JP2016006668A - 画像検索方法、画像検索装置および画像検索プログラム - Google Patents

Abstract

【課題】複数の検索キーワードが修飾語を含む場合に、それらの修飾関係（係り方）を考慮し、キーワードの重要度を加味して検索を行い、検索者にとって好ましい検索結果を得る情報検索方法及び装置を提供する。
【解決手段】サーバコンピュータは、入力された複数のキーワードの入力形態または入力順序に基づいて、当該複数のキーワードによる修飾関係の優先度を決定し、その優先度に基づいて、当該キーワードの組み合わせの検索条件を生成し、当該検索条件を用いて関連する情報を検索対象から検索して出力する。
【選択図】図５

Description

本発明は、入力されたキーワードに関連する情報を検索対象から抽出するための検索方法、および検索装置に関する。

複数の検索キーワードが入力された場合、それぞれのキーワードの重要度を加味して検索を行う検索システムが知られている（例えば、特許文献１参照）。

特開平５−１５８９９１号公報

複数の検索キーワードが修飾語を含む場合、それらの修飾関係（係り方）を考慮しないと、たとえキーワードの重要度を加味して検索を行っても検索者にとって好ましい検索結果は得られない。

本発明に係る情報検索方法は、キーワードの入力を受け付ける第１ステップと、第１ステップにおいて複数のキーワードが入力されると、当該複数のキーワードの入力形態または入力順序に基づいて、当該複数のキーワードによる修飾関係の優先度を決定する第２ステップと、決定した優先度に基づいて、複数のキーワードに関連する情報を検索対象から検索して出力する第３ステップとを備えることを特徴とする。
本発明に係る情報検索装置は、キーワードの入力を受け付ける受付手段と、受付手段に複数のキーワードが入力されると、当該複数のキーワードの入力形態または入力順序に基づいて、当該複数のキーワードによる修飾関係の優先度を決定する決定手段と、認識した優先度に基づいて、複数のキーワードに関連する情報を検索対象から検索して出力する出力手段とを備えることを特徴とする。

本発明によれば、複数のキーワードを入力して検索を行う場合に、検索者にとって好ましい検出結果が得られる可能性を高めることができる。

一実施形態におけるシステムの概略構成図。 サーバコンピュータの構成を示す図。 ユーザＰＣにおける検索画面の入力例を示す図。 図３の入力値で検索を指示した場合の結果表示例を示す図。 サーバコンピュータにおける検索処理手順の一例を示す図。 キーワードを個別の入力部に入力する例を示す図。

図面に基づいて、本発明をＷｅｂ上の画像検索システムに適用した場合の一実施形態を説明する。
図１は本実施形態における画像検索システムの概略構成を示す。画像検索を行う者（以下、ユーザ）は、自身のパーソナルコンピュータ等（以下、ユーザＰＣ）５０からネット
ワーク６０を経由して画像検索サイトのサーバコンピュータ１００にアクセスし、検索キーワード（以下、単にキーワード）を入力して画像検索を指示する。尚、本実施形態ではＷｅｂ上の画像検索システムに適用した場合を例に挙げて本発明の実施形態を説明するが、本発明はこれに限定されるものではない。

図２はサーバコンピュータ１００の構成を示すブロック図である。サーバコンピュータ１００は、ＣＰＵ１１、ＲＡＭ１２、ディスクインターフェース１３、ディスプレイコントローラ１４、ＣＰＵバス１５、シリアルバス１６、シリアルバスコントローラ１７などを有する本体部と、シリアルバス１６を介して接続されるキーボード２１やマウス２２等の入力部と、ディスクインターフェース１３を介して接続される記憶部３１と、表示部としてのディスプレイ３２とから構成される。記憶部３１には、検索対象となる画像データを格納する画像データベースと、画像データベースから画像を検索するための検索プログラム（サーチエンジン）とが格納されている。
ユーザＰＣ５０も、サーバコンピュータ１００とほぼ同様のハード構成を備える。

検索対象となる画像データ（以下、単に画像と呼ぶ）は、画像検索サイトの形態によって異なる。例えばＷｅｂページに掲載されている広範囲の画像が検索対象となる場合もあるし、フォトアルバムサイトや画像投稿サイトなどでは、そのサイトに投稿（アップロード）された画像のみが検索対象となる。後者の場合は、ユーザが過去に投稿した画像のみを検索対象とするサービスがあってもよい。

サーバコンピュータ１００のＣＰＵ（以下、サーバＣＰＵ）１１は、検索プログラムに従って検索処理を行う。検索プログラムは、入力されたキーワードに関連する画像（正確には、キーワードに関連する情報が対応づけられた画像）を画像データベースから検索（抽出）し、出力する機能を持つ。例えばＷｅｂページに掲載されている画像が検索対象であれば、そのページに記載されている画像の説明文と、入力されたキーワードとの関連性が判断され、関連性があればその画像が抽出される。関連性の有無の判断基準は、検索プログラムのアルゴリズムによる。

また、画像は、コンピュータで扱うことが可能な画像ファイルとして存在し、各画像ファイルのヘッダ部分には、これを撮影したカメラにおいて種々の付加情報が書き込まれている。また、撮影後にユーザが付加情報として画像ファイルに何らかの情報を書き込むことも可能である。検索においては、これらの付加情報とキーワードとの関連性を判断して抽出を行うこともできる。

上記付加情報として、例えばシーン撮影モード情報がある。画像を撮像する際のシーン撮影モード（「ポートレート撮影モード」、「風景撮影モード」、「夜景撮影モード」、「料理撮影モード」など）を備えたデジタルカメラを用いると、被写体に応じて撮影者あるいはカメラが被写体に応じてシーン撮影モードを設定すると、カメラはその被写体に適した撮影条件を自動設定して撮影を行う。撮影後、カメラは、当該シーン撮影モードを使用した旨のシーン撮影モード情報を、付加情報として画像ファイルに書き込む。このシーン撮影モード情報を検索に利用すれば、例えば検索対象の画像ファイルにシーン撮影モード情報として「ポートレート撮影モード」が記載されていれば、当該画像データは、「人」、「人物」、「ポートレート」等のキーワードに対する抽出候補となり得る。

また、公知の顔認識機能を有するカメラにおいて、画像データ中に顔が認識された場合に、カメラが付加時情報として「人物」あるいは「ポートレート」、特に複数の顔が認識された場合は「集合写真」などと書き込むことで、それらの情報を上述と同様に検索に用いることができる。また、顔認識機能を用いて画像中の人物を特定し、付加時情報として特定の人物の情報を書き込むことで検索できるようにしてもよい。

その他、画像データを解析して被写体を特定し、その特定結果とキーワードとの関連性を判断して抽出の有無を決定することも可能である。

また検索には、個々のユーザが事前に設定可能な種々の検索オプションの設定内容も反映される。検索オプションとしては、例えばＡＮＤ検索かＯＲ検索かの指定や、抽出画像数の上限値の設定、画像サイズの指定、ファイル形式の指定などがある。

以下、Ｗｅｂページに貼られた画像の検索を例に挙げ、その検索手順について説明する。
ユーザＰＣ５０でサーバコンピュータ１００にアクセスすると、サーバＣＰＵ１１は、ユーザＰＣ５０に画面表示データを送信し、ユーザＰＣ５０はこれを受信してディスプレイ３２に検索画面を表示する。

図３は検索画面の表示例を示し、ディスプレイ３２にはキーワード入力用のテキストボックス７１と、検索ボタン７２とが表示されている。テキストボックス７１には、キーボードを用いて１または複数のキーワードを入力することができる。キーワード入力後に検索ボタン７２をクリックすると、サーバコンピュータ１００に検索指示が送信され、これに応答してサーバＣＰＵ１１が検索を実行する。

図３では、キーワードとして「赤」、「丸」、「白」の３つがスペースで区切って入力されている。ＡＮＤ検索が指定されている場合、サーバＣＰＵ１１は、「赤」、「丸」、「白」の全てに関連する画像を抽出し、そのサムネイルデータをユーザＰＣ５０に送信する。ユーザＰＣ５０では、例えば図４に示すように、送信されてきたサムネイルデータをサムネイル画像ＳＮとしてディスプレイ３２に一覧表示する。

ここで、キーワードの重要度を考慮しない従来の検索方法では、「赤」、「丸」、「白」の重みは同一であり、単にこれらの全ての文字が説明文に含まれる画像を、表示回数の多い順あるいは登録日付が新しい順に抽出する。また、例えば特許文献１のようにキーワードの重要度を考慮する場合は、入力された順、すなわち「赤」、「丸」、「白」の順に重みを大きくして検索を行うことで、重みの大きいキーワードに関連する画像が優先的に抽出される。

しかしながら、上記いずれの検索方法でも、検索結果は、赤と白の色彩でかつ丸い物を含む画像、赤い物、丸い物、白い物（それぞれ別個の物）を含む画像、赤くて丸い物と白い物とを含む画像、赤い物と白くて丸い物とを含む画像、赤白の色彩の物と丸い物とを含む画像などが、特に優先順位もなく混在することになる。このため、仮にユーザが「赤くて丸い物および白い物」を含む画像を所望する場合に、望ましい検索結果とならない。

そこで本実施形態では、単に重要度で重み付けをするのではなく、キーワードが修飾語たり得るワードであった場合は、重要度に基づいてキーワードによる修飾関係の優先度を決定し、それに基づいて検索を行うようにした。例えば、図３のように「赤」、「丸」、「白」の順で３ワード（いずれも修飾語）が入力された場合、サーバＣＰＵ１１は、入力された順、すなわち「赤」、「丸」、「白」の順で重要度が高いと認識し、それに基づいてキーワードの修飾関係の優先度を決定する。優先度は、「赤くて丸くて白い」が最も高く、次いで「赤くて丸い」が高くなる。つまり、重要度１および２の「赤」と「丸」の組み合わせである「赤くて丸い」が、「赤くて白い」や「丸くて白い」よりも優先される。

サーバＣＰＵ１１は、上記キーワードの修飾関係の優先度に基づいて検索を行う。すなわち、赤くて丸くて白い物を含む画像を最優先で探し、次いで赤くて丸い物と白い物とを
含む画像を優先的に探す。赤い物と白くて丸い物とを含む画像や、赤い物、丸い物、白い物を含む画像は、優先度が低いため抽出順序は後になる。

ここで、赤くて丸い物および白い物を含む画像を探す場合、サーバＣＰＵ１１は、「赤くて丸」、「赤い丸」、「赤の丸」、「赤で丸」、「赤丸」などのいずれかの文字列と、「白」の文字列とが説明文に含まれる画像を、例えば表示回数の多い順あるいは登録日付が新しい順に抽出する。なお、赤くて丸くて白い物を含む画像は少ないと思われるので、図３の入力に対応する検索結果では、赤くて丸い物と白い物とを含む画像が多数を占めることになる。

もし「白」、「丸」、「赤」の順で３ワードが入力された場合は、「白くて丸い」が「赤くて白い」や「丸くて赤い」よりも優先度が高くなり、また「赤」、「白」、「丸」の順で入力された場合は、「赤くて白い」が「赤くて丸い」や「白くて丸い」よりも優先度が高くなる。赤くて白い物と丸い物とを含む画像を探す場合、サーバＣＰＵ１１は、「赤と白」、「赤白模様」、「紅白」などのいずれかの文字列と、「丸」の文字列とが説明文に含まれる画像を、例えば表示回数の多い順あるいは登録日付が新しい順に抽出する。

なお、入力された複数のキーワードが修飾語になり得るワードを含まないときには、従来どおりのＡＮＤ検索となる。この場合、キーワードの入力順序による重要度を加味して検索を行うことが望ましい。また、複数のキーワードが修飾語になり得るワードとなり得ないワードとを含む場合は、なり得ないワードを被修飾語と捕らえてもよい。例えば、「白」、「丸」、「赤」、「皿」の順にキーワードが入力された場合は、「皿」を被修飾語と捕らえ、白くて丸い皿を含む画像を、丸くて赤い皿よりも優先的に検索する。

図５はサーバＣＰＵ１１による検索処理の一例を示すフローチャートである。この処理は、サーバＣＰＵ１１が、記憶部３１に予め格納されている検索プログラムに従って実行する。

ステップＳ１では、ユーザによる検索開始操作（検索ボタン７２のマウスクリック）を待ち、検索開始操作を確認すると、ステップＳ２でキーワードの入力を受け付ける。ステップＳ３ではＡＮＤ検索かＯＲ検索かを判定し、ＯＲ検索が設定されている場合は、ステップＳ４でキーワードに基づくＯＲ検索を行ってステップＳ８に進む。

一方、ＡＮＤ検索が設定されている場合は、ステップＳ５でキーワードの入力順序に応じてキーワードの重要度を認識し、次いでステップＳ６で、上述したように重要度に基づいてキーワードによる修飾関係の優先度を決定する。ステップＳ７では、優先度に基づいてＡＮＤ検索を行う。

ステップＳ８では、ステップＳ４またはＳ７で抽出された画像データ（サムネイルデータ）をユーザＰＣ５０に順次送信し、その後、ステップＳ１に戻る。ユーザＰＣ５０は、サーバコンピュータ１００から送信されたサムネイルデータを受信し、ディスプレイ３２にサムネイル画像として一覧表示する。

なお、上記入力順序で重要度を判断する方式に代えて、ユーザが各キーワードの前あるいは後にその重要度を表す文字（例えば、重要度が高い順にＡ、Ｂ、Ｃ・・・）あるいは数字（例えば、重要度が高い順に１、２、３・・・）を入力すると、それらに基づいてサーバＣＰＵ１１がキーワードの重要度を判断するようにしてもよい。入力例として、「赤（Ａ）、白（Ｃ）、丸（Ｂ）」のように入力した場合は、図３の入力例と同様の検索結果となる。また、図６のように各キーワードを各ボックスに入力する形式の場合は、上に入力されたものほど重量度が高いと判断するようにしてもよい。

以上は画像検索について説明したが、検索対象は画像データに限定されず、例えば動画データ、音楽データ、テキストデータを検索する場合や、Ｗｅｂページを検索する場合にも本発明を適用できる。

１１ ＣＰＵ
３１ 記憶部
５０ ユーザＰＣ
６０ ネットワーク
７１ テキストボックス
７２ 検索ボタン
１００ サーバコンピュータ

請求項１に記載の画像検索方法は、コンピュータが実行する画像検索方法であって、 ＣＰＵがキーワードの入力を受け付ける第１ステップと、ＣＰＵが、第１ステップにおいて複数のキーワードが入力された場合に複数のキーワードの入力形態または入力順序に基づいて、複数のキーワードの優先度を決定する第２ステップと、ＣＰＵが、決定した優先度に基づいて、複数のキーワードに関連する画像を検索対象から検索して出力する第３ステップとを備える。

Claims (5)

1. キーワードの入力を受け付ける第１ステップと、
   前記第１ステップにおいて複数のキーワードが入力されると、当該複数のキーワードの入力形態または入力順序に基づいて、当該複数のキーワードによる修飾関係の優先度を決定する第２ステップと、
   前記決定した優先度に基づいて、前記複数のキーワードに関連する情報を検索対象から検索して出力する第３ステップとを備えることを特徴とする情報検索方法。
2. 検索対象となる前記情報は、画像データを含むことを特徴とする請求項１に記載の情報検索方法。
3. キーワードの入力を受け付ける受付手段と、
   前記受付手段に複数のキーワードが入力されると、当該複数のキーワードの入力形態または入力順序に基づいて、当該複数のキーワードによる修飾関係の優先度を決定する決定手段と、
   前記認識した優先度に基づいて、前記複数のキーワードに関連する情報を検索対象から検索して出力する出力手段とを備えることを特徴とする情報検索装置。
4. 前記キーワードを入力する入力手段と、
   前記出力手段の出力結果を表示する表示手段とを更に備えることを特徴とする請求項３に記載の情報検索装置。
5. 検索対象となる前記情報は、画像データを含むことを特徴とする請求項３または４に記載の情報検索装置。

Images