JP2021068062A - 検索条件特定システム、検索システム及びプログラム - Google Patents

Abstract

【課題】クエリとして入力された複数の画像に含まれる要素の特徴を抽出して検索を行う検索条件特定システム及びプログラムを提供する。【解決手段】検索条件特定システムにおいて、検索エンジン１０８を含む検索サーバ１０は、クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出する特徴抽出部１０３と、抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を補正する特徴補正部１０７と、を有する。【選択図】図３

Description

本発明は、検索条件特定システム、検索システム及びプログラムに関する。

クエリとして画像を入力する場合、自身の意図を正確に反映させる目的で、ユーザが複数の画像を入力することがある。

特開２０１３−２５４３６７号公報

ユーザがクエリとして入力する個々の画像には、多くの場合、ユーザの意図する情報だけでなく、ユーザの意図とは異なる情報も含まれている。このため、複数の画像がクエリとして入力されると、ユーザの意図とは異なる特徴も検索条件として用いられる可能性が高くなり、結果的にユーザの意図しない画像が検索結果に含まれることがある。

本発明は、クエリとして入力された複数の画像に含まれる特徴の全てを検索条件に用いる場合に比して、ユーザの意図する検索結果が得られ易くすることを目的とする。

請求項１に記載の発明は、クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出し、当該抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を特定し、当該特定した特徴に基づいた情報を検索エンジンに送信するプロセッサを有する検索条件特定システムである。
請求項２に記載の発明は、前記プロセッサは、抽出された前記特徴のうち、他の特徴と矛盾しない又は整合する特徴を、検索エンジンに引き渡す特徴として特定する、請求項１に記載の検索条件特定システムである。
請求項３に記載の発明は、前記プロセッサは、抽出された前記特徴が、他の特徴と矛盾する又は整合しない場合にも、他と比べて出現頻度又は出現率が高い特徴を、検索エンジンに引き渡す特徴として特定する、請求項２に記載の検索条件特定システムである。
請求項４に記載の発明は、前記プロセッサは、他の特徴と矛盾する又は整合しない特徴のうち、予め定めた閾値より出現頻度が高い又は出現率が高い特徴を、検索エンジンに引き渡す特徴として特定する、請求項３に記載の検索条件特定システムである。
請求項５に記載の発明は、前記プロセッサは、前記特徴が属する分類毎に異なる閾値を使用する、請求項４に記載の検索条件特定システムである。
請求項６に記載の発明は、前記プロセッサは、矛盾する又は整合しない可能性がある特徴をユーザに提示し、前記提示した特徴の中からユーザが選択した特徴を検索エンジンに引き渡す、請求項２に記載の検索条件特定システムである。
請求項７に記載の発明は、前記プロセッサは、抽出された前記特徴のうち、併存が可能な特徴を、検索エンジンに引き渡す、請求項１に記載の検索条件特定システムである。
請求項８に記載の発明は、前記プロセッサは、抽出された前記特徴を、当該特徴が抽出された画像の分類に紐付ける、請求項１に記載の検索条件特定システムである。
請求項９に記載の発明は、前記プロセッサは、抽出された前記特徴を、当該特徴が抽出された画像の分類に紐付けるか否かの選択を受け付ける画面をユーザに提示する、請求項８に記載の検索条件特定システムである。
請求項１０に記載の発明は、前記プロセッサは、各画像の全体を対象とする特徴を抽出し、抽出された特徴を検索エンジンに引き渡す、請求項１に記載の検索条件特定システムである。
請求項１１に記載の発明は、前記プロセッサは、各画像の全体を対象とする特徴を検索エンジンに引き渡すか否かの選択を受け付ける画面をユーザに提示する、請求項１０に記載の検索条件特定システムである。
請求項１２に記載の発明は、クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出し、当該抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を特定し、当該特定した特徴に基づいた情報を検索エンジンに送信し、前記特定した特徴に基づいた情報を用いて、クエリとして入力された画像に類似する画像を検索するプロセッサを有する検索システムである。
請求項１３に記載の発明は、コンピュータに、クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出する機能と、前記抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を特定し、当該特定した特徴に基づいた情報を検索エンジンに送信する機能とを実行させるプログラムである。

請求項１記載の発明によれば、クエリとして入力された複数の画像に含まれる特徴の全てを検索条件に用いる場合に比して、ユーザの意図する検索結果が得られ易くできる。
請求項２記載の発明によれば、ユーザの意図とみなせる特徴を可能な限り検索エンジンに与えることができる。
請求項３記載の発明によれば、ユーザが意図する可能性が高い特徴を検索エンジンに与えることができる。
請求項４記載の発明によれば、ユーザが意図する可能性が高い特徴を特定できる。
請求項５記載の発明によれば、特徴の数が少ない種類の画像については閾値を低くして、ユーザの意図が失われないようにできる。
請求項６記載の発明によれば、ユーザの意図を直接確認できる。
請求項７記載の発明によれば、ユーザの意図とみなせる特徴を可能な限り検索エンジンに与えることができる。
請求項８記載の発明によれば、画像の分類を特定できるので、検索結果をユーザの意図に近づけることができる。
請求項９記載の発明によれば、検索条件にユーザの意図を反映できる。
請求項１０記載の発明によれば、被写体の分類を特定できるので、検索結果をユーザの意図に近づけることができる。
請求項１１記載の発明によれば、検索条件にユーザの意図を反映できる。
請求項１２記載の発明によれば、クエリとして入力された複数の画像に含まれる特徴の全てを検索条件に用いる場合に比して、ユーザの意図する検索結果が得られ易くできる。
請求項１３記載の発明によれば、クエリとして入力された複数の画像に含まれる特徴の全てを検索条件に用いる場合に比して、ユーザの意図する検索結果が得られ易くできる。

実施の形態で使用する画像検索システムの構成例を示す図である。 データベースに記録されるデータセットを生成するコンピュータの機能上の構成を説明する図である。 クエリとして入力される画像に類似する、又は、関連する画像をデータベースから検索する検索サーバの機能上の構成を説明する図である。 ユーザが操作する端末からクエリとして入力される情報を説明する図表である。 特徴抽出部による特徴の抽出例を説明する図である。 検索の精度を低下させる原因の一つを説明する図表である。 実施の形態で使用する特徴抽出部が実行する処理の概要を説明する図である。 特徴群分別部による分別の動作を説明する図である。 実施の形態で使用する特徴補正部で実行される処理の内容を説明する図である。 検索項目決定部による処理の概要を説明する図である。 検索の設定に用いる画面の例を説明する図である。 画像間矛盾除去部で実行される処理の一例を説明する図である。 画像の分類が外観であるクエリ画像から抽出された部分の特徴と閾値の関係の例を説明する図である。 検索エンジンに与えられる検索条件の一例を説明する図である。 クエリ画像が与えられた場合に実行される処理動作の一例を示すフローチャートである。 画像間矛盾除去部で実行される処理動作の一例を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態＞
以下では、設計事務所やデザイン事務所での使用を想定する画像検索システムについて説明する。
設計事務所等には、過去に扱った案件の記録が蓄積されている。ここでの情報には、デザイン案、設計図等の画像の他、顧客からのクレーム、事故の事例、社内レビューの記録等の文書も含まれる。本実施の形態で説明する画像検索システムは、これらの情報の活用を通じ、設計業務の効率化を支援する。

＜システム構成＞
図１は、実施の形態で使用する画像検索システム１の構成例を示す図である。
図１に示す画像検索システム１は、入力されたクエリに類似する、又は、関連する画像を検索する検索サーバ１０と、検索の対象である画像のデータ（以下「画像データ」という）が蓄積されるデータベース（＝Data Base）２０と、クエリを入力するユーザが操作する端末３０と、これらを通信可能に接続するネットワーク４０とで構成されている。なお、ネットワークは、ローカルエリアネットワークでもよいし、インターネットでもよい。画像検索システム１は、検索システムの一例である。

図１に示す検索サーバ１０は、プログラムの実行を通じて検索その他の処理を実行するプロセッサ１１と、プログラムや各種のデータを記憶する記憶装置１２と、外部との通信を実現するネットワークＩＦ（＝InterFace）１３と、これらを接続するバスその他の信号線１４とを有している。
プロセッサ１１は、例えばＣＰＵで構成される。記憶装置１２は、例えばＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。もっとも、ＲＯＭやＲＡＭがプロセッサ１１の一部に含まれることを妨げない。プロセッサ１１と記憶装置１２は、コンピュータを構成する。

図１に示すデータベース２０には、デザイン案、設計図等の画像の他、顧客からのクレーム、事故の事例、社内レビューの記録等の文書が記録されている。これらの情報を総称して「過去の事例」という。
過去の事例を構成する個々の情報には、検索用のタグが紐付けられている。タグは、個々の情報に含まれる特徴量（以下「特徴」という）の集合で与えられる。本実施の形態では、特徴の集合をデータセットともいう。
図１に示す端末３０は、いわゆるコンピュータである。端末３０は、デスクトップ型のコンピュータでも、ノート型のコンピュータでも、スマートフォンやウェアラブル端末等の携帯型のコンピュータでもよい。図１では、端末３０を１台のみ表しているが、台数は任意である。
なお、検索サーバ１０は、１台である必要はなく、協働する複数台のコンピュータでもよい。本実施の形態では、検索サーバ１０を検索システムの一例ともいう。

＜機能構成＞
図２は、データベース２０に記録されるデータセットを生成するコンピュータ５０の機能上の構成を説明する図である。
コンピュータ５０のハードウェア上の構成は、図１に示す検索サーバ１０と同様である。すなわち、コンピュータ５０には、プロセッサと、記憶装置と、データベース２０との通信に用いるインタフェースが設けられている。
コンピュータ５０は、データベース２０から過去の事例を読み出すと、構造的な表現に分類される特徴（以下「構造情報」という）の抽出用に用意された前処理部５１で前処理し、前処理済みの結果を構造情報抽出部５２に与える。図２の場合、構造情報抽出部５２は、個々の特徴を学習した推論モデルを用いた推論により、過去の事例に含まれる１つ又は複数の特徴を推論し、推論された特徴の集合を過去の事例に紐付けるデータセットとしてデータベース２０に出力する。
本実施の形態の場合、推論モデルは特徴毎に用意されている。推論モデルは、機械学習等により事前に生成されている。図２においては、推論モデルを用いる推論をＡＩ（＝Artificial Intelligence）推論という。

コンピュータ５０は、データベース２０から過去の事例を読み出すと、感性的な表現に分類される特徴（以下「感性情報」という）の抽出用に用意された前処理部５３で前処理し、前処理済みの結果を感性情報抽出部５４に与える。本実施の形態の場合、感性情報は、構造的な表現又は定量的な表現を含まない特徴をいう。換言すると、感性情報は、定性的又は主観的な表現を含む特徴をいう。
図２の場合、感性情報抽出部５４は、感性情報を学習した推論モデルを用いた推論により、過去の事例に含まれる１つ又は複数の感性情報を推論し、推論された感性情報の集合を過去の事例に紐付けるデータセットとしてデータベース２０に出力する。本実施の形態の場合、推論モデルは感性情報毎に用意される。推論モデルは、機械学習等により事前に生成されている。
このように、データベース２０に蓄積される過去の事例には、構造情報と感性情報の両方又は一方に属する１又は複数の特徴が紐付けられている。

図３は、クエリとして入力される画像（以下「クエリ画像」という）に類似する、又は、関連する画像をデータベース２０から検索する検索サーバ１０の機能上の構成を説明する図である。
検索サーバ１０は、クエリ画像を対象別に分類する分類部１０１、クエリ画像に予め定めた処理を加える前処理部１０２、クエリ画像に含まれる特徴量（以下「特徴」という）を抽出する特徴抽出部１０３、構造的な表現を含むテキスト（以下「構造情報テキスト」という）の表現上のゆらぎを補正する正規化部１０４、感性的な表現を含むテキスト（以下「感性情報テキスト」という）の表現上のゆらぎを補正する正規化部１０５、構造情報テキストや感性情報テキストを構成する文字列を対応付ける特徴を分類する対応特徴分類部１０６、検索エンジン１０８に与える特徴を補正する特徴補正部１０７、補正後の特徴との関連性が高い事例をデータベース２０から検索する検索エンジン１０８として機能する。
これらの機能は、プロセッサ１１（図１参照）によるプログラムの実行を通じて実現される。なお、検索サーバ１０のうち検索エンジン１０８を除く構成は、検索条件特定システムの一例である。

本実施の形態における検索サーバ１０は、端末３０（図１参照）から、前提情報と、画像情報と、構造情報テキストと、感性情報テキストをクエリ（以下「検索クエリ」ともいう）として入力する。
ただし、これら４種類の情報の全てがクエリとして入力される必要はない。また、本実施の形態の場合、構造情報テキストと感性情報テキストは、明確に区別されている必要はない。実際には、テキストの入力に用いる表現上の種類についての制約はない。従って、ユーザは、両者を区別することなく、検索したい過去の事例に求める要望を文字列で入力することが可能である。
図４は、ユーザが操作する端末３０からクエリとして入力される情報を説明する図表である。
前提情報は、ユーザが入力するクエリの中でも他のクエリに比して優先の度合いが高い、構造的な又は定量的な情報である。なお、前提情報には、法令等も含まれる。前提情報は、検索の対象に関連する条件の一例である。もっとも、法令等は、ユーザが入力する必要はない。

本実施の形態の場合、建物に関する画像を検索の対象とする。
このため、前提情報は、例えば住所、土地の広さ、敷地の条件、周辺環境、物件の種別、予算、庭の有無、車の有無、車庫の有無、家族の構成、世帯数で与えられる。物件の種別には、例えばビル、マンション、一戸建てがある。
画像情報は、いわゆるクエリ画像である。画像情報は、例えば手書きの絵、写真、チラシ、ＣＧ（＝Computer Graphics）で与えられる。本実施の形態の場合、画像情報は、他の種類のクエリに比して優先の度合いが低い。
構造情報テキストは、構造的な表現を含むテキストである。構造情報テキストには、例えば二世帯住宅、徒歩１０分、３ＬＤＫ、木の家がある。
感性情報テキストは、感性的な表現を含むテキストである。感性情報テキストには、例えば開放感、家族団らん、和のスペース、木のぬくもりがある。
なお、構造情報テキストと感性情報テキストは、明確に区別することなく入力される場合もある。構造的な表現と感性的な表現が混在するテキストには、例えば「開放感のある明るいリビング」がある。「リビング」は、明確に特定が可能な名詞であるので構造的な表現であり、「開放感」や「明るい」は、感覚的な状態を表す形容詞であるので感性的な表現である。

図３の説明に戻る。
分類部１０１は、ユーザが入力したクエリ画像を対象別に分類する。本実施の形態の場合、クエリ画像がリビングの画像、キッチンの画像、外観の画像のいずれかに分類される。勿論、分類先の候補は３種類に限らない。他の候補には、例えば子供部屋、寝室、浴室、トイレ、玄関、庭等がある。分類部１０１は、分類の結果を、個々のクエリ画像の属性として付加する。

前処理部１０２は、入力されたクエリ画像に対し、予め定めた処理を加える。予め定めた処理には、例えばサイズの調整、コントラストの調整、エッジの強調、ノイズの除去等がある。
この他、図３に示す前処理部１０２には、他の条件と矛盾する部分をクエリ画像から取り除く機能が前処理の１つとして用意されている。例えば前提情報では車庫が不要と指定されているのにクエリ画像には車庫が含まれる場合、前処理部１０２は、クエリ画像から車庫の部分を除去する補正を行う。ここでの「矛盾」は、同時には成立しない又は併存しないという意味で使用する。なお、本実施の形態では、矛盾する部分を、整合しない部分ともいう。
もっとも、他の条件と矛盾する部分の補正は必須でない。

特徴抽出部１０３は、機械学習等により特徴毎に用意された推論モデルとの照合により、クエリ画像に含まれる１つ又は複数の特徴を抽出する。
図５は、特徴抽出部１０３による特徴の抽出例を説明する図である。図５の場合、クエリ画像として入力されたリビングの写真から、「高い天井」、「高所の窓」、「はしご」、「フローリング」、「木のぬくもり」、「開放的」、「シーリングファン」、「スポットライト」等が特徴として抽出されている。

図３の説明に戻る。
正規化部１０４は、ユーザがクエリとして入力した構造情報テキストの表現上のゆらぎを補正する。例えば文字種の統一、つづりや表記の揺れが吸収される。
正規化部１０５は、ユーザがクエリとして入力した感性情報テキストの表現上のゆらぎを補正する。また、正規化部１０５により、個人毎の表現のばらつきも補正される。
対応特徴分類部１０６は、構造情報テキストや感性情報テキストを構成する文字列が構造的な特徴に対応するか、感性的な特徴に対応するか、それとも両方に対応するかを分類する。
特徴補正部１０７は、ユーザの意図する検索結果が得られやすくなるように、検索エンジン１０８に与える特徴を補正する処理を実行する。本実施の形態における特徴補正部１０７は、抽出された特徴間の矛盾を除去する。例えば特徴補正部１０７は、クエリ画像から抽出された特徴のうち前提情報と矛盾する特徴を除去する補正を実行する。また例えば特徴補正部１０７は、複数のクエリ画像間で矛盾する特徴を除去する補正を実行する。

＜特徴を補正する処理＞
以下では、クエリ画像から抽出される特徴の中からユーザが意図しない検索の結果が得られる原因を取り除く補正について説明する。
図６は、検索の精度を低下させる原因の一つを説明する図表である。
図６では、リビングの写真がクエリ画像として与えられた場合を想定している。クエリ画像は、ユーザが言葉では表しきれないニュアンスを伝えるために使用されるが、クエリ画像には、多くの場合、ユーザの意図する情報だけでなく、ユーザの意図とは異なる情報も含まれている。

例えばクエリ画像＃１からは、ユーザが意図しない特徴である「はしご」と「シーリングファン」が抽出されている。また、クエリ画像＃２からは、同じくユーザが意図しない特徴である「トップライト」、「キャットウォーク」、「じゅうたん」、「低位置の窓」、「梁表し」が抽出されている。クエリ画像＃３及び＃４についても、ユーザが意図しない１つ又は複数の特徴が抽出されている。
なお、ユーザが意図する特徴には、ユーザが無意識のまま抽出している特徴も含まれる。
このように、どのクエリ画像にも、ユーザの意図しない特徴が含まれるので、特徴抽出部１０３（図３参照）により抽出される特徴の全てを検索に用いると、検索の結果にユーザの意図とは関係のない画像が含まれ易くなる。

本実施の形態では、複数のクエリ画像について出現の頻度が高い特徴をユーザの意図する特徴として扱い、反対に出現の頻度が低い特徴をユーザが意図しない特徴として扱う。
また、本実施の形態では、ユーザの意図する特徴と意図しない特徴の分別の精度を高めるために、クエリ画像から抽出される特徴を、クエリ画像の対象別に分別する手法を採用する。
図７は、実施の形態で使用する特徴抽出部１０３（図３参照）が実行する処理の概要を説明する図である。
特徴抽出部１０３は、クエリ画像から特徴群を抽出する特徴群抽出部１３１と、特徴群を種類別に分別する特徴群分別部１３２とを有している。
特徴群抽出部１３１は、前述したように、予め用意された推論モデルとの照合を通じ、クエリ画像から特徴を抽出する。ここでは、抽出される特徴が１つであるか複数であるかを区別せず、特徴群と表現する。

本実施の形態における特徴群分別部１３２は、特徴群を構成する個々の特徴を、画像の分類、全体の特徴、部分の特徴のうちのいずれかに分別する。
画像の分類は、クエリ画像の対象に関する分類である。本実施の形態の場合、画像の分類には、建物の部位が用いられる。例えばリビング、キッチン、外観等を使用する。画像の分類は、１つのクエリ画像に対して１つ決定される。
全体の特徴は、クエリ画像の全体から受ける印象に関する分類である。例えば「木のぬくもり」や「開放的」は、全体の特徴に分別される。全体の特徴は、１つのクエリ画像に対して複数対応付けられることがある。
部分の特徴は、クエリ画像を構成する部分に関する分類である。例えばクエリ画像に含まれる物体、配置、構造は、部分の特徴に分別される。部分の特徴は、１つのクエリ画像に対して複数対応付けられることがある。
図７では、特徴群抽出部１３１と特徴群分別部１３２を用いて特徴群を３つの種類のいずれかに分別しているが、入力されたクエリ画像から直接的に種類別の特徴を抽出してもよい。

図８は、特徴群分別部１３２による分別の動作を説明する図である。
図８の場合、クエリ画像がリビングの写真＃１である場合を想定している。この例の場合、クエリ画像からは、「リビング」、「高い天井」、「高所の窓」、「はしご」、「フローリング」、「木のぬくもり」、「開放的」、「シーリングファン」、「スポットライト」が抽出されている。なお、これらの特徴のうち、「リビング」は「画像の分類」に分別され、「木のぬくもり」と「開放的」は「全体の特徴」に分別され、残りは「部分の特徴」に分別されている。

図９は、実施の形態で使用する特徴補正部１０７で実行される処理の内容を説明する図である。
本実施の形態の場合、特徴補正部１０７は、特徴抽出部１０３（図３参照）から入力される特徴群を検索項目決定部１７１で受け付ける。
検索項目決定部１７１は、ユーザによる検索項目の設定に従い、検索に使用する特徴群を決定する。本実施の形態の場合、検索項目決定部１７１は、特徴抽出部１０３から入力される特徴群を画像の分類別に取りまとめるか否かを決定する。例えば特徴群を画像の分類別に取りまとめるモードが選択されている場合、検索項目決定部１７１は、同じ分類に属する特徴群を取りまとめて後段の処理部に与える。

図１０は、検索項目決定部１７１による処理の概要を説明する図である。図１０の場合、個々のクエリ画像が分別された画像の分類別に特徴群がまとめられている。すなわち、リビング、キッチン、外観別に特徴群がまとめられている。
なお、特徴群を画像の分類別にとりまとめるモードが選択されていない場合、検索項目決定部１７１は、特徴抽出部１０３から入力される特徴群をそのまま後段の処理部に与える。図１０の例であれば、上段に示す特徴群が区別されることなく、後段の処理部に与えられる。

図１１は、検索の設定に用いる画面２００の例を説明する図である。
図１１に示す画面２００には、ユーザに求める操作の説明文２０１、特徴群を画像の分類別に取りまとめるか否かの指定に用いるボタン２０２と対応する説明文２０３、全体の特徴を検索の条件に含めるか否かの指定に用いるボタン２０４と対応する説明文２０５、選択を確定するためのボタン２０６、選択をキャンセルして前の画面に戻るためのボタン２０７が配置されている。
図１１の場合、ボタン２０２は選択された状態、ボタン２０４は選択されていない状態を表している。選択されていない状態でボタンが操作されると、選択されている状態に移行する。反対に、選択されている状態のボタンが操作されると、選択されていない状態に戻る。

図９の説明に戻る。
検索項目決定部１７１が出力する特徴群は、画像間矛盾除去部１７２に与えられる。
画像間矛盾除去部１７２は、検索の結果がユーザの意図と異なる原因となる特徴間の矛盾を除去する。本実施の形態における画像間矛盾除去部１７２は、部分の特徴に分別された特徴群の間で矛盾を除去する。
本実施の形態の場合、矛盾する特徴であるか否かは、出現の頻度を基準に判定する。
図１２は、画像間矛盾除去部１７２（図９参照）で実行される処理の一例を説明する図である。
図１２の場合、リビングに分類されたクエリ画像のうち部分の特徴に分別された特徴群３０１が画像間矛盾除去部１７２に与えられる。

本実施の形態の場合、画像間矛盾除去部１７２は、表現上のゆらぎを減らすため、類似する特徴どうしをグルーピングした特徴群３０２を生成する。類似する特徴をグルーピングすることで、グルーピングしない場合に比して特徴の出現率が高いと判断され易くなり、検索に用いる特徴から排除される可能性が低減される。
図１２の場合、特徴群３０２で下線を付した特徴がグルーピング後の特徴である。
例えば「高い天井」、「二層吹き抜け」等の特徴は、「高い天井・吹き抜け」との特徴に変換されている。また例えば「スポットライト」、「ダウンライト」等の特徴は、「スポット・ダウンライト」との特徴に変換されている。なお、「・」は、「又は」の意味で使用する。
この結果、リビングの写真＃３、＃４、＃５のそれぞれからは、「スポットライト」と「ダウンライト」の両方が抽出されているが、それらは１つの用語に置き換えられている。
もっとも、類似する特徴どうしをグルーピングする処理の実行は、ユーザが選択した場合に限定してもよい。

この後、画像間矛盾除去部１７２は、クエリ画像の数を分母に用い、特徴毎の出現頻度を正規化する。すなわち、処理３０３を実行する。以下、正規化後の出現頻度を出現率という。出現率は、最大値を１とする小数で表現される。
出現率が１に近いほど、複数のクエリ画像に共通する特徴であることを意味する。換言すると、出現率が１に近い特徴は、ユーザが意図する特徴である可能性が高いことを意味する。
一方、出現率が０に近いほど、他のクエリ画像との共通性が少ない特徴であることを意味する。換言すると、出現率が０に近い特徴は、ユーザが意図しない特徴である可能性が高いことを意味する。

次に、画像間矛盾除去部１７２は、算出された出現率と予め定めた閾値を比較し、出現率が閾値以下である特徴を、矛盾する特徴として排除する。
図１２の場合、閾値は０．５である。このため、５つのクエリ画像に対して３つ以上のクエリ画像で出現が確認された特徴である「高い天井・吹き抜け」、「高所の窓」、「スポット・ダウンライト」、「フローリング」、「スケルトン階段」の５つを除き、他の特徴は排除されている。
ここで排除されている特徴が残ると、ユーザの意図とは異なる画像が検索の結果にまじり易くなる。
なお、閾値の値は初期として与えられる他、ユーザが自由に指定可能である。

因みに、出現率と閾値との比較により残った複数の特徴が矛盾を含む場合もゼロとは言えない。例えば「高い天井」の出現率と「低い天井」の出現率がいずれも閾値を超える場合がある。
矛盾する特徴が残ると、検索の結果として出力される画像の印象が大きく異なる可能性が高くなる。そこで、本実施の形態では、矛盾する特徴が見つかった場合、該当する特徴のいずれか１つを残す処理を採用する。
例えば出現率が高い方の特徴を残し、出現率が低い方の特徴を排除する。また例えば矛盾する特徴をユーザに提示し、いずれか一方を選択させてもよい。
なお、矛盾する特徴の間で出現率の差が予め定めた閾値未満の場合には、いずれの特徴も、ユーザが重視していない可能性がある。このため、矛盾する特徴の出現率の差が小さい場合には、いずれの特徴も排除する手法を採用してもよい。

ところで、クエリ画像から抽出される部分の特徴の数は、画像の分類によらず同じではない。例えば建物の外観を対象とするクエリ画像から抽出される部分の特徴の数は、リビングやキッチンを対象とするクエリ画像から抽出される部分の特徴の数に比して少ない傾向がある。
このため、画像の分類の違いを無視して、共通の閾値を使用すると、ユーザが意図する特徴まで排除される可能性が高くなる。
図１３は、画像の分類が外観であるクエリ画像から抽出された部分の特徴と閾値の関係の例を説明する図である。
図１３の場合、外観に分類されたクエリ画像のうち部分の特徴に分別された特徴群３１１が画像間矛盾除去部１７２に与えられる。

図１３の場合、出現率の閾値として０．４５を用いている。図１３では、４つのクエリ画像に対して２つ以上のクエリ画像で出現が確認された特徴である「二階建て」、「黒壁」、「車庫」、「玄関庇」、「塀」の５つを除き、他の特徴は排除されている。ここでの５つの特徴のうち、「車庫」の出現率は０．５である。この出現率は、リビングで用いた閾値である０．５より小さい。このように、「車庫」は、閾値が０．５の場合には削除されていたが、外観用の閾値を用いたことにより、残すことができた。
なお、図１３の例では、類似する表現の特徴がないので、グルーピング化が行われていない。

図９の説明に戻る。
画像間の矛盾が除去されると、ＡＮＤ検索条件生成部１７３は、部分の特徴の論理積（＝ＡＮＤ）を生成する。本実施の形態では、画像の分類別の検索が選択されているので、同じ分類毎に部分の特徴の論理積が検索の条件として生成される。
なお、検索項目決定部１７１の出力は、ＯＲ検索条件生成部１７４にも、与えられている。ＯＲ検索条件生成部１７４は、クエリ画像の全体の特徴を検索の条件に含める設定が有効である場合に実行される。設定が有効である場合、ＯＲ検索条件生成部１７４は、クエリ画像の全体の特徴の論理和（＝ＯＲ）を生成する。クエリ画像の全体の特徴は、「木のぬくもり」や「開放的」といったクエリ画像の全体的な印象であり、例えば推論モデルを用いて抽出される。

検索エンジン１０８には、ＡＮＤ検索条件生成部１７３やＯＲ検索条件生成部１７４の出力である特徴が与えられる。
なお、検索エンジン１０８に与えられる特徴群の最小の構成は、少なくともクエリ画像から抽出される部分の特徴である。最小の構成の場合、部分の特徴は、画像の分類による絞り込みは行われていない。この場合、ユーザが入力した全てのクエリ画像から抽出された特徴群の間で矛盾が取り除かれた特徴が検索エンジン１０８に出力される。
なお、画像の分類別にとりまとめる選択が有効になっている場合、分類別に特徴間の矛盾が取り除かれた特徴の論理積が検索エンジン１０８に出力される。
また、画像の全体の特徴を検索の条件に含める選択が有効になっている場合、画像から抽出された画像の全体の特徴の論理和が検索エンジン１０８に出力される。

図１４は、検索エンジン１０８に与えられる検索条件の一例を説明する図である。因みに、図１４に示す検索条件は、画像の分類別による絞り込みと全体の特徴の追加がユーザにより選択されている場合の例である。
図１４の場合、リビングの部分の特徴に関する検索条件は、「高い天井又は吹き抜け」かつ「高所の窓」かつ「スポット又はダウンライト」かつ「フローリング」かつ「スケルトン階段」で与えられる。また、リビングの全体の特徴に関する検索条件は、「木のぬくもり」又は「開放的」又は「モダン」で与えられる。
キッチンと外観についての検索条件は省略する。

＜検索クエリの生成動作の全体＞
以下では、図１５及び図１６を用いて、プロセッサ１１（図１参照）において実行される検索クエリの生成動作の動作例を説明する。
図１５は、クエリ画像が与えられた場合に実行される処理動作の一例を示すフローチャートである。図１６は、画像間矛盾除去部１７２（図９参照）で実行される処理動作の一例を示すフローチャートである。なお、図１５及び図１６における記号のＳはステップを意味する。

クエリ画像が入力されると、プロセッサ１１は、クエリ画像から特徴を抽出する（ステップ１１）。
次に、プロセッサ１１は、特徴群を種類毎に分別する（ステップ１２）。具体的には、特徴群は、画像の分類、全体の特徴、部分の特徴に分類される。
続いて、プロセッサ１１は、全てのクエリ画像について分別が完了したか否かを判定する（ステップ１３）。分別が完了していないクエリ画像が残る場合、プロセッサ１１は、ステップ１３で否定結果を得る。否定結果を得たプロセッサ１１は、ステップ１１に戻り、別のクエリ画像から特徴を抽出する。

これに対し、全てのクエリ画像についての分別の完了が確認された場合、プロセッサ１１は、ステップ１３で肯定結果を得る。肯定結果を得たプロセッサ１１は、画像の分類に基づいて画像の特徴をグルーピングする（ステップ１４）。
次に、プロセッサ１１は、画像の分類別にグルーピングされた画像の全体の特徴を論理和条件で検索条件に加える（ステップ１５）。
続いて、プロセッサ１１は、画像の分類別にグルーピングされた画像の部分の特徴から画像間の矛盾を除去する（ステップ１６）。
ステップ１６において、プロセッサ１１は、類似する特徴をグルーピングする（ステップ１６１）。特徴の類似は、例えば各特徴を単語に直し、Word2Vecによる類似度によりグルーピングする。

次に、プロセッサ１１は、グルーピング後の特徴を単位として、特徴の出現頻度を計数する（ステップ１６２）。
さらに、プロセッサ１１は、クエリ画像の数で特徴の出現頻度を正規化する（ステップ１６３）。
その後、プロセッサ１１は、全ての特徴について正規化が完了したか否かを判定する（ステップ１６４）。正規化されていない特徴が存在する場合、プロセッサ１１は、ステップ１６４で否定結果を得る。この場合、プロセッサ１１は、ステップ１６２に戻る。
一方、正規化されていない特徴がない場合、プロセッサ１１は、ステップ１６４で肯定結果を得る。
この場合、プロセッサ１１は、出現率が閾値以下か否かを判定する（ステップ１６５）。

出現率が閾値以下の場合、プロセッサ１１は、ステップ１６５で肯定結果を得、該当する特徴を除外する（ステップ１６６）。
これに対し、出現率が閾値より大きい場合、プロセッサ１１は、ステップ１６５で否定結果を得る。
これらの処理の後、プロセッサ１１は、全ての特徴について判定が終了したか否かを判定する（ステップ１６７）。
なお、判定されていない特徴が残る場合、プロセッサ１１は、ステップ１６７で否定結果を得、ステップ１６５に戻る。
一方、全ての特徴が判定済みの場合、プロセッサ１１は、ステップ１６７で肯定結果を得、ステップ１６の処理を終了する。

ステップ１６の処理が終了すると、プロセッサ１１は、画像の分類別にグルーピングされた画像の部分の特徴を論理積条件で検索条件に加える（ステップ１７）。なお、ステップ１６１でグルーピングされた特徴は、論理和条件で結合される。
この後、プロセッサ１１は、全ての画像の分類について検索条件の生成が完了したか否かを判定する（ステップ１８）。
検索条件が生成されていない画像の分類が残る場合、プロセッサ１１は、ステップ１８で否定結果を得、ステップ１５に戻る。
一方、全ての画像の分類について検索条件が生成されている場合、プロセッサ１１は、ステップ１８で肯定結果を得、検索条件の生成処理を終了する。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態では、出現率を用いてクエリ画像間で矛盾するとみなす特徴を排除する手法を用いているが、出現頻度の相対順位に基づいて矛盾するとみなす特徴を排除してもよい。例えば予め定めた順位以下の特徴を排除してもよい。
前述の実施の形態では、設計事務所やデザイン事務所での使用を想定する画像検索システムを例示したが、クエリ画像を入力する画像検索システムであれば、使用分野は建築関係に限らない。例えばウェブ検索や文書の検索にも活用が可能である。

なお、前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、適宜変更してもよい。

１…画像検索システム、１０…検索サーバ、１１…プロセッサ、１２…記憶装置、２０…データベース、３０…端末、５０…コンピュータ、５１…前処理部、５２…構造情報抽出部、５３…前処理部、５４…感性情報抽出部、１０１…分類部、１０２…前処理部、１０３…特徴抽出部、１０４、１０５…正規化部、１０６…対応特徴分類部、１０７…特徴補正部、１０８…検索エンジン、１３１…特徴群抽出部、１３２…特徴群分別部、１７１…検索項目決定部、１７２…画像間矛盾除去部、１７３…ＡＮＤ検索条件生成部、１７４…ＯＲ検索条件生成部

Claims (13)

1. クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出し、当該抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を特定し、当該特定した特徴に基づいた情報を検索エンジンに送信するプロセッサを有する検索条件特定システム。
2. 前記プロセッサは、
   抽出された前記特徴のうち、他の特徴と矛盾しない又は整合する特徴を、検索エンジンに引き渡す特徴として特定する、請求項１に記載の検索条件特定システム。
3. 前記プロセッサは、
   抽出された前記特徴が、他の特徴と矛盾する又は整合しない場合にも、他と比べて出現頻度又は出現率が高い特徴を、検索エンジンに引き渡す特徴として特定する、請求項２に記載の検索条件特定システム。
4. 前記プロセッサは、
   他の特徴と矛盾する又は整合しない特徴のうち、予め定めた閾値より出現頻度が高い又は出現率が高い特徴を、検索エンジンに引き渡す特徴として特定する、請求項３に記載の検索条件特定システム。
5. 前記プロセッサは、
   前記特徴が属する分類毎に異なる閾値を使用する、請求項４に記載の検索条件特定システム。
6. 前記プロセッサは、
   矛盾する又は整合しない可能性がある特徴をユーザに提示し、前記提示した特徴の中からユーザが選択した特徴を検索エンジンに引き渡す、請求項２に記載の検索条件特定システム。
7. 前記プロセッサは、
   抽出された前記特徴のうち、併存が可能な特徴を、検索エンジンに引き渡す、請求項１に記載の検索条件特定システム。
8. 前記プロセッサは、
   抽出された前記特徴を、当該特徴が抽出された画像の分類に紐付ける、請求項１に記載の検索条件特定システム。
9. 前記プロセッサは、
   抽出された前記特徴を、当該特徴が抽出された画像の分類に紐付けるか否かの選択を受け付ける画面をユーザに提示する、請求項８に記載の検索条件特定システム。
10. 前記プロセッサは、
    各画像の全体を対象とする特徴を抽出し、抽出された特徴を検索エンジンに引き渡す、請求項１に記載の検索条件特定システム。
11. 前記プロセッサは、
    各画像の全体を対象とする特徴を検索エンジンに引き渡すか否かの選択を受け付ける画面をユーザに提示する、請求項１０に記載の検索条件特定システム。
12. クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出し、当該抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を特定し、当該特定した特徴に基づいた情報を検索エンジンに送信し、
    前記特定した特徴に基づいた情報を用いて、クエリとして入力された画像に類似する画像を検索するプロセッサ
    を有する検索システム。
13. コンピュータに、
    クエリとして複数の画像が入力される場合、各画像に含まれる要素の特徴を抽出する機能と、
    前記抽出されたそれぞれの特徴間の関係に基づいて検索エンジンに引き渡す特徴を特定し、当該特定した特徴に基づいた情報を検索エンジンに送信する機能と
    を実行させるプログラム。

Images