JP2013061879A - 画像検索システム - Google Patents

Abstract

【課題】検索用の入力画像の分析に有用な情報の取得を容易にする検索結果を提示可能な画像検索システムを提供する。
【解決手段】本発明の画像検索システムは、複数のクラスのうちの一のクラスに属することを識別可能なクラス情報が個別に関連付けられた複数の画像が格納されている画像記憶部と、画像記憶部に格納されている各画像の中から、検索用の入力画像に類似する１枚以上の画像を含む検索結果提示用の画像群を取得する画像取得部と、検索用の入力画像が一のクラスに属し得るか否かに関する蓋然性を評価するための値を複数のクラス各々において求め、当該求めた値に基づいて検索結果提示用の画像群の提示の際に参照される参照情報を取得する参照情報取得部と、を有する。
【選択図】図１

Description

本発明は、画像検索システムに関し、特に、検索用の入力画像を用いて画像の検索を行うことが可能な画像検索システムに関するものである。

データベースに蓄積された画像群から得られる特徴量等の所定の分類基準に基づいて当該画像群に含まれる各画像を分類し、当該分類した結果と検索用の入力画像とに基づいてデータベース内を検索することにより入力画像に類似または一致する画像を取得し、当該取得した画像を提示するような技術が従来知られている。

具体的には、例えば、特許文献１には、識別器等を用いて得られた病変の分類結果に応じて局所画像特徴とトピック変数との相関係数を取得し、当該取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定し、当該推定されたトピック変数の生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する、という技術が開示されている。

しかし、特許文献１に開示されている技術によれば、例えば、検索用の入力画像に含まれる病変の発現状態が、一の病変の発現状態として典型的であるか否か、及び（または）、当該一の病変とは異なる他の病変の発現状態に近いか否か等を判断可能な情報を得るために、前記検索用の入力画像に対応する検索結果として提示される多数の類似画像を逐一目視にて確認しなければならないような状況が生じ得る。その結果、特許文献１に開示された技術によれば、検索用の入力画像に対応する画像の検索結果に基づいて当該検索用の入力画像の分析に有用な情報を得る際に、ユーザに対して過度な負担を課してしまう場合がある、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、検索用の入力画像を用いて画像の検索を行った際に、当該検索用の入力画像の分析に有用な情報の取得を容易にする検索結果を提示可能な画像検索システムを提供することを目的としている。

本発明の一態様の画像検索システムは、複数のクラスのうちの一のクラスに属することを識別可能なクラス情報が個別に関連付けられた複数の画像が格納されている画像記憶部と、前記画像記憶部に格納されている各画像の中から、検索用の入力画像に類似する１枚以上の画像を含む検索結果提示用の画像群を取得する画像取得部と、前記検索用の入力画像が前記一のクラスに属し得るか否かに関する蓋然性を評価するための値を前記複数のクラス各々において求め、当該求めた値に基づいて前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する参照情報取得部と、を有する。

本発明における画像検索システムによれば、検索用の入力画像を用いて画像の検索を行った際に、当該検索用の入力画像の分析に有用な情報の取得を容易にする検索結果を提示可能である。

本発明の実施例に係る画像検索システムの要部の構成を示す図。 画像データの特徴ベクトルの分布状態の一例を示す模式図。 画像データの特徴ベクトルの分布状態の、図２とは異なる例を示す模式図。 画像データの検索結果の提示態様の一例を示す図。 画像データの検索結果の提示態様の、図４とは異なる例を示す図。 画像データの検索結果の提示態様の、図４及び図５とは異なる例を示す図。 画像データの検索結果の提示態様の、図４、図５及び図６とは異なる例を示す図。 画像データの検索結果の提示態様の、図４、図５、図６及び図７とは異なる例を示す図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

図１から図８は、本発明の実施例に係るものである。

図１は、本発明の実施例に係る画像検索システムの要部の構成を示す図である。

画像検索システム１は、図１に示すように、画像処理装置１０と、画像処理装置１０に対する入力操作が可能なスイッチ及びボタン等を具備する入力装置群２０と、複数の画像データが予め格納されたデータベース等である画像記憶装置３０と、画像処理装置１０の制御に応じた画像等を表示可能な表示装置４０と、を有して構成されている。

画像記憶部としての機能を具備する画像記憶装置３０には、複数のクラスのうちの一のクラスに属する（分類されている）ことを識別可能なクラス情報が個別に関連付けられた複数の画像データが格納されている。

また、画像処理装置１０は、演算処理部１１と、後述の参照情報を取得するための処理等を行う参照情報取得部１２と、演算処理部１１及び参照情報取得部１２の処理結果に応じたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を生成して表示装置４０の表示画面に描画させるための制御を行う表示制御部１３と、を有して構成されている。

演算処理部１１は、ＣＰＵ及びメモリ等を具備し、種々のソフトウェアまたはプログラムに則った演算処理等を行うことができるように構成されている。

ここで、以上のような構成を具備する画像検索システム１において実施される処理等について説明する。なお、以降においては、説明の簡単のため、画像記憶装置３０にｐ枚（ｐ≧２）の画像データが予め格納されており、かつ、２つのクラスＣ１またはＣ２のいずれかに属する（分類されている）ことを識別可能なクラス情報がｐ枚の画像データにそれぞれ関連付けられている場合を例に挙げて説明を進める。

但し、前述のクラスＣ１及びＣ２は、画像記憶装置３０に格納されている画像データ群の種類等に関連するものとして設定される。具体的には、医用画像に係る画像データ群が画像記憶装置３０に格納されている場合においては、例えば、微小血管及びｐｉｔ ｐａｔｔｅｒｎのような生体組織の組織学的構造、または、このような組織学的構造に基づく所見に応じたクラスをクラスＣ１及びＣ２として設定することができる。または、医用画像に係る画像データ群が画像記憶装置３０に格納されている場合においては、例えば腺腫及び癌腫のような、生体組織に発生する病変の種類に応じたクラスをクラスＣ１及びＣ２として設定することができる。

演算処理部１１は、ｐ枚の画像データにそれぞれ付与されているクラス情報に基づいてクラスＣ１に属する画像データ群を画像記憶装置３０から抽出した後、当該抽出した画像データ群に含まれる各画像データ毎に、相互に異なる複数の種類の特徴量を具備する特徴ベクトルを取得する。

さらに、演算処理部１１は、クラスＣ１に属する各画像データの特徴ベクトルに基づき、例えば、当該特徴ベクトルに応じた平均ベクトルμ１及び分散共分散行列Σ１により規定され、かつ、正規分布をモデルとした確率密度関数Ｎ１（μ１，Σ１）を算出するとともに、当該算出した確率密度関数Ｎ１（μ１，Σ１）を図示しないメモリに記憶させる。

そして、演算処理部１１は、クラスＣ１に属する画像データ群について、確率密度関数Ｎ１（μ１，Σ１）を用いて特徴ベクトルの生起確率を各画像データ毎に算出するとともに、当該算出した生起確率の値を各画像データ毎に関連付ける。

なお、前述の特徴ベクトルの代わりに、クラスＣ１に属する各画像データから１つの種類の特徴量のみを取得した場合において、演算処理部１１は、当該１つの種類の特徴量の平均値μ１及び分散σ１により規定され、かつ、正規分布をモデルとした確率密度関数Ｎ１（μ１，σ１）を算出する。

演算処理部１１は、ｐ枚の画像データにそれぞれ付与されているクラス情報に基づいてクラスＣ２に属する画像データ群を画像記憶装置３０から抽出した後、当該抽出した画像データ群に含まれる各画像データ毎に、相互に異なる複数の種類の特徴量を具備する特徴ベクトルを取得する。

さらに、演算処理部１１は、クラスＣ２に属する各画像データの特徴ベクトルに基づき、例えば、当該特徴ベクトルに応じた平均ベクトルμ２及び分散共分散行列Σ２により規定され、かつ、正規分布をモデルとした確率密度関数Ｎ２（μ２，Σ２）を算出するとともに、当該算出した確率密度関数Ｎ２（μ２，Σ２）を図示しないメモリに記憶させる。

そして、演算処理部１１は、クラスＣ２に属する画像データ群について、確率密度関数Ｎ２（μ２，Σ２）を用いて特徴ベクトルの生起確率を各画像データ毎に算出するとともに、当該算出した生起確率の値を各画像データ毎に関連付ける。

なお、前述の特徴ベクトルの代わりに、クラスＣ２に属する各画像データから１つの種類の特徴量のみを取得した場合において、演算処理部１１は、当該１つの種類の特徴量の平均値μ２及び分散σ２により規定され、かつ、正規分布をモデルとした確率密度関数Ｎ２（μ２，σ２）を算出する。

一方、ユーザは、例えば、画像記憶装置３０に格納されている画像データ群と関連する他の画像データ群が格納されている外部記憶装置（図示せず）を画像処理装置１０に接続した後、入力装置群２０を操作することにより、前記外部記憶装置に格納された画像データ群の中から検索用の入力画像データαを１枚選択し、当該検索用の入力画像データαに類似する画像の検索を開始する。

なお、本実施例によれば、図示しない外部記憶装置に格納された画像データ群の中から検索用の入力画像データαを選択して（画像処理装置１０に）入力するような構成を具備するものに限らず、例えば、図示しないカメラ等の撮像装置により取得されたものが検索用の入力画像データαとして直接（画像処理装置１０に）入力されるような構成を具備していてもよい。

演算処理部１１は、入力装置群２０の操作に基づき、検索用の入力画像データαによる画像の検索が開始されたことを検出すると、当該検索用の入力画像データαの特徴ベクトルｘと、画像記憶装置３０に格納されたｐ枚の画像データ各々の特徴ベクトルｘｉ（ｉ＝１，２，・・・，ｐ）と、をそれぞれ算出する。

なお、前述の特徴ベクトルｘ及びｘｉは、画像データ内の全ての画素の特徴量の算出結果に基づいて算出されるものであってもよく、または、画像データに含まれる関心領域内の各画素の特徴量の算出結果に基づいて算出されるものであってもよい。また、前述の特徴ベクトルｘ及びｘｉを構成する特徴量の数及び種類は、例えば、確率密度関数Ｎ１（μ１，Σ１）及び確率密度関数Ｎ２（μ２，Σ２）を算出する際に用いた特徴ベクトルを構成する特徴量と同数であり、かつ、確率密度関数Ｎ１（μ１，Σ１）及び確率密度関数Ｎ２（μ２，Σ２）を算出する際に用いた特徴ベクトルを構成する特徴量と同種のものを含むものであるとする。

なお、特徴ベクトルｘｉは、検索用の入力画像データαが入力される毎に算出されるものであってもよく、または、確率密度関数Ｎ１（μ１，Σ１）及び確率密度関数Ｎ２（μ２，Σ２）を算出する際に用いたものをそのまま利用してもよい。また、確率密度関数Ｎ１（μ１，Σ１）及び確率密度関数Ｎ２（μ２，Σ２）は、検索用の入力画像データαが入力される前に予め算出しておいてもよく、または、検索用の入力画像データαが入力される毎に算出してもよい。

演算処理部１１は、画像記憶装置３０に格納されたｐ枚の画像データ各々の特徴ベクトルｘｉの算出結果に基づき、当該ｐ枚の画像データを１つのクラスとみなした場合における平均ベクトルμ及び分散共分散行列Σを算出する。

演算処理部１１は、例えば、平均ベクトルμ及び分散共分散行列Σの算出結果をマハラノビスの汎距離の関数に適用して演算を行うことにより、特徴空間内における特徴ベクトルｘと各特徴ベクトルｘｉとの間の距離ｒｉを算出する。そして、画像取得部としての機能を具備する演算処理部１１は、画像記憶装置３０に格納されたｐ枚の画像データの中から、距離ｒｉの値が最小となるものから順にｋａ枚の画像データを抽出するとともに、当該抽出したｋａ枚の画像データを検索結果提示用の画像データ群として取得する。すなわち、前述のように取得されたｋａ枚の画像データは、いずれも検索用の入力画像データαに類似する画像データとみなすことができる。

一方、参照情報取得部１２は、演算処理部１１の処理結果に基づき、検索用の入力画像データαの特徴ベクトルｘの算出結果を確率密度関数Ｎ１（μ１，Σ１）及び確率密度関数Ｎ２（μ２，Σ２）に適用することにより、クラスＣ１における特徴ベクトルｘの生起確率と、クラスＣ２における特徴ベクトルｘの生起確率と、をそれぞれ算出する。そして、参照情報取得部１２は、クラスＣ１及びＣ２における特徴ベクトルｘの生起確率の値と、これら２つの生起確率の値の大小関係を評価した評価結果と、を検索結果提示用として取得した画像データ群を提示する際に参照される参照情報として取得する。

図２は、画像データの特徴ベクトルの分布状態の一例を示す模式図である。

具体的には、参照情報取得部１２は、例えば、クラスＣ１及びＣ２に属する画像データの特徴ベクトルの分布状態が図２に示すようなものである場合においては、クラスＣ１における特徴ベクトルｘの生起確率の値Ｐｒ１と、クラスＣ２における特徴ベクトルｘの生起確率の値Ｐｒ２と、生起確率の値Ｐｒ１及びＰｒ２の大小関係を（Ｐｒ１＞Ｐｒ２であるとして）評価した評価結果と、を参照情報として取得する。

すなわち、クラスＣ１における特徴ベクトルｘの生起確率の値Ｐｒ１は、検索用の入力画像データαがクラスＣ１に属し得るか否かに関する蓋然性を評価するための値として作用する。また、クラスＣ２における特徴ベクトルｘの生起確率の値Ｐｒ２は、検索用の入力画像データαがクラスＣ２に属し得るか否かに関する蓋然性を評価するための値として作用する。

なお、以上に述べた処理によれば、各クラスに属する画像データの特徴ベクトルの分布状態を一意に規定可能である限りにおいては、正規分布以外の他の統計モデルを用いた場合であっても、略同様の参照情報を取得することができる。

図３は、画像データの特徴ベクトルの分布状態の、図２とは異なる例を示す模式図である。

ところで、以上に述べたような処理によれば、図２に例示するような、各クラスに属する画像データの特徴ベクトルの分布状態を統計的モデルにより一意に規定することが可能な場合においては参照情報を取得できる一方で、図３に例示するような、各クラスに属する画像データの特徴ベクトルの分布状態を統計的モデルにより一意に規定することが実質的に不可能な場合においては参照情報を取得できない。そのため、図３に例示するような、各クラスに属する画像データの特徴ベクトルの分布状態を統計的モデルにより一意に規定することが実質的に不可能である場合には、前述の正規分布等の分布モデルを利用した処理の代わりに、例えば、ｋ-ＮＮ法（またはＰａｒｚｅｎ等の窓関数）を利用した以下のような処理を行うことにより、参照情報を取得することができる。なお、本実施例の演算処理部１１は、例えば、各クラスに属する画像データの特徴ベクトルの分布状態を予め設定された複数の統計的モデルのうちのいずれか１つにより規定することが可能であるか否かを判定し、当該判定した結果に応じて、前述の正規分布等の分布モデルを利用した処理、または、以下のｋ-ＮＮ法等を利用した処理のいずれかを選択するような構成を具備していてもよい。

具体的には、演算処理部１１は、例えば、画像記憶装置３０に格納されたｐ枚の画像データの中から、特徴ベクトルｘと特徴ベクトルｘｉとの間の距離ｒｉがＲ以下となるものとして抽出したｋｂ枚の画像データ、または、当該距離ｒｉが最小となるものから順に抽出したｋｂ枚の画像データを検索結果提示用の画像データ群として取得する。すなわち、前述のように取得されたｋｂ枚の画像データは、いずれも検索用の入力画像データαに類似する画像データとみなすことができる。

そして、参照情報取得部１２は、ｋｂ枚の画像データに関連付けられたクラス情報及び演算処理部１１の処理結果に基づき、ｋｂ枚の画像データの中に含まれるクラスＣ１の画像データの枚数のカウント値Ｐｃ１と、ｋｂ枚の画像データの中に含まれるクラスＣ２の画像データの枚数のカウント値Ｐｃ２と、カウント値Ｐｃ１及びＰｃ２の大小関係を評価した評価結果と、を検索結果提示用として取得した画像データ群を提示する際に参照される参照情報として取得する。

すなわち、ｋｂ枚の画像データの中に含まれるクラスＣ１の画像データの枚数のカウント値Ｐｃ１は、検索用の入力画像データαがクラスＣ１に属し得るか否かに関する蓋然性を評価するための値として作用する。また、ｋｂ枚の画像データの中に含まれるクラスＣ２の画像データの枚数のカウント値Ｐｃ２は、検索用の入力画像データαがクラスＣ２に属し得るか否かに関する蓋然性を評価するための値として作用する。

なお、本実施例によれば、例えば、医用画像に含まれる病変の良悪性等に基づくクラス自体の重要度に応じた重み付けを前述の処理により取得した参照情報に対して施すことにより、クラスＣ１に属する画像データの特徴ベクトルの分布傾向と、クラスＣ２に属する画像データの特徴ベクトルの分布傾向と、が大きく異なる場合であっても、適切な参照情報を取得することができる。また、本実施例によれば、例えば、前述のような重み付けを参照情報に対して施すことにより、クラスＣ１及びクラスＣ２のうちの一方のクラスに属する画像データの特徴ベクトルの数と、クラスＣ１及びクラスＣ２のうちの他方のクラスに属する画像データの特徴ベクトルの数と、の間に極端な差（偏り）が生じている場合であっても、適切な参照情報を取得することができる。

一方、表示制御部１３は、演算処理部１１及び参照情報取得部１２の処理結果に基づき、検索結果提示用として取得された画像データ群（または当該画像データ群のサムネイル）を少なくとも含む検索結果画面を生成して表示装置４０の表示画面に描画させるための制御を行う。

ここで、表示制御部１３により生成される検索結果の具体例について、クラスＣ１に属する旨のクラス情報が関連付けられた画像データＩａ及びＩｃと、クラスＣ２に属する旨のクラス情報が関連付けられた画像データＩｂ及びＩｄと、からなる４枚の画像データが検索結果提示用の画像データ群として取得された場合を例に挙げて説明する。

まず、図４のような生起確率マップを検索結果として提示する際に行われる処理等について述べる。図４は、画像データの検索結果の提示態様の一例を示す図である。

表示制御部１３は、演算処理部１１により算出された確率密度関数Ｎ１（μ１，Σ１）に基づき、クラスＣ１に属する画像データ群の特徴ベクトルの生起確率が０または略０になることを示す境界としての閉曲線ＣＡ１と、クラスＣ１に属する画像データ群の特徴ベクトルの生起確率が０より十分大きな所定の値になることを示す境界としての１または複数の閉曲線ＣＡ２とを生成する（図４参照）。

また、表示制御部１３は、閉曲線ＣＡ１の内側の領域において、画像データＩａ及びＩｃにそれぞれ関連付けられた生起確率に相当する位置に画像データＩａ及びＩｃのサムネイルを生成して配置する（図４参照）。なお、このような処理を行う際に、表示制御部１３は、画像データＩａ及びＩｃのサムネイルを生成して配置する代わりに、画像データＩａ及びＩｃの位置をそれぞれ示すマーカを生成して配置してもよい。

表示制御部１３は、演算処理部１１により算出された確率密度関数Ｎ２（μ２，Σ２）に基づき、クラスＣ２に属する画像データ群の特徴ベクトルの生起確率が０または略０になることを示す境界としての閉曲線ＣＢ１と、クラスＣ２に属する画像データ群の特徴ベクトルの生起確率が０より十分大きな所定の値になることを示す境界としての１または複数の閉曲線ＣＢ２とを生成する（図４参照）。

また、表示制御部１３は、閉曲線ＣＢ１の内側の領域において、画像データＩｂ及びＩｄにそれぞれ関連付けられた生起確率に相当する位置に画像データＩｂ及びＩｄのサムネイルを生成して配置する（図４参照）。

一方、表示制御部１３は、参照情報取得部１２により得られた参照情報に含まれる生起確率Ｐｒ１及びＰｒ２の値の大小関係に基づき、クラスＣ１及びＣ２のうち、特徴ベクトルｘの生起確率の値が相対的に大となる一方の（または特徴ベクトルｘの生起確率の値が最大となる一つの）クラスの代表例の画像データの位置を示すマークＭＫＡを生成して配置する。ここで、Ｐｒ１＞Ｐｒ２の場合においては、クラスＣ１の代表例の画像データの位置を示すマークＭＫＡが生成及び配置される（図４参照）。

なお、前述のような処理を行う際に、表示制御部１３は、クラスＣ１の代表例の画像データの位置を示すマークＭＫＡを生成して配置する代わりに、クラスＣ１の代表例の画像データのサムネイルを生成して配置してもよい。

また、前述のような処理を行う際に、表示制御部１３は、特徴ベクトルｘの生起確率の値が相対的に大となる一方の（または特徴ベクトルｘの生起確率の値が最大となる一つの）クラスの代表例の画像データの位置を示すマークのみを生成して配置するものに限らず、クラスＣ１及びＣ２の両方のクラスの代表例の画像データの位置を示すマークを生成して配置するものであってもよい。

一方、前述の代表例の画像データは、例えば、確率密度関数Ｎ１（μ１，Σ１）及び確率密度関数Ｎ２（μ２，Σ２）に基づいて関連付けられた生起確率がそれぞれ最高となるものであってもよく、または、代表例である旨を示す情報がユーザにより予め付与されたものであってもよい。

また、表示制御部１３は、例えば、後述のようにクラスＣ１の代表例の画像データ群が設定された場合において、当該画像データ群に含まれる各画像データの中から、検索用の入力画像データαとの距離が最も近い（距離ｒｉの値が最も小さくなる）ものを選択して前述のマークＭＫＡを生成するような処理を行うものであってもよい。

さらに、クラスＣ１の代表例の画像データの位置を示すマークＭＫＡを生成及び配置した場合（図４参照）において、表示制御部１３は、画像データＩａ及びＩｃのうち、検索用の入力画像データαとの距離が最も近い（距離ｒｉの値が最も小さくなる）一方の画像データ（図４においては画像データＩｃ）のサムネイルと、マークＭＫＡとの間を結ぶ矢印ＡＲを生成して配置する。

ここで、前述の矢印ＡＲは、クラスＣ１における代表例の画像データと、検索用の入力画像データαに最も類似する画像データＩｃと、の間における類似度の高さに略反比例する長さを具備するように生成される。すなわち、前述の矢印ＡＲは、クラスＣ１における代表例の画像データと、検索用の入力画像データαに最も類似する画像データＩｃと、の間の類似度を可視化した視覚情報として機能する。

その後、表示制御部１３は、図４のような生起確率マップを含む検索結果画面を生成して表示装置４０の表示画面に描画させるための制御を行う。

従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図４のような生起確率マップを含む検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができるとともに、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができる。すなわち、本実施例の画像検索システム１によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図４のような生起確率マップを提示することができる。

なお、本実施例によれば、図４のような生起確率マップを検索結果として提示するための処理を行う代わりに、図５のような生起確率マップを検索結果として提示するための処理を行うものであってもよい。ここで、図５のような生起確率マップを検索結果として提示する際に行われる処理等について述べる。図５は、画像データの検索結果の提示態様の、図４とは異なる例を示す図である。

表示制御部１３は、演算処理部１１により算出された確率密度関数Ｎ１（μ１，Σ１）に基づき、クラスＣ１に属する画像データ群の特徴ベクトルの生起確率が０または略０になることを示す境界としての閉曲線ＣＡ１と、クラスＣ１に属する画像データ群の特徴ベクトルの生起確率が０より十分大きな所定の値になることを示す境界としての１または複数の閉曲線ＣＡ２とを生成する（図５参照）。

また、表示制御部１３は、閉曲線ＣＡ１の内側の領域において、画像データＩａ及びＩｃにそれぞれ関連付けられた生起確率に相当する位置に画像データＩａ及びＩｃのサムネイルを生成して配置するとともに、クラスＣ１の代表例の画像データ群のうち、検索用の入力画像データαに最も類似する画像データＩＤ１のサムネイルを生成して配置する（図５参照）。

なお、クラスＣ１の代表例の画像データ群は、例えば、確率密度関数Ｎ１（μ１，Σ１）に基づいて関連付けられた生起確率が高い順に選択された１または複数の画像データとして設定される。そして、このような場合においては、クラスＣ１の代表例の画像データ群に含まれる各画像データのうち、例えば、検索用の入力画像データαとの距離が最も近い（距離ｒｉの値が最も小さくなる）ものが画像データＩＤ１として選択される。

表示制御部１３は、演算処理部１１により算出された確率密度関数Ｎ２（μ２，Σ２）に基づき、クラスＣ２に属する画像データ群の特徴ベクトルの生起確率が０または略０になることを示す境界としての閉曲線ＣＢ１と、クラスＣ２に属する画像データ群の特徴ベクトルの生起確率が０より十分大きな所定の値になることを示す境界としての１または複数の閉曲線ＣＢ２とを生成する（図５参照）。

また、表示制御部１３は、閉曲線ＣＢ１の内側の領域において、画像データＩｂ及びＩｄにそれぞれ関連付けられた生起確率に相当する位置に画像データＩｂ及びＩｄのサムネイルを生成して配置するとともに、クラスＣ２の代表例の画像データ群のうち、検索用の入力画像データαに最も類似する画像データＩＤ２のサムネイルを生成して配置する（図５参照）。

なお、クラスＣ２の代表例の画像データ群は、例えば、確率密度関数Ｎ２（μ２，Σ２）に基づいて関連付けられた生起確率が高い順に選択された１または複数の画像データとして設定される。そして、このような場合においては、クラスＣ２の代表例の画像データ群に含まれる各画像データのうち、例えば、検索用の入力画像データαとの距離が最も近い（距離ｒｉの値が最も小さくなる）ものが画像データＩＤ２として選択される。

一方、表示制御部１３は、参照情報取得部１２により得られた参照情報に含まれる生起確率Ｐｒ１及びＰｒ２の値に基づき、閉曲線ＣＡ１及びＣＢ１に対する検索用の入力画像データαの位置を示すマークＭＫＢを生成して配置する。ここで、Ｐｒ１≠０かつＰｒ２≠０の場合においては、閉曲線ＣＡ１及びＣＢ１により囲まれる重複領域の内部にマークＭＫＢが生成及び配置される（図５参照）。

その後、表示制御部１３は、図５のような生起確率マップを含む検索結果画面を生成して表示装置４０の表示画面に描画させるための制御を行う。

従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図５のような生起確率マップを含む検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができ、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができ、さらに、検索用の入力画像データαが前記一のクラスとは異なる他のクラスに属する可能性を模索することができる。すなわち、本実施例の画像検索システム１によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図５のような生起確率マップを提示することができる。

なお、図４及び図５の生起確率マップは、前述のような態様で提示されるものに限らず、例えば、閉曲線ＣＡ２及びＣＢ２等の一部の部分を省略して提示されるものであってもよい。また、図４及び図５の生起確率マップは、検索結果提示用の画像データ群を含む限りにおいては、画像記憶装置３０に格納されたｐ枚の画像データの中から選択した、検索結果提示用の画像データ群に属するもの以外の１枚以上の画像データを含めて提示されるものであってもよい。

本実施例の表示制御部１３は、図４及び図５に例示したような生起確率マップを生成するものに限らず、例えば、検索結果提示用として取得された画像データＩａ、Ｉｂ、Ｉｃ及びＩｄの間における相互の距離の遠近を視覚的に認識可能な検索結果画面を生成するものであってもよい。

一方、本実施例によれば、図４及び図５に例示したような生起確率マップとは異なる他の態様により検索結果が提示されるものであってもよい。ここで、図６のような検索結果画面を生成する際に行われる処理等について述べる。図６は、画像データの検索結果の提示態様の、図４及び図５とは異なる例を示す図である。

演算処理部１１は、検索結果提示用の画像データ群を取得する際に、各クラスの代表例の画像データ群に含まれる各画像データの中から、検索用の入力画像データαとの距離が最も近い（距離ｒｉの値が最も小さくなる）ものを１つずつ抽出する。具体的には、例えば、画像記憶装置３０に格納されたｐ枚の画像データがＣ１、Ｃ２、・・・、ＣＱからなるＱ個のクラスに予め分類されている場合においては、当該Ｑ個のクラスの代表例の画像データ群に含まれる各画像データの中から、検索用の入力画像データαとの距離が最も近くなる（距離ｒｉの値が最も小さくなる）画像データＩＤ１、ＩＤ２、・・・、ＩＤＱからなるＱ枚の画像データが抽出される。

なお、前述の画像データＩＤ１、ＩＤ２、・・・、ＩＤＱは、検索用の入力画像データαとの距離が最も近くなる（距離ｒｉの値が最も小さくなる）ものに限らず、例えば、クラスＣ１、Ｃ２、・・・、ＣＱの代表例である旨を示す情報が各クラス毎に予め付与されたものであってもよい。

表示制御部１３は、演算処理部１１により抽出された各画像データに関連付けられているクラス情報に基づき、例えば図６のような、演算処理部１１により抽出された画像データＩＤ１、ＩＤ２、・・・、ＩＤＱを画面上部の領域に横列配置し、さらに、検索結果提示用の画像データ群に含まれる画像データＩａ〜Ｉｄを各クラス毎に分けて（画像データＩＤ１、ＩＤ２、・・・、ＩＤＱの配置位置に合わせて）縦列配置した検索結果画面を生成する。

なお、表示制御部１３は、図６のような検索結果画面を生成する際に、参照情報取得部１２により得られた参照情報に基づき、例えば、演算処理部１１により抽出された各画像データが、特徴ベクトルｘの生起確率の値が高いクラスから低いクラスへ順番に並ぶように、または、検索結果提示用の画像データに含まれる枚数が多いクラスから少ないクラスへ順番に並ぶように配置してもよい。

一方、演算処理部１１は、前述の検索結果提示用の画像データ群を取得する処理を行う際に、例えば、各クラスの代表例の画像データ群に含まれる各画像データの中から、参照情報取得部１２により得られた参照情報に基づいて１枚以上の画像データを抽出するものであってもよい。そして、このような演算処理部１１の処理に応じ、表示制御部１３は、各クラスの代表例の画像データとして抽出された各画像データを、検索結果画面内のいずれかの領域に並べて配置してもよい。

その後、表示制御部１３は、図６のような検索結果画面を表示装置４０の表示画面に描画させるための制御を行う。

すなわち、図６に示す検索結果画面によれば、検索結果提示用の画像データＩａ〜Ｉｄと、Ｑ個のクラス各々の代表例の画像データＩＤ１、ＩＤ２、・・・、ＩＤＱと、が併せて提示されるため、例えば、画像記憶装置３０に格納されたｐ枚の画像データにおいて、クラスＣ１及びＣ２以外の他のクラスに分類された画像データが存在することをユーザに認識させることができる。

また、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図６のような検索結果画面を見ながら、例えば、検索用の入力画像データαが一のクラスにおける典型例または特異例のいずれであるかを判別することができるとともに、検索用の入力画像データαが前記一のクラスとは異なる他のクラスに属する可能性を模索することができる。すなわち、本実施例の画像検索システム１によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図６のような検索結果画面を提示することができる。

なお、本実施例によれば、図６のような検索結果画面を生成して表示させるための処理を行う代わりに、図７のような検索結果画面を生成して表示させるための処理を行うものであってもよい。ここで、図７のような検索結果画面を生成する際に行われる処理等について述べる。図７は、画像データの検索結果の提示態様の、図４、図５及び図６とは異なる例を示す図である。

演算処理部１１は、検索結果提示用の画像データ群を取得した後、クラスＣ１の代表例に含まれる画像データＩＤ１との距離を画像データＩａ及びＩｃのそれぞれについて算出するとともに、クラスＣ２の代表例に含まれる画像データＩＤ２との距離を画像データＩｂ及びＩｄのそれぞれについて算出する。

表示制御部１３は、演算処理部１１の処理結果に基づき、例えば図７のような、検索用の入力画像データαと、検索結果提示用として取得された画像データＩａ〜Ｉｄと、画像データＩａ〜Ｉｄ各々のクラス名、代表例の画像データとの距離、及び、特徴ベクトルの生起確率と、を併せて確認することが可能な検索結果画面を生成する。

すなわち、図７に例示した検索結果画面に含まれる代表例の画像データとの距離、及び、特徴ベクトルの生起確率は、検索用の入力画像データαと、画像記憶装置３０に格納されたクラスＣ１またはＣ２の代表例の画像データと、の間の類似度を可視化した視覚情報として機能する。

その後、表示制御部１３は、図７のような検索結果画面を表示装置４０の表示画面に描画させるための制御を行う。

従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図７のような検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができるとともに、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができる。すなわち、本実施例の画像検索システム１によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図７のような検索結果画面を提示することができる。

一方、本実施例によれば、図６及び図７のような検索結果画面を生成して表示させるための処理を行う代わりに、図８のような検索結果画面を生成して表示させるための処理を行うものであってもよい。ここで、図８のような検索結果画面を生成する際に行われる処理等について述べる。図８は、画像データの検索結果の提示態様の、図４、図５、図６及び図７とは異なる例を示す図である。

演算処理部１１は、検索結果提示用の画像データ群を取得した後、クラスＣ１の代表例に含まれる画像データＩＤ１との距離を画像データＩａ及びＩｃのそれぞれについて算出するとともに、クラスＣ２の代表例に含まれる画像データＩＤ２との距離を画像データＩｂ及びＩｄのそれぞれについて算出する。

表示制御部１３は、画像データＩａ〜Ｉｄに関連付けられたクラス情報と、参照情報取得部１２により得られた参照情報に含まれる生起確率Ｐｒ１及びＰｒ２の値の大小関係とに基づき、検索結果提示用として取得されたクラスＣ１及びＣ２の画像データ群の配置状態を、特徴ベクトルｘの生起確率の値が相対的に大となる一方のクラスの画像データ群を検索結果の上位とし、かつ、特徴ベクトルｘの生起確率の値が相対的に小となる他方のクラスの画像データ群を検索結果の下位とするような配置状態に設定する。

また、表示制御部１３は、同一のクラスに属する各画像データの配置状態を、代表例の画像データとの距離が近い順、または、特徴ベクトルの生起確率が高い順のいずれかの配置状態に設定する。

なお、表示制御部１３は、画像データＩａ〜Ｉｄに関連付けられたクラス情報と、参照情報取得部１２により得られた参照情報に含まれるカウント値Ｐｃ１及びＰｃ２の大小関係とに基づき、検索結果提示用として取得されたクラスＣ１及びＣ２の画像データ群の配置状態を、カウント値が相対的に大となる一方のクラスの画像データ群を検索結果の上位とし、かつ、カウント値が相対的に小となる他方のクラスの画像データ群を検索結果の下位とするような配置状態に設定するものであってもよい。そして、このような場合において、表示制御部１３は、同一のクラスに属する各画像データの配置状態を、代表例の画像データとの距離が近い順に設定する。

そして、表示制御部１３は、例えば図８のような、検索用の入力画像データαと、前述の配置状態に設定された画像データＩａ〜Ｉｄと、画像データＩａ〜Ｉｄ各々のクラス名、代表例の画像データとの距離、及び、特徴ベクトルの生起確率と、を併せて確認することが可能な検索結果画面を生成する。

すなわち、図８に例示した検索結果画面に含まれる代表例の画像データとの距離、及び、特徴ベクトルの生起確率は、検索用の入力画像データαと、画像記憶装置３０に格納されたクラスＣ１またはＣ２の代表例の画像データと、の間の類似度を可視化した視覚情報として機能する。

その後、表示制御部１３は、図８のような検索結果画面を表示装置４０の表示画面に描画させるための制御を行う。

従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図８のような検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができるとともに、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができる。すなわち、本実施例の画像検索システム１によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図８のような検索結果画面を提示することができる。

なお、本実施例として述べた各処理等は、画像記憶装置３０に格納されているｐ枚の画像データがクラスＣ１またはＣ２のいずれかに分類されている場合に限らず、当該ｐ枚の画像データが３つ以上のクラスのいずれかに分類されている場合においても略同様に適用可能である。

一方、本実施例における代表例の画像データ群は、前述のように設定されるものに限らず、例えば、１つのクラスに属する画像データ群において、確率密度関数に基づいて関連付けられた生起確率が相対的に高い各画像データの中から選択した１または複数の画像データ（または確率密度関数に基づいて関連付けられた生起確率が最大となる１枚の画像データ）が典型例の代表例を示す画像データ群として設定され、さらに、確率密度関数に基づいて関連付けられた生起確率が相対的に低い各画像データの中から選択した１または複数の画像データ（または確率密度関数に基づいて関連付けられた生起確率が最小となる１枚の画像データ）が特異例の代表例を示す画像データ群として設定されるものであってもよい。

また、本実施例における代表例の画像データ群は、前述のように設定されるものに限らず、例えば、１つのクラスに属する画像データ群において、典型例を示すラベルが予め付与された各画像データの中から（入力画像データαに対して類似するものとして）選択した１または複数の画像データが典型例の代表例を示す画像データ群として設定され、さらに、特異例を示すラベルが予め付与された各画像データの中から（入力画像データαに対して類似するものとして）選択した１または複数の画像データが特異例の代表例を示す画像データ群として設定されるものであってもよい。

また、本実施例によれば、例えば、１つのクラスに属する画像データ群において、典型例の代表例を示す１枚の画像データを予め設定しておき、さらに、当該典型例の代表例を示す１枚の画像データから最も距離が離れた位置にある（最も類似性の低い）画像データを特異例の代表例を示す画像データとして設定してもよい。

本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１ 画像検索システム
１０ 画像処理装置
１１ 演算処理部
１２ 参照情報取得部
１３ 表示制御部
２０ 入力装置群
３０ 画像記憶装置
４０ 表示装置

特開２０１０−７９３９８号公報

Claims (9)

1. 複数のクラスのうちの一のクラスに属することを識別可能なクラス情報が個別に関連付けられた複数の画像が格納されている画像記憶部と、
   前記画像記憶部に格納されている各画像の中から、検索用の入力画像に類似する１枚以上の画像を含む検索結果提示用の画像群を取得する画像取得部と、
   前記検索用の入力画像が前記一のクラスに属し得るか否かに関する蓋然性を評価するための値を前記複数のクラス各々において求め、当該求めた値に基づいて前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する参照情報取得部と、
   を有することを特徴とする画像検索システム。
2. 前記一のクラスに属する各画像毎に取得した１種類以上の特徴量の分布状態に基づいて規定される確率密度関数を前記複数のクラス各々において算出する演算処理部をさらに有し、
   前記参照情報取得部は、前記検索用の入力画像から取得した前記１種類以上の特徴量を前記確率密度関数に適用することにより、前記検索用の入力画像から取得した前記１種類以上の特徴量が生起する生起確率の値を前記複数のクラス各々において算出し、さらに、当該算出した生起確率の値に基づき、前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する
   ことを特徴とする請求項１に記載の画像検索システム。
3. 前記クラス情報及び前記参照情報に基づき、前記検索結果提示用の画像群に含まれる各画像を配置した検索結果画面を生成する検索結果画面生成部をさらに有することを特徴とする請求項２に記載の画像検索システム。
4. 前記検索結果画面生成部は、前記クラス情報及び前記参照情報に基づき、前記複数のクラスの中で前記生起確率の値が最大となるクラスにおける代表例の画像に関する情報を含む検索結果画面を生成することを特徴とする請求項３に記載の画像検索システム。
5. 前記検索結果画面生成部は、前記クラス情報及び前記参照情報に基づいて前記検索用の入力画像及び前記画像記憶部に格納された各画像の中から選択した、任意の２つの画像の間の類似度を可視化した視覚情報を含む検索結果画面を生成することを特徴とする請求項４に記載の画像検索システム。
6. 前記参照情報取得部により取得された参照情報に対し、クラス自体の重要度に応じた重み付けが施されることを特徴とする請求項２に記載の画像検索システム。
7. 前記画像取得部は、前記画像記憶部に格納されている各画像毎に取得した１種類以上の特徴量と、検索用の入力画像から取得した前記１種類以上の特徴量と、に基づき、前記画像記憶部に格納されている各画像の中から、特徴空間内における距離が所定値以下となる、または、特徴空間内における距離が最小となるものから順に１枚以上の画像を含む検索結果提示用の画像群を取得し、
   前記参照情報取得部は、前記クラス情報に基づいて前記検索結果提示用の画像群に含まれる画像の枚数を各クラス毎にカウントすることによりカウント値を取得し、さらに、当該カウント値に基づき、前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する
   ことを特徴とする請求項１に記載の画像検索システム。
8. 前記クラス情報及び前記参照情報に基づき、前記検索結果提示用の画像群に含まれる各画像を配置した検索結果画面を生成する検索結果画面生成部をさらに有することを特徴とする請求項７に記載の画像検索システム。
9. 前記クラス情報及び前記参照情報に基づき、前記検索結果提示用の画像群と、前記画像記憶部に格納されている各画像の中から各クラス毎に１枚以上抽出された代表例の画像群と、を含む検索結果画面を生成する検索結果画面生成部をさらに有することを特徴とする請求項７に記載の画像検索システム。

Images