JP2013061879A - 画像検索システム - Google Patents

画像検索システム Download PDF

Info

Publication number
JP2013061879A
JP2013061879A JP2011201022A JP2011201022A JP2013061879A JP 2013061879 A JP2013061879 A JP 2013061879A JP 2011201022 A JP2011201022 A JP 2011201022A JP 2011201022 A JP2011201022 A JP 2011201022A JP 2013061879 A JP2013061879 A JP 2013061879A
Authority
JP
Japan
Prior art keywords
image
image data
search
class
search result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011201022A
Other languages
English (en)
Other versions
JP5635467B2 (ja
Inventor
Sawako SHIBATA
佐和子 柴田
Hiroichi Nishimura
博一 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2011201022A priority Critical patent/JP5635467B2/ja
Publication of JP2013061879A publication Critical patent/JP2013061879A/ja
Application granted granted Critical
Publication of JP5635467B2 publication Critical patent/JP5635467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】検索用の入力画像の分析に有用な情報の取得を容易にする検索結果を提示可能な画像検索システムを提供する。
【解決手段】本発明の画像検索システムは、複数のクラスのうちの一のクラスに属することを識別可能なクラス情報が個別に関連付けられた複数の画像が格納されている画像記憶部と、画像記憶部に格納されている各画像の中から、検索用の入力画像に類似する1枚以上の画像を含む検索結果提示用の画像群を取得する画像取得部と、検索用の入力画像が一のクラスに属し得るか否かに関する蓋然性を評価するための値を複数のクラス各々において求め、当該求めた値に基づいて検索結果提示用の画像群の提示の際に参照される参照情報を取得する参照情報取得部と、を有する。
【選択図】図1

Description

本発明は、画像検索システムに関し、特に、検索用の入力画像を用いて画像の検索を行うことが可能な画像検索システムに関するものである。
データベースに蓄積された画像群から得られる特徴量等の所定の分類基準に基づいて当該画像群に含まれる各画像を分類し、当該分類した結果と検索用の入力画像とに基づいてデータベース内を検索することにより入力画像に類似または一致する画像を取得し、当該取得した画像を提示するような技術が従来知られている。
具体的には、例えば、特許文献1には、識別器等を用いて得られた病変の分類結果に応じて局所画像特徴とトピック変数との相関係数を取得し、当該取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定し、当該推定されたトピック変数の生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する、という技術が開示されている。
しかし、特許文献1に開示されている技術によれば、例えば、検索用の入力画像に含まれる病変の発現状態が、一の病変の発現状態として典型的であるか否か、及び(または)、当該一の病変とは異なる他の病変の発現状態に近いか否か等を判断可能な情報を得るために、前記検索用の入力画像に対応する検索結果として提示される多数の類似画像を逐一目視にて確認しなければならないような状況が生じ得る。その結果、特許文献1に開示された技術によれば、検索用の入力画像に対応する画像の検索結果に基づいて当該検索用の入力画像の分析に有用な情報を得る際に、ユーザに対して過度な負担を課してしまう場合がある、という課題が生じている。
本発明は、前述した事情に鑑みてなされたものであり、検索用の入力画像を用いて画像の検索を行った際に、当該検索用の入力画像の分析に有用な情報の取得を容易にする検索結果を提示可能な画像検索システムを提供することを目的としている。
本発明の一態様の画像検索システムは、複数のクラスのうちの一のクラスに属することを識別可能なクラス情報が個別に関連付けられた複数の画像が格納されている画像記憶部と、前記画像記憶部に格納されている各画像の中から、検索用の入力画像に類似する1枚以上の画像を含む検索結果提示用の画像群を取得する画像取得部と、前記検索用の入力画像が前記一のクラスに属し得るか否かに関する蓋然性を評価するための値を前記複数のクラス各々において求め、当該求めた値に基づいて前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する参照情報取得部と、を有する。
本発明における画像検索システムによれば、検索用の入力画像を用いて画像の検索を行った際に、当該検索用の入力画像の分析に有用な情報の取得を容易にする検索結果を提示可能である。
本発明の実施例に係る画像検索システムの要部の構成を示す図。 画像データの特徴ベクトルの分布状態の一例を示す模式図。 画像データの特徴ベクトルの分布状態の、図2とは異なる例を示す模式図。 画像データの検索結果の提示態様の一例を示す図。 画像データの検索結果の提示態様の、図4とは異なる例を示す図。 画像データの検索結果の提示態様の、図4及び図5とは異なる例を示す図。 画像データの検索結果の提示態様の、図4、図5及び図6とは異なる例を示す図。 画像データの検索結果の提示態様の、図4、図5、図6及び図7とは異なる例を示す図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図8は、本発明の実施例に係るものである。
図1は、本発明の実施例に係る画像検索システムの要部の構成を示す図である。
画像検索システム1は、図1に示すように、画像処理装置10と、画像処理装置10に対する入力操作が可能なスイッチ及びボタン等を具備する入力装置群20と、複数の画像データが予め格納されたデータベース等である画像記憶装置30と、画像処理装置10の制御に応じた画像等を表示可能な表示装置40と、を有して構成されている。
画像記憶部としての機能を具備する画像記憶装置30には、複数のクラスのうちの一のクラスに属する(分類されている)ことを識別可能なクラス情報が個別に関連付けられた複数の画像データが格納されている。
また、画像処理装置10は、演算処理部11と、後述の参照情報を取得するための処理等を行う参照情報取得部12と、演算処理部11及び参照情報取得部12の処理結果に応じたGUI(Graphical User Interface)等を生成して表示装置40の表示画面に描画させるための制御を行う表示制御部13と、を有して構成されている。
演算処理部11は、CPU及びメモリ等を具備し、種々のソフトウェアまたはプログラムに則った演算処理等を行うことができるように構成されている。
ここで、以上のような構成を具備する画像検索システム1において実施される処理等について説明する。なお、以降においては、説明の簡単のため、画像記憶装置30にp枚(p≧2)の画像データが予め格納されており、かつ、2つのクラスC1またはC2のいずれかに属する(分類されている)ことを識別可能なクラス情報がp枚の画像データにそれぞれ関連付けられている場合を例に挙げて説明を進める。
但し、前述のクラスC1及びC2は、画像記憶装置30に格納されている画像データ群の種類等に関連するものとして設定される。具体的には、医用画像に係る画像データ群が画像記憶装置30に格納されている場合においては、例えば、微小血管及びpit patternのような生体組織の組織学的構造、または、このような組織学的構造に基づく所見に応じたクラスをクラスC1及びC2として設定することができる。または、医用画像に係る画像データ群が画像記憶装置30に格納されている場合においては、例えば腺腫及び癌腫のような、生体組織に発生する病変の種類に応じたクラスをクラスC1及びC2として設定することができる。
演算処理部11は、p枚の画像データにそれぞれ付与されているクラス情報に基づいてクラスC1に属する画像データ群を画像記憶装置30から抽出した後、当該抽出した画像データ群に含まれる各画像データ毎に、相互に異なる複数の種類の特徴量を具備する特徴ベクトルを取得する。
さらに、演算処理部11は、クラスC1に属する各画像データの特徴ベクトルに基づき、例えば、当該特徴ベクトルに応じた平均ベクトルμ1及び分散共分散行列Σ1により規定され、かつ、正規分布をモデルとした確率密度関数N1(μ1,Σ1)を算出するとともに、当該算出した確率密度関数N1(μ1,Σ1)を図示しないメモリに記憶させる。
そして、演算処理部11は、クラスC1に属する画像データ群について、確率密度関数N1(μ1,Σ1)を用いて特徴ベクトルの生起確率を各画像データ毎に算出するとともに、当該算出した生起確率の値を各画像データ毎に関連付ける。
なお、前述の特徴ベクトルの代わりに、クラスC1に属する各画像データから1つの種類の特徴量のみを取得した場合において、演算処理部11は、当該1つの種類の特徴量の平均値μ1及び分散σ1により規定され、かつ、正規分布をモデルとした確率密度関数N1(μ1,σ1)を算出する。
演算処理部11は、p枚の画像データにそれぞれ付与されているクラス情報に基づいてクラスC2に属する画像データ群を画像記憶装置30から抽出した後、当該抽出した画像データ群に含まれる各画像データ毎に、相互に異なる複数の種類の特徴量を具備する特徴ベクトルを取得する。
さらに、演算処理部11は、クラスC2に属する各画像データの特徴ベクトルに基づき、例えば、当該特徴ベクトルに応じた平均ベクトルμ2及び分散共分散行列Σ2により規定され、かつ、正規分布をモデルとした確率密度関数N2(μ2,Σ2)を算出するとともに、当該算出した確率密度関数N2(μ2,Σ2)を図示しないメモリに記憶させる。
そして、演算処理部11は、クラスC2に属する画像データ群について、確率密度関数N2(μ2,Σ2)を用いて特徴ベクトルの生起確率を各画像データ毎に算出するとともに、当該算出した生起確率の値を各画像データ毎に関連付ける。
なお、前述の特徴ベクトルの代わりに、クラスC2に属する各画像データから1つの種類の特徴量のみを取得した場合において、演算処理部11は、当該1つの種類の特徴量の平均値μ2及び分散σ2により規定され、かつ、正規分布をモデルとした確率密度関数N2(μ2,σ2)を算出する。
一方、ユーザは、例えば、画像記憶装置30に格納されている画像データ群と関連する他の画像データ群が格納されている外部記憶装置(図示せず)を画像処理装置10に接続した後、入力装置群20を操作することにより、前記外部記憶装置に格納された画像データ群の中から検索用の入力画像データαを1枚選択し、当該検索用の入力画像データαに類似する画像の検索を開始する。
なお、本実施例によれば、図示しない外部記憶装置に格納された画像データ群の中から検索用の入力画像データαを選択して(画像処理装置10に)入力するような構成を具備するものに限らず、例えば、図示しないカメラ等の撮像装置により取得されたものが検索用の入力画像データαとして直接(画像処理装置10に)入力されるような構成を具備していてもよい。
演算処理部11は、入力装置群20の操作に基づき、検索用の入力画像データαによる画像の検索が開始されたことを検出すると、当該検索用の入力画像データαの特徴ベクトルと、画像記憶装置30に格納されたp枚の画像データ各々の特徴ベクトルxi(i=1,2,・・・,p)と、をそれぞれ算出する。
なお、前述の特徴ベクトル及びxiは、画像データ内の全ての画素の特徴量の算出結果に基づいて算出されるものであってもよく、または、画像データに含まれる関心領域内の各画素の特徴量の算出結果に基づいて算出されるものであってもよい。また、前述の特徴ベクトル及びxiを構成する特徴量の数及び種類は、例えば、確率密度関数N1(μ1,Σ1)及び確率密度関数N2(μ2,Σ2)を算出する際に用いた特徴ベクトルを構成する特徴量と同数であり、かつ、確率密度関数N1(μ1,Σ1)及び確率密度関数N2(μ2,Σ2)を算出する際に用いた特徴ベクトルを構成する特徴量と同種のものを含むものであるとする。
なお、特徴ベクトルxiは、検索用の入力画像データαが入力される毎に算出されるものであってもよく、または、確率密度関数N1(μ1,Σ1)及び確率密度関数N2(μ2,Σ2)を算出する際に用いたものをそのまま利用してもよい。また、確率密度関数N1(μ1,Σ1)及び確率密度関数N2(μ2,Σ2)は、検索用の入力画像データαが入力される前に予め算出しておいてもよく、または、検索用の入力画像データαが入力される毎に算出してもよい。
演算処理部11は、画像記憶装置30に格納されたp枚の画像データ各々の特徴ベクトルxiの算出結果に基づき、当該p枚の画像データを1つのクラスとみなした場合における平均ベクトルμ及び分散共分散行列Σを算出する。
演算処理部11は、例えば、平均ベクトルμ及び分散共分散行列Σの算出結果をマハラノビスの汎距離の関数に適用して演算を行うことにより、特徴空間内における特徴ベクトルと各特徴ベクトルxiとの間の距離riを算出する。そして、画像取得部としての機能を具備する演算処理部11は、画像記憶装置30に格納されたp枚の画像データの中から、距離riの値が最小となるものから順にka枚の画像データを抽出するとともに、当該抽出したka枚の画像データを検索結果提示用の画像データ群として取得する。すなわち、前述のように取得されたka枚の画像データは、いずれも検索用の入力画像データαに類似する画像データとみなすことができる。
一方、参照情報取得部12は、演算処理部11の処理結果に基づき、検索用の入力画像データαの特徴ベクトルの算出結果を確率密度関数N1(μ1,Σ1)及び確率密度関数N2(μ2,Σ2)に適用することにより、クラスC1における特徴ベクトルの生起確率と、クラスC2における特徴ベクトルの生起確率と、をそれぞれ算出する。そして、参照情報取得部12は、クラスC1及びC2における特徴ベクトルの生起確率の値と、これら2つの生起確率の値の大小関係を評価した評価結果と、を検索結果提示用として取得した画像データ群を提示する際に参照される参照情報として取得する。
図2は、画像データの特徴ベクトルの分布状態の一例を示す模式図である。
具体的には、参照情報取得部12は、例えば、クラスC1及びC2に属する画像データの特徴ベクトルの分布状態が図2に示すようなものである場合においては、クラスC1における特徴ベクトルの生起確率の値Pr1と、クラスC2における特徴ベクトルの生起確率の値Pr2と、生起確率の値Pr1及びPr2の大小関係を(Pr1>Pr2であるとして)評価した評価結果と、を参照情報として取得する。
すなわち、クラスC1における特徴ベクトルの生起確率の値Pr1は、検索用の入力画像データαがクラスC1に属し得るか否かに関する蓋然性を評価するための値として作用する。また、クラスC2における特徴ベクトルの生起確率の値Pr2は、検索用の入力画像データαがクラスC2に属し得るか否かに関する蓋然性を評価するための値として作用する。
なお、以上に述べた処理によれば、各クラスに属する画像データの特徴ベクトルの分布状態を一意に規定可能である限りにおいては、正規分布以外の他の統計モデルを用いた場合であっても、略同様の参照情報を取得することができる。
図3は、画像データの特徴ベクトルの分布状態の、図2とは異なる例を示す模式図である。
ところで、以上に述べたような処理によれば、図2に例示するような、各クラスに属する画像データの特徴ベクトルの分布状態を統計的モデルにより一意に規定することが可能な場合においては参照情報を取得できる一方で、図3に例示するような、各クラスに属する画像データの特徴ベクトルの分布状態を統計的モデルにより一意に規定することが実質的に不可能な場合においては参照情報を取得できない。そのため、図3に例示するような、各クラスに属する画像データの特徴ベクトルの分布状態を統計的モデルにより一意に規定することが実質的に不可能である場合には、前述の正規分布等の分布モデルを利用した処理の代わりに、例えば、k-NN法(またはParzen等の窓関数)を利用した以下のような処理を行うことにより、参照情報を取得することができる。なお、本実施例の演算処理部11は、例えば、各クラスに属する画像データの特徴ベクトルの分布状態を予め設定された複数の統計的モデルのうちのいずれか1つにより規定することが可能であるか否かを判定し、当該判定した結果に応じて、前述の正規分布等の分布モデルを利用した処理、または、以下のk-NN法等を利用した処理のいずれかを選択するような構成を具備していてもよい。
具体的には、演算処理部11は、例えば、画像記憶装置30に格納されたp枚の画像データの中から、特徴ベクトルと特徴ベクトルxiとの間の距離riがR以下となるものとして抽出したkb枚の画像データ、または、当該距離riが最小となるものから順に抽出したkb枚の画像データを検索結果提示用の画像データ群として取得する。すなわち、前述のように取得されたkb枚の画像データは、いずれも検索用の入力画像データαに類似する画像データとみなすことができる。
そして、参照情報取得部12は、kb枚の画像データに関連付けられたクラス情報及び演算処理部11の処理結果に基づき、kb枚の画像データの中に含まれるクラスC1の画像データの枚数のカウント値Pc1と、kb枚の画像データの中に含まれるクラスC2の画像データの枚数のカウント値Pc2と、カウント値Pc1及びPc2の大小関係を評価した評価結果と、を検索結果提示用として取得した画像データ群を提示する際に参照される参照情報として取得する。
すなわち、kb枚の画像データの中に含まれるクラスC1の画像データの枚数のカウント値Pc1は、検索用の入力画像データαがクラスC1に属し得るか否かに関する蓋然性を評価するための値として作用する。また、kb枚の画像データの中に含まれるクラスC2の画像データの枚数のカウント値Pc2は、検索用の入力画像データαがクラスC2に属し得るか否かに関する蓋然性を評価するための値として作用する。
なお、本実施例によれば、例えば、医用画像に含まれる病変の良悪性等に基づくクラス自体の重要度に応じた重み付けを前述の処理により取得した参照情報に対して施すことにより、クラスC1に属する画像データの特徴ベクトルの分布傾向と、クラスC2に属する画像データの特徴ベクトルの分布傾向と、が大きく異なる場合であっても、適切な参照情報を取得することができる。また、本実施例によれば、例えば、前述のような重み付けを参照情報に対して施すことにより、クラスC1及びクラスC2のうちの一方のクラスに属する画像データの特徴ベクトルの数と、クラスC1及びクラスC2のうちの他方のクラスに属する画像データの特徴ベクトルの数と、の間に極端な差(偏り)が生じている場合であっても、適切な参照情報を取得することができる。
一方、表示制御部13は、演算処理部11及び参照情報取得部12の処理結果に基づき、検索結果提示用として取得された画像データ群(または当該画像データ群のサムネイル)を少なくとも含む検索結果画面を生成して表示装置40の表示画面に描画させるための制御を行う。
ここで、表示制御部13により生成される検索結果の具体例について、クラスC1に属する旨のクラス情報が関連付けられた画像データIa及びIcと、クラスC2に属する旨のクラス情報が関連付けられた画像データIb及びIdと、からなる4枚の画像データが検索結果提示用の画像データ群として取得された場合を例に挙げて説明する。
まず、図4のような生起確率マップを検索結果として提示する際に行われる処理等について述べる。図4は、画像データの検索結果の提示態様の一例を示す図である。
表示制御部13は、演算処理部11により算出された確率密度関数N1(μ1,Σ1)に基づき、クラスC1に属する画像データ群の特徴ベクトルの生起確率が0または略0になることを示す境界としての閉曲線CA1と、クラスC1に属する画像データ群の特徴ベクトルの生起確率が0より十分大きな所定の値になることを示す境界としての1または複数の閉曲線CA2とを生成する(図4参照)。
また、表示制御部13は、閉曲線CA1の内側の領域において、画像データIa及びIcにそれぞれ関連付けられた生起確率に相当する位置に画像データIa及びIcのサムネイルを生成して配置する(図4参照)。なお、このような処理を行う際に、表示制御部13は、画像データIa及びIcのサムネイルを生成して配置する代わりに、画像データIa及びIcの位置をそれぞれ示すマーカを生成して配置してもよい。
表示制御部13は、演算処理部11により算出された確率密度関数N2(μ2,Σ2)に基づき、クラスC2に属する画像データ群の特徴ベクトルの生起確率が0または略0になることを示す境界としての閉曲線CB1と、クラスC2に属する画像データ群の特徴ベクトルの生起確率が0より十分大きな所定の値になることを示す境界としての1または複数の閉曲線CB2とを生成する(図4参照)。
また、表示制御部13は、閉曲線CB1の内側の領域において、画像データIb及びIdにそれぞれ関連付けられた生起確率に相当する位置に画像データIb及びIdのサムネイルを生成して配置する(図4参照)。
一方、表示制御部13は、参照情報取得部12により得られた参照情報に含まれる生起確率Pr1及びPr2の値の大小関係に基づき、クラスC1及びC2のうち、特徴ベクトルの生起確率の値が相対的に大となる一方の(または特徴ベクトルの生起確率の値が最大となる一つの)クラスの代表例の画像データの位置を示すマークMKAを生成して配置する。ここで、Pr1>Pr2の場合においては、クラスC1の代表例の画像データの位置を示すマークMKAが生成及び配置される(図4参照)。
なお、前述のような処理を行う際に、表示制御部13は、クラスC1の代表例の画像データの位置を示すマークMKAを生成して配置する代わりに、クラスC1の代表例の画像データのサムネイルを生成して配置してもよい。
また、前述のような処理を行う際に、表示制御部13は、特徴ベクトルの生起確率の値が相対的に大となる一方の(または特徴ベクトルの生起確率の値が最大となる一つの)クラスの代表例の画像データの位置を示すマークのみを生成して配置するものに限らず、クラスC1及びC2の両方のクラスの代表例の画像データの位置を示すマークを生成して配置するものであってもよい。
一方、前述の代表例の画像データは、例えば、確率密度関数N1(μ1,Σ1)及び確率密度関数N2(μ2,Σ2)に基づいて関連付けられた生起確率がそれぞれ最高となるものであってもよく、または、代表例である旨を示す情報がユーザにより予め付与されたものであってもよい。
また、表示制御部13は、例えば、後述のようにクラスC1の代表例の画像データ群が設定された場合において、当該画像データ群に含まれる各画像データの中から、検索用の入力画像データαとの距離が最も近い(距離riの値が最も小さくなる)ものを選択して前述のマークMKAを生成するような処理を行うものであってもよい。
さらに、クラスC1の代表例の画像データの位置を示すマークMKAを生成及び配置した場合(図4参照)において、表示制御部13は、画像データIa及びIcのうち、検索用の入力画像データαとの距離が最も近い(距離riの値が最も小さくなる)一方の画像データ(図4においては画像データIc)のサムネイルと、マークMKAとの間を結ぶ矢印ARを生成して配置する。
ここで、前述の矢印ARは、クラスC1における代表例の画像データと、検索用の入力画像データαに最も類似する画像データIcと、の間における類似度の高さに略反比例する長さを具備するように生成される。すなわち、前述の矢印ARは、クラスC1における代表例の画像データと、検索用の入力画像データαに最も類似する画像データIcと、の間の類似度を可視化した視覚情報として機能する。
その後、表示制御部13は、図4のような生起確率マップを含む検索結果画面を生成して表示装置40の表示画面に描画させるための制御を行う。
従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図4のような生起確率マップを含む検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができるとともに、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができる。すなわち、本実施例の画像検索システム1によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図4のような生起確率マップを提示することができる。
なお、本実施例によれば、図4のような生起確率マップを検索結果として提示するための処理を行う代わりに、図5のような生起確率マップを検索結果として提示するための処理を行うものであってもよい。ここで、図5のような生起確率マップを検索結果として提示する際に行われる処理等について述べる。図5は、画像データの検索結果の提示態様の、図4とは異なる例を示す図である。
表示制御部13は、演算処理部11により算出された確率密度関数N1(μ1,Σ1)に基づき、クラスC1に属する画像データ群の特徴ベクトルの生起確率が0または略0になることを示す境界としての閉曲線CA1と、クラスC1に属する画像データ群の特徴ベクトルの生起確率が0より十分大きな所定の値になることを示す境界としての1または複数の閉曲線CA2とを生成する(図5参照)。
また、表示制御部13は、閉曲線CA1の内側の領域において、画像データIa及びIcにそれぞれ関連付けられた生起確率に相当する位置に画像データIa及びIcのサムネイルを生成して配置するとともに、クラスC1の代表例の画像データ群のうち、検索用の入力画像データαに最も類似する画像データID1のサムネイルを生成して配置する(図5参照)。
なお、クラスC1の代表例の画像データ群は、例えば、確率密度関数N1(μ1,Σ1)に基づいて関連付けられた生起確率が高い順に選択された1または複数の画像データとして設定される。そして、このような場合においては、クラスC1の代表例の画像データ群に含まれる各画像データのうち、例えば、検索用の入力画像データαとの距離が最も近い(距離riの値が最も小さくなる)ものが画像データID1として選択される。
表示制御部13は、演算処理部11により算出された確率密度関数N2(μ2,Σ2)に基づき、クラスC2に属する画像データ群の特徴ベクトルの生起確率が0または略0になることを示す境界としての閉曲線CB1と、クラスC2に属する画像データ群の特徴ベクトルの生起確率が0より十分大きな所定の値になることを示す境界としての1または複数の閉曲線CB2とを生成する(図5参照)。
また、表示制御部13は、閉曲線CB1の内側の領域において、画像データIb及びIdにそれぞれ関連付けられた生起確率に相当する位置に画像データIb及びIdのサムネイルを生成して配置するとともに、クラスC2の代表例の画像データ群のうち、検索用の入力画像データαに最も類似する画像データID2のサムネイルを生成して配置する(図5参照)。
なお、クラスC2の代表例の画像データ群は、例えば、確率密度関数N2(μ2,Σ2)に基づいて関連付けられた生起確率が高い順に選択された1または複数の画像データとして設定される。そして、このような場合においては、クラスC2の代表例の画像データ群に含まれる各画像データのうち、例えば、検索用の入力画像データαとの距離が最も近い(距離riの値が最も小さくなる)ものが画像データID2として選択される。
一方、表示制御部13は、参照情報取得部12により得られた参照情報に含まれる生起確率Pr1及びPr2の値に基づき、閉曲線CA1及びCB1に対する検索用の入力画像データαの位置を示すマークMKBを生成して配置する。ここで、Pr1≠0かつPr2≠0の場合においては、閉曲線CA1及びCB1により囲まれる重複領域の内部にマークMKBが生成及び配置される(図5参照)。
その後、表示制御部13は、図5のような生起確率マップを含む検索結果画面を生成して表示装置40の表示画面に描画させるための制御を行う。
従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図5のような生起確率マップを含む検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができ、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができ、さらに、検索用の入力画像データαが前記一のクラスとは異なる他のクラスに属する可能性を模索することができる。すなわち、本実施例の画像検索システム1によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図5のような生起確率マップを提示することができる。
なお、図4及び図5の生起確率マップは、前述のような態様で提示されるものに限らず、例えば、閉曲線CA2及びCB2等の一部の部分を省略して提示されるものであってもよい。また、図4及び図5の生起確率マップは、検索結果提示用の画像データ群を含む限りにおいては、画像記憶装置30に格納されたp枚の画像データの中から選択した、検索結果提示用の画像データ群に属するもの以外の1枚以上の画像データを含めて提示されるものであってもよい。
本実施例の表示制御部13は、図4及び図5に例示したような生起確率マップを生成するものに限らず、例えば、検索結果提示用として取得された画像データIa、Ib、Ic及びIdの間における相互の距離の遠近を視覚的に認識可能な検索結果画面を生成するものであってもよい。
一方、本実施例によれば、図4及び図5に例示したような生起確率マップとは異なる他の態様により検索結果が提示されるものであってもよい。ここで、図6のような検索結果画面を生成する際に行われる処理等について述べる。図6は、画像データの検索結果の提示態様の、図4及び図5とは異なる例を示す図である。
演算処理部11は、検索結果提示用の画像データ群を取得する際に、各クラスの代表例の画像データ群に含まれる各画像データの中から、検索用の入力画像データαとの距離が最も近い(距離riの値が最も小さくなる)ものを1つずつ抽出する。具体的には、例えば、画像記憶装置30に格納されたp枚の画像データがC1、C2、・・・、CQからなるQ個のクラスに予め分類されている場合においては、当該Q個のクラスの代表例の画像データ群に含まれる各画像データの中から、検索用の入力画像データαとの距離が最も近くなる(距離riの値が最も小さくなる)画像データID1、ID2、・・・、IDQからなるQ枚の画像データが抽出される。
なお、前述の画像データID1、ID2、・・・、IDQは、検索用の入力画像データαとの距離が最も近くなる(距離riの値が最も小さくなる)ものに限らず、例えば、クラスC1、C2、・・・、CQの代表例である旨を示す情報が各クラス毎に予め付与されたものであってもよい。
表示制御部13は、演算処理部11により抽出された各画像データに関連付けられているクラス情報に基づき、例えば図6のような、演算処理部11により抽出された画像データID1、ID2、・・・、IDQを画面上部の領域に横列配置し、さらに、検索結果提示用の画像データ群に含まれる画像データIa〜Idを各クラス毎に分けて(画像データID1、ID2、・・・、IDQの配置位置に合わせて)縦列配置した検索結果画面を生成する。
なお、表示制御部13は、図6のような検索結果画面を生成する際に、参照情報取得部12により得られた参照情報に基づき、例えば、演算処理部11により抽出された各画像データが、特徴ベクトルの生起確率の値が高いクラスから低いクラスへ順番に並ぶように、または、検索結果提示用の画像データに含まれる枚数が多いクラスから少ないクラスへ順番に並ぶように配置してもよい。
一方、演算処理部11は、前述の検索結果提示用の画像データ群を取得する処理を行う際に、例えば、各クラスの代表例の画像データ群に含まれる各画像データの中から、参照情報取得部12により得られた参照情報に基づいて1枚以上の画像データを抽出するものであってもよい。そして、このような演算処理部11の処理に応じ、表示制御部13は、各クラスの代表例の画像データとして抽出された各画像データを、検索結果画面内のいずれかの領域に並べて配置してもよい。
その後、表示制御部13は、図6のような検索結果画面を表示装置40の表示画面に描画させるための制御を行う。
すなわち、図6に示す検索結果画面によれば、検索結果提示用の画像データIa〜Idと、Q個のクラス各々の代表例の画像データID1、ID2、・・・、IDQと、が併せて提示されるため、例えば、画像記憶装置30に格納されたp枚の画像データにおいて、クラスC1及びC2以外の他のクラスに分類された画像データが存在することをユーザに認識させることができる。
また、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図6のような検索結果画面を見ながら、例えば、検索用の入力画像データαが一のクラスにおける典型例または特異例のいずれであるかを判別することができるとともに、検索用の入力画像データαが前記一のクラスとは異なる他のクラスに属する可能性を模索することができる。すなわち、本実施例の画像検索システム1によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図6のような検索結果画面を提示することができる。
なお、本実施例によれば、図6のような検索結果画面を生成して表示させるための処理を行う代わりに、図7のような検索結果画面を生成して表示させるための処理を行うものであってもよい。ここで、図7のような検索結果画面を生成する際に行われる処理等について述べる。図7は、画像データの検索結果の提示態様の、図4、図5及び図6とは異なる例を示す図である。
演算処理部11は、検索結果提示用の画像データ群を取得した後、クラスC1の代表例に含まれる画像データID1との距離を画像データIa及びIcのそれぞれについて算出するとともに、クラスC2の代表例に含まれる画像データID2との距離を画像データIb及びIdのそれぞれについて算出する。
表示制御部13は、演算処理部11の処理結果に基づき、例えば図7のような、検索用の入力画像データαと、検索結果提示用として取得された画像データIa〜Idと、画像データIa〜Id各々のクラス名、代表例の画像データとの距離、及び、特徴ベクトルの生起確率と、を併せて確認することが可能な検索結果画面を生成する。
すなわち、図7に例示した検索結果画面に含まれる代表例の画像データとの距離、及び、特徴ベクトルの生起確率は、検索用の入力画像データαと、画像記憶装置30に格納されたクラスC1またはC2の代表例の画像データと、の間の類似度を可視化した視覚情報として機能する。
その後、表示制御部13は、図7のような検索結果画面を表示装置40の表示画面に描画させるための制御を行う。
従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図7のような検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができるとともに、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができる。すなわち、本実施例の画像検索システム1によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図7のような検索結果画面を提示することができる。
一方、本実施例によれば、図6及び図7のような検索結果画面を生成して表示させるための処理を行う代わりに、図8のような検索結果画面を生成して表示させるための処理を行うものであってもよい。ここで、図8のような検索結果画面を生成する際に行われる処理等について述べる。図8は、画像データの検索結果の提示態様の、図4、図5、図6及び図7とは異なる例を示す図である。
演算処理部11は、検索結果提示用の画像データ群を取得した後、クラスC1の代表例に含まれる画像データID1との距離を画像データIa及びIcのそれぞれについて算出するとともに、クラスC2の代表例に含まれる画像データID2との距離を画像データIb及びIdのそれぞれについて算出する。
表示制御部13は、画像データIa〜Idに関連付けられたクラス情報と、参照情報取得部12により得られた参照情報に含まれる生起確率Pr1及びPr2の値の大小関係とに基づき、検索結果提示用として取得されたクラスC1及びC2の画像データ群の配置状態を、特徴ベクトルの生起確率の値が相対的に大となる一方のクラスの画像データ群を検索結果の上位とし、かつ、特徴ベクトルの生起確率の値が相対的に小となる他方のクラスの画像データ群を検索結果の下位とするような配置状態に設定する。
また、表示制御部13は、同一のクラスに属する各画像データの配置状態を、代表例の画像データとの距離が近い順、または、特徴ベクトルの生起確率が高い順のいずれかの配置状態に設定する。
なお、表示制御部13は、画像データIa〜Idに関連付けられたクラス情報と、参照情報取得部12により得られた参照情報に含まれるカウント値Pc1及びPc2の大小関係とに基づき、検索結果提示用として取得されたクラスC1及びC2の画像データ群の配置状態を、カウント値が相対的に大となる一方のクラスの画像データ群を検索結果の上位とし、かつ、カウント値が相対的に小となる他方のクラスの画像データ群を検索結果の下位とするような配置状態に設定するものであってもよい。そして、このような場合において、表示制御部13は、同一のクラスに属する各画像データの配置状態を、代表例の画像データとの距離が近い順に設定する。
そして、表示制御部13は、例えば図8のような、検索用の入力画像データαと、前述の配置状態に設定された画像データIa〜Idと、画像データIa〜Id各々のクラス名、代表例の画像データとの距離、及び、特徴ベクトルの生起確率と、を併せて確認することが可能な検索結果画面を生成する。
すなわち、図8に例示した検索結果画面に含まれる代表例の画像データとの距離、及び、特徴ベクトルの生起確率は、検索用の入力画像データαと、画像記憶装置30に格納されたクラスC1またはC2の代表例の画像データと、の間の類似度を可視化した視覚情報として機能する。
その後、表示制御部13は、図8のような検索結果画面を表示装置40の表示画面に描画させるための制御を行う。
従って、ユーザは、検索用の入力画像データαを用いて類似画像の検索を実施した際に、図8のような検索結果画面を見ながら、例えば、検索用の入力画像データαが属する一のクラスを推定することができるとともに、検索用の入力画像データαが前記一のクラスにおける典型例または特異例のいずれであるかを判別することができる。すなわち、本実施例の画像検索システム1によれば、検索用の入力画像データαの分析に有用な情報を容易に得ることが可能な検索結果として、図8のような検索結果画面を提示することができる。
なお、本実施例として述べた各処理等は、画像記憶装置30に格納されているp枚の画像データがクラスC1またはC2のいずれかに分類されている場合に限らず、当該p枚の画像データが3つ以上のクラスのいずれかに分類されている場合においても略同様に適用可能である。
一方、本実施例における代表例の画像データ群は、前述のように設定されるものに限らず、例えば、1つのクラスに属する画像データ群において、確率密度関数に基づいて関連付けられた生起確率が相対的に高い各画像データの中から選択した1または複数の画像データ(または確率密度関数に基づいて関連付けられた生起確率が最大となる1枚の画像データ)が典型例の代表例を示す画像データ群として設定され、さらに、確率密度関数に基づいて関連付けられた生起確率が相対的に低い各画像データの中から選択した1または複数の画像データ(または確率密度関数に基づいて関連付けられた生起確率が最小となる1枚の画像データ)が特異例の代表例を示す画像データ群として設定されるものであってもよい。
また、本実施例における代表例の画像データ群は、前述のように設定されるものに限らず、例えば、1つのクラスに属する画像データ群において、典型例を示すラベルが予め付与された各画像データの中から(入力画像データαに対して類似するものとして)選択した1または複数の画像データが典型例の代表例を示す画像データ群として設定され、さらに、特異例を示すラベルが予め付与された各画像データの中から(入力画像データαに対して類似するものとして)選択した1または複数の画像データが特異例の代表例を示す画像データ群として設定されるものであってもよい。
また、本実施例によれば、例えば、1つのクラスに属する画像データ群において、典型例の代表例を示す1枚の画像データを予め設定しておき、さらに、当該典型例の代表例を示す1枚の画像データから最も距離が離れた位置にある(最も類似性の低い)画像データを特異例の代表例を示す画像データとして設定してもよい。
本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
1 画像検索システム
10 画像処理装置
11 演算処理部
12 参照情報取得部
13 表示制御部
20 入力装置群
30 画像記憶装置
40 表示装置
特開2010−79398号公報

Claims (9)

  1. 複数のクラスのうちの一のクラスに属することを識別可能なクラス情報が個別に関連付けられた複数の画像が格納されている画像記憶部と、
    前記画像記憶部に格納されている各画像の中から、検索用の入力画像に類似する1枚以上の画像を含む検索結果提示用の画像群を取得する画像取得部と、
    前記検索用の入力画像が前記一のクラスに属し得るか否かに関する蓋然性を評価するための値を前記複数のクラス各々において求め、当該求めた値に基づいて前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する参照情報取得部と、
    を有することを特徴とする画像検索システム。
  2. 前記一のクラスに属する各画像毎に取得した1種類以上の特徴量の分布状態に基づいて規定される確率密度関数を前記複数のクラス各々において算出する演算処理部をさらに有し、
    前記参照情報取得部は、前記検索用の入力画像から取得した前記1種類以上の特徴量を前記確率密度関数に適用することにより、前記検索用の入力画像から取得した前記1種類以上の特徴量が生起する生起確率の値を前記複数のクラス各々において算出し、さらに、当該算出した生起確率の値に基づき、前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する
    ことを特徴とする請求項1に記載の画像検索システム。
  3. 前記クラス情報及び前記参照情報に基づき、前記検索結果提示用の画像群に含まれる各画像を配置した検索結果画面を生成する検索結果画面生成部をさらに有することを特徴とする請求項2に記載の画像検索システム。
  4. 前記検索結果画面生成部は、前記クラス情報及び前記参照情報に基づき、前記複数のクラスの中で前記生起確率の値が最大となるクラスにおける代表例の画像に関する情報を含む検索結果画面を生成することを特徴とする請求項3に記載の画像検索システム。
  5. 前記検索結果画面生成部は、前記クラス情報及び前記参照情報に基づいて前記検索用の入力画像及び前記画像記憶部に格納された各画像の中から選択した、任意の2つの画像の間の類似度を可視化した視覚情報を含む検索結果画面を生成することを特徴とする請求項4に記載の画像検索システム。
  6. 前記参照情報取得部により取得された参照情報に対し、クラス自体の重要度に応じた重み付けが施されることを特徴とする請求項2に記載の画像検索システム。
  7. 前記画像取得部は、前記画像記憶部に格納されている各画像毎に取得した1種類以上の特徴量と、検索用の入力画像から取得した前記1種類以上の特徴量と、に基づき、前記画像記憶部に格納されている各画像の中から、特徴空間内における距離が所定値以下となる、または、特徴空間内における距離が最小となるものから順に1枚以上の画像を含む検索結果提示用の画像群を取得し、
    前記参照情報取得部は、前記クラス情報に基づいて前記検索結果提示用の画像群に含まれる画像の枚数を各クラス毎にカウントすることによりカウント値を取得し、さらに、当該カウント値に基づき、前記検索結果提示用の画像群の提示の際に参照される参照情報を取得する
    ことを特徴とする請求項1に記載の画像検索システム。
  8. 前記クラス情報及び前記参照情報に基づき、前記検索結果提示用の画像群に含まれる各画像を配置した検索結果画面を生成する検索結果画面生成部をさらに有することを特徴とする請求項7に記載の画像検索システム。
  9. 前記クラス情報及び前記参照情報に基づき、前記検索結果提示用の画像群と、前記画像記憶部に格納されている各画像の中から各クラス毎に1枚以上抽出された代表例の画像群と、を含む検索結果画面を生成する検索結果画面生成部をさらに有することを特徴とする請求項7に記載の画像検索システム。
JP2011201022A 2011-09-14 2011-09-14 画像検索システム Active JP5635467B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011201022A JP5635467B2 (ja) 2011-09-14 2011-09-14 画像検索システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011201022A JP5635467B2 (ja) 2011-09-14 2011-09-14 画像検索システム

Publications (2)

Publication Number Publication Date
JP2013061879A true JP2013061879A (ja) 2013-04-04
JP5635467B2 JP5635467B2 (ja) 2014-12-03

Family

ID=48186480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011201022A Active JP5635467B2 (ja) 2011-09-14 2011-09-14 画像検索システム

Country Status (1)

Country Link
JP (1) JP5635467B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305945A (ja) * 1999-04-26 2000-11-02 Canon Inc 情報検索方法及び装置並びに記憶媒体
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2007279942A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2010167042A (ja) * 2009-01-21 2010-08-05 Canon Inc 医用診断支援装置及びその制御方法、並びに、プログラム
JP2010218181A (ja) * 2009-03-17 2010-09-30 Yahoo Japan Corp 画像検索装置
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305945A (ja) * 1999-04-26 2000-11-02 Canon Inc 情報検索方法及び装置並びに記憶媒体
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2007279942A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2010167042A (ja) * 2009-01-21 2010-08-05 Canon Inc 医用診断支援装置及びその制御方法、並びに、プログラム
JP2010218181A (ja) * 2009-03-17 2010-09-30 Yahoo Japan Corp 画像検索装置
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Also Published As

Publication number Publication date
JP5635467B2 (ja) 2014-12-03

Similar Documents

Publication Publication Date Title
US11158419B2 (en) Control method and non-transitory computer-readable recording medium
JP5229744B2 (ja) 画像分類装置および画像分類プログラム
US11179036B2 (en) Control method of information terminal and computer-readable recording medium
US9852358B2 (en) Information processing device, information processing method, and information processing system
US20200320336A1 (en) Control method and recording medium
CN107292857B (zh) 图像处理装置及方法和计算机可读存储介质
JP4413844B2 (ja) 画像表示制御装置
JP2010055424A (ja) 画像を処理する装置、方法およびプログラム
JP2008219570A (ja) カメラ間連結関係情報生成装置
JP2011092286A (ja) 情報処理装置、情報処理方法及びプログラム
JP5180922B2 (ja) 画像検索システム及び画像検索方法
JP5486380B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
US10088992B2 (en) Enabling a user to study image data
US10558263B2 (en) Image diagnosis assistance apparatus, control method thereof, and program
JPH11175534A (ja) 画像検索方法およびその装置およびこれを利用した検索サービス
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
JP2006217046A (ja) 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム
JP5785631B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
JP2007164301A (ja) 情報処理装置、データ解析方法、プログラム及び情報記憶媒体
JP2016162414A (ja) 画像処理装置
JP5635467B2 (ja) 画像検索システム
EP2608152A1 (en) Medical imaging diagnosis apparatus and medical imaging diagnosis method for providing diagnostic basis
US11341660B1 (en) Feature based image detection
JP7315022B2 (ja) 機械学習装置、機械学習方法、及び、機械学習プログラム
US20230016464A1 (en) System and methods for visualizing variations in labeled image sequences for development of machine learning models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141016

R151 Written notification of patent or utility model registration

Ref document number: 5635467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250