JP2016045662A - 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム - Google Patents

Abstract

【課題】信頼性が置け、人間の見た目の類似性と合致した納得感のある類似画像を検索することができる類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラムを提供する。【解決手段】特徴量算出部６１は、検査画像１９を解析して、病変のパターンに対応する特徴量Ｚｘを算出する。確率算出部６２は、計算式６６を用いて、検査画像１９内に病変のパターンが存在する確率である第１存在確率Ｐｘを算出する。計算式６６は、人間が視覚的に判断した学習用画像内の病変のパターンの有無と特徴量の関係に基づいて、統計的な手法により予め作成したものである。類似度算出部６３は、第１存在確率Ｐｘと、第１存在確率Ｐｘと同様に統計的な手法により算出された、症例画像２１内に病変のパターンが存在する確率である第２存在確率Ｐｙとに基づいて、検査画像１９と症例画像２１の類似度Ｓを算出する。【選択図】図６

Description

本発明は、類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラムに関する。

従来、複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索が行われている。類似画像検索では、画像内で人間が視覚的に注目する特定のパターンに対応する特徴量を、検索画像および事例画像についてそれぞれ算出し、算出した特徴量に基づいて検索画像と事例画像の類似性を判断している。

類似画像検索は、特に医療分野において大いに活用されている。具体的には、ＣＴ（Computed tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、一般Ｘ線撮影装置等で患者を撮影した検査画像に映った病変を元に、医師が疾患の特定といった診断を行う際に、類似画像検索が利用される。

特許文献１には、類似画像検索を活用して、事例画像に相当する過去の複数の症例画像の中から、検索画像に相当する患者の診断に用いる検査画像の類似画像を検索して、検索した類似画像を医師に提供する類似画像検索装置が記載されている。

検査画像に映る病変には、すりガラス陰影や浸潤影、蜂窩肺等の複数の種類があり、１枚の検査画像に映る病変は必ずしも１種類とは限らない。病変が複数種類ある場合は病変毎の微妙な違いを医師が識別する必要があり、また、病気の進行により病変の種類も変化するため、検査画像の読影のみで何の手助けもなく医師が診断を下すためには、医師にある程度の経験が必要であった。そこで、特許文献１のように類似画像検索を活用することで、類似画像をヒントに検査画像の病変の種類を特定したりすることができ、経験の浅い医師でもより確度の高い診断が可能となる。

特許文献１の類似画像検索装置は、各種病変をパターンとして、検索画像である検査画像と事例画像である症例画像からそれぞれ特徴量を算出している。特徴量には、画素値の平均、分散、最大値、最小値、ヒストグラムといった画素値に関するもの、位置、輪郭といった形状に関するもの、半径、体積、面積といった大きさに関するもの等、複数の種類がある。

特許文献１の類似画像検索装置では、段落［００５０］の［数１］に示すように、検査画像から算出した複数種類の特徴量Ｍｉ（ｉ＝１、２、・・・、ｎ）と、症例画像から算出した複数種類の特徴量ｍｉ（ｉ＝１、２、・・・、ｎ）の各々の差分｜Ｍｉ−ｍｉ｜をとり、各差分に適当な重み付け係数ｗｉ（ｉ＝１、２、・・・、ｎ）を掛けたものの総和（Σｗｉ｜Ｍｉ−ｍｉ｜）を、検査画像と症例画像の類似度として算出している。

こうして算出した類似度は、特徴量Ｍｉ、ｍｉをそれぞれ要素とする２つのｎ次元ベクトル（しばしば特徴ベクトルと呼ばれる）のｎ次元ベクトル空間における距離を表している。特徴量Ｍｉ、ｍｉの差分が小さい程（特徴量Ｍｉ、ｍｉをそれぞれ要素とする２つのｎ次元ベクトルの距離が近い程）類似度は小さくなり、検査画像と症例画像は類似性が高いと判断される。一方、特徴量Ｍｉ、ｍｉの差分が大きい程（特徴量Ｍｉ、ｍｉをそれぞれ要素とする２つのｎ次元ベクトルの距離が遠い程）類似度は大きくなり、検査画像と症例画像は類似性が低いと判断される。

特開２０１１−１１８５４３号公報

特許文献１の類似画像検索装置のように、特徴量に基づき検査画像と症例画像の類似度を算出した場合、類似度の信頼性は、特徴量の算出精度に左右されてしまっていた。また、特徴量は所詮数値であり、人間の見た目を完全に再現したものではないため、特徴量に基づき算出した類似度と人間の見た目に乖離が生じることがあった。特に特徴量が複数種類ある場合は、種類によってその算出精度も異なり、また、種類によって人間の見た目との乖離の程度も異なるので、類似度の信頼性がより左右されやすかった。

そのうえ、特許文献１の類似画像検索装置のように、特徴量に基づき検査画像と症例画像の類似度を算出した場合は、検査画像と症例画像の特徴量がともに大きい値でだいたい一致した場合と、検査画像と症例画像の特徴量がともに低い値でだいたい一致した場合とで、類似度が同等となってしまう。

一般的にあるパターンに対応する特徴量は、値が大きい程画像内でそのパターンの存在確率が高いことを示す。このため、検査画像の類似画像を得たいという類似画像検索の目的からすると、検査画像と症例画像の特徴量がともに低い値でだいたい一致した場合よりも、検査画像と症例画像の特徴量がともに大きい値でだいたい一致した場合の類似度を高くすべきである。しかしながら、特許文献１ではこの点を考慮していない。したがって、必ずしも納得感のある類似画像を検索することができなかった。

本発明は、上記課題に鑑みてなされたもので、信頼性が置け、人間の見た目の類似性と合致した納得感のある類似画像を検索することができる類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラムを提供することを目的とする。

上記目的を達成するために、本発明の類似画像検索装置は、複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索装置において、検索画像を解析して、予め登録されたパターンに対応する特徴量を算出する特徴量算出部と、特徴量算出部で算出した特徴量に基づいて、検索画像内にパターンが存在する第１存在確率を統計的な手法により算出する確率算出部と、確率算出部で算出した第１存在確率と、複数の事例画像について算出された、事例画像内にパターンが存在する第２存在確率とに基づいて、検索画像と複数の事例画像のそれぞれとの類似度を算出する類似度算出部とを備える。

確率算出部は、人間が視覚的に判断した学習用画像内のパターンの有無と特徴量の関係に基づいて、統計的な手法により予め作成した、特徴量を変数として第１存在確率を求める計算式を用いることが好ましい。

類似度算出部は、第１存在確率および第２存在確率に基づいて、パターンが事例画像および検索画像の両方に存在する併存確率、またはパターンが事例画像および検索画像のうちの一方にのみ独立して存在する非併存確率のうちの少なくとも１つを算出することが好ましい。

類似度算出部は、例えば、併存確率、または非併存確率を類似度として算出し、併存確率が高いほど事例画像と検索画像の類似性が高いと判断、または非併存確率が高いほど事例画像と検索画像の類似性が低いと判断する。

類似度算出部は、例えば、併存確率と非併存確率の比を類似度として算出し、比が高いほど事例画像と検索画像の類似性が高いと判断する。

パターンが複数種類ある場合、類似度算出部は、複数種類のパターンの各々の併存確率、または非併存確率を算出し、算出した併存確率の総乗または併存確率の対数の総和、もしくは非併存確率の総乗または非併存確率の対数の総和を類似度として算出し、併存確率の総乗または併存確率の対数の総和が高いほど事例画像と検索画像の類似性が高いと判断、または非併存確率の総乗または非併存確率の対数の総和が高いほど事例画像と検索画像の類似性が低いと判断してもよい。

また、パターンが複数種類ある場合、類似度算出部は、複数種類のパターンの各々の併存確率と非併存確率の比を算出し、算出した比の総乗または比の対数の総和を類似度として算出し、比の総乗または比の対数の総和が高いほど事例画像と検索画像の類似性が高いと判断してもよい。

第１存在確率をＰｘ、第２存在確率をＰｙ、併存確率をＰｘｙとした場合、Ｐｘｙ＝Ｐｘ×Ｐｙであることが好ましい。

第１存在確率をＰｘ、第２存在確率をＰｙ、非併存確率をＮＰｘｙとした場合、ＮＰｘｙ＝Ｐｘ×（１−Ｐｙ）＋（１−Ｐｘ）×Ｐｙであることが好ましい。

第１存在確率をＰｘ、第２存在確率をＰｙ、Ｐｘ、Ｐｙのうちの最小値をmin（Ｐｘ、Ｐｙ）、併存確率をＰｘｙとした場合、Ｐｘｙ＝Ｐｘ×min（Ｐｘ、Ｐｙ）であってもよい。

第１存在確率をＰｘ、第２存在確率をＰｙ、Ｐｘ、Ｐｙのうちの最小値をmin（Ｐｘ、Ｐｙ）、Ｐｘ、Ｐｙのうちの最大値をmax（Ｐｘ、Ｐｙ）、非併存確率をＮＰｘｙとした場合、Ｐｘ＞０．５の場合、ＮＰｘｙ＝Ｐｘ×{１−min（Ｐｘ、Ｐｙ）}＋（１−Ｐｘ）×Ｐｙ、Ｐｘ≦０．５の場合、ＮＰｘｙ＝Ｐｘ×（１−Ｐｙ）＋（１−Ｐｘ）×max（Ｐｘ、Ｐｙ）であってもよい。

第２存在確率の除外範囲と第２存在確率とを比較し、第２存在確率が除外範囲である事例画像を、類似度算出部で類似度を算出する候補から除外するフィルター処理部を備えることが好ましい。フィルター処理部は、第１存在確率を変数とする、第１存在確率と第２存在確率の関係式から除外範囲を算出することが好ましい。

特徴量算出部は、例えば、検索画像の一部の領域の特徴量を算出する。

特徴量算出部は、事例画像の特徴量も算出してもよい。また、確率算出部は、第２存在確率も算出してもよい。

類似画像の検索結果として、類似画像と類似度の組を出力する検索結果出力部を備えることが好ましい。検索結果出力部は、複数の類似画像と類似度の組を類似度順にソートしたリストを出力してもよい。

例えば、検索画像は患者の診断に用いる検査画像であり、事例画像は過去に診断に利用された検査画像である症例画像であり、パターンは患者の疾患の症状を表す病変のパターンである。

本発明の類似画像検索装置の作動方法は、複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索装置の作動方法において、特徴量算出部により、検索画像を解析して、予め登録されたパターンに対応する特徴量を算出する特徴量算出ステップと、確率算出部により、特徴量算出ステップで算出した特徴量に基づいて、検索画像内にパターンが存在する第１存在確率を統計的な手法により算出する確率算出ステップと、類似度算出部により、確率算出ステップで算出した第１存在確率と、複数の事例画像について算出された、事例画像内にパターンが存在する第２存在確率とに基づいて、検索画像と複数の事例画像のそれぞれとの類似度を算出する類似度算出ステップとを備える。

本発明の類似画像検索プログラムは、複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索プログラムにおいて、検索画像を解析して、予め登録されたパターンに対応する特徴量を算出する特徴量算出機能と、特徴量算出機能で算出した特徴量に基づいて、検索画像内にパターンが存在する第１存在確率を統計的な手法により算出する確率算出機能と、確率算出機能で算出した第１存在確率と、複数の事例画像について算出された、事例画像内にパターンが存在する第２存在確率とに基づいて、検索画像と複数の事例画像のそれぞれとの類似度を算出する類似度算出機能とを、コンピュータに実行させる。

本発明によれば、検索画像を解析して算出した、予め登録されたパターンに対応する特徴量に基づいて、検索画像内にパターンが存在する第1存在確率を統計的な手法により算出し、この第1存在確率と、事例画像内にパターンが存在する第２存在確率とに基づいて、検索画像と複数の事例画像のそれぞれとの類似度を算出するので、類似度の信頼性が特徴量の算出精度に左右されることがなく、また、類似度と人間の見た目に乖離が生じることもない。さらに、検索画像と事例画像の特徴量がともに大きい値でだいたい一致した場合と、検索画像と事例画像の特徴量がともに低い値でだいたい一致した場合とで、類似度が同等となってしまうこともない。したがって、信頼性が置け、人間の見た目の類似性と合致した納得感のある類似画像を検索することができる類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラムを提供することができる。

類似画像検索サーバを含む医療情報システムを示す構成図である。 医療検査から確定診断に至るまでの流れを示す説明図である。 類似画像の取得要求の内容を示す図である。 検査画像を表示して関心領域ＲＯＩの指定を受け付ける検査画像表示ウィンドウを示す図である。 類似画像検索サーバを構成するコンピュータを示すブロック図である。 類似画像検索サーバのＣＰＵの機能を示すブロック図である。 特徴量算出部の詳細な構成および機能を示すブロック図である。 特徴量と病変のパターンの対応関係を示す図である。 第１存在確率Ｐｘを計算するための計算式の作成方法を示す説明図である。 特徴量Ｚと第１存在確率Ｐの関係を示すグラフである。 類似度算出部の構成および機能を示すブロック図である。 類似度算出部の詳細な構成および機能を示すブロック図である。 リストの内容を示す図である。 類似画像の検索結果を表示する検索結果表示ウィンドウを示す図である。 類似画像検索サーバのＣＰＵの処理手順を示すフローチャートである。 類似度算出の処理手順を示すフローチャートである。 式（２−Ａ）を用いた場合の併存確率Ｐｘｙの算出結果を示す説明図である。 式（２−Ｂ）を用いた場合の併存確率Ｐｘｙの算出結果を示す説明図である。 式（３−Ａ）を用いた場合の非併存確率ＮＰｘｙの算出結果を示す説明図である。 式（３−Ｂ）を用いた場合の非併存確率ＮＰｘｙの算出結果を示す説明図である。 式（３−Ａ）を用いた場合の非併存確率ＮＰｘｙの算出結果を示す説明図である。 式（３−Ｃ）を用いた場合の非併存確率ＮＰｘｙの算出結果を示す説明図である。 フィルター処理部が構築された第３実施形態の類似画像検索サーバのＣＰＵの機能を示すブロック図である。

[第１実施形態]
図１において、医療情報システム２は、診療科１０や検査科１１を有する病院等の医療施設に構築され、診療科１０に設置された診療科端末１２と、検査科１１に設置されたモダリティ１３およびオーダ管理端末１４と、検査画像データベース（以下、ＤＢ（Data Base）と略す）サーバ１５と、症例画像ＤＢサーバ１６と、類似画像検索サーバ１７とで構成される。これらは医療施設内に敷設されたＬＡＮ（Local Area Network）等のネットワーク１８を介して相互接続されている。

診療科端末１２は、診療科１０の医師による電子カルテの入力や閲覧の他、医師が検査科１１に対して各種医療検査を依頼するための検査オーダの発行に利用される。また、診療科端末１２は、モダリティ１３で撮影された検査画像１９や、類似画像検索サーバ１７で検索された類似画像を閲覧するための画像表示端末としても機能する。

モダリティ１３は、検査画像１９として断層画像を撮影するＣＴ装置やＭＲＩ装置、検査画像１９として単純Ｘ線透視画像を撮影する一般Ｘ線撮影装置等の検査画像１９の撮影装置である。オーダ管理端末１４は、診療科端末１２で発行された検査オーダを受け付けて、受け付けた検査オーダを管理する。検査オーダは、例えば、個々の検査オーダを識別するためのオーダＩＤ（Identification data）、当該検査オーダを発行した診療科端末１２のＩＤまたは医師の医師ＩＤ、当該検査オーダによる撮影の対象の患者の患者ＩＤ、経過観察等の検査目的、頭部、胸部等の撮影部位、仰向け、うつ伏せ等の向きといった各種項目を有する。検査科１１の技師は、オーダ管理端末１４で検査オーダの内容を確認し、確認した検査オーダに応じた撮影条件をモダリティ１３に設定して検査画像１９の撮影を行う。

モダリティ１３で検査画像１９の撮影を行う場合には、撮影の対象の患者の患者ＩＤ、撮影を担当する技師の技師ＩＤといった情報が技師により入力される。入力された情報は、検査画像１９に付帯情報として関連付けられる。

検査画像１９は、例えばＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格のデータファイル形式で作成される。ＤＩＣＯＭ規格のデータファイルには、検査画像１９本体のデータを格納する領域の他に、付帯情報を格納する領域が設けられている。付帯情報には、患者ＩＤ、患者名、患者の性別、年齢、身長、体重といった患者情報や、オーダＩＤ、医師ＩＤ、検査日時、検査目的、撮影部位および向き、撮影条件、技師ＩＤ、医療検査の種類（ＣＴ、ＭＲＩ等のモダリティ１３の種類）といった検査情報、並びに個々の検査画像１９を識別するための画像ＩＤが含まれる。画像ＩＤは、検査画像１９の撮影時にモダリティ１３により自動的に付される。モダリティ１３は、検査画像１９を検査画像ＤＢサーバ１５に送信する。

検査画像ＤＢサーバ１５は、いわゆるＰＡＣＳ（Picture Archiving and Communication System）サーバであり、モダリティ１３からの検査画像１９を複数格納する検査画像ＤＢ２０を有する。検査画像ＤＢサーバ１５は、診療科端末１２からの検査画像１９の取得要求を受け付け、取得要求に対応した検査画像１９を検査画像ＤＢ２０から検索する。そして、検索した検査画像１９を、取得要求を送信した診療科端末１２に送信する。取得要求は検査画像１９の付帯情報の各種項目、例えばオーダＩＤや画像ＩＤを含み、検査画像ＤＢサーバ１５は取得要求のオーダＩＤや画像ＩＤに一致する検査画像１９を検索結果として出力する。

症例画像ＤＢサーバ１６は、検査画像ＤＢサーバ１５と同じＰＡＣＳサーバであり、症例画像２１を複数格納する症例画像ＤＢ２２を有する。症例画像２１は、過去に診断に利用された検査画像１９であり、事例画像に相当する。症例画像ＤＢサーバ１６も検査画像ＤＢサーバ１５と同様に、類似画像検索サーバ１７からの症例画像２１の取得要求を受け付け、取得要求に対応した症例画像２１を症例画像ＤＢ２２から検索して、検索した症例画像２１を類似画像検索サーバ１７に送信する。

症例画像２１には、検査画像１９と同様の付帯情報に加えて、過去の診断において指定された関心領域ＲＯＩ（Region of Interest、図４参照）の情報である領域情報２５（図３参照）、症例画像２１を読影して作成した読影レポートのレポートＩＤ、および過去の診断において算出された、疾患の症状を現す病変のパターンが症例画像２１内に存在する確率である第２存在確率Ｐｙ（図６参照）が付帯情報として関連付けられている。読影レポートは、図示しないレポートＤＢサーバのレポートＤＢに格納されている。レポートＤＢサーバは、各ＤＢサーバ１５、１６と同様に、診療科端末１２等からの取得要求に対応した読影レポートを検索して送信することが可能である。領域情報２５および第２存在確率Ｐｙは、類似画像検索サーバ１７で検査画像１９と症例画像２１の類似度Ｓを算出し、その結果を出力する際に利用される。以下、第２存在確率Ｐｙのように、症例画像２１に関するものには添え字「ｙ」を付ける。

類似画像検索サーバ１７は本発明の類似画像検索装置に相当する。類似画像検索サーバ１７は、診療科端末１２からの類似画像の取得要求を受け付ける。取得要求には検査画像１９が含まれる。類似画像検索サーバ１７は、受け付けた検査画像１９に類似する類似画像を、症例画像ＤＢ２２に格納された複数の症例画像２１の中から検索する。すなわち検査画像１９は検索画像に相当する。類似画像検索サーバ１７は、類似画像の検索結果を診療科端末１２に送信する。

図２において、モダリティ１３による撮影が終了して検査画像１９が検査画像ＤＢ２０に格納されると、ステップＳ１に示すように、オーダ管理端末１４は、検査オーダを発行した診療科端末１２に検査終了通知を発行する。検査終了通知には、検査画像１９の画像ＩＤやオーダＩＤが付されている。

医師は、診療科端末１２を通じて検査終了通知を確認し、検査終了通知に付された画像ＩＤやオーダＩＤを含む検査画像１９の取得要求を、診療科端末１２を通じて検査画像ＤＢサーバ１５に送信する（ステップＳ２）。この取得要求に応じて検査画像ＤＢサーバ１５から診療科端末１２に検査画像１９が送信される（ステップＳ３）。

医師は、診療科端末１２を通じて検査画像ＤＢサーバ１５からの検査画像１９を閲覧する。患者が何らかの疾患に罹っている場合、検査画像１９には疾患の症状を現す病変が映っている。医師は、病変が映っている検査画像１９の類似画像を取得するために、診療科端末１２を通じて、病変が映っている検査画像１９を含む類似画像の取得要求を類似画像検索サーバ１７に送信する（ステップＳ４）。

類似画像の取得要求を受け付けた場合、類似画像検索サーバ１７は、症例画像２１の取得要求を症例画像ＤＢサーバ１６に送信する（ステップＳ５）。この取得要求に応じて症例画像ＤＢサーバ１６から類似画像検索サーバ１７に症例画像２１が送信される（ステップＳ６）。類似画像検索サーバ１７は、症例画像２１の中から検査画像１９に類似する類似画像を検索し、その検索結果を診療科端末１２に送信する（ステップＳ７）。

医師は、診療科端末１２を通じて、類似画像検索サーバ１７からの類似画像の検索結果を閲覧する。また、必要に応じて、類似画像に関連付けられた読影レポートをレポートＤＢサーバから受け取り、診療科端末１２を通じて読影レポートを閲覧する。医師は、類似画像の検索結果、読影レポート、自らの経験等に基づき、患者の疾患を特定する確定診断を下す（ステップＳ８）。

図３において、診療科端末１２から類似画像検索サーバ１７に送信される類似画像の取得要求には、検索画像としての検査画像１９の他に、医師により指定される検査画像１９の関心領域ＲＯＩの情報（以下、領域情報という）２５が添付される。領域情報２５は、例えば、検査画像１９を構成する画素の位置を二次元座標で表現した座標情報であり、類似画像検索サーバ１７で病変のパターンに対応する特徴量Ｚｘ（図６参照）を算出する際に利用される。以下、特徴量Ｚｘのように、検査画像１９に関するものには添え字「ｘ」を付け、添え字「ｙ」を付けた症例画像２１に関するものと区別する。また、検査画像１９および症例画像２１の両方に関するものには添え字「ｘｙ」を付ける。

医師による関心領域ＲＯＩの指定は、例えば図４に示す検査画像表示ウィンドウ３０によって行われる。検査画像表示ウィンドウ３０は、検査画像ＤＢサーバ１５からの検査画像１９を医師が閲覧するためのもので、診療科端末１２のディスプレイに表示される。

検査画像表示ウィンドウ３０には、検査終了通知に付された画像ＩＤやオーダＩＤを入力するための入力ボックス３１、検査画像ＤＢサーバ１５からの検査画像１９を表示する画像表示領域３２、およびボタン群３３等が設けられている。

入力ボックス３１の横には検索ボタン３４が設けられている。入力ボックス３１に所望の画像ＩＤやオーダＩＤを入力して検索ボタン３４をカーソル３５で選択すると、検査画像１９の取得要求が検査画像ＤＢサーバ１５に送信される。画像表示領域３２には、取得要求に対応する検査画像１９と画像ＩＤが表示される。画像表示領域３２は、例えばスクロール操作やコマ送り操作により、検査画像１９の表示を切り替えることが可能である。

ボタン群３３は、領域指定ボタン３６、指定クリアボタン３７、および類似画像検索ボタン３８を有する。領域指定ボタン３６は関心領域ＲＯＩを指定するための操作ボタンであり、指定クリアボタン３７は指定した関心領域ＲＯＩを取り消すための操作ボタンである。領域指定ボタン３６をカーソル３５で選択すると、検査画像１９の任意の領域を指定する領域指定操作が可能となる。領域指定操作は、例えば、カーソル３５により検査画像１９内の病変を含む領域の外周を囲むように複数の制御点を指定することで行われる。この複数の制御点を通る滑らかな曲線を描くスプライン（一点鎖線で示す）の内側が、関心領域ＲＯＩとして指定される。

スプラインによる関心領域ＲＯＩの指定後、類似画像検索ボタン３８をカーソル３５で選択すると、そのとき画像表示領域３２に表示されている検索画像１９と、スプラインで指定された関心領域ＲＯＩの情報、すなわち領域情報２５とが、類似画像の取得要求として類似画像検索サーバ１７に送信される。

図５において、類似画像検索サーバ１７を構成するコンピュータは、ストレージデバイス４５、メモリ４６、ＣＰＵ（Central Processing Unit）４７、通信部４８、ディスプレイ４９、および入力デバイス５０を備えている。これらはデータバス５１を介して相互接続されている。

ストレージデバイス４５は、類似画像検索サーバ１７を構成するコンピュータに内蔵、またはケーブルやネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス４５には、オペレーティングシステム等の制御プログラムや、類似画像検索プログラム５２を含む各種アプリケーションプログラム、およびこれらのプログラムに付随する各種操作画面の表示データ等が記憶されている。類似画像検索プログラム５２は、類似画像検索サーバ１７を構成するコンピュータを、類似画像検索装置として機能させるためのプログラムである。

メモリ４６は、ＣＰＵ４７が処理を実行するためのワークメモリである。ＣＰＵ４７は、ストレージデバイス４５に記憶されたプログラムをメモリ４６へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。

通信部４８は、ネットワーク１８を介した診療科端末１２等との各種情報の伝送制御を行うネットワークインターフェースである。通信部４８は、症例画像ＤＢサーバ１６から症例画像２１を、診療科端末１２から類似画像の取得要求をそれぞれ受信し、症例画像ＤＢサーバ１６に症例画像２１の取得要求を、診療科端末１２に類似画像の検索結果をそれぞれ送信する。

ディスプレイ４９は、マウスやキーボード等の入力デバイス５０の操作に応じた各種操作画面を表示する。操作画面にはＧＵＩ(Graphical User Interface)が配される。類似画像検索サーバ１７はこのＧＵＩを通じて入力デバイス５０からの操作指示の入力を受け付ける。

図６において、ＣＰＵ４７は、類似画像検索プログラム５２を起動すると、メモリ４６と協働して、要求受付部６０、特徴量算出部６１、確率算出部６２、類似度算出部６３、検索結果出力部６４、および出力制御部６５として機能する。

要求受付部６０は、診療科端末１２から送信されて通信部４８で受信した類似画像の取得要求を受け付ける要求受付機能を担う。要求受付部６０は、受け付けた類似画像の取得要求の検査画像１９および領域情報２５をストレージデバイス４５に記憶する。

特徴量算出部６１は、検査画像１９を解析して、特徴量Ｚｘを算出する特徴量算出機能を担う。特徴量算出部６１は、ストレージデバイス４５から検査画像１９および領域情報２５を読み出し、領域情報２５に基づいて検査画像１９に指定された関心領域ＲＯＩを特定する。そして、特定した関心領域ＲＯＩの特徴量Ｚｘを算出する。特徴量算出部６１は、算出した特徴量Ｚｘを確率算出部６２に出力する。

確率算出部６２は、特徴量算出部６１からの特徴量Ｚｘに基づいて、第１存在確率Ｐｘを算出する確率算出機能を担う。第１存在確率Ｐｘは、検査画像１９の関心領域ＲＯＩ内に病変のパターンが存在する確率である。確率算出部６２は、計算式６６を用いて第１存在確率Ｐｘの算出を行う。確率算出部６２は、算出した第１存在確率Ｐｘを類似度算出部６３に出力する。

ここで、特徴量算出部６１で算出する特徴量Ｚｘも、後述するように検査画像１９の関心領域ＲＯＩに病変のパターンが存在する度合いを示すという意味では、検査画像１９の関心領域ＲＯＩ内に病変のパターンが存在する確率である第１存在確率Ｐｘと類似する。しかしながら、特徴量Ｚｘは、パターンマッチングに基づく検査画像１９の画像解析により算出されるもので、医師等の人間が実際に目で見た病変のパターンの有無の判断を反映させたものではない。対して第１存在確率Ｐｘは、人間の視覚の印象に基づく統計的な手法により算出されるものであり、この点で特徴量Ｚｘと第１存在確率Ｐｘは本質的に異なる。

具体的には、第１存在確率Ｐｘを算出する計算式６６は、人間が視覚的に判断した学習用画像内の病変のパターンの有無と学習用画像の特徴量Ｚの関係に基づいて、統計的な手法により予め作成されるもので、特徴量Ｚｘを変数とする。このため、第１存在確率Ｐｘは、検査画像１９の画像解析の結果である特徴量Ｚｘの値に対して、その値を有する検査画像１９を実際に人間が見た場合にどの位の頻度で病変のパターンがある、あるいはないと判断するかを示すもので、特徴量Ｚｘと違って人間が実際に目で見た病変のパターンの有無の判断が反映されている。

類似度算出部６３は、検査画像１９と、症例画像ＤＢ２２に格納された全症例画像２１のそれぞれとの類似度Ｓを算出する類似度算出機能を担う。類似度算出部６３は、確率算出部６２からの第１存在確率Ｐｘと、症例画像２１に付された第２存在確率Ｐｙとに基づいて、類似度Ｓの算出を行う。類似度算出部６３は、算出した類似度Ｓを検索結果出力部６４に出力する。

検索結果出力部６４は、類似画像と類似度Ｓの組を検索結果として出力する検索結果出力機能を担う。より具体的には、検索結果出力部６４は、類似画像と類似度Ｓの組を類似度Ｓ順にソートしたリスト６７（図１３も参照）を類似画像の検索結果として出力する。

出力制御部６５は、検索結果出力部６４からリスト６７を受け取る。出力制御部６５は、受け取ったリスト６７に基づいて、検索結果表示ウィンドウ６８（図１４も参照）を作成する。検索結果表示ウィンドウ６８は、例えば、ＸＭＬ（Extensible Markup Language）等のマークアップ言語によって作成されるＷＥＢ配信用のＸＭＬデータである。出力制御部６５は、作成した検索結果表示ウィンドウ６８を、類似画像の取得要求をした診療科端末１２の情報（例えば診療科端末１２のＩＰ（Internet Protocol）アドレスの情報）とともに通信部４８に出力する。通信部４８は、類似画像の取得要求をした診療科端末１２に検索結果表示ウィンドウ６８を送信する。

図７において、特徴量算出部６１は、検査画像１９の関心領域ＲＯＩについて、計８種類の第１特徴量ＺｘＡ、第２特徴量ＺｘＢ、第３特徴量ＺｘＣ、第４特徴量ＺｘＤ、第５特徴量ＺｘＥ、第６特徴量ＺｘＦ、第７特徴量ＺｘＧ、第８特徴量ＺｘＨをそれぞれ算出する第１特徴量算出器６１Ａ、第２特徴量算出器６１Ｂ、第３特徴量算出器６１Ｃ、第４特徴量算出器６１Ｄ、第５特徴量算出器６１Ｅ、第６特徴量算出器６１Ｆ、第７特徴量算出器６１Ｇ、第８特徴量算出器６１Ｈを有する。「−０．２１」や「＋５．６３」等の数値で例示するように、各特徴量ＺｘＡ〜ＺｘＨは、正負いずれの値もとり得る。これら８種類の各特徴量ＺｘＡ〜ＺｘＨを要素とする８次元ベクトルは、特徴ベクトルと呼ばれる。以下、各特徴量算出器６１Ａ〜６１Ｈのように、第１特徴量ＺｘＡに関するものには「Ａ」、第２特徴量ＺｘＢに関するものには「Ｂ」等と、各特徴量ＺｘＡ〜ＺｘＨに関するものに、対応するアルファベットの添え字「Ａ」〜「Ｈ」を付けて区別する。

図８において、各特徴量ＺｘＡ〜ＺｘＨは、予め登録された典型的な複数種類の病変のパターンに対応する。具体的には、第１特徴量ＺｘＡは低呼吸域の異常影（気腫、気胸、ブラ等）、第２特徴量ＺｘＢは空洞、第３特徴量ＺｘＣは気管支の異常影（気管支壁肥厚、気管支拡張、牽引性気管支拡張、気管支透亮像等）、第４特徴量ＺｘＤは蜂窩肺、第５特徴量ＺｘＥはすりガラス状陰影、第６特徴量ＺｘＦは点状影（粒状影、ＴＩＢ（Tree-in-Bud）等）、第７特徴量ＺｘＧは高吸収域の異常影（コンソリデーション、ノジュール、気管支粘液腺等）、第８特徴量ＺｘＨは線状・網状影の各種病変のパターンにそれぞれ対応する。

各特徴量ＺｘＡ〜ＺｘＨは、対応する各種病変のパターンらしさを表すもので、関心領域ＲＯＩに病変のパターンが存在する度合いを表す値である。そのため、各特徴量ＺｘＡ〜ＺｘＨが大きいほど、関心領域ＲＯＩに対応する病変のパターンが存在する度合いが高いことを示し、各特徴量ＺｘＡ〜ＺｘＨが小さいほど、関心領域ＲＯＩに対応する病変のパターンが存在する度合いが低いことを示す。さらにいえば、各特徴量ＺｘＡ〜ＺｘＨが正の値である場合、対応する病変のパターンが関心領域ＲＯＩに高い確率で存在することを示し、負の値である場合、対応する病変のパターンが高い確率で関心領域ＲＯＩに存在しないことを示す。そして、正の値でかつその値が大きいほど、対応する病変のパターンが関心領域ＲＯＩに存在する度合いが高いことを示す。

ただし、前述したように、特徴量Ｚｘは、人間が実際に目で見た病変のパターンの有無の判断を反映させたものではないので、特徴量Ｚｘが正の値である場合に病変のパターンが関心領域ＲＯＩに実際に存在しているとは限らず、同様に特徴量Ｚｘが負の値である場合に病変のパターンが関心領域ＲＯＩに実際に存在していないとも限らない。

図７の例では、空洞のパターンに対応する第２特徴量ＺｘＢと、高吸収域の異常影のパターンに対応する第７特徴量ＺｘＧとが正の値を示し、その他の各特徴量ＺｘＡ、ＺｘＣ〜ＺｘＦ、ＺｘＨは負の値を示している。そして、第２特徴量ＺｘＢが「＋５．６３」と、第７特徴量ＺｘＧの「＋０．８０」よりも大きい値であるため、関心領域ＲＯＩには空洞と高吸収域の異常影が存在し、中でも空洞が支配的であることが分かる。

各特徴量算出器６１Ａ〜６１Ｈは、例えば、「資料名：Computer Vision and Image Understanding 88巻119頁〜151頁，発行年2002年12月 Using Human Perceptual Categories for Content-Based Retrieval from a Medical Image Database 著者 Chi-Ren Shyu, Christina Pavlopoulou Avinash C.kak,and Cala E.Brodley」等に記載されているような周知の特徴量を用いて、「ＡｄａＢｏｏｓｔ（Adaptive Boosting）」等の機械学習アルゴリズムにより作成することができる。

なお、本実施形態では８種類の病変のパターンに対応する８種類の特徴量ＺｘＡ〜ＺｘＨを例示しているが、特徴量Ｚｘは８種類より少なくても多くてもよい。さらに言えば特徴量Ｚｘは１つでもよい。また、１つの病変のパターンに対応する特徴量Ｚｘを１つとしたが、１つの病変のパターンに対応する特徴量Ｚｘを複数としてもよい。

図９において、確率算出部６２が第１存在確率Ｐｘの算出に用いる計算式６６は、視覚判断データ７５に基づいて作成される。視覚判断データ７５はストレージデバイス４５に記憶されている。視覚判断データ７５は、複数の学習用画像１、２、・・・について、学習用画像内に病変のパターンが存在するか否かを、医師等の人間が視覚的に判断した結果であるパターンの有無と、特徴量算出部６１で学習用画像の関心領域ＲＯＩに対して算出した特徴量Ｚとを、病変のパターン毎に記憶したものである。視覚判断データ７５は、例えば、診療科端末１２を通じて定期的に学習用画像として症例画像２１を医師に閲覧させ、医師に自らが判断したパターンの有無を入力させることで作成される。パターンの有無を判断する医師としては、例えば、検査画像１９の遠隔読影の依頼を受ける読影センターの読影医等、他の医療施設の医師であってもよい。なお、図９では、病変のパターンとしてすりガラス状陰影と点状影を例示し、他の病変のパターンはスペースの制約上省略している。

特徴量Ｚが同じ値の複数の学習用画像のパターンの有無を医師に判断させた場合、特徴量Ｚは前述のように人間が実際に目で見た病変のパターンの有無の判断を反映させたものではないため、特徴量Ｚが同じ値でも、病変のパターンありと判断する場合と、なしと判断する場合とがある。この複数の学習用画像に対して、医師が病変のパターンありと判断した学習用画像の占める割合が、その特徴量Ｚに関する第１存在確率Ｐとなる。例えば特徴量Ｚが同じ値の複数の学習用画像が１００枚で、１００枚全てに病変のパターンありと判断した場合は、第１存在確率Ｐ＝１（１００％）、１００枚のうちの５０枚に病変のパターンありと判断した場合は第１存在確率Ｐ＝０．５（５０％）、１００枚全てに病変のパターンなしと判断した場合は第１存在確率Ｐ＝０（０％）である。

こうした医師の判断結果に基づき各特徴量Ｚに対する第１存在確率Ｐを求め、その結果を、特徴量Ｚを横軸、第１存在確率Ｐを縦軸とするグラフにプロットすると、例えば図１０に示すように、特徴量Ｚと第１存在確率Ｐの関係は略Ｓ字の曲線Ｃとなる。この曲線Ｃはロジスティック曲線と呼ばれ、特徴量Ｚと第１存在確率Ｐの関係はロジスティック関数と呼ばれる特徴量Ｚを変数とする式（Ｐ＝１／{１＋exp（−Ａ０−Ａ１×Ｚ）｝）で表すことができる。つまり第１存在確率Ｐおよび特徴量Ｚは、統計学でいうところの目的変数および説明変数にそれぞれ該当する。ここでＡ０、Ａ１は係数であり、これらの係数をロジスティック回帰分析で求めることで、計算式６６を得ることができる。

具体的には、計算式６６は次式（１−Ａ）で表せる。
Ｐｘ＝１／{１＋exp（−Ａ０−Ａ１×Ｚｘ）}・・・（１−Ａ）

Ａ０、Ａ１は前述のようにロジスティック回帰分析で求める。計算式６６は、病変のパターン毎に作成される。図９では、すりガラス状陰影のパターンが検査画像１９の関心領域ＲＯＩに存在する第１存在確率ＰｘＥを算出するための計算式６６Ｅ（ＰｘＥ＝１／{１＋exp（−ＡＥ０−ＡＥ１×ＺｘＥ）}）、および点状影のパターンが検査画像１９の関心領域ＲＯＩに存在する第１存在確率ＰｘＦを算出するための計算式６６Ｆ（ＰｘＦ＝１／{１＋exp（−ＡＦ０−ＡＦ１×ＺｘＦ）}）を例示し、他の病変のパターン用の計算式６６は図示を省略している。

例えばＡＥ０＝０．０３８、ＡＥ１＝２．０８で、第５特徴量ＺｘＥが＋１．３１であった場合、すりガラス状陰影のパターンが検査画像１９の関心領域ＲＯＩに存在する第１存在確率ＰｘＥは、
ＰｘＥ＝１／{１＋exp（−０．０３８−２．０８×１．３１）}≒０．９４
となる。また、ＡＦ０＝０．１０２、ＡＦ１＝３．２１で、第６特徴量ＺｘＦが−１．１６であった場合、点状影のパターンが検査画像１９の関心領域ＲＯＩに存在する第１存在確率ＰｘＦは、
ＰｘＦ＝１／{１＋exp（−０．１０２＋３．２１×１．１６）}≒０．０３
となる。確率算出部６２は、このように計算式６６を用いて各種病変のパターンの第１存在確率ＰｘＡ〜ＰｘＨを算出する。

なお、特徴量Ｚと第１存在確率Ｐの関係が略直線であった場合は、ロジスティック回帰分析のような非線形回帰分析ではなく、線形回帰分析を用いて計算式６６を作成してもよい。

また、１つの病変のパターンに対応する特徴量Ｚｘが複数あった場合、計算式６６は、複数の特徴量ＺｘをＺｘ１、Ｚｘ２、Ｚｘ３、・・・とした場合、次式（１−Ｂ）で表せる。
Ｐｘ＝１／{１＋exp（−Ａ０−Ａ１×Ｚｘ１−Ａ２×Ｚｘ２−Ａ３×Ｚｘ３−・・・）}・・・（１−Ｂ）
Ａ０、Ａ１、Ａ２、Ａ３、・・・は係数であり、式（１−Ａ）と同様に、ロジスティック回帰分析で求められる。

第２存在確率Ｐｙについても、過去の診断において、症例画像２１の関心領域ＲＯＩの特徴量ＺｙＡ〜ＺｙＨが特徴量算出部６１で算出され、この特徴量ＺｙＡ〜ＺｙＨに基づいて、各種病変のパターンの第２存在確率ＰｙＡ〜ＰｙＨが、視覚判断データ７５に基づいて作成された計算式６６を用いた統計的な手法により確率算出部６２で算出される。

図１１および図１２において、類似度算出部６３は、併存確率算出器８０、非併存確率算出器８１、比算出器８２、および乗算器８３を有する。併存確率算出器８０は、各存在確率Ｐｘ、Ｐｙに基づいて、病変のパターンが検査画像１９および症例画像２１の関心領域ＲＯＩの両方に存在する確率である併存確率Ｐｘｙを算出する。具体的には、併存確率Ｐｘｙを次式（２−Ａ）により算出する。
Ｐｘｙ＝Ｐｘ×Ｐｙ・・・（２−Ａ）

非併存確率算出器８１は、各存在確率Ｐｘ、Ｐｙに基づいて、病変のパターンが検査画像１９および症例画像２１の関心領域ＲＯＩのうちの一方にのみ独立して存在する確率である非併存確率ＮＰｘｙを算出する。具体的には、非併存確率ＮＰｘｙを次式（３−Ａ）により算出する。
ＮＰｘｙ＝Ｐｘ×（１−Ｐｙ）＋（１−Ｐｘ）×Ｐｙ・・・（３−Ａ）
各算出部８０、８１は、算出した各確率Ｐｘｙ、ＮＰｘｙを比算出器８２に出力する。

比算出器８２は、併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙを算出し、算出した比Ｐｘｙ／ＮＰｘｙを乗算器８３に出力する。

図１２に詳細に示すように、併存確率算出器８０は、８種類の病変のパターンの各々の第１併存確率ＰｘｙＡ〜第８併存確率ＰｘｙＨを算出するために、第１併存確率算出器８０Ａ〜第８併存確率算出器８０Ｈの計８個設けられている（第５併存確率算出器８０Ｅ〜第８併存確率算出器８０Ｈは不図示）。非併存確率算出器８１も同様に、第１非併存確率ＮＰｘｙＡ〜第８併存確率ＮＰｘｙＨを算出するために、第１非併存確率算出器８１Ａ〜第８非併存確率算出器８１Ｈが設けられている（第５非併存確率算出器８１Ｅ〜第８非併存確率算出器８１Ｈは不図示）。また、比算出器８２も同様に第１比算出器８２Ａ〜第８比算出器８２Ｈが設けられている（第５比算出器８２Ｅ〜第８比算出器８２Ｈは不図示）。

乗算器８３は、第１比算出器８２Ａ〜第８比算出器８２Ｈからの第１併存確率ＰｘｙＡ〜第８併存確率ＰｘｙＨと第１非併存確率ＮＰｘｙＡ〜第８非併存確率ＮＰｘｙＨのそれぞれの比ＰｘｙＡ／ＮＰｘｙＡ〜ＰｘｙＨ／ＮＰｘｙＨを総乗する。類似度算出部６３は、この乗算器８３による比ＰｘｙＡ／ＮＰｘｙＡ〜ＰｘｙＨ／ＮＰｘｙＨの総乗の算出結果を、類似度Ｓとして出力する。すなわち、類似度Ｓは次式（４−Ａ）で表せる。
Ｓ＝ΠＰｘｙ／ＮＰｘｙ＝（ＰｘｙＡ／ＮＰｘｙＡ）×（ＰｘｙＢ／ＮＰｘｙＢ）×（ＰｘｙＣ／ＮＰｘｙＣ）×（ＰｘｙＤ／ＮＰｘｙＤ）×（ＰｘｙＥ／ＮＰｘｙＥ）×（ＰｘｙＦ／ＮＰｘｙＦ）×（ＰｘｙＧ／ＮＰｘｙＧ）×（ＰｘｙＨ／ＮＰｘｙＨ）・・・（４−Ａ）

併存確率Ｐｘｙは、各種病変のパターン毎の検査画像１９と症例画像２１の類似性を示す指標であり、併存確率Ｐｘｙが高いほど検査画像１９と症例画像２１の類似性が高いといえる。逆に非併存確率ＮＰｘｙは、各種病変のパターン毎の検査画像１９と症例画像２１の非類似性を示す指標であり、非併存確率ＮＰｘｙが高いほど検査画像１９と症例画像２１の類似性が低いといえる。また、これらの比Ｐｘｙ／ＮＰｘｙは、分子の併存確率Ｐｘｙが分母の非併存確率ＮＰｘｙに比べて大きいほど値が高くなり、値が高いほど検査画像１９と症例画像２１の類似性が高いといえる。そして、比ＰｘｙＡ／ＮＰｘｙＡ〜ＰｘｙＨ／ＮＰｘｙＨの総乗である類似度Ｓは、各種病変のパターンの検査画像１９と症例画像２１間の併存確率Ｐｘｙおよび非併存確率ＮＰｘｙを総合的に勘案した値であるため、検査画像１９と症例画像２１の総合的な類似性を示す指標である。類似度Ｓが高いほど検査画像１９と症例画像２１が総合的に類似性が高いといえる。

図１３において、リスト６７は、順位の項目を筆頭に、症例画像２１の画像ＩＤと類似度Ｓの項目を有する。リスト６７の各件には、類似画像として、症例画像２１の関心領域ＲＯＩを切り出したＲＯＩ画像が添付される。リスト６７は類似画像と類似度Ｓの組を類似度Ｓ順にソートしたものであるため、当然ながら順位が１位の画像ＩＤ「Ｆ００４４」の症例画像２１の類似度Ｓが全症例画像２１の中で最も高いものとなり、順位が下がるに連れて類似度Ｓも小さくなる。

図１４において、検索結果表示ウィンドウ６８は、検索画像である検査画像１９および検査画像表示ウィンドウ３０で指定された関心領域ＲＯＩを表示する画像表示領域９０と、検索結果表示領域９１と、詳細表示ボタン９２とを有する。検索結果表示領域９１にはリスト６７の内容の一部（例えば上位５位までの件）が表示され、必要に応じて表示領域をスクロールバー９３で上下に移動させることが可能である。

検索結果表示領域９１には、リスト６７の各件を選択するためのチェックボックス９４が設けられている。このチェックボックス９４を選択し、詳細表示ボタン９２を選択すると、選択されたリスト６７についての詳細な情報、例えばＲＯＩ画像ではなく症例画像２１の全体画像や、症例画像２１の付帯情報、特に症例画像２１を読影して作成した読影レポートのレポートＩＤ等が、検索結果表示ウィンドウ６８とは別ウィンドウで表示される。この別ウィンドウの作成および診療科端末１２への送信も、検索結果表示ウィンドウ６８と同様に出力制御部６５が行う。症例画像２１の全体画像や付帯情報は、画像ＩＤに基づき症例画像ＤＢサーバ１６から類似画像検索サーバ１７に取り込むことができる。

以下、上記構成による類似画像検索サーバ１７の作用について、図１５および図１６を参照して説明する。まず、入力デバイス５０が操作されて、類似画像検索プログラム５２が起動される。これにより、ＣＰＵ４７に要求受付部６０、特徴量算出部６１、確率算出部６２、類似度算出部６３、検索結果出力部６４、および出力制御部６５が構築され、類似画像検索サーバ１７を構成するコンピュータは、類似画像検索装置として機能する。

医師は、検査画像表示ウィンドウ３０で検査画像１９を閲覧し、検査画像１９の類似画像を取得したい場合は関心領域ＲＯＩを指定して類似画像検索ボタン３８を選択する。これにより検査画像１９を含み領域情報２５が添付された類似画像の取得要求が類似画像検索サーバ１７に送信される。

図１５のステップＳ１００に示すように、類似画像検索サーバ１７において、診療科端末１２からの類似画像の取得要求は通信部４８で受信され、要求受付部６０で受け付けられる。受け付けられた類似画像の取得要求の検査画像１９および領域情報２５は、要求受付部６０によりストレージデバイス４５に記憶される。

ストレージデバイス４５の検査画像１９および領域情報２５は、特徴量算出部６１に読み出される。そして、領域情報２５に基づいて特定された関心領域ＲＯＩの特徴量Ｚｘが特徴量算出部６１により算出される（ステップＳ１１０）。特徴量Ｚｘは、特徴量算出部６１から確率算出部６２に出力される。

特徴量Ｚｘを算出する領域を関心領域ＲＯＩのような検査画像１９の一部の領域に限るため、検査画像１９の全体を特徴量Ｚｘの算出対象とする場合よりも特徴量Ｚｘの算出に処理負荷が掛からない。また、関心領域ＲＯＩには病変が映った領域が指定されるため、病変以外の領域も含めて特徴量Ｚｘを算出する場合よりも、病変の特徴をより表した特徴量Ｚｘを算出することができる。

確率算出部６２により、特徴量算出部６１からの特徴量Ｚｘに基づいて、検査画像１９の関心領域ＲＯＩ内に病変のパターンが存在する確率である第１存在確率Ｐｘが算出される（ステップＳ１２０）。この際、視覚判断データ７５に基づいて統計的な手法により作成された計算式６６が用いられる。第１存在確率Ｐｘは、確率算出部６２から類似度算出部６３に出力される。

類似度算出部６３により、確率算出部６２からの第１存在確率Ｐｘと症例画像２１に付された第２存在確率Ｐｙとに基づいて、検査画像１９と症例画像２１の類似度Ｓが算出される（ステップＳ１３０）。

第２存在確率Ｐｙは、過去の診断において、症例画像２１の関心領域ＲＯＩの特徴量Ｚｙが特徴量算出部６１で算出され、この特徴量Ｚｙに基づいて、計算式６６を用いた統計的な手法により確率算出部６２で事前に算出されたものである。このため、類似度Ｓを算出する際に特徴量Ｚｙおよび第２存在確率Ｐｙを算出する手間が省け、類似度Ｓの算出処理を高速化することができる。

類似度Ｓの算出手順を示す図１６において、ステップＳ１３１に示すように、類似度算出部６３では、併存確率算出器８０により、各存在確率Ｐｘ、Ｐｙに基づいて、式（２−Ａ）を用いて併存確率Ｐｘｙが算出される。また、非併存確率算出器８１により、各存在確率Ｐｘ、Ｐｙに基づいて、式（３−Ａ）を用いて非併存確率ＮＰｘｙが算出される。これら併存確率Ｐｘｙおよび非併存確率ＮＰｘｙは比算出器８２に出力される。

比算出器８２により、併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙが算出される（ステップＳ１３２）。比Ｐｘｙ／ＮＰｘｙは乗算器８３に出力される。

乗算器８３により、式（４−Ａ）を用いて比Ｐｘｙ／ＮＰｘｙの総乗が類似度Ｓとして算出される（ステップＳ１３３）。類似度Ｓは、症例画像ＤＢ２２に格納された全症例画像２１について算出される。類似度Ｓは、類似度算出部６３から検索結果出力部６４に出力される。

視覚判断データ７５に基づいて統計的な手法により作成された計算式６６を用いて第１存在確率Ｐｘを算出し、この第１存在確率Ｐｘと、同様に統計的な手法で算出された第２存在確率Ｐｙとに基づいて類似度Ｓを算出するので、従来のように特徴量Ｚｘ、Ｚｙの算出精度に類似度Ｓの信頼性が左右されることがない。また、視覚判断データ７５は、病変のパターンが存在するか否かを、医師等の人間が視覚的に判断した結果を示すものであるため、類似度Ｓが人間の見た目と乖離が生じるおそれもない。特に本実施形態のように特徴量Ｚｘ、Ｚｙが複数種類ある場合は、種類によってその算出精度も異なり、また、種類によって人間の見た目との乖離の程度も異なるので、特徴量Ｚｘ、Ｚｙの算出精度に類似度Ｓの信頼性がより左右されやすかったが、そうした懸念を払拭することができる。したがって、信頼性が置ける類似画像を医師に提供することができる。

さらに、従来のように、特徴量Ｚｘ、Ｚｙがともに大きい値でだいたい一致した場合と、特徴量Ｚｘ、Ｚｙがともに低い値でだいたい一致した場合とで、類似度Ｓが同等となってしまうことがない。具体的には、特徴量Ｚｘ、Ｚｙがともに大きい値でだいたい一致した場合は、併存確率Ｐｘｙが高くなり非併存確率ＮＰｘｙが低くなるため類似度Ｓは高くなる。一方、特徴量Ｚｘ、Ｚｙがともに低い値でだいたい一致した場合は、併存確率Ｐｘｙが低くなり非併存確率ＮＰｘｙが高くなるため類似度Ｓは低くなる。このため、検査画像１９の類似画像を得たいという類似画像検索の目的に合致した類似度Ｓを算出することができ、納得感のある類似画像を医師に提供することができる。

併存確率Ｐｘｙ、非併存確率ＮＰｘｙ、およびこれらの比Ｐｘｙ／ＮＰｘｙを算出し、さらに比Ｐｘｙ／ＮＰｘｙの総乗を算出してその算出結果を類似度Ｓとするので、類似度Ｓは併存確率Ｐｘｙと非併存確率ＮＰｘｙを両方絡めたものとなり、検査画像１９と症例画像２１の類似性を示す指標として類似度Ｓの信頼性をより高めることができる。

図１５において、検索結果出力部６４により、類似画像と類似度Ｓの組を類似度Ｓ順にソートしたリスト６７が作成され、作成されたリスト６７が検索結果出力部６４から出力制御部６５に出力される（ステップＳ１４０）。

出力制御部６５により、リスト６７に基づいて検索結果表示ウィンドウ６８が作成され、この検索結果表示ウィンドウ６８と類似画像の取得要求をした診療科端末１２の情報とが通信部４８に出力される（ステップＳ１５０）。これにより、通信部４８を介して、類似画像の取得要求をした診療科端末１２に検索結果表示ウィンドウ６８が送信される。医師は、検索結果表示ウィンドウ６８を閲覧し、これを参考にして確定診断を下す。

リスト６７を作成してこれに基づき検索結果表示ウィンドウ６８を作成し、検索結果表示ウィンドウ６８を医師の閲覧に供するので、医師が確定診断を下すための有力な手掛かりを提供することができ、経験の浅い医師でもより確度の高い診断が可能となる。

なお、特徴量Ｚｘが１つである場合は、乗算器８３は必要なく、類似度算出部６３は併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙを類似度Ｓとして出力する。あるいは、併存確率Ｐｘｙ、または非併存確率ＮＰｘｙのいずれかを類似度Ｓとして出力してもよい。この場合は併存確率算出器８０、または非併存確率算出器８１のいずれか、および比算出器８２が必要なくなる。

特徴量Ｚｘが複数種類である場合も、併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの総乗ではなく、併存確率Ｐｘｙの総乗（ΠＰｘｙ）、または非併存確率ＮＰｘｙの総乗（ΠＮＰｘｙ）のいずれかを類似度Ｓとして出力してもよい。

上記第１実施形態を例に説明すると、併存確率Ｐｘｙの総乗を類似度Ｓとする場合は次式（４−Ｂ）、非併存確率ＮＰｘｙの総乗を類似度Ｓとする場合は次式（４−Ｃ）を用いて類似度Ｓを算出する。
Ｓ＝ΠＰｘｙ＝ＰｘｙＡ×ＰｘｙＢ×ＰｘｙＣ×ＰｘｙＤ×ＰｘｙＥ×ＰｘｙＦ×ＰｘｙＧ×ＰｘｙＨ・・・（４−Ｂ）
Ｓ＝ΠＮＰｘｙ＝ＮＰｘｙＡ×ＮＰｘｙＢ×ＮＰｘｙＣ×ＮＰｘｙＤ×ＮＰｘｙＥ×ＮＰｘｙＦ×ＮＰｘｙＧ×ＮＰｘｙＨ・・・（４−Ｃ）

併存確率Ｐｘｙおよび非併存確率ＮＰｘｙは、検査画像１９と症例画像２１の類似性および非類似性を示す指標であるため、これらそのものまたはこれらの総乗を併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの総乗の代わりに類似度Ｓとしても差し支えはない。併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙを類似度Ｓとした場合も同様である。なお、非併存確率ＮＰｘｙやその総乗を類似度Ｓとした場合は、併存確率Ｐｘｙやその総乗、比Ｐｘｙ／ＮＰｘｙやその総乗を類似度Ｓとした場合とは逆に、値が低いほど検査画像１９と症例画像２１の類似性が高いことを示す。

また、併存確率Ｐｘｙの総乗、非併存確率ＮＰｘｙの総乗、または併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの総乗の代わりに、併存確率Ｐｘｙの対数の総和（ΣlogＰｘｙ）、非併存確率ＮＰｘｙの対数の総和（ΣlogＮＰｘｙ）、または併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの対数の総和（Σlog（Ｐｘｙ／ＮＰｘｙ））を類似度Ｓとして出力してもよい。この場合は乗算器８３の代わりに対数加算器を設ける。

再び上記第１実施形態を例に説明すると、併存確率Ｐｘｙの対数の総和を類似度Ｓとする場合は次式（４−Ｄ）、非併存確率ＮＰｘｙの対数の総和を類似度Ｓとする場合は次式（４−Ｅ）、併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの対数の総和を類似度Ｓとする場合は次式（４−Ｆ）をそれぞれ用いて類似度Ｓを算出する。
Ｓ＝ΣlogＰｘｙ＝logＰｘｙＡ＋logＰｘｙＢ＋logＰｘｙＣ＋logＰｘｙＤ＋logＰｘｙＥ＋logＰｘｙＦ＋logＰｘｙＧ＋logＰｘｙＨ・・・（４−Ｄ）
Ｓ＝ΣlogＮＰｘｙ＝logＮＰｘｙＡ＋logＮＰｘｙＢ＋logＮＰｘｙＣ＋logＮＰｘｙＤ＋logＮＰｘｙＥ＋logＮＰｘｙＦ＋logＮＰｘｙＧ＋logＮＰｘｙＨ・・・（４−Ｅ）
Ｓ＝Σlog（Ｐｘｙ／ＮＰｘｙ）＝Σ（logＰｘｙ−logＮＰｘｙ）＝（logＰｘｙＡ−logＮＰｘｙＡ）＋（logＰｘｙＢ−logＮＰｘｙＢ）＋（logＰｘｙＣ−logＮＰｘｙＣ）＋（logＰｘｙＤ−logＮＰｘｙＤ）＋（logＰｘｙＥ−logＮＰｘｙＥ）＋（logＰｘｙＦ−logＮＰｘｙＦ）＋（logＰｘｙＧ−logＮＰｘｙＧ）＋（logＰｘｙＨ−logＮＰｘｙＨ）・・・（４−Ｆ）

併存確率Ｐｘｙの対数の総和、非併存確率ＮＰｘｙの対数の総和、および併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの対数の総和は、総乗の場合と同様に検査画像１９と症例画像２１の類似性を示す指標であり、併存確率Ｐｘｙの対数の総和、および併存確率Ｐｘｙと非併存確率ＮＰｘｙの比Ｐｘｙ／ＮＰｘｙの対数の総和の場合は値が高いほど検査画像１９と症例画像２１の類似性が高いといえ、非併存確率ＮＰｘｙの対数の総和の場合は逆に値が低いほど検査画像１９と症例画像２１の類似性が高いといえる。

上記第１実施形態では、症例画像２１の特徴量Ｚｙおよび第２存在確率Ｐｙを、事前に特徴量算出部６１および確率算出部６２で算出すると説明したが、類似画像検索サーバ１７とは別の装置で症例画像２１の特徴量Ｚｙまたは第２存在確率Ｐｙを算出してもよい。この場合、第１存在確率Ｐｘと同様の統計的な手法により第２存在確率Ｐｙを算出してもよいし、第１存在確率Ｐｘとは別の統計的な手法により第２存在確率Ｐｙを算出してもよい。また、事前に算出した第２存在確率Ｐｙを、症例画像２１の付帯情報として症例画像ＤＢ２２に格納すると説明したが、類似度Ｓを算出する都度、第２存在確率Ｐｙを算出してもよい。こうすれば第２存在確率Ｐｙを症例画像ＤＢ２２に格納する必要がないため、その分症例画像ＤＢ２２の容量に余裕ができ、より多くの症例画像２１を記憶することができる。

［第２実施形態］
上記第１実施形態のように、併存確率Ｐｘｙの算出に式（２−Ａ）を用いた場合、第１存在確率Ｐｘを例えば０．８としたときの各第２存在確率Ｐｙに対する併存確率Ｐｘｙは、図１７Ａに示すようになる。すなわち、第２存在確率Ｐｙが高いほど併存確率Ｐｘｙは高くなり、検査画像１９と症例画像２１の類似性も高くなる。

ここで、各存在確率Ｐｘ、Ｐｙは、統計的な手法により同じように算出するものであるため、各存在確率Ｐｘ、Ｐｙの値が近いほうが、検査画像１９と症例画像２１の類似性が高いといえる。さらにいえば、各存在確率Ｐｘ、Ｐｙの値がともに高くかつ同じであれば、検査画像１９と症例画像２１はほぼ一致しているといえる。各存在確率Ｐｘ、Ｐｙの元となっている各特徴量Ｚｘ、Ｚｙに関しても略同様のことがいえる。すなわち、各特徴量Ｚｘ、Ｚｙの値やその範囲によっては、各特徴量Ｚｘ、Ｚｙの値が近いほうが検査画像１９と症例画像２１の類似性が高いといえる場合がある。特に各特徴量Ｚｘ、Ｚｙの値がともに大きくかつ近い場合は、検査画像１９と症例画像２１の類似性が高い可能性が大きい。このように、各存在確率Ｐｘ、Ｐｙおよびこれらの元の各特徴量Ｚｘ、Ｚｙの値の近さを考慮して検査画像１９と症例画像２１の類似性を判断すれば、より適切な類似画像の検索が可能となる。しかしながら、図１７Ａに示す例では、各存在確率Ｐｘ、Ｐｙおよび各特徴量Ｚｘ、Ｚｙの値の近さを考慮して検査画像１９と症例画像２１の類似性を判断していないため、第２存在確率Ｐｙが第１存在確率Ｐｘと同じ０．８の場合の併存確率Ｐｘｙは０．６４で、第２存在確率Ｐｙが１．０の場合の併存確率Ｐｘｙ（０．８）、および第２存在確率Ｐｙが０．９の場合の併存確率Ｐｘｙ（０．７２）よりも値が低くなっている。このため、第２存在確率Ｐｙが０．８の場合のほうが、検査画像１９と症例画像２１の類似性がより高いにも関わらず、第２存在確率Ｐｙが１．０、０．９の場合よりも類似性が低いと判断されてしまう。

そこで、本実施形態では、各存在確率Ｐｘ、Ｐｙの値の近さを考慮して検査画像１９と症例画像２１の類似性を判断し、検査画像１９との類似性がより高い症例画像２１が正当に判断されるよう併存確率Ｐｘｙを算出する。具体的には、併存確率Ｐｘｙを次式（２−Ｂ）により算出する。
Ｐｘｙ＝Ｐｘ×min（Ｐｘ、Ｐｙ）・・・（２−Ｂ）

式（２−Ｂ）の右辺のmin（Ｐｘ、Ｐｙ）は、各存在確率Ｐｘ、Ｐｙのうちの最小値（minimum）、つまり各存在確率Ｐｘ、Ｐｙのうち値が低いほうという意味である。各存在確率Ｐｘ、Ｐｙが同じ値の場合は、min（Ｐｘ、Ｐｙ）＝Ｐｘ＝Ｐｙである。この式（２−Ｂ）を用いた場合、図１７Ａと同じく第１存在確率Ｐｘを０．８としたときの各第２存在確率Ｐｙに対する併存確率Ｐｘｙは、図１７Ｂに示すようになる。すなわち、第２存在確率Ｐｙが０．８の場合と、第２存在確率Ｐｙが１．０、０．９の場合とで、併存確率Ｐｘｙが０．６４と同じ値となる。したがって、各存在確率Ｐｘ、Ｐｙが同じ値の場合に、検査画像１９と症例画像２１が、第１存在確率Ｐｘよりも第２存在確率Ｐｙが高い場合と同じ類似性をもつと判断することができる。

併存確率Ｐｘｙと同様に、非併存確率ＮＰｘｙについても、各存在確率Ｐｘ、Ｐｙが同じ値の場合に検査画像１９と症例画像２１の類似性がより高いと判断可能にするため、次式（３−Ｂ）、（３−Ｃ）により算出する。
Ｐｘ＞０．５の場合、ＮＰｘｙ＝Ｐｘ×{１−min（Ｐｘ、Ｐｙ）}＋（１−Ｐｘ）×Ｐｙ・・・（３−Ｂ）
Ｐｘ≦０．５の場合、ＮＰｘｙ＝Ｐｘ×（１−Ｐｙ）＋（１−Ｐｘ）×max（Ｐｘ、Ｐｙ）・・・（３−Ｃ）

式（３−Ｃ）の右辺のmax（Ｐｘ、Ｐｙ）は、各存在確率Ｐｘ、Ｐｙのうちの最大値（maximum）、つまり各存在確率Ｐｘ、Ｐｙのうち値が高いほうという意味である。各存在確率Ｐｘ、Ｐｙが同じ値の場合は、max（Ｐｘ、Ｐｙ）＝Ｐｘ＝Ｐｙである。

図１８Ａは、上記第１実施形態の式（３−Ａ）を用いた場合、図１８Ｂは、式（３−Ｂ）を用いた場合の、第１存在確率Ｐｘを０．８（Ｐｘ＞０．５の場合に該当）としたときの各第２存在確率Ｐｙに対する非併存確率ＮＰｘｙをそれぞれ示す。式（３−Ａ）を用いた図１８Ａでは、非併存確率ＮＰｘｙは、第２存在確率Ｐｙが１．０の場合が最も低く、検査画像１９と症例画像２１の類似性も最も高くなっている。対して、式（３−Ｂ）を用いた図１８Ｂでは、非併存確率ＮＰｘｙは、第２存在確率Ｐｙが第１存在確率Ｐｘと同じ０．８の場合に最も低くなり、検査画像１９と症例画像２１の類似性も最も高くなる。

また、図１９Ａは、上記第１実施形態の式（３−Ａ）を用いた場合、図１９Ｂは、式（３−Ｃ）を用いた場合の、第１存在確率Ｐｘを０．３（Ｐｘ≦０．５の場合に該当）としたときの各第２存在確率Ｐｙに対する非併存確率ＮＰｘｙをそれぞれ示す。式（３−Ａ）を用いた図１９Ａでは、非併存確率ＮＰｘｙは、第２存在確率Ｐｙが０．１の場合が最も低く、検査画像１９と症例画像２１の類似性も最も高くなっている。対して、式（３−Ｃ）を用いた図１９Ｂでは、非併存確率ＮＰｘｙは、第２存在確率Ｐｙが第１存在確率Ｐｘと同じ０．３の場合に最も低くなり、検査画像１９と症例画像２１の類似性も最も高くなる。したがって、各存在確率Ｐｘ、Ｐｙが同じ値の場合に、検査画像１９と症例画像２１が最も類似性が高いと判断することができる。

［第３実施形態］
上記第１実施形態では、検査画像１９と、症例画像ＤＢ２２に格納された全症例画像２１のそれぞれとの類似度Ｓを算出している。このため、症例画像２１が比較的大量にある場合は検索結果を出力するまでに多大な時間が掛かってしまう。

そこで、本実施形態では、検査画像１９と明らかに類似性がない症例画像２１を類似度Ｓの算出対象から除外し、検索結果の出力に掛かる時間を短縮する。

図２０において、本実施形態の類似画像検索サーバ１７のＣＰＵ１００には、上記第１実施形態の各部６０〜６５（確率算出部６２および類似度算出部６３以外は不図示）に加えて、フィルター処理部１０１が構築される。フィルター処理部１０１は、除外範囲算出器１０２と比較・判定器１０３とを有する。除外範囲算出器１０２は、関係式１０４および閾値ρから、第２存在確率Ｐｙの除外範囲を算出する。除外範囲算出器１０２は、算出した除外範囲を比較・判定器１０３に出力する。

比較・判定器１０３は、除外範囲算出器１０２からの除外範囲と、症例画像ＤＢサーバ１６からの症例画像２１に付された第２存在確率Ｐｙとを比較する。比較・判定器１０３は、第２存在確率Ｐｙが除外範囲である症例画像２１を、類似度算出部６３で類似度Ｓを算出する候補から除外する。具体的には、比較・判定器１０３は、第２存在確率Ｐｙが除外範囲である症例画像２１の画像ＩＤ等の情報を判定結果として類似度算出部６３に出力する。類似度算出部６３は、比較・判定器１０３からの判定結果に基づいて、第２存在確率Ｐｙが除外範囲である症例画像２１を除外して類似度Ｓを算出する。

除外範囲算出部１０２に与える関係式１０４は、例えば以下に示すものである。

併存確率Ｐｘｙと非併存確率ＮＰｘｙの差分ＮＰｘｙ−Ｐｘｙは、検査画像１９と症例画像２１の非類似性を示す。式（５）に示すように、この差分が閾値ρよりも大きい場合、つまり検査画像１９と症例画像２１の非類似性が比較的高い場合、類似度Ｓを算出するまでもなく検査画像１９と症例画像２１の類似性が低いと判断することができる。
ＮＰｘｙ−Ｐｘｙ＞ρ・・・（５）

式（５）に、式（２−Ａ）および式（３−Ａ）を代入し、第２存在確率Ｐｙについて解くと、次式（６）となる。
Ｐｙ＞（ρ−Ｐｘ）／（１−３Ｐｘ）・・・（６）

式（６）はＰｘ＝１／３のとき不定となり、Ｐｘ＜１／３のとき右辺の分母が正、Ｐｘ＞１／３のとき右辺の分母が負となるので、Ｐｘ＜１／３のときとＰｘ＞１／３のときとで場合分けして、次式（７−Ａ）、（７−Ｂ）とする。
Ｐｘ＜１／３の場合、Ｐｙ＞（ρ−Ｐｘ）／（１−３Ｐｘ）・・・（７−Ａ）
Ｐｘ＞１／３の場合、Ｐｙ＜（ρ−Ｐｘ）／（１−３Ｐｘ）・・・（７−Ｂ）
これらの式（７−Ａ）、（７−Ｂ）を関係式１０４として採用する。

除外範囲算出部１０２は、式（７−Ａ）、（７−Ｂ）に閾値ρと第１存在確率Ｐｘの値を代入することで除外範囲を求める。閾値ρは予め設定されているか、入力デバイス５０を介して入力される。第１存在確率Ｐｘは確率算出部６２から与えられる。例えば、閾値ρ＝０．６、第１存在確率Ｐｘ＝０．８（Ｐｘ＞１／３の場合に該当）の場合、式（７−Ｂ）より、第２存在確率Ｐｙの除外範囲は以下となる。
Ｐｙ＜（０．６−０．８）／（１−３・０．８）≒０．１４３
この場合、比較・判定器１０３は、第２存在確率Ｐｙが０．１４３より低い症例画像２１を類似度Ｓの算出候補から除外する。

また、閾値ρ＝０．６、第１存在確率Ｐｘ＝０．１（Ｐｘ＜１／３の場合に該当）の場合、式（７−Ａ）より、第２存在確率Ｐｙの除外範囲は以下となる。
Ｐｙ＞（０．６−０．１）／（１−３・０．１）≒０．７１４
この場合、比較・判定器１０３は、第２存在確率Ｐｙが０．７１４より高い症例画像２１を類似度Ｓの算出候補から除外する。

なお、図示は省略するが、除外範囲算出器１０２および比較・判定器１０３は、各特徴量算出器６１Ａ〜６１Ｈ、各併存確率算出器８０Ａ〜８０Ｈ、各非併存確率算出器８１Ａ〜８１Ｈ、各比算出器８２Ａ〜８２Ｈと同様に、複数種類の病変に対応して複数設けられている。除外範囲算出部１０２は、各種病変のパターンに対応する第２存在確率ＰｙＡ、ＰｙＢ、ＰｙＣ、・・・の除外範囲を算出し、比較・判定器１０３は、各種病変のパターンに対応する除外範囲と、各種病変のパターンに対応する第２存在確率ＰｙＡ、ＰｙＢ、ＰｙＣ、・・・とを比較する。比較・判定器１０３は、各種病変のパターンに対応する第２存在確率ＰｙＡ、ＰｙＢ、ＰｙＣ、・・・が、１つでも除外範囲であった場合、その症例画像２１を類似度Ｓの算出候補から除外する。

除外範囲算出部１０２に与える関係式１０４は１種類であり、代入する第１存在確率Ｐｘの値が病変のパターンの種類に応じて異なるだけである。また、閾値ρは病変のパターンの種類に関わらず同じ値でもよいし、病変のパターンの種類に応じて変更してもよい。

第２存在確率Ｐｙが除外範囲である症例画像２１を、類似度Ｓの算出候補から除外するので、類似度Ｓの算出処理を高速化することができる。

式（５）に式（２−Ａ）および式（３−Ａ）を代入して求めた式（７−Ａ）、（７−Ｂ）を関係式１０４として除外範囲算出器１０２に与えているが、式（５）に式（２−Ｂ）および式（３−Ｂ）、（３−Ｃ）を代入して求めた関係式を除外範囲算出器１０２に与えてもよい。また、単純に第１存在確率Ｐｘと第２存在確率Ｐｙの差分の絶対値｜Ｐｘ−Ｐｙ｜に対して除外範囲を設定してもよい。例えば、｜Ｐｘ−Ｐｙ｜＞０．５を満たす第２存在確率Ｐｙの症例画像２１を類似度Ｓの算出候補から除外する。

上記各実施形態では、本発明の類似画像検索装置を、診療科端末１２からの類似画像の取得要求に基づいて類似画像検索を行う類似画像検索サーバ１７の形態で説明したが、類似画像検索サーバ１７を廃して、診療科端末１２に類似画像検索装置の機能を担わせてもよい。この場合、診療科端末１２のＣＰＵに、要求受付部６０以外の上記各部６１〜６５を構築し、診療科端末１２が症例画像ＤＢサーバ１６等にアクセスして類似画像の検索処理を行う。

検査画像ＤＢサーバ１５、症例画像ＤＢサーバ１６、および類似画像検索サーバ１７は、上記各実施形態のように別々のサーバで構成してもよいし、１つのサーバに統合してもよい。

コンピュータシステムのハードウェア構成は種々の変形が可能である。例えば、類似画像検索サーバ１７を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。具体的には、特徴量算出部６１と確率算出部６２と類似度算出部６３を３台のサーバコンピュータに分散して担わせる。このように、コンピュータシステムのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、類似画像検索プログラム５２等のアプリケーションプログラムについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

上記各実施形態では、医療施設に構築された医療情報システム２を例示し、類似画像検索サーバ１７を１つの医療施設内で利用する形態で説明したが、類似画像検索サーバ１７を複数の医療施設が利用可能な形態としてもよい。

上記各実施形態では、類似画像検索サーバ１７は、１つの医療施設内に設置される診療科端末１２等のクライアント端末がＬＡＮを介して通信可能に接続され、クライアント端末からの要求に応じて類似画像検索というアプリケーションサービスを提供する形態である。これを複数の医療施設で利用可能とするためには、類似画像検索サーバ１７を、例えば、インターネットや公衆通信網等のＷＡＮ（Wide Area Network）を介して、複数の医療施設に設置される各クライアント端末と通信可能に接続する。そして、複数の医療施設の各クライアント端末からの要求を、インターネットや公衆通信網等のＷＡＮを介して類似画像検索サーバ１７で受け付けて、各クライアント端末に対して類似画像検索のアプリケーションサービスを提供する。なお、ＷＡＮを利用する場合には、情報セキュリティを考慮して、ＶＰＮ（Virtual Private Network）を構築したり、ＨＴＴＰＳ（Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルを使用することが好ましい。

この場合の類似画像検索サーバ１７の設置場所および運営主体は、例えば医療施設とは別の会社が運営するデータセンタでもよいし、複数の医療施設のうちの１つでもよい。

本発明は、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。例えば、類似画像の取得要求に検索画像として含まれる検査画像１９は、１つでもよいし複数でもよい。複数の場合は検査画像１９毎に領域情報２５が添付される。

関心領域ＲＯＩは、１つの検査画像１９や症例画像２１に対して複数指定してもよい。この場合は指定された複数の関心領域ＲＯＩに対して各特徴量Ｚｘ、Ｚｙ、各存在確率Ｐｘ、Ｐｙ、および類似度Ｓがそれぞれ算出され、検索結果も複数の関心領域ＲＯＩ毎に区別して出力される。また、関心領域ＲＯＩは、上記各実施形態のように医師が手動で指定してもよいし、検査画像１９を画像解析して関心領域ＲＯＩを自動的に指定してもよい。

さらに、検査画像としては超音波プローブや電子内視鏡、マンモグラフィーといった他のモダリティで撮影したものでもよい。

上記各実施形態では、類似画像検索サーバ１７で検査画像１９の全体画像と領域情報２５を含む類似画像の取得要求を受け付けているが、検査画像１９の全体画像と領域情報２５の代わりに、検査画像１９の関心領域ＲＯＩを切り出したＲＯＩ画像を含む類似画像の取得要求を診療科端末１２から類似画像検索サーバ１７に送信してもよい。この場合は領域情報２５を類似画像の取得要求に含める必要はない。このように、検索画像は、検査画像１９の全体画像でもよいし、検査画像１９の一部の領域を切り出した画像でもよい。

上記各実施形態では、検索画像として検査画像１９、事例画像として症例画像２１、パターンとして病変のパターンを例示しているが、本発明はこれに限定されない。検索画像および事例画像は、デジタルカメラで撮影した画像等の任意の画像でよいし、パターンは顔のパーツ等の任意のパターンでよい。

上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。

１７ 類似画像検索サーバ（類似画像検索装置）
１９ 検査画像
２１ 症例画像
４７ ＣＰＵ
５２ 類似画像検索プログラム
６１ 特徴量算出部
６２ 確率算出部
６３ 類似度算出部
６４ 検索結果出力部
６６ 計算式
６７ リスト
８０ 併存確率算出器
８１ 非併存確率算出器
８２ 比算出器
８３ 乗算器
１００ フィルター処理部
１０２ 除外範囲算出器
１０３ 比較・判定器
１０４ 関係式
Ｚｘ 特徴量
Ｐｘ 第１存在確率
Ｐｙ 第２存在確率
Ｓ 類似度
Ｐｘｙ 併存確率
ＮＰｘｙ 非併存確率

Claims (21)

1. 複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索装置において、
   前記検索画像を解析して、予め登録されたパターンに対応する特徴量を算出する特徴量算出部と、
   前記特徴量算出部で算出した前記特徴量に基づいて、前記検索画像内に前記パターンが存在する第１存在確率を統計的な手法により算出する確率算出部と、
   前記確率算出部で算出した前記第１存在確率と、前記複数の事例画像について算出された、前記事例画像内に前記パターンが存在する第２存在確率とに基づいて、前記検索画像と前記複数の事例画像のそれぞれとの類似度を算出する類似度算出部とを備えることを特徴とする類似画像検索装置。
2. 前記確率算出部は、人間が視覚的に判断した学習用画像内の前記パターンの有無と前記特徴量の関係に基づいて、前記統計的な手法により予め作成した、前記特徴量を変数として前記第１存在確率を求める計算式を用いることを特徴する請求項１に記載の類似画像検索装置。
3. 前記類似度算出部は、前記第１存在確率および前記第２存在確率に基づいて、前記パターンが前記事例画像および前記検索画像の両方に存在する併存確率、または前記パターンが前記事例画像および前記検索画像のうちの一方にのみ独立して存在する非併存確率のうちの少なくとも１つを算出することを特徴とする請求項１または２に記載の類似画像検索装置。
4. 前記類似度算出部は、前記併存確率、または前記非併存確率を前記類似度として算出し、
   前記併存確率が高いほど前記事例画像と前記検索画像の類似性が高いと判断、または前記非併存確率が高いほど前記事例画像と前記検索画像の類似性が低いと判断することを特徴とする請求項３に記載の類似画像検索装置。
5. 前記類似度算出部は、前記併存確率と前記非併存確率の比を前記類似度として算出し、
   前記比が高いほど前記事例画像と前記検索画像の類似性が高いと判断することを特徴とする請求項３に記載の類似画像検索装置。
6. 前記パターンは複数種類あり、
   前記類似度算出部は、複数種類の前記パターンの各々の前記併存確率、または前記非併存確率を算出し、
   算出した前記併存確率の総乗または前記併存確率の対数の総和、もしくは前記非併存確率の総乗または前記非併存確率の対数の総和を前記類似度として算出し、
   前記併存確率の総乗または前記併存確率の対数の総和が高いほど前記事例画像と前記検索画像の類似性が高いと判断、または前記非併存確率の総乗または前記非併存確率の対数の総和が高いほど前記事例画像と前記検索画像の類似性が低いと判断することを特徴とする請求項３に記載の類似画像検索装置。
7. 前記パターンは複数種類あり、
   前記類似度算出部は、複数種類の前記パターンの各々の前記併存確率と前記非併存確率の比を算出し、
   算出した前記比の総乗または前記比の対数の総和を前記類似度として算出し、
   前記比の総乗または前記比の対数の総和が高いほど前記事例画像と前記検索画像の類似性が高いと判断することを特徴とする請求項３に記載の類似画像検索装置。
8. 前記第１存在確率をＰｘ、前記第２存在確率をＰｙ、前記併存確率をＰｘｙとした場合、
   Ｐｘｙ＝Ｐｘ×Ｐｙ
   であることを特徴とする請求項３ないし７のいずれか１項に記載の類似画像検索装置。
9. 前記第１存在確率をＰｘ、前記第２存在確率をＰｙ、前記非併存確率をＮＰｘｙとした場合、
   ＮＰｘｙ＝Ｐｘ×（１−Ｐｙ）＋（１−Ｐｘ）×Ｐｙ
   であることを特徴とする請求項３ないし８のいずれか１項に記載の類似画像検索装置。
10. 前記第１存在確率をＰｘ、前記第２存在確率をＰｙ、Ｐｘ、Ｐｙのうちの最小値をmin（Ｐｘ、Ｐｙ）、前記併存確率をＰｘｙとした場合、
    Ｐｘｙ＝Ｐｘ×min（Ｐｘ、Ｐｙ）
    であることを特徴とする請求項３ないし７のいずれか１項に記載の類似画像検索装置。
11. 前記第１存在確率をＰｘ、前記第２存在確率をＰｙ、Ｐｘ、Ｐｙのうちの最小値をmin（Ｐｘ、Ｐｙ）、Ｐｘ、Ｐｙのうちの最大値をmax（Ｐｘ、Ｐｙ）、前記非併存確率をＮＰｘｙとした場合、
    Ｐｘ＞０．５の場合、ＮＰｘｙ＝Ｐｘ×{１−min（Ｐｘ、Ｐｙ）}＋（１−Ｐｘ）×Ｐｙ、
    Ｐｘ≦０．５の場合、ＮＰｘｙ＝Ｐｘ×（１−Ｐｙ）＋（１−Ｐｘ）×max（Ｐｘ、Ｐｙ）
    であることを特徴とする請求項３ないし７、１０のいずれか１項に記載の類似画像検索装置。
12. 前記第２存在確率の除外範囲と前記第２存在確率とを比較し、前記第２存在確率が前記除外範囲である前記事例画像を、前記類似度算出部で前記類似度を算出する候補から除外するフィルター処理部を備えることを特徴とする請求項１ないし１１のいずれか１項に記載の類似画像検索装置。
13. 前記フィルター処理部は、前記第１存在確率を変数とする、前記第１存在確率と前記第２存在確率の関係式から前記除外範囲を算出することを特徴とする請求項１２に記載の類似画像検索装置。
14. 前記特徴量算出部は、前記検索画像の一部の領域の前記特徴量を算出することを特徴とする請求項１ないし１３のいずれか１項に記載の類似画像検索装置。
15. 前記特徴量算出部は、前記事例画像の特徴量も算出することを特徴とする請求項１ないし１４のいずれか１項に記載の類似画像検索装置。
16. 前記確率算出部は、前記第２存在確率も算出することを特徴とする請求項１ないし１５のいずれか１項に記載の類似画像検索装置。
17. 前記類似画像の検索結果として、前記類似画像と前記類似度の組を出力する検索結果出力部を備えることを特徴とする請求項１ないし１６のいずれか１項に記載の類似画像検索装置。
18. 前記検索結果出力部は、複数の前記類似画像と前記類似度の組を前記類似度順にソートしたリストを出力することを特徴とする請求項１７に記載の類似画像検索装置。
19. 前記検索画像は患者の診断に用いる検査画像であり、前記事例画像は過去に診断に利用された前記検査画像である症例画像であり、前記パターンは前記患者の疾患の症状を表す病変のパターンであることを特徴とする請求項１ないし１８のいずれか１項に記載の類似画像検索装置。
20. 複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索装置の作動方法において、
    特徴量算出部により、前記検索画像を解析して、予め登録されたパターンに対応する特徴量を算出する特徴量算出ステップと、
    確率算出部により、前記特徴量算出ステップで算出した前記特徴量に基づいて、前記検索画像内に前記パターンが存在する第１存在確率を統計的な手法により算出する確率算出ステップと、
    類似度算出部により、前記確率算出ステップで算出した前記第１存在確率と、前記複数の事例画像について算出された、前記事例画像内に前記パターンが存在する第２存在確率とに基づいて、前記検索画像と前記複数の事例画像のそれぞれとの類似度を算出する類似度算出ステップとを備えることを特徴とする類似画像検索装置の作動方法。
21. 複数の事例画像の中から検索画像に類似する類似画像を検索する類似画像検索プログラムにおいて、
    前記検索画像を解析して、予め登録されたパターンに対応する特徴量を算出する特徴量算出機能と、
    前記特徴量算出機能で算出した前記特徴量に基づいて、前記検索画像内に前記パターンが存在する第１存在確率を統計的な手法により算出する確率算出機能と、
    前記確率算出機能で算出した前記第１存在確率と、前記複数の事例画像について算出された、前記事例画像内に前記パターンが存在する第２存在確率とに基づいて、前記検索画像と前記複数の事例画像のそれぞれとの類似度を算出する類似度算出機能とを、コンピュータに実行させることを特徴とする類似画像検索プログラム。

Images