JP2013200590A - 類似画像検索装置、方法及びプログラム - Google Patents

Abstract

【課題】画像フォーマットや撮像モダリティが異なる医用画像間であっても類似画像検索を良好に行うことができるようにする。
【解決手段】画像解析部４２は、入力する診断画像を解析して注目領域の画像を抽出し、該注目領域の画像をデータベース５０に登録されている症例画像と同じダイナミックレンジの画像に変換する。特徴量変換部４４は、ダイナミックレンジ変換後の画像から画素値に関すると特徴量や形状に関する特徴量を算出する。類似画像検索部４６は、この算出した特徴量とデータベース５０に登録されている検索用の特徴量との比較に基づいて類似画像検索を行い、検索結果を表示部４８に表示させる。これにより、データベース５０に登録されている症例画像に対して診断画像のダイナミックレンジが異なっていたり、撮像モダリティの種類が異なっていても類似画像検索を可能にしている。
【選択図】 図３

Description

本発明は類似画像検索装置、方法及びプログラムに係り、特にデータベースに登録されている症例画像等の医用画像から所望の医用画像を検索する技術に関する。

特許文献１には、診断対象の画像に対して関心領域（ＲＯＩ）を設け、ＲＯＩの画像上の特徴が類似する類似画像とその類似画像の診断結果などの情報をデータベースから検索し表示する類似画像検索システムが記載されている。

特許文献２には、診断画像から注目領域を抽出し、注目領域の特徴量を用いて類似検索を行う３次元類似画像検索装置が記載されている。

特許文献３には、診断対象の画像を画像解析した情報と病状情報とに基づいてデータベースから類似する症例を検索する疾患候補情報出力システムが記載されている。

特許文献４及び５は、病変領域を自動抽出する手法の一例が記載されている。

特許文献６には、人体の位置関係（撮影方向）、あるいは撮影方向および撮影部位を認識する技術の一例が記載されている。

特許文献７及び８には、画像の輪郭・画素値などの特徴量に基づいて血管や臓器を認識する技術の一例が記載されている。

非特許文献１には、注目領域の位置情報をもとに領域を抽出する手法の例が記載されている。ユーザが位置を指定し、指定領域の輪郭を検出し、修正があればユーザが輪郭の補正を行うことで、高精度な領域抽出を数回の位置情報入力で得ることができる。

非特許文献２には、ＲＯＩの病変部の形状情報やテクスチャ情報を得る手法の例が記載されている。

特開２００４−５３６４号公報 特開２００１−１１７９３６号公報 特開２００３−３２５４５８号公報 特開２００５−１９８８８７号公報 特開２００５−２４６０３２号公報 特許３７６６０３３号公報 特開２００４−２３００８６号公報 特許２８４５９９５号公報

リー、ハラ、イトウ、シムラ「インタラクティブな病変分割のマシンラーニングアプローチ」、SPIE議事録第６５１２巻６５１２４６頁（２００７）（Y. Li, S. Hara, W. Ito, K. Shimura, "A Machine learning approach for interactive lesion segmentation", Proceedings of the SPIE, Volume 6512, pp 651246 (2007) クーツ、エドワーズ、テイラー、「動的見えモデル」、第５回計算機視覚欧州会議報、ドイツ、シュプリンガー、１９９８年、第２巻４８４−４９８頁（T. F. Coootes, G. J. Edwards, C. J. Taylor "Active Appearance Models", In Proc. 5th European Conference on Computer Vision, Springer)

診断対象の画像の所定の抽出領域の画像から算出した特徴量に基づいて類似する特徴量を有する症例画像等を検索（類似画像検索）する場合、診断対象の画像とこの画像に基づいて類似画像検索される画像との画像フォーマット、画像の種類が一致していないと、類似画像検索ができないか、精度の高い類似画像検索ができないという問題がある。

例えば、Ｘ線ＣＴ装置により撮像されたオリジナルのＣＴ画像は、その画素値がＣＴ値（１６ビット：−１０００〜２０００）で表されており、一方、ディスプレイに表示されるＣＴ画像は、その画素値として表示用の濃度値（８ビット：０〜２５５）で表されている。従って、表示用に変換されたＣＴ画像を診断対象の画像として、データベースに登録されているオリジナルのＣＴ画像の中から類似する画像を検索する場合、両画像の画素値（画像のダイナミックレンジ）が大きく異なるため、同一疾患に対応する画像であっても特徴量が異なり、その結果、所望の類似画像検索ができないという問題が生じる。

同様に、撮像モダリティ（撮像装置の種類）が異なる画像（ＣＴ画像、ＭＲＩ画像、Ｘ線画像、超音波画像、内視鏡画像、病理画像など）間でも、適正な類似画像検索ができないという問題がある。

特許文献１等には、ＣＴ画像、ＭＲＩ画像に関する記載があるが、上記の課題を示す記載がない。

本発明はこのような事情に鑑みてなされたもので、画像フォーマットや撮像モダリティが異なる医用画像間であっても類似画像検索を良好に行うことができる類似画像検索装置、方法及びプログラムを提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る類似画像検索装置は、オリジナルの第１の医用画像と、第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースと、第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得手段と、第２の医用画像から所要の注目領域の画像を抽出する抽出手段と、抽出手段により抽出された第２の医用画像を第１の医用画像と同じ評価基準の画像に変換する画像変換手段と、画像変換手段により変換された注目領域の画像から画像の特徴量を算出する第１の特徴量算出手段と、第１の特徴量算出手段により算出された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索手段と、を備えている。

本発明の一の態様によれば、診断対象の第２の医用画像から抽出した注目領域の画像を、データベースに登録されている第１の医用画像と同じ評価基準の画像に変換した後、画像の特徴量を算出し、この算出した特徴量とデータベースに登録されている検索用の特徴量との比較に基づいて類似画像検索を行うようにしたため、データベースに登録されている第１の医用画像に対して診断対象の第２の医用画像の画像のダイナミックレンジが異なっていたり、撮像装置の種類が異なっていても類似画像検索を行うことが可能になる。

本発明の他の態様に類似画像検装置は、オリジナルの第１の医用画像と、第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースと、第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得手段と、第２の医用画像を第１の医用画像と同じ評価基準の画像に変換する画像変換手段と、画像変換手段により変換された第２の医用画像から所要の注目領域の画像を抽出する抽出手段と、抽出手段により抽出された注目領域の画像から画像の特徴量を算出する第１の特徴量算出手段と、第１の特徴量算出手段により算出された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索手段と、を備えている。

本発明の他の態様は、本発明の一の態様とは抽出手段と画像変換手段の処理の順番が逆になっているが、その他は同一の構成となっている。

本発明の更に他の態様に係る類似画像検索装置において、第１の医用画像はＣＴ値からなる画像であり、第２の医用画像は表示用の濃度値からなる画像であり、画像変換手段は、表示用の濃度値からなる画像をＣＴ値からなる画像に変換するようにしている。

本発明の更に他の態様に係る類似画像検索装置において、第２の医用画像は表示用の濃度値からなるＣＴ画像であって、ＣＴ値のウインドウ中心及びウインドウ幅を示す付属情報、又はＣＴ値の画像から表示用の濃度値の画像への変換時の変換テーブルを有し、画像変換手段は、付属情報又は変換テーブルに基づいて表示用の濃度値からなるＣＴ画像をＣＴ値からなる画像に変換するようにしている。

本発明の更に他の態様に係る類似画像検索装置において、表示用の濃度値からなる画像のうち空気、水、脂肪、及び骨などのＣＴ値が安定した２以上の部位の濃度値を、ユーザが画像から指定する手動指定手段又は解剖学的位置から自動的に部位を推定することにより指定する自動指定手段を備え、画像変換手段は、指定された２以上の部位の濃度値が、部位に対応するＣＴ値となるように表示用の濃度値からなる画像をＣＴ値からなる画像に変換することが好ましい。

本発明の更に他の態様に係る類似画像検索装置において、第１の特徴量算出手段は、注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量と注目領域の形状に関する特徴量とを算出することが好ましい。

本発明の更に他の態様に係る類似画像検索装置において、注目領域の画像の画素値に関する特徴量は、画像の画素値の平均値、最大値、最小値、輝度ヒストグラム、テクスチャのうちの少なくとも１つを含むことが好ましい。

本発明の更に他の態様に係る類似画像検索装置において、抽出手段により抽出された注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量であって画素値の大きさに依存しない特徴量と、注目領域の形状に関する特徴量とを算出する第２の特徴量算出手段を備え、検索手段は、第１の特徴量算出手段及び第２の特徴量算出手段のうちの少なくとも一方により算出された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索することが好ましい。例えば、第１の医用画像がＣＴ画像の場合には、部位毎のＸ線透過率に対応するＣＴ値を有するため、第１の特徴量算出手段により算出された特徴量を使用し、第１の医用画像がＭＲＩ画像の場合には、同一部位でも撮影条件により異なる画素値をもつため、第２の特徴量算出手段により算出された特徴量（画素値の大きさに影響を受けない特徴量）を使用する。

本発明の更に他の態様に係る類似画像検索装置において、第１の特徴量算出手段により算出された特徴量及び第２の特徴量算出手段により算出された特徴量のうちの一方の特徴量をユーザの選択指示により選択する選択手段を備え、検索手段は、選択手段により選択された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索することが好ましい。

本発明の更に他の態様に係る類似画像検索装置において、注目領域の画像の画素値に関する特徴量であって画素値の大きさに依存しない特徴量は、注目領域と周囲とのコントラスト、注目領域の画像の画素値の分散、偏差、テクスチャのうちの少なくとも１つを含むことが好ましい。

本発明の更に他の態様に係る類似画像検索装置において、注目領域の形状に関する特徴量は、注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、及び面積のうちの少なくとも１つを含むことが好ましい。

本発明の更に他の態様に係る類似画像検索方法は、オリジナルの第１の医用画像と、第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースを有し、第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得ステップと、第２の医用画像から所要の注目領域の画像を抽出する抽出ステップと、抽出ステップにより抽出された第２の医用画像を第１の医用画像と同じ評価基準の画像に変換する画像変換ステップと、画像変換ステップにより変換された注目領域の画像から画像の特徴量を算出する第１の特徴量算出ステップと、第１の特徴量算出ステップにより算出された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索ステップと、を含んでいる。

本発明の更に他の態様に係る類似画像検索方法は、オリジナルの第１の医用画像と、第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースを有し、第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得ステップと、第２の医用画像を第１の医用画像と同じ評価基準の画像に変換する画像変換ステップと、画像変換ステップにより変換された第２の医用画像から所要の注目領域の画像を抽出する抽出ステップと、抽出ステップにより抽出された注目領域の画像から該画像の特徴量を算出する第１の特徴量算出ステップと、第１の特徴量算出ステップにより算出された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索ステップと、を含んでいる。

本発明の更に他の態様に係る類似画像検索方法において、第１の医用画像はＣＴ値からなる画像であり、第２の医用画像は表示用の濃度値からなる画像であり、画像変換ステップは、表示用の濃度値からなる画像をＣＴ値からなる画像に変換するようにしている。

本発明の更に他の態様に係る類似画像検索方法において、第２の医用画像は表示用の濃度値からなるＣＴ画像であって、ＣＴ値のウインドウ中心及びウインドウ幅を示す付属情報、又はＣＴ値の画像から表示用の濃度値の画像への変換時の変換テーブルを有し、画像変換ステップは、付属情報又は変換テーブルに基づいて表示用の濃度値からなるＣＴ画像をＣＴ値からなる画像に変換するようにしている。

本発明の更に他の態様に係る類似画像検索方法において、表示用の濃度値からなる画像のうち空気、水、脂肪、及び骨などのＣＴ値が安定した２以上の部位の濃度値を、ユーザが画像から指定する手動指定ステップ又は解剖学的位置から自動的に部位を推定することにより指定する自動指定ステップを備え、画像変換ステップは、指定された２以上の部位の濃度値が、部位に対応するＣＴ値となるように表示用の濃度値からなる画像をＣＴ値からなる画像に変換することが好ましい。

本発明の更に他の態様に係る類似画像検索方法において、第１の特徴量算出ステップは、注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量と、注目領域の形状に関する特徴量とを算出することが好ましい。

本発明の更に他の態様に係る類似画像検索方法において、注目領域の画像の画素値に関する特徴量は、該画像の画素値の平均値、分散、最大値、最小値、輝度ヒストグラム、テクスチャのうちの少なくとも１つを含むことが好ましい。

本発明の更に他の態様に係る類似画像検索方法において、抽出ステップにより抽出された注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量であって画素値の大きさに依存しない特徴量と、注目領域の形状に関する特徴量とを算出する第２の特徴量算出ステップを備え、検索ステップは、第１の特徴量算出ステップ及び第２の特徴量算出ステップのうちの少なくとも一方により算出された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索することが好ましい。

本発明の更に他の態様に係る類似画像検索方法において、第１の特徴量算出ステップにより算出された特徴量及び第２の特徴量算出ステップにより算出された特徴量のうちの一方の特徴量をユーザの選択指示により選択する選択ステップを含み、検索ステップは、選択ステップにより選択された特徴量とデータベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索することが好ましい。

本発明の更に他の態様に係る類似画像検索方法において、注目領域の画像の画素値に関する特徴量であって画素値の大きさに依存しない特徴量は、注目領域と周囲とのコントラスト、注目領域の画像の画素値の分散、偏差、テクスチャのうちの少なくとも１つを含むことが好ましい。

本発明の更に他の態様に係る類似画像検索方法において、注目領域の形状に関する特徴量は、注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、及び面積のうちの少なくとも１つを含むことが好ましい。

請求項２３に係る類似画像検索プログラムは、請求項１から１１のいずれか１項に記載の類似画像検出装置を、コンピュータにより実現させることを特徴としている。

本発明によれば、診断対象の第２の医用画像から抽出した注目領域の画像を、データベースに登録されている第１の医用画像と同じ評価基準の画像に変換した後、該画像の特徴量を算出し、この算出した特徴量とデータベースに登録されている検索用の特徴量との比較に基づいて類似画像検索を行うようにしたため、データベースに登録されている第１の医用画像と診断対象の第２の医用画像とが、画像フォーマットや撮像モダリティの異なるものでも良好に類似画像検索を行うことができる。

本発明に係る類似画像検索装置の実施の形態を示すブロック図 データベースの構造の一例を示す図 本発明に係る類似画像検索装置における処理内容を示す機能ブロック図 ＣＴ値からなる画像におけるウインドウ中心WC、ウインドウ幅WWと、表示用の画素値との関係を示す図 表示用画像中の脂肪、水、骨領域などの各部位の画素値とＣＴ値との関係を示す図 データベースに登録される検索用の特徴量の一例を示す図 本発明に係る類似画像検索方法の処理手順を示すフローチャート 診断画像の種類と症例画像の種類との関係において、検索用の特徴量として特徴量Ａを使用するか、又は特徴量Ａ２を使用するかを示す図表

以下、添付図面に従って本発明に係る類似画像検索装置、方法及びプログラムの実施の形態について説明する。

＜装置構成＞
図１は本発明に係る類似画像検索装置の実施の形態を示すブロック図である。

この類似画像検索装置１は、主として読影医、臨床医等が操作する類似画像検索装置本体１０と、データベース５０と、これらを接続する院内ＬＡＮなどのネットワーク網６０とによって構成されている。尚、ネットワーク網６０には、Ｘ線ＣＴ装置７０、ＭＲＩ装置７２等の撮像モダリティが接続されている。

類似画像検索装置本体１０は、例えば、パーソナルコンピュータ（パソコン）によって構成されており、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）１２と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ１４と、液晶ディスプレイ、液晶ディスプレイ等のモニタ装置３０の表示を制御するグラフィックボード１６と、ネットワーク網６０と接続される通信インターフェース（通信Ｉ／Ｆ）１８と、パソコンのオペレーティングシステム（ＯＳ）、パソコンに接続された周辺機器のデバイスドライバ、本発明に係る類似画像検索プログラムを含む各種のアプリケーションソフト等が格納されるハードディスク装置２０と、ＣＤ−ＲＯＭドライブ２２と、キーボード３２のキー操作を検出して指示入力としてＣＰＵ１２に出力するキーボードコントローラ２４と、位置入力装置としてのマウス３４の状態を検出してモニタ装置３０上のマウスポインタの位置やマウス３４の状態等の信号をＣＰＵ１２に出力するマウスコントローラ２６とから構成されている。

尚、上記構成のパソコンは、ハードディスク装置２０に格納されている、本発明に係る類似画像検索プログラムを除いて周知のものであるため、各構成要素の詳細な説明については省略する。

データベース５０は、図２に示すように検索対象画像となるオリジナルのＣＴ画像、ＭＲＩ画像、表示用画像等の症例画像と検索用の特徴量情報とが関連づけられて登録されている。

症例画像は撮像モダリティ別に分類して登録したり、疾患別に分類されて登録されていてもよく、また確定診断された各疾患の症例画像に、読影医が作成した診断レポート等のテキストベースの診断情報が関連づけられて登録されていてもよい。

また、オリジナルのＣＴ画像は、人体の箇所のＸ線吸収値に基づいて算出されるＣＴ値を表す１６ビットの白黒（グレースケール）の画像であり、オリジナルのＭＲＩ画像は、プロトン密度等の測定値を表す１ピクセルあたり１０〜１６ビットの白黒の画像である。
一方、ネットワーク等を介して取得される表示用画像（オリジナル画像がないもの）は、８ビットの白黒の画像である。

検索用の特徴量情報は、症例画像の病変領域の画像から算出される特徴量の情報であり、病変領域の画素値（撮像モダリティでの測定値等）に関する特徴量と、病変領域の形状に関する特徴量の情報を含む。尚、これらの特徴量の詳細については後述する。

Ｘ線ＣＴ装置７０及びＭＲＩ装置７２は、被検体の体軸方向等に沿って連続した多数のスライス画像を撮影する。Ｘ線ＣＴ装置７０及びＭＲＩ装置７２によって撮影されたスライス画像群は、例えば、DICOM(Digital Image and Communication in Medicine)規格の画像ファイル（患者の識別情報（患者ＩＤ）、撮影日時等が記述されたヘッダー情報を有する画像ファイル）として、ネットワーク網６０を介してハードディスク装置２０又は図示しない院内データベースに格納される。

読影医や臨床医は、類似画像検索装置１を操作し、ハードディスク装置２０からスライス画像群を取得させ、診断対象のスライス画像をモニタ装置３０に表示させ、モニタ装置３０に表示された画像を読影し、読影レポートやカルテを作成する。このとき類似画像検索装置１は、診断対象のスライス画像の注目領域の画像に基づいてデータベース５０に登録された症例画像の中から類似画像を検索して提示し、画像診断支援を行う。

尚、図１に示した実施の形態では、類似画像検索装置本体１０とデータベース５０とはネットワーク網６０を介して接続されているが、これに限らず、類似画像検索装置本体１０とデータベース５０とは一体的に構成されたものでもよい。

＜類似画像検索＞
図３は本発明に係る類似画像検索装置１における処理内容を示す機能ブロック図である。

図３に示すように類似画像検索装置１は、入力部４０（画像取得手段）と、画像解析部４２（抽出手段）と、特徴量変換部４４（特徴量算出手段、画像変換手段）と、類似画像検索部４６（検索手段）と、表示部４８と、データベース５０とから構成されている。

入力部４０は、診断対象の画像データを入力する部分であり、図１のキーボード３２やマウス３４の操作により、通信Ｉ／Ｆ１８又はハードディスク装置２０から画像データを取得する部分に相当する。また、画像解析部４２、特徴量変換部４４及び類似画像検索部４６は、類似画像検索プログラムにしたがって各種の処理を行うＣＰＵ１２に相当し、表示部４８はモニタ装置３０に相当する。

入力部４０により入力した診断対象の画像データは、画像解析部４２に加えられる。

画像解析部４２では、画像データを画像解析情報として得、注目領域（異常陰影領域）の抽出、及び注目領域・領域の周囲・画像全体の位置解析を行う。

注目領域の抽出は、公知の画像の輪郭・画素値、位置情報などの特徴を利用した画像処理技術を使用して自動的又は半自動的に行われる（特許文献１〜３、特開２００９−１５３号公報参照）。

また、画像解析部４２は、注目領域・領域の周囲・画像全体の位置解析など、レポートを作成する上で必要な情報の解析を行う。例として、以下のものが挙げられる。

(a) 注目領域の撮像部位
撮像部位解析部における部位の認識処理の例としては、特許文献６のような画像の輪郭・画素値、人体の位置関係の特徴などを利用した公知の画像処理技術が適用できる。

(b) 注目領域周囲の血管、存在する臓器の認識
画像データに対し血管や臓器を認識する処理を行なう。処理の例としては、血管は特許文献７、臓器は特許文献８のような画像の輪郭・画素値、人体の位置関係の特徴などを利用した公知の画像処理技術が適用できる。

次に、特徴量変換部４４は、画像解析部４２により抽出された注目領域の画像（多種の画像）を一つの評価基準に変換する処理を行う。

［表示用の濃度値からなる画像(8bit)→ＣＴ値からなるＣＴ画像(16bit)］
診断対象の画像データが８ビットの表示用画像に変換されたＣＴ画像の場合、１６ビットのオリジナルのＣＴ画像と同一のダイナミックレンジに変換する。変換方法としては、以下の方法がある。

(a) オリジナルのＣＴ画像(16bit)から表示用画像(8bit)を作成する際の変換テーブル、又は図４に示すように表示用画像のＣＴ画像におけるウインドウ中心WC（Window center）、ウインドウ幅WW（Window Width）を表示用画像に関連づけて保存しておく。表示用画像のファイルのヘッダー情報として保存してもよい。

特徴量変換部４４は、上記の変換テーブル又はウインドウ中心WC、ウインドウ幅WWの情報を取得することができれば、8bitの表示用画像を16bitのＣＴ値からなるＣＴ画像に変換することができる。

(b) 図５に示すように表示用画像(8bit)中の空気領域、水、脂肪、骨領域など、ＣＴ値が安定した各部位の画素値から表示用の画素値とＣＴ値との変換特性を推定し、ＣＴ値からなるＣＴ画像に逆変換する。表示用画像の各部位の画素値は、ユーザが画像上で水、脂肪、骨領域等を指定することにより決定する方法と、解剖学的位置から部位を推定して決定する方法がある。部位を推定する例としては、血管は特許文献７、臓器は特許文献８のような画像の輪郭・画素値、人体の位置関係の特徴などを利用した公知の画像処理技術を適用することができる。

特徴量変換部４４は、上記のようにしてダイナミックレンジを変換した注目領域の画像に対して、各種の特徴量の算出を行う。また、入力した診断対象の画像データがオリジナルのＣＴ画像から作成された表示用画像以外の場合（例えば、オリジナルのＣＴ画像、ＭＲＩ画像、ＭＲＩ画像から作成された表示用画像などの場合）には、上記ダイナミックレンジ変換をせずに、抽出された注目領域の画像に対して、各種の特徴量の算出を行う。

特徴量変換部４４により算出される特徴量は、以下のものが考えられる。

(a)注目領域内の画素値の平均値、最大値、最小値、輝度ヒストグラム、コントラスト、分散、テクスチャといった画素値に関する特徴量や、注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、面積など形状に関する特徴量
(b) 非特許文献２の手法や各種フィルタ処理によって得られる、注目領域中の病変部の形状情報やテクスチャ情報
(c)ある特徴を判別する関数（あるいは閾値）の出力値。判別関数の設定方法は特に限定されるものではなく、例えば、ＳＶＭ（サポートベクターマシン）などの既知のデータ（学習データ）を利用した統計的手法（例えば、参考文献としてネロ・クリスティアニーニ、ジョン・テーラー著「サポートベクターマシン入門」共立出版などが挙げられる。）などの公知のクラス分類に使用される線形あるいは非線形の判別関数を用いることができる。

尚、特徴量変換部４４により算出される注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、面積などの形状に関する特徴量は、撮像モダリティへの依存が少ないため、このまま類似画像検索に使用することができる。

また、画素値を表す情報は、コントラスト（注目領域と周囲の濃度差）、分散（偏差）、テクスチャといった情報に変換し、モダリティごとに定められた平均、偏差によって正規化する。

所見に対応した情報は、リング状の変化、線構造の強度、石灰化、空洞など、各モダリティごとに設定された検出フィルタや、特徴を判別する関数（あるいは閾値）のスコアを用いても良い。判別関数の設定方法は特に限定されるものではなく、例えば、ＳＶＭ（サポートベクターマシン）などの既知のデータ（学習データ）を利用した統計的手法（例えば、参考文献としてネロ・クリスティアニーニ、ジョン・テーラー著「サポートベクターマシン入門」共立出版などが挙げられる。）などの公知のクラス分類に使用される線形あるいは非線形の判別関数を用いることができる。

モダリティごとに値の幅が異なるスコアの場合は、正規化を行う。

尚、注目領域の抽出は画像解析部４２ではなく、特徴量変換部４４における変換後のデータに対して行っても良い。即ち、最初に診断対象の画像データ全体を一つの評価基準に変換する処理を行い、その後、画像解析部４２により注目領域の抽出等を行うようにしてもよい。

類似画像検索部４６は、特徴量変換部４４により算出した特徴量と、データベース５０に登録された症例画像の病変領域の画像から算出された検索用の特徴量（特徴量変換部４４により算出した特徴量と同様にして算出された特徴量）との比較により類似度を計算し、症例画像を決定し、表示部４８に出力する。

ここで、データベース５０に登録される検索用の特徴量としては、例えば、図６に示すものが考えられる。図６は、検索用の特徴量Ａ（Ａ１，Ａ２）、Ｂを示している。これらの特徴量Ａ、Ｂは、例えばユニークな識別情報（ＵＩＤ）により症例画像と関連づけられている。

ここで、画素値に関する特徴量Ａのうち、注目領域内の画素値の平均値、最大値、最小値、輝度ヒストグラムなどの特徴量Ａ１は、画像フォーマット、撮像モダリティの違い依存する特徴量であり、コントラスト、分散（偏差）、テクスチャなどの特徴量Ａ２は、画像フォーマット、撮像モダリティの違い依存しない特徴量である。

一方、注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、面積などの形状に関する特徴量Ｂは、画像フォーマット、撮像モダリティの違いに依存しない特徴量である。

類似度の算出には、診断画像から算出された特徴量と検索用の特徴量との値の差分、特徴量空間上の最小二乗距離、マハラビノス距離など、公知の多値データの類似度計算方法を用いる。ある特徴の判別関数を特徴量に用いた場合は、同一の判別結果となった類似画像を絞り込む、優先するといった処理を行なっても良い。部位・位置情報などが同一の類似画像を絞り込む、優先するといった処理も行なって良い。

［類似画像検索方法］
図７は本発明に係る類似画像検索方法の処理手順を示すフローチャートであり、この処理は、類似画像検索プログラムを起動することによって実施される。

読影医は、類似画像検索装置本体１０のキーボード３２やマウス３４を操作し、患者名、撮影日時、撮影部位等を入力し、この入力した情報に基づいてハードディスク装置２０から所望の診断画像を読み出し、モニタ装置３０に表示させる（ステップＳ１０）。

画像解析部４２は、上記診断画像から注目領域の抽出、及び注目領域・領域の周囲・画像全体の位置解析を行い（ステップＳ１２）、注目領域における画素値に関する特徴量Ａ、形状に関する特徴量Ｂを算出する（ステップＳ１４、図６参照）。

尚、入力した診断画像がＣＴ画像から生成された表示用画像（8bit）の場合には、特徴量変換部４４は、前記抽出された注目領域の画像（表示用画像(8bit)）を、データベース５０に格納されているオリジナルのＣＴ画像と同一のダイナミックレンジになるように変換し、前記画像解析部４２は、ダイナミックレンジが変換された注目領域の画像に基づいてその画素値に関する特徴量Ａを算出する（ステップＳ１４）。

次に、入力した診断画像の種類と、データベース５０に登録されている症例画像の種類との関係において、図６に示した画素値に関する特徴量Ａのうち、検索用の特徴量として特徴量Ａ（Ａ１＋Ａ２）を使用するか、又は特徴量Ａ２を使用するかの選択が行われる（ステップＳ１６）。

図８は、診断画像の種類と症例画像の種類との関係において、検索用の特徴量として特徴量Ａを使用するか、又は特徴量Ａ２を使用するかを示す図表である。

図８に示すように、診断画像がオリジナルのＣＴ画像の場合には、データベース５０内の症例画像のうち、オリジナルのＣＴ画像、及びＣＴ画像から生成された表示用画像（ＣＴ）の症例画像に対しては、特徴量Ａを検索用の特徴量として選択し、他の画像（他のモダリティの画像）の症例画像に対しては、特徴量Ａ２を検索用の特徴量として選択する。

即ち、症例画像がオリジナルのＣＴ画像又は表示用画像（ＣＴ）の場合には、これらの画像に関連づけてデータベース５０に登録されている検索用の特徴量Ａ１は、画像フォーマット、撮像モダリティの違いに依存する特徴量であるが、上記の症例画像の場合には、撮像モダリティが同一（ＣＴ装置）であり、かつＤレンジも同一の画像データから算出されたものであるため、検索用の情報として使用することができる。

一方、他の画像（撮影モダリティが異なる症例画像）に関連づけて登録されている検索用の特徴量Ａ１と、診断画像（オリジナルのＣＴ画像）から算出した、モダリティ等の違いに依存する特徴量Ａ１とは、これらの特徴量Ａ１の比較により画像の類似度の判断ができないため、特徴量Ａ１は使用しないことにしている。即ち、画像フォーマット、撮像モダリティの違いに依存しない特徴量Ａ２のみを選択するようにしている。

図８に示すように診断画像が表示用画像（ＣＴ）の場合も、診断画像がオリジナルのＣＴ画像の場合と同じ特徴量の選択が行われる。

一方、診断画像がオリジナルのＭＲＩ画像の場合には、データベース５０内の症例画像のうち、オリジナルのＭＲＩ画像であって、撮影条件が同一の症例画像に対しては、特徴量Ａを検索用の特徴量として選択し、他の画像の症例画像に対しては、特徴量Ａ２を検索用の特徴量として選択する。

また、診断画像がＭＲＩ画像から生成された表示用画像（ＭＲＩ）の場合には、データベース５０内の症例画像のうち、表示用画像（ＭＲＩ）であって、撮影条件及びＤレンジが同一の症例画像に対しては、特徴量Ａを検索用の特徴量として選択し、他の画像の症例画像に対しては、特徴量Ａ２を検索用の特徴量として選択する。

図７に戻って、ステップＳ１６で選択された特徴量（Ａ又はＡ２）と、データベース５０に登録されている画素値に関する特徴量（Ａ又はＡ２）との比較により画素値に関する画像の類似度を計算する（ステップＳ１８）。

また、ステップＳ１４により算出した形状に関する特徴量Ｂと、データベース５０に登録されている形状に関する特徴量Ｂとの比較により形状に関する画像の類似度を計算する（ステップＳ２０）。尚、形状に関する特徴量Ｂは、モダリティ等の違いに依存しないため、全ての特徴量Ｂを類似画像検索に使用することができる。

そして、ステップＳ１８で算出した画素値に関する画像の類似度と、形状に関する画像の類似度とを統合した類似度を算出し、その算出結果に基づいて症例画像から診断画像の注目領域の画像と類似する画像を有する症例画像を検索する（ステップＳ２２）。

このように診断画像の注目領域の特徴量に基づいてデータベース５０に登録されている症例画像から類似画像（ＣＴ画像、ＭＲＩ画像）が検索される。このようにして検索された類似画像（症例画像）は、類似度の高い順にサムネイル画像として表示されるとともに、複数のサムネイル画像のうちの選択されたサムネイル画像に対応する本画像が表示部４８に表示され、更に表示されている本画像の症例画像に関連づけて登録されているテキストベースの診断情報も表示される（ステップＳ２４）。

また、表示部４８の画面等を利用して、図６に示した特徴量（Ａ，Ｂ）、又は特徴量（Ａ２，Ｂ）のうちのいずれか一方の特徴量を検索用の特徴量としてユーザが任意に選択できる選択手段を設けるようにしてもよい。特徴量（Ａ，Ｂ）を選択した場合には、検索範囲は狭くなるが、類似度の高い検索結果が得られる可能性があり、特徴量（Ａ２，Ｂ）を選択した場合には、特徴量（Ａ，Ｂ）で類似検索できる症例画像の他に、特徴量（Ａ，Ｂ）で類似検索できない症例画像も検索でき、検索範囲を広げることができる。

尚、この実施の形態では、データベースにＣＴ画像及びＭＲＩ画像が登録されている場合について説明したが、これに限らず、本発明は、他の撮像モダリティにより撮影されたＸ線画像、超音波画像、内視鏡画像、病理画像等が登録されている場合にも適用できる。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…類似画像検索装置、１０…類似画像検索装置本体、１２…ＣＰＵ（中央処理装置）、１４…主メモリ、１６…グラフィックボード、１８…通信インターフェース、２０…ハードディスク装置、２２…ＣＤ−ＲＯＭドライブ、２４…キーボードコントローラ、２６…マウスコントローラ、３０…モニタ装置、３２…キーボード、３４…マウス、４０…入力部、４２…画像解析部、４４…特徴量変換部、４６…類似画像検索部、４８…表示部、５０…データベース、７０…Ｘ線ＣＴ装置、７２…ＭＲＩ装置

Claims (23)

1. オリジナルの第１の医用画像と、該第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースと、
   前記第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得手段と、
   前記第２の医用画像から所要の注目領域の画像を抽出する抽出手段と、
   前記抽出手段により抽出された第２の医用画像を前記第１の医用画像と同じ評価基準の画像に変換する画像変換手段と、
   前記画像変換手段により変換された注目領域の画像から該画像の特徴量を算出する第１の特徴量算出手段と、
   前記第１の特徴量算出手段により算出された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索手段と、
   を備えた類似画像検索装置。
2. オリジナルの第１の医用画像と、該第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースと、
   前記第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得手段と、
   前記第２の医用画像を前記第１の医用画像と同じ評価基準の画像に変換する画像変換手段と、
   前記画像変換手段により変換された第２の医用画像から所要の注目領域の画像を抽出する抽出手段と、
   前記抽出手段により抽出された注目領域の画像から該画像の特徴量を算出する第１の特徴量算出手段と、
   前記第１の特徴量算出手段により算出された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索手段と、
   を備えた類似画像検索装置。
3. 前記第１の医用画像はＣＴ値からなる画像であり、前記第２の医用画像は表示用の濃度値からなる画像であり、
   前記画像変換手段は、前記表示用の濃度値からなる画像をＣＴ値からなる画像に変換する請求項１又は２に記載の類似画像検索装置。
4. 前記第２の医用画像は表示用の濃度値からなるＣＴ画像であって、ＣＴ値のウインドウ中心及びウインドウ幅を示す付属情報、又はＣＴ値の画像から表示用の濃度値の画像への変換時の変換テーブルを有し、
   前記画像変換手段は、前記付属情報又は変換テーブルに基づいて前記表示用の濃度値からなるＣＴ画像をＣＴ値からなる画像に変換する請求項３に記載の類似画像検索装置。
5. 前記表示用の濃度値からなる画像のうち空気、水、脂肪、及び骨などのＣＴ値が安定した２以上の部位の濃度値を、ユーザが画像から指定する手動指定手段又は解剖学的位置から自動的に前記部位を推定することにより指定する自動指定手段を備え、
   前記画像変換手段は、前記指定された２以上の部位の濃度値が、該部位に対応するＣＴ値となるように前記表示用の濃度値からなる画像をＣＴ値からなる画像に変換する請求項３又は４に記載の類似画像検索装置。
6. 前記第１の特徴量算出手段は、前記注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量と、注目領域の形状に関する特徴量とを算出する請求項１から５のいずれか１項に記載の類似画像検索装置。
7. 前記注目領域の画像の画素値に関する特徴量は、該画像の画素値の平均値、分散、最大値、最小値、輝度ヒストグラム、テクスチャのうちの少なくとも１つを含む請求項６に記載の類似画像検索装置。
8. 前記抽出手段により抽出された注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量であって該画素値の大きさに依存しない特徴量と、注目領域の形状に関する特徴量とを算出する第２の特徴量算出手段を備え、
   前記検索手段は、前記第１の特徴量算出手段及び前記第２の特徴量算出手段のうちの少なくとも一方により算出された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する請求項６又は７に記載の類似画像検索装置。
9. 前記第１の特徴量算出手段により算出された特徴量及び前記第２の特徴量算出手段により算出された特徴量のうちの一方の特徴量をユーザの選択指示により選択する選択手段を備え、
   前記検索手段は、前記選択手段により選択された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する請求項８に記載の類似画像検索装置。
10. 前記注目領域の画像の画素値に関する特徴量であって該画素値の大きさに依存しない特徴量は、前記注目領域と周囲とのコントラスト、前記注目領域の画像の画素値の分散、偏差及びテクスチャのうちの少なくとも１つを含む請求項８又は９に記載の類似画像検索装置。
11. 前記注目領域の形状に関する特徴量は、該注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、及び面積のうちの少なくとも１つを含む請求項６から１０のいずれか１項に記載の類似画像検索装置。
12. オリジナルの第１の医用画像と、該第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースを有し、
    前記第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得ステップと、
    前記第２の医用画像から所要の注目領域の画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出された第２の医用画像を前記第１の医用画像と同じ評価基準の画像に変換する画像変換ステップと、
    前記画像変換ステップにより変換された注目領域の画像から該画像の特徴量を算出する第１の特徴量算出ステップと、
    前記第１の特徴量算出ステップにより算出された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索ステップと、
    を含む類似画像検索方法。
13. オリジナルの第１の医用画像と、該第１の医用画像に含まれる所要の注目領域の画像に基づいて算出された検索用の特徴量とが関連づけられて登録されたデータベースを有し、
    前記第１の医用画像とは画像のダイナミックレンジ及び撮像装置の種類のうちの少なくとも一方が異なる診断対象の第２の医用画像を取得する画像取得ステップと、
    前記第２の医用画像を前記第１の医用画像と同じ評価基準の画像に変換する画像変換ステップと、
    前記画像変換ステップにより変換された第２の医用画像から所要の注目領域の画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出された注目領域の画像から該画像の特徴量を算出する第１の特徴量算出ステップと、
    前記第１の特徴量算出ステップにより算出された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する検索ステップと、
    を含む類似画像検索方法。
14. 前記第１の医用画像はＣＴ値からなる画像であり、前記第２の医用画像は表示用の濃度値からなる画像であり、
    前記画像変換ステップは、前記表示用の濃度値からなる画像をＣＴ値からなる画像に変換する請求項１２又は１３に記載の類似画像検索方法。
15. 前記第２の医用画像は表示用の濃度値からなるＣＴ画像であって、ＣＴ値のウインドウ中心及びウインドウ幅を示す付属情報、又はＣＴ値の画像から表示用の濃度値の画像への変換時の変換テーブルを有し、
    前記画像変換ステップは、前記付属情報又は変換テーブルに基づいて前記表示用の濃度値からなるＣＴ画像をＣＴ値からなる画像に変換する請求項１４に記載の類似画像検索方法。
16. 前記表示用の濃度値からなる画像のうち空気、水、脂肪、及び骨などのＣＴ値が安定した２以上の部位の濃度値を、ユーザが画像から指定する手動指定ステップ又は解剖学的位置から自動的に前記部位を推定することにより指定する自動指定ステップを備え、
    前記画像変換ステップは、前記指定された２以上の部位の濃度値が、該部位に対応するＣＴ値となるように前記表示用の濃度値からなる画像をＣＴ値からなる画像に変換する請求項１４又は１５に記載の類似画像検索方法。
17. 前記第１の特徴量算出ステップは、前記注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量と、注目領域の形状に関する特徴量とを算出する請求項１２から１６のいずれか１項に記載の類似画像検索方法。
18. 前記注目領域の画像の画素値に関する特徴量は、該画像の画素値の平均値、分散、最大値、最小値、輝度ヒストグラム、テクスチャのうちの少なくとも１つを含む請求項１６に記載の類似画像検索方法。
19. 前記抽出ステップにより抽出された注目領域の画像に基づいて注目領域の画像の画素値に関する特徴量であって該画素値の大きさに依存しない特徴量と、注目領域の形状に関する特徴量とを算出する第２の特徴量算出ステップを備え、
    前記検索ステップは、前記第１の特徴量算出ステップ及び前記第２の特徴量算出ステップのうちの少なくとも一方により算出された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する請求項１７又は１８に記載の類似画像検索方法。
20. 前記第１の特徴量算出ステップにより算出された特徴量及び前記第２の特徴量算出ステップにより算出された特徴量のうちの一方の特徴量をユーザの選択指示により選択する選択ステップを含み、
    前記検索ステップは、前記選択ステップにより選択された特徴量と前記データベースに登録された検索用の特徴量との比較に基づいて類似する第１の医用画像を検索する請求項１９に記載の類似画像検索方法。
21. 前記注目領域の画像の画素値に関する特徴量であって該画素値の大きさに依存しない特徴量は、前記注目領域と周囲とのコントラスト、前記注目領域の画像の画素値の分散、偏差、テクスチャのうちの少なくとも１つを含む請求項１９又は２０に記載の類似画像検索方法。
22. 前記注目領域の形状に関する特徴量は、該注目領域の解剖学的位置、輪郭の円形度、モーメント、半径、及び面積のうちの少なくとも１つを含む請求項１７から２１のいずれか１項に記載の類似画像検索方法。
23. 請求項１から１１のいずれか１項に記載の類似画像検索装置を、コンピュータにより実現させる類似画像検索プログラム。

Images