JP2007286945A - 類似画像検索装置および方法並びにプログラム - Google Patents

Abstract

【課題】診断対象の画像に類似した症例を見ることができるという利益と、撮影モダリティが異なる画像を読影して診断の信頼性を高めることができるという利益を同時に得る。
【解決手段】同じ被写体を表す撮影モダリティが異なる複数の画像の入力を受け付け、これら複数の画像に対して特徴量を算出し、一方、症例データベースに記憶されている、上記被写体と同種の同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットについて、症例画像セットを構成する画像のうち上記複数の画像と撮影モダリティが同じである画像に対して特徴量を取得し、上記複数の画像に係る特徴量と症例画像セットに係る特徴量とを比較して、総合的な類似度を算出し、この総合的な類似度が高い順に上位所定数内の画像セットを症例データベースから検索して検索結果を出力する。
【選択図】図１

Description

本発明は、処理対象の画像と類似している画像を検索する類似画像検索装置および方法並びにそのためのプログラムに関するものである。

従来、被写体のＸ線画像やＣＴ画像等を読影してその被写体を診断する画像診断が種々の分野で行われている。画像診断では、読影者の経験が浅かったり経験があっても診断対象が珍しい症例であったりすると、適正な診断が難しい場合がある。このような問題を解消するには、例えば、過去の症例の中で診断対象の画像に類似した画像の症例を参照しながら診断することが有効であると考えられる。

そこで、診断対象の画像に類似した画像の過去の症例を参照しながら診断できるように、過去に診断された画像とそのときの診断結果や所見等が含まれる診断レポートとが多数保存されている症例データベースの中から、診断対象の画像に類似した画像とその診断レポートを検索し、その検索結果を表示する方法が本出願人により提案されている（特許文献１，２）。
特開２００５−０６５７２８号公報 特開２００４−００５３６４号公報

ところで、最近では、同じ被写体の同一部分を含む、撮影に用いられた撮影装置（撮影モダリティ）が異なる複数の画像、例えば、ＣＴ画像とＭＲＩ画像とを同時に読影することにより、その被写体の症状の絞込みが可能になり、診断の信頼性を向上させることができるという考え方があり、例えば、特開２００３−０００５７５号公報では、マンモグラム（乳房の放射線画像）と超音波画像（エコー）からなる撮影モダリティが異なる２種類の画像を用いて腫瘍の良悪性の判断を行う方法が開示されている。

しかしながら、上記の、診断対象となる画像に類似した過去の症例に係る画像を検索してその検索結果を表示する方法は、単一の撮影モダリティの画像を検索する方法であり、撮影モダリティが異なる複数の画像を検索するという考え方はなかった。すなわち、上記の検索方法は、診断対象となる画像に類似する症例を見ることで診断の信頼性を高めることができるという利益は得られるものの、この利益と、撮影モダリティが異なる画像を読影することにより診断の信頼性を高めることができるという利益とを同時に得ることができないという問題がある。

本発明は、上記事情に鑑み、診断対象となる画像に類似した過去の症例に係る類似画像を見ることができるという利益と、撮影モダリティが異なる画像を読影することにより診断の信頼性を高めることができるという利益を同時に得ることができる類似画像検索装置および方法並びにそのためのプログラムを提供することを目的とするものである。

本発明の類似画像検索装置は、被写体を第１の撮影装置で撮影して得られた画像と同被写体を第２の撮影装置で撮影して得られた画像とを含む画像セットを多数記憶する画像データベースと、前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、前記第１および第２の画像に対する特徴量を算出して取得する第１の特徴量取得手段と、前記画像データベースに記憶されている画像セット毎に、該画像セットのうち前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記第１および第２の画像と前記画像データベースに記憶されている画像セットの画像との間の総合的な類似度を、該画像セット毎に算出する類似度算出手段と、前記データベースに記憶されている多数の画像セットの中から、前記総合的な類似度が高い順に上位所定数に含まれる画像セットを類似画像セットとして検索する検索手段と、該検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とするものである。

本発明の類似画像検索装置において、前記類似度算出手段は、前記第１および第２の画像からなる画像セットと前記画像データベースに記憶されている画像セットとの間で撮影に用いられた撮影装置が同じである画像同士の組合せ毎に、該組合せを構成する両画像における特徴量を互いに比較して該両画像間の類似度を算出する撮影装置別類似度算出手段と、前記組合せ毎に算出された類似度からなる複数の類似度を用いて、前記総合的な類似度を算出する総合類似度算出手段とを備えたものであってもよい。

また、本発明の類似画像検索装置において、前記類似度算出手段は、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とをそれぞれ１つのベクトルで表現し、該ベクトル間の差異の大小に基づいて、前記総合的な類似度を算出するものであってもよい。

本発明の類似画像検索装置において、前記画像データベースに記憶されている画像セットに関連する診断データを記憶している診断データベースをさらに備え、前記検索手段を、前記検索された類似画像セットに関連する前記診断データを前記診断データベースの中から検索するものとし、前記出力手段を、該検索された診断データを、関連する前記類似画像セットとともに前記検索結果情報として出力するものとしてもよい。

なお、前記診断データは、疾患名、治療方針、所見、患者名、担当医師名、撮影日時、経過観察情報、診断情報、確定診断情報のうちいずれか１つ以上とすることができる。

本発明の類似画像検索装置において、前記第１の画像および／または前記第２の画像上で関心領域を設定する関心領域設定手段をさらに備え、前記第１の特徴量取得手段を、前記設定された関心領域の画像の特徴量を算出するものとしてもよい。

また、本発明の類似画像検索装置において、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段をさらに備え、前記関心領域設定手段を、前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段とからなるものとし、前記第１の特徴量取得手段を、前記第１および第２の画像上の関心領域の画像の特徴量を算出するものとしてもよい。

本発明の類似画像検索方法は、被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力ステップと、前記第１および第２の画像に対する特徴量を算出して取得する第１の特徴量取得ステップと、前記被写体と同種の被写体を第１の撮影装置で撮影して得られた画像と同被写体を第２の撮影装置で撮影して得られた画像とを含む画像セットを多数記憶する画像データベース中の画像セット毎に、該画像セットのうち前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得ステップと、前記第１の特徴量取得ステップにより取得された特徴量と、前記第２の特徴量取得ステップにより取得された特徴量とを比較して、前記第１および第２の画像と前記画像データベースに記憶されている画像セットの画像との間の総合的な類似度を、該画像セット毎に算出する類似度算出ステップと、前記データベースに記憶されている多数の画像セットの中から、前記総合的な類似度が高い順に上位所定数に含まれる画像セットを類似画像セットとして検索する検索ステップと、該検索ステップによる検索結果を表す検索結果情報を出力する出力ステップとを有することを特徴とするものである。

本発明のプログラムは、コンピュータを、被写体を第１の撮影装置で撮影して得られた画像と同被写体を第２の撮影装置で撮影して得られた画像とを含む画像セットを多数記憶する画像データベースと、前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、前記第１および第２の画像に対する特徴量を算出して取得する第１の特徴量取得手段と、前記画像データベースに記憶されている画像セット毎に、該画像セットのうち前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記第１および第２の画像と前記画像データベースに記憶されている画像セットの画像との間の総合的な類似度を、該画像セット毎に算出する類似度算出手段と、前記データベースに記憶されている多数の画像セットの中から、前記総合的な類似度が高い順に上位所定数に含まれる画像セットを類似画像セットとして検索する検索手段と、該検索手段による検索結果を表す検索結果情報を出力する出力手段として機能させることにより、該コンピュータを類似画像検索装置として機能させることを特徴とするものである。

画像データベースおよび診断データベースは、それぞれ単一のデータベースである必要はなく、複数のデータベースであってもよい。例えば、単一の施設内に存在する複数のデータベースからなるものであってもよいし、ネットワークを介して接続可能な複数の異なる施設に散在する複数のデータベースであってもよい。すなわち、各施設に存在するデータベース内の画像や診断データを共有化して利用する形態を含むものである。

また、データベースに記憶されている画像セットは、同一の場所にセットとして記憶されている必要はなく、被写体や診断の別に基づいて対応付けされて記憶されていれば、異なる場所に散在して記憶されていてもよい。

出力手段により出力される検索結果情報とは、検索された画像セットそのものや検索された画像セットを特定するデータファイル名等を意味するものである。

ここで、特徴量とは、例えば、画像中に表れている陰影の、形状、大きさ、濃淡パターン特性、位置、方向、数や、画像全体の濃淡パターン特性、構造物（肺、心臓など）の形状や大きさなどを表す指標値のほか、検出された異常陰影の悪性度合い等を判断するために用いられる指標値（例えば、腫瘤陰影の場合には、円形度、輪郭のエッジ情報、領域の濃度ヒストグラム情報など；特開平９-１６７２３８号公報参照）など、画像データに基づいて類似性を判定することが可能な種々のものを意味するものである。なお、画像に関心領域が設定されている場合には、その関心領域の画像中に表れている陰影の、形状、大きさ、濃淡パターン特性等を表す指標値も前記特徴量に含まれる。

本発明の類似画像検索装置および方法によれば、同じ被写体を表す撮影モダリティが異なる複数の画像の入力を受け付け、これら複数の画像に対して特徴量を算出し、一方、データベースに記憶されている、上記被写体と同種の同じ被写体を表す撮影モダリティが異なる複数の画像を含む画像セットについて、この画像セットを構成する画像のうち上記複数の画像と撮影モダリティが同じである画像に対して特徴量を取得し、上記複数の画像に係る特徴量とデータベースに記憶されている画像セットに係る特徴量とを比較して、総合的な類似度を算出し、この総合的な類似度が高い順に上位所定数内の画像セットをデータベースから検索し、その検索結果を出力するようにしているので、過去の症例に係る多数の画像セットの中から、診断の対象となる撮影モダリティが異なる複数の画像に類似した画像セットを検索して出力することができ、診断対象となる画像に類似した過去の症例に係る類似画像を見ることができるという利益と、撮影モダリティが異なる画像を読影することにより診断の信頼性を高めることができるという利益を同時に得ることができる。

また、診断対象となる画像に類似する画像を、画像単位で検索するのではなく、画像セット単位で検索するので、画像の特徴はそれぞれ類似するが画像同士の関連性が薄い複数の画像が類似画像として検索されるといったことがなく、診断上意味のある画像が検索される。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態による類似画像検索システムの構成を示すブロック図である。この類似画像検索システムは、同じ被写体である同一患者の同一部位を種類の異なる撮影装置で撮影して得られた、撮影モダリティが異なる複数の医用画像のセットが検索対象として入力されると、撮影モダリティがこの画像のセットと同じであって画像等の特徴が類似する類似画像セットとその類似画像セットに関連する診断データとをデータベースから検索し、その検索結果を出力するものである。なお、ここでは、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。

本実施形態による類似画像検索システムは、過去の症例に係る、同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットと当該症例画像セットに関連する診断データとを多数記憶する症例データベース１０と、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を検索対象として受け付ける画像入力部（画像入力手段）２０と、画像Ｓ１，Ｓ２の間で互いに被写体を位置合せして画像間の対応位置関係Ｂ１２を取得する画像位置合せ部（位置合せ手段）３０と、画像Ｓ１またはＳ２の一方の画像上で関心領域（ＲＯＩ）を指定する関心領域指定部（関心領域指定手段）４０と、上記一方の画像上の関心領域に対応する他方の画像上の領域をこの他方の画像上の関心領域として、対応位置関係Ｂ１２に基づいて決定する対応関心領域決定部（対応関心領域決定手段）５０と、画像Ｓ１，Ｓ２の画像全体および関心領域の画像に対する特徴量を算出して取得する第１の特徴量取得部（第１の特徴量取得手段）６０と、症例画像セットを構成する画像のうち撮影モダリティが画像Ｓ１，Ｓ２と同じである画像に対する特徴量を取得する第２の特徴量取得部（第２の特徴量取得手段）７０と、画像Ｓ１，Ｓ２からなる画像セットＳＳに係る特徴量と症例画像セットに係る特徴量とを比較して、両画像セット間の総合的な類似度ＬＴを算出する類似度算出部（類似度算出手段）８０と、症例データベース１０から上記総合的な類似度ＬＴが高い順に上位所定数に含まれる症例画像セットとその診断データを検索する検索部（検索手段）９０と、検索部９０による検索結果を表す検索結果情報を出力する出力部（出力手段）１００と、出力部１００により出力された検索結果情報をモニタ画面上に表示する表示部１１０とを備える。

症例データベース１０は、同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットを多数記憶する画像データベース１１と、各症例画像セットに関連する診断データを記憶している診断データベース１２から構成されている。

画像データベース１１には、同じ被写体をＣＴ撮影装置、ＭＲＩ撮影装置、ＰＥＴ撮影装置、Ｘ線撮影装置等により撮影して得られた、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、単純Ｘ線画像等からなる一連の画像であって過去に診断されたものである症例画像セットが被写体毎や診断毎に多数記憶されている。なお、これら症例画像セットを構成する画像には、過去の診断時に行われた処理によって得られた処理結果情報が添付されている。この処理結果情報には、その画像に対して算出された種々の特徴量や画像上で設定された関心領域の位置の情報、その関心領域の画像に対して算出された特徴量等が含まれる。

また、診断データベース１２には、画像データベース１１に記憶されている各症例画像セットに関連する診断データが、各症例画像セットと関連付けられた状態で記憶されている。この診断データには、疾患名、診断情報、確定診断情報、治療方針、所見、担当医師名、撮影日時、経過観察情報等、診断に関する種々のデータが含まれる。なお、この診断データベース１２を構築する際には、診断データ、特に診断情報や確定診断情報を手動で登録して診断データベースに記憶させるようにしてもよいし、ＰＡＣＳや電子カルテのデータを自動的に収集する形態で記憶させるようにしてもよい。

画像入力部２０は、検索対象の画像となる、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を受け付けるものであり、ここでは一例として、同一患者の同一部位を表すＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の入力を受け付けるものとする。

画像位置合せ部３０は、図２に示すように、ＣＴ撮影装置で撮影して得られた画像の標準的な濃度分布を表すＣＴ用標準濃度分布モデル画像Ｍ１（第１の標準濃度分布モデル画像）を記憶する第１の標準濃度分布モデル画像記憶部３１と、ＭＲＩ撮影装置で撮影して得られた画像の標準的な濃度分布を表すＭＲＩ用標準濃度分布モデル画像Ｍ２（第２の標準濃度分布モデル画像）を記憶する第２の標準濃度分布モデル画像記憶部３２と、ＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２間で、対応する解剖学的構造物の対応位置ＢＭ１２を記憶するモデル画像間対応位置記憶部３３と、ＣＴ画像Ｓ１とＣＴ用標準濃度分布モデル画像Ｍ１との間で、対応する解剖学的構造物を位置合せして第１の対応位置ＢＳ１を取得する第１の位置合せ部３４と、ＭＲＩ画像Ｓ２とＭＲＩ用標準濃度分布モデル画像Ｍ２間で、対応する解剖学的構造物を位置合せして第２の対応位置ＢＳ２を取得する第２の位置合せ部３５と、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２間の解剖学的構造物の対応位置Ｂ１２を、ＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２間の対応位置ＢＭ１２と第１の対応位置ＢＳ１と第２の対応位置ＢＳ２とから求める対応位置取得部３６とから構成される。

ＣＴ画像Ｓ１、ＭＲＩ画像Ｓ２、ＣＴ用標準濃度分布モデル画像Ｍ１、ＭＲＩ用標準濃度分布モデル画像Ｍ２は、多数のボクセルデータからなるボリュームデータであり、ボクセルデータごとに濃度値の情報を保持し、骨や臓器などの解剖学的構造物がボクセルデータの濃淡で表わされる。

標準濃度分布モデル画像は、過去撮影された多数のＣＴ画像やＭＲＩ画像に基づいて、健常者が標準的な体型で内臓などの組織が標準的な大きさや位置に存在する解剖学的な構造物を、標準的な濃度値の分布で表したモデル画像である。撮影されたモダリティによって各画像に現れる濃度値も異なるため、ＣＴ撮影装置で撮影した際に画像上に表れる標準的な濃度値で表したＣＴ用標準濃度分布モデル画像Ｍ１と、ＭＲＩ撮影装置で撮影した際に画像上に表れる標準的な濃度値で表したＭＲＩ用標準濃度分布モデル画像Ｍ２を用意する。

これらの標準濃度分布モデル画像は、過去撮影された多数の画像から、各臓器の平均的な位置や濃度値を取得することが可能である。また、標準濃度分布モデル画像に含まれる各ボクセルデータがどの解剖学的構造物（骨、内臓、脂肪など）に属するかがわかるように生成されたモデル画像が好ましい。例えば、ＣＴ用標準度分布モデル画像Ｍ１（CT_Model）に座標値（ｘ，ｙ，ｚ）を与えると、下式(1)、(2)に表すように濃度値や組織名がわかるように第１の標準濃度分布モデル画像記憶部３１に記憶する。

濃度値 CT_Model_intensity(x,y,z) ＝ 100 (1)
組織名 CT_Model_tissue(x,y,z) ＝ 肝臓 (2)
同様に、ＭＲＩ用標準濃度分布モデル画像Ｍ２（MRI_Model）に座標値（ｘ，ｙ，ｚ）を与えると、下式(3)、(4)に表すように濃度値や組織名がわかるように第２の標準濃度分布モデル画像記憶部３２に記憶する。

濃度値 MRI_Model_intensity(x',y',z') ＝ 80 (3)
組織名 MRI_Model_tissue(x',y',z') ＝ 肝臓 (4)
モデル画像間対応位置記憶部３３には、予めＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２の解剖学的構造物の対応位置ＢＭ１２を、各ボクセルデータごとに対応させて記憶する。つまり、下式(5)で表されるような関係を予め求めておく。

CT_Model(x,y,z) ＝ MRI_Model(x',y',z') (5)
この対応位置は手動で求めておいてもよい。

ここで、画像位置合せ部３０による位置合せ方法について説明する。

まず、第１の位置合せ部３４で、ＣＴ画像S1とＣＴ用標準濃度分布モデル画像Ｍ１との位置合せを行い、第１の対応位置ＢＳ１を取得する。同一の撮影モダリティで撮影された画像は、画像上に写った臓器や組織などの解剖学的構造物の濃度分布が似ているため、異なる撮影モダリティで撮影された画像の位置合せよりも精度のよい位置合せができる。

例えば、ＣＴ画像Ｓ１の画素値に基づいて体表を認識して、第１の標準度分布モデル画像記憶部３１に記憶されているＣＴ用標準濃度分布モデル画像Ｍ１の体表の形状が略一致するように、ワーピングなどの手法を用いて位置合せを行い、第１の対応位置ＢＳ１を取得する。

このようにして、ＣＴ画像Ｓ１（CT_Data）とＣＴ用標準濃度分布モデル画像Ｍ１との間については、下式(6)のような第１の対応位置ＢＳ１が得られる。

CT_Model(x1,y1,z1) ＝ CT_Data(x,y,z) (6)
同様にして、第２の位置合せ部３５で、ＭＲＩ画像Ｓ２（MRI_Data）と第２の標準濃度分布モデル画像記憶部３２に記憶されているＭＲＩ用標準濃度分布モデル画像Ｍ２とを位置合せして、下式(7)のような第２の対応位置ＢＳ２を得る。

MRI_Model(x2,y2,z2) ＝ MRI_Data(x',y',z') (7)
対応位置取得部３６は、上式(5),(6),(7)からＣＴ画像Ｓ１の座標値（ｘ，ｙ，ｚ）と対応するＭＲＩ画像Ｓ２の座標値（ｘ'，ｙ'，ｚ'）を得ることができる。これを全てのボクセルデータについて求めることにより、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の位置合せを行い、これらの画像間の対応位置関係Ｂ１２を得る。

関心領域指定部４０は、検索対象のＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２上で関心領域を指定するものであり、オペレータが、表示部１１０のモニタ画面上に表示された画像を見ながらその画像上で、例えば病変と疑われるような部分を、マウス等の不図示の位置指示手段を用いて指定する。

対応関心領域決定部５０は、関心領域指定部４０によりＣＴ画像Ｓ１またはＭＲＩ画像の一方の画像上で関心領域が指定されると、その一方の画像上の関心領域に対応する他方の画像上の領域をその他方の画像上の関心領域として、画像位置合せ部３０により取得されたＣＴ画像Ｓ１とＭＲＩ画像Ｓ２間の対応位置関係Ｂ１２に基づいて決定するものであり、例えば、ＣＴ画像Ｓ１上に関心領域Ｒ１が指定された場合には、この関心領域Ｒ１に相当する被写体部分と同じ被写体部分を表すＭＲＩ画像Ｓ２上の領域が自動的に関心領域Ｒ２として決定される。

一般的に、オペレータは、診断対象の画像の中で病変と疑われる部分を見つけた場合には、その部分を関心領域として指定し、その関心領域の画像の特徴量を用いて類似度を算出させたいと考える場合が想定され、診断対象となる画像が複数ある場合には、それら複数の画像上の同じ被写体部分をそれぞれ関心領域として設定することが考えられる。このような場合、上述のように１回の指定だけで複数の画像上の同じ被写体部分がそれぞれ関心領域として設定されれば、オペレータへの負担が軽減される。

第１の特徴量取得部６０は、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２に対する特徴量Ｃ１を算出して取得するものであり、この特徴量としては、例えば、画像中に表れている陰影の、形状、大きさ、濃淡パターン特性、位置、方向、数や、画像全体の濃淡パターン特性、構造物（肺、心臓など）の形状や大きさなどを表す指標値等が挙げられる。なお、ＣＴ画像Ｓ１上に関心領域Ｒ１が設定されている場合や、ＭＲＩ画像Ｓ２上に関心領域Ｒ２が設定されている場合には、それら関心領域の画像中に表れている陰影の、形状、大きさ、濃淡パターン特性等を表す指標値も特徴量として算出する。

第２の特徴量取得部７０は、症例画像セットを構成する画像のうち撮影モダリティがＣＴ画像Ｓ１、ＭＲＩ画像Ｓ２と同じである画像、すなわち、撮影モダリティが「ＣＴ撮影装置」「ＭＲＩ撮影装置」である画像に対する特徴量Ｃ２を取得するものであり、症例画像セットを構成する画像に添付された処理結果情報の中に、その画像に対して既に算出された種々の特徴量や画像上で設定された関心領域の画像に対して算出された特徴量等が含まれているときには、それらの特徴量を読み込んで取得し、このような特徴量が含まれていないときには、新たに特徴量を算出して取得するものである。

類似度算出部８０は、第１の特徴量取得部６０により取得された特徴量、すなわち、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量Ｃ１と、第２の特徴量取得部７０により取得された特徴量、すなわち、症例画像セットに係る特徴量Ｃ２とを比較して、両画像セット間の総合的な類似度ＬＴを算出するものであり、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２からなる画像セットＳＳと症例画像セットとの間で撮影モダリティが同じである画像同士の組合せ毎に、当該組合せを構成する両画像における特徴量を互いに比較して当該両画像間の類似度Ｌ１，Ｌ２を算出するモダリティ別類似度算出部（撮影装置別類似度算出手段）８１と、上記組合せ毎に算出された類似度Ｌ１，Ｌ２からなる複数の類似度を用いて、総合的な類似度ＬＴを算出する総合類似度算出部（総合類似度算出手段）８２から構成されている。

モダリティ別類似度算出部８１は、具体的には、画像セットＳＳと症例画像セットとの間において、撮影モダリティが「ＣＴ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出し、また、撮影モダリティが「ＭＲＩ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出するものである。ここで、類似度の算出方法としては公知である種々の方法が考えられるが、例えば、２つの画像について取得された各特徴量群を多次元の特徴量空間上の点で表し、この２点間のユークリッド距離が小さいほど類似度が高くなり、逆にこの距離が大きいほど類似度が小さくなるような所定の式により類似度を算出する方法が考えられる。

また、総合類似度算出部８２は、例えば、モダリティ別類似度算出部８１により算出された類似度Ｌ１とＬ２を所定の重み係数を用いて加算したり、積をとったりすることにより、画像セットＳＳと症例画像セットとの間の総合的な類似度ＬＴを算出するものである。

検索部９０は、画像データベース１１に記憶されている多数の症例画像セットのうち上記総合的な類似度ＬＴが高い順に上位所定数に含まれる症例画像セットを類似画像セットＬＳとして画像データベース１１の中から検索するとともに、その類似画像セットに関連する診断データを診断データベース１２の中から検索するものである。なお、ここでは、検索部９０は、総合的な類似度ＬＴが高い順に上位４つに含まれる症例画像セットを類似画像セットＬＳとして検索するものとする。

次に、以上のように構成された本実施形態の類似画像検索システムの作用について説明する。図３は、本実施形態による類似画像検索システムにおける処理フローを示す図である。

まず、画像入力部２０が、診断対象となる、ある被写体のＣＴ画像Ｓ１と同じ被写体のＭＲＩ画像Ｓ２の入力を受け付け、表示部１１０がこれらのＣＴ画像Ｓ１とＭＲＩ画像Ｓ２をモニタ画面上に表示する（ステップＳＴ１）。

図４は、診断対象となる、ある被写体の胸部のＣＴ画像Ｓ１と同じ被写体の胸部のＭＲＩ画像Ｓ２を示したものである。ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２の左肺部分には腫瘤陰影と疑われる円形の陰影Ｑが表れている。

そして、画像位置合せ部３０が、上述の処理により、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の間でその被写体の位置合せを行ってＣＴ画像Ｓ１，ＭＲＩ画像Ｓ２間の対応位置関係Ｂ１２を取得する（ステップＳＴ２）。

ここで、オペレータが、表示部１１０のモニタ画面上に表示されているＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２の一方の画像に対し、病変部と疑われる領域を指定すると、関心領域指定部４０が、その指定された領域をその一方の画像上の関心領域として設定し（ステップＳＴ３）、対応関心領域決定部５０が、対応位置関係Ｂ１２に基づいて、その一方の画像上で指定された領域に対応する他方の画像上の領域をその他方の画像上の関心領域として決定する（ステップＳＴ４）。

図５は、オペレータが、ＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２の一方の画像上で病変部と疑われる陰影Ｑを囲む領域を関心領域として指定し、他方の画像上にも対応する領域が関心領域として指定された様子を示したものであり、ＣＴ画像Ｓ１上に関心領域Ｒ１、ＭＲＩ画像Ｓ２上に関心領域Ｒ２がそれぞれ設定されている。

ここで、オペレータが、画面上に設けられた「類似画像検索ボタン」をクリックすると、第１の特徴量取得部６０が、ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２に対する特徴量と関心領域Ｒ１の画像および関心領域Ｒ２の画像に対する特徴量とを含む特徴量Ｃ１を算出して取得する（ステップＳＴ５）。

第１の特徴量取得部６０により、ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量が取得されると、第２の特徴量取得部７０が、画像データベース１１に記憶されている症例画像セット毎に、症例画像セットを構成する画像のうち撮影モダリティがＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２と同じである画像、すなわち、撮影モダリティが「ＣＴ撮影装置」「ＭＲＩ撮影装置」である画像を特定し、これらの画像に添付された処理結果情報の中に、その画像に対して既に算出された種々の特徴量や画像上で設定された関心領域の画像に対して算出された特徴量等が含まれているときには、それらの特徴量を読み込んで取得し、このような特徴量が含まれていないとき、あるいは取得したい特徴量が足りないときには必要な特徴量を新たに算出して、症例画像セットの特徴量Ｃ２を取得する（ステップＳＴ６）。

ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量Ｃ１と、画像データベース１１に記憶されている各症例画像セットに係る特徴量Ｃ２が取得されると、モダリティ別類似度算出部８１は、画像セットＳＳと各症例画像セットとの間において、撮影モダリティが「ＣＴ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出し、また、撮影モダリティが「ＭＲＩ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出する（ステップＳＴ７）。そして、総合類似度算出部８２は、各症例画像セットについて、モダリティ別類似度算出部８１により算出された類似度Ｌ１とＬ２を、所定の重み係数を用いて加算することにより、画像セットＳＳと症例画像セットとの間の総合的な類似度ＬＴを算出する（ステップＳＴ８）。

各症例画像セットに対する総合的な類似度ＬＴが算出されると、検索部９０は、画像データベース１１に記憶されている多数の症例画像セットのうち上記総合的な類似度ＬＴが高い順に上位４つに含まれる症例画像セットを類似画像セットＬＳとして画像データベース１１の中から検索するとともに、その類似画像セットＬＳに関連する診断データを診断データベース１２の中から検索する（ステップＳＴ９）。そして、出力部１００が、その検索結果を表す検索結果情報、例えば、その類似画像セットＬＳとそれに関連する診断データとを表すデータファイル名やその類似画像セットＬＳの画像データや診断データそのものを出力し（ステップＳＴ１０）、表示部１１０が、その類似画像セットＬＳの画像データとそれに関連する診断データとを表すデータファイル名をモニタ画面上に表示したり、その画像データが表す画像や診断データが表す診断情報等をモニタ画面上に表示したりする。

図６は、類似画像検索が行われた後の表示部１１０のモニタ画面の例を示すものである。モニタ画面上には、左上部にＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２、右上部に検索された４つの類似画像セットＬＳのサムネイル画像、左下部に類似画像セットＬＳのうち選択された１つの類似画像セットＬＳ１の拡大画像、右下部には拡大画像である類似画像セットのうち選択された画像に関連する診断データ（診断レポート）ＲＰＭ１がそれぞれ表示されている。

オペレータは、所望のサムネイル画像をクリックすることで、その画像の拡大画像を更新して表示させることができ、また、拡大表示された類似画像セットのうちいずれかの画像をクリックすると、その画像に対する診断レポートを更新して表示させることができる。

このように、本実施形態の類似画像検索システムによれば、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を受け付け、これら複数の画像Ｓ１，Ｓ２に対して特徴量を算出し、一方、画像データベース１１に記憶されている、上記被写体と同種の同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットについて、この症例画像セットを構成する画像のうち上記複数の画像と撮影モダリティが同じである画像に対して特徴量を取得し、上記複数の画像Ｓ１，Ｓ２に係る特徴量とデータベースに記憶されている症例画像セットに係る特徴量とを比較して、総合的な類似度ＬＴを算出し、この総合的な類似度ＴＬが高い順に上位所定数の症例画像セットを画像データベース１１から検索し、その検索結果を出力するようにしているので、過去の症例に係る多数の症例画像セットの中から、診断の対象となる撮影モダリティが異なる複数の画像Ｓ１，Ｓ２に類似した症例画像セットを検索して出力することができ、診断の際に参考となる過去の症例に係る類似画像を見ることができるという利益と、撮影モダリティの異なる画像を読影することにより診断の信頼性を高めることができるという利益を同時に得ることができる。

また、本実施形態によれば、診断対象となる画像Ｓ１，Ｓ２に類似する画像を、画像単位で検索するのではなく、画像セット単位で検索するので、画像の特徴はそれぞれ類似するが画像同士の関連性が薄い複数の画像が類似画像として検索されるといったことがなく、診断上意味のある画像が検索される。

また、本実施形態によれば、診断対象となる複数の画像Ｓ１，Ｓ２に類似した類似画像セットだけでなく、その類似画像セットに関連する診断データをも出力するようにしているので、医師等のオペレータが画像の読影時に診断に迷ったときに有効な診断支援情報を提供することができる。

なお、本実施形態では、説明を簡略化するために検索対象となる画像の撮影モダリティを、「ＣＴ撮影装置（単純）」と「ＭＲＩ撮影装置」の２種類として説明したが、撮影モダリティが「ＣＴ撮影装置（単純）」、「ＣＴ撮影装置（造影剤入り）」、「ＭＲＩ撮影装置」、「ＲＩ撮影装置」、「ＰＥＴ撮影装置」など３種類以上の場合であっても同様に類似画像検索を行うことができる。この場合、すべての撮影モダリティの画像を検索対象として検索してもよいし、そのうちの２種類以上の撮影モダリティの画像を検索対象として選択するようにしてもよい。また、検索して得られた類似画像セットＬＳについては、検索に用いた撮影モダリティの画像のみを画面に表示するようにしてもよいし、類似画像セットＬＳを構成するすべての画像を画面に表示するようにしてもよい。

また、本実施形態では、第１の特徴量取得部６０および第２の特徴量取得部７０は、予め決められた所定の種類の特徴量を取得することを想定しているが、例えば、複数の特徴量の種類のうち幾つかの種類を選択するための選択手段を備えるようにし、その選択手段により選択された種類の特徴量のみを取得するようにしてもよい。

また、本実施形態では、診断対象であるＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２上に関心領域を設定する際に一方の画像上の関心領域は手動で設定し、他方の画像上の関心領域は自動で設定するようにしているが、もちろん、いずれも手動で設定するようにしてもよいし、また、いずれか一方の画像上にのみ関心領域を設定するようにしてもよい。また、関心領域は、病変部を自動的に抽出する画像診断支援装置を用いて抽出された部分の領域をそのまま関心領域として設定できるようにしてもよい。

また、本実施形態では、類似度算出部８０が、撮影モダリティが同じ画像同士の組合せ毎に、その組合せを構成する各画像に対して取得された特徴量同士を比較して類似度を算出し、さらにその組合せ毎に算出された類似度から総合的な類似度ＬＴを算出するという２ステップでの算出を行っているが、例えば、第１の特徴量取得部６０により取得された、画像セットＳＳに係る特徴量とＣ１、第２の特徴量取得部７０により取得された、症例画像セットに係る特徴量Ｃ２とをそれぞれ１つのベクトルで表現し、当該ベクトル間の差異の大小に基づいて、上記の総合的な類似度ＬＴを算出するという一括での算出を行うようにしてもよい。

本実施形態による類似画像検索システムの構成図 画像位置合せ部３０の構成図 本実施形態による類似画像検索システムにおける処理フローを示す図 診断対象かつ検索対象となる、同じ被写体を表す撮影モダリティが異なる画像を示す図 検索対象となる２つの画像上で関心領域がそれぞれ設定された様子を示す図 検索結果の表示例を示す図

符号の説明

１０ 症例データベース
１１ 画像データベース
１２ 診断データベース
２０ 画像入力部
３０ 画像位置合せ部
３１ 第１の標準濃度分布モデル画像記憶部
３２ 第２の標準濃度分布モデル画像記憶部
３３ モデル画像間対応位置記憶部
３４ 第１の位置合せ部
３５ 第２の位置合せ部
３６ 対応位置取得部
４０ 関心領域指定部
５０ 対応関心領域決定部
６０ 第１の特徴量取得部
７０ 第２の特徴量取得部
８０ 類似度算出部
８１ モダリティ別類似度算出部
８２ 総合類似度算出部
９０ 検索部
１００ 出力部
１１０ 表示部

Claims (9)

1. 被写体を第１の撮影装置で撮影して得られた画像と同被写体を第２の撮影装置で撮影して得られた画像とを含む画像セットを多数記憶する画像データベースと、
   前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、
   前記第１および第２の画像に対する特徴量を算出して取得する第１の特徴量取得手段と、
   前記画像データベースに記憶されている画像セット毎に、該画像セットのうち前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、
   前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記第１および第２の画像と前記画像データベースに記憶されている画像セットの画像との間の総合的な類似度を、該画像セット毎に算出する類似度算出手段と、
   前記データベースに記憶されている多数の画像セットの中から、前記総合的な類似度が高い順に上位所定数に含まれる画像セットを類似画像セットとして検索する検索手段と、
   該検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とする類似画像検索装置。
2. 前記類似度算出手段が、
   前記第１および第２の画像からなる画像セットと前記画像データベースに記憶されている画像セットとの間で撮影に用いられた撮影装置が同じである画像同士の組合せ毎に、該組合せを構成する両画像における特徴量を互いに比較して該両画像間の類似度を算出する撮影装置別類似度算出手段と、
   前記組合せ毎に算出された類似度からなる複数の類似度を用いて、前記総合的な類似度を算出する総合類似度算出手段とを備えたものであることを特徴とする請求項１記載の類似画像検索装置。
3. 前記類似度算出手段が、
   前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とをそれぞれ１つのベクトルで表現し、該ベクトル間の差異の大小に基づいて、前記総合的な類似度を算出するものであることを特徴とする請求項１記載の類似画像検索装置。
4. 前記画像データベースに記憶されている画像セットに関連する診断データを記憶している診断データベースをさらに備え、
   前記検索手段が、前記検索された類似画像セットに関連する前記診断データを前記診断データベースの中から検索するものであり、
   前記出力手段が、該検索された診断データを、関連する前記類似画像セットとともに前記検索結果情報として出力するものであることを特徴とする請求項１、２または３記載の類似画像検索装置。
5. 前記診断データが、疾患名、治療方針、所見、患者名、担当医師名、撮影日時、経過観察情報、診断情報、確定診断情報のうちいずれか１つ以上であることを特徴とする請求項１から４いずれか記載の類似画像検索装置。
6. 前記第１の画像および／または前記第２の画像上で関心領域を設定する関心領域設定手段をさらに備え、
   前記第１の特徴量取得手段が、前記設定された関心領域の画像の特徴量を算出するものであることを特徴とする請求項１から５いずれか記載の類似画像検索装置。
7. 前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段をさらに備え、
   前記関心領域設定手段が、
   前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、
   前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段とからなり、
   前記第１の特徴量取得手段が、前記第１および第２の画像上の関心領域の画像の特徴量を算出するものであることを特徴とする請求項６記載の類似画像検索装置。
8. 被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力ステップと、
   前記第１および第２の画像に対する特徴量を算出して取得する第１の特徴量取得ステップと、
   前記被写体と同種の被写体を第１の撮影装置で撮影して得られた画像と同被写体を第２の撮影装置で撮影して得られた画像とを含む画像セットを多数記憶する画像データベース中の画像セット毎に、該画像セットのうち前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得ステップと、
   前記第１の特徴量取得ステップにより取得された特徴量と、前記第２の特徴量取得ステップにより取得された特徴量とを比較して、前記第１および第２の画像と前記画像データベースに記憶されている画像セットの画像との間の総合的な類似度を、該画像セット毎に算出する類似度算出ステップと、
   前記データベースに記憶されている多数の画像セットの中から、前記総合的な類似度が高い順に上位所定数に含まれる画像セットを類似画像セットとして検索する検索ステップと、
   該検索ステップによる検索結果を表す検索結果情報を出力する出力ステップとを有することを特徴とする類似画像検索方法。
9. コンピュータを、
   被写体を第１の撮影装置で撮影して得られた画像と同被写体を第２の撮影装置で撮影して得られた画像とを含む画像セットを多数記憶する画像データベースと、
   前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、
   前記第１および第２の画像に対する特徴量を算出して取得する第１の特徴量取得手段と、
   前記画像データベースに記憶されている画像セット毎に、該画像セットのうち前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、
   前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記第１および第２の画像と前記画像データベースに記憶されている画像セットの画像との間の総合的な類似度を、該画像セット毎に算出する類似度算出手段と、
   前記データベースに記憶されている多数の画像セットの中から、前記総合的な類似度が高い順に上位所定数に含まれる画像セットを類似画像セットとして検索する検索手段と、
   該検索手段による検索結果を表す検索結果情報を出力する出力手段として機能させることにより、該コンピュータを類似画像検索装置として機能させることを特徴とするプログラム。

Images