JP2017215876A - 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 - Google Patents
類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 Download PDFInfo
- Publication number
- JP2017215876A JP2017215876A JP2016110462A JP2016110462A JP2017215876A JP 2017215876 A JP2017215876 A JP 2017215876A JP 2016110462 A JP2016110462 A JP 2016110462A JP 2016110462 A JP2016110462 A JP 2016110462A JP 2017215876 A JP2017215876 A JP 2017215876A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- case
- query
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000009826 distribution Methods 0.000 claims description 127
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 238000003064 k means clustering Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 208000019693 Lung disease Diseases 0.000 claims description 8
- 239000013598 vector Substances 0.000 description 81
- 238000002591 computed tomography Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 12
- 239000005337 ground glass Substances 0.000 description 9
- 210000004072 lung Anatomy 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008595 infiltration Effects 0.000 description 5
- 238000001764 infiltration Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】特定の画像と類似する画像の検索精度を向上できる類似画像検索プログラムを提供することを目的とする。【解決手段】類似画像検索プログラムは、特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータに実行させる。【選択図】図１２
Description
本件は、類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置に関する。
医療分野において、Computed Tomography（ＣＴ）やMagnetic Resonance Imaging（ＭＲＩ）などによって撮影された特定の画像に基づいて、その特定の画像に類似する過去の症例を検索する技術が知られている（例えば特許文献１参照）。例えば、胸部のＣＴ画像を用いて、びまん性肺疾患に類似する過去の症例画像を検索する技術が知られている（例えば非特許文献１参照）。
尚、びまん性肺疾患とは、病変部分が肺の広範囲にわたって分布することにより肺の機能が損なわれる疾患である（例えば非特許文献２参照）。びまん性肺疾患を患った患者のＣＴ画像上には病変部分を表す異常な陰影が発生することが知られている。
山下洋平、外６名、「３次元胸部ＣＴ画像を用いたびまん性肺疾患に対する類似画像検索」、信学技報、一般社団法人電子情報通信学会、２０１４年１月、ＭＩ２０１３−１２５、ｐｐ.３６１−３６４
四方秀則、外１名、「テクスチャ解析とＳＶＭを用いた三次元胸部Ｘ線ＣＴ画像におけるびまん性肺疾患に起因する異常陰影のパターン分類」、電子情報通信学会論文誌Ｄ、一般社団法人電子情報通信学会、２００８年、Ｖｏｌ.Ｊ９１−Ｄ、Ｎｏ.７、ｐｐ.１８９５−１９０３
ところで、上述した異常な陰影はいくつかのカテゴリに分類される。例えば異常な陰影は浸潤影、すりガラス影、蜂巣影、嚢胞影、粒状影といったカテゴリに分類される。ここで、蜂巣影のように他の陰影に比べて比較的特徴がある陰影であれば、上述した技術により蜂巣影が発生している症例画像を精度良く検索することができる。
ところが、例えばすりガラス影と浸潤影はカテゴリ間の境界が明確ではないため、例えば浸潤影が発生しているＣＴ画像に基づいて、そのＣＴ画像に類似する症例画像を検索しても、すりガラス影が発生している症例画像が検索される場合がある。すなわち、異常な陰影がカテゴリ間の境界付近に存在するＣＴ画像に基づいて症例画像を検索すると、検索精度が低下するという問題がある。
そこで、１つの側面では、特定の画像と類似する画像の検索精度を向上できる類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置を提供することを目的とする。
本明細書に開示の類似画像検索プログラムは、特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータに実行させるための類似画像検索プログラムである。
本明細書に開示の類似画像検索方法は、特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータが実行する類似画像検索方法である。
本明細書に開示の類似画像検索装置は、特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定する特定手段と、前記特定手段が特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する出力手段と、を有する類似画像検索装置である。
本明細書に開示の類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置によれば、特定の画像と類似する画像の検索精度を向上することができる。
以下、本件を実施するための形態について図面を参照して説明する。
図１は類似画像検索システムＳの一例である。類似画像検索システムＳは特定の画像（以下、クエリ画像という）に基づいて、そのクエリ画像に類似する症例画像を検索するコンピュータシステムである。類似画像検索システムＳは、ＤＢサーバ１００、類似画像検索装置としての検索サーバ２００、及び端末装置３００を含んでいる。図１に示すモダリティ４００は類似画像検索システムＳの構成要素に含めてもよいし、含めなくてもよい。ＤＢサーバ１００及び検索サーバ２００としては、例えばサーバ装置が利用される。端末装置３００としては、例えばPersonal Computer（ＰＣ）やタブレット端末などが利用される。モダリティ４００としては、例えばＣＴ、ＭＲＩなどが利用される。
ＤＢサーバ１００、検索サーバ２００、端末装置３００、及びモダリティ４００は通信ネットワークＮＷを介して互いに接続されている。通信ネットワークＮＷとしては例えばLocal Area Network（ＬＡＮ）やインターネットなどがある。
ＤＢサーバ１００は患者の症例画像を記憶するデータベースである。詳細は後述するが、ＤＢサーバ１００は読影医による読影が完了し、診断が済んだ一又は複数の症例画像を記憶する。ＤＢサーバ１００は検索サーバ２００から送信された検索要求を受け付けると、検索要求に応じた症例画像を抽出し、抽出した症例画像を検索サーバ２００に送信する。
端末装置３００はモダリティ４００によって撮影された画像をクエリ画像としてモダリティ４００から取得する。尚、モダリティ４００からＤＢサーバ１００にクエリ画像を送信する設定がモダリティ４００になされている場合には、端末装置３００はＤＢサーバ１００からクエリ画像を取得してもよい。クエリ画像は読影医による読影がまだ行われていない診断前の画像である。すなわち、クエリ画像が診断対象になる。詳細は後述するが、端末装置３００はクエリ画像を表示し、所定の大きさを有する格子（例えばグリッド又はメッシュ）をクエリ画像に重畳して表示する。読影医は端末装置３００に表示されたクエリ画像から、クエリ画像の格子を表す局所領域（以下、クエリブロックという）を選択する。選択するクエリブロックの数は１ブロックでもよいし複数ブロックであってもよい。端末装置３００はクエリブロックの選択が完了したと判断すると、選択されたクエリブロック（以下、選択クエリブロックという）をクエリ画像と併せて検索サーバ２００に送信する。
検索サーバ２００はＤＢサーバ１００から症例画像を取得する。詳細は後述するが、検索サーバ２００は端末装置３００から送信された選択クエリブロックとクエリ画像などを利用して検索要求を生成し、ＤＢサーバ１００に検索要求を送信する。検索サーバ２００はクエリ画像に類似する症例画像をＤＢサーバ１００から取得すると、取得した検索結果としての症例画像を端末装置３００に送信する。端末装置３００は検索サーバ２００から送信された症例画像を受け付けると、受け付けた症例画像を表示する。読影医は端末装置３００に表示された症例画像を確認し、症例画像を利用してクエリ画像に出現する異常な陰影の診断を行う。クエリ画像に対する診断が完了すると、端末装置３００は診断後のクエリ画像をＤＢサーバ１００に送信する。ＤＢサーバ１００は端末装置３００から送信された診断後のクエリ画像を症例画像として記憶する。
次に、図２を参照して、検索サーバ２００のハードウェア構成について説明する。尚、上述したＤＢサーバ１００及び端末装置３００については基本的に検索サーバ２００と同様のハードウェア構成であるため、説明を省略する。
図２は検索サーバ２００のハードウェア構成の一例である。図２に示すように、検索サーバ２００は、少なくともCentral Processing Unit（ＣＰＵ）２００Ａ、Random Access Memory（ＲＡＭ）２００Ｂ、Read Only Memory（ＲＯＭ）２００Ｃ及びネットワークＩ／Ｆ（インタフェース）２００Ｄを含んでいる。検索サーバ２００は、必要に応じて、Hard Disk Drive（ＨＤＤ）２００Ｅ、入力Ｉ／Ｆ２００Ｆ、出力Ｉ／Ｆ２００Ｇ、入出力Ｉ／Ｆ２００Ｈ、ドライブ装置２００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ２００Ａからドライブ装置２００Ｉまでは、内部バス２００Ｊによって互いに接続されている。少なくともＣＰＵ２００ＡとＲＡＭ２００Ｂとが協働することによってコンピュータが実現される。
入力Ｉ／Ｆ２００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ２００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ２００Ｆ及び入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ２００Ｇは、例えばディスプレイポートを備えている。
出力Ｉ／Ｆ２００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ２００Ｆ及び入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ２００Ｇは、例えばディスプレイポートを備えている。
ドライブ装置２００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置２００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ２００Ｄは、例えばＬＡＮポートを備えている。ネットワークＩ／Ｆ２００Ｄは上述した通信ネットワークＮＷと接続される。
ネットワークＩ／Ｆ２００Ｄは、例えばＬＡＮポートを備えている。ネットワークＩ／Ｆ２００Ｄは上述した通信ネットワークＮＷと接続される。
上述したＲＡＭ２００Ｂには、ＲＯＭ２００ＣやＨＤＤ２００Ｅに記憶されたプログラムがＣＰＵ２００Ａによって格納される。ＲＡＭ２００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ２００Ａによって格納される。格納されたプログラムをＣＰＵ２００Ａが実行することにより、後述する各種の機能が実現され、また、後述する各種の処理が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
次に、図３から図６を参照して、ＤＢサーバ１００及び検索サーバ２００の機能について説明する。
図３はＤＢサーバ１００及び検索サーバ２００の機能ブロック図の一例である。図４は症例画像記憶部１１０の一例である。図５は特徴量情報記憶部２１０の一例である。図６は症例画像の一例である。図３に示すように、ＤＢサーバ１００は症例画像記憶部１１０を備えている。また、検索サーバ２００は特徴量情報記憶部２１０、特定手段としてのクエリ分布特徴特定部２２０、症例分布特徴特定部２３０、及び出力手段としての症例画像出力部２４０を備えている。
症例画像記憶部１１０は一又は複数の症例画像を記憶する。より詳しくは、症例画像記憶部１１０は症例画像を含む一又は複数の症例画像情報を記憶する。症例画像情報は、図４に示すように、症例画像、症例画像ＩＤ、患者名、ファイル名、及びスライス番号特定情報を構成要素として含んでいる。症例画像は例えば胸部のＣＴ画像により表される。症例画像の各々には症例画像ＩＤ、患者名、ファイル名及びスライス番号特定情報が関連付けられている。症例画像ＩＤは症例画像を患者毎に識別する識別情報である。患者名は患者の名前である。したがって、例えば患者名「Ｙ」の各症例画像は症例画像ＩＤ「ＩＭ−１」によって特定される。例えば患者名「Ｚ」の各症例画像は症例画像ＩＤ「ＩＭ−２」によって特定される。例えば患者名「Ｖ」の各症例画像は症例画像ＩＤ「ＩＭ−Ｎ」によって特定される。このように、患者毎に複数の症例画像が関連付けられている。
ここで、患者毎に関連付けられた複数の症例画像はそれぞれ注目するスライス画像とその前後数個のスライス画像により表されている。注目するスライス画像とその前後数個のスライス画像はスライス番号特定情報によって特定される。スライス番号特定情報は症例画像のスライス番号を特定する情報である。例えば患者名「Ｙ」の注目するスライス画像はスライス番号特定情報「３」によって特定される。また、注目するスライス画像の前のスライス画像はスライス番号特定情報「１」及び「２」によって特定され、その後のスライス画像はスライス番号特定情報「４」及び「５」によって特定される。他の患者名「Ｚ」、「Ｖ」についても患者名「Ｙ」と同様である。ファイル名は各症例画像を表す電子ファイルの名称である。したがって、症例画像ＩＤとスライス番号特定情報の組み合わせ、又は、ファイル名によって症例画像を一意に特定することができる。尚、症例画像は１つのスライス画像によって表されていてもよい。
特徴量情報記憶部２１０は上述した各症例画像の局所領域（以下、症例ブロックという）を特徴付ける特徴ベクトルを記憶する。より詳しくは、図５に示すように、特徴量情報記憶部２１０は症例画像ＩＤ、症例ブロックＩＤ及び特徴ベクトルを構成要素とする症例特徴量情報を記憶する。症例画像ＩＤは上述したように症例画像を患者毎に識別する識別情報である。症例ブロックＩＤは症例ブロックを識別する識別情報である。症例ブロックＩＤとして例えば位置座標が利用されてもよい。
ここで、図６に示すように、症例画像は格子状（例えばグリッド状又はメッシュ状）に複数の症例ブロック１０に分割されている。本実施形態ではＭ個の症例ブロック１０に分割されている。このため、症例画像はＭ個の症例ブロック１０を含んでいる。症例ブロック１０のサイズは予め所定の値に設定されている。各症例ブロック１０の画像の特徴は特徴ベクトルによって特徴付けられている。図５に示すように、特徴ベクトルはｐ次元（ｐは自然数）によって表される。特徴ベクトルを構成する要素ｘ１，ｘ２，・・・，ｘｐとしては、例えば、同時共起行例に基づく特徴量、ランレングス行列に基づく特徴量、構造に基づく特徴量といった種々の特徴量がある。これらは注目する画像の前後のスライス画像を含む複数の画像から得ることができる。また、注目する画像１枚から得られる特徴を採用してもよい。このため、例えば図６に示す肺Ｌの病変部分を表す症例ブロック１１は正常部分を表す症例ブロック１２と異なる特徴ベクトルにより特徴付けられる。
このように、特徴量情報記憶部２１０は症例画像ＩＤ、症例ブロックＩＤ、及び特徴ベクトルの組を症例特徴量情報として記憶する。例えば症例画像ＩＤのＩＤ数がＮ個であり、症例画像ごとに設定される症例ブロック１０のブロック数がＭ個である場合、特徴量情報記憶部２１０はＮ×Ｍの症例特徴量情報を記憶する。尚、症例特徴量情報は、症例画像記憶部１１０に記憶された各症例画像を利用して事前に特徴量情報記憶部２１０に登録される。
図３に戻り、クエリ分布特徴特定部２２０は端末装置３００から送信された選択クエリブロックとクエリ画像を受け付けると、選択クエリブロックと比較して所定の基準を満たすクエリ画像内における一又は複数のクエリブロック（以下、類似クエリブロックという）を抽出する。詳細は後述するが、クエリ分布特徴特定部２２０は類似クエリブロックを抽出すると、類似クエリブロックを端末装置３００に送信する。端末装置３００はクエリ分布特徴特定部２２０から送信された類似クエリブロックを受け付けると、選択クエリブロックと受け付けた類似クエリブロックをクエリ画像上に表示する。
この際、選択クエリブロックと類似クエリブロックの視認を容易とするために、例えば選択クエリブロック及び類似クエリブロックの色を変えて表示することが望ましい。例えば選択クエリブロックを第１の色で表示し、類似クエリブロックを第１の色と異なる第２の色で表示し、選択クエリブロック及び類似クエリブロック以外のクエリブロックに色を付さないで表示してもよい。
読影医は端末装置３００に表示された選択クエリブロックと類似クエリブロックを確認する。そして、読影医は類似クエリブロックの中から不要な類似クエリブロックを消去したり、クエリブロックをさらに選択したりするなど、必要に応じて所要の修正を行い、クエリブロックの集合を診断対象として確定する。すなわち、確定したクエリブロックの集合は選択クエリブロックと類似クエリブロックを含んでいる。
ここで、クエリブロックの集合は、クエリ画像上におけるクエリブロックの分布の状態を特定している。すなわち、クエリブロックの分布の状態によってクエリブロックの分布は特徴付けられている。したがって、以下では、クエリブロックの集合をクエリ分布特徴と呼ぶ。クエリ分布特徴特定部２２０は確定したクエリブロックの集合であるクエリ分布特徴を特定すると、特定したクエリ分布特徴を症例分布特徴特定部２３０及び症例画像出力部２４０に送信する。
症例分布特徴特定部２３０はクエリ分布特徴特定部２２０から送信されたクエリ分布特徴と特徴量情報記憶部２１０に記憶された症例特徴量情報とに基づいて、クエリ分布特徴の各クエリブロックに類似する症例ブロック１０の集合を特定する。症例ブロック１０の集合はクエリブロックの集合と同様に症例画像上における症例ブロック１０の分布の状態を特定している。したがって、以下では、症例ブロック１０の集合を症例分布特徴と呼ぶ。症例分布特徴特定部２３０は症例ブロック１０の集合である症例分布特徴を症例画像出力部２４０に送信する。
症例画像出力部２４０はクエリ分布特徴特定部２２０から送信されたクエリ分布特徴と症例分布特徴特定部２３０から送信された症例分布特徴とに基づいて、症例画像とクエリ画像の類似度を評価する。より詳しくは、症例画像出力部２４０はクエリ分布特徴と症例分布特徴とに基づいて、クエリ分布特徴と症例分布特徴の類似度を評価する。症例画像出力部２４０は類似度を評価すると、症例画像記憶部１１０から所定値以上の類似度を有する症例画像を取得し、評価した類似度の大きな順に取得した症例画像を並べ替えて送信する。尚、症例画像出力部２４０は類似度を評価する前に症例画像を取得してもよい。端末装置３００は症例画像出力部２４０から送信された症例画像を受け付けると、受け付けた症例画像を表示する。症例画像は類似度の大きな順に並んで表示される。読影医は端末装置３００に表示された症例画像を確認し、クエリ画像に出現する異常な陰影の診断を行う。読影医による診断が完了すると、治療方針などが決定される。
次に、図７を参照して、上述したクエリ分布特徴特定部２２０の詳細な機能について説明する。
図７はクエリ分布特徴特定部２２０の機能ブロック図の一例である。図７に示すように、クエリ分布特徴特定部２２０は特徴抽出部２２１とクエリブロック照合部２２２を含んでいる。
特徴抽出部２２１は端末装置３００からクエリ画像と選択クエリブロックが送信されると、クエリ画像に含まれる全てのクエリブロックの特徴ベクトルを抽出する。特徴ベクトルは複数の特徴量を要素として含むため、特徴抽出部２２１は各特徴ベクトルの特徴量を抽出する。特徴抽出部２２１は各クエリブロックを識別するクエリブロックＩＤと抽出した特徴量を要素として含む特徴ベクトルを関連付けてクエリ特徴量情報を生成する。特徴抽出部２２１はクエリ特徴量情報を生成すると、選択クエリブロックとクエリ特徴量情報をクエリブロック照合部２２２に送信する。
クエリブロック照合部２２２は特徴抽出部２２１から選択クエリブロックとクエリ特徴量情報が送信されると、選択されなかったクエリブロックを照合対象ブロックとして選択クエリブロックと照合し、照合対象ブロックと選択クエリブロックの類否を判断する。より詳しくは、クエリブロック照合部２２２は照合対象ブロックのクエリ特徴量情報に含まれる特徴ベクトルと選択クエリブロックのクエリ特徴量情報に含まれる特徴ベクトルを照合して、照合対象ブロックと選択クエリブロックの類否を判断する。
具体的に説明すると、クエリブロック照合部２２２は照合対象ブロックの特徴ベクトルと選択クエリブロックの特徴ベクトルの距離を算出する。クエリブロック照合部２２２は算出した距離が所定の閾値よりも小さい距離の場合に、照合対象ブロックが選択クエリブロックに類似すると判断する。クエリブロック照合部２２２は選択クエリブロックに類似すると判断した照合対象ブロックを類似クエリブロックと認定し、端末装置３００に送信する。これにより、端末装置３００には選択クエリブロックと類似クエリブロックがクエリ画像上に表示される。上述したように、読影医は端末装置３００に表示された選択クエリブロックと類似クエリブロックを確認し、必要に応じて所要の修正を行い、診断対象のクエリ分布特徴を確定する。クエリブロック照合部２２２は確定したクエリ分布特徴をクエリ特徴量情報とともに出力する。
次に、図８を参照して、上述した症例分布特徴特定部２３０の詳細な機能について説明する。
図８は症例分布特徴特定部２３０の機能ブロック図の一例である。図８に示すように、症例分布特徴特定部２３０は特徴ベクトルクラスタリング部２３１と症例ブロック照合部２３２を含んでいる。
特徴ベクトルクラスタリング部２３１はクエリ分布特徴のクエリ特徴量情報に含まれる特徴ベクトルを分類する。より詳しくは、特徴ベクトルクラスタリング部２３１は特徴空間でＫ−ｍｅａｎｓクラスタリング（Ｋ−平均法）を実行して特徴ベクトルを分類する。ここで、特徴空間はクエリ画像や症例画像上に出現する特徴的な陰影（具体的には浸潤影、すりガラス影、粒状影などの異常な陰影）の特徴ベクトルを配置した空間である。特徴空間に特徴的でない陰影（具体的には正常な陰影）の特徴ベクトルを配置してもよい。特徴空間としては例えば症例ブロック１０の平均ＣＴ値と標準偏差を要素として含む特徴ベクトルを配置した空間などがある。
Ｋ−ｍｅａｎｓクラスタリングは以下のアルゴリズムによって実現される。
１．各データ（具体的には特徴ベクトル）に対して無作為（ランダム）に複数のクラスタを割り振る。
２．割り振った各クラスタの中心を、各データをもとに計算する。
３．各データについて各クラスタの中心との距離を算出し、最も近い中心のクラスタをそのデータ対して割り振り直す。
４．１〜３の処理で全てのデータのクラスタの割り振りが変化しなかったら処理を終了する。逆に、割り振りが変化したら２〜３の処理を繰り返す。
１．各データ（具体的には特徴ベクトル）に対して無作為（ランダム）に複数のクラスタを割り振る。
２．割り振った各クラスタの中心を、各データをもとに計算する。
３．各データについて各クラスタの中心との距離を算出し、最も近い中心のクラスタをそのデータ対して割り振り直す。
４．１〜３の処理で全てのデータのクラスタの割り振りが変化しなかったら処理を終了する。逆に、割り振りが変化したら２〜３の処理を繰り返す。
特徴ベクトルクラスタリング部２３１はＫ−ｍｅａｎｓクラスタリングを実行して、Ｋ個のクラスタに関する中心座標ｃｉと半径ｒｉを算出する。特徴空間におけるクエリ分布特徴は算出したＫ個の中心座標ｃｉと半径ｒｉに近似される。すなわち、特徴ベクトルクラスタリング部２３１はクエリ分布特徴について特徴空間を占有する占有領域を推定している。詳細は後述するが、クエリ分布特徴をＫ個の中心座標ｃｉと半径ｒｉに近似することにより、False Positive（偽陽性）が抑制される。特徴ベクトルクラスタリング部２３１はＫ個の中心座標ｃｉと半径ｒｉを症例ブロック照合部２３２に出力する。
症例ブロック照合部２３２は各クエリブロックを全ての症例ブロック１０と照合して、クエリブロックと症例ブロック１０の類似度を評価する。より詳しくは、症例ブロック照合部２３２はクエリ分布特徴に含まれる全てのクエリブロックの特徴ベクトルと特徴量情報記憶部２１０に記憶された全ての症例ブロック１０の特徴ベクトルとを照合して、クエリブロックと症例ブロック１０の類似度を評価する。
ここで、症例ブロック照合部２３２は特徴ベクトルを照合する際、全てのクエリブロックの特徴ベクトルに代えて、特徴ベクトルクラスタリング部２３１から出力されたＫ個の中心座標ｃｉと半径ｒｉを利用する。症例ブロック照合部２３２はＫ個の中心座標ｃｉと半径ｒｉによって特定される占有領域の範囲内でクエリブロックと症例ブロック１０を照合する。そして、症例ブロック照合部２３２は占有領域に属する症例ブロック１０の特徴ベクトルをクエリブロックの特徴ベクトルに類似すると判断し、類似する特徴ベクトルを有する症例ブロック１０を類似症例ブロックと認定する。症例ブロック照合部２３２は全ての類似症例ブロックを認定すると、全ての類似症例ブロックをそれぞれの症例画像ＩＤと関連付けて症例ブロック１０の集合である症例分布特徴として出力する。これにより、確定したクエリブロックの集合のどのブロックとも特徴が類似しないブロックのみを有する症例画像が検索対象から除外され、確定したクエリブロックの集合のいずれかのブロックと特徴が類似するブロックを有する症例画像に検索対象が絞られる。
次に、図９を参照して、上述した症例画像出力部２４０の詳細について説明する。
図９は症例画像出力部２４０の機能ブロック図の一例である。図９に示すように、症例画像出力部２４０は分布特徴照合部２４１と画像出力部２４２を含んでいる。
分布特徴照合部２４１はクエリ分布特徴と症例分布特徴を照合して、クエリ分布特徴と症例分布特徴の分布の類似度を算出する。分布特徴照合部２４１は類似度を算出する際、既存の類似度算出手法を利用する。類似度算出手法としては例えばEarth Mover’s Distance（ＥＭＤ）といった分布の類似度を算出する手法がある。分布特徴照合部２４１は算出した類似度を画像出力部２４２に出力する。
画像出力部２４２は分布特徴照合部２４１から類似度が出力されると、症例画像記憶部１１０に症例画像ＩＤを含む検索要求を送信し、検索要求に基づいて抽出された症例画像を取得する。画像出力部２４２は症例画像を取得すると、類似度の大きい順に症例画像を並び替える。画像出力部２４２は症例画像を並び替えると、症例画像を端末装置３００に出力する。これにより、端末装置３００は類似度の大きな順に並んだ症例画像を表示する。読影医は端末装置３００に表示された症例画像を確認し、クエリ画像に出現する異常な陰影の診断を行う。
次に、検索サーバ２００の動作について説明する。
まず、図１０から図１２までを参照して、クエリ分布特徴特定部２２０の動作について説明する。図１０はクエリ分布特徴特定部２２０の動作の一例を示すフローチャートである。図１１はクエリ画像の一例である。図１２はクエリ画像の他の一例である。図１０に示すように、特徴抽出部２２１は端末装置３００からクエリ画像と選択クエリブロックが送信されると、照合対象ブロックの特徴ベクトルｘと選択クエリブロックの特徴ベクトルｑとの距離ｄを算出する（ステップＳ１０１）。例えば、図１１に示すように、クエリ画像に含まれる複数のクエリブロック２０の中から病変部分を表すクエリブロック２１の１つが選択されると、端末装置３００はクエリブロック２１の１つを選択クエリブロック２１Ａとして送信する。特徴抽出部２２１はクエリ画像と選択クエリブロック２１Ａを受け付けると、選択クエリブロック２１Ａ及びクエリ画像に含まれる選択クエリブロック２１Ａ以外のクエリブロック２０である照合対象ブロックの特徴ベクトルｘを全て抽出する。特徴抽出部２２１は全ての特徴ベクトルｘを抽出すると、照合対象ブロックにおける１つの特徴ベクトルｘと選択クエリブロックにおける１つの特徴ベクトルｑとの距離ｄを算出する。
ステップＳ１０１の処理が完了すると、次いで、クエリブロック照合部２２２は特徴抽出部２２１が算出した距離ｄが所定の閾値以下であるか否かを判断する（ステップＳ１０２）。ここで、クエリブロック照合部２２２は距離ｄが所定の閾値以下であると判断した場合（ステップＳ１０２：ＹＥＳ）、照合対象ブロックを類似クエリブロックと認定する（ステップＳ１０３）。すなわち、クエリブロック照合部２２２は選択クエリブロック２１Ａと照合対象ブロックが類似していると判断した場合、照合対象ブロックを類似クエリブロックと認定する。一方、クエリブロック照合部２２２は距離ｄが所定の閾値より大きいと判断した場合（ステップＳ１０２：ＮＯ）、ステップＳ１０３の処理をスキップする。すなわち、クエリブロック照合部２２２は選択クエリブロック２１Ａと照合対象ブロックが類似していないと判断した場合、照合対象ブロックを類似クエリブロックと認定しない。
ステップＳ１０３の処理が完了した場合、又は、ステップＳ１０２の処理で距離ｄが所定の閾値より大きいと判断された場合、クエリブロック照合部２２２は照合未処理ブロックがあるか否かを判断する（ステップＳ１０４）。照合未処理ブロックは、選択クエリブロック２１Ａとの照合がまだ済んでいない照合対象ブロックである。クエリブロック照合部２２２は照合未処理ブロックがあると判断した場合（ステップＳ１０４：ＹＥＳ）、次の照合対象ブロックを指定し（ステップＳ１０５）、ステップＳ１０１の処理に戻る。一方、クエリブロック照合部２２２は照合未処理ブロックがないと判断した場合（ステップＳ１０４：ＮＯ）、処理を終了する。
この結果、図１２に示すように、選択クエリブロック２１Ａに類似する類似クエリブロック２２が動的に抽出され、クエリブロック照合部２２２は類似クエリブロック２２を端末装置３００に送信する。抽出される類似クエリブロック２２のブロック数は１ブロックの場合もあれば、複数ブロックの場合もある。読影医は端末装置３００に表示された選択クエリブロック２１Ａ及び類似クエリブロック２２を確認し、必要に応じて所要の修正を行う。例えば、図１２に示す選択クエリブロック２１Ａ及び類似クエリブロック２２を確認した結果、読影医が修正の必要がないと判断した場合、選択クエリブロック２１Ａ及び類似クエリブロック２２がクエリ分布特徴として確定する。
次に、図１３を参照して、症例分布特徴特定部２３０の動作について説明する。
図１３は症例分布特徴特定部２３０の動作の一例を示すフローチャートである。まず、症例ブロック照合部２３２は変数ｉに０を設定し（ステップＳ２０１）、照合対象としての症例ブロック１０の特徴ベクトルｘと０番目のクラスタの中心ｃ０との距離Ｄを算出する（ステップＳ２０２）。より詳しくは、特徴ベクトルクラスタリング部２３１がＫ−ｍｅａｎｓクラスタリングを実行して、Ｋ個のクラスタに関する中心座標ｃｉと半径ｒｉを算出すると、症例ブロック照合部２３２は変数ｉに０を設定し、距離Ｄを算出する。尚、変数ｉは０，１，・・・，Ｋ−１である。
ステップＳ２０２の処理が完了すると、次いで、症例ブロック照合部２３２は距離Ｄが半径ｒｉ以下であるか否かを判断する（ステップＳ２０３）。すなわち、症例ブロック照合部２３２は距離Ｄが半径ｒ０以下であるか否かを判断する。症例ブロック照合部２３２は距離Ｄが半径ｒ０以下でないと判断した場合（ステップＳ２０３：ＮＯ）、変数ｉをインクリメントし（ステップＳ２０４）、変数ｉがＫ未満であるか否かを判断する（ステップＳ２０５）。そして、症例ブロック照合部２３２は変数ｉがＫ未満であると判断した場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０２の処理に戻る。すなわち、ステップＳ２０２からステップＳ２０５までの処理により、照合対象としての症例ブロック１０の特徴ベクトルｘが複数のクラスタのいずれの範囲内に含まれるのかが判断される。
ここで、症例ブロック照合部２３２は距離Ｄが半径ｒ０以下であると判断した場合（ステップＳ２０３：ＹＥＳ）、症例ブロック１０を類似症例ブロックと認定する（ステップＳ２０６）。すなわち、症例ブロック照合部２３２は照合対象としての症例ブロック１０を類似症例ブロックと認定する。症例ブロック照合部２３２はステップＳ２０６の処理が完了した場合、又は、変数ｉがＫ未満でないと判断した場合（ステップＳ２０５：ＮＯ）、照合未処理ブロックがあるか否かを判断する（ステップＳ２０７）。照合未処理ブロックは、クラスタとの照合がまだ済んでいない症例ブロック１０である。
症例ブロック照合部２３２は照合未処理ブロックがあると判断した場合（ステップＳ２０７：ＹＥＳ）、次の症例ブロック１０を指定し（ステップＳ２０８）、ステップＳ２０１の処理に戻る。すなわち、症例ブロック照合部２３２は次の症例ブロック１０を照合対象として指定して、ステップＳ２０１の処理に戻る。一方、症例ブロック照合部２３２は照合未処理ブロックがないと判断した場合（ステップＳ２０７：ＮＯ）、処理を終了する。この結果、複数の類似症例ブロックが認定され、症例分布特徴として出力される。
ここで、図１４から図１６までを参照して、症例分布特徴特定部２３０についてさらに詳しく説明する。
図１４（ａ）は症例画像に出現する異常な陰影の特徴ベクトルを配置した特徴空間の一例である。図１４（ｂ）はクエリ分布特徴の特徴ベクトルを重畳して示した特徴空間の一例である。図１５はＫ−ｍｅａｎｓクラスタリングを実行しなかった特徴空間の一例である。図１６（ａ）はＫ−ｍｅａｎｓクラスタリングを実行した特徴空間の一例である。図１６（ｂ）はＫ−ｍｅａｎｓクラスタリングを実行した特徴空間の他の一例である。
まず、症例画像によっては複数種類の異常な陰影が出現する場合がある。図１４（ａ）では、３種類の異常な陰影の特徴ベクトルが特徴ベクトルマークＡ１，Ａ２，Ａ３により特徴空間に配置されている。マーク〇で示された特徴ベクトルマークＡ１は例えば浸潤影の特徴ベクトルを表している。マーク＋で示された特徴ベクトルマークＡ２はすりガラス影の特徴ベクトルを表している。マーク△で示された特徴ベクトルマークＡ３は蜂巣影の特徴ベクトルを表している。
ここで、図１４（ｂ）に示すように、浸潤影を表すマーク●で特徴分布として示された選択クエリブロック２１Ａ及び類似クエリブロック２２の各特徴ベクトルマークＢ１と上述した特徴ベクトルマークＡ１，Ａ２，Ａ３を照合する際、各特徴ベクトルマークＢ１と類似する特徴ベクトルマークＡ１，Ａ２，Ａ３を抽出すると、図１５に示すように、特徴ベクトルマークＢ１の類似範囲に特徴ベクトルマークＡ２，Ａ３の一部Ａ２´，Ａ３´が属し、特徴ベクトルマークＡ２，Ａ３の一部Ａ２´，Ａ３´が特徴ベクトルマークＢ１と類似すると判断される。すなわち、蜂巣影の特徴ベクトルを表す特徴ベクトルマークＡ２の一部Ａ２´及びすりガラス影の特徴ベクトルを表す特徴ベクトルマークＡ３の一部Ａ３´が浸潤影の特徴ベクトルを表す特徴ベクトルマークＢ１と類似すると判断され、多数のFalse Positiveが発生する。
しかしながら、本実施形態では、特徴ベクトルマークＢ１は複数のクラスタに近似されている。具体的には、図１６（ａ）に示すように、中心ｃ０、半径ｒ０によって特定されるクラスタＣＬ０、中心ｃ１、半径ｒ１によって特定されるクラスタＣＬ１、及び中心ｃ２、半径ｒ２によって特定されるクラスタＣＬ２に特徴ベクトルマークＢ１は近似されている。この結果、図１６（ｂ）に示すように、クラスタＣＬ０，ＣＬ１，ＣＬ２の範囲内で特徴ベクトルマークＡ１，Ａ２，Ａ３が照合されると、特徴ベクトルマークＡ２，Ａ３はクラスタＣＬ０，ＣＬ１，ＣＬ２の範囲内に含まれず、特徴ベクトルマークＡ１だけがクラスタＣＬ０，ＣＬ１，ＣＬ２の範囲内に含まれ、False Positiveが抑制される。尚、図１６（ｂ）では、クラスタＣＬ０，ＣＬ１，ＣＬ２の範囲内に含まれた特徴ベクトルマークＡ１をマーク◎で示された特徴ベクトルマークＡ１´により示している。
次に、図１７を参照して、症例画像出力部２４０の動作について説明する。
図１７は症例画像出力部２４０の動作の一例を示すフローチャートである。まず、分布特徴照合部２４１はクエリ分布特徴と症例分布特徴との類似度を評価する（ステップＳ３０１）。上述したように、分布特徴照合部２４１は例えばＥＭＤなどを利用して分布間の類似度を評価する。ステップＳ３０１の処理が完了すると、次いで、画像出力部２４２は症例画像を類似度の順に並べ替え（ステップＳ３０２）、症例画像を出力する（ステップＳ３０３）。より詳しくは、画像出力部２４２は症例画像ＩＤを含む検索要求に基づいて症例画像記憶部１１０から取得した症例画像を類似度の大きい順に並べ替え、症例画像を出力する。これにより、端末装置３００には類似度の大きい順に並んだ症例画像が表示される。
最後に、図１８及び図１９を参照して、比較例と対比しながら本件の実施例を説明する。
図１８は比較例に係る検索結果の一例を説明するための図である。図１９は実施例に係る検索結果の一例を説明するための図である。尚、図１８及び図１９では、肺Ｌの一方である右肺ＬＲが示されており、肺Ｌの他方である左肺は省略されている。
まず、図１８及び図１９に示すように、ＤＢサーバ１００（より詳しくは症例画像記憶部１１０）には第１カテゴリ（例えばすりガラス影）に属する複数の症例画像と第２カテゴリ（例えば浸潤影）に属する複数の症例画像が記憶されている。ここで、図１８に示すように、右肺ＬＲに出現する異常な陰影５０が第１カテゴリと第２カテゴリの境界付近に存在する陰影である場合、陰影が誤って識別される可能性がある。例えば、異常な陰影５０が第２カテゴリにより表される陰影（すなわち浸潤影）であるにも関わらず、読影医が第２カテゴリにより表される陰影を十分に抽出しなかったり、誤って第１カテゴリにより表される陰影を抽出したりすると、第１カテゴリにより表される陰影（すなわちすりガラス影）であると識別される。この結果、図１８に示すように、右肺ＬＲの画像をクエリ画像としてＤＢサーバ１００を検索すると、ＤＢサーバ１００から検索結果として第１カテゴリに属する症例画像が出力される。すなわち、浸潤影と類似しないすりガラス影の症例画像が出力されるため、読影医は出力された症例画像を利用しても異常な陰影に対する診断を行えないおそれがある。
しかしながら、図１９に示すように、検索サーバ２００は異常な陰影５０を選択クエリブロック２１Ａ及び類似クエリブロック２２により表されるクエリ分布特徴として特定する。選択クエリブロック２１Ａに類似する類似クエリブロック２２が認定されているため、同じカテゴリに属する異常な陰影の抽出漏れが回避されている。そして、このように特定したクエリ分布特徴を利用して症例分布特徴を特定する。特定したクエリ分布特徴と症例分布特徴では特徴ベクトルが互いに類似する。すなわち、検索サーバ２００は特徴ベクトルが類似しない症例分布特徴を検索対象から排除する。言い換えれば、検索サーバ２００はＤＢサーバ１００が記憶する症例画像からクエリ分布特徴に特徴ベクトルが類似する症例分布特徴に絞り込む。そして、検索サーバ２００は絞り込んだ症例分布特徴とクエリ分布特徴の類似度を評価し、評価した類似度の順に検索結果として症例画像を出力する。この結果、異常な陰影５０が第１カテゴリと第２カテゴリの境界付近に存在する陰影である場合であっても、特徴ベクトルが類似しない症例画像は出力対象から除外され、症例画像を精度良く検索することができる。
以上、本実施形態によれば、検索サーバ２００はクエリ分布特徴特定部２２０と症例画像出力部２４０を備えている。クエリ分布特徴特定部２２０はクエリ画像におけるクエリブロック２０の選択を受け付けた場合、選択された選択クエリブロック２１Ａと比較して所定の基準を満たすクエリ画像における一または複数の類似クエリブロック２２を抽出する。そして、クエリ分布特徴特定部２２０は選択クエリブロック２１Ａと類似クエリブロック２２のクエリ画像におけるクエリ分布特徴を特定する。一方、症例画像出力部２４０はクエリ分布特徴特定部２２０が特定したクエリ分布特徴を用いて予め症例画像記憶部１１０に記憶した一または複数の症例画像とクエリ画像の類似度を評価し、評価した類似度の順に一または複数の症例画像を出力する。これにより、クエリ画像と類似する症例画像の検索精度を向上することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した特徴量情報記憶部２１０は検索サーバ２００に代えてＤＢサーバ１００に含まれていてもよし、検索サーバ２００及びＤＢサーバ１００と異なるサーバ装置に含まれていてもよい。
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータに実行させるための類似画像検索プログラム。
（付記２）選択された前記局所領域及び抽出した前記他の局所領域の特徴が、前記局所領域の特徴を配置する特徴空間に占める領域を特徴分布として推定し、推定した前記特徴分布の範囲を前記一または複数の画像における局所領域の特徴と照合する、処理を含むことを特徴とする付記１に記載の類似画像検索プログラム。
（付記３）前記特徴分布の範囲を照合する処理は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に基づいて、該特徴を近似した一又は複数の円を特定する中心及び半径により前記領域を推定する、ことを特徴とする付記２に記載の類似画像検索プログラム。
（付記４）前記特徴分布の範囲を照合する処理は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に対して、前記特徴空間においてｋ−ｍｅａｎｓクラスタリングを実行し、実行結果に基づいて得られるクラスタの中心と前記クラスタの半径により前記領域を推定する、ことを特徴とする付記２又は３に記載の類似画像検索プログラム。
（付記５）前記一または複数の画像を出力する処理は、特定の画像に所定範囲より広い範囲に出現する異常な陰影の分布が類似する画像を前記一または複数の画像として出力する、ことを特徴とする付記１から４のいずれか１項に記載の類似画像検索プログラム。
（付記６）前記特定の画像及び前記一又は複数の画像は、びまん性肺疾患で出現する異常な陰影を含む画像である、ことを特徴とする付記１から５のいずれか１項に記載の類似画像検索プログラム。
（付記７）特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータが実行する類似画像検索方法。
（付記８）特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定する特定手段と、前記特定手段が特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する出力手段と、を有する類似画像検索装置。
（付記９）選択された前記局所領域及び抽出した前記他の局所領域の特徴が、前記局所領域の特徴を配置する特徴空間に占める領域を特徴分布として推定し、推定した前記特徴分布の範囲を前記一または複数の画像における局所領域の特徴と照合する照合手段を含むことを特徴とする付記８に記載の類似画像検索装置。
（付記１０）前記照合手段は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に基づいて、該特徴を近似した一又は複数の円を特定する中心及び半径により前記領域を推定する、ことを特徴とする付記９に記載の類似画像検索装置。
（付記１１）前記照合手段は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に対して、前記特徴空間においてｋ−ｍｅａｎｓクラスタリングを実行し、実行結果に基づいて得られるクラスタの中心と前記クラスタの半径により前記領域を推定する、ことを特徴とする付記９又は１０に記載の類似画像検索装置。
（付記１２）前記出力手段は、特定の画像に所定範囲より広い範囲に出現する異常な陰影の分布が類似する画像を前記一または複数の画像として出力する、ことを特徴とする付記８から１１のいずれか１項に記載の類似画像検索装置。
（付記１３）前記特定の画像及び前記一又は複数の画像は、びまん性肺疾患で出現する異常な陰影を含む画像である、ことを特徴とする付記８から１２のいずれか１項に記載の類似画像検索装置。
（付記１）特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータに実行させるための類似画像検索プログラム。
（付記２）選択された前記局所領域及び抽出した前記他の局所領域の特徴が、前記局所領域の特徴を配置する特徴空間に占める領域を特徴分布として推定し、推定した前記特徴分布の範囲を前記一または複数の画像における局所領域の特徴と照合する、処理を含むことを特徴とする付記１に記載の類似画像検索プログラム。
（付記３）前記特徴分布の範囲を照合する処理は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に基づいて、該特徴を近似した一又は複数の円を特定する中心及び半径により前記領域を推定する、ことを特徴とする付記２に記載の類似画像検索プログラム。
（付記４）前記特徴分布の範囲を照合する処理は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に対して、前記特徴空間においてｋ−ｍｅａｎｓクラスタリングを実行し、実行結果に基づいて得られるクラスタの中心と前記クラスタの半径により前記領域を推定する、ことを特徴とする付記２又は３に記載の類似画像検索プログラム。
（付記５）前記一または複数の画像を出力する処理は、特定の画像に所定範囲より広い範囲に出現する異常な陰影の分布が類似する画像を前記一または複数の画像として出力する、ことを特徴とする付記１から４のいずれか１項に記載の類似画像検索プログラム。
（付記６）前記特定の画像及び前記一又は複数の画像は、びまん性肺疾患で出現する異常な陰影を含む画像である、ことを特徴とする付記１から５のいずれか１項に記載の類似画像検索プログラム。
（付記７）特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する、処理をコンピュータが実行する類似画像検索方法。
（付記８）特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定する特定手段と、前記特定手段が特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する出力手段と、を有する類似画像検索装置。
（付記９）選択された前記局所領域及び抽出した前記他の局所領域の特徴が、前記局所領域の特徴を配置する特徴空間に占める領域を特徴分布として推定し、推定した前記特徴分布の範囲を前記一または複数の画像における局所領域の特徴と照合する照合手段を含むことを特徴とする付記８に記載の類似画像検索装置。
（付記１０）前記照合手段は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に基づいて、該特徴を近似した一又は複数の円を特定する中心及び半径により前記領域を推定する、ことを特徴とする付記９に記載の類似画像検索装置。
（付記１１）前記照合手段は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に対して、前記特徴空間においてｋ−ｍｅａｎｓクラスタリングを実行し、実行結果に基づいて得られるクラスタの中心と前記クラスタの半径により前記領域を推定する、ことを特徴とする付記９又は１０に記載の類似画像検索装置。
（付記１２）前記出力手段は、特定の画像に所定範囲より広い範囲に出現する異常な陰影の分布が類似する画像を前記一または複数の画像として出力する、ことを特徴とする付記８から１１のいずれか１項に記載の類似画像検索装置。
（付記１３）前記特定の画像及び前記一又は複数の画像は、びまん性肺疾患で出現する異常な陰影を含む画像である、ことを特徴とする付記８から１２のいずれか１項に記載の類似画像検索装置。
Ｓ 類似画像検索システム
１００ ＤＢサーバ
２００ 検索サーバ
２１０ 特徴量情報記憶部
２２０ クエリ分布特徴特定部
２３０ 症例分布特徴特定部
２４０ 症例画像出力部
３００ 端末装置
４００ モダリティ
１００ ＤＢサーバ
２００ 検索サーバ
２１０ 特徴量情報記憶部
２２０ クエリ分布特徴特定部
２３０ 症例分布特徴特定部
２４０ 症例画像出力部
３００ 端末装置
４００ モダリティ
Claims (8)
- 特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、
選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、
特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、
評価した前記類似度に応じて前記一または複数の画像を出力する、
処理をコンピュータに実行させるための類似画像検索プログラム。 - 選択された前記局所領域及び抽出した前記他の局所領域の特徴が、前記局所領域の特徴を配置する特徴空間に占める領域を特徴分布として推定し、推定した前記特徴分布の範囲を前記一または複数の画像における局所領域の特徴と照合する、
処理を含むことを特徴とする請求項１に記載の類似画像検索プログラム。 - 前記特徴分布の範囲を照合する処理は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に基づいて、該特徴を近似した一又は複数の円を特定する中心及び半径により前記領域を推定する、
ことを特徴とする請求項２に記載の類似画像検索プログラム。 - 前記特徴分布の範囲を照合する処理は、選択された前記局所領域及び抽出した前記他の局所領域の特徴に対して、前記特徴空間においてｋ−ｍｅａｎｓクラスタリングを実行し、実行結果に基づいて得られるクラスタの中心と前記クラスタの半径により前記領域を推定する、
ことを特徴とする請求項２又は３に記載の類似画像検索プログラム。 - 前記一または複数の画像を出力する処理は、特定の画像に所定範囲より広い範囲に出現する異常な陰影の分布が類似する画像を前記一または複数の画像として出力する、
ことを特徴とする請求項１から４のいずれか１項に記載の類似画像検索プログラム。 - 前記特定の画像及び前記一又は複数の画像は、びまん性肺疾患で出現する異常な陰影を含む画像である、
ことを特徴とする請求項１から５のいずれか１項に記載の類似画像検索プログラム。 - 特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、
選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定し、
特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、
評価した前記類似度に応じて前記一または複数の画像を出力する、
処理をコンピュータが実行する類似画像検索方法。 - 特定の画像における局所領域の選択を受け付けた場合、選択された前記局所領域と比較して所定の基準を満たす前記特定の画像における一または複数の他の局所領域を抽出し、選択された前記局所領域と抽出した前記他の局所領域の前記特定の画像における分布状態を特定する特定手段と、
前記特定手段が特定した分布状態を用いて予め記憶部に記憶した一または複数の画像と前記特定の画像の類似度を評価し、評価した前記類似度に応じて前記一または複数の画像を出力する出力手段と、
を有する類似画像検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016110462A JP6693278B2 (ja) | 2016-06-01 | 2016-06-01 | 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016110462A JP6693278B2 (ja) | 2016-06-01 | 2016-06-01 | 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017215876A true JP2017215876A (ja) | 2017-12-07 |
| JP6693278B2 JP6693278B2 (ja) | 2020-05-13 |
Family
ID=60575706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016110462A Active JP6693278B2 (ja) | 2016-06-01 | 2016-06-01 | 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6693278B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019130236A (ja) * | 2018-02-02 | 2019-08-08 | ゼネラル・エレクトリック・カンパニイ | 超音波診断装置及びその制御プログラム |
| JP2020061000A (ja) * | 2018-10-11 | 2020-04-16 | 富士通株式会社 | 画像検索プログラム、画像検索装置、及び画像検索方法 |
| JP2020074967A (ja) * | 2018-11-08 | 2020-05-21 | 富士通株式会社 | 画像検索プログラム、画像検索装置、及び画像検索方法 |
| JP2020181250A (ja) * | 2019-04-23 | 2020-11-05 | 富士通株式会社 | びまん性症例画像判定プログラム、システム、及び方法 |
| CN113269868A (zh) * | 2021-04-30 | 2021-08-17 | 哈雷医用(广州)智能技术有限公司 | 一种人体肿瘤三维虚拟模型的建立方法和装置 |
| WO2021215357A1 (ja) * | 2020-04-21 | 2021-10-28 | 富士フイルム株式会社 | 画像処理装置、画像表示システム、画像処理方法及びプログラム |
| WO2021220873A1 (ja) * | 2020-04-30 | 2021-11-04 | ソニーグループ株式会社 | 生成装置、生成方法、生成プログラム及び診断支援システム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010167042A (ja) * | 2009-01-21 | 2010-08-05 | Canon Inc | 医用診断支援装置及びその制御方法、並びに、プログラム |
| JP2016016265A (ja) * | 2014-07-10 | 2016-02-01 | 株式会社東芝 | 画像処理装置、画像処理方法及び医用画像診断装置 |
-
2016
- 2016-06-01 JP JP2016110462A patent/JP6693278B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010167042A (ja) * | 2009-01-21 | 2010-08-05 | Canon Inc | 医用診断支援装置及びその制御方法、並びに、プログラム |
| JP2016016265A (ja) * | 2014-07-10 | 2016-02-01 | 株式会社東芝 | 画像処理装置、画像処理方法及び医用画像診断装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019130236A (ja) * | 2018-02-02 | 2019-08-08 | ゼネラル・エレクトリック・カンパニイ | 超音波診断装置及びその制御プログラム |
| JP2020061000A (ja) * | 2018-10-11 | 2020-04-16 | 富士通株式会社 | 画像検索プログラム、画像検索装置、及び画像検索方法 |
| JP7082287B2 (ja) | 2018-10-11 | 2022-06-08 | 富士通株式会社 | 画像検索プログラム、画像検索装置、及び画像検索方法 |
| JP2020074967A (ja) * | 2018-11-08 | 2020-05-21 | 富士通株式会社 | 画像検索プログラム、画像検索装置、及び画像検索方法 |
| JP7273285B2 (ja) | 2018-11-08 | 2023-05-15 | 富士通株式会社 | 画像検索プログラム、画像検索装置、及び画像検索方法 |
| JP2020181250A (ja) * | 2019-04-23 | 2020-11-05 | 富士通株式会社 | びまん性症例画像判定プログラム、システム、及び方法 |
| JP7326845B2 (ja) | 2019-04-23 | 2023-08-16 | 富士通株式会社 | びまん性症例画像判定プログラム、システム、及び方法 |
| WO2021215357A1 (ja) * | 2020-04-21 | 2021-10-28 | 富士フイルム株式会社 | 画像処理装置、画像表示システム、画像処理方法及びプログラム |
| JP7430249B2 (ja) | 2020-04-21 | 2024-02-09 | 富士フイルム株式会社 | 画像処理装置、画像表示システム、画像処理方法及びプログラム |
| WO2021220873A1 (ja) * | 2020-04-30 | 2021-11-04 | ソニーグループ株式会社 | 生成装置、生成方法、生成プログラム及び診断支援システム |
| CN113269868A (zh) * | 2021-04-30 | 2021-08-17 | 哈雷医用(广州)智能技术有限公司 | 一种人体肿瘤三维虚拟模型的建立方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6693278B2 (ja) | 2020-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6693278B2 (ja) | 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 | |
| Krishnamurthy et al. | Three-dimensional lung nodule segmentation and shape variance analysis to detect lung cancer with reduced false positives | |
| Balagurunathan et al. | Test–retest reproducibility analysis of lung CT image features | |
| US9594871B2 (en) | Similar case retrieval apparatus, similar case retrieval method, non-transitory computer-readable storage medium, similar case retrieval system, and case database | |
| JP5098559B2 (ja) | 類似画像検索装置、及び類似画像検索プログラム | |
| Liu et al. | An assisted diagnosis system for detection of early pulmonary nodule in computed tomography images | |
| US7639890B2 (en) | Automatic significant image generation based on image characteristics | |
| US9123095B2 (en) | Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties | |
| JP4905967B2 (ja) | 類似症例検索装置、方法、およびプログラム | |
| Li et al. | Automatic benign and malignant classification of pulmonary nodules in thoracic computed tomography based on RF algorithm | |
| JP4976164B2 (ja) | 類似症例検索装置、方法、およびプログラム | |
| Orozco et al. | Lung nodule classification in CT thorax images using support vector machines | |
| US20110317892A1 (en) | Method and system of classifying medical images | |
| EP3373194B1 (en) | Image retrieval apparatus and image retrieval method | |
| EP2338122A1 (en) | System and method for fusing clinical and image features for computer-aided diagnosis | |
| US20180060723A1 (en) | Cascaded neural networks | |
| Engeland et al. | Finding corresponding regions of interest in mediolateral oblique and craniocaudal mammographic views | |
| EP3685401B1 (en) | Method and apparatus for deriving a set of training data | |
| Aggarwal et al. | Semantic and content-based medical image retrieval for lung cancer diagnosis with the inclusion of expert knowledge and proven pathology | |
| US20150100246A1 (en) | System and method for predicting colon cancer recurrence | |
| Shallu et al. | Detection and analysis of lung cancer using radiomic approach | |
| CA3111320A1 (en) | Determination of a growth rate of an object in 3d data sets using deep learning | |
| Al-Karawi et al. | An evaluation of the effectiveness of image-based texture features extracted from static B-mode ultrasound images in distinguishing between benign and malignant ovarian masses | |
| Bove et al. | A CT-based transfer learning approach to predict NSCLC recurrence: The added-value of peritumoral region | |
| JP2006130049A (ja) | 画像読影支援方法、およびシステム、ならびにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6693278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |