JP2004157623A - 検索システム及び検索方法 - Google Patents

Abstract

【課題】画像に付与された文を元に類似画像を検索するシステムにおいて、所望の画像を早く容易に検索できるシステムを提供する。
【解決手段】キーワードによる基本的な検索機能と、１つ以上の画像選択に基づく連想検索機能を組み合わせる。
【効果】画像について検索者が見落としていた、あるいは意識していなかったキーワードや特徴量についても自動で抽出され、医師の見落としていた関連症例についても検索可能となる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像に付与された文をもとに、類似画像を検索する検索システム及び検索方法に関する。
【０００２】
【従来の技術】
１９９９年に厚生省が診療情報保存の電子化を認可したことに伴い、医療の質と効率の向上を目的として、検査画像情報や診療情報と会計情報などの各種の情報をＩＴ（情報技術）により統合した医療情報システムが構築されつつある。例えば、医療事務会計システム、診療予約システム、診療情報システム及び検査、薬剤等の各部門の情報処理システムを含む包括的なシステムとして、病院情報システムＨＩＳ （Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ） が挙げられる。また、医用画像を院内で扱う情報システムとして、放射線情報システム（ＲＩＳ：Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）、画像保存管理システム（ＰＡＣＳ：Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ Ｃｏｍｍｕｉｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、読影レポートのためのレポーティングシステムがある。ＨＩＳと、ＲＩＳやＰＡＣＳとの連携により、例えば、読影医が手元の端末で検査オーダーを出し、結果画像を受け取り、診断対象患者の過去の診断画像例や問診票等を必要に応じて参照する、といったことが可能となってきている。
【０００３】
読影レポート作成時において、典型症例や患者の過去の診断画像することは、若い医師の教育的観点から重要であり、また診断が難しい症例の場合の診断支援としても重要である。読影のルーチンワークにおいては患者の当該画像以外を参照することはほとんどないが、熟練医でも一日のうち１件ほど、読影時間に３０分程度時間を要する症例があるとも聞く。また、医療過誤を減らす意味でも、医師の見落としの可能性がある症例を提示することは、重要となってくる。
【０００４】
類似症例画像を検索する手段として、これまでにもさまざまな方法が提案されてきた。例えば、特開２００２−６３２８０には、診断画像に患者ＩＤ、撮影日、症病名等を関連付けてデータベースに保存しておき、所見情報のキーワードを元に後から患者の過去診断画像や典型症例画像を検索できるシステムが提案されている。
【０００５】
また、症例画像に付与するキーワードを標準化した例として、特開平６−２９２６５６がある。この文献では、画像に対し、医師が予め標準化されている所見項目表を参照し、情報記号を付与していくことでデータベースを構築し、付与された記号を用いて関連画像検索を行う。
【特許文献１】特開２００２−６３２８０号
【特許文献２】特開平６−２９２６５６
【発明が解決しようとする課題】
しかし、特開２００２−６３２８０では、所望の画像を検索する際に、特定の内容を表すキーワードの表現や複数キーワードの選択を試行錯誤しなくてはならない。また、特開平６−２９２６５６では、付与した記号以外のものでは検索できない。
【０００６】
本願では、検索者が所望する類似症例画像に早く容易に到達でき、かつ、経験不足や見落としにより検索者が検索し忘れる可能性のある類似症例画像も検索結果として提示可能とすることを目的とする。課題をまとめると、以下の３点となる。
（１）キーワード表現や、キーワード組合せに試行錯誤しなくて済むようにする。
（２）類似症例画像を検索する際、検索者の想定する表現のみに依存しないようにする。
（３）検索結果あるいは選択画像が、どのような内容に基づいたものか、把握しやすくする。
【０００７】
【課題を解決するための手段】
上記（１）を解決するため、キーワードによる基本的な検索機能と、画像あるいは要約テンプレートによる連想検索機能を組み合わせる。これは、所望の画像を求めて検索を始める際に、まず「肺」「腫瘍」「影」等、検索者が最初に思いつく簡単な単語（検索文）で検索した後、結果である画像一覧から求めるものに近い画像を１つ以上選択し、選択画像に付与された言語情報（形態素や文節、係り受け構造、ファクト等）をキーとして、連想検索を行う。これにより、検索者が所望の画像を求めて適切なキーワードの表現や組合せを試行錯誤する労力が軽減される。なお、本願明細書で検索文とは、キーワードや文節、文章等を含むものとする。
【０００８】
上記（２）を解決するために、画像一覧から関連画像を選択し、連想検索を行うようにする。これにより、画像について検索者が見落としていた、あるいは意識していなかったキーワードや特徴量についても、選択画像に付与された言語情報から自動で抽出され、その結果、医師の気づかなかった表現等で連想検索が実行されることにより、医師の気づかなかった関連症例についても検索可能となる。
【０００９】
上記（３）を解決するために、画像に付与された文書について言語解析を行い、形態素、文節、係り受け構造、ファクト等の言語情報を付与し、画像集合に付与された言語情報を基に、画像集合に特徴的な要約テンプレートを検索結果画像一覧に並べて表示する。これにより、画像集合の内容把握を容易にする。
【００１０】
【発明の実施の形態】
図１は、医療機関等での読影の過程で蓄積する、所見データ１４１及び画像データ１４２を用いて、クライアント１１及び１２が、検索時のキーワードの選択や表現に煩わされることなく、データベース１４２内の適切な類似症例画像を簡便に取得する方法を実現する全体構成の一例を示したものである。１４３は、所見データ１４１を言語解析して得られる言語情報データベースを表す。詳細については後述する。以下、（１）画像による２次検索、（２）要約テンプレートによる２次検索、（３）要約テンプレートと画像の同時表示（連動）、という３つの特徴に分けて、実施例を挙げる。
【００１１】
（実施例１）
画像による連想検索の実施例について説明する。画像を選択し、それをキーとして連想検索を行うためには、クライアント側で、何らかの形で画像一覧を表示しておく必要がある。ここでは、最初に、従来通りのキーワード検索により、検索結果の画像集合を一覧表示し、次に画像を１つ以上選択し、選択画像をキーとして連想検索を行う実施例を考える。以降、最初のキーワード検索を１次検索と呼び、画像一覧を得た後の検索を、２次検索と呼ぶことにする。
【００１２】
図２は、検索クライアント画面の一例を表したものである。まず、１次検索を行うため、２３１に検索対象を表す簡単な表現を入力する。例えば、「肺」「腫瘍」「影」等の単語を一つ指定したキーワード検索を行う。あるいは、患者ＩＤや撮影日などの情報を、２３２および２３３に指定して、検索を行う。検索ボタン２３４をクリックし、１次検索を実行する。図３は１次検索後のクライアント画面を表したものである。図３の３１は、一次検索結果の画像集合を表す。３１２は、各画像に特徴的なキーワードや文断片を表す。各画像には、３１１に示すような、選択、非選択状態を表すボックスが並置されており、連想検索用のキー画像の選択に用いる。選択、非選択状態は、ボックスをマウス等でクリックするか、範囲指定して画像を複数同時に選択する。
【００１３】
ここで検索者は、所望の画像に近いあるいはそれと同じ症例であると思われる画像を１つ以上選択する。ここでは例として、３２１、３２２、３２３、３２４を選択したとする。図４は、画像を選択した状態のクライアント画面を表す。ここで、クライアントの連想検索ボタン４３をクリックすると、選択した画像集合を基に連想検索が行われ、図５のような検索結果が得られる。連想検索の詳細については、以下で述べる。
＜＜連想検索詳細＞＞
次に、連想検索手段の中身について、もう少し詳しく説明する。検索サーバは、クライアントから送られてきた画像ＩＤに従い、図１に示す言語情報データベース１４３から、検索者が選択した画像に付与された言語情報を抽出し、連想検索で用いる重みつきベクトル（以降、言語情報ベクトルと呼ぶ）を作成する。
【００１４】
ここで言う言語情報とは、所見文を解析して得られる形態素、文節、（部分）係り受け構造、ファクト等を言う。形態素とは、意味を表す最小単位で、自立語と付属語が存在する。文節とは、自立語連続とそれに続く付属語の連続から構成される単位である。係り受け構造とは、文節内の形態素の間や、文節間における意味的関係を明らかにしたものである。例えば、図７に示した通り、所見文「脳溝に点状石灰化を認めるが、その他明らかな石灰化は指摘できない。」に対して、７１において、記号“／”で区切られた単位が形態素の例を表し、７２において、記号“／”で区切られた単位が文節の例を表し、７３において、矢印で修飾関係を記述したグラフ構造が係り受け構造の例を表す。ファクトとは、文に記述されている事実関係をコンパクトに表現したもので、フィールド名と値のペア等、何らかの形で表現される。例えば医療分野では、部位、程度、変化、症状のあるなし、等の情報が重要であり、ファクトの例として、図８の様な例が挙げられる。図８において、８３１〜８３４が、所見情報ファクトにおけるフィールドを表し、８３５〜８３７が、左に隣接する対応するフィールドの値を表す。各言語情報の解析手段については後述する。
【００１５】
言語情報ベクトルのベクトル要素を決定するため、各画像に付与された言語情報の中から、検索結果画像集合に特徴的な言語情報を何らかの尺度で抽出する。一般に、ある文書群（本発明では、検索結果画像に付与されたレポートの所見文の集合）でよく現われる形態素、係り受け構造ほど、その文書群を代表する度合いも高いと考えられる。ただし、「する」等の文節や、“異常を”が、“認める”に係ったことを表現する、［異常を ［認める］ ］ 等の部分係り受け構造は、どの所見にもよく現われる一般構造なので、所見文集合を特徴づけるとは言い難い。よって通常は、所見文データベース全体での出現頻度も考慮して特徴度を決定する。つまり、指定された所見文集合中での出現頻度が高く、かつ、所見文データベース全体での総出現頻度が低い言語情報ほど、その所見文群でしか現われないという意味で特徴的な言語情報であり、その所見文集合を特徴付けるものとして適切である。具体的には、所見文集合中のそれぞれの言語情報について、所見文集合中での出現頻度、所見文データベース全体での出現頻度を入力とする適当な関数により言語情報の重みを計算し、ある閾値以上の重みを持つ言語情報を、ベクトル要素として採用する。
【００１６】
一旦ベクトルが作成されると、その後の検索手段は、公知のキーワード検索手段により実現できる。すなわち、入力である言語情報ベクトルは、重み付きの言語情報の集合であるため、それぞれを重み付きのキーワードと見なしてＯＲ検索すればよい。その際、検索結果の画像の重み（類似度）は以下のように計算できる。言語情報ベクトルおよび検索先の画像に対応する各言語情報について、言語情報ベクトル中での重みと、検索先の画像における重み（例えば頻度）から総合的な重みを計算し（例えば両重みの積）、さらにそのような言語情報全てに関する重みを集計（例えば総和）することで類似度を得る。ここで、言語情報の種類（形態素であるか、係り受け構造であるか等）によって、重み計算の方法を変えてもよい。
＜＜フローチャート＞＞
以上の画像を用いた連想検索における検索手順を、図６のフローチャートにまとめる。まず、６１１から６１２にかけて、キーワード等を用いた類似画像の一次検索を行う。６１３は、一次検索後に検索画像一覧が表示された状態を表す。次に、ステップ６１４で、検索用のキーとなる画像を１つ以上選択する。選択画像が確定したら、ステップ６１５で、選択画像のＩＤをサーバに送信する。サーバでは、送信画像ＩＤを基に上記言語情報ベクトルを作成し、上記連想検索手段によって関連度の高い画像集合を検索し、ステップ６２４で、クライアントに、検索結果を送信する。
＜＜本発明の検索の特徴＞＞
本発明における検索の特徴は、従来の空間ベクトル法におけるように、ベクトル要素として形態素のみを用いるのではなく、文節、係り受け構造、ファクト等の情報と混合して用いる点である。これにより、係り受け情報のみを使った場合に生じる検索漏れを防ぎながら、かつより内容を正確に反映する検索結果を得ることができる。
【００１７】
また、別の特徴として、係り受け構造等の木構造の類似度計算を高速で行えるという点がある。通常、係り受け構造等の木構造において、中間ノード間の類似度（例えば、該ノードを構成する文節文字列の一致度等）や、ノードの省略や挿入（特定のノードを飛ばしてノード間の対応を取る）のペナルティを計算しながら、木構造全体の類似度を計算する場合、中間ノードの対応が幾通りも考えられるため、類似度計算のコストが高くなる。本発明では、係り受け構造の様々な部分構造を、一定の表現規則でキーワードとして表現し直し、上記言語情報ベクトルの要素とすることで、係り受け構造の類似度計算を高速で行うことができる。
【００１８】
具体的には、例えば「胃前壁に顕著な不整を認める。」という文に対し、図９の９１に見られるような係り受け構造が得られ、そこから、９２１、９２２、９２３という部分係り受け構造が得られる。これらの部分構造を展開し、文字列で表現すると、９３１の”胃前壁に／認める”、９３２の”不整を／認める”、９３３の”胃前壁に／不整を／認める”、といったキーワードが得られる。これらのキーワードに適当な重みを付けて（例えば、ノード数の多い部分構造から作成したキーワードの重みを大きくする）、通常の空間ベクトル法による類似度計算を行うことで、係り受け構造の類似度を織り込んだ類似画像計算を高速に行うことができる。
【００１９】
（実施例２）
実施例１では、画像集合を選択し、連想検索する手段について例示した。本実施例では、図１０を用いて、画像集合の特徴を表す要約テンプレートを用いた連想検索手段について説明する。
＜＜要約テンプレートによる連想検索手段＞＞
要約テンプレートとは、画像集合をよく説明する文の集合で、各文は文節単位に分割されており、文中の一部の文節は、選択リストとして少なくとも一部は縮退表示されている。例えば、図１３の要約テンプレートの例では、１３１１〜１３１６の文節から構成され、そのうち１３１２及び１３１４の文節は、表現に多様性がある部分として、リストあるいは縮退表示されている。
【００２０】
図１０は、実施例２におけるクライアント画面の例を表す。１０１０は、検索結果画像一覧を表し、１０２０は、１０１０における画像集合の特徴を表す要約テンプレートから構成される。図１０では、胃に関するテンプレートの１０２１と、肺に関するテンプレートの１０２２と、食道に関するテンプレートの１０２３が、要約テンプレートとして提示されている。要約テンプレートによる連想検索は、検索キーとして用いるテンプレートの選択と、選択したテンプレートの編集過程とから成る。要約テンプレートの編集手段としては、選択リストからの候補の選択、ワイルドカード化が挙げられる。勿論、この編集手段は、選択リストからの候補の選択、ワイルドカード化の少なくとも一方を有していればよい。例えば，図１４の要約テンプレートの例では、文節 １４２２、 １４２４、１４２６が選択リストとなっているが、１４２２のリストの要素のうち“粘膜”を選択し、１４２４から“顕著な”と“ｃｌｅａｒな”を選択し、１４２５の“不整を”という表現を、ワイルドカードを用いて“＊を”に変更し、１４２６は特に指定しない（全て選択したことに等しい）、といった編集を行うことができる。
【００２１】
ここでは、例として、胃に関するテンプレート１０２１を選択する。次にそのテンプレートを編集して、選択リスト１０２１１のうち、“ｃｌｅａｒな”と、“顕著な”を選択し、文節１０２１２の“不整を”のヲ格の名詞句をワイルドカードに変更すると、図１１の１１２１が得られる。要約テンプレートの選択および編集が確定した後、連想検索ボタン１１２４をクリックすると、選択した要約テンプレートの情報に基づいて連想検索が実行され、検索結果画像と、それを特徴づける新たな要約テンプレートが、図１２の例のように表示される。
【００２２】
要約テンプレートを用いた連想検索における検索手順を、図１５の処理フロー図にまとめる。まず、ステップ１５１１で一次検索用のキーワードを入力し、ステップ１５１２で前記キーワードをサーバ１５２に送信する。サーバ１５２は、ステップ１５２１で、従来の検索手段等により関連度を計算したあと、結果の画像集合に基づき、ステップ１５２２で、要約テンプレートを作成する。ステップ１５２３で、作成した要約テンプレートと検索結果の画像を、クライアント１５１に送信する。クライアント１５１は、ステップ１５１３で、受信した画像と要約テンプレートの表示を行う。ステップ１５１４で、検索に適切と思われる要約テンプレートの幾つかについて選択し、必要に応じて要約テンプレートの編集を行う。ステップ１５１５で、選択、編集済みの要約テンプレートをサーバ１５２に送信する。サーバ１５２は、ステップ１５２４で、受信した要約テンプレートを基に、形態素、文節、係り受け構造、ファクト等の情報を抽出し、連想検索に用いる言語情報ベクトルを構成する。言語情報ベクトルを用いての検索の詳細は、実施例１で述べた手段と同様の手段を用いることができる。ステップ１５２５で、検索結果の画像集合に対する要約テンプレートの作成を行う。そしてステップ１５２６で、連想検索結果の画像と要約テンプレートをクライアント１５１に送信する。以下、１５１３から１５２６までの連想検索ステップを繰り返す。
＜＜要約テンプレート作成手段＞＞
検索結果画像群と供に表示される要約テンプレートを作成するため、まず各画像に付与された言語情報の中から、検索結果画像集合に特徴的な言語情報を何らかの尺度で抽出する。次にこれらの言語情報を、幾つかの文集合の形にまとめ上げる。要約テンプレートの材料として用いる言語情報については、言語情報ベクトル作成手段で用いたのと同じ手段を用いることができる。すなわち、クライアントから送られてきた画像ＩＤについて、データベース１４３から対応する言語情報を呼び出し、選択画像の所見文集合中での出現頻度、所見文データベース全体での出現頻度を入力とする適当な関数により、各言語情報の重みを計算し、ある閾値以上の重みを持つ言語情報を要約テンプレートの材料として採用する。
【００２３】
次に、こうして選択された言語情報のうち、文全体の係り受け構造やファクトを用いて形態素列の形に表現し、共通する形態素や文節を探索する。十分共通項が多く、類似の文であると判断された場合（例えば、図１６の１６０１〜１６０６）、共通でなかった部分について（１６７１、１６７３、１６７５）、選択リストの形で縮退させ、一つの文として表現する。選択リスト要素には、上記過程で所見文集合に特徴的として選ばれた形態素や文節のみを要素とするようにしてもよい。複数の文をまとめるには、公知のクラスタリング手段と動的計画法を組み合わせることができる。例えば、構造的な特徴が最も近い文を２つ選び、対応する文節を動的計画法により決定し、非対応部分を選択リストにする。複数の文の中から、縮退した２つの文を取り除き、新たに作成された要約テンプレート（文）を加え、同じ過程を繰り返す。全ての文の組合せについて、文の類似度が、特定の閾値を越えない場合、終了する。最終的には、１つ以上の要約テンプレートが作成される。
【００２４】
（実施例３）
要約テンプレートと画像を供に表示する手段について説明する。画像集合と要約テンプレートを見やすい形で同時に表示し、また、画像の選択と要約テンプレートの表示を連動させることで、検索結果画像集合の内容把握を容易にするだけでなく、実施例１を実行する際の画像選択を容易にする。図１７は、検索画像一覧と、画像集合に対する要約テンプレートを並置したクライアント画面例を表す。１７０１が検索類似画像を表し、１７２１、１７２２、１７２３が、要約テンプレートを表す。ここで、実施例１における手段を実行するため、検索者が仮に画像１７１１、１７１２、１７１３を選択したものとする。すると、それに連動して、１７２１、１７２２、１７２３の要約テンプレートが更新され、図１８の要約テンプレート、１８２１が得られる。選択画像を確定した後、実施例１で述べた手順に従い連想検索を行うか、上記実施例２で述べた手順に従い要約テンプレートを編集し、実施例２に従い連想検索を行う。
【００２５】
以上の要約テンプレートの表示過程を、図１９の処理フロー図にまとめる。ステップ１９１３は、一次検索後に、検索結果画像一覧と、該画像集合に関する要約テンプレートが表示されている状態を表す。まず、ステップ１９１４で、検索者が画像の選択を行う。クライアント１９１は、選択画像の更新を認識し、画像ＩＤの集合と処理要求を、サーバ１９２に送信する。サーバ１９２は、ステップ１９２４で、受信した処理要求を認識し、受信した画像ＩＤ集合を特徴付ける要約テンプレートを作成し、クライアントに送信する。クライアント１９１は、ステップ１９１５で、受信した要約テンプレート再描画する。ステップ１９１６で選択画像が確定していなければ、１９１４から１９１５までのステップを繰り返す。
【００２６】
以下、各実施例に共通の事項を説明する。
（各種データベースの蓄積）
本発明における類似画像検索は、読影レポートによって画像に付与される所見文を基にしている。病院や診療所においては、診察に訪れた患者に対して問診票の作成を行い、必要とあればＣＴ、ＭＲ等による患部の撮影依頼を関係する部門に行う。撮影依頼を受けた各部門では、図１の撮影装置１５等を用いて患部の撮影を行う。次に、医師本人あるいは専門の読影医が患者の診断画像を見ながら、「下腹部に明らかな腫瘍を認める。」等の所見文を入力する。この際、本発明の連想検索等を用いて別の症例画像を検索することもある。こうして蓄積された所見文に対し言語解析を行い、画像と言語情報との対応をとったまま、画像は画像データベースに、言語解析結果は言語情報データベースに記録する。
【００２７】
ここでは、上記読影レポート作成過程をモデルとして、画像データベース、所見データベース、言語情報データベースの蓄積過程および、類似画像検索過程におけるデータ送受信の詳細について述べる。
【００２８】
図２０は、読影レポート作成時に、撮影機器、読影クライアント、検索サーバ間で行われるデータ送受信と処理フローを表す。まず、ステップ２０１１で、医師からの撮影依頼に基づいて、患者の患部画像の撮影を行い、ステップ２０１２で、患部画像をサーバ２０３に送信する。サーバ２０３は、患部画像を受信し、適切なＩＤを付与して画像データベースに保存する。次に、読影クライアント２０２は、ステップ２０２１で、サーバ２０３に撮影済みの患部画像の送信要求を行う。サーバ２０３は、ステップ２０３２で、該当する患部画像を読影クライアント２０２に送信する。この際、読影クライアント２０２では、受信した撮影患部画像を見ながら、加えて類似症例画像検索を行いながら、所見文を作成する。以下に、読影の際に類似画像検索を行った場合のフローを記述する。
【００２９】
まず、ステップ２０６１において、一次検索用の簡易なキーワードを入力する。次にステップ２０６２で、検索キーワードを送信し、サーバ２０３がキーワードを受信する。サーバ２０３は、ステップ２０７１で、受信キーワードをもつ画像について関連度を計算し、ステップ２０７２で、検索画像集合に対する要約テンプレートを作成する。ステップ２０７３で、検索画像集合と作成した要約テンプレートを送信する。読影クライアント２０２は、ステップ２０６３で、受信した画像と要約テンプレートを表示する。表示された一連の画像を見ながら、ステップ２０６４で、関連すると思われる症例画像を選択する。ステップ２０６５で、クライアントは画像が選択されたことを認識し、選択された画像ＩＤの集合と、要約テンプレートを更新するという処理要求を、サーバ２０３に送信する。サーバ２０３は、ステップ２０７４で、受信した画像ＩＤに基づき、該画像集合に関する要約テンプレートを更新する。ステップ２０６６で、更新された要約テンプレートを受信し、要約テンプレートの再描画を行う。選択画像が確定するまで、ステップ２０６４から２０６６までの要約テンプレート再描画過程を繰り返す。選択画像が確定すると、ステップ２０６７で、選択画像ＩＤ集合と、連想検索をするという処理要求をサーバ２０３に送信する。サーバ２０３は、ステップ２０７５で、受信した画像ＩＤ集合を基に、言語情報ベクトルを作成する。ステップ２０７６で、前記言語情報ベクトルを用いて連想検索を行う。ステップ２０７７で要約テンプレートを作成し、ステップ２０７８で画像と要約テンプレートをクライアントに送信する。クライアント２０２は、ステップ２０６８で、検索結果画像の集合と要約テンプレートを表示する。
【００３０】
以上の過程で得られた関連画像や、撮影された患者画像を参照しながら、ステップ２０２２で、当該患者の所見を入力する。ステップ２０２３で、作成済み読影レポートを、サーバ２０３に送信する。サーバ２０３は、ステップ２０３３で、受信した所見を、対応する画像のＩＤと供に、所見データベースに保存する。ステップ２０３４で、所見文を言語解析し、ステップ２０３５で、解析結果の言語情報を、対応する画像のＩＤと供に、言語情報データベースに保存する。
＜＜所見文の言語解析＞＞
所見付き画像データの蓄積過程において実行される、所見文の言語解析方法の一例を以下に示す。所見文においては、診断名、部位、症状、程度、経過等の内容が重要である。そのため、言語解析段階では、従来の検索技術で着目されてきた名詞や動詞、あるいは名詞と動詞のペアだけでなく、「〜しない」「〜する」等の助動詞や、「疑わしい」等の表現、「やや」「ほぼ」等の形容詞や副詞表現を判別し、対応する内容を抽出することも重要となる。ここでは、形態素解析、文節解析、係り受け解析、ファクト抽出からなる言語解析を考え、以下言語解析の各段階について説明する。
形態素解析
所見文を、形態素と呼ばれる言語単位に分解し、動詞、名詞、格助詞、助動詞、形容詞、副詞、接続詞、連体詞等の品詞を付与する。通常、単独で意味を持つ自立語と、自立語に付属して意味を付け加えたり補足したりする付属語からなる。例えば、「明らかな腫大を認めない。」という文であれば、以下のような形態素解析結果が得られる。以下の表現で、括弧で囲まれた一行が、１形態素に対応し、各行は見出し語と品詞のペアからなる。
［明らか 形容動詞語幹］
［な 助動詞 体言接続］
［腫大 名詞］
［を 格助詞］
［認め 動詞 未然形］
［ない 助動詞 基本形］
［。 句点］
文節解析
文節とは、自立語の連続とそれに続く付属語の連続からなる単位で、以降の係り受け解析の単位となる。上記例文については、以下の３つの文節が得られる。括弧で囲まれた一行が一文節に対応し、各行は句の種類を表す記号と、文節を構成する文字列のペアから成る。
［ＡＤＪ 明らかな］
［ＮＰ 腫大を］
［ＶＰ 認めない。］
係り受け解析
係り受け解析では、文節間の修飾関係を明らかにする処理である。本発明では、その関係の全体や部分を検索キーとして用いるだけでなく、解析結果を基に、ファクト抽出処理を行う。上記例文については、以下の係り受け構造が得られる。
［ ［明らかな 腫大を］ 認めない。］
上記表現で、各括弧は、主文節を持ち、それは、括弧内の一番右側の文節を指すものとする。例えば、”［明らかな 腫大を］”という構造の主文節は、「腫大を」となる。また、連続する２つの括弧または文節は、左側の主文節が右側の主文節を修飾することを意味するものとする。従って、上記係り受け表現では、文節「明らかな」が「腫大を」を修飾し、「腫大を」が「認めない。」を修飾することを表している。
ファクト抽出
係り受け解析結果を基に、記述されている事実関係を明らかにする。これは、動詞とその動詞を修飾する名詞句に関するパターン、及び、抽出内容に関するルールを用いて実現することができる。例えば、“認める”という動詞を修飾する“ヲ格”の名詞句を修飾する形容詞を、ファクトの”程度”フィールドに記述する、といったルールが考えられる。
【００３１】
最後に、病院内情報システム、あるいは地域ネットワークにおいて、サーバに情報を蓄積しておき、連想検索を行う場合の実施例について述べる。
（実施例４）
図２１は、病院内での各部署と、部署間のネットワーク上の繋がりを模式的に表したものである。読影室２１１１、診察室２１１２、病棟２１１３が、検索クライアントに相当し、検査室２１１４は、Ｘ線やＣＴ等の画像データを生成する部署を表す。検索サーバは、データ管理室２１１６に存在する。各部署は、通信ネットワーク２１１５により接続されている。検索サーバは認証機能を持ち、必要に応じて検索データへのアクセスを制限することができる。
【００３２】
２１１４で撮影された画像に、２１１１で所見データが付与され、データ管理室２１１６に送られ、言語解析等の必要な処理が行われた後、各種データベースに蓄積されてゆく。２１１１、２１１２、２１１３では、実施例１、２等の連想検索手段を用いて、随時、類似症例画像について検索を行うことができる。
（実施例５）
実施例４では、検索用に参照できるデータは病院内で閉じていたが、地域の各病院が通信ネットワークを介して相互に接続し、相互のデータを参照できるようにしてもよい。図２２において、２２１０、２２２０、２２３０、２２４０、２２５０は個別の病院を表し、通信ネットワーク２２６０を介し、相互に接続されている。各病院は図２１で示したような機能を備えている。その際、病院内だけでなく、病院間に認証機構を導入し、病院間で同意が成立している場合のみ、データが参照できるようにすることもできる。
（実施例６）
別の実施形態として、データおよび検索サーバを、一元管理することも考えられる。図２３において、２３１０、２３２０、２３３０、２３４０、２３５０は、個別の病院を表す。実施例４、５の場合と異なり、検索サーバおよびデータベースは、個別の病院には存在しない。データ管理および検索サービスを提供するための会社あるいは組織を別に用意し、各病院が個別に管理組織との通信ネットワークを持つ。
【００３３】
なお、本願発明は以下の内容をも包含するものである。
１．検索クライアントにて、入力されたキーワードを、サーバーに送信する工程と、
前記サーバーで、複数の画像と前記複数の画像毎に付された前記画像の特徴を示す文書とを格納したデータベースを用いて、前記キーワードと類似度の高い画像の特徴を示す複数の文書を検索させ、前記複数の検索された文書に対応する複数の画像情報を、前記検索クライアントが、受信する工程と、
前記検索クライアントにて、前記複数の画像を表示する工程と、
前記検索クライアントにて、前記表示された複数の画像の中から、所定の画像を選択させる工程と、
前記検索クライアントから、前記選択された所定の画像の情報を、前記サーバーに送信する工程と、
前記サーバーで、前記所定の画像に付された特徴を示す文書をもとに、前記データベースを用いて前記所定の画像に付された特徴と類似度の高い文書を検索させ、前記類似度の高い文書に対応する画像を抽出させ、前記抽出された画像を、前記検索クライアントが受信する工程と、
前記検索クライアントにて、前記受信した画像を表示する工程とを有することを特徴とする検索方法。
２．検索クライアントにて、入力されたキーワードを、サーバーに送信する工程と、
前記サーバーで、複数の画像と前記複数の画像毎に付された前記画像の特徴を示す文書とを格納したデータベースを用いて、前記キーワードと類似度の高い画像の特徴を示す文書を検索させて、要約テンプレートを作成させ、前記類似度の高い画像と前記要約テンプレートを、前記検索クライアントが、受信する工程と、前記検索クライアントが、受信した前記類似度の高い画像と前記要約テンプレートを表示する工程と、
前記検索クライアントが、前記表示した要約テンプレートを編集させる工程と、前記検索クライアントは、前記編集された要約テンプレートを、前記サーバーに送信する工程と、
前記サーバーで、前記編集された要約テンプレートをもとに、前記要約テンプレートと類似度の高い文書を、前記データベースに格納された文書から検索し、その類似度の高い文書に対応する画像情報を、前記検索クライアントが受信する工程と、
前記検索クライアントは、前記受信した画像情報を、画面に表示する工程とを有することを特徴とする検索方法。
３．検索クライアントにて、入力されたキーワードを、サーバーに送信する工程と、
前記サーバーで、複数の画像と前記複数の画像毎に付された前記画像の特徴を示す文書とを格納したデータベースを用いて、前記キーワードと類似度の高い複数の画像の特徴を示す文書を検索させて、要約テンプレートを作成させ、前記類似度の高い複数の画像と前記要約テンプレートを、前記検索クライアントが、受信する工程と、
前記検索クライアントが、受信した前記類似度の高い複数の画像と前記要約テンプレートを表示する工程と、
前記検索クライアントが、前記複数の画像から、所定の画像を選択させる工程と、
前記検索クライアントが、前記選択された前記所定の画像に対応する要約テンプレートを表示する工程とを有し、
前記要約テンプレートは、前記所定の画像の選択に伴って連動して変化するようにされたことを特徴とする検索方法。
【００３４】
【発明の効果】
本発明により、所望する類似画像を早く容易に得ることができる。また、連想検索機能により、医師のミスによる検索漏れ及び医療過誤を減らすことができる。
【図面の簡単な説明】
【図１】検索システムの全体構成。
【図２】検索クライアント初期画面。
【図３】検索クライアント１次検索結果画面。
【図４】画像選択画面。
【図５】画像による連想検索結果画面。
【図６】画像による連想検索処理フロー。
【図７】言語情報例。
【図８】ファクト例。
【図９】係り受け構造の展開方法。
【図１０】要約テンプレートによる連想検索クライアント画面。
【図１１】要約テンプレート編集後クライアント画面。
【図１２】要約テンプレートによる連想検索後クライアント画面。
【図１３】テンプレート例。
【図１４】テンプレート編集例。
【図１５】要約テンプレートによる連想検索処理フロー。
【図１６】要約テンプレート作成方法。
【図１７】画像と要約テンプレートを同時表示したクライアント画面。
【図１８】画像の選択と表示要約テンプレート連動後のクライアント画面。
【図１９】画像と要約テンプレート表示連動処理フロー。
【図２０】読影過程処理フロー。
【図２１】病院内システム構成例。
【図２２】
地域内システム構成例。
【図２３】
地域内システム構成例。
【符号の説明】
１１：読影クライアント、１２：検索クライアント、１４：連想検索サーバ、１４１：所見データベース、１４２：画像データベース、１４３：言語情報データベース、１４６：要約テンプレート作成手段、２３１：キーワード入力ボックス、３１：検索結果画像一覧、３１１：画像選択チェックボックス、３２：連想検索ボタン、７１：形態素情報、７２：文節情報、７３：係り受け情報、８３−８４：抽出ファクト、９１：係り受け構造、９２１：部分係り受け構造、９３１−９３３：展開後の係り受け構造表現、１０２１−１０２３：要約テンプレート、１０２５：要約テンプレート選択チェックボックス、１３：要約テンプレート、１３１１−１３１６：文節、１４１：編集前要約テンプレート、１４３０：編集後要約テンプレート、１６０１−１６０６：所見文例、１６０７：１６０１−１６０６をまとめた要約テンプレート。

Claims (15)

1. 複数の画像と、前記複数の画像毎に付された前記画像の特徴を示す文書とを、格納したデータベースと、
   検索文を入力する入力手段と、
   前記データベースに格納された文書から、前記検索文と類似度の高い文書を、検索し、前記類似度の高い文書に対応する画像を、画面に表示する第１の手段と、
   前記表示された画像に付された、その画像の特徴を示す文書と類似度の高い文書を、前記データベースに格納された文書から、形態素解析、文節解析、係り受け解析、文に記述された事実関係を簡潔に表現し直したファクトを用いて検索し、その類似度の高い文書に対応する画像を画面に表示する第２の手段とを、
   有することを特徴とする検索システム。
2. 前記第１の手段は、前記類似度の高い文書に対応する画像を複数表示させる手段であり、
   前記検索システムは、更に前記複数の画像から所定の画像を選択する手段を有し、
   前記第２の手段は、前記選択する手段にて選択された画像に付された、その画像の特徴を示す文書と類似度の高い文書を検索する手段であることを特徴とする請求項１記載の検索システム。
3. 前記第１の手段は、更に、表示した画像に付されたその画像の特徴を示す要約テンプレートを表示する手段を有することを特徴とする請求項１記載の検索システム。
4. 前記第２の手段にて行われる文書間の検索は、文書に現われる形態素、文節、文節間の係り受け構造、係り受け構造より抽出したファクトを用いて行われることを特徴とする請求項１記載の検索システム。
5. 前記画像は、診断画像であり、前記第２の手段にて行われる文書間の検索は、前記診断画像に特徴的な、診断名、部位、症状、程度、経過に関するファクトを用いて行われることを特徴とする請求項１記載の検索システム。
6. 前記第２の手段における検索は、通信ネットワークを介して行われることを特徴とする請求項１記載の検索システム。
7. 複数の画像と、前記複数の画像毎に付された前記画像の特徴を示す文書とを、格納したデータベースと、
   検索文を入力する入力手段と、
   前記データベースに格納された文書から、前記検索文と類似度の高い文書を検索し、画像集合を説明する文の集合である要約テンプレートを作成して画面に表示する第１の手段と、
   前記要約テンプレートを編集させる手段と、
   編集された前記要約テンプレートをもとに、編集後の要約テンプレートと類似度の高い文書を、前記データベースに格納された文書から検索し、その類似度の高い文書に対応する画像を画面に表示する第２の手段とを、
   有することを特徴とする検索システム。
8. 前記第２の手段は、更に、表示した画像に付されたその画像の特徴を示すテンプレートを表示する手段を有することを特徴とする請求項７記載の検索システム。
9. 前記要約テンプレートを編集させる手段は、選択リストからの候補の選択またはワイルドカード化の少なくとも一方を有することを特徴とする請求項７記載の検索システム。
10. 作成された前記要約テンプレートは、文節単位に分割されており、前記文節の少なくとも一部は選択リストとして縮退表示されていることを特徴とする請求項７に記載の検索システム。
11. 前記第１の手段は、更に前記検索文と類似度の高い文書に対応する画像を、画面に表示することを特徴とする請求項７に記載の検索システム。
12. 前記検索文は、キーワードであることを特徴とする請求項７記載の検索システム。
13. 複数の画像と、前記複数の画像毎に付された前記画像の特徴を示す文書とを、格納したデータベースと、
    検索文を入力する入力手段と、
    前記データベースに格納された文書から、前記検索文と類似度の高い文書を検索し、前記類似度の高い文書に対応する複数の画像を画面に表示する第１の手段と、
    前記複数の画像から、所定の画像を選択させる手段と、
    前記選択された前記所定の画像に対応する要約テンプレートを表示する第２の手段と、
    前記要約テンプレートは、前記所定の画像の選択に伴って連動して変化するようにされたことを特徴とする検索システム。
14. 前記要約テンプレートは、文節単位に分割されており、前記文節の少なくとも一部は選択リストとして縮退表示されていることを特徴とする請求項１３に記載の検索システム。
15. 更に、前記要約テンプレートを編集させる手段と、
    編集された前記要約テンプレートをもとに、編集後の要約テンプレートと類似度の高い文書を、前記データベースに格納された文書から検索し、その類似度の高い文書に対応する画像を画面に表示する第３の手段とを、
    有することを特徴とする検索システム。

Images