(基礎となった知見)
まず、本開示に係る一態様の着眼点について説明する。
特許文献1は、診断対象画像に基づく画像診断時に疾患の判断に有用な症例画像又はその疾患に関する統計情報等を提示する画像診断支援装置を開示する。当該画像診断支援装置による検索結果の画面は、診断対象画像及び疾患別の代表症例の情報を表示する。具体的には、前記検索結果の画面は、i)上位3つの疾患A、D、Gの代表症例の画像、ii)疾患別に診断対象画像との類似度、登録症例数及び代表症例数、iii)検索件数(検索された疾患の総数)、及び、iv)一画面に表示できない他の疾患の情報を参照するための「ページ送り」のソフトボタン等を表示する(特許文献1の段落[0062]から[0063]及び図6(E)参照)。
診断対象画像を用いて患者の疾患を判断する際、病名が特定されていない場合がある。この場合、はじめから疾患別の代表症例を表した画像を見て診断するよりも、むしろ、予め検索結果の症例画像を疾患別に区分けるのではなく、前記診断対象画像との類似度が高い症例画像を幅広く見て判断した方がよい場合もある。しかし、特許文献1では、前記検索結果の初期画面において、疾患名毎に代表症例の画像が類似度順に並べて表示される(特許文献1の図6(E)参照)。そのため、特許文献1では、予め選択された代表症例の疾患名の範囲で患者の疾患名を特定することになる。即ち、初期画面において既に選択肢が制限された範囲において医師は診断することになる。その結果、医師が適切な判断をすることができないおそれもあり得る。一方、最初の段階では幅広く症例画像を観察するとしても、検索結果の症例画像の数は、例えば200件から300件等と膨大になることもあるため、必ずしも効率的にまたは適切に患者の疾患名を特定できない場合もある。
非特許文献1は、病変画像を用いて過去の類似症例を検索する機能により、上述のPACSなどに蓄積された臨床知識から、瞬時に的確な情報を抽出して提示し、医師の画像診断をサポートする類似症例検索システムを開示する。具体的には、本システムは、検査画像の病変の特徴が類似した症例画像を検索し、類似順に複数表示する。そして、表示された複数の症例画像より1つの参考症例画像を選択し、検査画像と並列に表示する(非特許文献1のp.12「2.2 本システムの特徴」及びFig.3)。
しかし、非特許文献1のように、検査画像の病変が類似した症例画像を、類似順に表示したとしても、検索結果の症例画像の数は、例えば200件から300件などと膨大となる場合がある。また、現実には、システムで検索した類似順通りに検査画像に表れた疾患に対応する症例画像が現れるとは限らない。そのため、システムで検索した類似順通りに症例画像を表示するだけでは、医師は必ずしも効率的にまたは適切に患者の疾患名を特定できない場合もある。このように、非特許文献1では、検索結果の症例画像の数が膨大である場合であっても、単に類似順に症例画像を表示することを示すにとどまる。そのため、非特許文献1では、検索結果の症例画像の数が膨大である場合に、どういう段階へ経て絞り込めば、効率的にまたは適切に患者の疾患名を特定できるかについて課題がある。
未だ病名が特定されていない読影対象の医用画像に表れている病変を検討するにあたって、既に病名が特定されている他の医用画像の中で前記読影対象の医用画像と類似する類似医用画を参照することは有効であると考えられる。しかし、このようなシステムを構築した場合、前記医用画像データベースに膨大な数の医用画像が登録されることになる。このような場合であっても、前記読影対象の医用画像を診断する上で参考となる類似医用画像を効果的に医師に提示することが望まれる。
以上の考察により、以下の各態様を想到するに至った。
本開示の第1の態様は、
医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムに接続し、ディスプレイを有する情報端末の制御方法であって、
前記ディスプレイには読影対象候補の中から選択された一の読影対象の医用画像である対象医用画像が表示され、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す第1指定情報を検知させ、
前記第1指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
前記対象医用画像の表示に用いる第1表示領域と、前記複数の類似医用画像の中の所定数の画像を、前記対象医用画像との類似度が高い順番に横方向に配列表示する第2表示領域とを含む表示画面を表示させ、前記表示画面は病名選択に用いる第3表示領域を含み、
前記第3表示領域を用いて複数の病名が選択された場合、前記選択された複数の病名の各々に対応する対応類似医用画像を、前記複数の類似医用画像の中から選択させ、前記選択された複数の病名の単位で前記対応類似医用画像を区分けして前記対象医用画像との類似度が高い順番に縦方向に前記第2表示領域に配列表示させるものである。
本態様によると、まずは、前記複数の類似医用画像を、前記対象医用画像との類似度が高い順番に横方向に配列表示させる。即ち、前記対象医用画像との関係で参照画像を絞り込む前の段階では、画像の表示数が限られた前記第2表示領域に、可能な限り多くの類似医用画像を、病名に関わらず前記対象医用画像との類似度との関係で表示させる。そして、前記対象医用画像との類似度が高い順番に横方向に前記類似医用画像を配列表示させるので、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
次に、病名を選択して類似医用画像を絞り込んだ後は、前記選択した病名の単位で区分けする。そのため、前記対象医用画像に表れている病変の病名を特定するにあって、前記類似医用画像を病名単位で比較参照できるので、効率よく比較精度を向上させることができる。そして、前記対象医用画像との類似度が高い順番に縦方向に前記類似医用画像を前記第2表示領域に表示させるので、前記選択された病名にまたがって、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
従って、前記対象医用画像との関係で参照画像を絞り込む前の段階においても、また、病名を選択して類似医用画像を絞り込んだ後の段階においても、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
そのため、前記対象医用画像との関係で参照画像を絞り込む前の段階においても、また、病名を選択して類似医用画像を絞り込んだ後の段階においても、前記第2表示領域の中の同様の領域(例えば、上部)を用いて、前記対象医用画像との関係で類似度の高い類似医用画像を、医師に優先的に検討させることができる。
このように効率的に比較精度を向上させるシステムを提供することで、診察精度の向上に寄与できる。
本開示の第2の態様は、
医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムに接続し、ディスプレイを有する情報端末の制御方法であって、
前記ディスプレイには読影対象候補の中から選択された一の読影対象の医用画像である対象医用画像が表示され、
前記情報端末のコンピュータに対して、
前記対象医用画像の中の関心領域を示す第1指定情報を検知させ、
前記第1指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
前記対象医用画像の表示に用いる第1表示領域と、前記複数の類似医用画像の中の所定数の画像を、前記対象医用画像との類似度が高い順番に横方向に配列表示する第2表示領域とを含む表示画面を表示させ、前記表示画面は病名選択に用いる第3表示領域を含み、
前記第3表示領域を用いて複数の病名が選択された場合、前記選択された複数の病名の各々に対応する対応類似医用画像を、前記複数の類似医用画像の中から選択させ、前記選択された複数の病名の単位で前記対応類似医用画像を区分けして前記対象医用画像との類似度が高い順番に横方向に前記第2表示領域に配列表示させ、
前記第2表示領域に配列表示された前記類似医用画像の中で前記医用画像との類似度が最も高い類似医用画像が、前記第1表示領域に最も近い位置に表示されるものである。
本態様によると、まずは、前記複数の類似医用画像を、前記対象医用画像との類似度が高い順番に配列表示させる。即ち、前記対象医用画像との関係で参照画像を絞り込む前の段階では、画像の表示数が限られた前記第2表示領域に、可能な限り多くの類似医用画像を、病名に関わらず前記対象医用画像との類似度との関係で表示させる。そして、前記対象医用画像との類似度が高い順番に横方向に前記類似医用画像を配列表示させるので、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
次に、病名を選択して類似医用画像を絞り込んだ後は、前記選択した病名の単位で区分けする。そのため、前記対象医用画像に表れている病変の病名を特定するにあって、前記類似医用画像を病名単位で比較参照できるので、効率よく比較精度を向上させることができる。そして、前記対象医用画像との類似度が高い順番に横方向に前記類似医用画像を前記第2表示領域に表示させる。さらに、本態様では、前記第2表示領域に配列表示された前記類似医用画像の中で前記対象医用画像との類似度が最も高い類似医用画像を、前記第1表示領域に最も近い位置に表示させる。そのため、横方向に前記類似医用画像を前記第2表示領域に表示させる場合であっても、前記選択された病名にまたがって、前記対象医用画像との類似度が高い類似医用画像が前記第1表示領域に近い側に集まる。
ここで、病名を選択して類似医用画像を絞り込むことは、医師が前記第1表示領域に表示される前記対象医用画像と、前記第2表示領域に表示される前記類似医用画像とを比較する工程に進んだことを意味する。本態様によると、病名を選択して類似医用画像を絞り込んだ後は、前記第1表示領域と前記第2表示領域とは、前記区分けして配列表示された前記対象医用画像との類似度が最も高い前記対応類似医用画像が前記第1表示領域に最も近い位置となるように前記表示画面において表示される。
このように効率的に比較精度を向上させるシステムを提供することで、診察精度の向上に寄与できる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記第3表示領域を用いて単一の病名が選択された場合、前記選択された単一の病名に対応する対応類似医用画像を、前記対象医用画像との類似度が高い順番に横方向に前記第2表示領域に表示させるようにしてもよい。
また、上記第1の態様又は上記第2の態様において、例えば、
前記第3表示領域を用いて単一の病名が選択された場合、前記選択された単一の病名に対応する対応類似医用画像を、前記対象医用画像との類似度が高い順番に縦方向に前記第2表示領域に表示させるようにしてもよい。
また、上記第1の態様又は上記第2の態様において、例えば、
前記対象医用画像の付属情報には病名情報は設定されておらず、前記受信した複数の類似医用画像の付属情報には病名情報が設定されているようにしてもよい。
前記対象医用画像の病変について病名が特定される前の段階において、既に病名が特定されている類似医用画像と、前記対象医用画像とを比較することで、前記対象医用画像に表れている病名の特定を検討することがある。本態様では、病名が特定されていない対象医用画像を前記第1表示領域に表示し、一方、病名が特定されている類似医用画像を前記第2表示領域に表示することで、前記対象医用画像と前記類似医用画像との比較を効率化し、前記対象医用画像に表れている病名の特定を効率化するシステムを提供することで、診察精度の向上に寄与できる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記区分けされた領域の中のいずれか一の領域において一つの拡大表示の指示を検知した場合、前記一の領域に対応する前記対応類似医用画像について、前記対応類似医用画像を表示する各表示枠の表示サイズを同一サイズに維持しつつ、前記対応類似症例画像の中の前記関心領域に相当する領域を中心として拡大させるようにしてもよい。
本態様は、前記区分けされた領域の中のいずれか一の領域において一つの拡大表示の指示を検知した場合、前記一の領域に対応する前記対応類似医用画像について、前記対応類似医用画像を表示する各表示枠の表示サイズを同一サイズに維持しつつ、前記対応類似症例画像の中の前記関心領域に相当する領域を中心として拡大させる。
これにより、前記区分けされた領域の中のいずれか一の領域において一つの拡大表示の指示によって、前記一の領域に対応する範囲において前記対応類似医用画像を拡大する。そのため、前記一の領域に対応する前記対応類似医用画像の各々について個々に拡大指示をする必要がなくなるので、操作効率を向上させることができる。
また、前記一の領域に対応する範囲において前記対応類似医用画像を拡大する際、前記対応類似医用画像を表示する各表示枠の表示サイズは同一サイズに維持される。そのため、前記一の領域に対応する前記対応類似医用画像を拡大させつつも、画像の表示数に制約があるディスプレイを有効活用して、前記一の領域に対応する前記対応類似医用画像の各々を拡大表示させることができる。
また、前記対象類似症例画像の中の前記関心領域に相当する領域を中心として拡大させる。そのため、前記対象類似医用画像の中で医師が関心を持つ領域を中心に、前記対応類似医用画像の各々が拡大されることになる。
また、前記類似医用画像の総数が膨大である場合、その全てと前記対象医用画像とを無造作に対比することは効率が悪い。本態様では、前記類似医用画像を病名の単位で区分けしている。その上で、本態様では、前記区分けされた領域の中のいずれか一の領域において選択的に画像を拡大させる。これにより、前記類似医用画像の総数が膨大である場合であっても、前記病名単位で区分けされた対応類似医用画像の中で、医師が関心を示した病名の画像に医師を集中させることができる。そのため、複数の病名の単位で前記類似医用画像が表示させた上で、医師は前記表示画面上において必要な情報の選択をさらに効率的に行うことができる。
以上により、一つの指示によって、前記ディスプレイの表示面積を有効活用しながら、医師が関心を持つ領域を中心に、前記対応類似医用画像を拡大させることができる。その結果、例えば、前記対象医用画像の類似医用画像の数が膨大であっても、その中から前記対象医用画像を診断する上で参考となる類似医用画像を効果的に選択させるので、医師により診療判断の向上に寄与できる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記受信した複数の類似症例画像の各々は、前記各類似症例画像の中の前記関心領域に相当する領域を示す第2指定情報を含み、
前記対応類似症例画像の中の前記関心領域に相当する領域を中心として拡大させる際、前記第2指定情報が示す前記関心領域に相当する領域の大きさに応じて、前記対応類似症例画像を拡大させるようにしてもよい。
複数の類似医用画像において、前記関心領域に相当する領域の大きさは同じではない場合がある。個々の類似医用画像に含まれる病片の大きさが異なり、また、過去に前記関心領域に相当する領域を付与した医師も異なるなどの理由による。
そのため、前記複数の類似医用画像の各々に含まれる前記関心領域に相当する領域を、前記複数の類似医用画像に共通する一定の割合で拡大した場合、前記関心領域に相当する領域が比較的小さいものは、前記関心領域に相当する領域は比較的小さく拡大され、一方、前記関心領域に相当する領域が比較的大きいものは、前記関心領域に相当する領域は比較的大きく拡大される。即ち、前記複数の類似医用画像を拡大しても、拡大された前記関心領域に相当する領域の大きさが、ばらばらとなって、前記対象医用画像との比較を行うにあたって、効率が低下する場合がある。
本態様によると、前記各類似症例画像の中の前記関心領域に相当する領域を中心として拡大させる際、前記第2指定情報が示す前記関心領域に相当する領域の大きさに応じて、前記各類似症例画像を拡大させる。
これによると、前記複数の類似医用画像を拡大した場合、拡大された前記関心領域に相当する領域の大きさのばらつきを、前記複数の類似医用画像間で、一定範囲に収束できる。
そのため、前記複数の類似医用画像について、前記拡大された関心領域に相当する領域を医師はほぼ同様の大きさにて観察できる。その結果、前記関心領域に相当する領域が一部の類似医用画像において小さい状態で拡大されたために見落としなどが発生するのを防止し、診断精度の向上を図ることができる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記第2指定情報が示す前記関心領域に相当する領域の大きさが第1サイズの場合、前記第2指定情報が示す前記関心領域に相当する領域が前記第1サイズより大きい第2サイズの場合に比べて、前記関心領域に相当する領域を大きく拡大させてもよい。
本態様によると、前記複数の類似医用画像を拡大した場合、拡大された前記関心領域に相当する領域の大きさのばらつきを、前記複数の類似医用画像間で、一定範囲に収束できる。具体的には、前記関心領域に相当する領域の大きさが比較的小さい類似症例画像の場合、前記関心領域に相当する領域を比較的大きく拡大させ、また、前記関心領域に相当する領域の大きさが比較的大きい類似症例画像の場合、前記関心領域に相当する領域を比較的小さく拡大させる。これにより、前記関心領域に相当する領域の大きさに依存することなく、前記拡大された前記関心領域に相当する領域の大きさを、ある程度同様の大きさに収束できる。
そのため、医師は、前記複数の類似医用画像について、前記拡大された関心領域に相当する領域をほぼ同様の大きさにて観察できる。その結果、前記関心領域に相当する領域が一部の類似医用画像において小さい状態で拡大されたために見落としなどが発生するのを防止し、診断精度の向上に寄与できる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記受信した複数の類似症例画像の各々は、前記各類似症例画像の中の前記関心領域に相当する領域を示す第2指定情報を含み、
前記各類似症例画像の中の前記関心領域に相当する領域を中心として拡大させる際、前記第2指定情報が示す前記関心領域に相当する領域の大きさが、前記複数の類似医用画像の各表示領域の表示サイズに対して所定の割合となる拡大率にて、前記各類似症例画像を拡大させるようにしてもよい。
複数の類似医用画像において、前記関心領域に相当する領域の大きさは同じではない場合がある。個々の類似医用画像に含まれる病片の大きさが異なり、また、過去に前記関心領域に相当する領域を付与した医師も異なるなどの理由による。
そのため、前記複数の類似医用画像の各々に含まれる前記関心領域に相当する領域を一定の割合で拡大した場合、前記関心領域に相当する領域が比較的小さいものは、前記関心領域に相当する領域は比較的小さく拡大され、一方、前記関心領域に相当する領域が比較的大きいものは、前記関心領域に相当する領域は比較的大きく拡大される。即ち、前記複数の類似医用画像を拡大しても、拡大された前記関心領域に相当する領域の大きさが、ばらばらとなって、前記対象医用画像との比較を行うにあたって、効率が低下する場合がある。
本態様によると、前記各類似症例画像の中の前記関心領域に相当する領域を中心として拡大させる際、前記第2指定情報が示す前記関心領域に相当する領域の大きさが、前記複数の類似医用画像の各表示枠の表示サイズに対して所定の割合となる拡大率にて、前記各類似症例画像を拡大させる。
これによると、前記複数の類似医用画像を拡大した場合、拡大された前記関心領域に相当する領域の大きさを、前記各表示枠の表示サイズとの関係でほぼ同様に揃えることかできる。
そのため、前記複数の類似医用画像について、前記拡大された関心領域に相当する領域を医師はほぼ同様の大きさにて観察できる。その結果、前記関心領域に相当する領域が一部の類似医用画像において小さい状態で拡大されたために見落としなどが発生するのを防止し、診断精度の向上に寄与できる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記関心領域の特徴量を示す情報を前記症例検索システムに送信させ、前記関心領域の特徴量と前記所定の類似度を有する類似医用画像とを前記症例検索システムから受信させるようにしてもよい。
また、上記第1の態様又は上記第2の態様において、例えば、
前記制御方法は、
前記情報端末のコンピュータに対して、
前記対象医用画像及び前記関心領域を示す前記第1指定情報を前記症例検索システムに送信させ、
前記医用画像及び前記第1指定情報から得られる前記関心領域の特徴量と前記所定の類似度を有する類似医用画像とを前記症例検索システムから受信させるようにしてもよい。
また、上記第1の態様又は上記第2の態様において、例えば、
前記対象医用画像は肺の医用画像であり、
前記類似医用画像は肺の医用画像であり、
前記第1表示画像は、
前記関心領域に相当する領域が肺の広範囲であることを示す所定の第1範囲に属する類似医用画像を選択させる第1分布情報、前記関心領域に相当する領域が肺の一部であることを示す前記第1範囲より低い所定の第2範囲に属する類似医用画像を選択させる第2分布情報、及び、前記関心領域に相当する領域が胸膜を含む類似医用画像を選択させる第3分布情報を含み、
前記第1分布情報から前記第3分布情報の中のいずれか一が選択された場合、前記選択された一の分布情報に対応する類似医用画像を選択して前記第2表示領域に表示させるようにしてもよい。
本態様によると、前記第2表示領域に表示された複数の類似医用画像を、さらに、前記関心領域に相当する領域の分布類型に基づいて仕分けできる。これにより、例えば、多数表示された類似医用画像の中から、前記対象医用画像に含まれる前記関心領域に症状が類似した類似医用画像を、効率的に選択できる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記第1分布情報が選択された場合、前記第1分布情報に対応する類似医用画像を、対応する表示枠に初期表示サイズにて表示させ、
前記第2分布情報が選択された場合、前記第2分布情報に対応する類似医用画像の中の前記関心領域に対応する領域を中心として、前記第2分布情報に対応する類似医用画像を、対応する表示枠内に拡大表示させ、
前記第3分布情報が選択された場合、前記第3分布情報に対応する類似医用画像の中の前記関心領域に対応する領域を中心として、前記胸膜を含んだ状態で、前記第3分布情報に対応する類似医用画像を、対応する表示枠内に拡大表示させるようにしてもよい。
本態様によると、前記関心領域に相当する領域の分布類型に基づいて類似医用画像を仕分けした際、仕分けに加え、前記分布類型に応じた表示をする。これにより、操作者は、前記関心領域に相当する領域の分布類型に基づいて類似医用画像を仕分けし、その後、前記分布類型に応じて類似医用画像を拡大し若しくは前記関心領域に相当する領域を中心にする処理などを別途行う必要がない。そのため、前記関心領域に相当する領域の分布類型に基づいて仕分けされたとは言え、その次に、前記仕分けされた多数の類似医用画像の一つ一つに対して同様の操作を繰り返し行う煩雑さを大幅に軽減できる。その結果、診療判断に向けられるべき医師の思考若しくは医師の集中力が操作の煩雑さにより中断されるのを大幅に軽減し、医師の思考若しくは医師の集中力を本来の診療判断に向けることができるので、診療判断の精度の向上を図ることができる。
また、上記第1の態様又は上記第2の態様において、例えば、
前記第1分布情報は、両側、多発性、びまん性又は血行性のカテゴリーに属する分布を示す情報であり、
前記第2分布情報は、区域性又は気道性のカテゴリーに属する分布を示す情報であり、
前記第3分布情報は、胸膜下のカテゴリーに属する分布を示す情報であるとしてもよい。
本態様によると、両側、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は類似医用画像が初期表示サイズで表示され、区域性又は気道性のカテゴリーに属する分布の場合は類似医用画像が拡大表示され、胸膜下のカテゴリーに属する分布の場合は胸膜を含んだ状態で類似医用画像が拡大表示される。
両側、多発性、びまん性又は血行性のカテゴリーに属する分布の場合は、肺全体に病変部が広がっている可能性又は肺の広範囲に病変部が生じている可能性が高いため、類似医用画像を初期表示サイズ、即ち、拡大させることなく表示させたいという医学的見地に基づくニーズが存在する。一方、区域性又は気道性のカテゴリーに属する分布の場合は、上述のような可能性が低い。そのため、区域性又は気道性のカテゴリーに属する分布を選択することにより類似医用を拡大表示させることで、拡大表示させるという1工程を省略させ、医師の集中力が中断されることを防止できる。また、胸膜下のカテゴリーに属する分布の場合は、胸膜と病変部との位置関係が診断においては重要な指標となるため、胸膜を含んだ状態で類似医用画像を拡大表示させたいという医学的見地に基づくニーズが存在する。
本開示の第3態様は、
医用画像を登録する医用画像データベースを参照して医用画像を検索する症例検索システムに接続し、ディスプレイを有する情報端末の制御方法であって、
前記ディスプレイには読影対象候補の中から選択された一の読影対象の医用画像である対象医用画像が表示され、
前記情報端末のコンピュータに対して、
前記前記対象医用画像の中の関心領域を示す第1指定情報を検知させ、
前記第1指定情報によって示された関心領域に応じて、前記関心領域の特徴量と所定の類似度を有する類似医用画像を前記症例検索システムから受信させ、
前記対象医用画像の表示に用いる第1表示領域と、前記複数の類似医用画像の中の所定数の画像を、前記対象医用画像との類似度が高い順番に縦方向に配列表示する第2表示領域とを含む表示画面を表示させ、前記表示画面は病名選択に用いる第3表示領域を含み、
前記第3表示領域を用いて複数の病名が選択された場合、前記選択された複数の病名の各々に対応する対応類似医用画像を、前記複数の類似医用画像の中から選択させ、前記選択された複数の病名の単位で前記対応類似医用画像を区分けして前記対象医用画像との類似度が高い順番に横方向に前記第2表示領域に配列表示させ、
前記第2表示領域に配列表示された前記類似医用画像の中で前記対象医用画像との類似度が最も高い類似医用画像が、前記第1表示領域に最も近い位置に表示されるものである。
本態様によると、まずは、前記複数の類似医用画像を、前記対象医用画像との類似度が高い順番に横方向に配列表示させる。即ち、前記対象医用画像との関係で参照画像を絞り込む前の段階では、画像の表示数が限られた前記第2表示領域に、可能な限り多くの類似医用画像を、病名に関わらず前記対象医用画像との類似度との関係で表示させる。そして、前記対象医用画像との類似度が高い順番に横方向に前記類似医用画像を配列表示させるので、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
次に、病名を選択して類似医用画像を絞り込んだ後は、前記選択した病名の単位で区分けする。そのため、前記対象医用画像に表れている病変の病名を特定するにあって、前記類似医用画像を病名単位で比較参照できるので、効率よく比較精度を向上させることができる。そして、前記対象医用画像との類似度が高い順番に縦方向に前記類似医用画像を前記第2表示領域に表示させるので、前記選択された病名にまたがって、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
従って、前記対象医用画像との関係で参照画像を絞り込む前の段階においても、また、病名を選択して類似医用画像を絞り込んだ後の段階においても、前記対象医用画像との類似度が高い類似医用画像が前記第2表示領域の上部に集まることになる。
そのため、前記対象医用画像との関係で参照画像を絞り込む前の段階においても、また、病名を選択して類似医用画像を絞り込んだ後の段階においても、前記第2表示領域の中の同様の領域(例えば、上部)を用いて、前記対象医用画像と関係で類似度の高い類似医用画像を、医師に優先的に検討させることができる。
さらに、本態様では、前記第2表示領域に配列表示された前記類似医用画像の中で前記対象医用画像との類似度が最も高い類似医用画像を、前記第1表示領域に最も近い位置に表示させる。そのため、前記選択された病名にまたがって、前記対象医用画像との類似度が高い類似医用画像が前記第1表示領域に近い側に集まる。
ここで、病名を選択して類似医用画像を絞り込むことは、医師が前記第1表示領域に表示される前記対象医用画像と、前記第2表示領域に表示される前記類似医用画像とを比較する工程に進んだことを意味する。本態様によると、病名を選択して類似医用画像を絞り込んだ後は、前記第1表示領域と前記第2表示領域とは、前記区分けして配列表示された前記対象医用画像との類似度が最も高い前記対応類似医用画像が前記第1表示領域に最も近い位置となるように前記表示画面において表示される。
このように効率的に比較精度を向上させるシステムを提供することで、診察精度の向上に寄与できる。
(実施の形態1)
以下本開示の一実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。また、実施の形態1では、検索結果を表示するディスプレイ形状を横長として説明する。
図1は、本実施の形態における情報端末が適用された病院情報システムの全体構成図である。図1に示すように、病院情報システムは、情報端末100、医用情報管理システム200、及び症例検索システム300を備えている。
情報端末100、医用情報管理システム200、及び症例検索システム300はネットワーク400を介して相互に通信可能に接続されている。
なお、医用情報管理システム200及び症例検索システム300は必ずしも病院の中に配置される必要はなく、病院外のデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバ等の上で動作するソフトウェアであってもよい。医用情報管理システム200及び症例検索システム300が病院内に設置されている場合、ネットワーク400としては、ローカルエリアネットワークが採用できる。ローカルネットワークとしては、IEEE802.3シリーズの有線LAN、IEEE802.11シリーズの無線LAN、或いは両者が混在するネットワークが採用できる。医用情報管理システム200及び症例検索システム300が病院外のサーバを用いて実現される場合、ネットワーク400としては、インターネットが採用できる。
情報端末100としては、パーソナルコンピュータやタブレット端末等の情報端末が採用される。医用情報管理システム200としては、PACS(Picture Archiving and Communication Systems)や電子カルテシステム等が採用される。
図2は、情報端末100、医用情報管理システム200、及び症例検索システム300の構成を示すブロック図である。図2に示すように、情報端末100は、ディスプレイ101、操作部102、入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、及び通信制御部110を備える。
ディスプレイ101は、例えば、液晶モニタにより構成され、診断対象となる医用画像及びカルテ画像を表示すると共に、診断結果を記入するためのレポート入力画像等を表示する。なお、ディスプレイ101は最低1台必要だが、通常、画像診断においては2〜3台のディスプレイ101が用いられる。本実施の形態では2台のディスプレイ101が用いられ、一方のディスプレイ101をディスプレイ101a(第2ディスプレイの一例)とし、他方のディスプレイ101をディスプレイ101b(第1ディスプレイの一例)とする(図3参照)。
また、ディスプレイ101aの表示画面は第2表示画面の一例であり、ディスプレイ101bの表示画面は第1表示画面の一例である。図3は、2台のディスプレイ101a、101bの外観図である。図3では、ディスプレイ101aには、4つの医用画像ビューワが2行2列の配置で表示されており、ディスプレイ101bには症例検索システム300の画面が表示されている。なお、ディスプレイ101を1台とした場合、第1表示画面及び第2表示画面は1台のディスプレイ101の表示画面上に領域を分けて表示される。
操作部102は、例えば、キーボード及びマウスを含み、情報端末100に対してユーザにより入力される種々の操作を受け付ける。例えば、操作部102は、ディスプレイ101に表示される医用画像及びカルテ画像に対するユーザからの操作、並びにレポート入力画面に対して診断結果を入力する操作等を受け付ける。
入力制御部103は、操作部102へのユーザの操作を検知すると、その操作の内容を解釈し、他の構成要素に操作内容を通知する。例えば、入力制御部103は、操作部102としてのマウスから出力される座標データからディスプレイ101上におけるマウスポインタの位置を検知し、ディスプレイ101上にマウスポインタを表示させる。そして、入力制御部103は、マウスがクリックされたことを検知したときにマウスポインタの表示位置に表示制御部104で生成されたGUI部品(例えば、GUIボタン)が表示されていれば、そのGUIをユーザが選択したと判定し、他の構成要素にそのGUI部品がユーザにより選択されたことを通知する。
表示制御部104は、情報端末100のGUI(Graphical User Interface)を生成し、ディスプレイ101に表示させる。
ROI管理部105は、類似症例検索を行う際に、後述する検索クエリ画像に対して設定される関心領域(Region Of Interest)を示す関心領域情報を生成してメモリに格納し、関心領域情報を管理する。
表示ボックス管理部106は、後述する表示ボックス管理情報4410(図35)をメモリに格納し、表示ボックス管理情報4410を管理する。
病名リスト管理部108は、症例表示領域710(図6)に表示された類似症例の病名リスト(図29)を生成してメモリに格納し、病名リストを管理する。
分布リスト管理部109は、症例表示領域710に表示された類似症例の病変分布を示す分布リスト(図34)を生成してメモリに格納し、分布リストを管理する。
通信制御部110は、例えば、情報端末100をネットワーク400に接続するための通信装置を含み、情報端末100及び医用情報管理システム200間の通信や、情報端末100及び症例検索システム300間の通信を制御する。また、通信制御部110は、他のブロックから種々のデータの送信依頼を受け付けて、医用情報管理システム200又は症例検索システム300に送信すると共に、医用情報管理システム200又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
図2に示すように、医用情報管理システム200は、患者情報蓄積部201、患者情報管理部202、医用画像データ蓄積部203、医用画像データ管理部204、診断レポート管理部205、及び通信制御部206を備える。
患者情報蓄積部201は、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録された患者情報1000(図16)を蓄積する。
患者情報管理部202は、患者情報蓄積部201に蓄積された患者情報1000(図16)に対して、ユーザから入力されたデータを登録して患者情報1000を更新する処理、及び患者情報1000を表示制御部104に出力する処理等を実行し、患者情報1000を管理する。医用画像データ蓄積部203は、患者の検査画像である医用画像データを蓄積する。
医用画像データ管理部204は、医用画像データを医用画像データ蓄積部203に蓄積し、医用画像データを管理する。
診断レポート管理部205は、患者に対して行われた各検査に対する医師による診断結果を示す診断レポート3000(図19)を管理する。
通信制御部206は、例えば、医用情報管理システム200をネットワーク400に接続するための通信装置を含み、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は症例検索システム300に送信すると共に、情報端末100又は症例検索システム300から送信されたデータを受信し、該当するブロックに渡す。
図2に示すように、症例検索システム300は、類似症例データ蓄積部301、画像特徴抽出部302、類似症例検索部303、及び通信制御部304を備える。
類似症例データ蓄積部301は、予め、医用情報管理システム200に管理されている類似症例のうち、類似症例検索の対象データとして選定された多数の類似症例から抽出された画像特徴や、生成されたサムネイル画像等が登録された類似症例データ4000(図20)を蓄積する。
画像特徴抽出部302は、情報端末100の通信制御部110から送信された検索クエリ画像の関心領域情報の画像特徴を抽出する。なお、関心領域情報は、関心領域を示す第1指定情報の一例である。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された1以上の類似症例の画像特徴とをそれぞれ比較することで類似症例検索結果を生成する。
通信制御部304は、例えば、症例検索システム300をネットワーク400に接続させる通信装置で構成され、他のブロックから種々のデータの送信依頼を受け付けて、情報端末100又は医用情報管理システム200に送信すると共に、情報端末100又は医用情報管理システム200から送信されたデータを受信し、該当するブロックに渡す。
図4は、情報端末100の実装形態の構成例を示す図である。図4に示すように、情報端末100は、アプリケーション501、OS(Operating System)502、メモリ503、及び図示しないその他のハードウェアを備えている。
アプリケーション501は、パーソナルコンピュータやタブレット端末を情報端末100として機能させるためのアプリケーションソフトウェアであり、情報端末100のプロセッサにより実行される。情報端末100は、コンピュータ読み取り可能な記録媒体からアプリケーション501を読み出してアプリケーション501を実装してもよいし、ネットワークからダウンロードすることでアプリケーション501を実装してもよい。
ここで、アプリケーション501は、医用情報管理アプリケーション及び類似症例検索アプリケーションを含む。医用情報管理アプリケーションは、情報端末100を医用情報管理システム200と連携させるためのアプリケーションであり、類似症例検索アプリケーションは、情報端末100を症例検索システム300と連携させるためのアプリケーションである。そして、両アプリケーションは、相互にデータを送受し、情報端末100において、医用情報管理システム200及び症例検索システム300が提供するサービスを統合させる。
OS502は、情報端末100の基本ソフトウェアであり、情報端末100のプロセッサにより実行される。メモリ503は、情報端末100が備えるRAM、ROM等の記憶装置により構成され、アプリケーション501に含まれるデータ群を記憶する。
情報端末100のプロセッサがアプリケーション501を実行することで、図2に示す入力制御部103、表示制御部104、ROI管理部105、表示ボックス管理部106、病名リスト管理部108、分布リスト管理部109、及び通信制御部110の機能が実現される。
但し、本実施の形態では、情報端末100は、アプリケーション501で実装されてもよいし、アプリケーション501及びOS502で実装されてもよいし、アプリケーション501、OS502、及びメモリ503で実装されてもよいし、アプリケーション501、OS502、メモリ503、及びその他の図示しないハードウェアで実装されてもよい。いずれの実装形態においても本実施の形態の情報端末100を実現することは可能である。
図5は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101aに表示される基本画面K1の一例を示す図である。図5に示す基本画面K1は、4つの医用画像ビューワ610〜640で構成されている。医用画像は、通常、DICOM(Digital Imaging and Communication in
Medicine)フォーマットで記録されており、医用画像ビューワ610〜640はDICOMを扱えるビューワである。本実施の形態で扱う医用画像は、DICOMフォーマットの多数の断層画像(以下、スライス画像と呼ぶ。)で構成される胸部CT画像とする。但し、これは一例に過ぎず、他の部位(例えば、頭部、腹部、脚、或いは腕)のCT画像が採用されてもよい。
医用画像ビューワ610〜640に表示された胸部CT画像は、マウスやキーボードの操作により、スライス画像が切り替えられる。ここで、胸部CT画像を構成するスライス画像は、例えば、首側から腹側に向かう順番に配置されている。
例えば、医用画像ビューワ610上にマウスポインタが位置決めされ、マウスホイールの回転が入力制御部103で検知されると、表示制御部104は、検知された回転量に応じて医用画像ビューワ610に表示されているスライス画像を切り替える。ここで、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの後方側に1クリック分回転されると、表示中のスライス画像を次のスライス位置のスライス画像に切り替える。一方、表示制御部104は、例えば、医用画像ビューワ610において、マウスホイールがマウスの前方側に1クリック分回転されると、表示中のスライス画像をスライス位置が1つ前のスライス画像に切り替える。よって、医師等のユーザはマウスホイールを前方側又は後方側に回転させながら、医用画像ビューワ610に表示されるスライス画像を適宜切り替え、所望のスライス画像を探索する。
なお、医用画像としては、胸部CT画像に代えて、MRI(Magnetic Resonance Imaging)画像や単純X線画像が採用されてもよい。また、図5の例では、医用画像ビューワの個数は4個とされているが、これは一例にすぎず、6個や8個等別の個数が採用されてもよい。医用画像ビューワの個数が多くなると同時に比較できる画像が増えるが、1画像当たりの表示面積が狭くなる。そのため、この個数はディスプレイ101aの表示サイズに応じて適宜変更可能な構成を採用すればよい。ここでは、医用画像ビューワの個数は、ユーザ又は管理者が自由に変更できるものとする。
類似症例検索アプリケーションが起動される前には、ディスプレイ101aの全域には、ある患者の胸部CT画像のスライス画像が表示されている。そして、この状態で、読影者等のユーザにより類似症例検索アプリケーションが起動されると医用画像ビューワ610には、ディスプレイ101aの全域に表示されていたスライス画像が表示される。
つまり、医用画像ビューワ610には、ユーザが類似症例検索アプリケーションを起動させたときに、ディスプレイ101aの全域に表示されていた検索クエリ画像が初期表示される。なお、表示制御部104は、検索クエリ画像上に類似症例検索を行う対象の関心領域(ROI:Region Of Interest)を重畳表示してもよい。検索クエリ画像は読影対象の一の医用画像である対象医用画像の一例である。
図5では、他の医用画像ビューワ620〜640には何の画像も表示されていないが、診断対象となる患者の検査画像が複数あり、類似症例検索アプリケーションが起動される前に、ディスプレイ101aに複数の検査画像が表示されていた場合、表示制御部104は、医用画像ビューワ620〜640にこれら複数の検査画像をそのまま表示すればよい。
図6は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K2の一例を示す図である。図6に示す基本画面K2は、症例表示領域710、レイアウト領域720、病名リスト表示領域730、及び分布リスト表示領域750を備える。なお、レイアウト領域720は第1表示領域の一例であり、症例表示領域710は第2表示領域の一例である。また、病名リスト表示領域730は、第3表示領域の一例である。
症例表示領域710は、検索クエリ画像に類似した類似症例のサムネイル画像を類似度順に表示する領域である。ここで、類似症例のサムネイル画像は、類似医用画像の一例である。
症例表示領域710には多数の類似症例が表示されるため、解像度や画素値の変換をその場で行うと処理に時間がかかってしまう。よって、サムネイル画像は、オリジナルのスライス画像から予め作成され、症例検索システム300に保存されている。
以下、解像度や画素値の変換について少し補足する。オリジナルのスライス画像の解像度は512×512画素であるが、サムネイル画像はより低解像であるため、解像度変換を行う必要がある。そこで、サムネイル画像は、元となるスライス画像に対して低解像度処理及び階調変換処理が行われて生成される。
階調変換処理は例えば、下記のように行われる。CTで取得したスライス画像は各画素値(CT値)が−1000〜+1000(単位HU:Hounsfield Unit)の2000階調の値をとり、そのままでは通常の8ビット階調のディスプレイに表示できない。また、表示できたとしても、2000階調の中で、肺気腫領域(CT値:−1000HU)、肺野の正常組織(CT値:約−900HU)、すりガラス領域(CT値:−800HU)、軟部組織(CT値:−100〜−50HU)、水(CT値:0HU)、及び骨(CT値:1000HU)を人間が肉眼で区別することは難しい。
よって、通常、スライス画像は、各画素値に対してウィンドウレベル及びウィンドウ幅が設定され、8ビットの画素値に再構成されて、ディスプレイに表示される。ここで、ウインドウレベルは、ウインドウの中心となるCT値を示し、ウインドウ幅は、ウインドウ中心の上下の幅を示す。
例えば、肺野条件でDICOM画像が再構成される場合、ウインドウレベルが−550〜−800に設定され、ウインドウ幅が1000〜1600に設定される。したがって、サムネイル画像も、元となるスライス画像から上記の処理によって画素値が8ビットに落とされることで生成される。
なお、症例表示領域710に表示されるサムネイル画像は、診断対象症例の特徴ベクトルに対する距離が所定の閾値以下の類似症例を示すサムネイル画像である。ここでは距離としては、例えば、ユークリッド距離が用いられる。なお、距離としては、市街地距離等の別の距離尺度が採用されてもよい。比較対象となる2つの画像は、距離が近いほど類似している。また、特徴ベクトルは、サムネイル画像から得られたものではなく、元画像であるスライス画像から得られたものが採用される。
図7は、症例表示領域710に表示されるある1つの類似症例の表示領域を取り出して示した図である。類似症例の表示領域には、サムネイル画像が表示されており、このサムネイル画像の下部には、確定診断病名表示領域711及び距離表示領域712が配置されている。確定診断病名表示領域711には、対象となる類似症例の確定診断病名が表示される。確定診断病名とは、対象となる類似症例に対して診断が確定された病名を指す。距離表示領域712には、対象となる類似症例のスライス画像の特徴ベクトルと、検索クエリ画像の特徴ベクトルとの距離が表示される。図7の例では、確定診断病名表示領域711には、「非結核性抗酸菌症」と表示されているため、このサムネイル画像は「非結核性抗酸菌症」と確定診断がされた類似症例のサムネイル画像を示す。また、距離表示領域712には、「0.05」と表示されているため、この類似症例のスライス画像と探索クエリ画像との距離が「0.05」であることが示されている。
図6に戻り、基本画面K2の例えば左上には、検索結果件数表示領域713が配置されている。検索結果件数表示領域713には、検索処理の結果、症例検索システム300から取得された、診断対象症例に類似する類似症例の数が表示される。
なお、類似症例の数が膨大である場合、症例表示領域710は全ての類似症例を一度に表示することができない。そこで、症例表示領域710の例えば右側には、上下方向に長尺のスクロールバー715が設けられている。表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を上下方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった類似症例を症例表示領域710に表示させ、その類似症例を観察できる。
なお、スクロールバー715は左右方向に長尺であってもよい。この場合、表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を左右方向にスクロール表示させればよい。或いは、症例表示領域710にマウスポインタが位置決めされた状態で、キーボードの方向キーが押されると、表示制御部104は、キーが押されている間、押されているキーの方向に症例表示領域710内に表示されているサムネイル画像をスクロール表示させてもよい。
なお、情報端末100は、探索クエリ画像との距離が所定の閾値以下のサムネイル画像を症例検索システム300から取得するとしたが、これは一例に過ぎない。例えば、情報端末100は、類似度が高い順に、常に一定数のサムネイル画像を症例検索システム300から取得してもよい。或いは、情報端末100は、常にある確定診断病名のサムネイル画像が一定数含まれるようにサムネイル画像を症例検索システム300から取得してもよい。
なお、症例表示領域710におけるサムネイル画像の表示手法としては、例えば、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法が採用できる。つまり、症例表示領域710において、左上から右下に向けて蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法が採用できる。
もちろん、本実施の形態は別の表示手法が採用されてもよい。例えば、左から1列目の上端に距離が最短のサムネイル画像を表示し、下側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一列の下端に達すると、左から2列目の上端に次に距離が大きいサムネイル画像を表示するという表示手法が採用されてもよい。また、これら複数の表示手法をユーザが切り替え可能な構成が採用されてもよい。
また、上記の例では、類似度として距離が採用されたが、コサイン類似度のような画像同士の類似性を示す指標であればどのような指標が採用されてもよい。コサイン類似度が採用された場合、値が1に近づくにつれて比較対象となる2つの画像の類似性が高くなる。
なお、詳細は後述するが、症例表示領域710に表示する類似症例は、病名リスト表示領域730に表示された病名や、分布リスト表示領域750に表示された病変分布で絞り込むことができる。現在設定されている類似症例の絞込条件は、表示条件表示領域714に表示される。図6の例では、類似症例検索直後の状態であり、何も絞り込みがなされていないため、表示条件表示領域714には「全疾患」と表示されている。
レイアウト領域720は、例えば、図6に示す基本画面K2の左下に配置されている。そして、レイアウト領域720は、症例表示領域710に表示された類似症例サムネイル画像のうちユーザが詳細に観察したい画像を、ディスプレイ101aの医用画像ビューワに表示させるために用いられる。図5に示す通り、ディスプレイ101aには4つの医用画像ビューワ610〜640が2行2列で表示されている。また、レイアウト領域720には、2行2列で4つの表示ボックス721〜724が存在する。このように、ディスプレイ101aに表示される医用画像ビューワ610〜640の数及び配置と、レイアウト領域720における表示ボックス721〜724の数及び配置とは揃えられている。図5の通り、医用画像ビューワ610に、検索クエリ画像が表示されているのに合わせ、表示ボックス721には、検索クエリ画像のサムネイル画像が初期表示される。なお、検索クエリ画像のサムネイル画像を表示する表示ボックス721は、第1表示ボックスの一例である。
他の表示ボックス722〜724には、医用画像ビューワ620〜640と連動させて類似症例のサムネイル画像が表示される。つまり、入力制御部103が表示ボックス722〜724のいずれか1の表示ボックスに症例表示領域710に表示された1のサムネイル画像のドラッグアンドドロップを検知すると、表示制御部104はその表示ボックスに1のサムネイル画像を表示させると共に、その表示ボックスに対応する医用画像ビューワにそのサムネイル画像に対応するスライス画像を表示する。このように、医用画像ビューワ610〜640は、表示ボックス721〜724と1対1で対応付けられている。
図6の例では、表示ボックス722〜724は空白であるため、図5に示す医用画像ビューワ620〜640も空白になっている。
ユーザは、マウスをドラッグアンドドロップすることで、詳細に観察したいサムネイル画像を、症例表示領域710からレイアウト領域720に移動させる。例えば、ユーザが表示ボックス722にサムネイル画像を移動させたとすると、表示ボックス722に対応する医用画像ビューワ620には、このサムネイル画像に対応するスライス画像が表示される。同様に、ユーザが表示ボックス723にサムネイル画像を移動させたとすると、表示ボックス723に対応する医用画像ビューワ630には、このサムネイル画像に対応するスライス画像が表示される。すなわち、表示ボックス721〜724のうち任意の表示ボックスにサムネイル画像を移動させると、検索クエリ画像のサムネイル画像に隣接して類似症例のサムネイル画像が表示される。そのため、ユーザはサムネイル画像のレベルで診断対象症例と類似症例との対比ができ、両症例の類似性を速やかに判断できる。つまり、サムネイル画像は、スライス画像に比べて情報量が少ないため、ユーザは、レイアウト領域720において隣接配置された診断対象症例と類似症例とがどの程度類しているかのおよその検討をつけることができる。そのため、ユーザは、症例表示領域710に表示された多数の類似症例の中から、診断対象症例との比較をスライス画像のレベルで詳細に行う必要がある類似症例の最終候補の絞り込みを効率良く行うことができる。
同様に、ディスプレイ101aにも、レイアウト領域720と同じ配置関係で検索クエリ画像及び類似症例のスライス画像が表示される。そのため、レイアウト領域720において最終候補となる類似症例を絞り込む作業が終了すると、何らの操作を入力しなくても、ディスプレイ101aには、診断対象症例と最終候補として絞り込んだ類似症例とがスライス画像のレベルで表示されている。そのため、ユーザは対象診断症例と最終候補の類似症例とを詳細に読影するという次の作業ステップに円滑に移行できる。
図6に示す基本画面K2の左側の上段には、「病名リスト」との見出しが付けられた病名リスト表示領域730が配置されている。病名リスト表示領域730には、類似症例の検索結果として取得された全ての類似症例の確定診断病名が表示される。診断対象症例は、診断が終了して確定診断病名が付与された後、類似症例として、症例検索システム300に蓄積される。したがって、各類似症例には、それぞれ、診断によって付与された確定診断病名が予め付与されている。
図8は、病名リスト表示領域730の拡大図である。図8では、確定診断病名は、大分類の病名(731、734、737、741、744)と詳細分類の病名(732、733、735、736、738、739、740、742、743、745)とに分けて表示されている。図8の例では、大分類の病名として、真菌症731(mycosis)、腫瘍性734(neoplastic)、非腫瘍性737(nonneoplastic)、ミコバクテリア症741(mycobacteriosis)、及びその他744が表示されている。
また、図8の例では、真菌症731の詳細分類の病名として、アスペルギルス症732(aspergillosis)、クリプトコッカス症733(cryptococcosis)が表示されている。また、腫瘍性734の詳細分類の病名として、原発性肺癌735(lung cancer)、転移性肺癌736(metastatic lung cancer)が表示されている。また、非腫瘍性737の詳細分類の病名として、肺膿瘍738(lung abscess)、サルコイドーシス739(sarcoidosis)、敗血性塞栓740(septic emboli)が表示されている。また、ミコバクテリア症741の詳細分類の病名として、非結核性抗酸菌症742(NTM:nontuberculous mycobacteria)、肺結核743(tuberculosis)が表示されている。また、その他744の詳細分類の病名として気管支拡張症745(bronchiectasis)が表示されている。
また、大分類の病名及び詳細分類の病名の横には、その病名の症例数が表示されている。ユーザは、この病名リスト表示領域730における大分類の病名または詳細分類の病名の任意の行を選択することで、症例表示領域710に表示される類似症例を絞り込むことができる。図6に示すように類似症例の検索直後の状態では、多様な疾患を含む62個の類似症例が表示対象になっているが、図8の真菌症731の行がマウスでクリックされた場合、表示制御部104は、図9に示すように真菌症の類似症例を症例表示領域710に表示する。また、図8の転移性肺癌736の行がマウスでクリックされた場合は、表示制御部104は、図10に示すように、転移性肺癌の類似症例を症例表示領域710に表示する。
この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例がどのような絞り込み条件であるが分かるように、表示条件表示領域714に、絞り込んだ病名を表示する。図9は、「真菌症」で類似症例が絞り込まれたときの基本画面K2を示す図である。図10は、「転移性肺癌」で類似症例が絞り込まれたときの基本画面K2を示す図である。
図9の例では、「真菌症」で絞り込みがかけられたため、表示条件表示領域714には「真菌症」と表示され、図10の例では「転移性肺癌」で絞り込みがかけられたため、表示条件表示領域714には「転移性肺癌」と表示されている。
また、この時、表示制御部104は、現在、症例表示領域710に表示されている類似症例の件数が分かるように、検索結果件数表示領域713にその件数を表示する。図9の例では、「真菌症」に該当する類似症例は14件であったため、検索結果件数表示領域713には14件と表示され、図10の例では、「転移性肺癌」に該当する類似症例は3件であったため、検索結果件数表示領域713には3件と表示されている。
この機能により、画像診断の対象として医師が想定する病名の類似症例が症例表示領域710に表示され、医師は、診断対象症例が想定した病名と矛盾しないかどうかを容易に確認できる。
図9、図10の例では、病名リスト表示領域730で選択された単一の病名に対応する類似症例のサムネイル画像は、検索クエリ画像に対して類似度が高い順に横方向で配列されている。具体的には、図9の例では、1行目の左端に検索クエリ画像との距離が最短のサムネイル画像が表示され、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像が表示され、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法が採用されている。また、図10の例では、1行目において、左端から右側に向かうにつれて距離が順次に大きくなるように3つの類似症例のサムネイル画像が表示されている。
このように、本実施の形態では、病名リスト表示領域730において単一の病名が選択された場合、表示制御部104は、選択された単一の病名に対応する類似症例のサムネイル画像を、横方向に類似度が高い順で表示する。
なお、病名リスト表示領域730で複数の病名が選択された場合、表示制御部104は、選択された病名の数に応じて症例表示領域710を分割して、該当する類似症例のサムネイル画像を表示する。
図48は、病名リスト表示領域730において病名が選択された場合の表示処理の一例を示すフローチャートである。以下、図48のフローチャートを用いて、病名リスト表示領域730に表示された病名が選択された場合の症例表示領域710への表示処理について詳しく説明する。
まず、S1000では、表示制御部104は、病名リスト表示領域730においてユーザが選択した病名を取得する。なお、病名を選択する際のユーザの操作については後述する。
S1001では、表示制御部104は、S1000で取得した病名の数を算出する。
S1002では、表示制御部104は、S1001で算出された病名数が複数か否かを判定し、複数でなければ(S1002でNO)、S1003に処理を進め、複数であれば(S1002でYES)、処理をS1004に進める。
S1003は、病名リスト表示領域730で1つの病名が選択された場合の症例表示領域710の表示処理である。この場合、前述の図9や図10に示すように、S1000で選択された病名に該当する類似症例のサムネイル画像が、距離の近い順に横方向で症例表示領域710に表示される。具体的には、上から1行目の左端に検索クエリ画像に対する距離が最も小さい(類似度が高い)類似症例が表示され、右に向かうにつれて距離が大きい(類似度が小さい)順に類似症例が表示され、1行目の右端に達すると上から2行目の左端に次に距離が大きい類似症例が表示されるという表示態様で、類似症例のサムネイル画像が表示される。
一般的にインターネット等でキーワードを用いて画像を検索した場合、その検索結果は、画面の左から右に向かってキーワードとの関連度が高い順に表示されることが多い。即ち、検索結果の画面として複数の画像が縦横に並べて表示されている場合、ユーザは、左上側に表示されている画像ほどキーワードとの関連度が高いという先入観を持って検索結果の画面を見る傾向にある。そこで、本態様は、上記先入観に反しないようにするため、複数の類似症例を、検索クエリ画像に対して類似度が高い順番に横方向に配列させる。
S1004〜S1005は、病名リスト表示領域730で複数の病名が選択された場合の症例表示領域710に対する表示処理である。
S1004では、表示制御部104は、症例表示領域710を、S1001で算出した病名数で縦方向に分割する。この処理により、S1000で取得した病名の個数分の分割領域が作成される。ここで作成される分割領域は、該当する病名を持つ類似症例のサムネイル画像を縦一列で表示するために縦方向に長尺である。
S1005では、表示制御部104は、S1004で作成した各分割領域に対し、該当する病名を持つ類似症例のサムネイル画像を類似度が高い順に縦一列で表示する。
図49は、複数の病名が選択された場合に作成される基本画面K2の一例を示す図である。この基本画面K2は、図6の病名リスト表示領域730でアスペルギルス症、転移性肺癌、及び肺膿瘍の3つの病名が選択された後の状態を示している。そのため、表示条件表示領域714には、アスペルギルス症、転移性肺癌、及び肺膿瘍と表示されている。また、3つの病名に該当する類似症例の件数が15件であったため、検索結果件数表示領域713には15件と表示されている。また、3つの病名が選択されため、症例表示領域710は、縦方向に3分割されて、3つの病名に対応する3つの分割領域が形成されている。そして、各分割領域には該当する病名の類似症例のサムネイル画像が類似度の高い順で縦一列で表示されている。
ここでは、左から順に「アスペルギルス症」、「転移性肺癌」、及び「肺膿瘍」との見出しが付けられた3つの病名に対応する3つの分割領域が表示されている。そして、各分割領域には、各病名に該当する類似症例のサムネイル画像が縦一列で表示されている。
このような表示を行うことにより、類似症例の中から、検索クエリ画像に対して類似する参照画像を絞り込む前の段階においても、また、病名を選択して類似症例を絞り込んだ後の段階においても、検索クエリ画像に対して類似度が高い類似症例のサムネイル画像が症例表示領域710の上部に集まることになる。そのため、検索クエリ画像に対する参照画像を絞り込む前の段階においても、また、病名を選択して類似症例のサムネイル画像を絞り込んだ後の段階においても、検索クエリ画像に対して類似度の高い類似症例のサムネイル画像を、医師に優先的に検討させることができる。このように効率的に比較精度を向上させるシステムを提供することで、本実施の形態は、診察精度の向上に寄与できる。
なお、1の分割領域において表示対象となるサムネイル画像が一定数以上であり、分割領域が一度に全てのサムネイル画像を表示できない場合、表示制御部104は、該当する分割領域にスクロールバー10001を配置してもよい。図49の例では、左から1列目のアスペルギルス症及び左から3列目の肺膿瘍の2つの分割領域は、表示対象となるサムネイル画像が一定数以上であり、一度に全てのサムネイル画像を表示できなかったため、縦方向に長尺のスクロールバー10001が配置されている。この場合、表示制御部104は、スクロールバー10001が上方向にスライドされると、病名の見出しを維持した状態で、或いは見出しと共に、スライド量に応じた距離分、該当する分割領域を、下方向にスクロールさせる。また、表示制御部104は、スクロールバー10001が下方向にスライドされると、病名の見出しを維持した状態で、或いは見出しと共に、スライド量に応じた距離分、分割領域を上方向にスクロールさせる。これにより、ユーザは、選択した病名に対応する類似症例のサムネイル画像を全て閲覧できる。なお、スクロールバー10001が表示される場合の一定数としては、分割領域のサイズとサムネイル画像のサイズとの関係から分割領域が一度に表示可能なサムネイル画像の個数が採用できる。図49の例では、分割領域は1度に3つのサムネイル画像が表示可能であるため、表示対象のサムネイル画像が4つ以上の場合、表示制御部104は、該当する分割領域にスクロールバー10001を配置させればよい。
また、図49において、選択された病名数が一定数以上の場合は、図50に示されるように、スクロールバー10000等を用いて症例表示領域710は拡張されてもよい。図50は、選択された病名数が一定数以上の場合の基本画面K2を示す図である。症例表示領域710に表示するサムネイル画像のサイズを読影可能な所定のサイズ以上に保持する場合、選択された病名数が一定以上になると、症例表示領域710は、選択された全ての病名を一度に表示することができなくなる。そこで、選択された病名数が一定以上の場合、表示制御部104は、症例表示領域710にスクロールバー10000を設け、症例表示領域710を実質的に拡張する。
図50の例では、図6の病名リスト表示領域730でアスペルギルス症、転移性肺癌、肺膿瘍、及びクリプトコッカス症の4つの病名が選択された後の基本画面K2が示されている。図50に示すように、症例表示領域710は、縦方向に4分割されて4つの病名に対応する4つの分割領域が形成され、各分割領域に対応する病名の類似症例のサムネイル画像を表示している。ここで、左から4列目に配置されたクリプトコッカス症の分割領域は、一部が非表示状態になっている。そこで、表示制御部104は、症例表示領域710に横方向に長尺のスクロールバー10000を配置する。そして、表示制御部104は、スクロールバー10000が右方向にスライドされると、スライド量に応じた距離分、症例表示領域710を左方向にスクロールさせ、一部が非表示であったクリプトコッカス症の分割領域の全域を症例表示領域710内に露出させる。このように、選択された病名数が一定以上の場合にスクロールバー10000を用いて症例表示領域710をスクロールすることで、ユーザは選択した全ての病名に該当する類似症例を閲覧できる。なお、ここでは、スクロールバー10000を用いる態様を説明したが、本実施の形態はこれに限定されない。例えば、症例表示領域710内にマウスが位置決めされ、左方向にマウスがドラッグされると、症例表示領域710が右方向にスクロールされ、右方向にマウスがドラッグされると、症例表示領域710が左方向にスクロールされる態様が採用されてもよい。
また、スクロールバー10000が表示される場合の病名数としては、例えば、症例表示領域710のサイズとサムネイル画像のサイズとの関係から症例表示領域710が一度に表示できる予め定められた値が採用できる。図50の例では、症例表示領域710は、一度に全域を表示できる分割領域の個数が3つであるため、ユーザにより4つ以上の病名が選択された場合にスクロールバー10000が表示される。
なお、S1003では、病名リスト表示領域730で1つの病名が選択された場合、症例表示領域710は、サムネイル画像を類似度の高い順で横一列に表示する例を示したが、本実施の形態はこれに限定されない。例えば、病名リスト表示領域730で1つの病名が選択された場合、表示制御部104は、症例表示領域710に類似度の高い順にサムネイル画像を縦一列で表示してもよい。
図51は、図6の病名リスト表示領域730でアスペルギルス症が選択された後の基本画面K2を示す図である。図51の例では、病名として選択されたアスペルギルス症のサムネイル画像は、症例表示領域710において、類似度が高い順で縦一列で表示されている。このような表示を行うことにより、病名が複数選択された時と同じ視線動作で検索症例を閲覧することができるため、検索時の利便性を向上させることが可能になる。
図6に戻り、基本画面K2の左側の中段には、「病変分布」との見出しが付けられた分布リスト表示領域750が配置されている。分布リスト表示領域750には、類似症例を検索した結果、症例検索システム300から取得された全ての類似症例の病変分布の種類が表示される。
図11は分布リスト表示領域750の拡大図である。図11の例では、7つの病変分布の名称が表示されており、各病変分布の名称の左側にはチェックボックスが配置されている。図11の例では病変分布として、びまん性751(diffuse)、区域性752(segmental)、気道性753(bronchial)、両側性754(bilateral)、多発性755(multiple)、胸膜下756(subpleural)、及び血行性757(hematogenous)が表示されている。
これらの病変分布は予め定義されており、各類似症例には、予め、びまん性751〜血行性757のいずれに該当するか否かを示す分布フラグ値(該当:1、非該当:0)が付与されている。類似症例によっては、全ての分布フラグ値が非該当(:0)に設定されている場合もあれば、複数の分布フラグ値が該当(:1)に設定されている場合もある。
本実施の形態の症例検索システム300は、ユーザが診断対象症例のスライス画像に設定した関心領域に対し、類似する関心領域を持つ類似症例を検索する。ユーザが関心領域を設定したスライス画像以外にも、病変は存在することもある。そして、ユーザは関心領域を設定したスライス画像で類似症例を検索した後、そのスライス画像以外のスライス画像と、検索された類似症例とを比較したい場合もある。この場合、ユーザは、医用画像ビューワ610において、スライス送りの操作を入力して他のスライス画像を表示させ、検索された類似症例と比較する作業を行う。この場合、検索された全ての類似症例のうち注目する病変に関連する類似症例が症例表示領域710に表示されていれば、関心領域が設定されたスライス画像以外のスライス画像の中から所望の病変を持つスライス画像を抽出する作業をスムーズに行うことができる。そこで、本実施の形態では、この作業をよりスムーズに行うために、検索された類似症例を所望の病変分布で絞りこむ機能が設けられている。
本実施の形態では、肺野領域内での病変分布として、図11のびまん性751〜血行性757で示す病変分布が採用されている。また、図11のように、チェックボックス及び病名分布の名称について、表示制御部104は、絞り込みが可能な病変分布をアクティブ状態で表示し、絞り不可能な病変分布を非アクティブ状態で表示する。ここでは、アクティブ状態としては、輝度が非アクティブ状態に比べて高い状態が採用され、非アクティブ状態としては、輝度がアクティブ状態に比べて低い状態が採用されている。
図11の例では、びまん性751、気道性753〜多発性755、及び血行性757がアクティブ状態で表示され、区域性752及び胸膜下756は、非アクティブ状態で表示されている。これは、現在、類似症例検索によって取得された全ての類似症例のうち、少なくともいずれか1つの類似症例において、びまん性751、気道性753〜多発性755、及び血行性757の分布フラグ値が1(該当)に設定され、取得された全ての類似症例のうち、いずれの類似症例においても、区域性752及び胸膜下756の分布フラグ値が0(非該当)に設定されていたからである。
アクティブ状態のチェックボックスのうち、1以上のチェックボックスにチェックマークが入力されたことを入力制御部103が検知すると、表示制御部104は、チェックマークが入力された病変条件に該当する類似症例のみを症例表示領域710に表示させる。
なお、区域性752や胸膜下756については、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)に設定されている。そのため、区域性752や胸膜下756にチェックマークが入力可能な構成を採用すると、これらの病変分布にチェックマークを入力した場合、症例表示領域710には類似症例が何も表示されず、チェックマークを入力する意味が無くなってしまう。そこで、本実施の形態では、このような事態を避けるために、検索結果として取得された類似症例のいずれにおいても分布フラグ値が0(非該当)である病変分布は非アクティブ状態で表示する。
図12は、チェックマークが入力された分布リスト表示領域750を示す図である。図13は、気道性の病変分布で絞り込みがかけられた基本画面K2を示した図である。図12に示すように、気道性753のチェックボックスにチェックマークが入力された場合、表示制御部104は、図13に示すように、症例表示領域710に、気道性の病変分布を持つ類似症例を表示する。この例では、気道性の病変分布を持つ類似症例は17件であった。そのため、表示制御部104は、検索結果件数表示領域713に「17件」と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名と、病変分布の名称である「気道性」とを表示する。図13の例では、病名リスト表示領域730に挙げられた病名による絞り込みがかけられていないため、表示条件表示領域714には「全疾患」と表示されている。
図14は、複数のチェックマークが入力された分布リスト表示領域750を示す図である。図15は、複数の病変分布で絞り込みがかけられた基本画面K2を示した図である。図14の例では、びまん性751と血行性757とにチェックマークが入力されている。そのため、表示制御部104は、図15に示すように、びまん性及び血行性の病変分布を持つ類似症例を症例表示領域710に表示する。この例では、びまん性及び血行性の病変分布を持つ類似症例は11件であった。そのため、表示制御部104は検索結果件数表示領域713に11件と表示している。また、表示制御部104は、表示条件表示領域714に、表示対象の病名(ここでは、病名による絞り込みがかけられていないため「全疾患」)と、病変分布の名称である「びまん性&血行性」とを表示している。
図16は、患者情報1000のデータ構成を示す図である。患者情報1000は、医用情報管理システム200における患者情報管理部202により、患者別に患者情報蓄積部201に蓄積されて管理される。患者情報1000には、患者の性別及び年齢等の個人情報、既往歴等の臨床情報、並びに血液検査等の検査情報が登録されている。図16に示すように、患者情報1000は、患者ID1100、氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、主訴1700、検査情報1800、及び確定診断1900を備える。
患者ID1100は、患者に固有の識別子である。氏名1200、年齢1300、性別1400、既往歴1500、家族歴1600、及び主訴1700は、それぞれ、患者ID1100の患者の氏名、年齢、性別、既往歴、家族歴、及び主訴である。検査情報1800は、図17に示すように、当該患者が過去に受けた1以上の検査に関する情報を表す。
図17は、図16に示す患者情報1000に登録された検査情報1800のデータ構成を示す図である。検査情報1800は、患者に対して行われた検査に関する情報であり、1つの検査に対応して1つずつ作成される。検査情報1800は、検査ID1810、検査日時1820、検査種1830、及び検査結果1840を備える。検査ID1810は、検査に固有の識別子である。検査日時1820は、検査が行われた日時である。検査種1830は、検査の種類である。検査の種類としては、例えば、血液検査、呼吸機能検査、内視鏡検査、単純X線撮影、CT撮影等がある。
検査結果1840は、血液検査であれば、白血球数、LDH、及びGPT等各種指標の値が該当する。また、検査結果1840は、各種指標を基に医師が下した判断等も該当する。また、単純X線撮影やCT撮影等の画像検査であれば、撮影された画像へのポインタ情報や画像診断結果のレポートへのポインタ情報が含まれる。なお、検査で撮影された画像は、DICOMのフォーマットで医用情報管理システム200の医用画像データ蓄積部203に蓄積される。
また、検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、これらの医用画像データは医用情報管理システム200の医用画像データ蓄積部203が記憶する医用画像データベース2000に蓄積される。
図18は、医用画像データベース2000のデータ構成を示す図である。医用画像データベース2000は、検査ID1810及びシリーズID2100を持つ。1回の検査で、複数の種類の撮影(例えば、単純CTと造影CT等)が行われる場合があるので、1つの検査ID1810に対し、複数のシリーズID2100が対応付けられている場合もある。つまり、撮影の種類に応じた個数のシリーズが得られるのである。
また、シリーズは、撮影の種類以外にも、撮影された画像の再構成の条件毎に得られる。例えば、撮影された画像が肺野条件及び縦隔条件で再構成された場合、これらの条件毎に1つのシリーズが得られる。なお、肺野条件で再構成された画像は肺の中の血管、気管支、及び肺胞等が強調表示される。また、縦隔条件で再構成された画像は、血管やリンパ節等の縦隔が強調表示される。肺野条件及び縦隔条件は1度の撮影で得られた画像を再構成することで得られるため、単純CTと造影CTとで2度の撮影が行われ、これら2度の撮影のそれぞれにつき肺野条件及び縦隔条件で画像が再構成された場合、2つの肺野条件のシリーズが得られ、2つの縦隔条件のシリーズが得られる。
CT及びMRIの画像検査の場合、1回の撮影で複数のスライス画像が取得されるので、1つのシリーズID2100には、複数のスライスID2200が対応付けられている。図18の検査ID「13227989」には2つのシリーズID「CT149123」、「CT149124」が対応付けられているため、この検査から2つのシリーズのCT画像が得られたことが分かる。また、シリーズID「CT149123」、「CT149124」のそれぞれに対して、スライスID2200が複数対応付けられていることが分かる。
検査種1830が単純X線、CT、MRI、PET等の画像検査の場合、医用情報管理システム200における診断レポート管理部205には、図19に示すような診断レポート3000が蓄積される。診断レポート3000には、各検査に対する医師による診断結果が登録されている。図19は、診断レポート3000のデータ構成を示す図である。
診断レポート3000は、検査ID1810、所見3100、及び診断3200を備える。検査ID1810は、図17で示した検査ID1810と同じである。これにより、診断レポート3000と検査情報1800とが対応付けられる。所見3100は、検査に対する医師の所見を示す文言が登録されている。診断3200は、検査に対する医師の診断を示す文言が登録されている。
図20は、類似症例データ4000のデータ構成を示す図である。類似症例データ4000は、診断対象症例に対して類似する類似症例を検索する際に参照されるデータであり、1つの類似症例に対応して1つずつ作成されている。なお、類似症例データ4000は、類似症例データの付属情報の一例であり、病名情報が設定されている。類似症例データ4000は、症例検索システム300の類似症例データ蓄積部301において、類似症例毎に蓄積されている。図20に示すように、類似症例データ4000は、類似症例ID4100、スライスID4200、関心領域情報4300、画像特徴データ4400、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、及び確定診断(詳細分類病名)4800を備える。
類似症例ID4100は、類似症例データ4000の識別子である。ここでは、類似症例のスライス画像に設定された関心領域毎に1つの類似症例データが生成されるため、類似症例ID4100は、関心領域の識別子とも言える。図20の例では、類似症例ID4100は、「SIM」とそれに続く番号とで構成される記号列で構成されている。
スライスID4200は、関心領域が設定されたスライス画像の識別子であり、図18に示すスライスID2200と同一である。関心領域情報4300は、スライス画像に設定された関心領域の位置を示す情報である。図21は、スライス画像に設定された関心領域を模式的に示した図である。図21の例では、関心領域は矩形状に設定されている。したがって、関心領域情報4300は、関心領域の左上の頂点の座標(xl、yt)と、右下の頂点の座標(xr、yb)との4値で構成される。もちろん、関心領域は矩形以外の形状でもよく、その場合は、領域を一意に特定可能なパラメータが関心領域情報4300として採用される。例えば、関心領域が円形であれば、円の中心座標と半径とが関心領域情報4300として採用される。
画像特徴データ4400は、関心領域情報4300で定義される関心領域から抽出された所定次元(ここではN次元)の特徴値である。サムネイル画像データ4500は、スライスIDで特定されるDICOMフォーマットのスライス画像を基に、症例表示領域710に表示するために生成されたサムネイル画像の画像データである。ここで、サムネイル画像データ4500は、例えば、サムネイル画像の左上の頂点から右下の頂点に向かうラスタ走査順にサムネイル画像の画素値が配置されている。先に説明を行ったが、CT検査で得られたDICOM画像は、512×512画素の11ビット(画素値:−1000〜+1000)画像である。そこで、本実施の形態では、サムネイル画像の表示を高速化するために、サムネイル画像の元となるDICOM画像に対して低解像度処理及び階調変換処理が行われて8ビットの画素値を持つサムネイル画像が予め作成され、類似症例データ4000に登録されている。なお、サムネイル画像の作成は、例えば、医用情報管理システム200が作成し、症例検索システム300に送信するようにしてもよいし、症例検索システム300が医用情報管理システム200からDICOM画像を取得して作成してもよい。
病変分布情報4600は、対象となる類似症例が予め定められたびまん性4610〜血行性4670で表される病変分布のいずれに該当するか否かを表す分布フラグ値(1:該当、0:非該当)である。
確定診断(大分類病名)4700は、対象となる類似症例に対して確定された大分類の病名である。確定診断(大分類名)4700は、類似症例を大分類の病名で絞り込む際に使用される。
確定診断(詳細分類病名)4800は、対象となる類似症例に対して確定された詳細分類の病名である。確定診断(詳細分類病名)4800は、類似症例を小分類の病名で絞り込む際に使用される。
予め、確定診断(大分類病名)4700は、確定診断(詳細分類病名)4800に対して一意に対応する大分類病名が定義されており、その対応関係を用いて類似症例データ4000に格納されている。
確定診断(詳細分類病名)4800は、医用画像データ蓄積部203において、図18に示すスライスID2200からシリーズID2100が特定される。そして、特定されたシリーズIDから患者情報蓄積部201において、検査ID1810が特定され、検査ID1810から対応する患者情報1000(図16)が特定され、特定された患者情報1000から該当する患者の確定診断1900が特定される。
次に、情報端末100が医用情報管理システム200と症例検索システム300と連携して読影作業開始から類似症例検索を開始するまでの流れを説明する。
図22は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300に対して類似症例検索の要求を行い、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。なお、図22において、シーケンス図の左側に示す2列の矩形は、該当するステップの処理によりディスプレイ101a、101bに表示される画面を示す。また、図22において、情報端末の「A」は、医用情報管理アプリケーションを示し、「B」は、類似症例検索アプリケーションを示す。このシーケンスが開始される前に医用情報管理アプリケーションは予め起動されているものとする。
まず、情報端末100は、操作部102を通してユーザ(読影を行う医師)の読影対象となる検査リストの表示要求を受け付け、入力制御部103及び通信制御部110を通して、医用情報管理システム200の通信制御部206へ検査リストの表示要求を送信する(S510)。
医用情報管理システム200の患者情報管理部202は、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成する。そして、患者情報管理部202は、通信制御部206を通して、生成した検査リストを情報端末100の通信制御部110に送信する(S520)。ここで、検査リストには、該当する患者の患者情報1000及び検査情報1800が含まれる。
情報端末100の表示制御部104は、通信制御部110で受信された検査リストをディスプレイ101に表示する(S530)。
この場合、ディスプレイ101aに検査リストが表示され、ディスプレイ101bには何も表示されない。
図23は、検査リストの画面図である。検査リストは、読影が未終了の検査を表示する領域800と、検査に含まれるシリーズに関する情報を表示する領域810とを備える。領域800には、「患者ID」、「患者氏名」、「検査日時」、「検査ID」、及び「検査種」の欄が設けられている。「患者ID」、「患者氏名」の欄には、患者情報1000に登録された患者ID1100及び氏名1200が表示され、「検査日時」、「検査ID」、及び「検査種」の欄には、検査情報1800に登録された検査日時1820、検査ID1810、及び検査種1830が表示される。領域810は、領域800でユーザにより選択された検査の詳細を表示するための領域であり、「シリーズID」、「定義」、及び「画像」の欄が設けられている。ここでは、領域800においてユーザにより検査(行に対応)が選択されていないために、領域810には何も表示されていない。
ユーザは、領域800に表示された検査の中から、これから読影を行う検査を選択する。この選択が入力制御部103で検知されると、図22に示すように、通信制御部110は、選択された検査の検査IDに含まれる全シリーズの表示要求を、医用情報管理システム200へ送信する(S540)。
医用情報管理システム200の通信制御部206がこの表示要求を受信すると、患者情報管理部202は、図18に示す医用画像データベース2000を参照し、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像を取得し、通信制御部206を通して、情報端末100に送信する(S550)。例えば、図18の例において、検査ID「13227989」の検査がユーザにより選択されると、シリーズID「CT149123」、「CT149124」のシリーズに含まれる全てのスライス画像がS550で送信される。
情報端末100の通信制御部110が全シリーズの画像を取得すると、表示制御部104は、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを領域810に表示する(S560)。
この場合、ディスプレイ101aに表示された検査リストの領域810には、領域800で選択された検査に対応するシリーズのシリーズリストが表示され、ディスプレイ101bには何も表示されない。
図24は、検査が選択された後の検査リストの画面図である。図24の領域800では選択された行の背後にハイライトが付されている。図24の例では、領域800において、2行目の「パナ太郎」の検査が選択されている。そのため、領域810では、選択された検査についての「シリーズID」、「定義」、及び「画像」が表示されている。ここで、「シリーズID」の欄には、医用画像データベース2000において、選択された検査の検査IDに対応付けられたシリーズIDが表示され、「画像」の欄には、表示されたシリーズIDを代表する1枚のスライス画像のサムネイル画像が表示される。ここで、シリーズIDを代表する1枚のスライス画像としては、所定のスライス位置の画像が採用される。所定のスライス位置としては先頭のスライス位置であってもよいし、中央のスライス位置であってもよい。「定義」は、該当するシリーズに対する撮影条件や再構成の条件を示す。この「定義」は、図示は省略されているが、例えば、図18の医用画像データベース2000において、シリーズIDと対応付けて登録されている。
領域810において、ユーザにより読影対象のシリーズが選択され、その選択を入力制御部103が検知すると、表示制御部104は、図47に示すように、選択されたシリーズの先頭のスライス画像をディスプレイ101aに表示する(S570)。図47は、ユーザによりシリーズが選択された際にディスプレイ101aに表示されるスライス画像を示した図である。図47は、胸部CT撮影での先頭スライスを示す図であり、肺尖部よりももう少し頭方向の肩位置でのスライス画像である。ここで、表示制御部104は、選択されたシリーズの全てのスライス画像をシリーズ送りできる状態でディスプレイ101aに表示する。なお、ディスプレイ101bには何も表示されない。例えば、ユーザにより、ディスプレイ101a上にマウスポインタが位置決めされマウスホイールを回転するスライス送りの操作が入力され、その操作を入力制御部103が検知する。すると、表示制御部104は、マウスホイールの回転量に応じて、ディスプレイ101aに表示されたスライス画像を別のスライス位置のスライス画像に切り替える。ユーザは、スライス送りの操作を入力しながら画像診断を行う。そして、ユーザは画像診断に迷った場合、類似症例検索アプリケーションを起動する。
ここで、類似症例検索アプリケーションは、操作部102のキーボードにおいて、予め定められたショートカットキーが入力されて起動されてもよいし、マウスの右クリックで医用画像ビューワのメニューを表示させ、そのメニューの中から類似症例検索メニューが指定されて起動されてもよい。類似症例検索アプリケーションの起動が指示されると、情報端末100の管理はROI管理部105に渡され、情報端末100は、関心領域(ROI)の受け付け待ち状態になる。
ユーザは、操作部102を通して、ディスプレイ101aに表示されたスライス画像上の病変に関心領域(ROI)を設定する(S580)。ここで、ユーザは、図21に示すように、例えば、マウスを左クリックして、関心領域の左上の頂点の座標を入力する。そして、ユーザは、左クリックした状態でマウスを右斜め下方向にドラッグし、左クリックを解除することで、関心領域の右下の頂点を入力すればよい。図25は、病変に対して関心領域を設定した後の画面の一例である。
関心領域を設定する操作を入力制御部103が検知すると、ROI管理部105は、入力制御部103から関心領域の左上及び右下の頂点の座標データを受け取り、受け取った座標データを関心領域情報として生成する。そして、ROI管理部105は、生成した関心領域情報を通信制御部110に送信する(S590)。
同時に、ROI管理部105は、診断対象症例のスライス画像を通信制御部110に送信する(S600)。この場合、S550において、情報端末100が医用情報管理システム200から受け取った全シリーズのスライス画像のうち、ユーザが選択したシリーズにおいてユーザにより関心領域が設定された1枚のスライス画像(検索クエリ画像)が送信される。
次に、通信制御部110は、ROI管理部105から送信された関心領域情報を受け取り、症例検索システム300の通信制御部304に送信する(S601)。
同時に、通信制御部110は、ROI管理部105から送信されたスライス画像を受け取り、症例検索システム300の通信制御部304に送信する(S602)。
ここで、S600、S601において、スライス画像そのものを送信するとしたが、スライス画像のスライスIDが送信されても構わない。この場合は、スライスIDを受信した症例検索システム300は、そのスライスIDを指定して、医用情報管理システム200からスライス画像を取得すればよい。
次に、症例検索システム300が類似症例検索を行い、情報端末100が類似症例検索結果を初期表示するまでの処理を説明する。
図26は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。
症例検索システム300の画像特徴抽出部302は、検索クエリ画像に設定された関心領域から予め定められた複数次元の画像特徴を抽出する(S610)。
「画像特徴」としては、医用画像における臓器若しくは病変部分の形状に関する画像特徴、又は輝度分布に関する画像特徴等が採用できる。例えば、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D−II,Vol.J88−D−II,No.2,pp.416−426,2005年2月」には、490次元の画像特徴を用いることが記載されている。本実施の形態においては、例えば、この非特許文献に記載された画像特徴が採用される。但し、これは一例にすぎず、他の画像特徴が採用されてもよい。
類似症例検索部303は、画像特徴抽出部302で抽出された画像特徴と、類似症例データ蓄積部301に蓄積された各類似症例の画像特徴とを比較する(S620)。ここで、類似症例検索部303は、検索クエリ画像から抽出された画像特徴データと、類似症例データ蓄積部301に類似症例毎に蓄積された類似症例データ4000(図20)に登録された画像特徴データ4400との距離を算出することで、両画像特徴を比較する。
次に、類似症例検索部303は、距離が所定の閾値以下の類似症例を、距離が小さい順にソートし、送信対象の類似症例として決定する(S630)。次に、通信制御部304は、類似症例データ蓄積部301に蓄積された類似症例データ4000のうち、送信対象として決定された類似症例の類似症例ID4100、スライスID4200、関心領域情報4300、サムネイル画像データ4500、病変分布情報4600、確定診断(大分類病名)4700、確定診断(詳細分類病名)4800、及び類似症例検索部303で算出された距離を情報端末100に送信する(S640)。
以下、類似症例検索結果が表示された初期の基本画面K2(図6)を生成する処理が実行される。まず、初期の基本画面K2において、レイアウト領域720を生成する際に使用される管理情報について説明する。
まず、症例検索システム300の通信制御部304は、レイアウト情報を情報端末100に送信する(S650)。ここで、レイアウト情報は、レイアウト領域720を構成する表示ボックスの行数、列数を指定する情報である。
次に、情報端末100の通信制御部110がレイアウト情報を受信すると、表示ボックス管理部106は、送信されたレイアウト情報が指定する表示ボックスの行数及び列数を表示ボックス管理情報4410(図35)に登録すると共に、検索クエリ画像のスライスIDを表示ボックス管理情報4410(図35)に登録する(S660)。
図35は、表示ボックス管理情報4410のデータ構成を示す図である。表示ボックス管理情報4410には、行数及び列数が登録されるテーブル4411と、各表示ボックスに表示されるスライス画像のスライスIDが登録されるテーブル4412とが含まれる。したがって、表示ボックス管理部106は、症例検索システム300から送信されたレイアウト情報が指定する行数及び列数をテーブル4411の行数及び列数の欄に登録する。また、本実施の形態では、4つの表示ボックス721〜724のうち、左上の表示ボックス721に検索クエリ画像のサムネイル画像が表示される。そこで、表示ボックス管理部106は、医用情報管理システム200から送信された検索クエリ画像のスライスIDをテーブル4412の1行1列目の項目に登録する。
ここで、レイアウト領域720を構成する表示ボックスの行数及び列数のデフォルト値は症例検索システム300により予め設定されている。ここで、行数及び列数のデフォルト値は例えば2行及び2列である。そのため、図35に示す表示ボックス管理情報4410には、「2行2列」が登録されている。
次に、S640で送信された類似症例データ及びS660で保存した表示ボックス管理情報4410を用いて、表示制御部104は、類似症例検索結果が表示された初期の基本画面K2を生成する(S670)。
この場合、ディスプレイ101bには図6に示す基本画面K2が表示される。また、ディスプレイ101aには、検索クエリ画像が表示されている。
図27は、図26のS670に示す初期の基本画面K2を生成する処理の詳細を示すフローチャートである。
まず、S1000にて、表示制御部104は、図26のS640で受信された類似症例の数をカウントし、カウント値を検索結果件数表示領域713に表示する。
次に、S1100にて、表示制御部104は、表示条件表示領域714に、「全疾患」と表示する。ここで、「全疾患」と表示されるのは、初期の基本画面K2では、ユーザにより病名や病変分布での絞り込みがかけられていないからである。
次に、S1200にて、表示制御部104は、図26のS640で受信された類似症例のうち、症例表示領域710にサムネイル画像が表示可能な類似症例の件数分だけ、症例表示領域710に類似症例のサムネイル画像を表示すると共に、各サムネイル画像に対応付けて確定診断及び類似度を表示する。
症例表示領域710に表示可能な類似症例の件数の最大値は、図6の例では20である。この最大値は予め定められている。また、この最大値はユーザが自由に変更できる構成にしてもよい。図26のS640で受信された類似症例の数が、最大値よりも多い場合、表示制御部104は、症例表示領域710の右端に縦方向に長尺のスクロールバー715を表示する。これにより、ユーザは、スクロールバー715を移動させ、初期の基本画面K2で非表示であった類似症例のサムネイル画像を閲覧できる。
次に、S1300にて、病名リストが生成されて表示される。まず、図26のS640で受信された類似症例から、病名リストが生成される。病名リストは、S640で受信された類似症例が、確定診断病名毎に分類されたリストである。
ここで、S640で受信された類似症例の件数をNC件とする。病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を用いて、病名リストを生成する。生成された病名リストは、図29に示すようにテーブル形式のデータとして、病名リスト管理部108で管理される。
図29は、図27のS1300で生成される病名リストのデータ構成を示す図である。病名リストには、「病名ID」、「大分類病名」、「詳細分類病名」、「件数」、及び「類似症例ID」の欄が含まれる。「病名ID」は、確定診断病名毎に付与される識別子である。ここでは、大分類病名と詳細分類病名との1つの組み合わせに対して1つの病名IDが付与されている。
「大分類病名」は、類似症例データ4000に登録された確定診断(大分類病名)4700が示す確定診断病名である。「詳細分類病名」は、類似症例データ4000に登録された確定診断(詳細分類病名)4800が示す確定診断病名である。「件数」は、「病名ID」が示す確定診断病名に該当する類似症例の件数である。「類似症例ID」は、「病名ID」が示す病名に該当する類似症例を示す類似症例IDである。
病名リスト管理部108は、S640で受信した全ての類似症例データ4000について、確定診断(大分類病名)4700及び確定診断(詳細分類病名)4800を抽出し、両者が同じ類似症例データ4000を同じ確定診断病名の類似症例として分類する。そして、病名リスト管理部108は、確定診断病名が同じ類似症例の件数をカウントし、該当する確定診断病名のレコードの「件数」の欄に登録する。また、病名リスト管理部108は、同じ確定診断病名に分類した類似症例の類似症例IDを該当する確定診断病名のレコードの「類似症例ID」の欄に登録する。
図29の例では、大分類病名が「腫瘍性」、詳細分類病名が「原発性肺癌」の確定診断病名に対して病名ID「DIS528」が付与されている。そして、この確定診断病名に該当する類似症例の件数が10件であったため、該当するレコードの「件数」の欄に10が登録され、この確定診断病名に該当する類似症例の類似症例ID「SIM258」、「SIM551」、「SIM1209」、及び「SIM2341」等が、該当するレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された病名リストを用いて病名リスト表示領域730を生成し、ディスプレイ101に表示する。
図30、図31、図32は、それぞれ、病名リスト表示領域730の第1表示例、第2表示例、第3表示例を示した図である。図30に示すように第1表示例では、類似症例検索の結果得られた類似症例が、詳細分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図31に示すように第2表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示されている。
図32に示すように第3表示例では、類似症例検索の結果得られた類似症例が、大分類病名の件数の多い順に件数と対応付けて一覧表示され、且つ、大分類病名毎にその中に含まれる詳細分類病名が件数の多い順に件数と対応付けて一覧表示されている。この場合、確定診断病名が、大分類病名と詳細分類病名との階層構造で表現される。
図33は、図31に示す病名リスト表示領域730の画面遷移を示す図である。図33の上段に示すように、一覧表示された大分類病名のうち、1の大分類病名がユーザにより選択される操作を入力制御部103が検知すると、表示制御部104は、図33の下段に示すように、選択された大分類病名に属する詳細分類病名を件数が多い順に件数と対応付けて表示する。ここで、ユーザは、例えば、病名リスト表示領域730において一覧表示された大分類病名のうち、所望する1の大分類病名を例えばダブルクリック或いはシングルクリックすることで1の大分類病名を選択すればよい。図33の例では非腫瘍性がダブルクリックされているため、非腫瘍性に属する詳細分類病名が一覧表示されている。
図33の下段において、詳細分類病名が一覧表示されている領域がユーザによりダブルクリック或いはシングルクリックされると、表示制御部104は、該当する領域に表示されていた詳細分類病名を非表示にすればよい。
なお、表示制御部104は、病名リスト(図29)を参照することで、大分類病名に属する詳細分類病名を判定すればよい。例えば、図29の例では、真菌症に対して、アスペルギルス症及びクリプトコッカス症が対応付けられているため、表示制御部104は、真菌症にはアスペルギルス症及びクリプトコッカス症が属すると判断すればよい。
図30〜図33の例では、病名が1つ選択される例を示したが、同時に複数の病名が選択されてもよい。図30の例においては、ユーザは、一覧表示された詳細分類病名のうち複数の病名を選択する場合、キーボードの所定のキー(例えば、ctrキー或いはシフトキー)を押しながら、複数の病名の欄をシングルクリック或いはダブルクリックすればよい。この場合、図49に示されるように、症例表示領域710にはユーザが選択した詳細分類病名毎に分割領域が作成され、各分割領域に縦一列でサムネイル画像が表示される。
また、図31の例においては、大分類病名が一覧表示されているため、上述した操作で複数の病名が選択されると、図49に示されるように、症例表示領域710には選択された大分類病名毎に分割領域が作成され、各分割領域にサムネイル画像が縦一列で表示される。
また、図32の例では、大分類病名と詳細分類病名とが同時に表示されているため、ユーザは、上述した操作により、大分類病名と詳細分類病名とを同時に選択できる。この場合、ユーザは、ある1の大分類病名(例えば、真菌症)を選択したとすると、その1の大分類病名以外に属する詳細分類病名の中から1以上の詳細分類病名(例えば、原発性肺癌)を選択できる。また、ユーザは、ある1の詳細分類病名(例えば、原発性肺癌)を選択したとすると、その1の詳細分類病名が属する大分類病名以外の1以上の大分類病名(例えば、真菌症)を選択できる。この場合、症例表示領域710には、ユーザが選択した大分類病名及び詳細分類病名毎に1つの分割領域が作成され、各分割領域にサムネイル画像が表示される。
また、図33の上段の例においては、大分類病名が一覧表示されているため、上述した操作により、ユーザは同時に複数の大分類病名を選択できる。また、図33の下段の例においては、大分類病名と詳細分類病名とが混在して表示されているため、上述した操作により、ユーザは大分類病名と詳細分類病名とを同時に選択できる。
図27に戻り、S1400にて、分布リストが生成されて表示される。まず、S640で受信された類似症例から、分布リストが生成される。分布リストは、S640で受信された類似症例が、病変分布毎に分類されたリストである。
病名リスト管理部108は、NC件の類似症例データ4000のそれぞれに登録されている病変分布情報4600を用いて、分布リストを生成する。生成された分布リストは、図34に示すようにテーブル形式のデータとして、分布リスト管理部109で管理される。
図34は、図27のS1400で生成される分布リストのデータ構成を示す図である。分布リストには、「分布名」、「症例数」、及び「類似症例ID」の欄が含まれる。「分布名」は、びまん性、区域性といった予め定められた複数の病変分布の名称である。「症例数」は、病変分布に該当する類似症例の件数である。「類似症例ID」は、病変分布に該当する類似症例を示す類似症例IDである。
分布リスト管理部109は、S640で受信した全ての類似症例データ4000について、病変分布情報4600を抽出し、抽出した病変分布情報4600において、分布フラグ値に1(該当)が設定されている病変分布の数をカウントし、カウント値を該当する病変分布のレコードの「症例数」の欄に登録する。また、分布リスト管理部109は、分布フラグ値に1が設定されている類似症例の類似症例IDを該当する病変分布のレコードの「類似症例ID」の欄に登録する。
図34の例では、びまん性に該当する類似症例の件数が3件であったため、びまん性のレコードの「症例数」の欄に3が登録されている。また、びまん性に該当する類似症例の類似症例ID「SIM2521」、「SIM4123」、及び「SIM5225」がびまん性のレコードの「類似症例ID」の欄に登録されている。
そして、表示制御部104は、このようにして生成された分布リストを用いて分布リスト表示領域750を生成し、ディスプレイ101に表示する。
図34に示す分布リストを用いて生成された分布リスト表示領域750は、図11である。図34において、区域性及び胸膜下の症例数は0であるため、図11では、区域性752及び胸膜下756が非アクティブ状態で表示され、これら以外の病変分布は、症例数が1以上であるため、アクティブ状態で表示されている。
図27に戻り、S1500にて、レイアウト領域720が表示される。この処理は、表示制御部104によって行われる。
図28は、図27に示すS1500の処理を示すフローチャートである。S1510にて、表示制御部104は、レイアウト領域720を構成する表示ボックスの行数及び列数を、S660で設定された表示ボックス管理情報4410から取得する。図35の表示ボックス管理情報4410の例では、行数及び列数として2行2列が設定されているため、「2行2列」という情報が取得される。
次に、S1520にて、表示制御部104は、S1510で取得した表示ボックスの行数及び列数に合わせて、表示ボックスを描画する。
最後に、S1530にて、表示制御部104は、表示ボックス管理情報4410から各表示ボックスのスライスIDを特定し、特定したスライスIDに対応するサムネイル画像を、対応する各表示ボックス内に描画する。
図35の例では、1行1列目の表示ボックスに診断対象症例のスライスIDが格納されている。そのため、表示制御部104は、図22のS600で送信された診断対象症例のスライス画像からサムネイル画像を生成し、生成したサムネイル画像を表示ボックス721に描画する。
この段階では、残りの表示ボックス(1行2列目、2行1列目、2行2列目の表示ボックス722、723、724)にはスライスIDが格納されていないため、表示制御部104は、これらの表示ボックスに何も表示しない。これらの表示ボックスには、後述する処理により、類似症例のサムネイル画像が表示されることになる。
図26に戻り、通信制御部110は、表示ボックス管理部106に格納された表示ボックス管理情報4410を表示制御部104に送信する(S680)。
次に、表示制御部104は、レイアウト領域720の表示状態及びレイアウトと同じ表示状態及びレイアウトで医用画像ビューワを起動させる(S690)。
図36は、医用画像ビューワの起動処理を示すフローチャートである。
S2000にて、表示制御部104は、図22のS570で起動させた医用画像ビューワを閉じる。
S2100にて、表示制御部104は、表示ボックス管理情報4410に登録された表示ボックス分の医用画像ビューワを、表示ボックス管理情報4410に登録された行数及び列数のレイアウトで起動する。図35の表示ボックス管理情報4410では、2行×2列で4つの表示ボックスが登録されている。よって、表示制御部104は、図5に示すように、4個の医用画像ビューワ610〜640を2行×2列で起動する。
S2200にて、表示制御部104は、処理対象となる医用画像ビューワを特定するための変数を初期化する。ここでは、1行1列目の医用画像ビューワが処理対象とされるため、この変数は1行1列にセットされる。
S2300にて、表示制御部104は、全て(ここでは4個)の医用画像ビューワに対する処理が終了したか否かをチェックする。処理済であれば(S2300でYES)、処理が終了され、未処理の医用画像ビューワがあれば(S2300でNO)、処理がS2400に進められる。
S2400にて、表示制御部104は、変数としてセットされた行数及び列数に対応づけられたスライスIDを持つスライス画像を処理対象の医用画像ビューワに表示すると共に、そのスライスIDを含むシリーズを医用画像ビューワに対応付ける。
例えば、図35に示す表示ボックス管理情報4410の例では、1行1列目にはスライスID「CT12353515」が登録されている。よって、スライスID「CT12353515」が医用画像ビューワ610に表示される。また、表示制御部104は、初期表示されるスライス画像に設定された関心領域を表す矩形をこのスライス画像にオーバラップして描画する。なお、1行1列目に登録されたスライスIDを含むシリーズは、図22のS550で取得済みである。また、関心領域は、図22のS580で設定済みである。
図36に戻り、S2500にて、次の医用画像ビューワを処理対象の医用画像ビューワに設定する。1行1列目の次は、例えば、1行2列目、その次は、2行1列目、その次に2行2列目というように処理対象が設定される。
2ループ目のS2400では、1行2列目の医用画像ビューワ620が処理対象にされるが、図35の表示ボックス管理情報4410では、1行1列目以外にはスライスIDが対応づけられていない。そのため、表示制御部104は、1行2列目の医用画像ビューワに対して何も処理を実行せず、空の状態にしておく。このことは、2行1列目、2行2列目の医用画像ビューワ630、640に対しても同じである。
このフローチャートが終了した状態で、ディスプレイ101aには、図5に示す初期状態の基本画面K1が表示されている。1行1列目(左上)の医用画像ビューワ610には、検索クエリ画像が表示され、その上に関心領域がオーバラップして描画されている。
ここでは、症例検索システム300が画像特徴を抽出する例を示したが、情報端末100が画像特徴を抽出してもよい。図37は、症例検索システム300が画像特徴を抽出する態様を採用した場合の情報端末100、医用情報管理システム200、及び症例検索システム300のブロック図である。
図2との違いは、情報端末100に画像特徴抽出部113が追加された点、及び症例検索システム300から画像特徴抽出部302が省かれた点にある。
図38は、情報端末100が、医用情報管理システム200から診断対象症例を取得した後、症例検索システム300が類似症例検索の要求を受け取るまでの処理を示すシーケンス図である。
図22との違いは、ROI管理部105が、診断対象症例のスライス画像を通信制御部110に送信する処理(S600)の後、画像特徴の抽出が情報端末100で行われ(S603)、抽出された画像特徴が症例検索システム300に送信(S604)されている点にある。画像特徴の抽出(S604)の処理内容は、画像特徴の抽出が症例検索システム300で行われる場合と同様である。
図39は、症例検索システム300が類似症例検索の要求を受け取った後、類似症例検索結果を、情報端末100に返すまでの処理を示すシーケンス図である。図26との違いは、画像特徴の抽出が情報端末100側で行われるため、図39では、図26にはあった画像特徴の抽出(S610)が省かれている点にある。
次に、図22、図26のシーケンス図をアプリケーションのレベルで着目したときの情報端末100、医用情報管理システム200、及び症例検索システム300の処理について説明する。図40は、図22及び図26のシーケンス図をアプリケーションのレベルで着目したときのシーケンス図である。図40において、図22と同じ処理には同じ符号を付している。
図40において、「A」は情報端末100が実行する医用情報管理アプリケーションの処理を示し、「B」は情報端末100が実行する類似症例検索アプリケーションの処理を示す。以下、医用情報管理アプリケーションを「アプリA」と記述し、類似症例検索アプリケーションを「アプリB」と記述する。
まず、アプリAは、ユーザから読影対象となる検査リストの表示要求を受け付け、医用情報管理システム200に送信する(S510)。医用情報管理システム200は検査リストを受信すると、画像検査が実施後で読影が未終了の検査をリスト化し、読影対象となる検査リストを生成し、アプリAに送信する。
検査リストを受信したアプリAは、図23に示すように、検査リストをディスプレイ101に表示し、検査リストの中から1の検査がユーザにより選択されると(S530)、選択された検査の表示要求を医用情報管理システム200に送信する(S540)。
検査要求を受信した医用情報管理システム200は、表示要求が指定する検査IDに含まれる全シリーズの全スライス画像をアプリAに送信する(S550)。
次に、アプリAは、図24に示すように、指定された検査IDに含まれる全シリーズに関する情報を一覧表示するシリーズリストを表示する(S560)。
次に、アプリAは、シリーズリストの中から読影対象のシリーズがユーザにより選択されると、選択されたシリーズの最初のスライス位置のスライス画像を医用画像ビューワ610に表示する(S570)。このとき、ユーザは、スライス送りする操作を入力し、医用画像ビューワ610に所望のスライス画像を表示させる。
次に、アプリAは、医用画像ビューワ610に表示されたスライス画像において、関心領域を設定する操作をユーザから受け付ける(S580)。
次に、アプリAは、ユーザにより設定された関心領域を示す関心領域情報を生成し、関心領域が設定されたスライス画像(診断対象症例のスライス画像)と共に、アプリBに送信する(S590、S600)。
次に、アプリBは、診断対象症例のスライス画像及び関心領域情報を受信すると、そのスライス画像及び関心領域情報を症例検索システムに送信する(S601、S602)。
スライス画像及び関心領域情報を受信すると、症例検索システム300は、図26と同様、S610〜S640の処理を実行する。
次に、アプリBは、S640で送信された類似症例データ及び表示ボックス管理情報4410を用いて初期の基本画面を生成する(S670)。そして、アプリBは、図27に詳細が示されるS670の処理を実行する。
次に、図11に示す分布リスト表示領域750に表示された病変分布が選択されたときの処理について説明する。図41は、分布リスト表示領域750に表示された病変分布が選択されたときの処理を示すフローチャートである。
S2000では、分布リスト表示領域750に表示された病変分布(分布チェック項目)のうち、いずれか1の分布チェック項目を選択する操作を入力制御部103が検知すると、表示制御部104は、検知された分布チェック項目が第1〜第3分布情報のいずれに該当するかを判定する。第1分布情報の場合、処理がS1301に進められ、第2分布情報の場合、処理がS1302に進められ、第3分布情報の場合、処理がS1303に進められる。
第1分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域の大きさが、肺の領域に対して広範囲であることを示す所定の第1範囲に属するサムネイル画像を選択させるための情報である。ここでは、第1分布情報としては、「両側性」、「多発性」、「びまん性」、及び「血行性」が該当する。よって、第1範囲としては、これらの病変分布を診断する際に設定される関心領域の大きさが属するような値域が採用される。
第2分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域に相当する領域の大きさが、肺の領域の一部であることを示す所定の第2範囲(第1範囲より低い:第2範囲の上限値が第1範囲の下限値以下)に属するサムネイル画像を選択させるための情報である。ここでは、第2分布情報としては、「気道性」及び「区域性」が該当する。よって、第2範囲としては、これらの病変分布を診断する際に設定される関心領域のサイズが属するような値域が採用される。
第3分布情報は、症例表示領域710に一覧表示された類似症例のサムネイル画像のうち、関心領域が、胸膜を含むサムネイル画像を選択させるための情報である。ここでは、第3分布情報としては、「胸膜下」が該当する。
S1301では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第1分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数(この実施の形態では20件)以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ1として決定する。そして、表示制御部104は、抽出した類似症例i(iは抽出された類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ1に到達するまで、S2100、S1501の処理を繰り返す。表示制御部104は、S2100、S1501の処理を実行する度に、iを1ずつインクリメントする。iがNZ1を超えると(S1301でNO)、処理は終了する。
S2100では、表示制御部104は、類似症例iについての第1分布情報に対応する第1拡大率を算出する。ここでは、第1拡大率としては、例えば、1.0が採用される。但し、これは一例であり第1分布情報が示す病変分布を診断する際に設定される関心領域の全域が表示領域に収まるような値であれば、1.0以外の拡大率が第1拡大率として採用されてもよい。
S1501では、表示制御部104は、類似症例iのサムネイル画像を類似症例iの第1拡大率で拡大する。
図42は、第1分布情報が選択されたときの基本画面K2を示した図である。図42では、両側性が選択されている。この場合、類似症例のうち病変分布が両側性に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、この場合、拡大率は1.0であるため、症例表示領域710において、類似検索結果が得られた直後に表示されたサムネイル画像と同じ表示態様でサムネイル画像が表示されている。すなわち、関心領域ROIの中心が表示領域6801(表示枠の一例)の中心に位置するようにサムネイル画像の表示位置が調整されず、且つ、拡大されずに、サムネイル画像が表示される。
S1302では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第2分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ2として決定する。そして、表示制御部104は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ2に到達するまで、S2200、S1502の処理を繰り返す。表示制御部104は、S2200、S1502の処理を実行する度に、iを1ずつインクリメントする。iがNZ2を超えると(S1302でNO)、処理は終了する。
S2200では、表示制御部104は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報とを用いて、類似症例iについての第2分布情報に対応する第2拡大率を算出する。
第2分布情報が選択された場合、類似症例iは、関心領域のサイズが表示領域のサイズの1/2程度になるように拡大される。そのため、表示制御部104は、例えば、下記の数式で類似症例iに対する第2拡大率ki計算する。表示領域の面積をSd、拡大対象の類似症例iのサムネイル画像の関心領域の面積をSiとすると、第2拡大率kiは以下の式で算出できる。
ki=1/2(Sd/Si)
S1502では、表示制御部104は、類似症例iのサムネイル画像を第2拡大率kiで拡大し、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710にサムネイル画像を表示する。
図43は、第2分布情報が選択されたときの基本画面K2を示した図である。図43では、気道性が選択されている。この場合、類似症例のうち病変分布が気道性に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域6901(表示枠の一例)の中心に位置するように第2拡大率で拡大されている。
S1303では、表示制御部104は、類似症例検索により得られた類似症例であって、ユーザが第3分布情報として選択した病変分布の類似症例のうち、症例表示領域710のサムネイル画像の最大表示件数以下の類似症例を類似度が高い順に抽出し、抽出した類似症例の数を拡大対象の類似症例数NZ3として決定する。そして、表示制御部104は、抽出した類似症例iのサムネイル画像を処理対象のサムネイル画像として決定する。そして、表示制御部104は、iがNZ3に到達するまで、S2300、S1503の処理を繰り返す。表示制御部104は、S2300、S1503の処理を実行する度に、iを1ずつインクリメントする。iがNZ3を超えると(S1303でNO)、処理は終了する。
S2300では、表示制御部104は、症例表示領域710において、1つのサムネイル画像に対して予め定められた表示領域のサイズと、類似症例iの関心領域情報と、胸膜領域情報4900とを用いて、類似症例iについての第3分布情報に対応する第3拡大率を算出する。
図46は、胸膜領域情報4900が追加された類似症例データ4000のデータ構成を示す図である。なお、類似症例データ4000に胸膜領域情報4900が登録されていない場合、胸膜領域情報4900が得られない。この場合、表示制御部104は、第3拡大率を、第1拡大率と同じ値である1.0に設定すればよい。ここで、胸膜領域情報4900は、類似症例において、胸膜領域を示す情報である。
S1503では、表示制御部104は、類似症例iのサムネイル画像でを第3拡大率kiで拡大し、サムネイル画像の関心領域の中心が表示領域の中心に位置するように症例表示領域710にサムネイル画像を表示する。
図45は、胸膜領域7101を説明する図である。図45に示すように、胸膜領域7101は、胸膜を含む領域であって、中心が関心領域ROIの中心に位置し且つ関心領域ROIよりも少しサイズの大きな矩形状の領域である。ここで、胸膜領域情報4900には、胸膜領域7101の左上の頂点の座標(xpl、ypt)と右下の頂点の座標(xrp、ypb)との4値が含まれる。第3分布情報が選択された場合には、胸膜領域を拡大表示するため、表示制御部104は、以下の式で第3拡大率kiを計算する。表示領域7102の面積をSd、胸膜領域7101の面積をSpとすると第3拡大率kiは、以下の式で算出できる。
ki=Sd/Sp
なお、胸膜領域情報4900は、類似症例データ4000の作成時に関心領域情報と共にユーザにより入力されてもよい。或いは、胸膜領域情報4900は、画像処理装置により、スライス画像から肺の領域を自動的に抽出させ、胸膜位置を判定させることで自動的に作成されてもよい。
図44は、第3分布情報が選択されたときの基本画面K2を示した図である。図44では、胸膜下が選択されている。この場合、類似症例のうち病変分布が胸膜下に該当する類似症例のサムネイル画像が症例表示領域710に表示される。また、症例表示領域710において、全てのサムネイル画像は関心領域ROIの中心が表示領域7001(表示枠の一例)の中心に位置するように第3拡大率で拡大されている。
以上の処理により、症例表示領域710には、病変分布に関する診断内容が反映された拡大率でサムネイル画像が表示される。そして、症例表示領域710において、関心領域のサイズが揃えてサムネイル画像が表示される。そのため、関心領域が一部の類似医用画像において小さい状態で拡大されたために見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。さらに、類似症例検索で得られた全ての類似症例ではなく、症例表示領域710で表示される類似症例に対して、拡大処理が行われるため、システムへの負荷が大幅に軽減される。
なお、病名リスト表示領域730で複数の病名が選択され、症例表示領域710が分割表示されている場合、症例表示領域710に表示されている類似症例のサムネイル画像は、分割領域ごとにユーザの操作により拡大される。以下、類似症例のサムネイル画像の拡大表示が説明される。
図52は、拡大表示機能を保持する場合の情報端末100、医用情報管理システム200、及び症例検索システム300の構成を示すブロック図である。図52と図2の異なる点は拡大画像生成部112が加わった点である。
拡大画像生成部112は、類似症例のサムネイル画像の拡大画像を生成する。拡大画像生成部112は、操作部102に対するユーザの操作量を入力制御部103から取得する。拡大画像生成部112は、症例検索システム300から送信された、検索クエリ画像に対する類似度が対応付けられた類似症例データ4000(関心領域情報4300等を含む)を通信制御部110から受け取る。拡大画像生成部112は、病名リスト表示領域730で複数の病名が選択され、症例表示領域710に複数の分割領域が形成されている時に、ユーザにより選択された分割領域に表示されている類似症例のサムネイル画像に対して、各サムネイル画像毎に別々の拡大率を算出し、表示される件数分の拡大画像を生成する。
図54は、症例表示領域710に形成された分割領域のうち1つの分割領域1801が選択されたときの基本画面K2を示す図である。図54に示されるように、複数の病名が選択された直後の状態では、各分割領域には、サムネイル画像の画像全体が表示されている。
情報端末100の入力制御部103は、マウス等の操作部102を通しての入力を常時モニタリングしている。そして、入力制御部103は、マウスをクリックする操作がユーザにより入力され、その操作により、症例表示領域710に表示された分割領域のうち、1つの分割領域1801が選択されたことを検知する。すると、表示制御部104は、選択された分割領域1801の背景の色を変更する。ここで、入力制御部103は、複数の分割領域のうちマウスがクリックされたときのマウスポインタが位置する分割領域1801をユーザが選択した分割領域であると判定すればよい。
図54の例では、症例表示領域710において、2列目の分割領域1801が選択されている。そのため、分割領域1801内のサムネイル画像の背景の色が変更されている。これにより、ユーザに対して分割領域1801に表示されたサムネイル画像が選択状態になったことを知らせることができる。
ここで、背景の色としては、例えば、症例表示領域710の背景の色との差が明確に現れる色が採用される。図54の例では例えば黄色が採用されている。なお、図54の例では分割領域の背景の色を変更する態様を示したが、分割領域の背景を点滅させる態様や輝度を明るくする態様が採用されてもよい。
図54に示すように分割領域1801が選択された状態で、ユーザが、例えばマウスホイールを回転させる拡大操作を行うと、入力制御部103は、マウスホイールの回転量を検知し、検知した回転量を拡大画像生成部112に通知する。すると、拡大画像生成部112は、例えば検知された回転量を用いて拡大率を決定し、決定した拡大率で分割領域1801に表示されたサムネイル画像を拡大する。表示制御部104は、拡大画像生成部112によって拡大されたサムネイル画像を症例表示領域710に表示する。ここで、入力制御部103は、選択状態の分割領域1801内のサムネイル画像の表示領域1802(表示枠の一例)内でマウスポインタが位置決めされてマウスホイールが回転されたときに、ユーザによる拡大操作が入力されたと判定してもよい。
図55は、1の分割領域のサムネイル画像が拡大されたときの基本画面K2を示す図である。図55に示されるように、選択された分割領域1801内に表示されている全てのサムネイル画像が一括して拡大されている。これにより、ユーザは、分割領域1801に表示されているサムネイル画像の各々について個々に拡大指示を入力する必要がなくなる。そのため、操作効率を向上させることができる。
なお、表示されているサムネイル画像を拡大する際には、拡大画像生成部112は、図55に示すように、サムネイル画像の関心領域ROIの中心座標が表示領域1802の中心座標に位置するように、拡大画像を生成する。また、表示制御部104は、サムネイル画像を拡大する際に、図55に示すように、表示領域1802のサイズを拡大せず、同じサイズに維持する。
また、拡大画像生成部112は、関心領域ROIのサイズが同じになるように、各サムネイル画像の拡大率をに異なる値に設定してもよい。これによって、図55に示されるように、関心領域ROIのサイズが同じ大きさになるように分割領域1801に表示されているサムネイル画像が拡大される。そのため、他のサムネイル画像に比べて関心領域ROIが小さく拡大されたサムネイル画像をユーザが見落とすことを防止できる。
図56は、症例表示領域710に表示されているサムネイル画像の一部が拡大されたときの図55と異なる基本画面K2の表示例を示す図である。図56では、拡大画像生成部112は、関心領域ROIのサイズが表示領域1802のサイズとほぼ同じサイズになるまで、サムネイル画像を拡大している。
このように、病名リスト表示領域730で複数の病名が選択され、症例表示領域710が分割表示されている時に、画像診断を行うユーザは注目した病名のサムネイル画像群を、一つの操作で一括して拡大表示することができる。そのため、ユーザは一つの拡大指示で複数の類似症例を詳細に比較することができる。したがって、操作数が大幅に低減され、ユーザの負担が軽減される。
なお、上記では、ユーザによる拡大操作は、マウスのホイールを回転させる操作としているが、本実施の形態は、これに限られない。例えば、症例表示領域710に表示されている一つのサムネイル画像上にマウスポインタを配置して、マウスボタンを押した状態で、キーボードの例えば上方向キーまたは下方向キーを押すことにより、拡大操作を行うようにしてもよい。この場合、入力制御部103は、上方向キーまたは下方向キーが押されている時間をカウントし、カウント値を拡大画像生成部112に通知する。そして、拡大画像生成部112は、通知されたカウント値が大きいほど拡大率が大きくなるように拡大率を決定すればよい。
次に、サムネイル画像の拡大処理を具体的に説明する。
図57は、症例表示領域710に表示されているサムネイル画像の拡大処理を示すフローチャートである。なお、このフローチャートが開始される前に分割領域のうち、1の分割領域が選択状態にあるものとする。
S4000では、拡大画像生成部112は、選択状態にある分割領域1801(図54の例では2列目の分割領域1801)において、拡大操作を入力する際にユーザが選択した1のサムネイル画像の類似症例ID4100を図46に示す類似症例データ4000から取得する。ここで、ユーザは、分割領域1801内に表示されたサムネイル画像のうち、1のサムネイル画像にマウスポインタを位置決めすることで、1のサムネイル画像を選択する。以下では、拡大操作をする際にユーザが選択したサムネイル画像を基準サムネイル画像と呼ぶ。拡大画像生成部112は、この基準サムネイル画像に対するユーザの拡大操作と連動させて、症例表示領域710に表示されている他のサムネイル画像の拡大率を決定する。
S4100では、拡大画像生成部112は、ユーザが操作部102に入力した基準サムネイル画像に対する拡大操作の操作量を、入力制御部103から取得する。そして、拡大画像生成部112は、取得した操作量を用いて、基準サムネイル画像に対する拡大率を決定する。
具体的には、入力制御部103は、1のサムネイル画像にマウスポインタが位置決めされてマウスホイールが回転されたときのマウスホイールの回転量を検知し、検知した回転量を拡大画像生成部112に通知する。拡大画像生成部112は、回転量に予め定められた係数を掛けることにより、基準サムネイル画像に対する拡大率を算出する。
上述のように、ユーザによる拡大操作は、キーボードの上方向キーまたは下方向キーでもよい。この場合、入力制御部103は、1のサムネイル画像にマウスポインタが位置決めされてマウスボタンが押された状態で上方向キーまたは下方向キーが押されたときの、キーの押下時間をカウントし、カウント値を拡大画像生成部112に通知する。そして、拡大画像生成部112は、カウント値に対して予め定められた係数を掛けることにより、基準サムネイル画像に対する拡大率を算出すればよい。
S4200では、拡大画像生成部112は、症例検索システム300から取得した複数の類似症例のうち、拡大対象の類似症例を決定する。この場合、S4000で選択された基準サムネイル画像が属する分割領域1801において表示状態にある類似症例が拡大対象の類似症例として選択される。ここで、拡大対象となる類似症例の個数をNZと表す。また、表示状態にある類似症例とは、分割領域1801において非表示状態にある類似症例は含まないことを意味する。例えば、図54において、左から1列目のアスペルギルス症の分割領域1801が選択されて拡大操作が入力されたとする。そして、この分割領域1801では、全域が表示状態にある3つの類似症例と一部が表示状態にある1つの類似症例との合計4つの類似症例が含まれているが、これ以外にも非表示状態の類似症例が含まれていたとする。この場合、表示状態にある4つの類似症例が拡大対象とされ、非表示状態にある残りの類似症例は拡大対象とされない。
S4300では、拡大画像生成部112は、類似症例i(iは処理対象の類似症例を特定するインデックスであり1以上の整数)のサムネイル画像を処理対象のサムネイル画像として決定する。そして、拡大画像生成部112は、iがNZに到達するまで(S4300でYES)、S4400、S4500の処理を繰り返す。拡大画像生成部112は、S4400、S4500の処理を実行する度に、iを1ずつインクリメントする。iがNZを超えると(S4300でNO)、図57の処理は終了する。
S4400では、拡大画像生成部112は、拡大対象の類似症例iのサムネイル画像の拡大率を算出する。S4100で決定した基準サムネイル画像に対する拡大率と、基準サムネイル画像に対応する類似症例の関心領域情報4300(図46)と、拡大対象の類似症例iの関心領域情報4300(図46)とに基づき、拡大画像生成部112は、拡大対象の類似症例iの拡大率を算出する。
図58は、図57のS4400のサブルーチンの処理を示すフローチャートである。
S4410では、拡大画像生成部112は、基準サムネイル画像に対応する類似症例の関心領域情報4300を用いて、基準サムネイル画像の関心領域の面積を算出する。ここで、基準サムネイル画像の関心領域の面積をSrとし、関心領域の左上の座標を(xl、yt)とし、関心領域の右下の座標を(xr、yb)とすると、関心領域の面積Srは以下の式で算出することができる。
Sr=|xl−xr|×|yt−yb|
S4420では、拡大画像生成部112は、拡大対象の類似症例iの関心領域情報4300を用いて、拡大対象の類似症例iのサムネイル画像の関心領域の面積を算出する。ここで、拡大対象の類似症例iのサムネイル画像の関心領域の面積をSiとし、関心領域の左上の座標を(xli、yti)とし、関心領域の右下の座標を(xri、ybi)とすると、関心領域の面積Siは以下の式で算出することができる。
Si=|xli−xri|×|yti−ybi|
S4430では、拡大画像生成部112は、S4410で算出した基準サムネイル画像の関心領域の面積Srと、S4420で算出した拡大対象の類似症例iのサムネイル画像の関心領域の面積Siと、S4100で決定した基準サムネイル画像に対する拡大率とを用いて、拡大対象の類似症例iの拡大率を算出する。ここで、基準サムネイル画像に対する拡大率をkrとすると、拡大対象の類似症例iの拡大率kiは、以下の式で算出することができる。
ki=kr(Sr/Si)
図59は、拡大処理前後の基準サムネイル画像及び拡大対象のサムネイル画像を概略的に示す図である。図59の左上図は、拡大処理前の基準サムネイル画像を示す。図59の右上図は、拡大処理後の基準サムネイル画像を示す。図59の左下図は、拡大処理前の拡大対象のサムネイル画像を示す。図59の右下図は、拡大処理後の拡大対象のサムネイル画像を示す。
図59の左上図に示される基準サムネイル画像を拡大率krで拡大すると、図59の右上図に示されるサムネイル画像が得られる。拡大画像生成部112は、図59の右上図において、関心領域ROIの中心座標が表示領域720dの中心座標に位置するように、表示領域720dを決定する。拡大画像生成部112は、表示領域720dのサイズを拡大処理前の表示領域720cのサイズと同じサイズに維持している。
図59の左下図に示される拡大対象のサムネイル画像を拡大率kiで拡大すると、図59の右下図に示されるサムネイル画像が得られる。拡大画像生成部112は、図59の右下図において、関心領域ROIの中心座標が表示領域720fの中心座標に位置するように、表示領域720fを設定する。拡大画像生成部112は、表示領域720fのサイズを拡大処理前の表示領域720eのサイズと同じサイズに維持している。
図59では、基準サムネイル画像の関心領域ROIを拡大率krで拡大したときの面積と、拡大対象の類似症例iのサムネイル画像の関心領域ROIを拡大率kiで拡大したときの面積とが同一サイズとなるように拡大率kiが決定されている。したがって、図59に示すように、拡大後の基準サムネイル画像の関心領域ROIと、拡大後の拡大対象の類似症例iのサムネイル画像の関心領域ROIとのサイズが一致している。
図57に戻って、S4500では、拡大画像生成部112は、S4400で算出した拡大率kiと、類似症例データ4000(図46)に登録された関心領域情報4300及びサムネイル画像データ4500とを用いて、拡大対象の類似症例iを拡大し、拡大画像を生成する。表示制御部104は、拡大画像生成部112により生成された拡大画像を表示する。
図60は、図57のS4500のサブルーチンの処理を示すフローチャートである。図61は、拡大率と表示領域との関係を概略的に表す図である。以下、図60及び図61を用いて、拡大画像の関心領域の中心座標が、表示領域の中心座標に位置するように、拡大画像を生成する処理の詳細について説明する。
S4510では、拡大画像生成部112は、S4400で算出した拡大率kiと、類似症例データ4000(図46)に登録されたサムネイル画像データ4500とを用いて、拡大画像を生成する。拡大率kiが用いられて、図61の左図に示されるサムネイル画像から図61の右図に示される拡大画像が生成される。
S4520では、拡大画像生成部112は、類似症例データ4000(図46)に登録された関心領域情報4300と、S4400で算出した拡大率とを用いて、拡大画像の関心領域の中心座標を算出する。ここで、拡大前の関心領域の中心座標を(xc、yc)とすると、図61に示すように、拡大前の関心領域の中心座標に拡大率を掛けて得られる座標(ki×xc、ki×yc)が拡大後の関心領域の中心座標となる。
S4530では、拡大画像生成部112は、S4520で算出した拡大後の関心領域の中心座標(ki×xc、ki×yc)と、予め定められた表示領域のサイズとから、類似症例iのサムネイル画像の拡大画像の表示領域を決定する。ここで、図61の左図に示されるように、表示領域720aは、横寸法w、縦寸法hに設定されている。この場合、図61の右図に示される横寸法w、縦寸法hを持つ矩形状の領域が表示領域720bとなる。この表示領域720bの左上の頂点の座標は(ki×xc−w/2、ki×yc−h/2)であり、右下の頂点の座標は(ki×xc+w/2、ki×yc+h/2)である。
S4540では、表示制御部104は、拡大画像生成部112によりS4510で生成された拡大画像のうち、S4530で算出された表示領域720bの画像を、症例表示領域710の類似症例iの表示領域に表示する。図60に示される処理により、関心領域の中心座標が表示領域の中心座標に位置するように類似症例iの拡大画像が生成される。
以上の処理により、症例表示領域710には、ユーザが基準サムネイル画像に対して任意の拡大率を指定すると、基準サムネイル画像が属する分割領域1801において、表示状態にある残りのサムネイル画像が一括して拡大される。そのため、ユーザは、1の拡大操作で、分割領域1801内で表示状態にある全てのサムネイル画像の拡大できる。その結果、ユーザの操作負担が減少する。また、分割領域1801において、関心領域のサイズが揃えられてサムネイル画像が表示される。そのため、あるサムネイル画像について、関心領域が他のサムネイル画像に対して小さく拡大されたために、そのサムネイル画像が読影候補から見落とされる事態が発生することを防止し、診断精度の向上を図ることができる。さらに、類似症例検索で得られた全ての類似症例ではなく、分割領域1801内で表示状態にある類似症例に対して拡大処理が行われる。このため、システムへの処理負荷が大幅に軽減される。
なお、実施の形態1では、ディスプレイ101bは横方向に長い形状を持つとして説明したが、縦方向に長い形状を持っていてもよい。
(実施の形態2)
次に、本開示の実施の形態2について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。
実施の形態1では、1以上の病名が選択された場合、症例表示領域710を病名毎に縦方向に長尺の1以上の分割領域に分け、各分割領域において類似症例を縦一列で表示する態様を採用した。そして、検索クエリ画像に対する類似度が高い類似症例を症例表示領域710の上部に集め、左から右に向かって関連度が高い順に検索結果が表示される一般的なインターネット等の検索画面の表示態様を実施の形態1は踏襲した。
一方、1以上の病名を選択して類似症例を絞り込んだ後は、各病名において最も類似度が高い類似症例を、レイアウト領域720に表示された検索クエリ画像に対して最も近くに表示しても、検索クエリ画像と類似症例との比較をユーザは効率的に行うことができると考えられる。そこで、実施の形態2では、上記の表示態様を採用する。
また、実施の形態1では、形状が横長のディスプレイ101bを採用したが、実施の形態2では、形状が縦長のディスプレイ101bを採用して説明する。なお、実施の形態2では、ディスプレイ101aの形状は横長であってもよいし、縦長であってもよい。
実施の形態1と実施の形態2との相違点は、症例表示領域710の表示制御に関わる部分であるため、この部分を重点的に説明し、他の部分は説明を省略する。
図62は、情報端末100にて類似症例検索アプリケーションを起動した直後にディスプレイ101bに表示される基本画面K3の一例を示す図である。図62に示す基本画面K3は、図6と同様に症例表示領域710、レイアウト領域720、病名リスト表示領域730、及び分布リスト表示領域750を備える。
類似症例の数が膨大である場合、症例表示領域710は全ての類似症例を一度に表示することができない。そこで、症例表示領域710の例えば下側に横方向に長尺のスクロールバー715が設けられている。
表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を左右方向にスクロール表示させる。これにより、ユーザは、非表示状態にあった類似症例を症例表示領域710に表示させ、その類似症例を観察できる。
なお、図63に示すように、スクロールバー715は上下方向に長尺であってもよい。図63は、症例表示領域710に上下方向に長尺なスクロールバー715が設けられた場合の基本画面K3を示す図である。この場合、表示制御部104は、スクロールバー715の移動量に応じて、症例表示領域710内に表示されているサムネイル画像を上下方向にスクロール表示させればよい。或いは、症例表示領域710にマウスポインタが位置決めされた状態で、キーボードの方向キーが押されると、表示制御部104は、キーが押されている間、押されているキーの方向に症例表示領域710内に表示されているサムネイル画像をスクロール表示させてもよい。
症例表示領域710におけるサムネイル画像の表示手法としては、例えば、図62に示すように、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、下側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一列の下端に達すると、左から2列目の上端に次に距離が大きいサムネイル画像を表示するという表示手法が採用できる。つまり、症例表示領域710において、左上から上下に蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法が採用できる。
もちろん、本実施の形態は別の表示手法が採用されてもよい。例えば、図63に示すように、最上段の行の左端に検索クエリ画像との距離が最短のサムネイル画像を表示し、右側に向かうにつれて距離が順次に大きくなるようにサムネイル画像を表示し、同一行の右端に達すると上から2行目の左端に次に距離が大きいサムネイル画像を表示するという表示手法を採用してもよい。つまり、症例表示領域710において、左上から右下に向けて蛇行するように距離が小さい順にサムネイル画像を表示するという表示手法である。また、これら複数の表示手法をユーザが切り替え可能な構成が採用されてもよい。
次に、病名リスト表示領域730で複数の病名が選択された場合の画面遷移について説明する。病名リスト表示領域730で複数の病名が選択された場合は、実施の形態1と同様、選択された病名の数に応じて症例表示領域710を分割して分割領域を形成し、各分割領域に該当する類似症例を表示する。
図64は、病名リスト表示領域730において病名が選択された場合の表示処理の一例を示すフローチャートである。以下、図64のフローチャートを用いて、病名リスト表示領域730に表示された病名が選択された場合の症例表示領域710への表示処理について詳しく説明する。
図64のフローチャートは、図48のフローチャートにおいて、S1003、S1004、S1005に代えて、S3000、S3001、S3002が設けられている。
S3000は、病名リスト表示領域730で1つの病名が選択された場合の症例表示領域710の表示処理である。この場合、図65に示すように、S1000で選択された1つの病名に該当する類似症例のサムネイル画像が、距離の近い順に縦方向で症例表示領域710に表示される。
図65は、1つの病名が選択された場合の基本画面K3の第1例を示す図である。図65の例では、左から1列目の上端に検索クエリ画像に対する距離が最も小さい(類似度が高い)類似症例が表示され、下に向かうにつれて距離が大きい(類似度が高い)順で類似症例が表示され、1列目の下端に達すると左から2列目の上端に次に距離が大きい類似症例が表示されるという表示態様で、類似症例のサムネイル画像が表示される。
これにより、類似度が高い類似症例が、症例表示領域710の左側に集められ、レイアウト領域720の表示された検索クエリ画像に可能な限り近い位置に表示され、検索クエリ画像と類似症例との比較を効率的に行うことができ、診察精度の向上に寄与できる。
なお、図65では、S1000で選択された病名に該当する類似症例のサムネイル画像が、距離の近い順に縦方向で表示されたが、本実施の形態はこれに限定されない。例えば、図66に示すようにS1000で選択された病名に該当する類似症例のサムネイル画像が、距離の近い順に横方向に表示されてもよい。図66は、1つの病名が選択された場合の基本画面K3の第2例を示す図である。図66の例では、左から1列目の上端に検索クエリ画像に対する距離が最も小さい(類似度が高い)類似症例が表示され、右に向かうにつれて距離が大きい(類似度が高い)順で類似症例が表示され、1行目の右端に達すると上から2行目の左端に次に距離が大きい類似症例が表示されるという表示態様で、類似症例のサムネイル画像が表示される。
この場合、類似度の高い類似症例が症例表示領域710の上部に集められ、左から右に向かって関連度が高い順に検索結果が表示される一般的なインターネット等の検索画面の表示態様が踏襲される。
S3001〜S3002は、病名リスト表示領域730で複数の病名が選択された場合の症例表示領域710に対する表示処理である。
S3001では、表示制御部104は、症例表示領域710を、S1001で算出した病名数で横方向に分割する。この処理により、S1000で取得した病名の個数分の分割領域が作成される。ここで作成される分割領域は、該当する病名を持つ類似症例のサムネイル画像を横一列で表示するために横方向に長尺である。
S3002では、表示制御部104は、S3001で作成した各分割領域に対し、該当する病名を持つ類似症例のサムネイル画像を類似度が高い順に横一列で表示する。
図67は、複数の病名が選択された場合に作成される基本画面K3の一例を示す図である。この基本画面K3は、図63の病名リスト表示領域730でアスペルギルス症、転移性肺癌、及び肺膿瘍の3つの病名が選択された後の状態を示している。そのため、表示条件表示領域714には、アスペルギルス症、転移性肺癌、及び肺膿瘍と表示されている。また、3つの病名に該当する類似症例の件数が15件であったため、検索結果件数表示領域713には15件と表示されている。また、3つの病名が選択されため、症例表示領域710は、横方向に3分割されて、3つの病名に対応する3つの分割領域が形成されている。そして、各分割領域には該当する病名の類似症例のサムネイル画像が類似度の高い順で横一列で表示されている。
ここでは、上から順に「アスペルギルス症」、「転移性肺癌」、及び「肺膿瘍」との見出しが付けられた3つの病名に対応する3つの分割領域が表示されている。そして、各分割領域には、各病名に該当する類似症例のサムネイル画像が横一列で表示されている。
このような表示を行うことにより、病名を選択して類似症例を絞り込んだ後は、各病名において最も類似度が高い類似症例が、レイアウト領域720の表示された検索クエリ画像に最も近い位置に表示される。そのため、検索クエリ画像に対して類似度の高い類似症例のサムネイル画像を、医師に優先的に検討させることができる。このように効率的に比較精度を向上させるシステムを提供することで、診察精度の向上に寄与できる。
なお、1の分割領域において表示対象となるサムネイル画像が一定数以上であり、分割領域が一度に全てのサムネイル画像を表示できない場合、表示制御部104は、該当する分割領域にスクロールバー10001を配置してもよい。図67の例では、3つの分割領域は、表示対象となるサムネイル画像が一定数以上であり、一度に全てのサムネイル画像を表示できなかったため、横方向に長尺のスクロールバー10001が配置されている。この場合、表示制御部104は、スクロールバー10001が右方向にスライドされると、病名の見出しを維持した状態で、或いは見出しと共に、スライド量に応じた距離分、該当する分割領域を、左方向にスクロールさせる。また、表示制御部104は、スクロールバー10001が左方向にスライドされると、病名の見出しを維持した状態で、或いは見出しと共に、スライド量に応じた距離分、分割領域を右方向にスクロールさせる。これにより、ユーザは、選択した病名に対応する類似症例のサムネイル画像を全て閲覧できる。なお、図67の例では、分割領域は1度に2つのサムネイル画像が表示可能であるため、表示対象のサムネイル画像が3つ以上の場合、表示制御部104は、該当する分割領域にスクロールバー10001を配置させればよい。
また、図67において、選択された病名数が一定数以上の場合は、図68に示されるように、スクロールバー10000等を用いて症例表示領域710は拡張されてもよい。図68は、選択された病名数が一定数以上の場合の基本画面K3を示す図である。症例表示領域710に表示するサムネイル画像のサイズを読影可能な所定のサイズ以上に保持する場合、選択された病名数が一定以上になると、症例表示領域710は、選択された全ての病名を一度に表示することができなくなる。そこで、選択された病名数が一定以上の場合 、表示制御部104は、症例表示領域710にスクロールバー10000を設け、症例表示領域710を実質的に拡張する。
図68の例では、図63の病名リスト表示領域730でアスペルギルス症、転移性肺癌、肺膿瘍、クリプトコッカス症の4つの病名が選択された後の基本画面K3が示されている。図68に示すように、症例表示領域710は、横方向に4分割されて4つの病名に対応する4つの分割領域が形成され、各分割領域に対応する病名の類似症例のサムネイル画像を表示している。ここで、上から4行目に配置されたクリプトコッカス症の分割領域は、一部が非表示状態になっている。そこで、表示制御部104は、症例表示領域710に縦方向に長尺のスクロールバー10000を配置する。そして、表示制御部104は、スクロールバー10000が上方向にスライドされると、スライド量に応じた距離分、症例表示領域710を下方向にスクロールさせ、一部が非表示であったクリプトコッカス症の分割領域の全域を症例表示領域710内に露出させる。このように、選択された病名数が一定以上の場合にスクロールバー10000を用いて症例表示領域710をスクロールすることで、ユーザは選択した全ての病名に該当する類似症例を閲覧できる。なお、ここでは、スクロールバー10000を用いる態様を説明したが、図50で説明したのと同様、症例表示領域710内にマウスが位置決めされ、マウスがドラッグされることで、症例表示領域710を上下にスクロールさせる態様が採用されてもよい。
また、図68の例では、症例表示領域710は、一度に全域を表示できる分割領域の個数が3つであるため、ユーザにより4つ以上の病名が選択された場合にスクロールバー10000が表示される。
なお、S3000では、病名リスト表示領域730で1つの病名が選択された場合、症例表示領域710は、サムネイル画像を類似度の高い順で縦方向に表示する例を示したが、本実施の形態はこれに限定されない。例えば、病名リスト表示領域730で1つの病名が選択された場合、表示制御部104は、症例表示領域710に類似度の高い順にサムネイル画像を横一列で表示してもよい。
図69は、図63の病名リスト表示領域730でアスペルギルス症が選択された後の基本画面K3を示す図である。図69の例では、病名として選択されたアスペルギルス症のサムネイル画像は、類似度が高い順で横一列で表示されている。このような表示を行うことにより、病名が複数選択された場合と同じ視線動作で、ユーザは類似症例を閲覧することができるため、検索時の利便性を向上させることができる。
なお、実施の形態2では、ディスプレイ101bは縦方向に長い形状を持つとして説明したが、横方向に長い形状を持っていてもよい。
また、図52では、画像特徴抽出部302は、症例検索システム300が備えていたが、図53に示すように情報端末100が備えていてもよい。図53は、画像特徴抽出部を情報端末100に設けた場合の情報端末100、医用情報管理システム200、及び症例検索システム300の構成を示すブロック図である。図53に示すように、症例検索システム300から画像特徴抽出部が省かれ、情報端末100が画像特徴抽出部113を備えている。それ以外は図52と同じである。