[第1の実施の形態]
まず始めに、本願発明における診断支援の詳細について説明する。
一般に医療における診断行為は医師の判断により行われている、このことは医師の経験差や主観判断の違いによる診断結果の相違が生じる可能性があることを示している。この問題に対し、診断支援は所見に対する情報の客観的表示、線形判別関数やニューラルネットワーク等の識別分類手法を用いた疾患分類結果表示、診断時における典型症例や類似症例の参照表示等、様々な情報を提供することで
ばらつきのない正確な診断を実現することを目的としている。診断支援コンテンツは診断支援において提供する支援情報の内容や種類であり、例えば以下の(1)〜(5)に示すバリエーションが考えられる。これらの診断支援コンテンツは、画像撮像機器(モダリティ、本願発明においては内視鏡システムを例に説明する)、検査部位、注目する疾患名等に応じて適宜作成される。
(1)画像所見の客観表示及び疾患に関する統計情報表示
医用内視鏡分野においては、例えば重要な画像所見の一つとして色調が挙げられる。色調の違いを客観的に表す数値(特徴量)としては、IHb値が広く用いられている。IHb値はRGB色信号から構成される内視鏡画像の各画素ごとに式
32log2 Ri/Gi
により求められる値で、粘膜下血液量に相関する値として知られ、粘膜の色調が赤い程高い値をとる。ここで、iは画素の番号を示す添え字であり、画像全体または関心領域内の平均値を診断支援情報として用いる。IHb値を用いて胃炎の診断支援を行うための診断支援コンテンツの例を図9に示す。図9は医師に対し提示される表示画面の内容であり、表示領域A1において、診断支援コンテンツ名称A2、グラフ情報領域A3、診断情報領域A4、統計情報領域A5から構成されている。グラフ情報領域A3には正常群及び疾患群(本例では胃炎群)におけるIHb値の生起確率分布をグラフ表示するとともに、診断対象となる症例から得られたIHb値がどこに位置するかを示すポインタA6を重畳している。また、診断情報領域A4については診断対象となる症例のIHb値とグラフ情報領域A3の正常群及び胃炎群を参照した場合の生起確率情報を表示するとともに、「ヘリコバクタピロリ感染による胃炎が疑われます。」といったテキスト情報も出力する。統計情報領域A5においては、正常群及び胃炎群におけるIHb値の平均値±標準偏差、各群の生起確率が等しくなる境界値、IHb値を用いた診断支援情報の感度、特異度等の統計情報が表示される。これらの各診断支援情報を参考に、医師は最終的な診断を実施する。したがって、通常は「粘膜表面が赤い」等の主観的な判断に依存していた診断が、本例に示す診断支援コンテンツを参照することにより客観的かつ統計的根拠に基づくものとなる。
また、IHb値に基づき疑似カラー画像を作成し、内視鏡画像と併せて表示してもよい。
このような特徴量及び統計情報を用いた診断支援は内視鏡画像の色調に限らず、X線や超音波画像の他のモダリティ、構造成分や濃淡情報等の各種所見に対し適宜作成できる。また、例えば血液検査による赤血球数等、画像から得られる特徴量以外の数値に対しても同様の診断支援コンテンツを作成可能である。
(2)画像解析手法の適用により得られる特徴量を用いた識別分類結果による疾患種別表示
内視鏡画像から得られる複数種の特徴量及び識別分類手法を用いた胃隆起性病変(腺腫、早期癌)の診断支援を行うための診断支援コンテンツの例を図10に示す。図10は医師に対し提示される表示画面の内容であり、表示領域A11において、診断支援コンテンツ名称A12、算出特徴量情報領域A13、診断情報領域A14から構成されている。算出特徴量情報領域A13には診断支援に用いる特徴量(本例においてはIHb値、G変動係数、血管面積比の3種)の値について、診断対象からの算出値、診断結果となる正常群、腺腫群及び早期癌群の平均値を表示する。また、診断情報領域A14においては、識別分類手法名(本例では線形判別関数)、識別結果となるクラス名称、識別分類結果を表示する。
また、「生検の実施が必要です。」といったより確実な診断のためのテキスト情報も表示する(生検とは特殊な針で粘膜組織をサンプルし、顕微鏡下で組織像を確認する診断法である)。
(3)典型症例、類似症例画像及び患者・検査情報表示
診断対象となる症例の画像に対し、疑われる診断結果の典型症例及び類似症例画像を比較参照用に表示することで診断支援を行うための診断支援コンテンツの例を図11に示す。図11は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図11の内容としては、表示領域A21において診断支援コンテンツ名称A22、診断対象画像表示領域A23、参照用画像表示領域A24、参照用画像を典型症例または類似症例のいずれとするかを選択するためのボタンA25、複数の参照用画像がある場合に前後の画像を選択表示するための選択ボタンA26、参照用画像の詳細を表示するための詳細表示ボタンA27、参照用画像の診断名表示兼プルダウンメニューA28、診断対象画像及び参照用画像の各種特徴量等の比較情報表示領域A29、各ボタンとメニューをマウス操作及びクリックにより選択するためのカーソルA30からなっている。
参照用画像としては、前述の診断支援コンテンツ(1)及び(2)により得られた診断結果やメニューA28を用いた医師のマニュアル指定による診断名に基づく症例の画像が選択される。本例においてはIIa型早期胃癌のNo.12が付与された参照用画像を表示している。詳細表示ボタンA27がクリックされた場合には、図12に示す参照用画像の詳細表示画面が別のウィンドウとして開き、各種の情報を表示する。また、参照用画像として類似症例画像を選択した場合には、比較情報表示領域A29に示す各種特徴量の値が近い症例画像を検索の上、表示する。
このように、疑われる疾患の典型的症例画像や類似症例画像を表示し、診断時に比較検討することができるため、医師の経験差や知識を補うとともに診断の正確さが向上する。
(4)疾患が疑われる際に注目すべき所見等の情報表示
診断対象となる症例に対し、疑われる疾患の診断において注目すべき所見、鑑別対象となる疾患との違い等の情報を表示することにより診断支援を行うための診断支援コンテンツの例を図13に示す。図13は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図13の内容としては、表示領域A41において診断支援コンテンツ名称A42、診断対象疾患名表示兼プルダウンメニューA43、診断対象疾患情報表示領域A44、鑑別対象疾患情報表示領域A45、他の鑑別対象疾患情報を表示するための表示情報変更ボタンA46、ボタンとメニューをマウス操作及びクリックにより選択するためのカーソルA47からなっている。
診断対象疾患情報表示領域A44には、前述の診断支援コンテンツ(1)及び(2)により得られた診断結果やメニューA43を用いた医師のマニュアル指定による診断名に対する診断上重要となる画像所見についての情報が表示される。また、鑑別が重要となる他の疾患についての同様な情報が鑑別対象疾患情報表示領域A45に表示される。また、鑑別対象疾患は診断名ごとに定められており、本例のIIa型早期胃癌に対しては腺腫、過形成性ポリープ・リンパ腫等の隆起性病変が対象となり、表示情報変更ボタンA46をクリックすることで順次各々の注目所見情報を表示する。これらの各種情報として常に最新の医療情報に基づく内容を提示することにより、医師は自身の記憶・経験のみでなくこれらの情報を参考にして診断を行うことができる。
(5)疾患に対する検査項目、処置内容等の情報表示
診断対象となる症例に対し、疑われる疾患の診断において実施すべき検査項目や適切な処置の選択に関する情報を表示することにより診断支援を行うための診断支援コンテンツの例を図14に示す。図14は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図14の内容としては、表示領域A51において診断支援コンテンツ名称A52、診断対象疾患名表示兼プルダウンメニューA53、診断対象疾患の検査内容表示領域A54、診断対象疾患の処置内容表示領域A55、メニューをマウス操作及びクリックにより選択するためのカーソルA56からなっている。
診断対象疾患の検査内容情報表示領域A54には、前述の診断支援コンテンツ(1)及び(2)により得られた診断結果やメニューA53を用いた医師のマニュアル指定による診断名に対する診断上重要となる検査項目についての情報が表示される。また、診断確定後の処置内容に関する情報が処置内容表示領域A55に表示される。これらの情報として医療の進歩に応じた最新の知見を導入することで、医師の記憶・経験を有効に補助する診断支援が可能となる。
以上に示した診断支援コンテンツについては、モダリティや診断の目的に応じて使用する特徴量等を適宜変更することが可能である。また、各診断支援コンテンツは同時に実行可能であり、例えばマルチウィンドウ形式や組み合せ表示により複数の診断支援コンテンツを同時に利用することでより多くの情報を提示することができる。
続いて、本発明の第1の実施の形態について、図面を参照して説明する。本実施の形態は検査の目的や種別に応じた診断支援情報を選択的に得られるとともに、最新の診断支援コンテンツを利用可能な診断支援装置に関するものである。
図1は、本発明の第1の実施の形態に係る診断支援システムの一実施形態を示す。図1において、#1は本発明の第1の実施の形態に係る診断支援システム、#2はWAN(Wide Area Network)またはLAN(Local Area Network)により構築されるネットワーク#4を介して診断支援コンテンツを配信するための診断支援コンテンツサーバ、#3は病院・診療所等に設置され、診断支援コンテンツサーバ#2から配信される診断支援コンテンツ及び医用システム#5より得られる診断用情報を用いた診断支援を行うための診断支援実行端末である。
本実施の形態においては診断支援コンテンツサーバ#2及び診断支援実行端末#3はコンピュータであり、それぞれCRTやLCD等の表示手段とともにキーボード、マウス等の入力手段を有している。また、図1においては便宜上各1台ずつの接続を表しているが、診断支援コンテンツサーバ及び診断支援実行端末が同一ネットワーク上に複数存在することが可能である。
なお、診断支援システムはセキュリティを守るため、診断支援コンテンツサーバ#2及び診断支援実行端末#3は互いにサーバ名、施設名、IDやパスワード等の認証情報を送受信することにより通信を確立できるようになっている。
図2は本実施の形態における診断支援コンテンツサーバ#2の構成を示す説明図である。診断支援コンテンツサーバ#2は、診断支援コンテンツ及び診断支援コンテンツ管理情報を記憶する診断支援コンテンツ記憶手段#6と、診断支援コンテンツサーバ#2の動作を制御するための制御手段#9と、制御手段#9において実行するメインプログラムを記憶するためのメインプログラム記憶手段#7と、診断支援コンテンツを配信する配信先を特定し、また認証するための配信先管理ファイル記憶手段#8と、診断支援コンテンツの配信においてネットワーク#4を介する入出力を制御するための入出力制御手段#10から構成されている。診断支援コンテンツ記憶手段#6、メインプログラム記憶手段#7及び配信先管理ファイル記憶手段#8は診断支援コンテンツサーバ#2を実現するコンピュータに接続されたハードディスクを用いる。また、制御手段#9はCPU及びメインメモリを用いたメインプログラムの実行により動作する。
図4は本実施の形態における診断支援コンテンツサーバ#2の制御手段#9で実行されるメインプログラム#31のブロック図であり、診断支援コンテンツの配信における一連の処理を実行する診断支援コンテンツ配信実行部#32、診断支援コンテンツ記憶手段#6及び配信先管理ファイル記憶手段#8に対する検索、読み出し等にともなう一連のアクセスを制御するための記憶手段管理部#33から構成されている。
診断支援コンテンツは始めに説明したように、医師の診断に対する様々な支援情報を提供するもので、例えば図15に示す診断支援コンテンツオブジェクトA60のように構成される。図15において、診断支援コンテンツオブジェクトA60は必要に応じて各種のデータやプログラムを組み合わせたソフトウェア上の概念であり、診断支援コンテンツを特定するためのID、名称等を含む診断支援コンテンツ特定情報A61、診断支援対象となるN種類の疾患種別(N≧1)に対する統計情報、診断情報、検査・処置情報、複数の症例・画像データから算出した特徴量データリスト等を含む疾患情報A62、各疾患種別に対応する1個以上の参照用画像情報A63、診断支援に使用するためのP種類(P≧1)の特徴量算出手法を実行するための特徴量算出ライブラリA64、K種類(K≧1)の識別分類手法を実行するための識別分類手法ライブラリA65、グラフ作成時に参照されるグラフ作成データA66から構成されている。診断支援コンテンツオブジェクトは診断支援コンテンツを実現するファイルやソフトウェアライブラリであり、診断支援コンテンツの送受信、保存、選択等はこれらのファイルやソフトウェアを用いて実行される。また、診断支援コンテンツの更新・追加は診断支援コンテンツオブジェクトに含まれる各種解析手法、統計データ、画像データ等に対する部分的なバージョンアップ等の変更も含まれ、変更された要素項目のみを送受信することも可能となっている。
なお、診断支援コンテンツオブジェクトは図15に示したすべての要素を必ず備えるのではなく、生成する診断支援情報に必要な要素だけを使用するようになっている。
また、診断支援コンテンツ管理情報は、診断支援コンテンツオブジェクトA60のID、名称等の診断支援コンテンツ特定情報に加え、作成・更新日時等の日付情報、作成者情報、その他の説明情報等をテーブル化し、ファイルとして記憶するものである。
図3は本実施の形態における診断支援実行端末#3の構成を示す説明図である。診断支援実行端末#3は、診断支援実行端末#3の動作を制御するとともに診断支援情報を作成するための制御手段#12と、ネットワーク#4を介する通信入出力を制御するための入出力制御手段#11と、制御手段#12において実行するメインプログラムを記憶するためのメインプログラム記憶手段#14と、配信された診断支援コンテンツ及び診断支援コンテンツ管理情報を記憶するための診断支援コンテンツ記憶手段#13と、ネットワークアドレス、ユーザ名、ID等診断支援実行端末#3を特定するための端末認証情報を記憶するための端末認証情報記憶手段#16と、医用システム#5より得られる患者、検査及び画像に関する診断用情報を取得するための入出力を制御する診断情報入出力制御手段#15と、作成された診断支援情報の表示を制御するための表示制御手段#17と、作成された診断支援情報を表示するための表示手段#18と、操作者からの指示等を入力するためのキーボード、マウス等の外部入力手段#23から構成されている。また、図3において、医用システム#5はLAN等による院内ネットワーク#20に接続された電子カルテ#21、画像ファイルシステム#22、本実施の形態における画像撮像のためのモダリティである内視鏡システム#19から構成されている。これらの医用システム#5は、近年普及しているDICOM3.0等の共通プロトコル等を用いて互いに情報の授受を行うことができるようになっている。診断支援コンテンツ記憶手段#13、メインプログラム記憶手段#14及び端末認証情報記憶手段#16は診断支援実行端末#3を実現するコンピュータに接続されたハードディスクを用いる。また、制御手段#12はCPU及びメインメモリを用いたメインプログラムの実行により動作する。
次に、診断支援実行端末#3の診断支援情報生成及び表示にともなう動作について説明する。
図7は本実施の形態における診断支援実行端末#3の制御手段#12において実行されるメインプログラム#51のブロック図であり、診断支援コンテンツ記憶手段#13に対する記憶、検索、読み出し等にともなう一連のアクセスを制御する記憶手段管理部#53と、診断支援情報入出力手段#15を介して入力される患者、検査及び画像情報からなる診断情報の入出力を行うインターフェースである診断情報入出力I/F#56と、キーボード、マウス等の外部入力手段#23からの入力を行うインターフェースである入力I/F#58と、入力された診断情報及び診断支援コンテンツを用いた診断支援情報を生成するための診断支援情報生成部#57と、診断支援コンテンツサーバ#2に対する端末認証情報の送信を行う端末認証情報送信部#52と、端末認証情報記憶手段#16及び診断支援コンテンツ記憶手段#13に対する記憶、検索、読み出し等にともなう一連のアクセスを制御する記憶手段管理部#53と、診断支援コンテンツの受信にともなう診断支援コンテンツサーバとの一連の通信を行うための診断支援コンテンツ通信部#55と、受信した診断支援コンテンツを記憶手段管理部#53を経由して診断支援コンテンツ記憶手段#13に記憶するとともに診断支援コンテンツ管理情報を更新する診断支援コンテンツ管理部#54とを備えている。
図16及び図31は本実施の形態における診断支援実行端末#3の診断支援情報生成及び診断支援コンテンツの更新・追加にともなう一連の動作を説明するためのフローチャートである。なお、検査時の診断支援情報の生成においては、ここでは図3に基づき診断支援実行端末#3に接続された内視鏡システム#19からの画像の入力をトリガとして診断支援情報を生成し、表示手段#18に表示するものとする。
図16において、ステップS21で実行する診断支援コンテンツの設定または診断支援コンテンツの更新・追加を選択する。具体的には、メインプログラム#51は図27に示す診断支援メインメニューウィンドウA200を表示手段#18に表示する。メインメニューウィンドウA200は、検査における診断支援を実行するための診断支援実行ボタンA201、診断支援コンテンツサーバ#2との通信により診断支援コンテンツを更新・追加するための診断支援コンテンツ更新/追加ボタンA202と、診断支援実行端末の動作を終了するための終了ボタンA203を備えており、キーボード、マウス等の外部入力手段#23を用いて各ボタンを選択することで次の動作ステップに進む。メインメニューウィンドウA200において、診断支援実行ボタンA201が選択された場合は図31に示すステップS51に進む。また、診断支援コンテンツ更新/追加ボタンA202が選択された場合は図31におけるステップS54に進む。ここでは診断支援実行ボタンA201が選択されたものとして説明を続ける。
ステップS51においては、実行する診断支援コンテンツの検査条件設定を行う。条件設定の内容は検査の目的や種別に関する項目であり、本実施の形態においては検査に使用する機器であるモダリティの種別、検査部位である。条件設定は表示手段#18に表示された図28に示す検査条件設定ウィンドウA210上において行い、プルダウンメニューであるモダリティ選択メニューA211及び検査部位メニューA212を使用する。各メニューには初期値として前回設定された条件が表示され、必要に応じて外部入力手段#23の操作により設定を変更する。条件設定後、OKボタンA213を選択し、ステップS52に進む。
続くステップS52においては、図29に示す、設定されたモダリティ種別及び検査部位に応じた診断支援コンテンツを選択及び設定するための診断支援コンテンツ設定ウィンドウA220が表示される。診断支援コンテンツ設定ウィンドウA220においては、ステップS51において設定した条件に対応し、診断支援実行端末#3において適用可能な診断支援コンテンツを一覧表示する診断支援コンテンツメニューA221と、診断支援コンテンツの選択/非選択状態を示す選択状態表示領域A222を備えている。診断支援コンテンツメニューA221において外部入力手段#23の操作により所望の診断支援コンテンツを選択/非選択(これらはマウス等のクリックに対してトグルになっている)するようになっており、初期値として前回の検査における選択状態が再現されている。診断支援コンテンツを設定後、検査開始ボタンA223を選択し、ステップS53に進む。
ステップS53においては、設定された診断支援コンテンツのロード(準備)を行う。メインプログラム#51は、設定された診断支援コンテンツに対応する診断支援コンテンツオブジェクトを診断支援コンテンツ記憶手段#13より読み出し、必要なデータのロード、使用する特徴量算出手法ライブラリ及び識別分類手法ライブラリ(これらはプラグイン技術により実装される。プラグインについてはインターネットブラウザ等で常用されている公知技術であるため、詳細は省略する)のリンク等を行い診断支援情報生成部#57の動作準備を完了し、図16におけるステップS22に進む。
ステップS22において、設定された診断支援コンテンツが使用する患者・検査情報を内視鏡システム#19もしくは院内ネットワーク#20に接続された電子カルテ#21、画像ファイルシステム#22等から取得する。
ステップS23においては内視鏡システム#19からの画像入力にともない、画像情報を取得する。
続くステップS24においては、ステップS22において取得した患者・検査情報及びステップS23において取得した画像情報に基づき診断支援情報生成部#57による診断支援情報を生成する。診断支援情報生成部#57は診断支援コンテンツに応じた特徴量の算出、識別分類処理の実行、統計情報・グラフの作成等、診断支援コンテンツ例(1)〜(5)に示した各種情報の生成に必要な処理を実行するとともに表示画面を作成する。
ステップS25においては生成された診断支援情報を表示手段#18に表示する。図32に診断支援実行画面表示例を示す。診断支援実行画面A250はマルチウィンドウ表示画面として構成されており、患者・検査情報、内視鏡システム#19から入力される原画像等を表示するための患者・検査・画像情報表示ウィンドウA251、設定された診断支援コンテンツに基づく診断支援情報を表示するための1つ以上の診断支援情報表示ウィンドウA252を備えている。また、患者・検査・画像情報表示ウィンドウA251に表示される原画像上には、画像解析手法の適用により特徴量を算出するための関心領域を示す関心領域情報A253が重畳される。医師は、これらの患者・検査・画像情報及び診断支援情報を参照し、検査を行う。
ステップS26においては、診断支援を終了するのであれば終了し、終了しないのであれば内視鏡システム#19からの次の画像情報入力に対してステップS23以降を繰り返す。終了にあたっては、診断支援実行画面A250における検査終了ボタンA254を選択する。メインプログラム#51は次の検査等に備え、メインメニューウィンドウA200を再度表示する。
次に、ステップS21においてメインメニューウィンドウA200上で診断支援コンテンツ更新・追加ボタンA202が選択された場合の動作について説明する。メインプログラム#51は診断支援コンテンツサーバ#2との通信をともなう一連の動作による診断支援コンテンツの更新・追加を開始する。
始めに、ステップS54において診断支援コンテンツサーバを選択する。診断支援コンテンツサーバの選択は、図33に示す診断支援コンテンツサーバ選択ウィンドウA260上で行う。診断支援コンテンツサーバ選択ウィンドウA260は、診断支援コンテンツの条件となるモダリティ及び検査部位を選択するためのプルダウンメニューであるモダリティメニューA261及び検査部位メニューA262と、診断支援コンテンツサーバを一覧表示する診断支援コンテンツメニューA263と、診断支援コンテンツサーバの選択/非選択状態を示す選択状態表示領域A264を備えており、外部入力手段#23の操作により各メニューを設定後、OKボタンA265を選択することによりステップS55に進む。
続くステップS55においては、選択された診断支援コンテンツサーバに対し、自己の端末認証情報を送信する。ここでは、図30に示す端末認証情報設定ウィンドウA230を用いる。端末認証情報設定ウィンドウA230は、施設名、端末名、ID及びパスワードをそれぞれ入力する施設名入力ボックスA231、端末名入力ボックスA232、ID入力ボックスA233及びパスワード入力ボックスA234を備えており、外部入力手段#23を用いて各種情報を入力するようになっている。また、これらの情報は端末認証情報として端末認証情報記憶手段#16に記憶されており、パスワード以外は入力ボックスに初期値として設定されている。各情報を入力の上OKボタンA235を選択することにより、メインプログラム#51は入出力制御手段#11を経由して診断支援コンテンツサーバ#2に送信し、端末認証結果を取得する。診断支援コンテンツサーバ#2は、配信先管理ファイル記憶手段#8に記憶された端末認証情報と、受信した端末認証情報とを照会することにより通信確立の可否を判定の上結果を送信し、可であれば診断支援実行端末#3との診断支援コンテンツの更新・追加に関する通信を確立する。また、通信確立が不可であれば、その理由を示すメッセージを送信する。
ステップS56において、診断支援コンテンツサーバ#2により診断支援実行端末#3が正常に認証され通信が確立していればステップS57に進む。何らかの理由(通信回線の問題、パスワードの期限切れ等)により通信が確立できなかった場合にはステップS62に進み、受信したメッセージとともにエラー表示を行う。
続くステップS57においては診断支援コンテンツサーバ#2の保持する診断支援コンテンツ管理情報を取得の上、更新・追加の対象となる診断支援コンテンツを特定するための診断支援コンテンツ管理情報参照を行う。メインプログラム#51は診断支援コンテンツ通信部#55を介して、診断支援コンテンツサーバ#2の診断支援コンテンツ記憶手段#6に記憶されている診断支援コンテンツの一覧情報の取得を要求する。一覧情報は、診断支援コンテンツサーバ#2の保持する診断支援コンテンツ管理情報に準じたもので、診断支援コンテンツのID、名称等の診断支援コンテンツ特定情報、作成・更新日時等の日付情報、作成者情報、その他の説明情報等をリスト化したものである。診断支援コンテンツサーバ#2は、診断支援コンテンツ一覧作成部#47において診断支援コンテンツの一覧情報を作成し、診断支援実行端末#3に送信する。診断支援コンテンツ管理部#54は記憶している診断支援コンテンツ管理情報と受信した診断支援コンテンツの一覧情報との比較に基づき、更新、追加等のなされた診断支援コンテンツを選出する。さらに、選出された診断支援コンテンツについて、図17に示す診断支援コンテンツの更新、追加を行うための更新/追加メニューウィンドウA71を作成し、表示手段#18に表示する。図17において、更新/追加メニューウィンドウA71は、更新、追加のなされた診断支援コンテンツの一覧表示及び選択を行うためのメニュー領域A72、キャンセルボタンA74、OK(開始)ボタンA73、メニュー領域A72のすべての診断支援コンテンツを選択状態にするための全選択ボタンA75及びメニューの選択とボタンのクリックを行うためのマウスカーソルA76を備えている。
ステップS58においては、メニュー領域A72の中から所望する診断支援コンテンツを選択するか、全選択ボタンA75を選択して全ての診断支援コンテンツを選択状態にする。
続くステップS59においては、図17のメニュー画面A71上のOKボタンA73を選択することにより、診断支援コンテンツ通信部#55より診断支援コンテンツサーバ#2に対し、選択された診断支援コンテンツのID、名称等の診断支援コンテンツ特定情報を送信するとともに送信を要求する。これを受けて診断支援コンテンツサーバ#2は要求された診断支援コンテンツを送信する。
診断支援コンテンツ受信完了後、ステップS60において診断支援コンテンツ管理部#54は診断支援コンテンツ管理情報を更新し、受信した診断支援コンテンツとともに診断支援コンテンツ記憶手段#13への記憶を行い、処理を終了の上ステップS21に戻る。
以上説明したように、本発明の第1の実施の形態に示した診断支援装置によれば、診断支援実行端末#3は検査の目的や種別に応じた診断支援情報を選択的に得ることが可能となるとともに、最新の診断支援コンテンツを利用することができる。
[第1−Bの実施の形態]
次に、本発明の第1−Bの実施の形態における診断支援装置について、図面を参照して説明する。本実施の形態は、診断支援実行端末#3において常に最新の診断支援コンテンツを利用可能とする診断支援装置に関する。
本実施の形態における診断支援装置の形態は第1の実施の形態において図1に示した診断支援装置と同様である。また、診断支援コンテンツサーバ#2及び診断支援実行端末#3の構成についても同様であり、各々の動作のためのメインプログラム#31及び#51を変更することにより異なる動作を実現するものである。
本実施の形態においては、診断支援コンテンツサーバ#2において診断支援コンテンツが更新または追加されたことを検知した際に、あらかじめ設定されている診断支援端末#3に対して更新または追加された診断支援コンテンツを配信する。
図4、図5及び図6を用いて本実施の形態における診断支援コンテンツサーバ#2の診断支援コンテンツ配信に関する動作について説明する。図5は診断支援コンテンツ配信実行部#32のより詳細なブロック図で、入出力制御手段#10とのインターフェースでありネットワーク#4を介して診断支援実行端末#3との通信を行うための入出力制御手段I/F#41、診断支援コンテンツ配信の指示を行う診断支援コンテンツ指示部#42、診断支援コンテンツ記憶手段#6に記憶された診断支援コンテンツの更新及び追加を検知する診断支援コンテンツ更新・追加検知部#43、診断支援コンテンツ記憶手段#6に記憶された診断支援コンテンツ管理情報を管理するための診断支援コンテンツ管理手段#44、配信先となる診断支援実行端末を特定及び認証するための診断支援実行端末認証部#45、配信する診断支援コンテンツを選択指示するための診断支援コンテンツ選択部#46、配信可能な診断支援コンテンツの一覧情報を作成するための診断支援コンテンツ一覧作成部#47から構成されている。
図6は本実施の形態の診断支援コンテンツの配信における一連の動作を説明するためのフローチャートである。ステップS1において、診断支援コンテンツ更新・追加検知部#43は診断支援コンテンツ記憶手段#6に記憶された診断支援コンテンツが更新または追加されたことを検知する。この検知は診断支援コンテンツ管理部#44が取得した診断支援コンテンツ管理情報を参照して診断支援コンテンツの日付情報やファイル情報についてその内容の変化を診断支援コンテンツ更新・追加検知部#43が検知することにより実施され、診断支援コンテンツ更新・追加検知部#43は検知結果に基づき診断支援コンテンツ配信指示部#42に配信すべき診断支援コンテンツが発生したことを通知する。
続くステップS2においては、更新・追加された診断支援コンテンツを取得する。ここでは更新・追加された診断支援コンテンツを診断支援コンテンツ選択部#46が選択し、記憶手段管理部#33を経由して診断支援コンテンツ記憶手段#6から取得する。
ステップS3においては配信先となる診断支援実行端末を特定する。ここでは、診断支援実行端末認証部#45が記憶手段管理部#33を経由して配信先管理ファイル記憶手段#8にアクセスし、配信先となる診断支援実行端末のネットワークアドレス、施設名、パスワード等の端末特定情報を取得する。
ステップS4においてはステップS3で得られた配信先端末認証情報を用いた配信先端末の認証を行う。ここでは、配信先端末認証情報を診断支援実行端末認証部#45が入出力制御手段I/F#41及びネットワーク#4を経由して得られる診断支援実行端末#3の端末認証情報と比較する。認証が完了し、配信可と判断された場合はステップS5へ、何らかの原因により端末認証情報が認識できず配信不可と判断された場合はステップS6へ進む。
ステップS5においては、診断支援コンテンツ配信指示部#42の指示により入出力制御手段I/F#41を経由して診断支援コンテンツの配信を実行する。
ステップS6においてはステップS3において特定された配信先となる診断支援実行端末のすべてについて処理が完了したかどうかを診断支援コンテンツ配信指示部#42にて判断し、完了していれば一連の処理を終了し、完了していなければステップS4ないしS6の一連の処理を再度実行する。
続いて、図7及び8を用いて診断支援コンテンツの配信にともなう診断支援実行端末#3の動作について説明する。
図8は本実施の形態における診断支援実行端末#3の診断支援コンテンツ受信にともなう一連の動作を説明するためのフローチャートである。診断支援コンテンツサーバ#2との動作に関連し、図6を併せて参照する。
図6において示した診断支援コンテンツサーバ#2の診断支援コンテンツ配信にともない、ステップS3の配信先端末特定処理における通信確立により処理が開始される。図8のステップS11において、端末認証情報送信部#52は記憶手段管理部#53に端末認証情報取得を指示することにより端末認証情報記憶手段#16に記憶されている端末認証情報を取得し、入出力制御手段#11を経由して診断支援コンテンツサーバ#2に送信する。
図6のステップS4において配信先端末として認証され、ステップS5に進むことにより診断支援コンテンツの送信が開始される。このときの診断支援実行端末#2の動作は、ステップS12における診断支援コンテンツ受信であり、入出力制御手段#11を経て診断支援コンテンツ通信部#55が動作する。
続くステップS13において、診断支援コンテンツ管理部#54により診断支援コンテンツ管理情報を更新し、ステップS14において診断支援コンテンツ及び診断支援コンテンツ記憶情報を診断支援コンテンツ記憶手段#13に記憶し、一連の処理を終了する。
以上説明したように、本発明の第1−Bの実施の形態に示した診断支援装置によれば、診断支援コンテンツサーバ#2における診断支援コンテンツの更新、追加にともない診断支援実行端末#3への配信を実行することにより、常に最新の診断支援コンテンツを検査において利用することが可能となる。
[第1−Cの実施の形態]
次に、本発明の第1−Cの実施の形態における診断支援装置について、図面を参照して説明する。本実施の形態は、診断支援実行端末#3において簡便に常に最新の診断支援コンテンツを利用可能とする診断支援装置に関する。具体的には、診断支援実行端末#3より診断支援コンテンツサーバが記憶している診断支援コンテンツに更新または追加が発生したか否かを問い合わせ、発生した場合は送信要求を行う。
本実施の形態における診断支援装置の形態は第1の実施の形態において図1に示した診断支援装置と同様である。また、診断支援コンテンツサーバ#2の構成についても同様であり、メインプログラム#31を変更することにより異なる動作を実現するものである。診断支援実行端末#3の構成においてもほぼ同様であるが、図7に示した各構成要素に加え、図36に示すように、診断支援コンテンツサーバ#2への診断支援コンテンツの更新・追加を問い合わせるための条件設定ファイル等を記憶するための更新/追加問い合わせ情報記憶手段#60をさらに備えている。また、メインプログラム#51に対しても変更を加えることにより、所定の動作を実現する。
図37は本実施の形態における診断支援実行端末#3の診断支援コンテンツの更新・追加に関する動作を説明するためのフローチャートである。診断支援実行端末#3の起動(電源投入、メインプログラム起動)により、以降の各処理がメインプログラム#51により実行される。また、動作の主体は診断支援コンテンツ管理部#54による。
始めにステップS71において、診断支援コンテンツサーバ#2に対する診断支援コンテンツの更新・追加に関する各種の設定情報を記述した更新/追加問い合わせ情報ファイルを、記憶手段管理部#53を介して更新/追加問い合わせ情報記憶手段#60より取得する。更新/追加問い合わせ情報ファイルの内容の例を図38に示す。図38において、更新/追加問い合わせ情報ファイルA290は、診断支援コンテンツサーバ#2への問い合わせをどのようなタイミングで行うかを設定するタイミング設定情報A291と、どの診断支援コンテンツサーバにどの診断支援コンテンツに関する問い合わせを行うかを設定するコンテンツ設定情報A292を備えている。問い合わせのタイミングとしては、起動時、検査終了時のような何らかのイベントの発生時、2時間おき等の定期的な期間設定、15時00分等の具体的な時刻設定を行う。また、コンテンツ設定情報としては、診断支援コンテンツサーバを特定するためのID等の情報及び診断支援コンテンツを特定するためのID等の情報を関連付けて設定し、ALLとなっていればすべての診断支援コンテンツを問い合わせ対象と設定する。他に、診断支援コンテンツの対象とするモダリティ、検査部位等を表す情報を用いることも可能である。また、「検査中の問い合わせは行わない」等の情報をフラグとして設定することもできる。なお、更新/追加問い合わせ情報ファイルは図示しない設定用ウィンドウやテキストエディタにより作成、編集する。
続いて、ステップS72において診断支援コンテンツサーバ#2への問い合わせを開始するかどうかを判定する。例えば起動時に設定されていれば、直ちにステップS73に進む。また、時間設定等により問い合わせを開始するタイミングでない場合はステップS83に進む。
ステップS73においては、ステップS71において読み込んだコンテンツ設定情報に基づき、診断支援コンテンツサーバ#2を選択する。図38に示した例では3機の診断支援コンテンツサーバが設定されているので、各サーバに対して順に問い合わせを実施する。
ステップS74及びS75においては、第1の実施形態における診断支援実行端末#3の動作について説明したステップS55及びS56と各々同様の処理により、目的とする診断支援コンテンツサーバとの通信を確立する。通信確立に失敗した場合はステップS81に、成功した場合はステップS78に進む。
ステップS81においては、診断支援コンテンツサーバより送信された通信確立エラーに関するメッセージ等を含むエラー情報を表示手段#18に表示し、また、必要に応じてエラーログファイルを出力し、ステップS82に進む。
ステップS76においては、第1の実施形態におけるステップS57と同様の処理により更新・追加のあった診断支援コンテンツを確定する。
ステップS77においては、ステップS76の結果更新/追加が認識された診断支援コンテンツと更新/追加問い合わせ情報ファイルをさらに参照し、診断支援コンテンツサーバ#2より配信される診断支援コンテンツを選択する。
続くステップS78,S79及びS80においては、第1の実施の形態において説明したステップS59,S60及びS61と各々同様の処理を実行により、診断支援コンテンツを受信し、診断支援コンテンツ管理情報を更新の上診断支援コンテンツ記憶手段#13に記憶する。
ステップS82においては、設定されたすべての診断支援コンテンツサーバ#2への問い合わせが終了したか否かを確認し、終了していなければステップS73に戻り以降の処理を繰り返す。また、終了していればステップS83及びS84に進む。
ステップS83においては、診断支援コンテンツサーバ#2に対する問い合わせに関し、診断支援実行端末#3は待機の状態となる。診断支援コンテンツ管理部#54はシステムクロック、OSからの時刻情報等を用い、例えば定期的にステップS84の終了判定及びステップS72の問い合わせ開始判定を繰り返す。この間、診断支援実行端末#3は、実際には検査における診断支援情報の提供等において稼動しており、メインプログラム#51の終了等が指示された場合はステップS84の判定を経て終了となる。
また、設定された問い合わせタイミングとなった場合はステップS73以降の一連の処理を実行する。
以上に説明したように、本発明の第1−Cの実施の形態における診断支援装置によれば、設定された情報に基づき診断支援コンテンツサーバに対する診断支援コンテンツの更新・追加を問い合わせることで常に最新の診断支援コンテンツを利用可能となる。
[第2の実施の形態]
本発明の第2の実施の形態について、図面を参照して説明する。本実施の形態においては、多くの医療施設・機関が自由に診断支援コンテンツを作成することができ、各施設・機関に蓄積された様々な医療情報や画像データと専門的医学知識を広く診断支援装置上で利用することが可能になるとともに、一度作成された診断支援コンテンツに対しデータの追加等が簡単にできるため、多くの医療施設・機関に分散して存在している症例データを有効に活用し、診断支援装置の能力を向上させることが可能な診断支援装置について説明する。
図18は、本発明の第2の実施の形態に係る診断支援システムの一実施形態を示す。図18において、#101は本発明の第2の実施の形態に係る診断支援システムであり、#2ないし#5は本発明の第1の実施の形態における図1に示した同一符号の構成要素と同じである。本実施の形態においては、診断支援コンテンツサーバ#2より配信されるとともに診断支援実行端末#3で利用される診断支援コンテンツを作成するための診断支援コンテンツ作成端末#102及び診断支援コンテンツを作成するための診断支援コンテンツ作成ツールを提供する診断支援コンテンツ作成ツールサーバ#103をさらに備えている。
診断支援コンテンツ作成端末#102及び診断支援コンテンツ作成ツールサーバ#203もまたコンピュータであり、それぞれCRTやLCD等の表示手段とともにキーボード、マウス等の入力手段を有している。また、図18においては説明の便宜上各1台ずつの接続を表しているが、診断支援コンテンツサーバ、診断支援実行端末、診断支援コンテンツ作成端末及び診断支援コンテンツ作成ツールサーバが同一ネットワーク上に複数存在することが可能である。
診断支援コンテンツ作成端末#102は病院・診療所あるいは医療研究施設に設置され、診断支援実行端末#3と同様にLAN接続された医用システム#5より得られる診断用情報を用いて診断支援コンテンツを作成し、診断支援コンテンツサーバ#2に送信する。また、診断支援コンテンツサーバ#2にすでに存在する診断支援コンテンツを受信し、新たなデータや診断対象となる疾患情報を追加する等の更新・改良を行い、診断支援コンテンツサーバ#2に送信する。
また、診断支援コンテンツ作成ツールサーバ#103は診断支援コンテンツ作成端末#102において診断支援コンテンツを作成するために使用するソフトウェアライブラリ化された各種の画像処理・解析・特徴量算出手法、判別関数やニューラルネットワーク等の識別分類手法、t検定等の統計的検定手法、各種多変量解析手法、グラフ作成ツール等を提供する。
図19は本実施の形態における診断支援コンテンツ作成端末#102の構成を示す説明図である。診断支援コンテンツ作成端末#102の構成は、診断支援実行端末#3とほぼ同様で、同一符号の付された構成要素については図3に示したものと同様である。診断支援コンテンツ作成端末#102においては、前述の診断支援コンテンツ作成ツールを記憶する診断支援コンテンツ作成ツール記憶手段#111をさらに備えている。診断支援コンテンツ作成ツール記憶手段#111は、診断支援コンテンツ記憶手段#13、メインプログラム記憶手段#14及び端末認証情報記憶手段#16と同様に診断支援コンテンツ作成端末#102を実現するコンピュータに接続されたハードディスクを用いる。
次に、診断支援コンテンツ作成端末#102における診断支援コンテンツの作成動作について説明する。
図20は本実施の形態における診断支援コンテンツ作成端末#102の制御手段#12において実行されるメインプログラム#121のブロック図である。図20において、メインプログラム#121は診断支援コンテンツ記憶手段#13、端末認証情報記憶手段#16及び診断支援コンテンツ作成ツール記憶手段#111に記憶された各情報に対する記憶、検索、読み出し等にともなう一連のアクセスを制御する記憶手段管理部#123と、診断支援情報入出力手段#15を介して入力される患者、検査及び画像情報からなる診断情報の入出力を行うインターフェースである診断情報入出力I/F#126と、キーボード、マウス等の外部入力手段#23からの入力を行うインターフェースである入力I/F#128と、入力された診断情報及び診断支援コンテンツ作成ツールを用いた診断支援コンテンツを作成するための診断支援コンテンツ作成部#127と、診断支援コンテンツサーバ#2及び診断支援コンテンツ作成ツール#103に対する端末認証情報の送信を行う端末認証情報送信部#122と、診断支援コンテンツの送受信にともなう診断支援コンテンツサーバ#2及び診断支援コンテンツ作成ツールの受信にともなう診断支援コンテンツ作成ツールサーバ#103との一連の通信を行うための診断支援コンテンツ通信部#125と、受信した診断支援コンテンツ及び診断支援コンテンツ作成ツールを記憶手段管理部#123を経由してそれぞれ診断支援コンテンツ記憶手段#13及び診断支援コンテンツ作成ツール記憶手段#111に記憶するとともにそれぞれの管理情報を更新する診断支援コンテンツ管理部#124とを備えている。
図21は診断支援コンテンツ作成における一連の動作の流れを説明するためのフローチャートである。ステップS41において、データセットを作成する。ここで、データセットとは診断支援コンテンツを作成するための諸データ(患者、検査及び画像情報、診断結果等)及び作成条件(診断支援コンテンツの種類、使用する診断支援コンテンツ作成ツール等)を集積したものである。図9を用いて説明した診断支援コンテンツを作成する場合を例にすると、データは「正常及び胃炎の診断が付与された内視鏡画像データ」であり、例えば医用システム#5に接続された電子カルテ#21及びファイリングシステム#22から取得する。また、作成条件は「IHb値算出、正常群と胃炎群の統計情報及び生起確率分布算出、グラフ作成」となる。
具体的には、まず始めに図34に示す診断支援コンテンツ作成メインウィンドウA270が表示手段#18に表示される。診断支援コンテンツ作成メインウィンドウA270は、診断支援コンテンツを新規に作成する新規作成ボタンA271と、診断支援コンテンツ記憶手段#13に記憶されている診断支援コンテンツを呼び出し、データ及び条件を再利用することで診断支援コンテンツを作成する既存コンテンツ利用ボタンA272と、診断支援コンテンツ作成を終了する終了ボタンA273を備えている。
診断支援コンテンツ作成メインウィンドウA270において新規作成ボタンA271が選択された場合には、図22に示すデータセット作成のためのウィンドウ群が表示手段#18に表示され、キーボード、マウス等の入力手段#23を用いた条件選択、情報入力等を行う。
また、既存コンテンツ利用ボタンA272が選択された場合は、図26に示す呼び出し診断支援コンテンツ選択ウィンドウA140が表示される。呼び出し診断支援コンテンツ選択ウィンドウA140は、診断支援コンテンツ管理情報に基づき診断支援コンテンツ記憶手段#13から呼び出し可能な診断支援コンテンツを一覧表示するとともにメニューとして機能する診断支援コンテンツ名称表示領域A141を備えており、マウスカーソルA142のクリックにより呼び出す診断支援コンテンツを選択するようになっている。続いて、確定ボタンA143がクリックされることにより診断支援コンテンツ作成部#127は選択された診断支援コンテンツを診断支援コンテンツ記憶手段#13から読み出し、その診断支援コンテンツを構成する診断支援コンテンツオブジェクトA60の内容に基づき、作成に用いられた各情報をデータセット作成ウィンドウA101の後述する各設定領域等に設定の上表示する。各設定内容は例えば対象疾患の変更、症例データの追加等適宜変更して再利用することが可能となっている。
図22において、データセットを作成するためのデータセット作成ウィンドウA101は、データセット名(本実施の形態においては診断支援コンテンツの名称も兼ねるものとする)を入力するデータセット名入力領域A102と、診断支援の対象とする疾患の種別を設定するための対象診断名設定領域A103と、使用する特徴量算出手法を設定するための使用特徴量算出手法設定領域A104と、使用する識別分類手法を設定するための使用識別分類手法設定領域A105と、算出する統計データを設定するための算出統計データ設定領域A106と、作成するグラフを設定するための作成グラフ設定領域A107と、モダリティや検査部位等の設定を行うための検査条件設定ボタンA108と、診断支援に用いる所見や治療等のテキスト情報を入力するためのテキスト情報入力ボタンA109と、各診断に対応する典型症例及び類似症例データを設定するための参照画像設定ボタンと、既存の診断支援コンテンツを基本にデータの追加や作成条件の変更等を行う場合に診断支援コンテンツを呼び出すための既存コンテンツ呼出ボタンA111(本ボタンを備えることにより、一旦は新規作成を選択した後でも既存コンテンツの再利用に変更することが容易となる)と、データセット作成を確定する確定ボタンA112からなっている。
また、A113ないしA117は、A103ないしA107に示した各設定領域に対して、各種項目を選択するためのウィンドウで、対象診断名選択ウィンドウA113と、特徴量算出手法選択ウィンドウA114と、識別分類手法選択ウィンドウA115と、統計データ選択ウィンドウA116と、グラフ選択ウィンドウA117とからなっている。これらの各選択ウィンドウには、診断支援コンテンツ作成ツール記憶手段#111に記憶されている、診断支援コンテンツ作成部#127において利用可能な各種診断支援コンテンツ作成ツールがメニューとして表示されており、マウスカーソル#A118を用いたダブルクリックもしくは対応する設定領域へのドラッグアンドドロップ操作により、各設定領域A103ないしA107に入力することができる。また、各設定領域A103ないしA107に一旦設定された各種診断支援コンテンツ作成ツールをダブルクリックすることによりキャンセルすることができる。
また、検査条件設定ボタンA108をクリックすると、図23に示す検査条件設定ウィンドウA120が表示され、作成する診断支援コンテンツが対象とするモダリティ、検査部位を設定するようになっている。
テキスト情報入力ボタンA109をクリックすると、図24に示すテキスト情報設定ウィンドウA125が表示され、疾患種別ごとの重要所見、処置・治療指示等の医学的知識をテキスト情報としてキーボード等の入力手段#23より入力するようになっている。
参照画像設定ボタンA110をクリックすると、図25に示す参照画像設定ウィンドウA130が表示される。参照画像設定ウィンドウA130には、例えば医用システム#5に接続された画像ファイルシステム#22から検索の上取得された画像データが画像一覧A131に表示される。画像一覧A131において所望の画像を参照画像として選択する。また、情報確認・追加ボタンA132をクリックすると、画像ファイルシステム#22から画像とともに取得した患者、検査及び画像の各情報を確認するとともに、コメント等の追加情報を付加できるようになっている。
また、データセットの作成において既存コンテンツ呼出ボタンA111がクリックされた場合には、図26に示す呼び出し診断支援コンテンツ選択ウィンドウA140が表示され、既存コンテンツ再利用ボタンA272が選択された場合と同様に一連の設定を行う。
ステップS41のデータセット作成後、続くステップS42において画像解析手法の適用による特徴量を使用するかどうかを判定する。ステップS41において使用特徴量算出手法設定領域A104に特徴量算出手法が設定されている場合はステップS43へ、設定されていない場合はステップS44に進む。
ステップS43においては、使用特徴量算出手法設定領域A104に設定された特徴量を算出する。対象診断名設定領域A103に設定された診断に該当する画像を画像ファイリングシステム#22より検索、取得し、診断支援コンテンツ作成ツール記憶手段#111から取得した特徴量算出手法ライブラリを用いた特徴量算出を行う。
ステップS44においては設定された各項目、取得した診断データ、算出した特徴量を用いて診断支援コンテンツ作成ツール記憶手段#111から取得した各種のライブラリの実行による診断支援コンテンツの作成を行う。診断支援コンテンツは、診断支援端末#3上での実行に必要なライブラリとともに診断支援コンテンツオブジェクトとして完成され、診断支援情報管理情報を更新の上、診断支援コンテンツ記憶手段#13に記憶される。
作成された診断支援コンテンツは、ネットワーク#4を介して診断支援コンテンツサーバ#2に送信される。診断支援コンテンツ作成端末#202及び診断支援コンテンツサーバ#2との間における送信及び受信においては、端末特定情報の認識、診断支援コンテンツの送信及び受信、診断支援コンテンツサーバの診断支援コンテンツ管理情報の更新及び診断支援コンテンツの記憶を行う。
また、診断支援コンテンツ作成端末#202において使用する診断支援コンテンツ作成ツールは、ネットワーク#4を介して診断支援コンテンツ作成ツールサーバ#203から取得できるようになっており、改良、追加等に応じて最新の診断支援コンテンツ作成ツールを利用できるようになっている。なお、本実施の形態における診断支援コンテンツ及び診断支援コンテンツ作成ツールの送信及び受信にともなう動作については、第1の実施の形態において説明した診断支援コンテンツの配信及び受信に類似するので、詳細な説明は省略する。
なお、本実施の形態においては診断支援コンテンツサーバ#2、診断支援実行端末#3、診断支援コンテンツ作成端末#102及び診断支援コンテンツ作成ツールサーバ#103は独立したコンピュータによる構成として説明したが、各々の機能を重複して1台のコンピュータ上に実現することも可能である。
また、診断支援コンテンツ作成ツール及び診断支援コンテンツはソフトウェアであり、ネットワークを介した送受信のみならずフロッピー(登録商標)ディスク等のメディアを用いての取得も当然可能である。
以上説明したように、本発明の第2の実施の形態に示した診断支援装置によれば、多くの医療施設・機関が自由に診断支援コンテンツを作成することができ、各施設・機関に蓄積された様々な医療情報や画像データと専門的医学知識を広く診断支援装置上で利用することが可能となる。また、一度作成された診断支援コンテンツに対し、データの追加等が簡単にできるため、多くの医療施設・機関に分散して存在している症例データを有効に活用し、診断支援装置の能力を向上させることが可能となる。また、本実施の形態における診断支援装置の構成においては、診断支援コンテンツの取得時には例えば図17の替わりに図35に示す診断支援コンテンツ一覧メニューを使用する。図35において、更新/追加メニューウィンドウA280に表示された診断支援コンテンツの一覧表示及び選択を行うためのメニュー領域A281には、診断支援コンテンツを作成した施設・機関名が付加され、これらを実際の臨床検査で利用する各種病院・診療所側では例えば「大腸癌の最先端研究施設によるもの」等と分かり、高い信頼を持って利用することができる。
[第3の実施の形態]
本発明の第3の実施の形態について、図面を参照して説明する。第3の実施形態は、第2の実施形態の診断支援コンテンツ作成部#127の構成が異なることと、画像情報保持手段151が付加されていること以外は、第2の実施形態と同一である。図39は、本発明の第3の実施の形態に係る診断支援コンテンツ作成部#127の構成を示すメインプログラム#121のブロック図である。以下、第2の実施形態との相違を説明する。
画像情報保持手段151は、ハードディスクを用いて構成され、複数の画像情報を保持している。画像情報のフォーマットを図40(a)に示す。
画像情報は、画像データ、関心領域データと、付随データから構成される。画像データは、医用システム#5の出力する画像信号のデジタルデータであり、診断情報入出力制御手段#15を介して取得したものである。関心領域データは、画像データに対する、特徴量算出のための領域である。付随データは、診断支援情報入出力制御手段#15を介して取得した患者・検査情報と、診断支援実行端末#3にて設定される情報と、から構成される。本実施形態では、付随データの患者・検査情報として、画像ID、患者ID、患者名、検査名、検査日、患者性別、患者年齢を含んでいる。また、診断支援実行端末#3にて設定される情報として、カテゴリー分類、グラフ表示属性、診断名、検査部位、特徴量と特徴量算出パラメタからなる特徴量情報、任意設定文字列項目1〜Q(Q≧1)、任意設定数値項目1〜R(R≧1)、を含んでいる。
付随データに含まれる各項目のうち、画像ID、患者ID、患者名、検査名、検査日以外の各項目は、分類キー項目と、数値項目とに分類されて保持される。
分類キー項目には、カテゴリー分類、グラフ表示属性、診断名、検査部位、患者性別、任意設定文字列項目1〜Qが分類される。
数値項目には、特徴量情報、患者年齢、任意設定数値項目1〜Rが分類される。
また、画像情報保持手段T1は、画像情報に含まれる、各項目の管理情報と、診断支援コンテンツ作成部#127内の処理に使用される補助情報を保持している。
図40(b)に、項目管理情報の内容を示す。項目管理情報として、分類キー項目に分類される項目の項目名称情報、数値キー項目に分類される項目の項目名称情報、付随データの分類キー項目のそれぞれに格納される項目値に関する情報、が格納されている。例えば、診断名の項目値情報として、正常、がん、ポリープ、…といった情報が格納される。また、項目管理情報には、任意設定文字列項目1〜Q、任意設定文字列項目1〜Rのそれぞれに対応する、項目名称情報が格納されている。
図40(c)に、補助情報の内容を示す。グラフ種類情報には、診断支援コンテンツ作成部#127で生成するグラフ種類の名称情報を格納している。統計量種類情報には、診断支援コンテンツ作成部#127で演算する統計量の種類名称情報を格納している。統計検定種類情報には、診断支援コンテンツ作成部#127で演算する統計検定の種類名称情報を格納している。
図39は本実施の形態において、制御手段#12において実行されるメインプログラム#51のブロック図である。ただし、説明に使用しない構成は図示していない。
記憶手段管理部#123は、画像情報保持手段151に対する、画像情報の記憶、検索、読み出し等に伴う一連のアクセスを制御する。
グラフ情報作成部152は、画像情報保持手段151に保持する画像情報からグラフ情報を作成する。グラフ情報作成部152は、項目選択部153と、分類データセット生成部156と、統計処理部155と、グラフ処理部154を含む。
分類データセット生成部156は、項目選択部153により設定された分類情報を基にして、画像情報を複数の分類データセットに分類する。
分類データセットとは、画像情報に含まれる付随データの分類キー項目の値に応じて分類した、画像情報のデータセットのことを指す。
統計処理部155は、分類データセットに含まれる数値項目を統計処理し、処理結果をグラフ処理部154へ出力する。分類データセット中の画像情報の、いずれの数値項目に対する統計処理をおこなうか、また、いずれの統計処理をおこなうかは、項目選択部153から指示される。
本実施形態において統計処理部155は、平均値、標準偏差、標準誤差、中間値、最頻度値といった統計量のうちの少なくとも1つを処理し、または、t検定、χ2 検定といった統計検定のうちの少なくとも1つを処理する。
グラフ処理部154は、分類データセットに含まれる数値項目からグラフ情報を作成するとともに、グラフ情報に対して統計処理結果を重畳描画し、表示制御手段#17を介して、表示手段#18上にグラフ情報を表示する。分類データセット中の画像情報の、いずれの数値項目に対するグラフ情報を作成するか、また、いずれのグラフを作成するかは、項目選択部153から指示される。
本実施形態においてグラフ処理部154は、ヒストグラム、1次元散布図、2次元散布図、例数棒グラフ、平均値棒グラフ、のうちの1つを処理する。各グラフ表示の形態内容については後述する。
項目選択部153は、分類データセット生成部156で使用される分類情報を、図41に示す項目選択画面に対する操作から設定し、分類データセット生成部156に出力する。また、統計処理部155に対して、処理する統計処理種類を指示する。また、グラフ処理部154に対して、処理するグラフ種類を指示する。また、統計処理部155及びグラフ処理部154に対して、処理する画像情報中の付随データ項目を指示する。
図41は、項目選択部153により表示される、操作画面である。
項目選択部153は、記憶手段管理部#123を介して、画像情報記憶手段151に記憶された項目管理情報、補助情報を読み出す。
グラフ種類選択領域157では、補助情報の内容から、グラフ処理部154において作成可能なグラフ種類を一覧表示し、グラフの種類をいずれか1つ選択する。
分類項目選択領域158では、項目管理情報の内容から、付随データの分類キー項目に含まれる項目をリスト表示し、画像情報の分類に使用する分類項目の種類を1つまたは複数選択する。
データ値1選択領域166では、項目管理情報の内容から、付随データの数値項目に含まれる項目名称をリスト表示し、グラフ作成または統計量算出または統計検定に使用するデータ種類をいずれか1つ選択する。
同様に、データ値2選択領域161にも、付随データの数値項目に含まれる項目をリスト表示し、グラフ作成または統計量算出または統計検定に使用するデータ種類をいずれか1つ選択する。
項目選択部153は、グラフ種類選択領域157におけるグラフ種類の選択に応じて、データ値1選択領域166、データ2選択領域161での選択を有効または無効とする。図41は、データ値2選択領域161での選択が無効であることを示している。ヒストグラム、1次元散布図、平均値棒グラフでは、データ値2を必要としないため、グラフ種類選択領域157で、ヒストグラム、1次元散布図を選択した場合には、項目選択部153は、データ値2選択領域161での選択を無効とする。また、例数棒グラフでは、データ値1、データ値2を必要としないため、グラフ種類選択領域157で例数棒グラフを選択した場合には、項目選択部153は、データ値1選択領域166とデータ値2選択領域161での選択を無効とする。
分類データセット選択領域162には、項目管理情報の内容から、分類項目選択領域158における選択項目に応じた、項目名称の組み合せリストが表示され、組み合わせを1つ、または複数選択する。図41は、分類項目選択領域158において選択された項目である、診断名と、患者性別と、から、診断名称と患者性別の組み合わせリストが生成された例である。
重畳情報選択領域159は、補助情報の内容から、グラフに対して重畳する、統計処理部155における統計量または統計検定結果を1つまたは複数選択する。
図42、図43、図44、図45、図46は、本実施の形態におけるグラフ情報生成にともなう一連の動作を説明するためのフローチャートである。ここでは、マウス#23等の操作をトリガーとして、グラフ情報を生成し、表示手段#18に表示するものとする。
まず、図43を用いて説明する。図43は、項目選択部153の生成する分類情報に従って、画像情報保持手段151の保持する画像情報から、分類データセットを生成、保持するフローを示す。
ステップTB−1において、項目選択部153により、分類データセット生成部156で使用される分類情報と、グラフ処理部T154及び統計処理部155への指示情報を設定する。
項目設定部153での動作を示すフローを、図42と図44を用いて説明する。
ステップTA−1にて、キャンセルボタン164が押下されたかを判定する。キャンセルボタン164が押されていれば、以降の処理を中断する。
ステップTA−2にて、OKボタン163が押下されたかを判定する。
OKボタン163が押されていれば、項目選択部153は、グラフ処理部154へ、グラフ種類選択領域157の選択グラフ種類を指示する。また、項目選択部153は、統計処理部155へ、重畳情報選択領域159の選択統計処理を指示する。また、項目選択部153は、グラフ処理部154及び統計処理部155へ、データ値1選択領域166での選択と、データ値2選択領域161での選択を指示する。ただし、指示は、データ1値選択領域166またはデータ値2選択領域161が有効である場合に限る。また、項目選択部153は、分類データセット生成部156へ、分類データセット選択領域162の選択組み合わせと、からなる分類情報を出力する。
以上の処理終了後に、呼び出し元である、ステップTB−1に戻る。
ステップTA−3において、項目選択操作の有無を判定し、項目操作がある場合には、ステップTA−4、ステップTA−5により、どの選択領域に対して操作がおこなわれたかを判定する。
グラフ種類選択領域157で項目選択操作がおこなわれた場合には、選択されたグラフ種類をステップTA−7、ステップTA−9により判定し、グラフ種類の選択が例数棒グラフであれば、TA−10にて、データ値1選択領域166と、データ値2選択領域161をそれぞれ無効化する。また、グラフ種類の選択が、2次元散布図であれば、TA−8において、データ値1選択領域166と、データ値2選択領域161をそれぞれ有効化する。また、グラフ種類の選択が例数棒グラフ、2次元散布図以外であれば、ステップTA−11において、データ値1選択領域166を有効化し、データ値2選択領域161を無効化する。
また、分類項目選択領域158で項目選択操作がおこなわれた場合には、TA−6において、選択されている1つまたは複数の分類項目の取りうる項目値の組み合わせを生成して、分類データセット選択領域162の表示を更新する。
ステップTB−2において、分類データセット生成部156は、記憶手段管理部#123を介して、画像情報保持手段151の保持する画像情報を、1件づつ取得する。ステップTB−3にて、取得した画像情報の付随データと、項目選択部153の生成した分類情報とを比較し、付随データの内容が、項目選択部153において選択された、項目値組み合わせに該当するかを判定する。該当する場合には、ステップTB−4にて、項目値組み合わせに応じたデータセットとして登録、保持し、TB−2に戻る。該当しない場合には、TB−2に戻る。
ステップTB−2において、画像情報保持手段151の保持する画像情報をすべて取得し終わった場合には、図44におけるCに進む。
図44は、分類データセットに応じて、グラフ処理部154が、グラフ情報を生成するフローを示す。
ステップTC−1にて、項目選択部153の生成した分類情報に含まれる、重畳情報選択領域159の選択統計処理の有無情報から、重畳情報作成の要否を判定する。重畳情報選択領域159の選択統計処理がある場合にはステップTC−2に進み、無い場合には、ステップTC−5に進む。
ステップTC−2において、統計処理部155は、統計処理の種類を判断し、統計量であればステップTC−3に進み、統計検定であればステップTC−4に進む。
ステップTC−3は、統計量算出処理の実行ステップであり、図45の処理フローにしたがって動作する。
図45のステップTD−1において、項目選択部153により指示された数値項目に関する統計量を、分類データセット生成部156により保持された分類データセットごとに算出し、保持する。
ステップTC−4は、統計検定処理の実行ステップであり、図46の処理フローにしたがって動作する。
図46のステップTE−1において、分類データセットが2つ以上あるかどうかを判断する。2つ以上あれば、検定可能であり、ステップTE−2に進む。2つ以上なければ、図44のステップTC−4に戻る。
ステップTE−2では、統計検定の種類に応じた統計量を算出する。本実施形態では、t検定を実施するためのt統計量と、χ2 検定を実施するためのχ2 統計量のいずれかを処理する。各統計量は、分類データセットのなかから、2つの分類データセットを、重複なく選択したときの、分類データセットの組について、それぞれ算出する。
t検定は、2つの分類データセット間の数値項目の平均値の差の有無を検定するときに使用される。χ2 検定は、2つの分類データセット間の分類キー項目の独立性を検定するときに使用される。
例えば、t検定においては、スチューデントのt統計量
また、本実施形態でのχ
2 統計量の算出においては、項目選択部153において選択された、分類キーの項目値組み合わせについて、先頭に位置する分類キーを、分割表作成の属性として使用して(図41の例では、診断の腺腫と胃がんを分割表作成の属性とする)分割表を作成し、分割表の集計値を使用して、
を算出する。
各統計量に対する詳細説明は省略する。
次にステップTE−3において、ステップTE−2で算出した統計量を使用して、p<0.05,p<0.01,p<0.001のそれぞれに関する仮説検定を、分類データセットのなかから、2つの分類データセットを重複なく選択したときの分類データセットの組についてそれぞれ実行する。
p<0.05において検定結果が棄却である場合には、検定結果としてNSを保持する。
p<0.05において検定結果が採択で、p<0.01において検定結果が棄却である場合には、検定結果としてp<0.05を保持する。
以下同様にして、検定結果に応じて、p<0.01またはp<0.001の検定結果を保持するものとする。
ステップTC−5では、分類データセットごとにデータをグループ化した、項目選択部153により指示されたグラフ種類のグラフを作成する。
ステップTC−6にて、重畳情報作成の要否を判定する。項目選択部153の指示情報に、重畳情報選択領域159での統計処理選択があり、かつ、図46のステップTE−1における判定にてステップTE−2に進んだ場合には、ステップTC−7に進み、それ以外の場合には、ステップTC−5で作成したグラフ情報を、表示手段#18に表示して処理を終了する。ステップTC−5で表示されるグラフ情報には、重畳して描画される情報は含まれていない。
ステップTC−7にて、図45のステップTD−1または図46のステップTE−3の情報をもとにして、ステップTC−5で作成されたグラフ情報に、統計処理情報を重畳描画して、表示手段#18に表示し、処理を終了する。
図47、図48、図49、図50は、それぞれ、本実施形態によるグラフの表示例である。図47は、1次元の散布図の例であり、特徴量1の平均値±標準偏差の位置を線描画して示している。図48は、ヒストグラムの例であり、特徴量1の平均値の位置を線描画して示している。図49は、平均値棒グラフにt検定結果を重畳描画した例であり、3つの項目のそれぞれに対して特徴量1のt検定を実行した結果を描画して示している。図50は、例数棒グラフにχ2 検定結果を重畳描画した例であり、HP+/萎縮度(+)、HP+/萎縮度(−)、HP−/萎縮度(+)、HP−/萎縮度(−)の4つの組み合わせから、例数棒グラフと、HP+,HP−を分割表の属性とするときのχ2 検定結果を描画している。
なお、本実施形態では、分類データセットごとにグループ化したグラフ情報を作成し、分類データセットごとの統計情報を、グラフ情報に重畳表示するが、統計処理部155での処理結果を表示手段#18に表示するように構成し、図51に示すように、分類データセットごとの、項目選択部153で選択された付随データ項目に関する統計量または統計検定結果を表示するようにしてもよい。
(効果)
グラフ上に統計処理情報を表示することにより、統計処理情報との比較が容易になるとともに、統計処理情報によるグラフ表示の客観的な理解を得る効果がある。
グラフ作成時に、分類項目と、データ値とを分離して表示、選択するため、データ値として選択すべきところで分類項目を誤選択する、または、分類項目として選択すべきところで、データ値を誤選択することを防ぎ、操作性を向上する。
複数の選択された分類項目の組み合わせを、分類項目として使用するので、グラフ作成作業の労力を軽減する。
複数の選択された分類項目の組み合わせの中から、選択された項目のみを、分類項目として使用するので、グラフ作成作業の労力を軽減する。
次に、第3の実施形態の変形例を説明する。
第3の実施形態との相違は、項目選択部153において、図52に示すように、チェックボックス165を備えた操作画面を表示することである。また、第3の実施形態における、処理フローを表す図44は、図53のように改められる。図53と図44の相違は、ステップTC−8とステップTC−9が挿入されたことである。
項目選択部153において、図52のチェックボックス165のチェック状態は、指示情報として、グラフ処理部154に伝達される。
グラフ処理部154は、図53に示す処理フローのステップTC−8において、項目選択部153の指示情報から、チェックボックス165のチェックの有無を判定する。チェックボックスにチェックがない場合には、第3の実施形態と同様に、ステップTC−5において、各分類データセットの画像情報をグループ化した1つのグラフ情報を作成する。
チェックボックス165にチェックがある場合には、ステップTC−9において、分類データセットの数分のグラフ情報を作成する。また、チェックボックス165にチェックがある場合には、ステップC−7において、各分類データセットごとの統計量情報を、対応するグラフ情報に、それぞれ重畳描画する。
図54は、図47に示されるグラフ情報表示のための操作時に、チェックボックス165をチェックしたときに表示される内容である。図54のように、各分類データセットごとのグラフを表示するため、各分類データセットごとのグラフ作成を、繰り返し操作して作成する労力を軽減する。また、分類データセットの軸スケールが拡大され、グラフから各項目の取る値を読み取りやすくするとともに、各グラフ要素の重なりを少なくし、グラフ要素の頻度分布の誤認を防止する。
また、さらに、ステップTC−9において、チェックボックス165のチェックにより、分類データセットのなかから、2つの分類データセットを重複なく選択したときの分類データセットの組についてそれぞれグラフ情報を作成するように構成すると、図55のように、統計検定の処理数分のグラフを表示するため、図49と比較して表示が見やすくなる。
[第4の実施形態]
本発明の第4の実施の形態について、図面を参照して説明する。第4の実施形態は、第3の実施形態の診断支援コンテンツ作成部#127の構成が異なること以外は、第3の実施形態と同一である。
図56は、本発明の第4の実施の形態に係る診断支援コンテンツ作成部#127の構成を示すメインプログラム#121のブロック図である。以下、第3の実施形態との相違を説明する。
診断支援コンテンツ作成部#127は、情報一覧作成部171と、グラフ作成部154と、表示情報管理部172と、を含んでいる。
情報一覧作成部171は、記憶手段管理部#123から取得した画像情報の一覧を図58に示す画像情報一覧173として表示手段#18に表示する。
画像情報一覧173は、画像データ表示領域174と付随データ表示領域175とを含んでいる。
画像データ表示領域174には、記憶手段管理部#123から取得した画像情報の画像データを、画像一覧として表示する。
付随データ表示領域175には、記憶手段管理部#123から取得した画像情報の付随データを、一覧表として表示する。
グラフ作成部154は、第3の実施形態におけるグラフ作成部と同様であり、例えば、図59に示すグラフ情報160を表示手段#18に表示する。
表示情報管理部172は、画像データ表示領域174に表示される各画像と画像情報との対応付けと、付随データ表示領域175に表示される一覧表の各行と画像情報との対応づけと、グラフ情報160に表示される各グラフ要素と画像情報との対応づけを保持している。
また、表示情報管理部172は、マウス#23によるマウスカーソル176の操作を、入力I/F#58を経由して検知し、マウスカーソル176の操作情報を取得する。
また、表示情報管理部172は、マウスカーソル176の操作により、画像データ表示領域174上の画像が選択されると、保持している画像データ表示領域174に表示される各画像と画像情報との対応付けから、選択された画像に対応する画像情報を取得する。
また、表示情報管理部172は、マウスカーソル176の操作により、付随データ表示領域174上の行が選択されると、保持している付随データ表示領域174に表示される各行と画像情報との対応付けから、選択された行に対応する画像情報を取得する。
また、表示情報管理部172は、マウスカーソル176の操作により、グラフ情報160上のグラフ要素が選択されると、保持しているグラフ情報160に表示されるグラフ要素と画像情報との対応付けから、選択されたグラフ要素に対応する画像情報を取得する。
また、表示情報管理部172は、表示手段#18に表示される画像データ表示領域174の画像を選択して、色調反転状態の表示に変更する。また、表示情報管理部172は、表示手段#18に表示される付随データ表示領域175の行を選択して、色調反転状態の表示に変更する。また、表示情報管理部172は、表示手段#18に表示されるグラフ表示160の画像を選択して、表示色調を変更する。本実施形態では、画像データ表示領域174に、色調反転していない画像または色調反転した画像を表示し、付随データ表示領域175に、色調反転していない行または色調反転している行を表示し、グラフ表示160には、黒いグラフ要素または赤いグラフ要素を表示する。
図57は、本実施形態における画像情報一覧173と、グラフ情報160との連係動作を説明するための、表示情報管理部172のフローチャートである。ここでは、画像情報一覧173と、グラフ情報がすでに表示手段#18上に表示済みであるものとする。
ステップTH−1において、マウスカーソル176による画像データ表示領域174上の画像の選択または付随データ表示領域175における行の選択またはグラフ情報160上のグラフ要素の選択を検知し、マウスカーソル176の操作情報を取得する。
ステップTH−2において、画像データ表示領域174上に表示する全ての画像を、色調反転していない画像として表示する。
また、ステップTH−2において、付随データ表示領域175上に表示する全ての行を、色調反転していない行として表示する。
また、グラフ情報160上に表示する全てのグラフ要素を、黒いグラフ要素として表示する。
ステップTH−3において、ステップTH−1における選択操作により選択された画像または行またはグラフ要素から、画像データ表示領域174に表示される各画像と画像情報との対応付けまたは、付随データ表示領域174に表示される各行と画像情報との対応付けまたは、グラフ情報160に表示されるグラフ要素と画像情報との対応付け、を用いて、画像情報を取得する。
ステップTH−4において、画像データ表示領域174に表示される各画像と画像情報との対応付けと、付随データ表示領域174に表示される各行と画像情報との対応付けと、グラフ情報160に表示されるグラフ要素と画像情報との対応付けと、を用いて、ステップTH−3で取得した画像情報に対応する、画像データ表示領域174上の画像と、付随データ表示領域175上の行と、グラフ情報160上のグラフ要素と、を取得する。
ステップTH−5において、ステップTH−4で取得した画像データ表示領域174上の画像と、付随データ表示領域175上の行と、グラフ情報160上のグラフ要素とを、それぞれ、色調反転した画像、色調反転した行、赤いグラフ要素として、表示手段#18上に表示する。
図58、図59は、マウスカーソル176によるグラフ要素の選択により、グラフ要素を赤いグラフ要素として表示するとともに、グラフ要素に対応する画像情報に対応する画像と行とを反転表示している。
また、マウスカーソル176の操作により、図60のようにグラフ情報160において、グラフ要素を矩形で囲む操作をおこなうと、矩形内に含まれる全てのグラフ要素に対してステップTH−3からステップTH−5の処理を実行し、矩形内に含まれる全てのグラフ要素を赤い要素として表示するとともに、グラフ要素に対応する画像情報に対応する画像と行とを反転表示する。
なお選択によるグラフ要素の表示変更方法として、本実施形態に示す色調の変更のほかに、形状の変更、大きさの変更、円や四角形のマーカーでグラフ要素を囲む等の方法があり、画像の表示変更方法として、コントラスト変更、大きさの変更、マーカーの付加があり、行の表示変更方法として、表示文字色の変更、表示文字太さの変更、表示文字書体の変更、マーカーの付加がある。
(効果)
画像と、付随データと、グラフ要素を相互に関連付けて参照することが可能となり、操作性が向上する。
[第5の実施形態]
本発明の第5の実施の形態について、図面を参照して説明する。第5の実施形態は、第4の実施形態の診断支援コンテンツ作成部#127の構成が異なること以外は、第4の実施形態と同一である。
図62は、本発明の第4の実施の形態に係る診断支援コンテンツ作成部#127の構成を示す、メインプログラム#121のブロック図である。以下、第4の実施形態との相違を説明する。
第4の実施形態の診断支援コンテンツ作成部#127に対して、本実施形態の診断支援コンテンツ作成部#127には、情報設定部181が含まれる。
表示情報管理部172は、マウスカーソル176の操作による、画像データ表示領域174上の画像の選択または付随データ表示領域174上の行の選択またはグラフ情報160上のグラフ要素の選択により、マウスカーソル176の表示位置に、図63に示すメニュー190を表示する。メニュー190には、選択要素の情報更新191と、選択要素の関心領域設定192が含まれる。選択要素の情報更新191が選択されると、表示情報管理部172は、マウスカーソル176による画像データ表示領域174上の画像の選択または付随データ表示領域175における行の選択またはグラフ情報160上のグラフ要素の選択に対応する画像情報を取得し、情報設定部181に出力する。
また、表示情報管理部172は、情報設定部181からの画像情報一覧173とグラフ情報160の再作成指示により、画像情報一覧173とグラフ情報160を情報一覧作成部171、グラフ作成部154に対して再作成させ、表示手段#18上の表示を更新する。
なお、本実施形態のグラフ作成部154は、画像情報の付随データに含まれるグラフ作成属性の内容に応じて、該画像情報をグラフ作成に使用するか否かを決定するものとする。
情報設定部181は、情報設定部181から伝達された画像情報の付随データを設定し、画像情報保持手段151に保持される画像情報を更新するとともに、表示情報管理部172に対して画像情報一覧173とグラフ情報160の再作成を指示する。
情報設定部181は、項目値設定部183と、情報更新部182を含んでいる。
情報更新部182は、項目値設定部183により付随データを設定された画像情報を、記憶手段管理部#123に伝達することにより画像情報保持手段151に保持される画像情報を更新するとともに、表示情報管理部172に再作成を指示することにより、画像情報一覧173上の付随データ表示領域175の表示内容と、グラフ情報160の表示内容とを更新する。
項目値設定部183は、画像情報の付随データを設定する。
項目値設定部183による画像情報の付随データの設定操作画面を図64に示す。設定操作画面は、情報更新ウィンドウ184からなり、情報更新ウィンドウ184は、変更項目選択領域185と、変更項目値選択領域186と、画像データ表示領域187と、更新ボタン188とを含む。
変更項目選択領域185及び変更項目値選択領域186内に表示されている項目は、それぞれ1つづつ選択される。
画像データ表示領域187には、設定される画像情報の画像データを表示する。
項目値設定部183は、記憶手段管理部#123を介して、画像情報保持手段151に保持される項目管理情報を取得し、項目管理情報の分類キー項目に分類される項目の項目名称情報を全て取得して、変更項目選択領域185に格納する。
また、項目値設定部183は、変更項目選択領域185において選択された項目に対応する項目値情報を、記憶手段管理部#123を介して、画像情報保持手段151に保持される項目管理情報から取得する。
マウス#23操作により、更新ボタン188が押されると、画像情報の付随データに対して、変更する項目と、項目値を情報更新部182に伝達する。
図61は、本実施形態における、画像情報の設定変更に伴う、画像情報一覧173と、グラフ情報160の表示変更動作を説明するための、情報表示管理部172及び情報設定部181のフローチャートである。図61は、画像情報一覧173と、グラフ情報がすでに表示手段#18上に表示済みであるものとし、マウス#23操作により、メニュー190から選択要素の情報更新191が選択された状態以降のフローチャートである。
ステップTJ−1、ステップTJ−2、ステップTJ−5は、情報表示管理部172における処理ステップである。
ステップTJ−3、ステップTJ−4は、情報設定部181における処理ステップである。
ステップTJ−1において、マウスカーソル176による画像データ表示領域174上の画像の選択または付随データ表示領域175における行の選択またはグラフ情報160上のグラフ要素の選択を検知し、操作情報を取得する。
ステップTJ−2において、ステップTH−1における選択操作により選択された画像または行またはグラフ要素から、画像データ表示領域174に表示される各画像と画像情報との対応付けまたは、付随データ表示領域174に表示される各行と画像情報との対応付けまたは、グラフ情報160に表示されるグラフ要素と画像情報との対応付け、を用いて、画像情報を取得する。
ステップTJ−3において、ステップTJ−2で取得した画像情報を、項目値設定部183により設定する。図64に示す情報更新ウィンドウ184の画像データ表示領域187に、画像情報の画像データを表示する。マウス#23により変更項目選択領域の項目を選択すると、選択された項目に対応する項目内容を、変更項目値選択領域186に表示する。変更項目値選択領域186に表示される内容のうち、画像情報の付随データに設定されている内容は、反転表示する。マウス#23により変更項目値選択領域の項目を選択すると、選択以前に反転されていた項目は反転が解除され、選択された項目が反転表示する。
マウス#23により更新ボタン188の押下により、項目値設定部183は、変更項目選択領域185の選択項目と、変更項目値選択領域186の選択項目値を取得する。
ステップTJ−4において、情報更新部182は、項目値設定部183で設定された画像情報を記憶管理手段管理部#123に伝達することにより、設定変更された画像情報を画像情報保持手段151に保持する。
ステップTJ−5において、項目値設定部183は、表示情報管理部172に対して、画像情報一覧173とグラフ情報160の再作成を指示し、表示情報管理部172は、情報一覧作成部171、グラフ作成部154に対して、画像情報一覧173と、グラフ情報160の再作成を指示する。
本実施形態のグラフ作成部154は、画像情報の付随データ項目であるグラフ作成属性の内容に応じて、該画像情報をグラフ作成に使用するか否かを決定するため、項目値設定部183における、グラフ作成属性の設定により、グラフ情報160上の要素の表示非表示を設定することとなる。
なお本実施形態において、情報更新ウィンドウ184の画像データ表示領域187に、画像情報の画像データを表示するが、表示する画像データを縮小処理し、情報更新ウィンドウ184の大きさを小さくして、付随データ表示領域174の表示を見えるようにし、他の画像情報の付随データを参照しながら、付随データの設定を行うように構成してもよい。
(効果)
グラフ情報160上で、グラフ要素を選択して、選択したグラフ要素の画像情報を設定するので、操作性を向上する。
また、グラフ情報160上の操作で、グラフ要素の表示または非表示を選択するので、不要なグラフ要素をグラフ情報160から除外する操作が簡便になる。
また、画像情報の設定の際に、画像データを表示するので、グラフ要素を複数選択して連続して画像情報を設定する際に、画像データの内容がわかるので、画像情報の誤設定を防止する。
次に、第5の実施形態の変形例について示す。
図67と図40を用いて説明する。
項目管理情報には、任意設定文字列項目1〜Qの項目名称情報及び任意設定文字列項目1〜Qの項目値情報として、図67に示す、階層情報に対応する内容が格納される。また、項目管理情報には、任意設定文字列項目1〜Qのそれぞれに対応する、項目の上位階層の項目値(図示せず)及び項目階層レベルの情報(図示せず)が格納される。
例として、胃に対する占拠部位の情報は、任意設定文字列項目1の項目名称を、胃の占拠部位と格納し、任意設定文字列項目1の項目値情報を、噴門、小わん、…と格納し、任意設定文字列項目1の上位階層の項目値を、胃と格納し、項目階層レベルを1と格納する。また、別の例として、同様に、任意設定文字列項目2の項目名称を、早期胃がん肉眼分類と格納し、任意設定文字列項目2の項目値情報を、I型、IIa型、…と格納し、任意設定文字列項目2の上位階層の項目値をがんと格納し、項目階層レベルを4と設定する。
項目階層レベルは、占拠部位位置にあるものを1とし、細分類1の位置にあるものを3とし、細分類2の位置にあるものを4とし、細分類3の位置にあるものを5とし、細分類4の位置にあるものを6とする。
次に図65を用いて説明する。
項目値設定部183による画像情報の付随データの設定操作画面を図65に示す。設定操作画面は、情報更新ウィンドウ184からなり、情報更新ウィンドウ184は、患者名入力項目220、検査日入力項目221、検査部位入力項目222、占拠部位入力項目223、診断名入力項目224、細分類1入力項目225、細分類2入力項目226、細分類3入力項目224、細分類4入力項目226、更新ボタン188、細分類1項目名欄231、細分類2項目名欄232、細分類3項目名欄233、細分類4項目名欄234、を含む。
項目値設定部183における処理が開始すると、項目値設定部183は、記憶手段管理部#123を介して、画像情報保持手段151に保持される項目管理情報を取得し、検査部位の項目値情報と、診断の項目値情報と、任意設定文字列項目1〜Qの項目名称情報と、任意設定文字列項目1〜Qの項目値情報から、図67に示す階層情報を生成する。
診断名入力項目224の横にあるボタンがマウス#23の操作により押されると、項目値設定部183は、階層情報を利用して、図66に示すように、対応する項目の項目値をメニュー230に格納して表示し、メニュー230の中から、診断名入力項目224の内容を選択する。
例えば、図66において、診断名入力項目224の横のボタンを押すと、検査部位入力項目に格納されている情報である胃を取得し、次に、上位項目が胃である診断名名称を階層情報から取得して、メニュー230に格納する。
検査部位入力項目222、占拠部位入力項目223、細分類1入力項目225、細分類2入力項目226、細分類3入力項目224、細分類4入力項目226についても同様の処理を行う。
また、項目値設定部183は、診断名の項目名称の入力に応じて、階層情報を利用して、細分類1項目名欄231、細分類2項目名欄232、細分類3項目名欄233、細分類4項目名欄234に、項目名称を表示する。
例えば、図68において、診断名として、がんを選択すると、階層情報から、検査部位が胃であって、診断名ががんである階層の下層にある項目名称である、Borrman分類、早期胃がん肉眼分類、進達度を、それぞれ、細分類1項目名欄231、細分類2項目名欄232、細分類3項目名欄233に表示する。細分類1項目名欄231、細分類2項目名欄232、細分類3項目名欄233の表示内容が、階層情報に含まれる名称である場合には、各入力項目の右にあるボタンを押すと、前記の診断名入力項目224と同様に、対応する項目の項目値をメニュー230に格納して表示し、メニュー230の中から、各入力項目の項目内容を選択する。
(効果)
階層情報に従い、上位階層に設定された内容に応じて、入力する選択肢一覧メニューを作成して表示するため、選択不可能な選択肢の誤入力を防止するとともに、選択不可能な選択肢を表示しないため見やすく、操作性を向上する。
また、上位階層に設定された内容に応じて、入力する項目の名称を更新表示し、入力する項目を設定するため、選択不可能な項目への誤入力を防止するとともに、画面中の不必要な表示を省き、操作性が向上する。
[第6の実施形態]
本発明の第6の実施の形態について、図面を参照して説明する。第6の実施形態は、第5の実施形態の診断支援コンテンツ作成部#127の構成が異なること以外は、第4の実施形態と同一である。
図69は、本発明の第5の実施の形態に係る診断支援コンテンツ作成部#127の構成を示す、メインプログラム#121のブロック図である。以下、第5の実施形態との相違を説明する。
第5の実施形態の診断支援コンテンツ作成部#127に対して、本実施形態の診断支援コンテンツ作成部#127は、項目値設定部183を関心領域設定部201に置き換えている。
本実施形態において、情報一覧作成部171は、画像情報の画像データと、関心領域データとから、画像情報一覧173の画像データ表示領域174内に含まれる画像に対して、関心領域を描画する。図71に、本実施形態における画像情報一覧173の表示を示す。
関心領域設定部201は、表示情報管理部172から取得した画像情報に対して、画像情報一覧173の画像データ表示領域174上で、マウス#23の操作により、画像データに対する関心領域データを設定する。
設定した関心領域データを含む画像情報を、情報更新部182を介して、画像情報保持手段151に保持するとともに、情報更新部182を介して、画像データ表示領域174に格納される画像データと関心領域データの表示を更新する。
表示情報管理部172は、マウスカーソル176の操作による、画像データ表示領域174上の画像の選択または付随データ表示領域174上の行の選択またはグラフ情報160上のグラフ要素の選択により、マウスカーソル176の表示位置に、図63に示すメニュー190を表示する。メニュー190には、選択要素の情報更新191と、選択要素の関心領域設定192が含まれる。
選択要素の関心領域設定192が選択されると、表示情報管理部172は、マウスカーソル176による画像データ表示領域174上の画像の選択または付随データ表示領域175における行の選択またはグラフ情報160上のグラフ要素の選択に対応する画像情報を取得し、情報設定部181に出力する。
関心領域の設定は、マウス#23の操作により行う。マウス#23は、図72(a)に示すように、左ボタン202と、右ボタン203を備える。
本実施形態において、関心領域は矩形であるとする。
図70は、本実施形態における関心領域の設定を説明するための、関心領域設定部201のフローチャートである。関心領域の設定は、画像情報一覧173の画像データ表示領域174の画像上で行うものとし、マウス#23操作により、メニュー190から選択要素の情報更新191が選択された状態であるとして、以降説明する。
図72(a)、図72(b)、図72(c)とともに、説明する。
図72(a)は、移動ステップ(TI−2)におけるマウス23の操作と、画像上の表示を示す。
図72(b)は、サイズ変更ステップ(TI−4)におけるマウス23の操作と、画像上の表示を示す。
図72(c)は、位置仮決定ステップ(TI−3)におけるマウス23の操作と、画像上の表示を示す。
関心領域を設定する画像上に、画像情報に設定されている関心領域206のほかに、関心領域設定部201の設定する仮の関心領域である仮関心領域204と、マウス#23の操作により設定中の関心領域である設定中関心領域205を描画表示する。
図72(a)、図72(b)、図72(c)に示す画像上において、斜線部閉領域は、画像情報に設定されている関心領域206を示し、実線白抜き閉領域は、仮関心領域204を示し、点線白抜き閉領域は、マウス#23の操作により設定中関心領域205を示す。
関心領域設定部201での処理が開始すると、移動ステップ(TI−2)に処理が移行する。
移動ステップ(TI−2)では、マウス23の移動に応じて、設定中関心領域205を移動表示する。図72(a)に示すように、左ボタン202、右ボタン203が押されていない状態でマウス23を移動すると、設定中関心領域205がマウス23の動きに合わせて移動する。
移動ステップ(TI−2)において、左ボタン202を押すと、位置仮決定ステップ(TI−3)に移行する。
位置仮決定ステップ(TI−3)では、仮関心領域204を消去し、左ボタン203が離されると、設定中関心領域205の位置とサイズを仮関心領域204の位置とサイズに設定する。
また、位置仮決定ステップ(TI−3)において、左ボタン202を押しながらマウス#23を移動すると、サイズ変更ステップ(TI−4)に移行する。サイズ変更ステップ(TI−4)では、左ボタン202を押しながらのマウス#23の移動に応じて、設定中関心領域205の左上座標を原点として固定して、矩形のサイズを変更する。
左ボタン202の押下により、移動ステップ(TI−2)から位置仮決定ステップ(TI−3)に移行して仮関心領域204を設定変更し、つづいてマウス#23の移動によりサイズ変更ステップ(TI−4)に移行して、マウス#23の動きに合わせて、設定中関心領域205のサイズが、設定中関心領域205の矩形左上座標を固定した状態で変化する。
サイズ変更ステップ(TI−4)において、左ボタン202を離すと、位置仮決定ステップ(TI−3)を経由して、移動ステップ(TI−2)に移行する。位置仮決定ステップ(TI−3)の経由により、設定中関心領域205の位置とサイズを、設定中関心領域205の位置とサイズに設定する。
移動ステップ(TI−2)において右ボタン203を押すと、領域設定ステップ(TI−1)に移行し、仮関心領域204の位置とサイズを、画像情報の関心領域データとして設定し、関心領域設定部201での処理を終了する。
関心領域設定部201で設定した関心領域データを含む画像情報は、情報更新部182において、記憶手段管理部#123を介して画像情報保持手段151に保持するとともに、表示情報管理部172を介して、画像データ表示領域187内の画像データに対する関心領域の描画表示が更新される。
なお本実施形態では、関心領域は矩形であるが、楕円、任意設定閉領域であってもよい。楕円を囲む矩形または任意設定閉領域を、本実施形態の矩形に置き換えて同様の操作を行う。また、本実施形態では、サイズ変更ステップ(TI−4)において、矩形の左上座標を原点として固定してサイズを変更しているが、矩形の中心を原点として固定してサイズ変更するようにしてもよい。
(効果)
1度のマウス#23の関心領域設定操作により、関心領域の位置とサイズを決定するため、関心領域の設定を簡便にする。
[第7の実施形態]
本発明の第7の実施の形態について、図面を参照して説明する。図73は、本発明の第7の実施の形態に係るメインプログラム#121のブロック図である。本実施形態において不要なものは示していない。第7の実施形態は、第4の実施形態において、記憶手段管理部#123と診断支援コンテンツ作成部#127の間に、マーカー描画部213を挿入したこと以外は、第4の実施形態の構成と同一である。
以下、第4の実施形態との相違を説明する。
マーカー描画部は、入力された画像情報の付随データに含まれる項目の内容に応じて、図75(a)に示す枠210を、画像データに対して描画する。枠を描画した画像データを含む画像情報は、診断支援コンテンツ作成部#127に出力される。
本実施形態では、付随データの患者性別の内容に応じて、枠210を描画するものであって、患者性別が男性であれば、画像データに対して枠210を描画し、患者性別が女性であれば、枠210を描画しないものとする。
図74は、本実施形態における、付随データに含まれる項目に応じた画像データへのマーカー描画を説明するための、マーカー描画部213のフローチャートである。
ステップTF−1において、入力された画像情報の付随データの患者性別の内容を取得する。
ステップTF−2において、ステップTF−1において取得した患者性別が男性であれば、画像データに対して、マーカーとして、枠210を描画する。ステップTF−1において取得した患者性別が女性であれば、画像データに対するマーカーの描画は行わない。
なお本実施形態では、マーカー描画の判定項目として、付随データの患者性別を使用したが、分類キー項目として分類される、カテゴリー分類または診断名または検査部位またはグラフ表示属性などの内容を判定項目としてもよい。また、数値項目に格納される各項目を判定項目とし、値の範囲に応じた判定を行ってもよい。
また、本実施形態では、枠の描画の有無をマーカーとして使用したが、枠の色調を、判定項目の判定に応じて変更してもよい。また、図75(b)、図75(c)に示すように、画像データ中に円マーカー211、星マーカー212といった、形状を変化したマーカーを、判定項目の判定に応じて描画してもよい。また、判定項目の判定に応じて、円マーカー211の表示位置を変更してもよい。
(効果)
画像データ一覧を一瞥しただけで、付随データの内容がわかるため、操作性を向上する。
[第8の実施形態]
本発明の第8の実施の形態について、図面を参照して説明する。図76は、本発明の第8の実施の形態に係るメインプログラム#121のブロック図である。本実施形態において不要なものは示していない。第8の実施形態は、第7の実施形態において、マーカー描画部213の代わりに、文字情報消去部240と、文字情報描画部241とを挿入したこと以外は、第7の実施形態の構成と同一である。
以下、第7の実施形態との相違を説明する。
文字情報消去部240は、入力された画像情報の画像データのうち、患者検査情報が描画されている領域を消去処理し、画像データに描画された患者検査情報を消去する。消去処理を行う領域の形状、位置、サイズは、あらかじめ決定されている。
患者検査情報を消去した画像データを含む画像情報は、文字情報描画部241に出力される。
文字情報描画部241は、入力された画像情報の付随データに含まれる項目の内容を、画像データに描画する。
本実施形態では、付随データの特徴量1の値と、付随データの特徴量2の値を描画するものとする。
図77は、本実施形態における、画像データからの患者検査情報の消去と、画像データへの付随データに含まれる項目情報の描画を説明するための、文字情報消去部240と、文字情報描画部241との処理のフローチャートである。
ステップTG−1において、文字情報消去部240は、入力された画像情報の画像データの患者検査情報を消去する。
ステップTG−2において、文字情報描画部241は、ステップTG−1において消去処理された画像データに対して、入力された画像情報の付随データに含まれる特徴量1の値と、特徴量2の値とを描画する。また、描画情報の内容を表す文字列として、特徴量1,特徴量2を、各値の上方に描画する。
図78に、画像データに描画された患者検査情報を消去するとともに、特徴量1,特徴量2の値を描画した画像データの表示例を示す。
なお本実施形態では、特徴量1,特徴量2を描画したが、他の付随データ項目を、その項目名称とともに表示してもよい。
(効果)
画像上に表示された患者検査情報を消去するので、患者のプライバシー情報の流出を防ぐ。また、患者検査情報を消去することにより、画像データ上の空欄領域が広がるため、新たに重畳描画する文字情報の文字大きさを大きくすることができるため、重畳される情報が読みやすくなり、操作性を向上する。また、重畳描画する文字情報の情報量を増やすことができるため、より多くの情報を、画像データ表示を見ただけで得ることができ、操作性を向上する。
[第9の実施形態]
本発明の第9の実施の形態について、図面を参照して説明する。図79は、本発明の第9の実施の形態に係るメインプログラム#51のブロック図である。本実施形態において不要なものは示していない。第9の実施形態は、診断支援コンテンツ作成部#127内に、画像処理部250を挿入したこと以外は、第2の実施形態と同一である。
画像処理部250は、記憶手段管理部#123を介して、画像情報を取得し、画像情報に含まれる画像データをもとにして、画像処理値を算出する。また、画像処理部250は、診断支援コンテンツ管理部#124から、図81に示す画像処理テーブル251を取得し、保持する。
本実施形態では、画像データは、1画素あたりR,G,Bのデジタル信号から構成され、R,G,Bそれぞれは、0から255までの値をとるものとし、画像処理部220において算出される画像処理値は、画素ごとのヘモグロビン指標(Index of Hemoglobin)と設定されている。
画像処理部250は、画像データの画素データ(R,G,B)を入力とし、画素データの変換値である、画像処理値nを出力とする。
本実施形態では、nはヘモグロビン指標をあらわす。ヘモグロビン指標は、画素データ(R,G,B)を用いて32log2 (R/G)の算出式により算出される値であり、粘膜血流量の大小を反映した値とされ、内視鏡医療分野において粘膜色調の評価手法の一つとして用いられる。
画像処理テーブル251は、図81に示すように、(R,G,B)=(0,0,0)から(R,G,B)=(255,255,255)まで順に1バイト単位で並べられた記憶領域が、M個並べられている構成である。
図80は、画像処理部250の詳細を示すブロック図である。画像処理部250は、画像処理テーブルアクセス部252と、変換テーブル変更部253を含む。
画像処理テーブルアクセス部252は、画素値(R,G,B)を入力とし、変換値nを出力とする。また、画像処理テーブルアクセス部252は、画像処理種類の識別子として、ヘモグロビン指標に対応するm(1≦m≦M)を設定値として保持している。
画像処理テーブルアクセス部252は、入力された画素値(R,G,B)と画像処理種類識別子のmをもとにして、画像処理テーブルのアクセス位置を読込み、画像処理値nとして出力する。本実施形態では、画像処理テーブルの先頭から、m×256×256×256+R×256×256+G×256+Bの位置にあるテーブル値をnとして読み込む。
変換テーブル変更部253は、診断支援コンテンツ管理部#124から、画像処理テーブルを読み込み、画像処理テーブル251の内容を変更するとともに、画像処理テーブルアクセス部252の画像処理種類の識別子を変更する。
図82は、本実施形態における、画像データの画素値に対応する画像処理値の算出を説明するための、画像処理部250のフローチャートである。
ステップTK−1において、画像情報の画像データから、左上画素を開始位置として、1ラインずつ右に走査して、右下画素まで、1画素づつ取得する。
全ての画素を取得し終えた場合には、画像処理部250での処理を終了する。
ステップTK−2において、取得画素(R,G,B)と、自身の保持する画像処理識別子mから、m×256×256×256+R×256×256+G×256+B(以降offset値と記述する)を算出し、画像処理テーブル251の先頭から、offset値の位置にあるテーブル値を取得する。
ステップTK−3において、ステップTK−2において取得したテーブル値を保持する。
以上により、画像情報の画像データの画素に対する画像処理値を保持し、画像処理値は、診断支援コンテンツ作成部#127内の他の構成において利用される。
(効果)
除算、log演算などの、演算速度の遅い演算を行わず、加算、乗算のみで演算するので、画像処理値を高速に得る。
[第10の実施形態]
端末間で、画像情報をやり取りする際に、汎用フォーマット(たとえば、Windows(登録商標)bitmapなど)に変換された画像ファイルを使用すると、使用者の好みの画像ビューアを使用して、画像の内容を確認できるため、しばしば利用される。
しかし、汎用フォーマットの画像ファイルには、関心領域データ、付随データを埋め込むことができないので、従来は、別ファイルとして関心領域データ、付随データを添付出力したが、ファイル管理が面倒である、付随データは患者の個人情報を含むため、付随データが容易に可読であるとプライバシーの流出につながる、という問題があった。
本発明の第10の実施の形態について、図面を参照して説明する。図83は、本発明の第10の実施の形態に係るメインプログラム#51のブロック図である。本実施形態において不要なものは示していない。第10の実施形態は、データ埋め込み部260を付加したこと以外は、第2の実施形態と同一である。
データ埋め込み部260は、記憶手段管理部#123を介して、画像情報保持手段151から画像情報を読み込み、画像データ内に、付随データ及び関心領域データを埋め込み、診断情報入出力制御手段#15を介して、外部に画像データを出力する。
また、データ埋め込み部260は、外部から、付随データ及び関心領域データを埋め込まれた画像データを取得し、画像データから、付随データと関心領域データを抽出して画像情報を作成し、記憶手段管理部#123を介して、画像情報保持手段151に該画像情報を保持する。
図84(a)は、本実施形態における、画像データへの付随データと関心領域データの埋め込みを説明するための、データ埋め込み部260のフローチャートである。
図84(a)と、図85を用いて説明する。
ステップTL−1において、読み込んだ画像データの画素値の1ビット目のデータを0にする。例えば、図85上段において、読み込んだ画像データの画素値は、(R,G,B)=(FF,A1,00),…と並んでいるが、左上1ライン分について、ステップTL−1における、1ビット目のデータを0にする処理を適用することにより、図85中段のように、(R,G,B)=(FE,A0,00),…いった画素値になる。
ステップTL−2において、埋め込む付随データ、関心領域データをビットデータに展開する。例えば、特徴量として保持されている60という数値データに対してビットデータに展開すると、00111100となる。
ステップTL−3において、ステップTL−2において展開された、付随データを、画像データに埋め込む。埋め込み位置は、画像データの画素値の1ビット目とする。例えば、図85下段において、ステップTL−2において、ビットデータに展開された特徴量60は、左上1ライン分に埋め込まれ、左上1ラインの画素値は、(R,G,B)=(FE,A0,01),…となる。
以上の処理により、画像データヘ、付随データと関心領域データを埋め込む。
図84(b)は、本実施形態における、画像データに埋め込まれた付随データと関心領域データの取得を説明するための、データ埋め込み部260のフローチャートである。
図84(b)と、図86を用いて説明する。
ステップTM−1では、外部から取得した画像データの画素値の1ビット目のデータを取得する。例えば、図86において、左上1ライン分の画素データについて、1ビット目のデータを取得することにより、ビットデータ00111100を得る。
ステップTM−2では、取得したビットデータから、付随データまたは関心領域のデータを取得して、画像情報を作成し、記憶手段管理部#123を介して、画像情報保持手段151に該画像情報を保持する。例えば、図86において取得したビットデータ00111100は、数値データ60に変換され、これを付随データの特徴量の値として画像情報を生成する。
以上の処理により、画像データから、付随データと関心領域データを抽出する。
なお、本実施形態では、画素値の範囲と、付随データ及び関心領域データとの対応関係、画素値配列とビットデータ配列との対応関係は、端末間で同一になるように設定されているものとする。
(効果)
画像データに付随データ、関心領域データを埋め込むことにより、端末間での画像情報交換の操作性を向上するとともに、画像の対象となった患者のプライバシー情報の流出を防ぐ効果がある。
[第11の実施形態]
本発明の第11の実施形態は内視鏡画像における所見の客観化を目的とする特徴量算出手法に特徴があり、画像データから血管透見像(以下、血管像)を抽出し、その血管走行状態に関する特徴量を算出するものである。図87〜図98を用いて、第11の実施形態を説明する。
(構成)
第11の実施形態における診断支援装置の構成については、第2の実施の形態と同一であるため、詳細な説明を省略する。
以下,本実施の形態における特徴量算出手法を診断支援コンテンツ作成端末#102において実行するものとして説明する。
図87は、第11の実施形態の特徴量算出手段008を備えるメインプログラム#121の構成図であり、診断情報入出力制御手段#15を介して入力される内視鏡装置001におけるビデオプロセッサ004からの画像データを記憶する画像記憶手段007と、前記記憶手段の画像データから特徴量を算出する特徴量算出手段008と、前記特徴量算出手段の特徴量に基づき診断支援情報を表示する診断支援情報表示手段009から成る。
図88は、第11の実施形態における特徴量算出手段008の構成を示す構成図であり、画像記憶手段007で記憶した画像データにおける血管像を抽出する血管抽出手段101と、前記抽出手段101の出力に基づき血管走行状態を評価して特徴量を算出する血管特徴量算出手段102からなる。
図89は、前記特徴量算出手段008における血管抽出手段101の構成を示す構成図であり、血管抽出手段101は、前記画像データに対して前処理を行う前処理部111と、前処理部111の出力に基づき血管候補を抽出する血管候補抽出部121と、前処理部121の出力に基づき前記画像データによる濃度勾配情報を算出する濃度勾配算出部131と、前記濃度勾配算出部131の出力に基づき形状エッジを判定する形状エッジ判定部132と、前記血管候補抽出手段121及び前記形状エッジ判定部132の出力に基づき、血管候補の中から形状エッジを分離して除去する分離部141から成る。また前記血管候補抽出部121はエッジ情報検知部122と色調算出部123から成る。
図90は、前記血管抽出手段101における処理を中心に説明するフロー図である。
図91は、前記前処理部111のブロック構成図であり、前記画像データに適用されたガンマ補正処理を解除するための逆ガンマ補正処理部112と、前記画像データにおけるノイズを抑制するためのノイズ抑制処理部113と、前記画像データが複数の色信号から構成される際、各種色信号の撮像タイミングの違いにより生じる色信号間のずれを補正する色ずれ補正処理部114の各ブロックから成る。
図92は、前記エッジ情報検知部122と色調算出部123の出力に基づき血管候補を抽出する血管候補抽出部121の処理を示す概略フロー図である。
図93には、前記エッジ情報検知部122において2次微分処理を行うための空間フィルタの例を示す。
図94は、前記濃度勾配情報算出部131の出力に基づく形状エッジ判定部132の処理を示す概略フロー図である。図95は、前記血管候補抽出部121と前記形状エッジ判定部132の結果に基づき、血管候補から形状エッジを分離、除外する処理を示す概略フロー図である。
図96は、血管と形状エッジの存在する画像の水平ライン上の濃度分布、濃度勾配、2次微分、色調データ及び後述する血管候補データの概念図である。
図97は、血管と形状エッジにおける前記濃度分布、濃度勾配、後述の形状エッジ判定による形状エッジデータの概念図である。図98は、血管と形状エッジにおける、前記血管候補データと形状エッジデータの論理積の概念図である。
(作用)
本実施例では、ビデオプロセッサ004より入力され前記画像記憶手段007に記録される画像データは、面順次方式の内視鏡によるRGBの3つの画像データで構成されているとする。
特徴量算出手段008では、画像記録手段007から前記画像データの所定の領域(設定された関心領域内の画像データ)を読み出し(ステップS101)、図88に示す血管抽出手段101にて血管像の抽出処理を行う(ステップS102)。
血管抽出手段101では、図89に示すように、R,G及びB画像データを前処理部111に入力する。
前処理部111では、図91に示すように、逆ガンマ補正処理部112においてRGBの各画像データ毎に所定の補正テーブル参照による逆ガンマ補正を行い、結果をノイズ抑制処理部113に出力する。ノイズ抑制処理部113はマスクサイズ3×3のメディアンフィルタによるノイズ抑制を行う。ノイズ抑制処理の結果は色ずれ補正処理部114に入力する。色ずれ補正処理部114では、G画像データに対して、R画像データを水平および垂直方向に所定の画素数分ずらしたときのGとRの画像データ間の相関係数を算出し、最大値を与えるずらし量分R画像データをずらして補正処理を終了させる。B画像データに関しても同様にG画像データを基準に前記補正処理を実施する。これにより、面順次方式の内視鏡で生じるRGB間の色ずれを補正する。色ずれ補正処理によりG画像データとのずれを補正した画像データを以後新たにR,GおよびB画像データと呼び、各画素における画像データをR(x,y),G(x,y)およびB(x,y)で示す。なおx,yは画像データにおける水平、垂直方向の座標位置を示す(以上ステップS103)。
前処理部111によるR,G及びB画像データは、血管候補抽出部121と濃度勾配情報算出部131に入力される。
血管候補抽出部121では、図89に示すように前処理部111による前記画像データをエッジ情報検知部122と色調算出部123に入力する。
エッジ情報検知部122では、G画像データに対して2次微分処理を行う(ステップS105)。前記処理は図93に示すような3×3の空間フィルタをG画像データに畳み込み演算することで行う。前記演算による結果を∇2 G(x,y)で記す。
色調算出部123では、R,G及びB画像データから式※1による色調データC(x,y)を算出する(ステップS104)。
R(x,y)/(R(x,y)+G(x,y)+B(x,y)) 式※1
血管候補抽出部121は、図92に示すように、エッジ情報検知部122の出力である∇2 G(x,y)に対し所定の閾値T∇以上を有する画素P∇を図示していないメモリに記憶し(ステップS220)、その画素P∇において、色調算出部123の出力する色調データC(x,y)の最小値Cmin を算出し(ステップS221)、さらに色調データC(x,y)が最小値Cmin 以上の値を有する画素に値1を与え、Cmin 未満の値の画素に0を与える2値化処理を実施する(ステップS222、S108))。得られた2値化データは血管候補データBiC(x,y)として、分離部141へ出力する。血管候補データBiC(x,y)には図96に示すように、血管部と共に形状エッジ部を含むため、後述の分離部141で分離する。
濃度勾配情報算出部131は、前処理部111からのR画像データに対して、勾配を式※2により算出する(ステップS106)。
|R(x+1,y)−R(x,y)|+|R(x,y+1)−R(x,y)| 式※2
ここで||は絶対値を意味する。
さらにGおよびB画像データに対しても同様に勾配を算出し、結果を形状エッジ判定部132に出力する。なお得られた結果は夫々Grad R(x,y),Grad G(x,y),Grad B(x,y)と記すことにする。
形状エッジ判定部132は、図94に示すように、濃度勾配情報算出部131の出力するGrad R(x,y),Grad G(x,y),Grad B(x,y)の線形和Grad C(x,y)を式※3により算出する(ステップS230、S107)。
Grad C(x,y)=α・Grad R(x,y)+β・Grad G(x,y)
+θ・Grad B(x,y) 式※3
重み係数α,β,θは所定の値を用い、本実施例では全て1とする。
ここで、Grad Cに関する血管部と形状エッジ部との差について説明する。血管像は血管の走行する粘膜内の探さの違いによって、R,GおよびB画像データ毎にコントラストが異なり、即ち、深層の血管は波長の長いR(赤)の照射光の戻り光を画像化したR画像データに、表層血管はB画像データ、その中間的な層の血管はG画像データに画像化され、また濃度勾配は形状エッジ部に比して小さい。これに対し、形状エッジではコントラストの画像データ間の差が比較的少なく、また濃度勾配が比較的大きいため、図97に示すように、形状エッジ部は線形和Grad Cにおいて大きな値を有する。
そこで、次に、線形和Grad C(x,y)に対し、所定の閾値TGrad による閾値処理を行い、Grad C(x,y)がTGrad 以上を有する画素に値1を与え、TGrad 未満の画素を値0とする2値化を行って(ステップS231)、形状エッジデータBiGrad(x,y)を作成し、分離部141に出力する。
分離部141では図95に示すように、血管候補抽出部121の出力する血管候補データBiC(x,y)と、形状エッジ判定部132の出力する形状エッジデータBiGrad (x,y)との論理積L(x,y)を算出する(ステップS240)。この結果から、図98の概念図に示すように、血管候補データにおける形状エッジに基づく部分が得られる。論理積Lには、前記形状エッジに基づく全ての血管候補データが含まれていないため、論理積Lに対して膨張処理を実行し(ステップS241)、得られた結果である膨張データExpを血管候補データBiCから除外することで形状エッジ部を分離する(ステップS242、S109)。即ち、論理積L(x,y)の画素(i,j)あるいは(i,j)8近傍画素の何れかにおける血管候補データBiCが値1である場合には、膨張データExp(i,j)の値を1に設定し、それ以外の場合には値0を与えることで、膨張データExp(x,y)を作成し、血管候補データBiC(x,y)から減算する。
これにより、血管候補データから形状エッジを分離した血管像による画像データ、血管抽出データBv(x,y)を生成することができる。
血管抽出手段101による血管抽出データBv(x,y)は、血管特徴量算出手段102に出力する。
血管特徴量算出手段102では、血管抽出手段101による血管抽出データBv(x,y)において血管像を構成する画素数をカウントし、前記所定領域の画素数との比を算出することで、前記所定領域に占める血管の割合を示す血管面積比を特徴量として算出する(ステップS110)。血管面積比は診断支援情報表示手段009に出力する。
特徴量の算出の終了(ステップS111)後、診断支援情報表示手段009は、血管特徴量算出手段102で算出された血管面積比の数値を、血管像の走行に関する定量的な評価値として表示する(ステップS112)。
(効果)
上記構成によれば、生体内における形状エッジを血管像と分離して抽出することが可能であるため、誤抽出を抑制し、血管に即した定量化が行われる。
(実施の形態の効果)
本発明の第1の実施の形態によれば,診断支援装置において診断の目的や内容に応じた診断支援を選択的に利用することが可能になるとともに,最新の診断支援コンテンツを利用することができる。
本発明の第1−Bの実施の形態に示した診断支援装置によれば,診断支援コンテンツサーバにおける診断支援コンテンツの更新・追加にともない診断支援実行端末への配信を実行することにより、常に最新の診断支援コンテンツを診断において利用することが可能となる。
本発明の第1−Cの実施の形態における診断支援装置によれば、設定された情報に基づき診断支援コンテンツサーバに対する診断支援コンテンツの更新・追加を問い合わせることで常に最新の診断支援コンテンツを利用可能となる。
本発明の第2の実施の形態に示した診断支援装置によれば、多くの医療施設・機関が自由に診断支援コンテンツを作成することができ、各施設・機関に蓄積された様々な医療情報や画像データと専門的医学知識を広く診断支援装置上で利用することが可能となる。また、一度作成された診断支援コンテンツに対し、データの追加等が簡単にできるため、多くの医療施設・機関に分散して存在している症例データを有効に活用し、診断支援装置の能力を向上させることが可能となる。
本発明の第3の実施の形態によれば、グラフ上に統計処理情報を表示することにより、統計処理情報との比較が容易になるとともに、統計処理情報によるグラフ表示の客観的な理解を得る効果がある。
また、グラフ作成時に、分類項目と、データ値とを分離して表示、選択するため、データ値として選択すべきところで分類項目を誤選択する、または、分類項目として選択すべきところで、データ値を誤選択することを防ぎ、操作性を向上する。さらに、複数の選択された分類項目の組み合わせを、分類項目として使用するので、グラフ作成作業の労力を軽減する。複数の選択された分類項目の組み合わせの中から選択された項目のみを分類項目として使用するので、グラフ作成作業の労力を軽減する。
本発明の第4の実施の形態によれば、画像と、付随データと、グラフ要素を相互に関連付けて参照することが可能となり、操作性が向上する。
本発明の第5の実施の形態によれば、グラフ作成における操作性の向上と画像情報の誤設定が防止される。また、情報の付与において階層情報に従い、上位階層に設定された内容に応じて、入力する選択肢一覧メニューを作成して表示するため、選択不可能な選択肢の誤入力を防止するとともに、選択不可能な選択肢を表示しないため見やすく、操作性を向上する。また、上位階層に設定された内容に応じて、入力する項目の名称を更新表示し、入力する項目を設定するため、選択不可能な項目への誤入力を防止するとともに、画面中の不必要な表示を省き、操作性が向上する。
本発明の第6の実施の形態によれば、画像への関心領域の設定を簡便にすることができる。
本発明の第7の実施の形態によれば、画像データに対する付随データの認識を簡単に行うことができる。
本発明の第8の実施の形態によれば、画像上に表示された患者検査情報を消去することにより患者のプライバシー情報の流出を防ぐことが可能となる。
本発明の第9の実施の形態によれば、除算、log演算などの、演算速度の遅い演算を行わず、加算、乗算のみで演算するので、高速に画像処理を行うことができる。
本発明の第10の実施の形態によれば、画像データに付随データ、関心領域データを埋め込むことにより、端末間での画像情報交換の操作性を向上するとともに、画像の対象となった患者のプライバシー情報の流出を防ぐことが可能となる。
(付記)
上記した具体的実施形態から以下のような構成の発明を抽出することができる。
1. 診断支援を行うための複数の診断支援コンテンツを記憶する診断支援コンテンツ記憶手段と、
前記複数の診断支援コンテンツから所望の診断支援コンテンツを選択する選択手段と、
医用システムから患者、検査及び画像の少なくとも1つに関する診断用情報を取得する情報取得手段と、
前記選択手段により選択された診断支援コンテンツと、前記医用システムから取得した診断用情報とに基づいて診断支援情報を生成する診断支援情報生成手段と、
前記診断支援情報生成手段により生成された診断支援情報を表示する診断支援情報表示手段と
を備えたことを特徴とする診断支援装置。
2. 前記診断支援コンテンツ記憶手段に記憶する診断支援コンテンツを少なくとも更新または追加する診断支援コンテンツ変更手段を備えたことを特徴とする1記載の診断支援装置。
3. 回線を通じて接続された複数のコンピュータを用いた診断支援装置であって、
診断支援を行うための診断支援コンテンツを記憶する診断支援コンテンツ記憶手段と、
前記記憶された診断支援コンテンツを送信する送信手段と、
医用システムから患者、検査及び画像の少なくとも1つに関する診断用情報を取得する情報取得手段と、
前記送信手段により送信される前記診断支援コンテンツを受信する受信手段と、
前記医用システムから取得した診断用情報と、前記受信手段により受信された診断支援コンテンツとに基づいて診断支援情報を生成する診断支援情報生成手段と、
前記診断支援情報生成手段により生成された診断支援情報を表示する診断支援情報表示手段と
を備えたことを特徴とする診断支援装置。
4. 診断支援コンテンツを作成するための診断支援コンテンツ作成手段と、
前記診断支援コンテンツ作成手段を用いて作成された診断支援コンテンツを送信するための送信手段と、
前記送信手段から送信される診断支援コンテンツを受信するための受信手段と
を備えたことを特徴とする3記載の診断支援装置。
5. 前記診断支援コンテンツ作成手段を記憶する診断支援コンテンツ作成手段記憶手段と、
前記診断支援コンテンツ作成手段記憶手段に記憶された診断支援コンテンツ作成手段を送信する送信手段と、
前記送信手段から送信される診断支援コンテンツ作成手段を受信する受信手段とを備えるとともに、
前記診断支援コンテンツ作成手段が前記受信した前記診断支援コンテンツ作成手段を用いて診断支援コンテンツを作成することを特徴とする3記載の診断支援装置。
6. 前記診断支援コンテンツ作成手段において、
第1の診断支援コンテンツを記憶する記憶手段をさらに備え、
前記第1の診断支援コンテンツ及び前記診断用情報とを用いて第2の診断支援コンテンツを作成することを特徴とする4又は5記載の診断支援装置。
7. 回線を通じて接続された複数のコンピュータを用いた診断支援装置であって、
診断支援を行うための診断支援コンテンツを記憶する診断支援コンテンツ記憶手段と、前記診断支援コンテンツを送信する診断支援コンテンツ送信手段とを備える診断支援コンテンツサーバと、
医用システムから患者、検査及び画像の少なくとも1つに関する診断用情報を取得する情報取得手段と、前記診断支援コンテンツサーバから前記診断支援コンテンツを受信する受信手段と、前記医用システムから取得した診断用情報と、前記受信手段により受信した診断支援コンテンツとに基づいて診断支援情報を生成する診断支援情報生成手段と、前記診断支援情報生成手段により生成された診断支援情報を表示する診断支援情報表示手段とを備える診断支援実行端末と
を備えたことを特徴とする診断支援装置。
8. 前記診断支援コンテンツを作成するための診断支援コンテンツ作成手段と、前記診断支援コンテンツ作成手段を用いて作成した診断支援コンテンツを前記診断支援コンテンツサーバに送信するための送信手段を備える診断支援コンテンツ作成端末を備えたことを特徴とする7記載の診断支援装置。
9. 前記診断支援コンテンツ作成手段を記憶する診断支援コンテンツ作成手段記憶手段及び前記診断支援コンテンツ提供端末への前記診断支援コンテンツ作成手段の送信を行うための送信手段とを備える診断支援コンテンツ作成手段サーバを備え、
前記診断支援コンテンツ作成端末において、前記送信される診断支援コンテンツ作成手段を受信する診断支援コンテンツ受信手段を備えるとともに、
前記診断支援コンテンツ提供端末において受信した前記診断支援コンテンツ作成手段を用いて診断支援コンテンツを作成することを特徴とする8記載の診断支援装置。
10. 前記診断支援コンテンツサーバにおいて、
前記診断支援コンテンツ記憶手段に記憶された診断支援コンテンツが少なくとも更新または追加されたことを検知する検知手段を備え、
前記検知手段の検知結果に基づき前記診断支援コンテンツの送信を行うことを特徴とする7、8、9記載の診断支援装置。
11. 前記診断支援コンテンツ作成端末において、
医用システムから患者、検査及び画像の少なくとも1つに関する診断用情報を取得する情報取得手段と、
第1の診断支援コンテンツを記憶する記憶手段とを備え、
前記第1の診断支援コンテンツ及び前記診断用情報とを用いて第2の診断支援コンテンツを作成することを特徴とする8、9、10記載の診断支援装置。
12. 前記診断支援コンテンツが疾患に関する統計情報を含むことを特徴とする1ないし11記載の診断支援装置。
13. 前記診断支援コンテンツが疾患の識別情報を含むことを特徴とする1ないし12記載の診断支援装置。
14. 前記診断支援コンテンツが疾患に関するテキスト情報を含むことを特徴とする1ないし13記載の診断支援装置。
15. 前記テキスト情報が疾患の所見に関する情報を含むことを特徴とする14記載の診断支援装置。
16. 前記テキスト情報が疾患の処置・治療に関する情報を含むことを特徴とする14、15記載の診断支援装置。
17. 前記診断用情報が医用画像を含むことを特徴とする1ないし15記載の診断支援装置。
18. 前記診断用情報が患者情報を含むことを特徴とする17記載の診断支援装置。
19. 前記診断用情報が検査情報を含むことを特徴とする17、18記載の診断支援装置。
20. 前記診断支援情報生成手段が前記医用画像から特徴量を算出する特徴量算出手段を備え、
前記特徴量算出手段により算出された特徴量に基づく診断支援情報を生成することを特徴とする17、18、19記載の診断支援装置。
21. 前記診断支援情報生成手段が識別分類手段をさらに備え、
前記特徴量算出手段により算出された特徴量を用いた識別分類結果に基づく診断支援情報を生成することを特徴とする20記載の診断支援装置。
22. 前記診断支援コンテンツ作成手段が特徴量算出手法を含むことを特徴とする6、11記載の診断支援装置。
23. 前記診断支援コンテンツ作成手段が識別分類手法を含むことを特徴とする6、11記載の診断支援装置。
24. 前記診断支援コンテンツが疾患を含む医用画像から算出された特徴量に基づくグラフを含むことを特徴とする20記載の診断支援装置。
25. 前記診断支援コンテンツが疾患を含む医用画像から算出された特徴量に基づく平均値を算出することを特徴とする20記載の診断支援装置。
26. 前記診断支援コンテンツが疾患を含む医用画像から算出された特徴量に基づく標準偏差または分散を算出することを特徴とする20記載の診断支援装置。
27. 前記医用システムが内視鏡装置であることを特徴とする1〜26記載の診断支援装置。
28. 前記医用システムが内視鏡画像ファイリング装置であることを特徴とする1〜27記載の診断支援装置。
29. コンピュータを用いた診断支援を行うための診断支援方法であって、
診断支援コンテンツを取得する手順と、
診断支援対象となる患者、検査及び画像の少なくとも1つに関する診断用情報を入力する手順と、
前記診断支援コンテンツ及び前記診断用情報を用いた診断支援情報を生成する手順と、
前記診断支援情報を表示する手順と
からなることを特徴とする診断支援方法。
30. 前記診断支援コンテンツを作成する手順と、
前記診断支援コンテンツを他のコンピュータに送る手順と、
からなることを特徴とする29記載の診断支援方法。
31. 少なくとも1つの文字列データ項目または数値データ項目からなる処理データを記憶する記憶手段と、
前記処理データから、少なくとも統計処理と、グラフ作成処理のいずれかの処理をする情報処理手段と、
を備えた情報処理装置であって、
前記処理データは、前記文字列データ項目または前記数値データ項目からなる分類データ項目を有し、
前記情報処理手段は、
1つまたは複数の前記分類キー項目を選択する項目選択手段と、
前記処理データを、前記項目選択手段により選択した分類キー項目の組み合わせにより分類した、分類データセットを生成する分類データセット生成手段とを備え、
前記情報処理手段は、前記分類データセットごとに統計処理またはグラフ作成処理する
ことを特徴とする情報処理装置。
32. 前記項目選択手段は、前記項目選択手段により選択された、複数の分類キー項目の組み合わせの中から、1つまたは複数の前記分類キー項目の組み合わせを選択する
ことを特徴とする31記載の情報処理装置。
33. 前記分類キー項目は、少なくとも、診断名、検査部位、患者性別、所見、カテゴリー分類のいずれかである
ことを特徴とする31、32記載の情報処理装置。
34. 前記統計処理手段は、少なくとも、統計量算出、または統計的検定のいずれかの処理をおこなう
ことを特徴とする31〜33記載の情報処理装置。
35. 前記統計量は、少なくとも平均値、標準偏差、標準誤差、分散、最大値、最小値、中間値のいずれかであることを特徴とする34記載の情報処理装置。
36. 前記統計的検定は、少なくともt検定、χ2 検定、F検定のいずれかの統計的検定手法の結果である
ことを特徴とする34記載の情報処理装置。
37. 前記グラフは、少なくとも、ヒストグラム、散布図、棒グラフ、折れ線グラフ、円グラフのいずれかを作成する
ことを特徴とする31〜36記載の情報処理装置。
38. 数値データを記憶する記憶手段と、
前記数値データから、グラフ情報を作成するグラフ作成手段と、
前記数値データから、統計情報を作成する統計処理手段と、
前記グラフ作成手段の作成する前記グラフ情報と、前記統計処理手段の作成する前記統計情報と、を表示する表示手段と、
を含む情報処理装置であって、
前記グラフ作成手段は、グラフ上に、前記統計処理手段の作成する前記統計情報を重畳描画したグラフ情報を作成する
ことを特徴とする情報処理装置。
39. 前記統計処理手段は、少なくとも、統計量算出、または統計的検定のいずれかの処理をおこなう
ことを特徴とする38記載の情報処理装置。
40. 前記統計量は、少なくとも平均値、標準偏差、標準誤差、分散、最大値、最小値、中間値のいずれかであることを特徴とする39記載の情報処理装置。
41. 前記統計的検定は、少なくともt検定、χ2 検定、F検定のいずれかの統計的検定手法の結果である
ことを特徴とする39記載の情報処理装置。
42. 前記グラフは、少なくとも、ヒストグラム、散布図、棒グラフ、折れ線グラフ、円グラフのいずれかを作成する
ことを特徴とする38〜41記載の情報処理装置。
43. 少なくとも1つの画像データまたは文字列データまたは数値データとからなる処理データを記憶する記憶手段と、
前記数値データから、グラフ情報を作成するグラフ作成手段と、
前記画像データから、画像一覧情報を作成する、画像一覧情報作成手段と、
前記文字列データ及び数値データから、表一覧情報を作成する表一覧情報作成手段と、
前記グラフ情報と、前記画像一覧情報と、前記表一覧情報と、を表示する表示手段と、
を備える情報処理装置であって、
前記表示手段に表示された情報を選択する選択手段と、
前記表示手段に表示される、前記グラフ情報と、前記画像一覧情報と、前記表一覧情報と、を管理する情報管理手段と、
を備えることを特徴とする情報処理装置。
44. 前記情報管理手段は、
前記グラフ情報上の1つまたは複数のグラフ要素が、前記選択手段により選択されたときには、前記画像一覧情報における、前記選択グラフ要素に対応する画像の表示と、前記表一覧情報における、前記選択グラフ要素に対応する表項目の表示と、を変更するとともに、
前記画像一覧情報上の1つまたは複数の画像が、前記選択手段により選択されたときには、前記グラフ情報における、前記選択画像に対応するグラフ要素の表示と、前記表一覧情報における、前記選択画像に対応する表項目の表示と、を変更するとともに、
前記表一覧情報上の1つまたは複数の表項目が、前記選択手段により選択されたときには、前記グラフ情報における、前記選択項目に対応するグラフ要素の表示と、前記画像一覧情報における、前記選択表項目に対応する画像の表示と、を変更する
ことを特徴とする43記載の情報処理装置。
45. 前記情報管理手段によるグラフ要素の表示変更は、少なくとも、グラフ要素の、表示色の変更、大きさの変更、形状の変更、マーカーの付加のいずれかである
ことを特徴とする44記載の情報処理装置。
46. 前記情報管理手段による画像一覧情報の表示変更は、少なくとも、画像の、階調反転やコントラスト変換などによる色調変更、大きさの変更、形状の変更、マーカーの付加、のいずれかである
ことを特徴とする44、45記載の情報処理装置。
47. 前記情報管理手段による表一覧情報の表示変更は、少なくとも、表項目の、表示文字色の変更、表示文字太さの変更、表示文字書体の変更、マーカーの付加のいずれかである
ことを特徴とする44〜46記載の情報処理装置。
48. 前記情報管理手段は、
前記選択手段により選択された前記グラフ情報上の前記グラフ要素に対応する前記処理データを取得する処理データ取得手段と、
前記処理データ取得手段の取得した前記処理データに対する情報更新を行う処理データ更新手段と、
を備えることを特徴とする43記載の情報処理装置。
49. 少なくとも1つの画像データまたは文字列データまたは数値データとからなる処理データを記憶する記憶手段と、
入力操作をおこなう入力手段と、
前記入力手段による入力操作により、前記処理データを設定処理する情報設定手段と、
前記情報設定手段の処理情報を表示する表示手段と、
を備えることを特徴とする情報処理装置。
50. 前記情報設定手段は、前記処理データに含まれる、少なくとも前記文字列データと、前記数値データのいずれかを設定するときに、対応する画像データを、前記表示手段に表示させる
ことを特徴とする49記載の情報処理装置。
51. 前記処理データは、少なくとも第1のデータ項目と第2のデータ項目とを含み、
前記情報設定手段は、
前記第1のデータ項目の内容に対応づけたワード一覧を保持する、ワード保持手段と、
前記第1のデータ項目の内容に対応する、前記ワード保持手段の保持する前記ワード一覧を取得するワード取得手段と、
前記第1のデータ項目の内容と、前記第2のデータ項目の内容を設定する情報設定手段と、
を備えた情報処理装置であって、
前記第1のデータ項目と、前記第2のデータ項目は、階層構造として構成され、
前記階層構造は、前記付随データの第1のデータ項目の内容に応じて、前記第2のデータ項目が定められる階層構造であって、
前記情報設定手段は、
前記第1のデータ項目の内容に応じて、第2のデータ項目を設定する、項目設定手段と、
を備えることを特徴とする49記載の情報処理装置。
52. 前記第1のデータ項目は、診断名であって、前記第2のデータ項目は診断分類名である
ことを特徴とする51記載の情報処理装置。
53. 前記第1のデータ項目は、検査部位名であって、前記第2のデータ項目は詳細な検査部位名である
ことを特徴とする51記載の情報処理装置。
54. 前記入力手段は少なくとも、ボタン1と、ボタン2と、を持つポインティングデバイスであって、
前記処理データは関心領域の位置と、関心領域のサイズと、を含み、
前記情報設定手段は、
ポインティングデバイスの動きに応じて関心領域の位置を移動させる、移動ステップと、
特定点を原点として固定した状態で、ポインティングデバイスの動きに応じて関心領域の拡大縮小比率または縦横比を変化させる、サイズ変更ステップと、
関心領域の位置、サイズを仮決定する、位置仮決定ステップと、
前記仮決定した関心領域の位置、サイズを、前記処理データの関心領域の位置と、関心領域のサイズとして設定する、領域設定ステップと、を含み、
前記ボタン1及び前記ボタン2が押されていない状態で、前記移動ステップに移行し、
前記ボタン1が押されている状態で、位置仮決定ステップに移行し、
前記ボタン1が押されている状態で、かつ、前記ポインティングデバイスを動かされた状態で、前記サイズ変更ステップに移行し、
前記サイズ変更ステップにおいて、前記ボタン1が離された状態で、前記位置仮決定ステップに移行し、
前記ボタン2が押されている状態で、前記領域設定ステップに移行する
ことで、関心領域の位置とサイズを設定することを特徴とする49記載の情報処理装置。
55. 少なくとも1つの画像データまたは文字列データまたは数値データとからなる処理データを記憶する記憶手段と、
前記処理データを情報処理する情報処理手段と、
を含む情報処理装置であって、
前記情報処理手段は、前記処理データの前記画像データに対して、前記処理データの文字列データまたは数値データのいずれかの内容に関連付けられたマーカーを描画するマーカー描画手段を備える
ことを特徴とする情報処理装置。
56. 前記マーカー描画手段は、前記処理データに含まれる、特徴量の種類または特徴量算出パラメタ値に関連付けられたマーカーを描画する
ことを特徴とする55記載の情報処理装置。
57. 前記マーカーは、
前記処理データの文字列データまたは数値データの内容に応じて、少なくとも、色、形状、描画位置、大きさ、のいずれかが異なる
ことを特徴とする55、56記載の情報処理装置。
58. 少なくとも1つの画像データまたは文字列データまたは数値データとからなる処理データを記憶する記憶手段と、
前記処理データを情報処理する情報処理手段と、
を含む情報処理装置であって、
前記情報処理手段は、前記処理データの画像データに描画されている文字情報を消去する文字情報消去手段と
前記文字情報消去手段により文字情報を消去された前記画像データの消去位置に、前記処理データの、少なくとも文字データまたは数値データのいずれかに基づく文字情報を描画する文字情報描画手段と
を備えることを特徴とする情報処理装置。
59. 前記文字情報消去手段の消去する文字情報は、患者検査情報であることを特徴とする58記載の情報処理装置。
60. 少なくとも1つの画像データまたは文字列データまたは数値データとからなる処理データを記憶する記憶手段と、
前記処理データを情報処理する情報処理手段と、
を含む情報処理装置であって、
前記情報処理手段は、前記処理データの画像データの画素値を入力とし、前記画像データの画像処理された画素値を出力とする画像処理手段と、
を備え、
前記画像データから、画像処理された画像データを作成することを特徴とする情報処理装置。
61. 前記記憶手段は、画像処理の変換テーブルである、画像処理テーブルを記憶し、
前記画像処理手段は、
少なくとも、画像処理手法の指定値と、前記画素値のいずれかから、変換信号読込み位置を算出し、
前記画像処理テーブルにおける前記変換信号読込み位置の値を、画像処理された画素値として出力する、画像処理テーブルアクセス手段と
を備えることを特徴とする60記載の情報処理装置。
62. 前記画像処理手段は、
前記画像処理テーブルの内容を変更する、画像処理テーブル変更手段と
を備えることを特徴とする60、61記載の情報処理装置。
63. 前記画像データは内視鏡画像データであることを特徴とする43〜62記載の診断支援装置。
64. 内視鏡装置から入力される画像データを記憶する画像記憶手段と、前記画像記憶手段に記憶した画像データから診断に関する所見を定量化するための少なくとも1つの特徴量を算出する特徴量算出手段と、前記特徴量算出手段の結果に基づき診断支援情報を表示する診断支援情報表示手段とを備え、検査者の診断を支援するための診断支援装置において、
前記特徴量算出手段は、
前記画像記憶手段に記憶された画像データにおける透見血管像を抽出する血管抽出手段と、
前記血管抽出手段の出力に基づき、透見血管像の走行状態を特徴量化する血管特徴量算出手段と
を備えることを特徴とする診断支援装置。
65. 前記血管抽出手段は、
前記画像記録手段に記録された画像データの勾配情報を検出する勾配情報検出手段と、
前記勾配情報検出手段の出力により、生体内の形状に基づく形状エッジ情報を検知する形状エッジ検知手段と、
前記画像記憶手段に記憶された、複数の色信号で構成される画像データの中から少なくとも1つの色信号に対して、透見血管像の候補となる血管像を抽出するための血管候補抽出手段と、
前記形状エッジ検知手段及び前記血管候補抽出手段の出力に基づき、所望の透見血管像を形状エッジと分離して抽出する分離手段と
を備えることを特徴とする64記載の診断支援装置。
66. 前記血管候補抽出手段は、
前記画像記憶手段に記憶された、複数の色信号で構成される画像データの中から少なくとも1つの色信号に対してエッジ情報を検出するエッジ情報検出手段と、
前記画像記憶手段に記憶された、複数の色信号で構成される画像データの中から少なくとも1つの色信号に対して色調に関する値を算出する色調情報算出手段とを備え、
前記エッジ情報検出手段及び前記色調情報算出手段の出力に基づき血管候補を抽出すること
を特徴とする64記載の診断支援装置。
67. 前記濃度勾配情報検出手段は、前記画像記憶手段に記憶された複数の色信号からなる画像データの夫々に対して濃度勾配情報を検知し、前記形状エッジ検知手段は、前記濃度勾配情報検出手段の出力する複数色信号の濃度勾配情報間の線形和に対する閾値処理により形状エッジを検知することを特徴とする65記載の診断支援装置。
68. 前記分離手段は、前記形状エッジ検知手段の出力する形状エッジ画像情報と、前記血管候補抽出手段の出力する血管候補画像情報より血管候補画像情報から形状エッジ部の画像情報のみを抽出し、前記血管候補画像情報に基づき前記形状エッジ部の画像情報を膨張処理することで、形状エッジに基づく血管候補画像情報を検知して、前記血管候補画像情報から除外することを特徴とする66記載の診断支援装置。
69. 前記色調情報算出手段は、前記複数の色信号がR、GおよびBで構成されているときに、R/(R+G+B)で算出される値を色調に関する値とすることを特徴とする66記載の診断支援装置。