JP2010079567A - 画像処理装置 - Google Patents

Abstract

【課題】ユーザによる撮像画像上での指示箇所の入力に基づいて自動的に好適なシェーマ画像を選択する仕組みを提供する
【解決手段】人体部位を示す部位情報と、当該人体部位の模式図であるシェーマ画像と、をセットにして複数セット保持する。患者の体内を示す撮像画像を取得し、撮像画像に対する指示箇所に対応する部位を大域的に指し示す部位情報、局所的に指し示す部位情報を含む階層構造情報を取得する。階層構造情報に含まれている部位情報を含むセットを取得し、取得したセットに含まれているシェーマ画像を出力する。
【選択図】 図７

Description

本発明は、所望の図を検索する技術に関する。

カルテや画像診断レポートなどの医用文書が電子化される以前は、ユーザは紙でできた医用文書の上に手書きでシェーマ図（人体構造と疾患部の位置関係を示した図）を描画していた。近年、病院情報システム（ＨＩＳ）や画像保管通信システム（ＰＡＣＳ）等の医用情報システムが普及するにつれて、医用文書の電子化も徐々に進展している。（ＨＩＳ：Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ，ＰＡＣＳ：Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍである。）すなわち、従来ユーザが手書きで作成していたカルテや画像診断レポートなどの医用文書の電子的な作成及び表示を可能にし、さらには他の医用情報システムとの通信も可能な診療支援装置が使われ始めている。

医用文書を電子的に作成する際、文字列の入力はキーボードを用いて比較的容易に行うことが出来る。また、任意形状の図形を描くためには、マウスやタブレットなどの入力デバイスを巧みに動かし、描いた軌跡を線画情報として入力すればよい。しかし、シェーマ図の作成には、複雑な形状の人体構造を描画する必要があり、マウスやタブレットを用いた方法では容易には描画できない。

特許文献１には、あらかじめ装置内に、人体部位の模式図である、シェーマ図のテンプレート（以下、シェーマ画像と呼ぶ）を多数記憶しておき、ユーザに所望のシェーマ画像を選択させる技術が開示されている。この技術を用いることで、ユーザはシェーマ画像を選択した後、シェーマ画像上に疾患部を示す簡単な図形を描画することで、容易にシェーマ図を作成できる。

特許文献２には、撮像画像を解析することにより、対応するシェーマ画像を選択する技術が開示されている。この技術を用いることで、ユーザはシェーマ画像の選択操作を行うことなく、医用文書に所望のシェーマ画像を添付することができる。

また、異なるメーカが製造した画像診断装置や医用情報サーバ、更には医用情報ビューア間の相互接続を可能とする、撮像画像データ専用の通信用プロトコルの標準化が行なわれている。その一例として、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格が制定されている。このＤＩＣＯＭ規格では、画像情報や患者情報などの医用情報の内容やデータ構造、医用情報を通信する際の手順、即ち画像の保存、取り出し、印刷、問い合わせなどのサービスを要求する手順やインターフェイスなどが細かく定められている。ＤＩＣＯＭ規格は今日の医用画像分野において国際的な標準となりつつあり、例えば、特許文献３にはＤＩＣＯＭ規格に準拠した画像の通信方法および装置に関する技術が開示されている。
特開２００６−３１８１５４号公報 特開２００７−８９６４５号公報 特開２０００−２８７０１３号公報

特許文献１に記載の技術は、記憶されている複数のシェーマ画像を階層的に記録することにより、好適なシェーマ画像をユーザが選択しやすくする効果がある。しかし、記録するシェーマ画像が大量になると、その中から好適なシェーマ画像を選択するためユーザは煩雑な操作を行う必要があった。

また特許文献２に記載の技術は、ユーザがシェーマ画像の選択操作を行うことなく、表示画像の解析によって自動的にシェーマ画像を選択することが可能としている。しかし、ユーザが医用文章に添付することを望むシェーマ画像は、ユーザが表示した撮像画像から常に１対１の関係となるものではない。特に、撮像画像上でユーザがどの部分に着目したのかが、シェーマ画像の選択に反映されていなかった。

本発明は、上記の課題に鑑みてなされたものであり、ユーザによる撮像画像上での指示箇所の入力に基づいて好適なシェーマ画像を選択する仕組みを提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

すなわち、
人体部位を示す部位情報と、当該人体部位の模式図であるシェーマ画像と、をセットにして複数セット保持する保持手段と、
患者の体内を示す撮像画像を取得する手段と、
前記撮像画像に対する指示箇所に対応する部位を大域的に指し示す部位情報、当該部位を局所的に指し示す部位情報を含む階層構造情報を取得する手段と、
前記階層構造情報に含まれている部位情報を含むセットを前記保持手段から取得する取得手段と、
前記取得手段が取得したセットに含まれているシェーマ画像を出力する出力手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

すなわち、
人体部位を示す部位情報と、当該人体部位の模式図であるシェーマ画像と、をセットにして複数セット保持しておき、
患者の体内を示す撮像画像を取得する工程と、
前記撮像画像に対する指示箇所に対応する部位を大域的に指し示す部位情報、当該部位を局所的に指し示す部位情報を含む階層構造情報を取得する工程と、
前記階層構造情報に含まれている部位情報を含む前記セットを取得する取得工程と、
前記取得工程で取得したセットに含まれているシェーマ画像を出力する出力工程と
を備えることを特徴とする。

本発明は、ユーザによる撮像画像上での指示箇所の入力に基づいて自動的に好適なシェーマ画像を選択する仕組みを提供する。

以下、添付図面に従って本発明に係る画像処理装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は本形態に限定されるものではない。

［第１実施形態］
図１は、第１実施形態に係る画像処理装置の機器構成例を示す図である。図１において、画像処理装置１は、制御部１０、モニタ１０４、マウス１０５、キーボード１０６を有する。制御部１０は、中央処理装置（ＣＰＵ）１００、主メモリ１０１、磁気ディスク１０２、表示メモリ１０３、共有バス１０７を有する。そして、ＣＰＵ１００が主メモリ１０１に格納されたプログラムを実行することにより、文書データベース２や撮像画像データベース３との通信、画像処理装置１の全体の制御、等の各種制御が実行される。

ＣＰＵ１００は、主として画像処理装置１の各構成要素の動作を制御すると共に、本画像処理装置が行う各処理を実行する。主メモリ１０１は、ＣＰＵ１００が実行する制御プログラムを格納したり、ＣＰＵ１００によるプログラム実行時の作業領域を提供したりする。磁気ディスク１０２は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する画像処理等を行うためのプログラムを含む各種アプリケーションソフト、後述のシェーマ情報等を格納する。表示メモリ１０３は、モニタ１０４のための表示用データを一時記憶する。モニタ１０４は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１０３に保持されているデータに基づいて画像を表示する。マウス１０５及びキーボード１０６はユーザによるポインティング入力及び文字等の入力をそれぞれ取得する。上記各構成要素は共有バス１０７により互いに通信可能に接続されている。

本実施形態において、画像処理装置１は、ＣＰＵ１００の制御に従い、ＬＡＮ４を介して、文書データベース２から電子カルテや画像診断レポートなどの文書を読み出すことができる。また、画像処理装置１は、ＣＰＵ１００の制御に従い、ＬＡＮ４を介して、撮像画像データベース３から様々な種類の撮像画像データを読み出すことができる。画像処理装置１に外部記憶装置、例えばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブ等を接続し、それらのドライブから文書と撮像画像データとを、あるいはその片方を読み込むようにしても良い。なお、撮像画像の種類には、単純Ｘ線画像（レントゲン画像）、Ｘ線ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、超音波画像などがある。（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ、ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙである。また、ＳＰＥＣＴ：Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙである。）
次に、図２のフローチャートを用いて、制御部１０がどのように画像処理装置１を制御しているかについて説明する。以下のフローチャートによって示される処理は、ＣＰＵ１００が主メモリ１０１に格納されているプログラムを実行することにより実現される。磁気ディスク１０２には、ＯＳ（オペレーティングシステム）や、各種のデータが保存されている。更に磁気ディスク１０２には、画像処理装置１の各種の機能をＣＰＵ１００に制御させるための、あるいは本画像処理装置１が行う各処理をＣＰＵ１００に実行させるためのプログラムやデータも保存されている。磁気ディスク１０２に保存されているプログラムやデータは、ＣＰＵ１００による制御に従って適宜主メモリ１０１にロードされ、ＣＰＵ１００による処理対象となる。なお、主メモリ１０１に記憶するものとして説明した情報の幾つかについては磁気ディスク１０２に保存するようにしても良い。また、以下の処理において、ユーザはマウス１０５やキーボード１０６を操作することで、画像処理装置１に様々なコマンド（指示・命令）を入力する。ＣＰＵ１００が実行するプログラムの実行状況や実行結果は、モニタ１０４に表示される。

ステップＳ２０１において、ＣＰＵ１００はマウス１０５又はキーボード１０６からユーザのコマンド入力を取得する。コマンド入力に従い、ＣＰＵ１００は既存の文書を一つ選択して主メモリ１０１に読み込むか、または新規の文書を主メモリ１０１上に作成する。文書の選択処理は、ＣＰＵ１００が共有バス１０７及びＬＡＮ４を介して文書データベース２と通信を行い、文書データベース２から所望の文書を受信することで実現できる。或いは、ＣＰＵ１００が、画像処理装置１に接続された外部記憶装置から所望の文書を読み込むことでも実現できる。

以下、ステップＳ２０１で主メモリ１０１に読み込んだ文書の所定位置にシェーマ画像を構成するデータを書き込むための処理を説明する。

ステップＳ２０２において、ＣＰＵ１００はマウス１０５又はキーボード１０６からユーザのコマンド入力を取得する。コマンド入力に従い、ＣＰＵ１００は、患者の体内を示す撮像画像および付帯情報を取得し、主メモリ１０１に記憶する。

撮像画像および付帯情報の読み込みは、ＣＰＵ１００が共有バス１０７及びＬＡＮ４を介して撮像画像データベース３と通信を行い、撮像画像データベース３から所望の撮像画像および撮像画像の付帯情報を受信することで実現できる。或いは、ＣＰＵ１００が、画像処理装置１に接続された外部記憶装置から所望の撮像画像および撮像画像の付帯情報を読み込むことで実現できる。付帯情報として、例えば撮影機器の情報、撮影条件等の撮像画像の情報、年齢・性別等の被撮影者情報があげられる。付帯情報は、不図示の撮像画像撮影装置によって生成され、撮像画像の撮影と同時に撮像画像と関連付られて保存されている。

なお、本実施形態では、ステップＳ２０２で取得した撮像画像および撮像画像の付帯情報は、それぞれＤＩＣＯＭ規格で記録されているものとするが、これに限定されるものではない。

撮像画像および撮像画像の付帯情報の取得は、ユーザのコマンド入力に従ってＣＰＵ１００が実行することができる。また、ステップＳ２０１でＣＰＵ１００が文書を取得するのと連動して、文書に関係する撮像画像および撮像画像の付帯情報をＣＰＵ１００が読み込むようにしてもよい。

ステップＳ２０３において、ＣＰＵ１００は、撮像画像上の指示箇所の座標（着目位置）を取得する処理を行う。例えば、指示箇所をユーザが指定し、その指示箇所を取得する方法がある。まず、ＣＰＵ１００は、ステップＳ２０２で取得した撮像画像を表示する。表示には、例えばモニタ１０４を利用することができる。そして、表示された撮像画像上で疾患が疑われる特徴が現れている箇所を、ユーザはマウス１０５やキーボード１０６により指定し、ユーザが指定する箇所の撮像画像上の座標をＣＰＵ１００が取得することで、この方法は実現できる。或いはＣＰＵ１００は、撮像画像に対して画像処理を行うことで、病変箇所などの指示箇所を自動的に検出し、その検出した指示箇所の撮像画像上の座標を取得することもできる。指示箇所の座標の取得には、例えば画像上の点の座標を取得する方法があり、本実施形態ではこの方法を採用する。他にも、画像座標の集合、矩形情報等の、撮像画像上の領域を規定する情報を取得する方法がある。この場合も、指定された領域を複数の点として扱い、画像上の点の座標を取得する方法と同様に以降の処理を行うことができる。

撮像画像上の座標を取得するためには、ＣＰＵ１００は、取得する座標を変換する必要がある。例えばマウス１０５から入力される座標情報は、表示メモリ１０３が保持する画面全体における座標情報であり、撮像画像上での座標情報ではない。モニタ１０４の表示画面の左上を原点とする通常の座標系を例にとって説明する。撮像画像上の座標を取得するためには、ｘ方向、ｙ方向のそれぞれについて、取得した座標の値から、画面全体における撮像画像の左上端の座標の値を減じる必要がある。画面全体における撮像画像の左上端の座標は、固定されていても、ユーザが自由に変更しても良く、その座標は主メモリ１０１から取得すればよい。また、撮像画像をより詳細に観察して指示箇所を入力するために、撮像画像の一部を拡大表示する場合がある。この場合、ユーザが指定した画面上の座標を、元の画像上の対応する座標に変換する必要がある。ＣＰＵ１００は、この座標変換処理を、画像の拡大を行った際の拡大中心および、拡大倍率の情報を利用して行うことができる。すなわち、拡大した画像における拡大中心から指定した座標へのベクトルを求める。求めたベクトルの値を拡大倍率で除すると、元の画像上の拡大中心から指定した座標へのベクトルが求められ、元の画像上の拡大中心の座標の値に加えることで、元の画像上におけるユーザが指定した座標が求められる。

また、Ｘ線ＣＴ像などの３次元的な情報を含む撮像画像（３次元画像）を用いる場合には、ＣＰＵ１００は、その３次元画像をある平面で切り出したスライス画像を表示する方法が考えられる。この場合には、ＣＰＵ１００が表示したスライス画像に対してユーザが指示箇所の指定を行う。ＣＰＵ１００は、スライス画像の種類、及び３次元画像上のスライス位置から、ユーザが指定した指示箇所の、元の３次元画像上での３次元座標を得ることができ、この処理は実際に後のステップＳ２０５で行う。ステップＳ２０５で用いるため、スライス画像の表示条件、例えばどのような平面で切り出した画像を利用しているのかを示す表示情報５１を、ＣＰＵ１００は、主メモリ１０１に保存しておく。

また、指示箇所は１枚の撮像画像に対して１箇所だけとは限らず、ユーザは指示箇所を複数の点の組み合わせとして入力し、ＣＰＵ１００が取得するようにすることもできる。例えば、ある疾病の原発病巣と思われる箇所と、その転移が疑われる箇所を指示箇所として指定するような場合がある。この場合、ＣＰＵ１００は指定された指示箇所を逐次記憶する処理を行い、ユーザが入力する指示箇所の入力が終了した旨のコマンドを受けると、記憶処理を終了する。また、撮像画像を観察したユーザは、その画像中に指示箇所が無いときは、指示箇所を入力せずに指示箇所の入力が終了した旨のコマンドを入力しても良い。

ステップＳ２０４では、ＣＰＵ１００は、ステップＳ２０３においてユーザが指示箇所を入力したかどうかによって処理を切り替える判別処理を行う。この判別の結果、ユーザが指示箇所を入力している場合にはステップＳ２０５へ進み、ユーザが指示箇所を入力していない、すなわち指示箇所無しとした場合には処理を終了する。

ステップＳ２０５において、ＣＰＵ１００は、ステップＳ２０２で取得した撮像画像および撮像画像の付帯情報、ステップＳ２０３で取得した指示箇所から、撮像画像上で指示箇所が示す部位を特定する。部位は、「胃」、「肺」、「肝臓」、「心臓」などといった臓器名の他、「右肺」、「左心室」などにように臓器内の詳細な位置として特定することが考えられる。また、臓器に関するものに限らず、胸部、腹部などといったより大まかな部位とすることもできる。例えば、ステップＳ２０３で取得した指示箇所が右肺の部位であれば、それは同時に肺の一部でもあり、同様に胸部の一部でもある。つまり、ある指示箇所に対する部位は一つに限定されず、先の例のように複数の部位を持ち得る。この部位の特定を行う処理方法について、図３から図５を用いて具体的に説明する。

図３は、ステップＳ２０３で取得した指示箇所が示す部位を特定する処理の手順を説明するフローチャートである。

まず、ＣＰＵ１００は、図２のステップＳ２０２で取得した撮像画像が、どのような撮影対象を撮影したものであって、撮影対象のどの位置を表していたのかを推定する。そのためにＣＰＵ１００は、ステップＳ３０１において、図２のステップＳ２０２で取得した付帯情報から、撮像画像の撮影条件、及び被撮影者情報を取得する。この情報の例を図４に示す。この図において付帯情報４１はステップＳ２０２で読み込んだ付帯情報の例を示している。ＣＰＵ１００は、ここから撮影機器および撮影部位の項目、スライス画像サイズとピクセルサイズの項目及び、スライス枚数とスライス間隔等の撮影条件情報を得ることができる。また、性別、年齢、身長、体重等の被撮影者情報も得ることができる。

ステップＳ３０２では、ＣＰＵ１００は、ステップＳ２０２で取得した撮像画像が３次元画像である場合に、ステップＳ２０３において指示箇所を入力した際に画面に表示していた画像が、３次元撮像画像中のどの位置の画像なのかを判断する。このステップでは、ＣＰＵ１００は、ステップＳ２０３で指示箇所が入力された際に表示していた画像の表示条件から、表示されている画像が３次元画像中のどの部分なのかを推定する。図５は、この処理を説明する図である。表示情報５１はステップＳ２０３で指示箇所が入力された際に表示していた画像の表示条件に関する情報であって、表示スライスの種類（アキシャル、コロナル、サジタル）の項目が表示断面情報として含まれている。これにより、表示されている撮像画像がどの方向からスライスした画像なのかが明らかとなる。ここでは被撮影者の体軸に対して垂直方向（アキシャル方向）のスライスである場合を例として示している。また、スライス番号の項目に記録されている数値から、何番目のスライスの画像なのかが明らかとなる。ここでは、１４番目のスライスを表示している場合を例として示している。図４の撮影条件情報で示されるように、本実施形態ではスライス間隔が３ｍｍの場合を例としているため、表示しているスライスは撮影範囲の上面から３×１４＝５２ｍｍの位置の断面であることが分かる。

続けて、ステップＳ３０３において、ＣＰＵ１００は、ステップＳ３０１で得た撮影条件情報とＳ３０２で得られた位置情報とを基に、撮像画像上で指示箇所が示す部位を推定し、階層構造情報として取得する。

推定方法の一例として、ある患者の撮像画像に対して、その撮像画像上の座標と、その座標の画素が表す人体部位の情報と、のセットを含むデータを利用する方法がある。このデータを標準画像情報と呼び、標準画像情報に含まれる撮像画像を標準画像、標準画像上の各画素が表す人体部位の情報を標準部位情報と呼ぶことにする。１つの標準画像情報は、座標と標準部位情報とのセットを、画素数分保持（複数セット保持）する。ここで、標準部位情報は、１又は複数の人体部位を示す部位情報を含み、例えば、「左肺」「肺」「胸部」「上半身」といった、示す範囲が異なり、その範囲が階層的である、複数の部位を示す部位情報により構成されている。更に、標準画像情報は、その標準画像情報が含む標準画像の、撮影条件及び被撮影者情報も含み、これを標準付帯情報と呼ぶ。標準画像情報は、例えば磁気ディスク１０２等の記憶媒体が保持する。

ステップＳ２０２で取得した撮像画像が胸部Ｘ線写真であり、ユーザが座標（２５０、３００）の画素を指示箇所として指定しているとする。この場合、ＣＰＵ１００は、画像と撮影条件が等しい標準画像情報、すなわち胸部Ｘ線画像であることを示す標準付帯情報を持つ標準画像情報を選択する。そして、ＣＰＵ１００は、選択した標準画像情報において、指示箇所の座標に対応する標準部位情報を、階層構造情報として取得する。すなわち、標準画像情報が含む、座標（２５０、３００）の標準部位情報を、階層構造情報として取得する。座標（２５０、３００）の標準部位情報が（左肺、肺、胸部、上半身）とであるならば、ＣＰＵ１００は、ユーザの指定した指示箇所の部位は（左肺、肺、胸部、上半身）であると判断する。そして、ＣＰＵ１００は、（左肺、肺、胸部、上半身）との情報を階層構造情報として取得する。

もっとも、体の大きさは人により異なるため、記憶媒体は、被撮影者の年齢、性別等の情報にそれぞれ対応する、複数の標準画像情報を記憶していることが好ましい。例えば、胸部Ｘ線写真の標準画像情報を、男性１０歳、女性１０歳、男性３０歳、女性３０歳、等について記憶していることが好ましい。この場合は、ＣＰＵ１００は、ステップＳ２０２で取得した撮像画像の付帯情報に対応する標準付帯情報を持つ標準画像情報を特定する。例えば、ステップＳ２０２で取得した撮像画像の付帯情報が（胸部Ｘ線、男性、３０歳）との被撮影者情報を含んでいる場合は、（胸部Ｘ線、男性、３０歳）との情報を標準付帯情報として含む標準画像情報を特定すればよい。ステップＳ２０２で取得した撮像画像の付帯情報に完全に一致する標準付帯情報を持つ標準画像情報が存在しない場合もある。この場合、ＣＰＵ１００は、そのステップＳ２０２で取得した撮像画像の付帯情報と、一部が共通である、標準付帯情報を含む標準画像情報を特定すればよい。

また、ステップＳ２０２で取得した撮像画像と標準撮像画像の解像度（ｐｉｘｅｌ／ｍｍ）が異なる場合がある。解像度の情報は、撮像画像の付帯情報、及び標準画像情報の付帯情報に含まれている。この場合、ＣＰＵ１００は、指示箇所の座標値を撮像画像の解像度で除し、標準撮像画像の解像度を乗じて、得られた座標に関連づけられている標準部位情報を、階層構造情報として取得する。

ステップＳ２０２で取得した撮像画像が３次元画像である場合には、ＣＰＵ１００は、ステップＳ３０２で取得した表示スライスの位置情報を元に、３次元画像中の３次元座標を取得する。そして、ＣＰＵ１００は、撮像画像の付帯情報に示される撮影対象情報に対応する付帯情報を持つ標準画像情報を特定し、撮像画像の３次元座標に対応する座標に関連づけられた標準部位情報を、階層構造情報として取得する。

ここでは標準画像情報を用いて指示箇所の画素が表す部位を推定したが、画像認識技術を用い、ステップＳ３０２で得た撮影部位情報を参考に、ユーザが入力した指示箇所がどの部位を指し示しているかを推定することも可能である。

以上のステップＳ３０１からステップＳ３０３までの処理を行うことにより、図２のステップＳ２０５の指示箇所の人体部位判定を実現することができる。

ステップＳ２０６において、ＣＰＵ１００は、ステップＳ２０５で取得した階層構造情報に応じて、磁気ディスク１０２に記録した多数のシェーマ情報から、文書に合成するのに適したシェーマ情報を選択する。シェーマ情報は、シェーマ画像と、シェーマ画像が表す部位を示す、シェーマ部位情報とを含んでいる。１つのシェーマ情報は、複数のシェーマ部位情報を含んでいても良い。また、シェーマ情報は、シェーマ画像の範囲の大きさ、シェーマ画像が表現している構造の詳細度といった情報も同様に含んでいてもよい。シェーマ情報の記録・管理に関しては、特許文献１に開示されているように、階層別に記録・管理する方法を用いることもできる。しかし、本実施形態においては、シェーマ情報は、少なくともシェーマ画像と、シェーマ部位情報を含んでいれば良い。本実施例では磁気ディスク１０２が多数のシェーマ情報を記憶しているものとするが、撮像画像データベース３などの他の記録媒体が記憶していても良い。

ステップＳ２０６の具体的な処理手順の例を図６を用いて詳細に説明する。図６は、図２のステップＳ２０６の処理をより詳細に説明するためのフローチャートである。

まず、ステップＳ６０１において、ＣＰＵ１００は、図２のステップＳ２０３で入力された指示箇所が複数存在するかどうかの判別を行う。指示箇所が複数存在する場合には、ステップＳ６０３へ進み、指示箇所が一箇所の場合はステップＳ６０２へ進む。

ステップＳ６０２では、ＣＰＵ１００は、ステップＳ２０５で取得した階層構造情報が含む部位の１つと、同じ部位を示すシェーマ部位情報が含まれるシェーマ情報を、磁気ディスク１０２から検索して取得する。例えば、ステップＳ２０５で、（上半身、胸部、肺、右肺）のように複数の部位情報からなる階層構造情報を得ている場合を考える。この場合、例えば、階層構造情報のうちの１つである部位情報「胸部」を、シェーマ部位情報として含むシェーマ情報を取得することができる。同一のシェーマ部位情報を持つシェーマ情報は複数存在してもよく、この場合は複数のシェーマ情報を取得してもよい。以上のような処理で得られた検索結果は、主メモリ１０１に記憶され、ステップＳ６０６へ進む。

ステップＳ６０３は、図２のステップＳ２０３で複数の指示箇所が入力されていた場合の、シェーマ画像の検索処理である。ＣＰＵ１００は、ステップＳ２０５においてそれぞれの指示箇所の階層構造情報を取得する処理を、複数の指示箇所について行っている。ＣＰＵ１００は、複数の階層構造情報に共通な部位情報を抽出して、抽出した部位情報を用いてステップＳ６０２と同様の取得処理を行うことによって、複数の指示箇所を表すシェーマ画像を求めることができる。以上の処理を行い、ステップＳ６０４へ進む。ステップＳ６０３において、ＣＰＵ１００は、ステップＳ６０２と同様に、複数のシェーマ情報を取得しても良い。共通するシェーマ情報が存在しない場合には、シェーマ情報を取得することなく、ステップＳ６０４へと進む。

ステップＳ６０４では、ＣＰＵ１００は、ステップＳ６０３の処理で、シェーマ情報を取得できたか否かで処理を切り替える。１つ以上のシェーマ情報を取得している場合にはステップＳ６０６へ進み、取得していない場合にはステップＳ６０５へ進む。

ステップＳ６０６は、ステップＳ６０２またはステップＳ６０３において、シェーマ情報を複数取得したかどうかをＣＰＵ１００が判断し、処理を切り変えるステップである。複数のシェーマ情報を取得している場合には、ステップＳ６０７へ進む。１つのシェーマ画像のみを取得している場合には、ステップＳ２０６の処理を終了して、ステップＳ２０７へ進む。

ステップＳ６０７は、ステップＳ６０２又はステップＳ６０３において、シェーマ情報を複数取得した場合に実行されるステップである。ＣＰＵ１００は、ステップＳ６０２又はステップＳ６０３において取得した複数のシェーマ情報から好適なシェーマ情報を選択し取得する。例えば、図２のステップＳ２０３で取得した指示箇所に対して、ステップＳ２０５の処理により（上半身、胸部、肺、右肺）との階層構造情報を取得した場合を考える。図７に示すように、上半身に関するシェーマ情報７１、胸部に関するシェーマ情報７２、肺に関するシェーマ情報７３、右肺に関するシェーマ情報７４を、ステップＳ６０２又はステップＳ６０３で取得していることが考えられる。

この中から適切なシェーマ情報を選択する方法には様々なものが考えられるが、その一例として、複数のシェーマ情報の中から、指定箇所を局所的に示すシェーマ画像を含んでいるシェーマ情報を選択する方法がある。この選択処理は、シェーマ情報が持つシェーマ部位情報を参照して行えばよい。このためには、磁気ディスク１０２等の記憶装置が、人体部位を階層的に整理した情報を保持していることが好ましい。すなわち、磁気ディスク１０２等の記憶装置が、上半身には胸部が含まれ、胸部には肺が含まれ、肺には右肺及び左肺が含まれる、という階層情報を保持する。この階層情報から、ＣＰＵ１００は、「上半身」「胸部」「肺」よりも「右肺」の方が局所的な部位であると判断する。よって、図７に示すシェーマ情報のうち、右肺に関するシェーマ情報７４を、指定箇所を局所的に示すシェーマ画像を含んでいるシェーマ情報であるとして、右肺に関するシェーマ情報７４を選択する。

他の方法として、ＣＰＵ１００が、ステップＳ６０２又はステップＳ６０３で取得したシェーマ情報のうち、他よりも高い詳細度のシェーマ画像を持つシェーマ情報を選択する方法もある。この方法を実現するためには、シェーマ情報が、シェーマ画像の詳細度を示す情報を含んでいればよい。局所的なシェーマ画像に対する詳細度よりも、大域的なシェーマ画像の詳細度の方が高くなるよう、それぞれのシェーマ画像に対して詳細度があらかじめ設定されていることが好ましい。以上に説明した処理によりシェーマ情報の選択、取得を行い、図２のステップＳ２０７へ進む。

ステップＳ６０５は、ステップＳ６０３の処理で、ＣＰＵ１００が、複数の指示箇所の全てを表すシェーマ画像を取得できなかった場合に実行するステップである。このステップでは、ＣＰＵ１００は取得した複数の指示箇所の各々に、それぞれ対応するシェーマ情報の検索を行う。すなわち、ＣＰＵ１００は、各々の指示箇所に対して、ステップＳ６０２、ステップＳ６０６、及び必要な場合はステップＳ６０７の処理を行う。すなわち、ステップＳ６０５の処理の結果、ＣＰＵ１００は、複数のシェーマ情報を取得することになる。

ステップＳ６０５における別の処理として、全ての指示箇所を個々に分解して１つ１つ適合するシェーマ情報を検索するのではなく、指示箇所を部分的に組み合わせる方法もある。例えば、指示箇所がＡ、Ｂ、Ｃの３カ所ある場合、Ａ、Ｂ、Ｃのそれぞれに対応するシェーマ情報を取得するのではなく、ＡとＢに共通するシェーマ情報と、Ｃに対応するシェーマ情報とを取得する。または、ＡとＣに共通するシェーマ情報と、Ｂに対応するシェーマ情報とを取得しても良いし、Ａに対応するシェーマ情報と、ＢとＣに共通するシェーマ情報とを取得しても良い。組み合わせ方法に従って、ＣＰＵ１００は異なったシェーマ情報を取得するが、取得するシェーマ情報の数が最も少なくなる指示箇所の組み合わせを採用し、その組み合わせにおいて抽出されるシェーマ情報を取得することが好ましい。

ステップＳ２０７において、ＣＰＵ１００は、ステップＳ２０６で取得したシェーマ情報に含まれるシェーマ画像を、ステップＳ２０１で読み込んだ文書中に重畳、或いは追加することで出力する。

その後、ユーザは、文書中に出力されたシェーマ画像に、画像診断所見を記入し、シェーマ図を作成できる。

なお、本実施形態では、画像処理装置１を人体の診断に用いる場合について専ら説明したが、人体以外に対しても利用可能である。例えば、動物の診断結果の記録等、画像を基にシェーマ図を作る場合に応用可能である。

また、本実施形態において、シェーマ画像を文書中に記録することは必ずしも必須ではなく、様々な形で出力することができる。例えば、必要に応じて、得たシェーマ画像を紙媒体に出力することができ、あるいは得たシェーマ画像を単独で記録媒体に記録することもできる。

以上の構成によれば、以下の効果を得ることができる。すなわち、ユーザの撮像画像上での指示箇所の入力など簡易な操作に基づき、画像処理装置１は、文書に添付する好適なシェーマ画像を、自動的に選択する仕組みを提供する。従来のようにユーザが複数のシェーマ画像から好適なシェーマ画像を見つけ出す手間を省くことができる。

［第２実施形態］
第２実施形態は、第１実施形態における処理手順を、ステップＳ２０３からステップＳ２０６の間で繰り返すことができるように変更したものである。第１実施形態では、ステップＳ２０３で複数の指示箇所をユーザが全て選択した後に、ステップＳ２０４以降の処理を行う例について説明したが、本発明の実施はこの形態に限定されない。

本実施形態では、ＣＰＵ１００は、ステップＳ２０３でユーザが指示箇所を指定する度にステップＳ２０４以降の処理を行う。そして、ステップＳ２０７の処理を行う前に、ステップＳ２０６で選択したシェーマ情報が含むシェーマ画像を表示し、ステップＳ２０３に戻る。この形態では、ユーザが指示箇所を追加指定、あるいは再指定する度にシェーマ情報の候補に含まれるシェーマ画像が表示される。したがって、ユーザはそのシェーマ情報候補に含まれるシェーマ画像を見ながら、意図する好適なシェーマ情報が選択されたことを確認してから指示箇所の入力操作を終了することができる。最終的に、ＣＰＵ１００は、ステップＳ２０７で、ユーザが確認したシェーマ画像を文書中に追加する。

以上の構成によれば、以下の効果を得ることが出来る。すなわち、ユーザは指示箇所の入力作業を通じて選択されるシェーマ情報候補に含まれるシェーマ画像を確認することで、ユーザの意図に反したシェーマ画像を含むシェーマ情報が選択されることを防ぎ、かつ好適なシェーマ画像を容易に取得することが出来る。

［第３実施形態］
第３実施形態は、第１実施形態における処理手順のうち、ステップＳ２０６の詳細な処理の説明として図６に示したステップＳ６０７の処理を変更したものである。第１実施形態では、ステップＳ６０７で、複数のシェーマ情報候補から最も詳細度の高いものを選択したが、この形態には限定されない。

例えば、ＣＰＵ１００は、ステップＳ６０２又はステップＳ６０３で取得した複数のシェーマ情報を、詳細度等のシェーマ情報に含まれる属性を基準として並び替えを行う。ＣＰＵ１００はさらに、並び替えを行ったシェーマ情報にそれぞれ含まれるシェーマ画像を、モニタ１０４に一覧表示することでユーザに提示する。ユーザは、表示された中から好適なシェーマ画像を選択し、マウス１０５又はキーボード１０６によってＣＰＵ１００に指示する。この場合、リストの中から１つのシェーマ画像を選択可能な構成にしても良いし、複数のシェーマ画像を選択可能な構成にしても良い。ＣＰＵ１００は、ユーザから取得した指示に従って、ユーザが選択するシェーマ画像を含むシェーマ情報を選択シェーマ画像として選択し取得して、ステップＳ２０７において出力する（選択出力手段）。

以上の構成によれば以下の効果を得ることが出来る。すなわち、ユーザは、入力した指示箇所に応じて、画像処理装置１が提示したシェーマ画像の候補リストの中から、１つまたは複数のシェーマ画像を指定するだけで、好適なシェーマ画像を文書に合成することができる。

［その他の実施形態］
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになる。

従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものであり、プログラムコードを記録した記録媒体も本発明を構成することになる。つまり、本発明には、本発明の機能処理を実現するためのコンピュータプログラム、及びその記録媒体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。

画像処理装置１の機器構成を示す図である。 画像処理装置１の処理手順を示すフローチャートである。 指示箇所の人体部位判定の処理を示すフローチャートである。 撮像画像の撮影範囲を説明する図である。 撮像画像の表示範囲を説明する図である。 シェーマ情報の選択の処理を示すフローチャートである。 １つの注目箇所に対応する複数のシェーマ情報が存在する場合の例を示す図である。

Claims (10)

1. 人体部位を示す部位情報と、当該人体部位の模式図であるシェーマ画像と、をセットにして複数セット保持する保持手段と、
   患者の体内を示す撮像画像を取得する手段と、
   前記撮像画像に対する指示箇所に対応する部位を大域的に指し示す部位情報、当該部位を局所的に指し示す部位情報を含む階層構造情報を取得する手段と、
   前記階層構造情報に含まれている部位情報を含むセットを前記保持手段から取得する取得手段と、
   前記取得手段が取得したセットに含まれているシェーマ画像を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 文書を取得する手段を更に備え、
   前記出力手段は、前記取得手段が取得したセットに含まれているシェーマ画像を前記文書に記録することにより出力することを特徴とする、請求項１に記載の画像処理装置。
3. 前記出力手段は、
   前記取得手段が取得したセットが複数である場合には、複数のセットのそれぞれに含まれているシェーマ画像を一覧表示する手段と、
   一覧表示されたシェーマ画像のうち１つのシェーマ画像を選択シェーマ画像として選択し、選択した選択シェーマ画像を出力する選択出力手段と
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記選択出力手段は、
   前記一覧表示されたシェーマ画像のそれぞれとセットになっている部位情報を参照し、より局所的な部位を示す部位情報を特定し、特定した部位情報とセットになっているシェーマ画像を前記選択シェーマ画像として選択し、出力することを特徴とする、請求項３に記載の画像処理装置。
5. 前記撮像画像を表示する手段を更に備え、
   前記撮像画像に対する指示箇所は、表示した撮像画像上においてユーザが指示した箇所であることを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記撮像画像から、病変箇所を検出し取得する手段を更に備え、
   前記撮像画像に対する指示箇所は、前記取得した病変箇所であることを特徴とする、請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記階層構造情報を取得する手段は、
   前記撮像画像に対する複数の指示箇所に対応する部位を大域的に指し示す部位情報、当該部位を局所的に指し示す部位情報を含む階層構造情報を取得すること、
   を特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 人体部位を示す部位情報と、当該人体部位の模式図であるシェーマ画像と、をセットにして複数セット保持しておき、
   患者の体内を示す撮像画像を取得する工程と、
   前記撮像画像に対する指示箇所に対応する部位を大域的に指し示す部位情報、当該部位を局所的に指し示す部位情報を含む階層構造情報を取得する工程と、
   前記階層構造情報に含まれている部位情報を含む前記セットを取得する取得工程と、
   前記取得工程で取得したセットに含まれているシェーマ画像を出力する出力工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images