JP2006000127A - 画像処理方法および装置並びにプログラム - Google Patents

Abstract

【課題】擬似３次元医用画像の概観から断面画像の精読に至る読影ワークフローを効率化する。
【解決手段】画像取得部３１で取得した３次元医用画像Ｖに基づいてボリュームレンダリング（ＶＲ）処理を行い、ＶＲ画像Ｐを出力するボリュームレンダリング処理部３２と、生成されたＶＲ画像Ｐ中に関心領域（ＲＯＩ）Ｒを指示するＲＯＩ指示部３３と、指示された関心領域Ｒの３次元的位置Ｑを推定する推定部３４と、関心領域Ｒの３次元的位置Ｑを含む断面画像Ｓを生成するＭＰＲ処理部３５と、ＶＲ画像Ｐや断面画像Ｓを表示する画像表示部３６とを設けた。推定部３４では、関心領域Ｒ内の投影画素に反映された３次元医用画像Ｖ中の画素列を特定し、ＶＲ処理時にその画素列に沿って積算された積算不透明度の値が所定の閾値より大きくなった探索点の位置を求め、この位置を関心領域Ｒの３次元的位置Ｑと推定するようにした。
【選択図】 図２

Description

本発明は、医用画像処理に関し、特に詳しくは、擬似３次元画像の概観から断面画像の精読に至る読影ワークフローを支援するために、３次元医用画像に基づいて擬似３次元画像を生成し、生成された擬似３次元画像中に読影者により指示された関心領域を含む断面画像を生成する画像処理に関するものである。

ＣＴ装置、ＭＲＩ装置、超音波診断装置（エコー）等の発展により、より詳細なレベルでの３次元医用画像の取得が可能になったが、それと同時に、１回の検査で撮影される画像数も膨大になったため、撮影された断面画像を１枚ずつ観察することによって読影する従来の方法では、膨大な時間がかかるようになった。また、断面画像に基づいて被検体の３次元的構造を把握するには、十分な経験を要することから、読影者の経験の差によって、読影精度にも差が生じてしまっていた。

そこで、３次元コンピュータグラフィックスの技術を応用して、３次元医用画像を２次元平面に立体的に可視化した擬似３次元画像を生成する画像処理が行われるようになった。

このような擬似３次元画像を生成する技術としては、ボリュームレンダリング法が知られている。これは、３次元医用画像を構成する各画素（ボクセル）に対して設定された不透明度（Opacity）と輝度値とに基づき、視線に沿った各探索点におけるこれらの値をサンプリングし、加算していくことによって投影画素の画素値を求め、半透明な投影画像を生成する処理である（例えば、特許文献１、非特許文献１）。

この擬似３次元画像は、光源からの光による反射や透過を考慮した陰影づけがなされているため、画像の明暗や濃淡は、もとの３次元医用画像の画素値の高低を直接的に反映したものとはなっていない。すなわち、擬似３次元画像からＣＴ値等の原信号値を読み取ることは不可能になっている。

したがって、実際の読影では、このような擬似３次元画像によって被検体を概観した後、画像中の関心領域については、ＭＰＲ（Multi-Planar Reconstruction；多断面再構成）処理やＭＩＰ（Maximum Intensity Projection；最大値投影）処理、ＭｉｎＩＰ（Minimum Intensity Projection；最小値投影）処理等により生成される、もとの３次元画像の画素値の高低が直接的に反映された断面画像によって、詳細に観察することが行われている（例えば、特許文献２，３）。

一方、擬似３次元画像は、半透明化処理によって、被検体の表面だけでなく内部構造も可視化したものであるから、この画像を構成する各投影画素には、もとの３次元医用画像の複数の画素の画素値が投影されたものとなっている。このため、擬似３次元医用画像中に関心領域を設定しても、関心領域内の画素がもとの３次元医用画像中のどの画素に対応するかを特定することができないので、その擬似３次元画像の奥行き方向の位置を特定することはできない。したがって、読影者は、擬似３次元画像における奥行き方向の位置を試行錯誤しながら、その擬似３次元画像中の関心領域を含む断面画像を生成する必要があり、作業効率の点で問題があった。

この奥行き方向の位置を推定する方法としては、ボリュームレンダリング画像において３次元量を計測する際に、任意の視点と投影面上の複数の投影画素の各々とを結ぶ視線に沿って３次元医用画像中の各画素を投影したボリュームレンダリング画像中に関心領域を指定した後、その関心領域内の投影画素の視線方向における不透明度や輝度の変化をグラフ表示し、読影者がそのグラフを見て奥行き方向の位置を推定する方法が知られている（例えば、特許文献４）。
特開２００２−３１２８０９号公報 特開２００２−０１１０００号公報 特開２００１−２３６４９２号公報 特開平１０−２０１７５５号公報 周藤安造著，「医学における三次元画像処理―基礎から応用まで」，初版，コロナ社，１９９５年３月，ｐ.１０４−１１２

しかしながら、特許文献４記載の方法では、奥行き方向の位置の推定を読影者が手作業で行う必要があるため、関心領域を含む断面画像の生成の際にこの方法を適用したとしても、読影者による手作業が残ることになり、前記の擬似３次元医用画像の概観から断面画像の精読に至る読影ワークフローを効率的に実施することはできない。

本発明はこのような事情に鑑みてなされたものであり、この読影ワークフローを効率化する画像処理方法および装置並びにプログラムを提供することを目的とするものである。

本発明による画像処理方法は、３次元空間に定義された、被検体を表す３次元医用画像を、所定の投影面に投影する際に、半透明化および陰影づけを行うことによって、３次元医用画像の画素値の高低がその投影面上の画素の画素値の高低に直接的に反映されていない擬似３次元画像を生成し、生成された擬似３次元画像を表示し、表示された擬似３次元画像中の関心領域を指示し、３次元医用画像を構成する画素の画素値に基づき、指示された関心領域の、擬似３次元画像の奥行き方向における位置を推定し、推定された関心領域の位置における画素の画素値を投影することによって、３次元医用画像の画素値の高低が直接的に反映された断面画像を生成することを特徴とする。

また、本発明による画像処理装置はこの方法を実施するものである。すなわち、３次元空間に定義された、被検体を表す３次元医用画像を、所定の投影面に投影する際に、半透明化および陰影づけを行うことによって、３次元医用画像の画素値の高低が投影面上の画素の画素値の高低に直接的に反映されていない擬似３次元画像を生成する擬似３次元画像生成手段と、生成された擬似３次元画像を表示する表示手段と、表示された擬似３次元画像中の関心領域を指示する指示手段と、３次元医用画像を構成する画素の画素値に基づき、この擬似３次元画像の奥行き方向における、指示手段によって指示された関心領域の位置を推定する推定手段と、推定手段によって推定された関心領域の位置における画素の画素値を投影することによって、３次元医用画像の画素値の高低が直接的に反映された断面画像を生成する断面画像生成手段とを設けたことを特徴とする。

さらに、本発明による画像処理プログラムは上記の方法をコンピュータに実行させるためのものである。すなわち、３次元空間に定義された、被検体を表す３次元医用画像を、所定の投影面に投影する際に、半透明化および陰影づけを行うことによって、３次元医用画像の画素値の高低が投影面上の画素の画素値の高低に直接的に反映されていない擬似３次元画像を生成する擬似３次元画像生成手段と、生成された擬似３次元画像を表示手段に表示させる表示制御手段と、表示された擬似３次元画像中の関心領域の指示を受け付ける指示受付手段と、３次元医用画像を構成する画素の画素値に基づき、擬似３次元画像の奥行き方向における、指示受付手段により受け付けられた関心領域の位置を推定する推定手段と、推定手段によって推定された関心領域の位置における画素の画素値を投影することによって、３次元医用画像の画素値の高低が直接的に反映された断面画像を生成する断面画像生成手段としてコンピュータを機能させることを特徴とする。

次に、本発明による画像処理方法および装置並びにプログラムの詳細について説明する。

「３次元空間に定義された、被検体を表す３次元医用画像」とは、被検体を表す医用画像であって、３次元的に配列された画素（ボクセル）の各々に画素値を与えることによって定義された３次元画像データによる画像である。具体例としては、ＣＴ装置やＭＲＩ装置を使用した撮影によって得られる複数の２次元のスライス画像を奥行き（深さ）方向に積み重ねて３次元にした画像が考えられる。

「所定の投影面に投影する」手法は、平行投影であっても、透視投影であってもよい。

「半透明化」とは、３次元医用画像に表された被検体の表面だけでなく、被検体の内部についても視覚化することを意味する。すなわち、擬似３次元画像が生成される投影面上の各画素の画素値には、３次元医用画像を構成する複数の画素の画素値が反映されるのである。したがって、擬似３次元画像中の各画素が、３次元医用画像中の各画素のどれに対応するかを特定することはできない。

「陰影づけ」とは、光源や周囲の光（環境光）、視点からの見え具合、被検体表面の色や反射率などを考慮して、被検体の表面の色や輝度、陰影、光沢などを決定する処理を意味する。これにより被検体の立体感が表現されるが、同時に、擬似３次元画像中の明るさや濃度は、もとの３次元医用画像の画素値と直接的に対応しなくなる。

「擬似３次元画像」は、前記の半透明化および陰影づけ処理により生成されたものであり、立体感や遠近感をもたせながら被検体を２次元に投影した画像である。

「関心領域」は、点でも、線分でも、円や多角形等の閉領域でもよい。

「３次元医用画像を構成する画素の画素値に基づき」とは、ＣＴ値等の入力画素値に基づいていてもよいし、ボリュームレンダリング法における不透明度や輝度値のように、入力画素値に基づいて取得した２次的数値に基づいていてもよい。

推定手段による推定の手法としては、指示手段によって指示された関心領域中の画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、３次元医用画像中の画素の位置を、前記関心領域の位置と推定することが考えられる。また、この寄与の度合が所定の基準よりも大きい、３次元画像中の画素の位置を、擬似３次元画像を生成する際に記憶する記憶手段を設け（本発明の画像処理プログラムでは、記憶手段に記憶させる記憶制御手段としてコンピュータを機能させるようにし）、推定手段が、この寄与の度合が所定の基準よりも大きい、３次元画像中の画素の位置を、記憶手段から取得し、関心領域の位置と推定するようにしてもよい。

この擬似３次元画像の具体例としては、３次元医用画像を構成する各画素に輝度値と不透明度とを割り当て、任意の視点と投影面上の各画素とを結ぶ複数の視線に沿って輝度値と不透明度の各々を積算して投影面上の画素の画素値を決定するボリュームレンダリング法によって生成された画像が考えられる。この場合、推定手段が、輝度値と不透明度の少なくとも一方に基づき、関心領域の位置を推定するようにすることが好ましい。具体的な推定の手法としては、不透明度の値が所定の閾値より大きい位置や、視線に沿って不透明度の積算をしていく際に既に積算済の不透明度の値が所定の閾値を超えた位置、積算をしていく際に不透明度の値が所定の閾値よりも大きく変化する位置を、関心領域の位置と推定することが考えられる。また、これら３つの位置の少なくとも１つを記憶する記憶手段を設け（本発明の画像処理プログラムでは、記憶手段に記憶させる記憶制御手段としてコンピュータを機能させるようにし）、推定手段が、記憶手段からこれらの位置を取得し、この関心領域の位置と推定するようにしてもよい。

また、断面画像生成手段が、関心領域を含み、推定によって生じうる関心領域の位置の視線の方向における誤差とほぼ等しい厚さを有する視線に垂直な断面中の画素の画素値を投影することによって、断面画像を生成するようにしてもよい。

「断面画像」は、３次元医用画像の画素値の高低が断面画像中の明るさや濃淡に直接的に反映されたものであり、断面画像を生成する処理の具体例としては、３次元医用画像中の所定の領域の軸位断（Axial）だけでなく、冠状断（Coronal）や矢状断（Sagittal）、斜位断（Oblique）により任意の断面画像を生成するＭＰＲ（Multi-Planar Reconstruction；多断面再構成）処理や、視線毎に探索点の画素値の最大値／最小値を抽出して投影するＭＩＰ（Maximum Intensity Projection；最大値投影）処理／ＭｉｎＩＰ（Minimum Intensity Projection；最小値投影）処理が考えられる。

本発明の画像処理では、表示された擬似３次元画像中の関心領域を指示し、指示された関心領域の奥行き方向における位置を自動的に推定し、推定された関心領域の位置における画素の画素値を投影した断面画像を生成する。したがって、読影者は、擬似３次元画像の概観から断面画像の精読に至る読影ワークフローの中で、擬似３次元画像中の関心領域の奥行き方向の位置を手作業で試行錯誤的に行う必要がなくなるため、この読影ワークフローの効率化が実現される。

また、擬似３次元画像を生成する際に、擬似３次元画像の各画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、３次元医用画像中の画素の位置を、擬似３次元画像の画素毎に記憶するようにし、指示された関心領域の位置を、この記憶された位置を取得して推定するようにした場合には、擬似３次元画像を生成するために３次元医用画像中の各画素をスキャンする際に、同時並行で、擬似３次元画像中の画素の画素値の決定に対する寄与の度合を判断するので、指示された関心領域の位置の推定の際に、関心領域中の画素の画素値の決定のためにスキャンした３次元医用画像中のすべての画素を再度スキャンして、その寄与の度合を求める必要がなくなるため、処理効率がさらに向上する。

なお、本発明における擬似３次元画像を構成する各画素の画素値には、もとの３次元医用画像の複数の画素の画素値が投影されているため、擬似３次元画像中に関心領域を指示しても、その指示された関心領域の奥行き方向の位置を正確に特定することは不可能である。そこで、断面画像の生成の際に、関心領域を含み、関心領域の位置の推定によって生じうる関心領域の位置の視線の方向における誤差とほぼ等しい厚さを有する、視線に垂直な断面中の画素の画素値を投影することによって、断面画像を生成するようにした場合には、推定された関心領域の位置に多少の誤差があったとしても、生成された断面画像中に関心領域が含まれるため、読影者が関心領域を含む断面画像を手作業で試行錯誤的に作成する必要がなくなり、さらなる読影効率の向上に資する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

図１は、３次元医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。

モダリティ１は、被検体を表す３次元医用画像Ｖを取得し、３次元医用画像データＶ（以下、画像と画像データとは同じ記号を用いる）を出力するものである。具体的には、ＣＴ装置やＭＲＩ装置、超音波診断装置等である。

画像保管サーバ２は、モダリティ１で取得された３次元医用画像データＶや画像処理ワークステーション３での画像処理によって生成された画像データの医用画像を画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理ソフトウェア（例えば、ＯＲＤＢ(Object Relational DataBase)管理ソフトウェア）を備えている。

画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した３次元医用画像Ｖに対して画像処理を行い、生成された画像を表示するコンピュータであり、特に、読影者からの要求を入力するキーボードやマウス等の入力装置と、取得した３次元医用画像Ｖを格納可能な容量の主記憶装置と、生成された画像を表示する高精細液晶ディスプレイとを備えている。

画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）等のプロトコルに基づいている。

図２は、画像処理ワークステーション３の機能を示すブロック図である。図に示すように、画像処理ワークステーション３は、処理対象となる３次元医用画像データＶをモダリティ１や画像保管サーバ２から取得する画像取得部３１と、取得された３次元医用画像データＶに基づいてボリュームレンダリング処理を行い、ボリュームレンダリング画像Ｐの画像データＰを出力するボリュームレンダリング処理部（擬似３次元画像生成手段）３２と、生成されたボリュームレンダリング画像Ｐ中に関心領域（ＲＯＩ）Ｒを指示するＲＯＩ指示部（指示手段、指示受付手段）３３と、指示された関心領域Ｒの３次元的位置Ｑを推定する推定部（推定手段）３４と、ＭＰＲ処理によって、関心領域Ｒの３次元的位置Ｑを含む断面画像Ｓの画像データＳを生成するＭＰＲ処理部（断面画像生成手段）３５と、ボリュームレンダリング画像Ｐや断面画像Ｓを表示する画像表示部（表示手段、表示制御手段）３６とから構成されている。

ＲＯＩ設定部３３で設定された関心領域Ｒは、ボリュームレンダリング画像Ｐにおける奥行き方向の位置情報を有していないため、推定部３４は、ボリュームレンダリング処理部３２の処理中に得られる視線方向情報Ｄを利用して３次元的位置Ｑの推定を行う。なお、この視線方向情報Ｄの詳細については後述する。

次に、この医用画像処理システム、特に画像処理ワークステーション３によって、ボリュームレンダリング画像Ｐの概観から断面画像Ｓの精読に至る読影ワークフローを実現する読影者の操作と処理の流れとについて説明する。

まず、読影者は、画像処理ワークステーション３の高精細液晶ディスプレイに表示される図３に示す画面を見ながら、処理対象の３次元医用画像Ｖの選択を行う。図３の画面は、画像取得部３１によって生成されたものであり、検査対象の画像の検索条件が階層化されたカテゴリに分類されている。画像取得部３１は、読影者がマウスやキーボード等の操作により選択したカテゴリを、処理対象の画像の検索条件を画像保管サーバ２に対する検索要求メッセージに設定する。例えば、図３のように、現在の日時を２００４年１月１０日１６時４５分として、読影者が「直近２４時間の検査」、「ＣＴ」を選択した場合、画像取得部３１は、検査日時が「２００４年１月９日１６時４６分〜２００４年１月１０日１６時４５分」かつモダリティが「ＣＴ」という検索条件を検索要求メッセージに設定する。読影者がマウス操作により検索実行ボタンをクリックすると、画像取得部３１は、検索要求メッセージをネットワーク９経由で画像保管サーバ２に送信する。画像保管サーバ２では、受信した検索要求メッセージに基づいて、画像データベースを検索し、該当する画像データの患者氏名、患者ＩＤ、検査日付、モダリティ、画像数等のリスト情報を応答メッセージとして画像処理ワークステーション３に送信する。画像処理ワークステーション３では、画像取得部３１が受信したリスト情報を図４のように表示する。読影者が、リストされた画像データに関する情報から、読影対象の患者の画像データを表す行をマウスやキーボード等の操作により選択すると、画像取得部３１は、選択された行のリスト情報を画像取得要求メッセージに設定し、画像保管サーバ２に送信する。画像保管サーバ２は、受信したリスト情報に基づいて、画像データベースを検索し、該当する画像データＶを画像処理ワークステーション３に送信する。画像処理ワークステーション３では、画像取得部３１が、受信した画像データＶを画像メモリに書き込む。この画像データＶは、被検体の左右方向をｘ軸、前後方向をｙ軸、上下方向をｚ軸とする３次元座標系で各画素（以下、ボクセルという）の位置が定義され、各ボクセルの画素値は、そのボクセルの位置の座標と関連づけられている。

次にボリュームレンダリング処理部３２が行う処理について説明する。図５は、ボリュームレンダリング処理の手順を表したものである。図に示すように、ボリュームレンダリング処理では、３次元医用画像データＶの入力後、雑音除去や画像強調等の前処理を行い、前処理後の３次元医用画像Ｖを構成する各ボクセルについて、輝度値と不透明度とを決定し、これらの値をそれぞれ合成することによりボリュームレンダリング画像Ｐを構成する画素の画素値（出力画素値）を求める。輝度値の決定と不透明度の決定とは、互いに独立した処理のため、直列処理で行う場合にはどちらの処理を先に行ってもよいし、並列処理により同時並行で行ってもよい。

まず、前処理では、各ボクセルについて、周辺６近傍（または、１８，２６近傍）のボクセルに対して画像演算オペレータを設定し、フィルタリング演算（積和演算）を行う。これにより、平滑化により孤立点等が除去された３次元医用画像Ｖ’が得られる。

次に、各ボクセルの輝度値を決定する処理について説明する。ボクセル(i,j,k)の輝度値ｂ(i,j,k)は、次の式（１）により算出される。

ここで、ｈは、拡散反射によるシェーディング係数である。なお、本実施形態では、環境光や鏡面反射光については考慮していない。また、Ｎ(i,j,k)は、ボクセル(i,j,k)における法線ベクトルであり、次の式（２）により算出される。

このΔｆ(i,j,k)とは、次の式（３）のように、ボクセル(i,j,k)に隣接する６つのボクセルの入力画素値から求めた勾配値である。なお、ｆはそのボクセルの入力画素値を表す。

さらに、Ｌは、ボクセル(i,j,k)から光源への単位方向ベクトル、「・」はベクトルの内積、ｃ_m(i,j,k)（ただし、ｍ＝Ｒ，Ｇ，Ｂ）は、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された色情報に基づき、各ボクセルに割り当てられた色情報である。なお、光源の位置は装置の初期設定ファイル等で予め設定しておいてもよいし、読影者がキーボードやマウスを使用して入力するようにしてもよい。

次に、各ボクセルの不透明度を決定する処理について説明する。ボクセル(i,j,k)の不透明度α(i,j,k)は、例えば、次の式（４）により算出される。

ここで、α_a、α_b、α_cは、被検体の組織を表す入力画素値毎に定義した不透明度である。すなわち、画素値ｆ_a、ｆ_b、ｆ_cのボクセルの不透明度は各々α_a、α_b、α_cと定義している。なお、ｆ_a≦ｆ_b≦ｆ_cである。また、式（４）では、異なる組織間の境界を強調するため、ボクセル(i,j,k)に隣接する６つのボクセルの入力画素値から求めた勾配Δｆ(i,j,k)をさらに考慮している。

なお、勾配値Δｆ(i,j,k)は、輝度値を決定する処理と不透明度を決定する処理の各々において算出するようにしてもよいが、画像処理ワークステーション３のメモリ容量に余裕があれば、予め各ボクセル(i,j,k)について勾配値Δｆ(i,j,k)を算出して記憶させておき、輝度値や不透明度の決定の際には、メモリに格納されている勾配値Δｆ(i,j,k)を読み出して用いるようにしてもよい。これにより、演算時間の短縮を図ることが可能になる。

各ボクセルの輝度値と不透明度とを決定した後、レイキャスティングにより、ボリュームレンダリング画像Ｐを構成する画素の画素値（出力画素値）を求める。まず、初期設定ファイル等や読影者によるキーボードやマウス等からの入力により、視点と投影面（大きさ、位置、画素数、法線ベクトルの向き）の設定を行う。これにより、視点と投影面上の投影画素の各々とを結ぶ複数の視線が決定される。次に、決定された視線に沿って探索点を順に設定し、図６に示すように、隣接する８つのボクセルの輝度値と不透明度とに基づき線形補間を行って、探索点での輝度値と不透明度とを求める。そして、各探索点での輝度値と不透明度とに基づいて、輝度値の積算を行っていく。具体的には、ｎ番目の探索点を通過した光を表す積算輝度値ｂ_out(n)は、次の式（５）により算出される。

ここで、ｂ_in(n)はｎ番目の探索点に入射する光を表す積算輝度値、α(n)はｎ番目の探索点における不透明度、ｂ(n)はｎ番目の探索点における輝度値を表す。なお、ｎ番目の探索点を通過した光が（ｎ＋１）番目の探索点に入射する光となるから、ｂ_out(n)＝ｂ_in(n+1)となる。

また、この輝度値の積算と同時に、探索点を通過する毎にその探索点の不透明度を加算していく。ここで加算された不透明度を積算不透明度α_Tとよぶ。そして、探索点が３次元医用画像Ｖの範囲外となるか、積算不透明度α_Tが１（不透明）に達したら、その視線についての処理を終了し、その時点での積算輝度値ｂ_outを、その視線上にある投影画素の出力画素値として決定する。

このような処理を各視線について行い、投影面上のすべての投影画素の出力画素値を決定し、ボリュームレンダリング画像Ｐを生成する。

なお、ここで求められた各探索点における積算輝度値ｂ_outおよび積算不透明度α_Tは、その探索点を通る視線や投影画素、その探索点の位置と関連づけられて、画像処理ワークステーション３の主記憶装置に記憶される。本実施形態では、この情報を視線方向情報Ｄと呼ぶ。

生成されたボリュームレンダリング画像Ｐは、画像表示部３６によって画像処理ワークステーション３の高精細液晶ディスプレイに表示される。

読影者は、表示されたボリュームレンダリング画像Ｐを観察し、ＲＯＩ設定部３３のキーボードやマウス操作により、関心領域Ｒを指示する。具体的には、図７に示すように、関心領域Ｒにマウスのポインタを合わせて右クリックを行うことにより指示する。なお、この関心領域Ｒは、画像中の点であってもよいし、線分であってもよいし、また、閉領域であってもよい。線分や閉領域を指示する場合には、前記の右クリックをしたままドラッグを行う。以下では、関心領域Ｒが点の場合を例にして説明を行うが、関心領域Ｒが線分や閉領域の場合についても、これらは点の集合であることから、関心領域Ｒが点の場合と同様に取り扱うことができる。このとき、ＲＯＩ指示部３３は、指示された関心領域Ｒに属する投影画素を認識する。

関心領域Ｒの指示後、推定部３４は、関心領域Ｒとして指示されたボリュームレンダリング画像Ｐ中の投影画素を通る視線を特定し、その視線における視線方向情報Ｄに基づき、関心領域Ｒの３次元医用画像Ｖにおける３次元的位置Ｑを推定する。具体的には、積算不透明度α_Tの値が所定の閾値より大きくなった探索点の位置を求め、この位置を関心領域Ｒの３次元医用画像Ｖにおける３次元的位置Ｑと推定する。なお、積算不透明度α_Tの値の変化率（増加率）が所定の値より大きくなった探索点の位置を求め、この位置を関心領域Ｒの３次元医用画像Ｖにおける３次元的位置Ｑと推定してもよい。

読影者は、マウスの右クリックにより関心領域Ｒを指示した際に表示されるメニューから、次に表示する断面画像を生成するための処理の種類を選択する。ここでは、ＭＰＲ処理を選択した場合を例にして説明を行う。

関心領域Ｒの３次元的位置Ｑの推定後、ＭＰＲ処理部３５が、この３次元的位置Ｑにある探索点を含み、視線方向に所定の厚さを有する、この視線に垂直な断面内の画素の画素値を、ＭＰＲ技術により、この断面と平行な投影面に投影した断面画像Ｓを生成する。ここで、所定の厚さとは、推定部３４で推定された３次元的位置Ｑと、実際に読影者が関心を持っている領域の真の位置との間の誤差を考慮して予め設定されたものである。すなわち、この厚さが厚すぎると、断面画像Ｓに投影される真の関心領域以外の部分の画素が多くなりすぎるため、読影しづらくなってしまうし、逆に薄すぎると、真の関心領域の位置の画素が断面画像Ｓに投影されない可能性が高くなってしまうので、このような問題を回避できる適切な厚さを設定しておくのである。具体的には、１０〜３０ｍｍ程度の厚さが好ましい。

生成された断面画像Ｓは、画像表示部３６によって画像処理ワークステーション３の高精細液晶ディスプレイに表示される（図８）。

このように本発明による画像処理の実施形態となる３次元医用画像処理システムでは、３次元医用画像Ｖに基づいてボリュームレンダリング処理部３２で生成されたボリュームレンダリング画像Ｐ中に設定された関心領域Ｒの３次元的位置Ｑを、推定部３４が、ボリュームレンダリング処理部３２の処理の際に生成された視線方向情報Ｄに基づいて自動的に推定し、ＭＰＲ処理部３５が、この３次元的位置Ｑを含む断面画像Ｓを生成する。したがって、読影者は、ボリュームレンダリング画像Ｐによる概観から断面画像Ｓによる精読に至る読影ワークフローを効率的に実施することが可能になり、読影効率が向上する。

また、観察対象の部位や３次元医用画像Ｖの撮影条件等によっては、推定部３４によって推定された３次元的位置Ｑと関心領域Ｒの真の３次元的位置との間に誤差が生じる場合もありうるが、ＭＰＲ処理部３５が投影する３次元領域の視線方向における厚さをこの誤差を考慮した値に設定可能にしたので、断面画像Ｓは関心領域Ｒの画素が投影されたものとなり、読影者は関心領域Ｒが含まれる断面画像Ｓを試行錯誤的に手動で生成する必要がなくなり、読影効率が向上する。

本実施形態では、数式を用いて各ボクセルの輝度値ｂや不透明度αを算出するようにしていたが、入力値と出力値との関係を予め計算しておいたテーブルを主記憶装置に格納しておき、実際の処理の際には、テーブル参照により各ボクセルの輝度値ｂや不透明度αを決定するようにしてもよい。

本実施形態では、ボリュームレンダリング処理部３２において、各探索点における積算輝度値ｂ_outおよび積算不透明度α_Tを視線方向情報Ｄとして主記憶装置に記憶させるようにしていたが、ボリュームレンダリング処理部３２でレイキャスティングを行う際に、積算不透明度α_Tの値が所定の閾値より大きくなった探索点の位置や、積算不透明度α_Tの値の変化率（増加率）が所定の値より大きくなった探索点の位置だけを、視線方向情報Ｄとして視線毎に主記憶装置に記憶させるようにしてもよい（記憶手段、記憶制御手段）。これにより、主記憶装置に探索点毎の情報を記憶させる必要がなくなるため、記憶容量の節約になるとともに、探索点毎の情報を再度読み込んで閾値処理を行う必要もなくなるため、処理効率も向上する。

本実施形態では、ＭＰＲ技術により断面画像Ｓを生成するようにしていたが、関心領域Ｒを含む３次元領域を対象にしたＭＩＰ（Maximum Intensity Projection；最大値投影）処理、すなわち、Ｓｌａｂ−ＭＩＰ処理や、Ｓｌａｂ−ＭｉｎＩＰ（Minimum Intensity Projection；最小値投影）処理により断面画像Ｓを生成するようにしてもよい。

本実施形態では、画像処理ワークステーション３で画像処理と画像表示の両方を行うようにしたが、画像処理サーバを別途設けてネットワーク９に接続し、前記の画像処理はこの画像処理サーバに行わせるようにしてもよい。これにより、分散処理が図られ、例えば、画像の表示を複数の端末で行う場合には、高性能の画像処理ワークステーションを複数台設置する必要がなくなり、システム全体のコストの低減に資する。

３次元医用画像処理システムの概要を示すハードウェア構成図 画像処理ワークステーションの機能を示すブロック図 画像処理ワークステーションで処理対象画像の検索条件を設定する画面の一例を示す図 画像処理ワークステーションで検索結果リストが表示された画面の一例を示す図 ボリュームレンダリング処理の手順を示すフロー図 探索点と隣接する８つのボクセルとの位置関係を示す図 ボリュームレンダリング画像中の関心領域を指示する画面の一例を示す図 ＭＰＲ画像の一例を示す図

符号の説明

１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
９ ネットワーク
３１ 画像取得部
３２ ボリュームレンダリング処理部
３３ ＲＯＩ指示部
３４ 推定部
３５ ＭＰＲ処理部
３６ 画像表示部

Claims (15)

1. ３次元空間に定義された、被検体を表す３次元医用画像を、所定の投影面に投影する際に、半透明化および陰影づけを行うことによって、前記３次元医用画像の画素値の高低が前記投影面上の画素の画素値の高低に直接的に反映されていない擬似３次元画像を生成し、
   生成された前記擬似３次元画像を表示し、
   表示された前記擬似３次元画像中の関心領域を指示し、
   前記３次元医用画像を構成する画素の画素値に基づき、指示された前記関心領域の、前記擬似３次元画像の奥行き方向における位置を推定し、
   推定された前記関心領域の位置における画素の画素値を投影することによって、前記３次元医用画像の画素値の高低が直接的に反映された断面画像を生成することを特徴とする画像処理方法。
2. ３次元空間に定義された、被検体を表す３次元医用画像を、所定の投影面に投影する際に、半透明化および陰影づけを行うことによって、前記３次元医用画像の画素値の高低が前記投影面上の画素の画素値の高低に直接的に反映されていない擬似３次元画像を生成する擬似３次元画像生成手段と、
   生成された前記擬似３次元画像を表示する表示手段と、
   表示された前記擬似３次元画像中の関心領域を指示する指示手段と、
   前記３次元医用画像を構成する画素の画素値に基づき、前記擬似３次元画像の奥行き方向における、前記指示手段によって指示された前記関心領域の位置を推定する推定手段と、
   前記推定手段によって推定された前記関心領域の位置における画素の画素値を投影することによって、前記３次元医用画像の画素値の高低が直接的に反映された断面画像を生成する断面画像生成手段とを備えたことを特徴とする画像処理装置。
3. 前記推定手段が、前記指示手段によって指示された前記関心領域中の画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、前記３次元医用画像中の画素の位置を、前記関心領域の位置と推定するものであることを特徴とする請求項２記載の画像処理装置。
4. 前記擬似３次元画像を生成する際に、前記擬似３次元画像の各画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、前記３次元医用画像中の画素の位置を、前記擬似３次元画像の画素毎に記憶する記憶手段をさらに備え、
   前記推定手段が、前記指示手段によって指示された前記関心領域中の画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、前記３次元医用画像中の画素の位置を、前記記憶手段から取得し、前記関心領域の位置と推定するものであることを特徴とする請求項３記載の画像処理装置。
5. 前記擬似３次元画像が、前記３次元医用画像を構成する各画素に輝度値と不透明度とを割り当て、任意の視点と前記投影面上の各画素とを結ぶ複数の視線に沿って前記輝度値と前記不透明度の各々を積算して前記投影面上の画素の画素値を決定するボリュームレンダリング法によって生成された画像であり、
   前記推定手段が、前記輝度値と前記不透明度の少なくとも一方に基づき、前記関心領域の位置を推定するものであることを特徴とする第２項から第４項のいずれか１項記載の画像処理装置。
6. 前記推定手段が、前記不透明度の値が所定の閾値より大きい位置と、前記視線に沿って前記不透明度の積算をしていく際に既に積算済の前記不透明度の値が所定の閾値を超えた位置と、前記積算をしていく際に前記不透明度の値が所定の閾値よりも大きく変化する位置のうちの少なくとも１つを、前記関心領域の位置と推定するものであることを特徴とする請求項５記載の画像処理装置。
7. 前記擬似３次元画像が、前記ボリュームレンダリング法によって生成された画像であり、
   前記記憶手段が、前記不透明度の値が所定の閾値より大きい位置と、前記視線に沿って前記不透明度の積算をしていく際に既に積算済の前記不透明度の値が所定の閾値を超えた位置と、前記積算をしていく際に前記不透明度の値が所定の閾値よりも大きく変化する位置のうちの少なくとも１つを記憶するものであることを特徴とする請求項４記載の画像処理装置。
8. 前記断面画像生成手段が、前記関心領域を含み、前記推定によって生じうる前記関心領域の位置の前記視線の方向における誤差とほぼ等しい厚さを有する、前記視線に垂直な断面中の画素の画素値を投影することによって、前記断面画像を生成するものであることを特徴とする第５項から第７項のいずれか１項記載の画像処理装置。
9. ３次元空間に定義された、被検体を表す３次元医用画像を、所定の投影面に投影する際に、半透明化および陰影づけを行うことによって、前記３次元医用画像の画素値の高低が前記投影面上の画素の画素値の高低に直接的に反映されていない擬似３次元画像を生成する擬似３次元画像生成手段と、
   生成された前記擬似３次元画像を表示手段に表示させる表示制御手段と、
   表示された前記擬似３次元画像中の関心領域の指示を受け付ける指示受付手段と、
   前記３次元医用画像を構成する画素の画素値に基づき、前記擬似３次元画像の奥行き方向における、前記指示受付手段により受け付けられた前記関心領域の位置を推定する推定手段と、
   前記推定手段によって推定された前記関心領域の位置における画素の画素値を投影することによって、前記３次元医用画像の画素値の高低が直接的に反映された断面画像を生成する断面画像生成手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
10. 前記推定手段が、前記擬似３次元画像の各画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、前記３次元医用画像中の画素の位置を、前記関心領域の位置と推定するように前記コンピュータを機能させることを特徴とする請求項９記載の画像処理プログラム。
11. 前記擬似３次元画像を生成する際に、前記擬似３次元画像の各画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、前記３次元医用画像中の画素の位置を、前記擬似３次元画像の画素毎に記憶手段に記憶させる記憶制御手段として前記コンピュータをさらに機能させ、
    前記推定手段が、前記指示手段によって指示された前記関心領域中の画素の画素値の決定に対する寄与の度合が所定の基準よりも大きい、前記３次元医用画像中の画素の位置を、前記記憶手段から取得し、前記関心領域の位置と推定するように前記コンピュータを機能させることを特徴とする請求項１０記載の画像処理プログラム。
12. 前記擬似３次元画像生成手段が、前記３次元医用画像を構成する各画素に輝度値と不透明度とを割り当て、任意の視点と前記投影面上の各画素とを結ぶ複数の視線に沿って前記輝度値と前記不透明度の各々を積算して前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、前記擬似３次元画像を生成し、
    前記推定手段が、前記輝度値と前記不透明度の少なくとも一方に基づき、前記関心領域の位置を推定するようにコンピュータを機能させることを特徴とする第９項から第１１項のいずれか１項記載の画像処理プログラム。
13. 前記推定手段が、前記不透明度の値が所定の閾値より大きい位置と、前記視線に沿って前記不透明度の積算をしていく際に既に積算済の前記不透明度の値が所定の閾値を超えた位置と、前記積算をしていく際に前記不透明度の値が所定の閾値よりも大きく変化する位置のうちの少なくとも１つを、前記関心領域の位置と推定するようにコンピュータを機能させることを特徴とする請求項１２記載の画像処理プログラム。
14. 前記擬似３次元画像生成手段が、前記ボリュームレンダリング法によって前記擬似３次元画像を生成し、
    前記記憶制御手段が、前記不透明度の値が所定の閾値より大きい位置と、前記視線に沿って前記不透明度の積算をしていく際に既に積算済の前記不透明度の値が所定の閾値を超えた位置と、前記積算をしていく際に前記不透明度の値が所定の閾値よりも大きく変化する位置のうちの少なくとも１つを前記記憶手段に記憶させるようにコンピュータを機能させることを特徴とする請求項１１記載の画像処理プログラム。
15. 前記断面画像生成手段が、前記関心領域を含み、前記視線の方向における、前記推定によって生じうる前記関心領域の位置の誤差とほぼ等しい厚さを有する前記視線に垂直な断面中の画素の画素値を投影することによって、前記断面画像を生成するようにコンピュータを機能させることを特徴とする第１２項から第１４項のいずれか１項記載の画像処理プログラム。