JP2018089343A - Medical image processing apparatus, control method and program of medical image processing apparatus - Google Patents
Medical image processing apparatus, control method and program of medical image processing apparatus Download PDFInfo
- Publication number
- JP2018089343A JP2018089343A JP2017144061A JP2017144061A JP2018089343A JP 2018089343 A JP2018089343 A JP 2018089343A JP 2017144061 A JP2017144061 A JP 2017144061A JP 2017144061 A JP2017144061 A JP 2017144061A JP 2018089343 A JP2018089343 A JP 2018089343A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth information
- dimensional
- processing apparatus
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000009877 rendering Methods 0.000 claims abstract description 165
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 3
- 210000004126 nerve fiber Anatomy 0.000 claims description 25
- 238000009792 diffusion process Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000002595 magnetic resonance imaging Methods 0.000 description 15
- 210000001519 tissue Anatomy 0.000 description 15
- 238000002598 diffusion tensor imaging Methods 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 210000004958 brain cell Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Generation (AREA)
Abstract
Description
本発明は、3次元画像の医用画像処理装置、医用画像処理装置の制御方法、及びプログラムに関する。 The present invention relates to a medical image processing apparatus for a three-dimensional image, a control method for the medical image processing apparatus, and a program.
従来の医用画像処理装置として、生体の神経線維(白質繊維)の延在方向を追跡して表示するものが知られている。医用画像処理装置は、例えば、核磁気共鳴画像法(MRI:Magnetic Resonance Imaging)装置によって撮影された拡散強調画像(DWI:Diffusion-Weighted Imaging)を用いて神経線維の走行を解析する。そして、医用画像処理装置は、当該神経線維の解析結果とMRI装置で撮影された生体組織とを三次元表示により可視化し、これらを重畳させて表示する。 As a conventional medical image processing apparatus, an apparatus that tracks and displays the extending direction of a nerve fiber (white matter fiber) in a living body is known. The medical image processing apparatus analyzes the running of nerve fibers using, for example, a diffusion-weighted image (DWI) taken by a nuclear magnetic resonance imaging (MRI) apparatus. Then, the medical image processing apparatus visualizes the analysis result of the nerve fiber and the living tissue imaged by the MRI apparatus by a three-dimensional display, and displays them by superimposing them.
特許文献1には、神経線維を示す3次元データと生体組織を含む3次元データとをそれぞれ異なるレンダリング法でレンダリングを行い、重畳表示を行う医用画像処理装置が開示されている。当該医用画像処理装置は、ボリュームレンダリング法で表示された生体組織のボクセルのうち、視点位置から所定の不透明度以上のボクセルまでの距離を算出する。そして、医用画像処理装置は、当該算出した距離を用いて神経線維をレンダリングした画像の表示位置を特定する。 Patent Document 1 discloses a medical image processing apparatus that performs rendering by rendering three-dimensional data indicating nerve fibers and three-dimensional data including biological tissue by different rendering methods. The medical image processing apparatus calculates a distance from a viewpoint position to a voxel having a predetermined opacity or higher among voxels of a living tissue displayed by the volume rendering method. Then, the medical image processing apparatus specifies the display position of the image obtained by rendering the nerve fiber using the calculated distance.
しかしながら、特許文献1の医用画像処理装置の算出方法では、ボクセルの不透明度の設定によっては、視点位置からボクセルまでの距離が正確に算出されない場合がある。このため、ボリュームレンダリング法で表示された生体組織の画像と他のレンダリング方法で表示される神経線維の画像とが誤った位置関係で重畳表示されるおそれがあった。そこで、本発明は、上記課題に鑑み、医用画像処理装置において、異なるレンダリング法でレンダリングされた画像を重畳表示させる際の視認性を向上させることを目的とする。 However, in the calculation method of the medical image processing apparatus of Patent Document 1, the distance from the viewpoint position to the voxel may not be accurately calculated depending on the setting of the opacity of the voxel. For this reason, there is a possibility that an image of a living tissue displayed by the volume rendering method and a nerve fiber image displayed by another rendering method are superimposed and displayed with an incorrect positional relationship. In view of the above problems, an object of the present invention is to improve visibility when an image rendered by a different rendering method is displayed in a superimposed manner in a medical image processing apparatus.
上記の目的を達成するために本発明の医用画像処理装置は、医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、サーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、を有することを特徴とする。 In order to achieve the above object, a medical image processing apparatus according to the present invention includes an image input unit that inputs three-dimensional volume data captured by a medical image capturing device, and three-dimensional volume data input to the image input unit. Volume rendering means for generating a volume rendering image based thereon, surface rendering means for generating a surface rendering image, and depth information for acquiring depth information indicating a length from a predetermined viewpoint position to the three-dimensional volume data in a three-dimensional space Information display means, and display control means for displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means, It is characterized by having
本発明によれば、医用画像処理装置において、異なるレンダリング法で表示された画像を重畳表示させる際の視認性を向上させることができる。 According to the present invention, in a medical image processing apparatus, it is possible to improve the visibility when images displayed by different rendering methods are superimposed and displayed.
以下、図面を参照して、本実施形態を詳細に説明する。 Hereinafter, this embodiment will be described in detail with reference to the drawings.
図1は、医用画像処理装置100のハードウェア構成の一例を示す図である。尚、図1に示す医用画像処理装置100のハードウェア構成はこれに限らない。
FIG. 1 is a diagram illustrating an example of a hardware configuration of the medical
医用画像処理装置100は、パーソナルコンピュータ等の汎用コンピュータである。医用画像処理装置100は、CT装置やMRI等で断層撮影することで得られた二次元の医用画像(以下、二次元医用画像という。)を積層してボリュームデータ(三次元データ)を生成する。尚、この二次元医用画像はDICOM(Digital Imaging and COmmunication in Medicine)画像である。そして、ボリュームデータに対してボリュームレンダリングを行うことで生成された三次元の医用画像(以下、三次元医用画像という。)を表示することができる。医用画像処理装置100は、いわゆるパーソナルコンピュータであってもよいしサーバであってもよいが、ワークステーションのような医用画像を処理するために特化したコンピュータであることが望ましい。また、医用画像処理装置100はタッチパネルを備えるタブレット端末や携帯端末であってもよい。
The medical
CPU101は、システムバス104に接続される各デバイスやコントローラを統括的に制御する。
The
また、ROM102あるいは外部メモリ111には、CPU101の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムプログラムが記憶されている。また外部メモリ111には、各機能を実現するために必要な各種プログラム等が記憶されている。RAM103は、CPU101の主メモリ、ワークエリア等として機能する。
Further, the
CPU101は、処理の実行に際して必要なプログラム等をRAM103にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ105は、キーボードやマウス等のポインティングデバイスといった入力デバイス109からの入力を制御する。
The
ビデオコントローラ106は、表示装置110等の表示器への表示を制御する。表示器はCRTや液晶表示装置でも構わない。
The
メモリコントローラ107は、ハードディスクやフレキシブルディスク或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ111へのアクセスを制御する。外部メモリ111(記憶手段)は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する。
The
通信I/Fコントローラ108は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。
The communication I /
尚、CPU101は、例えばRAM103内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、表示装置110上での表示を可能としている。また、CPU101は、表示装置110上の不図示のマウスカーソル等でのユーザ指示を可能とする。
Note that the
本実施形態における医用画像処理装置100が後述する各種処理を実行するために用いられる各種プログラム等は、外部メモリ111に記録されており、必要に応じてRAM103にロードされることによりCPU101によって実行されるものである。さらに、本実施形態におけるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ111に格納されている。
Various programs and the like used by the medical
図2は、医用画像処理装置100の機能構成の一例を示す図である。尚、図2に示す各機能は、図1に示す各ハードウェアや各種プログラム等により実現される構成要素である。また、医用画像処理装置100の機能構成は、これに限らない。
FIG. 2 is a diagram illustrating an example of a functional configuration of the medical
医用画像処理装置100は、画像入力部201と、サーフェイスレンダリング画像生成部202と、ボリュームレンダリング画像生成部203と、奥行情報取得部204と、表示制御部205と、を備える。
The medical
画像入力部201は、医用画像撮影装置で撮影された三次元ボリュームデータを入力する機能部である。医用画像撮影装置は、医用モダリティであり、CT装置、MRI装置等を含む。
The
三次元のボリュームデータは、通常、三次元配列で、各配列の要素は8から16ビットの整数値や浮動小数のデータで粟原される。画像入力部201は、外部メモリ111を参照し、外部メモリ111に格納された画像を入力可能に構成されている。外部メモリ111には、例えば、MRI装置で撮影された複数の画像が格納されている。例えば、複数の画像は、T1強調画像、T2強調画像、DWI等である。
The three-dimensional volume data is usually a three-dimensional array, and the elements of each array are represented by 8 to 16-bit integer values or floating-point data. The
T1強調画像は、生体組織に含まれるプロトンの縦緩和時間が強調された画像である。T2強調画像は、生体組織に含まれるプロトンの横緩和時間が強調された画像である。DWIは、所定の方向から印加された一対の勾配磁場によって生体組織に含まれるプロトンに生じたスピン位相の乱れが画像化されたものである。外部メモリ111は、MRI装置で撮影された画像に限られるものでなく、CT装置等で撮影された画像を記憶していてもよい。
The T1-weighted image is an image in which the longitudinal relaxation time of protons contained in the biological tissue is emphasized. The T2-weighted image is an image in which the transverse relaxation time of protons included in the biological tissue is emphasized. The DWI is an image of disturbance of spin phase generated in protons contained in a living tissue by a pair of gradient magnetic fields applied from a predetermined direction. The
外部メモリ111に格納された画像は、例えばDICOM規格に準拠した形式の画像データである。DICOM規格においては、所定のタグで示すデータ格納位置に、当該画像を撮影したMRI装置名、型番又は製造元メーカー名等を格納する。なお、DWIの撮影条件については、MRI装置又は製造元メーカーごとに異なる位置に格納される。撮影条件には、例えば、MPGの傾斜方向(Gradient Orientation)、傾斜方向の数、及びMPGの影響の強さを示すb値が含まれている。
The image stored in the
画像入力部201は、観察対象となる生体組織が撮影された複数のDWI及びT2強調画像を入力する機能を有している。そして、画像入力部201は、入力した画像をサーフェイスレンダリング画像生成部202や、ボリュームレンダリング画像生成部203へ出力する機能を有している。
The
入力デバイス109は、ユーザ操作を入力する機能を有している。例えば、入力デバイス109は、マウスやキーボード等のユーザインターフェイスである。そして、入力デバイス109は、ユーザ操作によって指定された後述する始点領域、終端領域、回避領域、テンソル解析手法、マウスのポイント位置等を入力する機能を有している。
The
サーフェイスレンダリング画像生成部202は、複数のDWI及びT2強調画像を用いて拡散テンソル解析を行い、拡散テンソル画像(DTI:Diffusion Tensor Imaging)を生成する機能を有している。そして、サーフェイスレンダリング画像生成部202は、拡散テンソル画像から神経線維の延在方向を追跡し、神経線維の三次元位置を特定する。サーフェイスレンダリング画像生成部202は、特定した神経線維の三次元位置を用いて、サーフェイスレンダリング法により三次元データを生成するとともに、レンダリング画像を生成する機能を有している。以下、拡散テンソル解析について説明する。
The surface rendering
サーフェイスレンダリング画像生成部202は、拡散テンソル解析を行うにあたり、DWIのそれぞれに付与された撮影条件を取得する機能を有している。DWIのそれぞれの撮影条件を取得するために、例えば、サーフェイスレンダリング画像生成部202は、MRI装置名又は製造元メーカー名が格納されているタグに基づいて、解析対象のDWIを撮影したMRI装置名又は当該装置の製造元メーカー名を取得可能に構成されている。そして、サーフェイスレンダリング画像生成部202は、MRI装置名又は製造元メーカー名に基づいて撮影条件のデータ格納位置を特定するために、タグ情報テーブルを参照可能に構成されている。タグ情報テーブルには、タグと当該タグが示す意味が対応付けされたテーブルが、MRI装置又は当該MRI装置の製造元メーカーごとに関連付けされて格納されている。サーフェイスレンダリング画像生成部202は、対象のDWIの撮影条件であるMPGの傾斜方向、傾斜方向の数及びb値を取得して、拡散テンソル解析を行う機能を有している。
The surface rendering
サーフェイスレンダリング画像生成部202は、複数のテンソル解析手法から選択されたテンソル解析手法でDTIを生成可能に構成されている。サーフェイスレンダリング画像生成部202は、例えば、入力デバイス109を介してユーザにより選択されたテンソル解析手法でDTIを生成可能に構成されている。例えば、サーフェイスレンダリング画像生成部202は、1テンソル解析手法又は2テンソル解析手法を実行可能に構成されている。ここで、1テンソル解析手法は、拡散の異方性を1つのテンソルを用いて1方向として表現するものであり、2テンソル解析手法は、拡散の異方性を2つのテンソルを用いて2方向として表現するものである。以上、サーフェイスレンダリング画像生成部202が拡散テンソル解析により神経線維の三次元位置を特定する場合について説明したが、サーフェイスレンダリングの対象はこれに限られるものではない。
The surface rendering
ボリュームレンダリング画像生成部203は、画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成する機能を有する。本実施形態では、サーフェイスレンダリング画像生成部202により出力されたDTIを用いてボリュームレンダリング法によりレンダリングする例を示す。例えば、ボリュームレンダリング画像生成部203は、複数のDTIを入力し、DTIのスカラー量がそれぞれ対応付けられたボクセルにより三次元画像モデルを構築するとともに、各ボクセルに対して不透明度等の表示属性をスカラー量に応じて付与する機能を有している。そして、ボリュームレンダリング画像生成部203は、視線方向に沿った光源減衰を全ボクセルで表現する。例えば、ボリュームレンダリング画像生成部203は、入射光源量とボクセルの有する不透明度とを乗算して当該ボクセルの輝度値を算出する。ボリュームレンダリング画像生成部203は、上記処理を視線方向に順次積算することによりボリュームレンダリング画像を生成する。
The volume rendering
サーフェイスレンダリング画像生成部202およびボリュームレンダリング画像生成部203が生成するレンダリング画像は、二次元配列の要素である。
The rendering images generated by the surface rendering
奥行情報取得部204は、三次元ボリュームデータに基づいて三次元空間における所定の視点位置から三次元ボリュームデータまでの長さを示す奥行情報を取得する。具体的には、奥行情報取得部204は、三次元ボリュームデータのうち不透明度が所定の値よりも大きいボクセルを特定し、所定の視点から当該ボクセルまでの距離を算出する。そして、奥行情報取得部204は、算出された距離を視線方向における生体組織までの距離(ボリュームレンダリングにおける視点から表面までの距離)として取得する。
The depth
奥行情報取得部204は、三次元ボリュームデータに基づいて三次元空間における所定の視点位置からサーフェイスレンダリング法で表示された神経線維までの長さ(第二の奥行情報)を算出する。
The depth
ここで、奥行情報は、例えば、仮想三次元空間において設定した仮想視点位置と、レンダリング画像面の対応する二次元配列の位置とを結ぶ線分を延長し、延長した線分とボリュームデータとが交わる位置を積算することにより求められる。また、奥行情報取得部204は、Zバッファ(デプスバッファ)の値を奥行情報として用いることができる。
Here, for example, the depth information is obtained by extending a line connecting the virtual viewpoint position set in the virtual three-dimensional space and the position of the corresponding two-dimensional array on the rendering image plane, It is obtained by integrating the intersecting positions. The depth
表示制御部205は、ボリュームレンダリング画像とサーフェイスレンダリング画像とを重畳表示させるように表示装置110への表示制御を行う。ここで、表示制御部205は、奥行情報取得部204が取得した奥行情報に基づいてサーフェイスレンダリング画像を表示させた後に、ボリュームレンダリング画像をサーフェイスレンダリング画像に対して重畳表示させる。表示制御部205は、当該表示制御により、三次元ボリュームデータの各ボクセルに設定された不透明度の値に依らず、視認性を損なわずに重畳表示させることができる。
The
次に、図3を用いて、奥行情報取得部204による奥行情報の取得処理について説明する。図3(a)は、不透明度が所定の閾値よりも高い場合の三次元ボリュームデータの奥行情報を示す図である。図3(b)は、不透明度が所定の閾値よりも低い場合の三次元ボリュームデータの奥行情報を示す図である。図3(c)は、神経線維の三次元データの奥行情報を示す図である。図3において、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の距離である。
Next, depth information acquisition processing by the depth
図3(a)のように、三次元ボリュームデータ301のボクセルの不透明度が所定の閾値よりも高い場合には、奥行情報302は正確に算出される。この場合、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の表面までの距離となる。
As shown in FIG. 3A, when the opacity of the voxel in the three-
次に、図3(b)のように、三次元ボリュームデータ301のボクセルの不透明度が所定の閾値よりも低い場合には、奥行情報302は正確に算出されない。つまり、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の背面までの距離となる。具体的な例として、頭蓋骨および脳細胞のボクセル値に対して、所定の閾値よりも低い不透明度が設定されている場合に、視点の基準位置から頭蓋骨の後頭部までの距離が、奥行情報302として設定される。
Next, as shown in FIG. 3B, when the opacity of the voxel of the three-
次に、図3(c)のように、サーフェイスレンダリングに用いる三次元データの場合には不透明度が存在しない。そのため、奥行情報取得部204は、三次元データの奥行情報(第二の奥行情報)を正確に算出することができる。
Next, as shown in FIG. 3C, there is no opacity in the case of three-dimensional data used for surface rendering. Therefore, the depth
ここで、不透明度の所定の閾値について説明する。例えば、所定の閾値が低く設定されすぎた場合には、入力デバイス109等でボリュームレンダリング画像の部位を選択する際の選択精度が低下するおそれがある。そのため、不透明度の所定の閾値を極端に小さくすることは好ましくなく、全ての不透明度において正確に奥行情報を設定可能とすることは困難である。
Here, the predetermined threshold value of opacity will be described. For example, if the predetermined threshold is set too low, the selection accuracy when selecting a part of the volume rendering image with the
次に、図4を用いて、奥行情報が図3(b)のように設定された場合であって、表示制御部205が、ボリュームレンダリング画像、サーフェイスレンダリング画像の順に表示制御を行う場合について説明する。図4は、表示装置110に表示されたレンダリング画像の一例である。
Next, a case where the depth information is set as shown in FIG. 3B and the
この場合に、表示装置110には、生体組織402の内部に存在するはずの神経線維401が、生体組織402の手前側に二次元表示されてしまう。
In this case, the
次に、図5を用いて、奥行情報が図3(b)のように設定された場合であって、表示制御部205が、サーフェイスレンダリング画像、ボリュームレンダリング画像の順に表示制御を行う場合について説明する。図5は、表示装置110に表示されたレンダリング画像の一例である。
Next, the case where the depth information is set as shown in FIG. 3B and the
この場合に、表示装置110に対し、生体組織502の内部に存在する神経線維501が、生体組織502の内部に正確に表示される。さらに、表示装置110に対して、神経線維501の画像に対して所定の不透明度の生体組織502の画像が重畳表示されている。当該表示制御により、三次元ボリュームデータの各ボクセルに設定された不透明度の値に依らず、視認性が高い重畳表示を行うことができる。 次に、図6を用いて、本実施形態におけるレンダリング画像の表示制御を説明する。なお、以下では説明を容易にするため、ユーザにより三次元表示の視線方向があらかじめ指定されているものとする。
In this case, the
S601において、医用画像処理装置100のサーフェイスレンダリング画像生成部202は、神経線維の三次元データに基づいてサーフェイスレンダリング画像の生成処理を実行する。S601の処理では、サーフェイスレンダリング画像生成部202が、ユーザにより指定された視線方向から神経線維を立体視可能なサーフェイスレンダリング画像をサーフェイスレンダリング法で生成する。サーフェイスレンダリング画像生成部202は、例えば拡散テンソルの固有値をRBGの三原色に割り当てて神経線維の表面の色に設定してもよい。あるいは、サーフェイスレンダリング画像生成部202は、ADC又はFA値を大きいほど赤くするように配色し神経線維の表面の色に設定してもよい。医用画像処理装置100は、S601の処理が終わると、ボリュームレンダリング画像の生成処理へ移行する(S602)
S602において、医用画像処理装置100のボリュームレンダリング画像生成部203が、ユーザにより指定された視線方向から生体組織を立体視可能なボリュームレンダリング画像をボリュームレンダリング法で生成する。医用画像処理装置100は、S602の処理が終了すると、重畳位置の算出処理へ移行する(S603)。
In step S <b> 601, the surface rendering
In step S <b> 602, the volume rendering
S603において、観察用画像生成部14が、S601の処理で得られた神経線維のサーフェイスレンダリング画像と、S602の処理で得られた画像との重畳位置をボクセルごとに決定する。S603の処理の詳細は、図7を用いて後述する。S603の処理が終了すると、サーフェイスレンダリング画像の表示制御処理へ移行する(S604)。 In S603, the observation image generation unit 14 determines, for each voxel, a superposition position between the surface rendering image of the nerve fiber obtained in the process of S601 and the image obtained in the process of S602. Details of the processing of S603 will be described later with reference to FIG. When the processing of S603 ends, the process proceeds to display control processing of the surface rendering image (S604).
S604において、医用画像処理装置100の表示制御部205が、S603の処理で決定された位置で、S601の処理において生成したサーフェイスレンダリング画像を表示装置110に表示させる。
In step S604, the
S605において、医用画像処理装置100の表示制御部205が、S603の処理で決定された位置で、S602の処理において生成したボリュームレンダリング画像を表示装置110に表示させる。
In step S605, the
次に、図7を用いて、図6に示す重畳位置の決定処理について詳細に説明する。 Next, the overlapping position determination process shown in FIG. 6 will be described in detail with reference to FIG.
S701において、奥行情報取得部204は、三次元ボリュームデータの奥行情報(第一の奥行情報)を取得する。
In S701, the depth
S702において、表示制御部205は、第一の奥行情報に基づいてサーフェイスレンダリング画像の表示位置を決定する。具体的には、表示制御部205は、神経線維の三次元データにおける各ボクセル値の奥行情報と、第一の奥行情報とを比較する。表示制御部205は、当該比較結果に基づいて、表示装置110に、サーフェイスレンダリング画像の各ボクセルを表示させるか否かを決定する。表示制御部205は、第一の奥行情報よりもサーフェイスレンダリング画像の各ボクセルの奥行方向の座標が大きい場合に、サーフェイスレンダリング画像のボクセルを表示させると決定する。換言すると、表示制御部205は、所定の視点位置から見て、第一の奥行情報よりも手前側にあると判断した場合に、サーフェイスレンダリング画像のボクセルを表示させると決定する。
In step S702, the
S703において、奥行情報取得部204は、サーフェイスレンダリング画像の奥行情報(第二の奥行情報)を取得する。
In S703, the depth
S704において、表示制御部205は、第二の奥行情報を用いてボリュームレンダリング画像の表示位置を決定する。具体的には、表示制御部205は、第二の奥行情報と、三次元ボリュームデータの各ボクセルの三次元位置を比較する。表示制御部205は、当該比較結果に基づいて、表示装置110に対して、サーフェイスレンダリング画像に対してボリュームレンダリング画像の各ボクセルを表示させるか否かを決定する。表示制御部205は、第二の奥行情報よりもボリュームレンダリング画像の各ボクセルの奥行方向の座標が大きい場合に、ボリュームレンダリング画像のボクセルを重畳表示させると決定する。換言すると、表示制御部205は、所定の視点位置から見て、サーフェイスレンダリング画像よりも手前側にあると判断した場合に、ボリュームレンダリング画像のボクセルを重畳表示させるともいえる。
In step S704, the
なお、S602において、ボリュームレンダリング画像生成部203は、第二の奥行情報よりも手前側の三次元ボリュームデータに基づいてボリュームレンダリング画像を生成してもよい。換言すると、ボリュームレンダリング画像生成部203は、第二の奥行情報よりも奥側の三次元ボリュームデータを用いずにボリュームレンダリング画像を生成する。この場合、ボリュームレンダリング画像の生成処理をより高速に行うことができる。
In S602, the volume rendering
また、本実施形態では、三次元ボリュームデータの内部に存在する神経線維を三次元データとして可視化しているがこれに限られるものではない。例えば、CT装置やMRI装置の三次元ボリュームデータで撮影されていない三次元データをサーフェイスレンダリング画像として重畳させて表現する場合に広く適用することができる。例えば、医用画像処理装置100は、血管にステントを入れた場合の動画表示の場合に、血管の画像に対してステントをサーフェイスレンダリング画像として重畳表示してもよい。あるいは、医用画像処理装置100は、心臓のバイパス手術のシミュレーションとして、心臓の画像に対してバイパスをサーフェイスレンダリング画像として重畳表示してもよい。あるいは、医用画像処理装置100は、血流の動きをシミュレーションする場合に、血管に対して血流の動きをサーフェイスレンダリング画像として重畳表示してもよい。医用画像処理装置100は、内視鏡画像の視野で血管に対して血流の動きをシミュレーションする場合に当該処理を適用してもよい。この場合に、表示制御部205は、ボリュームレンダリング画像生成部203とサーフェイスレンダリング画像生成部202のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、制御を切り替えてもよい。
In the present embodiment, nerve fibers existing inside the three-dimensional volume data are visualized as three-dimensional data, but the present invention is not limited to this. For example, the present invention can be widely applied to the case where three-dimensional data that has not been captured with the three-dimensional volume data of a CT apparatus or MRI apparatus is superimposed and expressed as a surface rendering image. For example, the medical
すなわち、表示制御部205は、所定の条件に応じて、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えるように制御してもよい。
That is, the
図8を用いて、サーフェイスレンダリング画像とボリュームレンダリング画像の表示順序の切り替え制御について説明する。 The switching control of the display order of the surface rendering image and the volume rendering image will be described with reference to FIG.
S801において、医用画像処理装置100は、三次元医用画像の表示条件を取得する。この場合、医用画像処理装置100は、三次元医用画像の表示条件を取得する条件取得部として機能する。また、当該機能は、外部メモリ111に記録されており、必要に応じてRAM103にロードされることによりCPU101によって実行されるものである。条件取得部は、表示条件として表示モードを取得する。また、当該表示モードは、入力デバイス109により入力される。ここで、表示モードには、予め複数の表示モードが設定可能である。また、それぞれの表示モードは、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれの画像を先に表示させるかを示す情報と対応づけられている。一例として、表示モードが、上述したMRIの神経線維を可視化するモードであれば、サーフェイスレンダリング画像を表示させた後に、ボリュームレンダリング画像を表示させる(以下、第一の表示モード)。一方で、表示モードが、上述した血管の画像に対してステントをサーフェイスレンダリング画像として重畳表示させる場合には、ボリュームレンダリング画像を表示させた後に、サーフェイスレンダリング画像を表示させる(以下、第二の表示モード)。つまり、医用画像処理装置100は、表示モードに基づいてユーザの視線から見て、本来手前にあるべきレンダリング画像を後から表示するように選択的に表示順序を切り替えている。このため、医用画像処理装置100は、条件取得部により取得した表示モードに基づいて、表示制御部205による表示順序を切り替えることが可能となる。
In step S <b> 801, the medical
次に、医用画像処理装置100は、S802からS804の処理を実行する。なお、S802からS804は、図6におけるS601からS603に対応する処理である。
Next, the medical
S805において、医用画像処理装置100は、取得した表示条件に基づいて、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれが手前にあるかを判定する。医用画像処理装置100は、取得した表示モードが第一の表示モードである場合に、ボリュームレンダリング画像が手前にあると判定するとともに、S806およびS807の処理を実行する。一方で、医用画像処理装置100は、取得した表示モードが第二の表示モードである場合に、サーフェイスレンダリング画像が手前にあると判定するとともに、S808およびS809の処理を実行する。なお、医用画像処理装置100は、第二の表示モードで表示する場合には、サーフェイスレンダリング画像に対して所定の不透明度を設定して表示してもよい。
In step S805, the medical
以上、本実施形態の医用画像処理装置は、異なるレンダリング法でレンダリングされた画像を重畳表示させる際の視認性を向上させることができる。 As described above, the medical image processing apparatus according to the present embodiment can improve the visibility when an image rendered by a different rendering method is superimposed and displayed.
なお、各実施形態は、コンピュータや制御コンピュータがプログラム(コンピュータプログラム)を実行することによって実現することもできる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータが読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も実施例として適用することができる。また、上記のプログラムも実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。 Each embodiment can also be realized by a computer or a control computer executing a program (computer program). Further, means for supplying a program to a computer, for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium such as the Internet for transmitting such a program can also be applied as an embodiment. . The above program can also be applied as an embodiment. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
以上、実施形態に基づいて詳述してきたが、これらの特定の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明の範疇に含まれる。さらに、上述した実施形態は一実施の形態を示すものにすぎず、上述した実施形態から容易に想像可能な発明も本発明の範疇に含まれる。 As mentioned above, although it explained in full detail based on embodiment, it is not restricted to these specific embodiment, Various forms of the range which does not deviate from the summary of invention are also included in the category of this invention. Furthermore, the above-described embodiment is merely an embodiment, and an invention that can be easily imagined from the above-described embodiment is also included in the scope of the present invention.
100 医用画像処理装置
201 画像入力部
202 サーフェイスレンダリング画像生成部
203 ボリュームレンダリング画像生成部
204 奥行情報取得部
205 表示制御部
DESCRIPTION OF
Claims (11)
前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、
三次元データに基づいてサーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、
三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、
前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、
を有することを特徴とする医用画像処理装置。 An image input unit for inputting three-dimensional volume data imaged by a medical image imaging device;
Volume rendering means for generating a volume rendering image based on the three-dimensional volume data input to the image input unit;
A surface rendering means for generating a surface rendering image based on the three-dimensional data;
Depth information acquisition means for acquiring depth information indicating a length from a predetermined viewpoint position in a three-dimensional space to the three-dimensional volume data;
Display control means for displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means;
A medical image processing apparatus comprising:
医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力工程と、
前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング工程と、
サーフェイスレンダリング画像を生成するサーフェイスレンダリング工程と、
前記三次元ボリュームデータに基づいて三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得工程と、
前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御工程と、
を有することを特徴とする医用画像処理装置の制御方法。 A method for controlling a medical image processing apparatus, comprising:
An image input process for inputting the three-dimensional volume data imaged by the medical imaging apparatus;
A volume rendering step for generating a volume rendering image based on the three-dimensional volume data input to the image input unit;
A surface rendering process for generating a surface rendering image;
A depth information acquisition step for acquiring depth information indicating a length from a predetermined viewpoint position in the three-dimensional space to the three-dimensional volume data based on the three-dimensional volume data;
A display control step of displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means;
A control method for a medical image processing apparatus, comprising:
医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、
前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、
サーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、
前記三次元ボリュームデータに基づいて三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、
前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、
して機能させることを特徴とするプログラム。 Medical image processing device
An image input unit for inputting three-dimensional volume data imaged by a medical image imaging device;
Volume rendering means for generating a volume rendering image based on the three-dimensional volume data input to the image input unit;
A surface rendering means for generating a surface rendering image;
Depth information acquisition means for acquiring depth information indicating a length from a predetermined viewpoint position in the three-dimensional space to the three-dimensional volume data based on the three-dimensional volume data;
Display control means for displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means;
A program characterized by making it function.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016229665 | 2016-11-28 | ||
JP2016229665 | 2016-11-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018089343A true JP2018089343A (en) | 2018-06-14 |
JP6933522B2 JP6933522B2 (en) | 2021-09-08 |
Family
ID=62564465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017144061A Active JP6933522B2 (en) | 2016-11-28 | 2017-07-26 | Medical image processing device, control method of medical image processing device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6933522B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612461A (en) * | 2022-03-24 | 2022-06-10 | 数坤(北京)网络科技股份有限公司 | Image processing method, image processing device, storage medium and electronic equipment |
US11481956B2 (en) | 2019-02-20 | 2022-10-25 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing method using depth-dependent transmittance and opacity information |
CN116721186A (en) * | 2023-08-10 | 2023-09-08 | 北京红棉小冰科技有限公司 | Drawing image generation method and device, electronic equipment and storage medium |
WO2024034996A1 (en) * | 2022-08-12 | 2024-02-15 | 아주대학교산학협력단 | Method and device for providing surgical simulation |
-
2017
- 2017-07-26 JP JP2017144061A patent/JP6933522B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11481956B2 (en) | 2019-02-20 | 2022-10-25 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing method using depth-dependent transmittance and opacity information |
CN114612461A (en) * | 2022-03-24 | 2022-06-10 | 数坤(北京)网络科技股份有限公司 | Image processing method, image processing device, storage medium and electronic equipment |
WO2024034996A1 (en) * | 2022-08-12 | 2024-02-15 | 아주대학교산학협력단 | Method and device for providing surgical simulation |
CN116721186A (en) * | 2023-08-10 | 2023-09-08 | 北京红棉小冰科技有限公司 | Drawing image generation method and device, electronic equipment and storage medium |
CN116721186B (en) * | 2023-08-10 | 2023-12-01 | 北京红棉小冰科技有限公司 | Drawing image generation method and device, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6933522B2 (en) | 2021-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740642B2 (en) | Image display control device, method, and program | |
Abhari et al. | Training for planning tumour resection: augmented reality and human factors | |
JP6933522B2 (en) | Medical image processing device, control method of medical image processing device, and program | |
US9808213B2 (en) | Image processing apparatus, image processing method, medical image diagnostic system, and storage medium | |
CN107980148B (en) | System and method for fusing images to account for motion compensation | |
US9612657B2 (en) | 3D-volume viewing by controlling sight depth | |
JP5417609B2 (en) | Medical diagnostic imaging equipment | |
CN110072436B (en) | Simplified navigation of spine medical imaging data | |
US11961193B2 (en) | Method for controlling a display, computer program and mixed reality display device | |
US10796498B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
EP3295423A1 (en) | Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data | |
ITUB20155830A1 (en) | "NAVIGATION, TRACKING AND GUIDE SYSTEM FOR THE POSITIONING OF OPERATOR INSTRUMENTS" | |
JP2020199328A (en) | Medical image processing method, medical image processing device, medical image processing system, and medical image processing program | |
US20150243055A1 (en) | Image Display Device And Method, And Medium Containing Program | |
KR20160087772A (en) | Method for an exchange of data between a medical imaging apparatus and a user and a medical imaging apparatus therefor | |
US10699424B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium with generation of deformed images | |
Hachaj et al. | Visualization of perfusion abnormalities with GPU-based volume rendering | |
Yuan et al. | Extended reality for biomedicine | |
WO2016035312A1 (en) | Assistance apparatus for assisting interpretation report creation and method for controlling the same | |
Aschke et al. | Augmented reality in operating microscopes for neurosurgical interventions | |
JP2012075728A (en) | Medical image display device and projection image generation method using the same | |
JP2012034772A (en) | Image processor | |
Bohak et al. | Neck veins: an interactive 3D visualization of head veins | |
CN109598752A (en) | Image processing apparatus and its control method, computer readable storage medium | |
US11967073B2 (en) | Method for displaying a 3D model of a patient |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180719 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180730 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20200130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6933522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |