JP2018089343A - Medical image processing apparatus, control method and program of medical image processing apparatus - Google Patents

Medical image processing apparatus, control method and program of medical image processing apparatus Download PDF

Info

Publication number
JP2018089343A
JP2018089343A JP2017144061A JP2017144061A JP2018089343A JP 2018089343 A JP2018089343 A JP 2018089343A JP 2017144061 A JP2017144061 A JP 2017144061A JP 2017144061 A JP2017144061 A JP 2017144061A JP 2018089343 A JP2018089343 A JP 2018089343A
Authority
JP
Japan
Prior art keywords
image
depth information
dimensional
processing apparatus
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017144061A
Other languages
Japanese (ja)
Other versions
JP6933522B2 (en
Inventor
祐介 今杉
Yusuke Imasugi
祐介 今杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon Medical Systems Corp
Original Assignee
Canon Marketing Japan Inc
Aze Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Aze Ltd filed Critical Canon Marketing Japan Inc
Publication of JP2018089343A publication Critical patent/JP2018089343A/en
Application granted granted Critical
Publication of JP6933522B2 publication Critical patent/JP6933522B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the visibility at the time of overlappingly displaying images displayed in the different rendering methods in a medical image processing apparatus.SOLUTION: A medical image processing apparatus includes: an image input unit which inputs three-dimensional volume data imaged by a medical imaging apparatus; volume rendering means which generates a volume rendering image on the basis of the three-dimensional volume data input to the image input unit; surface rendering means which generates a surface rendering image on the basis of the three-dimensional data; depth information acquisition means which acquires depth information indicating the length from the prescribed view point position to the three-dimensional volume data in the three-dimensional space; and display control means which overlappingly displays the volume rendering image with respect to the surface rendering image after displaying the surface rendering image on the basis of the depth information acquired by the depth information acquisition means.SELECTED DRAWING: Figure 6

Description

本発明は、3次元画像の医用画像処理装置、医用画像処理装置の制御方法、及びプログラムに関する。   The present invention relates to a medical image processing apparatus for a three-dimensional image, a control method for the medical image processing apparatus, and a program.

従来の医用画像処理装置として、生体の神経線維(白質繊維)の延在方向を追跡して表示するものが知られている。医用画像処理装置は、例えば、核磁気共鳴画像法(MRI:Magnetic Resonance Imaging)装置によって撮影された拡散強調画像(DWI:Diffusion-Weighted Imaging)を用いて神経線維の走行を解析する。そして、医用画像処理装置は、当該神経線維の解析結果とMRI装置で撮影された生体組織とを三次元表示により可視化し、これらを重畳させて表示する。   As a conventional medical image processing apparatus, an apparatus that tracks and displays the extending direction of a nerve fiber (white matter fiber) in a living body is known. The medical image processing apparatus analyzes the running of nerve fibers using, for example, a diffusion-weighted image (DWI) taken by a nuclear magnetic resonance imaging (MRI) apparatus. Then, the medical image processing apparatus visualizes the analysis result of the nerve fiber and the living tissue imaged by the MRI apparatus by a three-dimensional display, and displays them by superimposing them.

特許文献1には、神経線維を示す3次元データと生体組織を含む3次元データとをそれぞれ異なるレンダリング法でレンダリングを行い、重畳表示を行う医用画像処理装置が開示されている。当該医用画像処理装置は、ボリュームレンダリング法で表示された生体組織のボクセルのうち、視点位置から所定の不透明度以上のボクセルまでの距離を算出する。そして、医用画像処理装置は、当該算出した距離を用いて神経線維をレンダリングした画像の表示位置を特定する。   Patent Document 1 discloses a medical image processing apparatus that performs rendering by rendering three-dimensional data indicating nerve fibers and three-dimensional data including biological tissue by different rendering methods. The medical image processing apparatus calculates a distance from a viewpoint position to a voxel having a predetermined opacity or higher among voxels of a living tissue displayed by the volume rendering method. Then, the medical image processing apparatus specifies the display position of the image obtained by rendering the nerve fiber using the calculated distance.

特開2012−34772号公報JP 2012-34772 A

しかしながら、特許文献1の医用画像処理装置の算出方法では、ボクセルの不透明度の設定によっては、視点位置からボクセルまでの距離が正確に算出されない場合がある。このため、ボリュームレンダリング法で表示された生体組織の画像と他のレンダリング方法で表示される神経線維の画像とが誤った位置関係で重畳表示されるおそれがあった。そこで、本発明は、上記課題に鑑み、医用画像処理装置において、異なるレンダリング法でレンダリングされた画像を重畳表示させる際の視認性を向上させることを目的とする。   However, in the calculation method of the medical image processing apparatus of Patent Document 1, the distance from the viewpoint position to the voxel may not be accurately calculated depending on the setting of the opacity of the voxel. For this reason, there is a possibility that an image of a living tissue displayed by the volume rendering method and a nerve fiber image displayed by another rendering method are superimposed and displayed with an incorrect positional relationship. In view of the above problems, an object of the present invention is to improve visibility when an image rendered by a different rendering method is displayed in a superimposed manner in a medical image processing apparatus.

上記の目的を達成するために本発明の医用画像処理装置は、医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、サーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、を有することを特徴とする。   In order to achieve the above object, a medical image processing apparatus according to the present invention includes an image input unit that inputs three-dimensional volume data captured by a medical image capturing device, and three-dimensional volume data input to the image input unit. Volume rendering means for generating a volume rendering image based thereon, surface rendering means for generating a surface rendering image, and depth information for acquiring depth information indicating a length from a predetermined viewpoint position to the three-dimensional volume data in a three-dimensional space Information display means, and display control means for displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means, It is characterized by having

本発明によれば、医用画像処理装置において、異なるレンダリング法で表示された画像を重畳表示させる際の視認性を向上させることができる。   According to the present invention, in a medical image processing apparatus, it is possible to improve the visibility when images displayed by different rendering methods are superimposed and displayed.

本実施形態における医用画像診断装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the medical image diagnostic apparatus in this embodiment. 本実施形態における医用画像診断装置の機能を示す図である。It is a figure which shows the function of the medical image diagnostic apparatus in this embodiment. 重畳表示が適切でない場合の一例を示す図である。It is a figure which shows an example when a superimposed display is not appropriate. 適切に重畳表示がなされた場合の一例を示す図である。It is a figure which shows an example at the time of performing a superimposition display appropriately. 本実施形態における奥行情報取得部が取得する奥行情報を示す図である。It is a figure which shows the depth information which the depth information acquisition part in this embodiment acquires. 本実施形態における医用画像診断装置の解析・表示処理を示すフローチャートである。It is a flowchart which shows the analysis / display process of the medical image diagnostic apparatus in this embodiment. 本実施形態における重畳位置の決定処理を示すフローチャートである。It is a flowchart which shows the determination process of the superimposition position in this embodiment. 本実施形態における画像の表示順序の切り替え処理を示すフローチャートである。It is a flowchart which shows the switching process of the display order of the image in this embodiment.

以下、図面を参照して、本実施形態を詳細に説明する。   Hereinafter, this embodiment will be described in detail with reference to the drawings.

図1は、医用画像処理装置100のハードウェア構成の一例を示す図である。尚、図1に示す医用画像処理装置100のハードウェア構成はこれに限らない。   FIG. 1 is a diagram illustrating an example of a hardware configuration of the medical image processing apparatus 100. Note that the hardware configuration of the medical image processing apparatus 100 shown in FIG. 1 is not limited to this.

医用画像処理装置100は、パーソナルコンピュータ等の汎用コンピュータである。医用画像処理装置100は、CT装置やMRI等で断層撮影することで得られた二次元の医用画像(以下、二次元医用画像という。)を積層してボリュームデータ(三次元データ)を生成する。尚、この二次元医用画像はDICOM(Digital Imaging and COmmunication in Medicine)画像である。そして、ボリュームデータに対してボリュームレンダリングを行うことで生成された三次元の医用画像(以下、三次元医用画像という。)を表示することができる。医用画像処理装置100は、いわゆるパーソナルコンピュータであってもよいしサーバであってもよいが、ワークステーションのような医用画像を処理するために特化したコンピュータであることが望ましい。また、医用画像処理装置100はタッチパネルを備えるタブレット端末や携帯端末であってもよい。   The medical image processing apparatus 100 is a general-purpose computer such as a personal computer. The medical image processing apparatus 100 generates volume data (three-dimensional data) by stacking two-dimensional medical images (hereinafter referred to as two-dimensional medical images) obtained by tomography with a CT apparatus, MRI, or the like. . The two-dimensional medical image is a DICOM (Digital Imaging and Communication in Medicine) image. Then, it is possible to display a three-dimensional medical image (hereinafter referred to as a three-dimensional medical image) generated by performing volume rendering on the volume data. The medical image processing apparatus 100 may be a so-called personal computer or a server, but is preferably a computer specialized for processing medical images such as a workstation. Further, the medical image processing apparatus 100 may be a tablet terminal or a portable terminal that includes a touch panel.

CPU101は、システムバス104に接続される各デバイスやコントローラを統括的に制御する。   The CPU 101 comprehensively controls each device and controller connected to the system bus 104.

また、ROM102あるいは外部メモリ111には、CPU101の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステムプログラムが記憶されている。また外部メモリ111には、各機能を実現するために必要な各種プログラム等が記憶されている。RAM103は、CPU101の主メモリ、ワークエリア等として機能する。   Further, the ROM 102 or the external memory 111 stores a basic input / output system (BIOS) that is a control program of the CPU 101 and an operating system program. The external memory 111 stores various programs necessary for realizing each function. The RAM 103 functions as a main memory, work area, and the like for the CPU 101.

CPU101は、処理の実行に際して必要なプログラム等をRAM103にロードして、プログラムを実行することで各種動作を実現するものである。   The CPU 101 implements various operations by loading a program or the like necessary for execution of processing into the RAM 103 and executing the program.

また、入力コントローラ105は、キーボードやマウス等のポインティングデバイスといった入力デバイス109からの入力を制御する。   The input controller 105 controls input from an input device 109 such as a keyboard or a pointing device such as a mouse.

ビデオコントローラ106は、表示装置110等の表示器への表示を制御する。表示器はCRTや液晶表示装置でも構わない。   The video controller 106 controls display on a display device such as the display device 110. The display device may be a CRT or a liquid crystal display device.

メモリコントローラ107は、ハードディスクやフレキシブルディスク或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ111へのアクセスを制御する。外部メモリ111(記憶手段)は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する。   The memory controller 107 controls access to the external memory 111 such as a hard disk, a flexible disk, or a card type memory connected to the PCMCIA card slot via an adapter. The external memory 111 (storage means) stores a boot program, browser software, various applications, font data, user files, editing files, various data, and the like.

通信I/Fコントローラ108は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。   The communication I / F controller 108 is connected to and communicates with an external device via a network, and executes communication control processing on the network. For example, Internet communication using TCP / IP is possible.

尚、CPU101は、例えばRAM103内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、表示装置110上での表示を可能としている。また、CPU101は、表示装置110上の不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 101 can perform display on the display device 110 by executing outline font rasterization processing on a display information area in the RAM 103, for example. Further, the CPU 101 enables a user instruction with a mouse cursor (not shown) on the display device 110.

本実施形態における医用画像処理装置100が後述する各種処理を実行するために用いられる各種プログラム等は、外部メモリ111に記録されており、必要に応じてRAM103にロードされることによりCPU101によって実行されるものである。さらに、本実施形態におけるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ111に格納されている。   Various programs and the like used by the medical image processing apparatus 100 in the present embodiment to execute various processes to be described later are recorded in the external memory 111 and are executed by the CPU 101 by being loaded into the RAM 103 as necessary. Is. Furthermore, definition files and various information tables used by the program in the present embodiment are stored in the external memory 111.

図2は、医用画像処理装置100の機能構成の一例を示す図である。尚、図2に示す各機能は、図1に示す各ハードウェアや各種プログラム等により実現される構成要素である。また、医用画像処理装置100の機能構成は、これに限らない。   FIG. 2 is a diagram illustrating an example of a functional configuration of the medical image processing apparatus 100. Each function shown in FIG. 2 is a component realized by each hardware and various programs shown in FIG. The functional configuration of the medical image processing apparatus 100 is not limited to this.

医用画像処理装置100は、画像入力部201と、サーフェイスレンダリング画像生成部202と、ボリュームレンダリング画像生成部203と、奥行情報取得部204と、表示制御部205と、を備える。   The medical image processing apparatus 100 includes an image input unit 201, a surface rendering image generation unit 202, a volume rendering image generation unit 203, a depth information acquisition unit 204, and a display control unit 205.

画像入力部201は、医用画像撮影装置で撮影された三次元ボリュームデータを入力する機能部である。医用画像撮影装置は、医用モダリティであり、CT装置、MRI装置等を含む。   The image input unit 201 is a functional unit that inputs 3D volume data captured by a medical image capturing apparatus. The medical imaging apparatus is a medical modality and includes a CT apparatus, an MRI apparatus, and the like.

三次元のボリュームデータは、通常、三次元配列で、各配列の要素は8から16ビットの整数値や浮動小数のデータで粟原される。画像入力部201は、外部メモリ111を参照し、外部メモリ111に格納された画像を入力可能に構成されている。外部メモリ111には、例えば、MRI装置で撮影された複数の画像が格納されている。例えば、複数の画像は、T1強調画像、T2強調画像、DWI等である。   The three-dimensional volume data is usually a three-dimensional array, and the elements of each array are represented by 8 to 16-bit integer values or floating-point data. The image input unit 201 is configured to be able to input an image stored in the external memory 111 with reference to the external memory 111. In the external memory 111, for example, a plurality of images taken with an MRI apparatus are stored. For example, the plurality of images are a T1-weighted image, a T2-weighted image, a DWI, and the like.

T1強調画像は、生体組織に含まれるプロトンの縦緩和時間が強調された画像である。T2強調画像は、生体組織に含まれるプロトンの横緩和時間が強調された画像である。DWIは、所定の方向から印加された一対の勾配磁場によって生体組織に含まれるプロトンに生じたスピン位相の乱れが画像化されたものである。外部メモリ111は、MRI装置で撮影された画像に限られるものでなく、CT装置等で撮影された画像を記憶していてもよい。   The T1-weighted image is an image in which the longitudinal relaxation time of protons contained in the biological tissue is emphasized. The T2-weighted image is an image in which the transverse relaxation time of protons included in the biological tissue is emphasized. The DWI is an image of disturbance of spin phase generated in protons contained in a living tissue by a pair of gradient magnetic fields applied from a predetermined direction. The external memory 111 is not limited to an image photographed with an MRI apparatus, and may store an image photographed with a CT apparatus or the like.

外部メモリ111に格納された画像は、例えばDICOM規格に準拠した形式の画像データである。DICOM規格においては、所定のタグで示すデータ格納位置に、当該画像を撮影したMRI装置名、型番又は製造元メーカー名等を格納する。なお、DWIの撮影条件については、MRI装置又は製造元メーカーごとに異なる位置に格納される。撮影条件には、例えば、MPGの傾斜方向(Gradient Orientation)、傾斜方向の数、及びMPGの影響の強さを示すb値が含まれている。   The image stored in the external memory 111 is, for example, image data in a format conforming to the DICOM standard. In the DICOM standard, the name, model number, manufacturer name, or the like of the MRI apparatus that captured the image is stored in a data storage position indicated by a predetermined tag. Note that DWI imaging conditions are stored at different positions for each MRI apparatus or manufacturer. The imaging conditions include, for example, an MPG tilt direction (Gradient Orientation), the number of tilt directions, and a b value indicating the strength of the influence of MPG.

画像入力部201は、観察対象となる生体組織が撮影された複数のDWI及びT2強調画像を入力する機能を有している。そして、画像入力部201は、入力した画像をサーフェイスレンダリング画像生成部202や、ボリュームレンダリング画像生成部203へ出力する機能を有している。   The image input unit 201 has a function of inputting a plurality of DWI and T2-weighted images obtained by photographing a living tissue to be observed. The image input unit 201 has a function of outputting the input image to the surface rendering image generation unit 202 and the volume rendering image generation unit 203.

入力デバイス109は、ユーザ操作を入力する機能を有している。例えば、入力デバイス109は、マウスやキーボード等のユーザインターフェイスである。そして、入力デバイス109は、ユーザ操作によって指定された後述する始点領域、終端領域、回避領域、テンソル解析手法、マウスのポイント位置等を入力する機能を有している。   The input device 109 has a function of inputting a user operation. For example, the input device 109 is a user interface such as a mouse or a keyboard. The input device 109 has a function of inputting a start point area, an end area, an avoidance area, a tensor analysis method, a mouse point position, and the like, which are specified by a user operation, which will be described later.

サーフェイスレンダリング画像生成部202は、複数のDWI及びT2強調画像を用いて拡散テンソル解析を行い、拡散テンソル画像(DTI:Diffusion Tensor Imaging)を生成する機能を有している。そして、サーフェイスレンダリング画像生成部202は、拡散テンソル画像から神経線維の延在方向を追跡し、神経線維の三次元位置を特定する。サーフェイスレンダリング画像生成部202は、特定した神経線維の三次元位置を用いて、サーフェイスレンダリング法により三次元データを生成するとともに、レンダリング画像を生成する機能を有している。以下、拡散テンソル解析について説明する。   The surface rendering image generation unit 202 has a function of performing a diffusion tensor analysis using a plurality of DWI and T2-weighted images and generating a diffusion tensor image (DTI: Diffusion Tensor Imaging). Then, the surface rendering image generation unit 202 tracks the extending direction of the nerve fiber from the diffusion tensor image, and specifies the three-dimensional position of the nerve fiber. The surface rendering image generation unit 202 has a function of generating a rendering image while generating three-dimensional data by the surface rendering method using the identified three-dimensional position of the nerve fiber. Hereinafter, diffusion tensor analysis will be described.

サーフェイスレンダリング画像生成部202は、拡散テンソル解析を行うにあたり、DWIのそれぞれに付与された撮影条件を取得する機能を有している。DWIのそれぞれの撮影条件を取得するために、例えば、サーフェイスレンダリング画像生成部202は、MRI装置名又は製造元メーカー名が格納されているタグに基づいて、解析対象のDWIを撮影したMRI装置名又は当該装置の製造元メーカー名を取得可能に構成されている。そして、サーフェイスレンダリング画像生成部202は、MRI装置名又は製造元メーカー名に基づいて撮影条件のデータ格納位置を特定するために、タグ情報テーブルを参照可能に構成されている。タグ情報テーブルには、タグと当該タグが示す意味が対応付けされたテーブルが、MRI装置又は当該MRI装置の製造元メーカーごとに関連付けされて格納されている。サーフェイスレンダリング画像生成部202は、対象のDWIの撮影条件であるMPGの傾斜方向、傾斜方向の数及びb値を取得して、拡散テンソル解析を行う機能を有している。   The surface rendering image generation unit 202 has a function of acquiring imaging conditions assigned to each DWI when performing diffusion tensor analysis. In order to acquire each imaging condition of the DWI, for example, the surface rendering image generation unit 202, based on the tag storing the name of the MRI apparatus or the manufacturer of the manufacturer, the name of the MRI apparatus that captured the analysis target DWI or It is configured to be able to acquire the manufacturer name of the device. The surface rendering image generation unit 202 is configured to be able to refer to the tag information table in order to specify the data storage position of the imaging condition based on the MRI apparatus name or the manufacturer name. In the tag information table, a table in which the tag and the meaning indicated by the tag are associated is stored in association with each MRI apparatus or each manufacturer of the MRI apparatus. The surface rendering image generation unit 202 has a function of acquiring the MPG tilt direction, the number of tilt directions, and the b value, which are imaging conditions of the target DWI, and performing diffusion tensor analysis.

サーフェイスレンダリング画像生成部202は、複数のテンソル解析手法から選択されたテンソル解析手法でDTIを生成可能に構成されている。サーフェイスレンダリング画像生成部202は、例えば、入力デバイス109を介してユーザにより選択されたテンソル解析手法でDTIを生成可能に構成されている。例えば、サーフェイスレンダリング画像生成部202は、1テンソル解析手法又は2テンソル解析手法を実行可能に構成されている。ここで、1テンソル解析手法は、拡散の異方性を1つのテンソルを用いて1方向として表現するものであり、2テンソル解析手法は、拡散の異方性を2つのテンソルを用いて2方向として表現するものである。以上、サーフェイスレンダリング画像生成部202が拡散テンソル解析により神経線維の三次元位置を特定する場合について説明したが、サーフェイスレンダリングの対象はこれに限られるものではない。   The surface rendering image generation unit 202 is configured to be able to generate a DTI using a tensor analysis method selected from a plurality of tensor analysis methods. The surface rendering image generation unit 202 is configured to be able to generate a DTI by a tensor analysis method selected by the user via the input device 109, for example. For example, the surface rendering image generation unit 202 is configured to be able to execute a 1 tensor analysis method or a 2 tensor analysis method. Here, the 1 tensor analysis method expresses the diffusion anisotropy as one direction using one tensor, and the 2 tensor analysis method uses the two tensors to express the diffusion anisotropy in two directions. Is expressed as As described above, the case where the surface rendering image generation unit 202 specifies the three-dimensional position of the nerve fiber by the diffusion tensor analysis has been described, but the target of the surface rendering is not limited to this.

ボリュームレンダリング画像生成部203は、画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成する機能を有する。本実施形態では、サーフェイスレンダリング画像生成部202により出力されたDTIを用いてボリュームレンダリング法によりレンダリングする例を示す。例えば、ボリュームレンダリング画像生成部203は、複数のDTIを入力し、DTIのスカラー量がそれぞれ対応付けられたボクセルにより三次元画像モデルを構築するとともに、各ボクセルに対して不透明度等の表示属性をスカラー量に応じて付与する機能を有している。そして、ボリュームレンダリング画像生成部203は、視線方向に沿った光源減衰を全ボクセルで表現する。例えば、ボリュームレンダリング画像生成部203は、入射光源量とボクセルの有する不透明度とを乗算して当該ボクセルの輝度値を算出する。ボリュームレンダリング画像生成部203は、上記処理を視線方向に順次積算することによりボリュームレンダリング画像を生成する。   The volume rendering image generation unit 203 has a function of generating a volume rendering image based on the three-dimensional volume data input to the image input unit. In the present embodiment, an example of rendering by the volume rendering method using the DTI output by the surface rendering image generation unit 202 is shown. For example, the volume rendering image generation unit 203 inputs a plurality of DTIs, constructs a three-dimensional image model with voxels each associated with a DTI scalar quantity, and sets display attributes such as opacity for each voxel. It has a function to be given according to the scalar quantity. Then, the volume rendering image generation unit 203 expresses light source attenuation along the line-of-sight direction with all voxels. For example, the volume rendering image generation unit 203 calculates the luminance value of the voxel by multiplying the incident light source amount and the opacity of the voxel. The volume rendering image generation unit 203 generates a volume rendering image by sequentially integrating the above processes in the line-of-sight direction.

サーフェイスレンダリング画像生成部202およびボリュームレンダリング画像生成部203が生成するレンダリング画像は、二次元配列の要素である。   The rendering images generated by the surface rendering image generation unit 202 and the volume rendering image generation unit 203 are two-dimensional array elements.

奥行情報取得部204は、三次元ボリュームデータに基づいて三次元空間における所定の視点位置から三次元ボリュームデータまでの長さを示す奥行情報を取得する。具体的には、奥行情報取得部204は、三次元ボリュームデータのうち不透明度が所定の値よりも大きいボクセルを特定し、所定の視点から当該ボクセルまでの距離を算出する。そして、奥行情報取得部204は、算出された距離を視線方向における生体組織までの距離(ボリュームレンダリングにおける視点から表面までの距離)として取得する。   The depth information acquisition unit 204 acquires depth information indicating the length from a predetermined viewpoint position to the three-dimensional volume data in the three-dimensional space based on the three-dimensional volume data. Specifically, the depth information acquisition unit 204 identifies a voxel having an opacity greater than a predetermined value from the three-dimensional volume data, and calculates a distance from the predetermined viewpoint to the voxel. Then, the depth information acquisition unit 204 acquires the calculated distance as a distance to the living tissue in the line-of-sight direction (a distance from the viewpoint to the surface in volume rendering).

奥行情報取得部204は、三次元ボリュームデータに基づいて三次元空間における所定の視点位置からサーフェイスレンダリング法で表示された神経線維までの長さ(第二の奥行情報)を算出する。   The depth information acquisition unit 204 calculates the length from the predetermined viewpoint position in the three-dimensional space to the nerve fiber displayed by the surface rendering method (second depth information) based on the three-dimensional volume data.

ここで、奥行情報は、例えば、仮想三次元空間において設定した仮想視点位置と、レンダリング画像面の対応する二次元配列の位置とを結ぶ線分を延長し、延長した線分とボリュームデータとが交わる位置を積算することにより求められる。また、奥行情報取得部204は、Zバッファ(デプスバッファ)の値を奥行情報として用いることができる。   Here, for example, the depth information is obtained by extending a line connecting the virtual viewpoint position set in the virtual three-dimensional space and the position of the corresponding two-dimensional array on the rendering image plane, It is obtained by integrating the intersecting positions. The depth information acquisition unit 204 can use the value of the Z buffer (depth buffer) as the depth information.

表示制御部205は、ボリュームレンダリング画像とサーフェイスレンダリング画像とを重畳表示させるように表示装置110への表示制御を行う。ここで、表示制御部205は、奥行情報取得部204が取得した奥行情報に基づいてサーフェイスレンダリング画像を表示させた後に、ボリュームレンダリング画像をサーフェイスレンダリング画像に対して重畳表示させる。表示制御部205は、当該表示制御により、三次元ボリュームデータの各ボクセルに設定された不透明度の値に依らず、視認性を損なわずに重畳表示させることができる。   The display control unit 205 performs display control on the display device 110 so as to superimpose and display the volume rendering image and the surface rendering image. Here, the display control unit 205 displays the surface rendering image based on the depth information acquired by the depth information acquisition unit 204 and then superimposes the volume rendering image on the surface rendering image. With the display control, the display control unit 205 can superimpose and display without impairing visibility regardless of the opacity value set for each voxel of the three-dimensional volume data.

次に、図3を用いて、奥行情報取得部204による奥行情報の取得処理について説明する。図3(a)は、不透明度が所定の閾値よりも高い場合の三次元ボリュームデータの奥行情報を示す図である。図3(b)は、不透明度が所定の閾値よりも低い場合の三次元ボリュームデータの奥行情報を示す図である。図3(c)は、神経線維の三次元データの奥行情報を示す図である。図3において、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の距離である。   Next, depth information acquisition processing by the depth information acquisition unit 204 will be described with reference to FIG. FIG. 3A is a diagram illustrating the depth information of the three-dimensional volume data when the opacity is higher than a predetermined threshold. FIG. 3B is a diagram illustrating the depth information of the three-dimensional volume data when the opacity is lower than a predetermined threshold. FIG.3 (c) is a figure which shows the depth information of the three-dimensional data of a nerve fiber. In FIG. 3, depth information 302 is the distance from the reference position (projection plane) 300 of the viewpoint to the three-dimensional volume data 301.

図3(a)のように、三次元ボリュームデータ301のボクセルの不透明度が所定の閾値よりも高い場合には、奥行情報302は正確に算出される。この場合、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の表面までの距離となる。   As shown in FIG. 3A, when the opacity of the voxel in the three-dimensional volume data 301 is higher than a predetermined threshold, the depth information 302 is calculated accurately. In this case, the depth information 302 is a distance from the viewpoint reference position (projection plane) 300 to the surface of the three-dimensional volume data 301.

次に、図3(b)のように、三次元ボリュームデータ301のボクセルの不透明度が所定の閾値よりも低い場合には、奥行情報302は正確に算出されない。つまり、奥行情報302は、視点の基準位置(投影面)300から三次元ボリュームデータ301の背面までの距離となる。具体的な例として、頭蓋骨および脳細胞のボクセル値に対して、所定の閾値よりも低い不透明度が設定されている場合に、視点の基準位置から頭蓋骨の後頭部までの距離が、奥行情報302として設定される。   Next, as shown in FIG. 3B, when the opacity of the voxel of the three-dimensional volume data 301 is lower than a predetermined threshold, the depth information 302 is not accurately calculated. That is, the depth information 302 is a distance from the reference position (projection plane) 300 of the viewpoint to the back surface of the three-dimensional volume data 301. As a specific example, when opacity lower than a predetermined threshold is set for the voxel values of the skull and brain cells, the distance from the reference position of the viewpoint to the back of the skull is the depth information 302. Is set.

次に、図3(c)のように、サーフェイスレンダリングに用いる三次元データの場合には不透明度が存在しない。そのため、奥行情報取得部204は、三次元データの奥行情報(第二の奥行情報)を正確に算出することができる。   Next, as shown in FIG. 3C, there is no opacity in the case of three-dimensional data used for surface rendering. Therefore, the depth information acquisition unit 204 can accurately calculate the depth information (second depth information) of the three-dimensional data.

ここで、不透明度の所定の閾値について説明する。例えば、所定の閾値が低く設定されすぎた場合には、入力デバイス109等でボリュームレンダリング画像の部位を選択する際の選択精度が低下するおそれがある。そのため、不透明度の所定の閾値を極端に小さくすることは好ましくなく、全ての不透明度において正確に奥行情報を設定可能とすることは困難である。   Here, the predetermined threshold value of opacity will be described. For example, if the predetermined threshold is set too low, the selection accuracy when selecting a part of the volume rendering image with the input device 109 or the like may be reduced. Therefore, it is not preferable to make the predetermined threshold value of opacity extremely small, and it is difficult to set depth information accurately in all opacity levels.

次に、図4を用いて、奥行情報が図3(b)のように設定された場合であって、表示制御部205が、ボリュームレンダリング画像、サーフェイスレンダリング画像の順に表示制御を行う場合について説明する。図4は、表示装置110に表示されたレンダリング画像の一例である。   Next, a case where the depth information is set as shown in FIG. 3B and the display control unit 205 performs display control in the order of the volume rendering image and the surface rendering image will be described with reference to FIG. To do. FIG. 4 is an example of a rendered image displayed on the display device 110.

この場合に、表示装置110には、生体組織402の内部に存在するはずの神経線維401が、生体組織402の手前側に二次元表示されてしまう。   In this case, the nerve fiber 401 that should exist inside the living tissue 402 is two-dimensionally displayed on the front side of the living tissue 402 on the display device 110.

次に、図5を用いて、奥行情報が図3(b)のように設定された場合であって、表示制御部205が、サーフェイスレンダリング画像、ボリュームレンダリング画像の順に表示制御を行う場合について説明する。図5は、表示装置110に表示されたレンダリング画像の一例である。   Next, the case where the depth information is set as shown in FIG. 3B and the display control unit 205 performs display control in the order of the surface rendering image and the volume rendering image will be described with reference to FIG. To do. FIG. 5 is an example of a rendered image displayed on the display device 110.

この場合に、表示装置110に対し、生体組織502の内部に存在する神経線維501が、生体組織502の内部に正確に表示される。さらに、表示装置110に対して、神経線維501の画像に対して所定の不透明度の生体組織502の画像が重畳表示されている。当該表示制御により、三次元ボリュームデータの各ボクセルに設定された不透明度の値に依らず、視認性が高い重畳表示を行うことができる。 次に、図6を用いて、本実施形態におけるレンダリング画像の表示制御を説明する。なお、以下では説明を容易にするため、ユーザにより三次元表示の視線方向があらかじめ指定されているものとする。   In this case, the nerve fiber 501 existing inside the living tissue 502 is accurately displayed on the display device 110 inside the living tissue 502. Further, an image of the biological tissue 502 having a predetermined opacity is superimposed on the image of the nerve fiber 501 on the display device 110. By the display control, superimposed display with high visibility can be performed regardless of the opacity value set in each voxel of the three-dimensional volume data. Next, rendering image display control according to the present embodiment will be described with reference to FIG. In the following description, it is assumed that the line-of-sight direction of the three-dimensional display is designated in advance by the user for ease of explanation.

S601において、医用画像処理装置100のサーフェイスレンダリング画像生成部202は、神経線維の三次元データに基づいてサーフェイスレンダリング画像の生成処理を実行する。S601の処理では、サーフェイスレンダリング画像生成部202が、ユーザにより指定された視線方向から神経線維を立体視可能なサーフェイスレンダリング画像をサーフェイスレンダリング法で生成する。サーフェイスレンダリング画像生成部202は、例えば拡散テンソルの固有値をRBGの三原色に割り当てて神経線維の表面の色に設定してもよい。あるいは、サーフェイスレンダリング画像生成部202は、ADC又はFA値を大きいほど赤くするように配色し神経線維の表面の色に設定してもよい。医用画像処理装置100は、S601の処理が終わると、ボリュームレンダリング画像の生成処理へ移行する(S602)
S602において、医用画像処理装置100のボリュームレンダリング画像生成部203が、ユーザにより指定された視線方向から生体組織を立体視可能なボリュームレンダリング画像をボリュームレンダリング法で生成する。医用画像処理装置100は、S602の処理が終了すると、重畳位置の算出処理へ移行する(S603)。
In step S <b> 601, the surface rendering image generation unit 202 of the medical image processing apparatus 100 executes surface rendering image generation processing based on the three-dimensional data of nerve fibers. In the process of S601, the surface rendering image generation unit 202 generates a surface rendering image capable of stereoscopically viewing nerve fibers from the line-of-sight direction designated by the user by the surface rendering method. For example, the surface rendering image generation unit 202 may assign eigenvalues of the diffusion tensor to the three primary colors of RBG and set the surface color of the nerve fiber. Alternatively, the surface rendering image generation unit 202 may arrange the color so as to be red as the ADC or FA value increases, and set the surface color of the nerve fiber. When the processing of S601 ends, the medical image processing apparatus 100 proceeds to volume rendering image generation processing (S602).
In step S <b> 602, the volume rendering image generation unit 203 of the medical image processing apparatus 100 generates a volume rendering image that allows stereoscopic viewing of the living tissue from the line-of-sight direction specified by the user. When the process of S602 ends, the medical image processing apparatus 100 proceeds to the superimposition position calculation process (S603).

S603において、観察用画像生成部14が、S601の処理で得られた神経線維のサーフェイスレンダリング画像と、S602の処理で得られた画像との重畳位置をボクセルごとに決定する。S603の処理の詳細は、図7を用いて後述する。S603の処理が終了すると、サーフェイスレンダリング画像の表示制御処理へ移行する(S604)。   In S603, the observation image generation unit 14 determines, for each voxel, a superposition position between the surface rendering image of the nerve fiber obtained in the process of S601 and the image obtained in the process of S602. Details of the processing of S603 will be described later with reference to FIG. When the processing of S603 ends, the process proceeds to display control processing of the surface rendering image (S604).

S604において、医用画像処理装置100の表示制御部205が、S603の処理で決定された位置で、S601の処理において生成したサーフェイスレンダリング画像を表示装置110に表示させる。   In step S604, the display control unit 205 of the medical image processing apparatus 100 causes the display device 110 to display the surface rendering image generated in step S601 at the position determined in step S603.

S605において、医用画像処理装置100の表示制御部205が、S603の処理で決定された位置で、S602の処理において生成したボリュームレンダリング画像を表示装置110に表示させる。   In step S605, the display control unit 205 of the medical image processing apparatus 100 causes the display device 110 to display the volume rendering image generated in the process of S602 at the position determined in the process of S603.

次に、図7を用いて、図6に示す重畳位置の決定処理について詳細に説明する。   Next, the overlapping position determination process shown in FIG. 6 will be described in detail with reference to FIG.

S701において、奥行情報取得部204は、三次元ボリュームデータの奥行情報(第一の奥行情報)を取得する。   In S701, the depth information acquisition unit 204 acquires depth information (first depth information) of the three-dimensional volume data.

S702において、表示制御部205は、第一の奥行情報に基づいてサーフェイスレンダリング画像の表示位置を決定する。具体的には、表示制御部205は、神経線維の三次元データにおける各ボクセル値の奥行情報と、第一の奥行情報とを比較する。表示制御部205は、当該比較結果に基づいて、表示装置110に、サーフェイスレンダリング画像の各ボクセルを表示させるか否かを決定する。表示制御部205は、第一の奥行情報よりもサーフェイスレンダリング画像の各ボクセルの奥行方向の座標が大きい場合に、サーフェイスレンダリング画像のボクセルを表示させると決定する。換言すると、表示制御部205は、所定の視点位置から見て、第一の奥行情報よりも手前側にあると判断した場合に、サーフェイスレンダリング画像のボクセルを表示させると決定する。   In step S702, the display control unit 205 determines the display position of the surface rendering image based on the first depth information. Specifically, the display control unit 205 compares the depth information of each voxel value in the three-dimensional data of nerve fibers with the first depth information. The display control unit 205 determines whether to display each voxel of the surface rendering image on the display device 110 based on the comparison result. The display control unit 205 determines to display the voxel of the surface rendering image when the depth direction coordinate of each voxel of the surface rendering image is larger than the first depth information. In other words, the display control unit 205 determines to display the voxel of the surface rendering image when it is determined to be closer to the first depth information when viewed from the predetermined viewpoint position.

S703において、奥行情報取得部204は、サーフェイスレンダリング画像の奥行情報(第二の奥行情報)を取得する。   In S703, the depth information acquisition unit 204 acquires depth information (second depth information) of the surface rendering image.

S704において、表示制御部205は、第二の奥行情報を用いてボリュームレンダリング画像の表示位置を決定する。具体的には、表示制御部205は、第二の奥行情報と、三次元ボリュームデータの各ボクセルの三次元位置を比較する。表示制御部205は、当該比較結果に基づいて、表示装置110に対して、サーフェイスレンダリング画像に対してボリュームレンダリング画像の各ボクセルを表示させるか否かを決定する。表示制御部205は、第二の奥行情報よりもボリュームレンダリング画像の各ボクセルの奥行方向の座標が大きい場合に、ボリュームレンダリング画像のボクセルを重畳表示させると決定する。換言すると、表示制御部205は、所定の視点位置から見て、サーフェイスレンダリング画像よりも手前側にあると判断した場合に、ボリュームレンダリング画像のボクセルを重畳表示させるともいえる。   In step S704, the display control unit 205 determines the display position of the volume rendering image using the second depth information. Specifically, the display control unit 205 compares the second depth information with the three-dimensional position of each voxel of the three-dimensional volume data. The display control unit 205 determines whether to display each voxel of the volume rendering image on the surface rendering image on the display device 110 based on the comparison result. The display control unit 205 determines that the voxels of the volume rendering image are to be superimposed and displayed when the coordinates in the depth direction of each voxel of the volume rendering image are larger than the second depth information. In other words, it can be said that the display control unit 205 superimposes and displays the voxel of the volume rendering image when it is determined that it is in front of the surface rendering image when viewed from the predetermined viewpoint position.

なお、S602において、ボリュームレンダリング画像生成部203は、第二の奥行情報よりも手前側の三次元ボリュームデータに基づいてボリュームレンダリング画像を生成してもよい。換言すると、ボリュームレンダリング画像生成部203は、第二の奥行情報よりも奥側の三次元ボリュームデータを用いずにボリュームレンダリング画像を生成する。この場合、ボリュームレンダリング画像の生成処理をより高速に行うことができる。   In S602, the volume rendering image generation unit 203 may generate a volume rendering image based on the three-dimensional volume data on the near side of the second depth information. In other words, the volume rendering image generation unit 203 generates a volume rendering image without using the three-dimensional volume data on the back side of the second depth information. In this case, the volume rendering image generation process can be performed at higher speed.

また、本実施形態では、三次元ボリュームデータの内部に存在する神経線維を三次元データとして可視化しているがこれに限られるものではない。例えば、CT装置やMRI装置の三次元ボリュームデータで撮影されていない三次元データをサーフェイスレンダリング画像として重畳させて表現する場合に広く適用することができる。例えば、医用画像処理装置100は、血管にステントを入れた場合の動画表示の場合に、血管の画像に対してステントをサーフェイスレンダリング画像として重畳表示してもよい。あるいは、医用画像処理装置100は、心臓のバイパス手術のシミュレーションとして、心臓の画像に対してバイパスをサーフェイスレンダリング画像として重畳表示してもよい。あるいは、医用画像処理装置100は、血流の動きをシミュレーションする場合に、血管に対して血流の動きをサーフェイスレンダリング画像として重畳表示してもよい。医用画像処理装置100は、内視鏡画像の視野で血管に対して血流の動きをシミュレーションする場合に当該処理を適用してもよい。この場合に、表示制御部205は、ボリュームレンダリング画像生成部203とサーフェイスレンダリング画像生成部202のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、制御を切り替えてもよい。   In the present embodiment, nerve fibers existing inside the three-dimensional volume data are visualized as three-dimensional data, but the present invention is not limited to this. For example, the present invention can be widely applied to the case where three-dimensional data that has not been captured with the three-dimensional volume data of a CT apparatus or MRI apparatus is superimposed and expressed as a surface rendering image. For example, the medical image processing apparatus 100 may superimpose and display a stent as a surface rendering image on a blood vessel image when displaying a moving image when a stent is inserted into a blood vessel. Alternatively, the medical image processing apparatus 100 may superimpose and display the bypass as a surface rendering image on the heart image as a simulation of the heart bypass operation. Alternatively, the medical image processing apparatus 100 may superimpose and display the blood flow motion as a surface rendering image on the blood vessel when simulating the blood flow motion. The medical image processing apparatus 100 may apply this processing when simulating blood flow movement with respect to a blood vessel in the field of view of an endoscopic image. In this case, the display control unit 205 may switch control based on the type of three-dimensional volume data rendered by each of the volume rendering image generation unit 203 and the surface rendering image generation unit 202.

すなわち、表示制御部205は、所定の条件に応じて、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えるように制御してもよい。   That is, the display control unit 205 may perform control so as to switch between the surface rendering image and the volume rendering image to be displayed first according to a predetermined condition.

図8を用いて、サーフェイスレンダリング画像とボリュームレンダリング画像の表示順序の切り替え制御について説明する。   The switching control of the display order of the surface rendering image and the volume rendering image will be described with reference to FIG.

S801において、医用画像処理装置100は、三次元医用画像の表示条件を取得する。この場合、医用画像処理装置100は、三次元医用画像の表示条件を取得する条件取得部として機能する。また、当該機能は、外部メモリ111に記録されており、必要に応じてRAM103にロードされることによりCPU101によって実行されるものである。条件取得部は、表示条件として表示モードを取得する。また、当該表示モードは、入力デバイス109により入力される。ここで、表示モードには、予め複数の表示モードが設定可能である。また、それぞれの表示モードは、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれの画像を先に表示させるかを示す情報と対応づけられている。一例として、表示モードが、上述したMRIの神経線維を可視化するモードであれば、サーフェイスレンダリング画像を表示させた後に、ボリュームレンダリング画像を表示させる(以下、第一の表示モード)。一方で、表示モードが、上述した血管の画像に対してステントをサーフェイスレンダリング画像として重畳表示させる場合には、ボリュームレンダリング画像を表示させた後に、サーフェイスレンダリング画像を表示させる(以下、第二の表示モード)。つまり、医用画像処理装置100は、表示モードに基づいてユーザの視線から見て、本来手前にあるべきレンダリング画像を後から表示するように選択的に表示順序を切り替えている。このため、医用画像処理装置100は、条件取得部により取得した表示モードに基づいて、表示制御部205による表示順序を切り替えることが可能となる。   In step S <b> 801, the medical image processing apparatus 100 acquires display conditions for a three-dimensional medical image. In this case, the medical image processing apparatus 100 functions as a condition acquisition unit that acquires display conditions for a three-dimensional medical image. The function is recorded in the external memory 111 and is executed by the CPU 101 by being loaded into the RAM 103 as necessary. The condition acquisition unit acquires a display mode as a display condition. The display mode is input by the input device 109. Here, a plurality of display modes can be set in advance as the display mode. Each display mode is associated with information indicating which of the surface rendering image and the volume rendering image is to be displayed first. As an example, if the display mode is a mode for visualizing the above-described MRI nerve fiber, a volume rendering image is displayed after the surface rendering image is displayed (hereinafter referred to as a first display mode). On the other hand, when the display mode is to display the stent as a surface rendering image superimposed on the above-described blood vessel image, the surface rendering image is displayed after the volume rendering image is displayed (hereinafter referred to as the second display). mode). That is, the medical image processing apparatus 100 selectively switches the display order so that a rendering image that should originally be in front is viewed from the user's line of sight based on the display mode. Therefore, the medical image processing apparatus 100 can switch the display order by the display control unit 205 based on the display mode acquired by the condition acquisition unit.

次に、医用画像処理装置100は、S802からS804の処理を実行する。なお、S802からS804は、図6におけるS601からS603に対応する処理である。   Next, the medical image processing apparatus 100 executes the processing from S802 to S804. Note that steps S802 to S804 correspond to steps S601 to S603 in FIG.

S805において、医用画像処理装置100は、取得した表示条件に基づいて、サーフェイスレンダリング画像とボリュームレンダリング画像のいずれが手前にあるかを判定する。医用画像処理装置100は、取得した表示モードが第一の表示モードである場合に、ボリュームレンダリング画像が手前にあると判定するとともに、S806およびS807の処理を実行する。一方で、医用画像処理装置100は、取得した表示モードが第二の表示モードである場合に、サーフェイスレンダリング画像が手前にあると判定するとともに、S808およびS809の処理を実行する。なお、医用画像処理装置100は、第二の表示モードで表示する場合には、サーフェイスレンダリング画像に対して所定の不透明度を設定して表示してもよい。   In step S805, the medical image processing apparatus 100 determines which of the surface rendering image and the volume rendering image is in front based on the acquired display condition. When the acquired display mode is the first display mode, the medical image processing apparatus 100 determines that the volume rendering image is in front, and executes the processes of S806 and S807. On the other hand, when the acquired display mode is the second display mode, the medical image processing apparatus 100 determines that the surface rendering image is in front and executes the processes of S808 and S809. Note that when displaying in the second display mode, the medical image processing apparatus 100 may set and display a predetermined opacity for the surface rendering image.

以上、本実施形態の医用画像処理装置は、異なるレンダリング法でレンダリングされた画像を重畳表示させる際の視認性を向上させることができる。   As described above, the medical image processing apparatus according to the present embodiment can improve the visibility when an image rendered by a different rendering method is superimposed and displayed.

なお、各実施形態は、コンピュータや制御コンピュータがプログラム(コンピュータプログラム)を実行することによって実現することもできる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータが読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も実施例として適用することができる。また、上記のプログラムも実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。   Each embodiment can also be realized by a computer or a control computer executing a program (computer program). Further, means for supplying a program to a computer, for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium such as the Internet for transmitting such a program can also be applied as an embodiment. . The above program can also be applied as an embodiment. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.

以上、実施形態に基づいて詳述してきたが、これらの特定の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明の範疇に含まれる。さらに、上述した実施形態は一実施の形態を示すものにすぎず、上述した実施形態から容易に想像可能な発明も本発明の範疇に含まれる。   As mentioned above, although it explained in full detail based on embodiment, it is not restricted to these specific embodiment, Various forms of the range which does not deviate from the summary of invention are also included in the category of this invention. Furthermore, the above-described embodiment is merely an embodiment, and an invention that can be easily imagined from the above-described embodiment is also included in the scope of the present invention.

100 医用画像処理装置
201 画像入力部
202 サーフェイスレンダリング画像生成部
203 ボリュームレンダリング画像生成部
204 奥行情報取得部
205 表示制御部
DESCRIPTION OF SYMBOLS 100 Medical image processing apparatus 201 Image input part 202 Surface rendering image generation part 203 Volume rendering image generation part 204 Depth information acquisition part 205 Display control part

Claims (11)

医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、
前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、
三次元データに基づいてサーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、
三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、
前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、
を有することを特徴とする医用画像処理装置。
An image input unit for inputting three-dimensional volume data imaged by a medical image imaging device;
Volume rendering means for generating a volume rendering image based on the three-dimensional volume data input to the image input unit;
A surface rendering means for generating a surface rendering image based on the three-dimensional data;
Depth information acquisition means for acquiring depth information indicating a length from a predetermined viewpoint position in a three-dimensional space to the three-dimensional volume data;
Display control means for displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means;
A medical image processing apparatus comprising:
前記表示制御部は、前記サーフェイスレンダリング手段の生成に用いる前記三次元データにおける各ボクセル値の奥行情報と前記奥行情報とを比較した結果に基づいて、前記サーフェイスレンダリング画像の各ボクセルを表示させることを特徴とする請求項1に記載の医用画像処理装置。   The display control unit displays each voxel of the surface rendering image based on a result of comparing the depth information and the depth information of each voxel value in the three-dimensional data used for generation of the surface rendering means. The medical image processing apparatus according to claim 1, wherein: 前記サーフェイスレンダリング画像は、前記画像入力部に入力された三次元ボリュームデータを用いて生成された拡散テンソル画像により得られる拡散の異方性に基づいて、神経線維の延在方向を追跡して取得した神経線維を可視化した三次元データに基づいて生成された画像であることを特徴とする請求項1または2に記載の医用画像処理装置。   The surface rendering image is obtained by tracking the extending direction of nerve fibers based on the diffusion anisotropy obtained by the diffusion tensor image generated using the three-dimensional volume data input to the image input unit. The medical image processing apparatus according to claim 1, wherein the medical image processing apparatus is an image generated based on three-dimensional data in which the nerve fibers visualized. 前記奥行情報取得手段は、前記所定の視点位置から前記サーフェイスレンダリング画像の三次元位置に対する第二の奥行情報を取得することを特徴とする請求項1から3のいずれか1項に記載の医用画像処理装置。   The medical image according to any one of claims 1 to 3, wherein the depth information acquisition unit acquires second depth information for a three-dimensional position of the surface rendering image from the predetermined viewpoint position. Processing equipment. 前記表示制御手段は、前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記奥行情報取得手段が取得した前記第二の奥行情報に基づいて前記ボリュームレンダリング画像を前記サーフェイスレンダリング画像に対して重畳表示させることを特徴とする請求項4に記載の医用画像処理装置。   The display control unit displays the surface rendering image based on the depth information acquired by the depth information acquisition unit, and then displays the volume rendering based on the second depth information acquired by the depth information acquisition unit. The medical image processing apparatus according to claim 4, wherein an image is superimposed and displayed on the surface rendering image. 前記ボリュームレンダリング手段は、前記第二の奥行情報よりも手前側の三次元ボリュームデータに基づいてボリュームレンダリング画像を生成することを特徴とする請求項4または5に記載の医用画像処理装置。   The medical image processing apparatus according to claim 4, wherein the volume rendering unit generates a volume rendering image based on three-dimensional volume data closer to the second depth information. 前記ボリュームレンダリング手段は、前記第二の奥行情報よりも奥側の三次元ボリュームデータを用いずにボリュームレンダリング画像を生成することを特徴とする請求項6に記載の医用画像処理装置。   The medical image processing apparatus according to claim 6, wherein the volume rendering unit generates a volume rendering image without using three-dimensional volume data at a depth side of the second depth information. 前記奥行情報取得手段は、前記所定の視点位置から、前記三次元ボリュームデータのボクセルのうち不透明度が所定の値よりも大きいボクセルまでの長さを前記奥行情報として取得することを特徴とする請求項1から7のいずれか1項に記載の医用画像処理装置。   The depth information acquisition unit acquires, as the depth information, a length from the predetermined viewpoint position to a voxel having an opacity greater than a predetermined value among voxels of the three-dimensional volume data. Item 8. The medical image processing apparatus according to any one of Items 1 to 7. 前記表示制御手段は、前記ボリュームレンダリング手段と前記サーフェイスレンダリング手段のそれぞれでレンダリングする三次元ボリュームデータの種類に基づいて、前記サーフェイスレンダリング画像と前記ボリュームレンダリング画像のいずれの画像を先に表示させるかを切り替えることを特徴とする請求項1から8のいずれか1項に記載の医用画像処理装置。   The display control means determines which of the surface rendering image and the volume rendering image is to be displayed first based on the type of three-dimensional volume data to be rendered by each of the volume rendering means and the surface rendering means. The medical image processing apparatus according to claim 1, wherein the medical image processing apparatus is switched. 医用画像処理装置の制御方法であって、
医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力工程と、
前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング工程と、
サーフェイスレンダリング画像を生成するサーフェイスレンダリング工程と、
前記三次元ボリュームデータに基づいて三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得工程と、
前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御工程と、
を有することを特徴とする医用画像処理装置の制御方法。
A method for controlling a medical image processing apparatus, comprising:
An image input process for inputting the three-dimensional volume data imaged by the medical imaging apparatus;
A volume rendering step for generating a volume rendering image based on the three-dimensional volume data input to the image input unit;
A surface rendering process for generating a surface rendering image;
A depth information acquisition step for acquiring depth information indicating a length from a predetermined viewpoint position in the three-dimensional space to the three-dimensional volume data based on the three-dimensional volume data;
A display control step of displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means;
A control method for a medical image processing apparatus, comprising:
医用画像処理装置を、
医用画像撮影装置で撮影された三次元ボリュームデータを入力する画像入力部と、
前記画像入力部に入力された三次元ボリュームデータに基づいてボリュームレンダリング画像を生成するボリュームレンダリング手段と、
サーフェイスレンダリング画像を生成するサーフェイスレンダリング手段と、
前記三次元ボリュームデータに基づいて三次元空間における所定の視点位置から前記三次元ボリュームデータまでの長さを示す奥行情報を取得する奥行情報取得手段と、
前記奥行情報取得手段が取得した前記奥行情報に基づいて前記サーフェイスレンダリング画像を表示させた後に、前記サーフェイスレンダリング画像に対して前記ボリュームレンダリング画像を重畳表示させる表示制御手段と、
して機能させることを特徴とするプログラム。
Medical image processing device
An image input unit for inputting three-dimensional volume data imaged by a medical image imaging device;
Volume rendering means for generating a volume rendering image based on the three-dimensional volume data input to the image input unit;
A surface rendering means for generating a surface rendering image;
Depth information acquisition means for acquiring depth information indicating a length from a predetermined viewpoint position in the three-dimensional space to the three-dimensional volume data based on the three-dimensional volume data;
Display control means for displaying the volume rendering image superimposed on the surface rendering image after displaying the surface rendering image based on the depth information acquired by the depth information acquisition means;
A program characterized by making it function.
JP2017144061A 2016-11-28 2017-07-26 Medical image processing device, control method of medical image processing device, and program Active JP6933522B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016229665 2016-11-28
JP2016229665 2016-11-28

Publications (2)

Publication Number Publication Date
JP2018089343A true JP2018089343A (en) 2018-06-14
JP6933522B2 JP6933522B2 (en) 2021-09-08

Family

ID=62564465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017144061A Active JP6933522B2 (en) 2016-11-28 2017-07-26 Medical image processing device, control method of medical image processing device, and program

Country Status (1)

Country Link
JP (1) JP6933522B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612461A (en) * 2022-03-24 2022-06-10 数坤(北京)网络科技股份有限公司 Image processing method, image processing device, storage medium and electronic equipment
US11481956B2 (en) 2019-02-20 2022-10-25 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing method using depth-dependent transmittance and opacity information
CN116721186A (en) * 2023-08-10 2023-09-08 北京红棉小冰科技有限公司 Drawing image generation method and device, electronic equipment and storage medium
WO2024034996A1 (en) * 2022-08-12 2024-02-15 아주대학교산학협력단 Method and device for providing surgical simulation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481956B2 (en) 2019-02-20 2022-10-25 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing method using depth-dependent transmittance and opacity information
CN114612461A (en) * 2022-03-24 2022-06-10 数坤(北京)网络科技股份有限公司 Image processing method, image processing device, storage medium and electronic equipment
WO2024034996A1 (en) * 2022-08-12 2024-02-15 아주대학교산학협력단 Method and device for providing surgical simulation
CN116721186A (en) * 2023-08-10 2023-09-08 北京红棉小冰科技有限公司 Drawing image generation method and device, electronic equipment and storage medium
CN116721186B (en) * 2023-08-10 2023-12-01 北京红棉小冰科技有限公司 Drawing image generation method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP6933522B2 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
US10740642B2 (en) Image display control device, method, and program
Abhari et al. Training for planning tumour resection: augmented reality and human factors
JP6933522B2 (en) Medical image processing device, control method of medical image processing device, and program
US9808213B2 (en) Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
CN107980148B (en) System and method for fusing images to account for motion compensation
US9612657B2 (en) 3D-volume viewing by controlling sight depth
JP5417609B2 (en) Medical diagnostic imaging equipment
CN110072436B (en) Simplified navigation of spine medical imaging data
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US10796498B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
EP3295423A1 (en) Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
ITUB20155830A1 (en) &#34;NAVIGATION, TRACKING AND GUIDE SYSTEM FOR THE POSITIONING OF OPERATOR INSTRUMENTS&#34;
JP2020199328A (en) Medical image processing method, medical image processing device, medical image processing system, and medical image processing program
US20150243055A1 (en) Image Display Device And Method, And Medium Containing Program
KR20160087772A (en) Method for an exchange of data between a medical imaging apparatus and a user and a medical imaging apparatus therefor
US10699424B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium with generation of deformed images
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
Yuan et al. Extended reality for biomedicine
WO2016035312A1 (en) Assistance apparatus for assisting interpretation report creation and method for controlling the same
Aschke et al. Augmented reality in operating microscopes for neurosurgical interventions
JP2012075728A (en) Medical image display device and projection image generation method using the same
JP2012034772A (en) Image processor
Bohak et al. Neck veins: an interactive 3D visualization of head veins
CN109598752A (en) Image processing apparatus and its control method, computer readable storage medium
US11967073B2 (en) Method for displaying a 3D model of a patient

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180719

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180730

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20200130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6933522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150