JP2012231893A - Medical image processing apparatus, and control program of the same - Google Patents

Medical image processing apparatus, and control program of the same Download PDF

Info

Publication number
JP2012231893A
JP2012231893A JP2011101604A JP2011101604A JP2012231893A JP 2012231893 A JP2012231893 A JP 2012231893A JP 2011101604 A JP2011101604 A JP 2011101604A JP 2011101604 A JP2011101604 A JP 2011101604A JP 2012231893 A JP2012231893 A JP 2012231893A
Authority
JP
Japan
Prior art keywords
parallax
processing apparatus
directions
image processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011101604A
Other languages
Japanese (ja)
Inventor
Tomohiro Kawasaki
友寛 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2011101604A priority Critical patent/JP2012231893A/en
Publication of JP2012231893A publication Critical patent/JP2012231893A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a medical image processing apparatus capable of generating image data to obtain three-dimensional visual effects corresponding to a naked eye 3D display device.SOLUTION: The medical image processing apparatus includes a setting section that sets a local domain in the medical three-dimensional image data, a parallax image generation section that projects the set local domain in two or more prescribed parallax directions to generate two-dimensional parallax images reflecting depth information of each of the two or more parallax directions in the number of the parallax directions, and a parallax image output section that outputs the two or more parallax images to the naked eye 3D display device that performs emission distributing in the two or more parallax directions corresponding to the two or more parallax images at the same time.

Description

本発明は、医用画像処理装置及びその制御プログラムに関する。   The present invention relates to a medical image processing apparatus and a control program therefor.

X線コンピュータ断層撮影装置(以下、CT装置という)や磁気共鳴イメージング装置(以下、MRI装置という)等で得られたボリュームデータ(3次元データ)を観察する方法として、従来からMPR(Multi-Planner Reconstruction)法やCPR(Curved multi-Planner Reconstruction)法と呼ばれる方法が知られている。   As a method for observing volume data (three-dimensional data) obtained with an X-ray computed tomography apparatus (hereinafter referred to as CT apparatus), a magnetic resonance imaging apparatus (hereinafter referred to as MRI apparatus), etc., MPR (Multi-Planner) has been conventionally used. A method called “Reconstruction” method or CPR (Curved multi-Planner Reconstruction) method is known.

MPR法は、3次元データを任意方向の平面で切断し、この平面に垂直な方向から見た断面画像を再構成する手法である。一方、CPR法は、主に3次元データ中の管状構造物を観察する場合に用いられる手法であり、管状構造物の芯線に沿って一方向に曲率を有する曲面で3次元データを切断し、この曲面を平面に展開することにより管状構造物の芯線に沿った断面画像を再構成する(例えば、特許文献1参照)。   The MPR method is a method of cutting three-dimensional data along a plane in an arbitrary direction and reconstructing a cross-sectional image viewed from a direction perpendicular to the plane. On the other hand, the CPR method is a method mainly used for observing a tubular structure in three-dimensional data, cutting the three-dimensional data with a curved surface having a curvature in one direction along the core line of the tubular structure, By developing the curved surface into a plane, a cross-sectional image along the core line of the tubular structure is reconstructed (see, for example, Patent Document 1).

特開2010−51730号公報JP 2010-51730 A

MPR法で得られる断面画像(以下、MPR画像という)は、切断平面に垂直な一方向から見た画像である。また、CPR法で得られる断面画像(以下、CPR画像という)も、管状構造物の芯線に沿った曲面を平面に展開し、その展開平面に垂直な一方向から見た画像である。   A cross-sectional image (hereinafter referred to as MPR image) obtained by the MPR method is an image viewed from one direction perpendicular to the cutting plane. A cross-sectional image obtained by the CPR method (hereinafter referred to as CPR image) is also an image obtained by developing a curved surface along the core line of the tubular structure on a plane and viewing it from one direction perpendicular to the development plane.

一方、近時、専用の眼鏡等を用いることなく裸眼でも立体的な視覚効果を得ることが可能な裸眼3Dディスプレイ装置が開発され、市場に出回り始めている。この裸眼3Dディスプレイ装置では、立体物を異なる方向から観察した複数の2次元画像を同時に表示する。これら複数の2次元画像は、水平方向の画素ごと設けられるレンチキュラレンズと呼ばれるシリンドリカルレンズによって、それぞれ異なる複数の水平方向(この方向を視差方向と呼ぶ)に振り分けられる。例えば、9つの異なる方向から観察した9つの2次元画像をディスプレイパネルに同時に表示し、この9つの2次元画像をレンチキュラレンズによって9つの視差方向に振り分ける。そして、視差方向の異なる複数の2次元画像からの光を両眼に入射させることにより、立体的な視覚効果を観察者に与えることができる。また、観察者がディスプレイパネルの左右方向に移動すると、3次元物体をあたかも異なる角度から観察するような立体感を観察者に与えることができる。   On the other hand, recently, a naked-eye 3D display device capable of obtaining a three-dimensional visual effect even with the naked eye without using dedicated glasses or the like has been developed and has started to be put on the market. In this naked-eye 3D display device, a plurality of two-dimensional images obtained by observing a three-dimensional object from different directions are displayed simultaneously. The plurality of two-dimensional images are distributed to a plurality of different horizontal directions (this direction is referred to as a parallax direction) by a cylindrical lens called a lenticular lens provided for each pixel in the horizontal direction. For example, nine two-dimensional images observed from nine different directions are simultaneously displayed on the display panel, and the nine two-dimensional images are distributed to nine parallax directions by a lenticular lens. Then, by making light from a plurality of two-dimensional images having different parallax directions incident on both eyes, a stereoscopic visual effect can be given to the observer. Further, when the observer moves in the left-right direction of the display panel, it is possible to give the observer a stereoscopic effect as if observing a three-dimensional object from different angles.

前述したMPR画像やCPR画像は3次元画像の断面(この断面は厚みをもちうる)という患者全体のうちの局所的な領域を抽出した画像である。しかしながら、局所的領域であっても、その局所的な領域の内部にある患部の形状や形態を、前述した裸眼3Dディスプレイ装置を用いることにより、奥行き感のある立体的な視覚効果をもって観察できれば、より的確で精度の高い診断や治療が可能となると期待される。   The MPR image and the CPR image described above are images obtained by extracting a local region of the entire patient, which is a cross section of a three-dimensional image (this cross section may have a thickness). However, even if it is a local region, if the shape and form of the affected part inside the local region can be observed with a stereoscopic visual effect with a sense of depth by using the aforementioned naked-eye 3D display device, It is expected that more accurate and accurate diagnosis and treatment will be possible.

従来のMPR法やCPR法で得られる画像データは、裸眼3Dディスプレイ装置によって立体的な視覚効果を得るために生成されたものではなく、これらの画像データからは奥行き感のある立体的な視覚効果を得ることはできない。そこで、裸眼3Dディスプレイ装置に対応した立体的な視覚効果を得るえるための画像データを生成することができる医用画像処理装置及びその制御プログラムが要望されている。   The image data obtained by the conventional MPR method or CPR method is not generated in order to obtain a three-dimensional visual effect by the naked-eye 3D display device, and the three-dimensional visual effect having a sense of depth is obtained from these image data. Can't get. Therefore, there is a demand for a medical image processing apparatus that can generate image data for obtaining a stereoscopic visual effect corresponding to a naked-eye 3D display apparatus, and a control program therefor.

実施形態に係る医用画像処理装置は、医療用3次元画像データの中の局所領域を設定する設定部と、設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、を備えたことを特徴とする。   The medical image processing apparatus according to the embodiment projects a setting unit configured to set a local region in medical three-dimensional image data, the set local region in a plurality of predetermined parallax directions, and the plurality of parallaxes. A parallax image generating unit that generates two-dimensional parallax images reflecting the depth information of each direction as many as the number of parallax directions, and a naked eye that simultaneously distributes and outputs the parallax images corresponding to the plurality of parallax images A 3D display device includes a parallax image output unit that outputs the plurality of parallax images.

本実施形態に係る医用画像処理装置の基本的な構成例を示すブロック図。1 is a block diagram showing a basic configuration example of a medical image processing apparatus according to an embodiment. 裸眼3Dディスプレイ装置の動作原理を模式的に示す図。The figure which shows typically the operation | movement principle of a naked-eye 3D display apparatus. 第1の実施形態に係る医用画像処理装置の構成例を示すブロック図。1 is a block diagram illustrating a configuration example of a medical image processing apparatus according to a first embodiment. 第1の実施形態に係る医用画像処理装置の処理例を示すフローチャート。5 is a flowchart illustrating a processing example of the medical image processing apparatus according to the first embodiment. 第1の実施形態におけるMPR画像の生成方法を示す第1の図。FIG. 5 is a first diagram illustrating an MPR image generation method according to the first embodiment. 第1の実施形態におけるMPR画像の生成方法を示す第2の図。FIG. 5 is a second diagram illustrating a method for generating an MPR image according to the first embodiment. 第1の実施形態におけるMPR画像の生成方法を示す第3の図。FIG. 9 is a third diagram illustrating the MPR image generation method according to the first embodiment. 第1の実施形態の第1の変形例におけるMPR画像の生成方法を示す図。The figure which shows the production | generation method of the MPR image in the 1st modification of 1st Embodiment. 第1の実施形態の第2の変形例におけるMPR画像の生成方法を示す図。The figure which shows the production | generation method of the MPR image in the 2nd modification of 1st Embodiment. 第2の実施形態に係る医用画像処理装置の構成例を示すブロック図。The block diagram which shows the structural example of the medical image processing apparatus which concerns on 2nd Embodiment. 第2の実施形態に係る医用画像処理装置の処理例を示すフローチャート。9 is a flowchart illustrating a processing example of a medical image processing apparatus according to a second embodiment. 第2の実施形態におけるCPR画像の生成方法を示す第1の図。The 1st figure which shows the production | generation method of the CPR image in 2nd Embodiment. 第2の実施形態におけるCPR画像の生成方法を示す第2の図。The 2nd figure which shows the production | generation method of the CPR image in 2nd Embodiment. 第2の実施形態におけるCPR画像の生成方法を示す第3の図。The 3rd figure which shows the production | generation method of the CPR image in 2nd Embodiment. 第2の実施形態におけるCPR画像の生成方法を示す第4の図。FIG. 9 is a fourth diagram illustrating a CPR image generation method according to the second embodiment. 第2の実施形態の変形例(厚みなし)のCPR画像の生成方法を示す図。The figure which shows the production | generation method of the CPR image of the modification (no thickness) of 2nd Embodiment. 異なる視差方向でもCPR画像サイズを同一とする第1の方法の説明図。Explanatory drawing of the 1st method which makes the CPR image size the same also in a different parallax direction. 異なる視差方向でもCPR画像サイズを同一とする第2の方法の説明図。Explanatory drawing of the 2nd method which makes the CPR image size the same also in a different parallax direction. 第3の実施形態におけるSPR画像の生成方法を示す第1の図。The 1st figure which shows the production | generation method of the SPR image in 3rd Embodiment. 第3の実施形態におけるSPR画像の生成方法を示す第2の図。The 2nd figure which shows the production | generation method of the SPR image in 3rd Embodiment. 第3の実施形態に係る医用画像処理装置の構成例を示すブロック図。The block diagram which shows the structural example of the medical image processing apparatus which concerns on 3rd Embodiment. 第3の実施形態に係る医用画像処理装置の処理例を示すフローチャート。9 is a flowchart illustrating a processing example of a medical image processing apparatus according to a third embodiment. 第3の実施形態の変形例におけるSPR画像の生成方法を示す図。The figure which shows the production | generation method of the SPR image in the modification of 3rd Embodiment. 第4の実施形態におけるVGP画像の生成方法を示す第1の図。The 1st figure which shows the production | generation method of the VGP image in 4th Embodiment. 第4の実施形態におけるVGP画像の生成方法を示す第2の図。The 2nd figure which shows the production | generation method of the VGP image in 4th Embodiment. 第4の実施形態に係る医用画像処理装置の構成例を示すブロック図。The block diagram which shows the structural example of the medical image processing apparatus which concerns on 4th Embodiment. 第4の実施形態に係る医用画像処理装置の処理例を示すフローチャート。10 is a flowchart illustrating a processing example of a medical image processing apparatus according to a fourth embodiment.

以下、本発明の実施形態を添付図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

図1は、本実施形態に係る医用画像処理装置1の基本的な構成例を示すブロック図である。図1に示す構成は、後述するより具体的な実施形態の夫々に共通するものである。医用画像処理装置1は、3次元画像データ保存部10、局所領域設定部20、視差方向計算部30、視差画像生成部40、視差画像出力部50等を備えて構成される。   FIG. 1 is a block diagram illustrating a basic configuration example of a medical image processing apparatus 1 according to the present embodiment. The configuration shown in FIG. 1 is common to more specific embodiments described later. The medical image processing apparatus 1 includes a three-dimensional image data storage unit 10, a local region setting unit 20, a parallax direction calculation unit 30, a parallax image generation unit 40, a parallax image output unit 50, and the like.

3次元画像データ保存部10は、モダリティ100から出力される医療用の3次元画像データを一時的に保存する。モダリティ100の種類は特に限定するものではないが、例えば、X線CT装置、MRI装置、超音波診断装置等の医療画像診断装置であり、被検体(患者)の体内の構造を表す信号を取得して3次元画像データ(ボリュームデータ)を再構成することが可能な装置である。   The 3D image data storage unit 10 temporarily stores medical 3D image data output from the modality 100. The type of the modality 100 is not particularly limited. For example, the modality 100 is a medical image diagnostic apparatus such as an X-ray CT apparatus, an MRI apparatus, or an ultrasonic diagnostic apparatus, and acquires a signal representing a structure in the body of a subject (patient). Thus, the apparatus can reconstruct three-dimensional image data (volume data).

局所領域設定部10は、ユーザインタフェースを介した医師や技師等のユーザの指定に基づいて、3次元画像データ保存部10に保存された3次元画像データの中の観察したい局所領域を設定する。ここで、局所領域とは、例えばMPR画像を生成する場合には、3次元画像の切断面に該当する平面領域、或いは厚みをもった平板状領域(スラブ)である。CPR画像を生成する場合には、血管等の管状構造物に沿った曲面、或いは厚みをもった曲板状領域である。また、後述するSPR(Stretched MPR)画像やVGP(Virtual Gross Pathology)画像を生成する場合には、血管や大腸等の管状構造物を所定の長さだけ含んだ管状領域である。局所領域設定部10は、ユーザの指定情報に基づいて、これらの局所領域を規定するためのパラメータ(位置、向き、厚み、曲面や曲線の諸元等)を設定し、視差方向計算部30や視差画像生成部40に出力する。   The local region setting unit 10 sets a local region to be observed in the 3D image data stored in the 3D image data storage unit 10 based on the designation of a user such as a doctor or an engineer via the user interface. Here, for example, when generating an MPR image, the local region is a planar region corresponding to a cut surface of a three-dimensional image or a flat region (slab) having a thickness. When generating a CPR image, it is a curved plate-like region having a curved surface or a thickness along a tubular structure such as a blood vessel. Further, when generating an SPR (Stretched MPR) image or a VGP (Virtual Gross Pathology) image, which will be described later, the tubular region includes a tubular structure such as a blood vessel or a large intestine for a predetermined length. The local area setting unit 10 sets parameters (position, orientation, thickness, curved surface, curve specifications, etc.) for defining these local areas based on user designation information, and the parallax direction calculation unit 30 or Output to the parallax image generation unit 40.

視差方向計算部30は、裸眼3Dディスプレイ装置200上の複数の視差方向(以下、単に視差方向と呼ぶ)を、局所領域設定部20で設定した局所領域の座標上での複数の視差方向に変換する。   The parallax direction calculation unit 30 converts a plurality of parallax directions (hereinafter simply referred to as parallax directions) on the naked-eye 3D display device 200 into a plurality of parallax directions on the coordinates of the local region set by the local region setting unit 20. To do.

視差画像生成部40は、局所領域設定部10で設定した局所領域を複数の視差方向に投影し、複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を視差方向の数だけ生成する。投影に使用する視差方向は、視差方向計算部30で変換した局所領域の座標上での視差方向である。   The parallax image generation unit 40 projects the local area set by the local area setting unit 10 in a plurality of parallax directions, and generates two-dimensional parallax images reflecting the depth information of the plurality of parallax directions by the number of parallax directions. Generate. The parallax direction used for the projection is the parallax direction on the coordinates of the local region converted by the parallax direction calculation unit 30.

視差画像生成部40で生成された複数の視差画像は、視差画像出力部50において所定のデータフォーマットに変換され、裸眼3Dディスプレイ装置200に出力される。   The plurality of parallax images generated by the parallax image generation unit 40 are converted into a predetermined data format by the parallax image output unit 50 and output to the naked-eye 3D display device 200.

図2は、本実施形態に係る医用画像処理装置1で生成された複数の視差画像を表示する裸眼3Dディスプレイ装置200の原理を概略説明する図である。図2は、9つの視差方向に対応する裸眼3Dディスプレイ装置200を例示している。この裸眼3Dディスプレイ装置200は、垂直方向に延びるレンチキュラレンズと呼ばれるシリンドリカルレンズ201を水平方向の画素ごとに配置している。1つのシリンドリカルレンズ201内の水平方向には、さらに9つの画素要素202が配列されている。そして、各画素要素は、図2の上部に示す9つの視差画像内におけるそれぞれの画素に対応しており、9つの視差画像は裸眼3Dディスプレイ装置200のディスプレイパネルに同時に表示される。一方、各画素要素はシリンドリカルレンズ201内においてそれぞれ異なる位置にあるため、シリンドリカルレンズ201の曲率に応じて、9つの視差方向(図2では、簡略化のため5つの視差方向のみ示している)に振り分けられる。つまり、9つの異なる方向から観察した9つの2次元画像(視差画像)をディスプレイパネルに同時に表示すると、この9つの視差画像がシリンドリカルレンズ201によって9つの視差方向に振り分けられる。この結果、視差方向の異なる複数の視差画像からの光が観察者の両眼に入射することになり、奥行き間のある立体的な視覚効果を観察者に与えることができる。また、観察者がディスプレイパネルの左右方向に移動すると、3次元物体をあたかも異なる角度から観察するような立体感を観察者に与えることができる。   FIG. 2 is a diagram schematically illustrating the principle of the naked-eye 3D display device 200 that displays a plurality of parallax images generated by the medical image processing apparatus 1 according to the present embodiment. FIG. 2 illustrates a naked-eye 3D display device 200 corresponding to nine parallax directions. In the naked-eye 3D display device 200, a cylindrical lens 201 called a lenticular lens extending in the vertical direction is arranged for each pixel in the horizontal direction. Nine pixel elements 202 are further arranged in the horizontal direction in one cylindrical lens 201. Each pixel element corresponds to each pixel in the nine parallax images shown in the upper part of FIG. 2, and the nine parallax images are simultaneously displayed on the display panel of the naked-eye 3D display device 200. On the other hand, each pixel element is located at a different position in the cylindrical lens 201, so that there are nine parallax directions (FIG. 2 shows only five parallax directions for simplification) according to the curvature of the cylindrical lens 201. Sorted. That is, when nine two-dimensional images (parallax images) observed from nine different directions are simultaneously displayed on the display panel, the nine parallax images are distributed into nine parallax directions by the cylindrical lens 201. As a result, light from a plurality of parallax images having different parallax directions is incident on both eyes of the observer, and a stereoscopic visual effect with a depth can be given to the observer. Further, when the observer moves in the left-right direction of the display panel, it is possible to give the observer a stereoscopic effect as if observing a three-dimensional object from different angles.

図1に示す構成のうち3次元画像データ保存部10は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、RAM等の適宜の記憶デバイスで構成される。また、局所領域設定部20、視差方向計算部30、視差画像生成部40、視差画像出力部50は、それぞれの機能を実現するステップが記述されたプログラムをコンピュータ(CPU)に実行させることで実現するように構成しても良いし、或いはその機能の一部または全部をASIC等のハードウェアで実現しても良い。またソフトウェアとハードウェアを適宜組み合わせて各機能を実現してもよい。また、図1では、裸眼3Dディスプレイ装置200を医用画像処理装置1の構成外としているが、裸眼3Dディスプレイ装置200を医用画像処理装置1に含めた構成としても良い。   The three-dimensional image data storage unit 10 in the configuration illustrated in FIG. 1 includes an appropriate storage device such as an HDD (Hard Disk Drive), a flash memory, or a RAM. Further, the local region setting unit 20, the parallax direction calculation unit 30, the parallax image generation unit 40, and the parallax image output unit 50 are realized by causing a computer (CPU) to execute a program in which steps for realizing each function are described. Alternatively, a part or all of the functions may be realized by hardware such as an ASIC. Each function may be realized by appropriately combining software and hardware. In FIG. 1, the naked-eye 3D display device 200 is not included in the configuration of the medical image processing apparatus 1, but the naked-eye 3D display device 200 may be included in the medical image processing apparatus 1.

以下、より具体的な実施形態を説明する。   Hereinafter, more specific embodiments will be described.

(1)第1の実施形態
第1の実施形態に係る医用画像処理装置1aは、複数の視差方向から見た複数のMPR(Multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
(1) First Embodiment The medical image processing apparatus 1a according to the first embodiment generates a plurality of MPR (Multi-Planner Reconstruction) images viewed from a plurality of parallax directions and outputs the generated images to the naked-eye 3D display device 200. To do.

図3は、第1の実施形態に係る医用画像処理装置1aの構成例を示すブロック図であり、図4はその処理例を示すフローチャートである。   FIG. 3 is a block diagram illustrating a configuration example of the medical image processing apparatus 1a according to the first embodiment, and FIG. 4 is a flowchart illustrating the processing example.

第1の実施形態に係る医用画像処理装置1aの局所領域設定部20aは、MPR断面位置・向き設定部21と、MPR厚み設定部22を有する。MPR断面位置・向き設定部21及びMPR厚み設定部22は、医師等の指定に基づき、詳細に観察したい患部(例えば、図4等に示す血管内の血管狭窄部)を含む平板状領域(即ちスラブ)の位置、向き、及び厚みを設定する(図4のフローチャートのステップST1、ST2)。   The local region setting unit 20 a of the medical image processing apparatus 1 a according to the first embodiment includes an MPR cross section position / orientation setting unit 21 and an MPR thickness setting unit 22. The MPR cross-sectional position / orientation setting unit 21 and the MPR thickness setting unit 22 are based on the designation of a doctor or the like, and a flat region (that is, a vascular stenosis part in a blood vessel shown in FIG. The slab position, orientation, and thickness are set (steps ST1 and ST2 in the flowchart of FIG. 4).

一方、視差方向計算部30は、スラブの正面に垂直な方向を裸眼3Dディスプレイ装置200における中央視差方向に対応付ける。そして、この中央視差方向と、左側の複数の視差方向及び右側の複数の視差方向とを、スラブの座標系における視差方向に変換する。   On the other hand, the parallax direction calculation unit 30 associates the direction perpendicular to the front surface of the slab with the central parallax direction in the naked-eye 3D display device 200. Then, the central parallax direction, the left parallax directions, and the right parallax directions are converted into parallax directions in the coordinate system of the slab.

視差画像生成部40aは、これら複数の視差方向に沿って投影し、スラブの奥行き情報が反映された複数(例えば9つ)の視差画像を生成する(図4のフローチャートのステップST3、ST4)。そして、生成された複数の視差画像を裸眼3Dディスプレイ装置200に出力し、ディスプレイパネルに表示する(ステップST5)。   The parallax image generation unit 40a projects along the plurality of parallax directions, and generates a plurality (for example, nine) of parallax images reflecting the depth information of the slab (steps ST3 and ST4 in the flowchart of FIG. 4). And the produced | generated several parallax image is output to the naked-eye 3D display apparatus 200, and is displayed on a display panel (step ST5).

図5及び図6は視差画像生成の概念を示す図である。このうち図5(a)は、中央視差方向を例にした、MPR画像の生成方法を示す斜視図であり、図5(b)は上から見た図である。図5(b)に示すように、MPRでは、厚みをもつスラブを視差方向に投影した2次元画像としてMPR画像を生成する。投影の手法として、1)スラブ内の画素値を視差方向に沿って平均し、その平均値をMPR画像の画素値とする方法、2)視差方向に沿ったスラブ内の画素値の最大値を求め、その最大値をMPR画像の画素値とする方法、3)視差方向に沿ったスラブ内の画素値の最小値を求め、その最小値をMPR画像の画素値とする方法、等がある。本実施形態ではいずれの方法を用いてもよい。   5 and 6 are diagrams illustrating the concept of parallax image generation. Among these, FIG. 5A is a perspective view showing a method of generating an MPR image, taking the central parallax direction as an example, and FIG. 5B is a view seen from above. As shown in FIG. 5B, in MPR, an MPR image is generated as a two-dimensional image obtained by projecting a slab having a thickness in a parallax direction. As a method of projection, 1) a method of averaging pixel values in the slab along the parallax direction and using the average value as a pixel value of the MPR image, and 2) calculating a maximum value of pixel values in the slab along the parallax direction. There are a method for obtaining and setting the maximum value as the pixel value of the MPR image, 3) a method for obtaining the minimum value of the pixel value in the slab along the parallax direction, and setting the minimum value as the pixel value of the MPR image. In this embodiment, any method may be used.

図6は、中央視差方向、左視差方向、及び右視差方向に対応する3つの視差画像(1)、(5)、(9)を例とした複数の視差画像の生成方法を説明する図である。第1の実施形態では、スラブの向きは固定とし、この1つのスラブを異なる視差方向に投影した複数の視差画像を生成する。したがって、中央視差方向はスラブの主平面(正面)に直交するものの、それ以外の視差方向はスラブの主平面に対して斜めとなる。スラブは厚みをもっており、スラブ内にある血管狭窄部等の立体的な患部を視差方向に投影した形状は、視差方向毎に異なる。この結果、それぞれの視差方向に対応する視差画像は、図7に示すように、立体的形状をもつ血管狭窄部をあたかも実際に異なる角度から観察したような画像となる。これらの複数の視差画像を裸眼3Dディスプレイ装置200に表示すると、この表示を見る観察者は、従来のMPR画像では得ることのできなかった血管狭窄部の奥行き方向の形状や、血管狭窄部の血管内における位置関係を瞬時に認識することができるため、従来に比べてより的確な画像診断が可能となる。   FIG. 6 is a diagram for explaining a method of generating a plurality of parallax images taking three parallax images (1), (5), and (9) corresponding to the central parallax direction, the left parallax direction, and the right parallax direction as an example. is there. In the first embodiment, the direction of the slab is fixed, and a plurality of parallax images are generated by projecting this one slab in different parallax directions. Therefore, although the central parallax direction is orthogonal to the main plane (front side) of the slab, the other parallax directions are oblique to the main plane of the slab. The slab has a thickness, and the shape of a three-dimensional affected part such as a blood vessel stenosis part in the slab projected in the parallax direction is different for each parallax direction. As a result, as shown in FIG. 7, the parallax images corresponding to the respective parallax directions are images as if the vascular stenosis portion having a three-dimensional shape was actually observed from different angles. When these parallax images are displayed on the naked-eye 3D display device 200, an observer who sees the display can view the shape in the depth direction of the vascular stenosis part and the blood vessel of the vascular stenosis part that could not be obtained with the conventional MPR image. Since the positional relationship in the inside can be recognized instantly, more accurate image diagnosis can be performed as compared with the conventional case.

(2)第1の実施形態の変形例
図8は、第1の実施形態の第1の変形例による視差画像の生成方法を説明する図である。上述した第1の実施形態では、向きが固定されたスラブに対して異なる視差方向から投影して視差画像を生成している。これに対して、第1の変形例における局所領域設定部20aでは、スラブの主平面(正面)が視差方向に直交するように各視差方向に対応する複数のスラブを設定する。つまり、スラブを上から見たとき、所定の回転軸を中心に回転させた複数のスラブを設定する。図8の例では、スラブ(1)が左視差方向の視差画像(1)に投影され、スラブ(5)が中央視差方向の視差画像(5)に投影され、スラブ(9)が右視差方向の視差画像(9)に投影される。スラブの回転軸は、例えば患部(血管狭窄部等)または患部の近傍(血管の芯線)を通る位置に設定される。
(2) Modified Example of First Embodiment FIG. 8 is a diagram illustrating a parallax image generation method according to a first modified example of the first embodiment. In the first embodiment described above, a parallax image is generated by projecting from a different parallax direction onto a slab having a fixed orientation. On the other hand, the local region setting unit 20a in the first modification sets a plurality of slabs corresponding to each parallax direction so that the main plane (front surface) of the slab is orthogonal to the parallax direction. That is, when the slab is viewed from above, a plurality of slabs rotated around a predetermined rotation axis are set. In the example of FIG. 8, the slab (1) is projected on the parallax image (1) in the left parallax direction, the slab (5) is projected on the parallax image (5) in the central parallax direction, and the slab (9) is in the right parallax direction. Is projected onto the parallax image (9). The rotation axis of the slab is set, for example, at a position passing through the affected part (blood vessel stenosis part or the like) or the vicinity of the affected part (blood vessel core line).

この第1の変形例においても、各スラブ内にある血管狭窄部等の立体的な患部を視差方向に投影した形状は視差方向毎に異なり、それぞれの視差方向に対応する視差画像は、立体的形状をもつ血管狭窄部をあたかも実際に異なる角度から観察したような画像となる。   Also in this first modification, the shape of the three-dimensional affected part such as the vascular stenosis part in each slab projected in the parallax direction is different for each parallax direction, and the parallax images corresponding to the respective parallax directions are three-dimensional. The image is as if the vascular stenosis part having a shape was actually observed from different angles.

図9は、第1の実施形態の第2の変形例による視差画像の生成方法を説明する図である。第2の変形例は、第1の変形例におけるスラブの厚みをゼロとした形態である。この形態では、3次元画像データ中の局所領域は平板状領域ではなく断面(平面)領域となる。しかしながら、局所領域が断面(平面)であっても、図9に示すように、この断面が血管等の患部をそれぞれ異なる角度で切り出すこととなるため、各視差方向に投影された視差画像には患部の形状や奥行き方向の情報が反映されることになる。したがって、これらの複数の視差画像を裸眼3Dディスプレイ装置200に表示すると、奥行き感のある立体的な患部情報を観察者に与えることができる。   FIG. 9 is a diagram illustrating a method for generating a parallax image according to the second modification of the first embodiment. The second modification is a form in which the thickness of the slab in the first modification is zero. In this form, the local region in the three-dimensional image data is not a flat region but a cross-sectional (planar) region. However, even if the local region is a cross-section (plane), as shown in FIG. 9, this cross-section cuts out affected areas such as blood vessels at different angles. Information on the shape and depth direction of the affected area is reflected. Therefore, when these parallax images are displayed on the naked-eye 3D display device 200, three-dimensional affected area information with a sense of depth can be given to the observer.

(2)第2の実施形態
第2の実施形態に係る医用画像処理装置1bは、複数の視差方向から見た複数のCPR(Curved multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
(2) Second Embodiment The medical image processing apparatus 1b according to the second embodiment generates a plurality of CPR (Curved multi-Planner Reconstruction) images viewed from a plurality of parallax directions and supplies the naked eye 3D display apparatus 200 with the CPR image. Output.

図10は、第2の実施形態に係る医用画像処理装置1bの構成例を示すブロック図であり、図11はその処理例を示すフローチャートである。   FIG. 10 is a block diagram illustrating a configuration example of the medical image processing apparatus 1b according to the second embodiment, and FIG. 11 is a flowchart illustrating the processing example.

第2の実施形態に係る医用画像処理装置1bの局所領域設定部20bは、CPR曲線・向き設定部23と、CPR厚み設定部24を有する。CPR曲線・向き設定部23は、医師等の指定に基づき、詳細に観察したい管状構造物(例えば、血管狭窄部を含む血管等)の芯線を求め、この芯線に沿う曲板状領域を局所領域として設定する。CPRで用いられる曲板状領域は、図12等に示すように、一方向(例えばユーザから見て縦方向であり、図12におけるZ方向)にのみ曲率を有し、これと直交する方向(例えばユーザから見て横方向であり、図12におけるX方向)には曲率をもたない曲板状の領域である。この曲板状領域を観察する主たる方向(以下、主観察方向という)は、曲板状領域を平板に展開したときその展開平板に垂直な方向(図12における厚み方向:Y方向)となる。CPR曲線・向き設定部23は、この主観察方向を設定することにより、曲板状領域の向きを設定する(図11のフローチャートのステップST11)。一方、CPR厚み設定部24は、CPRの曲板状領域の厚みを設定する(図11のフローチャートのステップST12)。   The local region setting unit 20 b of the medical image processing apparatus 1 b according to the second embodiment includes a CPR curve / orientation setting unit 23 and a CPR thickness setting unit 24. The CPR curve / orientation setting unit 23 obtains a core line of a tubular structure (for example, a blood vessel including a vascular stenosis part) to be observed in detail based on designation by a doctor or the like, and the curved plate-like region along the core line is determined as a local region Set as. As shown in FIG. 12 and the like, the curved plate-like region used in CPR has a curvature only in one direction (for example, the vertical direction when viewed from the user and the Z direction in FIG. 12), and a direction orthogonal to this ( For example, it is a curved plate-like region having no curvature in the horizontal direction as viewed from the user and in the X direction in FIG. A main direction (hereinafter referred to as a main observation direction) for observing the curved plate-like region is a direction perpendicular to the developed flat plate (thickness direction in FIG. 12: Y direction) when the curved plate-like region is developed on the flat plate. The CPR curve / orientation setting unit 23 sets the direction of the curved plate region by setting the main observation direction (step ST11 in the flowchart of FIG. 11). On the other hand, the CPR thickness setting unit 24 sets the thickness of the CPR curved plate region (step ST12 in the flowchart of FIG. 11).

視差方向計算部30は、曲板状領域の主観察方向を裸眼3Dディスプレイ装置200における中央視差方向に対応付ける。そして、この中央視差方向と、左側の複数の視差方向及び右側の複数の視差方向とを、曲板状領域の座標系における視差方向に変換する。   The parallax direction calculation unit 30 associates the main observation direction of the curved plate area with the central parallax direction in the naked-eye 3D display device 200. Then, the central parallax direction, the plurality of parallax directions on the left side, and the plurality of parallax directions on the right side are converted into parallax directions in the coordinate system of the curved plate region.

視差画像生成部40bは、曲板状領域を垂直な平板に展開すると共に展開平板をこれら複数の視差方向に沿って投影し、曲板状領域の奥行き情報が反映された複数(例えば9つ)の視差画像を生成する(図11のフローチャートのステップST13、ST14)。そして、生成された複数の視差画像を裸眼3Dディスプレイ装置200に出力し、ディスプレイパネルに表示する(ステップST15)。   The parallax image generation unit 40b develops the curved plate-like region on a vertical flat plate and projects the developed flat plate along the plurality of parallax directions to reflect the depth information of the curved plate-like region (for example, nine). Are generated (steps ST13 and ST14 in the flowchart of FIG. 11). And the produced | generated several parallax image is output to the naked-eye 3D display apparatus 200, and is displayed on a display panel (step ST15).

図12は、3次元画像データから血管の芯線を含む曲板状領域を切り出す様子を模式的に示す図である。この曲板状領域には血管と、血管の内部の患部(血管狭窄部等)が含まれている。   FIG. 12 is a diagram schematically showing a state in which a curved plate region including a blood vessel core line is cut out from three-dimensional image data. This curved plate-like region includes a blood vessel and an affected part (blood vessel stenosis part or the like) inside the blood vessel.

図13の右下には、曲板状領域を上から見た図を示している。この図からも、曲板状領域に血管を主観察方向から見たときに奥行き方向の情報や血管狭窄部の3次元情報が含まれていることがわかる。   The lower right part of FIG. 13 shows a view of the curved plate-like region as viewed from above. Also from this figure, it can be seen that when the blood vessel is viewed from the main observation direction, the curved plate-shaped region includes information in the depth direction and three-dimensional information of the blood vessel stenosis.

曲板状領域は、図13の上部に示すように、曲板を縦方向に展開して展開平板とし、この展開平板に垂直な方向(視差方向)に投影してCPR画像が生成される。投影の手法としては、前述したMPR画像の生成と同様に、1)展開平板内の画素値を視差方向に沿って平均し、その平均値をCPR画像の画素値とする方法、2)視差方向に沿った展開平板内の画素値の最大値を求め、その最大値をCPR画像の画素値とする方法、3)視差方向に沿った展開平板内の画素値の最小値を求め、その最小値をMPR画像の画素値とする方法、等を用いることができる。   As shown in the upper part of FIG. 13, the curved plate area is developed in the vertical direction to form a developed flat plate, and is projected in a direction (parallax direction) perpendicular to the developed flat plate to generate a CPR image. As a method of projection, similarly to the generation of the MPR image described above, 1) a method in which the pixel values in the developed flat plate are averaged along the parallax direction, and the average value is used as the pixel value of the CPR image. 2) the parallax direction 3) A method of obtaining a maximum value of pixel values in the developed flat plate along the line and using the maximum value as a pixel value of the CPR image. 3) Obtaining a minimum value of pixel values in the developed flat plate along the parallax direction Can be used as the pixel value of the MPR image.

図14及び図15は、異なる視差方向に対するCPR画像を生成する方法を説明する図である。図14に示すように、中央視差方向から切り出した曲板状領域と、右視差方向から切り出した曲板状領域は、いずれも3次元画像データ中の血管を上端から下端まで総て含む曲板状領域であるが、視差方向によって血管の曲がり状態が異なるため、曲板状領域の曲がり状態も夫々異なったものとなる。これらの曲板状領域が夫々垂直方向に展開され、展開平板を視差方向に投影した画像が視差方向に対応したCPRの視差画像である。   14 and 15 are diagrams illustrating a method for generating CPR images for different parallax directions. As shown in FIG. 14, the curved plate-like region cut out from the central parallax direction and the curved plate-like region cut out from the right parallax direction both include all the blood vessels in the three-dimensional image data from the upper end to the lower end. However, since the bent state of the blood vessel is different depending on the parallax direction, the bent state of the curved plate-like region is also different. An image obtained by projecting these curved plate regions in the vertical direction and projecting the developed flat plate in the parallax direction is a CPR parallax image corresponding to the parallax direction.

図15は、3つの曲板状領域(曲板(1)、曲板(5)、曲板(9))を3つの視差方向(左視差方向、中央視差方向、右視差方向)に夫々投影して、3つのCPR画像(視差画像(1)、(5)、(9))を生成する様子を上から見た図である。各視差画像には、血管の形状や患部の形状が視差方向によって異なって投影されており、これらの視差画像を裸眼3Dディスプレイ装置で表示することにより、立体形状や奥行き方向の位置関係を観察者により直感的に把握させることができる。また、CPR画像は、血管の長手方向に沿った広い範囲の血管を投影するため、各視差方向から見たときの奥行き方向の位置関係を広い範囲で提供することができる。   FIG. 15 projects three curved plate regions (curved plate (1), curved plate (5), curved plate (9)) in three parallax directions (left parallax direction, central parallax direction, and right parallax direction), respectively. It is the figure which looked at a mode that three CPR images (parallax image (1), (5), (9)) are generated from the top. In each parallax image, the shape of the blood vessel and the shape of the affected part are projected differently depending on the parallax direction. By displaying these parallax images on the naked-eye 3D display device, the positional relationship between the three-dimensional shape and the depth direction can be observed. Can be intuitively grasped. In addition, since the CPR image projects a wide range of blood vessels along the longitudinal direction of the blood vessels, the positional relationship in the depth direction when viewed from each parallax direction can be provided in a wide range.

ここまでは、厚みのある曲板状領域を投影してCPR画像を生成する方法を説明したが、MPR画像と同様に、厚みのない曲面領域を投影してCPR画像を生成することもできる。図16は、血管の芯線に沿った曲面領域からCPR画像を生成する方法を説明する図である。この方法でも、各曲面は血管や血管内の患部を視差方向に応じた異なった形状で切り出すことになるため、それぞれの視差画像には血管の奥行き情報や形状が反映されている。したがって、これらの視差画像を裸眼3Dディスプレイ装置に表示すると、血管や患部の立体形状や奥行き方向の位置関係を観察者に把握させることができる。   Up to this point, the method of generating a CPR image by projecting a thick curved plate-like region has been described, but a CPR image can also be generated by projecting a curved surface region having no thickness, similar to an MPR image. FIG. 16 is a diagram for explaining a method for generating a CPR image from a curved surface region along a blood vessel core line. Even in this method, each curved surface cuts out a blood vessel or an affected part in the blood vessel with a different shape according to the parallax direction. Therefore, each parallax image reflects the depth information and shape of the blood vessel. Therefore, when these parallax images are displayed on the naked-eye 3D display device, the observer can grasp the three-dimensional shape of the blood vessel and the affected part and the positional relationship in the depth direction.

ところで、通常のCPR画像は、血管等の管状構造物をその芯線に沿った曲板状領域や曲面で切り出し、これを平面に展開して表示する手法であるため、CPR画像上での血管等の長さは、視差方向に関わらず常に一定となる。一方、縦方向に曲がった血管等を異なる視差方向に投影すると、投影された血管等は視差方向によって異なった曲率をもつ。この結果、通常の手法で視差方向の異なる複数のCPR画像を生成すると、CPR画像の縦方向の画像サイズが視差方向によって異なるという問題が生じる。図17は、この問題とその解決方法を説明する図である。   By the way, a normal CPR image is a technique in which a tubular structure such as a blood vessel is cut out in a curved plate-like region or curved surface along its core line, and this is developed and displayed on a flat surface. Is always constant regardless of the parallax direction. On the other hand, when a blood vessel or the like bent in the vertical direction is projected in different parallax directions, the projected blood vessel or the like has a different curvature depending on the parallax direction. As a result, when a plurality of CPR images having different parallax directions are generated by a normal method, there arises a problem that the vertical image size of the CPR image differs depending on the parallax direction. FIG. 17 is a diagram for explaining this problem and its solution.

図17の左側の図は、3次元画像データの中に円弧状の曲線が含まれているモデルを例示している。この曲線は血管等の管状構造物の芯線をモデル化したものであり、説明の便宜上、立法形の3次元画像データの上端面の中心から下端面の中心に向かう湾曲した円弧状の曲線を仮定している。湾曲の方向は右45度視差方向である。   The diagram on the left side of FIG. 17 illustrates a model in which an arcuate curve is included in the three-dimensional image data. This curve is a model of the core line of a tubular structure such as a blood vessel. For convenience of explanation, a curved arc-shaped curve from the center of the upper end surface to the center of the lower end surface of the three-dimensional image data is assumed for the convenience of explanation. doing. The direction of curvature is the 45 degree parallax direction to the right.

図17の右側上段は、通常のCPR法で生成したCPR画像であり、左から順に、中央視差方向、右22.5度視差方向、右45度視差方向のCPR画像である。視差方向が右に移るにつれて円弧の極率は小さく投影され、右45度視差方向では直線に見える。図中のLは曲線(芯線)を5等分した長さである。前述したように、通常のCPR法は芯線の長さを忠実に表現する図法であるため、視差方向が中央視差方向から離れるにつれてCPR画像の縦方向の画像サイズは大きくなる。   The upper right part of FIG. 17 is a CPR image generated by a normal CPR method, and is a CPR image in the central parallax direction, the right 22.5 degree parallax direction, and the right 45 degree parallax direction in order from the left. As the parallax direction moves to the right, the polarities of the arcs are projected to be smaller, and appear to be straight in the right 45-degree parallax direction. L in the figure is the length obtained by dividing the curve (core wire) into five equal parts. As described above, the normal CPR method is a method for faithfully expressing the length of the core line, and therefore the vertical image size of the CPR image increases as the parallax direction moves away from the central parallax direction.

本実施形態では、この問題を解消するため、中央視差方向の縦方向の画像サイズに他の視差方向の画像サイズを強制的に合致させるようにしている。具体的には、図17右下段に示すように、芯線上のサンプリング位置とサンプリング数を各視差画像間で同一としている。この結果、図17右下段に示すように、どの視差方向の視差画像も縦方向の長さが同じとなり、裸眼3Dディスプレイ装置200に対して全て同一サイズの視差画像を出力することができる。   In this embodiment, in order to solve this problem, the image size in the other parallax direction is forcibly matched with the image size in the vertical direction in the central parallax direction. Specifically, as shown in the lower right part of FIG. 17, the sampling position on the core line and the sampling number are the same between the parallax images. As a result, as shown in the lower right part of FIG. 17, the parallax images in any parallax direction have the same length in the vertical direction, and all the parallax images of the same size can be output to the naked-eye 3D display device 200.

図18は、同一サイズのCPR視差画像を得るための他の方法を説明する図である。この方法では、図18右下に示すように、曲板状領域或いは曲面を展開する方向(図18では、図17と同様に縦方向)に沿った軸上でのサンプリング位置とサンプリング数とを各視差画像間で同一としている。この方法によっても、どの視差方向の視差画像も縦方向の長さが同じとなり、裸眼3Dディスプレイ装置200に対して全て同一サイズの視差画像を出力することができる。   FIG. 18 is a diagram for explaining another method for obtaining CPR parallax images of the same size. In this method, as shown in the lower right of FIG. 18, the sampling position and the number of samples on the axis along the direction in which the curved plate-like region or curved surface is developed (the vertical direction in FIG. 18 is the same as that in FIG. 17). The parallax images are the same. Also by this method, the parallax images in any parallax direction have the same length in the vertical direction, and all the parallax images having the same size can be output to the naked-eye 3D display device 200.

(3)第3の実施形態
第3の実施形に係る医用画像処理装置1cは、複数の視差方向から見た複数のSPR(Stretched multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
(3) Third Embodiment The medical image processing apparatus 1c according to the third embodiment generates a plurality of SPR (Stretched multi-Planner Reconstruction) images viewed from a plurality of parallax directions, and supplies the naked-eye 3D display apparatus 200 with it. Output.

図19は、1つの視差方向(中央視差方向)のSPR画像の概念を示す図である。図19に示すように、SPR画像は、SPR画像(視差画像)の縦軸方向を、血管等の管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とする。そして、横軸方向に芯線に直交する軸に沿った画素値を配置して生成する。芯線を引き伸ばす方向(即ち、血管等を真っ直ぐ引き伸ばす方向)を上記とは逆にSPR画像の横軸方向としてもよい。   FIG. 19 is a diagram illustrating the concept of an SPR image in one parallax direction (central parallax direction). As shown in FIG. 19, in the SPR image, the vertical direction of the SPR image (parallax image) is the stretching direction when the core wire of a tubular structure such as a blood vessel is stretched linearly. Then, pixel values along an axis orthogonal to the core line are arranged and generated in the horizontal axis direction. The direction in which the core wire is stretched (that is, the direction in which the blood vessel or the like is stretched straight) may be the horizontal axis direction of the SPR image, contrary to the above.

複数のSPR画像(視差画像)を生成するときは、図20に示すように、芯線に直交する軸の方向を複数の視差方向に夫々対応させて複数の視差画像を生成する。図20の例では、中央視差方向と、中央から角度θだけ右にずれた右視差方向の2つのSPR画像(視差画像)を生成している。   When generating a plurality of SPR images (parallax images), as shown in FIG. 20, a plurality of parallax images are generated by causing the directions of the axes orthogonal to the core line to correspond to the plurality of parallax directions, respectively. In the example of FIG. 20, two SPR images (parallax images) are generated in a central parallax direction and a right parallax direction shifted to the right by an angle θ from the center.

図21は、第3の実施形態に係る医用画像処理装置1cの構成例を示すブロック図であり、図22はその処理例を示すフローチャートである。   FIG. 21 is a block diagram illustrating a configuration example of the medical image processing apparatus 1c according to the third embodiment, and FIG. 22 is a flowchart illustrating the processing example.

第3の実施形態では、局所領域設定部20cのSPR曲線・向き設定部25において、管状構造物の領域を局所領域として設定する。また、SPR曲線・向き設定部25は、芯線に直交する面において基準となる方向(中央視差方向に対応付ける方向)を設定する(図22のステップST21)。   In the third embodiment, the SPR curve / orientation setting unit 25 of the local region setting unit 20c sets the region of the tubular structure as a local region. Further, the SPR curve / orientation setting unit 25 sets a reference direction (a direction associated with the central parallax direction) on a plane orthogonal to the core line (step ST21 in FIG. 22).

視差画像生成部40cは、図19及び図20に示した方法によって複数のSPR画像(視差画像)を生成する(ステップST23、24)。全てのSPR画像(視差画像)の生成が終了すると、それらを裸眼3Dディスプレイ装置200に出力する(ステップST25)。   The parallax image generation unit 40c generates a plurality of SPR images (parallax images) by the method shown in FIGS. 19 and 20 (steps ST23 and ST24). When the generation of all SPR images (parallax images) is completed, they are output to the naked-eye 3D display device 200 (step ST25).

図23は、第3の実施形態の変形例を示す図である。この変形例では、芯線に直交する面内において芯線に直交する軸に沿った帯状領域の幅を設定する。この設定は、局所領域設定部20cのSPR厚み設定部26で行う(図22のステップST22)。一方、視差画像生成部40cは、1)帯状領域の幅方法の画素値を平均する、2)幅方向の画素値の最大値を抽出する、3)幅方向の画素値の最小値を抽出する、等の方法によって前記芯線に直交する軸に沿った画素値を求め、これをSPR画像の横軸方向に配置してSPR画像を生成する。   FIG. 23 is a diagram illustrating a modification of the third embodiment. In this modification, the width of the band-like region along the axis orthogonal to the core wire is set in the plane orthogonal to the core wire. This setting is performed by the SPR thickness setting unit 26 of the local region setting unit 20c (step ST22 in FIG. 22). On the other hand, the parallax image generation unit 40c 1) averages the pixel values of the width method of the band-like region, 2) extracts the maximum value of the pixel values in the width direction, and 3) extracts the minimum value of the pixel values in the width direction. A pixel value along an axis orthogonal to the core line is obtained by a method such as, and the like, and this is arranged in the horizontal axis direction of the SPR image to generate an SPR image.

SPR画像はCPR画像と同様に血管等の管状構造物等の診断に有効な表示法であるが、従来は一方向に投影した2次元画像であった。第3の実施形態によれば、複数の視差方向のSPR画像を裸眼3Dディスプレイ装置200に表示させることにより、血管などの管状構造物を、立体感をもって観察することができ、血管内の奥行き方向の位置関係も容易に把握することができる。   The SPR image is a display method effective for diagnosing a tubular structure such as a blood vessel as in the case of the CPR image, but conventionally it is a two-dimensional image projected in one direction. According to the third embodiment, by displaying SPR images in a plurality of parallax directions on the naked-eye 3D display device 200, a tubular structure such as a blood vessel can be observed with a stereoscopic effect, and the depth direction in the blood vessel can be observed. It is possible to easily grasp the positional relationship.

(4)第4の実施形態
第4の実施形に係る医用画像処理装置1dは、複数の視差方向から見た複数のVGP(Virtual Gross Pathology)画像を生成して裸眼3Dディスプレイ装置200に出力する。VGP画像は、Fillet View(フィレ・ビュー画像、或いは仮想切除標本展開像とも呼ばれる。
(4) Fourth Embodiment The medical image processing apparatus 1d according to the fourth embodiment generates a plurality of VGP (Virtual Gross Pathology) images viewed from a plurality of parallax directions and outputs the generated images to the naked-eye 3D display apparatus 200. . The VGP image is also referred to as a Fillet View (a fillet view image or a virtual ablation sample developed image).

図24は、1つの視差方向(中央視差方向)のVGP画像の概念を示す図である。図24に示すように、VGP画像は、VGP画像(視差画像)の縦軸方向を、大腸等の管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とする。そして、VGP画像の横軸方向を、芯線を中心とする周方向に対応付け、芯線の位置から大腸等の内腔を投影した画像データを横軸方向に配置して視差画像を生成する。芯線を引き伸ばす方向(即ち、大腸等を真っ直ぐ引き伸ばす方向)を上記と逆にVGP画像の横軸としてもよい。   FIG. 24 is a diagram illustrating the concept of a VGP image in one parallax direction (central parallax direction). As shown in FIG. 24, in the VGP image, the vertical axis direction of the VGP image (parallax image) is set as a stretching direction when the core wire of a tubular structure such as the large intestine is stretched linearly. Then, the horizontal axis direction of the VGP image is associated with the circumferential direction centered on the core line, and image data obtained by projecting a lumen such as the large intestine from the position of the core line is arranged in the horizontal axis direction to generate a parallax image. The direction in which the core wire is stretched (that is, the direction in which the large intestine or the like is stretched straight) may be the horizontal axis of the VGP image, contrary to the above.

異なる視差方向の複数のVGP画像(視差画像)を生成するときは、図25に示すように、内腔の投影方向を視差方向θだけ夫々回転させて複数の視差画像を生成する。図25の例では、中央視差方向と、中央から角度θだけ右にずれた右視差方向の2つのVGP画像(視差画像)を生成している。   When generating a plurality of VGP images (parallax images) in different parallax directions, as shown in FIG. 25, the projection direction of the lumen is rotated by the parallax direction θ, respectively, and a plurality of parallax images are generated. In the example of FIG. 25, two VGP images (parallax images) are generated in a central parallax direction and a right parallax direction shifted to the right by an angle θ from the center.

図26は、第4の実施形態に係る医用画像処理装置1dの構成例を示すブロック図であり、図27はその処理例を示すフローチャートである。   FIG. 26 is a block diagram illustrating a configuration example of the medical image processing apparatus 1d according to the fourth embodiment, and FIG. 27 is a flowchart illustrating the processing example.

第4の実施形態では、局所領域設定部20dのVGP曲線・向き設定部27において、管状構造物の領域を局所領域として設定する。また、VGP曲線・向き設定部27は、芯線に直交する面において基準となる方向(中央視差方向に対応付ける方向)を設定する(図27のステップST31)。   In the fourth embodiment, the VGP curve / orientation setting unit 27 of the local region setting unit 20d sets the region of the tubular structure as a local region. Further, the VGP curve / orientation setting unit 27 sets a reference direction (direction associated with the central parallax direction) on a plane orthogonal to the core line (step ST31 in FIG. 27).

視差画像生成部40dは、図24及び図25に示した方法によって複数のVGP画像(視差画像)を生成する(ステップST32、33)。全てのVGP画像(視差画像)の生成が終了すると、それらを裸眼3Dディスプレイ装置200に出力する(ステップST34)。   The parallax image generation unit 40d generates a plurality of VGP images (parallax images) by the method illustrated in FIGS. 24 and 25 (steps ST32 and 33). When the generation of all VGP images (parallax images) is completed, they are output to the naked-eye 3D display device 200 (step ST34).

VGP画像は、大腸等の管状構造物を仮想的に切除展開して表示する方法であり、大腸等の内腔の診断に有効な表示法であるが、従来は一つの視差方向から見た2次元画像であった。第4の実施形態によれば、複数の視差方向のVGP画像を裸眼3Dディスプレイ装置200に表示させることにより、大腸などの管状構造物の内腔を立体感をもって観察することができ、内腔の奥行き方向の位置関係も容易に把握することができる。   The VGP image is a method for virtually excising and displaying a tubular structure such as the large intestine, and is a display method effective for diagnosing a lumen such as the large intestine. Conventionally, the VGP image is viewed from one parallax direction. It was a dimensional image. According to the fourth embodiment, by displaying VGP images in a plurality of parallax directions on the naked-eye 3D display device 200, the lumen of a tubular structure such as the large intestine can be observed with a stereoscopic effect, The positional relationship in the depth direction can be easily grasped.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.

1 医用画像処理装置
10 3次元画像データ保存部
20 局所領域設定部
30 視差方向計算部
40 視差画像生成部
50 視差画像出力部
DESCRIPTION OF SYMBOLS 1 Medical image processing apparatus 10 3D image data storage part 20 Local area | region setting part 30 Parallax direction calculation part 40 Parallax image generation part 50 Parallax image output part

Claims (15)

医療用3次元画像データの中の局所領域を設定する設定部と、
設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、
前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、
を備えたことを特徴とする医用画像処理装置。
A setting unit for setting a local region in medical three-dimensional image data;
A parallax image generating unit that projects the set local region in a plurality of predetermined parallax directions and generates two-dimensional parallax images reflecting the depth information of the plurality of parallax directions by the number of the parallax directions. When,
A parallax image output unit that outputs the plurality of parallax images to the naked-eye 3D display device that simultaneously distributes and emits the plurality of parallax images corresponding to the plurality of parallax images;
A medical image processing apparatus comprising:
前記設定部は、厚みをもつ平板状領域を前記局所領域として設定すると共に前記平板状領域の向きと前記厚みとを設定し、
前記視差画像生成部は、前記複数の視差方向に沿った前記平板状領域の奥行き情報を反映させて前記複数の視差画像を生成する、
ことを特徴とする、
請求項1に記載の医用画像処理装置。
The setting unit sets a flat plate-like region having a thickness as the local region and sets the direction of the flat plate region and the thickness,
The parallax image generation unit generates the plurality of parallax images by reflecting depth information of the flat region along the plurality of parallax directions.
It is characterized by
The medical image processing apparatus according to claim 1.
前記視差画像生成部は、前記視差方向に沿った前記平板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項2に記載の医用画像処理装置。
The parallax image generation unit averages pixel values in the flat area along the parallax direction, extracts a maximum value of the pixel values, or extracts a minimum value of the pixel values, to thereby calculate the depth. Reflect information,
The medical image processing apparatus according to claim 2.
前記設定部は、前記複数の視差方向のそれぞれに直交し、かつ同じ厚みをもつ複数の平板状領域を前記局所領域として設定すると共に前記各平板状領域の向きと前記厚みとを設定し、
前記視差画像生成部は、前記複数の視差方向に沿った前記各平板状領域に直交する方向の奥行き情報を反映させて前記複数の視差画像を生成する、
ことを特徴とする、
請求項1に記載の医用画像処理装置。
The setting unit sets a plurality of plate-like regions having the same thickness as orthogonal to each of the plurality of parallax directions, and sets the direction and the thickness of each plate-like region,
The parallax image generation unit generates the plurality of parallax images by reflecting depth information in a direction orthogonal to the flat plate regions along the plurality of parallax directions.
It is characterized by
The medical image processing apparatus according to claim 1.
前記視差画像生成部は、前記視差方向に沿った前記平板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項4に記載の医用画像処理装置。
The parallax image generation unit averages pixel values in the flat area along the parallax direction, extracts a maximum value of the pixel values, or extracts a minimum value of the pixel values, to thereby calculate the depth. Reflect information,
The medical image processing apparatus according to claim 4.
前記設定部は、前記複数の視差方向のそれぞれに直交する平面を前記局所領域として設定すると共に前記各平面の向きを設定し、
前記視差画像生成部は、向きの異なる前記複数の平面が前記3次元画像データを切断する複数の断面画像を生成することにより、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
The setting unit sets a plane orthogonal to each of the plurality of parallax directions as the local region and sets an orientation of each plane.
The parallax image generation unit generates a plurality of cross-sectional images in which the plurality of planes having different directions cut the three-dimensional image data, thereby reflecting two-dimensional information reflecting each depth information of the plurality of parallax directions. Generate parallax images,
The medical image processing apparatus according to claim 1.
前記設定部は、
前記3次元画像データ中の管状構造物の芯線に沿い、かつ一方向にのみ曲率を有する複数の曲板状領域を前記局所領域として設定すると共に、前記各曲板状領域を平板に展開したときその展開平板に垂直な方向が、前記複数の視差方向にそれぞれ合致するような前記曲板状領域の夫々の向きと、その厚みを設定し、
前記視差画像生成部は、前記各曲板状領域を前記展開平板に展開すると共に、前記複数の視差方向に沿った前記曲板状領域の奥行き情報を反映させて、前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
The setting unit
When a plurality of curved plate-like regions having a curvature only in one direction are set as the local regions along the core line of the tubular structure in the three-dimensional image data, and each curved plate-like region is developed on a flat plate Set the direction and thickness of each of the curved plate regions such that the direction perpendicular to the developed flat plate respectively matches the plurality of parallax directions,
The parallax image generation unit generates the plurality of parallax images by expanding the curved plate-like regions on the developed flat plate and reflecting depth information of the curved plate-like regions along the plurality of parallax directions. To
The medical image processing apparatus according to claim 1.
前記視差画像生成部は、前記視差方向に沿った前記曲板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項7に記載の医用画像処理装置。
The parallax image generation unit averages pixel values in the curved plate-shaped region along the parallax direction, extracts a maximum value of the pixel values, or extracts a minimum value of the pixel values. Reflect depth information,
The medical image processing apparatus according to claim 7.
前記設定部は、
前記3次元画像データ中の管状構造物の芯線に沿い、かつ一方向にのみ曲率を有する複数の曲面を前記局所領域として設定すると共に、前記各曲面を平面に展開したときその展開平面に垂直な方向が、前記複数の視差方向にそれぞれ合致するような前記曲面の夫々の向きを設定し、
前記視差画像生成部は、向きの異なる前記複数の曲面が前記3次元画像データを切断する複数の断面画像を生成し、これらを平面に展開することにより、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
The setting unit
A plurality of curved surfaces along the core line of the tubular structure in the three-dimensional image data and having a curvature only in one direction are set as the local regions, and when each curved surface is developed on a plane, the curved surface is perpendicular to the development plane. Setting each direction of the curved surface such that the direction matches each of the plurality of parallax directions;
The parallax image generation unit generates a plurality of cross-sectional images in which the plurality of curved surfaces having different directions cut the three-dimensional image data, and develops them on a plane to thereby obtain depth information of each of the plurality of parallax directions. A two-dimensional parallax image reflecting the
The medical image processing apparatus according to claim 1.
前記視差画像生成部は、展開方向における前記視差画像のサイズが、どの視差方向の視差画像においても等しくなるように、前記芯線上のサンプリング位置とサンプリング数を各視差画像間で同一とする、
ことを特徴とする請求項7乃至9の何れかに記載の医用画像処理装置。
The parallax image generation unit makes the sampling position and the sampling number on the core line the same between the parallax images so that the size of the parallax image in the development direction is the same in the parallax images in any parallax direction.
The medical image processing apparatus according to claim 7, wherein the medical image processing apparatus is a medical image processing apparatus.
前記視差画像生成部は、展開方向における前記視差画像のサイズが、どの視差方向の視差画像においても等しくなるように、前記展開方向に沿った軸上でのサンプリング位置とサンプリング数を各視差画像間で同一とする、
ことを特徴とする請求項7乃至9の何れかに記載の医用画像処理装置。
The parallax image generation unit sets a sampling position and a sampling number on the axis along the development direction between the parallax images so that the size of the parallax image in the development direction is the same in the parallax images in any parallax direction. Is the same,
The medical image processing apparatus according to claim 7, wherein the medical image processing apparatus is a medical image processing apparatus.
前記設定部は、
前記3次元画像データ中の管状構造物の領域を前記局所領域として設定し、
前記視差画像生成部は、
前記視差画像の横軸方向と縦軸方向のうちのうちの一方の軸方向を、前記管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とし、他方の軸方向に前記芯線に直交する軸に沿った画素値を配置して前記視差画像を生成すると共に、前記芯線に直交する軸の方向を前記複数の視差方向に夫々対応させて前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
The setting unit
A region of a tubular structure in the three-dimensional image data is set as the local region;
The parallax image generation unit
One of the horizontal axis direction and the vertical axis direction of the parallax image is defined as a stretching direction when the core wire of the tubular structure is stretched linearly, and the other axial direction is orthogonal to the core wire. Generating the parallax image by arranging pixel values along the axis to be generated, and generating the plurality of parallax images by causing the directions of the axes orthogonal to the core line to correspond to the plurality of parallax directions, respectively.
The medical image processing apparatus according to claim 1.
前記設定部は、
前記芯線に直交する面内において前記芯線に直交する軸に沿った帯状領域の幅を設定し、
前記視差画像生成部は、
前記帯状領域の幅方向の画素値を平均する、前記幅方向の画素値の最大値を抽出する、或いは前記幅方向の画素値の最小値を抽出する、ことによって前記芯線に直交する軸に沿った画素値を求める、
ことを特徴とする請求項12に記載の医用画像処理装置。
The setting unit
Set the width of the band-like region along the axis orthogonal to the core wire in a plane orthogonal to the core wire;
The parallax image generation unit
Along the axis orthogonal to the core line by averaging the pixel values in the width direction of the strip region, extracting the maximum value of the pixel values in the width direction, or extracting the minimum value of the pixel values in the width direction Find the pixel value
The medical image processing apparatus according to claim 12.
前記設定部は、
前記3次元画像データ中の管状構造物の領域を前記局所領域として設定し、
前記視差画像生成部は、
前記視差画像の横軸方向と縦軸方向のうちの一方の軸方向を、前記管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とし、他方の軸方向を前記芯線を中心とする周方向に対応付け、前記芯線の位置から前記管状構造物の内腔を投影した画像データを前記他方の軸方向に配置して前記視差画像を生成すると共に、前記内腔の投影方向を、前記複数の視差方向だけ夫々回転させて、前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
The setting unit
A region of a tubular structure in the three-dimensional image data is set as the local region;
The parallax image generation unit
One of the horizontal axis direction and the vertical axis direction of the parallax image is defined as a stretching direction when the core wire of the tubular structure is stretched linearly, and the other axial direction is centered on the core wire. The parallax image is generated by arranging image data obtained by projecting the lumen of the tubular structure from the position of the core line in the other axial direction in association with the circumferential direction, and the projection direction of the lumen is the Rotating the plurality of parallax directions respectively to generate the plurality of parallax images;
The medical image processing apparatus according to claim 1.
医療用3次元画像データの中の局所領域を設定するステップと、
設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成するステップと、
前記複数の視差画像を、裸眼3Dディスプレイに出力するステップと、
をコンピュータに実行させることを特徴とする医用画像処理装置の制御プログラム。
Setting a local region in the medical three-dimensional image data;
Projecting the set local regions in a plurality of predetermined parallax directions, and generating as many two-dimensional parallax images as the number of parallax directions reflecting depth information of each of the parallax directions;
Outputting the plurality of parallax images to a naked-eye 3D display;
A program for controlling a medical image processing apparatus.
JP2011101604A 2011-04-28 2011-04-28 Medical image processing apparatus, and control program of the same Withdrawn JP2012231893A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011101604A JP2012231893A (en) 2011-04-28 2011-04-28 Medical image processing apparatus, and control program of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011101604A JP2012231893A (en) 2011-04-28 2011-04-28 Medical image processing apparatus, and control program of the same

Publications (1)

Publication Number Publication Date
JP2012231893A true JP2012231893A (en) 2012-11-29

Family

ID=47432885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011101604A Withdrawn JP2012231893A (en) 2011-04-28 2011-04-28 Medical image processing apparatus, and control program of the same

Country Status (1)

Country Link
JP (1) JP2012231893A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199585A (en) * 2018-09-26 2019-01-15 深圳市新致维科技有限公司 A kind of naked eye 3D display system, display device and the display methods of Minimally Invasive Surgery
CN113347407A (en) * 2021-05-21 2021-09-03 华中科技大学 Medical image display system based on naked eye 3D

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199585A (en) * 2018-09-26 2019-01-15 深圳市新致维科技有限公司 A kind of naked eye 3D display system, display device and the display methods of Minimally Invasive Surgery
CN113347407A (en) * 2021-05-21 2021-09-03 华中科技大学 Medical image display system based on naked eye 3D

Similar Documents

Publication Publication Date Title
US10426345B2 (en) System for generating composite images for endoscopic surgery of moving and deformable anatomy
JP5586465B2 (en) Ultrasonic diagnostic equipment
EP3166082B1 (en) Rendering expanded lumen image
CN103839285B (en) Method and apparatus for showing medical image
JP5815513B2 (en) Image processing apparatus and image processing method
US20150254224A1 (en) Method and apparatus for displaying 3d image
JP4257218B2 (en) Method, system and computer program for stereoscopic observation of three-dimensional medical images
JP5414906B2 (en) Image processing apparatus, image display apparatus, image processing method, and program
US9582936B2 (en) Method and apparatus for combining plurality of 2D images with 3D model
JP2005521960A5 (en)
US20120127497A1 (en) Method and system of displaying prints of reconstructed 3d images
JP5498185B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image display program
JP2012231893A (en) Medical image processing apparatus, and control program of the same
MX2014000639A (en) Method and system for performing rendering.
JP2008067915A (en) Medical picture display
JP6501796B2 (en) Acquisition Orientation Dependent Features for Model-Based Segmentation of Ultrasound Images
WO2013027773A1 (en) Image processing device, image processing method, and recording medium
JP2008259698A (en) Image processing method and apparatus, and program
JP2006178772A (en) Image processing method, system, and program
JP5751993B2 (en) Image processing apparatus, image processing method, and program
JP2023004884A (en) Rendering device for displaying graphical representation of augmented reality
JP2006229841A (en) Stereo stereoscopic display device and its program
JP2013048688A (en) Image processing device, image processing method and program
JP2015150115A (en) image display device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140701