JP2001070248A - Image processing device - Google Patents
Image processing deviceInfo
- Publication number
- JP2001070248A JP2001070248A JP24884899A JP24884899A JP2001070248A JP 2001070248 A JP2001070248 A JP 2001070248A JP 24884899 A JP24884899 A JP 24884899A JP 24884899 A JP24884899 A JP 24884899A JP 2001070248 A JP2001070248 A JP 2001070248A
- Authority
- JP
- Japan
- Prior art keywords
- needle
- image
- biopsy needle
- graphic model
- volume data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、組織サンプルを採
取する等のバイオプシー(生検)のためにニードルを被
検体内に刺し込んでいくとき、その作業を支援する情報
を作成し、表示する画像処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention creates and displays information that assists in inserting a needle into a subject for biopsy (biopsy) such as collecting a tissue sample. The present invention relates to an image processing device.
【0002】[0002]
【従来の技術】バイオプシーニードルを被検体に刺し込
んでいく作業には、周辺の臓器や血管等を傷つけないよ
うに、慎重さが要求される。この作業を支援するため
に、現在、コンピュータによる画像処理技術が応用され
ている。3次元画像(3D画像)の表示法の中にフライ
スルー表示法がある。このフライスルー表示法は、X線
コンピュータ断層撮影装置(CTスキャナ)や磁気共鳴
映像装置(MRI)等により事前に収集していおいた体
内の3次元データ(ボリュームデータ)から、気管等の
対象部位を抽出し、その抽出した部位の内部に視点を設
定し、あたかも内視鏡を使って見たような3次元画像を
作成し、表示することを可能にした画像処理である。2. Description of the Related Art Careful work is required for inserting a biopsy needle into a subject so as not to damage surrounding organs and blood vessels. In order to support this work, computer-based image processing technology is currently applied. A fly-through display method is a display method of a three-dimensional image (3D image). This fly-through display method is based on three-dimensional data (volume data) in the body collected in advance by an X-ray computed tomography apparatus (CT scanner), a magnetic resonance imaging apparatus (MRI), etc. Is extracted, a viewpoint is set inside the extracted part, and a three-dimensional image as if viewed with an endoscope is created and displayed.
【0003】このフライスルー表示法をバイオプシー作
業の支援に適用するために、針先から前方を見たような
3次元画像(内視鏡的画像)を得るために3次元画像の
視点を針先に配置すること、ニードルを動かすとそれに
追従してリアルタイムで画像が変わるように実際にニー
ドルの向き及び位置を測定し、それを取り込んで3次元
画像の作成処理に反映させること等が主な改良箇所であ
る。さらに、追加機能として、ニードルが臓器壁等に衝
突する前に、それを判定し、アラーム等の警報を発する
という衝突判定機能等のバイオプシー特有の便利な機能
が開発され、組み込まれている。[0003] In order to apply this fly-through display method to the support of a biopsy operation, the viewpoint of the three-dimensional image must be changed to obtain a three-dimensional image (endoscopic image) looking forward from the needle tip. The main improvements are to measure the direction and position of the needle so that the image changes in real time following the movement of the needle as it moves, and then take it and reflect it in the 3D image creation process. Part. Further, as an additional function, a useful function peculiar to biopsy, such as a collision determination function of determining before the needle collides with an organ wall or the like and issuing an alarm such as an alarm, has been developed and incorporated.
【0004】しかし、このような改良や追加だけでは、
その有効性、実用性は決して高いとはいえない。その最
大の理由としては、これはフライスルーに限らず3次元
画像の表示技術全般に言えることであるが、奥行き(深
さ)を明暗で表現しているに過ぎないので、距離感、特
にニードルの針先からその前方に見える臓器までの距離
感が、非常につかみ難いということがあげられる。However, such improvements and additions alone are
Its effectiveness and practicality are far from high. The biggest reason is that this is true not only for fly-through but also for all three-dimensional image display technologies. However, since the depth (depth) is expressed only in light and shade, the sense of distance, especially needle It is very difficult to grasp the distance from the tip of the needle to the organ in front of it.
【0005】[0005]
【発明が解決しようとする課題】本発明の目的は、バイ
オプシーニードルの操作支援情報を作成し表示する画像
処理装置において、バイオプシーニードルの針先からそ
の前方にある臓器等までの距離感をより分かり易く提供
することにある。SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing apparatus for creating and displaying operation assisting information for a biopsy needle, in which the sense of distance from the tip of the biopsy needle to an organ or the like in front thereof can be more clearly understood. It is to provide easily.
【0006】[0006]
【課題を解決するための手段】(1)本発明による画像
処理装置は、バイオプシーニードルの操作支援情報とし
て、前記ニードルの先端位置より所定距離後方の位置の
視点から見た内視鏡的な3次元画像を、対象部位に関す
るボリュームデータから作成し、前記ニードルのグラフ
ィックモデルを重畳して表示することを特徴とする。(1) An image processing apparatus according to the present invention provides, as operation assisting information for a biopsy needle, an endoscopic 3D image viewed from a viewpoint at a predetermined distance behind the distal end position of the needle. It is characterized in that a dimensional image is created from volume data relating to the target part, and a graphic model of the needle is superimposed and displayed.
【0007】(2)本発明は、(1)の装置において、
前記ニードルの横方向から見た前記対象部位に関する側
面画像を前記ボリュームデータから作成し、前記ニード
ルのグラフィックモデルを重畳して、前記3次元画像と
同時に表示することを特徴とする。(2) The present invention relates to the apparatus of (1),
A side image of the target site viewed from the lateral direction of the needle is created from the volume data, and a graphic model of the needle is superimposed and displayed at the same time as the three-dimensional image.
【0008】(3)本発明は、(1)の装置において、
前記ボリュームデータから、前記対象部位の外形を表す
外形画像を作成し、前記ニードルのグラフィックモデル
を重畳して、前記3次元画像と同時に表示することを特
徴とする。(3) The present invention relates to the device of (1),
An outer shape image representing the outer shape of the target site is created from the volume data, and a graphic model of the needle is superimposed and displayed simultaneously with the three-dimensional image.
【0009】(4)本発明による画像処理装置は、バイ
オプシーニードルの操作支援情報として、対象部位に関
するボリュームデータから内視鏡的な3次元画像を作成
する画像処理装置において、前記3次元画像の視点を前
記ニードルの先端位置とその先端位置から所定距離後方
の位置との間で選択可能であって、前記3次元画像の視
点が前記ニードルの先端位置から所定距離後方の位置に
選択されたときには前記3次元画像を前記ニードルのグ
ラフィックモデルと共に表示することを特徴とする。(4) The image processing apparatus according to the present invention is an image processing apparatus for creating an endoscopic three-dimensional image from volume data relating to a target site as operation support information for a biopsy needle. Can be selected between the distal end position of the needle and a position behind the distal end position by a predetermined distance, and when the viewpoint of the three-dimensional image is selected at a position behind the distal end position of the needle by a predetermined distance. A three-dimensional image is displayed together with the graphic model of the needle.
【0010】(5)本発明による画像処理装置は、バイ
オプシーニードルの操作支援情報として、対象部位に関
するボリュームデータから、前記対象部位を前記ニード
ルの横方向から見た側面画像を作成し、前記ニードルの
グラフィックモデルと共に表示することを特徴とする。(5) The image processing apparatus according to the present invention creates a side image of the target site viewed from the lateral direction of the needle from volume data relating to the target site as operation support information for the biopsy needle, It is characterized by being displayed together with a graphic model.
【0011】(6)本発明による画像処理装置は、バイ
オプシーニードルの操作支援情報として、対象部位に関
するボリュームデータから、前記対象部位の外形を表す
外形画像を作成し、前記ニードルのグラフィックモデル
と共に表示することを特徴とする。(6) The image processing apparatus according to the present invention creates an outer shape image representing the outer shape of the target portion from volume data relating to the target portion as operation support information for the biopsy needle, and displays the image together with the graphic model of the needle. It is characterized by the following.
【0012】(7)本発明による画像処理装置は、対象
部位に関するボリュームデータを記憶する手段と、バイ
オプシーニードルの位置及び向きを検出する手段と、前
記バイオプシーニードルの位置及び向きに基づいて、前
記バイオプシーニードルの先端位置より所定距離後方の
位置の視点から見た内視鏡的な3次元画像を、前記ボリ
ュームデータから作成する手段と、前記バイオプシーニ
ードルの位置及び向きに基づいて、前記バイオプシーニ
ードルのグラフィックモデルを作成する手段と、前記内
視鏡的な3次元画像に前記バイオプシーニードルのグラ
フィックモデルを位置整合して合成する手段と、前記バ
イオプシーニードルのグラフィックモデルが合成された
内視鏡的な3次元画像を表示する手段とを具備すること
を特徴とする。(7) The image processing apparatus according to the present invention comprises: means for storing volume data relating to a target site; means for detecting the position and orientation of the biopsy needle; and the biopsy needle based on the position and orientation of the biopsy needle. Means for creating an endoscopic three-dimensional image from a viewpoint at a position behind the distal end of the needle by a predetermined distance from the volume data, and a graphic of the biopsy needle based on the position and orientation of the biopsy needle Means for creating a model, means for aligning and synthesizing the graphic model of the biopsy needle with the endoscopic three-dimensional image, and endoscopic three-dimensional art in which the graphic model of the biopsy needle is synthesized Means for displaying an image.
【0013】(8)本発明による画像処理装置は、対象
部位に関するボリュームデータを記憶する手段と、バイ
オプシーニードルの位置及び向きを検出する手段と、前
記バイオプシーニードルの位置及び向きに基づいて、前
記バイオプシーニードルの先端位置の視点と、その先端
位置より所定距離後方の位置の視点とから見た内視鏡的
な3次元画像を、前記ボリュームデータから作成する手
段と、前記ボリュームデータの視点を前記先端位置と、
前記先端位置より所定距離後方の位置とから選択的に指
定するための手段と、前記先端位置より所定距離後方の
位置の視点が指定されたとき、前記バイオプシーニード
ルの位置及び向きに基づいて、前記バイオプシーニード
ルのグラフィックモデルを作成する手段と、前記先端位
置より所定距離後方の位置の視点が指定されたとき、前
記内視鏡的な3次元画像に前記バイオプシーニードルの
グラフィックモデルを位置整合して合成する手段と、前
記先端位置の視点が指定されたとき、前記内視鏡的な3
次元画像を表示し、前記先端位置より所定距離後方の位
置の視点が指定されたとき、前記バイオプシーニードル
のグラフィックモデルが合成された内視鏡的な3次元画
像を表示する手段とを具備することを特徴とする。(8) The image processing apparatus according to the present invention includes means for storing volume data relating to a target site, means for detecting the position and orientation of the biopsy needle, and the biopsy needle based on the position and orientation of the biopsy needle. Means for creating, from the volume data, an endoscopic three-dimensional image viewed from the viewpoint of the tip position of the needle and the viewpoint at a position behind the tip position by a predetermined distance, and changing the viewpoint of the volume data to the tip location and,
Means for selectively specifying from a position behind the tip position by a predetermined distance, and when a viewpoint at a position behind the tip position by a predetermined distance is specified, based on the position and orientation of the biopsy needle, Means for creating a graphic model of the biopsy needle, and synthesizing the graphic model of the biopsy needle by aligning the graphic model of the biopsy needle with the endoscopic three-dimensional image when a viewpoint at a position behind the tip position by a predetermined distance is designated. And the endoscope-like 3 when the viewpoint of the tip position is designated.
Means for displaying a three-dimensional image and displaying an endoscopic three-dimensional image in which a graphic model of the biopsy needle is synthesized when a viewpoint at a position behind the tip position by a predetermined distance is designated. It is characterized by.
【0014】(9)本発明による画像処理装置は、対象
部位に関するボリュームデータを記憶する手段と、バイ
オプシーニードルの位置及び向きを検出する手段と、前
記バイオプシーニードルの位置及び向きに基づいて、前
記バイオプシーニードルの横方向から見た側面画像を、
前記ボリュームデータから作成する手段と、前記バイオ
プシーニードルの位置及び向きに基づいて、前記バイオ
プシーニードルを横方向から見たグラフィックモデルを
作成する手段と、前記側面画像に前記バイオプシーニー
ドルのグラフィックモデルを位置整合して合成する手段
と、前記バイオプシーニードルのグラフィックモデルが
合成された側面画像を表示する手段とを具備することを
特徴とする。(9) The image processing apparatus according to the present invention includes means for storing volume data relating to a target site, means for detecting the position and orientation of the biopsy needle, and the biopsy needle based on the position and orientation of the biopsy needle. The side view from the side of the needle
Means for creating from the volume data, means for creating a graphic model of the biopsy needle viewed from the lateral direction based on the position and orientation of the biopsy needle, and aligning the graphic model of the biopsy needle with the side image And a means for displaying a side image combined with the graphic model of the biopsy needle.
【0015】(10)本発明による画像処理装置は、対
象部位に関するボリュームデータを記憶する手段と、バ
イオプシーニードルの位置及び向きを検出する手段と、
前記対象部位の外形を表す外形画像を、前記ボリューム
データから作成する手段と、前記バイオプシーニードル
の位置及び向きに基づいて、前記バイオプシーニードル
のグラフィックモデルを作成する手段と、前記バイオプ
シーニードルの位置及び向きに基づいて、前記外形画像
に前記バイオプシーニードルのグラフィックモデルを位
置整合して合成する手段と、前記バイオプシーニードル
のグラフィックモデルが合成された外形画像を表示する
手段とを具備することを特徴とする。(10) An image processing apparatus according to the present invention comprises: means for storing volume data relating to a target site; means for detecting the position and orientation of a biopsy needle;
Means for creating an outer shape image representing the outer shape of the target site from the volume data, means for creating a graphic model of the biopsy needle based on the position and orientation of the biopsy needle, and position and orientation of the biopsy needle And a means for aligning the graphic model of the biopsy needle with the outline image and synthesizing the graphic model, and a means for displaying an outline image obtained by synthesizing the graphic model of the biopsy needle.
【0016】[0016]
【発明の実施の形態】以下、図面を参照して、本発明を
好ましい実施形態により詳細に説明する。図1は本実施
形態の画像処理装置の概略構成図である。画像処理装置
10は、コンピュータ本体部分19を中心として、それ
に表示部11と、バイオプシーニードルの後方複数箇所
で位置を検出するためのニードルポジションセンサ26
とが接続されている。また、このコンピュータ本体部分
19には、マウス12やキーボード13等の入力機器が
入力インタフェース14を介して接続されている。さら
に、コンピュータ本体部分19には、X線コンピュータ
断層撮影装置(CTスキャナ)や磁気共鳴映像装置(M
RI)等により収集されたマルチスライスの画像データ
を記憶する記憶ユニット25がストレージインタフェー
ス15を介して接続されている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The preferred embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a schematic configuration diagram of the image processing apparatus of the present embodiment. The image processing apparatus 10 includes a display unit 11 and a needle position sensor 26 for detecting positions at a plurality of positions behind the biopsy needle, centering on the computer main body 19.
And are connected. Input devices such as a mouse 12 and a keyboard 13 are connected to the computer main body 19 via an input interface 14. Further, an X-ray computed tomography apparatus (CT scanner) and a magnetic resonance imaging apparatus (M
A storage unit 25 for storing multi-slice image data collected by, for example, RI) is connected via the storage interface 15.
【0017】コンピュータ本体部分19は、システム制
御部24を中心として、それに上述した入力インタフェ
ース14とストレージインタフェース15の他に、後述
する3種の画像(内視鏡的画像、外形画像、側面画像)
それぞれのニードルグラフィックモデルを作成するニー
ドルグラフィックモデル作成部16、表示する物体上に
色を付けるカラーパレット又はそのベースとなる様々な
臓器等の色情報を記憶する色情報記憶部17、記憶ユニ
ット25に記憶されているマルチスライスの画像データ
から対象部位を抽出し、3次元データ(ボリュームデー
タ)を作成するボリュームデータ作成部18、ニードル
ポジションセンサ26で検出したニードルの後方複数箇
所の位置からニードル先端の位置及びその向きを計算す
るためのニードル先端/向き計算部20が接続されてい
る。The computer main body 19 mainly includes a system control unit 24, and in addition to the input interface 14 and the storage interface 15 described above, three types of images (endoscopic image, external image, and side image) which will be described later.
Needle graphic model creation unit 16 for creating each needle graphic model, color information storage unit 17 for storing color information on various objects such as a color palette for coloring on an object to be displayed or a base thereof, and storage unit 25 A volume data creating unit 18 that extracts a target region from the stored multi-slice image data and creates three-dimensional data (volume data). A needle tip / orientation calculation unit 20 for calculating the position and its orientation is connected.
【0018】さらに、コンピュータ本体部分19のシス
テム制御部24には、ボリュームデータ作成部18で作
成された対象部位のボリュームデータを基に、内視鏡で
見えるような3次元画像(内視鏡的画像)、対象部位全
体の平面的な形状が表現された外形画像、ニードルの横
方向から見た対象部位に関する側面画像をそれぞれ作成
する内視鏡的画像作成部21、外形画像作成部22、側
面画像作成部23が接続されてる。Further, based on the volume data of the target part created by the volume data creating unit 18, the system control unit 24 of the computer main body 19 stores a three-dimensional image (endoscope-like image) that can be seen with an endoscope. Image), an outline image in which the planar shape of the entire target region is expressed, and an endoscopic image generation unit 21, an outline image generation unit 22, which creates a side image of the target region viewed from the lateral direction of the needle. The image creation unit 23 is connected.
【0019】以下、これら内視鏡的画像作成部21、外
形画像作成部22、側面画像作成部23の画像作成処理
機能について図2のフローチャートによる動作手順と共
に説明する。ボリュームデータ作成部18により、記憶
ユニット25に記憶されているマルチスライスの画像デ
ータから2値化処理により対象部位が抽出され、その部
位のボリュームデータが作成されているものとする(S
1)。次に、ニードルポジションセンサ26で検出され
たニードルの後方部分上の例えば2箇所の位置から、ニ
ードル先端の位置及びその軸の向きがニードル先端/向
き計算部20により計算される(S2)。ニードル先端
/向き計算部20により計算されたニードル先端の位置
及びその向きに従って、ボリュームデータを基に、内視
鏡的画像作成部21では内視鏡で見えるような内視鏡的
な3次元画像を作成するのであるが、このとき、術者
は、その3次元画像の視点を、図3に示すように、ニー
ドル先端位置PVfと、その先端位置PVfから所定距
離又はマウス12等の入力機器を介して任意に指定した
距離だけ後方の位置PVrとの2カ所から何れか一方を
選択できるようになっている(S3)。The image creation processing functions of the endoscope image creation unit 21, the outer shape image creation unit 22, and the side image creation unit 23 will be described below together with the operation procedure according to the flowchart of FIG. It is assumed that the target region is extracted by binarization processing from the multi-slice image data stored in the storage unit 25 by the volume data generation unit 18 and volume data of the region is generated (S
1). Next, the position of the needle tip and the direction of the axis thereof are calculated by the needle tip / direction calculation unit 20 from, for example, two positions on the rear part of the needle detected by the needle position sensor 26 (S2). In accordance with the position and orientation of the needle tip calculated by the needle tip / orientation calculation unit 20, based on the volume data, an endoscopic image creation unit 21 allows an endoscopic three-dimensional image to be viewed with an endoscope. At this time, the surgeon sets the viewpoint of the three-dimensional image to a needle tip position PVf and a predetermined distance from the tip position PVf or an input device such as a mouse 12 as shown in FIG. One of the two positions can be selected from the position PVr and the rear position PVr by a distance arbitrarily designated through the operation (S3).
【0020】視点として先端位置PVfが選択されたと
き、内視鏡的画像作成部21では、ニードル先端/向き
計算部20により計算されたニードル先端位置PVfか
らニードル軸を視線方向とし、さらに指定した色情報を
色情報記憶部17から読み出して、内視鏡的画像生成部
21へ送ることにより、内視鏡的画像データを作成する
(S4)。When the tip position PVf is selected as the viewpoint, the endoscopic image creating unit 21 sets the needle axis to the line-of-sight direction from the needle tip position PVf calculated by the needle tip / direction calculation unit 20 and further designates it. The color information is read from the color information storage unit 17 and sent to the endoscopic image generation unit 21 to create endoscopic image data (S4).
【0021】一方、視点として後方位置PVrが選択さ
れたとき、内視鏡的画像作成部21では、ニードル先端
/向き計算部20により計算されたニードル先端位置P
Vfからそのニードル軸に沿って所定距離後方の後方位
置PVrを算出し(S5)、その算出した後方位置PV
rからニードル軸を視線方向とし、さらに指定した色情
報を色情報記憶部17から読み出して、内視鏡的画像生
成部21へ送ることにより、内視鏡的画像データを作成
する(S6)。On the other hand, when the rear position PVr is selected as the viewpoint, the endoscopic image creating unit 21 calculates the needle tip position P calculated by the needle tip / direction calculation unit 20.
A rear position PVr behind the predetermined distance along the needle axis from Vf is calculated (S5), and the calculated rear position PV is calculated.
From r, the needle axis is set as the line-of-sight direction, and the designated color information is read from the color information storage unit 17 and sent to the endoscopic image generation unit 21 to create endoscopic image data (S6).
【0022】このように視点をニードル先端より後方に
おいたとき、ニードルの先端から当該視点PVrまでの
部分が、当該円錐状の視野FVrに入る。この視点PV
rから見えるニードル部分の立体的なグラフィックモデ
ルがニードルグラフィックモデル作成部16で作成さ
れ、内視鏡的画像作成部21で内視鏡的画像に合成され
る。When the viewpoint is located behind the tip of the needle as described above, the portion from the tip of the needle to the viewpoint PVr enters the conical field of view FVr. This viewpoint PV
A three-dimensional graphic model of the needle portion seen from r is created by the needle graphic model creating unit 16 and is synthesized by the endoscopic image creating unit 21 into an endoscopic image.
【0023】また、外形画像作成部22では、ニードル
先端/向き計算部20により計算されたニードル先端の
位置及びその向きに従って、対象部位全体を表示する外
形画像が、ボリュームデータを基に作成され、さらに、
この外形画像にニードルグラフィックモデル作成部16
で作成された当該外形画像に対応するニードルのグラフ
ィックモデルが、合成される。Further, in the outer shape image creating section 22, an outer shape image displaying the entire target portion is created based on the volume data in accordance with the position and orientation of the needle tip calculated by the needle tip / orientation calculating section 20, further,
Needle graphic model creation unit 16
The graphic model of the needle corresponding to the outer shape image created in step is synthesized.
【0024】さらに、側面画像作成部23では、ニード
ル先端/向き計算部20により計算されたニードル先端
の位置及びその向きに従って、対象部位を当該ニードル
の真横から見たような側面画像が、ボリュームデータを
基に作成され、さらに、この側面画像にニードルグラフ
ィックモデル作成部16で作成された当該側面画像に対
応するニードルのグラフィックモデルが、合成される。
なお、この側面画像には、ニードルグラフィックモデル
の他に、スケールモデル(物差し像)を合成して表示す
るようにしてもよく、この場合、ニードル先端からその
前方にある部位までの距離を定量的に把握することが容
易になる。Further, in accordance with the position and orientation of the needle tip calculated by the needle tip / orientation calculation unit 20, the side image creating unit 23 generates a side image as if the target site was viewed from right beside the needle, by volume data. The needle graphic model corresponding to the side image created by the needle graphic model creating unit 16 is synthesized with the side image.
In addition, in addition to the needle graphic model, a scale model (measurement image) may be combined with the side image and displayed. In this case, the distance from the tip of the needle to a portion in front of the needle model is quantitatively determined. It becomes easy to grasp.
【0025】このように内視鏡的画像作成部21で作成
された先端視点又は後方視点の内視鏡的画像100が、
図4に示すように、外形画像作成部22で作成された外
形画像200と、側面画像作成部23で作成された側面
画像300と共に、表示部11の画面で同時に表示され
る(S9)。The endoscopic image 100 of the front viewpoint or the rear viewpoint created by the endoscopic image creating unit 21 in this manner is
As shown in FIG. 4, the outline image 200 created by the outline image creation unit 22 and the side image 300 created by the side image creation unit 23 are simultaneously displayed on the screen of the display unit 11 (S9).
【0026】この表示中に、視点位置が先端から後方
に、又は後方から先端に切り換えられたとき(S1
0)、ステップS4又はS5に戻って、その切り換えら
れた視点に応じた内視鏡的画像が作成され、切り換え前
の視点に応じた内視鏡的画像から切り替わって表示され
る。また、術者によりニードルが移動されたとき(S1
1)、ステップS2に戻って、その移動後の位置に応じ
て上記3種の画像を作成し、表示する。これにより3種
の画像は常にニードルの動きに追従して変化するように
なっている。During this display, when the viewpoint position is switched from the tip to the rear or from the back to the tip (S1).
0), returning to step S4 or S5, an endoscopic image corresponding to the switched viewpoint is created, and is switched from the endoscopic image corresponding to the viewpoint before switching and displayed. When the needle is moved by the operator (S1
1) Returning to step S2, the above three types of images are created and displayed according to the position after the movement. Thus, the three kinds of images always change following the movement of the needle.
【0027】以上のように、本実施形態によれば、内視
鏡的画像をニードル先端より後方の位置に設定した視点
に従って作成し、その視点から見えるべきニードル先端
付近のグラフィックモデルと共に内視鏡的画像を表示す
るので、画像上で臓器等とニードルの先端とを同時に見
比べて、ニードルの針先からその前方にある臓器等まで
の距離感をつかむことができる。また、ニードルの真横
から見た対象部位の側面画像を作成し、ニードルのグラ
フィックモデルと共に表示するので、ニードルの針先か
らその前方にある臓器等までの距離を、直接的に理解す
ることができる。さらに、対象部位の外形を表す外形画
像が、ニードルのグラフィックモデルと共に表示される
ので、ニードルの針先からその前方にある臓器等までの
距離だけでなく、対象部位全体の中でニードルがどの位
置にどのような向きにあるかを正確に理解することがで
きる。As described above, according to the present embodiment, an endoscopic image is created according to the viewpoint set at a position behind the tip of the needle, and the endoscope is created together with the graphic model near the tip of the needle to be seen from that viewpoint. Since the target image is displayed, it is possible to compare the organ or the like and the tip of the needle on the image at the same time, and to grasp the sense of distance from the needle tip of the needle to the organ or the like in front thereof. In addition, since a side image of the target site viewed from the side of the needle is created and displayed together with the graphic model of the needle, the distance from the needle tip of the needle to an organ or the like in front thereof can be directly understood. . Furthermore, since an outline image representing the outline of the target site is displayed together with the graphic model of the needle, not only the distance from the needle tip of the needle to the organ or the like in front of it, but also the position of the needle within the entire target site You can understand exactly what orientation you are in.
【0028】本発明は、上述した実施形態に限定される
ことなく、種々変形して実施可能である。例えば、上述
した3種の画像は、同時表示するようにしてもよいし、
1枚ずつ画面全体に大きく切り換えて表示するようにし
てもよい。The present invention is not limited to the embodiments described above, but can be implemented with various modifications. For example, the above three types of images may be displayed simultaneously,
The display may be largely switched one by one over the entire screen.
【0029】[0029]
【発明の効果】本発明によれば、ニードルの先端位置よ
り所定距離後方の位置の視点から見た内視鏡的な3次元
画像が、その視点から見えるべきニードル先端付近のグ
ラフィックモデルと共に表示されるので、画像上で臓器
等とニードルの先端とを同時に見比べることができ、こ
れによりバイオプシーニードルの針先からその前方にあ
る臓器等までの距離感がより分かり易くなる。According to the present invention, an endoscopic three-dimensional image viewed from the viewpoint at a position behind the distal end of the needle by a predetermined distance is displayed together with a graphic model near the distal end of the needle to be viewed from that viewpoint. Therefore, the organ and the like and the tip of the needle can be compared on the image at the same time, which makes it easier to understand the sense of distance from the tip of the biopsy needle to the organ and the like in front thereof.
【0030】また、ニードルの横方向から見た対象部位
に関する側面画像が、ニードルのグラフィックモデルと
共に表示されるので、バイオプシーニードルの針先から
その前方にある臓器等までの距離を、直接的に理解する
ことができる。Further, since a side image of the target portion viewed from the side of the needle is displayed together with the graphic model of the needle, the distance from the tip of the biopsy needle to the organ or the like in front thereof can be directly understood. can do.
【0031】さらに、対象部位の外形を表す外形画像
が、ニードルのグラフィックモデルと共に表示されるの
で、バイオプシーニードルの針先からその前方にある臓
器等までの距離だけでなく、対象部位に対するバイオプ
シーニードルの位置や向きまで理解することができる。Further, since the outer shape image representing the outer shape of the target site is displayed together with the graphic model of the needle, not only the distance from the tip of the biopsy needle to the organ or the like in front thereof, but also the position of the biopsy needle with respect to the target site. Can understand the position and orientation.
【図1】本発明の一実施形態に係る画像処理装置の構成
を示すブロック図。FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
【図2】本実施形態の動作手順を示すフローチャート。FIG. 2 is a flowchart showing an operation procedure of the embodiment.
【図3】図1の内視鏡的画像作成部で選択可能なニード
ル先端視点と後方視点それぞれの視野を気管支を例に示
す図。FIG. 3 is a diagram showing, as an example, a bronchus of a visual field of a needle tip viewpoint and a rear viewpoint that can be selected by the endoscopic image creating unit of FIG. 1;
【図4】本実施形態による表示画面を気管支を例に示す
図。FIG. 4 is a diagram showing a display screen according to the present embodiment by taking a bronchus as an example.
10…画像処理装置、 11…表示部、 12…マウス、 13…キーボード、 14…入力インタフェース、 15…ストレージインタフェース、 16…ニードルグラフィックモデル作成部、 17…色情報記憶部、 18…ボリュームデータ作成部、 19…コンピュータ本体部分、 20…ニードル先端/向き計算部、 21…内視鏡的画像作成部、 22…外形画像作成部、 23…側面画像作成部、 24…システム制御部、 25…記憶ユニット、 26…ニードルポジションセンサ。 DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus, 11 ... Display part, 12 ... Mouse, 13 ... Keyboard, 14 ... Input interface, 15 ... Storage interface, 16 ... Needle graphic model creation part, 17 ... Color information storage part, 18 ... Volume data creation part , 19 ... computer body part, 20 ... needle tip / direction calculation unit, 21 ... endoscopic image creation unit, 22 ... outside image creation unit, 23 ... side image creation unit, 24 ... system control unit, 25 ... storage unit , 26 ... Needle position sensor.
Claims (10)
して、前記ニードルの先端位置より所定距離後方の位置
の視点から見た内視鏡的な3次元画像を、対象部位に関
するボリュームデータから作成し、前記ニードルのグラ
フィックモデルを重畳して表示することを特徴とする画
像処理装置。1. An endoscopic three-dimensional image viewed from a viewpoint at a position a predetermined distance behind a distal end position of the needle is created from volume data relating to a target site as operation assistance information of the biopsy needle, An image processing apparatus characterized by superimposing and displaying the graphic model.
部位に関する側面画像を前記ボリュームデータから作成
し、前記ニードルのグラフィックモデルを重畳して、前
記3次元画像と同時に表示することを特徴とする請求項
1記載の画像処理装置。2. A side view image of the target part viewed from a lateral direction of the needle is created from the volume data, and a graphic model of the needle is superimposed and displayed simultaneously with the three-dimensional image. The image processing device according to claim 1.
位の外形を表す外形画像を作成し、前記ニードルのグラ
フィックモデルを重畳して、前記3次元画像と同時に表
示することを特徴とする請求項1記載の画像処理装置。3. The three-dimensional image is displayed simultaneously with the three-dimensional image by creating a contour image representing the contour of the target part from the volume data, superimposing a graphic model of the needle. Image processing device.
して、対象部位に関するボリュームデータから内視鏡的
な3次元画像を作成する画像処理装置において、 前記3次元画像の視点を前記ニードルの先端位置とその
先端位置から所定距離後方の位置との間で選択可能であ
って、前記3次元画像の視点が前記ニードルの先端位置
から所定距離後方の位置に選択されたときには前記3次
元画像を前記ニードルのグラフィックモデルと共に表示
することを特徴とする画像処理装置。4. An image processing apparatus for creating an endoscopic three-dimensional image from volume data relating to a target region as operation assistance information of a biopsy needle, wherein the viewpoint of the three-dimensional image is determined by a tip position of the needle and a tip thereof. The position is selectable from a position behind a predetermined distance from the position, and when the viewpoint of the three-dimensional image is selected to a position after a predetermined distance from the tip position of the needle, the three-dimensional image is displayed as a graphic model of the needle. And an image processing device for displaying the image.
して、対象部位に関するボリュームデータから、前記対
象部位を前記ニードルの横方向から見た側面画像を作成
し、前記ニードルのグラフィックモデルと共に表示する
ことを特徴とする画像処理装置。5. As a biopsy needle operation support information, a side image of the target site viewed from a lateral direction of the needle is created from volume data relating to the target site, and is displayed together with a graphic model of the needle. Image processing device.
して、対象部位に関するボリュームデータから、前記対
象部位の外形を表す外形画像を作成し、前記ニードルの
グラフィックモデルと共に表示することを特徴とする画
像処理装置。6. An image processing apparatus according to claim 1, wherein, as operation assistance information for the biopsy needle, an outer shape image representing the outer shape of the target site is created from volume data on the target site, and displayed together with a graphic model of the needle.
憶する手段と、バイオプシーニードルの位置及び向きを
検出する手段と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記バイオプシーニードルの先端位置より所定距離後方
の位置の視点から見た内視鏡的な3次元画像を、前記ボ
リュームデータから作成する手段と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記バイオプシーニードルのグラフィックモデルを作成
する手段と、 前記内視鏡的な3次元画像に前記バイオプシーニードル
のグラフィックモデルを位置整合して合成する手段と、 前記バイオプシーニードルのグラフィックモデルが合成
された内視鏡的な3次元画像を表示する手段とを具備す
ることを特徴とする画像処理装置。7. A means for storing volume data relating to a target site, a means for detecting the position and orientation of a biopsy needle, and
Means for creating an endoscopic three-dimensional image viewed from the viewpoint at a position behind the tip of the biopsy needle by a predetermined distance from the volume data, based on the position and orientation of the biopsy needle,
Means for creating a graphic model of the biopsy needle; means for aligning and synthesizing the graphic model of the biopsy needle with the endoscopic three-dimensional image; and an endoscope in which the graphic model of the biopsy needle is synthesized. Means for displaying a mirror-like three-dimensional image.
憶する手段と、 バイオプシーニードルの位置及び向きを検出する手段
と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記バイオプシーニードルの先端位置の視点と、その先
端位置より所定距離後方の位置の視点とから見た内視鏡
的な3次元画像を、前記ボリュームデータから作成する
手段と、 前記ボリュームデータの視点を前記先端位置と、前記先
端位置より所定距離後方の位置とから選択的に指定する
ための手段と、 前記先端位置より所定距離後方の位置の視点が指定され
たとき、前記バイオプシーニードルの位置及び向きに基
づいて、前記バイオプシーニードルのグラフィックモデ
ルを作成する手段と、 前記先端位置より所定距離後方の位置の視点が指定され
たとき、前記内視鏡的な3次元画像に前記バイオプシー
ニードルのグラフィックモデルを位置整合して合成する
手段と、 前記先端位置の視点が指定されたとき、前記内視鏡的な
3次元画像を表示し、前記先端位置より所定距離後方の
位置の視点が指定されたとき、前記バイオプシーニード
ルのグラフィックモデルが合成された内視鏡的な3次元
画像を表示する手段とを具備することを特徴とする画像
処理装置。8. A means for storing volume data relating to a target site; a means for detecting the position and orientation of the biopsy needle; and
Means for creating, from the volume data, an endoscopic three-dimensional image viewed from the viewpoint of the tip position of the biopsy needle and a viewpoint located at a predetermined distance behind the tip position, Means for selectively designating the tip position and a position behind the tip position by a predetermined distance, and when a viewpoint at a position behind the tip position by a predetermined distance is designated, the position and orientation of the biopsy needle Means for creating a graphic model of the biopsy needle on the basis of, when a viewpoint at a position behind the tip position by a predetermined distance is specified, the graphic model of the biopsy needle is displayed on the endoscopic three-dimensional image. Means for synthesizing the position, and displaying the endoscopic three-dimensional image when a viewpoint of the tip position is designated. Means for displaying an endoscopic three-dimensional image in which a graphic model of the biopsy needle is synthesized when a viewpoint at a position behind the tip position by a predetermined distance is designated. Image processing device.
憶する手段と、 バイオプシーニードルの位置及び向きを検出する手段
と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記バイオプシーニードルの横方向から見た側面画像
を、前記ボリュームデータから作成する手段と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記バイオプシーニードルを横方向から見たグラフィッ
クモデルを作成する手段と、 前記側面画像に前記バイオプシーニードルのグラフィッ
クモデルを位置整合して合成する手段と、 前記バイオプシーニードルのグラフィックモデルが合成
された側面画像を表示する手段とを具備することを特徴
とする画像処理装置。9. means for storing volume data relating to a target site; means for detecting the position and orientation of the biopsy needle; and based on the position and orientation of the biopsy needle.
Means for creating a side image of the biopsy needle from the lateral direction from the volume data, based on the position and orientation of the biopsy needle,
Means for creating a graphic model of the biopsy needle viewed from the lateral direction; means for aligning and synthesizing the graphic model of the biopsy needle with the side image; synthesizing the side image on which the graphic model of the biopsy needle is synthesized An image processing apparatus comprising: a display unit.
記憶する手段と、 バイオプシーニードルの位置及び向きを検出する手段
と、 前記対象部位の外形を表す外形画像を、前記ボリューム
データから作成する手段と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記バイオプシーニードルのグラフィックモデルを作成
する手段と、 前記バイオプシーニードルの位置及び向きに基づいて、
前記外形画像に前記バイオプシーニードルのグラフィッ
クモデルを位置整合して合成する手段と、 前記バイオプシーニードルのグラフィックモデルが合成
された外形画像を表示する手段とを具備することを特徴
とする画像処理装置。10. A means for storing volume data relating to a target part, a means for detecting the position and orientation of a biopsy needle, a means for creating a contour image representing the contour of the target part from the volume data, Based on the position and orientation of the needle,
Means for creating a graphic model of the biopsy needle, based on the position and orientation of the biopsy needle,
An image processing apparatus, comprising: means for aligning and synthesizing the graphic model of the biopsy needle with the outline image, and displaying the outline image in which the graphic model of the biopsy needle is synthesized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24884899A JP2001070248A (en) | 1999-09-02 | 1999-09-02 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24884899A JP2001070248A (en) | 1999-09-02 | 1999-09-02 | Image processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001070248A true JP2001070248A (en) | 2001-03-21 |
Family
ID=17184333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24884899A Pending JP2001070248A (en) | 1999-09-02 | 1999-09-02 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001070248A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003005902A1 (en) * | 2001-07-12 | 2003-01-23 | Hitachi Medical Corporation | Endoscopic image pickup method and magnetic resonance imaging device using the same |
JP2013529533A (en) * | 2010-06-28 | 2013-07-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Medical tomosynthesis system |
JP2018183589A (en) * | 2017-04-25 | 2018-11-22 | バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. | Endoscopic view of invasive procedures in narrow passages |
-
1999
- 1999-09-02 JP JP24884899A patent/JP2001070248A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003005902A1 (en) * | 2001-07-12 | 2003-01-23 | Hitachi Medical Corporation | Endoscopic image pickup method and magnetic resonance imaging device using the same |
CN100350875C (en) * | 2001-07-12 | 2007-11-28 | 株式会社日立医药 | Endoscopic image pickup method and magnetic resonance imaging device using the same |
US7653426B2 (en) | 2001-07-12 | 2010-01-26 | Hitachi Medical Corporation | Endoscopic image pickup method and magnetic resonance imaging device using the same |
JP2013529533A (en) * | 2010-06-28 | 2013-07-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Medical tomosynthesis system |
US9782134B2 (en) | 2010-06-28 | 2017-10-10 | Koninklijke Philips N.V. | Lesion imaging optimization using a tomosynthesis/biopsy system |
JP2018183589A (en) * | 2017-04-25 | 2018-11-22 | バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. | Endoscopic view of invasive procedures in narrow passages |
JP7505081B2 (en) | 2017-04-25 | 2024-06-24 | バイオセンス・ウエブスター・(イスラエル)・リミテッド | Endoscopic imaging of invasive procedures in narrow passages |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2007201941B2 (en) | Enhanced ultrasound image display | |
AU2007237321B2 (en) | Coloring electroanatomical maps to indicate ultrasound data acquisition | |
JP4676021B2 (en) | Diagnosis support apparatus, diagnosis support program, and diagnosis support method | |
US6049622A (en) | Graphic navigational guides for accurate image orientation and navigation | |
CN109998678A (en) | Augmented reality assisting navigation is used during medicine regulation | |
EP2372660A2 (en) | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same | |
JP5417609B2 (en) | Medical diagnostic imaging equipment | |
US20070167706A1 (en) | Method and apparatus for visually supporting an electrophysiological catheter application in the heart by means of bidirectional information transfer | |
KR20080053057A (en) | Ultrasound imaging system and method for forming and displaying fusion image of ultrasound image and external medical image | |
JP2007044121A (en) | Medical image display method and apparatus | |
CN109907801B (en) | Locatable ultrasonic guided puncture method | |
JP2000279425A (en) | Navigation device | |
CN118000863B (en) | Kidney puncture guiding method, system and computer equipment based on multimode fusion | |
JP2004057379A (en) | Ultrasonic diagnostic system | |
JP5807826B2 (en) | Surgery support device and surgery support program | |
JPH10234663A (en) | Image processor | |
CN106028943A (en) | Ultrasonic virtual endoscopic imaging system and method, and apparatus thereof | |
JP4159396B2 (en) | Endoscope shape detection device | |
JP2001070248A (en) | Image processing device | |
JP2003079637A (en) | Operation navigating system | |
JP2017023834A (en) | Picture processing apparatus, imaging system, and picture processing method | |
JP2010051615A (en) | Magnetic resonance imaging apparatus | |
JP2000189400A (en) | Three-dimensional positioning display device | |
AU2013251245B2 (en) | Coloring electroanatomical maps to indicate ultrasound data acquisition | |
JP2659664B2 (en) | Ultrasound image display |