JP2001250131A - Image forming device - Google Patents
Image forming deviceInfo
- Publication number
- JP2001250131A JP2001250131A JP2000058794A JP2000058794A JP2001250131A JP 2001250131 A JP2001250131 A JP 2001250131A JP 2000058794 A JP2000058794 A JP 2000058794A JP 2000058794 A JP2000058794 A JP 2000058794A JP 2001250131 A JP2001250131 A JP 2001250131A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- projection
- update
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007781 pre-processing Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 28
- 210000004204 blood vessel Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、Ｘ線ＣＴ装置やＭ
ＲＩ装置などにより得られる三次元的な医用画像を基
に、例えば血管や気管支の内面などについて、内視鏡的
映像の形成を可能とする画像形成に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an X-ray CT
The present invention relates to image formation capable of forming an endoscopic image of, for example, a blood vessel or an inner surface of a bronchus based on a three-dimensional medical image obtained by an RI device or the like.
【０００２】[0002]
【従来の技術】Ｘ線ＣＴ装置やＭＲＩ装置などにより得
られる三次元的な医用画像を三次元原画像として内視鏡
的映像を疑似的に得る技術の一つとしては、例えば特願
平６−１４３４９６号（特開平８−１６８１３号）など
を優先権の基礎とした米国特許第５６９４５３０号に開
示の例が知られている。この技術では、Ｘ線ＣＴ装置や
ＭＲＩ装置などにより与えられる三次元原画像を基にし
て内視鏡的映像のための疑似三次元画像（陰影付けなど
により奥行感を与えた画像）を得るについて、与えられ
た三次元原画像に対し、これを投影するための視点と投
影面との対を、望みの方向（血管の場合であればその延
在方向）に更新しながら三次元原画像の部分部分を順次
投影するようにしている。つまり対の視点と投影面との
間に三次元原画像の一部として介在する単位三次元原画
像を、視点と投影面との対の更新ごとに、更新視点から
更新投影面に投影することで、三次元原画像に基づく部
分的疑似三次元画像の連続的表示、つまり内視鏡映像的
表示をなすようにしている。またこのような連続的部分
表示において必要となる、望みの更新方向のための更新
視点の決定、つまり視点経路の決定は、視点から投影画
像の画素点までの距離情報で構成した“デプス画像”を
利用することで視点から最も深い画素点を探し、これに
基づいて視点経路の決定を行なうようにしている。2. Description of the Related Art One of the techniques for simulating an endoscopic image by using a three-dimensional medical image obtained by an X-ray CT apparatus, an MRI apparatus, or the like as a three-dimensional original image is disclosed in, for example, Japanese Patent Application No. Hei. An example disclosed in U.S. Pat. No. 5,694,530, which is based on priority of 143496 (JP-A-8-16813) and the like, is known. In this technique, a pseudo three-dimensional image (an image having a sense of depth by shading etc.) for an endoscopic image is obtained based on a three-dimensional original image provided by an X-ray CT apparatus, an MRI apparatus, or the like. For a given 3D original image, a pair of a viewpoint and a projection plane for projecting the given 3D original image is updated in a desired direction (in the case of a blood vessel, the extending direction thereof) while updating the pair of the 3D original image. Partial portions are sequentially projected. In other words, a unit 3D original image interposed as a part of the 3D original image between the paired viewpoint and the projection plane is projected from the updated viewpoint to the updated projection plane every time the pair of the viewpoint and the projection plane is updated. Thus, a continuous display of a partially pseudo three-dimensional image based on the three-dimensional original image, that is, an endoscope image display is performed. The determination of the update viewpoint for the desired update direction, that is, the determination of the viewpoint path, which is necessary in such continuous partial display, is performed by using a “depth image” constituted by distance information from the viewpoint to the pixel point of the projection image. Is used to search for the deepest pixel point from the viewpoint, and the viewpoint path is determined based on this.
【０００３】また他の技術としてD.S.Paikその他による
“Automatedflight path planningfor virtualy endosc
opy ”Med.Phys.25(5),May1998 629-637ページに開示の
例が知られている。この例では、始点と終点を指定し、
これら始点と終点の間を最短にする経路を視点経路とす
る方法が提案されている。[0003] Another technique is "Automatedflight path planning for virtualy endosc" by DSPaik et al.
opy "Med.Phys. 25 (5), May 1998, pages 629-637. In this example, a start point and an end point are specified.
A method has been proposed in which a path that minimizes the distance between the start point and the end point is set as a viewpoint path.
【０００４】[0004]
【発明が解決しようとする課題】上記の“デプス画像”
を利用した視点経路の決定方法は、基本的には有効性の
高いものであるが、ある種の条件の場合に問題を生じる
ことがある。例えば血管を内視鏡映像的表示のための連
続的表示の対象とするとして、その血管に分岐部分が含
まれている場合などがそのような例である。この場合に
は、視点から最も深い画素点という基準だけであると、
分岐点から先において操作者が連続的表示を意図してい
るのとは異なる血管中にたまたま最も深い画素点がある
ことにより、その方向に誤って視点経路が選択されてし
まう可能性がある。The above-mentioned "depth image"
Although the method of determining the viewpoint route using is basically effective, it may cause a problem under certain conditions. For example, such a case is a case where a blood vessel is set as a target of continuous display for endoscopic image display, and the blood vessel includes a branch portion. In this case, if only the criterion is the deepest pixel point from the viewpoint,
If the operator happens to have the deepest pixel point in a blood vessel different from the one that the operator intends to continuously display before the branch point, the viewpoint path may be erroneously selected in that direction.
【０００５】また上記の始点と終点を指定する方法にお
いては、始点と終点の間を最短にする経路を見出すのに
多数の経路を比較する必要があるし、またそのために結
果的に不要になる経路までも求めるという無駄な処理を
含む可能性があるという問題を抱えている。In the above method of specifying the start point and the end point, it is necessary to compare a large number of paths to find a path which minimizes the distance between the start point and the end point, and as a result, it becomes unnecessary. There is a problem that it may include useless processing of obtaining even the route.
【０００６】本発明は、上記のような従来の事情を背景
になされたものであり、内視鏡映像的表示の対象に分岐
部分などがある場合でも、操作者の意図通りの視点経路
を的確に選択することができるような画像形成技術の提
供を目的としている。The present invention has been made in view of the above-described conventional circumstances. Even when a target to be displayed on an endoscope image includes a branch portion, a viewpoint path intended by an operator is accurately determined. The purpose of the present invention is to provide an image forming technique that can be selected in any of the above.
【０００７】[0007]
【課題を解決するための手段】上記目的のために本発明
では、与えられた三次元原画像に対し、これを投影する
ための視点と投影面との対を、前記三次元原画像に関す
る所望の方向に更新しながら、前記対の視点と投影面と
の間に前記三次元原画像の一部として介在する単位三次
元原画像を、前記視点と投影面との対の更新ごとに、更
新視点から更新投影面に投影して投影像を形成する投影
像形成手段と、この投影像形成手段で得られる各更新ご
との投影像を表示する表示手段とを備え、前記三次元原
画像に基づく部分的疑似三次元画像の連続的表示をなせ
るようにされている画像形成装置において、前記三次元
原画像を複数の予備処理用視点からこれら各予備処理用
視点に対応する予備処理用投影面に投影して予備処理用
投影像を形成する予備処理用投影像形成手段と、この予
備処理用投影像形成手段で形成した投影像を前記表示手
段に表示した状態でトレースしてトレース曲線を作成す
るためのトレース手段と、このトレース手段で作成した
各トレース曲線ごとに、それぞれの上に設定した複数の
点と各トレース曲線が形成されている投影像に対応する
予備処理用視点とを結ぶ直線群を作成する直線群作成手
段と、この直線群作成手段で作成された各直線群に関し
て、前記各直線群中の各直線同士の最近接点を求め、こ
の各最近接点からガイド曲線を作成するガイド曲線作成
手段と、このガイド曲線作成手段で作成したガイド曲線
に基づいて前記所望の方向のための更新視点を決定する
ための更新視点決定手段とを備えていることを特徴とし
ている。According to the present invention, for a given object, a pair of a viewpoint and a projection plane for projecting a given three-dimensional original image is determined with respect to the three-dimensional original image. While updating in the direction of, the unit 3D original image interposed as a part of the 3D original image between the pair of viewpoints and the projection plane is updated every time the viewpoint and the projection plane pair is updated. A projection image forming unit that forms a projection image by projecting the projection image from the viewpoint to the update projection plane; and a display unit that displays a projection image for each update obtained by the projection image forming unit, based on the three-dimensional original image. In an image forming apparatus adapted to continuously display a partially pseudo three-dimensional image, a pre-processing projection plane corresponding to each of the three-dimensional original images is prepared from a plurality of pre-processing viewpoints. To form a projection image for preliminary processing Preparatory processing projection image forming means, tracing means for creating a trace curve by tracing a projection image formed by the preliminary processing projection image forming means on the display means, and tracing means A straight line group creating means for creating a straight line group connecting a plurality of points set on each of the trace curves and a viewpoint for preliminary processing corresponding to a projection image on which each trace curve is formed; For each straight line group created by the group creating unit, a closest point between the straight lines in each straight line group is determined, and a guide curve creating unit that creates a guide curve from each of the closest points is created by the guide curve creating unit. Update viewpoint determining means for determining an update viewpoint for the desired direction based on the guide curve thus obtained.
【０００８】また上記目的のために本発明では、与えら
れた三次元原画像に対し、これを投影するための視点と
投影面との対を、前記三次元原画像に関する所望の方向
に更新しながら、前記対の視点と投影面との間に前記三
次元原画像の一部として介在する単位三次元原画像を、
前記視点と投影面との対の更新ごとに、更新視点から更
新投影面に投影することで、前記三次元原画像に基づく
部分的疑似三次元画像の連続的表示をなすようにされて
いる画像形成方法において、前記三次元原画像を複数の
予備処理用視点からこれら各予備処理用視点に対応する
予備処理用投影面に投影するとともに、これら各予備処
理用投影面上の投影像をトレースしてトレース曲線を求
め、さらに前記各トレース曲線ごとに、それぞれの上に
設定した複数の点と各トレース曲線が形成されている投
影像に対応する予備処理用視点とを結ぶ直線群を作成す
るとともに、これら各直線群に関して、前記各直線群中
の各直線同士の最近接点を求め、さらにこれら各最近接
点からガイド曲線を作成し、そしてこのガイド曲線に基
づいて前記所望の方向のための更新視点の決定をなすよ
うにされていることを特徴としている。According to the present invention, a pair of a viewpoint and a projection plane for projecting a given three-dimensional original image is updated in a desired direction with respect to the three-dimensional original image. Meanwhile, a unit three-dimensional original image interposed as a part of the three-dimensional original image between the pair of viewpoints and the projection plane,
For each update of the pair of the viewpoint and the projection plane, by projecting from the update viewpoint to the update projection plane, an image adapted to form a continuous display of a partial pseudo three-dimensional image based on the three-dimensional original image In the forming method, the three-dimensional original image is projected from a plurality of viewpoints for preliminary processing onto a projection plane for preliminary processing corresponding to each viewpoint for preliminary processing, and a projection image on each of the planes for preliminary processing is traced. To obtain a trace curve, and further, for each of the trace curves, create a straight line group connecting a plurality of points set above each and a viewpoint for preliminary processing corresponding to a projection image on which each trace curve is formed. For each of these straight line groups, the closest point between each straight line in each of the straight line groups is determined, a guide curve is created from each of the closest points, and the desired curve is formed based on the guide curve. It is characterized in that it is so as to form a decision of updates viewpoints for direction.
【０００９】また本発明では、上記のような画像形成方
法において、ガイド曲線に基づく更新視点の決定は、ガ
イド曲線との距離関係によりなすようにしており、そし
て更新方向に関する進路候補点が複数あり、これに伴っ
て更新視点候補点が複数ある場合に、複数の進路候補点
の内からガイド曲線に最も近い進路候補点を求め、この
進路候補点に基づいて更新視点を決定するか、または複
数の更新視点候補点の内からガイド曲線に最も近い更新
視点候補点を求め、この更新視点候補点を更新視点とす
るようにしている。According to the present invention, in the above-described image forming method, the determination of the update viewpoint based on the guide curve is made based on the distance relationship with the guide curve, and there are a plurality of route candidate points in the update direction. Accordingly, when there are a plurality of update viewpoint candidate points, a route candidate point closest to the guide curve is determined from the plurality of route candidate points, and the update viewpoint is determined based on the route candidate point, or The update viewpoint candidate point closest to the guide curve is obtained from among the update viewpoint candidate points, and this update viewpoint candidate point is set as the update viewpoint.
【００１０】[0010]
【発明の実施の形態】図４に本発明の一実施形態による
画像形成装置のブロック構成を示す。画像形成装置は、
後述する様々な処理や全体管理を行なうＣＰＵ４０、Ｃ
ＰＵ４０による処理に必要なプログラムやデータの格納
に用いられる主メモリ４１、Ｘ線ＣＴ装置やＭＲＩ装置
などにより得られる三次元医用画像などを三次元原画像
として格納したり、またＣＰＵ４０による処理で得られ
た画像を格納するのに用いられる磁気ディスク４２、Ｃ
ＰＵ４０による処理で得られた画像などの表示に介在す
る表示メモリ４３、表示メモリ４３を介して出力される
画像を表示する表示装置４４、コントローラ４５を介し
て入力を行なうマウス４６、およびキーボード４７を含
んでなる。FIG. 4 shows a block diagram of an image forming apparatus according to an embodiment of the present invention. The image forming apparatus
CPU 40, C for performing various processes and overall management described later
The main memory 41 used for storing programs and data necessary for processing by the PU 40, a three-dimensional medical image obtained by an X-ray CT apparatus, an MRI apparatus, or the like is stored as a three-dimensional original image, or obtained by processing by the CPU 40. Disk 42, C used to store the read image
A display memory 43 for displaying an image or the like obtained by processing by the PU 40, a display device 44 for displaying an image output via the display memory 43, a mouse 46 for inputting via a controller 45, and a keyboard 47 Comprising.
【００１１】このような画像形成装置による内視鏡的映
像の形成は、基本的には上記米国特許第５６９４５３０
号に述べられている方法でなされる。このことを簡単に
説明すると以下の通りである。Ｘ線ＣＴ装置やＭＲＩ装
置などにより与えられる三次元原画像に対し、これを投
影するための視点と投影面との対を、望みの方向に更新
しながら三次元原画像の部分部分を順次投影することで
内視鏡的映像を形成する。つまり対の視点と投影面との
間に三次元原画像の一部として介在する単位三次元原画
像を、視点と投影面との対の更新ごとに、更新視点から
更新投影面に投影することで、三次元原画像に基づく部
分的疑似三次元画像の連続的表示をなし、このことで内
視鏡的映像を形成する。これら一連の処理には、上記の
ＣＰＵ４０以下の処理手段が用いられる。このような画
像形成においては、望みの方向へ更新してゆくための更
新視点の決定基準が必要となる。上記のように米国特許
第５６９４５３０号ではこれを“デプス画像”によって
いるが、本発明では以下に説明するような方法を用いる
ものとしている。The formation of an endoscopic image by such an image forming apparatus is basically performed by the above-mentioned US Pat. No. 5,694,530.
This is done in the manner described in the issue. This will be briefly described as follows. For a three-dimensional original image provided by an X-ray CT apparatus or an MRI apparatus, a part of the three-dimensional original image is sequentially projected while updating a pair of a viewpoint and a projection plane for projecting the image in a desired direction. To form an endoscopic image. In other words, a unit 3D original image interposed as a part of the 3D original image between the paired viewpoint and the projection plane is projected from the updated viewpoint to the updated projection plane every time the pair of the viewpoint and the projection plane is updated. Thus, a continuous display of a partially pseudo three-dimensional image based on the three-dimensional original image is performed, thereby forming an endoscopic image. For these series of processing, processing means below the CPU 40 is used. In such image formation, it is necessary to determine the update viewpoint in order to update the image in a desired direction. As described above, in U.S. Pat. No. 5,694,530, this is referred to as a "depth image", but the present invention uses a method described below.
【００１２】本発明における更新視点の決定に関する処
理の流れを図１に示す。以下では血管を連続的表示の対
象とする場合を例にとって、各ステップにおける処理に
ついて説明する。ステップ０では、異なる視点（予備処
理用視点）から構成した複数の画像を表示装置４４に表
示する。すなわち磁気ディスク４２から連続的表示の対
象とする血管の三次元原画像を読み出し、この三次元原
画像について、図２の（ａ）にその概念を示すように、
複数、例えば二つの予備処理用視点Ｖ1、Ｖ2からこれら
各予備処理用視点に対応する予備処理用投影面Ｓ1、Ｓ2
に中心投影法（図の例）や平行投影法で投影した画像を
表示装置４４の画面に図２の（ｂ）に示すようにして並
列表示する。この投影する画像には、例えば、上記米国
特許第５６９４５３０号に述べられているような陰影付
けした疑似三次元画像や特願平９−２６５４３８号に述
べられているような、投影線上の特定の濃度の画素数を
重み付けして構成した画像を用いることができる。FIG. 1 shows the flow of processing relating to the determination of the update viewpoint in the present invention. Hereinafter, the processing in each step will be described with an example of a case where a blood vessel is to be continuously displayed. In step 0, a plurality of images composed of different viewpoints (pre-processing viewpoints) are displayed on the display device 44. That is, a three-dimensional original image of a blood vessel to be continuously displayed is read from the magnetic disk 42, and the concept of the three-dimensional original image is shown in FIG.
From a plurality of, for example, two preliminary processing viewpoints V 1 , V 2 , preliminary processing projection planes S 1 , S 2 corresponding to the respective preliminary processing viewpoints.
The image projected by the central projection method (example in the figure) or the parallel projection method is displayed in parallel on the screen of the display device 44 as shown in FIG. The projected image includes, for example, a shaded pseudo three-dimensional image as described in the above-mentioned U.S. Pat. No. 5,694,530 or a specific image on a projection line as described in Japanese Patent Application No. 9-265438. An image formed by weighting the number of pixels of density can be used.
【００１３】ステップ１では、表示装置４４の画面に表
示されている血管の各投影像Ｉ1、Ｉ2をマウス４６によ
りトレースしてトレース曲線Ｔ1、Ｔ2を作成する。この
トレース曲線Ｔ1、Ｔ2の作成は、図の例のように血管に
分岐部分が含まれている場合には、分岐先でトレース曲
線Ｔ1とトレース曲線Ｔ2が同じ血管に対して作成される
ようにトレースする。ここで、この投影像やトレース曲
線の数は予備処理用視点の数に応じて定まるものであ
り、ここで説明している例は予備処理用視点を二つにし
てある関係から、投影像とトレース曲線の数も二つとな
っている。In step 1, the projected images I 1 and I 2 of the blood vessels displayed on the screen of the display device 44 are traced by the mouse 46 to create trace curves T 1 and T 2 . The trace curves T 1 and T 2 are created when the blood vessel includes a branch portion as shown in the example of the figure, and the trace curve T 1 and the trace curve T 2 are formed for the same blood vessel at the branch destination. To be traced. Here, the number of projection images and trace curves is determined according to the number of viewpoints for preliminary processing, and the example described here has two viewpoints for preliminary processing. The number of trace curves is also two.
【００１４】ステップ２では、ステップ１で作成したト
レース曲線Ｔ1、Ｔ2に基づいてガイド曲線を作成する。
そのためには、まずトレース曲線Ｔ1、Ｔ2ごとに、それ
ぞれの上に複数の点を適当に設定する（図２の（ｂ）の
例では各トレース曲線ごとに５点ずつ設定している）。
それから各トレース曲線Ｔ1、Ｔ2が形成されている投影
像に対応する予備処理用視点Ｖ1、Ｖ2と前記設定の各点
とを結ぶ直線群Ｇ1、Ｇ2を作成する。それからさらに、
これらの直線群Ｇ1、Ｇ2に関して、各直線群中の各直線
同士の最近接点Ｎａ〜Ｎｅを求め、これらの最近接点Ｎ
ａ〜Ｎｅからガイド曲線Ｃを作成する。最近接点は、例
えば数式により解析的に求めることもできるし、また計
算機により数値的に求めることも可能である。数値的に
求める場合には、２直線上にそれぞれ移動点を設定し、
２点を少しずつ移動させて２点間の距離を計算し、距離
が最短になる２直線上の２点の座標の平均をとることで
最近接点が求まる。なお、図２の（ｂ）の例では最近接
点Ｎａ〜Ｎｅが何れも直線同士の交点となっているが、
これはたまたまそうなっているだけであり、一般的には
最近接点は交点以外にもあり、交点は最近接点の代表的
な例にすぎない。In step 2, a guide curve is created based on the trace curves T 1 and T 2 created in step 1.
For this purpose, first, a plurality of points are appropriately set on each of the trace curves T 1 and T 2 (in the example of FIG. 2B, five points are set for each trace curve). .
Then, straight line groups G 1 , G 2 connecting the viewpoints V 1 , V 2 for pre-processing corresponding to the projected images on which the trace curves T 1 , T 2 are formed and the above-mentioned set points are created. And then,
With respect to these straight line groups G 1 and G 2 , the closest points Na to Ne between the straight lines in each straight line group are obtained, and these closest points N
A guide curve C is created from a to Ne. The closest point can be determined analytically by, for example, a mathematical expression, or can be numerically determined by a computer. When calculating numerically, set the moving points on two straight lines respectively,
By moving the two points little by little, calculating the distance between the two points, and taking the average of the coordinates of the two points on the two straight lines where the distance is the shortest, the closest point can be obtained. In the example of FIG. 2B, the closest contacts Na to Ne are all intersections of straight lines,
This only happens to be the case, and in general, the closest point is other than the intersection, and the intersection is only a typical example of the closest point.
【００１５】このようにしてガイド曲線Ｃが求まった
ら、これに基づいて更新視点を決める、つまり視点経路
を決定する。ガイド曲線Ｃに基づく視点経路の決定にお
いては、気管支などのように十分に太いものの場合であ
れば、ガイド曲線Ｃをそのまま視点経路とすることで足
りる。その場合には、順次更新してゆく視点と投影面と
に関する視線方向をガイド曲線Ｃの接線方向としてもよ
い。一方、本例のように連続的表示の対象を血管とする
場合には、その血管が細いと、マウスによる投影像のト
レースに際して、トレース曲線が血管の外にはみ出して
しまうことも考えられる。この場合にはガイド曲線をそ
のまま視点経路とするのは適切でなく、以下のステップ
３以降の処理が必要となる。When the guide curve C is obtained in this way, an updated viewpoint is determined based on this, that is, a viewpoint path is determined. In determining the viewpoint path based on the guide curve C, if the path is sufficiently thick such as a bronchus, it is sufficient to use the guide curve C as the viewpoint path as it is. In this case, the line of sight with respect to the viewpoint and the projection plane that are sequentially updated may be set as the tangential direction of the guide curve C. On the other hand, when the target of continuous display is a blood vessel as in this example, if the blood vessel is thin, the trace curve may protrude outside the blood vessel when tracing a projected image with a mouse. In this case, it is not appropriate to use the guide curve as it is as the viewpoint path, and the following processing from step 3 is required.
【００１６】ステップ３では、ガイド曲線を参照しなが
ら視点を更新する。更新による次の視点は、現在視点の
位置情報から決めるのが基本である。この場合に、次の
視点のための候補点が一つだけの場合と複数の場合とが
ある。視点候補点が複数ある場合とは、更新視点の進路
方向に関する進路候補点が複数ある場合であり、図３に
示すように血管が分岐している部分における例の場合な
どである。この場合に次の視点を決定するには、進路候
補点が複数であることから生じた複数の視点候補点に対
するガイド曲線との距離関係を用いる。すなわち複数の
視点候補点の内でガイド曲線との距離が最小のものを次
の視点として選択する。それに関する処理はステップ４
以降でなされる。In step 3, the viewpoint is updated with reference to the guide curve. The next viewpoint based on the update is basically determined from the position information of the current viewpoint. In this case, there are a case where there is only one candidate point for the next viewpoint and a case where there are a plurality of candidate points. The case where there are a plurality of viewpoint candidate points is a case where there are a plurality of course candidate points in the course direction of the updated viewpoint, such as an example in a portion where a blood vessel branches as shown in FIG. In this case, to determine the next viewpoint, a distance relationship between the plurality of viewpoint candidate points and the guide curve resulting from the plurality of route candidate points is used. That is, the candidate point having the smallest distance from the guide curve is selected as the next viewpoint among the plurality of viewpoint candidate points. Step 4
It will be done later.
【００１７】ステップ４では、図３の（ａ）にその概念
を示すようにして、中心投影法により三次元原画像を再
構成し、これをステップ５で表示装置４４の画面上に表
示する。ステップ６では、終了ボタン（表示装置４４の
画面上に表示したアイコン）がオンかどうかを判定す
る。オンならば終了。そうでないならば次のステップ７
に進む。なお図３の（ａ）におけるＰa、Ｐb、Ｐc……
はＸ線ＣＴ装置やＭＲＩ装置などによる断層像である。In step 4, the three-dimensional original image is reconstructed by the central projection method according to the concept shown in FIG. 3A, and is displayed on the screen of the display device 44 in step 5. In step 6, it is determined whether or not the end button (the icon displayed on the screen of the display device 44) is on. If on, end. If not, next step 7
Proceed to. Note that Pa, Pb, Pc in FIG.
Is a tomographic image by an X-ray CT apparatus, an MRI apparatus, or the like.
【００１８】ステップ７では、次の視点のための進路候
補点を見つける。進路候補点の求め方にはさまざまな方
法が可能である。例えば上記米国特許第５６９４５３０
号に述べられている方法のように、“デプス画像”を用
い現在視点から最も深いところを進路候補点の計算に用
いる方法、あるいは血管の断面を抽出し、その抽出点の
座標の平均値、つまり血管の断面の中心を求める方法な
どをその例として挙げることができる。In step 7, a route candidate point for the next viewpoint is found. Various methods are available for obtaining the route candidate points. For example, US Pat. No. 5,694,530 mentioned above.
Method using the "depth image" to calculate the route candidate point from the current viewpoint, or extract the cross section of the blood vessel, and average the coordinates of the extracted point, That is, a method of finding the center of the cross section of a blood vessel can be cited as an example.
【００１９】ステップ８では、進路候補点が複数かどう
か、したがって更新視点候補点が複数かどうかを判定す
る。複数でなければ次のステップ９に進み、複数の場合
にはステップ１０に進む。In step 8, it is determined whether there are a plurality of route candidate points, and therefore, whether there are a plurality of update viewpoint candidate points. If not, the process proceeds to the next step 9;
【００２０】ステップ９では、一つだけである進路候補
点を更新視点（次の視点）の決定に用いる。更新視点
は、進路候補点（上記の“デプス画像”を用いる方法の
場合であれば、最深点がそれである）と現視点（更新前
の視点）を結ぶ線上の何れかの位置にある点にとる。例
えば、現視点と進路候補点の距離（現視点と進路候補点
を結ぶ線の長さ）の３０％だけ現視点から離れた位置を
更新視点とする。In step 9, only one route candidate point is used for determining the update viewpoint (next viewpoint). The update viewpoint is a point at any position on the line connecting the route candidate point (the deepest point in the case of the method using the above “depth image”) and the current viewpoint (viewpoint before update). Take. For example, a position apart from the current viewpoint by 30% of the distance between the current viewpoint and the route candidate point (the length of the line connecting the current viewpoint and the route candidate point) is set as the update viewpoint.
【００２１】ステップ１０では、複数ある進路候補点
（図３の（ａ）の例では深点Ｄ1、Ｄ2）のそれぞれにつ
いてガイド曲線との距離を求め、ガイド曲線に最も近い
深点（図３の（ａ）の例では深点Ｄ1）を更新視点の決
定に用いる。深点Ｄ1を基にした更新視点の決定はステ
ップ９の場合と同様である。すなわち進路候補点（深点
Ｄ 1）と現視点を結ぶ線上において、現視点Ｅ0と進路候
補点の距離の例えば３０％だけ現視点から離れた位置を
更新視点Ｅnとする。In step 10, a plurality of route candidate points
(In the example of FIG. 3A, the deep point D1, DTwo) For each
To find the distance to the guide curve
The deep point (in the example of FIG. 3A, the deep point D1) Update viewpoint decision
Used for determination. Deep point D1The update viewpoint decision based on the
This is the same as in the case of Step 9. That is, the route candidate point (deep point
D 1) And the current viewpoint on the line connecting the current viewpoint E0And the course
The position away from the current viewpoint by, for example, 30% of the distance of the complement point
It is assumed that the update viewpoint is En.
【００２２】以上のような本発明による更新視点の決定
方法は、上記のように進路候補点が複数あり、これに伴
って更新視点候補点が複数ある場合に、その候補点に関
し操作者が意図する方向を確実に選択することができる
という点で、特に有効である。このことは上記米国特許
第５６９４５３０号における“デプス画像”を利用する
方法と比較してみるとよく理解できる。米国特許第５６
９４５３０号における方法であると、図３の（ａ）の例
のように血管の分岐に起因して深点Ｄ1とＤ2がある場合
に、最も深い深点Ｄ2を選択してしまうことになる。つ
まり、分岐部分から先において、操作者が連続的表示を
意図しているのとは異なる血管を連続的表示の対象とし
てしまうことになるが、本発明によればこのようなこと
を確実に避けることができる。このように進路候補点が
複数ある場合に確実に正しい方向を選択できるという利
点を有する本発明による方法は、米国特許第５６９４５
３０号に述べられている方法と組み合わせて用いること
ができ、そのようにするのが好ましい形態の一つであ
る。その場合には、進路候補点が複数ある場合にのみ本
発明による方法を適用するような構成とすのが好ましい
といえる。In the above-described method of determining an update viewpoint according to the present invention, when there are a plurality of route candidate points and a plurality of update viewpoint candidate points are associated with the plurality of candidate route points as described above, the operator intends for the candidate points. This is particularly effective in that it is possible to reliably select the direction in which to perform. This can be better understood by comparing with the method using "depth image" in the above-mentioned U.S. Pat. No. 5,694,530. US Patent 56
If it is a method in No. 94530, that when there is due to the branch of the blood vessel depth point D 1 and D 2 as in the example of FIG. 3 (a), thereby selecting the deepest depth point D 2 become. In other words, prior to the branch portion, a blood vessel different from the one that the operator intends to continuously display is set as a target of continuous display. According to the present invention, such a situation is reliably avoided. be able to. The method according to the present invention having the advantage that the correct direction can be reliably selected when there are a plurality of route candidate points is disclosed in US Pat. No. 5,695,945.
It can be used in combination with the method described in No. 30, and this is one of preferred embodiments. In that case, it can be said that the configuration according to the present invention is preferably applied only when there are a plurality of route candidate points.
【００２３】以上の実施形態では、ステップ１０におい
て、複数の進路候補点の内でガイド曲線に最も近い進路
候補点を求め、これを更新視点の決定に用いるようにし
ていたが、これに代わる方法も可能である。それは、複
数の進路候補点に起因する複数の更新視点候補点のそれ
ぞれについてガイド曲線との距離を求め、ガイド曲線に
最も近い更新視点候補点を実際の更新視点とする方法で
ある。より具体的には、まず各進路候補点ごとに現視点
と結ぶ直線を得る。それからこの各直線上に所定距離比
率の位置で更新視点候補点を求める。そしてこの求めら
れた各更新視点候補点とガイド曲線との距離を計算し、
最小のものを実際の更新視点とする。In the above embodiment, at step 10, the route candidate point closest to the guide curve is determined from the plurality of route candidate points, and this is used for determination of the update viewpoint. Is also possible. This is a method in which a distance from a guide curve is determined for each of a plurality of update viewpoint candidate points resulting from a plurality of route candidate points, and an update viewpoint candidate point closest to the guide curve is set as an actual update viewpoint. More specifically, first, a straight line connecting to the current viewpoint is obtained for each route candidate point. Then, an update viewpoint candidate point is obtained at a position of a predetermined distance ratio on each straight line. Then, the distance between each obtained update viewpoint candidate point and the guide curve is calculated,
Let the smallest one be the actual update viewpoint.
【００２４】[0024]
【発明の効果】以上説明したように本発明によれば、進
路候補点が複数あり、これに伴って更新視点候補点が複
数ある場合でも、操作者が意図している方向を確実に選
択することができ、より適切な画像表示が可能となる。As described above, according to the present invention, even when there are a plurality of route candidate points and a plurality of update viewpoint candidate points are involved, the direction intended by the operator is reliably selected. And more appropriate image display becomes possible.
【図１】本発明の一実施形態による画像形成方法におけ
る処理の流れ図である。FIG. 1 is a flowchart of a process in an image forming method according to an embodiment of the present invention.
【図２】ガイド曲線の求め方に関する概念図である。FIG. 2 is a conceptual diagram relating to a method of obtaining a guide curve.
【図３】候補点の選択に関する概念図である。FIG. 3 is a conceptual diagram related to selection of a candidate point.
【図４】本発明の一実施形態による画像形成装置のブロ
ック構成図である。FIG. 4 is a block diagram of an image forming apparatus according to an embodiment of the present invention.
Ｖ1，Ｖ2 予備処理用視点 Ｓ1，Ｓ2 予備処理用投影面 Ｔ1，Ｔ2 トレース曲線 Ｇ1，Ｇ2 直線群 Ｎa〜Ｎe 最近接点 Ｃ ガイド曲線 Ｅn 更新視点V 1 , V 2 Pre-processing viewpoint S 1 , S 2 Pre-processing projection surface T 1 , T 2 Trace curves G 1 , G 2 Line group Na-Ne Nearest point C Guide curve En Update viewpoint
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 4C093 AA26 CA23 CA37 FF42 4C096 AB41 AB50 AD14 DC36 5B050 AA02 BA03 BA09 CA07 DA01 EA28 FA06 5B057 AA09 BA03 BA07 BA26 CA08 CA13 CB08 CB13 CC01 CH18 DA16 DB03 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 4C093 AA26 CA23 CA37 FF42 4C096 AB41 AB50 AD14 DC36 5B050 AA02 BA03 BA09 CA07 DA01 EA28 FA06 5B057 AA09 BA03 BA07 BA26 CA08 CA13 CB08 CB13 CC01 CH18 DA16 DB03
Claims (1)
投影するための視点と投影面との対を、前記三次元原画
像に関する所望の方向に更新しながら、前記対の視点と
投影面との間に前記三次元原画像の一部として介在する
単位三次元原画像を、前記視点と投影面との対の更新ご
とに、更新視点から更新投影面に投影して投影像を形成
する投影像形成手段と、この投影像形成手段で得られる
各更新ごとの投影像を表示する表示手段とを備え、前記
三次元原画像に基づく部分的疑似三次元画像の連続的表
示をなせるようにされている画像形成装置において、 前記三次元原画像を複数の予備処理用視点からこれら各
予備処理用視点に対応する予備処理用投影面に投影して
予備処理用投影像を形成する予備処理用投影像形成手段
と、この予備処理用投影像形成手段で形成した投影像を
前記表示手段に表示した状態でトレースしてトレース曲
線を作成するためのトレース手段と、このトレース手段
で作成した各トレース曲線ごとに、それぞれの上に設定
した複数の点と各トレース曲線が形成されている投影像
に対応する予備処理用視点とを結ぶ直線群を作成する直
線群作成手段と、この直線群作成手段で作成された各直
線群に関して、前記各直線群中の各直線同士の最近接点
を求め、この各最近接点からガイド曲線を作成するガイ
ド曲線作成手段と、このガイド曲線作成手段で作成した
ガイド曲線に基づいて前記所望の方向のための更新視点
を決定するための更新視点決定手段とを備えていること
を特徴とする画像形成装置。1. A pair of a viewpoint and a projection plane for projecting a given three-dimensional original image in a desired direction with respect to the three-dimensional original image while updating the pair. A unit three-dimensional original image interposed as a part of the three-dimensional original image between the two-dimensional original image and the projection plane from the update viewpoint to the update projection plane for each update of the pair of the viewpoint and the projection plane to form a projection image Projection image forming means, and display means for displaying a projection image for each update obtained by the projection image forming means, so that a partial pseudo three-dimensional image based on the three-dimensional original image can be continuously displayed. In the image forming apparatus, the three-dimensional original image is projected from a plurality of viewpoints for preliminary processing to a projection plane for preliminary processing corresponding to each viewpoint for preliminary processing to form a preliminary image for preliminary processing. Processing projection image forming means and the preliminary processing Tracing means for creating a trace curve by tracing the projection image formed by the image forming means on the display means, and a plurality of trace curves set on each of the trace curves created by the tracing means. A straight line group creating means for creating a straight line group connecting the points of the above and the viewpoints for preliminary processing corresponding to the projected images on which the respective trace curves are formed, and for each straight line group created by this straight line group creating means, A guide curve creating means for finding a closest point between the straight lines in the straight line group and creating a guide curve from each closest point, and updating for the desired direction based on the guide curve created by the guide curve creating means An image forming apparatus, comprising: an update viewpoint determining unit for determining a viewpoint.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000058794A JP4342072B2 (en) | 2000-03-03 | 2000-03-03 | Image forming apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000058794A JP4342072B2 (en) | 2000-03-03 | 2000-03-03 | Image forming apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001250131A true JP2001250131A (en) | 2001-09-14 |
| JP2001250131A5 JP2001250131A5 (en) | 2007-02-22 |
| JP4342072B2 JP4342072B2 (en) | 2009-10-14 |
Family
ID=18579336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000058794A Expired - Fee Related JP4342072B2 (en) | 2000-03-03 | 2000-03-03 | Image forming apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4342072B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005510327A (en) * | 2001-11-21 | 2005-04-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for vessel tracking and tree extraction |
| JP2005211535A (en) * | 2004-01-30 | 2005-08-11 | Olympus Corp | Insertion support system |
| JP2017205582A (en) * | 2011-12-03 | 2017-11-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Planning system and method |
-
2000
- 2000-03-03 JP JP2000058794A patent/JP4342072B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005510327A (en) * | 2001-11-21 | 2005-04-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for vessel tracking and tree extraction |
| JP2005211535A (en) * | 2004-01-30 | 2005-08-11 | Olympus Corp | Insertion support system |
| JP2017205582A (en) * | 2011-12-03 | 2017-11-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Planning system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4342072B2 (en) | 2009-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10453257B2 (en) | Systems and methods for navigating through airways in a virtual bronchoscopy view | |
| US9449247B2 (en) | Contour correction device, method, and program | |
| JP2009072576A (en) | Method, apparatus and computer program for quantitative bifurcation analysis on angiographic image | |
| JP2006221603A (en) | Three-dimensional-information reconstructing apparatus, method and program | |
| JPH1011614A (en) | Method and device for setting viewpoint position and line-of-sight direction in three-dimensional picture constitution method | |
| US20180047168A1 (en) | Image processing apparatus and image processing method | |
| US20190311549A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
| JP3878270B2 (en) | Image processing device | |
| JP5755122B2 (en) | Image processing apparatus, method, and program | |
| US20180025501A1 (en) | Image processing apparatus, image processing method, and, non-transitory computer readable medium | |
| US8363066B2 (en) | Method for displaying high resolution image data together with time-varying low resolution image data | |
| JP4342072B2 (en) | Image forming apparatus | |
| JP4738236B2 (en) | Image display device | |
| JPH1176228A (en) | Three-dimensional image construction apparatus | |
| JP2006510078A (en) | Extraction method of 3D data set that can be modified by user | |
| JP6820805B2 (en) | Image alignment device, its operation method and program | |
| JP2002008014A (en) | Method and device for extracting three-dimensional shape, and recording medium | |
| Yuen et al. | Fast marching method for shape from shading under perspective projection | |
| JP2004187743A (en) | Medical three-dimensional image display device | |
| JP7105369B2 (en) | Tracking device, learned model, endoscope system and tracking method | |
| JP2005065845A (en) | Medical image processing apparatus | |
| JP2003099804A (en) | Three-dimensional structure modeled apparatus | |
| JP2020017096A (en) | Measurement instrument, measurement method, and measurement program | |
| JP2002330959A (en) | Three-dimensional image display device | |
| JP3485913B2 (en) | Image display method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |