JP2000279425A - Navigation device - Google Patents

Navigation device

Info

Publication number
JP2000279425A
JP2000279425A JP8940599A JP8940599A JP2000279425A JP 2000279425 A JP2000279425 A JP 2000279425A JP 8940599 A JP8940599 A JP 8940599A JP 8940599 A JP8940599 A JP 8940599A JP 2000279425 A JP2000279425 A JP 2000279425A
Authority
JP
Japan
Prior art keywords
information
target
navigation
object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8940599A
Other languages
Japanese (ja)
Inventor
Takeo Asano
Yukito Furuhashi
Akio Kosaka
Hiroshi Matsuzaki
Akito Saito
Takao Shibazaki
幸人 古橋
明生 小坂
明人 斉藤
弘 松崎
隆男 柴▲崎▼
武夫 浅野
Original Assignee
Olympus Optical Co Ltd
オリンパス光学工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd, オリンパス光学工業株式会社 filed Critical Olympus Optical Co Ltd
Priority to JP8940599A priority Critical patent/JP2000279425A/en
Priority claimed from US09/533,651 external-priority patent/US6466815B1/en
Publication of JP2000279425A publication Critical patent/JP2000279425A/en
Application status is Withdrawn legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To visually and easily grasp a distance between a target object and an object and also to permit a user to easily obtain required kinds of navigation information. SOLUTION: The position and attitude of an endoscope 3 and a testee body 1 in a three-dimensional space are measured and navigation information for navigating the object to a target is generated. Then navigation information is displayed on a liquid crystal monitor 13 by changing a color, a line thickness, a plotting size and plotting density, for example, when the information is displayed in accordance with relation in the position and attitude of the endoscope 3 and the testee body 1.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、被ナビゲーション対象物と目標の3次元空間における位置姿勢情報に基づいてナビゲーション情報を変化させるナビゲーション装置に関する。 The present invention relates to relates to a navigation device for varying the navigation information based on position and orientation information in a three-dimensional space of the navigation object and the target.

【0002】 [0002]

【従来の技術】例えば、特開平9−173352号公報や特開平10−5245号公報に開示されているように、医療用、手術用のナビゲーション装置が従来より各種提案されている。 BACKGROUND ART For example, as disclosed in JP-A-9-173352 and JP 10-5245, medical, navigation devices for surgery have been proposed conventionally.

【0003】ここで、特開平9−173352号公報に開示された医用ナビゲーションシステムでは、被検体所望部分指定手段により指定された被検体の所望の部分の情報(外形形状、医用画像情報)を表示装置によって表示するようにしている。 [0003] In the medical navigation system disclosed in JP-A-9-173352, displays information desired part of the subject specified by the subject desired portion specifying unit (external shape, the medical image information) the operator displays the device. また、外観撮影手段より得られる映像情報と、外形計測手段により計測された外形情報と、医用画像撮影手段より得られる医用画像情報とを、 Further, the video information obtained from appearance photographing means, and the outer shape information measured by morphometric means and the medical image information obtained from the medical imaging device,
画像表示手段により重ね合わせて表示するようにしている。 Superposed by the image display means the operator displays.

【0004】また、特開平10−5245号公報に開示された外科手術支援装置では、手術部位の断層像の画像データと、手術器具と、手術器具先端付近の血管を検知する血管検知手段と、手術器具の現在位置を検出する位置検出手段と、手術器具の先端部の位置と手術器具の挿入方向とを算出する演算手段と、手術器具の先端部が位置している部位が撮影されている画像データを選択する画像選択手段と、画像選択手段により選択された画像上に、手術器具の先端部を示す所定のパターンを重ね合わせる画像合成手段より、時々刻々変化する手術器具の位置や検知された血管を選択された断層像へ重ね合わせて表示ようにしている。 Further, in the surgical assistance device disclosed in JP-A-10-5245 Patent Publication, the image data of the tomographic image of the surgical site, and the surgical instrument, and the blood vessel detection means for detecting a blood vessel in the vicinity of the surgical instrument tip, position detecting means for detecting a current position of the surgical instrument, and calculating means for calculating the direction of insertion of the position and the surgical instrument distal end of the surgical instrument, the site where the distal end portion of the surgical instrument is located has been taken an image selection means for selecting the image data, on a selected image by the image selection unit, from the image synthesizing means for superimposing a predetermined pattern of the distal end of the surgical instrument is positioned and detected in every moment change surgical instruments blood vessel and superimposed to the selected tomographic image is displayed so the. これにより、術者は、被検体の体内に挿入している手術器具の先端部の位置情報を断層像上で視覚的に確認するというものである。 Thus, the operator is that of confirming the position information of the distal portion of the surgical instrument that is inserted into the body of the subject visually on the tomographic image.

【0005】 [0005]

【発明が解決しようとする課題】しかし、上記公報に開示されているナビゲーションには、以下のような課題がある。 [SUMMARY OF THE INVENTION However, the navigation disclosed in the above publication, has the following problems.

【0006】即ち、特開平9−173352号公報に開示された医用ナビゲーションシステムでは、被検体所望部分指定手段により指定された被検体の所望部分の情報が表示されるのであって、使用者が望む部分へ被検体所望部分指定手段をナビゲーションすることは困難である。 [0006] That is, in the medical navigation system disclosed in JP-A-9-173352, there is the information of a desired portion of the given object by a subject desired portion specifying means is displayed, the user wants it is difficult to navigate the subject desired portion specifying means into portions. また、外観撮影手段より得られる映像情報と外形計測手段により計測された外形情報、医用画像撮影手段より得られる医用画像情報とを重ね合わせて表示する際に、表示される情報の視線方向、つまり表示面に垂直な方向の距離感を得ることが困難である。 Further, the outer shape information measured by video information and contour measuring means obtained from appearance photographing means, when displaying by superimposing the medical image information obtained from the medical imaging device, the viewing direction of the information displayed, i.e. it is difficult to obtain a sense of distance in the direction perpendicular to the display surface. さらにまた、計測範囲内であるが表示範囲外である場所に被検体、及び被検体所望部分指定手段が位置する際に、何ら情報が与えられていないため、どのように動かすことで被検体ヘアプローチできるのかを、画面表示から判断することは困難である。 Furthermore, subject to the location but within the measurement range is outside the display range, and when the subject desired portion specifying unit located, because they do not any information is given, the subject f at how moving it how can approach, it is difficult to determine from the screen display.

【0007】また、特開平10−5245号公報に開示された外科手術支援装置では、血管と手術器具との距離を知るために、表示される断層像上の手術器具の先端位置と検知された血管の位置との間隔を、使用者が常に意識していなければならない。 Further, in the surgical support apparatus disclosed in Japanese Patent Laid-Open No. 10-5245, in order to know the distance between the vessel and the surgical instrument, is detected that the leading end position of the surgical instrument on the tomographic image displayed the distance between the position of the blood vessel, must be the user is not always aware of.

【0008】本発明は、上記の点に鑑みてなされたもので、表示するナビゲーション情報を、目標物と被ナビゲーション対象物との相対的な3次元的位置姿勢に応じて変化させることにより、目標物と被ナビゲーション対象物との距離を視覚的に把握しやすくすること、及び必要な種類のナビゲーション情報を使用者が容易に入手できるナビゲーション装置を提供することを目的とする。 [0008] The present invention has been made in view of the above, the navigation information to be displayed, by changing depending on the relative three-dimensional position and orientation of the target and the navigation object, the target to goods and easily visually grasp the distance between the navigation object, and the necessary type of navigation information user and to provide a navigation apparatus readily available.

【0009】 [0009]

【課題を解決するための手段】上記の目的を達成するために、請求項1に記載の発明によるナビゲーション装置は、対象物と目標の3次元空間における位置姿勢を計測して、上記対象物を目標にナビゲートするためのナビゲーション情報を生成するナビゲーション装置であって、 To achieve the above object, according to the solution to ## the navigation apparatus according to the invention described in claim 1, to measure the position and orientation in 3-dimensional space of the object and the target, the target object a navigation system for generating navigation information for navigating to the target,
上記ナビゲーション情報を、上記対象物と上記目標の位置姿勢関係に応じて異なる態様で表示する表示手段をさらに具備することを特徴とする。 The navigation information, characterized by further comprising display means for displaying in a different manner depending on the position and orientation relationship of the object and the target.

【0010】即ち、請求項1に記載の発明のナビゲーション装置によれば、ナビゲーション情報を、対象物と目標の位置姿勢関係に応じて異なる態様で表示するようにしているので、使用者は、容易に3次元空間における位置姿勢を把握することができる。 [0010] That is, according to the navigation apparatus of the invention described in claim 1, the navigation information, since the operator displays in a different manner depending on the position and orientation relationship between the object and the target, the user easily it is possible to grasp the position and orientation in three-dimensional space.

【0011】なお、上記構成は、後述する第1及び第2 [0011] The above arrangement, the first will be described later and a second
の実施の形態が対応するもので、上記目標は、被検体1、手術対象となる患部、手術において注意すべき部位が該当するが、実体が存在する被検体に限らず、予め取得した実在の目標物の画像情報から再構成された2次元、又は3次元のモデル像として表示される仮想の目標物も含む。 In which the embodiment of the corresponding, the target is the subject 1, the affected area as a surgery target, while the site should be noted corresponds in operation, not only the subject entity exists, previously acquired real 2D reconstructed from the image information of the target, or target virtual displayed as a three-dimensional model image including. また、上記対象物は、内視鏡3が該当するが、目標に対して観察や操作を行うための吸引管やピンセット等の処置具なども含む。 Further, the object, although the endoscope 3 corresponds also includes such suction tube or tweezers treatment instrument for performing observation and operation with respect to a target. 上記表示手段は、液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 The display means is a liquid crystal monitor 13 are true also includes image information display device such as a CRT display or a head-mounted display. そして、上記「異なる態様」とは、ナビゲーション情報を表示する際の色、線の太さ、描画される大きさ、及び描画の疎密を意味している。 Then, the "different aspects", the color in displaying navigation information, the thickness of the line, which means the rendered size and the density of the drawing.

【0012】また、請求項2に記載の発明によるナビゲーション装置は、対象物と目標の3次元空間における位置姿勢を計測して、上記対象物を目標にナビゲートするためのナビゲーション情報を生成するナビゲーション装置であって、上記3次元空間における位置姿勢が計測可能な場合には、上記対象物又は上記目標のモデル画像、 [0012] The navigation navigation apparatus according to the invention described in claim 2, which measures the position and orientation in 3-dimensional space of the object and the target, to generate navigation information for navigating the object to the target a device, when the position and orientation in the three dimensional space is available measurements, the object or the target of the model image,
ナビゲーション方向情報、上記対象物と上記目標間の距離情報の少なくとも一つを表示し、計測不可能な場合には、計測不能であることを表す情報を表示する表示手段をさらに具備することを特徴とする。 Navigation direction information, and displaying at least one of the distance information between the object and the target, if not possible measurement, characterized by further comprising display means for displaying the information indicating that it is not measurable to.

【0013】即ち、請求項2に記載の発明のナビゲーション装置によれば、3次元空間における位置姿勢が計測可能な場合には、上記対象物又は上記目標のモデル画像、ナビゲーション方向情報、上記対象物と上記目標間の距離情報の少なくとも一つを表示するようにしているので、使用者は、容易に3次元空間における位置姿勢を把握することができる。 [0013] That is, according to the navigation apparatus of the invention described in claim 2, when the position and orientation in 3-dimensional space is measurable, said object or the target of the model image, the navigation direction information, said object since that so as to display at least one of the distance information between the target, the user can easily grasp the position and orientation in 3-dimensional space. また、計測不能であることを表す情報を表示するので、使用者は、計測不能であることを容易に知ることができる。 Further, since the display information indicating that it is impossible measurement, the user can easily recognize that it is not measurable.

【0014】なお、上記構成は、後述する第1及び第2 [0014] The above arrangement, the first will be described later and a second
の実施の形態が対応するもので、上記目標は、被検体1、手術対象となる患部、手術において注意すべき部位が該当するが、実体が存在する被検体に限らず、予め取得した実在の目標物の画像情報から再構成された2次元、又は3次元のモデル像として表示される仮想の目標物も含む。 In which the embodiment of the corresponding, the target is the subject 1, the affected area as a surgery target, while the site should be noted corresponds in operation, not only the subject entity exists, previously acquired real 2D reconstructed from the image information of the target, or target virtual displayed as a three-dimensional model image including. また、上記対象物は、内視鏡3が該当するが、目標に対して観察や操作を行うための吸引管やピンセット等の処置具なども含む。 Further, the object, although the endoscope 3 corresponds also includes such suction tube or tweezers treatment instrument for performing observation and operation with respect to a target. 上記表示手段は、液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 The display means is a liquid crystal monitor 13 are true also includes image information display device such as a CRT display or a head-mounted display.

【0015】また、上記モデル画像は、第1の実施の形態ではワイヤフレーム3次元モデルデータ10が該当するが、外形形状を表現できるモデルデータであれば一般的な3次元コンピュータグラフィックスで用いられるデータ構造も含む。 Further, the model image is, in the first embodiment wireframe three-dimensional model data 10 corresponds, used in a general three-dimensional computer graphics as long as model data can represent the outer shape data structure also includes. また、第2の実施の形態では、内視鏡3の正射影像27を表現する線が該当するが、外形形状を表現できるものであれば一般的な3次元コンピュータグラフィックスで用いられる表現方法も含む。 In the second embodiment, the endoscope is a line representing the orthogonal projection image 27 of the mirror 3 are true representation methods used in general three-dimensional computer graphics as long as it can express the outer shape also it is included. さらに、 further,
このモデル画像は、第1及び第2の実施の形態では、対象部位の3次元ボリュームデータ11が該当するが、2 The model image is, in the first and second embodiments, three-dimensional volume data 11 of the target region but is applicable, 2
次元ピクセルデータが複数存在する形態も含む。 Forms dimensional pixel data there are multiple including.

【0016】また、上記ナビゲーション方向情報は、第1の実施の形態では矢印21が該当するが、三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 Further, the navigation direction information is in the first embodiment arrows 21 are true 3D geometrical figure, image data, and the like visually, such as two-dimensional geometrical figure and cones such as a triangle or circle including those that can be seen at.

【0017】そして、上記距離情報は、第1の実施の形態では患部への距離を示す数字31が該当するが、任意の目標物への距離を示す数字を含む。 [0017] Then, the distance information is numbers 31 indicating the distance to the affected area in the first embodiment is applicable, comprises a number indicating the distance to any target. あるいは、これは、第1の実施の形態では患部への距離を示す棒30が該当するが、三角形や丸等の2次元幾何学図形や円柱等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 Alternatively, this is the first bar 30 that indicates the distance to the affected area in the embodiment of the case, such as a visual 3D geometric shapes and image data such as two-dimensional geometric shapes and cylinders, such as triangles or circles including those that can be seen at.

【0018】また、上記計測不能であることを表す情報は、第1の実施の形態では「計測不能状態」という文字情報28が該当するが、これは計測不能な状態を表現する任意の文字情報を含む。 Further, information indicating that the above measurement impossible, in the first embodiment corresponds character information 28 of "unmeasurable state", which is any character information representing the unmeasurable state including. さらに、これは、第1の実施の形態では黄色で太さ60ピクセルの枠29が該当するが、計測不能を示すことを定義された任意の記号的パターンを含む。 Furthermore, this is in the first embodiment is applicable the frame 29 of thickness 60 pixels in yellow, including any symbolic pattern defined to indicate not measurable.

【0019】また、請求項3に記載の発明によるナビゲーション装置は、上記請求項1又は請求項2に記載の発明によるナビゲーション装置において、上記対象物が撮像手段を具備し、上記撮像手段で撮像した画像を他の情報に重畳して上記表示手段に表示可能であることを特徴とする。 Further, the navigation apparatus according to the invention of claim 3, in the navigation apparatus according to the invention described in claim 1 or claim 2, said object imaging means, and imaging by the imaging means by superimposing the images on other information, characterized in that it is displayable on the display means.

【0020】即ち、請求項3に記載の発明のナビゲーション装置によれば、対象物の撮像手段で撮像した画像を他の情報に重畳して表示するので、表示手段上で、実際の映像情報とナビゲーション情報を同一の空間上の情報として得られることにより、使用者は、まだ見えぬ実体の位置や形状や状態をナビゲーション情報から容易に把握することができる。 [0020] That is, according to the navigation apparatus of the invention described in claim 3, since the displayed superimposed images captured by the imaging means of the object to another information, on the display unit, the actual picture information Then, the resultant navigation information as information on the same space, the user can easily grasp the position and shape and state of still visible unexpected entity from the navigation information.

【0021】なお、上記構成は、後述する第1の実施の形態が対応するもので、上記対象物は、第1の実施の形態では内視鏡3が該当するが、顕微鏡なども含む。 [0021] The above arrangement, in which the first embodiment described below corresponds, the object is the endoscope 3 in the first embodiment is applicable, including a microscope. また、上記表示手段は、第1の実施の形態では液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 Further, the display means, in the first embodiment the monitor 13 corresponds also includes image information display device such as a CRT display or a head-mounted display.

【0022】 [0022]

【発明の実施の形態】以下、本発明の実施の形態を図面を参照して説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an embodiment of the present invention with reference to the drawings.

【0023】[第1の実施の形態]図1は、本発明の第1の実施の形態に係るナビゲーション装置の構成を示す図である。 [First Embodiment] FIG. 1 is a diagram showing a configuration of a navigation system according to a first embodiment of the present invention.

【0024】即ち、手術台に被検体1が仰向けの状態で寝ている。 [0024] In other words, the subject 1 is sleeping on his back in the state to the operating table. そして、その被検体1の頭部には、赤外線L Then, in its subject 1 head, infrared L
EDを三角形状に配置した硬質なセンシングプレート2 Rigid sensing placing the ED triangular plates 2
がテープにて取り付けられており、頭部に対しての取り付け位置姿勢が容易には変化しないようになっている。 There has been so mounted in the tape, it is not easy to change the mounting position and orientation with respect to the head.
また、内視鏡3には、赤外線LEDを三角形状に配置した硬質なセンシングプレート4が固定的に取り付けられている。 Further, in the endoscope 3, rigid sensing plate 4 is mounted fixedly arranged infrared LED triangular. これらセンシングプレート2,4上で、配置されたLED同士の位置関係が変化することはない。 On these sensing plates 2,4, it is not the positional relationship of the arranged LED each other changes. また、各センシングプレート2,4上で定義された座標系に対して、各LEDが配置された位置は事前に計測しており、LED定義データとしてセンサ情報記憶部5に蓄えられている。 Further, with respect to defined coordinates on the sensing plate 2 and 4, the position where the LED is disposed is measured in advance, and stored in the sensor information storage section 5 as the LED definition data. このセンサ情報記憶部5は、センサ制御部6に接続されている。 The sensor information storage unit 5 is connected to the sensor control unit 6. そして、センシングプレート2,4が計測範囲内に位置するように、画像撮影方式のセンサアセンブリ7を配置する。 As the sensing plate 2 and 4 are located in the measurement range, placing the sensor assembly 7 of the imaging system. センサ制御部6にセンシングプレート2,4とセンサアセンブリ7が接続され、3次元位置姿勢計測手段を構成している。 Sensing plates 2,4 and the sensor assembly 7 is connected to the sensor control unit 6 constitute a three-dimensional position and orientation measurement unit.

【0025】このような3次元位置姿勢計測手段で計測された3次元位置姿勢情報は、センサ制御部6よりナビゲーション情報制御部8に渡される。 The three-dimensional position and orientation information measured in such a three-dimensional position and orientation measurement unit is passed to the navigation information control section 8 from the sensor control unit 6. ここで、予め計測された被検体、手術対象となる患部、手術において注意すべき部位の外形形状情報と内部断層像情報はCTやM Here, pre-measured object, the affected area as a surgery target outer shape information and the internal tomographic image information of the site to be noted in surgery CT and M
RIにより事前に計測され、低解像度(例えば、32× RI is measured in advance by the low resolution (e.g., 32 ×
32×32ボクセルの解像度)、中解像度(例えば、1 Of 32 × 32 voxels resolution), medium resolution (e.g., 1
28×128×128ボクセルの解像度)、高解像度(例えば、512×512×512ボクセルの解像度) 28 × 128 × 128 voxels resolution), high resolution (e.g., 512 × 512 × 512 voxels resolution)
な情報に分られ、画像処理用計算機等によりワイヤーフレーム3次元モデルデータ10(高解像度ワイヤーフレーム3次元モデルデータ10a,中解像度ワイヤーフレーム3次元モデルデータ10b,低解像度ワイヤーフレーム3次元モデルデータ10c)と3次元ボリュームデータ11(高解像度3次元ボリュームデータ11a,中解像度3次元ボリュームデータ11b,低解像度3次元ボリュームデータ11c)へ変換され、ナビゲーション情報記憶部9にデータとして蓄えられている。 It is know to such information, wire frame 3D model data 10 by the image processing computer or the like (high resolution wireframe three-dimensional model data 10a, medium resolution wireframe three-dimensional model data 10b, the low-resolution wireframe three-dimensional model data 10c) When three-dimensional volume data 11 (high-resolution 3-dimensional volume data 11a, the medium resolution 3-dimensional volume data 11b, the low-resolution 3D volume data 11c) are converted to, and stored as data in the navigation information storage unit 9.

【0026】また、このナビゲーション情報記憶部9には、距離マップ12も予め記憶されている。 Further, this navigation information storage unit 9, distance map 12 is also stored in advance. ここで、距離マップ12とは、図2及び図3に示すように、3次元配列の値が対象部位(被検体、手術対象となる患部、手術において注意すべき部位)の表面からの最短距離を表し、配列の添字番号が対象部位が存在する空間での3次元位置座標に対応する変数となっている。 Here, the distance map 12, as shown in FIGS. 2 and 3, the value of the three-dimensional array target site (subject affected area as a surgical object, site noted in surgery) the shortest distance from the surface of the stands, index number sequence is a variable corresponding to the three-dimensional position coordinates in the space where there is target site. 例えば、最小分割単位が0.1[mm]の時は、添字番号の1/10 For example, when the minimum division unit is 0.1 [mm] is 1/10 subscript numbers
がミリメートルで表現された座標値となる。 There the coordinate values ​​expressed in millimeters. このような距離マップが、事前に距離マップ作成用計算機等によって各対象部位ごとに作成され、ナビゲーション情報記憶部9にデータとして蓄えられている。 Such distance map is created in advance by a distance map creation computer or the like for each target region, it is stored as data in the navigation information storage unit 9. なお、ワイヤフレーム3次元モデルデータ10と3次元ボリュームデータ11、及び距離マップ12は全て同一の座標系になるように、座標変換演算をなされている。 Incidentally, wireframe three-dimensional model data 10 and the three-dimensional volume data 11 and the distance map 12, all to be the same coordinate system, it has been made to coordinate transformation operation.

【0027】そして、上記内視鏡3の光学系より得られる画像は、図示しないカメラ制御装置、画像入力ボードを介して、上記ナビゲーション情報制御部8に取り込まれるようになっている。 [0027] Then, the image obtained from the optical system of the endoscope 3, a camera control unit (not shown) via an image input board, adapted to be incorporated into the navigation information control section 8.

【0028】このナビゲーション情報制御部8で生成されるナビゲーション情報は、情報表示手段としての液晶モニタ13によって、使用者に対し表示される。 The navigation information generated by the navigation information control section 8, the LCD monitor 13 as an information display means is displayed to the user. 被検体1のデータと被検体自身は、図4に示すように、特徴点のデータ上の座標値mと、これに対応する特徴点のセンシングプレート2で規定される座標値pを計測し、座標変換行列(pHm)14を算出することで関連付けられている。 Data and the object itself subject 1, as shown in FIG. 4, a coordinate value m of the data of the feature points, the coordinate values ​​p defined by the sensing plate 2 feature points corresponding thereto is measured, associated by calculating a coordinate transformation matrix (pHm) 14. この座標変換行列14は、上記ナビゲーション情報記憶部9に蓄えられている。 The coordinate transformation matrix 14 is stored in the navigation information storage unit 9.

【0029】ここで、座標変換行列とは、図5に示すように、3次元空間での回転動作を表す3行3列の回転成分Rと、3次元空間での並進動作を表す3行1列の並進成分Tと、定数成分と、で構成される4行4列の行列である。 [0029] Here, the coordinate transformation matrix, as shown in FIG. 5, a rotational component R of the three rows and three columns representing the rotation of a three-dimensional space, three rows representing the translational movement of the three-dimensional space 1 columns and translation components T in the constant component, in a matrix of four rows and four columns configured.

【0030】また、図6に示すような、センシングプレート4で規定される座標系から内視鏡3の光学系を表現するカメラモデルで使用される座標系への座標変換行列(cHe)15と、カメラモデル座標系から実際の液晶モニタ13上の座標系への座標変換行列(f_cto Further, as shown in FIG. 6, a coordinate transformation matrix (CHE) 15 to the coordinate system used in a camera model representing the optical system of the endoscope 3 from the coordinate system defined by the sensing plate 4 the actual coordinate transformation matrix to the coordinate system on the liquid crystal monitor 13 from the camera model coordinate system (F_cto
s)16も求められて、上記ナビゲーション情報記憶部9に蓄えられている。 s) 16 be sought, it is stored in the navigation information storage unit 9.

【0031】次に、このような構成における作用を説明する。 [0031] Next, the operation in this configuration.

【0032】本ナビゲーション装置の動作中、上記3次元位置姿勢計測手段の構成要素であるセンサ制御部6 [0032] During operation of the navigation device, the sensor control unit 6 is a component of the three-dimensional position and orientation measurement unit
は、センシングプレート2,4の各赤外線LEDの3次元位置を計測し、センサ情報記憶部5に蓄えられたLE Measures the three-dimensional position of each infrared LED of the sensing plate 2 and 4, stored in the sensor information storage unit 5 LE
D定義データを用いて、センシングプレート2,4の3 Using D-defined data, the third sensing plate 2,4
次元位置姿勢を、センシングプレート2で定義される3 Dimension position and orientation, 3 defined by the sensing plate 2
次元空間上でのセンシングプレート4で定義される空間の原点の座標値と、センシングプレート4で定義される空間のX,Y,Z軸の単位ベクトルの値として算出する。 Calculating the coordinate value of the origin of the space defined by the sensing plate 4 on dimensional space, X a space defined by the sensing plate 4, Y, as the value of the unit vector in the Z-axis. そして、この3次元位置姿勢情報より、図7に示すように、被検体1の頭部に取り付けられたセンシングプレート2から内視鏡3に取り付けられたセンシングプレート4への座標変換行列(pHe)17が算出される。 Then, from the 3-dimensional position and orientation information, as shown in FIG. 7, the coordinate transformation matrix to the sensing plate 4 attached to the endoscope 3 from the sensing plate 2 which is attached to the subject 1 head (pHe) 17 is calculated.
この座標変換行列17と上記座標変換行列14,15, The coordinate transformation matrix 17 and the coordinate transformation matrix 14,
16とより、図8に示すように、対象部位のデータが液晶モニタ13上での位置データヘ変換され、この位置データを用いてナビゲーション情報制御部8でナビゲーション情報が生成される。 16 more, as shown in FIG. 8, data of the target sites are located Detahe conversion on the liquid crystal monitor 13, the navigation information in the navigation information control unit 8 by using the position data is generated.

【0033】このナビゲーション情報制御部8へは、上記内視鏡3の光学系からの映像も入力されており、よって、上記ナビゲーション情報とその映像とを重畳して、 [0033] to the navigation information control section 8, also images from the optical system of the endoscope 3 is input, therefore, by superimposing the navigation information and the video,
図9の(A)に示すように、液晶モニタ13にて表示する。 As shown in FIG. 9 (A), displays on the liquid crystal monitor 13.

【0034】ここで、図7に示すように、内視鏡3の先端位置を上記座標変換行列14,15,17を用いて座標変換し、距離マップ12を参照することにより、対象部位と内視鏡3の先端との相対的な距離が求められる。 [0034] Here, as shown in FIG. 7, the position of the tip of the endoscope 3 and the coordinate transformation using the coordinate transformation matrix 14, 15, 17, by referring to the distance map 12, the target site and the inner the relative distance between the tip of the endoscope 3 is determined.
そこで、液晶モニタ13上には、図9の(A)に示すように、被検体1と内視鏡3が計測可能な状態にある時には、上記対象部位と内視鏡3の先端との相対的な距離を、患部への距離として、棒30の長さと数字31で表現して表示する。 Therefore, on the liquid crystal monitor 13, as shown in (A) of FIG. 9, when the subject 1 and the endoscope 3 is in the measurable state, relative to the front end of the target site and the endoscope 3 the distances, as the distance to the affected area, and displays the expression by the length and number 31 of the rod 30.

【0035】内視鏡3を用いた外科手術では、被検体1 The endoscopic surgery using a mirror 3, the subject 1
の外部より患部に向かって、傷付けてはならない部位に注意しながら内視鏡3を挿入し、患部を処置しなければならない。 Towards than external to the affected area, and insert the endoscope 3 while paying attention to the site must not damage shall treating an affected area.

【0036】内視鏡3が被検体1の外部にある時、対象部位のモデル像は、図9の(A)に示すように、外形形状のワイヤフレーム像18として生成される。 [0036] When the endoscope 3 outside the subject 1, the model image of the target site, as shown in FIG. 9 (A) is generated as the outer shape of the wire frame image 18. そして、 And,
本実施の形態においては、このワイヤフレーム像18の線の色や太さを、上記方法により求められた内視鏡3先端と対象部位との相対的距離に応じて変化させるようにしている。 In the present embodiment, the color and line thickness of the wire frame image 18, so that is changed according to the relative distance between the endoscope 3 tip and target sites determined by the above method. また、上記患部への距離を示す棒30の色と太さ、数字31とその背景の色も変化させる。 Further, color and thickness of the bar 30 indicating the distance to the affected area, the color numbers 31 and Background also changed.

【0037】例えば、上記相対的距離が10mm以上離れている時には、ワイヤフレーム像18の線の色は青色、線の太さは1ピクセル、距離を示す棒30の色は青色、棒30の太さは20ピクセル、数字31の背景色は青色とし、それが0mm以上10mm未満離れている時には、ワイヤフレーム像18の線の色は黄色、線の太さは2ピクセル、距離を示す棒30の色は黄色、棒30の太さは30ピクセル、数字31の背景色は黄色、また、 [0037] For example, when the relative distance or more far 10mm, the line color of the wireframe image 18 blue, the color of the bar 30 the thickness of the line showing one pixel, the distance blue, thick bars 30 is 20 pixels, the background color of the numbers 31 blue of it when is away less 10mm or more 0mm is line color wireframe image 18 yellow, thickness is 2 pixels of the line, the distance of bar 30 shown color yellow, the 30 pixels bar thickness 30, the background color of the numbers 31 yellow, also,
それが0mm以上10mm未満挿入されている時には、 By the time it is inserted than 10mm above 0 mm,
ワイヤフレーム像18の線の色は紫色、線の太さは2ピクセル、距離を示す棒30の色は紫色、棒30の太さは30ピクセル、数字31の背景色は紫色、というように変化させる。 Changes as the line color of the wire frame image 18 is purple, the thickness is the color of the bar 30 indicating the two pixels, the distance of the line purple, 30 pixel bar thickness 30, the background color of the numbers 31 purple, that make.

【0038】このように、予め設定された距離に達した時に、その距離に応じた色へ描画されるワイヤフレーム像18の色が変化したり、線の太さが変化することにより、使用者は、対象となっている部位への距離を視覚的に捉えることができる。 [0038] Thus, when it reaches the distance set in advance, or the color is changed in the wireframe image 18 drawn to a color corresponding to the distance, by the thickness of the line is changed, the user it can be considered the distance to the site of interest visually. また、注意すべき部位へ内視鏡3がある設定距離以上に近付いた際に、注意すべき部位を表すワイヤフレーム像18の線が太く描画されることにより、使用者は、注意すべき部位へ近付き過ぎたことを視覚的に捉えることができる。 Site Also, when approached to or greater than the set distance in the endoscope 3 to the site should be noted, by the line of the wire frame images 18 representing the site should be noted is drawn thicker, the user should be noted it was too close to be able to visually capture. 例えば、注意すべき部位に関する距離マップ12の参照値が10mm以下になったならば、線の太さを5倍に変化させる。 For example, the reference value of the distance map 12 about the site should be noted that if becomes 10mm or less, vary line width five times.

【0039】また、内視鏡3と対象部位との相対的距離に応じて描画されるワイヤフレーム像18の粗密も変化させるようにしている。 Further, even density of the endoscope 3 and the wire frame image 18 drawn depending on the relative distance to the target site so that varied. 即ち、相対的距離が小さくなるにつれて、より詳細なワイヤフレーム3次元モデルデータ10ヘ切り替えて描画を行い、相対的距離が大きくなるにつれて、間引かれたワイヤフレーム3次元モデルデータ10ヘ切り替えて描画を行う。 In other words, as the relative distance is small, performs drawing by switching more detailed wireframe three-dimensional model data 10 f, as the relative distance increases, by switching wireframe three-dimensional model data 10 f decimated drawn I do. 例えば、対象部位までの距離が30mm未満であったならば高解像度ワイヤフレーム3次元モデルデータ10aを用い、対象部位までの距離が30mm以上100mm未満であったならば中解像度ワイヤーフレーム3次元モデルデータ10bを用い、対象部位までの距離が100mm以上であったならば、低解像度ワイヤーフレーム3次元モデルデータ1 For example, if the distance to the target site is less than 30mm using a high-resolution wireframe three-dimensional model data 10a, medium resolution wireframe three-dimensional model data if the distance is less than 100mm or 30mm to the target site with 10b, if the distance to the target site was 100mm or higher, the low-resolution wireframe three-dimensional model data 1
0cを用いる。 Using 0c. この作用により、描画完了までの時間を短くするために粗いワイヤフレーム3次元モデルデータを用いなければならず、近付いた時に詳細な情報を表示できなかったり、逆に、詳細なワイヤフレーム3次元モデルデータを用いたために、対象部位から遠くにある時に不要な細部の情報を描画することによって描画完了までの時間が長くなったりするといった問題が生じることがなく、距離に応じて必要な詳細度と十分な描画速度を実現できる。 This action must be used a coarse wire frame 3D model data in order to shorten the time until the drawing completion, or unable to display detailed information when approached, conversely, detailed wireframe 3D model for using the data, without problem or longer time to complete the drawing occurs by drawing the information unnecessary details when a distant from the target site, and the required level of detail in accordance with the distance a sufficient drawing speed can be realized.

【0040】また、本実施の形態においては、内視鏡3 Further, in the present embodiment, the endoscope 3
が被検体1内部へ挿入される際には、内視鏡3と対象部位の表面部との相対的距離に応じて、描画される被検体1のモデル像がワイヤフレーム像18から、図9の(B)に示すような3次元ボリュームデータの内部断層像19へ、自動的に切り替える。 There when it is inserted into the subject 1, depending on the relative distance between the endoscope 3 and the surface portion of the target part, from the model image wireframe image 18 of the object 1 to be drawn, Figure 9 to 3-dimensional volume data of an internal tomographic image 19 as shown (B), the automatic switch. ここで、内視鏡3の先端と対象部位との相対的距離は上記方法により求められる。 Here, the relative distance between the tip and the target portion of the endoscope 3 is obtained by the above method. 例えば、この相対的距離が5mmになった時に、被検体のモデル像をワイヤフレーム像18から、内視鏡の視線方向に応じた3次元ボリュームデータの内部断層像19へ切り替える。 For example, when the relative distance becomes 5 mm, a model image of the subject from the wire frame image 18 is switched to the internal tomographic image 19 of the three-dimensional volume data corresponding to the viewing direction of the endoscope. この切り替えにより、使用者は、内視鏡3を挿入後は不要になる被検体のワイヤフレーム像18に替わって、挿入後重要になる3次元ボリュームデータの内部断層像19を、切り替え作業を要求されることなく容易に得ることができる。 This switch, the user, after inserting the endoscope 3 in place of the wire frame image 18 of the subject becomes unnecessary, the internal tomographic image 19 of the three-dimensional volume data become significant after insertion, requesting switching operations it can be easily obtained without being.

【0041】このように、内視鏡3が被検体内部に挿入されている時、使用者に対して表示されるナビゲーション情報は、被検体1の3次元ボリュームデータの内部断層像19と患部、注意すべき部位のワイヤフレーム像2 [0041] Thus, when the endoscope 3 is inserted into the subject, the navigation information displayed to the user, an internal tomographic image 19 and the affected part of the three-dimensional volume data of the subject 1, Note sites should wireframe image 2
0である。 It is 0. この状態で、内視鏡3がある設定値以上対象部位へ近付いた時は、ワイヤフレーム像20の描画属性だけでなく、描画される3次元ボリュームデータの内部断層像19の色も変化させる。 In this state, when approached to a set value or more target sites of the endoscope 3, not only the drawing attributes of the wireframe image 20, the color of the internal tomographic image 19 of the three-dimensional volume data drawn also vary.

【0042】なお、内視鏡3の撮影範囲内に対象部位が存在しない場合は、図9の(C)に示すように、対象となる部位が存在する方向を矢印21を用いて示す。 [0042] In the case where the target site is not present in the shooting range of the endoscope 3, as shown in (C) of FIG. 9 indicates a direction sites of interest are present with arrow 21. ここで、モデル像が描画範囲内にあるかどうかは、モデル像の描画の際に計算されるモデル像の各点の座標が、表示されるモニタ上の点として存在する座標がどうかを、全ての点について検査することにより判断することができる。 Here, whether the model image is within a drawing range of each point of the model image is calculated during the drawing of the model image coordinates, if the coordinates are present as a point on the monitor to be displayed, all it can be determined by testing for the points.

【0043】即ち、図10に示すように、モデル像の座標を表示画面の座標へ変換し(ステップS1)、その変換された点が表示範囲内の座標値かどうかを判定する(ステップS2)。 [0043] That is, as shown in FIG. 10, it converts the coordinates of the model image to the coordinates of the display screen (step S1), and determines whether the converted points or coordinates in the display range (step S2) . そして、表示範囲内の点があれば、 And, if there is a point in the display range,
モデル像を表示する(ステップS3)。 Show model image (step S3). これに対して、 On the contrary,
表示範囲内の点がない場合には、モデル像の代表点の座標を表示画面の座標へ変換すると共に(ステップS When there is no point in the display range, converts the coordinates of the representative points of the model image to the coordinates of the display screen (step S
4)、内視鏡3の先端の座標を表示画面の座標へと変換して(ステップS5)、モデル像の代表点と内視鏡3の先端の距離と方向を計算する(ステップS6)。 4) converts the tip of the coordinates of the endoscope 3 into coordinates of the display screen (step S5), and calculates the distance and direction of the distal end of the representative point and the endoscope 3 of the model image (step S6). 即ち、 In other words,
対象部位の代表点のモデルデータ座標系での座標値23 Coordinate values ​​23 of the model data coordinate system of the representative points of the target region
を、上記座標変換行列14,15,16,17により液晶モニタ13上の座標値へ変換することにより、内視鏡映像の中心22つまり内視鏡3先端と対象部位との相対的な距離と方向を求めることができる。 And by converting the coordinate values ​​on the LCD monitor 13 by the coordinate transformation matrix 14, 15, 16, 17, the relative distance between the center 22, i.e. endoscope 3 tip and target sites of the endoscope image it is possible to find the direction. そして、この距離に比例するように対象部位を示す矢印21の大きさを変化させることで、使用者は、どの程度内視鏡3を動かせば対象部位を内視鏡3の撮影範囲に捉えることができるかを視覚的に理解することができる。 Then, by changing the size of the arrows 21 representing the target site to be proportional to this distance, the user, to capture the target region to the imaging range of the endoscope 3 By moving the degree endoscope 3 it is possible to visually understand what it is.

【0044】また、センサ制御部6は、計測不能時に、 [0044] In addition, the sensor control unit 6, at the time of unmeasurable,
3次元位置姿勢情報に替わって、計測不能を示すメッセージを出力する。 Instead of the 3-dimensional position and orientation information, and outputs a message indicating unmeasurable. ナビゲーション情報制御部8は、このメッセージを受けた時に、ナビゲーション情報としてのモデル像を消去し、「計測不能状態」という文字情報2 The navigation information control unit 8, when receiving the message, erases the model image as navigation information, "unmeasurable state" that the character information 2
8と、黄色で太さ60ピクセルの枠29とを生成し、図9の(D)に示すように、液晶モニタ13により使用者へ表示する。 8, generates a frame 29 of thickness 60 pixels in yellow, as shown in (D) of FIG. 9 is displayed to the user by the liquid crystal monitor 13. この作用により、使用者は、内視鏡3、もしくは被検体1が計測不能な位置にあることを容易に知ることができ、実際の状態にそぐわないナビゲーション情報による誤操作を行う可能性が減少する。 This action, the user, it can be easily known that the endoscope 3, or the subject 1 is in a non measurement position, possibly reduces to perform erroneous operation due to unsuitable navigation information to the actual state.

【0045】なお、本実施の形態の各構成は、当然、各種の変形、変更が可能である。 [0045] It is to be noted that configurations of the present embodiment is of course modified, changes are possible.

【0046】例えば、ナビゲーション対象とする部位は、上記対象部位に限らず、被検体1の外形形状情報や内部断層像情報より作成される任意の部位とすることができる。 [0046] For example, site navigation target is not limited to the target site may be any site that is created from the outer shape information and internal tomographic image information of the subject 1. また、実際に被検体1が存在せず、仮想の被検体の頭部にセンシングプレートが取り付けられているとして、シミュレーションを行うことも可能である。 Moreover, without actually exist subject 1, as a sensing plate is attached to the head of the subject virtual, it is also possible to perform the simulation.

【0047】また、3次元位置姿勢計測手段は、磁気センサを用いた方式や、機械的なリンクとジョイントとエンコーダやポテンショメータを用いた方式など、一般によく知られた3次元位置姿勢計測方式へ置き換えることができる。 Further, the three-dimensional position and orientation measurement unit replaces method and using a magnetic sensor, such as a method using a mechanical links and joints and an encoder or potentiometer, the generally well-known three-dimensional position and orientation measurement method be able to. さらに、被検体が固定的になっている時には、事前に被検体の3次元位置姿勢を計測し、この情報をセンサ情報記憶部に蓄え、被ナビゲーション対象物との相対的3次元位置姿勢の演算に利用することで、システム稼動時は被ナビゲーション対象物の3次元位置姿勢を計測するだけで良くなる。 Further, when the subject is in a fixed manner in advance to measure the three-dimensional position and orientation of the object, stored the information in the sensor information storage unit, calculation of the relative three-dimensional position and orientation of the object navigation object by using the, during system operation is need only measure the three-dimensional position and orientation of the navigation object.

【0048】また、対象部位の外形情報を表現するワイヤフレームは、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法に置き換えることができる。 [0048] Further, wire frame representing the contour information of the target site may be replaced with a variety of expression methods to be used in three-dimensional computer graphics such as a polygon. あるいは、視線方向に対する輪郭線、等距離線でも良い。 Alternatively, the contour line for line-of-sight direction, or may be equidistant lines.

【0049】また、被ナビゲーション対象物である内視鏡3は、複数であっても構わない。 [0049] Also, the endoscope 3 is to be the navigation object, it may be plural. さらに、被ナビゲーション対象物としては、処置具などの観察手段を持たない物であっても構わない。 Furthermore, as the object to be a navigation object, but may be ones having no observing means such as a treatment tool.

【0050】また、対象部位が観察範囲内にあるかどうかの判断は、上記方法に限定されるものではない。 [0050] Also, whether the target site is within the observation range determination is not limited to the above method.

【0051】さらに、被ナビゲーション対象物と対象部位との相対的距離の算出方法は、距離マップに限らず、 [0051] Further, the method of calculating the relative distance between the navigation object and the target site is not limited to the distance map,
被ナビゲーション対象物の代表点と対象部位の代表点との距離を、一般的に知られている3次元空間における点と点の距離の算出方法で求めても良い。 The distance between the representative points of the representative points and the target site of the navigation object, may be obtained by generally known distance between the point and the point in the three-dimensional space are calculated methods.

【0052】また、距離による色の変化は、上記の様なある値を境界値とした変化だけではなく、複数の境界値による段階的な変化でも、連続的な変化でも良い。 [0052] Further, color change due to the distance, not only change in a such a value above a boundary value, in a step change by more boundary values, it may be a continuous change.

【0053】同様に、距離による線の太さの変化は、上記の様なある値を境界値とした変化だけではなく、複数の境界値による段階的な変化でも、連続的な変化でも良い。 [0053] Similarly, the thickness change line by distance, not only change in a such a value above a boundary value, in a step change by more boundary values, may be a continuous change.

【0054】また、色を透過色、線の太さを0とすることで、ナビゲーション情報の表示を実質的に行わなくても良い。 [0054] Moreover, the color transmission color, the line thickness by a 0, may not substantially perform display of navigation information.

【0055】さらに、距離によるモデル像の描画の粗密の変化は、上記の様な複数の粗さの違うデータを用意し、それを切り替える方法ではなく、単一データから連続的に変化させても良い。 [0055] Further, the distance change in density of the drawing of the model image by prepares a plurality of roughness of different data, such as described above, rather than how to switch it, be changed continuously from a single data good.

【0056】また、対象部位が観察範囲外にある時に表示されるパターンは、矢印21に限らず、三角形、丸、 [0056] The pattern that is displayed when the target region is outside the observation range is not limited to the arrow 21, triangle, circle,
棒などでも良く、距離の大きさは、形状の大きさで表現してもよい。 May be with a stick, the magnitude of distance may be expressed by the size of the shape.

【0057】さらに、距離による矢印21の大きさの変化は、上記のような連続的な変化だけでなく、ある設定値による段階的な変化でも良い。 [0057] Furthermore, the magnitude of the change of the arrow 21 by a distance not only continuous change as mentioned above, may be a gradual change due to certain set value.

【0058】また、対象部位のデータは、単一のデータから実行時に描画の粗さを決定する手段を加えれば、予め解像度別に分けて蓄えておく必要はない。 [0058] Also, data of the target site, be added the means for determining the roughness of the drawing during execution of a single data need not be stored separately in advance in the resolution by.

【0059】さらに、計測不能状態を示すナビゲーション情報は、文字情報28、もしくは枠29の一方でも良い。 [0059] Further, the navigation information indicating the unmeasurable state, character information 28, or one in or frame 29.

【0060】また、ナビゲーション情報の属性である色や線の太さ、モデル像の描画の粗さ、パターンの大きさ、距離による変化の際の境界値、計測不能状態を示すナビゲーション情報の文字情報28の文字列は、使用者が定義できるようにしても良い。 [0060] The attribute is a color and line thickness of navigation information, the rendering model image roughness, size of the pattern, the boundary value when the change due to the distance, the character information of the navigation information indicating the unmeasurable state string of 28, the user may be allowed to define.

【0061】[第2の実施の形態]次に、本発明の第2 [0061] [Second Embodiment Next, the second invention
の実施の形態を説明する。 Describing the embodiments.

【0062】図11はその構成を示す図で、本実施の形態においては、上記第1の実施の形態の構成と以下の点を除いて、同様に構成されている。 [0062] Figure 11 is a diagram showing the configuration, in this embodiment, except for the following points and configuration of the first embodiment, it is configured in the same manner.

【0063】即ち、内視鏡3は、光学系の撮影情報をナビゲーション情報制御部8へ渡す必要がない。 [0063] That is, the endoscope 3, it is not necessary to pass the photographic information of the optical system to the navigation information control section 8. 本実施の形態においては、内視鏡3を挿入すべき径路(最小侵襲経路)を表現するベクトル24が、データとして、予めナビゲーション情報記憶部9に蓄えられている。 In the present embodiment, the vector 24 representing the path to be inserted the endoscope 3 (minimally invasive routes), as data is stored in advance in the navigation information storage unit 9. そして、内視鏡3の先端と後端の座標値25が、内視鏡3に固定的に取り付けられたセンシングプレート4で規定される座標系に対して求められており、ナビゲーション情報記憶部9に蓄えられている。 The leading and trailing ends of the coordinate values ​​25 of the endoscope 3, has been determined for the coordinate system defined by the endoscope 3 sensing plate 4 fixedly attached to, the navigation information storage unit 9 It is stored in.

【0064】次に、このような構成における作用を説明する。 Next, a description will be given of the operation in such a configuration.

【0065】本実施の形態に係るナビゲーション装置の動作中、センサ制御部6は、センシングプレート2,4 [0065] During operation of the navigation apparatus according to this embodiment, the sensor control unit 6, the sensing plate 2,4
の各赤外線LEDの3次元位置を計測し、センサ情報記憶部5に蓄えられたLED定義データを用いて、センシングプレート2,4の3次元位置姿勢を算出する。 Measuring a three-dimensional position of each infrared LED of using the LED definition data stored in the sensor information storage unit 5, calculates the three-dimensional position and orientation of the sensing plate 2 and 4. この3次元位置姿勢情報より、被検体1の頭部に取り付けられたセンシングプレート2から内視鏡3に取り付けられたセンシングプレート4への座標変換行列17が算出される。 From this three-dimensional position and orientation information, the coordinate transformation matrix 17 to a sensing plate 4 attached to the endoscope 3 from the sensing plate 2 which is attached to the subject 1 head is calculated. この座標変換行列17と前述の座標変換行列1 Coordinate transformation matrix described above and the coordinate transformation matrix 17 1
4,15、及び上記座標値25より、対象部位のデータに対する内視鏡3の位置と姿勢が求められる。 4, 15, and from the coordinate value 25, the position and orientation of the endoscope 3 to the data of the target site is obtained.

【0066】ナビゲーション情報制御部8は、図12に示すように、患部を含む3次元ボリュームデータ11の三切断面像26と、その断面に投影される内視鏡3の正射影像27をナビゲーション情報として生成し、液晶モニタ13にて表示する。 [0066] The navigation information control section 8, as shown in FIG. 12, the navigation and the three cut surface image 26 of the three-dimensional volume data 11 including the affected part, the orthogonal projection image 27 of the endoscope 3 to be projected in its cross-section It generated as information, and displays on the liquid crystal monitor 13. 例えば、患部の代表点の座標が(260,180,280)と表されたとすると、3次元ボリュームデータ11の三切断面像26はx=260 For example, if the coordinates of the diseased part of the representative point is represented as (260,180,280), three cut surface image 26 of the three-dimensional volume data 11 x = 260
のYZ平面、y=180のZX平面、z=280のXY YZ plane, y = 180 ZX plane, z = 280 XY of
平面となる。 The plane.

【0067】内視鏡3の先端位置を用いて上記距離マップ12を参照することにより、対象部位と内視鏡3の先端との相対的な距離が求められる。 [0067] By referring to the distance map 12 with the tip position of the endoscope 3, the relative distance between the tip of the target site and the endoscope 3 is determined.

【0068】そして、本実施の形態においては、内視鏡3の正射影像27及び三切断面像26は、対象部位と内視鏡3の先端との相対的な距離に応じて色を連続的に変化させる。 [0068] Then, in the present embodiment, the orthogonal projection image 27 and the three-cut surface image 26 of the endoscope 3 continuously color depending on the relative distance between the tip of the target site and the endoscope 3 to be changed. また、内視鏡3の正射影像27は、対象部位と内視鏡3の先端との相対的な距離に応じて、図13に示すように、線の太さを連続的に変化させる。 Further, the orthogonal projection image 27 of the endoscope 3, depending on the relative distance between the tip of the target site and the endoscope 3, as shown in FIG. 13, continuously changing the thickness of the line. これらの変化により、使用者は、内視鏡3の対象部位への接近を容易に把握することができる。 These changes, the user, access to the target site of the endoscope 3 can be easily grasped.

【0069】また、内視鏡3の先端位置と後端位置の座標値25により求められる内視鏡3の姿勢は、挿入すべき径路を表現するベクトル24のデータと比較され、ある設定値(例えば、10度)以上の傾きが存在する場合には、内視鏡3の正射影像27の色と線の太さを変化させる。 [0069] Further, the posture of the endoscope 3 obtained by the endoscope 3 of the front end position and the rear end position coordinate value 25 is compared with the data of the vector 24 representing the inserts to be path, certain set value ( for example, if there are 10 degrees) or inclination changes the thickness of the color and line orthogonal projection image 27 of the endoscope 3. この変化により、使用者は、現在の内視鏡3の挿入方向が挿入すべき方向として定義された方向からずれたことを、容易に把握することができる。 This change, the user, that the insertion direction of the current of the endoscope 3 is deviated from a defined direction as the direction to be inserted, can be easily grasped.

【0070】なお、本第2の実施の形態の各構成は、当然、各種の変形、変更が可能である。 [0070] It is to be noted that configurations of the second embodiment is of course modified, changes are possible.

【0071】例えば、ナビゲーション対象とする部位は上記対象部位に限らず、被検体の外形形状情報、内部断層像情報より作成される任意の部位とすることができる。 [0071] For example, site navigation target is not limited to the target site can be any site that is created outer shape information of the object, from the internal tomographic image information. また、実際に被検体が存在せず、仮想の被検体の頭部にセンシングプレートが取り付けられているとして、 Moreover, without actually exist subject, as a sensing plate is attached to the head of the subject virtual,
シミュレーションを行うことも可能である。 It is also possible to carry out the simulation.

【0072】また、3次元位置姿勢計測手段は、磁気センサを用いた方式や、機械的なリンクとジョイントとエンコーダーやポテンショメータを用いた方式など、一般によく知られた3次元位置姿勢計測方式へ置き換えることができる。 [0072] Further, the three-dimensional position and orientation measurement unit replaces method and using a magnetic sensor, such as a method using a mechanical links and joints and encoders, potentiometers, to generally well-known three-dimensional position and orientation measurement method be able to. 被ナビゲーション対象物との相対的3次元位置姿勢の演算に利用することで、システム稼動時は被ナビゲーション対象物の3次元位置姿勢を計測するだけで良くなる。 By using the calculation of the relative three-dimensional position and orientation of the object navigation object, during system operation is need only measure the three-dimensional position and orientation of the navigation object.

【0073】また、被ナビゲーション対象物は複数であっても構わない。 [0073] In addition, the navigation object may be a plurality. さらに、被ナビゲーション対象物としては機械的な形状が計測できるものであれば、内視鏡3 Further, as long as the as the navigation objects that can measure the mechanical shape, the endoscope 3
に限らず、吸引管やピンセットなど他のものへ置き換えることができる。 Limited not, it can be replaced to others, such as suction tube and tweezers.

【0074】また、内視鏡3先端の座標は機械的な先端に一致している必要はなく、仮想的に先端が長くなっているとしたデータを与えても良い。 [0074] Further, the coordinates of the endoscope 3 tip need not match the mechanical tip may provide the data with virtually tip is longer. さらに、機械的な先端位置からの延長量をパラメータとする式で先端座標を与え、使用者により指定された延長量に基づく先端座標を逐次求める形式でも良い。 Furthermore, given the coordinates of the tip of the extension amount from the mechanical end position in expression to a parameter, or a sequential seek format tip coordinates based on the specified amount of extension by the user.

【0075】また、距離による色の変化は、上記の様な連続的な変化だけではなく、ある値を境界値とした変化でも、複数の境界値による段階的な変化でも良い。 [0075] Further, color change due to the distance is not only continuous change such as described above, even changes that have a certain value and boundary value may be a stepwise change with a plurality of boundary values.

【0076】同様に、距離による線の太さの変化は、上記の様な連続的な変化だけではなく、ある値を境界値とした変化でも、複数の境界値による段階的な変化でも良い。 [0076] Similarly, the thickness change line by distance, not only continuous change such as described above, even changes that have a certain value and boundary value may be a stepwise change with a plurality of boundary values.

【0077】また、傾きの大きさの演算方法は、本方法に限定されるものではない。 [0077] The calculation method of the magnitude of slope is not limited to this method.

【0078】さらに、ナビゲーション情報の属性である色や線の太さ、距離による変化の際の境界値を、使用者が定義できるようにしても良い。 [0078] Further, the attribute a is color or line thickness of navigation information, the boundary value when the change due to the distance, the user may be allowed to define.

【0079】また、被ナビゲーション対象物は、顕微鏡であっても良い。 [0079] In addition, the navigation object may be a microscope. この場合、顕微鏡の焦点距離を顕微鏡本体から取得し、これを本実施の形態中の内視鏡3先端の座標とすることにより、焦点位置をナビゲーション対象の点とすることができる。 In this case, to get the focal length of the microscope from the microscope body, which by the endoscope 3 tips of coordinates in the present embodiment, it is possible to point the focal position of the navigation object.

【0080】以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。 [0080] While the invention has been described based on the above embodiment, the present invention is not intended to be limited to the embodiments described above, but various modifications and applications within the scope of the invention . ここで、本発明の要旨をまとめると以下のようになる。 Here, it is summarized as follows gist of the present invention.

【0081】(1) 対象物を目標へナビゲートする情報を生成するナビゲーション装置であり、上記目標と上記対象物の3次元位置姿勢を計測する3次元位置姿勢計測手段と、上記3次元位置姿勢計測手段の計測結果に基づいて、ナビゲーションに必要な情報を生成する情報生成手段と、上記情報生成手段で生成した情報を表示する表示手段と、を具備し、上記表示手段は、上記対象物と上記目標の距離情報、上記対象物から上記目標への方向情報、上記対象物又は上記目標が上記3次元位置姿勢計測手段の計測範囲内に位置するかの情報のうち少なくとも一つの情報に応じて、複数の表示形態より選択された表示形態でナビゲーション情報を表示することを特徴とするナビゲーション装置。 [0081] (1) an object to a target is a navigation device for generating information for navigating a three-dimensional position and orientation measurement means for measuring the three-dimensional position and orientation of the target and the object, the three-dimensional position and orientation based on the measurement result of the measuring means, and the information generation means for generating information necessary for navigation, comprising display means for displaying the information generated by the information generating means, and said display means, and said object distance information of the target, the direction information from the object to the target, the target or the target in response to at least one information out of one of the information located within the measurement range of the three-dimensional position and orientation measurement unit , navigation apparatus and displaying navigation information in a display mode selected from a plurality of display modes.

【0082】この(1)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0082] Embodiment relating to the configuration of according to the (1), the first and second embodiments correspond. 即ち、上記第1及び第2の実施の形態では、上記目標は、 That is, in the first and second embodiments, the goal is
被検体1、手術対象となる患部、手術において注意すべき部位が該当するが、実体が存在する被検体に限らず、 The subject 1, the affected area as a surgery target, while the site should be noted corresponds in operation, not only the subject entity exists,
予め取得した実在の目標物の画像情報から再構成された2次元、又は3次元のモデル像として表示される仮想の目標物も含む。 Including previously obtained actual 2-dimensional reconstructed from the image information of the target object, or target virtual displayed as a three-dimensional model image. また、上記被ナビゲーション対象物は、 Further, the object navigation object,
内視鏡3が該当するが、目標物に対して観察や操作を行うための吸引管やピンセット等の処置具なども含む。 The endoscope 3 corresponds, but includes such suction tube or tweezers treatment instrument for performing observation or operation on target. 上記3次元位置姿勢計測手段は、赤外線LEDを用いたセンサ(センシングプレート2,4、センサアセンブリ7、センサ情報記憶部5、センサ制御部6)が該当するが、磁気センサを用いた方式や、機械的なリンクとジョイントとエンコーダやポテンショメータを用いた方式など、一般によく知られた3次元位置姿勢計測方式も含む。 The three-dimensional position and orientation measurement unit, a sensor using infrared rays LED (sensing plate 2,4, sensor assembly 7, the sensor information storage unit 5, the sensor control unit 6) are true, method and using a magnetic sensor, such as a method using a mechanical links and joints and an encoder or potentiometer, including generally known three-dimensional position and orientation measurement method was. 上記情報生成手段は、ナビゲーション情報記憶部9 It said information generating means, the navigation information storage unit 9
とナビゲーション情報制御部8が該当する。 Navigation information control unit 8 and the appropriate. 上記表示手段は、液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 The display means is a liquid crystal monitor 13 are true also includes image information display device such as a CRT display or a head-mounted display. なお、「複数の表示形態」という用語は、本明細書では、ナビゲーション情報を表示する際の色、線の太さ、描画される大きさ、及び描画の疎密を意味している。 Incidentally, the term "plurality of display form" is used herein, the color in displaying navigation information, the thickness of the line, which means the rendered size and the density of the drawing.

【0083】この(1)に記載の構成によれば、目標と対象物は3次元位置姿勢計測手段により、3次元空間上の相対的な位置と姿勢を計測される。 [0083] According to the configuration described in the (1), the target and the object by the three-dimensional position and orientation measurement means it is measured the relative position and orientation of the three-dimensional space. 情報生成手段では、この3次元位置姿勢計測手段の計測結果に基づいて、ナビゲーションに必要な情報を生成する。 The information generating means, based on the measurement result of the three-dimensional position and orientation measurement unit, generates information necessary for navigation. 表示手段では、この情報生成手段で生成したナビゲーション情報として、上記対象物と上記目標の距離情報、上記対象物から上記目標への方向情報、上記対象物又は上記目標が上記3次元位置姿勢計測手段の計測範囲内に位置するかの情報のうち少なくとも一つの情報に応じて、複数の表示形態より選択された表示形態でナビゲーション情報を表示する。 In the display unit, as the navigation information generated in this information generating means, the object and the distance information of the target, the direction information from the object to the target, the target or the target is the three-dimensional position and orientation measurement unit depending on the at least one information out of one of the information located within the measuring range, to display the navigation information in the display mode selected from the plurality of display modes. この結果、使用者は、目標と対象物との距離、対象物から目標への方向、対象物又は目標が上記3 As a result, the user, the distance between the target and the object, the direction from the object to the target, the object or target is above 3
次元位置姿勢計測手段の計測範囲内に位置するかを、容易に把握することができる。 Or located within the measurement range of dimensions the position and orientation measurement unit, it is possible to easily grasp.

【0084】(2) 上記表示手段は、上記3次元位置計測手段により上記目標及び上記対象物が計測可能な場合は、上記目標又は上記対象物の外形形状情報、上記目標物の内部断層情報、上記目標または上記対象物の方向、上記目標物への距離情報のうち、少なくとも一つを表示し、それ以外の場合は、計測不能であることを示す情報を表示することを特徴とする上記(1)に記載のナビゲーション装置。 [0084] (2) the display means, when the target and the object can be measured by the three-dimensional position measuring means, the outer shape information of the target or the object, internal fault information of the target, direction of the target or the object, among the distance information to the target, and displays at least one, otherwise, and displaying the information indicating that the not measurable above ( the navigation device according to 1).

【0085】この(2)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0085] Embodiment relating to the configuration of according to the (2), the first and second embodiments correspond. 即ち、上記外形形状情報は、第1の実施の形態ではワイヤフレーム3次元モデルデータ10が該当するが、外形形状を表現できるモデルデータであれば一般的な3次元コンピュータグラフィックスで用いられるデータ構造も含む。 That is, the outer shape information is first in the embodiment wireframe three-dimensional model data 10 corresponds, data used in a general three-dimensional computer graphics as long as model data can represent the outer shape structure also it is included. また、第2の実施の形態では、内視鏡3の正射影像27を表現する線が該当するが、外形形状を表現できるものであれば一般的な3次元コンピュータグラフィックスで用いられる表現方法も含む。 In the second embodiment, the endoscope is a line representing the orthogonal projection image 27 of the mirror 3 are true representation methods used in general three-dimensional computer graphics as long as it can express the outer shape also it is included. 上記内部断層情報は、 The internal fault information,
第1及び第2の実施の形態では、対象部位の3次元ボリュームデータ11が該当するが、2次元ピクセルデータが複数存在する形態も含む。 In the first and second embodiments, the three-dimensional volume data 11 of the target sites are true, including the form of two-dimensional pixel data there are multiple. 上記対象物の方向は、第1 Direction of the object, the first
の実施の形態では矢印21が該当するが、三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 In embodiments arrow 21 corresponds, but include those which can be 3-dimensional geometric confirm graphic and image data visually, such as two-dimensional geometrical figure and cones such as triangular or round. 上記目標物への距離情報は、第1の実施の形態では患部への距離を示す数字31が該当するが、任意の目標物への距離を示す数字を含む。 Distance information to the target, although the numbers 31 indicating the distance to the affected area in the first embodiment is applicable, comprises a number indicating the distance to any target. あるいは、これは、第1の実施の形態では患部への距離を示す棒30が該当するが、三角形や丸等の2次元幾何学図形や円柱等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 Alternatively, this is the first bar 30 that indicates the distance to the affected area in the embodiment of the case, such as a visual 3D geometric shapes and image data such as two-dimensional geometric shapes and cylinders, such as triangles or circles including those that can be seen at.

【0086】また、上記計測不能であることを示す情報は、第1の実施の形態では「計測不能状態」という文字情報28が該当するが、これは計測不能な状態を表現する任意の文字情報を含む。 [0086] Further, information indicating that the above measurement impossible, in the first embodiment corresponds character information 28 of "unmeasurable state", which is any character information representing the unmeasurable state including. あるいは、これは、第1の実施の形態では黄色で太さ60ピクセルの枠29が該当するが、計測不能を示すことを定義された任意の記号的パターンを含む。 Alternatively, this is in the first embodiment is applicable the frame 29 of thickness 60 pixels in yellow, including any symbolic pattern defined to indicate not measurable.

【0087】(3) 上記対象物は撮像手段を具備し、 [0087] (3) the object imaging means,
上記表示手段は、上記撮像手段で撮像した画像と上記ナビゲーション情報を重畳して表示可能であることを特徴とする上記(1)に記載のナビゲーション装置。 Said display means, the navigation device according to the above (1), characterized in that is displayable by superimposing the image and the navigation information captured by said imaging means.

【0088】この(3)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0088] Embodiment relating to the configuration of according to the (3), the first embodiment corresponds. 即ち、上記撮像手段を有する対象物は、第1の実施の形態では内視鏡3が該当するが、顕微鏡なども含む。 That is, the object having the image pickup means is an endoscope 3 in the first embodiment is applicable, including a microscope. また、上記表示手段は、第1の実施の形態では液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 Further, the display means, in the first embodiment the monitor 13 corresponds also includes image information display device such as a CRT display or a head-mounted display.

【0089】この(3)に記載の構成によれば、上記(1)に記載の対象物が撮像手段を有しており、この撮像手段から得られる画像と上記(1)に記載の情報生成手段より得られるナビゲーション情報を重畳して表示する。 [0089] According to the configuration described in the (3), the object according to the above (1) has an imaging unit, generating information according to the image and the (1) obtained from the image pickup means superimposed and displayed on the navigation information obtained from means. 即ち、表示手段上で、実際の画像とナビゲーション情報を同一の空間上の情報として得られることにより、 That is, on the display unit, by which is obtained the actual image and the navigation information as information on the same space,
使用者は、まだ見えぬ実体の位置や形状や状態をナビゲーション情報から容易に把握することができる。 The user can easily grasp the position and the shape and the state of the still visible unexpected entity from the navigation information.

【0090】(4) 上記目標と上記対象物の距離又は方向に応じて、上記ナビゲーション情報の表示色を異ならせることを特徴とする上記(1)乃至(3)の何れかに記載のナビゲーション装置。 [0090] (4) depending on the distance or the direction of the target and the object, the navigation device according to any one of (1) to (3), characterized in that varying the display color of the navigation information .

【0091】この(4)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0091] Embodiment relating to the configuration of according to the (4), the first and second embodiments correspond. 即ち、上記ナビゲーション情報の表示色は、第1の実施の形態ではモニタ上に描画される対象部位のワイヤフレーム像18、及び内部断層像19が該当するが、第1の実施の形態での矢印21も含む。 That is, the display color of the navigation information, the first in the embodiments of sites to be drawn on the monitor wire frame image 18, and an internal tomographic image 19 corresponds, arrows in the first embodiment 21 also be included. また、第2の実施の形態では、モニタ上に描画される対象部位の三切断面像26 Further, in the second embodiment, the target portion to be drawn on the monitor three cutting surface image 26
や内視鏡3の正射影像27が該当する。 Orthogonal projection image 27 and the endoscope 3 is applicable.

【0092】この(4)に記載の構成によれば、上記3 [0092] According to the configuration described in the (4), the 3
次元位置姿勢計測手段により計測された上記目標と上記対象物の相対的な距離に応じてナビゲーション情報の色が変化することにより、使用者は、相対的な距離が近付き過ぎたことなどを視覚的に容易に把握することができる。 By the color of the navigation information is changed in accordance with the relative distance of the target and the object measured by the dimension position and orientation measurement unit, the user can visually and that the relative distance is too close it can be easily grasped. また、相対的な方向に応じてナビゲーション情報の色を変化させることにより、使用者は、相対的な方向がずれていることなどを視覚的に容易に把握することができる。 Further, by changing the color of the navigation information according to the relative direction, the user can visually and easily grasp such that the relative orientation is shifted. あるいは、相対的な距離と方向を同時に評価して色を変化させることで、使用者は、相対的な距離と方向の状態を視覚的に容易に把握することができる。 Alternatively, by changing the color evaluating relative distance and direction at the same time, the user can visually easily grasp a relative distance and direction of the state.

【0093】(5) 上記目標と上記対象物の距離又は方向に応じて、上記ナビゲーション情報の表示において線の太さを異ならせることを特徴とする上記(1)乃至(3)の何れかに記載のナビゲーション装置。 [0093] (5) according to the distance or direction of the target and the object, to any of the above (1) to (3), characterized in that varying the thickness of the line in the display of the navigation information the navigation device that is described.

【0094】この(5)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0094] Embodiment relating to the configuration of according to the (5), the first and second embodiments correspond. 即ち、上記ナビゲーション情報の線の太さは、第1の実施の形態ではモニタ上に描画される対象部位のワイヤフレーム像18が該当するが、第1の実施の形態での矢印2 That is, the thickness of the line of the navigation information, the first in the embodiments of sites to be drawn on the monitor wireframe image 18 corresponds, arrows in the first embodiment 2
1も含む。 1 also includes. 第2の実施の形態では、モニタ上に描画される内視鏡3の正射影像27が該当する。 In the second embodiment, the orthogonal projection image 27 of the endoscope 3 to be drawn on the monitor corresponds.

【0095】この(5)に記載の構成によれば、上記3 [0095] According to the configuration described in the (5), the 3
次元位置姿勢計測手段により計測された上記目標と上記対象物の相対的な距離に応じてナビゲーション情報の線の太さが変化することにより、使用者は、相対的な距離が近付き過ぎたことなどを視覚的に容易に把握することができる。 By the thickness of the line of the navigation information is changed in accordance with the relative distance of the target and the object measured by the dimension position and orientation measurement unit, the user, such as by the relative distance is too close it is possible to visually and easily grasp. また、相対的な方向に応じてナビゲーション情報の線の太さを変化させることにより、使用者は、相対的な方向がずれていることなどを視覚的に容易に把握することができる。 Further, by changing the thickness of the line of navigation information in accordance with the relative orientation, the user can visually and easily grasp such that the relative orientation is shifted. あるいは、相対的な距離と方向を同時に評価して線の太さを変化させることで、使用者は、 Alternatively, by changing the thickness of the relative distance and direction simultaneously evaluate and lines, the user
相対的な距離と方向の状態を視覚的に容易に把握することができる。 The relative distance and direction of the state can be visually easily grasped.

【0096】(6) 上記目標と上記対象物の距離に応じて、上記表示手段に上記目標の外形形状モデルと上記目標の内部断層画像を択一的に表示することを特徴とする上記(1)乃至(3)の何れかに記載のナビゲーション装置。 [0096] (6) according to the distance of the target and the object above, wherein the alternatively possible to display the outline shape model and an internal tomographic image of the target of the target on the display means (1 ) to the navigation device according to any one of (3).

【0097】この(6)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0097] Embodiment relating to the configuration of according to the (6), the first embodiment corresponds. 即ち、上記外形形状モデルは、第1の実施の形態ではワイヤフレーム像18が該当するが、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法や視線方向に対する輪郭線、等距離線も含む。 That is, the outer shape model, in the first embodiment wireframe image 18 corresponds, contours for various representation and viewing direction for use in three-dimensional computer graphics such as a polygon, also equidistant lines including. また、上記内部断層像は、第1の実施の形態では内部断層像19が該当する。 Further, the internal tomogram, in the first embodiment corresponds internal tomographic image 19.

【0098】この(6)に記載の構成によれば、上記3 [0098] According to the configuration described in the (6), the 3
次元位置姿勢計測手段により計測された上記目標と上記対象物の相対的な距離に応じて目標の外形形状モデルと内部断層像とが切り替わることにより、使用者は、対象物が目標の近くに位置していることを容易に把握することができる。 By switched and outer shape model and the internal tomogram of the target in accordance with the relative distance of which measured the target and the object by dimension position and orientation measurement unit, the user object is located near the target that it can easily grasp the. また、設定された距離の内部と外部という異なる状態に応じた情報を容易に得ることができる。 Further, it is possible to easily obtain the information corresponding to the different states of internal and external distance set.

【0099】(7) 上記目標と上記対象物の距離に応じて、上記表示手段に目標モデル画像を描写の粗さを違えて表示することを特徴とする上記(1)乃至(3)の何れかに記載のナビゲーション装置。 [0099] (7) depending on the distance of the target and the object, either of the above (1) to (3) and displaying it Chigae roughness depict target model image on the display means navigation device of crab described.

【0100】この(7)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0100] Embodiment relating to the configuration of according to the (7), the first embodiment corresponds. 即ち、上記目標モデル画像は、第1の実施の形態ではワイヤフレーム像18が該当するが、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法や視線方向に対する輪郭線、等距離線も含む。 That is, the target model image, in the first embodiment wireframe image 18 corresponds, contours for various representation and viewing direction for use in three-dimensional computer graphics such as a polygon, also equidistant lines including.

【0101】この(7)に記載の構成によれば、目標モデル画像の描画の疎密が、目標と対象物の相対的な距離に応じて、例えば遠くにある時には粗く、近くにある時には細かく変化することにより、目標モデル画像描画の負荷と表示する情報量とのバランスをとることができる。 [0102] According to the configuration described in the (7), density of the target model image rendering, depending on the relative distance of the target and the object, for example rough when a distant, finely changed when near by, it can be balanced with the amount of information to be displayed and the load of the target model image drawing. このことにより、使用者は、適当な描画速度で適当な情報量を距離に応じて得ることができる。 Thus, the user can in an appropriate drawing speed may in accordance with appropriate amount of information on the distance.

【0102】(8) 上記目標と上記対象物の距離に応じて、上記表示手段に、上記目標を表す画像と上記目標の方向情報を択一的に表示することを特徴とする上記(1)乃至(3)の何れかに記載のナビゲーション装置。 [0102] (8) depending on the distance of the target and the object on the display means, the characterized by selectively displaying the direction information of the image and the target representing the target (1) or navigation device according to any one of (3).

【0103】この(8)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0103] The embodiments relating to the configuration according to the (8), the first embodiment corresponds. 即ち、上記目標を表す画像は、第1の実施の形態ではワイヤフレーム像18が該当するが、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法や視線方向に対する輪郭線、等距離線や内部断層像情報も含む。 That is, the image representing the goal, but in the first embodiment wireframe image 18 corresponds, contours for various representation and viewing direction for use in three-dimensional computer graphics such as a polygon, equidistant lines and also including internal tomographic image information.
また、上記目標の方向情報は、第1の実施の形態では矢印21が該当するが、三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 The direction information of the target, although in the first embodiment arrows 21 are true two-dimensional geometrical shapes and three-dimensional geometrical figure and image data visually confirm cone such as a triangle or circle It can include those.

【0104】この(8)に記載の構成によれば、目標と対象物との相対的な距離と方向から、上記表示手段の表示領域に対する位置関係を上記情報生成手段にて算出し、例えば表示領域に目標を表す画像が描画されない場合は目標の方向情報ヘ切り替えることで、使用者は、目標や対象物の位置や方向を見失うことなく把握することができる。 [0104] According to the configuration described in the (8), the relative distance and direction between the target and the object, the positional relationship display area of ​​the display means calculated by said information generating means, for example, a display If the image representing a target in the area not rendered by switching the direction information f of the target, the user can grasp without losing the position and direction of the target and the object.

【0105】(9) 上記目標と上記対象物の距離に応じて、上記表示手段に、上記目標の方向情報を少なくとも大きさ・形状の何れかが異なる記号で表示することを特徴とする上記(1)乃至(3)の何れかに記載のナビゲーション装置。 [0105] (9) depending on the distance of the target and the object on the display means, characterized in that at least either the size and shape of the direction information of the target is displayed in different symbols above ( 1) to the navigation device according to any one of (3).

【0106】この(9)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0106] Embodiment relating to the configuration of according to the (9), the first embodiment corresponds. 即ち、上記記号は、第1の実施の形態では矢印21が該当するが、三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 That is, the symbols, those In the first embodiment arrow 21 corresponds, which can be three-dimensional geometric confirm graphic and image data visually, such as two-dimensional geometrical figure and cones such as a triangle or circle including.

【0107】この(9)に記載の構成によれば、記号の大きさ又は形状で上記目標と上記対象物の相対的な距離を表現することにより、使用者は、方向だけでなく距離も視覚的に容易に把握することができる。 [0107] According to the configuration described in the (9), by representing a relative distance size or the target and the object in the form of symbols, the user also the distance as well as direction visual it can be and easily grasp.

【0108】(10) ナビゲーションの目標物と、上記目標物に対してナビゲーションされる被ナビゲーション対象物と、上記目標物及び/又は上記被ナビゲーション対象物の3次元位置姿勢を計測する3次元位置姿勢計測手段と、上記3次元位置姿勢計測手段により計測される計測情報に基づいて、ナビゲーション情報を生成制御する情報算出手段と、上記情報算出手段により生成制御されたナビゲーション情報を表示する情報表示手段と、 [0108] (10) and the target of the navigation, three-dimensional position and orientation measuring and the navigation object, the three-dimensional position and orientation of the target and / or the object to be navigation object that is the navigation with respect to the target a measurement unit, based on the measurement information measured by the three-dimensional position and orientation measurement unit, the information calculation means for generating control navigation information, and information display means for displaying navigation information generated controlled by the information calculating means ,
から構成されるナビゲーション装置において、上記情報算出手段は、上記3次元位置姿勢計測手段により計測された上記目標物と上記被ナビゲーション対象物の相対的な距離及び/又は方向、及び/又は計測の可否に応じて、ナビゲーション情報の属性又は種類を、計測結果の視覚的表現となるように変化させることを特徴とするナビゲーション装置。 A navigation device comprising, the information calculating means, whether the relative distance and / or orientation, and / or measurement of the target and the object navigation object measured by the three-dimensional position and orientation measurement unit in response, the attribute or type of navigation information, the navigation apparatus characterized by varying such that the visual representation of the measurement results.

【0109】この(10)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0109] Embodiment relating to the configuration of according to the (10), the first and second embodiments correspond. 即ち、上記第1及び第2の実施の形態では、上記目標物は、被検体1、手術対象となる患部、手術において注意すべき部位が該当するが、実体が存在する被検体に限らず、予め取得した実在の目標物の画像情報から再構成された2次元、又は3次元のモデル像として表示される仮想の目標物も含む。 That is, in the above first and second embodiments, the target is the subject 1, the affected area as a surgery target, while the site should be noted corresponds in operation, not only the subject entity exists, including previously obtained actual 2-dimensional reconstructed from the image information of the target object, or target virtual displayed as a three-dimensional model image. また、上記被ナビゲーション対象物は、内視鏡3が該当するが、目標物に対して観察や操作を行うための吸引管やピンセット等の処置具なども含む。 Further, the object navigation object, although the endoscope 3 corresponds also includes such suction tube or tweezers treatment instrument for performing observation or operation on the target object. 上記3次元位置姿勢計測手段は、赤外線LEDを用いたセンサ(センシングプレート2,4、センサアセンブリ7、センサ情報記憶部5、センサ制御部6)が該当するが、磁気センサを用いた方式や、機械的なリンクとジョイントとエンコーダやポテンショメータを用いた方式など、一般によく知られた3次元位置姿勢計測方式も含む。 The three-dimensional position and orientation measurement unit, a sensor using infrared rays LED (sensing plate 2,4, sensor assembly 7, the sensor information storage unit 5, the sensor control unit 6) are true, method and using a magnetic sensor, such as a method using a mechanical links and joints and an encoder or potentiometer, including generally known three-dimensional position and orientation measurement method was. 上記情報算出手段は、ナビゲーション情報記憶部9とナビゲーション情報制御部8が該当する。 The information calculating means, the navigation information storage unit 9 and the navigation information control unit 8 corresponds. 上記情報表示手段は、液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 It said information display means is a liquid crystal monitor 13 are true also includes image information display device such as a CRT display or a head-mounted display. なお、「ナビゲーション情報の属性」 It should be noted that, "the attributes of the navigation information."
という用語は、本明細書では、ナビゲーション情報を表示する際の色、線の太さ、描画される大きさ、及び描画の疎密を意味している。 The term is used herein, the color in displaying navigation information, the thickness of the line, which means the rendered size and the density of the drawing.

【0110】この(10)に記載の構成によれば、目標物と被ナビゲーション対象物は3次元位置姿勢計測手段により、3次元空間上の相対的な位置と姿勢を計測される。 [0110] According to the configuration described in the (10), target and target navigation object by the three-dimensional position and orientation measurement means it is measured the relative position and orientation of the three-dimensional space. 情報算出手段では、この3次元位置姿勢計測手段により計測された目標物及び/又は被ナビゲーション対象物の3次元位置姿勢情報、及び/又は計測の可否を、目標物と被ナビゲーション対象物の相対的な距離及び/又は方向の情報、及び/又は計測状態の情報として、ナビゲーション情報の生成制御を行う。 The information obtaining means, the relative three-dimensional position and orientation information of the target and / or the navigation object measured by the three-dimensional position and orientation measurement unit, and / or whether the measurement target and the navigation object such distance and / or direction information, and / or as information for measuring state, the generation control of the navigation information. 情報表示手段では、 In the information display means,
この情報算出手段で生成制御されたナビゲーション情報を表示する。 Displaying navigation information generated controlled by this information calculating means. この結果、使用者は、容易に目標物と被ナビゲーション対象物との位置関係、及び/又は相対的な姿勢の状態、及び/又は計測の可否状態を把握することができる。 As a result, the user can easily grasp the positional relationship between the target and the navigation object, and / or relative orientation of the state, and / or whether the state of the measurement.

【0111】(11) 上記ナビゲーション情報は、上記3次元位置姿勢計測手段が正常に計測可能な時には、 [0111] (11) The navigation information, when the three-dimensional position and orientation measurement means is normally possible measurement,
上記目標物及び/又は被ナビゲーション対象物の外形形状のモデル像、上記目標物の内部断層像情報のモデル像、上記目標物及び/又は被ナビゲーション対象物が存在する方向を示す記号的パターン、上記目標物への距離を表す数値、及び/又は記号的パターンの何れか一つ以上を含むもの、上記3次元位置姿勢計測手段が計測不能な時には、計測不能を示す文字情報及び/又は記号的パターンであることを特徴とする上記(10)に記載のナビゲーション装置。 Model image of the outer shape of the target and / or the navigation object, the model image of an internal tomographic image information of the target, symbolic pattern indicating a direction in which the target and / or the navigation object is present, the number representing the distance to the target, and / or those containing any one or more symbolic patterns, when the three-dimensional position and orientation measurement means is not measurable, the character information indicating the unmeasurable and / or symbolic pattern the navigation apparatus according to (10), characterized in that it.

【0112】この(11)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0112] Embodiment relating to the configuration of according to the (11), the first and second embodiments correspond. 即ち、上記外形形状のモデル像は、第1の実施の形態ではワイヤフレーム3次元モデルデータ10が該当するが、 That is, the model image of the outer shape, although in the first embodiment wireframe three-dimensional model data 10 corresponds,
外形形状を表現できるモデルデータであれば一般的な3 General 3 if model data can represent the outer shape
次元コンピュータグラフィックスで用いられるデータ構造も含む。 Including data structures used in the dimension computer graphics. また、第2の実施の形態では、内視鏡3の正射影像27を表現する線が該当するが、外形形状を表現できるものであれば一般的な3次元コンピュータグラフィックスで用いられる表現方法も含む。 In the second embodiment, the endoscope is a line representing the orthogonal projection image 27 of the mirror 3 are true representation methods used in general three-dimensional computer graphics as long as it can express the outer shape also it is included. 上記内部断層像情報のモデル像は、第1及び第2の実施の形態では、対象部位の3次元ボリュームデータ11が該当するが、2 Model image of the internal tomographic image information in the first and second embodiments, three-dimensional volume data 11 of the target region but is applicable, 2
次元ピクセルデータが複数存在する形態も含む。 Forms dimensional pixel data there are multiple including. 上記被ナビゲーション対象物が存在する方向を示す記号的パターンは、第1の実施の形態では矢印21が該当するが、 Symbolic pattern indicating a direction in which the object to be navigation object is present, in the first embodiment but the arrow 21 corresponds,
三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 Including those that can be three-dimensional geometric confirm graphic and image data visually, such as two-dimensional geometrical figure and cones such as triangular or round.
上記目標物への距離を表す数値は、第1の実施の形態では患部への距離を示す数字31が該当するが、任意の目標物への距離を示す数字を含む。 Value representing the distance to the target is the numbers 31 indicating the distance to the affected area in the first embodiment is applicable, comprises a number indicating the distance to any target. 上記目標物への距離を表す記号的パターンは、第1の実施の形態では患部への距離を示す棒30が該当するが、三角形や丸等の2次元幾何学図形や円柱等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 Symbolic pattern representing the distance to the target is bar 30 indicating the distance to the affected area in the first embodiment is applicable, two-dimensional geometric shapes or three-dimensional geometric cylindrical such as a triangle or circle including those university graphic and image data can be visually confirmed. 上記計測不能を示す文字情報は、第1の実施の形態では「計測不能状態」という文字情報28が該当するが、これは計測不能な状態を表現する任意の文字情報を含む。 Character information indicating the measurement impossible, in the first embodiment corresponds character information 28 of "unmeasurable state", which includes any character information representing the unmeasurable state. 上記計測不能を示す記号的パターンは、第1の実施の形態では黄色で太さ60 The symbolic pattern showing the measurement impossible, the thickness in the first embodiment Yellow 60
ピクセルの枠29が該当するが、計測不能を示すことを定義された任意の記号的パターンを含む。 Frame 29 of the pixel falls, but includes any symbolic pattern defined to indicate not measurable.

【0113】(12) 上記被ナビゲーション対象物が観察機能を有し、情報表示手段において観察機能を有する被ナビゲーション対象物より得られる観察像と上記情報算出手段より得られるナビゲーション情報を、上記情報算出手段にて重畳表示することを特徴とする上記(1 [0113] (12) above the navigation object has an observation function, the navigation information obtained from the observed image and the information obtaining means obtained from the navigation object having a viewing function in the information display means, calculating the information above, wherein the superimposing display by means (1
0)に記載のナビゲーション装置。 The navigation device according to 0).

【0114】この(12)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0114] Embodiment relating to the configuration of according to the (12), the first embodiment corresponds. 即ち、上記観察機能を有する被ナビゲーション対象物は、第1の実施の形態では内視鏡3が該当するが、顕微鏡なども含む。 In other words, the navigation object having the observation feature is the endoscope 3 in the first embodiment is applicable, including a microscope. また、上記情報表示手段は、第1の実施の形態では液晶モニタ13が該当するが、CRTディスプレイやヘッドマウントディスプレイなどの映像情報表示装置も含む。 Further, the information display means, in the first embodiment the monitor 13 corresponds also includes image information display device such as a CRT display or a head-mounted display.

【0115】この(12)に記載の構成によれば、上記(10)に記載の被ナビゲーション対象物が観察機能を有しており、この観察機能から得られる観察像と上記(10)に記載の情報算出手段より得られるナビゲーション情報を重畳する。 [0115] according to this, according to the configuration described in (12), the object navigation object according to (10) has an observation function, the observation image and the obtained from the observation function (10) superimposing navigation information obtained from the information obtaining means. 情報表示手段上で、実際の映像情報とナビゲーション情報を同一の空間上の情報として得られることにより、使用者は、まだ見えぬ実体の位置や形状や状態をナビゲーション情報から容易に把握することができる。 On the information display means, by obtained by actual video information and navigation information as information on the same space, the user can easily grasp the position and shape and state of still visible unexpected entity from the navigation information it can.

【0116】(13) 上記目標物と上記被ナビゲーション対象物の相対的な距離及び/又は方向に応じて、ナビゲーション情報の色を変化させることを特徴とする上記(10)乃至(12)の何れかに記載のナビゲーション装置。 [0116] (13) depending on the relative distance and / or direction of the target and the object navigation object, any of the above (10) to (12), characterized in that to change the color of the navigation information navigation device of crab described.

【0117】この(13)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0117] Embodiment relating to the configuration of according to the (13), the first and second embodiments correspond. 即ち、上記ナビゲーション情報の色は、第1の実施の形態ではモニタ上に描画される対象部位のワイヤフレーム像18、及び内部断層像19が該当するが、第1の実施の形態での矢印21も含む。 That is, the color of the navigation information, the first in the embodiments of sites to be drawn on the monitor wire frame image 18, and an internal tomographic image 19 corresponds, arrows in the first embodiment 21 also it is included. また、第2の実施の形態では、モニタ上に描画される対象部位の三切断面像26や内視鏡3の正射影像27が該当する。 In the second embodiment, the orthogonal projection image 27 of the three cutting surface image 26 and the endoscope 3 of sites to be drawn on the monitor corresponds.

【0118】この(13)に記載の構成によれば、上記3次元位置姿勢計測手段により計測された上記目標物と上記被ナビゲーション対象物の相対的な距離に応じてナビゲーション情報の色が変化することにより、使用者は、相対的な距離が近付き過ぎたことなどを視覚的に容易に把握することができる。 [0118] According to the configuration described in the (13), the color of the navigation information is changed in accordance with the relative distance of the target and the object navigation object measured by the three-dimensional position and orientation measurement unit by, the user, and that the relative distance is too close it can be visually easily grasped. また、相対的な方向に応じてナビゲーション情報の色を変化させることにより、使用者は、相対的な方向がずれていることなどを視覚的に容易に把握することができる。 Further, by changing the color of the navigation information according to the relative direction, the user can visually and easily grasp such that the relative orientation is shifted. あるいは、相対的な距離と方向を同時に評価して色を変化させることで、使用者は、相対的な距離と方向の状態を視覚的に容易に把握することができる。 Alternatively, by changing the color evaluating relative distance and direction at the same time, the user can visually easily grasp a relative distance and direction of the state.

【0119】(14) 上記目標物と上記被ナビゲーション対象物の相対的な距離及び/又は方向に応じて、ナビゲーション情報の線の太さを変化させることを特徴とする上記(10)乃至(12)の何れかに記載のナビゲーション装置。 [0119] (14) depending on the relative distance and / or direction of the target and the object navigation object (10) to which said varying the thickness of the line of the navigation information (12 the navigation device according to any one of).

【0120】この(14)に記載の構成に関する実施の形態は、上記第1及び第2の実施の形態が対応する。 [0120] Embodiment relating to the configuration of according to the (14), the first and second embodiments correspond. 即ち、上記ナビゲーション情報の線の太さは、第1の実施の形態ではモニタ上に描画される対象部位のワイヤフレーム像18が該当するが、第1の実施の形態での矢印2 That is, the thickness of the line of the navigation information, the first in the embodiments of sites to be drawn on the monitor wireframe image 18 corresponds, arrows in the first embodiment 2
1も含む。 1 also includes. 第2の実施の形態では、モニタ上に描画される内視鏡3の正射影像27が該当する。 In the second embodiment, the orthogonal projection image 27 of the endoscope 3 to be drawn on the monitor corresponds.

【0121】この(14)に記載の構成によれば、上記3次元位置姿勢計測手段により計測された上記目標物と上記被ナビゲーション対象物の相対的な距離に応じてナビゲーション情報の線の太さが変化することにより、使用者は、相対的な距離が近付き過ぎたことなどを視覚的に容易に把握することができる。 [0121] According to the configuration described in the (14), the thickness of the line of navigation information in accordance with the relative distance of the target and the object navigation object measured by the three-dimensional position and orientation measurement unit by but varying, the user can visually and easily grasp such that relative distance is too close. また、相対的な方向に応じてナビゲーション情報の線の太さを変化させることにより、使用者は、相対的な方向がずれていることなどを視覚的に容易に把握することができる。 Further, by changing the thickness of the line of navigation information in accordance with the relative orientation, the user can visually and easily grasp such that the relative orientation is shifted. あるいは、相対的な距離と方向を同時に評価して線の太さを変化させることで、使用者は、相対的な距離と方向の状態を視覚的に容易に把握することができる。 Alternatively, by changing the thickness of the relative distance and direction simultaneously evaluate and lines, the user can visually easily grasp a relative distance and direction of the state.

【0122】(15) 上記目標物と上記被ナビゲーション対象物の相対的な距離に応じて、目標物のモデル像が外形形状と内部断層像情報とに切り替わることを特徴とする上記(10)乃至(12)の何れかに記載のナビゲーション装置。 [0122] (15) in accordance with the relative distance of the target and the object navigation object (10) to the model image of the target object, characterized in that the switching to the external shape and internal tomographic image information the navigation device according to any one of (12).

【0123】この(15)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0123] Embodiment relating to the configuration of according to the (15), the first embodiment corresponds. 即ち、上記外形形状のモデル像は、第1の実施の形態ではワイヤフレーム像18が該当するが、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法や視線方向に対する輪郭線、等距離線も含む。 That is, the model image of the outer shape is a wire frame image 18 in the first embodiment is applicable, contours for various representation and viewing direction for use in three-dimensional computer graphics such as a polygon, equidistant line also includes. また、上記内部断層像情報は、第1の実施の形態では内部断層像1 Further, the internal tomographic image information, internal tomogram 1 in the first embodiment
9が該当する。 9 is applicable.

【0124】この(15)に記載の構成によれば、上記3次元位置姿勢計測手段により計測された上記目標物と上記被ナビゲーション対象物の相対的な距離に応じて外形形状のモデル像と内部断層像情報が切り替わることにより、使用者は、被ナビゲーション対象物が目標物の近くに位置していることを容易に把握することができる。 [0124] According to the configuration described in the (15), the model image and the interior of the outer shape depending on the relative distance of the target and the object navigation object measured by the three-dimensional position and orientation measurement unit by tomogram information is switched, the user can easily recognize that the navigation object is located near the target.
また、設定された距離の内部と外部という異なる状態に応じた情報を容易に得ることができる。 Further, it is possible to easily obtain the information corresponding to the different states of internal and external distance set.

【0125】(16) 上記目標物と上記被ナビゲーション対象物の相対的な距離に応じて、表示されるモデル像描画の粗密を変化させることを特徴とする上記(1 [0125] (16) in accordance with the relative distance of the target and the object navigation object, characterized in that changing the density of the model image drawing displayed above (1
0)乃至(12)の何れかに記載のナビゲーション装置。 0) to the navigation device according to any one of (12).

【0126】この(16)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0126] The embodiments relating to the configuration according to the (16), the first embodiment corresponds. 即ち、上記モデル像は、第1の実施の形態ではワイヤフレーム像1 That is, the model image, in the first embodiment the wire frame image 1
8が該当するが、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法や視線方向に対する輪郭線、等距離線も含む。 8 corresponds, but the contour line to various representations or the line-of-sight direction used in three-dimensional computer graphics such as a polygon, including equidistant lines.

【0127】この(16)に記載の構成によれば、モデル像の描画の疎密が、目標物と被ナビゲーション対象物の相対的な距離に応じて、例えば遠くにある時には粗く、近くにある時には細かく変化することにより、モデル像描画の負荷と表示する情報量とのバランスをとることができる。 [0127] According to the configuration described in the (16), density of the drawing of the model image, depending on the relative distance of the target and the navigation object, for example rough when a distant, when near the by finely changing, it is possible to balance the amount of information to be displayed as a load model image rendering. このことにより、使用者は、適当な描画速度で適当な情報量を距離に応じて得ることができる。 Thus, the user can in an appropriate drawing speed may in accordance with appropriate amount of information on the distance.

【0128】(17) 上記目標物と上記被ナビゲーション対象物の相対的な距離と方向に応じて、目標物及び/又は被ナビゲーション対象物のモデル像と、目標物及び/又は被ナビゲーション対象物が存在する方向の記号的パターンとを切り換えることを特徴とする上記(1 [0128] (17) depending on the relative distance and direction of the target and the object navigation object, and the model image of the target object and / or the navigation object, the target object and / or the navigation object above, wherein the switching between the direction of the symbolic patterns present (1
0)乃至(12)の何れかに記載のナビゲーション装置。 0) to the navigation device according to any one of (12).

【0129】この(17)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0129] Embodiment relating to the configuration of according to the (17), the first embodiment corresponds. 即ち、上記モデル像は、第1の実施の形態ではワイヤフレーム像1 That is, the model image, in the first embodiment the wire frame image 1
8が該当するが、ポリゴンなどの3次元コンピュータグラフィックスで用いられる様々な表現方法や視線方向に対する輪郭線、等距離線や内部断層像情報も含む。 8 corresponds, but includes contour, equidistant lines and internal tomographic image information to various representations or the line-of-sight direction used in three-dimensional computer graphics such as a polygon. また、上記記号的パターンは、第1の実施の形態では矢印21が該当するが、三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 Furthermore, the symbolic pattern, in the first embodiment but the arrow 21 is applicable, it the three-dimensional geometric confirm graphic and image data visually, such as two-dimensional geometrical figure and cones such as a triangle or circle including things.

【0130】この(17)に記載の構成によれば、目標物と被ナビゲーション対象物との相対的な距離と方向から、上記情報表示手段の表示領域に対する位置関係を上記情報算出手段にて算出し、例えば表示領域にモデル像が描画されない場合は記号的パターンヘ切り替えることで、使用者は、目標物や被ナビゲーション対象物の位置や方向を見失うことなく把握することができる。 [0130] calculated according to the configuration described in the (17), the relative distance and direction between the target and the navigation object, the positional relationship display area of ​​the information display means by said information obtaining means and, for example, if the model image in the display area is not drawn by switching symbolic Patanhe, the user can grasp without losing the position and direction of the target and the navigation object.

【0131】(18) 上記目標物と上記被ナビゲーション対象物の相対的な距離に応じて、目標物が存在する方向を示す記号的パターンの大きさを変化させることを特徴とする上記(10)乃至(12)の何れかに記載のナビゲーション装置。 [0131] (18) in accordance with the relative distance of the target and the object navigation object, characterized in that changing the size of the symbol pattern to indicate the direction in which the target object is present (10) or navigation device according to any one of (12).

【0132】この(18)に記載の構成に関する実施の形態は、上記第1の実施の形態が対応する。 [0132] Embodiment relating to the configuration of according to the (18), the first embodiment corresponds. 即ち、上記記号的パターンは、第1の実施の形態では矢印21が該当するが、三角形や丸等の2次元幾何学図形や円錐等の3次元幾何学図形や画像データ等視覚的に確認できるものを含む。 That is, the symbolic pattern, in the first embodiment but the arrow 21 is applicable, it the three-dimensional geometric confirm graphic and image data visually, such as two-dimensional geometrical figure and cones such as a triangle or circle including things.

【0133】この(18)に記載の構成によれば、パターンの大きさで上記目標物と上記被ナビゲーション対象物の相対的な距離を表現することにより、使用者は、方向だけでなく距離も視覚的に容易に把握することができる。 [0133] According to the configuration described in the (18), by representing the relative distance of the target and the object navigation object with the size of the pattern, the user, even if the distance as well as direction it is possible to visually and easily grasp.

【0134】 [0134]

【発明の効果】以上詳述したように、本発明によれば、 As described above in detail, according to the present invention,
表示するナビゲーション情報を、目標物と被ナビゲーション対象物との相対的な3次元的位置姿勢に応じて変化させることにより、目標物と被ナビゲーション対象物との距離を視覚的に把握しやすくすること、及び必要な種類のナビゲーション情報を使用者が容易に入手できるナビゲーション装置を提供することができる。 Navigation information to be displayed, by changing depending on the relative three-dimensional position and orientation of the target and the navigation object to the distance between the target and the navigation object easily visually grasp , and the required types of navigation information so that the user can easily provide a navigation device which is available.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施の形態に係るナビゲーション装置の構成を示す図である。 1 is a diagram showing a configuration of a navigation system according to a first embodiment of the present invention.

【図2】距離マップを説明するための図である。 FIG. 2 is a diagram for explaining a distance map.

【図3】距離マップを説明するための図である。 FIG. 3 is a diagram for explaining a distance map.

【図4】被検体のデータと被検体自身の関係を示す図である。 4 is a diagram showing the relationship of the object data and the object itself.

【図5】被検体のデータと被検体自身を関連付ける座標変換行列を説明するための図である。 5 is a diagram for explaining a coordinate transformation matrix that associates data and the object itself of the subject.

【図6】内視鏡に取り付けられたセンシングプレートで規定される座標系から内視鏡の光学系を表現するカメラモデルで使用される座標系への座標変換行列と、カメラモデル座標系から実際の液晶モニタ上の座標系への座標変換行列とを説明するための図である。 A coordinate transformation matrix for the coordinate system used in a camera model representing the optical system of the endoscope from the coordinate system defined by the sensing plate attached to 6 endoscope, actually from the camera model coordinate system it is a diagram for explaining the coordinate transformation matrix to the coordinate system on the liquid crystal monitor.

【図7】被検体の頭部に取り付けられたセンシングプレートから内視鏡に取り付けられたセンシングプレートへの座標変換行列を説明するための図である。 7 is a diagram for explaining the coordinate transformation matrix to the attached sensing plate to the endoscope from the sensing plate attached to the head of the subject.

【図8】対象部位のデータの液晶モニタ上での位置データヘの複数の座標変換行列を用いた変換を説明するための図である。 8 is a diagram for explaining a conversion using a plurality of coordinate transformation matrix position Detahe on the LCD monitor of the data of the target site.

【図9】(A)乃至(D)はそれぞれ液晶モニタの表示例を示す図で、特に、(A)は内視鏡の光学系からの映像とナビゲーション情報としてのワイヤフレーム像とを重畳した表示、(B)は内視鏡の光学系からの映像とナビゲーション情報としての3次元ボリュームデータの内部断層像とを重畳した表示、(C)は内視鏡の撮影範囲内に対象部位が存在しない場合の表示、(D)は計測不能時の表示、をそれぞれ示している。 9 (A) through (D) are views each showing a display example of a liquid crystal monitor, in particular, (A) is obtained by superimposing a wireframe image of the video and the navigation information from the optical system of the endoscope display, (B) is displayed superimposed and an internal tomographic image of the three-dimensional volume data as a video and navigation information from the optical system of the endoscope, (C) is present target region in the photographed range of the endoscope display when not show (D) is displayed at the time of unmeasurable, respectively.

【図10】図9の(C)のような表示を行うための動作フローチャートである。 It is an operation flowchart for displaying such as (C) in FIG. 10 FIG.

【図11】本発明の第2の実施の形態に係るナビゲーション装置の構成を示す図である。 11 is a diagram showing a configuration of a navigation system according to a second embodiment of the present invention.

【図12】第2の実施の形態における表示例と、そのような表示を行うために用いられる座標変換行列とを示す図である。 [12] a display example of the second embodiment, a diagram illustrating a coordinate transformation matrix used for performing such a display.

【図13】内視鏡の正射影像の線の太さを、対象部位と内視鏡の先端との相対的な距離に応じて変化させることを説明するための図である。 The line thickness of the orthogonal projection image of 13 endoscope is a diagram for explaining a varying depending on the relative distance between the tip of sites and the endoscope.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 被検体 2,4 センシングプレート 3 内視鏡 5 センサ情報記憶部 6 センサ制御部 7 センサアセンブリ 8 ナビゲーション情報制御部 9 ナビゲーション情報記憶部 10,10a,10b,10c ワイヤーフレーム3次元モデルデータ 11,11a,11b,11c 3次元ボリュームデータ 12 距離マップ 13 液晶モニタ 14,15,16,17 座標変換行列 18,20 ワイヤフレーム像 19 内部断層像 21 矢印 22 内視鏡映像の中心 23 対象部位の代表点のモデルデータ座標系での座標値 24 ベクトル 25 内視鏡の先端位置と後端位置の座標値 26 三切断面像 27 内視鏡の正射影像 28 文字情報 29 黄色で太さ60ピクセルの枠 30 患部への距離を示す棒 31 患部への距離を示す数字 1 subject 2,4 sensing plate 3 endoscope 5 sensor information storage section 6 sensor control unit 7 sensor assembly 8 navigation information control unit 9 the navigation information storage unit 10, 10a, 10b, 10c wireframe three-dimensional model data 11,11a , 11b, of 11c 3-dimensional volume data 12 distance map 13 LCD monitor 14, 15, 16, 17 coordinate transformation matrix 18, 20 representative points of the center 23 target site wireframe image 19 internal tomographic image 21 arrow 22 endoscopic image model data coordinate coordinates 24 the framework of the vector 25 endoscope tip position and thickness 60 pixels orthogonal projection image 28 character information 29 yellow coordinates 26 three cutting surface image 27 endoscope of the rear end position 30 in system the numbers indicate the distance to the rod 31 affected area that shows the distance to the affected area

───────────────────────────────────────────────────── フロントページの続き (72)発明者 斉藤 明人 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 松崎 弘 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 小坂 明生 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 浅野 武夫 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 Fターム(参考) 5E501 AA24 AA25 AC15 BA03 CA03 CB14 FA14 FA27 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Akihito Saito Tokyo, Shibuya-ku, Hatagaya 2-chome No. 43 No. 2 Olympus optical industry Co., Ltd. in the (72) inventor Hiroshi Matsuzaki Shibuya-ku, Tokyo Hatagaya 2-chome 43 No. 2 No. Olympus optical industry Co., Ltd. in the (72) inventor Akio Kosaka Tokyo, Shibuya-ku, Hatagaya 2-chome No. 43 No. 2 Olympus optical industry Co., Ltd. in the (72) inventor Takeo Asano Shibuya-ku, Tokyo Hatagaya 2-chome 43 No. 2 No. Olympus optical industry Co., Ltd. in the F-term (reference) 5E501 AA24 AA25 AC15 BA03 CA03 CB14 FA14 FA27

Claims (3)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 対象物と目標の3次元空間における位置姿勢を計測して、上記対象物を目標にナビゲートするためのナビゲーション情報を生成するナビゲーション装置において、 上記ナビゲーション情報を、上記対象物と上記目標の位置姿勢関係に応じて異なる態様で表示する表示手段をさらに具備することを特徴とするナビゲーション装置。 1. A by measuring the position and orientation in 3-dimensional space of the object and the target, in a navigation device for generating navigation information for navigating the goal above object, the navigation information, and the object navigation apparatus characterized by further comprising display means for displaying in a different manner depending on the position and orientation relationship of the target.
  2. 【請求項2】 対象物と目標の3次元空間における位置姿勢を計測して、上記対象物を目標にナビゲートするためのナビゲーション情報を生成するナビゲーション装置において、 上記3次元空間における位置姿勢が計測可能な場合には、上記対象物又は上記目標のモデル画像、ナビゲーション方向情報、上記対象物と上記目標間の距離情報の少なくとも一つを表示し、計測不可能な場合には、計測不能であることを表す情報を表示する表示手段をさらに具備することを特徴とするナビゲーション装置。 2. A measuring the position and orientation in 3-dimensional space of the object and the target, in a navigation device for generating navigation information for navigating the goal above object, the position and orientation in the three-dimensional space measured when possible, the object or the target of the model image, the navigation direction information, and displaying at least one of the distance information between the object and the target, if not possible measurement is not measurable navigation apparatus characterized by further comprising display means for displaying information indicating that.
  3. 【請求項3】 上記対象物は撮像手段を具備し、上記撮像手段で撮像した画像を他の情報に重畳して上記表示手段に表示可能であることを特徴とする請求項1又は2に記載のナビゲーション装置。 Wherein said object imaging means, according to claim 1 or 2, characterized in that by superimposing the images captured on other information can be displayed on the display means by the image pickup means navigation device.
JP8940599A 1999-03-30 1999-03-30 Navigation device Withdrawn JP2000279425A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8940599A JP2000279425A (en) 1999-03-30 1999-03-30 Navigation device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8940599A JP2000279425A (en) 1999-03-30 1999-03-30 Navigation device
US09/533,651 US6466815B1 (en) 1999-03-30 2000-03-22 Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US09/875,628 US6456868B2 (en) 1999-03-30 2001-06-06 Navigation apparatus and surgical operation image acquisition/display apparatus using the same

Publications (1)

Publication Number Publication Date
JP2000279425A true JP2000279425A (en) 2000-10-10

Family

ID=13969746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8940599A Withdrawn JP2000279425A (en) 1999-03-30 1999-03-30 Navigation device

Country Status (1)

Country Link
JP (1) JP2000279425A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004500187A (en) * 2000-01-27 2004-01-08 ストライカー インストルメンツ Surgical system
JP2005111081A (en) * 2003-10-09 2005-04-28 Olympus Corp Endoscopic image display processor
JP2007503893A (en) * 2003-09-01 2007-03-01 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft Visually assisted methods and apparatus for electrophysiological catheter therapy in heart
JP2007503894A (en) * 2003-09-01 2007-03-01 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft Visually assisted methods and apparatus for electrophysiological catheter therapy in heart
JP2007534351A (en) * 2003-07-16 2007-11-29 ゼット−カット, インコーポレイテッド Guidance system and induction methods for surgical procedures with improved feedback
JP2008149044A (en) * 2006-12-20 2008-07-03 Matsushita Electric Ind Co Ltd Ultrasonic diagnostic system
JP2009018184A (en) * 2001-02-13 2009-01-29 Mediguide Ltd Medical imaging and navigation system
US7697973B2 (en) 1999-05-18 2010-04-13 MediGuide, Ltd. Medical imaging and navigation system
JP2011507584A (en) * 2007-12-20 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3D reconstruction of a body and of a body contour
JP2011237987A (en) * 2010-05-10 2011-11-24 Olympus Corp Operation input device and manipulator system
JP2012080948A (en) * 2010-10-07 2012-04-26 Hitachi Medical Corp Surgery support system and surgery support method
US8287522B2 (en) 2006-05-19 2012-10-16 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US8391954B2 (en) 2002-03-06 2013-03-05 Mako Surgical Corp. System and method for interactive haptic positioning of a medical device
JP2014522249A (en) * 2011-04-07 2014-09-04 3シェイプ アー/エス 3d system and method for inducing an object
US8911499B2 (en) 2002-03-06 2014-12-16 Mako Surgical Corp. Haptic guidance method
US9572519B2 (en) 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
EP3136204A2 (en) 2015-08-27 2017-03-01 Fujitsu Limited Image processing device and image processing method
US9801686B2 (en) 2003-03-06 2017-10-31 Mako Surgical Corp. Neural monitor-based dynamic haptics

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9956049B2 (en) 1999-05-18 2018-05-01 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
US9572519B2 (en) 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
US7697973B2 (en) 1999-05-18 2010-04-13 MediGuide, Ltd. Medical imaging and navigation system
US10251712B2 (en) 1999-05-18 2019-04-09 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
JP2004500187A (en) * 2000-01-27 2004-01-08 ストライカー インストルメンツ Surgical system
JP2009018184A (en) * 2001-02-13 2009-01-29 Mediguide Ltd Medical imaging and navigation system
US8391954B2 (en) 2002-03-06 2013-03-05 Mako Surgical Corp. System and method for interactive haptic positioning of a medical device
US9002426B2 (en) 2002-03-06 2015-04-07 Mako Surgical Corp. Haptic guidance system and method
US8911499B2 (en) 2002-03-06 2014-12-16 Mako Surgical Corp. Haptic guidance method
US10231790B2 (en) 2002-03-06 2019-03-19 Mako Surgical Corp. Haptic guidance system and method
US10058392B2 (en) 2002-03-06 2018-08-28 Mako Surgical Corp. Neural monitor-based dynamic boundaries
US9636185B2 (en) 2002-03-06 2017-05-02 Mako Surgical Corp. System and method for performing surgical procedure using drill guide and robotic device operable in multiple modes
US9775681B2 (en) 2002-03-06 2017-10-03 Mako Surgical Corp. Haptic guidance system and method
US9775682B2 (en) 2002-03-06 2017-10-03 Mako Surgical Corp. Teleoperation system with visual indicator and method of use during surgical procedures
US9801686B2 (en) 2003-03-06 2017-10-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
JP2007534351A (en) * 2003-07-16 2007-11-29 ゼット−カット, インコーポレイテッド Guidance system and induction methods for surgical procedures with improved feedback
JP2007503893A (en) * 2003-09-01 2007-03-01 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft Visually assisted methods and apparatus for electrophysiological catheter therapy in heart
US9078567B2 (en) 2003-09-01 2015-07-14 Siemens Aktiengesellschaft Method and device for visually supporting an electrophysiology catheter application in the heart
JP2007503894A (en) * 2003-09-01 2007-03-01 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft Visually assisted methods and apparatus for electrophysiological catheter therapy in heart
JP4615842B2 (en) * 2003-10-09 2011-01-19 オリンパス株式会社 The endoscope system and an endoscopic image processing apparatus
JP2005111081A (en) * 2003-10-09 2005-04-28 Olympus Corp Endoscopic image display processor
US9492237B2 (en) 2006-05-19 2016-11-15 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US10028789B2 (en) 2006-05-19 2018-07-24 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US9724165B2 (en) 2006-05-19 2017-08-08 Mako Surgical Corp. System and method for verifying calibration of a surgical device
US8287522B2 (en) 2006-05-19 2012-10-16 Mako Surgical Corp. Method and apparatus for controlling a haptic device
US10350012B2 (en) 2006-05-19 2019-07-16 MAKO Surgiccal Corp. Method and apparatus for controlling a haptic device
JP2008149044A (en) * 2006-12-20 2008-07-03 Matsushita Electric Ind Co Ltd Ultrasonic diagnostic system
JP2011507584A (en) * 2007-12-20 2011-03-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3D reconstruction of a body and of a body contour
US9361818B2 (en) 2010-05-10 2016-06-07 Olympus Corporation Operation input device and manipulator system
JP2011237987A (en) * 2010-05-10 2011-11-24 Olympus Corp Operation input device and manipulator system
JP2012080948A (en) * 2010-10-07 2012-04-26 Hitachi Medical Corp Surgery support system and surgery support method
US9763746B2 (en) 2011-04-07 2017-09-19 3Shape A/S 3D system and method for guiding objects
JP2014522249A (en) * 2011-04-07 2014-09-04 3シェイプ アー/エス 3d system and method for inducing an object
US10299865B2 (en) 2011-04-07 2019-05-28 3Shape A/S 3D system and method for guiding objects
US10235118B2 (en) 2015-08-27 2019-03-19 Fujitsu Limited Augmented reality device and method for providing assistance to a worker at a remote site
EP3136204A2 (en) 2015-08-27 2017-03-01 Fujitsu Limited Image processing device and image processing method

Similar Documents

Publication Publication Date Title
EP1525850B1 (en) Ultrasound diagnosis apparatus
US10136951B2 (en) Systems, methods, apparatuses, and computer-readable media for image guided surgery
US5898793A (en) System and method for surface rendering of internal structures within the interior of a solid object
US5005559A (en) Video-graphic arthroscopy system
JP5078609B2 (en) Image display apparatus and program
US5608849A (en) Method of visual guidance for positioning images or data in three-dimensional space
EP2460474B1 (en) Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
US9659345B2 (en) System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US6702736B2 (en) Anatomical visualization system
US20060058633A1 (en) Interventional MR imaging with detection and display of device position
US20040116775A1 (en) Apparatus and method using it for detecting and displaying form of insertion part of endoscope inserted into body cavity
JP5208495B2 (en) Medical system
US6844884B2 (en) Multi-plane graphic prescription interface and method
JP4674948B2 (en) Method of operating a surgical navigation apparatus and a surgical navigation system
US8116848B2 (en) Method and apparatus for volumetric image navigation
US20070161854A1 (en) System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
JP4262014B2 (en) Image capturing device and image processing method
Fuchs et al. Augmented reality visualization for laparoscopic surgery
JP4262011B2 (en) Image presentation method and apparatus
US6484048B1 (en) Real-time interactive three-dimensional locating and displaying system
US8248414B2 (en) Multi-dimensional navigation of endoscopic video
EP1523940A1 (en) Ultrasound diagnosis apparatus
JP5250234B2 (en) Ultrasound system to display a combined image of the ultrasound image and the external medical image
US7824328B2 (en) Method and apparatus for tracking a surgical instrument during surgery
EP1504721B1 (en) Ultrasonograph

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060606