JP2016533832A - 手術ナビゲーションシステム運用方法及び手術ナビゲーションシステム - Google Patents
手術ナビゲーションシステム運用方法及び手術ナビゲーションシステム Download PDFInfo
- Publication number
- JP2016533832A JP2016533832A JP2016538846A JP2016538846A JP2016533832A JP 2016533832 A JP2016533832 A JP 2016533832A JP 2016538846 A JP2016538846 A JP 2016538846A JP 2016538846 A JP2016538846 A JP 2016538846A JP 2016533832 A JP2016533832 A JP 2016533832A
- Authority
- JP
- Japan
- Prior art keywords
- organ
- image
- navigation system
- model
- surgical navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011017 operating method Methods 0.000 title claims abstract description 11
- 210000000056 organ Anatomy 0.000 claims abstract description 123
- 230000003190 augmentative effect Effects 0.000 claims abstract description 29
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 238000007493 shaping process Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 22
- 238000013459 approach Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 2
- 239000003814 drug Substances 0.000 claims description 2
- 210000004556 brain Anatomy 0.000 description 13
- 210000002216 heart Anatomy 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008816 organ damage Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
増強現実を通じて形状化される2次元臓器イメージを3次元レンダリングして仮像の臓器模型に変換することで、使用者が仮像現実で仮像の臓器模型間の深さ程度及び仮像の臓器模型と手術道具と間の深さ関係をより容易に認知できるようにする手術ナビゲーションシステム運用方法を提供する。本発明による手術ナビゲーションシステム運用方法は、カメラによって撮像される人体画像からオブジェクトを識別する段階と、増強現実を用いて、前記オブジェクトに対する2次元の臓器イメージを形状化する段階と、前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成する段階と、を含む。
Description
本発明は増強現実を通じて形状化される2次元臓器イメージを3次元レンダリングして仮像の臓器模型に変換することで、使用者が仮像現実で仮像の臓器模型間の深さ程度及び仮像の臓器模型と手術道具と間の深さ関係をより容易に認知できるようにする手術ナビゲーション運用方法及び手術ナビゲーションシステムに関する。
増強現実を用いた手術ナビゲーションシステムはカメラを通じて撮影する実際の患者の画像に、皮膚や臓器内部のように実際に撮影できない解剖学的構造を仮像の物体を用いて表示するシステムであって、これを用いて手術の際臓器の損傷を防止し、不必要な部位に対する切開を防ぐことができる。
一方、増強現実を用いた手術ナビゲーションシステムを使用して手術の際使用者(医者)は深さの程度を認識するに難しさを感じることがあり得る。使用者が手術ナビゲーションシステムで具現された手術道具と患者の臓器と間の深さ程度を正確に認識できない場合、所望しない部位を損傷させる恐れがある。増強現実では3次元空間上の仮像物体が2次元画面上に投影されるので、実際患者の位置と複数の仮像物体との深さ関係を把握することが難しく、特に、仮像物体が半透明である場合には仮像物体間の深さ関係を把握するにも難しさが伴うのである。
このような深さ認識問題を解決するために、多様な視覚化方法が開発されている。代表的な仮像物体間の明暗を調節して深さの程度を付与する方法が広く使用されている。しかし、物体が半透明である場合には明暗が正確に現れなかったりするので、対象の範囲が広いと深さの程度を付与することがより難しくなるという問題点がある。
また、頭部付着型ディスプレー(HMD)とステレオビジョンとを結合した視覚化方法も頻繁に使用されているが、頭部付着型ディスプレイを長時間着用する場合使用者に疲労を誘発することがある。
それによって、使用者に負担を与えなくて深さの程度を容易に感じるようにすることのできる手術ナビゲーションシステムの開発が染染に要求されている。
本発明の目的は増強現実を通じて形状化される2次元臓器イメージに対して選択信号が入力されることによって、選択信号が入力された前記臓器イメージ内地点を基準として3次元レンダリングして仮像の臓器模型に変換することで、使用者が仮像現実で直接仮像カメラの視点を移動させ、仮像の臓器模型間の深さ程度を容易に把握できるようにする手術ナビゲーションシステム運用方法及びシステムを提供することにある。
また、本発明は仮像の臓器模型と手術道具との位置関係(方向及び距離)を実時間で画面に表示することで、使用者が仮像現実で仮像の臓器模型と手術道具と間の深さ関係をより正確に認知できるようにする手術ナビゲーションシステム運用方法及びシステムを提供することをその目的とする。
前記目的を達成するための手術ナビゲーションシステム運用方法は、カメラによって撮像される人体画像からオブジェクトを識別する段階と、増強現実を用いて、前記オブジェクトに対する2次元の臓器イメージを形状化する段階及び前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成する段階を含む。
また、前記の目的を達成するための技術的装置として、手術ナビゲーションシステムは、カメラによって撮像される人体画像からオブジェクトを識別するオブジェクト識別部と、増強現実を用いて、前記オブジェクトに対する2次元臓器イメージを形状化するイメージ形状化部及び前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成する臓器模型作成部を含んで構成する。
本発明によると、増強現実を通じて形状化される2次元臓器イメージに対して選択信号が入力されることによって、選択信号が入力された前記臓器イメージ内の地点を基準として3次元レンダリングして仮像の臓器模型に変換することで、使用者が仮像現実で直接仮像カメラの視点を移動させ、仮像の臓器模型間の深さ程度を容易に把握できるようにする手術ナビゲーションシステム運用方法及びシステムを提供することができる。
また、本発明によると、仮像の臓器模型と手術道具との位置関係(方向及び距離)を実時間で画面に表示することで、使用者が仮像現実で仮像の臓器模型と手術道具との深さ関係をより正確に認知できるようになる。
以下、本発明による実施形態を添付された図面を参照して詳細に説明する。しかし、本発明を特定の開示形態に限定するものではない。各図面に提示された同一の参照符号は同一部材を示す。
図1は本発明の一実施形態による手術ナビゲーションシステムの具体的な構成を示す図面である。
本発明の手術ナビゲーションシステム100はオブジェクト識別部110、イメージ形状化部120及び臓器模型作成部130を含んで構成される。また、実施形態によって手術ナビゲーションシステム100は方向/距離表示部140を追加して構成してもよい。
オブジェクト識別部110はカメラによって撮像される人体画像からオブジェクトを識別する。
ここで、前記オブジェクトは、前記人体画像で例えば、脳、心臓、胃、などのような患者の臓器が位置する領域、または位置すると推定させる領域を指称することができる。また、本発明の手術ナビゲーションシステム100は例えば、脳、心臓、胃などの各臓器の一般的な形態を正規モデルとして保持することができる。
一例として、オブジェクト識別部110は前記人体画像を、臓器に関する正規モデルで投影して、前記正規モデルと選定された範囲以内で重畳される前記人体画像内オブジェクトを識別することができる。例えば、オブジェクト識別部110は前記人体画像を、保持される臓器‘脳’に関する正規モデル、臓器‘心臓’に関する正規モデル、臓器‘胃’に関する正規モデルなどでそれぞれ投影して、70%以上の範囲以内である前記人体画像内オブジェクトをそれぞれ識別することができる。
イメージ形状化部120は増強現実を用いて、前記オブジェクトに対する2次元の臓器イメージを形状化する。
本発明の手術ナビゲーションシステム100はカメラによって前記人体画像が撮像された患者に関するDICOM(Digital Imaging and Communications in Medicine)イメージを保持することができる。ここで、前記DICOMイメージはCT、MRI、X-rayなどの医療装備を用いて多様な方向(例えば、正面、側面、断面など)で患者を撮影して獲得されたイメージを統称することができる。
一例として、イメージ形状化部120は前記オブジェクトの識別と連関される前記正規モデルDICOMイメージを平面形態に2次元レンダリングして、前記臓器イメージを形状化することができる。例えば、前記人体画像で臓器‘脳’に該当するオブジェクトが識別される場合、イメージ形状化部120は患者の臓器‘脳’を複数の方向から撮影した複数のDICOMイメージをそれぞれ2次元レンダリングして、前記人体画像で前記識別したオブジェクトの領域に臓器‘脳’に関する2次元臓器イメージを視覚化することができる。
臓器模型作成部130は前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成する。
一例として、臓器模型作成部130は前記臓器イメージに対してタッチ信号及びクリック信号を含む選択信号の入力を受け、前記選択信号が入力された前記臓器イメージ内地点に対して、前記3次元レンダリングすることができる。
即ち、臓器模型作成部130は前記臓器イメージに対して選択信号が入力されることによって、画面の動きなしに(即ち、前記カメラに対応する仮像カメラの位置及び焦点を保持したまま)2次元の増強現実から3次元の仮像現実に画面を滑らかに転換することができる。
この際、臓器模型作成部130は前記平面形態の臓器イメージの間で発生する平面の遠近感を用いて、前記臓器模型に対する深さの程度を表現することができる。また、臓器模型作成部130は前記臓器模型に対する、タッチ信号及びクリック信号を含む選択信号の入力に連動して、前記臓器模型に対して、回転、拡大、及び縮小のうち少なくとも一つの制御を遂行することで、3次元の仮像現実に転換された画面で前記臓器模型間の位置関係及び深さの程度が容易に表現されるようにすることができる。
このように、本発明によると、増強現実を通じて形状化される2次元臓器イメージに対して選択信号が入力されることによって、選択信号が入力された前記臓器イメージ内地点を基準で3次元レンダリングして仮像の臓器模型に変換することで、使用者が仮像現実で直接仮像カメラの視点を移動させて、仮像の臓器模型間の深さ程度を容易に把握できるようにする手術ナビゲーションシステム運用方法及びシステムを提供することができる。
また、実施形態によって、本発明の手術ナビゲーションシステム100は使用者が仮像現実で仮像の臓器模型間の深さ程度のみならず、仮像の臓器模型と手術道具と間の深さ関係に対してもより正確に認知できるように、方向/距離表示部140をさらに含んでいても良い。
方向/距離表示部140は最短隣接点技法を用いて、手術道具の端部分と相対的に近接する前記臓器模型の表面上にある点の位置を獲得し、前記獲得した点と手術道道具との間の距離を演算して、前記臓器模型と共に画面に表示することができる。また、方向/距離表示部140は前記臓器模型に接近する手術道具の進入方向を演算して表示することができる。この際、方向/距離表示部140は前記演算された距離によって、段階的に警告を表示することができる。
このように、本発明によると、仮像の臓器模型と手術道具との位置関係(方向及び距離)を実時間で画面に表示することで、使用者の仮像現実で仮像の臓器模型と手術道具と間の深さ関係をより正確に認知できるようになる。即ち、本発明は使用者に仮像の臓器模型と手術道具と間の最短距離を表示することで、直観的な深さの程度を提供し、施術の安定性向上に寄与することができる。
一方、手術ナビゲーションシステム100はカメラ及び患者にそれぞれ対応する仮像カメラ及び仮像の患者または臓器を加工空間に表し、カメラで獲得した画像を仮像の物体の後ろに投影させて仮像の臓器と実際臓器が正確に重畳されるようにすることで前記増強現実を具現することができる。そのために、カメラの内部パラメータ値及び患者とカメラと間の位置関係が把握されなければならない。
上述したカメラの内部パラメータ値を得るために、Zhengyou Zhangのカメラキャリブレーション方法が使用されてもよい。前記内部パラメータ値は、チェスボード模様のキャリブレーション道具をそれぞれ異なる位置で50回撮影して計算される。また、カメラと患者と間の位置関係は、患者とカメラ本体にそれぞれパッシブマーカーを付着した後光学式位置追跡機(Polaris Spectra、NDI、Waterloo、Canadaなど)を使用して実時間で追跡されるようにすることができる。
仮像空間はカメラの内部パラメータ値及びカメラと患者と間の位置関係を用いて構成される。仮像カメラのField of view(FOV)は実際カメラのCCD大きさと内部パラメータ値を用いて計算され、増強現実を具現するための仮像スクリンの大きさもカメラのパラメータ値及びカメラと患者と間の関係を用いて計算できる。
仮像現実では仮像カメラの位置を自由に変更して該当物体(例えば、臓器)を観察することが可能である。本発明の手術ナビゲーションシステム100は増強現実と仮像現実の長点を用いて直観的な深さ認識が可能であるようにすることができる。例えば、手術ナビゲーションシステム100は増強現実の画面上で観察している臓器の位置が変わらないで、自然に仮像現実環境に行くように、仮像カメラの位置はそのまま置いて焦点のみ仮像の臓器に向かうようにすることができる。また、手術ナビゲーションシステム100は増強現実でも深さ認識が可能であるように増強現実の画面上でDICOMイメージを視覚化し、仮像物体と患者の断面画像を比較して深さ認識を助けることができる。
また、手術ナビゲーションシステム100は手術道具の端部分と最も近く位置した特定臓器の表面間の距離及び方向を実時間で追跡して視覚化することで深さ認識問題を解決することができる。一例として、手術ナビゲーションシステム100は探索速度を高めるためにKDTree資料構造を使用して目標とする臓器の表面データを登録し、最短隣接点探索技法を用いて手術道具の端部分と最も近い仮像物体の表面上にある点の位置を獲得して、画面に表示することができる。また、手術ナビゲーションシステム100は手術道具との距離が近くなると段階的に警告表示して使用者が認知するようにすることができる。
このように、本発明によると、画面の動きなしに増強現実から仮像現実に自然に移動するようにして、使用者が仮像現実システムで直接仮像カメラの視点を移動させ物体間の深さ程度を容易に把握できるようにし、仮像の臓器と手術道具との関係を実時間で画面に示して正確な深さ関係を視覚的に具現することで、使用者に負担を与えないで深さの程度を感じるようにする手術ナビゲーションシステムが提供できる。
図2は2次元の臓器イメージi及び仮像の臓器模型ii一例を示す図面である。
図2のiを参照すると、本発明の手術ナビゲーションシステムはオブジェクトの識別と連関される正規モデルのDICOMイメージを平面形態に2次元レンダリングして、臓器イメージを形状化することができる。即ち、手術ナビゲーションシステムは人体画像で臓器‘脳’に該当するオブジェクトが識別されることによって、患者の臓器‘脳’を複数の方向から撮影した複数のDICOMイメージをそれぞれ2次元レンダリングして、前記人体画像で前記識別したオブジェクトの領域に臓器‘脳’に関する2次元臓器イメージを視覚化することで、DICOMイメージを用いて深さの程度を伝達することができる。
前記臓器イメージが表示される顔面でタッチ信号及びクリック信号を含む選択信号が入力されると、手術ナビゲーションシステムは2次元の増強現実から3次元の仮像現実に画面を転換し、前記選択信号が入力された前記臓器イメージ内地点に対して前記臓器イメージを3次元レンダリングして、図2のiiのように仮像の臓器模型を仮像現実の画面上に作成することができる。この際、手術ナビゲーションシステムは手術道具の端部分と最も近く位置した特定臓器の表面間の最小距離及び方向を実時間で追跡して視覚化することで、正確な深さ情報を伝達することができる。
図3は選択信号の入力によって、増強現実iから仮像現実iiに転換される一例を示す図面である。
図3を参照すると、本発明の手術ナビゲーションシステムは図3のiに示された増強現実を通じて形状化される2次元臓器イメージに対して選択信号が入力されると、画面の動きなしに焦点を保持したまま、2次元の増強現実から3次元の仮像現実に画面を滑らかに転換することができる。即ち、手術ナビゲーションシステムは図3のiiのように、選択信号が入力された前記臓器イメージ内地点を基準で3次元レンダリングして仮像の臓器模型に変換することができる。この際、手術ナビゲーションシステムは平面形態の臓器イメージの間で発生する平面の遠近感を用いて、仮像の臓器模型に対する深さの程度を表現することができる。
図4は選択信号の入力によって、仮像現実から仮像の臓器模型を拡大する一例を示す図面である。
図4を参照すると、本発明の手術ナビゲーションシステムは図3のiiに示された仮像現実で仮像の臓器模型に対する、タッチ信号及びクリック信号を含む選択信号の入力に連動して、前記臓器模型に対して、回転、拡大、及び縮小のうち少なくとも一つの制御を遂行することで、前記臓器模型間の位置関係及び深さの程度が容易に表現されるようにすることができる。また、使用者は仮像現実で直接仮像カメラの視点を移動させ、仮像の臓器模型間の深さ程度を容易に把握することもできる。
以下、図5では本発明の実施例による手術ナビゲーションシステム100の作業流れを詳細に説明する。
図5は本発明の一実施形態による手術ナビゲーションシステム運用方法を示す作業流れ図である。
本実施例による手術ナビゲーションシステム運用方法は上述した手術ナビゲーションシステム100によって遂行されてもよい。
まず、手術ナビゲーションシステム100はカメラによって撮像される人体画像からオブジェクトを識別する(510)。
例えば、手術ナビゲーションシステム100は前記人体画像を、保持される臓器‘脳’に関する正規モデル、臓器‘心臓’に関する正規モデル、臓器‘胃’に関する正規モデルなどからそれぞれ投影して、70%以上の範囲以内である前記人体画像内オブジェクトをそれぞれ識別することができる。
次に、手術ナビゲーションシステム100は増強現実を用いて、前記オブジェクトに対する2次元の臓器イメージを形状化する(520)。
例えば、前記人体画像で臓器‘脳’に該当するオブジェクトが識別される場合、手術ナビゲーションシステム100は患者の臓器‘脳’を多様な方向から撮影した複数のDICOMイメージをそれぞれ2次元レンダリングして、前記人体画像で前記識別したオブジェクトの領域に臓器‘脳’に関する2次元臓器イメージを視覚化することができる。ここで、前記DICOMイメージはCT、MRI、X-Rayなどの医療装備を用いて多様な方向(例えば、正面、側面、断面など)で患者を撮影して獲得したイメージを総称することができる。
次に、手術ナビゲーションシステム100は前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成し(530)、前記臓器模型に対する、タッチ信号及びクリック信号を含む選択信号の入力に連動して、前記臓器模型を、回転、拡大、及び縮小のうち少なくとも一つの制御を遂行する(540)。
手術ナビゲーションシステム100は前記臓器イメージに対して選択信号が入力されることによって、画面の動きなしに(即ち、前記カメラに対応する仮像カメラの位置及び焦点を保持したまま)2次元の増強現実から3次元の仮像現実に画面を滑らかに転換することができる。
この際、手術ナビゲーションシステム100は前記平面形態の臓器イメージの間で発生する平面の遠近感を用いて、前記臓器模型に対する深さの程度を表現することができる。
最後に、手術ナビゲーションシステム100は手術道具の端部分と相対的に近接する臓器模型の表面上にある点と手術道具との間の距離を演算して前記臓器模型と共に画面に表示し(550)、手術ナビゲーションシステム100は前記臓器模型に接近する手術道具の進入方向を演算して表示する(560)。
具体的に、手術ナビゲーションシステム100は最短隣接点探索技法を用いて、手術道具の端部分と相対的に近接する前記臓器模型の表面上にある点の位置を獲得し、前記獲得された点と手術道具との間の距離及び前記臓器模型に接近する手術道具の進入方向を演算して、前記臓器模型と共に画面に表示してもよい。この際、手術ナビゲーションシステム100は前記演算された距離によって、段階的に警告を表示し、使用者が認知できるようにする。
このように、本発明によると、仮像の臓器模型と手術道具との位置関係(方向及び距離)を実時間で画面に表示することで、使用者が仮像現実で仮像の臓器模型と手術道具と間の深さ関係をより正確に認知できるようになる。即ち、本発明は使用者に仮像の臓器模型と手術道具と間の最短距離を表示することで、直観的な深さの程度を提供し、施術の安定性向上に寄与することができる。
本発明の実施形態による方法は多様なコンピュータ手段を通じて遂行できるプログラム命令形態で具現されてコンピュータ判読可能媒体に記録される。前記コンピュータ判読可能媒体はプログラム命令、データファイル、データ構造などを単独または組合して含んでいても良い。前記媒体に記録されるプログラム命令は実施形態のために特別に設計され構成されたのであるかコンピュータソフトウェア、当業者に公知されて使用可能であってもよい。コンピュータ判読可能記録媒体の例としてはハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体(optical media)、フロプティカルディスクのような磁気-光媒体(magneto-optical media)、及びロム(ROM)、ラム(RAM)、フレッシュメモリなどのようなプログラム命令を貯蔵し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としてはコンパイラーによって作られるようなマシンコードだけではなくインタープリターなどを使用してコンピュータによって実行できる高級言語コードを含む。前記されたハードウェア装置は実施形態の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
以上のように実施形態が限定された実施形態と図面によって説明されたが、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。例えば、説明された技術が説明された方法と異なる順序で遂行されるか、及び/または説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態に結合または組合されるか、他の構成要素または均等物によって代置されるか置換されても適切な結果が達成され得る。
よって、他の具現、他の実施形態及び特許請求範囲と均等なものも上述した特許請求範囲の範囲に属する。
Claims (13)
- カメラによって撮像される人体画像からオブジェクトを識別する段階と、
増強現実を用いて、前記オブジェクトに対する2次元の臓器イメージを形状化する段階と、
前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成する段階と、を含むことを特徴とする手術ナビゲーションシステム運用方法。 - 前記オブジェクトを識別する段階は、
前記人体画像を、臓器に関する正規モデルで投影して、前記正規モデルと選定された範囲以内で重畳される前記人体画像内オブジェクトを識別する段階を含むことを特徴とする請求項1に記載の手術ナビゲーションシステム運用方法。 - 前記オブジェクトに対する2次元の臓器イメージを形状化する段階は、前記オブジェクトの識別と連関される正規モデルのDICOM(Digital Imaging and Communications in Medicine)イメージを平面形態に2次元レンダリングして、前記臓器イメージを形状化する段階を含むことを特徴とする請求項1に記載の手術ナビゲーションシステム運用方法。
- 前記仮像の臓器模型を作成する段階は、
前記平面形態の臓器イメージの間で発生する平面の遠近感を用いて、前記臓器模型に対する深さの程度を表現する段階を含むことを特徴とする請求項3に記載の手術ナビゲーションシステム運用方法。 - 前記仮像の臓器模型を作成する段階は、
前記臓器イメージに対してタッチ信号及びクリック信号を含む選択信号の入力を受ける段階と、
前記選択信号が入力された前記臓器イメージ内地点に対して、前記3次元レンダリングする段階と、を含むことを特徴とする請求項1に記載の手術ナビゲーションシステム運用方法。 - 前記臓器模型に対する、タッチ信号及びクリック信号を含む選択信号の入力に連動して、前記臓器模型に対して、回転、拡大、及び縮小のうち少なくとも一つの制御を遂行する段階をさらに含むことを特徴とする請求項1に記載の手術ナビゲーション運用方法。
- 最短隣接点探索記法を用いて、手術道具の端部分と相対的に近接する前記臓器模型の表面上にある点の位置を獲得する段階と、
前記獲得した点と手術道具との間の距離を演算して、前記臓器模型と共に画面に表示する段階と、をさらに含むことを特徴とする請求項1に記載の手術ナビゲーションシステム運用方法。 - 前記臓器模型に接近する手術道具の進入方向を演算して表示する段階をさらに含むことを特徴とする請求項7に記載の手術ナビゲーションシステム運用方法。
- 前記演算された距離によって、段階的に警告を表示する段階をさらに含むことを特徴とする請求項7に記載の手術ナビゲーションシステム運用方法。
- カメラによって撮像される人体画像からオブジェクトを識別するオブジェクト識別部と、
増強現実を用いて、前記オブジェクトに対する2次元の臓器イメージを形状化するイメージ形状化部と、
前記臓器イメージを3次元レンダリングして、仮像の臓器模型を作成する臓器模型作成部と、を含むことを特徴とする手術ナビゲーションシステム。 - 前記臓器模型作成部は、
前記臓器模型に対する、タッチ信号及びクリック信号を含む選択信号の入力に連動して、前記臓器模型に対して、回転、拡大、及び縮小のうち少なくとも一つの制御を遂行することを特徴とする請求項10に記載の手術ナビゲーションシステム。 - 最短隣接点探索技法を用いて、手術道具の端部分と相対的に近接する前記臓器模型の表面上にある点の位置を獲得し、前記獲得した点と手術道具との間の距離を演算して、前記臓器模型と共に画面に表示する方向/距離表示部をさらに含むことを特徴とする請求項10に記載の手術ナビゲーションシステム。
- 前記方向/距離表示部は、
前記臓器模型に接近する手術道具の進入方向を演算して表示することを特徴とする請求項12に記載の手術ナビゲーションシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2013-0100945 | 2013-08-26 | ||
KR1020130100945A KR101536115B1 (ko) | 2013-08-26 | 2013-08-26 | 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 |
PCT/KR2014/007909 WO2015030455A1 (ko) | 2013-08-26 | 2014-08-26 | 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016533832A true JP2016533832A (ja) | 2016-11-04 |
Family
ID=52586929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016538846A Pending JP2016533832A (ja) | 2013-08-26 | 2014-08-26 | 手術ナビゲーションシステム運用方法及び手術ナビゲーションシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160163105A1 (ja) |
JP (1) | JP2016533832A (ja) |
KR (1) | KR101536115B1 (ja) |
WO (1) | WO2015030455A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019130290A (ja) * | 2017-12-06 | 2019-08-08 | 財團法人奇美醫院 | 骨の3次元骨格画像を作成するためのシステム及び方法 |
WO2023126752A1 (en) * | 2021-12-31 | 2023-07-06 | Auris Health, Inc. | Three-dimensional instrument pose estimation |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
CN105045886B (zh) * | 2015-07-23 | 2020-03-13 | 青岛海信医疗设备股份有限公司 | 一种dicom图像的导入方法 |
CA3016604A1 (en) | 2016-03-12 | 2017-09-21 | Philipp K. Lang | Devices and methods for surgery |
US10748339B2 (en) * | 2016-06-03 | 2020-08-18 | A Big Chunk Of Mud Llc | System and method for implementing computer-simulated reality interactions between users and publications |
CN108268120B (zh) | 2016-12-29 | 2020-07-28 | 同方威视技术股份有限公司 | 基于vr或ar的图像数据处理方法、设备和安检系统 |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
US11751944B2 (en) | 2017-01-16 | 2023-09-12 | Philipp K. Lang | Optical guidance for surgical, medical, and dental procedures |
WO2018175620A1 (en) | 2017-03-22 | 2018-09-27 | A Big Chunk Of Mud Llc | Convertible satchel with integrated head-mounted display |
US11801114B2 (en) | 2017-09-11 | 2023-10-31 | Philipp K. Lang | Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion |
KR102056930B1 (ko) | 2017-11-21 | 2019-12-17 | 경희대학교 산학협력단 | 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법 |
KR102082290B1 (ko) * | 2017-12-06 | 2020-02-27 | 조선대학교산학협력단 | 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템 |
WO2019148154A1 (en) | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
CN108459802B (zh) * | 2018-02-28 | 2020-11-20 | 北京航星机器制造有限公司 | 一种触控显示终端交互方法和装置 |
US11857378B1 (en) | 2019-02-14 | 2024-01-02 | Onpoint Medical, Inc. | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
US11553969B1 (en) | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
US11992373B2 (en) | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
US11464581B2 (en) | 2020-01-28 | 2022-10-11 | Globus Medical, Inc. | Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums |
US11382699B2 (en) | 2020-02-10 | 2022-07-12 | Globus Medical Inc. | Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery |
US11207150B2 (en) | 2020-02-19 | 2021-12-28 | Globus Medical, Inc. | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment |
US11607277B2 (en) | 2020-04-29 | 2023-03-21 | Globus Medical, Inc. | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
US11382700B2 (en) | 2020-05-08 | 2022-07-12 | Globus Medical Inc. | Extended reality headset tool tracking and control |
US11510750B2 (en) | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11737831B2 (en) | 2020-09-02 | 2023-08-29 | Globus Medical Inc. | Surgical object tracking template generation for computer assisted navigation during surgical procedure |
US11786206B2 (en) | 2021-03-10 | 2023-10-17 | Onpoint Medical, Inc. | Augmented reality guidance for imaging systems |
CN113761776B (zh) * | 2021-08-24 | 2023-03-14 | 中国人民解放军总医院第一医学中心 | 基于增强现实的心脏出血与止血模型的仿真系统和方法 |
KR20230166339A (ko) * | 2022-05-30 | 2023-12-07 | (주)휴톰 | 환자 맞춤형 3d 수술 시뮬레이션을 제공하는 방법, 장치 및 프로그램 |
KR20240070209A (ko) * | 2022-11-14 | 2024-05-21 | 주식회사 딥파인 | 증강콘텐츠 변환을 위한 영상처리 시스템 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10334220A (ja) * | 1997-05-29 | 1998-12-18 | Hitachi Medical Corp | 手術支援ナビゲーション方法 |
JP2003079637A (ja) * | 2001-09-13 | 2003-03-18 | Hitachi Medical Corp | 手術ナビゲーションシステム |
JP2004538538A (ja) * | 2000-10-05 | 2004-12-24 | シーメンス コーポレイト リサーチ インコーポレイテツド | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 |
JP2008534181A (ja) * | 2005-04-08 | 2008-08-28 | ケー.ユー. ルヴァン リサーチ アンド ディヴェロプメント | 手術前予測のための方法及びシステム |
WO2011118208A1 (ja) * | 2010-03-24 | 2011-09-29 | パナソニック株式会社 | 切削シミュレーション装置 |
JP2013202313A (ja) * | 2012-03-29 | 2013-10-07 | Panasonic Corp | 手術支援装置および手術支援プログラム |
JP2015526111A (ja) * | 2012-05-22 | 2015-09-10 | コビディエン エルピー | 治療計画システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101108927B1 (ko) * | 2009-03-24 | 2012-02-09 | 주식회사 이턴 | 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법 |
KR101161242B1 (ko) * | 2010-02-17 | 2012-07-02 | 전남대학교산학협력단 | 최소 침습 수술을 위한 영상 유도 튜블라 매니퓰레이터 수술 로봇 시스템 |
KR101288167B1 (ko) * | 2011-10-11 | 2013-07-18 | (주)지씨에스그룹 | 의료 영상 표준 규격의 의료 영상 처리 장치 및 방법 |
-
2013
- 2013-08-26 KR KR1020130100945A patent/KR101536115B1/ko active IP Right Grant
-
2014
- 2014-08-26 WO PCT/KR2014/007909 patent/WO2015030455A1/ko active Application Filing
- 2014-08-26 US US14/441,398 patent/US20160163105A1/en not_active Abandoned
- 2014-08-26 JP JP2016538846A patent/JP2016533832A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10334220A (ja) * | 1997-05-29 | 1998-12-18 | Hitachi Medical Corp | 手術支援ナビゲーション方法 |
JP2004538538A (ja) * | 2000-10-05 | 2004-12-24 | シーメンス コーポレイト リサーチ インコーポレイテツド | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 |
JP2003079637A (ja) * | 2001-09-13 | 2003-03-18 | Hitachi Medical Corp | 手術ナビゲーションシステム |
JP2008534181A (ja) * | 2005-04-08 | 2008-08-28 | ケー.ユー. ルヴァン リサーチ アンド ディヴェロプメント | 手術前予測のための方法及びシステム |
WO2011118208A1 (ja) * | 2010-03-24 | 2011-09-29 | パナソニック株式会社 | 切削シミュレーション装置 |
JP2013202313A (ja) * | 2012-03-29 | 2013-10-07 | Panasonic Corp | 手術支援装置および手術支援プログラム |
JP2015526111A (ja) * | 2012-05-22 | 2015-09-10 | コビディエン エルピー | 治療計画システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019130290A (ja) * | 2017-12-06 | 2019-08-08 | 財團法人奇美醫院 | 骨の3次元骨格画像を作成するためのシステム及び方法 |
WO2023126752A1 (en) * | 2021-12-31 | 2023-07-06 | Auris Health, Inc. | Three-dimensional instrument pose estimation |
Also Published As
Publication number | Publication date |
---|---|
KR101536115B1 (ko) | 2015-07-14 |
WO2015030455A1 (ko) | 2015-03-05 |
KR20150024029A (ko) | 2015-03-06 |
US20160163105A1 (en) | 2016-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016533832A (ja) | 手術ナビゲーションシステム運用方法及び手術ナビゲーションシステム | |
Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
JP6972163B2 (ja) | 奥行き知覚を高める仮想陰影 | |
JP5551957B2 (ja) | 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム | |
US11547499B2 (en) | Dynamic and interactive navigation in a surgical environment | |
Kersten-Oertel et al. | The state of the art of visualization in mixed reality image guided surgery | |
Sielhorst et al. | Advanced medical displays: A literature review of augmented reality | |
US11961193B2 (en) | Method for controlling a display, computer program and mixed reality display device | |
CN103356155A (zh) | 虚拟内窥镜辅助的腔体病灶检查系统 | |
EP2829218A1 (en) | Image completion system for in-image cutoff region, image processing device, and program therefor | |
Jiang et al. | Registration technology of augmented reality in oral medicine: A review | |
JP6112689B1 (ja) | 重畳画像表示システム | |
JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
Wen et al. | In situ spatial AR surgical planning using projector-Kinect system | |
US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
EP3075342B1 (en) | Microscope image processing device and medical microscope system | |
Kalia et al. | Preclinical evaluation of a markerless, real-time, augmented reality guidance system for robot-assisted radical prostatectomy | |
US12023208B2 (en) | Method for operating a visualization system in a surgical application, and visualization system for a surgical application | |
JP6770655B2 (ja) | ライブ2次元x線画像において介入装置の空間情報を提供する装置及び対応する方法 | |
WO2020033208A1 (en) | Multi-modal visualization in computer-assisted tele-operated surgery | |
Singh et al. | A novel enhanced hybrid recursive algorithm: image processing based augmented reality for gallbladder and uterus visualisation | |
Habert et al. | Multi-layer visualization for medical mixed reality | |
Penza et al. | Virtual assistive system for robotic single incision laparoscopic surgery | |
Habert et al. | [POSTER] Augmenting Mobile C-arm Fluoroscopes via Stereo-RGBD Sensors for Multimodal Visualization | |
Forte | Robust Visual Augmented Reality for Robot-Assisted Surgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180116 |