JP2008093438A - 内視鏡を較正するためのシステム及び方法 - Google Patents

内視鏡を較正するためのシステム及び方法 Download PDF

Info

Publication number
JP2008093438A
JP2008093438A JP2007261450A JP2007261450A JP2008093438A JP 2008093438 A JP2008093438 A JP 2008093438A JP 2007261450 A JP2007261450 A JP 2007261450A JP 2007261450 A JP2007261450 A JP 2007261450A JP 2008093438 A JP2008093438 A JP 2008093438A
Authority
JP
Japan
Prior art keywords
calibration image
image
calibration
clinical
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007261450A
Other languages
English (en)
Other versions
JP2008093438A5 (ja
JP5393968B2 (ja
Inventor
Daniel E Groszmann
ダニエル・イー・グロスマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2008093438A publication Critical patent/JP2008093438A/ja
Publication of JP2008093438A5 publication Critical patent/JP2008093438A5/ja
Application granted granted Critical
Publication of JP5393968B2 publication Critical patent/JP5393968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0228Operational features of calibration, e.g. protocols for calibrating sensors using calibration standards
    • A61B2560/0233Optical standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

【課題】内視鏡を較正するためのシステム及び方法を提供する。
【解決手段】本発明のある種の実施形態は内視鏡を較正するための方法(100)を提供する。方法(100)は、較正画像組を収集する工程と、較正画像組に関する較正画像境界組を決定する工程と、臨床画像を収集する工程と、臨床画像に関する臨床画像境界を決定する工程と、を含む。較正画像組は、少なくとも1つの較正画像を含む。較正画像境界組は、較正画像組内の各較正画像に関する較正画像境界を含む。
【選択図】図1

Description

本発明は全般的には内視鏡に関する。より具体的には、本発明は内視鏡を較正するためのシステム及び方法に関する。
コンピュータ支援式のシステム及び方法によって今日、外科処置中に磁気共鳴(MR)データ及びコンピュータ断層(CT)データからの3次元(3D)解剖学画像に対する解析及び検討を含むリアルタイムのナビゲーションが提供されている。さらに、内視鏡テクノロジーが急速に発展し、身体の小さい腔内で使用可能な軽量の内視鏡を提供することができる。しかし、内視鏡は見えている表面だけしか表示することができず、かつまた不透明な組織の内部に関する像を提供することが不可能であることによる制限を受ける。内視鏡像とコンピュータ作成の3D画像の両者を組み合わせると、以前は利用可能でなかったボリュメトリック再構成した患者画像を外科領域の内視鏡像上に重ね合わせる機能を提供できる可能性が得られる。この技法によれば、外科医が見えている表面の向こう側を観察すること、並びにプランニング及びナビゲーションの目的で「オンザフライの(on−the−fly)」3D及び2次元(2D)情報を提供することが可能となる。しかし内視鏡の機能に関わる多くのパラメータのために、デバイスの設定における多数のわずかな誤差が、重ね合わせた内視鏡像の位置と患者の解剖構造との間の最終的な不一致に対して比較的大きくかつ累積的な影響を及ぼすことがある。この理由のために、内視鏡に対する精密な較正、並びに較正した内視鏡の確度テストを行い外科的品質を保証することが必要となる。
米国特許第6591130号
したがって、内視鏡、内視鏡システム及び/または増強型内視鏡システムを較正するシステム及び方法に対する要求が存在する。
上述した画像ガイド式または増強型内視鏡は、内視鏡像に対するコンピュータ作成による仮想現実描出を実世界の像と合成して「増強型リアリティ」の生成を可能とする技法である。この技法では典型的には、電磁気式(EM)及び/または光学式ナビゲーションシステムなどのよく知られた方法によって内視鏡を空間的にトラッキングすることが必要となる。例えば、内視鏡較正フィクスチャが空間的にトラッキングを受けることがあり、あるいはフィクスチャ上の較正マーカーをトラッキングシステムを基準としたある既知の箇所に配置させることがある。
増強型内視鏡の利点の1つは、内視鏡に関連する立体的深度知覚及び向きの相対的喪失に対処することによってリアルタイム内視鏡映像内では明確でなかったような重要構造の描出が支援されることである。ナビゲーションシステムに対する内視鏡位置及び視線方向を較正し、かつ内視鏡の光学レンズパラメータを較正すること(カメラ較正)によって、内視鏡の視野域のコンピュータレンダリング式3D仮想描出の相互位置調整を内視鏡映像を用いて実行することが可能となる。深度知覚は増強されることがあり、したがって内視鏡に対して直接は見えていない健康組織や疾病組織が表示されることがある。
しかし、焦点距離、主点(principal point)、半径方向及び接線方向の歪み、画素スケール調整、視野域などの内視鏡の光学レンズパラメータは、内視鏡の倍率によって異なることがある。内視鏡の倍率は典型的には、内視鏡カメラ上のズーム制御子を回転させることによって調整される。ズーム量すなわち倍率の決定のために光学符号器を含むのが一般的である外科用顕微鏡と異なり、内視鏡倍率を検出するためのシステム及び方法は存在していない。
したがってさらに、内視鏡倍率を検出し、これに応じて内視鏡、内視鏡システム及び/または増強型内視鏡システムを較正するためのシステム及び方法に対する要求が存在する。
本発明のある種の実施形態は内視鏡を較正するための方法を提供する。本方法は、較正画像組を収集する工程と、該較正画像組に関する較正画像境界組を決定する工程と、臨床画像を収集する工程と、該臨床画像に関する臨床画像境界を決定する工程と、を含む。臨床画像は、例えば診断や手術の目的で解剖学映像を収集するために内視鏡を使用することがある。較正画像組は、少なくとも1つの較正画像を含む。較正画像境界組は、較正画像組内の各較正画像に関する較正画像境界を含む。
本発明のある種の実施形態は内視鏡を較正するためのシステムを提供する。本システムは、内視鏡及びプロセッサを含む。内視鏡は較正画像組を収集するように適応させている。較正画像組は、少なくとも1つの較正画像を含む。内視鏡はさらに、臨床画像を収集するように適応させている。プロセッサは較正画像組に関する較正画像境界組を決定するように適応させている。較正画像境界組は、較正画像組内の各較正画像に関する較正画像境界を含む。プロセッサはさらに、臨床画像に関する臨床画像境界を決定するように適応させている。
本発明のある種の実施形態はコンピュータ読み取り可能媒体を提供する。本コンピュータ読み取り可能媒体は、コンピュータ上で実行させるための命令組を含む。この命令組は、較正ルーチン及び臨床ルーチンを含む。較正ルーチンは較正画像組を収集するように構成されている。較正画像組は、少なくとも1つの較正画像を含む。較正ルーチンはさらに、較正画像組に関する較正画像境界組を決定するように構成されている。較正画像境界組は、較正画像組内の各較正画像に関する較正画像境界を含む。臨床ルーチンは臨床画像を収集するように構成されている。臨床ルーチンはさらに、臨床画像に関する臨床画像境界を決定するように構成されている。
上述した要約、並びに本発明のある種の実施形態に関する以下の詳細な説明は、添付の図面と共に読むことによってさらに十分な理解が得られよう。本発明の例証を目的として、図面ではある特定の実施形態を示している。しかし本発明は、添付の図面に示した配置や手段に限定するものではないことを理解すべきである。
図1は、本発明の一実施形態による内視鏡を較正するための方法100の流れ図を表している。方法100は、以下でより詳細に記載するような各工程を含む。工程110では、較正画像組が収集される。工程120では、較正画像境界組が決定される。工程130では、較正画像パラメータ組が決定されることがある。工程140では、臨床画像が収集される。工程150では、臨床画像境界が決定される。工程160では、臨床画像境界と較正画像境界組の比較に少なくともその一部で基づいてユーザが倍率の変化に関して自動的に通知を受けることがある。工程170では、臨床画像境界、較正画像境界組及び較正画像パラメータ組に少なくともその一部で基づいて臨床画像パラメータが決定されることがある。工程180では、臨床画像パラメータに少なくともその一部で基づいて臨床画像が再収集されることがある。
工程110では、較正画像組が収集される。較正画像組は少なくとも1つの較正画像を含むことがある。本発明のある種の実施形態では、その較正画像組が1つの較正画像を含むことがある。本発明のある種の実施形態では、その較正画像組は複数の較正画像を含むことがある。その較正画像は例えば、内視鏡、内視鏡システム及び/または増強型内視鏡システムを用いて収集された内視鏡映像とすることがある。
内視鏡映像は典型的には、黒色空間により取り囲まれた円形画像として表示される(円形の内視鏡像が、矩形の電荷結合素子(CCD)上に投影されるため)。内視鏡映像は拡大されているため、この円形画像は矩形のCCDのより多くの領域を占めており、このため、表示される周囲の黒色空間はより小さくなる。図2は、本発明の一実施形態による内視鏡倍率が比較的小さい内視鏡映像の一例を表している。図3は、本発明の一実施形態による内視鏡倍率が比較的大きい内視鏡映像の一例を表している。
工程120では、較正画像境界組が決定されることがある。較正画像境界組は、較正画像組内の各較正画像に関する較正画像境界を含むことがある。本発明のある種の実施形態では、例えば画像処理技法を用いて較正画像境界が決定されることがある。例えば図2の内視鏡映像などの較正画像がしきい値処理及びフィルタ処理を受け、較正画像の辺縁が検出されることがある。較正画像の辺縁が円及び/または別の適当な形状などの較正画像境界に対して当てはめられることがある。円形の較正画像境界は、例えば図2に示すような半径R1によって表されることがある。別の形状の較正画像境界は別の適当な計測基準によって表されることがある。
工程130では、較正画像パラメータ組が決定されることがある。較正画像パラメータ組は、較正画像組内の各較正画像に関する較正画像パラメータを含むことがある。較正画像パラメータは、例えば焦点距離、主点、半径方向及び接線方向のレンズ歪みパラメータ、画素スケール調整、視野域及び/または別の撮像パラメータなどの撮像パラメータを含むことがある。
工程140では、臨床画像が収集される。臨床画像は例えば、内視鏡、内視鏡システム及び/または増強型内視鏡システムを用いて収集された内視鏡映像とすることがある。
工程150では、臨床画像境界が決定されることがある。本発明のある種の実施形態では、例えば画像処理技法を用いて臨床画像境界が決定されることがある。例えば図3の内視鏡映像などの臨床画像がしきい値処理及びフィルタ処理を受け、臨床画像の辺縁が検出されることがある。臨床画像の辺縁が円及び/または別の適当な形状などの臨床画像境界に対して当てはめられることがある。円形の臨床画像境界は例えば図3に示すような半径R2によって表されることがある。別の形状の臨床画像境界は別の適当な計測基準によって表されることがある。
工程160では、臨床画像境界と較正画像境界組の比較に少なくともその一部で基づいて内視鏡倍率の変化に関してユーザが自動的に通知を受けることがある。例えば図2及び3に示したように、較正画像境界の半径R1が臨床画像境界の半径R2と比較されることがある。R1≠R2であれば、内視鏡の倍率は変化している。さらにR1<R2であれば、臨床画像の倍率は較正画像に対して上昇している。逆にR1>R2であれば、臨床画像の倍率は較正画像に対して低下している。
本発明のある種の実施形態では、較正画像の倍率が既知であれば、内視鏡倍率及び/または内視鏡倍率の変化を決定することができる。例えばR1=200画素、R2=400画素、かつ較正画像の倍率が2Xであれば、臨床画像の倍率は4Xとなる。さらに、内視鏡倍率及び/または内視鏡倍率の変化を表示させることがある。
本発明のある種の実施形態では、例えば上述したように円形画像が矩形のCCDを超えた場合に、ユーザが自動的に通知を受けることがある。しかし大部分のユーザは、できる限り視野域と同程度の大きさとなるように比較的低い倍率を好むのが一般的である。
工程170では、臨床画像境界、較正画像境界組及び較正画像パラメータ組に少なくともその一部で基づいて臨床画像パラメータが決定されることがある。工程130で上述したような較正画像パラメータの場合と同様に、臨床画像パラメータは、例えば焦点距離、主点、半径方向及び接線方向のレンズ歪みパラメータ、画素スケール調整、視野域及び/または別の撮像パラメータなどの撮像パラメータを含むことがある。
本発明のある種の実施形態では、較正画像境界組及び較正画像パラメータ組は較正画像パラメータ表として表されることがある。較正画像パラメータ表の一例を以下の表1に示す。
較正画像パラメータ表内の各横列は較正画像組内の1つの較正画像を表している。例えば表1は、その各々が異なる倍率で収集されている3つの較正画像を含む。
この表の各縦列は較正画像組内の各較正画像に関する較正画像境界または較正画像パラメータを表している。例えば表1は、較正画像組内の各較正画像に関する半径(画素)を含む。表1はさらに、較正画像組内の各較正画像に関する例えば、焦点距離(f)、半径方向の歪み(k1)、z方向の平行移動(Tz)、並びに視野域(FOV)を含む。
(表1:較正画像パラメータ表の例)

動作時には、較正画像パラメータ表は、臨床画像パラメータを決定するために使用されることがある。例えば、表1の較正画像パラメータ表を420画素の半径に適用すると、9.537ミリメートルの推定焦点距離を得ることができる。この例では、較正画像パラメータ表内の最近隣のデータ点(422画素)に基づいてその焦点距離を推定した。別の例では、表1の較正画像パラメータ表を461画素の半径に適用することによって、9.504ミリメートルの推定焦点距離を得ることができる。この例では、較正画像パラメータ表内の2つの最近隣のデータ点(422画素及び500画素)に基づい推定焦点距離が補間されている。
本発明のある種の実施形態では、較正画像境界組及び較正画像パラメータ組が較正画像パラメータ関数として表されることがある。較正画像パラメータ関数の一例を以下の表2に提供している。
(表2:較正画像パラメータ関数の例)

動作時には較正画像パラメータ関数が、臨床画像パラメータを決定するために使用されることがある。例えば、表2の較正画像関数を470画素の半径に適用することによって、9.495ミリメートルの推定焦点距離を得ることができる。別の例では、表2の較正画像パラメータ関数を560画素の半径に適用することによって、9.400ミリメートルの推定焦点距離を得ることができる。
表2の較正画像パラメータ関数を決定するために表1の較正画像パラメータ表に対して2次多項式を当てはめているが、較正画像パラメータ関数を決定するためには較正画像境界組及び較正画像パラメータ組に対して適当な別の関数が当てはめられることがある。
本発明のある種の実施形態では、例えば外科医、看護士、技師及び/または別のユーザなどのユーザによって手作業で臨床画像パラメータが決定されることがある。本発明のある種の実施形態では、例えば内視鏡、内視鏡システム及び/または別の撮像システムによって自動で臨床画像パラメータが決定されることがある。
工程180では、臨床画像パラメータに少なくともその一部で基づいて臨床画像が再収集されることがある。例えば470画素の内視鏡倍率では、その臨床画像は、9.495ミリメートルの焦点距離で自動で再収集されることがある。
本発明のある種の実施形態では、例えば外科医、看護士、技師及び/または別のユーザなどのユーザによって手作業で臨床画像が再収集されることがある。本発明のある種の実施形態では、例えば内視鏡、内視鏡システム及び/または別の撮像システムによって自動で臨床画像が再収集されることがある。
方法100の工程110〜180のうちの1つまたは幾つかは、単独で実現されることや、例えばハードウェア、ファームウェア及び/またはソフトウェア内の命令組の形で組み合わせて実現されることがある。ある種の実施形態は、汎用コンピュータその他の処理デバイス上で実行させるためにメモリ、ハードディスク、DVDまたはCDなどのコンピュータ読み取り可能な媒体上に常駐させた命令組として提供されることがある。
本発明のある種の実施形態では、これらの工程のうちの1つまたは幾つかが省略されること、及び/またはその工程が記載した順序と別の順序で実施されることがある。例えば本発明のある種の実施形態では、幾つかの工程が実施されないことがある。さらに別の例では、ある工程が上で記載したのと異なる時間的順序(同時を含む)で実施されることがある。
図4は、本発明の一実施形態による内視鏡倍率を検出するための方法400の流れ図を表している。方法400の各工程は、上で詳細に記載した図1の方法100の各工程と同様である。
図5は、本発明の一実施形態による内視鏡を較正するための方法500の流れ図を表している。方法500の各工程は、上で詳細に記載した図1の方法100の各工程と同様である。
図6は、本発明の一実施形態による内視鏡を較正するためのシステム600を表している。システム600は、画像収集構成要素610及び画像処理構成要素620を含む。システム600について図1の方法100の工程110〜180に関連して記載しているが、別の実現形態も可能であることを理解すべきである。
内視鏡などの画像収集構成要素610は、図1の方法100の工程110、140及び180において上述したように、較正画像組を収集すること、臨床画像を収集すること、及び/または臨床画像を再収集することを行うように適応させている。
内視鏡システムまたは増強型内視鏡システム内の中央処理ユニット(CPU)などの画像処理構成要素620を、図1の方法100の工程120、130、150、160及び170において上述したように、較正画像境界組を決定すること、較正画像パラメータ組を決定すること、臨床画像境界を決定すること、内視鏡倍率の変化をユーザに自動的に通知すること、及び/または臨床画像パラメータを決定すること、を行うように適応させている。
上で検討したように、システム600の構成要素、素子及び/または機能は、単独で実現されることや、例えばハードウェア、ファームウェア及び/またはソフトウェア内の命令組における様々な形態の組み合わせで実現されることがある。ある種の実施形態は、汎用コンピュータその他の処理デバイス上で実行させるためにメモリ、ハードディスク、DVDまたはCDなどのコンピュータ読み取り可能な媒体上に常駐させた命令組として提供されることがある。
本発明のある種の実施形態は、内視鏡の較正がもはや有効でないことをユーザに警報するために内視鏡倍率の変化を検出するためのシステム及び方法を提供する。
本発明のある種の実施形態は、内視鏡の光学レンズパラメータ及び/または別の関連するパラメータを調整するために内視鏡倍率の変化を検出するためのシステム及び方法を提供する。
本発明のある種の実施形態は、増強型内視鏡システムの較正のためのシステム及び方法を提供する。例えば、電磁気式(EM)トラッキングシステムや光学式トラッキングシステムなどのトラッキングシステムが、内視鏡などの増強型内視鏡システムの画像収集構成要素をトラッキングすることがある。別の例では、トラッキングシステムは較正器及び/または較正画像の位置をトラッキングすることがある。ただし、本発明のある種の実施形態について増強型内視鏡システム及び/またはトラッキングシステムに関連して記載しているが、別の実現形態も可能であることを理解すべきである。すなわち、増強型内視鏡には典型的にトラッキングが必要であるが、本発明のある種の実施形態はこれに限定されるものではない。
本明細書で使用する場合に「内視鏡」とは、内視鏡、内視鏡システム、増強型内視鏡システム、及び/または内視鏡システム及び/または増強型内視鏡システムの画像収集構成要素を意味することがある。
幾つかの実施形態について図面を参照しながら上で説明している。これらの図面は、本発明のシステム及び方法並びにプログラムを実現した特定の実施形態に関するある種の詳細を図示したものである。しかし図面による本発明の説明は、これらの図面に示した機能に伴う制約を本発明に課したものと解釈すべきではない。本発明は、その動作を実現するための方法、システム、及び任意の機械読み取り可能媒体上のプログラム成果物を企図している。上で指摘したように、本発明の実施形態は、既存のコンピュータプロセッサを用いて実現されること、あるいはこの目的や別の目的のために実配線式のシステムによって組み込まれた特殊目的のコンピュータプロセッサによって実現されることがある。
上で指摘したように、本発明の趣旨域内にある実施形態は、マシン実行可能命令またはデータ構造をその上に保存して保持または有する機械読み取り可能媒体を備えたプログラム成果物を含む。こうした機械読み取り可能媒体は、汎用または特殊目的のコンピュータ、あるいはプロセッサを備えた別の装置によってアクセスを受けることが可能な利用可能な任意の媒体とすることができる。一例として、こうした機械読み取り可能媒体は、RAM、ROM、PROM、EPROM、EEPROM、フラッシュ、CD−ROMその他の光ディスク記憶装置、磁気ディスク記憶装置その他の磁気記憶デバイス、あるいはマシン実行可能命令またはデータ構造の形態をした所望のプログラムコードを保持または保存するために使用可能でありかつ汎用または特殊目的のコンピュータ、あるいはプロセッサを備えた別の装置によってアクセスを受けることが可能な別の任意の媒体を含むことがある。ネットワークや別の通信接続(実配線、ワイヤレス、あるいは実配線やワイヤレスを組み合わせたもの)を介して装置に対して情報が転送または提供されると、該装置はその接続が機械読み取り可能媒体であると正しく確認する。したがって、こうした接続はいずれも機械読み取り可能媒体と呼ぶことが適当である。上記のものの組み合わせもこの機械読み取り可能媒体の範疇に包含される。マシン実行可能命令には、例えば汎用のコンピュータ、特殊目的のコンピュータ、あるいは特殊目的の処理装置に対してある種の機能または機能群を実行させる命令及びデータが含まれる。
本発明の実施形態について、一実施形態では例えばネットワーク環境内の装置により実行されるプログラムモジュールの形態をしたプログラムコードなどのマシン実行可能命令を含んだプログラム成果物によって実現し得る方法工程の一般的コンテキストで記載している。一般に、プログラムモジュールは、特定のタスクを実行する、あるいは特定の抽象的データ種別を実現しているルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を含む。マシン実行可能命令、関連データ構造、及びプログラムモジュールは、本明細書に開示した方法の工程を実行するプログラムコードの一例を示している。こうした実行可能命令または関連データ構造の特定のシーケンスはこうした工程に記載した機能を実現するための対応する動作の一例を示している。
本発明の実施形態は、プロセッサを有する1つまたは複数の遠隔コンピュータに対する論理接続を用いてネットワーク環境内で実施されることがある。論理接続は、本明細書に一例として提示した限定を意味しないローカルエリアネットワーク(LAN)及びワイドエリアネットワーク(WAN)を含むことがある。こうしたネットワーク環境は、全オフィス域または全企業域コンピュータネットワーク、イントラネット及びインターネットにおいて一般的であり、多種多様な異なる通信プロトコルを用いることができる。こうしたネットワークコンピューティング環境は典型的には、パーソナルコンピュータ、ハンドへルド型デバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能式の民生用電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、その他を含め多くのタイプのコンピュータシステム構成を包含することになることは当業者であれば理解されよう。本発明の実施形態はさらに、分散式コンピューティング環境内で実施させ、通信ネットワークを介して(実配線リンク、ワイヤレスリンク、あるいは実配線やワイヤレスリンクを組み合わせたものによって)リンクさせたローカル及びリモートの処理デバイスによってタスクが実行されることもある。分散式コンピューティング環境では、プログラムモジュールはローカルとリモートの両方のメモリ記憶デバイス内に配置されることがある。
本発明のシステムの全体または一部を実現するための例示的な一システムは、処理ユニット、システムメモリ、並びにシステムメモリを含む様々なシステム構成要素を処理ユニットに結合させるシステムバスを含んだコンピュータの形態をした汎用のコンピューティングデバイスを含むことがあり得る。このシステムメモリは、読出し専用メモリ(ROM)やランダムアクセスメモリ(RAM)を含むことがある。このコンピュータはさらに、磁気ハードディスクに対する読み出しや書き込みのための磁気ハードディスクドライブ、取外し可能磁気ディスクに対する読み出しや書き込みのための磁気ディスクドライブ、並びにCD−ROMや別の光学媒体などの取外し可能光ディスクに対する読み出しや書き込みのための光ディスクドライブを含むことがある。これらのドライブ並びにその関連する機械読み取り可能媒体は、マシン実行可能命令、データ構造、プログラムモジュール及び別のコンピュータ向けデータに対する不揮発型の記憶装置を提供する。
本発明の実施形態に関する上に掲げた記述は、例示及び説明を目的として提示したものである。これは網羅的とすることや本発明を開示した厳密な形態に限定するように意図しておらず、修正形態及び変形形態が上述の教示に照らして可能であり、また本発明の実施によりこれらの形態を得ることができる。これらの実施形態は、様々な実施形態により並びに企図される具体的な使用法に適合するような様々な修正を伴って当業者が本発明を利用できるように本発明の原理並びにその実際の応用を説明するために選出し記載したものである。
本明細書に開示した実施形態を任意の医用ナビゲーションシステムの形成に適用し得ることは当業者であれば理解されよう。特許請求した主題の実施形態のある種の特徴について本明細書に記載して例証してきたが、これにより当業者には多くの修正形態、代替形態、変形形態及び等価形態が得られよう。さらに、幾つかの機能ブロック並びにこれらの間の関係について詳細に記載してきたが、その動作のうちの幾つかが別の機能を使用せずに実施されることがあること、あるいは追加的機能や機能間に関係を特許請求した主題に従って確立し得ることは当業者であれば理解されよう。したがって添付の特許請求の範囲は、特許請求した主題の実施形態の真の精神の域内にあるこうした修正形態や変化形態のすべてを包含するように意図していることを理解すべきである。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。
本発明の一実施形態による内視鏡を較正するための方法の流れ図である。 本発明の一実施形態による倍率が比較的小さい内視鏡映像の一例を表した図である。 本発明の一実施形態による倍率が比較的大きい内視鏡映像の一例を表した図である。 本発明の一実施形態による内視鏡倍率を検出する方法の流れ図である。 本発明の一実施形態による内視鏡を較正するための方法の流れ図である。 本発明の一実施形態による内視鏡を較正するためのシステムを表した図である。
符号の説明
図1 内視鏡較正の方法
200 低倍率の内視鏡映像
300 高倍率の内視鏡映像
図4 内視鏡倍率の検出方法
図5 内視鏡較正の方法
600 内視鏡較正システム
610 画像収集構成要素
620 画像処理構成要素

Claims (15)

  1. 内視鏡を較正するための方法(100)であって、
    少なくとも1つの較正画像を含む較正画像組を収集する工程と、
    前記較正画像組に関する較正画像境界組を決定する工程であって、該較正画像境界組は較正画像組内の各較正画像に関する較正画像境界を含む決定工程と、
    臨床画像を収集する工程と、
    前記臨床画像に関する臨床画像境界を決定する工程と、
    を含む方法(100)。
  2. 前記較正画像組は較正画像を含みかつ前記較正画像境界組は較正境界を含む、請求項1に記載の方法(100)。
  3. 前記臨床画像境界と前記較正画像境界の比較に少なくともその一部で基づいて内視鏡倍率の変化をユーザに自動的に通知する工程をさらに含む請求項2に記載の方法(100)。
  4. 前記較正画像組は複数の較正画像を含む、請求項1に記載の方法(100)。
  5. 前記較正画像組内の各較正画像に関する較正画像パラメータを含む較正画像パラメータ組を決定する工程をさらに含む請求項4に記載の方法(100)。
  6. 前記較正画像境界組及び前記較正画像パラメータ組に少なくともその一部で基づいて較正画像パラメータ関数を決定する工程をさらに含む請求項5に記載の方法(100)。
  7. 前記臨床画像境界及び前記較正画像パラメータ関数に少なくともその一部で基づいて臨床画像パラメータを決定する工程をさらに含む請求項6に記載の方法(100)。
  8. 前記臨床画像パラメータに少なくともその一部で基づいて臨床画像を再収集する工程をさらに含む請求項7に記載の方法(100)。
  9. 前記較正画像及び前記臨床画像が内視鏡映像である、請求項1に記載の方法(100)。
  10. 前記較正画像境界及び前記臨床画像境界が内視鏡倍率を表している、請求項1に記載の方法(100)。
  11. 内視鏡を較正するためのシステムであって、
    少なくとも1つの較正画像を含む較正画像組を収集するように適応させており、かつ臨床画像を収集するように適応させている内視鏡と、
    前記較正画像組内の各較正画像に関する較正画像境界を含む較正画像組に関する較正画像境界組を決定するように適応させており、かつ前記臨床画像に関する臨床画像境界を決定するように適応させているプロセッサと、
    を含むシステム。
  12. 前記プロセッサは、前記臨床画像境界と前記較正画像境界組の比較に少なくともその一部で基づいて内視鏡倍率の変化をユーザに自動的に通知するように適応させている、請求項11に記載のシステム。
  13. 前記較正画像組は複数の較正画像を含む、請求項11に記載のシステム。
  14. 前記プロセッサは、前記較正画像組内の各較正画像に関する較正画像パラメータを含む較正画像パラメータ組を決定するように適応させている、請求項13に記載のシステム。
  15. 前記プロセッサは、前記臨床画像境界及び前記較正画像パラメータ関数に少なくともその一部で基づいて臨床画像パラメータを決定するように適応させている、請求項14に記載のシステム。
JP2007261450A 2006-10-12 2007-10-05 内視鏡を較正するためのシステム及び方法 Active JP5393968B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/546,799 2006-10-12
US11/546,799 US8052598B2 (en) 2006-10-12 2006-10-12 Systems and methods for calibrating an endoscope

Publications (3)

Publication Number Publication Date
JP2008093438A true JP2008093438A (ja) 2008-04-24
JP2008093438A5 JP2008093438A5 (ja) 2012-09-13
JP5393968B2 JP5393968B2 (ja) 2014-01-22

Family

ID=39185728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007261450A Active JP5393968B2 (ja) 2006-10-12 2007-10-05 内視鏡を較正するためのシステム及び方法

Country Status (3)

Country Link
US (1) US8052598B2 (ja)
JP (1) JP5393968B2 (ja)
DE (1) DE102007050343A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7892165B2 (en) * 2006-10-23 2011-02-22 Hoya Corporation Camera calibration for endoscope navigation system
US8294733B2 (en) * 2007-06-08 2012-10-23 Olympus Corporation Endoscopic image viewing program and method
US10092169B2 (en) 2008-07-08 2018-10-09 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
US8771177B2 (en) * 2008-07-08 2014-07-08 Karl Storz Imaging, Inc. Wide angle flexible endoscope
US8758234B2 (en) 2008-07-08 2014-06-24 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
US8223193B2 (en) 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
TWI579800B (zh) 2013-04-10 2017-04-21 國立清華大學 適用於廣角變焦鏡頭拍攝到之影像的影像處理方法
DE102016012147A1 (de) * 2016-10-13 2018-04-19 Schölly Fiberoptic GmbH Verfahren zur Kalibrierung einer Endoskopkamera
CN110335318B (zh) * 2019-04-28 2022-02-11 安翰科技(武汉)股份有限公司 一种基于摄像系统的消化道内物体测量方法
US20220005226A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Camera calibration using measured motion

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248806A (ja) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd 計測内視鏡装置
JP2001275955A (ja) * 2000-03-31 2001-10-09 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
JP2004000505A (ja) * 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd 内視鏡装置
JP2005017288A (ja) * 2003-06-03 2005-01-20 Topcon Corp ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6517487B1 (en) * 1995-03-01 2003-02-11 Lunar Corporation Ultrasonic densitometer with opposed single transducer and transducer array
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US6517478B2 (en) * 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6511418B2 (en) * 2000-03-30 2003-01-28 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating and endoscope
US20030035100A1 (en) * 2001-08-02 2003-02-20 Jerry Dimsdale Automated lens calibration
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
US7179221B2 (en) * 2002-03-28 2007-02-20 Fuji Photo Film Co., Ltd. Endoscope utilizing fiduciary alignment to process image data
JP4009850B2 (ja) * 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
JP4009851B2 (ja) * 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
US7349580B2 (en) * 2003-06-03 2008-03-25 Topcon Corporation Apparatus and method for calibrating zoom lens
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3882929B2 (ja) * 2004-03-29 2007-02-21 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
US7517089B2 (en) * 2004-03-29 2009-04-14 Seiko Epson Corporation Image processing system, projector, information storage medium, and image processing method
US7116265B2 (en) * 2005-02-10 2006-10-03 Raytheon Company Recognition algorithm for the unknown target rejection based on shape statistics obtained from orthogonal distance function
US7534205B2 (en) * 2006-02-27 2009-05-19 Microvision, Inc. Methods and apparatuses for selecting and displaying an image with the best focus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248806A (ja) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd 計測内視鏡装置
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
JP2001275955A (ja) * 2000-03-31 2001-10-09 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2004000505A (ja) * 2002-03-28 2004-01-08 Fuji Photo Film Co Ltd 内視鏡装置
JP2005017288A (ja) * 2003-06-03 2005-01-20 Topcon Corp ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置

Also Published As

Publication number Publication date
US20080091069A1 (en) 2008-04-17
US8052598B2 (en) 2011-11-08
DE102007050343A1 (de) 2008-04-17
JP5393968B2 (ja) 2014-01-22

Similar Documents

Publication Publication Date Title
JP5393968B2 (ja) 内視鏡を較正するためのシステム及び方法
JP5775244B2 (ja) 医学的イメージング・ボリュームの3dグラフィカル・プリスクリプションのためのシステム及び方法
TWI595437B (zh) 術中追蹤方法
JP6534998B2 (ja) 医療画像を表示する方法及び装置
EP2046223B1 (en) Virtual penetrating mirror device for visualizing virtual objects in angiographic applications
JP2006320722A (ja) 対象領域の2d撮像の表示範囲の拡張方法
WO2013031718A1 (ja) X線診断装置及びx線診断用のステント
JP2008532612A (ja) 診療処理中の3次元ボリュームデータとの2次元情報の位置合わせのための画像処理システム及び方法
US20130257910A1 (en) Apparatus and method for lesion diagnosis
Mirota et al. Evaluation of a system for high-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for image-guided skull base surgery
CN111904379B (zh) 多模态医学设备的扫描方法和装置
US20110286653A1 (en) Method for processing radiological images to determine a 3d position of a needle
CN112654314A (zh) 外部固定装置的放射线图像和三维模型的配准方法和系统
JP2009082465A (ja) 画像表示装置および画像表示プログラム
JP5844732B2 (ja) インターベンション装置を観察するためのシステム及び方法
KR20180116090A (ko) 의료용 네비게이션 시스템 및 그 방법
JP5379960B2 (ja) 3次元画像処理装置及び再構成領域指定方法
CN107705350B (zh) 医学图像生成方法、装置及设备
KR101783964B1 (ko) 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법
KR101118549B1 (ko) 의료용 융합영상 획득장치 및 획득방법
JP6955909B2 (ja) 画像処理装置
US20080144910A1 (en) Image fusion visualization
Bayrak et al. A novel rotation invariant and Manhattan metric–based pose refinement: Augmented reality–based oral and maxillofacial surgery
KR20180054020A (ko) 의료 영상 장치 및 의료 영상 처리 방법
EP4128145B1 (en) Combining angiographic information with fluoroscopic images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100930

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131016

R150 Certificate of patent or registration of utility model

Ref document number: 5393968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250