JP2023064077A - 内視鏡カメラ装置およびカメラ位置合わせエラーの補正のための方法 - Google Patents

内視鏡カメラ装置およびカメラ位置合わせエラーの補正のための方法 Download PDF

Info

Publication number
JP2023064077A
JP2023064077A JP2022168246A JP2022168246A JP2023064077A JP 2023064077 A JP2023064077 A JP 2023064077A JP 2022168246 A JP2022168246 A JP 2022168246A JP 2022168246 A JP2022168246 A JP 2022168246A JP 2023064077 A JP2023064077 A JP 2023064077A
Authority
JP
Japan
Prior art keywords
camera
image
optical
objective lens
shaft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022168246A
Other languages
English (en)
Inventor
ファイサル・カリム
Faisal Kalim
スバモイ・マンダル
Subhamoy Mandal
シリシュ・ジョシ
Shirish Joshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Erbe Vision GmbH
Original Assignee
Erbe Vision GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Erbe Vision GmbH filed Critical Erbe Vision GmbH
Publication of JP2023064077A publication Critical patent/JP2023064077A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00052Display arrangement positioned at proximal end of the endoscope body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00195Optical arrangements with eyepieces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

【課題】拡張現実アプリケーションは、全体的な目標登録エラーを低減するために、正確なカメラ較正を必要とする。カメラ較正は、物理的な世界空間がカメラ画像空間にどのようにマッピングされるかを決定するためにカメラの数学的モデルを決定し、したがってカメラの光学系に極めて依存する。カメラ較正アルゴリズムは、通常、カメラの光学系がしっかりと固定されていると仮定しており、実際には、少なくとも傾斜腹腔鏡カメラ用ではない。さらに、対物レンズの要素と画像変換器との間の任意の機械的遊びは、光学系を変動的にする。【解決手段】本発明によれば、マーカが、腹腔鏡カメラ(12)の視野内に置かれ、これにより、光学部分の回転および機械的位置ずれの決定を、追加のセンサの必要なしに、または提供することなく可能にする。【選択図】図1

Description

本発明は、内視鏡、特に腹腔鏡カメラ装置、および腹腔鏡カメラ装置によって取り込まれた画像の較正を補正するための方法に関する。
腹腔鏡カメラは、通常、腹腔鏡器具を用いて通常行われる手術中にライブ画像を取り込むために、患者の身体内に置かれるように適合された剛性の細長いシャフトを有する。腹腔鏡カメラは、外科医が手術を行い、制御するために手術中に見ることができる画像を生成する。
独国特許出願公開第102018121711号明細書は、光学システムが遠位端に置かれた細長いシャフトを有する内視鏡カメラを開示している。光学システムは、対物レンズと電子画像変換器と、を含む。
横方向に見る内視鏡カメラが、米国特許出願公開第2015/012081号明細書から得ることができる。ビデオ内視鏡のシャフトの遠位端には、シャフトの長手方向軸の周りで画像センサに対して移動可能な対物レンズが、設けられている。視線方向は、視線方向切替コマンドによって第1の視線方向から第2の視線方向に切り替えられ得る。
特開2010-008483号公報は、検査される物体、例えば長尺の管状構造物を遠隔から目視検査する際に、位置情報および/または方位情報を表示可能な撮像デバイスを開示している。撮像部には、加速度センサおよび/または地磁気センサが配置される。センサから出力された位置および方位情報は、撮像部からのビデオ信号と組み合わせられる。
さらに、米国特許出願公開第2005/027167号明細書は、内視鏡のビデオカメラシステムから得られた画像が様々な向きで移動するときに画像の表示を補償する装置を開示している。受け取られた光学画像は、画像センサによって電気信号に変換される。内視鏡ビデオカメラシステムは、内視鏡の光軸を中心とした、受け取られた画像の回転を感知する慣性センサを備える。センサの出力信号は、画像または画像センサのいずれかを回転させるために使用される。画像センサの回転の場合、回転センサは、ジャイロスコープまたは加速度計の対とすることができる。
可変視野方向内視鏡用のインターフェースが、米国特許出願公開第2003/114730号明細書から得ることができる。インターフェースは、ユーザからのコマンドを受信するための入力デバイスと、内視鏡を調整するための出力デバイスと、所与の入力に基づいて適切な出力を決定するための電子処理デバイスと、を有する。処理デバイスは、現在の視野と位置合わせされた座標系、ユーザの周囲と位置合わせされた座標系、操作キャビティと位置合わせされた座標系、ユーザが選択した視野方向への即時復帰を容易にするためのメモリ、および現在の視野方向の明確な指示を含む操作支援機能を可能にするように構成され得る。
さらなる先行技術が、欧州特許出願公開第1692996号明細書、欧州特許出願公開第2429376号明細書、独国特許出願公開第102008057734号明細書、欧州特許出願公開第3539457号明細書から得ることができる。
手術中、外力が細長いシャフトおよび光学システムに作用し、画像センサ内に画像転位を引き起こす可能性がある。これらの転位は、手術結果の精度に悪影響を及ぼす可能性がある。したがって、本発明の目的は、これらの転位の有害な影響を回避することである。
本発明の概念は、内視鏡、特に腹腔鏡カメラ装置であって、近位端から遠位端まで中心軸に沿って延び、動物または人間の身体内に導入されるように適合された細長いシャフトを備える、腹腔鏡カメラ装置を提供する。シャフトは、その遠位端にある光入射窓と、シャフト内、もしくはシャフトの近位端に、または代替的に遠位端に置かれたカメラと、を備える。カメラは、画像変換器と、画像変換器に光学的に結合された対物レンズと、を備える。画像変換器は、カメラチップであって、チップの表面に投影された光学画像を電気画像信号に変換するように適合される、カメラチップであってもよい。本発明によれば、少なくとも1つの光学マーカが、画像変換器上に投影されるために対物レンズの光路内に置かれる。
本発明の概念は、不注意または意図的に引き起こされたかどうかにかかわらず、手術中に対物レンズが画像変換器に対して受け得る変形、置き間違いおよび移動の検出および補正を可能にする。これらの移動、変形、または置き間違いは、画像変換器において少なくとも1つの光学マーカの画像を再配置する。そのため、腹腔鏡カメラ装置の数学的投影モデルは、画像変換器に対する対物レンズの位置の変化に従って補正され得る。対物レンズの位置の変化は、特に、斜めまたは横方向に見る対物レンズの場合のように、シャフトの長手方向軸の周りの対物レンズまたはその一部の回転であり得る。対物レンズの機械的変形または転位は、画像変換器に投影されたマーカの画像の再配置から導出され、カメラ装置によって取り込まれた全ての画像の位置データを補正するために使用される。位置データは、腹腔鏡カメラによって撮像された対象物の空間位置を示す。
少なくとも1つの光学マーカは、対物レンズの画像平面内に、またはシャフトの遠位端に置かれた光学システムの光入射窓に置かれ得る。好ましくは、光学システムは、少なくとも1つの光学マーカがその中に置かれるような深さ定義を定める。
特定の実施形態では、対物レンズは、画像変換器に回転可能に固定されるが、好ましい実施形態では、対物レンズまたはその一部は、画像変換器に移動可能に接続されてもよい。特に、対物レンズは、光入射窓が設けられ、画像変換器に対して回転可能に固定されたアダプタを備えることができる。これは、対物レンズが、シャフトの長手方向軸に対して傾けられる光軸を有する「横方向に見る」対物レンズである場合に特に有用である。対物レンズの遠位部または対物レンズ全体を回転させることによって、視線方向を変えることができる。本発明の概念は、追加のセンサなしで視線方向の回転位置を決定することを可能にする。
本発明のカメラ装置は、好ましくは、視野内の光路内に置かれた少なくとも1つ、好ましくは2つ、3つ、または4つ以上の光学マーカを備える。好ましくは、光学マーカのいずれも、全ての光学マーカが一緒に非対称構造を形成するように固有のパターンを備える。そのため、マーカは、対物レンズまたはその一部がどれだけ回転されても混同され得ない。マーカは、それら自体が互いに対称ではなくても、互いに鏡像対称に置くことができ、好ましくは置かれる。好ましくは、光学マーカは、斜めまたは横方向に見る対物レンズの場合のように、シャフトの長手方向軸の周りの対物レンズまたはその一部の回転など、対物レンズの位置の変化中、視野内に留まる。
本発明は、全体的な目標登録エラーを低減するために、または腹腔鏡画像から構造の正確な位置を得るために典型的には正確なカメラ較正を必要とする、拡張現実用途およびいくつかの他の用途に関連して特に有用である。カメラ較正のために、定期的に、既知の較正グリッドの多数の画像を複数のポーズから取得し、次いでカメラ較正アルゴリズムに供給する必要がある。カメラ較正は、基本的に、物理的な世界空間がカメラ画像センサ空間にどのようにマッピングされるかを決定するために、カメラの数学的モデルを決定しようと試みる。カメラの数学的モデルは、カメラの光学系に大きく依存する。通常、カメラ較正アルゴリズムは、カメラの光学系がしっかりと固定されていると仮定する。しかし、これは傾斜回転式腹腔鏡カメラには当てはまらないので、本発明は、カメラ較正のための容易な方法を提供する。これは、腹腔鏡の幾分可撓性のシャフトに曲げ力が作用する場合にも当てはまる。
光結合器を使用して、カメラセンサを有するカメラユニットを腹腔鏡に接続することができる。結合器は、腹腔鏡のシャフトをカメラユニットに回転可能に接続する。シャフトを回転させることは、特にシャフトの遠位端にある斜めまたは横方向に見る光学系には必要である。カプラに機械的遊びが不可避的に存在することで、物理的な世界空間がカメラの画像変換器にどのようにマッピングされるかが不確実になる可能性がある。腹腔鏡の光学系のこれらの不確実性および/または回転は、カメラの数学的モデルが適合または補正され得るように、光学マーカによって追跡され得る。
腹腔鏡は、腹腔鏡の位置および向きを検出するために、腹腔鏡の近位端に堅固に接続された三角測量マークまたは三角測量体(例えば、三角測量マークまたは三角測量体のセットを含む位置インジケータ)を備えることができる。
シャフトの柔軟な変形により、カメラセンサ上の画像がシフトし、そのため画像の位置特定の精度が低下する。光学マーカは、それらの位置特定エラーを検出し、それらを補正するのに役立つ。好ましくは、光学マーカは、光入射窓に、もしくは光入射窓の近傍に、または少なくともシャフトの遠位端の近くに置かれる。そのため、シャフトの撓みに起因する位置特定エラーを確実に検出することが可能になる。いずれの場合でも、光学マーカは、センサ上の画像の転位を引き起こし得る腹腔鏡のいずれの部分も、マーカと画像センサとの間に置かれるように置かれる。これらの部分は、可撓性シャフトおよび結合器であってもよい。
本発明のカメラ装置のさらなる詳細は、本明細書、特許請求の範囲、および図面から得ることができる。
手術中のカメラ装置および患者を示す図である。 腹腔鏡カメラ装置の斜視図である。 腹腔鏡カメラ装置の別の斜視図である。 図2aによる腹腔鏡カメラ装置の遠位端の概略長手方向断面図である。 歪みなく画像変換器によって見られるカメラ装置の光学マーカを示す図である。 腹腔鏡が機械的不正確さ、機械的遊びを受けている、および/または保留力を受けている、画像変換器によって見られる光学マーカを示す図である。 横方向を見る光入射窓を備える腹腔鏡カメラ装置の遠位端の概略長手方向断面図である。 斜視型対物レンズの概略部分図である。 斜視型腹腔鏡カメラの遠位端の斜視図である。 対物レンズが回転して歪んでいる光画像変換器を示す図である。
図1は、腹腔鏡手術中、腹腔鏡カメラ12が患者10の身体13内に置かれた状態で患者支持テーブル11上に患者10が横たわっている手術場所を示す。腹腔鏡器具14もまた、手術を行うために患者の身体内13に配置され得る。腹腔鏡カメラ12は、腹腔鏡カメラ12、処理ユニット16、および表示ユニット17を含む腹腔鏡カメラ装置15に属する。表示ユニット17は、腹腔鏡カメラ12で撮像されたライブ画像を表示するための画面であり得る。腹腔鏡カメラ12のライブ画像を外科医に提示するために、画面の代わりに仮想現実装置(VR)を使用することも可能である。
腹腔鏡カメラ12は、患者10の位置に対して腹腔鏡カメラ12を位置決めするように適合された位置確認システム18に接続され得る。位置確認システム18は、カメラ12の空間位置を検出するための2つ以上のセンサ19、20を備えることができる。図2aおよび図2bに示すように、位置インジケータ21が、カメラ12を設けることができ、このインジケータ21は、三角測量によって空間内に位置することができる。位置インジケータ21は、カメラ12のシャフト25の位置および向きを一義的に検出するためのインジケータ体または三角測量マーク(三角測量体)21a~21dのセット22を備えることができる。位置インジケータ21は、シャフト25、特にシャフト25の近位端25aにしっかりと接続され得る。腹腔鏡カメラ12の位置データを決定するために、任意の他のタイプの位置検知手段および方法を使用することができることを理解されたい。
処理ユニット16は、手術が行われる身体13の領域の医用スキャン画像を表すデータを医用撮像システム23から受け取ることができる。あるいは、データは、悪性組織などの関心のある重要構造のグラフィカル表現、またはスキャン画像とグラフィカル表現の組み合わせを表すことができる。処理ユニット16は、医用撮像システム23によって提供される医用画像および腹腔鏡カメラ12によって供給されるライブ画像を重ねるように適合される。表示ユニット17は、ライブ画像に医用画像またはその構造が登録されたライブ画像を再生することができる。処理ユニット16は、追加的または代替的に、ライブ画像および医用画像から導出されたグラフィック表現を重ねるように適合され得る。グラフィック表現は、関心のある特定の組織構造を示すことができる。
ライブ画像および撮像システム23のスキャン画像(および/またはグラフィカル表現)を登録するために、カメラ12によって見られる構造の正確な位置が知られ、処理ユニット16が利用可能でなければならない。したがって、カメラ12は、較正されなければならない。カメラ較正のために、知られている較正グリッドの多数の画像が複数の目的のために取得され、次いで処理ユニット16上で実行され得るカメラ較正アルゴリズムに供給され得る。カメラ較正アルゴリズムは、カメラの数学的モデルを生成する。
患者の身体13の外側で較正中に取得された数学的モデルは、手術中に完全には有効ではない可能性があることが判明した。これは、対物レンズに作用する力が何らかの変形または転位を引き起こす場合に特に当てはまる。さらに、数学的モデルは、斜視型対物レンズの視線方向、すなわち回転可能な対物レンズの回転位置を特徴付ける入力を必要とし得る。
別の実施形態では、本発明の腹腔鏡カメラ装置15は、任意の医用撮像システムからのデータをライブ画像に登録することなく使用されてもよい。画像センサにおいて撮像される、遠位端に置かれた光学マーカは、マーカと画像センサとの間のアイテムの遊びまたは偏向によって引き起こされるあらゆる機械的不正確さを示す。これにより、例えば三角測量によって位置インジケータ21の位置を測定して得られた位置データの補正が可能になる。生理学的構造を検出するために画像認識アルゴリズムが画像に適用される場合、シャフトの機械的遊びまたは偏向によって引き起こされる撮像不良を補正することにより、検出された組織構造の真の位置を正確に決定することが可能になる。
図2aは、カメラシステム26を遠位端に有するシャフト25に固定されたハンドル24を備える腹腔鏡カメラ12の1つの実施形態を示す。カメラシステム26は、図3または図6、図7、および図8に示すようなカメラユニット27を備える。カメラシステム26は、シャフト25の遠位端に装着された回転可能な部分28を有することができる。回転は、サムホイール29によって制御されてもよく、または任意の他の要素がハンドル24上に置かれてもよい。焦点面を移動させるためにカメラシステム26のそれぞれの部分を移動させるために、および/または1つまたは複数の光学要素を長手方向に移動させることによってズーム機能を提供するために、別のサムホイール30が、ハンドル24に設けられてもよい。
図2bは、カメラシステム26を遠位端に有するシャフト25に固定されたハンドル24を備える腹腔鏡カメラ12の別の実施形態を示す。カメラシステム26は、図3または図6、図7、および図8に示すようなカメラユニット27を備える。カメラシステム26は、シャフト25の遠位端に装着された回転可能な部分28を有することができる。回転は、サムホイール29によって制御されてもよく、または任意の他の要素がハンドル24上に置かれてもよい。焦点面を移動させるためにカメラシステム26のそれぞれの部分を移動させるために、および/または1つまたは複数の光学要素を長手方向に移動させることによってズーム機能を提供するために、別のサムホイール30が、ハンドル24に設けられてもよい。
カメラシステム26は、画像変換器31、例えば、その表面に投影された画像を、ケーブル32または任意の他の適切な伝送手段を介して処理ユニット16に供給される電気信号に変換するための半導体チップを備える。
カメラシステム26は、実物体36の画像をカメラユニット27の画像変換器31の表面に投影するための少なくとも1つ、好ましくは2つ以上のレンズ34、35を備える対物レンズ33を備える。対物レンズ33は、いくつかのレンズ(34、35)と、アパーチャ37と、物体36に隣接する光入射窓38と、を備えることができる。さらに、対物レンズは、マーカ39から42の画像が画像変換器31に投影されるように、キャリアの周辺領域に置かれた光学マーカ39、40、41、42を備えることができる。マーカ39から34は、光入射窓38上に、または例えば、実画像がレンズ34、35間に存在する実像面43の位置に置かれた別個のキャリアに置かれてもよい。マーカ39から42が光入射窓38上に置かれる場合、光入射窓38は、好ましくは、対物レンズ33の被写界深度の領域内に配置される。好ましくは、マーカ39、40、41、42は、画像センサ31から可能な限り離れて、例えば器具12の遠位端に置かれる。
図2aによれば、カメラシステム26は、器具12の遠位端に全て配置されているが、図2bによれば、カメラシステム26は、シャフト25の遠位端に(および/またはシャフトに沿って)置かれた対物レンズ33を備えることができ、その一方で画像変換器31を有するカメラユニット27は、シャフトの近位端に位置する。対物レンズ33は、シャフト内に配置されたレンズによって画像変換器31に光学的に接続される。図3および図6は、図2aの実施形態および図2bの実施形態でも機能することができるその基本原理による、対物レンズ33およびカメラユニット27を示している。スイベルジョイントカップリング25bが、カメラユニット27をシャフトの遠位端25aに機械的に結合する。
スイベルジョイントカップリングは、シャフト25をその長手方向軸Aの周りで回転させることを可能にする。さらに、スイベルジョイントカップリング25bは、カメラユニット27をシャフト25に着脱可能に接続する。本発明の全ての実施形態に好ましいように、いずれも、スイベルジョイントカップリング25bは、カメラユニット27とマーカ39、40、41、42との間に位置する。図2bの実施形態では、やや可撓性のシャフト25およびスイベルジョイントカップリング25bの両方は、カメラユニット27とマーカ39、40、41、42との間に配置される。そのため、カメラユニット27とマーカ39、40、41、42との間で、全ての関連する不正確さの原因が捕捉される。
本発明のカメラ装置は、好ましくは、4つのマーカ39から42を使用するが、異なる数のマーカ、例えば、1つ、2つ、3つ、5つ以上を使用することが可能である。基本的に、任意の数のマーカおよび任意のタイプのマーカが、機能することができる。しかし、各マーカ39、40、41、および42が、固有であり、かつその位置を示す個々の設計を有するように、固有のマーカを使用することが非常に好ましい。言い換えれば、好ましくは、マーカ39~34は、シフトをしても回転をしても、マーカのいずれの他のものと一致しない。
図4から得ることができるように、マーカ39から42は、対称パターンを形成しない。マーカ39から42の独自の設計により、垂直線43から見ても、水平線44から見ても、図4に示す光軸45から見ても対称性はない。いずれのマーカ39~42も、固有のQRコード(登録商標)またはArucoマーカであり得る。しかし、マーカ39~42の場所は、互いに直角に交差する線43および44に対して対称的に位置することができる。別の実施形態では、マーカ39から42は、線43、44に対して対称的に置かれない。マーカ39~42は、長方形、正方形、菱形、またはトラップのコーナに置くことができる。しかし、他のパターンも可能である。
本発明のシステムは、以下のように動作する。
動作中、腹腔鏡カメラ12は、位置確認システム18によって位置確認され、ライブ画像を取り込み、ライブ画像は、表示ユニット17上で再生するために処理ユニット16に送出される。医用撮像システム23によって供給される医用スキャン画像は、スキャン画像に重ねることができ、それにより、表示ユニット17は、器具14のツールのライブ画像、実際の組織のライブ再生、および医用スキャン画像から得られてもよく、または医用スキャン画像の内で検出された組織構造のグラフィカル表面であってもよい1つまたは複数の構造Sを表示する。
腹腔鏡カメラ12は、機械的遊び、曲げ力、または他の原因に起因して、シャフト25のいくらかの変形、または対物レンズ33に対する画像変換器31のいくらかの位置ずれを受ける可能性がある。曲げ力が対物レンズ33の変位をもたらす場合、マーカ39から42のパターンは、図5に示されるように変位される。マーカ39から42の変位は、対物レンズ33に対する画像変換器31の位置ずれを検出および補正するための基礎を形成することができる。ホモグラフィ行列を計算し、使用して、画像変換器によって取得された画像を再計算するすることができる。そのため、映像は歪みが除去されて正確になる。
図5は、対物レンズ33に対する画像変換器31の位置ずれに起因する、画像の中心における光軸45のシフトを示し、ここでは新しい光軸45’が、確立されている。処理ユニット16は、マーカ39から42の変位を検出し、カメラ12の数学的モデルを補正する。補正されたカメラモデルは、ライブ画像をスキャン画像に正しく登録することを可能にし、それにより、外科医は、正しく登録されていないスキャンおよびライブ画像によって惑わされない。
図3によるカメラシステム26は、実証目的のために軸方向に向けられ(すなわち、軸方向光軸45に平行に見る)、対物レンズ33は、固定焦点距離を有することができるが、焦点距離を変更するため、および/またはサムホイール30を回すことによってズーム効果を提供するために、レンズのうちの1つまたは2つを移動させることが可能である。両方とも、マーカ39’~42’によって図4に示されるように、マーカ39~42の位置を変更することができる。ここでも、処理ユニット16は、画像変換器31上のマーカ39’から34’の投影の変位に従ってカメラモデルを修正することができる。
図3の対物レンズ33は軸方向に向けられているが、本発明は、図6、図7、および図8に示すように、横方向に向けられた対物レンズでもさらに有用である。図6は、光軸45を横方向に偏向させるために光入射窓38の近傍に鏡46を有する対物レンズ33を示す。対物レンズ33は、レンズLを備え、このレンズは、カメラチップ、CCDカメラ、CMOSカメラ、または任意の他の画像取得システムであってもよい画像変換器31において物体Oの映像を生成するためにシャフト25の長さに沿って置かれる。対物レンズ33を含むシャフト25は、平面Pで回転することができる。この平面Pは、対物レンズ33と画像変換器31との間に位置することができる。
同じことが、図7の対物レンズ33’’にも当てはまり、この対物レンズは、図8に追加的に示され、少なくとも1つの光ガイド48と、物体Oを照明するための少なくとも1つの光源49と、を備える。対物レンズ33’’は、腹腔鏡カメラの視野方向を横方向に向けるためのプリズム47を光入射窓38にさらに備える。レンズLは、シャフト25の長さに沿って配置される。シャフト25のあらゆる歪みまたは曲げは、画像変換器31における物体Oの画像の位置特定を変化させる。そのため、図9に示すように、マーカ39’’から42’’の位置特定を変化させる。
図9から得ることができるように、マーカ39’’から42’’は、このとき、光軸45に対して回転され、および/またはシフトされ、それにより、マーカ39’’から42’’によって画定される長方形が、回転される。さらに、対称線43’’および44’’は、元の光軸45ではなく新しい光軸45’’と交差することができる。画像処理ユニット16は、これらの変位を検出し、数学的カメラモデルを適合または補正することができ、これは、医用画像およびライブ画像を登録するのに役立つ。これは全て、対物レンズの回転(または横方向変位)を検出するための特定のセンサを設けることなく行うことができる。
拡張現実アプリケーションおよび他のアプリケーションは、全体的な目標登録エラーを低減するために精密なカメラ較正を必要とする。カメラ較正は、物理的な世界空間がカメラ画像空間にどのようにマッピングされるかを決定するためにカメラの数学的モデルを決定し、したがってカメラの光学系に極めて依存する。カメラ較正アルゴリズムは、通常、カメラの光学系がしっかりと固定されていると仮定しており、実際には、少なくとも図6~図8に示すような傾斜腹腔鏡カメラ用ではない。さらに、対物レンズの要素と画像変換器との間の任意の機械的遊びは、光学系を変動的にする。本発明によれば、マーカ39から42が、腹腔鏡カメラ12の視野内に置かれ、これにより、光学部分の回転および機械的位置ずれの決定を、追加のセンサを必要とすることなく、または提供することなく可能にする。
10 患者
11 患者支持体
12 腹腔鏡カメラ
13 患者10の身体
14 腹腔鏡器具
15 腹腔鏡カメラ装置
16 処理ユニット
17 表示ユニット
18 位置確認システム
19,20 センサ
21 位置インジケータ
22 インジケータ体または三角測量マークのセット
22a~22d インジケータ体
23 医用撮像システム
24 ハンドル
25 シャフト
25a シャフト25の近位端
25b スイベルジョイントカップリング
26 カメラシステム
27 カメラユニット
28 カメラシステム26の一部
29,30 サムホイール
31 画像変換器
32 ケーブル
33 対物レンズ(33’または33”も同様)
34,35 レンズ
36 物体
37 アパーチャ
38 光入射窓
39~42(光学)マーカ
39’~42’ 再配置された(光学)マーカ
S 構造
43,43’ 垂直対称線
44,44’ 水平対称線
45,45’ 光軸
46 鏡
P 平面
O 物体
L レンズ
47 プリズム
48 光ガイド
49 光源

Claims (15)

  1. 内視鏡、特に腹腔鏡カメラ装置(15)であって、
    近位端から遠位端まで中心軸(45)に沿って延び、動物または人間の身体(13)に導入されるように適合され、遠位端に光入射窓(39)を備える細長いシャフト(25)と、
    前記シャフト(25)の前記遠位端に光入射窓(38)を有し、前記光入射窓(38)を通って延びる光路を有する対物レンズ(33)を備え、光学画像を受け取るために前記対物レンズ(33)に光学的に結合された画像変換器(31)を有するカメラユニット(27)を備えるカメラシステム(26)と、
    前記画像変換器(31)上に描写されるために前記シャフト(25)の前記遠位端の前記光路内に置かれた少なくとも1つの光学マーカ(39)と、を備える、カメラ装置。
  2. 前記少なくとも1つの光学マーカ(39)が、前記光入射窓(38)上に置かれる、請求項1に記載のカメラ装置。
  3. 前記対物レンズ(33)が、前記画像変換器(31)に対して高速で回転する、請求項1または2に記載のカメラ装置。
  4. 前記光入射窓(38)が設けられた前記対物レンズ(33’、33’’)が、前記画像変換器(31)に対して回転可能に装着される、請求項1または2に記載のカメラ装置。
  5. 前記光入射窓(38)が、プリズムである、請求項1に記載のカメラ装置。
  6. 前記対物レンズ(33)が、軸方向光軸(45)を備える、請求項1に記載のカメラ装置。
  7. 前記対物レンズ(33’、33’’)が、横方向に向けられた光軸(45’)を備える、請求項1に記載のカメラ装置。
  8. 前記光入射窓(38)が、前記細長いシャフト(25)に対して傾けられる、請求項1に記載のカメラ装置。
  9. 前記少なくとも1つの光学マーカ(39)が、前記光路の中心から距離を置いて、前記対物レンズ(33)の任意の倍率で前記画像センサ(31)上に撮像される位置に置かれる、請求項1に記載のカメラ装置。
  10. 少なくとも2つ、3つ、または4つの光学マーカ(39~42)が、前記光路の周囲に置かれる、請求項1に記載のカメラ装置。
  11. 前記光学マーカ(39~42)のいずれもが、固有のパターンを備える、請求項1に記載のカメラ装置。
  12. 前記光学マーカ(39~42)が、一緒に非対称構造を形成する、請求項1に記載のカメラ装置。
  13. 前記シャフトが、位置インジケータ(21)に接続される、請求項1に記載のカメラ装置。
  14. 数学的カメラ投影モデルに適用されるためのねじれおよび歪みパラメータのうちの少なくとも一方を決定するためのカメラ補正ユニット(16)を備える、請求項1に記載のカメラ装置。
  15. 請求項1に記載の腹腔鏡カメラ装置によって取り込まれた画像を補正するための方法であって、
    光路内に置かれた少なくとも1つの光学マーカ(39)を画像変換器(31)に投影するステップと、
    前記腹腔鏡カメラ装置の数学的投影モデルを決定するステップと、
    を含む、方法。
JP2022168246A 2021-10-25 2022-10-20 内視鏡カメラ装置およびカメラ位置合わせエラーの補正のための方法 Pending JP2023064077A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21204573.6A EP4169469A1 (en) 2021-10-25 2021-10-25 Laparoskopic camera arrangement and method for camera alignment error correction
EP21204573 2021-10-25

Publications (1)

Publication Number Publication Date
JP2023064077A true JP2023064077A (ja) 2023-05-10

Family

ID=78414239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022168246A Pending JP2023064077A (ja) 2021-10-25 2022-10-20 内視鏡カメラ装置およびカメラ位置合わせエラーの補正のための方法

Country Status (6)

Country Link
US (1) US20230125959A1 (ja)
EP (1) EP4169469A1 (ja)
JP (1) JP2023064077A (ja)
KR (1) KR20230059158A (ja)
CN (1) CN116570222A (ja)
BR (1) BR102022020506A2 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7037258B2 (en) 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
GB0114918D0 (en) 2001-06-19 2001-08-08 Vortex Innovation Ltd Devices for repairing aneurysms
US6663559B2 (en) 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
US7956887B2 (en) 2005-02-17 2011-06-07 Karl Storz Imaging, Inc. Image orienting coupling assembly
JP2010008483A (ja) 2008-06-24 2010-01-14 Nisco Kk 撮像装置
DE102008057734B4 (de) 2008-11-17 2016-07-28 Digital Endoscopy Gmbh Videoendoskop
EP2429376B1 (en) 2009-05-08 2016-10-19 Boston Scientific Scimed, Inc. Endoscope with distal tip having encased optical components and display orientation capabilities
EP3539457B1 (en) 2013-03-15 2021-12-08 DePuy Synthes Products, Inc. Image rotation using software for endoscopic applications
US10426345B2 (en) * 2013-04-04 2019-10-01 Children's National Medical Center System for generating composite images for endoscopic surgery of moving and deformable anatomy
US20160191901A1 (en) * 2014-12-24 2016-06-30 3M Innovative Properties Company 3d image capture apparatus with cover window fiducials for calibration
DE102018110082A1 (de) * 2018-04-26 2019-10-31 avateramedical GmBH Sterile Endoskophülle
DE102018121711A1 (de) 2018-09-05 2020-03-05 Olympus Winter & Ibe Gmbh Endoskop
US11166623B2 (en) * 2019-04-23 2021-11-09 Arthrex, Inc. Field stop fluorescent indicator system and method

Also Published As

Publication number Publication date
US20230125959A1 (en) 2023-04-27
CN116570222A (zh) 2023-08-11
KR20230059158A (ko) 2023-05-03
EP4169469A1 (en) 2023-04-26
BR102022020506A2 (pt) 2023-05-09

Similar Documents

Publication Publication Date Title
US11863733B2 (en) Targets, fixtures, and workflows for calibrating an endoscopic camera
US20230073561A1 (en) Device and method for tracking the position of an endoscope within a patient's body
CN108366833B (zh) 手术信息处理设备和方法
US20050148854A1 (en) Diagnosis supporting device
US7585273B2 (en) Wireless determination of endoscope orientation
US7912532B2 (en) Method and instrument for surgical navigation
JP5137033B2 (ja) 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
US20110060185A1 (en) Medical device system and calibration method for medical instrument
JP2017518148A (ja) マルチポートの視点からの手術シーンの定量的な3次元イメージング
JP5113990B2 (ja) 計測用内視鏡装置
JP5561458B2 (ja) 手術支援システム
KR101652888B1 (ko) 수술 내비게이션에 의해 수술도구를 표시하는 방법
WO2017170488A1 (ja) 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置
JP2023064077A (ja) 内視鏡カメラ装置およびカメラ位置合わせエラーの補正のための方法
JP4472080B2 (ja) 顕微鏡下手術支援システム
US20230032791A1 (en) Measuring method and a measuring device
KR102516406B1 (ko) 내시현미경에 의해 획득되는 이미지를 스티칭하기 위해 위치 정보를 캘리브레이션하는 방법 및 장치
JP2017185212A (ja) 光軸位置測定システム、光軸位置測定方法、光軸位置測定プログラム、光軸位置測定装置
JP2024021859A (ja) 手術ナビゲーションシステム、焦点位置登録方法、および、手術ナビゲーション方法
JP2004173973A (ja) 斜視内視鏡用投影モデルのパラメータ推定方法
JP4460700B2 (ja) 術部観察システム
JP2004173972A (ja) 斜視内視鏡用画像処理システムおよびこれを備えた斜視内視鏡装置
Weber et al. A mobile and navigated image viewer for surgery-evaluation of precision
Gutiérrez-Zúñiga et al. Calibration of an optical stereo-tracker with a videometric system using the pair-point method for IGS
JP2005111115A (ja) 立体マーカ、これを用いた被験体の向き位置測定方法及び装置