JP2022550913A - リアルタイム画像処理を使用するビデオガイド付き臨床手技中に視界の方向を変更するためのシステムおよび方法 - Google Patents

リアルタイム画像処理を使用するビデオガイド付き臨床手技中に視界の方向を変更するためのシステムおよび方法 Download PDF

Info

Publication number
JP2022550913A
JP2022550913A JP2022520932A JP2022520932A JP2022550913A JP 2022550913 A JP2022550913 A JP 2022550913A JP 2022520932 A JP2022520932 A JP 2022520932A JP 2022520932 A JP2022520932 A JP 2022520932A JP 2022550913 A JP2022550913 A JP 2022550913A
Authority
JP
Japan
Prior art keywords
camera
image
source
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022520932A
Other languages
English (en)
Other versions
JPWO2021071991A5 (ja
Inventor
アルメイダ バレット、ジョアン ペドロ デ
サントス ラポソ、カロリーナ ドス
アントゥネス、ミシェル ゴンサルヴェス アルメイダ
ジョルジュ メロ テイシェイラ、ルイ
Original Assignee
エス アンド エヌ オリオン プライム エス．エー．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エス アンド エヌ オリオン プライム エス．エー． filed Critical エス アンド エヌ オリオン プライム エス．エー．
Publication of JP2022550913A publication Critical patent/JP2022550913A/ja
Publication of JPWO2021071991A5 publication Critical patent/JPWO2021071991A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00183—Optical arrangements characterised by the viewing angles for variable viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

【解決手段】 関節鏡および腹腔鏡は、関心対象の異なる臨床状況をカバーするために、いくつかのレンズカットで利用可能であり、外科医は、カメラの視界の方向を変更するために、光学素子を交換する必要がある。本開示の実施形態は、光学素子の物理的交換によって引き起こされるワークフローの中断を回避する利点とともに、ユーザが外科手術カメラの視界の方向を任意に変更することを可能にする、リアルタイム画像処理システムおよび方法を開示する。さらに、本開示の実施形態は、全体的な視野を減少させたり、または画像コンテンツを失うことなく、関心対象の領域のスケールを増加させることを可能にする、任意の視界方向（方向ズーム）に沿ったズームを実施することを開示する。【選択図】図８

Description

関連出願の相互参照
本出願は、２０１９年１０月７日に出願された米国仮特許出願第６２／９１１，９８６号（「’９８６出願」）、および２０１９年１０月７日に出願された米国特許出願第６２／９１１，９５０号（「’９５０出願」）の優先権および利益を主張するものである。’９８６出願および’９５０出願は、すべての目的に対し、その全体が参照により本明細書に組み込まれる。
本開示は、一般に、コンピュータビジョンおよび画像処理の分野に関し、特に、限定ではないが、提示された開示された実施形態は、内視鏡レンズを備えた外科手術カメラの視界の方向を変更する目的で、関節鏡検査、腹腔鏡検査、または内視鏡検査などの外科手術および診断のビデオガイド付き低侵襲臨床手技における、強化された視覚化に使用され得、この場合、システムは、有効に使用されているレンズとは異なるレンズカットを備えた物理スコープによって取得される視界をレンダリングするか、または画像の視野を縮小したり、もしくは画像コンテンツを失ったりすることなく、任意の視界方向に沿ってズームを実施することができる。
関節鏡検査または腹腔鏡検査などのビデオガイド付き手技では、関心対象の解剖学的空洞は、外科手術ポートとして指定される小さな切開部を通してアクセスされる。これらのポートのうちの１つは、外科医が手術または診断の手技中にガイダンスの目的で空洞の内部を視覚化することを可能にする、硬性内視鏡を備えたビデオカメラへのアクセスを提供する。硬性内視鏡は、体腔に挿入される細長い管状構造である。内視鏡は、典型的には、遠位端に対物レンズ、一連の間隔を空けたレンズなどの画像転送システム、および通常、電荷結合デバイス（ＣＣＤ）チップなどのカメラ手段が装着される近位端に眼レンズを含む。画像転送システムは、画像を遠位端から近位端へ転送する役割を果たす。カメラは、この画像を受信し、外科医が観察するビデオディスプレイ用の信号を生成する。
本明細書でレンズスコープまたは内視鏡レンズとも呼称される硬性内視鏡は、異なる専門分野で使用され、その特徴および適用分野に応じて、代替的に、関節鏡（整形外科）、腹腔鏡（腹部外科手術）、膀胱鏡（膀胱）、洞包（ＥＮＴ）、神経鏡などと命名され得る。硬性内視鏡とカメラ手段との組合せから生じる内視鏡カメラは、従来的なカメラでは稀である特定の特徴を有する。光学素子は、通常、簡単な滅菌の目的で交換可能であり、内視鏡は、手技を開始する前に外科医によってカメラヘッド内に組み込まれる。内視鏡の近位端の眼レンズ（または接眼レンズ）は、典型的には、ユーザがカメラヘッドに対して角度ａでスコープを回転することを可能にするコネクタを使用して、カメラに組み込まれる。これは、内視鏡の長手方向軸の周りの方位角における回転であり、したがって、機械的軸と呼ばれ、管状構造の対称軸と近接するが必ずしも一致しない。
硬性内視鏡は、典型的には、取得された画像を、ブラックフレーム（このブラックフレームは、本出願の図の斜線で示されている）で囲まれた円形領域に有意味のコンテンツを有するようにする、画像転送システムのどこかにフィールドストップマスク（ＦＳＭ）を有する。ＦＳＭの設計は、通常、外科医が方位角αの角度を推定することを可能にする、画像フレーム遷移によって画定される円形境界におけるマークがあるようなものである。円形画像の外周にあるこのマークは、以後、ノッチと呼ばれることになる。
さらに、内視鏡の遠位端にあるレンズは、レンズシステム全体の光学軸が、スコープの長手方向軸または機械的軸からの角度オフセットを有するように、多くの場合装着される。光学軸と機械的軸との間のこの角度βは、通常、内視鏡のレンズカットと呼ばれる。レンズカットがゼロとは異なる場合、光学軸および機械的軸は、整列せず、外科医は、カメラヘッドを移動させることなく、機械的軸の周りでスコープを回転させることによって、方位角における視界の方向を変えることができる。
可変方向ビュー（ＤｏＶ）により、外科医は、内視鏡自体の位置を変更することなく、内視鏡視野方向を変更することができる。これは、解剖学的制約、または術野の他の外科手術器具によって課される制約のために、内視鏡シャフトが容易に移動できない場合、内視鏡の先端の横または後ろにある構造を見るのに有用である。したがって、可変ＤｏＶは、外科医に自身の手技アプローチにおいてより大きな柔軟性をもたらす望ましい特徴であることは明らかである。論じるように、現在クリニックで使用されている硬性内視鏡は、レンズスコープの方位角における回転を行うことによってＤｏＶを変える可能性を外科医に付与し、これにより、光学軸に、投影中心Ｏ（ＤｏＶの円錐）に近い頂点を有する空間における円錐を描くことが可能になる。この円錐の半角は、固定され、かつ外科医によって先天的であることが知られている、レンズカットβによって画定される。外科医は、特定の内視鏡のレンズカットに関する事前知識に大きく依存し、解剖学的構造がどうあるべきかを確実に把握する。
長手方向軸または機械的軸とは異なる角度オフセットを有する内視鏡があり、最も一般的に使用されるレンズカットは、０°、３０°、４５°、および７０°である。外科手術手技は、通常、これらのカット角の大部分の内視鏡を必要とし、そのうちの１つに特に重点を置いている。例えば、膝関節鏡検査では、好適は、良好な前方視野および一定量の横方向視野の両方を提供する３０°のレンズカットであり、一方で、股関節関節鏡検査では、解剖学的空洞がはるかに狭いため、選択されるレンズカットは、通常７０°である。同様に、腹腔鏡における好適なものは、０°（前方視スコープ）または３０°のレンズカットの間で変わり得る。しかしながら、特定のレンズカット角の強調にもかかわらず、ほとんどの手技は、手術の異なる瞬間またはステップにおける異なる横方向および部分的な後方視認角度から利益を得ることができる。残念なことに、ＤｏＶの横方向の変化は、異なるレンズカットを有するものへの内視鏡の物理的な交換を必要とするため、外科医は、こうした変化が手元の作業を達成するための視覚化を改善することができることに気づいたとしても、実際にそれを行うことはめったにない。手技の途中で内視鏡を変更するのは、面倒であり（光ケーブルおよびカメラケーブルの両方を外し、再接続する必要がある）、時間がかかり、時には危険である。例えば、角度のずれた内視鏡の挿入は、挿入されている方向を向いていないため危険である可能性があり、神経外科医は、内視鏡をデリケートな組織に盲目的に押し込むことを恐れているため、４５°または７０°のレンズカットで内視鏡を使用することを控えることがよくある。
要約すると、医術で一般的に使用される硬性内視鏡は、外科医が、方位角（角度α）でＤｏＶを変えることを可能にするが、傾斜または上昇（角度β）では変えることができず、この場合、光学軸は、機械的軸と整列した対称軸およびレンズカットβ（ＤｏＶの円錐）によって画定される角度を有する円錐内に移動するように制約される。以下に続く議論は、ＤｏＶの制約のない変動が、外科医が途中の手技中に内視鏡を物理的に変更することなく、横方向の視認角度（レンズカットβ）を変更することができることにより、非常に有益であることである。方位角および傾斜の両方で視野の方向の角度シフトを可能にするいくつかの特別に設計された内視鏡が、開示されている（ＵＳ２０１６／０２．０９Ａ１、ＵＳ２００５０１７７０２６Ａ１、ＵＳ２０１２／００７８０４９、ＵＳ９，３０７，８９２）。残念なことに、これらの内視鏡は、遠位端で移動可能な画像センサまたは光学素子を使用して、レンズカットβを変更させる。これらの可動部分のため、これらのスコープの製造は複雑かつ高価であり、このようなスコープは、従来の固定レンズカットスコープよりも堅牢ではない。また、照明および画像品質が劣ることがよくある。
ＤｏＶの制約のない変動を達成するための代替的な様式は、内視鏡画像またはビデオを処理するために計算手段を採用することである。ＤｏＶの変化が、そのプロジェクション中心を通る軸の周りのカメラの回転に対応し、またそのような回転したカメラによって取得される仮想画像が、無限遠での平面の共線変換と呼ばれることが多い適切なホモグラフィックマップにより実ソース画像をワーピングすることによって、レンダリングされ得ることは、コンピュータビジョンの分野で周知である。本方法は、コンピュータ手段と組み合わせて、ＦｏＶの選択された部分をカバーする可変ＤｏＶで画像をレンダリングする、半球視野（ＦｏＶ）用の広角レンズを有する硬質内視鏡を開示した、特許出願ＵＳ００５３１３３０６Ａ、ＵＳ２０１５４／００６５７９９Ａ１、およびＥＰ３１３０２７６Ａ１で使用される。結果は、制御可能なパンおよびチルト配向を有するカメラシステムであり、ここで、ユーザは、電子手段を使用して、Ｘ（方位角）およびＹ（仰角）の両方で視界方向を指示する。
これらのシステムの問題は、内視鏡およびビデオガイド付き臨床手技の文脈において、外科医が、カメラヘッドに対してレンズスコープを単に回転させることによって、方位角の視界方向を変更するために使用されることである。したがって、制御を機械式から電子式へと動かすことは困難であり、外科手術の再訓練を必要とし、広く採用するための主要な障害となる。
したがって、望ましいのは、方位角αおよび傾斜βの両方において変わり得るＤｏＶを有する内視鏡システムであり、ここで、方位角の変化は、標準的な機械的手段によって達成され、すなわち、カメラヘッドに対して硬性内視鏡を回転することによって達成され、傾斜の変化は、電子またはコンピュータ手段によって達成され、すなわち、リアルタイム処理を使用して、標的視界方向で画像をレンダリングすることによって達成される。
標準的な方法で動作するが、常に最適な視覚化条件のために、ユーザが異なるレンズカットを有する硬性内視鏡を電子的に切り替えることができる、内視鏡システムを提供することがなおもさらに望ましい。
さらに、ユーザが画像の放射状歪みの量を制御して、シーン奥行きの最適な知覚のために歪みのない画像を操作すること、またはＤｏＶを変化させて関心領域を選択し、ＦｏＶを保ち、かつ画像内のすべての視覚化コンテンツを保持しながら関心領域を拡大することのいずれかを行う、内視鏡システムを提供することが望ましい。
リアルタイム画像処理を使用して、手術および診断のビデオガイド付き臨床手技中の視界の方向を変更する一方で、外科医が、関節鏡検査、腹腔鏡検査、および内視鏡検査などの異なる外科手術手技における現在の一般的な慣行であるようにカメラヘッドに対してレンズスコープを物理的に回転させることを可能にする、システムおよび方法。
本開示の実施形態は、レンズ（またはレンズカット）のカット角が、仮想的にβからβ＋γに切り替えられるように、特定のスコープの視界方向を任意の量γだけ変更することを可能にする、ソフトウェアベースのシステムを開示している。これは、動作中にその長手方向軸の周りで方位角において内視鏡を物理的に回転させ得る、ユーザにとって現実的である、シームレスで完全に自動化された様式で達成される。
ソフトウェアベースのシステムは、幅広い視野（ＦｏＶ）を有するレンズを備えた内視鏡カメラによって取得された画像およびビデオを処理して、外科医に、異なるレンズカットを有する２つ以上の仮想内視鏡間の電子的な切り替えの権限を与える。
加えて、本開示の実施形態は、２つの標的仮想内視鏡の所望のレンズカット
Figure 2022550913000002
 、
ならびに
Figure 2022550913000003
 を考慮して、取得された画像およびビデオが現実の仮想画像およびビデオをレンダリングするための開示された画像処理方法における入力として使用されるのによく適するように、ソースカメラのレンズカットβおよびＦｏＶΘを判定する、方法を開示する。
本開示の実施形態は、レンズカットγにおける所望のシフトの観点だけでなく、画像解像度ｍ×ｎ、視野
Figure 2022550913000004
 、
および画像歪み
Figure 2022550913000005
 の量の観点での仮想カメラのための任意のプリセットを考慮して、各フレーム瞬時での焦点距離
Figure 2022550913000006
 および主点
Figure 2022550913000007
 の場所を自動的に調整することによって、対応する仮想ビューが、コンテンツ（空の領域）を有さない上部または下部の領域なしに、正しくレンダリングされることを確実にする、方法を開示する。
本開示の実施形態は、画像放射状歪みの量を制御して、シーン奥行きの最適な知覚のために歪みのない画像を操作すること、または放射状歪み
Figure 2022550913000008
 の量を変更することによって任意の視界方向に沿って画像ズームを実施することによって関心対象の領域を選択することのいずれかを可能にする方法を開示するものであり、この場合、ズームは、視野（ＦｏＶ）における損失なしに、または焦点距離
Figure 2022550913000009
 を変更することによって達成される。
本開示のより完全な理解のために、添付図面と併せて考慮される例示的な実施形態の以下の詳細な説明を参照する。
内視鏡およびカメラヘッドを備え、そのすべての構成部品を示す、内視鏡カメラの一実施形態である。その画像転送システムにフィールドストップマスク（ＦＳＭ）を含む内視鏡によって形成される正規画像、ならびにカメラヘッド内のセンサによる固有パラメータの適用後に取得されたピクセルでの画像が図示されている。
ＤｏＶの２つの異なる錐体を生じさせる２つの異なる視野方向（ＤｏＶ）を示す、内視鏡の一実施形態である。各円錐は、光学軸によって記述される軌道に対応しており、一方で、内視鏡は、機械的軸の周りを回転する。
ソース画像とターゲット画像との間の画像ワーピングプロセスを示しており、ターゲット画像内のピクセルの色は、補間スキームを使用して取得される。ワーピング関数は、ソースおよびターゲットカメラモデルｃｓおよびｃｔと、動きモデルｍとの合成である。
カメラモデルｃを取得するプロセスを概略化している。３Ｄ点Ｘは、正規画像内に２Ｄ点ｘをもたらす、ピンホールモデルに従って、画像平面上にプロジェクションされる。その後に、歪みｄは、点ｘに歪みを適用し、点ｘ’をもたらす、正規画像内で実施される動作である。最後のステップとして、関数ｋによる固有パラメータの適用は、ミリメートルｘ’での点を、ピクセルでの画像内の点ｕに変換する。カメラモデルｃは、２Ｄ空間において適用される関数であり、正規画像内の点ｘを、ピクセルにおける画像内の点ｕに変換し、
Figure 2022550913000010
 歪みｄと、固有体
Figure 2022550913000011
 との合成によって取得される。
は、境界の場所および主点Ｏにおけるスコープ回転の効果を示している。スコープは、回転中心Ｑで画像平面と交差する、機械的軸を中心に回転する。ＦＳＭは、中心Ｃを有する円として画像平面上にプロジェクションされ、ＦＳＭ内のマークは、ノッチと呼ばれる点Ｐ上にプロジェクションされる。スコープが角度δｉで回転すると、円の中心Ｃ、ノッチＰ、および主点Ｏがまた、Ｑの周りで、同じ量δｉだけ回転する。
軸
Figure 2022550913000012
 の周りの角度
Figure 2022550913000013
 の３Ｄ回転である、動きモデルｍの推定における関連する実体を示している。この回転は、レンズカットβを有する実カメラが、レンズカット
Figure 2022550913000014
 を有するカメラを仮想化するために実施しなければならない、仮想的な動きである。基準平面
Figure 2022550913000015
 に対して垂直である方向
Figure 2022550913000016
 は、すべてのフレームｉの線ｎｉを検出し、３Ｄ空間内にそれをバックプロジェクションすることによって推定される。
直径ｄの概念を示しており、直径ｄは、その終点が、境界との主点Ｏを含む線の交差である、セグメントの長さである。直径ｄは、カメラの視野（ＦｏＶ）Θを判定するために使用される。図は、ノッチＰを通過する線の特定の事例を示している。
実際の内視鏡カメラと同じ３Ｄ位置に位置する所定の特性を有する仮想カメラによって取得されるであろうビデオのレンダリングを可能にするステップを図示することによって、視界の方向を変更するための本開示に開示される方法を概略化している。この方法の出力は、仮想カメラによって取得されたターゲット画像内のピクセル
Figure 2022550913000017
 を、実カメラによって取得されたソース画像内のピクセルｕに変換する、マッピング関数ｗである。
ワーピング関数がターゲット画像
Figure 2022550913000018
 の主点をマッピングする点である、ソース画像内の点
Figure 2022550913000019
 を計算する方法を示している。
Figure 2022550913000020
 は、ターゲットカメラ［０，０］Ｔの正規画像の基準フレームの基点を、カメラモデルｃｓと、動き
Figure 2022550913000021
 と、の合成である、関数ｇにより変換することによって、判定され得る。点
Figure 2022550913000022
 を知ることにより、図１０の方法で使用される制限視認角度を推定し、ターゲット画像内の空の領域の存在を防止することができる。
ターゲットカメラによってレンダリングされた画像が、視覚的コンテンツ（空の領域）を持たない領域を有することを防ぐ戦略を示している。図１０（ａ）は、画像コンテンツのない底部の空白領域をもたらす、ソース画像の境界を越えてマッピングされているターゲット境界の内部の一部を示している。図１０（ｂ）は、ソース境界から最も遠い点が、それと一致するように動くように、焦点距離
Figure 2022550913000023
 を推定する、簡単なソリューションを示している。残念なことに、このアプローチは、ＦｏＶを減少させ、これは望ましくない。図１０（ｃ）は、焦点距離
Figure 2022550913000024
 および主点
Figure 2022550913000025
 の両方を同時に調整して、所望のＦｏＶの低減を回避しながら、空の領域を除去する、提案されたソリューションを示している。
ＤｏＶの変化を所望のＦｏＶを有する画像のレンダリングと、空の領域のないレンダリングと整合させる、ターゲット画像の焦点距離および主点を推定するための、本開示の方法の異なるステップを記述している。
ターゲットカメラのレンズカットおよびＦｏＶを、空の領域なしで現実的なターゲット画像をレンダリングし、画像中心に近い主点を有することによって、適切に収容するように、ソースカメラを寸法決定する方法を示している。
異なるレンズカットおよびＦｏＶを有する２つの内視鏡で取得された２つの画像をレンダリングした画像結果を示している。上の図は、実カメラによって取得された画像を示しており、実カメラは、レンズカットβ＝４５°および直径１０ｍｍの腹腔鏡である。真ん中の図は、γ１＝－１５°で取得された仮想ビューを示しており、この場合、レンズカット
Figure 2022550913000026
 を有する内視鏡は、仮想化される。下の図は、γ２＝２５°で取得された仮想ビューを示しており、これは、内視鏡カメラが、
Figure 2022550913000027
 を有する、スコープの対称軸に対して下向きに見ていることを意味する。
ターゲットカメラのパラメータをソースカメラのキャリブレーション推定値と同じになるように事前定義しながら、ＤｏＶを角度γで変更する画像結果を示している。上の図は、レンズカットβ＝３０°である、関節鏡によって取得されたオリジナルの実画像である。真ん中の図は、γ＝－３０°で取得された仮想ビューを示しており、その場合、関節鏡は、その対称軸（β＋γ＝０°）に沿って前方視認される。下の図は、γ＝３５°で取得された仮想ビューを示しており、これは、カメラが、スコープの対称軸に対して下向きβ＋γ＝６５°に見ていることを意味する。塗りつぶされた円は、ソース画像における主点がマッピングされる点である、
Figure 2022550913000028
 の場所を示しており、ＤｏＶの変化が主点のシフトを引き起こすことを示している。
ＦｏＶ全体および画像コンテンツを保持しながら、任意の視野方向を中心に画像をスケールアップすることを可能にする、方向ズームの画像結果を示している。上の図は、オリジナルの視界を示している。真ん中の図は、ターゲットカメラのプリセットがソースカメラのキャリブレーションである場合の、β＝６５°のレンダリング結果を示している。下の図は、レンズカットが真ん中の図と同じである一方で、放射状歪みが
Figure 2022550913000029
 である場合の仮想ビューを示している。放射状歪みを増大させることによって、上の図に現れるすべての画像コンテンツを保持しながら、関心対象の領域をズームインすることが可能であることが観察され得る。塗りつぶされた円は、ソース画像における主点がマッピングされる点である、
Figure 2022550913000030
 の場所を示しており、ＤｏＶの変化が主点のシフトを引き起こすことを示している。
汎用コンピューティングシステム環境を含む、例示的なコンピューティングシステムの概略図である。
当然のことながら、１つ以上の実施形態の例示的実装が以下に提供されているが、様々な特定の実施形態は、当業者によって既知の任意の数の技術を使用して実装され得る。本開示は、決して、本明細書に図示および記載される例示的な設計および実装を含む、以下に図示される例示的な実施形態、図面、および／または技術に限定されるべきではない。さらに、本開示は、添付の特許請求の範囲、ならびにその均等物の全範囲の範囲内で修正され得る。
ビデオ誘導臨床手技中の視界の方向を変更するためのシステムおよび方法が、本明細書に開示される。システムおよび方法は、関節鏡、腹腔鏡、内視鏡、または低侵襲整形外科手術手技を含む他の外科手術手技を含むが、これに限定されない、臨床手技のために使用され得る。システムおよび方法は、リアルタイム画像処理または遅延画像処理とともに使用され得る。
図１は、内視鏡１０が機械的軸１２の周りの角度α１８だけ方位角で回転することを可能にするコネクタによって、近位端１６がカメラヘッド２８に組み込まれる、内視鏡１０からなる、前述のビデオガイド付き臨床手技で使用される、内視鏡カメラ３４を概略化している。内視鏡１０は、典型的には、遠位端１４から近位端１６へ転送される光が、円形境界２４およびノッチ２６を含む、正規画像２２を形成することを引き起こす、画像転送システムに沿ったフィールドストップマスク（ＦＳＭ）を含む。カメラヘッド２８は、正規画像２２をピクセル３０内の画像に変換し、さらに円形境界２４およびノッチ２６を提示する。さらに、背景セクションで論じたように、レンズカット２０として示される角度βだけ光学軸３６および機械的軸１２がミスアライメントすることを引き起こす遠位端１４のレンズのため、カメラヘッド２８に対して内視鏡１０を回転させながら、視界の方向（ＤｏＶ）３６が変化する。
内視鏡１０の機械的軸１２の周りの方位角１８における回転は、光学軸３６に、図２に示すように、半角がレンズカット２０である空間３２の円錐（ＤｏＶの円錐）を記述させる。
本開示では、２Ｄベクトルおよび３Ｄベクトルは、それぞれ太字の小文字および大文字で描かれる。関数は、小文字のイタリック体で表され、角度は、小文字のギリシャ文字で表される。平面内の点およびその他の幾何学的実体は、投影形状で一般的に行われるように、均質な座標で表され、平面内の２Ｄ線形変換は、３×３の行列で表され、等式は、スケールアップされている。さらに、関数を表す場合、関数の変数（；の左に現れる）とパラメータ（；の右に現れる）を区別するために、記号；が使用される。最後に、テキストの異なるセクションは、記号§を使用して、段落の番号によって参照される。
画像ワーピング
視界方向の傾向の任意のシフトを有する仮想ビューのレンダリングのための本開示の方法およびシステムは、画像ワーピング技術、特に、広い視野（ＦｏＶ）、パノラマカメラから仮想Ｐａｎ－Ｔｉｌｔ－Ｚｏｏｍ（ＰＴＺ）カメラを作成するためのソフトウェアベースの方法に関連する。この場合、ＰＴＺカメラによって取得される画像（ターゲット画像）は、パノラマカメラによって取得された画像（ソース画像）から、一方の画像のピクセルを他方の画像のピクセルにマッピングする関数によってレンダリングされる。
一般性を失うことなく、図３に示すように、ｗは、ターゲット画像のピクセル座標ｕｔをソース画像のピクセル座標ｕｓに変換する関数である。ターゲット画像内のピクセルｕｔの色値は、限定されるものではないが、最近傍、次の近傍、前の近傍、双線形、双立方、ランツォ、双立方ｂスプライン、ミッチェルネトラバリ、キャットマルロム、クリギングベース、ウェーブレットベース、またはエッジ指向補間が含まれる、空間的または周波数領域における任意のタイプの補間アプローチを使用することによって判定され得る。機械学習または深層学習を使用して学習したデータ駆動型補間フィルタはまた、ｕｔの色値を取得するために用いられ得る。
既存のワーピング技術には、直接マッピング、逆マッピング、連続または離散画像ドメインの再サンプリングによるワーピング、再サンプリングおよびフィルタリングによるワーピング、ルックアップテーブルを使用したワーピング、分解可能な変換を使用したワーピング、ならびに学習されたワーピング変換が含まれるが、これらに限定されない。
ワーピング関数ｗは、ソースカメラおよびターゲットカメラのカメラモデルに対応する、関数ｃｓおよびｃｔと、カメラ動きである、関数ｍとの合成である。カメラモデルｃｓおよびｃｔは、ミリメートル単位の正規画像２２とピクセル単位の画像３０との間のマッピングを記述する。ソースカメラは実カメラであるため、ｃｓは、適切なキャリブレーション方法を使用して、判定され得る。一方で、ターゲットカメラｃｔは、所望の撮像特徴（解像度、ズーム、ＦｏＶなど）が事前に定義されているように選択される。関数ｍに関して、仮想（ターゲット）カメラと実（ソース）カメラとの間の相対的動きが記述される。より詳細には、ソースカメラの正規画像とターゲットカメラとの間の投影座標におけるホモグラフィーマッピングを引き起こす、３Ｄ空間における仮想カメラによって行われる回転が表される。
内視鏡カメラで取得された画像ワーピングは、従来のカメラで取得された画像でそうするよりも、２つの主な理由のために著しく困難である。第１に、カメラモデルｃｓは、カメラヘッドに対する内視鏡レンズの相対的回転のために、フレーム瞬時ごとに変化し、これは、ワーピング関数ｗを構築する際に考慮されなければならない。第２に、動きモデルｍは、望ましい上昇γの変化率だけでなく、毎フレーム瞬時で測定されなければならない方位角δの機械的変化にも依存する。これらの課題は、カメラモデルに干渉する可動部品が存在しないため、従来のカメラには存在しない。
内視鏡カメラモデル
このセクションでは、光学素子によって導入された放射状歪みを示す一般的なカメラのモデルを記述し、関連する概念の概要を示し、また内視鏡カメラを、各フレーム瞬時に更新される適応モデルでどのように記述することができるかを説明することによって、内視鏡カメラモデルｃを紹介する。
一般的なカメラモデル
図４は、カメラモデル関数ｃを含む、異なるステップを列挙する。３Ｄ点Ｘ＝［Ｘ Ｙ Ｚ］Ｔは、正規画像２２内に２Ｄ点ｘをもたらす、ピンホールモデルに従って、画像平面上にプロジェクションされる。このプロジェクションは、ｐとして示され、計算
Figure 2022550913000031
 に対応する。その後、歪みｄは、点ｘに歪みを適用し、点
Figure 2022550913000032
 をもたらす、正規画像２２内で実行される動作であり、ξは、歪みパラメータである。最後のステップとして、固有パラメータの適用は、ミリメートルｘ’での点を、ピクセル３０での画像内の点ｕに変換する。これは、
Figure 2022550913000033
 を計算することによって、関数ｋにより達成され、ｆは、焦点距離であり、Ｏは、主点であり、一般性の喪失なしに、ピクセルは、正方形である、すなわち、アスペクト比は、単一であり、スキューは、ゼロであると仮定される。この仮定がなされない場合、関数ｋを更新して、アスペクト比およびスキューを考慮する２つの追加パラメータを含めることは簡単である。カメラモデルｃは、２Ｄ空間において適用される関数であり、正規画像２２内の点ｘを、ピクセル３０、
Figure 2022550913000034
 における画像内の点ｕに変換し、歪みｄと、固有体
Figure 2022550913000035
 との合成によって取得される。
このモデルでは、歪み関数ｄは、一般的であり、これは、Ｂｒｏｗｎの多項式モデル、有理モデル、フィッシュアイモデル、または１つ以上のパラメータを有する除算モデルなどの文献中の任意の歪みモデルであり得ることを意味し、この場合、ξは、それぞれスカラーまたはベクトルである。歪み関数ｄはまた、限定されるものではないが、センサの傾斜によって生じる接線歪み、プリズム歪み、またはパースペクティブ歪みなどの他のタイプの歪みを考慮に入れてもよい。一般性を失うことなく、説明の残りの部分では、ｄは、第一次分割モデルを適用し、ξはスカラー：
Figure 2022550913000036
 であると仮定される。
さらに、以下のように、点ｕと主点
Figure 2022550913000037
 との間のピクセル３０で画像内で測定されたピクセルの距離ｒは、ｆおよびξの関節効果に依存する３Ｄの角度θに対応することが知られている。
Figure 2022550913000038
レンズ回転の取り扱い
カメラヘッド２８に対する内視鏡１０の回転は、図５に示すように、主点Ｏ、円形境界２４の中心Ｃ、およびＰとして示されるノッチ２６が、点Ｑを中心にピクセル３０で画像を回転させることを引き起こす。実際、ＯおよびＣは、通常、レンズ製造中の機械的公差により一致しないため、Ｑを中心に回転する。Ｏが光学軸の画像であり、Ｃは、レンズロッドに対してＦＳＭがどのように配置されるかに依存する円形境界の中心であり、Ｑは、アイピースに依存する、画像平面との機械的軸１２の交差であることを知り、アイピースおよびＦＳＭがレンズロッドと完全に整列しているときに、３点すべての一致が生じる。ＱとＣとの間のミスアライメントにより、境界は画像内の位置を変更し、Ｃは、レンズが回転する間、Ｑの周りを円で移動する。ＱおよびＯがずれている場合、Ｏはまた、Ｑの周りの円形軌道を記述する。
したがって、キャリブレーションパラメータｆ，Ｏ，ξが、特定の方位角位置のα０を指す場合、角度δｉ＝αｉ－α０による方位角における回転は、主点の位置を
Figure 2022550913000039
 に変化させ、ここで、ｒは、Ｑを通り抜ける軸の周りの、角度δｉによる２Ｄ回転を示している。同様に、円形境界の中心は
Figure 2022550913000040
 になる。
言い換えれば、ｆ、Ｏ、およびξを、特定の方位角位置α０における汎用内視鏡カメラのキャリブレーションパラメータとする。ピクセル座標内の点ｕに、正規画像内の点ｘをマッピングするカメラモデルは、フレーム瞬時ｉごとに変化し得、これは
Figure 2022550913000041
 およびδｉ＝αｉ－α０で与えられ、αｉは、フレームｉの方位角である。
本明細書の残りの部分では、一般性を失うことなく、基準方位角位置α０のキャリブレーションパラメータｆ，Ｏ，ξ、および回転中心Ｑの両方は、事前に既知であり、その結果、α０に対する回転δｉが各フレーム瞬時ｉに対して推定される場合、キャリブレーションパラメータｆ，Ｏｉ，ξは、前述のように判定され得ることが仮定される。ＯがＱと一致した場合、各フレームｉのＯｉもＱと一致し、したがって、このカメラモデルｃのスコープの回転への適合は不要であることに留意することが適切である。しかしながら、これらの実体間のミスアライメントは、前述のように、光学素子の構築における機械的寛容性に起因して頻繁に発生する。キャリブレーションパラメータにおけるこのミスアライメントの影響は無視できるものではないため、実際には考慮しなければならない。
３Ｄでのカメラ回転運動
ここで、§§［００４３］～［００４８］に導入される動きモデルｍを判定する方法を説明し、添付する図６は、最も関連性の高い概念をより良く説明するための例示的なスキームを提供する。前述したように、汎用カメラのＤｏＶの変更は、カメラをそのプロジェクション中心を通る軸の周りで回転させることによって達成され得る。内視鏡カメラの特定の事例では、レンズカットβを有する実カメラからのレンズカット
Figure 2022550913000042
 を有するカメラの仮想化は、方向
Figure 2022550913000043
 ４２の周りで
Figure 2022550913000044
 だけ、そのプロジェクションの中心の周りで３Ｄで実カメラを仮想的に回転させることによって達成され得る、ＤｏＶの変更に対応する。この方向
Figure 2022550913000045
 ４２は、平面
Figure 2022550913000046
 ４０に対する法線であり、それゆえ、基準平面と呼ばれ、機械的軸および光学軸によって画定され、理想的な状態では、非ゼロレンズカットのため同一平面上にあるが、一致しない。光学軸３６は、方位角１８における回転とともに変更するＤｏＶを画定するため、軸
Figure 2022550913000047
 ４２の周りの３Ｄ回転である動きモデルｍは、フレーム瞬時ｉごとに変化することができ、それに応じて推定されなければならない。
図６に示すように、基準平面
Figure 2022550913000048
 ４０は、ピクセル３０で画像内の線ｎｉ３８内にプロジェクションされる。したがって、すべてのフレームｉの線
Figure 2022550913000049
 ｎｉ３８を検出し、３Ｄ空間内にそれをバックプロジェクションすることによって、その場でを判定することが可能である。
理想的な状態では、平面
Figure 2022550913000050
 ４０は、光学軸および機械的軸の両方を含み、ノッチ内でＦＳＭと交差するが、その目的は、レンズカットの方向について外科医に知らせることである。これらの条件は、ピクセル３０における画像内の点Ｑ、Ｏｉ、およびＰｉが同一直線である場合にのみ保持され、この場合、線ｎｉ３８は、３点Ｑ、Ｏｉ、およびＰｉのすべてを含む線である。実際の状況では、これは通常、レンズ製造における機械的な公差のために発生せず、光学軸および機械的軸の非同一平面性および／または平面
Figure 2022550913000051
 ４０がＦＳＭのノッチを正確に通過しないことにつながる。したがって、本明細書の残りの部分では、一般性を失うことなく、ｎｉ３８は、光軸ＯｉおよびノッチＰｉによって画定される線であると仮定される。したがって、投影座標では、線ｎｉ３８は、ｎｉ＝Ｐｉ×Ｏｉによって計算され、その後、平面
Figure 2022550913000052
 ４０に対する法線は、
Figure 2022550913000053
 によって、単純に求めることができ、Ｋｉは、フレームｉ，
Figure 2022550913000054
 およびＯｉ＝［Ｏｕｉ，Ｏｖｉ］Ｔにおける固有パラメータの行列である。
あるいは、理想的な条件では、ピクセル３０における画像内の点Ｑ、Ｏｉ、およびＰｉは、境界中心Ｃｉと同様に同一線上にあるため、線ｎｉ３８は、点ＱおよびＯｉまたはＣｉおよびＯｉを通過する線を判定することによって取得され得、この場合、それぞれ、前の式において、点ＱおよびＣｉが、Ｐｉを置き換える。
さらなる考慮事項
本開示では、一般性を失うことなく、すべての測定および計算が乾燥環境で実施されることが仮定される。湿潤環境への適合は、焦点距離に、光が撮像センサに到達する前に移動する２つ以上の媒体の屈折率の比率を乗じることによって、直接的に実施され得る。
もう１つの重要な考慮事項は、カメラモデルｃの更新、および全フレームｉのピクセル３０における画像内の線ｎｉ３８の検出の両方を、基準角度位置α０に対する方位角δｉの角度変位を判定することによって実施され得、これは排他的な画像処理技術を使用して達成され得ることである。本開示では、一般性を失うことなく、本タスクのために、すべてのフレームｉの中心ＣｉおよびノッチＰｉとの境界を検出するための米国特許出願第６２／９１１，９５０号に開示されている方法が採用されると考えられる。この方法は、ＦＳＭが複数のノッチを含む可能性を企図するものであり、これは、少なくとも１つのノッチが画像内で常に見えることを保証し、相対的な場所が既知であり、かつそれらの異なる形状およびサイズによって識別される複数のノッチを検出することができるのに有用である。したがって、角度変位δｉは、点Ｐｉ、Ｑ、および
Figure 2022550913000055
 によって画定される角度であり、Ｐは、基準角度位置α０におけるノッチのうちの１つの位置である。あるいは、δｉは、境界中心ＣｉおよびＣから推定され得、Ｃは、基準位置：
Figure 2022550913000056
 における境界の中心である。
§［００５４］で論じるように、任意の点と主点Ｏとの間のピクセル３０で画像内で測定された距離ｒは、ｆおよびξの両方に依存し、式１を使用して計算され得る、３Ｄの角度θに対応する。ｄを、その終点が、主点Ｏを通過する図７の線ｎ３８との境界の２つの交差である線分の長さとする。この長さｄは、主点Ｏが境界中心Ｃと一致する場合にのみ起こるため、円形境界の直径に対応していないにもかかわらず、直径と呼ばれる。図７に示すように、ｄは、下側半径および上部半径：ｄ＝ｒｌ＋ｒｕの付加である。ｒｌおよびｒｕの両方を使用して、角度θｌおよびθｕを方程式１から求めることができる。カメラの視野（ＦｏＶ）は、以下の２つの角度の付加として画定される：Θ＝θｌ＋θｕ。主点Ｏを通過する任意の線ｎは、異なる直径ｄを画定し、図７は、ノッチＰを通過するｎの特定のケースを示している。
視界の方向（ＤｏＶ）を変更するための方法
本セクションは、実際の内視鏡カメラと同じ３Ｄ位置に位置する所定の特性を有する仮想カメラによって取得されるであろうビデオをレンダリングすることによってＤｏＶを変更するための本開示に開示された方法を提示する。特に、Ｉｉは、実際の内視鏡カメラによって取得されたフレームｉであり、したがって、その内視鏡がレンズカットβを有し、回転中心Ｑにおいて画像平面と交差する機械的軸の周りで方位角において回転する、ソースカメラと呼ばれる。特定のノッチ位置Ｐに対応する、基準角位置α０に対する内視鏡カメラのキャリブレーションは、既知であり、これは、その焦点距離ｆ、放射状歪みξ、および主点Ｏが判定されたことを意味する。この方法の目的は、レンズカット
Figure 2022550913000057
 、
視野
Figure 2022550913000058
 、
および歪み
Figure 2022550913000059
 をソースカメラと同じ３Ｄ場所に配置して、仮想カメラ（すなわちターゲットカメラと称される）によって取得される解像度ｍ×ｎおよび点
Figure 2022550913000060
 を中心とする直径
Figure 2022550913000061
 を有する円形境界を有する画像
Figure 2022550913000062
 をレンダリングすることである。
図８に示すように、方法は、画像Ｉｉの中心ＣｉおよびノッチＰｉとの境界を検出することによって開始する。点Ｐｉ、Ｑ、およびＰによって画定される角度として、方位角δｉにおける回転を判定することによって、§§［００５５］～［００５９］に記載されるように、Ｑの周りで角度δｉだけＯを回転させることによって、主点Ｏｉの場所を推定することができる。これにより、３Ｄシーン内の点Ｘのピンホールプロジェクションである、正規画像内の点ｘを、ｕ＝ｃｓ（ｘ；ｆ，Ｏｉ，ξ）となるように、ピクセルにおける画像内の点ｕにマッピングする、ソースカメラｃｓに対する更新モデルが提供される。
線ｎｉは、§§［００６０］～［００６４］で画像平面
Figure 2022550913000063
 に導入された基準平面のプロジェクションであり、点ＯｉおよびＰｉを通過する線として判定される。前述したように、ｎｉを３Ｄ空間内へバックプロジェクションすることによって、法線
Figure 2022550913000064
 を有する平面
Figure 2022550913000065
 を得ることができ、ターゲットカメラとソースカメラ
Figure 2022550913000066
 のレンズカットとの間の差に対応する、角度γだけの軸
Figure 2022550913000067
 の周りの３Ｄ空間における回転である、動きモデルｍをもたらす。動きモデルｍは、
Figure 2022550913000068
 となるように、点
Figure 2022550913000069
 を、それぞれターゲットカメラおよびソースカメラの正規画像内の点ｘに変換する。
その正準画像内の点
Figure 2022550913000070
 をピクセル
Figure 2022550913000071
 における画像内の点
Figure 2022550913000072
 にマッピングするターゲットカメラｃｔのカメラモデルを導出するために、すべてのフレームｉにおける焦点距離
Figure 2022550913000073
 および主点
Figure 2022550913000074
 の場所を計算しなければならない。これらのパラメータの推定に関する詳細は、§§［００７９］～［００９１］に記載されている。
最終ステップとして、アルゴリズムは、§§［００４３］～［００４８］に記述されるように、画像ワーピング技術を使用してターゲット画像
Figure 2022550913000075
 を生成し、ここで、
Figure 2022550913000076
 のピクセル
Figure 2022550913000077
 は、
Figure 2022550913000078
 の色値が補間され得るように、関数ｃｓと、ｍと、
Figure 2022550913000079
 と、の合成である、マッピング関数ｗによって、ソース画像Ｉｉ内の点ｕにマッピングされる。前述したように、このマッピング関数ｗは、画像ワーピングまたはピクセル値補間のための任意の方法を実装し得る。
ＤｏＶを変更するための開示された方法は、方位角α０の基準位置に対するソースカメラのキャリブレーションパラメータが事前に既知であることを仮定している。これらは、いくつかの異なる方法で決定することができ、これには、限定されるものではないが、工場出荷時に予め定義される、または類似の内視鏡カメラのセットを表すキャリブレーションパラメータのセットを使用することと、「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ａｕｔｏｍａｔｉｃ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｕｓｉｎｇ ｏｎｅ ｏｒ ｍｏｒｅ ｉｍａｇｅｓ ｏｆ ａ ｃｈｅｃｋｅｒｂｏａｒｄ ｐａｔｔｅｒｎ」と題する米国特許第９，４３８，８９７号（出願番号１４／２３４，９０７）に開示されているものなどの、医療手技の前に手術室でキャリブレーションを実施するための適切なキャリブレーション方法を使用することと、が含まれる。
さらに、本開示の方法はまた、回転中心Ｑが先天的であることが知られていることを仮定する。しかしながら、これは、米国出願第６２／９１１，９５０号に開示される方法を使用して、連続するフレームで検出された点Ｐｉおよび／またはＣｉから、Ｑをその場で判定することができるため、厳密な要件ではない。別の代替方法は、円形境界に取り付けられた正規化された基準フレーム内に与えられた主点に対する推定を利用することによって、各フレーム瞬時ｉにおける主点Ｏｉの位置を判定することである。この場合、Ｏｉは、米国出願番号第６２／９１１，９５０号に開示されているように、主点の正規化された推定から直接的に取得されるため、回転中心Ｑ、または先天的な方位角δｉにおける角度変位を知る必要はない。
図８の図の第２のブロックに示される、方位角δｉの角度変位の推定は、排他的な画像処理方法を使用して実施される。しかしながら、カメラヘッドに対して、すべてのフレーム瞬時に、スコープの方位角における回転の変化を測定するために採用され得る代替的な推定方法がある。これらは、スコープシリンダに取り付けられた光学マーカの位置を判定するための、カメラヘッドに取り付けられた回転エンコーダまたは光学追跡システムなどの感知デバイスの使用を含む。
本明細書で開示されたＤｏＶを変更するための方法は、ターゲットカメラのパラメータを所望の値に設定することによって、異なる目的のために使用され得る。特に、ターゲットカメラ
Figure 2022550913000080
 の歪みがゼロに設定されている場合、ターゲットカメラによってレンダリングされた画像
Figure 2022550913000081
 は、歪みのない画像となる。また、ＦＳＭを含む実際の内視鏡カメラを完全に模倣するために、レンダリングされたターゲット画像
Figure 2022550913000082
 は、有意味の画像コンテンツが中心
Figure 2022550913000083
 および直径
Figure 2022550913000084
 を有する円形領域内にあるように、ブラックフレームを生成し、ならびに円形境界の点
Figure 2022550913000085
 に視覚的マークを配置することによってノッチを生成するように、処理されてもよく、ｖｉは、図８の図のブロック４で計算された線
Figure 2022550913000086
 の単位方向である。画像境界はまた、限定されるものではないが、円錐形状、長方形形状、六角形形状、または任意の他の多角形形状などの、任意の他の所望の幾何学的形状を取ることができる。
ターゲットカメラモデルの調整
開示されたワーピング関数ｗは、３つの関数、すなわち、パラメータが、現在のフレームｉにおける実ソースカメラのキャリブレーションパラメータである、カメラモデルｃｓと、カメラヘッドに対する基準平面の傾きγおよび配向
Figure 2022550913000087
 の望ましい変更に依存する、動きモデルｍと、ＦｏＶが
Figure 2022550913000088
 の画像歪みおよび画像直径
Figure 2022550913000089
 についての
Figure 2022550913000090
 であるようにあるべき仮想ターゲットカメラに対するカメラモデルｃｔと、の合成である。
２つの第１の関数が完全に判定される間、ターゲットカメラの焦点距離
Figure 2022550913000091
 および主点
Figure 2022550913000092
 が画定され、ｃｔを完全に指定したままである。
関数ｃｓおよびｍの両方が既知であるため、ターゲット画像の主点がソース画像内のワープ関数ｗによってマッピングされる場所
Figure 2022550913000093
 を予測することができる（図９）。ｇを、ｃｓと、ｍとの合成であると考慮すると、その結果、
Figure 2022550913000094
 であり、場所が
Figure 2022550913000095
 であり、０が、基点［０，０］Ｔであることを示すことができる。この場所は、
Figure 2022550913000096
 の値から独立しており、まだ選択されていない。
ターゲットカメラｃｔに対するパラメータ
Figure 2022550913000097
 の選択は、３つの異なる設定に従って実施され得、以下のように、図１０に図解が示されている。
設定Ａ：１つの可能性は、境界の中心
Figure 2022550913000098
 と一致する
Figure 2022550913000099
 を選択することである。回転
Figure 2022550913000100
 の仮想中心がまた
Figure 2022550913000101
 と一致していると仮定されるため、主点は、カメラヘッドに対するレンズの回転とは独立して、フレームｉにわたって固定される。この場合、および焦点距離と、歪みと、画像直径と、Φによって表されるＦｏＶとの間の相互依存性を考慮すると、
Figure 2022550913000102
 の指定されたＦｏＶを付与する焦点距離
Figure 2022550913000103
 は、
Figure 2022550913000104
 のソリューションである。
Figure 2022550913000105
 のこの選択の問題は、レンダリングされたターゲット画像に、境界とｎｉの交差の近くに、視覚的コンテンツ（空の領域）のない領域が多くの場合あることである（図１０（ａ）右）。これは、
Figure 2022550913000106
 のバックプロジェクション光線によって画定される、角度
Figure 2022550913000107
 、
制限視認角度、およびソース画像
Figure 2022550913000108
 の境界におけるその最も近い点が、所望の
Figure 2022550913000109
 の半分よりも小さいときに起こる。
選択したワーピング関数ｗが、視覚的コンテンツがないソース画像の境界を越えてターゲット画像をマッピングするときに、空の領域が発生する（図１０（ａ）左）。これは明らかに、ソフトウェアを介してＤｏＶを変化させるユーザ体験を損なう望ましくないアーチファクトである。
設定Ｂ：空の領域のアーチファクトを回避するための可能なソリューションは、ＦｏＶ要件を緩和し、それを制限視認角度
Figure 2022550913000110
 の２倍にすることである（図１０（ｂ）右）。この場合、主点は、依然として境界
Figure 2022550913000111
 の中心に保持され、
Figure 2022550913000112
 は、
Figure 2022550913000113
 に対して
Figure 2022550913000114
 を解くことによって判定される。設定Ｂは、ターゲット画像のＦｏＶが、指定されたものよりも実質的に小さくなり得るという欠点を有するが、これは概して、用途に関する問題である（図１０（ｂ）左）。
設定Ｃ：本開示は、所望される
Figure 2022550913000115
 を有し、かつ空の領域のない画像のレンダリングを用いて、ＤｏＶの傾斜の変化を角度γだけ調整する、ターゲット画像の焦点距離および主点を選択する代替的な方法を開示する（図１０（ｃ）右）。この新規の方法を含む異なるステップが、図１１のスキームに提供される。戦略は、ソース画像の上部または下部にある視覚的コンテンツの欠如を、それぞれ、γ＜０またはγ＞０である場合に、以下または上記で利用可能な視覚的コンテンツによって補正するのに役立つ。
例示の目的で、制限視認角度
Figure 2022550913000116
 がノッチ（下方向）に向かって測定されるように、ＤｏＶのシフトを正角オフセットγ＞０とする（図１０（ｃ）左）。下方向のターゲット画像のＦｏＶは、空の領域の生成を回避するために
Figure 2022550913000117
 の量だけ減少しなければならないため、アイデアは、ターゲットカメラに対して指定された要件として、
Figure 2022550913000118
 の全体的ＦｏＶを得るために、上方向のＦｏＶを同じ量だけ増加させることである。ＦｏＶが下方向から上方向へシフトすると、
Figure 2022550913000119
 となるように、主点がλの量だけ下方向にシフトする。この場合、以下の連立方程式を解くことによって、焦点距離
Figure 2022550913000120
 およびλを求めることができる。
Figure 2022550913000121
 ．
γ＜０である場合、ＦｏＶのシフトは、上方向から下方向へのシフトであり、主点は、上向きに並進運動することに留意し、すなわち、
Figure 2022550913000122
 である。
Figure 2022550913000123
 であり、ΘがソースカメラのＦｏＶである場合、
Figure 2022550913000124
 を選択するための開示される方法は、常に所望のＦｏＶを有し、かつ空の領域のないターゲット画像のレンダリングに成功する。これら２つの特徴を調整することは、良好なユーザ体験を提供するために重要であるが、ターゲット画像の周辺に向かって主点を著しく逸脱させることによって達成される状況がある。これは、特定の用途、特に、ターゲットカメラが特定の実際の内視鏡カメラを模倣することを意図する用途には望ましくない場合があり、この場合、主点は、典型的には画像の中心に近い。
用途および機能
交換可能な回転可能な光学素子を用いて内視鏡システムのＤｏＶを変更するための開示された画像処理方法は、複数の用途につながり、いくつかの異なるシステムで採用され得る。本開示は、他の可能な適用を損なうことなく、これらのシステムおよび用途のいくつかの実施形態を説明する。
異なるレンズカットβを有する硬性内視鏡間の電子スイッチ
硬性内視鏡のメーカーは、機械的軸から異なる角度オフセットを有するレンズを提供し、最も一般的なレンズカットは、β＝０°、３０°、４５°、７０°である。外科手術手技は、通常、特定のカット角を有する内視鏡を好むが、異なるレンズカットがより都合が良いであろう手術の瞬間またはステップがある。例えば、膝関節鏡検査では、３０°のレンズカットを有する関節鏡が望ましいが、前部または顆間領域の半月板検査は、０°または７０°のカット角から利益を得る。
問題は、ＤｏＶの横方向の変更は、破損を引き起こし、患者にリスクを伴い得る内視鏡の物理的な切り替えを必要とするため、外科医は、視覚化が最適でない場合でも、実際にそれを行い、同じ内視鏡を用いた手技を行うことは滅多にないことである。
開示された方法は、幅広いＦｏＶを有するレンズを備えた内視鏡カメラによって取得された画像およびビデオを処理して、異なるレンズカットβを有する２つ以上の仮想内視鏡間の電子スイッチで外科医に権限を与えるために、システムにおいて使用され得る。こうしたシステムは、外科医があらゆる外科手術の瞬間またはステップで最善の視覚化を行うことを妨げる、上述の困難を克服する。
２つの所望の仮想内視鏡に、それぞれレンズカット
Figure 2022550913000125
 を有するようにする。焦点距離および主点を選択するための開示された方法（図１０（ｃ）および図１１）は、ソースカメラの大部分の設定に対して所望のＦｏＶを提供するが、主点がターゲット画像の中心から逸脱しすぎ、異なるレンズカットを有する内視鏡の現実的な仮想化に関して、ユーザ体験が減少することがある。この問題を回避する戦略は、ターゲットカメラのレンズカットおよびＦｏＶに適切に対応することができる、レンズカットβおよびＦｏＶΘを有する、ソースカメラを用意することである。図１２に示すように、２つのターゲットカメラの仕様
Figure 2022550913000126
 を考慮すると、これは、βおよびΘがおよそ
Figure 2022550913000127
 であるときに達成される。
実施形態は、システムにおける開示された方法を使用して、関節鏡検査で使用される２つの最も一般的なカット角を電子的に切り替えることである。標準的な３０°の関節鏡が、
Figure 2022550913000128
 を有し、７０°の関節鏡が、
Figure 2022550913000129
 を有するので、理想的なソースカメラは、カット角度βが約４５°であり、ＦｏＶΘが約１４０°である必要があるという上記の計算からそれは生じる。これらの値は、単なる表示であり、中央領域における主点を有する現実的なターゲット画像のレンダリングを保証する役割を果たす。ｆ，ξＯｉはソースカメラの正確なキャリブレーションであり、
Figure 2022550913000130
 は、それぞれ、２つのターゲットカメラの仕様を補完する画像直径および歪みであり、これは任意であるか、または実レンズのキャリブレーションから取得され得る。図８の方法を使用して、実ソースカメラによって取得された画像を処理するが、ここで、ユーザコマンドは、３０°レンズ（ターゲット１）と７０°レンズ（ターゲット２）とを交互に切り替えるように、ターゲットカメラの設定を切り替える（図１３）。
ＤｏＶ、歪み補正、方向ズームの電子変更
これまでのところ、図８の方法を使用して、ソースカメラのＦｏＶの一部を選択し、より小さなＦｏＶおよび同じ３Ｄ場所に配置された異なるレンズカットを有するカメラによって取得されるであろうビデオ出力を模倣した。
別の可能な実施形態または用途は、特定の内視鏡カメラのＤｏＶを、全体的なＦｏＶを維持しながらシフトさせるために、開示された方法を使用することであり、この場合、レンダリングされた画像における主点は、ＤｏＶのシフトが増加するにつれて外周に向かって移動する（図１４）。この場合、図８および図１１の開示された方法は、ソースカメラに接続されたシステムで実行され、ここで、ターゲットカメラの歪み
Figure 2022550913000131
 、
画像直径
Figure 2022550913000132
 、
および
Figure 2022550913000133
 は、ソースカメラと同じ値で設定され、ＤｏＶの角度シフトγは、それを上下に自由に動かすことができるユーザによって指令される（図１４）。
説明されるシステムは、ユーザが歪みを制御する可能性によってさらに強化され得、この場合、
Figure 2022550913000134
 を設定し、γ＝０は、ソースビデオにおける放射状歪みをシステムが補正する原因となる。
開示されたシステムはまた、方向ズームと呼ばれるものを実施するために使用され得るが、この場合、角度シフトγは、レンダリングされた画像における主点が関心対象の領域（ＲＯＩ）と重ね合わされ、歪み
Figure 2022550913000135
 が増大されて、ＦｏＶおよび画像内のすべての視覚的コンテンツを維持しながら、ＲＯＩを拡大するように調整される（図１５）。代替として、ＲＯＩの倍率はまた、歪みを維持し、焦点距離
Figure 2022550913000136
 を延長することによって達成され得、この場合、ＦｏＶが減少し、一部の画像コンテンツが失われる。
その他の用途
図８および図１１のスキームの開示された方法は、自動学習のための機械学習または深層学習ベースのアルゴリズムを訓練および／または試験して、レンズカットの識別、キャリブレーションパラメータの推定、異なるレンズカットを使用して仮想画像を生成するための学習を含むが、これらに限定されない、異なるカメラおよび／またはレンズ特性を識別および推定するための入力として使用される異なる既知のキャリブレーションおよび／またはレンズカット角を有する仮想ターゲットカメラの画像をレンダリングする目的で、画像の個別のセットを処理するために使用され得る。
開示された方法はまた、眼科学における眼底画像などの他のタイプの画像に適用され得る。
ターゲット画像における主点の焦点距離および場所を選択するために開示される方法（図１１）は、内視鏡用途に限定されないが、一般的な画像およびビデオのワーピングに採用され得る。１つの可能な実施形態は、フィッシュアイカメラによって取得された画像およびビデオに、電子的なパンアンドチルトを実装する、視覚的監視のシステムにおける方法の使用である。
図１６は、デスクトップコンピュータ、ラップトップ、スマートフォン、タブレット、または非一時的コンピュータ可読媒体内に記憶されるものなどの命令を実行する能力を有する任意の他のそのようなデバイスなどの、汎用コンピューティングシステム環境１２００を含む、例示的なコンピューティングシステムの概略図である。さらに、単一のコンピューティングシステム１２００の文脈で説明および図示されているが、当業者はまた、以下に記載する様々なタスクが、実行可能な命令が複数のコンピューティングシステム１２００のうちの１つ以上と関連付けられ得、および／またはそれによって実行され得る、ローカルまたは広域ネットワークを介して連結された複数のコンピューティングシステム１２００を有する、分散された環境で実施され得ることを理解するであろう。コンピューティングシステム環境１２００、またはその一部は、本開示の処理、方法、および計算ステップの使用を見つけ得る。
その最も基本的な構成では、コンピューティングシステム環境１２００は、典型的には、バス１２０６を介して連結され得る、少なくとも１つの処理ユニット１２０２および少なくとも１つのメモリ１２０４を含む。コンピューティングシステム環境の正確な構成およびタイプに応じて、メモリ１２０４は、揮発性（例えば、ＲＡＭ１２１０など）、不揮発性（例えば、ＲＯＭ１２０８、フラッシュメモリなど）、またはその２つのいくつかの組み合わせであり得る。コンピューティングシステム環境１２００は、追加の特徴および／または機能性を有し得る。例えば、コンピューティングシステム環境１２００はまた、限定されるものではないが、磁気もしくは光学ディスク、テープドライブ、および／またはフラッシュドライブを含む、追加のストレージ（取り外し可能および／または取り外し不可能）を含み得る。こうした追加のメモリデバイスは、例えば、ハードディスクドライブインターフェース１２１２、磁気ディスクドライブインターフェース１２１４、および／または光ディスクドライブインターフェース１２１６によって、コンピューティングシステム環境１２００にアクセス可能とすることができる。理解されるように、これらのデバイスは、それぞれシステムバス１２０６に連結され、ハードディスク１２１８への読み書き、リムーバブル磁気ディスク１２２０への読み書き、および／またはＣＤ／ＤＶＤ ＲＯＭもしくは他の光媒体などのリムーバブル光ディスク１２２２への読み書きを可能にする。ドライブインターフェースおよびそれらの関連付けられたコンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピューティングシステム環境１２００用の他のデータの不揮発性記憶を可能にする。当業者は、データを記憶することができる他のタイプのコンピュータ可読媒体が、この同じ目的のために使用され得ることをさらに理解するであろう。こうしたメディアデバイスの例としては、限定されるものではないが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、Ｂｅｒｎｏｕｌｌｉカートリッジ、ランダムアクセスメモリ、ナノドライブ、メモリスティック、その他の読み取り／書き込みメモリ、および／もしくは読み取り専用メモリ、ならびに／またはコンピュータ可読命令、データ構造、プログラムモジュール、もしくはその他のデータなどの情報を記憶するための任意の他の方法もしくは技術が含まれる。任意のそのようなコンピュータストレージ媒体は、コンピューティングシステム環境１２００の一部であり得る。
多数のプログラムモジュールは、メモリ／メディアデバイスのうちの１つ以上に記憶され得る。例えば、起動中など、コンピューティングシステム環境１２００内の要素間の情報伝達を助ける基本ルーチンを含む、基本入力／出力システム（ＢＩＯＳ）１２２４は、ＲＯＭ１２０８に記憶され得る。同様に、ＲＡＭ１２１０、ハードドライブ１２１８、および／または周辺メモリデバイスは、オペレーティングシステム１２２６、１つ以上のアプリケーションプログラム１２２８（本開示の方法およびプロセスを実施するアプリケーションなど）、その他のプログラムモジュール１２３０、および／またはプログラムデータ１２３２を含む、コンピュータ実行可能命令を記憶するために使用され得る。さらに、コンピュータ実行可能命令は、必要に応じて、例えば、ネットワーク接続を介して、コンピューティング環境１２００にダウンロードされ得る。
エンドユーザ、例えば、顧客、小売店員、およびこれに類するものは、キーボード１２３４および／またはポインティングデバイス１２３６などの入力デバイスを介して、コンピューティングシステム環境１２００にコマンドおよび情報を入力し得る。図示されていないが、他の入力デバイスは、マイク、ジョイスティック、ゲームパッド、スキャナなどを含み得る。これらおよび他の入力デバイスは、典型的には、周辺機器インターフェース１２３８によって処理ユニット１２０２に接続され、これは、次にバス１２０６に結合されるであろう。入力デバイスは、例えば、パラレルポート、ゲームポート、ファイアワイア、またはユニバーサルシリアルバス（ＵＳＢ）などのインターフェースを介して、プロセッサ１２０２に直接的または間接的に接続され得る。コンピューティングシステム環境１２００からの情報を表示するために、モニタ１２４０または他のタイプの表示デバイスがまた、ビデオアダプタ１２４２を介するなど、インターフェースを介してバス１２０６に接続され得る。モニタ１２４０に加えて、コンピューティングシステム環境１２００はまた、スピーカーおよびプリンタなどの図示されていない他の周辺出力デバイスを含み得る。
コンピューティングシステム環境１２００はまた、１つ以上のコンピューティングシステム環境への論理接続を利用し得る。コンピューティングシステム環境１２００とリモートコンピューティングシステム環境との間の通信は、ネットワークルーティングを担当する、ネットワークルータ１２５２などのさらなる処理デバイスを介して交換され得る。ネットワークルータ１２５２との通信は、ネットワークインターフェースコンポーネント１２５４を介して実施され得る。したがって、このようなネットワーク環境、例えば、インターネット、ワールドワイドウェブ、ＬＡＮ、または有線もしくは無線ネットワークのその他の類似のタイプの中で、コンピューティングシステム環境１２００に対して描写されるプログラムモジュール、またはその一部が、コンピューティングシステム環境１２００のメモリ記憶デバイスに記憶され得ることが理解されよう。
コンピューティングシステム環境１２００はまた、コンピューティングシステム環境１２００の場所を判定するための局在化ハードウェア１２５６を含み得る。実施形態では、局在化ハードウェア１２５６は、例えば、ＧＰＳアンテナ、ＲＦＩＤチップもしくはリーダ、Ｗｉ－Ｆｉアンテナ、またはコンピューティングシステム環境１２００の場所を判定するために使用され得る信号を捕捉もしくは送信するために使用され得る、他のコンピューティングハードウェアのみを含み得る。
本開示の第１の態様では、カメラヘッドと、ある特定の方位角α０で、焦点距離ｆ、放射状歪みξ、および主点Ｏが既知である、画像と点Ｑで交差する機械的軸を中心に方位角において回転する、レンズカットβを有する、硬性内視鏡と、を備える、実ソースカメラによって取得された所与のビデオであって、ソースカメラと同じ３Ｄ場所に配置して、仮想ターゲットカメラによって取得されるが、レンズカット
Figure 2022550913000137
 、
視野
Figure 2022550913000138
 、
および歪み
Figure 2022550913000139
 を有する、そのビデオをレンダリングする、方法であって、ｍ×ｎの解像度、および点
Figure 2022550913000140
 を中心とする直径
Figure 2022550913000141
 の円形境界を有する各連続するターゲット画像
Figure 2022550913000142
 が、各対応するソース画像Ｉｉに対して、以下のステップ：（ｉ）方位角δｉ＝αｉ－α０における角度変位によって、ＯをＱの周りを回転させることによって、方位角αｉを有するソース画像Ｉｉにおける主点Ｏｉの場所を見つけることと、（ｉｉ）３Ｄシーン内の点Ｘのピンホールプロジェクションである、正規画像内の点ｘを、ｕ＝ｃｓ（ｘ；ｆ，Ｏｉ，ξ）となるように、ピクセル画像内の点ｕにマッピングする、ソースカメラのカメラモデルを更新することと、（ｉｉｉ）線ｎｉを見つけ、かつバックプロジェクションすることによって、ソースカメラの機械的軸および光学軸を含むか、またはそれらに近接して通過する、垂直平面
Figure 2022550913000143
 の３Ｄ場所を判定することであって、
Figure 2022550913000144
 が、ソース画像Ｉｉと交差する、判定することと、（ｉｖ）
Figure 2022550913000145
 となるように、ターゲットカメラとソースカメラとの間の３Ｄ動きｍを、垂直平面
Figure 2022550913000146
 ｉの法線である方向
Figure 2022550913000147
 の周りの角度
Figure 2022550913000148
 による回転として画定することであって、
Figure 2022550913000149
 が、ターゲットカメラの正規画像内の点である、画定することと、（ｖ）ターゲットカメラに対する焦点距離
Figure 2022550913000150
 および主点
Figure 2022550913000151
 の場所を計算し、
Figure 2022550913000152
 に従って、点
Figure 2022550913000153
 を、ピクセル画像内の点
Figure 2022550913000154
 にマッピングする、対応するカメラモデルを導出することと、（ｖｉ）画像ワーピング技術を使用して、ターゲット画像
Figure 2022550913000155
 を生成することであって、
Figure 2022550913000156
 における各ピクセル
Figure 2022550913000157
 が、
Figure 2022550913000158
 の色値が補間され得るように、ステップ（ｖ）
Figure 2022550913000159
 で計算された、関数ｃｔと、ｍと、ｃｔの逆数と、の合成である、マッピング関数ｗによって、ソース画像Ｉｉ内の点ｕにマッピングされる、生成することと、を実行することによってレンダリングされる、方法が開示されている。
第１の態様の一実施形態では、方位角α０は、特定のノッチ位置Ｐに対応しており、ソース画像Ｉｉが、処理されて、中心Ｃｉおよびノッチ位置Ｐｉとの境界を検出し、方位角における角度変位は、
Figure 2022550913000160
 として推定され、線ｎｉは、点ＯｉおよびＰｉによって画定される。
第１の態様の一実施形態では、方法は、レンダリングされたターゲット画像
Figure 2022550913000161
 を処理して、有意味の画像コンテンツが中心
Figure 2022550913000162
 および直径
Figure 2022550913000163
 を有する画像領域内にあるようにブラックフレームを作成し、円形境界内の点
Figure 2022550913000164
 に視覚的マークを配置することによってノッチを作成することをさらに含み、ｖｉは、画像線ｎｉの２Ｄ単位方向である。
第１の態様の一実施形態では、有意味の画像コンテンツを含む領域は、例えば、限定されるものではないが、円錐形状、長方形形状、六角形形状、または任意の他の多角形形状である、任意の所望の幾何学的形状を取ることができる。
第１の態様の一実施形態では、点Ｑは、連続するフレームにおいて、点Ｐｉおよび／または点Ｃｉの検出を使用して、その場で判定されるが、この場合、それは、既知のものである必要はなく、または先行して判定される必要はない。
第１の態様の一実施形態では、線ｎｉは、点ＯｉおよびＱ、またはＯｉおよびＣｉによって代替的に画定される。
第１の態様の一実施形態では、主点の位置は、円形境界に取り付けられた正規化された基準フレーム内に与えられ、この場合、フレーム瞬時ｉごとのそのピクセル場所Ｏｉの計算は、回転中心Ｑおよび方位角δｉにおける角度変位を明示的に知ることなく達成され得る。
第１の態様の一実施形態では、ソースカメラは、カメラヘッドに対するスコープの回転を測定し、ステップ（ｉ）の方位角δｉにおける角度変位を推定する、光学エンコーダ、または任意の他の感知デバイスを備える。
第１の態様の一実施形態では、主点Ｏは、回転中心Ｑと一致し、この場合、ソースカメラのカメラモデルは、ステップ（ｉｉ）におけるように、フレーム瞬時ごとに更新される必要はない。
第１の態様の一実施形態では、ターゲットカメラの歪み
Figure 2022550913000165
 は、レンダリングされた画像
Figure 2022550913000166
 が歪みのない状態となるようにゼロに設定される。
第１の態様の一実施形態では、ステップ（ｖｉ）におけるターゲット画像
Figure 2022550913000167
 のレンダリングは、画像ワーピング、または最も近い隣接体による補間、二直線補間、もしくは二球補間を含むが、これに限定されない、ピクセル値補間を使用して実施される。
第１の態様の一実施形態では、ステップ（ｖ）で、主点は、境界
Figure 2022550913000168
 の中心と一致させられており、焦点距離は、ターゲットカメラのＦｏＶが所望の
Figure 2022550913000169
 であるように選択され、この場合、
Figure 2022550913000170
 の値は、
Figure 2022550913000171
 を解くことによって取得され、Φは、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性パラメータである、数式である。
第１の態様の一実施形態では、ステップ（ｖ）において、主点は、境界
Figure 2022550913000172
 の中心と一致させられており、焦点距離は、視覚的コンテンツのない領域（空の領域）が決してないように選択され、方法は、カメラモデルｃｓと、動き
Figure 2022550913000173
 と、の合成である、関数ｇによって、原点［０，０］Ｔを変換することによって判定され得る、ワーピング関数が主点
Figure 2022550913000174
 にマッピングする、ソース画像内の場所
Figure 2022550913000175
 を見つけることと、
Figure 2022550913000176
 のバックプロジェクション光線と
Figure 2022550913000177
 に最も近い円形境界内の点との間の角度である、制限視認角度
Figure 2022550913000178
 を判定することと、
Figure 2022550913000179
 である場合、カメラＦｏＶを
Figure 2022550913000180
 に低減し、式
Figure 2022550913000181
 を解くことによって、
Figure 2022550913000182
 の値を取得し、そうでなければ、式
Figure 2022550913000183
 を解くことによって、
Figure 2022550913000184
 の値を取得することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性パラメータである、数式である、取得することと、を含む。
第１の態様の一実施形態では、ステップ（ｖｉ）において、焦点距離
Figure 2022550913000185
 および主点
Figure 2022550913000186
 は、レンダリングされた画像が空の領域を有さず、ターゲットカメラのＦｏＶが指定された値
Figure 2022550913000187
 であるようなものであり、方法は、カメラモデルｃｓと、動き
Figure 2022550913000188
 と、の合成である、関数ｇによって、原点［０，０］Ｔを変換することによって判定され得る、ワーピング関数が主点
Figure 2022550913000189
 にマッピングする、ソース画像内の場所
Figure 2022550913000190
 を見つけることと、
Figure 2022550913000191
 のバックプロジェクション光線と
Figure 2022550913000192
 に最も近い円形境界内の点との間の角度である、制限視認角度
Figure 2022550913000193
 を判定することと、
Figure 2022550913000194
 である場合、焦点距離
Figure 2022550913000195
 に対して以下の連立方程式を解き、主点を、
Figure 2022550913000196
 として取得し、そうでなければ、
Figure 2022550913000197
 を作製し、
Figure 2022550913000198
 を解くことによって、
Figure 2022550913000199
 を見つけることであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性パラメータである、数式である、見つけることと、を含む。
第１の態様の一実施形態では、ターゲットカメラのパラメータは、任意であってもよく、特定の目的を達成するために事前に定義されていてもよく、カット角
Figure 2022550913000200
 を有する特定の実内視鏡を備えた特定の実カメラのキャリブレーションに等しくてもよく、手技の開始時にユーザによって選択されてもよく、または特定のイベントもしくはユーザコマンドに従って動作中に変化してもよい。
第１の態様の一実施形態では、方法は、レンズカット、ならびに
Figure 2022550913000201
 のＦｏＶを有する、２つの仮想ターゲットカメラを電子的に切り替える可能性の権限をユーザに付与する目的で、ソースカメラに接続されたシステムで使用される。
第１の態様の一実施形態では、ソースカメラは、硬性内視鏡のカット角がおよそ
Figure 2022550913000202
 であり、ＦｏＶがおよそ
Figure 2022550913000203
 であるように選択されて、ターゲットカメラにおける主点が画像の中心に近いことを確実にする。
第１の態様の一実施形態では、
Figure 2022550913000204
 、
歪み
Figure 2022550913000205
 、
画像解像度、およびターゲットカメラの直径
Figure 2022550913000206
 は、ソースカメラと同じ値で設定され、カット角
Figure 2022550913000207
 は、
Figure 2022550913000208
 となるように、ソースカメラのレンズカットβに加えられる角度シフトγの量を制御する、ユーザによって設定される。
第１の態様の一実施形態では、歪み
Figure 2022550913000209
 および角度シフトγの両方は、ゼロに設定され、この場合、システムは、ソース画像内の放射状歪みを補正するであろう。
第１の態様の一実施形態では、選択された角度シフトγとは無関係に、放射状歪みなしにレンダリングされるターゲット画像に対して、歪み
Figure 2022550913000210
 はゼロに設定される。
第１の態様の一実施形態では、主点がターゲット画像の関心対象の領域内に配置され、放射状歪みパラメータ
Figure 2022550913000211
 が増大されて、ターゲットカメラのＦｏＶおよび目に見えるすべてのコンテンツを維持しながら、この関心対象の領域を拡大するように、角度シフトγが選択される。
第１の態様の一実施形態では、ソースおよび／またはターゲットカメラは、限定されるものではないが、学習ベースのモデル、ブラウンの多項式モデル、有理モデル、フィッシュアイモデル、または除算モデルを含む、文献で既知のモデルのうちのいずれかによって記述される放射状歪みを有する。
第１の態様の一実施形態では、中央ＣｉおよびノッチＰｉとの境界は、汎用の円錐検出方法を使用して、機械学習もしくは深層学習技術を使用して、または任意の他の画像処理技術を使用して検出される。
第１の態様の一実施形態では、複数のノッチ位置が検出され、これらの複数のノッチのうちの特定のノッチは、点Ｐｉ、Ｑ、Ｐによって画定される角度のような、方位角δｉにおける角度変位を判定するために使用される。
第１の態様の一実施形態では、仮想ターゲットカメラの視野
Figure 2022550913000212
 および歪み
Figure 2022550913000213
 は、ソースカメラと同じ値を取るが、レンズカット
Figure 2022550913000214
 は、フレーム瞬時ごとにユーザによって設定される。
第１の態様の一実施形態では、仮想ターゲットカメラの視野
Figure 2022550913000215
 は、ソースカメラと同じ値を取るが、レンズカット
Figure 2022550913000216
 および歪み
Figure 2022550913000217
 は、フレーム瞬時ごとにユーザによって設定される。
第１の態様の一実施形態では、仮想ターゲットカメラの視野
Figure 2022550913000218
 およびレンズカット
Figure 2022550913000219
 は、ソースカメラと同じ値を取るが、歪み
Figure 2022550913000220
 は、ＦｏＶを変更しないズームインまたはズームアウト効果を生成するために、フレーム瞬時ごとにユーザによって設定される。
第１の態様の一実施形態では、仮想ターゲットカメラの視野
Figure 2022550913000221
 は、ソースカメラと同じ値を取るが、レンズカット
Figure 2022550913000222
 および歪み
Figure 2022550913000223
 は、ＤｏＶを適合させ、ＦｏＶを変更しないズームインまたはズームアウト効果を生成するために、フレーム瞬時ごとにユーザによって設定される。
第１の態様の一実施形態では、仮想ターゲットカメラの視野
Figure 2022550913000224
 は、ソースカメラと同じ値を取るが、レンズカット
Figure 2022550913000225
 および焦点距離
Figure 2022550913000226
 は、フレーム瞬時ごとにユーザによって設定され、この場合、解くための変数は、ＦｏＶを変更しないズームインまたはズームアウト効果を生成するために、焦点距離
Figure 2022550913000227
 ではなく、歪み
Figure 2022550913000228
 である。
様々な実施形態が本開示の目的のために説明されてきたが、このような実施形態は、本開示の教示をそれらの実施形態に限定するものとみなされるべきではない。本開示に記載されるシステムおよびプロセスの範囲内に留まる結果を得るために、上述の要素および動作に様々な変更および修正がなされ得る。本明細書に引用されるすべての特許、特許出願、および公開された参考文献は、参照によりその全体が本明細書に組み込まれる。本開示の上述の実施形態は、本開示の原理を明確に理解するために単に記載される、実装形態の単なる可能な実施例であることを強調すべきである。本開示の趣旨および原理から実質的に逸脱することなく、上述の実施形態に多くの変形および修正がなされ得る。上記で開示された他の特徴および機能、またはその代替案のいくつかは、望ましくは他の多くの異なるシステムまたは用途に組み合わされ得ることが理解されよう。こうしたすべての修正および変形は、添付の特許請求の範囲内にあるように、本開示の範囲内で本明細書に含まれることが意図される。
記載される実施形態は、すべての点において、例示としてのみ考慮され、限定されるものではなく、したがって、本開示の実施形態の範囲は、前述の説明によってではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意味およびその等価性の範囲内にあるすべての変更は、その範囲内で採用されるものとする。当業者は、各特定の用途に対して様々な方式で説明された機能を実装することができるが、そのような実装決定は、開示されたシステムおよび／または方法の範囲から逸脱するものとして解釈されるべきではない。

Claims (30)

  1. 実ソースカメラによって捕捉されたソース画像Ｉｉに基づいて、仮想ターゲットカメラの画像
    Figure 2022550913000229
     をレンダリングするための方法であって、前記ソースカメラが、カメラヘッドと、ある特定の方位角α０で、焦点距離ｆ、放射状歪みξ、および主点Ｏが既知である、画像と点Ｑで交差する機械的軸を中心に方位角において回転する、レンズカットβを有する、硬性内視鏡と、を備え、前記方法が、
    方位角δｉ＝αｉ－α０における角度変位によって、ＯをＱの周りを回転させることによって、方位角αｉを有する前記ソース画像Ｉｉにおける主点Ｏｉの場所を見つけることと、
    前記焦点距離ｆ、放射状歪みξ、および主点Ｏｉの場所に従って、正規画像内の点ｘを、ピクセル画像内の点ｕにマッピングする、前記ソースカメラのカメラモデルｃｓを更新することと、
    線ｎｉを見つけ、かつバックプロジェクションすることによって、前記ソースカメラの前記機械的軸および前記光学軸を含むか、またはそれらに近接して通過する、垂直平面
    Figure 2022550913000230
     の３Ｄ場所を判定することであって、
    Figure 2022550913000231
     が、前記ソース画像Ｉｉと交差する、判定することと、
    Figure 2022550913000232
     となるように、前記ターゲットカメラと前記ソースカメラとの間の３Ｄ動きｍを、前記垂直平面
    Figure 2022550913000233
     に対して垂直である方向
    Figure 2022550913000234
     の周りの角度
    Figure 2022550913000235
     による回転として画定することであって、
    Figure 2022550913000236
     が、前記ターゲットカメラの前記正規画像内の点である、画定することと、
    前記ターゲットカメラに対する焦点距離
    Figure 2022550913000237
     および前記主点
    Figure 2022550913000238
     の場所を計算し、前記焦点距離
    Figure 2022550913000239
     および前記主点
    Figure 2022550913000240
     の場所に従って、ターゲット画像の正規画像内の点
    Figure 2022550913000241
     を前記ターゲット画像のピクセル画像内の点
    Figure 2022550913000242
     にマッピングする、カメラモデルｃｔを導出することと、
    Figure 2022550913000243
     内の複数のピクセル
    Figure 2022550913000244
     を、前記ソースカメラの前記カメラモデルｃｓと、前記３Ｄ動きｍと、前記ターゲットカメラのカメラモデルｃｔの逆数と、の合成である、マッピング関数ｗを用いて、前記ソース画像Ｉｉ内の点ｕにマッピングすることによって、前記ターゲット画像
    Figure 2022550913000245
     を生成することと、を含む、方法。
  2. 前記方位角α０が、第１のノッチ位置Ｐに対応しており、前記方法が、
    前記ソース画像Ｉｉを処理して、中心Ｃｉおよび第２のノッチ位置Ｐｉとの境界を検出することをさらに含み、
    方位角における角度変位によって、Ｑの周りでＯを回転させることが、前記第１のノッチ位置Ｐ、前記第２のノッチ位置Ｐｉ、および前記点Ｑに従って、方位角における前記角度変位を推定することを含み、
    前記線ｎｉが、点ＯｉおよびＰｉによって画定される、請求項１に記載の方法。
  3. 前記レンダリングされたターゲット画像
    Figure 2022550913000246
     を処理して、中心
    Figure 2022550913000247
     および直径
    Figure 2022550913000248
     を有する画像領域を画定するブラックフレームを作成し、前記円形境界内の点
    Figure 2022550913000249
     に視覚的マークを配置することによってノッチを作成することをさらに含み、ｖｉが、画像線ｎｉの２Ｄ単位方向である、請求項２に記載の方法。
  4. 前記画像領域が、円形状、円錐形状、長方形形状、六角形形状、または別の多角形形状のうちの１つ以上を含む、請求項３に記載の方法。
  5. 前記ソース画像Ｉｉが、２つ以上のソース画像フレームを含み、点Ｑが、前記２つ以上のフレームの連続する１つにおいて、点Ｐｉまたは点Ｃｉのうちの１つ以上を検出することによって判定される、請求項２に記載の方法。
  6. 前記ソース画像Ｉｉを処理して、中心Ｃｉおよび第２のノッチ位置Ｐｉとの境界を検出することが、複数の第２のノッチ位置Ｐｉを検出することを含み、前記複数の第２のノッチ位置のうちの１つが、方位角δｉにおける前記角度変位を判定するために使用される、請求項２に記載の方法。
  7. 前記方位角α０が、第１のノッチ位置Ｐに対応しており、前記方法が、
    前記ソース画像Ｉｉを処理して、中心Ｃｉおよび第２のノッチ位置Ｐｉとの境界を検出することをさらに含み、
    方位角における角度変位によって、Ｑの周りでＯを回転させることが、前記第１のノッチ位置Ｐ、前記第２のノッチ位置Ｐｉ、および前記点Ｑに従って、方位角における前記角度変位を推定することを含み、
    線ｎｉが、
    点ＯｉおよびＱ、または
    点ＯｉおよびＣｉによって画定される、請求項１に記載の方法。
  8. 前記主点の前記位置が、前記内視鏡内に配置されるか、または前記内視鏡に取り付けられる正規化された基準フレーム内に与えられる、請求項１に記載の方法。
  9. 前記ソースカメラが、前記カメラヘッドに対する前記内視鏡の前記回転を測定し、方位角δｉにおける前記角度変位を推定する、センサを備える、請求項１に記載の方法。
  10. 前記主点Ｏが、前記回転中心Ｑと一致する、請求項１に記載の方法。
  11. 前記ターゲットカメラ
    Figure 2022550913000250
     の歪みが、ゼロに設定される、請求項１に記載の方法。
  12. 前記ターゲット画像
    Figure 2022550913000251
     を生成することが、画像ワーピング、または最も近い隣接体による補間、二直線補間、もしくは二球補間のうちの１つ以上を含む、ピクセル値補間を使用して実施される、請求項１に記載の方法。
  13. 前記主点
    Figure 2022550913000252
     が、前記仮想画像の境界の中心
    Figure 2022550913000253
     と一致させられており、前記焦点距離
    Figure 2022550913000254
     を計算することが、
    Figure 2022550913000255
     を解くことを含み、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線の間の角度に関連する数式である、請求項１に記載の方法。
  14. 前記主点
    Figure 2022550913000256
     が、前記仮想画像の境界の中心
    Figure 2022550913000257
     と一致させられており、前記方法が、
    前記カメラモデルｃｓと、前記動きｍと、の合成である、関数ｇによって、前記ソース画像の原点［０，０］Ｔを変換して、前記主点
    Figure 2022550913000258
     にマッピングする前記ソース画像内の場所
    Figure 2022550913000259
     を見つけることと、
    Figure 2022550913000260
     の前記バックプロジェクション光線と
    Figure 2022550913000261
     に最も近い前記円形境界内の点との間の制限視認角度
    Figure 2022550913000262
     を判定することと、
    Figure 2022550913000263
     である場合、前記カメラ視野を
    Figure 2022550913000264
     に低減し、前記式
    Figure 2022550913000265
     を解くことによって、
    Figure 2022550913000266
     の値を取得することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連する数式である、取得することと、
    Figure 2022550913000267
     である場合、前記式
    Figure 2022550913000268
     を解くことによって、
    Figure 2022550913000269
     の値を取得することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性のパラメータである、数式である、取得することと、を含む、請求項１に記載の方法。
  15. 前記カメラモデルｃｓと、前記動きｍと、の合成である、関数ｇによって、前記ソース画像の原点［０，０］Ｔを変換して、前記主点
    Figure 2022550913000270
     にマッピングする前記ソース画像内の場所
    Figure 2022550913000271
     を見つけることと、
    Figure 2022550913000272
     の前記バックプロジェクション光線と
    Figure 2022550913000273
     に最も近い前記円形境界内の点との間の制限視認角度
    Figure 2022550913000274
     を判定することと、
    Figure 2022550913000275
     である場合、前記焦点距離
    Figure 2022550913000276
     に対して以下の連立方程式を解き、前記主点を、
    Figure 2022550913000277
     ；
    として取得することと、
    Figure 2022550913000278
     である場合、
    Figure 2022550913000279
     を設定し、
    Figure 2022550913000280
     を解くことによって
    Figure 2022550913000281
     を判定することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性パラメータである、数式である、判定することと、をさらに含む、請求項１に記載の方法。
  16. 前記ソースカメラが、前記硬性内視鏡の前記カット角がおよそ
    Figure 2022550913000282
     であり、前記視野がおよそ
    Figure 2022550913000283
     であるように選択され、
    Figure 2022550913000284
     が、それぞれ第１の仮想ターゲットカメラの前記レンズカットおよび視野であり、
    Figure 2022550913000285
     が、それぞれ第２の仮想ターゲットカメラの前記レンズカットおよび視野であり、前記仮想ターゲットカメラが、前記第１の仮想ターゲットカメラまたは前記第２の仮想ターゲットカメラである、請求項１５に記載の方法。
  17. 前記ターゲットカメラの前記
    Figure 2022550913000286
     、
    前記歪み
    Figure 2022550913000287
     、
    前記画像解像度、および前記直径
    Figure 2022550913000288
     が、前記ソースカメラと同じそれぞれの値で設定され、前記ターゲットカメラのカット角
    Figure 2022550913000289
     が、前記ソースカメラの前記レンズカットβに加えられる角度シフトγの量のユーザ選択を通して、ユーザによって設定される、請求項１５に記載の方法。
  18. 前記歪み
    Figure 2022550913000290
     が、ゼロである、請求項１７に記載の方法。
  19. 前記角度シフトγが、ゼロである、請求項１８に記載の方法。
  20. 前記ターゲットカメラのカット角
    Figure 2022550913000291
     が、前記ソースカメラの前記レンズカットβに加えられる角度シフトγの量のユーザ選択を通して、ユーザによって設定され、前記角度シフトγが、前記主点が前記ターゲット画像内の関心領域に配置されるように、前記ユーザによって選択され、前記放射状歪みパラメータ
    Figure 2022550913000292
     が、前記ソースカメラの前記放射状歪みξに対して増加して、前記関心領域を拡大する、請求項１５に記載の方法。
  21. 前記仮想ターゲットカメラの視野
    Figure 2022550913000293
     、
    および前記仮想ターゲットカメラの前記歪み
    Figure 2022550913000294
     が、前記ソースカメラと同じ値を取り、前記仮想ターゲットカメラのレンズカット
    Figure 2022550913000295
     が、ユーザによって設定される、請求項１に記載の方法。
  22. 前記仮想ターゲットカメラの視野
    Figure 2022550913000296
     が、前記ソースカメラと同じ値を取り、前記仮想ターゲットカメラの前記レンズカット
    Figure 2022550913000297
     、
    および前記仮想ターゲットカメラの前記歪み
    Figure 2022550913000298
     が、ユーザによって設定される、請求項１に記載の方法。
  23. 前記レンズカット
    Figure 2022550913000299
     および前記歪み
    Figure 2022550913000300
     が、前記視界の奥行きを調整し、前記視野を変更しないズーム効果を生成するように、前記ユーザによって設定される、請求項２２に記載の方法。
  24. 前記仮想ターゲットカメラの前記視野
    Figure 2022550913000301
     および前記レンズカット
    Figure 2022550913000302
     が、前記ソースカメラと同じ値を取り、前記仮想ターゲットカメラの前記歪み
    Figure 2022550913000303
     が、ユーザによって設定される、請求項１に記載の方法。
  25. 前記仮想ターゲットカメラの視野
    Figure 2022550913000304
     が、前記ソースカメラと同じ値を取り、前記仮想ターゲットカメラのレンズカット
    Figure 2022550913000305
     および前記焦点距離
    Figure 2022550913000306
     が、前記ユーザによって設定される、請求項１に記載の方法。
  26. 前記主点
    Figure 2022550913000307
     が、前記仮想画像の境界の中心
    Figure 2022550913000308
     と一致させられており、前記歪み
    Figure 2022550913000309
     を計算することが、
    Figure 2022550913000310
     を解くことを含み、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線の間の角度に関連する数式である、請求項２５に記載の方法。
  27. 前記主点
    Figure 2022550913000311
     が、前記仮想画像の境界の中心
    Figure 2022550913000312
     と一致させられており、前記方法が、
    前記カメラモデルｃｓと、前記動きｍと、の合成である、関数ｇによって、前記ソース画像の原点［０，０］Ｔを変換して、前記主点
    Figure 2022550913000313
     にマッピングする前記ソース画像内の場所
    Figure 2022550913000314
     を見つけることと、
    Figure 2022550913000315
     の前記バックプロジェクション光線と
    Figure 2022550913000316
     に最も近い前記円形境界内の点との間の制限視認角度
    Figure 2022550913000317
     を判定することと、
    Figure 2022550913000318
     である場合、前記カメラ視野を
    Figure 2022550913000319
     に低減し、前記式
    Figure 2022550913000320
     を解くことによって、歪み
    Figure 2022550913000321
     の値を取得することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連する数式である、取得することと、
    Figure 2022550913000322
     である場合、前記式
    Figure 2022550913000323
     を解くことによって、歪み
    Figure 2022550913000324
     の値を取得することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性パラメータである、数式である、取得することと、を含む、請求項２５に記載の方法。
  28. 前記カメラモデルｃｓと、前記動きｍと、の合成である、関数ｇによって、前記ソース画像の原点［０，０］Ｔを変換して、前記主点
    Figure 2022550913000325
     にマッピングする前記ソース画像内の場所
    Figure 2022550913000326
     を見つけることと、
    Figure 2022550913000327
     の前記バックプロジェクション光線と
    Figure 2022550913000328
     に最も近い前記円形境界内の点との間の制限視認角度
    Figure 2022550913000329
     を判定することと、
    Figure 2022550913000330
     である場合、前記歪み
    Figure 2022550913000331
     に対して以下の連立方程式を解き、前記主点を、
    Figure 2022550913000332
     ；
    として取得することと、
    Figure 2022550913000333
     である場合、
    Figure 2022550913000334
     を設定し、
    Figure 2022550913000335
     を解くことによって歪み
    Figure 2022550913000336
     を判定することであって、Φが、焦点距離、放射状歪み、画像距離、およびバックプロジェクション光線間の角度に関連し、そのすべてが、相互依存性パラメータである、数式である、判定することと、をさらに含む、請求項２５に記載の方法。
  29. 実ソースカメラによって捕捉されたソース画像Ｉｉに基づいて、仮想ターゲットカメラの画像
    Figure 2022550913000337
     をレンダリングするシステムであって、前記ソースカメラが、カメラヘッドと、ある特定の方位角α０で、焦点距離ｆ、放射状歪みξ、および主点Ｏが既知である、画像と点Ｑで交差する機械的軸を中心に方位角において回転する、レンズカットβを有する、硬性内視鏡と、を備え、前記システムが、
    命令を記憶する、非一時的コンピュータ可読媒体と、
    方法を実施するための前記命令を実行するように構成されたプロセッサと、を含み、前記方法が、
    方位角δｉ＝αｉ－α０における角度変位によって、ＯをＱの周りを回転させることによって、方位角αｉで、前記ソース画像Ｉｉにおける前記主点Ｏｉの場所を見つけることと、
    前記焦点距離ｆ、放射状歪みξ、および主点Ｏｉの場所に従って、正規画像内の点ｘを、ピクセル画像内の点ｕにマッピングする、前記ソースカメラのカメラモデルｃｓを更新することと、
    線ｎｉを見つけ、かつバックプロジェクションすることによって、前記ソースカメラの前記機械的軸および前記光学軸を含むか、またはそれらに近接して通過する、垂直平面
    Figure 2022550913000338
     の３Ｄ場所を判定することであって、
    Figure 2022550913000339
     が、前記ソース画像Ｉｉと交差する、判定することと、
    Figure 2022550913000340
     となるように、前記ターゲットカメラと前記ソースカメラとの間の３Ｄ動きｍを、前記垂直平面
    Figure 2022550913000341
     ｉ
    に対して垂直である方向
    Figure 2022550913000342
     の周りの角度
    Figure 2022550913000343
     による回転として画定することであって、
    Figure 2022550913000344
     が、前記ターゲットカメラの前記正規画像内の点である、画定することと、
    前記ターゲットカメラに対する焦点距離
    Figure 2022550913000345
     および前記主点
    Figure 2022550913000346
     の場所を計算し、前記焦点距離
    Figure 2022550913000347
     および前記主点
    Figure 2022550913000348
     の場所に従って、点
    Figure 2022550913000349
     を前記ピクセル画像内の点
    Figure 2022550913000350
     にマッピングする、カメラモデルを導出することと、
    Figure 2022550913000351
     内の複数のピクセル
    Figure 2022550913000352
     を、前記ソースカメラの前記カメラモデルｃｓと、前記３Ｄ動きｍと、前記ターゲットカメラのカメラモデルｃｔの逆数と、の合成である、マッピング関数ｗを用いて、前記ソース画像Ｉｉ内の点ｕにマッピングすることによって、前記ターゲット画像
    Figure 2022550913000353
     を生成することであって、前記ターゲットカメラの前記カメラモデルｃｔが、前記ターゲットカメラの正規画像内の点を、前記ターゲットカメラのピクセル画像内の点にマッピングする、生成することと、を含む、システム。
  30. 仮想ターゲットカメラの仮想画像
    Figure 2022550913000354
     をレンダリングするための方法であって、前記方法が、
    実ソースカメラによって捕捉されたソース画像Ｉｉを取得することであって、前記ソースカメラが、医療スコープを含む、取得することと、
    方位角αｉを有する前記ソース画像Ｉｉにおける主点Ｏｉの場所を見つけることであって、前記実ソースカメラが、前記主点Ｏｉの前記場所に従って、正規画像内の点ｘをピクセル画像内の点ｕにマッピングする、カメラモデルｃｓと関連付けられている、見つけることと、
    線ｎｉを見つけ、かつバックプロジェクションすることによって、前記ソースカメラの機械的軸および光学軸に近接する、垂直平面
    Figure 2022550913000355
     の３Ｄ場所を判定することであって、
    Figure 2022550913000356
     が、前記ソース画像Ｉｉと交差する、判定することと、
    前記ターゲットカメラと前記ソースカメラとの間の３Ｄ動きｍを、前記垂直平面
    Figure 2022550913000357
     に対して垂直である方向
    Figure 2022550913000358
     の周りの回転として画定することと、
    前記仮想画像
    Figure 2022550913000359
     の正規画像内の点
    Figure 2022550913000360
     を、前記仮想画像
    Figure 2022550913000361
     のピクセル画像内の点
    Figure 2022550913000362
     にマッピングする、カメラモデルｃｔを導出することと、
    Figure 2022550913000363
     内の複数のピクセル
    Figure 2022550913000364
     を、前記ソースカメラの前記カメラモデルｃｓと、前記３Ｄ動きｍと、前記ターゲットカメラのカメラモデルｃｔの逆数と、の合成である、マッピング関数ｗを用いて、前記ソース画像Ｉｉ内の点ｕにマッピングすることによって、前記ターゲット画像
    Figure 2022550913000365
     を生成することと、を含む、方法。

JP2022520932A 2019-10-07 2020-10-07 リアルタイム画像処理を使用するビデオガイド付き臨床手技中に視界の方向を変更するためのシステムおよび方法 Pending JP2022550913A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962911950P 2019-10-07 2019-10-07
US201962911986P 2019-10-07 2019-10-07
US62/911,986 2019-10-07
US62/911,950 2019-10-07
PCT/US2020/054640 WO2021071991A1 (en) 2019-10-07 2020-10-07 Systems and methods for changing the direction of view during video guided clinical procedures using real-time image processing

Publications (2)

Publication Number Publication Date
JP2022550913A true JP2022550913A (ja) 2022-12-05
JPWO2021071991A5 JPWO2021071991A5 (ja) 2023-10-20

Family

ID=75436886

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022520683A Pending JP2023504344A (ja) 2019-10-07 2020-10-07 内視鏡の特性評価および内視鏡カメラシステムの自動較正のためのシステムおよび方法
JP2022520932A Pending JP2022550913A (ja) 2019-10-07 2020-10-07 リアルタイム画像処理を使用するビデオガイド付き臨床手技中に視界の方向を変更するためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022520683A Pending JP2023504344A (ja) 2019-10-07 2020-10-07 内視鏡の特性評価および内視鏡カメラシステムの自動較正のためのシステムおよび方法

Country Status (6)

Country Link
US (2) US20220383588A1 (ja)
EP (2) EP4041049A4 (ja)
JP (2) JP2023504344A (ja)
CN (2) CN114630611A (ja)
AU (2) AU2020362216A1 (ja)
WO (2) WO2021071988A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020362216A1 (en) * 2019-10-07 2022-04-14 S&N Orion Prime, S.A. Systems and methods for characterization of an endoscope and automatic calibration of an endoscopic camera system
EP4107748A1 (en) 2020-02-20 2022-12-28 Smith&Nephew, Inc. Methods for arthroscopic video analysis and devices therefor
CN115210756A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜手术视频分割的方法及用于其的装置
CN114913236A (zh) * 2021-02-09 2022-08-16 深圳市汇顶科技股份有限公司 相机标定方法、装置及电子设备
EP4348582A2 (en) 2021-05-24 2024-04-10 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data
CN115393221B (zh) * 2022-08-29 2023-06-20 眉山市人民医院 适用于输尿管软镜末端的探镜角度校准方法、终端及介质
CN117392243B (zh) * 2023-12-13 2024-02-06 山东科技大学 基于图像处理的编码器安装位置检测方法及系统
CN117796745B (zh) * 2024-02-29 2024-05-03 四川大学 一种估计消化内镜镜头进退距离的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US8223193B2 (en) * 2009-03-31 2012-07-17 Intuitive Surgical Operations, Inc. Targets, fixtures, and workflows for calibrating an endoscopic camera
CN103827917B (zh) 2011-07-25 2017-06-09 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
WO2016154557A1 (en) 2015-03-26 2016-09-29 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
WO2017104427A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 内視鏡用光学アダプタ
WO2018232322A1 (en) * 2017-06-15 2018-12-20 Children's National Medical Center System, apparatus and method for calibrating oblique-viewing rigid endoscope
CN108938086A (zh) * 2018-06-08 2018-12-07 艾瑞迈迪医疗科技（北京）有限公司 内窥镜畸变矫正方法及手术导航设备
AU2020362216A1 (en) * 2019-10-07 2022-04-14 S&N Orion Prime, S.A. Systems and methods for characterization of an endoscope and automatic calibration of an endoscopic camera system

Also Published As

Publication number Publication date
WO2021071988A1 (en) 2021-04-15
WO2021071991A1 (en) 2021-04-15
AU2020362217A1 (en) 2022-04-07
US20220383588A1 (en) 2022-12-01
EP4041048A4 (en) 2023-11-15
CN114630611A (zh) 2022-06-14
EP4041049A1 (en) 2022-08-17
US20220392110A1 (en) 2022-12-08
EP4041048A1 (en) 2022-08-17
CN114727744A (zh) 2022-07-08
EP4041049A4 (en) 2024-01-10
JP2023504344A (ja) 2023-02-03
AU2020362216A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
JP2022550913A (ja) リアルタイム画像処理を使用するビデオガイド付き臨床手技中に視界の方向を変更するためのシステムおよび方法
JP6549711B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US11918424B2 (en) System and method for improved electronic assisted medical procedures
US9289267B2 (en) Method and apparatus for minimally invasive surgery using endoscopes
JP7280188B2 (ja) 医療用拡大高解像度撮像方法及び撮像システム
WO2019044328A1 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
US20140336461A1 (en) Surgical structured light system
JP7460631B2 (ja) デュアル画像センサを有する内視鏡
JP2021094421A (ja) 画像処理装置、画像処理方法、及び記録媒体
JP2008532602A (ja) 外科手術ナビゲーションと顕微鏡による可視化の方法と装置
JP7444065B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
US11478140B1 (en) Wireless laparoscopic device with gimballed camera
US8052598B2 (en) Systems and methods for calibrating an endoscope
JP6828695B2 (ja) 医療用画像処理装置、システム、方法及びプログラム
JP6935389B2 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
US11678791B2 (en) Imaging system and observation method
TW201206387A (en) Robotic control of an oblique endoscope for fov images
US20230071841A1 (en) System and method for improved electronic assisted medical procedures
CN115623163A (zh) 二维三维图像的采集与融合显示系统及方法
EP3119264B1 (en) Optically adaptive endoscope
WO2023184525A1 (en) System and method for deep learning based hybrid image enlargement
WO2023184526A1 (en) System and method of real-time stereoscopic visualization based on monocular camera
Hayashibe et al. Real-time 3D deformation imaging of abdominal organs in laparoscopy
WO2024069156A1 (en) Processing surgical data
GB2622893A (en) Processing surgical data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220803

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240729