JP2023113689A - 外科用内視鏡ビデオストリームの画像補正 - Google Patents
外科用内視鏡ビデオストリームの画像補正 Download PDFInfo
- Publication number
- JP2023113689A JP2023113689A JP2023080925A JP2023080925A JP2023113689A JP 2023113689 A JP2023113689 A JP 2023113689A JP 2023080925 A JP2023080925 A JP 2023080925A JP 2023080925 A JP2023080925 A JP 2023080925A JP 2023113689 A JP2023113689 A JP 2023113689A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- features
- surgical
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003702 image correction Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 63
- 230000004048 modification Effects 0.000 claims description 62
- 238000012986 modification Methods 0.000 claims description 62
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 13
- 230000003213 activating effect Effects 0.000 claims 1
- 238000011017 operating method Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 8
- 210000000056 organ Anatomy 0.000 description 16
- 210000003734 kidney Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 210000001367 artery Anatomy 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
Abstract
【課題】外科用内視鏡からのビデオストリームのリアルタイム画像補正の改善された方法を提供する。【解決手段】ビデオストリームは、画像シーケンスを含む。本方法は、画像シーケンス内のある画像に対して、複数の領域を識別することであって401、各領域が、別の領域に対して、少なくとも1つの画像プロパティの異なる範囲の値を有する、識別することと、マスクを画像に適用することであって402、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の少なくとも1つの画像プロパティを修正する、適用することと、外科用ロボットシステムからデータを導出することと403、導出されたデータから画像内の特徴間の関係を決定することと404、ビデオストリーム内の後続画像の時点での特徴間の予測関係についてマスクを修正することと406、修正されたマスクをビデオストリーム内の後続画像に適用することと407、を含む。【選択図】図4
Description
本開示は、外科用ロボットシステムの外科用内視鏡からのビデオストリームの画像補正に関する。
低侵襲外科手術では、外科用内視鏡を介して外科的部位が撮像される。内視鏡はカメラであり、カメラは典型的に、部位を照明するための光源と、ビデオストリームを取得するための1つ以上のレンズと、を備える、先端を有する。ビデオストリームは、ディスプレイ上にリアルタイムで表示され、ディスプレイにより、外科医は、外科的部位、および外科医自身が操作している外科用器具を視認することができる。
外科的部位を十分に照明するために、内視鏡上の光源は非常に強い。結果として生じるビデオストリームでは、照明面積は、影の中にある画像の残りの部分に対して高コントラストである。低侵襲外科手術では、内視鏡の直径は非常に狭く、したがって、光源は内視鏡の光学軸に非常に近い。組織は湿っていて光沢があるため、照明されるとレンズに強い反射が戻され、これは、組織が光学軸の近くにあり、内視鏡に近い場合に、悪化する。画像のこの過度に明るい部分は、非常に暗く見える画像の外周部とは全く対照的である。内視鏡からさらに離れる方向にある組織も非常に暗く見える。結果として、外科医の外科的部位の視野は悪いままで、視認性は限定されている。
外科医が視認する画像の品質を改善するために、内視鏡からビデオストリームへの変換を適用することが知られている。明るさとコントラストを調節して、画像の中心面積をより見えるようにする。しかしながら、画像の他の面積は中心面積よりもはるかに暗いため、変換が画像にわたって均一に適用されると、これらのより暗い面積の視認性がさらに低下する。
例えば、中心面積を暗くし、外周部を明るくするために、内視鏡からの画像の中心面積に、画像の周辺部とは異なる変換を適用することが知られている。画像全体にわたって変換を均一に適用するための改善であるが、このアプローチは、中心面積内または外周部内の高コントラスト領域の視認性が改善されないという問題に悩まされる。
静止画像を処理するためのより高度な技法が知られており、これは、画像の手動操作を伴う。手動操作を伴う技法は、外科医が、外科医自身が手術中の外科的部位をよりよく視認することを可能にするためにこの分野で必要とされるような、内視鏡からのビデオストリームのリアルタイム補正には好適ではない。
外科的部位で手術中の外科医に対して、画像全体にわたって視認性を改善するように、リアルタイムでの外科用内視鏡からのビデオストリームの画像補正の改善された方法が必要とされている。
第1の態様によれば、外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の方法であって、ビデオストリームが、画像シーケンスを含み、方法が、画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも1つの画像プロパティの異なる範囲の値を有する、識別することと、マスクを画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の少なくとも1つの画像プロパティを修正する、適用することと、外科用ロボットシステムからデータを導出することと、導出されたデータから画像内の特徴間の関係を決定することと、ビデオストリーム内の後続画像の時点での特徴間の予測関係についてマスクを修正することと、修正されたマスクをビデオストリーム内の後続画像に適用することと、を含む、方法が提供される。
本方法は、所定の修正のセットを記憶することと、2つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含み得る。
所定の修正は、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの1つ以上を修正し得る。
後続画像の時点での特徴間の予測関係は、画像内の特徴のうちの1つ以上の形状が変化しているか、または特徴の相対的な位置が変化しているようなものであってもよい。
データは、画像内の別の特徴に対する外科用内視鏡の位置を含み得る。
データは、画像内の特徴の深度情報を含み得る。深度情報は、外科用内視鏡の運動から導出され得る。ビデオストリームは、外科用内視鏡の2つのステレオビデオチャネルの組み合わせであってもよく、本方法は、外科用内視鏡の2つのステレオビデオチャネルから深度情報を導出することを含み得る。
データは、画像内の特徴の識別を含み得る。
本方法は、画像の識別された特徴に対応するように画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含み得る。
本方法は、外科医の焦点を追跡することと、外科医の焦点を中心とするように画像の第1の領域を選択することと、外科医の焦点を除外するように画像の第2の領域を選択することと、第1および第2の領域に異なる領域特異的修正を適用することと、を含み得る。
本方法は、ビデオストリーム内の後続画像の時点での特徴間の予測関係に基づいて、後続画像の複数の領域を識別することを含み得、修正されたマスクをビデオストリーム内の後続画像に適用することは、領域特異的修正を後続画像の各領域に適用することを含む。
本方法は、ビデオストリームのさらなる画像に、繰り返し更新されたマスクを、外科用ロボットシステムからさらなるデータを導出するステップ、導出されたさらなるデータからの画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、ビデオストリーム内のなおもさらなる画像の時点での特徴間の更新された予測関係に対して、更新されたマスクを形成するようにマスクをさらに修正するステップ、更新されたマスクをビデオストリーム内のなおもさらなる画像に適用するステップ、およびビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、適用することをさらに含み得る。
マスクは、ビデオストリームの画像フレームレートよりも緩徐なレートで更新され得る。マスクは、画像内の特徴の著しい変化のときにのみ更新され得る。マスクは、外科用内視鏡、および/または外科用内視鏡が中にある患者の著しい運動のときにのみ更新され得る。
ここで、添付図面を参照して、本開示を例として説明する。
図1は、人物104に対して手術を実施している外科用ロボット101、102、103を例示している。各ロボットは、基部に接続された関節式アームを備える。ロボット101および102の各々は、そのアームの端部に接続された外科用器具105、106を有する。外科用内視鏡107は、ロボット103のアームに接続されている。外科用器具105、106、および外科用内視鏡107は各々、身体104の切開部を通って外科的部位にアクセスする。外科医は、図2に示される外科医コンソール200から外科用器具、および任意選択で外科用内視鏡を制御する。外科医は、ハンドコントローラ201、202を操作する。制御システムは、ハンドコントローラの運動を制御信号に変えて、外科用ロボットのうちの1つのアーム接合部および/または器具エンドエフェクタを移動させる。外科的部位の外科用内視鏡107からのビデオフィードは、ディスプレイ203上に表示される。それによって、外科医は、外科医自身がハンドコントローラ201、202を用いて操作している器具エンドエフェクタを含む外科的部位を視認することができる。
図3は、外科用内視鏡107に関する外科用ロボットシステムの部分を例示している。外科用内視鏡107は、その基部304から遠位にあるロボットアーム103の端部に取り付けられている。外科用内視鏡からのビデオストリームは、制御ユニット301によって受信され、そこで処理され、次いで、外科医コンソール305に出力され、そこでディスプレイ203上に表示される。制御ユニット301は、プロセッサ302およびメモリ303を備える。メモリは、プロセッサに、外科用内視鏡107からのビデオストリームを本明細書に記載の方法でリアルタイムに補正させるために、プロセッサによって実行され得るソフトウェアコードを非一時的な方法で記憶する。制御ユニット301は、外科医コンソール305および外科用ロボット103の両方から遠隔にあるものとして示されている。代替的に、制御ユニット301を外科医コンソール305内に組み込むことができる。さらなる代替として、制御ユニット301を、外科用ロボット103、または外科用ロボットシステムの別の外科用ロボット内に組み込むことができる。
プロセッサ302は、図4を参照して説明される以下の例示的な方法に従って、外科用内視鏡107からのビデオストリームのリアルタイム画像補正を実施する。
ビデオストリームは、図4の1、2、3、...、n-1、n、n+1、...、m-1、m、m+1、...、p-1、p、...と番号付けされた画像シーケンスを含む。プロセッサは、画像シーケンス内の各画像を処理する。ステップ401で、プロセッサは、画像1内の複数の領域を識別する。各領域は、1つ以上のピクセルからなる。各領域は、少なくとも1つの画像プロパティの異なる範囲の値を有することによって、別の領域と区別される。領域の画像プロパティには、明るさ、コントラスト、ガンマ、および色が含まれる。これらの画像プロパティのうちのいずれか1つ以上は、異なる領域において異なっていてもよい。ステップ402で、プロセッサは、マスクを画像1に適用する。マスクは、領域特異的修正を画像の各領域に適用する。1つの領域の領域特異的修正は、別の領域の領域特異的修正とは異なる。各領域特異的修正は、その領域の少なくとも1つの画像プロパティを修正する。領域を、それらが特定の画像プロパティ、例えば、明るさの異なる範囲の値を有することに基づいて識別する場合、領域特異的修正は、その特定の画像プロパティを修正することになる。領域特異的修正はまた、領域の他の画像プロパティを修正し得る。プロセッサは、同じマスクを一連の画像に適用する。例えば、プロセッサは、画像1に基づいて作成されたマスクを、画像1、2、...、n-1に適用する。
ステップ403で、プロセッサは、外科用内視鏡が一部をなす外科用ロボットシステムからデータを導出する。導出され得る例示的なデータを以下で説明する。ステップ404で、プロセッサは、導出されたデータを使用して、画像1内の特徴間の関係を決定する。これらの特徴は、例えば、器官、組織構造、および/または外科用器具であってもよい。ステップ405で、プロセッサは、画像1内の特徴間の決定された関係を使用して、これらの同じ特徴間の、画像シーケンス内の後続画像の時点での関係を予測する。図4では、この後続画像は、画像nである。ステップ406で、プロセッサは、次いで、画像nの時点での特徴間の予測関係について、画像1に対して生成されたマスクを修正する。ステップ407で、プロセッサは、修正されたマスクを画像nに適用する。プロセッサは、同じマスクを一連の画像に適用する。図4の場合、プロセッサは、修正されたマスクを画像n、n+1、...、m-1に適用する。
プロセッサは、マスクを更新して一連の画像に適用し、次いで、マスクを再度更新してさらなる一連の画像に適用するなどといった繰り返しのプロセスを、ビデオストリームが終了するまで実施する。さらなる画像ごとにマスクを更新するために、そのさらなる画像内の特徴間の関係が予測される。図4では、マスクを更新するための次の画像は、画像mである。ステップ408で、プロセッサは、画像m内の特徴間の関係を予測する。この予測は、ステップ405で画像nに対して予測が行われたのと同じ方法で、ステップ403で外科用ロボットシステムから導出されたデータに基づき得る。代替的に、または加えて、予測は、ステップ411で外科用ロボットシステムから導出されたさらなるデータに基づき得る。ステップ412で、このさらなる導出されたデータを使用して、さらなるデータが導出された時点での特徴間の更新された関係を決定する。この場合、ステップ408で、プロセッサは、ステップ412の特徴間の更新された関係に基づいて、画像mの時点での特徴間の関係を予測する。ステップ409で、マスクは、画像mの時点での特徴間の更新された予測関係に対して、更新されたマスクを形成するように修正される。ステップ410で、更新されたマスクは、画像mに適用される。プロセッサは、同じマスクを一連の画像に適用する。図4の場合、プロセッサは、更新されたマスクを画像m、m+1、...、p-1に適用する。次いで、プロセッサは、画像mに関して上述したのと同じプロセスを使用して、画像pで始まる一連の画像に対して、さらなる更新されたマスクを生成する。プロセスは、ビデオストリームが停止するまで繰り返し継続される。
ステップ403および411で外科用ロボットシステムから導出されたデータには、画像内の特徴の位置および/または相対的な運動を決定することを可能にするデータが含まれ得る。これは、例えば、外科用器具が組織構造または器官に触れている画像のフォースフィードバックまたは視覚的分析から決定され得る。外科用器具および外科用内視鏡の相対的な位置は、(i)器具および内視鏡をサポートする外科用ロボットアームの基部の既知の相対的な場所、(ii)そのサポートしているロボットアームに対する外科用器具の位置であって、当該ロボットアームの接合部上にある位置センサによって検知されるロボットアームの接合部の位置から順運動学を使用して計算され得る、位置、および(iii)そのサポートしているロボットアームに対する外科用内視鏡の位置であって、当該ロボットアームの接合部上にある位置センサによって検知されるロボットアームの接合部の位置から順運動学を使用して計算され得る、位置から計算され得る。したがって、外科用器具および組織構造/器官に対する外科用内視鏡の位置は既知である。外科用器具、外科用内視鏡、および患者のうちの1つ以上の運動に関するデータを、外科用ロボットシステムから導出することもできる。例えば、外科用器具を操作するために外科医のハンドコントローラから送信される指令信号は、指令された操作を行うために、外科用器具を保持するロボットアームの運動、および外科用器具の関節の運動を指定する。画像内の特徴間の初期の関係、および外科用器具、外科用内視鏡、または患者の後続の運動に関するデータから、プロセッサは、将来の指定された時間における特徴間の関係を予測することができる。したがって、プロセッサは、その将来の指定された時間の画像内の特徴の相対的な位置の変化を考慮するようにマスクを修正し、修正されたマスクをビデオストリーム内のその将来の指定された時間の画像に適用する。
ステップ403および411で外科用ロボットシステムから導出されたデータには、画像内の特徴の配置を推定することを可能にするデータが含まれ得る。具体的には、データは、画像内の特徴の深度を推定することを可能にし得る。このデータは、外科用内視鏡の運動であり得る。外科用内視鏡の運動を駆動する指令信号は、指令された運動を行うために、外科用内視鏡を保持するロボットアームの運動、および外科用内視鏡の関節の運動を指定する。外科用内視鏡が移動する距離および方向は、これらの指令信号から推定することができる。したがって、外科用内視鏡の先端にあるカメラ、ひいては、画像が移動する距離および方向を推定することができる。内視鏡が移動するときの画像の特徴の変化により、これらの特徴に関する深度情報を決定することが可能である。例えば、内視鏡が特徴を通過して移動した場合、内視鏡が進む方向におけるその特徴の寸法を推測することができる。別の例として、内視鏡が遠位特徴に向かって移動した場合、その特徴のサイズの変化を使用して、特徴がどのくらい遠くに離れているかを推測することができる。
画像内の特徴の深度に関するデータは、ビデオストリーム自体から推定され得る。内視鏡は、2つのステレオビデオチャネルを有し得る。2つのチャネルをオフセットし、それに伴って、ディスプレイ上の外科的部位の3D視野をレンダリングする。プロセッサは、この3D視野から画像内の特徴の寸法および相対的な深度を推測し得る。
特徴の初期の関係および深度データから、プロセッサは、外科用内視鏡の運動後の将来の時間における特徴間の関係を予測することができる。したがって、プロセッサは、その将来の時間の画像内の特徴の相対的な位置の変化を考慮するようにマスクを修正し、修正されたマスクをビデオストリーム内のその将来の時間の画像に適用する。
ステップ403および411で外科用ロボットシステムから導出されたデータには、画像内の特徴を識別するデータが含まれ得る。例えば、外科的部位の器官および/または組織構造をタグ付けすることができる。このタグ付けは、外科医によって、手術室スタッフの他のメンバーによって、または制御ユニット301による自動検出によって行われてもよい。タグ付けすると、次いで、器官または組織構造を、プロセッサによって、ある画像から別の画像へとビデオストリームを通して運動学的に追跡することができる。プロセッサは、領域となる器官/組織構造を選択し、器官/組織構造特異的マスクを器官/組織構造に適用し得る。例えば、プロセッサは、腎臓に対して定義されたマスクを記憶し、腎臓を識別して、腎臓特異的マスクを腎臓に適用し得る。
外科用ロボットシステムから導出されたデータにより決定される画像内の特徴間の関係には、画像内の特徴の配置および/または画像内の特徴の相対的な位置が含まれ得る。この関係は、画像内の特徴のうちの1つ以上の形状が変化した結果として経時的に変化し得る。特徴が識別された場合、その特徴の経時的な運動および/または形状変化を予想することができる。例えば、画像内の特徴の形状は、身体の生理学的プロセスによって、特徴が物理的に形状を変化させた結果として変化/変形し得る。例えば、患者の心拍の結果として動脈が経時的に脈動し、患者の呼吸の結果として横隔膜が上下に移動する。画像内の特徴の形状は、外科用内視鏡が特徴を通過して移動した結果、ひいては、特徴を異なる角度から視認した結果として変化し得る。画像内の特徴の形状は、その特徴を外科用器具によって操作した結果として変化し得る。
上述のように、マスクは、領域特異的修正を画像の各領域に適用する。マスクは、領域の1つ以上の画像プロパティを修正する。これらの画像プロパティには、明るさ、コントラスト、ガンマ、および色が含まれる。単純な例として、プロセッサは、画像内の3つの領域を識別し得る。第1の領域は暗すぎ、第2の領域は明るすぎ、第3の領域は許容可能な明るさである。プロセッサが画像に適用するマスクは、第1の領域の明るさを増加させ、第2の領域の明るさを減少させ、第3の領域の明るさを変更しない、領域特異的修正を含む。結果として生じる画像は、当該画像にわたってより均一なコントラストを有し、これにより、外科医に対する画像の視認性が改善される。
手術部位は概して、色の変化が少ない。主に、白く見える一部の面積を含む、異なる色合いの赤である。プロセッサは、画像内の特徴の視認性を増加させるために、画像に偽の色を適用するためのマスクを生成し得る。例えば、領域特異的修正には、領域上に重ね合わされる蛍光色チャネルが含まれ得る。
制御ユニット301は、所定の修正のセットをメモリ303に記憶し得る。次いで、プロセッサは、これらの所定の修正のうちの1つ以上を各領域に適用する。プロセッサが、所定の修正のうちの2つ以上をある領域に適用する場合、プロセッサは、その領域に適用するように所定の修正の比率を選択する。プロセッサは、所定の修正のうちの2つ以上の重み付けされた組み合わせを領域に適用し得る。例えば、プロセッサは、3つの所定の修正、修正1、修正2、および修正3を記憶し得る。画像内の領域の画像プロパティに基づいて、プロセッサは、領域特異的修正を、5%の修正1、10%の修正2、および85%の修正3からなる領域1に適用し、領域特異的修正を、80%の修正1、15%の修正2、および5%の修正3からなる領域2に適用するように選択し得る。
所定の修正を適用すると、修正自体をその場で生成する必要はなく、適用するこれらの修正の割合のみを生成する必要があるため、ビデオストリームを補正する待ち時間が低減される。所定の修正は、外科的部位からの画像の典型的な画像プロパティの知識を用いて生成され得る。例えば、既知の限定された色チャネル、高コントラスト、高反射部分など。所定の修正はまた、外科的部位からの画像内の典型的な特徴の知識を用いて生成され得る。例えば、所定の修正は、器官および組織構造のセットのうちの1つごとに生成され得る。例えば、腎臓は紫の色調を有するため、強い赤い色を有する動脈に対する所定の修正とは異なる所定の修正が腎臓に対して生成され得る。
上述のように、外科用内視鏡は、2つのオフセットチャネルを有する3D外科用内視鏡であってもよい。この場合、プロセッサは、マスクを各ビデオチャネルに適用する。2つのチャネルから受信した画像をオフセットし、ひいては、1つのビデオチャネルに適用されたマスクを、他のビデオチャネルに適用されたマスクからオフセットする。外科医が視認する知覚画像が未補正のビデオストリームと比較して改善された視認性を有するように、マスクをオフセットする。
マスクが、フレーム内の後続画像の時点で特徴間の予測関係に対して修正される場合、修正は、領域の領域特異的修正を変化させることである場合がある。例えば、後続画像の時点までの運動または形状変化の結果として、領域がより軽くなることが予期される場合、領域特異的修正は、前の領域特異的修正と比較して、コントラストおよび/または明るさを減少させるように変更され得る。
上述のように、プロセッサは、画像内の複数の領域を識別する。プロセッサは、領域を選択するために画像を分析する。各領域は、ピクセルの集合であってもよく、ピクセルの各々は、その領域内の少なくとも1つの他のピクセルに隣接する。プロセッサは、ピクセルが、以下の画像プロパティ、明るさ、コントラスト、ガンマ、色、彩度のうちのいずれか1つ以上に対して同様の値を有することに基づいて、これらのピクセルを一緒にグループ化して、領域を形成することができる。
プロセッサは、外科用ロボットシステムから導出されたデータからの画像内の特徴識別に基づいて、ピクセルを一緒にグループ化して、領域を形成することができる。例えば、器官および/または組織構造は、自動画像分析、または外科医が外科的手技中の何らかの時点で特徴を識別することのいずれかによって、画像内で識別され得る。プロセッサは、これらの器官および/または組織構造の各々を別個の領域であるように識別し得る。プロセッサは、既知のエッジ発見技法を実装して、器官/組織構造の輪郭、ひいては、領域の境界を決定することができる。このエッジ発見技法は、計算量が少ない粗い測定値であってもよい。これは、領域の境界が器官/組織構造の輪郭に完全に一致していない場合でも、画像補正方法が画像の知覚視認性を改善することを可能にするのに十分である。
プロセッサは、外科医の焦点を追跡することに基づいて、ピクセルを一緒にグループ化して、領域を形成することができる。第1の領域は、外科医の焦点を中心とする画像のある面積であるように選択され得る。1つ以上のさらなる領域は、第1の領域を除外した、画像の残りの面積を組み込むように選択され得る。異なる領域特異的修正が、第1の領域およびさらなる領域に適用される。外科医が知覚する画像品質を改善するが、待ち時間を低減させる必要性に留意するために、より計算的に複雑な画像補正プロセスが第1の領域に実装され得る一方、計算的にそれほど複雑ではない画像補正プロセスがさらなる領域に実装される。例えば、第1の領域に対するマスクは、さらなる領域に対するマスク(複数可)よりも頻繁に更新され得る。
プロセッサは、画像の領域を選択するために、所定の画像領域を使用し得る。所定の画像領域には、例えば、画像の内側領域および外側領域が含まれ得る。プロセッサは、これらの所定の画像領域に基づいて領域を生成し得るが、これらの領域を上述の方法のいずれかに基づいて修正し得る。例えば、プロセッサは、画像の所定の内側領域および外側領域を記憶し得る。プロセッサはまた、外科医の焦点を追跡し得る。その焦点が画面の中心から移動した場合、プロセッサは、内側領域の中心を外科医の焦点の点にシフトさせるように、領域を修正し得る。別の例として、プロセッサは、画像の所定の内側領域および外側領域を記憶し得る。プロセッサはまた、器官/組織構造をタグ付けし、それらを追跡することができる。タグ付けされた器官が、主に画像の内側領域内に位置するが、外側領域に部分的に延在している場合、プロセッサは、タグ付けされた器官全体を包含するように、内側領域を修正し得る。
プロセッサは、後続画像に対する領域を修正し得る。これは、後続画像の時点での画像の特徴間の予測関係に基づき得る。例えば、プロセッサは、外科用内視鏡が特徴に向かって移動しているために特徴間の関係が変化し、その結果、特徴が画像のより大きな割合を占めると予測し得る。プロセッサがその特徴を、ある領域として識別した場合、その領域は、後続画像内のより大きな領域、すなわち、より大きなピクセルのセットになる。外科用内視鏡、外科用器具(複数可)を追跡すること、および画像内の特徴をタグ付けならびに追跡することによって、プロセッサは、領域に対する変化を識別し、後続画像に対する領域を修正して、画像内の特徴間の関係の変化を可能にすることができる。次いで、後続画像のための修正されたマスクが、後続画像の修正された領域に適用されることになる。
ビデオストリームの画像補正は、外科医が、外科医自身が手術中の外科的部位を見ることができるようにするために、リアルタイムで実施される。外科医が、外科医自身による外科的部位での器具の移動と、その運動のディスプレイ上での視認との間で遅延を知覚しないほどに十分に低い待ち時間で、記載の画像補正をプロセッサが実施することができるようにするために、以下の手段のうちの1つ以上を実装することができる。低い待ち時間の画像処理パイプラインを使用して、マスクを適用することができる。図4に関連して説明されるように、同じマスクを一連の画像に適用することができる。この場合、マスクは、画像フレームレートよりも緩徐に更新される。マスクを定期的に更新することができる。例えば、マスクを、10フレームごとに一回更新することができる。代替的に、または加えて、外科用ロボットシステムの構成要素の特定の行為によってトリガされたときに、マスクを更新することができる。待ち時間をさらに低減するために、かかる行為によってトリガされたときにのみ、マスクを更新することができる。この行為は、画像内の特徴の著しい変化であってもよい。画像内の特徴の著しい変化は、外科用内視鏡の著しい運動から生じる場合がある。画像内の特徴の著しい変化は、例えば、患者を傾けた結果としての、患者の身体の著しい運動により生じる場合がある。これらの著しい変化は、画像分析から決定され得るか、または外科用ロボットシステム自体から導出され得る。患者内の外科用内視鏡の位置および/または向きに応答して、マスクを更新することができる。外科用内視鏡から受信した3D画像内に視認される特徴に応答して、マスクを更新することができる。
上述のマスクは、外科用内視鏡からのビデオストリームのリアルタイム画像補正の改善された方法を提供する。上述のように生成されたマスクを使用することに加えて、利用可能な場合に、より正確なマスクを特定の画像に対して手動で生成し、ビデオストリームに適用することができる。かかるマスクは、本明細書に記載のリアルタイムマスク生成よりも緩徐に生成される。したがって、この方法で作成されたマスクの更新レートは、本明細書に記載のマスクのものよりも低くなる。
本明細書に記載のリアルタイム画像補正方法は、外科的手技中に外科用ロボットシステムの外科用内視鏡のビデオストリームを補正する以外の目的に使用され得る。例えば、本方法は、エンジンの内側を視認するための自動車製造に使用されるロボットの内視鏡からのビデオストリームを補正するために使用され得る。
これにより、本出願人は、本明細書に記載の各個々の特徴および2つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、かつ特許請求の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示している。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。
なお、本発明は、実施の態様として以下の内容を含む。
[態様1]
外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の方法であって、前記ビデオストリームが、画像シーケンスを含み、前記方法が、
前記画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも1つの画像プロパティの異なる範囲の値を有する、識別することと、
マスクを前記画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の前記少なくとも1つの画像プロパティを修正する、適用することと、
前記外科用ロボットシステムからデータを導出することと、
前記導出されたデータから前記画像内の特徴間の関係を決定することと、
前記ビデオストリーム内の後続画像の時点での前記特徴間の予測関係について前記マスクを修正することと、
前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することと、を含む、方法。
[態様2]
所定の修正のセットを記憶することと、2つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含む、態様1に記載の方法。
[態様3]
前記所定の修正が、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの1つ以上を修正する、態様2に記載の方法。
[態様4]
前記後続画像の時点での前記特徴間の前記予測関係が、前記画像内の前記特徴のうちの1つ以上の形状が変化しているようなものである、態様1~3のいずれかに記載の方法。
[態様5]
前記後続画像の時点での前記特徴間の前記予測関係が、前記特徴の相対的な位置が変化しているようなものである、態様1~4のいずれかに記載の方法。
[態様6]
前記データが、前記画像内の別の特徴に対する前記外科用内視鏡の位置を含む、態様1~5のいずれかに記載の方法。
[態様7]
前記データが、前記画像内の前記特徴の深度情報を含む、態様1~6のいずれかに記載の方法。
[態様8]
前記外科用内視鏡の運動から前記深度情報を導出することを含む、態様7に記載の方法。
[態様9]
前記ビデオストリームが、前記外科用内視鏡の2つのステレオビデオチャネルの組み合わせであり、前記方法が、前記外科用内視鏡の前記2つのステレオビデオチャネルから前記深度情報を導出することを含む、態様7に記載の方法。
[態様10]
前記データが、前記画像内の特徴の識別を含む、態様1~9のいずれかに記載の方法。
[態様11]
前記画像の識別された特徴に対応するように前記画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含む、態様10に記載の方法。
[態様12]
外科医の焦点を追跡することと、前記外科医の焦点を中心とするように前記画像の第1の領域を選択することと、前記外科医の焦点を除外するように前記画像の第2の領域を選択することと、前記第1および第2の領域に異なる領域特異的修正を適用することと、を含む、態様1~11のいずれかに記載の方法。
[態様13]
前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係に基づいて、前記後続画像の複数の領域を識別することを含み、前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することが、領域特異的修正を前記後続画像の各領域に適用することを含む、態様1~12のいずれかに記載の方法。
[態様14]
前記ビデオストリームのさらなる画像に、繰り返し更新されたマスクを、
前記外科用ロボットシステムからさらなるデータを導出するステップ、
前記導出されたさらなるデータからの前記画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、
前記ビデオストリーム内のなおもさらなる画像の時点での前記特徴間の前記更新された予測関係に対して、更新されたマスクを形成するように前記マスクをさらに修正するステップ、
前記更新されたマスクを前記ビデオストリーム内の前記なおもさらなる画像に適用するステップ、および
前記ビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、適用することをさらに含む、態様1~13のいずれかに記載の方法。
[態様15]
前記ビデオストリームの画像フレームレートよりも緩徐なレートで前記マスクを更新することを含む、態様14に記載の方法。
[態様16]
前記画像内の前記特徴の著しい変化のときにのみ、前記マスクを更新することを含む、態様14または15に記載の方法。
[態様17]
前記外科用内視鏡、および/または前記外科用内視鏡が中にある患者の著しい運動のときにのみ、前記マスクを更新することを含む、態様16に記載の方法。
なお、本発明は、実施の態様として以下の内容を含む。
[態様1]
外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像補正の方法であって、前記ビデオストリームが、画像シーケンスを含み、前記方法が、
前記画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも1つの画像プロパティの異なる範囲の値を有する、識別することと、
マスクを前記画像に適用することであって、これにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の前記少なくとも1つの画像プロパティを修正する、適用することと、
前記外科用ロボットシステムからデータを導出することと、
前記導出されたデータから前記画像内の特徴間の関係を決定することと、
前記ビデオストリーム内の後続画像の時点での前記特徴間の予測関係について前記マスクを修正することと、
前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することと、を含む、方法。
[態様2]
所定の修正のセットを記憶することと、2つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含む、態様1に記載の方法。
[態様3]
前記所定の修正が、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの1つ以上を修正する、態様2に記載の方法。
[態様4]
前記後続画像の時点での前記特徴間の前記予測関係が、前記画像内の前記特徴のうちの1つ以上の形状が変化しているようなものである、態様1~3のいずれかに記載の方法。
[態様5]
前記後続画像の時点での前記特徴間の前記予測関係が、前記特徴の相対的な位置が変化しているようなものである、態様1~4のいずれかに記載の方法。
[態様6]
前記データが、前記画像内の別の特徴に対する前記外科用内視鏡の位置を含む、態様1~5のいずれかに記載の方法。
[態様7]
前記データが、前記画像内の前記特徴の深度情報を含む、態様1~6のいずれかに記載の方法。
[態様8]
前記外科用内視鏡の運動から前記深度情報を導出することを含む、態様7に記載の方法。
[態様9]
前記ビデオストリームが、前記外科用内視鏡の2つのステレオビデオチャネルの組み合わせであり、前記方法が、前記外科用内視鏡の前記2つのステレオビデオチャネルから前記深度情報を導出することを含む、態様7に記載の方法。
[態様10]
前記データが、前記画像内の特徴の識別を含む、態様1~9のいずれかに記載の方法。
[態様11]
前記画像の識別された特徴に対応するように前記画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含む、態様10に記載の方法。
[態様12]
外科医の焦点を追跡することと、前記外科医の焦点を中心とするように前記画像の第1の領域を選択することと、前記外科医の焦点を除外するように前記画像の第2の領域を選択することと、前記第1および第2の領域に異なる領域特異的修正を適用することと、を含む、態様1~11のいずれかに記載の方法。
[態様13]
前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係に基づいて、前記後続画像の複数の領域を識別することを含み、前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することが、領域特異的修正を前記後続画像の各領域に適用することを含む、態様1~12のいずれかに記載の方法。
[態様14]
前記ビデオストリームのさらなる画像に、繰り返し更新されたマスクを、
前記外科用ロボットシステムからさらなるデータを導出するステップ、
前記導出されたさらなるデータからの前記画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、
前記ビデオストリーム内のなおもさらなる画像の時点での前記特徴間の前記更新された予測関係に対して、更新されたマスクを形成するように前記マスクをさらに修正するステップ、
前記更新されたマスクを前記ビデオストリーム内の前記なおもさらなる画像に適用するステップ、および
前記ビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、適用することをさらに含む、態様1~13のいずれかに記載の方法。
[態様15]
前記ビデオストリームの画像フレームレートよりも緩徐なレートで前記マスクを更新することを含む、態様14に記載の方法。
[態様16]
前記画像内の前記特徴の著しい変化のときにのみ、前記マスクを更新することを含む、態様14または15に記載の方法。
[態様17]
前記外科用内視鏡、および/または前記外科用内視鏡が中にある患者の著しい運動のときにのみ、前記マスクを更新することを含む、態様16に記載の方法。
Claims (17)
- 外科用ロボットシステムが備える補正手段であって、当該外科用ロボットシステムの外科用内視鏡からのビデオストリームのリアルタイム画像を補正する補正手段を作動させる、外科用ロボットシステムの作動方法であって、
前記ビデオストリームが、画像シーケンスを含み、前記作動方法が、
前記画像シーケンス内のある画像に対して、複数の領域を識別することであって、各領域が、別の領域に対して、少なくとも1つの画像プロパティの異なる範囲の値を有する、識別することと、
マスクを前記画像に適用することにより、領域特異的修正を各領域に適用し、各領域特異的修正が、その領域の前記少なくとも1つの画像プロパティを修正することと、
前記外科用ロボットシステムからデータを導出することと、
前記導出されたデータから前記画像内の特徴間の関係を決定することと、
前記画像内の特徴間の前記関係から前記ビデオストリーム内の後続画像の時点での前記特徴間の予測関係を決定することと、
前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係に基づいて前記マスクを修正することと、
前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することと、を含む、作動方法。 - 所定の修正のセットを記憶することと、2つ以上の所定の修正の重み付けされた組み合わせとして各領域特異的修正を生成することと、をさらに含む、請求項1に記載の作動方法。
- 前記所定の修正が、以下の画像プロパティ、明るさ、コントラスト、ガンマ、および色のうちの1つ以上を修正することである、請求項2に記載の作動方法。
- 前記後続画像の時点での前記特徴間の前記予測関係において、(i)前記画像内の前記特徴のうちの1つ以上の形状が変化している、および/または(ii)前記特徴の相対的な位置が変化している、請求項1~3のいずれか一項に記載の作動方法。
- 前記データが、前記画像内の別の特徴に対する前記外科用内視鏡の位置、および/または前記画像内の前記特徴の深度情報を含む、請求項1~4のいずれか一項に記載の作動方法。
- 前記外科用内視鏡の運動から前記深度情報を導出することを含む、請求項5に記載の作動方法。
- 前記ビデオストリームが、前記外科用内視鏡の2つのステレオビデオチャネルの組み合わせであり、前記作動方法が、前記外科用内視鏡の前記2つのステレオビデオチャネルから前記深度情報を導出することを含む、請求項5に記載の作動方法。
- 前記データが、前記画像内の特徴の識別情報を含む、請求項1~7のいずれか一項に記載の作動方法。
- 前記画像の識別された特徴に対応するように前記画像の領域を選択することと、これらの選択された領域に特徴特異的修正を適用することと、を含む、請求項8に記載の作動方法。
- 外科医の焦点を追跡することと、前記外科医の焦点を中心とするように前記画像の第1の領域を選択することと、前記外科医の焦点を除外するように前記画像の第2の領域を選択することと、前記第1および第2の領域に異なる領域特異的修正を適用することと、を含む、請求項1~9のいずれか一項に記載の作動方法。
- 前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係に基づいて、前記後続画像の複数の領域を識別することを含み、前記修正されたマスクを前記ビデオストリーム内の前記後続画像に適用することが、領域特異的修正を前記後続画像の各領域に適用することを含む、請求項1~10のいずれか一項に記載の作動方法。
- 前記外科用ロボットシステムからさらなるデータを導出するステップ、
前記導出されたさらなるデータからの前記画像シーケンスのさらなる画像内の特徴間の更新された関係を決定するステップ、
前記ビデオストリーム内のなおもさらなる画像の時点での前記特徴間の前記更新された予測関係に対して、更新されたマスクを形成するように前記マスクをさらに修正するステップ、
前記更新されたマスクを前記ビデオストリーム内の前記なおもさらなる画像に適用するステップ、および
前記ビデオストリームのさらなる画像に対して、上述のステップを繰り返し実施するステップによって、前記ビデオストリームのさらなる画像に、繰り返し更新されたマスクを適用することをさらに含む、請求項1~11のいずれか一項に記載の作動方法。 - 前記ビデオストリームの画像フレームレートよりも緩徐なレートで前記マスクを更新することを含む、請求項12に記載の作動方法。
- 前記画像内の前記特徴の著しい変化のときにのみ、前記マスクを更新することを含む、請求項12または13に記載の作動方法。
- 前記外科用内視鏡、および/または前記外科用内視鏡が中にある患者の著しい運動のときにのみ、前記マスクを更新することを含む、請求項14に記載の作動方法。
- 前記外科用ロボットシステムから導出した前記データが前記外科用器具、外科用内視鏡および/または患者の運動に関するデータを含む、請求項1ないし15のいずれか一項に記載の作動方法。
- 前記画像内の特徴間の前記関係ならびに前記外科用器具、外科用内視鏡および/または患者の運動に関するデータに基づいて、前記ビデオストリーム内の前記後続画像の時点での前記特徴間の前記予測関係を決定することを含む、請求項16に記載の作動方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1813877.6 | 2018-08-24 | ||
GB1813877.6A GB2576574B (en) | 2018-08-24 | 2018-08-24 | Image correction of a surgical endoscope video stream |
JP2021507783A JP7471275B2 (ja) | 2018-08-24 | 2019-08-23 | 外科用内視鏡ビデオストリームの画像補正 |
PCT/GB2019/052366 WO2020039202A1 (en) | 2018-08-24 | 2019-08-23 | Image correction of a surgical endoscope video stream |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507783A Division JP7471275B2 (ja) | 2018-08-24 | 2019-08-23 | 外科用内視鏡ビデオストリームの画像補正 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023113689A true JP2023113689A (ja) | 2023-08-16 |
Family
ID=63715125
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507783A Active JP7471275B2 (ja) | 2018-08-24 | 2019-08-23 | 外科用内視鏡ビデオストリームの画像補正 |
JP2023080925A Withdrawn JP2023113689A (ja) | 2018-08-24 | 2023-05-16 | 外科用内視鏡ビデオストリームの画像補正 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021507783A Active JP7471275B2 (ja) | 2018-08-24 | 2019-08-23 | 外科用内視鏡ビデオストリームの画像補正 |
Country Status (8)
Country | Link |
---|---|
US (2) | US11771302B2 (ja) |
EP (2) | EP3840629B1 (ja) |
JP (2) | JP7471275B2 (ja) |
CN (1) | CN112584735B (ja) |
AU (1) | AU2019326047B2 (ja) |
BR (1) | BR112021003042A2 (ja) |
GB (1) | GB2576574B (ja) |
WO (1) | WO2020039202A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2576574B (en) | 2018-08-24 | 2023-01-11 | Cmr Surgical Ltd | Image correction of a surgical endoscope video stream |
JP7148625B2 (ja) * | 2018-09-18 | 2022-10-05 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3347385B2 (ja) * | 1992-03-27 | 2002-11-20 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
US20030095707A1 (en) * | 2001-11-19 | 2003-05-22 | Koninklijke Philips Electronics N.V. | Computer vision method and system for blob-based analysis using a probabilistic pramework |
JP2006007289A (ja) | 2004-06-28 | 2006-01-12 | Daido Steel Co Ltd | 高窒素鋼の製造方法 |
US10555775B2 (en) * | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
US8971597B2 (en) * | 2005-05-16 | 2015-03-03 | Intuitive Surgical Operations, Inc. | Efficient vision and kinematic data fusion for robotic surgical instruments and other applications |
JP2008300980A (ja) * | 2007-05-29 | 2008-12-11 | Canon Inc | 画像処理装置および画像処理方法 |
DE602007012270D1 (de) * | 2007-11-16 | 2011-03-10 | Honda Res Inst Europe Gmbh | Verfahren und Vorrichtung zur kontinuierlichen Objekt-Hintergrund-Segmentierung in Bildern aus dynamischen Sichtszenen |
JP5269921B2 (ja) * | 2011-01-24 | 2013-08-21 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの作動方法 |
US9204939B2 (en) * | 2011-08-21 | 2015-12-08 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery—rule based approach |
CN102622768B (zh) * | 2012-03-14 | 2014-04-09 | 清华大学 | 一种平面视频的深度图求取方法 |
DE102012220116A1 (de) * | 2012-06-29 | 2014-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung |
JP6168879B2 (ja) * | 2013-06-27 | 2017-07-26 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
GB2525588A (en) * | 2014-04-22 | 2015-11-04 | Biosignatures Ltd | Real-time endoscopic image enhancement |
DE112015006295T5 (de) * | 2015-04-06 | 2017-11-30 | Olympus Corporation | Bildverarbeitungsvorrichtung, Vorrichtung zur biologischen Beobachtung und Bildverarbeitungsverfahren |
DE112015006531T5 (de) * | 2015-06-11 | 2018-02-15 | Olympus Corporation | Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung |
EP3349649B1 (en) | 2015-09-18 | 2022-03-09 | Auris Health, Inc. | Navigation of tubular networks |
WO2017175452A1 (ja) * | 2016-04-04 | 2017-10-12 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
US11010877B2 (en) * | 2017-01-27 | 2021-05-18 | Canon U.S.A., Inc. | Apparatus, system and method for dynamic in-line spectrum compensation of an image |
WO2018175583A1 (en) * | 2017-03-21 | 2018-09-27 | Stryker Corporation | Methods and systems to automate surgical interventions |
JP7159577B2 (ja) * | 2018-03-20 | 2022-10-25 | ソニーグループ株式会社 | 内視鏡システム、制御方法、情報処理装置、およびプログラム |
GB2576574B (en) | 2018-08-24 | 2023-01-11 | Cmr Surgical Ltd | Image correction of a surgical endoscope video stream |
-
2018
- 2018-08-24 GB GB1813877.6A patent/GB2576574B/en active Active
-
2019
- 2019-08-23 US US17/270,239 patent/US11771302B2/en active Active
- 2019-08-23 BR BR112021003042-5A patent/BR112021003042A2/pt unknown
- 2019-08-23 WO PCT/GB2019/052366 patent/WO2020039202A1/en unknown
- 2019-08-23 EP EP19759708.1A patent/EP3840629B1/en active Active
- 2019-08-23 JP JP2021507783A patent/JP7471275B2/ja active Active
- 2019-08-23 CN CN201980054789.XA patent/CN112584735B/zh active Active
- 2019-08-23 EP EP23217370.8A patent/EP4318382A3/en active Pending
- 2019-08-23 AU AU2019326047A patent/AU2019326047B2/en active Active
-
2023
- 2023-05-16 JP JP2023080925A patent/JP2023113689A/ja not_active Withdrawn
- 2023-08-17 US US18/235,039 patent/US20230389775A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2019326047B2 (en) | 2021-12-09 |
GB2576574A (en) | 2020-02-26 |
AU2019326047A1 (en) | 2021-03-11 |
US20210327037A1 (en) | 2021-10-21 |
BR112021003042A2 (pt) | 2021-05-11 |
JP2022503556A (ja) | 2022-01-12 |
CN112584735B (zh) | 2024-06-21 |
US11771302B2 (en) | 2023-10-03 |
EP3840629A1 (en) | 2021-06-30 |
EP3840629B1 (en) | 2024-03-06 |
WO2020039202A1 (en) | 2020-02-27 |
EP4318382A3 (en) | 2024-02-14 |
JP7471275B2 (ja) | 2024-04-19 |
EP4318382A2 (en) | 2024-02-07 |
CN112584735A (zh) | 2021-03-30 |
GB2576574B (en) | 2023-01-11 |
GB201813877D0 (en) | 2018-10-10 |
US20230389775A1 (en) | 2023-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023113689A (ja) | 外科用内視鏡ビデオストリームの画像補正 | |
US10694933B2 (en) | Image processing apparatus and image processing method for image display including determining position of superimposed zoomed image | |
JP7074065B2 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
US10932657B2 (en) | Endoscope with wide angle lens and adjustable view | |
US11025835B2 (en) | Imaging device, endoscope apparatus, and method for operating imaging device | |
WO2017159335A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
US11730347B2 (en) | Endoscope with wide angle lens and adjustable view | |
KR20080106282A (ko) | 의학 영상 시스템에 의해 제공된 이미지 상에서 수술 도구의 자동 탐지 | |
US20210345856A1 (en) | Medical observation system, medical observation apparatus, and medical observation method | |
US20230172438A1 (en) | Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs | |
CN110536629B (zh) | 手术图像处理设备、图像处理方法和手术系统 | |
US20230142404A1 (en) | Medical imaging apparatus, learning model generation method, and learning model generation program | |
US20220096164A1 (en) | Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system | |
JP2023507063A (ja) | 手術中に画像取込装置を制御するための方法、装置、およびシステム | |
JP7461689B2 (ja) | 推論装置、情報処理方法、及びコンピュータプログラム | |
US20240090759A1 (en) | Medical observation device, observation device, observation method, and adapter | |
JP7456385B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US20220370167A1 (en) | Systems and methods for scene-adaptive image quality in surgical video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230613 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20240329 |