JP2020531095A - 外科手術画像および/または映像を強調するためのシステムおよび方法 - Google Patents
外科手術画像および/または映像を強調するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2020531095A JP2020531095A JP2020508582A JP2020508582A JP2020531095A JP 2020531095 A JP2020531095 A JP 2020531095A JP 2020508582 A JP2020508582 A JP 2020508582A JP 2020508582 A JP2020508582 A JP 2020508582A JP 2020531095 A JP2020531095 A JP 2020531095A
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- bands
- frequency
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 38
- 238000001356 surgical procedure Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000006798 recombination Effects 0.000 claims abstract description 6
- 238000005215 recombination Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000033001 locomotion Effects 0.000 description 25
- 239000000779 smoke Substances 0.000 description 13
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000002324 minimally invasive surgery Methods 0.000 description 3
- 238000002432 robotic surgery Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
外科的処置中に画像を強調するためのシステムは、患者に挿入され、患者の体内の画像をキャプチャするように構成された画像キャプチャ装置を含む。本システムはまた、少なくとも1つの画像処理フィルタを画像に適用して、強調画像を生成するコントローラを含む。画像処理フィルタは、画像を複数の空間周波数帯域に分解する空間分解フィルタと、複数の空間周波数帯域をフィルタリングして複数のフィルタリングされた強調帯域を生成する周波数フィルタと、ディスプレイに表示される強調画像を生成する再結合フィルタとを含む。【選択図】図1
Description
低侵襲外科手術では、1つの大きな開口または切開の代わりに、複数の小さな切開を使用して外科的処置を行う。小さな切開は、患者の不快感を軽減し、回復時間を改善させる。また、小さな切開は、内臓、組織、および他の物質の可視性を制限する。
内視鏡を使用して、1つ以上の切開に挿入し、臨床医が外科手術中に臓器、組織、および他の体内の物質を見ることができるようにされてきた。低侵襲外科手術中に電気外科的処置を行う場合、臨床医が気化した組織から発生する煙を見ることはまれではなく、それにより内視鏡によって提供される視界が一時的に不明瞭となる。内視鏡の視界から煙を除去する従来の方法は、外科手術環境から空気を排出することを含む。
臨床医に、煙によって不明瞭とされない内視鏡の視界を提供する改善された方法に対する要望がある。
本開示は、患者の外科手術結果を改善するための外科的技術に関し、より具体的には、外科的技術を実施しながら臨床医の視野から一時的な障害物を除去するためのシステムおよび方法に関する。
本開示の一態様では、外科的処置中に外科手術画像を強調するためのシステムが提供される。本システムは、患者に挿入され、外科的処置中に患者の体内の画像をキャプチャするように構成された画像キャプチャ装置と、画像を受信し、少なくとも1つの画像処理フィルタを画像に適用して、強調画像を生成するように構成されたコントローラと、を含む。画像処理フィルタは、空間および/または時間分解フィルタと、再結合フィルタと、を含む。空間分解フィルタは、画像を複数の空間周波数帯域に分解するように構成され、周波数フィルタは、複数の空間周波数帯域をフィルタリングして、複数の強調帯域を生成するように構成される。再結合フィルタは、複数の強調帯域を折りたたむことにより強調画像を生成するように構成される。システムはまた、外科的処置中に、強調画像をユーザに表示するように構成されたディスプレイを含む。
いくつかの実施形態では、画像キャプチャ装置は、複数の画像を有する映像をキャプチャし、コントローラは、複数の画像の各画像に少なくとも1つの画像処理フィルタを適用する。
いくつかの実施形態では、周波数フィルタは、時間フィルタである。他の実施形態では、周波数フィルタは、色フィルタである。周波数フィルタの周波数は、臨床医によって、または動きが空間周波数帯域に適合する色の帯域の存在を減衰させる等の目的関数に基づくアルゴリズムによって設定されてもよい。
本開示の別の態様では、外科的処置中に、少なくとも1つの画像を強調する方法が提供される。本方法は、画像キャプチャ装置を使用して、少なくとも1つの画像をキャプチャし、少なくとも1つの画像をフィルタリングすることを含む。少なくとも1つの画像のフィルタリングは、少なくとも1つの画像を分解して、複数の空間周波数帯域を生成することと、複数の空間周波数帯域に周波数フィルタを適用して、複数の強調帯域を生成することと、複数の拡張帯域を折りたたんで、強調画像生成することと、を含む。本方法は、ディスプレイ上に強調画像を表示することをさらに含む。
いくつかの実施形態では、方法は、複数の画像を有する映像をキャプチャすることと、複数の画像の各画像をフィルタリングすることも含む。
いくつかの実施形態では、強調フィルタは、時間的フィルタである。他の実施形態では、強調フィルタは、色フィルタである。強調フィルタの周波数は、臨床医によって設定され得る。
いくつかの実施形態では、周波数フィルタを複数の空間周波数帯域に適用して複数の強調帯域を生成することは、複数の空間周波数帯域に色フィルタを適用して、複数の部分的強調帯域を生成することと、複数の部分的強調帯域に時間フィルタを適用して、複数の強調帯域を生成することと、を含む。複数の空間周波数帯域に色フィルタを適用して、複数の部分的強調帯域を生成することは、複数の部分的強調帯域の一部に対する障害物を隔離することを含むことができる。複数の部分的強調帯域に時間フィルタを適用して、複数の強調帯域を生成することは、障害物を含む複数の部分的強調帯域の一部のみに時間フィルタを適用することを含み得る。
さらに、矛盾しない程度において、本明細書に記載される態様のいずれかを、本明細書に記載された他の態様のいずれかまたはすべてと併用してもよい。
本開示の上記および他の態様、特徴、および利点は、添付の図面と併せて解釈された場合、以下の詳細な説明に照らしてより明らかとなろう。
外科的処置中に内視鏡からキャプチャ画像データを分析して、内視鏡の視野内の色の変化または移動を検出し得る。様々な画像処理技術をこの画像データに適用して、これらの色の変化および/または移動を識別および向上または低下させることができる。例えば、オイラー画像増幅/最小化技術を使用して、表示画像の異なる部分における光の「色」の変化を識別および修正することができる。
また、位相ベースの動き増幅技術を使用して、画像フレーム全体の動きまたは移動を識別し得る。いくつかのケースでは、臨床医に対し、画像フレーム全体にわたる所定の波長の光の測定強度の変化を提示して、臨床医が、特定の対象物の動きをさらに認識し得る。
オイラー画像増幅および/または位相ベースの動き増幅技術は、画像化システムの一部として含まれ得る。これらの技術は、画像化システムが、内視鏡の視野内の特定の場所についてより高度に詳細な情報を提供することを可能にし得る。
内視鏡の視野内のさらなる情報を臨床医に提供するために、これらの技術のうちの1つ以上が、外科手術用ロボットシステムの画像化システムの一部として含まれ得る。これにより、臨床医は、外科手術中に望ましくない状況および状態を迅速に特定、回避、および/または修正し得る。
本開示は、外科的処置中に臨床医に強調画像をリアルタイムで提供するためのシステムおよび方法に向けられる。本明細書で説明されるシステムおよび方法は、キャプチャ画像に画像処理フィルタを適用して、曖昧さのない画像を提供する。いくつかの実施形態では、本システムおよび方法は、外科的処置中の映像キャプチャを可能にする。キャプチャ映像は、リアルタイムまたはほぼリアルタイムで処理され、その後強調画像として臨床医に表示される。画像処理フィルタは、キャプチャ映像の各フレームに適用される。強調画像または映像を臨床医に提供することにより、臨床医は目立たなくなる。
本明細書で説明する実施形態は、臨床医が、外科的処置の有効性を確保するために十分に詳細な対象領域を見ることを可能にする。
図1を参照すると、本開示の実施形態による、外科手術環境の画像および/または映像を強調するためのシステムは、全体として100として示される。システム100は、プロセッサ104およびメモリ106を有するコントローラ102を含む。システム100はまた、静止フレーム画像または動画像を記録する画像キャプチャ装置108、例えばカメラを含む。画像キャプチャ装置108は、内視鏡、ステレオ内視鏡、または低侵襲外科手術で使用される他の外科的ツールに組み込まれ得る。ディスプレイ110は、外科的処置中に臨床医に強調画像を表示する。ディスプレイ110は、臨床医が着用するモニタ、プロジェクタ、または眼鏡であってもよい。いくつかの実施形態では、コントローラ102は、無線または有線接続を介して、中央サーバ(図示せず)と通信し得る。中央サーバは、X線、コンピュータ断層撮影スキャン、または磁気共鳴画像化を使用して取得し得る1人または複数の患者の画像を保存し得る。
図2は、コントローラ102のシステムブロック図を示す。図2に示されるように、コントローラ102は、画像キャプチャ装置108から静止フレーム画像または映像を受信するように構成されたトランシーバ112を含む。いくつかの実施形態では、トランシーバ112は、無線通信プロトコルを介して、静止フレーム画像、映像、またはデータを受信するためのアンテナを含み得る。静止フレーム画像、映像、またはデータは、プロセッサ104に提供される。プロセッサ104は、受信した静止フレーム画像、映像、またはデータを処理して強調画像または映像を生成する画像処理フィルタ114を含む。画像処理フィルタ114は、個別のコンポーネント、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。強調画像または映像は、ディスプレイ110に提供される。
図3を参照すると、トランシーバ112によって受信された画像および/または映像に適用され得る動きフィルタのシステムブロック図が、114Aとして示される。動きフィルタ114Aは、画像処理フィルタ114に含まれるフィルタの1つである。動きフィルタ114Aにおいて、受信された映像の各フレームは、空間分解フィルタ116を使用して、異なる空間周波数帯域M1〜MNに分解される。空間分解フィルタ116は、ピラミッドとして知られる画像処理技術を使用し、画像は、異なる空間周波数関連情報の最大値で構成される選択可能な数のレベル(画像のサンプリングサイズによって制約される)を生成する繰り返し空間フィルタにかけられる。空間フィルタは、様々な周波数コンテンツのユニークなピラミッドレベルが構築されることを可能にするように特に設計されている。
フレームが空間分解フィルタ116にかけられた後、すべての空間周波数帯域MN〜M1に、周波数または時間フィルタ118を適用して、時間フィルタ処理された帯域MT1〜MTNを生成する。時間フィルタ118は、1つ以上の所望の周波数帯域を抽出するために使用されるバンドパスフィルタまたはバンドストップフィルタであることができる。例えば、臨床医が電気外科的処置を行っており、画像から煙を除去したい場合、臨床医によって、バンドストップまたはノッチフィルタを、煙の移動に対応する周波数に設定し得る。換言すれば、ノッチフィルタは、煙の動きを含む狭い範囲に設定され、すべての空間周波数帯域MN〜M1に適用される。ノッチフィルタの周波数は、フレームから除去または最小化されるべき障害物に基づいて設定されることができることが想定される。ノッチフィルタの設定範囲に対応する空間周波数帯域は、元の空間周波数帯域M1〜MNから、時間フィルタリングされた帯域MT1〜MTNのすべてを強調するために減衰され、強調帯域M’1〜M’Nを生成する。
次いで、映像の各フレームは、再結合フィルタ70を使用して、強調帯域M’1〜M’Nを折りたたむことにより再構成され、強調フレームを生成する。すべての強調フレームが組み合わせられて、強調映像を作り出す。臨床医に表示される強調映像は、煙等の障害物のない外科手術環境を含む。
いくつかの実施形態では、強調画像または映像を改善するために、動きフィルタ(例えば、動きフィルタ114A)を使用する前に、色フィルタ114B(例えば、色増幅フィルタ)が適用され得る。色フィルタ114Bを特定の色周波数帯域に設定することにより、ディスプレイ110上に表示される強調画像からの一定のアイテム、例えば煙の除去を改善でき、臨床医が障害なく外科手術環境を容易に見ることができる。色フィルタ114Bは、動きフィルタが適用される前に1つ以上の色を使用して空間周波数帯域内の障害物を識別しし得る。色フィルタ114Bは、障害物をフレームの一部に隔離し得、動きフィルタがフレームの隔離された部分に適用されることを可能にする。フレームの隔離された部分に動きフィルタを適用することのみによって、強調画像または映像の生成および表示の速度を上げることができる。
例えば、図4は、トランシーバ112によって受信された画像および/または映像に適用され得る色フィルタ114Bのシステムブロック図である。色フィルタ114Bは、画像処理フィルタ114に含まれるフィルタのうちの別のものである。色フィルタ114Bにおいて、受信された映像の各フレームは、空間分解フィルタ122を使用して、に異なる空間周波数帯域C1〜CNに分解される。空間分解フィルタ116と同様に、空間分解フィルタ122もまた、ピラミッドとして知られる画像処理技術を使用し、画像は、異なる空間周波数関連情報の最大値で構成される選択可能な数のレベルを生成する繰り返し空間フィルタにかけられる。
フレームが空間分解フィルタ122にかけられた後、すべての空間周波数帯域C1〜CNに、周波数または色フィルタ124を適用して、色フィルタ処理された帯域CF1〜CFNを生成する色フィルタ124は、1つ以上の所望の周波数帯域を抽出するために使用されるバンドパスフィルタまたはバンドストップフィルタであることができる。例えば、臨床医が気化させた組織から煙を発させる電気外科技術を行っている場合、臨床医によって、バンドストップまたはノッチフィルタを、煙の色に対応する周波数に設定し得る。換言すれば、ノッチフィルタは、煙を含む狭い範囲に設定され、すべての空間周波数帯域C1〜CNに適用される。ノッチフィルタの周波数は、フレームから除去または最小化されるべき障害物に基づいて設定されることができることが想定される。ノッチフィルタの設定範囲に対応する空間周波数帯域は、元の空間周波数帯域C1〜CNから、色フィルタされた帯域CF1〜CFNのすべてを強調するために減衰され、強調帯域C’1〜C’Nを生成する。
次いで、映像の各フレームは、再結合フィルタ126を使用して、強調帯域C’1〜C’Nを折りたたむことにより再構成され、強調フレームを生成する。すべての強調フレームが組み合わせられて、強調映像を作り出す。臨床医に表示される強調映像は、煙等の障害物のない外科手術環境を含む。
図5は、画像キャプチャ装置108によりキャプチャされる外科手術環境の画像130を示す。画像130は、動きフィルタ114Aおよび/または色フィルタ114Bの使用を含み得る画像処理フィルタ114により処理され、強調画像132が生成される。強調画像132に見られるように、画像130に存在していた煙「S」は、強調画像132から除去される。
本明細書に開示される様々な実施形態はまた、ロボット外科手術システムと、一般に「遠隔手術」と称されるものとともに動作するように構成され得る。そのようなシステムは、臨床医を援助し、外科手術器具の遠隔操作(または遠隔操作)を可能にする様々なロボット要素を使用する。様々なロボットアーム、歯車、カム、滑車、電気モータおよび機械モータ等を、この目的のために使用し得、手術または治療の過程で臨床医を援助するためのロボット外科手術システムとともに設計され得る。このようなロボットシステムは、遠隔操縦可能システム、可撓性自動外科手術システム、可撓性遠隔外科手術システム、遠隔関節運動外科手術システム、無線外科手術システム、モジュール式または選択的に構成可能な遠隔動作式外科手術システム等を含み得る。
図6に示されるように、ロボット外科手術システム200は、手術室に隣接するか、または遠隔した場所に位置する1つ以上のコンソール202とともに使用され得る。このケースでは、臨床医または看護師の1つのチームが患者の手術準備を行い、1つ以上の器具204とともにロボット外科手術システム200を構成し、一方で別の臨床医(または臨床医のグループ)は、ロボット外科手術システムを介して機器を遠隔制御する。理解され得るように、高度に熟練した臨床医は、自身の遠隔コンソールを離れることなく、複数の場所で複数の操作を行い得、これは、経済的に有益である可能性があり、また患者または一連の患者にとっての利益となる可能せいがある。
外科手術システム200のロボットアーム206は、典型的には、コントローラ210によって、一対のマスターハンドル208に結合される。コントローラ210は、コンソール202と一体化されるか、または手術室内の独立型装置として設けられてもよい。ハンドル206は、ロボットアーム206に取り付けられた任意のタイプの外科用器具204(例えば、プローブ、エンドエフェクタ、把持器、ナイフ、はさみ等)の作業端の対応する移動を作り出すために臨床医によって動かされることができる。例えば、外科用器具204は、画像キャプチャ装置を含むプローブであってもよい。プローブは、患者に挿入されて、外科的処置中に患者の体内の対象領域の画像をキャプチャする。画像が臨床医に対してディスプレイ110上で表示される前に、画像処理フィルタ114Aまたは114Bのうちの1つ以上が、コントローラ210によって、取り込まれた画像に適用される。
マスターハンドル208の移動は、作業端が、臨床医の操作する手によって実行される動きとは大きくまたは小さく異なる、対応する移動を有するように倍率変更され得る。倍率またはギア比は、操作者が外科用器具204の作業端の分解能を制御できるように、調整可能であってもよい。
外科システム200の動作中、マスターハンドル208は、臨床医によって操作され、ロボットアーム206および/または外科用器具204の対応する移動を作り出す。マスターハンドル208は、信号をコントローラ210に提供し、次いでコントローラは、対応する信号を1つ以上の駆動モータ214に提供する。1つ以上の駆動モータ214は、ロボットアーム206に連結され、ロボットアーム206および/または外科用器具204を動かす。
マスターハンドル208は、様々な組織パラメータまたは状況、例えば、操作、切断または他の手技による組織抵抗、器具による組織への圧力、組織温度、組織インピーダンス等に関するフィードバックを臨床医に提供するための様々な触覚216を含み得る。理解され得るように、そのような触覚216は、実際の操作状況をシミュレートする強調触覚フィードバックを臨床医に提供する。触覚216は、振動モータ、電気活性ポリマー、圧電装置、静電装置、亜音速音波表面作動装置、逆電気振動、またはユーザに触覚フィードバックを提供することが可能である他の装置を含んでもよい。マスターハンドル208はまた、実際の動作条件を模倣する臨床医の能力をさらに高める繊細な組織操作または治療のための様々な異なるアクチュエータ218を含み得る。
本明細書で開示された実施形態は、本開示の実施例であり、様々な形態で具現化され得る。本明細書において開示される特定の構造的および機能的な詳細は、限定的であると解釈されるべきではなく、特許請求の範囲の根拠として、かつ当業者に教示して本開示を実質的に任意の適切に詳細な構造として様々に用いるための代表的な根拠として解釈されるべきである。同様の参照番号は、図面の記載を通して類似または同一の要素を指す場合がある。
フレーズ「一実施形態において」、「実施形態において」」、「いくつかの実施形態において」、または「他の実施形態において」は、それぞれ、本開示による同じまたは異なる実施形態のうちの1つ以上のことを指す場合がある。「AまたはB」という形式のフレーズは、「(A)、(B)、または(AおよびB)」を意味する。「A、B、またはCの少なくとも1つ」という形式のフレーズは、「(A)、(B)、(C)、(AおよびB)、(AおよびC)、(BおよびC)、または(A、B、およびC)」を意味する。臨床医は、外科医または医療手技を行う医師、看護師、技術者、医療助手等の医療専門家を指す場合がある。
本明細書で説明するシステムはまた、1つ以上のコントローラを利用して、様々な情報を受信し、受信した情報を変換して出力を生成することができる。コントローラは、メモリ内に記憶された一連の命令を実行することが可能な、任意のタイプのコンピューティング装置、演算回路、または任意のタイプのプロセッサまたは処理回路を含み得る。コントローラは、複数のプロセッサおよび/またはマルチコア中央処理ユニット(CPU)を含み得、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ等の任意のタイプのプロセッサを含み得る。コントローラはまた、一連の命令を実行するためのデータおよび/またはアルゴリズムを記憶するメモリを含み得る。
本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれもが、プログラミング言語またはコンピュータプログラムに変換されるか、または表現されてもよい。「プログラミング言語(Programming Language)」および「コンピュータプログラム(Computer Program)」は、コンピュータへの命令を特定するために使用される任意の言語を含み、これらの言語およびその派生物は(限定されないが)Assembler、Basic、Batch files、BCPL、C、C+、C++、Delphi、Fortran、Java(登録商標)、JavaScript(登録商標)、Machine code、オペレーティングシステムコマンド言語、Pascal、Perl、PL1、スクリプト言語、Visual Basic、プログラム自体を特定するメタ言語、およびすべての第1、第2、第3、第4、第5世代のコンピュータ言語を含む。また、データベースおよび他のデータスキーマ、ならびに任意の他のメタ言語も含まれる。解釈され、コンパイルされ、またはコンパイルおよび解釈されたアプローチの両方を使用する言語間で、区別はなされない。プログラムのコンパイル済みバージョンとソースバージョンとの間でも、区別はなされない。このため、プログラミング言語が、プログラミング言語が複数の状態(ソース、コンパイル済み、オブジェクト、またはリンク等)で存在し得る、プログラムへの参照は、かかる状態のいずれか、およびすべてへの参照である。プログラムへの参照は、実際の命令および/またはそれらの命令の意図を包含し得る。
本明細書で説明される方法、プログラム、アルゴリズム、またはコードのいずれも、1つ以上の機械可読媒体またはメモリ上に収容され得る。「メモリ(memory)」という用語は、プロセッサ、コンピュータ、またはデジタル処理装置等の機械によって読み取り可能な形式で情報を提供(例えば、記憶および/または送信)する機構を含み得る。例えば、メモリは、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置、または他の揮発性または不揮発性メモリ記憶装置を含み得る。収容されるコードまたは命令は、搬送波信号、赤外線信号、デジタル信号、および他の同様の信号によって表されることができる。
上記の説明は、単に本開示の例示的なものであることが理解されるべきである。様々な代替および修正が、本開示から逸脱することなく当業者によって創造されることができる。例えば、本明細書に記載された強調画像のいずれかを組み合わせて、臨床医に表示される単一の強調画像にすることができる。したがって、本開示は、すべてのこのような代替、修正および変形を包含することが意図される。添付の図面を参照して説明された実施形態は、本開示の一定の例を説明するためにのみ提示される。上記および/または添付の請求項に説明されたものとは実質的ではない部分で異なる他の要素、ステップ、方法および技術もまた、本開示の範囲内であることが意図される。
Claims (15)
- 外科手術画像を強調するためのシステムであって、
患者に挿入され、外科的処置中に前記患者の体内の画像をキャプチャするように構成された画像キャプチャ装置と、
前記画像を受信し、少なくとも1つの画像処理フィルタを前記画像に適用して、強調画像を生成するように構成されたコントローラであって、前記画像処理フィルタが、
前記画像を複数の空間周波数帯域に分解するように構成された空間分解フィルタと、
前記複数の空間周波数帯域をフィルタリングして、複数の強調帯域を生成するように構成された周波数フィルタと、
前記複数の強調帯域を折りたたむことにより、前記強調画像を生成するように構成された再結合フィルタと、を含む、コントローラと、
前記外科的処置中に、前記強調画像をユーザに表示するように構成されたディスプレイと、を含む、システム。 - 前記画像キャプチャ装置が、複数の画像を有する映像をキャプチャし、前記コントローラが、前記複数の画像の各画像に、前記少なくとも1つの画像処理フィルタを適用する、請求項1に記載のシステム。
- 前記周波数フィルタが、時間フィルタである、請求項1に記載のシステム。
- 前記周波数フィルタが、色フィルタである、請求項1に記載のシステム。
- 前記周波数フィルタの周波数が、臨床医によって設定される、請求項1に記載のシステム。
- 前記周波数フィルタの周波数が、障害物のタイプに基づいて事前設定される、請求項1に記載のシステム。
- 前記周波数フィルタの周波数が、障害物のタイプに基づいて選択可能である、請求項6に記載のシステム。
- 外科的処置中に画像を強調する方法であって、
画像キャプチャ装置を使用して、少なくとも1つの画像をキャプチャすることと、
前記少なくとも1つの画像をフィルタリングすることであって、フィルタリングが、
前記少なくとも1つの画像を分解して、複数の空間周波数帯域を生成することと、
前記複数の空間周波数帯域に周波数フィルタを適用して、複数の強調帯域を生成することと、
前記複数の強調帯域を折りたたんで、強調画像を生成することと、を含む、フィルタリングすることと、
ディスプレイ上に前記強調画像を表示することと、を含む、方法。 - 複数の画像を有する映像をキャプチャすることと、
前記複数の画像の各画像をフィルタリングすることと、をさらに含む、請求項8に記載の方法。 - 前記周波数フィルタが、時間フィルタである、請求項8に記載の方法。
- 前記周波数フィルタが、色フィルタである、請求項8に記載の方法。
- 前記周波数フィルタの周波数が、臨床医によって設定される、請求項8に記載の方法。
- 前記複数の空間周波数帯域に前記周波数フィルタを適用して、前記複数の強調帯域を生成することが、
前記複数の空間周波数帯域に色フィルタを適用して、複数の部分的強調帯域を生成することと、
前記複数の部分的強調帯域に時間フィルタを適用して、前記複数の強調帯域を生成することと、を含む、請求項8に記載の方法。 - 前記複数の空間周波数帯域に前記色フィルタを適用して、前記複数の部分的強調帯域を生成することが、複数の部分的強調帯域の一部に対する障害物を隔離することを含む、請求項13に記載の方法。
- 前記複数の部分的強調帯域に前記時間フィルタを適用して、前記複数の強調帯域を生成することが、前記障害物を含む前記複数の部分的強調帯域の一部のみに前記時間フィルタを適用することを含む、請求項14に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762546169P | 2017-08-16 | 2017-08-16 | |
US62/546,169 | 2017-08-16 | ||
PCT/US2018/000292 WO2019036007A1 (en) | 2017-08-16 | 2018-08-16 | SYSTEMS AND METHODS FOR ENHANCING SURGICAL IMAGES AND / OR VIDEOS |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020531095A true JP2020531095A (ja) | 2020-11-05 |
Family
ID=65362606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508582A Pending JP2020531095A (ja) | 2017-08-16 | 2018-08-16 | 外科手術画像および/または映像を強調するためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200184638A1 (ja) |
EP (1) | EP3668436A4 (ja) |
JP (1) | JP2020531095A (ja) |
CN (1) | CN110996831A (ja) |
WO (1) | WO2019036007A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US11423551B1 (en) * | 2018-10-17 | 2022-08-23 | Rdi Technologies, Inc. | Enhanced presentation methods for visualizing motion of physical structures and machinery |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
US10758309B1 (en) | 2019-07-15 | 2020-09-01 | Digital Surgery Limited | Methods and systems for using computer-vision to enhance surgical tool control during surgeries |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017070274A1 (en) * | 2015-10-22 | 2017-04-27 | Covidien Lp | Systems and methods for amplifying changes in a region of interest in a surgical environment |
WO2017070275A1 (en) * | 2015-10-23 | 2017-04-27 | Covidien Lp | Surgical system for detecting gradual changes in perfusion |
WO2017079387A1 (en) * | 2015-11-05 | 2017-05-11 | Covidien Lp | System and method for detecting subsurface blood |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1671274A2 (en) * | 2003-09-22 | 2006-06-21 | Koninklijke Philips Electronics N.V. | Enhancing medical images with temporal filter |
US9049334B1 (en) | 2011-02-24 | 2015-06-02 | Foveon, Inc. | Denoising images with a color matrix pyramid |
WO2013042395A1 (ja) * | 2011-09-20 | 2013-03-28 | オリンパスメディカルシステムズ株式会社 | 画像処理装置及び内視鏡システム |
CN105007801B (zh) * | 2013-02-27 | 2016-09-28 | 富士胶片株式会社 | 图像处理装置以及内窥镜系统的工作方法 |
KR101385743B1 (ko) * | 2013-07-08 | 2014-04-18 | 주식회사 엠디텍 | 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템 |
WO2016014385A2 (en) * | 2014-07-25 | 2016-01-28 | Covidien Lp | An augmented surgical reality environment for a robotic surgical system |
US10152789B2 (en) * | 2014-07-25 | 2018-12-11 | Covidien Lp | Augmented surgical reality environment |
US9905000B2 (en) * | 2015-02-19 | 2018-02-27 | Sony Corporation | Method and system for surgical tool localization during anatomical surgery |
CN105468033B (zh) * | 2015-12-29 | 2018-07-10 | 上海大学 | 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法 |
-
2018
- 2018-08-16 EP EP18845713.9A patent/EP3668436A4/en not_active Withdrawn
- 2018-08-16 JP JP2020508582A patent/JP2020531095A/ja active Pending
- 2018-08-16 WO PCT/US2018/000292 patent/WO2019036007A1/en unknown
- 2018-08-16 US US16/638,819 patent/US20200184638A1/en not_active Abandoned
- 2018-08-16 CN CN201880052747.8A patent/CN110996831A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017070274A1 (en) * | 2015-10-22 | 2017-04-27 | Covidien Lp | Systems and methods for amplifying changes in a region of interest in a surgical environment |
WO2017070275A1 (en) * | 2015-10-23 | 2017-04-27 | Covidien Lp | Surgical system for detecting gradual changes in perfusion |
WO2017079387A1 (en) * | 2015-11-05 | 2017-05-11 | Covidien Lp | System and method for detecting subsurface blood |
Also Published As
Publication number | Publication date |
---|---|
US20200184638A1 (en) | 2020-06-11 |
EP3668436A1 (en) | 2020-06-24 |
EP3668436A4 (en) | 2021-05-12 |
CN110996831A (zh) | 2020-04-10 |
WO2019036007A1 (en) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210077220A1 (en) | Systems and methods for removing occluding objects in surgical images and/or video | |
JP2020531095A (ja) | 外科手術画像および/または映像を強調するためのシステムおよび方法 | |
US20210358122A1 (en) | Augmented surgical reality environment | |
US11096749B2 (en) | Augmented surgical reality environment for a robotic surgical system | |
CN108271345B (zh) | 用于检测表面下的血液的系统和方法 | |
US10912449B2 (en) | Surgical system for detecting gradual changes in perfusion | |
CN108135456B (zh) | 用于放大手术环境中所关注区域中的改变的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221206 |