JP2023038233A - 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 - Google Patents
内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2023038233A JP2023038233A JP2023000266A JP2023000266A JP2023038233A JP 2023038233 A JP2023038233 A JP 2023038233A JP 2023000266 A JP2023000266 A JP 2023000266A JP 2023000266 A JP2023000266 A JP 2023000266A JP 2023038233 A JP2023038233 A JP 2023038233A
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscopic
- map
- image frame
- current image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 80
- 230000009466 transformation Effects 0.000 claims description 28
- 206010029148 Nephrolithiasis Diseases 0.000 claims description 13
- 208000000913 Kidney Calculi Diseases 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000001727 in vivo Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 description 21
- 210000001519 tissue Anatomy 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 238000011282 treatment Methods 0.000 description 9
- 206010004446 Benign prostatic hyperplasia Diseases 0.000 description 6
- 208000004403 Prostatic Hyperplasia Diseases 0.000 description 6
- 238000002679 ablation Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000002674 endoscopic surgery Methods 0.000 description 5
- 210000002307 prostate Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000004575 stone Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000002775 capsule Substances 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 238000013532 laser treatment Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000010412 perfusion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000002430 laser surgery Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011471 prostatectomy Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000003708 urethra Anatomy 0.000 description 2
- 241000606125 Bacteroides Species 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 206010046798 Uterine leiomyoma Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 201000010260 leiomyoma Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
- A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
- A61B2017/00296—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means mounted on an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Gynecology & Obstetrics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本開示は、2019年9月23日に出願された米国仮特許出願第62/904,408号の優先権を主張するものであり、この文献の開示は引用により本明細書に組み入れられる。
210 マップ画像変換を生成
215 予備セット画像を取り込んで相関付け
220 空間変換を適用してマップ画像を計算
225 現在の画像を取り込んで相関付け
230 現在の画像に空間変換を適用
235 現在の画像の変換及びマップ画像を融合
240 結合画像に逆空間変換を適用
245 現在の画像の強化された解像度表現を表示
250 現在の画像の変換をマップ画像に追加
(実施態様1)内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサであって、
予備セットの画像フレームに空間変換を適用する段階であって、前記空間変換が前記画像フレームを円筒座標に変換する、前記空間変換を適用する段階と、
空間変換された前記画像フレームからマップ画像を計算する段階であって、前記マップ画像の各画素位置が固定次元のベクトルで定められる、前記マップ画像を計算する段階と、
現在の画像フレームを前記マップ画像と整列させ、前記現在の画像フレームに前記空間変換を適用する段階と、
空間変換された前記現在の画像フレームを前記マップ画像に融合して融合画像を生成する段階と、
前記融合画像に逆空間変換を適用して、前記現在の画像フレームよりも高い空間解像度を有する強化された現在の画像フレームを生成する段階と、
を行うように構成された前記プロセッサと、
前記強化された現在の画像フレームを表示するように構成されたディスプレイと、
を備えることを特徴とする内視鏡システム。
(実施態様2)前記空間変換は、前記内視鏡イメージャの光学的形状に基づいて生成される、実施態様1に記載の内視鏡システム。
(実施態様3)前記マップ画像は、前記内視鏡イメージャの解像度よりも整数倍高い解像度を有する、実施態様1又は2に記載の内視鏡システム。
(実施態様4)前記現在の画像フレームは、前記現在の画像フレームと前記マップ画像との間の類似度を測定する相互相関に基づいて、前記マップ画像と整列される、実施態様1~3のいずれか1項に記載の内視鏡システム。
(実施態様5)前記プロセッサは、前記空間変換された現在の画像フレームを取り囲む前記マップ画像の領域に基づいて、前記強化された現在の画像フレームの視野を、前記現在の画像フレームと比べて拡大するようにさらに構成される、実施態様1~4のいずれか1項に記載の内視鏡システム。
(実施態様6)前記プロセッサは、前記空間変換された現在の画像フレームを前記マップ画像に追加するようにさらに構成される、実施態様1~5のいずれか1項に記載の内視鏡システム。
(実施態様7)前記マップ画像内の所与の画素位置が一杯になった場合、新たなサンプルが追加される際に最も古いサンプルが削除される、実施態様1~6のいずれか1項に記載の内視鏡システム。
(実施態様8)内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサと、を備え、
前記プロセッサは、
予備セットの画像フレームに空間変換を適用する段階であって、前記空間変換が前記画像フレームを円筒座標に変換する、前記空間変換を適用する段階と、
空間変換された前記画像フレームからマップ画像を計算する段階であって、前記マップ画像の各画素位置が固定次元のベクトルで定められる、前記マップ画像を計算する段階と、
前記マップ画像のスケール空間表現を計算する段階と、
複数の独立領域を含むさらなる画像を取り込む段階と、
前記独立領域の各々について所定量の画像データが取得された時に、前記独立領域の各々について独立の空間変換を含む非線形空間変換を展開する段階と、
前記非線形空間変換からストラクチャ・フロム・モーション(SFM)深度マップを導出する段階と、
を行うように構成されたことを特徴とする内視鏡システム。
(実施態様9)前記SFM深度マップは、前記内視鏡イメージャの追跡情報にさらに基づいており、前記追跡情報は、取り込み画像間で変化する前記内視鏡イメージャの姿勢を含む、実施態様8に記載の内視鏡システム。
(実施態様10)前記プロセッサは、
前記予備セットの画像フレーム内のスコープ関連オブジェクト及び関心オブジェクトを識別してセグメント化し、
前記予備セットの画像フレームに前記空間変換を適用する際に、識別された前記スコープ関連オブジェクトを除外する、ように構成されている、実施態様8又は9に記載の内視鏡システム。
(実施態様11)前記プロセッサは、現在の画像フレーム内の深度情報及び角度範囲に基づいて前記関心オブジェクトのサイズを推定するようにさらに構成されている、実施態様10に記載の内視鏡システム。
(実施態様12)前記関心オブジェクトが注釈付けされた前記現在の画像フレームを表示するように構成されたディスプレイをさらに備える、実施態様11に記載の内視鏡システム。
(実施態様13)前記関心オブジェクトは腎臓結石である、実施態様12に記載の内視鏡システム。
(実施態様14)前記内視鏡イメージャに取り付けられ、前記内視鏡イメージャの6自由度位置を含む追跡データを提供するように構成された電磁(EM)トラッカーをさらに備え、
前記プロセッサは、前記標的部位の以前に取得された3D画像ボリュームをセグメント化するようにさらに構成され、
前記追跡データは、セグメント化された前記画像ボリューム及び前記SFM深度マップと組み合わせられて前記内視鏡イメージャの位置推定を提供する、実施態様8~13のいずれか1項に記載の内視鏡システム。
(実施態様15)前記プロセッサは、前記追跡データが前記セグメント化された画像ボリュームの表面を突破するように示された時に、前記セグメント化された画像ボリュームを変形させるようにさらに構成されている、実施態様14に記載の内視鏡システム。
Claims (15)
- 内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサであって、
予備セットの画像フレームに空間変換を適用する段階であって、前記空間変換が前記画像フレームを円筒座標に変換する、前記空間変換を適用する段階と、
空間変換された前記画像フレームからマップ画像を計算する段階であって、前記マップ画像の各画素位置が固定次元のベクトルで定められる、前記マップ画像を計算する段階と、
現在の画像フレームを前記マップ画像と整列させ、前記現在の画像フレームに前記空間変換を適用する段階と、
空間変換された前記現在の画像フレームを前記マップ画像に融合して融合画像を生成する段階と、
前記融合画像に逆空間変換を適用して、前記現在の画像フレームよりも高い空間解像度を有する強化された現在の画像フレームを生成する段階と、
を行うように構成された前記プロセッサと、
前記強化された現在の画像フレームを表示するように構成されたディスプレイと、
を備えることを特徴とする内視鏡システム。 - 前記空間変換は、前記内視鏡イメージャの光学的形状に基づいて生成される、請求項1に記載の内視鏡システム。
- 前記マップ画像は、前記内視鏡イメージャの解像度よりも整数倍高い解像度を有する、請求項1又は2に記載の内視鏡システム。
- 前記現在の画像フレームは、前記現在の画像フレームと前記マップ画像との間の類似度を測定する相互相関に基づいて、前記マップ画像と整列される、請求項1~3のいずれか1項に記載の内視鏡システム。
- 前記プロセッサは、前記空間変換された現在の画像フレームを取り囲む前記マップ画像の領域に基づいて、前記強化された現在の画像フレームの視野を、前記現在の画像フレームと比べて拡大するようにさらに構成される、請求項1~4のいずれか1項に記載の内視鏡システム。
- 前記プロセッサは、前記空間変換された現在の画像フレームを前記マップ画像に追加するようにさらに構成される、請求項1~5のいずれか1項に記載の内視鏡システム。
- 前記マップ画像内の所与の画素位置が一杯になった場合、新たなサンプルが追加される際に最も古いサンプルが削除される、請求項1~6のいずれか1項に記載の内視鏡システム。
- 内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサと、を備え、
前記プロセッサは、
予備セットの画像フレームに空間変換を適用する段階であって、前記空間変換が前記画像フレームを円筒座標に変換する、前記空間変換を適用する段階と、
空間変換された前記画像フレームからマップ画像を計算する段階であって、前記マップ画像の各画素位置が固定次元のベクトルで定められる、前記マップ画像を計算する段階と、
前記マップ画像のスケール空間表現を計算する段階と、
複数の独立領域を含むさらなる画像を取り込む段階と、
前記独立領域の各々について所定量の画像データが取得された時に、前記独立領域の各々について独立の空間変換を含む非線形空間変換を展開する段階と、
前記非線形空間変換からストラクチャ・フロム・モーション(SFM)深度マップを導出する段階と、
を行うように構成されたことを特徴とする内視鏡システム。 - 前記SFM深度マップは、前記内視鏡イメージャの追跡情報にさらに基づいており、前記追跡情報は、取り込み画像間で変化する前記内視鏡イメージャの姿勢を含む、請求項8に記載の内視鏡システム。
- 前記プロセッサは、
前記予備セットの画像フレーム内のスコープ関連オブジェクト及び関心オブジェクトを識別してセグメント化し、
前記予備セットの画像フレームに前記空間変換を適用する際に、識別された前記スコープ関連オブジェクトを除外する、ように構成されている、請求項8又は9に記載の内視鏡システム。 - 前記プロセッサは、現在の画像フレーム内の深度情報及び角度範囲に基づいて前記関心オブジェクトのサイズを推定するようにさらに構成されている、請求項10に記載の内視鏡システム。
- 前記関心オブジェクトが注釈付けされた前記現在の画像フレームを表示するように構成されたディスプレイをさらに備える、請求項11に記載の内視鏡システム。
- 前記関心オブジェクトは腎臓結石である、請求項12に記載の内視鏡システム。
- 前記内視鏡イメージャに取り付けられ、前記内視鏡イメージャの6自由度位置を含む追跡データを提供するように構成された電磁(EM)トラッカーをさらに備え、
前記プロセッサは、前記標的部位の以前に取得された3D画像ボリュームをセグメント化するようにさらに構成され、
前記追跡データは、セグメント化された前記画像ボリューム及び前記SFM深度マップと組み合わせられて前記内視鏡イメージャの位置推定を提供する、請求項8~13のいずれか1項に記載の内視鏡システム。 - 前記プロセッサは、前記追跡データが前記セグメント化された画像ボリュームの表面を突破するように示された時に、前記セグメント化された画像ボリュームを変形させるようにさらに構成されている、請求項14に記載の内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962904408P | 2019-09-23 | 2019-09-23 | |
US62/904,408 | 2019-09-23 | ||
JP2022515013A JP7206438B2 (ja) | 2019-09-23 | 2020-08-27 | 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022515013A Division JP7206438B2 (ja) | 2019-09-23 | 2020-08-27 | 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023038233A true JP2023038233A (ja) | 2023-03-16 |
Family
ID=72433040
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022515013A Active JP7206438B2 (ja) | 2019-09-23 | 2020-08-27 | 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 |
JP2023000266A Pending JP2023038233A (ja) | 2019-09-23 | 2023-01-04 | 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022515013A Active JP7206438B2 (ja) | 2019-09-23 | 2020-08-27 | 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11430097B2 (ja) |
EP (2) | EP4345733A2 (ja) |
JP (2) | JP7206438B2 (ja) |
KR (2) | KR102630074B1 (ja) |
CN (1) | CN114423355A (ja) |
AU (2) | AU2020352836B2 (ja) |
CA (2) | CA3232181A1 (ja) |
NZ (1) | NZ785155A (ja) |
WO (1) | WO2021061335A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102630074B1 (ko) * | 2019-09-23 | 2024-01-29 | 보스톤 싸이엔티픽 싸이메드 인코포레이티드 | 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법 |
US11918178B2 (en) * | 2020-03-06 | 2024-03-05 | Verily Life Sciences Llc | Detecting deficient coverage in gastroenterological procedures |
US11288771B2 (en) * | 2020-04-29 | 2022-03-29 | Adobe Inc. | Texture hallucination for large-scale image super-resolution |
US11778157B2 (en) * | 2021-03-25 | 2023-10-03 | Eys3D Microelectronics, Co. | Image capture device and depth information calculation method thereof |
US20220319031A1 (en) * | 2021-03-31 | 2022-10-06 | Auris Health, Inc. | Vision-based 6dof camera pose estimation in bronchoscopy |
CN113538522B (zh) * | 2021-08-12 | 2022-08-12 | 广东工业大学 | 一种用于腹腔镜微创手术的器械视觉跟踪方法 |
CN115988151A (zh) * | 2022-12-29 | 2023-04-18 | 南京图格医疗科技有限公司 | 一种使用低像素时钟实时处理视频的方法及系统 |
CN116211260B (zh) * | 2023-05-09 | 2023-07-21 | 西南医科大学附属医院 | 一种基于变焦扫描的肾结石形态三维成像系统及方法 |
CN116958147B (zh) * | 2023-09-21 | 2023-12-22 | 青岛美迪康数字工程有限公司 | 基于深度图像特征的目标区域确定方法、装置和设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7381183B2 (en) * | 2003-04-21 | 2008-06-03 | Karl Storz Development Corp. | Method for capturing and displaying endoscopic maps |
US7420675B2 (en) * | 2003-06-25 | 2008-09-02 | The University Of Akron | Multi-wavelength imaging system |
JP4018679B2 (ja) | 2004-08-24 | 2007-12-05 | ザイオソフト株式会社 | レンダリング処理方法、レンダリング処理プログラム、レンダリング処理装置 |
US8248414B2 (en) * | 2006-09-18 | 2012-08-21 | Stryker Corporation | Multi-dimensional navigation of endoscopic video |
US7813538B2 (en) * | 2007-04-17 | 2010-10-12 | University Of Washington | Shadowing pipe mosaicing algorithms with application to esophageal endoscopy |
JP4563421B2 (ja) | 2007-05-28 | 2010-10-13 | ザイオソフト株式会社 | 画像処理方法及び画像処理プログラム |
JP2011139734A (ja) | 2010-01-05 | 2011-07-21 | Hoya Corp | 内視鏡装置 |
TWI428855B (zh) | 2010-12-02 | 2014-03-01 | Chung Shan Inst Of Science | The Method of Restoring Three Dimensional Image of Capsule Endoscopy |
US10231626B2 (en) * | 2013-03-15 | 2019-03-19 | The Regents Of The University Of California | Imaging system and method for fluorescence guided surgery |
JP6235921B2 (ja) * | 2014-02-07 | 2017-11-22 | 国立大学法人広島大学 | 内視鏡画像診断支援システム |
US9259231B2 (en) | 2014-05-11 | 2016-02-16 | Gyrus Acmi, Inc. | Computer aided image-based enhanced intracorporeal lithotripsy |
US20180174311A1 (en) * | 2015-06-05 | 2018-06-21 | Siemens Aktiengesellschaft | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation |
EP3103396B1 (en) * | 2015-06-10 | 2018-10-24 | Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH | Device and method for hybrid optoacoustic tomography and ultrasonography |
EP3245932A1 (en) | 2015-07-06 | 2017-11-22 | Olympus Corporation | Medical device, medical image generating method, and medical image generating program |
US20170281102A1 (en) * | 2016-03-31 | 2017-10-05 | Weng-Dah Ken | Non-contact angle measuring apparatus, mission critical inspection apparatus, non-invasive diagnosis/treatment apparatus, method for filtering matter wave from a composite particle beam, non-invasive measuring apparatus, apparatus for generating a virtual space-time lattice, and fine atomic clock |
US11751947B2 (en) * | 2017-05-30 | 2023-09-12 | Brainlab Ag | Soft tissue tracking using physiologic volume rendering |
JP7236689B2 (ja) | 2018-03-05 | 2023-03-10 | リオン株式会社 | 3次元形状データ作成システムの作動方法、及び3次元形状データ作成システム |
DE112019003022T5 (de) * | 2018-06-15 | 2021-03-18 | Canon Kabushiki Kaisha | Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsverfahren und Programm |
CN109342861B (zh) * | 2018-12-10 | 2020-12-22 | 哈尔滨工业大学 | 一种霍尔推力器周向辐条特性测量方法及系统 |
KR102630074B1 (ko) * | 2019-09-23 | 2024-01-29 | 보스톤 싸이엔티픽 싸이메드 인코포레이티드 | 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법 |
-
2020
- 2020-08-27 KR KR1020227009550A patent/KR102630074B1/ko active IP Right Grant
- 2020-08-27 WO PCT/US2020/048202 patent/WO2021061335A1/en unknown
- 2020-08-27 CN CN202080066528.2A patent/CN114423355A/zh active Pending
- 2020-08-27 CA CA3232181A patent/CA3232181A1/en active Pending
- 2020-08-27 NZ NZ785155A patent/NZ785155A/en unknown
- 2020-08-27 KR KR1020247002652A patent/KR20240017960A/ko active Application Filing
- 2020-08-27 EP EP24158246.9A patent/EP4345733A2/en active Pending
- 2020-08-27 CA CA3147447A patent/CA3147447A1/en active Pending
- 2020-08-27 EP EP20768785.6A patent/EP4035120B1/en active Active
- 2020-08-27 US US16/948,013 patent/US11430097B2/en active Active
- 2020-08-27 JP JP2022515013A patent/JP7206438B2/ja active Active
- 2020-08-27 AU AU2020352836A patent/AU2020352836B2/en active Active
-
2022
- 2022-07-27 US US17/815,445 patent/US11954834B2/en active Active
-
2023
- 2023-01-04 JP JP2023000266A patent/JP2023038233A/ja active Pending
- 2023-08-10 AU AU2023214320A patent/AU2023214320A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CA3147447A1 (en) | 2021-04-01 |
AU2020352836B2 (en) | 2023-05-25 |
CA3232181A1 (en) | 2021-04-01 |
NZ785155A (en) | 2024-03-22 |
US11954834B2 (en) | 2024-04-09 |
US20210090226A1 (en) | 2021-03-25 |
AU2023214320A1 (en) | 2023-08-31 |
AU2020352836A1 (en) | 2022-03-10 |
WO2021061335A1 (en) | 2021-04-01 |
US20220366553A1 (en) | 2022-11-17 |
KR20240017960A (ko) | 2024-02-08 |
CN114423355A (zh) | 2022-04-29 |
JP2022546610A (ja) | 2022-11-04 |
KR20220051234A (ko) | 2022-04-26 |
JP7206438B2 (ja) | 2023-01-17 |
US11430097B2 (en) | 2022-08-30 |
KR102630074B1 (ko) | 2024-01-29 |
EP4035120A1 (en) | 2022-08-03 |
EP4035120B1 (en) | 2024-03-27 |
EP4345733A2 (en) | 2024-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7206438B2 (ja) | 内視鏡ビデオの強化、定量化及び外科的誘導のためのシステム及び方法 | |
US9646423B1 (en) | Systems and methods for providing augmented reality in minimally invasive surgery | |
Münzer et al. | Content-based processing and analysis of endoscopic images and videos: A survey | |
US11730562B2 (en) | Systems and methods for imaging a patient | |
US9750399B2 (en) | Real-time depth estimation from monocular endoscope images | |
KR102196291B1 (ko) | 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 | |
EP3463032B1 (en) | Image-based fusion of endoscopic image and ultrasound images | |
Zhang et al. | A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy | |
US20120294498A1 (en) | Image integration based registration and navigation for endoscopic surgery | |
CA2846315A1 (en) | Real time image guidance system | |
US20220240759A1 (en) | Instrument navigation in endoscopic surgery during obscured vision | |
Pullens et al. | A real-time target tracking algorithm for a robotic flexible endoscopy platform | |
ten Brink | Automatic segmentation using the DoubleU-net and 3D visualisation of non-rigid Da Vinci surgical instruments | |
Bergeles et al. | Multi-view stereo and advanced navigation for transanal endoscopic microsurgery | |
de Andrade et al. | CHAPTER OUTLINE Introduction, 299 Endoscopic Visualization: Historical Context, 299 Defining Optimal Imaging Characteristics, 299 Illumination, 299 | |
Zenbutsu et al. | Verification of ultrasonic image fusion technique for laparoscopic surgery | |
KR20240065115A (ko) | 다중 이미지 재구성 및 정합 방법 | |
CN117100393A (zh) | 一种用于视频辅助外科手术靶标定位的方法、系统和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240424 |