CN108778143B - 用于将腹腔镜图像与超声图像进行叠加的计算设备 - Google Patents

用于将腹腔镜图像与超声图像进行叠加的计算设备 Download PDF

Info

Publication number
CN108778143B
CN108778143B CN201780017496.5A CN201780017496A CN108778143B CN 108778143 B CN108778143 B CN 108778143B CN 201780017496 A CN201780017496 A CN 201780017496A CN 108778143 B CN108778143 B CN 108778143B
Authority
CN
China
Prior art keywords
computing device
image
ultrasound
depth
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780017496.5A
Other languages
English (en)
Other versions
CN108778143A (zh
Inventor
S·普雷弗尔哈尔
J·萨巴奇恩斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108778143A publication Critical patent/CN108778143A/zh
Application granted granted Critical
Publication of CN108778143B publication Critical patent/CN108778143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明涉及一种用于将腹腔镜图像与超声图像进行叠加的计算设备。所述计算设备被配置用于接收腹腔镜图像、超声图像和深度感测设备的深度图像。所述计算设备从所述深度图像提取深度线索信息并且使用所提取的深度线索信息来将所述腹腔镜图像与所述超声图像进行叠加从而生成叠加图像。所述计算设备可以使用所述腹腔镜和所述超声设备两者的空间位置和取向以相对于彼此空间地共配准所述设备。这可以然后被用于呈现腹腔镜和超声图像数据两者的正确叠加的视图绘制。该合并视图极大地促进所述用户对超声探头和感兴趣定位进行定位和调位。在一个实施例中，感兴趣对象的表面被测量并且沿着超声平面虚拟地被切割。

Description

用于将腹腔镜图像与超声图像进行叠加的计算设备
技术领域
本发明涉及腹腔镜图像分析和处理。具体而言，本发明涉及用于将腹腔镜图像与超声图像进行叠加的计算设备、将腹腔镜图像与超声图像进行叠加的方法、用于将腹腔镜图像与超声图像进行叠加的程序单元、在其上存储程序单元的计算机可读介质和包括深度感测成像设备的套管针。
背景技术
由外科医师对操作室中的超声的使用正在增加，包括腹腔镜和内窥镜中的超声的指示和使用。在腹部腹腔镜中，腹部壁通过创建不透气切口并且以低压吹进二氧化碳从内脏器官抬起。长刚性杆状透镜(腹腔镜)和用于照明的光索然后被插入以经由被示出在一个或多个监测器屏幕上的所显示的图像允许对腹部器官的视觉检查，从而允许操作人员监测操作的进展。若干套管针(具有不透气阀的中空塑料管，被称为套管针)被放置在策略定位中以允许手术腹腔镜仪器的容易的插入、移除和交换。
在当前环境中，在单独的监测器上呈现超声图像数据。相对于感兴趣点以正确的方式对腹腔镜超声探头定位并且取向是特别重要的。腹腔镜仪器位于套管针内部并且关于枢转点移动，所述枢转点限制它们的空间自由度并且使它们操纵笨拙。该困难通过以下事实针对腹腔镜超声被复合：来自腹腔镜和超声图像的图像数据被显示在单独的监测器上，而没有其空间相关性的指示。因此，超声探头的正确定位和取向提出了甚至针对有经验的腹腔镜专家的具挑战性的任务。
发明内容
能够存在对提供腹腔镜图像的经改进的显示的需要。
本发明的目的由独立权利要求的主题解决。本发明的另外的实施例和优点被并入在从属权利要求中。
所描述的实施例类似地属于用于将腹腔镜图像与超声图像进行叠加的计算设备、将腹腔镜图像与超声图像进行叠加的方法、计算机程序单元、计算机可读介质和包括深度感测成像设备的套管针。协同效应可以来源于实施例的不同的组合，但是其可能不在下文中详细地被描述。
技术术语以其常见意义被使用。如果特定意义被传达到特定术语，则将在使用所述术语的背景下在以下中给定术语的定义。
根据本发明的第一方面，呈现了一种用于将腹腔镜图像与超声图像进行叠加的计算设备。所述计算设备被配置为接收腹腔镜的腹腔镜图像并且被配置为接收超声设备(尤其是腹腔镜超声设备)的超声图像。此外，所述计算设备被配置为接收深度感测成像设备的深度图像，其中，所述深度图像包括定义感兴趣对象的表面的数据。所述计算设备被配置为从接收到的深度图像提取深度线索信息或者深度信息。此外，所述计算设备被配置为使用所提取深度线索信息或者深度信息来将所述腹腔镜图像与所述超声图像进行叠加以生成叠加图像。
本发明的计算设备可以从接收到的深度图像提取深度线索信息。具体地，因此，可以生成深度线索信息，其涉及相关对象的表面(诸如超声和/或腹腔镜设备的视场内的器官表面)的知识。在获得经改进的叠加图像中，这样的深度线索信息可以是有用的。
例如，可以生成叠加图像中的超声图像和腹腔镜图像的交叠，其对于用户而言是更直观的。换言之，叠加图像可以被显示给更直观的用户，因为所述图像具有或者利用根据感兴趣对象(诸如视场中的器官)的表面的位置导出的一个或多个深度线索。例如，关于器官表面的位置的数据可以被使用在以要在所述叠加图像中可视化的特定视觉元素的形式生成深度线索中，从而得到对用户更直观的叠加图像。
所述计算设备可以使用所提取的深度线索信息来调整所述超声图像和/或所述腹腔镜图像，使得叠加图像被生成，其包括一个或多个对应的深度线索，如例如阴影和/或闭塞/交叠。
在实施例中，所述叠加图像具有腹腔镜图像的透视，并且超声图像被交叠到所述腹腔镜图像上。
如在下文中将更详细地解释的，深度线索的不同的实施例(也在组合中)可以被使用在由所述计算设备所生成的叠加图像中。深度感测成像设备和其深度图像的使用提供关于感兴趣对象(例如，器官)的表面的知识，使得在考虑视场中的一个或多个器官的表面的定位的情况下，将腹腔镜图像和超声图像或者视频流叠加(即，交叠)可以实现非常直观的叠加图像。
换言之，所述计算设备可以利用关于腹腔镜、腹腔镜超声设备和感兴趣对象距彼此和距深度感测设备的相对距离的所述知识来改进用户叠加图像的空间感知。该知识可以由所述计算设备从深度图像提取。
不同的深度线索信息(即，深度线索)可以由所述计算设备从所述深度图像提取并且可以针对所述叠加图像的生成或者在其期间由所述计算设备使用。例如，真实阴影和/或来自虚拟光源的虚拟阴影可以由所述计算设备计算并且可以被使用在所述叠加图像中以改进所述用户的感知。备选地或者额外地，闭塞(即，所述腹腔镜图像中的对象的现实交叠)可以在本发明的背景下被用作深度线索的示范性实施例。基于从所述深度图像所提取的深度线索信息，可以通过所述计算设备确定额外的对象是否在场景中并且哪个对象具有距所述腹腔镜的更大的距离。因此，计算设备可以计算哪个对象应当与哪些其他对象交叠以在所述叠加图像中提供现实视觉印象。备选地或者额外地，所述计算设备还可以生成具有容纳的叠加图像，例如具有针对不同的距离中的对象的不同的锐利度的叠加图像的模拟深度场。备选地或者额外地，汇聚和双眼视差是当立体相机与立体显示器结合应用时可以使用的深度线索的实施例。备选地或者额外地，运动视差是可以使用的另一深度线索。当腹腔镜移动时，视差改变。在本发明的实施例中，该移动视差还可以被使用在叠加图像中。在3维超声被使用并且相对厚的对象被成像的情况下，线性透视还可以是可以由所述计算设备使用的深度线索。
在实施例中，所述超声图像在透明模式中被显示在所述叠加图像中，其还增强所述用户的3D感知。所述计算设备可以被配置为计算所述超声图像的这样的透明模式。
此外，在本发明的背景下，术语“图像”应当包括单幅个体图像，但是还包括连续的视频流。具体地，腹腔镜视频流和超声视频流可以由所述计算设备接收以用于深度线索信息的提取和叠加图像的随后的生成。除了所述腹腔镜和所述超声设备之外，所述深度线索来自就位的深度感测设备。以相同的方式，叠加图像可以是个体图像或者可以是多幅图像，例如，包括多幅叠加图像的视频流。
此外，在本发明的背景下，术语“深度感测成像设备”可以被用作腹内深度相机，其被配置为在腹腔镜期间借助于成像或者扫描来测量一个或多个感兴趣对象的表面，尤其是内脏器官的器官表面。在范例中，所述深度感测成像设备还可以被配置为确定所涉及的仪器(尤其是腹腔镜和超声设备)的位置和取向。
技术人员充分意识到深度感测成像设备。例如，所述深度感测成像设备可以包括结构化光系统，包括红外(IR)结构化光投影器、IR相机和正常颜色相机。例如，可以使用具有
Figure BDA0001800039300000041
RealSense技术的系统。
因此，例如，经投影的IR光图案在IR图像中失真。根据该失真，可以计算相机与器官表面之间的距离，其实现深度图像。
在另一范例中，深度感测成像设备可以包括飞行时间(TOF)相机，诸如在
Figure BDA0001800039300000042
Kinect V2系统中所提供的。因此，例如，测量光脉冲从所述发射器行进到器官表面并且返回到图像传感耗费的时间。根据该测量的飞行时间，也能够创建表示器官表面的深度图像。
由这样的设备所生成的深度图像要被理解为包含与场景对象的表面距视点的距离有关的信息的图像。
本发明的计算设备可以是计算机(如台式电脑或者膝上型电脑)的部分，或者可以是较大计算实体(如服务器)的部分。所述计算设备还可以是医学成像系统的部分。所述计算设备可以与所述深度感测成像设备连接，所述深度感测成像设备可以被定位在被插入到例如患者中的套管针中。
根据以上所呈现的计算设备，呈现了一种将腹腔镜图像与超声图像进行叠加的方法。所述方法包括以下步骤：提供腹腔镜的腹腔镜图像；提供超声设备的超声图像；提供深度感测成像设备的深度图像；从所述深度图像提取深度线索信息；并且使用所提取的深度线索信息来将所述腹腔镜图像与所述超声图像进行叠加以生成叠加图像。
在下文中将呈现计算设备和方法的另外的实施例。技术人员将理解，无论何时详细解释所述计算设备的实施例，也随其公开了对应的方法。
根据本发明的示范性实施例，所述计算设备被配置用于基于所提取的深度线索信息来确定所述叠加图像中的阴影的形式和定位。所述计算设备还被配置用于调整所述超声图像和/或所述腹腔镜图像，使得所述阴影在所述叠加图像中被可视化。
在该实施例中描述的阴影可以来源于真实光源(如例如被定位在所述腹腔镜处的光源)，但是也可以来源于虚拟光源。例如，在图7中，示出了实施例，其中，人工阴影701由所述计算设备计算并且在所述叠加图像700中被显示给用户。在这两种情况中，光源的位置和范围以及所述腹腔镜的位置和取向和超声设备的位置和取向被提供到所述计算设备。基于被包含在所述深度图像中的信息，所述计算设备然后可以使用深度线索真实和/或人工阴影来计算被成像的场景从所述腹腔镜的透视看起来如何。同样适用于其他深度线索，如例如交叠/闭塞。这些数据(即，腹腔镜和超声设备的所提到的位置和取向)可以从所述深度感测设备的所述深度图像提取，但是也可以由例如所述腹腔镜处和/或所述超声设备处的传感器提供。这能够需要利用所述传感器跟踪的这些设备的位置和取向。所述跟踪数据然后可以被提供到本发明的计算单元，其处理这些数据以生成所述叠加图像。在所述腹腔镜和所述超声设备的位置和取向数据应当由深度感测设备提供的情况下，该成像设备的视场足够宽以包括腹腔镜和超声仪器两者，如例如在图2中所描绘的。
根据本发明的另一示范性实施例，所述计算设备被配置用于基于所提取的深度线索信息来确定叠加图像中的交叠/闭塞的形式和定位。所述计算设备还被配置用于调整所述超声图像和/或所述腹腔镜图像，使得交叠/闭塞在所述叠加图像中被可视化。当在腹腔镜期间应用所计算的叠加图像作为导航支持时，在叠加图像中将这样的现实交叠/闭塞显示给所述用户还可以改进所述用户的3维感知。基于在所述深度图像中所示的对象距所述深度感测设备的距离，所述计算设备可以计算所述叠加图像中的哪个对象必须与哪个其他对象交叠，以便向所述用户给出交叠的现实印象。基于该信息，所述计算设备然后可以计算相应深度线索必须如何被示出在所生成的叠加图像中。在图10中描绘了其示范性实施例。
根据另一示范性实施例，所述超声图像将超声平面中的感兴趣对象的截面可视化。此外，所述计算设备被配置用于计算所述叠加图像中的所述感兴趣对象中的孔的形式和位置。也可以包括腹腔镜图像和/或超声图像的对应的调整。在所述叠加图像中将这样的孔显示给用户还可以改进用户的3维感知。这样的孔可以具有不同的形式，如例如在图8和图9的背景下所描述的矩形形式。在叠加图像中示出的孔可以从所述感兴趣对象的表面延伸到所述感兴趣对象的内部部分中。这促进所述超声图像(其被交叠在所述腹腔镜图像之上)在显示所述感兴趣对象的内部部分的背景之前被示出。由于在由所述超声图像所提供的截面视图中还描绘了所述感兴趣对象的该内部部分，因此呈现了具有深度线索的叠加图像。
根据本发明的另一示范性实施例，所述计算设备被配置用于沿着超声平面虚拟地切割所述感兴趣对象并且用于在所述叠加图像中显示具有所得到切割的感兴趣对象。将在图6和图7的背景下描述其示范性实施例。所得的切割可以示出所述感兴趣对象的外部表面以及所述感兴趣对象的内部部分。因此，一个实施例是测量所述感兴趣对象的表面(即，器官的表面)，并且沿着超声平面虚拟地对其进行切割。这允许利用与所述感兴趣对象的外部表面的颜色不同的颜色虚拟地对所述感兴趣对象的内部部分进行着色的可能性。当使用所述叠加图像时，这还可以改进所述用户的3维感知。
根据本发明的另一示范性实施例，所述计算设备被配置用于接收关于虚拟光源的位置和范围的数据。例如，该数据可以由用户提供到所述计算设备。所述计算设备还被配置用于基于所提取的深度线索信息并且基于所述虚拟光源的位置和范围来确定所述叠加图像中的虚拟阴影的形式和定位。所述计算设备被配置用于调整所述超声图像和/或所述腹腔镜图像，使得所述人工阴影在所述叠加图像中被可视化。该实施例具体地可以与之前在本文中所解释的实施例组合，其中，所述感兴趣对象沿着所述超声平面被虚拟地切割。计算并且显示切割的区域中的这样的人工阴影(例如，在图7中所示的人工阴影701)还可以改进用户的3维感知。
根据本发明的另一示范性实施例，所述计算设备被配置用于从所述深度图像提取所述腹腔镜的空间位置和取向和所述超声图像的空间位置和取向。此外，所述计算设备被配置用于将所述腹腔镜的所提取的空间位置和所提取的取向和所述超声设备的所提取的空间位置和所提取的取向变换到公共坐标系中。配准坐标系的主要原理通常是技术人员已知的。本发明的计算设备可以具体地被配置为计算这样的配准，如从现有技术已知的，例如，从IGSTK图像引导的手术工具箱-开源C++软件库(由Kevin Cleary，Patrick Cheng，Andinet Enquobahrie，Ziv Yaniv编辑的，Insight Software Consortium 2009)已知的，或者从J.Yanof，C.Bauer，S.Renisch，J.Krücker，J.Sabczynski，Image-Guided Therapy(IGT):New CT and Hybrid Imaging Technologies,in Advances in HealthcareTechnology(由G.Spekowius，T.Wendler编辑的，Springer，2006)已知的。
根据本发明的另一示范性实施例，所述计算设备被配置用于接收关于头戴式增强现实设备的位置的数据。所述计算设备还被配置用于将所述头戴式增强现实设备的位置与公共坐标系共配准。所述计算设备还被配置用于将所述叠加图像发送到头戴式增强现实设备。因此，如果这些设备的位置还被捕获并且与如之前在本文中所提到的公共坐标系共配准，则叠加图像还可以被显示在由操作人员穿戴的头戴式现实设备上。另一选项是在诸如被定位在用户的视场中的平板计算机的设备上显示所述叠加图像。在后者情况下，用户的眼睛位置和注视方向两者以及所述显示设备的定位和取向由相应的设备或者由用户提供并且通过所述计算单元与之前所描述的公共坐标系共配准。
根据本发明的另一方面，呈现了一种用于将腹腔镜图像与超声图像进行叠加的程序单元。
所述计算机程序单元可以是计算机程序的部分，但是其还可以是整个程序自身。例如，所述计算机程序单元可以被用于更新已经存在的计算机程序以到达本发明的该方面。
根据本发明的另一方面，呈现了一种在其上存储计算机程序单元的计算机可读介质，所述计算机程序单元用于将腹腔镜图像与超声图像进行叠加。
计算机可读介质可以被看作存储介质，诸如例如USB棒、CD、DVD、数据存储设备、硬盘或者可以在其上存储如上文所描述的计算机程序单元的任何其他介质。
根据本发明的另一方面，呈现了一种包括深度感测成像设备的套管针。所述深度感测成像设备可以被附接到所述套管针的外部表面，其通常被插入到腹内工作空间中。在另一实施例中，所述套管针包括其壳体内部的深度感测成像设备。在实施例中，所述套管针与本发明的计算设备一起可以被组合在系统中。涉及包括所述深度感测成像设备的所述套管针的本发明的方面可以明确地与在本文中所提到的本发明的每个其他实施例组合。所述套管针的深度感测成像设备可以有线或者无线地与本发明的计算设备连接。所述计算设备然后可以执行如本文所描述的本发明的方法。
其可以被看作本发明的方面：使用从腹腔镜深度感测成像设备的深度图像收集的深度信息来生成包括超声图像和腹腔镜图像的叠加图像。这可以增强示出给用户的所述叠加图像的3维感知。由于所述超声示出来自所述感兴趣对象内的信息，而所述腹腔镜示出所述感兴趣对象的表面，因此如现有技术中完成的腹腔镜图像之上的超声图像的本地交叠可能看起来不自然，因为未考虑深度线索。与此相反，本发明允许显示在相对于所述腹腔镜图像在空间中与正确深度线索正确地对齐的所述超声图像。
本发明的这些和其他特征将参考下文所描述的实施例而变得显而易见并且得到阐述。
附图说明
将在以下附图中描述本发明的示范性实施例。相同附图标记被用于以下附图中所示的相似或者相同的元件。
图1示意性地示出了根据本发明的方面的将腹腔镜图像与超声图像进行叠加的方法的流程图；
图2示意性地示出了具有用于将腹腔镜图像与超声图像进行叠加的计算设备以及腹腔镜、超声设备和深度感测设备的设置；
图3示意性地示出了来自腹腔镜的真实视图；
图4示意性地示出了在没有透明模式的情况下具有位置正确交叠的腹腔镜图像与超声图像的叠加图像；
图5示意性地示出了具有透明交叠、透明模式和超声图像的正确位置的腹腔镜图像与超声图像的叠加图像；
图6示意性地示出了具有虚拟切割平面的叠加图像；
图7示意性地示出了具有虚拟切割平面并且具有人工阴影的叠加图像；
图8示意性地示出了在没有透明模式并且没有人工阴影的情况下具有孔的叠加图像；
图9示意性地示出了在透明模式和具有人工阴影的情况下具有孔的叠加图像。
图10示意性地示出了具有作为场景中的额外对象的抓紧器和作为深度线索信息的抓紧器与超声图像之间的交叠的叠加图像。
具体实施方式
图1示意性地示出了根据本发明的方面的将腹腔镜图像与超声图像进行叠加的方法。在第一步骤S1中，提供了腹腔镜的腹腔镜图像。在步骤S2中呈现了提供超声设备的超声图像。在步骤S3中提供了深度感测设备的深度图像。通过步骤S4在图1中示出了从所提供的深度图像提取深度线索信息。在步骤S5中，所提取的深度线索信息被用于将腹腔镜图像与超声图像进行叠加以生成叠加图像。该方法可以由如上文和下文所呈现的计算设备执行。根据本发明的若干其他方法实施例，若干不同的方法步骤可以被添加到图1的该方法。例如，如上文所描述的，确定阴影和/或闭塞的形式和定位可以是方法实施例的部分。而且，调整超声图像和/或腹腔镜图像的步骤是可能的另外的方法步骤。在另一方法实施例中，虚拟地沿着超声平面切割感兴趣对象并且显示具有叠加图像中的所得的切割的感兴趣对象是另外的方法步骤。在另一实施例中，虚拟地利用与感兴趣对象的外部表面的颜色不同的颜色对感兴趣对象的内部部分进行着色的步骤是额外方法步骤。
之前所描述的方法实施例可以与从深度图像提取腹腔镜和超声设备的空间位置和取向的步骤组合。此外，通过计算单元将腹腔镜的所提取的空间位置和所提取的取向和超声设备的所提取的空间位置和所提取的取向变换到公共坐标系中可以是图1的方法的补充实施例的部分。具体地，这样的提取和变换可以通过处理深度感测设备的实时图像馈送由计算设备完成。图1的方法可以当在图2的背景下使用在下文中所描述的计算设备时被执行。
图2示意性地示出了设置200，其中，根据本发明的示范性实施例的计算设备207被使用。图2示出了腹部表面201以及腹腔镜202、超声成像设备203和深度感测设备204。在图2中也示出了由超声设备203所生成的超声图像205。在该实施例中深度感测设备204的视角206足够宽以包括腹腔镜和超声仪器两者。因此，由设备204所生成的深度图像包括关于腹腔镜202和超声设备203的空间位置和取向的数据。因此，计算设备207可以被配置用于提取每个设备的空间位置和每个设备的取向，并且还可以被配置用于将所提取的位置和所提取的取向变换到公共坐标系中。计算设备207还可以被配置为将叠加图像发送到显示器208。在本发明的该实施例和每个其他实施例中，计算设备207可以被提供有腹腔镜图像的透视相对于超声图像的透视并且相对于深度图像的透视如何的信息。该信息可以从例如深度图像提取，而且可以使用其他模块，如跟踪腹腔镜、超声设备和/或深度感测设备的位置和取向的传感器。
计算设备207可以被配置用于扭曲超声图像以适合腹腔镜的焦距和图像失真。来源于其的技术效应是由使用在腹腔镜中的光学元件引起的光学磨损或者光学误差的校正。
图3示意性地示出了腹腔镜的真实图像300，其中，腹腔镜超声设备301被描绘在感兴趣对象(例如，器官)的表面302之上。由于光源被附接到腹腔镜，因此阴影303也被包括。除图3之外，图4示意性地示出了具有叠加超声图像401的腹腔镜的透视中的叠加图像400。该叠加图像400可以由根据本发明的计算设备生成。超声图像401被示出在相对于感兴趣对象的表面302和相对于超声图像301的正确位置处，因为来自深度感测设备的深度图像的数据被用于通过该实施例的计算设备来生成该交叠。在腹腔镜相机的校准之后，其相机参数是已知的。这允许计算具有已知形状的对象到腹腔镜的图像中的投影。在超声的校准之后，对于超声图像的每个像素而言已知其来自于相对于超声扫描头部的空间中的哪个位置。因此，能够计算超声图像的像素到腹腔镜图像中的投影。这允许位置正确交叠。此外，本发明的计算设备可以然后计算如本文所描述的不同的深度线索(例如，被用在图5至图10的实施例中的深度线索)，并且因此修正图4的图像。
图5示出了由根据本发明的实施例的计算设备所计算的叠加图像500。在该实施例中，超声图像501在透明模式中被提供，即作为腹腔镜图像之上的透明交叠，从而增强深度效应。当使用该叠加图像时，这还可以增加用户的3维感知。因此，可以理解，针对透明模式，本发明的计算设备可以将原始不透明US图像数据(参见图4)关于完全透明处的最大值调节为或多或少透明，即，不可见US图像。此外，深度线索可以被添加到如之前和下文已经描述的图5的图像。
根据另一示范性实施例，图6示出了由本发明的计算设备的实施例所生成的叠加图像600。图6的叠加图像600示出了由计算设备计算的虚拟切割平面。切割从感兴趣对象的表面302范围，如借助于深度感测成像设备所确定的，并且由暗表面601可视化。
因此，本发明的对应的实施例的计算设备被配置用于沿着US图像602的超声平面虚拟地切割感兴趣对象。对象表面302与虚拟切割平面之间的边界使用来自深度感测成像设备的深度图像来确定。
此外，计算设备被配置用于利用与感兴趣对象的外部表面的颜色不同的颜色虚拟地对感兴趣对象的内部部分进行着色。如可以从图6收集的，与由暗表面601图形地表示的感兴趣对象的内部部分相比较，表面302以不同的颜色被示出。通过提供该虚拟切割和感兴趣对象的内部部分的着色，超声图像602以更直观的方式被交叠在腹腔镜图像之上。
在另一示范性实施例中，叠加图像700由根据本发明的计算设备生成。在该实施例中，除图6的实施例之外，叠加图像700包括切割被定位在其中的区域中的人工阴影701。因此，生成叠加图像的本发明的实施例的计算单元被配置用于基于所提取的深度线索信息并且基于人工光源的位置和范围，确定叠加图像700中的人工阴影701的形式和定位。人工光源的位置和范围可以由用户提供。计算设备然后调整超声图像和/或腹腔镜图像，使得人工阴影701在叠加图像700中被可视化。
图8示出了由本发明的实施例的计算设备所生成的另一交叠图像800。叠加图像800示出了感兴趣对象中的孔801。本发明的该实施例的计算设备已经计算了孔801的形式和位置。超声图像803与孔801交叠。叠加图像800未示出透明模式中的超声图像803并且不包括人工阴影。
孔的“周缘”由计算设备计算，所述计算设备计算被附接到超声的“框”与如由深度感测相机所测量的感兴趣器官的表面的交叉。框的每侧可以不同地被着色以便提供孔内部的现实阴影效应。在孔的周缘内，原始腹腔镜图像的所有像素由计算设备删除。
图9示意性地示出了由根据本发明的示范性实施例的计算设备所生成的另外的叠加图像900。在叠加图像900中，超声图像902示出了在超声设备301之下并且在孔905的右侧904处的人工阴影901。还以透明模式提供了超声图像，使得在叠加图像900中仍然可以看到超声图像的下部分903。这与图8非常类似。在孔的周缘内部，原始腹腔镜图像的所有像素完全透明/由计算设备删除，而在孔的周缘的外部，使腹腔镜图像透明，因此示出孔的壁。
图10示意性地示出了叠加图像1000，其中，抓紧器1001被示出为额外的对象。基于从深度图像提取的深度信息，本发明的实施例的计算设备计算抓紧器1001与超声图像1002的位置相比较具有距腹腔镜的更短的距离。因此，抓紧器1001与超声图像1002交叠，使得现实直观叠加图像1000可以被呈现给用户。

Claims (14)

1.一种用于将腹腔镜图像与超声图像进行叠加的计算设备，
其中，所述计算设备被配置为接收腹腔镜的腹腔镜图像，
其中，所述计算设备被配置为接收超声设备的超声图像，
其中，所述计算设备被配置为接收深度感测成像设备的深度图像，其中，所述深度图像包括定义感兴趣对象的表面的数据，
其中，所述计算设备被配置为基于所述感兴趣对象的所述表面的位置从所述深度图像提取深度线索信息，
其中，所述计算设备被配置为使用所提取的深度线索信息来将所述腹腔镜图像与所述超声图像进行叠加以生成叠加图像，并且
其中，所述计算设备被配置为基于所生成的深度线索信息来计算深度线索并在所述叠加图像中对深度线索进行可视化。
2.根据权利要求1所述的计算设备，
其中，所述计算设备被配置为基于所提取的深度线索信息来确定要在所述叠加图像中可视化的阴影的形式和定位。
3.根据权利要求1或2所述的计算设备，
其中，所述计算设备被配置为基于所提取的深度线索信息来确定要在所述叠加图像中可视化的闭塞的形式和定位。
4.根据权利要求1或2所述的计算设备，
其中，所述超声图像将超声平面中的所述感兴趣对象的截面可视化，
其中，所述计算设备被配置为计算要在所述叠加图像中可视化的所述感兴趣对象中的孔的形式和位置。
5.根据权利要求1或2所述的计算设备，
其中，所述超声图像将超声平面中的所述感兴趣对象的截面可视化，
其中，所述计算设备被配置用于沿着所述超声平面虚拟地切割所述感兴趣对象并且用于在所述叠加图像中显示具有所得的切割的所述感兴趣对象。
6.根据权利要求5所述的计算设备，
其中，具有所得的切割的叠加图像示出了所述感兴趣对象的外部表面和所述感兴趣对象的内部部分，并且
其中，所述计算设备被配置为利用与所述感兴趣对象的所述外部表面的颜色不同的颜色虚拟地对所述感兴趣对象的所述内部部分进行着色。
7.根据权利要求1或2所述的计算设备，
其中，所述计算设备被配置为接收关于虚拟光源的位置和范围的数据，
其中，所述计算设备被配置为基于所提取的深度线索信息并且基于所述虚拟光源的所述位置和所述范围来确定所述叠加图像中的人工阴影的形式和定位，并且
其中，所述计算设备被配置为对所述超声图像和/或所述腹腔镜图像进行调整，使得所述人工阴影在所述叠加图像中被可视化。
8.根据权利要求1或2所述的计算设备，
其中，所述深度图像包括关于所述腹腔镜的空间位置和/或取向的数据，并且
其中，所述深度图像包括关于所述超声设备的空间位置和/或取向的数据。
9.根据权利要求8所述的计算设备，
其中，所述计算设备被配置为从所述深度图像数据提取所述腹腔镜的所述空间位置和所述取向以及所述超声设备的所述空间位置和所述取向，并且
其中，所述计算设备被配置为将所述腹腔镜的所提取的空间位置和所提取的取向以及所述超声设备的所提取的空间位置和所提取的取向变换到公共坐标系中。
10.根据权利要求9所述的计算设备，
其中，所述计算设备被配置为接收关于头戴式增强现实设备的位置的数据，
其中，所述计算设备被配置为将所述头戴式增强现实设备的所述位置与所述公共坐标系共配准，并且
其中，所述计算设备被配置为将所述叠加图像发送到所述头戴式增强现实设备。
11.根据权利要求9所述的计算设备，
其中，所述计算设备被配置为接收关于用户的眼睛位置和注视方向的数据；
其中，所述计算设备被配置为接收计算机定位的显示设备的空间位置和取向，并且
其中，所述计算设备被配置为将所捕获的用户的眼睛位置和所捕获的注视方向以及所述计算机定位的显示设备的所捕获的空间位置和取向与所述公共坐标系共配准，并且
其中，所述计算设备被配置为将所述叠加图像发送到所述计算机定位的显示设备。
12.根据权利要求1或2所述的计算设备，
其中，所述计算设备被配置为扭曲所述超声图像以适合所述腹腔镜的焦距和图像失真。
13.一种将腹腔镜图像与超声图像进行叠加的方法，所述方法包括以下步骤：
提供腹腔镜的腹腔镜图像(S1)，
提供超声设备的超声图像(S2)，
提供深度感测成像设备的深度图像(S3)，其中，所述深度图像包括定义感兴趣对象的表面的数据，
基于所述感兴趣对象的所述表面的位置从所述深度图像提取深度线索信息(S4)，
使用所提取的深度线索信息来将所述腹腔镜图像与所述超声图像进行叠加以生成叠加图像(S5)，并且
基于所生成的深度线索信息来计算深度线索并在所述叠加图像中对深度线索进行可视化。
14.一种在其上存储有包括指令集的计算机程序产品的计算机可读介质，所述指令集用于使根据权利要求1至12中的任一项所述的计算设备执行根据权利要求13所述的方法。
CN201780017496.5A 2016-03-16 2017-03-15 用于将腹腔镜图像与超声图像进行叠加的计算设备 Active CN108778143B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16160609.0 2016-03-16
EP16160609 2016-03-16
PCT/EP2017/056045 WO2017157970A1 (en) 2016-03-16 2017-03-15 Calculation device for superimposing a laparoscopic image and an ultrasound image

Publications (2)

Publication Number Publication Date
CN108778143A CN108778143A (zh) 2018-11-09
CN108778143B true CN108778143B (zh) 2022-11-01

Family

ID=55542495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017496.5A Active CN108778143B (zh) 2016-03-16 2017-03-15 用于将腹腔镜图像与超声图像进行叠加的计算设备

Country Status (5)

Country Link
US (1) US20190088019A1 (zh)
JP (1) JP6932135B2 (zh)
CN (1) CN108778143B (zh)
DE (1) DE112017001315T5 (zh)
WO (1) WO2017157970A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262453B2 (en) 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
CN110010249B (zh) * 2019-03-29 2021-04-27 北京航空航天大学 基于视频叠加的增强现实手术导航方法、系统及电子设备
CN110288653B (zh) * 2019-07-15 2021-08-24 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、系统及电子设备
EP4181791A1 (en) 2020-07-21 2023-05-24 Bard Access Systems, Inc. System, method and apparatus for magnetic tracking of ultrasound probe and generation of 3d visualization thereof
CN217907826U (zh) * 2020-08-10 2022-11-29 巴德阿克塞斯系统股份有限公司 医学分析系统
WO2023086332A1 (en) * 2021-11-09 2023-05-19 Genesis Medtech (USA) Inc. An interactive augmented reality system for laparoscopic and video assisted surgeries
WO2024042468A1 (en) * 2022-08-24 2024-02-29 Covidien Lp Surgical robotic system and method for intraoperative fusion of different imaging modalities

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035871A1 (en) * 2000-03-30 2001-11-01 Johannes Bieger System and method for generating an image
US20090048482A1 (en) * 2007-08-14 2009-02-19 Siemens Corporate Research, Inc. Image-based Path Planning for Automated Virtual Colonoscopy Navigation
CN104013424A (zh) * 2014-05-28 2014-09-03 华南理工大学 一种基于深度信息的超声宽景成像方法
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
US20140303491A1 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN104856720A (zh) * 2015-05-07 2015-08-26 东北电力大学 一种基于rgb-d传感器的机器人辅助超声扫描系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003325514A (ja) * 2002-05-16 2003-11-18 Aloka Co Ltd 超音波診断装置
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
US8267853B2 (en) * 2008-06-23 2012-09-18 Southwest Research Institute System and method for overlaying ultrasound imagery on a laparoscopic camera display
US8690776B2 (en) * 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010035871A1 (en) * 2000-03-30 2001-11-01 Johannes Bieger System and method for generating an image
US20090048482A1 (en) * 2007-08-14 2009-02-19 Siemens Corporate Research, Inc. Image-based Path Planning for Automated Virtual Colonoscopy Navigation
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
US20140303491A1 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN104013424A (zh) * 2014-05-28 2014-09-03 华南理工大学 一种基于深度信息的超声宽景成像方法
CN104856720A (zh) * 2015-05-07 2015-08-26 东北电力大学 一种基于rgb-d传感器的机器人辅助超声扫描系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Optimum shadow-casting illumination for endoscopic task performance;Rajineesh K. Mishra 等;《Archives of Surgery》;20040831;第139卷(第8期);第889-892页 *

Also Published As

Publication number Publication date
JP6932135B2 (ja) 2021-09-08
US20190088019A1 (en) 2019-03-21
JP2019508166A (ja) 2019-03-28
WO2017157970A1 (en) 2017-09-21
DE112017001315T5 (de) 2018-11-22
CN108778143A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108778143B (zh) 用于将腹腔镜图像与超声图像进行叠加的计算设备
JP6698824B2 (ja) 画像表示制御装置および方法並びにプログラム
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5380348B2 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US20140022283A1 (en) Augmented reality apparatus
US20070236514A1 (en) Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US20190051039A1 (en) Image processing apparatus, image processing method, program, and surgical system
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
EP3150124B1 (en) Apparatus and method for augmented visualization employing x-ray and optical data
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
Ma et al. Moving-tolerant augmented reality surgical navigation system using autostereoscopic three-dimensional image overlay
KR20210146283A (ko) 부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성
US20220215539A1 (en) Composite medical imaging systems and methods
US9911225B2 (en) Live capturing of light map image sequences for image-based lighting of medical data
US10631948B2 (en) Image alignment device, method, and program
EP4322114A1 (en) Projective bisector mirror
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
US20230277035A1 (en) Anatomical scene visualization systems and methods
Sauer et al. Augmented reality visualization for thoracoscopic spine surgery
Liao et al. Development and evaluation of a medical autostereoscopic image integral videography for surgical navigation
JP2023552781A (ja) 物体の視覚化
Wagner Augmented Reality for Spatial Perception in the Computer Assisted Surgical Trainer
Gonzalez Garcia Optimised Calibration, Registration and Tracking for Image Enhanced Surgical Navigation in ENT Operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant