CN112740666A - 自动手术机器人视觉系统中多模态感测深度的系统和方法 - Google Patents

自动手术机器人视觉系统中多模态感测深度的系统和方法 Download PDF

Info

Publication number
CN112740666A
CN112740666A CN201980061357.1A CN201980061357A CN112740666A CN 112740666 A CN112740666 A CN 112740666A CN 201980061357 A CN201980061357 A CN 201980061357A CN 112740666 A CN112740666 A CN 112740666A
Authority
CN
China
Prior art keywords
depth
weight
image
calculating
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061357.1A
Other languages
English (en)
Inventor
托马斯·J·卡列夫
蒂娜·P·陈
伊曼纽尔·德马约
托尼·陈
瓦西里·叶夫根耶维奇·布哈林
迈克尔·G·吕尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecotifer Surgical Co
Activ Surgical Inc
Original Assignee
Ecotifer Surgical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecotifer Surgical Co filed Critical Ecotifer Surgical Co
Publication of CN112740666A publication Critical patent/CN112740666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/062—Measuring instruments not otherwise provided for penetration depth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3933—Liquid markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

公开了用于多模式感测对象的表面的三维位置信息的系统和方法。具体地，多个可视化模态均用于收集对象表面的独特位置信息。使用加权因子组合每个计算的位置信息，以计算最终的加权三维位置。在各种实施方式中，可以使用基准标记来记录第一深度，可以使用结构化的光图案来记录第二深度，并且可以使用光场相机来记录第三深度。可以将加权因子应用于所记录的每个深度，并且可以计算最终的加权深度。

Description

自动手术机器人视觉系统中多模态感测深度的系统和方法
相关申请的交叉引用
本申请要求于2018年7月19日提交的美国临时申请号62/700,700的权益，其全部内容通过引用合并于此。
背景技术
本公开的实施方式总体上涉及对象的表面的三维位置信息的多模态感测。
发明内容
根据本公开的实施方式，提供了用于确定对象上的三维坐标的系统、方法和计算机程序产品。在该方法中，记录图像。图像包括对象，设置在对象上的第一多个标记，设置在对象上的第二多个标记以及设置在对象上的第三多个标记。使用图像和第一多个标记来计算第一深度。使用图像和第二多个标记来计算第二深度。使用图像和第三多个标记来计算第三深度。将第一权重分配给第一深度，将第二权重分配给第二深度，并且将第三权重分配给第三深度。基于第一深度、第二深度、第三深度、第一权重、第二权重和第三权重来计算加权平均深度。
在各种实施方式中，提供了一种用于确定对象上的三维坐标的系统。该系统包括成像设备和计算节点，该计算节点包括计算机可读存储介质，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由计算节点的处理器执行以使处理器执行其中成像设备记录图像的方法。图像包括对象，设置在对象上的第一多个标记，设置在对象上的第二多个标记以及设置在对象上的第三多个标记。使用图像和第一多个标记来计算第一深度。使用图像和第二多个标记来计算第二深度。使用图像和第三多个标记来计算第三深度。将第一权重分配给第一深度，将第二权重分配给第二深度，并且将第三权重分配给第三深度。基于第一深度、第二深度、第三深度、第一权重、第二权重和第三权重来计算加权平均深度。
在各种实施方式中，提供了一种计算机程序产品，用于确定对象上的三维坐标。该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由处理器执行以使处理器执行其中记录图像的方法。图像包括对象，设置在对象上的第一多个标记，设置在对象上的第二多个标记以及设置在对象上的第三多个标记。使用图像和第一多个标记来计算第一深度。使用图像和第二多个标记来计算第二深度。使用图像和第三多个标记来计算第三深度。将第一权重分配给第一深度，将第二权重分配给第二深度，并且将第三权重分配给第三深度。基于第一深度、第二深度、第三深度、第一权重、第二权重和第三权重来计算加权平均深度。
在各种实施方式中，提供了用于确定对象上的三维坐标的系统、方法和计算机程序产品。在该方法中，记录图像。图像包括对象，设置在对象上的第一多个标记以及设置在对象上的第二多个标记。使用图像和第一多个标记来计算第一深度。使用图像和第二多个标记来计算第二深度。将第一权重分配给第一深度，将第二权重分配给第二深度。基于第一深度、第二深度、第一权重和第二权重来计算加权平均深度。
在各种实施方式中，提供了一种集成手术设备，其包括：具有近端和远端的内窥镜；光学耦合到内窥镜的远端的成像设备；以及计算节点，该计算节点包括计算机可读存储介质，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由计算节点的处理器执行以使处理器执行其中记录图像的方法。图像包括对象，设置在对象上的第一多个标记，设置在对象上的第二多个标记以及设置在对象上的第三多个标记。使用图像和第一多个标记来计算第一深度。使用图像和第二多个标记来计算第二深度。使用图像和第三多个标记来计算第三深度。将第一权重分配给第一深度，将第二权重分配给第二深度，并且将第三权重分配给第三深度。基于第一深度、第二深度、第三深度、第一权重、第二权重和第三权重来计算加权平均深度。
附图说明
图1示出了根据本公开的实施方式的具有基准标记的表面的示例性图像，其中该图像可以用作基线图像。
图2示出了根据本公开的实施方式的表面的示例性图像，该表面具有覆盖基线图像的结构化光标记的矩阵。
图3A示出了根据本公开的实施方式的模拟生物组织的示例性图像。
图3B示出了根据本公开的实施方式的模拟生物组织的深度图的示例性图像。
图4A示出了根据本公开的实施方式的具有应用至表面的造影剂的模拟生物组织的示例性图像。
图4B示出了根据本公开的实施方式的具有应用至表面的造影剂的模拟生物组织的深度图的示例性图像。
图5示出了根据本公开的实施方式的对组织进行成像的3D表面成像系统。
图6示出了图示根据本公开的实施方式的3D表面成像系统的图。
图7示出了根据本公开的实施方式的用于确定对象上的三维坐标的方法的示例性流程图。
图8示出了根据本公开的实施方式的分析传感器及其规格的表格。
图9A至图9C示出了根据本公开的实施方式的传感器偏置的结果的曲线图。
图10A至图10C示出了根据本公开的实施方式的传感器精度的结果的曲线图。
图11示出了根据本公开的实施方式的各种传感器的横向噪声的表格。
图12A至图12D示出了根据本公开的实施方式的针对不同材料和照明条件(越低越好)的精度比的曲线图。
图13A示出了根据本公开的实施方式的在多传感器设置(其中指标代表到目标的距离)中的精度的曲线图，并且图13B示出了在多传感器设置中的nan比(nan ratio)(越低越好)的曲线图。
图14A至图14C示出了根据本公开的实施方式的附加传感器的影响的曲线图。
图15示出了根据本公开的实施方式的示例性计算节点的示意图。
具体实施方式
准确辨别目标对象(例如，生物组织)的三维位置信息(X，Y，Z)的能力是自动手术机器人系统的必要和关键要求。一种方法是使用直接附着到对象表面的已知大小和形状的基准标记来确定有关该表面的位置信息；然而，使用基准标记的任何方法的空间分辨率都限于应用于组织的基准的数目。基准标记必须足够大，以使计算机视觉系统能够检测到，而且还必须足够小，以最大化其所附着到的表面的空间分辨率。由于这些矛盾的要求，基准标记提供的空间分辨率存在上限，尤其是在外科手术环境中，其中自动外科手术机器人系统可能在小的狭窄空间中操作。
许多外科手术(例如，缝合)需要外科手术工具的高度灵巧和高精度的运动以实现令人满意的外科手术结果。在没有积极的人为控制的全自动机器人手术过程中，由机器人控制的手术工具的准确性高度依赖于计算机视觉系统的空间分辨率。由于手术结果在很大程度上依赖于指导机器人工具的计算机视觉系统的位置精度，因此在全自动机器人手术过程中，手术部位的空间分辨率甚至更为重要。仅使用基准标记来引导全自动手术机器人并不能提供手术部位足够的空间分辨率来确保令人满意的结果。
因此，需要一种系统和方法，该系统和方法能够以高分辨率精确且可靠地感测位置信息，该高分辨率能够进行准确的手术计划和执行，从而改善启用机器人辅助手术的可能性。
本公开的实施方式总体上涉及对象表面的三维位置信息的多模态感测。具体地，本公开描述了用于收集对象表面的独特位置信息的多个可视化模态，然后使用加权因子将其组合以计算最终的三维位置。尽管本公开总体上集中于感测相对于自动手术机器人的三维位置，但是该系统、方法和计算机程序产品适用于采用计算机视觉技术来识别三维位置的其他领域，例如虚拟现实应用或增强现实应用。
用于确定对象(例如，生物组织)的表面上的三维坐标的系统通常包括用于建立对象的基线图像的第一成像系统。可以使用例如附着到对象表面的一系列基准标记来建立基线图像，以产生对象表面的位置信息。例如，基准标记可以经由喷雾应用器(例如，喷射导管)放置在组织的表面上。通常，基准标记是可以被计算机视觉系统识别以确定关于其附着到的表面的特定位置信息的特定标记。基准标记的非限制性示例可以包括符号(例如，字母数字)，图案(例如，QR码)，液体(例如，红外墨水)或物理形状(2D或3D)。此位置信息可用于映射对象的表面，并在三维上创建该表面的计算机模拟。基准标记可以以具体的图案(例如，网格图案)或非具体的图案(例如，随机放置)附着到对象。
在各种实施方式中，基准标记通过注射器针头以液态应用到目标组织。将液体标记应用于靶组织具有许多优点。第一，可以将标记现场混合，这样提高了标记的稳定性。第二，液体标记允许精确控制目标组织的位置和应用。第三，标记可以作为任何不规则形状应用。通过使用注射器应用液体标记，冲洗的手术区域引起放热反应，从而将标记以圆形形状固化到目标组织。圆形标记可以有助于在外科手术过程中追踪目标组织上的单个关注点。
在各种实施方式中，诸如注射器针头或毡尖的标记尖端可用于以线性图案分配基准标记。通过将基准标记用作连续线，可以使用标记在目标组织上定义边界。定义边界可能有助于识别患病组织的区域或不应执行手术过程的区域。在又一实施方式中，可以在聚合时将液体标记喷雾到目标组织上以创建斑点图案。斑点图案可能是令人感兴趣的，以彼此定义组织的大区域。在一个示例中，可以对背景组织进行斑点处理以将其与前景组织进行区分。机器人或半自主工作流中的其他组件可以使用背景和前景信息来计划或控制其运动或建议。
在其他实施方式中，可以通过预定掩模应用液体标记，以将任何随意和预定形状的标记应用在目标组织上。
为了使用基准标记来获取对象的表面的位置信息，第一成像系统可以包括一个或多个相机(例如，一个、两个、三个、四个或五个)。在各种实施方式中，一个或多个相机可以包括立体相机。在各种实施方式中，立体相机可以由两个单独的相机实现。在各种实施方式中，两个分开的相机可以彼此相距预定距离设置。在各种实施方式中，立体相机可以位于外科手术器械(例如，腹腔镜、内窥镜等)的最远端。相机可以相对于已知参考(例如，基准的已知尺寸和形状)交叉参考每个基准标记的检测位置，以确定每个基准标记的位置信息(例如，深度)。本文所使用的位置信息通常可以在三维坐标系中定义为(X，Y，Z)。
一个或多个相机可以是例如红外相机，其发射红外辐射并检测所发射的红外辐射的反射。在其他实施方式中，一个或多个相机可以是本领域已知的数字相机。在其他实施方式中，一个或多个相机可以是全光相机。如下面更详细描述的，一个或多个相机可以连接到计算节点。
除了基准标记跟踪，本公开还通过并入其他可视化模态以改进所得位置信息的准确性，从而在仅采用基准标记的单模方法上进行了改进。第二成像系统可以被用于单独地或与本文所述的其他成像系统组合地生成对象的表面的位置信息(例如，在使用第一成像系统记录基线图像并且针对每个基准标记获取位置信息之后)。从结构化光源投影的结构化图案当投影在表面上时可以改变图案特征的形状、大小和/或间距。在给定由第二成像系统存储的已知图案的情况下，第二成像系统可以检测到这些改变并基于对结构化光图案的改变来确定位置信息。例如，第二成像系统可以包括结构化光源(例如，投影仪)，该结构化光源将线的特定结构化图案(例如，点矩阵或系列条纹)投影到对象的表面上。线的图案会产生照明线，该照明线从源头以外的其他角度来看都是扭曲的，并且这些线可用于表面形状的几何重构，从而提供有关对象表面的位置信息。
第二成像系统可以包括一个或多个相机(例如，一个、两个、三个、四个或五个)，其能够检测来自结构化光源的投影图案。一个或多个相机可以是本领域中已知的数字相机，并且可以是与第一成像系统一起使用的相同或不同的相机。如下面更详细描述的，一个或多个相机可以连接到计算节点。使用来自一个或多个相机的图像，计算节点可以计算沿对象的表面的任何合适数目的点的位置信息(X，Y，Z)，从而生成表面的深度图。
第三成像系统可以用于生成物体表面的附加位置信息。第三成像系统可以包括一个或多个相机，例如，光场相机(例如，全光相机)，并且可以是与用于第一成像系统和第二成像系统的相机相同或不同的相机。通过具有适当的缩放和聚焦深度设置，全光相机可用于生成对象表面的准确位置信息。
可以根据本公开使用的一种类型的光场(例如，全光)相机使用放置在其他常规图像传感器前面的微透镜阵列来感测强度、颜色和方向信息。多相机阵列是另一种类型的光场相机。“标准全光相机”是研究人员用来比较不同类型的全光(或光场)相机的标准化数学模型。按照定义，“标准全光相机”具有距离传感器的图像平面一焦距长度的微透镜。研究表明，其最大基线被限制于主镜头入射光瞳尺寸，与立体设置相比，该尺寸被证明较小。这意味着“标准全光相机”可用于近距离应用，因为其在非常近距离处显示出较高的深度分辨率，这可以根据相机的参数进行度量预测。可以使用其他类型/定位的全光相机，例如聚焦全光相机，编码光圈相机和/或带全光的立体相机。
一旦使用第一成像系统、第二成像系统和第三成像系统产生了位置信息，就可以通过计算三个成像系统的加权平均来计算组合位置。如以下等式1中所示，可以通过从三个成像系统中的每一个产生的深度的加权平均来计算组合像素深度。
Figure BDA0002982687280000081
在等式1中，CM表示分配给第一成像系统(例如，基于标记的系统)的权重，CSL表示分配给第二成像系统(例如，基于结构化光的系统)的权重，CP表示分配给第三成像系统(例如，基于结构化光的系统)的权重，DepthM表示从第一成像系统产生的像素的深度，DepthSL表示从第二成像系统产生的像素的深度，以及Depthp表示从第三成像系统产生的像素的深度。在各种实施方式中，每个权重可以是零(0)和一(1)之间的值，并且所有权重值的总和可以加起来为一(1)。
在各种实施方式中，分配给第一成像系统的权重CM可以等于分配给第二成像系统的权重CSL和分配给第三成像系统的权重CP。在其他实施方式中，分配给第二成像系统的权重CSL大于分配给第一成像系统的权重CM和/或分配给第三成像系统的权重CP。在又一个实施方式中，分配给第三成像系统的权重CP大于分配给第一成像系统的权重CM和/或分配给第二成像系统的权重CSL。
在各种实施方式中，可以基于以所使用的成像系统的类型为基础选择的一个或多个因素来确定等式1中的每个变量的权重。例如，如果使用光场成像，则因素可以包括：(1)图像中的对比度量，(2)饱和像素的数目(可用于测量光强度)和(3)图像的特定区域的深度的局部变化。高权重值可以对应于在场景内具有高对比度，几乎没有饱和像素以及深度的局部变化小的图像。
在另一示例中，如果使用结构化光成像，则因素可以包括：(1)识别出的图案量和(2)饱和像素数。高权重值可以对应于具有被识别的大部分或全部图案并且几乎没有饱和像素的图像。
在又一示例中，如果使用基准标记，则因素可以包括(1)饱和像素的数量，(2)识别基准标记的形状/大小的能力以及(3)区分基准标记与周围环境的能力。高权重值可能对应于具有几乎没有饱和像素的图像，识别大多数或所有基准标记的能力以及区分基准与周围环境的能力。
在各种实施方式中，本文描述的两个成像模态的任何组合可以用于计算对象的表面的第一深度和第二深度。在该实施方式中，两个成像模态中的每一个可以具有各自的加权因子，该加权因子被应用于由该特定模态确定的深度。在各种实施方式中，两个加权因子可以加起来为一。在各种实施方式中，以与以上在等式1中描述的类似的方式来计算像素深度函数，但是相比之下，两个模态的像素深度仅取决于两个加权深度计算(而不是三个)。
在各种实施方式中，与每个成像系统相关联的权重可以取决于特定成像系统的整体质量。例如，一个特定的成像系统总体上可以提供比另一成像系统更准确的数据。在该示例中，与从具有较低精度的成像系统接收的数据相比，具有较高精度的成像系统接收的数据将被赋予较高的权重。在各种实施方式中，各种成像系统的精度和/或精确度可取决于距离要成像的对象的距离，要成像的材料和/或操作环境的照明。在各种实施方式中，各种成像系统的精度和/或精确度可能取决于成像系统在视场中的位置，例如，第一成像系统在视场中心具有较高的精度，并且朝向边缘快速下降，而另一成像系统在整个视场中可能具有一致的精度。
在Halmetschlager-Funek等人的“An Empirical Evaluation of Ten DepthCameras(十个深度相机的经验评估)”中，可以找到有关各种传感器在不同情况下的性能的讨论，该文献整体通过引用并入本文。图8示出了Halmetschlager-Funek论文中分析传感器的表格。图9至图14图示了Halmetschlager-Funek论文中有关偏差，精确度，横向噪声，材料/照明/距离的影响以及附加传感器的影响的各种曲线图。具体地，关于偏置(如图9A至图9C所示)，该论文描述了在Kinectv2在整个范围上提供低偏置的同时，从d>3m开始观察到使用结构化光的传感器偏置的显着增加。尽管对于距离d<1m，所有三个结构化光传感器和两个主动立体相机(ZR300和D435)都提供比Kinectv2更低的偏置，但是对于深度值d＜2.5m，三个传感器(ZR300，Orbbec和Structure IO)提供更低的偏置。对于所有传感器[全范围：d＝0-8m，图9A；放大：d＝0–3m，图9B]，观察到偏置的二次方增加。近距离传感器F200和SR300[图9C]示出了比其远距离的对方略高的偏置，而Ensenso N35在整个测量范围上均提供低偏置。
关于精确度(如图10A至图10C所示)，在所有远距离传感器[全范围：d＝0-8m，图10A；放大：d＝0–3，m，图10B]中发现精确度的二次方下降，但与Kinectv2相比，结构化光传感器在比例上不同。总体而言，R200和ZR300传感器的性能最差，而Structure IO和Orbbec传感器的性能非常相似。在距离d<2m时，观察到所有结构化光传感器产生的噪声测量值均小于Kinec-tv2。此外，在距离d<1m时，D435能够比Kinectv2收集更精确的结果。观察到D435的精确度结果比其他传感器更分散。近距离传感器[图10C]遇到高达0.0007m的噪音水平。在制造商指定的范围内，可以获得0.004m以下的精确度值。
至于横向噪声(图11)，横向噪声的分析示出对于三个远距离结构化光传感器和距离的相似结果。对于d<3m，噪声水平与距离无关，其中三个像素用于结构化光传感器，一个像素用于Kinectv2(图11)。两个主动立体传感器(D435和ZR300)提供类似于Kinectv2的低横向噪声水平。对于距离小于2m，R200实现两个像素的横向噪声降低。在近距离传感器中，Ensenso N35实现最高的横向噪声值。
关于材料/照明/距离(图12A至图12D)，总共收集了384个数据点，以确定传感器的精确度如何受到六种不同材料与从4.2到535.75lux的四种不同照明条件的组合的反射和吸收特性的影响(图12A至图12D)。测试表明，Structure IO传感器可以最好地处理各种对象反射率和照明条件。尽管在距离d>1.5m时，其精确度比其他传感器低，但它能够在高反射率的表面(例如，铝)和明亮的照明条件下收集信息。虽然Structure IO传感器给出了密集的深度估计，但Xtion无法确定深度值。在明亮的照明条件下，Orbbec可能无法收集六个表面中四个表面的深度信息。Kinectv2可能无法在距离d＝1m和d＝1.5m以及在明亮的照明条件下收集铝的可靠深度数据。对于明亮的照明条件，F200和SR300传感器的精确度可能会大大降低。在实验的设置过程中，由于其技术的特性，预计主动立体相机(Ensenso和R200)比结构化光传感器能够更好地处理不同的照明条件。在图12A至图12D中，精确度为零表示传感器无法收集任何深度信息。
至于由附加传感器引起的噪声(图13A、图13B和图14A至图14C)，结果(图13A至图13B)表明远距离结构化光传感器可以处理由一个和两个附加传感器引起的噪声。当到目标的距离为d＝1.5m且将两个附加传感器引入场景时，会发生异常。Kinectv2没有观察到类似的效果。该传感器可以独立于一个或两个附加传感器来给出稳定的精确度结果。带有附加传感器的近距离传感器F200和SR300的精确度可能较低，而Ensenso N35仅受到第三观察传感器轻微影响。在这一点上，我们注意到近距离设备的高nan比可以部分地从我们的设置中得出。场景的一半超出了传感器的范围(图14A至图14C)。总之，具有一个传感器的第一实验为使用两个和三个传感器观察场景的测量提供了基线。如果仅添加一个传感器，则第一差异可能是可见的。具体地，如果将另一个Realsense设备添加到场景中，则SR300和F200传感器的nan比可能会大大提高。为了进一步分析，示出了相应的深度图像。在图14A至图14C中，很明显，深度提取受到附加传感器的严重影响。Ensenso和Kinectv2传感器可能不受其他传感器的影响。
在各种实施方式中，如上所述，从一个或多个相机接收的深度数据可以比从成像系统中的其他相机的深度数据具有较高的质量(例如，更可靠)。在各种实施方式中，深度数据的质量可以取决于成像系统外部的支持特征。例如，深度数据可以是较高质量的，因此当相机(例如，红外相机)可以清楚地读取组织上的预定数量的基准标记时，深度数据可以被赋予较高的权重。在各种实施方式中，如果相机不能读取预定数量的标记，则深度数据可以具有较低的质量，因此来自相机的深度数据可以被赋予较低的权重。在类似的示例中，当相机可以从结构化光投影仪清楚地读取结构化光图案时，由结构化光产生的深度数据可以具有较高的质量，因此被赋予较高的权重。
在各种实施方式中，与每个成像系统相关联的权重可以取决于每个像素的深度和/或质量的置信度。在各种实施方式中，由于某些成像系统在具有较高质量图像数据的图像中具有一个或多个“最佳点”，以及具有较低质量图像数据的一个或多个“死区”，因此与成像系统相关联的每个权重可在图像的像素级别进行参数化。在各种实施方式中，一个或多个(例如全部)权重可以是表示图像中的像素的二维点(x，y)的函数。在各种实施方式中，可以以本领域中已知的任何适当方式为图像中的像素分配坐标点。例如，可以为图像的左下角分配坐标(0，0)，并且可以为图像的右上角分配每个相应轴上的最大像素数量(最大x个像素，最大y个像素)。在一个示例中，一个成像系统(例如，立体相机)可以在图像的中心中具有高质量的图像数据，而在外围具有低质量的图像数据。在此特定示例中，可以为图像中心的像素分配较高的权重，并且随着像素径向远离图像中心移动，权重可以减小。在各种实施方式中，参数函数可以是连续函数。在各种实施方式中，参数函数可以是不连续函数(例如，分段函数)。在各种实施方式中，参数函数可以包括线性函数。在各种实施方式中，参数函数可以包括指数函数。
在各种实施方式中，当成像系统不能计算特定像素处的深度时，可以为该特定像素分配零权重以用于该特定成像系统(即，该特定成像系统将不会有助于确定在该特定像素处的深度)。
在各种实施方式中，成像系统可以包括立体深度感测。在各种实施方式中，当图像(或视频帧)中存在一个或多个唯一可识别的特征时，立体深度感测可能效果最好。在各种实施方式中，可以使用两个相机(例如，数字相机)来执行立体深度感测。在各种实施方式中，相机可以彼此校准。例如，可以基于等待时间，帧速率，两个相机之间的三维距离，距离成像系统的各种距离，各种照明水平，标记类型/形状/颜色等来校准成像系统。本领域已知的软件可以用于控制两个相机并实现立体深度感测。在各种实施方式中，在第一相机处捕获第一图像(或视频帧)，并且在与第一相机相距预定距离处的第二相机处捕获第二图像(或视频帧)。在各种实施方式中，在第一图像(或视频帧)和第二图像(或视频帧)之间计算像素视差。在各种实施方式中，可以从像素视差值(pixel disparity value)确定深度。在各种实施方式中，较近的对象具有较高的像素视差值，而另外的对象具有较低的像素视差值。在各种实施方式中，可以根据所确定的深度和相机校准参数来计算三维坐标(x，y，z)。在各种实施方式中，立体深度感测可以与基准标记一起使用以确定深度。
在各种实施方式中，成像系统可以包括主动立体深度感测。在各种实施方式中，投影仪可以投影在局部尺度上唯一的图案。在各种实施方式中，可以使用任何合适的图案，并且该图案不必是成像系统事先已知的。在各种实施方式中，图案可以随着时间变化。在各种实施方式中，利用投影仪的主动立体深度感测可以为非结构化环境中的无特征图像提供深度信息。
在各种实施方式中，可以将静态掩模投影到场景中的对象(例如，组织)的表面上。例如，可以将物理图案(例如，丝网)放置在光源的前面，并且可以使用透镜将光图案聚焦在表面上。
在各种实施方式中，数字微镜(DMD)投影仪可用于将图案投影在对象的表面上。在该实施方式中，光照射到微镜阵列(例如，以矩形布置的1,000,000个镜子)上。可以控制镜子以允许或阻止光进入并照亮场景。镜头可用于将光图案聚焦到场景上。在各种实施方式中，DMD投影仪可以允许可编程图案(例如，QR码、字母、圆圈、正方形等)。应当理解，使用光学超表面代替DMD可以获得类似的效果。
在各种实施方式中，可以使用扫描激光投影仪将图案投影在对象的表面上。在该实施方式中，一个或多个激光源用于将单个像素投影在表面上。高清晰度图像可以通过以高频率一次照射一个像素来创建。在各种实施方式中，使用扫描的激光投影仪可能不需要图案的聚焦。在各种实施方式中，扫描的激光投影仪可以允许可编程图案(例如，QR码、字母、圆圈、正方形等)。
在各种实施方式中，可以为立体相机开发定制算法，以检测已知的可编程图案并确定从图案被投影到的表面的深度数据。在各种实施方式中，通过确定来自第一相机的第一图像(或视频帧)与来自第二相机的第二图像(或视频帧)之间的视差值来计算深度数据。
在各种实施方式中，取决于表面的材料，预定波长的光可以被投影到对象的表面上。跨连续的光波长，不同的材料可能具有不同的吸收和/或反射特性。在各种实施方式中，选择波长以使得光从对象的最外表面反射出去。在各种实施方式中，如果选择穿透对象表面的光的波长，则所得图像可能具有褪色的外观，从而导致深度数据不准确(例如，较低的精度，较高的时空噪声)。
在各种实施方式中，成像系统可以包括干涉仪。在各种实施方式中，光源可以使用对象照亮场景，并且传感器可以测量发射光和反射光之间的相位差。在各种实施方式中，深度可以直接从传感器测量计算。在各种实施方式中，该方法可能具有较低的计算资源要求，更快的处理，在无特征场景上工作和/或在各种照明水平下工作。
在各种实施方式中，可以对包括每个像素处的计算深度的所得深度图进行后处理。深度图后处理是指深度图的处理，使其可用于特定的应用程序。在各种实施方式中，深度图后处理可以包括准确性的提高。在各种实施方式中，深度图后处理可用于加速性能和/或出于美学原因。存在许多适合与本公开的系统和方法一起使用的专门的后处理技术。例如，如果成像设备/传感器以比应用所需的技术较高的分辨率运行，则深度图的子采样可能会减小深度图的大小，从而提高吞吐量并缩短处理时间。在各种实施方式中，子采样可以是有偏差的。例如，可以对子采样进行偏置以去除缺少深度值(例如，不能被计算和/或具有零值)的深度像素。在各种实施方式中，可以使用空间滤波(例如，平滑)来减小单个深度帧中的噪声，这可以包括简单的空间平均以及非线性边缘保留技术。在各种实施方式中，可以使用来自多个帧的数据来执行时间滤波以减少时间深度噪声。在各种实施方式中，可以采用简单的或时间偏置的平均。在各种实施方式中，例如，当像素不一致地示出深度值时，可以填充深度图中的孔。在各种实施方式中，信号中的时间变化(例如，场景中的运动)可能导致模糊，并且可能需要减少和/或消除模糊的处理。在各种实施方式中，一些应用可能需要在每个像素处存在的深度值。对于这种情况，当精度不被高度重视时，可以使用后处理技术将深度图外推到每个像素。在各种实施方式中，可以使用任何适当形式的外推(例如，线性、指数、对数等)来执行外推。
在各种实施方式中，第一成像系统，第二成像系统和第三成像系统使用连接到计算节点的相同的一个或多个相机(例如，全光相机)。计算节点可以处理单个记录的图像以提取基准标记，结构化光图案和光场数据作为单独的组件。每个单独的组件可以用于计算对象表面的位置信息(例如，深度图)。可以将加权因子应用于每个计算的位置信息以计算加权平均深度。
在各种实施方式中，系统可以使用上述成像模态/系统的任何组合来确定关于组织表面的位置信息。在各种实施方式中，系统可以确定等式1中的权重值为零(0)。在这种情况下，系统使用多个成像模态/系统来获取位置数据，但是确定那些成像模态/系统中的至少一个不提供可靠的位置数据，因此在应用公式1时忽略不提供可靠数据的特定成像模态/系统。
在一些实施方式中，立体相机可以单独地或与任何上述成像系统组合地用作成像系统。
从其获得位置信息的对象可以是任何合适的生物组织。例如，对象可以是内部身体组织，例如食道组织，胃组织，小/大肠组织和/或肌肉组织。在其他实施方式中，对象可以是外部组织，例如腹部，背部，手臂，腿或任何其他外部身体部位上的真皮组织。此外，对象可以是骨骼，内部器官或其他内部身体结构。本公开的系统和方法将类似地对兽医应用中的动物起作用。
在各种实施方式中，本文描述的系统和方法可以用于任何合适的应用中，例如诊断应用和/或外科应用。作为诊断应用的示例，本文所述的系统和方法可用于结肠镜检查中以使胃肠道中的息肉成像并确定息肉的尺寸。诸如息肉的尺寸的信息可以被医疗保健专业人员用来确定患者的治疗计划(例如，手术、化学疗法、进一步的测试等)。在另一个示例中，当抽取一部分或整个内部器官时，本文所述的系统和方法可用于测量切口或孔的尺寸。作为外科手术应用的示例，本文所述的系统和方法可以用于手持式外科手术应用中，例如手持式腹腔镜手术，手持式内窥镜手术和/或其中成像和深度感测可以是必要的任何其他合适的外科应用。在各种实施方式中，本文描述的系统和方法可用于计算外科手术区域(包括组织、器官、线和/或任何器械)的深度。在各种实施方式中，本文描述的系统和方法可能能够以绝对单位(例如，毫米)进行测量。
各种实施方式可适于在胃肠道(GI)导管，例如内窥镜中使用。具体地，内窥镜可以包括雾化的喷雾器，IR源，相机系统和光学器件，机械臂和图像处理器。
在各种实施方式中，可以将造影剂应用到对象的表面，例如生物组织的表面，以提供与要通过计算机视觉系统产生三维位置信息的表面的对比度。当使用精确度与对比度和纹理直接成正比的某些可视化模态时(例如，光场成像)，可以利用造影剂向表面提供对比度。在各种实施方式中，在对软组织进行成像的情况下，表面的颜色可以基本均匀并且纹理很少。在这种情况下，可以将诸如粘附到组织(例如，浆膜)上的雾化染料的造影剂应用到组织。染料可以发荧光并提供人工对比度，以大大提高光场成像系统的精确度的水平。
当在组织的表面上使用对比度时，可以在应用造影剂之前获得校准以确定深度信息。
图1示出了具有基准标记104的表面102的示例性图像100，其中该图像可以用作基线图像。在图1中，基准标记104以液体标记的形式在表面102上提供。基准标记104以矩阵格式绘制，使得在计算节点上运行的计算机视觉系统可以识别基准标记104并从图像计算三维表面。该计算机视觉系统可以包括一个或多个相机，其记录对象的图像并将图像提供给运行计算机视觉软件的计算节点。
在各种实施方式中，计算机视觉系统为每个基准标记104产生三维位置信息(X，Y，Z)。计算机视觉系统可以进一步在基准标记104之间内插位置信息，或者可以外推以产生对象的表面102的三维模型。
图2示出了具有覆盖图1的基线图像100的结构化光标记206的矩阵的表面202的示例性图像200。结构化光标记206的矩阵为点的网格形式。结构化光标记206从结构化光源(例如，激光)投影到对象的表面202上，以便在计算节点上运行的计算机视觉系统可以识别结构化光标记206并计算来自图像的三维表面。该计算机视觉系统可以包括一个或多个相机，其记录投影到该对象上的结构化光标记206的图像，并将该图像提供给运行计算机视觉软件的计算节点。计算机视觉软件可以从以不同视角拍摄的图像分析结构化光标记206，并执行几何重构以产生表面202的位置信息。如图2所示，与图1所示的基准标记104相比，结构化光标记206的矩阵具有更多的标记，其被投影到表面202上。因此，由于存在更多的数据点，计算机视觉软件可以从其中产生表面202的三维模型，因此使用结构化光标记206三维位置信息将更精确。
图3A示出了模拟生物组织310的示例性图像，而图3B示出了同一模拟生物组织310的深度图315的示例性图像。如图3A所示，模拟生物组织310(例如，浆膜)颜色基本均匀，没有纹理，也没有人工标记。图3B中所示的深度图315表示通过模拟组织310的光场成像产生的深度图。如图3B所示，深度图315在对比度极小的区域中几乎没有或没有深度数据-即，组织310的区域远离边缘。由于模拟组织310和背景之间的对比度，深度数据存在于边缘处。
图4A示出了具有应用到表面的造影剂的模拟生物组织410的示例性图像，而图4B示出了具有造影剂的同一模拟生物组织410的深度图415的示例性图像。如图4A所示，将造影剂(例如，雾化的蓝色染料)应用到模拟生物组织410(例如浆膜)。图4B所示的深度图415表示由具有造影剂的模拟组织410的光场成像产生的深度图。如图4B所示，由于造影剂被应用到组织的表面，因此深度图415比图3B所示的深度图315具有更多的数据。基于深度图415，计算机视觉系统将识别出组织410具有曲面。
图5示出了根据本公开的实施方式的对组织进行成像的3D表面成像系统500。成像系统500包括具有相机521a，521b的内窥镜520，当相机521a，521b一起使用时，会产生组织502(例如，胃)的立体图像。在各种实施方式中，内窥镜520可以可选地或附加地包括红外相机。组织502具有在其上设置的基准标记504，以便相机(例如，红外相机)可以检测到针对组织502的背景的标记504。在各种实施方式中，成像系统500进一步包括投影仪522。在各种实施方式中，投影仪522可以被配置为将结构化光506(例如，点图案)投影到组织502上。在各种实施方式中，投影仪被配置为投影红外光。成像系统500进一步包括光场(例如，全光)相机524。在各种实施方式中，可以如上所述使用造影剂液体喷射组织502，以允许成像系统500确定组织502的深度。
图6示出了图示3D表面成像系统的图。该系统结合了三个可视化模态，以提高3D成像分辨率。该系统包括可以由机械臂移动的相机系统。对于每个可视化模态，相机系统都通过内窥镜中的光导和光学机构捕获目标组织的图像。图像由图像处理器处理，以确定虚拟结构化3D表面。
在一个可视化模态中，相机系统包括用于捕获目标组织的全光图像的光场(例如，全光)相机。图像处理器使用标准技术从全光图像确定3D表面变化和形状。
在第二可视化模态中，系统使用IR(红外)源/投影仪以用于产生IR点图案，其通过光学机构和内窥镜中的光导投影在目标组织上。点图案可以是预定义的或随机的。该相机系统包括IR传感器，该IR传感器捕获目标组织上的IR点的图像。图像被传输到图像处理器，图像处理器检测投影在目标组织上的点图案中的变形以确定3D表面变化和形状。
在第三可视化模态中，系统使用内窥镜中的雾化器/喷雾器将雾化的液体染料应用到目标组织的选定区域，以增加基准点的数量。雾化的染料以随机点的图案粘附在目标组织上，其中点的浓度高于红外点的浓度。可以使染料发荧光以提供与组织的增强的对比度，以提高成像系统的精确度。
图像处理器确定在给定情况下哪种可视化模态数据最合适，并在适当的地方合并数据以进一步提高3D成像分辨率。可以使用加权算法来组合数据。该系统从而以高分辨率精确和可靠地感测深度，这是精确的机器人外科手术计划和执行所需要的。
图7示出了用于确定对象上的三维坐标的方法的流程图700。在702处，该方法包括记录图像，该图像包括对象，设置在对象上的第一多个标记，设置在对象上的第二多个标记以及设置在对象上的第三多个标记。在704处，该方法包括使用图像和第一多个标记来计算第一深度。在706处，该方法包括使用图像和第二多个标记来计算第二深度。在708处，该方法包括使用图像和第三多个标记来计算第三深度。在710处，该方法包括将第一权重分配给第一深度，将第二权重分配给第二深度，并且将第三权重分配给第三深度。在712处，该方法包括基于第一深度、第二深度、第三深度、第一权重、第二权重和第三权重来计算加权平均深度。
现在参考图15，示出了可以与本文描述的计算机视觉系统一起使用的示例性计算节点的示意图。计算节点10仅是合适的计算节点的一个示例，并且无意于暗示对本文所述实施方式的使用范围或功能的任何限制。无论如何，计算节点10能够被实现和/或执行以上阐述的任何功能。
在计算节点10中，存在计算机系统/服务器12，其可与许多其他通用或专用计算系统环境或配置一起操作。可以适合与计算机系统/服务器12一起使用的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机系统、大型计算机系统以及包括上述任何系统或设备的分布式云计算环境等等。
可在由计算机系统执行的计算机系统可执行指令(例如，程序模块)的一般上下文中描述计算机系统/服务器12。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程，程序，对象，组件，逻辑，数据结构等。可以在分布式云计算环境中实践计算机系统/服务器12，在分布式云计算环境中，任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。
如图15所示，以通用计算设备的形式示出了计算节点10中的计算机系统/服务器12。计算机系统/服务器12的组件可以包括但不限于一个或多个处理器或处理单元16，系统存储器28以及将包括系统存储器28的各种系统组件耦合到处理器16的总线18。
总线18表示几种类型的总线结构中的任何一种或多种，包括使用各种总线体系结构中的任何一种的存储器总线或存储器控制器，外围总线，加速图形端口以及处理器或本地总线。作为示例而非限制，此类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。
计算机系统/服务器12通常包括各种计算机系统可读介质。这样的介质可以是计算机系统/服务器12可访问的任何可用介质，并且它包括易失性和非易失性介质，可移动和不可移动介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓冲存储器32。计算机系统/服务器12还可以包括其他可移动/不可移动设备，易失性/非易失性计算机系统存储介质。仅作为示例，可以提供存储系统34以用于读取和写入不可移动的非易失性磁性介质(未示出并且通常称为“硬盘驱动器”)。尽管未示出，但是可以提供用于读取和写入可移动非易失性磁盘(例如，“软盘”)的磁盘驱动器，以及用于读取或写入可移动非易失性光盘(例如，CD-ROM，DVD-ROM或其他光学介质)的光盘驱动器。在这种情况下，每个都可以通过一个或多个数据介质接口连接到总线18。如将在下面进一步描绘和描述的，存储器28可以包括至少一个程序产品，该程序产品具有被配置为执行本公开的实施方式的功能的一组程序模块(例如，至少一个)。
作为示例而非限制，具有一组(至少一个)程序模块42的程序/实用工具40可以存储在存储器28中，以及操作系统，一个或多个应用程序，其他程序模块和程序数据中。操作系统，一个或多个应用程序，其他程序模块，以及程序数据或它们的某种组合中的每一个可以包括联网环境的实现。程序模块42通常执行本文描述的实施方式的功能和/或方法。
计算机系统/服务器12还可以与一个或多个外部设备14，例如键盘，指示设备，显示器24等；使用户能够与计算机系统/服务器12交互的一个或多个设备；和/或使计算机系统/服务器12能够与一个或多个其他计算设备进行通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以通过输入/输出(I/O)接口22发生。然而，计算机系统/服务器12可以通过网络适配器20与一个或多个网络通信，诸如局域网(LAN)，通用广域网(WAN)和/或公共网络(例如因特网)。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其他组件进行通信。应当理解，尽管未示出，其他硬件和/或软件组件可以与计算机系统/服务器12结合使用。示例包括但不限于：微代码，设备驱动程序，冗余处理单元，外部磁盘驱动器阵列，RAID系统，磁带驱动器和数据归档存储系统等。
在其他实施方式中，计算机系统/服务器可以连接到一个或多个相机(例如，数字相机、光场相机)或其他成像/感测设备(例如，红外相机或传感器)。
本公开包括系统，方法和/或计算机程序产品。该计算机程序产品可以包括在其上具有用于使处理器执行本公开的各方面的计算机可读程序指令的计算机可读存储介质。
计算机可读存储介质可以是有形设备，其可以保留和存储由指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备，磁存储设备，光存储设备，电磁存储设备，半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下内容：便携式计算机软盘，硬盘，随机存取存储器(RAM)，只读存储器(ROM)，可擦可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)，便携式光盘只读存储器(CD-ROM)，数字多功能磁盘(DVD)，记忆棒，软盘，机械编码设备，例如具有在其上记录的指令的打孔卡或凹槽中的凸起结构以及上述的任何合适组合。如本文所使用的，计算机可读存储介质不应被理解为本身是瞬时信号，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质(例如，穿过光纤电缆的光脉冲)传播的电磁波或通过电线传输的电信号。
本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络(例如，因特网，局域网，广域网和/或无线网络)下载到外部计算机或外部存储设备。该网络可以包括铜传输电缆，光传输光纤，无线传输，路由器，防火墙，交换机，网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本公开的操作的计算机可读程序指令可以是汇编程序指令，指令集架构(ISA)指令，机器指令，机器相关指令，微代码，固件指令，状态设置数据或以一种或多种编程语言(包括面向对象的编程语言，例如Smalltalk，C++等)和常规过程编程语言(例如“C”编程语言或类似编程语言)的任意组合编写的源代码或对象代码。计算机可读程序指令可以完全在用户计算机上，部分在用户计算机上，作为独立软件包，部分在用户计算机上，部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用因特网服务提供商的因特网)。在各种实施方式中，包括例如可编程逻辑电路，现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令来个性化电子电路，以执行本公开的方面。
在此参考根据本公开的实施方式的方法，装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。将理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实现。
可以将这些计算机可读程序指令提供给通用计算机，专用计算机或其他可编程数据处理设备的处理器，以产生机器，使得该指令(经由计算机的处理器或其他可编程数据处理装置执行)创建用于实现流程图和/或框图框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机，可编程数据处理装置和/或其他设备以特定方式起作用，从而使得其中存储有指令的计算机可读存储介质包括制造的制品，该制品包括实现流程图和/或框图框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机，其他可编程数据处理装置或其他设备上，以使得在计算机，其他可编程装置或其他设备上执行一系列操作步骤以产生实现的计算机处理过程，以使得指令(在计算机，其他可编程装置或其他设备上执行)实现流程图和/或框图框中指定的功能/动作。
附图中的流程图和框图示出了根据本公开的各种实施方式的系统，方法和计算机程序产品的可能实现的架构，功能和操作。就这一点而言，流程图或框图中的每个框可以代表指令的模块，片段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在各种替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示的框的组合可以由执行指定功能或动作的基于特定目的的硬件专用系统来实现或执行特定用途硬件和计算机指令的组合。
已经出于说明的目的给出了本公开的各种实施方式的描述，但是并不旨在是穷举的或限于所公开的实施方式。在不脱离所描述的实施方式的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是容易理解的。选择这里使用的术语是为了最好地解释实施方式的原理，对市场上发现的技术的实际应用或技术上的改进，或者使本领域的其他普通技术人员能够理解这里公开的实施方式。

Claims (49)

1.一种方法，包括：
记录图像，所述图像包括对象、设置在所述对象上的第一多个标记、设置在所述对象上的第二多个标记以及设置在所述对象上的第三多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
使用所述图像和所述第三多个标记来计算第三深度；
将第一权重分配给所述第一深度，将第二权重分配给所述第二深度，并且将第三权重分配给所述第三深度；以及
基于所述第一深度、所述第二深度、所述第三深度、所述第一权重、所述第二权重和所述第三权重，计算加权平均深度。
2.根据权利要求1所述的方法，其中使用一个或多个数字相机来执行记录所述图像。
3.根据权利要求2所述的方法，其中所述一个或多个数字相机包括立体相机系统。
4.根据权利要求2或3所述的方法，其中所述一个或多个数字相机包括全光相机。
5.根据前述权利要求中的任一项所述的方法，其中所述第一多个标记包括基准标记。
6.根据权利要求5所述的方法，其中所述基准标记包括液体墨水。
7.根据前述权利要求中的任一项所述的方法，其中记录所述图像包括：
从结构化光源在所述对象的表面上覆盖一结构化光图案；
在所述对象上记录所述结构化光图案；以及
计算所述结构化光图案的几何重构。
8.根据前述权利要求中的任一项所述的方法，其中记录所述图像包括：
从光源在所述对象的表面上覆盖一光图案；
在第一位置处使用第一相机记录所述光图案的第一图像；
在第二位置处使用第二相机记录所述光图案的第二图像，所述第二位置距离所述第一位置预定距离；以及
计算所述第一图像和所述第二图像之间的视差值。
9.根据前述权利要求中的任一项所述的方法，其中所述第三多个标记包括应用到所述对象的表面的造影剂。
10.根据权利要求9所述的方法，其中所述造影剂是雾化的液体染料。
11.根据权利要求1至10中任一项所述的方法，其中所述第三权重大于所述第一权重和所述第二权重。
12.根据权利要求1至10中任一项所述的方法，其中所述第二权重大于所述第一权重和所述第三权重。
13.根据权利要求1至10中任一项所述的方法，其中所述第一权重大于所述第二权重和所述第三权重。
14.根据权利要求1至10中任一项所述的方法，其中所述第一权重等于所述第二权重和所述第三权重。
15.一种系统，包括：
成像设备；
包括计算机可读存储介质的计算节点，所述计算机可读存储介质具有在其上实现的程序指令，所述程序指令可由所述计算节点的处理器执行以使所述处理器执行方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记，设置在所述对象上的第二多个标记以及设置在所述对象上的第三多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
使用所述图像和所述第三多个标记来计算第三深度；
将第一权重分配给所述第一深度，将第二权重分配给所述第二深度，并且将第三权重分配给所述第三深度；和
基于所述第一深度、所述第二深度、所述第三深度、所述第一权重、所述第二权重和所述第三权重，计算加权平均深度。
16.根据权利要求15所述的系统，其中所述成像设备包括一个或多个数字相机。
17.根据权利要求16所述的系统，其中所述一个或多个数字相机包括立体相机系统。
18.根据权利要求16或17所述的系统，其中所述一个或多个数字相机包括全光相机。
19.根据权利要求15至18中任一项所述的系统，其中所述第一多个标记包括基准标记。
20.根据权利要求19所述的系统，其中所述基准标记包括液体墨水。
21.根据权利要求15至20中任一项所述的系统，还包括结构化光源，所述结构化光源被配置为将结构化光图案投影在所述对象的表面上。
22.根据权利要求21所述的系统，其中记录所述图像包括：
从所述结构化光源在所述对象的表面上覆盖结构化光图案；
在所述对象上记录所述结构化光图案；以及
计算所述结构化光图案的几何重构。
23.根据权利要求15至22中任一项所述的系统，其中记录所述图像包括：
从光源在所述对象的表面上覆盖光图案；
在第一位置处使用第一相机记录所述光图案的第一图像；
在第二位置处使用第二相机记录所述光图案的第二图像，所述第二位置距离所述第一位置预定距离；以及
计算所述第一图像和所述第二图像之间的视差值。
24.根据权利要求15至23中任一项所述的系统，其中所述第三多个标记包括应用到所述对象的表面的造影剂。
25.根据权利要求24所述的系统，其中所述造影剂是雾化的液体染料。
26.根据权利要求15至25中任一项所述的系统，其中所述第三权重大于所述第一权重和所述第二权重。
27.根据权利要求15至25中任一项所述的系统，其中所述第二权重大于所述第一权重和所述第三权重。
28.根据权利要求15至25中任一项所述的系统，其中所述第一权重大于所述第二权重和所述第三权重。
29.根据权利要求15至25中任一项所述的系统，其中所述第一权重等于所述第二权重和所述第三权重。
30.根据权利要求15至29中任一项所述的系统，还包括具有近端和远端的内窥镜，其中所述成像设备设置在所述近端处。
31.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有在其上实现的程序指令，所述程序指令可由处理器执行以使所述处理器执行方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记，设置在所述对象上的第二多个标记以及设置在所述对象上的第三多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
使用所述图像和所述第三多个标记来计算第三深度；
将第一权重分配给所述第一深度，将第二权重分配给所述第二深度，并且将第三权重分配给所述第三深度；以及
基于所述第一深度、所述第二深度、所述第三深度、所述第一权重、所述第二权重和所述第三权重，计算加权平均深度。
32.根据权利要求31所述的计算机程序产品，其中使用一个或多个数字相机来执行记录所述图像。
33.根据权利要求32所述的计算机程序产品，其中所述一个或多个数字相机包括立体相机系统。
34.根据权利要求32或33所述的计算机程序产品，其中所述一个或多个数字相机包括全光相机。
35.根据权利要求31至34中任一项所述的计算机程序产品，其中所述第一多个标记包括基准标记。
36.根据权利要求35所述的计算机程序产品，其中所述基准标记包括液体墨水。
37.根据权利要求31至36中任一项所述的计算机程序产品，其中记录所述图像包括：
从所述结构化光源在所述对象的表面上覆盖结构化光图案；
在所述对象上记录所述结构化光图案；以及
计算所述结构化光图案的几何重构。
38.根据权利要求31至37中任一项所述的计算机程序产品，其中记录所述图像包括：
从光源在所述对象的表面上覆盖光图案；
在第一位置处使用第一相机记录所述光图案的第一图像；
在第二位置处使用第二相机记录所述光图案的第二图像，所述第二位置距离所述第一位置预定距离；以及
计算所述第一图像和所述第二图像之间的视差值。
39.根据权利要求31至38中任一项所述的计算机程序产品，其中所述第三多个标记包括应用到所述对象的表面的造影剂。
40.根据权利要求39所述的计算机程序产品，其中所述造影剂是雾化的液体染料。
41.根据权利要求31至40中任一项所述的计算机程序产品，其中所述第三权重大于所述第一权重和所述第二权重。
42.根据权利要求31至40中任一项所述的计算机程序产品，其中所述第二权重大于所述第一权重和所述第三权重。
43.根据权利要求31至40中任一项所述的计算机程序产品，其中所述第一权重大于所述第二权重和所述第三权重。
44.根据权利要求31至40中任一项所述的计算机程序产品，其中所述第一权重等于所述第二权重和所述第三权重。
45.一种方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记以及设置在所述对象上的第二多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
将第一权重分配给所述第一深度，并且将第二权重分配给所述第二深度；以及
基于所述第一深度、所述第二深度、所述第一权重和所述第二权重，计算加权平均深度。
46.一种系统，包括：
成像设备；
包括计算机可读存储介质的计算节点，所述计算机可读存储介质具有在其上实现的程序指令，所述程序指令可由所述计算节点的处理器执行以使所述处理器执行方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记，设置在所述对象上的第二多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
将第一权重分配给所述第一深度，并且将第二权重分配给所述第二深度；以及
基于所述第一深度、所述第二深度、所述第一权重和所述第二权重，计算加权平均深度。
47.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质具有在其上实现的程序指令，所述程序指令可由处理器执行以使所述处理器执行方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记，设置在所述对象上的第二多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
将第一权重分配给所述第一深度，并且将第二权重分配给所述第二深度；以及
基于所述第一深度、所述第二深度、所述第一权重和所述第二权重，计算加权平均深度。
48.一种集成手术设备，包括：
内窥镜，所述内窥镜具有近端和远端；
成像设备，所述成像设备光学耦合到所述内窥镜的远端；
计算节点，所述计算节点包括计算机可读存储介质，所述计算机可读存储介质具有在其上实现的程序指令，所述程序指令可由所述计算节点的处理器执行以使所述处理器执行方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记，设置在所述对象上的第二多个标记以及设置在所述对象上的第三多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
使用所述图像和所述第三多个标记来计算第三深度；
将第一权重分配给所述第一深度，将第二权重分配给所述第二深度，并且将第三权重分配给所述第三深度；和
基于所述第一深度、所述第二深度、所述第三深度、所述第一权重、所述第二权重和所述第三权重，计算加权平均深度。
49.一种集成手术设备，包括：
内窥镜，所述内窥镜具有近端和远端；
成像设备，所述成像设备光学耦合到内窥镜的远端；
计算节点，所述计算节点包括计算机可读存储介质，所述计算机可读存储介质具有在其上实现的程序指令，所述程序指令可由所述计算节点的处理器执行以使所述处理器执行方法，包括：
记录图像，所述图像包括对象，设置在所述对象上的第一多个标记，设置在所述对象上的第二多个标记；
使用所述图像和所述第一多个标记来计算第一深度；
使用所述图像和所述第二多个标记来计算第二深度；
将第一权重分配给所述第一深度，并且将第二权重分配给所述第二深度；和
基于所述第一深度、所述第二深度、所述第一权重和所述第二权重，计算加权平均深度。
CN201980061357.1A 2018-07-19 2019-07-19 自动手术机器人视觉系统中多模态感测深度的系统和方法 Pending CN112740666A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862700700P 2018-07-19 2018-07-19
US62/700,700 2018-07-19
PCT/US2019/042647 WO2020018931A1 (en) 2018-07-19 2019-07-19 Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots

Publications (1)

Publication Number Publication Date
CN112740666A true CN112740666A (zh) 2021-04-30

Family

ID=69163745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061357.1A Pending CN112740666A (zh) 2018-07-19 2019-07-19 自动手术机器人视觉系统中多模态感测深度的系统和方法

Country Status (7)

Country Link
US (2) US11179218B2 (zh)
EP (1) EP3824621A4 (zh)
JP (1) JP7297891B2 (zh)
KR (1) KR102545980B1 (zh)
CN (1) CN112740666A (zh)
CA (1) CA3106823A1 (zh)
WO (1) WO2020018931A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20130129194A1 (en) * 2011-11-21 2013-05-23 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統

Family Cites Families (283)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
GB9515311D0 (en) 1995-07-26 1995-09-20 3D Scanners Ltd Stripe scanners and methods of scanning
DE19636354A1 (de) 1996-09-02 1998-03-05 Ruedger Dipl Ing Rubbert Verfahren und Vorrichtung zur Durchführung von optischen Aufnahmen
US6081322A (en) 1997-10-16 2000-06-27 Research Foundation Of State Of New York NIR clinical opti-scan system
US6373963B1 (en) 1998-02-05 2002-04-16 Textile/Clothing Technology Corporation Systems, methods and computer program for measuring the surface contour of an object
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
WO1999058930A1 (en) 1998-05-14 1999-11-18 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
DE19829278C1 (de) 1998-06-30 2000-02-03 Sirona Dental Systems Gmbh 3-D-Kamera zur Erfassung von Oberflächenstrukturen, insbesondere für zahnmedizinische Zwecke
US6879324B1 (en) 1998-07-14 2005-04-12 Microsoft Corporation Regional progressive meshes
IL125659A (en) 1998-08-05 2002-09-12 Cadent Ltd Method and device for three-dimensional simulation of a structure
DE19837932C2 (de) 1998-08-20 2000-09-07 Bioshape Ag Verfahren und Vorrichtung zur Ermittlung der Oberflächenform von biologischem Gewebe
US7068825B2 (en) 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
US7107116B2 (en) 1999-03-29 2006-09-12 Genex Technologies, Inc. Diffuse optical tomography system and method of use
US7099732B2 (en) 1999-03-29 2006-08-29 Genex Technologies, Inc. Sanitary sleeve or tip for intra-oral three-dimensional camera
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
CA2278108C (en) 1999-07-20 2008-01-29 The University Of Western Ontario Three-dimensional measurement method and apparatus
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
EP1142536B1 (de) 2000-04-05 2002-07-31 BrainLAB AG Referenzierung eines Patienten in einem medizinischen Navigationssystem mittels aufgestrahlter Lichtpunkte
WO2001082829A2 (en) 2000-05-03 2001-11-08 Flock Stephen T Prosthesis and method of making
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
JP2002164066A (ja) 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP2002345733A (ja) 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
JP2003075137A (ja) 2001-09-04 2003-03-12 Minolta Co Ltd 撮影システム並びにそれに用いられる撮像装置および３次元計測用補助ユニット
JP3962588B2 (ja) 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
TW567693B (en) 2002-04-19 2003-12-21 Infopivot Technologies Inc Method for solving unavailability of Internet services using floating IP
JP4054222B2 (ja) 2002-06-05 2008-02-27 オリンパス株式会社 内視鏡装置用光源装置
WO2003105289A2 (en) 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US20110015518A1 (en) 2002-06-13 2011-01-20 Martin Schmidt Method and instrument for surgical navigation
US7277599B2 (en) * 2002-09-23 2007-10-02 Regents Of The University Of Minnesota System and method for three-dimensional video imaging using a single camera
US6977732B2 (en) 2002-12-26 2005-12-20 National Taiwan University Miniature three-dimensional contour scanner
DE10304111B4 (de) 2003-01-31 2011-04-28 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts
JP4798945B2 (ja) 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置
US7184150B2 (en) 2003-03-24 2007-02-27 D4D Technologies, Llc Laser digitizer system for dental applications
WO2004109601A1 (en) 2003-05-30 2004-12-16 Dreamworks Rendering of soft shadows using depth maps
WO2005033620A2 (en) 2003-09-12 2005-04-14 Biopticon Corporation Methods and systems for measuring the size and volume of features on live tissue
US20050096515A1 (en) 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
US7951073B2 (en) 2004-01-21 2011-05-31 Boston Scientific Limited Endoscopic device having spray mechanism and related methods of use
US7330577B2 (en) 2004-01-27 2008-02-12 Densys Ltd. Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US20050253849A1 (en) 2004-05-13 2005-11-17 Pixar Custom spline interpolation
EP1607041B1 (en) 2004-06-17 2008-01-16 Cadent Ltd. Method for providing data associated with the intraoral cavity
JP4589048B2 (ja) 2004-08-04 2010-12-01 オリンパス株式会社 カプセル型内視鏡
US7620209B2 (en) 2004-10-14 2009-11-17 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US7961912B2 (en) 2004-10-14 2011-06-14 Stevick Glen R Method and apparatus for dynamic space-time imaging system
US20080312540A1 (en) 2004-12-08 2008-12-18 Vasilis Ntziachristos System and Method for Normalized Flourescence or Bioluminescence Imaging
US8027710B1 (en) 2005-01-28 2011-09-27 Patrick Dannan Imaging system for endoscopic surgery
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
KR20080064155A (ko) 2005-10-14 2008-07-08 어플라이드 리써치 어쏘시에이츠 뉴질랜드 리미티드 표면 특징을 모니터링하는 방법 및 장치
KR100752758B1 (ko) 2005-10-19 2007-08-29 (주) 인텍플러스 영상 측정 장치 및 그 방법
US20070115484A1 (en) 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
US7898651B2 (en) 2005-10-24 2011-03-01 General Electric Company Methods and apparatus for inspecting an object
US7489408B2 (en) 2005-11-15 2009-02-10 General Electric Company Optical edge break gage
DE602006016013D1 (de) 2005-11-28 2010-09-16 3Shape As Codiertes strukturiertes licht
DE102005060312A1 (de) 2005-12-16 2007-06-28 Siemens Ag Abtasteinrichtung zur optischen Abtastung von Oberflächen
DE102006004583A1 (de) 2006-02-01 2007-08-09 Siemens Ag Optische Abtasteinrichtung
JP5044126B2 (ja) 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
WO2007109678A2 (en) 2006-03-20 2007-09-27 Baylor College Of Medicine Method and system for non-contact fluorescence optical tomography with patterned illumination
JP4864511B2 (ja) 2006-03-31 2012-02-01 富士フイルム株式会社 電子内視鏡装置およびプログラム
US7435217B2 (en) 2006-04-17 2008-10-14 Microvision, Inc. Scanned beam imagers and endoscopes with positionable light collector
EP1862115B1 (de) 2006-05-31 2009-03-18 BrainLAB AG Registrierung mittels Strahlungsmarkierungselementen
WO2007139187A1 (ja) 2006-05-31 2007-12-06 National University Corporation Chiba University ３次元画像構築装置及び方法並びにプログラム
US8125648B2 (en) * 2006-06-05 2012-02-28 Board Of Regents, The University Of Texas System Polarization-sensitive spectral interferometry
US20110057930A1 (en) 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US20080107305A1 (en) 2006-11-02 2008-05-08 Northern Digital Inc. Integrated mapping system
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US7995798B2 (en) 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
DE102007054906B4 (de) 2007-11-15 2011-07-28 Sirona Dental Systems GmbH, 64625 Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
ES2372515B2 (es) 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US9072445B2 (en) 2008-01-24 2015-07-07 Lifeguard Surgical Systems Inc. Common bile duct surgical imaging system
US9094675B2 (en) * 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
US7821649B2 (en) 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis
JP2009240621A (ja) 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
EP2286368B1 (en) 2008-05-06 2013-09-04 Flashscan3d, Llc System and method for structured light illumination with frame subwindows
US20100113921A1 (en) 2008-06-02 2010-05-06 Uti Limited Partnership Systems and Methods for Object Surface Estimation
DE102008040947B4 (de) 2008-08-01 2014-02-06 Sirona Dental Systems Gmbh 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation
CN102113309B (zh) 2008-08-03 2013-11-06 微软国际控股私有有限公司 卷帘相机系统
US8406859B2 (en) 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US9282926B2 (en) 2008-12-18 2016-03-15 Sirona Dental Systems Gmbh Camera for recording surface structures, such as for dental purposes
KR101526866B1 (ko) 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US9091623B2 (en) * 2009-02-16 2015-07-28 Satake Usa, Inc. System to determine product characteristics, counts, and per unit weight details
WO2010096447A2 (en) 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Quantitative imaging with multi-exposure speckle imaging (mesi)
WO2010096453A1 (en) 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Methods of producing laser speckle contrast images
WO2010122068A1 (en) 2009-04-21 2010-10-28 Micronic Laser Systems Ab Optical systems configured to generate more closely spaced light beams and pattern generators including the same
US9135502B2 (en) 2009-05-11 2015-09-15 Universitat Zu Lubeck Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
US7763841B1 (en) 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
JP5361592B2 (ja) 2009-07-24 2013-12-04 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
KR20110018696A (ko) 2009-08-18 2011-02-24 주식회사 이턴 입체 영상 처리 장치 및 방법
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
US9068824B2 (en) 2009-08-27 2015-06-30 Naviswiss Ag Stereoscopic endoscope for measuring a three dimensional surface
US8723118B2 (en) 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US20110080471A1 (en) 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
US10045882B2 (en) 2009-10-30 2018-08-14 The Johns Hopkins University Surgical instrument and systems with integrated optical sensor
US20110123098A1 (en) 2009-11-24 2011-05-26 Maurice Moshe Ernst System and a Method for Three-dimensional Modeling of a Three-dimensional Scene Features with a Cooling System
US20120206587A1 (en) 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
BR112012016973A2 (pt) 2010-01-13 2017-09-26 Koninl Philips Electronics Nv sistema de navegação cirúrgica para a integração de uma pluralidade de imagens de uma região anatômica de um corpo, incluíndo uma imagem pré-operatótia digitalizada, uma imagem intra-operatória fluoroscópia e uma imagem intra-operatória endoscópica
US8723923B2 (en) 2010-01-14 2014-05-13 Alces Technology Structured light system
EP2359745A1 (en) 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Method and device for multi-spectral photonic imaging
US11022433B2 (en) 2010-02-12 2021-06-01 Koninklijke Philips N.V. Laser enhanced reconstruction of 3D surface
US8872824B1 (en) 2010-03-03 2014-10-28 Nvidia Corporation System, method, and computer program product for performing shadowing utilizing shadow maps and ray tracing
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
WO2012018796A2 (en) 2010-08-02 2012-02-09 The Johns Hopkins University Autofocusing endoscope and system
US9833145B2 (en) 2010-08-11 2017-12-05 Snu R&Db Foundation Method for simultaneously detecting fluorescence and raman signals for multiple fluorescence and raman signal targets, and medical imaging device for simultaneously detecting multiple targets using the method
US9157733B2 (en) 2010-09-10 2015-10-13 Dimensional Photonics International, Inc. Method of data acquisition for three-dimensional imaging
US9345397B2 (en) 2010-09-21 2016-05-24 The Johns Hopkins University Optical sensing system for cochlear implant surgery
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
CN102008282B (zh) 2010-10-29 2012-08-08 深圳大学 数字印模口内扫描仪及口腔内表面形貌图像实时重建系统
US9345389B2 (en) 2010-11-12 2016-05-24 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US9506749B2 (en) 2010-11-15 2016-11-29 Seikowave, Inc. Structured light 3-D measurement module and system for illuminating an area-under-test using a fixed-pattern optic
US9599461B2 (en) 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
US8649024B2 (en) 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
US20120165681A1 (en) 2010-12-23 2012-06-28 Tyco Healthcare Group Lp Delineating Skin or Surface Lesions
EP2663222B1 (en) 2011-01-10 2021-10-27 East Carolina University Methods and systems for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US9226673B2 (en) 2011-01-10 2016-01-05 East Carolina University Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US8817046B2 (en) 2011-04-21 2014-08-26 Microsoft Corporation Color channels and optical markers
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
JP5846763B2 (ja) 2011-05-24 2016-01-20 オリンパス株式会社 内視鏡装置
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
JP5841353B2 (ja) 2011-05-24 2016-01-13 オリンパス株式会社 内視鏡装置および画像取得方法
WO2012167201A1 (en) 2011-06-01 2012-12-06 Digital Light Innovations System and method for hyperspectral illumination
WO2012170963A1 (en) 2011-06-08 2012-12-13 Digital Light Innovations System and method for hyperspectral imaging
US9001190B2 (en) 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
KR20130011141A (ko) 2011-07-20 2013-01-30 삼성전자주식회사 내시경 및 내시경 시스템
US9444981B2 (en) 2011-07-26 2016-09-13 Seikowave, Inc. Portable structured light measurement module/apparatus with pattern shifting device incorporating a fixed-pattern optic for illuminating a subject-under-test
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
DE102012108567B4 (de) 2011-10-05 2017-04-27 Electronics And Telecommunications Research Institute Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
WO2013058978A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
DE102011119608B4 (de) 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
KR102011169B1 (ko) 2012-03-05 2019-08-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 광 폴오프에 기초한 깊이 이미지의 생성 기법
EP2827097B1 (en) 2012-03-14 2018-11-07 National Institute of Advanced Industrial Science And Technology Phase distribution analysis method and device for fringe image using high-dimensional brightness information, and program therefor
JP5654511B2 (ja) 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5995484B2 (ja) 2012-03-30 2016-09-21 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法、及びプログラム
KR102214789B1 (ko) * 2012-04-16 2021-02-09 칠드런스 내셔널 메디컬 센터 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템
WO2013165399A2 (en) 2012-05-01 2013-11-07 Empire Technology Development Llc Infrared scanner and projector to indicate cancerous cells
US20130296712A1 (en) 2012-05-03 2013-11-07 Covidien Lp Integrated non-contact dimensional metrology tool
JP5930531B2 (ja) 2012-05-24 2016-06-08 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
US9674436B2 (en) 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
US9471864B2 (en) 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140031665A1 (en) 2012-07-25 2014-01-30 Covidien Lp Telecentric Scale Projection System for Real-Time In-Situ Surgical Metrology
WO2014016001A1 (de) 2012-07-25 2014-01-30 Siemens Aktiengesellschaft Farbkodierung für 3d-messung insbesondere bei transparenten streuenden oberflächen
CN104125794B (zh) 2012-08-07 2016-06-22 奥林巴斯株式会社 扫描型内窥镜装置
US9297889B2 (en) 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
US9057784B2 (en) 2012-08-14 2015-06-16 Microsoft Technology Licensing, Llc Illumination light shaping for a depth camera
US9696427B2 (en) 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
US20150238276A1 (en) 2012-09-30 2015-08-27 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool
US9070194B2 (en) 2012-10-25 2015-06-30 Microsoft Technology Licensing, Llc Planar surface detection
WO2014067000A1 (en) 2012-10-29 2014-05-08 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
DE102012021185A1 (de) 2012-10-30 2014-04-30 Smart Optics Sensortechnik Gmbh Verfahren zur optischen 3D-Vermessung von Zähnen mit verkleinerter Point-Spread-Funktion
US9304603B2 (en) 2012-11-12 2016-04-05 Microsoft Technology Licensing, Llc Remote control using depth camera
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
US9788903B2 (en) 2013-02-04 2017-10-17 Children's National Medical Center Hybrid control surgical robotic system
JP6663718B2 (ja) 2013-02-04 2020-03-13 ディー４ディー テクノロジーズ、エルエルシー 照明フレームが画像フレームに組み入れられる口腔内走査装置
WO2014125037A1 (en) 2013-02-13 2014-08-21 3Shape A/S Focus scanning apparatus recording color
CN104036226B (zh) 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
US9351643B2 (en) 2013-03-12 2016-05-31 Covidien Lp Systems and methods for optical measurement for in-situ surgical applications
US9375844B2 (en) 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9294758B2 (en) 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
EP2800055A1 (en) 2013-04-30 2014-11-05 3DDynamics Bvba Method and system for generating a 3D model
US9074868B2 (en) 2013-05-13 2015-07-07 General Electric Company Automated borescope measurement tip accuracy test
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
WO2014192876A1 (ja) 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
DE102013016752A1 (de) 2013-09-03 2015-03-05 Universität Stuttgart Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT)
US9462253B2 (en) 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US20150086956A1 (en) 2013-09-23 2015-03-26 Eric Savitsky System and method for co-registration and navigation of three-dimensional ultrasound and alternative radiographic data sets
US9799117B2 (en) 2013-09-30 2017-10-24 Lenovo (Beijing) Co., Ltd. Method for processing data and apparatus thereof
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
WO2015081213A1 (en) 2013-11-27 2015-06-04 Children's National Medical Center 3d corrected imaging
US10469827B2 (en) 2013-12-27 2019-11-05 Sony Corporation Image processing device and image processing method
WO2015103566A2 (en) 2014-01-06 2015-07-09 The Regents Of The University Of California Spatial frequency domain imaging using custom patterns
US10438346B2 (en) 2014-01-07 2019-10-08 The Regents Of The University Of California Method for extraction of spatial frequency information for quantitative tissue imaging
CN105917358B (zh) 2014-01-10 2020-03-24 株式会社高永科技 三维形状测定装置及方法
US9720506B2 (en) 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
WO2015120020A1 (en) 2014-02-04 2015-08-13 The Trustees Of Dartmouth College Apparatus and methods for structured light scatteroscopy
US10244991B2 (en) 2014-02-17 2019-04-02 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
DE102014002514B4 (de) 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
US9380224B2 (en) 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
WO2015132778A1 (en) 2014-03-02 2015-09-11 Avishay Sidlesky Endoscopic measurement system and method
DE102014204244A1 (de) 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
DE102014204243A1 (de) 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Endoskop mit Tiefenbestimmung
US11116383B2 (en) 2014-04-02 2021-09-14 Asensus Surgical Europe S.à.R.L. Articulated structured light based-laparoscope
DE102014207022A1 (de) 2014-04-11 2015-10-29 Siemens Aktiengesellschaft Tiefenbestimmung einer Oberfläche eines Prüfobjektes
DE102014210938A1 (de) 2014-06-06 2015-12-17 Siemens Aktiengesellschaft Verfahren zum Steuern eines medizinischen Gerätes sowie Steuerungssystem für ein medizinisches Gerät
US20150377613A1 (en) 2014-06-30 2015-12-31 Samsung Electronics Co., Ltd. Systems and methods for reconstructing 3d surfaces of tubular lumens
US9261358B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Chromatic confocal system
US9261356B2 (en) 2014-07-03 2016-02-16 Align Technology, Inc. Confocal surface topography measurement with fixed focal positions
US9439568B2 (en) 2014-07-03 2016-09-13 Align Technology, Inc. Apparatus and method for measuring surface topography optically
US10398294B2 (en) 2014-07-24 2019-09-03 Z Square Ltd. Illumination sources for multicore fiber endoscopes
CN105509639B (zh) 2014-09-24 2019-01-01 通用电气公司 用来测量几何特征的测量系统和测量方法
US10039439B2 (en) 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
US11553844B2 (en) 2014-10-14 2023-01-17 East Carolina University Methods, systems and computer program products for calculating MetaKG signals for regions having multiple sets of optical characteristics
WO2016061052A1 (en) 2014-10-14 2016-04-21 East Carolina University Methods, systems and computer program products for visualizing anatomical structures and blood flow and perfusion physiology using imaging techniques
US10792492B2 (en) 2014-10-14 2020-10-06 East Carolina University Methods, systems and computer program products for determining physiologic status parameters using signals derived from multispectral blood flow and perfusion imaging
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
JP6432770B2 (ja) 2014-11-12 2018-12-05 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US9841496B2 (en) 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9330464B1 (en) 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
KR101671649B1 (ko) 2014-12-22 2016-11-01 장석준 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
EP3250104B1 (en) 2015-01-28 2019-03-06 Brainlab AG Light point identification method
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
WO2016130997A1 (en) 2015-02-12 2016-08-18 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US9953428B2 (en) 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
KR102376954B1 (ko) 2015-03-06 2022-03-21 삼성전자주식회사 홍채를 촬영하기 위한 광을 조사하는 방법 및 그 디바이스
US9955140B2 (en) 2015-03-11 2018-04-24 Microsoft Technology Licensing, Llc Distinguishing foreground and background with inframed imaging
KR102306539B1 (ko) 2015-03-12 2021-09-29 삼성전자주식회사 홍채를 촬영하기 위하여 이용되는 광을 조사하는 방법 및 디바이스
US10390718B2 (en) 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
US10058256B2 (en) 2015-03-20 2018-08-28 East Carolina University Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
DE102015206511B4 (de) 2015-04-13 2023-10-19 Siemens Healthcare Gmbh Ermittlung einer eindeutigen räumlichen Relation eines medizinischen Geräts zu einem weiteren Objekt
US9690984B2 (en) 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US10356392B2 (en) 2015-05-28 2019-07-16 University College Cork—National Univesity of Ireland, Cork Coded access optical sensor
WO2017002388A1 (ja) 2015-06-30 2017-01-05 オリンパス株式会社 画像処理装置、測距システム、及び内視鏡システム
JP6177458B2 (ja) 2015-07-03 2017-08-09 オリンパス株式会社 画像処理装置及び内視鏡システム
CA2987058C (en) 2015-07-13 2019-03-19 Synaptive Medical (Barbados) Inc. System and method for providing a contour video with a 3d surface in a medical navigation system
US9958585B2 (en) 2015-08-17 2018-05-01 Microsoft Technology Licensing, Llc Computer vision depth sensing at video rate using depth from defocus
WO2017037147A1 (en) * 2015-09-01 2017-03-09 Koninklijke Philips N.V. Apparatus for displaying medical image data of a body part
US10810799B2 (en) 2015-09-28 2020-10-20 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3D surface images
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US20190053691A1 (en) 2015-10-09 2019-02-21 3Dintegrated Aps A laparoscopic tool system for minimally invasive surgery
US9955861B2 (en) 2015-10-16 2018-05-01 Ricoh Company, Ltd. Construction of an individual eye model using a plenoptic camera
US10402992B2 (en) 2015-10-16 2019-09-03 Capsovision Inc. Method and apparatus for endoscope with distance measuring for object scaling
CN108366720B (zh) 2015-10-31 2021-07-02 儿童国家医疗中心 软手术工具
WO2017075687A1 (en) * 2015-11-03 2017-05-11 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
US10188468B2 (en) 2016-02-25 2019-01-29 Synaptive Medical (Barbados) Inc. Focused based depth map acquisition
EP4327769A2 (en) 2016-03-12 2024-02-28 Philipp K. Lang Devices and methods for surgery
EP3821842A1 (en) 2016-03-14 2021-05-19 Mohamed R. Mahfouz Method of creating a virtual model of a normal anatomy of a pathological knee joint
EP3220351A1 (en) 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
US20170280970A1 (en) 2016-03-31 2017-10-05 Covidien Lp Thoracic endoscope for surface scanning
WO2017180097A1 (en) 2016-04-12 2017-10-19 Siemens Aktiengesellschaft Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation
WO2017205063A1 (en) 2016-05-27 2017-11-30 Verily Life Sciences Llc Systems and methods for surface topography acquisition using laser speckle
US20170366773A1 (en) 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
TWI597042B (zh) 2016-06-29 2017-09-01 Endoscopic with distance measuring function and distance measuring method
US10217235B2 (en) 2016-07-11 2019-02-26 Nri R&D Patent Licensing, Llc Advanced lensless light-field imaging systems and methods for enabling a wide range of entirely new applications
EP4345831A3 (en) 2016-07-25 2024-04-24 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US20180042466A1 (en) 2016-08-12 2018-02-15 The Johns Hopkins University Compact endoscope design for three-dimensional surgical guidance
WO2018085797A1 (en) 2016-11-04 2018-05-11 Aquifi, Inc. System and method for portable active 3d scanning
WO2018112424A1 (en) * 2016-12-16 2018-06-21 Intuitive Surgical Operations, Inc. Systems and methods for teleoperated control of an imaging instrument
WO2018154491A1 (en) 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
US10485629B2 (en) 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
US10572720B2 (en) 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
CN108694740A (zh) 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
CA2960528C (en) * 2017-03-08 2018-03-20 Synaptive Medical (Barbados) Inc. A depth-encoded fiducial marker for intraoperative surgical registration
US10262453B2 (en) 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
WO2019045971A1 (en) 2017-08-28 2019-03-07 East Carolina University MULTI-SPECTRAL PHYSIOLOGICAL VISUALIZATION (MSPV) USING LASER IMAGING METHODS AND SYSTEMS TO PERFORM IMAGING AND QUANTIFICATION OF BLOOD FLOW AND INFUSION IN ENDOSCOPIC DESIGN
US11278220B2 (en) 2018-06-08 2022-03-22 East Carolina University Determining peripheral oxygen saturation (SpO2) and hemoglobin concentration using multi-spectral laser imaging (MSLI) methods and systems
CN112513617A (zh) 2018-06-28 2021-03-16 儿童国家医疗中心 腹腔镜手术中血流和组织灌注无染料可视化的方法和系统
US11850002B2 (en) * 2018-07-16 2023-12-26 International Business Machines Corporation Three-dimensional model for surgical planning
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
EP3847660A2 (en) 2018-09-05 2021-07-14 East Carolina University Systems for detecting vascular and arterial disease in asymptomatic patients and related methods
US11125861B2 (en) 2018-10-05 2021-09-21 Zoox, Inc. Mesh validation
US10823855B2 (en) 2018-11-19 2020-11-03 Fca Us Llc Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics
WO2020140044A1 (en) 2018-12-28 2020-07-02 Activ Surgical, Inc. Generation of synthetic three-dimensional imaging from partial depth maps
WO2020198315A1 (en) 2019-03-26 2020-10-01 East Carolina University Near-infrared fluorescence imaging for blood flow and perfusion visualization and related systems and computer program products
CA3148351A1 (en) * 2019-08-16 2021-02-25 Dorian Averbuch Devices for use in interventional and surgical procedures and methods of use thereof
WO2021211986A1 (en) 2020-04-17 2021-10-21 Activ Surgical, Inc. Systems and methods for enhancing medical images
NL2026240B1 (en) 2020-08-07 2022-04-08 Limis Dev B V Device for coupling coherent light into an endoscopic system
NL2026505B1 (en) 2020-09-18 2022-05-23 Limis Dev B V Motion-compensated laser speckle contrast imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20130129194A1 (en) * 2011-11-21 2013-05-23 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統

Also Published As

Publication number Publication date
US20210236226A1 (en) 2021-08-05
US20220117689A1 (en) 2022-04-21
EP3824621A4 (en) 2022-04-27
JP2021531482A (ja) 2021-11-18
EP3824621A1 (en) 2021-05-26
KR20210035831A (ko) 2021-04-01
KR102545980B1 (ko) 2023-06-21
JP7297891B2 (ja) 2023-06-26
US11857153B2 (en) 2024-01-02
US11179218B2 (en) 2021-11-23
WO2020018931A1 (en) 2020-01-23
CA3106823A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
EP3606410B1 (en) Anatomical surface assessment methods, devices and systems
Pereira et al. Self calibration of multiple LIDARs and cameras on autonomous vehicles
US9668819B2 (en) Surgical needle for a surgical system with optical recognition
US20140218366A1 (en) Method and device for displaying an object
US10580134B2 (en) Method for measuring a dental object
US11857153B2 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
CN109938837B (zh) 光学跟踪系统及光学跟踪方法
JP2011069965A (ja) 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
Furukawa et al. Shape acquisition and registration for 3D endoscope based on grid pattern projection
Shademan et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN110547872A (zh) 手术导航注册系统
US11928834B2 (en) Systems and methods for generating three-dimensional measurements using endoscopic video data
JP2020516408A (ja) 内視鏡測定の方法および器具
Liu et al. On-demand calibration and evaluation for electromagnetically tracked laparoscope in augmented reality visualization
WO2020016886A1 (en) Systems and methods of navigation for robotic colonoscopy
Lin et al. Tissue surface reconstruction aided by local normal information using a self-calibrated endoscopic structured light system
Decker et al. Performance evaluation and clinical applications of 3D plenoptic cameras
Takeshita et al. 3-D shape measurement endoscope using a single-lens system
Nonaka et al. Capturing a surgical area using multiple depth cameras mounted on a robotic mechanical system
JPH0412724A (ja) 計測内視鏡
Allain et al. A system for biopsy site re-targeting with uncertainty in gastroenterology and oropharyngeal examinations
US20230032791A1 (en) Measuring method and a measuring device
Shih et al. An Extrinsic Depth Camera Calibration Method for Narrow Field of View Color Camera
WO2021090513A1 (ja) シミ属性判定方法、及びシミ属性判定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination