CN116056621A - 解剖目标的深度和轮廓检测 - Google Patents

解剖目标的深度和轮廓检测 Download PDF

Info

Publication number
CN116056621A
CN116056621A CN202180058116.9A CN202180058116A CN116056621A CN 116056621 A CN116056621 A CN 116056621A CN 202180058116 A CN202180058116 A CN 202180058116A CN 116056621 A CN116056621 A CN 116056621A
Authority
CN
China
Prior art keywords
pattern
light
image
anatomical
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180058116.9A
Other languages
English (en)
Inventor
弗拉基米尔·波列贾耶夫
库尔特·G·谢尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gyrus ACMI Inc
Original Assignee
Gyrus ACMI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gyrus ACMI Inc filed Critical Gyrus ACMI Inc
Publication of CN116056621A publication Critical patent/CN116056621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

提供了用于检测解剖目标的深度轮廓和用于增强解剖目标的成像的技术。在示例中，可以跨解剖目标投影光的参考图案，并且可以捕获解剖目标上的反射光图案的图像。可以分析所捕获的光图案以确定轮廓信息，该轮廓信息然后可以用于提供3D线索以增强解剖目标的2维图像。

Description

解剖目标的深度和轮廓检测
相关申请的交叉引用
本申请要求于2020年8月5日提交的美国临时专利申请第63/061,249号的优先权的权益，该美国临时专利申请的内容通过引用整体被并入。
技术领域
本公开内容涉及目标识别，并且更具体地涉及用于检测解剖目标的轮廓和深度的技术。
背景技术
医用镜使得用户能够检查患者的隐藏区域。诸如内窥镜和腹腔镜的某些医用镜最初在十九世纪早期开发出来，并且已经用于检查患者的身体内部。医用镜可以包括光学传感器例如用于对镜的远端端部处的区域进行成像的摄像装置，以及位于接近用户的端部处的用于操纵镜的远端端部的控件。轴可以传递信号，并且可以提供镜的近端端部与远端端部之间的链接。一些轴可以是柔性的，而一些轴可以是刚性的。一些医用镜使得用户能够沿着轴的通道传递工具或治疗，例如，以切除组织或取回物体。
医用镜的高效使用取决于若干因素，例如经验、灵巧性和视觉线索。允许在患者的身体的很小的密闭空间内进行交互的医用镜可以使用屏幕或监视器来提供位于医用镜的远端端部周围的区域的图像。
发明内容
显示的图像的改进可以帮助允许更好的视觉线索，并且因此允许医用镜的更高效使用。在本文档中描述了用于检测解剖目标的深度和轮廓以及用于增强解剖目标的成像的技术。在示例中，可以跨解剖目标投影光的图案，并且可以捕获解剖目标上的光图案的图像。捕获的光图案可以经分析并且用于帮助增强解剖目标的2维图像。
该章节旨在提供对本专利申请的主题的概述。其并不旨在提供对本发明的排他性或穷尽性说明。包括具体实施方式以提供关于本专利申请的另外的信息。
附图说明
图1一般地示出了根据本主题的用于增强图像的示例系统100。
图2A至图2D一般地示出了将空间光图案投影在解剖目标上的效果。
图3一般地示出了根据本主题的用于增强图像的示例系统300的细节。
图4一般地示出了用于增强使用医用镜301提供的图像的3D线索的示例系统400。
图5一般地示出了增强解剖目标的2D图像以提供3D线索的示例方法。
具体实施方式
在医疗过程例如将治疗施加至组织或去除不期望物质如结石(“石子”)或肿瘤的内窥镜过程期间，医师可以控制光纤尖端的位置和所得到的激光束光斑，同时观看由内窥镜摄像装置捕获的实时图像。一种方法可以提供二维(x,y)的摄像装置图像，但是其不提供视觉深度线索或深度上的经缩放可视化。在没有视觉深度线索的情况下，内窥镜位置和光纤尖端在轴向深度方向上的操纵和定位可能是困难的。
在内窥镜和腹腔镜过程中，成功可能取决于内窥镜的远端端部的定位以实现期望结果。除了将光纤尖端的端部瞄准解剖目标之外，光纤尖端距解剖目标的距离也可以影响一轮治疗的有效性。2D成像技术方法可以提供良好的二维视觉线索，但是缺乏提供有效的第3维视觉线索。在一些情况下，例如，在肿瘤移除的情况下，良好的视觉深度线索的缺乏可能例如通过要求医师在随后施加治疗之前首先从各个方向对目标肿瘤进行多次观察而延长医学治疗过程。这种涉及从不同方向进行多次观察的方法对于用户评估肿瘤的3D性质、肿瘤附近的任何健康组织的3D性质或者这两者都是繁琐的方式。
本发明人描述了用于帮助改进经由医用镜提供的2维图像的3维线索尤其是视觉深度线索和视觉轮廓线索的技术等。图1一般地示出了用于增强图像的系统100的各部分的示例。系统100可以包括例如用于观看解剖目标102或目标区域103的医用镜101、成像系统104和图案照明系统105。
医用镜101可以提供患者的目标区域103或特定解剖目标102的视图。这样的医用镜101的示例可以包括但不限于内窥镜、腹腔镜或变型，以及例如可以用于诊断过程或手术过程或者这两者的其他类型的镜。医用镜101可以包括例如用于电子地捕获目标区域103或解剖目标102的图像的表示的摄像装置106或图像传感器。医用镜101可以包括例如用于将一个或更多个器械从医用镜101的一个端部即近端端部108延伸至医用镜101的另一端部即远端端部109的一个或更多个通道107、111、113。例如，第一通道111可以包括例如用于在摄像装置与图像系统之间传导或传送信息的一个或更多个导线或纤维。医用镜101可以包括或耦接至例如用于用光照射或照亮目标区域103以便摄像装置106可以捕获目标区域103和任何解剖目标102的一个或更多个图像的可选的光源114。在这样的配置中，第二通道113可以提供用于将光从医用镜101的近端端部108传送至远端端部109的光学路径。医用镜101的通道107可以提供例如用于图案照明系统105的一个或更多个光纤的光学路径。在通道107的远端端部处，来自一个或更多个光纤的光可以朝向目标区域103投影。
图案照明系统105可以提供用于跨目标区域104(包括跨解剖目标102)投影空间光图案的光。图案照明系统105可以包括激光或其他光源。来自光源的投影光可以被配置成在解剖目标102或目标区域103处形成指定的投影图案。当光的指定的第一图案被投影到距通道107的端部给定距离的平坦表面上并从该表面反射以提供参考响应图案时，该光的指定的第一图案可具有指定的特性。这样的特性可以包括但不限于参考响应图案的属性之间的间隔、参考响应图案的光的阴影或柱(pillar)的粗细等。在从非平坦表面或从距通道107的端部的与给定距离不同的距离的平坦表面等反射时。在从非平坦表面或从距通道107的端部的不同距离的平坦表面反射时，摄像装置106可以经由一个或更多个光纤捕获反射光的第二图案。图像系统104可以分析反射的响应第二图案与投影的第一图案之间的差异，并且根据这样的分析，可以检测和测量与目标区域103或目标区域103中的解剖目标102相关联的轮廓和深度信息。然后，图像系统104可以例如用着色(shading)来增强2维图像，以例如添加或强调可以由2维图像包括以在视觉上区分深度和轮廓信息的3维线索。着色可以包括例如对光强度的视觉调制或对光的空间调制以指示深度或轮廓。
添加或强调的3维线索可以帮助向用户提供有用的空间上下文，该空间上下文又可以帮助使得用户能够获得医用镜101的远端端部或与医用镜101一起使用的一个或更多个器械的更好的3维定位。这可以帮助避免或减少或最小化否则用户为了执行成功的过程例如激光治疗过程而可能需要的不同方向“观察”的数目。
图2A至图2D一般地示出了将光图案投影在解剖目标上的效果。图2A示出了可以从与医用镜一起使用的照明系统投射在平坦表面上的光图案的示例。当投影在正交平坦表面上时，图案可以包括指定的线图案，例如具有一定间距和粗细的线图案。在一些示例中，当投影在正交平坦表面上时，间距和粗细可以大体上相等，例如以提供线之间的相等间距、线的相等粗细或间距和粗细两者均彼此相等中的一个或更多个。然而，如果图案被投射在不正交而是与正交平坦表面成非零角度的表面或表面部分上，则线的粗细和间隔可以取决于角度的大小、方向或取向以及投影线相对于这样的角度的方向而变化。图2B一般地示出了解剖目标(例如，肾结石或肿瘤)的2维图像，其可以出现在与医用镜一起使用的成像系统的屏幕上。2维图像可以向用户显示非常好的结石或肿瘤的外形，但是可能不提供任何附加的3D线索。图2C一般地示出了图2B的肿瘤或肾结石，其中光图案例如图2A的光图案跨肿瘤或肾结石投影。从结石的表面反射的光图案以及区域的背景可以帮助显出解剖目标和目标区域的3D伪影，这些伪影可能由于眩光、纹理波动、发光角度等而隐藏在2维图像中。由于与例如参考响应图案或投影图案例如图2A的图案相比反射光图案的线的失真，3D线索是可见的。在某些示例中，图像系统可以分析线波动以及线粗细和线间隔的改变中的一个或更多个以提供关于目标的3D信息。成像系统可以基于3D信息来增强2维图像，以为观看者提供具有3D线索的增强的2维图像，如图2D所示。例如，由成像系统提供的增强视图可以包括附加的或增强的着色以显出3D线索。在一些示例中，增强视图不包括线图案。在一些示例中，增强视图可以包括与器械的纤维相对于解剖目标的取向相关联的数据的基于视觉和文本的指示。这样的数据可以包括但不限于纤维的尖端与解剖目标的表面之间的距离、表面相对于纤维的轨迹的角度等。在某些示例中，可以显示使得能够将2D图像转换为3D图像的信息。
图3一般地示出了根据本主题的用于增强图像的示例系统300的一部分的细节。在某些示例中，图3的系统300可以是图1的示例系统100的更详细的视图。系统300可以包括用于观看解剖目标302或目标区域303的医用镜301、成像系统304和图案照明系统305。在某些示例中，系统300或医用镜可以包括第二照明源(未示出)，该第二照明源用于用光照射或照亮目标区域303以便成像系统可以捕获目标区域303和任何解剖目标302的图像。医用镜301可以包括用于延伸到患者的孔口中或穿过患者的切口的轴310。轴310可以包括多个通道307、311和光学传感器306。第一通道311可以用于将图像信号从位于轴310的远端端部309处的光学传感器306传送至耦接至轴310的近端端部308的图像系统304。第二通道307可以用作光学路径，以出于跨解剖目标302或目标区域303投影光的图案的目的，将图案照明系统305的光传送至解剖目标302或目标区域303。在轴310的远端端部309处，光可以经由两个位置或两个区域从光学路径被投影。从两个点朝向解剖目标302投影光的目的是使得来自每个点的光能够彼此干涉，以跨视场或目标区域303形成干涉图案。在某些示例中，从光学路径的两个不同区域跨解剖目标投影偏振光可以形成清晰的干涉图案。使用光的偏振可以提供增强的清晰度。与使用非相干和非偏振光相比，使用相干和偏振光可以实现图案的进一步的清晰度。
在某些示例中，第二通道307可以包括从图案照明系统305的光源的单个光束形成两个光束的分束器312。例如，光源的光可以经由诸如光缆或光纤的单个光学介质从图案照明系统305的光源传送至分束器312。在分束器312处，光可以作为两个不同的光束经由两个光学路径进一步传送至远端端部309。在一些示例中，光学路径的远端端部309可以投影两个光束中的每一个，使得光看起来在光学路径的端部处穿过两个狭缝投影以提供干涉图案。在某些示例中，光可以经由单模光纤或单模光纤线缆从图案照明系统305被传送。
成像系统304可以从由光学传感器306提供的信号捕获图像信息。在某些示例中，成像系统304可以包括输入处理电路321、2D图像处理电路322、3D伪影电路323和显示接口电路324。输入处理电路321可以将图像信息分成第一图像信息和第二图像信息，第一图像信息与提供解剖目标302或目标区域303的2D图像相关联，第二图像信息与在解剖目标302或目标区域303的表面上捕获的干涉图案相关联。2D图像处理电路322可以处理第一图像信息以在显示接口电路324处被接收。3D伪影电路323可以处理第二图像信息以用于增强2D图像。例如，3D伪影电路323可以分析第二图像信息的干涉图案，包括将干涉图案与参考图案的偏差进行比较和测量，以提取关于解剖目标302或目标区域303的3D线索。分析可以使得显示接口电路324能够利用由3D伪影电路323提供的信息来增强从2D图像处理电路322接收的2D图像信息，以引导图像增强技术在增强的2D图像中提供或显出3D线索。在某些示例中，技术可以包括基于干涉图案改变或添加2D图像的阴影或配色以提供增强的2D图像。增强的2D图像可以显示在成像系统的监视器325上，以帮助医用镜301的用户相对于解剖目标定位医用镜301的远端端部，以及相对于解剖目标定位治疗器械，以便有效且高效地使用治疗。
图4一般地示出了用于增强使用医用镜301提供的图像的3D线索的示例系统400。图4的系统400是图3的系统300的修改。在某些示例中，图4的系统400可以是图1的示例系统100的更详细的视图。系统400可以包括用于观看解剖目标302或目标区域303的医用镜301、成像系统304和图案照明系统405。医用镜301可以包括用于延伸到患者的孔口中或穿过患者的切口的轴310。轴310可以包括多个通道307、311和光学传感器306。第一通道311可以用于将图像信号从位于轴310的远端端部309处的光学传感器306传送至耦接至轴310的近端端部308的图像系统304。第二通道307可以用作光学路径，以出于跨解剖目标302或目标区域303投影光的图案的目的，将图案照明系统305的光传送至解剖目标302或目标区域303。在轴310的远端端部309处，光可以经由两个点或两个区域从光学路径被投影。从两个点朝向解剖目标302投影光的目的是使得来自每个点的光能够彼此干涉，以跨视场或目标区域303形成干涉图案。在某些示例中，从光学路径的两个不同区域跨解剖目标投影偏振光可以形成清晰的干涉图案。清晰性来自光的偏振。与使用非相干和非偏振光相比，使用相干和偏振光可以实现图案的进一步的清晰度。
在某些示例中，代替分束器，来自图案照明系统的光可以经由两个隔离的光学介质例如两个光纤被传送穿过第二通道307，以形成来自图案照明系统405的光源的两个光束。在一些示例中，光学路径的远端端部309可以投影两个光束中的每一个，使得光看起来在光学路径的端部处穿过两个狭缝进行投影。在某些示例中，光可以经由单模光纤或单模光纤线缆从图案照明系统405被传送。
成像系统304可以从由光学传感器306提供的信号捕获图像信息。在某些示例中，成像系统304可以包括输入处理电路321、2D图像处理电路322、3D伪影电路323和显示接口电路324。输入处理电路321可以将图像信息分成第一图像信息和第二图像信息，第一图像信息与提供解剖目标302或目标区域303的2D图像相关联，第二图像信息与在解剖目标302或目标区域303的表面上捕获的干涉图案相关联。2D图像处理电路322可以处理第一图像信息以在显示接口电路324处被接收。3D伪影电路323可以处理第二图像信息以用于增强2D图像。例如，3D伪影电路323可以分析第二图像信息的干涉图案，包括将干涉图案与参考图案的偏差进行比较和测量，以提取关于解剖目标302或目标区域303的3D线索。分析可以使得显示接口电路324能够利用由3D伪影电路323提供的信息来增强从2D图像处理电路322接收的2D图像信息，以引导技术在新的2D图像中显出3D线索。在某些示例中，技术可以包括基于干涉图案改变或添加2D图像的阴影以提供增强的2D图像。增强的2D图像可以显示在成像系统的监视器325上，以帮助医用镜301的用户相对于解剖目标定位医用镜301的远端端部，以及相对于解剖目标定位治疗器械，以便有效且高效地使用治疗。
图3和图4示出了使用干涉产生投影在解剖目标上的光图案。产生图案的其他方法也是可能的，包括使用图案过滤器来投影光图案，使得图案过滤器可以阻挡光以将阴影和光的图案投射在解剖目标上。这样的过滤器可以包括包含图案过滤器的玻璃层。在一些示例中，系统可以包括扫描激光器，该扫描激光器可以按图案引导、扫描或连续移动激光束以将图案投影在解剖目标上。
图5一般地示出了增强解剖目标的2D图像以提供3D线索的示例方法。在501处，可以将光的第一指定图案投射在解剖目标上。当投射在指定距离处的指定表面上时，光的第一图案将具有指定特性，包括关于图案的线之间的距离的指定尺寸以及图案的亮区域和阴影区域或暗区域的指定粗细。在503处，可以由光学传感器检测和捕获第二图案。第二图案可以是第一图案从解剖目标的表面反射的结果。在505处，可以参照第一图案的特性分析第二图案的特性。分析可以包括创建第二图案与第一图案的特性偏差的数据点，以及从数据点得出解剖目标的深度和轮廓信息，使得可以检测和捕获关于解剖目标的表面的3D线索。这样的3D线索可以由成像系统得出并且可以用于提供解剖目标的增强的2D图像以显示给例如内窥镜或腹腔镜的用户。
在某些示例中，包括关于能够经由医用镜接近的解剖目标的附加的3D线索的增强的2D图像可以在腹腔镜或内窥镜过程进行时，在解剖目标和周围区域的可视化上进一步给予用户帮助。在某些示例中，用于在过程期间检测解剖目标的深度和轮廓的照明图案在增强的2D图像上不可见，以便不干扰可视化。增强的可视化可以帮助缩短过程，因为3D线索可以帮助用户减少过程的“看”动作的数目。在某些示例中，与用户使用解剖目标的非增强的2D图像相比，附加的3D线索可以帮助减少精神疲劳。在一些示例中，增强的2D图像的3D线索可以帮助提供更有效的治疗。例如，当经由激光治疗来治疗肿瘤时，可以通过在距肿瘤的解剖目标表面一定距离处并且与肿瘤表面成一定角度地施加激光治疗来控制治疗的深度。较不垂直于肿瘤表面的平面的角度通常导致所施加的治疗的深度较小。根据本主题提供的增强的2D图像可以提供关于肿瘤表面的轮廓和起伏的线索，使得可以调整治疗的角度以考虑轮廓和起伏，这可以引起治疗的更精确的施加。
注释和示例
在第一示例中，示例1，一种用于增强2维显示图像的图像增强系统，该图像增强系统可以包括：第一照明源；第一光学路径，其被配置成将由第一照明源提供的光的第一图案投影在解剖目标的表面处；传感器，其被配置成检测从表面反射的光并发送图像信号，图像信号基于从表面反射的光；以及成像系统，其被配置成接收图像信号，检测从表面反射的光的第二图案，并且基于光的第二图案来确定解剖目标的表面的轮廓信息。
在示例2中，示例1的主题包括，其中，第一照明源被配置成产生相干光。
在示例3中，示例1至2的主题包括，其中，第一照明源被配置成产生偏振光。
在示例4中，示例3的主题包括，其中，第一光学路径被配置成朝向表面投影至少两个不同的光束；并且其中，第一图案是至少两个不同的光束在表面处的干涉图案。
在示例5中，示例4的主题包括，其中，第一照明光源被配置成投影单个光束；并且其中，第一光学路径包括分束器，以提供至少两个不同的光束。
在示例6中，示例1至5的主题包括，其中，第一光学路径被配置成延伸穿过内窥镜或腹腔镜至解剖目标。
在示例7中，示例1至6的主题包括，其中，成像系统包括显示器；并且其中，成像系统被配置成经由显示器在视觉上区分轮廓信息。
在示例8中，示例7的主题包括，D表示包括具有基于轮廓信息的调整的着色的图像。
在示例9中，示例1至8的主题包括，第二照明光源，该第二照明光源被配置成经由第二光学路径用第二光照射解剖目标。
示例10是一种从解剖目标检测3维(3D)线索的方法，该方法包括：将光的第一图案投影在解剖目标上，光的第一图案被配置成响应于施加在参考目标上而显示指定特性；在光学传感器处检测从解剖目标重定向的光的第二图案；以及分析第二图案的特性与指定特性以提供解剖目标的轮廓信息。
在示例11中，示例10的主题包括，基于轮廓信息的D线索。
在示例12中，示例11的主题包括，D图像不包括第二图案。
在示例13中，示例10至12的主题包括，其中，投影第一图案包括用两个不同的偏振光束照射解剖目标。
在示例14中，示例13的主题包括，其中，第一图案由两个偏振光束中的第一光束与两个偏振光束中的第二光束的干涉形成。
在示例15中，示例14的主题包括，其中，偏振光是相干光。
在示例16中，示例10至15的主题包括，其中，投影第一图案包括产生激光束以形成第一图案。
在示例17中，示例16的主题包括，其中，投影第一图案包括使用位于内窥镜或腹腔镜的通道内的分束器将激光束分成两个激光束。
在示例18中，示例17的主题包括，其中，投影包括从内窥镜或腹腔镜的远端端部处的两个光学介质的端部将两个光束投影在解剖目标处。
在示例19中，示例10至18的主题包括，其中，检测第二图案包括在定位在内窥镜或腹腔镜的远端端部处的光学传感器处检测第二图案。
在示例20中，示例19的主题包括，其中，将光的第一图案投影在解剖目标上包括将来自第一照明源的光的第一图案投影在解剖目标上；并且其中，方法包括使用第二照明源照射目标，其中，第二照明源是内窥镜或腹腔镜系统的一部分。
示例21是至少一种包括指令的机器可读介质，该指令在由处理电路执行时使处理电路执行用于实现示例1至20中的任一示例的操作。
示例22是一种包括用于实现示例1至20中的任一示例的手段的装置。
示例23是一种用于实现示例1至20中的任一示例的系统。
示例24是一种用于实现示例1至20中的任一示例的方法。
以上详细描述包括对附图的参照，这些附图形成详细描述的一部分。通过说明的方式，附图示出了可以实践本发明的具体实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的元件之外的元件。然而，本发明人还预期了其中仅提供了示出的或描述的元件的示例。此外，本发明人还预期了使用关于特定示例(或者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出或描述的这些元件(或者这些元件的一个或更多个方面)的任何组合或置换的示例。
在本文档与通过引用并入的任何文档之间的用法不一致的情况下，则以本文档中的用法为准。
在本文档中，如在专利文献中常见的那样，不管“至少一个”或“一个或更多个”的任何其他实例或用法，使用术语“一个”或“一种”来包括一个或多于一个。在本文档中，除非以其他方式指示，否则术语“或”被用来指代非排他性的或，使得“A或B”包括“A而非B”、“B而非A”以及“A和B”。在本文档中，术语“包括”和“在……中”用作相应术语“包括”和“其中”的简明中文等同词。此外，术语“包括”和“包含”是开放式的，也就是说，包括除了这一术语之后列出的那些元件之外的元件的系统、设备、制品、组合物、制剂或过程仍被视为落入所讨论的主题的范围内。此外，如可能出现在权利要求中的，术语“第一”、“第二”和“第三”等仅被用作标记，并不旨在对其对象施加数值要求。
以上描述旨在是说明性的而非限制性的。例如，上述示例(或上述示例的一个或更多个方面)可以彼此组合地使用。在查看以上描述之后，例如本领域普通技术人员可以使用其他实施方式。提供摘要以使得读者能够快速确定技术公开内容的本质。提交摘要是基于以下理解：摘要将不会被用来说明或限制权利要求的范围或含义。此外，在以上详细描述中，各种特征可以被组合在一起以简化本公开内容。这不应当被解释成旨在：对于任何权利要求而言，未要求保护的公开特征均是必要的。而是，发明主题可能在于少于特定公开的实施方式的所有特征。所附各方面由此作为示例或实施方式被并入到具体实施方式中，其中，每个方面作为单独的实施方式独立存在，并且预期这样的实施方式可以以各种组合或排列的方式彼此进行组合。

Claims (20)

1.一种用于增强2维显示图像的图像增强系统，所述图像增强系统包括：
第一照明源；
第一光学路径，所述第一光学路径被配置成将由所述第一照明源提供的光的第一图案投影在解剖目标的表面处；
传感器，所述传感器被配置成检测从所述表面反射的光并发送图像信号，所述图像信号基于从所述表面反射的光；以及
成像系统，所述成像系统被配置成接收所述图像信号，检测从所述表面反射的光的第二图案，并且基于所述光的第二图案来确定所述解剖目标的表面的轮廓信息。
2.根据权利要求1所述的图像增强系统，其中，所述第一照明源被配置成产生相干光。
3.根据权利要求1所述的图像增强系统，其中，所述第一照明源被配置成产生偏振光。
4.根据权利要求3所述的图像增强系统，其中，所述第一光学路径被配置成朝向所述表面投影至少两个不同的光束；并且
其中，所述第一图案是所述至少两个不同的光束在所述表面处的干涉图案。
5.根据权利要求4所述的图像增强系统，其中，所述第一照明光源被配置成投影单个光束；并且
其中，所述第一光学路径包括分束器，以提供所述至少两个不同的光束。
6.根据权利要求1所述的图像增强系统，其中，所述第一光学路径被配置成延伸穿过内窥镜或腹腔镜至所述解剖目标。
7.根据权利要求1所述的图像增强系统，其中，所述成像系统包括显示器；并且
其中，所述成像系统被配置成经由所述显示器在视觉上区分所述轮廓信息。
8.根据权利要求7所述的图像增强系统，其中，所述成像系统还被配置成将所述图像的增强的二维(2D)表示投影在所述显示器上，并且其中，所述增强的2D表示包括具有基于所述轮廓信息调整的着色的所述图像。
9.根据权利要求1所述的图像增强系统，包括第二照明光源，所述第二照明光源被配置成经由第二光学路径用第二光照射所述解剖目标。
10.一种从解剖目标检测3维(3D)线索的方法，所述方法包括：
将光的第一图案投影在所述解剖目标上，所述光的第一图案被配置成响应于施加在参考目标上而显示指定特性；
在光学传感器处检测从所述解剖目标重定向的光的第二图案；以及
分析所述第二图案的特性与所述指定特性以提供所述解剖目标的轮廓信息。
11.根据权利要求10所述的方法，包括：基于使用基于所述轮廓信息的3D线索来显示所述解剖目标的增强的2维(2D)图像。
12.根据权利要求11所述的方法，其中，所述增强的2D图像不包括所述第二图案。
13.根据权利要求10所述的方法，其中，投影所述第一图案包括用两个不同的偏振光束照射所述解剖目标。
14.根据权利要求13所述的方法，其中，所述第一图案由两个偏振光束中的第一光束与所述两个偏振光束中的第二光束的干涉形成。
15.根据权利要求14所述的方法，其中，所述偏振光是相干光。
16.根据权利要求10所述的方法，其中，投影所述第一图案包括产生激光束以形成所述第一图案。
17.根据权利要求16所述的方法，其中，投影所述第一图案包括：使用位于内窥镜或腹腔镜的通道内的分束器将所述激光束分成两个激光束。
18.根据权利要求17所述的方法，其中，所述投影包括：从所述内窥镜或腹腔镜的远端端部处的两个光学介质的端部将两个光束投影在所述解剖目标处。
19.根据权利要求10所述的方法，其中，检测所述第二图案包括：在定位在内窥镜或腹腔镜的远端端部处的光学传感器处检测所述第二图案。
20.根据权利要求19所述的方法，其中，将光的第一图案投影在所述解剖目标上包括将来自第一照明源的光的第一图案投影在所述解剖目标上；并且
其中，所述方法包括使用第二照明源照射目标，其中，所述第二照明源是内窥镜或腹腔镜系统的一部分。
CN202180058116.9A 2020-08-05 2021-08-04 解剖目标的深度和轮廓检测 Pending CN116056621A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063061249P 2020-08-05 2020-08-05
US63/061,249 2020-08-05
PCT/US2021/044464 WO2022031793A1 (en) 2020-08-05 2021-08-04 Depth and contour detection for anatomical targets

Publications (1)

Publication Number Publication Date
CN116056621A true CN116056621A (zh) 2023-05-02

Family

ID=77499944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058116.9A Pending CN116056621A (zh) 2020-08-05 2021-08-04 解剖目标的深度和轮廓检测

Country Status (5)

Country Link
US (1) US20220039632A1 (zh)
JP (1) JP2023536642A (zh)
CN (1) CN116056621A (zh)
DE (1) DE112021004183T5 (zh)
WO (1) WO2022031793A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116211260A (zh) * 2023-05-09 2023-06-06 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557324A (en) * 1992-10-29 1996-09-17 The Johns Hopkins University Polorization viewer
AU2015367283B2 (en) * 2014-12-14 2021-05-20 Cylite Pty Ltd Multichannel optical receivers
WO2019176121A1 (ja) * 2018-03-16 2019-09-19 株式会社ニコン 構造化照明装置、構造化照明顕微鏡
JP2021529053A (ja) * 2018-06-28 2021-10-28 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 腹腔鏡検査における血流及び組織灌流を無染料で視覚化するための方法及びシステム
US20200015904A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls
JP7424477B2 (ja) * 2020-05-12 2024-01-30 日本電信電話株式会社 ３次元計測システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116211260A (zh) * 2023-05-09 2023-06-06 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Also Published As

Publication number Publication date
WO2022031793A1 (en) 2022-02-10
DE112021004183T5 (de) 2023-06-29
JP2023536642A (ja) 2023-08-28
US20220039632A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP4739242B2 (ja) 埋込構造物の画像化
CN110638527B (zh) 基于光学相干层析增强现实的手术显微成像系统
US10543045B2 (en) System and method for providing a contour video with a 3D surface in a medical navigation system
JP4524353B2 (ja) 検査システムおよび検査システムの作動方法
US7794388B2 (en) Method and apparatus for generating at least one section of a virtual 3D model of a body interior
WO2018171851A1 (en) A 3d reconstruction system
US20110178395A1 (en) Imaging method and system
JP2010068865A (ja) 画像診断装置
CN109561810B (zh) 内窥镜设备和用于内窥镜检查的方法
EP3527123B1 (en) Image processing method and apparatus using elastic mapping of vascular plexus structures
US7162292B2 (en) Beam scanning probe system for surgery
JP7368597B2 (ja) レーザインターロック付き内視鏡レーザシステム
JP5527841B2 (ja) 医療画像処理システム
CN116056621A (zh) 解剖目标的深度和轮廓检测
JPH0919403A (ja) 内視鏡用デバイスおよび内視鏡装置
Dwyer et al. A miniaturised robotic probe for real-time intraoperative fusion of ultrasound and endomicroscopy
WO2017139724A1 (en) Systems and methods for posterior segment visualization and surgery
JP6445124B2 (ja) レーザ治療システム
JPWO2017217498A1 (ja) 内視鏡用拡張装置
Clancy et al. An endoscopic structured lighting probe using spectral encoding
JP2012010776A (ja) 断層画像処理装置及び方法、並びに光干渉断層画像診断装置
US20220015857A1 (en) Illumination corrected near-infrared (nir) imaging for image guided surgery
KR20170039784A (ko) 피부 진단을 위한 광 결맞음 단층 촬영장치
CN113164022B (zh) 用于图像引导外科手术的照射校正的近红外(nir)成像
JP7234461B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination