CN110381815A - 血管的检测 - Google Patents

血管的检测 Download PDF

Info

Publication number
CN110381815A
CN110381815A CN201880016095.2A CN201880016095A CN110381815A CN 110381815 A CN110381815 A CN 110381815A CN 201880016095 A CN201880016095 A CN 201880016095A CN 110381815 A CN110381815 A CN 110381815A
Authority
CN
China
Prior art keywords
blood vessel
video data
heart rate
controller
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880016095.2A
Other languages
English (en)
Other versions
CN110381815B (zh
Inventor
J.K.巴拉尔
M.埃罗菲耶夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verily Life Sciences LLC
Original Assignee
Verily Life Sciences LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Verily Life Sciences LLC filed Critical Verily Life Sciences LLC
Publication of CN110381815A publication Critical patent/CN110381815A/zh
Application granted granted Critical
Publication of CN110381815B publication Critical patent/CN110381815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/3209—Incision instruments
    • A61B17/3211—Surgical scalpels, knives; Accessories therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

用于检测血管的系统包括：图像传感器，被耦合以生成包括血管的图像序列的视频数据；以及心率监测器，用于测量患者的心率和生成心率数据。控制器耦合到图像传感器以接收视频数据，并且耦合到心率监测器以接收心率数据。控制器包括当由控制器执行时使控制器执行包括使用心率数据隔离视频数据中的血管的局部运动的操作的逻辑。控制器还计算血管掩模(包括视频数据和血管的局部运动之间的差异)和组合视频数据(包括视频数据和血管掩模)。

Description

血管的检测
相关申请的交叉引用
本申请要求2017年3月22日提交的美国临时申请号62/474,774的权益，其全部内容通过引用并入本文。本申请还涉及2018年3月16日提交的美国非临时申请号15/923,399，其全部内容通过引用并入本文。
技术领域
本公开总地涉及外科手术系统，并且具体地但非排他地涉及计算机辅助外科手术。
背景技术
近年来，计算机辅助外科手术已经成为克服现有外科手术过程限制的流行方式，并且可能增强进行外科手术的医生的能力。例如，在没有计算机化设备的情况下，由于医生的手的大小和使用工具的灵活性有限，他们可能被限制在他们可以操作/检查的地方。这抑制了医生在小的或深的内部组织上操作的能力。
在开放外科手术中，由于计算机引导的仪器的更平滑的反馈辅助运动，该计算机引导的仪器可以取代传统的(手持式)工具来执行像是肋骨扩散等操作。已经示出了像这样的机器人系统可以减少或消除通常与侵入性外科手术相关的组织创伤。此外，这些仪器可能会阻止医生在操作时造成意外错误。
然而，并非所有外科手术的进步都必然是机械的；诊断方法可用于在外科医生工作时通知他们。例如，可以用荧光染料等标记特定组织类型。然而，这些染料通常是非特异性的(照射各种组织)并且可能对身体有一些毒性。因此，在计算机引导外科手术领域存在进步空间。
附图说明
参考以下附图描述本发明的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个视图中指代相同的部分。附图不一定按比例绘制，而是将重点放在说明所描述的原理上。
图1A是根据本公开的实施例的用于检测血管的示例性外科手术系统。
图1B是根据本公开的实施例的用于检测血管的示例性外科外科手术系统。
图2是根据本公开的实施例的可以在图1B的外科手术系统中使用的示例性内窥镜。
图3是根据本公开的若干实施例的描述基于运动的血管检测方法的流程图。
具体实施方式
本文描述了用于检测血管的装置和方法的实施例。在以下描述中，阐述了许多具体细节以提供对实施例的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下或者利用其他方法、组件、材料等来实践本文描述的技术。在其他情况下，未详细示出或描述公知的结构、材料或操作以避免模糊某些方面。
贯穿本说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，贯穿本说明书在各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指的是同一实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
即使在表面，血管(动脉、毛细血管和静脉)在外科手术过程中并不总是清晰可见。如果外科医生靠近血管进行操作，则存在意外出血的风险。这种损害可能会危及上述过程，后果可能会很严重。如果外科医生立即注意到损伤，他/她可以使用凝固(coagulation)或夹闭(clipping)，但这两种选择都是耗时的，并且凝固(例如，使用单极或双极设备)引起炭化。本公开旨在突出显示来自内窥镜、外科手术机器人或其他辅助外科手术设备的视频流(外科医生看到的)上的血管，从而降低意外损伤血管的风险。
一般而言，此处的系统将(1)来自内窥镜的视频流以及(2)经历该过程的患者的心率(例如，来自心率监测器)作为输入，并且输出相同的但是突出显示血管的视频流。在许多实施例中，因为血管的运动——否则不能被感知——被放大，并且其频率不是心率的其他运动(相机抖动、患者移动等)不被放大，所以使血管可见。然后可以使用放大的血管运动来形成血管的掩模(mask)，并且将掩模覆盖在医生正用于执行操作的视频流上。这样的增强视频旨在在手术期间代替原始视频呈现给外科医生，从而降低了对血管的意外损伤的风险。
在源视频上覆盖血管掩模的一个优点是，在真阳性警报的情况下(即，该方法正确地突出显示血管)，外科医生将不会忽略静脉/动脉。在假阴性的情况下(即，没有突出显示血管)，外科医生仍然可以看到通常的外科手术区域并且可以如同他/她在没有增强现实的情况下所做的那样来评估情况——也就是说在本公开中描述的方法没有去除或隐藏外科医生在视觉上可用的任何信息。在假阳性的情况下(即，突出显示不存在的血管)，外科医生可以将掩模解释为不可能并且忽略它和/或禁用覆盖。因此，该系统不会产生新的风险，同时降低现有的手术风险。通常，外科医生可以根据他/她自己的解剖学知识来查看结果，并且该系统用于指导。
图1A是根据本公开的实施例的用于检测血管的示例性外科手术系统100A。手术系统100A包括外科手术机器人101、图像传感器103(例如，摄像机)、心率监测器105、计算机107(具有控制器，在一些实施例中，其可以包括处理器和存储器)以及显示器109(显示图像111，其示出突出显示的血管)。
如图所示，图像传感器103被耦合以生成包括血管图像序列的视频数据，因为它位于正在进行外科手术的患者的开放胸部上方。因此，图像传感器103实时捕获外科医生和手术机器人101所看到的图像。然而，如果有利的话，在一些实施例中，图像传感器103可以吸收不可见光以收集不可见的图像序列。例如，如果将IR发射染料注入患者体内，这可以帮助区分血管。心率监测器105被耦合以接收患者的心率并生成心率数据。在所描绘的实施例中，心率监测器105耦合到患者的手指以光学地测量心率(例如，光电容积脉搏波信号)；然而，在其他实施例中，可以以其他方式监测心率，例如使用图像传感器103通过观察心脏搏动或经由电脉冲(测量心脏的电脉冲)起心率监测器105的作用。
控制器(设置在计算机107中)耦合到图像传感器103以接收视频数据，并且耦合到心率监测器105以接收心率数据。在所描绘的实施例中，图像传感器103和心率监测器105直接耦合(有线连接)到计算机107；但是在其他实施例中，可以存在中间的电路，并且可以无线地广播信号。类似地，在一些实施例中，控制器可以是分布式系统的一部分(例如，可以在计算中使用许多处理器和存储器单元来处理图像处理)。在所描绘的实施例中，控制器使用心率数据隔离视频数据中的血管的局部运动。在一些实施例中，局部运动包括具有与患者的心率基本相同的时间周期的运动。然后，控制器可以计算血管掩模，其中血管掩模包括视频数据(由图像传感器103捕获)和血管的局部运动之间的差异。然后，控制器可以计算组合视频数据，其中组合视频数据包括视频数据和血管掩模。
如图所示，然后可以将组合视频数据发送到显示器109，显示器109耦合到控制器(在计算机107中)以接收组合视频数据。响应于接收到组合视频数据，显示器109可以显示图像序列(视频流)，其中血管掩模叠加在图像序列上。这被描绘为图像111，其中清楚地显示血管(实线)但是器官不太可见(虚线)。血管掩模可以施加在图像序列上，并且通过使用诸如绿色(在人体中不常见的)等的亮色来强调。相关领域的普通技术人员将理解，根据本公开的教导，存在任何数量的强调血管的方式。
在一些实施例中(例如，在被操作的患者不完全静止的情况下)，控制器可以进一步包括当由控制器执行时使控制器从视频数据去除整体(bulk)运动(例如，具有比局部运动更大幅度的运动)的逻辑)。这可以通过比较图像序列中的连续图像(构建时间邻域)以及去除连续图像之间的幅度大于阈值幅度的运动来完成。为了从输入视频流中去除整体运动(例如，呼吸、相机运动)，例如，可以对输入视频流的每个帧：(1)构造其时间邻域。对于所有实时应用，可以使用左侧邻域，以便引入最小延迟时间(即，仅使用感兴趣帧之前的帧)。由于心率通常为60-100bpm，因此几秒钟的时间邻域就足够了。并且(2)借用在具有整体(例如，>16×16像素)的视频编码器中使用的运动估计方法来扭曲当前帧的邻域中的所有帧。这样可以去除整体运动，但可以保持较小规模的运动。可替换地或另外地，处理器可以将视频数据转换为低分辨率视频数据(其中低分辨率视频数据不显示血管的局部运动)，并且从视频数据去除低分辨率视频数据中所示的运动。
在一些实施例中，控制器还可以对血管掩模进行滤波以去除血管局部运动中的异常。例如，可以通过神经网络(例如，利用径向基函数、自组织网络、学习向量量化等)来执行滤波，其中神经网络已被训练以识别血管(例如，血管的树状结构特性)。
在所描绘的实施例中，仅示出了外科手术机器人101的一部分(可能有设置在页面外的其他部分)。而且，外科手术机器人101具有两个臂：一个具有图像传感器103，一个具有手术刀。然而，在其他实施例中，外科手术机器人101可具有任何数量的具有各种器械(夹子、镊子等)的臂。如图所示，臂可以具有多个具有多个自由度的关节，使得系统可以以与外科医生一样多或更多的自由度自由移动。另外，外科手术机器人101可以通过设置在机器人101的臂/器械中的压力/应变/应力传感器向外科医生提供触觉反馈。此外，可以使用多个图像传感器103来形成图像序列；图像可以缝合在一起等。多个心率监测器或不同类型的心率监测器可用于在明显错误的心率测量的情况下向系统提供冗余数据(或者用于对多个测量值进行平均以确保数据稳定性)。
图1B是根据本公开的实施例的用于检测血管的示例性外科手术系统100B。外科手术系统100B在许多方面类似于图1A中的外科手术系统100A；然而，一个主要差异是使用内窥镜121代替外科手术机器人来提供患者血管的图像。此外，内窥镜121可以将图像无线传输到控制器(在计算机107中)以提高外科医生的移动性/灵活性。内窥镜121可以插入患者体内(如图所示)以对小区域成像并进行小的外科手术。如本领域普通技术人员将理解的，系统100B示出了所公开的血管检测系统和方法与各种外科手术过程和器械兼容。
图2是根据本公开的实施例的可以在图1B的外科手术系统100B中使用的示例性内窥镜221。内窥镜221包括光纤电缆223、主体225、图像传感器227、光源231和功率转换器233。
内窥镜系统221包括近端(手持)和远端(最靠近图像传感器227的光纤电缆223的末端)。光源231光学耦合到光纤电缆223的近端以将可见光229发射到光纤电缆223中，以从远端输出。图像传感器227耦合到光纤电缆223的远端并且定位成接收可见光229的反射作为反射的可见光。然后，图像传感器227生成可以形成视频数据的一系列图像。然后将该视频数据发送到计算机系统241，计算机系统241可以包括具有处理器243的控制器。计算机系统241可以在内窥镜221的内部或外部。内窥镜221还耦合到数据输入/输出245(以发送图像数据)和功率输入243以为内窥镜221供电。
图3是描述根据本公开的若干实施例的基于运动的血管检测方法的流程图。在方法300中出现的一些或所有处理框的顺序不应被视为限制性的。相反，受益于本公开的本领域普通技术人员将理解，方法300中的一些可以以未示出的或甚至并行的各种顺序执行。此外，可以在本公开的其他实施例中添加或去除处理框。如图所示，方法300可以至少部分是循环的。
方框301示出了将视频流输入到控制器/处理器中。在一个实施例中，这可以包括用摄像机捕获图像序列(包括血管)，其中摄像机从图像序列生成视频数据。然后将视频数据发送到处理装置。
方框303示出了输入患者的心率。在一个实施例中，这可以包括用心率监测器记录患者的心率，其中心率监测器根据患者的心率生成心率数据。心率监测器可以将心率数据发送到处理器。
方框305描述了整体运动消除。在许多实施例中，整体运动消除是有用的，因为患者或相机可能会移动并因此改变血管的视野。一般而言，整体运动具有比局部运动更大的运动幅度(例如，如果相机被撞击，则图像将比血管脉动时更多地移动)。本领域普通技术人员可以理解，可以以多种方式实现整体运动消除，包括但不限于分析所捕获的视频中的连续帧的子集之间的移动，或者将视频数据转换为低分辨率视频数据。(其中低分辨率视频数据不显示血管的局部运动)并从视频数据中去除低分辨率视频数据中所示的运动。也可以使用其他已知的视频稳定技术。
方框307显示了局部血管运动的隔离。在分别利用处理器接收来自摄像机的视频数据和来自心率监测器的心率数据之后，处理器可以使用患者的心率来隔离视频数据中的血管的局部运动。例如，心率可以用于识别以与患者的心跳基本相同的速率脉动/移动的图像部分。换句话说，局部运动包括具有与患者的心率基本相同的时间周期性的运动。
如图所示，方框305包括放大方框323。在一些实施例中，可以放大局部血管运动以产生精确的血管图。例如，在隔离局部运动之前，可以利用拉格朗日运动检测或欧拉运动检测中的至少一个来放大局部运动。因此，因为血管的运动——否则不能被感知——被放大，所以使血管可见。频率放大范围可以设置为患者的心率+/-心率监测器的准确度、+/-患者心率的预期可变性、或一些其他余量。这避免了不是由心脏跳动引起的运动的放大。
方框309示出了计算血管掩模。在一些实施例中，血管掩模可以是视频数据和血管的局部运动之间的差异。因此，为了计算血管掩模，处理器可以取基本上以患者的心率节律地脉动的视频数据的一部分，并且减去图像的其他部分以产生仅显示脉动的图像部分的掩模。在一个实施例中，脉动可以在-60-80bpm(近似人的心率)发生，但是这可以根据施用的药物、患者的适应性等而改变。
方框311描述了对血管掩模进行滤波。因为可能存在以接近患者心率的周期性移动的图像部分(不是血管)，或者甚至是来自图像传感器的图像伪影，所以对血管掩模进行滤波。在一些实施例中，这可以通过神经网络321来实现，使得神经网络321去除图像中不类似于血管的树状结构的部分。类似地，可以使用高通或低通滤波器来去除图像中不以适当速度脉动/移动的部分；这种滤波可以在空间(例如，太大而不是血管的结构)和时间(例如，脉动太慢而不是血管的结构)域中发生。然而，本领域普通技术人员将理解，根据本公开的教导，可以使用其他滤波技术来对血管掩模进行滤波。而且，可以同时使用各种滤波技术来提高处理效率等。例如，可以在应用神经网络321之前使用高通和低通滤波器，因此使用非常小的计算功率去除了明显错误的伪像。此外，可以利用来自其他外科手术的血管图像训练神经网络321，以使神经网络321适于仅仅看到血管的局部视图。此外，可以使用人来校正神经网络321，使其被训练为识别血管。
方框313示出了在视频流上覆盖血管掩模。在一个实施例中，这可以涉及计算组合视频数据(其中组合视频数据包括视频数据和血管掩模)并且经由USB、HDMI等将组合视频数据输出到显示器。在一个实施例中，使用α混合来计算组合视频数据。响应于显示器接收组合视频数据，显示器显示图像序列，其中血管掩模叠加在图像序列上。在一些实施例中，如果对于外科手术过程的一部分来说，覆盖层分散注意力/笨重，则外科医生可以选择从图像显示器去除覆盖层的选项。响应于来自外科医生的这种输入，可以从显示器上显示的图像序列(视频)中去除血管掩模。在一些实施例中，系统可以是语音响应的，以便外科医生可以说出命令并且系统将响应。例如，外科医生可能会说出“好的，外科手术系统，关闭血管覆盖层”，系统将关闭覆盖层。这可以允许外科医生在不使用他/她的手的情况下改变显示器偏好。
在一些实施例中，为了确保实时，可以使用传统光流或其他运动估计方法将“过去”掩模应用于当前帧(在“过去”邻域上进行计算之后)以考虑短期运动。这是因为实时图像捕获通常发生在60fps上，但心率仅为70bpm左右。
以计算机软件和硬件的形式描述上述处理。所描述的技术可以构成在有形或非暂时性机器(例如，计算机)可读存储介质中实现的机器可执行指令，所述指令当由机器执行时将使机器执行所描述的操作。另外，这些处理可以实现在例如专用集成电路(“ASIC”)或其他的硬件中。
有形机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)可访问的非暂时形式提供(即，存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。
本发明的所示实施例的以上描述，包括说明书摘要中描述的内容，并非旨在穷举或将本发明限制于所公开的精确形式。尽管出于说明性目的在本文中描述了本发明的特定实施例和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内可以进行各种修改。
根据以上详细描述，可以对本发明进行这些修改。以下权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施例。相反，本发明的范围完全由所附权利要求确定，所述权利要求应根据权利要求解释的既定原则来解释。

Claims (20)

1.一种用于检测血管的系统，包括：
图像传感器，被耦合以生成包括血管的图像序列的视频数据；
心率监测器，用于测量患者的心率和根据心率生成心率数据；以及
控制器，耦合到所述图像传感器以接收视频数据，并且耦合到所述心率监测器以接收所述心率数据，其中所述控制器包括当由所述控制器执行时使所述控制器执行操作的逻辑，所述操作包括：
使用心率数据隔离所述视频数据中的血管的局部运动；
计算包括所述视频数据和所述血管的局部运动之间的差异的血管掩模；以及
计算包括所述视频数据和所述血管掩模的组合视频数据。
2.如权利要求1所述的系统，还包括：显示器，耦合到所述控制器以接收所述组合视频数据，并且响应于接收到所述组合视频数据来显示图像序列，其中所述血管掩模叠加在所述图像序列上。
3.如权利要求1所述的系统，其中所述图像传感器被包括在用于机器人外科手术的系统或内窥镜系统中的至少一个中。
4.如权利要求1所述的系统，其中，所述控制器还包括当由所述控制器执行时使所述控制器执行操作的逻辑，所述操作包括：
从所述视频数据中去除整体运动。
5.如权利要求4所述的系统，其中从所述视频数据中去除整体运动包括以下中的至少一个：
比较所述图像序列中的连续图像，以及去除连续图像之间的具有大于阈值幅度的幅度的运动；或者
将所述视频数据转换成低分辨率视频数据，其中所述低分辨率视频数据不显示所述血管的局部运动，并且从所述视频数据中去除在所述低分辨率视频数据中显示的运动。
6.如权利要求1所述的系统，其中，所述控制器还包括当由所述控制器执行时使所述控制器执行操作的逻辑，所述操作包括：
对所述血管掩模进行滤波以去除所述血管的局部运动中的异常。
7.如权利要求6所述的系统，其中所述滤波由神经网络执行，并且其中所述神经网络已被训练以识别所述血管。
8.如权利要求1所述的系统，其中所述局部运动包括具有与所述患者的心率基本相同的时间周期的运动。
9.如权利要求8所述的系统，其中，所述控制器还包括当由所述控制器执行时使所述控制器执行操作的逻辑，所述操作包括：
在隔离所述血管的局部运动之前，利用拉格朗日运动检测或欧拉运动检测中的至少一个来放大所述局部运动。
10.如权利要求1所述的系统，其中所述图像传感器吸收不可见光以收集包括血管的图像序列。
11.一种基于运动的检测血管的方法，包括：
利用摄像机捕获包括血管的图像序列，其中所述摄像机根据所述图像序列生成视频数据；
利用心率监测器记录患者的心率，其中所述心率监测器根据所述患者的心率生成心率数据；
利用处理器分别从所述摄像机接收所述视频数据和从所述心率监测器接收所述心率数据；
利用所述处理器使用所述患者的心率来隔离所述视频数据中的血管的局部运动；
利用所述处理器计算血管掩模，其中所述血管掩模包括所述视频数据和所述血管的局部运动之间的差异；以及
计算组合视频数据，其中所述组合视频数据包括所述视频数据和所述血管掩模。
12.如权利要求11所述的方法，还包括：将组合视频数据输出到显示器，其中，响应于所述显示器接收组合视频数据，所述显示器显示图像序列，其中所述血管掩模叠加在所述图像序列上。
13.如权利要求12所述的方法，还包括：响应于来自用户的输入，从显示器上显示的图像序列中去除血管掩模。
14.如权利要求11所述的方法，其中捕获图像序列包括使用设置在内窥镜或外科手术机器人中的至少一个中的图像传感器。
15.如权利要求11所述的方法，还包括从所述视频数据中去除整体运动。
16.如权利要求15所述的方法，其中，去除整体运动包括以下中的至少一个：
比较所述图像序列中的连续图像，以及去除具有大于阈值幅度的幅度的运动；或者
将所述视频数据转换成低分辨率视频数据，其中所述低分辨率视频数据不显示所述血管的局部运动，并且从所述视频数据中去除在所述低分辨率视频数据中显示的运动。
17.如权利要求11所述的方法，还包括对所述血管掩模进行滤波以去除所述血管的局部运动中的异常。
18.如权利要求17所述的方法，其中，通过高通滤波器、低通滤波器或神经网络中的至少一个来执行所述滤波，其中所述神经网络已被训练以识别所述血管的树状结构特性。
19.如权利要求11所述的方法，其中，使用α混合来计算所述组合视频数据。
20.如权利要求11所述的方法，其中，所述局部运动包括具有与所述患者的心率基本相同的时间周期的运动。
CN201880016095.2A 2017-03-22 2018-03-19 血管的检测 Active CN110381815B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762474774P 2017-03-22 2017-03-22
US62/474,774 2017-03-22
PCT/US2018/023173 WO2018175339A1 (en) 2017-03-22 2018-03-19 Detection of blood vessels

Publications (2)

Publication Number Publication Date
CN110381815A true CN110381815A (zh) 2019-10-25
CN110381815B CN110381815B (zh) 2022-06-07

Family

ID=61966055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880016095.2A Active CN110381815B (zh) 2017-03-22 2018-03-19 血管的检测

Country Status (5)

Country Link
US (1) US10600183B2 (zh)
EP (1) EP3600006A1 (zh)
JP (1) JP7134985B2 (zh)
CN (1) CN110381815B (zh)
WO (1) WO2018175339A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
US10108325B2 (en) 2014-12-11 2018-10-23 Rdi Technologies, Inc. Method of analyzing, displaying, organizing and responding to vital signals
US11406255B2 (en) * 2018-01-03 2022-08-09 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
US11423551B1 (en) * 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
US11918423B2 (en) * 2018-10-30 2024-03-05 Corindus, Inc. System and method for navigating a device through a path to a target location
US11527265B2 (en) * 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
CN115379791A (zh) 2020-02-14 2022-11-22 艾科缇弗外科公司 用于处理激光散斑信号的系统和方法
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
JP2022180108A (ja) * 2021-05-24 2022-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331550A (en) * 1991-03-05 1994-07-19 E. I. Du Pont De Nemours And Company Application of neural networks as an aid in medical diagnosis and general anomaly detection
US20070135705A1 (en) * 2005-12-08 2007-06-14 Lorenz Christine H System and method for image based physiological monitoring of cardiovascular function
US20160262625A1 (en) * 2013-11-01 2016-09-15 Koninklijke Philips N.V. Therapy system with a patient interface for obtaining a vital state of a patient
WO2016194718A1 (ja) * 2015-06-05 2016-12-08 ソニー株式会社 画像処理装置、画像処理方法、および手術システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558320B2 (en) 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US8983158B2 (en) 2009-07-31 2015-03-17 Siemens Medical Solutions Usa, Inc. System for performing coronary digital subtraction angiography (DSA)
JP5011455B1 (ja) * 2011-06-30 2012-08-29 医療法人社団神▲崎▼循環器クリニック Ｘ線診断装置
US8897522B2 (en) * 2012-05-30 2014-11-25 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
US20140313303A1 (en) 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
US20150257653A1 (en) 2014-03-14 2015-09-17 Elwha Llc Device, system, and method for determining blood pressure in a mammalian subject
US9854973B2 (en) 2014-10-25 2018-01-02 ARC Devices, Ltd Hand-held medical-data capture-device interoperation with electronic medical record systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5331550A (en) * 1991-03-05 1994-07-19 E. I. Du Pont De Nemours And Company Application of neural networks as an aid in medical diagnosis and general anomaly detection
US20070135705A1 (en) * 2005-12-08 2007-06-14 Lorenz Christine H System and method for image based physiological monitoring of cardiovascular function
US20160262625A1 (en) * 2013-11-01 2016-09-15 Koninklijke Philips N.V. Therapy system with a patient interface for obtaining a vital state of a patient
WO2016194718A1 (ja) * 2015-06-05 2016-12-08 ソニー株式会社 画像処理装置、画像処理方法、および手術システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUAN LIU ET AL: "Motion analysis and removal in intensity variation based OCT angiography", 《BIOMEDICAL OPTICS EXPRESS》 *

Also Published As

Publication number Publication date
JP2020514882A (ja) 2020-05-21
EP3600006A1 (en) 2020-02-05
US10600183B2 (en) 2020-03-24
WO2018175339A1 (en) 2018-09-27
CN110381815B (zh) 2022-06-07
US20180276823A1 (en) 2018-09-27
JP7134985B2 (ja) 2022-09-12

Similar Documents

Publication Publication Date Title
CN110381815A (zh) 血管的检测
US11080854B2 (en) Augmented surgical reality environment
US11517183B2 (en) Surgical system for detecting gradual changes in perfusion
US10588705B2 (en) Augmented surgical reality environment for a robotic surgical system
CN108990412B (zh) 补偿生理噪声的用于腔网络导航的机器人系统
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
WO2013141067A1 (ja) 画像生成装置
US11354818B2 (en) Medical imaging system, method and computer program product
US20200084379A1 (en) Control apparatus, control method, and program
JP2019502419A (ja) 表層下血液の検出のためのシステムと方法
JP2023088989A (ja) 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化（ｍｓｐｖ）
CN111801704A (zh) 用于使用血管特征检测异常组织的系统和方法
JP7457415B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
JP2017158892A (ja) 医用画像処理装置および医用画像処理方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7146318B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
Adams et al. Algorithm-based motion magnification for video processing in urological laparoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant