CN115379791A - 用于处理激光散斑信号的系统和方法 - Google Patents

用于处理激光散斑信号的系统和方法 Download PDF

Info

Publication number
CN115379791A
CN115379791A CN202180028101.8A CN202180028101A CN115379791A CN 115379791 A CN115379791 A CN 115379791A CN 202180028101 A CN202180028101 A CN 202180028101A CN 115379791 A CN115379791 A CN 115379791A
Authority
CN
China
Prior art keywords
function
signal
laser speckle
speckle
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180028101.8A
Other languages
English (en)
Inventor
约翰·奥伯林
伊曼纽尔·德马约
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecotifer Surgical Co
Original Assignee
Ecotifer Surgical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecotifer Surgical Co filed Critical Ecotifer Surgical Co
Priority claimed from PCT/US2021/018008 external-priority patent/WO2021163603A1/en
Publication of CN115379791A publication Critical patent/CN115379791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3618Image-producing devices, e.g. surgical cameras with a mirror
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Endoscopes (AREA)
  • Laser Surgery Devices (AREA)
  • Optical Communication System (AREA)
  • Lasers (AREA)

Abstract

本公开提供了用于处理激光散斑信号的系统和方法。该方法可以包括获得来自使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案的激光散斑信号和对应于对象的身体的生物材料或对象的体内的生物材料的运动的参考信号。该方法可以包括使用至少对应于激光散斑信号的第一函数和对应于参考信号的第二函数来计算一个或多个测量值。该方法可以包括部分地基于函数空间的一个或多个测量值生成输出信号,并且使用输出信号辅助在对象的组织区域上或附近的外科手术。

Description

用于处理激光散斑信号的系统和方法
交叉引用
本申请要求提交于2020年2月14日、序列号为62/976,669的美国临时专利申请,提交于2020年5月8日、序列号为63/021,914的美国临时专利申请和提交于2020年5月8日、序列号为63/022,147的美国临时专利申请的优先权,其全部内容通过引用合并于此。
背景技术
激光散斑对比成像(LSCI)是一种光学技术,该光学技术使用激光照明漫反射表面以产生称为散斑图案的视觉效果。包含散斑图案的图像帧可以被分析以计算目标区域或表面的动态量和结构量。
发明内容
激光散斑图案的图像可以在一定数目的帧上被分析以量化和/或观察目标区域的一个或多个物理、化学、结构、形态、生理或病理特征和/或属性。用于激光散斑成像处理的传统系统和方法可以分析有限数目的帧上的激光散斑信号,这可以是计算密集型的。本公开的系统和方法可以被实现成处理无限数目的帧上获得的激光散斑信号,以便量化和/或观察目标区域的各种物理、化学、结构、形态、生理或病理特征和/或属性。在无限数量的帧上的处理可以减少计算开销,并且可以通过动态调整不同可计算值的权重和优先级来提供处理散斑图像帧的更准确、实时的方法。本公开的系统和方法还可以被实现成验证和/或增强目标区域的不同可量化的或可观察的特征和/或属性。本文公开的激光散斑处理系统和方法可以通过比较信号和一个或多个参考信号来部分地分析或处理激光散斑信号。本公开的系统和方法可以允许医疗操作者确定激光散斑图案中的哪些特征可归因于生物材料的运动以及激光散斑图案中的哪些特征可归因于外部物理运动,该外部物理运动不一定是与这种生物材料的这种运动相关联的。本公开的系统和方法可以允许医疗操作者区分由各种材料和/或物体引起的不同运动,并过滤或增强激光散斑图案、信号或图像的不同部分或特征,以对目标区域的特征或属性进行更准确的评估或观察。本公开的系统和方法可用于消除在尝试处理或分析激光散斑图案、图像和/或信号时可以生成的一个或多个假阳性或假阴性。本公开的系统和方法还可以用于更准确地解释激光散斑图案、图像和/或信号,并且用于检测在激光散斑图案或手术场景的其他图像中不可见或不易察觉的关键结构。作为额外的好处,本公开的系统和方法可以被实现成确定医疗器械或手术工具是否正在接触目标区域,当工具正在接触目标区域时估计施加的力的大小,或计算由外科医生或机器人正在处理的线中的张力的大小。
在一方面,本公开提供了一种用于处理激光散斑信号的方法。该方法可以包括:(a)获得(1)来自使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中的激光散斑信号和(2)对应于对象的身体的生物材料或对象的体内的生物材料的运动的参考信号;(b)至少部分地基于至少对应于该激光散斑信号的第一函数来定义函数空间;(c)计算该函数空间的一个或多个测量值,其中该一个或多个测量值部分地基于对应于该参考信号的第二函数来定义;(d)部分地基于该函数空间的一个或多个测量值来生成输出信号;以及(e)使用该输出信号辅助在对象的组织区域上或附近的外科手术。
在一些实施方式中,函数空间对应于与使用至少一个激光光源生成的一组激光散斑信号相关联的一组函数。在一些实施方式中,该组激光散斑信号包括该激光散斑信号。在一些实施方式中,激光散斑图案是使用多个激光光源生成的,该多个激光光源被配置成生成具有不同波长的多个激光束或脉冲。在一些实施方式中,多个激光束或脉冲具有约100纳米(nm)至约1毫米(mm)之间的波长。
在一些实施方式中,函数空间包括Lebesgue函数空间。在一些实施方式中,第一函数和第二函数中的至少一个包括无限维向量函数,该无限维向量函数包括位于无限维向量空间中的一组输出值。
在一些实施方式中,当多个帧被实时接收或处理时,在该多个帧上获得激光散斑信号。
在一些实施方式中,函数空间的一个或多个测量值部分地通过比较第一函数和第二函数来导出。在一些实施方式中,比较第一函数和第二函数包括将激光散斑信号投射到参考信号上,或者将参考信号投射到激光散斑信号上,以将与激光散斑信号相关联的第一组像素值和与参考信号相关联的第二组像素值进行比较。在一些实施方式中,比较第一函数和第二函数包括使用第一函数和第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。在一些实施方式中,比较第一函数和第二函数包括使用一个或多个信号或时序比较器来确定第一函数和第二函数之间的相关量或相关程度。在一些实施方式中,第一函数和第二函数的比较在时域或频域中执行。在一些实施方式中,第一函数和第二函数的比较发生在包括激光散斑图案的激光散斑图像的至少一部分上,该部分对应于对象的组织区域中或附近的一个或多个感兴趣区域。在一些实施方式中,对于为包括激光散斑图案的激光散斑图像捕获的每个新帧,第一函数和第二函数的比较基本上实时地并且逐帧地执行。
在一些实施方式中,参考信号是使用与对象的脉冲相关联的脉冲信号获得或生成的。在一些实施方式中,脉冲信号是使用外部设备获得的。在一些实施方式中,外部设备包括脉冲血氧计。
在一些实施方式中,该方法还包括使用脉冲信号来确定激光散斑图案的一个或多个特征是否可归因于流体流动或物理运动。
在一些实施方式中,函数空间的一个或多个测量值对应于激光散斑信号和脉冲信号之间的相关量或相关程度。
在一些实施方式中,输出信号包括可用于生成灌注流量图的流量信号。在一些实施方式中,流量信号可用于消除灌注流量图中的一个或多个假阳性。在一些实施方式中,该一个或多个假阳性对应于灌注流量图中的一个或多个区域,其指示运动但没有流体流过该一个或多个区域。
在一些实施方式中,参考信号是使用与两个或更多个电机的振动相关联的多个波形获得或生成的,该两个或更多个电机被配置成以不同的频率旋转。在一些实施方式中,两个或更多个电机被安置在换能器中,该换能器耦合到用于执行所述外科手术的一个或多个步骤的手术工具中。在一些实施方式中,多个波形包括具有第一频率的第一波形和具有不同于该第一频率的第二频率的第二波形的叠加。在一些实施方式中,第一波形和第二波形的叠加生成脉冲波形。在一些实施方式中,第一波形包括载波。在一些实施方式中,载波具有固定或恒定的波形。在一些实施方式中,载波具有可变波形。
在一些实施方式中,激光散斑信号包括调制的激光散斑信号,该调制的激光散斑信号是在手术工具放置与对象的组织区域接触时生成的。
在一些实施方式中,函数空间的一个或多个测量值在时域或频域中对应于调制的激光散斑信号和参考信号之间的相关量或相关程度。
在一些实施方式中,输出信号包括流量信号,该流量信号可用于生成灌注流量图并确定该灌注流量图的一个或多个特征是否可归因于流体流动或物理运动。
在一些实施方式中,输出信号包括力信号,该力信号可用于确定手术工具是否正在接触对象的组织区域。
在一些实施方式中,输出信号包括力信号,该力信号可用于确定当手术工具放置与对象的组织区域接触时,由该手术工具在对象的组织区域中或附近的组织上施加的力的大小。
在一些实施方式中,生物材料包括流体。在一些实施方式中,流体包括血液、淋巴液、组织液、乳汁、唾液、精液、胆汁、细胞内液、细胞外液、血管内液、间质液、淋巴液或经细胞液。在一些实施方式中,生物材料包括组织。在一些实施方式中,组织在组织区域中或附近。
在另一方面,本公开提供了一种用于生成灌注流量图的方法,该方法包括:(a)从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号;(b)从与对象的脉冲相关联的脉冲信号中生成参考信号;(c)比较激光散斑信号和参考信号;以及(d)部分地基于激光散斑信号和参考信号的比较来生成灌注流量图。
在一些实施方式中,该方法还包括:使用激光散斑信号和参考信号的比较来确定激光散斑图案的一个或多个特征是否可归因于流体流动或物理运动。
在一些实施方式中,该方法还包括:使用激光散斑信号和参考信号的比较来消除灌注流量图中的一个或多个假阳性。在一些实施方式中,该一个或多个假阳性对应于灌注流量图中的一个或多个区域,其指示运动但没有流体流过该一个或多个区域。
在一些实施方式中,比较激光散斑信号和参考信号包括:(c1)至少部分地基于至少对应于激光散斑信号的第一函数来定义函数空间;和(c2)计算函数空间的一个或多个测量值。在一些实施方式中,该一个或多个测量值是(i)部分地基于对应于参考信号的第二函数来定义的并且(ii)用于生成所述灌注流量图。
在一些实施方式中,函数空间对应于与使用至少一个激光光源生成的一组激光散斑信号相关联的一组函数。在一些实施方式中,该组激光散斑信号包括该激光散斑信号。
在一些实施方式中,函数空间包括Lebesgue函数空间。在一些实施方式中,第一函数或第二函数中的至少一个包括无限维向量函数,该无限维向量函数包括位于无限维向量空间中的一组输出值。
在一些实施方式中,函数空间的一个或多个测量值部分地通过比较第一函数和第二函数来导出。在一些实施方式中,比较激光散斑信号和参考信号包括将激光散斑信号投射到参考信号上,或者将参考信号投射到激光散斑信号上,以将与激光散斑信号相关联的第一组像素值和与参考信号相关联的第二组像素值进行比较。在一些实施方式中,比较第一函数和第二函数包括使用第一函数和第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。在一些实施方式中,比较第一函数和第二函数包括使用一个或多个信号或时序比较器来确定第一函数和第二函数之间的相关量或相关程度。在一些实施方式中,第一函数和第二函数的比较在时域或频域中执行。在一些实施方式中,第一函数和第二函数的比较发生在激光散斑图像的至少一部分上,该部分包括激光散斑图像中的一个或多个感兴趣区域。在一些实施方式中,对于为包括激光散斑图案的激光散斑图像捕获的每个新帧,第一函数和第二函数的比较基本上实时地并且逐帧地执行。
在一些实施方式中,函数空间的一个或多个测量值对应于激光散斑信号和脉冲信号之间的相关量或相关程度。在一些实施方式中,当多个帧被实时接收或处理时,在该多个帧上获得激光散斑信号。在一些实施方式中,激光散斑图案是使用多个激光光源生成的,该多个激光光源被配置成生成具有不同波长或频率的多个激光束或脉冲。在一些实施方式中,多个激光束或脉冲具有约100纳米(nm)至约1毫米(mm)之间的波长。
在一些实施方式中,该方法还包括:使用灌注流量图来确定组织区域是否包括接收血流的活组织。
在一些实施方式中,该方法还包括:使用灌注流量图来检测一个或多个不可见的关键结构。
在另一方面,本公开提供了一种用于确定在对象的组织区域中或附近的组织上施加的力的方法,该方法包括:(a)从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号;(b)使用与被配置成以不同频率旋转的两个或更多个电机的振动相关联的多个波形生成参考信号;(c)使用参考信号调制激光散斑信号;(d)比较调制的激光散斑信号和参考信号;以及(e)部分地基于调制的激光散斑信号和参考信号的比较生成力信号。
在一些实施方式中,两个或更多个电机被安置在换能器中,该换能器耦合到用于执行外科手术的一个或多个步骤的手术工具中。
在一些实施方式中,调制的激光散斑信号是在手术工具放置与对象的组织区域接触时生成的。
在一些实施方式中,多个波形包括具有第一频率的第一波形和具有不同于该第一频率的第二频率的第二波形的叠加。在一些实施方式中,第一波形和第二波形的叠加生成脉冲波形。在一些实施方式中,第一波形包括载波波形。在一些实施方式中,载波具有固定或恒定的波形。在一些实施方式中,载波具有可变波形。
在一些实施方式中,力信号可用于确定手术工具是否正在接触对象的组织区域中或附近的组织。在一些实施方式中,力信号可用于确定当手术工具放置与对象的组织区域接触时,由手术工具在对象的组织区域中或附近的组织上施加的力的大小。
在一些实施方式中,比较调制的激光散斑信号和参考信号包括:(d1)至少部分地基于至少对应于调制的激光散斑信号的第一函数来定义函数空间;和(d2)计算函数空间的一个或多个测量值,其中该一个或多个测量值是(i)部分地基于对应于参考信号的第二函数来定义的并且(ii)用于生成力信号。
在一些实施方式中,函数空间对应于与使用至少一个激光光源生成的一组激光散斑信号相关联的一组函数。在一些实施方式中,该组激光散斑信号包括调制的激光散斑信号。
在一些实施方式中,函数空间包括Lebesgue函数空间。在一些实施方式中,第一函数或第二函数中的至少一个包括无限维向量函数,该无限维向量函数包括位于无限维向量空间中的一组输出值。
在一些实施方式中,函数空间的一个或多个测量值部分地通过比较第一函数和第二函数来导出。在一些实施方式中,比较调制的激光散斑信号和参考信号包括将调制的激光散斑信号投射到参考信号上,或者将参考信号投射到调制的激光散斑信号上,以将与调制的激光散斑信号相关联的第一组像素值和与参考信号相关联的第二组像素值进行比较。在一些实施方式中,比较第一函数和第二函数包括使用第一函数和第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。在一些实施方式中,比较第一函数和第二函数包括使用一个或多个信号或时序比较器来确定第一函数和第二函数之间的相关量或相关程度。在一些实施方式中,第一函数和第二函数的比较在时域或频域中执行。在一些实施方式中,第一函数和第二函数的比较发生在包括激光散斑图案的激光散斑图像的至少一部分上,该部分对应于对象的组织区域中或附近的一个或多个感兴趣区域。在一些实施方式中,对于为包括激光散斑图案的激光散斑图像捕获的每个新帧,第一函数和第二函数的比较基本上实时地并且逐帧地执行。
在一些实施方式中,函数空间的一个或多个测量值在时域或频域中对应于调制的激光散斑信号和参考信号之间的相关量或相关程度。在一些实施方式中,当多个帧被实时接收或处理时,在该多个帧上获得激光散斑信号。在一些实施方式中,激光散斑图案是使用多个激光光源生成的,该多个激光光源被配置成生成具有不同波长或频率的多个激光束或脉冲。在一些实施方式中,多个激光束或脉冲具有约100纳米(nm)至约1毫米(mm)之间的波长。
本公开的另一方面提供了一种非暂时性计算机可读介质,其包括机器可执行代码,在由一个或多个计算机处理器执行该代码时,实现上述或本文其他地方的任何方法。
本公开的另一方面提供了一种系统,其包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码,在由一个或多个计算机处理器执行该代码时,实现上述或本文其他地方的任何方法。
根据以下详细描述,本公开的其他方案和优点对于本领域技术人员将变得容易理解,其中仅示出和描述了本公开的说明性实施方式。应当理解,本公开能够有其他不同的实施方式,并且其若干细节能够在各种明显的方面进行修改,所有这些都不背离本公开。因此,附图和描述在本质上被认为是说明性的,而不是限制性的。
援引并入
本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文,如同每一个这些出版物、专利或专利申请均具体且分别指示通过引用并入本文一样。如果通过引用并入本文的出版物和专利或专利申请与说明书中包含的公开内容相矛盾,则说明书旨在取代和/或优先于任何此类相互矛盾材料。
附图说明
本发明的新颖特征会在所附权利要求书中具体阐述。通过参考以下阐述了利用本发明原理的说明性实施方式的详细描述,将更好地理解本发明的特征和优点,且在附图(在此也称为“示图”和“图”)中:
图1示意性地图示了根据一些实施方式的用于处理激光散斑的系统。
图2示意性地图示了根据一些实施方式的用于处理外科手术的激光散斑的系统。
图3示意性地图示了根据一些实施方式的用于处理外科手术的激光散斑的系统,该系统包括监督或操作机器人的外科医生。
图4示意性地图示了根据一些实施方式的用于处理外科手术的激光散斑的系统,该系统包括与机器人一起工作的外科医生。
图5示意性地图示了根据一些实施方式的用于信号处理的方法。
图6示意性地图示了根据一些实施方式的用于生成灌注流量图的方法。
图7示意性地图示了根据一些实施方式的用于估计在组织上施加的力的方法。
图8示意性地图示了被编程或以其他方式配置成实现本文提供的方法的计算机系统。
图9示出了原始散斑图像的示例,以及使用传统算法产生的激光散斑对比图像。
图10示出了根据本公开的一些实施方式的原始散斑图像的示例,以及使用时间无限冲量积分(III)算法、空间III算法和时空III算法分别产生的激光散斑对比图像。
图11示出了根据本公开的一些实施方式的用于产生激光散斑对比图像的方法的示例或流程图。
图12图示了根据本公开的一些实施方式的实现本文所述的方法和算法的系统。
具体实施方式
尽管这里已经示出和描述了本发明的各种实施方式,但是对于本领域技术人员来说,容易理解地是,这些实施方式是仅作为示例来提供的。在不偏离本发明的情况下,本领域技术人员可以想到多种变型例、变化例和替换例。应当理解,可以采用本文中描述的本发明实施方式的各种取代方案。
术语“实时”,如本文所用,通常是指相对于第二事件或动作的发生,第一事件或动作同时或基本上同时发生。实时动作或事件可以在小于以下一项或多项的响应时间内执行:相对于至少另一事件或动作,十秒、五秒、一秒、十分之一秒、百分之一秒、毫秒或更短。实时动作可以由一个或多个计算机处理器执行。
当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值前面时,术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如,大于或等于1、2或3相当于大于或等于1、大于或等于2,或大于或等于3。
当术语“不大于”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值前面时,术语“不大于”、“小于”或“小于或等于”适用于该系列数值中的每个数值。例如,小于或等于3、2或1相当于小于或等于3、小于或等于2,或小于或等于1。
在一方面,本公开提供了用于处理激光散斑图像的方法和系统。在一些实施方式中,由激光照明的场景的一系列帧F_1、F_2、……、F_N可以使用相机收集。该相机可以包括,例如,使用USB技术传输数据的通用序列总线(USB)相机。激光的相干性使场景中出现散斑图案。这个散斑图案可以取决于观察者的位置和相机的固有参数。例如,位于不同位置的两个相机可以捕获不同的散斑图案,并且观察场景(相机对眼睛)的两名用户可以无法对散斑的位置达成一致。如果被成像的物体碰巧在运动,那么其表面上的散斑图案就可以在帧间发生改变,在随机的“闪烁”中,不像随着物体运动而流动的图案,也可以不容易被“跟踪”。通过检查邻域像素组(无论是在空间中,或在帧间)和计算那些邻域像素的平均值(mu)和方差(sigma^2),在每个像素处成像的物体的速度可以计算为近似的sigma^2/mu^2。检测到的运动可以是由于物体的物理运动引发的,或由于底层组织中的血流引发的。在成像期间,最好将所有非血流运动源保持在最小。
本公开提供了用于至少部分基于结构化求和(即,积分)来计算在散斑对比图中使用的统计量的方法和系统。本公开提供了在时间和空间上修改的无限和算法。在一方面,本公开提供了用于激光散斑对比图像处理的无限冲量激光散斑对比成像(LSCI)和无限冲量激光散斑对比分析(LASCA)算法。
本公开还提供了用于通过时间和空间对散斑信号进行加权积分的方法和系统(即,高斯LASCA)。本公开提供了用于生成和处理脉冲图的方法和系统。本公开提供了在时间和空间上用于无限冲量滤波的方法和系统。
传统的有限和方法可以用空间中和时间中每个像素周围的总和来估计mu和sigma。这些总和中的每项都可以被同等处理,这会在图像中引入伪影。相反,本文公开的方法和系统可以通过在求和及除法过程中使用加权和,对统计量进行过滤来提供更清晰的图像。因此,本文公开的方法和系统可以提供了优于首先计算统计量之比再进行滤波的有限和方法改进的性能。
本文公开的方法和系统可以通过导出每个像素的统计量(mu^2/sigma^2)来实现。这些量可以进行经验估计。
例如,用mu_t=(1-alpha)*p_t+alpha*m_(t-1)即可估计本公开中的mu,而不是估计帧{i=1,...,n}上的mu~\sum p_i。同样,可以估计平方和xi_t=(1-alpha)*(p_t)^2+alpha*xi_(t-1)。Mu_t和xi_t可以对应于时间t处的“计数”。Sigma_t^2=xi_t–(mu_t)^2。因此,mu^2/sigma^2可以简化为使用更少的除法运算的表达式,从而优化计算的性能。
本公开提供了用于基于运行平均值(α)优化和执行无限冲量散斑时间积分的方法和系统。
本公开还提供了用于一旦计算出“计数”后优化和简化mu^2/sigma^2的推导和/或计算的方法和系统。
“计数”可以通过空间代替时间的迭代加权平均值来计算。本文公开的方法和系统可以使用以下表达式实现:
A_11,t=(1/9)*[alpha*A_(11,t-1)+(1-alpha)(A_(00,t-1)+A_(10,t-1)+A_(20,t-1)+A_(01,t-1)+A_(21,t-1)+A_(02,t-1)+A_(12,t-1)+A_(22,t-1))]
在每个像素处执行这个和,可以使每个像素成为其自身及其邻域像素的平均值。第二次执行该和可以使每个像素也是其邻域像素的邻域像素的平均值。迭代该和模型可以包括本征函数为高斯的热扩散处理,这意味着在极限下,这个处理等价于高斯核求和。
这些技术可以组合在一起以同时通过空间和时间求和,使每个像素使用其自身及其邻域像素的历史来计算计数,并根据接近度进行加权。
本公开还提供了针对在时域和频域中的参考信号进行加权积分的方法和系统。在一些情况下,本文公开的方法和系统可以包括内核集成的一个或多个方面。散斑参考信号LP测量可以用于接触传感器的目的。散斑参考信号LP测量可以用于生成脉动图或脉冲图。LP可以对应于Lebesgue空间。LP可以包括一个或多个可积函数的空间以及用于测量和比较那些函数的范数和内积。LP可以包括使用有限维向量空间的p-范数的自然推广定义的函数空间。例如,L2可以包括与通常的Euclidean范数一起构成平方可积函数的空间,并且内积可以对应于向量的典型点积的无限维模拟。在一些实施方式中,LP可以与lp空间相关,在这种情况下,p-范数可以被扩充到具有无限数目的分量的向量。在一些情况下,lp可以被用于实现本公开的一个或多个方面。
在有限冲量方法中,流量信号可以在有限数目的帧上记录并与参考信号进行比较。这个比较可以通过点积、归一化互相关、加权测量积分或任何其他相似的信号/时序比较器来执行。这个比较可以发生在整个图像(全场)或感兴趣区域上。
本文公开的无限冲量方法可以使用指数移动平均值来在线,逐帧地计算积分,并对最近的过去积分更多加权。这可以节省计算过程中的时间和存储空间。
患者的脉冲可以周期性地调整血液流量和组织灌注。这个脉冲可以从整幅图像中检测,并直接使用或用作合成适当频率和相位的纯参考脉冲信号的基础。随脉冲信号变化的流量可以由于血流而引发,而不随信号变化的流量则可以由于物理运动而引发,如蠕动,呼吸或相机运动。如果组织具有可检测的脉冲,并且如果它靠近并以非阻塞方式附着在有可检测脉冲的组织上,则组织是可行的。因此,本文公开的脉冲参考可以有效地过滤掉由于某些因素造成的“假阳性流量”。
在一方面,本公开还提供了基于合成参考信号用于接触传感的方法和系统。两个电机可以以不同的速率(例如,200Hz和212Hz)旋转,外差干扰在~200Hz振动周围产生12Hz的包络。电机可以安装在连接到手术工具的换能器中。如果工具与组织接触,振动可以传递到组织中,并可以调制观察到的(计算的)散斑对比信号。这个调制可以通过频域中的参考信号比较来检测。与参考信号的拟合度随着工具对组织的压力而增加,因此可以计算出这样相对的“对组织的力”。这个“对组织的力”可用于确定工具-组织的接触。一个示例的使用可以是在机器人手术过程中的“线张紧”。
在一方面,本公开还提供了用于同步多波段散斑成像的方法和系统。Hb和HbO2吸收光谱在称为等吸光点的点处相交。在808nm附近有这样一个点。在这样的点上的散斑成像在理论上与氧合作用无关,因此应当仅根据流量做出响应。因此,大小和流量相似的小静脉和动脉应当看起来相同(因为在结构上,这些囊泡相比更大的这些血管更相似),并且未灌注的组织不会因剩余的氧气水平而产生偏差,这种偏差会随着时间而改变。通过在785nm和852nm同时照明,并仔细选择强度比,可以在保持Hb和HbO2不变性的同时对场景进行成像。这可以提供在等吸光点下成像的好处,即使光学系统可以不支持特定波长,因为需要阻挡可以用于ICG激发的波长。
在一个方面,本公开还提供了用于激光散斑光谱反褶积的方法和系统。光谱反褶积可以应用于不同波长下开发的散斑图。这个技术在本文中可称为“超散斑”。本文公开的方法和系统可以使用任意数量的波长来实现。本文公开的方法和系统可以使用通用光谱学的任何一个或多个方面来实现。本文公开的方法和系统可以实现用于Hb与实质浓度测定的目的。本文公开的方法和系统可以实现用于评估在两个或更多个波长下的散斑的氧合/SP02。
在一个方面,本公开还提供了用于基于圆盘的光学相位调制的方法和系统。这在本文中可以被称为“圆盘组合器”。本文公开的方法和系统可以实现一种技术,该技术使用具有不同厚度的平面丙烯酸透明窗阵列的旋转圆盘,其执行与相机捕获同步的激光束的相位调制,这对散斑信号具有可数学分析的影响。嵌有不用厚度的玻璃板的旋转圆盘,依次将玻璃板插入准直激光器的光束线中,在与相机框架捕获由(散射)激光照明的场景图像同步改变光束的有效路径长度。在没有上述相位调制的情况下,任何序列的散斑图像都将会有相关的散斑图案,这些散斑图案可以在随时间收集统计量时导致计算的对比图像产生偏差。特别是,LSCI将会在低流量条件下产生高流量幻觉,因为散斑图案在帧之间是如此相关,以至于方差估计的偏差非常低。引入本文所述的相位调制可以允许使用时间积分来计算准确的流量,并且可以移除低端的“幻流”伪影。
在另一方面,本公开还提供了用于在两个(或更多个)不同的注册相机中收集原始激光帧的方法和系统,这可以扩充激光散斑的能力。首先,帧中的散斑是独立计算的。血管的中线结合视差可以给出血管的深度。一旦建立了对应关系,就可以将从所有相机中的散斑样本组合在一种联合估计流量和深度的算法中。
在另一方面,本公开还提供了用于在对比计算以及对比图的组合之前进行多采样统计量的方法和系统。对在不同波长下开发的多个对比图像进行平均。用于多采样的方法和系统可以实现“圆盘组合器”和/或“立体联合算法”。
本公开的各个方面提供了一种系统,该系统包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码,这些代码在由一个或多个计算机处理器执行时,实现本文所述的任何方法。
本公开提供了被编程以实现本公开的方法的计算机系统。计算机系统可以被编程或以其他方式配置成实现一种或多种用于无限冲量激光散斑对比成像(LSCI)的方法和/或一种或多种用于激光散斑对比图像处理的无限冲量激光散斑对比分析(LASCA)算法。
激光散斑信号处理
在一方面,本公开提供了一种用于处理激光散斑信号的方法。该方法可以包括(a)获得(1)来自使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中的激光散斑信号和(2)对应于对象的身体的生物材料或对象的体内的生物材料的运动的参考信号。该方法可以还包括(b)至少部分地基于至少对应于激光散斑信号的第一函数来定义函数空间。该方法可以还包括(c)计算函数空间的一个或多个测量值。该一个或多个测量值可部分地基于对应于参考信号的第二函数来定义。该方法可以还包括(d)部分地基于函数空间的一个或多个测量值来生成输出信号。该方法可以还包括(e)使用输出信号辅助在对象的组织区域上或附近的外科手术。
该方法可以包括(a)获得(1)来自使用至少一个激光光源生成的激光散斑图案中的激光散斑信号。该至少一个激光光源可以指向对象的组织区域。
激光散斑信号可以包括与激光散斑图案相关联的信号。激光散斑图案可以包括当材料暴露于(即,被照明)一个或多个激光束或脉冲时在材料上生成的图案。该材料可以包括对象的组织区域。该材料可以包括生物材料。在一些情况下,生物材料可以包括患者器官的一部分或患者体内的解剖特征或结构。在一些情况下,生物材料可以包括患者身体的组织或组织的表面。组织可以包括上皮组织、结缔组织、器官组织和/或肌肉组织(例如,骨骼肌组织、平滑肌组织和/或心肌组织)。
激光散斑图案可以使用至少一个激光光源生成。该至少一个激光光源可以被配置成生成一个或多个激光束或脉冲。该一个或多个激光束或脉冲可以具有约100纳米(nm)至约1毫米(mm)之间的波长。在一些情况下,激光散斑图案可以使用多个激光光源生成,这些光源被配置成生成具有不同波长的多个激光束或脉冲。多个激光束或脉冲可以具有约100纳米(nm)至约1毫米(mm)之间的波长。在一些情况下,至少一个激光光源可以包括相干光源,诸如激光二极管。在一些情况下,至少一个激光光源可以被配置成在近红外光谱范围内生成光。在近红外光谱范围内的光可以具有约980纳米(nm)的波长。
当照明目标位点或目标区域(例如,样本、组织、人体器官等)时,由于由相干光源(例如,激光)引起的光束或光线的干扰,可以产生散斑图案。当光束或光线撞击目标位点/区域(例如,组织表面)时,其可以从目标位点/区域的不同部分或目标位点/区域内的不同特征散射和/或反射回来。由于目标位点/区域的结构或拓扑结构的变化或目标位点/区域中或附近的一个或多个散射粒子(例如,生物材料)的位置的变化或运动的变化,光束或光线可以传播不同的距离,使得散射的光束或光线在相位和/或幅度上受到随机变化的影响。这可以造成相长和/或相消干扰的图案,其可以取决于不同特征的位置和/或一个或多个散射粒子的运动而随时间改变。散射光可以产生随机变化的强度图案,称为散斑图案。如果散射粒子在移动,这可以引起干扰的波动,这可以表现为强度的变化。这种散斑图案的时间和空间统计量可以提供关于一个或多个底层物体的运动、特征或被成像的生物材料的信息。
一个或多个成像设备可用于对散斑图案进行成像。一个或多个成像设备可以包括光电检测器,其被配置成接收从目标位点/区域的不同部分或目标位点/区域内的不同特征反射的散射光。激光散斑图案可以使用一个或多个成像设备获得。在一些情况下,当多个帧被一个或多个成像设备实时接收或处理时,可以在该多个帧上获得激光散斑图案。一个或多个成像设备可以包括相机、摄像机、红绿蓝深度(RGB-D)相机、红外相机、近红外相机、电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、线性图像传感器、阵列硅型图像传感器和/或InGaAs(砷化铟镓)传感器。一个或多个成像设备可以被配置成捕获图像帧或图像帧序列。图像帧或图像帧序列可以包括使用至少一个激光光源在组织表面上生成的一个或多个激光散斑图案。
图像帧或图像帧序列可以提供给图像处理模块。图像处理模块可以被配置成从使用一个或多个成像设备捕获的图像帧或图像帧序列中导出一个或多个激光散斑信号。在一些情况下,图像处理模块可以被配置成处理捕获的散斑图像以将图像帧或图像帧序列内的散射光的强度转换成数字信号。数字信号可以对应于如本文所述的激光散斑信号。在一些情况下,数字信号可用于生成一个或多个激光散斑对比图像和/或提供关于对象的身体的组织区域内的生物处理的信息。在一些情况下,生物处理可以包括在组织区域内或组织区域附近的生物材料的运动或生物流体的流动。
图像处理模块可以被配置成处理包括一个或多个散斑图案的一个或多个原始散斑图像以生成激光散斑对比图像。该激光散斑对比图像可以包括与原始散斑图像内的激光散斑图案的一个或多个特征相关联的散斑对比信息。该散斑对比可以包括与散斑图案相关联的局部空间对比值的测量。该散斑对比可以是散射光强度的标准偏差与散射光强度的平均值之间的比率的函数。如果散斑图案中存在大量运动,则散斑图案中散斑的模糊可以会增加,并且强度的标准偏差可以会降低。因此,散斑对比可以较低。
一个或多个激光散斑对比图像可以使用一种或多种激光散斑对比成像(LSCI)和激光散斑对比分析(LASCA)算法从原始散斑图像序列或图像流中直接计算出来。在一些情况下,一种或多种激光散斑对比成像(LSCI)和激光散斑对比分析(LASCA)算法可以包括无限冲量积分算法。该无限冲量积分算法可以被配置成利用无限冲量积分或指数运动平均(EMA)滤波器来处理包括一个或多个激光散斑图案的一个或多个原始激光散斑图像。与计算对比值的有限和的传统方法不同,利用递归滤波器(例如,EMA)可以有益地降低计算开销并完成实时成像或使实时成像成为可以。指数运动平均滤波器可以是先前的估计值(输出)与最新输入数据的加权组合,权重之和等于1,以便输出与输入稳态匹配。该无限冲量积分算法可以有益地允许使用递归实现来计算时间和/或空间统计量,从而最大限度地减少计算密集型除法运算。该无限冲量积分算法可以被配置成利用空间域、时间域和/或时空域中的无限冲量积分。与传统的LSCI或LASCA算法相比,无限冲量积分算法可以需要更少的计算资源,并且可以需要更少的存储器来储存图像帧。
在一些情况下,激光散斑图像、激光散斑图案和/或激光散斑对比图像可被处理以获得一种或多种流体的流体流动信息,这些流体正在运动和/或存在于组织区域中或附近。在一些实施方式中,流体可以包括血液、汗液、精液、唾液、脓液、尿液、空气、粘液、乳汁、胆汁、激素和/或其任意组合。在一些实施方式中,目标组织内的流体流速可以通过使用捕获的散斑图像和/或从捕获的散斑图像导出的一个或多个激光散斑信号生成的对比图或对比图像来确定。
在一些情况下,该方法可以包括(a)获得(2)对应于对象的身体的生物材料或对象的体内的生物材料的运动的参考信号。该参考信号可以包括一个或多个信号,这些信号对应于对象的身体的生物材料或对象的体内的生物材料的运动。该运动可以包括对象的身体的生物材料或对象的体内的生物材料的位置,速度和/或加速度的改变。在一些情况下,运动可以包括组织区域的一个或多个部分的位置随时间的改变。
该生物材料可以在对象的体内。在一些情况下,生物材料可以是对象的身体的一部分。在一些情况下,生物材料可以包括组织。组织可以包括上皮组织、结缔组织、器官组织和/或肌肉组织(例如,骨骼肌组织、平滑肌组织和/或心肌组织)。在一些情况下,生物材料可以包括对象的皮肤。在一些情况下,生物材料可以包括流体。该流体可以包括血液、淋巴液、组织液、乳汁、唾液、精液、胆汁、细胞内液、细胞外液、血管内液、间质液、淋巴液和/或经细胞液。
在一些情况下,参考信号可以对应于对象的脉冲。在这种情况下,参考信号可以使用与对象的脉冲相关联的脉冲信号来获得或生成。在一些情况下,脉冲信号可以使用外部设备获得。在一些情况下,外部设备可以包括脉冲血氧计。在一些实施方式中,该方法可以还包括使用脉冲信号来确定激光散斑图案的一个或多个特征是否可归因于流体流动或与流体流动无关的物理运动。
在其他情况下,参考信号可以对应于对象的身体的组织区域的运动。该运动可以由手术工具的振动诱发,该手术工具与组织区域接触或与组织区域的近端或邻近该组织区域的对象身体的另一部分(例如,另一组织区域)接触。在一些情况下,参考信号可以使用与由被配置成以不同频率旋转的两个或更多个电机诱发的振动相关联的多个波形来获得或生成。在一些情况下,两个或更多个电机可以安置在换能器中,该换能器耦合到用于执行外科手术的一个或多个步骤的外科工具。该多个波形可以包括具有第一频率的第一波形和具有不同于该第一频率的第二频率的第二波形的叠加。第一波形可以由与以第一频率旋转的第一电机相关联的振动生成。第二波形可以由与以第二频率旋转的第二电机相关联的振动生成。在一些情况下,第一波形可以包括载波。载波可以具有固定或恒定的波形。备选地,载波可以具有可变波形。
在一些情况下,第一波形和第二波形的叠加可以生成脉冲波形。脉冲波形可以包括由两个波形(即,第一波形和第二波形)的叠加生成的波形,这可以根据外差干扰导致第三波形。第三波形可以包括在波包中调制的开关的干扰波形。两个恒定波形之间的干扰效应可以会引起脉冲波形。两个或更多个电机中的每一个都可以产生单个恒定波形,并且脉冲可以在两个或更多个电机正在转导的生物材料中引发。
该方法还可以包括(b)至少部分地基于至少对应于激光散斑信号的第一函数来定义函数空间。该函数空间可以包括其点是函数的拓扑向量空间。在一些情况下,函数空间可以是Banach空间。该Banach空间可以包括一个完整的范数向量空间。该Banach空间可以包括一个向量空间,其具有允许计算向量长度和向量之间的距离的度量,并且该度量在向量的Cauchy序列总是收敛于该空间内明确定义的极限的意义下是完整的。在一些情况下,函数空间可以是Hilbert空间。该Hilbert空间可以是Banach空间,其范数由内积决定。在一些情况下,函数空间可以是Lebesgue空间或LP空间。该LP空间可以包括可测函数的空间,对于该空间,每个函数的绝对值的p次幂是Lebesgue可积的。该LP空间可以包括一个或多个可积函数的空间连同可用于测量和比较那些函数的范数和内积。该LP空间可以包括使用无限维向量空间的p-范数的自然泛化来定义的函数空间。在一些情况下,在p-范数可以被扩充到具有无限数目的分量的向量的情况下,LP空间可以与lP空间相关。本文公开的系统和方法可以使用LP空间和/或lP空间来实现。
在一些情况下,函数空间可以至少部分地基于至少对应于激光散斑信号的第一函数来定义。在一些情况下,第一函数可以包括无限维向量函数。该无限维向量函数可以包括位于无限维向量空间中的一组输出值。在一些情况下,函数空间可以对应于与一组激光散斑信号相关联的一组函数。该组函数可以包括一个或多个无限维向量函数。该组激光散斑信号可以包括使用至少一个激光光源生成的一个或多个激光散斑信号。该组激光散斑信号可以包括使用一个或多个激光光源生成的一个或多个可以的激光散斑信号。
该方法还可以包括(c)计算一个或多个函数空间的测量值。该一个或多个测量值可以部分地基于对应于参考信号的第二函数来定义。如上所述,该参考信号可以与对象的脉冲相关联,或者与耦合到与对象的组织区域接触的手术器械或手术工具的多个电机的振动相关联。在一些情况下,该第二函数可以包括无限维向量函数。该无限维向量函数可以包括位于无限维向量空间中的一组输出值。
在一些情况下,函数空间的一个或多个测量值可以部分地通过比较第一函数和第二函数来导出。比较第一函数和第二函数可以包括将激光散斑信号投射到参考信号上,或者将参考信号投射到激光散斑信号上,以将与激光散斑信号相关联的第一组像素值和与参考信号相关联的第二组像素值进行比较。在一些情况下,比较第一函数和第二函数可以包括使用第一函数和第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。在一些情况下,比较第一函数和第二函数可以包括使用一个或多个信号或时序比较器来确定第一函数和第二函数之间的相关量或相关程度。
在一些情况下,第一函数与第二函数的比较可以在时域和/或频域中执行。在一些情况下,第一函数和第二函数的比较可以发生在包括激光散斑图案的激光散斑图像的至少一部分上。在一些情况下,激光散斑图像的该部分可以对应于对象的组织区域中或附近的一个或多个感兴趣区域。在一些情况下,对于为激光散斑图案获得的每个新图像帧,第一函数和第二函数的比较可以基本上实时地并且逐帧地执行。
在一些情况下,激光散斑信号可以包括调制的激光散斑信号,当手术工具被放置与对象的组织区域接触时生成该信号。该手术工具可以包括或耦合到两个或更多个可以振动的电机。在这样的情况下,在时域和/或频域中,函数空间的一个或多个测量值可以对应于调制的激光散斑信号和与以不同频率旋转的两个或更多个电机诱发的振动相关联的多个波形之间的相关量或相关程度。
在一些情况下,该方法还可以包括(d)部分地基于函数空间的一个或多个测量值来生成输出信号。
如上所述,在一些情况下,参考信号可以使用与对象的脉冲相关联的脉冲信号获得或生成。在这种情况下,函数空间的一个或多个测量值可以对应于激光散斑信号和脉冲信号之间的相关量或相关程度。在这种情况下,输出信号可以包括可用于生成灌注流量图的流量信号。该灌注流量图可以包括通过对象的身体的一个或多个区域(例如,一个或多个组织区域)的生物材料的流动的可视化。在一些情况下,该流量信号可用于消除灌注流量图中的一个或多个假阳性。该一个或多个假阳性可以对应于灌注流量图中的一个或多个区域,其指示流体的运动即使没有流体实际流过该一个或多个区域。在一些情况下,脉冲信号和/或使用该脉冲信号导出的流量信号可用于确定激光散斑图案的一个或多个特征是否可归因于流体流动或不一定可归因于流体流动的外部物理运动。
如上所述,在一些情况下,参考信号可以使用与两个或更多个电机诱发的振动相关联的多个波形获得或生成,该两个或更多个电机被配置成以不同的频率旋转。该两个或更多个电机可以安置在与手术工具耦合的换能器中。在这种情况下,函数空间的一个或多个测量值可以对应于激光散斑信号和由两个或更多个电机诱发的振动相关联的多个波形之间的相关量或相关程度。在这种情况下,输出信号可以包括流量信号,该流量信号可用于生成灌注流量图并确定灌注流量图的一个或多个特征是否可归因于流体流动或不一定归因于流体流动的外部物理运动。备选地,该输出信号可以包括力信号,该力信号可用于确定手术工具是否正在接触对象的组织区域。在一些情况下,输出信号可以包括力信号,该力信号可用于确定当手术工具放置与对象的组织区域接触时,该手术工具在对象的组织区域中或附近的组织上施加的力的大小。在其他情况下,输出信号可以包括力信号,该力信号可用于确定由外科医生或机器人缝合设备正在处理的线中的张力大小。该机器人缝合设备可以是自主的或半自主的。
在一些情况下,激光散斑信号可以包括调制的激光散斑信号,该激光散斑信号是当手术工具放置与对象的组织区域接触时生成的。在这种情况下,在时域和/或频域中,函数空间的一个或多个测量值可以对应于调制的激光散斑信号和参考信号之间的相关量或相关程度,该参考信号与由两个或更多个电机诱发的振动所生成的多个波形相关联。在这种情况下,输出信号可以包括流量信号,该流量信号可用于生成灌注流量图并确定该灌注流量图的一个或多个特征是否可归因于流体流动或不一定可归因于流体流动的外部物理运动。备选地,该输出信号可以包括力信号,该力信号可用于确定手术工具是否正在接触对象的组织区域。在一些情况下,输出信号可以包括力信号,该力信号可用于确定当手术工具放置与对象的组织区域接触时,手术工具在对象的组织区域中或附近的组织上施加的力的大小。在其他情况下,输出信号可以包括力信号,该力信号可用于确定由外科医生或机器人缝合设备正在处理的线中的张力大小。
方法还可以包括(e)使用输出信号辅助在对象的组织区域上或附近的外科手术。该外科手术可以包括可以使用一个或多个医疗工具或器械执行的一个或多个外科手术。该一个或多个医疗工具或器械可以包括内窥镜或腹腔镜。在一些情况下,一个或多个外科手术可以使用一个或多个机器人设备执行。该一个或多个机器人设备可以被配置为自主和/或半自主手术。在一些情况下,外科手术可以包括一个或多个普通外科手术、神经外科手术、骨科手术和/或脊柱手术。在一些情况下,一个或多个外科手术可以包括结肠切除术、胆囊切除术、阑尾切除术、子宫切除术、甲状腺切除术和/或胃切除术。在一些情况下,一个或多个外科手术可以包括疝气修复和/或一个或多个缝合手术。在一些情况下,一个或多个外科手术可以包括减肥手术、大肠或小肠手术、结肠手术、痔疮手术和/或活检(例如,肝活检、乳腺活检、肿瘤或癌症活检等)。
输出信号可以用于辅助外科手术。在一些情况下,输出信号可以包括可以用于生成灌注流量图的流量信号。该流量信号可以用于帮助手术操作者可视化生物材料流过对象的身体的一个或多个区域(例如,一个或多个组织区域)。该流量信号还可以用于消除灌注流量图中的一个或多个假阳性。该一个或多个假阳性可以对应于灌注流量图中的一个或多个区域,该区域指示即使实际上没有流体流过该一个或多个区域的流体的运动。在其他情况下,输出信号可以包括可以用于确定手术工具是否正在接触对象的组织区域的力信号。手术操作者可以使用该力信号来确定当手术工具被放置与对象的组织区域接触时,该手术工具在对象的组织区域中或附近的组织上施加的力的大小。在一些情况下,力信号可用于确定由外科医生或机器人缝合设备正在处理的线中的张力大小。该机器人缝合设备可以是自主的或半自主的。
在另一方面,本公开提供了用于生成灌注流量图的方法。该方法可以包括:(a)从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号;(b)从与对象的脉冲相关联的脉冲信号中生成参考信号;(c)比较激光散斑信号和参考信号;和(d)部分地基于激光散斑信号和参考信号的比较来生成灌注流量图。
在一些情况下,当多个帧正在被实时接收或处理时,激光散斑信号可以在该多个帧上获得。在一些情况下,激光散斑图案可以使用多个激光光源生成,这些激光光源被配置成生成具有不同波长或频率的多个激光束或脉冲。该多个激光束或脉冲可以具有约100纳米(nm)和约1毫米(mm)之间的波长。
在一些情况下,比较激光散斑信号和参考信号可以包括至少部分地基于至少对应于激光散斑信号的第一函数来定义函数空间。该函数空间可以包括Lebesgue函数空间。在一些情况下,第一函数可以包括具有位于无限维向量空间中的一组输出值的无限维向量函数。
在一些情况下,函数空间可以对应于与使用至少一个激光光源生成的一组激光散斑信号相关联的一组函数。该组函数可以包括位于无限维向量空间中的一组输出值的一个或多个无限维向量函数。该组激光散斑信号可以包括使用一个或多个激光光源生成的一个或多个激光散斑信号。
在一些情况下,比较激光散斑信号和参考信号可以包括计算函数空间的一个或多个测量值。该一个或多个测量值可以部分地基于对应于参考信号的第二函数来定义。该第二函数可以包括具有位于无限维向量空间中的一组输出值的无限维向量函数。该一个或多个测量值可用于生成灌注流量图。函数空间的一个或多个测量值可以对应于激光散斑信号和脉冲信号之间的相关量或相关程度。
在一些情况下,函数空间的一个或多个测量值可以部分地通过比较第一函数和第二函数来导出。在一些情况下,比较第一函数和第二函数可以包括使用第一函数和第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。在一些情况下,比较第一函数和第二函数可以包括使用一个或多个信号或时序比较器来确定第一函数和第二函数之间的相关量或相关程度。在一些情况下,函数空间的一个或多个测量值可以部分地通过比较激光散斑信号和参考信号来导出。比较激光散斑信号和参考信号可以包括将激光散斑信号投射到参考信号上,或者将参考信号投射到激光散斑信号上,以将与激光散斑信号相关联的第一组像素值和与参考信号相关联的第二组像素值进行比较。
在一些情况下,第一函数和第二函数的比较可以在时域和/或频域中执行。在一些情况下,第一函数和第二函数的比较可以发生在激光散斑图像的至少一部分上,该部分包括激光散斑图像中的一个或多个感兴趣区域。在一些情况下,对于为激光散斑图案捕获的每个新图像帧,第一函数和第二函数的比较可以基本上实时地并且逐帧地执行。
在一些实施方式中,方法还可以包括使用激光散斑信号和参考信号的比较来确定激光散斑图案的一个或多个特征是否可归因于流体流动或物理运动。在一些实施方式中,该方法可以还包括使用激光散斑信号和参考信号的比较来消除灌注流量图中的一个或多个假阳性。该一个或多个假阳性可以对应于灌注流量图中的一个或多个区域,其指示运动但没有流体流过该一个或多个区域。
在一些实施方式中,该方法可以还包括使用灌注流量图来确定组织区域是否包括接收或能够接收血流的活组织。在一些实施方式中,该方法可以还包括使用灌注流量图来检测使用传统成像技术不可见的一个或多个关键结构。
在另一方面,本公开提供了一种用于确定在对象的组织区域中或附近的组织上施加的力的方法。该方法可以包括:(a)从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号;(b)使用与配置成以不同频率旋转的两个或更多个电机的振动相关联的多个波形生成参考信号;(c)使用参考信号调制激光散斑信号;(d)比较调制的激光散斑信号和参考信号;以及(e)部分地基于调制的激光散斑信号和参考信号的比较生成力信号。
该激光散斑信号可以从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得。在一些情况下,激光散斑图案可以使用多个激光光源生成,这些激光光源被配置成生成具有不同波长或频率的多个激光束或脉冲。该多个激光束或脉冲可以具有约100纳米(nm)和约1毫米(mm)之间的波长。在一些情况下,当多个图像帧正在被实时接收或处理时,激光散斑信号可以在该多个图像帧上获得。
该参考信号可以使用与被配置成以不同频率旋转的两个或更多个电机的振动相关联的多个波形来生成。该两个或更多个电机可以安置在换能器中,该换能器耦合到用于执行外科手术的一个或多个步骤的手术工具。多个波形可以包括具有第一频率的第一波形和具有不同于该第一频率的第二频率的第二波形的叠加。该第一波形可以与两个或更多个电机中的第一电机相关联。第二波形可以与两个或更多个电机中的第二电机相关联。第一波形和第二波形的叠加可以生成脉冲波形。该第一波形可以包括载波波形。在一些情况下,载波可以具有固定或恒定的波形。在一些情况下,载波可以具有可变波形。
当手术工具放置与对象的身体的一部分接触时,可以生成参考信号。对象身体的该部分可以包括对象身体的组织区域。该参考信号可以基于第一组织区域诱发的振动来生成,该第一组织区域远离激光光源指向生成激光散斑图案或正在执行外科手术所在的第二组织区域。第一组织区域和第二组织区域可以彼此相邻。
在一些情况下,手术工具可以用于调制激光散斑信号。当该手术工具被放置与对象的组织区域接触时,可以生成调制的激光散斑信号。由耦合到手术工具的两个或更多个电机诱发的振动可以调制使用激光光源在对象的组织区域上生成的激光散斑图案。
力信号可以部分地基于调制的激光散斑信号和参考信号的比较来生成。比较调制的激光散斑信号和参考信号可以包括将调制的激光散斑信号投射到参考信号上,或者将参考信号投射到调制的激光散斑信号上,以将与调制的激光散斑信号相关联的第一组像素值和与参考信号相关联的第二组像素值进行比较。在一些情况下,比较调制的激光散斑信号和参考信号可以包括(i)至少部分地基于至少对应于调制的激光散斑信号的第一函数来定义函数空间,和(ii)计算该函数空间的一个或多个测量值。该一个或多个测量值可以部分地基于对应于参考信号的第二函数来定义。该一个或多个测量值可用于生成力信号。在一些情况下,函数空间的一个或多个测量值在时域或频域中可以对应于调制的激光散斑信号和参考信号之间的相关量或相关程度。
在一些情况下,函数空间的一个或多个测量值可以部分地通过比较第一函数和第二函数来导出。在一些情况下,比较第一函数和第二函数可以包括使用第一函数和第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。在一些情况下,比较第一函数和第二函数可以包括使用一个或多个信号或时序比较器来确定第一函数和第二函数之间的相关量或相关程度。第一函数和第二函数的比较可以在时域或频域中执行。在一些情况下,第一函数和第二函数的比较可以发生在包括激光散斑图案的激光散斑图像的至少一部分上。该部分可以对应于对象的组织区域中或附近的一个或多个感兴趣区域。在一些情况下,对于为激光散斑图案捕获的每个新图像帧,第一函数和第二函数的比较可以基本上实时地并且逐帧地执行。
在一些情况下,函数空间可以包括Lebesgue函数空间。该函数空间可以对应于与使用至少一个激光光源生成的一组激光散斑信号相关联的一组函数。在一些情况下,该组激光散斑信号可以包括调制的激光散斑信号。在一些情况下,该组函数可以包括一个或多个无限维向量函数,该一个或多个无限维向量函数包括位于无限维向量空间中的一组输出值。
如上所述,函数空间的一个或多个测量值可用于生成力信号。该力信号可用于确定手术工具是否正在接触对象的组织区域中或附近的组织。当手术工具放置与对象的组织区域接触时,力信号可用于确定手术工具在对象的组织区域中或附近的组织上施加的力的大小。该力信号可用于确定由外科医生或机器人缝合设备正在处理的线中的张力大小。
在另一方面,本公开提供了可以被配置成实施本文公开的任何方法的系统。图1图示了用于处理激光散斑信号的示例性系统。该系统可以包括图像采集模块10,其被配置成捕获手术场景的一个或多个图像。该一个或多个图像可以包括RGB图像和/或激光散斑图像。图像采集模块10可以被配置成将手术场景的一个或多个图像提供给图像处理和信号分析模块11。图像处理和信号分析模块11可以被配置成处理手术场景的一个或多个图像以生成一个或多个输出信号12。处理该手术场景的一个或多个图像可以包括从激光散斑图像中提取一个或多个激光散斑信号并针对参考信号来比较一个或多个激光散斑信号以导出一个或多个输出信号12。该一个或多个输出信号12可以包括例如灌注流量图、力信号、线张力值和/或针头驱动器压力值。
图2、图3和图4图示了可以被配置成处理一个或多个激光散斑信号以辅助在患者的手术目标101上或附近的外科手术的系统。该外科手术可以由外科医生102执行。该系统可以被配置成针对参考信号来比较一个或多个激光散斑信号,以便辅助外科医生执行外科手术的一个或多个步骤。
该系统可以包括被配置生成一个或多个激光束的一个或多个激光光源201。该一个或多个激光束可用于在手术目标101上生成至少一个激光散斑图案。在一些情况下,该系统可以包括吲哚菁绿(indocyanine green,ICG)激发光源202,其被配置生成ICG激发光束。在一些情况下,该系统可以包括被配置生成一个或多个白光束的白光源203。该系统可以包括光组合模块205。光组合模块205可以被配置成组合一个或多个激光光束、ICG激发光束和一个或多个白光束。在一些情况下,光组合模块205可以包括相机帧同步器。该相机帧同步器可以被配置成控制激光光源201、ICG激发光源202和白光源203相对于相机或成像传感器的帧捕获率的曝光。光组合模块205可以被配置成生成组合光束,该组合光束包括一个或多个激光光束、激发光束和一个或多个白光束。该组合光束可被提供给内窥镜310。内窥镜310可以被配置成将组合光束指向手术目标101。内窥镜310可以被配置成接收反射的图像光束并将该反射的图像光束指向分束器320。该反射的图像光束可以在组合光束从手术目标101的一部分反射出来时生成。该反射的图像光束可以包括组合光束的至少一部分。分束器320可以包括分色镜。分束器320可以被配置成将反射的图像光束的第一部分指向相机330和被配置成处理反射的图像光束的该第一部分的相机控制单元340。反射的图像光束的该第一部分可以包括白光束的至少一部分。分束器320可以被配置成将反射的图像光束的第二部分指向ICG激发带阻滤波器321和图像传感器322。图像传感器322可以包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。反射的图像光束的该第二部分可以包括ICG激发光束和/或一个或多个激光光束的至少一部分。相机控制单元340可以被配置成使用反射的图像光束的该第一部分来生成手术目标101的一个或多个RGB图像。图像传感器322可以被配置成使用反射的图像光束的该第二部分来生成一个或多个近红外图像。相机控制单元340可以被配置成将一个或多个RGB图像提供给图像采集单元350。图像传感器322可以被配置成将一个或多个近红外图像提供给图像采集单元350。图像采集单元350可以被配置成将一个或多个RGB图像和/或一个或多个近红外图像提供给监视器370,其被配置成向外科医生102显示RGB图像和/或近红外图像。
在一些情况下,图像采集单元350可以被配置成将一个或多个RGB图像和/或一个或多个近红外图像提供给覆盖和视觉反馈聚合器360。覆盖和视觉反馈聚合器360可以被配置成使用一个或多个RGB图像和/或一个或多个近红外图像来生成一个或多个覆盖图像。该一个或多个覆盖图像可被提供给监视器370,从而外科医生102可以查看手术目标101。
在一些情况下,覆盖和视觉反馈聚合器360可以被配置成接收使用激光散斑处理模块410生成的流量图。激光散斑处理模块410可以被配置成通过使用激光散斑算法处理一个或多个激光散斑图案或激光散斑信号来生成流量图。该一个或多个激光散斑图案或激光散斑信号可以使用一个或多个激光光源201生成。覆盖和视觉反馈聚合器360可以被配置成将该流量图覆盖到一个或多个RGB图像和/或一个或多个近红外图像上以经由监视器370将增强的流量图提供给外科医生102。
在一些情况下,激光散斑处理模块410可以被配置成将流量图提供给参考信号处理单元420。参考信号处理单元420可以被配置成接收使用患者脉冲监视器405获得的参考脉冲信号。患者脉冲监视器405可以被配置成基于患者101的脉冲的测量或检测来生成参考脉冲信号。在一些情况下,患者脉冲监视器可以包括脉冲血氧计。参考信号处理单元420可以被配置成处理参考脉冲信号和流量图以生成脉冲校正的流量图。脉冲校正的流量图可以被传送到覆盖和视觉反馈聚合器360,这可被配置成将脉冲校正的流量图提供给监视器370以供外科医生102查看。
在一些情况下,参考信号处理单元420可以被配置成接收使用工具波形换能器430生成的工具波形参考信号。工具波形换能器430可以被配置成至少部分地基于耦合到医疗工具520的两个或更多个电机的振动来生成工具波形参考信号。在一些情况下,医疗工具520可以包括用于在手术目标101上执行缝合操作的针头驱动工具。在一些情况下,参考信号处理单元420可以被配置成处理该工具波形参考信号以确定线张力值和/或针头驱动器压力值。该线张力值和/或针头驱动器压力值可以提供给覆盖和视觉反馈聚合器360。覆盖和视觉反馈聚合器360可以被配置成在一个或多个RGB图像、一个或多个近红外图像、流量图、脉冲校正的流量图和/或包括这种图像或流量图的任何覆盖上或内显示线张力值和/或针头驱动器压力值。该线张力值和/或针头驱动器压力值可以提供给外科医生102以经由监视器370查看。在一些情况下,该线张力值和/或针头驱动器压力值可以被外科医生102用于调整医疗工具520的使用、运动、操作、位置和/或方向。在一些情况下,外科医生102可以使用该线张力值和/或针头驱动器压力值来调整在医疗工具520的操作期间由医疗工具520施加在手术目标101上的压力。
图3图示了根据实施方式的图2中所示的系统,其中外科医生102监督外科手术机器人510的操作。如图3所示,在一些情况下,工具波形换能器430可以被配置成至少部分地基于机器人针头驱动工具520和/或机器人线张紧工具530的运动来生成工具波形参考信号。在一些情况下,该运动可以包括由耦合到机器人针头驱动工具520和/或机器人线张紧工具530的两个或更多个电机的振动引发的组织区域的运动。在一些情况下,参考信号处理单元420可以被配置成处理工具波形参考信号以确定与机器人针头驱动工具520和/或机器人线张紧工具530的使用相关联的线张力值和/或针头驱动器压力值。在一些情况下,线张力值和/或针头驱动器压力值可以经由覆盖和视觉反馈聚合器360提供给机器人控制回路500。机器人控制回路500可以被配置成将线张力值和/或针头驱动器压力值提供给手术机器人510,其可以被配置成使用该线张力值和/或针头驱动器压力值来调整机器人针头驱动工具520和/或机器人线张紧工具530的使用、运动、操作、位置和/或方向。在一些情况下,手术机器人510可以被配置成使用线张力值和/或针头驱动器压力值在该机器人针头驱动工具520和/或该机器人线张紧工具的操作期间来调整由机器人针头驱动工具520和/或机器人线张紧工具施加在手术目标101上的压力。
图4图示了根据实施方式的图3中所示的系统,其中外科医生102与手术机器人510合作工作。如图4所示,在一些情况下,外科医生102可以使用经由监视器370显示给外科医生102的线张力值和/或针头驱动器压力值以调整手术机器人510的操作。调整手术机器人510的操作可以包括调整机器人针头驱动工具520和/或机器人线张紧工具530的使用、运动、操作、位置和/或方向。在一些情况下,调整手术机器人510的操作可以包括在该机器人针头驱动工具520和/或该机器人线张紧工具的操作期间调整由该机器人针头驱动工具520和/或该机器人线张紧工具施加在手术目标101上的压力。
图5图示了用于信号处理的示例性方法。该方法可以包括步骤1510,该步骤1510包括(1)从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号和(2)对应于对象的身体的生物材料或对象的体内的生物材料的运动的参考信号。该方法可以包括另一步骤1520,该另一步骤1520包括至少部分地基于至少对应于激光散斑信号的第一函数来定义函数空间。该方法可以包括另一步骤1530,该另一步骤1530包括计算函数空间的一个或多个测量值,其中该一个或多个测量值部分地基于对应于参考信号的第二函数来定义。该方法可以包括另一步骤1540,该另一步骤1540包括部分地基于函数空间的一个或多个测量值生成输出信号。该方法可以包括另一步骤1550,该另一步骤1550包括使用输出信号来辅助在对象的组织区域上或附近的外科手术。
图6图示了用于生成灌注流量图的示例性方法。该方法可以包括步骤1610,该步骤1610包括从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号。该方法可以包括另一步骤1620,该另一步骤1620包括从与对象的脉冲相关联的脉冲信号中生成参考信号。该方法可以包括另一步骤1630,该另一步骤1630包括比较激光散斑信号和参考信号。该方法可以包括另一步骤1640,该另一步骤1640包括部分地基于激光散斑信号和参考信号的比较来生成灌注流量图。
图7图示了用于估计在对象的组织区域中或附近的组织上施加的力的示例性方法。该方法可以包括步骤1710,该步骤1710包括从使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中获得激光散斑信号。该方法可以包括另一步骤1720,该另一步骤1720包括使用与两个或更多个电机的振动相关联的多个波形来生成参考信号,这些电机被配置成以不同的频率旋转。该方法可以包括另一步骤1730,该另一步骤1730包括使用参考信号来调制激光散斑信号。该方法可以包括另一步骤1740,该另一步骤1740包括比较调制的激光散斑信号和参考信号。该方法可以包括另一步骤1750,该另一步骤1750包括部分地基于调制的激光散斑信号和参考信号的比较来生成力信号。
本公开的另一方面提供了一种非瞬态计算机可读介质,该非瞬态计算机可读介质包括机器可执行代码,该机器可执行代码在由一个或多个计算机处理器执行时,实现上述或本文其他地方的任何方法。
本公开的另一方面提供了一种系统,该系统包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码,该机器可执行代码在由一个或多个计算机处理器执行时,实现上述或本文其他地方的任何方法。
在另一方面,本公开提供了计算机系统,其被编程或以其他方式配置成实现本公开的方法。图8示出了计算机系统2001,其被编程或以其他方式配置成实现用于处理激光散斑信号的方法。该方法可以包括(a)获得(1)来自使用至少一个指向对象的组织区域的激光光源生成的激光散斑图案中的激光散斑信号和(2)对应于对象的身体的生物材料或对象的体内的生物材料的运动的参考信号;(b)至少部分地基于至少对应于激光散斑信号的第一函数来定义函数空间;(c)计算函数空间的一个或多个测量值,其中一个或多个测量值部分地基于对应于参考信号的第二函数来定义;(d)部分地基于函数空间的一个或多个测量值来生成输出信号;和(e)使用输出信号来辅助在对象的组织区域上或附近的外科手术。计算机系统2001可以是用户的电子器件或相对于电子器件被远程定位的计算机系统。电子器件可以是移动电子器件。
计算机系统2001可以包括中央处理单元(CPU,也是本文的“处理器”和“计算机处理器”)2005,其可以是一种单核或多核处理器,或可以是用于并行处理的多个处理器。计算机系统2001还包括存储器或存储器位置2010(例如,随机存取存储器、只读存储器、闪存)、电子储存单元2015(例如,硬盘)、用于与一个或多个其他系统进行通信的通信接口2020(例如,网络适配器),以及诸如高速缓存、其他存储器、数据储存器和/或电子显示适配器的外围器件2025。存储器2010、储存单元2015、接口2020和外围器件2025通过诸如母板的通信总线(实线)与CPU 2005进行通信。储存单元2015可以是用于储存数据的数据储存单元(或数据仓库)。计算机系统2001可以在通信接口2020的辅助下可操作地耦合到计算机网络(“网络”)2030上。网络2030可以是因特网、互联网和/或外联网,或与因特网通信的内联网和/或外联网。在一些情况下,网络2030是电信和/或数据网络。网络2030可以包括一个或多个计算机服务器,其可以启用分布式计算,例如云计算。在一些情况下,在计算机系统2001的辅助下,网络2030可以实现对等网络,其可以使耦合到计算机系统2001上的器件能够充当客户端部或服务器。
CPU 2005可以执行一系列机器可读指令,其可以体现在程序或软件中。这些指令可以储存在诸如存储器2010的存储器位置上。这些指令可以针对CPU 2005,其随后可以编程或以其他方式配置CPU2005以实现本公开的方法。由CPU 2005进行的操作的示例可以包括取出指令、解码、执行和回写。
CPU 2005可以是电路的一部分,诸如集成电路。系统2001的一个或多个其他部件可以包括在电路中。在一些情况下,电路是专用集成电路(ASIC)。
储存单元2015可以储存文件,例如驱动程序、程序库和已保存的程序。储存单元2015可以储存用户数据,例如用户偏好和用户程序。在一些情况下,计算机系统2001可以包括一个或多个附加数据储存单元,其位于计算机系统2001的外部(例如,在通过内联网或因特网与计算机系统2001通信的远程服务器上)。
计算机系统2001可以通过网络2030与一个或多个远程计算机系统通信。举例来说,计算机系统2001可以与用户(例如,医生,外科医生,医疗保健提供者,医务人员,手术机器人的操作员等)的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如,便携式PC)、平板PC或平板型PC(例如,
Figure BDA0003886515820000351
iPad、
Figure BDA0003886515820000352
Galaxy Tab)、电话、智能电话(例如,
Figure BDA0003886515820000353
iPhone、启用Android的器件、
Figure BDA0003886515820000354
),或掌上计算机。用户可以经由网络2030访问计算机系统2001。
本文所述的方法可以借助于储存在计算机系统2001的电子储存位置上(例如,诸如在存储器2010或电子储存单元2015上)的机器(例如,计算机处理器)可执行代码来实现。机器可执行代码或机器可读代码可以以软件的形式提供。在使用时,该代码可以由处理器2005执行。在一些情况下,该代码可以从储存单元2015中取回并储存在存储器2010上以供处理器2005随时访问。在一些情形下,电子储存单元2015可以排除在外,而将机器可执行指令储存在存储器2010上。
代码可以被预编译和配置为与具有适于执行代码的处理器的机器一起使用,或者可以在运行时编译。代码可以以编程语言来提供,该语言可以被选择以使代码能够以预编译或编译后的方式执行。
本文提供的系统和方法的方面,诸如计算机系统2001,可以体现在编程中。该技术的各个方面可以被视为典型地以机器(或处理器)可执行代码和/或相关数据的形式存在的“产品”或“制造品”,这些可执行代码和/或相关数据被携带或体现在一种机器可读介质中。机器可执行代码可以储存在电子储存单元上,诸如存储器(例如,只读存储器、随机存取存储器、闪存)或硬盘。“储存”型介质可以包括计算机、处理器等,或其相关模块中的任何一个或全部的有形存储器,诸如各种半导体存储器、磁带驱动器、磁盘驱动器等,其可以为软件编程随时提供非暂时性储存。所有或部分软件有时可以通过因特网或各种其他电信网络进行通信。例如,这样的通信可以使软件能够从一台计算机或处理器加载到另一台计算机或处理器中,例如,从管理服务器或主机加载到应用服务器的计算机平台中。因此,另一种可以承载软件元件的介质包括光波、电波和电磁波,诸如跨越本地器件之间的物理接口、通过有线网络和光陆线网络且经由各种空中链路而使用。携带这种波的物理元件,诸如有线链路或无线链路、光链路等,还可以被认为是承载软件的介质。如本文所用,除非限于非暂时性、有形的“储存”介质,否则诸如计算机或机器“可读介质”的术语指的是任何一种参与提供指令给处理器以供其执行的介质。
因此,机器可读介质,诸如计算机可执行代码,可以采取多种形式,包括但不限于:有形储存介质、载波介质或物理传输介质。非易失性储存介质(例如,包括光盘或磁盘,或任何一台计算机中的任何一种储存器等)均可用于实现附图中所示的数据库等。易失性储存介质包括动态存储器,诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆;铜线和光纤,包括构成计算机系统内总线的电线。载波传输介质可以采取电信号或电磁信号,或诸如在射频(RF)和红外(IR)数据通信时生成的声波或光波的形式。因此,计算机可读介质的常见形式包括例如:软盘、磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他带有孔图案的物理储存介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁带、传输数据或指令的载波、传输这种载波的电缆或链路,或计算机可以从中读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉及将一个或多个序列的一个或多个指令携带给处理器以供其执行。
计算机系统2001可以包括电子显示器2035或与电子显示器2035进行通信,该电子显示器2035包括用户接口(UI)2040,例如,其用于给手术人员提供门户以可视化一个或多个RGB图像、红外图像、流量图和/或医学图像叠加。在一些情况下,一个或多个图像、流量图和/或图像叠加可以包括与一个或多个医疗工具的操作有关的信息(例如,线张力值和/或针头驱动器压力值)。该门户可以通过应用程序编程接口(API)来提供。用户或实体还可以经由UI与门户中的各种元件进行交互。UI的示例包括但不限于:图形用户接口(GUI)和基于web的用户接口。
本公开的方法和系统可以借助于一种或多种算法来实现。算法可以在中央处理单元2005执行时借助于软件来实现。该算法可以被配置成至少部分地基于至少对应于一个激光散斑信号的第一函数来定义函数空间。在一些情况下,该算法可以还被配置成计算函数空间的一个或多个测量值。该一个或多个测量值可以部分地基于对应于参考信号的第二函数来定义。在一些情况下,该算法可以还被配置成部分地基于函数空间的一个或多个测量值来生成输出信号。该输出信号可用于辅助在对象的组织区域上或附近的外科手术。
激光散斑对比成像
在另一方面,本公开提供了用于激光散斑对比成像(LSCI)的系统和方法。LSCI是一种非扫描宽视场光学技术,该技术被用于诸如成像血流的广泛应用中。当激光照射漫反射表面时,光的高相干性会产生称为散斑的随机颗粒状效应。散斑图案是由于光干扰而在目标上生成的,由于散射粒子的运动,该光干扰在空间上是模糊的。包括散斑图案的图像帧可以被分析以计算目标的动态和结构量。然而,传统的激光散斑对比分析(LASCA)方法可以是计算密集型的,和/或需要大的存储空间来储存图像帧。
本公开提供了在计算速度和存储消耗方面性能改进的LSCI的系统和方法。在一些实施方式中,本文公开的LSCI系统和方法可用于生成描绘具有高时空分辨率的体内生物组织的流体(例如,血液)流动的图像。特别是,本文公开的系统和方法可以提供处理散斑图像帧的动态实时方法。该方法可以采用算法来计算散斑图像的统计量,减少了计算开销和/或减少了存储消耗。该算法可以应用于原始散斑图像以将其实时转换为激光散斑对比图像,而不需要存储空间来储存中介/中间图像帧。
在一个方面,提供一种用于改进激光散斑对比成像的方法。该方法包括:将激光照射到目标区域作为散斑图案;捕获一系列散斑图像帧,每个散斑图像帧包括从激光照明的该目标区域的散射光中获得的散斑信号;并通过对该系列散斑图像帧应用无限冲量算法来生成一个或多个激光散斑对比图。
在一些实施方式中,该系列散斑图像帧由光信号检测单元捕获。在一些实施方式中,光信号检测单元包括CCD相机或CMOS相机。在一些实施方式中,应用无限冲量算法包括通过使用无限冲量积分在时间域、空间域或时空域中积分散斑信号来计算每个像素的局部散斑对比值。在一些情况下,给定像素的局部散斑对比值是基于通过递归求和前面的散斑图像帧中的散斑信号而估计的统计值来计算的。
在一些实施方式中,无限冲量算法选自空间无限冲量算法、时间无限冲量算法和时空无限冲量算法。在一些实施方式中,无限冲量算法包括可配置的参数。在一些情况下,该方法还包括基于目标区域的属性动态地调整可配置的参数。在一些情形下,目标区域的属性包括目标区域中粒子的移动性,或者该目标区域包括组织结构并且该属性包括组织的类型。
在一些情况下,在没有除法运算的情况下计算局部散斑对比值。在一些情况下,在空间域中积分散斑信号包括计算散斑图像帧内的邻域像素上的散斑信号的递归和。在一些情形下,邻域像素位于3x3内核中。在一些情况下,计算邻域像素上的散斑信号的递归和包括使用累加器。
在另一方面,提供一种用于激光散斑对比成像(LSCI)的系统。该系统包括:光源,该光源被配置成将光照射到目标区域;光信号检测单元,该光信号检测单元被配置成捕获一系列散斑图像帧,每个散斑图像帧包括从由激光照明的目标区域的散射光中获得的散斑信号;和一个或多个处理器,该一个或多个处理器被配置成通过将无限冲量算法应用于该系列散斑图像帧来生成一个或多个激光散斑对比图。
在一些实施方式中,光信号检测单元包括CCD相机或CMOS相机。在一些实施方式中,应用无限冲量算法包括通过使用无限冲量积分在时间域、空间域或时空域中积分散斑信号来计算每个像素的局部散斑对比值。在一些情况下,给定像素的局部散斑对比值是基于通过递归求和前面的散斑图像帧中的散斑信号而估计的统计值来计算的。
在一些实施方式上,无限冲量算法选自空间无限冲量算法、时间无限冲量算法和时空无限冲量算法。在一些实施方式中,无限冲量算法包括可配置的参数。
如本文所述,本公开提供了用于激光散斑对比成像(LSCI)的系统和方法。特别是,所提供的系统和方法可以能够以改进的速度和更少的计算开销来产生激光散斑对比图像,从而使流体流动的实时成像、散射粒子的运动或一个或多个底层物体的速度成为可以。本公开的系统和方法可以应用于各种领域,例如视网膜成像、皮肤灌注成像、神经生理学成像和各种非临床领域。
激光散斑对比成像(LSCI)是一种光学技术,该光学技术可用于表征具有高时空分辨率的散射粒子动力学。在一些实施方式中,LSCI可用于生成描绘具有高时空分辨率的体内生物组织的血流的图像。存在用于处理原始散斑图像以将其转换为激光散斑对比图像的常规方法和算法。然而,这种传统方法可以是计算密集型的且可以不适合实时成像。
在一些实施方式中,被成像的物体的流体流动或速度可以通过处理目标位点的散斑图案来获得。该散斑图案可以由相干光(例如,激光)的随机干扰引发。当收集激光散斑对比图像时,该相干光被用于照明目标位点/区域(例如,样本、组织、人体器官等),然后光电检测器被用于接收从目标位点/区域内不同位置散射的光。该光可以已经传播了一定距离的分布,导致建设性和破坏性的干扰,这种干扰随着散射粒子关于光电检测器的排列而变化。当这个散射光被成像到相机上时,它会产生一种称为散斑的随机变化的强度图案。如果散射粒子正在移动,这将造成干扰的波动,这将表现为光电检测器处的强度变化。这个散斑图案的时空统计量提供关于被成像的底层物体的运动的信息。
传统的激光散斑对比分析(LASCA)方法在计算上可以是具有扩展性,和/或需要大的存储空间来储存图像帧。流速可以由散斑对比值来计算,该散斑对比值(直接或间接)与被成像的目标或底层物体的速度成比例。该散斑对比常规可以计算为像素窗口上的标准偏差与强度平均值的比率。该像素窗口可以是空间窗口(例如,来自单个图像的正方形像素区域)、时间窗口(在多个帧时间上的相同像素)或两者的组合,时空(例如,在多个帧上的正方形像素区域)。例如,存在两种用于计算空间局部散斑对比的传统的激光散斑对比分析(LASCA)方法,即空间LASCA和时间LASCA。空间LASCA方法涉及获得一个对比图,该对比图相对于原始图通过用于局部平均的邻域区域的大小(例如,大小为5x5像素)进行粗化。该散斑对比值通过标准偏差和局部邻域中的每个像素的强度平均值之比的常用参数进行量化。时间LASCA方法利用取自图像帧序列的位置的像素的时序。该散斑对比值被计算为时间积分强度的标准偏差除以时间像素窗口上的平均时间积分强度。然而,这些传统的LASCA方法在计算上可以具有扩展性,和/或需要大的存储空间来储存中间帧。
图9示出了原始散斑图像1000和使用传统算法产生的激光散斑对比图像1010、1030、1050的示例。图9中所示的原始散斑图像1000图示了散斑图案的颗粒状外观。在原始散斑图像1000中,更明显的散斑可以指示更低的速度(例如,更少的血流)。
激光散斑对比图像1010、1030、1050是使用具有不同像素窗口大小的传统的LSCI和LASCA算法直接从原始散斑图像序列或图像流中计算的,表示血流的2-D图。例如,诸如大血管的更大的基线流动的区域具有更低的散斑对比值,并且在该散斑对比图像中显得更暗。
原始散斑图像1000或原始散斑图像流可以由诸如相机的成像设备捕获。该成像设备可以是数码相机、摄像机、电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
如图9所示的散斑由诸如激光的相干光的随机干扰引发。由成像设备生成的原始散斑图像数据可以包括一个或多个图像,其可以是动态图像(例如,视频)。该图像数据可以是多色的(例如,RGB、CMYK、HSV)或单色的(例如,灰度、黑白、棕褐色)。该图像数据可以具有依赖于图像帧分辨率的各种大小。该图像帧分辨率可以由帧中的像素数来定义。在一些示例中,图像分辨率可以大于或等于约128x128像素、32x32像素、64x64像素、88x72像素、352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素或15360x8640像素。原始散斑图像数据可以以帧率捕获。在图示的示例中,该原始散斑图像100是以每秒120帧的帧率捕获的图像帧。
散斑对比是散斑图案中局部空间对比的度量。通常,更高的对比值指示更大的流量或运动,更低的值指示更少的流量或运动。散斑对比可以是相机曝光时间的函数。
局部散斑对比的空间分辨图,诸如散斑对比图像1030、1050,可以通过计算图像内像素的局部邻域上的像素图像中的每个点处的这个比率从一个原始散斑图像或原始散斑图像序列中计算得到,被称为窗口或空间邻域区域。
散斑对比图像1030、1050均使用传统的空间LASCA算法处理原始散斑图像1000来产生。窗口的长度(以像素为单位)由M表示(假设窗口是正方形)。M是一个诸如介于5和20之间的自然数。散斑对比图像1030在M等于5的情况下产生,散斑对比图像1050在M等于10的情况下产生。原始散斑图像的宽度和高度(以像素为单位)分别由W(列)和H(行)表示。空间对比图像1030、1050可以使用以下方程式生成:
Figure BDA0003886515820000421
Figure BDA0003886515820000422
Figure BDA0003886515820000423
Figure BDA0003886515820000424
其中I(x,y)表示像素(x,y)的强度,Ci LASCA(x,y)表示空间对比图像1030、1050中像素(x,y)的空间对比值。统计平均值μi LASCA和方差ξi LASCA是针对局部邻域区域(M x M)计算的,并且该空间对比值是通过将平均值除以标准偏差来计算的。
散斑对比图像1010是通过使用常规时间LSCI算法处理原始散斑图像1000来产生的。在示例中,时域中窗口的长度将由M(M个帧)表示。M表示计算局部对比统计量的帧数(例如,10到20之间的数字)。所图示的散斑对比图像1010是在M等于15的情况下产生的。原始散斑图像的宽度和高度(以像素为单位)分别由W(列)和H(行)表示。时间对比图像1010可以使用以下方程式生成:
Figure BDA0003886515820000425
Figure BDA0003886515820000426
Figure BDA0003886515820000427
Figure BDA0003886515820000428
其中I(x,y)表示像素(x,y)的强度,Ci LSCI(x,y)表示时间对比图像1010中像素(x,y)的时间对比值。统计平均值μi LSCI和方差ξi LSCI是针对时间窗口(例如,以帧i为中心的M个帧)计算的,并且时间对比值是通过将平均值除以标准偏差来计算的。
如上所述,本公开提供了激光散斑对比算法,用于来自原始散斑图像的激光散斑对比图像的计算。特别是,本文公开的激光散斑对比算法利用无限冲量积分或指数移动平均(EMA)滤波器来处理原始散斑图像。与计算对比值的有限和的传统方法不同,利用本文公开的递归滤波器(例如,EMA)可以有益地降低计算开销并实现实时成像/使实时成像成为可以。本文所述的指数移动平均滤波器是先前的估计(输出)与最新输入数据的加权组合,权重之和等于1,以便在稳定状态下输出与输入相匹配。无限冲量积分方法可以有益地允许使用递归实现计算的统计量,从而可以避免计算密集型除法运算符。此外,本文所述的EMA滤波器可以动态调整以适应不同的场景或实时条件。
本公开提供了几种在空间域、时间域和时空域中执行无限冲量积分的激光散斑对比算法。与早先参考图9所述的传统算法相比,本文公开的激光散斑对比算法可以需要更少的计算资源,和/或需要更少的存储空间来储存图像帧。根据本公开实施方式的每个算法的描述在下面描述。
当与传统的时间LSCI算法相比时,时间无限冲量积分(III)算法可以能够实时估计统计量μ和σ,而不需要显著的计算开销(例如,CPU缓存)来储存中间原始散斑图像。统计量μ和σ可以为每个新的散斑图像流进行计算,并减少延迟。EMA滤波器在时间域中还对原始散斑图像流施加低通滤波器,与传统的(例如,有限积分)LSCI算法相比,这改进了结果的准确性,传统的LSCI算法具有跨帧的“振铃”时间伪影,这是由于通过均匀加权所有帧施加的盒窗口滤波器造成的。
时间无限冲量积分算法可以将指数移动平均(EMA)滤波器应用于原始散斑图像。
EMA滤波器包括时间常数α(也称为衰减率),它是介于0和1之间的值。时间常数α的值可以对应于平滑效果。更小的值(例如,α=0.65)可以指示最近过去的图像帧分配了更多的权重,而更大的值(例如,α=0.8)表示估计平均值增加的有效时间。时间常数α的值可以基于经验数据预先确定或由用户设置。备选地或附加地,时间常数α的值可以基于被成像的物体或被成像的目标区域的属性(例如,目标区域中粒子的移动性或速度、组织结构、组织类型)或所需的视频/图像质量(例如,减轻诸如噪声、模糊等伪影)来调谐。
对比值可使用下面方程式计算:
Figure BDA0003886515820000441
Figure BDA0003886515820000442
Figure BDA0003886515820000443
Figure BDA0003886515820000444
其中,平均值μi TIII和方差ξi TIII分别使用递归方程式来估计。该对比值进而计算为平均值与标准偏差的比率。使用上述递归方程式可以有益地避免了计算密集型除法运算符的使用。例如,随着样本数量的增加,对比值
Figure BDA0003886515820000445
接近
Figure BDA0003886515820000446
这与传统方法相比简化了计算复杂性。
空间无限冲量积分(III)算法迭代地应用于单个原始散斑图像帧以生成对比图像,相似于热扩散处理。该类热扩散处理迭代地应用于整个原始散斑图像帧,使得每个像素的信息/影响从一个像素传播到另一个像素,直到它扩散到整个对比图像,并且在统计量(例如,平均值μ和方差ξ)的估计中,靠近给定像素的像素的权重更大。
空间III算法可以包括控制扩散速率的空间常数β。空间常数β的值越大,可指示考虑到前面像素的影响越大,因此扩散速率越大。空间常数β的值可以基于经验数据或由用户预先确定。备选地或附加地,空间常数β的值可以基于被成像的物体或目标区域的属性(例如,组织类型)、所需的图像处理性能(例如,计算速度等)或所需的视频/图像质量(例如,减轻诸如噪声、模糊等伪影)来调谐。
空间无限冲量积分算法可以比传统的空间LASCA方法计算效率更高。空间无限冲量积分算法可以利用累加器A或虚拟帧缓冲器来累积随时间推移的计数。例如,累加器Aμ和累加器Aξ可用于分别保存平均值μ和方差ξ的计数。集合μSIII=AM μ和ξSIII=AM ξ。M是控制允许扩散发生的迭代次数的自然数,并且空间常数β控制扩散速率。举例而言,M可以在10-20的范围内。随着迭代次数M的增加,脉冲响应可以接近高斯轮廓,并且每个像素都受到更多邻域像素的影响。小数目的迭代M倾向于导致更多的伪影。散斑图像的统计量可以使用以下方程式计算:
Figure BDA0003886515820000451
Figure BDA0003886515820000452
Figure BDA0003886515820000453
Figure BDA0003886515820000454
Figure BDA0003886515820000461
空间无限冲量积分算法可以能够通过允许单个原始散斑图像的统计量经由上述类热扩散处理分散而从单个原始散斑图像生成单个对比图像。这有益地取代了传统方法所需的除法运算,从而简化了计算复杂度。
时空无限冲量积分(III)算法是时间III和空间III算法的组合。该过程可以将时空无限冲量积分算法应用于一系列散斑图像Ii并生成对比图像Ci序列。每个对比图像Ci可以使用前面的散斑图像Ij,j≤i来生成。时空无限冲量积分算法还可以使用累加器Aμ和累加器Aξ来分别保存平均值μ和方差ξ的计数。在示例性过程中,该方法可以开始于使用具有指定时间常数α的时间III算法来计算μTIII。接下来,平均值μS-TIII被计算为空间域和时间域两者中的递归和。例如,累加器Ai μ是通过将μi TIII和Ai-1 μ折叠成Ai μ并指定空间常数β来计算的。平均值μS-TIII可以根据以下方程式计算:
Figure BDA0003886515820000462
Figure BDA0003886515820000463
统计值ξS-TIII可以通过与上述相似的处理进行计算。上述方法有益地取代了传统方法所需的除法运算,从而简化了计算复杂度。
本文公开的空间III算法、时间III算法和时空III算法可以使改进的性能(例如,在存储消耗方面)成为可以,因为这些算法不需要大的存储空间来储存中间图像帧。使用本文公开的上述算法,数据可以在处理器的寄存器、算术逻辑单元、浮点单元和其他数字电路之间有效地流动,而缓存的使用大大减少,并且需要访问主存储器的可以性显著降低(值得注意的是,对缓存和主存储器的严重依赖和使用会大幅增加计算时间的负担)。尽管实现空间III算法或时空III算法需要累加器,但与传统方法相比,内存消耗仍然低得多。例如,累加器的大小是单个图像的大小,而传统方法的内存消耗在没有累加器的情况下大约为数十到数百张图像,所需的额外处理时间与空间需求成正比。存储器单元可以是任何合适的RAM,包括静态随机访问存储器(SRAM)、动态随机访问存储器(DRAM)、同步动态随机访问存储器(SDRAM)、双倍数据速率(DDR)、双倍数据速率同步动态随机-访问存储器(DDR SDRAM)、DDR、DDR2、DDR3、T-RAM、Z-RAM等等。
本文公开的无限冲量积分算法可以用于广泛的应用中。在一些情况下,时间III算法可以与参考信号结合使用,以测量与已知目标的相关性(例如,检测由于心跳或合成外差振动引起的运动的人类的脉冲)。这对于区分由底层流体流动或组织运动(例如,呼吸和心脏跳动)引起的成像场景中的运动可以是有利的。例如,对比值C相对于参考信号R的参考测量值P可以使用以下方程式计算:
P0(x,y)=C0(x,y)*R0(x,y)
Pi(x,y)=(1α)*Ci(x,y)*Ri(x,y)+(α)*Pi-1(x,y)
在一些实施方式中,本公开提供了通过实现时间III算法、空间III算法或时空III算法来生成散斑对比图像的方法。本文公开的方法可以有益地改善散斑对比图像质量,减轻伪影(例如,噪声、模糊)和/或提高时间/空间分辨率。例如,使用时间III算法处理原始散斑图像的方法可以有利地以与获得原始散斑图像的帧率相同(或相似)的速率生成对比图像,同时减少由空间噪声或运动模糊引起的伪影。与使用传统方法生成的对比图像相比,该生成的对比图像可以具有降低的空间噪声和/或减少的运动模糊,因为更多的图像帧被用于估计统计量,并且通过对更近的图像帧(例如,紧接在给定帧前面的图像帧)应用更多的权重来优化图像帧的影响。在另一示例中,使用空间III算法处理原始散斑图像的方法可以有利地生成具有改进的时间分辨率和/或降低的空间噪声的对比图像,鉴于可以使用单个原始散斑图像生成对比图像,并且空间噪声可以不会从帧传递到帧。在进一步的示例中,使用时空III算法处理原始散斑图像的方法可以有利地生成具有改进的时间分辨率,空间分辨率以及降低的时间噪声和空间噪声的对比图像。在一些情形下,与单独使用空间III算法或时间III算法的方法相比,利用时空III算法的方法可以具有改进的对比图像质量。
图10示出了分别使用时间III算法、空间III算法和时空III算法产生的原始散斑图像1000和激光散斑对比图像20100、20300、20500的示例。原始散斑图像1000与图9所示的散斑图像相同。激光散斑对比图像20100、20300、20500是使用如上所述的时间III算法、空间III算法和时空III算法直接从原始散斑图像和原始散斑图像序列计算的。
散斑对比图像20100可以通过将时间III算法应用于给定原始散斑图像(例如,原始散斑图像1000)前面的原始散斑图像序列来生成。与散斑对比图像使用以给定原始散斑图像为中心的时间窗口中的图像帧序列生成的传统方法不同(例如,需要前面的图像帧和后面的图像帧两者),散斑对比图像20100可以是当捕获原始散斑图像1000时生成,由此消除了成像延迟。这可以有益地允许散斑对比图像20100以与捕获原始散斑图像的速率相同(或相似)的速率产生。而且,如示例中所示,与使用传统时间LSCI算法生成的散斑对比图像(例如,M=15的对比图像1010)相比,散斑对比图像20100可以表现出诸如更少的空间噪声和/或运动模糊的更高的图像质量。这是因为在时间III算法中使用了更多的图像帧(所有前面的图像帧)来估计统计量,并且通过对更近的图像帧(例如,紧接在给定帧前面的图像帧)应用更多的权重来优化图像帧的影响。
散斑对比图像20300可以通过将空间III算法应用于给定的原始散斑图像(例如,原始散斑图像1000)来生成。如示例中所示,与使用传统空间LASCA算法生成的散斑对比图像(例如,M=5的对比图像1030、M=10的对比图像1050)相比,散斑对比图像20300可以表现出更高的图像质量。与由时间III算法产生的时间对比图像20100相比,散斑对比图像20300展示了更少的空间噪声以及更少的空间细节(例如,血管可以难以感知)。与时间III算法相比,时间分辨率可以改进(由信号的对比度20200、20400随时间来量化);然而,噪声的变化还可以更大,即更大的时间噪声。
散斑对比图像20500可以通过将时空III算法应用于给定原始散斑图像(例如,原始散斑图像1000)前面的原始散斑图像序列来生成。如示例中所示,与使用时间III算法或空间III算法生成的对比图像相比,散斑对比图像20500可以表现出改进的图像质量。如示例中所示,时间分辨率与使用空间III算法一样高,而时间噪声低于空间III算法。另外,空间分辨率保持不变,因为更多的空间细节可见,而空间噪声由于时间积分引入的平滑度而降低。
在一些实施方式中,本文公开的方法可以适应实时条件。例如,本文公开的算法的一个或多个参数可以动态调整。例如,时间常数和/或空间常数可以基于所需的视频/图像质量(例如,平滑要求)、被成像的目标区域或物体的属性(例如,粒子的移动性、物体的速度、组织类型、组织结构等)、成像参数(例如,帧率)或各种其他条件(例如,计算功率消耗、硬件要求等)来动态确定。在一些情况下,时间常数α的初始值可以基于经验数据来确定或由用户预先确定,并且基于被成像的目标区域或物体的属性(例如,被成像的物体的移动性或速度)或实时所需的视频/图像质量(例如,减轻噪声、模糊等伪影)来调谐。
图11示出了根据一些实施方式的用于产生激光散斑对比图像的过程的示例或流程图3000。该过程可以开始于获得原始激光散斑图像(步骤3100)。接下来,可以确定激光散斑对比图像生成方案(步骤3200)来生成激光对比图像。例如,激光散斑对比图像生成方案可以选自时间无限冲量积分(例如,时间III)方案、空间无限冲量积分(例如,空间III)方案和时空无限冲量积分(例如,时空III)方案。激光散斑对比图像生成方案可以指定用于处理原始散斑图像(例如,时间III算法、空间III算法、时空III算法)的算法和一个或多个参数的初始/默认值(例如,时间常数,空间常数等)。
在一些情况下,可以确定一个或多个参数的值(步骤3300),用于激光散斑对比图像生成方案。例如,时间常数或空间常数的值可以由用户指定以获得所需的平滑效果或图像处理速度,和/或基于捕获的原始散斑图像的属性动态调整而无需用户干预。当确定与所选激光散斑对比图像生成方案相关联的时间常数和/或空间常数时,可以生成激光散斑对比图像(步骤3400)并输出到显示设备。
例如,存在于原始散斑图像中的物体的移动性可以被确定(例如,实时检测、基于组织类型估计等),并基于移动性状态(例如,速度、静止等等),时间常数值可以被确定。例如,如果被成像的物体趋于静止,则可以为时间常数设置更大的值以实现更好的平滑结果(例如,更少的空间噪声),而如果物体处于运动或能够处于运动状态,可以为时间常数设置更小的值以减少运动模糊。也可以基于捕获的原始图像数据的噪声分布属性和/或所需的处理速度来调整空间常数的值。这种调整或衰减可以在没有用户干预的情况下自动执行。例如,时间/空间常数与原始散斑图像属性或目标区域属性之间的关系可以是预先确定的(例如,使用经验数据),使得可以自动调整时间/空间常数。
在一些情况下,可以允许用户以半自主方式定义激光散斑对比图像生成方案。用户可以指定所选的激光散斑对比图像生成方案的一个或多个参数。在一些情况下,响应于接收激光散斑对比图像生成方案,可以生成对比图像并输出到显示器以供用户可视化。用户可以或不可以进一步调整激光散斑对比图像生成方案以便改变输出图像的质量或其他特征。在一些情形下,可以向用户提供系统推荐的调整。在一些情形下,用户可以在查看显示器上的输出图像时手动调整一个或多个参数。例如,可以向用户呈现实时输出的对比图像和可以在系统推荐参数下实现的推荐的(例如,模拟的)更高质量的图像。在一些情况下,实时输出的对比图像或模拟图像可以在用户调整激光散斑对比图像生成方案的一个或多个参数时动态更新。
尽管图11示出了根据一些实施方式的方法,但本领域普通技术人员会认识到对于各种实施方式有许多改编。例如,可以按任何顺序执行操作。一些操作可以被排除,一些操作可以在一个步骤中同时执行,一些操作被重复,一些操作可以包括其他操作的子步骤。例如,确定激光散斑对比图像生成方案3200的操作可以在捕获原始激光散斑之前或同时执行,或者为新的图像采集会话重复执行。在另一示例中,选择时间常数和/或空间常数的操作可以在捕获原始激光散斑之前执行,或者为新的图像采集会话重复执行。
图12示意性地图示了根据本公开的一些实施方式的实现本文所述的方法和算法的系统4000。系统4000可以包括发射模块4100、检测器模块4200和图像生成模块4300,其可操作地彼此耦合用于激光散斑对比成像。在一些实施方式中,系统4000可以能够确定目标位点4210内的流体流速。
检测器模块4200可以被配置成获得目标位点的一个或多个散斑图像。目标位点4210可以包括患者器官的一部分或患者体内的解剖特征或结构。目标位点4210可以包括患者身体组织的表面。该组织的表面可以包括上皮组织、结缔组织、肌肉组织(例如,骨骼肌组织、平滑肌组织和/或心肌组织)、视网膜、脑皮层和/或神经组织。捕获的图像可以被处理以获得目标位点4210的流体流动信息。在一些实施方式中,流体是血液、汗液、精液、唾液、脓液、尿液、空气、粘液、乳汁、胆汁、激素或其任意组合。在一些实施方式中,目标组织内的流体流速由使用上述方法生成的对比图或对比图像来确定。
发射模块4100可以包括诸如激光二极管的相干光源,该相干光源的光束被扩展和调整以照明目标位点4210,该光束可以从几毫米变化到几厘米。入射光的角度范围可以从接近垂直入射到高达45°。光源可以被配置成以连续模式或脉冲模式操作。在一些情况下,光的操作模式或波长可以依赖于到目标位点的距离、要成像的物体和目标位点的其他属性。例如,发射模块可以是生成近红外光谱范围内的光的设备。当与可见光范围内的激光相比时,该近红外范围内(约980nm波长附近)的激光基本上被红细胞散射,并且来自外层的噪声散射更少发生。因此,通过使用近红外光谱范围内的光,检测器模块4200可以准确地接收关于位于比皮肤或毛细血管更深的血管中的血流的信息,并且可以受皮肤或毛细血管的影响更小。
检测器模块4200可以被配置成获得目标位点的一个或多个散斑图像。捕获的散斑图像可以由图像生成模块处理以生成对比图像或提供关于目标位点内的具有改进的时间和/或空间分辨率的流体流动的信息。检测器模块4200可以包括光学传感器。该光学传感器可以是但不限于例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、线性图像传感器、阵列硅型图像传感器或InAsGa传感器。检测器模块4200可以将散射光的强度转换成数字信号。检测器模块可以包括如上所述的成像设备。例如,该成像设备可以包括相机、摄像机、红绿蓝深度(RGB-D)相机、红外相机、近红外相机、电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
成像传感器可以能够以特定的图像分辨率捕获图像帧或图像帧序列。图像帧分辨率可以由帧中的像素数来定义。图像分辨率可以大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素、1536x1536或1536x8640像素。该成像设备可以是,例如,4K相机或具有更高分辨率的相机。
成像传感器可以以特定捕获速率捕获原始散斑图像序列。在一些情况下,可以以标准视频帧率来捕获图像序列。所提供的系统4000可以实现具有最小延迟的实时激光散斑对比成像。例如,原始图像数据可以被处理并且可以以大于或等于20fps、30fps、40fps、50fps、100fps、150fps、200fps的速度、以大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2008x1508像素、2048x1080像素、3840x2160像素、4096x2160像素、76830x4320像素或15360x8640像素的分辨率实时生成对比图。
在一些情况下,图像传感器可以提供在电路板上。该电路板可以是成像印刷电路板(PCB)。该PCB可以包括用于处理图像信号的多个电子元件。例如,用于CCD传感器的电路可以包括A/D转换器和放大和转换由CCD传感器提供的模拟信号的放大器。可选地,该图像传感器可以与放大器和转换器集成以将模拟信号转换为数字信号,这样可以不需要电路板。在一些情况下,图像传感器或电路板的输出可以是图像数据(数字信号),其可以由相机电路或相机的处理器进一步处理。在一些情况下,图像传感器可以包括光学传感器阵列。
在一些情况下,检测器模块4200可以执行捕获的原始散斑图像数据的预处理。在一个实施方式中,预处理算法可以包括诸如图像平滑的图像处理算法,以减轻传感器噪声的影响,或图像直方图均衡以增强像素强度值。
图像生成模块4300可以实施与本文公开的方法一致的一种或多种算法来生成对比图像或流量图。在一些实施方式中,图像生成模块4300可以包括无限冲量LSCI发生器4310,该无限冲量LSCI发生器4310实现本文所述的无限冲量积分算法(例如,空间III算法、时间III算法、时空III算法)以生成激光散斑对比图像。一种或多种算法可以被应用于实时散斑图像数据以产生所需的流体流动信息。图像生成模块4300还可以包括自适应参数选择器4330,用于确定与无限冲量积分算法相关联的一个或多个参数。
例如,自适应参数选择器4330可以能够确定如上所述的时间III算法或时空III算法的时间常数值、空间III算法或时空III算法的空间常数值。自适应参数选择器4330可以被配置成自动确定或调整时间常数值或空间常数值而无需用户干预,如本文其他地方。在一些实施方式中,自适应参数选择器4330可以可操作地耦合到允许用户确定一个或多个参数的值的用户界面。
用户界面可以被配置成接收用户输入并向用户显示输出信息。用户输入可以涉及控制或设置激光散斑对比图像生成方案或一个或多个参数。例如,用户输入可以指示时间常数的值、空间常数、激光散斑对比图像生成方案的选择等等。在一些情况下,用户界面还可以允许用户指定图像采集参数。例如,用户输入可以指示帧率、每次采集/运行的光源操作模式等等。
在一些情况下,用户界面可以允许用户在图像采集的任何阶段调整一个或多个参数。用户可以在图像采集之前或期间设置参数。在一些情况下,响应于接收激光散斑对比图像生成方案,图像生成模块4300可以产生对比图像并将该对比图像输出到用户界面以供显示。用户可以或不可以进一步调整激光散斑对比图像生成方案以改变输出图像的质量或其他特征。在一些情形下,可以在用户界面上向用户提供系统推荐的调整。在一些情形下,用户可以在显示器上可视化输出图像时手动调整一个或多个参数。例如,可以向用户展现实时对比图像和可以在系统推荐参数下实现的推荐(模拟)更高质量的图像。在一些情况下,实时输出的对比图像或模拟图像可以在用户调整激光散斑对比图像生成方案的一个或多个参数时动态更新。
在一些情况下,可以在图形用户界面(GUI)上呈现实时对比图像。GUI可以在显示器上提供。该显示器可以是也可以不是触摸屏。该显示器可以是发光二极管(LED)屏幕、有机发光二极管(OLED)屏幕、液晶显示器(LCD)屏幕、等离子屏幕或任何其他类型的屏幕。该显示器可以被配置成提供通过软件应用(例如,经由在系统上实施的应用编程接口(API))呈现的图形用户界面(GUI)。这可以包括各种设备,诸如触摸屏显示器、操纵杆、键盘和其他交互式设备。在一些实施方式中,用户可以能够使用用户输入设备提供关于选择算法、指定一个或多个参数或图像采集方案的用户输入。该用户输入设备可以具有任何类型的用户交互组件,诸如按钮、鼠标、操纵杆、轨迹球、触摸板、笔、图像捕捉设备、运动捕捉设备、麦克风、触摸屏、手持手腕万向节、外骨骼手套或其他诸如虚拟现实系统、增强现实系统等等用户交互系统。
图像生成模块4300可以被实现为控制器或一个或多个处理器。该图像生成模块可以在软件、硬件或两者的组合中实现。该图像生成模块可以与检测器模块4200、用户控制台(例如,提供UI的显示设备)通信或与其他外部设备通信。该通信可以是有线通信、无线通信或两者的组合。在一些情况下,通信可以是无线通信。例如,该无线通信可以包括Wi-Fi、无线电通信、蓝牙、IR通信或其他类型的直接通信。
虽然本文已经示出和描述了本发明的优选实施方式,但是对于本领域的技术人员来说显而易见的是,这些实施方式仅作为示例而被提供。本发明并不旨在受限于说明书中提供的具体示例。虽然已经参考前述说明书描述了本发明,但本文的实施方式的描述和说明并不意味着被限制意义来构造。在不脱离本发明的情况下,本领域技术人员现在将会想到许多变型、改变和替换。此外,应当理解地是,本发明的所有方面都不受限于本文阐述的取决于各种条件和变量的具体描述、配置或相对比例,应当理解地是,在实施本发明时可以采用本文所述的本发明的实施方式的各种取代例。因此,可以预期本发明还应涵盖任何这样的取代例、改进例、变型例或等同例。以下的权利要求旨在限定本发明的范围,则在这些权利要求及其等同物范围内的方法和结构由此被涵盖。

Claims (105)

1.一种用于信号处理的方法,该方法包括:
(a)获得(1)来自使用指向对象的组织区域的至少一个激光光源生成的激光散斑图案中的激光散斑信号和(2)对应于所述对象的身体的生物材料或所述对象的体内的生物材料的运动的参考信号;
(b)至少部分地基于至少对应于所述激光散斑信号的第一函数来定义一函数空间;
(c)计算所述函数空间的一个或多个测量值,其中所述一个或多个测量值部分地基于对应于所述参考信号的第二函数来定义;
(d)部分地基于所述函数空间的所述一个或多个测量值来生成输出信号;以及
(e)使用所述输出信号辅助在所述对象的所述组织区域上或附近的外科手术。
2.根据权利要求1所述的方法,其中所述函数空间对应于与使用所述至少一个激光光源生成的一组激光散斑信号相关联的一组函数。
3.根据权利要求2所述的方法,其中该组激光散斑信号包括所述激光散斑信号。
4.根据权利要求1所述的方法,其中所述激光散斑图案是使用多个激光光源生成的,该多个激光光源被配置成生成具有不同波长的多个激光束或脉冲。
5.根据权利要求4所述的方法,其中所述多个激光束或脉冲具有约100纳米(nm)至约1毫米(mm)之间的波长。
6.根据权利要求1所述的方法,其中所述函数空间包括Lebesgue函数空间。
7.根据权利要求1所述的方法,其中所述第一函数或所述第二函数中的至少一个包括无限维向量函数,该无限维向量函数包括位于无限维向量空间中的一组输出值。
8.根据权利要求1所述的方法,其中当多个帧被实时接收或处理时,在该多个帧上获得所述激光散斑信号。
9.根据权利要求1所述的方法,其中所述函数空间的所述一个或多个测量值部分地通过比较所述第一函数和所述第二函数来导出。
10.根据权利要求9所述的方法,其中比较所述第一函数和所述第二函数包括将所述激光散斑信号投射到所述参考信号上,或者将所述参考信号投射到所述激光散斑信号上,以将与所述激光散斑信号相关联的第一组像素值和与所述参考信号相关联的第二组像素值进行比较。
11.根据权利要求9所述的方法,其中比较所述第一函数和所述第二函数包括使用所述第一函数和所述第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。
12.根据权利要求9所述的方法,其中比较所述第一函数和所述第二函数包括使用一个或多个信号或时序比较器来确定所述第一函数和所述第二函数之间的相关量或相关程度。
13.根据权利要求9所述的方法,其中所述第一函数和所述第二函数的所述比较在时域或频域中执行。
14.根据权利要求9所述的方法,其中所述第一函数和所述第二函数的所述比较发生在包括所述激光散斑图案的激光散斑图像的至少一部分上,该部分对应于所述对象的所述组织区域中或附近的一个或多个感兴趣区域。
15.根据权利要求9所述的方法,其中对于为包括所述激光散斑图案的激光散斑图像捕获的每个新帧,所述第一函数和所述第二函数的所述比较基本上实时地并且逐帧地执行。
16.根据权利要求1所述的方法,其中所述参考信号是使用与所述对象的脉冲相关联的脉冲信号获得或生成的。
17.根据权利要求16所述的方法,其中所述脉冲信号是使用外部设备获得的。
18.根据权利要求17所述的方法,其中所述外部设备包括脉冲血氧计。
19.根据权利要求16所述的方法,还包括使用所述脉冲信号来确定所述激光散斑图案的一个或多个特征是否可归因于流体流动或物理运动。
20.根据权利要求16所述的方法,其中所述函数空间的所述一个或多个测量值对应于所述激光散斑信号和所述脉冲信号之间的相关量或相关程度。
21.根据权利要求16所述的方法,其中所述输出信号包括可用于生成灌注流量图的流量信号。
22.根据权利要求21所述的方法,其中所述流量信号可用于消除所述灌注流量图中的一个或多个假阳性,其中该一个或多个假阳性对应于所述灌注流量图中的一个或多个区域,其指示运动但没有流体流过该一个或多个区域。
23.根据权利要求1所述的方法,其中所述参考信号是使用与两个或更多个电机的振动相关联的多个波形获得或生成的,该两个或更多个电机被配置成以不同的频率旋转。
24.根据权利要求23所述的方法,其中所述两个或更多个电机被安置在换能器中,该换能器耦合到用于执行所述外科手术的一个或多个步骤的手术工具中。
25.根据权利要求23所述的方法,其中所述多个波形包括具有第一频率的第一波形和具有不同于所述第一频率的第二频率的第二波形的叠加。
26.根据权利要求25所述的方法,其中所述第一波形和所述第二波形的所述叠加生成脉冲波形。
27.根据权利要求25所述的方法,其中所述第一波形包括载波。
28.根据权利要求27所述的方法,其中所述载波具有固定或恒定的波形。
29.根据权利要求27所述的方法,其中所述载波具有可变波形。
30.根据权利要求24所述的方法,其中所述激光散斑信号包括调制的激光散斑信号,该调制的激光散斑信号是在所述手术工具放置与所述对象的所述组织区域接触时生成的。
31.根据权利要求30所述的方法,其中所述函数空间的所述一个或多个测量值在时域或频域中对应于所述调制的激光散斑信号和所述参考信号之间的相关量或相关程度。
32.根据权利要求23所述的方法,其中所述输出信号包括流量信号,该流量信号可用于生成灌注流量图并确定该灌注流量图的一个或多个特征是否可归因于流体流动或物理运动。
33.根据权利要求24所述的方法,其中所述输出信号包括力信号,该力信号可用于确定所述手术工具是否正在接触所述对象的所述组织区域。
34.根据权利要求24所述的方法,其中所述输出信号包括力信号,该力信号可用于确定当所述手术工具放置与所述对象的所述组织区域接触时,由该手术工具在所述对象的所述组织区域中或附近的组织上施加的力的大小。
35.根据权利要求1所述的方法,其中所述生物材料包括流体。
36.根据权利要求35所述的方法,其中所述流体包括血液、淋巴液、组织液、乳汁、唾液、精液、胆汁、细胞内液、细胞外液、血管内液、间质液、淋巴液或经细胞液。
37.根据权利要求1所述的方法,其中所述生物材料包括组织。
38.根据权利要求37所述的方法,其中所述组织在所述组织区域中或附近。
39.一种用于生成灌注流量图的方法,该方法包括:
(a)从使用指向对象的组织区域的至少一个激光光源生成的激光散斑图案中获得激光散斑信号;
(b)从与所述对象的脉冲相关联的脉冲信号中生成参考信号;
(c)比较所述激光散斑信号和所述参考信号;以及
(d)部分地基于所述激光散斑信号和所述参考信号的所述比较来生成所述灌注流量图。
40.根据权利要求39所述的方法,还包括:使用所述激光散斑信号和所述参考信号的所述比较来确定所述激光散斑图案的一个或多个特征是否可归因于流体流动或物理运动。
41.根据权利要求39所述的方法,还包括:使用所述激光散斑信号和所述参考信号的所述比较来消除所述灌注流量图中的一个或多个假阳性,其中该一个或多个假阳性对应于所述灌注流量图中的一个或多个区域,其指示运动但没有流体流过该一个或多个区域。
42.根据权利要求39所述的方法,其中比较所述激光散斑信号和所述参考信号包括:
(c1)至少部分地基于至少对应于所述激光散斑信号的第一函数来定义函数空间;以及
(c2)计算所述函数空间的一个或多个测量值,其中该一个或多个测量值是(i)部分地基于对应于所述参考信号的第二函数来定义的并且(ii)用于生成所述灌注流量图。
43.根据权利要求42所述的方法,其中所述函数空间对应于与使用所述至少一个激光光源生成的一组激光散斑信号相关联的一组函数。
44.根据权利要求43所述的方法,其中该组激光散斑信号包括所述激光散斑信号。
45.根据权利要求42所述的方法,其中所述函数空间包括Lebesgue函数空间。
46.根据权利要求42所述的方法,其中所述第一函数或所述第二函数中的至少一个包括无限维向量函数,该无限维向量函数包括位于无限维向量空间中的一组输出值。
47.根据权利要求42所述的方法,其中所述函数空间的所述一个或多个测量值部分地通过比较所述第一函数和所述第二函数来导出。
48.根据权利要求39所述的方法,其中比较所述激光散斑信号和所述参考信号包括将所述激光散斑信号投射到所述参考信号上,或者将所述参考信号投射到所述激光散斑信号上,以将与所述激光散斑信号相关联的第一组像素值和与所述参考信号相关联的第二组像素值进行比较。
49.根据权利要求47所述的方法,其中比较所述第一函数和所述第二函数包括使用所述第一函数和所述第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。
50.根据权利要求47所述的方法,其中比较所述第一函数和所述第二函数包括使用一个或多个信号或时序比较器来确定所述第一函数和所述第二函数之间的相关量或相关程度。
51.根据权利要求47所述的方法,其中所述第一函数和所述第二函数的所述比较在时域或频域中执行。
52.根据权利要求47所述的方法,其中所述第一函数和所述第二函数的所述比较发生在激光散斑图像的至少一部分上,该部分包括所述激光散斑图像中的一个或多个感兴趣区域。
53.根据权利要求47所述的方法,其中对于为包括所述激光散斑图案的激光散斑图像捕获的每个新帧,所述第一函数和所述第二函数的所述比较基本上实时地并且逐帧地执行。
54.根据权利要求42所述的方法,其中所述函数空间的所述一个或多个测量值对应于所述激光散斑信号和所述脉冲信号之间的相关量或相关程度。
55.根据权利要求39所述的方法,其中当多个帧被实时接收或处理时,在该多个帧上获得所述激光散斑信号。
56.根据权利要求39所述的方法,其中所述激光散斑图案是使用多个激光光源生成的,该多个激光光源被配置成生成具有不同波长或频率的多个激光束或脉冲。
57.根据权利要求56所述的方法,其中所述多个激光束或脉冲具有约100纳米(nm)至约1毫米(mm)之间的波长。
58.根据权利要求39所述的方法,还包括:使用所述灌注流量图来确定所述组织区域是否包括接收血流的活组织。
59.根据权利要求39所述的方法,还包括:使用所述灌注流量图来检测一个或多个不可见的关键结构。
60.一种用于确定在对象的组织区域中或附近的组织上施加的力的方法,该方法包括:
(a)从使用指向所述对象的所述组织区域的至少一个激光光源生成的激光散斑图案中获得激光散斑信号;
(b)使用与被配置成以不同频率旋转的两个或更多个电机的振动相关联的多个波形生成参考信号;
(c)使用所述参考信号调制所述激光散斑信号;
(d)比较所述调制的激光散斑信号和所述参考信号;以及
(e)部分地基于所述调制的激光散斑信号和所述参考信号的所述比较生成力信号。
61.根据权利要求60所述的方法,其中所述两个或更多个电机被安置在换能器中,该换能器耦合到用于执行所述外科手术的一个或多个步骤的手术工具中。
62.根据权利要求61所述的方法,其中所述调制的激光散斑信号是在所述手术工具放置与所述对象的所述组织区域接触时生成的。
63.根据权利要求60所述的方法,其中所述多个波形包括具有第一频率的第一波形和具有不同于所述第一频率的第二频率的第二波形的叠加。
64.根据权利要求63所述的方法,其中所述第一波形和所述第二波形的所述叠加生成脉冲波形。
65.根据权利要求63所述的方法,其中所述第一波形包括载波波形。
66.根据权利要求61所述的方法,其中所述力信号可用于确定所述手术工具是否正在接触所述对象的所述组织区域中或附近的组织。
67.根据权利要求61所述的方法,其中所述力信号可用于确定当所述手术工具放置与所述对象的所述组织区域接触时,由该手术工具在该对象的所述组织区域中或附近的组织上施加的力的大小。
68.根据权利要求60所述的方法,其中比较所述调制的激光散斑信号和所述参考信号包括:
(d1)至少部分地基于至少对应于所述调制的激光散斑信号的第一函数来定义函数空间;以及
(d2)计算所述函数空间的一个或多个测量值,其中该一个或多个测量值是(i)部分地基于对应于所述参考信号的第二函数来定义的并且(ii)用于生成所述力信号。
69.根据权利要求68所述的方法,其中所述函数空间对应于与使用所述至少一个激光光源生成的一组激光散斑信号相关联的一组函数。
70.根据权利要求69所述的方法,其中该组激光散斑信号包括所述调制的激光散斑信号。
71.根据权利要求68所述的方法,其中所述函数空间包括Lebesgue函数空间。
72.根据权利要求68所述的方法,其中所述第一函数或所述第二函数中的至少一个包括无限维向量函数,该无限维向量函数包括位于无限维向量空间中的一组输出值。
73.根据权利要求68所述的方法,其中所述函数空间的所述一个或多个测量值部分地通过比较所述第一函数和所述第二函数来导出。
74.根据权利要求60所述的方法,其中比较所述调制的激光散斑信号和所述参考信号包括将所述调制的激光散斑信号投射到所述参考信号上,或者将所述参考信号投射到所述调制的激光散斑信号上,以将与所述调制的激光散斑信号相关联的第一组像素值和与所述参考信号相关联的第二组像素值进行比较。
75.根据权利要求68所述的方法,其中比较所述第一函数和所述第二函数包括使用所述第一函数和所述第二函数来计算内积、点积、互相关、自相关、归一化互相关或加权测量积分中的至少一个。
76.根据权利要求68所述的方法,其中比较所述第一函数和所述第二函数包括使用一个或多个信号或时序比较器来确定所述第一函数和所述第二函数之间的相关量或相关程度。
77.根据权利要求68所述的方法,其中所述第一函数和所述第二函数的所述比较在时域或频域中执行。
78.根据权利要求68所述的方法,其中所述第一函数和所述第二函数的所述比较发生在包括所述激光散斑图案的激光散斑图像的至少一部分上,该部分对应于所述对象的所述组织区域中或附近的一个或多个感兴趣区域。
79.根据权利要求68所述的方法,其中对于为包括所述激光散斑图案的激光散斑图像捕获的每个新帧,所述第一函数和所述第二函数的所述比较基本上实时地并且逐帧地执行。
80.根据权利要求68所述的方法,其中所述函数空间的所述一个或多个测量值在时域或频域中对应于所述调制的激光散斑信号和所述参考信号之间的相关量或相关程度。
81.根据权利要求60所述的方法,其中当多个帧被实时接收或处理时,在该多个帧上获得所述激光散斑信号。
82.根据权利要求60所述的方法,其中所述激光散斑图案是使用多个激光光源生成的,该多个激光光源被配置成生成具有不同波长或频率的多个激光束或脉冲。
83.根据权利要求82所述的方法,其中所述多个激光束或脉冲具有约100纳米(nm)至约1毫米(mm)之间的波长。
84.根据权利要求65所述的方法,其中所述载波具有固定或恒定波形。
85.根据权利要求65所述的方法,其中所述载波具有可变波形。
86.一种用于激光散斑对比成像的方法,包括:
将激光照射到目标区域作为散斑图案;
捕获一系列散斑图像帧,每个所述散斑图像帧包括从由所述激光照明的所述目标区域的散射光中获得的散斑信号;以及
通过将无限冲量算法应用于所述一系列散斑图像帧来生成一个或多个激光散斑对比图。
87.根据权利要求86所述的方法,其中所述一系列散斑图像帧由光信号检测单元捕获。
88.根据权利要求86所述的方法,其中所述光信号检测单元包括CCD相机或CMOS相机。
89.根据权利要求86所述的方法,其中应用所述无限冲量算法包括通过使用无限冲量积分在时间域、空间域或时空域中对所述散斑信号进行积分来计算每个像素的局部散斑对比值。
90.根据权利要求89所述的方法,其中给定像素的所述局部散斑对比值是基于通过对前面的散斑图像帧中的所述散斑信号递归求和而估计的统计值来计算的。
91.根据权利要求86所述的方法,其中所述无限冲量算法选自空间无限冲量算法、时间无限冲量算法和时空无限冲量算法。
92.根据权利要求86所述的方法,其中所述无限冲量算法包括可配置的参数。
93.根据权利要求92所述的方法,还包括基于所述目标区域的属性来动态地调整所述可配置的参数。
94.根据权利要求93所述的方法,其中所述目标区域的所述属性包括所述目标区域中粒子的移动性。
95.根据权利要求93所述的方法,其中所述目标区域包括组织结构并且所述属性包括该组织的类型。
96.根据权利要求89所述的方法,其中所述局部散斑对比值是在没有除法运算的情况下计算的。
97.根据权利要求89所述的方法,其中在所述空间域中积分所述散斑信号包括在散斑图像帧内的邻域像素上计算散斑信号的递归和。
98.根据权利要求97所述的方法,其中所述邻域像素在3x3内核内。
99.根据权利要求97所述的方法,其中计算所述邻域像素上的散斑信号的递归和包括使用累加器。
100.一种用于激光散斑对比成像(LSCI)的系统,包括:
光源,其被配置成向目标区域照射光;
光信号检测单元,其被配置成捕获一系列散斑图像帧,每个所述散斑图像帧包括从由激光照明的所述目标区域的散射光中获得的散斑信号;和
一个或多个处理器,其被配置成通过将无限冲量算法应用于所述一系列散斑图像帧来生成一个或多个激光散斑对比图。
101.根据权利要求100所述的系统,其中所述光信号检测单元包括CCD相机或CMOS相机。
102.根据权利要求100所述的系统,其中应用所述无限冲量算法包括通过使用无限冲量积分在时间域、空间域或时空域中对所述散斑信号进行积分来计算每个像素的局部散斑对比值。
103.根据权利要求102所述的系统,其中给定像素的所述局部散斑对比值是基于通过对前面的散斑图像帧中的所述散斑信号递归求和而估计的统计值来计算的。
104.根据权利要求100所述的系统,其中所述无限冲量算法选自空间无限冲量算法、时间无限冲量算法和时空无限冲量算法。
105.根据权利要求100所述的系统,其中所述无限冲量算法包括可配置的参数。
CN202180028101.8A 2020-02-14 2021-02-12 用于处理激光散斑信号的系统和方法 Pending CN115379791A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202062976669P 2020-02-14 2020-02-14
US62/976,669 2020-02-14
US202063022147P 2020-05-08 2020-05-08
US202063021914P 2020-05-08 2020-05-08
US63/022,147 2020-05-08
US63/021,914 2020-05-08
PCT/US2021/018008 WO2021163603A1 (en) 2020-02-14 2021-02-12 Systems and methods for processing laser speckle signals

Publications (1)

Publication Number Publication Date
CN115379791A true CN115379791A (zh) 2022-11-22

Family

ID=77272244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180028101.8A Pending CN115379791A (zh) 2020-02-14 2021-02-12 用于处理激光散斑信号的系统和方法

Country Status (7)

Country Link
US (2) US11206991B2 (zh)
EP (1) EP4103035A4 (zh)
JP (1) JP2023514575A (zh)
KR (1) KR20220142465A (zh)
CN (1) CN115379791A (zh)
CA (1) CA3167541A1 (zh)
IL (1) IL295510A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167298A1 (ja) * 2018-02-28 2019-09-06 オリンパス株式会社 被検体観察システム、被検体観察システムの作動方法
WO2023049401A1 (en) * 2021-09-24 2023-03-30 Activ Surgical, Inc. Systems and methods for perfusion quantification
WO2023113809A1 (en) * 2021-12-16 2023-06-22 National Health Research Institutes Laser speckle contrast imaging system and laser speckle contrast imaging method thereof

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2708166A1 (fr) * 1993-07-22 1995-01-27 Philips Laboratoire Electroniq Procédé de traitement d'images numérisées pour la détection automatique de sténoses.
US5802218A (en) * 1994-11-04 1998-09-01 Motorola, Inc. Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
US5845017A (en) * 1996-12-17 1998-12-01 Eastman Kodak Company Digital image processing method for degraining of film images using distance weighted averaging of target pixel code values
US6396971B1 (en) 1999-03-29 2002-05-28 T Squared G, Inc Optical digital waveform generator
ATE454845T1 (de) * 2000-10-30 2010-01-15 Gen Hospital Corp Optische systeme zur gewebeanalyse
US7113817B1 (en) * 2001-10-04 2006-09-26 Wintec, Llc Optical imaging of blood circulation velocities
US6860851B2 (en) * 2002-11-27 2005-03-01 Enteromedics Inc. Vulnerable plaque diagnosis and treatment
JP2008528064A (ja) * 2005-01-21 2008-07-31 パーセプトロニクス メディカル インク 内視鏡画像法の間に得られた反射率スペクトル測定から癌変化を測定する方法と装置
US8375808B2 (en) 2005-12-30 2013-02-19 Intuitive Surgical Operations, Inc. Force sensing for surgical instruments
US20130296715A1 (en) 2005-04-20 2013-11-07 Ecole Polytechnique Federale De Lausanne (Epfl) Instrument and method for high-speed perfusion imaging
US20090177098A1 (en) * 2006-01-16 2009-07-09 Kousuke Yakubo Examination System and Examination Method
WO2010096453A1 (en) * 2009-02-17 2010-08-26 Board Of Regents, The University Of Texas System Methods of producing laser speckle contrast images
US9028421B2 (en) * 2009-05-13 2015-05-12 Kyushu Institute Of Technology Blood flow image diagnosing device
US8724928B2 (en) 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
WO2012149175A1 (en) * 2011-04-29 2012-11-01 The General Hospital Corporation Means for determining depth-resolved physical and/or optical properties of scattering media
WO2014009859A2 (en) * 2012-07-10 2014-01-16 Aïmago S.A. Perfusion assessment multi-modality optical medical device
US10165197B2 (en) * 2012-11-12 2018-12-25 Astral Images Corporation System and method for processing an image carried by an optical substrate and computer readable medium made using same
US20140316286A1 (en) 2013-04-22 2014-10-23 Covidien Lp System and method for determining respiratory parameters from blood flow signals
US9286268B2 (en) 2013-12-12 2016-03-15 Brno University of Technology Method and an apparatus for fast convolution of signals with a one-sided exponential function
US9717417B2 (en) * 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
CA2985224A1 (en) * 2015-05-07 2016-11-10 Novadaq Technologies Inc. Methods and systems for laser speckle imaging of tissue using a color image sensor
KR102491850B1 (ko) * 2015-07-15 2023-01-26 삼성전자주식회사 레이저 스펙클 대조도 이미징 시스템 및 방법, 이를 적용한 장치
WO2017062759A1 (en) * 2015-10-09 2017-04-13 Vasoptic Medical, Inc. System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging
US11129670B2 (en) 2016-01-15 2021-09-28 Cilag Gmbh International Modular battery powered handheld surgical instrument with selective application of energy based on button displacement, intensity, or local tissue characterization
US10475238B2 (en) 2016-07-25 2019-11-12 University Of Toronto Hölder adaptive image synthesis
WO2018029123A1 (en) 2016-08-09 2018-02-15 Koninklijke Philips N.V. Device for use in blood oxygen saturation measurement
US11202582B2 (en) * 2016-08-09 2021-12-21 Koninklijke Philips N.V. Device for use in blood oxygen saturation measurement
RU2648029C2 (ru) 2016-08-10 2018-03-21 Самсунг Электроникс Ко., Лтд. Устройство и способ измерения кровяного давления
US10600183B2 (en) 2017-03-22 2020-03-24 Verily Life Sciences Llc Detection of blood vessels
WO2018211982A1 (ja) * 2017-05-16 2018-11-22 ソニー株式会社 画像処理装置および方法、並びに画像処理システム
US20210236093A1 (en) 2018-06-08 2021-08-05 Mayo Foundation For Medical Education And Research Systems, Methods, and Media for Real-Time Spatial Tracking of Minimally Invasive Instruments and Components Using Selective Color Doppler Markers
WO2020006454A1 (en) 2018-06-28 2020-01-02 Children's National Medical Center Methods and system for dye-free visualization of blood flow and tissue perfusion in laparoscopy
CN110301908A (zh) 2019-05-20 2019-10-08 南京航空航天大学 一种基于微血流成像衬比算法的血流速度监测方法
WO2021163603A1 (en) 2020-02-14 2021-08-19 Activ Surgical, Inc. Systems and methods for processing laser speckle signals

Also Published As

Publication number Publication date
IL295510A (en) 2022-10-01
US20220192521A1 (en) 2022-06-23
EP4103035A1 (en) 2022-12-21
CA3167541A1 (en) 2021-08-19
US20210251502A1 (en) 2021-08-19
KR20220142465A (ko) 2022-10-21
EP4103035A4 (en) 2024-06-12
JP2023514575A (ja) 2023-04-06
US11206991B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
US11206991B2 (en) Systems and methods for processing laser speckle signals
Prakash et al. Bounded Kalman filter method for motion-robust, non-contact heart rate estimation
JP6121177B2 (ja) ソースビデオ画像から動脈拍動経過時間を導出すること
US8244013B2 (en) Medical image data processing and interventional instrument identification system
JP2020532783A (ja) 流れを視覚化するための機械学習を使用したスペックルコントラスト分析
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
Kooij et al. Depth-aware motion magnification
TW201446216A (zh) 光學心率追蹤
Teikari et al. Embedded deep learning in ophthalmology: making ophthalmic imaging smarter
Bousefsaf et al. Automatic selection of webcam photoplethysmographic pixels based on lightness criteria
CN116456897A (zh) 运动补偿激光散斑对比成像
McDuff et al. Scamps: Synthetics for camera measurement of physiological signals
US10891743B2 (en) Image processing device, operation method performed by image processing device and computer readable recording medium for performing different enhancement processings based on context of update determined from latest image acquired
WO2021163603A1 (en) Systems and methods for processing laser speckle signals
Alnaggar et al. Video-based real-time monitoring for heart rate and respiration rate
Ramaraj et al. Homomorphic filtering techniques for WCE image enhancement
US20220117689A1 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
Lee et al. Real-time realizable mobile imaging photoplethysmography
JP6817782B2 (ja) 脈拍検出装置及び脈拍検出方法
CN104434078A (zh) 用时间序列信号确定基于视频的脉搏传导时间的系统和方法
JP2021058361A (ja) 生体情報取得装置およびプログラム
den Brinker et al. Model-based camera-PPG: Pulse-rate monitoring in fitness
JP7464605B2 (ja) 組織炎症を検出するための装置
Ahmed et al. An overview of Eulerian video motion magnification methods
JP7314893B2 (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination