CN116368573A - 医疗装置实时体积图像数据的转换与传输 - Google Patents

医疗装置实时体积图像数据的转换与传输 Download PDF

Info

Publication number
CN116368573A
CN116368573A CN202180067329.8A CN202180067329A CN116368573A CN 116368573 A CN116368573 A CN 116368573A CN 202180067329 A CN202180067329 A CN 202180067329A CN 116368573 A CN116368573 A CN 116368573A
Authority
CN
China
Prior art keywords
image
data
image frames
view
volumetric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067329.8A
Other languages
English (en)
Inventor
张惠
T·K·阿德巴
赵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN116368573A publication Critical patent/CN116368573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

公开了用于减轻由医疗装置收集的数据点的过采样的系统和方法。在一些方面中，系统被配置为在解剖结构的检查期间接收由医疗装置的传感器检测的采样检查点云的数据点；在检查期间，确定与(i)医疗装置和/或(ii)由传感器检测的所接收的数据点相关联的至少一个参数，包括医疗装置的平移和/或旋转运动的改变、从数据点到采样检查点云内的最近邻的距离，或采样检查点云的与解剖结构的子区域对应的子集的数据点的密度；通过将一个或多个参数与阈值比较来分析一个或多个参数；和当所分析的一个或多个参数满足相应阈值时，将个体数据点记录在配准点云中。

Description

医疗装置实时体积图像数据的转换与传输
相关申请的交叉引用
本专利文件要求美国临时专利申请号63/063,914的优先权和权益，其于2020年8月10日提交，并通过引用以其全部内容并入本文。
技术领域
本公开涉及用于将体积图像数据从成像装置传输到医疗装置的系统、装置、方法和计算机程序产品。
背景技术
微创医疗技术旨在减少在医疗程序期间受到损伤的组织的量，从而减少患者的恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖体中的自然孔口或通过一个或多个手术切口来进行。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械、活检器械和手术器械等器械。医疗工具可被插入解剖通道中并且被导航朝向患者解剖体内的感兴趣区域。
为了辅助到达目标组织位置，可用患者解剖体的图像数据来映射微创医疗工具的位置和移动。图像数据可用于辅助医疗工具通过解剖系统如肺、结肠、肠、肾、心脏、循环系统等中的自然或手术创建的通道的导航。然而，在从成像系统可靠地获得图像数据，特别是在医疗程序期间实时获得图像数据方面存在若干挑战。
发明内容
公开了用于在医疗程序期间将由成像系统收集的三维(3D)体积图像数据作为视频数据实时传输到医疗装置的装置、系统、方法和计算机程序产品。所公开的技术的实施对于医疗装置的若干应用——包括例如基于所传输的3D图像数据实现用于在解剖通道中操作医疗装置的导航信息的更新——可以说是有用的。所公开的技术提供了将3D图像数据从成像系统传输到医疗装置的替代方式，而不必使用和依赖图像数据传输的标准网络，例如，诸如医学数字成像和通信(DICOM)标准，该标准可能不可靠(即使可用)。
在一些实施方式中，例如，一种用于从成像系统向医疗装置提供实时3D图像信息的系统，其包括处理器和耦接到处理器并存储指令的存储器，该指令在由处理器执行时使系统执行包括下列项的操作：在计算机装置处接收包括从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样的多个图像帧的视频数据，其中多个图像帧对应于以可滚动图像堆栈的一系列图像切片的形式显示在监视器上的多个体积数据重建图像；对多个图像帧实施光学字符识别(OCR)技术以呈现(render)包含在图像帧中的文本信息；分析所呈现的文本信息以识别在每个图像帧中都相同的恒定文本特征和在每个图像帧中都不同的变动文本特征；评估每个图像帧中的变动文本特征，以创建根据基于每个经评估的变动文本特征的值的序列所分选的图像帧的有序集；以及产生包括图像帧的有序集的处理后的视频数据。
在一些实施方式中，例如，一种用于从成像系统向医疗装置提供实时3D图像信息的系统，其包括处理器和耦接到处理器并存储指令的存储器，该指令在由处理器执行时使系统执行包括下列项的操作：在计算机装置处接收包括从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样的多个图像帧的视频数据，其中多个图像帧对应于以可滚动图像堆栈的一系列图像切片的形式显示在监视器上的多个体积数据重建图像；分析该多个图像帧以检测每个图像帧中静态视图区域的一个或多个图像特征特性，在静态视图区域中，对于可滚动图像堆栈的一系列图像切片中的每个图像切片，与成像解剖区域相关联的平面坐标保持恒定；评估该多个图像帧以确定一个或多个图像特征在每个图像帧中的滚动视图区域中的位置，在滚动视图区域中，对于可滚动图像堆栈的一系列图像切片中的每个图像切片，与成像解剖区域相关联的平面坐标中的至少一个变化；确定根据基于在每个图像帧中都变化的平面坐标中的至少一个的相对位置的序列所分选的图像帧的有序集；以及产生包括图像帧的有序集的处理后的视频数据。
在一些实施方式中，例如，一种用于从成像系统向医疗装置提供实时3D图像信息的系统，其包括处理器和耦接到处理器并存储指令的存储器，指令在由处理器执行时使系统执行包括下列项的操作：从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样多个图像帧，其中3D体积数据集可显示为以可滚动图像堆栈的一系列图像切片的形式的多个体积数据重建图像；分析对应于可滚动图像堆栈的图像切片的每个采样图像帧内的部分区域，以识别所分析的部分区域内的一个或多个图像特征；确定在该部分区域中识别的一个或多个图像特征对于每个采样图像切片是改变了还是保持恒定；当确定所识别的一个或多个图像特征相对于采样图像帧的第一图像帧和采样图像帧的第二图像帧发生改变时，向第一图像帧分配与分配给第二图像帧的索引号不同的索引号；以及基于所分配的索引号产生采样图像帧的有序集，以创建伪体积图像数据。
附图说明
参考以下附图，可以更好地理解本公开的许多方面。附图中的部件不一定按比例绘制。取而代之，重点在于清楚地说明本公开的原理。附图不应被视为将本公开限制于所描绘的具体实施方式，而是仅用于解释和理解。
图1是图示根据本技术各种实施方式的用于从成像系统向医疗装置提供实时3D图像信息的方法的流程图。
图2是流程图，其图示了根据图1方法的各种实施方式的用于分析视频图像帧的文本特征并产生处理后的视频数据的方法的示例的流程图。
图3A是图示描绘二维(2D)平面的两个静态视图和一个2D平面内的图像切片的滚动视图的3D图像堆栈的图。
图3B是图示描绘来自3D图像堆栈的图像切片的2D平面视图和体积视图的图像可视化窗口的图。
图4A是图示根据图1方法的一些实施方式的用于分析视频图像帧的图像特征并产生处理后的视频数据的方法的流程图。
图4B是患者身体的成像解剖区域的示例可视化图像，其中滚动视图已经从第一可视化图像改变成第二可视化图像。
图5是图示根据图1方法的一些实施方式的用于分析所显示的3D体积图像数据并产生创建3D体积图像数据的伪体积的视频数据的方法的流程图。
图6是根据本技术各种实施方式配置的机器人或远程操作医疗系统的示意图。
图7是根据本技术各种实施方式配置的操纵器组件、医疗器械系统和成像系统的示意图。
图8是根据本技术各种实施方式的在患者的解剖区域内延伸的图7医疗器械系统的一部分的图示图。
图9是图示形成点云的多个坐标点的图，点云表示在图8所示的解剖区域内延伸的图8医疗器械系统的一部分的形状。
图10是图示从在图8所示解剖区域内延伸的图8医疗器械系统的一部分的观看点的真实患者解剖体的导航图像的图。
图11是图示当图8医疗器械系统的一部分在图8解剖区域内延伸时解剖区域的一部分的术中图像的图。
图12是根据本技术各种实施方式的显示复合虚拟导航图像的显示系统的图，其中图7和图8的医疗器械系统被配准到图8解剖区域的解剖模型、虚拟患者解剖体的虚拟导航图像以及解剖区域内真实患者解剖体的真实导航图像。
具体实施方式
本公开涉及用于提供由成像系统收集的被处理成视频数据并作为视频数据实时传输到医疗装置的3D图像数据的系统、装置、方法和计算机程序产品。在一些实施方式中，例如，所公开的技术处理由锥形束CT(CBCT)系统采集的3D体积图像数据，并且以视频数据格式使其再现，以在医疗程序中实施医疗装置(例如机器人诊断或手术导管装置)的同时实时传输到医疗装置。以这种方式，在医疗程序期间于患者体内操作医疗装置的同时，医疗装置可利用来自3D图像数据的更新的解剖信息。所公开的系统、装置、方法和计算机程序产品的实施提供了将3D体积图像数据从成像系统传输到医疗装置的替代方式，绕过了标准图像数据通信网络，例如，诸如DICOM标准，该标准可能不可靠(即使可用)。
实施所公开技术的计算系统将来自成像系统的3D图像数据转换成视频数据格式的3D图像数据的精确表示，并将该视频数据传输到医疗装置以供实时使用。在所公开技术的实施中，医疗装置的用户或操作者(例如，医师)滚动3D图像堆栈，其显示在与成像系统通信的监视器上。堆栈中的每个图像都可以以示出标准轴向横截面视图、矢状横截面视图和冠状横截面视图的3D体积数据集的多平面重建(MPR)可视化为特征。例如，MPR可视化可被布置成显示每个2D平面视图与体积视图的2×2窗口，其中一个视图轴(即滚动视图)随着用户在堆栈中的图像切片之间滚动而改变。用户可从图像堆栈的开始到结束滚动堆栈，这样就显示出3D体积数据集当中的所有内容；或者用户可滚动图像切片的子集，从而允许转换部分感兴趣的体积数据。在一些示例实施中，当用户通过改变z坐标来滚动切片时，x坐标和y坐标在每个滚动切片中将是恒定值。以这种方式，一旦恢复了每个切片的z坐标，就可通过对切片进行重新采样使得z值落在具有限定间隔的规则网格上来重建体积数据。由此，所滚动的图像堆栈被捕获、处理，从而以标准视频数据格式(例如，NTSC、HD或其他)使数据再现，并且通过视频传输协议(例如，RTP、RTSP、RIST型协议、基于TCP的协议、基于UDP的协议等)，使用各种通信技术或直接通过视频捕获(例如，经由帧抓取卡)从成像系统传输到医疗装置系统(包括医疗装置器械)。实施所公开技术的计算系统分析从堆栈中的每个图像切片捕获的信息，以(i)恢复每个图像切片的变化切片位置(例如，z值变动)和(ii)验证非变动切片信息保持恒定(例如，x值和y值保持恒定)。
本文描述了与本技术的几个实施方式相关联的具体细节，其中一些参考图1至图12进行了描述。尽管在患者的肺部内导航和执行医疗程序的背景下关于具体的医疗系统和装置描述了其中一些实施方式，但是除了本文描述的应用和医疗系统与医疗装置实施方式之外或替代本文描述的应用和医疗系统与医疗装置实施方式的其他应用和其他医疗系统与医疗装置实施方式也在本技术的范围内。例如，除非另有规定或从上下文中清楚地了解，否则本技术的装置、系统、方法和计算机程序产品可用于各种图像引导的医疗程序，诸如在中空患者解剖体上、在中空患者解剖体中或邻近中空患者解剖体执行的医疗程序，以及更具体地，可用于对中空患者解剖体内和/或靠近中空患者解剖体的组织进行检查、活检、消融或以其他方式进行治疗的程序。因此，例如，本公开的系统、装置、方法和计算机程序产品可用于与诸如患者的膀胱、尿道和/或心脏的其他患者解剖体相关联的一个或多个医疗程序中。
-应当注意，除了本文公开的实施方式之外的其他实施方式也在本技术的范围内。进一步，本技术的实施方式可具有与本文所示或所述不同的配置、部件和/或程序。此外，本领域普通技术人员将理解，本技术的实施方式可具有除了本文所示或所述的配置、部件和/或程序之外的配置、部件和/或程序，并且这些以及其他实施方式可以在不偏离本技术的情况下没有本文所示或所述配置、部件和/或程序中的若干个。
如本文所用，术语“医师”应理解为包括可能正在执行或协助医疗程序的任何类型的医务人员，因此包括医生、护士、医疗技术人员、其他类似的人员及其任意组合。另外地或替代地，如本文所用，术语“医疗程序”应理解为包括诊断、治疗或两者的任何方式和形式，包括与此类诊断、治疗或两者相关联的任何准备活动。因此，例如，术语“医疗程序”应被理解为包括医疗装置在解剖室内的移动或定位的任何方式和形式。如本文所用，术语“患者”应被认为包括对其执行医疗程序的人类和/或非人类(例如，动物)患者。
A.用于将3D图像数据转换和传输到医疗装置的技术的实施方式
目前，大多数复杂的成像系统如计算机断层扫描(CT)、磁共振成像(MRI)、超声成像等都采用DICOM标准，该标准规定了医学图像和图像相关信息的非专有数据交换协议、数字图像格式和文件结构。为了使用DICOM标准传输数据，两个设备(例如，成像系统计算机和医疗装置系统计算机)均要通过DICOM接口连接。然而，在许多临床环境(如手术室)中，当采用DICOM时，实时传输由成像系统收集的图像数据和图像相关信息以供医疗程序使用可能是不可用、不可靠或不充分的。例如，某些临床环境缺乏为图像数据传输提供DICOM网络的基础设施，而其他临床环境可能遭受网络禁用或安全问题，致使已建立的DICOM网络无法高效且一致地运行。
因此，有利的是采用替代方法来实时提供体积图像数据，以供需要由成像系统获得的体积图像数据或将从由成像系统获得的体积图像数据受益的医疗装置在医疗程序中使用。然而，要做到这一点是非常有挑战的。例如，DICOM标准并未定义简单的“即插即用”硬件和软件规范——其可经修改以在另一个I/O端口或通过其他协议工作；相反，DICOM标准针对计算机之间传送图像和相关信息的数据传输定义了特定的数据形式和流程。为了实时使用3D图像数据的DICOM的任何替代方法都构成了大规模改变——必须保留数据完整性的改变。如果要更改3D图像数据的格式以供传输，则图像数据必须相对于成像系统采集的原始3D体积数据集准确地转换或重新创建。
在所公开的技术中，例如，显示在显示屏上的3D体积数据被转换成视频数据文件，该视频数据文件将堆栈中的每个图像沿变动轴(例如，z轴)准确地放置在正确的位置并正确地对齐每个切片图像的平面信息(例如，x-y坐标数据)。为此，在验证图像切片以正确的次序放置时会出现进一步的挑战，其中每个图像切片按其变动轴(例如，z值)的位置以正确的序列得以组织。例如，如果用户以恒定的速度在显示器上滚动通过图像，则可通过以匹配的恒定速度采样，发生向视频数据格式的有组织的转换。然而，实际上，这种恒定滚动的情况不会发生，因为用户通常会部分滚动通过堆栈，停止，备份，继续等等，或者就是无法以已知的恒定速度从头到尾滚动通过每个所期望的切片。所需要的是可靠、有效且高效的过程(例如，计算资源不繁重)以在并行程序(诸如在使用医疗装置的医疗程序期间的术中医疗成像)期间，将感兴趣的全部或部分体积数据从3D图像数据提供到其他装置。
所公开的系统、装置、方法和计算机程序产品提供了一种算法，将来自成像系统的3D图像数据转换成可由医疗装置传输和处理的格式，该算法捕获用户期望的图像信息并且在滚动通过图像切片时保留对用户的行为不可知的图像数据的准确性。
在一些实施方式中，一种计算机实施方法包括：对用户观看的3D图像堆栈的切片采样；处理采样图像数据，以视频数据格式准确地使该数据再现；以及将视频数据传输到医疗装置。下面结合图1描述这种方法的示例实施方式。
图1例如是图示根据本技术各种实施方式的用于从成像系统向医疗装置实时提供3D图像信息的方法1000的流程图。方法1000被图示为一组操作或过程1010-1060。方法1000的步骤的全部或子集可由计算装置(诸如与医疗系统或装置通信或集成的控制系统)实施。替代地或组合地，方法1000的步骤的全部或子集可由医疗器械系统或装置的控制系统实施，包括但不限于机器人或远程操作系统的各种部件或装置，如下面更详细地描述。用于实施方法1000的计算系统可包括可操作地耦接到存储指令的存储器的一个或多个处理器，该指令在被执行时使计算系统根据方法1000的过程1010-1060中的一些或全部执行操作。
在过程1010处开始，方法1000在与体积成像系统和显示监视器通信的计算机处，获得包括使用成像系统成像的患者解剖结构的体积数据重建图像的3D图像数据。在一些实施中，与体积成像系统和显示监视器通信的计算机是单一成像系统诸如CT、CBCT、MRI或其他成像系统的一部分。在过程1010的一些实施中，外部显示监视器(即，成像系统外部的监视器)从体积成像系统接收作为流的3D图像数据，其中外部显示监视器可以是与医疗装置系统的计算机通信的监视器。
在过程1020处，方法1000在显示监视器上以滚动堆栈的一系列图像切片的形式显示体积数据重建图像，其中每个图像切片包括至少一个静态视图和一个滚动视图，当用户在体积数据重建图像的两个图像之间滚动时，滚动视图改变。3D图像数据和体积数据重建图像的示例在图3A、图3B和图4B中示出并在下文中进一步详细描述。
在过程1030处，方法1000将显示在显示监视器上的每个所显示的图像切片的数据采样成图像帧，作为标准视频数据格式(例如，NTSC、HD或其他)的视频数据。在各种实施方式中，实施过程1030的计算装置可以是例如体积成像系统的计算机，其包括根据所公开的用于执行采样过程的技术的实施方式的计算机程序产品。在其他实施方式中，实施过程1030的计算装置可以是例如医疗器械系统或装置的控制系统的计算机，本公开中在下面更详细地对其讨论。下面进一步详细讨论实施过程1030的计算装置的其他示例。
可以以各种方式实施滚动图像的采样过程。例如，在过程1020-1030的一些实施中，用户受到提示，开始和停止对从(用户感兴趣的)图像切片的堆栈中显示的滚动图像的采样。在过程1020-1030的一些实施中，采样过程基于由采样数据的改变所确定的时间段来实施，例如，在预定时间之后停止采样，这时未检测到最后采样的图像切片有改变。在过程1030的又一其他实施方式中，采样可包括屏幕捕获技术。
在过程1040处，方法1000分析采样数据以检测图像帧中的一个或多个特征或特性，并且识别(i)每个滚动图像中改变的特征或特性(可变特征)和(ii)每个滚动图像中不改变的特征或特性(恒定特征)。
在过程1050处，方法1000继续，产生处理后的视频数据——包括在有序系列的图像帧中图像切片中的图像数据。例如，有序系列的图像帧可以以沿用户滚动的坐标轴的切片序列得以组织，例如，在此切片序列中，对于滚动堆栈中的系列切片图像中的每个图像切片，与成像解剖结构相关联的平面坐标保持恒定。
在过程1040和1050的一些实施方式中(结合图2描述)，检测采样图像数据中的文本特征，以确定每个滚动图像切片中的恒定文本和可变文本并且识别叠加在滚动堆栈中的每个图像切片上的改变坐标值。替代地或附加地，在过程1040和1050的一些实施方式中(以下结合图4A描述)，采样图像数据(例如，MPR可视化图像)的静态视图和滚动视图按图像特征识别，并且静态视图内的一个或多个图像特征被检测以确定可滚动图像堆栈中每个图像切片的滚动视图的位置。替代地或附加地，在过程1040和1050的一些实施方式中(以下结合图5描述)，分析采样图像切片的部分区域以索引图像切片来创建伪体积图像数据集。
在过程1060处，方法1000通过视频传输协议(例如，RTP、RTSP、RIST型协议、基于TCP的协议、基于UDP的协议等)传输视频数据，视频传输协议可通过包括有线或无线技术在内的各种通信过程来实施。在过程1060的一些实施方式中，方法1000通过视频捕获(例如，经由帧抓取卡)直接传输视频数据。在一些实施中，过程1060在过程1030之后实施；而在其他实施中，过程1060在过程1040之后或过程1050之后实施。
作为示例，可在过程1030之后实施过程1060，以将未分析的采样图像切片数据的视频数据传输到与医疗装置通信的计算装置来实施过程1040和1050。然而，在方法1000的其他示例实施中，过程1060可在过程1040或1050中的任一个之后实施，以传输由根据所公开的技术的可在成像系统的计算机上执行的计算机程序产品处理的部分分析或全部分析和/或产生的视频数据，使得在与医疗装置通信的计算装置处接收部分分析或全部分析和/或产生的视频数据。
在方法1000的一些实施方式中，其中计算装置被包括在机器人或远程操作的医疗系统中，计算装置与医疗装置系统数据通信，医疗装置系统包括具有传感器的医疗装置，以在医疗装置在患者的一个或多个解剖结构中被驱动(例如，被驱动通过患者的一个或多个解剖通道)时生成方位(position)传感器数据和/或运动传感器数据。方位传感器数据与医疗装置在解剖通道内的一个或多个方位相关联，而运动传感器数据与医疗装置在一个或多个解剖通道内的平移运动和/或旋转运动相关联。任选地，在一些实施方式中，医疗装置系统包括被配置为捕获解剖通道内患者解剖体的图像数据的图像捕获装置。以这种方式，机器人或远程操作医疗系统可将方法1000作为对患者的医疗程序的一部分来实施，其利用与该医疗程序实时成像的3D图像数据——被处理成视频数据并传输以供机器人或远程操作医疗系统使用。下面结合图6和图7更详细地讨论机器人或远程操作医疗系统的示例。
在方法1000的一些实施中，例如，机器人或远程操作医疗系统的计算装置可将处理后的视频数据提供给医疗装置的点云处理模块，从而处理图像帧并提取用于医疗装置的导航数据点云的信息(例如，在医疗程序期间导航通过患者的一个或多个解剖通道的同时)。在一些实施中，例如，机器人或远程操作医疗系统的计算装置能够至少部分地基于方位传感器数据和/或运动传感器数据生成坐标点的点云，生成点云的至少一部分与解剖区域的术前图像的至少一部分之间的配准，从处理后的视频数据中图像帧的有序集提取数据以产生与由成像系统成像的解剖区域相关联的坐标点，以及至少部分地基于所产生的与成像的解剖区域相关联的坐标点来更新配准。
虽然方法1000的步骤是以特定次序讨论和说明的，但是相关领域普通技术人员将会认识到，方法1000可以更改，并且仍在本技术的这些以及其他实施方式的范围内。例如，在其他实施方式中，可以以不同的次序执行方法1000的步骤。附加地，图1所示的方法1000的一个或多个步骤可被省略或合并。例如，可在一个过程中实施过程1010、1020和/或1030。此外，图1中所示的方法1000的一个或多个步骤可在方法1000的各种实施中有差异地实施。例如，过程1030、1040、1050和/或1060可根据如下所述的方法2000、4000或5000来实施。任选地，可重复方法1000的一个或多个步骤。例如，根据下面描述的方法2000和4000实施的过程1040和1050可以以任意序列来重复，例如，这种序列可用于确证方法2000或4000中的另一个。
1.使用文本特征识别的示例实施方式
在方法1000的一些实施方式中，在计算装置将显示在成像系统监视器上的滚动图像采样为视频数据(即，视频图像帧)之后，可基于文本特征识别技术诸如光学字符识别(OCR)技术来实施过程1040和1050，以确定每个滚动图像切片中的可变文本并识别叠加在滚动堆栈中每个图像切片上的改变坐标值。例如，来自堆栈中每个图像切片的显示信息将描绘(i)每个图像切片的变动切片位置(例如，沿z坐标轴的z值变动)和(ii)非变动或恒定切片信息(例如，沿x坐标轴和y坐标轴保持恒定的x值和y值)。
一般地，对于诸如MPR可视化图像的3D体积图像，每个数据切片中都会有恒定的信息，如元数据。显示在MPR图像中的示例元数据可包括例如患者姓名或身份识别(ID)、扫描参数、成像系统信息等。在一些情况下，元数据包括在MPR图像中，特别是在可滚动视图中显示的x坐标、y坐标和z坐标，其中这些坐标中的两个在另一个坐标变动时，横跨滚动堆栈都是常数——一个示例就是，在x-y平面的滚动视图中z坐标改变，其中x坐标和y坐标保持恒定，如图3A所示并在下面更详细地讨论。由于至少元数据将是静态的(即，此信息不会随着滚动动作而改变)，因此计算装置实施OCR文本检测技术以隔离存在文本叠加的区。计算装置对经隔离区(含文本叠加)实施改变检测技术，以检测在图像切片之间发生改变的文本。例如，OCR可用于将坐标从图像像素转换为数值。所确定的改变文本(例如，数字z值)用于以适当的序列对图像帧数据进行组织。处理后的视频数据可任选地被筛选(例如，自主地或基于用户控制)以验证采样图像切片数据是根据序列滚动索引(例如，滚动轴的值，如数字z值)来组织的，从而提供对再现的视频数据的核查以确证组织准确性。
图2例如是描绘根据方法1000的一些实施方式的用于分析视频图像帧的文本特征并产生处理后的视频数据的方法2000的示例的流程图。方法2000可例如在方法1000的一些实施方式中于过程1040和1050处实施。替代地或组合地，方法2000的步骤的全部或子集可由医疗器械系统或装置的控制系统实施，包括但不限于机器人或远程操作系统的各种部件或装置，如下面更详细地描述。用于实施方法2000的计算系统可包括可操作地耦接到存储指令的存储器的一个或多个处理器，该指令在被执行时使计算系统根据方法2000的过程2010-2050中的一些或全部来执行操作。
在过程2010处开始，方法2000接收多个图像帧，其是从3D体积数据集采样的，同时被显示为由用户滚动的一系列切片图像。多个采样图像帧与来自由成像系统成像的患者解剖体的解剖结构的滚动堆栈图像的所显示的图像切片对应。在一些实施中，例如，在过程2010处接收的采样图像帧，与随着用户滚动通过例如在方法1000的过程1030处的堆栈中的一系列切片图像而显示在显示监视器上的多个体积数据重建图像对应。
在过程2020处，方法2000对多个图像帧执行OCR技术以呈现包含在图像帧中的文本信息。可使用各种合适的OCR技术。在过程2030处，方法2000分析所呈现的文本信息以识别在每个图像帧中都相同的恒定文本特征和在每个图像帧中都不同的变动文本特征。
在过程2040处，方法2000评估每个图像帧中的变动文本特征，以例如根据序列标准对每个图像帧进行分选和排序。例如，在过程2040的实施中，根据基于来自每个图像帧的每个经评估的变动文本特征的值的上升或下降序列，对图像帧进行分选和排序。在过程2050处，方法2000产生包括有序图像帧的处理后的视频数据。
在一些实施方式中，方法2000可任选地包括允许用户通过允许用户在显示屏上观看处理后的视频数据并提供与处理后的视频数据的验证或非验证相关联的输入来验证图像帧的有序集是根据可滚动图像堆栈的一系列图像切片来组织的过程。在一些实施方式中，方法2000可任选地包括自主验证处理后的视频数据中的图像帧的有序集的过程。
图3A示出了图示示例3D体积数据集的图，该示例3D体积数据集被描绘为在一个2D平面(滚动视图)和两个由两个静态视图相交而成的2D平面中的3D图像切片的堆栈。在该示例中，滚动视图是用户可沿z轴滚动的x-y平面，由x-z平面中的静态视图1与y-z平面中的静态视图2相交而成。3D图像的示例堆栈可作为MPR可视化图像展现给用户。
图3B示出了MPR可视化的示例，其描绘了来自3D图像堆栈的图像切片的三个2D平面视图与体积视图的2×2窗口。在图3B的示例MPR可视化图中，四个窗口3100、3200、3300和3400被布置成2×2窗口构型。窗口3100表示由成像系统(例如，CT、CBCT、MRI等)成像的患者解剖体的解剖结构或区域3101的三维体积视图。在窗口3100中，诸如元数据的文本3110出现在图像视图的一个或某个部分中。
窗口3200、3300和3400表示解剖结构或区域3101在一系列图像切片或图像切片堆栈中的一个切片处的二维图像视图。窗口3200例如是解剖结构或区域3101的2D轴向(或水平)视图，示为2D成像解剖特征3201。在窗口3200中，存在显示在2D轴向图像视图的部分中的文本，如元数据。更具体地，如窗口3200中所示，静态文本3210A被包括在2D轴向图像视图中。分别示出2D成像解剖特征3301的2D冠状视图和2D成像解剖特征3401的2D矢状视图的窗口3300和3400分别包括静态文本特征3310A和3410A，类似于窗口3200中所示的静态文本特征3210A。
一般地，MPR可视化允许用户一次滚动一个2D视图，保持其他两个2D视图其两个坐标不变。在这种情况下，对于在滚动的2D视图中滚动的每个图像切片，沿该2D视图将有可变文本特征。例如，如果用户滚动2D冠状视图，则可变文本3310B也将被包括(连同静态文本3310A)在窗口3300中；而窗口3200和3400可以不包括可变文本。同样地，例如，如果用户滚动2D轴向视图，则可变文本3210B也将被包括(连同静态文本3210A)在窗口3200中；而窗口3300和3400可以不包括可变文本。此外，例如，如果用户滚动2D矢状视图，则可变文本3410B也将被包括(连同静态文本3410A)在窗口3400中；而窗口3200和3300可以不包括可变文本。
值得注意的是，随着用户滚动堆栈的2D图像切片，静态文本3210A、3310A和3410A在图像切片之间不改变，而可变文本3210B、3310B或3410B改变(即，可变文本基于滚动视图改变)。注意，静态文本3210A和可变文本3210B的位置可彼此靠近或远离，其中图3B的图仅出于说明的目的而描绘了它们各自的位置。
一般地，2D切片图像中的文本(例如，元数据)包括有关每个切片相对于其他切片的位置的坐标信息(例如，在x、y、z坐标系中)。在每个2D视图中，文本坐标可通过两条彼此垂直的切片线来图形表示。例如，窗口3200包括对应于两个坐标方向的切片线3251和切片线3252，例如，在此示例中，x方向对应于切片线3251，而z方向对应于切片线3252。类似地，窗口3300包括对应于两个坐标方向的切片线3351和切片线3352，例如，在此示例中，x轴对应于切片线3351，而y轴对应于切片线3352。此外，窗口3400包括对应于两个坐标方向的切片线3451和切片线3452，例如，在此示例中，z轴对应于切片线3451，而y轴对应于切片线3452。
对于视频帧i，作为三个视图交点的点的坐标可表示为(xi,yi,zi)。假设用户通过变动z坐标来滚动图像切片，则在这种情况下，xi＝x值是常数，yi＝y值是常数，并且只有zi＝z值改变。为了重建体积数据，需要恢复{zi}。一旦{zi}恢复，可通过对切片重新采样使得z值落在具有限定间隔的规则网格上来重建体积。
2.使用静态视图图像特征识别的示例实施方式
在方法1000(图1)的一些实施方式中，在计算装置将显示在成像系统监视器上的图像切片采样为视频数据(即，视频图像帧)之后，可基于检测和分析作为标准MPR可视化中静态视图的特性的图像特征来实施过程1040和1050。例如，每个图像切片的MPR可视化一般会显示应当具有与静态视图相关联的相同值的图像线(例如，切片线)。在一些示例中，与特定2D平面相关联的切片线横跨其他视图都用相同颜色标记。通过在两个视图中找到相同或最佳匹配的切片线，可确定两个坐标。替代地或附加地，计算装置可分析这些线的几何形状，例如，这在MPR显示程序在视图间不使用共同颜色的情况下是有利的。值得注意的是，其他图像特征(例如，除了切片线之外)也可适用于匹配过程。
在一些实施方式中，计算装置可以只分析一个静态视图以识别这一个静态视图中的一个或多个图像特征(例如，切片线)，并确定其在相关联的滚动视图图像中的位置。然而，在一些实施中，计算装置可分析两个静态视图(MPR可视化图像的2×2窗口中的)以识别这两个静态视图中的一个或多个图像特征(例如，线)，并确定它们在相关联的滚动视图图像中的位置。例如，这可通过将来自一个或多个静态视图的两个图像特征(例如，切片线)与滚动视图中对应的线(例如，通过算法检测到的颜色来对应)匹配来实施，以求解每个滚动切片中的x、y和z坐标。所确定的z值用于组织图像帧数据，以确保视频数据以适当的序列包括采样的图像帧。处理后的视频数据可任选地被筛选(例如，自主地或基于用户控制)以验证采样图像切片数据是根据序列滚动索引(例如，沿滚动轴)来组织的，从而提供对再现的视频数据的核查以确证组织准确性。
图4A例如是描绘根据图1方法1000的一些实施方式的用于分析视频图像帧的图像特征并产生处理后的视频数据的方法4000的示例的流程图。方法4000可例如在方法1000的一些实施方式中于过程1040和1050处实施。替代地或组合地，方法4000的步骤的全部或子集可由医疗器械系统或装置的控制系统实施，包括但不限于机器人或远程操作系统的各种部件或装置，如下面更详细地描述。用于实施方法4000的计算系统可包括可操作地耦接到存储指令的存储器的一个或多个处理器，指令在被执行时使计算系统根据方法4000的过程4010-4050中的一些或全部来执行操作。
在过程4010处开始，方法4000接收多个图像帧，其是从3D体积数据集采样的，同时被显示为由用户滚动的一系列切片图像。多个采样图像帧与来自由成像系统成像的患者解剖体的解剖结构的滚动堆栈图像的所显示的图像切片对应。在一些实施中，例如，在过程4010处接收的采样图像帧，与随着用户滚动通过例如在图1的方法1000的过程1030处的堆栈中的一系列切片图像而显示在显示监视器上的多个体积数据重建图像对应。
方法4000在过程4020处继续，分析多个图像帧以检测作为每个图像帧中静态视图区域的特性的一个或多个图像特征，在静态视图区域中，与成像解剖区域相关联的平面坐标(例如，在x-y平面、y-z平面或x-z平面中的一个或多个处或沿这些平面中的一个或多个的平面坐标)对于可滚动图像堆栈的一系列图像切片中的每个图像切片都保持恒定。保持恒定的平面坐标可包括例如沿x-y平面、y-z平面和/或x-z平面中的任意一个或多个的点或线。值得注意的是，在过程4020的实施中，无需确定与在静态视图区域中保持恒定的所检测到的一个或多个图像特征相关联的平面坐标的实际值。在过程4020的一些实施中，为了检测静态视图区域的一个或多个图像特征特性，计算装置能够比较不同的图像纹理，以算出(每个图像切片画布的)哪(个)些像素发生改变，以及在每个采样图像切片当中哪(个)些像素保持静态。
在一种实施中，例如，过程4020可询问采样图像切片并检测示例MPR可视化窗口的2D视图中的切片线。在静态视图中，对于图像堆栈中所有采样图像切片中的每个静态视图，两条相交切片线中的一条保持恒定，即，该恒定切片线对于整个图像切片堆栈中每个图像切片在该相应的静态视图中都具有相同的平面坐标值。
图4B示出了患者身体的成像解剖区域(例如，胸部CT体积数据集)的示例MPR可视化图像，其描绘了两组2×2窗口，其中滚动视图已从第一MPR可视化图像(MPR图像3910)改变为第二MPR可视化图像(MPR图像3920)。2D平面视图(即，2D轴向视图、2D矢状视图和2D冠状视图)包括两个静态视图和一个滚动视图。在此示例中，这两个静态视图是2D轴向视图(“静态视图1”)和2D矢状视图(“静态视图2”)；而滚动视图是2D冠状视图(“滚动视图”1…n，其中n表示来自3D数据集的图像堆栈中沿该滚动视图轴的图像切片的数量)。
如图4B所示，每个MPR可视化图像都包括对于每个2D视图都有相交的两条线。这些线中有一些在每个图像切片中的相对方位对于图像堆栈中对应的2D视图保持恒定，而这些线中有一些在每个图像切片中的方位对于图像堆栈中对应的2D视图变动。在图4B的示例中示出的恒定线为MPR图像3910中的切片线3911和3913以及MPR图像3920中的切片线3921和3923——这些线在MPR图像3910和MPR图像3920之间，分别在2D轴向视图和2D矢状视图内不发生改变。也在图4B的示例中示出的变动线为MPR图像3910中的切片线3917和3919以及MPR图像3920中的切片线3927和3929——这些线在MPR图像3910和MPR图像3920之间，分别在2D轴向视图和2D矢状视图内的其相对方位发生改变。每个MPR可视化图像可包括其他特征或文本，诸如，例如元数据——在MPR图像3910中标记为3914，在MPR图像3910中标记为3924。
作为示例，参考图4A中的过程4020和图4B的图，在MPR可视化图像3910和3920的2D轴向视图(静态视图)中，MPR图像3910中的竖直切片线3911相对于MPR图像3920中的竖直切片线3921，其位置是恒定的(即，相对于图像窗口的同一相对方位)。以这种方式，过程4020可确定切片线在图像堆栈的静态视图中不发生改变的方位。在一些示例中，过程4020的实施可询问采样图像切片并检测与切片线有关的其他特征，诸如横跨堆栈中的图像切片的其他静态视图，线是否共享相同的颜色。通过在两个视图中找到相同或最佳匹配的切片线，可确定两个坐标。
在过程4030处，方法4000评估检测到的一个或多个图像特征，以确定每个图像帧的一个或多个图像特征在滚动视图区域中的相对位置。以这种方式，过程4030可确定对于可滚动图像堆栈的每个图像切片，与成像解剖区域相关联的平面坐标中的至少一个发生变动的地方。
在一些实施中，例如，过程4030可检查示例MPR可视化窗口的2D视图中的变动切片线并确定它们的方位相对于图像视图的改变，使得它们的变动的相对位置指示堆栈的每个图像切片中滚动视图的平面坐标。作为示例，再次参考图4B，在MPR可视化图像3910和3920的2D轴向视图(静态视图)中，MPR图像3910中的水平切片线3917相对于MPR图像3920中的水平切片线3927，其位置变动；类似地，在MPR可视化图像3910和3920的2D矢状视图(静态视图)中，MPR图像3910中的竖直切片线3919相对于MPR图像3920中的竖直切片线3929，其位置变动。以这种方式，过程4030可根据静态视图之间切片线的相对方位改变来确定图像堆栈的每个图像切片中的滚动视图的相对方位。这可例如使用单条变动切片线(例如，MPR图像3910的2D轴向视图中的水平切片线3917和MPR图像3920的2D轴向视图中的水平切片线3927)或者使用两条变动切片线(例如，MPR图像3910的2D矢状视图中的竖直切片线3919和MPR图像3920的2D矢状视图中的竖直切片线3929)来实施。
在过程4040处，方法4000根据基于与在每个图像帧中都变动的至少一个平面坐标相对应的相对位置的序列所分选的图像帧的有序集。在过程4040的实施中，例如，根据基于值的上升或下降序列对图像帧分选和排序，该值被规定为检测与图像堆栈中的采样图像切片当中滚动视图的次序相对应的变动特征。在过程4050处，方法4000产生包括有序图像帧的处理后的视频数据。
在一些实施方式中，方法4000任选地包括允许用户通过允许用户在显示屏上观看处理后的视频数据并提供与处理后的视频数据的验证或非验证相关联的输入来验证图像帧的有序集是根据可滚动图像堆栈的一系列图像切片来组织的过程。在一些实施方式中，方法4000任选地包括自主验证处理后的视频数据中的图像帧的有序集的过程。
方法4000还可任选地包括允许用户验证体积数据重建图像中的静态视图和/或滚动视图的过程。在一些实施方式中，例如，可例如在过程4030的实施之后提示用户输入静态视图和/或滚动视图或者响应验证提示。
在一些实施方式中，计算装置通过例如同时和/或序列地实施方法2000和方法4000两者来实施方法1000的过程1040和1050。以这种方式，计算装置可比较技术之间所确定的滚动视图图像切片的次序。如果所确定的次序中存在任何显著差异(例如，滚动视图坐标值)，则可提示用户进一步验证(和/或输入)与所产生的视频数据中的图像次序有关的信息。在一个示例中，方法1000可产生弹出窗口，以提示用户确认所产生的用户滚动的3D图像切片的视频是可接受的。在一些示例中，方法1000可产生允许用户对图像帧重新分选的图形用户界面(GUI)。
参考图4A中的方法4000，例如，在确定图像帧的有序集的过程4040之后，方法4000可任选地包括通过基于文本识别技术重新分析多个图像帧来确证图像帧的有序集的过程，以及将图像帧的有序集与图像帧的第二有序集进行比较的过程。例如，在一些实施中，方法4000中确证图像帧的有序集的任选过程可包括实施过程2020、2030和2040，例如，对多个图像帧执行OCR技术以呈现包含在图像帧中的文本信息，分析所呈现的文本信息以识别在每个图像帧中都相同的恒定文本特征和在每个图像帧中都不同的变动文本特征，以及评估每个图像帧中的变动文本特征以创建根据基于每个经评估的变动文本特征的值的序列所分选的图像帧的第二有序集。
3.创建伪体积图像数据的示例实施方式
在方法1000(图1)的一些实施方式中，在实施了过程1010和1020(其中3D图像数据由与显示监视器(例如，成像系统的计算机或与医疗装置通信的计算装置)通信的计算机获得，并且3D图像数据以3D图像堆栈的一系列图像切片的形式显示在监视器上供用户滚动)之后，方法1000可通过堆叠从来自原始3D图像数据的滚动的MPR可视化图像采样的图像视图来实施修改的采样过程，以创建视频文件格式的“伪体积”。例如，来自2D图像视图(例如，轴向视图、冠状视图和矢状视图)的图像数据可至少部分地被采样，分析图像特征或特性的改变(例如，像素改变)，并在确定改变时被索引，使得通过根据所索引的样本图像切片堆叠采样的图像数据来构建伪3D体积。
图5例如是描绘根据方法1000的一些实施方式的用于分析所显示的3D体积图像数据并产生创建3D体积图像数据的伪体积的视频数据的方法5000的示例的流程图。方法5000可在图1的方法1000的一些实施方式中于过程1010和1020之后实施。替代地或组合地，方法5000的步骤的全部或子集可由医疗器械系统或装置的控制系统实施，包括但不限于机器人或远程操作系统的各种部件或装置，如下面更详细地描述。用于实施方法5000的计算系统可包括可操作地耦接到存储指令的存储器的一个或多个处理器，该指令在被执行时使计算系统根据方法5000的过程5010-5050中的一些或全部来执行操作。
在过程5010处开始，方法5000从患者的成像解剖区域的3D图像堆栈的图像切片采样图像数据，这些图像切片显示在可由用户滚动的显示监视器上。例如，采样从可显示在显示监视器上的成像解剖区域的3D图像堆栈(例如，体积图像数据集)产生多个图像帧。图像数据的采样可连续执行，或者这种采样可基于输入(诸如用户在切片之间滚动)来执行。例如，在过程5010的各种实施中，采样可包括屏幕捕获技术。
在过程5020处，方法5000分析由用户滚动的采样图像切片内的部分区域，以识别该部分区域中的一个或多个图像特征或特性。
在过程5030处，方法5000确定在采样图像切片的部分区域中识别的一个或多个图像特征在每个采样图像切片当中是改变了还是保持恒定。
在过程5040处，当确定所识别的一个或多个图像特征或特性在后续图像切片和先前图像切片之间已经改变时，方法5000向后续图像切片分配与分配给先前图像切片的索引号不同的索引号。例如，当确定所识别的一个或多个图像特征或特性在第一图像帧和第二图像帧之间已经改变时，过程5040的实施可向采样图像帧的第一图像帧分配与分配给采样图像帧的第二图像帧的索引号不同的索引号。在方法5000的实施中，例如，过程5040(或过程5050)可删除或忽略这样的采样图像帧：在所分析的图像切片之间，所识别的一个或多个图像特征或特性被确定为保持恒定。
在过程5050处，方法5000基于所分配的索引号产生图像帧的有序集，以创建伪体积图像数据。例如，伪体积图像数据可包括显示在监视器上的由用户滚动的信息。
B.使用从成像系统处理的视频数据实施医疗程序的机器人或远程操作医疗系统 的实施方式
图6是根据所公开技术的各种实施方式配置的机器人或远程操作医疗系统100(“医疗系统100”)的示意性表示。医疗系统100包括与计算装置通信的医疗装置，计算装置可操作以实施如上公开的方法1000、2000、4000和/或5000，以向医疗系统100提供由另一成像系统(例如，CT、MRI等)获得的患者的3D图像数据，用于在医疗系统100对患者进行医疗程序期间实时使用。
如图6所示，医疗系统100包括操纵器组件102、医疗器械系统104、主组件106和控制系统112。操纵器组件102支撑医疗器械系统104，并且在主组件106和/或控制系统112的方向驱动医疗器械系统104以在手术环境101中对定位在台107上的患者103执行各种医疗程序。在这方面，主组件106通常包括一个或多个控制装置，其可由操作者105(例如，其可以是医师)操作以控制操纵器组件102。附加地或替代地，控制系统112包括计算机处理器114和至少一个存储器116，用于实现医疗器械系统104、主组件106和/或医疗系统100的其他部件之间的控制。控制系统112还可以包括编程指令(例如，存储指令的非暂时性计算机可读介质)以实施本文描述的任一种或多种方法，包括用于向显示系统110提供信息和/或处理用于针对医疗系统100对患者进行的各种医疗程序来配准医疗器械104的数据的指令。操纵器组件102可以是远程操作的、非远程操作的或混合的远程操作和非远程操作的组件。因此，主组件106的全部或一部分和/或控制系统112的全部或一部分可定位在手术环境101的内部或外部。
在一些实施方式中，为了帮助操作者105控制操纵器组件102和医疗器械系统104，医疗系统100可进一步包括下列中的一个或多个：传感器系统108、内窥镜成像系统109、成像系统118、虚拟可视化系统115和/或显示系统110。在一些实施方式中，传感器系统108包括用于确定医疗器械系统104的方位、取向、速率、速度、姿态和/或形状(例如，当医疗器械系统104在患者103体内时)的方位/位置传感器系统(例如，电磁(EM)传感器系统)和/或形状传感器系统。在这些和其他实施方式中，内窥镜成像系统109包括一个或多个图像捕获装置(未显示)(例如，诸如成像仪(imaging scope)组件和/或成像器械)，其记录包括患者解剖体的并发或实时图像(例如，视频图像、静止图像等)在内的内窥镜图像数据。由内窥镜成像系统109捕获的图像可以是例如由定位在患者103内的成像器械捕获的患者解剖体的二维或三维图像，并且在下文中被称为“真实导航图像”。
在一些实施方式中，医疗器械系统104可以包括传感器系统108的部件和/或内窥镜成像系统109的部件。例如，传感器系统108的部件和/或内窥镜成像系统109的部件可以一体地或可移除地耦接到医疗器械系统104。附加地或替代地，内窥镜成像系统109可以包括附接到单独的操纵器组件(未显示)的单独的内窥镜(未显示)，其可以与医疗器械系统104结合使用以对患者解剖体进行成像。传感器系统108和/或内窥镜成像系统109可以作为下列来实施：硬件、固件、软件或其组合，它们与一个或多个计算机处理器诸如控制系统112的(一个或多个)计算机处理器114交互或以其他方式由其执行。
成像系统118可以布置在手术环境101中靠近患者103处，以在医疗程序之前、期间和/或之后获得患者103的实时和/或接近实时的图像。在一些实施方式中，成像系统118作为医疗系统100的一部分被包括在内。然而，如上讨论的，在一些实施方式中，成像系统118可以是不隶属于医疗系统100的单独的系统。在一些实施方式中，成像系统118包括用于生成三维图像的移动式C形臂锥形束计算机断层扫描(CT)成像系统。例如，成像系统118可以包括西门子公司(Siemens Corporation)的DynaCT成像系统，或其他合适的成像系统。在这些和其他实施方式中，成像系统118可以包括其他成像技术，包括MRI、荧光检查、红外线显像(thermography)、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。由成像系统118获得的图像可通过根据方法1000、2000、4000和/或5000描述的至少一些过程提供给医疗系统118的控制系统112。
在这些和其他实施方式中，控制系统112还包括虚拟可视化系统115，以在图像引导的医疗程序期间控制医疗器械系统104时向操作者105提供导航辅助。例如，使用虚拟可视化系统115的虚拟导航，可基于对所获取的患者103的解剖通道的术前或术中数据集的参考(例如，基于对由传感器系统108、内窥镜成像系统109和/或成像系统118生成的数据的参考)。在一些实施中，例如，虚拟可视化系统115处理使用成像系统118捕获的患者解剖体的图像数据(例如，以生成患者103的解剖区域的解剖模型)。虚拟可视化系统115可将图像数据和/或解剖模型与由传感器系统108生成的数据和/或由内窥镜成像系统109生成的数据配准，以(i)确定医疗器械系统104在解剖模型内的方位、姿态、取向、形状和/或运动(例如，以生成复合虚拟导航图像)，和/或(ii)从医疗器械系统104在患者103体内的观看点确定患者解剖体的虚拟图像(未显示)。例如，虚拟可视化系统115将解剖模型与由方位传感器系统108生成的方位传感器数据和/或由内窥镜成像系统109生成的内窥镜图像数据配准，以(i)将解剖区域内医疗器械系统104的所跟踪的方位、取向、姿态、形状和/或运动映射到解剖模型内的正确方位，和/或(ii)在解剖模型内的与医疗器械系统104在患者103体内的位置对应的位置处，从医疗器械系统104的观看点确定解剖区域的虚拟患者解剖体的虚拟导航图像。
显示系统110可以显示由传感器系统108、由内窥镜成像系统109、由成像系统118和/或由虚拟可视化系统115生成的患者解剖体的和/或医疗器械系统104的各种图像或表示。在一些实施方式中，显示系统110和/或主组件106可以被取向使得操作者105可以利用远程呈现的感知来控制操纵器组件102、医疗器械系统104、主组件106和/或控制系统112。
如上讨论的，操纵器组件102在主组件106和/或控制系统112的方向驱动医疗器械系统104。在这方面，操纵器组件102可以包括可以是机动的和/或远程操作的选择运动自由度和可以是非机动的和/或非远程操作的选择运动自由度。例如，操纵器组件102可以包括响应于来自控制系统112的命令而驱动医疗器械系统104上的输入的多个致动器或马达(未显示)。致动器可以包括驱动系统(未显示)，该驱动系统当耦接到医疗器械系统104时，可以将医疗器械系统104推进到自然创建或手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械系统104的远侧部分(未显示)，其可以包括三个线性运动自由度(例如，沿X、Y、Z笛卡尔轴的线性运动)和三个旋转运动自由度(例如，围绕X、Y、Z笛卡尔轴的旋转)。附加地，致动器可以用于致动医疗器械系统104的铰接式末端执行器(例如，用于抓握活检装置和/或类似装置的钳口中的组织)。
图7是在手术环境201中并且根据所公开技术的各种实施方式配置的操纵器组件202、医疗器械系统204和成像系统218的示意性表示。在一些实施方式中，操纵器组件202、医疗器械系统204和/或成像系统218分别是图6的操纵器组件102、医疗器械系统104和/或成像系统118。如图所示，图7所示的手术环境201具有手术参考系(XS、YS、ZS)，其中患者203被定位在台207上，并且图7所图示的医疗器械系统204具有手术环境201内的医疗器械参考系(XM、YM、ZM)。在医疗程序期间，在患者的总体运动受到镇静、约束和/或其他手段的限制的意义上，患者203在手术环境201内可以是固定的。在这些和其他实施方式中，包括患者203的呼吸和心脏运动在内的循环解剖运动可以继续，除非要求患者203屏住他或她的呼吸以暂时中止呼吸运动。
操纵器组件202包括安装到插入台(insertion stage)228的器械托架222。在一些实施方式中，插入台228被固定在手术环境201内。替代地，插入台228在手术环境201内是可移动的，但在手术环境201内具有已知位置(例如，经由跟踪传感器或其他跟踪装置)。在这些替代方案中，医疗器械参考系(XM、YM、ZM)相对于手术参考系(XS、YS、ZS)是固定的或以其他方式已知的。在所图示实施方式中，插入台228是线性的，而在其他实施方式中，插入台228是弯曲的或具有弯曲部段与线性部段的组合。
图7的医疗器械系统204包括细长装置231、医疗器械232、器械主体235、传感器系统208和内窥镜成像系统209。在一些实施方式中，细长装置231是限定通道或腔244的柔性导管。通道244可以设定尺寸和形状以接收医疗器械232(例如，经由细长装置231的近端236和/或器械端口(未显示))并促进将医疗器械232递送到细长装置231的远侧部分238。如图所示，细长装置231耦接到器械主体235，器械主体235进而耦接操纵器组件202的器械托架226并且相对于其固定。
在操作时，例如，操纵器组件202可以控制细长装置231经由患者203的自然创建或手术创建的解剖孔口进入患者203的插入运动(例如，沿轴线A的近侧和/或远侧运动)，以促进细长装置231穿过患者203的解剖通道的导航和/或促进细长装置231的远侧部分238递送至患者203体内的目标位置。例如，器械托架226和/或插入台228可以包括致动器(未显示)，诸如伺服马达，其促进控制器械托架226沿插入台228的运动。附加地或替代地，在一些实施方式中，操纵器组件202可以控制细长装置231的远侧部分238沿多个方向的运动，包括偏航、俯仰和滚动旋转方向(例如，从而导航患者解剖体)。为此，细长装置231可容纳或包括缆线、连杆和/或操纵器组件202可用来可控地使细长装置231的远侧部分238弯曲的其他转向控制件(未显示)。例如，细长装置231可以容纳至少四根缆线，操纵器组件202可以使用这些缆线来提供(i)独立的“上下”转向以控制细长装置231的远侧部分238的俯仰，以及(ii)细长装置231的独立的“左右”转向以控制细长装置231的远侧部分238的偏航。
医疗器械系统204的医疗器械232可用于医疗程序，诸如用于解剖通道的检查、手术、活检、消融、照明、冲洗和/或抽吸。因此，医疗器械232可以包括图像捕获探针、活检器械、激光消融纤维和/或其他手术工具、诊断工具和/或治疗工具。例如，医疗器械232可以包括具有一个或多个图像捕获装置247的内窥镜，图像捕获装置247定位在医疗器械232的远侧部分237处和/或沿医疗器械232的其他位置处。在这些实施方式中，当医疗器械232在患者203的解剖区域内时，图像捕获装置247可以捕获解剖通道和/或其他患者解剖体的一个或多个真实图像或视频(例如，一个或多个真实导航图像帧序列)。
如上讨论的，医疗器械232可以经由由细长装置231限定的通道244部署到患者203内的目标位置中和/或递送到患者203内的目标位置。在医疗器械232包括在医疗器械232的远侧部分237处具有图像捕获装置247的内窥镜或其他医疗装置的实施方式中，图像捕获装置247可以在操纵器组件202将细长装置231的远侧部分238导航到患者203体内的目标位置之前、期间和/或之后被推进到细长装置231的远侧部分238。在这些实施方式中，医疗器械232可用作检查器械，以捕获解剖通道和/或其他患者解剖体的真实图像和/或视频，和/或帮助操作者(例如，医师)导航细长装置231的远侧部分238穿过解剖通道到达目标位置。
作为另一示例，在操纵器组件202将细长装置231的远侧部分238定位在患者203体内的目标位置附近之后，医疗器械232可以被推进超过细长装置231的远侧部分238以在目标位置处执行医疗程序。继续此示例，在目标位置处的全部或一部分医疗程序完成之后，医疗器械232可以被缩回回到细长装置231中，并且附加地或替代地，可以从细长装置231的近端236或从沿细长装置231的另一器械端口(未示出)移除。
在图7所示的示例实施方式中，医疗器械系统204的传感器系统208包括形状传感器233和方位测量装置239。在一些实施方式中，传感器系统208包括图6的传感器系统108的全部或一部分。在这些和其他实施方式中，传感器系统208的形状传感器233包括在细长装置231内延伸并与其对齐的光纤。在一个实施方式中，形状传感器233的光纤具有大约200μm的直径。在其他实施方式中，光纤的直径可以更大或更小。
形状传感器233的光纤形成用于确定细长装置231的形状的光纤弯曲传感器。在一些实施方式中，具有光纤布拉格光栅(FBG)的光纤可用于在一个或多个维度的结构中提供应力测量。美国专利申请公开号2006-0013523(2005年7月13日提交)(公开了光纤方位和形状感测装置及其相关方法)；美国专利号7,781,724(2006年9月26日提交)(公开了光纤方位和形状感测装置及其相关方法)；美国专利号7,772,541(2008年3月12日提交)(公开了基于瑞利散射的光纤方位和/或形状感测)；和美国专利号6,389,187(1998年6月17日提交)(公开了光纤弯曲传感器)中进一步详细描述了用于在三个维度中监视光纤的形状和相对方位的各种系统和方法，这些专利全都通过引用以其整体引入本文。在这些和其他实施方式中，所公开技术的传感器可以采用其他合适的应力感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在这些和又其他的实施方式中，细长装置231的形状可以使用其他技术来确定。例如，细长装置231的远侧部分238的姿态的历史可用于在时间间隔内重建细长装置230的形状。
在一些实施方式中，形状传感器233被固定在医疗器械系统204的器械主体235上的近侧点234处。在操作时，例如，形状传感器233测量医疗器械参考系(XM、YM、ZM)中从近侧点234到沿光纤的另一点(诸如细长装置231的远侧部分238)的形状。形状传感器233的近侧点234可以与器械主体235一起移动，但近侧点234的位置可以是已知的(例如，经由跟踪传感器或其他跟踪装置)。
随着器械主体235在操纵器组件202的插入台228上沿着插入轴线A移动，传感器系统208的方位测量装置239提供关于器械主体235的方位的信息。在一些实施方式中，方位测量装置239包括分解器、编码器、电位计和/或其他传感器，其确定控制操纵器组件202的器械托架226的运动并因此控制医疗器械系统204的器械主体235的运动的致动器(未示出)的旋转和/或取向。
图8是根据所公开技术的各种实施方式的在患者203的解剖区域350(例如，人肺)内延伸的图7医疗器械系统204的一部分的示意性表示。具体地，图8图示了在解剖区域350的分支解剖通道352内延伸的医疗器械系统204的细长装置231。解剖通道352包括气管354和支气管356。
如图8所示，细长装置231在解剖区域350内具有方位、取向、姿态和形状，其全部或一部分(除了运动如速率或速度之外，或者代替运动如速率或速度)可由传感器系统208的形状传感器233和/或方位测量装置239捕获，以检查解剖区域350的解剖通道352。具体地，传感器系统208的形状传感器233和/或方位测量装置239可通过收集医疗器械参考系(XM、YM、ZM)中医疗器械系统204在解剖区域350内的方位信息来检查解剖通道352。方位信息可被记录为一组二维或三维坐标点。在解剖区域350是人肺的示例中，坐标点可以表示细长装置231的远侧部分238的位置和/或细长装置231的其他部分的位置，同时细长装置231被推进穿过气管354和支气管356。在这些和其他实施方式中，坐标点的集合可以表示在细长装置231被推进穿过解剖区域350的同时细长装置231的形状(一种或多种)。在这些和其他实施方式中，坐标点可以表示医疗器械系统104的其他部分(例如，医疗器械232)的方位数据。
坐标点可以一起形成方位点云数据。例如，图9图示了根据所公开技术的各种实施方式的在细长装置231处于解剖区域350(先前示于图8中)内的同时形成表示细长装置231的形状的方位点云数据460的多个坐标点462。具体地，方位点云数据460是在传感器系统208获取数据时段期间，由形状传感器233(先前示于图7和图8中)的和/或方位测量装置239(先前示于图7中)的所记录的坐标点462的全部或子集的并集生成的。方位点云数据460可根据所公开的方法、系统、装置和计算机程序产品通过示例实施方式的实施来更新。
-在一些实施方式中，点云(例如，点云460)可以包括在跨越细长装置231于解剖区域350内的多个形状、方位、取向和/或姿态的图像捕获时段期间，由传感器系统208记录的坐标点的全部或子集的并集。在这些实施方式中，点云可以包括由传感器系统208捕获的坐标点，这些坐标点表示在图像捕获时段期间在细长装置231被推进或移动穿过患者解剖体的同时的细长装置231的多个形状。附加地或替代地，因为细长装置231在患者203体内的构型(包括形状和位置)可能会在图像捕获时段期间因解剖运动而改变，所以在一些实施方式中的点云可包括由传感器系统208捕获的多个坐标点462，这些坐标点表示随着细长装置231在患者203体内被动移动的细长装置231的形状。传感器系统208所捕获的坐标点的点云可被配准到患者解剖体的不同模型或数据集。例如，方位点云数据460可用于与分支解剖通道352的不同模型的配准中。
再次参考图7，医疗器械系统204的内窥镜成像系统209包括一个或多个图像捕获装置，这些图像捕获装置被配置为在细长装置231和/或医疗器械232处于患者203体内时捕获解剖通道(例如，图8的解剖通道352)和/或其他患者解剖体的一个或多个图像和/或视频(例如，图像帧序列)。例如，内窥镜成像系统209可包括(i)定位在医疗装置232的远侧部分237处的图像捕获装置247和/或(ii)定位在沿医疗装置232的其他位置处的一个或多个其他图像捕获装置(未示出)。在这些和其他实施方式中，内窥镜成像系统209可包括定位在远侧部分238处和/或沿细长装置231的其他位置处的一个或多个图像捕获装置(未示出)。在一些实施方式中，内窥镜成像系统209可包括图6的内窥镜成像系统109的全部或一部分。
如图8所示，医疗器械234的图像捕获装置247被定位在细长装置231的远侧部分238。在此实施方式中，图像捕获装置247可以通过在细长装置231被推进穿过解剖区域350的气管354和支气管356的同时捕获解剖通道352的真实图像来调查解剖通道352。
图10是使用医疗器械系统204的图像捕获装置247捕获的患者解剖体的解剖区域350(如图8的解剖通道352)的内窥镜视频图像帧570(例如，真实图像，如静止图像、视频的图像帧等)的示例。如图所示，真实图像570图示了从医疗器械232的观看点的(图8所示解剖区域350内)两个支气管356的分支点571。在此示例中，观看点是从医疗器械232的远侧尖端，使得医疗器械232在真实图像570内不可见。在其他实施方式中，图像捕获装置247可定位在沿医疗器械232和/或沿细长装置231的另一位置处，使得从医疗器械232的另一观看点和/或从沿细长装置231的另一观看点拍摄真实图像570。取决于医疗器械232和细长装置231相对于彼此的方位，医疗器械232的和/或细长装置231的一部分在这些真实图像570内可以是可见的。
再次参考图7，由内窥镜成像系统209捕获的真实图像可促进细长装置231的远侧部分238穿过患者203的解剖通道(例如，图8的解剖通道352)的导航和/或将细长装置231的远侧部分238递送到患者203体内的目标位置。在这些和其他实施方式中，由内窥镜成像系统209捕获的真实图像可促进(i)将医疗器械232的远侧部分导航超过细长装置231的远侧部分238，(ii)将医疗器械232的远侧部分递送到患者203体内的目标位置，和/或(iii)对医疗程序期间患者解剖体的可视化。在一些实施方式中，由内窥镜成像系统209捕获的每个真实图像都可与患者203的解剖区域内的时间戳和/或方位相关联。
如图7所示，成像系统218可被布置在患者203附近以获得患者203的三维图像。在一些实施方式中，成像系统218包括一种或多种成像技术，包括CT、MRI、荧光检查、红外线显像、超声、OCT、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。成像系统218被配置为在细长装置231在患者203体内延伸之前、期间和/或之后生成患者203的图像数据。因此，成像系统218可被配置为捕获患者203的术前、术中和/或术后三维图像。在这些和其他实施方式中，成像系统218可提供患者203的实时或接近实时的图像。
图11图示了当医疗器械系统204的细长装置231在解剖区域350内延伸时，在图像捕获时段期间由成像系统218捕获的图8解剖区域350的一部分655的这种术中图像数据680。如图所示，图像数据680包括表示细长装置231的图形元素681和表示解剖区域350的解剖通道352的图形元素682。
图像数据680的图形元素681和682的全部或一部分可以被分段和/或过滤，以生成(i)解剖区域350的部分655的解剖通道352的三维模型，和/或(ii)解剖区域350内细长装置231的图像点云。在分段过程中，从图像数据680生成的像素或体素可以被划分成分段或元素或被标记以指示它们共享某些特性或计算属性如颜色、密度、强度和材质。然后，这些分段或元素可被转换成模型和/或点云。附加地或替代地，这些分段或元素可用于定位(例如，计算)和/或限定沿解剖通道352延伸的中心线。所生成的解剖模型和/或点云可以是二维或三维的，并且可以在图像参考系(XI、YI、ZI)中生成。
如上文关于图6讨论的，医疗系统100的显示系统110可基于由方位传感器系统108、内窥镜成像系统109、成像系统118和/或虚拟可视化系统115捕获和/或生成的数据来显示患者解剖体的和/或医疗器械系统104的各种图像或表示。在各种实施中，系统可利用这些图像和/或表示来帮助操作者105进行图像引导的医疗程序。
图12是根据所公开技术的各种实施方式的由显示系统110产生的示例显示器710的示意性表示。如图所示，显示器710包括真实导航图像770、复合虚拟导航图像791(也称为“复合虚拟图像791”)和虚拟导航图像792。真实导航图像770可以基本上与图10的真实导航图像570相同。因此，例如，真实导航图像770可由内窥镜成像系统109(图7)捕获并提供给显示系统110，以实时或接近实时地展现在显示器710上。在所示实施方式中，真实导航图像770图示了真实患者解剖体，例如，诸如从远离医疗器械232的远侧部分237向远侧取向的观看点的分支点或隆突771(在这里解剖通道分支成两个支气管356和/或解剖通道352)的真实图像。
图12的复合虚拟图像791显示在图像参考系(XI、YI、ZI)中，并且包括从由成像系统118捕获的(例如，图8的解剖区域350的)图像数据生成的解剖模型796。解剖模型796与由方位传感器系统108生成的坐标点的点云(例如，图9的点云460)配准(即，动态参考)，以显示解剖模型796内医疗器械系统104的实施方式(例如，诸如图7的细长装置231)在患者103体内的所被跟踪的方位、形状、姿态、取向和/或运动的表示704。在一些实施方式中，复合虚拟图像791由控制系统112(图6)的虚拟可视化系统115(图6)生成。生成复合虚拟图像791涉及将图像参考系(XI、YI、ZI)与手术参考系(XS、YS、ZS)配准和/或配准到医疗器械参考系(XM、YM、ZM)。此配准可通过由方位传感器系统108捕获的点云的坐标点(例如，图9的点云460的坐标点462)的刚性和/或非刚性变换来旋转、平移或以其他方式操纵，以将坐标点与解剖模型796对齐。可例如通过使用基于点的迭代最近点(ICP)技术来实现图像和手术/器械参考系之间的配准，如美国临时专利申请号62/205,440和62/205,433中描述的，这两项专利均通过引用以其整体并入本文。在其他实施方式中，可使用另一种点云配准技术来实现配准。
至少部分地基于配准，虚拟可视化系统115可以附加地或替代地生成虚拟导航图像(例如，虚拟导航图像792)，其包括从虚拟相机对解剖模型796内医疗器械系统104(图9)的表示704的观看点的对患者解剖体的虚拟描绘。在图12中所示的对图7所示医疗器械系统204的表示704的实施方式中，虚拟相机被定位在(例如，医疗器械232的)表示704的远侧部分737处使得(i)虚拟导航图像792(示于图12中)的观看点远离表示704的远侧部分737指向远侧，并且(ii)表示704在虚拟导航图像792内不可见。在其他实施方式中，虚拟可视化系统115可将虚拟相机定位在(i)沿着表示704的另一位置处和/或(ii)处于不同的取向使得虚拟导航图像792具有对应的虚拟观看点。在一些实施方式中，取决于虚拟相机的方位和取向以及细长装置231和医疗器械232在患者103体内相对于彼此的方位，虚拟可视化系统115可将细长装置231的和/或医疗器械232的至少一部分的虚拟表示(未示出)渲染到虚拟导航图像792中。
在一些实施方式中，虚拟导航图像792可任选地包括导航条纹(stripe)799。在一些实施中，导航条纹799用于帮助操作者105导航医疗器械系统104穿过解剖通道到达患者103体内的目标位置。例如，导航条纹799可图示出穿过患者解剖体的“最佳”路径以供操作者105遵循，从而将医疗器械232的和/或细长装置231的远侧部分237和/或238分别递送到解剖区域内的目标位置。在一些实施方式中，导航条纹799可与对应解剖通道的中心线或沿着对应解剖通道的(例如，底的)另一条线对齐。
在一些实施方式中，虚拟可视化系统115可将虚拟相机放置在解剖模型796内与患者103体内的图像捕获装置247的方位和取向相对应的方位和取向处。如图12中进一步所示，虚拟导航图像792图示了虚拟患者解剖体，其来自基本上相同的位置——在这里图像捕获装置247捕获真实导航图像770，例如，示出了标记出解剖模型796的两个解剖通道752的分支点的隆突701。因此，虚拟导航图像792提供了在图8的解剖区域350内给定位置处图像捕获装置247可见的患者解剖体的渲染估计。因为虚拟导航图像792基于由方位传感器系统108生成的点云和由成像系统118捕获的图像数据的配准，所以虚拟导航图像792和真实导航图像770之间的对应关系提供了关于配准精度和/或效率的洞察并且可以用于改进配准。此外，由内窥镜成像系统109捕获的真实导航图像(例如，真实导航图像570和770)能够(a)提供关于医疗器械系统104在患者103体内的方位和取向的信息，(b)提供关于医疗器械系统实际访问的解剖区域的部分的信息，和/或(c)帮助识别靠近医疗器械系统104的患者解剖体(例如，解剖通道的分支点或隆突)，其中任一项或多项都可用于提高配准精度和/或效率。
C.实施例
本技术的若干方面将在以下实施例中进行阐述。尽管本技术的若干方面以涉及系统、计算机可读介质和方法的实施例进行了阐述，但本技术的这些方面中的任意方面都可在其他实施方式中以涉及任意系统、计算机可读介质和方法的实施例进行类似阐述。
1.一种用于从成像系统向医疗装置提供实时三维(3D)图像信息的系统，所述系统包括：
计算装置的处理器；和
所述计算装置的存储器，所述存储器耦接到所述处理器并存储指令，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
在所述计算装置处接收包括从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样的多个图像帧的视频数据，其中所述多个图像帧对应于以可滚动图像堆栈的一系列图像切片的形式显示在所述监视器上的多个体积数据重建图像；
对所述多个图像帧实施光学字符识别(OCR)技术以呈现包含在所述图像帧中的文本信息；
分析所呈现的文本信息以识别在每个所述图像帧中都相同的恒定文本特征和在每个所述图像帧中都不同的变动文本特征；
评估每个所述图像帧中的所述变动文本特征，以创建根据基于每个经评估的变动文本特征的值的序列所分选的所述图像帧的有序集；以及
产生包括所述图像帧的所述有序集的处理后的视频数据。
2.实施例1的系统，其中所述操作还包括通过允许用户在显示屏上观看所述处理后的视频数据来验证所述图像帧的所述有序集是根据所述可滚动图像堆栈的所述一系列图像切片来组织的。
3.实施例1或实施例2的系统，其中所述操作还包括将所述处理后的视频数据提供给所述医疗装置的点云处理模块，从而处理所述图像帧并提取用于所述医疗装置的导航数据点云的信息。
4.实施例1-3中任一项的系统，其中所述操作还包括随着用户滚动通过每个图像，对所述多个体积数据重建图像中的每个图像采样以产生所述视频数据，并且其中所述多个体积数据重建图像包括当所述用户在所述体积数据重建图像的两个图像之间滚动时不改变的至少一个静态视图和改变的一个滚动视图。
5.实施例1-4中任一项的系统，其中操作还包括将所述视频数据从所述成像系统的计算机传输到与所述医疗装置通信的所述计算装置，并且其中在不使用医学数字成像和通信(DICOM)网络传输协议的情况下在所述计算装置处接收包含在所述3D体积数据集中的信息。
6.实施例1-5中任一项的系统，其中所述变动文本特征包括相对于所述成像解剖区域的所述可滚动图像堆栈的所述一系列图像切片中的坐标系的x坐标值、y坐标值或z坐标值中的一个，并且其中所述恒定文本特征包括所述x坐标值、所述y坐标值和所述z坐标值中的另一个或另两个。
7.实施例1-6中任一项的系统，其中所述变动文本特征和所述恒定文本特征被包括在展现在所述体积数据重建图像上的元数据中。
8.实施例7的系统，其中所述元数据包括下列项中的一个或多个：与所述患者相关联的姓名或身份识别、所述成像系统的扫描参数或所述成像系统的系统信息。
9.实施例1-8中任一项的系统，其中所述分析包括对每个所述图像帧的经隔离区实施检测改变技术以检测所述变动文本特征和所述恒定文本特征。
10.实施例1-9中任一项的系统，其中所述分析比较所述恒定文本特征和所述变动文本特征分别在每个图像帧中的当前位置，以确定对于每个所述图像帧，恒定文本特征和变动文本特征是否各自出现在所述图像帧中相对于恒定文本特征和变动文本特征自身基本上相同的位置。
11.实施例1-10中任一项的系统，其中所述多个体积数据重建图像对应于包括轴向横截面视图、矢状横截面视图和冠状横截面视图的多个多平面重建(MPR)可视化视图，其中所述轴向横截面视图、所述矢状横截面视图或所述冠状横截面视图中的一个是滚动视图。
12.实施例1-11中任一项的系统，其中所述成像系统包括CT系统或锥形束CT系统，并且其中所述医疗装置包括传感器，并且进一步其中所述医疗装置可插入所述患者的解剖通道中。
13.实施例12的系统，其中所述医疗装置的所述传感器被配置为在对所述患者的解剖体的所述解剖通道进行数据采样期间生成方位传感器数据和运动传感器数据中的一个或两个，并且其中所述操作还包括：
至少部分地基于所述方位传感器数据和所述运动传感器数据中的一个或两个来生成坐标点的点云，
生成所述点云的至少一部分与所述解剖区域的术前图像的至少一部分之间的配准，从所述处理后的视频数据中的图像帧的所述有序集提取数据以产生与由所述成像系统成像的解剖区域相关联的坐标点，以及
至少部分地基于所产生的与所述成像的解剖区域相关联的坐标点来更新所述配准。
14.一种用于从成像系统向医疗装置提供实时三维(3D)图像信息的系统，所述系统包括：
计算装置的处理器；和
所述计算装置的存储器，所述存储器耦接到所述处理器并存储指令，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
在所述计算装置处接收包括从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样的多个图像帧的视频数据，其中所述多个图像帧对应于以可滚动图像堆栈的一系列图像切片的形式显示在所述监视器上的多个体积数据重建图像；
分析所述多个图像帧以检测作为每个图像帧中静态视图区域的特性的一个或多个图像特征，在所述静态视图区域中，对于所述可滚动图像堆栈的所述一系列图像切片中的每个图像切片，与所述成像解剖区域相关联的平面坐标保持恒定；
评估所检测的一个或多个图像特征以确定对于每个图像帧所检测的一个或多个图像特征相对于滚动视图区域的相对位置，其中所述相对位置对应于与所述成像解剖区域相关联的所述平面坐标中对于所述可滚动图像堆栈的所述一系列图像切片中的每个图像切片都变动的至少一个；
确定根据基于与在每个所述图像帧中都变动的所述平面坐标中的所述至少一个相对应的相对位置的序列所分选的所述图像帧的有序集；以及
产生包括所述图像帧的所述有序集的处理后的视频数据。
15.实施例14的系统，其中所述操作还包括通过允许用户在显示屏上观看所述处理后的视频数据来验证所述图像帧的所述有序集是根据所述可滚动图像堆栈的所述一系列图像切片来组织的。
16.实施例14或实施例15的系统，其中所述操作还包括将所述处理后的视频数据提供给所述医疗装置的点云处理模块，从而处理所述图像帧并提取用于所述医疗装置的导航数据点云的信息。
17.实施例14-16中任一项的系统，其中所述操作还包括随着用户滚动通过每个图像，对所述多个体积数据重建图像中的每个图像采样以产生所述视频数据，并且其中所述多个体积数据重建图像包括当所述用户在所述体积数据重建图像的两个图像之间滚动时不改变的至少一个静态视图和改变的一个滚动视图。
18.实施例14-17中任一项的系统，其中所述操作还包括将所述视频数据从所述成像系统的计算机传输到与所述医疗装置通信的所述计算装置，并且其中在不使用医学数字成像和通信(DICOM)网络传输协议的情况下在所述计算装置处接收包含在所述3D体积数据集内的信息。
19.实施例14-18中任一项的系统，其中所检测的一个或多个图像特征包括与所述静态视图区域的至少一部分交叉的线。
20.实施例14-19中任一项的系统，其中评估所确定的一个或多个图像特征包括在体积数据重建图像中的两个静态视图区域之间匹配所述一个或多个图像特征的颜色。
21.实施例14-20中任一项的系统，其中所述多个体积数据重建图像对应于包括轴向横截面视图、矢状横截面视图和冠状横截面视图的多个多平面重建(MPR)可视化视图，其中所述轴向横截面视图、所述矢状横截面视图或所述冠状横截面视图中的一个是滚动视图。
22.实施例14-21中任一项的系统，其中所述成像系统包括CT系统或锥形束CT系统，并且其中所述医疗装置包括传感器，并且进一步其中所述医疗装置可插入所述患者的解剖通道中。
23.实施例22的系统，其中所述医疗装置的所述传感器被配置为在对所述患者的解剖体的所述解剖通道进行数据采样期间生成方位传感器数据和运动传感器数据中的一个或两个，其中所述系统被配置为执行包括下列项的进一步操作：
至少部分地基于所述方位传感器数据和所述运动传感器数据中的一个或两个来生成坐标点的点云，
生成所述点云的至少一部分与所述解剖区域的术前图像的至少一部分之间的配准，从所述处理后的视频数据中的图像帧的所述有序集提取数据以产生与由所述成像系统成像的解剖区域相关联的坐标点，以及
至少部分地基于所产生的与所述成像的解剖区域相关联的坐标点来更新所述配准。
24.实施例14-23中任一项的系统，其中所述操作还包括在确定所述图像帧的所述有序集之后，通过基于文本识别技术重新分析所述多个图像帧来确证所述图像帧的所述有序集，并且其中重新分析所述多个图像帧包括：
对所述多个图像帧实施光学字符识别(OCR)技术以呈现包含在所述图像帧中的文本信息，
分析所呈现的文本信息以识别在每个所述图像帧中都相同的恒定文本特征和在每个所述图像帧中都不同的变动文本特征，和
评估每个所述图像帧中的所述变动文本特征以创建根据基于每个经评估的变动文本特征的值的序列所分选的所述图像帧的第二有序集；以及
将所述图像帧的所述有序集与所述图像帧的所述第二有序集进行比较。
25.一种用于从成像系统向医疗装置提供实时三维(3D)图像信息的系统，所述系统包括：
处理器；和
存储器，所述存储器耦接到所述处理器并存储指令，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样多个图像帧，其中所述3D体积数据集可显示为以可滚动图像堆栈的一系列图像切片的形式的多个体积数据重建图像；
分析对应于所述可滚动图像堆栈的所述图像切片的每个采样图像帧内的部分区域，以识别所分析的部分区域内的一个或多个图像特征；
确定在所述部分区域中识别的所述一个或多个图像特征对于每个采样图像切片是改变了还是保持恒定；
当确定所识别的一个或多个图像特征相对于采样图像帧的第一图像帧和采样图像帧的第二图像帧已经改变时，向所述第一图像帧分配与分配给所述第二图像帧的索引号不同的索引号；以及
基于所分配的索引号产生采样图像帧的有序集，以创建伪体积图像数据。
D.结语
上文对本技术实施方式的详细描述并不旨在是穷举的或将本技术限制到上文公开的精确形式。尽管上文出于说明的目的描述了本技术的具体实施方式和实施例，但是相关领域技术人员将认识到，各种等同的修改在本技术的范围内也都是可能的。例如，虽然以给定的次序呈现步骤，但是替代实施方式可以以不同的次序执行步骤。此外，本文描述的各种实施方式也可被组合以提供其他实施方式。
本专利文件中描述的主题和功能操作的实施可以在各种系统、数字电子电路或在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等效物，或其中的一种或多种的组合。本说明书中描述的主题的实施可以实现为一个或多个计算机程序产品，即，编码在有形且非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，其用于由数据处理设备执行或控制数据处理设备的操作。计算机可读介质可以是机器可读存储装置、机器可读存储衬底、存储器装置、影响机器可读传播信号的物质组合物，或者它们中的一个或多个的组合。术语“数据处理单元”或“数据处理设备”涵盖用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，设备还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中的一种或多种的组合的代码。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以以任何形式的编程语言(包括编译或解译语言)编写，并且该计算机程序可以以任何形式部署，包括作为独立程序或作为模块、部件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在容纳其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论程序的单个文件或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以部署计算机程序成在一台计算机或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序以通过对输入数据进行操作并产生输出来执行功能。过程和逻辑流程也可以由专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且设备也可以实现为该专用逻辑电路系统。
适合于执行计算机程序的处理器包括例如通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器装置。通常，计算机还将包括一个或多个用于存储数据的大容量存储装置(例如，磁、磁光盘或光盘)或经可操作地耦接以从该大容量存储装置接收数据或向其传输数据或两者。然而，计算机不需要有此类装置。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置，包括例如半导体存储器装置，例如EPROM、EEPROM和闪存装置。处理器和存储器可以由专用逻辑电路补充或结合在专用逻辑电路中。
从上文可见，已经出于说明的目的在本文描述了本技术的具体实施方式，但是未详细显示或描述公知的结构和功能以避免不必要地混淆对本技术实施方式的描述。在通过引用并入本文的任何材料与本公开冲突的程度下，以本公开为准。在上下文允许的情况下，单数或复数术语也可以分别包括复数或单数术语。此外，除非“或”一词被明确限制为仅表示在涉及两个或更多个项目的列表中排除其他项目的单个项目，否则在此类列表中使用“或”应解释为包括(a)列表中的任何单个项目，(b)列表中的所有项目，或(c)列表中项目的任何组合。如本文所用，如“A和/或B”中的短语“和/或”是指单独的A、单独的B以及A和B两者。在上下文允许的情况下，单数或复数术语还可以分别包括复数或单数术语。此外，术语“包括”、“包含”、“具有”和“带有”自始至终用于表示至少包括一个或多个所叙述的特征，使得不排除任何更多数量的相同特征和/或其他类型的其他特征。
此外，如本文所用，术语“基本上”是指动作、特性、性质、状态、结构、项目或结果的完全或几乎完全范围或程度。例如，“基本上”封闭的物体意指该物体要么完全封闭，要么几乎完全封闭。在某些情况下，绝对完整性的确切可允许偏差程度可取决于具体情况。然而，一般而言，完成的接近程度将具有与获得绝对完成和完全完成相同的总体结果。当用于否定含义时，“基本上”的使用同样适用于指代完全或几乎完全缺乏动作、特性、性质、状态、结构、项目或结果。
从上文可见，还将理解，可以在不偏离本技术的情况下进行各种修改。例如，可以将本技术的各个部件进一步划分为子部件，或者可以组合和/或集成本技术的各个部件和功能。此外，尽管与本技术的某些实施方式相关联的优点已经在那些实施方式的上下文中有所描述，但其他实施方式也可以表现出此类优点，并且并非所有实施方式都必须表现出此类优点以落入本技术的范围内。因此，本公开和相关技术能够涵盖本文未明确示出或描述的其他实施方式。

Claims (25)

1.一种用于从成像系统向医疗装置提供实时三维图像信息即实时3D图像信息的系统，所述系统包括：
计算装置的处理器；和
所述计算装置的存储器，所述存储器耦接到所述处理器并存储指令，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
在所述计算装置处接收包括从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样的多个图像帧的视频数据，其中所述多个图像帧对应于以可滚动图像堆栈的一系列图像切片的形式显示在所述监视器上的多个体积数据重建图像；
对所述多个图像帧实施光学字符识别技术即OCR技术以呈现包含在所述图像帧中的文本信息；
分析所呈现的文本信息以识别在每个所述图像帧中都相同的恒定文本特征和在每个所述图像帧中都不同的变动文本特征；
评估每个所述图像帧中的所述变动文本特征，以创建根据基于每个经评估的变动文本特征的值的序列所分选的所述图像帧的有序集；以及
产生包括所述图像帧的所述有序集的处理后的视频数据。
2.根据权利要求1所述的系统，其中所述操作还包括通过允许所述用户在显示屏上观看所述处理后的视频数据来验证所述图像帧的所述有序集是根据所述可滚动图像堆栈的所述一系列图像切片来组织的。
3.根据权利要求1所述的系统，其中所述操作还包括将所述处理后的视频数据提供给所述医疗装置的点云处理模块，从而处理所述图像帧并提取用于所述医疗装置的导航数据点云的信息。
4.根据权利要求1所述的系统，其中所述操作还包括随着用户滚动通过每个图像，对所述多个体积数据重建图像中的每个图像采样以产生所述视频数据，并且其中所述多个体积数据重建图像包括当所述用户在所述体积数据重建图像的两个图像之间滚动时不改变的至少一个静态视图和改变的一个滚动视图。
5.根据权利要求1所述的系统，其中操作还包括将所述视频数据从所述成像系统的计算机传输到与所述医疗装置通信的所述计算装置，并且其中在不使用医学数字成像和通信网络传输协议即DICOM网络传输协议的情况下在所述计算装置处接收包含在所述3D体积数据集内的信息。
6.根据权利要求1所述的系统，其中所述变动文本特征包括关于所述成像解剖区域的所述可滚动图像堆栈的所述一系列图像切片中的坐标系的x坐标值、y坐标值或z坐标值中的一个，并且其中所述恒定文本特征包括所述x坐标值、所述y坐标值和所述z坐标值中的另一个或另两个。
7.根据权利要求1所述的系统，其中所述变动文本特征和所述恒定文本特征被包括在展现在所述体积数据重建图像上的元数据中。
8.根据权利要求7所述的系统，其中所述元数据包括下列项中的一个或多个：与所述患者相关联的姓名或身份识别、所述成像系统的扫描参数或所述成像系统的系统信息。
9.根据权利要求1所述的系统，其中所述分析包括对每个所述图像帧的经隔离区域实施检测改变技术以检测所述变动文本特征和所述恒定文本特征。
10.根据权利要求1所述的系统，其中所述分析比较所述恒定文本特征和所述变动文本特征分别在每个图像帧中的当前位置，以确定对于每个所述图像帧，所述恒定文本特征和所述变动文本特征是否各自出现在所述图像帧中相对于所述恒定文本特征和所述变动文本特征自身基本上相同的位置。
11.根据权利要求1所述的系统，其中所述多个体积数据重建图像对应于包括轴向横截面视图、矢状横截面视图和冠状横截面视图的多个多平面重建可视化视图即多个MPR可视化视图，其中所述轴向横截面视图、所述矢状横截面视图或所述冠状横截面视图中的一个是滚动视图。
12.根据权利要求1所述的系统，其中所述成像系统包括CT系统或锥形束CT系统，并且其中所述医疗装置包括传感器，并且进一步其中所述医疗装置可插入所述患者的解剖通道中。
13.根据权利要求12所述的系统，其中所述医疗装置的所述传感器被配置为在对所述患者的解剖体的所述解剖通道进行数据采样期间生成方位传感器数据和运动传感器数据中的一个或两个，并且其中所述操作还包括：
至少部分地基于所述方位传感器数据和所述运动传感器数据中的一个或两个来生成坐标点的点云，
生成所述点云的至少一部分与所述解剖区域的术前图像的至少一部分之间的配准，
从所述处理后的视频数据中的图像帧的所述有序集提取数据以产生与由所述成像系统成像的解剖区域相关联的坐标点，以及
至少部分地基于所产生的与所述成像的解剖区域相关联的坐标点来更新所述配准。
14.一种用于从成像系统向医疗装置提供实时三维图像信息即实时3D图像信息的系统，所述系统包括：
计算装置的处理器；和
所述计算装置的存储器，所述存储器耦接到所述处理器并存储指令，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
在所述计算装置处接收包括从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样的多个图像帧的视频数据，其中所述多个图像帧对应于以可滚动图像堆栈的一系列图像切片的形式显示在所述监视器上的多个体积数据重建图像；
分析所述多个图像帧以检测作为每个图像帧中静态视图区域的特性的一个或多个图像特征，在所述静态视图区域中，对于所述可滚动图像堆栈的所述一系列图像切片中的每个图像切片，与所述成像解剖区域相关联的平面坐标保持恒定；
评估所检测的一个或多个图像特征以确定，对于每个图像帧，所检测的一个或多个图像特征相对于滚动视图区域的相对位置，其中所述相对位置对应于与所述成像解剖区域相关联的所述平面坐标中对于所述可滚动图像堆栈的所述一系列图像切片中的每个图像切片都变化的至少一个；
确定根据基于与在每个所述图像帧中都变化的所述平面坐标中的所述至少一个相对应的相对位置的序列所分选的所述图像帧的有序集；以及
产生包括所述图像帧的所述有序集的处理后的视频数据。
15.根据权利要求14所述的系统，其中所述操作还包括通过允许所述用户在显示屏上观看所述处理后的视频数据来验证所述图像帧的所述有序集是根据所述可滚动图像堆栈的所述一系列图像切片来组织的。
16.根据权利要求14所述的系统，其中所述操作还包括将所述处理后的视频数据提供给所述医疗装置的点云处理模块，从而处理所述图像帧并提取用于所述医疗装置的导航数据点云的信息。
17.根据权利要求14所述的系统，其中所述操作还包括随着用户滚动通过每个图像，对所述多个体积数据重建图像中的每个图像采样以产生所述视频数据，并且其中所述多个体积数据重建图像包括当所述用户在所述体积数据重建图像的两个图像之间滚动时不改变的至少一个静态视图和改变的一个滚动视图。
18.根据权利要求14所述的系统，其中所述操作还包括将所述视频数据从所述成像系统的计算机传输到与所述医疗装置通信的所述计算装置，并且其中在不使用医学数字成像和通信网络传输协议即DICOM网络传输协议的情况下在所述计算装置处接收包含在所述3D体积数据集内的信息。
19.根据权利要求14所述的系统，其中所检测的一个或多个图像特征包括与所述静态视图区域的至少一部分交叉的线。
20.根据权利要求14所述的系统，其中评估所确定的一个或多个图像特征包括，在体积数据重建图像中的两个静态视图区域之间匹配所述一个或多个图像特征的颜色。
21.根据权利要求14所述的系统，其中所述多个体积数据重建图像对应于包括轴向横截面视图、矢状横截面视图和冠状横截面视图的多个多平面重建可视化视图即多个MPR可视化视图，其中所述轴向横截面视图、所述矢状横截面视图或所述冠状横截面视图中的一个是滚动视图。
22.根据权利要求14所述的系统，其中所述成像系统包括CT系统或锥形束CT系统，并且其中所述医疗装置包括传感器，并且进一步其中所述医疗装置可插入所述患者的解剖通道中。
23.根据权利要求22所述的系统，其中所述医疗装置的所述传感器被配置为在对所述患者的解剖体的所述解剖通道进行数据采样期间生成方位传感器数据和运动传感器数据中的一个或两个，其中所述系统被配置为执行包括下列项的进一步操作：
至少部分地基于所述方位传感器数据和所述运动传感器数据中的一个或两个来生成坐标点的点云，
生成所述点云的至少一部分与所述解剖区域的术前图像的至少一部分之间的配准，
从所述处理后的视频数据中的图像帧的所述有序集提取数据以产生与由所述成像系统成像的解剖区域相关联的坐标点，以及
至少部分地基于所产生的与所述成像的解剖区域相关联的坐标点来更新所述配准。
24.根据权利要求14所述的系统，其中所述操作还包括，在确定所述图像帧的所述有序集之后，通过基于文本识别技术重新分析所述多个图像帧来验证所述图像帧的所述有序集，并且其中重新分析所述多个图像帧包括：
对所述多个图像帧实施光学字符识别技术即OCR技术以呈现包含在所述图像帧中的文本信息，
分析所呈现的文本信息以识别在每个所述图像帧中都相同的恒定文本特征和在每个所述图像帧中都不同的变动文本特征，和
评估每个所述图像帧中的所述变动文本特征以创建根据基于每个经评估的变动文本特征的值的序列所分选的所述图像帧的第二有序集；以及
将所述图像帧的所述有序集与所述图像帧的所述第二有序集进行比较。
25.一种用于从成像系统向医疗装置提供实时三维图像信息即实时3D图像信息的系统，所述系统包括：
处理器；和
存储器，所述存储器耦接到所述处理器并存储指令，所述指令在由所述处理器执行时使所述系统执行包括下列项的操作：
从患者的成像解剖区域的可显示在监视器上的3D体积数据集采样多个图像帧，其
中所述3D体积数据集可显示为以可滚动图像堆栈的一系列图像切片的形式的多个体积数据重建图像；
分析对应于所述可滚动图像堆栈的所述图像切片的每个采样图像帧内的部分区域，以识别所分析的部分区域内的一个或多个图像特征；
确定在所述部分区域中识别的所述一个或多个图像特征对于每个采样图像切片是改变了还是保持恒定；
当确定所识别的一个或多个图像特征相对于采样图像帧的第一图像帧和采样图像帧的第二图像帧已经改变时，向所述第一图像帧分配与分配给所述第二图像帧的索引号不同的索引号；以及
基于所分配的索引号产生采样图像帧的有序集，以创建伪体积图像数据。
CN202180067329.8A 2020-08-10 2021-08-06 医疗装置实时体积图像数据的转换与传输 Pending CN116368573A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063063914P 2020-08-10 2020-08-10
US63/063,914 2020-08-10
PCT/US2021/045092 WO2022035710A1 (en) 2020-08-10 2021-08-06 Conversion and transfer of real-time volumetric image data for a medical device

Publications (1)

Publication Number Publication Date
CN116368573A true CN116368573A (zh) 2023-06-30

Family

ID=77564163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067329.8A Pending CN116368573A (zh) 2020-08-10 2021-08-06 医疗装置实时体积图像数据的转换与传输

Country Status (3)

Country Link
US (1) US20230317252A1 (zh)
CN (1) CN116368573A (zh)
WO (1) WO2022035710A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7781724B2 (en) 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
EP2669830A1 (en) * 2012-06-01 2013-12-04 Kabushiki Kaisha Toshiba, Inc. Preparation and display of derived series of medical images
US10929508B2 (en) * 2015-04-30 2021-02-23 Merge Healthcare Solutions Inc. Database systems and interactive user interfaces for dynamic interaction with, and indications of, digital medical image data

Also Published As

Publication number Publication date
US20230317252A1 (en) 2023-10-05
WO2022035710A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US11636597B2 (en) Systems and methods for using registered fluoroscopic images in image-guided surgery
US20230301725A1 (en) Systems and methods of registration for image-guided procedures
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
US20230162380A1 (en) Mitigation of registration data oversampling
US20240070883A1 (en) Systems for image-based registration and associated methods
US20230317252A1 (en) Conversion and transfer of real-time volumetric image data for a medical device
US20230240750A1 (en) Systems for evaluating registerability of anatomic models and associated methods
US20240164853A1 (en) User interface for connecting model structures and associated systems and methods
US20240130799A1 (en) Image-based seeding for registration and associated systems and methods
US20240050160A1 (en) Systems for dynamic image-based localization and associated methods
WO2022146992A1 (en) Systems for integrating intraoperative image data with minimally invasive medical techniques
WO2024064861A1 (en) Imaging orientation planning for external imaging devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination