CN113906479A

CN113906479A - 从局部深度图生成合成三维成像

Info

Publication number: CN113906479A
Application number: CN201980093251.XA
Authority: CN
Inventors: 瓦西里·叶夫根耶维奇·布哈林
Original assignee: Ecotifer Surgical Co
Current assignee: Ecotifer Surgical Co; Activ Surgical Inc
Priority date: 2018-12-28
Filing date: 2019-12-27
Publication date: 2022-01-07
Also published as: CA3125288A1; JP2022516472A; EP3903281A1; EP3903281A4; WO2020140044A1; KR20210146283A; US20220012954A1

Abstract

提供了从部分深度图生成合成三维成像。在各种实施方式中，从相机接收解剖结构的图像。从可以是相机的一部分或与相机分离的深度传感器接收对应于图像的深度图。基于深度图和图像生成对应于解剖结构的初步点云。初步点云与解剖结构模型配准。从初步点云和模型生成增强点云。增强点云在空间中旋转。增强点云被渲染。向用户显示渲染的增强点云。

Description

从局部深度图生成合成三维成像

相关申请的交叉引用

本申请要求于2018年12月28日提交的美国临时专利申请第62/785,950号的权益，其全部内容通过引用并入本文。

背景技术

本公开的各实施方式涉及合成三维成像，更具体地，涉及从局部深度图生成合成三维成像。

发明内容

根据本公开的各实施方式，提供了用于合成三维成像的方法和计算机程序产品。在各种实施方式中，执行一种方法，其中从相机接收解剖结构的图像。从可以是相机的一部分或与相机分离的深度传感器接收对应于图像的深度图。基于深度图和图像生成对应于解剖结构的点云。在空间中旋转点云。渲染(render)点云。向用户显示所渲染的点云。

在各种实施方式中，点云是初步点云。在各种实施方式中，将初步点云与解剖结构的模型配准。在各种实施方式中，从初步点云和模型生成增强点云。在各种实施方式中，增强的点云在空间中旋转、渲染并显示给用户。

在各种实施方式中，从用户接收进一步旋转增强点云的指示，根据该指示在空间中旋转增强点云，在进一步旋转之后渲染增强点云，并且在进一步旋转之后渲染增强点云云显示给用户。在各种实施方式中，相机包括深度传感器。在各种实施方式中，相机与深度传感器分开。在各种实施方式中，深度传感器包括结构光传感器和结构光投影仪。在各种实施方式中，深度传感器包括飞行时间传感器。在各种实施方式中，深度图是从单个图像帧确定的。在各种实施方式中，深度图是从两个或更多个图像帧中确定的。

在各种实施方式中，该方法还包括从初步点云生成表面网格。在各种实施方式中，生成表面网格包括内插初始点云。在各种实施方式中，直接执行内插。在各种实施方式中，在方格上执行内插。在各种实施方式中，内插包括样条(splining)。在各种实施方式中，在生成表面网格之前，可以将初步点云分割成两个或更多个语义区域(sematic region)。在各种实施方式中，生成表面网格包括为两个或更多个语义区域中的每一个生成单独的表面网格。在各种实施方式中，该方法还包括将单独的表面网格中的每一个组合成组合的表面网格。在各种实施方式中，该方法还包括向用户显示组合的表面网格。

在各种实施方式中，解剖结构的模型包括虚拟3D模型。在各种实施方式中，解剖结构的模型是从解剖图谱确定的。在各种实施方式中，解剖结构的模型是从患者的术前成像确定的。在各种实施方式中，解剖结构的模型是来自术前成像的3D重建。在各种实施方式中，可以从图片存档和通信系统(PACS)检索术前成像。在各种实施方式中，配准包括可变形配准。在各种实施方式中，配准包括刚体配准。在各种实施方式中，点云中的每个点包括从深度图导出的深度值和从图像导出的颜色值。

在各种实施方式中，提供了一种系统，其包括被配置为对体腔内部成像的数字相机、显示器和计算节点，该计算节点包括计算机可读存储介质，该计算机可读存储介质具有体现在其中的程序指令。程序指令可由计算节点的处理器执行以使得处理器执行从相机接收解剖结构的图像的方法。从可以是相机的一部分或与相机分离的深度传感器接收对应于图像的深度图。基于深度图和图像生成对应于解剖结构的点云。在空间中旋转点云。渲染点云。向用户显示所渲染的点云。

在各种实施方式中，该方法还包括从初步点云生成表面网格。在各种实施方式中，生成表面网格包括内插初始点云。在各种实施方式中，直接执行内插。在各种实施方式中，在方格上执行内插。在各种实施方式中，内插包括样条。在各种实施方式中，在生成表面网格之前，可以将初步点云分割成两个或更多个语义区域。在各种实施方式中，生成表面网格包括为两个或更多个语义区域中的每一个生成单独的表面网格。在各种实施方式中，该方法还包括将单独的表面网格中的每一个组合成组合的表面网格。在各种实施方式中，该方法还包括向用户显示组合的表面网格。

在各种实施方式中，提供了一种用于合成三维成像的计算机程序产品，其包括计算机可读存储介质，该计算机可读存储介质具有体现在其中的程序指令。程序指令可由计算节点的处理器执行以使得处理器执行从相机接收解剖结构的图像的方法。从可以是相机的一部分或与相机分离的深度传感器接收对应于图像的深度图。基于深度图和图像生成对应于解剖结构的点云。在空间中旋转点云。渲染点云。向用户显示所渲染的点云。

附图说明

图1描绘了根据本公开的实施方式的用于机器人手术的系统。

图2A至图2B示出了根据本公开的实施方式的第一合成图。

图3A至图3B示出了根据本公开的实施方式的第二合成图。

图4A至图4B示出了根据本公开的实施方式的第三合成图。

图5A示出了根据本公开的实施方式的肾脏。图5B示出了根据本公开的实施方式的图5A中所示的肾脏的点云。

图6A示出了根据本公开的实施方式的肾脏。图6B示出了根据本公开的实施方式的图6A中所示的肾脏的增强点云。

图7图示了根据本公开的实施方式的合成三维成像的方法。

图8描绘了示例性图片存档和通信系统(PACS)。

图9描绘了根据本公开的实施方式的计算节点。

具体实施方式

内窥镜是一种被照亮的光学仪器，通常是用于查看身体内部的细长的管状仪器(一种管道镜)。内窥镜可用于检查内部器官以用于诊断或手术目的。专用器械以其目标解剖结构命名，例如，膀胱镜(膀胱)、肾镜(肾)、支气管镜(支气管)、关节镜(关节)、结肠镜(结肠)、腹腔镜(腹部或骨盆)。

腹腔镜手术通常在腹腔镜的帮助下使用小切口(通常为0.5-1.5cm)在腹部或骨盆中进行。这种微创技术的优点是众所周知的，与开放手术相比，包括由于较小的切口引起的疼痛减轻、出血较少和恢复时间较短。

可以配备腹腔镜以提供二维图像、立体图像或深度场图像(如下文进一步描述的)。

机器人手术类似于腹腔镜手术，因为其也使用小切口、相机和手术器械。然而，外科医生不是直接握住和操纵手术器械，而是使用控件来远程操纵机器人。控制台为外科医生提供高清图像，从而提高准确性和视野。

图像控制台可以提供三维、高清晰度和放大的图像。各种电子工具可用于进一步帮助外科医生。这些包括视觉放大(例如，使用大屏幕以提高能见度)和稳定性(例如，由于机械或人手抖动引起的振动的机电阻尼)。还可以提供以专门的虚拟现实培训工具的形式模拟器，以提高医生的手术熟练程度。

在机器人手术和常规腹腔镜手术中，深度场相机可用于在收集图像的同时收集深度场。

深度场相机的示例是全光相机，其使用放置在其他传统图像传感器前面的微透镜阵列来感测强度、颜色和距离信息。多相机阵列是另一种类型的光场相机。标准全光相机是研究人员用来比较不同类型全光(或光场)相机的标准化数学模型。根据定义，标准全光相机具有距离传感器图像平面一个焦距的微透镜。研究表明，其最大基线仅限于主透镜入瞳尺寸，与立体设置相比，该尺寸被证明较小。这意味着标准全光相机可能适用于近距离应用，因为它在可以根据相机的参数进行度量预测的非常近的距离表现出提高的深度分辨率。可以使用其他类型/取向的全光相机，例如，聚焦全光相机、编码孔径相机和/或具有全光相机的立体相机。

应当理解，虽然本申请在各种实施方式中提到了相机在内窥镜设备中的使用，但是这样的内窥镜设备可替代地包括其他类型的传感器，包括但不限于飞行时间传感器和结构光传感器。在各种实施方式中，结构化图案可以从结构化光源投射。在各种实施方式中，当投影到表面上时，投影图案可以改变图案特征的形状、尺寸和/或间距。在各种实施方式中，给定由系统存储的已知图案，一个或多个相机(例如，数字相机)可以检测这些变化并基于结构光图案的变化来确定位置信息(例如，深度信息)。例如，该系统可以包括结构化光源(例如，投影仪)，其将特定结构化的线图案(例如，点矩阵或一系列条纹)投影到对象(例如，解剖结构)的表面上。线条图案产生照明线，从光源以外的其他角度来看，它看起来是扭曲的，这些线可用于表面形状的几何重建，从而提供有关物体表面的位置信息。

在各种实施方式中，距离成像可与本文描述的系统和方法一起使用以例如使用距离相机确定场景的位置和/或深度信息。在各种实施方式中，可以使用一个或多个飞行时间(ToF)传感器。在各种实施方式中，飞行时间传感器可以是闪光LIDAR传感器。在各种实施方式中，飞行时间传感器发射非常短的红外光脉冲并且相机传感器的每个像素测量返回时间。在各种实施方式中，飞行时间传感器可以在单次拍摄中测量场景的深度。在各种实施方式中，可用于确定位置和/或深度信息的其他测距技术包括：立体三角测量、光三角测量、结构光、干涉测量和编码孔径。在各种实施方式中，3D飞行时间激光雷达包括配置为实现亚毫米深度分辨率的快速选通增强型电荷耦合器件(CCD)相机。在各种实施方式中，短激光脉冲可以照亮场景，并且增强型CCD相机打开其高速快门。在各种实施方式中，高速快门可以仅打开几百皮秒。在各种实施方式中，3D ToF信息可以从随着激光脉冲和快门打开之间的延迟增加而收集的2D图像系列计算。

在各种实施方式中，各种类型的信号(也称为载波)与ToF一起使用，例如声音和/或光。在各种实施方式中，使用光传感器作为载体可以结合速度、范围、低重量和眼睛安全。在各种实施方式中，红外光可以提供更少的信号干扰并且更容易区分自然环境光，从而对于给定的尺寸和重量产生更高性能的传感器。在各种实施方式中，超声波传感器可用于确定物体(反射器)的接近度。在各种实施方式中，当超声传感器用于飞行时间传感器时，最近的反射器的距离可以使用空气中的声速以及发射的脉冲和回波到达时间来确定。

虽然图像控制台可以基于立体成像或基于深度场相机提供有限的三维图像，但基本立体或深度场视图不为外科医生提供全面的空间感知。

因此，本公开的各种实施方式提供从部分深度图生成合成三维成像。

参考图1，根据本公开示出了示例性机器人手术设置。机械臂101在腹部103内部署内窥镜102。通过内窥镜102收集数字图像。在一些实施方式中，数字图像由内窥镜尖端处的一个或多个数字相机捕获。在一些实施方式中，数字图像由从内窥镜尖端延伸到别处的一个或多个数字相机的一个或多个光纤元件捕获。

数字图像被提供给计算节点104，在那里它被处理并且然后被显示在显示器105上。

在一些实施方式中，每个像素与对应的深度信息配对。在这样的实施方式中，数字图像的每个像素与三维空间中的点相关联。根据各种实施方式，然后可以使用数字图像像素的像素值来定义空间中的点云。然后可以使用本领域已知的技术来渲染这样的点云。一旦定义了点云，除了相机的原始优势之外，它还可以从多个优势点进行渲染。因此，医生然后可以旋转、缩放或以其他方式改变底层解剖结构的合成视图。例如，可以渲染合成侧视图，允许外科医生获得比传统直接视图更强大的位置感知。

在各种实施方式中，一个或多个相机可以包括深度传感器。例如，一个或多个相机可以包括被配置为在每个像素处捕获深度数据的光场相机。在各种实施方式中，深度传感器可以与一个或多个相机分离。例如，系统可以包括被配置为捕获RGB图像的数字相机并且深度传感器可以包括被配置为捕获深度数据的光场相机。

在各种实施方式中，一个或多个相机可以包括立体相机。在各种实施方式中，立体相机可以由两个单独的相机来实现。在各种实施方式中，两个单独的相机可以彼此相距预定距离布置。在各种实施方式中，立体相机可以位于手术器械(例如，腹腔镜、内窥镜等)的最远端。这里使用的位置信息通常可以定义为三维坐标系中的(X，Y，Z)。

在各种实施方式中，一个或多个相机可以是例如红外相机，其发射红外辐射并检测发射的红外辐射的反射。在其他实施方式中，一个或多个相机可以是本领域已知的数字相机。在其他实施方式中，一个或多个相机可以是全光相机。在各种实施方式中，一个或多个相机(例如，一个、两个、三个、四个或五个)可能能够检测来自结构光源(例如，投影仪)的投影图案。一个或多个相机可以连接到计算节点，如下文更详细描述的。使用来自一个或多个相机的图像，计算节点可以计算沿对象表面的任何合适数量的点的位置信息(X、Y、Z)，从而生成表面的深度图。

在各种实施方式中，一个或多个相机可以包括光场相机(例如，全光相机)。通过设置适当的变焦和焦深，全光相机可用于生成物体表面的准确位置信息。

在各种实施方式中，根据本公开可以使用的一种类型的光场(例如，全光)相机使用放置在其他传统图像传感器前面的微透镜阵列来感测强度、颜色、和方向信息。多相机阵列是另一种类型的光场相机。“标准全光相机”是研究人员用来比较不同类型全光(或光场)相机的标准化数学模型。根据定义，“标准全光相机”具有距离传感器图像平面一个焦距的微透镜。研究表明，其最大基线仅限于主透镜入瞳尺寸，与立体设置相比，该尺寸被证明较小。这意味着“标准全光相机”可能适用于近距离应用，因为它在可以根据相机的参数进行度量预测的非常近的距离表现出提高的深度分辨率。可以使用其他类型/取向的全光相机，例如，聚焦全光相机、编码孔径相机和/或具有全光相机的立体相机。

在各种实施方式中，可以对包括每个像素处的计算深度的所得深度图进行后处理。深度图后处理是指对深度图进行处理以使其可用于特定应用。在各种实施方式中，深度图后处理可包括精度改进。在各种实施方式中，深度图后处理可用于加速性能和/或出于美学原因。存在适合与本公开的系统和方法一起使用的许多专门的后处理技术。例如，如果成像设备/传感器以比应用技术所需的分辨率更高的分辨率运行，则深度图的子采样可能会减小深度图的尺寸，从而提高吞吐量并缩短处理时间。在各种实施方式中，子采样可能是有偏差的。例如，子采样可能有偏差以去除缺少深度值(例如，不能被计算和/或具有零值)的深度像素。在各种实施方式中，空间滤波(例如，平滑)可用于降低单个深度帧中的噪声，其可包括简单的空间平均以及非线性边缘保留技术。在各种实施方式中，可以使用来自多个帧的数据来执行时间滤波以减少时间深度噪声。在各种实施方式中，可以采用简单的或时偏的平均值。在各种实施方式中，可以填充深度图中的空洞，例如，当像素不一致地示出深度值时。在各种实施方式中，信号的时间变化(例如，场景中的运动)可能导致模糊并且可能需要处理以减少和/或去除模糊。在各种实施方式中，一些应用可能需要存在于每个像素处的深度值。对于这种情况，当精度不是很高时，可以使用后处理技术将深度图外推到每个像素。在各种实施方式中，可以利用任何合适形式的外推(例如，线性、指数、对数等)来执行外推。

在各种实施方式中，两个或更多个帧可以由一个或多个相机捕获。在各种实施方式中，可以从两个或更多个帧中确定点云。在各种实施方式中，从两个或更多个帧确定点云可以提供降噪。在各种实施方式中，从两个或更多个帧确定点云可以允许在视线障碍物周围生成3D视图。

在各种实施方式中，可以为两个或更多个帧中的每个捕获帧确定点云。在各种实施方式中，每个点云可以与一个或多个(例如，所有)其他点云对齐。在各种实施方式中，可以通过刚体配准来对齐点云。在各种实施方式中，刚体配准算法可以包括旋转、平移、缩放和/或剪切。在各种实施方式中，点云可以通过可变形配准来对齐。在各个实施方式中，可变形配准算法可以包括B样条法、水平集运动法、原始流体法、修正流体法、对称力流体法、双力流体法、变形与强度同时校正法、原始Horn-Schunck光流，组合的Horn-Schunck和Lucas-Kanade方法和/或自由变形法。

参考图2，根据本公开的实施方式图示了第一合成视图。图2A示出了原始源图像。图2B示出了由原始图像的像素和相应的深度信息组成的渲染点云。

参考图3，根据本公开的实施方式图示了第二合成视图。图3A示出了原始源图像。图3B示出了由原始图像的像素和相应的深度信息组成的渲染点云。在图3B的视图中，对象被旋转以便提供侧视图。

参考图4，根据本公开的实施方式图示了第三合成视图。图4A示出了原始源图像。图4B示出了由原始图像的像素和相应的深度信息组成的渲染点云。在图4B的视图中，对象被旋转以便提供侧视图。

在各种实施方式中，可以从任何3D点云生成3D表面网格。在各种实施方式中，3D表面网格可以通过3D点云的内插(例如，直接地或在方格上)生成。在各种实施方式中，当放大/缩小渲染的网格时，3D表面网格可以表现得更好。

在各种实施方式中，语义分割可以在3D表面网格上执行以由此平滑可能出现在解剖边界处的任何3D伪影。在各种实施方式中，在生成3D网格之前，可以将点云分割成两个或更多个语义区域。例如，第一语义区域可以被识别为场景中的第一3D结构(例如，肝脏)，第二语义区域可以被识别为场景中的第二3D结构(例如，胃)，并且第三语义区域可以被识别为场景中的第三3D结构(例如，腹腔镜器械)。在各种实施方式中，可以使用任何合适的已知分割技术来分割图像帧。在各种实施方式中，每个识别的语义区域的点云可以用于为每个语义区域生成单独的3D表面网格。在各种实施方式中，单独的3D表面网格中的每一个都可以在单个显示器中呈现以提供成像场景的几何形状。在各种实施方式中，呈现单独的网格可以避免在定义区域(例如，器官)的边界处发生的各种伪影。

在各种实施方式中，因为来自深度图的渲染点云提供可视表面的3D描绘，点云可以用图像中特定对象的近似或预期形状的一个或多个模型来增强。例如，当渲染器官(例如，肾脏)的点云时，可以用特定器官的虚拟3D模型(例如，肾脏的3D模型)来增强点云。在各种实施方式中，由点云表示的表面可用于配准场景内对象的虚拟3D模型。

图5A示出了根据本公开的实施方式的肾脏502。图5B示出了根据本公开的实施方式的图5A中所示的肾脏的点云。在各种实施方式中，包括肾脏502的场景的点云504可以通过用数字相机和/或深度传感器对肾脏成像来生成。

在各种实施方式中，点云可以通过对象(例如，肾脏)的虚拟3D模型来增强。图6A示出了根据本公开的实施方式的肾脏602。可以生成肾脏602的虚拟3D模型606并将其应用于生成包括肾脏604的场景的点云604。图6B示出了根据本公开的实施方式的图6A中所示肾脏的增强点云。如图6B所示，肾脏602的虚拟3D模型606与点云604配准(即，对齐)，从而提供关于肾脏602的从相机和/或深度传感器的角度看不到的部分的附加几何信息。在各种实施方式中，使用如上所述的任何合适的方法将虚拟3D模型606配准到点云604。因此，图6B提供了场景内对象(例如，肾脏602)的更好透视图。在各种实施方式中，虚拟3D模型可以从任何合适的来源获得，包括但不限于制造商、器官的一般解剖图谱、来自使用本公开中提出的系统的多个视点的目标解刨结构的患者的预操作3D成像重构等。

在各种实施方式中，该系统可以包括预编程的临床解剖学视点(例如，前后、中间-外侧等)。在各种实施方式中，临床解剖学观点可以针对临床手术进一步定制(例如，心脏几何形状的右前斜视图)。在各种实施方式中，用户可以选择从预编程的视点之一呈现3D合成视图，而不是任意旋转3D视图。在各种实施方式中，预编程的视图可以帮助医生在他们在手术期间失去取向的情况下重新定向。

参考图7，图示了根据本公开的实施方式的用于合成三维成像的方法。在701处，从相机接收患者解剖结构的图像。在702处，从深度传感器接收对应于图像的深度图。在703处，基于深度图和图像生成对应于解剖结构的点云。在704处，点云在空间中旋转。在705处，点云被渲染。在706处，向用户显示渲染的点云。

在各种实施方式中，本文描述的系统和方法可用于任何合适的应用，例如诊断应用和/或手术应用。作为诊断应用的示例，本文描述的系统和方法可用于结肠镜检查以对胃肠道中的息肉成像并确定息肉的尺寸。医疗保健专业人员可以使用诸如息肉尺寸的信息来确定患者的治疗计划(例如，手术、化疗、进一步测试等)。在另一个示例中，本文所述的系统和方法可用于在提取部分或整个内部器官时测量切口或孔洞的尺寸。作为外科应用的示例，本文描述的系统和方法可用于手持式外科应用，例如手持式腹腔镜手术、手持式内窥镜手术和/或其中成像和深度感测可以是必须的任何其他合适的外科应用。在各种实施方式中，本文描述的系统和方法可用于计算手术现场的深度，包括组织、器官、线和/或任何器械。在各种实施方式中，本文描述的系统和方法能够以绝对单位(例如，毫米)进行测量。

各种实施方式可适用于胃肠(GI)导管，例如，内窥镜。特别地，内窥镜可以包括雾化喷雾器、IR源、相机系统和光学器件、机械臂和图像处理器。

参考图8，示例性PACS 800由四个主要组件组成。诸如计算机断层扫描(CT)801、磁共振成像(MRI)802或超声(US)803的各种成像模态(imaging modality)801…809向系统提供图像。在一些实施方式中，图像在被存储在档案812中之前被传输到PACS网关811。档案812提供图像和报告的存储和检索。工作站821…829提供解释和查看档案612中的图像。在一些实施方式中，安全网络用于在系统的组件之间传输患者信息。在一些实施方式中，工作站821…829可以是基于网络的查看器。PACS传递对图像、解释和相关数据的及时有效访问，消除了传统基于胶片的图像检索、分发和显示的缺点。

PACS可以处理来自各种医学成像仪器的图像，例如X射线平片(PF)、超声(US)、磁共振(MR)、核医学成像、正电子发射断层扫描(PET)、计算机断层扫描(CT)、内窥镜检查(ES)、乳房X光检查(MG)、数字放射照相(DR)、计算机放射照相(CR)、组织病理学或眼科。然而，PACS不限于预先确定的图像列表，并且支持超出常规成像来源的临床领域，例如放射学、心脏病学、肿瘤学或胃肠病学。

不同的用户可能对整个PACS系统有不同的看法。例如，放射科医师通常可以访问查看站，而技术人员通常可以访问QA工作站。

在一些实施方式中，PACS网关611包括质量保证(QA)工作站。QA工作站提供了检查点，以确保患者人口统计数据是正确的以及研究的其他重要属性。如果研究信息是正确的，则图像被传递到档案812用于存储。中央存储设备，档案812，存储图像，并且在一些实施方式中，存储报告、测量和与图像一起驻留的其他信息。

一旦图像被存储到档案812，就可以从读取工作站821…829访问它们。读取工作站是放射科医生审查患者研究并制定其诊断的地方。在一些实施方式中，报告包被绑定到读取工作站以帮助放射科医师口述最终报告。各种报告系统可以与PACS集成，包括那些依赖于传统口述的系统。在一些实施方式中，CD或DVD创作软件被包括在工作站821…829中以刻录患者研究以分发给患者或转诊医师。

在一些实施方式中，PACS包括用于工作站821…829的基于网络的接口。可以通过因特网或广域网(WAN)访问此类网络界面。在一些实施方式中，连接安全由VPN(虚拟专用网络)或SSL(安全套接字层)提供。客户端软件可以包括ActiveX、JavaScript或Java Applet。PACS客户端也可以是完整的应用，其利用它们在网络环境之外执行的计算机的全部资源。

PACS内的通信通常通过医学数字成像和通信(DICOM)提供。DICOM提供了处理、存储、打印和传输医学成像信息的标准。它包括文件格式定义和网络通信协议。通信协议是一种应用协议，它使用TCP/IP在系统之间进行通信。DICOM文件可以在能够接收DICOM格式的图像和患者数据的两个实体之间交换。

DICOM将信息分组为数据集。例如，包含特定图像的文件通常在文件中包含患者ID，因此永远不会错误地将图像与此信息分开。DICOM数据对象由许多属性组成，包括诸如姓名和患者ID的项目，以及包含图像像素数据的特殊属性。因此，主对象本身没有标题，而是包括属性列表，包括像素数据。包含像素数据的DICOM对象可能对应于单个图像，也可能包含多个帧，从而允许存储电影循环或其他多帧数据。DICOM支持封装在单个DICOM对象中的三维或四维数据。像素数据可以使用多种标准进行压缩，包括JPEG、无损JPEG、JPEG 2000和行程编码(RLE)。LZW(zip)压缩可用于整个数据集或仅用于像素数据。

现在参考图9，示出了计算节点的示例的示意图。计算节点10仅是合适的计算节点的一个示例并且不旨在暗示对此处描述的实施方式的使用范围或功能的任何限制。无论如何，计算节点10能够实现和/或执行上文阐述的任何功能。

在计算节点10中存在计算机系统/服务器12，其与许多其他通用或专用计算系统环境或配置一起操作。可适用于计算机系统/服务器12的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子、网络PC、小型计算机系统、大型计算机系统和包括任何上述系统或设备的分布式云计算环境等。

计算机系统/服务器12可以在由计算机系统执行的计算机系统可执行指令(例如，程序模块)的一般上下文中描述。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器12可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。

如图9所示，计算节点10中的计算机系统/服务器12以通用计算设备的形式示出。计算机系统/服务器12的组件可以包括但不限于一个或多个处理器或处理单元16、系统存储器28和将包括系统存储器28的各种系统组件耦合到处理器16的总线18。

总线18代表任何多种类型的总线结构中的一种或多种，包括存储器总线或存储器控制器、外围总线、加速图形端口和使用任何多种总线架构的处理器或本地总线。作为示例而非限制，此类架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、外围组件互连(PCI)总线、快速外围组件互连(PCIe)和高级微控制器总线架构(AMBA)。

计算机系统/服务器12通常包括各种计算机系统可读介质。这种介质可以是计算机系统/服务器12可访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12还可以包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为示例，可以提供存储系统34用于从不可移动、非易失性磁介质(未示出并且通常称为“硬盘驱动器”)读取和写入。尽管未示出，但是可以提供用于读取和写入可移动非易失性磁盘(例如，“软盘”)的磁盘驱动器，以及用于读取或写入可移动非易失性光盘(例如，CD-ROM、DVD-ROM或其他光学介质)的光盘驱动器。在这种情况下，每个都可以通过一个或多个数据媒体接口连接到总线18。如下文将进一步描绘和描述的，存储器28可以包括至少一个程序产品，该程序产品具有一组(例如，至少一个)程序模块，该程序模块被配置为执行本公开的实施方式的功能。

具有一组(至少一个)程序模块42的程序/实用程序40以及操作系统、一个或多个应用、其他程序模块和程序数据可以作为示例而非限制存储在存储器28中。操作系统、一个或多个应用、其他程序模块和程序数据中的每一个或它们的一些组合，可以包括联网环境的实施方式。程序模块42通常执行如本文所述的实施方式的功能和/或方法。

计算机系统/服务器12还可以与一个或多个外部设备14通信，例如键盘、定点设备、显示器24等；使用户能够与计算机系统/服务器12交互的一个或多个设备；和/或使计算机系统/服务器12能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)。这种通信可以通过输入/输出(I/O)接口22发生。然而，计算机系统/服务器12可以经由网络适配器20与一个或多个网络通信，例如局域网(LAN)、通用广域网(WAN)、和/或公共网络(例如，因特网)。如所描绘的，网络适配器20经由总线18与计算机系统/服务器12的其他组件通信。应当理解，虽然未示出，但是其他硬件和/或软件组件可与计算机系统/服务器12结合使用。示例包括但不限于：微代码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、RAID系统、磁带驱动器和数据存档存储系统等。

本公开可以实现为系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本公开的方面的计算机可读程序指令的计算机可读存储介质(或介质)。

计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器唯一存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备，例如穿孔卡或凹槽中记录有指令的凸起结构，以及前述的任何合适组合。此处使用的计算机可读存储介质不应被解释为瞬态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，光脉冲通过光缆)或通过电线传输的电信号。

本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本公开的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言的任意组合编写的任一来源代码或目标代码，包括面向对象的编程语言，例如，Smalltalk、C++等，以及传统的过程编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上以及部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本公开的方面。

在此参考根据本公开的实施方式的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的方面。应当理解，流程图和/或框图的每个块，以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图框或框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制造物品，其包括实现流程图和/或框图框或框中指定的功能/动作的方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图框中指定的功能/动作。

图中的流程图和框图示出了根据本公开的各种实施方式的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示模块、段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者有时可以以相反的顺序执行这些框。还将注意，框图和/或流程图的每个框，以及框图和/或流程图中的框的组合，可以由执行指定功能或动作的基于专用硬件的系统来实现或者执行专用硬件和计算机指令的组合。

本公开的各种实施方式的描述是出于说明的目的而呈现的，但并不旨在穷举或限于所公开的实施方式。在不脱离所描述实施方式的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是容易理解的。选择此处使用的术语以最好地解释实施方式的原理、实际应用或对市场中所发现技术的技术改进，或者使本领域普通技术人员能够理解此处公开的实施方式。

Claims

1.一种方法，包括：

从相机接收患者的解剖结构的图像；

从深度传感器接收对应于所述图像的深度图；

基于所述深度图和所述图像，生成对应于所述解剖结构的点云；

在空间中旋转所述点云；

渲染所述点云；以及

向用户显示所渲染的点云。

2.根据权利要求1所述的方法，其中所述点云是初步点云，所述方法还包括将所述初步点云与所述解剖结构的模型配准；以及

从所述初步点云和所述模型生成增强点云。

3.根据权利要求2所述的方法，还包括：

从所述用户接收进一步旋转所述增强点云的指示；

根据所述指示在空间中旋转所述增强点云；

在旋转后渲染所述增强点云；

向所述用户显示所渲染的增强点云。

4.根据权利要求2所述的方法，其中所述相机包括所述深度传感器。

5.根据权利要求2所述的方法，其中所述相机与所述深度传感器分离。

6.根据权利要求5所述的方法，其中所述深度传感器包括结构光传感器和结构光投影仪。

7.根据权利要求5所述的方法，其中所述深度传感器包括飞行时间传感器。

8.根据权利要求2所述的方法，其中所述深度图是从单个图像帧确定的。

9.根据权利要求2所述的方法，其中所述深度图是从两个或更多个图像帧中确定的。

10.根据权利要求2所述的方法，还包括从所述初步点云生成表面网格。

11.根据权利要求10所述的方法，其中生成表面网格包括内插所述初步点云。

12.根据权利要求11所述的方法，其中直接执行内插。

13.根据权利要求11所述的方法，其中在方格上执行内插。

14.根据权利要求11所述的方法，其中内插包括样条。

15.根据权利要求10所述的方法，还包括在生成表面网格之前，将所述初步点云分割成两个或更多个语义区域。

16.根据权利要求15所述的方法，其中生成表面网格包括为所述两个或更多个语义区域中的每一个生成单独的表面网格。

17.根据权利要求16所述的方法，还包括将所述单独的表面网格中的每个组合成组合的表面网格。

18.根据权利要求17所述的方法，还包括向所述用户显示所述组合的表面网格。

19.根据权利要求2所述的方法，其中所述解剖结构的所述模型包括虚拟3D模型。

20.根据权利要求19所述的方法，其中所述解剖结构的所述模型是从解剖图谱确定的。

21.根据权利要求19所述的方法，其中所述解剖结构的所述模型是从所述患者的术前成像确定的。

22.根据权利要求21所述的方法，其中所述解剖结构的所述模型是来自所述术前成像的3D重建。

23.根据权利要求21所述的方法，其中从图片存档和通信系统(PACS)检索所述术前成像。

24.根据权利要求2所述的方法，其中配准包括可变形配准。

25.根据权利要求2所述的方法，其中配准包括刚体配准。

26.根据权利要求1所述的方法，其中所述点云中的每个点包括从所述深度图导出的深度值和从所述图像导出的颜色值。

27.一种系统，包括：

数字相机，所述数字相机被配置为对体腔内部进行成像；

显示器；

包括计算机可读存储介质的计算节点，所述计算机可读存储介质具有体现在其中的程序指令，所述程序指令可由所述计算节点的处理器执行以使得所述处理器执行方法，所述方法包括：

从相机接收患者的解剖结构的图像；

从深度传感器接收对应于所述图像的深度图；

在空间中旋转所述点云；

渲染所述点云；以及

向用户显示所渲染的点云。

28.根据权利要求27所述的系统，其中所述点云是初步点云，所述方法还包括将所述初步点云与所述解剖结构的模型配准；以及

从所述初步点云和所述模型生成增强点云。

29.根据权利要求28所述的系统，其中所述方法还包括：

从所述用户接收进一步旋转所述增强点云的指示；

根据所述指示在空间中旋转所述增强点云；

在旋转后渲染所述增强点云；

向所述用户显示所渲染的增强点云。

30.根据权利要求28所述的系统，其中所述相机包括所述深度传感器。

31.根据权利要求28所述的系统，其中所述相机与所述深度传感器分离。

32.根据权利要求31所述的系统，其中所述深度传感器包括结构光传感器和结构光投影仪。

33.根据权利要求31所述的系统，其中所述深度传感器包括飞行时间传感器。

34.根据权利要求28所述的系统，其中所述深度图是从单个图像帧确定的。

35.根据权利要求28所述的系统，其中所述深度图是从两个或更多个图像帧中确定的。

36.根据权利要求28所述的系统，还包括从所述初步点云生成表面网格。

37.根据权利要求36所述的系统，其中生成表面网格包括内插所述初步点云。

38.根据权利要求37所述的系统，其中直接执行内插。

39.根据权利要求37所述的系统，其中在方格上执行内插。

40.根据权利要求37所述的系统，其中内插包括样条。

41.根据权利要求36所述的系统，还包括在生成表面网格之前，将所述初步点云分割成两个或更多个语义区域。

42.根据权利要求41所述的系统，其中生成表面网格包括为所述两个或更多个语义区域中的每一个生成单独的表面网格。

43.根据权利要求42所述的系统，还包括将所述单独的表面网格中的每个组合成组合的表面网格。

44.根据权利要求43所述的系统，还包括向所述用户显示所述组合的表面网格。

45.根据权利要求28所述的系统，其中所述解剖结构的所述模型包括虚拟3D模型。

46.根据权利要求45所述的系统，其中所述解剖结构的所述模型是从解剖图谱确定的。

47.根据权利要求45所述的系统，其中所述解剖结构的所述模型是从所述患者的术前成像确定的。

48.根据权利要求47所述的系统，其中所述解剖结构的所述模型是来自术前成像的3D重建。

49.根据权利要求47所述的系统，其中从图片存档和通信系统(PACS)检索所述术前成像。

50.根据权利要求28所述的系统，其中配准包括可变形配准。

51.根据权利要求28所述的系统，其中配准包括刚体配准。

52.根据权利要求27所述的系统，其中所述点云中的每个点包括从所述深度图导出的深度值和从所述图像导出的颜色值。

53.一种用于合成三维成像的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现在其中的程序指令，所述程序指令可由处理器执行以使得所述处理器执行方法，所述方法包括：

从相机接收患者的解剖结构的图像；

从深度传感器接收对应于所述图像的深度图；

在空间中旋转所述点云；

渲染所述点云；以及

向用户显示所渲染的点云。

54.根据权利要求53所述的计算机程序产品，其中所述点云是初步点云，所述方法还包括将所述初步点云与所述解剖结构的模型配准；以及

从所述初步点云和所述模型生成增强点云。

55.根据权利要求54所述的计算机程序产品，所述方法还包括：

从所述用户接收进一步旋转所述增强点云的指示；

根据所述指示在空间中旋转所述增强点云；

在旋转后渲染所述增强点云；

向所述用户显示所渲染的增强点云。

56.根据权利要求54所述的计算机程序产品，其中所述相机包括所述深度传感器。

57.根据权利要求54所述的计算机程序产品，其中所述相机与所述深度传感器分离。

58.根据权利要求57所述的计算机程序产品，其中所述深度传感器包括结构光传感器和结构光投影仪。

59.根据权利要求57所述的计算机程序产品，其中所述深度传感器包括飞行时间传感器。

60.根据权利要求54所述的计算机程序产品，其中所述深度图是从单个图像帧确定的。

61.根据权利要求54所述的计算机程序产品，其中所述深度图是从两个或更多个图像帧中确定的。

62.根据权利要求54所述的计算机程序产品，还包括从所述初步点云生成表面网格。

63.根据权利要求62所述的计算机程序产品，其中生成表面网格包括内插所述初步点云。

64.根据权利要求63所述的计算机程序产品，其中直接执行内插。

65.根据权利要求63所述的计算机程序产品，其中在方格上执行内插。

66.根据权利要求63所述的计算机程序产品，其中内插包括样条。

67.根据权利要求62所述的计算机程序产品，还包括在生成表面网格之前，将所述初步点云分割成两个或更多个语义区域。

68.根据权利要求67所述的计算机程序产品，其中生成表面网格包括为所述两个或更多个语义区域中的每一个生成单独的表面网格。

69.根据权利要求68所述的计算机程序产品，还包括将所述单独的表面网格中的每个组合成组合的表面网格。

70.根据权利要求69所述的计算机程序产品，还包括向所述用户显示所述组合的表面网格。

71.根据权利要求54所述的计算机程序产品，其中所述解剖结构的所述模型包括虚拟3D模型。

72.根据权利要求71所述的计算机程序产品，其中所述解剖结构的所述模型是从解剖图谱确定的。

73.根据权利要求71所述的计算机程序产品，其中所述解剖结构的所述模型是从所述患者的术前成像确定的。

74.根据权利要求73所述的计算机程序产品，其中所述解剖结构的所述模型是来自术前成像的3D重建。

75.根据权利要求73所述的计算机程序产品，其中从图片存档和通信系统(PACS)检索所述术前成像。

76.根据权利要求54所述的计算机程序产品，其中配准包括可变形配准。

77.根据权利要求54所述的计算机程序产品，其中配准包括刚体配准。

78.根据权利要求53所述的计算机程序产品，其中所述点云中的每个点包括从所述深度图导出的深度值和从所述图像导出的颜色值。