CN107924564B - 用于确定预定解剖特征的容积数据的方法和设备 - Google Patents

Abstract

本发明公开了一种确定预定解剖特征的容积数据的方法。该方法包括确定存在于深度感测照相机装置的视角中的一个或多个解剖特征的容积数据，将预定解剖特征识别为存在于深度感测照相机装置的视场中，将一个或多个解剖学特征之一的容积数据与所识别的预定解剖学特征相关联，并输出预定解剖学特征的容积数据。本发明还描述了一种装置。

Description

用于确定预定解剖特征的容积数据的方法和设备

本发明涉及用于确定预定解剖特征的容积数据的方法和设备。 通过应用机器视觉技术来创建和比较身体部位的三维（3D）模型来呈现用于监测动物或人的身体部位或其部分的容积的非侵入性方法和装置。本发明适用于人类和动物健康领域，特别是监测与包括心脏衰竭在内的一系列病变相关的外周水肿。

背景技术

慢性心脏衰竭导致的水潴留可通过多种方法检测，最常见的方法是测量体重增加或肢体容积增加。

Goldberg等人的WHARF研究（Am Heart J.第146卷（4），第705至712页，2003）证明，顺从性患者定期监测其体重可将慢性心脏衰竭的死亡率降低50％。不幸地是，该优势在普通患者群体中无法观察到，因为不遵守每日体重监测机制，即使互联网连接的体重秤的使用已经无需患者记录或报告所收集信息。

Brijker等人（临床生理学，第20卷，第1期，56至61页，2000年1月）证明，相比于用体重增加来监测心脏衰竭，肢体容积是一种更灵敏的监测方法。体重测量有许多已知的波动因素，例如水化程度，以及最近一次排便是否会干扰指示过量水潴留的期望信号。Brijker等人的研究表明患者入院和出院时体重变化约为5.9％，而腿部容积变化为13.1％，腿围变化为7.1％。此外，体重和腿部容积测量之间的变异系数仅为r = 0.37，这表明这两种方法在某种程度上是独立的，因此与单独测量体重相比，腿部容积监测可能会显著增加水肿评估。

不幸的是，肢体容积测量的临床黄金标准是一种水位移技术，该技术因操作员的差异而有显著不同的结果，并且该技术操作麻烦且容易出错。 实质上，将感兴趣的肢体浸入装有不同深度的水的容器中，获取并记录从容器中排出的水。

由于患者在慢性心脏衰竭发作后能够存活多年，因此患者家庭为随意的顺从性患者的肢体容积变化的监测机制寻找解决方案。

因此，已经设计出多种装置来测量肢体容积的变化，通常以各种“智能”袜子或类似的形式，如US8827930B2中所述。 这种方法的根本问题是患者不顺从性是有效长期监测的重要因素。

另一种非侵入性方法是应用“机器视觉”概念，其中使用3D成像系统测量所述肢体。 Hayn等人将Microsoft Kinect深度测量照相机系统应用于检测水肿的腿部容积测量（AT513091 B1）。 Hayn等人采取的方法是为了识别已经显示与肢体容积相关的一组特定参考点，线，曲线或平面。 不幸的是，这种方法仅提供了与重量的适度相关性，并且还要求患者相对于成像系统以特定方式调整取向以捕捉参考点/线/曲线/平面。 这显然容易出现上述相同的顺从性问题。

已经采用了其他肢体三维成像方法，通常在医院环境中使用三维成像系统来进行肢体容积的常规测量。不幸的是，这样的系统通常要求患者相对于成像系统旋转，并且使不感兴趣的肢体被覆盖以便不干扰对感兴趣的肢体的观察。 这显然不适合家庭使用。

在EP0760622A1中描述了另一种方法，其描述了特别便宜的3D扫描仪，其中待数字化的主体部分设置有弹性盖，所述弹性盖携带由摄影测量法评估的标记。使用一个或多个粗略定位的照相机拍摄重叠图像，并且从这些二维（2D）图像的组合生成主体部分的3D模型。 不幸的是，这种系统对于随意的顺从性患者家庭使用是不切实际的，因为不能期望他们能坚持穿着特殊服。

基于放养的系统一直是重要的学术研究的主题，例如Hirai等 在“用于评估足部水肿的三维测量系统的改进”（Skin Research and Technology，第18卷，第1期，第120-124页）和Pratsch等人 “感知肿胀，临床肿胀和表现淋巴水肿 - 定量腿部肿胀困难”（Phlebologie，第41卷，第5至11页，2012）。 但是，可用性问题仍然很重要。

在US8908928B1，US2011295112A1和US2015216477A1中描述了与图像分析相关的其他方法和设备。

相应地，本发明的目的是提供一非侵入性、机会性的方法，以及用于监测与多种疾病，包括动物或人的心脏衰竭有关的外围性水肿，并对上述结果进行报告的装置。

附图的简要说明

结合附图，参考下面给出的实施例的描述可以理解本公开，在附图中：

图1示出了根据本发明实施例的装置;

图2示出了深度感测照相机装置观察到的足部的3D图像数据;

图3示出了脚的参考3D模型的示例;

图4示出了已经执行了腿到脚角度（leg-to-foot-angle）参数调整之后的3D模型;

图5显示了调整小腿锥形容积（lower-leg-conical）的第二个参数后的3D模型。

图6说明了更接近匹配观察3D数据的结果模型;

图7示出了由3D成像设备捕获的脚的图像;

图8示出了围绕轴旋转的脚的图像，示出了脚的另一侧未被成像;

图9示出了要拟合到图7所示的3D图像数据的3D模型;

图10示出了3D模型适合于捕获的3D图像数据之后的情况;和

图11示出了根据本发明实施例的方法。

说明书

根据本发明的第一方面，提供了一种确定预定解剖特征的容积数据的方法，该方法包括：确定存在于深度感测照相机装置的视场中的一个或多个解剖特征的容积数据，识别存在于深度感测照相机装置的视场中的预定解剖特征，将一个或多个解剖特征中的一个解剖特征的容积数据与所识别的预定解剖特征相关联，并且输出预定解剖特征的容积数据。

识别存在于深度感测照相机装置的视场中的预定解剖特征的步骤可以在确定存在于深度感测照相机装置的视场中的一个或多个解剖特征的容积数据的步骤之前执行。

一旦识别出存在于深度照相机装置的视场中的预定解剖学特征，该方法可包括获得预定解剖学特征的三维数据并且基于三维数据确定预定解剖学特征的容积数据。

该方法可以包括从深度感测照相机装置获取二维图像并且根据二维图像将预定解剖特征识别为存在于深度感测照相机装置的视场中。

识别存在于深度感测照相机装置的视场中的预定解剖特征的步骤可以在确定存在于深度感测照相机装置的视场中的一个或多个解剖特征的容积数据的步骤之后执行。

该方法可以包括获得一个或多个解剖特征的三维数据，并基于三维数据确定一个或多个解剖特征的容积数据。

一个或多个特征中的一个的容积数据可以通过将一个或多个解剖特征中的每一个的容积数据与预定解剖特征的三维表示数据进行比较，来与所识别的预定解剖特征相关联，识别一个或多个解剖特征为预定的解剖学特征。

确定容积数据的步骤可以包括根据预定解剖特征的三维表示数据，处理三维数据。

预定解剖特征的三维表示可以是可变形三维模型，并且其中该方法可以包括参数化变形三维模型以适合预定解剖特征的三维数据。

三维模型可以通过旋转，改变关节角度和容积变化中的一个或多个而变形。

预定解剖特征的三维表示数据可以是可变形三维模型，并且其中该方法可以包括使预定解剖特征的三维数据变形以适合三维模型。

三维数据可以包括不同取向下的解剖特征的多个数据集。

数据可以周期性地或连续地从深度感测照相机装置接收。

三维数据可以包括三维图像数据。

三维数据可以表示预定解剖学特征的至少一个部分的表示数据。

预定的解剖学特征可以是肢体，并且可以是足部。

深度感测照相机装置可以包括至少一个发射器和一个检测器阵列，或者至少两个检测器阵列。

该方法可以包括记录捕获三维数据的时间，并且其中可以根据记录的时间生成容积数据。

根据本发明的第二方面，提供了一种确定预定解剖学特征的容积数据的方法，所述方法包括：将预定解剖特征识别为存在于深度感测照相机装置的视场中，确定容积数据存在于深度感测照相机装置的视场中的一个或多个解剖特征，将一个或多个解剖特征中的一个解剖特征的容积数据与所识别的预定解剖特征相关联，并且输出预定解剖特征的容积数据。

根据本发明的第三方面，提供了一种系统，包括：深度感测照相机装置; 以及耦合到深度感测照相机装置的处理器;

其中处理器被配置为执行上述任何方法。深度感测照相机装置可以包括至少一个发射器和一个检测器阵列，或者至少两个检测器阵列。

根据本发明的第四方面，提供了一种存储有指令的计算机可读介质，所述指令在处理器上执行时使所述处理器执行上述任何方法。

图1示出了根据本发明实施例的设备100。装置100或系统包括深度感测照相机装置。本实施例中的照相机装置包括两个红外和可见光敏感照相机102,104。每个照相机102,104还包括一受控红外（IR）发射器。因此，装置100可以连续地观察成像容积或视野而不干扰患者。在优选实施例中，深度感测摄像机是红外和可见光敏感的，使得控制红外发射器允许成像系统至少捕获红外图像和3D数据。如果可见照明足够，则照相机也可用于捕获可见颜色信息。这种安排的好处是不会干扰患者，同时尽可能捕获颜色信息。当医疗专业人员评估可能的水肿时，颜色信息可能是肢体容积信息的有用辅助手段。

可以理解的是，照相机装置可以包括至少一个红外感应照相机和至少一个受控光投射器（例如红外发射器或激光器），或者至少两个间隔开的常规照相机（即，包含单个照相机 2D成像阵列）。

装置100进一步包括处理装置106，其在照相机102中接收来自照相机102的图像数据（在该示例中为2D图像数据）。处理装置106被配置成识别在3D环境内是否存在感兴趣的肢体（例如脚200）例如，由照相机102成像。处理装置106包括2D图像分析软件或硬件，其能够从2D图像中识别预定的肢体。分析软件或硬件利用与用于人脸识别的算法类似的算法。例如，通过从先前采集的患者肢体图像中提取地标或特征来识别肢体的元素。因此，使用算法来分析肢体元素（例如足部200的脚趾，脚踝和脚后跟）的相对位置，大小和/或形状，并且这些元素被用于搜索2D图像。感兴趣肢体的无线电标签也可以用于更容易地识别感兴趣的肢体是否在照相机102的视野或成像环境中。处理设备106被配置为当病人的肢体被识别为存在于照相机102的视场中时触发从照相机102,104获取3D图像数据。3D图像数据由处理设备108获取。

处理设备108从深度感测照相机装置102,104获取图像数据，并且被配置为提取关于患者肢体的容积信息。 容积数据随后被传递或传递到设备110以用于报告。设备110是个人计算设备并且包括用于允许用户可视化容积数据的用户界面（例如屏幕/监视器和输入设备）。 该示例中的设备110位于与深度感测照相机装置相同的位置处，并且被配置为通过互联网（包括GSM网络或内联网）与位于远处的计算系统112或云计算系统。 处理设备108还可以与远程定位的计算系统112直接通信，使得不需要计算系统110。 远程定位的计算系统112可以由医师或其他护理人员访问。

在该示例中，处理设备106,108中的每一个包括能够启动并运行存储在存储器（例如，RAM和/或ROM）中的软件程序（例如，应用程序）的处理器，以及被配置为与其进行通信的输入/输出接口 深度感测照相机系统102,104以及计算设备110和/或计算系统112。应该理解，两个处理设备106,108可以被提供为单个设备，并且可以包括一个或多个应用程序或软件程序，或者可以包括一个或多个专用集成电路。就这一点而言，处理设备106,108可以与深度感测照相机系统102,104一起封装在单个可销售单元中，该单个可销售单元被配置为与计算设备110或远程定位计算系统通信。这种单个可销售单元还可以包括用户界面（例如，显示器上的触敏显示器/触敏覆盖层）。 深度感测摄像机系统和处理设备106,108,110中的每一个还可以包括短距离无线通信系统，并且可以包括诸如蓝牙通信模块的无线总线协议兼容通信机制， 启用的系统和设备或IEEE 802.11无线电标准，其通常被称为WiFi。

现在结合图2至图10描述由图1所示的设备100执行的方法。

深度感测照相机装置102,104以这样的方式布置在患者的家庭环境内，使得可能观察到脚/腿的机会性图像。已经发现将深度感测照相机装置102,104定位在床附近以扫描患者可能从其上床和/或下床的区域，是特别有利的，因为很少有其他时候患者通常会暴露脚或腿而没有鞋袜，袜子等。此外，已经发现，在棒状外壳内部的照相机的水平布置适合于从地板大约70cm距离（即，距离50cm到100cm的距离）附接到墙壁，并且从床1 m附接到墙壁，在这个例子中，照相机之间的距离为100mm。预期照相机的其他布置和位置。例如，靠近淋浴或沐浴区的进入点。可供选择的安排包括例如围绕成像容积的半圆形照相机。虽然对于图像采集是优选的，但是这样的半圆形布置可能被认为在患者环境中更突出。

深度感测照相机系统可选地包括用于自动调节各种照明条件的设施，而不影响患者。 优选地，这通过使用没有红外滤光片的彩色照相机来执行，使得在低光照条件下可以使用红外LED来提供IR光。 如本领域中已知的，深度感测摄像机系统被配置为动态调整IRLED功率以提供用于监视场景的最佳照明条件。

处理设备106被配置为从照相机102接收图像数据并且监视相关对象（即，患者的脚200）的照相机102的环境或视野。这通过连续捕获和视频分析，或者定期地，例如每秒一次捕获和视频分析实现。视频分析（即连续地）是优选的，因为当特征或物体识别已经确定在深度感测照相机装置的视场或环境中存在脚时，可以触发3D图像数据的捕捉，并且脚是确定不会在深度感测照相机装置观察的环境中移动太快（例如小于100mm / s）。如果脚的移动速度超过100 mm / s，则可能会在2D图像中引入运动模糊，并将深度伪像引入3D图像数据。例如，脚的速度可以通过测量脚在视频帧之间移动的距离来确定。但是，视频速度识别可能会影响对脚识别可执行的处理量的限制。因此，优选基于可能存在脚的快速估计来机会性地触发3D图像数据的收集，并且如果确定感兴趣的脚实际上不存在，则稍后丢弃任何数据图像。一旦足部被有效识别并且可选地确定足够缓慢地移动以收集鲁棒3D图像数据，则触发3D测量。还优选的是将图像脚与一组目标脚（即多个匹配）进行匹配，以最小化不属于患者的脚上的错误触发的可能性。

3D测量包括在处理装置108处收集或获取来自深度感测装置100的照相机102,104的图像，其聚焦在成像容积或视野上。在这个例子中使用了两台照相机，但是来自不同的位置观察到的场景或每台照相机观察到的环境（或每台投影仪投影的）之间的三角关系可以计算出每台照相机或投影仪的距离。这种关系允许我们计算给定的一组照相机和投影仪可能达到的最大深度分辨率，这是照相机/投影仪之间的间隔（在这个例子中是100mm）的函数，照相机/投影仪和正在测量的目标（在本例中为1米）以及照相机/投影仪中每个像素的角分辨率，这是照相机/投影仪光学系统的功能以及每个像素的物理尺寸。用于这种3D分析的软件通常被称为“3D重建”，“多视图立体声”或“运动结构”软件，其通常或者匹配照相机/投影仪之间的像素以计算与目标的3D距离，或者建立与所做观测最匹配的目标的3D模拟（即，解决匹配问题或优化逆问题）。该分析可以使用“来自阴影的结构”的技术进一步改进，其中在存在照明场景下给定一些假设，表面细节可通过收集的2D图像重建。

3D数据或测量值包括从照相机102,104中的每一个的传感器阵列连续取得的多个，优选高分辨率的图像。来自每个照相机的图像通常在时间上同步，以避免由于场景内的运动造成的人为因素。这样做是为了减少由于触发场景中最大移动速率的时间不确定性导致的深度不确定性。例如，如果两个相距100毫米且角度分辨率为每像素0.02度的照相机配置为监视距相机1000毫米的场景，则照相机间1像素不确定度，深度（z）分辨率将约为5毫米。因此每个摄像机中每个像素的（x，y）分辨率约为0.5毫米。因此，由于移动与照相机同步误差相结合，图像上整个图像位置的0.5mm不确定度将对应于深度感知中大约5mm的误差。如果脚步缓慢步行时站在地板上，但脚部到腿部的角度变化，假定以100毫米/秒移动，则定时抖动应保持在5毫秒以下（即0.5 / 100），并且最好比这少得多。这可以使用电子同步系统来实现。

如果深度感测照相机装置不包含已知的光投影仪，则优选辅助稍后的立体匹配算法，通过至少配置该装置来控制“纹理投影”光源，该光源在场景上投射IR光的图案，使颜色均匀的物体至少有一些纹理投射到它们上面。如果照相机是红外敏感的，则还优选在多级IR照明下进行测量，这样零IR照明的外推法（extrapolation to zero IR lighting），用以更可靠地从照相机提取可见颜色信息，是可行的。这种可见的颜色信息对于医学专业人员在视觉评估系统识别的可能水肿方面可能是有用的。颜色信息在伤口愈合评估中也很有用，因为3D和颜色信息是特别有用的组合。因此，3D图像捕获处理优选地包括从具有各种级别的IR照射和IR纹理投影的多个照相机获取的一系列同步图像。

一旦3D图像数据已被处理设备108收集，则数据在处理设备108处由质量估计算法处理，以确定由后续处理阶段产生的高质量数据的可能性。如果确定图像数据可能产生好的结果，则将图像数据输入到处理设备108的存储器中的队列中进行处理，其中数据具有最高预期的良好结果。例如，预期好的结果将来自图像集，其中脚部大致居中地位于成像容积中，缓慢移动，不被场景中的其他物体遮挡，并且脚部取向不是很相似（即，是不同的）相对于其他最近采集的样品。这是有益的，因为申请人已经发现，一旦系统观察到患者一次，则更可能在短时间内多次观察患者（例如他们在房间周围走动）。 如果系统内可用的存储空间或处理时间有限，则系统允许优先化“最佳”数据以及来自所观察到的最大方向的数据，并且在资源限制的情况下（例如存储空间或时间），可以允许在完整处理之前删除预期不佳的图像集。队列的使用确保了最佳使用临时存储空间和处理时间的组合，并且队列通常不会完全清空（即，预测的最低质量数据从未实际得到处理，而是由于新的高质量数据到达而被丢弃，导致队列溢出的高质量数据）。 如果例如在执行全质量估计的同时可以获取更多的图像数据，则位于处理设备108的存储器中的该队列系统可以被扩展到多个队列。 例如，第一队列可以基于2D图像质量和对患者脚的正确识别而不是房屋的其他占用者的第二队列，并且第二优先队列可以基于结合3D处理来帮助优化面朝成像系统的脚在宽范围内的顺序。

如本领域所知，图像数据从队列的顶部被检索并且点云（即，3D数据）由处理设备108使用3D重建算法来生成。用于每个采集或曝光的3D图像数据来自至少两个图像，或者来自两个单独的照相机，或者来自一个投影仪和至少一个照相机。 D.Scharstein和R.Szeliski的“密集双帧立体对应算法的分类和评估”（国际计算机视觉杂志，47（1/2/3），第7页至第7页）提供了几种这样的算法的概述。42，2002年4月-6月）。处理装置108还对图像数据执行各种图像处理功能，例如校正，以及对3D点云数据的处理，例如噪声去除。3D点云数据可以被进一步处理以去除背景伪影。图2示出深度感测照相机装置102、104观察到的足部的3D图像数据的示例。

3D点云数据然后与脚的3D模型关联使用，以便将3D模型拟合到3D点云数据。如本领域已知的，使用用于识别脚的相同2D识别来识别感兴趣的肢体，或者使用单独的3D识别方法。图3显示了一只脚的参考3D模型的示例。这通过参数化地调整3D模型直到在3D模型和3D点云数据之间找到好的匹配来实现。例如，可以使用众所周知的迭代最近点方法，由此将来自3D点云数据的点的随机选择与其在3D模型中的最近点相匹配，同时调整模型的参数以找到最佳一组模型参数（例如方向，关节角度，容积扭曲等）。这是重复使用不同的随机采样，以便异常点的影响最小化，直到发现三维模型和观察数据之间的良好匹配（即重复，直到找到最低误差的匹配）。例如，原始3D参考模型可以被定向为脚的左侧面向照相机，腿对脚角度为90度，并且小腿由具有30cm的圆周和高度为 25厘米的地板表示。在这个例子中，3D模型与3D点云数据的最佳拟合是，脚朝向照相机前方，脚-腿的角度为80度和小腿围为33cm。 如果不能实现良好匹配，则丢弃3D图像数据，并且使用队列中的下一组3D图像数据再次开始该过程。 显而易见的是，使用至少两个图像来生成点云数据，并且这两个图像表示三维图像数据，但是可以使用两个以上的图像。

可以修改3D参考模型以排除要测量的特别可变或有问题的区域，使得建模区域的测量精度得到改善。 例如，脚上的脚趾由可能处于相对方位范围内的大量关节以及在任何一次观察期间难以有效测量的脚趾之间的许多区域组成。 因此，为了水肿监测的目的，可以将足部的参考3D模型从脚后部一定距离处截断，以便将该高噪声区域从足部容积的计算中排除。 例如，可以从3D模型中切割脚的前5厘米以去除脚趾周围的脚趾和复杂关节，因为在确定脚的容积变化时，拟合如此多的参数可能具有挑战性并且不相关。

图4示出了已经执行了腿到脚角度参数调整后的3D模型。 图5显示了调整小腿锥形容积的第二个参数后的3D模型。 结果模型如图6所示，与观察到的3D数据更接近匹配，并允许计算相对于参考模型的3D容积数据。 例如，如下面所讨论的，由于小腿锥形容积引起的容积变化没有受到腿到脚角度变化的任何影响。

失真的3D模型随后由处理设备10修改以反转或取消应用在将3D模型匹配到点云3D数据时执行的非容积失真。 例如，80度的脚到腿的角度被转换或倒转回到90度的脚到腿的角度，但与点云3D数据相匹配的3D模型的小腿周围被保留。 因此，容积相关的变化得以保持，并且3D模型以其他方式返回到其参考状态。

处理设备108在指定区域上集成容积匹配模型，例如，在所示取向上离3D模型的底面或底部每个1mm部分。以这种方式，可变形模型提供了一致的机制来获取容积数据，就好像脚在参考方位一样，甚至允许收集机会数据时观察到的任意方位和关节角度。 因此，获得了观察肢体或特征容积形式的容积数据。

源图像（2D和3D图像）可以被“掩蔽”以遮蔽与脚模型拟合无关的像素，例如可能对应于患者环境中的其他对象的像素。如果这些图像被传送给任何护理人员，这是为了患者的隐私。

然后将得到的脚模型参数和计算出的容积以及屏蔽的图像传输到云服务，如果观察到容积变化的相关趋势，则可以为护理人员触发警报。然后，护理人员可以检查相关图像和/或足部模型，以评估病例的严重性和紧急性，并继续护理路径。 如上所述，处理设备108可以将所得到的数据输出到本地计算设备110，本地计算设备110随后使用因特网或内联网连接将数据传输到诸如云服务的外部设备112。

已经描述了用于图像捕获和分析循环的方法和装置。然而，将意识到，可以周期性地重复将3D模型拟合到图像数据的过程，以便相对于时间生成容积数据的简况。该简况可以传送给从业者或护理人员。该过程可以周期性地执行（例如，一天，一周或一个月一次），或者可以在每次触发3D图像数据的捕获时执行。例如，处理设备108可以包括预先存储的时间表，其可以触发图像的捕获，或者可以基于机会获取的图像来触发图像处理。时间表可以是一天一次，一周一次，或者一个月一次，或者从业者指定的任何其他时间段。 因此，本发明提供了一种监测和报告系统和方法。

现在描述处理所基于的初始3D脚模型的生成。这可以通过使用单独的参考扫描系统（例如3D激光扫描仪或MRI扫描仪）或者通过使患者在已知条件下使用上述相同硬件执行一系列3D图像捕获来以多种方式收集。在任一情况下，以多个方位和关节角度拍摄得到的全肢三维数据被用于生成用于后续处理的参数化可变形模型。参数化可变形模型的设计使其能够在多个方向和关节角度下，与全肢三维图像数据匹配并且切实可行，而不会意味着脚的整体容积发生任何变化。这可以通过生成包括所有相关关节，肌肉等的精确多参数模型或者通过使用更简单的参数模型并且在模型内包括一组“容积消除”项来实现。例如，已经发现，如果模型在腿到脚角度增加时系统地低估总容积，则可以应用“容积消除”项来根据观察到的腿到脚角度，增加表观容积。

应该理解，随着时间的过去，患者的身体可能以导致参考3D模型变得系统性地不具代表性的方式进行调整，例如，由于饮食或锻炼。因此，在广泛的方向和关节角度上的初始参考3D数据可以与随时间收集的3D数据结合，以产生缓慢自我调整的参考3D模型。这可能不适用于某些应用领域，这些领域在很长一段时间内绝对容积的微妙变化很重要，但对于心脏衰竭患者的水肿监测而言，临床相关的容积变化在两周内为10％左右。因此，具有数月时间的自我调整模型不应对水肿评估产生负面影响，同时确保模型在较长时期内保持相关性，并避免定期重新校准。因此，当新的参考模型变得可用时，例如作为所讨论的肢体的全面扫描的结果，优选定期更新3D模型。或者，3D模型随着时间逐渐更新。

如在本发明中那样，在任何一次测量期间使用可变形3D模型作为参考来比较所捕获的数据是有利的，当以机会主义方式应用于时间序列收集数据时。虽然任何一个收集的3D图像数据集可以映射到3D模型上，但任何一组3D图像数据都不太可能描述3D参考模型和所考虑的肢体当前状态之间的所有变化。例如，如果深度感测照相机装置未覆盖完整的360度周长（或球的全立体角），则成像系统可仅捕获关于面向深度感测照相机装置的肢体侧面的3D数据。然而，随着时间的推移，一系列这种机会性收集的3D图像数据可能会描述3D参考模型的全部或者全部的表面。因此参考3D模型可以根据此时间序列随时间更新。例如，随着患者在环境中移动，考虑中的肢体可能会被成像系统在一定范围的方向上观察到，从而允许参考3D模型随时间演变。优选地，仅使用已经通过预定义的质量和一致性检查的数据来更新3D模型的区域，例如已经观察到观察数据与3D参考模型之间在至少一定数量的分离的观察值时间至少一段时间。例如，在这种情况下，3D模型的“纹理”可能在患者获得纹身后自动更新，并且系统确定这不是皮肤肤色的暂时变化。

据报道，根据近期的病史，肢体容积可能会改变，例如， 如果患者在测量前水平睡觉，对比垂直站立。因此，该设备还可以记录图像被捕获的时间，并且该时间数据可以与容积数据/简档一起输出。此外，该时间数据可以用作3D可变形模型的输入，以便补偿图像被捕获的时间。例如，如果该设备定期在早晨捕捉有效起床的用户，而在晚上进入卧床，则处理设备110可以在几天的测量中构建该典型变化的模型，或者可以使用该时间数据以进一步扭曲3D可变形/可变形模型以补偿3D图像被捕获的一天中的时间。

图7至图10示出了当深度感测照相机装置102,104仅仅肢体的一部分可见时，使用本文描述的技术获得容积信息的示例。图7示出了呈现给3D成像系统的足部。 图8显示了围绕一个轴旋转的脚的图像，显示了在该视图中脚的另一侧完全缺失。 图9示出了要拟合到3D图像数据的3D网格模型。 图10显示了3D模型，因为它已经适用于观察到的3D图像数据。因此，即使只有肢体的一部分对成像系统可见，也允许从该3D模型中提取完整容积数据。

图11示出了根据本发明的实施例的确定预定解剖特征的容积数据的方法，其可以由处理设备108或110执行。每个步骤可以以不同的顺序执行（例如， 步骤304可以在步骤302之前执行），并且可以被省略。

在步骤302中，确定存在于深度感测照相机装置的视场中的一个或多个解剖特征的容积数据。

在步骤304中，预定的解剖特征被识别为存在于深度感测照相机装置的视场中。

在步骤306中，一个或多个解剖学特征之一的容积数据与所识别的预定解剖学特征相关联。

在步骤308中，输出预定解剖学特征的容积数据。

图1中示出并且如上所述的设备100能够不仅识别普遍感兴趣的肢体，而且能够识别可视肢体的语料库中的哪个当前在视野深度感测照相机装置中。因此，例如，如果有足够的训练数据可用，则该装置可以对房屋的多个居住者的左脚和右脚进行分类。以这种方式，只有当期望的一组感兴趣肢体中的一个处于视野内时，该装置才可以触发全3D扫描。这也允许该设备追踪每个患者的多个患者和/或肢体。

为了获得用于水肿检测的临床相关容积测量结果，以2.5％的容积获得5％精确度的容积测量值是有利的，假设需要2.5mm量级的尺寸精度，假设在每个维度都有相同的错误。因此，本文所述的设备能够在每个像素的每个维度上实现至少2.5mm的测量分辨率，并且优选地在所有3个维度上都优于1mm的分辨率。

在替代实施例中，参考3D模型可以保持固定，并且将一系列失真应用于观察到的3D点云数据以匹配参考3D模型的数据。在参考3D模型的变形以与所观察到的相匹配的情况下，3D点云数据可能经由逆过程而变形以匹配参考3D模型的数据。类似地，另一替代实施例可以对所收集的2D图像数据进行调整，使得其匹配3D模型，或者可以对3D模型进行调整，然后可以使用渲染技术来匹配观察到的2D图像数据。

申请人已经发现，可以在整个扫描容积内使用分辨率小于2.5mm的3D成像系统。然而，这变得越来越依赖于提供正确的“平均”深度测量的不同点处的多个深度测量的统计分布，并且因此提供了与可变形的3D肢体模型的准确匹配。例如，通过计算点与模型之间位置的最小二乘误差，可以将低分辨率点云拟合成更高分辨率的3D模型。调整一系列3D模型失真参数以使该最小平方误差最小化，假设每个低分辨率点具有相关的独立误差，可以产生更可靠的一组3D模型失真参数。然而，很显然，由于测量点的分辨率越来越差，特别是如果点之间没有独立的测量值，这种技术会迅速退化。例如，申请人已经发现这种情况，例如，深度测量量化会经常发生，当基于各种类型的3D相机扫描仪中的立体块匹配算法经常发生，或者当许多x，y点具有相同深度时信息。因此，本文描述的设备被配置为获取对于每个像素在至少两个维度上具有至少2.5mm测量分辨率的图像数据，与模型耦合，以在处理之后将第三维度的分辨率统计提高到优于2.5mm。

结合上面提供的技术实现，涉及使用感兴趣肢体的完整3D模型，包括肢体和照相机装置之间的方位变化以及肢体中关节之间的相对方位，可以使用通过对模型应用数学变形来匹配观察到的高分辨率二维成像，从而根据较低分辨率的深度测量结果来确定关于详细3D模型的肢体量的量化的“轮廓”技术。在这种方法中，深度测量中的小量化误差被有效地忽略，因为深度信息被用于估计每个观察像素所占据的真实世界面积，并因此估计组成该像素的轮廓的像素之间的真实距离。例如，相机在距离为1000毫米时观察到的100毫米宽的物体轮廓以及深度为+/- 10毫米的不确定度会在轮廓宽度上产生正好+/- 1毫米的宽度不确定性。因此，假设3D模型被适当地定向和变形以匹配观察到的数据，该轮廓数据可以在很大程度上克服深度测量误差。

所获取的数据通常被描述为图像数据。然而，如果使用已知的光源（例如激光器）和传感器阵列，将会理解成数据是从阵列中的每个像素到传感器阵列的视场或环境中的对象的距离的表示。

在另一个实施例中，收集3D图像数据而不首先确定感兴趣的特征（例如肢体）的存在。然后如前所述处理该3D图像数据以产生3D点云，针对该3D点云迭代调整感兴趣特征的可变形模型以最大化拟合。可以理解的是，在这里没有明确识别所执行的感兴趣的特征，但是在感兴趣特征存在的情况下，则可扭曲/可变形模型的参数将会收敛于有意义的值。然而，例如通过设置模型的参数值的允许限度或观察数据与3D模型之间的拟合质量的阈值水平，可能隐含识别感兴趣的特征。因此将理解的是，可以在全部3D数据捕获和模型拟合完成之后执行确定感兴趣特征的存在或不存在的隐含步骤。这可以采取从3D图像数据的时间序列中过滤所得到的模型参数（例如脚容积测量结果）并且仅保留符合某些数据质量标准的那些时间点的数据的形式。还应该认识到，并非使用数据质量的绝对阈值或感兴趣特征的存在与否，而是可以通过某种度量的拟合优度或计算出的概率来对分析结果对应于感兴趣的特征的可能性。以这种方式，特征识别既可以是隐式的，也可以是模糊的，而不是简单的二元截断，并且分析的累积结果将主要表示来自多次测量的感兴趣特征的信息。

已经描述了用于获得足部的容积的技术。然而，可以理解，该技术可以应用于其他肢体或肢体的特征（例如疤痕，伤口等）或任何其他解剖特征或肢体。此外，本文描述的技术集中于测量足部的容积或用于瞄准心脏衰竭的足部的使用。然而，可以理解，该技术可用于妊娠期间或与乳腺癌相关的淋巴水肿。

根据本发明描述的实施例可以作为计算机软件产品提供。计算机软件产品可以由计算机可读介质提供或支持，计算机可读介质可以以其所有可能的永久和非永久形式或者本质上是暂时的形式提供，例如在数据传输信号中例如通过互联网传送或例如内存的非易失性存储器传送。另一方面，计算机可读介质可以是组成全部计算机可读媒体的非临时性计算机可读介质。

这里使用的术语“计算机可读介质”（或非临时性计算机可读介质）是指可以存储供计算机或其他计算设备使用或由其执行的指令的任何介质，包括但不限于便携式计算机磁盘， 硬盘驱动器（HDD），随机存取存储器（RAM），只读存储器（ROM），可擦除可编程只读存储器（EPROM）或闪存，光盘如光盘（CD），数字通用光盘（DVD）或蓝光光盘，以及固态存储设备（例如，NAND闪存或同步动态RAM（SDRAM））。应该理解，前面的讨论涉及特定的实施例。然而，在其他实施例中，可以组合各个方面和示例。

尽管本发明在这里作为例子用于多个实施例和说明性附图进行描述，但是本领域技术人员将认识到，本发明不限于所描述的实施例或附图。应该理解的是，附图和其详细描述并非旨在将本发明限制于所公开的特定形式，而是相反，本发明覆盖落入本发明的精神和范围内的所有修改，等同物和替代方案。这里使用的标题仅用于组织目的，并不意味着用于限制描述的范围。 如贯穿本申请所使用的，词语“可以”以宽容的含义使用（即，意思是“可能”）而不是强制性意义（即，意思是“必须”）。类似地，词语“包括”，“包含”和“包含”意味着包括在内但不限于。

以下是可以要求保护的实施例的非穷尽列表：

1.一种确定预定解剖学特征的容积测量数据的方法，所述方法包括：

监测深度感测照相机装置的视场;

识别存在于深度感测照相机装置的视场中的预定解剖学特征;

一旦识别出存在于所述深度照相机装置的所述视场中的所述预定解剖学特征，确定存在于所述深度感测相机装置的所述视场中的所识别的解剖学特征的容积测量数据;和

输出预定解剖特征的容积测量数据。

2. 实施例1的方法，该方法包括：

一旦识别出存在于深度感测照相机装置的视场中的预定解剖特征，获得预定解剖特征的三维数据并且基于三维数据确定预定解剖特征的容积测量数据，其中所述三维数据包括由所述深度感测摄像装置采集的数据或由其生成的深度测量或点云数据。

3. 实施例1或实施例2的方法，包括从深度感测照相机装置获取二维图像并且根据二维图像识别预定解剖特征存在于深度感测照相机装置的视场中。

4. 一种确定预定解剖学特征的容积测量数据的方法，所述方法包括：

确定存在于深度感测照相机装置的视场中的一个或多个解剖特征的容积测量数据;

随后将所述一个或多个解剖特征中的一个识别为预定的解剖学特征; 和

输出被识别为预定解剖特征的一个或多个解剖特征之一的容积测量数据。

5. 实施例4的方法，该方法包括：

获得所述一个或多个解剖特征的三维数据，并且基于所述三维数据确定所述一个或多个解剖特征的容积测量数据，其中所述三维数据包括由所述深度感测摄像装置采集的数据或由其生成的深度测量数据或点云数据。

6. 实施例4或5的方法，其中通过将所述一个或多个解剖特征中的每一个的所述容积测量数据与预定解剖特征的三维表示数据相比较，所述一个或多个特征中的一个的所述容积测量数据与所识别的预定解剖特征相关联，以及将所述一个或多个解剖特征中的一个识别为所述预定解剖学特征。

7. 实施例2或实施例5的方法，其中确定容积测量数据包括根据预定解剖学特征的三维表示数据来处理三维数据。

8. 实施例7的方法，其中预定解剖特征的三维表示数据是可变形三维模型，并且其中该方法包括参数化变形三维模型以适合预定解剖特征的三维数据。

9. 实施例8的方法，其中三维模型通过旋转，改变关节角度和容积变化中的一个或多个而变形。

10. 实施例7的方法，其中预定解剖特征的三维表示数据是可变形三维模型，并且其中该方法包括使预定解剖特征的三维数据变形以适合三维模型。

11. 根据实施例2,5和7至10中任一项所述的方法，其中所述三维数据包括处于不同取向的解剖特征的多个数据集合。

12. 根据实施例2,5和7至11中任一个的方法，其中从深度感测照相机装置周期性地或连续地接收数据。

13. 根据实施例2,5和7至12中任一项所述的方法，其中所述三维数据包括三维图像数据。

14. 根据实施例2,5和7至13中任一项所述的方法，其中所述三维数据表示所述预定解剖学特征的至少一个部分。

15. 根据实施例2,5和7至14中任一项所述的方法，包括记录捕获三维数据的时间，并且其中根据所记录的时间生成所述容积测量数据。

16. 根据前述实施例中任一项所述的方法，其中所述预定解剖学特征是肢体，并且优选是足部。

17. 根据前述实施例中任一项所述的方法，其中所述深度感测摄像装置包括至少一个发射器和一个检测器阵列，或者至少两个检测器阵列。

18. 一种系统，包括：

深度感测照相机装置; 和

耦合到深度感测照相机装置的处理器;

其中所述处理器被配置为执行根据实施例1至16中任一项所述的方法。

19. 根据实施例17所述的系统，其中所述深度感测摄像装置包括至少一个发射器和一个检测器阵列，或者至少两个检测器阵列。

20. 一种存储有指令的计算机可读介质，所述指令在处理器上执行时使所述处理器执行根据实施例1至16中任一项所述的方法。

21. 一种基本上参照附图描述的方法。

22.一种基本上参照附图描述的装置。

Claims (21)

1.一种确定预定解剖特征的体积数据的方法，所述方法包括：

确定存在于深度感测照相机装置的视场中的一个或多个解剖特征的体积数据;

识别存在于深度感测照相机装置的视场中的预定解剖特征;

将所述一个或多个解剖特征之一的体积数据与所识别的预定解剖特征相关联; 和

输出预定解剖特征的体积数据。

2.根据权利要求1所述的方法，其中，在确定所述深度感测照相机装置的视场中存在的一个或多个解剖特征的体积数据的步骤之前，执行识别存在于所述深度感测照相机装置的视场中的预定解剖特征的步骤。

3.根据权利要求2所述的方法，所述方法包括：

一旦识别出存在于深度照相机装置的视场中的预定解剖特征，获得预定解剖特征的三维数据并且基于三维数据确定预定解剖特征的体积数据。

4.根据权利要求2或权利要求3所述的方法，包括从所述深度感测照相机装置获取二维图像并且根据所述二维图像将所述预定解剖特征识别为存在于所述深度感测照相机装置的视场中。

5.根据权利要求1所述的方法，其中，在确定存在于深度感测照相机设备的视场中的一个或多个解剖特征的体积数据的步骤之后，执行识别存在于深度感测照相机装置的视场中的预定解剖特征的步骤。

6.根据权利要求5所述的方法，所述方法包括：

获得所述一个或多个解剖特征的三维数据并基于所述三维数据确定所述一个或多个解剖特征的体积数据。

7.根据权利要求5或权利要求6所述的方法，其中，一个或多个特征之一的体积数据与识别的预定解剖特征相关联，通过将一个或多个解剖特征中的每一个的体积数据与预定解剖特征的三维表示数据进行比较，并且识别一个或多个解剖特征中的每一个为预定解剖特征。

8.根据权利要求2或权利要求6所述的方法，其中确定所述体积数据包括根据所述预定解剖特征的三维表示数据来处理的三维数据。

9.根据权利要求8所述的方法，其中所述预定解剖特征的所述三维表示数据是可变形三维模型，并且其中所述方法包括参数化变形三维模型以拟合所述预定解剖特征的三维数据。

10.根据权利要求9所述的方法，其中三维模型通过旋转，改变关节角度和体积变化中的一个或多个而变形。

11.根据权利要求8所述的方法，其中所述预定解剖特征的三维表示数据是可变形三维模型，并且其中所述方法包括使所述预定解剖特征的三维数据变形以适合所述三维模型。

12.根据权利要求3，6和9至11中任一项所述的方法，其中所述三维数据包括处于不同取向的解剖特征的多个数据集。

13.根据权利要求2，6和9至11中任一项所述的方法，其中，从所述深度感测照相机装置周期性地或连续地接收数据。

14.根据权利要求3，6和9至11中任一项所述的方法，其中所述三维数据包括三维图像数据。

15.根据权利要求3，6和9至11中任一项所述的方法，其中所述三维数据表示所述预定解剖特征的至少一个部分。

16.根据权利要求2，6和9至11中任一项所述的方法，包括记录捕获三维数据的时间，并且其中根据所记录的时间生成所述体积数据。

17.根据权利要求1-3、5-6及9-11中任一项所述的方法，其中，所述预定解剖特征是肢体。

18.根据权利要求1-3、5-6及9-11中的任一项所述的方法，其中，所述深度感测照相机装置包括至少一个发射器和一个检测器阵列，或者至少两个检测器阵列。

19.一种确定预定解剖特征的体积数据的系统，包括：

深度感测照相机装置; 和

耦合到深度感测照相机装置的处理器;

其中所述处理器被配置为执行根据权利要求1至17中任一项所述的方法。

20.根据权利要求19所述的系统，其中所述深度感测照相机装置包括至少一个发射器和一个检测器阵列，或者至少两个检测器阵列。

21.一种其上存储有指令的计算机可读介质，所述指令在处理器上执行时使所述处理器执行根据权利要求1至17中任一项所述的方法。

Images