CN110706222B - 一种检测影像中骨骼区域的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种检测影像中骨骼区域的方法及装置，获取多帧连续2D影像，检测每帧2D影像中骨骼区域的中心，获得该帧2D影像中骨骼区域的检出中心，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，获得该帧2D影像中骨骼区域的预测中心，基于预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。通过2D影像中骨骼区域的中心快速确定出2D影像中的骨骼区域，无需人工主观地根据2D影像进行判断，提高检测2D影像中骨骼区域的效率以及骨骼区域的精度。

Description

一种检测影像中骨骼区域的方法及装置

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种检测影像中骨骼区域的方法及装置。

背景技术

随着现代医学成像技术的发展，各种医学影像设备不断涌现，比如X射线摄影设备、计算机断层扫描(Computed Tomography，CT)设备、核磁共振成像(Nuclear MagneticResonance Imaging，NMRI)设备等。这些医学影像设备可以采集人体各个部位的2维(dimensional，D)影像(横断面影像)，也可以生成人体各个部位的3D影像。在医学影像设备采集到影像后，通常涉及到从影像中检测骨骼区域的问题，通过预先确定骨骼区域，可以便于后续制定治疗方案。

现有技术通常采用人工的方式确定影像中的骨骼区域，当采集到一张影像后，医生可以根据经验对该张影像进行分析，从而在影像中标记出医生认为可能是骨骼的区域。然而，采用该种方式，由于不同医生的经验不同，因此从影像中确定出的骨骼区域的精度受人为的主观因素影响较大，且人为查看影像通常需要耗费较长的时间，导致工作效率和诊断效率较低。

综上，目前亟需一种检测影像中骨骼区域的方法，用以解决现有技术中采用人工方式检测影像中的骨骼区域所导致的骨骼区域的精度受人为的主观因素影响大、效率低的技术问题。

发明内容

本发明实施例提供一种检测影像中骨骼区域的方法及装置，用以解决现有技术中采用人工方式检测影像中的骨骼区域所导致的骨骼区域的精度受人为的主观因素影响大、效率低的技术问题。

第一方面，本发明实施例提供的一种检测影像中骨骼区域的方法，包括：

获取多帧连续的2D影像，检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心，对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。

在上述设计中，通过检测2D影像中骨骼区域的中心，可以基于中心快速地确定出2D影像中的骨骼区域，而无需人工主观地根据2D影像进行判断，从而可以提高检测2D影像中骨骼区域的效率；且，上述设计使用至少两帧2D影像的检出中心预测每帧2D影像的预测中心，可以对每帧2D影像的检出中心进行修正或补全，如此，基于骨骼区域的预测中心和骨骼区域的检出中心确定的骨骼区域中心进而得到的骨骼区域可以更加准确。

在一种可能的设计中，所述基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，包括：若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差小于或等于第一阈值，则将该帧2D影像中骨骼区域的检出中心作为其骨骼区域的中心；若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差大于所述第一阈值，或者，该帧2D影像中不存在骨骼区域的检出中心，则将该帧2D影像中骨骼区域的预测中心作为其骨骼区域的中心。

在上述设计中，通过确定骨骼区域的预测中心和检出中心的坐标差，并基于坐标差对骨骼区域的检出中心进行补全或修正，可以综合其它多帧2D影像中的骨骼区域共同得到该帧2D影像中骨骼区域的中心，从而可以提高检测得到的骨骼区域中心的准确性。

在一种可能的设计中，所述基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域，包括：以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像，将所述第一影像输入至第一卷积神经网络模型，以获得所述第一影像中的像素点属于骨骼区域的置信度；进一步地，将所述第一影像中像素点的置信度大于第二阈值的一个或多个像素点组成的区域作为该帧2D影像中的骨骼区域。

在上述设计中，先根据2D影像中骨骼区域的中心从2D影像中截取出第一影像，再针对第一影像检测2D影像中的骨骼区域，可以提高从2D影像中检测出的骨骼区域的精确度，且，相比于直接检测2D影像中的骨骼区域的方式来说，先使用骨骼区域的中心从2D影像中截取第一影像再检测第一影像中的骨骼区域，可以缩小所需检测的影像范围，从而可以降低图像处理的数据量，提高图像处理的效率；且，通过检测第一影像上每个像素点属于骨骼区域的置信度，可以准确确定第一影像上的每个像素点是否属于骨骼区域，如此，从第一影像中确定的骨骼区域的检测效果更好，精度更高。

在一种可能的设计中，所述基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域，包括：以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像，将所述第一影像输入至第二卷积神经网络模型，以获得第一影像中骨骼区域的关键点，其中，所述关键点是指骨骼边缘上的点；进一步地，连接所述骨骼区域的关键点以获得该帧2D影像中的骨骼区域。

在上述设计中，先根据2D影像中骨骼区域的中心从2D影像中截取出第一影像，再针对第一影像检测2D影像中的骨骼区域，可以提高从2D影像中检测出的骨骼区域的精确度，且，相比于直接检测2D影像中的骨骼区域的方式来说，先使用骨骼区域的中心从2D影像中截取第一影像再检测第一影像中的骨骼区域，可以缩小所需检测的影像范围，从而可以降低图像处理的数据量，提高图像处理的效率；且，通过检出第一影像上骨骼区域的边缘关键点，可以将连接边缘关键点所包围的区域直接作为骨骼区域，该种检测方式处理速度快，检测效率高。

在一种可能的设计中，所述检测每一帧2D影像中骨骼区域的中心以获得该帧2D影像中骨骼区域的检出中心，包括：将每一帧2D影像输入至第三卷积神经网络模型，以检测出该帧2D影像中的至少一个骨骼区域及与该骨骼区域对应的置信度；进一步地，获取检测到的骨骼区域中置信度最高的骨骼区域，若该骨骼区域的置信度大于或等于第三阈值，则以该骨骼区域的中心为该帧2D影像中骨骼区域的检出中心；或者，获取检测到的骨骼区域中置信度大于或等于第三阈值的骨骼区域，并以置信度最高的骨骼区域的中心为该帧2D影像中骨骼区域的检出中心。

在上述设计中，对于2D影像上检出的多个骨骼区域，通过将置信度最高且置信度大于或等于第三阈值的骨骼区域的中心作为该帧2D影像中骨骼区域的检出中心，可以准确地对2D影像中的非骨骼区域进行过滤，从而可以降低骨骼区域检测的误差，保证检测的准确性。

第二方面，本发明实施例提供的一种检测影像中骨骼区域的装置，所述装置包括：

获取模块，用于获取多帧连续的2D影像；

检测模块，用于检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心；

处理模块，用于对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。

在一种可能的设计中，所述处理模块包括：

第一确定单元，用于在该帧2D影像中骨骼区域的检出中心与预测中心的坐标差小于或等于第一阈值时，将该帧2D影像中骨骼区域的检出中心作为其骨骼区域的中心；

第二确定单元，用于在该帧2D影像中骨骼区域的检出中心与预测中心的坐标差大于所述第一阈值时，或者，该帧2D影像中不存在骨骼区域的检出中心时，将该帧2D影像中骨骼区域的预测中心作为其骨骼区域的中心。

在一种可能的设计中，所述处理模块还包括：

第一获取单元，用于以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像；

第一卷积神经网络模型，用于获得所述第一影像中的像素点属于骨骼区域的置信度；

第三确定单元，用于将所述第一影像中像素点的置信度大于第二阈值的一个或多个像素点组成的区域作为该帧2D影像中的骨骼区域。

在一种可能的设计中，所述处理模块还包括：

第二获取单元，用于以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像；

第二卷积神经网络模型，用以获得第一影像中骨骼区域的关键点，其中，所述关键点是指骨骼边缘上的点；

第三获取单元，用于连接所述骨骼区域的关键点以获得该帧2D影像中的骨骼区域。

在一种可能的设计中，所述检测模块包括：

第三卷积神经网络模型，用于检测出该帧2D影像中的至少一个骨骼区域及与该骨骼区域对应的置信度；

第四获取单元，用于获取检测到的骨骼区域中置信度最高的骨骼区域，若该骨骼区域的置信度大于或等于第三阈值，则以该骨骼区域的中心为该帧2D影像中骨骼区域的检出中心；

第五获取单元，用于获取检测到的骨骼区域中置信度大于或等于第三阈值的骨骼区域，并以置信度最高的骨骼区域的中心为该帧2D影像中骨骼区域的检出中心。

第三方面，本发明实施例提供的一种检测影像中骨骼区域的设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面任意所述方法的步骤。

第四方面，本发明实施例提供的一种计算机可读介质，其存储有可由检测影像中骨骼区域的设备执行的计算机程序，当所述程序在所述检测影像中骨骼区域的设备上运行时，使得所述检测影像中骨骼区域的设备执行上述第一方面任意所述方法的步骤。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种检测影像中骨骼区域的方法对应的流程示意图；

图2为本发明实施例提供的一种胸部影像的横断面示意图；

图3为本发明实施例提供的一种检测影像中骨骼区域的装置的结构示意图；

图4为本发明实施例提供的一种检测影像中骨骼区域的设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例中，骨骼可以是指任意类型的长骨，比如手骨、椎骨、肋骨、腿骨等，具体不作限定。

图1本发明实施例提供的一种检测影像中骨骼区域的方法的流程示意图，具体包括以下步骤：

步骤101，获取多帧连续的2D影像。

本发明实施例中，2D影像可以是采用CT设备拍摄骨骼得到的横断面影像，或者也可以是采用磁共振设备拍摄骨骼得到的横断面影像，具体不作限定。

示例性地，拍摄胸部以得到包括了椎骨和肋骨得的横断面影像可以如图2所示。

可以理解的，本发明实施例中的2D影像也可以为其它类型，比如矢状面影像、冠状面影像等，具体不作限定。

在一个示例中，获取多帧连续的2D影像后，还可以对多帧2D影像进行缩放处理，从而将多帧2D影像缩放到固定大小，比如512*512像素。且，为了保证后续检测2D影像的完整性和一致性，在缩放多帧2D影像之前，还可以在多帧2D影像的四周添加黑边，从而将多帧2D影像的长宽比例调整为1:1。在该示例中，通过对多帧2D影像进行处理，可以使得多帧2D影像具有一致性，从而可以提高后续从2D影像中检测骨骼区域的效率。

步骤102，检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心。

此处，骨骼区域的检出中心可以用于标识2D影像中骨骼区域所在的中心位置，若预先在2D影像中设置坐标系，则检出中心可以是指2D影像上骨骼区域的中心坐标。在一个示例中，可以从每一帧2D影像中确定出骨骼区域的尺寸，骨骼区域的尺寸可以由不同的形式来定义，比如骨骼区域的形状不同，骨骼区域的尺寸也可以不同；举例来说，若骨骼区域为圆形，则骨骼区域的尺寸可以由圆心坐标和圆的半径来定义，若骨骼区域为椭圆形，则骨骼区域的尺寸可以由椭圆心坐标、椭圆的长径和椭圆的短径来定义，若骨骼区域为多边形(比如矩形、梯形、正方形等)，则骨骼区域的尺寸可以由多边形上各个点的坐标来定义，或者也可以由多边形的中心坐标和各个边的长度来定义，此处不再一一列举。其中，上述所述的圆心坐标、中心坐标即为骨骼区域的检出中心。

本发明实施例中，检测任一帧2D影像中骨骼区域的中心的方式可以有多种，在一种可能的实现方式中，可以先将该帧2D影像输入至第三卷积神经网络模型，以检测出该帧2D影像中的至少一个骨骼区域及至少一个骨骼区域对应的置信度，然后可以从至少一个骨骼区域中选取置信度最高且置信度大于或等于第三阈值的骨骼区域，将该骨骼区域的中心作为该帧2D影像中骨骼区域的检出中心。其中，可以采用如下两种方式从至少一个骨骼区域中得到该帧2D影像上骨骼区域的检出中心：

方式一，按照置信度由大到小(或者也可以由小到大)的顺序对至少一个骨骼区域进行排序，然后根据排序从至少一个骨骼区域中选取置信度最大的骨骼区域；若置信度最大的骨骼区域的置信度大于或等于第三阈值，则获取第三卷积神经网络模型输出的置信度最大的骨骼区域的中心，将置信度最大的骨骼区域的中心作为该帧2D影像中骨骼区域的检出中心；相应地，若置信度最大的骨骼区域的置信度小于第三阈值，则该帧2D影像中不存在骨骼区域的检出中心。

方式二，从至少一个骨骼区域中选取置信度大于或等于第三阈值的骨骼区域，若至少一个骨骼区域中存在置信度大于或等于第三阈值的一个或多个骨骼区域，则从一个或多个骨骼区域中确定置信度最大的骨骼区域，并获取第三卷积神经网络模型输出的置信度最大的骨骼区域的中心，将置信度最大的骨骼区域的中心作为该帧2D影像中骨骼区域的检出中心；若至少一个骨骼区域中不存在置信度大于或等于第三阈值的一个或多个骨骼区域，则该帧2D影像中不存在骨骼区域的检出中心。

本发明实施例中，对于2D影像上检出的多个骨骼区域，通过将置信度最高且置信度大于或等于第三阈值的骨骼区域的中心作为该帧2D影像中骨骼区域的检出中心，可以准确地对2D影像中的非骨骼区域进行过滤，从而可以降低骨骼区域检测的误差，保证检测的准确性。

具体实施中，第三卷积神经网络模型可以包括特征提取模块和检出模块，在接收到任一帧2D影像后，特征提取模块可以先提取得到该帧2D影像的特征图像，如此，检出模块可以对该帧2D影像的特征图像进行检测，确定该帧2D影像的特征图像上是否包含可能为骨骼的区域，若该帧2D影像的特征图像上包含可能为骨骼的区域，则可以在该帧2D影像的特征图像上标注检出框，并可以给出检出框的置信度，其中，每个检出框可以包含一个骨骼区域。进一步地，针对于2D影像上检出的任一骨骼区域，检出模块可以根据检出框标记的该骨骼区域的位置确定该骨骼区域的中心。

在一个示例中，特征提取模块可以为特征金字塔网络(Momenta Paper Reading，FPN)。

本发明实施例中的第三卷积神经网络模型可以为使用卷积神经网络对已标记骨骼的多个2D影像进行训练得到的，具体可以包括以下步骤A～步骤C：

步骤A，获取多帧2D影像作为训练样本。

本发明实施例中，可以先获取3D影像，再将3D影像切分为多帧2D影像，从而将多帧2D影像作为训练样本，或者也可以直接获取多帧2D影像，并将获取的多帧2D影像作为训练样本，具体不作限定。

在一个示例中，可以先对多帧2D影像进行增强操作，再将增强操作后的多帧2D影像作为训练样本，从而扩大训练样本的数据量。其中，增强操作可以包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。在一个示例中，通过执行增强操作，可以将训练样本扩展为原有的10倍。

步骤B，标记训练样本中的骨骼。

本发明实施例中，可以通过医生等专业人员对训练样本中的骨骼进行标记，标记的内容可以包括骨骼区域的中心坐标以及骨骼区域的直径(此处以骨骼区域的形状为圆形为例进行说明，标注的内容具体可以根据骨骼区域的形状来设置，不作限定)。具体地，可以先由多名医生对训练样本中骨骼区域的中心坐标和直径进行标注，再通过多人投票合成的方式确定最终的骨骼区域的中心坐标以及直径，骨骼区域的中心坐标以及直径可以以掩码图的方式进行存储。

需要说明的是，人工标记训练样本中的骨骼的过程与训练样本的增强操作过程可以不分先后顺序，比如可以先由人工标记出训练样本中的骨骼，再对标记有骨骼的训练样本进行增强操作，或者也可以先对训练样本进行增强操作，再由人工对增强操作后的训练样本进行标记，具体不作限定。

步骤C，将标记好的训练样本输入卷积神经网络模型进行训练，得到第三卷积神经网络模型。

在一个示例中，卷积神经网络模型的结构可以包括输入层、特征提取模块、下采样模块、上采样模块、目标检测网络以及输出层，或者也可以包括输入层、下采样模块、上采样模块、目标检测网络以及输出层，具体不作限定。

具体实施中，可以先对训练样本进行预处理，进而将预处理后的训练样本输入上述卷积神经网络模型；其中，预处理可以包括步骤101中所述的图像缩放处理，或者也可以包括其它处理，不作限定。进一步地，在得到卷积神经网络模型输出的每个检出框的置信度后，可以将输出的每个检出框的置信度与预先标记的训练样本的掩码图进行损失函数计算，然后可以采用反向传播算法以及随机梯度下降(Stochastic Gradient Descent，SGD)优化算法反复迭代，不断更新卷积神经网络模型的模型参数。若某次训练的损失函数小于或等于阈值，则可以将该次训练的模型参数对应的卷积神经网络模型作为第三卷积神经网络模型。

步骤103，对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。

在一种可能的实现方式中，针对于每一帧2D影像，可以先获取与该帧2D影像相邻的预设数量的2D影像，然后使用预设数量的2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以得到该帧2D影像中骨骼区域的预测中心；进一步地，若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差小于或等于第一阈值，则可以将该帧2D影像中骨骼区域的检出中心作为该帧2D影像中骨骼区域的中心，若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差大于第一阈值，或者，该帧2D影像中不存在骨骼区域的检出中心，则可以将该帧2D影像中骨骼区域的预测中心作为该帧2D影像中骨骼区域的中心。

其中，预设数量可以由本领域技术人员根据经验进行设置，比如若多帧连续的2D影像包括第1至第50帧2D影像，则预设数量可以为2至50中的任一数值。

以预设数量为3为例，具体实施中，针对于第5帧2D影像，可以使用第2帧2D影像、第3帧2D影像和第4帧2D影像中骨骼区域的检出中心预测得到第5帧2D影像中骨骼区域的预测中心，或者也可以使用第6帧2D影像、第7帧2D影像和第8帧2D影像中骨骼区域的检出中心预测得到第5帧2D影像中骨骼区域的预测中心，或者还可以使用第4帧2D影像、第6帧2D影像和第7帧2D影像中骨骼区域的检出中心预测得到第5帧2D影像中骨骼区域的预测中心，等等。

在一个示例中，可以基于预测算法预测得到该帧2D影像中骨骼区域的预测中心，预测算法可以由本领域技术人员根据经验进行设置，比如可以为线性差值算法、双线性差值算法或线性拟合算法，具体不作限定。

在该种实现方式中，通过确定骨骼区域的预测中心和检出中心的坐标差，并基于坐标差对骨骼区域的检出中心进行补全或修正，可以综合其它多帧2D影像的特征共同得到该帧2D影像中骨骼区域的中心，从而可以提高检测得到的骨骼区域中心的准确性。

进一步地，在获取该帧2D影像中骨骼区域的中心后，可以先以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像，以获得第一影像，然后基于第一影像检测得到该帧2D影像中的骨骼区域。其中，预设尺寸可以由本领域技术人员根据经验进行设置，比如可以设置为固定尺寸，或者也可以设置为通过上述的第三卷积神经网络模型检测出的多帧2D影像中的多个骨骼区域中最大的骨骼区域的尺寸，具体不作限定。采用该种方式，通过先根据2D影像中骨骼区域的中心从2D影像中截取出第一影像，再针对第一影像检测2D影像中的骨骼区域，可以提高从2D影像中检测出的骨骼区域的精确度，且，相比于直接检测2D影像中的骨骼区域的方式来说，先使用骨骼区域的中心从2D影像中截取第一影像再检测第一影像中的骨骼区域，可以缩小所需检测的影像范围，从而可以降低图像处理的数据量，提高图像处理的效率。

本发明实施例中，检测第一影像中骨骼区域的方式可以有多种，下面介绍两种可能的示例：

示例一

具体实施中，针对于任一帧2D影像上截取出的第一影像，可以将第一影像输入第一卷积神经网络模型，以输出第一影像中每个像素点属于骨骼区域的置信度，进而可以将第一影像中像素点属于骨骼区域的置信度大于第二阈值的一个或多个像素点组成的区域作为该帧2D影像中的骨骼区域；举例来说，在确定出每个像素点属于骨骼区域的置信度后，可以保留第一影像上置信度大于或等于第二阈值的像素点，并删除第一影像上置信度小于第二阈值的像素点，如此，保留的像素点所组成的区域即为该帧2D影像中的骨骼区域。

在该示例中，通过检测第一影像上每个像素点属于骨骼区域的置信度，可以准确确定第一影像上的每个像素点是否属于骨骼区域，如此，可以使得从第一影像中检测得到的骨骼区域更为准确。

示例二

具体实施中，针对于任一帧2D影像上截取出的第一影像，可以先将第一影像输入至第二卷积神经网络模型，以输出第一影像中骨骼区域的各关键点，各关键点可以为骨骼区域边缘上的点；进一步地，可以连接第一影像中骨骼区域的各关键点，并可以将包围在各关键点之间的区域作为该帧2D影像上的骨骼区域。

在该示例中，通过检测出每帧2D影像上骨骼区域的边缘关键点，可以直接将连接边缘关键点所包围的区域作为目标骨骼区域，该种检测方式处理速度快，检测效率高。

需要说明的是，示例一的第一卷积神经网络模型和示例二的第二卷积神经网络模型的训练方法可以参照第三卷积神经网络模型进行实现，此处不再赘述。

在一种可能的实现方式中，在检测出每帧2D影像中的骨骼区域后，还可以对多帧连续的2D影像中的骨骼区域进行合并，从而得到多帧连续的2D影像组成的3D影像中的骨骼区域。

本发明的上述实施例中，获取多帧连续的2D影像，检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心，对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。本发明实施例中，通过检测2D影像中骨骼区域的中心，可以基于中心快速地确定出2D影像中的骨骼区域，而无需人工主观地根据2D影像进行判断，从而可以提高确定2D影像中骨骼区域的效率；且，通过使用至少两帧2D影像的检出中心预测每帧2D影像的预测中心，可以对每帧2D影像的检出中心进行修正或补全，如此，基于骨骼区域的预测中心和骨骼区域的检出中心确定的骨骼区域中心进而得到的骨骼区域可以更加准确。

针对上述方法流程，本发明实施例还提供一种检测影像中骨骼区域的装置，该装置的具体内容可以参照上述方法实施。

图3为本发明实施例提供的一种检测影像中骨骼区域的装置，所述装置包括：

获取模块301，用于获取多帧连续的2D影像；

检测模块302，用于检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心；

处理模块303，用于对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。

可选地，所述处理模块303包括：

第一确定单元，用于在该帧2D影像中骨骼区域的检出中心与预测中心的坐标差小于或等于第一阈值时，将该帧2D影像中骨骼区域的检出中心作为其骨骼区域的中心；

第二确定单元，用于在该帧2D影像中骨骼区域的检出中心与预测中心的坐标差大于所述第一阈值时，或者，该帧2D影像中不存在骨骼区域的检出中心时，将该帧2D影像中骨骼区域的预测中心作为其骨骼区域的中心。

可选地，所述处理模块303还包括：

第一获取单元，用于以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像；

第一卷积神经网络模型，用于获得所述第一影像中的像素点属于骨骼区域的置信度；

第三确定单元，用于将所述第一影像中像素点的置信度大于第二阈值的一个或多个像素点组成的区域作为该帧2D影像中的骨骼区域。

可选地，所述处理模块303还包括：

第二获取单元，用于以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像；

第二卷积神经网络模型，用以获得第一影像中骨骼区域的关键点，其中，所述关键点是指骨骼边缘上的点；

第三获取单元，用于连接所述骨骼区域的关键点以获得该帧2D影像中的骨骼区域。

可选地，所述检测模块302包括：

第三卷积神经网络模型，用于检测出该帧2D影像中的至少一个骨骼区域及与该骨骼区域对应的置信度；

第四获取单元，用于获取检测到的骨骼区域中置信度最高的骨骼区域，若该骨骼区域的置信度大于或等于第三阈值，则以该骨骼区域的中心为该帧2D影像中骨骼区域的检出中心；

第五获取单元，用于获取检测到的骨骼区域中置信度大于或等于第三阈值的骨骼区域，并以置信度最高的骨骼区域的中心为该帧2D影像中骨骼区域的检出中心。

从上述内容可以看出：本发明的上述实施例中，获取多帧连续的2D影像，检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心，对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域。本发明实施例中，通过检测2D影像中骨骼区域的中心，可以基于中心快速地确定出2D影像中的骨骼区域，而无需人工主观地根据2D影像进行判断，从而可以提高确定2D影像中骨骼区域的效率；且，通过使用至少两帧2D影像的检出中心预测每帧2D影像的预测中心，可以对每帧2D影像的检出中心进行修正或补全，如此，基于骨骼区域的预测中心和骨骼区域的检出中心确定的骨骼区域中心进而得到的骨骼区域可以更加准确。

基于同一发明构思，本发明实施例提供了一种检测影像中骨骼区域的设备，如图4所示，包括至少一个处理器401，以及与至少一个处理器连接的存储器402，本发明实施例中不限定处理器401与存储器402之间的具体连接介质，图4中处理器401和存储器402之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本发明实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前述的检测影像中骨骼区域的方法中所包括的步骤。

其中，处理器401是检测影像中骨骼区域的设备的控制中心，可以利用各种接口和线路连接检测影像中骨骼区域的设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，从而实现影像识别。可选的，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本发明实施例还提供了一种计算机可读介质，其存储有可由检测影像中骨骼区域的设备执行的计算机程序，当所述程序在检测影像中骨骼区域的设备上运行时，使得所述检测影像中骨骼区域的设备执行检测影像中骨骼区域的方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种检测影像中骨骼区域的方法，其特征在于，所述方法包括：

获取多帧连续的2D影像；

检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心；

对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心，采用线性插值算法、双线性插值算法或线性拟合算法预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域：以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像，将所述第一影像输入至第二卷积神经网络模型，以获得第一影像中骨骼区域的关键点，其中，所述关键点是指骨骼边缘上的点；连接所述骨骼区域的关键点以获得该帧2D影像中的骨骼区域。

2.根据权利要求1所述的方法，其特征在于，所述基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，包括：

若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差小于或等于第一阈值，则将该帧2D影像中骨骼区域的检出中心作为其骨骼区域的中心；若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差大于所述第一阈值，或者，该帧2D影像中不存在骨骼区域的检出中心，则将该帧2D影像中骨骼区域的预测中心作为其骨骼区域的中心。

3.根据权利要求1所述的方法，其特征在于，所述基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域，包括：

以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像，将所述第一影像输入至第一卷积神经网络模型，以获得所述第一影像中的像素点属于骨骼区域的置信度；

将所述第一影像中像素点的置信度大于第二阈值的一个或多个像素点组成的区域作为该帧2D影像中的骨骼区域。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述检测每一帧2D影像中骨骼区域的中心以获得该帧2D影像中骨骼区域的检出中心，包括：

将每一帧2D影像输入至第三卷积神经网络模型，以检测出该帧2D影像中的至少一个骨骼区域及与该骨骼区域对应的置信度；

获取检测到的骨骼区域中置信度最高的骨骼区域，若该骨骼区域的置信度大于或等于第三阈值，则以该骨骼区域的中心为该帧2D影像中骨骼区域的检出中心；

或者，获取检测到的骨骼区域中置信度大于或等于第三阈值的骨骼区域，并以置信度最高的骨骼区域的中心为该帧2D影像中骨骼区域的检出中心。

5.一种检测影像中骨骼区域的装置，其特征在于，所述装置包括：

获取模块，用于获取多帧连续的2D影像；

检测模块，用于检测每一帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的检出中心；

处理模块，用于对于每一帧2D影像，使用除该帧2D影像外的至少两帧2D影像中骨骼区域的检出中心，采用线性插值算法、双线性插值算法或线性拟合算法预测该帧2D影像中骨骼区域的中心，以获得该帧2D影像中骨骼区域的预测中心，基于该帧2D影像中骨骼区域的预测中心和检出中心确定该帧2D影像中骨骼区域的中心，并基于该帧2D影像中骨骼区域的中心获取该帧2D影像中的骨骼区域：以该帧2D影像中骨骼区域的中心为中心，从该帧2D影像中截取预设尺寸的影像以获得第一影像，将所述第一影像输入至第二卷积神经网络模型，以获得第一影像中骨骼区域的关键点，其中，所述关键点是指骨骼边缘上的点；连接所述骨骼区域的关键点以获得该帧2D影像中的骨骼区域。

6.根据权利要求5所述的装置，其特征在于，所述处理模块具体用于：

若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差小于或等于第一阈值，则将该帧2D影像中骨骼区域的检出中心作为其骨骼区域的中心；若该帧2D影像中骨骼区域的检出中心与预测中心的坐标差大于所述第一阈值，或者，该帧2D影像中不存在骨骼区域的检出中心，则将该帧2D影像中骨骼区域的预测中心作为其骨骼区域的中心。

7.根据权利要求5或6所述的装置，其特征在于，所述检测模块包括：

第三卷积神经网络模型，用于检测出该帧2D影像中的至少一个骨骼区域及与该骨骼区域对应的置信度；

第四获取单元，用于获取检测到的骨骼区域中置信度最高的骨骼区域，若该骨骼区域的置信度大于或等于第三阈值，则以该骨骼区域的中心为该帧2D影像中骨骼区域的检出中心；

第五获取单元，用于获取检测到的骨骼区域中置信度大于或等于第三阈值的骨骼区域，并以置信度最高的骨骼区域的中心为该帧2D影像中骨骼区域的检出中心。

8.一种检测影像中骨骼区域的设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～4任一权利要求所述方法的步骤。

9.一种计算机可读介质，其特征在于，其存储有可由检测影像中骨骼区域的设备执行的计算机程序，当所述程序在所述检测影像中骨骼区域的设备上运行时，使得所述检测影像中骨骼区域的设备执行权利要求1～4任一所述方法的步骤。

Images