CN111981975B - 物体体积测量方法、装置、测量设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种物体体积测量方法、装置、测量设备及存储介质，本申请实施例可以通过测量设备采集物体的物体图像，并获取所述物体图像的物体热点图和物体部位亲和向量场；根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边；获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置；根据所述目标关键点位置和物体的边计算所述物体的体积，提高了测量的准确性和效率。

Description

物体体积测量方法、装置、测量设备及存储介质

技术领域

本申请涉及视觉测量技术领域，具体涉及一种物体体积测量方法、装置、测量设备及存储介质。

背景技术

随着科技的发展，越来越多物体的体积测量不仅可以通过接触式进行测量，而且还可以通过非接触式进行测量。以箱体的体积测量为例，现有技术中，一般通过人工测量箱体体积，该人工测量箱体体积的方式存在测量效率低和测量准确性低等问题；或者，通过如结构光、激光传感器等硬件设备测量箱体体积，该测量方法中存在着新增额外硬件而测量成本高等问题，而且测量准确性较低。

发明内容

本申请实施例提供一种物体体积测量方法、装置、测量设备及存储介质，可以提高物体体积测量的准确性和效率。

第一方面，本申请实施例提供了一种物体体积测量方法，包括：

通过测量设备采集物体的物体图像，并获取所述物体图像的物体热点图和物体部位亲和向量场；

根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边；

获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置；

根据所述目标关键点位置和物体的边计算所述物体的体积。

在一些实施方式中，所述获取所述物体图像的物体热点图和物体部位亲和向量场包括：

通过训练后的卷积神经网络对所述物体图像进行卷积操作，得到特征图；

将所述特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到所述物体图像的物体热点图和物体部位亲和向量场。

在一些实施方式中，所述置信度网络包括第一级置信度网络和第二级置信度网络，所述向量场网络包括第一级向量场网络和第二级向量场网络，所述将所述特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到所述物体图像的物体热点图和物体部位亲和向量场包括：

通过所述第一级置信度网络对所述特征图进行处理，得到候选物体热点图；

通过所述第一级向量场网络对所述特征图进行处理，得到候选物体部位亲和向量场；

将所述候选物体热点图、候选物体部位亲和向量场、以及特征图分别输入所述第二级置信度网络和第二级向量场网络进行处理，得到物体热点图和物体部位亲和向量场。

在一些实施方式中，所述根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边包括：

从所述物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域；

从所述关键点区域中确定出物体的关键点位置；

根据所述物体部位亲和向量场获取每两个关键点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到物体的边。

在一些实施方式中，所述获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置包括：

获取所述关键点位置周围的预设像素区域；

根据所述预设像素区域通过预设的精筛网络，计算预测关键点位置与真实关键点位置之间的偏差；

根据所述物体的关键点位置和所述偏差，对所述物体的关键点位置进行调整，得到目标关键点位置。

在一些实施方式中，所述根据所述目标关键点位置和物体的边计算所述物体的体积包括：

获取所述测量设备采集所述物体图像时的真实运动参数和预测运动参数；

根据所述真实运动参数和预测运动参数，确定所述物体的在所述物体图像中的像素尺寸和实际尺寸之间的比例关系；

根据所述比例关系、目标关键点位置和物体的边，计算所述物体的体积。

在一些实施方式中，所述获取所述测量设备采集所述物体图像时的真实运动参数和预测运动参数包括：

获取所述测量设备采集所述物体图像时的设备位置和时刻；

根据所述设备位置和时刻计算所述测量设备的运动参数，得到预测运动参数；

通过所述测量设备内预设的参数采集器，获取所述测量设备采集所述物体图像过程中产生运动的运动参数，得到真实运动参数。

第二方面，本申请实施例还提供了一种物体体积测量装置，包括：

获取模块，用于通过测量设备采集物体的物体图像，并获取所述物体图像的物体热点图和物体部位亲和向量场；

检测模块，用于根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边；

调整模块，用于获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置；

计算模块，用于根据所述目标关键点位置和物体的边计算所述物体的体积。

在一些实施方式中，所述获取模块包括：

卷积单元，用于通过训练后的卷积神经网络对所述物体图像进行卷积操作，得到特征图；

处理单元，用于将所述特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到所述物体图像的物体热点图和物体部位亲和向量场。

在一些实施方式中，所述置信度网络包括第一级置信度网络和第二级置信度网络，所述向量场网络包括第一级向量场网络和第二级向量场网络，所述处理单元具体用于：

通过所述第一级置信度网络对所述特征图进行处理，得到候选物体热点图；

通过所述第一级向量场网络对所述特征图进行处理，得到候选物体部位亲和向量场；

将所述候选物体热点图、候选物体部位亲和向量场、以及特征图分别输入所述第二级置信度网络和第二级向量场网络进行处理，得到物体热点图和物体部位亲和向量场。

在一些实施方式中，所述检测模块具体用于：

从所述物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域；

从所述关键点区域中确定出物体的关键点位置；

根据所述物体部位亲和向量场获取每两个关键点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到物体的边。

在一些实施方式中，所述调整模块具体用于：

获取所述关键点位置周围的预设像素区域；

根据所述预设像素区域通过预设的精筛网络，计算预测关键点位置与真实关键点位置之间的偏差；

根据所述物体的关键点位置和所述偏差，对所述物体的关键点位置进行调整，得到目标关键点位置。

在一些实施方式中，所述计算模块包括：

获取单元，用于获取所述测量设备采集所述物体图像时的真实运动参数和预测运动参数；

确定单元，用于根据所述真实运动参数和预测运动参数，确定所述物体的在所述物体图像中的像素尺寸和实际尺寸之间的比例关系；

计算单元，用于根据所述比例关系、目标关键点位置和物体的边，计算所述物体的体积。

在一些实施方式中，所述获取单元具体用于：

获取所述测量设备采集所述物体图像时的设备位置和时刻；

根据所述设备位置和时刻计算所述测量设备的运动参数，得到预测运动参数；

通过所述测量设备内预设的参数采集器，获取所述测量设备采集所述物体图像过程中产生运动的运动参数，得到真实运动参数。

第三方面，本申请实施例还提供了一种测量设备，包括存储器和处理器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行本申请实施例提供的任一种物体体积测量方法。

第四方面，本申请实施例还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种物体体积测量方法。

本申请实施例可以通过测量设备采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场；然后根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边；其次，获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置；最后，可以根据目标关键点位置和物体的边计算物体的体积。该方案可以通过准确检测物体图像中物体的关键点位置和物体的边，并对关键点位置进行调整得到位置较优的目标关键点位置，从而可以根据目标关键点位置和物体的边计算物体的体积，实现了准确及快速计算出物体体积，提高了测量的准确性和效率，而且，不需要在测量设备上增加激光传感器等硬件，降低了测量成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的物体体积测量方法的流程示意图；

图2是本申请实施例提供的物体体积测量方法的另一流程示意图；

图3是本申请实施例提供的置信度网络和向量场网络级联的示意图；

图4是本申请实施例提供的箱体热点图点的示意图；

图5是本申请实施例提供的箱体顶点确认的示意图；

图6是本申请实施例提供的箱体体积计算的示意图；

图7是本申请实施例提供的物体体积测量装置的结构示意图；

图8是本申请实施例提供的测量设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请一实施例提供的物体体积测量方法的流程示意图。该物体体积测量方法的执行主体可以是本申请实施例提供的物体体积测量装置，或者集成了该物体体积测量装置的测量设备，其中，该物体体积测量装置可以采用硬件或者软件的方式实现，该测量设备可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等移动测量设备。该物体体积测量方法可以包括：

S101、通过测量设备采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场。

其中，该物体可以是柜子、主机箱、桌子、盒子和箱体等，测量设备可以通过自身预设的摄像头采集物体的物体图像；或者是，可以预先在物体周围设置一个或多个摄像头，测量设备可以向设置好的摄像头发送拍摄指令，并接收摄像头发送的基于拍摄指令采集到的物体图像。该物体图像中可以包括从任意角度拍摄到的物体区域，该物体图像可以包括一张或多张。

该物体热点为物体关键点的物体热点，可以从该物体热点图中获取物体关键点所在位置，例如，该物体热点图中像素值越大的区域，其颜色越深，可以将像素值大于预设像素阈值的像素区域确定为物体关键点区域。该关键点可以根据实际需要进行灵活设置，例如，该关键点可以是物体的顶点或中心点等。

该物体部位亲和向量场为物体边的向量场，从该物体部位亲和向量场中可以获取各个关键点之间的连线，例如，各个关键点之间的连线中若为物体的边，则其对应的积分值较大，此时可以从各个关键点之间的连线中筛选出积分值较大的连线，得到物体的边。

在一些实施方式中，通过测量设备采集物体的物体图像可以包括：通过测量设备采集物体的当前物体图像，以及检测当前物体图像中物体的关键点位置；根据关键点位置生成预设参考模型；若当前物体图像中物体的预设边与预设参考模型重合，则获取测量设备沿着物体方向运动的运动参数；当运动参数满足预设条件时，通过测量设备采集物体的物体图像。

其中，该预设参考模型用于确定箱体图像的基准位置，该预设参考模型可以是Y字型的模型(可以称为Y字型卡槽)，或者是Z字型的模型，或者是口字型的模型等，该预设参考模型可以根据实际需要进行灵活设置。该运动参数可以包括加速度和运动方向等，该预设条件可以根据实际需要进行灵活设置。

为了提高物体体积测量的准确性，保证运动参数采集的可靠性，以方便后续基于运动参数计算物体的体积，测量设备可以预先确定采集物体图像的时机。具体地，首先采集物体的当前物体图像，以及检测当前物体图像中物体的关键点位置，然后根据关键点位置生成预设参考模型，例如，可以当检测到的当前物体图像中物体的关键点位置为预设个数时，根据关键点位置构造物体三维结构；根据物体三维结构生成预设参考模型。

为了提高预设参考模型生成的精准性，测量设备可以判断检测到的当前物体图像中物体的关键点位置是否为预设个数，该预设个数可以根据实际需要进行灵活设置。若检测到的当前物体图像中物体的关键点位置不为预设个数，则重新采集物体的当前物体图像，直至当前物体图像中物体的关键点位置为预设个数。若检测到的当前物体图像中物体的关键点位置为预设个数，则可以根据检测到的物体的关键点位置构造物体三维结构。

为了提高物体三维结构构造的可靠性，测量设备可以利用多视角几何三维重建原理构造体三维结构，即在根据关键点位置构造物体三维结构的过程中，测量设备可以根据关键点位置计算物体的边长和物体位姿；获取测量设备在采集当前物体图像时的设备位姿和设备参数；根据物体的边长、物体位姿、设备位姿和设备参数构造物体三维结构。其中，该物体的边长可以是物体的长宽高尺寸，该物体位姿可以是物体的旋转量和平移量等，该设备位姿可以是测量设备的旋转量和平移量。

在生成预设参考模型后，测量设备可以判断当前物体图像中物体的预设边与预设参考模型是否重合，可以是预设参考模型与当前物体图像中物体的边之间的匹配度大于预设阈值(例如90％)时确定重合。若当前物体图像中物体的预设边与预设参考模型不重合，则输出不重合的相关提示信息，以提示用户调整测量设备的拍摄角度，使得物体的边与预设参考模型重合。

若当前物体图像中物体的预设边与预设参考模型重合，则测量设备可以输出推拉的提示信息，以提示用户开始推拉测量设备而产生运动；或者，测量设备可以向控制器发送控制指令，以便基于控制指令控制该控制器推拉测量设备而产生运动，使得测量设备沿着物体方向运动；等等。然后，可以获取测量设备沿着物体方向运动的运动参数，其中，沿着物体方向运动可以是沿着测量设备采集当前物体图像的水平方向进行推拉运动，或者是，测量设备对准物体方向进行推拉运动，该沿着物体方向运动可以根据实际需要进行灵活设置。该运动参数可以包括加速度和运动方向等。

在得到运动参数后，可以对运动参数进行分析，判断该运动参数是否满足预设条件，该预设条件可以根据实际需要进行灵活设置。例如，可以对加速度数据进行频谱分析和统计分析等，判断测量设备的运动是否符合频率、幅值、速度和/或垂直方向稳定性的要求。例如，可以对运动参数在三轴方向上的运动分量分别进行傅里叶变换，得到三轴方向上的频率和幅值；计算运动参数在三轴方向上的运动分量对应的标准差；当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时，确定运动参数满足预设条件。若运动参数满足预设条件，则测量设备可以在运动的过程中采集物体的物体图像，并记录采集物体图像时的时刻、测量设备的设备位置、以及测量设备内预设的传感器或陀螺仪采集到的运行参数(如加速度)等信息。

若运动参数不满足预设条件，则测量设备可以输出对应的提示信息，以提示调整测量设备的运动，例如，当三轴方向上的频率不满足预设频率阈值时，输出调整测量设备沿着物体方向运动频率的提示信息；以及，当三轴方向上的幅值不满足预设幅度阈值，或三轴方向上的标准差不满足第一预设阈值时，输出测量设备沿着Z轴方向运动不稳定的提示信息；以及，当三轴方向上的标准差不满足第二预设阈值时，输出测量设备沿着物体方向运动幅度小的提示信息；第一预设阈值和第二预设阈值包含于预设阈值。

在一些实施方式中，获取物体图像的物体热点图和物体部位亲和向量场可以包括：通过训练后的卷积神经网络对物体图像进行卷积操作，得到特征图；将特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到物体图像的物体热点图和物体部位亲和向量场。

首先，测量设备可以预先对卷积神经网络和粗筛网络等进行训练，该粗筛网络由级联的置信度网络和向量场网络组成。例如，测量设备可以获取多张物体样本图像，该物体样本图像中可以标注有物体关键点位置和各个关键点之间的连接关系(即物体的边)，该物体关键点位置即为真实位置，该物体的边为真实边。然后，利用卷积神经网络对物体样本图像进行卷积操作，得到特征图，并通过不断调整卷积神经网络的参数，使得特征图可以准确表征该物体，以便得到训练后的卷积神经网络。其次，将特征图通过置信度网络计算物体关键点位置，得到预测位置，以及通过向量场网络计算物体的边，得到预测边。例如，可以通过置信度网络基于特征图生成的热点图，并基于热点图可以计算出物体关键点区域，以及利用非极大值抑制算法从关键点区域中确定出关键点。然后结合向量场网络计算关键点之间连线的积分值，由于关键点之间连线为边所对应的积分值大，即亲和度高，反之，关键点之间连线为对角线所对应的积分值小，即亲和度低，因此可以将计算得到的积分值较大的两个关键点之间连线设置为物体的边。此时，可以将真实位置和预测位置进行收敛，以及将真实边和预设边进行收敛，通过调整置信度网络和向量场网络的参数至合适数值，以降低真实值与预测值之间的误差，便可得到训练后的置信度网络和训练后的向量场网络。

其中，物体样本图像可以是通过摄像头采集不同角度或不同背景等条件下得到的图像，或者从服务器上下载得到。为了提高物体样本图像获取的灵活性和便捷性，以及减少物体样本图像的收集时间，测量设备可以通过生成对抗网络(GAN，GenerativeAdversarial Networks)自动生成物体样本图像。例如，测量设备可以生成随机数组(例如可以随机或按照预设策略生成1*32位的数组)，根据该随机数组通过生成对抗网络的生成器生成特征图，并对该特征图进行上采样，并将生成器的模型进行实例化，将输入的特征图映射到形状为(32，32，3)的图像，从而可以得到图像，然后通过生成对抗网络的判别器对得到的该图像进行判别，以便得到物体样本图像。根据物体样本图像分别对卷积神经网络和粗筛网络进行训练，得到训练后的卷积神经网络和训练后的粗筛网络。

需要说明的是，可以预先对生成对抗网络进行训练，例如可以将真实图像和随机数组输入生成对抗网络，通过生成对抗网络的生成器基于随机数组生成特征图，并对该特征图进行上采样，并将生成器的模型进行实例化，将输入的特征图映射到形状为(32，32，3)的图像，从而可以得到图像，然后通过生成对抗网络的判别器对得到的该图像和真实图像进行判别，以判别该图像是生成图像还是真实图像，通过调整生成对抗网络的参数，直至生成图像接近真实图像，使得判别器无法区分生成图像和真实图像，得到训练后的生成对抗网络。

在一些实施方式中，置信度网络包括第一级置信度网络和第二级置信度网络，向量场网络包括第一级向量场网络和第二级向量场网络，将特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到物体图像的物体热点图和物体部位亲和向量场可以包括：通过第一级置信度网络对特征图进行处理，得到候选物体热点图；通过第一级向量场网络对特征图进行处理，得到候选物体部位亲和向量场；将候选物体热点图、候选物体部位亲和向量场、以及特征图分别输入第二级置信度网络和第二级向量场网络进行处理，得到物体热点图和物体部位亲和向量场。

为了提高物体的关键点位置和物体的边获取的精准性，测量设备可以通过多级级联的置信度网络和向量场网络，获取物体热点图和物体部位亲和向量场。具体地，以两级级联的置信度网络和向量场网络为例，第一级置信度网络和第一级向量场网络，与第二级置信度网络和第二级向量场网络进行级联。首先，通过第一级置信度网络对特征图进行处理，得到候选物体热点图，以及，通过第一级向量场网络对特征图进行处理，得到候选物体部位亲和向量场。

然后，测量设备可以将候选物体热点图、候选物体部位亲和向量场、以及特征图输入第二级置信度网络进行处理，得到物体热点图；以及，将候选物体热点图、候选物体部位亲和向量场、以及特征图输入第二级向量场网络进行处理，得到物体部位亲和向量场，该物体部位亲和向量场用于表征图像中每个点之间的向量趋势。

S102、根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边。

在一些实施方式中，根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边可以包括：从物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域；从关键点区域中确定出物体的关键点位置；根据物体部位亲和向量场获取每两个关键点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到物体的边。

例如，在得到物体热点图后，测量设备可以从物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域，该预设像素阈值和关键点区域的大小等可以根据实际需要进行灵活设置。此时，可以利用非极大值抑制算法(NMS，Non-maximumSuppression)从关键点区域中，筛选出满足条件的一个最优的点，得到物体的关键点位置，例如，当该物体为箱体时，可以得到箱体的七个顶点位置。

以及，在得到物体部位亲和向量场后，测量设备可以根据物体部位亲和向量场计算每两个关键点之间连线的积分值，其中，该积分值用于表示两个关键点之间连线的关联性，两个关键点之间连线的积分值越大，说明这两个点之间连线为物体的边的概率越大，即这两个点的关联性越大；反之，两个关键点之间连线的积分值越小，说明这两个点之间连线为物体的边的概率越小，即这两个点的关联性越小。然后，筛选出积分值大于预设积分阈值的连线，得到物体的边，该预设积分阈值的取值可以根据实际需要进行灵活设置。

由于两个关键点之间连线可以包括物体的边和对角线等，两个关键点连成的对角线的关联性很低，而对于物体的边，其关联性很高，因此通过筛选出积分值大于预设积分阈值的连线，可以将对角线剔除，从而可以得到物体的边。例如，若关键点A和关键点B之间连线的积分值为0.01，则说明连线AB是对角线，若关键点A和关键点C之间连线的积分值为1，则说明连线AC是物体的边。当该物体为箱体时，可以得到箱体的七条边。

S103、获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置。

为了提高物体关键点位置确定的精准性，测量设备可以对物体的关键点位置进行微调，得到准确的目标关键点位置。

在一些实施方式中，获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置可以包括：获取关键点位置周围的预设像素区域；根据预设像素区域通过预设的精筛网络，计算预测关键点位置与真实关键点位置之间的偏差；根据物体的关键点位置和偏差，对物体的关键点位置进行调整，得到目标关键点位置。

由于粗筛网络的结果可能会出现像素偏差，因此可以搭建精筛网络来优化关键点位置的精准度，该精筛网络可以根据实际需要进行灵活设置，例如，该精筛网络可以是多任务级联卷积神经网络(MTCNN，Multi-task Cascaded Convolutional Networks)。例如，在得到物体的关键点位置后，测量设备可以获取关键点位置周围的预设像素区域，该预设像素区域的大小及位置等可以根据实际需要进行灵活设置，例如，该预设像素区域为以关键点位置为中心的50*50的像素区域，或者96*96像素区域等。利用MTCNN网络根据预设像素区域计算关键点位置，得到预测关键点位置，并计算预测关键点位置与真实关键点位置之间的偏差，该偏差可以是欧式距离，通过最小化该欧式距离得到局部最优解，以得到预设像素区域内最优关键点位置。具体地，可以根据物体的关键点位置和偏差，对物体的关键点位置进行调整，得到目标关键点位置。例如，可以通过关键点位置加上或减去该偏差，得到目标关键点位置。

S104、根据目标关键点位置和物体的边计算物体的体积。

在一些实施方式中，根据目标关键点位置和物体的边计算物体的体积可以包括：获取测量设备采集物体图像时的真实运动参数和预测运动参数；根据真实运动参数和预测运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系；根据比例关系、目标关键点位置和物体的边，计算物体的体积。

为了提高物体体积计算的准确性，可以获取物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系，并基于该比例关系确定物体的边在真实世界中的尺寸，以便基于该尺寸计算物体体积。

首先，获取测量设备采集物体图像时的真实运动参数和预测运动参数，该真实运动参数可以是基于参数采集器(例如陀螺仪或传感器等)采集到的测量设备运动的加速度或运动方向等运动参数，该预测运动参数可以是基于采集到的物体图像计算得到的加速度或运动方向等运动参数。

在一些实施方式中，获取测量设备采集物体图像时的真实运动参数和预测运动参数可以包括：获取测量设备采集物体图像时的设备位置和时刻；根据设备位置和时刻计算测量设备的运动参数，得到预测运动参数；通过测量设备内预设的参数采集器，获取测量设备采集物体图像过程中产生运动的运动参数，得到真实运动参数。

由于测量设备在采集物体图像的过程中，可以不断移动于不同位置采集物体图像，因此测量设备可以在采集物体图像的过程中，获取测量设备采集每张物体图像时的设备位置，该设备位置可以是测量设备所处的坐标位置或者是经纬度位置等。例如，测量设备可以通过全球定位系统(GPS，Global Positioning System)获取测量设备的设备位置，或者，通过预设的位置采集器获取测量设备的设备位置；等等。以及，获取测量设备采集物体图像时的时刻，例如，测量设备可以通过自身预设的时钟获取采集物体图像时的时刻，或者，测量设备在采集物体图像时可以向与其连接的时钟发送获取指令，并接收时钟基于获取指令返回的时刻。

然后，可以根据设备位置和时刻计算测量设备的运动参数，得到预测运动参数，该预测运动参数可以包括加速度或运动方向等。例如，由于测量设备在采集物体图像的过程中，测量设备可以移动采集物体图像，因此可以计算测量设备的运动参数。例如，当运动参数为加速度时，若得到测量设备的第一设备位置S1、第二设备位置S2和第三设备位置S3，以及测量设备在第一设备位置S1采集第一物体图像的时刻为t1，测量设备在第二设备位置S2采集第二物体图像的时刻为t2，测量设备在第三设备位置S3采集第二物体图像的时刻为t3，则可以根据第一设备位置S1和第二设备位置S2计算距离L1，根据第二设备位置S2和第三设备位置S3计算距离L2，以及根据时刻t1和时刻t2计算时间差T1，根据时刻t2和时刻t3计算时间差T2，然后根据距离L1和时间差T2计算运动速度V1，根据距离L2和时间差T3计算运动速度V2，此时可以根据时间差T1、时间差T2、运动速度V1和运动速度V2，计算测量设备的加速度。

以及，测量设备可以通过自身预设的参数采集器(例如陀螺仪或传感器等)，获取测量设备采集物体图像过程中产生运动的运动参数，得到真实运动参数，该真实运动参数可以包括加速度或运动方向等。

在得到真实运动参数和预测运动参数后，测量设备可以根据真实运动参数和预测运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系。其中，像素尺寸为物体在图像中的尺寸，实际尺寸为物体在真实世界中的尺寸，例如，比例关系＝像素尺寸/实际尺寸。

此时，测量设备可以根据比例关系、目标关键点位置和物体的边计算物体的体积。例如，可以根据物体在物体图像中的第一边长、第二边长和第三边长，计算各个边长在真实世界中的尺寸：真实第一边长＝比例关系*第一边长，真实第二边长＝比例关系*第二边长，真实第三边长＝比例关系*第三边长，物体的体积＝真实第一边长*真实第二边长*真实第三边长。

本申请实施例可以通过测量设备采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场；然后根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边；其次，获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置；最后，可以根据目标关键点位置和物体的边计算物体的体积。该方案可以通过准确检测物体图像中物体的关键点位置和物体的边，并对关键点位置进行调整得到位置较优的目标关键点位置，从而可以根据目标关键点位置和物体的边计算物体的体积，实现了准确及快速计算出物体体积，提高了测量的准确性和效率，而且，不需要在测量设备上增加激光传感器等硬件，降低了测量成本。

根据上述实施例所描述的物体体积测量方法，以下将作进一步详细说明。

请参照图2，图2为本申请实施例提供的物体体积测量方法的另一流程示意图。该物体体积测量方法可以应用于测量设备，以下将以测量设备对规则的箱体体积进行测量为例，如图2所示，该物体体积测量方法的流程可以如下：

S201、测量设备采集箱体的箱体图像。

测量设备可以通过自身的摄像头采集箱体的图像，得到多张候选箱体图像；或者是，可以预先在箱体周围设置一个或多个摄像头，测量设备可以向设置好的摄像头发送拍摄指令，并接收摄像头发送的基于拍摄指令采集到的多张候选箱体图像。其中，该箱体可以是规则的正方体或长方体等，箱体的拍摄角度可以根据实际需要进行灵活设置，可选地，可以调整拍摄角度，使得当前箱体图像中箱体三面可见。

为了方便后续准确获取测量设备采集箱体图像过程中产生的真实加速度，在测量设备采集箱体图像过程中，测量设备可以沿着箱体方向前后运动。具体地，为了提高箱体体积测量的准确性，保证加速度采集的可靠性，以方便后续基于加速度计算箱体的体积，测量设备可以预先确定采集箱体图像的时机。首先采集箱体的当前箱体图像，以及检测当前箱体图像中箱体的顶点位置，然后根据顶点位置生成预设参考模型，例如，可以当检测到的当前箱体图像中箱体的顶点位置为7个数时，根据顶点位置构造箱体三维结构；根据箱体三维结构生成预设参考模型。

其中，以预设参考模型为Y字型卡槽为例，为了提高Y字型卡槽生成的精准性，保证采集到的当前箱体图像中包含的箱体为三面可见，此时测量设备可以判断检测到的当前箱体图像中箱体的顶点位置是否为7个，当检测到的当前箱体图像中箱体的顶点位置为7个时，说明当前箱体图像中箱体三面可见。若检测到的当前箱体图像中箱体的顶点位置不为7个数，则重新采集箱体的当前箱体图像，直至当前箱体图像中箱体的顶点位置为7个数。若检测到的当前箱体图像中箱体的顶点位置为7个数，则可以根据检测到的箱体的顶点位置构造箱体三维结构。

为了提高箱体三维结构构造的可靠性，测量设备可以利用多视角几何三维重建原理构造体三维结构，即在根据顶点位置构造箱体三维结构的过程中，测量设备可以根据顶点位置计算箱体的边长和箱体位姿；获取测量设备在采集当前箱体图像时的设备位姿和设备参数；根据箱体的边长、箱体位姿、设备位姿和设备参数构造箱体三维结构。

例如，可以根据顶点位置计算箱体的边长和箱体位姿，例如，该箱体的边长可以是箱体的长宽高尺寸S，该箱体位姿可以是箱体的旋转量Rb和平移量Tb等；以及，获取测量设备在采集当前箱体图像时的设备位姿和设备参数，例如，该设备位姿可以是测量设备的旋转量Rc和平移量Tc，该设备参数可以是用于采集当前箱体图像的相机内参，例如焦距K等参数或者摄像头内参等参数。然后，测量设备可以基于相机成像模型及箱体的结构约束，根据箱体的边长、箱体位姿、设备位姿和设备参数构造箱体三维结构。

在得到箱体三维结构后，测量设备可以根据箱体三维结构生成Y字型卡槽：根据箱体三维结构，构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边，得到基准参考模型；获取测量设备显示屏幕的显示边长，根据显示边长确定基准参考模型外接四边形区域的边长；基于外接四边形区域的边长，对基准参考模型进行缩放处理，得到Y字型卡槽。

例如，以Y字型卡槽为Y字型卡槽为例，首先，根据箱体三维结构，构造边长之间比例相等且相邻两边之间的角度构成预设角度值(例如120度)的三边，得到基准Y字型卡槽。然后，获取测量设备显示屏幕的显示边长，根据显示边长确定基准Y字型卡槽外接四边形区域的边长，例如，根据显示边长确定基准Y字型卡槽外接矩形区域的最大边长。最后，基于外接四边形区域的边长，对基准参考模型进行缩小或放大处理，使得Y字型卡槽可以按照预设比例显示在测量设备显示屏幕内，从而可以得到Y字型卡槽，该Y字型卡槽即为较佳的Y字型卡槽。

此时，可以将Y字型卡槽显示在测量设备显示屏幕内，以提示用户调整拍摄角度和位置等，以将箱体的三条边与Y字型卡槽足够重合。实现了按照箱体的三边边长等比和三边在图像中互成120度的原则，根据箱体三维结构生成一个Y字型卡槽，并将Y字型卡槽显示在测量设备显示屏幕内。其中，三边边长等比为箱体箱体在图像上所展现的像素长度之比，与计算出来的箱体三维结构的三边之比是一致的。

在生成Y字型卡槽后，测量设备可以判断当前箱体图像中箱体的预设边与Y字型卡槽是否重合，例如，测量设备可以在显示屏幕内显示采集到的当前箱体图像，以及显示生成的Y字型卡槽，然后，判断Y字型卡槽是否与当前箱体图像中箱体的边重合，可以是Y字型卡槽与当前箱体图像中箱体的边之间的匹配度大于预设阈值(例如90％)时确定重合。

若当前箱体图像中箱体的预设边与Y字型卡槽不重合，则输出不重合的相关提示信息，以提示用户调整测量设备的拍摄角度，使得箱体的边与Y字型卡槽重合，例如，为箱体为例，可以实时检测跟踪箱体的顶点，并判断箱体的边是否与生成的Y字型卡槽足够重合，直至箱体的三条边与Y字型卡槽重合。

若当前箱体图像中箱体的预设边与Y字型卡槽重合，则可以获取测量设备沿着箱体方向运动的加速度，其中，沿着箱体方向运动可以是沿着测量设备采集当前箱体图像的水平方向进行推拉运动，或者是，测量设备对准箱体方向进行推拉运动，该沿着箱体方向运动可以根据实际需要进行灵活设置。

获取测量设备沿着箱体方向运动的加速度可以包括：将Y字型卡槽显示在测量设备的显示屏幕内；基于显示的Y字型卡槽，调整测量设备的拍摄角度，直至测量设备捕获到箱体图像中箱体的边长与Y字型卡槽重合时，获取沿着箱体方向运动的加速度。

为了方便调整测量设备的拍摄角度，测量设备可以在显示屏幕内显示采集到的当前箱体图像，以及将Y字型卡槽显示在测量设备的显示屏幕内，并基于显示的Y字型卡槽输出提示信息，以提示用户调整测量设备的拍摄角度，或者，向控制器发送调整指令，以便基于调整指令控制该控制器调整测量设备的拍摄角度，例如调整测量设备中摄像头的拍摄角度或测量设备的拍摄位置。

若当前箱体图像中箱体的预设边与Y字型卡槽重合，则将当前箱体图像设置为基准箱体图像(例如作为采集到的第一帧图像)，以便后续计算箱体的体积，此时，测量设备可以输出推拉的提示信息，以提示用户开始推拉测量设备而产生运动；或者，测量设备可以向控制器发送控制指令，以便基于控制指令控制该控制器推拉测量设备而产生运动，使得测量设备沿着箱体方向运动等。

需要说明的是，在测量设备的运动的过程中，可以控制测量设备的摄像头与箱体之间的距离，并保证测量设备平稳及匀速移动，使得箱体可以完全被覆盖且尽可能地充满测量设备的拍摄预览界面的取景框。拍摄开始后，测量设备可以对着箱体的方向先向后再往前移动，如此重复进行二或三次推拉运动，以便获取测量设备运动的加速度。

此时，可以获取测量设备沿着箱体方向运动的加速度，例如，可以获取垂直于测量设备显示屏幕的轴上的加速度。若加速度大于预设阈值，则判定测量设备开始做推拉运动；若加速度大于预设阈值，则提示用户推拉测量设备产生运动，或者控制与测量设备连接的控制器推拉测量设备而产生运动。需要说明的是，当测量设备产生运动后，可以获取预设时间段内测量设备的加速度，例如，4秒或6秒内测量设备的加速度。

在得到加速度后，可以对加速度进行分析，判断该加速度是否满足预设条件，该预设条件可以根据实际需要进行灵活设置。例如，可以对加速度数据进行频谱分析和统计分析等，判断测量设备的运动是否符合频率、幅值、速度和/或垂直方向稳定性的要求。

例如，可以对加速度在三轴方向上的运动分量分别进行傅里叶变换，得到三轴方向上的频率和幅值；计算加速度在三轴方向上的运动分量对应的标准差；当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时，确定加速度满足预设条件。若加速度满足预设条件，则测量设备在运动过程中可以采集箱体的图像，得到多张候选箱体图像，并记录采集每张候选箱体图像时的时刻、测量设备的设备位置、以及测量设备内预设的传感器或陀螺仪采集到的加速度等信息。

若加速度不满足预设条件，则测量设备可以输出对应的提示信息，以提示用户调整测量设备的运动，帮助用户快速改进并掌握测量设备的推拉运动，该提示信息可以通过语音播报或文字显示于显示屏幕内；或者，控制控制与测量设备连接的控制器调整测量设备的运动，使测量设备产生的加速度满足预设条件。例如，当三轴方向上的频率不满足预设频率阈值时，输出调整测量设备沿着箱体方向运动频率的提示信息；以及，当三轴方向上的幅值不满足预设幅度阈值，或三轴方向上的标准差不满足第一预设阈值时，输出测量设备沿着Z轴方向运动不稳定的提示信息；以及，当三轴方向上的标准差不满足第二预设阈值时，输出测量设备沿着箱体方向运动幅度小的提示信息；第一预设阈值和第二预设阈值包含于预设阈值。

例如，可以对加速度在XYZ三轴方向上的加速度分量分别进行快速傅里叶变换(FFT，Fast Fourier Transformation)，得到三轴上的频率及对应的幅值，并从中筛选出最大的频率Fx、Fy、Fz及其对应的幅值Px、Py、Pz。以及，计算加速度在三轴方向上的加速度分量对应的标准差，得到Dx、Dy和Dz。

若满足Ft1<Fz<Ft2(例如Ft1＝0.5，Ft2＝2)，则说明三轴方向上最大的频率满足预设频率阈值(即该预设频率阈值为Ft1至Ft2)；若Pz/Py>Tp，Pz/Px>Tp(例如Tp＝2)，则说明三轴方向上最大的幅值满足预设幅度阈值(即该预设幅度阈值为Tp)；若Dz/Dy>Td，Dz/Dx>Td(例如Td＝5)，以及Dz>Dt(例如Dt＝0.03)，则说明三轴方向上的标准差满足预设阈值(即该预设阈值为Td和Dt)。

若不满足Ft1<Fz<Ft2(例如Ft1＝0.5，Ft2＝2)，则说明三轴方向上最大的频率不满足预设频率阈值，此时输出调整测量设备沿着箱体方向运动频率的提示信息，以提示用户调整推拉频率。该该提示信息可以通过语音播报或文字显示于显示屏幕内。

若不满足Pz/Py>Tp，Pz/Px>Tp(例如Tp＝2)，则说明三轴方向上最大的幅值不满足预设幅度阈值，此时输出测量设备沿着Z轴方向运动不稳定的提示信息，以提示用户推拉Z轴不稳定。

若不满足Dz/Dy>Td，Dz/Dx>Td(例如Td＝5)，则说明三轴方向上的标准差不满足第一预设阈值，此时输出测量设备沿着Z轴方向运动不稳定的提示信息，以提示用户推拉Z轴不稳定；若不满足Dz>Dt(例如Dt＝0.03)，则说明三轴方向上的标准差不满足第二预设阈值，此时输出测量设备沿着箱体方向运动幅度小的提示信息，以提示用户推拉运动幅度不够等，使得用户可以根据提示信息有效即快速地调整测量设备的运动。

此时，测量设备可以从多张候选箱体图像中筛选出清晰度较高的箱体图像，得到多张箱体图像。

为了提高对箱体体积进行计算的准确性，可以预先对采集到的多张候选箱体图像进行筛选，以筛选出清晰度较高的箱体图像进行处理。首先，将多张箱体图像从RGB图像转换为灰度图像，得到多张灰度图像。然后对每张灰度图像进行拉普拉斯变换，例如，可以将每张灰度图像与3*3拉普拉斯核进行卷积操作，得到多张响应图像。然后，可以计算每张响应图像的方差，并判断每张响应图像的方差是否大于或等于预设阈值，若响应图像的方差大于或等于预设阈值，则该响应图像所对应的箱体图像较清晰，即为筛选出的箱体图像，若响应图像的方差小于预设阈值，则该响应图像所对应的箱体图像较模糊，即需要剔除该箱体图像。其中，预设阈值可以根据实际需要进行灵活设置。

S202、测量设备通过卷积神经网络对箱体图像进行卷积操作，得到特征图。

首先，测量设备可以预先对卷积神经网络和粗筛网络等进行训练，例如，测量设备可以获取多张箱体样本图像，然后，利用卷积神经网络对箱体样本图像进行卷积操作，得到特征图，并通过不断调整卷积神经网络的参数，使得特征图可以准确表征该箱体，以便得到训练后的卷积神经网络。

其中，箱体样本图像可以是通过摄像头采集不同角度或不同背景等条件下得到的图像，或者从服务器上下载得到。为了提高箱体样本图像获取的灵活性和便捷性，提高箱体样本图像的多样性，以及减少箱体样本图像的收集时间，测量设备可以通过GAN网络生成箱体样本图像。

例如，测量设备可以预先对生成对抗网络进行训练，例如可以将真实图像和随机数组输入生成对抗网络，通过生成对抗网络的生成器基于随机数组生成特征图，并对该特征图进行上采样得到图像，然后通过生成对抗网络的判别器对得到的该图像和真实图像进行判别，以判别该图像是生成图像还是真实图像，通过调整生成对抗网络的参数，直至生成图像接近真实图像，使得判别器无法区分生成图像和真实图像，得到训练后的生成对抗网络

然后测量设备可以生成随机数组(例如可以随机或按照预设策略生成1*32位随机数的数组)，根据该随机数组通过训练后的生成对抗网络的生成器生成特征图，并对该特征图进行上采样得到图像，然后通过训练后的生成对抗网络的判别器对得到的该图像进行判别，以便得到箱体样本图像。

需要说明的是，在实际场景中，各个网络检测结果的准确性与箱体图像的光线亮度、箱体纹理、背景复杂度等有关，因此对于各个网络训练所使用的箱体样本图像是网络检测结果准确率的重要影响因素。而由于获取不同情况下箱体样本图像很耗时，为了提高效率，可以通过替换图像背景和使用GAN网络生成图像来补充训练时的箱体样本图像。该GAN网络包含生成器(G)和判别器(D)等两个网络，优化目标函数可以如下：

D和G进行交互迭代，在训练的过程中可以先固定G的参数，优化D的参数，一段时间后，固定D的参数再优化G的参数，直到过程收敛。目的是试图让判别器无法区分生成图像与真实图像，在这个过程中，由GAN网络生成的图像分布与真实图像分布更加接近，这样的迭代不断进行，直到最终收敛，生成分布和真实分布重合。实现了通过输入随机数据生成所需的箱体样本图像，减少了箱体样本图像的收集时间。

在得到训练后的卷积神经网络后，测量设备可以通过训练后的卷积神经网络对箱体图像进行卷积操作，得到特征图，例如，该训练后的卷积神经网络可以包括包括5层卷积层、3层全连接层和输出层softmax等，层与层之间使用池化层max-pooling分开，所有隐层激活单位都采用激活函数ReLU等。

具体地，可以将224*224*3的箱体图像输入训练后的卷积神经网络，经过64个3*3的卷积核作两次卷积操作和激活函数ReLU的激活操作，卷积后的图像尺寸变为224*224*64；然后，通过2*2的池化层max-pooling进行池化，池化后图像尺寸变为112*112*64；其次，经过128个3*3的卷积核作两次卷积+ReLU，此时图像尺寸变为112*112*128；再作2*2的max-pooling池化，池化后的图像尺寸变为56*56*128；再次经过256个3*3的卷积核作四次卷积+ReLU，图像尺寸变为56*56*256；此时作2*2的max-pooling池化，池化后的图像尺寸变为28*28*256；最后经过512个3*3的卷积核作四次卷积+ReLU，图像尺寸变为28*28*512，最终输出特征图。

S203、测量设备通过多级级联的置信度网络对特征图进行处理，得到箱体热点图。

S204、测量设备通过多级级联的向量场网络对特征图进行处理，得到箱体部位亲和向量场。

首先，测量设备可以预先对置信度网络和向量场网络等进行训练，例如，测量设备可以获取多张箱体样本图像，该箱体样本图像中可以标注有箱体顶点位置和各个顶点之间的连接关系(即箱体的边)，该箱体顶点位置即为真实位置，该箱体的边为真实边。然后，将特征图通过置信度网络计算箱体顶点位置，得到预测位置，以及通过向量场网络计算箱体的边，得到预测边。此时，可以将真实位置和预测位置进行收敛，以及将真实边和预设边进行收敛，通过调整置信度网络和向量场网络的参数至合适数值，以降低真实值与预测值之间的误差，便可得到训练后的置信度网络和训练后的向量场网络。

为了提高箱体的顶点位置和箱体的边获取的精准性，测量设备可以通过多级级联的置信度网络和向量场网络，获取箱体热点图和箱体部位亲和向量场。具体地，以两级级联的置信度网络和向量场网络为例，第一级置信度网络和第一级向量场网络，与第二级置信度网络和第二级向量场网络进行级联。首先，通过第一级置信度网络对特征图进行处理，得到候选箱体热点图，以及，通过第一级向量场网络对特征图进行处理，得到候选箱体部位亲和向量场。

然后，测量设备可以将候选箱体热点图、候选箱体部位亲和向量场、以及特征图输入第二级置信度网络进行处理，得到箱体热点图；以及，将候选箱体热点图、候选箱体部位亲和向量场、以及特征图输入第二级向量场网络进行处理，得到箱体部位亲和向量场，该箱体部位亲和向量场用于表征图像中每个点之间的向量趋势。

例如，如图3所示，图3为两级级联的置信度网络和向量场网络的结构示意图，其中，Branch 1是级联网络中的置信度网络，Branch 2是级联网络中的向量场网络，C为卷积神经网络的卷积操作，F为卷积神经网络输出的特征图，该特征图F分别输入第一级置信度网络和第一级向量场网络进行处理，输出候选箱体热点图S1以及候选箱体部位亲和向量场L1等。然后，将特征图F、候选箱体热点图S1以及候选箱体部位亲和向量场L1分别输入第二级置信度网络和第二级向量场网络进行处理，最终输出箱体热点图S以及箱体部位亲和向量场L。训练时置信度网络和向量场网络的损失函数可以是网络输出值与人工标注的真实值之间的平均平方和，即通过减小两个分支网络(置信度网络和向量场网络)的真实值(即标注值)和预测值的平均平方和，实现损失函数最小来得到最优解。

其中，对于向量场网络，在训练时，可以根据如下公式(即损失函数)进行训练：

x_j1，x_j2为箱体的顶点区域，如果点p在落在箱体边缘的范围内时，关联性强则有向量值，反之如果点p在落在背景(即非箱体的边)上，则没有向量值，最终向量场网络输出是每个点的向量大小和方向。在训练时，输入特征图到向量场网络中，沿着顶点候选区域的连接线段，通过计算向量场的线性积分来测量候选点之间的关系。例如，如图4所示，对于箱体顶点对角线的连接，因为关联性很小，积分出的结果会很小(如积分值为0.01)，而箱体的边的两个顶点连接，积分结果会较大(如积分值为1)。

对于置信度网络，在训练时，可以使用如下损失函数进行训练：

其中，p是箱体图像上的点，x是人工标注的箱体的七个顶点，通过计算其高斯距离，可得到热点图，基于箱体图像中箱体七个顶点所在区域，计算出顶点的距离小，且在热点图中颜色明显，如图5所示，箱体图像中箱体上顶点为例，顶点区域与其他背景热点图区别明显，在训练时，输入特征图到置信度网络中，会输出热点图，得到箱体七个顶点的区域。

S205、测量设备从箱体热点图中筛选出像素值大于预设像素阈值的像素区域，得到箱体的顶点区域。

该预设像素阈值和顶点区域的大小等可以根据实际需要进行灵活设置。

S206、测量设备从顶点区域中确定出箱体的顶点位置。

例如，可以利用NMS算法从顶点区域中，筛选出满足条件的一个最优的点，得到箱体的顶点位置，例如，可以得到箱体的七个顶点位置：(x_i，y_i)，i＝1，2，3，4，5，6，7。

S207、测量设备根据箱体部位亲和向量场获取每两个顶点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到箱体的边。

在得到箱体部位亲和向量场后，测量设备可以根据箱体部位亲和向量场计算每两个顶点之间连线的积分值，其中，该积分值用于表示两个顶点之间连线的关联性，两个顶点之间连线的积分值越大，说明这两个点之间连线为箱体的边的概率越大，即这两个点的关联性越大；反之，两个顶点之间连线的积分值越小，说明这两个点之间连线为箱体的边的概率越小，即这两个点的关联性越小。然后，筛选出积分值大于预设积分阈值的连线，得到箱体的边，该预设积分阈值的取值可以根据实际需要进行灵活设置。

由于两个顶点之间连线可以包括箱体的边和对角线等，两个顶点连成的对角线的关联性很低，而对于箱体的边，其关联性很高，因此通过筛选出积分值大于预设积分阈值的连线，可以将对角线剔除，从而可以得到箱体的边。例如，若顶点A和顶点B之间连线的积分值为0.01，则说明连线AB是对角线，若顶点A和顶点C之间连线的积分值为1，则说明连线AC是箱体的边。例如，可以得到箱体的七条边。

在一些实施方式中，筛选出积分值大于预设积分阈值的连线，得到箱体的边可以包括：筛选出积分值大于预设积分阈值的连线，得到箱体的顶点之间的连接关系，根据连接关系确定箱体的边。

例如，测量设备可以从采集到的多张箱体图像中选择第一帧箱体图像作为参考帧图像，并将其他帧箱体图像与参考帧图像组成图像组。例如，可以将第一帧箱体图像作为参考帧图像，该第一帧箱体图像可以是加速度满足预设条件时，采集到的第一帧箱体图像，此时可以将第一帧箱体图像与第二帧箱体图像组成图像组A，将第一帧箱体图像与第三帧箱体图像组成图像组B，将第一帧箱体图像与第四帧箱体图像组成图像组C，将第一帧箱体图像与第五帧箱体图像组成图像组D，将第一帧箱体图像与第六帧箱体图像组成图像组E；等等。

然后，根据图像组内每张箱体图像中箱体顶点的二维坐标位置，以及图像组中每张箱体图像被拍摄时的设备位置，确定箱体顶点的三维坐标位置。例如，测量设备可以基于多视角几何三维重建原理，根据箱体顶点的二维坐标位置计算箱体的边长和箱体位姿，例如，该箱体的边长可以是箱体的长宽高尺寸S，该箱体位姿可以是箱体的旋转量Rb和平移量Tb等；以及，获取测量设备在采集箱体图像时的设备位置，该设备位置可以包括设备位姿，例如该设备位姿可以是测量设备的旋转量和平移量。以及获取测量设备在采集箱体图像时的设备参数，该设备参数可以是用于采集箱体图像的摄像头或相机参数，例如焦距K(包括X轴方向上的焦距fx和Y轴方向上fy)、中心点(cx，cy)等参数。测量设备可以基于成像模型及箱体的结构约束，根据箱体的边长、箱体位姿、设备位姿和设备参数构造箱体三维结构，最后根据箱体三维结构确定箱体顶点的三维坐标位置。

测量设备可以根据比例关系、箱体顶点的三维坐标位置和各个顶点之间的连接关系计算箱体的边长。例如，若箱体顶点A与箱体顶点B连接得到边AB，则根据箱体顶点A的三维坐标位置(x1，y1，z1)和箱体顶点B的三维坐标位置(x2，y2，z2)可以计算得到边AB在箱体图像中的虚拟边长R，然后根据虚拟边长R和比例关系可以计算得到箱体的边长，即箱体在真实世界中的边长。

S208、测量设备获取顶点位置周围的预设像素区域，根据预设像素区域对箱体的顶点位置进行调整，得到目标顶点位置。

为了提高箱体顶点位置确定的精准性，测量设备可以对箱体的顶点位置进行微调，得到准确的目标顶点位置。例如，测量设备可以获取顶点位置周围的预设像素区域；根据预设像素区域通过预设的精筛网络，计算预测顶点位置与真实顶点位置之间的偏差；根据箱体的顶点位置和偏差，对箱体的顶点位置进行调整，得到目标顶点位置。

由于粗筛网络的结果可能会出现像素偏差，因此可以搭建精筛网络来优化顶点位置的精准度，该精筛网络可以根据实际需要进行灵活设置，例如，该精筛网络可以是MTCNN网络。例如，在得到箱体的顶点位置后，测量设备可以获取顶点位置周围的预设像素区域，该预设像素区域的大小及位置等可以根据实际需要进行灵活设置，例如，该预设像素区域为以顶点位置为中心的50*50的像素区域，或者96*96像素区域等。利用MTCNN网络根据预设像素区域计算顶点位置，得到预测顶点位置，并计算预测顶点位置与真实顶点位置之间的偏差，该偏差可以是欧式距离，通过最小化该欧式距离得到局部最优解，以得到预设像素区域内最优顶点位置。例如，可以得到箱体的七个顶点周围的96*96像素区域，分别将各个像素区域放入MTCNN网络，理论上真实值应该落在这个区域的中心左右位置，MTCNN网络输出是预测的关键点位置与标注的真实值的偏差。具体地，可以根据箱体的顶点位置和偏差，对箱体的顶点位置进行调整，得到目标顶点位置。例如，可以通过顶点位置加上或减去该偏差，得到目标顶点位置。

需要说明的是，为了提高计算效率，可以是每个精筛网络训练一个顶点，然后箱体的7个顶点对应的精筛网络并联，并与粗筛网络级联，完成箱体目标顶点位置的检测。

S209、测量设备获取采集箱体图像时的真实加速度和预测加速度。

例如，测量设备可以通过自身预设的加速计、传感器或陀螺仪等，采集测量设备的加速度，得到真实加速度。由于不同型号的陀螺仪或加速计的特性可能不同，为了提高计算的精准性，测量设备可以对采集到的加速度通过低通滤波器去除冗余或错误数据，得到准确的真实加速度。

由于测量设备在采集箱体图像的过程中，可以不断移动于不同位置采集箱体图像，因此测量设备可以在采集箱体图像的过程中，获取测量设备采集每张箱体图像时的设备位置，以及，获取测量设备采集箱体图像时的时刻，例如，测量设备可以通过自身预设的时钟获取采集箱体图像时的时刻，或者，测量设备在采集箱体图像时可以向与其连接的时钟发送获取指令，并接收时钟基于获取指令返回的时刻。然后，可以根据设备位置和时刻计算测量设备的加速度，得到预测加速度。

例如，若得到测量设备的第一设备位置S1、第二设备位置S2和第三设备位置S3，以及测量设备在第一设备位置S1采集第一箱体图像的时刻为t1，测量设备在第二设备位置S2采集第二箱体图像的时刻为t2，测量设备在第三设备位置S3采集第二箱体图像的时刻为t3，则可以根据第一设备位置S1和第二设备位置S2计算距离L1，根据第二设备位置S2和第三设备位置S3计算距离L2，以及根据时刻t1和时刻t2计算时间差T1，根据时刻t2和时刻t3计算时间差T2，然后根据距离L1和时间差T2计算运动速度V1，根据距离L2和时间差T3计算运动速度V2，此时可以根据时间差T1、时间差T2、运动速度V1和运动速度V2，计算测量设备的加速度，得到预测加速度。

S210、测量设备根据真实加速度和预测加速度，确定箱体的在箱体图像中的像素尺寸和实际尺寸之间的比例关系。

在得到真实加速度和预测加速度后，测量设备可以根据计算得到的预测加速度与真实加速度，确定箱体的在箱体图像中的像素尺寸和实际尺寸之间的比例关系，其中，像素尺寸为箱体在图像中的尺寸，实际尺寸为箱体在真实世界中的尺寸，例如，比例关系＝像素尺寸/实际尺寸。

S211、测量设备根据比例关系、目标顶点位置和箱体的边，计算箱体的体积。

例如，如图6所示，可以根据箱体在箱体图像中的第一边长(例如长)、第二边长(例如宽)和第三边长(例如高)，计算各个边长在真实世界中的尺寸：真实第一边长＝比例关系*第一边长，真实第二边长＝比例关系*第二边长，真实第三边长＝比例关系*第三边长，箱体的体积＝真实第一边长*真实第二边长*真实第三边长。

需要说明的是，本实施例的箱体体积测量方法可以应用于物流行业，在物流行业，箱体体积的测量是至关重要的，关系到快递人员测量体积的效率和准确性，以便统一化标准，避免人为增改数据造成不必要的损失，也有利于后续大数据分析不同尺寸箱体利用率。解决了箱体需要快递人员需要手动测量，时间耗费过多等问题，避免了手动测量时有时需翻动箱子，可能会造成货物被破坏。

本申请实施例可以测量设备可以采集箱体的箱体图像，并获取箱体图像的箱体热点图和箱体部位亲和向量场；然后根据箱体热点图和箱体部位亲和向量场，检测箱体图像中箱体的顶点位置和箱体的边；其次，获取顶点位置周围的预设像素区域，根据预设像素区域对箱体的顶点位置进行调整，得到目标顶点位置；最后，可以根据目标顶点位置和箱体的边计算箱体的体积。该方案可以通过准确检测箱体图像中箱体的顶点位置和箱体的边，并对顶点位置进行调整得到位置较优的目标顶点位置，从而可以根据目标顶点位置和箱体的边计算箱体的体积，实现了准确及快速计算出箱体体积，提高了测量的准确性和效率。

为便于更好的实施本申请实施例提供的物体体积测量方法，本申请实施例还提供一种基于上述物体体积测量方法的装置。其中名词的含义与上述物体体积测量方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图7，图7为本申请实施例提供的物体体积测量装置的结构示意图，其中该物体体积测量装置300可以包括获取模块301、检测模块302、调整模块303及计算模块304等。

其中，获取模块301，用于通过测量设备采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场。

检测模块302，用于根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边。

调整模块303，用于获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置。

计算模块304，用于根据目标关键点位置和物体的边计算物体的体积。

在一些实施方式中，获取模块301可以包括：

卷积单元，用于通过训练后的卷积神经网络对物体图像进行卷积操作，得到特征图；

处理单元，用于将特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到物体图像的物体热点图和物体部位亲和向量场。

在一些实施方式中，置信度网络包括第一级置信度网络和第二级置信度网络，向量场网络包括第一级向量场网络和第二级向量场网络，处理单元具体用于：通过第一级置信度网络对特征图进行处理，得到候选物体热点图；通过第一级向量场网络对特征图进行处理，得到候选物体部位亲和向量场；将候选物体热点图、候选物体部位亲和向量场、以及特征图分别输入第二级置信度网络和第二级向量场网络进行处理，得到物体热点图和物体部位亲和向量场。

在一些实施方式中，检测模块302具体用于：从物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域；从关键点区域中确定出物体的关键点位置；根据物体部位亲和向量场获取每两个关键点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到物体的边。

在一些实施方式中，调整模块303具体用于：获取关键点位置周围的预设像素区域；根据预设像素区域通过预设的精筛网络，计算预测关键点位置与真实关键点位置之间的偏差；根据物体的关键点位置和偏差，对物体的关键点位置进行调整，得到目标关键点位置。

在一些实施方式中，计算模块304可以包括：

获取单元，用于获取测量设备采集物体图像时的真实运动参数和预测运动参数；

确定单元，用于根据真实运动参数和预测运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系；

计算单元，用于根据比例关系、目标关键点位置和物体的边，计算物体的体积。

在一些实施方式中，获取单元具体用于：获取测量设备采集物体图像时的设备位置和时刻；根据设备位置和时刻计算测量设备的运动参数，得到预测运动参数；通过测量设备内预设的参数采集器，获取测量设备采集物体图像过程中产生运动的运动参数，得到真实运动参数。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

本申请实施例可以由获取模块301采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场；然后由检测模块302根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边；其次，调整模块303获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置；最后，计算模块304可以根据目标关键点位置和物体的边计算物体的体积。该方案可以通过准确检测物体图像中物体的关键点位置和物体的边，并对关键点位置进行调整得到位置较优的目标关键点位置，从而可以根据目标关键点位置和物体的边计算物体的体积，实现了准确及快速计算出物体体积，提高了测量的准确性和效率，而且，不需要在测量设备上增加激光传感器等硬件，降低了测量成本。

相应的，本申请实施例还提供一种测量设备，如图8所示，图8示出了本申请实施例提供的测量设备的具体结构框图，该测量设备可以用于实施上述实施例中提供的物体体积测量方法。该测量设备可以为智能手机或平板电脑等。

该测量设备可以包括射频(RF，Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi，Wireless Fidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解，图8中示出的测量设备结构并不构成对测量设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路401可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器408处理；另外，将涉及上行的数据发送给基站。通常，RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

存储器402可用于存储软件程序(也可以称为程序代码)以及模块，处理器408通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据测量设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器408和输入单元403对存储器402的访问。

输入单元403可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器408，并能接收处理器408发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元404可用于显示由用户输入的信息或提供给用户的信息以及测量设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器408以确定触摸事件的类型，随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

测量设备还可包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在测量设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别测量设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于测量设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路406、扬声器，传声器可提供用户与测量设备之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路406接收后转换为音频数据，再将音频数据输出处理器408处理后，经RF电路401以发送给比如另一测量设备，或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔，以提供外设耳机与测量设备的通信。

WiFi属于短距离无线传输技术，测量设备通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块407，但是可以理解的是，其并不属于测量设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器408是测量设备的控制中心，利用各种接口和线路连接整个测量设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行测量设备的各种功能和处理数据，从而对测量设备进行整体监控。可选的，处理器408可包括一个或多个处理核心；优选的，处理器408可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器408中。

测量设备还包括给各个部件供电的电源409(比如电池)，优选的，电源可以通过电源管理系统与处理器408逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，测量设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，测量设备中的处理器408会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器408来运行存储在存储器402中的应用程序(也可以称为程序代码)，从而实现各种功能：

通过测量设备采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场；根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边；获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置；根据目标关键点位置和物体的边计算物体的体积。

在一些实施方式中，在获取物体图像的物体热点图和物体部位亲和向量场是，处理器408还执行：通过训练后的卷积神经网络对物体图像进行卷积操作，得到特征图；将特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到物体图像的物体热点图和物体部位亲和向量场。

在一些实施方式中，置信度网络包括第一级置信度网络和第二级置信度网络，向量场网络包括第一级向量场网络和第二级向量场网络，在将特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到物体图像的物体热点图和物体部位亲和向量场时，处理器408还执行：通过第一级置信度网络对特征图进行处理，得到候选物体热点图；通过第一级向量场网络对特征图进行处理，得到候选物体部位亲和向量场；将候选物体热点图、候选物体部位亲和向量场、以及特征图分别输入第二级置信度网络和第二级向量场网络进行处理，得到物体热点图和物体部位亲和向量场。

在一些实施方式中，在根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边时，处理器408还执行：从物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域；从关键点区域中确定出物体的关键点位置；根据物体部位亲和向量场获取每两个关键点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到物体的边。

在一些实施方式中，在获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置时，处理器408还执行：获取关键点位置周围的预设像素区域；根据预设像素区域通过预设的精筛网络，计算预测关键点位置与真实关键点位置之间的偏差；根据物体的关键点位置和偏差，对物体的关键点位置进行调整，得到目标关键点位置。

在一些实施方式中，在根据目标关键点位置和物体的边计算物体的体积时，处理器408还执行：获取测量设备采集物体图像时的真实运动参数和预测运动参数；根据真实运动参数和预测运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系；根据比例关系、目标关键点位置和物体的边，计算物体的体积。

在一些实施方式中，在获取测量设备采集物体图像时的真实运动参数和预测运动参数时，处理器408还执行：获取测量设备采集物体图像时的设备位置和时刻；根据设备位置和时刻计算测量设备的运动参数，得到预测运动参数；通过测量设备内预设的参数采集器，获取测量设备采集物体图像过程中产生运动的运动参数，得到真实运动参数。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对物体体积测量方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种物体体积测量方法中的步骤。例如，该指令可以执行如下步骤：

通过测量设备采集物体的物体图像，并获取物体图像的物体热点图和物体部位亲和向量场；根据物体热点图和物体部位亲和向量场，检测物体图像中物体的关键点位置和物体的边；获取关键点位置周围的预设像素区域，根据预设像素区域对物体的关键点位置进行调整，得到目标关键点位置；根据目标关键点位置和物体的边计算物体的体积。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种物体体积测量方法中的步骤，因此，可以实现本申请实施例所提供的任一种物体体积测量方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种物体体积测量方法、装置、测量设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物体体积测量方法，其特征在于，包括：

通过测量设备采集物体的物体图像，并获取所述物体图像的物体热点图和物体部位亲和向量场，所述物体部位亲和向量场为物体边的向量场；

根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边；

获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置；

根据所述目标关键点位置和物体的边计算所述物体的体积。

2.根据权利要求1所述的物体体积测量方法，其特征在于，所述获取所述物体图像的物体热点图和物体部位亲和向量场包括：

通过训练后的卷积神经网络对所述物体图像进行卷积操作，得到特征图；

将所述特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到所述物体图像的物体热点图和物体部位亲和向量场。

3.根据权利要求2所述的物体体积测量方法，其特征在于，所述置信度网络包括第一级置信度网络和第二级置信度网络，所述向量场网络包括第一级向量场网络和第二级向量场网络，所述将所述特征图通过由置信度网络和向量场网络级联的训练后的粗筛网络进行处理，得到所述物体图像的物体热点图和物体部位亲和向量场包括：

通过所述第一级置信度网络对所述特征图进行处理，得到候选物体热点图；

通过所述第一级向量场网络对所述特征图进行处理，得到候选物体部位亲和向量场；

将所述候选物体热点图、候选物体部位亲和向量场、以及特征图分别输入所述第二级置信度网络和第二级向量场网络进行处理，得到物体热点图和物体部位亲和向量场。

4.根据权利要求1所述的物体体积测量方法，其特征在于，所述根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边包括：

从所述物体热点图中筛选出像素值大于预设像素阈值的像素区域，得到物体的关键点区域；

从所述关键点区域中确定出物体的关键点位置；

根据所述物体部位亲和向量场获取每两个关键点之间连线的积分值，并筛选出积分值大于预设积分阈值的连线，得到物体的边。

5.根据权利要求1所述的物体体积测量方法，其特征在于，所述获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置包括：

获取所述关键点位置周围的预设像素区域；

根据所述预设像素区域通过预设的精筛网络，计算预测关键点位置与真实关键点位置之间的偏差；

根据所述物体的关键点位置和所述偏差，对所述物体的关键点位置进行调整，得到目标关键点位置。

6.根据权利要求1至5任一项所述的物体体积测量方法，其特征在于，所述根据所述目标关键点位置和物体的边计算所述物体的体积包括：

获取所述测量设备采集所述物体图像时的真实运动参数和预测运动参数；

根据所述真实运动参数和预测运动参数，确定所述物体的在所述物体图像中的像素尺寸和实际尺寸之间的比例关系；

根据所述比例关系、目标关键点位置和物体的边，计算所述物体的体积。

7.根据权利要求6所述的物体体积测量方法，其特征在于，所述获取所述测量设备采集所述物体图像时的真实运动参数和预测运动参数包括：

获取所述测量设备采集所述物体图像时的设备位置和时刻；

根据所述设备位置和时刻计算所述测量设备的运动参数，得到预测运动参数；

通过所述测量设备内预设的参数采集器，获取所述测量设备采集所述物体图像过程中产生运动的运动参数，得到真实运动参数。

8.一种物体体积测量装置，其特征在于，包括：

获取模块，用于通过测量设备采集物体的物体图像，并获取所述物体图像的物体热点图和物体部位亲和向量场，所述物体部位亲和向量场为物体边的向量场；

检测模块，用于根据所述物体热点图和物体部位亲和向量场，检测所述物体图像中物体的关键点位置和物体的边；

调整模块，用于获取所述关键点位置周围的预设像素区域，根据所述预设像素区域对所述物体的关键点位置进行调整，得到目标关键点位置；

计算模块，用于根据所述目标关键点位置和物体的边计算所述物体的体积。

9.一种测量设备，其特征在于，包括处理器和存储器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行如权利要求1至7任一项所述的物体体积测量方法。

10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的物体体积测量方法。

Images