CN111986250A - 物体体积测量方法、装置、测量设备及存储介质 - Google Patents

物体体积测量方法、装置、测量设备及存储介质 Download PDF

Info

Publication number
CN111986250A
CN111986250A CN201910430593.8A CN201910430593A CN111986250A CN 111986250 A CN111986250 A CN 111986250A CN 201910430593 A CN201910430593 A CN 201910430593A CN 111986250 A CN111986250 A CN 111986250A
Authority
CN
China
Prior art keywords
image
dimensional coordinate
key points
acquiring
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910430593.8A
Other languages
English (en)
Inventor
陈紫荣
李元伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd, Shenzhen SF Taisen Holding Group Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910430593.8A priority Critical patent/CN111986250A/zh
Publication of CN111986250A publication Critical patent/CN111986250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了一种物体体积测量方法、装置、测量设备及存储介质，本申请实施例可以通过测量设备采集物体的物体图像；获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；获取所述测量设备采集所述物体图像时的设备位置；根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置；根据所述设备位置，以及所述测量设备采集所述物体图像的时刻，计算所述测量设备的运动参数；根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积，提高了测量的准确性和效率。

Description

物体体积测量方法、装置、测量设备及存储介质
技术领域
本申请涉及视觉测量技术领域，具体涉及一种物体体积测量方法、装置、测量设备及存储介质。
背景技术
随着科技的发展，越来越多物体的体积测量不仅可以通过接触式进行测量，而且还可以通过非接触式进行测量。以箱体的体积测量为例，现有技术中，一般通过人工测量箱体体积，该人工测量箱体体积的方式存在测量效率低和测量准确性低等问题；或者，通过如结构光、激光传感器等硬件设备测量箱体体积，该测量方法中存在着新增额外硬件而测量成本高等问题，而且测量准确性较低。
发明内容
本申请实施例提供一种物体体积测量方法、装置、测量设备及存储介质，可以提高物体体积测量的准确性和效率。
第一方面，本申请实施例提供了一种物体体积测量方法，包括：
通过测量设备采集物体的物体图像；
获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；
获取所述测量设备采集所述物体图像时的设备位置；
根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置；
根据所述设备位置，以及所述测量设备采集所述物体图像的时刻，计算所述测量设备的运动参数；
根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积。
在一些实施方式中，所述获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系包括：
获取训练后的目标检测网络和姿态估计网络，所述目标检测网络和姿态估计网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
将所述物体图像通过所述目标检测网络进行卷积操作，得到特征图；
通过姿态估计网络基于所述特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
在一些实施方式中，所述物体图像包括多张，所述将所述物体图像通过所述目标检测网络进行卷积操作，得到特征图包括：
将多张物体图像转换为灰度图像，得到多张灰度图像；
将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像；
计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像；
将所述有效图像通过所述目标检测网络进行卷积操作，得到特征图。
在一些实施方式中，所述物体图像包括多张，所述根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置包括：
从多张物体图像中选择一帧物体图像作为参考帧图像；
将多张物体图像中除了参考帧之外的其他帧物体图像与所述参考帧图像组成图像组；
根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。
在一些实施方式中，所述根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置包括：
根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置，得到每组图像组对应的物体关键点的三维坐标位置；
根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将所述三维关键点投影至二维平面，得到目标二维坐标位置；
基于所述目标二维坐标位置，从每组图像组对应的物体关键点的三维坐标位置中，筛选出与所述二维坐标位置匹配度最高的三维坐标位置，得到物体关键点的三维坐标位置。
在一些实施方式中，所述根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积包括：
获取所述测量设备采集所述物体图像过程中产生运动的真实运动参数；
根据计算得到的运动参数与所述真实运动参数，确定所述物体的在所述物体图像中的像素尺寸和实际尺寸之间的比例关系；
根据所述比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算所述物体的边长；
根据所述物体的边长计算所述物体的体积。
在一些实施方式中，所述通过测量设备采集物体的物体图像包括：
通过测量设备采集物体的当前物体图像，以及检测所述当前物体图像中物体的关键点位置；
根据所述关键点位置生成预设参考模型；
若所述当前物体图像中物体的预设边与所述预设参考模型重合，则获取所述测量设备沿着所述物体方向运动的运动参数；
当所述运动参数满足预设条件时，通过所述测量设备采集所述物体的物体图像。
第二方面，本申请实施例还提供了一种物体体积测量装置，包括：
图像采集模块，用于通过测量设备采集物体的物体图像；
关系获取模块，用于获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；
位置获取模块，用于获取所述测量设备采集所述物体图像时的设备位置；
位置确定模块，用于根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置；
参数计算模块，用于根据所述设备位置，以及所述测量设备采集所述物体图像的时刻，计算所述测量设备的运动参数；
体积计算模块，用于根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积。
在一些实施方式中，所述关系获取模块包括：
网络获取单元，用于获取训练后的目标检测网络和姿态估计网络，所述目标检测网络和姿态估计网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
卷积单元，用于将所述物体图像通过所述目标检测网络进行卷积操作，得到特征图；
关系确定单元，用于通过姿态估计网络基于所述特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
在一些实施方式中，所述物体图像包括多张，所述卷积单元具体用于：
将多张物体图像转换为灰度图像，得到多张灰度图像；
将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像；
计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像；
将所述有效图像通过所述目标检测网络进行卷积操作，得到特征图。
在一些实施方式中，所述物体图像包括多张，所述位置确定模块包括：
选择单元，用于从多张物体图像中选择一帧物体图像作为参考帧图像；
组成单元，用于将多张物体图像中除了参考帧之外的其他帧物体图像与所述参考帧图像组成图像组；
位置确定单元，用于根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。
在一些实施方式中，所述位置确定单元具体用于：
根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置，得到每组图像组对应的物体关键点的三维坐标位置；
根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将所述三维关键点投影至二维平面，得到目标二维坐标位置；
基于所述目标二维坐标位置，从每组图像组对应的物体关键点的三维坐标位置中，筛选出与所述二维坐标位置匹配度最高的三维坐标位置，得到物体关键点的三维坐标位置。
在一些实施方式中，所述体积计算模块具体用于：
获取所述测量设备采集所述物体图像过程中产生运动的真实运动参数；
根据计算得到的运动参数与所述真实运动参数，确定所述物体的在所述物体图像中的像素尺寸和实际尺寸之间的比例关系；
根据所述比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算所述物体的边长；
根据所述物体的边长计算所述物体的体积。
在一些实施方式中，所述图像采集模块具体用于：
通过测量设备采集物体的当前物体图像，以及检测所述当前物体图像中物体的关键点位置；
根据所述关键点位置生成预设参考模型；
若所述当前物体图像中物体的预设边与所述预设参考模型重合，则获取所述测量设备沿着所述物体方向运动的运动参数；
当所述运动参数满足预设条件时，通过所述测量设备采集所述物体的物体图像。
第三方面，本申请实施例还提供了一种测量设备，包括存储器和处理器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行本申请实施例提供的任一种物体体积测量方法中的步骤。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种物体体积测量方法。
本申请实施例可以通过测量设备采集物体的物体图像，获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；然后获取测量设备采集物体图像时的设备位置，根据二维坐标位置和设备位置确定物体关键点的三维坐标位置；此时，可以根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数，最后根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。该方案可以通过物体图像确定物体关键点的三维坐标位置，并根据运动参数、三维坐标位置和各个关键点之间的连接关系计算物体的体积，实现了准确及快速计算出物体体积，提高了测量的准确性和效率，而且，不需要在测量设备上增加激光传感器等硬件，降低了测量成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物体体积测量方法的流程示意图；
图2是本申请实施例提供的物体体积测量方法的另一流程示意图；
图3是本申请实施例提供的物体体积测量的示意图；
图4是本申请实施例提供的物体体积测量的另一示意图；
图5是本申请实施例提供的物体体积测量装置的结构示意图；
图6是本申请实施例提供的测量设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请一实施例提供的物体体积测量方法的流程示意图。该物体体积测量方法的执行主体可以是本申请实施例提供的物体体积测量装置，或者集成了该物体体积测量装置的测量设备，其中，该物体体积测量装置可以采用硬件或者软件的方式实现，该测量设备可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等移动测量设备。该物体体积测量方法可以包括：
S101、通过测量设备采集物体的物体图像。
其中，该物体可以是柜子、主机箱、桌子、盒子和箱体等，测量设备可以通过自身预设的摄像头采集物体的物体图像；或者是，可以预先在物体周围设置一个或多个摄像头，测量设备可以向设置好的摄像头发送拍摄指令，并接收摄像头发送的基于拍摄指令采集到的物体图像。该物体图像中可以包括从任意角度拍摄到的物体区域。
在一些实施方式中，通过测量设备采集物体的物体图像可以包括：通过测量设备采集物体的当前物体图像，以及检测当前物体图像中物体的关键点位置；根据关键点位置生成预设参考模型；若当前物体图像中物体的预设边与预设参考模型重合，则获取测量设备沿着物体方向运动的运动参数；当运动参数满足预设条件时，通过测量设备采集物体的物体图像。
其中，该关键点可以是物体的顶点或中心点等，该预设参考模型用于确定箱体图像的基准位置，该预设参考模型可以是Y字型的模型(可以称为Y字型卡槽)，或者是Z字型的模型，或者是口字型的模型等，该预设参考模型和关键点可以根据实际需要进行灵活设置。该运动参数可以包括加速度和运动方向等，该预设条件可以根据实际需要进行灵活设置。
为了提高物体体积测量的准确性，保证运动参数采集的可靠性，以方便后续基于运动参数计算物体的体积，测量设备可以预先确定采集物体图像的时机。具体地，首先采集物体的当前物体图像，以及检测当前物体图像中物体的关键点位置，然后根据关键点位置生成预设参考模型，例如，可以当检测到的当前物体图像中物体的关键点位置为预设个数时，根据关键点位置构造物体三维结构；根据物体三维结构生成预设参考模型。
为了提高预设参考模型生成的精准性，测量设备可以判断检测到的当前物体图像中物体的关键点位置是否为预设个数，该预设个数可以根据实际需要进行灵活设置。若检测到的当前物体图像中物体的关键点位置不为预设个数，则重新采集物体的当前物体图像，直至当前物体图像中物体的关键点位置为预设个数。若检测到的当前物体图像中物体的关键点位置为预设个数，则可以根据检测到的物体的关键点位置构造物体三维结构。
为了提高物体三维结构构造的可靠性，测量设备可以利用多视角几何三维重建原理构造体三维结构，即在根据关键点位置构造物体三维结构的过程中，测量设备可以根据关键点位置计算物体的边长和物体位姿；获取测量设备在采集当前物体图像时的设备位姿和设备参数；根据物体的边长、物体位姿、设备位姿和设备参数构造物体三维结构。其中，该物体的边长可以是物体的长宽高尺寸，该物体位姿可以是物体的旋转量和平移量等，该设备位姿可以是测量设备的旋转量和平移量。
在生成预设参考模型后，测量设备可以判断当前物体图像中物体的预设边与预设参考模型是否重合，可以是预设参考模型与当前物体图像中物体的边之间的匹配度大于预设阈值(例如90％)时确定重合。若当前物体图像中物体的预设边与预设参考模型不重合，则输出不重合的相关提示信息，以提示用户调整测量设备的拍摄角度，使得物体的边与预设参考模型重合。
若当前物体图像中物体的预设边与预设参考模型重合，则测量设备可以输出推拉的提示信息，以提示用户开始推拉测量设备而产生运动；或者，测量设备可以向控制器发送控制指令，以便基于控制指令控制该控制器推拉测量设备而产生运动，使得测量设备沿着物体方向运动；等等。然后，可以获取测量设备沿着物体方向运动的运动参数，其中，沿着物体方向运动可以是沿着测量设备采集当前物体图像的水平方向进行推拉运动，或者是，测量设备对准物体方向进行推拉运动，该沿着物体方向运动可以根据实际需要进行灵活设置。该运动参数可以包括加速度和运动方向等。
在得到运动参数后，可以对运动参数进行分析，判断该运动参数是否满足预设条件，该预设条件可以根据实际需要进行灵活设置。例如，可以对加速度数据进行频谱分析和统计分析等，判断测量设备的运动是否符合频率、幅值、速度和/或垂直方向稳定性的要求。例如，可以对运动参数在三轴方向上的运动分量分别进行傅里叶变换，得到三轴方向上的频率和幅值；计算运动参数在三轴方向上的运动分量对应的标准差；当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时，确定运动参数满足预设条件。若运动参数满足预设条件，则测量设备可以在运动的过程中采集物体的物体图像，并记录采集物体图像时的时刻、测量设备的设备位置、以及测量设备内预设的传感器或陀螺仪采集到的运行参数(如加速度)等信息。
若运动参数不满足预设条件，则测量设备可以输出对应的提示信息，以提示调整测量设备的运动，例如，当三轴方向上的频率不满足预设频率阈值时，输出调整测量设备沿着物体方向运动频率的提示信息；以及，当三轴方向上的幅值不满足预设幅度阈值，或三轴方向上的标准差不满足第一预设阈值时，输出测量设备沿着Z轴方向运动不稳定的提示信息；以及，当三轴方向上的标准差不满足第二预设阈值时，输出测量设备沿着物体方向运动幅度小的提示信息；第一预设阈值和第二预设阈值包含于预设阈值。
S102、获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
为了提高获取物体关键点的二维坐标位置和各个关键点之间的连接关系的准确性，测量设备可以通过训练后的网络来获取。
在一些实施方式中，获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系可以包括：获取训练后的目标检测网络和姿态估计网络，目标检测网络和姿态估计网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；将物体图像通过目标检测网络进行卷积操作，得到特征图；通过姿态估计网络基于特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
具体地，测量设备可以获取多张物体样本图像，该物体样本图像中可以标注有物体关键点的二维坐标位置和各个关键点之间的连接关系。然后，利用该物体样本图像对轻量式监督深度目标检测网络(Tiny-DSOD，Tiny-Learning Deeply Supervised ObjectDetectors from Scratch)和卷积姿态估计网络(CPM，Convolutional Pose Machines)进行训练，便可得到训练后的Tiny-DSOD网络和训练后的CPM网络。
在得到训练后的Tiny-DSOD网络和训练后的CPM网络后，将采集到的物体图像通过Tiny-DSOD网络进行卷积操作，得到特征图，例如，将物体图像经过Tiny-DSOD网络的7层深度可分离卷积进行卷积操作，得到特征图。然后，通过CPM网络基于特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
在一些实施方式中，物体图像包括多张，将物体图像通过目标检测网络进行卷积操作，得到特征图可以包括：将多张物体图像转换为灰度图像，得到多张灰度图像；将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像；计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像；将有效图像通过目标检测网络进行卷积操作，得到特征图。
为了提高对物体体积进行计算的准确性，可以预先对采集到的物体图像进行筛选，以筛选出清晰度较高的物体图像进行处理，并计算物体体积。首先，将多张物体图像从三原色(RGB，Red Green Blue)图像转换为灰度图像，得到多张灰度图像。然后对每张灰度图像进行拉普拉斯变换(Laplacian Transform)，例如，可以将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像，其中，预设拉普拉斯核可以根据实际需要进行灵活设置，例如，该预设拉普拉斯核可以为3*3的拉普拉斯核。
此时，可以计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像，其中，预设阈值可以根据实际需要进行灵活设置，方差大于或等于预设阈值则说明物体图像较清晰，而方差小于预设阈值则说明物体图像较模糊，因此需要将方差小于预设阈值的模糊物体图像剔除。最后，可以将筛选出的有效图像通过Tiny-DSOD网络和CPM网络进行处理。
S103、获取测量设备采集物体图像时的设备位置。
其中，步骤S102和步骤S103之间的执行顺序，可以是先执行步骤S102，后执行步骤S103；或者是，先执行步骤S103，后执行步骤S102；或者，同时步骤S102和步骤S103；具体执行顺序可以根据实际需要进行灵活设置，此处不作限定。
由于测量设备在采集物体图像的过程中，可以移动在不同位置采集物体图像，因此测量设备可以在采集物体图像的过程中，获取测量设备采集每张物体图像时的设备位置，该设备位置可以是测量设备所处的坐标位置或者是经纬度位置等。例如，测量设备可以通过全球定位系统(GPS，Global Positioning System)获取测量设备的设备位置，或者，通过预设的位置采集器获取测量设备的设备位置；等等。
S104、根据二维坐标位置和设备位置确定物体关键点的三维坐标位置。
在得到物体关键点的二维坐标位置和设备位置后，可以基于多视角几何三维重建原理，建立参考坐标系，以确定物体关键点的三维坐标位置。
在一些实施方式中，物体图像包括多张，根据二维坐标位置和设备位置确定物体关键点的三维坐标位置可以包括：从多张物体图像中选择一帧物体图像作为参考帧图像；将多张物体图像中除了参考帧之外的其他帧物体图像与参考帧图像组成图像组；根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。
具体地，首先从多张物体图像中选择一帧物体图像作为参考帧图像，例如，可以将采集到的第一帧物体图像作为参考帧图像。然后，将多张物体图像中除了参考帧之外的其他帧物体图像，与参考帧图像组成图像组；例如，当第一帧物体图像作为参考帧图像时，可以将第一帧物体图像与第二帧物体图像组成图像组A，将第一帧物体图像与第三帧物体图像组成图像组B，将第一帧物体图像与第四帧物体图像组成图像组C，将第一帧物体图像与第五帧物体图像组成图像组D，将第一帧物体图像与第六帧物体图像组成图像组E；等等。
此时，可以根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。例如，可以基于多视角几何三维重建原理，根据关键点位置计算物体的边长和物体位姿，例如，该物体的边长可以是物体的长宽高尺寸S，该物体位姿可以是物体的旋转量Rb和平移量Tb等；以及，获取测量设备在采集物体图像时的设备位置，该设备位置可以包括设备位姿，例如该设备位姿可以是测量设备的旋转量Rc和平移量Tc，以及获取测量设备在采集物体图像时的设备参数，该设备参数可以是用于采集物体图像的相机内参，例如焦距K等参数或者摄像头内参等参数。然后，测量设备可以基于成像模型及物体的结构约束，根据物体的边长、物体位姿、设备位姿和设备参数构造物体三维结构，最后根据物体三维结构确定物体关键点的三维坐标位置。
在一些实施方式中，根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置可以包括：根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置，得到每组图像组对应的物体关键点的三维坐标位置；根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将三维关键点投影至二维平面，得到目标二维坐标位置；基于目标二维坐标位置，从每组图像组对应的物体关键点的三维坐标位置中，筛选出与二维坐标位置匹配度最高的三维坐标位置，得到物体关键点的三维坐标位置。
为了提高三维坐标位置获取的精准性，可以对得到的三维坐标位置进行校正，例如，可以根据图像组A内物体图像a和物体图像b中物体关键点的二维坐标位置，以及物体图像a被拍摄时的设备位置1和物体图像b被拍摄时的设备位置2，确定物体关键点的三维坐标位置，得到图像组A对应的物体关键点的三维坐标位置；可以根据图像组B内物体图像c和物体图像d中物体关键点的二维坐标位置，以及物体图像c被拍摄时的设备位置3和物体图像d被拍摄时的设备位置4，确定物体关键点的三维坐标位置，得到图像组B对应的物体关键点的三维坐标位置；等等，此时可以得到每组图像组对应的物体关键点的三维坐标位置。
然后，根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将三维关键点投影至二维平面，得到目标二维坐标位置。获取每组图像组中每张物体图像中物体关键点的二维坐标位置，得到多个二维坐标位置，并将每个二维坐标位置与目标二维坐标位置进行比较，筛选出与目标二维坐标位置匹配度最高的二维坐标位置，其中匹配度最高的二维坐标位置对应的三维坐标位置，即为得到所需的物体关键点的三维坐标位置。从而实现了对三维坐标位置进行校正，得到准确的三维坐标位置。即由于每两帧物体图像对于同一个物体具备重合部分，因此对于整个图像序列(即多组图像组)，可通过优化物体的关键点在每张物体图像上重投影点的像素误差值，以对三维坐标位置进行校正。
S105、根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数。
由于测量设备在采集物体图像的过程中，测量设备可以移动采集物体图像，因此可以计算测量设备的运动参数。其中，运动参数可以包括加速度或运动方向等，例如，当运动参数为加速度时，若得到测量设备的第一设备位置S1、第二设备位置S2和第二设备位置S3，以及测量设备在第一设备位置S1采集第一物体图像的时刻为t1，测量设备在第二设备位置S2采集第二物体图像的时刻为t2，测量设备在第二设备位置S3采集第二物体图像的时刻为t3，则可以根据第一设备位置S1和第二设备位置S2计算距离L1，根据第二设备位置S2和第三设备位置S3计算距离L2，以及根据时刻t1和时刻t2计算时间差T1，根据时刻t2和时刻t3计算时间差T2，然后根据距离L1和时间差T2计算运动速度V1，根据距离L2和时间差T3计算运动速度V2，此时可以根据时间差T1、时间差T2、运动速度V1和运动速度V2，计算测量设备的加速度。
S106、根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。
在一些实施方式中，根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积可以包括：获取测量设备采集物体图像过程中产生运动的真实运动参数；根据计算得到的运动参数与真实运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系；根据比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算物体的边长；根据物体的边长计算物体的体积。
其中，真实运动参数可以包括加速度，例如，测量设备在采集物体图像的过程中，用户可以沿着物体方向推拉测量设备，使得测量设备产生运动；或者，测量设备可以向控制器发送控制指令，以便基于控制指令控制该控制器带动测量设备产生运动，使得测量设备沿着物体方向运动。此时，测量设备可以通过自身预设的加速计、传感器或陀螺仪等，采集测量设备的加速度，得到真实加速度。
在得到真实运动参数后，测量设备可以根据计算得到的运动参数与真实运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系，其中，像素尺寸为物体在图像中的尺寸，实际尺寸为物体在真实世界中的尺寸，例如，比例关系＝像素尺寸/实际尺寸。此时，测量设备可以根据比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算物体的边长。例如，若物体关键点A与物体关键点B连接得到边AB，则根据物体关键点A的三维坐标位置(x1，y1，z1)和物体关键点B的三维坐标位置(x2，y2，z2)可以计算得到边AB在物体图像中的虚拟边长R，然后根据虚拟边长R和比例关系可以计算得到物体的边长，即物体在真实世界中的边长。最后，可以根据物体的边长计算物体的体积，例如，可以根据物体的第一边长、第二边长和第三边长，计算物体的体积＝第一边长*第二边长*第三边长。
本申请实施例可以通过测量设备采集物体的物体图像，获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；然后获取测量设备采集物体图像时的设备位置，根据二维坐标位置和设备位置确定物体关键点的三维坐标位置；此时，可以根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数，最后根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。该方案可以通过物体图像确定物体关键点的三维坐标位置，并根据运动参数、三维坐标位置和各个关键点之间的连接关系计算物体的体积，实现了准确及快速计算出物体体积，提高了测量的准确性和效率，而且，不需要在测量设备上增加激光传感器等硬件，降低了测量成本。
根据上述实施例所描述的物体体积测量方法，以下将作进一步详细说明。
请参照图2，图2为本申请实施例提供的物体体积测量方法的另一流程示意图。该物体体积测量方法可以应用于测量设备，以下将以测量设备对规则的箱体体积进行测量为例，如图2所示，该物体体积测量方法的流程可以如下：
S201、通过测量设备采集箱体的多张候选箱体图像。
测量设备可以通过自身的摄像头采集箱体的图像，得到多张候选箱体图像；或者是，可以预先在箱体周围设置一个或多个摄像头，测量设备可以向设置好的摄像头发送拍摄指令，并接收摄像头发送的基于拍摄指令采集到的多张候选箱体图像。其中，该箱体可以是规则的正方体或长方体等，箱体的拍摄角度可以根据实际需要进行灵活设置，可选地，可以调整拍摄角度，使得当前箱体图像中箱体三面可见。
为了方便后续准确获取测量设备采集箱体图像过程中产生的真实加速度，在测量设备采集箱体图像过程中，测量设备可以沿着箱体方向前后运动。具体地，为了提高箱体体积测量的准确性，保证加速度采集的可靠性，以方便后续基于加速度计算箱体的体积，测量设备可以预先确定采集箱体图像的时机。首先采集箱体的当前箱体图像，以及检测当前箱体图像中箱体的顶点位置，然后根据顶点位置生成预设参考模型，例如，可以当检测到的当前箱体图像中箱体的顶点位置为7个数时，根据顶点位置构造箱体三维结构；根据箱体三维结构生成预设参考模型。
其中，以预设参考模型为Y字型卡槽为例，为了提高Y字型卡槽生成的精准性，保证采集到的当前箱体图像中包含的箱体为三面可见，此时测量设备可以判断检测到的当前箱体图像中箱体的顶点位置是否为7个，当检测到的当前箱体图像中箱体的顶点位置为7个时，说明当前箱体图像中箱体三面可见。若检测到的当前箱体图像中箱体的顶点位置不为7个数，则重新采集箱体的当前箱体图像，直至当前箱体图像中箱体的顶点位置为7个数。若检测到的当前箱体图像中箱体的顶点位置为7个数，则可以根据检测到的箱体的顶点位置构造箱体三维结构。
为了提高箱体三维结构构造的可靠性，测量设备可以利用多视角几何三维重建原理构造体三维结构，即在根据顶点位置构造箱体三维结构的过程中，测量设备可以根据顶点位置计算箱体的边长和箱体位姿；获取测量设备在采集当前箱体图像时的设备位姿和设备参数；根据箱体的边长、箱体位姿、设备位姿和设备参数构造箱体三维结构。
例如，可以根据顶点位置计算箱体的边长和箱体位姿，例如，该箱体的边长可以是箱体的长宽高尺寸S，该箱体位姿可以是箱体的旋转量Rb和平移量Tb等；以及，获取测量设备在采集当前箱体图像时的设备位姿和设备参数，例如，该设备位姿可以是测量设备的旋转量Rc和平移量Tc，该设备参数可以是用于采集当前箱体图像的相机内参，例如焦距K等参数或者摄像头内参等参数。然后，测量设备可以基于相机成像模型及箱体的结构约束，根据箱体的边长、箱体位姿、设备位姿和设备参数构造箱体三维结构。
在得到箱体三维结构后，测量设备可以根据箱体三维结构生成Y字型卡槽：根据箱体三维结构，构造边长之间比例相等且相邻两边之间的角度构成预设角度值的三边，得到基准参考模型；获取测量设备显示屏幕的显示边长，根据显示边长确定基准参考模型外接四边形区域的边长；基于外接四边形区域的边长，对基准参考模型进行缩放处理，得到Y字型卡槽。
例如，以Y字型卡槽为Y字型卡槽为例，首先，根据箱体三维结构，构造边长之间比例相等且相邻两边之间的角度构成预设角度值(例如120度)的三边，得到基准Y字型卡槽。然后，获取测量设备显示屏幕的显示边长，根据显示边长确定基准Y字型卡槽外接四边形区域的边长，例如，根据显示边长确定基准Y字型卡槽外接矩形区域的最大边长。最后，基于外接四边形区域的边长，对基准参考模型进行缩小或放大处理，使得Y字型卡槽可以按照预设比例显示在测量设备显示屏幕内，从而可以得到Y字型卡槽，该Y字型卡槽即为较佳的Y字型卡槽。
此时，可以将Y字型卡槽显示在测量设备显示屏幕内，以提示用户调整拍摄角度和位置等，以将箱体的三条边与Y字型卡槽足够重合。实现了按照箱体的三边边长等比和三边在图像中互成120度的原则，根据箱体三维结构生成一个Y字型卡槽，并将Y字型卡槽显示在测量设备显示屏幕内。其中，三边边长等比为箱体箱体在图像上所展现的像素长度之比，与计算出来的箱体三维结构的三边之比是一致的。
在生成Y字型卡槽后，测量设备可以判断当前箱体图像中箱体的预设边与Y字型卡槽是否重合，例如，测量设备可以在显示屏幕内显示采集到的当前箱体图像，以及显示生成的Y字型卡槽，然后，判断Y字型卡槽是否与当前箱体图像中箱体的边重合，可以是Y字型卡槽与当前箱体图像中箱体的边之间的匹配度大于预设阈值(例如90％)时确定重合。
若当前箱体图像中箱体的预设边与Y字型卡槽不重合，则输出不重合的相关提示信息，以提示用户调整测量设备的拍摄角度，使得箱体的边与Y字型卡槽重合，例如，为箱体为例，可以实时检测跟踪箱体的顶点，并判断箱体的边是否与生成的Y字型卡槽足够重合，直至箱体的三条边与Y字型卡槽重合。
若当前箱体图像中箱体的预设边与Y字型卡槽重合，则可以获取测量设备沿着箱体方向运动的加速度，其中，沿着箱体方向运动可以是沿着测量设备采集当前箱体图像的水平方向进行推拉运动，或者是，测量设备对准箱体方向进行推拉运动，该沿着箱体方向运动可以根据实际需要进行灵活设置。
获取测量设备沿着箱体方向运动的加速度可以包括：将Y字型卡槽显示在测量设备的显示屏幕内；基于显示的Y字型卡槽，调整测量设备的拍摄角度，直至测量设备捕获到箱体图像中箱体的边长与Y字型卡槽重合时，获取沿着箱体方向运动的加速度。
为了方便调整测量设备的拍摄角度，测量设备可以在显示屏幕内显示采集到的当前箱体图像，以及将Y字型卡槽显示在测量设备的显示屏幕内，并基于显示的Y字型卡槽输出提示信息，以提示用户调整测量设备的拍摄角度，或者，向控制器发送调整指令，以便基于调整指令控制该控制器调整测量设备的拍摄角度，例如调整测量设备中摄像头的拍摄角度或测量设备的拍摄位置。
若当前箱体图像中箱体的预设边与Y字型卡槽重合，则将当前箱体图像设置为基准箱体图像(例如作为采集到的第一帧图像)，以便后续计算箱体的体积，此时，测量设备可以输出推拉的提示信息，以提示用户开始推拉测量设备而产生运动；或者，测量设备可以向控制器发送控制指令，以便基于控制指令控制该控制器推拉测量设备而产生运动，使得测量设备沿着箱体方向运动等。
需要说明的是，在测量设备的运动的过程中，可以控制测量设备的摄像头与箱体之间的距离，并保证测量设备平稳及匀速移动，使得箱体可以完全被覆盖且尽可能地充满测量设备的拍摄预览界面的取景框。拍摄开始后，测量设备可以对着箱体的方向先向后再往前移动，如此重复进行二或三次推拉运动，以便获取测量设备运动的加速度。
此时，可以获取测量设备沿着箱体方向运动的加速度，例如，可以获取垂直于测量设备显示屏幕的轴上的加速度。若加速度大于预设阈值，则判定测量设备开始做推拉运动；若加速度大于预设阈值，则提示用户推拉测量设备产生运动，或者控制与测量设备连接的控制器推拉测量设备而产生运动。需要说明的是，当测量设备产生运动后，可以获取预设时间段内测量设备的加速度，例如，4秒或6秒内测量设备的加速度。
在得到加速度后，可以对加速度进行分析，判断该加速度是否满足预设条件，该预设条件可以根据实际需要进行灵活设置。例如，可以对加速度数据进行频谱分析和统计分析等，判断测量设备的运动是否符合频率、幅值、速度和/或垂直方向稳定性的要求。
例如，可以对加速度在三轴方向上的运动分量分别进行傅里叶变换，得到三轴方向上的频率和幅值；计算加速度在三轴方向上的运动分量对应的标准差；当三轴方向上的频率满足预设频率阈值、幅值满足预设幅度阈值和标准差满足预设阈值时，确定加速度满足预设条件。若加速度满足预设条件，则测量设备在运动过程中可以采集箱体的图像，得到多张候选箱体图像，并记录采集每张候选箱体图像时的时刻、测量设备的设备位置、以及测量设备内预设的传感器或陀螺仪采集到的运行参数(如加速度)等信息。
若加速度不满足预设条件，则测量设备可以输出对应的提示信息，以提示用户调整测量设备的运动，帮助用户快速改进并掌握测量设备的推拉运动，该提示信息可以通过语音播报或文字显示于显示屏幕内；或者，控制控制与测量设备连接的控制器调整测量设备的运动，使测量设备产生的加速度满足预设条件。例如，当三轴方向上的频率不满足预设频率阈值时，输出调整测量设备沿着箱体方向运动频率的提示信息；以及，当三轴方向上的幅值不满足预设幅度阈值，或三轴方向上的标准差不满足第一预设阈值时，输出测量设备沿着Z轴方向运动不稳定的提示信息；以及，当三轴方向上的标准差不满足第二预设阈值时，输出测量设备沿着箱体方向运动幅度小的提示信息；第一预设阈值和第二预设阈值包含于预设阈值。
例如，可以对加速度在XYZ三轴方向上的加速度分量分别进行快速傅里叶变换(FFT，Fast Fourier Transformation)，得到三轴上的频率及对应的幅值，并从中筛选出最大的频率Fx、Fy、Fz及其对应的幅值Px、Py、Pz。以及，计算加速度在三轴方向上的加速度分量对应的标准差，得到Dx、Dy和Dz。
若满足Ft1<Fz<Ft2(例如Ft1＝0.5，Ft2＝2)，则说明三轴方向上最大的频率满足预设频率阈值(即该预设频率阈值为Ft1至Ft2)；若Pz/Py>Tp，Pz/Px>Tp(例如Tp＝2)，则说明三轴方向上最大的幅值满足预设幅度阈值(即该预设幅度阈值为Tp)；若Dz/Dy>Td，Dz/Dx>Td(例如Td＝5)，以及Dz>Dt(例如Dt＝0.03)，则说明三轴方向上的标准差满足预设阈值(即该预设阈值为Td和Dt)。
若不满足Ft1<Fz<Ft2(例如Ft1＝0.5，Ft2＝2)，则说明三轴方向上最大的频率不满足预设频率阈值，此时输出调整测量设备沿着箱体方向运动频率的提示信息，以提示用户调整推拉频率。该该提示信息可以通过语音播报或文字显示于显示屏幕内。
若不满足Pz/Py>Tp，Pz/Px>Tp(例如Tp＝2)，则说明三轴方向上最大的幅值不满足预设幅度阈值，此时输出测量设备沿着Z轴方向运动不稳定的提示信息，以提示用户推拉Z轴不稳定。
若不满足Dz/Dy>Td，Dz/Dx>Td(例如Td＝5)，则说明三轴方向上的标准差不满足第一预设阈值，此时输出测量设备沿着Z轴方向运动不稳定的提示信息，以提示用户推拉Z轴不稳定；若不满足Dz>Dt(例如Dt＝0.03)，则说明三轴方向上的标准差不满足第二预设阈值，此时输出测量设备沿着箱体方向运动幅度小的提示信息，以提示用户推拉运动幅度不够等，使得用户可以根据提示信息有效即快速地调整测量设备的运动。
S202、从多张候选箱体图像中筛选出清晰度较高的箱体图像，得到多张箱体图像。
为了提高对箱体体积进行计算的准确性，可以预先对采集到的多张候选箱体图像进行筛选，以筛选出清晰度较高的箱体图像进行处理。首先，将多张箱体图像从RGB图像转换为灰度图像，得到多张灰度图像。然后对每张灰度图像进行拉普拉斯变换，例如，可以将每张灰度图像与3*3拉普拉斯核进行卷积操作，得到多张响应图像，其中，3*3的拉普拉斯核可以为：
Figure BDA0002068866230000161
此时，可以计算每张响应图像的方差，并判断每张响应图像的方差是否大于或等于预设阈值，若响应图像的方差大于或等于预设阈值，则该响应图像所对应的箱体图像较清晰，即为筛选出的箱体图像，若响应图像的方差小于预设阈值，则该响应图像所对应的箱体图像较模糊，即需要剔除该箱体图像。其中，预设阈值可以根据实际需要进行灵活设置。
S203、通过训练后的目标检测网络Tiny-DSOD分别对每张箱体图像进行卷积操作，得到多张特征图。
S204、通过训练后的姿态估计网络CPM分别根据每张特征图，提取箱体顶点的二维坐标位置，以及确定各个顶点之间的连接关系。
测量设备可以获取多张箱体样本图像，该箱体样本图像中可以标注有箱体顶点的二维坐标位置和各个顶点之间的连接关系，该箱体顶点的二维坐标位置即为真实的二维坐标位置。然后，利用Tiny-DSOD网络和CPM网络计算每张箱体样本图像中箱体顶点的二维坐标位置，得到预测的二维坐标位置和各个顶点之间的连接关系。此时，可以将真实的二维坐标位置和各个顶点之间的连接关系(即真实值)，与预测的二维坐标位置和各个顶点之间的连接关系(即预测值)进行收敛，通过调整Tiny-DSOD网络和CPM网络的参数至合适数值，以降低真实值与预测值之间的误差，便可得到训练后的Tiny-DSOD网络和训练后的CPM网络。其中，该Tiny-DSOD网络和CPM网络可以串联为监督式学习网络。
测量设备可以将筛选出的多张箱体图像通过训练后的Tiny-DSOD网络和训练后的CPM网络进行处理。例如，将箱体图像通过Tiny-DSOD网络进行卷积操作，得到特征图，例如，将箱体图像经过Tiny-DSOD网络的7层深度可分离卷积进行卷积操作，得到特征图。然后，通过CPM网络基于特征图提取箱体顶点的二维坐标位置，以及确定各个顶点之间的连接关系。
S205、获取测量设备采集每张箱体图像时的设备位置。
测量设备可以在采集箱体图像的过程中，获取测量设备采集每张箱体图像时的设备位置，该设备位置可以是测量设备所处的坐标位置或者是经纬度位置等。例如，测量设备可以通过GPS定位测量设备的设备位置，或者，通过预设的位置采集器获取测量设备的设备位置；等等。
S206、从多张箱体图像中选择第一帧箱体图像作为参考帧图像，并将其他帧箱体图像与参考帧图像组成图像组。
例如，可以将第一帧箱体图像作为参考帧图像，该第一帧箱体图像可以是加速度满足预设条件时，采集到的第一帧箱体图像，此时可以将第一帧箱体图像与第二帧箱体图像组成图像组A，将第一帧箱体图像与第三帧箱体图像组成图像组B，将第一帧箱体图像与第四帧箱体图像组成图像组C，将第一帧箱体图像与第五帧箱体图像组成图像组D，将第一帧箱体图像与第六帧箱体图像组成图像组E；等等。
S207、根据图像组内每张箱体图像中箱体顶点的二维坐标位置，以及图像组中每张箱体图像被拍摄时的设备位置，确定箱体顶点的三维坐标位置。
例如，测量设备可以基于多视角几何三维重建原理，根据顶点位置计算箱体的边长和箱体位姿，例如，该箱体的边长可以是箱体的长宽高尺寸S，该箱体位姿可以是箱体的旋转量Rb和平移量Tb等；以及，获取测量设备在采集箱体图像时的设备位置，该设备位置可以包括设备位姿，例如该设备位姿可以是测量设备的旋转量和平移量，例如，如图3所示，测量设备在位置Camera 1处对应的旋转量R1和平移量t1，测量设备在位置Camera 2处对应的旋转量R2和平移量t2，测量设备在位置Camera 3处对应的旋转量R3和平移量t3等。以及获取测量设备在采集箱体图像时的设备参数，该设备参数可以是用于采集箱体图像的摄像头或相机参数，例如焦距K(包括X轴方向上的焦距fx和Y轴方向上fy)、中心点(cx，cy)等参数。然后，测量设备可以基于成像模型及箱体的结构约束，根据箱体的边长、箱体位姿、设备位姿和设备参数构造箱体三维结构，最后根据箱体三维结构确定箱体顶点的三维坐标位置，例如，如图4所示。
为了提高三维坐标位置获取的精准性，可以对得到的三维坐标位置进行校正，例如，可以根据图像组A内箱体图像a和箱体图像b中箱体顶点的二维坐标位置，以及箱体图像a被拍摄时的设备位置1和箱体图像b被拍摄时的设备位置2，确定箱体顶点的三维坐标位置，得到图像组A对应的箱体顶点的三维坐标位置；可以根据图像组B内箱体图像c和箱体图像d中箱体顶点的二维坐标位置，以及箱体图像c被拍摄时的设备位置3和箱体图像d被拍摄时的设备位置4，确定箱体顶点的三维坐标位置，得到图像组B对应的箱体顶点的三维坐标位置；等等，此时可以得到每组图像组对应的箱体顶点的三维坐标位置。
然后，根据每组图像组对应的箱体顶点的三维坐标位置以及对应的设备位置，将三维顶点投影至二维平面，得到目标二维坐标位置。获取每组图像组中每张箱体图像中箱体顶点的二维坐标位置，得到多个二维坐标位置，并将每个二维坐标位置与目标二维坐标位置进行比较，通过最小二乘法筛选出与目标二维坐标位置匹配度最高的二维坐标位置，其中匹配度最高的二维坐标位置对应的三维坐标位置，即为得到所需的箱体顶点的三维坐标位置。
从而实现了对三维坐标位置进行校正，得到准确的三维坐标位置。即由于每两帧箱体图像对于同一个箱体具备重合部分，因此对于整个图像序列(即多组图像组)，可通过优化箱体的顶点在每张箱体图像上重投影点的像素误差值，以对三维坐标位置进行校正。
需要说明的是，如图3所示，基于多视角几何三维重建原理可以如下：通过测量设备的设备参数(例如相机参数)与投影模型，可知二维箱体图像中任意一点与其对应在三维空间的投影方向。若两张箱体图像中，投影时有两个点为三维空间中的同一个点，则作为计算这两张箱体图像的测量设备在三维空间中的位姿关系的一个约束关系。基于多视几何理论，只要有五组这样的对应点，就可以计算得测量设备之间的位姿关系，并得到这些点在参考坐标系中的三维位置。通过上述原理，可以分别计算得到每两张箱体图像之间的关系，即测量设备在分别拍摄得到此两张箱体图像时刻的位置姿态变化关系，而本实施例采用的规则箱体的顶点有七个，满足理论条件。
S208、根据设备位置，以及测量设备采集箱体图像的时刻，计算测量设备运动的加速度。
例如，若得到测量设备的第一设备位置S1、第二设备位置S2和第二设备位置S3，以及测量设备在第一设备位置S1采集第一箱体图像的时刻为t1，测量设备在第二设备位置S2采集第二箱体图像的时刻为t2，测量设备在第二设备位置S3采集第二箱体图像的时刻为t3，则可以根据第一设备位置S1和第二设备位置S2计算距离L1，根据第二设备位置S2和第三设备位置S3计算距离L2，以及根据时刻t1和时刻t2计算时间差T1，根据时刻t2和时刻t3计算时间差T2，然后根据距离L1和时间差T2计算运动速度V1，根据距离L2和时间差T3计算运动速度V2，此时可以根据时间差T1、时间差T2、运动速度V1和运动速度V2，计算测量设备的加速度。
S209、获取测量设备采集箱体图像过程中产生运动的真实加速度。
例如，测量设备可以通过自身预设的加速计、传感器或陀螺仪等，采集测量设备的加速度，得到真实加速度。
由于不同型号的陀螺仪或加速计的特性可能不同，为了提高计算的精准性，测量设备可以对采集到的加速度通过低通滤波器去除冗余或错误数据，得到准确的真实加速度。
S210、根据计算得到的加速度与真实加速度，确定箱体的在箱体图像中的像素尺寸和实际尺寸之间的比例关系。
在得到真实加速度后，测量设备可以根据计算得到的加速度与真实加速度，确定箱体的在箱体图像中的像素尺寸和实际尺寸之间的比例关系，其中，像素尺寸为箱体在图像中的尺寸，实际尺寸为箱体在真实世界中的尺寸，例如，比例关系＝像素尺寸/实际尺寸。
S211、根据比例关系、箱体顶点的三维坐标位置和各个顶点之间的连接关系计算箱体的体积。
测量设备可以根据比例关系、箱体顶点的三维坐标位置和各个顶点之间的连接关系计算箱体的边长。例如，若箱体顶点A与箱体顶点B连接得到边AB，则根据箱体顶点A的三维坐标位置(x1，y1，z1)和箱体顶点B的三维坐标位置(x2，y2，z2)可以计算得到边AB在箱体图像中的虚拟边长R，然后根据虚拟边长R和比例关系可以计算得到箱体的边长，即箱体在真实世界中的边长。最后，可以根据箱体的边长计算箱体的体积，例如，可以根据箱体的第一边长、第二边长和第三边长，计算箱体的体积＝第一边长*第二边长*第三边长，即如图4所示，箱体的体积＝长*宽*高。
即，在箱体的三维重建过程中可以计算出箱体各个箱体顶点在参考坐标系中的三维坐标位置，由于箱体顶点的顺序与各个箱体顶点之间的连接关系是已知的，通过计算箱体顶点之间的距离(即箱体的边长)，可以得到在参考坐标系中箱体的长宽高值。通过真实加速度与通过箱体图像计算所得加速度的匹配，可以得到真实世界与通过箱体图像建立的参考坐标系之间，坐标值在真实数值上的比例系数(即比例关系)。将参考坐标系中箱体的长宽高值乘以该比例系数，即得到箱体在真实世界中的长宽高值，进而可计算出体积。
需要说明的是，本实施例的箱体体积测量方法可以应用于货物运输场合，可以实现对所承运的货物体积的准确测量，不仅关系到货物的运输费用，还影响着整个运输流程的规划，例如对运输车辆的装载、仓储场地的部署与调度等。在收货端可以进行准确的测量，并将数据应用到各个环节中去，能极大地提高货运效率，降低成本。解决了物流收件、分拣的复杂场地背景，以及货物的包装简易等所造成使用对箱体体积进行测量时误差偏大的问题。
当测量设备为手机时，用户可以仅使用手机，实现对规则的货物(例如长方体箱子)的准确快速的尺寸及体积测量，为物流低成本、精细化的管理带来可能，减少了物流成本，提升了物流效率。例如，对将被测量的货物箱体，按照一种简单的运动轨迹进行连续的拍摄即可，基于对连续拍摄的箱体图像中顶点的检测，结合视觉测量算法，同时耦合了设备中测量硬件的数据(例如加速度)，可模拟出测量体积过程中测量设备在小范围移动的真实轨迹，进而恢复出规则箱体的尺寸。
本申请实施例可以通过测量设备采集箱体的箱体图像，获取箱体图像中箱体顶点的二维坐标位置，以及确定各个顶点之间的连接关系；然后获取测量设备采集箱体图像时的设备位置，根据二维坐标位置和设备位置确定箱体顶点的三维坐标位置；此时，可以根据设备位置，以及测量设备采集箱体图像的时刻，计算测量设备的加速度，最后根据加速度、三维坐标位置和各个顶点之间的连接关系，计算箱体的体积。该方案可以通过箱体图像确定箱体顶点的三维坐标位置，并根据加速度、三维坐标位置和各个顶点之间的连接关系计算箱体的体积，实现了准确及快速计算出箱体在真实环境中的长宽高，并计算出箱体体积，提高了测量的准确性和效率。
为便于更好的实施本申请实施例提供的物体体积测量方法，本申请实施例还提供一种基于上述物体体积测量方法的装置。其中名词的含义与上述物体体积测量方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图5，图5为本申请实施例提供的物体体积测量装置的结构示意图，其中该物体体积测量装置300可以包括图像采集模块301、关系获取模块302、位置获取模块块303、位置确定模块304、参数计算模块305及体积计算模块306等。
其中，图像采集模块301，用于通过测量设备采集物体的物体图像。
关系获取模块302，用于获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
位置获取模块303，用于获取测量设备采集物体图像时的设备位置。
位置确定模块304，用于根据二维坐标位置和设备位置确定物体关键点的三维坐标位置。
参数计算模块305，用于根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数。
体积计算模块306，用于根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。
在一些实施方式中，关系获取模块302可以包括：
网络获取单元，用于获取训练后的目标检测网络和姿态估计网络，目标检测网络和姿态估计网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
卷积单元，用于将物体图像通过目标检测网络进行卷积操作，得到特征图；
关系确定单元，用于通过姿态估计网络基于特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
在一些实施方式中，物体图像包括多张，卷积单元具体用于：将多张物体图像转换为灰度图像，得到多张灰度图像；将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像；计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像；将有效图像通过目标检测网络进行卷积操作，得到特征图。
在一些实施方式中，物体图像包括多张，位置确定模块304可以包括：
选择单元，用于从多张物体图像中选择一帧物体图像作为参考帧图像；
组成单元，用于将多张物体图像中除了参考帧之外的其他帧物体图像与参考帧图像组成图像组；
位置确定单元，用于根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。
在一些实施方式中，位置确定单元具体用于：根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置，得到每组图像组对应的物体关键点的三维坐标位置；根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将三维关键点投影至二维平面，得到目标二维坐标位置；基于目标二维坐标位置，从每组图像组对应的物体关键点的三维坐标位置中，筛选出与二维坐标位置匹配度最高的三维坐标位置，得到物体关键点的三维坐标位置。
在一些实施方式中，体积计算模块306具体用于：获取测量设备采集物体图像过程中产生运动的真实运动参数；根据计算得到的运动参数与真实运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系；根据比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算物体的边长；根据物体的边长计算物体的体积。
在一些实施方式中，图像采集模块301具体用于：通过测量设备采集物体的当前物体图像，以及检测当前物体图像中物体的关键点位置；根据关键点位置生成预设参考模型；若当前物体图像中物体的预设边与预设参考模型重合，则获取测量设备沿着物体方向运动的运动参数；当运动参数满足预设条件时，通过测量设备采集物体的物体图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本申请实施例可以由图像采集模块301采集物体的物体图像，由关系获取模块302获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；然后由位置获取模块块303获取测量设备采集物体图像时的设备位置，通过位置确定模块304根据二维坐标位置和设备位置确定物体关键点的三维坐标位置；此时，参数计算模块305可以根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数，最后体积计算模块306根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。该方案可以通过物体图像确定物体关键点的三维坐标位置，并根据运动参数、三维坐标位置和各个关键点之间的连接关系计算物体的体积，实现了准确及快速计算出物体体积，提高了测量的准确性和效率，而且，不需要在测量设备上增加激光传感器等硬件，降低了测量成本。
相应的，本申请实施例还提供一种测量设备，如图6所示，图6示出了本申请实施例提供的测量设备的具体结构框图，该测量设备可以用于实施上述实施例中提供的物体体积测量方法。该测量设备可以为智能手机或平板电脑等。
该测量设备可以包括射频(RF，Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi，Wireless Fidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解，图6中示出的测量设备结构并不构成对测量设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路401可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器408处理；另外，将涉及上行的数据发送给基站。通常，RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路401还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器402可用于存储软件程序以及模块，处理器408通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据测量设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器408，并能接收处理器408发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及测量设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器408以确定触摸事件的类型，随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
测量设备还可包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在测量设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别测量设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于测量设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路406、扬声器，传声器可提供用户与测量设备之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路406接收后转换为音频数据，再将音频数据输出处理器408处理后，经RF电路401以发送给比如另一测量设备，或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔，以提供外设耳机与测量设备的通信。
WiFi属于短距离无线传输技术，测量设备通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块407，但是可以理解的是，其并不属于测量设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是测量设备的控制中心，利用各种接口和线路连接整个测量设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行测量设备的各种功能和处理数据，从而对测量设备进行整体监控。可选的，处理器408可包括一个或多个处理核心；优选的，处理器408可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器408中。
测量设备还包括给各个部件供电的电源409(比如电池)，优选的，电源可以通过电源管理系统与处理器408逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，测量设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，测量设备中的处理器408会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器408来运行存储在存储器402中的应用程序，从而实现各种功能：
通过测量设备采集物体的物体图像；获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；获取测量设备采集物体图像时的设备位置；根据二维坐标位置和设备位置确定物体关键点的三维坐标位置；根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数；根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。
在一些实施方式中，在获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系时，处理器408还用于执行：获取训练后的目标检测网络和姿态估计网络，目标检测网络和姿态估计网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；将物体图像通过目标检测网络进行卷积操作，得到特征图；通过姿态估计网络基于特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
在一些实施方式中，在物体图像包括多张，将物体图像通过目标检测网络进行卷积操作，得到特征图时，处理器408还用于执行：将多张物体图像转换为灰度图像，得到多张灰度图像；将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像；计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像；将有效图像通过目标检测网络进行卷积操作，得到特征图。
在一些实施方式中，在物体图像包括多张，根据二维坐标位置和设备位置确定物体关键点的三维坐标位置时，处理器408还用于执行：从多张物体图像中选择一帧物体图像作为参考帧图像；将多张物体图像中除了参考帧之外的其他帧物体图像与参考帧图像组成图像组；根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。
在一些实施方式中，在根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置时，处理器408还用于执行：根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置，得到每组图像组对应的物体关键点的三维坐标位置；根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将三维关键点投影至二维平面，得到目标二维坐标位置；基于目标二维坐标位置，从每组图像组对应的物体关键点的三维坐标位置中，筛选出与二维坐标位置匹配度最高的三维坐标位置，得到物体关键点的三维坐标位置。
在一些实施方式中，在根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积时，处理器408还用于执行：获取测量设备采集物体图像过程中产生运动的真实运动参数；根据计算得到的运动参数与真实运动参数，确定物体的在物体图像中的像素尺寸和实际尺寸之间的比例关系；根据比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算物体的边长；根据物体的边长计算物体的体积。
在一些实施方式中，在通过测量设备采集物体的物体图像时，处理器408还用于执行：通过测量设备采集物体的当前物体图像，以及检测当前物体图像中物体的关键点位置；根据关键点位置生成预设参考模型；若当前物体图像中物体的预设边与预设参考模型重合，则获取测量设备沿着物体方向运动的运动参数；当运动参数满足预设条件时，通过测量设备采集物体的物体图像。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对物体体积测量方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种物体体积测量方法中的步骤。例如，该指令可以执行如下步骤：
通过测量设备采集物体的物体图像；获取物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；获取测量设备采集物体图像时的设备位置；根据二维坐标位置和设备位置确定物体关键点的三维坐标位置；根据设备位置，以及测量设备采集物体图像的时刻，计算测量设备的运动参数；根据运动参数、三维坐标位置和各个关键点之间的连接关系，计算物体的体积。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种物体体积测量方法中的步骤，因此，可以实现本申请实施例所提供的任一种物体体积测量方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种物体体积测量方法、装置、测量设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物体体积测量方法，其特征在于，包括：
通过测量设备采集物体的物体图像；
获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；
获取所述测量设备采集所述物体图像时的设备位置；
根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置；
根据所述设备位置，以及所述测量设备采集所述物体图像的时刻，计算所述测量设备的运动参数；
根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积。
2.根据权利要求1所述的物体体积测量方法，其特征在于，所述获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系包括：
获取训练后的目标检测网络和姿态估计网络，所述目标检测网络和姿态估计网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
将所述物体图像通过所述目标检测网络进行卷积操作，得到特征图；
通过姿态估计网络基于所述特征图提取物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系。
3.根据权利要求2所述的物体体积测量方法，其特征在于，所述物体图像包括多张，所述将所述物体图像通过所述目标检测网络进行卷积操作，得到特征图包括：
将多张物体图像转换为灰度图像，得到多张灰度图像；
将每张灰度图像与预设拉普拉斯核进行卷积操作，得到多张响应图像；
计算每张响应图像的方差，并筛选出方差大于或等于预设阈值所对应的物体图像，得到有效图像；
将所述有效图像通过所述目标检测网络进行卷积操作，得到特征图。
4.根据权利要求1所述的物体体积测量方法，其特征在于，所述物体图像包括多张，所述根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置包括：
从多张物体图像中选择一帧物体图像作为参考帧图像；
将多张物体图像中除了参考帧之外的其他帧物体图像与所述参考帧图像组成图像组；
根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置。
5.根据权利要求4所述的物体体积测量方法，其特征在于，所述根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置包括：
根据图像组内每张物体图像中物体关键点的二维坐标位置，以及图像组中每张物体图像被拍摄时的设备位置，确定物体关键点的三维坐标位置，得到每组图像组对应的物体关键点的三维坐标位置；
根据每组图像组对应的物体关键点的三维坐标位置以及对应的设备位置，将所述三维关键点投影至二维平面，得到目标二维坐标位置；
基于所述目标二维坐标位置，从每组图像组对应的物体关键点的三维坐标位置中，筛选出与所述二维坐标位置匹配度最高的三维坐标位置，得到物体关键点的三维坐标位置。
6.根据权利要求1至5任一项所述的物体体积测量方法，其特征在于，所述根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积包括：
获取所述测量设备采集所述物体图像过程中产生运动的真实运动参数；
根据计算得到的运动参数与所述真实运动参数，确定所述物体的在所述物体图像中的像素尺寸和实际尺寸之间的比例关系；
根据所述比例关系、物体关键点的三维坐标位置和各个关键点之间的连接关系计算所述物体的边长；
根据所述物体的边长计算所述物体的体积。
7.根据权利要求1至5任一项所述的物体体积测量方法，其特征在于，所述通过测量设备采集物体的物体图像包括：
通过测量设备采集物体的当前物体图像，以及检测所述当前物体图像中物体的关键点位置；
根据所述关键点位置生成预设参考模型；
若所述当前物体图像中物体的预设边与所述预设参考模型重合，则获取所述测量设备沿着所述物体方向运动的运动参数；
当所述运动参数满足预设条件时，通过所述测量设备采集所述物体的物体图像。
8.一种物体体积测量装置，其特征在于，包括：
图像采集模块，用于通过测量设备采集物体的物体图像；
关系获取模块，用于获取所述物体图像中物体关键点的二维坐标位置，以及确定各个关键点之间的连接关系；
位置获取模块，用于获取所述测量设备采集所述物体图像时的设备位置；
位置确定模块，用于根据所述二维坐标位置和设备位置确定所述物体关键点的三维坐标位置；
参数计算模块，用于根据所述设备位置，以及所述测量设备采集所述物体图像的时刻，计算所述测量设备的运动参数；
体积计算模块，用于根据所述运动参数、三维坐标位置和各个关键点之间的连接关系，计算所述物体的体积。
9.一种测量设备，其特征在于，包括处理器和存储器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行如权利要求1至7任一项所述的物体体积测量方法。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的物体体积测量方法。
CN201910430593.8A 2019-05-22 2019-05-22 物体体积测量方法、装置、测量设备及存储介质 Pending CN111986250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910430593.8A CN111986250A (zh) 2019-05-22 2019-05-22 物体体积测量方法、装置、测量设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910430593.8A CN111986250A (zh) 2019-05-22 2019-05-22 物体体积测量方法、装置、测量设备及存储介质

Publications (1)

Publication Number Publication Date
CN111986250A true CN111986250A (zh) 2020-11-24

Family

ID=73436401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910430593.8A Pending CN111986250A (zh) 2019-05-22 2019-05-22 物体体积测量方法、装置、测量设备及存储介质

Country Status (1)

Country Link
CN (1) CN111986250A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149658A (zh) * 2020-11-26 2020-12-29 科大讯飞(苏州)科技有限公司 目标物尺寸确定方法、系统、电子设备及存储介质
CN112683169A (zh) * 2020-12-17 2021-04-20 深圳依时货拉拉科技有限公司 物体尺寸测量方法、装置、设备及存储介质
CN112857219A (zh) * 2021-01-14 2021-05-28 青岛大学威海创新研究院 基于tof深度相机的体积测量方法及装置
CN113052525A (zh) * 2021-03-15 2021-06-29 江苏满运物流信息有限公司 货物体积预估方法、拼单方法、装置及电子设备
CN113222970A (zh) * 2021-05-31 2021-08-06 中邮信息科技(北京)有限公司 一种车辆装载率检测方法、装置、计算机设备和存储介质
CN115043120A (zh) * 2022-06-22 2022-09-13 一汽丰田汽车(成都)有限公司长春丰越分公司 高效的智能仓储系统及存储方法
CN115063789A (zh) * 2022-05-24 2022-09-16 中国科学院自动化研究所 基于关键点匹配的3d目标检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103822581A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
US20140363048A1 (en) * 2013-06-11 2014-12-11 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机
CN108717724A (zh) * 2018-04-02 2018-10-30 珠海格力电器股份有限公司 一种测量方法及装置
CN109186461A (zh) * 2018-07-27 2019-01-11 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法及测量设备
CN109443196A (zh) * 2018-09-28 2019-03-08 顺丰科技有限公司 一种体积测量方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140363048A1 (en) * 2013-06-11 2014-12-11 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
CN103822581A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
CN108537834A (zh) * 2018-03-19 2018-09-14 杭州艾芯智能科技有限公司 一种基于深度图像的体积测量方法、系统及深度相机
CN108717724A (zh) * 2018-04-02 2018-10-30 珠海格力电器股份有限公司 一种测量方法及装置
CN109186461A (zh) * 2018-07-27 2019-01-11 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法及测量设备
CN109443196A (zh) * 2018-09-28 2019-03-08 顺丰科技有限公司 一种体积测量方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵其杰;孟庆栩;张曦;卢建霞;屠大维;: "基于基准面提取的物料体积在线测量方法", 仪器仪表学报, no. 12 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149658A (zh) * 2020-11-26 2020-12-29 科大讯飞(苏州)科技有限公司 目标物尺寸确定方法、系统、电子设备及存储介质
CN112149658B (zh) * 2020-11-26 2021-03-26 科大讯飞(苏州)科技有限公司 目标物尺寸确定方法、系统、电子设备及存储介质
CN112683169A (zh) * 2020-12-17 2021-04-20 深圳依时货拉拉科技有限公司 物体尺寸测量方法、装置、设备及存储介质
US11335018B1 (en) 2021-01-14 2022-05-17 Weihai Innovation Institute, Qingdao University Volumetric measuring method and apparatus based on time-of-flight depth camera
CN112857219A (zh) * 2021-01-14 2021-05-28 青岛大学威海创新研究院 基于tof深度相机的体积测量方法及装置
WO2022105936A1 (zh) * 2021-01-14 2022-05-27 青岛大学威海创新研究院 基于飞行时间深度相机的体积测量方法及装置
CN113052525A (zh) * 2021-03-15 2021-06-29 江苏满运物流信息有限公司 货物体积预估方法、拼单方法、装置及电子设备
CN113052525B (zh) * 2021-03-15 2022-07-01 江苏满运物流信息有限公司 货物体积预估方法、拼单方法、装置及电子设备
CN113222970A (zh) * 2021-05-31 2021-08-06 中邮信息科技(北京)有限公司 一种车辆装载率检测方法、装置、计算机设备和存储介质
CN115063789A (zh) * 2022-05-24 2022-09-16 中国科学院自动化研究所 基于关键点匹配的3d目标检测方法及装置
CN115063789B (zh) * 2022-05-24 2023-08-04 中国科学院自动化研究所 基于关键点匹配的3d目标检测方法及装置
CN115043120A (zh) * 2022-06-22 2022-09-13 一汽丰田汽车(成都)有限公司长春丰越分公司 高效的智能仓储系统及存储方法
CN115043120B (zh) * 2022-06-22 2024-05-10 一汽丰田汽车(成都)有限公司长春丰越分公司 高效的智能仓储系统及存储方法

Similar Documents

Publication Publication Date Title
CN111986250A (zh) 物体体积测量方法、装置、测量设备及存储介质
KR102319207B1 (ko) 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
CN107818288B (zh) 标志牌信息获取方法及装置
CN106296617B (zh) 人脸图像的处理方法及装置
WO2020221012A1 (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
CN110070129B (zh) 一种图像检测方法、装置及存储介质
CN106780684B (zh) 一种动画效果实现方法及装置
US10963100B2 (en) Interactive object control method and apparatus, terminal, and computer-readable storage medium
CN111256676B (zh) 移动机器人定位方法、装置和计算机可读存储介质
CN105989572B (zh) 图片处理方法及装置
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
KR101848696B1 (ko) 위치 정보를 콜라주에 중첩시키는 방법, 단말기 및 서버
CN112541489A (zh) 图像检测方法、装置、移动终端及存储介质
CN110148167B (zh) 一种距离测量方法及终端设备
CN111986251A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN111981975B (zh) 物体体积测量方法、装置、测量设备及存储介质
CN110782530B (zh) 自动驾驶仿真系统中车辆信息的展示方法及装置
CN113780291A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN113762054A (zh) 图像识别方法、装置、设备及可读存储介质
CN111859549A (zh) 单一配置整车重量与重心信息的确定方法及相关设备
CN111738282A (zh) 一种基于人工智能的图像识别方法和相关设备
CN111681255B (zh) 一种对象识别方法和相关装置
CN112733573B (zh) 表格检测方法、装置、移动终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination