CN112150533A - 物体体积计算方法、装置、设备、及存储介质 - Google Patents
物体体积计算方法、装置、设备、及存储介质 Download PDFInfo
- Publication number
- CN112150533A CN112150533A CN201910573335.5A CN201910573335A CN112150533A CN 112150533 A CN112150533 A CN 112150533A CN 201910573335 A CN201910573335 A CN 201910573335A CN 112150533 A CN112150533 A CN 112150533A
- Authority
- CN
- China
- Prior art keywords
- image
- acquiring
- frame
- key points
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims description 54
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000001133 acceleration Effects 0.000 claims description 107
- 238000012549 training Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 11
- 238000007667 floating Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种物体体积计算方法、装置、设备及存储介质，本申请实施例通过获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接关系；根据所述多帧物体图像的关键点计算所述物体的尺度比；根据所述多帧物体图像的关键点获取所述物体的三维点云信息；根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。提高了计算物体体积的准确性。
Description
技术领域
本申请涉及数据处理技术领域，具体涉及一种物体体积计算方法、装置、 设备及存储介质。
背景技术
当前物流行业正处于向智能化精确化转变的大趋势下，如何以更低的成本 更高效地获取精准的信息，已经成为了行业一个迫切的需求。
在物流领域里，货物的重量与体积是最重要的计费数据。长期以来，物流 业在体积测量上仍然使用较原始的卷尺方式。当前有些智能软件解决方案，但 是现有的智能软件解决方案在测量过程中，计算真实货物的体积方法一般为直 接将反光的货物长度信号、宽度信号与高度信号，作为货物的货物长度信号、 宽度信号与高度信号，计算货物的体积，造成对货物的体积测量的准确度不高。
发明内容
本申请实施例提供一种物体体积计算方法、装置、设备及存储介质，可以 实现提高物体体积计算的准确性。
第一方面，本申请实施例提供了一种物体体积计算方法，包括：
获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接关系；
根据所述多帧物体图像的关键点计算所述物体的尺度比；
根据所述多帧物体图像的关键点获取所述物体的三维点云信息；
根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。
在一些实施方式中，所述获取每帧物体图像中的物体关键点以及连接关 系，包括：
获取训练后的Tiny-DSOD网络和CPM网络，所述Tiny-DSOD网络和CPM 网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
将所述物体图像通过训练后的Tiny-DSOD网络进行卷积操作，得到特征 图；
通过CPM网络基于所述特征图提取物体关键点以及连接关系。
在一些实施方式中，所述将所述物体图像通过训练后的所述Tiny-DSOD 网络进行卷积操作，得到特征图之前，还包括：
将所述Tiny-DSOD网络中的32位的二进制浮点型数据转变为8位的二进制 整型数据，得到转变后的Tiny-DSOD网络；
将转变后的Tiny-DSOD网络作为训练后的Tiny-DSOD网络。
在一些实施方式中，所述根据所述尺度比、连接关系以及三维点云信息计 算所述物体的体积，包括：
根据所述三维点云信息和连接关系获取所述物体在多帧物体图像中的边 长；
根据尺度比、所述物体在多帧物体图像中的边长计算所述多帧物体图像中 的物体的体积。
在一些实施方式中，所述获取多帧物体图像之后，还包括：
获取预设的图像尺寸；
将所述多帧物体图像按照所述预设的图像尺寸进行缩放，获得缩放后的多 帧物体图像；
所述获取每帧物体图像中的物体关键点以及连接关系包括：
获取缩放后的每帧物体图像中的物体关键点以及连接关系。
在一些实施方式中，所述获取多帧物体图像，包括：
获取包括物体图像的视频；
将所述视频中的模拟信号转化为处于压缩状态的图像信号；
对所述处于压缩状态的图像信号进行解压缩，获得所述视频的多帧物体图 像。
在一些实施方式中，所述根据所述多帧物体图像的关键点计算所述物体的 尺度比，包括：
获取采集物体图像各时刻对应的第一加速度；
基于所述多帧物体图像的关键点及采集物体图像的时刻，计算第二加速 度；
基于时刻匹配所述第一加速度和所述第二加速度，并根据匹配后的所述第 一加速度和所述第二加速度计算尺度比。
第二方面，本申请实施例还提供了一种物体体积计算装置，包括：
第一获取单元，用于获取多帧物体图像，并获取每帧物体图像中的物体关 键点以及连接关系；
第一计算单元，用于根据所述多帧物体图像的关键点计算所述物体的尺度 比；
第二获取单元，用于根据所述多帧物体图像的关键点获取所述物体的三维 点云信息；
第二计算单元，用于根据所述尺度比、连接关系以及三维点云信息计算所 述物体的体积。
在一些实施方式中，所述第一获取单元，包括：
第一获取子单元，用于获取训练后的Tiny-DSOD网络和CPM网络，所述 Tiny-DSOD网络和CPM网络是基于按顺序标注的物体关键点及其连接关系的 样本图像进行训练得到；
卷积子单元，用于将所述物体图像通过训练后的Tiny-DSOD网络进行卷 积操作，得到特征图；
提取子单元，用于通过CPM网络基于所述特征图提取物体关键点以及连 接关系。
在一些实施方式中，所述第一获取单元，还包括：
转变子单元，用于将所述Tiny-DSOD网络中的32位的二进制浮点型数据转 变为8位的二进制整型数据，得到转变后的Tiny-DSOD网络；将转变后的 Tiny-DSOD网络作为训练后的Tiny-DSOD网络。
在一些实施方式中，所述第二计算单元，包括：
第二获取子单元，用于根据所述三维点云信息和连接关系获取所述物体在 多帧物体图像中的边长；
第一计算子单元，用于根据尺度比、所述物体在多帧物体图像中的边长计 算所述多帧物体图像中的物体的体积。
在一些实施方式中，所述第一获取单元，还包括：
第三获取子单元，用于获取预设的图像尺寸；
缩放子单元，用于将所述多帧物体图像按照所述预设的图像尺寸进行缩 放，获得缩放后的多帧物体图像；
所述获取单元还包括：
第四获取子单元，用于获取缩放后的每帧物体图像中的物体关键点以及连 接关系。
在一些实施方式中，所述获取单元，还包括：
第五获取子单元，用于获取包括物体图像的视频；
将所述视频中的模拟信号转化为处于压缩状态的图像信号；
解压缩子单元，用于对所述处于压缩状态的图像信号进行解压缩，获得所 述视频的多帧物体图像。
在一些实施方式中，所述第一计算单元，包括：
第六获取子单元，用于获取采集物体图像各时刻对应的第一加速度；
第二计算子单元，用于基于所述多帧物体图像的关键点及采集物体图像的 时刻，计算第二加速度；基于时刻匹配所述第一加速度和所述第二加速度，并 根据匹配后的所述第一加速度和所述第二加速度计算尺度比。
第三方面，本申请实施例还提供了一种设备，包括处理器和存储器，所述 存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行如 上所述的物体体积计算方法。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质存储有多 条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的物体体积 计算方法。
本申请实施例通过获取多帧物体图像，并获取每帧物体图像中的物体关键 点以及连接关系；根据所述多帧物体图像的关键点计算所述物体的尺度比；根 据所述多帧物体图像的关键点获取所述物体的三维点云信息；根据所述尺度 比、连接关系以及三维点云信息计算所述物体的体积。本方案通过终端中拍摄 模块连续拍摄得到的多帧物体图像计算物体的尺度比，从而对物体的体积进行 了精确的还原，对每帧物体图像进行物体的关键点提取，获得每帧物体图像中 的物体关键点以及连接关系，根据物体关键点获取物体关键点的三维点云信 息，根据尺度比、连接关系以及三维点云信息计算所述物体的体积，从而对物 体的体积进行了精确的还原；提高了计算物体体积的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请 的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其他的附图。
图1是本申请实施例提供的物体体积计算的流程示意图；
图2是本申请实施例提供的物体体积计算方法的另一流程示意图
图3是本申请实施例提供的物体体积计算装置的结构示意图；
图4是本申请实施例提供的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是 全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请一实施例提供的物体体积计算方法的流程示意 图。该物体体积计算方法的执行主体可以是本申请实施例提供的物体体积计算 装置，或者集成了该物体体积计算装置的设备，比如终端或服务器等，其中， 该物体体积计算方法可以采用硬件或者软件的方式实现，该设备可以是安装有 摄像头像头和IMU(Inertialmeasurement unit，惯性测量模块)的智能手机、 平板电脑、掌上电脑、或者笔记本电脑、固定电脑，服务器等等。该物体体积 计算方法可以包括：
S101，获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接 关系。
具体地，本实施例可应用于对货物、箱体等体积进行计算过程。在用于对 箱体进行体积进行计算时，可通过终端中的拍摄模块获取包括箱体的多帧物体 图像。进一步地，为了提高后续计算尺度比的精确度，包括箱体的多帧物体图 像，可通过终端中的拍摄模块拍摄箱体视频，然后进行解析得到。然后获取每 帧物体图像中的物体关键点以及连接关系。对获取到的多帧物体图像中的每帧 中包含的物体进行关键点提取，得到每帧物体图像对应的关键点。具体可通过 训练好的网络，对每帧物体图像进行物体的关键点提取，以及获取连接关系， 比如目标检测网络和姿态估计网络，目标检测网络和姿态估计网络是基于按顺 序标注的物体关键点的样本图像进行训练得到；将物体图像通过目标检测网络 进行卷积操作，得到特征图；通过姿态估计网络基于特征图提取物体关键点以 及连接关系。
即具体地，步骤S101包括：
获取训练后的Tiny-DSOD网络和CPM网络，所述Tiny-DSOD网络和CPM 网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
将所述物体图像通过训练后的Tiny-DSOD网络进行卷积操作，得到特征 图；
通过CPM网络基于所述特征图提取物体关键点。
其中，Tiny-DSOD网络和CPM网络的训练可在终端中进行，或在其他设 备中进行训练好之后，终端直接进行获取。当在终端中进行训练时，终端可以 获取多张物体样本图像，该物体样本图像中可以标注有物体顶点的二维坐标位 置和各个顶点之间的连接关系，该物体顶点的二维坐标位置即为真实的二维坐 标位置。然后，利用Tiny-DSOD网络和CPM网络计算每张物体样本图像中物体 顶点的二维坐标位置，得到预测的二维坐标位置和各个顶点之间的连接关系。 此时，可以将真实的二维坐标位置和各个顶点之间的连接关系(即真实值)， 与预测的二维坐标位置和各个顶点之间的连接关系(即预测值)进行收敛，通 过调整Tiny-DSOD网络和CPM网络的参数至合适数值，以降低真实值与预测值 之间的误差，便可得到训练后的Tiny-DSOD网络和训练后的CPM网络。其中， 该Tiny-DSOD网络和CPM网络可以串联为监督式学习网络。
终端可以将筛选出的多张物体图像通过训练后的Tiny-DSOD网络和训练 后的CPM网络进行处理。例如，将物体图像通过Tiny-DSOD网络进行卷积操作， 得到特征图，例如，将物体图像经过Tiny-DSOD网络的7层深度可分离卷积进 行卷积操作，得到特征图。然后，通过CPM网络基于特征图提取箱体顶点的二 维坐标位置，以及确定各个顶点之间的连接关系。
进一步地，为了减少图像数据的计算量，将所述物体图像通过训练后的所 述Tiny-DSOD网络进行卷积操作，得到特征图之前，还包括：
将所述Tiny-DSOD网络中的32位的二进制浮点型数据转变为8位的二进制 整型数据，得到转变后的Tiny-DSOD网络；
将转变后的Tiny-DSOD网络作为训练后的Tiny-DSOD网络。
进一步地，在前述基础上，可将TINY-DSOD基础网络模型中的32位的二 进制浮点型数据转变为8位的二进制整型数据，然后采用转变之后的 INY-DSOD基础网络模型提取关键点。由于将相关的32位的二进制浮点型数据 转变为8位的二进制整型数据，数据位数减少，计算量减少，有利于从总体上 提高箱体体积的计算效率。本申请可采用CNN(Convolutional Neural Networks, 卷积神经网络)框架将TINY-DSOD基础网络模型的float32位计算转为int8计 算。
进一步地，步骤S101可以包括：
获取所述终端中拍摄模块拍摄得到的视频；
将所述视频中的模拟信号转化为处于压缩状态的图像信号；
对所述处于压缩状态的图像信号进行解压缩，获得所述视频的多帧物体图 像。
在本发明实施例中，为了提高计算多帧物体图像中的物体体积的精准度， 在拍摄物体时，可在终端中设置拍摄条件。比如，在终端以预设角度开始拍摄 物体或者场景后，在拍摄过程中拍摄角度的变化较小，拍摄方式为垂直推拉的 方式，后续计算图像的物体体积的准确性越高，因此可设置终端拍摄视频的角 度以及在拍摄视频时已垂直推拉的方式进行拍摄。在拍摄过程中，若检测到拍 摄角度与设置的拍摄角度不符时，或检测到拍摄方式不是垂直推拉的方式时， 可向用户发送提示信息，提示用户进行调整。进一步地，终端获取到的图像通 常并不是1：1的图像；而且为了方便将物体的整个整体放入图像中，可设置终端拍摄视频时画面的大小，比如设置为640*480或其他尺寸等，用户在进行拍 摄时，直接进行拍摄即可，不需要进行调整。
由于需要对连续的多帧图像进行分析，从而获得物体的第二加速度，因此， 在视频拍摄时，采用模拟视频信号进行拍摄。在获取得到终端中拍摄模块拍摄 得到的视频之后，将视频中的模拟信号由电信号转化为处于压缩状态的图像信 号的工作。在本发明实施例的方案中，可以根据实际情况选取实现视频的模拟 信号到图像信号的转换的方法，对于具体的转换方法和算法不做限制。通过该 步骤的转换工作，便可以获得视频的图像信号了，但该图像信号是处于压缩状 态的，需要进一步对该压缩状态的图像信号进行解压缩，即可获得视频的多帧 物体图像，对于具体的解压缩方法和算法不做限制。
在获得多帧物体图像之后，为了提高计算物体体积的精确度，可先对多帧 物体图像进行缩放处理，具体地，获取多帧物体图像之后，还包括：
获取预设的图像尺寸；
将所述多帧物体图像按照所述预设的图像尺寸进行缩放，获得缩放后的多 帧物体图像；
所述获取每帧物体图像中的物体关键点以及连接关系包括：
获取缩放后的每帧物体图像中的物体关键点以及连接关系。
获取预设的图像尺寸，将处理后的多帧物体图像的尺寸与预设的图像尺寸 相比，若处理后的多帧物体图像的尺寸大于预设的图像尺寸，则将处理后的多 帧物体图像的图像等比例缩小至预设的图像尺寸。若处理后的多帧物体图像的 尺寸小于预设的图像尺寸，则将处理后的多帧物体图像的图像等比例放大至预 设的图像尺寸。比如在实际应用场景中，TINY-DSOD基础网络模型通常处理 的二维图像的长宽之比为1：1，下面以预定比例为1：1为例进行描述。
以物体图像的长宽之比为640*480、TINY-DSOD基础网络模型处理的物体 图像的长宽尺寸为368*368为例，先将物体图像的长边尺寸由640缩小到368， 再将物体图像的短边尺寸按照长边缩小比例(即640/368)缩小，此时缩小后 的物体图像的长宽比仍非1：1。接着在该物体图像的短边方向上进行扩充，扩 充部分的像素在RGB三个通道上的灰度值均为一预定值，例如128，直至物体 图像的短边到达368。通过上述操作得到长宽之比为1：1的多帧物体图像。
步骤S102，根据所述多帧物体图像的关键点计算所述物体的尺度比；
具体可根据采集物体图像各时刻对应的第一加速度，以及基于多帧物体图 像的关键点及采集物体图像的时刻，计算第二加速度，基于时刻匹配所述第一 加速度和所述第二加速度，并根据匹配后的所述第一加速度和所述第二加速度 计算尺度比。
即步骤S102具体可包括：
获取采集物体图像各时刻对应的第一加速度；
基于所述多帧物体图像的关键点及采集物体图像的时刻，计算第二加速 度；
基于时刻匹配所述第一加速度和所述第二加速度，并根据匹配后的所述第 一加速度和所述第二加速度计算尺度比。
具体可通过终端中的拍摄模块获取包括箱体的多帧物体图像，该拍摄模块 可以是终端预置的摄像头或相机等。以及终端中惯性测量模块(IMU，Inertial measurementunit)采集加速度，得到第一加速度，或者通过终端中预置的加 速度传感器采集加速度，得到第一加速度。进一步地，为了提高计算多帧图像 的第二加速度的精准度，包括箱体的多帧物体图像，可通过终端中的拍摄模块 拍摄箱体视频，然后进行解析得到。获取终端中惯性测量模块采集得到的第一 加速度，其中惯性测量单元，是测量物体三轴姿态角(或角速率)以及加速度的 装置，因此从终端的IMU直接获取终端拍摄模块进行拍摄时的第一加速度即 可。在获取得到IMU采集的第一加速度之后，由于主要为获取拍摄模块进行拍 摄对应的每个时刻在IMU坐标系下的三维正交方向上的加速度数据，因此可通 过低通滤波器对获取到的加速度数据进行处理，过滤掉冗余数据。
根据每帧物体图像对应的关键点，对每相邻两帧图像之间的位移值进行计 算。具体根据关键点选取多帧物体图像中每两帧物体图像之间的配对点，比如 选取A物体图像与B物体图像之间的配对点，以及配对点的像素坐标，其中， 像素坐标可通过在物体图像中建立坐标系获得。然后根据配对点以及像素坐标 计算配对点的数值矩阵；并根据配对点的数值矩阵计算配对点的移动值；根据 移动值以及每相邻两帧物体图像之间的拍摄时刻的差值，计算第二加速度。
获得第二加速度之后，进一步获取IMU采集第一加速度时的各个时刻，然 后将第二加速度对应的各个时刻与IMU采集第一加速度时的各个时刻进行匹 配，当匹配到一致的时刻时，将时刻一致的第一加速度与第二加速度进行相除， 即可获得当前时刻的尺度比。即提取第一加速度中每个第一加速度采集时所对 应的各个时刻，以及拍摄模块拍摄多帧物体图像时的各个时刻；通过第一加速 度中每个第一加速度采集时所对应的各个时刻的时间戳，以拍摄模块拍摄多帧 物体图像时的各个时刻的时间戳，进行时刻匹配，得到各个时刻的加速度比值。 提取第一加速度中每个第一加速度采集时所对应的各个时刻，以及拍摄模块拍 摄多帧物体图像时的各个时刻，将第一加速度中每个第一加速度采集时所对应的各个时刻的时间戳，与拍摄模块拍摄多帧物体图像时的各个时刻的时间戳， 进行时刻匹配，将同一时刻的第一加速度与第二加速度进行相除，即可得到各 个时刻的加速度比值，即尺度比。
S103，根据所述多帧物体图像的关键点获取所述物体的三维点云信息。
在得到每帧物体图像中的物体关键点以及连接关系之后，。可根据每帧物 体图像中的物体关键点获取物体的三维点云信息，具体可通过实时匹配和并行 局部物体图像的方式进行视觉跟踪，得到视觉位姿，可通过ORB算法实时匹 配和位姿估计，以及对多帧物体图像进行并行局部物体图像的维护和建图的方 式进行视觉跟踪，进而得到视觉位姿；进一步获取惯性测量模块的加速度和角 速度，并对加速度和角速度值进行积分运算，得到惯性测量模块的位姿预测结 果；根据视觉位姿以及位姿预测结果获得物体的三维点云信息。
S104，根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。
然后通过连接关系以及三维点云信息，将关键点进行相连。即可获得三维 模型的边长，并将边长与三维尺度比相乘，即可获得物体的真实边长，并根据 真实边长计算物体体积。
即步骤S104包括：
根据所述三维点云信息和连接关系获取所述物体在多帧物体图像中的边 长；
根据尺度比、所述物体在多帧物体图像中的边长计算所述多帧物体图像中 的物体的体积。
根据三维点云信息和连接关系将关键点进行相连，即可获物体在多帧物体 图像中的边长；将边长与所述三维尺度比相乘，获得真实边长；根据真实边长 计算所述多帧物体图像中的物体真实体积，具体可将真实边长进行相乘，即可 获得物体的真实体积。
本实施例通过获取多帧物体图像，并获取每帧物体图像中的物体关键点以 及连接关系；根据所述多帧物体图像的关键点计算所述物体的尺度比；根据所 述多帧物体图像的关键点获取所述物体的三维点云信息；根据所述尺度比、连 接关系以及三维点云信息计算所述物体的体积。本方案通过终端中拍摄模块连 续拍摄得到的多帧物体图像计算物体的尺度比，从而对物体的体积进行了精确 的还原，对每帧物体图像进行物体的关键点提取，获得每帧物体图像中的物体 关键点以及连接关系，根据物体关键点获取物体关键点的三维点云信息，根据 尺度比、连接关系以及三维点云信息计算所述物体的体积，从而对物体的体积 进行了精确的还原；提高了计算物体体积的准确性。
根据上述实施例所描述的物体体积计算方法，以下将作进一步详细说明。 本实施例以终端为手机，物体为箱体进行描述计算箱体体积的方法。
请参阅图2，图2为本申请实施例提供的物体体积计算方法的又一流程图。
S201，获取手机中的相机拍摄得到的箱体视频。
在本发明实施例中，为了提高计算多帧箱体图像中的箱体体积的效率，在 拍摄箱体时，可在手机中设置拍摄条件。比如，比如，在手机以预设角度开始 拍摄箱体或者场景后，在拍摄过程中拍摄角度的变化较小，拍摄方式为垂直推 拉的方式，后续计算图像的箱体体积的准确性越高，因此可设置手机拍摄视频 的角度以及在拍摄视频时已垂直推拉的方式进行拍摄。在拍摄过程中，若检测 到拍摄角度与设置的拍摄角度不符时，或检测到拍摄方式不是垂直推拉的方式 时，可向用户发送提示信息，提示用户进行调整。进一步地，手机获取到的图 像通常并不是1：1的图像；而且为了方便将箱体的整个整体放入图像中，可设 置手机拍摄视频时画面的大小，比如设置为640*480或其他尺寸等，用户在进 行拍摄时，直接进行拍摄即可，不需要进行调整。
S202，将箱体视频中的模拟信号转化为处于压缩状态的图像信号。
S203，对处于压缩状态的图像信号进行解压缩，获得视频的多帧箱体图像。
由于需要对连续的多帧图像进行分析，因此，在视频拍摄时，采用模拟视 频信号进行拍摄。在获取得到手机中拍摄模块拍摄得到的视频之后，将视频中 的模拟信号由电信号转化为处于压缩状态的图像信号，在本发明实施例的方案 中，可以根据实际情况灵活选取实现视频的模拟信号到图像信号的转换的方 法，对于具体的转换方法和算法不做限制。通过该步骤的转换工作，便可以获 得视频的图像信号了，但该图像信号是处于压缩状态的，需要进一步对该压缩 状态的图像信号进行解压缩，即可获得视频的多帧箱体图像，可以根据实际情 况灵活选取实现对该压缩状态的图像信号进行解压缩方法，对于具体的解压缩 方法和算法不做限制。
S204，获取预设的图像尺寸。
S205，将所述多帧箱体图像按照所述预设的图像尺寸进行缩放，获得缩放 后的多帧箱体图像。
获取预设的图像尺寸，将处理后的多帧箱体图像的尺寸与预设的图像尺寸 相比，若处理后的多帧箱体图像的尺寸大于预设的图像尺寸，则将处理后的多 帧箱体图像的图像等比例缩小至预设的图像尺寸。若处理后的多帧箱体图像的 尺寸小于预设的图像尺寸，则将处理后的多帧箱体图像的图像等比例放大至预 设的图像尺寸。比如在实际应用场景中，TINY-DSOD基础网络模型通常处理 的二维图像的长宽之比为1：1，下面以预定比例为1：1为例进行描述。
以箱体图像的长宽之比为640*480、TINY-DSOD基础网络模型处理的箱体 图像的长宽尺寸为368*368为例，先将箱体图像的长边尺寸由640缩小到368， 再将箱体图像的短边尺寸按照长边缩小比例(即640/368)缩小，此时缩小后 的箱体图像的长宽比仍非1：1。接着在该箱体图像的短边方向上进行扩充，扩 充部分的像素在RGB三个通道上的灰度值均为一预定值，例如128，直至箱体 图像的短边到达368。通过上述操作得到长宽之比为1：1的多帧箱体图像。
S206，获取训练后的Tiny-DSOD网络和CPM网络，所述Tiny-DSOD网络 和CPM网络是基于按顺序标注的箱体关键点及其连接关系的样本图像进行训 练得到；
S207，将所述Tiny-DSOD网络中的32位的二进制浮点型数据转变为8位的 二进制整型数据，得到转变后的Tiny-DSOD网络；
S208，将转变后的Tiny-DSOD网络作为训练后的Tiny-DSOD网络。
S209，将所述箱体图像通过训练后的Tiny-DSOD网络进行卷积操作，得 到特征图；
S210，通过CPM网络基于所述特征图提取箱体关键点以及连接关系。
然后获取每帧箱体图像中的箱体关键点以及连接关系。对获取到的多帧箱 体图像中的每帧中包含的箱体进行关键点提取，得到每帧箱体图像对应的关键 点。具体可通过Tiny-DSOD网络和CPM网络，进行关键点提取，以及获取连 接关系，其中，Tiny-DSOD网络和CPM网络的训练可在终端中进行，或在其 他设备中进行训练好之后，终端直接进行获取。当在终端中进行训练时，终端 可以获取多张箱体样本图像，该箱体样本图像中可以标注有箱体顶点的二维坐 标位置和各个顶点之间的连接关系，该箱体顶点的二维坐标位置即为真实的二 维坐标位置。然后，利用Tiny-DSOD网络和CPM网络计算每张箱体样本图像中 箱体顶点的二维坐标位置，得到预测的二维坐标位置和各个顶点之间的连接关 系。此时，可以将真实的二维坐标位置和各个顶点之间的连接关系(即真实值)， 与预测的二维坐标位置和各个顶点之间的连接关系(即预测值)进行收敛，通 过调整Tiny-DSOD网络和CPM网络的参数至合适数值，以降低真实值与预测值 之间的误差，便可得到训练后的Tiny-DSOD网络和训练后的CPM网络。其中， 该Tiny-DSOD网络和CPM网络可以串联为监督式学习网络。
进一步地，在前述基础上，可将TINY-DSOD基础网络模型中的32位的二 进制浮点型数据转变为8位的二进制整型数据，然后采用转变之后的 INY-DSOD基础网络模型提取关键点。由于将相关的32位的二进制浮点型数据 转变为8位的二进制整型数据，数据位数减少，计算量减少，有利于从总体上 提高箱体体积的计算效率。本申请可采用CNN(Convolutional Neural Networks, 卷积神经网络)框架将TINY-DSOD基础网络模型的float32位计算转为int8计 算。
终端可以将筛选出的多张箱体图像通过训练后的Tiny-DSOD网络和训练 后的CPM网络进行处理。例如，将箱体图像通过Tiny-DSOD网络进行卷积操作， 得到特征图，例如，将箱体图像经过Tiny-DSOD网络的7层深度可分离卷积进 行卷积操作，得到特征图。然后，通过CPM网络基于特征图提取箱体顶点的二 维坐标位置，以及确定各个顶点之间的连接关系。
S211，获取采集箱体图像各时刻对应的第一加速度。
S212，基于所述多帧箱体图像的关键点及采集箱体图像的时刻，计算第二 加速度。
S213，基于时刻匹配所述第一加速度和所述第二加速度，并根据匹配后的 所述第一加速度和所述第二加速度计算尺度比。
具体可通过终端中的拍摄模块获取包括箱体的多帧箱体图像，该拍摄模块 可以是终端预置的摄像头或相机等。以及终端中惯性测量模块(IMU，Inertial measurementunit)采集加速度，得到第一加速度，或者通过终端中预置的加 速度传感器采集加速度，得到第一加速度。进一步地，为了提高计算多帧图像 的第二加速度的精准度，包括箱体的多帧箱体图像，可通过终端中的拍摄模块 拍摄箱体视频，然后进行解析得到。获取终端中惯性测量模块采集得到的第一 加速度，其中惯性测量单元，是测量箱体三轴姿态角(或角速率)以及加速度的 装置，因此从终端的IMU直接获取终端拍摄模块进行拍摄时的第一加速度即 可。在获取得到IMU采集的第一加速度之后，由于主要为获取拍摄模块进行拍 摄对应的每个时刻在IMU坐标系下的三维正交方向上的加速度数据，因此可通 过低通滤波器对获取到的加速度数据进行处理，过滤掉冗余数据。
根据每帧箱体图像对应的关键点，对每相邻两帧图像之间的位移值进行计 算。具体根据关键点选取多帧箱体图像中每两帧箱体图像之间的配对点，比如 选取A箱体图像与B箱体图像之间的配对点，以及配对点的像素坐标，其中， 像素坐标可通过在箱体图像中建立坐标系获得。然后根据配对点以及像素坐标 计算配对点的数值矩阵；并根据配对点的数值矩阵计算配对点的移动值；根据 移动值以及每相邻两帧箱体图像之间的拍摄时刻的差值，计算第二加速度。
获得第二加速度之后，进一步获取IMU采集第一加速度时的各个时刻，然 后将第二加速度对应的各个时刻与IMU采集第一加速度时的各个时刻进行匹 配，当匹配到一致的时刻时，将时刻一致的第一加速度与第二加速度进行相除， 即可获得当前时刻的尺度比。即提取第一加速度中每个第一加速度采集时所对 应的各个时刻，以及拍摄模块拍摄多帧箱体图像时的各个时刻；通过第一加速 度中每个第一加速度采集时所对应的各个时刻的时间戳，以拍摄模块拍摄多帧 箱体图像时的各个时刻的时间戳，进行时刻匹配，得到各个时刻的加速度比值。 提取第一加速度中每个第一加速度采集时所对应的各个时刻，以及拍摄模块拍 摄多帧箱体图像时的各个时刻，将第一加速度中每个第一加速度采集时所对应的各个时刻的时间戳，与拍摄模块拍摄多帧箱体图像时的各个时刻的时间戳， 进行时刻匹配，将同一时刻的第一加速度与第二加速度进行相除，即可得到各 个时刻的加速度比值，即尺度比。
S214，根据所述三维点云信息和连接关系获取所述箱体在多帧箱体图像中 的边长。
S215，根据尺度比、所述箱体在多帧箱体图像中的边长计算所述多帧箱体 图像中的箱体的体积。
根据三维点云信息和连接关系将关键点进行相连，即可获箱体在多帧箱体 图像中的边长；将边长与所述三维尺度比相乘，获得真实边长；根据真实边长 计算所述多帧箱体图像中的箱体真实体积，具体可将真实边长进行相乘，即可 获得箱体的真实体积。
本方案通过手机中拍摄模块连续拍摄得到的多帧箱体图像，获取每帧箱体 图像中的箱体关键点以及连接关系，根据多帧箱体图像的关键点计算箱体的尺 度比；根据多帧箱体图像的关键点获取箱体的三维点云信息；根据尺度比、连 接关系以及三维点云信息计算所述箱体的体积，从而对箱体的体积进行了精确 的还原；提高了计算箱体体积的准确性。
为便于更好的实施本申请实施例提供的物体体积计算方法，本申请实施例 还提供一种基于上述物体体积计算装置。其中名词的含义与上述物体体积计算 方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图3，图3为本申请实施例提供的物体体积计算装置的结构示意图， 其中该物体体积计算装置可以包括第一获取单元301、提取单元302、第一计算 单元303、第二获取单元304以及第二计算单元305等。
具体地，物体体积计算装置包括：
第一获取单元，用于获取多帧物体图像，并获取每帧物体图像中的物体关 键点以及连接关系；
第一计算单元，用于根据所述多帧物体图像的关键点计算所述物体的尺度 比；
第二获取单元，用于根据所述多帧物体图像的关键点获取所述物体的三维 点云信息；
第二计算单元，用于根据所述尺度比、连接关系以及三维点云信息计算所 述物体的体积。
在一些实施方式中，所述第一获取单元，包括：
第一获取子单元，用于获取训练后的Tiny-DSOD网络和CPM网络，所述 Tiny-DSOD网络和CPM网络是基于按顺序标注的物体关键点及其连接关系的 样本图像进行训练得到；
卷积子单元，用于将所述物体图像通过训练后的Tiny-DSOD网络进行卷 积操作，得到特征图；
提取子单元，用于通过CPM网络基于所述特征图提取物体关键点以及连 接关系。
在一些实施方式中，所述第一获取单元，还包括：
转变子单元，用于将所述Tiny-DSOD网络中的32位的二进制浮点型数据转 变为8位的二进制整型数据，得到转变后的Tiny-DSOD网络；将转变后的 Tiny-DSOD网络作为训练后的Tiny-DSOD网络。
在一些实施方式中，所述第二计算单元，包括：
第二获取子单元，用于根据所述三维点云信息和连接关系获取所述物体在 多帧物体图像中的边长；
第一计算子单元，用于根据尺度比、所述物体在多帧物体图像中的边长计 算所述多帧物体图像中的物体的体积。
在一些实施方式中，所述第一获取单元，还包括：
第三获取子单元，用于获取预设的图像尺寸；
缩放子单元，用于将所述多帧物体图像按照所述预设的图像尺寸进行缩 放，获得缩放后的多帧物体图像；
所述获取单元还包括：
第四获取子单元，用于获取缩放后的每帧物体图像中的物体关键点以及连 接关系。
在一些实施方式中，所述获取单元，还包括：
第五获取子单元，用于获取包括物体图像的视频；
将所述视频中的模拟信号转化为处于压缩状态的图像信号；
解压缩子单元，用于对所述处于压缩状态的图像信号进行解压缩，获得所 述视频的多帧物体图像。
在一些实施方式中，所述第一计算单元，包括：
第六获取子单元，用于获取采集物体图像各时刻对应的第一加速度；
第二计算子单元，用于基于所述多帧物体图像的关键点及采集物体图像的 时刻，计算第二加速度；基于时刻匹配所述第一加速度和所述第二加速度，并 根据匹配后的所述第一加速度和所述第二加速度计算尺度比。
其中，以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
图4示出了本发明实施例提供的设备的具体结构框图，该设备可以用于实 施上述实施例中提供的物体体积计算方法。该设备400可以为智能手机或平板 电脑等。
如图4所示，设备400可以包括RF(Radio Frequency，射频)电路110、 包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器120、 输入单元130、显示单元140、传输模块170、包括有一个或者一个以上(图 中仅示出一个)处理核心的处理器180以及电源190等部件。本领域技术人员 可以理解，图4中示出的设备400结构并不构成对设备400的限定，可以包括 比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110用于接收以及发送电磁波，实现电磁波与电信号的相互转换， 从而与通讯网络或者其他设备进行通讯。RF电路110可包括各种现有的用于 执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密 /解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路110可与各种网 络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进 行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述 的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技 术(Enhanced Data GSM Environment，EDGE)，宽带码分多址技术(Wideband Code DivisionMultiple Access，WCDMA)，码分多址技术(Code Division Access，CDMA)、时分多址技术(Time Division Multiple Access，TDMA)， 无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标 准IEEE 802.11a，IEEE 802.11b，IEEE802.11g和/或IEEE 802.11n)、网络电 话(Voice over Internet Protocol，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及 短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开 发出来的协议。
存储器120可用于存储软件程序以及模块，如上述实施例中物体体积计算 方法的程序指令/模块，处理器180通过运行存储在存储器120内的软件程序 以及模块，从而执行各种功能应用以及数据处理，即实现物体体积计算的功能。 存储器120可包括高速随机存储器，还可包括非易失性存储器，如一个或者多 个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储 器120可进一步包括相对于处理器180远程设置的存储器，这些远程存储器可 以通过网络连接至设备400。上述网络的实例包括但不限于互联网、企业内部 网、局域网、移动通信网及其组合。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以 及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地， 输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也 称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户 使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131 附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表 面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触 摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处 理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻 式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表 面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备 132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、 轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及设 备400的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视 频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采 用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131 可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传 送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型 在显示面板141上提供相应的视觉输出。虽然在图4中，触敏表面131与显示 面板141是作为两个独立的部件来实现输入和输出功能，但是在某些实施例 中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
设备400通过传输模块170(例如Wi-Fi模块)可以帮助用户收发电子邮 件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽 然图4示出了传输模块170，但是可以理解的是，其并不属于设备400的必须 构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是设备400的控制中心，利用各种接口和线路连接整个手机的 各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及 调用存储在存储器120内的数据，执行设备400的各种功能和处理数据，从而 对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；在一 些实施例中，处理器180可集成应用处理器和调制解调处理器，其中，应用处 理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无 线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
设备400还包括给各个部件供电的电源190(比如电池)，在一些实施例 中，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系 统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一 个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者 逆变器、电源状态指示器等任意组件。
具体在本实施例中，设备400的显示单元140是触摸屏显示器，设备400 还包括有存储器120，以及一个或者一个以上的程序，其中一个或者一个以上 程序存储于存储器120中，且经配置以由一个或者一个以上处理器180执行一 个或者一个以上程序包含用于进行以下操作的指令：
获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接关系；
根据所述多帧物体图像的关键点计算所述物体的尺度比；
根据所述多帧物体图像的关键点获取所述物体的三维点云信息；
根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见上文针对物体体积计算方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步 骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储 于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能 够被处理器进行加载，以执行本申请实施例所提供的任一种物体体积计算方法 中的步骤。例如，该指令可以执行如下步骤：
获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接关系；
根据所述多帧物体图像的关键点计算所述物体的尺度比；
根据所述多帧物体图像的关键点获取所述物体的三维点云信息；
根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、 随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种 物体体积计算方法中的步骤，因此，可以实现本申请实施例所提供的任一种物 体体积计算方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种物体体积计算方法、装置、设备及存储 介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行 了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同 时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围 上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种物体体积计算方法，其特征在于，包括：
获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接关系；
根据所述多帧物体图像的关键点计算所述物体的尺度比；
根据所述多帧物体图像的关键点获取所述物体的三维点云信息；
根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。
2.根据权利要求1所述的尺度比计算方法，其特征在于，所述获取每帧物体图像中的物体关键点以及连接关系，包括：
获取训练后的Tiny-DSOD网络和CPM网络，所述Tiny-DSOD网络和CPM网络是基于按顺序标注的物体关键点及其连接关系的样本图像进行训练得到；
将所述物体图像通过训练后的Tiny-DSOD网络进行卷积操作，得到特征图；
通过CPM网络基于所述特征图提取物体关键点以及连接关系。
3.根据权利要求1所述的尺度比计算方法，其特征在于，所述将所述物体图像通过训练后的所述Tiny-DSOD网络进行卷积操作，得到特征图之前，还包括：
将所述Tiny-DSOD网络中的32位的二进制浮点型数据转变为8位的二进制整型数据，得到转变后的Tiny-DSOD网络；
将转变后的Tiny-DSOD网络作为训练后的Tiny-DSOD网络。
4.根据权利要求1所述的物体体积计算方法，其特征在于，所述根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积，包括：
根据所述三维点云信息和连接关系获取所述物体在多帧物体图像中的边长；
根据尺度比、所述物体在多帧物体图像中的边长计算所述多帧物体图像中的物体的体积。
5.根据权利要求1所述的物体体积计算方法，其特征在于，所述获取多帧物体图像之后，还包括：
获取预设的图像尺寸；
将所述多帧物体图像按照所述预设的图像尺寸进行缩放，获得缩放后的多帧物体图像；
所述获取每帧物体图像中的物体关键点以及连接关系包括：
获取缩放后的每帧物体图像中的物体关键点以及连接关系。
6.根据权利要求1所述的物体体积计算方法，其特征在于，所述获取多帧物体图像，包括：
获取包括物体图像的视频；
将所述视频中的模拟信号转化为处于压缩状态的图像信号；
对所述处于压缩状态的图像信号进行解压缩，获得所述视频的多帧物体图像。
7.根据权利要求1-6任一项所述的物体体积计算方法，其特征在于，所述根据所述多帧物体图像的关键点计算所述物体的尺度比，包括：
获取采集物体图像各时刻对应的第一加速度；
基于所述多帧物体图像的关键点及采集物体图像的时刻，计算第二加速度；
基于时刻匹配所述第一加速度和所述第二加速度，并根据匹配后的所述第一加速度和所述第二加速度计算尺度比。
8.一种物体体积计算装置，其特征在于，包括：
第一获取单元，用于获取多帧物体图像，并获取每帧物体图像中的物体关键点以及连接关系；
第一计算单元，用于根据所述多帧物体图像的关键点计算所述物体的尺度比；
第二获取单元，用于根据所述多帧物体图像的关键点获取所述物体的三维点云信息；
第二计算单元，用于根据所述尺度比、连接关系以及三维点云信息计算所述物体的体积。
9.一种设备，其特征在于，包括处理器和存储器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码时执行如权利要求1至7任一项所述的物体体积计算方法。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如权利要求1至7任一项所述的物体体积计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910573335.5A CN112150533A (zh) | 2019-06-28 | 2019-06-28 | 物体体积计算方法、装置、设备、及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910573335.5A CN112150533A (zh) | 2019-06-28 | 2019-06-28 | 物体体积计算方法、装置、设备、及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112150533A true CN112150533A (zh) | 2020-12-29 |
Family
ID=73869175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910573335.5A Pending CN112150533A (zh) | 2019-06-28 | 2019-06-28 | 物体体积计算方法、装置、设备、及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150533A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0807411D0 (en) * | 2008-04-23 | 2008-05-28 | Mitsubishi Electric Inf Tech | Scale robust feature-based indentfiers for image identification |
| US20130114883A1 (en) * | 2011-11-04 | 2013-05-09 | Industrial Technology Research Institute | Apparatus for evaluating volume and method thereof |
| WO2018121737A1 (zh) * | 2016-12-30 | 2018-07-05 | 北京市商汤科技开发有限公司 | 关键点预测、网络训练及图像处理方法和装置、电子设备 |
| CN108267083A (zh) * | 2017-12-28 | 2018-07-10 | 顺丰科技有限公司 | 一种3d相机体积测量方法及系统 |
| CN108627092A (zh) * | 2018-04-17 | 2018-10-09 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
| CN109407824A (zh) * | 2018-08-30 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 人体模型的同步运动方法与装置 |
| CN109443196A (zh) * | 2018-09-28 | 2019-03-08 | 顺丰科技有限公司 | 一种体积测量方法及系统 |
| CN109509535A (zh) * | 2018-10-08 | 2019-03-22 | 北京健康有益科技有限公司 | 食物体积的获取方法、食物热量的获取方法、电子设备 |
-
2019
- 2019-06-28 CN CN201910573335.5A patent/CN112150533A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0807411D0 (en) * | 2008-04-23 | 2008-05-28 | Mitsubishi Electric Inf Tech | Scale robust feature-based indentfiers for image identification |
| CN102016880A (zh) * | 2008-04-23 | 2011-04-13 | 三菱电机株式会社 | 用于图像识别的尺度健壮的基于特征的标识符 |
| US20130114883A1 (en) * | 2011-11-04 | 2013-05-09 | Industrial Technology Research Institute | Apparatus for evaluating volume and method thereof |
| WO2018121737A1 (zh) * | 2016-12-30 | 2018-07-05 | 北京市商汤科技开发有限公司 | 关键点预测、网络训练及图像处理方法和装置、电子设备 |
| CN108267083A (zh) * | 2017-12-28 | 2018-07-10 | 顺丰科技有限公司 | 一种3d相机体积测量方法及系统 |
| CN108627092A (zh) * | 2018-04-17 | 2018-10-09 | 南京阿凡达机器人科技有限公司 | 一种包裹体积的测量方法、系统、储存介质及移动终端 |
| CN109407824A (zh) * | 2018-08-30 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 人体模型的同步运动方法与装置 |
| CN109443196A (zh) * | 2018-09-28 | 2019-03-08 | 顺丰科技有限公司 | 一种体积测量方法及系统 |
| CN109509535A (zh) * | 2018-10-08 | 2019-03-22 | 北京健康有益科技有限公司 | 食物体积的获取方法、食物热量的获取方法、电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| "不规则扁平粒状物表面平整度识别与分选方法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2011, pages 138 - 1165 * |
| 洪英: "基于图像处理的物体测量系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2011, pages 138 - 848 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319207B1 (ko) | 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체 | |
| CN109348125B (zh) | 视频校正方法、装置、电子设备和计算机可读存储介质 | |
| CN107909583B (zh) | 一种图像处理方法、装置及终端 | |
| CN111986250A (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
| CN107886481B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN110796725A (zh) | 一种数据渲染方法、装置、终端及存储介质 | |
| CN110555337A (zh) | 一种指示对象的检测方法、装置以及相关设备 | |
| CN112541489A (zh) | 图像检测方法、装置、移动终端及存储介质 | |
| CN110717486B (zh) | 文本检测方法、装置、电子设备和存储介质 | |
| CN112150533A (zh) | 物体体积计算方法、装置、设备、及存储介质 | |
| CN112166441A (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| CN112146578B (zh) | 尺度比计算方法、装置、设备、及存储介质 | |
| CN111062258B (zh) | 文本区域识别方法、装置、终端设备及可读存储介质 | |
| CN113780291A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112396264A (zh) | 物流装载率测量建模方法、装置、设备、及存储介质 | |
| CN111986251A (zh) | 物体体积测量方法、装置、测量设备及存储介质 | |
| CN112733573B (zh) | 表格检测方法、装置、移动终端及存储介质 | |
| CN115705648A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN118262381A (zh) | 姿态估计方法、装置、电子设备及计算机可读存储介质 | |
| CN113705309A (zh) | 一种景别类型判断方法、装置、电子设备和存储介质 | |
| CN117391947A (zh) | 图像重建方法、装置、电子设备及存储介质 | |
| CN110996030A (zh) | 视频生成方法、装置、存储介质及终端设备 | |
| CN117274494A (zh) | 人体重建方法、装置、设备及存储介质 | |
| CN117218053A (zh) | 一种图像的处理方法、装置以及存储介质 | |
| CN115965523A (zh) | 图像补全方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |