CN114264355A - 重量检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种重量检测方法、装置、电子设备及存储介质，其中方法包括：确定待检测对象的点云数据；基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。本发明实施例提供的重量检测方法、装置、电子设备及存储介质，整个重量检测过程可以实现自动化，并不需要人工参与，既可以减少传统人工检测过程中带来的人力消耗，又可以提高检测效率。此外，充分利用了点云数据和多个视角上的深度图数据，应用了多模态数据的融合，从而减少误差，提高了重量检测的准确率。

Description

重量检测方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种重量检测方法、装置、电子设备及存储介质。

背景技术

在规模化养殖中，以猪只养殖为例，实时监控猪只的重量，对养殖场的经济收益和实际生产有重要的指导意义。

在现有技术中，猪只重量检测方法主要分为传统方式和基于机器视觉的方式。传统方式主要是人为使用地磅进行称重，在检测中，由于人为因素及接触检测的方式容易导致猪只产生应激反应，从而影响猪只的健康成长。同时，采用人工称重的方式，耗时耗力，工作效率低下。

基于机器视觉的方式主要是根据猪只的体尺信息和图像特征使用非线性数据模型或机器学习模型方法进行判断。由于同一只猪在不同姿态时提取的体尺信息变化较大，因此重量检测误差较大。

发明内容

本发明提供一种重量检测方法、装置、电子设备及存储介质，用以解决现有技术中重量检测耗时耗力，工作效率低下，检测误差较大的缺陷。

本发明提供一种重量检测方法，包括：

确定待检测对象的点云数据；

基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；

基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

根据本发明提供的一种重量检测方法，所述基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测，包括：

对所述待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征；

基于所述多个视角特征对应视角对重量检测的重要程度，对所述多个视角特征进行融合，得到融合视角特征；

基于所述点云数据的点云特征，和所述融合视角特征，对所述待检测对象进行重量检测。

根据本发明提供的一种重量检测方法，所述基于所述多个视角特征对应视角对重量检测的重要程度，对所述多个视角特征进行融合，得到融合视角特征，包括：

基于各个视角特征，确定所述各个视角特征对应视角对重量检测的重要程度；

基于所述各个视角特征对应视角对重量检测的重要程度，确定所述各个视角特征的权重；

基于所述各个视角特征的权重，对所述多个视角特征进行加权融合，得到所述融合视角特征。

根据本发明提供的一种重量检测方法，所述对所述待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征，包括：

对所述待检测对象在多个视角上的深度图数据进行特征提取，得到所述多个视角上的深度图特征；

基于各个视角上的深度图特征之间的相似度，对所述多个视角上的深度图特征进行视角合并，得到多个视角特征。

根据本发明提供的一种重量检测方法，所述基于各个视角上的深度图特征之间的相似度，对所述多个视角上的深度图特征进行视角合并，得到多个视角特征，包括：

将相似度大于等于预设阈值的多个视角上的深度图特征合并为一个视角特征；

将与其余各视角上的深度图特征之间的相似度均小于所述预设阈值的任一视角上的深度图特征，确定为一个视角特征。

根据本发明提供的一种重量检测方法，所述确定待检测对象的点云数据，包括：

确定原始点云数据；

基于所述原始点云数据，确定原始二维图像；

对所述原始二维图像进行分割，得到图像感兴趣区域；

基于所述图像感兴趣区域，得到所述原始点云数据中所述待检测对象的点云数据。

根据本发明提供的一种重量检测方法，所述基于所述图像感兴趣区域，得到所述原始点云数据中所述待检测对象的点云数据，包括：

基于所述图像感兴趣区域在所述二维图像中的位置，以及所述原始点云数据的深度图数据，确定所述待检测对象的感兴趣深度图像；

基于所述感兴趣深度图像，确定所述待检测对象的点云数据。

本发明还提供一种重量检测装置，包括：

点云数据确定单元，用于确定待检测对象的点云数据；

深度图数据确定单元，用于基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；

重量检测单元，用于基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述重量检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述重量检测方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述重量检测方法的步骤。

本发明提供的重量检测方法、装置、电子设备及存储介质，通过结合点云数据和在多个视角上的深度图数据，可以快速且准确的确定出待检测对象的重量。整个重量检测过程可以实现自动化，并不需要人工参与，既可以减少传统人工检测过程中带来的人力消耗，又可以提高检测效率。此外，本发明实施例提供的重量检测方法，充分利用了点云数据和多个视角上的深度图数据，应用了多模态数据的融合，从而减少误差，提高了重量检测的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的重量检测方法的流程示意图之一；

图2是本发明提供的重量检测方法中步骤130的流程示意图；

图3是本发明提供的融合视角特征确定方法的流程示意图；

图4是本发明提供的多个视角特征确定方法的流程示意图；

图5是本发明提供的重量检测方法中步骤110的流程示意图；

图6是本发明提供的点云感兴趣区域数据获取方法的流程示意图；

图7是本发明提供的重量检测方法的流程示意图之二；

图8是本发明提供的重量检测方法的流程示意图之三；

图9是本发明提供的重量检测装置的结构示意图；

图10是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在猪只饲养阶段，养殖人员需要根据猪只的体重确定猪只饲料的分配和加料时间，因此获取准确的体重信息可以指导养殖人员进行科学喂养，科学评价猪只的在相应日龄的营养状态是否正常，并对养殖策略做出及时的调整，保证猪只健康成长。其次，猪只的体重信息能够指导养殖人员进行科学的饲养管理和转圈，提升圈内猪只的生长均匀度，降低猪只之间打斗现象的发生。同时，在规模化养殖中，实时监控猪只的体重可以获得养殖场的收益预估，帮助养殖者制定合理的饲养和售卖策略，对养殖场的经济收益和实际生产有重要的指导意义。

在现有的方案中，估重方法主要分为传统方式和基于机器视觉的方式。传统估重方式是人为地将猪只赶到预置的地磅上进行逐一称重实现。传统的估重方式容易使猪只产生应激反应，影响猪只情绪。人与猪只的频繁接触会增大卫生的控制难度和猪只患病的概率，从而极大的影响猪只的健康成长。同时，采用人工称重的方式，耗时耗力，工作效率极低。这样在大规模养殖时，企业的养殖人员的成本费用会增加很多，影响企业效益。

目前基于机器视觉的估重方法是根据猪只的体尺信息，使用传统数据模型方法进行判断。该类方法首先提取猪只图像的形状体态特征，如猪只背部面积，肩宽，体长等。然后使用非线性模型对这些特征信息和重量进行曲线拟合，以达到对未知猪只进行估重的目的。虽然这种方法可以实现猪只的自动估重，但由于同一只猪在不同姿态时提取的体尺信息变化较大，因此这些方法存在鲁棒性较差等缺陷，受猪只体态和姿态的影响极大，由此得到的猪只重量误差很大。

对此，本发明实施例提供一种重量检测方法，该方法不仅可以用于对猪只进行重量检测，还可以用于对鸡鸭牛羊等其他类型的对象进行重量检测，本发明实施例对此不作具体限定。

图1为本发明提供的重量检测方法的流程示意图之一，如图1所示，该方法包括：

步骤110，确定待检测对象的点云数据。

此处，待检测对象即需要进行重量检测的对象，不同的场景下对应的待检测对象不同，例如，待检测对象具体可以是猪、牛、羊等牲畜，也可以是鸡鸭等家禽，本发明实施例对此不作具体限定。

待检测对象的点云数据是通过图像采集设备拍摄得到的，其中，图像采集设备可以是3D传感器或者点云相机，例如可以是kinect 3D体感摄影机。点云数据具体包括待检测对象体表各点的三维坐标和颜色信息，例如可以是RGB-D深度图像。

进一步地，为了减少计算时间，增加计算精度，可以对待检测对象的点云数据进行处理，分割出一个待检测对象感兴趣区域(ROI，region of interest)的点云数据，此处感兴趣区域的点云数据是从待检测对象的点云数据中分割得到的能够反映待检测对象的体表信息的点云数据。后续应用于重量检测的，可以是直接进行采集所得的点云数据，也可以是分割后得到的感兴趣区域的点云数据，本发明实施例对此不作具体限定。

步骤120，基于点云数据，确定待检测对象在多个视角上的深度图数据。

具体地，点云数据能够从三维空间的角度，展示待检测对象在空间结构上的特征。通过对点云数据进行不同方向的旋转和变换，即可得到待检测对象在多个不同视角上的深度图数据，用以表征待检测对象在不同角度下的形态特征。

在具体实施时，可以首先将待检测对象的点云数据进行中心化，即，将待检测对象点云数据中的各点的坐标分别延X轴、Y轴和Z轴中心化至图像中心，然后可以以图像中心的Z轴为中心轴进行角度旋转，并将角度旋转后的点云数据进行内参转化，从而得到角度旋转所对应视角上的深度图数据。

例如，可以按照0度、45度、90度、135度、180度、225度、270度、315度八个角度进行旋转，从而得到对应八个视角上侧视的深度图数据，此外，还可以获取俯视视角上的深度图数据，从而得到共九个视角上的深度图数据，以实现全方位的待检测对象形态的表征。

又例如，还可以按照0度、60度、120度、180度、240度、300度六个角度进行旋转，从而得到对应六个视角上侧视的深度图数据，此外，还可以获取仰视视角上的深度图数据，从而得到共七个视角上的深度图数据。

步骤130，基于待检测对象的点云数据和在多个视角上的深度图数据，对待检测对象进行重量检测。

具体地，目前的重量检测模型一般使用单视角的深度图像作为输入进行重量检测，单视角的深度图像仅呈现整个待检测对象三维形状的局部结构，可能无法提取到完整的待检测对象全部特征。然而在多个视角上的深度图数据可以充分利用不同角度的深度图像数据，更全面地表征待检测对象的形状。

此外，待检测对象的点云数据中的待检测对象体表的三维坐标，亦可以很好地保留待检测对象原始的空间结构信息。

因此，基于待检测对象的点云数据和在多个视角上的深度图数据，对待检测对象进行重量检测，同时参考到待检测对象的三维特征和二维多视角特征，可以得到更加精准可靠的待检测对象的形态表示，从而使重量检测更加精确，减少误差。

具体检测时，可以将点云数据和多个视角上的深度图像数据输入至预先训练好的重量检测模型，由训练好的重量检测模型对点云数据和多个视角上的深度图像数据进行多模态数据融合，并基于融合结果预测待检测对象的重量，从而输出待检测对象的预测重量。也可以分别应用点云数据和多个视角上的深度图像数据对待检测对象进行重量预测，并综合基于点云数据得到的预测重量和基于多个视角上的深度图像数据得到的预测重量，确定待检测对象的预测重量，本发明实施例对此不作具体限定。

本发明实施例提供的重量检测方法，通过结合点云数据和在多个视角上的深度图数据，可以快速且准确的确定出待检测对象的重量。整个重量检测过程可以实现自动化，并不需要人工参与，既可以减少传统人工检测过程中带来的人力消耗，又可以提高检测效率。此外，本发明实施例提供的重量检测方法，充分利用了点云数据和多个视角上的深度图数据，应用了多模态数据的融合，从而减少误差，提高了重量检测的准确率。

基于上述实施例，图2为本发明提供的重量检测方法中步骤130的流程示意图，如图2所示，步骤130具体包括：

步骤131，对待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征；

步骤132，基于多个视角特征对应视角对重量检测的重要程度，对多个视角特征进行融合，得到融合视角特征；

步骤133，基于点云数据的点云特征，和融合视角特征，对待检测对象进行重量检测。

具体地，在结合点云数据和多个视角上的深度图数据进行重量检测过程中，首先对待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征。针对每一个视角的深度图数据，均可以得到一个视角特征。

考虑到各个视角之间对特征的贡献大小不同，特征的有用性大小不同，即各个视角特征对应视角对重量检测的重要程度不同。因此，可以根据对应视角对重量检测的重要程度，对多个视角特征进行融合，得到融合视角特征。融合视角特征中，可以着重体现对重量检测的重要程度较高的视角特征，相应地，可以弱化对重量检测的重要程度较低的视角特征。

以猪只重量检测为例，猪只头部特征和猪只重量之间的关联性较小，猪只腹部和臀部特征和猪只重量的关联性较大，猪只的头部视角相较于侧面腹部视角和臀部视角，对猪只重量判定的贡献较小。因此，对多个视角特征进行融合时，可以强化猪只的腹部和臀部特征，弱化猪只的头部特征，从而可以进一步提高重量检测的准确率。

在实现多视角下的视角特征的融合之后，即可基于融合所得的融合视角特征，以及对点云数据进行特征提取所得的点云特征，进行重量检测。

本发明实施例提供的方法，通过多个视角特征对应视角对重量检测的重要程度，对多个视角特征进行融合，得到融合视角特征进行重量检测，融合视角特征强化了与重量检测息息相关的视角下的视角特征，弱化了与重量检测关联较弱的视角下的视角特征，有助于进一步提高重量检测的准确率。

基于上述任一实施例，图3为本发明提供的融合视角特征确定方法的流程示意图，如图3所示，步骤132具体包括：

步骤1321，基于各个视角特征，确定各个视角特征对应视角对重量检测的重要程度；

步骤1322，基于各个视角特征对应视角对重量检测的重要程度，确定各个视角特征的权重；

步骤1323，基于各个视角特征的权重，对多个视角特征进行加权融合，得到融合视角特征。

具体地，可以首先根据各个视角特征，确定各个视角特征对应视角对重量检测的重要程度。此处在确定重要程度时，可以预先学习视角特征与重要程度之间的映射关系，后续应用时即可直接将当前的视角特征代入映射关系，从而得到当前的视角特征对应视角对重量检测的重要程度。

在此基础上，可以直接将重要程度作为对应视角特征的权重，也可以在得到各个视角特征对应视角对重量检测的重要程度之后，对各视角对重量检测的重要程度进行归一化处理，从而得到各个视角特征的权重，本发明实施例对此不作具体限定。

在得到各视角特征的权重之后，即可通过加权融合的方式，实现多个视角特征的融合，此处加权融合可以是加权求和，也可以是加权求和后取均值，还可以是单个视角特征分别与其对应的权重相乘之后进行拼接，本发明实施例对此不作具体限定。

基于上述任一实施例，步骤132中，重要程度可以用判别力分数来表征，判别力分数高的表示重要程度高，判别力分数低的表示重要程度低。例如，判别力分数的公式可以表达为：

δ_i＝SoftMax(Y_i)

其中，δ_i为第i个视角的判别力分数，Y_i为第i个视角下的视角特征。

通过对各个视角都进行判别力分数的判定，可以得到一组判别力评分δ，对δ集合进行归一化处理，得到各个视角特征的权重集

例如，一组猪只判别力评分集合δ＝{腹部视角，背部视角，头部视角，臀部视角}＝{5，10，1，4}，进行归一化处理后变成

0.5，0.05，0.2}，则可以得出该猪只腹部视角特征的权重为0.25，背部视角特征的权重为0.5，头部视角特征的权重为0.05，臀部视角特征的权重为0.2。

然后，根据各个视角特征的权重，对多个视角特征进行加权融合，得到融合视角特征R^*，R^*可以表示为：

其中，Y_i为第i个视角下的视角特征，

为第i个视角特征的权重。

本发明实施例提供的方法，通过对不同的视角分配不同的权重大小，对于重量检测结果贡献较大的特征可以分配更高的权重进行检测，可以进一步提高重量检测的准确率。

基于上述任一实施例，图4为本发明提供的多个视角特征确定方法的流程示意图，如图4所示，步骤131包括：

步骤1311，对待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角上的深度图特征；

步骤1312，基于各个视角上的深度图特征之间的相似度，对多个视角上的深度图特征进行视角合并，得到多个视角特征。

具体地，考虑到待检测对象各个视角之间都具有一定的关系，而且视角数量并不是越多越好，不同视角之间的特征相似度较高可能会引起特征冗余，如多个视角均重点表示猪只的头部特征。为了提高计算速度和效率，有必要对视角进行合并。

在进行视角合并之前，可以先提取各视角上的深度图数据的深度图特征，此处深度图数据和深度图特征一一对应。在得到各视角上的深度图特征后，可根据各视角上的深度特征之间的相似度进行视角合并。可以将相似度较高的深度图特征对应的视角合并为一个视角，相似度较低的深度图特征对应的视角不进行合并，从而得到多个视角。由此得到的多个视角对应的深度图特征相似度均较低，不会引起特征冗余。其中，各个视角上的深度图特征之间的相似度函数可以选用余弦相似度函数，也可以选用欧几里德距离函数，本发明实施例对此不作具体限定。

例如，猪只的一组多视角特征X＝{X₁,X₂,…,X_n}(n表示视图数量，X_n表示第n个视角图像)，猪只各个视角上的深度图特征之间的相似度可以用以下公式表示：

ε(i)＝cosF(X_i,X_j)

其中，X_i为任一视角上的深度图特征，X_j为其他视角上的深度图特征。

本发明实施例提供的方法，根据各个视角上的深度图特征之间的相似度，对多个视角上的深度图特征进行视角合并，得到多个视角特征，特征相似的视角得到了合并，减轻了视角之间由于存在大量相似特征而产生的特征冗余现象，从而减少了计算时间，提高了重量检测速度和效率。

基于上述任一实施例，步骤1312具体包括：

将相似度大于等于预设阈值的多个视角上的深度图特征合并为一个视角特征；将与其余各视角上的深度图特征之间的相似度均小于预设阈值的任一视角上的深度图特征，确定为一个视角特征。

具体地，在进行视角合并时，可以首先根据实际场景或者以往经验，设置一个阈值。接着将相似度大于等于预设阈值的多个视角上的深度图特征分为一组视角，然后将该一组视角合并为一个视角特征。此处，合并可以是对每个相似度组内的多个视角进行跨通道特征融合，具体地，可以对组内每个视角赋予相同的权重，进行元素之间的相加操作。与其余各视角上的深度图特征之间的相似度均小于预设阈值的任一视角上的深度图特征，将不进行合并处理，确定为一个单独的视角特征。

例如，猪只的一组多视角特征X＝{0度，45度，90度，135度，180度，225度，270度，315度、俯视}，其中0度和45度这两个视角上的深度图特征之间的相似度大于阈值M，45度和225度这两个视角上的深度图特征之间的相似度也大于阈值M，那么可以将0度、45度和225度这三个视角上的深度图特征以求平均值的方式合并为一个视角特征。而其余90度、135度、180度、270度，315度、俯视各个视角上的深度图特征之间的相似度均小于阈值M，则这六个视角上的深度图特征不进行合并。

由此，原始的九个视角特征经过视角合并后，得到七个视角特征，特征相似的视角得到了合并，减轻了视角之间由于存在大量相似特征而产生的特征冗余现象，从而减少了计算时间，提高了重量检测速度和效率。

基于上述任一实施例，图5为本发明提供的重量检测方法中步骤110的流程示意图，如图5所示，步骤110包括：

步骤111，确定原始点云数据；

步骤112，基于原始点云数据，确定原始二维图像；

步骤113，对原始二维图像进行分割，得到图像感兴趣区域；

步骤114，基于图像感兴趣区域，得到原始点云数据中待检测对象的点云数据。

具体地，原始点云数据即通过图像采集设备直接拍摄得到的点云数据。考虑到现有的区域分割方法中通常直接针对原始点云数据进行分割，通过待检测对象特征与周围环境特征的差异进行分割，如使用聚类算法等，但这种方法常常鲁棒性较差，分割精度较低，并且由于待检测对象周围环境较为复杂，所拍摄到的点云图像中常常含有大量噪声，对分割效果影响较大。

鉴于此，本发明实施例不直接使用原始点云数据，而是使用对原始点云数据进行预处理得到的原始二维图像作为分割数据，其中，预处理可以是将原始点云数据使用相机内参，分别转化为原始二维图像和深度图像。相比于点云数据，使用原始二维图像作为分割数据的优势在于，原始二维图像减少了一个维度的噪声，且不存在稀疏性和无序性的特点，从而使数据处理更为简单。此外，还可以直接使用基于原始二维图像的深度学习模型进行点云的特征学习。

在执行对原始二维图像进行分割，得到图像感兴趣区域时，可以选择深度学习方法对原始二维图像分割。此处，图像感兴趣区域为需要重点关注和分析，能够反映待检测对象的体表信息的图像区域。

最后根据图像感兴趣区域，得到原始点云数据中待检测对象的点云数据。具体可以是采用深度图逆变换的方法。

本发明实施例提供的方法，通过使用原始点云数据确定原始二维图像，再对原始二维图像进行分割，得到图像感兴趣区域，然后根据图像感兴趣区域，得到原始点云数据中待检测对象的点云数据。该方法使用二维图像作为原始分割数据，得到了最终需要的点云数据。相较于直接使用原始点云数据进行分割，该方法鲁棒性更好，分割精度更高，从而进一步提高了待检测对象的重量检测准确度。

基于上述任一实施例，步骤114具体包括：

基于图像感兴趣区域在二维图像中的位置，以及原始点云数据的深度图数据，确定待检测对象的感兴趣深度图像；基于感兴趣深度图像，确定待检测对象的点云数据。

具体地，通过深度学习图像分割方法得到图像感兴趣区域后，即可得到图像感兴趣区域在二维图像中的位置，然后使用图像感兴趣区域与原始点云中的深度图数据相乘，得到待检测对象的感兴趣深度图像；最后对感兴趣深度图像，做逆变换重新得到待检测对象的点云数据。

基于上述任一实施例，假设待检测对象为猪只，图6是本发明提供的点云ROI数据获取方法的流程示意图，该方法包括：

首先使用点云相机拍摄得到猪只点云数据，然后将经过滤波的原始点云数据使用相机内参，分别转化为原始二维图像和深度图像。

将RGB图像输入猪只分割模型得到猪只分割Mask结果，然后使用Mask与深度图像相乘得到深度图ROI图像。最后使用相机内参对深度图数据做逆变换重新得到猪只点云ROI数据。

基于上述任一实施例，假设待检测对象为猪只，图7为本发明提供的重量检测方法的流程示意图之二，如图7所示，该方法包括：

步骤710，数据采集和检测装置的安装。

在猪场中建立一个单项过道结构的通行装置，装置底部安装一个测量猪只体重的地磅，通道正上方安装一个3d点云相机，相机可选择但不限于kinect。相机可布于地磅上方1.5-2.5米之间的位置，布置过高会导致猪只图像信息较少，环境信息较多，不利于猪只估重，布置较低会使相机视野变小，数据采集难度变大。整体来看，当猪通过地磅过道时，地磅通过传感器装置记录猪只的实时体重，摄像头拍摄猪只的点云图像，记录猪只的位置信息和形态信息，并记录拍摄时间，可与地磅数据具有唯一的时间对应关系。摄像头位于通道正上方，因此能够拍摄到猪只的头部，背部区域和部分腹部区域。

步骤720，重量检测数据集的建立与标注。

通过步骤710的数据采集装置得到了大量的猪只重量数据和猪只原始点云数据。步骤720具体包括猪只重量数据预处理、原始点云数据的预处理、原始二维图像(RGB图像)的标注和重量检测数据集的建立。

(1)猪只重量数据预处理

首先对猪只重量标签数据进行整理，即通过地磅采集的重量数据。由于猪只在上磅和下磅时，地磅的重量会发生突变导致不准确，需要对这些异常的重量值进行排除，以免影响正常的重量判断，这里可使用但不限于四分位法，曲线拟合法等方法进行异常值的排除。

(2)原始点云数据的预处理

原始点云数据是带有目标深度信息和颜色信息的RGB-D数据。

首先对采集到的原始点云数据进行整理，由于猪场环境复杂，3D摄像头有时会出现污渍或苍蝇等蚊虫遮挡，会使3d点云图像发生扭曲，因此需要进行人工筛查。然后对筛选过后的点云数据进行预处理，在设备收集数据时，可能会出现点云包含要消除的噪声和伪影的情况，并且由于猪场环境较为复杂，因此点云图像中包含大量异常点或离群点，所以通过点云滤波将点云图像中的离群点进行滤除，删除点云中与点云的平均值相比较远的点。

然后将经过滤波的点云数据使用相机内参，分别转化为需要的RGB图像和深度图像。

(3)RGB图像的标注

对RGB图像数据进行处理，因为猪只周围的环境较为复杂，信息丰富，但是环境信息对重量检测模型没有任何帮助，反而会使模型学习到无用的信息，在进行重量检测之前需要对图像进行猪只ROI区域的分割处理，建立图像分割模型。因此需要对RGB图像进行ROI区域的标注，制作图像分割训练集。

(4)重量检测数据集的建立

图像分割数据集：将完整的RGB数据分为训练集和测试集，比例为9：1，训练集进行MASK标注；

重量检测数据集：将经过分割模型后的点云数据和重量label数据分为训练集和测试集，比例为9：1。

步骤730，图像感兴趣区域的分割模型搭建及训练。

首先搭建一个基于卷积神经网络的猪只感兴趣区域分割模型。由于猪场环境多变，包括猪场光照，猪只周围环境，猪只本身形态的差异等因素，传统分割算法(如分水岭算法，基于机器学习的算法等)很难全面的对多种猪只数据同时进行有效分割，针对不同环境下猪的分割鲁棒性较差。因此，本发明实施例选择深度学习方法对原始二维图像分割。

在搭建该网络模型时，模型可以采用但不限于SOLOV2等实例分割模型架构，在此网络架构的基础上加入Mix-Up操作来对抗数据扰动。使用制作好的分割训练集对分割模型进行训练，训练集中包括原始二维图像和标注图像。

然后使用训练好的模型对原始二维图像进行分割，得到图像感兴趣区域。使用RGB图像作为基础数据并使用深度学习方法进行分割。使用RGB作为原始分割数据得到最终需要的点云ROI数据。

步骤740，建立基于点云ROI数据与多视角深度图数据相融合的重量检测模型。

(1)首先将猪只点云数据中心化旋转，得到经过各角度旋转的点云数据，再经过内参转化得到各视角深度图数据；

(2)根据各个视角上的深度图特征之间的相似度，对多个视角上的深度图特征进行视角合并，得到多个视角特征；

(3)根据多个视角特征对应视角对重量检测的重要程度，对多个视角特征进行融合，得到融合视角特征；

(4)将猪只点云ROI数据与融合视角特征输入猪只重量检测模型，输出预测重量。

步骤750，利用训练好的重量检测模型进行重量检测。

本发明实施例提供的重量检测方法，使用深度学习算法代替人工和传统算法对猪只进行重量检测。利用设计的采集和检测装置，通过采集猪只的数据，首先建立一个猪只ROI区域的深度学习分割模型，该模型对猪只区域实现分割，鲁棒性好并且分割更为精准。

然后建立一个融合点云ROI数据与多视角深度图数据的深度学习模型，使用经过分割模型分割过后的数据进行训练。该模型可以对点云数据和2D图像数据深度融合，并且对重量检测结果贡献较大的深度图像赋予更大的权重，充分利用图像之间的相关性信息。

其中，重量检测模型可以包括但不限于PVRnet层，用于对点云数据和在多个视角上的深度图数据进行融合。

基于上述任一实施例，图8为本发明提供的重量检测方法的流程示意图之三。本实施例中，各步骤的实施在前述实施例中都做了说明。相关之处，参照前述说明即可。本发明实施例在此不再赘述。与上述实施例有所区别的是，本实施例的附图更加详细的描述了重量检测过程中数据的流向。

下面对本发明提供的重量检测装置进行描述，下文描述的重量检测装置与上文描述的重量检测方法可相互对应参照。图9是本发明提供的重量检测装置的结构示意图，如图9所示，该装置包括：

点云数据确定单元910，用于确定待检测对象的点云数据；

深度图数据确定单元920，用于基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；

重量检测单元930，用于基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

本发明实施例提供的装置，通过待检测对象的点云数据，可以自动确定出待检测对象在多个视角上的深度图数据；通过结合点云数据和在多个视角上的深度图数据，可以快速且准确的确定出待检测对象的重量。整个重量检测过程可以实现自动化，并不需要人工参与，既可以减少传统人工检测过程中带来的人力消耗，又可以提高检测效率。此外，本发明实施例提供的重量检测方法，充分利用了点云数据和多个视角上的深度图数据，应用了多模态数据的融合，从而减少误差，提高了重量检测的准确率。

基于上述任一实施例，重量检测单元930用于：

对所述待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征；

基于所述多个视角特征对应视角对重量检测的重要程度，对所述多个视角特征进行融合，得到融合视角特征；

基于所述点云数据的点云特征，和所述融合视角特征，对所述待检测对象进行重量检测。

基于上述任一实施例，重量检测单元930用于：

基于各个视角特征，确定所述各个视角特征对应视角对重量检测的重要程度；

基于所述各个视角特征对应视角对重量检测的重要程度，确定所述各个视角特征的权重；

基于所述各个视角特征的权重，对所述多个视角特征进行加权融合，得到所述融合视角特征。

基于上述任一实施例，重量检测单元930用于：

对所述待检测对象在多个视角上的深度图数据进行特征提取，得到所述多个视角上的深度图特征；

基于各个视角上的深度图特征之间的相似度，对所述多个视角上的深度图特征进行视角合并，得到多个视角特征。

基于上述任一实施例，重量检测单元930用于：

将相似度大于等于预设阈值的多个视角上的深度图特征合并为一个视角特征；将与其余各视角上的深度图特征之间的相似度均小于所述预设阈值的任一视角上的深度图特征，确定为一个视角特征。

基于上述任一实施例，点云数据确定单元910用于：

确定原始点云数据；

基于所述原始点云数据，确定原始二维图像；

对所述原始二维图像进行分割，得到图像感兴趣区域；

基于所述图像感兴趣区域，得到所述原始点云数据中所述待检测对象的点云数据。

基于上述任一实施例，点云数据确定单元910用于：

基于所述图像感兴趣区域在所述二维图像中的位置，以及所述原始点云数据的深度图数据，确定所述待检测对象的感兴趣深度图像；

基于所述感兴趣深度图像，确定所述待检测对象的点云数据。

图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行重量检测方法，该方法包括：确定待检测对象的点云数据；基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的重量检测方法，该方法包括：确定待检测对象的点云数据；基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的重量检测方法，该方法包括：确定待检测对象的点云数据；基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种重量检测方法，其特征在于，包括：

确定待检测对象的点云数据；

基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；

基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

2.根据权利要求1所述的重量检测方法，其特征在于，所述基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测，包括：

对所述待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征；

基于所述多个视角特征对应视角对重量检测的重要程度，对所述多个视角特征进行融合，得到融合视角特征；

基于所述点云数据的点云特征，和所述融合视角特征，对所述待检测对象进行重量检测。

3.根据权利要求2所述的重量检测方法，其特征在于，所述基于所述多个视角特征对应视角对重量检测的重要程度，对所述多个视角特征进行融合，得到融合视角特征，包括：

基于各个视角特征，确定所述各个视角特征对应视角对重量检测的重要程度；

基于所述各个视角特征对应视角对重量检测的重要程度，确定所述各个视角特征的权重；

基于所述各个视角特征的权重，对所述多个视角特征进行加权融合，得到所述融合视角特征。

4.根据权利要求2所述的重量检测方法，其特征在于，所述对所述待检测对象在多个视角上的深度图数据进行特征提取，得到多个视角特征，包括：

对所述待检测对象在多个视角上的深度图数据进行特征提取，得到所述多个视角上的深度图特征；

基于各个视角上的深度图特征之间的相似度，对所述多个视角上的深度图特征进行视角合并，得到多个视角特征。

5.根据权利要求4所述的重量检测方法，其特征在于，所述基于各个视角上的深度图特征之间的相似度，对所述多个视角上的深度图特征进行视角合并，得到多个视角特征，包括：

将相似度大于等于预设阈值的多个视角上的深度图特征合并为一个视角特征；

将与其余各视角上的深度图特征之间的相似度均小于所述预设阈值的任一视角上的深度图特征，确定为一个视角特征。

6.根据权利要求1-5任一项所述的重量检测方法，其特征在于，所述确定待检测对象的点云数据，包括：

确定原始点云数据；

基于所述原始点云数据，确定原始二维图像；

对所述原始二维图像进行分割，得到图像感兴趣区域；

基于所述图像感兴趣区域，得到所述原始点云数据中所述待检测对象的点云数据。

7.根据权利要求6所述的重量检测方法，其特征在于，所述基于所述图像感兴趣区域，得到所述原始点云数据中所述待检测对象的点云数据，包括：

基于所述图像感兴趣区域在所述二维图像中的位置，以及所述原始点云数据的深度图数据，确定所述待检测对象的感兴趣深度图像；

基于所述感兴趣深度图像，确定所述待检测对象的点云数据。

8.一种重量检测装置，其特征在于，包括：

点云数据确定单元，用于确定待检测对象的点云数据；

深度图数据确定单元，用于基于所述点云数据，确定所述待检测对象在多个视角上的深度图数据；

重量检测单元，用于基于所述待检测对象的点云数据和在多个视角上的深度图数据，对所述待检测对象进行重量检测。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述重量检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述重量检测方法的步骤。

Images