CN113449638A - 一种基于机器视觉技术的猪只图像理想帧的筛选方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉技术的猪只图像理想帧的筛选方法，涉及养殖设备领域，技术方案为，使用RGBD相机进行猪只图像采集，对采集到的图像进行预处理，转换为图像帧进行保存；对获取图像帧中的猪体进行轮廓框选得到轮廓框；根据猪不同生长阶段的体尺，预设对应生长阶段的标准定位框参数；将图像帧中的轮廓框和标准定位框比较，进行一次筛选；根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，作为理想帧。本发明的有益效果是：本方案提出的筛选方法有助于机器视觉估重技术在图像采集环节中的效率提升，精准筛选，通过降低图像冗余度，提高图像库的质量，以确保视觉估重技术输出结果的准确、可靠。

Description

一种基于机器视觉技术的猪只图像理想帧的筛选方法

技术领域

本发明涉及养殖设备领域，特别涉及一种基于机器视觉技术的猪只图像理想帧的筛选方法。

背景技术

在非洲猪瘟严防严控的情况下，非接触式测量技术显得尤为重要。猪体尺、体重等生长信息是描述其品质和营养状况的重要指标。在品质方面，猪活体尺可以用来估测其瘦肉率及背膘厚、眼肌面积等。在营养状况方面，猪活体体尺特征和日增重参数均为判断其生长趋势的重要指标，传统的测量体尺和体重的过程主要是通过人力赶猪，上地磅或称来计量，以主观测量方式为主。该传统方式对于长期养殖环境中设备的稳定性提出了巨大挑战，因为受制于农业生产的复杂环境，高温高湿会影响传感器的测量准确性，且动物为活体，无法根据人的意志来配合检测，而同时如果强制约束其至人工称重设备中，无疑会对其造成巨大的应激。

基于机器视觉技术非接触式检测猪只体尺、预估体重技术也是近年来学者们热衷探索的方向，而机器视觉估重技术在图像采集环节中会遇到各种各样的不合格数据，例如：猪只姿势为低头、抬头、弯曲、倾斜等均不符合图像数据的要求，即存在大量冗余的无效图像，因此，迫切需要一种筛选猪只理想图像帧的方法，剔除大量不合格图像，提高图像库的质量，以确保视觉估重技术输出结果的准确、可靠。

发明内容

针对上述技术问题，本发明提供一种基于机器视觉技术的猪只图像理想帧的筛选方法。

其技术方案为，包括，

S1、将待采集图像的猪只驱赶至检测通道内，使用RGBD相机进行猪只图像采集，并对采集到的图像进行预处理，转换为图像帧进行保存；

S2、对S1获取图像帧中的猪体进行轮廓框选得到轮廓框；使用基于Windows/Ubuntu+Tensorflow+Faster-RCNN框架，实现猪体轮廓精准定位和框选；

S3、根据猪不同生长阶段的体尺，预设对应生长阶段的标准定位框参数；

S4、将图像帧中的轮廓框和标准定位框比较，进行一次筛选；

S5、根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，并对二次筛选后的图像进行角度修正，剔除轮廓框之外的部分，作为理想帧。

优选为，所述S1中的检测通道的宽度小于猪只的体长，形成相对于猪只的单向通道；

所述S1中的对采集到图像进行预处理，包括对图像的初步筛选，保留猪体边缘轮廓清晰、图像曝光正常的图像，并对保留后的图像进行图像去噪、图像增强处理，图像增强具体为调整图像中猪体所在区域明亮度。

优选为，所述S3中，所述标准定位框为矩形框，所述标准定位框参数包括长度范围值和宽度范围值。

优选为，所述S4中，将图像帧中的轮廓框和标准定位框比较，进行一次筛选，具体为，将S2得到的轮廓框参数和S3的标准定位框参数进行比对，如果轮廓框参数超出标准定位框参数，则对应的图像为不合格图像，如果轮廓框参数在标准定位框参数范围内，则对应的图像进行保留。

优选为，所述S4中，将图像帧中的轮廓框和标准定位框比较，进行一次筛选，还包括对于猪体图像对称度的筛选，以轮廓框的中心点为参考点，对猪体图像短轴为参考线，获取猪体两侧边缘与短轴形成的交点A和交点B，通过判断交点A和交点B到所述参考点的像素值几何距离来判定图像对称度。

优选为，所述猪体图像短轴经过所述参考点。

优选为，所述对于猪体图像对称度的筛选包括，

步骤一、对猪体图像高度值的筛选，具体为，获取所述参考点到地面的垂直距离，如果该垂直距离大于40cm，则图像为有效图像，小于等于40cm，则图像为无效图像；

轮廓框中心点到地面的计算方法为，通过RGBD相机，即深度相机，获取轮廓框中心点的坐标Z轴高度值，也就是通过深度图像计算相机距离地面高度和相机距离猪体背部高度之差。

步骤二、所述交点A和交点B为猪体边缘轮廓点同图像轮廓短轴过中心点的交点，计算交点A和交点B到所述参考点的像素几何距离；

步骤三、所述交点A与交点B的比值记为

根据步骤二中计算的像素值几何距离，计算交点与交点B的比值，该比值记为w，当满足0.8<w<1.2时，图像判断为有效。

在对w进行数值估算时，将标准定位框的交点A记为body_A，交点B记为body_B；

将轮廓框的交点A记为body_A’，交点B记为body_B’；

分别计算示意图中body_A、body_A’、body_B、body_B’到中心的像素值几何距离；

计算body_A与body_B的比值w，形成参考值范围0.8-1.2，计算body_A’与body_B’的比值w，从而判定是否满足0.8<w<1.2。

优选为，所述S5中，根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，并对二次筛选后的图像进行角度修正，剔除轮廓框之外的部分，作为理想帧，具体为，

定义轮廓框长轴和图像水平轴的夹角为倾斜角β，对所述S4保留的图像进行筛选，留存其中满足倾斜角-15°<β<15°的图像帧；

对留存图像帧进行修正，仅留取轮廓框内的部分，并以β角趋于0°的方向旋转，直至β＝0°，从而得到理想帧。

本发明实施例提供的技术方案带来的有益效果是：本方案基于机器视觉技术的检测具有检测速度快，长期运行成本低、省时省力等优势，使用机器视觉替代人工检测，解放对劳动力的需求，降低企业的生产管理成本，提高数智化的生产水平。本方案提出的筛选方法有助于机器视觉估重技术在图像采集环节中的效率提升，精准筛选，通过降低图像冗余度，提高图像库的质量，以确保视觉估重技术输出结果的准确、可靠。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例的标准定位框示意图。

图3为本发明实施例的不合格定位框示意图。

图4为本发明实施例的理想帧图像倾斜角度的判断示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

实施例1

本发明提供一种基于机器视觉技术的猪只图像理想帧的筛选方法，S1、将待采集图像的猪只驱赶至检测通道内，使用RGBD相机进行猪只图像采集，并对采集到的图像进行预处理，转换为图像帧进行保存；

所述S1中的检测通道的宽度小于猪只的体长，形成相对于猪只的单向通道；

所述S1中的对采集到图像进行预处理，包括对图像的初步筛选，保留猪体边缘轮廓清晰、图像曝光正常的图像，并对保留后的图像进行图像去噪、图像增强处理，图像增强具体为调整图像中猪体所在区域明亮度。

S2、对S1获取图像帧中的猪体进行轮廓框选得到轮廓框；使用基于Windows/Ubuntu+Tensorflow+Faster-RCNN框架，实现猪体轮廓精准定位和框选；

S3、根据猪不同生长阶段的体尺，预设对应生长阶段的标准定位框参数；

所述标准定位框为矩形框，所述标准定位框参数包括长度范围值和宽度范围值。

S4、将图像帧中的轮廓框和标准定位框比较，进行一次筛选；

将图像帧中的轮廓框和标准定位框比较，进行一次筛选，具体为，将S2得到的轮廓框参数和S3的标准定位框参数进行比对，如果轮廓框参数超出标准定位框参数，则对应的图像为不合格图像，如果轮廓框参数在标准定位框参数范围内，则对应的图像进行保留。

将图像帧中的轮廓框和标准定位框比较，进行一次筛选，还包括对于猪体图像对称度的筛选，以轮廓框的中心点为参考点，对猪体图像短轴为参考线，获取猪体两侧边缘与短轴形成的交点A和交点B，通过判断交点A和交点B到所述参考点的像素值几何距离来判定图像对称度。

所述猪体图像短轴经过所述参考点。

所述对于猪体图像对称度的筛选包括，

步骤一、对猪体图像高度值的筛选，具体为，获取所述参考点到地面的垂直距离，如果该垂直距离大于40cm，则图像为有效图像，小于等于40cm，则图像为无效图像；

轮廓框中心点到地面的计算方法为，通过RGBD相机，即深度相机，获取轮廓框中心点的坐标Z轴高度值，也就是通过深度图像计算相机距离地面高度和相机距离猪体背部高度之差。

步骤二、所述交点A和交点B为猪体边缘轮廓点同图像轮廓短轴过中心点的交点，计算交点A和交点B到所述参考点的像素几何距离；

步骤三、所述交点A与交点B的比值记为

根据步骤二中计算的像素值几何距离，计算交点与交点B的比值，该比值记为w，当满足0.8<w<1.2时，图像判断为有效。

在对w进行数值估算时，将标准定位框的交点A记为body_A，交点B记为body_B；

将轮廓框的交点A记为body_A’，交点B记为body_B’；

分别计算示意图中body_A、body_A’、body_B、body_B’到中心的像素值几何距离；

计算body_A与body_B的比值w，形成参考值范围0.8-1.2，计算body_A’与body_B’的比值w，从而判定是否满足0.8<w<1.2。

S5、根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，并对二次筛选后的图像进行角度修正，剔除轮廓框之外的部分，作为理想帧。

根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，并对二次筛选后的图像进行角度修正，剔除轮廓框之外的部分，作为理想帧，具体为，

定义轮廓框长轴和图像水平轴的夹角为倾斜角β，对所述S4保留的图像进行筛选，留存其中满足倾斜角-15°<β<15°的图像帧；

对留存图像帧进行修正，仅留取轮廓框内的部分，并以β角趋于0°的方向旋转，直至β＝0°，从而得到理想帧帧。

实施例2

在实施例1的基础上，本方案提出一种基于机器视觉技术的猪只图像理想帧的筛选工作流程，可实现图像采集环节理想帧/有效图像的筛选，剔除大量不合格图像，提高图像库的质量和算法处理效率。该方法主要分为系统标定(初始化)、阅读猪耳标、图像获取、图像检测(判断有无猪只存在)、参数计算、判断图像有效/无效等，其中图像检测借助深度学习技术进行目标检测，框选猪只轮廓(矩形框)，结果输出为有效或无效，有效图像被存储，无效图像直接剔除。该方法操作流程图如图1所示：

该方法中的图像采集系统拟选择RGBD相机(RealSense D435)，主要参数为：RGB图像分辨率1920×1080@30fps，水平拍摄视野为69.4°，垂直拍摄视野为42.5°，定焦镜头(豪威科技OV2740，焦距1.88mm)，快门方式为卷帘快门，镜头畸变≤1.5％。Depth图像分辨率1280×800@30fps，848×480@90fps全局快门，水平拍摄视野91.2°，垂直拍摄视野为65.5°，定焦镜头(豪威科技OV9282，焦距1.93mm)，镜头畸变≤1.5％，最大拍摄距离2m(误差<2％)。该RGBD相机可呈现猪只轮廓细节，配合深度学习目标检测技术可实现更加精准、可靠猪只检测，目标区域关键部位头部、尾根、耳根等，通过这些部位关键点能有效判断图像是否为理想帧，即剔除猪只低头、抬头、弯曲、倾斜等姿态。

其中图像检测流程中的功能主要包括：图像预处理(筛选有效、轮廓清晰图像，图像去噪、增强等)、目标检测(框选猪体轮廓)。该发明专利中目标检测方法推荐使用基于Windows/Ubuntu+Tensorflow+Faster-RCNN框架，实现猪体轮廓精准定位和框选，如图2和图3，进一步计算定位框内的参数，如：倾斜角度、体长、对称度等，并进行图像修正。

表1不同体重猪只的尺寸预测值范围表(置信度95％)(W：肩宽；L:全长；H:高度；D：身子深度(腹部最低点到背部最高点)；FL：前腿长度；HH：头高(从脖子底部到两耳之间头的顶部)；J：脖子长度；F：脸长(鼻子到耳朵根部)；TL：鼻子到肩膀的长度)。

根据猪不同生长阶段的体尺(体长、体宽、体高)不同的合理范围，确定图2定位框内的参数值，例如，定位框长度标准值为1，根据不同猪个体差异，其标准值可上下浮动10％，即定位框单位长度在0.9～1.1之间判定图像为理想帧，存储该图像；同理，定位框宽度标准值为1，在0.9～1.1之间宽度的图像帧记为理想帧，并存储。因为猪只头部左右、上下摆动时，会改变标准框的长度，增加标准框宽度，从而违反上述指标，超出0.9～1.1的理想范围，同样，猪体弯曲状态时，该方法同样可作为判断指标。

另外，针对理想帧目标区域是否和图像坐标轴平行或交叉，可以通过计算定位框的一边和图像坐标中x轴或y轴的夹角，即β角，当该角度β＜15°时，判断图像有效，如图4所示：

若图像为理想帧，且存在一定倾斜角度β＜15°时，为了便于下一步的图像特征点提取和深度图像匹配等，需要对当前图像进行旋转修正，即图像旋转至β＝0°，至此对于猪只图像理想帧的筛选结束，上述方法以俯视图视角为例，侧视图视角同样可操作，方法和原理通用，例如：判断体长定位框和体高定位框参数。

需要注意的是，动物身体接触限位栏等设施时，会影响目标检测框的准确度，进而可能导致理想图像帧判断失败，即筛选出来的图像可能并不理想，所以设计、安装护栏应尽量避免该现象发生，另外，动物体表面的洁净程度也会产生影响，应用该发明专利方法时需要考虑进去。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，包括，

S1、将待采集图像的猪只驱赶至检测通道内，使用RGBD相机进行猪只图像采集，并对采集到的图像进行预处理，转换为图像帧进行保存；

S2、对S1获取图像帧中的猪体进行轮廓框选得到轮廓框；

S3、根据猪不同生长阶段的体尺，预设对应生长阶段的标准定位框参数；

S4、将图像帧中的轮廓框和标准定位框比较，进行一次筛选；

S5、根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，并对二次筛选后的图像进行角度修正，剔除轮廓框之外的部分，作为理想帧。

2.根据权利要求1所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述S1中的检测通道的宽度小于猪只的体长，形成相对于猪只的单向通道；

所述S1中的对采集到图像进行预处理，包括对图像的初步筛选，保留猪体边缘轮廓清晰、图像曝光正常的图像，并对保留后的图像进行图像去噪、图像增强处理。

3.根据权利要求2所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述S3中，所述标准定位框为矩形框，所述标准定位框参数包括长度范围值和宽度范围值。

4.根据权利要求3所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述S4中，将图像帧中的轮廓框和标准定位框比较，进行一次筛选，具体为，将S2得到的轮廓框参数和S3的标准定位框参数进行比对，如果轮廓框参数超出标准定位框参数，则对应的图像为不合格图像，如果轮廓框参数在标准定位框参数范围内，则对应的图像进行保留。

5.根据权利要求4所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述S4中，将图像帧中的轮廓框和标准定位框比较，进行一次筛选，还包括对于猪体图像对称度的筛选，以轮廓框的中心点为参考点，对猪体图像短轴为参考线，获取猪体两侧边缘与短轴形成的交点A和交点B，通过判断交点A和交点B到所述参考点的像素值几何距离来判定图像对称度。

6.根据权利要求5所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述猪体图像短轴经过所述参考点。

7.根据权利要求6所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述对于猪体图像对称度的筛选包括，

步骤一、对猪体图像高度值的筛选，具体为，获取所述参考点到地面的垂直距离，如果该垂直距离大于40cm，则图像为有效图像，小于等于40cm，则图像为无效图像；

步骤二、所述交点A和交点B为猪体边缘轮廓点同图像轮廓短轴过中心点的交点，计算交点A和交点B到所述参考点的像素几何距离；

步骤三、所述交点A与交点B的比值记为

根据步骤二中计算的像素值几何距离，计算交点与交点B的比值，该比值记为w，当满足0.8<w<1.2时，图像判断为有效。

8.根据权利要求7所述的基于机器视觉技术的猪只图像理想帧的筛选方法，其特征在于，所述S5中，根据一次筛选后的图像中轮廓框的倾斜度，进行二次筛选，并对二次筛选后的图像进行角度修正，剔除轮廓框之外的部分，作为理想帧，具体为，

定义轮廓框长轴和图像水平轴的夹角为倾斜角β，对所述S4保留的图像进行筛选，留存其中满足倾斜角-15°<β<15°的图像帧；

对留存图像帧进行修正，仅留取轮廓框内的部分，并以β角趋于0°的方向旋转，直至β＝0°，从而得到理想帧。

Images