CN105651776A - 基于计算机视觉的牛胴体产肉量自动分级装置与方法 - Google Patents

基于计算机视觉的牛胴体产肉量自动分级装置与方法 Download PDF

Info

Publication number
CN105651776A
CN105651776A CN201511018042.9A CN201511018042A CN105651776A CN 105651776 A CN105651776 A CN 105651776A CN 201511018042 A CN201511018042 A CN 201511018042A CN 105651776 A CN105651776 A CN 105651776A
Authority
CN
China
Prior art keywords
trunk
lower limb
breast
cattle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511018042.9A
Other languages
English (en)
Inventor
郑丽敏
张彧龙
田立军
黄斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201511018042.9A priority Critical patent/CN105651776A/zh
Publication of CN105651776A publication Critical patent/CN105651776A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于计算机视觉的牛胴体产肉量自动分级的装置与方法。本发明的装置由承载装置、CCD数码摄像机、LED射灯、可伸缩背景布和计算机等组成。本发明的方法为:采用OpenCV标定法对CCD数码摄像机进行标定,数码相机对牛肉屠宰厂流水线进行实时视频采集,根据霍夫变换原理自动识别流水线上经过的牛肉二分体并进行照片抓捕提取,经过图像处理方法分割出抓捕图像的胴体轮廓区域,然后利用角度求索法提取轮廓拐点并计算相应特征值,根据特征值和人工称出的分割肉重量建立牛胴体产肉量预测模型,最后通过该模型对牛胴体进行评级。利用本发明能自动对屠宰场流水线上的牛胴体进行产肉量分级,使得牛肉产量检测具备客观性、准确性、实时性和高效性。

Description

基于计算机视觉的牛胴体产肉量自动分级装置与方法
技术领域
本发明涉及牛胴体产肉量、级别评定和计算机视觉技术领域,尤其涉及一种基于计算机视觉的牛胴体产肉量自动分级装置与方法。
背景技术
在牛肉加工中,牛胴体的产肉量的高低,决定牛胴体的价格。一般评价胴体产肉量直接的方法就是将牛屠宰分割后,对其分割肉进行称重,但在实际操作中耗时、费力、成本大。若在给卖牛者结账时,就可以预测出该牛的屠宰率或者产肉量等分割屠宰指标,按照这些相关指标来对牛的价格进行调整,使收购牛的价格公平合理,从而避免纠纷,使得企业经济效益得到大幅提高。因此,大多数企业选择通过测定牛胴体指标来预测其产肉量。
在传统的牛肉分级中,通常采用目测法或人工测量法来获取牛胴体的相关分级信息,这样往往会存在一定的主观性,并且这种触及肉进行测量的方法,卫生要求往往得不到保障,再加上测量方法繁琐使得测量误差较大,有时甚至严重影响整个牛肉在线分级环节的准确性。
参考国内外牛肉分级技术研究的最新进展,釆用计算机视觉技术对牛肉进行分级被认为是最理想的解决方案。我国农业部于2003年颁布了牛肉分级标准(NY/T676-2003),标准中规定分割肉质量是由胴体质量和眼肌面积两参数建立的线性模型决定。在实际的屠宰车间中眼肌面积要在分割为四分体时方能开始测量,这个过程要在牛肉屠宰完成存入冷库排酸至少一天后方能开始,不利于实时定级。因此基于计算机视觉技术对牛肉二分体进行分级满足了牛肉产量检测的客观性、准确性、实时性和高效性。
发明内容
本发明的目的是提供一种基于计算机视觉的牛胴体产肉量自动分级装置与方法,为客观检测牛胴体产肉量提供科学的决策依据,有助于实现牛肉的自动分级。
为解决上述技术问题,本发明的主要技术内容如下:
一种基于计算机视觉的牛胴体产肉量自动分级装置,包括承载装置、CCD数码摄像机、LED射灯、可伸缩背景布、计算机和塑料管;所述承载装置包括横梁支架、手动可调节横梁、手动可调节吊臂和防水保护箱,所述横梁支架固定在工厂顶部横梁上,所述手动可调节横梁安装在横梁支架上,所述手动可调节吊臂安装在手动可调节横梁上,所述防水机箱安装在手动可调节吊臂上,用于防止CCD数码摄像机进水进油,所述CCD数码摄像机固定放置于防水机箱中,所述CCD数码摄像机镜头对准流水线上经过的牛肉二分体,与二分体的切面保持垂直,所述LED射灯安装在防水机箱的顶部,用于弥补工厂光照的不足,所述LED射灯的照射方向与镜头方向保持一致,所述可伸缩背景布放置于牛肉二分体后方,与镜头方向保持垂直,方便后期对图像进行分割,所述计算机与CCD数码摄像机相连,用于处理和存储采集到的牛肉二分体图像,所述塑料管用于保护LED射灯电源线和CCD数码摄像机与计算机之间的数据传输线;
上述手动可调节横梁可以在前后方向进行移动,可移动范围是1.5-2.0米,方便调整防水机箱与流水线上的牛胴体之间的距离;
上述手动可调节吊臂可以在上下方向进行移动,可移动范围是1.0-1.5米,方便调整防水机箱与地面之间的距离;
上述防水保护箱一面为玻璃窗,其余五面皆为铁皮,CCD数码摄像机可以透过玻璃窗对流水线上的牛胴体进行图像采集;
上述LED射灯照射方向可以实现上下左右自由移动;
上述可伸缩背景布可以像窗帘一样实现自由伸缩,在不用的时候可以收起来。
一种基于计算机视觉的牛胴体产肉量自动分级方法,包括以下步骤:
(1)标定摄像机,得到图像中单位像素对应于真实场景中的实际长度;
(2)利用基于计算机视觉的牛胴体产肉量自动分级装置,取得黑色背景的牛肉屠宰场流水线实时视频;
(3)根据霍夫变换原理自动识别出流水线上每头牛右半胴体所对应的悬挂吊钩并进行照片抓捕提取;
(4)进行图像分割与图像处理,得到完整的胴体轮廓区域;
(5)利用角度求索法提取轮廓拐点并计算相应特征值;
(6)根据特征值和人工称出的分割肉重量建立逐步回归与BP神经网络预测模型,而后对模型进行检验和结果比较,找出最优模型;
(7)通过建立好的最优模型对牛胴体进行评级,把分级数据保存到数据库中并实时上传至服务器端;
上述步骤(1)中的摄像机标定包括以下步骤:
(a)选取一个标定用的棋盘,该棋盘为6*8黑白正方格棋盘,每一正方格的边长为3cm;
(b)通过摄像头对放置在固定位置的棋盘进行10个不同角度的拍摄,共得到10幅棋盘图像;
(c)以OpenCV计算机视觉库为基础,调用cvFindChessboardCorners()函数找到其中的角点,并标记出来,得到10幅图像的角点,然后调用cvCalibrateCamera2()函数即可得到摄像头的内外参数;
(d)图像中物体的实际尺寸即可通过以下公式计算得出:
L = l * d f
其中l为物体在图像中所占的像素个数,d为摄像头到物体的距离,f即为内参数矩阵中的第一个参数值,物体的实际尺寸L与距离d单位相同;
上述步骤(3)中利用霍夫变换原理自动识别牛肉右半胴体悬挂吊钩,具体实施步骤如下:
(a)每隔一段时间读入一幅图像,时间间隔视流水线上牛胴体的运动速度而定,一般设为0.5s即可;
(b)将图像转化为灰度图;
(c)设置图像的感兴趣区域,之后会在这个区域寻找悬挂吊钩,该区域一般设在图像的正上方偏左的位置,设置依据为每次牛胴体经过的时候该区域只会出现悬挂吊钩;
(d)对感兴趣区域进行Canny变换;
(e)对变换后的图像进行霍夫直线检测,判断是否含有指定角度的直线,角度大小视吊钩的倾斜程度而定,如果没有则返回步骤(a),如果有则进入到下一步;
(f)计算和上一次检测到指定直线的时间间隔,如果间隔小于一定时间,则认为和上一次检测到的是同一头牛胴体,返回步骤(a),如果时间间隔大于这个时间,则认为和上一次检测到的是相临的牛胴体,返回这幅图像以进行后续处理;
上述步骤(4)中图像分割和图像提取包含以下步骤:
(a)将图像转化为灰度图;
(b)用大津法对图像进行自适应阈值分割;
(c)对分割后的图像进行轮廓提取,并对轮廓进行填充;
(d)对填充后的图像进行形态学的开运算,去掉目标外的干扰成分;
上述步骤(5)中的角度求索法提取轮廓拐点,具体的算法描述如下:
(a)在轮廓图像中选取一边缘轮廓点作为起始点,从下到上、从右到左,以顺时针方向扫描边缘;
(b)计算起始点往前第三个点和往后第三个点在该点处形成的夹角,同样的,计算上两个边缘点和下两个边缘点的夹角,如果该起始点夹角取得最小值,则被标记为拐点,否则为非拐点;
(c)选取下一个边缘点作为起始点,重复执行第(b)步直到所有边缘点被扫描;
上述步骤(5)中提取得到了如下38个特征值:
胴体长、腿1宽、腿2宽、腿3宽、胸1宽、胸2宽、胸3宽、腿1长、腿2长、胸长、腿胸相距、胴体面积、腿面积、胸面积、腿面积比重、胸面积比重、腿面积比腿2长、胸面积比胸长、腿1宽比腿2长、腿2宽比腿2长、腿3宽比腿2长、腿3宽比腿1长、腿1宽比胴体长、腿2宽比胴体长、腿3宽比胴体长、胸1宽比胸长、胸2宽比胸长、胸3宽比胸长、胸1宽比胴体长、胸2宽比胴体长、胸3宽比胴体长、胴体长平方、腿1宽平方、腿2宽平方、腿3宽平方、胸1宽平方、胸2宽平方、胸3宽平方,其中的长度单位是米,面积单位是平方米;
上述步骤(6)中的逐步回归预测模型的具体实现步骤如下:
(a)根据牛胴体实际产肉重量值对牛肉样本进行标签分类,分为预测集和测试集;
(b)根据预测集样本的38个轮廓特征值建立逐步回归模型;
(c)将测试集样本代入建好的逐步回归预测模型;
(d)将逐步回归预测模型结果与实际产量等级进行比较,得出预测准确率;
上述步骤(6)中的BP神经网络预测模型的具体实现步骤如下:
(a)根据牛胴体实际产肉重量值对牛肉样本进行标签分类,分为预测集和测试集;
(b)根据预测集样本的38个轮廓特征值建立BP神经网络预测模型;
(c)将测试集样本代入建好的BP神经网络预测模型;
(d)将BP神经网络预测模型结果与实际产量等级进行比较,得出预测准确率。
本发明的优点
1、采用手动可调节横梁可以调节摄像头与牛胴体之间的距离,采用手动可调节吊臂可以调节摄像头与地面之间的距离,这使得牛胴体可以正好放进镜头画面的正中间。
2、采用防水机箱可以防止摄像机进水进油,很大程度上延长了摄像机的使用寿命。
3、采用的可伸缩背景布可以像窗帘一样实现自由伸缩,在不用的时候可以收起来,使用方便快捷。
4、运用霍夫变换的原理实现了流水线上牛胴体的自动识别,很大程度上提高了工作效率。
5、利用角度求索法提取轮廓拐点并计算相应特征值,利用逐步回归与BP神经网络对牛胴体产量等级进行预测,其中逐步回归模型对牛胴体样本的预测准确率为85%,BP神经网络模型对牛胴体样本的预测准确率为90%,都达到了很高的准确率。
附图说明
图1为本发明装置的结构示意图;
图2为本发明的方法流程图;
图3为摄像机标定图版;
图4为霍夫变换原理示意图;
图5为拐点算法示意图;
图6为牛肉二分体轮廓拐点的提取。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的其具体实施方式、结构、特征及其功效,详细说明如后。
如图1所示,为一种基于计算机视觉的牛胴体产肉量自动分级装置,包括承载装置、CCD数码摄像机6、LED射灯7、可伸缩背景布9、计算机10和塑料管11。所述承载装置包括横梁支架2、手动可调节横梁3、手动可调节吊臂4和防水机箱5,所述横梁支架2固定在工厂顶部横梁1上,所述手动可调节横梁3安装在横梁支架2上,所述手动可调节吊臂4安装在手动可调节横梁3上,所述防水机箱5安装在手动可调节吊臂4上,用于防止CCD数码摄像机6进水进油,所述CCD数码摄像机6固定放置于防水机箱5中,所述CCD数码摄像机6的镜头对准流水线上经过的牛肉二分体8,与二分体8的切面保持垂直,所述LED射灯7安装在防水机箱5的顶部,用于弥补工厂光照的不足,所述LED射灯7的照射方向与镜头方向保持一致,所述可伸缩背景布9放置于牛肉二分体8后方,与镜头方向保持垂直,方便后期对图像进行分割,所述计算机10与CCD数码摄像机6相连,用于处理和存储采集到的牛肉二分体图像,所述塑料管11用于保护LED射灯7的电源线和CCD数码摄像机6与计算机10之间的数据传输线。
作为优选方案,手动可调节横梁3可以在前后方向进行移动,可移动范围是1.5-2.0米,方便调整防水机箱5与流水线上的牛胴体8之间的距离。
作为优选方案,手动可调节吊臂4可以在上下方向进行移动,可移动范围是1.0-1.5米,方便调整防水机箱5与地面之间的距离。
作为优选方案,防水机箱5一面为玻璃窗,其余五面皆为铁皮,CCD数码摄像机6可以透过玻璃窗对流水线上的牛胴体8进行图像采集。
作为优选方案,LED射灯7照射方向可以实现上下左右自由移动。
作为优选方案,可伸缩背景布9可以像窗帘一样实现自由伸缩,在不用的时候可以收起来。
如图2、图3、图4、图5和图6所示,为一种基于计算机视觉的牛胴体产肉量自动分级方法,包括以下步骤:
(1)对摄像机进行标定,得到图像中单位像素对应于真实场景中的实际长度;
(2)利用基于计算机视觉的牛胴体产肉量自动分级装置,取得黑色背景的牛肉屠宰场流水线实时视频;
(3)根据霍夫变换原理自动识别出流水线上每头牛右半胴体所对应的悬挂吊钩并进行照片抓捕提取;
(4)进行图像分割与图像处理,得到完整的胴体轮廓区域;
(5)利用角度求索法提取轮廓拐点并计算相应特征值;
(6)根据特征值和人工称出的分割肉重量建立逐步回归与BP神经网络预测模型,而后对模型进行检验和结果比较,找出最优模型;
(7)通过建立好的最优模型对牛胴体进行评级,把分级数据保存到数据库中并实时上传至服务器端。
上述步骤(1)中需要对摄像头进行标定,具体原理如下:
摄像机的成像原理可以简化为最简单的针孔模型,其假设发光的物体为一点,光线从较远的地方射来,经过小孔后汇聚在投影平面上,焦距为小孔到投影平面的距离f,物体到小孔的距离为z,整个物体的长度为X,投影平面上成像的长度为x,所以有如下关系:
- x = f X z
但由于作为成像最小单位的像素点为矩形,所以上式变为:
- X 1 = f 1 X z + c 1 - Y 1 = f 2 Y z + c 2
其中c1、c2为考虑到光轴与成像像素点之间存在偏差而引入的新变量。将实际物体上的点投影到成像平面上的过程成为投影变换,经过投影变换,摄像机的内参数矩阵为:
M = f 1 0 c 1 0 f 2 c 2 0 0 1
实际的图像的三维点为:Q=(Q1,Q2,Q3)T,投影后的二维点为:q=(q1,q2,q3)T,所以有:q=MQ。
具体包括以下步骤:
(a)选取一个标定用的棋盘,该棋盘为6*8黑白正方格棋盘,每一正方格的边长为3cm,如图3所示;
(b)通过摄像头对放置在固定位置的棋盘进行10个不同角度的拍摄,共得到10幅棋盘图像;
(c)以OpenCV计算机视觉库为基础,调用cvFindChessboardCorners()函数找到其中的角点,并标记出来,得到10幅图像的角点,然后调用cvCalibrateCamera2()函数即可得到摄像头的内外参数;
(d)图像中物体的实际尺寸即可通过以下公式计算得出:
L = l * d f
其中l为物体在图像中所占的像素个数,d为摄像头到物体的距离,f即为上述内参数矩阵M中的f1或者f2的值(一般情况下这两个值是相等的),物体的实际尺寸L与距离d单位相同。
上述步骤(3)中利用霍夫变换原理自动识别牛肉右半胴体悬挂吊钩,霍夫变换是图像变换中的经典手段之一,主要用来从图像中分离出具有某种相同特征的几何形状(如,直线,圆等)。霍夫变换寻找直线与圆的方法相比于其它方法可以更好的减少噪声干扰。经典的霍夫变换常用来检测直线,圆,椭圆等。
以直线检测为例,每个像素坐标点经过变换都变成对直线特质有贡献的统一度量,一个简单的例子如下:一条直线在图像中是一系列离散点的集合,通过一个直线的离散极坐标公式,可以表达出直线的离散点几何等式如下:x*cos(theta)+y*sin(theta)=r,其中theta指r与x坐标轴之间的夹角,r为坐标原点到直线的几何垂直距离。任何在直线上点,x,y都可以表达,其中r,theta是常量,该公式图形表示如图4所示。
然而在实际的图像处理领域,图像的像素坐标P(x,y)是已知的,而r和theta则是我们要寻找的变量。如果我们能根据像素点坐标P(x,y)值绘制每个(r,theta)值的话,那么就能从图像笛卡尔坐标系统转换到极坐标霍夫空间系统。变换通过量化霍夫参数空间为有限个累加格子。当霍夫变换算法开始,每个像素坐标点P(x,y)被转换到(r,theta)的曲线点上面,累加到对应的格子数据点,当一个波峰出现时候,说明有直线存在。
运用霍夫变换的具体实施步骤如下:
(a)每隔一段时间读入一幅图像,时间间隔视流水线上牛胴体的运动速度而定,一般设为0.5s即可;
(b)将图像转化为灰度图;
(c)设置图像的感兴趣区域,之后会在这个区域寻找悬挂吊钩,该区域一般设在图像的正上方偏左的位置,设置依据为每次牛胴体经过的时候该区域只会出现悬挂吊钩;
(d)对感兴趣区域进行Canny变换;
(e)对变换后的图像进行霍夫直线检测,判断是否含有指定角度的直线,角度大小视吊钩的倾斜程度而定,如果没有则返回步骤(a),如果有则进入到下一步;
(f)计算和上一次检测到指定直线的时间间隔,如果间隔小于一定时间,则认为和上一次检测到的是同一头牛胴体,返回步骤(a),如果时间间隔大于这个时间,则认为和上一次检测到的是相临的牛胴体,返回这幅图像以进行后续处理。
上述步骤(4)中图像分割和图像提取包含以下步骤:
(a)将图像转化为灰度图;
(b)用大津法对图像进行自适应阈值分割;
(c)对分割后的图像进行轮廓提取,并对轮廓进行填充;
(d)对填充后的图像进行形态学的开运算,去掉目标外的干扰成分。
上述步骤(5)中运用角度求索法提取轮廓拐点,具体算法描述如下:
(a)在轮廓图像中选取一边缘轮廓点作为起始点,从下到上、从右到左,以顺时针方向扫描边缘;
(b)计算起始点往前第三个点和往后第三个点在该点处形成的夹角,同样的,计算上两个边缘点和下两个边缘点的夹角,如果该起始点夹角取得最小值,则被标记为拐点,否则为非拐点;
(c)选取下一个边缘点作为起始点,重复执行第(b)步直到所有边缘点被扫描。
具体的算法示意图如图5所示,从图5中可以看出,几个边缘点a、b、c、d、e在c点处取得最小的夹角值,该点则被认为是轮廓的拐点。
通过以上的拐点获取算法,对牛胴体轮廓进行拐点提取,并对其中一些重要的点进行标注,如图6所示。在图6中,提取出的拐点有a点、b点、c1点、d1点、e2点、f1点、g1点和h点,并提取出c1、d1、e2、f1、g1点所对应的牛胴体横长c1c2、d1d2、e1e2、f1f2、g1g2。
上述步骤(5)中,根据图6所示图像提取得到了38个特征,这些特征根据摄像机标定结果可以算出相应特征值,具体特征值如下:
胴体长(a、b两点之间水平距离)、腿1宽(c1c2长)、腿2宽(d1d2长)、腿3宽(c1和h两点之间垂直距离)、胸1宽(e1e2长)、胸2宽(f1f2长)、胸3宽(g1g2长)、腿1长(h点到c1c2的距离)、腿2长(a点到c1c2的距离)、胸长(e1e2到g1g2的距离)、腿胸相距(c1c2到e1e2的距离)、胴体面积、腿面积(c1c2以上的胴体面积)、胸面积(e1e2和g1g2之间的胴体面积)、腿面积比重(腿面积占胴体面积的比重)、胸面积比重(胸面积占胴体面积的比重)、腿面积比腿2长、胸面积比胸长、腿1宽比腿2长、腿2宽比腿2长、腿3宽比腿2长、腿3宽比腿1长、腿1宽比胴体长、腿2宽比胴体长、腿3宽比胴体长、胸1宽比胸长、胸2宽比胸长、胸3宽比胸长、胸1宽比胴体长、胸2宽比胴体长、胸3宽比胴体长、胴体长平方、腿1宽平方、腿2宽平方、腿3宽平方、胸1宽平方、胸2宽平方、胸3宽平方。其中的长度单位是米,面积单位是平方米。
本系统根据38个牛胴体轮廓特征值建立2个不同的产量等级预测模型,分别是逐步回归预测模型和BP神经网络预测模型。
逐步回归的基本思想是:将变量一个一个引入,每引入一个变量后,对已选入的变量要进行逐个检验,当原引入的变量由于后面变量的引入而变得不再显著时,要将其剔除。引入一个变量或从回归方程中剔除一个变量,为逐步回归的一步,每一步都要进行F检验,以确保每次引入新的变量之前回归方程中只包含显著的变量。这个过程反复进行,直到既无显著地自变量选入回归方程,也无不显著自变量从回归方程中剔除为止。这里将胴体产量等级选为因变量,所有轮廓特征值选为自变量,采用逐步回归方法即可得到预测模型。具体实现步骤如下:
(a)根据牛胴体实际产肉重量值对牛肉样本进行标签分类,分为预测集和测试集;
(b)根据预测集样本的38个轮廓特征值建立逐步回归模型;
(c)将测试集样本代入建好的逐步回归预测模型;
(d)将逐步回归预测模型结果与实际产量等级进行比较,得出预测准确率。
人工神经网络(artificialneuralnetwork,ANN)是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激,其反应又从输出端传到相联的其它神经元,输入和输出之间的变换关系一般是非线性的。神经网络是由若干简单(通常是自适应的)元件及其层次组织,以大规模并行连接方式构造而成的网络,按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络,对输入信号有功能强大的反应和处理能力。
若干神经元连接成网络,其中的一个神经元可以接受多个输入信号,按照一定的规则转换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元传递信号的非线性方式,输入和输出信号间可以构建出各种各样的关系,因此可以用来作为黑箱模型,表达那些用机理模型还无法精确描述、但输入和输出之间确实有客观的、确定性的或模糊性的规律。因此,人工神经网络作为经验模型的一种,在化工生产、研究和开发中得到了越来越多的用途。
BP神经网络是一种有监督的多层前馈神经网络,由输入层、隐含层和输出层组成。BP算法主要是从后向前(反向)逐层传播输出层的误差,以间接算出隐含层误差。算法分为两个阶段:第一个阶段(正向过程)输入信息从输入层经隐含层逐层计算各单元的输出值;第二阶段(反向传播过程)内输出误差逐层向前算出隐含层各单位误差,并用此误差修正前层权值。
神经网络中样本的归一化影响着训练精度和收敛速度,合适的归一化方法不仅能够提高预测精度,而且可以减少迭代次数、提高收敛速度。本专利采用的归一化方法为:
S ′ = 0.1 + ( 0.9 - 0.1 ) * S - S min ( S m a x - S min )
该归一化方法把训练样本数据各个特征值都归一到[0.1,0.9]的区间内,其中S为归一化前的特征值,S'为归一化后的特征值,Smax为训练样本数据中的该特征的最大值,Smin为训练样本数据中该特征的最小值。为了不影响神经网络训练的准确性采用上述方法不仅要对训练网络的数据归一化处理,还要对待测试的数据进行统一的归一化处理,从而保证数据特征的一致性。本专利运用BP神经网络,以归一化特征数据作为输入,以等级(1,2,...n)作为输出,训练神经网络模型。输入层节点数为38,输出层节点数为1,隐含层节点数为15,激励函数为系统精度为0.00001,步长为0.001,具体实现步骤如下:
(a)根据牛胴体实际产肉重量值对牛肉样本进行标签分类,分为预测集和测试集;
(b)根据预测集样本的38个轮廓特征值建立BP神经网络预测模型;
(c)将测试集样本代入建好的BP神经网络预测模型;
(d)将BP神经网络预测模型结果与实际产量等级进行比较,得出预测准确率。
本系统分别利用逐步回归与BP神经网络对牛胴体产量等级进行预测,其中逐步回归模型对牛胴体样本的预测准确率为85%,BP神经网络模型对牛胴体样本的预测准确率为90%,都达到了很高的准确率。所以,通过本发明所采取的基于计算机视觉的牛胴体产肉量自动分级装置与方法,可以对流水线上的牛胴体进行有效的自动产量等级预测。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (14)

1.一种基于计算机视觉的牛胴体产肉量自动分级装置,其特征在于:包括承载装置、CCD数码摄像机、LED射灯、可伸缩背景布、计算机和塑料管,所述承载装置包括横梁支架、手动可调节横梁、手动可调节吊臂和防水保护箱,所述横梁支架固定在工厂顶部横梁上,所述手动可调节横梁安装在横梁支架上,所述手动可调节吊臂安装在手动可调节横梁上,所述防水机箱安装在手动可调节吊臂上,用于防止CCD数码摄像机进水进油,所述CCD数码摄像机固定放置于防水机箱中,所述CCD数码摄像机镜头对准流水线上经过的牛肉二分体,与二分体的切面保持垂直,所述LED射灯安装在防水机箱的顶部,用于弥补工厂光照的不足,所述LED射灯的照射方向与镜头方向保持一致,所述可伸缩背景布放置于牛肉二分体后方,与镜头方向保持垂直,方便后期对图像进行分割,所述计算机与CCD数码摄像机相连,用于处理和存储采集到的牛肉二分体图像,所述塑料管用于保护LED射灯电源线和CCD数码摄像机与计算机之间的数据传输线。
2.根据权利要求1所述的基于计算机视觉的牛胴体产肉量自动分级装置,其特征在于:所述手动可调节横梁可以在前后方向进行移动,可移动范围是1.5-2.0米,方便调整防水机箱与流水线上的牛胴体之间的距离。
3.根据权利要求1所述的基于计算机视觉的牛胴体产肉量自动分级装置,其特征在于:所述手动可调节吊臂可以在上下方向进行移动,可移动范围是1.0-1.5米,方便调整防水机箱与地面之间的距离。
4.根据权利要求1所述的基于计算机视觉的牛胴体产肉量自动分级装置,其特征在于:所述防水保护箱一面为玻璃窗,其余五面皆为铁皮,CCD数码摄像机可以透过玻璃窗对流水线上的牛胴体进行图像采集。
5.根据权利要求1所述的基于计算机视觉的牛胴体产肉量自动分级装置,其特征在于:所述LED射灯照射方向可以实现上下左右自由移动。
6.根据权利要求1所述的基于计算机视觉的牛胴体产肉量自动分级装置,其特征在于:所述可伸缩背景布可以像窗帘一样实现自由伸缩,在不用的时候可以收起来。
7.一种基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于包括以下步骤:
(1)标定摄像机,得到图像中单位像素对应于真实场景中的实际长度;
(2)利用基于计算机视觉的牛胴体产肉量自动分级装置,取得黑色背景的牛肉屠宰场流水线实时视频;
(3)根据霍夫变换原理自动识别出流水线上每头牛右半胴体所对应的悬挂吊钩并进行照片抓捕提取;
(4)进行图像分割与图像处理,得到完整的胴体轮廓区域;
(5)利用角度求索法提取轮廓拐点并计算相应特征值;
(6)根据特征值和人工称出的分割肉重量建立逐步回归与BP神经网络预测模型,而后对模型进行检验和结果比较,找出最优模型;
(7)通过建立好的最优模型对牛胴体进行评级,把分级数据保存到数据库中并实时上传至服务器端。
8.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(1)中的摄像机标定包括以下步骤:
(8a)选取一个标定用的棋盘,该棋盘为6*8黑白正方格棋盘,每一正方格的边长为3cm;
(8b)通过摄像头对放置在固定位置的棋盘进行10个不同角度的拍摄,共得到10幅棋盘图像;
(8c)以OpenCV计算机视觉库为基础,调用cvFindChessboardCorners()函数找到其中的角点,并标记出来,得到10幅图像的角点,然后调用cvCalibrateCamera2()函数即可得到摄像头的内外参数;
(8d)图像中物体的实际尺寸即可通过以下公式计算得出:
其中l为物体在图像中所占的像素个数,d为摄像头到物体的距离,f即为内参数矩阵中的第一个参数值,物体的实际尺寸L与距离d单位相同。
9.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(3)中利用霍夫变换原理自动识别牛肉右半胴体悬挂吊钩,具体实施步骤如下:
(9a)每隔一段时间读入一幅图像,时间间隔视流水线上牛胴体的运动速度而定,一般设为0.5s即可;
(9b)将图像转化为灰度图;
(9c)设置图像的感兴趣区域,之后会在这个区域寻找悬挂吊钩,该区域一般设在图像的正上方偏左的位置,设置依据为每次牛胴体经过的时候该区域只会出现悬挂吊钩;
(9d)对感兴趣区域进行Canny变换;
(9e)对变换后的图像进行霍夫直线检测,判断是否含有指定角度的直线,角度大小视吊钩的倾斜程度而定,如果没有则返回步骤(9a),如果有则进入到下一步;
(9f)计算和上一次检测到指定直线的时间间隔,如果间隔小于一定时间,则认为和上一次检测到的是同一头牛胴体,返回步骤(9a),如果时间间隔大于这个时间,则认为和上一次检测到的是相临的牛胴体,返回这幅图像以进行后续处理。
10.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(4)中图像分割和图像提取包含以下步骤:
(10a)将图像转化为灰度图;
(10b)用大津法对图像进行自适应阈值分割;
(10c)对分割后的图像进行轮廓提取,并对轮廓进行填充;
(10d)对填充后的图像进行形态学的开运算,去掉目标外的干扰成分。
11.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(5)中的角度求索法提取轮廓拐点,具体的算法描述如下:
(11a)在轮廓图像中选取一边缘轮廓点作为起始点,从下到上、从右到左,以顺时针方向扫描边缘;
(11b)计算起始点往前第三个点和往后第三个点在该点处形成的夹角,同样的,计算上两个边缘点和下两个边缘点的夹角,如果该起始点夹角取得最小值,则被标记为拐点,否则为非拐点;
(11c)选取下一个边缘点作为起始点,重复执行第(11b)步直到所有边缘点被扫描。
12.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(5)中提取得到了如下38个特征值:
胴体长、腿1宽、腿2宽、腿3宽、胸1宽、胸2宽、胸3宽、腿1长、腿2长、胸长、腿胸相距、胴体面积、腿面积、胸面积、腿面积比重、胸面积比重、腿面积比腿2长、胸面积比胸长、腿1宽比腿2长、腿2宽比腿2长、腿3宽比腿2长、腿3宽比腿1长、腿1宽比胴体长、腿2宽比胴体长、腿3宽比胴体长、胸1宽比胸长、胸2宽比胸长、胸3宽比胸长、胸1宽比胴体长、胸2宽比胴体长、胸3宽比胴体长、胴体长平方、腿1宽平方、腿2宽平方、腿3宽平方、胸1宽平方、胸2宽平方、胸3宽平方,其中的长度单位是米,面积单位是平方米。
13.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(6)中的逐步回归预测模型的具体实现步骤如下:
(13a)根据牛胴体实际产肉重量值对牛肉样本进行标签分类,分为预测集和测试集;
(13b)根据预测集样本的38个轮廓特征值建立逐步回归模型;
(13c)将测试集样本代入建好的逐步回归预测模型;
(13d)将逐步回归预测模型结果与实际产量等级进行比较,得出预测准确率。
14.根据权利要求7所述的基于计算机视觉的牛胴体产肉量自动分级方法,其特征在于:所述步骤(6)中的BP神经网络预测模型的具体实现步骤如下:
(14a)根据牛胴体实际产肉重量值对牛肉样本进行标签分类,分为预测集和测试集;
(14b)根据预测集样本的38个轮廓特征值建立BP神经网络预测模型;
(14c)将测试集样本代入建好的BP神经网络预测模型;
(14d)将BP神经网络预测模型结果与实际产量等级进行比较,得出预测准确率。
CN201511018042.9A 2015-12-30 2015-12-30 基于计算机视觉的牛胴体产肉量自动分级装置与方法 Pending CN105651776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511018042.9A CN105651776A (zh) 2015-12-30 2015-12-30 基于计算机视觉的牛胴体产肉量自动分级装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511018042.9A CN105651776A (zh) 2015-12-30 2015-12-30 基于计算机视觉的牛胴体产肉量自动分级装置与方法

Publications (1)

Publication Number Publication Date
CN105651776A true CN105651776A (zh) 2016-06-08

Family

ID=56478411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511018042.9A Pending CN105651776A (zh) 2015-12-30 2015-12-30 基于计算机视觉的牛胴体产肉量自动分级装置与方法

Country Status (1)

Country Link
CN (1) CN105651776A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872473A (zh) * 2017-02-21 2017-06-20 中国矿业大学 一种基于机器视觉的马铃薯缺陷检测识别系统设计
CN107030021A (zh) * 2017-04-11 2017-08-11 浙江农林大学暨阳学院 一种用于薯片生产线的视觉检测定位方法
CN107993203A (zh) * 2017-11-27 2018-05-04 吉林省艾斯克机电股份有限公司 一种家禽胴体影像分级方法及其分级系统
CN108362693A (zh) * 2018-01-12 2018-08-03 上海大学 一种基于图像处理的传送带上绝缘子合格率的检测方法
CN108719424A (zh) * 2018-06-04 2018-11-02 浙江海洋大学 一种基于机器视觉的水产品分类方法及系统
CN109141248A (zh) * 2018-07-26 2019-01-04 深源恒际科技有限公司 基于图像的猪体重测算方法及系统
CN109844450A (zh) * 2016-12-06 2019-06-04 欧姆龙株式会社 分类装置、分类方法以及程序
CN112906773A (zh) * 2021-02-04 2021-06-04 中国农业大学 基于云服务的生猪屠宰线胴体品质分级和监控方法及系统
EP3837981A1 (en) 2019-12-20 2021-06-23 Devrone Unlimited Company Meat processing method and apparatus
EP3837980A1 (en) 2019-12-20 2021-06-23 Devrone Unlimited Company Meat processing method and apparatus
WO2021122247A1 (en) 2019-12-20 2021-06-24 Devrone Unlimited Company Meat processing method and apparatus
CN114330490A (zh) * 2021-11-19 2022-04-12 山东大学 一种基于畜类胴体点云图像的分块方法及系统
US11497221B2 (en) 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
CN116596999A (zh) * 2023-04-19 2023-08-15 大连工业大学 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731209A (en) * 1985-04-30 1988-03-15 National Institute Of Animal Industry Method of making standard color models used for judging beef
WO2003034319A1 (en) * 2001-10-15 2003-04-24 Vision For You Llc Predicting quality of meat and/or meat yield of an animal carcass
CN1603801A (zh) * 2004-11-02 2005-04-06 江苏大学 牛肉胴体质量的计算机视觉检测分级方法及装置
US20070292559A1 (en) * 1997-03-13 2007-12-20 Safefresh Technologies, Llc Tracking meat goods to country of origin
CN101569325A (zh) * 2009-06-04 2009-11-04 浙江青莲食品有限公司 一种带皮片猪胴体的分级方法
CN101601580A (zh) * 2009-07-20 2009-12-16 南京农业大学 便携式牛胴体眼肌截面图像采集装置
CN102156129A (zh) * 2009-12-02 2011-08-17 南京农业大学 一种基于机器视觉的牛肉品质智能分级系统及其方法
CN102435574A (zh) * 2011-09-01 2012-05-02 中国农业科学院农产品加工研究所 一种羊胴体产量的无损分级方法
CN102519962A (zh) * 2011-12-07 2012-06-27 中国农业大学 猪肉质量等级无损检测系统
CN102519906A (zh) * 2011-12-19 2012-06-27 中国农业大学 多通道近红外光谱牛肉品质多参数同时检测方法
CN102608118A (zh) * 2012-01-13 2012-07-25 南京农业大学 基于嵌入式机器视觉技术的便携式牛肉品质分级系统图像采集装置
CN102967578A (zh) * 2012-11-08 2013-03-13 中国农业科学院农业质量标准与检测技术研究所 在线获取牛肉样本近红外光谱的方法及其在评价牛肉质量中的应用

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731209A (en) * 1985-04-30 1988-03-15 National Institute Of Animal Industry Method of making standard color models used for judging beef
US20070292559A1 (en) * 1997-03-13 2007-12-20 Safefresh Technologies, Llc Tracking meat goods to country of origin
WO2003034319A1 (en) * 2001-10-15 2003-04-24 Vision For You Llc Predicting quality of meat and/or meat yield of an animal carcass
US20040125987A1 (en) * 2001-10-15 2004-07-01 Tyson Fresh Meats, Inc. Image analysis systems for grading of meat, predicting quality of meat and/or predicting meat yield of an animal carcass
CN1603801A (zh) * 2004-11-02 2005-04-06 江苏大学 牛肉胴体质量的计算机视觉检测分级方法及装置
CN101569325A (zh) * 2009-06-04 2009-11-04 浙江青莲食品有限公司 一种带皮片猪胴体的分级方法
CN101601580A (zh) * 2009-07-20 2009-12-16 南京农业大学 便携式牛胴体眼肌截面图像采集装置
CN102156129A (zh) * 2009-12-02 2011-08-17 南京农业大学 一种基于机器视觉的牛肉品质智能分级系统及其方法
CN102435574A (zh) * 2011-09-01 2012-05-02 中国农业科学院农产品加工研究所 一种羊胴体产量的无损分级方法
CN102519962A (zh) * 2011-12-07 2012-06-27 中国农业大学 猪肉质量等级无损检测系统
CN102519906A (zh) * 2011-12-19 2012-06-27 中国农业大学 多通道近红外光谱牛肉品质多参数同时检测方法
CN102608118A (zh) * 2012-01-13 2012-07-25 南京农业大学 基于嵌入式机器视觉技术的便携式牛肉品质分级系统图像采集装置
CN102967578A (zh) * 2012-11-08 2013-03-13 中国农业科学院农业质量标准与检测技术研究所 在线获取牛肉样本近红外光谱的方法及其在评价牛肉质量中的应用

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. OLIVER 等: "Predicting meat yields and commercial meat cuts from carcasses of young bulls of Spanish breeds by the SERROP method and an image analysis system", 《MEAT SCIENCE》 *
中华人民共和国农业部: "《中华人民共和国农业行业标准》", 30 July 2003, 中国标准出版社 *
于铂: "基于图像处理技术的猪肉无损定级系统", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
程建璞 等: "基于OpenCV的视觉测量技术中摄像机标定方法", 《北京工商大学学报(自然科学版)》 *
肖世德 等: "《高等机械CAD/CAM》", 31 January 2015, 西南交通大学出版社 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844450A (zh) * 2016-12-06 2019-06-04 欧姆龙株式会社 分类装置、分类方法以及程序
US11475294B2 (en) 2016-12-06 2022-10-18 Omron Corporation Classification apparatus for detecting a state of a space with an integrated neural network, classification method, and computer readable medium storing a classification program for same
CN106872473A (zh) * 2017-02-21 2017-06-20 中国矿业大学 一种基于机器视觉的马铃薯缺陷检测识别系统设计
CN107030021A (zh) * 2017-04-11 2017-08-11 浙江农林大学暨阳学院 一种用于薯片生产线的视觉检测定位方法
CN107993203A (zh) * 2017-11-27 2018-05-04 吉林省艾斯克机电股份有限公司 一种家禽胴体影像分级方法及其分级系统
CN108362693A (zh) * 2018-01-12 2018-08-03 上海大学 一种基于图像处理的传送带上绝缘子合格率的检测方法
CN108719424A (zh) * 2018-06-04 2018-11-02 浙江海洋大学 一种基于机器视觉的水产品分类方法及系统
CN109141248A (zh) * 2018-07-26 2019-01-04 深源恒际科技有限公司 基于图像的猪体重测算方法及系统
CN109141248B (zh) * 2018-07-26 2020-09-08 深源恒际科技有限公司 基于图像的猪体重测算方法及系统
US11864562B2 (en) 2019-07-19 2024-01-09 Walmart Apollo, Llc Systems and methods for managing meat cut quality
US11497221B2 (en) 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
EP3837981A1 (en) 2019-12-20 2021-06-23 Devrone Unlimited Company Meat processing method and apparatus
EP3837980A1 (en) 2019-12-20 2021-06-23 Devrone Unlimited Company Meat processing method and apparatus
WO2021122247A1 (en) 2019-12-20 2021-06-24 Devrone Unlimited Company Meat processing method and apparatus
CN112906773A (zh) * 2021-02-04 2021-06-04 中国农业大学 基于云服务的生猪屠宰线胴体品质分级和监控方法及系统
CN114330490A (zh) * 2021-11-19 2022-04-12 山东大学 一种基于畜类胴体点云图像的分块方法及系统
CN116596999A (zh) * 2023-04-19 2023-08-15 大连工业大学 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法
CN116596999B (zh) * 2023-04-19 2024-04-05 大连工业大学 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法

Similar Documents

Publication Publication Date Title
CN105651776A (zh) 基于计算机视觉的牛胴体产肉量自动分级装置与方法
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
Aquino et al. vitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis
CN104764744B (zh) 一种禽蛋新鲜度的视觉检测装置及其方法
CN105044122B (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测方法
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN110689519B (zh) 基于yolo网络的雾滴沉积图像检测系统和方法
CN110473178A (zh) 一种基于多光源融合的外观缺陷检测方法及系统
CN110276386A (zh) 一种基于机器视觉的苹果分级方法及系统
CN111724355B (zh) 一种鲍鱼体型参数的图像测量方法
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN108961330B (zh) 基于图像的猪体长测算方法及系统
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN108491807B (zh) 一种奶牛发情行为实时监测方法及系统
CN106228569A (zh) 一种适用于水质监测的鱼体运动速度检测方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN112613454A (zh) 一种电力基建施工现场违章识别方法及系统
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN110503638A (zh) 螺旋胶质量在线检测方法
CN107194393A (zh) 一种检测临时车牌的方法及装置
Li et al. Estimation of pig weight by machine vision: A review
CN109191461A (zh) 一种基于机器视觉技术的土鸡蛋识别方法及识别装置
Triantoro et al. Image based water gauge reading developed with ANN Kohonen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160608

WD01 Invention patent application deemed withdrawn after publication