CN115984232A - 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 - Google Patents
一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 Download PDFInfo
- Publication number
- CN115984232A CN115984232A CN202310039130.5A CN202310039130A CN115984232A CN 115984232 A CN115984232 A CN 115984232A CN 202310039130 A CN202310039130 A CN 202310039130A CN 115984232 A CN115984232 A CN 115984232A
- Authority
- CN
- China
- Prior art keywords
- fat
- edge line
- point
- thickness
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000015277 pork Nutrition 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 8
- 235000013372 meat Nutrition 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 11
- 235000020997 lean meat Nutrition 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 26
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 241000282887 Suidae Species 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 210000004003 subcutaneous fat Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 210000000845 cartilage Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 150000002894 organic compounds Chemical class 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 210000000593 adipose tissue white Anatomy 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000282898 Sus scrofa Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 235000013594 poultry meat Nutrition 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003307 slaughter Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于基于机器视觉的图像处理技术领域,公开了一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法,将分割肉的整个断面脂肪区域划分成包含脂肪厚度极大值点的n个感兴趣区域,再将感兴趣区域内的曲面拟合成多个二维平面,最后将各二维平面内的脂肪下边缘线B拟合成多段直线,沿直线的法矢方向找到脂肪上边缘线A与脂肪下边缘线B的各对应点,由此将曲面内的脂肪厚度计算转换为二维平面内的点到点距离计算。本发明的方法兼顾检测精度和检测效率,降低了人工劳动量,排除了主观因素影响,实时性较好。
Description
技术领域
本发明属于基于机器视觉的图像处理技术领域,具体涉及一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法。
背景技术
由于人民生活水平的不断提高及饮食结构的逐步调整,消费者对猪肉的品质与数量有了更高的需求。以2021年为例,据统计局发布的《2021年国民经济和社会发展统计公报》初步核算,全年猪牛羊禽肉产量8887万吨,比上年增长16.3%。其中,猪肉产量5296万吨,增长28.8%。年末生猪存栏44922万头,比上年末增长10.5%;全年生猪出栏67128万头,比上年增长27.4%,而中国历年人均猪肉消费量也呈现出整体增长的趋势。猪肉品质与数量需求的提高,意味着消费者的观念不止停留在“吃饱”,更是在追求“吃好”,而要想“吃好”就需要将猪肉划分成不同等级来体现品质的高低,因此对猪肉进行分级成为肉品行业的重要工作。《中华人民共和国国家标准》(GB/T 40945-2021)中指出猪肉的分级包括猪胴体的分级和分割猪肉的分级,而本发明的研究重点在于分割猪肉(分割猪肉的四个部位肉包括:前腿肌肉、后腿肌肉、大排肌肉、中方肉)的分级中所涉及的断面脂肪厚度检测。根据《中华人民共和国国家标准》(GB/T40945-2021)中分割猪肉的分级要求,以分割猪肉的断面皮下脂肪最大厚度作为分级指标,将分割猪肉划分成三个等级。其中,断面脂肪最大厚度定义为分割肉块断面处皮下脂肪最厚处的脂肪厚度。然而,现有的针对分割猪肉的断面皮下脂肪厚度检测方法存在着损伤肉品、检测效率低的问题。因此,如何高效且无损的进行猪分割肉的断面脂肪厚度检测,已成为肉品行业的技术重点。
目前常用的检测方法以人工检测为主:
传统屠宰场流水线通过有经验的技术员通过感官及手工工具如量尺测量断面脂肪最大厚度来等评定分割肉的等级,缺点颇多,首先是检测人员的工作强度大,在面对大量的分割肉块时易产生感官疲劳,造成漏检或错检的现象,导致成批分割肉的分级不精准从而影响检测质量;其次是感官评定猪肉品级受人为主观上的因素影响,无法精准判断断面脂肪厚度最大值的点所在位置,导致脂肪最大厚度测量不精确。且没有统一的标准,不同人员、不同环境下检验的结果也不同,可信度较低;最后是人工在面对大量机械重复工作时,检测速度缓慢,远不能满足屠宰场在线高速生产的需求。
除国标中提到的使用量尺测量分割肉脂肪厚度以外,在实际生产中还提出了基于近红外激光光纤导入技术的猪肉肥瘦度检测方法,其原理是有机物中的分子受到近红外线照射时,含氢基团产生振动使光的部分能量被吸收,不同的分子结构具有不同的吸收带波长和吸收强度。由于猪的肌肉和脂肪中的大多数有机化合物都含有不同的含氢基团,因此通过对其进行近红外光谱分析即可识别;另外还有基于超声射频回波分布的脉冲反射法,其原理是在应用单或双传感器将超声波入射到被测物体内时,遇到不同声阻抗界面时产生反射,通过对接收的超声回波信号进行处理。由于生物组织结构各异,当超声波在非均匀性组织中传播或从一种组织传播到另一种组织时,由于组织声阻抗的不同,在声阻抗改变的分界面上将产生反射、折射和透射。超声波的应用在猪肉背膘检测中多以手持超声波仪的样式出现;皇家空军航空医学研究所、阿伯丁皇家医院的Farnborough等人提出了基于磁共振成像(MRI)的皮下脂肪厚度测量方法,法国尼斯大学医院肾脏科、法国尼斯索菲亚-安提波利斯大学的Guillaume Favre等人提出了基于计算机断层扫描(CT)的皮下脂肪厚度测量方法,但这两种方法涉及的是对人体皮下脂肪厚度的测量。
综上所述,人工检测方法所存在的检测速度慢、工作量大、损伤肉品等问题导致其不能满足屠宰场流水线在线高效无损猪肉检测的需求。而上文提到的近红外激光探针因损伤肉块,不适宜用作无损检测。手持超声波仪依然解决不了工作量大的问题。且近红外激光探针与超声波仪都是在猪肉体表进行的检测,而在已经获得分割肉断面的情况下,无需再进行体表检测。磁共振及CT扫描虽精度高,但多用于医学中对人体疾病的检测,设备昂贵、体积大,不适宜用在屠宰场流水线上对分割猪肉断面脂肪厚度的检测。因此本发明借助图像处理技术提出一种自动化、精确化的猪分割肉断面脂肪最大厚度检测方法,针对上述问题提供了一种解决方案,因其兼具检测精度高、检测效率高、成本低的优势,对肉品行业生产猪分割肉产品的检测具有重要意义,同时也弥补了分割猪肉断面脂肪厚度检测方向的空白。
发明内容
本发明主要针对传统屠宰场流水线上人工对分割猪肉断面脂肪最大厚度检测中存在主观影响大、分割肉块损坏污染、劳动量大、可重复性低的问题,以及视觉检测中肉块水平放置受力挤压、切割工艺等原因导致其断面呈曲面以及猪个体生长差异导致脂肪边缘变化不均匀的复杂情况提出了一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法,其能在无损条件下自动化、高精度的完成分割猪肉的断面脂肪最大厚度检测。具体是指在肉块断面图像经过预处理及脂肪边缘线提取后,将脂肪上边缘线A拟合成连续函数,通过确定该连续函数存在n个极大值点及n+1个极小值点,以极大值相邻两侧的两个极小值点为边界,划分出n个包含一个极大值点的感兴趣区域,由此将最大厚度点范围缩小到感兴趣区域内,减小数据量同时提高了检测效率。针对肉块断面呈曲面情况,通过评价感兴趣区域的拟合优度来决定是否能将感兴趣区域拟合为一个平面。拟合优度大于等于95%的感兴趣区域拟合,拟合优度小于95%的感兴趣区域则进行微元划分,直至将其划分为多个拟合优度高的、拟合为平面的小块区域。由此将呈曲面的断面平面拟合、微元划分为多个处于各自平面内的微元单位区域。针对断面脂肪边缘线由于猪个体生长差异导致的变化不均匀问题,经企业调研后发现,断面中脂肪与瘦肉的临界线由于瘦肉的生长差异而呈现不规则波动变化;而脂肪与猪皮的临界线则因猪皮的均匀变化而呈现出较为规则且波动小甚至无波动的情况。因此将脂肪上边缘线A(近瘦肉侧)上的点作为厚度测量基准点,脂肪下边缘线B(近猪皮侧)进行直线拟合或划分,以此来确定法矢方向。在微元单位区域内将边缘线B上的点B1沿该点所在的拟合直线的法矢方向向边缘线A搜索对应像素点A1,则A1与B1间的实际距离记为A1点实际脂肪厚度H1。像素点坐标信息可在左右视角图像进行极限约束匹配和三维重建后获得。在计算出实际距离后通过取max(H1,Hn)值,依次获得感兴趣区域脂肪厚度最大值、分割肉块断面脂肪最大厚度值。该方法兼顾检测精度和检测效率,降低了人工劳动量,排除了主观因素影响,实时性较好。
本发明的技术方案:
一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法,其特征在于,将分割肉的整个断面脂肪区域划分成包含脂肪厚度极大值点的n个感兴趣区域,再将感兴趣区域内的曲面拟合成多个二维平面,最后将各二维平面内的脂肪下边缘线B拟合成多段直线,沿直线的法矢方向找到脂肪上边缘线A与脂肪下边缘线B的各对应点,由此将曲面内的脂肪厚度计算转换为二维平面内的点到点距离计算;
步骤1、特征提取
步骤1.1图像采集及预处理
利用双目视觉系统获取待测肉块断面的左右视图;对待测肉块断面上的成分作高光谱分析后选定合适波段的滤波片用以区分脂肪和其他成分(比如瘦肉、软骨、猪皮)。对图像进行二值化、腐蚀膨胀等操作后,获得脂肪区域呈白色、其他区域呈黑色的二值化图像,且边缘经过开运算后变的平滑无粘连。
步骤1.2脂肪边缘线提取
针对步骤1.1)获得的二值化、形态学处理后的左右视角图像,使用Canny算子提取脂肪区域的上下两条边缘线,并将脂肪上边缘线标记为A;脂肪下边缘线标记为B。
步骤2、ROI区域筛选
针对步骤1.2)针对步骤1.2)考虑到分割肉块是将带皮的一面向下水平放置在操作台上,并且带皮脂肪是变化较为均匀的,而脂肪与瘦肉相邻的脂肪上边缘线A则会由于瘦肉的发育不同导致其出现变化不均匀且波动较大的情况,因此提取到的脂肪上边缘线A和脂肪下边缘线B则会出现脂肪上边缘线A曲线波动大,脂肪下边缘线B曲线变化均匀的现象;对脂肪下边缘线B进行函数拟合,若该函数某点的一阶导数为零,同时此点二阶导数小于零,则此点为极大值点;获得n个极大值点,按极大值点分布划分成n个感兴趣区域;极大值点两侧相邻两个极小值点垂直向下作直线作为感兴趣区域边界线;以极大值点为ROI区域筛选指标,最终将左右视图分割成包含极大值点在内的、以极大值点两侧极小值点垂直向下搜索为边界线的n个ROI区域;而极大值点两侧相邻两个极小值点垂直向下作直线作为感兴趣区域边界线。例如将左视角图像上第一个极大值点坐标标记为maxL1(uL1,vL1),则其两侧相邻极小值点坐标标记为minL1(u′1,v′1)、minL2(u′2,v′2),那么ROI区域L1则是以minL1(u′1,v′1)、minL2(u′2,v′2)两极小值点向下搜索作为ROI区域L1的左右边界线,包含极大值点maxL1(uL1,vL1)在内的左图像第一个感兴趣区域。
步骤3、ROI区域平面拟合及微元划分
针对步骤2)获得的左右视图的ROI区域,利用极限约束匹配及三维重建来获得脂肪上边缘线A、脂肪下边缘线B上的各点三维坐标信息;将脂肪上边缘线A、脂肪下边缘线B分别从左向右依次搜索其线上的像素点标记为A1~An、B1~Bn,并标记像素点的三维坐标;将三维重建后的肉块断面通过R-squared拟合度来评价感兴趣区域是否为一个完整二维平面,若其拟合优度达到95%及以上则认为此感兴趣区域所在断面为一个完整二维平面,反之则将该感兴趣区域微元划分为两个平面并评价两个平面各自的拟合优度并继续微元划分直至各微元单位区域拟合优度达到95%及以上,获得m个最小微元单位区域,由此将复杂曲面断面测量化简到多个独立二维平面内的测量;
步骤4、脂肪边缘线B的直线拟合及微元划分
针对步骤3)获得的各自在二维平面上的最小微元单位区域,由于脂肪下边缘线B变化较为均匀,使用最小二乘法对其进行直线拟合;若独立的微元单位区域内脂肪下边缘线B可拟合成一条直线,则无须继续划分;若脂肪下边缘线B曲线进行直线拟合的优度低于95%,则继续将脂肪下边缘线B进行微元划分,直至将其拟合成多段直线;由此获得脂肪下边缘线B到脂肪上边缘线A的法矢方向,利于计算实际脂肪厚度;
步骤5、计算断面脂肪厚度最大值
5.1、计算最小微元单位区域脂肪厚度
针对步骤3)获得的最小微元单位区域;将脂肪下边缘线B在其拟合直线上的点沿直线法矢方向搜索与脂肪上边缘线A的交点,即B1点沿其所在的拟合直线法矢方向搜索与脂肪上边缘线A相交于A1点,由于最小微元单位区域处于一个平面,因此计算A1点到B1点的实际距离即为该两点间的实际脂肪厚度记为H1,直至求出该最小微元单位区域内各点的脂肪厚度H1~Hn;
5.2、获得分割肉块断面脂肪厚度最大值
针对步骤5.1)获得的最小微元单位区域内各点脂肪厚度H1~Hn,通过max(H1,Hn)取最大值来获得最小微元单位区域内的脂肪厚度最大值;同理,将其与同一感兴趣区域内的其它最小微元单位区域脂肪厚度最大值作比较,从而获得该感兴趣区域内的脂肪厚度最大值;最后,在各感兴趣区域脂肪厚度取最大值之后获得该分割肉块最终的断面脂肪最大厚度值。
本发明的有益效果:相较于目前屠宰场流水线上的人工手动测量,本发明提出的方法既降低了劳动量,又将测量精度和效率大大提升;而对比红外探针及超声波仪测猪肉脂肪厚度的方法,本发明提出的方法既避免了与肉品接触导致的肉质损坏污染情况,又将图像处理的低成本优势体现了出来。
附图说明
图1是本发明所涉及的具体设计特征技术路线。着重表达了将曲面脂肪厚度计算微元划分成微元单位内的二维平面点到点计算的流程。
图2是本发明涉及的待测分割肉块断面二维图像。其中黑色虚线框部分为脂肪区域示意图,是图像处理的靶区域,目的是将图像二值化、形态学处理后利用Canny算子将脂肪区域的上下边界线提取出来。而标记的瘦肉、猪皮、筋膜与待测脂肪区域相邻,属于断面复杂背景中影响脂肪区域图像提取的因素。
图3为本发明所涉及的待检测肉块的三维立体图像。其中待测肉块断面呈弯曲状,黑色虚线表示的是脂肪上边缘线(近瘦肉侧)、脂肪下边缘线(近猪皮侧)的提取结果。其中将上边缘线标记为A;下边缘线标记为B。
图4为本发明所涉及的左右视角图像脂肪区域的感兴趣区域识别及划分图。由图可看出左右视角图像中脂肪上边缘线A的不同。其中对边缘线A进行了连续函数的拟合,对边缘线B进行了直线拟合。虚线框表示为感兴趣区域,感兴趣区域的划分原则是根据上边缘线A所拟合的连续函数筛选出的极大值点来确定的,图中边缘线A连续函数筛选出了4个极大值点,因此划分出4个感兴趣区域。而感兴趣区域的边界线是根据极大值相邻两侧的极小值点垂直向下来确定的。其中左视角图像上极大值点坐标标记为maxL1(uL1,vL1)、maxL2(uL2,vL2)、maxL3(uL3,vL3)、maxL4(uL4,vL4);左视角图像极小值点坐标标记为minL1(u′1,v′1)、minL2(u′2,v′2)、minL3(u′3,v′3)、minL4(u′4,v′4)、minL5(u’5,v‘5);右视角图像上极大值点坐标标记为maxR1(uR1,vR1)、maxR2(uR2,vR2)、maxR3(uR3,vR3)、maxR4(uR4,vR4);右视角图像极小值点坐标标记为minR1(u″1,v″1)、minR2(u″2,v″2)、minR3(u″3,v″3)、minR4(u″4,v″4)、min5(u″5,v″5)。左右视角图像中的ROI区域需要进行极限约束匹配及三维重建来获得脂肪边缘线AB上各点的三维空间信息。
图5是本发明所涉及的左右视角图像中感兴趣区域经匹配、三维重建后获得边缘线上点三维坐标的示意图。其中边缘线A上的极大值点三维坐标标记为MAX1(x1,y1,z1)、MAX2(x2,y2,z2)、MAX3(x3,y3,z3)、MAX4(x4,y4,z4)。如图可以看出肉块断面呈弯曲状,其中ROI区域1、ROI区域4处于肉块弯曲曲率较小处,拟合优度好,故将ROI区域1拟合成一个平面、ROI区域4拟合成一个平面。而ROI区域2和ROI区域3处于肉块弯曲曲率较大处,拟合优度较差,故将其微元划分为多个拟合优度高的小块区域。
图6是本发明所涉及的分割猪肉断面脂肪厚度计算示意图。应当说明,由于脂肪的上下边缘线A、B皆为不规则曲线,且上边缘线A波动大而下边缘线B波动小,因此脂肪厚度计算应该沿边缘线B拟合成的直线的法矢方向计算两边缘线对应点之间的距离。如图所示,图中所示A1点(A边缘线上的点)的脂肪厚度计算,是由B1点(B边缘线上的点)沿B1点所在的拟合直线的法矢方向向边缘线A搜索所获得的交点。又因为A1、B1两点所在的ROI区域1经拟合优度分析后拟合为一个平面,所以可得A1点的脂肪厚度即为图中所示A1、B1两点间法矢方向的距离标记为H1。以此类推,可获得A2、B2两点间的法矢方向距离H2、A3、B3两点间的法矢方向距离H3、A4、B4两点间的法矢方向距离H4。
图6是本发明所涉及的具体设计特征技术路线。着重表达了将曲面脂肪厚度计算微元划分成微元单位内的二维平面点到点计算的流程。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
应当了解,所附附图并非按比例地绘制,而仅是为了说明本发明的基本原理的各种特征的适当简化的画法。本文所公开的本发明的具体设计特征包括例如实际脂肪边缘线的提取及拟合、ROI区域的筛选、ROI区域的拟合及划分、具体点脂肪厚度的求解等都要根据具体的应用对象来确定。
在所附多个附图中,同样的或等同的元素以相同的附图标记标引。
本实施例中,基于双目视觉的分割猪肉断面脂肪最大厚度视觉测量方法是一种采用筛选感兴趣区域思想和平面直线微元划分拟合思想针对复杂肉块断面脂肪厚度测量的新方法,其利用回归思想将脂肪上下两侧边缘线分别进行函数拟合和直线拟合,利用函数极大值点筛选感兴趣区域,并将感兴趣区域进行平面拟合及微元划分,最终将复杂肉块断面划分成独立平面并通过下边缘拟合直线的法矢方向求解两点间脂肪厚度。
首先,结合待测肉块断面特征,利用高光谱仪分析脂肪和其他干扰特征如瘦肉、软骨、猪皮等的差异性,有助于快速精准分割出脂肪区域;基于二值化、腐蚀膨胀等方法快速分割出脂肪区域的轮廓图像,并使用Canny算子提取出脂肪轮廓的上下边缘线;其次,将提取出的脂肪上边缘线拟合成一个连续函数,根据连续函数的特性,其某点一阶导数为0同时二阶导数小于0的点为极大值点,将极大值点作为感兴趣区域的筛选依据,同时以极大值点相邻两侧的两个极小值点垂直向下搜索作为ROI区域的边界线,由此划分出了n个感兴趣区域;然后是通过R-squared建立损失评价模型,评价相邻感兴趣区域的平面拟合优度,根据拟合优度决定两平面是否拟合成一个平面或是将其进行微元划分以达到每个微元单位都处于各自平面的要求;最后,根据下边缘线拟合成的多段直线的法矢方向确定上下边缘线上各对应点之间的脂肪厚度。经过比较最后得出该肉块断面脂肪厚度最大值。该方法精度高,且符合自动化生产要求。
第一步图像采集及预处理
将待检测分割肉块水平放置在操作台上,切割断面水平朝向双目摄像机镜头,利用双目视觉系统获取待测肉块断面的左右视图。对肉块断面上的成分作高光谱分析后选定650~700nm波段的滤波片用以区分脂肪和其他成分(比如瘦肉、软骨、猪皮)。对图像进行二值化、腐蚀膨胀等操作后,获得脂肪区域呈白色、其他区域呈黑色的二值化图像,且边缘经过开运算后变的平滑无粘连,如图1所示。
第二步特征提取及ROI区域筛选
针对第一步获得的二值化、形态学处理后的图像,使用Canny算子提取脂肪区域的上下两条边缘线,并将脂肪上边缘线标记为A;脂肪下边缘线标记为B。如图2所示。对A线进行函数拟合,对该连续函数分析获得其极大值点及极大值点两侧相邻的极小值点。以极大值点为ROI区域筛选指标,目的是将脂肪厚度最大点锁定到感兴趣区域内以减小数据量提高效率。如图3所示,将断面图像分割成包含极大值点在内的、以极大值点两侧极小值点垂直向下为边界线的n个ROI区域(n值根据实际肉块来确定,图3中为了示意共有4个ROI区域)。第三步ROI区域平面拟合及微元划分
考虑到分割肉由于切割工艺的影响,其切割断面呈曲面或不在一个完整的二维平面。因此本发明采用“先微后积”的策略,即先将各感兴趣区域所在的断面进行平面拟合,通过R-squared模型来评价感兴趣区域所在断面是否为一个完整二维平面,若其拟合优度达到95%及以上则认为此感兴趣区域所在断面为一个完整二维平面,反之则将该感兴趣区域微元划分为两个平面并继续评价其拟合优度并继续微元划分直至各微元单位区域处于一个二维平面内,且两相邻ROI区域若拟合优度好可拟合为一个ROI区域。如图4所示,ROI区域1,ROI区域4平面拟合优度高,因此将其各自拟合为一个平面;而ROI区域2,ROI区域3拟合优度差,因此将其微元划分至多个微元单位。
第四步脂肪边缘线B的直线拟合及微元划分
由于脂肪边缘线B变化较为均匀,使用最小二乘法对其进行直线拟合。若直线拟合优度高,则无须继续划分;若直线拟合的优度较差,则继续将下侧边缘线进行微元划分,直至将其拟合成多段直线。如图3所示B线拟合成多段直线。
第五步脂肪厚度计算
首先要获得A,B线上各点的三维坐标:利用双目相机获得左右图像,在提取出脂肪边缘线特征后,经过极限约束匹配和三维重建,获得A,B线上各点空间信息。将A,B两侧脂肪边缘线分别从左向右依次搜索其线上的像素点标记为A1~An,B1~Bn并标记像素点的空间坐标;其次是先计算最小微元单位区域内的脂肪厚度,因其在各自二维平面内,脂肪厚度误差最小。如图5所示,边缘线B拟合成的直线确定了法矢方向,边缘线B上的点B1沿其所在直线的法矢方向搜索到与边缘线A的交点即A1,则A1到B1的法矢方向实际距离就是该两点之间的实际脂肪厚度H1;最后是求max(H1,Hn),得到该微元单位内区域的最大脂肪厚度,通过多次比较最大值,依次获得微元单位区域所在的ROI区域的脂肪厚度最大值,最终比较得分割肉块断面脂肪厚度最大值。
以上示例性实施方式所呈现的描述仅用以说明本发明的技术方案,并不想要成为毫无遗漏的,也不想要把本发明限制为所描述的精确形式。显然,本领域的普通技术人员根据上述教导做出很多改变和变化都是可能的。选择示例性实施方式并进行描述是为了解释本发明的特定原理及其实际应用,从而使得本领域的其它技术人员便于理解、实现并利用本发明的各种示例性实施方式及其各种选择形式和修改形式。本发明的保护范围意在由所附权利要求书及其等效形式所限定。
Claims (1)
1.一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法,其特征在于,将分割肉的整个断面脂肪区域划分成包含脂肪厚度极大值点的n个感兴趣区域,再将感兴趣区域内的曲面拟合成多个二维平面,最后将各二维平面内的脂肪下边缘线B拟合成多段直线,沿直线的法矢方向找到脂肪上边缘线A与脂肪下边缘线B的各对应点,由此将曲面内的脂肪厚度计算转换为二维平面内的点到点距离计算;
步骤1、特征提取
步骤1.1图像采集及预处理,获得二值化、形态学处理后的左右视图;
步骤1.2脂肪边缘线提取
针对步骤1.1)获得的二值化、形态学处理后的左右视图,使用Canny算子提取脂肪区域的上下两条边缘线,并将脂肪上边缘线标记为A,脂肪下边缘线标记为B;
步骤2、ROI区域筛选
针对步骤1.2)考虑到分割肉块是将带皮的一面向下水平放置在操作台上,并且带皮脂肪是变化较为均匀的,而脂肪与瘦肉相邻的脂肪上边缘线A则会由于瘦肉的发育不同导致其出现变化不均匀且波动较大的情况,因此提取到的脂肪上边缘线A和脂肪下边缘线B则会出现脂肪上边缘线A曲线波动大,脂肪下边缘线B曲线变化均匀的现象;对脂肪下边缘线B进行函数拟合,若该函数某点的一阶导数为零,同时此点二阶导数小于零,则此点为极大值点;获得n个极大值点,按极大值点分布划分成n个感兴趣区域;极大值点两侧相邻两个极小值点垂直向下作直线作为感兴趣区域边界线;以极大值点为ROI区域筛选指标,最终将左右视图分割成包含极大值点在内的、以极大值点两侧极小值点垂直向下搜索为边界线的n个ROI区域;
步骤3、ROI区域平面拟合及微元划分
针对步骤2)获得的左右视图的ROI区域,利用极限约束匹配及三维重建来获得脂肪上边缘线A、脂肪下边缘线B上的各点三维坐标信息;将脂肪上边缘线A、脂肪下边缘线B分别从左向右依次搜索其线上的像素点标记为A1~An、B1~Bn,并标记像素点的三维坐标;将三维重建后的肉块断面通过R-squared拟合度来评价感兴趣区域是否为一个完整二维平面,若其拟合优度达到95%及以上则认为此感兴趣区域所在断面为一个完整二维平面,反之则将该感兴趣区域微元划分为两个平面并评价两个平面各自的拟合优度并继续微元划分直至各微元单位区域拟合优度达到95%及以上,获得m个最小微元单位区域,由此将复杂曲面断面测量化简到多个独立二维平面内的测量;
步骤4、脂肪边缘线B的直线拟合及微元划分
针对步骤3)获得的各自在二维平面上的最小微元单位区域,由于脂肪下边缘线B变化较为均匀,使用最小二乘法对其进行直线拟合;若独立的微元单位区域内脂肪下边缘线B可拟合成一条直线,则无须继续划分;若脂肪下边缘线B曲线进行直线拟合的优度低于95%,则继续将脂肪下边缘线B进行微元划分,直至将其拟合成多段直线;由此获得脂肪下边缘线B到脂肪上边缘线A的法矢方向,利于计算实际脂肪厚度;
步骤5、计算断面脂肪厚度最大值
5.1、计算最小微元单位区域脂肪厚度
针对步骤3)获得的最小微元单位区域;将脂肪下边缘线B在其拟合直线上的点沿直线法矢方向搜索与脂肪上边缘线A的交点,即B1点沿其所在的拟合直线法矢方向搜索与脂肪上边缘线A相交于A1点,由于最小微元单位区域处于一个平面,因此计算A1点到B1点的实际距离即为该两点间的实际脂肪厚度记为H1,直至求出该最小微元单位区域内各点的脂肪厚度H1~Hn;
5.2、获得分割肉块断面脂肪厚度最大值
针对步骤5.1)获得的最小微元单位区域内各点脂肪厚度H1~Hn,通过max(H1,Hn)取最大值来获得最小微元单位区域内的脂肪厚度最大值;同理,将其与同一感兴趣区域内的其它最小微元单位区域脂肪厚度最大值作比较,从而获得该感兴趣区域内的脂肪厚度最大值;最后,在各感兴趣区域脂肪厚度取最大值之后获得该分割肉块最终的断面脂肪最大厚度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310039130.5A CN115984232B (zh) | 2023-01-12 | 2023-01-12 | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310039130.5A CN115984232B (zh) | 2023-01-12 | 2023-01-12 | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115984232A true CN115984232A (zh) | 2023-04-18 |
CN115984232B CN115984232B (zh) | 2023-11-10 |
Family
ID=85959574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310039130.5A Active CN115984232B (zh) | 2023-01-12 | 2023-01-12 | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115984232B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116596999A (zh) * | 2023-04-19 | 2023-08-15 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050105826A1 (en) * | 2003-11-18 | 2005-05-19 | Yang Seong-Joon | Edge detection apparatus and method |
DE102005046385A1 (de) * | 2005-09-28 | 2007-04-05 | Siemens Ag | Verfahren und Vorrichtung zur Nachbearbeitung eines 3D-Bilddatensatzes, insbesondere für die virtuelle Kolonographie |
US20110110563A1 (en) * | 2009-07-29 | 2011-05-12 | Heon Hwang | Method and system for automatically grading beef quality |
CN102800089A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 基于颈部超声图像的主颈动脉血管提取和厚度测量方法 |
CN108460776A (zh) * | 2018-04-12 | 2018-08-28 | 广东工业大学 | 一种基于机器视觉的刹车片尺寸检测方法及装置 |
US20190206052A1 (en) * | 2017-12-29 | 2019-07-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Carpal segmentation and recognition method and system, terminal and readable storage medium |
CN112669379A (zh) * | 2020-12-22 | 2021-04-16 | 大连工业大学 | 一种基于辅助标记点的图像特征快速提取方法 |
CN115471864A (zh) * | 2022-08-19 | 2022-12-13 | 大连工业大学 | 一种基于计算机视觉的2d人体体型分类方法 |
-
2023
- 2023-01-12 CN CN202310039130.5A patent/CN115984232B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050105826A1 (en) * | 2003-11-18 | 2005-05-19 | Yang Seong-Joon | Edge detection apparatus and method |
DE102005046385A1 (de) * | 2005-09-28 | 2007-04-05 | Siemens Ag | Verfahren und Vorrichtung zur Nachbearbeitung eines 3D-Bilddatensatzes, insbesondere für die virtuelle Kolonographie |
US20110110563A1 (en) * | 2009-07-29 | 2011-05-12 | Heon Hwang | Method and system for automatically grading beef quality |
CN102800089A (zh) * | 2012-06-28 | 2012-11-28 | 华中科技大学 | 基于颈部超声图像的主颈动脉血管提取和厚度测量方法 |
US20190206052A1 (en) * | 2017-12-29 | 2019-07-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Carpal segmentation and recognition method and system, terminal and readable storage medium |
CN108460776A (zh) * | 2018-04-12 | 2018-08-28 | 广东工业大学 | 一种基于机器视觉的刹车片尺寸检测方法及装置 |
CN112669379A (zh) * | 2020-12-22 | 2021-04-16 | 大连工业大学 | 一种基于辅助标记点的图像特征快速提取方法 |
CN115471864A (zh) * | 2022-08-19 | 2022-12-13 | 大连工业大学 | 一种基于计算机视觉的2d人体体型分类方法 |
Non-Patent Citations (4)
Title |
---|
SUN X, YOUNG J, LIU J H, ET AL.: "Prediction of pork loin quality using online computer vision system and artificial intelligence model", MEAT SCIENCE, pages 72 - 77 * |
刘阳等: "基于机器视觉技术的罗非鱼去鳞率无损快速在线检测系统", 食品与机械, pages 93 - 98 * |
周彤等: "基于近邻法聚类和改进Hough算法的猪胴体背膘厚度检测", 农业工程学报, pages 247 - 254 * |
袁才;石丹;刘东权;吕学斌;刘锐;: "一种猪肌内脂肪含量测定的方法及其改进", 现代计算机, no. 27, pages 31 - 36 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116596999A (zh) * | 2023-04-19 | 2023-08-15 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
CN116596999B (zh) * | 2023-04-19 | 2024-04-05 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115984232B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nyalala et al. | Weight and volume estimation of poultry and products based on computer vision systems: a review | |
EP2370952B1 (en) | Arrangement and method for determining a body condition score of an animal | |
CN102519906B (zh) | 多通道近红外光谱牛肉品质多参数同时检测方法 | |
US5140988A (en) | Detection of abnormal bone structure in animals and carcasses with ultrasound | |
Kim et al. | Ultrasound image texture analysis for characterizing intramuscular fat content of live beef cattle | |
CN103645155B (zh) | 生鲜羊肉嫩度的快速无损检测方法 | |
TW200307810A (en) | Method and apparatus for determining the sex of a fertilized egg | |
CN115984232B (zh) | 一种基于双目视觉系统的分割猪肉断面脂肪最大厚度检测方法 | |
US20140088939A1 (en) | Evaluation of animal products based on customized models | |
WO2015103550A1 (en) | Photoacoustic physio-chemical tissue analysis | |
Yoon et al. | Toward a fusion of optical coherence tomography and hyperspectral imaging for poultry meat quality assessment | |
CN107576660B (zh) | 一种基于距离等高线的双黄鸭蛋自动视觉检测方法 | |
Thampi et al. | Towards real time assessment of intramuscular fat content in meat using optical fiber-based optical coherence tomography | |
US8444461B2 (en) | Systems and methods for the detection of anatomical structures and positions thereof | |
Swatland et al. | A review of probes and robots: implementing new technologies in meat evaluation | |
JP2015037491A (ja) | 超音波診断装置、超音波画像解析方法、およびプログラム | |
CN103163083B (zh) | 一种生鲜肉类多参数检测的双波段光谱融合方法及系统 | |
Patel et al. | Color, size and shape feature extraction techniques for fruits: A technical review | |
Tao et al. | Development and implementation of a training dataset to ensure clear boundary value of body condition score classification of dairy cows in automatic system | |
US8472675B2 (en) | Systems, methods and devices for use in filter-based assessment of carcass grading | |
CN114140399A (zh) | 用于脑肿瘤术中定性和边界定位的oct图像处理装置 | |
CA2115999C (en) | Grading and evaluation of poultry with ultrasound | |
CN113177958A (zh) | 一种针对特定深度信息的超声显微图像处理方法 | |
CN109903278B (zh) | 基于形状直方图的超声乳腺肿瘤形态量化特征提取方法 | |
Fu et al. | Fast measurement of fatty acid in soybean using reflective hyperspectral imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |