CN115205303A - 一种猪胴体切块机器人分割面自主生成方法 - Google Patents

一种猪胴体切块机器人分割面自主生成方法 Download PDF

Info

Publication number
CN115205303A
CN115205303A CN202210827472.9A CN202210827472A CN115205303A CN 115205303 A CN115205303 A CN 115205303A CN 202210827472 A CN202210827472 A CN 202210827472A CN 115205303 A CN115205303 A CN 115205303A
Authority
CN
China
Prior art keywords
network
carcass
segmentation
image
resblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210827472.9A
Other languages
English (en)
Inventor
蔡磊
王莹莹
徐涛
康壮丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Institute of Science and Technology
Original Assignee
Henan Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Institute of Science and Technology filed Critical Henan Institute of Science and Technology
Priority to CN202210827472.9A priority Critical patent/CN115205303A/zh
Publication of CN115205303A publication Critical patent/CN115205303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A22—BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22B—SLAUGHTERING
    • A22B5/00—Accessories for use during or after slaughtering
    • A22B5/0064—Accessories for use during or after slaughtering for classifying or grading carcasses; for measuring back fat
    • A22B5/007—Non-invasive scanning of carcasses, e.g. using image recognition, tomography, X-rays, ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Food Science & Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种猪胴体切块机器人分割面自主生成方法，步骤为：搭建Yolo‑FPN网络；采集猪胴体的X射线图像对Yolo‑FPN网络进行训练得到Yolo‑FPN检测模型；利用Yolo‑FPN检测模型预测关键点；将关键点作用至深度相机拍摄相同场景下的RGB图像，通过点动成线方法得到上表层粗略分割线；确定上表层精确分割线；确定下表层精确分割线，与上表层精确分割线连接后确定外部分割面；在肌骨模型中寻找外部分割面对应的位置，得到内部分割面，融合得到最终分割面。本发明可以对任何体型的猪胴体自主、快速、准确地生成分割面，减小了分割时的残次品的数量；且考虑到了骨头和肉之间的相同切割力度所引起的肉质损伤，能够实现工业化的大规模生产。

Description

一种猪胴体切块机器人分割面自主生成方法
技术领域
本发明涉及畜类分割的技术领域，尤其涉及一种猪胴体切块机器人分割面自主生成方法，寻找胴体分割面。
背景技术
随着居民收入水平的不断提高，人们更加追求品质生活，高端禽肉越来越多地走向餐桌，禽肉需求量逐年增加。目前，我国现有屠宰设备已经逐步实现机械化，但在肉品分割过程中仍需要工作人员从旁协助。实际的猪胴体分割流水线中，由人工控制猪胴体的方位角度，用固定位置分割的机器进行分割。人工控制方位角度时，并不能够根据分割标准精准判断出腰椎、荐椎、大排下4cm～6cm的位置，导致了肉品损耗较多且残次品的数量巨大。并且现有的机器均是以同一力度的刀具对猪胴体进行切割，骨头和肌肉相同的切割力度，会产生切割损伤，破坏肉的嫩度，甚至会影响猪肉的存储时间，无法实现高端禽肉的生产。
申请号为CN202010074636.6的发明专利，公开了一种羊胴体机器人自主分割方法，包括：采集羊胴体的不同拍摄角度的深度图像和羊胴体骨骼的图像，拟合形成该羊胴体的立体图像模型；获取该羊胴体的初始分割轨迹，根据初始分割轨迹模拟分割立体图像模型，并预测模拟分割后各分割产品的评级，调整初始分割轨迹，输出各分割产品整体评级最优的分割轨迹作为有效分割轨迹；控制分割机器人按该有效分割轨迹分割该羊胴体。具有优化初始分割轨迹，自动精细分割羊胴体的有益效果。但该技术未使用传送带，不利于工业化的大规模生产；对羊胴体立体图像模型进行处理，该处理数据是三维数据，而三维数据处理的速度远低于二维数据处理速度，导致分割较慢；而且未考虑骨头和肉之间的分界线，控制机器人分割时，很大可能会产生切割损伤，破坏肉质。
发明内容
针对不能大规模生产且会破坏肉质的技术问题，本发明提出一种猪胴体切块机器人分割面自主生成方法，采用猪胴体切块机器人在二分体猪肉的基础上进行八分体分割，有效的弥补了之前分割技术的不足，提高了分割的效率和精度，减小了肉质损耗。
为了达到上述目的，本发明的技术方案是这样实现的：一种猪胴体切块机器人分割面自主生成方法，包括以下步骤：
步骤一，搭建Yolo-FPN网络：搭建用于关键点预测的Yolo-FPN网络；
步骤二，训练Yolo-FPN网络：采集流水线中猪胴体的X射线图像，进行目标框和关键点的标注后输送至Yolo-FPN网络进行训练，得到Yolo-FPN检测模型；
步骤三，预测关键点：利用Yolo-FPN检测模型对实际采集的X射线图像进行预测，得到关键点；
步骤四，获得上表层粗略分割线：将预测出的关键点作用至深度相机拍摄步骤三中相同场景下的RGB图像，通过点动成线的方法形成线条，得到上表层粗略分割线；
步骤五，获得上表层精细分割线：根据上表层粗略分割线的像素坐标与物象关系，按照真实的分割标准调整上表层粗略分割线，利用深度相机三维坐标转化确定上表层精确分割线的三维坐标；
步骤六，确定外部分割面：根据深度相机与工作台的固定距离信息，确定下表层精确分割线的三维坐标，下表层精确分割线与上表层精确分割线连接后，确定外部分割面；
步骤七，确定内部分割面：在建立的肌骨模型中寻找外部分割面对应的位置，获取肌骨模型中该位置对应的信息，得到内部分割面；融合内部分割面和外部分割面得到最终分割面。
优选地，所述Yolo-FPN网络包括胴体各部位识别网络和关键点检测网络，胴体各部位识别网络是基于yolo网络所提出的，关键点检测网络为一个全卷积网络；所述胴体各部位识别网络分为主干特征提取网络、加强特征提取网络和预测识别部位网络三个部分；所述主干特征提取网络为CSPDarknet53，加强特征提取网络包括SPP网络和PANet网络；所述预测识别部位网络包括一个检测头；将输入的X射线图像经过预处理后，图像大小固定至608×608输入主干特征提取网络；使用胴体各部位识别网络预测X射线图像中的各部位目标框后，将整体的X射线图像根据预测的目标框进行裁剪，得到各个部位预测结果的图像，将各部位预测结果的图像输入全卷积网络。
优选地，所述主干特征提取网络将输入图像进行CBM处理输出特征图I；特征图I依次经过Resblock_body x1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_body x8模块、Resblock_body x4模块进行处理，在两个Resblock_body x8模块处理后分别提取出特征图II和特征图III，特征图II和特征图III分别直接输入加强特征提取网络的PANet网络；Resblock_body x4模块处理后得到特征图IV，特征图IV经过3次CBL处理后得到特征图V，特征图V输入加强特征提取网络的SPP网络中；
所述加强特征提取网络的SPP网络采用1×1、5×5、9×9、13×13的最大池化方式对特征图V进行尺度融合，继续经过3次CBL处理后得到特征图VI，传入PANet网络中；所述PANet网络特征图VI经过一次CBL处理和上采样后，与经过第二次Resblock_body x8模块提取的特征图III进行CBL处理后进行张量拼接，继续进行5次CBL处理，一部分输出特征图VII；另一部分再次经过一次CBL处理和上采样后，与第一次Resblock_body x8模块提取的特征图II进行CBL处理后进行张量拼接，继续进行5次CBL处理、一次下采样后，与一部分输出的特征图VII进行张量拼接后，继续进行5次CBL处理，得到的特征图VIII传入预测识别部位网络；
所述预测识别部位网络将分类与回归分开预测，使PANet网络中传递的特征图VIII经过一次CBM处理后分为两部分，两部分均进行两次CBM处理，一部分输出判断每一个特征点所包含物体的种类，另一部分输出判断每一个特征点的回归参数以及是否包含物体；
所述全卷积网络由卷积和反卷积两部分组成，先经过5次Conv+pool处理以提取图像特征，后三次Conv+pool处理分别输出缩小8倍、16倍、32倍的特征图；接着使用跳跃结构Concat将32倍的特征图进行反卷积2倍上采样后与16倍的特征图进行张量拼接，拼接后的特征图继续进行反卷积2倍上采样后与8倍的特征图进行张量拼接，输出结果。
优选地，所述Resblock_body x1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_body x8模块和Resblock_body x4模块均由一次下采样和多次残差堆叠而成；所述Resblock_body x1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_body x8模块或Resblock_body x4模块的处理方法为：特征图先经过一次CBM处理后，分为两个部分，两部分均经过一次CBM处理后，其中一部分先经过1、2、8、8或4个Rseunit残差组件再经过一次CBM处理，与另一部分实现张量拼接，整合特征图的信息，之后再进行一次CBM处理后输出；
所述CBM处理包括卷积、标准化和Mish激活函数，卷积以提取图像纹理信息，标准化使数据更符合均值为0、方差为1的标准差分布，Mish激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力；所述CBL处理包括卷积、标准化和LeakyRelu激活函数，LeakyRelu激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力；所述Res unit残差组件包括经过两次CBM处理后的特征图与原特征图的张量相加；
所述Conv包括卷积、标准化、Relu激活函数，前两次Conv进行2次，后三次Conv进行三次，Relu激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力，pool表示池化操作。
优选地，所述预测识别部位网络的检测头的调整方法为：采用聚类的方法将人工标注的目标框宽高作为聚类对象，按照宽高大小分为几个簇，使同一个簇内目标框宽高具有较大的相似性，不同的簇内目标框宽高具有较大的差异性，得到聚类之后每一个簇中目标框的宽高wi和hi，计算出聚类后数据集中目标框的平均面积Savg为：
Figure BDA0003744550990000031
根据聚类结果的平均面积Savg尺寸范围，对不同尺度的预测识别部位网络的检测头进行调整。
优选地，所述步骤二中目标框的标注包括带皮前段标注胴体的第六七根肋骨之间平行分开的前腿部位、大排标注胴体的脊椎骨下的部位、带皮后段标注胴体的腰椎和荐椎连接处分开的后腿部位；关键点的标注包括带皮前段标注胴体的第五六根肋骨之间平行分开的前腿部位、大排标注胴体的脊椎骨下的部位、带皮后段标注胴体的腰椎和荐椎连接处分开的后腿部位。
优选地，所述Yolo-FPN网络的训练过程为：胴体各部位识别网络和关键点检测网络分开训练，训练胴体各部位识别网络时，将标注目标框的数据输入胴体各部位识别网络，以计算输出值与目标值之间的误差，反向传播得到参数；训练关键点检测网络时，将各部位包含标注关键点的图像输入关键点检测网络，以计算输出值与目标值之间的误差，反向传播得到参数；胴体各部位识别网络和关键点检测网络训练时均是先对网络的权值进行随机初始化，接着将初始化的权值分别经过每一层的网络，前向传播后得到输出值，然后进行反向传播，计算输出值与目标值之间的误差，逐层向前传递误差，进行权重的更新，继续进行前向传播与反向传播；当达到设定的循环次数时，训练结束，获得Yolo-FPN检测模型；
将X射线图像先传入Yolo-FPN检测模型的胴体各部位识别网络中，利用胴体各部位识别网络中的参数输出预测结果，将预测结果进行解码后，将解码后的图像根据预测出的目标框进行裁剪，输入关键点检测网络中，根据关键点检测网络中的参数输出相应的预测结果，即为预测出的关键点；
胴体各部位识别网络中解码过程为：先根据传入图像后输出的向量，对每一个类别按照置信度排序，判断得分最高框与其他框的交并比，提前设定交并比阈值，当计算出的交并比大于阈值时，表示两个框重合过多，即可剔除其中得分较小的框，再从没有处理的框中选择得分最大的框求交并比，最后遍历所有的预测框，输出检测结果。
优选地，所述点动成线方法为：根据检测出的关键点之间的距离设置阈值以抑制检测错误的点，假设以深度相机拍摄图像上与左上角原点最近的一点为起点，从起点出发，在阈值范围内，遍历四周一圈的像素点，若出现像素点为预测的关键点且与起点距离最近，将两点连接起来；将距离最近的一点作为新的起点，并删除原来的起点，循环该过程，直至不再出现关键点为止；
深度相机标定完成获得内参矩阵K，根据每个点在图像像素坐标系下的坐标(u,v)，即可得到拍摄场景下所有像素点在以深度相机的摄像头光心为原点的三维坐标，得到二维分割线的像素坐标，即可获得上表层粗略分割线的三维坐标；
通过深度相机得到出的距离信息，计算出4cm～6cm对应的像素点，调整上表层粗略分割线，形成精确的上表层分割线；调整上表层粗略分割线时，获得分割线需要移动的目标像素：
Figure BDA0003744550990000051
移动上表层粗略分割线后，得到上表层分割线新的目标像素值，进而利用深度相机三维坐标转化获得移动后精确分割线的三维坐标；
其中，H是受到实际分割标准限制的高度，大小为4cm～6cm；h为对应像素移动的距离，d为相机到胴体的真实距离。
优选地，所述深度相机采用张正友标定法进行标定并利用标定软件完成深度相机对内部参数和外部参数的获取；然后图像像素坐标系转化得到图像坐标(x,y)；深度相机三维坐标转化将图像坐标(x,y)转化为以深度相机的摄像头光心为原点的三维坐标(X,Y,Z)，其中，XY轴与图像的xy轴平行，Z轴垂直于图像平面；且
Figure BDA0003744550990000052
其中，K表示深度相机的内参矩阵；
获得下表层精确分割线的三维坐标的方法为：确定深度相机与工作台的距离d′，假设上表层精确分割线的坐标为(xn,yn,zn)，n＝1,2,3…，则对应的下表层精确分割线的坐标为(x′n,y′n,z′n)，n＝1,2,3…，由位置关系可知x′n＝xn,y′n＝yn,Z′n＝d′；取上表层精确分割线的三维坐标中最靠近深度相机三维坐标原点的一端的点与对应的下表层精确分割线坐标中X,Y轴坐标相同点连接，上表层精确分割线中另外一端的点与下表层精确分割线另外一端的点连接后，形成外部分割面。
优选地，所述肌骨模型中包括骨肉界面的参数，即：胴体中每一根骨头的分布情况、每个一面上骨头和肉的大小、骨头在面中的位置和骨头的轮廓；
在确定大排与带皮中段之间的内部分割面时，根据流水线上建立的溯源系统，确定在肌骨模型之中待分割的半片胴体的位置；按照分割标准，在肌骨模型的该半片胴体位置中查找脊椎骨下4cm～6cm对应的分割面，该分割面中包含骨头和肉的大小、骨头在面中的位置、骨头的轮廓的参数；根据实际分割标准，在肌骨模型中查找到的脊椎骨下4cm～6cm的分割面中将腰椎与第六根肋骨两边的面截断，只保留中间的分割面，获取中间分割面中所有骨头在面中的位置、骨头的大小、轮廓的信息；将获取到的骨头在面中的位置、大小、轮廓的信息传递给获得的大排与带皮中段之间的外部分割面，按照骨头的轮廓和位置，在外部分割面中形成内部分割面，外部分割面和内部分割面融合后即为最终的分割面。
与现有技术相比，本发明的有益效果为：本发明是面向大规模工业生产提出的，工作场景即为工厂中所使用传送带的流水线，能够实现工业化的大规模生产；本发明可以对任何体型的猪胴体自主、快速、准确地生成分割面，减小了分割时的残次品的数量；且考虑到了骨头和肉之间的相同切割力度所引起的肉质损伤，引用了建立的肌骨模型，生成了骨头和肉之间的分割线。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明Yolo-FPN网络的流程图。
图3为本发明Yolo-FPN网络中胴体各个部位识别的网络流程图。
图4为本发明Yolo-FPN网络中关键点检测网络的流程图。
图5为本发明猪大排部位精确分割面的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种猪胴体切块机器人分割面自主生成方法，其步骤如下：
步骤一：搭建用于关键点预测的Yolo-FPN网络。
所训练出的Yolo-FPN检测模型是本发明改进的Yolo-FPN网络，该Yolo-FPN网络是一个针对X射线扫描出的二维图像进行关键点检测的网络，其网络流程图如图2所示。Yolo-FPN网络主要分为胴体各部位识别网络和关键点检测网络两个部分。胴体各部位识别网络是基于yolo系列网络所提出的，关键点检测网络为一个全卷积网络。在应用时，两部分的模型可以独立使用，后续的模型仍可以通过不同的数据再次进行优化提高，获得更高的精度。
胴体各部位识别网络主要分为主干特征提取网络CSPDarknet53、加强特征提取网络SPP+PANet和预测识别部位网络YoloHead三个部分。主干特征提取网络和加强特征提取网络主要用来学习输入图像特征，预测识别部位网络用来预测胴体的各部位。网络结构图如图3所示，其过程为：首先将输入的X射线图像经过预处理之后，图像大小固定至608×608输入主干特征提取网络CSPDarknet53部分。主干特征提取网络CSPDarknet53先经过CBM处理输出608×608特征图。CBM处理包括卷积、标准化和Mish激活函数，卷积以提取图像纹理信息，标准化使数据更符合均值为0、方差为1的标准差分布，Mish激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力，相比于LeakyRelu激活函数性能更加稳定，精度更高，但具有更高的算法复杂度。608×608特征图依次经过Resblock_body x1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_body x8模块、Resblock_body x4模块进行处理，在两个Resblock_body x8模块处理后分别提取出76×76、38×38的特征图，分别直接输入加强特征提取网络的PANet网络，Resblock_body x4模块处理后得到19×19的特征图，经过一些处理后，也输入加强特征提取网络的SPP网络中。每个Resblock_body模块由一次下采样和多次残差堆叠而成，避免了网络深度增加而带来的训练困难的问题。Resblock_body模块过程为：特征图先经过一次CBM处理后，分为两个部分，两部分均经过一次CBM处理后，其中一部分先经过1、2、8、8、4个Rse unit残差组件(Resblock_body模块由Res unit残差组件与CBM组成)，再经过一次CBM处理，与另一部分实现张量拼接，以整合特征图的信息，之后再进行一次CBM处理后输出。一个Res unit残差组件包括经过两次CBM处理后的特征图与原特征图的张量相加。19×19的特征图的输入SPP网络之前的一些处理为：先经过3次CBL处理后得到19×19的特征图，输入SPP网络。CBL处理包括卷积、标准化和LeakyRelu激活函数，LeakyRelu激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力。
加强特征提取网络SPP+PANet先将主干特征提取网络CSPDarknet53的3次CBL处理后得到的19×19的特征图传送至SPP网络中，SPP网络采用1×1、5×5、9×9、13×13的最大池化方式进行尺度融合，继续经过3次CBL处理后得到19×19的特征图，传入PANet网络中。PANet网络将19×19的特征图经过一次CBL处理和上采样后，与经过第二次Resblock_bodyx8模块提取的38×38特征图CBL处理后进行张量拼接，继续进行5次CBL处理，一部分输出38×38特征图，另一部分再次经过一次CBL处理和上采样后，与第一次Resblock_body x8模块提取的76×76特征图进行CBL处理后进行张量拼接，继续进行5次CBL处理、一次下采样后，与另一部分的输出的38×38特征图进行张量拼接后，继续进行5次CBL处理，得到的38×38的特征图传入预测识别部位网络。
预测识别部位网络YoloHead将分类与回归分开预测，使PANet网络中传递到的38×38的特征图经过一次CBM处理后分为两部分，两部分均进行两次CBM处理，一部分输出种类Cls(Class的简称)以判断每一个特征点所包含物体的种类，另一部分输出Reg和Obj(Regression和Object的简称)，以判断每一个特征点的回归参数以及是否包含物体，用于后文中训练过程。
在加强特征提取网络中，本发明使用YoloV4中的特征金字塔(SPP+PANet)结构融合不同的特征层，提高不同分辨率特征的表示能力，强化详细信息，抑制噪声，改善模型性能。在实际的场景中，由于胴体的大小基本一致，为防止计算资源的浪费(原始的YoloV4网络有三个检测头)，提高检测的速度，故本发明采用聚类的方法减去两个检测头，将已人工标注的目标框宽高作为聚类对象，按照宽高大小分为几个簇，使同一个簇内目标框宽高具有较大的相似性，不同的簇内目标框宽高具有较大的差异性，得到聚类之后每一个簇中目标框的宽高wi和hi，计算出聚类后数据集中目标框的平均面积Savg，计算公式如下：
Figure BDA0003744550990000081
根据聚类结果的尺寸范围，可以对不同尺度的识别预测部分的检测头进行调整，修改模型中预测识别部位网络YoloHead的数量，本发明删除两个检测头，只保留一个，以优化神经网络，防止计算资源的浪费，提高模型的检测速度。
在创建关键点检测网络时，本发明采用的网络为一个全卷积网络，全卷积网络由卷积和反卷积两部分组成，无需保证输入图像维度大小一致，减少了计算量，避免了使用邻域带来的重复计算和空间浪费问题，网络结构图如图4所示，其过程为：使用胴体各部位识别网络预测X射线图像中的各部位目标框后，将整体的X射线图像根据预测的目标框进行裁剪，得到各个部位预测结果的图像，将各部位预测结果的图像输入全卷积网络后先经过5次Conv+pool(Conv表示卷积+标准化+Relu激活函数，pool表示池化操作，前两次Conv进行2次，后三次Conv进行三次，Relu激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力，pool以减小训练过程中的参数数量)处理以提取图像特征，后三次Conv+pool处理分别输出缩小8倍、16倍、32倍的特征图。接着使用跳跃结构Concat将高层和底层语义信息相结合，使得到了更为精确检测结果。具体结构如下：32倍的特征图进行反卷积2倍上采样(Upsampling)后与16倍的特征图进行张量拼接，拼接后的特征图继续进行Upsampling后与8倍的特征图张量拼接，最终输出结果。
步骤二：采集流水线中猪胴体的X射线图像，并对X射线图像及进行目标框和关键点的标注后输送至Yolo-FPN网络，对Yolo-FPN网络进行训练，得到Yolo-FPN检测模型。
得到预训练的模型之前，需要对数据进行标注，传入建立的Yolo-FPN网络之中。在对目标框和关键点进行标注时，本发明均标注三个部分。目标框标注时，第一部分带皮前段标注胴体的第六、七根肋骨之间平行分开的前腿部位，第二部分大排标注胴体的脊椎骨下的部位，第三部分带皮后段标注胴体的腰椎和荐椎连接处分开的后腿部位。关键点标注时，第一部分带皮前段标注胴体的第五、六根肋骨之间平行分开的前腿部位，第二部分大排标注胴体的脊椎骨下的部位，第三部分带皮后段标注胴体的腰椎和荐椎连接处分开的后腿部位。与标准分割标准不同的原因主要有两方面：一是因为根据X射线图像在标注的过程中并不能准确判断4-6cm的距离，而这个距离可以使用深度相机得到的距离信息解决；二是因为目标框标注六、七跟肋骨之间的带皮前段部分能够完整的保留完整的分割线，防止标注的目标框不能够完全包含五、六根肋骨之间形成的分割线，导致分割线数据的丢失。
数据标注完成后，便可将标注好的数据传入建立的Yolo-FPN网络进行训练，得到预训练的Yolo-FPN检测模型。将胴体各部位识别网络和关键点检测网络分开训练，二者输入输出的数据不同，但是训练的过程相同。具体的训练过程为：训练胴体各部位识别网络时，将标注目标框的数据输入胴体各部位识别网络，以计算输出值与目标值之间的误差，反向传播得到参数。训练关键点检测网络时，将整体的X射线图像根据目标框进行裁剪，得到各个部位的图像，将各部位包含标注关键点的图像输入关键点检测网络，以计算输出值与目标值之间的误差，反向传播得到参数。两个网络训练时，均是先对网络的权值进行随机初始化，接着将初始化的权值分别经过两个网络中每一层的网络，前向传播后得到输出值，然后进行反向传播，计算输出值与目标值之间的误差，逐层向前传递误差，进行权重的更新，继续进行前向传播与反向传播。当达到设定的循环次数时，训练结束，获得Yolo-FPN检测模型。
步骤三：利用Yolo-FPN检测模型对实际采集的X射线图像进行预测得到关键点。
将X射线图像先传入Yolo-FPN检测模型的胴体各部位识别网络检测模型中，利用胴体各部位识别网络检测模型中的参数输出相应的预测结果，将预测结果进行解码之后，将解码后的图像根据预测出的目标框进行裁剪，输入关键点检测网络预测模型中，根据关键点检测网络预测模型中的参数输出相应的预测结果，即为预测出的关键点。
胴体各部位识别网络模型中解码过程为：在对胴体各部位识别网络检测模型预测出的图像进行解码时，先根据传入图像后输出的向量，对每一个类别按照置信度排序，判断得分最高框与其他框的交并比，提前设定交并比阈值，当计算出的交并比大于阈值时，表示两个框重合过多，即可剔除其中得分较小的框，再从没有处理的框中选择得分最大的框求交并比，最后遍历所有的预测框，输出检测结果。
步骤四：将预测出的关键点作用至深度相机拍摄步骤三相同场景下的RGB图像，通过点动成线的方法形成线条，得到上表层粗略分割线。
将实际流水线中拍摄的X射线图片传入前期准备工作中得到的预训练的Yolo-FPN检测模型，获得预测出的关键点。由于深度相机拍摄的图像与X射线图像为相同场景下的图像，故每一个像素点是直接一一对应的，可直接将X射线预测出的关键点像素坐标作用至深度相机拍摄相同场景下的图像中，连接相机拍摄图像中各个部位的关键点后，形成线条。
为减小检测结果的误差，本发明采用的点动成线方法将相机拍摄图像中的关键点形成线条，具体实现方法为：根据检测出的关键点之间的距离设置阈值以抑制检测错误的点，假设以深度相机拍摄图像上与左上角原点最近的一点为起点，从起点出发，在阈值范围内，遍历四周一圈的像素点，若出现像素点为网络检测出的关键点且与起点距离最近，将两点连接起来，将距离最近的一点作为新的起点，并删除原来的起点，循环该过程，直至不再出现关键点为止。
使用深度相机获取三维坐标之前需要对图像对深度相机进行标定，采用张正友标定法并利用KinectCalibration Toolbox标定软件完成相机对内部参数和外部参数的获取。接着进行两部分(第一部分为图像像素坐标转化，第二部分为相机三维坐标转化)的坐标转化，如下：第一部分为图像像素坐标系转化，得到图像坐标v(x,y)，转化公式如下：
Figure BDA0003744550990000101
其中，(u’,v’)为像素坐标系下的像素坐标，k、l为像素单位坐标系在物理坐标系中的转化尺寸，(u,v)表示图像像素单位坐标系中的像素位置。
第二部分为相机三维坐标转化，将图像坐标v(x,y)转化为以Kinect摄像头光心为原点的三维坐标V(X,Y,Z)，其中XY轴与图像的xy轴平行，Z轴垂直于图像平面，转化公式如下：
Figure BDA0003744550990000102
其中，f为深度相机的焦距，θ为Kinect深度相机三维坐标与物理坐标系的夹角，一般情况下近似90度，(x,y)为图像坐标系中该点的坐标值，d为Kinect深度相机测得的深度数据，结合前两个公式得到如下公式：
Figure BDA0003744550990000103
其中，K表示深度相机的内参矩阵。
标定完成获得内参矩阵K后，根据每个点在像素系下的坐标(u,v)，即可得到拍摄场景下所有像素点在以Kinect摄像头光心为原点的三维坐标，根据以上求得到二维分割线的像素坐标，即可获得上表层粗略分割线的三维坐标。
步骤五：根据上表层粗略分割线的像素坐标与物象关系，按照真实的分割标准调整上表层粗略分割线，利用相机三维坐标转化，确定上表层精确分割线的三维坐标。
由于实际分割标准中的脊椎骨与带皮中段之间的分割线是脊椎骨下约4cm～6cm的肋骨处平行分开，X射线扫描出的图像虽然可以清晰的获得骨骼特征，但却不能够确定距离信息。本发明可以通过深度相机得到出的距离信息，计算出4cm～6cm对应的像素点，进而可以调整上表层粗略分割线，形成精确的上表层分割线。
调整粗略分割线时，需要获得分割线需要移动的目标像素值，移动上表层粗略分割线后，得到上表层分割线新的目标像素值，进而利用Kinect深度相机三维坐标转化公式获得移动后精确分割线的三维坐标，求解需要移动的目标像素公式为：
Figure BDA0003744550990000111
其中，H是受到实际分割标准限制的高度，大小为4cm～6cm；h为对应像素移动的距离，d为相机到胴体的真实距离。
步骤六：根据深度相机与工作台的固定距离信息，确定下表层精确分割线的三维坐标，下表层精确分割线的三维坐标与上表层精确分割线三维坐标连接后，便可确定外部分割面。
获得下表层精确分割线三维坐标过程中，需要先确定深度相机与工作台的距离d′，假设上表层精确分割线的坐标为(xn,yn,zn)，n＝1,2,3…，则对应的下表层精确分割线的坐标为(x′n,y′n,z′n)，n＝1,2,3…，由位置关系可知x′n＝xn,y′n＝yn,Z′n＝d′。取上表层精确分割线坐标中最靠近Kinect深度相机三维坐标原点的一端的点与对应的下表层精确分割线坐标中X,Y轴坐标相同点连接，上表层精确分割线中另外一端的点与下表层精确分割线另外一端的点连接后，便可形成外部分割面。
步骤七：在建立的肌骨模型中寻找外部分割面对应的位置，获取肌骨模型中该位置对应的信息，得到内部分割面。
已经建立的肌骨模型中的信息包括骨肉界面的参数，即：胴体中每一根骨头的分布情况、每个一面上骨头和肉的大小、骨头在面中的位置、骨头的轮廓等。由实际分割标准可知，带皮前段与带皮中段、带皮中段与带皮后段处均是沿着骨头之间的缝隙将二者分开，只有在分割大排与带皮中段时，骨头才会穿过形成的大排与带皮中段的外部分割面，因此考虑内部骨头和肉之间的分割面时仅考虑分割大排与带皮中段之间的内部分割面即可。在确定大排与带皮中段之间的内部分割面时，为避免猪胴体沿着肋骨劈开后左右两边形态上的差异，首先需要根据流水线上建立的溯源系统，确定在肌骨模型之中待分割的半片胴体的位置；接着，严格按照分割标准，在肌骨模型的该半片胴体位置中查找脊椎骨下4cm～6cm对应的分割面，该分割面中包含骨头和肉的大小、骨头在面中的位置、骨头的轮廓等参数；然后，根据实际分割标准，在肌骨模型中查找到的脊椎骨下4cm～6cm的分割面中将腰椎与第六根肋骨两边的面截断，只保留中间的分割面，获取中间分割面中所有骨头在面中的位置、骨头的大小、轮廓等信息；最后，将获取到的骨头在面中的位置、大小、轮廓等信息传递给已经获得的大排与带皮中段之间的外部分割面，按照骨头的轮廓和位置，在外部分割面中形成内部分割面，两个面融合之后即为最终的分割面，如图5所示。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种猪胴体切块机器人分割面自主生成方法，其特征在于，包括以下步骤：
步骤一，搭建Yolo-FPN网络：搭建用于关键点预测的Yolo-FPN网络；
步骤二，训练Yolo-FPN网络：采集流水线中猪胴体的X射线图像，进行目标框和关键点的标注后输送至Yolo-FPN网络进行训练，得到Yolo-FPN检测模型；
步骤三，预测关键点：利用Yolo-FPN检测模型对实际采集的X射线图像进行预测，得到关键点；
步骤四，获得上表层粗略分割线：将预测出的关键点作用至深度相机拍摄步骤三中相同场景下的RGB图像，通过点动成线的方法形成线条，得到上表层粗略分割线；
步骤五，获得上表层精细分割线：根据上表层粗略分割线的像素坐标与物象关系，按照真实的分割标准调整上表层粗略分割线，利用深度相机三维坐标转化确定上表层精确分割线的三维坐标；
步骤六，确定外部分割面：根据深度相机与工作台的固定距离信息，确定下表层精确分割线的三维坐标，下表层精确分割线与上表层精确分割线连接后，确定外部分割面；
步骤七，确定内部分割面：在建立的肌骨模型中寻找外部分割面对应的位置，获取肌骨模型中该位置对应的信息，得到内部分割面；融合内部分割面和外部分割面得到最终分割面。
2.根据权利要求1所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述Yolo-FPN网络包括胴体各部位识别网络和关键点检测网络，胴体各部位识别网络是基于yolo网络所提出的，关键点检测网络为一个全卷积网络；所述胴体各部位识别网络分为主干特征提取网络、加强特征提取网络和预测识别部位网络三个部分；所述主干特征提取网络为CSPDarknet53，加强特征提取网络包括SPP网络和PANet网络；所述预测识别部位网络包括一个检测头；将输入的X射线图像经过预处理后，图像大小固定至608×608输入主干特征提取网络；使用胴体各部位识别网络预测X射线图像中的各部位目标框后，将整体的X射线图像根据预测的目标框进行裁剪，得到各个部位预测结果的图像，将各部位预测结果的图像输入全卷积网络。
3.根据权利要求2所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述主干特征提取网络将输入图像进行CBM处理输出特征图I；特征图I依次经过Resblock_bodyx1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_body x8模块、Resblock_body x4模块进行处理，在两个Resblock_body x8模块处理后分别提取出特征图II和特征图III，特征图II和特征图III分别直接输入加强特征提取网络的PANet网络；Resblock_body x4模块处理后得到特征图IV，特征图IV经过3次CBL处理后得到特征图V，特征图V输入加强特征提取网络的SPP网络中；
所述加强特征提取网络的SPP网络采用1×1、5×5、9×9、13×13的最大池化方式对特征图V进行尺度融合，继续经过3次CBL处理后得到特征图VI，传入PANet网络中；所述PANet网络特征图VI经过一次CBL处理和上采样后，与经过第二次Resblock_body x8模块提取的特征图III进行CBL处理后进行张量拼接，继续进行5次CBL处理，一部分输出特征图VII；另一部分再次经过一次CBL处理和上采样后，与第一次Resblock_body x8模块提取的特征图II进行CBL处理后进行张量拼接，继续进行5次CBL处理、一次下采样后，与一部分输出的特征图VII进行张量拼接后，继续进行5次CBL处理，得到的特征图VIII传入预测识别部位网络；
所述预测识别部位网络将分类与回归分开预测，使PANet网络中传递的特征图VIII经过一次CBM处理后分为两部分，两部分均进行两次CBM处理，一部分输出判断每一个特征点所包含物体的种类，另一部分输出判断每一个特征点的回归参数以及是否包含物体；
所述全卷积网络由卷积和反卷积两部分组成，先经过5次Conv+pool处理以提取图像特征，后三次Conv+pool处理分别输出缩小8倍、16倍、32倍的特征图；接着使用跳跃结构Concat将32倍的特征图进行反卷积2倍上采样后与16倍的特征图进行张量拼接，拼接后的特征图继续进行反卷积2倍上采样后与8倍的特征图进行张量拼接，输出结果。
4.根据权利要求3所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述Resblock_body x1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_bodyx8模块和Resblock_body x4模块均由一次下采样和多次残差堆叠而成；所述Resblock_body x1模块、Resblock_body x2模块、Resblock_body x8模块、Resblock_body x8模块或Resblock_body x4模块的处理方法为：特征图先经过一次CBM处理后，分为两个部分，两部分均经过一次CBM处理后，其中一部分先经过1、2、8、8或4个Rse unit残差组件再经过一次CBM处理，与另一部分实现张量拼接，整合特征图的信息，之后再进行一次CBM处理后输出；
所述CBM处理包括卷积、标准化和Mish激活函数，卷积以提取图像纹理信息，标准化使数据更符合均值为0、方差为1的标准差分布，Mish激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力；所述CBL处理包括卷积、标准化和LeakyRelu激活函数，LeakyRelu激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力；所述Res unit残差组件包括经过两次CBM处理后的特征图与原特征图的张量相加；
所述Conv包括卷积、标准化、Relu激活函数，前两次Conv进行2次，后三次Conv进行三次，Relu激活函数以解决卷积过程中的线性问题，为网络提供非线性模型表示能力，pool表示池化操作。
5.根据权利要求4所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述预测识别部位网络的检测头的调整方法为：采用聚类的方法将人工标注的目标框宽高作为聚类对象，按照宽高大小分为几个簇，使同一个簇内目标框宽高具有较大的相似性，不同的簇内目标框宽高具有较大的差异性，得到聚类之后每一个簇中目标框的宽高wi和hi，计算出聚类后数据集中目标框的平均面积Savg为：
Figure FDA0003744550980000031
根据聚类结果的平均面积Savg尺寸范围，对不同尺度的预测识别部位网络的检测头进行调整。
6.根据权利要求2-5中任一项所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述步骤二中目标框的标注包括带皮前段标注胴体的第六七根肋骨之间平行分开的前腿部位、大排标注胴体的脊椎骨下的部位、带皮后段标注胴体的腰椎和荐椎连接处分开的后腿部位；关键点的标注包括带皮前段标注胴体的第五六根肋骨之间平行分开的前腿部位、大排标注胴体的脊椎骨下的部位、带皮后段标注胴体的腰椎和荐椎连接处分开的后腿部位。
7.根据权利要求6所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述Yolo-FPN网络的训练过程为：胴体各部位识别网络和关键点检测网络分开训练，训练胴体各部位识别网络时，将标注目标框的数据输入胴体各部位识别网络，以计算输出值与目标值之间的误差，反向传播得到参数；训练关键点检测网络时，将各部位包含标注关键点的图像输入关键点检测网络，以计算输出值与目标值之间的误差，反向传播得到参数；胴体各部位识别网络和关键点检测网络训练时均是先对网络的权值进行随机初始化，接着将初始化的权值分别经过每一层的网络，前向传播后得到输出值，然后进行反向传播，计算输出值与目标值之间的误差，逐层向前传递误差，进行权重的更新，继续进行前向传播与反向传播；当达到设定的循环次数时，训练结束，获得Yolo-FPN检测模型；
将X射线图像先传入Yolo-FPN检测模型的胴体各部位识别网络中，利用胴体各部位识别网络中的参数输出预测结果，将预测结果进行解码后，将解码后的图像根据预测出的目标框进行裁剪，输入关键点检测网络中，根据关键点检测网络中的参数输出相应的预测结果，即为预测出的关键点；
胴体各部位识别网络中解码过程为：先根据传入图像后输出的向量，对每一个类别按照置信度排序，判断得分最高框与其他框的交并比，提前设定交并比阈值，当计算出的交并比大于阈值时，表示两个框重合过多，即可剔除其中得分较小的框，再从没有处理的框中选择得分最大的框求交并比，最后遍历所有的预测框，输出检测结果。
8.根据权利要求1-5、7中任意一项所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述点动成线方法为：根据检测出的关键点之间的距离设置阈值以抑制检测错误的点，假设以深度相机拍摄图像上与左上角原点最近的一点为起点，从起点出发，在阈值范围内，遍历四周一圈的像素点，若出现像素点为预测的关键点且与起点距离最近，将两点连接起来；将距离最近的一点作为新的起点，并删除原来的起点，循环该过程，直至不再出现关键点为止；
深度相机标定完成获得内参矩阵K，根据每个点在图像像素坐标系下的坐标(u,v)，即可得到拍摄场景下所有像素点在以深度相机的摄像头光心为原点的三维坐标，得到二维分割线的像素坐标，即可获得上表层粗略分割线的三维坐标；
通过深度相机得到出的距离信息，计算出4cm～6cm对应的像素点，调整上表层粗略分割线，形成精确的上表层分割线；调整上表层粗略分割线时，获得分割线需要移动的目标像素：
Figure FDA0003744550980000041
移动上表层粗略分割线后，得到上表层分割线新的目标像素值，进而利用深度相机三维坐标转化获得移动后精确分割线的三维坐标；
其中，H是受到实际分割标准限制的高度，大小为4cm～6cm；h为对应像素移动的距离，d为相机到胴体的真实距离。
9.根据权利要求8所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述深度相机采用张正友标定法进行标定并利用标定软件完成深度相机对内部参数和外部参数的获取；然后图像像素坐标系转化得到图像坐标(x,y)；深度相机三维坐标转化将图像坐标(x,y)转化为以深度相机的摄像头光心为原点的三维坐标(X,Y,Z)，其中，XY轴与图像的xy轴平行，Z轴垂直于图像平面；且
Figure FDA0003744550980000042
其中，K表示深度相机的内参矩阵；
获得下表层精确分割线的三维坐标的方法为：确定深度相机与工作台的距离d′，假设上表层精确分割线的坐标为(xn,yn,zn)，n＝1,2,3…，则对应的下表层精确分割线的坐标为(x′n,y′n,z′n)，n＝1,2,3…，由位置关系可知x′n＝xn,y′n＝yn,Z′n＝d′；取上表层精确分割线的三维坐标中最靠近深度相机三维坐标原点的一端的点与对应的下表层精确分割线坐标中X,Y轴坐标相同点连接，上表层精确分割线中另外一端的点与下表层精确分割线另外一端的点连接后，形成外部分割面。
10.根据权利要求9所述的猪胴体切块机器人分割面自主生成方法，其特征在于，所述肌骨模型中包括骨肉界面的参数，即：胴体中每一根骨头的分布情况、每个一面上骨头和肉的大小、骨头在面中的位置和骨头的轮廓；
在确定大排与带皮中段之间的内部分割面时，根据流水线上建立的溯源系统，确定在肌骨模型之中待分割的半片胴体的位置；按照分割标准，在肌骨模型的该半片胴体位置中查找脊椎骨下4cm～6cm对应的分割面，该分割面中包含骨头和肉的大小、骨头在面中的位置、骨头的轮廓的参数；根据实际分割标准，在肌骨模型中查找到的脊椎骨下4cm～6cm的分割面中将腰椎与第六根肋骨两边的面截断，只保留中间的分割面，获取中间分割面中所有骨头在面中的位置、骨头的大小、轮廓的信息；将获取到的骨头在面中的位置、大小、轮廓的信息传递给获得的大排与带皮中段之间的外部分割面，按照骨头的轮廓和位置，在外部分割面中形成内部分割面，外部分割面和内部分割面融合后即为最终的分割面。
CN202210827472.9A 2022-07-13 2022-07-13 一种猪胴体切块机器人分割面自主生成方法 Pending CN115205303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210827472.9A CN115205303A (zh) 2022-07-13 2022-07-13 一种猪胴体切块机器人分割面自主生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210827472.9A CN115205303A (zh) 2022-07-13 2022-07-13 一种猪胴体切块机器人分割面自主生成方法

Publications (1)

Publication Number Publication Date
CN115205303A true CN115205303A (zh) 2022-10-18

Family

ID=83581879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210827472.9A Pending CN115205303A (zh) 2022-07-13 2022-07-13 一种猪胴体切块机器人分割面自主生成方法

Country Status (1)

Country Link
CN (1) CN115205303A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563237A (zh) * 2023-05-06 2023-08-08 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563237A (zh) * 2023-05-06 2023-08-08 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN116563237B (zh) * 2023-05-06 2023-10-20 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法

Similar Documents

Publication Publication Date Title
KR102154470B1 (ko) 다중 특징 검색 및 변형에 기반한 3차원 인체 헤어스타일 생성 방법
Luo et al. Vision-based extraction of spatial information in grape clusters for harvesting robots
CN110210417B (zh) 一种行人运动轨迹的预测方法、终端及可读存储介质
CN111179324A (zh) 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN110688947B (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
Yin et al. Fruit detection and pose estimation for grape cluster–harvesting robot using binocular imagery based on deep neural networks
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
Wang et al. Point linking network for object detection
CN113601306B (zh) 基于一维分割网络的充电设施箱体焊缝打磨方法
CN115797962B (zh) 基于装配式建筑ai设计的墙柱识别方法及装置
CN116502468B (zh) 一种基于机器视觉的牛胴体分割机器人控制方法及系统
CN115205303A (zh) 一种猪胴体切块机器人分割面自主生成方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
Xie et al. Feature detection method for hind leg segmentation of sheep carcass based on multi-scale dual attention U-Net
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN114550212A (zh) 一种基于轻量级模型的羊脸检测与识别方法
CN112613504A (zh) 一种声呐水下目标检测方法
Mu et al. Robotic 3D Vision‐Guided System for Half‐Sheep Cutting Robot
CN115063438A (zh) 一种应用于猪类胴体分割机器人的自主调节方法
CN114310887A (zh) 3d人腿识别方法、装置、计算机设备及存储介质
CN112132884B (zh) 基于平行激光和语义分割的海参长度测量方法及系统
US11337432B1 (en) Automated crab meat picking system and method
CN113808202A (zh) 一种多目标检测和空间定位方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination