CN116502468B - 一种基于机器视觉的牛胴体分割机器人控制方法及系统 - Google Patents

一种基于机器视觉的牛胴体分割机器人控制方法及系统 Download PDF

Info

Publication number
CN116502468B
CN116502468B CN202310741536.8A CN202310741536A CN116502468B CN 116502468 B CN116502468 B CN 116502468B CN 202310741536 A CN202310741536 A CN 202310741536A CN 116502468 B CN116502468 B CN 116502468B
Authority
CN
China
Prior art keywords
segmentation
model diagram
preset
carcass
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310741536.8A
Other languages
English (en)
Other versions
CN116502468A (zh
Inventor
赵现博
张明
吴彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jarvis Machinery Manufacturing Beijing Corp
Original Assignee
Jarvis Machinery Manufacturing Beijing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jarvis Machinery Manufacturing Beijing Corp filed Critical Jarvis Machinery Manufacturing Beijing Corp
Priority to CN202310741536.8A priority Critical patent/CN116502468B/zh
Publication of CN116502468A publication Critical patent/CN116502468A/zh
Application granted granted Critical
Publication of CN116502468B publication Critical patent/CN116502468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22BSLAUGHTERING
    • A22B5/00Accessories for use during or after slaughtering
    • A22B5/0017Apparatus for cutting, dividing or deboning carcasses
    • A22B5/0029Cutting through or detaching portions of a carcass
    • AHUMAN NECESSITIES
    • A22BUTCHERING; MEAT TREATMENT; PROCESSING POULTRY OR FISH
    • A22BSLAUGHTERING
    • A22B5/00Accessories for use during or after slaughtering
    • A22B5/0017Apparatus for cutting, dividing or deboning carcasses
    • A22B5/0041Electronic, robotic or computer assisted cutting, dividing or deboning carcasses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于机器视觉的机器人控制方法领域,特别是一种基于机器视觉的牛胴体分割机器人控制方法及系统。通过获取待分割牛胴体的图像信息,并建立待分割牛胴体的初始三维模型图;将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于三角形网格得到待分割牛胴体的最终三维模型图;并且分析得到待分割牛胴体的预设分割路径与预设分割状态模型图;接着控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则对分割路径进行修正,能够有效提高机器人分割精度,使得偏差控制在质量要求范围之内。

Description

一种基于机器视觉的牛胴体分割机器人控制方法及系统
技术领域
本发明涉及基于机器视觉的机器人控制方法领域,特别是一种基于机器视觉的牛胴体分割机器人控制方法及系统。
背景技术
传统的牛胴体分割方法需要进行危险的人工操作,而且效率低、工作量大、精度不高,容易污染食品卫生,严重影响分割质量。随着人工智能技术和机器视觉技术的不断发展,基于机器视觉的牛胴体分割机器人成为了一种新的解决方案,这是由于基于机器视觉的牛胴体分割机器人技术能够在不降低肉类质量和食品卫生的情况下提高分割效率和准确性,减少生产成本,提高生产效率,因此目前基于机器视觉的牛胴体分割机器人被广泛应用在自动化屠宰线中。然而,目前的基于机器视觉的牛胴体分割机器人的智能化程度较低,由于屠宰线上生牛胴体尺寸形状是多变的,分割机器人不能够根据牛胴体的实际尺寸自动规划出最适分割路径,不能保证其始终能够沿着胴体的脊柱从上至下劈半,分割偏差较大。
发明内容
本发明克服了现有技术的不足,提供了一种基于机器视觉的牛胴体分割机器人控制方法及系统。
为达到上述目的本发明采用的技术方案为:
本发明第一方面公开了一种基于机器视觉的牛胴体分割机器人控制方法,包括以下步骤:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图;
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图;
构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径;构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,并将所述纠偏指令输出。
优选地,本发明的一个较佳实施例中,获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图,具体为:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,对所述预处理后的图像信息进行特征匹配处理,得到若干特征点;
在所述预处理后的图像信息中选取任意一个特征点作为坐标原点,根据所述坐标原点构建三维坐标系,并在所述三维坐标系中获取所有特征点的三维坐标值;
基于所述三维坐标值生成各特征点的点云数据,并将各特征点的点云数据进行汇集,得到点云数据集;
通过LOF算法计算所述点云数据集中每一点云数据的局部离群因子值,并判断每一点云数据的局部离群因子值是否大于预设离群因子值,若大于,则将局部离群因子值大于预设离群因子值的点云数据在所述点云数据集中剔除,得到筛选后的点云数据集;
对所述筛选后的点云数据集中的点云数据分割为若干个子区域,并对每一子区域内的点云数据进行配准处理,使得各子区域内的点云数据以统一的世界坐标系表示;对各子区域内的点云数据进行网格化处理,直至生成曲面;将每一子区域生成的曲面进行重组,得到待分割牛胴体的初始三维模型图。
优选地,本发明的一个较佳实施例中,通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图,具体为:
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格;
获取各三角形网格的网格顶点,以及获取各网格顶点的坐标信息,并通过平均着色法获取各网格顶点的法向量,基于所述坐标信息与向量构建得到具有坐标与法向量的顶点集合;
获取各网格顶点与其余三角形网格之间的边界,并将各网格顶点与其余三角形网格之间的边界进行连接处理,得到网格顶点之间的网格边集;
基于所述顶点集合与网格边集构造得到拉普拉斯矩阵;构建特征分解模型,并将所述拉普拉斯矩阵导入所述特征分解模型中进行分解,得到拉普拉斯矩阵的特征向量集;
在所述特征向量集中选取任一极限特征向量作为构建基准点,基于所述构建基准点构建得到三维网格坐标系,将所述拉普拉斯矩阵导入所述三维网格坐标系中,生成拉普拉斯矩阵的矩阵特征值,并基于所述矩阵特征值获取得到目标点云数据坐标数集;
获取所述目标点云数据坐标数集的极限坐标点数集,并将所述极限坐标点数集输入至绝对坐标系中进行重新组合,生成待分割牛胴体的最终三维模型图。
优选地,本发明的一个较佳实施例中,构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径,具体为:
通过大数据网络获取大量的牛胴体模型及其对应的多条历史分割路径,获取各条历史分割路径的分割成功率,在各条历史分割路径的分割成功率中筛选出最大分割成功率的历史分割路径,将最大分割成功率的历史分割路径与其对应的牛胴体模型进行捆绑,捆绑得到若干个分割数据包;
构建数据库,将若干个所述分割数据包导入所述数据库,得到特性数据库;
将所述待分割牛胴体的最终三维模型图导入所述特性数据库中,通过灰色关联法计算所述待分割牛胴体的最终三维模型图与各分割数据包中牛胴体模型的相似度,得到若干个相似度;
构建排序表,将若干个所述相似度导入所述排序表中进行大小排序,排序完成后,提取出最大相似度;获取与最大相似度对应的分割数据包,并提取出与最大相似度对应的分割数据包中的历史分割路径,将该历史分割路径设定为待分割牛胴体的预设分割路径。
优选地,本发明的一个较佳实施例中,构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图,具体为:
构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中,获取分割机器人的预设分割参数,并基于所述预设分割路径与预设分割参数在仿真空间对待分割牛胴体的最终三维模型图进行仿真分割;
在仿真分割过程中,获取多个预设时间节点牛胴体的预设分割状态模型图,构建知识图谱,并将多个所述预设时间节点牛胴体的预设分割状态模型图导入所述知识图谱中。
优选地,本发明的一个较佳实施例中,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,具体为:
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取在各个预设时间节点上获取牛胴体在实际分割过程中的图像信息,基于所述牛胴体在实际分割过程中的图像信息构建得到牛胴体的实际分割状态模型图;
对所述预设分割状态模型图进行特征提取,得到第一配对点;对所述实际分割状态模型图进行特征提取,得到第二配对点;
构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合,以对所述预设分割状态模型图与实际分割状态模型图进行配对处理;
配对完毕后,将所述预设分割状态模型图与实际分割状态模型图相重合的模型部分在所述整合空间中剔除,将所述预设分割状态模型图与实际分割状态模型图不相重合的模型部分在所述整合空间中保留,得到分割路径偏移模型图;
通过空间分割法计算所述分割路径偏移模型图的体积值,将所述体积值与预设体积值进行比较;
若所述体积值不大于预设体积值,则说明当前分割路径正常;若所述体积值大于预设体积值,则说明当前分割路径异常,则基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整。
优选地,本发明的一个较佳实施例中,基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整,具体为:
对所述分割路径偏移模型图进行几何特征提取,以获取得到分割路径偏移模型图的分割平面;
构建虚拟空间,将所述分割路径偏移模型图导入所述虚拟空间中,并使得所述分割平面与虚拟空间中的预设平面相重合;
基于基础形态分析法在所述虚拟空间中对分割路径偏移模型图进行特征分析,以获取得到分割路径偏移模型图与预设平面之间的偏移方向与偏移程度;
基于所述偏移方向与偏移程度生成最佳分割参数,将所述最佳分割参数与预设分割参数进行比较,得到分割参数差值,基于所述分割参数差值对所述预设分割参数进行调整。
本发明第二方面公开了一种基于机器视觉的牛胴体分割机器人控制系统,所述牛胴体分割机器人控制系统包括存储器与处理器,所述存储器中存储有牛胴体分割机器人控制方法程序,所述牛胴体分割机器人控制方法程序被所述处理器执行时,实现如下步骤:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图;
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图;
构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径;构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,并将所述纠偏指令输出。
优选地,本发明的一个较佳实施例中,构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图,具体为:
构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中,获取分割机器人的预设分割参数,并基于所述预设分割路径与预设分割参数在仿真空间对待分割牛胴体的最终三维模型图进行仿真分割;
在仿真分割过程中,获取多个预设时间节点牛胴体的预设分割状态模型图,构建知识图谱,并将多个所述预设时间节点牛胴体的预设分割状态模型图导入所述知识图谱中。
优选地,本发明的一个较佳实施例中,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,具体为:
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取在各个预设时间节点上获取牛胴体在实际分割过程中的图像信息,基于所述牛胴体在实际分割过程中的图像信息构建得到牛胴体的实际分割状态模型图;
对所述预设分割状态模型图进行特征提取,得到第一配对点;对所述实际分割状态模型图进行特征提取,得到第二配对点;
构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合,以对所述预设分割状态模型图与实际分割状态模型图进行配对处理;
配对完毕后,将所述预设分割状态模型图与实际分割状态模型图相重合的模型部分在所述整合空间中剔除,将所述预设分割状态模型图与实际分割状态模型图不相重合的模型部分在所述整合空间中保留,得到分割路径偏移模型图;
通过空间分割法计算所述分割路径偏移模型图的体积值,将所述体积值与预设体积值进行比较;
若所述体积值不大于预设体积值,则说明当前分割路径正常;若所述体积值大于预设体积值,则说明当前分割路径异常,则基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整。
本发明解决了背景技术中存在的技术缺陷,本发明具备以下有益效果:通过获取待分割牛胴体的图像信息,并建立待分割牛胴体的初始三维模型图;将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于三角形网格得到待分割牛胴体的最终三维模型图;并且分析得到待分割牛胴体的预设分割路径与预设分割状态模型图;接着控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,从而对分割路径进行修正。通过本方法能够自动规划出牛胴体最佳的分割路径,使得分割机器人能够适应宰线生牛胴体尺寸不一的难题,并且能够确保分割质量,实现了自动化、智能化屠宰加工。并且在对牛胴体分割过程中,若分割路径发生了偏移,此时通过修正分割参数,从而对偏移的分割路径进行修正,以保证机器人劈始终沿着胴体的脊柱从上至下劈半,使得偏差控制在质量要求范围之内,实现了智能化、精准化加工生产,具有广阔的市场前景和应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他实施例的附图。
图1为一种基于机器视觉的牛胴体分割机器人控制方法的第一方法流程图;
图2为一种基于机器视觉的牛胴体分割机器人控制方法的第二方法流程图;
图3为一种基于机器视觉的牛胴体分割机器人控制方法的第三方法流程图;
图4为一种基于机器视觉的牛胴体分割机器人控制系统的系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示,本发明第一方面公开了一种基于机器视觉的牛胴体分割机器人控制方法,包括以下步骤:
S102:获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图;
S104:通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图;
S106:构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径;构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图;
S108:控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,并将所述纠偏指令输出。
需要说明的是,通过本方法能够自动规划出牛胴体最佳的分割路径,使得分割机器人能够适应宰线生牛胴体尺寸不一的难题,并且能够确保分割质量,实现了自动化、智能化屠宰加工。并且在对牛胴体分割过程中,若分割路径发生了偏移,此时通过修正分割参数,从而对偏移的分割路径进行修正,以保证机器人劈始终沿着胴体的脊柱从上至下劈半,使得偏差控制在质量要求范围之内,实现了智能化、精准化加工生产,具有广阔的市场前景和应用价值。
在本发明的一个较佳实施例中,获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图,具体为:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,对所述预处理后的图像信息进行特征匹配处理,得到若干特征点;
在所述预处理后的图像信息中选取任意一个特征点作为坐标原点,根据所述坐标原点构建三维坐标系,并在所述三维坐标系中获取所有特征点的三维坐标值;
基于所述三维坐标值生成各特征点的点云数据,并将各特征点的点云数据进行汇集,得到点云数据集;
通过LOF算法计算所述点云数据集中每一点云数据的局部离群因子值,并判断每一点云数据的局部离群因子值是否大于预设离群因子值,若大于,则将局部离群因子值大于预设离群因子值的点云数据在所述点云数据集中剔除,得到筛选后的点云数据集;
对所述筛选后的点云数据集中的点云数据分割为若干个子区域,并对每一子区域内的点云数据进行配准处理,使得各子区域内的点云数据以统一的世界坐标系表示;对各子区域内的点云数据进行网格化处理,直至生成曲面;将每一子区域生成的曲面进行重组,得到待分割牛胴体的初始三维模型图。
需要说明的是,通过分割机器人上搭载的高清摄像机等视觉系统拍摄待分割牛胴体的图像信息,然后通过图像降噪、图像增强、图像分割等图像预处理技术对待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息。然后通过特征匹配法(如尺度不变特征变换算法、加速稳健特征算法等)对预处理后的图像信息进行特征匹配处理,从而得到多个特征点。并且利用三维软件构建三维坐标系,从而获取所有特征点的三维坐标值,进而获取得到各特征点的点云数据。在特征匹配过程中,一些特征点会存在过度偏移或者失真的现象,而这些点为离群点,这些离群点会构建得到的模型精度造成影响,因此在建模前需要通过LOF算法(局部离群因子算法)将这些离群点剔除,从而提高模型质量。通过本方法能够根据视觉系统拍摄得到的图像快速构建得到待分割牛胴体的初始三维模型图,不需要经过复杂的运算,能够提高系统鲁棒性。
在本发明的一个较佳实施例中,通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图,具体为:
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格;
获取各三角形网格的网格顶点,以及获取各网格顶点的坐标信息,并通过平均着色法获取各网格顶点的法向量,基于所述坐标信息与向量构建得到具有坐标与法向量的顶点集合;
获取各网格顶点与其余三角形网格之间的边界,并将各网格顶点与其余三角形网格之间的边界进行连接处理,得到网格顶点之间的网格边集;
基于所述顶点集合与网格边集构造得到拉普拉斯矩阵;构建特征分解模型,并将所述拉普拉斯矩阵导入所述特征分解模型中进行分解,得到拉普拉斯矩阵的特征向量集;
在所述特征向量集中选取任一极限特征向量作为构建基准点,基于所述构建基准点构建得到三维网格坐标系,将所述拉普拉斯矩阵导入所述三维网格坐标系中,生成拉普拉斯矩阵的矩阵特征值,并基于所述矩阵特征值获取得到目标点云数据坐标数集;
获取所述目标点云数据坐标数集的极限坐标点数集,并将所述极限坐标点数集输入至绝对坐标系中进行重新组合,生成待分割牛胴体的最终三维模型图。
需要说明的是,当通过特征匹配算法匹配出特征点后,由于特征匹配算法的自身缺陷,在匹配过程中会丢失部分特征点,而由于部分特征点丢失,会导致构建得到的模型(初始三维模型图)出现局部丢失、曲面不平滑等异常现象,得到的初始三维模型图与牛胴体实际形态存在一定差异,此时初始三维模型图精度还不够高,因此会影响系统的分析判断结果(如会对规划分割路径造成较大影响),导致在实际分割时出现“劈偏”现象,对牛胴体分割质量造成影响。因此通过本方法对初始三维模型图进行补充修正,具体来说,将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,然后获取得到具有坐标与法向量的顶点集合(即网格顶点集合)与网格顶点之间的网格边集,从而构建得到拉普拉斯矩阵,然后通过谱聚类算法将拉普拉斯矩阵进行特征分解,得到特征值和特征向量,从而得到特征向量集;然后在所述特征向量集中选取任一极限特征向量作为构建基准点,基于所述构建基准点利用三维建模软件构建得到三维网格坐标系,并且将拉普拉斯矩阵导入所述三维网格坐标系中,生成拉普拉斯矩阵的矩阵特征值,然后根据所述矩阵特征值获取得到目标点云数据坐标数集;获取所述目标点云数据坐标数集的极限坐标点数集,并将所述极限坐标点数集输入至绝对坐标系中进行重新组合,生成待分割牛胴体的最终三维模型图。通过本方法能够对初始三维模型图进行补充修正,有效解决由于部分特征点丢失导致构建得到的初始三维模型图出现局部丢失、曲面不平滑等异常现象,能够得到牛胴体实际形态几乎相同的最终三维模型图,模型精度高,从而提高系统的分析判断精度,以确保牛胴体分割质量。
在本发明的一个较佳实施例中,构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径,如图2所示,具体为:
S202:通过大数据网络获取大量的牛胴体模型及其对应的多条历史分割路径,获取各条历史分割路径的分割成功率,在各条历史分割路径的分割成功率中筛选出最大分割成功率的历史分割路径,将最大分割成功率的历史分割路径与其对应的牛胴体模型进行捆绑,捆绑得到若干个分割数据包;
S204:构建数据库,将若干个所述分割数据包导入所述数据库,得到特性数据库;
S206:将所述待分割牛胴体的最终三维模型图导入所述特性数据库中,通过灰色关联法计算所述待分割牛胴体的最终三维模型图与各分割数据包中牛胴体模型的相似度,得到若干个相似度;
S208:构建排序表,将若干个所述相似度导入所述排序表中进行大小排序,排序完成后,提取出最大相似度;获取与最大相似度对应的分割数据包,并提取出与最大相似度对应的分割数据包中的历史分割路径,将该历史分割路径设定为待分割牛胴体的预设分割路径。
需要说明的是,在对牛胴体分割时,由于牛胴体尺寸不一,而分割要求是在沿着胴体的脊柱从上至下劈开,不得劈偏,因此在对在分割时,由于牛胴体尺寸差异,分割路径往往不同。通过本方法能够根据待分割牛胴体的最终三维模型图自动规划出最佳的分割路径,使得分割机器人能够适应宰线生牛胴体尺寸不一的难题,并且能够确保分割质量,实现了自动化、智能化屠宰加工。
在本发明的一个较佳实施例中,构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图,具体为:
构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中,获取分割机器人的预设分割参数,并基于所述预设分割路径与预设分割参数在仿真空间对待分割牛胴体的最终三维模型图进行仿真分割;
在仿真分割过程中,获取多个预设时间节点牛胴体的预设分割状态模型图,构建知识图谱,并将多个所述预设时间节点牛胴体的预设分割状态模型图导入所述知识图谱中。
需要说明的是,当确定出待分割牛胴体的预设分割路径后,通过三维仿真软件(如SolidWorks、UG等)构件仿真空间,然后将待分割牛胴体的最终三维模型图导入所述仿真空间中,并且根据预设分割路径与预设分割参数(由用户提前设定好)在仿真空间对待分割牛胴体的最终三维模型图进行模拟仿真分割,并且在仿真分析过程中,获取多个预设时间节点(如分割5秒、10秒、15秒时)牛胴体的预设分割状态模型图,并且将牛胴体的预设分割状态模型图保存至指知识图谱内,以后后续参照使用。另外需要说明的是,预设分割状态模型图为在理想分割条件下获取得到的状态模型图,如不考虑生产线悬挂晃动、分割刀具磨损等问题。
在本发明的一个较佳实施例中,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,具体为:
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取在各个预设时间节点上获取牛胴体在实际分割过程中的图像信息,基于所述牛胴体在实际分割过程中的图像信息构建得到牛胴体的实际分割状态模型图;
对所述预设分割状态模型图进行特征提取,得到第一配对点;对所述实际分割状态模型图进行特征提取,得到第二配对点;
构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合,以对所述预设分割状态模型图与实际分割状态模型图进行配对处理;
配对完毕后,将所述预设分割状态模型图与实际分割状态模型图相重合的模型部分在所述整合空间中剔除,将所述预设分割状态模型图与实际分割状态模型图不相重合的模型部分在所述整合空间中保留,得到分割路径偏移模型图;
通过空间分割法计算所述分割路径偏移模型图的体积值,将所述体积值与预设体积值进行比较;
若所述体积值不大于预设体积值,则说明当前分割路径正常;若所述体积值大于预设体积值,则说明当前分割路径异常,则基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整。
需要说明的是,当获取得到按照预设分割路径与预设分割状态模型图后,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并且在分割过程中,通过分割机器上搭载的视觉系统拍摄在实际分割过程中的牛胴体的图像信息,从根据该图像信息构建得到牛胴体的实际分割状态模型图。另外需要说明的是,构建牛胴体的实际分割状态模型图与上述构建最终三维模型图的算法原理相同,在此不多做说明。
需要说明的是,对所述预设分割状态模型图进行特征提取,如提取牛胴体的牛胴体腿部的特征点,得到第一配对点;对所述实际分割状态模型图进行特征提取,如同样提取牛胴体的牛胴体腿部的特征点,得到第二配对点;然后通过三维软件构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合(如使得牛胴体腿部区域相重合),以对所述预设分割状态模型图与实际分割状态模型图进行配对处理,将两个模型相重合的模型区域剔除,从而得到分割路径偏移模型图;然后计算所述分割路径偏移模型图的体积值;若所述体积值不大于预设体积值,此时可以说明的是,分割路径在当前时间节点上没有发生偏移或者发生了轻度偏移(偏移程度在允许范围内),说明当前分割路径正常,此时使得分割机器人按照设定好的参数进行工作即可。若所述体积值大于预设体积值,此时可以说明的是,分割路径在当前时间节点上发生偏移并且偏移程度较大,此异常可能是由于生产线悬挂晃动、分割刀具磨损等问题造成的,为了保证机器人能够沿着胴体的脊柱从上至下劈半,此时需要对预设分割参数进行修正,如改变分割刀具进给速度或者转速等,以改变分割受力情况,以达到修正分割路径的功能。
综上所述,通过本方法能够有效识别出在实际分割过程中,分割路径是否发生了偏移异常。
在本发明的一个较佳实施例中,基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整,如图3所示,具体为:
S302:对所述分割路径偏移模型图进行几何特征提取,以获取得到分割路径偏移模型图的分割平面;
S304:构建虚拟空间,将所述分割路径偏移模型图导入所述虚拟空间中,并使得所述分割平面与虚拟空间中的预设平面相重合;
S306:基于基础形态分析法在所述虚拟空间中对分割路径偏移模型图进行特征分析,以获取得到分割路径偏移模型图与预设平面之间的偏移方向与偏移程度;
S308:基于所述偏移方向与偏移程度生成最佳分割参数,将所述最佳分割参数与预设分割参数进行比较,得到分割参数差值,基于所述分割参数差值对所述预设分割参数进行调整。
需要说明的是,所述预设平面为将待分割牛胴体的最终三维模型图导入仿真空间中进行仿真分析过程中得到的理想分割平面,可以理解为是刀具平切的分割面。在实际分割过程中,由于生产线悬挂晃动、分割刀具磨损等原因,分割路径可能会发生偏移现象,为了确定出分割路径的偏移程度与偏移方向,以进一步确定出修正参数。首先,通过几何特征提取算法提取出分割路径偏移模型图的分割平面,并且通过三维软件构建虚拟空间,将所述分割路径偏移模型图导入所述虚拟空间中,并使得所述分割平面与虚拟空间中的预设平面相重合;然后在虚拟空间内对分割路径偏移模型图进行特征分析,从而分析出分割路径的偏移方向与偏移程度。根据分割路径的偏移方向与偏移程度改变分割刀具进给速度或者转速等参数,以改变分割受力情况,以达到修正分割路径的功能,举例来说,可以通过降低刀具进给速度来降低分割力,进而降低牛胴体的受力大小,从而降低牛胴体在生产线的晃动幅度,以达到修正分割路径的作用。
综上所述,在对牛胴体分割过程中,若识别出分割路径发生了较大程度的偏移,此时通过修正分割参数,从而对偏移的分割路径进行修正,以保证机器人劈始终沿着胴体的脊柱从上至下劈半,使得偏差控制在质量要求范围之内,实现了智能化、精准化加工生产,具有广阔的市场前景和应用价值。
此外,所述控制方法还包括以下步骤:
获取分割完毕后牛胴体图像信息,基于所述分割完毕后牛胴体图像信息构建分割完毕后牛胴体的实际三维模型图;并获取分割完毕后牛胴体的预设三维模型图;
构建分割质量评价体系,基于所述分割完毕后牛胴体的预设三维模型图确定出评价指标;基于所述分割完毕后牛胴体的实际三维模型图确定出评价目标;通过层次分析法计算所述评价目标与评价指标之间的权重值;
通过哈希算法计算所述权重值与预设权重值之间的哈希值,判断所述哈希值是否位于预设范围值之内;
若所述哈希值位于预设范围值之内,则将分割完毕后牛胴体标记为精品;若所述哈希值不位于预设范围值之内,则将分割完毕后牛胴体标记为次品。
需要说明的是,通过本方法能够对分割后的牛胴体的分割质量进行评价,以对牛胴体块进行质量分级。
此外,所述控制方法还包括以下步骤:
获取分割机器人的预设分割路径与预设分割参数,基于所述预设分割路径与预设分割参数构建检索标签,基于所述检索标签对大数据网络进行检索,得到与所述预设分割路径与预设分割参数对应的多种历史分割工况信息;
获取牛胴体在分割过程中的实时分割工况信息;通过局部敏感注意力机制计算所述实时分割工况信息与各种历史分割工况信息之间的注意力分数,得到多个注意力分数;
构建序列表,将多个所述注意力分数导入所述序列表中进行大小排序,并提取出最高注意力分数,获取与最高注意力分数对应的历史分割工况信息,并将与最高注意力分数对应的历史分割工况信息标记预设分割工况信息;
根据所述预设分割工况信息与实时分割工况信息生成误差信息,判断所述误差信息是否在允许的范围内;
若不在允许范围内,则通过大数据网络获取所述误差信息对应的分割参数补偿信息,基于所述分割参数补偿信息对预设切割参数进行补偿。
需要说明的是,所述分割工况信息包括刀具偏移度、刀具切削力、卡刀时间、电机空转时间等工况。根据牛胴体的结构特性,当刀具切割到某些部位时(如颈部),刀具的受力情况会突变,此时刀具会发生一定程度的偏移,此属于正常现象。因此根据所述预设分割工况信息与实时分割工况信息生成误差信息,若误差信息不在允许的范围内(如刀具偏移度过大),则通过大数据网络获取所述误差信息对应的分割参数补偿信息,基于所述分割参数补偿信息对预设切割参数进行补偿,如通过提高刀具转速、降低进给速度方式来进行调节。通过本方法能够预设分割工况信息与实时分割工况信息生成误差信息来设切割参数进行补偿,能够有效提高机器人分割精度,使得偏差控制在质量要求范围之内。
此外,所述控制方法还包括以下步骤:
若所述体积值大于预设体积值,则获取当前分割机器人的实时工作参数;
获取当前分割路径异常所在的位置节点,通过对所述当前分割路径异常所在的位置节点与分割机器人相应的子设备进行关联,生成关联性文本;
通过灰色关联分析法计算所述关联性文本与实时工作参数之间的关联度,基于所述关联度确定出一个或多个子设备异常的可能性;
将所述子设备异常的可能性导入贝叶斯网络中进行二次模拟关联,确定出最终异常的子设备,并将所述最终异常的子设备输出。
需要说明的是,若在分割过程中分割路径发生了偏移情况,可能是由于生产线悬挂晃动、分割刀具磨损等原因造成的,通过本方法能够快速的检测出造成分割路径发生了偏移的实质原因。
本发明第二方面公开了一种基于机器视觉的牛胴体分割机器人控制系统,所述牛胴体分割机器人控制系统包括存储器55与处理器66,所述存储器55中存储有牛胴体分割机器人控制方法程序,所述牛胴体分割机器人控制方法程序被所述处理器66执行时,如图4所示,实现如下步骤:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图;
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图;
构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径;构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,并将所述纠偏指令输出。
优选地,本发明的一个较佳实施例中,构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图,具体为:
构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中,获取分割机器人的预设分割参数,并基于所述预设分割路径与预设分割参数在仿真空间对待分割牛胴体的最终三维模型图进行仿真分割;
在仿真分割过程中,获取多个预设时间节点牛胴体的预设分割状态模型图,构建知识图谱,并将多个所述预设时间节点牛胴体的预设分割状态模型图导入所述知识图谱中。
优选地,本发明的一个较佳实施例中,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,具体为:
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取在各个预设时间节点上获取牛胴体在实际分割过程中的图像信息,基于所述牛胴体在实际分割过程中的图像信息构建得到牛胴体的实际分割状态模型图;
对所述预设分割状态模型图进行特征提取,得到第一配对点;对所述实际分割状态模型图进行特征提取,得到第二配对点;
构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合,以对所述预设分割状态模型图与实际分割状态模型图进行配对处理;
配对完毕后,将所述预设分割状态模型图与实际分割状态模型图相重合的模型部分在所述整合空间中剔除,将所述预设分割状态模型图与实际分割状态模型图不相重合的模型部分在所述整合空间中保留,得到分割路径偏移模型图;
通过空间分割法计算所述分割路径偏移模型图的体积值,将所述体积值与预设体积值进行比较;
若所述体积值不大于预设体积值,则说明当前分割路径正常;若所述体积值大于预设体积值,则说明当前分割路径异常,则基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于机器视觉的牛胴体分割机器人控制方法,其特征在于,包括以下步骤:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图;
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图;
构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径;构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,并将所述纠偏指令输出;
其中,通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图,具体为:
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格;
获取各三角形网格的网格顶点,以及获取各网格顶点的坐标信息,并通过平均着色法获取各网格顶点的法向量,基于所述坐标信息与向量构建得到具有坐标与法向量的顶点集合;
获取各网格顶点与其余三角形网格之间的边界,并将各网格顶点与其余三角形网格之间的边界进行连接处理,得到网格顶点之间的网格边集;
基于所述顶点集合与网格边集构造得到拉普拉斯矩阵;构建特征分解模型,并将所述拉普拉斯矩阵导入所述特征分解模型中进行分解,得到拉普拉斯矩阵的特征向量集;
在所述特征向量集中选取任一极限特征向量作为构建基准点,基于所述构建基准点构建得到三维网格坐标系,将所述拉普拉斯矩阵导入所述三维网格坐标系中,生成拉普拉斯矩阵的矩阵特征值,并基于所述矩阵特征值获取得到目标点云数据坐标数集;
获取所述目标点云数据坐标数集的极限坐标点数集,并将所述极限坐标点数集输入至绝对坐标系中进行重新组合,生成待分割牛胴体的最终三维模型图;
其中,构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径,具体为:
通过大数据网络获取大量的牛胴体模型及其对应的多条历史分割路径,获取各条历史分割路径的分割成功率,在各条历史分割路径的分割成功率中筛选出最大分割成功率的历史分割路径,将最大分割成功率的历史分割路径与其对应的牛胴体模型进行捆绑,捆绑得到若干个分割数据包;
构建数据库,将若干个所述分割数据包导入所述数据库,得到特性数据库;
将所述待分割牛胴体的最终三维模型图导入所述特性数据库中,通过灰色关联法计算所述待分割牛胴体的最终三维模型图与各分割数据包中牛胴体模型的相似度,得到若干个相似度;
构建排序表,将若干个所述相似度导入所述排序表中进行大小排序,排序完成后,提取出最大相似度;获取与最大相似度对应的分割数据包,并提取出与最大相似度对应的分割数据包中的历史分割路径,将该历史分割路径设定为待分割牛胴体的预设分割路径;
其中,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,具体为:
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取在各个预设时间节点上获取牛胴体在实际分割过程中的图像信息,基于所述牛胴体在实际分割过程中的图像信息构建得到牛胴体的实际分割状态模型图;
对所述预设分割状态模型图进行特征提取,得到第一配对点;对所述实际分割状态模型图进行特征提取,得到第二配对点;
构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合,以对所述预设分割状态模型图与实际分割状态模型图进行配对处理;
配对完毕后,将所述预设分割状态模型图与实际分割状态模型图相重合的模型部分在所述整合空间中剔除,将所述预设分割状态模型图与实际分割状态模型图不相重合的模型部分在所述整合空间中保留,得到分割路径偏移模型图;
通过空间分割法计算所述分割路径偏移模型图的体积值,将所述体积值与预设体积值进行比较;
若所述体积值不大于预设体积值,则说明当前分割路径正常;若所述体积值大于预设体积值,则说明当前分割路径异常,则基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整;
其中,基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整,具体为:
对所述分割路径偏移模型图进行几何特征提取,以获取得到分割路径偏移模型图的分割平面;
构建虚拟空间,将所述分割路径偏移模型图导入所述虚拟空间中,并使得所述分割平面与虚拟空间中的预设平面相重合;
基于基础形态分析法在所述虚拟空间中对分割路径偏移模型图进行特征分析,以获取得到分割路径偏移模型图与预设平面之间的偏移方向与偏移程度;
基于所述偏移方向与偏移程度生成最佳分割参数,将所述最佳分割参数与预设分割参数进行比较,得到分割参数差值,基于所述分割参数差值对所述预设分割参数进行调整;
还包括以下步骤:
获取分割机器人的预设分割路径与预设分割参数,基于所述预设分割路径与预设分割参数构建检索标签,基于所述检索标签对大数据网络进行检索,得到与所述预设分割路径与预设分割参数对应的多种历史分割工况信息;
获取牛胴体在分割过程中的实时分割工况信息;通过局部敏感注意力机制计算所述实时分割工况信息与各种历史分割工况信息之间的注意力分数,得到多个注意力分数;
构建序列表,将多个所述注意力分数导入所述序列表中进行大小排序,并提取出最高注意力分数,获取与最高注意力分数对应的历史分割工况信息,并将与最高注意力分数对应的历史分割工况信息标记预设分割工况信息;
根据所述预设分割工况信息与实时分割工况信息生成误差信息,判断所述误差信息是否在允许的范围内;
若不在允许范围内,则通过大数据网络获取所述误差信息对应的分割参数补偿信息,基于所述分割参数补偿信息对预设切割参数进行补偿。
2.根据权利要求1所述的一种基于机器视觉的牛胴体分割机器人控制方法,其特征在于,获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图,具体为:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,对所述预处理后的图像信息进行特征匹配处理,得到若干特征点;
在所述预处理后的图像信息中选取任意一个特征点作为坐标原点,根据所述坐标原点构建三维坐标系,并在所述三维坐标系中获取所有特征点的三维坐标值;
基于所述三维坐标值生成各特征点的点云数据,并将各特征点的点云数据进行汇集,得到点云数据集;
通过LOF算法计算所述点云数据集中每一点云数据的局部离群因子值,并判断每一点云数据的局部离群因子值是否大于预设离群因子值,若大于,则将局部离群因子值大于预设离群因子值的点云数据在所述点云数据集中剔除,得到筛选后的点云数据集;
对所述筛选后的点云数据集中的点云数据分割为若干个子区域,并对每一子区域内的点云数据进行配准处理,使得各子区域内的点云数据以统一的世界坐标系表示;对各子区域内的点云数据进行网格化处理,直至生成曲面;将每一子区域生成的曲面进行重组,得到待分割牛胴体的初始三维模型图。
3.根据权利要求1所述的一种基于机器视觉的牛胴体分割机器人控制方法,其特征在于,构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图,具体为:
构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中,获取分割机器人的预设分割参数,并基于所述预设分割路径与预设分割参数在仿真空间对待分割牛胴体的最终三维模型图进行仿真分割;
在仿真分割过程中,获取多个预设时间节点牛胴体的预设分割状态模型图,构建知识图谱,并将多个所述预设时间节点牛胴体的预设分割状态模型图导入所述知识图谱中。
4.一种基于机器视觉的牛胴体分割机器人控制系统,其特征在于,所述牛胴体分割机器人控制系统包括存储器与处理器,所述存储器中存储有牛胴体分割机器人控制方法程序,所述牛胴体分割机器人控制方法程序被所述处理器执行时,实现如下步骤:
获取待分割牛胴体的图像信息,并对所述待分割牛胴体的图像信息进行预处理,得到预处理后的图像信息,基于所述预处理后的图像信息建立待分割牛胴体的初始三维模型图;
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图;
构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径;构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图;
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,并将所述纠偏指令输出;
其中,通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格,并基于所述三角形网格将所述待分割牛胴体的初始三维模型图进行重组,得到待分割牛胴体的最终三维模型图,具体为:
通过三角形网格算法将所述待分割牛胴体的初始三维模型图离散化为若干个三角形网格;
获取各三角形网格的网格顶点,以及获取各网格顶点的坐标信息,并通过平均着色法获取各网格顶点的法向量,基于所述坐标信息与向量构建得到具有坐标与法向量的顶点集合;
获取各网格顶点与其余三角形网格之间的边界,并将各网格顶点与其余三角形网格之间的边界进行连接处理,得到网格顶点之间的网格边集;
基于所述顶点集合与网格边集构造得到拉普拉斯矩阵;构建特征分解模型,并将所述拉普拉斯矩阵导入所述特征分解模型中进行分解,得到拉普拉斯矩阵的特征向量集;
在所述特征向量集中选取任一极限特征向量作为构建基准点,基于所述构建基准点构建得到三维网格坐标系,将所述拉普拉斯矩阵导入所述三维网格坐标系中,生成拉普拉斯矩阵的矩阵特征值,并基于所述矩阵特征值获取得到目标点云数据坐标数集;
获取所述目标点云数据坐标数集的极限坐标点数集,并将所述极限坐标点数集输入至绝对坐标系中进行重新组合,生成待分割牛胴体的最终三维模型图;
其中,构建数据库,将所述待分割牛胴体的最终三维模型图导入所述数据库中进行分析配对,配对得到待分割牛胴体的预设分割路径,具体为:
通过大数据网络获取大量的牛胴体模型及其对应的多条历史分割路径,获取各条历史分割路径的分割成功率,在各条历史分割路径的分割成功率中筛选出最大分割成功率的历史分割路径,将最大分割成功率的历史分割路径与其对应的牛胴体模型进行捆绑,捆绑得到若干个分割数据包;
构建数据库,将若干个所述分割数据包导入所述数据库,得到特性数据库;
将所述待分割牛胴体的最终三维模型图导入所述特性数据库中,通过灰色关联法计算所述待分割牛胴体的最终三维模型图与各分割数据包中牛胴体模型的相似度,得到若干个相似度;
构建排序表,将若干个所述相似度导入所述排序表中进行大小排序,排序完成后,提取出最大相似度;获取与最大相似度对应的分割数据包,并提取出与最大相似度对应的分割数据包中的历史分割路径,将该历史分割路径设定为待分割牛胴体的预设分割路径;
其中,控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取牛胴体的实际分割状态模型图,基于所述实际分割状态模型图与预设分割状态模型图判断出分割路径是否异常,若分割路径异常,则生成纠偏指令,具体为:
控制分割机器人按照预设分割路径与预设分割参数对待分割牛胴体进行分割,并获取在各个预设时间节点上获取牛胴体在实际分割过程中的图像信息,基于所述牛胴体在实际分割过程中的图像信息构建得到牛胴体的实际分割状态模型图;
对所述预设分割状态模型图进行特征提取,得到第一配对点;对所述实际分割状态模型图进行特征提取,得到第二配对点;
构建整合空间,将所述预设分割状态模型图与实际分割状态模型图导入所述整合空间中,并使得所述第一配对点与第二配对点在所述整合空间中相重合,以对所述预设分割状态模型图与实际分割状态模型图进行配对处理;
配对完毕后,将所述预设分割状态模型图与实际分割状态模型图相重合的模型部分在所述整合空间中剔除,将所述预设分割状态模型图与实际分割状态模型图不相重合的模型部分在所述整合空间中保留,得到分割路径偏移模型图;
通过空间分割法计算所述分割路径偏移模型图的体积值,将所述体积值与预设体积值进行比较;
若所述体积值不大于预设体积值,则说明当前分割路径正常;若所述体积值大于预设体积值,则说明当前分割路径异常,则基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整;
其中,基于所述分割路径偏移模型图生成纠偏指令,基于所述纠偏指令对异常的分割路径进行调整,具体为:
对所述分割路径偏移模型图进行几何特征提取,以获取得到分割路径偏移模型图的分割平面;
构建虚拟空间,将所述分割路径偏移模型图导入所述虚拟空间中,并使得所述分割平面与虚拟空间中的预设平面相重合;
基于基础形态分析法在所述虚拟空间中对分割路径偏移模型图进行特征分析,以获取得到分割路径偏移模型图与预设平面之间的偏移方向与偏移程度;
基于所述偏移方向与偏移程度生成最佳分割参数,将所述最佳分割参数与预设分割参数进行比较,得到分割参数差值,基于所述分割参数差值对所述预设分割参数进行调整;
还包括以下步骤:
获取分割机器人的预设分割路径与预设分割参数,基于所述预设分割路径与预设分割参数构建检索标签,基于所述检索标签对大数据网络进行检索,得到与所述预设分割路径与预设分割参数对应的多种历史分割工况信息;
获取牛胴体在分割过程中的实时分割工况信息;通过局部敏感注意力机制计算所述实时分割工况信息与各种历史分割工况信息之间的注意力分数,得到多个注意力分数;
构建序列表,将多个所述注意力分数导入所述序列表中进行大小排序,并提取出最高注意力分数,获取与最高注意力分数对应的历史分割工况信息,并将与最高注意力分数对应的历史分割工况信息标记预设分割工况信息;
根据所述预设分割工况信息与实时分割工况信息生成误差信息,判断所述误差信息是否在允许的范围内;
若不在允许范围内,则通过大数据网络获取所述误差信息对应的分割参数补偿信息,基于所述分割参数补偿信息对预设切割参数进行补偿。
5.根据权利要求4所述的一种基于机器视觉的牛胴体分割机器人控制系统,其特征在于,构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中进行仿真分析,得到多个预设时间节点牛胴体的预设分割状态模型图,具体为:
构建仿真空间,将所述待分割牛胴体的最终三维模型图导入所述仿真空间中,获取分割机器人的预设分割参数,并基于所述预设分割路径与预设分割参数在仿真空间对待分割牛胴体的最终三维模型图进行仿真分割;
在仿真分割过程中,获取多个预设时间节点牛胴体的预设分割状态模型图,构建知识图谱,并将多个所述预设时间节点牛胴体的预设分割状态模型图导入所述知识图谱中。
CN202310741536.8A 2023-06-21 2023-06-21 一种基于机器视觉的牛胴体分割机器人控制方法及系统 Active CN116502468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310741536.8A CN116502468B (zh) 2023-06-21 2023-06-21 一种基于机器视觉的牛胴体分割机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310741536.8A CN116502468B (zh) 2023-06-21 2023-06-21 一种基于机器视觉的牛胴体分割机器人控制方法及系统

Publications (2)

Publication Number Publication Date
CN116502468A CN116502468A (zh) 2023-07-28
CN116502468B true CN116502468B (zh) 2023-11-28

Family

ID=87323397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310741536.8A Active CN116502468B (zh) 2023-06-21 2023-06-21 一种基于机器视觉的牛胴体分割机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN116502468B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237449A (zh) * 2023-08-22 2023-12-15 苏州兰康自动化科技有限公司 一种自动化测试设备的控制方法及系统
CN116943995B (zh) * 2023-09-20 2023-12-08 深圳正实自动化设备有限公司 一种基于数据分析的高精密点胶机评估方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111296539A (zh) * 2020-01-22 2020-06-19 中国农业科学院农产品加工研究所 羊胴体机器人自主分割方法及系统
CN113643401A (zh) * 2021-08-27 2021-11-12 无锡福源自动化系统工程有限公司 基于机器学习的生猪胴体分割方法及系统
CN113781667A (zh) * 2021-11-10 2021-12-10 深圳大学 三维结构简化重建方法、装置、计算机设备和存储介质
CN114494295A (zh) * 2022-01-26 2022-05-13 牧原肉食品有限公司 一种机器人智能屠宰分割方法、装置和存储介质
CN115063438A (zh) * 2022-07-27 2022-09-16 河南科技学院 一种应用于猪类胴体分割机器人的自主调节方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325412B2 (en) * 2015-11-05 2019-06-18 Shenyang Neusoft Medical Systems Co., Ltd. Cutting three-dimensional image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111296539A (zh) * 2020-01-22 2020-06-19 中国农业科学院农产品加工研究所 羊胴体机器人自主分割方法及系统
CN113643401A (zh) * 2021-08-27 2021-11-12 无锡福源自动化系统工程有限公司 基于机器学习的生猪胴体分割方法及系统
CN113781667A (zh) * 2021-11-10 2021-12-10 深圳大学 三维结构简化重建方法、装置、计算机设备和存储介质
CN114494295A (zh) * 2022-01-26 2022-05-13 牧原肉食品有限公司 一种机器人智能屠宰分割方法、装置和存储介质
CN115063438A (zh) * 2022-07-27 2022-09-16 河南科技学院 一种应用于猪类胴体分割机器人的自主调节方法

Also Published As

Publication number Publication date
CN116502468A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN116502468B (zh) 一种基于机器视觉的牛胴体分割机器人控制方法及系统
CN109166145B (zh) 一种基于聚类分割的果树叶片生长参数提取方法及系统
CN111369016B (zh) 一种基于图像识别的现场运维方法及系统
CN106599915B (zh) 一种车载激光点云分类方法
CN109740506A (zh) 一种户型图像识别方法及装置
CN112446715B (zh) 一种基于工业互联网云平台的产品溯源方法
CN111833388A (zh) 一种面向webgl引擎和bim应用的三维模型轻量化方法
CN110941251A (zh) 基于数字孪生体的生产控制方法、装置、设备及介质
CN115081087B (zh) 基于物联网的装修云设计方法、装置、设备及存储介质
US20050010325A1 (en) Computer-aided manufacturing system and method for sheet-metal punching
US20160063136A1 (en) Methods and systems for feature recognition
CN113689567B (zh) 在云端单体化倾斜摄影模型中建筑的方法
CN117010666B (zh) 一种汽修工具生产工作站智能管理方法及系统
CN116501000B (zh) 一种复合铜散热底板生产设备的控制方法及系统
CN106446306A (zh) 一种基于高斯球聚类的机械零件逆向工程建模方法
CN116992740B (zh) 一种通讯基站精密部件生产设备的智能调控方法及系统
CN113762049B (zh) 内容识别方法、装置、存储介质和终端设备
CN114494295A (zh) 一种机器人智能屠宰分割方法、装置和存储介质
CN110019901A (zh) 三维模型检索装置、检索系统、检索方法及计算机可读存储介质
CN111079752A (zh) 识别红外图像中的断路器的方法、装置及可读存储介质
CN114332667B (zh) 玉米株型识别方法、装置、电子设备及存储介质
US20040267508A1 (en) Computer numerical control code-simulating system and method
CN115205303A (zh) 一种猪胴体切块机器人分割面自主生成方法
KR101644426B1 (ko) 변형3d모델에 대응되는 원본3d모델 인식방법
CN111523576B (zh) 一种适用于电子质量检测的密度峰值聚类离群点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant