CN113869252A - 基于深度学习的小龙虾头尾分离控制方法及其系统 - Google Patents
基于深度学习的小龙虾头尾分离控制方法及其系统 Download PDFInfo
- Publication number
- CN113869252A CN113869252A CN202111167827.8A CN202111167827A CN113869252A CN 113869252 A CN113869252 A CN 113869252A CN 202111167827 A CN202111167827 A CN 202111167827A CN 113869252 A CN113869252 A CN 113869252A
- Authority
- CN
- China
- Prior art keywords
- crayfish
- head
- tail
- compensation
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000238017 Astacoidea Species 0.000 title claims abstract description 229
- 238000000926 separation method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 241000238557 Decapoda Species 0.000 claims description 34
- 230000036544 posture Effects 0.000 claims description 31
- 238000005457 optimization Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 241000238565 lobster Species 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000001015 abdomen Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000009395 breeding Methods 0.000 description 5
- 230000001488 breeding effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 235000013305 food Nutrition 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人工智能领域,公开了一种基于深度学习的小龙虾头尾分离控制方法,包括如下步骤:获取待测小龙虾位姿图像,并对图像进行预处理;采用深度学习后的卷积神经网络对预处理后的小龙虾位姿图像进行识别,得到小龙虾位姿信息;之后经防呆计算和坐标数据补偿计算,得到小龙虾头尾分离最优坐标;将小龙虾头尾分离最优坐标发送给机械手,机械手根据小龙虾头尾分离最优坐标实现小龙虾头尾分离。此外,本发明还公布了一种使用该方法的系统。采用该方法及系统,能够精确定位小龙虾头尾分离处的坐标,提升小龙虾头尾分离时的效率。
Description
技术领域
本发明涉及人工智能领域,特别涉及一种基于深度学习的小龙虾头尾分离控制方法及其系统。
背景技术
近年来,小龙虾产业发展迅速,养殖产量和面积逐年增大,由小龙虾养殖业衍生地小龙虾加工业也蓬勃发展,配套的冷链物流和配送规模随之扩大,技术不断完善,精深加工稳步发展。多地将小龙虾养殖业作为产业扶贫项目进行重点扶持,进而促进其迅速发展;在此背景下小龙虾加工业也受到了重视,风味小龙虾、虾尾、虾仁等相关产品已见诸市场。
伴随着中国社会经济的快速发展和人均可支配收入的不断提高,消费者对包括水产品在内的食品的需求也从单纯追求数量转变为更加注重质量和安全,加工业越来越受到研究者的关注。小龙虾初级加工产品主要有虾仁、虾尾、整肢的原味虾以及调味小龙虾。在加工过程中,小龙虾通常需要进行去头处理,目前市场上的剥壳去头设备没有一套全自动的设备,通常采用人工摘除的方式去除虾头,去头的速度和效率低,卫生情况不好,容易造成小龙虾的二次污染,一定程度上影响小龙虾的质量。
在传统小龙虾加工产业的工厂中,通常处理量均以吨计,在小龙虾去头的工序中,需要大量人工进行密集作业。在小龙虾食品需求市场蓬勃发展的市场环境下,产能需求越来越大,同时对应而来的食品安全需求越来越严格,传统的手工作业生产模式已经不能满足当下小龙虾食品加工企业的需求。
综上所述,小龙虾的去头加工迫切需要一种自动化去头设备,以智能化的去头设备代替人工、减少小龙虾尾生产成本。如专利CN111832532A提供了一种小龙虾头尾分离的在线视觉控制方法和系统,它能够对小龙虾料进行小龙虾头和小龙虾尾的自动区分识别,为后续进行头尾分离作业提供定位。但是,该技术是基于特征轮廓和灰度进行判定的,不能进行精确定位,不能解决虾脚姿态各异、蜷缩状态各异,不同产地、不同季节虾壳颜色各异,大小各异的小龙虾的精确定位,不能为后续的头尾分离提供便利。
发明内容
针对现有技术中存在的不足之处,本发明的目的是提供一种基于深度学习的小龙虾头尾分离控制方法及系统,其能够解决在小龙虾头尾分离系统中,小龙虾姿态差异大、难以准确识别的问题。
为了实现根据本发明的上述目的和其他优点,本发明的第一目的是提供一种基于深度学习的小龙虾头尾分离控制方法,包括:
获取待测小龙虾位姿图像,并对图像进行预处理。采用深度学习后的卷积神经网络对预处理后的小龙虾位姿图像进行识别,得到小龙虾位姿信息;小龙虾位姿信息包括小龙虾位置信息、方向信息、姿势信息及进行头尾分离时所需坐标信息;
对小龙虾位姿信息进行防呆计算,得到小龙虾位姿优化信息;
对小龙虾位姿优化信息进行坐标数据补偿计算,得到小龙虾头尾分离最优坐标;
将小龙虾头尾分离最优坐标发送给机械手,机械手根据小龙虾头尾分离最优坐标实现小龙虾头尾分离。
作为优选,预处理包括将小龙虾位姿图像转化为平面直角坐标系及极坐标系下的小龙虾位姿图像。
作为优选,卷积神经网络包括粗定位模型、分类模型、精定位模型;粗定位模型用于获取小龙虾位置信息及方向信息;分类模型用于获取姿势信息并对小龙虾姿势及种类进行标记及分类;精定位模型用于获取进行头尾分离时所需坐标信息。
作为优选,分类模型在分类小龙虾姿势时包括将小龙虾姿势标记分类为侧躺、斜面仰、正趴、斜面趴、第一正仰及第二正仰;其中,第一正仰为小龙虾露出大于等于三对小脚的姿态;第二正仰为露出小于三对小脚的姿态。
作为优选,进行头尾分离时所需坐标信息包括小龙虾的虾头坐标和/或头尾连接处坐标或虾嘴坐标。
作为优选,防呆计算包括检测得出小龙虾不同姿态下点坐标位置及方向与预设坐标偏差和偏差后纠偏计算。
作为优选,坐标数据补偿计算包括2D平面补偿、3D高度补偿、重复数据剔除补偿、位置补偿、最优坐标筛选补偿和体积补偿。
作为优选,2D平面补偿通过算法用于调整不同体积小龙虾的点坐标;其中,2D平面补偿算法包括确定头尾连接处坐标(x1,y1),小龙虾虾头到头尾交接点距离d;依据小龙虾虾头到头尾交接处的标准距离D,小龙虾标准长度D时的X方向补偿固定值offsetX和Y方向补偿固定值offsetY,通过平面补偿公式计算得到头尾连接处校正坐标(x1’,y1’);所述平面补偿公式为:
作为优选,3D高度补偿通过算法用于调整不同高度平面的点坐标;其中,3D高度补偿算法包括确定抓取龙虾虾头坐标(x0,y0),头尾连接处坐标(x1,y1),龙虾高度D;依据龙虾标准高度H,标准高度龙虾视野中心坐标(w1,h1),每毫米高度偏差值比例系数C通过高度补偿公式计算得到虾头校正坐标(x0’,y0’),头尾连接处校正坐标(x1’,y1’);高度补偿公式为:
本发明的第二目的是提供一种基于深度学习的小龙虾头尾分离系统,其应用上述的控制方法,包括图像获取模块、图像处理模块、数据优化模块、数据补偿模块、分离机械手;其中,图像获取模块用于获取小龙虾位姿图像,其包括光源、相机以及图像传感器;
图像处理模块用于接收图像获取模块对获取的小龙虾位姿图像,并应用控制方法的卷积神经网络获取小龙虾位姿信息;
数据优化模块用于接受图像处理模块获取的小龙虾位姿信息,并应用控制方法的防呆计算获取小龙虾位姿优化信息;
数据补偿模块用于接受数据优化模块获取的小龙虾位姿优化信息,并应用控制方法的坐标数据补偿计算获取小龙虾头尾分离最优坐标;
分离机械手用于接受小龙虾头尾分离最优坐标并通过机械手操作实现小龙虾头尾分离。
与现有技术相比,本发明的有益效果是:
本发明所提供的基于深度学习的小龙虾头尾分离控制方法,其利用深度学习,先对小龙虾进行粗定位,然后对粗定位后的小龙虾图像进行分类,最后按照分类的结果进行精定位;与现有技术中,传统算法中的定位,斑点工具相比,其解决了现有技术中,小龙虾姿态各异,无法精确定位,实现机械手将其头尾分离的功能。此外,本发明通过防呆计算和坐标数据补偿计算,解决了3D向2D图像转化后的坐标误差问题,避免了机械手在操作小龙虾进行头尾分离时出现误操作的情况。
附图说明
图1为根据本发明所述的基于深度学习的小龙虾头尾分离控制方法流程图;
图2为根据本发明所述的基于深度学习的小龙虾头尾分离系统的结构示意图。
图3为根据本发明所述的基于深度学习的小龙虾头尾分离控制方法的卷积神经网络深度学习算法模型;
图4为根据本发明所述的基于深度学习的小龙虾头尾分离控制方法中卷积神经网络深度学习算法模型的具体实施方法。
具体实施方式
下面结合附图对本发明做进一步的详细说明,本发明的前述和其它目的、特征、方面和优点将变得更加明显,以令本领域技术人员参照说明书文字能够据以实施。在附图中,为清晰起见,可对形状和尺寸进行放大,并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中,诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地,“高度”相当于从顶部到底部的尺寸,“宽度”相当于从左边到右边的尺寸,“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如,“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系,除非以其他方式明确地说明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明提供了一种基于深度学习的小龙虾头尾分离控制方法,其能够通过深度学习,迭代训练卷积神经网络;并通过防呆计算和坐标数据补偿计算,能够精确的得出小龙虾头尾分离时,头尾交接点的坐标;解决了小龙虾姿态各异,大小不同,头尾分离位置计算难度大的问题。
结合附图1对本发明进行详细说明,主要包括以下步骤:
步骤1:获取待测小龙虾位姿图像,并对图像进行预处理。采用深度学习后的卷积神经网络对预处理后的小龙虾位姿图像进行识别,得到小龙虾位姿信息;具体的为将获取的待测小龙虾位姿图像经预处理后,从输入端输入卷积神经网络,在对图像经粗定位模型粗定位后,确定下小龙虾的位置信息,包括相对于图像的直角坐标系下的坐标(x,y),相对于图像的极坐标系下的坐标(r,θ),从而获得小龙虾的位置信息及方向信息;之后,获得的小龙虾图像进入分类模型,对小龙虾进行种类分类,然后,图像信息进入精定位模型,依据分类结果,进行精确定位,确定小龙虾虾头或头尾连接处或虾嘴处坐标,最后,输出坐标。
参照图3,卷积神经网络包括粗定位模型、分类模型和精定位模型。通过三个模型的卷积神经网络能够有效准确的得出小龙虾的位置信息,角度信息,姿态信息,头尾连接处的坐标信息。
粗定位模型用于标记小龙虾的位置,其通过预处理后的直角坐标系和极坐标系下的小龙虾位姿图像,依据卷积神经网络中的小龙虾特征,来确定单个小龙虾在小龙虾位姿图像中的直角坐标(x,y)和极坐标(r,θ)。直角坐标用于确定小龙虾的基本位置,极坐标用于确定小龙虾虾头朝向的角度。通过直角坐标能够确定单个小龙虾在图像中相对于原点的基本位置,极坐标能够准确的得出单个小龙虾在图像中的方向信息,如小龙虾在图像中斜向上45°,垂直向上90°,水平横置等。
分类模型用于对小龙虾姿势及种类进行标记和分类,卷积神经网络的分类模型将小龙虾姿势分类为侧躺、斜面仰、正趴、斜面趴、第一正仰和第二正仰,参照图4,从俯视图中,小龙虾侧躺为能完整观察到小龙虾侧部,无法观察到小龙虾的背部及腹部。斜面仰为能够观察到小龙虾腹部及侧面,无法观察到小龙虾背部。正趴为能够完整观察到小龙虾背部,完全无法观察到小龙虾的侧部及腹部。斜面趴为能够观察到小龙虾的背部及侧部,无法观察到小龙虾的腹部。第一正仰为能够完整观察到小龙虾的腹部,完全无法观察到小龙虾的背部及侧部,此时小龙虾为非蜷缩状态,能够完整观察到小龙虾大于等于三对以上的小脚。第二正仰为能够完整观察到小龙虾的腹部,完全无法观察到小龙虾的背部及侧部,此时小龙虾为蜷缩状态,只能够完整观察到小龙虾小于三对的小脚。通过分类模型,将小龙虾的姿态分为六类,为后续的精确定位减小了计算量,由于计算量减小,为后续的小龙虾头尾分离减小了误差。
精定位模型用于根据已分类的小龙虾位姿图像转化图像角度至标准图像,之后标记小龙虾的虾头和/或头尾连接处的坐标。其中,分类为侧躺的小龙虾标记定位虾头和头尾连接处的坐标;分类为斜面仰的小龙虾标记定位头尾连接处的坐标;分类为斜面趴的小龙虾标记定位虾头和头尾连接处的坐标;分类为正趴的小龙虾标记定位虾头和头尾连接处的坐标;分类为第一正仰的小龙虾标记定位虾嘴坐标;分类为第二正仰的小龙虾标记定位虾嘴坐标。通过精定位模型,能够明确判断出小龙虾头尾分离的位置,并且,分类模型后计算量减小,计算时间缩短,能够提升小龙虾头尾分离的分离效率。
通过该方法设计的卷积神经能够实现对小龙虾的精确识别和分类,识别正确率达到98%。
步骤2:对获得的小龙虾位姿坐标进行防呆计算,得到小龙虾位姿优化坐标。其中,防呆计算包括得出小龙虾不同姿态下点坐标位置和方向与预设坐标偏差和偏差后纠偏计算。具体方式如下,如对于分类后小龙虾为侧躺的姿势,在深度学习后获得虾头坐标(x1,y1)和虾尾坐标(x2,y2);在经深度学习,卷积神经网络的精定位模型中,相对于尾部,相对于小龙虾尾部,小龙虾虾头一定下右侧,即x2>x1,则防呆计算过程中,若读取发现虾头和虾尾的坐标值不符合上述的规律,则说明经卷积神经网络深度学习识别后的定位结果反了,出现错误,则需进行就纠偏。纠偏方式为虾头与虾尾坐标交换。再如在分类模型中判断为斜仰的小龙虾,其视野长度为L,其头尾连接处坐标(x,y)在预设的精定位模型中应出现在视野左边,即此时,应符合x>L/2;在防呆计算时,若发现读取的坐标不符合上述规律,则说明经卷积神经网络深度学习识别后的定位结果错误,需进行纠正,对其坐标进行纠偏。防呆计算优化了小龙虾位姿经卷积神经网络定位后的小龙虾位姿坐标,获得了小龙虾位姿优化坐标,避免了因小龙虾在传送带上,位置方向不同,卷积神经网络对结果错误判断的情况。
步骤3:参照图4,对小龙虾位姿优化坐标进行坐标数据补偿计算,得到小龙虾位姿最优坐标。坐标数据计算补偿解决了图像从3D转化为2D时出现的数据偏差,是得到的最终结果更精确。坐标数据计算补偿包括2D平面补偿、3D高度补偿、重复数据提出补偿、位置补偿、最优坐标筛选补偿和体积补偿。通过坐标数据计算补偿后,进一步优化了精定位后的坐标,使机械手操作时能够更准确的实现小龙虾的头尾分离,可以将小龙虾的投和尾分离的坐标和方向准确计算,其分离的正确率达到了98%。而且,经坐标数据计算补偿后,能有效提升机械爪分离小龙虾的效率,使用该方法的系统,其每秒能完成3只小龙虾的头尾分离。
坐标数据计算补偿中,2D平面补偿用于调整不同体积小龙虾的点坐标。小龙虾的体积及形态难免存在差异,因此,为了机械手抓取时更准确,需要对卷积神经网络定位后的小龙虾坐标通过算法进行平面补偿。2D平面补偿算法为在确定头尾交界处坐标(x1,y1),小龙虾虾头到头尾交接点距离d;之后依据小龙虾虾头到头尾交接处的标准距离D,小龙虾标准长度D时的X方向补偿固定值offsetX和Y方向补偿固定值offsetY,通过平面补偿公式计算得到头尾交界处的校正坐标(x1’,y1’),校正后坐标解决了小龙虾形态不同的问题。2D平面补偿算法中,平面补偿公式如下:
坐标数据计算补偿中,3D高度补偿用于调整不同高度平面的点坐标。小龙虾由于肥瘦的问题,每只小龙虾的高度都是不同的,因此,为使使用该控制方法的系统能适应不同的小龙虾,在神经网络定位后,需根据小龙虾的高度对得出的坐标通过算法进行3D高度补偿。3D高度补偿算法为确定抓取龙虾虾头坐标(x0,y0),头尾交界处坐标(x1,y1),龙虾高度D;依据龙虾标准高度H,标准高度龙虾视野中心坐标(w1,h1),每毫米高度偏差值比例系数C通过高度补偿公式计算得到虾头校正坐标(x0’,y0’),头尾交界处校正坐标(x1’,y1’),通过3D高度补偿,可以解决不同高度平面内坐标偏差的问题。3D高度补偿算法的高度补偿公式为:
坐标数据计算补偿中,重复数据剔除补偿用于剔除重复出现的小龙虾坐标。在获取小龙虾位姿图像过程中,相机拍摄频率很快,在拍照时会使同一只虾出现在视野中两侧,虽然这样可以最大化利用率,减少因漏拍而造成的下回流堵塞,但是,如果对同一只虾进行两次定位会为后续的机械手抓取带来判断误差,出现重复抓取;因此,需要对前后两次相机获取的图像信息进行空间比对,判断哪些坐标在空间上是重合的,并剔除该重复坐标数据,从而防止机械手出现重复赚取的情况,有效的提升了机械手抓取效率。
坐标数据计算补偿中,位置补偿用于判断虾与虾间、虾与机械手夹爪之间的距离及位置信息并进行补偿计算。一张图像中会存在多只虾,为了防止机械手在抓取一只下的过程中触碰或打压到其他的虾,需要对所有虾之间的间距进行判断,防止造成虾的损失。此外,还需对虾与机械手之间的距离及位置进行判断,由于神经网络精定位中,对图像进行裁剪处理,因此,神经网络定位后得到的坐标与机械手实际抓取坐标存在差异,因此,需要进行补偿计算,进行坐标转换,坐标转换的方式为通过矩阵计算获得。如在获取小龙虾图像信息时,以左上角为原点(0,0),而在神经网络中,精定位模型对图像进行裁剪旋转等操作,以使图像中只存在符合卷积神经网络模型的图像,即图像中只存在一只特定方向的小龙虾,此时依然以图像左上角为原点(0,0),得到的机械手抓取点为(x0,y0),但是,此坐标是相对于精定位模型裁剪后的图像的坐标,并不是机械手抓取的实际坐标(x1,y1),因此。需要通过位置补偿计算得到正确坐标(x1,y1)。位置补偿计算通过矩阵变换实现坐标系转换,具体公式如下:
其中,M11、M12、M21和M22表示坐标转换系数。
坐标数据补偿中,最优坐标筛选补偿用于确定小龙虾姿态的优先级,以节省计算量。不同姿态的虾,对于视觉系统来说可能匹配到多个分类中,但其存在匹配度最高的姿态,这类姿态出错的概率最低,最优坐标筛选补偿算法对6种姿态进行分类排序,以匹配度最高进行匹配并进行精定位,之后对得到的坐标进行优先级判断,优先给出最可靠的数据。
坐标数据补偿中,体积补偿用于剔除体积不符合机械手抓取尺寸的小龙虾。机械手夹爪的大小是固定的,因此,机械手无法兼容体积过大或过小的小龙虾,因此,视觉系统通过体积补偿,对不同的虾尺寸进行筛选,剔除过大或过小的虾的坐标,避免将该类坐标发送给机械手,影响机械手分类小龙虾头尾的效率。
步骤4:将小龙虾位姿最优坐标发送给机械手,机械手根据小龙虾位姿最优坐标实现小龙虾头尾分离。
参照图2,本发明的实施例还提供一种基于深度学习的小龙虾头尾分离控制系统,包括图像获取模块、图像处理模块、数据优化模块、数据补偿模块、分离机械手;其中,图像获取模块用于获取小龙虾位姿图像,其包括光源、相机以及图像传感器;光源是机器视觉系统的重要组成部分,小龙虾需要在光源的照射下,在图像传感器的像面上获得图像信号,图像信号随着光源的强度分布而变化。光源和照明方案的配合应尽可能突出物体特征量,本系统采用荧光灯,该灯具有连续与线状的混合光谱,在可见光波段具有足够的辐射能量,功率、光通量和色温都符合小龙虾的生产要求。本系统的相机采用CMOS高速摄像头,接口采用千兆以太网通信协议标准,以方便与控制机构的工控机等图像处理算法软件载体交互控制信息和图像数据。图像处理模块用于接收图像获取模块对获取的小龙虾位姿图像,并采用控制方法的卷积神经网络获取小龙虾位姿信息;数据优化模块用于接受图像处理模块获取的小龙虾位姿信息,并应用控制方法的防呆计算获取小龙虾位姿优化信息;数据补偿模块用于接受数据优化模块获取的小龙虾位姿优化信息,并应用控制方法的坐标数据补偿计算获取小龙虾头尾分离最优坐标;分离机械手用于接受小龙虾头尾分离最优坐标并通过机械手操作实现小龙虾的头尾精确分离。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (10)
1.一种基于深度学习的小龙虾头尾分离控制方法,其特征在于,包括如下步骤:
获取待测小龙虾位姿图像,并对图像进行预处理;采用深度学习后的卷积神经网络对所述预处理后的小龙虾位姿图像进行识别,得到小龙虾位姿信息;所述小龙虾位姿信息包括小龙虾位置信息、方向信息、姿势信息及进行头尾分离时所需坐标信息;
对所述小龙虾位姿信息进行防呆计算,得到小龙虾位姿优化信息;
对所述小龙虾位姿优化信息进行坐标数据补偿计算,得到小龙虾头尾分离最优坐标;
将所述小龙虾头尾分离最优坐标发送给机械手,所述机械手根据小龙虾头尾分离最优坐标实现小龙虾头尾分离。
2.根据权利要求1所述的基于深度学习的小龙虾头尾分离控制方法,其特征在于,所述预处理包括将小龙虾位姿图像转化为平面直角坐标系及极坐标系下的小龙虾位姿图像。
3.根据权利要求1所述的基于深度学习的小龙虾头尾分离控制方法,其特征在于,所述卷积神经网络包括粗定位模型、分类模型、精定位模型;所述粗定位模型用于获取小龙虾位置信息及方向信息;所述分类模型用于获取姿势信息并对小龙虾姿势及种类进行标记及分类;所述精定位模型用于获取进行头尾分离时所需坐标信息。
4.根据权利要求3所述的基于深度学习的小龙虾头尾分离控制方法,其特征在于,所述分类模型在分类小龙虾姿势时包括将小龙虾姿势标记分类为侧躺、斜面仰、正趴、斜面趴、第一正仰及第二正仰;其中,所述第一正仰为小龙虾露出大于等于三对小脚的姿态;所述第二正仰为露出小于三对小脚的姿态。
5.根据权利要求3所述的基于深度学习的小龙虾头尾分离控制方法,其特征在于:所述进行头尾分离时所需坐标信息包括小龙虾的虾头坐标和/或头尾连接处坐标或虾嘴坐标。
6.根据权利要求1所述的基于深度学习的小龙虾头尾分离控制方法,其特征在于,所述防呆计算包括检测得出小龙虾不同姿态下点坐标位置及方向与预设坐标偏差和偏差后纠偏计算。
7.根据权利要求1所述的基于深度学习的小龙虾头尾分离控制方法,其特征在于,所述坐标数据补偿计算包括2D平面补偿、3D高度补偿、重复数据剔除补偿、位置补偿、最优坐标筛选补偿、体积补偿。
10.一种基于深度学习的小龙虾头尾分离系统,其特征在于,其应用权利要求1~9任一项所述的控制方法,包括图像获取模块、图像处理模块、数据优化模块、数据补偿模块、分离机械手;其中,
所述图像获取模块用于获取小龙虾位姿图像,其包括光源、相机以及图像传感器;
所述图像处理模块用于接收所述图像获取模块对获取的小龙虾位姿图像,并应用所述控制方法的卷积神经网络获取小龙虾位姿信息;
所述数据优化模块用于接受所述图像处理模块获取的小龙虾位姿信息,并应用所述控制方法的防呆计算获取小龙虾位姿优化信息;
所述数据补偿模块用于接受数据优化模块获取的小龙虾位姿优化信息,并应用所述控制方法的坐标数据补偿计算获取小龙虾头尾分离最优坐标;
所述分离机械手用于接受所述小龙虾头尾分离最优坐标并通过机械手操作实现小龙虾头尾分离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111167827.8A CN113869252B (zh) | 2021-09-29 | 2021-09-29 | 基于深度学习的小龙虾头尾分离控制方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111167827.8A CN113869252B (zh) | 2021-09-29 | 2021-09-29 | 基于深度学习的小龙虾头尾分离控制方法及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113869252A true CN113869252A (zh) | 2021-12-31 |
CN113869252B CN113869252B (zh) | 2024-05-03 |
Family
ID=79001788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111167827.8A Active CN113869252B (zh) | 2021-09-29 | 2021-09-29 | 基于深度学习的小龙虾头尾分离控制方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113869252B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114391570A (zh) * | 2022-01-13 | 2022-04-26 | 广东省现代农业装备研究所 | 一种交错内爪齿式虾去头方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005079A1 (en) * | 2016-07-01 | 2018-01-04 | Ricoh Co., Ltd. | Active View Planning By Deep Learning |
CN210157930U (zh) * | 2019-04-10 | 2020-03-20 | 申曜鑫 | 一种自动剥虾机 |
CN111832532A (zh) * | 2020-07-24 | 2020-10-27 | 上海电气集团自动化工程有限公司 | 一种小龙虾位姿识别的在线视觉检测方法及系统 |
CN113375669A (zh) * | 2021-08-16 | 2021-09-10 | 智道网联科技(北京)有限公司 | 基于神经网络模型的姿态更新方法及装置 |
-
2021
- 2021-09-29 CN CN202111167827.8A patent/CN113869252B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005079A1 (en) * | 2016-07-01 | 2018-01-04 | Ricoh Co., Ltd. | Active View Planning By Deep Learning |
CN210157930U (zh) * | 2019-04-10 | 2020-03-20 | 申曜鑫 | 一种自动剥虾机 |
CN111832532A (zh) * | 2020-07-24 | 2020-10-27 | 上海电气集团自动化工程有限公司 | 一种小龙虾位姿识别的在线视觉检测方法及系统 |
CN113375669A (zh) * | 2021-08-16 | 2021-09-10 | 智道网联科技(北京)有限公司 | 基于神经网络模型的姿态更新方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114391570A (zh) * | 2022-01-13 | 2022-04-26 | 广东省现代农业装备研究所 | 一种交错内爪齿式虾去头方法及系统 |
CN114391570B (zh) * | 2022-01-13 | 2023-08-15 | 广东省现代农业装备研究所 | 一种交错内爪齿式虾去头方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113869252B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785316B (zh) | 一种芯片表观缺陷检测方法 | |
CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
CN107941808A (zh) | 基于机器视觉的3d打印成型质量检测系统及方法 | |
CN111753577A (zh) | 自动采摘机器人中的苹果识别与定位方法 | |
CN106824816A (zh) | 一种基于机器视觉的pe瓶检测与分拣方法 | |
CN113869252B (zh) | 基于深度学习的小龙虾头尾分离控制方法及其系统 | |
CN111832532A (zh) | 一种小龙虾位姿识别的在线视觉检测方法及系统 | |
CN114354637A (zh) | 基于机器视觉和x射线的水果品质综合分级方法和装置 | |
CN111353985A (zh) | 一种基于深度相机的机场自助托运行李的检测方法 | |
CN113569922A (zh) | 一种苹果智能无损分拣的方法 | |
KR101106967B1 (ko) | 어류 계측 형질 측정 자동화 시스템 및 방법 | |
CN115553132A (zh) | 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 | |
CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
CN115719451A (zh) | 一种软枣猕猴桃成熟度检测方法及系统 | |
CN110741790B (zh) | 一种基于深度相机的穴盘苗多爪移栽-分选的处理方法 | |
CN109191461A (zh) | 一种基于机器视觉技术的土鸡蛋识别方法及识别装置 | |
CN112338898B (zh) | 物体分选系统的图像处理方法、装置及物体分选系统 | |
CN108734054B (zh) | 无遮挡的柑橘果实图像识别方法 | |
CN115187969A (zh) | 一种基于视觉识别的铅酸电池回收系统和方法 | |
CN114627181A (zh) | 基于深度学习的龙虾在线定位视觉检测方法和系统 | |
CN117179030B (zh) | 一种鸡爪自动化生产系统 | |
CN221184836U (zh) | 金属板双面结粒去除装置 | |
CN117078674B (zh) | 一种pcba外观缺陷智能检测方法和检测系统 | |
KR102661717B1 (ko) | 양식 어류 형질 측정용 작업대 | |
CN114354628B (zh) | 一种基于机器视觉的根茎类农产品缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |