CN115770734B - 一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法 - Google Patents
一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法 Download PDFInfo
- Publication number
- CN115770734B CN115770734B CN202211503143.5A CN202211503143A CN115770734B CN 115770734 B CN115770734 B CN 115770734B CN 202211503143 A CN202211503143 A CN 202211503143A CN 115770734 B CN115770734 B CN 115770734B
- Authority
- CN
- China
- Prior art keywords
- fish body
- fish
- directional
- head
- conveying belt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 686
- 239000013505 freshwater Substances 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000005192 partition Methods 0.000 claims description 31
- 210000001015 abdomen Anatomy 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 23
- 229910000831 Steel Inorganic materials 0.000 claims description 18
- 239000010959 steel Substances 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000008093 supporting effect Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 15
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 229910001220 stainless steel Inorganic materials 0.000 description 3
- 239000010935 stainless steel Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009996 mechanical pre-treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Processing Of Meat And Fish (AREA)
Abstract
本发明公开了一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法,包括鱼体提升装置,由隔板输送带、第一毛刷辊组成;鱼体前输送装置,由第一水平输送带、鱼体下滑装置、第二毛刷辊组成;鱼体后输送装置,包括第二水平输送带、沿第二水平输送带的运输方向依次设置的机器视觉系统、鱼体头尾定向执行机构、鱼体腹背定向执行机构、鱼体翻转板;鱼体返回输送装置,由鱼体收集装置、鱼体输送机、转弯输送机组成;定向装置控制系统,由鱼体图像检测平台、鱼体定向执行机构控制器、定向排列输送装置控制电路组成。本发明有利于提高淡水鱼前处理加工的生产效率,用于解决现有手工对鱼体定向整理,劳动强度大,劳动成本高的问题。
Description
技术领域
本发明属于淡水鱼前处理加工的技术领域,更具体涉及一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法,可用于淡水鱼及部分海水鱼类进行机械化前处理加工时鱼体的头尾及腹背定向整理输送。
背景技术
中国是淡水鱼养殖生产大国,2019年全国淡水养殖总产量为3013.74万吨,其中淡水鱼养殖产量为2548.03万吨,占整个淡水养殖总产量的84.55%;淡水产品加工量为558.17万吨,占淡水养殖总产量的18.52%。鱼体定向是淡水鱼机械化、自动化前处理加工的重要步骤,通过定向使鱼体按照预想的头尾及腹背状态进行输送,便于后续加工装置进行自动加工。
传统的鱼体定向大多由人工完成,劳动强度大、生产效率低,在一定程度上制约了淡水鱼自动化加工业的发展。因此,设计研发鱼体的头尾及腹背定向装置不仅有利于提高淡水鱼前处理加工的生产效率,而且对于促进淡水鱼前处理加工的机械化、自动化具有重要意义。
发明内容
针对上述技术存在的缺陷,本发明所要解决的技术问题在于提供了一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法,有利于提高淡水鱼前处理加工的生产效率,用于解决现有手工对鱼体定向整理,劳动强度大,劳动成本高的问题。
为了实现上述的目的,本发明采用以下技术措施:
本发明的基于机器视觉的淡水鱼鱼体定向排列输送装置,包括:鱼体提升装置,由隔板输送带、固定在所述隔板输送带上方的第一毛刷辊组成;鱼体前输送装置,由第一水平输送带、位于所述第一水平输送带一端的鱼体下滑装置、位于所述第一水平输送带另一端的第二毛刷辊组成,鱼体经所述隔板输送带提升到达鱼体下滑装置,经鱼体下滑装置依次落在所述第一水平输送带上依次向前输送,在所述第二毛刷辊分拨的作用下,实现鱼体单条分离向前输送;鱼体后输送装置,包括第二水平输送带、沿所述第二水平输送带的运输方向依次设置的机器视觉系统、鱼体头尾定向执行机构、鱼体腹背定向执行机构、鱼体翻转板;所述鱼体头尾定向执行机构包括第一气缸、由所述第一气缸驱动沿与所述第二水平输送带的运输方向相垂直的方向往复移动的M型拨鱼部件,所述M型拨鱼部件用于将鱼头朝后背朝左或鱼头朝后背朝右的鱼体推离第二水平输送带;所述鱼体腹背定向执行机构包括相对设置的两个第二气缸、由所述第二气缸驱动沿与所述第二水平输送带的运输方向相垂直的方向往复移动的两个推鱼部件,各推鱼部件执行推鱼动作,将鱼体推向另一侧的推鱼部件,使鱼体的背部紧靠推鱼部件;紧靠推鱼部件向前输送的鱼体进入所述鱼体翻转板,鱼体的背部受到鱼体翻转板的支撑作用翻转,实现鱼体的背朝上、腹朝下定向输送;鱼体返回输送装置,安装于所述鱼体前输送装置和鱼体后输送装置的下方,由鱼体收集装置、鱼体输送机、转弯输送机组成;所述鱼体收集装置安装于鱼体输送机的起始端,所述鱼体输送机的末端和转弯输送机连接;所述转弯输送机的末端与鱼体提升装置对接;所述鱼体收集装置位于所述鱼体头尾定向执行机构的正下方,用于收集所述M型拨鱼部件推出的头尾朝向错误的鱼体;所述鱼体输送机和转弯输送机将鱼体收集装置收集的头尾朝向错误的鱼体输送回所述鱼体提升装置;定向装置控制系统,由鱼体图像检测平台、鱼体定向执行机构控制器、定向排列输送装置控制电路组成;所述鱼体图像检测平台包含工业计算机、显示器,所述工业计算机中安装有基于YOLOv5s模型的鱼体头尾及腹背识别程序。
可选的,所述鱼体翻转板包括两个对称设置且分别位于两个推鱼部件末端的呈长条状渐变结构的钢板,所述钢板靠近所述推鱼部件的长边和短边组成的平面与第二水平输送带平行,其另一个长边越远离所述推鱼部件越向上翻转,其另一个短边与所述第二水平输送带的平面垂直设置;所述钢板的长边长度为鱼体长度的1.2-1.5倍,其短边宽度为鱼体宽度的1.2-1.3倍。
可选的,所述鱼体提升装置的隔板输送带上隔板的高度和隔板之间的距离按照待定向鱼体的大小尺寸设置,所述第一毛刷辊的安装高度与所述隔板输送带上隔板的高度相同;所述第一毛刷辊的转动方向与所述隔板输送带的提升方向相反,其转速为隔板输送带提升速度的2.0-4.0倍。
优选的,所述鱼体下滑装置的一侧壁面为弧形作为下滑通道,所述鱼体下滑装置的长度为鱼体长度的1.6-3.2倍,其底部宽度为鱼体宽度的1.5-2.0倍,其底部沿鱼体输送方向设置方形通道,所述方形通道的高度为鱼体厚度的1.1-1.4倍;所述第二毛刷辊的安装高度为鱼体厚度的0.85-1.0倍;所述第二毛刷辊的转动方向与所述第一水平输送带的输送方向相反,其转速为第一水平输送带工作速度的1.5-3.5倍。
进一步的,所述鱼体头尾定向执行机构包括安装在所述第二水平输送带上方的导轨滑块,所述第一气缸通过L型气缸固定件与所述导轨滑块连接,所述M型拨鱼部件安装在所述导轨滑块的下端。
进一步的,所述机器视觉系统包括光源、工业相机,所述工业相机位于所述第二水平输送带的正上方;所述光源设置于工业相机的周围,亮度可以调节。
可选的,所述定向装置控制系统设置有人机交互界面,用于开启及关闭所述鱼体提升装置、鱼体前输送装置、鱼体后输送装置鱼体返回输送装置;所述工业计算机中的鱼体头尾及腹背识别程序设置鱼体的图像数据采集参数,对鱼体头尾及腹背进行识别,并将识别结果输出。
进一步的,所述第二水平输送带上除了鱼体头尾定向执行机构、鱼体腹背定向执行机构及鱼体翻转板部分外,所述第二水平输送带上沿其运输方向的两侧均安装有挡板,该挡板的高度为鱼体厚度的1.1-1.4倍;两侧挡板之间的间距为所述M型拨鱼部件总宽的一半。
本发明的基于机器视觉的淡水鱼鱼体定向排列输送装置的料仓内饵料量的定向方法是:
S1,操作员在定向装置控制系统的人机交互界面上设置各装置的工作速度,在鱼体头尾及腹背识别程序中设置鱼体的图像数据采集参数,之后启动淡水鱼鱼体定向排列输送装置;
S2,将需要定向处理的淡水鱼倒入鱼体提升装置,鱼体提升装置将鱼体提升,在第一毛刷辊的分拨及挤压作用下鱼体进入隔板输送带的隔板之间,且每个隔板之间只有一条淡水鱼;
S3,鱼体经隔板输送带提升到达鱼体下滑装置,经鱼体下滑装置依次落在鱼体前输送装置的第一水平输送带上依次向前输送,在第二毛刷辊分拨的作用下,实现鱼体单条分离向前输送;
S4,头尾定向排列输送的鱼体进入鱼体后输送装置,经过机器视觉系统时,工业相机获取鱼体的图像数据并转递给定向装置控制系统中的鱼体图像检测平台;鱼体图像检测平台基于YOLOv5s模型对鱼体的图像数据进行分析,识别鱼体的头尾朝向和腹背朝向,并将识别结果输出至鱼体定向执行机构控制器;待鱼体输送至鱼体头尾定向执行机构时,若鱼体的朝向检测结果为鱼头朝前背朝左或鱼头朝前背朝右,鱼体头尾定向执行机构不执行动作,鱼体继续向前输送;若鱼体的头尾朝向检测结果为鱼头朝后背朝左或鱼头朝后背朝右,鱼体定向执行机构控制器将控制鱼体头尾定向执行机构中的第一气缸伸出,带动M型拨鱼部件将鱼体通过第二水平输送带两侧的漏口推入鱼体收集装置;当鱼体的朝向检测结果再次为鱼头朝后背朝左或鱼头朝后背朝右时,鱼体定向执行机构控制器控制鱼体头尾定向执行机构中的第一气缸缩回带动M型拨鱼部件将鱼体通过第二水平输送带两侧的漏口推入鱼体收集装置,经鱼体返回输送装置输送至鱼体提升装置重新进行提升输送,实现鱼体的头尾方向调整;
S5,当鱼头朝前背朝左或鱼头朝前背朝右的鱼体输送至鱼体腹背定向执行机构时,若鱼体朝向识别结果为头朝前背朝左,鱼体定向执行机构控制器将控制鱼体腹背定向执行机构中的第二气缸工作,带动推鱼部件执行推鱼动作,将鱼体推到鱼体腹背定向执行机构左侧的推鱼部件,并使鱼体的背部紧靠左侧的推鱼部件向前输送;若鱼体腹背朝向的检测结果为鱼头朝前背朝右,鱼体定向执行机构控制器将控制鱼体腹背定向执行机构中的第二气缸工作,带动推鱼部件执行推鱼动作,将鱼体推到鱼体腹背定向执行机构右侧的推鱼部件,并使鱼体的背部紧靠右侧的推鱼部件向前输送;
S6,鱼体经过鱼体腹背定向执行机构后,执行相应动作,使得鱼体的背部紧靠另一侧的推鱼部件向前输送,经过鱼体翻转板时,鱼体在第二水平输送带的带动下向前移动,同时鱼体的背部受到鱼体翻转板的支撑作用翻转,实现鱼体的背朝上、腹朝下定向输送。
进一步的,所述步骤S4中的YOLOv5s模型的构建过程如下:首先建立淡水鱼的原始鱼体图像数据集,用矩形框对原始鱼体图像数据集中鱼体的鱼头和鱼背进行标注,分别建立鱼头朝前背朝左、鱼头朝前背朝右、鱼头朝后背朝左、鱼头朝后背朝右的标签类别,生成训练集文件;将训练集文件代入YOLOv5s模型中进行训练,定义并初始化学习率为0.01,采用SGD优化器,迭代次数为300,batch size设置为16,得到训练后的YOLOv5s模型。
由上,待定向的鱼体由鱼体提升装置提升至鱼体下滑装置进料口,鱼体经鱼体下滑装置滑落到鱼体前输送装置,经毛刷辊整理后依次排列向前输送进入鱼体后输送装置;鱼体经过鱼体后输送装置上安装的机器视觉系统时,由机器视觉系统采集鱼体的图像数据,并将鱼体图像数据转递至定向装置控制系统中的鱼体图像检测平台,鱼体图像检测平台对鱼体图像数据进行分析判定鱼体的头尾朝向和腹背朝向,并将判定结果输出至鱼体定向执行机构控制器;鱼体经过鱼体头尾定向执行机构时,鱼体定向执行机构控制器根据鱼体图像判定结果执行相应动作,头尾朝向正确的鱼体继续向前输送,头尾朝向错误的鱼体被推出至鱼体返回输送装置;头尾朝向正确的鱼体输送至鱼体腹背定向执行机构,鱼体定向执行机构控制器根据鱼体图像判定结果执行相应动作,将鱼体背部推向另一侧的鱼体腹背定向装置的推鱼部件,经由鱼体翻转板实现鱼体腹背定向排列输送;落在鱼体返回输送装置上的鱼体被输送回鱼体提升装置。该装置解决了淡水鱼前处理加工过程中鱼体的自动定向问题,有助于提高淡水鱼加工的生产效率及鱼体加工的机械化自动化。
本发明与现有技术相比,具有以下优点和有益效果:
本发明的基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法,通过设置鱼体提升装置的隔板输送带上隔板的高度和隔板之间的距离按照待定向鱼体的大小尺寸设置,毛刷辊的安装高度与隔板输送带上隔板的高度相同;毛刷辊的转动方向与隔板输送带的提升方向相反,转速为隔板输送带提升速度的2.0-4.0倍,使得鱼体输送装置输送带隔板上只能容纳一条鱼,能实现鱼体的初步排序提升,鱼体经鱼体下滑装置滑落到鱼体前输送装置,经毛刷辊整理后依次排列向前输送进入鱼体后输送装置,再通过鱼体后输送装置的视觉部分,配合上鱼体头尾定向执行机构和鱼体腹背定向执行机构以及鱼体翻转板的作用下,能实现鱼体的高速头尾定向和腹背定向,准确率高,加上定向装置控制系统的图像检测平台,能实时显示鱼体头尾朝向的识别情况和鱼体定向处理的数量,避免了人工进行定向,降低了人工劳动强度,提高了生产效率。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的基于机器视觉的淡水鱼鱼体定向排列输送装置的整体结构示意图;
图2为本发明的鱼体提升装置的结构示意图;
图3为本发明的鱼体前输送装置的结构示意图;
图4为本发明的鱼体后输送装置的结构示意图;
图5为本发明的定向装置控制系统的结构示意图
图6为本发明的头尾定向执行机构的结构示意图;
图7为本发明的鱼体翻转板的结构示意图。
图中标号说明:1-鱼体提升装置,1.1-隔板输送带,1.2-第一毛刷辊,2-鱼体前输送装置,2.1-鱼体下滑装置,2.2-第一水平输送带,2.3-第二毛刷辊,3-鱼体后输送装置,3.1-机器视觉系统,3.1.1-光源,3.1.2-工业相机,3.2-鱼体头尾定向执行机构,3.2.1-第一气缸,3.2.2-M型拨鱼部件,3.2.3-导轨滑块,3.2.4-L型气缸固定件,3.3-鱼体腹背定向执行机构,3.3.1-第二气缸,3.3.2-推鱼部件,3.4-鱼体翻转板,4-鱼体返回输送装置,4.1-鱼体收集装置,4.2-鱼体输送机,4.3-转弯输送机,5-定向装置控制系统,5.1-定向排列输送装置控制电路,5.2-工业计算机,5.3-显示器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
如图1至图7所示,本发明的基于机器视觉的淡水鱼鱼体定向排列输送装置包括鱼体提升装置1、鱼体前输送装置2、鱼体后输送装置3、鱼体返回输送装置4、定向装置控制系统5。
如图2所示,鱼体提升装置1由隔板输送带1.1、第一毛刷辊1.2组成,第一毛刷辊1.2固定在隔板输送带1.1的上方。鱼体提升装置1的隔板输送带1.1上隔板的高度和隔板之间的距离按照待定向鱼体的大小尺寸设置,第一毛刷辊1.2的安装高度与隔板输送带1.1上隔板的高度相同。第一毛刷辊1.2的转动方向与隔板输送带1.1的提升方向相反,转速为隔板输送带1.1提升速度的2.0-4.0倍。
参见图3,鱼体前输送装置2由鱼体下滑装置2.1、第一水平输送带2.2、第二毛刷辊2.3组成,鱼体下滑装置2.1由不锈钢板焊接而成,一侧壁面为弧形作为下滑通道;鱼体前输送装置2的一端安装鱼体下滑装置2.1,另一端安装第二毛刷辊2.3。鱼体下滑装置2.1的长度为鱼体长度的1.6-3.2倍,底部宽度为鱼体宽度的1.5-2.0倍,底部沿鱼体输送方向设置方形通道,方形通道的高度为鱼体厚度的1.1-1.4倍。第二毛刷辊2.3的安装高度为鱼体厚度的0.85-1.0倍,第二毛刷辊2.3的转动方向与第一水平输送带2.2的输送方向相反,其转速为第一水平输送带2.2工作速度的1.5-3.5倍。
参见图4,鱼体后输送装置3包括第二水平输送带、沿第二水平输送带的运输方向依次设置的机器视觉系统3.1、鱼体头尾定向执行机构3.2、鱼体腹背定向执行机构3.3、鱼体翻转板3.4,其中,机器视觉系统3.1包括光源3.1.1、工业相机3.1.2。鱼体头尾定向执行机构3.2包括第一气缸3.2.1、M型拨鱼部件3.2.2、导轨滑块3.2.3、L型气缸固定件3.2.4,导轨滑块3.2.3通过支架安装在第二水平输送带的上方,第一气缸3.2.1通过L型气缸固定件3.2.4与导轨滑块3.2.3连接,M型拨鱼部件3.2.2安装在导轨滑块3.2.3的下端,并由第一气缸3.2.1驱动沿与第二水平输送带的运输方向相垂直的方向往复移动。鱼体腹背定向执行机构3.3包括相对设置的两个第二气缸3.3.1、由第二气缸3.3.1驱动沿与第二水平输送带的运输方向相垂直的方向往复移动的两个推鱼部件3.3.2。
鱼体翻转板3.4包括两个对称设置且分别位于两个推鱼部件3.3.2末端的呈长条状渐变结构的钢板,钢板靠近推鱼部件3.3.2的长边和短边组成的平面与第二水平输送带平行,其另一个长边越远离推鱼部件3.3.2越向上翻转,其另一个短边与第二水平输送带的平面垂直设置,钢板的长边长度为鱼体长度的1.2-1.5倍,其短边宽度为鱼体宽度的1.2-1.3倍。该不锈钢钢板的靠近推鱼部件3.3.2的长边和短边为参考边,另一条长边和短边参照这两条边以一定的角度压制加工,最终成型得到的鱼体翻转板3.4的另一短边与参照的短边之间成垂直关系。
鱼体返回输送装置4由鱼体收集装置4.1、鱼体输送机4.2、转弯输送机4.3组成,鱼体收集装置4.1由不锈钢板焊接而成,安装于鱼体输送机4.2的起始端,鱼体输送机4.2的末端和转弯输送机4.3连接,转弯输送机4.3的末端与鱼体提升装置1对接。鱼体返回输送装置4安装于鱼体前输送装置2和鱼体后输送装置3的下方,鱼体收集装置4.1位于鱼体头尾定向执行机构3.2的正下方,用于收集M型拨鱼部件3.2.2推出的头尾朝向错误的鱼体。鱼体输送机4.2和转弯输送机4.3将鱼体收集装置4.1收集的头尾朝向错误的鱼体输送回鱼体提升装置1。
定向装置控制系统5由鱼体图像检测平台、鱼体定向执行机构控制器、定向排列输送装置控制电路5.1组成,鱼体图像检测平台包含工业计算机5.2、显示器5.3,工业计算机5.2中安装有基于YOLOv5s模型的鱼体头尾及腹背识别程序。定向装置控制系统5设置有人机交互界面,用于开启及关闭所述鱼体提升装置1、鱼体前输送装置2、鱼体后输送装置3、鱼体返回输送装置4。工业计算机5.2中的鱼体头尾及腹背识别程序可以设置鱼体的图像数据采集参数,对鱼体头尾及腹背进行识别,并将识别结果输出。
具体实施时,上述第二水平输送带除了鱼体头尾定向执行机构3.2、鱼体腹背定向执行机构3.3及鱼体翻转板3.4部分外,第二水平输送带上沿其运输方向的两侧均安装有挡板,挡板的高度为鱼体厚度的1.1-1.4倍;两侧挡板之间的间距为鱼体头尾定向执行机构3.2中M型拨鱼部件3.2.2总宽的一半。机器视觉系统3.1中的工业相机3.1.2位于鱼体后输送装置3的第二水平输送带的正上方,光源3.1.1设置于工业相机3.1.2的周围,亮度可以调节。M型拨鱼部件3.2.2在第一气缸3.2.1带动下伸缩移动,将头尾朝向错误的鱼体推入鱼体收集装置4.1。M型拨鱼部件3.2.2在不执行动作时,还可以起到通道和挡板的作用,防止鱼体在输送过程中卡在间隙中,同时M型拨鱼部件3.2.2可以充分利用气缸的作用,当鱼头朝后背朝左或鱼头朝后背朝右的鱼体通过时第一气缸3.2.1执行伸出动作带动M型拨鱼部件3.2.2将鱼体推到鱼体收集装置4.1,当通过的鱼体又是鱼头朝后背朝左或鱼头朝后背朝左时,第一气缸3.2.1执行缩回动作带动M型拨鱼部件3.2.2将鱼体推到鱼体收集装置4.1。这样也可以解决鱼头朝后背朝左鱼头朝后背朝右或连续通过的鱼体使得气缸反应不过来的问题。
鱼体腹背定向执行机构3.3成对安装在鱼体后输送装置3的靠近末端处两侧,当鱼体经过时,其中一个推鱼部件3.3.2执行推鱼动作,鱼体推向另一侧的推鱼部件3.3.2,使鱼体紧靠推鱼部件3.3.2向前输送,这样可以使得鱼体进入鱼体翻转板3.4时鱼体的背部相对于鱼体的腹背更靠近鱼体翻转板3.4的上侧,鱼体腹部则贴紧第二水平输送带向前输送。鱼体翻转板3.4成对安装在鱼体后输送装置3的末端、鱼体腹背定向执行机构3.3之后,而且紧靠鱼体腹背定向装置安装,这样可以使得紧靠推鱼部件3.3.2向前输送的鱼体很快就进入鱼体翻转板3.4,且整个鱼体表面都能很好的接触鱼体翻转板3.4,鱼体在输送带的带动下向前移动,同时鱼体的背部受到鱼体翻转板3.4的支撑作用翻转,实现鱼体的背朝上、腹朝下定向输送。
本发明的基于机器视觉的淡水鱼鱼体定向排列输送装置实现鱼体头尾及腹背的定向方法,包括以下步骤:
S1,操作员在定向装置控制系统5的人机交互界面上设置各装置的工作速度,在鱼体头尾及腹背识别程序中设置鱼体的图像数据采集参数,之后启动淡水鱼鱼体定向排列输送装置。
S2,将需要定向处理的淡水鱼倒入鱼体提升装置1,鱼体提升装置1将鱼体提升,在第一毛刷辊1.2分拨及挤压作用下鱼体进入隔板输送带1.1的隔板之间,且每个隔板之间只有一条淡水鱼。
S3,鱼体经隔板输送带1.1提升到达鱼体下滑装置2.1,经鱼体下滑装置2.1依次落在鱼体前输送装置2的第一水平输送带2.2上依次向前输送,在第二毛刷辊2.3分拨的作用下,实现鱼体单条分离向前输送。
S4,头尾定向排列输送的鱼体进入鱼体后输送装置3,经过机器视觉系统3.1时,工业相机3.1.2获取鱼体的图像数据并转递给定向装置控制系统5中的鱼体图像检测平台;鱼体图像检测平台基于YOLOv5s模型对鱼体的图像数据进行分析,识别鱼体的头尾朝向和腹背朝向,并将识别结果输出至鱼体定向执行机构控制器;待鱼体输送至鱼体头尾定向执行机构3.2时,若鱼体的朝向检测结果为鱼头朝前背朝左或鱼头朝前背朝右,鱼体头尾定向执行机构3.2不执行动作,鱼体继续向前输送;若鱼体的头尾朝向检测结果为鱼头朝后背朝左或鱼头朝后背朝右,鱼体定向执行机构控制器将控制鱼体头尾定向执行机构3.2中的第一气缸3.2.1伸出,带动M型拨鱼部件3.2.2将鱼体通过第二水平输送带两侧的漏口推入鱼体收集装置4.1;当鱼体的朝向检测结果再次为鱼头朝后背朝左或鱼头朝后背朝右时,鱼体定向执行机构控制器才会控制鱼体头尾定向执行机构3.2中的第一气缸3.2.1缩回带动M型拨鱼部件3.2.将鱼体通过第二水平输送带两侧的漏口推入鱼体收集装置4.1,经鱼体返回输送装置4输送至鱼体提升装置1重新进行提升输送,实现鱼体的头尾方向调整。YOLOv5s模型的构建过程如下:首先建立淡水鱼的原始鱼体图像数据集,用矩形框对原始鱼体图像数据集中鱼体的鱼头和鱼背进行标注,分别建立鱼头朝前背朝左、鱼头朝前背朝右、鱼头朝后背朝左、鱼头朝后背朝右的标签类别,生成训练集文件;将训练集文件代入YOLOv5s模型中进行训练,定义并初始化学习率为0.01,采用SGD优化器,迭代次数为300,batch size设置为16,得到训练后的YOLOv5s模型。
S5,当鱼头朝前背朝左或鱼头朝前背朝右的鱼体输送至鱼体腹背定向执行机构3.3时,若鱼体朝向识别结果为头朝前背朝左,鱼体定向执行机构控制器将控制鱼体腹背定向执行机构3.3中的第二气缸3.3.1工作,带动推鱼部件3.3.2执行推鱼动作,将鱼体推到鱼体腹背定向执行机构3.3左侧的推鱼部件3.3.2,并使鱼体的背部紧靠推鱼部件3.3.2向前输送;若鱼体腹背朝向的检测结果为鱼头朝前背朝右,鱼体定向执行机构控制器将控制鱼体腹背定向执行机构3.3中的第二气缸3.3.1工作,带动推鱼部件3.3.2执行推鱼动作,将鱼体推到鱼体腹背定向执行机构3.3右侧的推鱼部件3.3.2,并使鱼体的背部紧靠右侧的推鱼部件3.3.2向前输送。
S6,鱼体经过鱼体腹背定向执行机构3.3后,执行相应动作,使得鱼体的背部紧靠另一侧的推鱼部件3.3.2向前输送,经过鱼体翻转板3.4时,鱼体在第二水平输送带的带动下向前移动,同时鱼体的背部受到鱼体翻转板3.4的支撑作用翻转,实现鱼体的背朝上、腹朝下定向输送。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解得到的变换或者替换,都应该涵盖在本发明的包含范围之内。
Claims (7)
1.一种基于机器视觉的淡水鱼鱼体定向排列输送装置,其特征在于,包括:
鱼体提升装置(1),由隔板输送带(1.1)、固定在所述隔板输送带(1.1)上方的第一毛刷辊(1.2)组成;
鱼体前输送装置(2),由第一水平输送带(2.2)、位于所述第一水平输送带(2.2)一端的鱼体下滑装置(2.1)、位于所述第一水平输送带(2.2)另一端的第二毛刷辊(2.3)组成,鱼体经所述隔板输送带(1.1)提升到达鱼体下滑装置(2.1),经鱼体下滑装置(2.1)依次落在所述第一水平输送带(2.2)上依次向前输送,在所述第二毛刷辊(2.3)分拨的作用下,实现鱼体单条分离向前输送;
鱼体后输送装置(3),包括第二水平输送带、沿所述第二水平输送带的运输方向依次设置的机器视觉系统(3.1)、鱼体头尾定向执行机构(3.2)、鱼体腹背定向执行机构(3.3)、鱼体翻转板(3.4);所述鱼体头尾定向执行机构(3.2)包括第一气缸(3.2.1)、由所述第一气缸(3.2.1)驱动沿与所述第二水平输送带的运输方向相垂直的方向往复移动的M型拨鱼部件(3.2.2),所述M型拨鱼部件(3.2.2)用于将鱼头朝后背朝左或鱼头朝后背朝右的鱼体推离第二水平输送带;所述鱼体腹背定向执行机构(3.3)包括相对设置的两个第二气缸(3.3.1)、由所述第二气缸(3.3.1)驱动沿与所述第二水平输送带的运输方向相垂直的方向往复移动的两个推鱼部件(3.3.2),各推鱼部件(3.3.2)执行推鱼动作,将鱼体推向另一侧的推鱼部件(3.3.2),使鱼体的背部紧靠推鱼部件(3.3.2);紧靠推鱼部件(3.3.2)向前输送的鱼体进入所述鱼体翻转板(3.4),鱼体的背部受到鱼体翻转板(3.4)的支撑作用翻转,实现鱼体的背朝上、腹朝下定向输送;
鱼体返回输送装置(4),安装于所述鱼体前输送装置(2)和鱼体后输送装置(3)的下方,由鱼体收集装置(4.1)、鱼体输送机(4.2)、转弯输送机(4.3)组成;所述鱼体收集装置(4.1)安装于鱼体输送机(4.2)的起始端,所述鱼体输送机(4.2)的末端和转弯输送机(4.3)连接;所述转弯输送机(4.3)的末端与鱼体提升装置(1)对接;所述鱼体收集装置(4.1)位于所述鱼体头尾定向执行机构(3.2)的正下方,用于收集所述M型拨鱼部件(3.2.2)推出的头尾朝向错误的鱼体;所述鱼体输送机(4.2)和转弯输送机(4.3)将鱼体收集装置(4.1)收集的头尾朝向错误的鱼体输送回所述鱼体提升装置(1);
定向装置控制系统(5),由鱼体图像检测平台、鱼体定向执行机构控制器、定向排列输送装置控制电路(5.1)组成;所述鱼体图像检测平台包含工业计算机(5.2)、显示器(5.3),所述工业计算机(5.2)中安装有基于YOLOv5s模型的鱼体头尾及腹背识别程序;
所述鱼体翻转板(3.4)包括两个对称设置且分别位于两个推鱼部件(3.3.2)末端的呈长条状渐变结构的钢板,所述钢板靠近所述推鱼部件(3.3.2)的长边和短边组成的平面与第二水平输送带平行,其另一个长边越远离所述推鱼部件(3.3.2)越向上翻转,其另一个短边与所述第二水平输送带的平面垂直设置;
所述钢板的长边长度为鱼体长度的1.2-1.5倍,其短边宽度为鱼体宽度的1.2-1.3倍;
所述鱼体下滑装置(2.1)的一侧壁面为弧形作为下滑通道,所述鱼体下滑装置(2.1)的长度为鱼体长度的1.6-3.2倍,其底部宽度为鱼体宽度的1.5-2.0倍,其底部沿鱼体输送方向设置方形通道,所述方形通道的高度为鱼体厚度的1.1-1.4倍;所述第二毛刷辊(2.3)的安装高度为鱼体厚度的0.85-1.0倍;所述第二毛刷辊(2.3)的转动方向与所述第一水平输送带(2.2)的输送方向相反,其转速为第一水平输送带(2.2)工作速度的1.5-3.5倍;
所述鱼体头尾定向执行机构(3.2)包括安装在所述第二水平输送带上方的导轨滑块(3.2.3),所述第一气缸(3.2.1)通过L型气缸固定件(3.2.4)与所述导轨滑块(3.2.3)连接,所述M型拨鱼部件(3.2.2)安装在所述导轨滑块(3.2.3)的下端。
2.根据权利要求1所述的基于机器视觉的淡水鱼鱼体定向排列输送装置,其特征在于:所述鱼体提升装置(1)的隔板输送带(1.1)上隔板的高度和隔板之间的距离按照待定向鱼体的大小尺寸设置,所述第一毛刷辊(1.2)的安装高度与所述隔板输送带(1.1)上隔板的高度相同;所述第一毛刷辊(1.2)的转动方向与所述隔板输送带(1.1)的提升方向相反,其转速为隔板输送带(1.1)提升速度的2.0-4.0倍。
3.根据权利要求1所述的基于机器视觉的淡水鱼鱼体定向排列输送装置,其特征在于:所述机器视觉系统(3.1)包括光源(3.1.1)、工业相机(3.1.2),所述工业相机(3.1.2)位于所述第二水平输送带的正上方;所述光源(3.1.1)设置于工业相机(3.1.2)的周围,亮度可以调节。
4.根据权利要求1所述的基于机器视觉的淡水鱼鱼体定向排列输送装置,其特征在于:所述定向装置控制系统(5)设置有人机交互界面,用于开启及关闭所述鱼体提升装置(1)、鱼体前输送装置(2)、鱼体后输送装置(3)、鱼体返回输送装置(4);所述工业计算机(5.2)中的鱼体头尾及腹背识别程序设置鱼体的图像数据采集参数,对鱼体头尾及腹背进行识别,并将识别结果输出。
5.根据权利要求1所述的基于机器视觉的淡水鱼鱼体定向排列输送装置,其特征在于:所述第二水平输送带上除了鱼体头尾定向执行机构(3.2)、鱼体腹背定向执行机构(3.3)及鱼体翻转板(3.4)部分外,所述第二水平输送带上沿其运输方向的两侧均安装有挡板,该挡板的高度为鱼体厚度的1.1-1.4倍;两侧挡板之间的间距为所述M型拨鱼部件(3.2.2)总宽的一半。
6.一种如权利要求1至5任一项所述的基于机器视觉的淡水鱼鱼体定向排列输送装置实现鱼体头尾及腹背的定向方法,其特征在于,其步骤是:
S1,操作员在定向装置控制系统(5)的人机交互界面上设置各装置的工作速度,在鱼体头尾及腹背识别程序中设置鱼体的图像数据采集参数,之后启动淡水鱼鱼体定向排列输送装置;
S2,将需要定向处理的淡水鱼倒入鱼体提升装置(1),鱼体提升装置(1)将鱼体提升,在第一毛刷辊(1.2)的分拨及挤压作用下鱼体进入隔板输送带(1.1)的隔板之间,且每个隔板之间只有一条淡水鱼;
S3,鱼体经隔板输送带(1.1)提升到达鱼体下滑装置(2.1),经鱼体下滑装置(2.1)依次落在鱼体前输送装置(2)的第一水平输送带(2.2)上依次向前输送,在第二毛刷辊(2.3)分拨的作用下,实现鱼体单条分离向前输送;
S4,头尾定向排列输送的鱼体进入鱼体后输送装置(3),经过机器视觉系统(3.1)时,工业相机(3.1.2)获取鱼体的图像数据并转递给定向装置控制系统(5)中的鱼体图像检测平台;鱼体图像检测平台基于YOLOv5s模型对鱼体的图像数据进行分析,识别鱼体的头尾朝向和腹背朝向,并将识别结果输出至鱼体定向执行机构控制器;待鱼体输送至鱼体头尾定向执行机构(3.2)时,若鱼体的朝向检测结果为鱼头朝前背朝左或鱼头朝前背朝右,鱼体头尾定向执行机构(3.2)不执行动作,鱼体继续向前输送;若鱼体的头尾朝向检测结果为鱼头朝后背朝左或鱼头朝后背朝右,鱼体定向执行机构控制器将控制鱼体头尾定向执行机构(3.2)中的第一气缸(3.2.1)伸出,带动M型拨鱼部件(3.2.2)将鱼体通过第二水平输送带两侧的漏口推入鱼体收集装置(4.1);当鱼体的朝向检测结果再次为鱼头朝后背朝左或鱼头朝后背朝右时,鱼体定向执行机构控制器控制鱼体头尾定向执行机构(3.2)中的第一气缸(3.2.1)缩回带动M型拨鱼部件(3.2.2)将鱼体通过第二水平输送带两侧的漏口推入鱼体收集装置(4.1),经鱼体返回输送装置(4)输送至鱼体提升装置(1)重新进行提升输送,实现鱼体的头尾方向调整;
S5,当鱼头朝前背朝左或鱼头朝前背朝右的鱼体输送至鱼体腹背定向执行机构(3.3)时,若鱼体朝向识别结果为头朝前背朝左,鱼体定向执行机构控制器将控制鱼体腹背定向执行机构(3.3)中的第二气缸(3.3.1)工作,带动推鱼部件(3.3.2)执行推鱼动作,将鱼体推到鱼体腹背定向执行机构(3.3)左侧的推鱼部件(3.3.2),并使鱼体的背部紧靠左侧的推鱼部件(3.3.2)向前输送;若鱼体腹背朝向的检测结果为鱼头朝前背朝右,鱼体定向执行机构控制器将控制鱼体腹背定向执行机构(3.3)中的第二气缸(3.3.1)工作,带动推鱼部件(3.3.2)执行推鱼动作,将鱼体推到鱼体腹背定向执行机构(3.3)右侧的推鱼部件(3.3.2),并使鱼体的背部紧靠右侧的推鱼部件(3.3.2)向前输送;
S6,鱼体经过鱼体腹背定向执行机构(3.3)后,执行相应动作,使得鱼体的背部紧靠另一侧的推鱼部件(3.3.2)向前输送,经过鱼体翻转板(3.4)时,鱼体在第二水平输送带的带动下向前移动,同时鱼体的背部受到鱼体翻转板(3.4)的支撑作用翻转,实现鱼体的背朝上、腹朝下定向输送。
7.根据权利要求6所述的实现鱼体头尾及腹背的定向方法,其特征在于:所述步骤S4中的YOLOv5s模型的构建过程如下:首先建立淡水鱼的原始鱼体图像数据集,用矩形框对原始鱼体图像数据集中鱼体的鱼头和鱼背进行标注,分别建立鱼头朝前背朝左、鱼头朝前背朝右、鱼头朝后背朝左、鱼头朝后背朝右的标签类别,生成训练集文件;将训练集文件代入YOLOv5s模型中进行训练,定义并初始化学习率为0.01,采用SGD优化器,迭代次数为300,batch size 设置为16,得到训练后的YOLOv5s模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211503143.5A CN115770734B (zh) | 2022-11-28 | 2022-11-28 | 一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211503143.5A CN115770734B (zh) | 2022-11-28 | 2022-11-28 | 一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115770734A CN115770734A (zh) | 2023-03-10 |
CN115770734B true CN115770734B (zh) | 2024-04-05 |
Family
ID=85390422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211503143.5A Active CN115770734B (zh) | 2022-11-28 | 2022-11-28 | 一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115770734B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117617298A (zh) * | 2024-01-05 | 2024-03-01 | 广东若铂智能机器人有限公司 | 一种基于驱控系统的快速活鱼理料设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1505073A (en) * | 1975-06-10 | 1978-03-22 | Mini Agriculture & Fisheries | Fish handling machinery |
CN104624515A (zh) * | 2013-11-08 | 2015-05-20 | 华中农业大学 | 一种基于机器视觉的淡水鱼品种在线分类系统 |
CN110477083A (zh) * | 2019-08-28 | 2019-11-22 | 华中农业大学 | 鱼体腹背定向输送装置 |
CN111184056A (zh) * | 2020-01-20 | 2020-05-22 | 武汉轻工大学 | 一种鱼类头尾与腹背定向输送装置 |
CN111493125A (zh) * | 2019-11-14 | 2020-08-07 | 天津农学院 | 鱼体头尾分类序列上料系统 |
CN111631251A (zh) * | 2020-06-01 | 2020-09-08 | 浙江大学 | 一种鱼单条化并头尾腹背定向的装置与方法 |
CN112374101A (zh) * | 2020-11-23 | 2021-02-19 | 湖北省农业科学院农产品加工与核农技术研究所 | 一种输送中鱼体姿态调整装置及方法 |
TW202120201A (zh) * | 2019-11-22 | 2021-06-01 | 國立成功大學 | 自動化整理魚體裝置 |
CN214903491U (zh) * | 2021-06-08 | 2021-11-30 | 广东省现代农业装备研究所 | 鱼类腹背自动定向装置 |
-
2022
- 2022-11-28 CN CN202211503143.5A patent/CN115770734B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1505073A (en) * | 1975-06-10 | 1978-03-22 | Mini Agriculture & Fisheries | Fish handling machinery |
CN104624515A (zh) * | 2013-11-08 | 2015-05-20 | 华中农业大学 | 一种基于机器视觉的淡水鱼品种在线分类系统 |
CN110477083A (zh) * | 2019-08-28 | 2019-11-22 | 华中农业大学 | 鱼体腹背定向输送装置 |
CN111493125A (zh) * | 2019-11-14 | 2020-08-07 | 天津农学院 | 鱼体头尾分类序列上料系统 |
TW202120201A (zh) * | 2019-11-22 | 2021-06-01 | 國立成功大學 | 自動化整理魚體裝置 |
CN111184056A (zh) * | 2020-01-20 | 2020-05-22 | 武汉轻工大学 | 一种鱼类头尾与腹背定向输送装置 |
CN111631251A (zh) * | 2020-06-01 | 2020-09-08 | 浙江大学 | 一种鱼单条化并头尾腹背定向的装置与方法 |
CN112374101A (zh) * | 2020-11-23 | 2021-02-19 | 湖北省农业科学院农产品加工与核农技术研究所 | 一种输送中鱼体姿态调整装置及方法 |
CN214903491U (zh) * | 2021-06-08 | 2021-11-30 | 广东省现代农业装备研究所 | 鱼类腹背自动定向装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115770734A (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115770734B (zh) | 一种基于机器视觉的淡水鱼鱼体定向排列输送装置及其定向方法 | |
CN109365318B (zh) | 一种多机器人协作分拣方法及系统 | |
CN203417858U (zh) | 一种轴承套圈的自动检测机构 | |
CN102217559B (zh) | 孵化蛋品质在线自动检测分选设备及其方法 | |
CN111631251B (zh) | 一种鱼单条化并头尾腹背定向的装置与方法 | |
CN107185858B (zh) | 一种果品检测分级系统和方法 | |
KR101278630B1 (ko) | 어류의 형태학적 영상처리를 통한 백신 자동 접종방법 | |
CN202133655U (zh) | 一种孵化蛋品质在线自动检测分选设备 | |
CN115318671A (zh) | 基于多工位视觉检测的缺陷手套识别及剔除系统 | |
CN114713522A (zh) | 一种冲压件检测系统 | |
CN207593994U (zh) | 一种全自动扫描优化锯切分类设备 | |
CN204842266U (zh) | 一种ccd字符检测机 | |
CN114950969A (zh) | 一种三七主根与茎基的实时视觉识别分拣系统及方法 | |
CN114600939A (zh) | 一种对虾姿态触感识别的智能喂入装置 | |
CN204686029U (zh) | 一种数控机床用工业机器人自动上下料生产线 | |
CN104720200A (zh) | 一种用于全自动化制鞋生产线的鞋楦输送单元 | |
CN208288466U (zh) | 轴承套圈小箱化检测系统 | |
CN209788341U (zh) | 淡水鱼自动去头去内脏装置 | |
CN1413458A (zh) | 雏鸡性别自动化鉴别方法和系统 | |
CN207057048U (zh) | 一种板栗分选装置 | |
CN219025055U (zh) | 一种多品种海鱼分拣装置 | |
CN108391713A (zh) | 一种集鱼头切割、剖分和清洗于一体的鱼头加工设备 | |
CN2579170Y (zh) | 雏鸡性别自动化鉴别装置 | |
CN204989933U (zh) | 自动装管装置 | |
CN112007874A (zh) | 一种大小鼠性别识别与分拣系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |