CN117475292B - 一种种蛋自动识别系统及方法 - Google Patents

一种种蛋自动识别系统及方法 Download PDF

Info

Publication number
CN117475292B
CN117475292B CN202311823552.8A CN202311823552A CN117475292B CN 117475292 B CN117475292 B CN 117475292B CN 202311823552 A CN202311823552 A CN 202311823552A CN 117475292 B CN117475292 B CN 117475292B
Authority
CN
China
Prior art keywords
egg
screening
hatching
representing
eggs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311823552.8A
Other languages
English (en)
Other versions
CN117475292A (zh
Inventor
孙清辉
程国伟
段赞杨
宁洪伟
王集中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Jiuxing Agriculture And Animal Husbandry Development Co ltd
Original Assignee
Hebei Jiuxing Agriculture And Animal Husbandry Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Jiuxing Agriculture And Animal Husbandry Development Co ltd filed Critical Hebei Jiuxing Agriculture And Animal Husbandry Development Co ltd
Priority to CN202311823552.8A priority Critical patent/CN117475292B/zh
Publication of CN117475292A publication Critical patent/CN117475292A/zh
Application granted granted Critical
Publication of CN117475292B publication Critical patent/CN117475292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Abstract

本发明提供了一种种蛋自动识别系统及方法,属于种蛋分析机器视觉技术领域,其系统包括:异常排除模块:将种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;种蛋图像采集模块:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;信息分离模块:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;种蛋分析模块:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离。保证了分析的准确度,提高种蛋的品质控制的准确性和效率。

Description

一种种蛋自动识别系统及方法
技术领域
本发明涉及机器视觉技术领域,特别涉及一种种蛋自动识别系统及方法。
背景技术
目前,种蛋自动识别系统已经在农业领域得到广泛应用,种蛋自动识别系统通常包括图像采集装置、传感器、控制系统和分类设备等硬件设备。这些设备结合使用,可以对鸡蛋的外观特征进行检测和分析。但是,通常只通过光照对照种蛋内部阴影对种蛋内部的发育情况进行判断,会使得种蛋的测量结果不精准,判断出现一定的误差,导致最后分类的种蛋正确率较低,种蛋的品质控制的准确性和效率低下。
因此,本发明提出了一种种蛋自动识别系统及方法。
发明内容
本发明提供一种种蛋自动识别系统及方法,用以通过分析蛋壳和蛋内图像,和分类设备完成种蛋的自动筛选,减少了系统分析误差,保证了系统分析的准确度,提高了种蛋的品质控制的准确性和效率。
本发明提供一种种蛋自动识别系统,包括:
异常排除模块:将所有种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;
种蛋图像采集模块:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;
信息分离模块:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;
种蛋分析模块:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离;
其中,所述异常排除模块包括:
基础信息获取单元:将光线测量设备,来获取待筛选种蛋的基础状态信息,其中,所述基础状态信息包括:种蛋蛋壳上不同位置点的像素数据;
异常状态筛选单元:利用异常种蛋分析模型对种蛋的基础状态信息进行分析,确定所述种蛋的色调存在向量、特征彩色向量以及恰好不满足异常状态的最低标准色调并进行比较,筛选排除存在异常状态的种蛋。
在一种可能实现的方式中,所述异常状态筛选单元,包括:
直方图获取块:基于所述种蛋蛋壳的像素数据构建得到色彩图像,并对所述色彩图像进行彩色分离,获取得到n维色彩直方图,用于表示所述种蛋的色调分布情况,其中,所述种蛋的色彩直方图用色彩向量集合表示:,其中,/>表示所述种蛋基于第n个颜色区间的色调存在向量;/>表示所述种蛋基于第1个颜色区间的色调存在向量;表示所述种蛋基于第2个颜色区间的色调存在向量;
向量获取块:基于色调存在向量获取每个颜色区间的平均色调,同时,获取根据每个颜色区间所对应色调存在向量中的元素总个数,确定所述种蛋中每个颜色区间的平均出现次数,并获取到所述种蛋的特征色彩向量集合:/>,其中,/>表示所述种蛋基于第n个颜色区间的特征色彩向量;/>表示所述种蛋基于第1个颜色区间的特征色彩向量;/>表示所述种蛋基于第2个颜色区间的特征色彩向量;
比较块:将所述种蛋的每个颜色区间的色调存在向量、特征彩色向量以及恰好不满足异常状态的最低标准色调进行比较,确定所述种蛋的差异度;
其中,表示差异度;/>表示第n个颜色区间下存在的实际出现总个数;/>表示平均出现次数;/>表示第i个颜色区间中第j1个元素的色调;/>表示调节函数;/>表示恰好不满足异常状态的最低标准色调;/>表示第i个颜色区间的色调范围;/>表示预设常数;/>表示正无穷;
筛选块:若所述差异度大于预设度,则判定所述种蛋存在异常,需要筛选掉;
否则,将所述种蛋视为第一筛选种蛋。
在一种可能实现的方式中,所述种蛋图像采集模块,包括:
第一采集单元:控制所述图像数据采集装置中的预设光强多次照射种蛋,得到蛋内图像;
第二采集单元:控制所述图像数据采集装置中拍摄单元多次拍摄种蛋,得到蛋壳图像,其中,所述蛋壳图像与蛋壳尺寸相关。
在一种可能实现的方式中,所述信息分离模块,包括:
图像预处理单元:对所述第一筛选种蛋的蛋壳图像以及蛋内图像进行灰度处理,并分别构建蛋壳灰度图像以及蛋内灰度图像中每个像素点基于水平方向的像素值矩阵以及基于垂直方向的像素值矩阵/>,并得到第一筛选种蛋的蛋壳边缘点组和蛋内边缘点组。
在一种可能实现的方式中,所述信息分离模块,还包括:
内外拼接单元:将第一筛选种蛋的蛋壳边缘点组和蛋内边缘点组进行边缘组合,获得第一筛选种蛋的二值图像;
放置单元:将所述第一筛选种蛋的二值图像放置于比例网格中,得到所述第一筛选种蛋的蛋壳轮廓和蛋内轮廓的具体参数,其中,蛋壳轮廓的具体参数为蛋壳信息,蛋内轮廓的具体参数为蛋内信息。
在一种可能实现的方式中,所述种蛋分析模块,包括:
指数计算单元:计算所述第一筛选种蛋的蛋形指数s:
其中,表示第一筛选种蛋的蛋壳纵向长度,r表示第一筛选种蛋的蛋壳横向最大长度;
锐端尖度计算单元:计算第一筛选种蛋的锐端尖度G:
其中,表示第一筛选种蛋的蛋内轮廓纵向长度,/>表示第一筛选种蛋的蛋壳轮廓纵向长度;/>表示第一筛选种蛋的蛋壳轮廓的最大截面积,/>表示第一筛选种蛋的蛋内轮廓的最大截面积;
种蛋圆度计算单元:计算所述第一筛选种蛋的圆度
其中,为常数;
种蛋单元密度计算单元:计算所述第一筛选种蛋的单元密度C:
其中,r表示第一筛选种蛋的蛋壳横向最大长度;表示第一筛选种蛋的蛋壳轮廓纵向长度,m表示第一筛选种蛋的总质量;
种蛋率计算单元:计算第一筛选种蛋的初始率
其中,表示第一筛选种蛋的蛋形权重占比,/>表示第一筛选种蛋的锐端尖度权重占比,/>表示第一筛选种蛋的圆度权重占比,/>表示第一筛选种蛋的单元密度权重占比;
误差调节单元:对所述初始率进行误差调节得到种蛋率,作为判断第一筛选种蛋是否合格的标准。
在一种可能实现的方式中,所述误差调节单元,包括:
特征系数确定块:将所述第一筛选种蛋的蛋形指数s、锐端尖度G、圆度以及单元密度C输入到特征分析模型中,获取得到第一筛选种蛋的特征系数/>
比较系数确定块:分别获取蛋形指数s与标准指数范围的第一比较系数、锐端尖度G与预设尖度范围的第二比较系数、圆度与预设圆范围的第三比较系数以及单元密度C与预设密度范围的第四比较系数;
误差计算块:计算所述第一筛选种蛋的模糊误差:
其中,表示第i个比较系数的标准化因子;/>表示第i个比较系数;表示所有/>中的最大值;/>表示基于所有/>的标准差;e1表示模糊误差;/>表示对第i个比较系数的标准化因子/>和第i个比较系数/>的乘积进行指数运算;
率调节块:根据所述模糊误差且结合初始率,计算得到所述第一筛选种蛋的种蛋率:
其中,P为种蛋率。
在一种可能实现的方式中,所述种蛋分析模块,还包括:
种蛋率判断单元:若,则判断第一筛选种蛋符合种蛋标准,否则不符合种蛋标准,其中,/>为预设率;
控制单元:根据种蛋率判断单元的结果,向分离控制装置发出判定指令:若第一筛选种蛋判定结果为不符合种蛋标准,控制分离装置的舱门打开,将不合格种蛋分离出去;
否则,控制分离装置将合格种蛋传输到履带并基于履带运输到指定位置。
本发明提供一种种蛋自动识别方法,包括:
步骤1:将所有种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;
步骤2:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;
步骤3:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;
步骤4:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离。
与现有技术相比,本申请的有益效果如下:
通过一系列模块的协同工作,对种蛋进行筛选、图像采集、信息分离和分析,从而实现合格种蛋和不合格种蛋的分离。提高了种蛋的测量结果,对种蛋的分类正确率有了一定的提高。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种种蛋自动识别系统的结构图;
图2为本发明实施例中一种种蛋自动识别方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明实施例提供一种种蛋自动识别系统,如图1所示,包括:
异常排除模块:将所有种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;
种蛋图像采集模块:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;
信息分离模块:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;
种蛋分析模块:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离;
其中,所述异常排除模块,包括:
基础信息获取单元:将光线测量设备,来获取待筛选种蛋的基础状态信息,其中,所述基础状态信息包括:种蛋蛋壳上不同位置点的像素数据;
异常状态筛选单元:利用异常种蛋分析模型对种蛋的基础状态信息进行分析,确定所述种蛋的色调存在向量、特征彩色向量以及恰好不满足异常状态的最低标准色调并进行比较,筛选排除存在异常状态的种蛋。
该实施例中,种蛋是用于孵化新一代家禽的蛋,经过特殊选育和处理,具有更高的受精率和孵化成功率。
该实施例中,粗筛选是种蛋识别系统中的一项初步筛选步骤。在粗筛选过程中,根据种蛋的基础状态信息对所有种蛋进行图像分析,筛选出可能存在异常状态的种蛋,以获取第一筛选种蛋。
该实施例中,异常状态指种蛋在基础状态信息方面出现的不正常或异常情况。包括:壳体破裂、蛋壳异物、异常色泽。
该实施例中,第一筛选种蛋是通过粗筛选过程后得到的,判定为基础状态正常的种蛋。
该实施例中,种蛋图像数据采集装置是一种专门设计用于获取种蛋蛋壳图像和蛋内图像的设备。由一组光学摄像头、照明系统和图像处理软件组成。
该实施例中,蛋壳图像是指种蛋蛋壳的图像,记录了种蛋外观的特征和细节。对蛋壳图像进行预处理和分析可以获得有关蛋壳的信息,例如形状、颜色、纹理等。
该实施例中,蛋内图像是指种蛋内部的图像,记录了种蛋内的特征和结构。对蛋内图像进行预处理和分析可以获得有关蛋内的信息,例如蛋黄和蛋白的分布等。
该实施例中,预处理是将提取到的蛋壳图像和蛋内图像进行有用的信息的抽取,并减少噪声与不必要的细节。
该实施例中,蛋壳信息是指从蛋壳图像中通过预处理提取的有关蛋壳特征的信息。
该实施例中,蛋内信息是指从蛋内图像中通过预处理提取的有关蛋内特征的信息。
该实施例中,合格种蛋是将每个第一筛选种蛋的蛋壳信息和蛋内信息进行综合评估和判定,确定是否为合格种蛋。
该实施例中,分离设备是用于将合格种蛋和不合格种蛋进行分离的机械装置。
该实施例中,光线测量设备是一种用于测量光的强度、颜色、方向等参数的传感器。
该实施例中,基础状态信息是指种蛋在待筛选之前的基本状态信息,作为进行筛选和分析的参考依据,主要包括种蛋蛋壳上不同位置点的像素数据。
该实施例中,异常种蛋分析模型是一个根据种蛋的基础状态信息进行分析和异常检测。
上述技术方案的工作原理及有益效果是:通过一系列模块的协同工作,对种蛋进行筛选、图像采集、信息分离和分析,从而实现合格种蛋和不合格种蛋的分离。提高了种蛋的测量结果,对种蛋的分类正确率有了一定的提高,结合了光线测量设备和异常种蛋分析模型,实现了对种蛋基础状态信息的快速获取和异常筛选,提高了种蛋判断正确的概率,对测量结果也有了正确的数据参考结果。
实施例2:
在上述实施例1的基础上,所述异常状态筛选单元,包括:
直方图获取块:基于所述种蛋蛋壳的像素数据构建得到色彩图像,并对所述色彩图像进行彩色分离,获取得到n维色彩直方图,用于表示所述种蛋的色调分布情况,其中,所述种蛋的色彩直方图用色彩向量集合表示:,其中,/>表示所述种蛋基于第n个颜色区间的色调存在向量;/>表示所述种蛋基于第1个颜色区间的色调存在向量;表示所述种蛋基于第2个颜色区间的色调存在向量;
向量获取块:基于色调存在向量获取每个颜色区间的平均色调,同时,获取根据每个颜色区间所对应色调存在向量中的元素总个数,确定所述种蛋中每个颜色区间的平均出现次数,并获取到所述种蛋的特征色彩向量集合:/>,其中,/>表示所述种蛋基于第n个颜色区间的特征色彩向量;/>表示所述种蛋基于第1个颜色区间的特征色彩向量;/>表示所述种蛋基于第2个颜色区间的特征色彩向量;
比较块:将所述种蛋的每个颜色区间的色调存在向量、特征彩色向量以及恰好不满足异常状态的最低标准色调进行比较,确定所述种蛋的差异度;
其中,表示差异度;/>表示第n个颜色区间下存在的实际出现总个数;/>表示平均出现次数;/>表示第i个颜色区间中第j1个元素的色调;/>表示调节函数;/>表示恰好不满足异常状态的最低标准色调;/>表示第i个颜色区间的色调范围;/>表示预设常数;/>表示正无穷;
筛选块:若所述差异度大于预设度,则判定所述种蛋存在异常,需要筛选掉;
否则,将所述种蛋视为第一筛选种蛋。
该实施例中,像素数据是指数字化的图像数据,用于表示图像中每个像素的颜色。
该实施例中,色彩图像是基于种蛋蛋壳的像素数据构成的图像,其中每个像素代表图像中的一个点,通过颜色来表示该点的特征。
该实施例中,彩色分离是将彩色图像分解为多个颜色通道的过程。
该实施例中,色彩直方图是对蛋壳图像中各个颜色区间的像素数量进行统计的表示方式。
该实施例中,色调分布情况是指种蛋蛋壳在不同颜色区间上的色调存在程度。通过构建得到的n维色彩直方图,描述种蛋蛋壳在各个颜色区间上的色调分布情况。
该实施例中,色彩向量集合是指由多个色调存在向量组成的集合,用于表示种蛋在不同颜色区间上的色调分布情况。每个色调存在向量对应一个颜色区间,表示种蛋基于该颜色区间的色调存在程度。
该实施例中,色调存在向量是指在色彩直方图中表示种蛋基于某个颜色区间的色调存在程度的向量。每个颜色区间对应一个色调存在向量,描述种蛋在该颜色区间上的色调分布情况。
该实施例中,平均色调是指在某个颜色区间中,种蛋出现的所有色调的平均值。表示所述颜色区间内种蛋的整体色调。
该实施例中,颜色区间是指将蛋壳的色彩空间划分为若干个离散的区间或分段,每个区间代表一定范围内的颜色。
该实施例中,特征色彩向量是基于每个颜色区间的平均色调和平均出现次数,用于表示种蛋的色调分布情况。每个特征色彩向量对应一个颜色区间,表示种蛋基于该颜色区间的特征色调存在程度。
该实施例中,调节函数是用来调整差异度的一种函数形式,通过对色调存在向量和特征彩色向量进行比较,确定种蛋的差异度。
该实施例中,最低标准色调是指恰好不满足异常状态的一个预设的最低阈值色调。
该实施例中,差异度表示不同颜色区间之间特征色彩向量的差异程度,就是各个颜色区间下种蛋的特征色调分布情况的差异。
该实施例中,色调范围是每个颜色区间所包含的色调的取值范围。
该实施例中,预设度是在筛选过程中设定的一个差异度阈值,判断当前种蛋是否存在异常。
上述技术方案的工作原理及有益效果是:是通过基于色彩直方图的分析方法,从种蛋的色调分布角度对其进行筛选。通过计算差异度,并与预设度进行比较,可以快速而准确地判断种蛋是否存在异常,提高了种蛋的测量结果的精准度,为之后的种蛋详细判断做了一定的基础。
实施例3:
在上述实施例1的基础上,所述种蛋图像采集模块,包括:
第一采集单元:控制所述图像数据采集装置中的预设光强多次照射种蛋,得到蛋内图像;
第二采集单元:控制所述图像数据采集装置中拍摄单元多次拍摄种蛋,得到蛋壳图像,其中,所述蛋壳图像与蛋壳尺寸相关。
该实施例中,预设光强是指在图像数据采集装置中事先设置的、用于照射种蛋的光的强度水平。
该实施例中,拍摄单元是指图像数据采集装置中的一个组成部分,用于拍摄种蛋图像。用于多次拍摄种蛋,以获取与蛋壳尺寸相关的蛋壳图像。
上述技术方案的工作原理及有益效果是:结合第一采集单元和第二采集单元,能够获取种蛋的蛋内图像和蛋壳图像,从而提高种蛋的评估准确性。
实施例4:
在上述实施例1的基础上,所述信息分离模块,包括:
图像预处理单元:对所述第一筛选种蛋的蛋壳图像以及蛋内图像进行灰度处理,并分别构建蛋壳灰度图像以及蛋内灰度图像中每个像素点基于水平方向的像素值矩阵以及基于垂直方向的像素值矩阵/>,并得到第一筛选种蛋的蛋壳边缘点组和蛋内边缘点组。
该实施例中,灰度处理是将彩色蛋壳蛋内图像转换为表示亮度的单一像素构成图像的处理方法。
该实施例中,灰度图像是将蛋壳蛋内图像经过灰度处理后的处理图像。
该实施例中,像素值矩阵是对蛋壳灰度图像以及蛋内灰度图像进行处理,分别构建了基于水平方向和垂直方向的表示一个像素点周围分布情况的矩阵。例如:设当前灰度图像中的像素点有m个,任取其中一枚像素点,则所述像素点的灰度为,则所述像素点的水平方向的像素值矩阵为/>,垂直方向的像素值矩阵为/>;具体为:
其中,表示水平方向上所述像素点的左上方点在/>方向上对应的灰度值;/>表示水平方向上所述像素点的正上方点在/>方向上对应的灰度值;/>表示水平方向上所述像素点的右上方点在/>方向上对应的灰度值;/>表示水平方向上所述像素点的正左方点在/>方向上对应的灰度值;/>表示水平方向上所述像素点的正右方点在/>方向上对应的灰度值;/>表示水平方向上所述像素点的左下方点在/>方向上对应的灰度值;表示水平方向上所述像素点的正下方点在/>方向上对应的灰度值;/>表示水平方向上所述像素点的右下方点在/>方向上对应的灰度值;
表示垂直方向上所述像素点的左上方点在90/>方向上对应的灰度值;/>表示垂直方向上所述像素点的正上方点在90/>方向上对应的灰度值;/>表示垂直方向上所述像素点的右上方点在90/>方向上对应的灰度值;/>表示垂直方向上所述像素点的正左方点在90/>方向上对应的灰度值;/>表示垂直方向上所述像素点的正右方点在90/>方向上对应的灰度值;/>表示垂直方向上所述像素点的左下方点在90/>方向上对应的灰度值;表示垂直方向上所述像素点的正下方点在90/>方向上对应的灰度值;/>表示垂直方向上所述像素点的右下方点在90/>方向上对应的灰度值;
该实施例中,边缘点组是指在图像处理中,通过边缘检测算法找到的图像边缘上的像素点的集合。
上述技术方案的工作原理及有益效果是:通过提取到蛋壳和蛋内的边缘信息,并以边缘点组的形式进行表示。这些边缘点揭示了蛋壳和蛋内的轮廓、形状和尺寸这些特征,有助于后续的特征提取,提高种蛋的品质控制的准确性和效率。
实施例5:
在上述实施例4的基础上,所述信息分离模块,还包括:
内外拼接单元:将第一筛选种蛋的蛋壳边缘点组和蛋内边缘点组进行边缘组合,获得第一筛选种蛋的二值图像;
放置单元:将所述第一筛选种蛋的二值图像放置于比例网格中,得到所述第一筛选种蛋的蛋壳轮廓和蛋内轮廓的具体参数,其中,蛋壳轮廓的具体参数为蛋壳信息,蛋内轮廓的具体参数为蛋内信息。
该实施例中,边缘组合是指将蛋壳边缘点组和蛋内边缘点组进行合并或连接,形成一个完整的边缘轮廓图像。
该实施例中,二值图像是一种只包含两种像素值的图像。
该实施例中,比例网格是一种将图像划分为等大小的网格单元的方式,每个单元内包含了图像中对应区域的信息。
该实施例中,具体参数是对蛋壳和蛋内轮廓进行数值化描述的参数,表示其形状、大小、曲率等特征。
上述技术方案的工作原理及有益效果是:通过内外拼接和放置单元的组合,结合比例网格的应用,获取第一筛选种蛋的蛋壳轮廓和蛋内轮廓的具体参数,提高种蛋的品质控制的准确性和效率。
实施例6:
在上述实施例1的基础上,所述种蛋分析模块,包括:
指数计算单元:计算所述第一筛选种蛋的蛋形指数s:
其中,表示第一筛选种蛋的蛋壳纵向长度,r表示第一筛选种蛋的蛋壳横向最大长度;
锐端尖度计算单元:计算第一筛选种蛋的锐端尖度G:
其中,表示第一筛选种蛋的蛋内轮廓纵向长度,/>表示第一筛选种蛋的蛋壳轮廓纵向长度;/>表示第一筛选种蛋的蛋壳轮廓的最大截面积,/>表示第一筛选种蛋的蛋内轮廓的最大截面积;
种蛋圆度计算单元:计算所述第一筛选种蛋的圆度
其中,为常数;
种蛋单元密度计算单元:计算所述第一筛选种蛋的单元密度C:
其中,r表示第一筛选种蛋的蛋壳横向最大长度;表示第一筛选种蛋的蛋壳轮廓纵向长度,m表示第一筛选种蛋的总质量;
种蛋率计算单元:计算第一筛选种蛋的初始率
其中,表示第一筛选种蛋的蛋形权重占比,/>表示第一筛选种蛋的锐端尖度权重占比,/>表示第一筛选种蛋的圆度权重占比,/>表示第一筛选种蛋的单元密度权重占比;
误差调节单元:对所述初始率进行误差调节得到种蛋率,作为判断第一筛选种蛋是否合格的标准。
该实施例中,蛋形指数是用来计算第一筛选种蛋的蛋壳形状的指数。
该实施例中,蛋壳纵向长度是指从蛋壳的顶端到底部的距离。
该实施例中,蛋壳横向最大长度是指从蛋壳的横端两侧的最大距离。
该实施例中,锐端尖度计算第一筛选种蛋的蛋壳和蛋内轮廓的相似程度的指数。
该实施例中,蛋内轮廓纵向长度是指从蛋内的顶端到底部的距离。
该实施例中,蛋壳轮廓纵向长度是指从蛋内的横端两侧的最大距离。
该实施例中,最大截面积是蛋壳或蛋内轮廓在纵向上的最大横截面面积。
该实施例中,圆度表示第一筛选种蛋形状接近圆形程度的指标。
该实施例中,单元密度表示第一筛选种蛋的单元密度比。
该实施例中,初始率是指在第一次筛选中,根据特定指标对种蛋进行评估的比率。
该实施例中,权重占比是指计算初始率时,各项指标所占的比重。
该实施例中,种蛋率是根据对种蛋进行评估得出的一个指标,判断第一筛选种蛋是否合格。
上述技术方案的工作原理及有益效果是:通过综合考虑多个指标和调节因素,以权重的方式评估种蛋的质量和品质特征。提高了种蛋的筛选效率和准确性。
实施例7:
在上述实施例6的基础上,所述误差调节单元,包括:
特征系数确定块:将所述第一筛选种蛋的蛋形指数s、锐端尖度G、圆度以及单元密度C输入到特征分析模型中,获取得到第一筛选种蛋的特征系数/>
比较系数确定块:分别获取蛋形指数s与标准指数范围的第一比较系数、锐端尖度G与预设尖度范围的第二比较系数、圆度与预设圆范围的第三比较系数以及单元密度C与预设密度范围的第四比较系数;
误差计算块:计算所述第一筛选种蛋的模糊误差:
其中,表示第i个比较系数的标准化因子;/>表示第i个比较系数;表示所有/>中的最大值;/>表示基于所有/>的标准差;e1表示模糊误差;/>表示对第i个比较系数的标准化因子/>和第i个比较系数/>的乘积进行指数运算;
率调节块:根据所述模糊误差且结合初始率,计算得到所述第一筛选种蛋的种蛋率:
其中,P为种蛋率。
该实施例中,特征分析模型是基于不同组合的参数以及由专家对组合参数进行系数评定为样本对神经网络模型训练得到的,因此,可以直接用于确定第一筛选种蛋的特征系数。
该实施例中,比较系数是表示第一筛选种蛋的蛋形指数s、锐端尖度G、圆度以及单元密度C的分别与对应的范围进行比较得到的。
该实施例中,模糊误差表示在计算种蛋率的过程中由于指标计算必定会出现的一种误差。
该实施例中,标准化因子是将原始数据转换为标准化数据的系数,为了方便计算量纲的统一。
该实施例中,比较系数是通过如下公式计算得到的:
其中,表示第i个参数,/>表示第i个参数的比较范围;表示第i个参数的有效范围;/>表示第i个参数的范围调节值;min表示最小值符号。
其中,参数分别对应蛋形指数s、锐端尖度G、圆度以及单元密度/>
上述技术方案的工作原理及有益效果是:是在特征分析、比较系数计算和误差计算的基础上,通过模糊误差和种蛋率的调节,实现了对第一筛选种蛋的筛选和评估。提高种蛋筛选的准确性,提高了种蛋的筛选效率。
实施例8:
在上述实施例7的基础上,所述种蛋分析模块,还包括:
种蛋率判断单元:若,则判断第一筛选种蛋符合种蛋标准,否则不符合种蛋标准,其中,/>为预设率;
控制单元:根据种蛋率判断单元的结果,向分离控制装置发出判定指令:若第一筛选种蛋判定结果为不符合种蛋标准,控制分离装置的舱门打开,将不合格种蛋分离出去;
否则,控制分离装置将合格种蛋传输到履带并基于履带运输到指定位置。
该实施例中,判定指令是根据第一筛选种蛋的判定结果,控制分离装置的舱门状态,其中,分离装置是现有装置。
该实施例中,种蛋标准是指预定的一个标准最低种蛋率,如果小于这个种蛋标准则说明当前种蛋不符合标准。
上述技术方案的工作原理及有益效果是:通过自动化判定和控制,实现了种蛋标准的筛选和分离,保证了系统分析的准确度,提高了种蛋的品质控制的准确性和效率。
实施例9:
本发明提供一种种蛋自动识别方法,如图2所示,包括:
步骤1:将所有种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;
步骤2:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;
步骤3:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;
步骤4:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离。
上述技术方案的有益效果是:对种蛋进行筛选、图像采集、信息分离和分析,从而实现合格种蛋和不合格种蛋的分离。提高了种蛋的测量结果,对种蛋的分类正确率有了一定的提高。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种种蛋自动识别系统,其特征在于,包括:
异常排除模块:将所有种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;
种蛋图像采集模块:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;
信息分离模块:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;
种蛋分析模块:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离;
其中,所述异常排除模块,包括:
基础信息获取单元:将光线测量设备,来获取待筛选种蛋的基础状态信息,其中,所述基础状态信息包括:种蛋蛋壳上不同位置点的像素数据;
异常状态筛选单元:利用异常种蛋分析模型对种蛋的基础状态信息进行分析,确定所述种蛋的色调存在向量、特征彩色向量以及恰好不满足异常状态的最低标准色调并进行比较,筛选排除存在异常状态的种蛋;
其中,色调存在向量是指在色彩直方图中表示种蛋基于某个颜色区间的色调存在程度的向量;
特征色彩向量是基于每个颜色区间的平均色调和平均出现次数,用于表示种蛋的色调分布情况;
最低标准色调是指恰好不满足异常状态的一个预设的最低阈值色调;
其中,所述种蛋分析模块,包括:
指数计算单元:计算所述第一筛选种蛋的蛋形指数s:
其中,表示第一筛选种蛋的蛋壳纵向长度,r表示第一筛选种蛋的蛋壳横向最大长度;
锐端尖度计算单元:计算第一筛选种蛋的锐端尖度G:
其中,表示第一筛选种蛋的蛋内轮廓纵向长度,/>表示第一筛选种蛋的蛋壳轮廓纵向长度;/>表示第一筛选种蛋的蛋壳轮廓的最大截面积,/>表示第一筛选种蛋的蛋内轮廓的最大截面积;
种蛋圆度计算单元:计算所述第一筛选种蛋的圆度
其中,为常数;
种蛋单元密度计算单元:计算所述第一筛选种蛋的单元密度C:
其中,r表示第一筛选种蛋的蛋壳横向最大长度;表示第一筛选种蛋的蛋壳轮廓纵向长度,m表示第一筛选种蛋的总质量;
种蛋率计算单元:计算第一筛选种蛋的初始率
其中,表示第一筛选种蛋的蛋形权重占比,/>表示第一筛选种蛋的锐端尖度权重占比,/>表示第一筛选种蛋的圆度权重占比,/>表示第一筛选种蛋的单元密度权重占比;
误差调节单元:对所述初始率进行误差调节得到种蛋率,作为判断第一筛选种蛋是否合格的标准;
其中,所述误差调节单元,包括:
特征系数确定块:将所述第一筛选种蛋的蛋形指数s、锐端尖度G、圆度以及单元密度C输入到特征分析模型中,获取得到第一筛选种蛋的特征系数/>
比较系数确定块:分别获取蛋形指数s与标准指数范围的第一比较系数、锐端尖度G与预设尖度范围的第二比较系数、圆度与预设圆范围的第三比较系数以及单元密度C与预设密度范围的第四比较系数;
误差计算块:计算所述第一筛选种蛋的模糊误差:
其中,表示第i个比较系数的标准化因子;/>表示第i个比较系数;/>表示所有/>中的最大值;/>表示基于所有/>的标准差;e1表示模糊误差;表示对第i个比较系数的标准化因子/>和第i个比较系数/>的乘积进行指数运算;
率调节块:根据所述模糊误差且结合初始率,计算得到所述第一筛选种蛋的种蛋率:
其中,P为种蛋率;
其中,所述种蛋分析模块,还包括:
种蛋率判断单元:若,则判断第一筛选种蛋符合种蛋标准,否则不符合种蛋标准,其中,/>为预设率;
控制单元:根据种蛋率判断单元的结果,向分离控制装置发出判定指令:若第一筛选种蛋判定结果为不符合种蛋标准,控制分离装置的舱门打开,将不合格种蛋分离出去;
否则,控制分离装置将合格种蛋传输到履带并基于履带运输到指定位置。
2.根据权利要求1所述的一种种蛋自动识别系统,其特征在于,所述异常状态筛选单元,包括:
直方图获取块:基于所述种蛋蛋壳的像素数据构建得到色彩图像,并对所述色彩图像进行彩色分离,获取得到n维色彩直方图,用于表示所述种蛋的色调分布情况,其中,所述种蛋的色彩直方图用色彩向量集合表示:,其中,/>表示所述种蛋基于第n个颜色区间的色调存在向量;/>表示所述种蛋基于第1个颜色区间的色调存在向量;/>表示所述种蛋基于第2个颜色区间的色调存在向量;
向量获取块:基于色调存在向量获取每个颜色区间的平均色调,同时,获取根据每个颜色区间所对应色调存在向量中的元素总个数,确定所述种蛋中每个颜色区间的平均出现次数,并获取到所述种蛋的特征色彩向量集合:/>,其中,/>表示所述种蛋基于第n个颜色区间的特征色彩向量;/>表示所述种蛋基于第1个颜色区间的特征色彩向量;/>表示所述种蛋基于第2个颜色区间的特征色彩向量;
比较块:将所述种蛋的每个颜色区间的色调存在向量、特征彩色向量以及恰好不满足异常状态的最低标准色调进行比较,确定所述种蛋的差异度;
其中,c01表示差异度;表示第n个颜色区间下存在的实际出现总个数;/>表示平均出现次数;/>表示第i个颜色区间中第j1个元素的色调;/>示调节函数;/>表示恰好不满足异常状态的最低标准色调;/>表示第i个颜色区间的色调范围;/>表示预设常数;/>表示正无穷;
筛选块:若所述差异度大于预设度,则判定所述种蛋存在异常,需要筛选掉;
否则,将所述种蛋视为第一筛选种蛋。
3.根据权利要求1所述的一种种蛋自动识别系统,其特征在于,所述种蛋图像采集模块,包括:
第一采集单元:控制所述图像数据采集装置中的预设光强多次照射种蛋,得到蛋内图像;
第二采集单元:控制所述图像数据采集装置中拍摄单元多次拍摄种蛋,得到蛋壳图像,其中,所述蛋壳图像与蛋壳尺寸相关。
4.根据权利要求1所述的一种种蛋自动识别系统,其特征在于,所述信息分离模块,包括:
图像预处理单元:对所述第一筛选种蛋的蛋壳图像以及蛋内图像进行灰度处理,并分别构建蛋壳灰度图像以及蛋内灰度图像中每个像素点基于水平方向的像素值矩阵以及基于垂直方向的像素值矩阵/>,并得到第一筛选种蛋的蛋壳边缘点组和蛋内边缘点组。
5.根据权利要求4所述的一种种蛋自动识别系统,其特征在于,所述信息分离模块,还包括:
内外拼接单元:将第一筛选种蛋的蛋壳边缘点组和蛋内边缘点组进行边缘组合,获得第一筛选种蛋的二值图像;
放置单元:将所述第一筛选种蛋的二值图像放置于比例网格中,得到所述第一筛选种蛋的蛋壳轮廓和蛋内轮廓的具体参数,其中,蛋壳轮廓的具体参数为蛋壳信息,蛋内轮廓的具体参数为蛋内信息。
6.一种种蛋自动识别方法,其特征在于,包括:
步骤1:将所有种蛋根据种蛋的基础状态信息进行粗筛选,筛选掉异常状态种蛋获得第一筛选种蛋;
步骤2:将第一筛选种蛋送入种蛋图像数据采集装置中采集并获取得到每个第一筛选种蛋的蛋壳图像以及蛋内图像;
步骤3:对每个第一筛选种蛋的蛋壳图像以及蛋内图像进行预处理,获取得到蛋壳信息以及蛋内信息;
步骤4:对每个第一筛选种蛋的蛋壳信息以及蛋内信息进行信息筛选分析,判定是否为合格种蛋,并根据判定结果向分离设备提出分离指令,实现合格种蛋以及不合格种蛋的分离;
其中,步骤4,包括:
计算所述第一筛选种蛋的蛋形指数s:
其中,表示第一筛选种蛋的蛋壳纵向长度,r表示第一筛选种蛋的蛋壳横向最大长度;
计算第一筛选种蛋的锐端尖度G:
其中,表示第一筛选种蛋的蛋内轮廓纵向长度,/>表示第一筛选种蛋的蛋壳轮廓纵向长度;/>表示第一筛选种蛋的蛋壳轮廓的最大截面积,/>表示第一筛选种蛋的蛋内轮廓的最大截面积;
计算所述第一筛选种蛋的圆度
其中,为常数;
计算所述第一筛选种蛋的单元密度C:
其中,r表示第一筛选种蛋的蛋壳横向最大长度;表示第一筛选种蛋的蛋壳轮廓纵向长度,m表示第一筛选种蛋的总质量;
计算第一筛选种蛋的初始率
其中,表示第一筛选种蛋的蛋形权重占比,/>表示第一筛选种蛋的锐端尖度权重占比,/>表示第一筛选种蛋的圆度权重占比,/>表示第一筛选种蛋的单元密度权重占比;
对所述初始率进行误差调节得到种蛋率,作为判断第一筛选种蛋是否合格的标准,包括:
将所述第一筛选种蛋的蛋形指数s、锐端尖度G、圆度以及单元密度C输入到特征分析模型中,获取得到第一筛选种蛋的特征系数/>
分别获取蛋形指数s与标准指数范围的第一比较系数、锐端尖度G与预设尖度范围的第二比较系数、圆度与预设圆范围的第三比较系数以及单元密度C与预设密度范围的第四比较系数;
计算所述第一筛选种蛋的模糊误差:
其中,表示第i个比较系数的标准化因子;/>表示第i个比较系数;/>表示所有/>中的最大值;/>表示基于所有/>的标准差;e1表示模糊误差;表示对第i个比较系数的标准化因子/>和第i个比较系数/>的乘积进行指数运算;
根据所述模糊误差且结合初始率,计算得到所述第一筛选种蛋的种蛋率:
其中,P为种蛋率;
,则判断第一筛选种蛋符合种蛋标准,否则不符合种蛋标准,其中,/>为预设率;
若第一筛选种蛋判定结果为不符合种蛋标准,控制分离装置的舱门打开,将不合格种蛋分离出去;
否则,控制分离装置将合格种蛋传输到履带并基于履带运输到指定位置。
CN202311823552.8A 2023-12-28 2023-12-28 一种种蛋自动识别系统及方法 Active CN117475292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311823552.8A CN117475292B (zh) 2023-12-28 2023-12-28 一种种蛋自动识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311823552.8A CN117475292B (zh) 2023-12-28 2023-12-28 一种种蛋自动识别系统及方法

Publications (2)

Publication Number Publication Date
CN117475292A CN117475292A (zh) 2024-01-30
CN117475292B true CN117475292B (zh) 2024-03-01

Family

ID=89638262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311823552.8A Active CN117475292B (zh) 2023-12-28 2023-12-28 一种种蛋自动识别系统及方法

Country Status (1)

Country Link
CN (1) CN117475292B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220972A (zh) * 2017-06-07 2017-09-29 重庆大学 一种基于红外图像的禽蛋品质鉴别方法
CN114544661A (zh) * 2022-02-28 2022-05-27 蚌埠依爱电子科技有限责任公司 基于机器视觉的蛋称重及畸形蛋识别设备、系统和方法
CN116029981A (zh) * 2022-11-30 2023-04-28 重庆忽米网络科技有限公司 基于工业互联网样本库的胚胎蛋自动检测系统
CN117243150A (zh) * 2023-11-14 2023-12-19 河北玖兴农牧发展有限公司 一种孵化用种蛋筛选方法及系统
CN117256514A (zh) * 2023-11-17 2023-12-22 河北玖兴农牧发展有限公司 一种用于分选系统的剔除不合格种蛋的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220972A (zh) * 2017-06-07 2017-09-29 重庆大学 一种基于红外图像的禽蛋品质鉴别方法
CN114544661A (zh) * 2022-02-28 2022-05-27 蚌埠依爱电子科技有限责任公司 基于机器视觉的蛋称重及畸形蛋识别设备、系统和方法
CN116029981A (zh) * 2022-11-30 2023-04-28 重庆忽米网络科技有限公司 基于工业互联网样本库的胚胎蛋自动检测系统
CN117243150A (zh) * 2023-11-14 2023-12-19 河北玖兴农牧发展有限公司 一种孵化用种蛋筛选方法及系统
CN117256514A (zh) * 2023-11-17 2023-12-22 河北玖兴农牧发展有限公司 一种用于分选系统的剔除不合格种蛋的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯燕柱等.基于机器视觉的鸽子种蛋识别技术与装置.《机电工程技术》.2023,第183-185页,第212页. *
胡思旋等.种蛋智能筛选系统的设计.《农业装备》.2021,第13-14页. *
郁志宏.基于机器视觉的种蛋筛选及孵化成活性检测研究.《中国博士学位论文全文数据库农业科技辑》.2008,D050-3. *

Also Published As

Publication number Publication date
CN117475292A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN110389127B (zh) 一种金属陶瓷零件识别及表面缺陷检测系统和方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN107437243B (zh) 基于x光图像的轮胎杂质检测方法及装置
CN113222959B (zh) 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法
CN113420614A (zh) 一种基于深度学习算法的近红外高光谱图像识别霉变花生的方法
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN113269191A (zh) 一种农作物叶片病害识别方法、装置和存储介质
CN114972230A (zh) 一种生产线上电路板缺陷检测方法及系统
CN111222360B (zh) 硅料熔化状态的检测方法、设备及存储介质
CN110533083B (zh) 基于SVM的Adaboost模型的铸件缺陷识别方法
CN113484867B (zh) 一种基于成像声呐封闭空间下鱼群密度探测方法
CN117253024B (zh) 一种基于机器视觉的工业盐质检管控方法及系统
CN117475292B (zh) 一种种蛋自动识别系统及方法
CN112257730A (zh) 植物害虫图像识别方法、装置、设备及存储介质
CN115131657A (zh) 海洋生态分析方法和系统
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN115266752A (zh) 一种鸡胸肉白色条纹等级判定的方法及装置
CN116206208A (zh) 一种基于人工智能的林业病虫害快速分析系统
CN113283378B (zh) 一种基于梯形区域归一化像素差异特征的猪脸检测方法
CN115423802A (zh) 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN110633720A (zh) 一种玉米病害识别方法
CN115375674A (zh) 胃白光瘤变图像识别方法、装置及存储介质
CN115187878A (zh) 基于无人机图像分析的风力发电装置叶片缺陷检测方法
CN114120318A (zh) 一种基于集成决策树的暗场图像目标点精确提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant