CN110930360A - 禽蛋检测、图像处理方法、装置、电子设备及存储介质 - Google Patents
禽蛋检测、图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110930360A CN110930360A CN201911002691.8A CN201911002691A CN110930360A CN 110930360 A CN110930360 A CN 110930360A CN 201911002691 A CN201911002691 A CN 201911002691A CN 110930360 A CN110930360 A CN 110930360A
- Authority
- CN
- China
- Prior art keywords
- egg
- image
- tray
- eggs
- egg tray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 title claims description 13
- 235000013601 eggs Nutrition 0.000 claims abstract description 609
- 230000002159 abnormal effect Effects 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000002372 labelling Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 244000144977 poultry Species 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 5
- 241000271566 Aves Species 0.000 description 3
- 238000010009 beating Methods 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 210000003278 egg shell Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 102000002322 Egg Proteins Human genes 0.000 description 1
- 108010000912 Egg Proteins Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
- G01N33/08—Eggs, e.g. by candling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种禽蛋检测、图像处理方法、装置、电子设备及存储介质，该方法包括：获取待检测蛋盘图像，所述待检测蛋盘图像中包括放置在蛋盘中的禽蛋；根据预先训练的蛋盘检测模型检测得到所述待检测蛋盘图像中禽蛋的禽蛋类型及所述禽蛋在所述蛋盘中的位置信息，所述禽蛋类型至少包括异常禽蛋和/或正常禽蛋；根据所述禽蛋类型及位置信息生成所述禽蛋对应的标签。该技术方案采用非接触的图像检测方式对禽蛋进行检测，避免接触式敲击检测对正常禽蛋的损坏，并且，由于检测仅基于禽蛋蛋壳外观，与禽蛋质量、质心等非外观参数无关，检测结果准确，误差较小且泛化能力强。
Description
技术领域
本申请涉及图像识别技术领域，尤其涉及一种禽蛋检测、图像处理方法、装置、电子设备及存储介质。
背景技术
目前在禽蛋生产、经营、加工过程中，异常禽蛋的检测是最重要环节之一。及时发现并剔除异常禽蛋，既能减少损耗，又能提高储藏、加工质量，而且有利于生产者和经营者采取科学的管理，增强企业及其产品的市场竞争力。
现有的禽蛋异常的自动检测方法主要基于数字信号处理器(digital signalprocessor，简称DSP)。禽蛋被敲击时会发出声音，异常蛋和正常蛋因为蛋壳结构不同而使其声音信号表征出不同的参数特征。通过敲击蛋壳产生声音信号，将该模拟信号放大、滤波并转换为能被计算机处理的数字信号，对采集到的声音信号进行频谱分析，通过频谱分析找出区分异常蛋和正常蛋的显著特征参数。
具体地，通过分别敲击禽蛋不同位置，如大头、中间和小头，采集这些位置的声音信号，提取各特征参数，通过这些特征参数分别对禽蛋大头、中间和小头进行统计分析，运用逐步叛变原理选取最优的特征参数组合，再利用贝叶斯叛变分别建立异常蛋和正常蛋的判别模型。
现有的禽蛋异常检测方法属于接触性检测方法，在用敲击棒敲打的过程种存在损坏正常禽蛋的情况，并且判别方法属于区分好蛋和坏蛋的模板匹配方式，由于蛋皮质量和蛋质心不同，导致测量结果误差大，泛化能力差。另外，现有的技术检测的时间长，耗费人工巨大，无法适用于大规模的实际场景。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种禽蛋检测、图像处理方法、装置、电子设备及存储介质。
第一方面，本申请提供了一种禽蛋检测方法，包括：
获取待检测蛋盘图像，所述待检测蛋盘图像中包括放置在蛋盘中的禽蛋；
根据预先训练的蛋盘检测模型检测得到所述待检测蛋盘图像中禽蛋的禽蛋类型及所述禽蛋在所述蛋盘中的位置信息，所述禽蛋类型至少包括异常禽蛋和/或正常禽蛋；
根据所述禽蛋类型及位置信息生成所述禽蛋对应的标签。
可选的，所述方法还包括：
根据所述标签生成分拣指令，所述分拣指令用于控制分拣设备对所述蛋盘中所述位置信息对应的禽蛋执行所述禽蛋类型对应的分拣操作；
将所述分拣指令发送至所述分拣设备。
可选的，所述方法还包括：
获取蛋盘样本图像，所述蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，得到所述蛋盘检测模型。
第二方面，本申请提供了一种图像处理方法，包括：
获取蛋盘样本图像，所述蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，得到蛋盘检测模型。
可选的，所述蛋盘样本图像包括：增强蛋盘样本图像和/或原始蛋盘样本图像；所述蛋盘增强样本图像由禽蛋样本图像拼接而成。
可选的，所述方法还包括：
获取空蛋盘图像，所述空蛋盘图像中的空蛋盘为预设的第一尺寸；
识别所述空蛋盘图像中蛋槽位置及蛋槽数量；
获取所述蛋槽数量的异常禽蛋图像和正常禽蛋图像，所述异常禽蛋图像和正常禽蛋图像为第二尺寸，所述第二尺寸根据所述第一尺寸及所述蛋槽数量计算得到；
将所述异常禽蛋图像和正常禽蛋图像拼接到所述空蛋盘图像中的蛋槽位置，得到增强蛋盘样本图像。
可选的，所述获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息，包括：
获取所述异常禽蛋图像对应的禽蛋标注信息，所述禽蛋标注信息包括所述异常禽蛋图对应的禽蛋异常类型及预先标注的检测框的第一坐标；
将所述第一坐标转换为所述检测框在所述增强蛋盘样本图像中的第二坐标；
根据所述禽蛋异常类型及所述第二坐标生成所述增强蛋盘样本图像对应的蛋盘标注信息。
可选的，所述获取所述蛋槽数量的异常禽蛋图像和正常禽蛋图像，包括：
查询禽蛋样本库，所述禽蛋样本库包括正常禽蛋子样本库及不同异常类型对应的异常禽蛋子样本库；
从各个所述异常禽蛋子样本库中随机选取异常禽蛋图像，从所述正常禽蛋子样本库中随机选取正常禽蛋图像；
所述将所述异常禽蛋图像和正常禽蛋图像拼接到所述空蛋盘图像中的蛋槽位置，包括：
将所述异常禽蛋图像和正常禽蛋图像随机拼接到所述空蛋盘图像中的蛋槽位置。
可选的，所述采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，包括：
通过所述预设卷积神经网络对所述蛋盘样本图像进行预设倍数的下采样卷积计算和/或预设步长的空洞卷积计算。
第三方面，本申请提供了一种禽蛋检测装置，包括：
获取模块，用于获取待检测蛋盘图像，所述蛋盘图像中包括禽蛋；
检测模块，用于根据预先训练的蛋盘检测模型检测得到所述待检测蛋盘图像中的禽蛋类型及坐标信息，所述禽蛋类型至少包括异常禽蛋和/或正常禽蛋；
生成模块，用于根据所述禽蛋类型及坐标信息生成所述禽蛋对应的标签。
第四方面，本申请提供了一种图像处理装置，包括：
第一获取模块，用于获取蛋盘样本图像，所述蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
第二获取模块，用于获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
训练模块，用于采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，得到蛋盘检测模型。
第五方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
第六方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
通过对整盘禽蛋进行拍照，基于预先训练的蛋盘检测模型对待检测蛋盘图像中的禽蛋进行识别，并将蛋盘中的异常蛋标注出来，便于后续进行区别分拣。采用非接触的图像检测方式对禽蛋进行检测，避免接触式敲击检测对正常禽蛋的损坏，并且，由于检测仅基于禽蛋蛋壳外观，与禽蛋质量、质心等非外观参数无关，检测结果准确，误差较小且泛化能力强。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的原始蛋盘样本图像的示意图；
图3为本申请实施例提供的增强蛋盘样本图像的示意图；
图4为本申请另一实施例提供的一种图像处理方法的流程图；
图5为本申请实施例提供的空蛋盘图像的示意图；
图6为本申请另一实施例提供的一种图像处理方法的流程图；
图7为本申请实施例提供的不同类型的异常禽蛋检测框示意图；
图8为本申请实施例提供的一种禽蛋检测方法的流程图；
图9为本申请实施例提供的检测结果示意图；
图10为本申请实施例提供的蛋盘中禽蛋标号示意图；
图11为本申请另一实施例提供的一种禽蛋检测方法的流程图；
图12为本申请实施例提供的一种禽蛋检测装置的框图；
图13为本申请实施例提供的一种图像处理装置的框图；
图14为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请基于计算机视觉方式对整盘禽蛋进行检测，避免接触式敲击检测对正常禽蛋的损坏，有效的提升检测效率，而且泛化性良好。
为实现通过采集分析图像检测出整盘禽蛋的异常/正常禽蛋，需要预先对整盘禽蛋进行检测模型的训练。
本申请提供一种图像处理方法，实现的蛋盘检测模型的训练。以下对该方法具体说明。
图1为本申请实施例提供的一种图像处理方法的流程图。如图1所示，该方法还包括以下步骤：
步骤S11，获取蛋盘样本图像，蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
步骤S12，获取蛋盘样本图像对应的蛋盘标注信息，蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
步骤S13，采用预设卷积神经网络对蛋盘样本图像及蛋盘标注信息进行训练，得到蛋盘检测模型。
本实施例中，通过对蛋盘检测模型进行训练，使得后续可以基于该模型对待检测蛋盘图像中的禽蛋进行识别，并将蛋盘中的异常蛋标注出来，提高禽蛋检测的准确度。并且，可以一次性检测整盘禽蛋，减少检测时间，有效地提升检测效率。
其中，蛋盘样本图像包括：增强蛋盘样本图像和/或原始蛋盘样本图像。
图2为本申请实施例提供的原始蛋盘样本图像的示意图。如图2所示，原始蛋盘样本图像可通过对实际蛋盘图像拍摄得到。
图3为本申请实施例提供的增强蛋盘样本图像的示意图。如图3所示，蛋盘增强样本图像由禽蛋样本图像拼接而成。
由于实际中人工采集得到的原始蛋盘样本图像数量较少，训练得到模型过度严格，使得后续无法使用。因此，本实施例中采用了由禽蛋样本图像拼接组合得到蛋盘增强样本图像，以扩大顺利数据集的数据量及多样性，提高模型的泛化能力，同时，降低人工标注的工作量及成本，提高模型训练的效率。
另外，为了抑制蛋盘增强样本图像中因拼接产生的图像缝隙对训练产生的干扰，蛋盘样本图像中还需要包含一定数量的原始蛋盘样本图像，以提高模型训练的准确度。
下面对蛋盘增强样本图像的生成方式进行详细说明。
图4为本申请另一实施例提供的一种图像处理方法的流程图。如图4所示，该方法还包括以下步骤：
步骤S21，获取空蛋盘图像，空蛋盘图像中的空蛋盘为预设的第一尺寸；
步骤S22，识别空蛋盘图像中蛋槽位置及蛋槽数量；
步骤S23，获取蛋槽数量的异常禽蛋图像和正常禽蛋图像，异常禽蛋图像和正常禽蛋图像为第二尺寸，第二尺寸根据第一尺寸及蛋槽数量计算得到；
步骤S24，将异常禽蛋图像和正常禽蛋图像拼接到空蛋盘图像中的蛋槽位置，得到增强蛋盘样本图像。
本实施例中，将已进行人工标注的禽蛋样本图像拼接组合得到蛋盘增强样本图像，以扩大顺利数据集的数据量及多样性，提高模型的泛化能力，同时，降低人工标注的工作量及成本，提高模型训练的效率。
图5为本申请实施例提供的空蛋盘图像的示意图。如图5所示，该空蛋盘规格为5×6，具有30个蛋槽。该空蛋盘的第一尺寸为rawW×rawH，以空蛋盘左上角为原点(0，0)。则获取30个异常禽蛋图像和正常禽蛋图像，其第二尺寸为
将30个异常禽蛋图像和正常禽蛋图像拼接到空蛋盘图像中的蛋槽位置后，得到如图3所示的增强蛋盘样本图像。
图6为本申请另一实施例提供的一种图像处理方法的流程图。如图6所示，基于上述生成的增强蛋盘样本图像，步骤S22包括：
步骤S31，获取异常禽蛋图像对应的禽蛋标注信息，禽蛋标注信息包括异常禽蛋图对应的禽蛋异常类型及预先标注的检测框的第一坐标；
步骤S32，将第一坐标转换为检测框在增强蛋盘样本图像中的第二坐标；
步骤S33，根据禽蛋异常类型及第二坐标生成增强蛋盘样本图像对应的蛋盘标注信息。
本实施例中，可以根据单个异常禽蛋图像的禽蛋标注信息自动生成蛋盘标注信息。具体地，单个异常禽蛋图像的原始尺寸为raww×rawh。单个异常禽蛋图像在空蛋盘中所占的蛋槽尺寸为boxW×boxH，也即异常禽蛋图像的第二尺寸。将该异常禽蛋图像放入空蛋盘图像中蛋槽位置后，该位置左上角的坐标为(boxX，boxY)。该异常禽蛋图像中人工预先标注的检测框的第一坐标为(xmin，ymin，xmax，ymax)，将该第一坐标转换为检测框在增强蛋盘样本图像中的第二坐标如下：
本实施例中，可以自动根据单个异常禽蛋图像的禽蛋标注信息生成蛋盘标注信息，降低人工标注的工作量及成本，提高模型训练的效率。
本实施例中，异常禽蛋可包括蛋壳破损、畸形、霉变等禽蛋。其中，破损禽蛋又可包括：完全破损禽蛋(damage_egg)、清晰可见裂纹禽蛋(hole_egg)、轻微凹陷禽蛋(gap_egg)和平整圆形小洞禽蛋(point_egg)等等。
图7为本申请实施例提供的不同类型的异常禽蛋检测框示意图。如图7所示，不同类型的异常禽蛋其检测框尺寸不同。在训练蛋盘检测模型时，如果仅将禽蛋分为异常/正常，模型可能无法识别出禽蛋微小破损，如轻微凹陷gap_egg和平整圆形小洞point_egg这些类型的异常禽蛋。因此，为了提高微小破损禽蛋检测的准确性，在模型训练过程中，将异常禽蛋按照破损程度进一步细分各个类型，不同类型对应的检测框大小不同，这样，训练得到的模型对于不同情况的异常禽蛋，都可以准确地检测出来。
因此，可以预先建立不同异常类型的异常禽蛋子样本库，例如，畸形禽蛋(misshapen_egg)子样本库、完全破损禽蛋(damage_egg)子样本库、清晰可见裂纹禽蛋(hole_egg)子样本库、轻微凹陷禽蛋(gap_egg)子样本库、平整圆形小洞禽蛋(point_egg)子样本库。各个异常禽蛋子样本库中的图像数量尽量均衡，如每个子样本库中包括300张图像。另外，可以将原始蛋盘样本图像中的各个禽蛋剪裁出来，归属到各个异常禽蛋子样本库。对于单个禽蛋图像，人工标注禽蛋所属类型和检测框，这样，就得到每个禽蛋图像对应的禽蛋标注信息。
另外，步骤S23包括：查询禽蛋样本库，禽蛋样本库包括正常禽蛋子样本库及不同异常类型对应的异常禽蛋子样本库；从各个异常禽蛋子样本库中随机选取异常禽蛋图像，从正常禽蛋子样本库中随机选取正常禽蛋图像。步骤S24包括：将异常禽蛋图像和正常禽蛋图像随机拼接到空蛋盘图像中的蛋槽位置。
在生成增强蛋盘样本图像时，可以设定从每个子样本库中选取图像的个数，例如，空蛋盘共有30个蛋槽，则从正常禽蛋子样本库中随机选取5张图像，有5个异常禽蛋子样本库，从每个异常禽蛋子样本库随机选取5张图像。将选取的30张禽蛋图像随机放入空蛋盘图像中的蛋槽位置，形成增强蛋盘样本图像。也可以不限制从每个子样本库中选取图像的个数，仅要求从每个子样本库中获取至少一张图像。
本实施例中，生成增强蛋盘样本图像时，采用的空蛋盘图像可以为同一规格，也可选择不同规格。
通过上述方式，可以随机生成大量的增强蛋盘样本图像，不仅扩大了训练数据集的多样性，提高了模型的准确性和泛化能力，而且降低了人工打标的成本，提升了训练过程的效率。
在另一实施例中，上述步骤S23中的预设卷积神经网络可以为RFCN、R-CNN、FastR-CNN、Faster R-CNN、yolov2、yolov3、SSD等等目标检测算法。
在进行模型训练时，通过预设卷积神经网络对蛋盘样本图像进行预设倍数的下采样卷积计算和/或预设步长的空洞卷积计算。
一般卷积神经网络对于样本图像下采样32倍或16倍，由于图像缩小过多，可能造成微小破损在特征提取过程中被忽略掉，使得最终模型无法检测出微小破损的禽蛋。因此，本实施例中，可将卷积神经网络对于蛋盘样本图像下采样倍数设置为8倍，提高模型对于微小破损禽蛋检测的准确性。
另外，可以在卷积神经网络中使用空洞卷积以实现扩大检测结果视野的效果。
例如，采用基于Resnet50和VGG16的RFCN网络时，网络中包括5个卷积块，第1～3个卷积块分别进行2倍的下采样卷积计算，即相当于将蛋盘样本图像下采样8倍；第4、5个卷积块分别进行步长stride＝2的空洞卷积计算。
在另一实施例中，在禽蛋检测的场景下，待检测目标的数量实际上不是很多，可以采用非极大化抑制(Non-maximum suppression，简称NMS)的方式对RFCN网络中检测框进行筛选，例如，将检测框的个数由6000筛选至1000，加快模型的收敛速度。
在训练得到禽蛋检测模型后，在实际应用中，就可以基于该模型进行禽蛋检测了。下面对本发明实施例所提供的一种禽蛋检测方法进行介绍。
图8为本申请实施例提供的一种禽蛋检测方法的流程图。如图8所示，该方法包括以下步骤：
步骤S41，获取待检测蛋盘图像，待检测蛋盘图像中包括放置在蛋盘中的禽蛋；
步骤S42，根据预先训练的蛋盘检测模型检测得到待检测蛋盘图像中禽蛋的禽蛋类型及禽蛋在蛋盘中的位置信息，禽蛋类型至少包括异常禽蛋和/或正常禽蛋；
步骤S43，根据禽蛋类型及位置信息生成禽蛋对应的标签。
本实施例中，通过对整盘禽蛋进行拍照，基于预先训练的蛋盘检测模型对待检测蛋盘图像中的禽蛋进行识别，并将蛋盘中的异常蛋标注出来，便于后续进行区别分拣。采用非接触的图像检测方式对禽蛋进行检测，避免接触式敲击检测对正常禽蛋的损坏，并且，由于检测仅基于禽蛋蛋壳外观，与禽蛋质量、质心等非外观参数无关，检测结果准确，误差较小且泛化能力强。
另外，仅通过拍照就可以一次性检测整盘禽蛋，且无需对禽蛋进行任何其他操作，减少检测时间，有效地提升检测效率，使得本申请的禽蛋检测方案可以适用于大规模的实际场景。
待检测蛋盘图像中包括整盘禽蛋，如，蛋盘规格为5×6，即包括30个蛋槽，可以放入30个禽蛋。通过蛋盘检测模型，可以一次性识别出这30个禽蛋的禽蛋类型，以及每个禽蛋在蛋盘中的位置。
在实际中，可以仅识别出正常禽蛋，也可以仅识别出异常禽蛋，或者，同时将正常禽蛋和异常禽蛋识别出来，即对每个禽蛋都检测其类型和位置。
在另一实施例中，根据设置，还可以进一步检测出异常禽蛋的具体类型，如破损禽蛋、畸形禽蛋、霉变禽蛋等。对于破损禽蛋，还可以根据其破损程度做进一步细分，如完全破损、清晰可见裂纹、轻微凹陷、平整圆形小洞等等。
图9为本申请实施例提供的检测结果示意图。如图9所示，检测结果中，通过检测框框出异常禽蛋，以及异常禽蛋对应的具体类型。
另外，禽蛋在蛋盘中的位置信息包括但不限于以下几种表示形式：
(1)坐标
例如，采用禽蛋在蛋盘中所处的行列数，每个禽蛋的坐标为(R，C)，R表示禽蛋所在的行数，C表示禽蛋所在的列数。
又例如，可以以待检测蛋盘图像中每个禽蛋中心点的坐标作为禽蛋的位置信息。
(2)每个禽蛋对应的标号
如图10所示的蛋盘示意图中，禽蛋对应的标号为1～30，待检测蛋盘中左上角的禽蛋标号为1，右下角的禽蛋标号为30。标号的方式并不限于此，在此不再赘述。
图11为本申请另一实施例提供的一种禽蛋检测方法的流程图。如图11所示，该方法还包括：
步骤S44，根据标签生成分拣指令，分拣指令用于控制分拣设备对蛋盘中为位置信息对应的禽蛋执行禽蛋类型对应的分拣操作；
步骤S45，将分拣指令发送至分拣设备。
本实施例中，经过蛋盘检测模型的检测，蛋盘中的异常禽蛋和正常禽蛋被识别出来，可以控制分拣设备对蛋盘中的禽蛋执行相应的分拣操作。这样，使得异常禽蛋被及时发现并剔除，减少异常禽蛋影响正常禽蛋所产生的损耗，提高禽蛋存储、加工质量。并且，提高了分拣的准确度和效率。
另外，由于分拣设备拾取异常禽蛋时可能被污染，例如拾取破损禽蛋时，蛋液流出污染分拣设备，或者拾取霉变禽蛋污染分拣设备等等，进而对分拣设备的正常运行产生干扰，甚至有可能造成分拣设备的故障损坏，因此，仅将正常禽蛋拾取并分拣至其他蛋盘，而不对异常禽蛋执行接触操作。当正常禽蛋都被分拣后，可以控制分拣设备将防止异常禽蛋的蛋盘移至垃圾箱。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图12为本申请实施例提供的一种禽蛋检测装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图12所示，该禽蛋检测装置包括：
获取模块51，用于获取待检测蛋盘图像，蛋盘图像中包括禽蛋；
检测模块52，用于根据预先训练的蛋盘检测模型检测得到待检测蛋盘图像中的禽蛋类型及坐标信息，禽蛋类型至少包括异常禽蛋和/或正常禽蛋；
生成模块53，用于根据禽蛋类型及坐标信息生成禽蛋对应的标签。
图13为本申请实施例提供的一种图像处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图13所示，该图像处理装置包括：
第一获取模块61，用于获取蛋盘样本图像，蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
第二获取模块62，用于获取蛋盘样本图像对应的蛋盘标注信息，蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
训练模块63，用于采用预设卷积神经网络对蛋盘样本图像及蛋盘标注信息进行训练，得到蛋盘检测模型。
本申请实施例还提供一种电子设备，如图14所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种禽蛋检测方法，其特征在于，包括：
获取待检测蛋盘图像，所述待检测蛋盘图像中包括放置在蛋盘中的禽蛋；
根据预先训练的蛋盘检测模型检测得到所述待检测蛋盘图像中禽蛋的禽蛋类型及所述禽蛋在所述蛋盘中的位置信息，所述禽蛋类型至少包括异常禽蛋和/或正常禽蛋；
根据所述禽蛋类型及位置信息生成所述禽蛋对应的标签。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述标签生成分拣指令，所述分拣指令用于控制分拣设备对所述蛋盘中所述位置信息对应的禽蛋执行所述禽蛋类型对应的分拣操作；
将所述分拣指令发送至所述分拣设备。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取蛋盘样本图像，所述蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，得到所述蛋盘检测模型。
4.一种图像处理方法，其特征在于，包括：
获取蛋盘样本图像，所述蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，得到蛋盘检测模型。
5.根据权利要求4所述的方法，其特征在于，所述蛋盘样本图像包括：增强蛋盘样本图像和/或原始蛋盘样本图像；所述蛋盘增强样本图像由禽蛋样本图像拼接而成。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取空蛋盘图像，所述空蛋盘图像中的空蛋盘为预设的第一尺寸；
识别所述空蛋盘图像中蛋槽位置及蛋槽数量；
获取所述蛋槽数量的异常禽蛋图像和正常禽蛋图像，所述异常禽蛋图像和正常禽蛋图像为第二尺寸，所述第二尺寸根据所述第一尺寸及所述蛋槽数量计算得到；
将所述异常禽蛋图像和正常禽蛋图像拼接到所述空蛋盘图像中的蛋槽位置，得到增强蛋盘样本图像。
7.根据权利要求6所述的方法，其特征在于，所述获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息，包括：
获取所述异常禽蛋图像对应的禽蛋标注信息，所述禽蛋标注信息包括所述异常禽蛋图对应的禽蛋异常类型及预先标注的检测框的第一坐标；
将所述第一坐标转换为所述检测框在所述增强蛋盘样本图像中的第二坐标；
根据所述禽蛋异常类型及所述第二坐标生成所述增强蛋盘样本图像对应的蛋盘标注信息。
8.根据权利要求6所述的方法，其特征在于，所述获取所述蛋槽数量的异常禽蛋图像和正常禽蛋图像，包括：
查询禽蛋样本库，所述禽蛋样本库包括正常禽蛋子样本库及不同异常类型对应的异常禽蛋子样本库；
从各个所述异常禽蛋子样本库中随机选取异常禽蛋图像，从所述正常禽蛋子样本库中随机选取正常禽蛋图像；
所述将所述异常禽蛋图像和正常禽蛋图像拼接到所述空蛋盘图像中的蛋槽位置，包括：
将所述异常禽蛋图像和正常禽蛋图像随机拼接到所述空蛋盘图像中的蛋槽位置。
9.根据权利要求4所述的方法，其特征在于，所述采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，包括：
通过所述预设卷积神经网络对所述蛋盘样本图像进行预设倍数的下采样卷积计算和/或预设步长的空洞卷积计算。
10.一种禽蛋检测装置，其特征在于，包括：
获取模块，用于获取待检测蛋盘图像，所述蛋盘图像中包括禽蛋；
检测模块，用于根据预先训练的蛋盘检测模型检测得到所述待检测蛋盘图像中的禽蛋类型及坐标信息，所述禽蛋类型至少包括异常禽蛋和/或正常禽蛋；
生成模块，用于根据所述禽蛋类型及坐标信息生成所述禽蛋对应的标签。
11.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取蛋盘样本图像，所述蛋盘样本图像中包括异常禽蛋和/或正常禽蛋；
第二获取模块，用于获取所述蛋盘样本图像对应的蛋盘标注信息，所述蛋盘标注信息包括蛋盘中各个禽蛋对应的禽蛋标注信息；
训练模块，用于采用预设卷积神经网络对所述蛋盘样本图像及蛋盘标注信息进行训练，得到蛋盘检测模型。
12.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-9任一项所述的方法步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-9任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911002691.8A CN110930360A (zh) | 2019-10-21 | 2019-10-21 | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911002691.8A CN110930360A (zh) | 2019-10-21 | 2019-10-21 | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110930360A true CN110930360A (zh) | 2020-03-27 |
Family
ID=69849409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911002691.8A Pending CN110930360A (zh) | 2019-10-21 | 2019-10-21 | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930360A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833322A (zh) * | 2020-07-08 | 2020-10-27 | 昆明理工大学 | 一种基于改进YOLOv3的垃圾多目标检测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101689293A (zh) * | 2007-06-29 | 2010-03-31 | 微软公司 | 扩充用于全景显示的图像 |
| CN202133655U (zh) * | 2011-05-27 | 2012-02-01 | 华中农业大学 | 一种孵化蛋品质在线自动检测分选设备 |
| JP2013118553A (ja) * | 2011-12-05 | 2013-06-13 | Dainippon Printing Co Ltd | 合成画像作成装置 |
| DE102012016911B3 (de) * | 2012-08-22 | 2013-06-20 | Technische Universität Dresden | Verfahren und Anordnung zur Detektion von Keimscheiben in befruchteten unbebrüteten Geflügeleieern |
| CN107064150A (zh) * | 2017-05-27 | 2017-08-18 | 华中农业大学 | 一种基于机器视觉技术的褐壳无精蛋和受精蛋鉴别装置及鉴别方法 |
| WO2018078613A1 (en) * | 2016-10-31 | 2018-05-03 | D.I.R. Technologies (Detection Ir) Ltd. | System and method for automatic inspection and classification of discrete items |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| US20180260612A1 (en) * | 2016-08-08 | 2018-09-13 | Indaflow LLC | Object Recognition for Bottom of Basket Detection Using Neural Network |
| CN108537775A (zh) * | 2018-03-02 | 2018-09-14 | 浙江工业大学 | 一种基于深度学习检测的癌细胞跟踪方法 |
| CN108647682A (zh) * | 2018-05-17 | 2018-10-12 | 电子科技大学 | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 |
| CN108710913A (zh) * | 2018-05-21 | 2018-10-26 | 国网上海市电力公司 | 一种基于深度学习的开关柜图像开关状态自动识别方法 |
-
2019
- 2019-10-21 CN CN201911002691.8A patent/CN110930360A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101689293A (zh) * | 2007-06-29 | 2010-03-31 | 微软公司 | 扩充用于全景显示的图像 |
| CN202133655U (zh) * | 2011-05-27 | 2012-02-01 | 华中农业大学 | 一种孵化蛋品质在线自动检测分选设备 |
| JP2013118553A (ja) * | 2011-12-05 | 2013-06-13 | Dainippon Printing Co Ltd | 合成画像作成装置 |
| DE102012016911B3 (de) * | 2012-08-22 | 2013-06-20 | Technische Universität Dresden | Verfahren und Anordnung zur Detektion von Keimscheiben in befruchteten unbebrüteten Geflügeleieern |
| US20180260612A1 (en) * | 2016-08-08 | 2018-09-13 | Indaflow LLC | Object Recognition for Bottom of Basket Detection Using Neural Network |
| WO2018078613A1 (en) * | 2016-10-31 | 2018-05-03 | D.I.R. Technologies (Detection Ir) Ltd. | System and method for automatic inspection and classification of discrete items |
| CN107064150A (zh) * | 2017-05-27 | 2017-08-18 | 华中农业大学 | 一种基于机器视觉技术的褐壳无精蛋和受精蛋鉴别装置及鉴别方法 |
| CN108537775A (zh) * | 2018-03-02 | 2018-09-14 | 浙江工业大学 | 一种基于深度学习检测的癌细胞跟踪方法 |
| CN108492343A (zh) * | 2018-03-28 | 2018-09-04 | 东北大学 | 一种扩充目标识别的训练数据的图像合成方法 |
| CN108647682A (zh) * | 2018-05-17 | 2018-10-12 | 电子科技大学 | 一种基于区域卷积神经网络模型的品牌Logo检测与识别方法 |
| CN108710913A (zh) * | 2018-05-21 | 2018-10-26 | 国网上海市电力公司 | 一种基于深度学习的开关柜图像开关状态自动识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| BURIN NARIN ET AL: "Crack on Eggshell Detection System Based on Image Processing Technique", 《2018 18TH INTERNATIONAL SYMPOSIUM ON COMMUNICATIONS AND INFORMATION TECHNOLOGIES (ISCIT)》 * |
| 黄豪杰等: "基于深度学习水果检测的研究与改进", 《计算机工程与应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833322A (zh) * | 2020-07-08 | 2020-10-27 | 昆明理工大学 | 一种基于改进YOLOv3的垃圾多目标检测方法 |
| CN111833322B (zh) * | 2020-07-08 | 2022-05-20 | 昆明理工大学 | 一种基于改进YOLOv3的垃圾多目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349145B (zh) | 缺陷检测方法、装置、电子设备以及存储介质 | |
| US11132786B2 (en) | Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium | |
| Silvén et al. | Wood inspection with non-supervised clustering | |
| US10796141B1 (en) | Systems and methods for capturing and processing images of animals for species identification | |
| US11315229B2 (en) | Method for training defect detector | |
| US11521120B2 (en) | Inspection apparatus and machine learning method | |
| US10726535B2 (en) | Automatically generating image datasets for use in image recognition and detection | |
| CN111951210A (zh) | 数据的处理方法、装置及设备 | |
| CN111310826A (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
| CN110927167A (zh) | 一种禽蛋检测方法、装置、电子设备及存储介质 | |
| CN110930360A (zh) | 禽蛋检测、图像处理方法、装置、电子设备及存储介质 | |
| CN110929755A (zh) | 一种禽蛋检测方法、装置、系统、电子设备及存储介质 | |
| CN114743102A (zh) | 一种面向家具板材的瑕疵检测方法、系统及装置 | |
| CN117274245B (zh) | 基于图像处理技术的aoi光学检测方法及系统 | |
| CN111178381A (zh) | 一种禽蛋估重、图像处理方法及装置 | |
| CN110570398A (zh) | 一种基于深度学习技术的线缆接头焊点合格性检测方法 | |
| CN111126402B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN114040116A (zh) | 塑胶模材良品监测反馈系统 | |
| CN113554645A (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及系统 | |
| Kuo et al. | Design and Implementation of AI aided Fruit Grading Using Image Recognition | |
| CN111122582B (zh) | 一种禽蛋检测方法、图像处理方法及装置 | |
| US20220414859A1 (en) | Image annotation method, device and system | |
| CN115218790A (zh) | 棒材检测方法、装置和系统 | |
| TWI749714B (zh) | 瑕疵檢測方法、瑕疵分類方法及其系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Information Technology Co.,Ltd. Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd. Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd. Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176 Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200327 |