CN111126402B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111126402B CN111126402B CN201911067503.XA CN201911067503A CN111126402B CN 111126402 B CN111126402 B CN 111126402B CN 201911067503 A CN201911067503 A CN 201911067503A CN 111126402 B CN111126402 B CN 111126402B
- Authority
- CN
- China
- Prior art keywords
- egg
- image
- sample
- network
- poultry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 235000013601 eggs Nutrition 0.000 claims abstract description 410
- 244000144977 poultry Species 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 230000000903 blocking effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 23
- 241000271566 Aves Species 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 16
- 208000006440 Open Bite Diseases 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000008485 antagonism Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000012447 hatching Effects 0.000 description 3
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 238000011534 incubation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、电子设备及存储介质，该方法包括：输入待处理禽蛋图像，所述待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；采用预先训练的禽蛋处理模型去除所述待处理禽蛋图像中的遮挡物，并生成所述禽蛋被遮挡部分，得到完整禽蛋图像；输出所述完整禽蛋图像。该技术方案通过禽蛋处理模型，可以对被遮挡禽蛋图像进行处理，得到与真实禽蛋图像相似度较高的完整禽蛋图像。这样，可基于处理后的禽蛋图像对禽蛋进行准确的轮廓分析。
Description
技术领域
本申请涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前禽蛋的生产及孵化过程中需要很多人力参与，而且效率不高，提高禽蛋孵化处理过程的效率，对提高禽蛋的经济价值和改善人们生活品质有着重要意义，尤其是自动化拣蛋设备的研发，对提升我国的禽蛋加工生产自动化水平和禽蛋产业发展具有积极作用。
在孵化处理过程中，需要对禽蛋大小头以及禽蛋的蛋形比进行判别，进而提高孵化率，因为胚胎需要气室朝上才能正常的发育，气室绝大多数情况位于在大头方向，所以行业标准在码蛋环节要求种蛋按大头向上摆放，并且在运输过程中大头朝上会减少禽蛋的破损率。而目前禽蛋分拣时，最常用的拾取方式是采用吸嘴吸起禽蛋，吸嘴可以高效的对禽蛋进行分盘处理。但该装置有一个弊端，那就是吸嘴会遮挡部分禽蛋，导致禽蛋的轮廓信息损失，从而判断大小头的图像识别准确率会下降。而且对于禽蛋来说，还原其轮廓信息对于判断蛋形比之类的信息有很重要的意义。
现有技术去除图像中遮挡物的方式为借助周围的信息对被遮挡部分进行填补，即只适用于在有限场景下的图像修复。而对于轮廓信息缺失较多的情况，缺失部分周围没有足够的像素信息可用，仅仅依靠待修复区域的周围像素信息进行图像修复的效果较差。
如图1所示，左数第1张图为被吸蛋装置吸嘴遮挡的禽蛋图像，左数第2张图为吸嘴对应的掩模图，左数第3张图为采用现有技术的图像修复方法修复后的禽蛋图像，左数第4张图为真实无遮挡的禽蛋图像。由此可见，现有技术的图像修复方法在对被吸嘴遮挡的禽蛋图像进行修复时，修复效果较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理方法，包括：
输入待处理禽蛋图像，所述待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；
采用预先训练的禽蛋处理模型去除所述待处理禽蛋图像中的遮挡物，并生成所述禽蛋被遮挡部分，得到完整禽蛋图像；
输出所述完整禽蛋图像。
可选的，所述方法还包括：
根据所述完整禽蛋图像对所述禽蛋进行轮廓分析，得到轮廓分析结果。
可选的，所述方法还包括：
根据所述轮廓分析结果生成分拣指令，所述分拣指令用于控制分拣设备对所述禽蛋执行相应的分拣操作；
将所述分拣指令发送至所述分拣设备。
可选的，所述方法还包括：
当所述禽蛋被拾取设备拾取时，对所述禽蛋进行拍摄，得到禽蛋图像；
当所述禽蛋图像中包括至少两个禽蛋时，对所述禽蛋图像进行分割，得到包括单个禽蛋的禽蛋子图像；
在所述禽蛋子图像中识别所述禽蛋的轮廓信息；
根据所述轮廓信息确定所述禽蛋的最小外接矩形框；
根据所述最小外接矩形框对所述禽蛋子图像进行裁切，得到所述待处理禽蛋图像。
第二方面，本申请实施例提供了一种图像处理方法，包括：
获取禽蛋样本图像，所述禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定所述禽蛋样本图像对应的标注信息；
将所述禽蛋样本图像和所述标注信息输入预设生成对抗网络，分别训练根据所述被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分所述仿真无遮挡禽蛋图像与所述无遮挡禽蛋样本图像的对抗子网络，得到所述生成子网络和所述对抗子网络的参数集合；
当所述参数集合符合预设条件时，根据所述生成子网络和所述对抗子网络得到禽蛋处理模型。
可选的，所述禽蛋样本图像符合以下至少一项要求：
图像尺寸相同，所述禽蛋样本图像之间禽蛋尺寸之差小于或等于第一预设值，所述禽蛋样本图像之间禽蛋角度之差小于或等于第二预设值。
可选的，所述获取禽蛋样本图像，包括：
获取禽蛋图像；
将所述禽蛋图像进行禽蛋对齐后，裁剪为包括所述禽蛋的预设尺寸的所述禽蛋样本图像；
和/或，
获取禽蛋样本图像，包括：
获取以相同拍摄参数拍摄的所述禽蛋样本图像。
可选的，所述确定禽蛋样本图像对应的标注信息，包括：
获取所述被遮挡禽蛋样本图像对应的第一输入标签和无遮挡禽蛋样本图像对应的第一生成标签。
可选的，所述获取禽蛋样本图像，包括：
获取同一禽蛋对应的样本对，所述样本对包括对同一禽蛋拍摄的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定禽蛋样本图像对应的标注信息，包括：
获取样本对中所述被遮挡禽蛋样本图像对应的第二输入标签和所述无遮挡禽蛋样本图像对应的第二生成标签，所述第二输入标签和第二生成标签之间存在属于同一样本对的关联关系。
可选的，所述将禽蛋样本图像和标注信息输入预设生成对抗网络，包括：
将所述样本对、第二输入标签和第二生成标签同时输入所述预设生成对抗网络。
第三方面，本申请实施例提供了一种图像处理装置，包括：
输入模块，用于输入待处理禽蛋图像，所述待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；
处理模块，用于采用预先训练的禽蛋处理模型去除所述待处理禽蛋图像中的遮挡物，并生成所述禽蛋被遮挡部分，得到完整禽蛋图像；
输出模块，用于输出所述完整禽蛋图像。
第四方面，本申请实施例提供了一种图像处理装置，包括：
获取模块，用于获取禽蛋样本图像，所述禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定模块，用于确定所述禽蛋样本图像对应的标注信息；
训练模块，用于将所述禽蛋样本图像和标注信息输入预设生成对抗网络，分别训练根据所述被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分所述仿真无遮挡禽蛋图像与无遮挡禽蛋样本图像的对抗子网络，得到所述生成子网络和对抗子网络的参数集合；
生成模块，用于当所述参数集合符合预设条件时，根据所述生成子网络和对抗子网络得到禽蛋处理模型。
第五方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行计算机程序时，实现上述方法步骤。
第六方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
通过禽蛋处理模型，可以对被遮挡禽蛋图像进行处理，得到与真实禽蛋图像相似度较高的完整禽蛋图像。这样，可基于处理后的禽蛋图像对禽蛋进行准确的轮廓分析。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为采用现有技术图像修复方法进行禽蛋图像修复的对比图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例中CycleGAN网络架构的示意图；
图4为本申请另一实施例提供的一种图像处理方法的流程图；
图5为采用本申请实施例的图像处理方法进行禽蛋图像生成的对比图；
图6为本申请实施例提供的一种图像处理装置的框图；
图7为本申请另一实施例提供的一种图像处理装置的框图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决吸嘴遮挡禽类蛋造成形状信息损失的问题，本申请实施例提出了一种图像处理方法、装置、电子设备及存储介质，去除吸嘴并生成禽蛋被遮挡部分，得到完整禽蛋图像。
本申请实施例通过预先训练的神经网络模型对被遮挡禽蛋图像进行处理，得到无遮挡的完整禽蛋图像。
下面首先对本发明实施例所提供的一种图像处理方法进行介绍，通过该图像处理方法，训练得到用于去除遮挡并生成完整禽蛋图像的禽蛋处理模型。
图2为本申请实施例提供的一种图像处理方法的流程图。如图2所示，该方法包括以下步骤：
步骤S11，获取禽蛋样本图像，禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
步骤S12，确定禽蛋样本图像对应的标注信息；
步骤S13，将禽蛋样本图像和标注信息输入预设生成对抗网络，分别训练根据被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分仿真无遮挡禽蛋图像与无遮挡禽蛋样本图像的对抗子网络，得到生成子网络和对抗子网络的参数集合；
步骤S14，当参数集合符合预设条件时，根据生成子网络和对抗子网络得到禽蛋处理模型。
本实施例中，通过生成对抗网络训练禽蛋处理模型，该禽蛋处理模型可以对被遮挡禽蛋图像进行处理，得到与真实禽蛋图像相似度较高的完整禽蛋图像。这样，可基于处理后的禽蛋图像对禽蛋进行准确度较高的轮廓分析。
本实施例中，可设定两个样本集，一个样本集A中存储被遮挡禽蛋样本图像，另一个样本集B中存储无遮挡禽蛋样本图像。分别从A、B样本集各选则一张图像输入预设生成对抗网络进行训练。
可选的，该预设生成对抗网络可以为GAN、CycleGAN、BIGGAN、DCGAN、pix2pix等等。
该预设生成对抗网络包括生成子网络(以下简称G)和对抗子网络(以下简称D)。其中，G用于根据被遮挡禽蛋样本图像(以下简称egg-a)生成仿真无遮挡禽蛋图像(以下简称egg-b1)，D用于区分egg-b1与无遮挡禽蛋样本图像(以下简称egg-b)，如计算两者的对抗损失，根据该对抗损失判断egg-b1与egg-b的相似度。
G的目标为尽量生成与egg-b相似的egg-b1，而D的目标为尽量将G生成的egg-b1像与egg-b区分开。因此，当D无法区分G生成的egg-b1与egg-b时，则可确定模型训练完毕。实际中，当训练得到的G和D的参数值不再发生明显变化时，根据G和D的参数值及网络结构生成禽蛋处理模型。
可选的，由于两个样本集中的图像可能不是一一对应的，即不是同一禽蛋对应的图像，因此，可以选择CycleGAN网络。如图3所示，CycleGAN网络是由两个镜像对称的GAN组成的环形网络，即CycleGAN网络包括两个生成子网络(G1和G2)和两个对抗子网络(D1和D2)。
G1根据egg-a生成egg-b1以及根据egg-a1生成egg-b2。G2根据egg-b生成egg-a1，并根据egg-b1生成egg-a2。D1计算egg-a与egg-a1之间的对抗损失loss1，以及egg-b1与egg-b2之间的对抗损失loss2。D2计算egg-b与egg-b1之间的对抗损失loss3，以及egg-a1与egg-a2之间的对抗损失loss4。根据这四个对抗损失计算一个总对抗损失lossS，根据lossS判断是否需要继续对G1和G2进行继续训练。当lossS最小或保持不变时，停止训练，输出基于CycleGAN网络得到的禽蛋处理模型。
本实施例中，为了提高模型训练的准确度，禽蛋样本图像需要符合一定的要求。可选的，禽蛋样本图像的图像尺寸相同，禽蛋样本图像之间禽蛋尺寸之差小于或等于第一预设值，禽蛋样本图像之间禽蛋角度之差小于或等于第二预设值。
因此，为了获得满足上述要求的禽蛋样本图像，步骤S11包括：获取禽蛋图像；将禽蛋图像进行禽蛋对齐后，裁剪为包括禽蛋的预设尺寸的禽蛋样本图像。
由于禽蛋图像由于拍摄距离、角度等拍摄参数不同，图像的大小、禽蛋在图像中的位置及角度可能也不同，因此，需要对禽蛋图像进行禽蛋对齐处理。禽蛋对齐包括：首先检测出禽蛋轮廓，抠取禽蛋后进行禽蛋对齐，即对禽蛋形状进行归一化处理，将禽蛋大小及角度调整为一致。最后根据预设尺寸对禽蛋图像进行剪裁，得到相同尺寸的禽蛋样本图像。
可选的，为了获得满足上述要求的禽蛋样本图像，步骤S11包括：获取以相同拍摄参数拍摄的禽蛋样本图像。即在拍摄时，以相同的拍摄距离、角度等对被遮挡和无遮挡的禽蛋进行拍摄。例如，可以固定相机位置，在水平桌面上画定一个固定位置，将带有吸嘴的禽蛋和不带吸嘴的禽蛋摆放在该固定位置，并保证摆放角度尽量保持一致，使用该相机进行拍摄，使得得到的禽蛋样本图像符合上述要求。
可选的，步骤S12包括：获取被遮挡禽蛋样本图像对应的第一输入标签和无遮挡禽蛋样本图像对应的第一生成标签。
例如，所有的被遮挡禽蛋样本图像对应的第一输入标签为P1，所有的无遮挡禽蛋样本图像对应的第一生成标签为P2。
可选的，为了进一步提高模型训练的准确度，可以采用一一对应的样本图像进行模型训练。步骤S11包括：获取同一禽蛋对应的样本对，样本对包括对同一禽蛋拍摄的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像。这样，步骤S12包括：获取样本对中被遮挡禽蛋样本图像对应的第二输入标签和无遮挡禽蛋样本图像对应的第二生成标签，第二输入标签和第二生成标签之间存在同一样本对的关联关系。
例如，同一禽蛋对应的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像在样本集A和B中的文件名相同，这样，将样本集名称及图像文件名作为禽蛋样本图像的标签，可以体现出样本对之间的关联关系。
上述步骤S13中，将样本对、第二输入标签和第二生成标签同时输入预设生成对抗网络。
本实施例中，通过样本对进行模型训练，使得模型训练准确度更高，训练速度更快。
通过本申请上述实施例，训练得到禽蛋处理模型，基于该模型，可实现去除禽蛋图像中的遮挡物，生成禽蛋被遮挡部分，得到完整禽蛋图像。
下面对本发明另一实施例所提供的一种图像处理方法进行介绍，通过该图像处理方法，去除禽蛋图像中的遮挡并生成完整禽蛋图像。
图4为本申请另一实施例提供的一种图像处理方法的流程图。如图4所示，该方法包括以下步骤：
步骤S21，输入待处理禽蛋图像，待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；
步骤S22，采用预先训练的禽蛋处理模型去除待处理禽蛋图像中的遮挡物，并生成禽蛋被遮挡部分，得到完整禽蛋图像；
步骤S23，输出完整禽蛋图像。
本实施例中，通过禽蛋处理模型，可以对被遮挡禽蛋图像进行处理，得到与真实禽蛋图像相似度较高的完整禽蛋图像。这样，可基于处理后的禽蛋图像对禽蛋进行准确的轮廓分析。
可选的，该方法还包括：根据完整禽蛋图像对禽蛋进行轮廓分析，得到轮廓分析结果。
在获得完整禽蛋图像之后，由于获得了禽蛋的完整轮廓信息，因此可以进行如禽蛋大小头、蛋形信息等轮廓分析，提高禽蛋轮廓分析的准确性，使得可以准确确定禽蛋大小头或通过分析得到的蛋形信息判断禽蛋是否畸形。
可选的，该方法还包括：根据轮廓分析结果生成分拣指令，分拣指令用于控制分拣设备对禽蛋执行相应的分拣操作；将分拣指令发送至分拣设备。
本实施例中，通过轮廓分析结果，如禽蛋大头朝上还是小头朝上，禽蛋是否畸形，可以生成相应的分拣指令，将禽蛋分拣至设定好的位置。例如，对于小头朝上的禽蛋，移动到指定蛋盘，进行翻转操作；对于畸形蛋，则可直接移动到垃圾箱。从而，可以降低禽蛋运输过程中的破损率，提高禽蛋的孵化率。
可选的，该方法还包括：当禽蛋被拾取设备拾取时，对禽蛋进行拍摄，得到禽蛋图像；当第一禽蛋图像中包括至少两个禽蛋时，对禽蛋图像进行分割，得到包括单个禽蛋的禽蛋子图像；在禽蛋子图像中识别禽蛋的轮廓信息；根据轮廓信息确定禽蛋的最小外接矩形框；根据最小外接矩形框对禽蛋子图像进行裁切，得到待处理禽蛋图像。
本实施例中，拾取设备同时可拾取多个禽蛋，因此，拍摄得到的禽蛋图像中包括多个禽蛋。需要对其中每个禽蛋进行识别、裁切，得到仅包括单个禽蛋的待处理禽蛋图像，这样，后续可以准确地通过禽蛋处理模型去除遮挡物，生成被遮挡部分，得到完整禽蛋图像。
如图5所示，左数第一列为被吸嘴遮挡的禽蛋图像，左数第2列为采用现有技术的图像修复方法修复后的禽蛋图像，左数第3列为采用本申请实施例的图像处理方法生成的完整禽蛋图像，左数第4列为真实无遮挡的禽蛋图像。由此可见，采用本申请实施例的图像处理方法生成的完整禽蛋图像与真实无遮挡的禽蛋图像相似度较高，能够满足后续对禽蛋进行轮廓分析的精确度要求。
下述为本申请装置实施例，可以用于执行本申请方法实施例。
图6为本申请实施例提供的一种图像处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，该图像处理装置包括：
输入模块31，用于输入待处理禽蛋图像，待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；
处理模块32，用于采用预先训练的禽蛋处理模型去除待处理禽蛋图像中的遮挡物，并生成禽蛋被遮挡部分，得到完整禽蛋图像；
输出模块33，用于输出完整禽蛋图像。
图7为本申请另一实施例提供的一种图像处理装置的框图，如图7所示，该图像处理装置包括：
获取模块41，用于获取禽蛋样本图像，禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定模块42，用于确定禽蛋样本图像对应的标注信息；
训练模块43，用于将禽蛋样本图像和标注信息输入预设生成对抗网络，分别训练根据被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分仿真无遮挡禽蛋图像与无遮挡禽蛋样本图像的对抗子网络，得到生成子网络和对抗子网络的参数集合；
生成模块44，用于当参数集合符合预设条件时，根据生成子网络和对抗子网络得到禽蛋处理模型。
本申请实施例还提供一种电子设备，如图8所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
输入待处理禽蛋图像，所述待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；
采用预先训练的禽蛋处理模型去除所述待处理禽蛋图像中的遮挡物，并生成所述禽蛋被遮挡部分，得到完整禽蛋图像；
输出所述完整禽蛋图像；
所述禽蛋处理模型通过获取禽蛋样本图像，所述禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；所述禽蛋样本图像通过获取同一禽蛋对应的样本对得到，所述样本对包括对同一禽蛋拍摄的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；获取样本对中所述被遮挡禽蛋样本图像对应的第二输入标签和所述无遮挡禽蛋样本图像对应的第二生成标签来，所述第二输入标签和第二生成标签之间存在属于同一样本对的关联关系；将所述样本对、第二输入标签和第二生成标签同时输入预设生成对抗网络，分别训练根据所述被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分所述仿真无遮挡禽蛋图像与所述无遮挡禽蛋样本图像的对抗子网络，得到所述生成子网络和所述对抗子网络的参数集合；当所述参数集合符合预设条件时，根据所述生成子网络和所述对抗子网络得到。
2.根据权利要求1的方法，其特征在于，所述方法还包括：
根据所述完整禽蛋图像对所述禽蛋进行轮廓分析，得到轮廓分析结果。
3.根据权利要求2的方法，其特征在于，所述方法还包括：
根据所述轮廓分析结果生成分拣指令，所述分拣指令用于控制分拣设备对所述禽蛋执行相应的分拣操作；
将所述分拣指令发送至所述分拣设备。
4.根据权利要求1的方法，其特征在于，所述方法还包括：
当所述禽蛋被拾取设备拾取时，对所述禽蛋进行拍摄，得到禽蛋图像；
当所述禽蛋图像中包括至少两个禽蛋时，对所述禽蛋图像进行分割，得到包括单个禽蛋的禽蛋子图像；
在所述禽蛋子图像中识别所述禽蛋的轮廓信息；
根据所述轮廓信息确定所述禽蛋的最小外接矩形框；
根据所述最小外接矩形框对所述禽蛋子图像进行裁切，得到所述待处理禽蛋图像。
5.一种图像处理方法，其特征在于，包括：
获取禽蛋样本图像，所述禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定所述禽蛋样本图像对应的标注信息；
将所述禽蛋样本图像和所述标注信息输入预设生成对抗网络，分别训练根据所述被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分所述仿真无遮挡禽蛋图像与所述无遮挡禽蛋样本图像的对抗子网络，得到所述生成子网络和所述对抗子网络的参数集合；
当所述参数集合符合预设条件时，根据所述生成子网络和所述对抗子网络得到禽蛋处理模型；
所述获取禽蛋样本图像，包括：
获取同一禽蛋对应的样本对，所述样本对包括对同一禽蛋拍摄的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定禽蛋样本图像对应的标注信息，包括：
获取样本对中所述被遮挡禽蛋样本图像对应的第二输入标签和所述无遮挡禽蛋样本图像对应的第二生成标签，所述第二输入标签和第二生成标签之间存在属于同一样本对的关联关系；
所述将所述禽蛋样本图像和标注信息输入预设生成对抗网络，包括：
将所述样本对、第二输入标签和第二生成标签同时输入所述预设生成对抗网络。
6.根据权利要求5的方法，其特征在于，所述禽蛋样本图像符合以下至少一项要求：
图像尺寸相同，所述禽蛋样本图像之间禽蛋尺寸之差小于或等于第一预设值，所述禽蛋样本图像之间禽蛋角度之差小于或等于第二预设值。
7.根据权利要求6的方法，其特征在于，所述获取禽蛋样本图像，包括：
获取禽蛋图像；
将所述禽蛋图像进行禽蛋对齐后，裁剪为包括所述禽蛋的预设尺寸的所述禽蛋样本图像；
和/或，
所述获取禽蛋样本图像，包括：
获取以相同拍摄参数拍摄的所述禽蛋样本图像。
8.根据权利要求7的方法，其特征在于，所述确定禽蛋样本图像对应的标注信息，包括：
获取所述被遮挡禽蛋样本图像对应的第一输入标签和无遮挡禽蛋样本图像对应的第一生成标签。
9.一种图像处理装置，其特征在于，包括：
输入模块，用于输入待处理禽蛋图像，所述待处理禽蛋图像中的禽蛋被遮挡物部分遮挡；
处理模块，用于采用预先训练的禽蛋处理模型去除所述待处理禽蛋图像中的遮挡物，并生成所述禽蛋被遮挡部分，得到完整禽蛋图像；
输出模块，用于输出所述完整禽蛋图像；
所述禽蛋处理模型通过获取禽蛋样本图像，所述禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；所述禽蛋样本图像通过获取同一禽蛋对应的样本对得到，所述样本对包括对同一禽蛋拍摄的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；获取样本对中所述被遮挡禽蛋样本图像对应的第二输入标签和所述无遮挡禽蛋样本图像对应的第二生成标签来，所述第二输入标签和第二生成标签之间存在属于同一样本对的关联关系；将所述样本对、第二输入标签和第二生成标签同时输入预设生成对抗网络，分别训练根据所述被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分所述仿真无遮挡禽蛋图像与所述无遮挡禽蛋样本图像的对抗子网络，得到所述生成子网络和所述对抗子网络的参数集合；当所述参数集合符合预设条件时，根据所述生成子网络和所述对抗子网络得到。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取禽蛋样本图像，所述禽蛋样本图像包括：被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
确定模块，用于确定所述禽蛋样本图像对应的标注信息；
训练模块，用于将所述禽蛋样本图像和标注信息输入预设生成对抗网络，分别训练根据所述被遮挡禽蛋样本图像生成仿真无遮挡禽蛋图像的生成子网络，以及区分所述仿真无遮挡禽蛋图像与无遮挡禽蛋样本图像的对抗子网络，得到所述生成子网络和对抗子网络的参数集合；
生成模块，用于当所述参数集合符合预设条件时，根据所述生成子网络和对抗子网络得到禽蛋处理模型；
所述获取模块，用于获取同一禽蛋对应的样本对，所述样本对包括对同一禽蛋拍摄的被遮挡禽蛋样本图像和无遮挡禽蛋样本图像；
所述确定模块，用于获取样本对中所述被遮挡禽蛋样本图像对应的第二输入标签和所述无遮挡禽蛋样本图像对应的第二生成标签，所述第二输入标签和第二生成标签之间存在属于同一样本对的关联关系；
所述训练模块，用于将所述样本对、第二输入标签和第二生成标签同时输入所述预设生成对抗网络。
11.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器，通信接口，存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-8任一项的方法步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8任一项的方法步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911067503.XA CN111126402B (zh) | 2019-11-04 | 2019-11-04 | 一种图像处理方法、装置、电子设备及存储介质 |
| PCT/CN2020/125242 WO2021088729A1 (zh) | 2019-11-04 | 2020-10-30 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911067503.XA CN111126402B (zh) | 2019-11-04 | 2019-11-04 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126402A CN111126402A (zh) | 2020-05-08 |
| CN111126402B true CN111126402B (zh) | 2023-11-03 |
Family
ID=70495511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911067503.XA Active CN111126402B (zh) | 2019-11-04 | 2019-11-04 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111126402B (zh) |
| WO (1) | WO2021088729A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126402B (zh) * | 2019-11-04 | 2023-11-03 | 京东科技信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN116403245B (zh) * | 2023-06-07 | 2023-08-11 | 广东省农业科学院动物科学研究所 | 一种家禽育种数据分析方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205659A (zh) * | 2017-11-30 | 2018-06-26 | 深圳市深网视界科技有限公司 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
| CN109509202A (zh) * | 2018-09-21 | 2019-03-22 | 浙江大学 | 一种基于改进活动轮廓模型的笼养蛋鸡图像分割方法 |
| CN109684967A (zh) * | 2018-12-17 | 2019-04-26 | 东北农业大学 | 一种基于ssd卷积网络的大豆植株茎荚识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2976276A1 (en) * | 2015-02-17 | 2016-08-25 | Michael Ngadi | Systems, devices, and methods for detecting fertility and gender of unhatched eggs |
| CN106650662B (zh) * | 2016-12-21 | 2021-03-23 | 北京旷视科技有限公司 | 目标对象遮挡检测方法及装置 |
| CN109784349B (zh) * | 2018-12-25 | 2021-02-19 | 东软集团股份有限公司 | 图像目标检测模型建立方法、装置、存储介质及程序产品 |
| CN111126402B (zh) * | 2019-11-04 | 2023-11-03 | 京东科技信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
-
2019
- 2019-11-04 CN CN201911067503.XA patent/CN111126402B/zh active Active
-
2020
- 2020-10-30 WO PCT/CN2020/125242 patent/WO2021088729A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205659A (zh) * | 2017-11-30 | 2018-06-26 | 深圳市深网视界科技有限公司 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
| CN109509202A (zh) * | 2018-09-21 | 2019-03-22 | 浙江大学 | 一种基于改进活动轮廓模型的笼养蛋鸡图像分割方法 |
| CN109684967A (zh) * | 2018-12-17 | 2019-04-26 | 东北农业大学 | 一种基于ssd卷积网络的大豆植株茎荚识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021088729A1 (zh) | 2021-05-14 |
| CN111126402A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109102543B (zh) | 基于图像分割的物体定位方法、设备和存储介质 | |
| CN110047770B (zh) | 基片的缺陷检查装置、基片的缺陷检查方法和存储介质 | |
| CN110619333B (zh) | 一种文本行分割方法、文本行分割装置及电子设备 | |
| CN111126402B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| JPWO2019155593A1 (ja) | 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN108872265A (zh) | 检测方法、装置及系统 | |
| CN106887006B (zh) | 堆叠物体的识别方法、设备和机器分拣系统 | |
| CN110927167A (zh) | 一种禽蛋检测方法、装置、电子设备及存储介质 | |
| CN117124302B (zh) | 一种零件分拣方法、装置、电子设备及存储介质 | |
| US20220072712A1 (en) | Mix-size depalletizing | |
| CN116978834B (zh) | 一种用于晶圆生产的智能监测预警系统 | |
| CN112488244A (zh) | 一种利用热力图进行点标注方式的密集分布小目标害虫自动计数方法 | |
| CN117830389B (zh) | 一种基于rgbd相机的单件分离包裹实时位置检测方法 | |
| CN111091122A (zh) | 一种多尺度特征卷积神经网络的训练和检测方法、装置 | |
| CN111369611B (zh) | 图像像素深度值优化方法及其装置、设备和存储介质 | |
| CN114267032A (zh) | 一种集装箱定位识别方法、装置、设备及存储介质 | |
| CN109146885B (zh) | 图像分割方法、设备和计算机可读存储介质 | |
| CN115082552B (zh) | 标记孔的定位方法、装置、装配设备及存储介质 | |
| CN117007600A (zh) | 缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN111275756A (zh) | 线轴定位方法及装置 | |
| CN112308061B (zh) | 一种车牌字符识别方法及装置 | |
| CN108357193A (zh) | 丝印检测方法、装置、终端设备及存储介质 | |
| CN116205835A (zh) | 电路板瑕疵检测方法、装置及电子设备 | |
| CN111462104B (zh) | 一种禽蛋大小头检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Information Technology Co.,Ltd. Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd. Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd. Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176 Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |