CN113487534B - 包裹破损的检测方法、检测装置及计算机可读存储介质 - Google Patents
包裹破损的检测方法、检测装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113487534B CN113487534B CN202110552582.4A CN202110552582A CN113487534B CN 113487534 B CN113487534 B CN 113487534B CN 202110552582 A CN202110552582 A CN 202110552582A CN 113487534 B CN113487534 B CN 113487534B
- Authority
- CN
- China
- Prior art keywords
- image
- damaged
- feature
- package
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000000605 extraction Methods 0.000 claims abstract description 73
- 238000011084 recovery Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 34
- 238000013136 deep learning model Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30112—Baggage; Luggage; Suitcase
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation
Abstract
本申请公开了一种包裹破损的检测方法、检测装置及计算机可读存储介质,该检测方法包括:获取待检测包裹的检测图像;对检测图像进行破损恢复处理,得到恢复图像;对恢复图像进行特征提取,得到第一图像特征;对检测图像进行特征提取,得到第二图像特征;基于第一图像特征与第二图像特征的差异而判断待检测包裹是否存在破损。本申请所提供的检测方法能够快速、准确地判断待检测包裹是否存在破损。
Description
技术领域
本申请涉及包裹检测技术领域,特别是涉及一种包裹破损的检测方法、检测装置及计算机可读存储介质。
背景技术
近年来,物流行业发展速度不断加快,市场竞争日益加剧,物流相关企业的竞争核心也从扩张市场转向不断提升服务质量。提高服务质量的关键环节是多方面降低包裹的破损率与丢包率,而使用相关技术及时发现、跟踪、处理相应破损包裹,能够很大程度上保障客户以及企业的整体利益。
发明内容
本申请主要解决的技术问题是提供一种包裹破损的检测方法、检测装置及计算机可读存储介质,能够快速、准确地判断待检测包裹是否存在破损。
为解决上述技术问题,本申请实施例采用的一个技术方案是:提供一种包裹破损的检测方法,所述方法包括:获取待检测包裹的检测图像;对所述检测图像进行破损恢复处理,得到恢复图像;对所述恢复图像进行特征提取,得到第一图像特征;对所述检测图像进行特征提取,得到第二图像特征;基于所述第一图像特征与所述第二图像特征的差异而判断所述待检测包裹是否存在破损。
为解决上述技术问题,本申请实施例采用的另一个技术方案是:提供一种检测装置,所述检测装置包括处理器、存储器以及通信电路,所述处理器分别耦接所述存储器、所述通信电路,所述存储器中存储有程序数据,所述处理器通过执行所述存储器内的所述程序数据以实现:获取待检测包裹的检测图像;对所述检测图像进行破损恢复处理,得到恢复图像;对所述恢复图像进行特征提取,得到第一图像特征;对所述检测图像进行特征提取,得到第二图像特征;基于所述第一图像特征与所述第二图像特征的差异而判断所述待检测包裹是否存在破损
为解决上述技术问题,本申请实施例采用的另一个技术方案是:提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被处理器执行以实现:获取待检测包裹的检测图像;对所述检测图像进行破损恢复处理,得到恢复图像;对所述恢复图像进行特征提取,得到第一图像特征;对所述检测图像进行特征提取,得到第二图像特征;基于所述第一图像特征与所述第二图像特征的差异而判断所述待检测包裹是否存在破损。
有益效果是:本申请实施例的检测方法先对检测图像进行破损恢复处理,得到恢复图像,然后分别对恢复图像、检测图像进行特征提取,得到第一图像特征、第二图像特征,最后基于第一图像特征、第二图像特征之间的差异而判断待检测包裹是否存在破损,该方法简单,且能够快速、准确地检测出待检测包裹是否存在破损。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请包裹破损的检测方法一实施方式的流程示意图;
图2是本申请包裹破损的检测方法另一实施方式的流程示意图;
图3是对应图2方法的框架流程示意图;
图4是本申请检测装置一实施方式的结构示意图;
图5是本申请检测装置另一实施方式的结构示意图;
图6是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参阅图1,图1是本申请包裹破损的检测方法一实施方式的流程示意图,该方法包括:
S110:获取待检测包裹的检测图像。
具体地,对带待检测包裹进行拍摄而得到检测图像,其中检测图像可以是二维图像,也可以是三维图像,或者,检测图像可以是灰度图像、彩色图像或者二值图像等。
S120:对检测图像进行破损恢复处理,得到恢复图像。
具体地,对检测图像进行破损恢复处理指的是将检测图像中包裹的破损处进行恢复,使得恢复后的包裹不存在破损,即,使得到的恢复图像中的包裹不存在任何破损。
可以理解的是,若待检测包裹存在破损,则进行破损恢复处理而得到的恢复图像与检测图像不同,若待检测包裹不存在任何破损,则进行破损恢复处理而得到的恢复图像与检测图像相同。
S130:对恢复图像进行特征提取,得到第一图像特征。
S140:对检测图像进行特征提取,得到第二图像特征。
具体地,基于相同的提取策略分别对恢复图像、检测图像进行特征提取,从而得到的第一图像特征和第二图像特征均属于同一种类型的图像特征,例如均为颜色特征、纹理特征、形状特征或者空间关系特征等。
S150:基于第一图像特征与第二图像特征的差异而判断待检测包裹是否存在破损。
具体地,若提取到的第一图像特征与第二图像特征相同,则恢复图像与检测图像相同,进而说明恢复图像中的包裹与检测图像中的包裹相同,由前述可知,恢复图像中的包裹不存在破损,因此说明检测图像中的包裹也不存在破损,即待检测包裹无破损,反之,若提取到的第一图像特征与第二图像特征不相同,则说明待检测包裹存在破损。
或者,若提取到的第一图像特征与第二图像特征虽然不同,但是两者之前的差异较小,且不超过差异阈值,则此时也认为待检测包裹无破损,反之,若提取到的第一图像特征与第二图像特征之间的差异超过差异阈值,则说明待检测包裹存在破损。
从上述内容可以看出,本申请的检测方法先对检测图像进行破损恢复处理,得到恢复图像,然后分别对恢复图像、检测图像进行特征提取,得到第一图像特征、第二图像特征,最后基于第一图像特征、第二图像特征之间的差异而判断待检测包裹是否存在破损,该方法简单,且能够快速、准确地检测出待检测包裹是否存在破损。
参阅图2和图3,图2是本申请包裹破损的检测方法另一实施方式的流程示意图,图3是对应图2方法的框架流程示意图,该方法包括:
S210:获取待检测包裹至少两个面的特征图像。
具体地,特征图像包括色彩子图像(也就是RGB三通道色彩图像)以及深度子图像(也就是Depth深度图像),也就是说特征图像为RGB-D图像。
在一应用场景中,为了后续能够准确地构建待检测包裹的三维图像,此时获取待检测包裹各个面的RGB-D图像。
例如,待检测包裹包括6个面,则步骤S210获取待检测包裹6个面的RGB-D图像,其中在获取6个面的RGB-D图像时,可以设置三个分别垂直于三个相邻面的摄像头,然后让该三个摄像头先采集待检测包裹3个面的RGB-D图像,接着通过机械手将待检测包裹翻转,最后再让该三个摄像头采集待检测包裹另3个面的RGB-D图像,从而获取到待检测包裹6个面的RGB-D图像。
S220:根据待检测包裹至少两个面的特征图像而构建待检测包裹的三维图像。
具体地,根据待检测包裹至少两个面的RGB-D图像,采用3D重建技术(例如PIFuHD方法)构建待检测包裹的三维图像。
可以理解的是,在步骤S210获取的是所有面的特征图像时,此时步骤S220则根据待检测包裹所有面的特征图像构建三维图像。
相比二维图像,三维图像能够凸显二维图像中不明显的诸如凹陷、褶皱、破洞等特征,从而保证后续特征识别更加准确,且能够使整个检测方法支持多种类别的包裹破损的检测识别,其中多种类别可以包括凹陷、褶皱、破洞等。
可以理解的是,步骤S210中获取的RGB-D图像的分辨率越高,对应构建的三维图像更加精准,能够更好地保留待检测包裹的特征。
同时可以理解的是,由于是根据待检测包裹各个面的RGB-D图像而构建待检测包裹的三维图像,因此构建得到的三维图像包含待检测包裹各个面的特征信息,从而本实施方式的检测方法能够检测出待检测包裹的所有面是否存在破损。
而在其他实施方式中,当只需要判断待检测包裹的特定面是否存在破损时,步骤S210可以只获取待检测包裹对应特定面的RGB-D图像,然后步骤S220构建的三维图像只包括对应特定面的特征信息。
需要说明的是,在其他实施方式中,还可以采用其他方式获取待检测包裹的三维图像,在此不做限制。
S230:利用预先训练好的深度学习模型中的破损恢复模块对待检测包裹的三维图像进行破损恢复处理,得到恢复图像。
具体地,为了提高破损恢复处理的效率,在此利用预先训练好的深度学习模型中的破损恢复模块对步骤S220中的三维图像进行破损恢复处理。
其中该深度学习模型预先训练好,将图像(可以是二维图像,也可以是三维图像)输入深度学习模型中后,深度学习模型中的破损恢复模块接收该图像,然后对接收到的图像进行破损恢复处理,最后输出经过破损恢复处理的恢复图像。
其中预先训练好的深度学习模型是生成对抗网络,破损恢复模块是生成对抗网络中的生成器。
S240:利用深度学习模型中的特征提取模块对恢复图像进行特征提取,得到第一图像特征。
具体地,为了提高特征提取的效率,在此利用特征提取模块对步骤S230得到的恢复图像进行特征提取,其中,特征提取模块也是深度学习中的模块,其是生成对抗网络中的判别器,深度学习模型中的破损恢复模块输出恢复图像后,特征提取模块接收该恢复图像,并对恢复图像进行特征提取,输出恢复图像的第一图像特征。
S250:利用深度学习模型中的特征提取模块对检测图像进行特征提取,得到第二图像特征。
具体地,步骤S250中的深度学习模型与步骤S230、步骤S240中的深度学习模型是同一个模型。此时直接将检测图像输入深度学习模型中的特征提取模块而得到第二图像特征。
需要说明的是,在其他实施方式中,对检测图像特征提取的模块和对恢复图像进行特征提取的模块也可以不是同一个模块,在此不做限制。
S260:将第一图像特征和第二图像特征进行比对。
S270:基于第一图像特征与第二图像特征的差异而判断待检测包裹是否存在破损。
具体地,得到第一图像特征和第二图像特征后,将两者进行比对,例如通过数学公式计算两者的差异,然后基于两者的差异而判断待检测包裹是否存在破损。
在一应用场景中,当判定待检测包裹存在破损时,可以进行报警提示,其中报警提示的方式可以是声音报警、光亮报警中的至少一种。
其中上述深度学习模型的训练过程包括:
(a)获取训练数据集,训练数据集包括破损包裹的真实破损图像以及与破损包裹对应的无破损包裹的真实无破损图像,以及无破损包裹的两张真实无破损图像。
具体地,训练数据集包括成对的图像,一对图像要么包括破损包裹的真实破损图像以及与破损包裹对应的无破损包裹的真实无破损图像,即包括同一件包裹存在破损时的真实破损图像以及不存在破损时的真实无破损图像,要么包括无破损包裹的两张真实无破损图像,即同一件包裹不存在破损时的两张真实无破损图像。
同时,当训练数据集中只存在少量破损包裹的真实破损图像时,可以通过对无破损包裹的真实无破损图像添加噪声等伪造信息而模拟破损包裹的真实破损图像,此时依旧能够得到破损包裹的真实破损图像以及与破损包裹对应的无破损包裹的真实无破损图像,也就是说,本实施方式的训练方法可以不需要大量的破损包裹的真实破损图像。
(b)以真实破损图像作为输入,与真实破损图像对应的真实无破损图像作为监督,或者,以两张真实无破损图像中的一张作为输入,另一张作为监督,对破损恢复模块进行训练。
(c)以破损恢复模块输出的虚假无破损图像作为输入,虚假无破损图像的图像特征作为监督,或者,以真实无破损图像作为输入,真实无破损图像的图像特征作为监督,对特征提取模块进行训练。
具体地,在训练生成对抗网络的过程中,生成器的目标就是尽量生成真实的图像去欺骗判别器,而判别器的目标就是尽量把生成器生成的图像和真实的图像区别开来,这样生成器和判别器就构成了一个动态的博弈过程。也就是说,生成器的任务是生成接近真图像的假图像,而判别器的任务是在接收真图像和生成器生成的假图像后,判断接收到的图像是属于真图像还是假图像。
基于上述,本实施方式中在对破损恢复模块进行训练,即对生成对抗网络中的生成器进行训练时,一种情况是以真实破损图像作为输入,与真实破损图像对应的真实无破损图像(即真实破损图像中的破损包裹不存在破损时的真实无破损图像)作为监督,另一种情况是以两张真实无破损图像中的一张作为输入,另一张作为监督,即,使破损恢复模块输出的图像越接近真实无破损图像。其中在训练时,使用3D卷积(例如PointNet++方法)对接收的图像进行特征重建,以对应的监督图像的特征信息作为监督。
在对特征提取模块,即对生成对抗网络中的判别器进行训练时,以虚假无破损图像作为输入,虚假无破损图像的图像特征作为监督,或者,以真实无破损图像作为输入,真实无破损图像的图像特征作为监督,对特征提取模块进行训练。
其中在训练生成对抗网络时,第一阶段:固定判别器的参数,训练生成器,该阶段先使用一个有一些判别能力的判别器,让生成器不断产生假图像去给该判别器判断,一开始由于生成器“很弱”,其生成的假图像很容易被判别器揪出,但是随着不断的训练,生成器的技能不断提升,最终“骗过了”判别器,然后进入第二阶段:固定生成器的参数,训练判别器,经过该阶段的不断训练,判别器提升了自己的鉴别能力,最终可以准确地判断出所有的假图片,此时生成器已经无法骗过判别器;然后循环第一阶段和第二阶段,最终通过不断的循环,生成器和判别器的能力越来越强,最终生成对抗网络达到收敛,即完成生成对抗网络的训练过程。其中,当生成对抗网络最终收敛时,判别器对于真图像以及生成器生成的假图像均认为是真图像。
也就是说,在训练本实施方式的深度学习模块时,第一阶段先固定特征提取模块的参数,训练破损恢复模块,第二阶段先固定破损恢复模块的参数,训练特征提取模块的参数,循环第一阶段和第二阶段,最终使深度学习模块达到收敛。其中,当深度学习模型最终收敛时,特征提取模块不管是虚假无破损图像还是真实无破损图像,其输出的图像特征均是真实无破损图像的图像特征。
在一应用场景中,在训练特征提取模块时,利用元素全为0的特征向量作为虚假无破损图像的图像特征,以及,利用元素全为1的特征向量作为真实无破损图像的图像特征。
具体地,将虚假无破损图像、真实无破损图像分别划分成若干个区域,用一个0或1分别表示每个区域的图像特征,从而虚假无破损图像、真实无破损图像的图像特征均为特征向量,可以理解的是,特征向量中元素的个数与虚假无破损图像/真实无破损图像所包括区域的个数相同。由于作为监督的图像特征为特征向量,因此特征提取模块对应输出的也为特征向量。
上述利用特征向量作为图像特征,可以考虑到图像不同部分的影响,特征提取模块输出的特征向量中的每一个元素代表破损恢复模块生成的图像中每一区域的生成质量,从而能够使得深度学习模型在训练时更加关注图像细节,破损恢复模块生成的图像的质量更高。
另外考虑到误差因素,特征提取模块输出特征向量中的元素可能不全是0或不全是1,此时在训练过程中无法进行特征提取模块输出的特征向量与监督用的特征向量的比较,因此本实施方式在训练特征提取模块时,还会计算特征提取模块输出的图像特征中元素的平均值,若平均值大于阈值,则将特征提取模块输出的图像特征中所有的元素均置1,否则均置0。
例如,在训练过程中,特征提取模块输出的特征向量为(0,0,0,0,0,0,1,1,1),则计算出平均值为三分之一,而由于阈值为0.5,因此将特征提取模块输出的图像特征中所有元素均置0,也就是说,此时特征提取模块识别出其接收到的图像为破损恢复模块生成的虚假无破损模块,又例如,特征提取模块输出的特征向量为(1,0,1,1,1,1,1,1,1),则计算出平均值为九分之八,而由于阈值为0.5,因此将特征提取模块输出的图像特征中所有元素均置1,也就是说,此时特征提取模块识别出其接收到的图像为真实无破损图像。
需要说明的是,上述根据平均值和阈值的比较而将特征提取模块输出的图像特征中所有的元素均置0或1只需要在训练过程中执行,在测试过程中,特征提取模块在对恢复图像或者检测图像进行特征提取时,直接将输出的特征向量作为第一图像特征或者第二图像特征。
在经过上述训练过程后,在测试过程中,第一图像特征和第二图像特征均为特征向量,因此步骤S260将第一图像特征和第二图像特征进行比对的过程可以是计算两个特征向量的特征向量距离(例如余弦距离)是否大于距离阈值,若是,则判定第一图像特征与第二图像特征差异较大,进而判定待检测包裹存在破损,否则判定第一图像特征与第二图像特征差异较小,判定待检测包裹不存在破损。
其中,还可以数字以0或1表示第一图像特征和第二图像特征的差异,例如,若第一图像特征和第二图像特征的特征向量距离大于距离阈值,则输出1,判定待检测包裹存在破损,否则输出0,判定待检测包裹不存在破损。
参阅图4,图4是本申请检测装置一实施方式的结构示意图。该检测装置200包括处理器210、存储器220以及通信电路230,处理器210分别耦接存储器220、通信电路230,存储器220中存储有程序数据,处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式包裹破损的检测方法中的步骤,其中详细的步骤可参见上述实施方式,在此不再赘述。
其中,检测装置200可以是任一项具有图像处理能力的装置,例如手机、台式电脑、平板电脑等,在此不做限制。
参阅图5,图5是本申请检测装置另一实施方式的结构示意图。该检测装置300包括图像获取模块310、破损恢复模块320、特征提取模块330以及特征比对模块340。
图像获取模块310用于获取待检测包裹的检测图像。
破损恢复模块320与图像获取模块310连接,用于对检测图像进行破损恢复处理,得到恢复图像。
特征提取模块330与破损恢复模块320连接,用于对恢复图像进行特征提取,得到第一图像特征,以及对检测图像进行特征提取,得到第二图像特征。
特征比对模块340与特征提取模块330连接,用于基于第一图像特征与第二图像特征的差异而判断待检测包裹是否存在破损。
在一实施方式中,图像获取模块310具体用于获取待检测包裹的三维图像。
在一实施方式中,图像获取模块310具体用于获取待检测包裹的特征图像,特征图像至少包括彩色图像以及深度子图像,然后根据特征图像而构建待检测包裹的三维图像。
在一实施方式中,图像获取模块310具体用于采用PIFuHD技术根据特征图像而构建待检测包裹的三维图像。
在一实施方式中,图像获取模块310还具体用于获取待检测包裹至少两个表面的特征图像。
在一实施方式中,破损恢复模块320具体用于利用预先训练好的深度学习模型中的破损恢复模块对检测图像进行破损恢复处理,得到恢复图像。
在一实施方式中,特征提取模块330具体用于利用深度学习模型中的特征提取模块对恢复图像进行特征提取,得到第一图像特征。
在一实施方式中,检测装置300还包括模型训练模块,用于训练深度学习模型,具体地,模型训练模块首先获取训练数据集,训练数据集包括破损包裹的真实破损图像以及与破损包裹对应的无破损包裹的真实无破损图像,以及无破损包裹的两张真实无破损图像;然后以真实破损图像作为输入,与真实破损图像对应的真实无破损图像作为监督,或者,以两张真实无破损图像中的一张作为输入,另一张作为监督,对破损恢复模块进行训练;以及,以破损恢复模块输出的虚假无破损图像作为输入,虚假无破损图像的图像特征作为监督,或者,以真实无破损图像作为输入,真实无破损图像的图像特征作为监督,对特征提取模块进行训练。
在一实施方式中,模型训练模块还用于利用元素全为0的特征向量作为虚假无破损图像的图像特征;利用元素全为1的特征向量作为真实无破损图像的图像特征。
在一实施方式中,模型训练模块还用于在训练特征提取模块时,计算特征提取模块输出的图像特征中元素的平均值;若平均值大于阈值,则将特征提取模块输出的图像特征中所有的元素均置1,否则均置0。
在一实施方式中,特征提取模块330还具体用于利用深度学习模型中的特征提取模块对检测图像进行特征提取,得到第二图像特征。
其中,检测装置300可以是任一项具有图像处理能力的装置,例如手机、台式电脑、平板电脑等,在此不做限制。
参阅图6,图6是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410,计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。
其中,计算机可读存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储计算机程序410的装置,或者也可以为存储有该计算机程序410的服务器,该服务器可将存储的计算机程序410发送给其他设备运行,或者也可以自运行该存储的计算机程序410。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种包裹破损的检测方法,其特征在于,所述方法包括:
获取待检测包裹至少两个表面中各表面的特征图像RGB-D;并根据所述至少两个表面中各表面的特征图像RGB-D,构建所述待检测包裹的三维图像作为三维的检测图像;其中,所述特征图像RGB-D至少基于所述待检测包裹中对应表面的彩色子图像以及深度子图像确定;
对所述三维的检测图像中所述待检测包裹的破损处进行破损恢复处理,得到三维的恢复图像;
基于相同的特征提取策略分别对所述三维的恢复图像、所述三维的检测图像进行特征提取,得到第一图像特征和第二图像特征;
若所述第一图像特征与所述第二图像特征之间的差异超过差异阈值,则确定所述待检测包裹存在破损。
2.根据权利要求1所述的方法,其特征在于,所述根据所述至少两个表面中各表面的特征图像RGB-D,构建所述待检测包裹的三维图像作为三维的检测图像的步骤,包括:
采用PIFuHD技术根据所述各表面的特征图像RGB-D进行三维重构,得到所述待检测包裹的所述三维图像。
3.根据权利要求1所述的方法,其特征在于,所述对所述三维的检测图像中所述待检测包裹的破损处进行破损恢复处理,得到三维的恢复图像的步骤,包括:
利用预先训练好的深度学习模型中的破损恢复模块对所述三维的检测图像中所述待检测包裹的破损处进行破损恢复处理,得到所述三维的恢复图像。
4.根据权利要求3所述的方法,其特征在于,对所述三维的恢复图像进行特征提取,得到所述第一图像特征的步骤,包括:
利用所述深度学习模型中的特征提取模块对所述三维的恢复图像进行特征提取,得到所述第一图像特征。
5.根据权利要求4所述的方法,其特征在于,在所述获取待检测包裹至少两个表面中各表面的特征图像RGB-D之前,还包括:
获取训练数据集,所述训练数据集包括破损包裹的真实破损图像以及与所述破损包裹对应的无破损包裹的真实无破损图像,以及无破损包裹的两张真实无破损图像;
以所述真实破损图像作为输入,与所述真实破损图像对应的真实无破损图像作为监督,或者,以所述两张真实无破损图像中的一张作为输入,另一张作为监督,对所述破损恢复模块进行训练;
以所述破损恢复模块输出的虚假无破损图像作为输入,所述虚假无破损图像的图像特征作为监督,或者,以所述真实无破损图像作为输入,所述真实无破损图像的图像特征作为监督,对所述特征提取模块进行训练。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
利用元素全为0的特征向量作为所述虚假无破损图像的图像特征;
利用元素全为1的特征向量作为所述真实无破损图像的图像特征。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在训练所述特征提取模块时,计算所述特征提取模块输出的图像特征中元素的平均值;
若所述平均值大于阈值,则将所述特征提取模块输出的图像特征中所有的元素均置1,否则均置0。
8.根据权利要求4所述的方法,其特征在于,对三维的所述检测图像进行特征提取,得到所述第二图像特征的步骤,包括:
利用所述深度学习模型中的所述特征提取模块对所述三维的检测图像进行特征提取,得到所述第二图像特征。
9.一种检测装置,其特征在于,所述检测装置包括处理器、存储器以及通信电路,所述处理器分别耦接所述存储器、所述通信电路,所述存储器中存储有程序数据,所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1至8任一项所述方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552582.4A CN113487534B (zh) | 2021-05-20 | 2021-05-20 | 包裹破损的检测方法、检测装置及计算机可读存储介质 |
PCT/CN2021/120370 WO2022242001A1 (en) | 2021-05-20 | 2021-09-24 | Systems and methods for subject detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552582.4A CN113487534B (zh) | 2021-05-20 | 2021-05-20 | 包裹破损的检测方法、检测装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113487534A CN113487534A (zh) | 2021-10-08 |
CN113487534B true CN113487534B (zh) | 2022-08-09 |
Family
ID=77933600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110552582.4A Active CN113487534B (zh) | 2021-05-20 | 2021-05-20 | 包裹破损的检测方法、检测装置及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113487534B (zh) |
WO (1) | WO2022242001A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673542B (zh) * | 2021-10-23 | 2022-02-08 | 深圳希研工业科技有限公司 | 基于物联网的快递包裹破损识别方法及系统 |
CN115834453B (zh) * | 2023-02-14 | 2023-06-02 | 浙江德塔森特数据技术有限公司 | 手持协议检测终端的协议检测方法和手持协议检测终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011017241A1 (en) * | 2009-08-05 | 2011-02-10 | Siemens Industry, Inc. | System and method for three-dimensional parcel monitoring and analysis |
CN109557109A (zh) * | 2018-12-29 | 2019-04-02 | 中国肉类食品综合研究中心 | 冷冻肉品包装状态的检测方法及装置 |
CN110119677A (zh) * | 2019-03-28 | 2019-08-13 | 东南大学 | 基于图像分类网络的碳纤维复合芯电缆破损检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740617A (zh) * | 2019-01-08 | 2019-05-10 | 国信优易数据有限公司 | 一种图像检测方法及装置 |
JP7324116B2 (ja) * | 2019-10-15 | 2023-08-09 | キヤノン株式会社 | 異物検査装置および異物検査方法 |
CN111382785B (zh) * | 2020-03-04 | 2023-09-01 | 武汉精立电子技术有限公司 | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 |
CN111767802B (zh) * | 2020-06-05 | 2024-02-06 | 京东科技控股股份有限公司 | 一种对象异常状态的检测方法和装置 |
CN112767331B (zh) * | 2021-01-08 | 2022-10-04 | 北京航空航天大学 | 基于零样本学习的图像异常检测方法 |
-
2021
- 2021-05-20 CN CN202110552582.4A patent/CN113487534B/zh active Active
- 2021-09-24 WO PCT/CN2021/120370 patent/WO2022242001A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011017241A1 (en) * | 2009-08-05 | 2011-02-10 | Siemens Industry, Inc. | System and method for three-dimensional parcel monitoring and analysis |
CN109557109A (zh) * | 2018-12-29 | 2019-04-02 | 中国肉类食品综合研究中心 | 冷冻肉品包装状态的检测方法及装置 |
CN110119677A (zh) * | 2019-03-28 | 2019-08-13 | 东南大学 | 基于图像分类网络的碳纤维复合芯电缆破损检测方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022242001A1 (en) | 2022-11-24 |
CN113487534A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113487534B (zh) | 包裹破损的检测方法、检测装置及计算机可读存储介质 | |
EP3709266A1 (en) | Human-tracking methods, apparatuses, systems, and storage media | |
CN108229262B (zh) | 一种色情视频检测方法及装置 | |
CN111860414A (zh) | 一种基于多特征融合检测Deepfake视频方法 | |
EP3054421A1 (en) | Method of fast and robust camera location ordering | |
CN115588190A (zh) | 一种成熟果实识别和采摘点定位方法及装置 | |
Wang et al. | VoPiFNet: Voxel-Pixel Fusion Network for Multi-Class 3D Object Detection | |
US10628998B2 (en) | System and method for three dimensional object reconstruction and quality monitoring | |
CN112766040A (zh) | 残余饵料的探测方法、设备、装置及可读存储介质 | |
CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
Kantarcı et al. | Shuffled patch-wise supervision for presentation attack detection | |
CN113537145B (zh) | 目标检测中误、漏检快速解决的方法、装置及存储介质 | |
CN111259680A (zh) | 二维码图像二值化处理方法及装置 | |
CN113128430A (zh) | 人群聚集检测方法、装置、电子设备和存储介质 | |
CN113065379B (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
CN116543001B (zh) | 彩色图像边缘检测方法及装置、设备、存储介质 | |
CN116977895A (zh) | 用于通用相机镜头的污渍检测方法、装置及计算机设备 | |
US20230005162A1 (en) | Image processing system, image processing method, and storage medium | |
CN113807237B (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
CN114419102A (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
CN112861764A (zh) | 一种人脸识别活体判断方法 | |
CN112395990A (zh) | 多帧红外图像弱小目标检测方法、装置、设备和存储介质 | |
CN116151917B (zh) | 一种基于三维模型的交易确权方法及系统 | |
CN114511591B (zh) | 轨迹跟踪方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |