CN115861146A - 一种目标被遮挡的处理方法、装置、电子设备及存储介质 - Google Patents

一种目标被遮挡的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115861146A
CN115861146A CN202310177595.7A CN202310177595A CN115861146A CN 115861146 A CN115861146 A CN 115861146A CN 202310177595 A CN202310177595 A CN 202310177595A CN 115861146 A CN115861146 A CN 115861146A
Authority
CN
China
Prior art keywords
map
luminosity
pixel
diagram
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310177595.7A
Other languages
English (en)
Other versions
CN115861146B (zh
Inventor
蔡浩朗
张抱日
蒙象华
李佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202310177595.7A priority Critical patent/CN115861146B/zh
Publication of CN115861146A publication Critical patent/CN115861146A/zh
Application granted granted Critical
Publication of CN115861146B publication Critical patent/CN115861146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域，公开了一种目标被遮挡的处理方法、装置、电子设备及存储介质，其方法包括：获取被遮挡接口的接口图片和参考图片，提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，以提高被遮挡接口的定位精准度。

Description

一种目标被遮挡的处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种目标被遮挡的处理方法、装置、电子设备及存储介质。
背景技术
在工业制造领域中，基于机器人的自动化作业已被广泛应用,机器人在生产作业中逐步代替人工，在不同生产工序中都能持续完成毫米级甚至是亚毫米级的自动化作业。近年来，由于视觉技术的高速发展，机器人与视觉的结合给机器人带来智能化的提升，能出色完成多种实时的高精度检测与作业，在拓宽了机器人应用场景的同时也带来了许多新的任务挑战。
在各种电子硬件产品中，产品从生产到出库之前要经过测试以保证产品的合格，其中，硬件接口的种类与位置的多样性导致其需要高精度的插拔，现阶段对硬件接口的测试一般是通过人工进行线束插拔来连接或断开测试模块与产品的硬件接口，其人工成本比较高，因此，想要实现自动化，采用基于视觉伺服的机器人作业时，某些需要插拔线束的硬件接口被其他物体遮挡，譬如线束，导致机器人的视觉系统无法准确获取被线束遮挡的硬件接口的数据，其数据的不完整性会影响视觉检测和定位的效果，尤其是当硬件接口的线束插拔精度需求较高的时候，问题会更显突出，并且现有技术中无法实现对被遮挡的接口进行精确定位，因此，有必要对前端检测出来的被部分遮挡的线束接口进行自动分析、图像修复，从而提取被遮挡的接口信息，便于后端解决定位问题，从而实现自动插拔线束。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种目标被遮挡的处理方法、装置、电子设备及存储介质，对被遮挡的接口图片进行图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
第一方面，本申请提供了一种目标被遮挡的处理方法，应用于视觉检测系统，包括步骤：
A1.获取被遮挡接口的接口图片和参考图片，并提取所述接口图片的光度图以及所述参考图片的参考光度图和参考色度图；
A2.根据所述接口图片的光度图获取光度梯度图，并根据所述参考图片的参考光度图获取参考光度梯度图；
A3.基于模板匹配方法，把所述光度梯度图和所述参考光度梯度图融合得到融合光度梯度图；
A4.根据所述融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对所述参考色度图进行融合处理以得到融合色度图；
A5.融合所述融合光度图和所述融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
本申请通过获取被遮挡接口的接口图片的光度图，并根据光度图获取光度梯度图，获取参考图片的参考光度图，并根据参考光度图获取参考光度梯度图，采用模板匹配方法，把光度梯度图和参考光度梯度图进行融合处理得到融合光度梯度图并获取对应的融合光度图，根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图，最后将融合光度图和融合色度图进行融合，从而得到对应的RGB图作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
优选地，所述获取被遮挡接口的接口图片的步骤包括：
将包含所述被遮挡接口的产品的图片输入预先训练好的的卷积神经网络模型，以获取所述接口图片。
本申请采用预先训练好的卷积神经网络模型来快速获取接口图片，简化处理过程，提高工作效率。
优选地，所述参考色度图包括参考蓝色色度图和参考红色色度图。
优选地，步骤A2包括：
依次以所述光度图和所述参考光度图上的各像素点作为第一目标像素点和第一目标参考像素点；
根据以下公式分别计算各个所述第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值：
Figure SMS_1
；
Figure SMS_2
；
其中，
Figure SMS_3
是坐标为/>
Figure SMS_6
的所述第一目标像素点在X方向上的所述第一梯度值，/>
Figure SMS_17
是坐标为/>
Figure SMS_9
的所述第一目标像素点在Y方向上的所述第二梯度值,
Figure SMS_14
是所述光度图的坐标为/>
Figure SMS_8
的像素点的像素值，/>
Figure SMS_15
是所述光度图的坐标为/>
Figure SMS_11
的像素点的像素值，/>
Figure SMS_18
是所述光度图的坐标为/>
Figure SMS_5
的像素点的像素值，/>
Figure SMS_13
是所述光度图的坐标为/>
Figure SMS_7
的像素点的像素值，
Figure SMS_16
是所述光度图的坐标为/>
Figure SMS_4
的像素点的像素值，/>
Figure SMS_12
是所述第一目标像素点的总行数，/>
Figure SMS_10
是所述第一目标像素点的总列数；
根据以下公式分别计算各个所述第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值：
Figure SMS_19
；/>
Figure SMS_20
；
其中，
Figure SMS_26
是坐标为/>
Figure SMS_23
的所述第一目标参考像素点在X方向上的所述第一参考梯度值，/>
Figure SMS_32
是坐标为/>
Figure SMS_27
的所述第一目标参考像素点在Y方向上的所述第二参考梯度值，/>
Figure SMS_33
是所述参考光度图的坐标为/>
Figure SMS_22
的像素点的像素值，
Figure SMS_31
是所述参考光度图的坐标为/>
Figure SMS_24
的像素点的像素值，/>
Figure SMS_30
是所述参考光度图的坐标为/>
Figure SMS_21
的像素点的像素值，/>
Figure SMS_29
是所述参考光度图的坐标为
Figure SMS_28
的像素点的像素值，/>
Figure SMS_34
是所述参考光度图的坐标为/>
Figure SMS_35
的像素点的像素值，/>
Figure SMS_36
是所述第一目标参考像素点的总行数，/>
Figure SMS_25
是所述第一目标参考像素点的总列数；
根据所述第一梯度值、所述第二梯度值、所述第一参考梯度值和所述第二参考梯度值，通过以下公式分别计算所述光度梯度图和所述参考光度梯度图的各像素点的像素值：
Figure SMS_37
；
Figure SMS_38
；
其中，
Figure SMS_39
是所述光度梯度图的坐标为/>
Figure SMS_40
的像素点的像素值，/>
Figure SMS_41
是所述参考光度梯度图的坐标为/>
Figure SMS_42
的像素点的像素值。
优选地，所述融合色度图包括蓝色融合色度图和红色融合色度图；
步骤A3包括：
对所述光度梯度图和所述参考光度梯度图的像素点进行匹配，以确定所述光度梯度图的匹配成功的第一像素点和匹配不成功的第二像素点；
根据所述第一像素点的坐标和所述参考光度梯度图上与所述第一像素点匹配的第一匹配像素点的坐标，计算各所述第一像素点相对对应的所述第一匹配像素点之间的第一坐标偏移值和所述光度梯度图相对所述参考光度梯度图的整体坐标偏移值；
根据以下公式计算所述融合光度梯度图、所述蓝色融合色度图和所述红色融合色度图各像素点的像素值：
Figure SMS_43
；
Figure SMS_44
；/>
Figure SMS_45
；
Figure SMS_46
；
其中，
Figure SMS_65
是所述光度梯度图的坐标为/>
Figure SMS_48
的像素点对应的参考系数，
Figure SMS_57
是所述融合光度梯度图的坐标为/>
Figure SMS_50
的像素点的像素值，/>
Figure SMS_60
是所述光度梯度图的坐标为/>
Figure SMS_51
的像素点的像素值，/>
Figure SMS_61
是所述参考光度梯度图的坐标为/>
Figure SMS_63
的像素点的像素值，/>
Figure SMS_67
是所述蓝色融合色度图的坐标为/>
Figure SMS_47
的像素点的像素值，/>
Figure SMS_55
是所述参考蓝色色度图的坐标为/>
Figure SMS_52
的像素点的像素值，/>
Figure SMS_62
是所述参考蓝色色度图的坐标为/>
Figure SMS_53
的像素点的像素值，/>
Figure SMS_59
是所述参考红色色度图的坐标为/>
Figure SMS_49
的像素点的像素值，/>
Figure SMS_56
是所述参考红色色度图的坐标为/>
Figure SMS_64
的像素点的像素值，/>
Figure SMS_68
是所述红色融合色度图的坐标为/>
Figure SMS_54
的像素点的像素值，/>
Figure SMS_58
是坐标为/>
Figure SMS_66
的所述第一像素点对应的所述第一坐标偏移值，/>
Figure SMS_69
是所述整体坐标偏移值。
优选地，步骤A1包括：
获取被遮挡接口的接口图片和参考图片；
将所述接口图片转换到YCbCr图，以提取所述光度图；
将所述参考图片转换到YCbCr图，以提取所述参考光度图和所述参考色度图；
步骤A5包括：融合所述融合光度图和所述融合色度图以得到对应的YCbCr图，再转换成RGB图，并将所述RGB图作为被遮挡接口的去除遮挡物的第一输出图像。
优选地，所述根据所述融合光度梯度图获取对应的融合光度图的步骤包括：
根据所述融合光度梯度图，采用泊松方程对所述融合光度梯度图进行最优解二维重构，得到融合光度图；
对重构得到的所述融合光度图进行亮暗部补偿。
本申请通过对重构得到的融合光度图进行亮暗部补偿，使图像细节更加丰富，图像的层次更加明晰。
第二方面，本申请提供了一种目标被遮挡的处理装置，包括：
第一获取模块，用于获取被遮挡接口的接口图片和参考图片，并提取所述接口图片的光度图以及所述参考图片的参考光度图和参考色度图；
第二获取模块，用于根据所述接口图片的光度图获取光度梯度图，并根据所述参考图片的参考光度图获取参考光度梯度图；
匹配模块，用于基于模板匹配方法，把所述光度梯度图和所述参考光度梯度图融合得到融合光度梯度图；
第一融合模块，用于根据所述融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对所述参考色度图进行融合处理以得到融合色度图；
第二融合模块，用于融合所述融合光度图和所述融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述目标被遮挡的处理方法中的步骤。
第四方面，本申请提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述目标被遮挡的处理方法中的步骤。
有益效果：
本申请提供的目标被遮挡的处理方法、装置及电子设备，通过获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
附图说明
图1为本申请提供的目标被遮挡的处理方法的流程图。
图2为本申请提供的目标被遮挡的处理装置的结构示意图。
图3为本申请提供的电子设备的结构示意图。
标号说明:1、第一获取模块；2、第二获取模块；3、匹配模块；4、第一融合模块；5、第二融合模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请提供了一种目标被遮挡的处理方法，应用于视觉检测系统，包括步骤：
A1.获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；
A2.根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；
A3.基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；
A4.根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；
A5.融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
其中，参考图片是指未被遮挡的接口的产品图片。
具体地，获取被遮挡接口的接口图片的光度图，并根据光度图获取光度梯度图，获取参考图片的参考光度图，并根据参考光度图获取参考光度梯度图，采用模板匹配方法，把光度梯度图和参考光度梯度图进行融合处理，其实就是通过获取光度梯度图和参考光度梯度图匹配度较高的特征，从而融合得到新的融合光度梯度图，将融合光度梯度图通过现有技术可以获取对应的融合光度图，由于图片上的大部分信息都是表现在光度上（即光度图），剩下的部分信息表现在颜色上（即色度图），因此，在为了使被遮挡的接口图片的图像信息全部显示出来，先根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图，最后将融合光度图和融合色度图进行融合，从而得到对应的RGB图作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
在一些实施方式中，获取被遮挡接口的接口图片的步骤包括：
将包含被遮挡接口的产品的图片输入预先训练好的的卷积神经网络模型，以获取接口图片。
具体地，采用预先训练好的卷积神经网络模型来快速获取接口图片，简化处理过程，提高工作效率。其中，可采集多个包含被遮挡接口的产品的图片，人工标注各图片的接口位置（用矩形框标注，矩形框内的区域的图片即为接口图片）形成训练集，再用该训练集训练卷积神经网络模型，从而得到预先训练好的卷积神经网络模型。
在一些实施例中，参考色度图包括参考蓝色色度图和参考红色色度图。
由于本申请是将参考图片转换到YCbCr图，直接从YCbCr图中提取蓝色通道和红色通道的色度图，具体的转换和提取方法为现有技术，因此，参考色度图中包括参考蓝色色度图和参考红色色度图。
在一些实施例中，步骤A2包括：
依次以光度图和参考光度图上的各像素点作为第一目标像素点和第一目标参考像素点；
根据以下公式分别计算各个第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值：
Figure SMS_70
；/>
Figure SMS_71
；
其中，
Figure SMS_76
是坐标为/>
Figure SMS_74
的第一目标像素点在X方向上的第一梯度值，
Figure SMS_80
是坐标为/>
Figure SMS_75
的第一目标像素点在Y方向上的第二梯度值，/>
Figure SMS_81
是光度图的坐标为/>
Figure SMS_86
的像素点的像素值,/>
Figure SMS_87
是光度图的坐标为/>
Figure SMS_73
的像素点的像素值，/>
Figure SMS_84
是光度图的坐标为/>
Figure SMS_79
的像素点的像素值，/>
Figure SMS_85
是光度图的坐标为/>
Figure SMS_77
的像素点的像素值，/>
Figure SMS_82
是光度图的坐标为/>
Figure SMS_78
的像素点的像素值，/>
Figure SMS_83
是第一目标像素点的总行数，/>
Figure SMS_72
是第一目标像素点的总列数；
根据以下公式分别计算各个第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值：
Figure SMS_88
；
Figure SMS_89
；
其中，
Figure SMS_96
是坐标为/>
Figure SMS_95
的第一目标参考像素点在X方向上的第一参考梯度值，/>
Figure SMS_102
是坐标为/>
Figure SMS_91
的第一目标参考像素点在Y方向上的第二参考梯度值，
Figure SMS_99
是参考光度图的坐标为/>
Figure SMS_100
的像素点的像素值，/>
Figure SMS_105
是参考光度图的坐标为/>
Figure SMS_93
的像素点的像素值，/>
Figure SMS_104
是参考光度图的坐标为/>
Figure SMS_90
的像素点的像素值，/>
Figure SMS_98
是参考光度图的坐标为/>
Figure SMS_94
的像素点的像素值，
Figure SMS_103
是参考光度图的坐标为/>
Figure SMS_97
的像素点的像素值，/>
Figure SMS_101
是第一目标参考像素点的总行数，/>
Figure SMS_92
是第一目标参考像素点的总列数；
根据第一梯度值、第二梯度值、第一参考梯度值和第二参考梯度值，通过以下公式分别计算光度梯度图和参考光度梯度图的各像素点的像素值：
Figure SMS_106
；
Figure SMS_107
；
其中，
Figure SMS_108
是光度梯度图的坐标为/>
Figure SMS_109
的像素点的像素值，/>
Figure SMS_110
是参考光度梯度图的坐标为/>
Figure SMS_111
的像素点的像素值。
具体地，由于光度梯度图是根据光度图在X方向和Y方向上的偏差分图，因此，先通过上述公式分别计算各个第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值、各个第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值，并根据各个第一梯度值和第二梯度值即可计算出各个第一目标像素点的像素值，并根据各个第一参考梯度值和第二参考梯度值即可计算得到各个第一目标参考像素点的像素值，从而可以分别获得光度梯度图和参考光度梯度图。
在一些实施例中，融合色度图包括蓝色融合色度图和红色融合色度图；
步骤A3包括：
对光度梯度图和参考光度梯度图的像素点进行匹配，以确定光度梯度图的匹配成功的第一像素点和匹配不成功的第二像素点；
根据第一像素点的坐标和参考光度梯度图上与第一像素点匹配的第一匹配像素点的坐标，计算各第一像素点相对对应的第一匹配像素点之间的第一坐标偏移值和光度梯度图相对参考光度梯度图的整体坐标偏移值；
根据以下公式计算融合光度梯度图、蓝色融合色度图和红色融合色度图各像素点的像素值：
Figure SMS_112
；
Figure SMS_113
；
Figure SMS_114
；
Figure SMS_115
；
其中，
Figure SMS_133
是光度梯度图的坐标为/>
Figure SMS_119
的像素点对应的参考系数，
Figure SMS_126
是融合光度梯度图的坐标为/>
Figure SMS_118
的像素点的像素值，/>
Figure SMS_124
是光度梯度图的坐标为/>
Figure SMS_123
的像素点的像素值，/>
Figure SMS_132
是参考光度梯度图的坐标为
Figure SMS_116
的像素点的像素值，/>
Figure SMS_127
是蓝色融合色度图的坐标为/>
Figure SMS_117
的像素点的像素值，/>
Figure SMS_125
是参考蓝色色度图的坐标为
Figure SMS_122
的像素点的像素值，/>
Figure SMS_128
是参考蓝色色度图的坐标为/>
Figure SMS_135
的像素点的像素值，/>
Figure SMS_138
是参考红色色度图的坐标为/>
Figure SMS_120
的像素点的像素值，/>
Figure SMS_131
是参考红色色度图的坐标为/>
Figure SMS_134
的像素点的像素值，/>
Figure SMS_137
是红色融合色度图的坐标为/>
Figure SMS_121
的像素点的像素值，/>
Figure SMS_129
是坐标为/>
Figure SMS_130
的第一像素点对应的第一坐标偏移值，/>
Figure SMS_136
是整体坐标偏移值。
具体地，通过对被遮挡的接口图片的光度梯度图和参考图片的参考光度梯度图进行梯度匹配操作，从而计算各第一像素点相对对应的第一匹配像素点之间的第一坐标偏移值和光度梯度图相对参考光度梯度图的整体坐标偏移值，并以匹配成功的第一像素点对应的像素值作为融合光度梯度图的像素值，将参考系数为1对应的参考蓝色色度图的坐标为
Figure SMS_139
的像素点的像素值作为蓝色融合色度图的坐标为/>
Figure SMS_140
的像素点的像素值。将参考系数为1对应的参考红色色度图的坐标为/>
Figure SMS_141
的像素点的像素值作为红色融合色度图的坐标为/>
Figure SMS_142
的像素点的像素值。
其中，模板匹配方法采用滑动窗口方式（为现有技术），将被遮挡接口的接口图片与参考图片上各个像素点的最相似的特征（可以采用现有技术的MSSIM算法计算，具体不作限制）进行匹配，获取匹配度最高的点作为第一像素点，例如，以光度梯度图上的坐标为
Figure SMS_144
的像素点为中心，用该/>
Figure SMS_147
像素点和邻近的像素点组成的目标像素群，在参考光度梯度图上以与该目标像素群的像素尺寸相同的窗口（例如，/>
Figure SMS_149
像素点有8个邻近像素点，从而目标像素群的像素尺寸为3*3，则窗口大小为3*3；或例如，/>
Figure SMS_145
像素点为图像边缘的点，只有5个邻近像素点，从而目标像素群的像素尺寸为2*3或3*2，则窗口大小为2*3或3*2；又例如，/>
Figure SMS_148
像素点为图像角点，只有3个邻近像素点，从而目标像素群的像素尺寸为2*2，则窗口大小为2*2）进行滑窗，以得到多个备选像素群，计算该目标像素群与各备选像素群之间的匹配度，若这些匹配度中的最大值不小于预设的匹配度阈值，则把该/>
Figure SMS_150
像素点确定为匹配成功的第一像素点，并将匹配度最高的备选像素群中与/>
Figure SMS_151
像素点对应的像素点作为该/>
Figure SMS_143
像素点的第一匹配像素点；若这些匹配度中的最大值小于预设的匹配度阈值，则把该/>
Figure SMS_146
像素点确定为匹配不成功的第二像素点。
在一些实施例中，步骤A1包括：
获取被遮挡接口的接口图片和参考图片；
将接口图片转换到YCbCr图，以提取光度图；
将参考图片转换到YCbCr图，以提取参考光度图和参考色度图；
步骤A5包括：融合融合光度图和融合色度图以得到对应的YCbCr图，再转换成RGB图，并将RGB图作为被遮挡接口的去除遮挡物的第一输出图像。
具体地，为了提取光度图、参考光度图和参考色度图，对接口图片和参考图片分别转换到YCbCr图的格式，从而直接提取光度图、参考光度图和参考色度图。其中，RGB图和YCbCr图之间相互转换的方法为现有技术，从YCbCr图中提取光度图和色度图的方法为现有技术，把光度图和色度图融合为YCbCr图的方法也为现有技术，此处不对其进行详述。
在一些实施方式中，根据融合光度梯度图获取对应的融合光度图的步骤包括：
根据融合光度梯度图，采用泊松方程对融合光度梯度图进行最优解二维重构，得到融合光度图；
对重构得到的融合光度图进行亮暗部补偿。
具体地，因为融合光度梯度图是根据光度图在X方向和Y方向的偏差分图，所以理论上是通过其偏差分关系，采用融合光度梯度图反求融合光度图，然而，因为融合光度梯度图是融合图，未必是光度图保守的矢量场（其离散点在闭合路径的积分可能不为0，即没有融合光度图的解），所以这里采用泊松方程对其融合光度梯度图进行最优解二维重构得到融合光度图（其具体过程为现有技术，此处不对其进行详述），并对重构得到的融合光度图进行亮暗部补偿（可采用现有技术直方图拉伸和伽马校正相结合进行补偿微调），其中，伽马校正有助于弥补在抗锯齿的过程中，线性分配伽马值所带来的细节损失，使图像细节更加丰富。在没有采用伽马校正的情况下，暗部细节不容易显现出来，而采用了这一图像增强技术以后，图像的层次更加明晰了。
由上可知，本申请提供的目标被遮挡的处理方法，获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
请参考图2，本申请提供了一种目标被遮挡的处理装置，包括：
第一获取模块1，用于获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；
第二获取模块2，用于根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；
匹配模块3，用于基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；
第一融合模块4，用于根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；
第二融合模块5，用于融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
其中，参考图片是指未被遮挡的接口的产品图片。
具体地，获取被遮挡接口的接口图片的光度图，并根据光度图获取光度梯度图，获取参考图片的参考光度图，并根据参考光度图获取参考光度梯度图，采用模板匹配方法，把光度梯度图和参考光度梯度图进行融合处理，其实就是通过获取光度梯度图和参考光度梯度图匹配度较高的特征，从而融合得到新的融合光度梯度图，将融合光度梯度图通过现有技术可以获取对应的融合光度图，由于图片上的大部分信息都是表现在光度上（即光度图），剩下的部分信息表现在颜色上（即色度图），因此，在为了使被遮挡的接口图片的图像信息全部显示出来，先根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图，最后将融合光度图和融合色度图进行融合，从而得到对应的RGB图作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
在一些实施方式中，第一获取模块1在获取被遮挡接口的接口图片的时候，具体执行：
将包含被遮挡接口的产品的图片输入预先训练好的的卷积神经网络模型，以获取接口图片。
具体地，采用预先训练好的卷积神经网络模型来快速获取接口图片，简化处理过程，提高工作效率。其中，可采集多个包含被遮挡接口的产品的图片，人工标注各图片的接口位置（用矩形框标注，矩形框内的区域的图片即为接口图片）形成训练集，再用该训练集训练卷积神经网络模型，从而得到预先训练好的卷积神经网络模型。
在一些实施例中，参考色度图包括参考蓝色色度图和参考红色色度图。
由于本申请是将参考图片转换到YCbCr图，直接从YCbCr图中提取蓝色通道和红色通道的色度图，具体的转换和提取方法为现有技术，因此，参考色度图中包括参考蓝色色度图和参考红色色度图。
在一些实施例中，第二获取模块2在根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图的时候，具体执行：
依次以光度图和参考光度图上的各像素点作为第一目标像素点和第一目标参考像素点；
根据以下公式分别计算各个第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值：
Figure SMS_152
；
Figure SMS_153
；
其中，
Figure SMS_158
是坐标为/>
Figure SMS_156
的第一目标像素点在X方向上的第一梯度值，
Figure SMS_165
是坐标为/>
Figure SMS_160
的第一目标像素点在Y方向上的第二梯度值,/>
Figure SMS_167
是光度图的坐标为/>
Figure SMS_159
的像素点的像素值，/>
Figure SMS_162
是光度图的坐标为/>
Figure SMS_161
的像素点的像素值，/>
Figure SMS_168
是光度图的坐标为/>
Figure SMS_154
的像素点的像素值，/>
Figure SMS_164
是光度图的坐标为/>
Figure SMS_155
的像素点的像素值，/>
Figure SMS_163
是光度图的坐标为/>
Figure SMS_166
的像素点的像素值，/>
Figure SMS_169
是第一目标像素点的总行数，/>
Figure SMS_157
是第一目标像素点的总列数；
根据以下公式分别计算各个第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值：
Figure SMS_170
；
Figure SMS_171
；
其中，
Figure SMS_186
是坐标为/>
Figure SMS_176
的第一目标参考像素点在X方向上的第一参考梯度值，/>
Figure SMS_183
是坐标为/>
Figure SMS_172
的第一目标参考像素点在Y方向上的第二参考梯度值，
Figure SMS_182
是参考光度图的坐标为/>
Figure SMS_179
的像素点的像素值，/>
Figure SMS_185
是参考光度图的坐标为/>
Figure SMS_175
的像素点的像素值，/>
Figure SMS_184
是参考光度图的坐标为/>
Figure SMS_173
的像素点的像素值，/>
Figure SMS_180
是参考光度图的坐标为/>
Figure SMS_178
的像素点的像素值，
Figure SMS_187
是参考光度图的坐标为/>
Figure SMS_174
的像素点的像素值，/>
Figure SMS_181
是第一目标参考像素点的总行数，/>
Figure SMS_177
是第一目标参考像素点的总列数；
根据第一梯度值、第二梯度值、第一参考梯度值和第二参考梯度值，通过以下公式分别计算光度梯度图和参考光度梯度图的各像素点的像素值：
Figure SMS_188
；
Figure SMS_189
；
其中，
Figure SMS_190
是光度梯度图的坐标为/>
Figure SMS_191
的像素点的像素值，/>
Figure SMS_192
是参考光度梯度图的坐标为/>
Figure SMS_193
的像素点的像素值。
具体地，由于光度梯度图是根据光度图在X方向和Y方向上的偏差分图，因此，先通过上述公式分别计算各个第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值、各个第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值，并根据各个第一梯度值和第二梯度值即可计算出各个第一目标像素点的像素值，并根据各个第一参考梯度值和第二参考梯度值即可计算得到各个第一目标参考像素点的像素值，从而可以分别获得光度梯度图和参考光度梯度图。
在一些实施例中，融合色度图包括蓝色融合色度图和红色融合色度图；
匹配模块3在基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图的时候，具体执行：
对光度梯度图和参考光度梯度图的像素点进行匹配，以确定光度梯度图的匹配成功的第一像素点和匹配不成功的第二像素点；
根据第一像素点的坐标和参考光度梯度图上与第一像素点匹配的第一匹配像素点的坐标，计算各第一像素点相对对应的第一匹配像素点之间的第一坐标偏移值和光度梯度图相对参考光度梯度图的整体坐标偏移值；
根据以下公式计算融合光度梯度图、蓝色融合色度图和红色融合色度图各像素点的像素值：
Figure SMS_194
；
Figure SMS_195
；
Figure SMS_196
；/>
Figure SMS_197
；
其中，
Figure SMS_217
是光度梯度图的坐标为/>
Figure SMS_198
的像素点对应的参考系数，
Figure SMS_210
是融合光度梯度图的坐标为/>
Figure SMS_201
的像素点的像素值，/>
Figure SMS_207
是光度梯度图的坐标为/>
Figure SMS_215
的像素点的像素值，/>
Figure SMS_219
是参考光度梯度图的坐标为
Figure SMS_199
的像素点的像素值，/>
Figure SMS_206
是蓝色融合色度图的坐标为/>
Figure SMS_202
的像素点的像素值，/>
Figure SMS_208
是参考蓝色色度图的坐标为
Figure SMS_204
的像素点的像素值，/>
Figure SMS_213
是参考蓝色色度图的坐标为/>
Figure SMS_216
的像素点的像素值，/>
Figure SMS_220
是参考红色色度图的坐标为/>
Figure SMS_205
的像素点的像素值，/>
Figure SMS_211
是参考红色色度图的坐标为/>
Figure SMS_214
的像素点的像素值，/>
Figure SMS_218
是红色融合色度图的坐标为/>
Figure SMS_203
的像素点的像素值，/>
Figure SMS_209
是坐标为/>
Figure SMS_200
的第一像素点对应的第一坐标偏移值，/>
Figure SMS_212
是整体坐标偏移值。
具体地，通过对被遮挡的接口图片的光度梯度图和参考图片的参考光度梯度图进行梯度匹配操作，从而计算各第一像素点相对对应的第一匹配像素点之间的第一坐标偏移值和光度梯度图相对参考光度梯度图的整体坐标偏移值，并以匹配成功的第一像素点对应的像素值作为融合光度梯度图的像素值，将参考系数为1对应的参考蓝色色度图的坐标为
Figure SMS_221
的像素点的像素值作为蓝色融合色度图的坐标为/>
Figure SMS_222
的像素点的像素值。将参考系数为1对应的参考红色色度图的坐标为/>
Figure SMS_223
的像素点的像素值作为红色融合色度图的坐标为/>
Figure SMS_224
的像素点的像素值。
其中，模板匹配方法采用滑动窗口方式（为现有技术），将被遮挡接口的接口图片与参考图片上各个像素点的最相似的特征（可以采用现有技术的MSSIM算法计算，具体不作限制）进行匹配，获取匹配度最高的点作为第一像素点，例如，以光度梯度图上的坐标为
Figure SMS_225
的像素点为中心，用该/>
Figure SMS_229
像素点和邻近的像素点组成的目标像素群，在参考光度梯度图上以与该目标像素群的像素尺寸相同的窗口（例如，/>
Figure SMS_232
像素点有8个邻近像素点，从而目标像素群的像素尺寸为3*3，则窗口大小为3*3；或例如，/>
Figure SMS_227
像素点为图像边缘的点，只有5个邻近像素点，从而目标像素群的像素尺寸为2*3或3*2，则窗口大小为2*3或3*2；又例如，/>
Figure SMS_228
像素点为图像角点，只有3个邻近像素点，从而目标像素群的像素尺寸为2*2，则窗口大小为2*2）进行滑窗，以得到多个备选像素群，计算该目标像素群与各备选像素群之间的匹配度，若这些匹配度中的最大值不小于预设的匹配度阈值，则把该/>
Figure SMS_231
像素点确定为匹配成功的第一像素点，并将匹配度最高的备选像素群中与/>
Figure SMS_233
像素点对应的像素点作为该/>
Figure SMS_226
像素点的第一匹配像素点；若这些匹配度中的最大值小于预设的匹配度阈值，则把该/>
Figure SMS_230
像素点确定为匹配不成功的第二像素点。
在一些实施例中，第一获取模块1在获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图的时候，具体执行：
获取被遮挡接口的接口图片和参考图片；
将接口图片转换到YCbCr图，以提取光度图；
将参考图片转换到YCbCr图，以提取参考光度图和参考色度图；
第二融合模块5在融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像的时候，具体执行：融合融合光度图和融合色度图以得到对应的YCbCr图，再转换成RGB图，并将RGB图作为被遮挡接口的去除遮挡物的第一输出图像。
具体地，为了提取光度图、参考光度图和参考色度图，对接口图片和参考图片分别转换到YCbCr图的格式，从而直接提取光度图、参考光度图和参考色度图。其中，RGB图和YCbCr图之间相互转换的方法为现有技术，从YCbCr图中提取光度图和色度图的方法为现有技术，把光度图和色度图融合为YCbCr图的方法也为现有技术，此处不对其进行详述。
在一些实施方式中，第一融合模块4在根据融合光度梯度图获取对应的融合光度图的时候，具体执行：
根据融合光度梯度图，采用泊松方程对融合光度梯度图进行最优解二维重构，得到融合光度图；
对重构得到的融合光度图进行亮暗部补偿。
具体地，因为融合光度梯度图是根据光度图在X方向和Y方向的偏差分图，所以理论上是通过其偏差分关系，采用融合光度梯度图反求融合光度图，然而，因为融合光度梯度图是融合图，未必是光度图保守的矢量场（其离散点在闭合路径的积分可能不为0，即没有融合光度图的解），所以这里采用泊松方程对其融合光度梯度图进行最优解二维重构得到融合光度图（其具体过程为现有技术，此处不对其进行详述），并对重构得到的融合光度图进行亮暗部补偿（可采用现有技术直方图拉伸和伽马校正相结合进行补偿微调），其中，伽马校正有助于弥补在抗锯齿的过程中，线性分配伽马值所带来的细节损失，使图像细节更加丰富。在没有采用伽马校正的情况下，暗部细节不容易显现出来，而采用了这一图像增强技术以后，图像的层次更加明晰了。
由上可知，本申请提供的目标被遮挡的处理装置，获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像，即完成对被遮挡的接口图片的图像修复，从而有利于提取被遮挡的接口图片的信息以提高被遮挡接口的定位精准度。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的目标被遮挡的处理方法，以实现以下功能：获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的目标被遮挡的处理方法，以实现以下功能：获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；根据接口图片的光度图获取光度梯度图，并根据参考图片的参考光度图获取参考光度梯度图；基于模板匹配方法，把光度梯度图和参考光度梯度图融合得到融合光度梯度图；根据融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对参考色度图进行融合处理以得到融合色度图；融合融合光度图和融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（StaticRandom Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标被遮挡的处理方法，应用于视觉检测系统，其特征在于，包括步骤：
A1.获取被遮挡接口的接口图片和参考图片，并提取所述接口图片的光度图以及所述参考图片的参考光度图和参考色度图；
A2.根据所述接口图片的光度图获取光度梯度图，并根据所述参考图片的参考光度图获取参考光度梯度图；
A3.基于模板匹配方法，把所述光度梯度图和所述参考光度梯度图融合得到融合光度梯度图；
A4.根据所述融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对所述参考色度图进行融合处理以得到融合色度图；
A5.融合所述融合光度图和所述融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
2.根据权利要求1所述的目标被遮挡的处理方法，其特征在于，所述获取被遮挡接口的接口图片的步骤包括：
将包含所述被遮挡接口的产品的图片输入预先训练好的的卷积神经网络模型，以获取所述接口图片。
3.根据权利要求1所述的目标被遮挡的处理方法，其特征在于，所述参考色度图包括参考蓝色色度图和参考红色色度图。
4.根据权利要求3所述的目标被遮挡的处理方法，其特征在于，步骤A2包括：
依次以所述光度图和所述参考光度图上的各像素点作为第一目标像素点和第一目标参考像素点；
根据以下公式分别计算各个所述第一目标像素点在X方向的第一梯度值和Y方向的第二梯度值：
Figure QLYQS_1
；
Figure QLYQS_2
；
其中，
Figure QLYQS_7
是坐标为/>
Figure QLYQS_10
的所述第一目标像素点在X方向上的所述第一梯度值，
Figure QLYQS_17
是坐标为/>
Figure QLYQS_6
的所述第一目标像素点在Y方向上的所述第二梯度值,
Figure QLYQS_15
是所述光度图的坐标为/>
Figure QLYQS_16
的像素点的像素值，/>
Figure QLYQS_18
是所述光度图的坐标为/>
Figure QLYQS_8
的像素点的像素值，/>
Figure QLYQS_14
是所述光度图的坐标为/>
Figure QLYQS_3
的像素点的像素值，/>
Figure QLYQS_11
是所述光度图的坐标为/>
Figure QLYQS_4
的像素点的像素值，
Figure QLYQS_12
是所述光度图的坐标为/>
Figure QLYQS_9
的像素点的像素值，/>
Figure QLYQS_13
是所述第一目标像素点的总行数，/>
Figure QLYQS_5
是所述第一目标像素点的总列数；
根据以下公式分别计算各个所述第一目标参考像素点在X方向的第一参考梯度值和Y方向的第二参考梯度值：
Figure QLYQS_19
；
Figure QLYQS_20
；
其中，
Figure QLYQS_24
是坐标为/>
Figure QLYQS_25
的所述第一目标参考像素点在X方向上的所述第一参考梯度值，/>
Figure QLYQS_31
是坐标为/>
Figure QLYQS_28
的所述第一目标参考像素点在Y方向上的所述第二参考梯度值，/>
Figure QLYQS_35
是所述参考光度图的坐标为/>
Figure QLYQS_26
的像素点的像素值，
Figure QLYQS_32
是所述参考光度图的坐标为/>
Figure QLYQS_27
的像素点的像素值，/>
Figure QLYQS_33
是所述参考光度图的坐标为/>
Figure QLYQS_21
的像素点的像素值，/>
Figure QLYQS_29
是所述参考光度图的坐标为
Figure QLYQS_23
的像素点的像素值，/>
Figure QLYQS_34
是所述参考光度图的坐标为/>
Figure QLYQS_30
的像素点的像素值，/>
Figure QLYQS_36
是所述第一目标参考像素点的总行数，/>
Figure QLYQS_22
是所述第一目标参考像素点的总列数；
根据所述第一梯度值、所述第二梯度值、所述第一参考梯度值和所述第二参考梯度值，通过以下公式分别计算所述光度梯度图和所述参考光度梯度图的各像素点的像素值：
Figure QLYQS_37
；
Figure QLYQS_38
；
其中，
Figure QLYQS_39
是所述光度梯度图的坐标为/>
Figure QLYQS_40
的像素点的像素值，/>
Figure QLYQS_41
是所述参考光度梯度图的坐标为/>
Figure QLYQS_42
的像素点的像素值。
5.根据权利要求4所述的目标被遮挡的处理方法，其特征在于，所述融合色度图包括蓝色融合色度图和红色融合色度图；
步骤A3包括：
对所述光度梯度图和所述参考光度梯度图的像素点进行匹配，以确定所述光度梯度图的匹配成功的第一像素点和匹配不成功的第二像素点；
根据所述第一像素点的坐标和所述参考光度梯度图上与所述第一像素点匹配的第一匹配像素点的坐标，计算各所述第一像素点相对对应的所述第一匹配像素点之间的第一坐标偏移值和所述光度梯度图相对所述参考光度梯度图的整体坐标偏移值；
根据以下公式计算所述融合光度梯度图、所述蓝色融合色度图和所述红色融合色度图各像素点的像素值：
Figure QLYQS_43
；
Figure QLYQS_44
；/>
Figure QLYQS_45
；
Figure QLYQS_46
；
其中，
Figure QLYQS_63
是所述光度梯度图的坐标为/>
Figure QLYQS_51
的像素点对应的参考系数，
Figure QLYQS_60
是所述融合光度梯度图的坐标为/>
Figure QLYQS_53
的像素点的像素值，/>
Figure QLYQS_61
是所述光度梯度图的坐标为/>
Figure QLYQS_50
的像素点的像素值，/>
Figure QLYQS_55
是所述参考光度梯度图对应坐标为/>
Figure QLYQS_49
的像素点的像素值，/>
Figure QLYQS_57
是所述蓝色融合色度图的坐标为/>
Figure QLYQS_47
的像素点的像素值，/>
Figure QLYQS_56
是所述参考蓝色色度图的坐标为/>
Figure QLYQS_52
的像素点的像素值，/>
Figure QLYQS_59
是所述参考蓝色色度图的坐标为/>
Figure QLYQS_54
的像素点的像素值，/>
Figure QLYQS_62
是所述参考红色色度图的坐标为/>
Figure QLYQS_64
的像素点的像素值，
Figure QLYQS_67
是所述参考红色色度图的坐标为/>
Figure QLYQS_65
的像素点的像素值，/>
Figure QLYQS_68
是所述红色融合色度图的坐标为/>
Figure QLYQS_48
的像素点的像素值，
Figure QLYQS_58
是坐标为/>
Figure QLYQS_66
的所述第一像素点对应的所述第一坐标偏移值，/>
Figure QLYQS_69
是所述整体坐标偏移值。
6.根据权利要求1所述的目标被遮挡的处理方法，其特征在于，步骤A1包括：
获取被遮挡接口的接口图片和参考图片；
将所述接口图片转换到YCbCr图，以提取所述光度图；
将所述参考图片转换到YCbCr图，以提取所述参考光度图和所述参考色度图；
步骤A5包括：融合所述融合光度图和所述融合色度图以得到对应的YCbCr图，再转换成RGB图，并将所述RGB图作为被遮挡接口的去除遮挡物的第一输出图像。
7.根据权利要求5所述的目标被遮挡的处理方法，其特征在于，所述根据所述融合光度梯度图获取对应的融合光度图的步骤包括：
根据所述融合光度梯度图，采用泊松方程对所述融合光度梯度图进行最优解二维重构，得到融合光度图；
对重构得到的所述融合光度图进行亮暗部补偿。
8.一种目标被遮挡的处理装置，其特征在于，包括：
第一获取模块，用于获取被遮挡接口的接口图片和参考图片，并提取接口图片的光度图以及参考图片的参考光度图和参考色度图；
第二获取模块，用于根据所述接口图片的光度图获取光度梯度图，并根据所述参考图片的参考光度图获取参考光度梯度图；
匹配模块，用于基于模板匹配方法，把所述光度梯度图和所述参考光度梯度图融合得到融合光度梯度图；
第一融合模块，用于根据所述融合光度梯度图获取对应的融合光度图，并根据模板匹配结果，对所述参考色度图进行融合处理以得到融合色度图；
第二融合模块，用于融合所述融合光度图和所述融合色度图以得到对应的RGB图，作为被遮挡接口的去除遮挡物的第一输出图像。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-7任一项所述目标被遮挡的处理方法中的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述目标被遮挡的处理方法中的步骤。
CN202310177595.7A 2023-02-28 2023-02-28 一种目标被遮挡的处理方法、装置、电子设备及存储介质 Active CN115861146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310177595.7A CN115861146B (zh) 2023-02-28 2023-02-28 一种目标被遮挡的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310177595.7A CN115861146B (zh) 2023-02-28 2023-02-28 一种目标被遮挡的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115861146A true CN115861146A (zh) 2023-03-28
CN115861146B CN115861146B (zh) 2023-06-02

Family

ID=85659377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310177595.7A Active CN115861146B (zh) 2023-02-28 2023-02-28 一种目标被遮挡的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115861146B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316286A (zh) * 2017-07-07 2017-11-03 北京邮电大学 一种图像中雨雾同步合成、去除的方法和装置
CN110827200A (zh) * 2019-11-04 2020-02-21 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
CN113077533A (zh) * 2021-03-19 2021-07-06 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
US20210304422A1 (en) * 2020-03-27 2021-09-30 Toshiba Tec Kabushiki Kaisha Generation of non-occluded image based on fusion of multiple occulded images
CN114554086A (zh) * 2022-02-10 2022-05-27 支付宝(杭州)信息技术有限公司 一种辅助拍摄方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316286A (zh) * 2017-07-07 2017-11-03 北京邮电大学 一种图像中雨雾同步合成、去除的方法和装置
CN110827200A (zh) * 2019-11-04 2020-02-21 Oppo广东移动通信有限公司 一种图像超分重建方法、图像超分重建装置及移动终端
US20210304422A1 (en) * 2020-03-27 2021-09-30 Toshiba Tec Kabushiki Kaisha Generation of non-occluded image based on fusion of multiple occulded images
CN113077533A (zh) * 2021-03-19 2021-07-06 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN114554086A (zh) * 2022-02-10 2022-05-27 支付宝(杭州)信息技术有限公司 一种辅助拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
CN115861146B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN109242791B (zh) 一种针对破损植物叶片的批量修复方法
CN104749184B (zh) 自动光学检测方法和系统
CN108280822A (zh) 屏幕划痕的检测方法及装置
CA2867365C (en) Method, system and computer storage medium for face detection
CN111179232A (zh) 基于图像处理的钢筋尺寸检测系统及方法
CN108288264B (zh) 一种广角摄像头模组脏污测试方法
DE102013113490A1 (de) Verfahren und System zum Schätzen einer Lage einer Kamera
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
CN111932504B (zh) 一种基于边缘轮廓信息的亚像素定位方法及装置
CN109190617B (zh) 一种图像的矩形检测方法、装置及存储介质
CN108197521A (zh) 一种多相位二维码获取识别装置及方法
CN104749801B (zh) 高精度自动光学检测方法和系统
CN111369529B (zh) 一种物品丢失、遗留检测方法及其系统
CN113012096A (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
CN112785492A (zh) 图像处理方法、装置、电子设备和存储介质
CN116912233A (zh) 基于液晶显示屏的缺陷检测方法、装置、设备及存储介质
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN111401341B (zh) 一种基于视觉的减速带检测方法、装置及其存储介质
CN116051681B (zh) 一种基于智能手表生成图像数据的处理方法及系统
CN115861146A (zh) 一种目标被遮挡的处理方法、装置、电子设备及存储介质
CN115375689B (zh) 基于机器视觉的烟丝桶检测方法、装置、设备及介质
CN109359531B (zh) 一种面向自然场景的果实采收区域自动定位方法
JPH0793535A (ja) 画像修正処理方法
CN114663299A (zh) 适用于煤矿井下的图像去雾模型的训练方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant