CN111340030B - 图像处理方法及装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法及装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN111340030B
CN111340030B CN202010093403.0A CN202010093403A CN111340030B CN 111340030 B CN111340030 B CN 111340030B CN 202010093403 A CN202010093403 A CN 202010093403A CN 111340030 B CN111340030 B CN 111340030B
Authority
CN
China
Prior art keywords
target
image
target object
shielded
occluded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010093403.0A
Other languages
English (en)
Other versions
CN111340030A (zh
Inventor
詹晓航
潘新钢
戴勃
刘子纬
林达华
吕健勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010093403.0A priority Critical patent/CN111340030B/zh
Publication of CN111340030A publication Critical patent/CN111340030A/zh
Priority to KR1020217035936A priority patent/KR102668641B1/ko
Priority to PCT/CN2021/072772 priority patent/WO2021159925A1/zh
Priority to JP2021565759A priority patent/JP2022522242A/ja
Application granted granted Critical
Publication of CN111340030B publication Critical patent/CN111340030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法及装置、电子设备、计算机可读存储介质，其中，基于目标图像中相邻的对象之间的遮挡关系筛选与被遮挡的目标对象有遮挡关系的目标遮挡对象，之后基于筛选得到的目标遮挡对象的模态掩模、被遮挡的目标对象的模态掩模来确定被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息，能够恢复目标对象中被遮挡的部分。

Description

图像处理方法及装置、电子设备、计算机可读存储介质
技术领域
本公开涉及计算机技术、图像处理领域，具体而言，涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。
背景技术
基于自然场景理解技术主要包括物体检测、实例分割、语义分割等，这些技术仅考虑对象未被遮挡的区域，而忽略了对象之间的遮挡关系。例如实例分割是从给定图像中检测出对象的分类和位置，然后分割出对象可见部分的区域。然而，多个对象之间的遮挡关系、对象被遮挡部分的轮廓和图像信息是场景理解中的一个重要组成部分，忽略该部分将会限制场景理解的技术效果，并影响其应用效果。
发明内容
有鉴于此，本公开至少提供一种图像处理方法及装置。
第一方面，本公开提供了一种图像处理方法，包括：
获取目标图像；
确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连；
针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象；
基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息；其中，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
本公开的第一方面，基于目标图像中相邻的对象之间的遮挡关系筛选与被遮挡的目标对象有遮挡关系的目标遮挡对象，之后基于筛选得到的目标遮挡对象的模态掩模、被遮挡的目标对象的模态掩模来确定被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息，能够恢复目标对象中被遮挡的部分。
在一种可能的实施方式中，所述确定所述目标图像中相邻的目标对象之间的遮挡关系，包括：
从所述目标图像中筛选相邻对象对；一个相邻对象对中包括两个相邻的目标对象；
分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓；
基于每个目标对象补全后的整体轮廓和补全前的整体轮廓，确定所述相邻对象对中两个相邻的目标对象之间的遮挡关系。
上述实施方式，基于目标对象被补全后的整体轮廓和其补全前的整体轮廓，能够较为准确的确定两个相邻的对象之间的遮挡关系，能够提高确定的遮挡关系的准确度。
在一种可能的实施方式中，所述分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓由第一神经网络执行。
上述实施方式，利用训练好的第一神经网络确定某一目标对象被相邻对象对中另一个目标对象遮挡的轮廓，提高了图像补全的自动化程度、效率和准确度。
在一种可能的实施方式中，所述基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息，包括：
确定筛选出的目标遮挡对象的模态掩模的并集；
利用所述第一神经网络，根据所述并集对应的图像、所述被遮挡的目标对象的模态掩模确定所述被遮挡的目标对象被遮挡部分的轮廓信息。
上述实施方式，利用训练好的第一神经网络，基于目标遮挡对象的合并后的模态掩模和被遮挡的目标对象的模态掩模对被遮挡的目标对象被遮挡部分进行轮廓补全，能够提高图像补全的准确度。
在一种可能的实施方式中，第一神经网络采用以下步骤训练得到：
获取第一样本对象的模态掩模对应的第一样本图像和第二样本对象的模态掩模对应的第二样本图像；
利用所述第二样本图像遮挡所述第一样本图像的一部分，将所述第一样本图像、所述第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络，以补全所述第一样本图像被所述第二样本图像所遮挡的轮廓为目标，调整待训练的第一神经网络的网络参数。
上述实施方式，利用一样本图像遮挡另一样本图像的一部分，并基于被遮挡后的上述另一样本图像和被遮挡前的上述另一样本图像来训练用于确定另一对象被遮挡部分的轮廓信息的第一神经网络，训练的目标是对被遮挡的上述另一对象进行轮廓补全，从而能够保证训练得到的第一神经网络在图像补全时的准确度，同时，在训练第一神经网络时，未利用人工标注的样本图像，克服了人工标注的样本图像带来的准确度不能保证的缺陷。
在一种可能的实施方式中，训练所述第一神经网络还包括以下步骤：
利用所述第一样本图像遮挡所述第二样本图像的一部分，将所述第一样本图像、被遮挡后的第二样本图像输入待训练的第一神经网络，以保持所述第一样本图像轮廓不变为目标，调整待训练的第一神经网络的网络参数。
上述实施方式，在训练第一神经网络时，还利用上述另一样本图像部分遮挡上述一样本图像，并基于被遮挡后的上述一样本图像和上述另一样本图像来训练第一神经网络，训练的目标是保持上述另一样本图像轮廓不变，从而能够进一步提高训练得到的第一神经网络在图像补全时的准确度。
在一种可能的实施方式中，基于所述遮挡关系，从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的目标遮挡对象，包括：
基于所述遮挡关系，从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的至少一个级别的目标遮挡对象，其中，第一个级别的目标遮挡对象遮挡所述被遮挡的目标对象，其他级别的目标遮挡对象遮挡前一个级别的目标遮挡对象。
上述实施方式，不仅筛选出了与被遮挡的目标对象有直接遮挡关系的第一个级别的目标遮挡对象，还能够筛选出与前一个级别的目标遮挡对象有遮挡关系的他级别的目标遮挡对象，提高了筛选得到的目标遮挡对象的全面性，从而有利于提高图像补全的准确度。
在一种可能的实施方式中，所述从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的至少一个级别的目标遮挡对象，包括：
基于确定的遮挡关系，建立所述目标图像对应的遮挡有向图；所述遮挡有向图中的节点为与其他目标对象相邻的目标对象，所述遮挡有向图中的边从两个相邻的目标对象中的目标对象指向被遮挡的目标对象；
基于所述遮挡有向图，确定一个被遮挡的目标对象对应的节点的所有级别的祖先节点，并将确定的各个级别的祖先节点对应的目标对象作为所述被遮挡的目标对象的各个级别的目标遮挡对象。
上述实施方式，利用遮挡有向图确定与被遮挡的目标对象有遮挡关系的目标遮挡对象，提高了筛选得到的目标遮挡对象的全面性，并且提高了筛选效率。
在一种可能的实施方式中，所述基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息，包括：
基于所述被遮挡的目标对象的模态掩模和所述被遮挡的目标对象被遮挡部分的轮廓信息，确定所述被遮挡的目标对象的非模态掩模；其中，一个目标对象的非模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息和该目标对象被其他目标对象遮挡的掩模信息；
确定筛选出的目标遮挡对象的模态掩模的并集；
确定所述并集与所述被遮挡的目标对象的非模态掩模的第一交集；
利用所述第一交集对应的图像遮挡部分目标图像的一部分；所述部分目标图像为所述目标图像中以所述被遮挡的目标对象为中心，包括所述被遮挡的目标对象周边的像素点的部分；
基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
上述实施方式，利用被遮挡的目标对象的非模态掩模与目标遮挡对象的合并后的模态掩模的交集遮挡部分目标图像的一部分，即是利用目标对象被遮挡的区域来遮挡部分目标图像的一部分。基于上述目标对象被遮挡的区域以及被遮挡后的所述部分目标图像能够提高确定的像素点的图像信息的准确度。
在一种可能的实施方式中，所述所述基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息，由第二神经网络执行。
上述实施方式，利用训练好的第二神经网络确定某一目标对象被相邻的目标对象对中另一个目标对象所遮挡的轮廓内像素点的图像信息，提高了图像内容补全的自动化程度、效率和准确度。
在一种可能的实施方式中，所述第二神经网络采用以下步骤训练得到：
获取第三样本对象的模态掩模对应的第三样本图像和第四样本对象的模态掩模对应的第四样本图像；
在利用所述第四样本图像遮挡所述第三样本图像的一部分后，确定所述第三样本对象的模态掩模与所述第四样本对象的模态掩模的第二交集；
基于被遮挡的所述第三样本图像、所述第二交集对应的图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数。
上述实施方式，利用一样本图像遮挡另一样本图像的一部分，并结合遮挡后两个样本对象的模态掩模的交集对应的图像来训练用于确定目标对象被遮挡部分轮廓内像素点的图像信息的第二神经网络，能够保证训练得到的第二神经网络在确定像素点的图像信息时的准确度，同时，在训练第二神经网络时，未利用人工标注的样本图像，克服了人工标注的样本图像带来的准确度不能保证的缺陷。
在一种可能的实施方式中，所述所述基于被遮挡的所述第三样本图像、所述第二交集对应的图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数，包括：
获取所述第三样本对象对应的第五样本图像，所述第五样本图像是以所述第三样本对象为图像中心的图像，该图像包括所述第三样本对象和所述第三样本对象周边的像素点；
利用所述第二交集对应的图像遮挡所述第五样本图像的一部分；
基于被遮挡的所述第三样本图像和被遮挡的所述第五样本图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数。
上述实施方式，基于两个样本对象的模态掩模的交集对应的图像遮挡的第五样本图像和被其中一个样本对象对应的图像遮挡的第三样本图像来训练第二神经网络，训练的目标是补全所述第三样本图像被遮挡部分各个像素点的图像信息，从而能够提高训练得到的第二神经网络在确定像素点的图像信息时的准确度。
第二方面，本公开提供了一种图像处理装置，包括：
图像获取模块，用于获取目标图像；
遮挡确定模块，用于确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连；
对象筛选模块，用于针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象；
掩模处理模块，用于基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息；其中，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
在一种可能的实施方式中，所述遮挡确定模块用于：
从所述目标图像中筛选相邻对象对；一个相邻对象对中包括两个相邻的目标对象；
分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓；
基于每个目标对象补全后的整体轮廓和补全前的整体轮廓，确定所述相邻对象对中两个相邻的目标对象之间的遮挡关系。
在一种可能的实施方式中，所述遮挡确定模块在分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓时，用于：
利用第一神经网络分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓。
在一种可能的实施方式中，所述掩模处理模块在基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息时，用于：
确定筛选出的目标遮挡对象的模态掩模的并集；
利用所述第一神经网络，根据所述并集对应的图像、所述被遮挡的目标对象的模态掩模确定所述被遮挡的目标对象被遮挡部分的轮廓信息。
在一种可能的实施方式中，上述图像处理装置还包括训练所述第一神经网络的网络训练模块，用于：
获取第一样本对象的模态掩模对应的第一样本图像和第二样本对象的模态掩模对应的第二样本图像；
利用所述第二样本图像遮挡所述第一样本图像的一部分，将所述第一样本图像、所述第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络，以补全所述第一样本图像被所述第二样本图像所遮挡的轮廓为目标，调整待训练的第一神经网络的网络参数。
在一种可能的实施方式中，所述掩模处理模块在基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息时，用于：
基于所述被遮挡的目标对象的模态掩模和所述被遮挡的目标对象被遮挡部分的轮廓信息，确定所述被遮挡的目标对象的非模态掩模；其中，一个目标对象的非模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息和该目标对象被其他目标对象遮挡的掩模信息；
确定筛选出的目标遮挡对象的模态掩模的并集；
确定所述并集与所述被遮挡的目标对象的非模态掩模的第一交集；
利用所述第一交集对应的图像遮挡部分目标图像的一部分；所述部分目标图像为所述目标图像中以所述被遮挡的目标对象为中心，包括所述被遮挡的目标对象周边的像素点的部分；
基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
第三方面，本公开提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述图像处理方法的步骤。
第四方面，本公开还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述图像处理方法的步骤。
本公开上述装置、电子设备、和计算机可读存储介质，至少包含与本公开上述方法的任一方面或任一方面的任一实施方式的技术特征实质相同或相似的技术特征，因此关于上述装置、电子设备、和计算机可读存储介质的效果描述，可以参见上述方法内容的效果描述，这里不再赘述。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例提供的一种图像处理方法的流程图；
图2示出了本公开实施例提供的另一种图像处理方法中确定遮挡关系的流程图；
图3示出了本公开实施例提供的再一种图像处理方法中遮挡有向图的结构示意图；
图4示出了本公开实施例提供的再一种图像处理方法中确定被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息的流程图；
图5示出了本公开实施例提供的再一种图像处理方法中训练第二神经网络的流程图；
图6示出了本公开实施例提供的再一种图像处理方法中训练第一神经网络的流程图示意图；
图7示出了本公开实施例提供的再一种图像处理方法中训练第二神经网络的流程图示意图；
图8示出了本公开实施例提供的一种图像处理装置的结构示意图；
图9示出了本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，应当理解，本公开中附图仅起到说明和描述的目的，并不用于限定本公开的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本公开中使用的流程图示出了根据本公开的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本公开内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
针对自然场景理解技术中，如何确定以及提高确定的多个对象之间的遮挡关系、对象被遮挡部分的轮廓和图像信息的技术问题，本公开提供了一种图像处理方法及装置、电子设备、计算机可读存储介质。其中，本公开基于目标图像中相邻的目标对象之间的遮挡关系筛选与被遮挡的目标对象有遮挡关系的目标遮挡对象，之后基于筛选得到的目标遮挡对象的模态掩模、被遮挡的目标对象的模态掩模来确定被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息，能够恢复目标对象中被遮挡的部分。
下面通过具体的实施例对本公开的图像处理方法及装置、电子设备、计算机可读存储介质进行说明。
本公开实施例提供了一种图像处理方法，该方法应用于对被遮挡的目标对象进行补全的终端设备。具体地，如图1所示，本公开实施例提供的图像处理方法包括如下步骤：
S110、获取目标图像。
这里，目标图像中包括至少一个被遮挡的目标对象。目标图像可以是终端设备利用其自身的摄像头拍摄到的，也可以是终端设备从其他设备中接收的，本公开对目标图像的拍摄设备并不进行限定。
S120、确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连。
这里，首先从目标图像中筛选所有相邻的目标对象。相邻的目标对象可以理解为具有遮挡关系的目标对象。在筛选得到相邻的目标对象之后，确定两个目标对象之间的遮挡关系。
在具体实施时，可以利用现有的图像处理方法筛选相互遮挡的目标对象。
在具体实施时，可以先对被遮挡的目标对象进行补全，再结合补全后的目标对象确定遮挡关系。
S130、针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象。
基于上述确定的遮挡关系，为被遮挡的目标对象筛选对应的目标遮挡对象，上述目标遮挡对象不仅包括直接遮挡该被遮挡的目标对象的目标对象，还包括遮挡上述直接遮挡该被遮挡的目标对象的目标对象的目标对象，即，可以将目标遮挡对象分为不同级别的遮挡对象，第一个级别的目标遮挡对象为直接遮挡该被遮挡的目标对象的目标对象，其他级别的目标遮挡对象遮挡前一个级别的目标遮挡对象。
这里，应当说明的是，筛选的目标遮挡对象包括至少一个级别的遮挡对象。
S140、基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息；其中，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
这里，在确定目标对象被遮挡的轮廓信息和被遮挡的轮廓内像素点的图像信息之前，首先需要确定上述被遮挡的目标对象的模态掩模、目标遮挡对象的模态掩模，之后基于确定的各个模态掩模确定上述轮廓信息和像素点的图像信息。
上述模态掩模包括被遮挡的目标对象中未被遮挡部分的掩模信息，即被遮挡的目标对象中未被遮挡部分对应的各个像素点所属物体的信息，具体可以包括被遮挡的目标对象中未被遮挡部分对应的各个像素点所属物体的身份标识符ID。在具体实施时，可以利用预先训练好的神经网络，基于筛选出的目标遮挡对象的模态掩模、被遮挡的目标对象的模态掩模，确定被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息。
上述实施例，能够结合目标对象的目标遮挡对象有效提高确定的遮挡部分的轮廓信息和图像信息的准确度。
在一些实施例中，如图2所示，上述确定所述目标图像中相邻的目标对象之间的遮挡关系，具体可以利用如下步骤实现：
S210、从所述目标图像中筛选相邻对象对；一个相邻对象对中包括两个相邻的目标对象。
这里，首先需要确定目标图像中的相邻的目标对象，如果确定的相邻的目标对象多于两个，例如，确定了三个目标对象中的每个目标对象均与其他两个目标对象相邻，则，这里需要将其中任意两个目标对象进行组合，共得到三个相邻对象对。
S220、分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓。
这里，可以利用预先训练好的第一神经网络对相邻对象对中的每个目标对象进行处理，得到所述相邻对象对中的每个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓。
在具体实施时，是将相邻对象对中的每个目标对象的模态掩模对应的图像输入训练好的第一神经网络来进行对象补全。
上述利用训练好的第一神经网络确定某一目标对象被相邻对象对中另一个目标对象遮挡的轮廓，提高了图像轮廓补全的自动化程度、效率和准确度。
应当说明的是，本步骤对对象进行补全(即确定对象被遮挡的轮廓)时，既可以对被遮挡的对象进行补全，也可以对未被遮挡的对象进行补全，不同的是，对被遮挡的对象进行补全时，确定了被遮挡部分的轮廓，即确定的轮廓不为空，对未被遮挡的对象进行补全时，确定未得到任何的轮廓，即确定的轮廓为空，保持对象原轮廓不变。
S230、基于每个目标对象补全后的整体轮廓和补全前的整体轮廓，确定所述相邻对象对中两个相邻的目标对象之间的遮挡关系。
在具体实施时，此步骤可以基于目标对象补全后的整体轮廓和其补全前的整体轮廓，确定该目标对象的面积增量，之后，比较两个相邻的目标对象的面积增量，确定面积增量较多的目标对象被面积增量较少的目标对象所遮挡，即确定了两个相邻的目标对象之间的遮挡关系。
上述实施例，基于目标对象被补全后的整体轮廓和其补全前的整体轮廓，能够较为准确的确定两个相邻的目标对象之间的遮挡关系，提高了确定的遮挡关系的准确度。
现有技术中，在对目标对象进行轮廓补全时，一般是首先利用人工标注的样本图像来训练神经网络，之后，利用训练的神经网络来补全目标对象的轮廓。人工标注样本图像，不仅会浪费人力资源，并且会由于人工经验的不确定性的影响，带来标注准确度低的缺陷，从而影响训练得到的神经网络的检测准确性。
针对该技术问题，本公开提供了以下实施例，以避免利用人工标注的样本图像来训练用于对目标对象进行轮廓补全的神经网络：
获取第一样本对象的模态掩模对应的第一样本图像和第二样本对象的模态掩模对应的第二样本图像；利用所述第二样本图像遮挡所述第一样本图像的一部分，将所述第一样本图像、所述第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络，以补全所述第一样本图像被所述第二样本图像所遮挡的轮廓为目标，调整待训练的第一神经网络的网络参数。
上述既可以是利用第二样本图像遮挡第一样本图像的一部分，也可以是利用第二样本图像擦除第一样本图像的一部分。
上述实施例，训练的目标是对被遮挡的第一样本图像进行轮廓补全，即将被遮挡的第一样本图像恢复为遮挡前的第一样本图像，从而能够保证训练得到的第一神经网络在轮廓补全时的准确度。同时，上述实施例在训练第一神经网络时，未利用人工标注的样本图像，克服了人工标注的样本图像带来的准确度不能保证的缺陷。
上述实施例训练得到的第一神经网络能够补全被遮挡的目标对象的轮廓，对于不被遮挡的对象，第一神经网络在进行处理的时候，应该保持其原轮廓不变，因此，上述训练第一神经网络还应该包括如下步骤：
利用所述第一样本图像遮挡所述第二样本图像的一部分，将所述第一样本图像、被遮挡后的第二样本图像输入待训练的第一神经网络，以保持所述第一样本图像轮廓不变为目标，调整待训练的第一神经网络的网络参数。
上述，训练的目标是未对上述第一样本图像进行轮廓补全，即保持第一样本图像的原轮廓不变，利用上述步骤训练得到的第一神经网络从而能够进一步提高其在图像轮廓补全时的准确度。
在具体实施时，如图6所示，第一样本图像为A，第二样本图像为B，第二样本图像遮挡第一样本图像后，被遮挡的第一样本图像表示为A\B，将第一样本图像、第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络PCNet-M，以将被遮挡后的第一样本图像恢复为遮挡前的第一样本图像为目标，调整第一神经网络的网络参数。
同时，如图6所示，第一样本图像遮挡第二样本图像后，被遮挡的第二样本图像表示为B\A，将被遮挡后的第二样本图像和第一样本图像输入待训练的第一神经网络PCNet-M，以保持第一样本图像的轮廓不变为目标，调整第一神经网络的网络参数。
在一些实施例中，上述基于所述遮挡关系，从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的目标遮挡对象，具体可以利用如下步骤实现：
基于所述遮挡关系，从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的至少一个级别的目标遮挡对象，其中，第一个级别的目标遮挡对象遮挡所述被遮挡的目标对象，其他级别的目标遮挡对象遮挡前一个级别的目标遮挡对象。
上述实施方式，不仅筛选出了与被遮挡的目标对象有直接遮挡关系的第一个级别的目标遮挡对象，还能够筛选出与前一个级别的目标遮挡对象有遮挡关系的他级别的目标遮挡对象，提高了筛选得到的目标遮挡对象的全面性，从而有利于提高图像补全的准确度。
上述从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的至少一个级别的目标遮挡对象，具体可以利用如下步骤实现：
基于确定的遮挡关系，建立所述目标图像对应的遮挡有向图；所述遮挡有向图中的节点为与其他目标对象相邻的目标对象，所述遮挡有向图中的边从两个相邻的目标对象中的目标对象指向被遮挡的目标对象；基于所述遮挡有向图，确定一个被遮挡的目标对象对应的节点的所有级别的祖先节点，并将确定的各个级别的祖先节点对应的目标对象作为所述被遮挡的目标对象的各个级别的目标遮挡对象。
在具体实施时，建立的遮挡有向图如图3所示，图中，节点5被节点2遮挡，节点1被节点5、节点2、节点4和节点3遮挡。若目标对象为节点1，则确定的节点1的祖先节点包括节点5、节点2、节点4、节点3。若目标对象为节点7，则确定的节点7的祖先节点包括节点1、节点3、节点5、节点2、节点4。
另外，建立的遮挡有向图中还可以包括不与其他节点有遮挡关系的节点，例如节点8和节点9与其他节点没有遮挡关系。
上述实施例利用遮挡有向图确定与目标对象有遮挡关系的目标遮挡对象，提高了筛选得到的目标遮挡对象的全面性，并且提高了筛选效率。
在一些实施例中，上述基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息，具体可以利用如下步骤确定：
确定筛选出的目标遮挡对象的模态掩模的并集；利用所述第一神经网络，根据所述并集对应的图像、所述被遮挡的目标对象的模态掩模确定所述被遮挡的目标对象被遮挡部分的轮廓信息。
第一神经网络用于基于对象的模态掩模对被遮挡对象进行轮廓补全，即确定被遮挡对象被遮挡部分的轮廓信息，因此，这里，可以利用第一神经网络，基于目标对象对应的目标遮挡对象的模态掩模和被遮挡的目标对象的模态掩模，来确定目标对象被遮挡部分的轮廓信息。
上述实施例利用训练好的第一神经网络，基于目标遮挡对象的合并后的模态掩模和被遮挡的目标对象的模态掩模对目标对象被遮挡部分进行补全，能够提高图像补全的准确度。
在得到目标对象被遮挡部分的轮廓信息之后，基于目标对象的模态掩模能够确定目标对象的非模态掩模。这里，非模态掩模是将目标对象的模态掩模和目标对象被遮挡部分的轮廓信息合并之后得到的，既包括目标对象未被遮挡部分的轮廓，也包括目标对象被遮挡部分的轮廓。
在一些实施例中，如图4所示，上基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息，具体可以利用如下步骤实现：
S410、基于所述被遮挡的目标对象的模态掩模和所述被遮挡的目标对象被遮挡部分的轮廓信息，确定所述被遮挡的目标对象的非模态掩模；其中，一个目标对象的非模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息和该目标对象被其他目标对象遮挡的掩模信息。
这里，具体可以将被遮挡的目标对象的模态掩模和被遮挡的目标对象被遮挡部分的轮廓信息进行合并，得到目标对象的非模态掩模。得到的非模态掩模既包括目标对象未被遮挡部分的轮廓，也包括目标对象被遮挡部分的轮廓。
S420、确定筛选出的目标遮挡对象的模态掩模的并集；确定所述并集与所述被遮挡的目标对象的非模态掩模的第一交集；
这里，利用被遮挡的目标对象的非模态掩模和上述并集确定的第一交集，即为被遮挡的目标对象被遮挡的区域的各个像素点对应的掩模信息。
S430、利用所述第一交集对应的图像遮挡部分目标图像的一部分；所述部分目标图像为所述目标图像中以所述被遮挡的目标对象为中心，包括所述被遮挡的目标对象周边的像素点的部分。
这里，是利用被遮挡的目标对象被遮挡的区域来遮挡部分目标图像。
S440、基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
这里，具体可以是将所述第一交集对应的图像和被遮挡后的部分目标图像输入预先训练好的第二神经网络，经过所述训练好的第二神经网络对输入的图像进行处理，得到所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
此步骤利用训练好的第二神经网络确定某一目标对象被相邻对象对中另一个目标对象遮挡的轮廓内像素点的图像信息，提高了图像补全的自动化程度、效率和准确度。
上述实施例利用上述被遮挡的目标对象被遮挡的区域以及目标对象对应被遮挡后的图像能够提高确定的像素点的图像信息的准确度。
现有技术中，在确定像素点的图像信息时，一般是首先利用人工标注的样本图像来训练神经网络，之后，利用训练的神经网络来确定像素点的图像信息。人工标注样本图像，不仅会浪费人力资源，并且会由于人工经验的不确定性的影响，带来标注准确度低的缺陷，从而影响训练得到的神经网络的检测准确性。
针对该技术问题，本公开提供了以下实施例，如图5所示，以避免利用人工标注的样本图像来训练神经网络：
S510、获取第三样本对象的模态掩模对应的第三样本图像和第四样本对象的模态掩模对应的第四样本图像。
S520、利用所述第四样本图像遮挡所述第三样本图像的一部分。
这里，既可以是利用第四样本图像遮挡部分的第三样本图像，也可以是利用第四样本图像擦除部分的第三样本图像。
S530、在利用所述第四样本图像遮挡所述第三样本图像的一部分后，确定所述第三样本对象的模态掩模与所述第四样本对象的模态掩模的第二交集。
S540、基于被遮挡的所述第三样本图像、所述第二交集对应的图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数。
在具体实施时，此步骤可以利用如下子步骤实现：
子步骤一、获取所述第三样本对象对应的第五样本图像，所述第五样本图像是以所述第三样本对象为图像中心的图像，该图像包括所述第三样本对象和所述第三样本对象周边的像素点。
子步骤二、利用所述第二交集对应的图像遮挡所述第五样本图像的一部分。
子步骤三、基于被遮挡的所述第三样本图像和被遮挡的所述第五样本图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数。
此步骤，利用上述被对应的图像遮挡的第五样本图像和被其中一个样本对象对应的图像遮挡的第三样本图像来训练第二神经网络，训练的目标是补全所述第三样本图像被遮挡部分各个像素点的图像信息，从而能够提高训练得到的第二神经网络在确定像素点的图像信息时的准确度。
应当说明的是，第二交集是第三样本图像被第四样本图像擦除或遮挡的部分，用第二交集遮挡第五样本图像，实质上遮挡的是第五样本图像中，第三样本图像被第四样本图像擦除的部分，因此，在训练第二神经网络的时候，可以说是恢复第五样本图像为目标，也可以说成补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标。
其中，被遮挡的所述第三样本图像的作用是指导神经网络要恢复的对象是第三样本图像所对应的对象。
上述实施例，利用一样本图像部分遮挡另一样本图像，并结合遮挡后两个样本对象的模态掩模的交集对应的图像来训练用于确定对象被遮挡部分轮廓内像素点的图像信息的第二神经网络，能够保证训练得到的第二神经网络在确定像素点信息时的准确度，同时，在训练第二神经网络时，未利用人工标注的样本图像，克服了人工标注的样本图像带来的准确度不能保证的缺陷。
在具体实施时，如图7所示，第三样本图像可以选用前面的第一样本图像A，第四样本图像可以选用前面的第二样本图像B，第四样本图像遮挡第三样本图像后，被遮挡的第三样本图像表示为A\B。被遮挡后，第三样本对象的模态掩模与所述第四样本对象的模态掩模的第二交集可以表示为A∩B，将被遮挡的所述第三样本图像和被遮挡的所述第五样本图像输入待训练的第二神经网络PCNet-C，以将被遮挡后的第五样本图像恢复为遮挡前的第五样本图像为目标，调整第二神经网络的网络参数。
应当说明的是，上述训练第一神经网络和第二神经网络的步骤既可以是执行图像处理方法的终端设备执行，也可以是由单独一个或两个的训练神经网络的设备执行。
上述实施例中的图像处理方法，无需利用人工标注了遮挡关系、目标对象的被遮挡部分的轮廓信息和被遮挡轮廓内像素点的图像信息的样本图像来训练对应的神经网络，节省人力资源的同时，克服了人工标注带来的不确定性。
上述实施例能够利用训练好的第一神经网络，补全目标图像中被遮挡的目标对象，并基于目标对象补全前的轮廓和补全后的轮廓预测目标图像中相邻的目标对象之间的遮挡关系。并且上述实施例能够基于遮挡关系确定被遮挡的目标对象对应的目标遮挡对象，继而基于确定的目标遮挡对象的模态掩模、被遮挡的目标对象的模态掩模确定被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息。上述实施例能够在避免利用人工标注的图像训练的网络来确定遮挡部分的轮廓信息和图像信息的同时，结合被遮挡的目标对象的目标遮挡对象对被遮挡的目标对象的被遮挡部分进行补全，有效提高了确定的遮挡部分的轮廓信息和图像信息的准确度。
对应于上述图像处理方法，本公开还提供了一种图像处理装置，该装置应用于对被遮挡对象进行补全的终端设备上，并且各个模块能够实现与上述方法中相同的方法步骤以及取得相同的有益效果，因此对于其中相同的部分，本公开不再进行赘述。
具体的，如图8所示，本公开提供的一种图像处理装置可以包括：
图像获取模块810，用于获取目标图像；
遮挡确定模块820，用于确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连；
对象筛选模块830，用于针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象；
掩模处理模块840，用于基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息；其中，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
在一些实施例中，所述遮挡确定模块820用于：
从所述目标图像中筛选相邻对象对；一个相邻对象对中包括两个相邻的目标对象；
分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓；
基于每个目标对象补全后的整体轮廓和补全前的整体轮廓，确定所述相邻对象对中两个相邻的目标对象之间的遮挡关系。
在一些实施例中，所述遮挡确定模块820在分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓时，用于：
利用第一神经网络分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓。
在一些实施例中，所述掩模处理模块840在基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息时，用于：
确定筛选出的目标遮挡对象的模态掩模的并集；
利用所述第一神经网络，根据所述并集对应的图像、所述被遮挡的目标对象的模态掩模确定所述被遮挡的目标对象被遮挡部分的轮廓信息
在一些实施例中，上述图像处理装置还包括训练所述第一神经网络的网络训练模块850，用于：
获取第一样本对象的模态掩模对应的第一样本图像和第二样本对象的模态掩模对应的第二样本图像；
利用所述第二样本图像遮挡所述第一样本图像的一部分，将所述第一样本图像、所述第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络，以补全所述第一样本图像被所述第二样本图像所遮挡的轮廓为目标，调整待训练的第一神经网络的网络参数。
在一些实施例中，所述掩模处理模块840在基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息时，用于：
基于所述被遮挡的目标对象的模态掩模和所述被遮挡的目标对象被遮挡部分的轮廓信息，确定所述被遮挡的目标对象的非模态掩模；其中，一个目标对象的非模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息和该目标对象被其他目标对象遮挡的掩模信息；
确定筛选出的目标遮挡对象的模态掩模的并集；
确定所述并集与所述被遮挡的目标对象的非模态掩模的第一交集；
利用所述第一交集对应的图像遮挡部分目标图像的一部分；所述部分目标图像为所述目标图像中以所述被遮挡的目标对象为中心，包括所述被遮挡的目标对象周边的像素点的部分；
基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
本公开实施例公开了一种电子设备，如图9所示，包括：处理器901、存储器902和总线903，所述存储器902存储有所述处理器901可执行的机器可读指令，当电子设备运行时，所述处理器901与所述存储器902之间通过总线903通信。
所述机器可读指令被所述处理器901执行时执行以下图像处理方法的步骤：
获取目标图像；
确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连；
针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象；
基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息以及被遮挡部分的轮廓内每个像素点的图像信息；其中，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
除此之外，机器可读指令被处理器901执行时，还可以执行上述方法部分描述的任一实施方式中的方法内容，这里不再赘述。
本公开实施例还提供的一种对应于上述方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，本文不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本公开中不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
获取目标图像；
基于目标对象被补全后的整体轮廓和其补全前的整体轮廓，确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连；
针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象；
基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息，基于所述轮廓信息、被遮挡后的部分目标图像以及筛选出的目标遮挡对象的模态掩模的并集确定所述被遮挡部分的轮廓内每个像素点的图像信息，以恢复目标对象中被遮挡的部分；其中，所述部分目标图像为所述目标图像中以所述被遮挡的目标对象为中心，包括所述被遮挡的目标对象周边的像素点的部分，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
2.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述目标图像中相邻的目标对象之间的遮挡关系，包括：
从所述目标图像中筛选相邻对象对；一个相邻对象对中包括两个相邻的目标对象；
分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓；
基于每个目标对象补全后的整体轮廓和补全前的整体轮廓，确定所述相邻对象对中两个相邻的目标对象之间的遮挡关系。
3.根据权利要求2所述的图像处理方法，其特征在于，所述分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓由第一神经网络执行。
4.根据权利要求3所述的图像处理方法，其特征在于，所述基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息，包括：
确定筛选出的目标遮挡对象的模态掩模的并集；
利用所述第一神经网络，根据所述并集对应的图像、所述被遮挡的目标对象的模态掩模确定所述被遮挡的目标对象被遮挡部分的轮廓信息。
5.根据权利要求3所述的图像处理方法，其特征在于，所述第一神经网络采用以下步骤训练得到：
获取第一样本对象的模态掩模对应的第一样本图像和第二样本对象的模态掩模对应的第二样本图像；
利用所述第二样本图像遮挡所述第一样本图像的一部分，将所述第一样本图像、所述第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络，以补全所述第一样本图像被所述第二样本图像所遮挡的轮廓为目标，调整待训练的第一神经网络的网络参数。
6.根据权利要求5所述的图像处理方法，其特征在于，训练所述第一神经网络还包括以下步骤：
利用所述第一样本图像遮挡所述第二样本图像的一部分，将所述第一样本图像、被遮挡后的第二样本图像输入待训练的第一神经网络，以保持所述第一样本图像轮廓不变为目标，调整待训练的第一神经网络的网络参数。
7.根据权利要求1所述的图像处理方法，其特征在于，基于所述遮挡关系，从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的目标遮挡对象，包括：
基于所述遮挡关系，从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的至少一个级别的目标遮挡对象，其中，第一个级别的目标遮挡对象遮挡所述被遮挡的目标对象，其他级别的目标遮挡对象遮挡前一个级别的目标遮挡对象。
8.根据权利要求7所述的图像处理方法，其特征在于，所述从所述目标图像中筛选出与所述被遮挡的目标对象存在遮挡关系的至少一个级别的目标遮挡对象，包括：
基于确定的遮挡关系，建立所述目标图像对应的遮挡有向图；所述遮挡有向图中的节点为与其他目标对象相邻的目标对象，所述遮挡有向图中的边从两个相邻的目标对象中的目标对象指向被遮挡的目标对象；
基于所述遮挡有向图，确定一个被遮挡的目标对象对应的节点的所有级别的祖先节点，并将确定的各个级别的祖先节点对应的目标对象作为所述被遮挡的目标对象的各个级别的目标遮挡对象。
9.根据权利要求1所述的图像处理方法，其特征在于，基于所述轮廓信息、被遮挡后的部分目标图像以及筛选出的目标遮挡对象的模态掩模的并集确定所述被遮挡部分的轮廓内每个像素点的图像信息，包括：
基于所述被遮挡的目标对象的模态掩模和所述被遮挡的目标对象被遮挡部分的轮廓信息，确定所述被遮挡的目标对象的非模态掩模；其中，一个目标对象的非模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息和该目标对象被其他目标对象遮挡的掩模信息；
确定所述并集与所述被遮挡的目标对象的非模态掩模的第一交集；
利用所述第一交集对应的图像遮挡部分目标图像的一部分；
基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
10.根据权利要求9所述的图像处理方法，其特征在于，所述基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息，由第二神经网络执行。
11.根据权利要求10所述的图像处理方法，其特征在于，所述第二神经网络采用以下步骤训练得到：
获取第三样本对象的模态掩模对应的第三样本图像和第四样本对象的模态掩模对应的第四样本图像；
在利用所述第四样本图像遮挡所述第三样本图像的一部分后，确定所述第三样本对象的模态掩模与所述第四样本对象的模态掩模的第二交集；
基于被遮挡的所述第三样本图像、所述第二交集对应的图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数。
12.根据权利要求11所述的图像处理方法，其特征在于，所述基于被遮挡的所述第三样本图像、所述第二交集对应的图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数，包括：
获取所述第三样本对象对应的第五样本图像，所述第五样本图像是以所述第三样本对象为图像中心的图像，该图像包括所述第三样本对象和所述第三样本对象周边的像素点；
利用所述第二交集对应的图像遮挡所述第五样本图像的一部分；
基于被遮挡的所述第三样本图像和被遮挡的所述第五样本图像，以补全所述第三样本图像被遮挡部分各个像素点的图像信息为目标，调整待训练的第二神经网络的网络参数。
13.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取目标图像；
遮挡确定模块，用于基于目标对象被补全后的整体轮廓和其补全前的整体轮廓，确定所述目标图像中相邻的目标对象之间的遮挡关系，其中，相邻的目标对象的模态掩模相连；
对象筛选模块，用于针对所述目标图像中任一被遮挡的目标对象，基于所述遮挡关系，从所述目标图像中筛选出与该被遮挡的目标对象存在遮挡关系的目标遮挡对象；
掩模处理模块，用于基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息，基于所述轮廓信息、被遮挡后的部分目标图像以及筛选出的目标遮挡对象的模态掩模的并集确定所述被遮挡部分的轮廓内每个像素点的图像信息，以恢复目标对象中被遮挡的部分；其中，所述部分目标图像为所述目标图像中以所述被遮挡的目标对象为中心，包括所述被遮挡的目标对象周边的像素点的部分，一个目标对象的模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息。
14.根据权利要求13所述的图像处理装置，其特征在于，所述遮挡确定模块用于：
从所述目标图像中筛选相邻对象对；一个相邻对象对中包括两个相邻的目标对象；
分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓；
基于每个目标对象补全后的整体轮廓和补全前的整体轮廓，确定所述相邻对象对中两个相邻的目标对象之间的遮挡关系。
15.根据权利要求14所述的图像处理装置，其特征在于，所述遮挡确定模块在分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓时，用于：
利用第一神经网络分别补全所述相邻对象对中的一个目标对象被所述相邻对象对中另一个目标对象遮挡的轮廓。
16.根据权利要求15所述的图像处理装置，其特征在于，所述掩模处理模块在基于筛选出的目标遮挡对象的模态掩模、所述被遮挡的目标对象的模态掩模，确定所述被遮挡的目标对象被遮挡部分的轮廓信息时，用于：
确定筛选出的目标遮挡对象的模态掩模的并集；
利用所述第一神经网络，根据所述并集对应的图像、所述被遮挡的目标对象的模态掩模确定所述被遮挡的目标对象被遮挡部分的轮廓信息。
17.根据权利要求15所述的图像处理装置，其特征在于，还包括训练所述第一神经网络的网络训练模块，用于：
获取第一样本对象的模态掩模对应的第一样本图像和第二样本对象的模态掩模对应的第二样本图像；
利用所述第二样本图像遮挡所述第一样本图像的一部分，将所述第一样本图像、所述第二样本图像、被遮挡后的第一样本图像输入待训练的第一神经网络，以补全所述第一样本图像被所述第二样本图像所遮挡的轮廓为目标，调整待训练的第一神经网络的网络参数。
18.根据权利要求13所述的图像处理装置，其特征在于，所述掩模处理模块在基于所述轮廓信息、被遮挡后的部分目标图像以及筛选出的目标遮挡对象的模态掩模的并集确定所述被遮挡部分的轮廓内每个像素点的图像信息时，用于：
基于所述被遮挡的目标对象的模态掩模和所述被遮挡的目标对象被遮挡部分的轮廓信息，确定所述被遮挡的目标对象的非模态掩模；其中，一个目标对象的非模态掩模包括该目标对象未被其他目标对象遮挡的掩模信息和该目标对象被其他目标对象遮挡的掩模信息；
确定所述并集与所述被遮挡的目标对象的非模态掩模的第一交集；
利用所述第一交集对应的图像遮挡部分目标图像的一部分；
基于所述第一交集对应的图像和被遮挡后的所述部分目标图像，确定所述被遮挡的目标对象被遮挡部分的轮廓内每个像素点的图像信息。
19.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1～12任一所述的图像处理方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1～12任一所述的 图像处理方法。
CN202010093403.0A 2020-02-14 2020-02-14 图像处理方法及装置、电子设备、计算机可读存储介质 Active CN111340030B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010093403.0A CN111340030B (zh) 2020-02-14 2020-02-14 图像处理方法及装置、电子设备、计算机可读存储介质
KR1020217035936A KR102668641B1 (ko) 2020-02-14 2021-01-19 이미지 처리 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체
PCT/CN2021/072772 WO2021159925A1 (zh) 2020-02-14 2021-01-19 图像处理方法及装置、电子设备、计算机可读存储介质
JP2021565759A JP2022522242A (ja) 2020-02-14 2021-01-19 画像処理方法及び装置、電子機器、並びにコンピュータ可読記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010093403.0A CN111340030B (zh) 2020-02-14 2020-02-14 图像处理方法及装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111340030A CN111340030A (zh) 2020-06-26
CN111340030B true CN111340030B (zh) 2021-12-21

Family

ID=71186014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010093403.0A Active CN111340030B (zh) 2020-02-14 2020-02-14 图像处理方法及装置、电子设备、计算机可读存储介质

Country Status (4)

Country Link
JP (1) JP2022522242A (zh)
KR (1) KR102668641B1 (zh)
CN (1) CN111340030B (zh)
WO (1) WO2021159925A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340030B (zh) * 2020-02-14 2021-12-21 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111768468B (zh) * 2020-06-30 2023-08-04 北京百度网讯科技有限公司 图像填充方法、装置、设备及存储介质
CN112162672A (zh) * 2020-10-19 2021-01-01 腾讯科技（深圳）有限公司 信息流的显示处理方法、装置、电子设备及存储介质
CN113256656A (zh) * 2021-05-28 2021-08-13 北京达佳互联信息技术有限公司 图像分割方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208022A (zh) * 2010-03-31 2011-10-05 富士通株式会社 遮挡字符恢复装置及其方法、遮挡字符识别装置及其方法
CN102831584B (zh) * 2012-08-02 2015-04-22 中山大学 一种数据驱动的物体图像修复系统及方法
AU2012244275A1 (en) * 2012-10-30 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for determining a boundary of an obstacle which occludes an object in an image
US9373183B2 (en) * 2012-11-15 2016-06-21 Honeywell International Inc. Removing an occlusion from an image
CN105513112B (zh) * 2014-10-16 2018-11-16 北京畅游天下网络技术有限公司 图像处理方法和装置
JP6851295B2 (ja) * 2017-01-27 2021-03-31 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
WO2018173108A1 (ja) * 2017-03-21 2018-09-27 富士通株式会社 関節位置推定装置、関節位置推定方法及び関節位置推定プログラム
CN107730457B (zh) * 2017-08-28 2020-02-14 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质
CN110033487A (zh) * 2019-02-25 2019-07-19 上海交通大学 基于深度联想感知算法的受遮挡蔬果采收方法
CN111340030B (zh) * 2020-02-14 2021-12-21 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
WO2021159925A1 (zh) 2021-08-19
KR20210144887A (ko) 2021-11-30
KR102668641B1 (ko) 2024-05-29
CN111340030A (zh) 2020-06-26
JP2022522242A (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
CN111340030B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN108022251B (zh) 一种管状结构的中心线的提取方法及系统
CN114418957A (zh) 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN110232359B (zh) 滞留物检测方法、装置、设备及计算机存储介质
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN112417955B (zh) 巡检视频流处理方法及装置
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN115660520B (zh) 一种基于交通运输物流的数据分析方法及系统
CN111914665A (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN105976570A (zh) 一种基于车载视频监控的驾驶员吸烟行为实时监测方法
CN110913209B (zh) 摄像头遮挡检测方法、装置、电子设备及监控系统
CN111178445A (zh) 图像处理方法及装置
CN113436068B (zh) 一种图像拼接方法、装置、电子设备及存储介质
CN112784642B (zh) 车辆检测方法及装置
CN111353954A (zh) 视频图像的处理方法、装置及电子设备
JP2014157453A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN111507999A (zh) 一种基于fdsst算法的目标追踪方法及装置
CN116189038A (zh) 一种画面异常判定方法、装置、设备及存储介质
CN114550062A (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN110363251B (zh) 一种sku图像分类方法、装置、电子设备及存储介质
CN114359183A (zh) 图像质量评估方法及设备、镜头遮挡的确定方法
KR19990032185A (ko) 정지 영상의 노이즈 제거 방법 및 장치
CN112749599A (zh) 图像增强方法、装置和服务器
CN117173185B (zh) 轧制板材的区域检测方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant