CN112365510B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112365510B
CN112365510B CN202011259912.2A CN202011259912A CN112365510B CN 112365510 B CN112365510 B CN 112365510B CN 202011259912 A CN202011259912 A CN 202011259912A CN 112365510 B CN112365510 B CN 112365510B
Authority
CN
China
Prior art keywords
segmented
image
depth
depth image
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011259912.2A
Other languages
English (en)
Other versions
CN112365510A (zh
Inventor
吴宇斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011259912.2A priority Critical patent/CN112365510B/zh
Publication of CN112365510A publication Critical patent/CN112365510A/zh
Application granted granted Critical
Publication of CN112365510B publication Critical patent/CN112365510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

本发明公开了一种图像处理方法、装置、设备及存储介质。其中，方法包括：获取二维图像；利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。

Description

图像处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术，具体涉及一种图像处理方法、装置、设备及存储介质。
背景技术
在图像处理领域，可以对采集的待处理图像进行图像分割处理，以分割出待处理图像中的待分割对象，如图像中的人物、建筑物体等。目前，深度学习被广泛应用于图像检测与分割等任务，深度学习方法通常需要准确勾勒出待分割对象的边界，才能使模型得到更好的图像检测和分割结果。但是，相关技术中，利用深度学习对采集的待分割对象进行分割时，可能会出现待分割对象的边缘出现错误的现象，例如，在对人物进行分割的时候，可能会存在把用户的手臂、脚等本属于同一个主体的部分遗漏。
发明内容
有鉴于此，本发明实施例期望提供一种图像处理方法、装置、设备及存储介质。
本发明的技术方案是这样实现的：
本发明实施例提供一种图像处理方法，所述方法包括：
获取二维图像；
利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；
利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。
上述方案中，所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果，包括：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果。
上述方案中，所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像，包括：
将掩码图中每个像素与所述第一深度图像中每个像素进行相乘运算，得到运算结果；
将所述运算结果对应的图像作为与所述待分割对象对应的第二深度图像。
上述方案中，所述利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果，包括：
对所述待分割对象对应的第二深度图像的边界进行膨胀操作，得到边界区域的像素值；
将所述边界区域的像素值与所述边缘轮廓图中的像素值进行与运算，得到运算结果；
当所述运算结果满足预设条件时，停止膨胀操作，并将膨胀操作后的图像作为所述待分割对象的分割结果。
上述方案中，所述方法还包括：
当所述运算结果未满足所述预设条件时，继续对所述第二深度图像的边界进行膨胀操作。
上述方案中，所述利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图，包括：
对所述待分割对象进行图像识别处理，得到识别结果；
当所述识别结果表征所述待分割对象的图像与预设图像匹配时，利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图。
本发明实施例提供一种图像处理装置，包括：
获取单元，用于获取二维图像；
第一处理单元，用于利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；
第二处理单元，用于利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
第三处理单元，用于基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。
上述方案中，所述第三处理单元，具体用于：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果。
上述方案中，所述第三处理单元，具体用于：
将掩码图中每个像素与所述第一深度图像中每个像素进行相乘运算，得到运算结果；
将所述运算结果对应的图像作为与所述待分割对象对应的第二深度图像。
上述方案中，所述第三处理单元，具体用于：
对所述待分割对象对应的第二深度图像的边界进行膨胀操作，得到边界区域的像素值；
将所述边界区域的像素值与所述边缘轮廓图中的像素值进行与运算，得到运算结果；
当所述运算结果满足预设条件时，停止膨胀操作，并将膨胀操作后的图像作为所述待分割对象的分割结果。
上述方案中，所述第三处理单元，还用于：
当所述运算结果未满足所述预设条件时，继续对所述第二深度图像的边界进行膨胀操作。
上述方案中，所述第二处理单元，具体用于：
对所述待分割对象进行图像识别处理，得到识别结果；
当所述识别结果表征所述待分割对象的图像与预设图像匹配时，利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图。
本发明实施例提供一种一种电子设备，包括：
通信接口，用于获取二维图像；
处理器，用于利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果
本发明实施例提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行所述程序时实现上述任一方法的步骤。
本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行所述程序时实现上述任一方法的步骤。
本发明实施例提供的图像处理方法、装置、设备及存储介质，获取二维图像；利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。采用本发明实施例的技术方案，基于所述二维图像对应的深度图像，以及基于二维图像得到的待分割对象的掩码图，实现准确分割待分割对象，与相关技术中直接对二维图像进行图像检测和待分割对象的分割的方式闲相比，能够避免待分割对象的边缘出现错误问题的发生，从而保证待分割对象的完整。
附图说明
图1为本发明实施例图像处理方法的实现流程示意图；
图2为本发明实施例待分割对象对应的掩码图的示意图；
图3为本发明实施例基于掩码图得到人物对应的第二深度图像的示意图；
图4为本发明实施例人物的边缘轮廓深度图的示意图；
图5为本发明实施例对二维图像进行分割得到完整的待分割对象的实现流程示意图；
图6为本发明实施例判采集的RGB图像的示意图；
图7为本发明实施例输出的所述第一深度图像的示意图；
图8为本发明实施例对RGB图像进行分割得到的待分割对象的掩码图的示意图；
图9为本发明实施例图像处理装置的组成结构示意图；
图10为本发明实施例电子设备的组成结构示意图。
具体实施方式
在对本发明实施例的技术方案进行详细说明之前，首先对相关技术进行介绍说明。
相关技术中，在图像处理领域，可以对采集的待处理图像进行图像分割处理，以分割出待处理图像中的待分割对象，如图像中的人物、建筑物体等。目前，深度学习被广泛应用于图像检测与分割等任务，深度学习方法通常需要准确勾勒出待分割对象的边界，才能使模型得到更好的图像检测和分割结果。但是，相关技术中，利用深度学习对采集的待分割对象进行分割时，可能会出现待分割对象的边缘出现错误的现象，例如，在对人物进行分割的时候，可能会存在把用户的手臂、脚等本属于同一个主体的部分遗漏。
基于此，在本发明的各种实施例中，获取二维图像；利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。
需要说明的是，本发明实施例中，在采集的二维图像的分辨率较低、神经网络模型的精度较低的情况下，考虑到若直接对二维图像进行图像检测和待分割对象的分割，可能会导致分割的物体不完整，如待分割对象的边缘出现错误，因此，可以基于所述二维图像对应的深度图像，以及基于二维图像得到的待分割对象的掩码图，实现准确分割待分割对象，以保证待分割对象的边缘不出现错误，从而保证待分割对象的完整。
下面结合附图及具体实施例对本发明作进一步详细的说明。
本发明实施例提供一种图像处理方法，图1为本发明实施例图像处理方法的实现流程示意图；如图1所示，所述方法包括：
步骤101：获取二维图像；利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像。
步骤102：利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图。
步骤103：基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。
这里，在步骤101中，所述二维图像具体可以是指RGB图像。实际应用时，考虑到在二维图像的分辨率较低、神经网络模型的精度较低的情况下，若直接对二维图像进行图像检测和待分割对象的分割，可能会导致分割的物体不完整，如待分割对象的边缘出现错误，这样，可以将二维图像转换为深度图像，并利用深度图像得到待分割对象的分割结果。具体地，可以通过卷积操作对所述二维图像进行深度估计，从而得到所述二维图像的深度图像，即，利用所述第一神经网络模型，对所述二维图像进行卷积计算，得到所述二维图像的深度图像。
这里，在步骤102中，实际应用时，为了能够从二维图像中分割出待分割对像，可以通过对所述二维图像进行掩膜操作，以将待分割对象对应的图像区域抠出来，形成与该待分割对象对应的掩码图。
这里，在步骤103中，实际应用时，考虑到在二维图像的分辨率较低、神经网络模型的精度较低的情况下，若直接对二维图像进行图像检测和待分割对象的分割，可能会导致分割的物体不完整，如待分割对象的边缘出现错误，这样，可以基于所述二维图像对应的深度图像，以及待分割对象的掩码图，实现准确分割待分割对象，以保证待分割对象的边缘完整。
下面对如何对二维图像中的待分割对象进行完整分割的过程进行详细说明。
实际应用时，考虑到直接对二维图像进行掩膜抠图可能会导致得到的掩膜图中待分割对象不完整，这样，可以将待分割对象的掩膜图转换为深度图像，并确定待分割对象的轮廓的深度图像，从而利用掩膜图转换的深度图像与确定的轮廓的深度图像，确定待分割对象的边缘是否出现错误。
基于此，在一实施例中，所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果，包括：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果。
这里，可以将利用掩膜图转换的深度图像与确定的轮廓的深度图像进行比较，当利用掩膜图转换的深度图像与确定的轮廓的深度图像相同时，表明对二维图像进行掩膜抠图得到的待分割对象完整；当利用掩膜图转换的深度图像与确定的轮廓的深度图像不同时，表明对二维图像进行掩膜抠图得到的待分割对象不完整，这样，就需要利用确定的轮廓的深度图像对掩膜图转换的深度图像进行相关处理，以得到完整的待分割对象。
实际应用时，当用户希望从所述二维图像中分割出感兴趣的区域即待分割对象的区域时，可以对所述二维图像进行掩码操作，得到与所述待分割对象的区域对应的掩码图。考虑到该掩码图中的待分割对象可能是不完整的，因此，可以利用该掩码图，得到所述待分割对象的深度图像，后续可以将基于掩码图得到的待分割对象的深度图像与待分割对象的边缘轮廓深度图进行对比，以检测该掩码图中的待分割对象是否完整。
基于此，在一实施例中，所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像，包括：
将掩码图中每个像素与所述第一深度图像中每个像素进行相乘运算，得到运算结果；
将所述运算结果对应的图像作为与所述待分割对象对应的第二深度图像。
这里，当用户希望从所述二维图像中分割出感兴趣的区域即待分割对象的区域时，可以确定与所述待分割对象的区域对应的掩码矩阵；利用确定的掩码矩阵与所述二维图像进行与运算，得到的运算结果即是所述待分割对象的区域对应的掩码图，如图2所示。
实际应用时，通过对所述二维图像进行掩码操作，可以得到与所述待分割对象的区域对应的掩码图。考虑到该掩码图中的待分割对象可能是不完整的，因此，可以利用该掩码图，得到所述待分割对象的深度图像，并将基于掩码图得到的待分割对象的深度图像与待分割对象的边缘轮廓深度图进行对比，以检测该掩码图中的待分割对象是否完整。若检测该掩码图中的待分割对象不完整，则可以对基于掩码图得到的待分割对象的深度图像进行修正处理，以使修正处理后的深度图像中的待分割对象的边缘不出现错误，从而保证待分割对象的完整。
基于此，在一实施例中，所述利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果，包括：
对所述待分割对象对应的第二深度图像的边界进行膨胀操作，得到边界区域的像素值；
将所述边界区域的像素值与所述边缘轮廓图中的像素值进行与运算，得到运算结果；
当所述运算结果满足预设条件时，停止膨胀操作，并将膨胀操作后的图像作为所述待分割对象的分割结果。
这里，当所述运算结果未满足所述预设条件时，继续对所述第二深度图像的边界进行膨胀操作。
其中，所述运算结果满足预设条件可以是指将所述边界区域的像素值与所述边缘轮廓图中的像素值进行与运算后的数值等于预设阈值。
这里，所述对所述待分割对象对应的第二深度图像的边界进行膨胀操作，可以是指以一个像素为单位，将所述待分割对象对应的第二深度图像的边界进行向外移动。
举例来说，当用户希望从二维图像中分割出感兴趣的区域如人物的区域时，可以对所述二维图像进行掩码操作，得到与人物的区域对应的掩码图，并基于人物对应的掩码图得到人物对应的第二深度图像，如图3所示；并对所述二维图像的第一深度图像进行边缘检测，得到人物的边缘轮廓深度图，如图4所示。将图3中的人物与图4中的人物进行对比，发现图3中基于人物对应的掩码图得到的人物的边缘出现错误，即人物的手指被丢失，因此，需要对图3中基于掩码图得到的第二深度图像进行膨胀操作，具体地，以一个像素为单位，将手指区域的边界进行向外移动，假设移动后的像素值为数值1；并将移动后的像素值与图4所示的边缘轮廓深度图中的手指区域的像素进行与操作，若二者与操作运算结果为0，则停止膨胀操作；若二者与操作运算结果为1，则继续进行碰撞操作。也就是说，对图3中的掩码图得到的第二深度图像进行膨胀操作时，若触及图4中的边缘轮廓，则停止膨胀操作，否则继续执行膨胀操作，直到得到完整的待分割对象的分割结果。
实际应用时，当用户希望从二维图像中分割出如人物、房屋建筑、天空等待分割对象时，若分割的人物、房屋建筑等不完整，例如人物缺失了头部、大腿等，则会降低用户体验，若分割的天空等不完整，则对用户影响较低，因此，当待分割对象为特定图像时，可以采用本发明实施例提供的图像处理方法进行分割，以得到完整的待分割对象的图像。
基于此，在一实施例中，所述利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图，包括：
对所述待分割对象进行图像识别处理，得到识别结果；
当所述识别结果表征所述待分割对象的图像与预设图像匹配时，利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图。
举例来说，以预设图像为人物为例，对所述待分割对象进行图像识别处理，得到识别结果；当所述识别结果表征所述待分割对象的图像与预设人物图像匹配时，利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图，并基于所述二维图像对应的第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。
在一示例中，如图5所示，描述对二维图像进行分割得到完整的待分割对象的过程，包括：
步骤501：获取二维图像。
这里，二维图像为RGB图像，采集的RGB图像如图6所示。
步骤502：利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像。
这里，所述第一神经网络模型具体可以是U-NET结构的卷积神经网络。图7、图8是与所述二维图像对应的第一深度图像的示意图。
步骤503：利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图。
这里，所述第二神经网络模型具体可以是maskr CNN或者solo。
步骤504：基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像。
步骤505：对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图。
步骤506：利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果。
这里，具备以下优点：
(1)结合对二维图像进行深度估计得到的待分割对象的深度图像来给物体分割加入空间的约束，增强物体分割在边缘处的效果，这样，在自然场景下，被分割的物体的边缘与背景在深度图上会有一个突变，这个特点可以用作辅助物体分割，增强边缘处的效果。与相关技术中使用渲染或者使用mapping的方法来解决此类分割边缘出现的问题方式相比，能够避免只使用RGB图像的信息来进行分割，因此，在RGB图像的清晰度较差、神经网络模型的精度较低的情况下，能够完全解决待分割对象的边缘出错的问题，从而保证待分割对象的完整。
(2)先从RGB图像进行深度估计到深度信息，再结合空间深度信息，应用到物体分割任务中。提升物体分割任务中的边缘效果，避免像将人体等待分割对象进行错误切割问题的发生。
(3)在进行训练时，深度估计网络与物体分割网络可同时进行训练，在训练中加入约束，互相提升性能。
采用本发明实施例的技术方案，获取二维图像；利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。也就是说，基于所述二维图像对应的深度图像，以及基于二维图像得到的待分割对象的掩码图，实现准确分割待分割对象，具体地，若检测该掩码图中的待分割对象不完整，则可以对基于掩码图得到的待分割对象的深度图像进行修正处理，与相关技术中直接对二维图像进行图像检测和待分割对象的分割的方式闲相比，能够避免待分割对象的边缘出现错误问题的发生，从而保证待分割对象的完整。
为实现本发明实施例图像处理方法，本发明实施例还提供一种图像处理装置。图9为本发明实施例图像处理装置的组成结构示意图；如图9所示，所述装置包括：
获取单元91，用于获取二维图像；
第一处理单元92，用于利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；
第二处理单元93，用于利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
第三处理单元94，用于基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果。
在一实施例中，所述第三处理单元94，具体用于：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果。
在一实施例中，所述第三处理单元94，具体用于：
将掩码图中每个像素与所述第一深度图像中每个像素进行相乘运算，得到运算结果；
将所述运算结果对应的图像作为与所述待分割对象对应的第二深度图像。
在一实施例中，所述第三处理单元94，具体用于：
对所述待分割对象对应的第二深度图像的边界进行膨胀操作，得到边界区域的像素值；
将所述边界区域的像素值与所述边缘轮廓图中的像素值进行与运算，得到运算结果；
当所述运算结果满足预设条件时，停止膨胀操作，并将膨胀操作后的图像作为所述待分割对象的分割结果。
在一实施例中，所述第三处理单元94，还用于：
当所述运算结果未满足所述预设条件时，继续对所述第二深度图像的边界进行膨胀操作。
在一实施例中，所述第二处理单元93，具体用于：
对所述待分割对象进行图像识别处理，得到识别结果；
当所述识别结果表征所述待分割对象的图像与预设图像匹配时，利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图。
实际应用时，所述获取单元91可由所述装置中的通信接口实现；所述第一处理单元92、第二处理单元93、第三处理单元94可由所述装置中的处理器实现；所述处理器可以是中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital SignalProcessor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)。
需要说明的是：上述实施例提供的装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用时，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
基于上述设备的硬件实现，本发明实施例还提供了一种电子设备，图10为本发明实施例的电子设备的硬件组成结构示意图，如图10所示，电子设备100包括存储器103、处理器102及存储在存储器103上并可在处理器102上运行的计算机程序；所述处理器102执行所述程序时实现上述一个或多个技术方案提供的方法。
需要说明的是，所述处理器102执行所述程序时实现的具体步骤已在上文详述，这里不再赘述。
可以理解，电子设备100还包括通信接口101，所述通信接口101用于和其它设备进行信息交互；同时，电子设备100中的各个组件通过总线系统104耦合在一起。可理解，总线系统104配置为实现这些组件之间的连接通信。总线系统104除包括数据总线之外，还包括电源总线、控制总线和状态信号总线等。
可以理解，本实施例中的存储器103可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器102中，或者由处理器102实现。处理器102可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器102可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器102读取存储器中的信息，结合其硬件完成前述方法的步骤。
本发明实施例还提供了一种存储介质，具体为计算机存储介质，更具体的为计算机可读存储介质。其上存储有计算机指令，即计算机程序，该计算机指令被处理器执行时上述一个或多个技术方案提供的方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、电子设备、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：
获取二维图像；
利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；
利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果；
其中，
所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果，包括：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果；
其中，利用所述待分割对象的边缘轮廓深度图以及所述待分割对象对应的第二深度图像得到所述待分割对象的分割结果之前，所述方法还包括：
将利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图进行比较，当利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图相同时，表明对所述二维图像进行掩膜抠图得到的待分割对象完整；当利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图不同时，表明对所述二维图像进行掩膜抠图得到的待分割对象不完整，并利用确定的边缘轮廓深度图对掩膜图转换的第二深度图像进行相关处理，以得到完整的待分割对象。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像，包括：
将掩码图中每个像素与所述第一深度图像中每个像素进行相乘运算，得到运算结果；
将所述运算结果对应的图像作为与所述待分割对象对应的第二深度图像。
3.根据权利要求1所述的方法，其特征在于，所述利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果，包括：
对所述待分割对象对应的第二深度图像的边界进行膨胀操作，得到边界区域的像素值；
将所述边界区域的像素值与所述边缘轮廓图中的像素值进行与运算，得到运算结果；
当所述运算结果满足预设条件时，停止膨胀操作，并将膨胀操作后的图像作为所述待分割对象的分割结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述运算结果未满足所述预设条件时，继续对所述第二深度图像的边界进行膨胀操作。
5.根据权利要求1所述的方法，其特征在于，所述利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图，包括：
对所述待分割对象进行图像识别处理，得到识别结果；
当所述识别结果表征所述待分割对象的图像与预设图像匹配时，利用第二神经网络模型，对所述二维图像中的目标物体进行分割，得到与所述待分割对象对应的掩码图。
6.一种图像处理装置，其特征在于，包括：
获取单元，用于获取二维图像；
第一处理单元，用于利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；
第二处理单元，用于利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
第三处理单元，用于基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果；
其中，
所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果，包括：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果；
其中，利用所述待分割对象的边缘轮廓深度图以及所述待分割对象对应的第二深度图像得到所述待分割对象的分割结果之前，还包括：
将利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图进行比较，当利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图相同时，表明对所述二维图像进行掩膜抠图得到的待分割对象完整；当利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图不同时，表明对所述二维图像进行掩膜抠图得到的待分割对象不完整，并利用确定的边缘轮廓深度图对掩膜图转换的第二深度图像进行相关处理，以得到完整的待分割对象。
7.一种电子设备，其特征在于，包括：
通信接口，用于获取二维图像；
处理器，用于利用第一神经网络模型，对所述二维图像进行深度估计处理，得到与所述二维图像对应的第一深度图像；利用第二神经网络模型，对所述二维图像中的待分割对象进行分割，得到所述待分割对象对应的掩码图；
基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果；
其中，所述基于所述第一深度图像和所述待分割对象对应的掩码图，得到所述待分割对象的分割结果，包括：
基于所述第一深度图像和所述待分割对象对应的掩码图，得到与所述待分割对象对应的第二深度图像；
对所述第一深度图像进行边缘检测，得到所述待分割对象的边缘轮廓深度图；
利用所述待分割对象的边缘轮廓深度图，以及所述待分割对象对应的第二深度图像，得到所述待分割对象的分割结果；
其中，利用所述待分割对象的边缘轮廓深度图以及所述待分割对象对应的第二深度图像得到所述待分割对象的分割结果之前，还包括：
将利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图进行比较，当利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图相同时，表明对所述二维图像进行掩膜抠图得到的待分割对象完整；当利用掩膜图转换的第二深度图像与确定的边缘轮廓深度图不同时，表明对所述二维图像进行掩膜抠图得到的待分割对象不完整，并利用确定的边缘轮廓深度图对掩膜图转换的第二深度图像进行相关处理，以得到完整的待分割对象。
8.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述方法的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
CN202011259912.2A 2020-11-12 2020-11-12 图像处理方法、装置、设备及存储介质 Active CN112365510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011259912.2A CN112365510B (zh) 2020-11-12 2020-11-12 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011259912.2A CN112365510B (zh) 2020-11-12 2020-11-12 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112365510A CN112365510A (zh) 2021-02-12
CN112365510B true CN112365510B (zh) 2022-12-30

Family

ID=74514432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011259912.2A Active CN112365510B (zh) 2020-11-12 2020-11-12 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112365510B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066115B (zh) * 2021-04-28 2022-03-25 北京的卢深视科技有限公司 深度预测网络训练方法、装置、服务器和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679502A (zh) * 2017-10-12 2018-02-09 南京行者易智能交通科技有限公司 一种基于深度学习图像语义分割的人数估计方法
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN111739161A (zh) * 2020-07-23 2020-10-02 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备
CN111739005A (zh) * 2020-06-22 2020-10-02 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301408B (zh) * 2017-07-17 2020-06-23 成都通甲优博科技有限责任公司 人体掩膜提取方法及装置
WO2019200533A1 (zh) * 2018-04-17 2019-10-24 深圳市汇顶科技股份有限公司 图像处理方法、装置和电子设备
CN109800735A (zh) * 2019-01-31 2019-05-24 中国人民解放军国防科技大学 一种船目标精确检测与分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN107679502A (zh) * 2017-10-12 2018-02-09 南京行者易智能交通科技有限公司 一种基于深度学习图像语义分割的人数估计方法
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN111739005A (zh) * 2020-06-22 2020-10-02 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质
CN111739161A (zh) * 2020-07-23 2020-10-02 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备

Also Published As

Publication number Publication date
CN112365510A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN110610154A (zh) 行为识别方法、装置、计算机设备和存储介质
WO2019152144A1 (en) Object detection based on neural network
CN113888541B (zh) 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
CN112365510B (zh) 图像处理方法、装置、设备及存储介质
CN112733767A (zh) 一种人体关键点检测方法、装置、存储介质及终端设备
CN110543879A (zh) 基于se模块的ssd目标检测方法及计算机存储介质
CN112581446A (zh) 一种图像的显著性物体检测方法、装置、设备及存储介质
CN114155365A (zh) 模型训练方法、图像处理方法及相关装置
CN108268863B (zh) 一种图像处理方法、装置和计算机存储介质
CN113228105A (zh) 一种图像处理方法、装置和电子设备
WO2023142753A1 (zh) 图像相似性度量方法及其装置
CN112257686B (zh) 人体姿态识别模型的训练方法、装置及存储介质
CN113627397B (zh) 一种手部姿态识别方法、系统、设备和存储介质
CN112633078B (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN110544256B (zh) 基于稀疏特征的深度学习图像分割方法及装置
CN108388859B (zh) 物体检测方法、网络训练方法、装置和计算机存储介质
CN109389089B (zh) 基于人工智能算法的多人行为识别方法及装置
CN111435448B (zh) 图像显著性物体检测方法、装置、设备及介质
CN113689939A (zh) 用于图像特征匹配的图像存储方法、系统和计算设备
CN111862159A (zh) 改良的孪生卷积网络的目标跟踪与分割方法、系统及介质
CN113159032A (zh) 基于目标检测网络的目标跟踪方法、装置、设备及介质
KR20210087494A (ko) 인체 방향 검출 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
CN107735800B (zh) 一种图像处理方法以及相关装置
CN112528900B (zh) 基于极致下采样的图像显著性物体检测方法及系统
CN114638968B (zh) 一种空间目标的几何结构与关键点提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant