CN111553940B - 一种深度图人像边缘优化方法及处理装置 - Google Patents

一种深度图人像边缘优化方法及处理装置 Download PDF

Info

Publication number
CN111553940B
CN111553940B CN202010422372.9A CN202010422372A CN111553940B CN 111553940 B CN111553940 B CN 111553940B CN 202010422372 A CN202010422372 A CN 202010422372A CN 111553940 B CN111553940 B CN 111553940B
Authority
CN
China
Prior art keywords
image
module
depth
ternary
diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010422372.9A
Other languages
English (en)
Other versions
CN111553940A (zh
Inventor
赵晓刚
王永滨
江南
余维学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hailichuang Technology Co ltd
Original Assignee
Shanghai Hailichuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hailichuang Technology Co ltd filed Critical Shanghai Hailichuang Technology Co ltd
Priority to CN202010422372.9A priority Critical patent/CN111553940B/zh
Publication of CN111553940A publication Critical patent/CN111553940A/zh
Application granted granted Critical
Publication of CN111553940B publication Critical patent/CN111553940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种深度图人像边缘优化方法及处理装置，包括深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；深度图像采集模块获取到人像的深度图与原图，将深度图以及原图传输给置信度估计模块；置信度估计模块将深度图像转化为三元图，原图与三元图传输到深度学习模块中，得到修正后的三元图，然后三元图与原图传输给人像特征训练模块对原图上前景背景上的点进行分类训练，再将分类模型以及原图传递给边缘优化模块；边缘优化模块根据获取到分类模型对三元图上的未知区域内的点进行预测和深度填充，最终得到优化后的人像深度图像。

Description

一种深度图人像边缘优化方法及处理装置
技术领域
本发明涉及视觉及图像处理技术领域，尤其涉及一种深度图人像边缘优化方法及处理装置。
背景技术
随着科学技术的发展，目前双摄算法已基本成为智能手机的标配之一，很多智能手机厂商都纷纷推出自己的人像背景虚化效果，以期望在手机上获得与单反相机近似的背景虚化效果，提升人像拍摄的美学效果。但是，因受到双摄摄像头成像效果不一致、运动模糊、光噪声等影响，获取到深度图像中，人像深度图中的人像边缘往往是不完整的，人像边缘的深度信息准确性比较低，并不能很好的贴近人像的真实边界，直接使用这种深度图直接对背景进行虚化，会造成人像边缘有锯齿、部分人像被虚化，部分背景未虚化等问题，在某些场景下的虚化效果不理想，这为用户的使用带来了不便。
发明内容
本发明提出的一种深度图人像边缘优化方法及处理装置，以优化人像深度图人像边缘，使得人像的边缘更完整。
根据本发明的第一方面，提出一种深度图人像边缘优化处理装置，包括：
深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；
所述深度图像采集模块获取人像的深度图与原图；
所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；
所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及
所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。
根据本发明的第二方面，提供一种深度图人像边缘优化方法，包括步骤：
深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；
所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；
所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及
所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。
本发明实施例中，可以快速准确的对人像深度图边缘进行优化，提高人像深度图的边缘深度信息的准确性，能更好的逼近人像的真实边界。
另外，根据本发明的一个实施例，所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测包括：将所述未知区域准确的分为前景与背景。
另外，根据本发明的一个实施例，所述深度图像采集模块利用包括双摄模组或rgbd摄像头获取到人像的深度图与原图。可见，本发明可以应用于成像效果不一致、运动模糊、光噪声的摄像头中，从而具有更好的应用范围。
另外，根据本发明的一个实施例，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：
定义深度图D的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间；x，y表示图的坐标位置，即第x行第y列
Figure 597134DEST_PATH_IMAGE001
；
以d+th为阈值将深度图二值化得到二值化图H，其中th为设定的经验值，th取值范围在10cm到60cm之间，建立三元图S1，将二值化图H上为0的点在三元图标记为255，将二值化图H为1的点标记为0
Figure 576591DEST_PATH_IMAGE002
；
将三元图S1进行边缘检测得到边缘图B，将三元图S1上距离边缘小于sp的点标记为127，并认为是未知区域，得到过渡图S2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间；
Figure 356328DEST_PATH_IMAGE003
Figure 751538DEST_PATH_IMAGE004
将过渡图S2与原图叠加为4通道图送入所述深度学习模块中，从而在所述深度学习模块中得到修正后的三元图S3。
另外，根据本发明的一个实施例，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型包括：
a、对原图，使用网络进行前向处理，得到预测结果S4，在修正后的三元图S3不等于127的点与预测结果S4中对应的点之间计算欧氏距离损失，得到损失值loss，然后求损失值loss的均值lossave
Figure 150199DEST_PATH_IMAGE005
Figure 972662DEST_PATH_IMAGE006
b、定义学习率为lr，对网络进行反向传播，逐层的更新参数，
定义：
Figure 239695DEST_PATH_IMAGE007
，w1为网络中的一个参数，
求解出lossave对w1的偏导数
Figure 500912DEST_PATH_IMAGE008
，
则w1更新后的结果w1-new为
Figure 169791DEST_PATH_IMAGE009
c、重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。
另外，根据本发明的一个实施例，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像包括：
使用获取到的分类模型对修正后的三元图S3与原图的叠加图进行前背景预测，得到预测结果S；
利用预测结果S对深度图D进行优化，得到优化后的深度图Dnew
Figure 163155DEST_PATH_IMAGE010
其中dnear为预测结果S上等于0的点集中距离点（x,y）最近的点的深度。
附图说明
图1为本发明实施例中深度图人像边缘优化处理装置的示意图；
图2为本发明实施例中深度图人像边缘优化方法的流程示意图；
图3为本发明实施例中深度图人像边缘优化方法的示意图一；
图4为本发明实施例中深度图人像边缘优化方法的示意图二。
具体实施方式
下面将结合示意图对本发明的深度图人像边缘优化方法及处理装置进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
实施例1
本发明实施例1提供了一种深度图人像边缘优化处理装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图1，包括：
深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；
所述深度图像采集模块获取人像的深度图与原图；
所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；
所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及
所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。
由此，本发明实施例对人像深度图人像边缘的优化的实现提供了结构上的保证。
实施例2
本发明实施例2提供了一种深度图人像边缘优化处理装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例中，具体包括：
所述深度图像采集模块可以是包括双摄模组或rgbd摄像头。或者，其他任何类型的摄像模组。
所述置信度估计模块可以是与所述深度图像采集模块和所述深度学习模块相连接并交互，能够将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中。
所述置信度估计模块至少具有如下特征：
能够对深度图D进行定义，例如包括宽度w，高度h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间，例如0.2、0.3、0.4、0.5、0.6、0.7、0.8等；x，y表示图的坐标位置，即第x行第y列
Figure 917484DEST_PATH_IMAGE011
可以将深度图二值化得到二值化图H，在二值化过程中，能够根据经验值设置阈值d+th，其中th为设定的经验值，th取值范围在10cm到60cm之间，例如，15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm等，并建立三元图S1，同时，将二值化图H上的点进行标记，例如二值化图H上为0的点在三元图标记为255，二值化图H为1的点标记为0
Figure 716813DEST_PATH_IMAGE012
可以对三元图S1进行边缘检测得到边缘图B，同时对三元图S1上距离边缘小于设定值sp的点进行标记，例如可以标记为127，并判定是未知区域，得到过渡图S2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间，例如1/16、1/17、1/18、1/19、1/20、1/21、1/22、1/23、1/24、1/25、1/26、1/27、1/28、1/29等；
Figure 240198DEST_PATH_IMAGE013
Figure 670042DEST_PATH_IMAGE014
在获得上述内容后，能够将过渡图S2与原图I叠加为4通道图送入所述深度学习模块中，得到修正后的三元图S3。
所述深度学习模块可以是预先训练好的深度学习网络。所述深度学习模块在得到修正后的三元图S3后，将所述修正后的三元图与原图传输给人像特征训练模块。
所述人像特征训练模块可以根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点。所述人像特征训练模块至少包括如下特征：
a、可以对原图I使用网络进行前向处理，得到预测结果S4，并在修正后的三元图S3不等于127的点与预测结果S4中对应的点之间计算欧氏损失（Euclideanloss），得到损失值loss，然后求损失值loss的均值lossave；
Figure 973985DEST_PATH_IMAGE015
Figure 249108DEST_PATH_IMAGE016
b、可以定义学习率lr，对网络进行反向传播，逐层的更新参数，
例如定义：
Figure 892579DEST_PATH_IMAGE017
，w1为网络中的一个参数，
求解lossave对w1的偏导数
Figure 227746DEST_PATH_IMAGE018
，
则w1更新后的结果w1-new为
Figure 520449DEST_PATH_IMAGE019
，
c、重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。
所述边缘优化模块与所述人像特征训练模块连接并交互，从而可以获取所述分类模型，并对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。所述边缘优化模块至少具有如下特征：
能够使用获取到的分类模型对修正后的三元图S3与原图的叠加图进行前背景预测，得到预测结果S。
可以利用预测结果S对深度图D进行优化，得到优化后的深度图Dnew
Figure 599263DEST_PATH_IMAGE020
，
其中dnear为预测结果S上等于0的点集中距离点（x,y）最近的点的深度。
进一步的，上述处理装置可以采用单独的供电模块，或者外接电源。
实施例3
本发明实施例3提供了一种深度图人像边缘优化方法。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图2，包括：
步骤S11，深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；
步骤S12，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；
步骤S13，所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；
步骤S14，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及
步骤S15，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。
本实施例的方法，能够快速准确的对人像深度图边缘进行优化，提高人像深度图的边缘深度信息的准确性，能更好的逼近人像的真实边界。
实施例4
本发明实施例4提供了一种深度图人像边缘优化方法，并且可以是在实施例3的基础上进一步优化，其中，相同或相似的部分省略其描述。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图2-4，包括：
对于步骤S11，深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块。可以是，所述深度图像采集模块利用双摄模组或rgbd摄像头获取到人像的深度图与原图。
对于步骤S12，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：
（3.1）定义深度图D的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间，例如0.2、0.3、0.4、0.5、0.6、0.7、0.8等；x，y表示图的坐标位置，即第x行第y列
Figure 97241DEST_PATH_IMAGE021
（3.2）以d+th为阈值将深度图二值化得到二值化图H，其中th为设定的经验值，th取值范围在10cm到60cm之间，例如，15cm、20cm、25cm、30cm、35cm、40cm、45cm、50cm、55cm等，建立三元图S1，将二值化图H上为0的点在三元图标记为255，将二值化图H为1的点标记为0
Figure 868888DEST_PATH_IMAGE022
（3.3）将三元图S1进行边缘检测得到边缘图B，将三元图S1上距离边缘小于设定值sp的点标记为127，并认为是未知区域，得到过渡图S2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间，例如1/16、1/17、1/18、1/19、1/20、1/21、1/22、1/23、1/24、1/25、1/26、1/27、1/28、1/29等；
Figure 881843DEST_PATH_IMAGE023
，
（3.4）将过渡图S2与原图I叠加为4通道图送入所述深度学习模块中，从而在所述深度学习模块中得到修正后的三元图S3。
其中，图3示意性的表示了一种深度学习过程，可以理解的是，本领域技术人员可以采取现有技术中任何常见的深度学习方法来完成本步骤。
具体在图3中，Conv + BN + ReLU表示对图像连续进行卷积处理，数据标准化处理和激活处理；Sub-pixel Conv表示对图像进行子像素卷积处理；Max Pooling表示对图像进行局部最大池化处理；ResBlock表示对图像进行一个残差块特征提取处理，即对图像进行卷积，数据标准化，激活，再卷积，再数据标准化，然后与输入图逐像素求差值作为输出；Global Conv表示全局卷积。
对于步骤S14，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点。可参考图4，具体包括：
a、对原图I，使用网络进行前向处理，得到预测结果S4，在修正后的三元图S3不等于127的点与预测结果S4中对应的点之间计算欧氏损失（Euclideanloss），得到损失值loss，然后求损失值loss的均值lossave
Figure 764349DEST_PATH_IMAGE024
Figure 116832DEST_PATH_IMAGE025
b、定义学习率为lr，对网络进行反向传播，逐层的更新参数，
定义：
Figure 121698DEST_PATH_IMAGE026
，w1为网络中的一个参数，
求解出lossave对w1的偏导数
Figure 559632DEST_PATH_IMAGE027
，
则w1更新后的结果w1-new为
Figure 980249DEST_PATH_IMAGE028
，
c重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。
对于步骤S15，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。具体包括：
（5.1）使用获取到的分类模型对修正后的三元图S3与原图的叠加图进行前背景预测，得到预测结果S；
（5.2）利用预测结果S对深度图D进行优化，得到优化后的深度图Dnew
Figure 515136DEST_PATH_IMAGE030
其中dnear为预测结果S上等于0的点集中距离点（x,y）最近的点的深度。
图4中还示例了可能涉及到的具体算法，其中ResBlock表示对图像进行一个残差块特征提取处理，即对图像进行卷积，数据标准化，激活，再卷积，再数据标准化，然后与输入图逐像素求差值作为输出；ConvLSTM Cell表示对图像进行空间深度学习，是一种改进的全连接处理方式，使得网络可以通过输入的多维特征图分析出各像素点的局部空间特性。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (7)

1.一种深度图人像边缘优化处理装置，其特征在于，包括：
深度图像采集模块，置信度估计模块，深度学习模块，人像特征训练模块，以及边缘优化模块；
所述深度图像采集模块获取人像的深度图与原图；
所述置信度估计模块将所述深度图像转化为包括前景、背景、未知的三元图；
所述深度学习模块结合原图对所述三元图进行估计与修正，得到修正后的三元图；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练，获得分类模型；以及
所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。
2.如权利要求1所述的深度图人像边缘优化处理装置，其特征在于，所述边缘优化模块根据所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测包括：将所述未知区域准确的分为前景与背景。
3.一种深度图人像边缘优化方法，包括步骤：
深度图像采集模块获取人像的深度图与原图，将深度图以及原图传输给置信度估计模块；
所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中；
所述深度学习模块对所述三元图进行估计与修正，得到修正后的三元图，然后将所述修正后的三元图与原图传输给人像特征训练模块；
所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型，使分类模型可以准确的估计前景与背景点；以及
所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像。
4.如权利要求3所述的深度图人像边缘优化方法，其特征在于，所述深度图像采集模块利用包括双摄模组或rgbd摄像头获取到人像的深度图与原图。
5.如权利要求3所述的深度图人像边缘优化方法，其特征在于，所述置信度估计模块将深度图像转化为包括前景、背景、未知的三元图，并将所述原图与所述三元图传输到深度学习模块中的步骤包括：
定义深度图D的宽度为w，高度为h，统计深度图中心部分宽度为2*p*w，高度为2*p*h的区域的平均深度d，p的取值范围在0.1到0.9之间；x，y表示图的坐标位置，即第x行第y列
Figure 87810DEST_PATH_IMAGE001
以d+th为阈值将深度图二值化得到二值化图H，其中th为设定的经验值，th取值范围在10cm到60cm之间，建立三元图S1，将二值化图H上为0的点在三元图标记为255，将二值化图H为1的点标记为0
Figure 158534DEST_PATH_IMAGE002
将三元图S1进行边缘检测得到边缘图B，将三元图S1上距离边缘小于设定值sp的点标记为127，并认为是未知区域，得到过渡图S2，其中sp为设定的经验值，sp取值范围在图像宽度的1/30至1/15之间；
Figure 211941DEST_PATH_IMAGE003
Figure 114037DEST_PATH_IMAGE004
将过渡图S2与原图叠加为4通道图送入所述深度学习模块中，从而在所述深度学习模块中得到修正后的三元图S3。
6.如权利要求5所述的深度图人像边缘优化方法，其特征在于，所述人像特征训练模块根据所述修正后的三元图以及原图，对原图上前景、背景上的点进行分类训练获得分类模型包括：
a、对原图，使用网络进行前向处理，得到预测结果S4，在修正后的三元图S3不等于127的点与预测结果S4中对应的点之间计算欧氏损失，得到损失值loss，然后求损失值loss的均值lossave
Figure 594697DEST_PATH_IMAGE005
Figure 887138DEST_PATH_IMAGE006
b、定义学习率为lr，对网络进行反向传播，逐层的更新参数，
定义：
Figure 744236DEST_PATH_IMAGE007
，w1为网络中的一个参数，
求解出lossave对w1的偏导数
Figure 500839DEST_PATH_IMAGE008
则w1更新后的结果w1-new为
Figure 152401DEST_PATH_IMAGE009
c、重复a与b，直到得到的lossave达到稳定，波动小于设定阈值，则保存此时的参数，作为训练好的分类模型。
7.如权利要求6所述的深度图人像边缘优化方法，其特征在于，所述边缘优化模块获取所述分类模型，对所述修正后的三元图上的未知区域内的点进行预测和深度填充，得到优化后的人像深度图像包括：
使用获取到的分类模型对修正后的三元图S3与原图的叠加图进行前背景预测，得到预测结果S；
利用预测结果S对深度图D进行优化，得到优化后的深度图Dnew
Figure DEST_PATH_IMAGE011
其中dnear为预测结果S上等于0的点集中距离点（x,y）最近的点的深度。
CN202010422372.9A 2020-05-19 2020-05-19 一种深度图人像边缘优化方法及处理装置 Active CN111553940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010422372.9A CN111553940B (zh) 2020-05-19 2020-05-19 一种深度图人像边缘优化方法及处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422372.9A CN111553940B (zh) 2020-05-19 2020-05-19 一种深度图人像边缘优化方法及处理装置

Publications (2)

Publication Number Publication Date
CN111553940A CN111553940A (zh) 2020-08-18
CN111553940B true CN111553940B (zh) 2023-06-16

Family

ID=72008488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422372.9A Active CN111553940B (zh) 2020-05-19 2020-05-19 一种深度图人像边缘优化方法及处理装置

Country Status (1)

Country Link
CN (1) CN111553940B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712536B (zh) * 2020-12-24 2024-04-30 Oppo广东移动通信有限公司 图像处理方法、芯片及电子装置
CN113066115B (zh) * 2021-04-28 2022-03-25 北京的卢深视科技有限公司 深度预测网络训练方法、装置、服务器和可读存储介质
CN114359123A (zh) * 2022-01-12 2022-04-15 广东汇天航空航天科技有限公司 一种图像处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000752A1 (zh) * 2016-06-27 2018-01-04 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN109146767A (zh) * 2017-09-04 2019-01-04 成都通甲优博科技有限责任公司 基于深度图的图像虚化方法及装置
WO2019101221A1 (zh) * 2017-12-11 2019-05-31 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
CN110378946A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013206597A1 (en) * 2013-06-28 2015-01-22 Canon Kabushiki Kaisha Depth constrained superpixel-based depth map refinement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000752A1 (zh) * 2016-06-27 2018-01-04 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN109146767A (zh) * 2017-09-04 2019-01-04 成都通甲优博科技有限责任公司 基于深度图的图像虚化方法及装置
WO2019101221A1 (zh) * 2017-12-11 2019-05-31 珠海大横琴科技发展有限公司 一种基于场景多维特征的船只检测方法及系统
CN110378946A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李宇翔 ; 邓慧萍 ; 向森 ; 吴谨 ; 朱磊 ; .纹理边缘引导的深度图像超分辨率重建.中国图象图形学报.2018,(10),全文. *
黄军 ; 王聪 ; 刘越 ; 毕天腾 ; .单目深度估计技术进展综述.中国图象图形学报.2019,(12),全文. *

Also Published As

Publication number Publication date
CN111553940A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553940B (zh) 一种深度图人像边缘优化方法及处理装置
US11809975B2 (en) System and method for end-to-end-differentiable joint image refinement and perception
Pang et al. Zoom and learn: Generalizing deep stereo matching to novel domains
US10846836B2 (en) View synthesis using deep convolutional neural networks
US11526995B2 (en) Robust use of semantic segmentation for depth and disparity estimation
EP3327668A1 (en) Image-processing device and method for foreground mask correction for object segmentation
KR101944208B1 (ko) 색 보정을 위한 장치 및 방법
US9361699B2 (en) Imaging system and method
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
CN112258528A (zh) 图像处理方法和装置、电子设备
CN110557584B (zh) 图像处理方法及装置、计算机可读存储介质
US20150138312A1 (en) Method and apparatus for a surround view camera system photometric alignment
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
KR101426298B1 (ko) 안개 제거율을 높인 영상보정장치 및 방법
CN114746895A (zh) 用于图像去噪的噪声重构
CN112801918A (zh) 图像增强模型的训练方法、图像增强方法及电子设备
CN111508013A (zh) 立体匹配方法
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN112529854A (zh) 一种噪声估计方法、装置、存储介质及设备
US10165257B2 (en) Robust disparity estimation in the presence of significant intensity variations for camera arrays
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
KR20230043668A (ko) 딥러닝 네트워크 기반의 파노라마 영상 생성 방법 및 장치
CN117152330B (zh) 一种基于深度学习的点云3d模型贴图方法和装置
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 411, 4th floor, main building, No. 835 and 937, Dangui Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200131

Applicant after: Shanghai hailichuang Technology Co.,Ltd.

Address before: 201203 Room 411, 4th Floor, Main Building (1 Building) of Zhangjiang Guochuang Center, 899 Dangui Road, Pudong New Area, Shanghai

Applicant before: SHANGHAI HYNITRON MICROELECTRONIC Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201203 No. 10, Lane 36, Xuelin Road, Pudong New Area, Shanghai

Applicant after: Shanghai hailichuang Technology Co.,Ltd.

Address before: Room 411, 4th floor, main building, No. 835 and 937, Dangui Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200131

Applicant before: Shanghai hailichuang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant