CN113763449A - 深度恢复方法、装置、电子设备及存储介质 - Google Patents

深度恢复方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113763449A
CN113763449A CN202110993141.8A CN202110993141A CN113763449A CN 113763449 A CN113763449 A CN 113763449A CN 202110993141 A CN202110993141 A CN 202110993141A CN 113763449 A CN113763449 A CN 113763449A
Authority
CN
China
Prior art keywords
depth
map
infrared image
image
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110993141.8A
Other languages
English (en)
Other versions
CN113763449B (zh
Inventor
刘祺昌
户磊
化雪诚
王海彬
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110993141.8A priority Critical patent/CN113763449B/zh
Publication of CN113763449A publication Critical patent/CN113763449A/zh
Application granted granted Critical
Publication of CN113763449B publication Critical patent/CN113763449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及图像处理领域，公开了一种深度恢复方法、装置、电子设备及存储介质。深度恢复方法包括：获取目标物体的左红外图和右红外图；对所述左红外图进行分割处理获取特征区域图；基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图，并基于单目深度恢复对所述左红外图进行处理获取第二深度图；根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图，从而使得本发明可以提高深度恢复方法的鲁棒性和提高所获取的深度恢复图的质量。

Description

深度恢复方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像处理领域，特别涉及一种深度恢复方法、装置、电子设备及存储介质。
背景技术
在数字化高速发展的今天，人们希望将越来越多的现实物体进行3D数字化并应用到多种虚实结合的场景下，3D视觉被应用到越来越多的领域。深度恢复作为3D数字化的关键步骤，被期望在光照多变、纹理缺失的环境下能够有效恢复多种物体的深度信息；以人脸识别为例，三维人脸识别便是一种十分有效的防伪手段，良好的深度恢复的效果能有效提高人脸识别的准确率。
然而，目前的深度恢复算法大多都依赖于彩色图和原始深度图，在根据彩色图和原始深度图进行处理的过程中，由于需要输入大量特征来进行约束以及进行像素块匹配，并不能够充分利用图像信息和约束信息，导致深度恢复方法鲁棒性不强，所恢复的深度图容易出现模糊、深度缺失等。
发明内容
本发明实施方式的目的在于提供一种深度恢复方法、装置、电子设备及存储介质，能够通过对双目深度恢复产生的第一深度图和单目深度恢复产生的第二深度图进行融合来获取目标物体的深度恢复图，使得可以提高深度恢复方法的鲁棒性和提高所获取的深度恢复图的质量。
本发明的实施方式提供了一种深度恢复方法，所述方法包括：获取目标物体的左红外图和右红外图；对所述左红外图进行分割处理获取特征区域图；基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图，并基于单目深度恢复对所述左红外图进行处理获取第二深度图；根据所述特征区域图对所述第一深度图和第二深度图进行融合获取所述目标物体的深度恢复图。
本发明的实施方式还提供了一种深度恢复装置，所述装置包括：
获取模块，用于获取待恢复物体的左红外图和右红外图；
图像分割模块，用于对所述左红外图进行分割处理获取特征区域图；
深度恢复模块，用于基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图，并基于单目深度恢复对所述左红外图进行处理获取第二深度图；
图像融合模块，根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的深度恢复方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上所述的深度恢复方法。
本发明实施方式，在对目标物体进行深度恢复的过程中，通过所获取的获取目标物体的左红外图和右红外图；对左红外图进行分割处理获取特征区域图；基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图；根据特征区域图对第一深度图和第二深度图进行融合获取目标物体的深度恢复图，从而可以提高深度恢复方法的鲁棒性和提高所获取的深度恢复图的质量，解决了现有技术中由于再根据目标物体的彩色图和原始深度图进行深度恢复的过程中不能够充分利用图像信息而导致的深度恢复方法鲁棒性不强，所恢复的深度图容易出现模糊、深度缺失的技术问题。
另外，本发明实施方式提供的深度恢复方法，所述对所述左红外图进行分割处理获取特征区域图包括：对所述左红外图进行边缘检测生成边缘轮廓图；对所述边缘轮廓上的轮廓线进行形态学闭操作生成边缘区域图，其中，所述边缘区域图包含若干区域；根据所述若干区域内各区域的面积修正所述各区域内各像素点的像素值，生成所述特征区域图。本发明提供的技术方案可以根据左红外图的边缘检测结果对左红外图进行区域划分，以此来给根据第一深度图和第二深度图进行融合时提供融合依据。
另外，本发明实施方式提供的深度恢复方法，根据所述若干区域修正后的像素值生成所述特征区域图之后还包括：对所述特征区域图进行逐像素的连通区域检测，修正所述特征区域图。本发明提供的技术方案可以通过连通区域检测对特征分类图进行修正，可以提高所获取的特征分类图的准确性，进而来提高深度恢复图的质量。
另外，本发明实施方式提供的深度恢复方法，所述根所述特征区域图包含i个区域；所述根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图之前还包括：获取所述第一深度图上第i个区域的第一平均深度值和所述第二深度图上第i个区域的第二平均深度值；根据所述第一平均深度值和所述第二平均深度值的差修正所述第二深度图上第i个区域内各像素点的深度值。本发明提供的技术方案可以使用第一深度图和第二深度图的像素差来修正第二修正图，可以避免单目深度恢复存在与真值绝对误差较大偏差的问题，提高所获取的第二深度图的质量。
另外，本发明实施方式提供的深度恢复方法，所述特征区域图包含i个区域，所述区域分为特征区域或非特征区域；所述根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图包括：从所述第一深度图上获取与所述特征区域内各像素点对应的第一横向梯度和第一纵向梯度；从所述第二深度图上获取与所述非特征区域内各像素点对应的第二横向梯度和第二纵向梯度；将所述第一横向梯度和所述第二横向梯度相加得到各像素点的横向融合梯度，并将所述第一纵向梯度和所述第二纵向梯度相加得到各像素点的纵向融合梯度；使用泊松融合方法对所述横向融合梯度和所述纵向融合梯度进行处理，获取所述深度恢复图。本发明提供的技术方案可以通过泊松融合对第一深度图和第二深度图进行无缝融合，提高所获取的深度恢复图的质量。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明实施方式的深度恢复方法的流程图；
图2是根据本发明实施方式的深度恢复方法的流程图；
图3是根据本发明实施方式的深度恢复方法的流程图；
图4是根据本发明实施方式的深度恢复方法的流程图；
图5是根据本发明实施方式的深度恢复结构的结构图；
图6是根据本发明实施方式的电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明实施方式涉及一种深度恢复方法，如图1所示，具体包括：
步骤101，获取目标物体的左红外图和右红外图。
具体的说，在需要获取目标物体的深度信息时，使用双目红外相机拍摄目标物体，获取目标物体的左红外图和右红外图，而配备补光灯的双目红外相机相较于彩色相机，不仅能够适用于光照强烈的场景，在非常暗的环境下也同样适用。
步骤102，对左红外图进行分割处理获取特征区域图。
具体的说，可以对左红外图进行分割处理，也可以对右红外图进行处理，若步骤102对左红外图进行分割处理，则步骤103中双目深度恢复以左红外图为基准进行，对左红外图进行单目深度恢复；相反的，若步骤102对右红外图进行分割处理，则步骤103中双目深度恢复以右红外图为基准进行，对右红外图进行单目深度恢复。本申请所采用的分割处理方法可以是基于边缘检测的分割方法：先对左红外图进行边缘检测，得到左红外图的边缘轮廓，之后对左红外图的边缘轮廓进行封闭处理，使得边缘轮廓线相互缝合起来，得到各种大小的闭区间，每一个闭区间构成一个区域，根据区域的面积大小将区域分为特征区域和非特征区域；也可以是基于区域的图像分割方法等常见的用于进行图像分割的算法。
此处需要注意的是，在对左红外图进行分割处理之前，可以先在左红外图上确定出需要进行深度恢复的区域，在进行分割和后续处理时，指对红外图上需要进行深度恢复的区域进行处理，可以减少进行图像处理的计算量，提升进行深度恢复的速度。
步骤103，基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图。
具体的说，双目深度恢复采用的是Semi-Global匹配、ADCensus匹配等立体匹配算法，双目深度恢复的过程是以左红外图为基准，对右红外图进行像素匹配，获取左红外图和右红外图的视差信息图，根据视差信息图上每一个像素点的像素值计算该像素点对于的深度值，进而生成第一深度图；单目深度恢复采用的是基于深度学习的深度方法，将左红外图输入预先训练好的适用于单目深度恢复的卷积神经网络模型中，卷积神经网络模型的输出结果就是第二深度图。
步骤104，根据特征区域图对第一深度图和第二深度图进行融合获取目标物体的深度恢复图。
具体的说，特征区域图包含有多个区域，每个区域可以是特征区域或者非特征区域，特征区域部分细节复杂适合采用双目深度算法，非特征区域部分细节简单适合采用单目深度算法；根据特征区域图上的特征区域从第一深度图上选取与特征区域内各个像素点对应的横向梯度和纵向梯度，根据特征区域图上的非特征区域从第二深度图上选取与非特征区域内各个像素点对应的横向梯度和纵向梯度；将从第一深度图上获取的横向梯度和纵向梯度和从第二深度图上获取的横向梯度和纵向梯度进行相加得到待融合的横向梯度和纵向梯度；使用泊松融合将待融合的横向梯度和待融合的纵向梯度进行融合，得到平滑且深度值明显的深度恢复图。
本发明实施方式，对目标物体进行深度恢复的过程中，通过所获取的获取目标物体的左红外图和右红外图；对左红外图进行分割处理获取特征区域图；基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图；根据特征区域图对第一深度图和第二深度图进行融合获取目标物体的深度恢复图，从而可以提高深度恢复方法的鲁棒性和提高所获取的深度恢复图的质量，解决了现有技术中由于再根据目标物体的彩色图和原始深度图进行深度恢复的过程中不能够充分利用图像信息而导致的深度恢复方法鲁棒性不强，所恢复的深度图容易出现模糊、深度缺失的技术问题。
本发明实施方式涉及一种深度恢复方法，如图2所示，具体包括：
步骤201，获取目标物体的左红外图和右红外图。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤202，对左红外图进行边缘检测生成边缘轮廓图。
具体的说，使用边缘检测算法对左红外图进行边缘检测，如Roberts算子、Sobel算子和canny算子等对左红外图进行边缘检测生成左红外图的边缘轮廓图。
步骤203，对边缘轮廓上的轮廓线进行形态学闭操作生成边缘区域图，其中，边缘区域图包含若干区域。
具体的说，所生成的边缘轮廓图上的轮廓线可能会因为边缘检测算法的鲁棒性而存在非闭合边缘轮廓线，因此需要使用形态学闭操作对边缘轮廓图进行处理，封闭边缘轮廓图上未封闭的边缘轮廓线，形成各种大小不同的闭区间，每一个闭区间都称为一个区域，若干个区域组成边缘区域图。
步骤204，根据若干区域内各区域的面积修正各区域内各像素点的像素值，生成特征区域图。
具体的说，由于生成的边缘区域图上的区域大小均不相同，可以根据各个区域的面积大小对区域进行一个分类，若区域的面积满足预设条件(面积小于预设值)，则将该区域内各个像素点对应的像素值修正为0，若区域的面积不满足预设条件(面积大于预设值)，则将该区域内各个像素点对应的像素值修正为1；进行像素修正后的边缘区域图称为特征区域图；特征区域图是由像素值为0和1组成的图像。
步骤205，对特征区域图进行逐像素的连通区域检测，修正特征区域图。
具体的说，由于特征区域图上相邻区域可能是同一种类型的区域，如都是特征区域或都是非特征区域，对特征区域图上每一个像素点都逐一进行8连通区域检测，对于8方向邻域与中心差值为0的判断为同一连通域，若判断为同一连通域，则将两个区域连接起来，修正该特征区域图。
步骤206，基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图。
具体的说，本步骤与本发明实施方式中的步骤103大致相同，此处不一一赘述
步骤207，根据特征区域图对第一深度图和第二深度图进行融合获取目标物体的深度恢复图。
具体的说，本步骤与本发明实施方式中的步骤104大致相同，此处不一一赘述。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以根据左红外图的边缘检测结果对左红外图进行区域划分，以此来给根据第一深度图和第二深度图进行融合时提供融合依据；还可以通过连通区域检测对特征分类图进行修正，可以提高所获取的特征分类图的准确性，进而来提高深度恢复图的质量。
本发明实施方式涉及一种深度恢复方法，如图3所示，具体包括：
步骤301，获取目标物体的左红外图和右红外图。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤302，对左红外图进行分割处理获取特征区域图。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
步骤303，基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图。
具体的说，本步骤与本发明实施方式中的步骤103大致相同，此处不一一赘述。
步骤304，获取第一深度图上与特征区域图第i个区域对应的各像素点的第一平均深度值和第二深度图上与特征区域图第i个区域对应的各像素点的第二平均深度值。
具体的说，特征分类图包含右i个区域，对于每个区域来讲，首先第一深度图上特征分类图上第i区域对应的各像素点的第一平均深度值，和第二深度图上特征分类图上第i区域对应的各像素点的第二平均深度值。
步骤305，根据第一平均深度值和第二平均深度值的差修正第二深度图上第i个区域内各像素点的深度值。
具体的说，获取每个区域第一平均深度值和第二深度值对应的差值，根据该差值修正第二深度图上该区域对应的各个像素点的深度值。
步骤306，根据特征区域图对第一深度图和第二深度图进行融合获取目标物体的深度恢复图。
具体的说，本步骤与本发明实施方式中的步骤104大致相同，此处不一一赘述。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以使用第一深度图和第二深度图的像素差来修正第二修正图，可以避免单目深度恢复存在与真值绝对误差较大偏差的问题，提高所获取的第二深度图的质量。
本发明实施方式涉及一种深度恢复方法，如图4所示，具体包括：
步骤401，获取目标物体的左红外图和右红外图。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤402，对左红外图进行分割处理获取特征区域图。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
步骤403，基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图。
具体的说，本步骤与本发明实施方式中的步骤103大致相同，此处不一一赘述。
步骤404，从第一深度图上获取与特征区域内各像素点对应的第一横向梯度和第一纵向梯度。
具体的说，根据特征分类图上特征区域和非特征区域的划分，从第一深度上获取与所有特征区域对应的各个像素点对应的第一横向梯度和第一纵向梯度，并将第一深度图上与所有非特征区域对应的各个像素点对应的第一横向梯度和第一纵向梯度均设置为0；图像梯度是指图像上某一像素点上的深度值在x和y两个方向上的变化率(与相邻像素比较)，是一个二维向量，由2个分量组成，X轴的变化、Y轴的变化，其中X轴的变化是指当前像素右侧(X加1)的深度值减去当前像素左侧(X减1)的深度值；同理，Y轴的变化是当前像素下方(Y加1)的深度值减去当前像素上方(Y减1)的深度值；计算出来这2个分量，形成一个二维向量，就得到了该像素的图像梯度。
步骤405，从第二深度图上获取与非特征区域内各像素点对应的第二横向梯度和第二纵向梯度。
具体的说，根据特征分类图上特征区域和非特征区域的划分，从第二深度上获取与所有非特征区域对应的各个像素点对应的第二横向梯度和第二纵向梯度，并将第二深度图上与所有特征区域对应的各个像素点对应的第二横向梯度和第二纵向梯度均设置为0。
步骤406，将第一横向梯度和第二横向梯度相加得到各像素点的横向融合梯度，并将第一纵向梯度和第二纵向梯度相加得到各像素点的纵向融合梯度。
具体的说，将从第一深度图上获取的第一横向梯度和从第二深度图上获取的第二横向梯度进行相加得到各个像素点的横向融合梯度；将从第一深度图上获取的第一纵向梯度和从第二深度图上获取的第二纵向梯度进行相加得到各个像素点的纵向融合梯度。
步骤407，使用泊松融合方法对横向融合梯度和纵向融合梯度进行处理，生成深度恢复图。
具体的说，得到各个像素点的横向融合梯度和纵向融合梯度之后，使用泊松融合方法对各个像素点的横向融合梯度和纵向融合梯度融合处理，融合之后所得到的图就是深度恢复图。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以通过泊松融合对第一深度图和第二深度图进行无缝融合，提高所获取的深度恢复图的质量。
本发明实施方式涉及一种深度恢复装置，如图5所示，具体包括：
获取模块501，用于获取待恢复物体的左红外图和右红外图；
图像分割模块502，用于对左红外图进行分割处理获取特征区域图；
深度恢复模块503，用于基于双目深度恢复对左红外图和右红外图进行处理获取第一深度图，并基于单目深度恢复对左红外图进行处理获取第二深度图；
图像融合模块504，根据特征区域图对第一深度图和第二深度图进行融合获取待目标物体的深度恢复图。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明实施方式涉及一种电子设备，如图6所示，包括：
至少一个处理器601；以及，
与所述至少一个处理器601通信连接的存储器602；其中，
所述存储器602存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行本发明以上任一所述的深度恢复方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种深度恢复方法，其特征在于，所述方法包括：
获取目标物体的左红外图和右红外图；
对所述左红外图进行分割处理获取特征区域图；
基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图，并基于单目深度恢复对所述左红外图进行处理获取第二深度图；
根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图。
2.根据权利要求1所述的深度恢复方法，其特征在于，所述对所述左红外图进行分割处理获取特征区域图包括：
对所述左红外图进行边缘检测生成边缘轮廓图；
对所述边缘轮廓上的轮廓线进行形态学闭操作生成边缘区域图，其中，所述边缘区域图包含若干区域；
根据所述若干区域内各区域的面积修正所述各区域内各像素点的像素值，生成所述特征区域图。
3.根据权利要求2所述的深度恢复方法，其特征在于，所述根据所述若干区域修正后的像素值生成所述特征区域图之后还包括：
对所述特征区域图进行逐像素的连通区域检测，修正所述特征区域图。
4.根据权利要求1或权利要求2所述的深度恢复方法，其特征在于，所述基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图包括：
以所述左红外图为基准，对所述右红外图进行像素匹配，获取所述左红外图和所述右红外图的视差信息图；
对所述视差信息图进行处理获取所述第一深度图。
5.根据权利要求1或权利要求2所述的深度恢复方法，其特征在于，所述特征区域图包含i个区域；
所述根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图之前还包括：
获取所述第一深度图上与所述特征区域图第i个区域对应的各像素点的第一平均深度值和所述第二深度图上与所述特征区域图第i个区域对应的各像素点的第二平均深度值；
根据所述第一平均深度值和所述第二平均深度值的差修正所述第二深度图上第i个区域内各像素点的深度值。
6.根据权利要求1或权利要求2所述的深度恢复方法，其特征在于，所述特征区域图包含i个区域，所述区域分为特征区域或非特征区域；
所述根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图包括：
从所述第一深度图上获取与所述特征区域内各像素点对应的第一横向梯度和第一纵向梯度；
从所述第二深度图上获取与所述非特征区域内各像素点对应的第二横向梯度和第二纵向梯度；
将所述第一横向梯度和所述第二横向梯度相加得到各像素点的横向融合梯度，并将所述第一纵向梯度和所述第二纵向梯度相加得到各像素点的纵向融合梯度；
使用泊松融合对所述横向融合梯度和所述纵向融合梯度进行处理，生成所述深度恢复图。
7.一种深度恢复装置，其特征在于，所述装置包括：
获取模块，用于获取待恢复物体的左红外图和右红外图；
图像分割模块，用于对所述左红外图进行分割处理获取特征区域图；
深度恢复模块，用于基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图，并基于单目深度恢复对所述左红外图进行处理获取第二深度图；
图像融合模块，根据所述特征区域图对所述第一深度图和所述第二深度图进行融合获取所述目标物体的深度恢复图。
8.根据权利要求7所述的深度恢复装置，其特征在于，所述深度恢复模块包括双目深度恢复模块和单目深度恢复模块；
所述双目深度恢复模块，用于基于双目深度恢复对所述左红外图和所述右红外图进行处理获取第一深度图；
所述单目深度恢复模块，用于基于单目深度恢复对所述左红外图进行处理获取第二深度图。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的深度恢复方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的深度恢复方法。
CN202110993141.8A 2021-08-25 2021-08-25 深度恢复方法、装置、电子设备及存储介质 Active CN113763449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110993141.8A CN113763449B (zh) 2021-08-25 2021-08-25 深度恢复方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110993141.8A CN113763449B (zh) 2021-08-25 2021-08-25 深度恢复方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113763449A true CN113763449A (zh) 2021-12-07
CN113763449B CN113763449B (zh) 2022-08-12

Family

ID=78791563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110993141.8A Active CN113763449B (zh) 2021-08-25 2021-08-25 深度恢复方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113763449B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023109871A1 (zh) * 2021-12-14 2023-06-22 中兴通讯股份有限公司 深度图的生成方法、装置、电子设备和存储介质
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备
CN117560480B (zh) * 2024-01-09 2024-05-31 荣耀终端有限公司 一种图像深度估计方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146928A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Apparatus and method for tracking motion based on hybrid camera
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和系统
CN108416803A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
US20200099911A1 (en) * 2017-02-28 2020-03-26 Peking University Shenzhen Graduate School Virtual viewpoint synthesis method based on local image segmentation
CN111652796A (zh) * 2020-05-13 2020-09-11 上海连尚网络科技有限公司 图像处理方法、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150146928A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Apparatus and method for tracking motion based on hybrid camera
CN105096259A (zh) * 2014-05-09 2015-11-25 株式会社理光 深度图像的深度值恢复方法和系统
US20200099911A1 (en) * 2017-02-28 2020-03-26 Peking University Shenzhen Graduate School Virtual viewpoint synthesis method based on local image segmentation
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
CN108416803A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN111652796A (zh) * 2020-05-13 2020-09-11 上海连尚网络科技有限公司 图像处理方法、电子设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023109871A1 (zh) * 2021-12-14 2023-06-22 中兴通讯股份有限公司 深度图的生成方法、装置、电子设备和存储介质
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备
CN117560480B (zh) * 2024-01-09 2024-05-31 荣耀终端有限公司 一种图像深度估计方法及电子设备

Also Published As

Publication number Publication date
CN113763449B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Revaud et al. Epicflow: Edge-preserving interpolation of correspondences for optical flow
CN110163953B (zh) 三维人脸重建方法、装置、存储介质和电子装置
Li et al. Simultaneous video defogging and stereo reconstruction
CN102113015B (zh) 使用修补技术进行图像校正
Taniai et al. Fast multi-frame stereo scene flow with motion segmentation
Correal et al. Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching
EP1806697A1 (en) Segmenting image elements
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和系统
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
US9406140B2 (en) Method and apparatus for generating depth information
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
Abd Manap et al. Disparity refinement based on depth image layers separation for stereo matching algorithms
CN113763449B (zh) 深度恢复方法、装置、电子设备及存储介质
Zhang et al. Local stereo matching: An adaptive weighted guided image filtering-based approach
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
US6751345B2 (en) Method and apparatus for improving object boundaries extracted from stereoscopic images
Farid et al. Edge enhancement of depth based rendered images
Damjanović et al. Local stereo matching using adaptive local segmentation
Meenu et al. Evolution of new integrated haze removal algorithm based on haze line
CN109785367B (zh) 三维模型追踪中外点滤除方法和装置
Sharma et al. A novel 3d-unet deep learning framework based on high-dimensional bilateral grid for edge consistent single image depth estimation
Bhattacharya et al. High accuracy depth filtering for Kinect using edge guided inpainting
CN112053434B (zh) 视差图的生成方法、三维重建方法及相关装置
CN112669346B (zh) 一种路面突发状况确定方法及装置
Shuai et al. Depth recovery from a single defocused image based on depth locally consistency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220516

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant