CN111179188B - 图像修复方法及其模型训练方法、以及相关装置 - Google Patents

图像修复方法及其模型训练方法、以及相关装置 Download PDF

Info

Publication number
CN111179188B
CN111179188B CN201911287448.5A CN201911287448A CN111179188B CN 111179188 B CN111179188 B CN 111179188B CN 201911287448 A CN201911287448 A CN 201911287448A CN 111179188 B CN111179188 B CN 111179188B
Authority
CN
China
Prior art keywords
depth image
depth
layer
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911287448.5A
Other languages
English (en)
Other versions
CN111179188A (zh
Inventor
欧勇盛
刘国栋
熊荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911287448.5A priority Critical patent/CN111179188B/zh
Publication of CN111179188A publication Critical patent/CN111179188A/zh
Application granted granted Critical
Publication of CN111179188B publication Critical patent/CN111179188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像修复方法及其模型训练方法、以及相关装置，一种深度图像修复模型的训练方法中，将带缺损的第一深度图像输入到第一输入层；将所述第一深度图像对应的RGB图像输入到第二输入层；通过所述卷积结合层参考所述RGB图像对所述第一深度图像的进行修复，得到修复后的第二深度图像；通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练。本申请的深度图像修复模型能够进行大面积修复，通过预修复第一深度图像与未缺损的第一深度图像深度值的误差值对深度图像修复模型进行训练，可以实现修复任意面积深度值缺失的深度图，同时提高了鲁棒性。

Description

图像修复方法及其模型训练方法、以及相关装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像修复方法及其模型训练方法、以及相关装置。
背景技术
深度图像是包含与视点的场景对象的表面的距离有关的信息的图像，然而由于环境，光照，物体表面材质等因素，深度图像往往会出现大面积的像素值缺失，因此需要对缺失的区域进行填充，从而获得完整的深度图像。
现有的深度图像修复方法主要包括通过设计滤波器和匹配像素两种方法。其中，设计滤波器的方法是使用人工设计的滤波器对缺失处进行滤波，从而达到修复图像的目的，这种方法得到的修复结果通常比较模糊，精度低；匹配像素法通过对齐深度图和彩色图，利用深度图缺失位置对应彩色图像素在前景或背景上的归类决定采用哪处的深度值作为参考修复缺失的深度图，这通常可能造成错误。并且上述两种方法均难以应对大面积的深度值缺失。因此，提供一种可以修复任意面积深度值缺失的深度图的方法显得尤为重要。
发明内容
本申请主要解决的技术问题是提供一种图像修复方法及其模型训练方法、以及相关装置，解决现有技术难以修复任意面积深度值缺失深度图的问题。
为解决上述技术问题，本申请采用的第一个技术方案是：提供一种深度图像修复模型的训练方法，所述深度图像修复模型包括第一输入层、第二输入层以及与所述第一输入层、第二输入层顺次相连的卷积组合层和输出层，所述深度图像修复模型的训练方法包括：将带缺损的第一深度图像输入到第一输入层；将所述第一深度图像对应的RGB图像输入到第二输入层；通过所述卷积结合层参考所述RGB图像对所述第一深度图像的进行修复，得到修复后的第二深度图像；通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练。
为解决上述技术问题，本申请采用的第二个技术方案是：提供一种深度图像修复方法，所述深度图像修复方法包括：获取到待修复的缺损深度图像，分别将所述缺损深度图像及其RGB图像输入到深度图像修复模型中；其中，所述深度图像修复模型是通过上述的训练方法训练得到的；通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复；输出修复后的深度图像。
为解决上述技术问题，本申请采用的第三个技术方案是：提供一种智能终端，所述智能终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于实现上述深度图像修复模型的训练方法中的步骤；或实现上述深度图像修复方法中的步骤。
为解决上述技术问题，本申请采用的第四个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述深度图像修复模型的训练方法中的步骤；或用于实现上述深度图像修复方法中的步骤。
本申请的有益效果是：区别于现有技术的情况，本申请提供的一种深度图像修复模型的训练方法中，第一输入层、第二输入层以及与所述第一输入层、第二输入层顺次相连的卷积组合层和输出层构建的深度图像修复模型，卷积组合层使得深度图像修复模型能够修复缺损任意面积的深度图；通过将带缺损的第一深度图像及对应的RGB图像输入到深度图像修复模型中；通过参考所述RGB图像对第一深度图像的进行修复，得到修复后的第二深度图像；通过第二深度图像的深度值与第一深度图像缺损前的深度真实值计算损失值，进行迭代训练。本申请中的通过预修复第一深度图像与未缺损的第一深度图像深度值的误差值对深度图像修复模型进行训练，提升了的深度图像修复模型的鲁棒性。
本申请提供的一种深度图像修复方法中，通过获取到待修复的缺损深度图像，分别将所述缺损深度图像及其RGB图像输入到深度图像修复模型中；通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复，可以实现修复任意面积深度值缺失深度图，同时提高了鲁棒性。
附图说明
图1是本申请深度图像修复模型训练方法一实施方式的流程示意图；
图2是本申请深度图像修复方法一实施方式的流程示意图；
图3是本申请智能终端一实施方式的示意图；
图4本申请存储介质一实施例的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的一种语音识别及模型训练方法、外呼号码状态检测方法及装置做进一步详细描述。
本申请的深度图像修复模型包括第一输入层、第二输入层以及与所述第一输入层、第二输入层顺次相连的卷积组合层和输出层。其中，卷积组合层包括依次级联的组合层、普通卷积层、至少一级ResNet组件；其中，所述组合层的步长大于1，所述普通卷积层，至少一级ResNet组件的步长等于1。其中ResNet组件可以为两组，相邻的ResNet组件相同且ResNet组件之间采用残差网络的短路层进行连接。具体地，前置ResNet组件的输入作为短路层的输入，前置ResNet组件的输出与短路层的输出连接加和运算后输出作为后置ResNet组件的输入。其中，ResNet组件可以为两个相连的卷积层组成，两个卷积层的卷积核数可以相同，也可以后一卷积层的卷积核数大于前一卷积层的卷积核数。其中组合层、普通卷积层和ResNet组件中的卷积层均包括卷积单元和激活函数单元和批标准化单元，所述激活函数单元采用ReLU函数作为激活函数；卷积层的卷积核为7×7。输出层包括反卷积层，反卷积层的步长大于1。
参阅图1，图1是本申请深度图像修复模型训练方法一实施方式的流程示意图。深度图像修复模型训练方法包括：
S11：将带缺损的第一深度图像输入到第一输入层；将所述第一深度图像对应的RGB图像输入到第二输入层。
获取完整的第一深度图，同时得到的第一深度图的RGB彩色图，对完整的第一深度图中的部分图像进行人工制造缺失，得到带有缺损的第一深度图；并得到人工制造缺失的深度图的掩码图。在一个可选的实施方式中，将人工制造缺失的位置在掩码图对应位置上上记为1，其他位置记为0。之后将带有缺损的第一深度图的深度值设置为0，使带有缺损的第一深度图中缺损部分和未缺损部分的深度值保持一致。其中，第一深度图像深度缺损部分的深度值为深度最大值。
将上述带有缺损的第一深度图像对应的RGB图像通过第二输入层输入到卷积结合层中，卷积结合层对其进行降低分辨率处理后，再将带缺损的第一深度图输入到第一输入层中，带缺损的第一深度图通过第一输入层输入到卷积结合层中。
S12：通过所述卷积结合层参考所述RGB图像对所述第一深度图像的进行修复，得到修复后的第二深度图像。
具体地，带缺损的第一深度图对应的RGB图像输入到卷积结合层中，在输入到卷积结合层中的组合层时，组合层会将带缺损的第一深度图像对应的RGB图像进行降低分辨率操作得到若干通道的特征图，带缺损的第一深度图像对应的RGB图像的分辨率下降，使带缺损的第一深度图像对应的RGB图像的分辨率与带有缺损的第一深度图的分辨率一致，当将带有缺损的第一深度图通过第一输入层输入到组合层时，组合层将分辨率相同的带有缺损的第一深度图和第一深度图像对应的RGB图像进行组合，即将带有缺损的第一深度图作为一个新通道组合到上述的带缺损的第一深度图像对应的RGB图像进行降低分辨率操作得到若干通道的特征图，然后在经过组合层的批标准化单元和激活函数单元，之后将组合层输出得到的若干通道特征图输入到普通卷积层中，普通卷积层对输入的若干通道特征图进行卷积，之后使其经过批标准化单元和激活函数单元得到若干通道特征图，其中普通卷积层和组合层输出的特征图的通道数与普通卷积层和组合层的卷积核数相同。将普通卷积层输出的若干通道特征图分别输入到卷积组件中和短路层中，普通卷积层输出的若干通道特征图输入到卷基组件中，卷积组件中的卷积层依次对其进行卷积学习，之后经过标准化单元得出若干通道特征图，卷积组件得到的若干通道特征图与短路层中的普通卷积层输出的若干通道特征图进行加和后进入激活函数单元进行处理得到加和的若干通道特征图，并将其输入到反卷积层中，反卷积层对输入的加和的若干通道特征图进行反卷积，由于反卷积层的步长大于1，反卷积层对加和的若干通道特征图进行提升分辨率，使输出的修复后的第二深度图像与输入的进行输出带缺损的第一深度图的分辨率一致，由于反卷积层的反卷积核的数目为1，其输出的修复后的第二深度图像也是由1条通道输出，其中反卷积层即输出层。
S13：通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练。
在本实施方式中，获取修复后的第二深度图像，得到修复后的第二深度图像的深度值，同时获取到所述第一深度图像的掩码图的像素值；获取所述像素值为1的部分图像在所述第二深度图像中的深度值以及缺损前的深度真实值，通过所述在所述第二深度图像中的深度值以及缺损前的深度真实值计算损失函数，并利用所述损失函数对所述深度图像修复模型进行迭代训练。
在另一个实施方式中，通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值计算所述损失函数的损失值；即获取掩码图中像素值为1的图像在所述第二深度图像中的深度值以及缺损前的深度真实值通过所述在所述第二深度图像中的深度值以及缺损前的深度真实值计算损失函数，将计算得到构建所述损失函数的所有像素点的平均损失值。通过计算构建的损失函数的所有像素点的平均损失值与预设值进行比较，同时进行深度图像修复模型中权重的调整，之后在对深度图像修复模型进行迭代训练，不断对深度图像修复模型中的权重进行训练，当所述平均损失值小于预设值时完成训练，此时深度图像修复模型中的权重为定值，即得到训练后的深度图像修复模型。
其中，通过如下公式(1)算所述损失函数的损失е值lossе：
其中，y为所述第一深度图像缺损前的深度真实值；y*为所述第二深度图像的深度值；pmask为所述第一深度图像掩码图的像素值；
计算得到构建所述损失函数的所有像素点的损失值，通过如下公式(2)计算得到构建所述损失函数的所有像素点的平均损失值loss：
其中，losseachpix为每个像素点的损失函数值，N为构建所述损失函数的所有像素点的总数。
本申请的实施方式提供的一种深度图像修复模型的训练方法中，第一输入层、第二输入层以及与所述第一输入层、第二输入层顺次相连的卷积组合层和输出层构建的深度图像修复模型，卷积组合层使得深度图像修复模型能够修复缺损任意面积的深度图；通过将带缺损的第一深度图像及对应的RGB图像输入到深度图像修复模型中；通过参考所述RGB图像对第一深度图像的进行修复，得到修复后的第二深度图像；通过第二深度图像的深度值与第一深度图像缺损前的深度真实值计算损失值，进行迭代训练。本申请中的通过预修复第一深度图像与未缺损的第一深度图像深度值的误差值对深度图像修复模型进行训练，提升了的深度图像修复模型的鲁棒性。
参阅图2，图2是本申请深度图像修复方法一实施方式的流程示意图。深度图像修复方法包括：
S21：获取到待修复的缺损深度图像，分别将所述缺损深度图像及其RGB图像输入到深度图像修复模型中。
具体的，获取待修复的缺损深度图像，同时得到待修复的缺损深度图像的相应RGB图像，基于上述训练好的深度图像修复模型，将上述待修复的缺损深度图像对应的RGB图像通过第二输入层输入到深度图像修复模型中，深度图像修复模型对其进行降低分辨率处理后，再将待修复的缺损深度图像通过第一输入层输入到深度图像修复模型中。其中，所述深度图像修复模型是通过上述任一实施方式的深度图像修复模型训练方法训练得到的。
S22：通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复。
其中，对所述RGB图像进行降像素处理，以使处理后的RGB图像与所述深度图像的分辨率相应；利用处理后的RGB图像获取所述深度图像中图像内容的相对位置，对所述深度图像进行修复；提高所述修复后图像的分辨率，使与处理前的所述RGB图像的分辨率相应。
具体地，将待修复的缺损深度图像及其相应的RGB图像输入到深度图像修复模型中，深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复。具体地，待修复的缺损深度图像相应的RGB图像输入到深度图像修复模型中，深度图像修复模型对输入的待修复的缺损深度图像对应的RGB图像进行降低分辨率操作，使待修复的缺损深度图像对应的RGB图像的分辨率与待修复的缺损深度图像的一致。深度图像修复模型将待修复的缺损深度图像及其相应的RGB图像进行组合，深度图像修复模型对结合了相应RGB图像的待修复的缺损深度图像进行修复，基于待修复的缺损深度图像的RGB图像通过深度图像修复模型对其进行修复，待深度图像修复模型修复完成后，在输出前，对修复的深度图像的分辨率进行提升，使将要输出的深度修复图像的分辨率与输入的待修复的缺损深度图像的分辨率一致。
S23：输出修复后的深度图像。
具体地，深度图像修复模型将修复完成的深度图像输出。
本申请实施方式提供的一种深度图像修复方法中，通过获取到待修复的缺损深度图像，分别将所述缺损深度图像及其RGB图像输入到深度图像修复模型中；通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复，可以实现修复任意面积深度值缺失深度图，同时提高了鲁棒性。
参阅图3，图3是本申请智能终端一实施方式的示意图。如图3所示，该实施方式的智能终端30包括：处理器31、存储器32以及存储在存储器32中并可在处理器31上运行的计算机程序，该计算机程序被处理器31执行时实现上述语音识别模型训练方法、语音识别方法或者智能外呼号码状态检测方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器31执行时实现上述中语音识别模型训练装置、语音识别装置或者智能外呼号码状态检测装置中各模型/单元的功能，为避免重复，此处不一一赘述。
参阅图4，图4是本申请存储介质一实施例的结构示意图。
本申请的实施方式中还提供一种计算机可读存储介质40，所述计算机可读存储介质40存储有计算机程序401，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施方式提供的任一项所述深度图像修复模型的训练方法中的步骤；或用于实现本申请实施方式提供的任一项所述深度图像修复方法中的步骤。
具体地，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质40中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质40中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质40包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
其中，所述计算机可读存储介质可以是前述实施方式所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利保护范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种深度图像修复模型的训练方法，其特征在于，所述深度图像修复模型包括第一输入层、第二输入层以及与所述第一输入层、第二输入层顺次相连的卷积组合层和输出层，输出层包括反卷积层，所述深度图像修复模型的训练方法包括：
将带缺损的第一深度图像输入到第一输入层；将所述第一深度图像对应的RGB图像输入到第二输入层；
通过所述卷积组合层参考所述RGB图像对所述第一深度图像的进行修复，得到修复后的第二深度图像，包括：将带有缺损的第一深度图作为一个新通道组合到所述带缺损的第一深度图像对应的RGB图像进行降低分辨率操作得到若干通道的特征图，然后在经过所述卷积组合层的组合层的批标准化单元和激活函数单元，之后将所述组合层输出得到的若干通道特征图输入到普通卷积层中，普通卷积层对输入的若干通道特征图进行卷积，之后使其经过批标准化单元和激活函数单元得到若干通道特征图；将普通卷积层输出的若干通道特征图分别输入到卷积组件中和短路层中，普通卷积层输出的若干通道特征图输入到卷积组件中，所述卷积组件中的卷积层依次对其进行卷积学习，之后经过标准化单元得出若干通道特征图，所述卷积组件得到的若干通道特征图与短路层中的普通卷积层输出的若干通道特征图进行加和后进入激活函数单元进行处理得到加和的若干通道特征图，并将其输入到所述反卷积层中，所述反卷积层对输入的加和的若干通道特征图进行反卷积提升分辨率，使输出的修复后的第二深度图像与输入的带缺损的第一深度图的分辨率一致；其中普通卷积层和组合层输出的特征图的通道数与普通卷积层和组合层的卷积核数相同；
通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练。
2.根据权利要求1所述的深度图像修复模型的训练方法，其特征在于，将所述第一深度图像的深度缺损处对应的掩码图的像素值设定为1，其他设定位置为0，
所述通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练的步骤具体包括：
获取到所述第一深度图像的掩码图的像素值；
获取所述像素值为1的部分图像在所述第二深度图像中的深度值以及缺损前的深度真实值，通过所述在所述第二深度图像中的深度值以及缺损前的深度真实值构建损失函数，并利用所述损失函数对所述深度图像修复模型进行迭代训练。
3.根据权利要求1或2所述的深度图像修复模型的训练方法，其特征在于，所述通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值构建损失函数，利用所述损失函数对所述深度图像修复模型进行迭代训练的步骤具体包括：
通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值计算所述损失函数的损失值；
计算得到构建所述损失函数的所有像素点的平均损失值，并在所述平均损失值小于预设值完成训练。
4.根据权利要求3所述的深度图像修复模型的训练方法，其特征在于，所述通过所述第二深度图像的深度值与所述第一深度图像缺损前的深度真实值计算所述损失函数的损失值，并在所述损失值小于预设值完成训练的步骤包括：
通过如下公式(1)算所述损失函数的损失值lossе：
其中，y为所述第一深度图像缺损前的深度真实值；y*为所述第二深度图像的深度值；pmask为所述第一深度图像掩码图的像素值；
所述计算得到构建所述损失函数的所有像素点的平均损失值，并在所述平均损失值小于预设值完成训练的步骤包括：
通过如下公式(2)计算得到构建所述损失函数的所有像素点的平均损失值loss：
其中，losseachpix为每个像素点的损失函数值，N为构建所述损失函数的所有像素点的总数。
5.根据权利要求1或2所述的深度图像修复模型的训练方法，其特征在于，所述第一深度图像深度缺损部分的深度值为深度最大值。
6.根据权利要求1所述的深度图像修复模型的训练方法，其特征在于，所述卷积组合层包括依次级联的组合层、普通卷积层，至少一级卷积层组件；其中，所述组合层的步长大于1，所述普通卷积层，至少一级卷积层组件的步长等于1。
7.一种深度图像修复方法，其特征在于，所述深度图像修复方法包括：
获取到待修复的缺损深度图像，分别将所述缺损深度图像及其RGB图像输入到深度图像修复模型中；其中，所述深度图像修复模型是通过权利要求1～6任一项所述的训练方法训练得到的；
通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复；
输出修复后的深度图像。
8.根据权利要求7所述的深度图像修复方法，其特征在于，所述通过所述深度图像修复模型参考所述RGB图像对所述缺损深度图像进行修复的步骤具体包括：
对所述RGB图像进行降像素处理，以使处理后的RGB图像与所述深度图像的分辨率相应；
利用处理后的RGB图像获取所述深度图像中图像内容的相对位置，对所述深度图像进行修复；
提高所述修复后图像的分辨率，使与处理前的所述RGB图像的分辨率相应。
9.一种智能终端，所述智能终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器用于实现如权利要求1～6任一项所述深度图像修复模型的训练方法中的步骤；或所述处理器用于实现如权利要求7或8所述深度图像修复方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～6任一项所述深度图像修复模型的训练方法中的步骤；或用于实现如权利要求7或8所述深度图像修复方法中的步骤。
CN201911287448.5A 2019-12-14 2019-12-14 图像修复方法及其模型训练方法、以及相关装置 Active CN111179188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911287448.5A CN111179188B (zh) 2019-12-14 2019-12-14 图像修复方法及其模型训练方法、以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911287448.5A CN111179188B (zh) 2019-12-14 2019-12-14 图像修复方法及其模型训练方法、以及相关装置

Publications (2)

Publication Number Publication Date
CN111179188A CN111179188A (zh) 2020-05-19
CN111179188B true CN111179188B (zh) 2023-08-15

Family

ID=70656378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911287448.5A Active CN111179188B (zh) 2019-12-14 2019-12-14 图像修复方法及其模型训练方法、以及相关装置

Country Status (1)

Country Link
CN (1) CN111179188B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539899A (zh) * 2020-05-29 2020-08-14 深圳市商汤科技有限公司 图像修复方法及相关产品
CN113409210B (zh) * 2021-06-17 2023-06-02 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978786A (zh) * 2019-03-22 2019-07-05 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961406B (zh) * 2017-12-25 2021-06-25 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978786A (zh) * 2019-03-22 2019-07-05 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法

Also Published As

Publication number Publication date
CN111179188A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
US11216914B2 (en) Video blind denoising method based on deep learning, computer equipment and storage medium
CN111179188B (zh) 图像修复方法及其模型训练方法、以及相关装置
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
CN112085017B (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
CN111667410A (zh) 图像分辨率提升方法、装置及电子设备
Alilou et al. Non-texture image inpainting using histogram of oriented gradients
CN110660033A (zh) 一种字幕的去除方法、装置及电子设备
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
US11783454B2 (en) Saliency map generation method and image processing system using the same
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN113450261A (zh) 一种基于条件生成对抗网络的单幅图像去雾方法
CN111311526A (zh) 视频增强方法、视频增强装置及终端设备
CN116522973A (zh) 基于深度学习图像修复网络的受损qr码图像修复方法、装置及设备
CN114998183A (zh) 一种循环再生铝合金模板表面缺陷识别方法
CN114742774A (zh) 融合局部和全局特征的无参考图像质量评价方法及系统
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
Ghimpeţeanu et al. Local denoising applied to raw images may outperform non-local patch-based methods applied to the camera output
CN113379637A (zh) 基于递进学习策略的图像修复方法、系统、介质及设备
CN117455818B (zh) 一种智能眼镜屏的校正方法、装置、电子设备和存储介质
CN114119377A (zh) 一种图像处理方法及装置
CN110827243A (zh) 网格梁覆盖区域异常检测方法和装置
US20100166296A1 (en) Method and program for extracting silhouette image and method and program for constructing three dimensional model
CN112164012B (zh) 人像彩色浮雕效果的实现方法及系统
US11967047B2 (en) Methods and devices for joint sensor and pixel domain denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant