CN113160045B - 模型训练方法、超分辨率方法、装置、电子设备及介质 - Google Patents

模型训练方法、超分辨率方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113160045B
CN113160045B CN202010076585.0A CN202010076585A CN113160045B CN 113160045 B CN113160045 B CN 113160045B CN 202010076585 A CN202010076585 A CN 202010076585A CN 113160045 B CN113160045 B CN 113160045B
Authority
CN
China
Prior art keywords
image
pixel
determining
information
basic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010076585.0A
Other languages
English (en)
Other versions
CN113160045A (zh
Inventor
宋希彬
周定富
张良俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010076585.0A priority Critical patent/CN113160045B/zh
Publication of CN113160045A publication Critical patent/CN113160045A/zh
Application granted granted Critical
Publication of CN113160045B publication Critical patent/CN113160045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种模型训练方法、超分辨率方法、装置、电子设备及介质，本公开提供的方案中提及的模型，其中设置多个第一基本单元，且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像，能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息，进而通过多次迭代，使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。

Description

模型训练方法、超分辨率方法、装置、电子设备及介质
技术领域
本公开涉及人工智能技术，尤其涉及深度图像超分辨率技术。
背景技术
深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像超分辨率是指由一幅低分辨率深度图像恢复出高分辨率图像。
目前，可以基于插值的实现方式、传统机器学习的实现方式以及深度学习的实现方式进行深度图像超分辨率。
但是，基于插值的实现方式恢复出的深度图像物体边界平滑，导致恢复出的深度图像效果很差。而传统机器学习以及深度学习的实现方式中，不能充分的描述低分辨率深度图像与高分辨率深度图像之间的映射模型，导致恢复的深度图像的不够准确。因此，现有技术中将低分辨率深度图像恢复为高分辨率深度图像的方案存在一定的局限性，不能准确的恢复出深度图像中包括的信息。
发明内容
本公开提供一种模型训练方法、超分辨率方法、装置、电子设备及介质，能够通过渐进式的方式对原图像进行处理，以得到包含信息更加丰富的目标图像，从而提高深度图像恢复效果。
本公开的第一个方面是提供一种用于深度图像超分辨率的模型的训练方法，预先搭建模型，所述模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；
所述方法包括：
将训练图像输入模型中链式结构的第一个第一基本单元，以使所述第一基本单元确定与所述训练图像对应的一恢复图像；
基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，并根据所述全局损失信息、所述边缘损失信息优化所述第一基本单元中的参数。
可选的，所述根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，包括：
根据所述真值图像中的第一像素信息与所述恢复图像中的第二像素信息，确定对应像素点的像素差值之和，并将所述像素差值之和确定为所述全局损失；
根据所述恢复图像中的第二像素信息，确定所述恢复图像中相邻像素点的像素差值，并根据所述恢复图像中的相邻像素点的像素差值确定所述恢复图像对应的边缘损失。
在这种实施方式中，通过确定两种损失信息，并利用这两种损失信息衡量模型当前的全局损失和边缘损失，进而使训练得到的模型能够更好的理解图像全局信息和边缘信息。
可选的，所述根据所述恢复图像中的相邻像素点的像素差值确定所述恢复图像对应的边缘损失，包括：
根据所述恢复图像中相邻像素点的像素差值确定恢复图像对应的一阶图像；
根据所述一阶图像中的一阶像素信息，确定所述一阶图像中相邻像素点的像素差值，并根据所述一阶图像中相邻像素点的像素差值确定恢复图像对应的二阶图像；
根据所述二阶图像中包括的二阶像素信息，确定所述恢复图像对应的边缘损失。
可选的，所述根据所述恢复图像中的第二像素信息，确定所述恢复图像中相邻像素点的像素差值，包括：
根据所述恢复图像中的第二像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值Gx，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值Gy；
相应的，所述根据所述恢复图像中相邻像素点的像素差值确定恢复图像对应的一阶图像，包括：
根据所述横向像素差值Gx确定横向一阶图像，根据所述纵向像素差值Gy确定纵向一阶图像。
可选的，根据所述一阶图像中的一阶像素信息，确定所述一阶图像中相邻像素点的像素差值，包括：
根据所述横向一阶图像中的横向一阶像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值
Figure GDA0003352190620000031
根据所述纵向一阶图像中的纵向一阶像素信息，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值
Figure GDA0003352190620000032
相应的，所述根据所述一阶图像中相邻像素点的像素差值确定恢复图像对应的二阶图像，包括：
根据所述横向像素差值
Figure GDA0003352190620000034
定横向二阶图像，根据所述纵向像素差值/>
Figure GDA0003352190620000033
确定纵向二阶图像。
可选的，所述根据所述二阶图像中包括的二阶像素信息，确定所述恢复图像对应的边缘损失，包括：
根据所述横向二阶图像中包括的横向二阶像素信息，确定横向像素信息，根据所述纵向二阶图像中包括的纵向二阶像素信息，确定纵向像素信息；
根据所述横向像素信息与所述纵向像素信息确定所述边缘损失。
在这种实施方式中，可以通过相邻像素点间的像素差值，衡量恢复图像中的边缘信息。像素点间的像素差值能够表达出相邻像素点的变化信息，从而可以用来体现深度图像中的边缘信息。
可选的，所述根据所述全局损失信息、所述边缘损失信息优化所述第一基本单元中的参数，包括：
根据所述全局损失与所述边缘损失确定损失结果，并根据所述损失结果优化用于输出所述恢复图像的第一基本单元，以及该第一基本单元之前的其他第一基本单元中的参数。
在这种实施方式中，利用一个第一基本单元输出的恢复图像，可以修正多个第一基本单元中的参数，从而提高模型训练速度。
可选的，所述第一基本单元对输入的图像的处理过程包括：
根据当前提取参数提取输入的图像包括的图像特征；
根据当前映射关系将所述图像特征映射为高分辨率特征；
将所述高分辨率特征转换为输入的图像对应的高频信息，将所述高频信息与所述输入的图像进行累加得到输出图像。
在这种实施方式中，基本单元从输入的图像中提取高频信息，并将高频信息和原始图像进行融合，能够得到包括高频信息的输出图像，使得输出图像中的物体边界更加明显。
可选的，所述将所述高分辨率特征转换为输入的图像对应的高频信息，包括：
通过多个卷积层对所述高分辨率特征进行卷积处理得到卷积结果，根据所述卷积结果确定所述输入的图像对应的高频信息。
可选的，每个卷积层中包括多个通道，每个通道对应一当前权重值。
在这种实施方式中，通过设置各个通道的权重值，能够调整基于卷积得到的不同类型的特征对最终结果的影响程度，通过调整权重值，使得包含信息更多的通道提取的特征对高频信息的影响程度更大，而包含信息较少的通道提取的特征对高频信息的影响程度较小，从而提高提取高频信息或低频信息的准确程度。
可选的，所述将所述高频信息与所述输入的图像进行累加得到输出图像，包括：
将所述高频信息与输入的图像进行像素级累加，得到所述输出图像。
在这种实施方式中，能够将高频信息与输入基本单元的图像进行融合，从而得到包含高频信息的输出图像。
可选的，优化所述第一基本单元中的参数包括：
优化所述第一基本单元中的当前提取参数和/或当前映射关系。
可选的，还包括：
根据所述真值图像确定对应的低分辨率图像，并根据所述低分辨率图像确定所述训练图像。
可选的，所述根据所述低分辨率图像确定所述训练图像，包括：
对所述低分辨率图像进行插值上采样处理得到所述训练图像，所述训练图像与所述低分辨率图像对应的真值图像的分辨率相同。
根据真值图像确定训练图像，能够得到大量的图像组合，在利用这些图像数据对模型进行训练时，可以直接通过真值图像对模型进行修正，提高模型训练过程的准确率。
本公开的第二个方面是提供一种深度图像超分辨率方法，将待处理深度图像输入通过第一方面任一项所述的方法训练得到的模型中，通过所述模型的链式结构中最后一个第一基本单元确定所述待处理深度图像对应的目标图像。
本公开的第三个方面是提供一种用于深度图像超分辨率的模型的训练装置，包括：
搭建模块，用于预先搭建模型，所述模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；
输入模块，用于将训练图像输入模型中链式结构的第一个第一基本单元，以使所述第一基本单元确定与所述训练图像对应的一恢复图像；
迭代模块，用于基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
修正模块，用于根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，并根据所述全局损失信息、所述边缘损失信息优化所述第一基本单元中的参数。
本公开的第四个方面是提供一种深度图像超分辨率装置，将待处理深度图像输入通过第三方面所述的装置训练得到的模型中，通过所述模型的链式结构中最后一个第一基本单元确定所述待处理深度图像对应的目标图像。
本公开的第五个方面是提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面或第二方面所述的任一项所述的方法。
本公开的第六个方面是提供一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如第一方面或第二方面所述的任一项所述的方法。
本公开的第七个方面是提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面或第二方面所述的任一项所述的方法。
本公开提供的模型训练方法、超分辨率方法、装置、电子设备及介质，预先搭建模型，所述模型包括多个第一基本单元；多个第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；将训练图像输入模型中链式结构的第一个第一基本单元，以使第一基本单元确定与训练图像对应的一恢复图像；基于模型的链式结构，将恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于模型的链式结构，将恢复图像输入下一个第一基本单元的步骤；根据训练图像对应的真值图像、恢复图像确定全局损失信息、边缘损失信息，并根据全局损失信息、边缘损失信息优化第一基本单元中的参数。本公开提供的方案中提及的模型，其中设置多个第一基本单元，且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像，能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息，进而通过多次迭代，使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请一示例性实施例示出的模型示意图；
图2为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图；
图3为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图；
图4为本申请一示例性实施例示出的相邻像素点差值的示意图；
图5为本申请另一示例性实施例示出的相邻像素点差值的示意图；
图6为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图；
图7为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图；
图8为本申请一示例性实施例示出的电子设备的结构图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，在很多应用场景中都需要用到深度图像。例如图像分割、物体检测、场景三维图像重建中。可以通过一些设备采集深度图像，例如深度传感器，但是，通过这些传感器采集的深度图像分辨率较低，例如Kinect,ToF等，只能采集有限分辨率的深度图像，如640*480或400*300。而对应的彩色图像一般分辨率较高，这就导致将二者进行融合处理时，彩色图像中的很多有效信息都被丢弃了。因此，深度图像的分辨率严重限制了对深度图像的相关应用效果。
为了提高深度图像的分辨率，可以对图像进行处理，以提高其分辨率，实现方案可以包括基于插值的实现、基于传统机器学习的实现、基于深度学习的实现。
但是，基于插值的实现方式往往会导致不同物体间的边界产生平滑的效果，严重弱化物体的边界，导致恢复出的深度图像效果很差。基于传统机器学习的实现方式利用额外的训练数据集，学习低分辨率深度图像与高分辨率深度图像的映射模型，然而传统机器学习的非线性表达能力往往有限，由此获得的模型非线性表达能力有限，并不能很好的恢复高分辨率深度图像。基于深度学习的实现方式同样利用额外的训练数据集获取低分辨率深度图像与高分辨率深度图像间的映射模型，然而目前实现方式中的网络结果和方法并不能充分的描述低分辨率深度图像与高分辨率深度图像之间的映射模型。
为了提高深度图像超分辨率的效果，本申请的方案提供一种模型训练方法，该模型可以用来对深度图像进行超分辨率处理。该模型是一种渐进式的网络结构模型，该模型中设置有依次连接的第一基本单元，通过这些第一基本单元逐步对低分辨率的输入图像进行处理，能够获得高分辨率深度图像。
图1本申请一示例性实施例示出的模型示意图。
如图1所示，该模型中包括多个第一基本单元11。多个第一基本单元11依次连接形成链式结构，一个第一基本单元11的输出数据作为与其连接的下一个第一基本单元的输入数据。例如，可以设置k个第一基本单元11，这些第一基本单元11呈链式连接结构。前一个第一基本单元11的输出数据为后一个第一基本单元11的输入数据。
对于一个第一基本单元11来说，其输入数据为一深度图像，输出数据与输入的深度图像对应的高分辨率的深度图像。例如，将图像A输入一个第一基本单元11，则通过该第一基本单元11对图像A进行处理，能够得到与图像A对应的深度图像B，深度图像B相较于图像A来说，分辨率更高。
通过训练该模型，能够利用训练完毕的模型对低分辨率的深度图像进行处理。具体可以通过训练完毕的模型中多个第一基本单元11的迭代处理，使得第一基本单元11输出的图像与输入数据对应的真值图像越来越相近，进而得到与输入图像对应的目标图像。
进一步的，训练完毕的模型可以设置在一用户终端中，用户可以将希望提高分辨率的深度图像输入该模型中，进而使模型输出该图像对应的高分辨率图像。
实际应用时，训练完毕的模型还可以设置在一服务器中，用户终端与服务器可以通过网络连接。用户可以操作用户终端，将希望提高分辨率的深度图像通过用户终端发送到服务器中，以使服务器将该图像输入模型中，使得模型输出该图像对应的高分辨率图像。服务器再将得到的图像反馈给用户终端。
本实施例提供一种用于恢复深度图像的模型训练方法，通过该方法训练得到的模型可以对一待处理深度图像进行处理，得到与其对应的目标图像。
其中，可以预先搭建模型，模型包括多个第一基本单元；多个第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据。该模型的详细结构可以参考图1。
图2为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图。
如图2所示，本实施例提供的用于深度图像超分辨率的模型的训练方法包括：
步骤201，将训练图像输入模型中链式结构的第一个第一基本单元，以使所述第一基本单元确定与所述训练图像对应的一恢复图像。
进一步的，执行本实施例提供的方法电子设备可以是计算机。
实际应用时，可以预先准备训练数据，并通过训练数据对模型进行训练。例如，可以预先采集分辨率较高的深度图像，可以利用非线性方式对高分辨率深度图像进行处理，得到对应的低分辨率深度图像，即可以形成高分辨率-低分辨率的深度图像对。
其中，可以对低分辨率深度图像进行插值上采样处理，得到与原始的高分辨率深度图像分辨率一致的训练图像，可以将该原始的高分辨率深度图像作为标准图像，从而形成训练图像-标准图像对。例如，预先采集一高分辨率深度图像S，可以对其进行处理得到对应的低分辨率Q，再对Q进行处理得到训练图像O，最终，可以利用S-O的图像对对模型进行训练。
在对模型进行训练时，可以将该训练图像输入模型中，以使模型输出与其对应的目标图像。该目标图像即为模型基于当前的参数，对训练图像进行处理得到的高分辨率图像。在模型初始训练阶段，可能会由于其学习效果还不好，输出的目标图像的分辨率恢复效果可能不满足需求，此时，可以通过优化模型参数，使得模型输出的目标图像与需求的效果越来越相近。
实际应用时，具体可以将训练图像输入模型中的一个第一基本单元。该第一基本单元是指在依次连接的第一基本单元中，位于起始位置处的第一基本单元。
其中，第一基本单元能够对训练图像进行处理，确定一恢复图像。
第一基本单元能够提取输入图像的图像特征，并根据模型中当前的映射参数将图像特征映射到高分辨率空间，得到高分辨率特征，第一基本单元可以根据高分辨率特征确定高频信息。
高频信息是指深度图像中，若一个区域内相邻像素的像素值相差较大，则该区域的信息是高频信息。在深度图像中，若相邻位置像素值相差较大，则可以说明该区域为物体边界区域。因此，通过提取高频信息，能够得到图像中的物体边界信息。可以将提取的高频信息叠加在输入图像中，进而得到输出的恢复图像。例如，将高频信息叠加在图像A中，得到恢复图像B。
步骤202，基于模型的链式结构，将恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像。
在下一个基本单元确定出恢复图像后，继续执行本步骤，直到模型链式结构中位于尾部的最后一个第一基本单元确定恢复图像为止。
其中，本实施例提供的模型结构中，多个第一基本单元依次连接，且前一个第一基本单元的输出数据作为下一个第一基本单元的输入数据。因此，位于起始位置的第一基本单元对输入的训练图像进行处理后，得到的恢复图像可以作为下一个第一基本单元的输入数据。
具体的，各个第一基本单元之间的网络结构可以是相同的，但是其中的参数可以不同。这些参数可以在学习过程中不断进行优化。通过设置多个第一基本单元，且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像，能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息，进而通过多次迭代，使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。该标准图像是指待处理图像对应的标准高分辨率图像，也就是期望得到的图像。
步骤203，根据训练图像对应的真值图像、恢复图像确定全局损失信息、边缘损失信息，并根据全局损失信息、边缘损失信息优化第一基本单元中的参数。
进一步的，每个用于训练模型的训练图像具有一真值图像，即一低分辨率深度图像对应的高分辨率深度图像。该真值图像是希望模型能够在对训练图像进行处理时输出的结果。
但是，在模型训练阶段，由于其内部参数还不够准确，会导致其输出的图像与训练图像对应的真值图像具有差异，因此，可以比对第一基本单元输出的恢复图像与训练图像对应的真值图像，并根据比对结果对模型中的参数进行优化。
其中，由于本实施例提供的方法中，设置有多个第一基本单元，且这些基本单元都能够输出与训练图像对应的恢复图像，因此，可以比对各个第一基本单元输出的恢复图像与真值图像，从而直接对各个第一基本单元中的参数进行调整；还可以比对最后一个第一基本单元确定的恢复图像与真值图像，从而通过回传的方式调整各个第一基本单元的参数。
具体的，可以根据训练图像对应的真值图像、恢复图像确定全局损失信息、边缘损失信息，并根据全局损失信息、边缘损失信息优化第一基本单元中的参数。
进一步的，可以计算真值图像与恢复图像之间的差异，从而确定全局损失信息。比如计算一真值图像与恢复图像对应像素点之间的像素差值，再结合每个像素点的像素差值，确定全局损失。
实际应用时，还可以根据恢复图像中的像素信息，确定边缘损失信息。对于深度图像来说，其中物体的边缘信息是很关键的，因此，可以对恢复图像中的像素信息进行处理。例如，确定一恢复图像中，在x轴方向和y轴方向的像素值二阶导数，再将x方向的二阶导数之和与y方向的二阶导数之和确定为边缘损失信息。
其中，对于两个相邻的像素点来说，可以沿x方向将后一个像素点与前一个点之间的像素值之差作为这两个像素点之间的一阶导数。再将相邻一阶导数之差作为二阶导数。基于此，在x轴方向，可以得到恢复图像对应的二阶导数，在y轴方向也可以得到恢复图像对应的二阶导数。具体的，可以将恢复图像在x轴方向和y轴方向的二阶导数进行累加，得到恢复图像对应的边缘损失。
具体的，可以将全局损失和边缘损失之和作为损失函数的结果。并通过该结果对模型中的参数逐步优化，例如一个第一基本单元输出一恢复图像，则可以根据该恢复图像以及真值图像得到一个损失函数结果，再根据该损失函数结果优化该第一基本单元及其之前其他基本单元中的参数，通过这样的方式，能够使模型中最后一个第一基本单元输出的恢复图像与需求的效果越来越接近。
例如，当模型输出的恢复图像与真值图像之间相似度高于一阈值后，可以认为当前的模型满足使用需求，可以停止训练。再例如，当根据模型中最后一个第一基本单元输出的恢复图像计算损失函数时，若结果满足预设需求，则可以停止训练。
本实施例提供的方法用于对恢复深度图像的模型进行训练，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。
本实施例提供的用于深度图像超分辨率的模型的训练方法，预先搭建模型，所述模型包括多个第一基本单元；多个第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；方法包括：将训练图像输入模型中链式结构的第一个第一基本单元，以使第一基本单元确定与训练图像对应的一恢复图像；基于模型的链式结构，将恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于模型的链式结构，将恢复图像输入下一个第一基本单元的步骤；根据训练图像对应的真值图像、恢复图像确定全局损失信息、边缘损失信息，并根据全局损失信息、边缘损失信息优化第一基本单元中的参数。通过本实施例提供的用于深度图像超分辨率的模型的训练方法得到的模型，其中设置多个第一基本单元，且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像，能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息，进而通过多次迭代，使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。
图3为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图。
其中，可以预先搭建模型，模型包括多个第一基本单元；多个第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据。该模型的详细结构可以参考图1。
本实施例提供的方法在对模型进行训练之前，还可以预先准备训练数据。训练数据包括标准图像与训练图像的图像对。
可以预先采集分辨率较高的深度图像，并将其作为标准图像。再对标准图像进行处理，得到低分辨率图像，例如，可以采用非线性方式对标准图像进行处理，得到对应的低分辨率图像。
在对模型进行训练时，可以对低分辨率图像进行插值上采样处理得到训练图像，得到的训练图像与对应的标准图像分辨率相同。在对模型进行训练时，将训练图像输入模型，以使模型对其进行分辨率恢复的处理，输出一目标图像，再使用该目标图像与标准图像进行比对，从而优化模型中的各个参数。
如图3所示，本实施例提供的用于深度图像超分辨率的模型的训练方法，包括：
步骤301，将训练图像输入模型中链式结构的第一个第一基本单元。
步骤301与步骤201中向模型中输入训练图像的方式类似，不再赘述。
步骤302，第一基本单元根据当前提取参数提取输入的图像包括的图像特征；根据当前映射关系将图像特征映射为高分辨率特征；将高分辨率特征转换为输入的图像对应的高频信息，将高频信息与输入的图像进行累加得到输出图像。
其中，将训练图像输入第一基本单元之后，第一基本单元可以基于内部结构、当前提取参数提取训练图像包括的图像特征。该图像特征是用于表现图像中高频信息的特征。通过训练，能够使模型提取需要的特征。
例如，在第一基本单元中设置有特征提取模块，其中包括多个卷积层，可以利用这些卷积层提取训练图像的图像特征。具体使用的提取参数可以在学习、训练过程中不断优化。
第一基本单元中还可以包括映射模块，特征提取模块可以将提取的图像特征分别发送给映射模块，使得映射模块能够基于当前的映射关系，将图像特征映射为高分辨率特征。具体的，映射模块中设置有低分辨率特征与高分辨率特征之间的映射关系，通过学习，可以不断修正该映射关系，使其越来越准确。当映射模块接收到图像特征后，可以将其作为低分辨率图像的特征，并将其映射到高分辨空间，得到高分辨率特征。
第一基本单元中还可以包括图像重建模块，映射模块可以将映射得到的高分辨率特征发送给图像重建模块，使得图像重建模块基于高分辨率特征确定与输入的训练图像对应的恢复图像。
具体的，图像重建模块可以根据高分辨率特征确定高频信息，该高频信息即为输入第一基本单元的图像中包括的高频信息，例如，是训练图像中包括的高频信息。
高频信息是指在深度图像中，相邻像素点像素值相差较大的区域信息。低频信息是指，若一个区域内相邻像素的像素值相差较小，则该区域的信息是低频信息。在深度图像中，若一区域中相邻像素点像素值相差较大，则可以认为该区域可能包括物体边缘，因此，通过提取高频信息能够获知图像中物体的边缘信息。
进一步的，在图像重建模块中可以设置多个卷积层，通过多个卷积层对高分辨率特征进行卷积处理得到卷积结果，再根据卷积结果确定输入恢复图像对应的高频信息。例如，可以将最后一个卷积层输出的结果作为高频信息。
实际应用时，在上述卷积层中可以设置多个通道，不同的通道用于提取不同类型的特征数据。每个通道可以对应与一权重值，可以将该通道确定的结果与权重值相乘，得到修正后的结果。权重值可以在训练过程中不断优化得到。
例如，若不设置权重值，则可以直接将各个通道确定的结果相加得到卷积结果。而设置了权重值之后，通过调整权重值能够改变不同类型特征数据对卷积结果的影响程度。在实际应用时，通过训练得到的各个通道的权重值，能够增大包含信息较多的通道的权重，降低包含信息较少的通道的权重。
模型通过学习，可以修正权重参数，即各个通道的权重值，从而能够将包含信息较多的权重通道的权重值较大，包含信息较少的通道的权重值较小。
其中，图像重建模块可以将确定的高频信息与输入的图像进行累加得到输出图像。例如，将确定的高频信息与训练图像进行像素级累加，得到一个恢复图像。比如，高频信息中坐标为(X，Y)的点的数据为m1，低频信息中坐标为(X，Y)的点的数据为m2，训练图像中坐标为(X，Y)的点的数据为n，则可以将m1、m2与n的和作为输出图像中坐标为(X，Y)的点对应的数据。
步骤303，基于模型的链式结构，将恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像。
具体的，将步骤303确定的恢复图像可以输入到下一个第一基本单元中，以使下一个第一基本单元输出另一个恢复图像。
下一个基本单元对输入的恢复图像的处理过程如下：
根据当前提取参数提取输入的恢复图像包括的图像特征；
根据当前映射关系将图像特征映射为高分辨率特征；
将高分辨率特征转换为输入的恢复图像对应的高频信息，将高频信息与输入的恢复图像进行累加得到输出图像。
具体的实现方式与步骤302中类似，不再赘述。
步骤304，根据真值图像中的第一像素信息与恢复图像中的第二像素信息，确定对应像素点的像素差值之和，并将像素差值之和确定为全局损失。
进一步的，当第一基本单元输出一恢复图像之后，可以根据该恢复图像以及训练图像对应的真值图像确定全局损失。比如将训练图像输入模型之后，各个第一基本单元都能够输出恢复图像，其中可以根据第一基本单元N输出的恢复图像n、训练图像对应的真值图像t确定一全局损失。
实际应用时，可以计算真值图像与恢复图像中每个对应像素点的像素差值，再将像素差值进行累加得到全局损失。例如一对应像素点位置是(x，y)，则可以根据第二像素信息得到该点的像素值n(x,y)，根据第一像素信息得到该点的像素值t(x,y)，并将n(x,y)-t(x,y)作为该像素点的像素差值，针对每个对应像素点都可以确定像素差值。
步骤305，根据恢复图像中的第二像素信息，确定恢复图像中相邻像素点的像素差值，并根据恢复图像中的相邻像素点的像素差值确定恢复图像对应的边缘损失。
此外，本实施例提供的方法中，还确定另一种损失信息，具体为边缘损失。步骤304与步骤305的执行时序不做限制。
其中，可以根据恢复图像中的第二像素信息确定该图像中的边缘损失，可以确定恢复图像中相邻像素点的像素差值，将其作为恢复图像中各个像素点对应的一阶导数，再根据这些一阶导确定恢复图像中各个像素点对应的二阶导数，由于二阶导数能够体现相邻像素点间的像素值关系，因此，可以根据二阶导数表征恢复图像中的边缘信息。
具体的，在确定相邻像素点的像素差值时，可以根据所述恢复图像中的第二像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值Gx，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值Gy。
进一步的，x的取值0-M，M为恢复图像在横向的尺寸。Y的取值0-N，N为恢复图像在纵向的尺寸。可以计算恢复图像中，横向上的后一个像素点与前一个像素点的差值，纵向上的下一个像素点与上一个像素点的差值。
图4为本申请一示例性实施例示出的相邻像素点差值的示意图。
如图4所示，41为恢复图像，假设恢复图像为4×4大小的图像，其中共包括16个像素点，像素点的像素值用H表示。可以根据恢复图像中包括的第二像素信息，也就是这16个像素点的像素值，确定横向像素差值Gx以及纵向像素差值Gy。
42为横向像素差值Gx的示意图，通过计算横向上相邻像素点的差值，能够得到如42所示的结果，具体采用下一个像素点的像素值减去前一个像素点的像素值的方式。43为纵向像素差值Gy，计算方式与横向像素差值Gx的计算方式类似，不再赘述。
实际应用时，在确定出恢复图像中相邻像素点的像素差值之后，还可以根据该差值确定恢复图像对应的一阶图像。例如，可以根据根据横向像素差值Gx确定横向一阶图像，根据纵向像素差值Gy确定纵向一阶图像。具体可以将Gx和Gy分别表现为矩阵形式，即可以得到横向一阶图像和纵向一阶图像，具体的形式例如图4中的42和43。
其中，得到一阶图像之后，还可以根据一阶图像中的一阶像素信息，确定一阶图像中相邻像素点的像素差值，并根据一阶图像中相邻像素点的像素差值确定恢复图像对应的二阶图像。
具体的，可以分别根据横向一阶图像、纵向一阶图像确定对应的横向二阶图像和纵向二阶图像。
进一步的，根据横向一阶图像中的横向一阶像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值
Figure GDA0003352190620000171
根据纵向一阶图像中的纵向一阶像素信息，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值/>
Figure GDA0003352190620000172
具体的确定方式与确定恢复图像中相邻像素点的像素差值类似。
图5为本申请另一示例性实施例示出的相邻像素点差值的示意图。
如图5所示，51为横向一阶图像，其为3×3的图像。可以对其进行处理，得到如53所示的结果；52为纵向一阶图像，其为3×3的图像。可以对其进行处理，得到如54所示的结果。具体确定方式与图4所示类似，不再赘述。
进一步的，可以根据横向像素差值
Figure GDA0003352190620000173
定横向二阶图像，根据纵向像素差值/>
Figure GDA0003352190620000174
确定纵向二阶图像。/>
在确定出横向一阶图像以及纵向一阶图像中相邻像素点的像素差值之后，还可以根据该差值确定恢复图像对应的二阶图像。例如，可以根据根据横向像素差值
Figure GDA0003352190620000175
确定横向二阶图像，根据纵向像素差值/>
Figure GDA0003352190620000176
确定纵向二阶图像。具体可以将/>
Figure GDA0003352190620000177
和/>
Figure GDA0003352190620000178
分别表现为矩阵形式，即可以得到横向二阶图像和纵向二阶图像，具体的形式例如图5中的53和54。
实际应用时，可以根据横向二阶图像中包括的横向二阶像素信息，确定横向像素信息，即通过横向像素信息表现恢复图像在横向上，相邻像素点间的像素值关系；根据纵向二阶图像中包括的纵向二阶像素信息，确定纵向像素信息，即通过纵向像素信息表现恢复图像在纵向上，相邻像素点间的像素值关系。
可以直接对横向二阶图像中各个像素点的像素值相加，得到横向像素信息；可以直接对纵向二阶图像中各个像素点的像素值相加，得到纵向像素信息。
还可以计算横向二阶图像中各个像素点的像素值累加和，再计算每个像素点的平均像素值，将其作为横向像素信息；还可以计算纵向二阶图像中各个像素点的像素值累加和，再计算每个像素点的平均像素值，将其作为纵向像素信息。
其中，得到横向像素信息和纵向像素信息之后，可以根据横向像素信息与纵向像素信息确定边缘损失。例如，将确定的横向像素信息与纵向像素信息相加，得到边缘损失。
步骤306，根据全局损失与边缘损失确定损失结果，并根据损失结果优化用于输出恢复图像的第一基本单元，以及该第一基本单元之前的其他第一基本单元中的参数。
本实施例提供的方法中，通过不同的方式确定两种损失信息，可以结合这两种损失信息对模型进行优化，从而使得模型更好的理解图片中的全局内容和边缘内容。
其中，可以根据全局损失与边缘损失确定损失结果，比如将全局损失与边缘损失相加，得到损失结果。
再利用该损失结果对模型中的第一基本单元进行优化。具体优化的对象可以是输出恢复图像的第一基本单元，还可以包括链式结构中该第一基本单元之前的其他第一基本单元。比如输出恢复图像的第一基本单元是第5个单元，则可以通过损失结果优化第1-5个第一基本单元。
具体优化的参数可以是第一基本单元中的当前提取参数和/或当前映射关系。
本实施例还提供一种深度图像超分辨率方法，可以利用上述实施例中训练得到的模型对深度图像进行处理，从而输出一高分辨率的深度图像。
其中，可以将待处理深度图像输入通过图2或图3所示出的任一项的方法训练得到的模型中，通过该模型的链式结构中最后一个第一基本单元确定待处理深度图像对应的目标图像。
通过上述实施例训练得到的模型中，设置有依次连接的第一基本单元，通过这些第一基本单元逐步对低分辨率的输入图像进行处理，能够获得高分辨率深度图像。
图6为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图。
如图6所示，本实施例提供的用于深度图像超分辨率的模型的训练装置，包括：
搭建模块60，用于预先搭建模型，所述模型包括多个第一基本单元；多个所述第一基本单元61依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元61的输入数据；
输入模块62，用于将训练图像输入模型中链式结构的第一个第一基本单元61，以使所述第一基本单元61确定与所述训练图像对应的一恢复图像；
迭代模块63，用于基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元61，以使下一个第一基本单元61确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
修正模块64，用于根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，并根据所述全局损失信息、所述边缘损失信息优化所述第一基本单元61中的参数。
本实施例提供的用于深度图像超分辨率的模型的训练装置的具体原理和实现方式以及效果均与图2所示的实施例类似，此处不再赘述。
图7为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图。
如图7所示，本实施例提供的用于深度图像超分辨率的模型的训练装置，在上述实施例的基础上，
所述修正模块64，包括：
全局损失确定单元641，用于根据所述真值图像中的第一像素信息与所述恢复图像中的第二像素信息，确定对应像素点的像素差值之和，并将所述像素差值之和确定为所述全局损失；
边缘损失确定单元642，用于根据所述恢复图像中的第二像素信息，确定所述恢复图像中相邻像素点的像素差值，并根据所述恢复图像中的相邻像素点的像素差值确定所述恢复图像对应的边缘损失。
可选的，所述边缘损失确定单元642具体用于：
根据所述恢复图像中相邻像素点的像素差值确定恢复图像对应的一阶图像；
根据所述一阶图像中的一阶像素信息，确定所述一阶图像中相邻像素点的像素差值，并根据所述一阶图像中相邻像素点的像素差值确定恢复图像对应的二阶图像；
根据所述二阶图像中包括的二阶像素信息，确定所述恢复图像对应的边缘损失。
可选的，边缘损失确定单元642具体用于：
根据所述恢复图像中的第二像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值Gx，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值Gy；
根据所述横向像素差值Gx确定横向一阶图像，根据所述纵向像素差值Gy确定纵向一阶图像。
可选的，边缘损失确定单元642具体用于：
根据所述横向一阶图像中的横向一阶像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值
Figure GDA0003352190620000201
根据所述纵向一阶图像中的纵向一阶像素信息，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值
Figure GDA0003352190620000202
/>
根据所述横向像素差值
Figure GDA0003352190620000203
定横向二阶图像，根据所述纵向像素差值/>
Figure GDA0003352190620000204
确定纵向二阶图像。
可选的，边缘损失确定单元642具体用于：
根据所述横向二阶图像中包括的横向二阶像素信息，确定横向像素信息，根据所述纵向二阶图像中包括的纵向二阶像素信息，确定纵向像素信息；
根据所述横向像素信息与所述纵向像素信息确定所述边缘损失。
可选的，所述修正模块64还包括：
结果损失确定单元643，用于根据所述全局损失与所述边缘损失确定损失结果；
优化单元644，用于根据所述损失结果优化用于输出所述恢复图像的第一基本单元，以及该第一基本单元之前的其他第一基本单元中的参数。
可选的，所述第一基本单元61对输入的图像的处理过程包括：
根据当前提取参数提取输入的图像包括的图像特征；
根据当前映射关系将所述图像特征映射为高分辨率特征；
将所述高分辨率特征转换为输入的图像对应的高频信息，将所述高频信息与所述输入的图像进行累加得到输出图像。
可选的，所述第一基本单元61具体用于：
通过多个卷积层对所述高分辨率特征进行卷积处理得到卷积结果，根据所述卷积结果确定所述输入的图像对应的高频信息。
可选的，每个卷积层中包括多个通道，每个通道对应一当前权重值。
可选的，所述第一基本单元61具体用于：
将所述高频信息与输入的图像进行像素级累加，得到所述输出图像。
可选的，修正模块64具体用于优化所述第一基本单元中的当前提取参数和/或当前映射关系。
可选的，所述装置还包括预备模块65，用于：
根据所述真值图像确定对应的低分辨率图像，并根据所述低分辨率图像确定所述训练图像。
预备模块65具体用于：
对所述低分辨率图像进行插值上采样处理得到所述训练图像，所述训练图像与所述低分辨率图像对应的真值图像的分辨率相同。
可选的，本实施例还提供一种深度图像超分辨率装置，将待处理深度图像输入通过图6或图7所示出的任一项所述的装置训练得到的模型中，通过所述模型的链式结构中最后一个第一基本单元确定所述待处理深度图像对应的目标图像。
根据本申请的实施例，本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的任一项方法。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于深度图像超分辨率的模型的训练方法或深度图像超分辨率方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于深度图像超分辨率的模型的训练方法或深度图像超分辨率方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于深度图像超分辨率的模型的训练方法或深度图像超分辨率方法对应的程序指令/模块(例如，附图6所示的搭建模块60、输入模块62、迭代模块63和修正模块64)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于深度图像超分辨率的模型的训练方法或深度图像超分辨率方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种用于深度图像超分辨率的模型的训练方法，其特征在于，预先搭建模型，所述模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；
所述方法包括：
将训练图像输入模型中链式结构的第一个第一基本单元，以使所述第一基本单元确定与所述训练图像对应的一恢复图像；
基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，并根据所述全局损失信息、所述边缘损失信息优化多个所述第一基本单元中的当前提取参数和/或当前映射关系；
所述根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，包括：
根据所述真值图像中的第一像素信息与所述恢复图像中的第二像素信息，确定对应像素点的像素差值之和，并将所述像素差值之和确定为所述全局损失；
根据所述恢复图像中的第二像素信息，确定所述恢复图像中相邻像素点的像素差值，并根据所述恢复图像中的相邻像素点的像素差值确定所述恢复图像对应的边缘损失。
2.根据权利要求1所述的方法，其特征在于，所述根据所述恢复图像中的相邻像素点的像素差值确定所述恢复图像对应的边缘损失，包括：
根据所述恢复图像中相邻像素点的像素差值确定恢复图像对应的一阶图像；
根据所述一阶图像中的一阶像素信息，确定所述一阶图像中相邻像素点的像素差值，并根据所述一阶图像中相邻像素点的像素差值确定恢复图像对应的二阶图像；
根据所述二阶图像中包括的二阶像素信息，确定所述恢复图像对应的边缘损失。
3.根据权利要求2所述的方法，其特征在于，所述根据所述恢复图像中的第二像素信息，确定所述恢复图像中相邻像素点的像素差值，包括：
根据所述恢复图像中的第二像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值Gx，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值Gy；
相应的，所述根据所述恢复图像中相邻像素点的像素差值确定恢复图像对应的一阶图像，包括：
根据所述横向像素差值Gx确定横向一阶图像，根据所述纵向像素差值Gy确定纵向一阶图像。
4.根据权利要求3所述的方法，其特征在于，根据所述一阶图像中的一阶像素信息，确定所述一阶图像中相邻像素点的像素差值，包括：
根据所述横向一阶图像中的横向一阶像素信息，确定横向上第x+1个像素点的像素值与第x个像素点的横向像素差值
Figure QLYQS_1
；
根据所述纵向一阶图像中的纵向一阶像素信息，确定纵向上第y+1个像素点的像素值与第y个像素点的纵向像素差值
Figure QLYQS_2
；
相应的，所述根据所述一阶图像中相邻像素点的像素差值确定恢复图像对应的二阶图像，包括：
根据所述横向像素差值
Figure QLYQS_3
定横向二阶图像，根据所述纵向像素差值/>
Figure QLYQS_4
确定纵向二阶图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述二阶图像中包括的二阶像素信息，确定所述恢复图像对应的边缘损失，包括：
根据所述横向二阶图像中包括的横向二阶像素信息，确定横向像素信息，根据所述纵向二阶图像中包括的纵向二阶像素信息，确定纵向像素信息；
根据所述横向像素信息与所述纵向像素信息确定所述边缘损失。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述全局损失信息、所述边缘损失信息优化多个所述第一基本单元中的参数，包括：
根据所述全局损失与所述边缘损失确定损失结果，并根据所述损失结果优化用于输出所述恢复图像的第一基本单元，以及该第一基本单元之前的其他第一基本单元中的参数。
7.根据权利要求1所述的方法，其特征在于，所述第一基本单元对输入的图像的处理过程包括：
根据当前提取参数提取输入的图像包括的图像特征；
根据当前映射关系将所述图像特征映射为高分辨率特征；
将所述高分辨率特征转换为输入的图像对应的高频信息，将所述高频信息与所述输入的图像进行累加得到输出图像。
8.根据权利要求7所述的方法，其特征在于，所述将所述高分辨率特征转换为输入的图像对应的高频信息，包括：
通过多个卷积层对所述高分辨率特征进行卷积处理得到卷积结果，根据所述卷积结果确定所述输入的图像对应的高频信息。
9.根据权利要求8所述的方法，其特征在于，每个卷积层中包括多个通道，每个通道对应一当前权重值。
10.根据权利要求7所述的方法，其特征在于，所述将所述高频信息与所述输入的图像进行累加得到输出图像，包括：
将所述高频信息与输入的图像进行像素级累加，得到所述输出图像。
11.根据权利要求1-5、7-10任一项所述的方法，其特征在于，还包括：
根据所述真值图像确定对应的低分辨率图像，并根据所述低分辨率图像确定所述训练图像。
12.根据权利要求11所述的方法，其特征在于，所述根据所述低分辨率图像确定所述训练图像，包括：
对所述低分辨率图像进行插值上采样处理得到所述训练图像，所述训练图像与所述低分辨率图像对应的真值图像的分辨率相同。
13.一种深度图像超分辨率方法，其特征在于，将待处理深度图像输入通过权利要求1-5、7-10、12任一项所述的方法训练得到的模型中，通过所述模型的链式结构中最后一个第一基本单元确定所述待处理深度图像对应的目标图像。
14.一种用于深度图像超分辨率的模型的训练装置，其特征在于，包括：
搭建模块，用于预先搭建模型，所述模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；
输入模块，用于将训练图像输入模型中链式结构的第一个第一基本单元，以使所述第一基本单元确定与所述训练图像对应的一恢复图像；
迭代模块，用于基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
修正模块，用于根据所述训练图像对应的真值图像、所述恢复图像确定全局损失信息、边缘损失信息，并根据所述全局损失信息、所述边缘损失信息优化多个所述第一基本单元中的参数；
所述修正模块，包括：
全局损失确定单元，用于根据所述真值图像中的第一像素信息与所述恢复图像中的第二像素信息，确定对应像素点的像素差值之和，并将所述像素差值之和确定为所述全局损失；
边缘损失确定单元，用于根据所述恢复图像中的第二像素信息，确定所述恢复图像中相邻像素点的像素差值，并根据所述恢复图像中的相邻像素点的像素差值确定所述恢复图像对应的边缘损失。
15.一种深度图像超分辨率装置，其特征在于，将待处理深度图像输入通过权利要求14所述的装置训练得到的模型中，通过所述模型的链式结构中最后一个第一基本单元确定所述待处理深度图像对应的目标图像。
16.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12或13中任一项所述的方法。
CN202010076585.0A 2020-01-23 2020-01-23 模型训练方法、超分辨率方法、装置、电子设备及介质 Active CN113160045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010076585.0A CN113160045B (zh) 2020-01-23 2020-01-23 模型训练方法、超分辨率方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010076585.0A CN113160045B (zh) 2020-01-23 2020-01-23 模型训练方法、超分辨率方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113160045A CN113160045A (zh) 2021-07-23
CN113160045B true CN113160045B (zh) 2023-06-20

Family

ID=76882008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010076585.0A Active CN113160045B (zh) 2020-01-23 2020-01-23 模型训练方法、超分辨率方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113160045B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349085A (zh) * 2019-06-28 2019-10-18 西安工程大学 一种基于生成对抗网络的单幅图像超分辨特征增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457896B1 (ko) * 2013-03-21 2014-11-04 삼성전자주식회사 영상의 세밀감을 향상시키기 위한 처리 방법 및 장치
WO2015180053A1 (zh) * 2014-05-28 2015-12-03 北京大学深圳研究生院 一种快速超分辨率图像重建方法和装置
US9848210B2 (en) * 2014-12-18 2017-12-19 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting
GB201604672D0 (en) * 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349085A (zh) * 2019-06-28 2019-10-18 西安工程大学 一种基于生成对抗网络的单幅图像超分辨特征增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Edge-Informed Single Image Super-Resolution;Kamyar Nazeri等;arXiv;第1-10页 *
基于RGB-D信息的深度图像增强关键技术研究;宋希彬;中国优秀博硕士学位论文全文数据库（博士）;第1-164页 *
基于残差密集网络的单幅图像超分辨率重建;谢雪晴;计算机应用与软件;第222-226页 *
基于生成对抗网络的图像超分辨率方法;包晓安等;浙江理工大学学报;第499-508页 *

Also Published As

Publication number Publication date
CN113160045A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111709878B (zh) 人脸超分辨率实现方法、装置、电子设备及存储介质
CN112541482B (zh) 深度信息补全模型训练方法、装置、设备以及存储介质
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
CN111524166B (zh) 视频帧的处理方法和装置
CN111932464B (zh) 超分辨率模型使用和训练方法、装置、设备及介质
CN112270669B (zh) 人体3d关键点检测方法、模型训练方法及相关装置
CN111340905B (zh) 图像风格化方法、装置、设备和介质
CN112560875B (zh) 深度信息补全模型训练方法、装置、设备以及存储介质
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN111291729B (zh) 一种人体姿态估计方法、装置、设备及存储介质
KR102505768B1 (ko) 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기
CN111598131B (zh) 图像处理方法、装置、电子设备及存储介质
KR102432561B1 (ko) 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기
CN111462179B (zh) 三维物体跟踪方法、装置及电子设备
CN111815595A (zh) 图像语义分割方法、装置、设备和可读存储介质
CN111861991B (zh) 计算图像清晰度的方法以及装置
CN111191619B (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN112528932B (zh) 用于优化位置信息的方法、装置、路侧设备和云控平台
CN113160045B (zh) 模型训练方法、超分辨率方法、装置、电子设备及介质
CN113160046B (zh) 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113160044B (zh) 深度图像超分辨率方法、训练方法及装置、设备、介质
CN112819874B (zh) 深度信息处理方法、装置、设备、存储介质以及程序产品
CN112150380B (zh) 校正图像的方法、装置、电子设备和可读存储介质
CN112183484B (zh) 一种图像处理方法、装置、设备以及存储介质
CN112541934B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant