CN114723611B - 图像重建模型训练方法、重建方法、装置、设备及介质 - Google Patents

图像重建模型训练方法、重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN114723611B
CN114723611B CN202210653453.9A CN202210653453A CN114723611B CN 114723611 B CN114723611 B CN 114723611B CN 202210653453 A CN202210653453 A CN 202210653453A CN 114723611 B CN114723611 B CN 114723611B
Authority
CN
China
Prior art keywords
image information
reconstruction
discriminator
reconstruction model
preliminary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210653453.9A
Other languages
English (en)
Other versions
CN114723611A (zh
Inventor
张晟东
邓涛
张立华
李志建
蔡维嘉
王济宇
古家威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210653453.9A priority Critical patent/CN114723611B/zh
Publication of CN114723611A publication Critical patent/CN114723611A/zh
Application granted granted Critical
Publication of CN114723611B publication Critical patent/CN114723611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Abstract

本发明涉及机器人视觉技术领域，具体公开了一种图像重建模型训练方法、重建方法、装置、设备及介质，其中，图像重建模型训练方法包括以下步骤：获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；利用初始重建模型根据多个灰度图像信息重建生成多个初步重建图像信息；根据初步重建图像信息和基准图像信息建立对抗判别器；根据初步重建图像信息、基准图像信息和对抗判别器建立损失函数；利用损失函数训练初始重建模型以生成重建模型；该模型训练方法根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化。

Description

图像重建模型训练方法、重建方法、装置、设备及介质
技术领域
本申请涉及机器人视觉技术领域，具体而言，涉及一种图像重建模型训练方法、重建方法、装置、设备及介质。
背景技术
伴随着我国电力需求的不断增长和科学技术的日新月异，无人机电力巡检这一新型、高效的巡检模式应运而生。相比于传统人工巡检方式，机器人（移动式机器人或无人机）电力巡检具有安全性高、巡检效率高和巡检效果好等优势。
为了满足无人机电力巡检中电力线故障检测、电力线图像记录、机器人自主避障、定位和路径规划等功能，机器人的机器视觉在智能化电力巡检中显得极为重要。
目前机器人视觉一般采用双目RGB相机、RGB-D相机和红外结合可见光的相机等基于帧图像的相机方案，根据上述相机方案获取的视觉图像存在常常因为环境变化、机器人移动等原因产生的分辨率不足、清晰度不足等问题。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种图像重建模型训练方法、重建方法、装置、设备及介质，以在低延迟的情况下获取超分辨率图像。
第一方面，本申请提供了一种图像重建模型训练方法，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，所述方法包括以下步骤：
获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；
利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；
根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；
根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；
利用所述损失函数训练所述初始重建模型以生成所述重建模型。
本申请的图像重建模型训练方法，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像。
所述的图像重建模型训练方法，其中，所述初始重建模型包括先后设置的多个卷积层及多个反卷积层，所述卷积层数量大于所述反卷积层。
该示例的图像重建模型训练方法通过多个卷积层对灰度图像信息进行卷积特征提取能逐步去除灰度图像信息中不必要特征且生成卷积特征图像，通过反卷积层的上采样处理能将卷积特征图像逐步转变为分辨率与基准图像信息分辨率一致的图像，以能与基准图像信息进行对抗比较。
所述的图像重建模型训练方法，其中，所述对抗判别器包括第一对抗判别器和第二对抗判别器，所述第一对抗判别器用于对比所述初步重建图像信息和在前的所述基准图像信息，所述第二对抗判别器用于对比所述初步重建图像信息和在后的所述基准图像信息。
该示例的图像重建模型训练方法设计第一对抗判别器和第二对抗判别器分别判别初始重建模型重建生成的初步重建图像信息与两个基准图像信息的差异程度，应当理解的是，在该示例中，损失函数包含了第一对抗判别器和第二对抗判别器的判别结果，使得最终训练获取的重建模型基于上述投入的多个灰度图像信息重建出的超分辨率图像与两个基准图像信息均高度相似，以提高重建获取的超分辨率图像的真实度。
所述的图像重建模型训练方法，其中，所述根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数的步骤包括：
根据所述初步重建图像信息、所述基准图像信息和所述第一对抗判别器建立第一目标函数；
根据所述初步重建图像信息、所述基准图像信息和所述第二对抗判别器建立第二目标函数；
基于预设权重根据所述第一目标函数和所述第二目标函数建立所述损失函数。
所述的图像重建模型训练方法，其中，所述灰度图像信息基于双目DAVIS事件相机采集生成。
所述的图像重建模型训练方法，其中，每个所述初步重建图像信息为通过初始重建模型基于至少一个所述灰度图像信息重建生成。
第二方面，本申请还提供了一种图像重建方法，用于重建获取超分辨率图像，所述方法包括以下步骤：
利用上述第一方面提供的所述的图像重建模型训练方法训练获取的所述重建模型重建待处理的灰度图像信息，生成所述超分辨率图像。
本申请的图像重建方法，利用上述第一方面训练获取的重建模型进行图像重建，能根据高频的灰度图像信息生成高频的超分辨率图像，能作为机器人视觉数据使用，使得机器人能在低延迟、高动态范围的前提下迅速获取无动态模糊超分辨率图像，从而提高机器人的环境识别精度，可应用在各类移动机器人中。
第三方面，本申请还提供了一种图像重建模型训练装置，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，所述装置包括：
获取模块，用于获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；
初步重建模块，用于利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；
判别器模块，用于根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；
损失模块，用于根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；
训练模块，用于利用所述损失函数训练所述初始重建模型以生成所述重建模型。
本申请的图像重建模型训练装置，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像。
第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面或第二方面提供的所述方法中的步骤。
第五方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面或第二方面提供的所述方法中的步骤。
由上可知，本申请提供了一种图像重建模型训练方法、重建方法、装置、设备及介质，其中，图像重建模型训练方法，其中，图像重建模型训练方法利用作为先验图像的基准图像信息和基于初始重建模型根据灰度图像信息重建的初步重建图像信息建立对抗判别器，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像，以在低成本、低延迟前提下实现了超分辨率图像的重建。
附图说明
图1为本申请实施例提供的图像重建模型训练方法的流程图。
图2为初始重建模型的网络层结构示意图。
图3为初始重建模型、第一对抗判别器及第二对抗判别器的连接结构示意图。
图4为本申请实施例提供的图像重建模型训练装置的结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
附图标记：201、获取模块；202、初步重建模块；203、判别器模块；204、损失模块；205、训练模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目前机器人视觉一般采用双目RGB相机、RGB-D相机和红外结合可见光的相机等基于帧图像的相机方案，能连续提取图像作为环境信息；但现有的机器人视觉提取的图像普遍存在以下问题：1、因机器人运动过程较快或振动而导致图像模糊；2、在过曝光或光线暗的场景下，视觉传感器容易出现拍摄物体信息缺失的情况，具有低鲁棒性。
本申请实施例旨在获取一种能用于电力巡检中的超分辨率图像的重建模型，尤其是能部署在以无人机作为移动主体的机器人巡检设备上的重建模型。
第一方面，请参照图1-图3，图1是本申请一些实施例中的一种图像重建模型训练方法，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，该图像重建模型训练方法包括以下步骤：
S1、获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；
具体地，基准图像信息为清晰可见的图像，可以是灰度图像，还可以是彩色图像，在本申请实施例中，基准图像信息被视为具有足够分辨率、清晰度的用于训练初始重建模型的先验图像，以使最终获取的重建模型重建获取的图像能尽可能与基准图像相似。
更具体地，两个基准图像信息可以为连续拍摄的两个图像，还可以为同一位置上拍摄间隔较短的两个图像；在本申请实施例中优选为采用同一相机进行连续拍摄的两个连续图像帧，灰度图像信息则为基于采集频率更高的图像传感器进行采集的灰度图像，其优选为该两个连续图像帧之间的所有灰度图像（可以包含与该基准图像信息同时拍摄的灰度图像），这些灰度图像均能作为初始重建模型重建图像时的重建材料或训练材料。
更具体地，由于基准图像信息为用于训练初始重建模型的先验图像，应当理解的是，基准图像信息与灰度图像信息采集位置相同，使得基准图像信息能用于验证初始重建模型重建获取的图像。
更具体地，基准图像信息用作于评价重建后图像的清晰度或分辨率的图像，故其仅需为具有足够高清晰度、分辨率的二维图像，本申请实施例中，优选为采用RGB相机采集的真实图片。
更具体地，灰度图像信息需利用采集频率高于该RBG相机采集频率的相机进行采集，在本申请实施例中，优选为采用具有灰度图像采集功能的事件相机进行采集，事件相机基于像素亮度变化的原理进行图像采集，具有远高于RGB相机的采集频率，故能在RGB相机采集生成两个连续的基准图像信息之间采集生成多个灰度图像信息。
S2、利用初始重建模型根据多个灰度图像信息重建生成多个初步重建图像信息；
具体地，本申请实施例中，初始重建模型可以是根据一个灰度图像信息重建生成一个初步重建图像信息，还可以是根据多个灰度图像信息重建生成一个初步重建图像信息，本申请实施例的方法通过投入不同数量灰度图像信息给初始重建模型进行图像重建，能获取不同程度重建效果的初步重建图像信息，利于后续步骤对不同情况下初始重建模型产生的不同初步重建图像信息进行验证，实现对初始重建模型全方位训练，使得最终训练获取的重建模型根据单一或复数的灰度图像信息均能重建出超分辨率图像。
S3、根据初步重建图像信息和基准图像信息建立对抗判别器；
具体地，初始重建模型为重建模型的雏形，初步重建图像信息为该初始重建模型根据灰度图像信息重建生成的具有超分辨率的特性的图像，但该初步重建图像信息的重建效果未进行验证，故需要利用作为先验图像的基准图像信息验证该初步重建图像信息的重建效果。
更具体地，对抗判别器为基于对抗原理建立的判别器，能将基准图像信息判别为真，将初步重建图像信息尽可能判别为假，因此，应当理解的是，该对抗判别器为预先训练好的判别器，或者为根据当前获取的初步重建图像信息和基准图像信息进行训练的判别器；该对抗判别器能用于评价初始重建模型的训练效果，如对抗判别器将初步重建图像信息判别为真时，表明对抗判别器无法区分基准图像信息和初步重建图像信息的差异，表明该初步重建图像信息与基准图像信息高度相似，且具有与基准图像信息相当的超分辨率和清晰度。
更具体地，由于步骤S2生成了多个初步重建图像信息，应当理解的是，步骤S3中的对抗判别器能针对不同的初步重建图像信息进行使用。
S4、根据初步重建图像信息、基准图像信息和对抗判别器建立损失函数；
具体地，由于该对抗判别器能用于评价初始重建模型的训练效果，基于该对抗判别器建立的损失函数能评价初步重建图像信息与基准图像信息的相似度。
更具体地，对抗判别器根据不同输入数据具有不同的判别结果，应当理解的是，该步骤为基于对抗判别器对初步重建图像信息、基准图像信息的不同判别结果建立损失函数。
更具体地，损失函数的函数式可以是包含对抗判别器针对特定数量的初步重建图像信息的判别结果，还可以是包含对抗判别器针对所有初步重建图像信息的判别结果，在本申请实施例中，优选为包含对抗判别器针对所有初步重建图像信息的判别结果，以提高损失函数的输出结果的可靠性，使得最终训练生成的重建模型的重建效果更好、可靠性更高。
S5、利用损失函数训练初始重建模型以生成重建模型。
具体地，由于损失函数包含了对抗判别器对初步重建图像信息的判别结果，故损失函数包含了初始重建模型对多个灰度图像信息的重建算式，步骤S5的训练过程为训练初始重建模型的参数，使得初始重建模型能重建出与基准图像信息高度相似的初步重建图像信息，即使得重建生成的图片与真实图片几乎没有差异，以使损失函数输出结果收敛，将此时初始重建模型的参数固定后视该初始重建模型为重建模型。
更具体地，训练生成的重建模型能根据一个或多个灰度图像信息重建生成超分辨率图像，故其能部署在具备灰度图像信息采集设备的机器人上以协助机器人进行超分辨率图像重建。
更具体地，应当理解的是，本申请实施例的图像重建模型训练方法可执行多次步骤S1-步骤S5来获取更高精度的重建模型，即通过步骤S1多次获取不同的两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息，作为模型训练数据来训练获取更高精度的重建模型。
本申请实施例的图像重建模型训练方法，利用作为先验图像的基准图像信息和基于初始重建模型根据灰度图像信息重建的初步重建图像信息建立对抗判别器，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像，以在低成本、低延迟前提下实现了超分辨率图像的重建。
在一些优选的实施方式中，灰度图像信息基于双目DAVIS事件相机采集生成。
具体地，双目DAVIS事件相机是一种既可以输出事件信息又可以输出灰度图的事件相机，本申请实施例的图像重建模型训练方法以该双目DAVIS事件相机输出的灰度图作为灰度图像信息，灰度图像信息不具备深度信息，步骤S1获取所有灰度图像信息的集合记为K T ，T为灰度图像信息的采集时刻（在本申请实施例中，T还能表征灰度图像信息的采集编号、数量），有K T =（k j1 ，k j2 ……k jT ），其中，j为在前的基准图像信息的采集时间下标，k ji 为K T 中的元素，即为一个灰度图像信息，满足k ji ∈R m×n ，i=1,2……T，R m×n 为m×n的实数矩阵，即有：
Figure DEST_PATH_IMAGE001
（1）
其中，g为灰度值，m、n为像素坐标。
更具体地，应当理解的是，本申请实施例的图像重建模型训练方法训练获取的重建模型能应用在任何具有灰度图像信息采集功能的机器人上，优选为应用在具有双目DAVIS事件相机的机器人上，以确保实际采集获取的灰度图像信息的尺寸规格、采集频率与训练过程所用的灰度图像信息一致，从而进一步保证超分辨率图像的重建效果。
更具体地，事件相机能确保获取灰度图像信息足够清晰，能解决在过曝光或光线暗的场景下，视觉传感器容易出现拍摄物体信息缺失的情况而存在低鲁棒性的问题。
在一些优选的实施方式中，初始重建模型包括先后设置的多个卷积层及多个反卷积层，卷积层数量大于反卷积层。
具体地，通过多个卷积层对灰度图像信息进行卷积特征提取能逐步去除灰度图像信息中不必要特征且生成卷积特征图像，通过反卷积层的上采样处理能将卷积特征图像逐步转变为分辨率与基准图像信息分辨率一致的图像，以能与基准图像信息进行对抗比较。
在一些优选的实施方式中，如图2所示，反击卷层（deconv1- deconv4）与其对称位置的卷积层（conv4-conv1）连接，其中，反击卷层（deconv1- deconv4）与卷积层（conv4-conv1）以conv5为对称中心，如conv1与deconv4对称，使得反卷积层的上采样处理结果融合了对应连接的卷积层的输出结果和基于上一网络层的输出结果的上采样处理结果，以在避免其输出结果失真的情况下提高其输出结果的分辨率。
具体地，卷积层和反卷积层的设定数量可根据重建效果需求进行调整，一般情况下，层数越多重建获取的超分辨率图像的分辨率越高，但模型训练时间和图像重建耗费的时间越长，且需要准备相应分辨率的基准图像信息进行训练；在本申请实施例中，卷积层和反卷积层分别优选为5层和4层，能确保重建获取的超分辨率图像满足机器人对环境的识别需求。
在一些优选的实施方式中，如图2所示，本申请实施例的图像重建模型训练方法中的初始重建模型具有5个卷积层（conv1-conv5）和4个反卷积层（deconv1-deconv4），其中，5个卷积层和4个反卷积层依次连接，且conv1与deconv4连接、conv2与deconv3连接、conv3与deconv2连接、conv4与deconv1连接；frame img为初始重建模型的图像输入端，out img 为初始重建模型的图像输出端。
具体地，在本申请实施例中，记conv1-conv5的输出结果分别为O 1、O 2、O 3、O 4和O 5，记deconv1-deconv4的单独运行的输出结果分别为d 1、d 2、d 3和d 4，则对于deconv1而言，其输入为O 5和O 4，输出为在其原本基于O 5输出的d 1的基础上融合conv4的输出结果O 4，使得deconv1的最终输出结果为
Figure DEST_PATH_IMAGE002
，其中，λ为卷积权重，一般设为0.5；基于上述原理如此类推，对于整个初始重建模型而言，out img的输出结果为
Figure DEST_PATH_IMAGE003
。
两个基准图像信息为两个连续拍摄的图像帧，所以两个基准图像信息本身具有高度相似的特点，本申请实施例的图像重建模型训练方法获取的重建模型重建的超分辨率图像可以是与任一个基准图像信息高度相似，故对抗判别器可以是用于判别初步重建图像信息与在前的基准图像信息的相似程度，还可以是用于判别初步重建图像信息与在后的基准图像信息的相似程度；更进一步地，重建的超分辨率图像还可以是与两个基准图像信息同时高度相似，因此，在一些优选的实施方式中，对抗判别器包括第一对抗判别器和第二对抗判别器，第一对抗判别器用于对比初步重建图像信息和在前的基准图像信息，第二对抗判别器用于对比初步重建图像信息和在后的基准图像信息。
具体地，本申请实施例的图像重建模型训练方法设计第一对抗判别器和第二对抗判别器分别判别初步重建模型重建生成的初步重建图像信息与两个基准图像信息的差异程度，应当理解的是，在该实施例中，步骤S4建立损失函数包含了第一对抗判别器和第二对抗判别器的判别结果，使得最终训练获取的重建模型基于上述投入的多个灰度图像信息重建出的超分辨率图像与两个基准图像信息均高度相似，以提高重建获取的超分辨率图像的真实度。
在一些优选的实施方式中，每个初步重建图像信息为通过初始重建模型基于至少一个灰度图像信息重建生成。
具体地，步骤S2还可以利用整合图像代入初始重建模型的方式来生成初步重建图像信息，即利用一个以上的灰度图像信息整合为一个整合图像从frame img输入至初始重建模型中，使初始重建模型根据该整合图像从out img重建输出对应的初步重建图像信息。
更具体地，如图3所示，frame 1-frame T均为整合图像，基于一个以上灰度图像信息生成整合图像能保证初始重建模型的输入数据更完备，使得输出结果更有效，从而提高重建模型的重建效果，本申请实施例的图像重建模型训练方法提出图像整合的处理方式，充分利用了事件相机的高频采集特性，即充分利用了事件相机的高频信息来完善图像重建效果。
更具体地，如图3所示，在本申请实施例中，整合图像为根据灰度图像信息生成时间依次叠加整合而成，即frame 1为根据第一个灰度图像信息直接生成，frame 2则为根据第一个和第二个灰度图像信息整合生成，如此类推，最后的frame T则为根据所有灰度图像信息整合生成。
更具体地，对于一个基准图像信息而言，与该基准图像信息采集时间相隔越远的灰度图像信息采集对象的相似度越差，故基于与该基准图像信息采集时间相隔越远的灰度图像信息生成的初步重建图像信息与基准图像信息的相似度越差，本申请实施例的图像重建模型训练方法设立第一对抗判别器和第二对抗判别器来判别重建后的图像与两个基准图像信息的相似度，使得最终训练获取的重建模型重建生成的超分辨率图像往前及往后均与对应的基准图像信息相似，使得该重建模型在实际使用时能针对一定时间内获取的灰度图像信息高精度地对应单位时间内环境特点的超分辨率图像。
更具体地，本申请实施例的图像重建模型训练方法基于两个判别器利用位于上述灰度图像信息前端和后端拍摄的基准图像信息进行初始重建模型的训练，使得最终训练获取的重建模型实现了平滑化重建，即使得该重建生成的超分辨率图像可视为两个基准图像信息中间时刻的过渡图像，即使得重建模型平滑重建了多个连续灰度图像信息对应的时间段中的中间时刻的真实图片。
在一些优选的实施方式中，根据初步重建图像信息、基准图像信息和对抗判别器建立损失函数的步骤包括：
S41、根据初步重建图像信息、基准图像信息和第一对抗判别器建立第一目标函数；
具体地，基于前述内容可知，第一对抗判别器能针对在前的基准图像信息输出为真的判别结果，针对初步重建图像信息的图像尽可能输出为假的判别结果，故第一对抗判别器能判别出初步重建图像信息和在前的基准图像信息的相似性，基于第一对抗判别器建立的第一目标函数可以根据第一对抗判别器判别结果的差异性（减法）或根据第一对抗判别器判别结果的相似性（加法）来建立，在本申请实施例中，第一目标函数被定义为：
Figure DEST_PATH_IMAGE004
（2）
其中，
Figure DEST_PATH_IMAGE005
为第一目标函数，D 1为第一对抗判别器，img j 为在前的基准图像信息，j为该基准图像信息的采集时间下标，PG为初始重建模型，在该实施方式中，初始重建模型直接根据灰度图像信息重建生成初步重建图像信息，该第一目标函数能根据第一对抗判别器针对对应的初步重建图像信息和针对在前的基准图像信息的判别结果进行输出，输出结果越靠近0则表明初步重建图像信息与基准图像信息越相似。
更具体地，将不同的灰度图像信息代入式（2）可获知初始重建模型生成的不同初步重建图像信息与在前的基准图像信息的相似度，训练初始重建模型为调节PG的参数使第一目标函数收敛。
更具体地，由前述内容可知，采用整合图像的处理方式作为初始重建模型的输入数据能提高图像的重建效果，因此，在一些实施方式中，若初始重建模型为根据整合图像重建生成初步重建图像信息，则式（2）的第一目标函数被定义为：
Figure DEST_PATH_IMAGE006
（3）
其中，frame i为第i个整合图像。
将不同的整合图像代入式（3）可获知初始重建模型生成的不同初步重建图像信息与在前的基准图像信息的相似度，训练初始重建模型为调节PG的参数使第一目标函数收敛。
更具体地，对于式（2）和式（3）而言，每次仅能代入一个输入数据给初始重建模型，对于模型训练而言，若要保证初始重建模型对所有灰度图像信息的重建效果，则需要执行多次数据输入和对应的训练过程，导致模型训练过程繁琐；因此，在一些优选的实时方式中，第一目标函数更优选地被定义为：
Figure DEST_PATH_IMAGE007
（4）
具体地，式（4）中输入了所有灰度图像信息，并利用第一对抗判别器对所有利用初始重建模型根据灰度图像信息生成的初步重建图像信息进行判别，使得第一目标函数输出的结果表征了所有初步重建图像信息与初始重建模型的累计相似度，基于该式（4）的目标函数进行模型训练，能使重建模型整体重建效果更好，能针对不同的多时刻灰度图像信息进行重建。
更具体地，为确保第一对抗判别器判别能力更好，在训练初始重建模型前，可以先固定初始重建模型，然后基于式（4）训练第一对抗判别器（训练调节第一对抗判别器的参数使式（4）的输出结果尽可能小），使第一对抗判别器能更清楚区分在前的基准图像信息和初步重建图像信息；然后再解锁初始重建模型并固定第一对抗判别器的参数再进行初始重建模型的训练，以进一步优化初始重建模型的训练效果；在一些其他实施例中，还可以在执行步骤S5时，同时训练第一对抗判别器、第二对抗判别器和初始重建模型。
更具体地，由前述内容可知，采用整合图像的处理方式作为初始重建模型的输入数据能提高图像的重建效果，因此，在一些实施方式中，若初始重建模型为根据整合图像重建生成初步重建图像信息，则式（4）的第一目标函数被定义为：
Figure DEST_PATH_IMAGE008
（5）
具体地，代入整合图像进行初步重建图像信息的重建能完善初步重建图像信息的重建效果，但需要附加图像整合处理过程，可根据实际重建要求选用式（4）或式（5）。
因此，在本申请实施例中，第一目标函数优选设定为式（4）或式（5）。
S42、根据初步重建图像信息、基准图像信息和第二对抗判别器建立第二目标函数；
具体地，基于前述内容可知，第二对抗判别器能针对在后的基准图像信息输出为真的判别结果，针对初步重建图像信息的图像尽可能输出为假的判别结果，与第一目标函数定义过程相似，第二目标函数可以被定义为以下四种形式：
Figure DEST_PATH_IMAGE009
（6）
Figure DEST_PATH_IMAGE010
（7）
Figure DEST_PATH_IMAGE011
（8）
Figure DEST_PATH_IMAGE012
（9）
其中，
Figure DEST_PATH_IMAGE013
为第二目标函数，D 2为第二对抗判别器，img j+1为在后的基准图像信息，j+1为该基准图像信息的采集时间下标，PG为初始重建模型。
在本申请实施例中，第二目标函数优选设定为式（8）或式（9）。
S43、基于预设权重根据第一目标函数和第二目标函数建立损失函数。
具体地，基于第一目标函数和第二目标函数建立的损失函数能表征初步重建图像信息与两个基准图像信息的综合相似度，故损失函数一般可以直接被设定为：
Figure DEST_PATH_IMAGE014
（10）
其中，
Figure DEST_PATH_IMAGE015
为损失函数；在实际超分辨率图像的重建过程中，机器人对于超分辨率图像重建效果可能需要满足一定的时间倾向性，如重建获取的超分辨率图像需要更接近于在前时刻的真实图片，在该情况下，在训练获取重建模型的过程中，需要对第一目标函数设定更大的权重，使得重建获取的超分辨率图像更接近于在前的基准图像信息，故损失函数更优选地被设定为：
Figure DEST_PATH_IMAGE016
（11）
其中，
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
分别为第一目标函数和第二目标函数的预设权重，可根据实际使用需求进行设定。
在一些优选的实施方式中，损失函数中的第一目标函数的权重值和第二目标函数对应的权重值相等，即在无特殊要求的情况下，
Figure 422054DEST_PATH_IMAGE017
和
Figure 870353DEST_PATH_IMAGE018
均设定为相等值，在本申请实施例中均优选为0.5，以使得重建获取的超分辨率图像更倾向为两个基准图像信息之间中间时刻的过渡图片。
具体地，在确定损失函数结构后，步骤S5基于该损失函数和常见的模型训练算法来训练初始重建模型，在本申请实施例中，优选为采用梯度下降法进行训练，具体过程如下：
基于式（4）、（8）和（11），有：
Figure DEST_PATH_IMAGE019
（12）
利用梯度下降法更新（12）中的初始重建模型至
Figure 446828DEST_PATH_IMAGE015
收敛，便能将该初始重建模型视为重建模型；但为了使模型训练效果更好，在本申请实施例中，可增加更多的基准图像信息和灰度图像信息训练该初始重建模型，即利用多个连续的基准图像信息和对应的灰度图像信息训练初始重建模型，设基准图像信息的数量为N，则损失函数可进一步改进为：
Figure DEST_PATH_IMAGE020
（13）
可简化为：
Figure DEST_PATH_IMAGE021
（14）
在该实施例中，训练过程为同时训练第一对抗判别器、第二对抗判别器和初始重建模型，分别记初始重建模型、第一对抗判别器和第二对抗判别器的参数为W1、W2和W3，三个参数综合标记为θ t ，采用下式进行梯度下降更新式（14）：
Figure DEST_PATH_IMAGE022
（15）
其中，g t 为梯度块，t为更新时刻标记，β 1和β 2分别为第一更新权重和第二更新权重，m t 和v t 分别为第一迭代项和第二迭代项，
Figure DEST_PATH_IMAGE023
为θ t 的梯度算子，α为学习率，θ 0初始化满足对应模型需求，即各元素取自01正太分布的增广矩阵，且有
Figure DEST_PATH_IMAGE024
。
利用式（15）更新式（14）至迭代收敛，固定此时的W1便能将初始重建模型转变为重建模型，该重建模型能基于高频的灰度图像信息重建获取高频的超分辨率图像。
第二方面，本申请实施例提供一种图像重建方法，用于重建获取超分辨率图像，该图像重建方法包括以下步骤：
利用第一方面提供的图像重建模型训练方法训练获取的重建模型重建待处理的灰度图像信息，生成超分辨率图像。
本申请实施例的图像重建方法，利用上述第一方面训练获取的重建模型进行图像重建，能根据高频的灰度图像信息生成高频的超分辨率图像，能作为机器人视觉数据使用，使得机器人能在低延迟、高动态范围的前提下迅速获取无动态模糊超分辨率图像，从而提高机器人的环境识别精度，可应用在各类移动机器人中，如巡检机器人等。
在一些优选的实时方式中，该重建模型优选为部署在搭载有事件相机的机器人中，以便该重建模型能根据事件相机输出的高频灰度图像信息进行图像重建，确保重建获取的超分辨率图像无动态模糊且获取为低延迟获取。
具体地，在生成超分辨率图像后，本申请实施例的图像重建方法还能将事件相机获取的事件点中的极性、时间戳添加在超分辨率图像的对应像素点中，使得超分辨率图像具备更多环境参数特征，便于机器人进行更精准的环境识别。
在一些优选的实时方式中，事件相机优选为双目DAVIS事件相机。
第三方面，请参照图4，图4是本申请一些实施例中提供的一种图像重建模型训练装置，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，装置包括：
获取模块201，用于获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；
初步重建模块202，用于利用初始重建模型根据多个灰度图像信息重建生成多个初步重建图像信息；
判别器模块203，用于根据初步重建图像信息和基准图像信息建立对抗判别器；
损失模块204，用于根据初步重建图像信息、基准图像信息和对抗判别器建立损失函数；
训练模块205，用于利用损失函数训练初始重建模型以生成重建模型。
本申请实施例的图像重建模型训练装置，利用作为先验图像的基准图像信息和基于初始重建模型根据灰度图像信息重建的初步重建图像信息建立对抗判别器，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像，以在低成本、低延迟前提下实现了超分辨率图像的重建。
在一些优选的实施方式中，本申请实施例的图像重建模型训练装置用于执行上述第一方面提供的图像重建模型训练方法。
第四方面，请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第五方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种图像重建模型训练方法、重建方法、装置、设备及介质，其中，图像重建模型训练方法，其中，图像重建模型训练方法利用作为先验图像的基准图像信息和基于初始重建模型根据灰度图像信息重建的初步重建图像信息建立对抗判别器，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像，以在低成本、低延迟前提下实现了超分辨率图像的重建。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种图像重建模型训练方法，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，其特征在于，所述方法包括以下步骤：
获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；
利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；
根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；
根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；
利用所述损失函数训练所述初始重建模型以生成所述重建模型；
所述初始重建模型包括先后设置的多个卷积层及多个反卷积层，所述卷积层数量大于所述反卷积层；
所述对抗判别器包括第一对抗判别器和第二对抗判别器，所述第一对抗判别器用于对比所述初步重建图像信息和在前的所述基准图像信息，所述第二对抗判别器用于对比所述初步重建图像信息和在后的所述基准图像信息；
所述根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数的步骤包括：
根据所述初步重建图像信息、所述基准图像信息和所述第一对抗判别器建立第一目标函数；
根据所述初步重建图像信息、所述基准图像信息和所述第二对抗判别器建立第二目标函数；
基于预设权重根据所述第一目标函数和所述第二目标函数建立所述损失函数。
2.根据权利要求1所述的图像重建模型训练方法，其特征在于，所述灰度图像信息基于双目DAVIS事件相机采集生成。
3.根据权利要求1所述的图像重建模型训练方法，其特征在于，每个所述初步重建图像信息为通过初始重建模型基于至少一个所述灰度图像信息重建生成。
4.一种图像重建方法，用于重建获取超分辨率图像，其特征在于，所述方法包括以下步骤：
利用如权利要求1-3任一项所述的图像重建模型训练方法训练获取的所述重建模型重建待处理的灰度图像信息，生成所述超分辨率图像。
5.一种图像重建模型训练装置，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，其特征在于，所述装置包括：
获取模块，用于获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；
初步重建模块，用于利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；
判别器模块，用于根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；
损失模块，用于根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；
训练模块，用于利用所述损失函数训练所述初始重建模型以生成所述重建模型；
所述初始重建模型包括先后设置的多个卷积层及多个反卷积层，所述卷积层数量大于所述反卷积层；
所述对抗判别器包括第一对抗判别器和第二对抗判别器，所述第一对抗判别器用于对比所述初步重建图像信息和在前的所述基准图像信息，所述第二对抗判别器用于对比所述初步重建图像信息和在后的所述基准图像信息；
所述根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数的步骤包括：
根据所述初步重建图像信息、所述基准图像信息和所述第一对抗判别器建立第一目标函数；
根据所述初步重建图像信息、所述基准图像信息和所述第二对抗判别器建立第二目标函数；
基于预设权重根据所述第一目标函数和所述第二目标函数建立所述损失函数。
6.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-3任一项所述的图像重建模型训练方法，或运行如权利要求4所述的图像重建方法中的步骤。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-3任一项所述的图像重建模型训练方法，或运行如权利要求4所述的图像重建方法中的步骤。
CN202210653453.9A 2022-06-10 2022-06-10 图像重建模型训练方法、重建方法、装置、设备及介质 Active CN114723611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210653453.9A CN114723611B (zh) 2022-06-10 2022-06-10 图像重建模型训练方法、重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210653453.9A CN114723611B (zh) 2022-06-10 2022-06-10 图像重建模型训练方法、重建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114723611A CN114723611A (zh) 2022-07-08
CN114723611B true CN114723611B (zh) 2022-09-30

Family

ID=82232620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210653453.9A Active CN114723611B (zh) 2022-06-10 2022-06-10 图像重建模型训练方法、重建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114723611B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949255B (zh) * 2017-12-20 2023-07-28 华为技术有限公司 图像重建方法及设备
CN108460717A (zh) * 2018-03-14 2018-08-28 儒安科技有限公司 一种基于双判别器的生成对抗网络的图像生成方法
CN111091616B (zh) * 2019-11-25 2024-01-05 艾瑞迈迪医疗科技（北京）有限公司 一种三维超声图像的重建方法及装置
CN111476294B (zh) * 2020-04-07 2022-03-22 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法
CN112581370A (zh) * 2020-12-28 2021-03-30 苏州科达科技股份有限公司 人脸图像的超分辨率重建模型的训练及重建方法
CN113344793A (zh) * 2021-08-04 2021-09-03 深圳市安软科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质
CN113837942A (zh) * 2021-09-26 2021-12-24 平安科技（深圳）有限公司 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN114283058A (zh) * 2021-12-02 2022-04-05 河南农业大学 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN114399424A (zh) * 2021-12-23 2022-04-26 北京达佳互联信息技术有限公司 模型训练方法及相关设备

Also Published As

Publication number Publication date
CN114723611A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
Uittenbogaard et al. Privacy protection in street-view panoramas using depth and multi-view imagery
CN109284738B (zh) 不规则人脸矫正方法和系统
CN112446380A (zh) 图像处理方法和装置
US10674139B2 (en) Methods and systems for human action recognition using 3D integral imaging
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
WO2021063341A1 (zh) 图像增强方法以及装置
CN107025660A (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
Swami et al. Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal
CN112819875B (zh) 单目深度估计的方法、装置及电子设备
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN111861949A (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN114723611B (zh) 图像重建模型训练方法、重建方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant