CN113160046A - 深度图像超分辨率方法、训练方法及装置、设备、介质 - Google Patents
深度图像超分辨率方法、训练方法及装置、设备、介质 Download PDFInfo
- Publication number
- CN113160046A CN113160046A CN202010076587.XA CN202010076587A CN113160046A CN 113160046 A CN113160046 A CN 113160046A CN 202010076587 A CN202010076587 A CN 202010076587A CN 113160046 A CN113160046 A CN 113160046A
- Authority
- CN
- China
- Prior art keywords
- image
- basic unit
- resolution
- frequency information
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000011084 recovery Methods 0.000 claims description 60
- 238000013507 mapping Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 19
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004148 unit process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种深度图像超分辨率方法、训练方法及装置、设备、介质,通过设置多个第一基本单元,且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像,能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息,进而通过多次迭代,使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。
Description
技术领域
本公开涉及人工智能技术,尤其涉及深度图像超分辨率技术。
背景技术
深度图像也被称为距离影像,是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状。深度图像超分辨率是指由一幅低分辨率深度图像恢复出高分辨率图像。
目前,可以基于插值的实现方式、传统机器学习的实现方式以及深度学习的实现方式进行深度图像超分辨率。
但是,基于插值的实现方式恢复出的深度图像物体边界平滑,导致恢复出的深度图像效果很差。而传统机器学习以及深度学习的实现方式中,不能充分的描述低分辨率深度图像与高分辨率深度图像之间的映射模型,导致恢复的深度图像的不够准确。因此,现有技术中将低分辨率深度图像恢复为高分辨率深度图像的方案存在一定的局限性,不能准确的恢复出深度图像中包括的信息。
发明内容
本实施例提供的深度图像超分辨率方法、训练方法及装置、设备、介质,能够通过渐进式的方式对原图像进行处理,以得到包含信息更加丰富的目标图像,从而提高深度图像回复效果。
第一个方面,本申请提供一种深度图像超分辨率方法,模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
所述方法包括:
将待处理深度图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定一恢复图像;
基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
将所述链式结构中最后一个第一基本单元确定的恢复图像确定为与所述待处理深度图像对应的目标图像。
可选的,所述第一基本单元对输入的图像的处理过程包括:
提取输入的图像包括的第一图像特征、第二图像特征;
将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的图像对应的高频信息、根据第二高分辨率特征确定输入的图像对应的低频信息;
将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像。
在这种实施方式中,基本单元从输入的图像中提取高频信息、低频信息,并将高频信息、低频信息和原始图像进行融合,能够得到包括高频信息、低频信息的输出图像,使得输出图像中的物体边界和表面更加明显。
可选的,所述根据高分辨率特征确定输入的图像对应的高频信息,包括:
通过多个第一卷积层对所述第一高分辨率特征进行卷积处理得到第一卷积结果,根据所述第一卷积结果确定所述输入恢复图像对应的高频信息;
通过多个第二卷积层对所述低分辨率特征进行卷积处理得到第二卷积结果,根据所述第二卷积结果确定所述输入恢复图像对应的低频信息。
每个卷积层中包括多个通道,每个通道对应一权重值;所述权重值是预先训练得到的。
在这种实施方式中,通过设置各个通道的权重值,能够调整基于卷积得到的不同类型的特征对最终结果的影响程度,通过调整权重值,使得包含信息更多的通道提取的特征对高频信息或低频信息的影响程度更大,而包含信息较少的通道提取的特征对高频信息或低频信息的影响程度较小,从而提高提取高频信息或低频信息的准确程度。
可选的,所述将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像,包括:
将所述高频信息、所述低频信息与输入的图像进行像素级累加,得到所述输出恢复图像。
在这种实施方式中,能够将高频信息与输入基本单元的图像进行融合,从而得到包含高频信息的输出图像。
第二个方面,本申请提供一种用于深度图像超分辨率的模型的训练方法,预先搭建模型,所述模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
所述方法包括:
将训练图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定与所述训练图像对应的一恢复图像;
基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
通过所述链式结构中的最后一个第一基本单元确定与所述训练数据对应的目标图像;
比对所述训练图像对应的标准图像与最后一个所述第一基本单元确定的标准图像,和/或比对所述训练图像对应的标准图像与多个所述第一基本单元确定的恢复图像,并根据比对结果修正所述第一基本单元中的参数。
第三方面,本申请提供一种深度图像超分辨率装置,模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
所述装置包括:
第一输入模块,用于将待处理深度图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定一恢复图像;
迭代模块,用于基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
确定模块,用于将所述链式结构中最后一个第一基本单元确定的恢复图像确定为与所述待处理深度图像对应的目标图像。
第四个方面,本申请提供一种用于深度图像超分辨率的模型的训练装置,包括:
搭建模块,用于预先搭建模型,所述模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
第一输入模块,用于将训练图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定与所述训练图像对应的一恢复图像;
迭代模块,用于基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
确定模块,用于通过所述链式结构中的最后一个第一基本单元确定与所述训练数据对应的目标图像;
修正模块,用于比对所述训练图像对应的标准图像与最后一个所述第一基本单元确定的标准图像,和/或比对所述训练图像对应的标准图像与多个所述第一基本单元确定的恢复图像,并根据比对结果修正所述第一基本单元中的参数。
第五个方面,本申请提供一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的深度图像超分辨率方法,或如第二方面所述的用于深度图像超分辨率的模型的训练方法。
第六方面,本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如第一方面所述的深度图像超分辨率方法,或如第二方面所述的用于深度图像超分辨率的模型的训练方法。
本申请提供的深度图像超分辨率方法、训练方法及装置、设备、介质,通过设置多个第一基本单元,且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像,能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息,进而通过多次迭代,使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请一示例性实施例示出的模型示意图;
图2为本申请一示例性实施例示出的深度图像超分辨率方法的流程图;
图3为本申请一示例性实施例示出的利用模型进行图像处理的示意图;
图4为本申请另一示例性实施例示出的深度图像超分辨率方法的流程图;
图5为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图;
图6为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图;
图7为本申请一示例性实施例示出的深度图像超分辨率装置的结构图;
图8为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图;
图9为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图;
图10为本申请一示例性实施例示出的电子设备的结构图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
目前,在很多应用场景中都需要用到深度图像。例如图像分割、物体检测、场景三维图像重建中。可以通过一些设备采集深度图像,例如深度传感器,但是,通过这些传感器采集的深度图像分辨率较低,例如Ki nect,ToF等,只能采集有限分辨率的深度图像,如640*480或400*300。而对应的彩色图像一般分辨率较高,这就导致将二者进行融合处理时,彩色图像中的很多有效信息都被丢弃了。因此,深度图像的分辨率严重限制了对深度图像的相关应用效果。
为了提高深度图像的分辨率,可以对图像进行处理,以提高其分辨率,实现方案可以包括基于插值的实现、基于传统机器学习的实现、基于深度学习的实现。
但是,基于插值的实现方式往往会导致不同物体间的边界产生平滑的效果,严重弱化物体的边界,导致恢复出的深度图像效果很差。基于传统机器学习的实现方式利用额外的训练数据集,学习低分辨率深度图像与高分辨率深度图像的映射模型,然而传统机器学习的非线性表达能力往往有限,由此获得的模型非线性表达能力有限,并不能很好的恢复高分辨率深度图像。基于深度学习的实现方式同样利用额外的训练数据集获取低分辨率深度图像与高分辨率深度图像间的映射模型,然而目前实现方式中的网络结果和方法并不能充分的描述低分辨率深度图像与高分辨率深度图像之间的映射模型。
为了提高深度图像超分辨率的效果,本申请提供的方案提供一种渐进式的网络结构模型,通过该模型中依次连接的第一基本单元逐步对低分辨率的输入图像进行处理,获得高分辨率深度图像。此外,本申请还提供该网络结构模型对应的训练方案。
图1本申请一示例性实施例示出的模型示意图。
如图1所示,该模型中包括多个第一基本单元11。多个第一基本单元11依次连接形成链式结构,一个第一基本单元11的输出数据作为与其连接的下一个第一基本单元的输入数据。例如,可以设置k个第一基本单元11,这些第一基本单元11呈链式连接结构。前一个第一基本单元11的输出数据为后一个第一基本单元11的输入数据。
对于一个第一基本单元11来说,其输入数据为一深度图像,输出数据与输入的深度图像对应的高分辨率的深度图像。例如,将图像A输入一个第一基本单元11,则通过该第一基本单元11对图像A进行处理,能够得到与图像A对应的深度图像B,深度图像B相较于图像A来说,分辨率更高。
通过多个第一基本单元11的迭代处理,使得第一基本单元11输出的图像与输入数据对应的标准图像越来越相近,进而得到与输入图像对应的目标图像。
进一步的,该模型可以设置在一用户终端中,用户可以将希望提高分辨率的深度图像输入该模型中,进而使模型输出该图像对应的高分辨率图像。
实际应用时,该模型还可以设置在一服务器中,用户终端与服务器可以通过网络连接。用户可以操作用户终端,将希望提高分辨率的深度图像通过用户终端发送到服务器中,以使服务器将该图像输入模型中,使得模型输出该图像对应的高分辨率图像。服务器再将得到的图像反馈给用户终端。
图2为本申请一示例性实施例示出的深度图像超分辨率方法的流程图。
如图2所示,本申请提供的深度图像超分辨率方法包括:
步骤201,将待处理深度图像输入模型链式结构中的第一个第一基本单元,以使第一基本单元确定一恢复图像。
进一步的,执行本实施例提供的方法电子设备可以是用户终端,也可以是服务器,具体的形态可以是计算机。
需要提高一深度图像的分辨率时,可以将该待处理深度图像输入模型中,以使模型输出与其对应的目标图像。
实际应用时,具体可以将待处理深度图像输入模型中的一个第一基本单元。该第一基本单元是指在依次连接的第一基本单元中,位于起始位置处的第一基本单元。
其中,第一基本单元能够对待处理深度图像进行处理,确定一恢复图像。
图3为本申请一示例性实施例示出的利用模型进行图像处理的示意图。
如图3所示,可以将待处理深度图像A输入位于起始位置处的第一基本单元中,通过第一基本单元的处理,能够确定一恢复图像B。
第一基本单元能够提取输入图像的第一图像特征,并根据训练得到的映射参数,将第一图像特征映射到高分辨率空间,得到高分辨率特征,第一基本单元可以根据高分辨率特征确定高频信息。第一基本单元还能够提取输入图像的第二图像特征,并根据训练得到的映射参数,将第二图像特征映射到高分辨率空间,得到低分辨率特征,第一基本单元可以根据低分辨率特征确定低频信息。本实施例提供的第一基本单元中,用于提取第一图像特征、第二图像特征的参数可以不同。
高频信息是指深度图像中,若一个区域内相邻像素的像素值相差较大,则该区域的信息是高频信息。低频信息是指,若一个区域内相邻像素的像素值相差较小,则该区域的信息是低频信息。在深度图像中,若相邻位置像素值相差较大,则可以说明该区域为物体边界区域。若相邻位置像素值相差较小,则可以认为是一物体的平面。因此,通过提取高频信息,能够得到图像中的物体边界信息以及物体本身的信息。可以将提取的高频信息、低频信息叠加在输入图像中,进而得到输出的恢复图像。例如,将高频信息、低频信息叠加在图像A中,得到恢复图像B。
步骤202,基于模型的链式结构,将恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像。
在下一个基本单元确定出恢复图像后,继续执行本步骤,直到模型链式结构中位于尾部的最后一个第一基本单元确定恢复图像为止。
其中,本实施例提供的模型结构中,多个第一基本单元依次连接形成链式结构,且前一个第一基本单元的输出数据作为下一个第一基本单元的输入数据。因此,位于起始位置的第一基本单元对输入的待处理图像进行处理后,得到的恢复图像可以作为下一个第一基本单元的输入数据。
继续参考图3,如图3所示,可以将位于起始位置的第一基本单元确定的恢复图像B作为输入数据,输入到下一个第一基本单元中,并通过下一个第一基本单元输出恢复图像C,以此类推,恢复图像C又被作为输入数据输入到下一个第一基本单元中,直到模型中最后一个第一基本单元输出恢复图像K为止(假设共设置了k个第一基本单元)。
具体的,各个第一基本单元之间的网络结构可以是相同的,但是其中的参数可以不同。这些参数可以是在训练过程中确定的。通过设置多个第一基本单元,且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像,能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息,进而通过多次迭代,使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。该标准图像是指待处理图像对应的标准高分辨率图像,也就是期望得到的图像。
步骤203,将链式结构中最后一个第一基本单元确定的恢复图像确定为与待处理深度图像对应的目标图像。
本实施例提供的模型中,第一基本单元是依次连接的,位于起始位置的第一基本单元能够根据输入的待处理深度图像确定一恢复图像,下一个第一基本单元继续根据该恢复图像进行处理,再次得到一恢复图像,各个第一基本单元通过多次迭代能够得到多个恢复图像。
假设第一个第一基本单元确定的恢复图像效果不佳,那么经过下一个基本单元对该恢复图像进行处理后,由于输入该第一基本单元的恢复图像中包括用于提高待处理图像分辨率的信息,能够使得该第一基本单元对恢复图像进行处理后,进一步的提高其恢复效果,经过多个(比如k个)第一基本单元的迭代处理过后,最后一个第一基本单元确定的恢复图像效果将更加接近与待处理图像对应的标准图像,因此,可以将连接结构中最后一个第一基本单元确定的恢复图像确定为与待处理深度图像对应的目标图像。
继续参考图3,如图3所示,可以将图像K作为目标图像。
可以将确定的目标图像反馈给用户。例如,若模型设置在用户终端侧,则模型可以输出该目标图像。若模型设置在服务器侧,则服务提可以将目标图像发送给用户终端。
本实施例提供的方法用于利用模型恢复深度图像,该方法由设置有本实施例提供的方法的设备执行,该设备通常以硬件和/或软件的方式来实现。
本实施例提供的深度图像超分辨率方法,模型包括多个第一基本单元;多个第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;方法包括:将待处理深度图像输入模型链式结构中的第一个第一基本单元,以使第一基本单元确定一恢复图像;基于模型中的链式结构,将恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于模型的链式结构,将恢复图像输入下一个第一基本单元的步骤;将链式结构中最后一个第一基本单元确定的恢复图像确定为与待处理深度图像对应的目标图像。本实施例提供的深度图像超分辨率方法,通过设置多个第一基本单元,且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像,能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息,进而通过多次迭代,使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。
图4为本申请另一示例性实施例示出的深度图像超分辨率方法的流程图。
本实施例提供的方法中,利用的模型包括多个第一基本单元;多个第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据。
如图4所示,本申请提供的深度图像超分辨率方法,包括:
步骤401,将待处理深度图像输入模型链式结构中的第一个第一基本单元。
步骤401与步骤201中将待处理深度图像输入第一基本单元的方式类似,不再赘述。
步骤402,第一基本单元提取输入的待处理深度图像包括的第一图像特征、第二图像特征,将第一图像特征映射为高分辨率特征、将第二图像特征映射为低分辨率特征,根据高分辨率特征确定待处理深度图像对应的高频信息、根据低分辨率特征确定输入的图像对应的低频信息,将高频信息、低频信息与输入的待处理深度图像进行累加得到恢复图像。
其中,当第一基本单元对输入的图像进行处理时,其输出的图像为恢复图像。
将待处理图像输入第一基本单元之后,第一基本单元可以基于内部结构、参数提取待处理图像包括的图像特征。具体可以提取其中的第一图像特征和第二图像特征。第一图像特征是用于表现图像中高频信息的特征,第二图像特征适用于表现图像中低频信息的特征。通过训练,能够使模型提取需要的特征。
例如,在第一基本单元中设置有第一特征提取模块,其中包括多个卷积层,可以利用这些卷积层提取待处理图像的第一图像特征。在第一基本单元中设置有第二特征提取模块,其中包括多个卷积层,可以利用这些卷积层提取待处理图像的第二图像特征。具体使用的提取参数可以通过学习、训练得到。
第一基本单元中还可以包括映射模块,第一特征提取模块、第二特征提取模块可以将提取的第一图像特征和第二图像特征分别发送给映射模块,使得映射模块能够基于预先学习到的映射关系,将第一图像特征、第二图像特征分别映射为第一高分辨率特征、第二高分辨率特征。具体的,通过学习,第一基本单元中的映射模块能够学习到低分辨率特征与高分辨率特征之间的映射关系,因此,映射模块可以将输入的图像特征映射到高分辨空间,得到高分辨率特征。
第一基本单元中还可以包括图像重建模块,映射模块可以将映射得到的第一高分辨率特征、第二高分辨率特征发送给图像重建模块,使得图像重建模块基于第一高分辨率特征、第二高分辨率特征确定与输入的图像对应的恢复图像。
具体的,图像重建模块可以根据第一高分辨率特征确定高频信息,该高频信息即为输入第一基本单元的图像中包括的高频信息,例如,是待处理深度图像中包括的高频信息。图像重建模块可以根据第二高分辨率特征确定低频信息,该低频信息即为输入第一基本单元的图像中包括的低频信息,例如,是待处理深度图像中包括的低频信息。
高频信息是指在深度图像中,相邻像素点像素值相差较大的区域信息。低频信息是指,若一个区域内相邻像素的像素值相差较小,则该区域的信息是低频信息。在深度图像中,若一区域中相邻像素点像素值相差较大,则可以认为该区域可能包括物体边界,因此,通过提取高频信息能够获知图像中物体的边界信息。若相邻位置像素值相差较小,则可以认为是一物体的平面,因此,通过提取低频信息能够获知图像中物体的表面信息。
进一步的,在图像重建模块中可以设置多个第一卷积层,通过多个第一卷积层对第一高分辨率特征进行卷积处理得到卷积结果,再根据卷积结果确定输入恢复图像对应的高频信息。例如,可以将最后一个卷积层输出的结果作为高频信息。
与之类似的,在图像重建模块中可以设置多个第二卷积层,通过多个第二卷积层对第二高分辨率特征进行卷积处理得到卷积结果,再根据卷积结果确定输入恢复图像对应的低频信息。例如,可以将最后一个卷积层输出的结果作为低频信息。
其中,第一卷积层与第二卷积层可以是相同的卷积层,也可以是不同的卷积层。
实际应用时,在上述第一卷积层和/或第二卷积层中可以设置多个通道,不同的通道用于提取不同类型的特征数据。每个通道可以对应与一权重值,可以将该通道确定的结果与权重值相乘,得到修正后的结果。权重值可以通过训练得到。
例如,若不设置权重值,则可以直接将各个通道确定的结果相加得到卷积结果。而设置了权重值之后,通过调整权重值能够改变不同类型特征数据对卷积结果的影响程度。在实际应用时,通过训练得到的各个通道的权重值,能够增大包含信息较多的通道的权重,降低包含信息较少的通道的权重。
其中,图像重建模块可以将确定的高频信息、低频信息与输入的图像进行累加得到输出图像。例如,将确定的高频信息、低频信息与待处理图像进行像素级累加,得到一个恢复图像。比如,高频信息中坐标为(X,Y)的点的数据为m1,低频信息中坐标为(X,Y)的点的数据为m2,待处理图像中坐标为(X,Y)的点的数据为n,则可以将m1、m2与n的和作为输出图像中坐标为(X,Y)的点对应的数据。
步骤403,基于模型的链式结构,将恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像。
具体的,将步骤402确定的恢复图像可以输入到下一个第一基本单元中,以使下一个第一基本单元输出另一个恢复图像。
下一个基本单元对输入的恢复图像的处理过程如下:
提取输入的恢复图像包括的第一图像特征、第二图像特征;
将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的恢复图像对应的高频信息、根据第二高分辨率特征确定输入的恢复图像对应的低频信息;
将所述高频信息、所述低频信息与输入的恢复图像进行累加得到输出的恢复图像。
具体的实现方式与步骤402中所述类似,不再赘述。
步骤404,将链式结构中最后一个第一基本单元确定的恢复图像确定为与待处理深度图像对应的目标图像。
步骤404与步骤203的实现方式类似,不再赘述。
本实施例还提供一种用于恢复深度图像的模型训练方法,通过该方法训练得到的模型可以应用在如图2、4所示的实施例中,进而通过该模型对一待处理深度图像进行处理,得到与其对应的目标图像。
其中,可以预先搭建模型,模型包括多个第一基本单元;多个第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据。该模型的详细结构可以参考图1。
图5为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图。
如图5所示,本实施例提供的用于深度图像超分辨率的模型的训练方法包括:
步骤501,将训练图像输入模型链式结构中的第一个第一基本单元,以使第一基本单元确定与训练图像对应的一恢复图像。
进一步的,执行本实施例提供的方法电子设备可以是计算机。
实际应用时,可以预先准备训练数据,并通过训练数据对模型进行训练。例如,可以预先采集分辨率较高的深度图像,可以利用非线性方式对高分辨率深度图像进行处理,得到对应的低分辨率深度图像,即可以形成高分辨率-低分辨率的深度图像对。
其中,可以对低分辨率深度图像进行插值上采样处理,得到与原始的高分辨率深度图像分辨率一致的训练图像,可以将该原始的高分辨率深度图像作为标准图像,从而形成训练图像-标准图像对。例如,预先采集一高分辨率深度图像S,可以对其进行处理得到对应的低分辨率Q,再对Q进行处理得到训练图像O,最终,可以利用S-O的图像对对模型进行训练。
在对模型进行训练时,可以将该训练图像输入模型中,以使模型输出与其对应的目标图像。该目标图像即为模型基于当前的参数,对训练图像进行处理得到的高分辨率图像。在模型初始训练阶段,可能会由于其学习效果还不好,输出的目标图像的分辨率恢复效果可能不满足需求,此时,可以通过优化模型参数,使得模型输出的目标图像与需求的效果越来越相近。
实际应用时,具体可以将训练图像输入模型中的一个第一基本单元。该第一基本单元是指在依次连接的第一基本单元中,位于起始位置处的第一基本单元。
其中,第一基本单元能够对训练图像进行处理,确定一恢复图像。
第一基本单元能够提取输入图像的第一图像特征,并根据模型中当前的映射参数将第一图像特征映射到高分辨率空间,得到高分辨率特征,第一基本单元可以根据高分辨率特征确定高频信息。第一基本单元还能够提取输入图像的第二图像特征,并根据当前映射参数将第二图像特征映射到高分辨率空间,得到低分辨率特征,第一基本单元可以根据低分辨率特征确定低频信息。本实施例提供的第一基本单元中,用于提取第一图像特征、第二图像特征的参数可以不同。
高频信息是指深度图像中,若一个区域内相邻像素的像素值相差较大,则该区域的信息是高频信息。低频信息是指,若一个区域内相邻像素的像素值相差较小,则该区域的信息是低频信息。在深度图像中,若相邻位置像素值相差较大,则可以说明该区域为物体边界区域。若相邻位置像素值相差较小,则可以认为是一物体的平面。因此,通过提取高频信息,能够得到图像中的物体边界信息以及物体本身的信息。可以将提取的高频信息、低频信息叠加在输入图像中,进而得到输出的恢复图像。例如,将高频信息、低频信息叠加在图像A中,得到恢复图像B。
步骤502,基于模型的链式结构,将恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像。
在下一个基本单元确定出恢复图像后,继续执行本步骤,直到模型链式结构中位于尾部的最后一个第一基本单元确定恢复图像为止。
其中,本实施例提供的模型结构中,多个第一基本单元依次连接,且前一个第一基本单元的输出数据作为下一个第一基本单元的输入数据。因此,位于起始位置的第一基本单元对输入的训练图像进行处理后,得到的恢复图像可以作为下一个第一基本单元的输入数据。
具体的,各个第一基本单元之间的网络结构可以是相同的,但是其中的参数可以不同。这些参数可以在学习过程中不断进行优化。通过设置多个第一基本单元,且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像,能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息,进而通过多次迭代,使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。该标准图像是指待处理图像对应的标准高分辨率图像,也就是期望得到的图像。
步骤503,通过链式结构中的最后一个第一基本单元确定与训练数据对应的目标图像。
本实施例提供的模型中,第一基本单元是依次连接的,位于起始位置的第一基本单元能够根据输入的待处理深度图像确定一恢复图像,下一个第一基本单元继续根据该恢复图像进行处理,再次得到一恢复图像,各个第一基本单元通过多次迭代能够得到多个恢复图像。
假设第一个第一基本单元确定的恢复图像效果不佳,那么经过下一个基本单元对该恢复图像进行处理后,由于输入该第一基本单元的恢复图像中包括用于提高待处理图像分辨率的信息,能够使得该第一基本单元对恢复图像进行处理后,进一步的提高其恢复效果,经过多个(比如k个)第一基本单元的迭代处理过后,最后一个第一基本单元确定的恢复图像效果将更加接近与待处理图像对应的标准图像,因此,可以将连接结构中最后一个第一基本单元确定的恢复图像确定为与待处理深度图像对应的目标图像。
步骤504,比对训练图像对应的标准图像与最后一个第一基本单元确定的标准图像,和/或比对训练图像对应的标准图像与多个第一基本单元确定的恢复图像,并根据比对结果修正第一基本单元中的参数。
其中,目标图像是模型基于当前的参数进行确定的,其与预期得到的图像可能不相符,因此,可以比对目标图像与训练图像对应的标准图像,并根据比对结果对模型中的参数进行优化。
具体的,由于本实施例提供的方法中,设置有多个第一基本单元,且这些基本单元都能够输出与训练图像对应的高分辨率图像,因此,可以比对各个第一基本单元输出的恢复图像与标准图像,从而直接对各个第一基本单元中的参数进行调整;还可以比对最后一个第一基本单元确定的目标图像与标准图像,从而通过回传的方式调整各个第一基本单元的参数。
进一步的,通过对模型中的参数逐步优化,能够使模型输出的目标图像与需求的效果越来越接近。例如,当模型输出的目标图像与标准图像之间相似度高于一阈值后,可以认为当前的模型满足使用需求,可以停止训练。
本实施例提供的方法用于对恢复深度图像的模型进行训练,该方法由设置有本实施例提供的方法的设备执行,该设备通常以硬件和/或软件的方式来实现。
本实施例提供的用于深度图像超分辨率的模型的训练方法,预先搭建模型,模型包括多个第一基本单元;多个第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;方法包括:将训练图像输入模型链式结构中的第一个第一基本单元,以使第一基本单元确定与训练图像对应的一恢复图像;基于模型的链式结构,将恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于模型的链式结构,将恢复图像输入下一个第一基本单元的步骤;通过链式结构中的最后一个第一基本单元确定与训练数据对应的目标图像;比对训练图像对应的标准图像与最后一个第一基本单元确定的标准图像,和/或比对训练图像对应的标准图像与多个第一基本单元确定的恢复图像,并根据比对结果修正第一基本单元中的参数。通过本实施例提供的用于深度图像超分辨率的模型的训练方法得到的模型,其中设置多个第一基本单元,且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像,能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息,进而通过多次迭代,使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。
图6为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练方法的流程图。
通过该方法训练得到的模型可以应用在如图2、4所示的实施例中,进而通过该模型对一待处理深度图像进行处理,得到与其对应的目标图像。
其中,可以预先搭建模型,模型包括多个第一基本单元;多个第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据。多个第一基本单元的输出数据作为第二基本单元的输入数据。该模型的详细结构可以参考图1。
本实施例提供的方法在对模型进行训练之前,还可以预先准备训练数据。训练数据包括标准图像与训练图像的图像对。
可以预先采集分辨率较高的深度图像,并将其作为标准图像。再对标准图像进行处理,得到低分辨率图像,例如,可以采用非线性方式对标准图像进行处理,得到对应的低分辨率图像。
在对模型进行训练时,可以对低分辨率图像进行插值上采样处理得到训练图像,得到的训练图像与对应的标准图像分辨率相同。在对模型进行训练时,将训练图像输入模型,以使模型对其进行分辨率恢复的处理,输出一目标图像,再使用该目标图像与标准图像进行比对,从而优化模型中的各个参数。
如图6所示,本实施例提供的用于深度图像超分辨率的模型的训练方法包括:
步骤601,将训练图像输入模型链式结构中的第一个第一基本单元。
步骤601与步骤501中向第一基本单元输入训练图像的方式类似,不再赘述。
步骤602,第一基本单元根据当前提取参数提取输入的图像包括的第一图像特征、第二图像特征;根据当前映射关系将第一图像特征映射为第一高分辨率特征、将第二图像特征映射为第二高分辨率特征;根据第一高分辨率特征确定输入的图像对应的高频信息,根据第二高分辨率特征确定输入的图像对应的低频信息;将高频信息、低频信息与输入的图像进行累加得到输出图像。
其中,将训练图像输入第一基本单元之后,第一基本单元可以基于内部结构、当前提取参数提取训练图像包括的图像特征。具体可以提取其中的第一图像特征和第二图像特征。第一图像特征是用于表现图像中高频信息的特征,第二图像特征适用于表现图像中低频信息的特征。通过训练,能够使模型提取需要的特征。
例如,在第一基本单元中设置有第一特征提取模块,其中包括多个卷积层,可以利用这些卷积层提取训练图像的第一图像特征。在第一基本单元中设置有第二特征提取模块,其中包括多个卷积层,可以利用这些卷积层提取训练图像的第二图像特征。具体使用的提取参数可以通过学习、训练得到。
第一基本单元中还可以包括映射模块,第一特征提取模块、第二特征提取模块可以将提取的第一图像特征和第二图像特征分别发送给映射模块,使得映射模块能够基于当前的映射关系,将第一图像特征、第二图像特征分别映射为第一高分辨率特征、第二高分辨率特征。具体的,映射模块中设置有低分辨率特征与高分辨率特征之间的映射关系,通过学习,可以不断修正该映射关系,使其越来越准确。当映射模块接收到图像特征后,可以将其作为低分辨率图像的特征,并将其映射到高分辨空间,得到高分辨率特征。
第一基本单元中还可以包括图像重建模块,映射模块可以将映射得到的第一高分辨率特征、第二高分辨率特征发送给图像重建模块,使得图像重建模块基于第一高分辨率特征、第二高分辨率特征确定与输入的训练图像对应的恢复图像。
具体的,图像重建模块可以根据第一高分辨率特征确定高频信息,该高频信息即为输入第一基本单元的图像中包括的高频信息,例如,是训练图像中包括的高频信息。图像重建模块可以根据第二高分辨率特征确定低频信息,该低频信息即为输入第一基本单元的图像中包括的低频信息,例如,是训练图像中包括的低频信息。
高频信息是指在深度图像中,相邻像素点像素值相差较大的区域信息。低频信息是指,若一个区域内相邻像素的像素值相差较小,则该区域的信息是低频信息。在深度图像中,若一区域中相邻像素点像素值相差较大,则可以认为该区域可能包括物体边界,因此,通过提取高频信息能够获知图像中物体的边界信息。若相邻位置像素值相差较小,则可以认为是一物体的平面,因此,通过提取低频信息能够获知图像中物体的表面信息。
进一步的,在图像重建模块中可以设置多个第一卷积层,通过多个第一卷积层对第一高分辨率特征进行卷积处理得到卷积结果,再根据卷积结果确定输入恢复图像对应的高频信息。例如,可以将最后一个卷积层输出的结果作为高频信息。
与之类似的,在图像重建模块中可以设置多个第二卷积层,通过多个第二卷积层对第二高分辨率特征进行卷积处理得到卷积结果,再根据卷积结果确定输入恢复图像对应的低频信息。例如,可以将最后一个卷积层输出的结果作为低频信息。
其中,第一卷积层与第二卷积层可以是相同的卷积层,也可以是不同的卷积层。
实际应用时,在上述第一卷积层和/或第二卷积层中可以设置多个通道,不同的通道用于提取不同类型的特征数据。每个通道可以对应与一权重值,可以将该通道确定的结果与权重值相乘,得到修正后的结果。权重值可以通过训练得到。
例如,若不设置权重值,则可以直接将各个通道确定的结果相加得到卷积结果。而设置了权重值之后,通过调整权重值能够改变不同类型特征数据对卷积结果的影响程度。在实际应用时,通过训练得到的各个通道的权重值,能够增大包含信息较多的通道的权重,降低包含信息较少的通道的权重。
模型通过学习,可以修正权重参数,即各个通道的权重值,从而能够将包含信息较多的权重通道的权重值较大,包含信息较少的通道的权重值较小。
其中,图像重建模块可以将确定的高频信息、低频信息与输入的图像进行累加得到输出图像。例如,将确定的高频信息、低频信息与训练图像进行像素级累加,得到一个恢复图像。比如,高频信息中坐标为(X,Y)的点的数据为m1,低频信息中坐标为(X,Y)的点的数据为m2,训练图像中坐标为(X,Y)的点的数据为n,则可以将m1、m2与n的和作为输出图像中坐标为(X,Y)的点对应的数据。
步骤603,基于模型的链式结构,将恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像。
具体的,将步骤602确定的恢复图像可以输入到下一个第一基本单元中,以使下一个第一基本单元输出另一个恢复图像。
下一个基本单元对输入的恢复图像的处理过程如下:
根据当前提取参数提取输入的恢复图像包括的第一图像特征、第二图像特征;
根据当前映射关系将第一图像特征映射为第一高分辨率特征、将第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的恢复图像对应的高频信息,根据第二高分辨率特征确定输入的恢复图像对应的低频信息;
将高频信息、低频信息与输入的恢复图像进行累加得到输出图像。
具体的实现方式与步骤602中所述类似,不再赘述。
当另一个第一基本单元确定出恢复图像之后,可以将其再次输入下一个第一基本单元中,即重复执行本步骤,直到链式连接的多个第一基本单元中,最后一个第一基本单元也确定了恢复图像为止。
步骤604,通过链式结构中的最后一个第一基本单元确定与训练数据对应的目标图像。
步骤604与步骤503的实现方式类似,不再赘述。
步骤605,比对训练图像对应的标准图像与最后一个第一基本单元确定的标准图像,和/或比对训练图像对应的标准图像与多个第一基本单元确定的恢复图像,并根据比对结果修正第一基本单元中的当前提取参数和/或当前映射关系。
步骤605与步骤504的实现方式类似。
其中,模型可以基于内部当前的参数对输入的训练图像进行处理,得到一目标图像,由于模型没有训练完毕,其输出的目标图像与标准图像可能存在一定的偏差,因此,可以比对模型输出的图像与标准图像,并根据比对结果对模型进行优化,调整内部参数。
此外,由于本实施例提供的模型结构中,每个第一基本单元都能够输出与训练图像对应的恢复图像,即第一基本单元根据当前参数确定的高分辨率图像。因此,在一种实施方式中,可以比对各个第一基本单元输出的恢复图像与标准图像,直接修正各个第一基本单元中的参数。在另一种实施方式中,可以比对最后一个第一基本单元输出的目标图像与标准图像,从而基于比对结果进行数据回传,修正各个第一基本单元中的参数。这两种方式可以同时存在。
具体的,具体调整的参数可以包括以下任一种参数:
当前提取参数、当前映射关系。
可选的,若在图像重建模块中设置有各个通道对应的权重值,则在调整参数时,还可以调整该权重值。
各个第一基本单元都可以包括上述参数,具体的参数的值可以不同。通过学习,可以优化上述参数,使得模型输出的目标图像与标准图像越来越相近。
图7为本申请一示例性实施例示出的深度图像超分辨率装置的结构图。
如图7所示,模型包括多个第一基本单元71;多个所述第一基本单元71依次连接形成链式结构,一个第一基本单元71的输出数据作为与其连接的下一个第一基本单元71的输入数据;
所述装置包括:
第一输入模块72,用于将待处理深度图像输入模型链式结构中的第一个第一基本单元71,以使所述第一基本单元71确定一恢复图像;
迭代模块73,用于基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元71,以使下一个第一基本单元71确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元71的步骤;
确定模块74,用于将所述链式结构中最后一个第一基本单元71确定的恢复图像确定为与所述待处理深度图像对应的目标图像。
本实施例提供的深度图像超分辨率装置的具体原理和实现方式以及效果均与图2所示的实施例类似,此处不再赘述。
在上述深度图像超分辨率装置中,可选的,所述第一基本单元71对输入的图像的处理过程包括:
提取输入的图像包括的第一图像特征、第二图像特征;
将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的图像对应的高频信息、根据第二高分辨率特征确定输入的图像对应的低频信息;
将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像。
可选的,所述第一基本单元71具体用于:
通过多个第一卷积层对所述第一高分辨率特征进行卷积处理得到第一卷积结果,根据所述第一卷积结果确定所述输入恢复图像对应的高频信息;
通过多个第二卷积层对所述低分辨率特征进行卷积处理得到第二卷积结果,根据所述第二卷积结果确定所述输入恢复图像对应的低频信息。
可选的,所述第一基本单元71具体用于:
每个卷积层中包括多个通道,每个通道对应一权重值;所述权重值是预先训练得到的。
可选的,所述第一基本单元71具体用于:
将所述高频信息、所述低频信息与输入的图像进行像素级累加,得到所述输出恢复图像。
本实施例提供的深度图像超分辨率装置的具体原理和实现方式以及效果均与图4所示的实施例类似,此处不再赘述。
图8为本申请一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图。
如图8所示,包括:
搭建模块80,用于预先搭建模型,所述模型包括多个第一基本单元81;多个所述第一基本单元81依次连接形成链式结构,一个第一基本单元81的输出数据作为与其连接的下一个第一基本单元81的输入数据;
第一输入模块82,用于将训练图像输入模型链式结构中的第一个第一基本单元81,以使所述第一基本单元81确定与所述训练图像对应的一恢复图像;
迭代模块83,用于基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元81,以使下一个第一基本单元81确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元81的步骤;
确定模块84,用于通过所述链式结构中的最后一个第一基本单元81确定与所述训练数据对应的目标图像;
修正模块85,用于比对所述训练图像对应的标准图像与最后一个所述第一基本单元81确定的标准图像,和/或比对所述训练图像对应的标准图像与多个所述第一基本单元81确定的恢复图像,并根据比对结果修正所述第一基本单元81中的参数。
本实施例提供的用于深度图像超分辨率的模型的训练装置的具体原理和实现方式以及效果均与图5所示的实施例类似,此处不再赘述。
图9为本申请另一示例性实施例示出的用于深度图像超分辨率的模型的训练装置的结构图。
如图9所示,在上述实施例基础上,本实施例提供的用于深度图像超分辨率的模型的训练装置,可选的,所述第一基本单元81对输入的图像的处理过程包括:
根据当前提取参数提取输入的图像包括的第一图像特征、第二图像特征;
根据当前映射关系将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的图像对应的高频信息,根据第二高分辨率特征确定输入的图像对应的低频信息;
将所述高频信息、所述低频信息与所述输入的图像进行累加得到输出图像。
可选的,所述所述第一基本单元81具体用于:
通过多个第一卷积层对所述第一高分辨率特征进行卷积处理得到第一卷积结果,根据所述第一卷积结果确定所述输入的图像对应的高频信息;
通过多个第二卷积层对所述第二高分辨率特征进行卷积处理得到第二卷积结果,根据所述第二卷积结果确定所述输入的图像对应的低频信息。
可选的,每个卷积层中包括多个通道,每个通道对应一当前权重值。
可选的,所述第一基本单元81具体用于:
将所述高频信息、所述低频信息与输入的图像进行像素级累加,得到所述输出图像。
可选的,所述修正模块85具体用于:
修正所述第一基本单元中的当前提取参数和/或当前映射关系。
可选的,所述装置还包括预备模块86,用于:
根据所述标准图像确定对应的低分辨率图像,并根据所述低分辨率图像确定所述训练图像。
可选的,所述预备模块86具体用于:
对所述低分辨率图像进行插值上采样处理得到所述训练图像,所述训练图像与所述低分辨率图像对应的标准图像的分辨率相同。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图10所示,是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示,该电子设备包括:一个或多个处理器1001、存储器1002,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GU I的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的深度图像超分辨率方法或用于深度图像超分辨率的模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的深度图像超分辨率方法或用于深度图像超分辨率的模型的训练方法。
存储器1002作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的深度图像超分辨率方法或用于深度图像超分辨率的模型的训练方法对应的程序指令/模块(例如,附图7所示的第一输入模块72、迭代模块73和确定模块74,再例如,附图8所示出的搭建模块80、第一输入模块82、迭代模块83、确定模块84和修正模块85)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的深度图像超分辨率方法或用于深度图像超分辨率的模型的训练方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1002可选包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括:输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接,图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用AS I C(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (17)
1.一种深度图像超分辨率方法,其特征在于,模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
所述方法包括:
将待处理深度图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定一恢复图像;
基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
将所述链式结构中最后一个第一基本单元确定的恢复图像确定为与所述待处理深度图像对应的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述第一基本单元对输入的图像的处理过程包括:
提取输入的图像包括的第一图像特征、第二图像特征;
将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的图像对应的高频信息、根据第二高分辨率特征确定输入的图像对应的低频信息;
将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像。
3.根据权利要求2所述的方法,其特征在于,
所述根据高分辨率特征确定输入的图像对应的高频信息,包括:
通过多个第一卷积层对所述第一高分辨率特征进行卷积处理得到第一卷积结果,根据所述第一卷积结果确定所述输入恢复图像对应的高频信息;
通过多个第二卷积层对所述低分辨率特征进行卷积处理得到第二卷积结果,根据所述第二卷积结果确定所述输入恢复图像对应的低频信息。
4.根据权利要求3所述的方法,其特征在于,每个卷积层中包括多个通道,每个通道对应一权重值;所述权重值是预先训练得到的。
5.根据权利要求2所述的方法,其特征在于,所述将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像,包括:
将所述高频信息、所述低频信息与输入的图像进行像素级累加,得到所述输出恢复图像。
6.一种用于深度图像超分辨率的模型的训练方法,其特征在于,预先搭建模型,所述模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
所述方法包括:
将训练图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定与所述训练图像对应的一恢复图像;
基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
通过所述链式结构中的最后一个第一基本单元确定与所述训练数据对应的目标图像;
比对所述训练图像对应的标准图像与最后一个所述第一基本单元确定的标准图像,和/或比对所述训练图像对应的标准图像与多个所述第一基本单元确定的恢复图像,并根据比对结果修正所述第一基本单元中的参数。
7.根据权利要求6所述的方法,其特征在于,所述第一基本单元对输入的图像的处理过程包括:
根据当前提取参数提取输入的图像包括的第一图像特征、第二图像特征;
根据当前映射关系将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征;
根据第一高分辨率特征确定输入的图像对应的高频信息,根据第二高分辨率特征确定输入的图像对应的低频信息;
将所述高频信息、所述低频信息与所述输入的图像进行累加得到输出图像。
8.根据权利要求7所述的方法,其特征在于,所述根据第一高分辨率特征确定输入的图像对应的高频信息,根据第二高分辨率特征确定输入的图像对应的低频信息,包括:
通过多个第一卷积层对所述第一高分辨率特征进行卷积处理得到第一卷积结果,根据所述第一卷积结果确定所述输入的图像对应的高频信息;
通过多个第二卷积层对所述第二高分辨率特征进行卷积处理得到第二卷积结果,根据所述第二卷积结果确定所述输入的图像对应的低频信息。
9.根据权利要求8所述的方法,其特征在于,每个卷积层中包括多个通道,每个通道对应一当前权重值。
10.根据权利要求7所述的方法,其特征在于,所述将所述高频信息、所述低频信息与所述输入的图像进行累加得到输出图像,包括:
将所述高频信息、所述低频信息与输入的图像进行像素级累加,得到所述输出图像。
11.根据权利要求7所述的方法,其特征在于,所述根据比对结果修正所述第一基本单元中的参数,包括:
修正所述第一基本单元中的当前提取参数和/或当前映射关系。
12.根据权利要求6-11任一项所述的方法,其特征在于,还包括:
根据所述标准图像确定对应的低分辨率图像,并根据所述低分辨率图像确定所述训练图像。
13.根据权利要求12所述的方法,其特征在于,所述根据所述低分辨率图像确定所述训练图像,包括:
对所述低分辨率图像进行插值上采样处理得到所述训练图像,所述训练图像与所述低分辨率图像对应的标准图像的分辨率相同。
14.一种深度图像超分辨率装置,其特征在于,模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
所述装置包括:
第一输入模块,用于将待处理深度图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定一恢复图像;
迭代模块,用于基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
确定模块,用于将所述链式结构中最后一个第一基本单元确定的恢复图像确定为与所述待处理深度图像对应的目标图像。
15.一种用于深度图像超分辨率的模型的训练装置,其特征在于,包括:
搭建模块,用于预先搭建模型,所述模型包括多个第一基本单元;多个所述第一基本单元依次连接形成链式结构,一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据;
第一输入模块,用于将训练图像输入模型链式结构中的第一个第一基本单元,以使所述第一基本单元确定与所述训练图像对应的一恢复图像;
迭代模块,用于基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元,以使下一个第一基本单元确定一恢复图像,并继续执行基于所述模型的链式结构,将所述恢复图像输入下一个第一基本单元的步骤;
确定模块,用于通过所述链式结构中的最后一个第一基本单元确定与所述训练数据对应的目标图像;
修正模块,用于比对所述训练图像对应的标准图像与最后一个所述第一基本单元确定的标准图像,和/或比对所述训练图像对应的标准图像与多个所述第一基本单元确定的恢复图像,并根据比对结果修正所述第一基本单元中的参数。
16.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5或6-13中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5或6-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010076587.XA CN113160046B (zh) | 2020-01-23 | 2020-01-23 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010076587.XA CN113160046B (zh) | 2020-01-23 | 2020-01-23 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160046A true CN113160046A (zh) | 2021-07-23 |
CN113160046B CN113160046B (zh) | 2023-12-26 |
Family
ID=76881987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010076587.XA Active CN113160046B (zh) | 2020-01-23 | 2020-01-23 | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160046B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080239335A1 (en) * | 2007-04-02 | 2008-10-02 | Samsung Electronics Co., Ltd. | Encoding and decoding method for enhancing depth resolution of an image, and print system using the same |
CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
US20180293712A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using generative adversarial neural networks |
CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
CN110633735A (zh) * | 2019-08-23 | 2019-12-31 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
-
2020
- 2020-01-23 CN CN202010076587.XA patent/CN113160046B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080239335A1 (en) * | 2007-04-02 | 2008-10-02 | Samsung Electronics Co., Ltd. | Encoding and decoding method for enhancing depth resolution of an image, and print system using the same |
WO2018120329A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
US20180293712A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using generative adversarial neural networks |
CN107240066A (zh) * | 2017-04-28 | 2017-10-10 | 天津大学 | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 |
CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
CN107578377A (zh) * | 2017-08-31 | 2018-01-12 | 北京飞搜科技有限公司 | 一种基于深度学习的超分辨率图像重建方法及系统 |
CN110310227A (zh) * | 2019-06-27 | 2019-10-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
CN110633735A (zh) * | 2019-08-23 | 2019-12-31 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
包晓安等: "基于生成对抗网络的图像超分辨率方法", 浙江理工大学学报, pages 499 - 508 * |
宋希彬: "基于RGB-D信息的深度图像增强关键技术研究", 中国优秀博硕士学位论文全文数据库(博士), pages 59 - 66 * |
Also Published As
Publication number | Publication date |
---|---|
CN113160046B (zh) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111753961B (zh) | 模型训练方法和装置、预测方法和装置 | |
KR102463891B1 (ko) | 포지셔닝 방법, 포지셔닝 장치 및 전자 기기 | |
CN111524166B (zh) | 视频帧的处理方法和装置 | |
CN112541482B (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
CN111488925B (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
CN111598131B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111932464B (zh) | 超分辨率模型使用和训练方法、装置、设备及介质 | |
CN111539347B (zh) | 用于检测目标的方法和装置 | |
CN110675635B (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
CN111275827B (zh) | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 | |
CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
CN111709428A (zh) | 图像中关键点位置的识别方法、装置、电子设备及介质 | |
CN111815595A (zh) | 图像语义分割方法、装置、设备和可读存储介质 | |
CN111967297A (zh) | 图像的语义分割方法、装置、电子设备及介质 | |
CN111553840A (zh) | 图像超分辨的模型训练和处理方法、装置、设备和介质 | |
CN112529018A (zh) | 图像局部特征的训练方法、装置及存储介质 | |
CN112819874B (zh) | 深度信息处理方法、装置、设备、存储介质以及程序产品 | |
CN112150380B (zh) | 校正图像的方法、装置、电子设备和可读存储介质 | |
CN112508964B (zh) | 图像分割方法、装置、电子设备和存储介质 | |
CN112270760B (zh) | 一种定位方法、装置、电子设备及存储介质 | |
CN111488972B (zh) | 数据迁移方法、装置、电子设备和存储介质 | |
CN111833391B (zh) | 图像深度信息的估计方法及装置 | |
CN113160044B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 | |
CN113160045B (zh) | 模型训练方法、超分辨率方法、装置、电子设备及介质 | |
CN113160046B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |