CN116912148B - 图像增强方法、装置、计算机设备及计算机可读存储介质 - Google Patents
图像增强方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116912148B CN116912148B CN202311167569.2A CN202311167569A CN116912148B CN 116912148 B CN116912148 B CN 116912148B CN 202311167569 A CN202311167569 A CN 202311167569A CN 116912148 B CN116912148 B CN 116912148B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- level
- view angle
- degradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 148
- 230000003287 optical effect Effects 0.000 claims abstract description 135
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 238000006731 degradation reaction Methods 0.000 claims description 183
- 230000015556 catabolic process Effects 0.000 claims description 182
- 238000012545 processing Methods 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000002776 aggregation Effects 0.000 description 12
- 238000004220 aggregation Methods 0.000 description 12
- 230000007850 degeneration Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000005855 radiation Effects 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本申请涉及一种图像增强方法、装置、计算机设备及计算机可读存储介质。方法包括：获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；根据新视角图像和初始视角图像之间的差异确定第一光流信号；基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；根据目标融合特征进行图像重建，得到新视角下的目标图像。采用本申请，能够提高图像质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像增强方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着图像处理技术的发展，出现了新视角合成技术，通过对已有图像的分析和处理，获得额外的视角信息，从而合成一个全景或者新的视角。新视角合成技术的应用非常广泛，比如，在虚拟现实和增强现实中，用于提供更加真实的观感和交互体验。
传统的新视角合成技术中，在处理图像细节和纹理时，容易产生退化现象，如图像模糊、锯齿和失真等，导致新视角合成的图像质量不高。
发明内容
基于此，有必要针对上述技术问题，提供一种提高图像质量的图像增强方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够实现。
第一方面，本申请提供了一种图像增强方法，包括：
获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；
根据新视角图像和初始视角图像之间的差异确定第一光流信号；
基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；
根据目标融合特征进行图像重建，得到新视角下的目标图像。
第二方面，本申请提供了一种图像增强装置，包括：
获取模块，用于获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；
确定模块，用于根据新视角图像和初始视角图像之间的差异确定第一光流信号；
融合模块，用于基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；
重建模块，用于根据目标融合特征进行图像重建，得到新视角下的目标图像。
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
上述图像增强方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；根据新视角图像和初始视角图像之间的差异确定第一光流信号，第一光流信号反映了由初始视角图像到新视角图像的像素运动情况，第一光流信号能够在新视角特征和初始视角特征的融合过程中提供准确的监督方向；进而基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；根据目标融合特征进行图像重建，能够得到相较于新视角图像质量更高的新视角下的目标图像，提高了图像质量。
附图说明
图1为本申请实施例提供的一种图像增强方法的流程示意图；
图2为本申请实施例提供的一种多视角图像聚合器的结构示意图；
图3为本申请实施例提供的一种特征聚合单元的结构示意图；
图4为本申请实施例提供的一种新视角图像、基于第一损失训练的多视角图像聚合器输出的增强图像、基于第二损失训练的多视角图像聚合器输出的增强图像以及标签图像；
图5为本申请实施例提供的一种基于图像相似块的加权监督损失函数的示意图；
图6为本申请实施例提供的一种双阶段退化模拟器的示意图；
图7为本申请实施例提供的一种图像增强装置的结构框图；
图8为本申请实施例提供的一种计算机设备的内部结构图；
图9为本申请实施例提供的另一种计算机设备的内部结构图；
图10为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本申请实施例提供了一种图像增强方法，以该方法应用于计算机设备为例进行说明。该方法包括以下步骤：
S102、获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像。
其中，新视角图像中存在图像退化情况。图像退化情况是指在新视角图像获取的过程中，由于各种因素的影响而使得图像质量降低的现象。初始视角图像是已知的视角图像。
在一些实施例中，初始视角图像可以为至少两个。新视角图像是根据至少两个初始视角图像进行新视角合成得到的。
在一些实施例中，计算机设备可以将初始视角图像输入至神经辐射场模型，获取神经辐射场模型输出的新视角图像。
在一些实施例中，计算机设备可以通过使用三维建模方法，从多个初始视角图像中重建出场景的三维模型。然后，可以根据需要选择一个或多个视角进行相机参数估计，从而合成新视角图像。
在一些实施例中，计算机设备可以通过将初始视角图像投影到一个平面上，然后根据新的视角从该平面上重新渲染图像，得到新视角图像。
在一些实施例中，计算机设备可以通过至少两个初始视角图像，计算出场景的深度信息，并利用深度信息来合成新视角图像。
在一些实施例中，计算机设备可以包括终端或服务器中的至少一种。可以理解，本申请实施例提供的方法可以应用于终端或服务器，也可以应用于包括终端和服务器的系统，通过终端和服务器的交互实现。
其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
S104、根据新视角图像和初始视角图像之间的差异确定第一光流信号。
其中，第一光流信号用于表征在新视角图像和初始视角图像之间像素点的运动情况。
在一些实施例中，计算机设备可以使用光流算法通过分析像素点在初始视角图像和新视角图像间的差异，推理出像素点的运动情况，得到第一光流信号。
在一些实施例中，计算机设备可以使用基于亮度差异的光流算法，通过分析像素点在初始视角图像和新视角图像间的差异，得到第一光流信号。
在一些实施例中，计算机设备可以使用基于特征点的光流算法，通过提取初始视角图像和新视角图像中的特征点，并通过特征点在初始视角图像和新视角图像间的位置偏移，得到第一光流信号。
在一些实施例中，第一光流信号用于表征在新视角图像和初始视角图像之间像素点的运动方向和速度。
在一些实施例中，初始视角图像为多个。计算机设备可以根据每个初始视角图像和新视角图像之间的差异，确定该初始视角图像对应的第一光流信号。
S106、基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征。
在一些实施例中，计算机设备可以对新视角图像进行编码，得到新视角特征。对初始视角图像进行编码，得到初始视角特征。
在一些实施例中，计算机设备可以将初始视角图像和新视角图像输入至多视角图像聚合器中，通过多视角图像聚合器中的第一编码器对初始视角图像进行编码，得到初始视角特征，通过多视角图像聚合器中的第二编码器对新视角图像进行编码，得到新视角特征。
在一些实施例中，计算机设备可以对新视角图像进行多层级编码，将最后一层级的新视角编码信息作为新视角特征。
在一些实施例中，计算机设备可以对初始视角图像进行多层级编码，得到各层级的初始视角特征。
在一些实施例中，不同层级对应不同的特征尺度。可以理解，对图像进行多层级编码能够得到不同尺度的特征。其中，第一层级对应的特征尺度最大，而最后一层级对应的特征尺度最小。随着层级的增高，对应的特征尺度会逐渐变小，较高层级编码得到了较小尺度的特征，能够捕捉到更为细微的细节信息。
在一些实施例中，计算机设备可以在新视角特征和初始视角特征的融合过程中，基于第一光流信号将初始视角特征与新视角特征对齐，以得到目标融合特征。
在一些实施例中，计算机设备可以将第一光流信号、新视角特征和初始视角特征拼接后进行卷积处理，以得到目标融合特征。
在一些实施例中，计算机设备可以基于第一光流信号，将新视角特征、每个初始视角图像对应的第一光流信息和该初始图像的初始视角特征进行初步融合，得到每个初始视角图像对应的初步融合特征。对各初始视角图像分别对应的初步融合特征进行进阶融合，得到目标融合特征。
在一些实施例中，计算机设备可以基于第一光流信号将新视角特征与最后一层级的初始视角特征融合后得到最后一层级的融合特征。从最后一层级的前一层级起，依次将当前层级的目标融合特征和上一层级的初始视角特征进行融合，以得到各个层级的目标融合特征。
S108、根据目标融合特征进行图像重建，得到新视角下的目标图像。
在一些实施例中，计算机设备可以对目标融合特征进行上采样处理，以得到新视角下的目标图像。
在一些实施例中，计算机设备可以对最后一层级的目标融合特征进行上采样处理，得到最后一层级的重建结果。之后，从最后一层级的前一层起，依次对每一层级的目标融合特征重建后与下一层级的重建结果进行融合，以得到各个层级的重建结果。根据各个层级的重建结果确定新视角下的目标图像。
在一些实施例中，计算机设备可以从最后一层级的前一层起，依次对下一层级的重建结果进行上采样，并对每一层级的目标融合特征重建后与上采样后的下一层级的重建结果融合，以得到各个层级的重建结果。
可见，在本申请实施例中，获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；根据新视角图像和初始视角图像之间的差异确定第一光流信号，第一光流信号反映了由初始视角图像到新视角图像的像素运动情况，第一光流信号能够在新视角特征和初始视角特征的融合过程中提供准确的监督方向；进而基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；根据目标融合特征进行图像重建，能够得到相较于新视角图像质量更高的新视角下的目标图像，提高了图像质量。
在一些实施例中，方法还包括：对初始视角图像进行多层级特征提取，得到多层级的初始视角特征；基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征，包括：基于第一光流信号对新视角特征和多层级的初始视角特征中最后一层级的初始视角特征进行融合，得到最后一层级的目标融合特征；将最后一层级作为当前层级，基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征；将上一层级作为新的当前层级，返回基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合的步骤，直至得到各个层级的目标融合特征。
在一些实施例中，计算机设备可以通过第一编码器对初始视角图像进行多层级的特征提取，得到多层级的初始视角特征。通过第二编码器对新视角图像进行多层级的特征提取，得到最后一层级的新视角特征。
在一些实施例中，第一编码器是金字塔形式的，第一编码器是第一金字塔编码器。第二编码器是金字塔形式的，第二编码器是第二金字塔编码器。
在一些实施例中，多视角图像聚合器中包括多层级分别对应的特征聚合单元。计算机设备可以通过最后一层级对应的特征聚合单元基于第一光流信号对新视角特征和多层级的初始视角特征中最后一层级的初始视角特征进行融合，得到最后一层级的目标融合特征。将最后一层级作为当前层级，通过当前层级对应的特征聚合单元基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征。
在一些实施例中，计算机设备可以将第一光流信号、新视角特征和最后一层级的初始视角特征拼接后进行卷积处理，得到最后一层级的目标融合特征。将第一光流信号、当前层级的目标融合特征和上一层级的初始视角特征拼接后进行卷积处理得到当前层级的目标融合特征。
可见，在本实施例中，将当前层级的目标融合特征作为上一层级的对齐目标，通过基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征，并非将当前层级的新视角特征作为上一层级的对齐目标，同层级的目标融合特征相较于新视角特征来说，提供了更多的特征信息，使得上一层级的目标融合特征更加丰富，后续基于各层级的目标融合特征能够重建出质量更好的目标图像。
在一些实施例中，根据目标融合特征进行图像重建，得到新视角下的目标图像，包括：根据最后一层级的目标融合特征进行图像重建，得到最后一层级的重建结果；将最后一层级作为当前层级，根据当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到上一层级的重建结果；将上一层级作为新的当前层级，返回根据当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到上一层级的重建结果的步骤，直至得到各个层级的重建结果；根据各个层级的重建结果确定新视角下的目标图像。
在一些实施例中，计算机设备可以最后一层级的目标融合特征进行上采样处理，得到最后一层级的重建结果。对上一层级的目标融合特征上采样处理后与当前层级的重建结果进行融合得到上一层级的重建结果。
在一些实施例中，多视角图像聚合器中包括多层级分别对应的重建单元。计算机设备可以通过最后一层级对应的重建单元对最后一层级的目标融合特征进行上采样处理，得到最后一层级的重建结果。通过当前层级对应的重建单元对上一层级的目标融合特征上采样处理后与当前层级的重建结果进行融合得到上一层级的重建结果。
在一些实施例中，计算机设备可以对上一层级的目标融合特征重建后与上采样后的当前层级的重建结果进行叠加得到上一层级的重建结果。可以理解，当前层级的重建结果的特征维度与上一层级对应的特征维度并不匹配，故而需要对当前层级的重建结果上采样，以匹配上一层级对应的特征维度。
在一些实施例中，计算机设备可以将第一层级的重建结果作为新视角下的目标图像。
在一些实施例中，较高层级的重建结果的图像分辨率更小。第一层级的重建结果的图像分辨率在各层级的重建结果中是最高的。
在一些实施例中，如图2所示，提供了多视角图像聚合器的结构示意图。多视角图像聚合器中包括第一编码器、第二编码器、多尺度聚合器和多尺度重建器。多尺度聚合器中包括各层级的特征聚合单元。多尺度重建器中包括各层级的重建单元。
第一编码器中，初始视角图像经过第一层级的两个卷积层后输出第一层级的初始视角特征，第一层级的初始视角特征经过第二层级的卷积层后输出第二层级的初始视角特征，第二层级的初始视角特征经过第三层级的残差块和卷积层后输出第三层级的初始视角特征。
第二编码器中，新视角图像经过第一层级的两个卷积层后输出第一层级的新视角编码信息，第一层级的新视角编码信息经过第二层级的卷积层后输出第二层级的新视角编码信息，第二层级的新视角编码信息经过第三层级的残差块和卷积层后输出第三层级的新视角特征。
需要说明的是，第一编码器和第二编码器中，第一层级会将输入图像的分辨率降低至1/2，第二层级的分辨率降低至1/4，第三层级的分辨率降低至1/8。
特征聚合单元1基于下采样后的初始视角图像对应的第一光流信号，对第三层级的初始视角特征和新视角特征进行融合，输出第三层级的目标融合特征。其中，下采样后的初始视角图像对应的第一光流信号与第三层级对应的特征维度相匹配。初始视角图像对应的第一光流信号是根据分辨率降低至1/4的新视角图像和初始视角图像之间的差异得到的，故而第一光流信号与第二层级对应的特征维度相匹配，经过下采样的第一光流信号才能与第三层级对应的特征维度相匹配，经过上采样的第一光流信号才能与第一层级对应的特征维度相匹配。
重建单元1对第三层级的目标融合特征进行重建，得到第三层级的重建结果。
特征聚合单元2基于初始视角图像对应的第一光流信号，对第二层级的初始视角特征和上采样后的第三层级的目标融合特征进行融合，输出第二层级的目标融合特征。可以理解，第三层级的目标融合特征的特征维度与第二层级对应的特征维度不匹配，故而需要经过上采样将第三层级的目标融合特征与第二层级的初始视角特征匹配。
重建单元2对第二层级的目标融合特征进行重建后，与上采样后的第三层级的重建结果进行叠加，得到第二层级的重建结果。
特征聚合单元3基于上采样后的初始视角图像对应的第一光流信号，对第一层级的初始视角特征和上采样后的第二层级的目标融合特征进行融合，输出第一层级的目标融合特征。
重建单元3对第一层级的目标融合特征进行重建后，与上采样后的第二层级的重建结果进行叠加，得到目标图像。
可以理解的是，上述的上采样和下采样可以通过双线性插值实现。
可见，在本实施例中，将最后一层级作为当前层级，根据当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到上一层级的重建结果，在每一层级的图像重建中结合下一层级的更低分辨率的重建结果和该层级的目标融合特征，实现由低分辨率到高分辨率依次重建出各层级的重建结果，进而根据各层级的重建结果得到高分辨率的、高质量的目标图像。
在一些实施例中，基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征，包括：对第一光流信号、当前层级的目标融合特征和上一层级的初始视角特征进行拼接处理，得到上一层级的拼接特征；根据第一光流信号和上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征；根据上一层级的可形变特征进行三维卷积，得到上一层级的目标融合特征。
其中，可变形卷积（Deformable convolution）是一种改进的卷积操作，通过适应性地调整卷积核的形状，可以在更细粒度的空间范围内捕捉特征。加入三维卷积（3Dconvolution）后，可以进一步增强可变形卷积的表达能力，并提供更多的上下文信息。
第一光流信号是由像素点在新视角图像和初始视角图像之间的位移所组成的矢量场。在可变形卷积中，通过对光流进行计算和分析，可以得到图像中目标的运动信息。可变形卷积可以根据这些运动信息来调整卷积核的位置和形状，以实现目标的跟踪。这样能够减少目标在卷积过程中的信息损失。
并且，光流信号可以用于感知图像中目标的尺度和形状变化。通过分析光流信号的强度和方向，可以获取目标在图像中的尺度变化信息。可变形卷积可以根据这些信息调整卷积核的形状和大小，以适应不同尺度和形状的目标。
在一些实施例中，多层级分别对应不同的特征维度。计算机设备可以根据新视角图像和初始视角图像之间的差异确定初始的第一光流信号。对初始的第一光流信号进行插值处理，得到最后一层级对应的第一光流信号。最后一层级对应的第一光流信号与最后一层级对应的特征维度相匹配。将最后一层级对应的第一光流信号、最后一层级的新视角特征和最后一层级的初始视角特征拼接后进行卷积处理，得到最后一层级的拼接特征。
对初始的第一光流信号进行插值处理，得到上一层级对应的第一光流信号。对当前层级的目标融合特征进行插值处理，得到插值后的当前层级的目标融合特征。上一层级对应的第一光流信号与上一层级对应的特征维度相匹配。插值后的当前层级的目标融合特征与上一层级对应的特征维度相匹配。将上一层级对应的第一光流信号、插值后的当前层级的目标融合特征和上一层级的初始视角特征拼接后进行卷积处理，得到当前层级的拼接特征。
在一些实施例中，计算机设备可以根据最后一层级对应的光流信号和最后一层级的目标融合特征进行可变形卷积，得到最后一层级的可形变特征。
在一些实施例中，计算机设备可以根据上一层级对应的第一光流信号和上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征。
在一些实施例中，计算机设备可以根据最后一层级的可形变特征进行三维卷积，得到最后一层级的目标融合特征。
在一些实施例中，计算机设备可以对每一层级的可形变特征进行三维卷积得到该层级的目标融合特征。
在一些实施例中，计算机设备可以针对每个初始视角图像，确定该初始视角图像的各层级的初始视角特征、该初始视角图像对应的第一光流信号，并将该初始图像对应的第一光流信号、新视角特征与该初始视角图像对应的最后一层级的初始视角特征进行拼接处理，得到该初始视角图像对应的最后一层级的拼接特征；将该初始图像对应的第一光流信号、当前层级的目标融合特征与该初始视角图像对应的上一层级的初始视角特征进行拼接处理，得到该初始视角图像对应的上一层级的拼接特征。
在一些实施例中，计算机设备可以对多个初始视角图像分别对应的同一层级的拼接特征一起进行三维卷积，得到相应层级的目标融合特征。
在一些实施例中，如图3所示，提供了特征聚合单元的结构示意图。特征聚合单元1中将初始视角图像1对应的第三层级的初始视角特征1、新视角特征和下采样后的第一光流信号1进行特征拼接，得到第三层级的拼接特征1。第三层级的拼接特征1经过卷积层、至少两个残差块和卷积层后，基于下采样后的第一光流信号1进行可变形卷积，得到可形变特征1。可以理解，图3中的残差块间的“…”用于残差块的省略。将初始视角图像2对应的第三层级的初始视角特征2、新视角特征和下采样后的第一光流信号2进行特征拼接，得到第三层级的拼接特征2。第三层级的拼接特征2经过卷积层、至少两个残差块和卷积层后，基于下采样后的第一光流信号2进行可变形卷积，得到可形变特征2。对可形变特征1和可形变特征2进行三维卷积后经过卷积层得到第三层级的目标融合特征。
其中，第一光流信号1是根据新视角图像和初始视角图像1之间的差异确定的。第一光流信号2是根据新视角图像和初始视角图像2之间的差异确定的。
后续将上采样后的第三层级的目标融合特征、第二层级的初始视角特征1、第二层级的初始视角特征2、第一光流信号1和第一光流信号2输入至特征聚合单元2，获取特征聚合单元2输出的第二层级的目标融合特征。
可见，在本实施例中，对第一光流信号、当前层级的目标融合特征和上一层级的初始视角特征进行拼接处理，得到上一层级的拼接特征；根据第一光流信号和上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征；根据上一层级的可形变特征进行三维卷积，得到上一层级的目标融合特征，第一光流信号提供准确的监督方向，而联合可变形卷积和三维卷积能够提取更丰富的目标融合特征，后续根据目标融合特征能够生成高质量的目标图像。
在一些实施例中，根据新视角图像和初始视角图像之间的差异确定第一光流信号，包括：对新视角图像和初始视角图像降低分辨率，分别得到新视角低分结果和初始视角低分结果；根据新视角低分结果和初始视角低分结果之间的差异确定第一光流信号。
其中，初始的第一光流信号对应的分辨率是低于初始视角图像和新视角图像的分辨率的。可以理解，低分辨率的光流信号能够在保证准确性的同时更加快速地进行运动估计。
在一些实施例中，计算机设备可以将新视角图像和初始视角图像降低至预设分辨率，分别得到新视角低分结果和初始视角低分结果。
在一些实施例中，计算机设备可以使用光流算法分析新视角低分结果和初始视角低分结果之间的差异确定第一光流信号。
在一些实施例中，计算机设备可以获取光流神经网络输出的第一光流信号。可以理解，光流神经网络用于对输入的多个图像进行光流估计以输出光流信号。
在一些实施例中，预设分辨率不小于最后一层对应的分辨率、且预设分辨率不大于第一层对应的分辨率。
可见，在本实施例中，对新视角图像和初始视角图像降低分辨率，分别得到新视角低分结果和初始视角低分结果；根据新视角低分结果和初始视角低分结果之间的差异确定第一光流信号，使用预设分辨率对应的光流信号能够节约计算资源，快速且准确地进行运动估计，提高图像增强的效率。
在一些实施例中，目标图像是将新视角图像和初始视角图像作为多视角图像聚合器的输入得到的输出；多视角图像聚合器的训练步骤包括：根据参考视角帧和目标视角帧的目标退化图像之间的差异确定第二光流信号；参考视角帧与目标视角帧是同一场景在不同视角下的图像帧；基于第二光流信号将目标视角帧的目标退化图像对应的目标特征和参考视角帧的参考特征进行融合，得到参考融合特征；根据参考融合特征进行图像重建，得到增强图像；根据增强图像和目标视角帧之间的差异对多视角图像聚合器进行训练，以得到训练完毕的多视角图像聚合器。
在一些实施例中，计算机设备可以确定基于目标视角帧和参考视角帧组成的训练数据对得到的多视角图像聚合器。将新视角图像和初始视角图像输出至多视角图像聚合器中，获取多视角图像聚合器输出的新视角下的目标图像。
在一些实施例中，目标退化图像是对目标视角帧进行退化得到的。
在一些实施例中，参考视角帧为至少两个。
在一些实施例中，计算机设备可以从视频序列中确定出目标视角帧和参考视角帧。比如，收集大量的干净视频序列中，每个视频序列包括三个图像帧。将第一个图像帧作为目标视角帧，将后两个图像帧作为参考视角帧，目标视角帧、两个参考视角帧和目标退化图像共同构成一组训练数据对{{I,I1,I2}→Igt}。其中，I表征目标退化图像。I1表征第一个参考视角帧。I2表征第二个参考视角帧。Igt表征目标视角帧。目标退化图像和两个参考对象帧构成多视角图像聚合器的训练输入，而目标视角帧作为多视角图像聚合器的训练标签。
在一些实施例中，计算机设备可以通过在目标视角帧中模拟新视角合成过程中的图像退化情况，得到目标退化图像。
在一些实施例中，计算机设备可以基于平均绝对误差函数确定增强图像与目标视角帧之间的差异得到第一损失。朝着第一损失减小的方向对多视角图像聚合器进行训练。
在一些实施例中，计算机设备可以基于对抗损失函数确定增强图像与目标视角帧之间的差异得到第二损失。朝着第二损失减小的方向对多视角图像聚合器进行训练。
在一些实施例中，如图4所示，提供了新视角图像、基于第一损失训练的多视角图像聚合器输出的增强图像、基于第二损失训练的多视角图像聚合器输出的增强图像以及标签图像。无论基于哪种损失进行训练，多视角图像聚合器输出的增强图像的质量都明显高于新视角图像，增强图像的质量能够达到标签图像的质量。其中，标签图像是指新视角下的标签图像。
可见，在本实施例中，根据参考视角帧和目标视角帧的目标退化图像之间的差异确定第二光流信号；基于第二光流信号将目标视角帧的目标退化图像对应的目标特征和参考视角帧的参考特征进行融合，得到参考融合特征；根据参考融合特征进行图像重建，得到增强图像；根据增强图像和目标视角帧之间的差异对多视角图像聚合器进行训练，以得到用于提高新视角图像质量的多视角图像聚合器。
在一些实施例中，方法还包括：对目标视角帧进行初阶退化，得到初阶退化图像；对初阶退化图像进行进阶深度退化，得到目标退化图像。
在一些实施例中，目标视角帧经过手动退化阶段和深度退化阶段，即，经过双阶段的退化模拟，可以得到目标退化图像。深度退化阶段使用了深度学习方式，而手动退化阶段中使用了多种策略模拟新视角合成中的图像退化情况。
在一些实施例中，计算机设备可以根据预设的退化策略对目标视角帧进行初阶退化，得到初阶退化图像。
在一些实施例中，计算机设备可以使用基于对抗学习的深度退化模拟器对初阶退化图像进行进阶深度退化，得到目标退化图像。可以理解的是，本申请实施例中不限定深度退化模拟器的结构，只要是能够实现图像退化处理的生成器均可。
可见，在本实施例中，对目标视角帧进行初阶退化，得到初阶退化图像；对初阶退化图像进行进阶深度退化，得到目标退化图像，通过双阶段的退化处理，能够更真实地模拟出新视角合成过程中出现的图像退化情况，保证目标退化图像的真实性。
在一些实施例中，对目标视角帧进行初阶退化，得到初阶退化图像包括以下至少一种处理：在目标视角帧中引入投影高斯噪声，以得到初阶退化图像；对目标视角帧进行重位置随机退化，以得到初阶退化图像；对目标视角帧进行模糊处理，以得到初阶退化图像；在目标视角帧中引入光照的自适应扰动，以得到初阶退化图像；对目标视角帧进行基于灰度值的图像压缩，以得到初阶退化图像；对目标视角帧进行区域自适应退化，以得到初阶退化图像。
在一些实施例中，计算机设备可以使用各项同性的高斯模糊对叠加高斯噪声后的目标视角帧进行加权，得到第一初步退化结果。之后，使用二维各项异性高斯掩码进行区域自适应退化，得到第一退化结果。其中，二维各项异性高斯掩码可以表示为M(i,j)=G(i-ci,j-cj;σi,σj,A)。σi,σj代表标准差。ci,cj代表均值。A代表各项异性的角度。
在一些实施例中，公式（1）为第一初步退化结果的计算公式。
ID1=(Igt+n)g（1）
其中，ID1代表第一初步退化结果。Igt代表目标视角帧。n代表高斯噪声。g代表各项同性的高斯模糊。
在一些实施例中，计算机设备可以对第一退化结果进行重位置随机退化，得到第二初步退化结果。之后，使用二维各项异性高斯掩码对第二初步退化结果进行区域自适应退化，得到第二退化结果。
在一些实施例中，计算机设备可以对第一退化结果中每个像素位置赋予一个随机概率，对于随机概率不大于预设概率阈值的目标像素位置，在目标像素位置对应的选取范围内，随机选取像素位置的值赋予目标像素位置。
在一些实施例中，公式（2）为重位置随机退化的公式。以0.9的概率保持像素点的正确位置，而0.1的概率错误的随机选取附近像素点（偏移量为δi，δj）的值赋值给当前像素。
（2）
其中，表征第二初步退化结果中(i,j)像素位置处的值。/>表征第一初步退化结果中(i,j)像素位置处的值。δi和δj代表偏移量。可以理解，偏移量用于指示像素位置对应的选取范围。p为随机概率。
在一些实施例中，计算机设备可以使用各项异性的高斯图像模糊对第二退化结果进行模糊处理，得到第三初步退化结果。之后，使用二维各项异性高斯掩码进行区域自适应退化，得到第三退化结果。
在一些实施例中，计算机设备可以在第三退化结果中引入光照的自适应扰动，得到第四初步退化结果。之后，使用二维各项异性高斯掩码进行区域自适应退化，得到第四退化结果。其中，在光自适应扰动中，y=power(x,γ)表示计算x的γ次方并得到结果y，x和γ通常代表扰动的参数和调整的参数，power表示求幂的运算。
在一些实施例中，计算机设备可以对第四退化结果进行基于灰度值的图像压缩，得到第五初步退化结果。之后，使用二维各项异性高斯掩码进行区域自适应退化，得到初阶退化图像。初阶退化图像相较于第四退化结果存在细节缺失的情况。
可见，在本实施例中，针对神经辐射场模型渲染噪声的特性，对目标视角帧进行初阶退化，能够得到更加真实的初阶退化图像。比如，在目标视角帧中引入投影高斯噪声，以模拟由于相机标定精度不够导致的光线投影偏差、对目标视角帧进行重位置随机退化，以模拟由于相机标定精度不够，导致在渲染过程中投影位置不准确而导致的渲染噪声，对目标视角帧进行模糊处理，以模拟神经辐射场模型渲染的图像存在的模糊的情况；在目标视角帧中引入光照的自适应扰动，以模拟多视角图像随着视角变化发生的光照强弱变化；对目标视角帧进行基于灰度值的图像压缩，以模拟由于神经辐射场模型中监督信号不够导致新视角图像存在细节缺失；对目标视角帧进行区域自适应退化，以模拟神经辐射场模型的输入图像存在空间分布不均匀的情况，在输入视角密集的区域渲染质量好，反之渲染质量差。
在一些实施例中，包括：目标退化图像是将初阶退化图像作为深度退化模拟器的输入得到的输出；深度退化模拟器的训练步骤，包括：将样本图像进行初阶退化后输入至待训练的深度退化模拟器，以通过深度退化模拟器在样本图像中模拟新视角合成过程中的图像退化情况，得到深度退化模拟器输出的样本退化图像；针对样本退化图像中的退化图像块，从样本图像中确定出与退化图像块相似的多个样本图像块；根据多个样本图像块分别与退化图像块之间的差异、以及深度退化判别器对样本退化图像的判别结果，对待训练的深度退化模拟器进行训练，得到训练完毕的深度退化模拟器。
在一些实施例中，计算机设备可以针对每个退化图像块，从样本图像中确定出与退化图像块相似的预设数量的样本图像块，得到退化图像块的各相似块。
在一些实施例中，计算机设备可以针对每个退化图像块，根据退化图像块与退化图像块的每个相似块之前的距离，确定退化图像块的每个相似块对应的权重。
在一些实施例中，计算机设备可以针对每个退化图像块，通过计算退化图像块与退化图像块的每个相似块之间的二范数，得到各相似块分别对应的距离。对各相似块分别对应的距离进行归一化，得到各相似块分别对应的权重。
在一些实施例中，公式（3）为各相似块分别对应的距离的计算公式。
（3）/>
其中，di,k代表第i个退化图像块与第k个相似块之间的距离。代表第i个退化图像块。/>代表第i个退化图像块的第k个相似块。/>代表第i个退化图像块与第k个相似块之间的二范数。
在一些实施例中，公式（4）为各相似块分别对应的权重的计算公式。
（4）
其中，wi,k代表第i个退化图像块的第k个相似块对应的权重。 di,k代表第i个退化图像块与第k个相似块之间的距离。K代表预设数量。di,m代表第i个退化图像块与第m个相似块之间的距离。
在一些实施例中，计算机设备可以针对每个退化图像块，使用各相似块分别对应的权重对退化图像块与每个相似块之间的差值进行加权求和，得到基于图像相似块的加权监督损失。
在一些实施例中，公式（5）为基于图像相似块的加权监督损失函数。
（5）
其中，LTopK代表基于图像相似块的加权监督损失。K代表预设数量。代表第i个退化图像块。/>代表第i个退化图像块的第k个相似块。wi,k代表第i个退化图像块的第k个相似块对应的权重。
在一些实施例中，如图5所示，提供了基于图像相似块的加权监督损失函数的示意图。从样本图像中确定出与退化图像块最相似的预设数量的相似块，根据退化图像块分别与预设数量的相似块之间的距离确定基于图像相似块的加权监督损失值。
在一些实施例中，如图6所示，提供了双阶段退化模拟器的示意图。双阶段退化模拟器包括手动退化模拟器和深度退化模拟器。
手动退化模拟器中，在样本图像中引入投影高斯噪声后进行区域自适应退化，得到第一样本退化结果。对第一样本退化结果进行重位置随机退化后进行区域自适应退化，得到第二样本退化结果。对第二样本退化结果进行模糊处理后进行区域自适应退化，得到第三样本退化结果。在第三样本退化结果中引入光照的自适应扰动后进行区域自适应退化，得到第四样本退化结果。对第四样本退化结果进行基于灰度值的图像压缩后进行区域自适应退化，以得到初阶样本退化图像。
深度退化模拟器对初阶样本退化图像进行进阶深度退化，得到样本退化图像。深度退化判别器对样本退化图像生成判别结果。朝着判别结果为真的概率更大、以及基于图像相似块的加权监督损失减小的方向训练深度退化模拟器。
在一些实施例中，深度退化判别器是基于神经辐射场模型输出的新视角合成图像训练得到的，用于判别深度退化模拟器生成的退化图像是否为新视角合成图像。
可见，在本实施例中，根据多个样本图像块分别与退化图像块之间的差异、以及深度退化判别器对样本退化图像的判别结果，对待训练的深度退化模拟器进行训练，得到训练完毕的深度退化模拟器，深度退化判别器对样本退化图像的判别结果能够提供准确的监督方向，而每次训练的深度退化模拟器生成的样本退化图像存在差异，那么每个退化图像块的相似块会发生改变，即，每个退化图像块对应的标签是不断变化的，通过基于图像相似块的加权监督损失能够增加深度退化模拟器生成的退化图像的多样性。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种图像增强装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像增强装置实施例中的具体限定可以参见上文中对于图像增强方法的限定，在此不再赘述。
如图7所示，本申请实施例提供了一种图像增强装置700，包括：
获取模块702，用于获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；
确定模块704，用于根据新视角图像和初始视角图像之间的差异确定第一光流信号；
融合模块706，用于基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；
重建模块708，用于根据目标融合特征进行图像重建，得到新视角下的目标图像。
在一些实施例中，融合模块706，还用于对初始视角图像进行多层级特征提取，得到多层级的初始视角特征；在基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征方面，融合模块706具体用于：基于第一光流信号对新视角特征和多层级的初始视角特征中最后一层级的初始视角特征进行融合，得到最后一层级的目标融合特征；将最后一层级作为当前层级，基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征；将上一层级作为新的当前层级，返回基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合的步骤，直至得到各个层级的目标融合特征。
在一些实施例中，在根据目标融合特征进行图像重建，得到新视角下的目标图像方面，重建模块708具体用于：根据最后一层级的目标融合特征进行图像重建，得到最后一层级的重建结果；将最后一层级作为当前层级，根据当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到上一层级的重建结果；将上一层级作为新的当前层级，返回根据当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到上一层级的重建结果的步骤，直至得到各个层级的重建结果；根据各个层级的重建结果确定新视角下的目标图像。
在一些实施例中，在基于第一光流信号对当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征，融合模块706具体用于：对第一光流信号、当前层级的目标融合特征和上一层级的初始视角特征进行拼接处理，得到上一层级的拼接特征；根据第一光流信号和上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征；根据上一层级的可形变特征进行三维卷积，得到上一层级的目标融合特征。
在一些实施例中，在根据新视角图像和初始视角图像之间的差异确定第一光流信号方面，确定模块704具体用于：对新视角图像和初始视角图像降低分辨率，分别得到新视角低分结果和初始视角低分结果；根据新视角低分结果和初始视角低分结果之间的差异确定第一光流信号。
在一些实施例中，目标图像是将新视角图像和初始视角图像作为多视角图像聚合器的输入得到的输出；获取模块702，还用于根据参考视角帧和目标视角帧的目标退化图像之间的差异确定第二光流信号；参考视角帧与目标视角帧是同一场景在不同视角下的图像帧；基于第二光流信号将目标视角帧的目标退化图像对应的目标特征和参考视角帧的参考特征进行融合，得到参考融合特征；根据参考融合特征进行图像重建，得到增强图像；根据增强图像和目标视角帧之间的差异对多视角图像聚合器进行训练，以得到训练完毕的多视角图像聚合器。
在一些实施例中，获取模块702，还用于对目标视角帧进行初阶退化，得到初阶退化图像；对初阶退化图像进行进阶深度退化，得到目标退化图像。
在一些实施例中，在对目标视角帧进行初阶退化，得到初阶退化图像方面，获取模块702具体用于：在目标视角帧中引入投影高斯噪声，以得到初阶退化图像；对目标视角帧进行重位置随机退化，以得到初阶退化图像；对目标视角帧进行模糊处理，以得到初阶退化图像；在目标视角帧中引入光照的自适应扰动，以得到初阶退化图像；对目标视角帧进行基于灰度值的图像压缩，以得到初阶退化图像；对目标视角帧进行区域自适应退化，以得到初阶退化图像。
在一些实施例中，目标退化图像是将初阶退化图像作为深度退化模拟器的输入得到的输出；获取模块702，还用于将样本图像进行初阶退化后输入至待训练的深度退化模拟器，以通过深度退化模拟器在样本图像中模拟新视角合成过程中的图像退化情况，得到深度退化模拟器输出的样本退化图像； 针对样本退化图像中的退化图像块，从样本图像中确定出与退化图像块相似的多个样本图像块；根据多个样本图像块分别与退化图像块之间的差异、以及深度退化判别器对样本退化图像的判别结果，对待训练的深度退化模拟器进行训练，得到训练完毕的深度退化模拟器。
上述图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多视角图像聚合器。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的图像增强方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的图像增强方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图10所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric RandomAccess Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (18)
1.一种图像增强方法，其特征在于，包括：
获取新视角图像；所述新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；所述新视角图像中存在图像退化情况；所述图像退化情况是指在根据初始视角图像进行新视角合成过程中图像质量下降的现象；
根据所述新视角图像和所述初始视角图像之间的差异确定第一光流信号；所述第一光流信号用于表征在所述新视角图像和所述初始视角图像之间像素点的运动情况；
对所述初始视角图像进行多层级特征提取，得到多层级的初始视角特征；
对所述新视角图像进行编码，得到新视角特征；
基于所述第一光流信号对所述新视角特征和所述多层级的初始视角特征中最后一层级的初始视角特征进行融合，得到最后一层级的目标融合特征；
将所述最后一层级作为当前层级，基于所述第一光流信号对所述当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征；
将所述上一层级作为新的当前层级，返回所述基于所述第一光流信号对所述当前层级的目标融合特征和所述上一层级的初始视角特征进行融合的步骤，直至得到各个层级的目标融合特征；
根据所述目标融合特征进行图像重建，得到所述新视角下的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标融合特征进行图像重建，得到所述新视角下的目标图像，包括：
根据所述最后一层级的目标融合特征进行图像重建，得到所述最后一层级的重建结果；
将所述最后一层级作为当前层级，根据所述当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到所述上一层级的重建结果；
将所述上一层级作为新的当前层级，返回根据所述当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到所述上一层级的重建结果的步骤，直至得到各个层级的重建结果；
根据所述各个层级的重建结果确定所述新视角下的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一光流信号对所述当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征，包括：
对所述第一光流信号、所述当前层级的目标融合特征和上一层级的初始视角特征进行拼接处理，得到上一层级的拼接特征；
根据所述第一光流信号和所述上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征；
根据所述上一层级的可形变特征进行三维卷积，得到上一层级的目标融合特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述新视角图像和所述初始视角图像之间的差异确定第一光流信号，包括：
对所述新视角图像和所述初始视角图像降低分辨率，分别得到新视角低分结果和初始视角低分结果；
根据所述新视角低分结果和所述初始视角低分结果之间的差异确定第一光流信号。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述目标图像是将所述新视角图像和所述初始视角图像作为多视角图像聚合器的输入得到的输出；所述多视角图像聚合器的训练步骤包括：
根据参考视角帧和目标视角帧的目标退化图像之间的差异确定第二光流信号；所述参考视角帧与所述目标视角帧是同一场景在不同视角下的图像帧；
基于所述第二光流信号将所述目标视角帧的目标退化图像对应的目标特征和所述参考视角帧的参考特征进行融合，得到参考融合特征；
根据所述参考融合特征进行图像重建，得到增强图像；
根据所述增强图像和所述目标视角帧之间的差异对所述多视角图像聚合器进行训练，以得到训练完毕的多视角图像聚合器。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述目标视角帧进行初阶退化，得到初阶退化图像；
对所述初阶退化图像进行进阶深度退化，得到目标退化图像。
7.根据权利要求6所述的方法，其特征在于，所述对目标视角帧进行初阶退化，得到初阶退化图像包括以下至少一种处理：
在目标视角帧中引入投影高斯噪声，以得到初阶退化图像；
对所述目标视角帧进行重位置随机退化，以得到初阶退化图像；
对所述目标视角帧进行模糊处理，以得到初阶退化图像；
在所述目标视角帧中引入光照的自适应扰动，以得到初阶退化图像；
对所述目标视角帧进行基于灰度值的图像压缩，以得到初阶退化图像；
对所述目标视角帧进行区域自适应退化，以得到初阶退化图像。
8.根据权利要求5所述的方法，其特征在于，所述目标退化图像是将初阶退化图像作为深度退化模拟器的输入得到的输出；
所述深度退化模拟器的训练步骤，包括：
将样本图像进行初阶退化后输入至待训练的深度退化模拟器，以通过所述深度退化模拟器在所述样本图像中模拟新视角合成过程中的图像退化情况，得到所述深度退化模拟器输出的样本退化图像；
针对所述样本退化图像中的退化图像块，从所述样本图像中确定出与所述退化图像块相似的多个样本图像块；
根据所述多个样本图像块分别与所述退化图像块之间的差异、以及深度退化判别器对所述样本退化图像的判别结果，对所述待训练的深度退化模拟器进行训练，得到训练完毕的深度退化模拟器。
9.一种图像增强装置，其特征在于，包括：
获取模块，用于获取新视角图像；所述新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；所述新视角图像中存在图像退化情况；所述图像退化情况是指在根据初始视角图像进行新视角合成过程中图像质量下降的现象；
确定模块，用于根据所述新视角图像和所述初始视角图像之间的差异确定第一光流信号；所述第一光流信号用于表征在所述新视角图像和所述初始视角图像之间像素点的运动情况；
融合模块，用于对所述初始视角图像进行多层级特征提取，得到多层级的初始视角特征；对所述新视角图像进行编码，得到新视角特征；基于所述第一光流信号对所述新视角特征和所述多层级的初始视角特征中最后一层级的初始视角特征进行融合，得到最后一层级的目标融合特征；将所述最后一层级作为当前层级，基于所述第一光流信号对所述当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征；将所述上一层级作为新的当前层级，返回所述基于所述第一光流信号对所述当前层级的目标融合特征和所述上一层级的初始视角特征进行融合的步骤，直至得到各个层级的目标融合特征；
重建模块，用于根据所述目标融合特征进行图像重建，得到所述新视角下的目标图像。
10.根据权利要求9所述的装置，其特征在于，在所述根据所述目标融合特征进行图像重建，得到所述新视角下的目标图像方面，所述重建模块具体用于：
根据所述最后一层级的目标融合特征进行图像重建，得到所述最后一层级的重建结果；
将所述最后一层级作为当前层级，根据所述当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到所述上一层级的重建结果；
将所述上一层级作为新的当前层级，返回根据所述当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到所述上一层级的重建结果的步骤，直至得到各个层级的重建结果；
根据所述各个层级的重建结果确定所述新视角下的目标图像。
11.根据权利要求9所述的装置，其特征在于，在所述基于所述第一光流信号对所述当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征方面，所述融合模块具体用于：
对所述第一光流信号、所述当前层级的目标融合特征和上一层级的初始视角特征进行拼接处理，得到上一层级的拼接特征；
根据所述第一光流信号和所述上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征；
根据所述上一层级的可形变特征进行三维卷积，得到上一层级的目标融合特征。
12.根据权利要求9所述的装置，其特征在于，在所述根据所述新视角图像和所述初始视角图像之间的差异确定第一光流信号方面，所述确定模块具体用于：
对所述新视角图像和所述初始视角图像降低分辨率，分别得到新视角低分结果和初始视角低分结果；
根据所述新视角低分结果和所述初始视角低分结果之间的差异确定第一光流信号。
13.根据权利要求9至12任一项所述的装置，其特征在于，所述目标图像是将所述新视角图像和所述初始视角图像作为多视角图像聚合器的输入得到的输出；所述获取模块，还用于
根据参考视角帧和目标视角帧的目标退化图像之间的差异确定第二光流信号；所述参考视角帧与所述目标视角帧是同一场景在不同视角下的图像帧；
基于所述第二光流信号将所述目标视角帧的目标退化图像对应的目标特征和所述参考视角帧的参考特征进行融合，得到参考融合特征；
根据所述参考融合特征进行图像重建，得到增强图像；
根据所述增强图像和所述目标视角帧之间的差异对所述多视角图像聚合器进行训练，以得到训练完毕的多视角图像聚合器。
14.根据权利要求13所述的装置，其特征在于，所述获取模块，还用于：
对所述目标视角帧进行初阶退化，得到初阶退化图像；
对所述初阶退化图像进行进阶深度退化，得到目标退化图像。
15.根据权利要求14所述的装置，其特征在于，在所述对目标视角帧进行初阶退化，得到初阶退化图像方面，所述获取模块具体用于以下至少一种处理：
在目标视角帧中引入投影高斯噪声，以得到初阶退化图像；
对所述目标视角帧进行重位置随机退化，以得到初阶退化图像；
对所述目标视角帧进行模糊处理，以得到初阶退化图像；
在所述目标视角帧中引入光照的自适应扰动，以得到初阶退化图像；
对所述目标视角帧进行基于灰度值的图像压缩，以得到初阶退化图像；
对所述目标视角帧进行区域自适应退化，以得到初阶退化图像。
16.根据权利要求13所述的装置，其特征在于，所述目标退化图像是将初阶退化图像作为深度退化模拟器的输入得到的输出；
所述获取模块，还用于：
将样本图像进行初阶退化后输入至待训练的深度退化模拟器，以通过所述深度退化模拟器在所述样本图像中模拟新视角合成过程中的图像退化情况，得到所述深度退化模拟器输出的样本退化图像；
针对所述样本退化图像中的退化图像块，从所述样本图像中确定出与所述退化图像块相似的多个样本图像块；
根据所述多个样本图像块分别与所述退化图像块之间的差异、以及深度退化判别器对所述样本退化图像的判别结果，对所述待训练的深度退化模拟器进行训练，得到训练完毕的深度退化模拟器。
17.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167569.2A CN116912148B (zh) | 2023-09-12 | 2023-09-12 | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167569.2A CN116912148B (zh) | 2023-09-12 | 2023-09-12 | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116912148A CN116912148A (zh) | 2023-10-20 |
| CN116912148B true CN116912148B (zh) | 2024-01-05 |
Family
ID=88351464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311167569.2A Active CN116912148B (zh) | 2023-09-12 | 2023-09-12 | 图像增强方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912148B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115047A (zh) * | 2023-10-24 | 2023-11-24 | 苏州思谋智能科技有限公司 | 一种图像增强方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833785A (zh) * | 2018-07-03 | 2018-11-16 | 清华-伯克利深圳学院筹备办公室 | 多视角图像的融合方法、装置、计算机设备和存储介质 |
| CN113284046A (zh) * | 2021-05-26 | 2021-08-20 | 中国电子科技集团公司第五十四研究所 | 基于无高分辨率参考图的遥感图像增强和复原方法及网络 |
| CN113592913A (zh) * | 2021-08-09 | 2021-11-02 | 中国科学院深圳先进技术研究院 | 一种消除自监督三维重建不确定性的方法 |
| WO2022105638A1 (zh) * | 2020-11-19 | 2022-05-27 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN114663599A (zh) * | 2022-04-15 | 2022-06-24 | 南京大学 | 一种基于多视图的人体表面重建方法及系统 |
| CN116092185A (zh) * | 2022-12-22 | 2023-05-09 | 山东大学 | 基于多视角特征交互融合的深度视频行为识别方法及系统 |
| CN116228855A (zh) * | 2022-12-30 | 2023-06-06 | 北京鉴智科技有限公司 | 视角图像的处理方法、装置、电子设备及计算机存储介质 |
| CN116416132A (zh) * | 2023-03-09 | 2023-07-11 | 深圳见得空间科技有限公司 | 基于多视角参考图像的图像重建方法、计算机设备及介质 |
| CN116452649A (zh) * | 2023-03-16 | 2023-07-18 | 清华大学 | 基于事件数据增强的运动物体重建方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110115024B (zh) * | 2017-02-20 | 2021-12-07 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
-
2023
- 2023-09-12 CN CN202311167569.2A patent/CN116912148B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108833785A (zh) * | 2018-07-03 | 2018-11-16 | 清华-伯克利深圳学院筹备办公室 | 多视角图像的融合方法、装置、计算机设备和存储介质 |
| WO2022105638A1 (zh) * | 2020-11-19 | 2022-05-27 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN113284046A (zh) * | 2021-05-26 | 2021-08-20 | 中国电子科技集团公司第五十四研究所 | 基于无高分辨率参考图的遥感图像增强和复原方法及网络 |
| CN113592913A (zh) * | 2021-08-09 | 2021-11-02 | 中国科学院深圳先进技术研究院 | 一种消除自监督三维重建不确定性的方法 |
| CN114663599A (zh) * | 2022-04-15 | 2022-06-24 | 南京大学 | 一种基于多视图的人体表面重建方法及系统 |
| CN116092185A (zh) * | 2022-12-22 | 2023-05-09 | 山东大学 | 基于多视角特征交互融合的深度视频行为识别方法及系统 |
| CN116228855A (zh) * | 2022-12-30 | 2023-06-06 | 北京鉴智科技有限公司 | 视角图像的处理方法、装置、电子设备及计算机存储介质 |
| CN116416132A (zh) * | 2023-03-09 | 2023-07-11 | 深圳见得空间科技有限公司 | 基于多视角参考图像的图像重建方法、计算机设备及介质 |
| CN116452649A (zh) * | 2023-03-16 | 2023-07-18 | 清华大学 | 基于事件数据增强的运动物体重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116912148A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| EP3971841A1 (en) | Three-dimensional model generation method and apparatus, and computer device and storage medium | |
| CN112215050A (zh) | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 | |
| Vitoria et al. | Semantic image inpainting through improved wasserstein generative adversarial networks | |
| CN110517352B (zh) | 一种物体的三维重建方法、存储介质、终端及系统 | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| US11625813B2 (en) | Automatically removing moving objects from video streams | |
| Chai et al. | Monocular and binocular interactions oriented deformable convolutional networks for blind quality assessment of stereoscopic omnidirectional images | |
| CN116109757A (zh) | 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法 | |
| Liu et al. | Facial image inpainting using attention-based multi-level generative network | |
| CN110335228B (zh) | 一种图像视差的确定方法、装置及系统 | |
| CN114429518A (zh) | 人脸模型重建方法、装置、设备和存储介质 | |
| CN117115047A (zh) | 一种图像增强方法、装置、设备及存储介质 | |
| CN117036581A (zh) | 基于二维神经渲染的体渲染方法、系统、设备及介质 | |
| CN115082322B (zh) | 图像处理方法和装置、图像重建模型的训练方法和装置 | |
| Kim et al. | 360° image reference-based super-resolution using latitude-aware convolution learned from synthetic to real | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 | |
| Zhao et al. | Stripe sensitive convolution for omnidirectional image dehazing | |
| CN114819109B (zh) | 双目图像的超分辨率处理方法、装置、设备及介质 | |
| RU2770132C1 (ru) | Генераторы изображений с условно независимым синтезом пикселей |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |