CN111696034B - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111696034B CN111696034B CN202010394127.1A CN202010394127A CN111696034B CN 111696034 B CN111696034 B CN 111696034B CN 202010394127 A CN202010394127 A CN 202010394127A CN 111696034 B CN111696034 B CN 111696034B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution layer
- pixel matrix
- processing
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 135
- 238000000034 method Methods 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims description 157
- 238000001228 spectrum Methods 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 18
- 238000009877 rendering Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Abstract
本公开公开了一种图像处理方法，应用于虚拟现实设备，该方法包括：获取待处理图像；对所述待处理图像进行超分辨率重建处理，获得重建后的图像；展示所述重建后的图像。该方法通过对待处理图像进行超分辨率重建处理，并展示重建后的图像的方式来向用户提供较高分辨率的场景画面，可以减少计算复杂度，提升虚拟现实设备进行图像处理时的稳定性和处理速度。
Description
技术领域
本公开涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置及电子设备。
背景技术
目前，虚拟现实(VR，VirtualReality)设备在渲染图像，尤其是在渲染包含复杂场景模型的游戏图像时，由于计算复杂度较高以及硬件计算能力的限制，通常会使得VR设备展示的画面图像出现帧率低、帧率不稳定等问题，这比较影响用户体验。
传统用来解决上述问题的方法一般有：1、提高VR设备所使用的系统级(SOC，SystermOnChip)芯片的运行时钟频率，以提升设备的计算能力；2、优化VR内容的数据格式，以使得在提升图像渲染速度的同时，实现画面所需的分辨率；3、使用眼球追踪技术，实现动态注视点渲染，即，对眼球注视的图像块按照高分辨率渲染，而对其它图像块按照较低分辨率渲染，以减轻计算量，提升图像处理速度；4、使用固定中心点注视渲染技术，即，仅对图像的中心区域的某一图像块按照高分辨率渲染，而对其它图像块按照较低分辨率渲染，以减轻计算量，提升图像处理速度。
以上方法虽然可以一定程度上解决上述问题，然而，第一种方法将使得VR设备的功耗增加，会带来散热的问题；第二、第四种方法由于需要降低图像中部分区域的分辨率，因此仍会一定程度上降低用户体验；而第三种方法需要在VR设备中额外集成眼球追踪套件，这不仅会带来成本问题，也同时会使得VR设备的功耗增加。
因此，有必要提供一种图像处理方法，以使得在提升VR设备展示的图像的分辨率的同时，提升VR设备进行图像处理时的稳定性和处理速度。
发明内容
本公开实施例的一个目的是提供一种用于图像处理的新技术方案。
根据本公开的第一方面，提供了一种图像处理方法，应用于虚拟现实设备，该方法包括：获取待处理图像；对所述待处理图像进行超分辨率重建处理，获得重建后的图像；展示所述重建后的图像。
可选地，所述方法包括：所述获取与所述待处理图像对应的低频特征信息，包括：
获取与所述待处理图像对应的初始像素矩阵和相似性权值矩阵；
使用预设的正向卷积层对所述初始像素矩阵和所述相似性权值矩阵进行加权低通滤波处理，获得所述低频特征信息。
可选地，所述低频特征信息包括与所述预设的正向卷积层中的每一卷积层对应的正向像素矩阵和正向相似性权值矩阵；
所述根据所述低频特征信息，对所述待处理图像进行加权插值处理，，获得所述重建后的图像，包括：
根据第一正向像素矩阵和第一逆向卷积层，获得第一扩频像素矩阵；
根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理；
通过使用第二逆向卷积层对进行加权插值后的第二正向像素矩阵进行卷积处理，获得所述重建后的图像；
其中，所述第一逆向卷积层和所述第二逆向卷积层是预设的逆向卷积层中的卷积层，所述第二逆向卷积层的层数小于所述第一逆向卷积层；所述预设的逆向卷积层与所述预设的正向卷积层对应；所述第一逆向卷积层与所述第一正向像素矩阵对应；所述第二逆向卷积层与所述第二正向像素矩阵和所述第二正向相似性权值矩阵对应。
可选地，所述根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理，包括：
根据所述第二正向相似性权值矩阵，获取与所述第二正向像素矩阵中每一像素对应的相似性权值；
在所述相似性权值不大于预设权值阈值的情况下，计算获得与所述像素对应的加权系数；
从所述第一扩频像素矩阵中，获取与所述像素对应的扩频像素；
根据所述加权系数和所述扩频像素，对所述像素进行加权处理，以对所述第二正向像素矩阵进行加权插值处理。
可选地，所述根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理，还包括：
在所述相似性权值大于所述预设权值阈值的情况下，不对所述像素进行加权插值处理。
可选地，包括：所述预设的正向卷积层和所述预设的逆向卷积层是预设的双边金字塔模型中的卷积层，其中，所述预设的双边金字塔模型是用于对图像进行超分辨重建处理的模型。
可选地，所述对所述待处理图像进行超分辨率重建处理，获得重建后的图像，包括：
从所述待处理图像中，确定用户关注的图像块；
对所述图像块进行超分辨率重建处理，获得重建后的图像块；
根据所述重建后的图像块和所述待处理图像，获得所述重建后的图像。
根据本公开的第二方面，本公开还提供了一种图像处理装置，包括：
获取模块，用于获取待处理图像；
图像重建模块，用于对所述待处理图像进行超分辨率重建处理，获得重建后的图像；
展示模块，用于展示所述重建后的图像。
根据本公开的第三方面，还提供了一种电子设备，其包括根据本公开第二方面所述的装置；或者，
所述电子设备包括：存储器，用于存储可执行的指令；处理器，用于根据所述指令的控制运行所述电子设备执行本公开第一方面所述的方法。
本公开的一个有益效果在于，根据本公开实施例的方法，在虚拟现实设备获取到待处理图像之后，通过对待处理图像进行超分辨率重建处理，并展示重建后的图像的方式来向用户提供较高分辨率的场景画面，该方法可以减少计算复杂度，提升虚拟现实设备进行图像处理时的稳定性和处理速度。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
图1是本公开实施例提供的一种图像处理方法的流程示意图。
图2是本公开实施例提供的一种重建图像的处理示意图。
图3是本公开实施例提供的现有VR设备渲染图像的示意图。
图4是应用本公开实施例提供的图像处理方法的VR设备渲染图像的示意图。
图5是根据一个实施例的图像处理装置的原理框图。
图6是根据一个实施例的电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
目前，在VR设备中，当需要对图像进行渲染以在屏幕中展示该图像时，一般是由VR设备将待处理图像交由图形处理器(GPU，GraphicsProcessingUnit)进行渲染处理，之后，再在屏幕中展示渲染处理后的图像数据。在具体实施时，为了提升图像处理速度以向用户提供帧率稳定的图像，目前采取的方法或是通过提升GPU性能，以提升针对图像的处理速度；或是在尽可能不影响用户体验的前提下，通过降低图像中局部区域的分辨率的方式，来减轻GPU负载，即，目前VR设备中的图像处理方法主要是在GPU负载和图像分辨率之间进行优化平衡。另外，在现有技术中，为了提升用户体验，目前VR设备的屏幕分辨率通常采用的硬件规格是3K或4K分辨率，这虽然可以一定程度提升用户体验，但是，在某些场景，例如复杂游戏场景、大型建筑场景等场景中，目前VR设备展示的图像的分辨率以及画面的稳定性和处理速度仍有不足之处。
随着人工智能(AI，ArtificialIntelligence)技术的不断发展，目前主流的移动平台SOC芯片上通常都会集成数字信号处理器(DSP，digitalsignalprocessor)、嵌入式神经网络处理器(NPU，NeuralNetworkProcessingUnit)等更高级别的处理器，因此，为了解决现有技术中的上述问题，本实施例提供一种图像处理方法，以使VR设备可以利用SOC芯片中的DSP、NPU或其它更高级别的处理器对图像进行处理，以在提升展示图像的分辨率的同时，减轻GPU负载，提升设备进行图像处理时的稳定性和处理速度，进而为用户来带较佳的沉浸式体验，提升用户体验。
请参看图1，其为本公开实施例提供的图像处理方法的流程示意图。如图1所示，本实施例提供的该方法可以包括步骤S1100-S1300，以下予以详细说明。
步骤S1100，获取待处理图像。
待处理图像，是指待进行渲染处理以供设备展示的图像，该图像可以直接为图像，或者也可以是视频资源中的视频帧，其中，该图像可以为动态图像或静态图像，例如，该图像可以为GIF(GraphicsInterchangeFormat)格式的动态图像，或者，也可以是JPEG(JointPhotographicExpertsGroup)格式的静态图像。另外，该视频资源可以为实体视频文件，例如，视频资源是在远程服务器中存储的、供本地下载播放的视频文件；也可以为流媒体(streamingmedia)形式，例如，视频资源为在线视频点播平台或者在线直播平台提供的、可以直接进行流式传播的视频流；此外，该视频资源可以是VR、AR等形式的视频资源，或者是立体视频资源，当然，随着技术的不断进步，视频资源也可以是与视频相关的、其它格式、其它形式的资源，此处不做特殊限定。
需要说明的是，在本实施例中，如无特殊说明，以将该方法应用于VR设备中，以待处理图像为VR设备中待进行渲染处理以在显示界面中展示的图像为例进行说明；当然，在具体实施时，也可以根据需要将该方法应用到其它终端设备中；或者，也可以将该方法应用到服务器中，并通过终端设备与服务器交互的方式来获取供终端设备展示的图像，此处不做特殊限定。
所述获取待处理图像，可以是用户在使用VR设备时，由VR设备从其连接的存储设备中获取到的、待在显示界面中展示的图像；或者，也可以是由VR设备通过其连接的图像传感器，例如摄像机采集到的图像，此处不做特殊限定。
步骤S1200，对所述待处理图像进行超分辨率重建处理，获得重建后的图像。
为了提升VR设备中待展示的图像的分辨率，本实施例通过对待处理图像进行超分辨率重建处理，并在VR设备中展示重建后的图像的方式来解决上述问题，其中，超分辨率重建(Super-Resolution)，是从获取到的低分辨率图像重建出相应的高分辨率图像的一种技术。
所述对所述待处理图像进行超分辨率重建处理，获得重建后的图像，包括：获取与所述待处理图像对应的低频特征信息；根据所述低频特征信息，对所述待处理图像进行加权插值处理，获得所述重建后的图像。
如图2所示，其为本公开实施例提供的一种重建图像的处理示意图。即，先获取与待处理图像对应的低频特征信息，之后，通过扩张卷积方式对该低频特征信息进行非线性映射，以达到尺寸扩张、重建待处理图像的目的，以下予以详细说明。
在计算机视觉技术中，图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。例如，大面积的沙漠在图像中是一片灰度变化缓慢的区域，对应的频率值很低；而对于地表属性变换剧烈的边缘区域在图像中是一片灰度变化剧烈的区域，对应的频率值较高。
低频特征信息，是指待处理图像中的低频像素所对应的特征信息，具体可以通过使用预设的3*3卷积矩阵对待处理图像进行加权低通滤波处理获得。
在本实施例中，为了解决VR设备在进行图像处理时存在的稳定性差和处理速度慢的技术问题，本实施例通过采用预先训练获得的目标图像重建模型对待处理图像进行超分辨率重建处理，从而使得VR设备可以利用SOC芯片中的NPU或DSP进行图像处理，以降低计算复杂度、减轻GPU负载，并提升VR设备在进行图像处理时的稳定性和处理速度。该目标图像重建模型可以是卷积神经网络(CNN，ConvolutionalNeuralNetwork)模型，具体可以为双边金字塔模型，即，该目标图像重建模型可以是由正向金字塔子模型和逆向金字塔子模型构成的卷积神经网络模型，且正向金字塔子模型和逆向金字塔子模型的层数相同，例如，可以为4层。以下首先对该目标图像重建模型的获得方法进行说明。
在具体实施时，该目标图像重建模型可以通过以下方法获得：获取训练样本图像；以及，获取待训练的初始图像重建模型；使用所述训练样本图像训练所述初始模型，获得满足预设收敛条件的目标图像重建模型，其中，所述训练样本图像与所述待处理图像对应，所述初始图像重建模型与所述目标图像重建模型对应。
即，针对待训练的初始图像重建模型，预先获取一定数量的训练样本图像组成训练样本集，使用该训练样本集训练该初始图像重建模型，并在训练的过程中，通过与该初始图像重建模型对应的损失函数(LossFunction)调整该模型的参数，以获得满足预设收敛条件的目标图像重建模型。
例如，在本实施例中，可以收集200万张VR游戏场景图像构成训练样本集，其中，该场景图像中可以包含不同的场景物体，例如家居、车辆等物体，或者也可以包括各种背景场景，例如太空、星球、公园或酒吧等背景图像，或者还可以包含不同明暗程度的场景，例如，白天、晚上、室内或室外等不同明暗度的场景图像。
需要说明的是，在具体实施时，有关训练样本集中训练样本图像的数量、目标图像重建模型对应的损失函数以及收敛条件可以根据需要进行设置，此处不做特殊限定。另外，由于现有技术中有对如何对模型进行训练的详细说明，此处不再赘述。
通过以上方法获得目标图像重建模型之后，即可使用该目标图像重建模型对待处理图像进行超分辨率重建处理，以获得重建后的图像。
在具体实施时，所述获取与所述待处理图像对应的低频特征信息，包括：获取与所述待处理图像对应的初始像素矩阵和相似性权值矩阵；使用预设的正向卷积层对所述初始像素矩阵和所述相似性权值矩阵进行加权低通滤波处理，获得所述低频特征信息。
初始像素矩阵，是由待处理图像中每一像素的亮度值构成的像素矩阵，其中，因为现有技术中有对如何获取像素的亮度值的详细说明，此处不再赘述。
相似性权值矩阵，是与初始像素矩阵对应的、用于对待处理图像进行低通滤波处理的权值矩阵。
低通滤波(Low-passFilter))处理，是一种过滤方式，其规则为低频数据能正常通过，而超过设定临界值的高频数据则被保留。具体到本实施例中，为了获取与待处理图像对应的、不同尺度的低频特征信息，以提升重建图像的精确度，首先根据待处理图像中每一像素的亮度值，构建初始像素矩阵，同时，根据每一像素对应的亮度值，构建与该初始像素矩阵对应的相似性权值矩阵；之后，再根据该初始像素矩阵和该相似性权值矩阵，使用预设的正向卷积层对待处理图像进行低通滤波处理，以获取与待处理图像对应的低频特征信息。
为方便说明，以Pr表示对待处理图像进行r层低通滤波处理后获取到的图像的像素矩阵，即，与待处理图像对应的第r层图像的像素矩阵，以Wr表示第r层图像的相似性权值矩阵，和/>分别用于表示第r层图像坐标位置为(i,j)的像素亮度值和相似权值。
例如，第1层图像，即，待处理图像对应的初始像素矩阵和相似性矩阵的获取方式可以是，根据待处理图像的每一像素的亮度值构建初始像素矩阵P0，判断中每一像素的亮度值是否小于亮度阈值g；如果小于，则对应的/>为0，否则将/>设置为初始权值f，其中，在本实施例中，亮度阈值g可以为64，初始权值可以为1/8；当然，在具体实施时，也可以根据需要将亮度阈值和初始权值设置为其它数值，此处不做特殊限定。
所述预设的正向卷积层，可以为预先训练获得的目标图像重建模型中的正向金字塔子模型中的卷积层。
即，将待处理图像输入到目标图像重建模型中之后，可以从该模型中的正向金字塔子模型的第1层开始，自底向上的通过每一正向卷积层对每一层图像进行低通滤波处理，将图像分解为半分辨率的低频分量(P1，W1)…(P3，W3)，即可获得一组低频图像组成的正向图像金字塔，其中每层均是下层的一个低频相似版本。
在本实施例中，该正向金字塔子模型采用3*3卷积矩阵与每层图像的相似权值矩阵和像素矩阵进行加权低通滤波处理，其实现过程可以表示为：
其中，在具体实施时，卷积矩阵h也可以根据需要进行设置，此处不做特殊限定。
在经过上述步骤获取到与待处理图像对应的低频特征信息之后，即可根据该低频特征信息，对待处理图像进行加权插值处理，以获取重建后的图像。
具体来讲，所述低频特征信息包括与所述预设的正向卷积层中的每一卷积层对应的正向像素矩阵和正向相似性权值矩阵；所述根据所述低频特征信息，对所述待处理图像进行加权插值处理，获得所述重建后的图像，包括：根据第一正向像素矩阵和第一逆向卷积层，获得第一扩频像素矩阵；根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理；通过使用第二逆向卷积层对进行加权插值后的第二正向像素矩阵进行卷积处理，获得所述重建后的图像；其中，所述第一逆向卷积层和所述第二逆向卷积层是预设的逆向卷积层中的卷积层，所述第二逆向卷积层的层数小于所述第一逆向卷积层；所述预设的逆向卷积层与所述预设的正向卷积层对应；所述第一逆向卷积层与所述第一正向像素矩阵对应；所述第二逆向卷积层与所述第二正向像素矩阵和所述第二正向相似性权值矩阵对应。
所述预设的逆向卷积层，可以为预先训练获得的目标图像重建模型中的逆向金字塔子模型中的卷积层；与第一逆向卷积层对应的第一正向像素矩阵和第一相似性权值矩阵，可以是与该逆向卷积层的层数相同的正向卷积层所对应的正向像素矩阵。
例如，逆向金字塔子模型的第4层卷积层对应的正向像素矩阵和相似性权值矩阵，可以是正向金字塔子模型的第4层卷积层对应的正向像素矩阵和相似性权值矩阵。另外，需要说明的是，本实施例中所述“第一”、“第二”为相对描述，是用于对目标图像重建模型中的不同层数对应的卷积层、正向像素矩阵以及相似性权值矩阵等进行区分说明。
具体来讲，在使用正向金字塔子模型获取到与待处理图像对应的多尺度的低频特征信息之后，可以使用逆向金字塔子模型从横向上的、分辨率最低的图像层开始，即，从正向图像金字塔的第4层开始自顶向下的对每一层图像进行加权插值处理，以恢复图像中的高频分量。
例如，根据逆向金字塔子模型的第四层对应的逆向卷积层，对横向上对应层数的正向像素矩阵进行卷积扩频处理后，可得对应的扩频像素矩阵β2；之后，根据β2以及第三层横向上对应的/>对该层对应的正向像素矩阵/>进行加权插值处理；再通过与第三层对应的逆向卷积层对经过加权插值处理后的该正向像素矩阵进行卷积扩频处理，并依次对第二层、第一层进行上述处理，即可获得重建后的图像。
本实施例提供一种根据第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理的方法，具体包括：根据所述第二正向相似性权值矩阵，获取与所述第二正向像素矩阵中每一像素对应的相似性权值；在所述相似性权值不大于预设权值阈值的情况下，计算获得与所述像素对应的加权系数；从所述第一扩频像素矩阵中，获取与所述像素对应的扩频像素；根据所述加权系数和所述扩频像素，对所述像素进行加权处理，以对所述第二正向像素矩阵进行加权插值处理。另外，所述根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理，还包括：在所述相似性权值大于所述预设权值阈值的情况下，不对所述像素进行加权插值处理。
即，在使用逆向金字塔子模型，从横向上的正向图像金字塔的第4层开始自顶向下的对每一层图像进行加权插值处理的过程中，将经过上一层逆向卷积层扩频处理后的扩频像素矩阵，与横向上的正向像素矩阵中的每一像素进行比较并进行加权补充，其中，设定权值系数为α；权值大于预设权值阈值的低频像素可以保留，权值不大于该预设权值阈值的高频像素则在上一层低频系数的指导下加权恢复完成；通过该逆向金字塔子模型，对正向金字塔子模型获取到的低频特征信息进行4层反向迭代，即可获得最终重建图像细节纹理信息的高分辨率图像。
在本实施例中，目标图像重建模型中的逆向金字塔子模型同样采用3*3卷积矩阵进行迭代插值，同时加权计算对应水平金字塔图像，其实现过程可以表示为：
其中，在具体实施时，卷积矩阵I也可以根据需要进行设置，此处不做特殊限定。
经过以上处理，即可获得与待处理图像对应的、经过超分辨率重建处理后的重建后的图像。需要说明的是，在本实施例中，是使用神经网络模型，即，具体为4层双边金字塔模型的目标图像重建模型对待处理图像进行超分辨重建处理，在具体实施时，也可以根据需要将该模型的层数设置为其它数值，或者也可以使用其它结构的神经网络模型或者使用其它方法对待处理图像进行超分辨率重建处理，此处不再赘述。
需要说明的是，在具体实施时，为了进一步提升图像处理时的处理速度，还可以在获取到待处理图像之后，与VR设备中的注视点渲染系统相结合，以获取图像中用户关注的图像块，并仅对该图像块进行超分辨率重建处理，之后，将重建后的图像块与待处理图像中的其它图像块合并后，将合并后的重建图像展示给用户，即，所述对所述待处理图像进行超分辨率重建处理，获得重建后的图像，包括：从所述待处理图像中，确定用户关注的图像块；对所述图像块进行超分辨率重建处理，获得重建后的图像块；根据所述重建后的图像块和所述待处理图像，获得所述重建后的图像。
在本实施例中，用户关注的图像块，可以为图像中心区域的预设尺寸的图像块，该预设尺寸可以为500*500，或者也可以根据需要进行设置，此处不做特殊限定。
在步骤S1200之后，执行步骤S1300，展示所述重建后的图像。
在经过步骤S1200获取到与待处理图像对应的重建后的图像之后，即可展示所述重建后的图像。
请参见图3，其为本实施例提供的现有VR设备渲染图像的示意图。如图3所示，现有VR设备渲染图像的流程一般是：1、由VR系统通过系统软件(SystemSoftware)和软件开发工具包(SDK，SoftwareDevelopmentKit)层获取待处理图像；2、通过图像引擎，例如Unity利用GPU对待处理图像进行图像渲染，以获得供左眼和右眼查看的图像数据；3、对这些图像数据进行优化处理，例如，对图像的光学畸变、色彩差、显示扫描输出顺序、垂直同步(VSync，VerticalSynchronization)时机等进行优化和调整；4、展示优化处理后的左眼图像数据和右眼图像数据。
根据上述描述可知，在VR设备中，通常是由图像引擎调用GPU对待展示的图像进行处理，由于计算复杂度较高，此处对GPU造成的负载往往会远大于对图像进行优化处理时的负载，会使得VR设备展示的图像出现帧率不稳定等情况，进而使得用户在体验VR场景时，出现画面抖动、卡顿等现象。
请参见图4，其为应用本公开实施例提供的图像处理方法的VR设备渲染图像的示意图。如图4所示，在应用本实施例提供的图像处理方法的VR设备中，其渲染图像的流程将可以是：1、由系统软件和SDK层获取待处理图像；2、由图像引擎拆分固定注视点渲染，即，获取用户关注的图像块，该图像块的渲染分辨率可以按照0.4的比例渲染，之后，拆分左右眼各自的用户关注图像块A1和其它图像区域A2；之后，可以将图像块A1交由AI处理模块中的NPU或DSP进行超分辨重建处理，获取重建后的图像块A11，以及，将其它图像块A2交由GPU进行处理，获取渲染图像A22；3、将A11和A12合并，可获得与左右眼对应的图像数据A3；4、对A3进行数据优化处理；4、展示优化处理后的A3。
由此可知，应用本实施例提供的图像处理方法的VR设备在渲染图像时，通过将部分处理交由NPU、DSP等处理单元进行处理，可以提升图像分辨率以及降低GPU负载，提高图像处理的稳定性和处理速度；此外，由于NPU、DSP等处理单元为SOC芯片中集成的处理单元，因此该方法还不需要在VR设备中额外集成其它硬件，还可以节省成本，减轻设备功耗。
根据以上步骤S2100～S2300可知，本实施例提供的图像处理方法，可以应用于虚拟现实设备，包括：获取待处理图像；对所述待处理图像进行超分辨率重建处理，获得重建后的图像；展示所述重建后的图像。根据本事实力提供的该方法，在虚拟现实设备获取到待处理图像之后，通过对待处理图像进行超分辨率重建处理，并展示重建后的图像的方式来向用户提供较高分辨率的场景画面，该方法可以减少计算复杂度，提升虚拟现实设备进行图像处理时的稳定性和处理速度。
<装置实施例>
与上述方法实施例中提供的图像处理方法相对应，本实施例还提供一种图像处理装置，如图5所示，该装置5000可以应用于虚拟现实设备中，具体可以包括获取模块5100、图像重建模块5200、展示模块5300。
该获取模块5100，用于获取待处理图像。
该图像重建模块5200，用于对所述待处理图像进行超分辨率重建处理，获得重建后的图像。
在一个实施例中，该图像重建模块5200在所述待处理图像进行超分辨率重建处理，获得重建后的图像时，可以用于：获取与所述待处理图像对应的低频特征信息；根据所述低频特征信息，对所述待处理图像进行加权插值处理，获得所述重建后的图像。
在该实施例中，该图像重建模块5200在获取与所述待处理图像对应的低频特征信息时，可以用于：获取与所述待处理图像对应的初始像素矩阵和相似性权值矩阵；使用预设的正向卷积层对所述初始像素矩阵和所述相似性权值矩阵进行加权低通滤波处理，获得所述低频特征信息。
在该实施例中，所述低频特征信息包括与所述预设的正向卷积层中的每一卷积层对应的正向像素矩阵和正向相似性权值矩阵；该图像重建模块5200在根据所述低频特征信息，对所述待处理图像进行加权插值处理，获得所述重建后的图像时，可以用于：根据第一正向像素矩阵和第一逆向卷积层，获得第一扩频像素矩阵；根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理；通过使用第二逆向卷积层对进行加权插值后的第二正向像素矩阵进行卷积处理，获得所述重建后的图像；其中，所述第一逆向卷积层和所述第二逆向卷积层为预设的逆向卷积层中的卷积层，所述第二逆向卷积层的层数小于所述第一逆向卷积层；所述预设的逆向卷积层与所述预设的正向卷积层对应；所述第一逆向卷积层与所述第一正向像素矩阵对应；所述第二逆向卷积层与所述第二正向像素矩阵和所述第二正向相似性权值矩阵对应。
在该实施例中，该图像重建模块5200在根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理时，可以用于：根据所述第二正向相似性权值矩阵，获取与所述第二正向像素矩阵中每一像素对应的相似性权值；在所述相似性权值不大于预设权值阈值的情况下，计算获得与所述像素对应的加权系数；从所述第一扩频像素矩阵中，获取与所述像素对应的扩频像素；根据所述加权系数和所述扩频像素，对所述像素进行加权处理，以对所述第二正向像素矩阵进行加权插值处理。
在该实施例中，该图像重建模块5200在根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理时，还可以用于：在所述相似性权值大于所述预设权值阈值的情况下，不对所述像素进行加权插值处理。
在该实施例中，所述预设的正向卷积层和所述预设的逆向卷积层是预设的双边金字塔模型中的卷积层，其中，所述预设的双边金字塔模型是用于对图像进行超分辨重建处理的模型。
在一个例子中，该图像重建模块5200在对所述待处理图像进行超分辨率重建处理，获得重建后的图像时，可以用于：从所述待处理图像中，确定用户关注的图像块；对所述图像块进行超分辨率重建处理，获得重建后的图像块；根据所述重建后的图像块和所述待处理图像，获得所述重建后的图像。
该展示模块5300，用于展示所述重建后的图像。
<设备实施例>
与上述方法实施例中提供的图像处理方法相对应，在本实施例中，还提供一种电子设备，其可以包括根据本公开任意实施例的图像处理装置6000，用于实施本公开任意实施例的图像处理方法。
如图6所示，该电子设备6000还可以包括处理器6200和存储器6100，该存储器6100用于存储可执行的指令；该处理器6200用于根据指令的控制运行电子设备以执行根据本公开任意实施例的图像处理方法。
以上装置6000的各个模块可以由处理器6200运行该指令以执行根据本公开任意实施例的图像处理方法来实现。
该电子设备6000可以是虚拟现实设备，或者，也可以是用于为虚拟现实设备提供图像处理服务的服务器，此处不做特殊限定。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。
Claims (8)
1.一种图像处理方法，应用于虚拟现实设备，包括：
获取待处理图像；
对所述待处理图像进行超分辨率重建处理，获得重建后的图像；其中包括：获取与所述待处理图像对应的低频特征信息、初始像素矩阵和相似性权值矩阵，所述低频特征信息包括与预设的正向卷积层中的每一卷积层对应的正向像素矩阵和正向相似性权值矩阵；
根据第一正向像素矩阵和第一逆向卷积层，获得第一扩频像素矩阵；
根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理；
通过使用第二逆向卷积层对进行加权插值后的第二正向像素矩阵进行卷积处理，获得所述重建后的图像；
其中，所述第一逆向卷积层和所述第二逆向卷积层为预设的逆向卷积层中的卷积层，所述第二逆向卷积层的层数小于所述第一逆向卷积层；所述预设的逆向卷积层与所述预设的正向卷积层对应；所述第一逆向卷积层与所述第一正向像素矩阵对应；所述第二逆向卷积层与所述第二正向像素矩阵和所述第二正向相似性权值矩阵对应；
所述根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理包括：
根据所述第二正向相似性权值矩阵，获取与所述第二正向像素矩阵中每一像素对应的相似性权值，
在所述相似性权值不大于预设权值阈值的情况下，计算获得与所述像素对应的加权系数，
从所述第一扩频像素矩阵中，获取与所述像素对应的扩频像素；
根据所述加权系数和所述扩频像素，对所述像素进行加权处理，以对所述第二正向像素矩阵进行加权插值处理；
展示所述重建后的图像。
2.根据权利要求1所述的方法，所述对所述待处理图像进行超分辨率重建处理，获得重建后的图像，包括：
根据所述低频特征信息，对所述待处理图像进行加权插值处理，获得所述重建后的图像。
3.根据权利要求2所述的方法，所述获取与所述待处理图像对应的低频特征信息，包括：
使用预设的正向卷积层对所述初始像素矩阵和所述相似性权值矩阵进行加权低通滤波处理，获得所述低频特征信息。
4.根据权利要求3所述的方法，所述根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理，还包括：
在所述相似性权值大于所述预设权值阈值的情况下，不对所述像素进行加权插值处理。
5.根据权利要求3所述的方法，包括：所述预设的正向卷积层和所述预设的逆向卷积层是预设的双边金字塔模型中的卷积层，其中，所述预设的双边金字塔模型是用于对图像进行超分辨重建处理的模型。
6.根据权利要求1所述的方法，所述对所述待处理图像进行超分辨率重建处理，获得重建后的图像，包括：
从所述待处理图像中，确定用户关注的图像块；
对所述图像块进行超分辨率重建处理，获得重建后的图像块；
根据所述重建后的图像块和所述待处理图像，获得所述重建后的图像。
7.一种图像处理装置，包括：
获取模块，用于获取待处理图像；
图像重建模块，用于对所述待处理图像进行超分辨率重建处理，获得重建后的图像；其中包括：获取与所述待处理图像对应的低频特征信息、初始像素矩阵和相似性权值矩阵，所述低频特征信息包括与预设的正向卷积层中的每一卷积层对应的正向像素矩阵和正向相似性权值矩阵；
根据第一正向像素矩阵和第一逆向卷积层，获得第一扩频像素矩阵；
根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理；
通过使用第二逆向卷积层对进行加权插值后的第二正向像素矩阵进行卷积处理，获得所述重建后的图像；
其中，所述第一逆向卷积层和所述第二逆向卷积层为预设的逆向卷积层中的卷积层，所述第二逆向卷积层的层数小于所述第一逆向卷积层；所述预设的逆向卷积层与所述预设的正向卷积层对应；所述第一逆向卷积层与所述第一正向像素矩阵对应；所述第二逆向卷积层与所述第二正向像素矩阵和所述第二正向相似性权值矩阵对应；
所述根据所述第一扩频像素矩阵和第二正向相似性权值矩阵，对第二正向像素矩阵进行加权插值处理包括：
根据所述第二正向相似性权值矩阵，获取与所述第二正向像素矩阵中每一像素对应的相似性权值，
在所述相似性权值不大于预设权值阈值的情况下，计算获得与所述像素对应的加权系数，
从所述第一扩频像素矩阵中，获取与所述像素对应的扩频像素；
根据所述加权系数和所述扩频像素，对所述像素进行加权处理，以对所述第二正向像素矩阵进行加权插值处理；
展示模块，用于展示所述重建后的图像。
8.一种电子设备，包括：
存储器，用于存储可执行的指令；
处理器，用于根据所述指令的控制运行如权利要求1-6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010394127.1A CN111696034B (zh) | 2020-05-11 | 2020-05-11 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010394127.1A CN111696034B (zh) | 2020-05-11 | 2020-05-11 | 图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111696034A CN111696034A (zh) | 2020-09-22 |
| CN111696034B true CN111696034B (zh) | 2023-10-27 |
Family
ID=72477543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010394127.1A Active CN111696034B (zh) | 2020-05-11 | 2020-05-11 | 图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111696034B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220101493A1 (en) * | 2020-09-30 | 2022-03-31 | Canon Kabushiki Kaisha | Image processing method, storage medium, image processing apparatus, trained model producing method, learning method, learning apparatus, and image processing system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819695B (zh) * | 2021-01-26 | 2024-04-26 | 北京小米移动软件有限公司 | 图像超分辨率重建方法、装置、电子设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106558022A (zh) * | 2016-11-30 | 2017-04-05 | 重庆大学 | 一种基于边缘差异约束的单幅图像超分辨率重建方法 |
| CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
| CN110838085A (zh) * | 2018-08-15 | 2020-02-25 | Tcl集团股份有限公司 | 一种图像的超分辨率重建方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016132152A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Interpolating visual data |
-
2020
- 2020-05-11 CN CN202010394127.1A patent/CN111696034B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019484A1 (en) * | 2014-08-08 | 2016-02-11 | Xiaoou Tang | An apparatus and a method for providing super-resolution of a low-resolution image |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106558022A (zh) * | 2016-11-30 | 2017-04-05 | 重庆大学 | 一种基于边缘差异约束的单幅图像超分辨率重建方法 |
| CN110838085A (zh) * | 2018-08-15 | 2020-02-25 | Tcl集团股份有限公司 | 一种图像的超分辨率重建方法、装置及电子设备 |
| CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220101493A1 (en) * | 2020-09-30 | 2022-03-31 | Canon Kabushiki Kaisha | Image processing method, storage medium, image processing apparatus, trained model producing method, learning method, learning apparatus, and image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111696034A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Integrating semantic segmentation and retinex model for low-light image enhancement | |
| WO2021164731A1 (zh) | 图像增强方法以及图像增强装置 | |
| CN108288251A (zh) | 图像超分辨率方法、装置及计算机可读存储介质 | |
| CN112543317B (zh) | 高分辨率单目2d视频到双目3d视频的转制方法 | |
| CN111681177B (zh) | 视频处理方法及装置、计算机可读存储介质、电子设备 | |
| US20210233210A1 (en) | Method and system of real-time super-resolution image processing | |
| CN103778614A (zh) | 提高图像动态范围 | |
| CN111612722B (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
| CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
| US20220172322A1 (en) | High resolution real-time artistic style transfer pipeline | |
| CN112906721B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112019827B (zh) | 视频图像色彩增强的方法、装置、设备及存储介质 | |
| WO2020259123A1 (zh) | 一种调整图像画质方法、装置及可读存储介质 | |
| WO2022218042A1 (zh) | 视频处理方法、装置、视频播放器、电子设备及可读介质 | |
| Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
| CN115293994B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113837945B (zh) | 一种基于超分辨率重建的显示画质优化方法及系统 | |
| CN111861877A (zh) | 视频超分变率的方法和装置 | |
| US11388348B2 (en) | Systems and methods for dynamic range compression in multi-frame processing | |
| CN115375539A (zh) | 图像分辨率增强、多帧图像超分辨率系统和方法 | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN111031301A (zh) | 一种色域空间调整的方法、存储设备及显示终端 | |
| Khan et al. | Unified implementation of global high dynamic range image tone-mapping algorithms | |
| US20240062342A1 (en) | Machine learning-based approaches for synthetic training data generation and image sharpening | |
| CN116777741A (zh) | 基于场景分析的图像重建方法和装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |