CN107481192A - 图像处理方法、装置、存储介质、计算机程序和电子设备 - Google Patents
图像处理方法、装置、存储介质、计算机程序和电子设备 Download PDFInfo
- Publication number
- CN107481192A CN107481192A CN201710686519.3A CN201710686519A CN107481192A CN 107481192 A CN107481192 A CN 107481192A CN 201710686519 A CN201710686519 A CN 201710686519A CN 107481192 A CN107481192 A CN 107481192A
- Authority
- CN
- China
- Prior art keywords
- image
- reconstruction
- feature
- reconstruction operation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000004590 computer program Methods 0.000 title claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000006854 communication Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置、存储介质、计算机程序和电子设备。其中，图像处理方法包括：对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。采用本发明实施例的技术方案，可以避免图像超分辨率处理过程中图像细节丢失或者失真的问题，提高图像超分辨率效果。
Description
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、存储介质、计算机程序和电子设备。
背景技术
图像超分辨率是指由一幅低分辨率图像或图像序列转换成高分辨率图像，也称为图像上采样技术。对于一些低成本的成像传感器，采用图像超分辨率技术可以克服成像传感器固有的分辨率限制，将成像传感器生成的低分辨率图像转化成高分辨率图像，有利于进行图像分析，可应用在医学、监视、卫星等领域。
发明内容
本发明实施例提供了一种图像超分辨率的技术方案。
根据本发明实施例的第一方面，提供了一种图像处理方法，包括：对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。
可选地，所述重建数据包括当前次重建操作输出的重建图像，和/或当前次重建操作得到的重建图像的偏导数图像。
可选地，所述N次重建操作对应的所述偏导数图像的阶数顺序降低。
可选地，所述偏导数图像为对应的所述重建图像在水平方向和垂直方向的偏导数图像。
可选地，所述对待处理图像的第一特征进行上采样操作，得到第二特征，包括：通过N组向后卷积滤波器对所述第一特征进行上采样操作，分别得到N组第二特征；所述根据所述第二特征分别进行N次重建操作，包括：分别根据所述N组第二特征分别进行N次重建操作。
可选地，所述根据所述第二特征分别进行N次重建操作，包括：通过深度神经网络的重建子网络根据所述第二特征分别进行N次重建操作，其中，所述重建子网络包括N个子分支网络，所述N个子分支网络分别根据第二特征进行重建操作。
可选地，所述方法还包括：提取所述待处理图像的低频分量；所述基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像，包括：基于最后一次重建操作的输出结果和提取的所述低频分量，生成高分辨率图像。
可选地，所述方法还包括：提取所述待处理图像的低频分量；所述基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像，包括：所述最后一次重建操作的输出结果为所述待处理图像的第三特征；所述第三特征进行上采样操作，得到第四特征；根据所述第四特征分别进行M次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述M为大于1的整数；根据所述M次重建操作的输出结果，以及提取到的所述低频分量，生成高分辨率图像。
根据本发明实施例的第二方面，提供了一种图像处理装置，包括：上采样模块，用于对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；重建模块，用于根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；生成模块，用于基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。
可选地，所述重建数据包括当前次重建操作输出的重建图像，和/或当前次重建操作得到的重建图像的偏导数图像。
可选地，所述N次重建操作对应的所述偏导数图像的阶数顺序降低。
可选地，所述偏导数图像为对应的所述重建图像在水平方向和垂直方向的偏导数图像。
可选地，所述上采样模块用于通过N组向后卷积滤波器对所述第一特征进行上采样操作，分别得到N组第二特征；所述重建模块用于分别根据所述N组第二特征分别进行N次重建操作。
可选地，所述重建模块用于通过深度神经网络的重建子网络根据所述第二特征分别进行N次重建操作，其中，所述重建子网络包括N个子分支网络，所述N个子分支网络分别根据第二特征进行重建操作。
可选地，所述装置还包括提取模块，用于提取所述待处理图像的低频分量；所述生成模块用于基于最后一次重建操作的输出结果和提取的所述低频分量，生成高分辨率图像。
可选地，所述装置还包括提取模块，用于提取所述待处理图像的低频分量；所述生成模块用于：所述最后一次重建操作的输出结果为所述待处理图像的第三特征；对所述第三特征进行上采样操作，得到第四特征；根据所述第四特征分别进行M次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述M为大于1的整数；根据所述M次重建操作的输出结果，以及提取到的所述低频分量，生成高分辨率图像。
根据本发明实施例的第三方面，提供了一种一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行时实现本发明实施例提供的任一图像处理方法的步骤。
根据本发明实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本发明实施例提供的任一图像处理方法对应的步骤。
根据本发明实施例的第五方面，提供了一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一图像处理方法对应的步骤。
根据本发明实施例的图像超分辨率方案，在对低分辨率的待处理图像进行图像超分辨率处理过程中，利用渐进引导的方式进行多次重建操作，通过前一次重建操作的重建数据来指导相邻的后一次重建操作，可以避免图像超分辨率处理过程中图像细节丢失或者失真的问题，获得图像超分辨率表现较好的高分辨率图像。
附图说明
图1是根据本发明实施例一的一种图像处理方法的步骤流程图；
图2是根据本发明实施例二的一种图像处理方法的步骤流程图；
图3是根据本发明实施例二提供的一种深度卷积神经网络的结构示意图；
图4是根据本发明实施例二提供的另一种深度卷积神经网络的结构示意图；
图5是根据本发明实施例三的一种图像处理装置结构示意图；
图6是根据本发明实施例四的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
参照图1，示出了根据本发明实施例一的一种图像处理方法的步骤流程图。
本实施例的图像处理方法包括以下步骤：
步骤S102：对待处理图像的第一特征进行上采样操作，得到第二特征。其中，第一特征为待处理图像经卷积特征提取得到。
其中，待处理图像为低分辨率图像，具体可以为任意低分辨成像设备生成的图像。
第一特征为对待处理图像进行卷积特征提取处理后，得到的特征图或特征向量，也即，低分辨率的特征图或特征向量。在本发明实施例中，可以采用任意方法对待处理图像进行处理，来获取对应的第一特征。可选地，通过神经网络(例如深度卷积神经网络)对待处理图像进行特征提取操作，来获取待处理图像的第一特征。
第二特征为对第一特征进行上采样得到的特征图或特征向量，这里，上采样操作为图像超分辨率操作，用于提高低分辨率图像的分辨率，也即，第二特征为高分辨率的特征图或特征向量。
步骤S104：根据第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行。其中，N为大于1的整数，也即，N为2或大于等于2的整数。
其中，首次重建操作可以仅依据第二特征进行；非首次的重建操作的依据除了包括第二特征之外，还包括前一次重建操作的重建数据。也就是说，前一次重建操作的重建数据用于指导相邻的后一次重建操作。
步骤S106：基于最后一次重建操作的输出结果生成待处理图像的高分辨率图像。
最后一次重建操作得到的重建特征图像，相当于根据前N-1次重建操作的重建数据进行重建操作得到的，使得最后一次重建操作得到的重建特征图像，能够包含根据第二特征重建得到的所有重建特征。基于最后一次重建操作的输出结果生成高分辨率图像，避免出现图像细节丢失或者失真的问题。
本发明实施例的图像处理方法，在对低分辨率的待处理图像进行图像超分辨率处理过程中，利用渐进引导的方式进行多次重建操作，通过前一次重建操作的重建数据来指导相邻的后一次重建操作，可以避免图像超分辨率处理过程中图像细节丢失或者失真的问题，获得图像超分辨率表现较好的高分辨率图像。
本发明实施例的图像处理方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种图像处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种关键点检测方法。下文不再赘述。
实施例二
参照图2，示出了根据本发明实施例二的一种图像处理方法的步骤流程图。
本实施例以用于图像超分辨率的深度卷积神经网络为例，来说明本发明实施例的图像处理方法可通过神经网络来实现，但本领域技术人员应当明了，采用其它结构的神经网络或者具有类似结构的神经网络均可参照本实施例实现本发明的过程。
本实施例的图像处理方法包括以下步骤：
步骤S202：获取待处理图像的第一特征。
本实施例中，深度卷积神经网络包括特征提取子网络，用于对低分辨率的待处理图像进行特征提取操作，获取低分辨率的第一特征。
一种可选的实施方式中，深度卷积神经网络采用图3示出的网络结构。深度卷积神经网络包括特征提取子网络，特征提取子网络可以为卷积神经子网络，用于对待处理图像进行卷积特征提取。例如，特征提取子网络包括多个卷积层，每个卷积层中包括多个卷积滤波器，由多个卷积层的多个卷积滤波器对待处理图像进行逐步的卷积特征提取操作，获取第一特征。可选地，特征提取子神经网中包括相邻的两个卷积层之间连接有跳跃连接层(skip-connection)，以及，每个卷积层后连接有激活函数(Rectified Linear Uint，ReLU)层。
步骤S204：对第一特征进行上采样操作，得到第二特征。
可选地，深度卷积神经网络包括上采样子网络，上采样子网络与特征提取子网络连接，用于对特征提取子网络提取的低分辨率的第一特征进行上采样操作(超分辨率操作)，获得高分辨率的第二特征。
一种可选的实施方式中，上采样子网络包括一后向卷积层，后向卷积层包括多个后向卷积滤波器。在上采样子网络进行上采样操作时，通过后向卷积层的包括的多个后向卷积滤波器，对第一特征进行上采样操作，获得多个第二特征。例如，多个后向卷积层滤波器分为N组，通过N组向后卷积滤波器对第一特征进行上采样操作，可分别得到N组第二特征。
步骤S206：根据第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作得到的重建图像和偏导数图像进行。
本实施例中，深度卷积神经网络还包括重建子网络，重建子网络与上采样子网络连接，用于对上采样子网络上采样得到的第二特征进行重建操作。
可选地，重建子网络包括N个子分支网络，N个子分支网络分别根据第二特征进行重建操作，也即，共进行N次重建操作。图3中示出的重建子网络包括3个子分支网络。
例如，上采样子网络通过后向卷积层的N组后向卷积滤波器上采样得到的N组第二特征，分别分配给N个子分支网络，每个子分支网络根据分配得到的第二特征进行重建操作。也即，重建子网络的N个子分支网络共享上采样子网络的后向卷积层。其中，后向卷积层的多个后向卷积滤波器，可以根据为N个子分支网络预设的分配比例分为N组，每组至少包括一个卷积滤波器。这里，预设的分配比例可以由用户进行自定义，需要保证N个子分支网络分配得到的第二特征之和，与上采样子网络中的反向卷积核的总数相等。
在实际应用中，各子分支网络可包括一个或多个卷积层，每个卷积层包括一个或多个卷积滤波器，以利用卷积滤波器来实现重建操作。在这里说明，各子分支网络的卷积层中各卷积层(不包括各子分支网络中的最后一个卷积层)后均可连接激活函数层，以及前述上采样子网络的后向卷积层后也可连接激活函数层。
本实施例中，如图3示出的重建子网络中，N各子分支网络中的首个子分支网络，根据上采样子网络分配的第二特征进行重建操作，并将得到的重建数据输出给下一个子分支网络；非首个子分支网络进行重建操作需要基于上一各子分支网络进行重建操作的重建数据进行。其中，重建数据包括重建操作得到的重建图像和重建图像的偏导数图像。
这里，重建数据包括重建特征图像，根据第二特征和上一次重建操作得到的重建图像进行当前次的重建操作，可以保证最终输出的重建图像包括所有第二特征对应的重建特征，避免出现图像细节丢失或者失真的问题。
以及，重建数据还包括偏导数图像，在进行重建操作时参考上一次重建操作得到的偏导数图像，可以提高图像边缘感知超分辨率，解决在待处理图像产生的高分辨率图像中边缘易失去锐度的问题。可选地，N次重建操作获取的偏导数图像的阶数不同，以进一步提高N次重建操作最终输出的高分辨率特征图像的质量。例如，N次重建操作获取的偏导数图像的阶数按照从前向后的顺序降低，或者N个子分支网络获取的偏导数图像的阶数按照从前向后的顺序降低；再例如，各子分支网络获取的偏导数图像的阶数为子分支网络的总数N与当前子分支网络的顺序数的差值。当然，在其他实施例中，各子分支网络获取的偏导数图像的阶数也可以采用其他方式进行确定。其中，偏导数图像可以为重建操作得到的高分辨率重建特征图像在水平方向和垂直方向上的偏导数图像，用于使得参考偏导数图像进行的重建操作所得到的高分辨率图像的具有清晰边缘。
S208：提取待处理图像的低频分量。
可选地，本实施例的深度卷积神经网络还包括低频分量子网络，用于采用简单插值法(例如双三次插值法)等方法对待处理图像进行处理，获取待处理图像的低频分量。
可以理解的是，步骤S208可以发生在步骤S210之前的任一时间，与步骤S208之前的步骤没有严格的时序关系。
S210：基于最后一次重建操作的输出结果和提取的低频分量，生成待处理图像的高分辨率图像。
最后一次重建操作输出的重建特征图像，也就是N次重建操作的输出结果，实际为生成高分辨率图像的高频分量。提取的待处理图像的低频分量，可视为高分辨率图像缺失的低频分量。根据高频分量和缺失的低频分量来生成高分辨率图像，可以获得完整的高分辨率图像。
本实施例中，深度卷积神经网络可以包括低频分量子网络和高频分量子网络，步骤S208可以通过低频分量子网络执行，步骤S202至步骤S206可以通过高频分量子网络执行，也即，高频分量子网络可以包括图3中示出的特征提取子网络、上采样子网络和重建子网络。将高频分量网络输出的高频高分辨率图像，与低频分量子网络输出高频分辨率图像缺失的低频分量相结合，即可获得完整的高分辨率图像。另外，步骤S208的执行顺序可以在实际的应用场景中进行相应调整。
在实际应用中，上采样子网络进行的上采样操作和重建子网络进行的重建操作，可视为超分辨率处理，也即，上采样子网络和重建子网络可以一起组成超分辨率处理模块。
可选地，深度神经网络包括至少两个超分辨率处理模块。如图4所示，至少两个超分辨率处理模块依次连接，前一个超分辨率处理模块的重建子网络与相邻的后一个超分辨率处理模块的上采样子网络连接。其中，首个超分辨率处理模块可以为如前所述的上采样子网络和重建子网络；非首个超分辨率处理模块的上采样子网络，对前一超分辨率处理模块的重建子网络输出的重建特征图像进行上采样操作，得到当前超分辨率处理模块的第二特征；重建子网络根据该第二特征进行重建操作。
例如，在前述重建子网络进行N次重建操作之后，将最后一次重建操作的输出结果作为待处理图像的第三特征；并对第三特征进行上采样操作，得到第四特征；根据第四特征分别进行M次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，M为大于1的整数，根据M次重建操作的输出结果，以及提取到的所述低频分量，生成高分辨率图像。
也即，首个超分辨率处理模块的重建子网络包括N个子分支网络，第二个超分辨率处理模块的重建子网络包括M个子分支网络。这里，为了简化深度卷积神经网络的结构，N可以等于M，以及，各超分辨率处理模块的上采样子网络执行上采样操作的上采样因子也可以相等。也就是说，各超分辨率处理模块的结构相同。当然，N也可以不等于M，各超分辨率处理模块对应的上采样因子也可以不同。
一种可选的实施方式中，深度卷积神经网络包括m个超分辨率处理模块。m个超分辨率处理模块结构相同，也即，各超分辨率处理模块均对应同一个上采样因子s，重建子网络包括相同个数的子分支网络。第一个超分辨率处理模块可以输出s倍(分辨率为输入待处理图像的分辨率的s倍)的高分辨率图像，第二个超分辨率处理模块输出s2倍的高分辨率图像，第m个超分辨率处理模块输出sm倍的高分辨率图像。在具体的应用场景中，深度卷积神经网络的超分辨率处理模块的具体数量，以及超分辨率处理模块进行上采样的上采样因子，可以根据需求的最终目标高分辨率图像的应用场景的需求分辨率与待处理图像的最初分辨率之间的差别进行确定。
本发明实施例的图像处理方法，在对低分辨率的待处理图像进行图像超分辨率处理过程中，利用渐进引导的方式进行多次重建操作，通过前一次重建操作的重建数据来指导相邻的后一次重建操作，可以避免图像超分辨率处理过程中图像细节丢失或者失真的问题，获得图像超分辨率表现较好的高分辨率图像；并且，利用多个超分辨率处理模块进行多次的图像超分辨率处理，以及结合缺失的低频分量来获取完整的目标高分辨率图像，进一步提高了图像超分辨率效果。
实施例三
参照图5，示出了根据本发明实施例三的一种图像处理装置的结构框图。
本实施例的图像处理装置，包括：上采样模块302，用于对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；重建模块304，用于根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；生成模块306，用于基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。
可选地，所述重建数据包括当前次重建操作输出的重建图像，和/或当前次重建操作得到的重建图像的偏导数图像。
可选地，所述N次重建操作对应的所述偏导数图像的阶数顺序降低。
可选地，所述偏导数图像为对应的所述重建图像在水平方向和垂直方向的偏导数图像。
可选地，所述上采样模块302用于通过N组向后卷积滤波器对所述第一特征进行上采样操作，分别得到N组第二特征；所述重建模块用于分别根据所述N组第二特征分别进行N次重建操作。
可选地，所述重建模块304用于通过深度神经网络的重建子网络根据所述第二特征分别进行N次重建操作，其中，所述重建子网络包括N个子分支网络，所述N个子分支网络分别根据第二特征进行重建操作。
可选地，所述装置还包括提取模块308，用于提取所述待处理图像的低频分量；所述生成模块306用于基于最后一次重建操作的输出结果和提取的所述低频分量，生成高分辨率图像。
可选地，所述装置还包括提取模块308，用于提取所述待处理图像的低频分量；所述生成模块306用于：所述最后一次重建操作的输出结果为所述待处理图像的第三特征；对所述第三特征进行上采样操作，得到第四特征；根据所述第四特征分别进行M次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述M为大于1的整数；根据所述M次重建操作的输出结果，以及提取到的所述低频分量，生成高分辨率图像。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本发明实施例提供的任一图像处理方法的步骤。
本实施例还提供一种计算机程序，其包括有计算机程序指令，所述程序指令被处理器执行时用于实现本发明实施例提供的任一图像处理方法的步骤。
实施例四
本发明实施例四提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备400的结构示意图：如图6所示，电子设备400包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像超分辨率器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件412和/或通信接口409。其中，通信组件412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口409包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口409经由诸如因特网的网络执行通信处理。
处理器可与只读存储器402和/或随机访问存储器403中通信以执行可执行指令，通过通信总线404与通信组件412相连、并经通信组件412与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。
此外，在RAM 403中，还可存储有装置操作所需的各种程序和数据。CPU401或GPU413、ROM402以及RAM403通过通信总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至通信总线404。通信组件412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口409。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (10)
1.一种图像处理方法，包括：
对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；
根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；
基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。
2.根据权利要求1所述的方法，其中，所述重建数据包括当前次重建操作输出的重建图像，和/或
当前次重建操作得到的重建图像的偏导数图像。
3.根据权利要求2所述的方法，其中，所述N次重建操作对应的所述偏导数图像的阶数顺序降低。
4.根据权利要求2所述的方法，其中，所述偏导数图像为对应的所述重建图像在水平方向和垂直方向的偏导数图像。
5.根据权利要求1至4中任一项所述的方法，其中，所述对待处理图像的第一特征进行上采样操作，得到第二特征，包括：
通过N组向后卷积滤波器对所述第一特征进行上采样操作，分别得到N组第二特征；
所述根据所述第二特征分别进行N次重建操作，包括：
分别根据所述N组第二特征分别进行N次重建操作。
6.根据权利要求1至5中任一项所述的方法，其中，所述根据所述第二特征分别进行N次重建操作，包括：
通过深度神经网络的重建子网络根据所述第二特征分别进行N次重建操作，其中，所述重建子网络包括N个子分支网络，所述N个子分支网络分别根据第二特征进行重建操作。
7.一种图像处理装置，包括：
上采样模块，用于对待处理图像的第一特征进行上采样操作，得到第二特征，所述第一特征为所述待处理图像经卷积特征提取得到；
重建模块，用于根据所述第二特征分别进行N次重建操作，其中，非首次的重建操作需要基于上一次重建操作的重建数据进行，所述N为大于1的整数；
生成模块，用于基于最后一次重建操作的输出结果生成所述待处理图像的高分辨率图像。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1至6中任一项所述图像处理方法的步骤。
9.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至6中任一项所述图像处理方法对应的步骤。
10.一种计算机程序，其包括有计算机程序指令，其中，所述程序指令被处理器执行时用于实现权利要求1至6中任一项所述图像处理方法对应的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686519.3A CN107481192B (zh) | 2017-08-11 | 2017-08-11 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686519.3A CN107481192B (zh) | 2017-08-11 | 2017-08-11 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107481192A true CN107481192A (zh) | 2017-12-15 |
| CN107481192B CN107481192B (zh) | 2021-08-24 |
Family
ID=60599448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710686519.3A Active CN107481192B (zh) | 2017-08-11 | 2017-08-11 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107481192B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961161A (zh) * | 2018-05-24 | 2018-12-07 | 上海商汤智能科技有限公司 | 一种图像数据处理方法、装置和计算机存储介质 |
| CN109658346A (zh) * | 2018-11-13 | 2019-04-19 | 达闼科技（北京）有限公司 | 图像修复方法、装置、计算机可读存储介质及电子设备 |
| CN109949259A (zh) * | 2019-03-29 | 2019-06-28 | 合肥工业大学 | 基于渐进优化网络的车窗图像细节增强方法及其装置 |
| CN110288518A (zh) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN111815546A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 图像重建方法以及相关设备、装置 |
| WO2024032331A1 (zh) * | 2022-08-12 | 2024-02-15 | 中国电信股份有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976435A (zh) * | 2010-10-07 | 2011-02-16 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
| CN106204489A (zh) * | 2016-07-12 | 2016-12-07 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
| CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
-
2017
- 2017-08-11 CN CN201710686519.3A patent/CN107481192B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976435A (zh) * | 2010-10-07 | 2011-02-16 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
| CN106204489A (zh) * | 2016-07-12 | 2016-12-07 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
| CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHAO DONG等: "Learning a Deep Convolutional network for Image Super-Resolution", 《ECCV 2014》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961161A (zh) * | 2018-05-24 | 2018-12-07 | 上海商汤智能科技有限公司 | 一种图像数据处理方法、装置和计算机存储介质 |
| CN108961161B (zh) * | 2018-05-24 | 2023-09-22 | 上海商汤智能科技有限公司 | 一种图像数据处理方法、装置和计算机存储介质 |
| CN109658346A (zh) * | 2018-11-13 | 2019-04-19 | 达闼科技（北京）有限公司 | 图像修复方法、装置、计算机可读存储介质及电子设备 |
| CN109949259A (zh) * | 2019-03-29 | 2019-06-28 | 合肥工业大学 | 基于渐进优化网络的车窗图像细节增强方法及其装置 |
| CN110288518A (zh) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN111815546A (zh) * | 2020-06-23 | 2020-10-23 | 浙江大华技术股份有限公司 | 图像重建方法以及相关设备、装置 |
| WO2024032331A1 (zh) * | 2022-08-12 | 2024-02-15 | 中国电信股份有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107481192B (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107481192A (zh) | 图像处理方法、装置、存储介质、计算机程序和电子设备 | |
| Zhao et al. | Efficient image super-resolution using pixel attention | |
| Muqeet et al. | Multi-attention based ultra lightweight image super-resolution | |
| US20180300855A1 (en) | Method and a system for image processing | |
| Shan et al. | Fast image/video upsampling | |
| CN111681166B (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| Ma et al. | Image superresolution via dense discriminative network | |
| CN109389552A (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| CN110163237A (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN108154474A (zh) | 一种超分辨率图像重构方法、装置、介质及设备 | |
| CN108109109A (zh) | 一种超分辨率图像重构方法、装置、介质及计算设备 | |
| CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
| CN108765282B (zh) | 基于fpga的实时超分辨方法及系统 | |
| CN109117944A (zh) | 一种轮船目标遥感影像的超分辨率重建方法及系统 | |
| CN112215755A (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| US11887218B2 (en) | Image optimization method, apparatus, device and storage medium | |
| CN108665509A (zh) | 一种超分辨率重构方法、装置、设备及可读存储介质 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN108921801A (zh) | 用于生成图像的方法和装置 | |
| CN106709898A (zh) | 一种图像融合方法及装置 | |
| CN112675545A (zh) | 地表仿真画面的显示方法和装置、存储介质及电子设备 | |
| Li et al. | Lightweight adaptive weighted network for single image super-resolution | |
| Zou et al. | Joint wavelet sub-bands guided network for single image super-resolution | |
| CN110490795B (zh) | 利用经由蓝噪声采样选择的像素集来缩小图像 | |
| CN112767255B (zh) | 基于特征分离融合网络的图像超分辨率重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |