CN113610705A - 用于超分重建的图像去交织方法及装置 - Google Patents

用于超分重建的图像去交织方法及装置 Download PDF

Info

Publication number
CN113610705A
CN113610705A CN202110698509.8A CN202110698509A CN113610705A CN 113610705 A CN113610705 A CN 113610705A CN 202110698509 A CN202110698509 A CN 202110698509A CN 113610705 A CN113610705 A CN 113610705A
Authority
CN
China
Prior art keywords
image
reconstruction
reconstructed
super
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110698509.8A
Other languages
English (en)
Inventor
潘文培
宋松言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allwinner Technology Co Ltd
Original Assignee
Allwinner Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allwinner Technology Co Ltd filed Critical Allwinner Technology Co Ltd
Priority to CN202110698509.8A priority Critical patent/CN113610705A/zh
Publication of CN113610705A publication Critical patent/CN113610705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于超分重建的图像去交织方法及装置，该方法包括：确定重建基础图像以及超分重建放大系数；确定目标重建图像中的像素交织信息；所述目标重建图像为所述重建基础图像重建后对应的图像；根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。可见，本发明能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。

Description

用于超分重建的图像去交织方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于超分重建的图像去交织方法及装置。
背景技术
为了实现更高画质的视频传输，业内常用的方法是结合图像超分辨率重建技术来减轻带宽和内存的压力，例如市面上常见的“假4K摄像机”，从摄像头获取低分辨率的图像，抑或是先对摄像头获取的高分辨率图像进行下采样以节省资源，仅在编码前，再进行图像超分辨率重建得到高分辨率的4K图像，最后对4K图像进行编码录像。同时，再结合图像压缩技术对过程中的低分辨率图像进行压缩，以实现最大化的节省带宽和内存的目的。
然而，对于视频编解码这类需要按块处理的场景而言，图像压缩与超分辨率重建难以实现在线运算，现有技术中，通常两模块都是独立的两个过程，先进行解压缩得到整幅图像，再进行超分辨率重建。也正是由于这样的原因，就无法达到图像压缩的目的，所以在芯片级的视频图像处理方案中，通常都不会同时级联的使用图像压缩与超分辨率重建。在视频编码这类需要按块输出的场景中，难以实现在线解压缩与超分辨率重建，原因如下：
在图像超分辨率重建过程中，对放大后的图像的每一像素，都需要根据放大倍率映射到原始图像中，得到对应的亚像素位置，再取该位置邻域的整数像素，插值计算得到该亚像素位置的像素值，作为超分辨率图像最终的像素值。
但对常用的压缩算法而言，压缩宏块间通常有关联性，即无法实现宏块的独立解码，任一宏块的解码都需要参考其领域信息。对这类场景而言，通常无法应用缩放技术。因为当出现像素交织时，相邻的图像块映射到相同的整数像素行中，此时由于上一个宏块的解码过程中已经包含了该亚像素行对应的整数像素，那么在计算下一个映射块的重建图像时，就需同时解码两个压缩宏块作为输入，这就意味着读取数据的带宽将增大一倍，运算量也增大一倍，这就与引入压缩期望达成的省带宽目标相违背。
现有技术针对这类交织问题，硬件设计中常见的做法是采用缓存器对交织数据进行缓存，但由于输入数据是以压缩宏块为单位，而交织情况是受到宏块大小以及缩放倍率所影响，使得缓存器的大小难以确定，最坏的情况下需要缓存所有像素行，这样的代价是硬件设计所无法接受。可见，现有技术中存在缺陷，亟待解决。
发明内容
本发明所要解决的技术问题在于，提供一种用于超分重建的图像去交织方法及装置，能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
为了解决上述技术问题，本发明第一方面公开了一种用于超分重建的图像去交织方法，所述方法包括：
确定重建基础图像以及超分重建放大系数；
确定目标重建图像中的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述重建基础图像的同一像素行；所述目标重建图像为所述重建基础图像重建后对应的图像；
根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。
作为一个可选的实施方式，在本发明第一方面中，所述超分重建放大系数大于所述重建基础图像对应的预设重建放大系数。
作为一个可选的实施方式，在本发明第一方面中，所述根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息，包括：
对于所述目标重建图像中的任一重建对应图像块，确定该重建对应图像块对应的原始映射坐标，并判断该重建对应图像块与上一重建对应图像块是否存在交织像素；所述上一重建对应图像块为重建顺序中处于该重建对应图像块前一顺位的重建对应图像块；
当判断结果为否时，不对所述原始映射坐标做出改变；
当判断结果为是时，确定映射坐标偏移信息；所述映射坐标偏移信息用于指示对该重建对应图像块以及其之后的所有重建对应图像块的所述原始映射坐标的向下偏移距离。
作为一个可选的实施方式，在本发明第一方面中，所述交织像素为所述目标压缩图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
作为一个可选的实施方式，在本发明第一方面中，所述确定该重建对应图像块对应的原始映射坐标，包括：
确定该重建对应图像块中的像素坐标；
根据所述超分重建放大系数，将所述像素坐标映射至所述重建基础图像中，以得到所述重建基础图像中的对应的亚像素坐标；
将所述亚像素坐标确定为原始映射坐标。
作为一个可选的实施方式，在本发明第一方面中，所述确定映射坐标偏移信息，包括：
确定所述重建基础图像中，在所述交织像素下方，距离所述交织像素最近的整数坐标；
根据所述整数坐标和所述交织像素之间的距离，确定映射坐标偏移信息。
作为一个可选的实施方式，在本发明第一方面中，所述确定映射坐标偏移信息之后，所述方法还包括：
根据所述映射坐标偏移信息，以及所述原始映射坐标，确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标。
本发明实施例第二方面公开了一种用于超分重建的图像去交织装置，所述装置包括：
系数确定模块，用于确定重建基础图像以及超分重建放大系数；
交织确定模块，用于确定目标重建图像中的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述重建基础图像的同一像素行；所述目标重建图像为所述重建基础图像重建后对应的图像；
位移确定模块，用于根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。
作为一个可选的实施方式，在本发明第二方面中，所述超分重建放大系数大于所述重建基础图像对应的预设重建放大系数。
作为一个可选的实施方式，在本发明第二方面中，所述位移确定模块包括：
判断单元，用于对于所述目标重建图像中的任一重建对应图像块，确定该重建对应图像块对应的原始映射坐标，并判断该重建对应图像块与上一重建对应图像块是否存在交织像素；所述上一重建对应图像块为重建顺序中处于该重建对应图像块前一顺位的重建对应图像块；
确定单元，用于当判断结果为否时，不对所述原始映射坐标做出改变，以及用于当判断结果为是时，确定映射坐标偏移信息；所述映射坐标偏移信息用于指示对该重建对应图像块以及其之后的所有重建对应图像块的所述原始映射坐标的向下偏移距离。
作为一个可选的实施方式，在本发明第二方面中，所述交织像素为所述目标压缩图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
作为一个可选的实施方式，在本发明第二方面中，所述判断单元确定该重建对应图像块对应的原始映射坐标的具体方式，包括：
确定该重建对应图像块中的像素坐标；
根据所述超分重建放大系数，将所述像素坐标映射至所述重建基础图像中，以得到所述重建基础图像中的对应的亚像素坐标；
将所述亚像素坐标确定为原始映射坐标。
作为一个可选的实施方式，在本发明第二方面中，所述确定单元确定映射坐标偏移信息的具体方式，包括：
确定所述重建基础图像中，在所述交织像素下方，距离所述交织像素最近的整数坐标；
根据所述整数坐标和所述交织像素之间的距离，确定映射坐标偏移信息。
作为一个可选的实施方式，在本发明第二方面中，所述确定单元确定映射坐标偏移信息之后，还用于根据所述映射坐标偏移信息，以及所述原始映射坐标，确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标。
本发明第三方面公开了另一种用于超分重建的图像去交织装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的用于超分重建的图像去交织方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的用于超分重建的图像去交织方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，公开了一种用于超分重建的图像去交织方法及装置，该方法包括：确定重建基础图像以及超分重建放大系数；确定目标重建图像中的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述重建基础图像的同一像素行；所述目标重建图像为所述重建基础图像重建后对应的图像；根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。可见，本发明实施例能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种用于超分重建的图像去交织方法的流程示意图。
图2是本发明实施例公开的另一种用于超分重建的图像去交织方法的流程示意图。
图3是本发明实施例公开的一种用于超分重建的图像去交织装置的结构示意图。
图4是本发明实施例公开的另一种用于超分重建的图像去交织装置的结构示意图。
图5是本发明实施例公开的又一种用于超分重建的图像去交织装置的结构示意图。
图6是本发明实施例公开的一种图像重建中存在像素交织的示意图；
图7是本发明实施例公开的一种图像去交织方法的具体实施方案示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先，在进一步阐述本发明公开的实施例前，先对本发明中所涉及的，重建中存在的像素交织这一技术细节进行解释，参照图6，在一个具体的技术场景中，需要最终输出宏块大小为16x16的目标重建图像，假设缩放倍率为1.25倍，则其映射的重建基础图像的宏块高度实际为12.8，其中，重建基础图像也即目标压缩图像解压后的图像。由图6可见，目标重建图像中的图像块1和图像块2在映射到重建基础图像中的映射块1和映射块2时，映射块1和映射块2存在部分映射的像素是同时处于重建基础图像的标号为13的这一亚像素行内的，此时由于映射块1的解码过程中已经包含了该亚像素行对应的整数像素，那么在计算映射块2的重建图像时，就需同时解码两个压缩图像宏块(也即映射块1和映射块2分别对应的目标压缩图像中的图像块)作为输入，这就意味着读取数据的带宽将增大一倍，运算量也增大一倍，存在问题。
正是为了解决上述问题，本发明公开了一种用于超分重建的图像去交织方法及装置，能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种用于超分重建的图像去交织方法的流程示意图。其中，图1所描述的用于超分重建的图像去交织方法应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图1所示，该用于超分重建的图像去交织方法可以包括以下操作：
101、确定重建基础图像以及超分重建放大系数。
本发明实施例中，重建基础图像可以为欲进行超分重建的低分辨率图像，其可以为将目标压缩图像进行解压后得到的图像。可选的，超分重建放大系数可以为重建基础图像对应的放大系数。优选的，超分重建放大系数大于重建基础图像对应的预设重建放大系数，其中，预设重建放大系数可以为重建基础图像被重建成目标重建图像时所需要的最低放大系数。通过这样设置，可以将重建基础图像重建为分辨率更高的图像，以为后续的映射坐标下移的操作预留操作的空间，以使得后续的操作不会影响最终重建得到的图像的分辨率。
102、确定目标重建图像中的像素交织信息。
本发明实施例中，目标重建图像为重建基础图像重建后对应的图像，可选的，像素交织信息用于指示目标重建图像中存在至少两个图像块的重建像素映射于重建基础图像的同一像素行。由上面的表述可知，这类像素交织信息会使得超分重建的解压缩过程存在带宽成本高，效率慢的问题，因此需要执行相应的解决措施。
103、根据像素交织信息，以及超分重建放大系数，确定重建基础图像对应的重建位移信息。
本发明实施例中，重建位移信息用于指示重建基础图像在进行超分重建时目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离，通过这样操作，在存在像素交织信息时，意味着相邻重建宏块被映射至交织的像素，从而将图像宏块的映射坐标向下偏移，以忽略掉交织的像素，有利于后续重建时不必像现有技术一样，被交织像素所引导进行二次解压。
可见，上述发明实施例能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，步骤103中的，根据像素交织信息，以及超分重建放大系数，确定重建基础图像对应的重建位移信息，包括：
对于目标重建图像中的任一重建对应图像块，确定该重建对应图像块对应的原始映射坐标，并判断该重建对应图像块与上一重建对应图像块是否存在交织像素；
当判断结果为否时，不对原始映射坐标做出改变；
当判断结果为是时，确定映射坐标偏移信息。
本发明实施例中，交织像素为目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于当前解压对应图像块与上一解压对应图像块的像素行。
本发明实施例中，映射坐标偏移信息用于指示对该重建对应图像块以及其之后的所有重建对应图像块的原始映射坐标的向下偏移距离。通过这样操作，在存在像素交织信息时，意味着相邻重建宏块被映射至交织的像素，从而将图像宏块的映射坐标向下偏移，以忽略掉交织的像素，有利于后续重建时不必像现有技术一样，被交织像素所引导进行二次解压。
本发明实施例中，上一重建对应图像块为重建顺序中处于该重建对应图像块前一顺位的重建对应图像块。
可见，通过该可选的实施方式，可以在判断到该重建对应图像块与上一重建对应图像块是否存在交织像素时，确定映射坐标偏移信息，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，上述步骤中的，确定该重建对应图像块对应的原始映射坐标，包括：
确定该重建对应图像块中的像素坐标；
根据超分重建放大系数，将像素坐标映射至重建基础图像中，以得到重建基础图像中的对应的亚像素坐标；
将亚像素坐标确定为原始映射坐标。
可见，通过该可选的实施方式，可以根据超分重建放大系数，将该重建对应图像块中的像素坐标映射至重建基础图像中，以得到重建基础图像中的对应的亚像素坐标，从而可以得到准确的原始映射坐标，进而使得最终得到映射坐标偏移信息可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，上述步骤中的，确定映射坐标偏移信息，包括：
确定重建基础图像中，在交织像素下方，距离交织像素最近的整数坐标；
根据整数坐标和交织像素之间的距离，确定映射坐标偏移信息。
可见，通过该可选的实施方式确定出的映射坐标偏移信息，可以使得该重建对应图像块以及其之后的所有重建对应图像块的原始映射坐标均向下偏移至最近的整数坐标，从而使得后续重建时可以有效避开交织像素，以降低最终进行超分重建时的数据读取带宽要求和运算量，使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，确定映射坐标偏移信息之后，该方法还包括：
根据映射坐标偏移信息，以及原始映射坐标，确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标。
可见，通过该可选的实施方式，能够根据映射坐标偏移信息确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标，从而使得在多次判断到交织像素信息的情况下可以让所有后面的重建对应图像块的映射坐标均往后偏移，使得后续重建时可以有效避开交织像素，以降低最终进行超分重建时的数据读取带宽要求和运算量，使得在线的图像解压和超分重建可以实现。
下面结合图6示出的像素交织情况对本实施例公开的方法进行一种具体实施方案的阐述，具体的，可以参照图7，本方案从图像超分辨率重建端进行改进，采用去宏块交织算法，在交织处进行去交织运算，以保证所有宏块高度一致，其包括以下步骤：
1、将实际重建放大倍率设置为比预设倍率更大的数值，例如预设放大1.5倍时，可设置实际放大系数为1.6倍；
2、根据实际放大系数对图像进行超分辨率重建；
3、判断：若相邻的两个图像块中的像素，映射回原图时所对应的宏块存在交织(即上面的图像块的最后一行像素所映射到原图的亚像素，与下方图像块的第一行像素所映射到原图的亚像素位于同一亚像素行)，则计算出下方亚像素位置距离下一个整数位置的偏移量D。对该交织图像块第一行及其下方所有行的像素，将其映射位置按照偏移量D进行整体偏移，如图7所示。即按照原始的映射关系计算得到原始的映射坐标后，再对其y坐标加上偏移量D。也就相当于修正了交织行之后的所有像素在插值复原时的初始相位。
4、当再次发生交织时，累加偏移量，之后又如步骤3一样，对交织行之后的所有像素按照新的偏移量进行整体偏移，也即再次修正了该交织行之后的所有像素的初始相位。
实施例二
请参阅图2，图2是本发明实施例公开的另一种用于超分重建的图像去交织方法的流程示意图。其中，图2所描述的用于超分重建的图像去交织方法应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图2所示，该用于超分重建的图像去交织方法可以包括以下操作：
201、确定重建基础图像以及超分重建放大系数。
202、确定目标重建图像中的像素交织信息。
203、根据像素交织信息，以及超分重建放大系数，确定重建基础图像对应的重建位移信息。
本发明实施例中，针对步骤201-203的相关描述请参照实施例一中针对步骤101-步骤103的详细描述，本发明实施例不再赘述。
204、基于重建位移信息，以及超分重建放大系数，对重建基础图像进行超分重建以得到目标重建图像。
本发明实施例，超分重建即指超分辨率重建，具体的，可以使用神经网络算法来实现，本发明对此不做限定。
可见，上述发明实施例能够基于重建位移信息，以及超分重建放大系数，对重建基础图像进行超分重建以得到目标重建图像，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
在一个可选的实施方式中，上述步骤204中的，基于重建位移信息，以及超分重建放大系数，对重建基础图像进行超分重建以得到目标重建图像，包括：
对重建基础图像执行超分重建操作，针对重建基础图像中的每一重建宏块，确定重建基础图像的当前重建宏块的对应的最终映射坐标；
根据最终映射坐标和超分重建放大系数，对当前重建宏块进行超分重建。
本发明实施例中，最终映射坐标为根据实施例一中的方法得到的映射坐标偏移信息对原始映射坐标修正后得到的坐标。
可见，通过该可选的实施方式，可以针对重建基础图像中的每一重建宏块，根据最终映射坐标和超分重建放大系数，对当前重建宏块进行超分重建，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
实施例三
请参阅图3，图3是本发明实施例公开的一种用于超分重建的图像去交织装置的结构示意图。其中，图3所描述的用于超分重建的图像去交织装置应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图3所示，该用于超分重建的图像去交织装置可以包括：
系数确定模块301，用于确定重建基础图像以及超分重建放大系数。
本发明实施例中，重建基础图像可以为欲进行超分重建的低分辨率图像，其可以为将目标压缩图像进行解压后得到的图像。可选的，超分重建放大系数可以为重建基础图像对应的放大系数。优选的，超分重建放大系数大于重建基础图像对应的预设重建放大系数，其中，预设重建放大系数可以为重建基础图像被重建成目标重建图像时所需要的最低放大系数。通过这样设置，可以将重建基础图像重建为分辨率更高的图像，以为后续的映射坐标下移的操作预留操作的空间，以使得后续的操作不会影响最终重建得到的图像的分辨率。
交织确定模块302，用于确定目标重建图像中的像素交织信息。
本发明实施例中，目标重建图像为重建基础图像重建后对应的图像，可选的，像素交织信息用于指示目标重建图像中存在至少两个图像块的重建像素映射于重建基础图像的同一像素行。由上面的表述可知，这类像素交织信息会使得超分重建的解压缩过程存在带宽成本高，效率慢的问题，因此需要执行相应的解决措施。
位移确定模块303，用于根据像素交织信息，以及超分重建放大系数，确定重建基础图像对应的重建位移信息。
本发明实施例中，重建位移信息用于指示重建基础图像在进行超分重建时目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离，通过这样操作，在存在像素交织信息时，意味着相邻重建宏块被映射至交织的像素，从而将图像宏块的映射坐标向下偏移，以忽略掉交织的像素，有利于后续重建时不必像现有技术一样，被交织像素所引导进行二次解压。
可见，上述发明实施例能够根据图像中的重建像素交织情况，在图像重建时调整映射坐标的位置，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，如图4所示，位移确定模块303包括：
判断单元3031，用于对于目标重建图像中的任一重建对应图像块，确定该重建对应图像块对应的原始映射坐标，并判断该重建对应图像块与上一重建对应图像块是否存在交织像素；
确定单元3032，用于当判断结果为否时，不对原始映射坐标做出改变，以及用于当判断结果为是时，确定映射坐标偏移信息。
本发明实施例中，交织像素为目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于当前解压对应图像块与上一解压对应图像块的像素行。
本发明实施例中，映射坐标偏移信息用于指示对该重建对应图像块以及其之后的所有重建对应图像块的原始映射坐标的向下偏移距离。通过这样操作，在存在像素交织信息时，意味着相邻重建宏块被映射至交织的像素，从而将图像宏块的映射坐标向下偏移，以忽略掉交织的像素，有利于后续重建时不必像现有技术一样，被交织像素所引导进行二次解压。
本发明实施例中，上一重建对应图像块为重建顺序中处于该重建对应图像块前一顺位的重建对应图像块。
可见，通过该可选的实施方式，可以在判断到该重建对应图像块与上一重建对应图像块是否存在交织像素时，确定映射坐标偏移信息，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，判断单元3031确定该重建对应图像块对应的原始映射坐标的具体方式，包括：
确定该重建对应图像块中的像素坐标；
根据超分重建放大系数，将像素坐标映射至重建基础图像中，以得到重建基础图像中的对应的亚像素坐标；
将亚像素坐标确定为原始映射坐标。
可见，通过该可选的实施方式，可以根据超分重建放大系数，将该重建对应图像块中的像素坐标映射至重建基础图像中，以得到重建基础图像中的对应的亚像素坐标，从而可以得到准确的原始映射坐标，进而使得最终得到映射坐标偏移信息可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，确定单元3032确定映射坐标偏移信息的具体方式，包括：
确定重建基础图像中，在交织像素下方，距离交织像素最近的整数坐标；
根据整数坐标和交织像素之间的距离，确定映射坐标偏移信息。
可见，通过该可选的实施方式确定出的映射坐标偏移信息，可以使得该重建对应图像块以及其之后的所有重建对应图像块的原始映射坐标均向下偏移至最近的整数坐标，从而使得后续重建时可以有效避开交织像素，以降低最终进行超分重建时的数据读取带宽要求和运算量，使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，确定单元3032确定映射坐标偏移信息之后，还用于根据映射坐标偏移信息，以及原始映射坐标，确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标。
可见，通过该可选的实施方式，能够根据映射坐标偏移信息确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标，从而使得在多次判断到交织像素信息的情况下可以让所有后面的重建对应图像块的映射坐标均往后偏移，使得后续重建时可以有效避开交织像素，以降低最终进行超分重建时的数据读取带宽要求和运算量，使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，如图4所示，该装置还包括：
重建模块304，用于基于重建位移信息，以及超分重建放大系数，对重建基础图像进行超分重建以得到目标重建图像。
本发明实施例，超分重建即指超分辨率重建，具体的，可以使用神经网络算法来实现，本发明对此不做限定。
可见，上述发明实施例能够基于重建位移信息，以及超分重建放大系数，对重建基础图像进行超分重建以得到目标重建图像，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
在一个可选的实施方式中，重建模块304基于重建位移信息，以及超分重建放大系数，对重建基础图像进行超分重建以得到目标重建图像的具体方式，包括：
对重建基础图像执行超分重建操作，针对重建基础图像中的每一重建宏块，确定重建基础图像的当前重建宏块的对应的最终映射坐标；
根据最终映射坐标和超分重建放大系数，对当前重建宏块进行超分重建。
本发明实施例中，最终映射坐标为根据实施例一中的方法得到的映射坐标偏移信息对原始映射坐标修正后得到的坐标。
可见，通过该可选的实施方式，可以针对重建基础图像中的每一重建宏块，根据最终映射坐标和超分重建放大系数，对当前重建宏块进行超分重建，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
实施例四
请参阅图5，图5是本发明实施例公开的又一种用于超分重建的图像去交织装置。图5所描述的用于超分重建的图像去交织装置应用于图像处理系统/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图5所示，该用于超分重建的图像去交织装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
其中，处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的用于超分重建的图像去交织方法的步骤。
实施例五
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的用于超分重建的图像去交织方法的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可信息来使计算机执行实施例一或实施例二所描述的用于超分重建的图像去交织方法的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-OnlyMemory，ROM)、随机存储器(RandomAccessMemory，RAM)、可编程只读存储器(ProgrammableRead-onlyMemory，PROM)、可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory，EPROM)、一次可编程只读存储器(One-timeProgrammableRead-OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically-ErasableProgrammableRead-OnlyMemory，EEPROM)、只读光盘(CompactDiscRead-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种用于超分重建的图像去交织方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种用于超分重建的图像去交织方法，其特征在于，所述方法包括：
确定重建基础图像以及超分重建放大系数；
确定目标重建图像中的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述重建基础图像的同一像素行；所述目标重建图像为所述重建基础图像重建后对应的图像；
根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。
2.根据权利要求1所述的用于超分重建的图像去交织方法，其特征在于，所述超分重建放大系数大于所述重建基础图像对应的预设重建放大系数。
3.根据权利要求2所述的用于超分重建的图像去交织方法，其特征在于，所述根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息，包括：
对于所述目标重建图像中的任一重建对应图像块，确定该重建对应图像块对应的原始映射坐标，并判断该重建对应图像块与上一重建对应图像块是否存在交织像素；所述上一重建对应图像块为重建顺序中处于该重建对应图像块前一顺位的重建对应图像块；
当判断结果为否时，不对所述原始映射坐标做出改变；
当判断结果为是时，确定映射坐标偏移信息；所述映射坐标偏移信息用于指示对该重建对应图像块以及其之后的所有重建对应图像块的所述原始映射坐标的向下偏移距离。
4.根据权利要求3所述的用于超分重建的图像去交织方法，其特征在于，所述交织像素为所述目标压缩图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
5.根据权利要求3所述的用于超分重建的图像去交织方法，其特征在于，所述确定该重建对应图像块对应的原始映射坐标，包括：
确定该重建对应图像块中的像素坐标；
根据所述超分重建放大系数，将所述像素坐标映射至所述重建基础图像中，以得到所述重建基础图像中的对应的亚像素坐标；
将所述亚像素坐标确定为原始映射坐标。
6.根据权利要求3所述的用于超分重建的图像去交织方法，其特征在于，所述确定映射坐标偏移信息，包括：
确定所述重建基础图像中，在所述交织像素下方，距离所述交织像素最近的整数坐标；
根据所述整数坐标和所述交织像素之间的距离，确定映射坐标偏移信息。
7.根据权利要求3所述的用于超分重建的图像去交织方法，其特征在于，所述确定映射坐标偏移信息之后，所述方法还包括：
根据所述映射坐标偏移信息，以及所述原始映射坐标，确定该重建对应图像其之后的所有重建对应图像块的新的原始映射坐标。
8.一种用于超分重建的图像去交织装置，其特征在于，所述装置包括：
系数确定模块，用于确定重建基础图像以及超分重建放大系数；
交织确定模块，用于确定目标重建图像中的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述重建基础图像的同一像素行；所述目标重建图像为所述重建基础图像重建后对应的图像；
位移确定模块，用于根据所述像素交织信息，以及所述超分重建放大系数，确定所述重建基础图像对应的重建位移信息；所述重建位移信息用于指示所述重建基础图像在进行超分重建时所述目标重建图像存在像素交织的图像宏块的映射坐标向下偏移的距离。
9.一种用于超分重建的图像去交织装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的用于超分重建的图像去交织方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的用于超分重建的图像去交织方法。
CN202110698509.8A 2021-06-23 2021-06-23 用于超分重建的图像去交织方法及装置 Pending CN113610705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698509.8A CN113610705A (zh) 2021-06-23 2021-06-23 用于超分重建的图像去交织方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698509.8A CN113610705A (zh) 2021-06-23 2021-06-23 用于超分重建的图像去交织方法及装置

Publications (1)

Publication Number Publication Date
CN113610705A true CN113610705A (zh) 2021-11-05

Family

ID=78336716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698509.8A Pending CN113610705A (zh) 2021-06-23 2021-06-23 用于超分重建的图像去交织方法及装置

Country Status (1)

Country Link
CN (1) CN113610705A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031052A (zh) * 2006-02-28 2007-09-05 上海奇码数字信息有限公司 图像在存储器中的地址映射方法
US20100156917A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Image processing apparatus and method for managing frame memory in image processing
CN103745457A (zh) * 2013-12-25 2014-04-23 宁波大学 一种立体图像客观质量评价方法
US20150213632A1 (en) * 2012-01-25 2015-07-30 Google Inc. Rendering an image on a display screen
CN106204440A (zh) * 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
CN108171662A (zh) * 2017-12-18 2018-06-15 珠海全志科技股份有限公司 读取图像压缩数据的方法及包含该方法的反畸变方法
CN111915546A (zh) * 2020-08-04 2020-11-10 西安科技大学 红外和可见光图像融合方法、系统、计算机设备及应用
CN112037129A (zh) * 2020-08-26 2020-12-04 广州视源电子科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031052A (zh) * 2006-02-28 2007-09-05 上海奇码数字信息有限公司 图像在存储器中的地址映射方法
US20100156917A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Image processing apparatus and method for managing frame memory in image processing
US20150213632A1 (en) * 2012-01-25 2015-07-30 Google Inc. Rendering an image on a display screen
CN103745457A (zh) * 2013-12-25 2014-04-23 宁波大学 一种立体图像客观质量评价方法
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
CN106204440A (zh) * 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
CN108171662A (zh) * 2017-12-18 2018-06-15 珠海全志科技股份有限公司 读取图像压缩数据的方法及包含该方法的反畸变方法
CN111915546A (zh) * 2020-08-04 2020-11-10 西安科技大学 红外和可见光图像融合方法、系统、计算机设备及应用
CN112037129A (zh) * 2020-08-26 2020-12-04 广州视源电子科技股份有限公司 图像超分辨率重建方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US8228396B2 (en) Image processing apparatus, image capturing apparatus, and image distortion correction method
US20100128797A1 (en) Encoding Of An Image Frame As Independent Regions
US20090073277A1 (en) Image processing apparatus, image processing method and image pickup apparatus
CN106961629B (zh) 一种视频解码方法及装置
KR20210042355A (ko) 비디오 이미지 성분의 예측 방법, 장치 및 컴퓨터 저장 매체
US10621706B2 (en) Device for recording information about defective pixels, and defective pixel value correction device and method
CN111050183B (zh) 一种帧内预测方法、编码器及存储介质
CN110910301B (zh) 图像处理装置及方法、和保存有图像处理程序的记录介质
US20050047502A1 (en) Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding
US8412003B2 (en) Image processing methods, apparatus and computer program products using interdependent pixel interpolation operations
CN113709494A (zh) 用于超分重建的图像解压缩方法及装置
CN113592965A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110572713B (zh) 一种自适应视频宽高比的转码方法及处理终端
JPH10215457A (ja) 動画像復号方法及び動画像復号装置
CN113610705A (zh) 用于超分重建的图像去交织方法及装置
US6954207B2 (en) Method and apparatus for processing pixels based on segments
US20030156651A1 (en) Method for reducing code artifacts in block coded video signals
JP2009077183A (ja) データ圧縮装置、データ圧縮・伸張システム、およびデータ圧縮方法
CN112565652B (zh) 一种图像数据存储方法、存储设备及计算机可读存储介质
CN109120943A (zh) 视频数据恢复方法及装置
CN113542768B (zh) 运动搜索方法、装置及计算机可读存储介质
CN110662088B (zh) 一种防止视频重复转码的去重方法及处理终端
JP3625136B2 (ja) フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体
CN117974514A (zh) 应用于图像几何畸变校正的图像处理方法及装置
CN112135130B (zh) 视频编译码方法及其图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination