CN111918070B - 图像重建方法及图像解码设备 - Google Patents

图像重建方法及图像解码设备 Download PDF

Info

Publication number
CN111918070B
CN111918070B CN201910387611.9A CN201910387611A CN111918070B CN 111918070 B CN111918070 B CN 111918070B CN 201910387611 A CN201910387611 A CN 201910387611A CN 111918070 B CN111918070 B CN 111918070B
Authority
CN
China
Prior art keywords
pixel
image
pixel block
similar
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910387611.9A
Other languages
English (en)
Other versions
CN111918070A (zh
Inventor
镡云
孙永强
雒云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910387611.9A priority Critical patent/CN111918070B/zh
Publication of CN111918070A publication Critical patent/CN111918070A/zh
Application granted granted Critical
Publication of CN111918070B publication Critical patent/CN111918070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像重建方法及图像解码设备。所述图像重建方法包括：确定待重建图像；根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值；按照所述每个像素的第一预测像素值重建所述待重建图像，得到第一调整图像；根据所述第一调整图像生成第二调整图像。本申请技术方案根据图像的全局相似性，确定待重建图像中每个像素的像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。

Description

图像重建方法及图像解码设备
技术领域
本申请涉及多媒体领域，尤其涉及一种图像重建方法及图像解码设备。
背景技术
与其他信号相比，图像数据的数据量相对较大。基于此，在传输图像数据之前，发送设备对图像数据进行压缩，得到图像压缩数据。接收设备接收到图像压缩数据后，再根据图像压缩数据进行图像重建。一种图像重建方法以图像是分段光滑的为前提。基于此，接收设备可以根据一个像素的像素值计算其相邻像素的像素值，并使得该相邻像素的像素值与该像素的像素值的梯度(像素值差值)最小。
可见，采用现有图像重建方法得到的重建图像，在图像梯度较大处会出现过度平滑的现象，导致图像的梯度较大处不清晰甚至失真，重建效果欠佳。
发明内容
本申请提供了一种图像重建方法及图像解码设备，以解决现有图像重建方法重建效果不佳的问题。
第一方面，本申请提供了一种图像重建方法，所述方法包括：确定待重建图像；根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值；按照所述每个像素的第一预测像素值重建所述待重建图像，得到第一调整图像；根据所述第一调整图像生成第二调整图像，所述每个像素在所述第二调整图像中的像素值是第二预测像素值，所述第二预测像素值组成的矩阵符合
Figure BDA0002055380650000011
其中，
Figure BDA0002055380650000012
是指所述第二预测像素值组成的矩阵，y是指压缩数据矩阵，
Figure BDA0002055380650000013
是指测量矩阵。
其中，在确定待重建图像之后，对应待重建图像中的每个像素，图像解码设备可以以像素块为单位从待重建图像中遍历所述像素的多个相似像素块，得到所述像素的相似像素块群组。进而，图像解码设备可以根据所述像素的相似像素块群组预测所述像素的像素值，并根据每个像素的预测像素值重建待重建图像。可见，采用本实现方式，图像解码设备根据全局相似性获取待重建图像中每个像素的预测像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
一种可选的设计中，在根据所述第一调整图像生成第二调整图像之后，还包括：当所述第二调整图像符合预设条件时，将所述第二调整图像作为重建图像输出；或者，当所述第二调整图像不符合预设条件时，将所述第二调整图像作为待重建图像并且重新运行所述图像重建方法。在实际操作时，为了达到较好的重建效果，图像解码设备可以将重建过程迭代多次。相应的，在得到第二调整图像之后，图像解码设备例如可以检测第二调整图像是否符合预设条件，当第二调整图像符合预设条件时，说明该第二调整图像达到重建的效果，图像解码设备可以将该第二调整图像作为重建图像输出。当第二调整图像不符合预设条件时，说明该第二调整图像未达到重建的效果，图像解码设备可以将该第二调整图像作为下一轮重建过程的待重建图像，并对第二调整图像执行重建操作。
一种可选的设计中，所述根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值包括：确定像素i的第一预设数量的相似像素块组，所述像素i是所述待重建图像中的任一像素，所述第一预设数量的相似像素块组均包含所述像素i；计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，得到所述第一预设数量的子预测像素值；将所述第一预设数量的子预测像素值加权平均，得到所述像素i的第一预测像素值。其中，像素i的每个相似像素块组均与像素i的像素值较为接近，而第一预设数量的相似像素块组包括大量像素。基于此，采用本实现方式，图像解码设备根据大量像素的像素值预测像素i的像素值，所得到的像素i的像素值能够更加精确。
一种可选的设计中，所述确定像素i的第一预设数量的相似像素块组，包括：确定搜索框，所述搜索框中包含所述像素i，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含所述像素i的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组。
一种可选的设计中，以所述像素i为中心确定搜索框，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含目标像素块的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组；所述目标像素块是指以所述像素i为中心的像素块。
其中，图像解码设备根据像素i确定搜索框，一方面，能够缩小搜索相似像素块组的范围，减小计算量；另一方面，在预测像素i的像素值的过程中，依然能够考虑到像素i的局部相似性。此外，图像解码设备划分像素块，然后，以像素块为单位确定像素i的相似像素块组，能够基于包括像素i在内的图像区域确定相似的图像区域，从而使得预测像素i像素值的数据量更多，所得到的像素i的像素值能够更加精确。
一种可选的设计中，所述以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组，包括：计算所述参考像素块与所述M*N个像素块中每个像素块的欧氏距离；按照欧氏距离从小到大的顺序顺次选择所述第二预设数量的像素块作为所述参考像素块的相似像素块组。其中，像素块可以看做小的图像区域，而以每个像素块为单位确定所述像素块的相似像素块组，即为从全部遍历一个图像区域的相似图像区域。可见，采用本实现方式，图像解码设备能够获取包含像素i的多个图像区域，以及与其中每个图像区域相似的图像区域，从而使得预测像素i像素值的数据量更多，所得到的像素i的像素值能够更加精确。
一种可选的设计中，所述计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，包括：对相似像素块组j中全部像素的像素值形成的矩阵执行奇异值分解SVD，得到所述相似像素块组j与所述像素i的奇异值矩阵Σ，所述相似像素块组j是所述第一预设数量的相似像素块组中的任一像素块组；根据所述奇异值矩阵Σ生成预测矩阵Σ′，所述预测矩阵Σ′中的特征值是所述奇异值矩阵Σ中第三数量的特征值，所述第三数量的特征值在所述奇异值矩阵Σ中从最大值顺次减小；根据所述预测矩阵Σ′执行逆SVD，得到所述相似像素块组j对应的预测值矩阵；将所述预测值矩阵中所述像素i对应的特征值与所述像素i对应的特征值的权值相乘，得到所述相似像素块组j对应所述像素i的子预测像素值。其中，奇异值矩阵中奇异值按照从大到小的顺序排布，基于该数学特性，SVD能够用于降维。应用到本实施例中，图像解码设备可以利用SVD的特性保留与像素i的像素值较为接近的值，从而使得像素i的预测像素值较为准确。
一种可选的设计中，所述根据所述第一调整图像生成第二调整图像，包括：按照
Figure BDA0002055380650000031
生成所述第二预测像素值的矩阵，其中，
Figure BDA0002055380650000032
是指所述第二预测像素值组成的矩阵，
Figure BDA0002055380650000033
是指所述第一预测像素值组成的矩阵，所述每个像素按照所述第二预测像素值组成所述第二调整图像。其中，像素的第一预测像素值根据所述像素的相似像素群计算得到，因此，第一调整图像可能不符合对应关系
Figure BDA0002055380650000034
基于此，在得到第一调整图像之后，解码器11需要调整第一调整图像，以使重建后每个像素的像素值符合对应关系
Figure BDA0002055380650000035
一种可选的设计中，当所述第二调整图像不符合预设条件时，对所述第二调整图像执行重建操作，包括：将迭代次数加一，所述迭代次数是指运行第一方面及第一方面可选设计中任一项所述的图像重建方法的次数；检测所述迭代次数未达到第一阈值；将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新运行第一方面及第一方面可选设计中任一项所述的图像重建方法。
一种可选的设计中，当所述第二调整图像不符合预设条件时，对所述第二调整图像执行重建操作，包括：计算所述第二调整图像与所述待重建图像的欧氏距离；检测所述欧氏距离大于第二阈值；将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新运行第一方面及第一方面可选设计中任一项所述的图像重建方法。
在实际操作时，为了达到较好的重建效果，图像解码设备可以将重建过程迭代多次。相应的，在得到第二调整图像之后，图像解码设备例如可以检测第二调整图像是否符合预设条件，当第二调整图像符合预设条件时，说明该第二调整图像达到重建的效果，图像解码设备可以将该第二调整图像作为重建图像输出。当第二调整图像不符合预设条件时，说明该第二调整图像未达到重建的效果，图像解码设备可以将该第二调整图像作为下一轮重建过程的待重建图像，并对第二调整图像执行重建操作。
一种可选的设计中，所述确定待重建图像，包括：接收压缩图像数据；根据
Figure BDA0002055380650000036
得到所述待重建图像，x是指所述待重建图像中各像素的像素值组成的矩阵。可见，采用本实现方式，图像解码设备能够根据压缩图像数据生成初始待重建图像。
第二方面，本申请提供了一种图像解码设备，该图像解码设备具有实现上述方法中图像解码设备行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，上述图像解码设备的结构中包括处理器和收发器，所述收发器被配置为压缩图像数据的接收，以及重建图像的发送，所述处理器被配置为处理该图像解码设备执行上述方法中相应的功能。所述图像解码设备还可以包括存储器，所述存储器用于与处理器耦合，其保存该图像解码设备必要的程序指令和数据。
第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面以及第一方面任意可能的设计中的方法。
为解决现有图像重建方法重建效果不佳的问题，本申请所述的技术方案，图像解码设备在确定待重建图像之后，根据像素在待重建图像中的相似像素块组计算所述像素的预测像素值，进而，根据所述预测像素值重建所述待重建图像。其中，像素的相似像素块组中包含大量像素。即，本申请技术方案在预测像素的像素值时，以像素块为单位从待重建图像中遍历大量与所述像素相似的像素块组，并根据与所述像素相似的像素块组预测所述像素的像素值。可见，本申请所述的图像重建方法，能够根据全局相似性获取待重建图像中每个像素的预测像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的图像解码设备10的示例性结构示意图；
图2是本申请提供的图像重建方法100的示例性方法流程图；
图3A是本申请提供的待重建图像P的第一种示例性平面示意图；
图3B是本申请提供的待重建图像P的第二种示例性平面示意图；
图3C是本申请提供的待重建图像P的第三种示例性平面示意图；
图3D是本申请提供的像素块的示例性平面示意图；
图3E是本申请提供的像素块中像素位置关系的第一种示例性平面示意图；
图3F是本申请提供的像素块中像素位置关系的第二种示例性平面示意图；
图3G是本申请提供的各像素块在相似像素块组对应的矩阵中的第一种示例性位置关系图；
图3H是本申请提供的各像素块在相似像素块组对应的矩阵中的第二种示例性位置关系图；
图4是本申请提供的图像重建方法200的示例性方法流程图；
图5是本申请提供的各像素块在矩阵A(1)中的示例性位置关系图；
图6A是本申请提供的图像解码设备60的示例性结构示意图；
图6B是本申请提供的图像解码设备61的示例性结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请中的技术方案进行详细的描述。
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，尽管在以下实施例中可能采用术语第一、第二等来描述某一类对象，但所述对象不应限于这些术语。这些术语仅用来将该类对象的具体对象进行区分。例如，以下实施例中可能采用术语第一、第二等来描述预测像素值，但预测像素值不应限于这些术语。这些术语仅用来将不同阶段计算得到的预测像素值进行区分。以下实施例中可能采用术语第一、第二等来描述的其他类对象同理，此处不再赘述。另外，在以下实施例的描述中，“多个”是指两个或两个以上。
在对本申请的技术方案进行说明之前，首先对本申请的技术场景进行说明。
图像重建也可称为“图像解码”或者“图像恢复”或者“图像解压缩”。图像重建是指基于完整图像的部分像素恢复出该完整图像的过程。本领域，执行图像重建的设备可以是图像解码设备。
一些实施例中，图像解码设备可以根据压缩图像数据执行图像重建，该压缩图像数据可以被理解为完整图像的部分像素数据。图像解码设备执行图像重建的过程详见下文图像重建方法各实施例描述，此处不再赘述。另一些实施例中，图像解码设备中可以存储压缩图像数据，进而，该图像解码设备可以读取所存储的压缩图像数据，然后，根据该压缩图像数据执行图像重建。又一些实施例中，图像解码设备可以从其他设备接收压缩图像数据，然后，根据该压缩图像数据执行图像重建。本实施例中，图像解码设备例如可以从图像编码设备接收压缩图像数据。在其他一些实施例中，图像解码设备可以与医用扫描设备耦合，医用扫描设备例如是B超设备、彩超设备或者核磁共振设备等。在实际使用时，该医用扫描设备可以获取人体的部分图像(例如，人体左胸腔骨骼图像)，并将所获取的人体的部分图像输入图像解码设备。图像解码设备可以将人体的部分图像作为压缩图像数据，进而，根据该压缩图像数据重建得到人体的完整扫描图像。
图像解码设备可以承载于各种装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、无线通信设备或其类似者，甚至还可以包括核磁共振设备。
在实际应用中，图像可以被视为一个二维像素阵列，相应的，“图像数据”可以是包括各像素像素值的矩阵。其中，像素值(也可以描述为灰度值)是图像被数字化时由计算机赋予的值，像素值指示图像某一小方块的平均亮度信息，或者，可以描述为该小方块的平均反射(透射)密度信息。本领域中，该小方块即为图像的一个像素值。一些实施例中，图像解码设备可以用8位表示一个像素，这样一个像素共有256个灰度等级(像素值范围是0～255)，256个灰度等级中每个灰度等级表示一种程度的亮度。另一些实施例中，图像解码设备可以用更多的位数来表示一个像素，例如，图像解码设备用12位表示一个像素，相应的，像素的灰度等级为4096。再如，图像解码设备用16位表示一个像素，相应的，像素的灰度等级为65536。需要指出的是，无论使用多少位表示一个像素，图像解码设备输出图像数据时，均采用8位表示一个像素。
一种现有的压缩编码标准基于香农-奈奎斯特(Shannon-Nyquist)采样定理。根据Shannon-Nyquist采样定理，图像解码设备若想要还原出相对精确的重建图像，需要较多的图像压缩样本，从而导致采样的数据量较大，采样时间也较长，并且需要占用更多的存储资源。为了解决Shannon-Nyquist采样定理产生的问题，目前较为常用的压缩编码标准基于压缩感知(compressed sensing，CS)理论。本领域中，“压缩感知”也可以被描述为“压缩采样”或者“稀疏采样(sparse sampling)”。
基于CS理论的图像重建方法包括全变差(total variation，TV)方法和优化加权全变差(Re total variation，ReTV)方法。TV方法和ReTV方法重建图像的原理均是以图像的局部相似性为前提，根据目标像素相邻像素的像素值，通过计算最小全变差范数的方式，求取目标像素的像素值。例如，图像解码设备通过
Figure BDA0002055380650000061
求取位于图像中的位置(i，j)处的像素的像素值。其中，
Figure BDA0002055380650000062
指示图像压缩后各数据所符合的对应关系，x是指被压缩图像各像素值对应的矩阵，y是指x对应的图像被压缩后对应的压缩数据的矩阵，
Figure BDA0002055380650000063
是指测量矩阵，xi,j+1是指图像中的位置(i，j+1)处像素的像素值，xi+1,j指图像中的位置(i+1，j)处像素的像素值。图像解码设备据此方法计算得到图像中每个像素的像素值，得到重建图像。而在实际操作中，源图像可能存在梯度较大的纹理，即，源图像不满足局部相似性，那么，图像解码设备按照TV方法和ReTV方法得到的重建图像会过度平滑，导致图像的梯度较大处不清晰甚至失真，重建效果欠佳。
基于此，本申请提供了一种图像重建方法及图像解码设备，该图像解码设备根据图像的全局相似性，确定待重建图像中每个像素的像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
此外，本申请还可以适用于面向未来的其他图像处理技术。本申请描述的图像解码设备以及业务场景是为了更加清楚的说明本申请的技术方案，并不构成对本申请提供的技术方案的限定，本领域普通技术人员可知，随着图像处理技术的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
以下对本申请所涉及的图像解码设备进行介绍。
参见图1，图1给出了本申请所应用的图像解码设备10的示意性框图。如图1所示，图像解码设备10可包括解码器11和存储器12。其中，所述存储器12用于存储指令或数据，例如，压缩图像数据以及图像解码设备10执行图像重建所需的程序和指令。所述解码器11可用于根据压缩图像数据重建图像。在一些实施例中，所述解码器11可以用于执行后文所描述的各个图像重建的实施例，以实现本申请所描述的图像重建方法。
所述解码器11可以实施为各种合适电路中的任一个，例如，一个或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gatearray，FPGA)、离散逻辑、硬件或其任何组合。
所述存储器12可包含但不限于随机存储记忆体(random access memory，RAM)、只读存储记忆体(read-only memory，ROM)、带电可擦可编程只读存储器(electricallyerasable programmable read only memory,EEPROM)、快闪存储器或可用于以可由计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体。
此外，在一些实施例中，所述图像解码设备10还可以包括收发器13，所述收发器13可用于从其他设备，例如图像编码设备或者存储设备等，接收图像压缩数据。所述收发器13还可用于向显示类设备发送重建图像的数据。
在又一些实施例中，所述图像解码设备10还可以包括显示器14，所述显示器14用于接收重建图像(或者称为重建图像数据)之后，向例如用户或观看者显示该重建图像。显示器14可以为或可以包括任何类别的用于呈现重建图像的显示器，例如，集成的或外部的显示器或监视器。例如，显示器可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任何类别的其它显示器。
可以理解的是，图1示意的图像解码设备10，只是示意性说明，并不构成对图像解码设备10的限定。在另一些实施例中，图像解码设备10还可以包括与上述实施例不同的设备和功能器件，进而，各设备和功能器件的连接方式也可以与上述实施例不同。
以下对本申请提供的图像重建方法进行介绍。
参见图2，图2示意了一种图像重建方法100的示例性方法实施例，本申请提供的图像重建方法100(以下简称方法100)可以由上述实施例所述的图像解码设备10执行。方法100包括如下步骤：
步骤S101，确定待重建图像。
其中，本实施例中，待重建图像是指需要按照方法100被执行重建的图像。
在实际操作中，为了达到较好的重建效果，解码器11在接收到压缩图像数据之后，可以将重建过程迭代多次，所述“迭代”是指重复执行多次方法100所示的重建过程。具体的，第一次重建过程是根据压缩图像数据执行图像重建，之后每一次迭代是将上一轮重建得到的图像作为待重建图像，执行新一轮的图像重建，例如，第n+1次重建过程将第n次重建得到的图像作为待重建图像，n是大于等于1的整数。基于此，一些实施例中，待重建图像是根据压缩图像数据得到的图像。具体的，根据上述对压缩图像数据的描述，解码器11接收到压缩图像数据之后，可以根据
Figure BDA0002055380650000071
计算得到初始的待重建图像，x是指所述初始的待重建图像中各像素的像素值组成的矩阵。另一些实施例中，待重建图像是除重建图像之外任一轮重建过程得到的图像。
步骤S102，根据待重建图像中每个像素的相似像素块组计算每个像素的第一预测像素值。
其中，像素的预测像素值是指根据其他数据估算得到的该像素的像素值。像素块包括至少一个像素，像素块组包括多个所述像素块。基于此，一些实施例中，像素的相似像素块组是指包含所述像素的像素块组。另一些实施例中，像素的相似像素块组是指包含目标像素块的像素块组，所述目标像素块是指以所述像素为中心的像素块。
以下以一个像素为示例对本步骤进行示例性描述。
如图3A所示，图3A中实线所示的方框例如是本实施例所述的待重建图像P，该待重建图像P包括多个像素(图中未示出)，其中，像素i属于该待重建图像P。
本实施例中，解码器11计算像素i的第一预测像素值，可以首先确定像素i的相似像素块组。其中，像素i的相似像素块组的数量可以是第一预设数量，所述第一预设数量是大于等于1的数量。然后，解码器11计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，并得到所述第一预设数量的子预测像素值。进而，解码器11将所述第一预设数量的子预测像素值加权平均，得到所述像素i的第一预测像素值。
以下结合附图对“计算像素i的第一预测像素值”的步骤的具体实施过程分别进行介绍。
确定像素i的相似像素块组
确定搜索框。所述搜索框用于确定划分像素块的搜索范围，即，解码器11以该搜索范围内的像素为基准划分像素块。本实施例中，所述搜索框的面积可以是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数，并且，如图3B所示，所述搜索框包含所述像素i。
一些实施例中，所述搜索框可以是待重建图像P的整副图像。例如，待重建图像P的面积是128*128个像素，本实施例中，搜索框的面积M*N个像素即为128*128个像素。另一些实施例中，所述搜索框的面积可以小于待重建图像P的面积。例如，待重建图像P的面积是128*128个像素，本实施例中，搜索框的面积M*N个像素例如是50*50个像素。在其他一些实施例中，所述搜索框的确定可以以像素i为中心。如图3C所示，所述搜索框以像素i为中心，且所述搜索框的面积为50*50个像素。
可以理解的是，在搜索框的面积小于待重建图像P的面积场景下，M*N是50*50仅仅是示意性说明，对本申请中搜索框的面积不构成限制。在其他实施例中，M*N可以是任意小于整副图像的面积的数值，例如，M*N是45*45，再如，M*N是50*60。此处不再赘述。
进一步的，如图3D所示，解码器11可以以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，其中，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N。其中，一些实施例中，X*Y＝1。X*Y小于M*N。例如，M*N是45*45，那么，X*Y可以是5*5。再如，M*N是50*50，那么，X*Y可以是10*10。再如，X*Y可以是1。即，本实施例中，每个像素块可以只包含一个像素。另一些实施例中，X*Y可以等于M*N。
可以理解的是，以上所述的X*Y的值仅是示意性说明，对本申请技术方案不构成限制。在本申请的其他实施例中，X*Y的值还可以是小于M*N的任意值。
在划分得到M*N个像素块之后，解码器11可以以所述M*N个像素块中每个像素块为参考像素块，然后，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组。所述第二预设数量大于或者等于1，小于或者等于M*N。所述第二预设数量例如是30。
一些实施例中，两个像素块的相似程度例如可以通过欧氏距离表示，欧氏距离的值越小，表示两个像素块的相似程度越高。相应的，“按照相似程度由高到低选择第二预设数量的像素块”，例如可以是，按照欧氏距离从小到大顺次选择第二预设数量的像素块。具体的，像素块a例如是参考像素块，像素块a属于所述M*N个像素块。像素块a与所述M*N个像素块中任一像素块的欧氏距离可以表达为：
Figure BDA0002055380650000091
其中，ρ是指欧氏距离的值，如图3E所示，x像素块是指所述M*N个像素块中任一像素块的第k个像素的像素值，x像素块a是指像素块a的第k个像素的像素值。基于此，在按照上述公式计算得到像素块a对应的M*N个欧氏距离之后，例如按照欧氏距离从小到大顺次选择30个像素块，该30个像素块组成像素块a的相似像素块组。相应的，解码器11可以按照上述方式确定所述M*N个像素块中每个像素块的相似像素块组，得到M*N个相似像素块组。
进一步的，一些实施例中，解码器11可以遍历所述M*N个相似像素块组，并从所述M*N个像素块组中选择包含像素i的像素块组，得到第一预设数量的相似像素块组。另一些实施例中，解码器11可以遍历所述M*N个相似像素块组，并从所述M*N个像素块组中选择包含目标像素块的像素块组，得到第一预设数量的相似像素块组。所述目标像素块是以像素i为中心的像素块。此外，需要指出的是，所述第一预设数量可以大于或者等于1小于或者等于所述第二预设数量。
计算相似像素块组对应像素i的子预测像素值
以相似像素块组j为例，介绍计算子预测像素值的实施过程。其中，相似像素块组j属于所述第一预设数量的相似像素块组。
其中，相似像素块组j中全部像素的像素值可以组成矩阵A(j),解码器11可以对矩阵A(j)执行奇异值分解(singular value decomposition，SVD)，得到A(j)＝U∑VT，其中的奇异值矩阵Σ可以表示为：
Figure BDA0002055380650000092
“n”的值由X*Y*第一预设数量确定。例如，X*Y*第一预设数量＝10*10*30＝100*30，那么，λn即为λ30。
需要指出的是，各像素在相应像素块中的位置与如上述实施例所示，相应的，各像素的像素值在矩阵中的位置可以与各像素在相应像素块中的位置相同。进一步的，在形成矩阵A(j)时，相似像素块组j所包含的各像素块的位置可以随意排布，例如，可以如图3G所示的方式排布，再如，可以如图3H所示的方式排布。进而，各像素的像素值在矩阵A(j)的位置可以根据各像素块的位置关系确定，同理，像素i的像素值在矩阵A(j)的位置也可以根据各像素块的位置关系确定。例如，像素块的面积是10*10个像素，第一预设数量是20，像素i例如位于像素块2的第5行第5列，当各像素块在组成矩阵A(j)时的排列方式如图3H所示时，像素i的像素值是矩阵A(j)中第15行第5列的特征值。
进一步的，解码器11可以根据所述奇异值矩阵Σ生成预测矩阵Σ′，所述预测矩阵Σ′中的特征值是所述奇异值矩阵Σ中第三数量的特征值，所述第三数量的特征值在所述奇异值矩阵Σ中从最大值顺次减小，即，
Figure BDA0002055380650000101
所述第三数量例如是13。
一些实施例中，第三数量可以被预先设置，进而，解码器11可以从所述奇异值矩阵Σ中的λ1开始，顺次向后截取第三数量的奇异值，进而保留所截取的奇异值，并将所述奇异值矩阵Σ中其他的奇异值全部置0，得到所述预测矩阵Σ′。另一些实施例中，解码器11可以预先确定门限值。然后，解码器11将所述奇异值矩阵Σ中小于该门限值的奇异值全部置0，并保留所述奇异值矩阵Σ中大于或者等于该门限值的奇异值，得到所述预测矩阵Σ′。本实施例中，所述奇异值矩阵Σ中大于或者等于该门限值的奇异值的数量例如是第三数量。
在得到所述预测矩阵Σ′之后，解码器11可以根据所述预测矩阵Σ′执行逆SVD，得到相似像素块组j中各像素的预测值，其中包括像素i的预测值。具体的，逆SVD例如可以表达为：SVD-1(UΣ′VT)＝A′(j)，A′(j)可以被认为是预测值矩阵，
Figure BDA0002055380650000102
其中，A′(j)中的任一特征值是相似像素块组j中相应位置像素的预测值。进而，解码器11可以根据像素i在A′(j)中对应的位置获取像素i对应的预测值xj。
进一步的，解码器11可以根据预测值矩阵A′(j)计算xj的权值zj。具体的，当A′(j)的列秩(rank(矩阵A′(j)))等于min(A′(j)的行数，A′(j)的列数)时，
Figure BDA0002055380650000103
当A′(j)的列秩(rank(矩阵A′(j)))大于min(A′(j)的行数，A′(j)的列数)时，
Figure BDA0002055380650000104
然后，
Figure BDA0002055380650000105
其中，
Figure BDA0002055380650000106
是相似像素块组j对应所述像素i的子预测像素值。
同理，解码器11可以通过上述所述的SVD然后逆SVD等的操作方式，确定所述第一预设数量的相似像素块组中每个相似像素块组对应所述像素i的子预测像素值，得到所述第一预设数量的子预测像素值。
计算像素i的第一预测像素值
在得到所述第一预设数量的子预测像素值之后，解码器11可以按照公式
Figure BDA0002055380650000107
Figure BDA0002055380650000108
将所述第一预设数量的子预测像素值加权平均，得到所述像素i的第一预测像素值
Figure BDA0002055380650000109
Figure BDA00020553806500001010
是指第一预设数量的相似像素块组中第p个相似像素块组对应的子预测像素值，
Figure BDA00020553806500001011
是指第一预设数量的相似像素块组中第p个相似像素块组对应的的权值。
进一步的，解码器11可以按照本步骤所述的方法得到待重建图像P中每个像素的第一预测像素值。
由此可见，本申请的技术方案，图像解码设备10可以在待重建图像中确定像素i的相似像素群，进而，图像解码设备10根据像素i的相似像素群获取像素i的预测像素值。可见，本申请所述的图像重建方法，图像解码设备10能够根据全局相似性获取每个像素的预测像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
步骤S103，按照每个像素的第一预测像素值重建待重建图像，得到第一调整图像。
其中，所述每个像素被设置为所述像素的第一预测像素值，即得到待重建图像P的第一调整图像。
步骤S104，根据第一调整图像生成第二调整图像。
其中，第二调整图像是待重建图像P的重建图像。所述每个像素在所述第二调整图像中的像素值是第二预测像素值，所述第二预测像素值组成的矩阵符合
Figure BDA0002055380650000111
其中，
Figure BDA0002055380650000112
是指所述第二预测像素值组成的矩阵。
需要说明的是，所述每个像素的第一预测像素值根据所述像素的相似像素群计算得到，因此，第一调整图像可能不符合对应关系
Figure BDA0002055380650000113
基于此，在得到第一调整图像之后，解码器11需要调整第一预测像素值形成的矩阵(也可以描述为第一调整图像对应的矩阵)中的值，以使待重建图像P重建后的图像符合对应关系
Figure BDA0002055380650000114
一些实施例中，解码器11可以按照
Figure BDA0002055380650000115
生成所述第二预测像素值的矩阵，其中，
Figure BDA0002055380650000116
是指所述第二预测像素值组成的矩阵，
Figure BDA0002055380650000117
是指所述第一预测像素值组成的矩阵，所述每个像素按照所述第二预测像素值组成所述第二调整图像。
可见，采用本实现方式，图像解码设备10能够根据全局相似性获取待重建图像中每个像素的预测像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
结合步骤S101的描述可知，解码器11可以将重建过程迭代多次。在实际操作时，在得到第二调整图像之后，解码器11例如可以检测第二调整图像是否符合预设条件，当第二调整图像符合预设条件时，说明该第二调整图像达到重建的效果，解码器11可以将该第二调整图像作为重建图像输出。当第二调整图像不符合预设条件时，说明该第二调整图像未达到重建的效果，解码器11可以将该第二调整图像作为下一轮重建过程的待重建图像，并对第二调整图像继续执行步骤S102的操作。
一些实施例中，预设条件例如是迭代次数达到第一阈值，第一阈值例如是400。本实施例中，解码器11在得到第二调整图像之后，将迭代次数加一。然后，解码器11可以检测所述迭代次数是否达到第一阈值，若所述迭代次数达到第一阈值，解码器11将该第二调整图像作为重建图像输出；若所述迭代次数未达到第一阈值，解码器11将第二调整图像作为下一轮迭代过程中的待重建图像，并继续执行步骤S102的操作。
另一些实施例中，预设条件例如是所述第二调整图像与所述待重建图像的相似程度是否达到一定程度，例如，所述第二调整图像与所述待重建图像的欧氏距离是否小于第二阈值。基于此，本实施例中，解码器11可以计算所述第二调整图像与所述待重建图像的欧氏距离，进而，解码器11可以检测所述欧氏距离是否大于第二阈值。若所述欧氏距离小于或者等于第二阈值，解码器11将该第二调整图像作为重建图像输出；若所述欧氏距离大于第二阈值，解码器11将第二调整图像作为下一轮迭代过程中的待重建图像，并继续执行步骤S102的操作。
示例性的，以下以一个迭代过程为例，结合实例对本申请的技术方案进行描述。
图4示意了图像重建方法200的示例性方法流程图。本实施例所述的图像重建方法200(以下简称方法200)由图1示意的图像解码设备10中的解码器11执行。方法200包括如下步骤：
步骤S201，确定待重建图像P。
本实施例所述的待重建图像P例如是某一次迭代过程之后得到的第二调整图像。所述待重建图像P的面积例如是128*128个像素。
步骤S202，计算待重建图像P的128*128个像素中每个像素的第一预测像素值。
其中，步骤S202可以包括步骤S2021至步骤S2024。
以下以像素i为例进行描述，参考图3B，像素i是所述128*128个像素中的任一像素。
步骤S2021，确定搜索框。
参考图3C，本实施例中，解码器11可以以像素i为中心确定一个15*15个像素的搜索窗。
步骤S2022，确定像素块。
解码器11以步骤S2021确定的搜索窗中的每个像素为中心确定面积为5*5个像素的像素块，得到15*15个像素块。其中，该15*15个像素块中包含目标像素块，该目标像素块是指以像素i为中心的像素块。
步骤S2023，确定像素i的相似像素块组。
解码器11分别以15*15个像素块中每个像素块为参考像素块，计算其他像素块与所述参考像素块的欧氏距离。其中，欧氏距离的计算公式例如是：
Figure BDA0002055380650000121
其中，ρ是指欧氏距离的值，参考图3E，x像素块是指15*15个像素块中的任一像素块中的第k个像素的像素值，x参考像素块是指参考像素块的第k个像素的像素值。本实施例中，k是大于等于1小于等于25的整数。
然后，解码器11按照欧氏距离从小到大的顺序，从该15*15个像素块中顺次选择30个像素块组成所述参考像素块的相似像素块组。最终，得到15*15个像素块群组。
进一步的，解码器11从该15*15个相似像素块组中选择出包含目标像素块的像素块组，得到像素i的例如10个相似像素块组，该10个相似像素块组例如是相似像素块组1，相似像素块组2……相似像素块组10。
步骤S2024，根据该10个相似像素块组计算像素i的第一预测像素值。
首先，解码器11可以计算该10个相似像素块组中每个相似像素块组对应像素i的子预测像素值。
以下以相似像素块组1为例，介绍计算子预测像素值
Figure BDA0002055380650000122
的实施过程。
其中，本实施例中，相似像素块组1形成矩阵A(1)，相似像素块组1的30个像素块在矩阵A(1)中的排布例如如图5所示。相应的，
Figure BDA0002055380650000131
即，矩阵A(1)包括5*150个特征值。目标像素块例如是相似像素块组1中的像素块1，那么，矩阵A(1)中第3列第3行的特征值是像素i的像素值。
基于此，解码器11将矩阵A(1)执行SVD，得到A(1)＝U∑VT，其中，奇异值矩阵
Figure BDA0002055380650000132
解码器11将奇异值矩阵Σ中奇异值λ14至奇异值λ150置0，得到预测矩阵Σ′，其中，
Figure BDA0002055380650000133
进而，解码器11执行SVD-1(U∑′VT)＝A′(1)，其中，预测值矩阵
Figure BDA0002055380650000134
预测值矩阵A′(1)同样包括5*150个特征值，并且预测值矩阵A′(1)中的每个特征值是相应像素的预测值。然后，解码器11读取预测值矩阵A′(1)中第3列第3行的特征值x″13，x″13是像素i的预测值。进而，解码器11根据预测值矩阵A′(1)可以获知预测值x″13的权值z″13，权值z″13例如是
Figure BDA0002055380650000135
那么，
Figure BDA0002055380650000136
相应的，解码器11可以采用本步骤所述的方法计算得到子预测像素值
Figure BDA0002055380650000137
子预测像素值
Figure BDA0002055380650000138
子预测像素值
Figure BDA0002055380650000139
此处不再赘述。
进而，解码器11计算得到像素i的第一预测像素值
Figure BDA00020553806500001310
其中，p＝1，2，3……10，
Figure BDA00020553806500001311
是指根据该10个相似像素块组中第p个相似像素块组计算得到的子预测像素值，
Figure BDA00020553806500001312
是指该10个相似像素块组中第p个相似像素块组计算得到的权值。
按照步骤S2021和步骤S2024，得到待重建图像P中的每个像素的第一预测像素值。
步骤S203，按照每个像素的第一预测像素值重建待重建图像，得到第一调整图像P1。
步骤S204，按照
Figure BDA00020553806500001313
调整第一调整图像P1得到第二调整图像P2。
其中，
Figure BDA00020553806500001314
是指第二调整图像P2中各像素值组成的矩阵，
Figure BDA00020553806500001315
是指第一调整图像P1中各像素值组成的矩阵，也即，各像素的第一预测像素值组成的矩阵。所述每个像素按照所述第二预测像素值组成所述第二调整图像。
Figure BDA00020553806500001316
符合对应关系
Figure BDA00020553806500001317
可以理解的是，第二调整图像P2是待重建图像P的重建图像。根据方法100的描述，解码器11还可以根据第二调整图像P2与预设条件的关系，继续对第二调整图像P2进行处理。此处不再详述。
此外，方法200示意的图像重建方法，只是示意性说明，并不构成对本申请图像重建方法的限定。在另一些实施例中，解码器11可以采用另一种方式确定搜索框，并且搜索框的面积以及像素块的面积等，均可以是其他值，本实施例此处不再详述。
综合上述，本申请中，图像解码设备在确定待重建图像之后，根据像素在待重建图像中的相似像素块组计算所述像素的预测像素值。可见，本申请所述的图像重建方法，图像解码设备能够根据全局相似性获取每个像素的预测像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
上述本申请提供的实施例中，从设备本身的角度对本申请实施例提供的图像重建方法的各方案进行了介绍。例如，图像解码设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
例如，若上述设备通过软件模块来实现相应的功能。如图6A所示，所述图像解码设备60可包括处理模块601和收发模块602。
在一个实施例中，该图像解码设备60可用于执行上述图2至图5中图像解码设备10的操作。例如：
处理模块601，用于确定待重建图像，根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值，并按照所述每个像素的第一预测像素值重建所述待重建图像，得到第一调整图像；所述处理模块601，还用于根据所述第一调整图像生成第二调整图像，所述每个像素在所述第二调整图像中的像素值是第二预测像素值，所述第二预测像素值组成的矩阵符合
Figure BDA0002055380650000141
其中，
Figure BDA0002055380650000142
是指所述第二预测像素值组成的矩阵，y是指压缩数据矩阵，
Figure BDA0002055380650000143
是指测量矩阵。
可见，采用本实现方式，图像解码设备60能够根据全局相似性获取每个像素的预测像素值，从而能够得到每个像素更精确的像素值，进而，使得重建图像能够准确的呈现原图像梯度较大的部分，优化重建效果。
可选的，收发模块602，用于当所述第二调整图像符合预设条件时，将所述第二调整图像作为重建图像输出；本实施例中，所述处理模块601，还用于当所述第二调整图像不符合预设条件时，运行上述实施例所述的图像重建方法。
可选的，所述处理模块601，还用于确定像素i的第一预设数量的相似像素块组，所述像素i是所述待重建图像中的任一像素，所述第一预设数量的相似像素块组均包含所述像素i，并计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，得到所述第一预设数量的子预测像素值，并且将所述第一预设数量的子预测像素值加权平均，得到所述像素i的第一预测像素值。
可选的，所述处理模块601，还用于确定搜索框，所述搜索框中包含所述像素i，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；所述处理模块601，还用于以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；所述处理模块601，还用于以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；所述处理模块601，还用于遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含所述像素i的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组。
可选的，所述处理模块601，还用于以所述像素i为中心确定搜索框，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；然后，以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；所述处理模块601，还用于以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；并遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含目标像素块的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组；所述目标像素块是指以所述像素i为中心的像素块。
可选的，所述处理模块601，还用于计算所述参考像素块与所述M*N个像素块中每个像素块的欧氏距离；所述处理模块601，还用于按照欧氏距离从小到大的顺序顺次选择所述第二预设数量的像素块作为所述参考像素块的相似像素块组。
可选的，所述处理模块601，还用于对相似像素块组j中全部像素的像素值形成的矩阵执行奇异值分解SVD，得到所述相似像素块组j与所述像素i的奇异值矩阵Σ，所述相似像素块组j是所述第一预设数量的相似像素块组中的任一像素块组；所述处理模块601，还用于根据所述奇异值矩阵Σ生成预测矩阵Σ′，所述预测矩阵Σ′中的特征值是所述奇异值矩阵Σ中第三数量的特征值，所述第三数量的特征值在所述奇异值矩阵Σ中从最大值顺次减小；所述处理模块601，还用于根据所述预测矩阵Σ′执行逆SVD，得到所述相似像素块组j对应的预测值矩阵，并且将所述预测值矩阵中所述像素i对应的特征值与所述像素i对应的特征值的权值相乘，得到所述相似像素块组j对应所述像素i的子预测像素值。
可选的，所述处理模块601，还用于按照
Figure BDA0002055380650000151
生成得到所述第二预测像素值的矩阵，其中，
Figure BDA0002055380650000152
是指所述第二预测像素值组成的矩阵，
Figure BDA0002055380650000153
是指所述第一预测像素值组成的矩阵，所述每个像素按照所述第二预测像素值组成所述第二调整图像。
可选的，所述处理模块601，还用于将迭代次数加一，所述迭代次数是指所述处理器执行上述实施例所述的图像重建方法的次数；所述处理模块601，还用于检测所述迭代次数未达到第一阈值，并且将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新执行上述实施例所述的图像重建方法。可选的，所述处理模块601，还用于计算所述第二调整图像与所述待重建图像的欧氏距离；所述处理模块601，还用于检测所述欧氏距离大于第二阈值，并且将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新执行上述实施例所述的图像重建方法。
可选的，所述收发模块602，还用于接收压缩图像数据；所述处理模块601，还用于根据
Figure BDA0002055380650000154
得到所述待重建图像，x是指所述待重建图像中各像素的像素值组成的矩阵。
与图1示意的图像解码设备10对应的，本实施例所述的处理模块601的功能例如可以集成到图1示意的图像解码设备10中的解码器11中，本实施例所述的收发模块602的功能例如可以集成到图1示意的图像解码设备10中的收发器13中。
图6B示出了上述实施例中所涉及的图像解码设备60的另一种可能的结构示意图。图像解码设备61包括处理器603、收发器604和存储器605。如图6B所示，所述存储器605用于与处理器603耦合，其保存该图像解码设备61必要的计算机程序606。
例如，在一个实施例中，所述收发器604被配置为接收压缩图像数据。处理器603被配置为解码器11的重建操作或功能。
具体实现中，对应图像解码设备，本申请还提供一种计算机存储介质，其中，设置在图像解码设备中计算机存储介质可存储有程序，该程序执行时，可实施包括图2至图5提供的图像重建方法的各实施例中的部分或全部步骤。图像解码设备中的存储介质均可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random accessmemory，RAM)等。
本申请中，处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(aPlication-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。存储器可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard di skdrive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
本领域技术任何还可以了解到本申请列出的各种说明性逻辑块(illustrativelogical block)和步骤(step)可以通过电子硬件、电脑软件，或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本申请保护的范围。
本申请中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本申请中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于UE中。可选地，处理器和存储媒介也可以设置于UE中的不同的部件中。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施过程构成任何限定。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (23)

1.一种图像重建方法，其特征在于，所述方法包括：
确定待重建图像；
根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值；
按照所述每个像素的第一预测像素值重建所述待重建图像，得到第一调整图像；
根据所述第一调整图像生成第二调整图像，所述每个像素在所述第二调整图像中的像素值是第二预测像素值，所述第二预测像素值组成的矩阵符合
Figure FDA0003594976180000011
其中，
Figure FDA0003594976180000012
是指所述第二预测像素值组成的矩阵，y是指压缩数据矩阵，
Figure FDA0003594976180000013
是指测量矩阵。
2.如权利要求1所述的方法，其特征在于，在根据所述第一调整图像生成第二调整图像之后，还包括：
当所述第二调整图像符合预设条件时，将所述第二调整图像作为重建图像输出；或者，
当所述第二调整图像不符合预设条件时，将所述第二调整图像作为待重建图像并且重新运行所述图像重建方法。
3.如权利要求1所述的方法，其特征在于，所述根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值包括：
确定像素i的第一预设数量的相似像素块组，所述像素i是所述待重建图像中的任一像素，所述第一预设数量的相似像素块组均包含所述像素i；
计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，得到所述第一预设数量的子预测像素值；
将所述第一预设数量的子预测像素值加权平均，得到所述像素i的第一预测像素值。
4.如权利要求3所述的方法，其特征在于，所述确定像素i的第一预设数量的相似像素块组，包括：
确定搜索框，所述搜索框中包含所述像素i，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；
以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；
以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；
遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含所述像素i的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组。
5.如权利要求3所述的方法，其特征在于，所述确定像素i的第一预设数量的相似像素块组，包括：
以所述像素i为中心确定搜索框，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；
以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；
以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；
遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含目标像素块的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组；所述目标像素块是指以所述像素i为中心的像素块。
6.如权利要求4或5所述的方法，其特征在于，所述以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组，包括：
计算所述参考像素块与所述M*N个像素块中每个像素块的欧氏距离；
按照欧氏距离从小到大的顺序顺次选择所述第二预设数量的像素块作为所述参考像素块的相似像素块组。
7.如权利要求3所述的方法，其特征在于，所述计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，包括：
对相似像素块组j中全部像素的像素值形成的矩阵执行奇异值分解SVD，得到所述相似像素块组j与所述像素i的奇异值矩阵∑，所述相似像素块组j是所述第一预设数量的相似像素块组中的任一像素块组；
根据所述奇异值矩阵∑生成预测矩阵∑′，所述预测矩阵∑′中的特征值是所述奇异值矩阵∑中第三数量的特征值，所述第三数量的特征值在所述奇异值矩阵∑中从最大值顺次减小；
根据所述预测矩阵∑′执行逆SVD，得到所述相似像素块组j对应的预测值矩阵；
将所述预测值矩阵中所述像素i对应的特征值与所述像素i对应的特征值的权值相乘，得到所述相似像素块组j对应所述像素i的子预测像素值。
8.如权利要求1所述的方法，其特征在于，所述根据所述第一调整图像生成第二调整图像，包括：
按照
Figure FDA0003594976180000021
生成所述第二预测像素值的矩阵，其中，
Figure FDA0003594976180000022
是指所述第二预测像素值组成的矩阵，
Figure FDA0003594976180000023
是指所述第一预测像素值组成的矩阵，所述每个像素按照所述第二预测像素值组成所述第二调整图像。
9.如权利要求2所述的方法，其特征在于，当所述第二调整图像不符合预设条件时，对所述第二调整图像执行重建操作，包括：
将迭代次数加一，所述迭代次数是指运行所述图像重建方法的次数；
检测所述迭代次数未达到第一阈值；
将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新运行所述图像重建方法。
10.如权利要求2所述的方法，其特征在于，当所述第二调整图像不符合预设条件时，对所述第二调整图像执行重建操作，包括：
计算所述第二调整图像与所述待重建图像的欧氏距离；
检测所述欧氏距离大于第二阈值；
将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新运行所述图像重建方法。
11.如权利要求1所述的方法，其特征在于，所述确定待重建图像，包括：
接收压缩图像数据；
根据
Figure FDA0003594976180000031
得到所述待重建图像，x是指所述待重建图像中各像素的像素值组成的矩阵。
12.一种图像解码设备，其特征在于，所述设备包括：
处理模块，用于确定待重建图像；
所述处理模块，还用于根据所述待重建图像中每个像素的相似像素块组计算所述每个像素的第一预测像素值；
所述处理模块，还用于按照所述每个像素的第一预测像素值重建所述待重建图像，得到第一调整图像；
所述处理模块，还用于根据所述第一调整图像生成第二调整图像，所述每个像素在所述第二调整图像中的像素值是第二预测像素值，所述第二预测像素值组成的矩阵符合
Figure FDA0003594976180000032
其中，
Figure FDA0003594976180000033
是指所述第二预测像素值组成的矩阵，y是指压缩数据矩阵，
Figure FDA0003594976180000034
是指测量矩阵。
13.如权利要求12所述的设备，其特征在于，所述设备还包括：收发模块，其中，
所述收发模块，用于当所述第二调整图像符合预设条件时，将所述第二调整图像作为重建图像输出；
所述处理模块，还用于当所述第二调整图像不符合预设条件时，将所述第二调整图像作为待重建图像并且重新执行权利要求1至11中任一项所述的图像重建方法。
14.如权利要求12所述的设备，其特征在于，
所述处理模块，还用于确定像素i的第一预设数量的相似像素块组，所述像素i是所述待重建图像中的任一像素，所述第一预设数量的相似像素块组均包含所述像素i；
所述处理模块，还用于计算所述第一预设数量的相似像素块组中的每个相似像素块组对应所述像素i的子预测像素值，得到所述第一预设数量的子预测像素值，并且将所述第一预设数量的子预测像素值加权平均，得到所述像素i的第一预测像素值。
15.如权利要求14所述的设备，其特征在于，
所述处理模块，还用于确定搜索框，所述搜索框中包含所述像素i，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；
所述处理模块，还用于以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；
所述处理模块，还用于以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；
所述处理模块，还用于遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含所述像素i的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组。
16.如权利要求14所述的设备，其特征在于，
所述处理模块，还用于以所述像素i为中心确定搜索框，所述搜索框的面积是M*N个像素，M和N中任一值是大于或者等于1的整数，另一个值是大于1的整数；
所述处理模块，还用于以所述搜索框中每个像素为中心确定像素块，得到M*N个像素块，所述M*N个像素块中每个像素块的面积是X*Y个像素，X和Y均是大于等于1的整数，X*Y小于或者等于M*N；
所述处理模块，还用于以所述M*N个像素块中每个像素块为参考像素块，按照相似程度由高到低从所述M*N个像素块中选择第二预设数量的像素块组成所述参考像素块的相似像素块组，得到所述M*N个相似像素块组；
所述处理模块，还用于遍历所述M*N个相似像素块组，将所述M*N个相似像素块组中包含目标像素块的相似像素块组作为所述像素i的相似像素块组，得到所述第一预设数量的相似像素块组；所述目标像素块是指以所述像素i为中心的像素块。
17.如权利要求15或16所述的设备，其特征在于，
所述处理模块，还用于计算所述参考像素块与所述M*N个像素块中每个像素块的欧氏距离；
所述处理模块，还用于按照欧氏距离从小到大的顺序顺次选择所述第二预设数量的像素块作为所述参考像素块的相似像素块组。
18.如权利要求14所述的设备，其特征在于，
所述处理模块，还用于对相似像素块组j中全部像素的像素值形成的矩阵执行奇异值分解SVD，得到所述相似像素块组j与所述像素i的奇异值矩阵∑，所述相似像素块组j是所述第一预设数量的相似像素块组中的任一像素块组；
所述处理模块，还用于根据所述奇异值矩阵∑生成预测矩阵∑′，所述预测矩阵∑′中的特征值是所述奇异值矩阵∑中第三数量的特征值，所述第三数量的特征值在所述奇异值矩阵∑中从最大值顺次减小；
所述处理模块，还用于根据所述预测矩阵∑′执行逆SVD，得到所述相似像素块组j对应的预测值矩阵，并且将所述预测值矩阵中所述像素i对应的特征值与所述像素i对应的特征值的权值相乘，得到所述相似像素块组j对应所述像素i的子预测像素值。
19.如权利要求12所述的设备，其特征在于，
所述处理模块，还用于按照
Figure FDA0003594976180000041
生成得到所述第二预测像素值的矩阵，其中，
Figure FDA0003594976180000042
是指所述第二预测像素值组成的矩阵，
Figure FDA0003594976180000043
是指所述第一预测像素值组成的矩阵，所述每个像素按照所述第二预测像素值组成所述第二调整图像。
20.如权利要求13所述的设备，其特征在于，
所述处理模块，还用于将迭代次数加一，所述迭代次数是指执行权利要求1至11中任一项所述图像重建方法的次数；
所述处理模块，还用于检测所述迭代次数未达到第一阈值，并且将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新执行权利要求1至11中任一项所述的图像重建方法。
21.如权利要求13所述的设备，其特征在于，
所述处理模块，还用于计算所述第二调整图像与所述待重建图像的欧氏距离；
所述处理模块，还用于检测所述欧氏距离大于第二阈值，并且将所述第二调整图像作为下一轮迭代过程中的待重建图像，并重新执行权利要求1至11中任一项所述的图像重建方法。
22.如权利要求13所述的设备，其特征在于，
所述收发模块，还用于接收压缩图像数据；
所述处理模块，还用于根据
Figure FDA0003594976180000051
得到所述待重建图像，x是指所述待重建图像中各像素的像素值组成的矩阵。
23.一种图像解码设备，其特征在于，包括：处理器，所述处理器用于与存储器耦合，调用并执行存储器中的指令，以使所述图像解码设备执行权利要求1至11中任一项所述的图像重建方法。
CN201910387611.9A 2019-05-10 2019-05-10 图像重建方法及图像解码设备 Active CN111918070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910387611.9A CN111918070B (zh) 2019-05-10 2019-05-10 图像重建方法及图像解码设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910387611.9A CN111918070B (zh) 2019-05-10 2019-05-10 图像重建方法及图像解码设备

Publications (2)

Publication Number Publication Date
CN111918070A CN111918070A (zh) 2020-11-10
CN111918070B true CN111918070B (zh) 2022-09-02

Family

ID=73242845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910387611.9A Active CN111918070B (zh) 2019-05-10 2019-05-10 图像重建方法及图像解码设备

Country Status (1)

Country Link
CN (1) CN111918070B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727662A (zh) * 2009-11-27 2010-06-09 西安电子科技大学 Sar图像非局部均值去斑方法
CN103699436A (zh) * 2013-12-30 2014-04-02 西北工业大学 基于局部线性约束和全局结构信息的图像编码方法
CN105513026A (zh) * 2015-12-17 2016-04-20 浙江大学 一种基于图像非局部相似的压缩感知重构方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100483806B1 (ko) * 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727662A (zh) * 2009-11-27 2010-06-09 西安电子科技大学 Sar图像非局部均值去斑方法
CN103699436A (zh) * 2013-12-30 2014-04-02 西北工业大学 基于局部线性约束和全局结构信息的图像编码方法
CN105513026A (zh) * 2015-12-17 2016-04-20 浙江大学 一种基于图像非局部相似的压缩感知重构方法

Also Published As

Publication number Publication date
CN111918070A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN110363279B (zh) 基于卷积神经网络模型的图像处理方法和装置
US11250595B2 (en) Tiled image compression using neural networks
US10728553B2 (en) Visual quality preserving quantization parameter prediction with deep neural network
CN114584849A (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
US11310475B2 (en) Video quality determination system and method
CN109767401B (zh) 画面优化方法、装置、终端及对应的存储介质
US20220318606A1 (en) Npu, edge device and operation method thereof
US11445205B2 (en) Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium
EP3758373B1 (en) Video encoding method, electronic device, and storage medium
CN116402679B (zh) 一种轻量级红外超分辨率自适应重建方法
CN104205850A (zh) 瞬态信息的信号分析和生成
CN110717929A (zh) 图像目标检测方法、装置及存储介质
US20110274169A1 (en) Device, system, and method for spatially encoding video data
WO2014166412A1 (zh) 一种视频编码方法、解码方法和装置
US20240005541A1 (en) Image depth prediction method and electronic device
CN111918070B (zh) 图像重建方法及图像解码设备
CN112561779B (zh) 图像风格化处理方法、装置、设备及存储介质
CN113780519A (zh) 生成对抗网络训练方法、装置、计算机设备和存储介质
US10187656B2 (en) Image processing device for adjusting computational complexity of interpolation filter, image interpolation method, and image encoding method
CN115605875A (zh) 确定媒体中的感兴趣区域的系统和方法
Cao et al. Oodhdr-codec: Out-of-distribution generalization for hdr image compression
CN110378936B (zh) 光流计算方法、装置及电子设备
JP2015191630A (ja) 情報処理装置、変更検出方法および変更検出プログラム
CN115272428A (zh) 图像对齐方法、装置、计算机设备和存储介质
EP2903288A1 (en) Method and apparatus for constructing an epitome from an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant