CN116193128A - 图像处理方法及装置、存储介质及电子装置 - Google Patents

图像处理方法及装置、存储介质及电子装置 Download PDF

Info

Publication number
CN116193128A
CN116193128A CN202111350968.3A CN202111350968A CN116193128A CN 116193128 A CN116193128 A CN 116193128A CN 202111350968 A CN202111350968 A CN 202111350968A CN 116193128 A CN116193128 A CN 116193128A
Authority
CN
China
Prior art keywords
weight value
pixel block
pixel
target
adjustment parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111350968.3A
Other languages
English (en)
Inventor
宋剑军
徐科
孔德辉
易自尧
杨维
任聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanechips Technology Co Ltd
Original Assignee
Sanechips Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanechips Technology Co Ltd filed Critical Sanechips Technology Co Ltd
Priority to CN202111350968.3A priority Critical patent/CN116193128A/zh
Priority to PCT/CN2022/081867 priority patent/WO2023082520A1/zh
Publication of CN116193128A publication Critical patent/CN116193128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种图像处理方法及装置、存储介质及电子装置，其中，上述方法包括：获取第一图像中待编码的第一像素块集合，对第一像素块集合中的每个像素块进行编码，得到第一编码数据集合；对第一编码数据集合进行解码，得到第二像素块集合，并获取对第一编码数据集合进行解码时的第一解码信息集合；将第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合；将第二像素块集合和目标权重值集合输入到目标神经网络模型，得到目标神经网络模型输出的第三像素块集合，其中，目标神经网络模型用于根据目标权重值集合，对第二像素块集合中的像素点的像素值进行调整，得到第三像素块集合，第三像素块集合用于形成第二图像。

Description

图像处理方法及装置、存储介质及电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种图像处理方法及装置、存储介质及电子装置。
背景技术
随着视频图像行业快速发展，视频分辨率从标清、高清、超清、到4K/8K，帧率从30帧，60帧，90帧到120帧，包含的信息量不断扩大，这势必会给网络带宽带来极大的压力，如何提高视频图像质量变得很重要。有两种方法，一种方法是不断提高传输码率，另一种方法是在显示前进行图像处理，提高码率意味着需要增加宽带，成本增加，并且显然不能够无限增加，因此，显示端的图像处理则可以根据场景进行调整，在成本增加不多的情况下，尽可能提高显示端质量。
国际视频编码标准组织为了更好提高的编码质量，提出了HEVC标准，也称为H.265，引入了树形结构单元(Coding TreeUnit，简称为CTU)，采用了四叉树结构的图像块划分方式。这种块划分方式能够自适应的根据纹理信息进行划分，编码单元(Coding Unit，CU)的大小从最小的8x8到最大的64x64，这样划分的好处是，一方面大的CU可以使得平缓区域的编码效率大大提高，另一方面小的CU能够很好的处理图像局部的细节，从而可以使复杂图像的预测更加准确。
通常编码过程中不同区域分为帧内编码单元和帧间编码单元，帧内块只考虑空域的信息，帧间块只考虑时域的信息，通过预测之后，还需要进行变换量化来更好的得到哪些纹理丰富但不易预测的像素点，即需要编码残差(Residual)。
一般来说，根据码率控制算法，纹理信息比较丰富的区域在进行编码的时候更趋向于选择较小的量化值(quantizative parameters，简称为qp)，在平坦的区域选择较大的量化值，以此来减少编码过程消耗的码流。
对比传统的图像处理，深度学习和神经网络能够极大提高视频图像的主客观质量，包括SRCNN，DRCN，ESPCN，VESPCN和SRGAN等，大大高于传统图像处理方法得到的视频图像质量，因此，如何结合深度学习和神经网络的图像处理方法是未来发展趋势。
细节信息的利用对图像处理的性能有很大影响。正确和充分地利用这些信息可以提高图像处理的最终结果。目前视频图像处理只利用视频图像本身数据信息，如果图像处理位于解码之后，可以利用解码信息来进一步改进深度神经网络学习，更有效提取和恢复纹理信息。
针对相关技术中，传统基于神经网络算法的图像处理只利用对编码流解码后得到的图像数据，并不利用对编码流解码后得到的解码信息，进而导致图像处理的效果较差的问题。目前尚未提出有效的解决方案。
因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。
发明内容
本发明实施例提供了一种图像处理方法及装置、存储介质及电子装置，以至少解决传统基于神经网络算法的图像处理只利用对编码流解码后得到的图像数据，并不利用对编码流解码后得到的解码信息，进而导致图像处理的效果较差的问题。
根据本发明实施例的一方面，提供一种图像处理方法，包括获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
根据本发明实施例的另一方面，还提供一种图像处理装置，包括：第一获取模块，用于获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；解码模块，用于对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；第二获取模块，用于将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；第三获取模块，用于将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像处理方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述图像处理方法。
通过本发明，在传输第一图像的过程中，对第一图像中待编码的第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，进而在接收端对获取到的第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，将第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，进而将第二像素块集合和目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，第三像素块集合用于形成第二图像。采用上述技术方案，对于图像中的每个像素块，可以让目标神经网络模型根据解码信息来确定像素块中像素点的重要程度，进而对重要的像素点进行重点处理，可以提高对图像的处理效果。进而解决了传统基于神经网络算法的图像处理只利用对编码流解码后得到的图像数据，并不利用对编码流解码后得到的解码信息，进而导致图像处理的效果较差的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示例性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的图像处理方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的图像处理方法的流程图；
图3是根据本发明实施例的图像处理方法的框架图(一)；
图4是根据本发明实施例的图像处理方法的框架图(二)；
图5是根据本发明实施例的图像处理方法的框架图(三)；
图6是根据本发明实施例的图像处理方法的框架图(四)；
图7是根据本发明实施例的图像处理装置的框架图(一)；
图8是根据本发明实施例的图像处理装置的框架图(二)。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的图像处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit，简称是MPU)或可编程逻辑器件(Programmable logic device，简称是PLD))和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像处理方法，应用于目标客户端，图2是根据本发明实施例的图像处理方法的流程图，该流程包括如下步骤：
步骤S202，获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；
需要说明的是，第一图像在传输的过程中，需要进行压缩编码，进而在压缩编码的过程中，第一图像可以被分为多个像素块，进而形成第一像素块集合，像素块对应的编码方式可以分为以下之一：帧内编码方式，帧间编码方式。
步骤S204，对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；
步骤S206，将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；
为了更好的理解，假设有一张图片，图片的主体为人，图片的背景为草原，则可以理解在图片中，图片中人的像素点的重要程度是大于图片中草原的像素点的重要程度。
需要说明的是，注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。注意力(Attention)思想就是利用相似性的度量，当前的输入与目标状态相似时，那么当前的输入的权重就会越大，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。
步骤S208，将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
需要说明的是，上述实施例中的图像处理的目的是为了使得第二图像中像素点的像素值更加接近第一图像中像素点的像素值。
需要说明的是，第一像素块集合一起组成第一图像，第一图像为在没有压缩传输前的原图像，为了提高传输效率，第一图像在传输以前，会进行压缩处理。得到编码流，在接收端对编码流进行解码处理以后，会得到第二像素块集合，由于压缩过程是有损压缩，所以第二像素块集合中的像素块和第一像素块集合中的像素块是不同的，为了使得接收端显示的第二图像的图像质量接近第一图像的质量，进而需要对第二像素块集合中的每一个像素块进行图像处理，进而先将对编码流进行解码后得到的解码信息输入到注意力网络模型中，得到目标权重值集合，再将第二像素块集合和目标权重值集合输入到目标神经网络模型中，得到第三像素块集合，使得第三像素块集合形成第二图像，并在接收端显示第二图像。
通过上述步骤，在传输第一图像的过程中，对第一图像中待编码的第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，进而在接收端对获取到的第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，将第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，进而将第二像素块集合和目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，第三像素块集合用于形成第二图像。采用上述技术方案，对于图像中的每个像素块，可以让目标神经网络模型根据解码信息来确定像素块中像素点的重要程度，进而对重要的像素点进行重点处理，可以提高对图像的处理效果。进而解决了传统基于神经网络算法的图像处理只利用对编码流解码后得到的图像数据，并不利用对编码流解码后得到的解码信息，进而导致图像处理的效果较差的问题。
为了更好的理解上述获取对所述第一编码数据集合进行解码时的第一解码信息集合，在一个可选的实施例中，可以通过以下技术方案实现：在第一像素块对应的编码方式为帧内编码方式的情况下，获取对第一编码数据进行解码时的第一解码信息，其中，所述第一像素块集合包括所述第一像素块，所述第一编码数据是采用所述帧内编码方式对所述第一像素块进行编码所得到的编码数据，所述第一解码信息包括所述第一像素块的尺寸信息和第一量化参数，所述第一量化参数是对所述第一像素块进行编码所采用的量化参数；和/或在第二像素块对应的编码方式为帧间编码方式的情况下，获取对第二编码数据进行解码时的第二解码信息，其中，所述第一像素块集合包括所述第二像素块，所述第二编码数据是采用所述帧间编码方式对所述第二像素块进行编码所得到的编码数据，所述第二解码信息包括残差信息集合和第二量化参数，所述第二量化参数是对所述第二像素块进行编码所采用的量化参数，所述残差信息集合包括所述第二像素块中的每个像素点对应的残差信息。
也就是说，假设第一像素块集合中具有两个不同的像素块，分别为第一像素块和第二像素块，且第一像素块是采用帧内编码方式，第二像素块是采用帧间编码方式，则对于第一像素块而言，在通过解码器对第一像素块的编码流进行解码的时候，会得到第一像素块对应的第三像素块，同时还会得到关于第三像素块的解码信息。需要说明的是，由于在传输的过程中，是有损压缩，所以第三像素块和第一像素块中对应像素点的像素值是不一样的，由于第一像素块是帧内编码方式，进而只需获取关于第三像素块的解码信息中的像素块的尺寸信息和第一量化参数。
对于第二像素块而言，在通过解码器对第二像素块的编码流进行解码的时候，会得到第二像素块对应的第四像素块，同时还会得到关于第四像素块的解码信息。需要说明的是，由于在传输的过程中，是有损压缩，所以第四像素块和第二像素块中对应像素点的像素值是不一样的，由于第一像素块是帧间编码方式，进而只需获取关于第四像素块的解码信息中的第二量化参数和残差信息集合。需要说明的是，残差信息集合中具有第四像素块中每一个像素点的残差值。为了更好的理解残值，以下具体说明，假设第二像素块有一个像素点A的像素值为200，在进行编码以后，预测得到的像素值为50，则此像素点A的实际残差值为150，但由于是有损压缩，即像素点A的残差值也会进行压缩，进而在对第二像素块的编码流进行解码后得到的第四像素块中，像素点A的像素值为50，解码得到的偏差残差值可能为50。在本实施例中，残差信息集合中每个像素点的残差值即为偏差残差值。
在一个可选的实施例中，上述将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，包括以下方式：在所述第一像素块对应的编码方式为所述帧内编码方式的情况下，将所述第一解码信息输入到所述目标注意力网络模型，得到第一权重值集合，其中，所述第一权重值集合包括与第三像素块中的每个像素点一一对应的权重值，所述目标权重值集合包括所述第一权重集合，所述第二像素块集合包括所述第三像素块，所述第三像素块为对所述第一像素块的所述第一编码数据进行解码后得到的像素块，所述目标注意力模型用于根据所述第一像素块的尺寸信息与第一权重的乘积，以及所述第一量化参数与第二权重的乘积确定所述第三像素块的所述第一权重集合。
也就是说，对于第一像素块而言，由于是帧内编码方式，则将对第一像素块的编码流进行解码后得到的第一解码信息输入到目标注意力网络模型，使得目标注意力网络模型根据第一解码信息中像素块的尺寸信息与第一权重的乘积，以及所述第一量化参数与第二权重的乘积确定所述第三像素块的第一权重集合。需要说明的是，由于在编码的时候，对于像素块中纹理信息丰富的区域，编码单元的大小就越小，且采用较小的量化值。如果有两个像素块，A像素块的大小比B像素块的大小小，且A像素块采用的量化参数也比B像素块采用的量化参数小，则A像素块中像素点的权重值就比B像素块中像素点的权重值大。具体的，可以通过将第一像素块的尺寸信息与第一权重的乘积与第一量化参数与第二权重的乘积之和的倒数，确定为像素块的权重值。由于帧内编码方式对应的像素块，每个像素块中的像素点具有相同的量化值，且位于同一个像素块(像素块大小是一样的)，则每一个像素点的权重值是一样的。需要说明的是，在一个图片中，如果存在一个区域，里面的像素点的像素值差异较大，则认为这个区域纹理信息丰富。
在一个可选的实施例中，上述将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，还可以包括以下方式：在所述第二像素块对应的编码方式为所述帧间编码方式的情况下，将所述第二解码信息输入到目标注意力网络模型，得到第二权重值集合，其中，所述第二权重值集合包括与第四像素块中的每个像素点一一对应的权重值，所述目标权重值集合包括第二权重集合，所述第二像素块集合包括所述第四像素块，所述第四像素块为对所述第二像素块的所述第二编码数据进行解码后得到的像素块，所述目标注意力模型用于根据所述第二量化参数与第三权重的乘积，和所述残差信息集合与第四权重的乘积确定所述第四像素块的第二权重集合。
也就是说，对于第二像素块而言，由于是帧间编码方式，则将对第二像素块的编码流进行解码后得到的第二解码信息输入到目标注意力网络模型，使得目标注意力网络模型根据第二解码信息中第二量化参数与第三权重的乘积，以及残差信息集合与第四权重的乘积确定所述第四像素块的第二权重集合。需要说明的是，由于在编码的时候，对于像素块中纹理信息丰富的区域，对应像素点的残差就越小，且采用较小的量化值。如果一个像素块里面有像素点A和像素点B。则在一个像素块中，由于像素点A和像素点B的量化参数信息是一样，故只需要比较像素点A和像素点B的残差即可，如果像素点A的残差比像素点B的残差小，则像素点A的权重值就比像素点B的权重值大。具体的，可以通过将第二量化参数与第三权重的乘积与残差信息集合中每个像素点的残差值与第二权重的乘积之和的倒数，确定每个像素块的权重值。
进而采用上述技术方案，确定第二像素块集合中每一个像素块的像素点的权重值，进而共同构成目标权重值集合。
在一个可选的实施例中，所述将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，可以通过以下方式实现：将所述第二像素块集合中的第五像素块和所述目标权重值集合中与所述第五像素块对应的第五权重值集合输入到所述目标神经网络模型，得到所述第三像素块集合中的第六像素块，其中，所述目标神经网络模型用于根据与所述第五权重值集合中的权重值对应的调整参数，对所述第五像素块中的像素点的像素值进行调整，得到所述第六像素块，所述与所述第五权重值集合对应的调整参数包括对所述第五像素块中的像素点的像素值进行调整时，允许的像素值的调整范围和/或允许的像素值的调整精度。
为了更好的理解，以第二像素块集合中的任一像素块，第五像素块为例，第五像素块可以是帧内编码方式，也可以是帧间编码方式。将第五像素块以及第五像素块对应的第五权重值输入到目标神经网络模型中，进而目标神经网络模型根据第五权重值集合中每个权重值对应的调整参数对第五像素块中的像素点的像素值进行调整。具体的，需要根据权重值确定像素点的像素值对应的调整范围和调整精度。
在一个示例性的实施例中，调整范围[-20，20]大于调整范围[-10，10]，调整精度为3个像素值大于调整精度为4个像素值。
为了更好的理解如何确定第五权重值集合中的每个权重值对应的调整参数，可以通过以下方式之一：根据所述第五权重值集合中每个权重值在所述第五权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数；根据所述第五权重值集合中每个权重值在所述目标权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数；根据所述第五权重值集合中每个权重值所处的预设范围确定所述第五权重值集合中每个权重值对应的调整参数。
在一个可选的实施例中，根据所述第五权重值集合中每个权重值在所述第五权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数，可以通过以下方式确定：在第一权重值在所述第五权重值集合中的权重值排名位于第一范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一范围对应的调整参数；在第二权重值在所述第五权重值集合中的权重值排名位于第二范围的情况下，将所述第一权重值对应的第二调整参数确定为等于与所述第二范围对应的调整参数；其中，包括所述第一范围和所述第二范围在内的多个范围中的每个范围被预先配置了对应的调整参数，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一范围中每个排名比所述第二范围中的每个排名靠前，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度；或者在所述第一权重值在所述第五权重值集合中的权重值排名比所述第二权重值在所述第五权重值集合中的权重值排名靠前的情况下，将所述第一权重值对应的所述第一调整参数确定为等于与所述第一权重值在所述第五权重值集合中的权重值排名对应的调整参数，并将所述第二权重值对应的所述第二调整参数确定为等于与所述第二权重值在所述第五权重值集合中的权重值排名对应的调整参数，其中，所述第五权重值集合中的每个权重值排名被预先配置了对应的调整参数，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度。
为了更好的理解，以下做具体说明，如果像素点A的第一权重值在第五权重值集合中排名第三，在第一范围(第一名到第五名)之内，则将第一范围预先配置的第一调整参数确定为像素点A的调整参数。如果像素点B的第二权重值在第五权重值集合中排名第六，在第二范围(第六名到第十名)之内，则将第二范围预先配置的第二调整参数确定为像素点B的调整参数。
在本实施中，也可以为第五权重值集合中的每个排名都预设一个调整参数，并将每个权重值对应的调整参数确定为等于与每个权重值在第五权重值集合中的权重值排名对应的调整参数。
在一个可选的实施例中，根据所述第五权重值集合中每个权重值在所述目标权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数，可以通过以下方式实现：在第一权重值在所述目标权重值集合中的权重值排名位于第一范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一范围对应的调整参数；在第二权重值在所述目标权重值集合中的权重值排名位于第二范围的情况下，将所述第一权重值对应的第二调整参数确定为等于与所述第二范围对应的调整参数；其中，包括所述第一范围和所述第二范围在内的多个范围中的每个范围被预先配置了对应的调整参数，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一范围中每个排名比所述第二范围中的每个排名靠前，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度；或者在所述第一权重值在所述目标权重值集合中的权重值排名比所述第二权重值在所述目标权重值集合中的权重值排名靠前的情况下，将所述第一权重值对应的所述第一调整参数确定为等于与所述第一权重值在所述目标权重值集合中的权重值排名对应的调整参数，并将所述第二权重值对应的所述第二调整参数确定为等于与所述第二权重值在所述目标权重值集合中的权重值排名对应的调整参数，其中，所述目标权重值集合中的每个权重值排名被预先配置了对应的调整参数，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度。
为了更好的理解，以下做具体说明，如果像素点A的第一权重值在目标权重值集合中排名第三，在第一范围(第一名到第五名)之内，则将第一范围预先配置的第一调整参数确定为像素点A的调整参数。如果像素点B的第二权重值在目标权重值集合中排名第六，在第二范围(第六名到第十名)之内，则将第二范围预先配置的第二调整参数确定为像素点B的调整参数。
在本实施中，也可以为目标权重值集合中的每个排名都预设一个调整参数，并将每个权重值对应的调整参数确定为等于与每个权重值在目标权重值集合中的权重值排名对应的调整参数。
在一个可选的实施例中，根据所述第五权重值集合中每个权重值所处的预设范围确定所述第五权重值集合中每个权重值对应的调整参数，可以通过以下方式确定：在第一权重值位于第一预设范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一预设范围对应的调整参数；在第二权重值位于第二预设范围的情况下，将所述第二权重值对应的第二调整参数确定为等于与所述第二预设范围对应的调整参数；其中，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一预设范围中每个值大于所述第二预设范围中每个值，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数中的调整精度。
为了更好的理解，以下做具体说明，假如第五权重值集合中有一个第一权重值为5，在第一预设范围(0-10)中，则将此第一权重值对应的第一调整参数确定为等于与第一预设范围对应的调整参数，假如第五权重值集合中有一个第二权重值为15，在第一预设范围(11-20)中，则将此第二权重值对应的第二调整参数确定为等于与第二预设范围对应的调整参数。
需要说明的是，上述目标注意力网络模型与目标神经网络模型是通过训练得到，具体的，可以通过以下方式实现：获取样本图像集合，将所述样本图像集合中每个样本图像中待编码的第一样本像素块集合中的每个像素块进行编码，得到所述每个样本图像的第一编码数据集合；对所述每个样本图像的第一编码数据集合进行解码，得到所述每个样本图像的第二样本像素块集合，并获取对所述每个样本图像的第一编码数据集合进行解码时的所述每个样本图像的第一解码信息集合；
重复执行以下步骤一至步骤五，直到当前样本图像的第一样本像素块集合中的像素块与对应的第三样本像素块集合中的像素块之间的目标损失值小于或等于预设阈值，将待训练注意力网络模型确定为所述目标注意力网络模型，将待训练神经网络模型确定为所述目标神经网络模型：
步骤一：选取所述样本图像集合中的一个样本图像作为所述当前样本图像；
步骤二：将所述当前样本图像的第一解码信息集合输入到所述待训练注意力网络模型，得到所述当前样本图像的权重值集合；
步骤三：将所述当前样本图像的第二样本像素块集合和所述当前样本图像的权重值集合输入到所述待训练神经网络模型，得到所述待训练神经网络模型输出的所述当前样本图像的第三样本像素块集合；
步骤四：确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值；
步骤五：在所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值大于所述预设阈值的情况下，调整所述待训练神经网络模型与所述待训练注意力网络模型中的参数。
在一个示例性的实施例中，调整待训练注意力网络模型中的参数，包括但不限于第一权重，第二权重，第三权重，第四权重。调整待训练神经网络模型中的参数，包括但不限于每个范围对应的调整参数。
在一个可选的实施例中，确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值，可以通过以下方式实现：通过L2损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第一损失值；通过信息熵损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第二损失值；将所述第一损失值与所述第二损失值之和确定为所述目标损失值。
在一个示例性的实施例中，通过信息熵损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第二损失值，包括：确定所述第一样本像素块集合中的像素块中每个像素点的像素值在第三预设范围的第一概率；确定所述第三样本像素块集合中的像素块中每个像素点的像素值在所述第三预设范围的第二概率；通过所述信息熵损失函数、所述第一概率以及所述第二概率确定所述第二损失值。
具体的，通过信息熵损失函数确定第一概率的第一值，通过信息熵损失函数确定第二概率的第二值，将第一值与第二值的差的绝对值确定为第二损失函数。信息熵损失函数如下：
Figure BDA0003355743150000101
其中，p(x)为概率值，0-N为第三预设范围。I(X)为L2损失函数。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述图像处理方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：
图3是根据本发明实施例的图像处理方法的框架图(一)，具体的，对获取到的第一图像的编码流通过解码器进行解码，得到压缩后的图像(相当于上述第二像素块集合)以及解码信息(相当于上述第一解码信息结合)，并将解码信息输入自注意力网络模型中，将压缩后的图像以及自注意力网络模型(相当于上述目标自注意力网络模型)的输出一起输入到超分辨率网络模型(相当于上述目标神经网络模型)中，进而得到第二图像。
需要说明是，对于压缩后的图像中的帧内编码单元(相当于上述第一像素块)，将像素块尺寸信息以及量化参数信息输入至自注意力网络模型，以得到对应的帧内编码单元的每个像素点的权重值。
需要说明的是，本实施例中的图像处理还可以进行超分辨率处理。
图4是根据本发明实施例的图像处理方法的框架图(二)，具体的，可以将自注意力网络模型输出的帧内编码单元中每个像素点的权重值与帧内编码单元的每个像素点的像素值进行点乘，进而将得到的结果输入至超分辨率网络模型。
图5是根据本发明实施例的图像处理方法的框架图(三)，需要说明是，对于压缩后的图像中的帧间编码单元(相当于上述第二像素块)，将量化参数信息输入以及像素点的残差信息输入至自注意力网络模型，以得到对应的帧间编码单元的每个像素点的权重值。
图6是根据本发明实施例的图像处理方法的框架图(四)，具体的，可以将自注意力网络模型输出的帧间编码单元中每个像素点的权重值与帧间编码单元的每个像素点的像素值进行点乘，进而将得到的结果输入至超分辨率网络模型。
为了更好的理解，以下进行具体说明，具体可以分为以下步骤：
步骤一：输入当前码流input，进行解码decodec，输出视频数据信息data(相当过上述第二像素块集合)和解码信息。如果是帧内编码单元(相当于上述第一像素块)，选择解码信息中的cu-size/cu-qp输入自注意力网络模型中，如图3。如果是帧间编码单元(相当于上述第二像素块)，选择cu-res/cu-qp信息输入自注意力网络模型中，如图5。需要说明的是，根据不同编码方式提取不同码流信息是本发明的发明点之一。
步骤二，输入视频图像data信息和att-net(自注意力网络模型)输出的信息到sr-net(超分辨率网络模型)。
图3和图4用于帧内编码单元，对帧内编码单元，将cu-size/cu-qp信息输入到att-net。对不同位置的像素点，cu-size越小，纹理信息越丰厚，意味着这些区域的像素点更重要，需要更关注这些像素点的信息。对不同位置的像素点，认为cu-qp越小，纹理信息越丰厚，意味着这些区域的像素点更重要，需要更关注这些像素点的信息。如图4，att-net的输出和data做点乘，即最简单空域注意力机制，再输入到sr-net。
图5和图6用于帧间编码单元，对帧间编码单元，将cu-res/cu-qp信息输入到att-net。对不同位置的像素点，认为cu-res越密集，新增加的纹理信息越丰厚，意味着这些区域的像素点更重要，需要更关注这些像素点的信息。对不同位置的像素点，认为cu-qp越小，纹理信息越丰厚，意味着这些区域的像素点更重要，需要更关注这些像素点的信息。图6，att-net输出和data做点乘，即最简单空域注意力机制，再输入到sr-net。
如何利用码流解码信息去动态改善data信息进而提高sr-net效果是本发明的发明点之二。
步骤三，sr-net输出视频图像(相当于上述第二图像)output，对损失loss的计算方式，除了传统的L2损失，还有输入输出视频图像之间的信息熵损失，其中，信息熵一方面是为了保证输出图像和当前图像基本特征一致，空域信息不出现特别大的波动，另一方面是为了输出图像和参考图像基本特征一致，时域信息不出现特别大的波动。整体损失如下：
Loss＝λ1*LossSR+λ2*Lossin
其中，权重系数λ可以训练也可以自定义大小，每个Loss权重计算如下，
Figure BDA0003355743150000111
其中，LOSSSR为L2损失，t为时间，h为高度，w为长度。
Figure BDA0003355743150000112
其中，LOSSin为信息熵损失，gt表示真实图像/groundtruth，H函数表示信息熵，具体计算，首先分别统计SR和gt的直方图，然后得到像素值x在0～N范围内的概率p(x)，最后计算图像的信息熵，gt和SR图像相减平方得到信息熵均方差，公式如下
Figure BDA0003355743150000113
多种loss计算方法是本发明的发明点之三。
进而上述步骤完成自注意力网络模型和超分辨率网络模型的一次训练。
需要说明的是，图3中输入码流可以是图像的，也可以是视频的。decodec解码器的标准可以是图像解码协议，也可以是视频解码协议，包括H.26x系列，MPEG系列，AVS系列、VPx/AV1系列。
图3中att-net和sr-net结合方式可以为：
其一，attention机制可以是通道注意力/channel attention，也可以是空间注意力/spatial attention，或者多个叠加。
其二，attention输出到sr-net可以是输入开始位置，也可以是中间位置，也可以是输出结束位置。
SR通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的一帧或者多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。
此外，本发明利用解码信息方面的改进还可以应用在视频图像超解析/超分辨率/SR(Super Resolution)。
实际上，SR技术相关可分成二类，视频图像修复和视频图像插值。视频图像插值又包括视频图像分辨率变化和视频图像帧数变化，视频图像分辨率变化可以是无极放大和缩小，视频图像帧数变化可以是插帧和抽帧。一般来说，视频超分源于图像超分，其目的是从一个或多个分辨率(Reference image)参考图像中恢复(Target image)目标图像，它们的区别也很明显，由于视频是由多个帧组成的，即传统方法通常利用帧间和帧内的信息来进行修复。
对比传统SR，深度学习和神经网络能够极大提高视频图像的主客观质量，包括SRCNN，DRCN，ESPCN，VESPCN和SRGAN等，大大高于传统SR方法得到的视频图像质量，因此，如何结合深度学习和神经网络的SR方法是未来发展趋势。
传统方法更多的采用基于深度神经网络结构方法，只是用到了视频图像本身的信息，没有利用到解码过程可能会提供的信息。
即图3中sr-net部分输出的可替代方案如下：
视频图像的超分领域，包括分辨率缩放，插帧和增强。因此，SR后处理模块功能分情况：1、分辨率缩放，添加图像upsample部分；2、插帧，添加图像interpolated部分；3、增强，添加图像修复部分，这里一起包括在sr-net中。
本发明结合解码信息和深度神经网络，通过自注意力网络，将解码信息添加到深度神经网络来提高SR效果，不但能够大大提高训练效率，而且还可以有效减少深度神经网络复杂度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种图像处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的图像处理装置的框架图(一)，该装置包括：
第一获取模块71，用于获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；
解码模块72，用于对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；
第二获取模块73，用于将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；
第三获取模块74，用于将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
通过上述模块，在传输第一图像的过程中，对第一图像中待编码的第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，进而在接收端对获取到的第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，将第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，进而将第二像素块集合和目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，第三像素块集合用于形成第二图像。采用上述技术方案，对于图像中的每个像素块，可以让目标神经网络模型根据解码信息来确定像素块中像素点的重要程度，进而对重要的像素点进行重点处理，可以提高对图像的处理效果。进而解决了传统基于神经网络算法的图像处理只利用对编码流解码后得到的图像数据，并不利用对编码流解码后得到的解码信息，进而导致图像处理的效果较差的问题。
可选的，解码模块72还用于在第一像素块对应的编码方式为帧内编码方式的情况下，获取对第一编码数据进行解码时的第一解码信息，其中，所述第一像素块集合包括所述第一像素块，所述第一编码数据是采用所述帧内编码方式对所述第一像素块进行编码所得到的编码数据，所述第一解码信息包括所述第一像素块的尺寸信息和第一量化参数，所述第一量化参数是对所述第一像素块进行编码所采用的量化参数；和/或在第二像素块对应的编码方式为帧间编码方式的情况下，获取对第二编码数据进行解码时的第二解码信息，其中，所述第一像素块集合包括所述第二像素块，所述第二编码数据是采用所述帧间编码方式对所述第二像素块进行编码所得到的编码数据，所述第二解码信息包括残差信息集合和第二量化参数，所述第二量化参数是对所述第二像素块进行编码所采用的量化参数，所述残差信息集合包括所述第二像素块中的每个像素点对应的残差信息。
可选的，第二获取模块73还用于在所述第一像素块对应的编码方式为所述帧内编码方式的情况下，将所述第一解码信息输入到所述目标注意力网络模型，得到第一权重值集合，其中，所述第一权重值集合包括与第三像素块中的每个像素点一一对应的权重值，所述目标权重值集合包括所述第一权重集合，所述第二像素块集合包括所述第三像素块，所述第三像素块为对所述第一像素块的所述第一编码数据进行解码后得到的像素块，所述目标注意力模型用于根据所述第一像素块的尺寸信息与第一权重的乘积，以及所述第一量化参数与第二权重的乘积确定所述第三像素块的所述第一权重集合。
可选的，第二获取模块73还用于在所述第二像素块对应的编码方式为所述帧间编码方式的情况下，将所述第二解码信息输入到目标注意力网络模型，得到第二权重值集合，其中，所述第二权重值集合包括与第四像素块中的每个像素点一一对应的权重值，所述目标权重值集合包括第二权重集合，所述第二像素块集合包括所述第四像素块，所述第四像素块为对所述第二像素块的所述第二编码数据进行解码后得到的像素块，所述目标注意力模型用于根据所述第二量化参数与第三权重的乘积，和所述残差信息集合与第四权重的乘积确定所述第四像素块的第二权重集合。
可选的，第三获取模块74还用于将所述第二像素块集合中的第五像素块和所述目标权重值集合中与所述第五像素块对应的第五权重值集合输入到所述目标神经网络模型，得到所述第三像素块集合中的第六像素块，其中，所述目标神经网络模型用于根据与所述第五权重值集合中的权重值对应的调整参数，对所述第五像素块中的像素点的像素值进行调整，得到所述第六像素块，所述与所述第五权重值集合对应的调整参数包括对所述第五像素块中的像素点的像素值进行调整时，允许的像素值的调整范围和/或允许的像素值的调整精度。
图8是根据本发明实施例的图像处理装置的框架图(二)，该还装置包括：确定模块75，训练模块76。
可选的，确定模块75还用于通过以下之一确定所述第五权重值集合中的每个权重值对应的调整参数：根据所述第五权重值集合中每个权重值在所述第五权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数；根据所述第五权重值集合中每个权重值在所述目标权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数；根据所述第五权重值集合中每个权重值所处的预设范围确定所述第五权重值集合中每个权重值对应的调整参数。
可选的，确定模块75还用于在第一权重值在所述第五权重值集合中的权重值排名位于第一范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一范围对应的调整参数；在第二权重值在所述第五权重值集合中的权重值排名位于第二范围的情况下，将所述第一权重值对应的第二调整参数确定为等于与所述第二范围对应的调整参数；其中，包括所述第一范围和所述第二范围在内的多个范围中的每个范围被预先配置了对应的调整参数，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一范围中每个排名比所述第二范围中的每个排名靠前，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度；或者在所述第一权重值在所述第五权重值集合中的权重值排名比所述第二权重值在所述第五权重值集合中的权重值排名靠前的情况下，将所述第一权重值对应的所述第一调整参数确定为等于与所述第一权重值在所述第五权重值集合中的权重值排名对应的调整参数，并将所述第二权重值对应的所述第二调整参数确定为等于与所述第二权重值在所述第五权重值集合中的权重值排名对应的调整参数，其中，所述第五权重值集合中的每个权重值排名被预先配置了对应的调整参数，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度。
可选的，确定模块75还用于在第一权重值在所述目标权重值集合中的权重值排名位于第一范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一范围对应的调整参数；在第二权重值在所述目标权重值集合中的权重值排名位于第二范围的情况下，将所述第一权重值对应的第二调整参数确定为等于与所述第二范围对应的调整参数；其中，包括所述第一范围和所述第二范围在内的多个范围中的每个范围被预先配置了对应的调整参数，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一范围中每个排名比所述第二范围中的每个排名靠前，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度；或者在所述第一权重值在所述目标权重值集合中的权重值排名比所述第二权重值在所述目标权重值集合中的权重值排名靠前的情况下，将所述第一权重值对应的所述第一调整参数确定为等于与所述第一权重值在所述目标权重值集合中的权重值排名对应的调整参数，并将所述第二权重值对应的所述第二调整参数确定为等于与所述第二权重值在所述目标权重值集合中的权重值排名对应的调整参数，其中，所述目标权重值集合中的每个权重值排名被预先配置了对应的调整参数，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度。
可选的，确定模块75还用于在第一权重值位于第一预设范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一预设范围对应的调整参数；在第二权重值位于第二预设范围的情况下，将所述第二权重值对应的第二调整参数确定为等于与所述第二预设范围对应的调整参数；其中，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一预设范围中每个值大于所述第二预设范围中每个值，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数中的调整精度。
可选的，训练模块76还用于获取样本图像集合，将所述样本图像集合中每个样本图像中待编码的第一样本像素块集合中的每个像素块进行编码，得到所述每个样本图像的第一编码数据集合；对所述每个样本图像的第一编码数据集合进行解码，得到所述每个样本图像的第二样本像素块集合，并获取对所述每个样本图像的第一编码数据集合进行解码时的所述每个样本图像的第一解码信息集合；重复执行以下步骤，直到当前样本图像的第一样本像素块集合中的像素块与对应的第三样本像素块集合中的像素块之间的目标损失值小于或等于预设阈值，将待训练注意力网络模型确定为所述目标注意力网络模型，将待训练神经网络模型确定为所述目标神经网络模型：选取所述样本图像集合中的一个样本图像作为所述当前样本图像；将所述当前样本图像的第一解码信息集合输入到所述待训练注意力网络模型，得到所述当前样本图像的权重值集合；将所述当前样本图像的第二样本像素块集合和所述当前样本图像的权重值集合输入到所述待训练神经网络模型，得到所述待训练神经网络模型输出的所述当前样本图像的第三样本像素块集合；确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值；在所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值大于所述预设阈值的情况下，调整所述待训练神经网络模型与所述待训练注意力网络模型中的参数。
可选的，训练模块76还用于通过L2损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第一损失值；通过信息熵损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第二损失值；将所述第一损失值与所述第二损失值之和确定为所述目标损失值。
可选的，训练模块76还用于确定所述第一样本像素块集合中的像素块中每个像素点的像素值在第三预设范围的第一概率；确定所述第三样本像素块集合中的像素块中每个像素点的像素值在所述第三预设范围的第二概率；通过所述信息熵损失函数、所述第一概率以及所述第二概率确定所述第二损失值。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；
S2，对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；
S3，将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；
S4，将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；
S2，对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；
S3，将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；
S4，将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；
对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；
将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；
将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
2.根据权利要求1所述的方法，其特征在于，所述获取对所述第一编码数据集合进行解码时的第一解码信息集合，包括：
在第一像素块对应的编码方式为帧内编码方式的情况下，获取对第一编码数据进行解码时的第一解码信息，其中，所述第一像素块集合包括所述第一像素块，所述第一编码数据是采用所述帧内编码方式对所述第一像素块进行编码所得到的编码数据，所述第一解码信息包括所述第一像素块的尺寸信息和第一量化参数，所述第一量化参数是对所述第一像素块进行编码所采用的量化参数；和/或
在第二像素块对应的编码方式为帧间编码方式的情况下，获取对第二编码数据进行解码时的第二解码信息，其中，所述第一像素块集合包括所述第二像素块，所述第二编码数据是采用所述帧间编码方式对所述第二像素块进行编码所得到的编码数据，所述第二解码信息包括残差信息集合和第二量化参数，所述第二量化参数是对所述第二像素块进行编码所采用的量化参数，所述残差信息集合包括所述第二像素块中的每个像素点对应的残差信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，包括：
在所述第一像素块对应的编码方式为所述帧内编码方式的情况下，将所述第一解码信息输入到所述目标注意力网络模型，得到第一权重值集合，其中，所述第一权重值集合包括与第三像素块中的每个像素点一一对应的权重值，所述目标权重值集合包括所述第一权重集合，所述第二像素块集合包括所述第三像素块，所述第三像素块为对所述第一像素块的所述第一编码数据进行解码后得到的像素块，所述目标注意力模型用于根据所述第一像素块的尺寸信息与第一权重的乘积，以及所述第一量化参数与第二权重的乘积确定所述第三像素块的所述第一权重集合。
4.根据权利要求2所述的方法，其特征在于，所述将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，包括：
在所述第二像素块对应的编码方式为所述帧间编码方式的情况下，将所述第二解码信息输入到目标注意力网络模型，得到第二权重值集合，其中，所述第二权重值集合包括与第四像素块中的每个像素点一一对应的权重值，所述目标权重值集合包括第二权重集合，所述第二像素块集合包括所述第四像素块，所述第四像素块为对所述第二像素块的所述第二编码数据进行解码后得到的像素块，所述目标注意力模型用于根据所述第二量化参数与第三权重的乘积，和所述残差信息集合与第四权重的乘积确定所述第四像素块的第二权重集合。
5.根据权利要求1所述的方法，其特征在于，所述将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，包括：
将所述第二像素块集合中的第五像素块和所述目标权重值集合中与所述第五像素块对应的第五权重值集合输入到所述目标神经网络模型，得到所述第三像素块集合中的第六像素块，其中，所述目标神经网络模型用于根据与所述第五权重值集合中的权重值对应的调整参数，对所述第五像素块中的像素点的像素值进行调整，得到所述第六像素块，所述与所述第五权重值集合对应的调整参数包括对所述第五像素块中的像素点的像素值进行调整时，允许的像素值的调整范围和/或允许的像素值的调整精度。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过以下之一确定所述第五权重值集合中的每个权重值对应的调整参数：
根据所述第五权重值集合中每个权重值在所述第五权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数；
根据所述第五权重值集合中每个权重值在所述目标权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数；
根据所述第五权重值集合中每个权重值所处的预设范围确定所述第五权重值集合中每个权重值对应的调整参数。
7.根据权利要求6所述的方法，其特征在于，根据所述第五权重值集合中每个权重值在所述第五权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数，包括：
在第一权重值在所述第五权重值集合中的权重值排名位于第一范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一范围对应的调整参数；在第二权重值在所述第五权重值集合中的权重值排名位于第二范围的情况下，将所述第一权重值对应的第二调整参数确定为等于与所述第二范围对应的调整参数；其中，包括所述第一范围和所述第二范围在内的多个范围中的每个范围被预先配置了对应的调整参数，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一范围中每个排名比所述第二范围中的每个排名靠前，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度；或者
在所述第一权重值在所述第五权重值集合中的权重值排名比所述第二权重值在所述第五权重值集合中的权重值排名靠前的情况下，将所述第一权重值对应的所述第一调整参数确定为等于与所述第一权重值在所述第五权重值集合中的权重值排名对应的调整参数，并将所述第二权重值对应的所述第二调整参数确定为等于与所述第二权重值在所述第五权重值集合中的权重值排名对应的调整参数，其中，所述第五权重值集合中的每个权重值排名被预先配置了对应的调整参数，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度。
8.根据权利要求6所述的方法，其特征在于，根据所述第五权重值集合中每个权重值在所述目标权重值集合中的权重值排名确定所述第五权重值集合中每个权重值对应的调整参数，包括：
在第一权重值在所述目标权重值集合中的权重值排名位于第一范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一范围对应的调整参数；在第二权重值在所述目标权重值集合中的权重值排名位于第二范围的情况下，将所述第一权重值对应的第二调整参数确定为等于与所述第二范围对应的调整参数；其中，包括所述第一范围和所述第二范围在内的多个范围中的每个范围被预先配置了对应的调整参数，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一范围中每个排名比所述第二范围中的每个排名靠前，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度；或者
在所述第一权重值在所述目标权重值集合中的权重值排名比所述第二权重值在所述目标权重值集合中的权重值排名靠前的情况下，将所述第一权重值对应的所述第一调整参数确定为等于与所述第一权重值在所述目标权重值集合中的权重值排名对应的调整参数，并将所述第二权重值对应的所述第二调整参数确定为等于与所述第二权重值在所述目标权重值集合中的权重值排名对应的调整参数，其中，所述目标权重值集合中的每个权重值排名被预先配置了对应的调整参数，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数对应的调整精度。
9.根据权利要求6所述的方法，其特征在于，根据所述第五权重值集合中每个权重值所处的预设范围确定所述第五权重值集合中每个权重值对应的调整参数，包括：
在第一权重值位于第一预设范围的情况下，将所述第一权重值对应的第一调整参数确定为等于与所述第一预设范围对应的调整参数；
在第二权重值位于第二预设范围的情况下，将所述第二权重值对应的第二调整参数确定为等于与所述第二预设范围对应的调整参数；
其中，所述第五权重值集合包括所述第一权重值和所述第二权重值，所述第一预设范围中每个值大于所述第二预设范围中每个值，所述第一调整参数中的调整范围大于所述第二调整参数中的调整范围和/或所述第一调整参数中的调整精度高于所述第二调整参数中的调整精度。
10.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
获取样本图像集合，将所述样本图像集合中每个样本图像中待编码的第一样本像素块集合中的每个像素块进行编码，得到所述每个样本图像的第一编码数据集合；
对所述每个样本图像的第一编码数据集合进行解码，得到所述每个样本图像的第二样本像素块集合，并获取对所述每个样本图像的第一编码数据集合进行解码时的所述每个样本图像的第一解码信息集合；
重复执行以下步骤，直到当前样本图像的第一样本像素块集合中的像素块与对应的第三样本像素块集合中的像素块之间的目标损失值小于或等于预设阈值，将待训练注意力网络模型确定为所述目标注意力网络模型，将待训练神经网络模型确定为所述目标神经网络模型：
选取所述样本图像集合中的一个样本图像作为所述当前样本图像；
将所述当前样本图像的第一解码信息集合输入到所述待训练注意力网络模型，得到所述当前样本图像的权重值集合；
将所述当前样本图像的第二样本像素块集合和所述当前样本图像的权重值集合输入到所述待训练神经网络模型，得到所述待训练神经网络模型输出的所述当前样本图像的第三样本像素块集合；
确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值；
在所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值大于所述预设阈值的情况下，调整所述待训练神经网络模型与所述待训练注意力网络模型中的参数。
11.根据权利要求10所述的方法，其特征在于，确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的目标损失值，包括：
通过L2损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第一损失值；
通过信息熵损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第二损失值；
将所述第一损失值与所述第二损失值之和确定为所述目标损失值。
12.根据权利要求11所述的方法，其特征在于，通过信息熵损失函数确定所述当前样本图像的第一样本像素块集合中的像素块与所述当前样本图像的第三样本像素块集合中的像素块之间的第二损失值，包括：
确定所述第一样本像素块集合中的像素块中每个像素点的像素值在第三预设范围的第一概率；
确定所述第三样本像素块集合中的像素块中每个像素点的像素值在所述第三预设范围的第二概率；
通过所述信息熵损失函数、所述第一概率以及所述第二概率确定所述第二损失值。
13.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取第一图像中待编码的第一像素块集合，对所述第一像素块集合中的每个像素块进行编码，得到第一编码数据集合，其中，每个像素块对应一种编码方式；
解码模块，用于对所述第一编码数据集合进行解码，得到第二像素块集合，并获取对所述第一编码数据集合进行解码时的第一解码信息集合，其中，所述第一解码信息集合中的解码信息与所述第二像素块集合中的每个像素块一一对应；
第二获取模块，用于将所述第一解码信息集合输入到目标注意力网络模型，得到目标权重值集合，其中，所述目标权重值集合中包括与所述第二像素块集合中的每个像素点一一对应的权重值，所述每个像素点对应的权重值用于表示所述每个像素点在所述第二像素块集合中的重要程度；
第三获取模块，用于将所述第二像素块集合和所述目标权重值集合输入到目标神经网络模型，得到所述目标神经网络模型输出的第三像素块集合，其中，所述目标神经网络模型用于根据所述目标权重值集合，对所述第二像素块集合中的像素点的像素值进行调整，得到所述第三像素块集合，所述第三像素块集合用于形成第二图像。
14.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至12任一项中所述的方法。
15.一种电子装置，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至12任一项中所述的方法。
CN202111350968.3A 2021-11-15 2021-11-15 图像处理方法及装置、存储介质及电子装置 Pending CN116193128A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111350968.3A CN116193128A (zh) 2021-11-15 2021-11-15 图像处理方法及装置、存储介质及电子装置
PCT/CN2022/081867 WO2023082520A1 (zh) 2021-11-15 2022-03-19 图像处理方法及装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111350968.3A CN116193128A (zh) 2021-11-15 2021-11-15 图像处理方法及装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN116193128A true CN116193128A (zh) 2023-05-30

Family

ID=86335040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111350968.3A Pending CN116193128A (zh) 2021-11-15 2021-11-15 图像处理方法及装置、存储介质及电子装置

Country Status (2)

Country Link
CN (1) CN116193128A (zh)
WO (1) WO2023082520A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265540B2 (en) * 2018-02-23 2022-03-01 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding
CN111723735B (zh) * 2020-06-18 2020-12-08 四川大学 一种基于卷积神经网络的伪高码率hevc视频检测方法
CN111901598B (zh) * 2020-06-28 2023-10-13 华南理工大学 视频解码与编码的方法、装置、介质及电子设备
CN111711824B (zh) * 2020-06-29 2021-07-02 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
CN112135200B (zh) * 2020-08-13 2022-07-08 南京众智未来人工智能研究院有限公司 一种针对压缩视频的视频描述生成方法

Also Published As

Publication number Publication date
WO2023082520A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
US11310501B2 (en) Efficient use of quantization parameters in machine-learning models for video coding
US10869036B2 (en) Receptive-field-conforming convolutional models for video coding
US11025907B2 (en) Receptive-field-conforming convolution models for video coding
Chen et al. Deepcoder: A deep neural network based video compression
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
US10887595B2 (en) Using multiple probability models for entropy coding in video compression
US9762917B2 (en) Quantization method and apparatus in encoding/decoding
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN107211133B (zh) 反量化变换系数的方法、装置及解码设备
CN103782598A (zh) 用于无损编码的快速编码方法
CN111314698A (zh) 一种图像编码处理方法及装置
CN108848377B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
WO2020061008A1 (en) Receptive-field-conforming convolution models for video coding
CN108574841A (zh) 一种基于自适应量化参数的编码方法及装置
CN108777794B (zh) 图像的编码方法和装置、存储介质、电子装置
CN114915789B (zh) 一种帧间的拉格朗日乘子优化方法、系统、设备及介质
CN108076342A (zh) 用于编码视频的方法和编码器系统
CN116686288A (zh) 编码方法、解码方法、编码器、解码器以及电子设备
CN104135662B (zh) 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法
CN116193128A (zh) 图像处理方法及装置、存储介质及电子装置
CN109660804A (zh) 一种基于模式选择的视频帧解码方法
CN110234011B (zh) 一种视频压缩方法及系统
US11350134B2 (en) Encoding apparatus, image interpolating apparatus and encoding program
CN112995667B (zh) 一种增强型R-Lambda码率控制方法
CN117729335A (zh) 一种视频数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication