CN113170161A - 图像编码方法、图像解码方法、装置和存储介质 - Google Patents

图像编码方法、图像解码方法、装置和存储介质 Download PDF

Info

Publication number
CN113170161A
CN113170161A CN202080006628.6A CN202080006628A CN113170161A CN 113170161 A CN113170161 A CN 113170161A CN 202080006628 A CN202080006628 A CN 202080006628A CN 113170161 A CN113170161 A CN 113170161A
Authority
CN
China
Prior art keywords
image
information
frequency domain
coding
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080006628.6A
Other languages
English (en)
Inventor
王亚强
唐小东
朱朋
胡光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113170161A publication Critical patent/CN113170161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种图像编码方法、图像解码方法、装置和存储介质,其中,方法包括:获取待处理图像以及与所述待处理图像相对应的编码请求;根据所述编码请求获取与所述待处理图像相对应的频域编码信息;基于所述频域编码信息,确定与所述待处理图像相对应的编码图像,其中,所述编码图像用于通过多个数据传输通道中的与频域编码信息相对应的至少一个数据传输通道进行传输。本发明实施例提供的图像编码方法、图像解码方法、装置和存储介质,可以将压缩流程和输出码流划分为多个频域层,从而有效地提高了编解码的并行度和性能,并且有利于按需对不同频域层的信息进行解码操作,在提高设备性能的同时减小了数据功耗,进一步提高了该方法的实用性。

Description

图像编码方法、图像解码方法、装置和存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种图像编码方法、图像解码方法、装置和存储介质。
背景技术
随着科学技术的飞速发展,图像/视频分辨率已经开始向8K*4K、32K*16K演进。越来越大的图像分辨率占据越来越大的存储空间,在对上述图像或者视频进行压缩和解压处理操作时,需要耗费相当大的数据处理资源,尤其是在压缩、播放、剪辑、回放、预览时,会耗费极大的算力和时间来处理,这样导致对设备的处理能力和存储带宽要求非常高,即便在较好的硬件设备条件下,其处理的时间依然很长,从而极大地降低了数据处理的质量和效率。
发明内容
本发明实施例提供了一种图像编码方法、图像解码方法、装置和存储介质,用以解决在进行图像处理时,设备成本高,数据处理指令和效率低下的技术问题。
本发明实施例第一方面提供了一种图像编码方法,包括:
获取待处理图像以及与所述待处理图像相对应的编码请求;
根据所述编码请求获取与所述待处理图像相对应的频域编码信息;
基于所述频域编码信息,确定与所述待处理图像相对应的编码图像,其中,所述编码图像用于通过多个数据传输通道中的与所述频域编码信息相对应的至少一个数据传输通道进行传输。
本发明实施例第二方面提供了一种图像编码装置,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取待处理图像以及与所述待处理图像相对应的编码请求;
根据所述编码请求获取与所述待处理图像相对应的频域编码信息;
基于所述频域编码信息,确定与所述待处理图像相对应的编码图像,其中,所述编码图像用于通过多个数据传输通道中的与所述频域编码信息相对应的至少一个数据传输通道进行传输。
本发明实施例第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序指令,所述程序指令用于实现第一方面所述的图像编码方法。
本发明实施例第四方面提供了一种图像解码方法,包括:
通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,所述待处理图像包括与所述至少一个数据传输通道相对应的频域编码信息;
确定与所述待处理图像相对应的目标解码信息,所述目标解码信息与所述频域编码信息中的至少一部分相对应;
基于所述目标解码信息,确定与所述待处理图像相对应的解码图像。
本发明实施例第五方面提供了一种图像解码装置,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,所述待处理图像包括与所述至少一个数据传输通道相对应的频域编码信息;
确定与所述待处理图像相对应的目标解码信息,所述目标解码信息与所述频域编码信息中的至少一部分相对应;
基于所述目标解码信息,确定与所述待处理图像相对应的解码图像。
本发明实施例第六方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序指令,所述程序指令用于实现第四方面所述的图像解码方法。
本发明实施例提供的图像编码方法、图像解码方法、装置和存储介质,该方法可以将压缩流程和输出码流划分为多个频域层,从而有效地提高了编解码的并行度和性能,并且有利于按需对不同频域层的信息进行解码操作,在提高设备性能的同时减小了数据功耗,进一步提高了该方法的实用性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为现有技术中提供的一种编解码器的架构示意图;
图2为本发明实施例提供的一种图像编码方法的流程示意图;
图3为本发明一实施例提供的根据所述编码请求获取与所述待处理图像相对应的频域编码信息的流程示意图;
图4为本发明另一实施例提供的根据所述编码请求获取与所述待处理图像相对应的频域编码信息的流程示意图;
图5为本发明实施例提供的另一种图像编码方法的流程示意图;
图6为本发明实施例提供的对每个图像块进行空域频域变换处理,获得与所述图像块相对应的频域图像的流程示意图;
图7为本发明实施例提供的对每个图像块进行第一次变换处理的示意图;
图8为本发明实施例提供的对所述低频频域信息进行第二次变换处理的示意图;
图9为本发明实施例提供的对所述频域图像进行编码处理,获得与所述待处理图像中图像块相对应的频域编码信息的流程示意图;
图10为本发明实施例提供的对所述频域编码系数进行扫描处理,获得所述频域编码信息的示意图;
图11为本发明实施例提供的又一种图像编码方法的流程示意图;
图12为本发明实施例提供的一种图像解码方法的流程示意图;
图13为本发明实施例提供的确定与所述待处理图像相对应的目标解码信息的流程示意图;
图14为本发明应用实施例提供的一种图像处理方法的示意图;
图15为本发明应用实施例提供的对原始图像进行图像划分操作的示意图;
图16为本发明应用实施例提供的对原始图像进行颜色格式转换操作的示意图;
图17为本发明实施例提供的一种图像编码装置的结构示意图;
图18为本发明实施例提供的一种图像解码装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
为了便于理解本申请的技术方案,下面对现有技术进行简要说明:
在相机和电影机等图像应用领域,随着图像画质和图像分辨率的不断演进,所获取的图片或者视频占有的存储空间非常巨大。以4K@30fps、时长1分钟的视频为例,在无压缩的情况下,存储上述视频需要占用约17G字节的存储空间。
为了减少视频存储和传输所占用的带宽,需要对视频数据进行编码压缩处理,具体的,如图1所示,提供了一种编解码器的结构示意图,在编码端,输入的原始图像经过编码器的压缩之后可以得到压缩码流,而后根据需求可以选择对压缩码流进行传输(有线或无线)或存储。其中,编码器在有损压缩或者无损压缩的条件下,压缩倍数可达到0-50,从而可以极大的缓解存储和传输的带宽压力。在解码端,解码器对输入的压缩码流进行解码,最终输出解码后的图像。
随着图像处理技术的飞速发展,对于编解码器的快速压缩和解压缩回放能力提出了更高的要求,然而,在需要反复读写原始图像或者视频,尤其是在面对预览、剪辑、回放等操作时,或者,只需要确认图片内容,不需要关注图像质量的场景时,解压整个图像/视频的码流将耗费大量的算力和时间,故导致对设备的处理能力和存储带宽要求非常高。
为了提高压缩性能或解压性能,目前采用的解决方式是不断增加硬件资源来加快整个反复编解码的过程,或者,通过提高时间和人力成本来实现对视频的挑选和剪辑。然而,即便在较好的硬件设备条件下,其处理的时间依然很长,这就带来了极大的设备成本和时间成本。此外,对于只关注图像内容不关注图像质量的场景也是统一按照图像质量来进行完全解码,这样便造成硬件资源算力的浪费,从而导致功耗的增加且效率低下。
为了解决现有技术中在进行图像编解码处理时,设备成本和时间成本较高、效率低下的问题,本实施例提供了一种图像编码方法、图像解码方法、装置和存储介质。该图像编码方法和图像解码方法可以采用频域分层的方式进行图像编码操作和图像解码操作,具体的,可以将图像编码过程和输出码流划分为四个不同层次的频域信息(直流编码信息(Direct Current,简称DC)、低频编码信息(Low Frequency,简称LF)、高频编码信息(HighFrequency,简称HF)以及灵活编码信息(Flexible Layer,简称FL)),从而有效地提高了编解码的并行度和性能,具体可以使得并行编码速度高达8K*4K@60fps,同时在进行图像解码操作时,可以按照不同码流层次来输出不同分辨率的预览图,这样不仅节省运算能力,还节约了存储空间和访问存储的时间,进一步提高了该方法的实用性。
下面结合附图,对本发明的一些实施方式作详细说明。在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
图2为本发明实施例提供的一种图像编码方法的流程示意图;参考附图2所示,本实施例提供了一种图像编码方法,该方法的执行主体可以为图像编码装置,可以理解的是,该图像编码装置可以实现为软件、或者软件和硬件的组合。具体的,该图像编码方法可以包括:
步骤S201:获取待处理图像以及与待处理图像相对应的编码请求。
步骤S202:根据编码请求获取与待处理图像相对应的频域编码信息。
步骤S203:基于频域编码信息,确定与待处理图像相对应的编码图像,其中,编码图像用于通过多个数据传输通道中的与频域编码信息相对应的至少一个数据传输通道进行传输。在一个实施方式中,可以仅依据所述至少一个数据传输通道中的一个数据通道传输所述编码图像。
下面对上述各个步骤的具体实现过程和实现效果进行详细说明:
步骤S201:获取待处理图像以及与待处理图像相对应的编码请求。
其中,待处理图像可以是指需要进行编码压缩操作的图像,上述的编码压缩操作可以包括有损压缩和无损压缩,具体的压缩类型可以通过与待处理图像相对应的编码请求中所包括的压缩类型标识或者根据应用场景和应用需求进行确定。可以理解的是,编码请求中不仅可以包括压缩类型标识,还可以包括用于对待处理图像进行其他处理操作的请求信息,例如:格式转换请求、图像切分请求等等,在编码请求中包括格式转换信息时,可以基于上述的格式转换请求对待处理图像进行格式转换操作;在编码请求中包括图像切分请求时,可以基于上述的图像切分请求对待处理图像进行图像切分操作。具体的,可以根据具体的应用需求和设计需求对编码请求进行任意配置,在此不再赘述。
另外,本实施例对于待处理图像的具体获取方式不做限定。根据本发明的一实施方式,可以根据具体的应用需求和设计需求进行设置,例如:待处理图像可以通过图像采集装置获得,在图像采集装置获取到待处理图像之后,可以将待处理图像主动或者被动地传输至图像编码装置,从而使得图像编码装置可以获取到待处理图像。或者,待处理图像存储在预设区域,图像编码装置可以通过访问预设区域获取到待处理图像。或者,待处理图像是视频信息中的某一特定帧图像,具体的,通过图像采集装置可以获取到视频信息,对视频信息进行视频帧提取操作,获取至少一个视频图像帧,将至少一个视频图像帧确定为待处理图像,而后图像采集装置可以主动或者被动地将待处理图像传输至图像编码装置,从而使得图像编码装置可以获取到待处理图像。当然的,还可以采用其他的方式来获取待处理图像,只要能够保证对待处理图像进行获取的准确可靠性即可,在此不再赘述。
步骤S202:根据编码请求获取与待处理图像相对应的频域编码信息。
在获取到编码请求之后,可以基于编码请求对待处理图像进行处理,以获取与待处理图像相对应的频域编码信息,其中,频域编码信息可以包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
另外,在基于编码请求对待处理图像进行处理时,可以根据不同的应用场景和应用需求来获取不同的频域编码信息。举例1,在用户对图像或者视频进行剪辑和预览时,若用户重点关注的是视频或者图像的曝光程度、感光度ISO等信息,那么,在对待处理图像进行处理时,可以获取直流编码信息,或者,可以获取直流编码信息和低频编码信息。举例2,若需要对非理想图像帧进行删除操作、而非对高质量图像进行预览显示时,可以获取直流编码信息,或者,可以获取直流编码信息和低频编码信息。举例3,在对网络视频流进行分享(例如:抖音、快手等短视频平台)时,若需要分享的视频流中包括的图片是大尺寸图像时,由于大尺寸图像对网络传输的带宽要求很高,因此,此时可以获取直流编码信息或者可以获取直流编码信息和低频编码信息以达到压缩原图、减小传输带宽压力的效果。举例4,在用户想要得到高分辨率的图像或者无损图像时,可以获取到与待处理图像相对应的直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。
步骤S203:基于频域编码信息,确定与待处理图像相对应的编码图像,其中,编码图像用于通过多个数据传输通道中的与频域编码信息相对应的至少一个数据传输通道进行传输。
其中,在获取到频域编码信息之后,可以对频域编码信息进行分析处理,以确定与待处理图像相对应的编码图像。需要注意的是,由于频域编码信息可以包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,并且,上述的直流编码信息、低频编码信息、高频编码信息以及灵活编码信息各自对应的数据传输通道相互独立,因此,在对编码图像进行传输时,可以通过与频域编码信息相对应的至少一个数据传输通道进行传输。
举例来说,在频域编码信息包括直流编码信息时,直流编码信息所对应的数据传输通道为通道1,此时,在获取到直流编码信息之后,可以对直流编码信息进行处理,以生成与待处理图像相对应的编码图像。在对上述编码图像进行传输时,可以通过与直流编码信息相对应的通道1对编码图像进行传输。
在频域编码信息包括直流编码信息和低频编码信息时,直流编码信息所对应的数据传输通道为通道1、低频编码信息所对应的数据传输通道为通道2,此时,在获取到直流编码信息和低频编码信息之后,可以对直流编码信息和低频编码信息进行处理,以生成与待处理图像相对应的编码图像。在对上述编码图像进行传输时,可以通过与直流编码信息相对应的通道1和与低频编码信息相对应的通道2对编码图像进行传输。
在频域编码信息包括直流编码信息、低频编码信息和高频编码信息时,直流编码信息所对应的数据传输通道为通道1、低频编码信息所对应的数据传输通道为通道2、高频编码信息所对应的数据传输通道为通道3,此时,在获取到直流编码信息、低频编码信息和高频编码信息之后,可以对直流编码信息、低频编码信息和高频编码信息进行处理,以生成与待处理图像相对应的编码图像。在对上述编码图像进行传输时,可以通过与直流编码信息相对应的通道1、与低频编码信息相对应的通道2和与高频编码信息相对应的通道3对编码图像进行传输。
在频域编码信息包括直流编码信息、低频编码信息、高频编码信息和灵活编码信息时,直流编码信息所对应的数据传输通道为通道1、低频编码信息所对应的数据传输通道为通道2、高频编码信息所对应的数据传输通道为通道3、灵活编码信息所对应的数据传输通道为通道4,此时,在获取到直流编码信息、低频编码信息、高频编码信息和灵活编码信息之后,可以对直流编码信息、低频编码信息、高频编码信息和灵活编码信息进行处理,以生成与待处理图像相对应的编码图像。在对上述编码图像进行传输时,可以通过与直流编码信息相对应的通道1、与低频编码信息相对应的通道2、与高频编码信息相对应的通道3和与灵活编码信息相对应的通道4对编码图像进行传输。
本实施例提供的图像编码方法,通过获取待处理图像以及与待处理图像相对应的编码请求,根据编码请求获取与待处理图像相对应的频域编码信息,而后基于频域编码信息,确定与待处理图像相对应的编码图像,由于频域编码信息可以包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,并且,上述的直流编码信息、低频编码信息、高频编码信息以及灵活编码信息各自对应的数据传输通道相互独立,因此,在对编码图像进行传输时,可以通过与频域编码信息相对应的至少一个数据传输通道进行图像传输,从而有利于实现可以基于不同的应用需求来生成不同的编码图像,并可以采用不同的数据传输通道对编码图像进行传输,这样不仅满足了用户的不同需求,并且有利于降低图像处理成本和时间成本,提高图像的处理效率,进一步保证了该方法的实用性,有利于市场的推广与应用。
图3为本发明一实施例提供的根据编码请求获取与待处理图像相对应的频域编码信息的流程示意图;在上述实施例的基础上,继续参考附图3所示,本实施例对于频域编码信息的具体获取方式不做限定,可以根据具体的应用需求和设计需求进行设置,其中,一种可实现的方式为,根据编码请求获取与待处理图像相对应的频域编码信息可以包括:
步骤S301:获取编码请求中所包括的编码类型标识。
步骤S302:根据编码类型标识,确定与待处理图像相对应的频域编码信息。
其中,编码请求中可以包括有编码类型标识,不同的编码类型标识用于确定与待处理图像相对应的不同频域编码信息,以实现对待处理图像进行不同的图像编码操作。在获取到编码请求之后,可以对编码请求进行分析处理,以获取编码请求中所包括的编码类型标识,具体的,编码类型标识可以为编码请求中某一比特位所对应的信息,通过识别上述比特位所对应的信息可以获取到编码类型标识。在获取到编码类型标识之后,可以基于编码类型标识来确定与待处理图像相对应的频域编码信息。
在一实施方式中,根据编码类型标识,确定与待处理图像相对应的频域编码信息可以包括:在编码类型标识为第一标识时,则确定频域编码信息包括直流编码信息;或者,在编码类型标识为第二标识时,则确定频域编码信息包括直流编码信息和低频编码信息;或者,在编码类型标识为第三标识时,则确定频域编码信息包括直流编码信息、低频编码信息和高频编码信息;或者,在编码类型标识为第四标识时,则确定频域编码信息包括直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。在另一实施方式中,在编码类型标识为第一标识时,则确定频域编码信息仅包括直流编码信息;或者,在编码类型标识为第二标识时,则确定频域编码信息包括仅直流编码信息和低频编码信息;或者,在编码类型标识为第三标识时,则确定频域编码信息包括仅直流编码信息、低频编码信息和高频编码信息;或者,在编码类型标识为第四标识时,则确定频域编码信息包括直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。
具体的,预先配置有不同编码类型标识与不同频域编码信息之间的映射关系,例如:第一标识对应有直流编码信息,第二标识对应有直流编码信息和低频编码信息,第三标识对应有直流编码信息、低频编码信息和高频编码信息,第四标识对应有直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。又例如,第一标识仅对应有直流编码信息,第二标识仅对应有直流编码信息和低频编码信息,第三标识仅对应有直流编码信息、低频编码信息和高频编码信息,以及第四标识对应有直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。在获取到编码请求中所包括的编码类型标识之后,可以基于上述的映射关系对编码类型标识进行分析匹配,以实现根据不同的编码类型标识来确定与待处理图像相对应的不同的频域编码信息,从而有效地实现了可以基于用户的不同编码需求来获取与待处理图像相对应的不同的频域编码信息,进而可以生成满足不同编码需求的编码图像。
图4为本发明另一实施例提供的根据编码请求获取与待处理图像相对应的频域编码信息的流程示意图;在上述实施例的基础上,继续参考附图4所示,为了提高对图像进行分析处理的质量和效率,本实施例提供了另一种频域编码信息的获取方式,具体的,根据编码请求获取与待处理图像相对应的频域编码信息可以包括:
步骤S401:获取与待处理图像相对应的多个图像块。
其中,在获取到待处理图像之后,为了提高对待处理图像进行处理的质量和效率,可以对待处理图像进行图像划分操作,以获取与待处理图像相对应的多个图像块,可以理解的是,所获得的多个图像块的尺寸可以相同或不同。
在一些实例中,获取与待处理图像相对应的多个图像块的一种实现方式可以包括:获取图像块的尺寸信息;根据图像块的尺寸信息对待处理图像进行划分处理,获得与待处理图像相对应的多个图像块。
具体的,图像块的尺寸信息用于作为对待处理图像进行划分操作的尺寸标准,以生成与待处理图像相对应的多个图像块,其中,本实施例对于图像块的尺寸信息的具体获取方式不做限定,可以根据具体的应用需求和设计需求进行设置,例如:图像块的尺寸可以是预先配置好的、且存储在预设区域中的尺寸信息,通过访问预设区域即可获取到图像块的尺寸。或者,图像块的尺寸可以是根据待处理图像的图像特征(待处理图像的尺寸特征、待处理图像的图像类型、待处理图像的图像清晰度等特征)自动生成的,此时,在获取到待处理图像之后,可以先确定待处理图像的图像特征,而后基于图像特征来确定图像块的尺寸。
在一些实例中,获取图像块的尺寸信息可以包括:获取用于对待处理图像进行处理的图像协议类型;根据图像协议类型,确定图像块的尺寸信息。
具体的,由于待处理图像的图像格式可以有很多,例如:RAW、RGB、YUV444、YUV422、YUV420等,而不同图像格式的待处理图像可以对应有不同的图像协议类型。因此,在获取到待处理图像之后,可以利用预设算法对待处理图像进行分析处理,以获取用于对待处理图像进行处理的图像协议类型。
在获取到用于对待处理图像进行处理的图像协议类型之后,可以根据图像协议类型来确定图像块的尺寸信息。具体的,由于图像协议类型可以包括标准图像协议类型和非标准图像协议类型,在图像协议类型为标准图像协议类型时,可以预先配置有与不同标准图像协议类型相对应的图像块的尺寸信息,在确定标准图像协议类型之后,即可根据上述映射关系来确定图像块的尺寸信息。由于非标准图像协议类型没有配置相对应的图像块的尺寸信息,因此,在图像协议类型为非标准图像协议类型时,可以将图像的尺寸信息确定为与非标准图像协议类型相对应的自义定尺寸,具体的,自义定尺寸可以是用户指定或者配置的尺寸,并且,对于自定义尺寸而言,用户可以根据不同的应用需求和使用需求对自定义尺寸进行调整。
当然的,也可以采用其他的方式来获取图像块的尺寸信息,只要能够保证对图像块的尺寸信息进行获取的准确可靠性即可,在此不再赘述。
在获取到图像块的尺寸信息之后,可以基于图像块的尺寸信息对待处理图像进行图像划分操作,从而可以获得满足上述图像块的尺寸信息的多个图像块。
步骤S402:对每个图像块进行空域频域变换处理,获得与图像块相对应的频域图像。
在获取到与待处理图像相对应的多个图像块之后,可以对多个图像块中的每一个图像块进行空域频域变换处理,以获得与图像块相对应的频域图像,可以理解的是,一个图像块可以对应一个频域图像,在待处理图像对应多个图像块时,则与待处理图像相对应的频域图像的数量即为多个。
另外,实现空域频域变换处理的方式可以包括以下任意之一:离散余弦变换方法、离散正弦变换方法、哈达玛变换方法等等。当然的,也可以采用其他的变换方式来对图像块进行变换处理,只要能够准确地获取到与图像块相对应的频域图像即可,在此不再赘述。
步骤S403:对频域图像进行编码处理,获得与待处理图像中图像块相对应的频域编码信息。
在获取到频域图像之后,可以对频域图像进行编码处理,从而获得与待处理图像中图像块相对应的频域编码信息。其中,由于频域编码信息可以包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,而不同的频域编码信息所对应的数据编码通道不同,因此,在获取到频域图像之后,可以利用不同的数据编码通道对频域图像进行编码处理,以获得与待处理图像中图像块相对应的频域编码信息。
举例来说,直流编码信息对应有直流编码通道,低频编码信息可以对应有低频编码通道,高频编码信息可以对应有高频编码通道,灵活编码信息可以对应有灵活编码通道。在获取到频域图像之后,可以分别利用上述的直流编码通道、低频编码通道、高频编码通道和灵活编码通道对频域图像进行编码处理,从而可以获得与图像块相对应的直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。
此外,需要注意的是,在利用不同的编码通道对图像块所对应的频域图像进行编码时,由于各个数据编码通道之间是相互独立的,因此,各个编码通道对频域图像的编码操作可以同时进行或者依次进行,可以根据具体的应用需求和设计需求进行设置,在此不再赘述。
本实施例中,通过获取与待处理图像相对应的多个图像块,对每个图像块进行空域频域变换处理,获得与图像块相对应的频域图像,而后对频域图像进行编码处理,获得与待处理图像中图像块相对应的频域编码信息,有效地实现了可以将待处理图像划分为多个图像块进行分析处理,这样不仅保证了对待处理图像进行处理的质量和效率,并且,由于频域编码信息是与图像块相对应的,因此,也有效地保证了对频域编码信息进行获取的准确可靠性,进一步提高了该方法使用的准确程度。
图5为本发明实施例提供的另一种图像编码方法的流程示意图;在上述实施例的基础上,继续参考附图5所示,在获取图像块的尺寸信息之后,为了提高对待处理图像进行划分操作的灵活可靠性,本实施例中的方法还可以包括:
步骤S501:获取待处理图像的图像分辨率。
步骤S502:根据图像分辨率,调整图像块的尺寸信息。
其中,对于待处理图像而言,可以具有不同的图像分辨率,而不同的图像分辨率可以进行不同尺寸的图像划分操作,因此,在获取到待处理图像之后,可以识别待处理图像的图像分辨率,而后可以基于图像分辨率对图像块的尺寸信息进行调整,以实现对于不同图像分辨率的待处理图像而言,可以进行不同尺寸的图像划分操作。
在一些实例中,根据图像分辨率,调整图像块的尺寸信息可以包括:在图像分辨率大于或等于预设分辨率阈值时,则在预设尺寸范围内增大图像块的尺寸信息;或者,在图像分辨率小于预设分辨率阈值时,则在预设尺寸范围内减小图像块的尺寸信息。
一般情况下,在用于执行图像编码方法的图像编码装置的硬件结构确定之后,基于硬件结构的限制,在利用图像编码装置对待处理图像进行分析处理时,上述的待处理图像的尺寸信息要小于或等于图像编码装置可支持的最大图像尺寸。因此,为了能够保证图像编码装置可以准确地对待处理图像或者待处理图像所对应的图像块进行分析处理,可以基于图像分辨率在预设尺寸范围内对图像块的尺寸进行调整,而上述的预设尺寸范围与图像编码装置可支持的最大图像尺寸有关,一般情况下,预设尺寸范围的上限值即为图像编码装置可支持的最大图像尺寸。
另外,对于待处理图像而言,图像分辨率越高,待处理图像越清晰,图像分辨率越低,待处理图像越模糊。具体的,为了能够准确地判断待处理图像的清晰度,可以先获取用于对待处理图像进行分析处理的预设分辨率阈值,而后基于预设分辨率阈值对待处理图像的清晰度进行分析识别,在待处理图像的图像分辨率大于或等于预设分辨率阈值时,则说明该待处理图像的图像分辨率较高。在待处理图像的图像分辨率小于预设分辨率阈值时,则说明该待处理图像的图像分辨率较低。
对于分辨率较高、清晰度较高的待处理图像,为了能够提高对待处理图像进行分析处理的质量和效率,在进行图像划分操作时,可以获取较大尺寸的图像块,即可以在预设尺寸范围内增大图像块的尺寸信息。相对应的,对于分辨率较低、清晰度较低的待处理图像,为了能够保证对待处理图像进行分析处理的质量和效率,在进行图像划分操作时,可以获取较小尺寸的图像块,即可以在预设尺寸范围内减小图像块的尺寸信息。
举例来说,对于待处理图像而言,首先,通过所对应的图像协议类型确定待处理图像中图像块的尺寸信息为a1*a1。在待处理图像的分辨率为P1,且P1大于或等于预设分辨率阈值P时,则可以增大图像块的尺寸信息,例如:可以将上述图像块的尺寸信息增大为a2*a2(其中,a1<a2),而后基于增大后的图像块的尺寸信息对待处理图像进行图像划分操作。相对应的,在待处理图像的分辨率为P2,且P2小于预设分辨率阈值P时,则可以减小图像块的尺寸信息,例如:可以将上述图像块的尺寸信息减小为a3*a3(其中,a1>a3),而后基于减小后的图像块的尺寸信息对待处理图像进行图像划分操作。
本实施例中,通过获取待处理图像的图像分辨率,而后根据图像分辨率调整图像块的尺寸信息,有效地实现了可以对不同分辨率的待处理图像进行不同尺寸的图像划分操作,进一步提高了对待处理图像进行分析处理的质量和效率,有利于市场的推广与应用。
图6为本发明实施例提供的对每个图像块进行空域频域变换处理,获得与图像块相对应的频域图像的流程示意图;在上述实施例的基础上,继续参考附图6,本实施例提供了一种获取频域图像的实现方式,具体的,本实施例中的对每个图像块进行空域频域变换处理,获得与图像块相对应的频域图像可以包括:
步骤S601:对每个图像块进行第一次变换处理,获得与图像块相对应的低频频域信息和高频频域信息。
在获取到与待处理图像相对应的多个图像块之后,可以对每个图像块进行第一次变换处理,其中,第一次变换处理用于将图像块由空域变换到频域,以可以获得与图像块相对应的低频频域信息和高频频域信息。
在一些实例中,对每个图像块进行第一次变换处理,获得与图像块相对应的低频频域信息和高频频域信息可以包括:对每个图像块进行第一次变换处理,获得频域图像块;获取用于识别低频频域信息的第一位置特征和用于识别高频频域信息的第二位置特征;在频域图像块中,根据第一位置特征确定与图像块相对应的低频频域信息,并根据第二位置特征确定与图像块相对应的高频频域信息。
具体的,在获取到图像块之后,可以对图像块进行空域到频域变换处理,从而可以获得与图像块相对应的频域图像块,而后可以获取用于识别低频频域信息的第一位置特征和用于识别高频频域信息的第二位置特征,在获取到第一位置特征和第二位置特征之后,可以在频域图像块中,根据第一位置特征确定与图像块相对应的低频频域信息,并根据第二位置特征确定与图像块相对应的高频频域信息。
在一些实例中,如图7所示,第一位置特征可以包括位于频域图像块的左上角位置;第二位置特征可以包括位于频域图像块的右下角位置,在获取到上述第一位置特征和第二位置特征之后,可以将位于频域图像块左上角的位置处的信息确定为与图像块相对应的低频频域信息,将位于频域图像块右下角的位置的信息确定为与图像块相对应的高频频域信息。
步骤S602:对低频频域信息进行第二次变换处理,获得与图像块相对应的直流频域图像和低频频域图像。
在获取到低频频域信息之后,可以对低频频域信息进行第二次变换处理,从而可以获得处理后频域图像,基于处理后频域图像可以获取到与图像块相对应的直流频域图像和低频频域图像。具体的,该处理后频域图像即为与低频频域信息相对应的低频频域图像。在获取到处理后频域图像之后,可以获取用于识别直流频域信息的第三位置特征;而后可以在处理后频域图像中,根据第三位置特征确定与图像块相对应的直流频域信息;根据直流频域信息,获得直流频域图像,从而有效地实现了对直流频域图像和低频频域图像进行准确、稳定地获取操作。
具体的,如图8所示,在获取到低频频域信息之后,可以对低频频域信息进行第二次变换处理,从而可以获得与低频频域信息相对应的处理后频域图像,而后获取用于识别直流频域信息的第三位置特征,在一些实例中,第三位置特征包括位于处理后频域图像的左上角位置。在获取到第三位置特征之后,可以在处理后频域图像中,根据第三位置特征确定与图像块相对应的直流频域信息;在获取到直流频域信息之后,可以对直流频域信息进行编码处理,从而可以获得直流频域图像。
步骤S603:根据高频频域信息,获得高频频域图像。
在获取到高频频域信息之后,可以对高频频域信息进行编码处理,从而可以获得与图像块相对应的高频频域图像。
步骤S604:根据图像块、高频频域图像、低频频域图像和直流频域图像,确定与图像块相对应的灵活频域图像。
在获取到图像块以及与图像块相对应的高频频域图像、低频频域图像和直流频域图像之后,可以对图像块、高频频域图像、低频频域图像和直流频域图像进行分析处理,以获取与图像块相对应的灵活频域图像。
在一些实例中,根据图像块、高频频域图像、低频频域图像和直流频域图像,确定与图像块相对应的灵活频域图像可以包括:分别对高频频域图像、低频频域图像和直流频域图像进行编码处理,获得第一编码图像、第二编码图像和第三编码图像;基于图像块、第一编码图像、第二编码图像和第三编码图像,确定与图像块相对应的灵活频域图像。
在一些实例中,高频频域图像、低频频域图像、直流频域图像和灵活频域图像各自对应的数据传输通道相互独立。
由于灵活频域图像中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息,因此,为了能够获取到灵活频域图像,需要获取到丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息,以根据所获取到的丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息来获取到灵活频域图像。
具体的,为了能够获取到丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息,在获取到高频频域图像、低频频域图像和直流频域图像之后,可以分别对高频频域图像、低频频域图像和直流频域图像进行编码处理,从而可以获得第一编码图像、第二编码图像和第三编码图像。在获取到第一编码图像、第二编码图像和第三编码图像之后,可以将图像块与第一编码图像、第二编码图像和第三编码图像分别进行比较,从而可以获得与第一编码图像相对应的丢弃的直流编码信息、与第二编码图像相对应的丢弃的低频编码信息、与第三编码图像相对应的丢弃的高频编码信息,而后可以基于丢弃的直流编码信息、丢弃的低频编码信息和丢弃的高频编码信息来确定与图像块相对应的灵活频域图像,从而有效地保证了对灵活频域图像进行获取的准确可靠性。
图9为本发明实施例提供的对频域图像进行编码处理,获得与待处理图像中图像块相对应的频域编码信息的流程示意图;在上述实施例的基础上,继续参考附图9所示,本实施例提供了一种频域编码信息的获取方式,具体的,本实施例中的对频域图像进行编码处理,获得与待处理图像中图像块相对应的频域编码信息可以包括:
步骤S901:获取用于对频域图像进行编码处理的编码量化参数。
其中,为了能够实现对频域图像进行编码处理,可以获取用于对频域图像进行编码处理的编码量化参数,该编码量化参数可以为大于或等于1的参数,在编码量化参数等于1时,则可以实现对频域图像的无损压缩操作;在编码量化参数大于1时,则可以实现对频域图像的有损压缩操作。具体的,编码量化参数的取值大小可以根据具体的应用场景和用户对画像画质的需求进行任意配置。
需要注意的是,待处理图像可以对应有多个频域图像,多个频域图像中的每个频域图像均可以对应有一个编码量化参数,而不同的频域图像可以对应相同或者不同的编码量化参数。
另外,本实施例对于编码量化参数的具体获取方式不做限定,可以根据具体的应用需求和设计需求进行设置,例如:在获取到频域图像之后,可以基于频域图像自动生成编码量化参数;或者,预先配置有不同尺寸或者不同清晰度的频域图像与编码量化参数之间的对应关系,在获取到频域图像之后,可以基于不同尺寸或者不同清晰度的频域图像来获取到相对应的编码量化参数。当然的,也可以采用其他的方式来获取编码量化参数,只要能够保证对编码量化参数进行获取的准确可靠性即可,在此不再赘述。
步骤S902:利用编码量化参数对频域图像进行缩放处理,获得第一编码信息。
在获取到编码量化参数QP之后,可以利用编码量化参数QP对频域图像中所包括的图像块进行缩放处理,从而可以获取到与图像块相对应的第一编码信息,该第一编码信息即为进行编码量化操作之后所获得的信息。
步骤S903:获取与频域图像相对应的关联图像,并根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测,获得第二编码信息。
其中,对于待处理图像而言,当前图像块的编码信息与周围的其他图像块的编码信息之间存在关联,或者,当前图像块的编码信息与相邻的前后帧图像中相同位置的图像块的编码信息之间存在关联。为了能够实现对频域编码信息进行获取的准确可靠性,在获取到第一编码信息之后,则可以获取与频域图像相对应的关联图像,具体的,关联图像可以为位于当前图像块周围的其他图像块,或者,关联图像可以为位于当前图像块之前的前一帧图像块或者为位于当前图像块之后的后一帧图像块等等。在获取到关联图像之后,则可以根据编码量化参数、第一编码信息和关联图像对当前的频域图像进行系数预测,从而可以获得第二编码信息,该第二编码信息即为通过第一编码信息、编码量化参数和关联图像进行系数预测之后所获得的预测信息。需要注意的是,本实施例中的系数预测操作所针对的对象是经过空域频域变换处理之后所获得的频域图像,该频域图像与待处理图像中至少一个图像块相对应。
在一些实例中,在根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测时,可以包括以下至少之一:利用空间域预测方式,根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测;或者,利用时间域预测方式,根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测;或者,利用变换域预测方式,根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测。
具体的,利用空间域预测方式,根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测时,关联图像可以包括位于当前频域图像周围的相邻频域图像;此时,上述的预测过程可以包括:获取当前频域图像所对应的第一编码信息以及位于当前频域图像周围的相邻频域图像所对应的相邻编码信息,而后可以根据编码量化参数、相邻编码信息和第一编码信息对当前频域图像进行预测,从而可以获得第一预测信息。
利用时间域预测方式,根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测时,关联图像可以包括位于当前频域图像前一帧和/或后一帧的相邻频域图像,此时,上述的预测过程可以包括:获取当前频域图像所对应的第一编码信息以及位于当前频域图像前一帧和/或后一帧的相邻频域图像所对应的相邻编码信息,而后可以根据编码量化参数、相邻编码信息和第一编码信息对当前频域图像进行预测,从而可以获得第二预测信息。
利用变换域预测方式,根据编码量化参数、第一编码信息和所述关联图像对频域图像进行系数预测时,关联图像可以包括当前频域图像经过变换操作之后的变换后图像,此时,上述的预测过程可以包括:获取当前频域图像所对应的第一编码信息,对当前频域图像进行变换处理,获得变换后图像以及变换后图像所对应的参考编码信息,而后可以根据编码量化参数、参考编码信息和第一编码信息对当前频域图像进行预测,从而可以获得第三预测信息。
需要注意的是,在获取到上述的第一预测信息、第二预测信息和第三预测信息之后,可以将上述的第一预测信息、第二预测信息和第三预测信息中的任意一个作为第二编码信息。或者,在获取到上述的第一预测信息、第二预测信息和第三预测信息之后,还可以识别第一预测信息、第二预测信息和第三预测信息的准确性,而后将准确性最高的预测信息确定为第二编码信息,从而有效地保证了对第二编码信息进行确定的准确可靠性。
步骤S904:根据频域图像和第二编码信息,获得与待处理图像中的图像块相对应的频域编码信息。
其中,在获取到频域图像和第二编码信息之后,可以对频域图像和第二编码信息进行分析处理,获得与待处理图像中的图像块相对应的频域编码信息。具体的,根据频域图像和第二编码信息,获得与待处理图像中的图像块相对应的频域编码信息可以包括:
步骤S9041:根据频域图像和第二编码信息,确定与待处理图像中图像块相对应的残差图像。
步骤S9042:对残差图像进行系数扫描处理,获得频域编码信息。
在获取到频域图像和第二编码信息之后,可以根据频域图像和第二编码信息来确定与待处理图像中图像块相对应的残差图像,具体的,该残差图像可以为频域图像与第二编码信息之间的差值。在获取到残差图像之后,可以对残差图像进行系数扫描处理,从而可以获得频域编码信息。具体的,如图10所示,可以采用Zig-zag扫描方式对残差图像进行系数扫描,其可以增加连零的长度,减少对频域编码系数进行统计的时间,同时也增加了变换系数熵编码的压缩率,并可以将二维系数转换为一维系数,进而可以获得一维的频域编码信息,该频域编码信息可以为熵编码。
在一些实例中,频域图像可以包括以下至少之一:直流频域图像、低频频域图像、高频频域图像以及灵活频域图像;第二编码信息中所包括的直流编码信息与直流频域图像相对应;第二编码信息中所包括的低频编码信息与低频频域图像相对应;第二编码信息中所包括的高频编码信息与高频频域图像相对应;第二编码信息中所包括的灵活编码信息与灵活频域图像相对应。
在一些实例中,残差图像可以包括直流层残差图像、低频层残差图像、高频层残差图像和灵活层残差图像。对于直流层残差图像而言,可以通过直流频域图像和第二编码信息中所包括的直流编码信息来获取,具体的,直流层残差图像可以为直流频域图像与直流编码信息之间的差值。
相类似的,对于低频层残差图像而言,可以通过低频频域图像和第二编码信息中所包括的低频编码信息来获取,具体的,低频层残差图像可以为低频频域图像与低频编码信息之间的差值。对于高频层残差图像而言,可以通过低频频域图像和第二编码信息中所包括的高频编码信息来获取,具体的,高频层残差图像可以为高频频域图像与高频编码信息之间的差值。对于灵活层残差图像而言,可以通过灵活频域图像和第二编码信息中所包括的灵活编码信息来获取,具体的,灵活层残差图像可以为灵活频域图像与灵活编码信息之间的差值。
本实施例中,通过获取用于对频域图像进行编码处理的编码量化参数,利用编码量化参数对频域图像进行缩放处理,获得第一编码信息,而后获取与所述频域图像相对应的关联图像,并根据所述编码量化参数、第一编码信息和所述关联图像对所述频域图像进行系数预测,获得第二编码信息,而后根据频域图像和第二编码信息,获得与待处理图像中的图像块相对应的频域编码信息,从而有效地保证了对频域编码信息进行获取的准确可靠性,进一步提高了对图像进行分析处理的质量和效率。
图11为本发明实施例提供的又一种图像编码方法的流程示意图;在上述实施例的基础上,继续参考附图11所示,为了进一步提高该方法使用的灵活可靠性,在获取与待处理图像相对应的多个图像块之前,本实施例中的方法还可以包括:
步骤S1101:获取用于对待处理图像进行处理的目标图像格式。
步骤S1102:识别待处理图像的当前图像格式。
步骤S1103:在当前图像格式与目标图像格式不一致时,将待处理图像由当前图像格式调整为目标图像格式。
其中,待处理图像可以对应有不同的图像格式,例如,待处理图像的图像格式可以为以下至少之一:RAW格式、YUV422格式、YUV420格式、YUV444格式、RGB格式,而不同的图像格式可以对应有不同的图像协议类型,而不同的图像协议类型可以对应有不同的图像处理操作。此时,为了能够实现对不同格式的待处理图像进行分析处理的质量和效率,可以在获取到待处理图像之后,可以识别待处理图像的当前图像格式,而后获取用于对待处理图像进行处理的目标图像格式,将当前图像格式与目标图像格式进行分析比较,在当前图像格式与目标图像格式不一致时,则可以将待处理图像由当前图像格式调整为目标图像格式,从而可以实现将各种不同格式的图像转换为同一格式的图像,而后采用统一的图像处理操作对待处理图像进行分析处理,进而提高了对图像进行分析处理的质量和效率。
图12为本发明实施例提供的一种图像解码方法的流程示意图;参考附图12所示,本实施例提供了一种图像解码方法,该方法的执行主体可以为图像解码装置,可以理解的是,该图像解码装置可以实现为软件、或者软件和硬件的组合。具体的,该图像解码方法可以包括:
步骤S1201:通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,待处理图像包括与至少一个数据传输通道相对应的频域编码信息。
步骤S1202:确定与待处理图像相对应的目标解码信息,目标解码信息与频域编码信息中的至少一部分相对应。
步骤S1203:基于目标解码信息,确定与待处理图像相对应的解码图像。
下面对上述各个步骤的具体实现过程和实现效果进行详细说明:
步骤S1201:通过至少一个数据传输通道获取待处理图像,待处理图像包括与至少一个数据传输通道相对应的频域编码信息。
其中,在图像编码装置进行图像编码操作,生成待处理图像之后,可以通过至少一个数据传输通道对待处理图像进行传输,从而使得图像解码装置可以通过至少一个数据传输通道获取图像编码装置所传输的待处理图像,具体的,上述所传输的待处理图像中可以包括与至少一个数据传输通道相对应的频域编码信息,而频域编码信息可以包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
另外,直流编码信息、低频编码信息、高频编码信息以及灵活编码信息各自对应的数据传输通道相互独立,因此,在图像编码装置对待处理图像进行传输时,可以通过与频域编码信息所对应的至少一个数据传输通道进行传输。
举例来说,在频域编码信息包括直流编码信息时,即待处理图像包括直流编码信息,此时,可以通过与直流编码信息相对应的直流传输通道对待处理图像进行传输,从而使得图像解码装置可以通过直流传输通道获得包括有直流编码信息的待处理图像。
相类似的,在频域编码信息包括直流编码信息和低频编码信息时,即待处理图像包括直流编码信息和低频编码信息,此时,可以通过与直流编码信息相对应的直流传输通道和与低频编码信息相对应的低频传输通道分别对待处理图像进行传输,从而使得图像解码装置可以通过直流传输通道和低频传输通道获得包括有直流编码信息和低频编码信息的待处理图像。
相类似的,在频域编码信息包括直流编码信息、低频编码信息和高频编码信息时,即待处理图像包括直流编码信息、低频编码信息和高频编码信息,此时,可以通过与直流编码信息相对应的直流传输通道、与低频编码信息相对应的低频传输通道以及与高频编码信息相对应的高频传输通道分别对待处理图像进行传输,从而使得图像解码装置可以通过直流传输通道、低频传输通道和高频传输通道获得包括有直流编码信息、低频编码信息和高频编码信息的待处理图像。
相类似的,在频域编码信息包括直流编码信息、低频编码信息、高频编码信息和灵活编码信息时,即待处理图像包括直流编码信息、低频编码信息、高频编码信息和灵活编码信息,此时,可以通过与直流编码信息相对应的直流传输通道、与低频编码信息相对应的低频传输通道、与高频编码信息相对应的高频传输通道以及与灵活编码信息相对应的灵活传输通道分别对待处理图像进行传输,从而使得图像解码装置可以通过直流传输通道、低频传输通道、高频传输通道和灵活传输通道获得包括有直流编码信息、低频编码信息、高频编码信息和灵活编码信息的待处理图像。
步骤S1202:确定与待处理图像相对应的目标解码信息,目标解码信息与频域编码信息中的至少一部分相对应。
在获取到待处理图像之后,可以确定与待处理图像相对应的目标解码信息,该目标解码信息可以与频域编码信息中的至少一部分相对应。具体的,目标解码信息可以包括以下任意之一:直流解码信息;直流解码信息和低频解码信息;直流解码信息、低频解码信息和高频解码信息;直流解码信息、低频解码信息、高频解码信息以及灵活解码信息,灵活解码信息中包括以下至少之一:丢弃的直流解码信息、丢弃的低频解码信息、丢弃的高频解码信息。
另外,本实施例对于目标解码信息的具体确定方式不做限定。根据本发明的一实施方式,可以根据具体的应用需求和设计需求来确定目标解码信息,其中,一种可实现的方式为:可以获取与待处理图像相对应的图像处理需求,基于图像处理需求来确定与待处理图像相对应的目标解码信息。
举例来说,在图像处理需求包括背景信息的获取需求时,则可以基于背景信息的获取需求来确定目标解码信息包括直流解码信息,即此时只需要对于待处理图像相对应的直流编码信息进行解码操作。
在图像处理需求包括背景信息和轮廓信息的获取需求时,则可以基于背景信息和轮廓信息的获取需求来确定目标解码信息包括直流解码信息和低频解码信息,即此时只需要对于待处理图像相对应的直流编码信息和低频编码信息进行解码操作。
在图像处理需求包括背景信息、轮廓信息和边缘及细节的获取需求时,则可以基于背景信息、轮廓信息和边缘及细节的获取需求来确定目标解码信息包括直流解码信息、低频解码信息和高频解码信息,即此时只需要对于待处理图像相对应的直流编码信息、低频编码信息和高频编码信息进行解码操作。
在图像处理需求包括所有图像信息的获取需求时,则可以基于所有图像信息的获取需求来确定目标解码信息包括直流解码信息、低频解码信息、高频解码信息和灵活解码信息,即此时只需要对于待处理图像相对应的直流编码信息、低频编码信息、高频编码信息和灵活编码信息进行解码操作。
另一种可实现的方式为:可以获取与待处理图像相对应的应用场景需求,基于应用场景需求来确定与待处理图像相对应的目标解码信息,具体的,在应用场景需求包括低分辨率预览需求时,则可以确定目标解码信息包括直流解码信息;在应用场景需求包括低分辨率预览需求和低频信息预览需求时,则可以确定目标解码信息包括直流解码信息和低频解码信息;在应用场景需求包括低分辨率预览需求和高频信息预览需求时,则可以确定目标解码信息包括直流解码信息、低频解码信息和高频解码信息;在应用场景需求包括完整无失真需求时,则可以确定目标解码信息包括直流解码信息、低频解码信息、高频解码信息和灵活编码信息。
当然的,也可以采用其他的方式来确定与待处理图像相对应的目标解码信息,只要能够保证对目标解码信息进行确定的准确可靠性即可,在此不再赘述。
步骤S1203:基于目标解码信息,确定与待处理图像相对应的解码图像。
在获取到目标解码信息之后,可以基于目标解码信息对待处理图像进行解码处理,从而可以确定与待处理图像相对应的解码图像。具体的,基于目标解码信息,确定与待处理图像相对应的解码图像可以包括:对目标解码信息进行空域频域反变换处理,获得与目标解码信息相对应的解码图像块;对所有的解码图像块进行重构,获得与待处理图像相对应的解码图像。
具体的,在对目标解码信息进行空域频域反变换处理时,可以获得与目标解码信息相对应的解码图像块,而后对获得的所有的解码图像块进行重构,从而可以获得与待处理图像相对应的解码图像。另外,实现空域频域反变换处理的方式可以包括以下任意之一:离散余弦反变换方法、离散正弦反变换方法、哈达玛反变换方法等等。当然的,也可以采用其他的变换方式来对图像块进行空域频域反变换处理,只要能够准确地获得与目标解码信息相对应的解码图像块即可,在此不再赘述。
本实施例提供的图像解码方法,通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,而后确定与待处理图像相对应的目标解码信息,由于目标解码信息与频域编码信息中的至少一部分相对应,继而可以获取到满足不同的应用场景和应用需求下的目标解码信息,以便基于不同的目标解码信息来确定满足不同的应用场景和应用需求的解码图像,从而有效地实现了在进行图像解码操作时,可以按照不同码流层次输出小分辨率的预览图,这样不仅节省运算能力,还节约了存储空间和访问图像进行存储的时间,同时极大地节省了算力和时间成本,进一步提高了该方法的实用性,有利于市场的推广与应用。
图13为本发明实施例提供的确定与待处理图像相对应的目标解码信息的流程示意图;在上述实施例的基础上,继续参考附图13所示,本实施例提供了一种目标解码信息的确定方式,具体的,本实施例中的确定与待处理图像相对应的目标解码信息可以包括:
步骤S1301:获取用于进行解码操作的解码信息标识。
步骤S1302:基于解码信息标识,确定与待处理图像相对应的目标解码信息。
在获取到待处理图像之后,可以获取用于进行解码操作的解码信息标识,可以理解的是,在获取到待处理图像之后,可以基于预先获取的用于对待处理图像进行解码操作的解码请求来获取解码信息标识,其中,解码请求中可以包括用于进行解码操作的解码信息标识,而不同的应用需求和设计需求可以对应有不同的解码信息标识。在获取到解码信息标识之后,可以对解码信息标识进行分析处理,以确定与待处理图像相对应的目标解码信息。
在一些实例中,基于解码信息标识,确定与待处理图像相对应的目标解码信息可以包括:在解码信息标识为第一标识时,则确定目标解码信息包括直流解码信息;或者,在解码信息标识为第二标识时,则确定目标解码信息包括直流解码信息和低频解码信息;或者,在解码信息标识为第三标识时,则确定目标解码信息包括直流解码信息、低频解码信息和高频解码信息;或者,在解码信息标识为第四标识时,则确定目标解码信息包括直流解码信息、低频解码信息、高频解码信息以及灵活解码信息。
具体的,预先配置有第一标识、第二标识、第三标识和第四标识,而上述不同的解码信息标识可以对应有不同的应用场景和应用需求,例如:在第一标识对应有低分辨率预览需求或者背景信息的获取需求时,则可以确定目标解码信息包括直流解码信息;或者,在第二标识对应有低分辨率预览需求和低频信息预览需求、或者背景信息和轮廓信息的获取需求时,则可以确定目标解码信息包括直流解码信息和低频解码信息;或者,在第三标识对应有低分辨率预览需求、低频信息预览需求和高频信息预览需求、或者背景信息、轮廓信息和边缘及细节的获取需求时,则可以确定目标解码信息包括直流解码信息、低频解码信息和高频解码信息;或者,在第三标识对应有所有图像信息的获取需求或者完整无失真需求时,则可以确定目标解码信息包括直流解码信息、低频解码信息、高频解码信息和灵活编码信息。
本实施例中,通过获取用于进行解码操作的解码信息标识,而后基于解码信息标识来确定与待处理图像相对应的目标解码信息,从而有效地保证了可以在不同的应用场景和应用需求下获取到不同的目标解码信息,这样不仅保证了对目标解码信息进行获取的准确可靠性,并且也提高了对图像进行分析处理的质量和效率。
具体应用时,本应用实施例通过了一种图像处理方法,该图像处理方法的执行主体为图像处理系统,该图像处理系统可以包括图像编码方法和图像解码方法,其中,图像编码器用于实现对图像的编码操作,图像解码器用于实现对图像的解码操作。当将图像处理系统应用于专业图像处理设备中时,可以实现以频域分层并行的编码方式对图像进行编码压缩,这种方式可以使得图像的压缩速率达到8K*4K@60fps,并且可以通过与不同频域分层所对应的数据传输通道对图像进行分层输出,而后可以对输出的编码变流进行单独解码操作,并可以生成不同分辨率的图像,这样在解码8K*4K图像源时,速率最高可达240fps。
具体的,参考附图14所示,本应用实施例提供的图像处理方法包括图像编码过程和图像解码过程,其中,图像编码过程包括以下步骤:
步骤S1:针对图像编码器输入待处理的原始图像。
步骤S2:对待处理的原始图像进行预处理操作,获得处理后图像。
其中,对原始图像进行预处理操作可以包括:对原始图像进行图像划分操作和对原始图像进行颜色格式转换操作。具体的,对原始图像进行图像划分操作可以包括以下步骤:
步骤S21:获取图像块的尺寸信息。
步骤S22:根据图像块的尺寸信息对待处理图像进行划分处理,获得与待处理图像相对应的多个图像块。
其中,为了能够提高对原始图像进行编码的质量和效率,可以在对原始图像进行编码之前,可以将原始图像进行空间组织分层,得到与原始图像相对应的多个图像块,这样在对原始图像进行分析处理时,可以以图像块作为单位进行分析处理,从而有效地提高了对原始图像进行分析处理的效率。
具体的,参考附图15所示,对于一幅原始图像而言,可以在水平方向上将原始图像划分为N个图像块(tile块),而后可以将每个图像块划分为多个宏块(Micro Block,简称MB),即每个图像块可划分为整数个MB,在对图像块进行分析处理时,可以对图像块中所包括的每个MB依次进行处理,每个MB的大小可以为16x16/32x32/64*64。此时,在对图像块进行分析处理时,可以以一个MB作为最小的处理单元。而后对原始图像中所包括的多个图像块而言,多个图像块可进行独立的编解码操作,从而可以提高整个图像编码器的并行度。
对原始图像进行颜色格式转换操作可以包括以下步骤:
步骤S23:获取用于对原始图像进行处理的目标图像格式。
步骤S24:识别原始图像的当前图像格式。
步骤S25:在当前图像格式与目标图像格式不一致时,将原始图像由当前图像格式调整为目标图像格式。
由于原始图像的图像数据格式众多,其中,图像数据格式可以包括以下任意之一:bayer raw、quad-bayer raw、RGB、yuv422、yuv420、yuv444等格式,而不同图像数据格式的图像所对应的编解码方法也不同,因此,在将原始图像送入至图像编码器之前,可以将原始图像的色域空间转换为内部统一的颜色格式。举例来说,如图16所示,在目标图像格式为YUV422格式时,在原始图像的当前格式为Bayer raw、Quad-bayer raw、RGB、YUV420、YUV444等任意格式时,可以将原始图像由当前图像格式调整为目标图像格式,具体的,本实施例对于格式转换操作的具体实现过程和实现效果不做限定,可以根据具体的应用需求和设计需求进行设置,只要能够实现将原始图像由当前图像格式调整为目标图像格式即可,在此不再赘述。
本实施例中,通过获取用于对原始图像进行处理的目标图像格式,识别原始图像的当前图像格式,在当前图像格式与目标图像格式不一致时,将原始图像由当前图像格式调整为目标图像格式,从而有效地实现了可以将其他颜色格式的原始图像无损/近似无损的转换为yuv422格式后,从而可以获得处理后图像,进而有利于实现将具有统一格式的处理后图像送入图像编码器进行编码操作。
需要注意的是,对原始图像进行图像划分操作和对原始图像进行颜色格式转换操作的执行顺序并不限于上述陈述内容所限定的顺序,还可以根据具体的应用需求和设计需求对原始图像进行图像划分操作和对原始图像进行颜色格式转换操作的执行顺序进行调整,例如:可以先对原始图像进行格式转换操作,而后在对进行格式转换操作之后的原始图像进行图像划分操作。或者,可以先对原始图像进行图像划分操作,而后对图像划分操作之后的原始图像进行格式转换操作。
步骤3:对处理后图像进行空域频域变换处理,获得与处理后图像相对应的不同频域层的频域图像,并对频域图像进行频域层编码处理,获得与不同频域层相对应的频域熵编码。
在获取到处理后图像之后,可以对处理后图像所对应的每个图像块进行空域频域变换处理,从而可以得到直流(DC)层、低频(LF)层、高频(HF)层和灵活(FL)层共四层的频域图像;而后可以将四层频域图像分四路通道同时进行编码,最后熵编码后得到四路编码码流,四路编码码流可以分别对应有DC层熵编码、LF层熵编码、HF层熵编码和FL层熵编码。如图14所示,在编码器中,直流频域图像通过DC层熵编码器进行编码,低频频域图像通过LF层熵编码器进行编码,高频频域图像通过HF层熵编码器进行编码,以及灵活频域图像通过FL层熵编码器进行编码。
具体的,上述的空域频域变换可以通过某种可逆变换(例如,离散余弦变换、离散正弦变换、哈达玛变换等)将空间域描述的处理后图像转换到频率域,可得到频域图像,而后可以对频域图像进行编码处理,获得不同频域层的频域编码信息,上述不同频域层的频域编码信息用于表征处理后图像所对应的不同图像特征。举例来说,不同频域层可以包括直流层(简称DC层)、低频层(简称LF层)、高频层(简称HF层)和灵活层(FL层),上述的DC层用于表征图像的直流信息(背景),LF层用于表征图像的低频信息(轮廓),HF层用于表征图像的高频信息(边缘、细节),FL层是对HF层、DC层和/或LF层的一个补充层,用于标识HF层、DC层和LF层进行编码操作时所丢弃的信息,主要用于支持无损编码。
进一步的,在对处理后图像进行空域频域变换处理,获得与处理后图像相对应的不同频域层的频域编码信息时,可以包括:对处理后图像所包括的每个图像块进行第一次变换处理,获得与图像块相对应的低频频域信息和高频频域信息;对低频频域信息进行第二次变换处理,获得与图像块相对应的直流频域图像和低频频域图像;根据高频频域信息,获得高频频域图像;根据图像块、高频频域图像、低频频域图像和直流频域图像,确定与图像块相对应的灵活频域图像。
具体的,在对图像进行压缩编码时,空域频域变换处理可以改变数据的分布,从而使得各个频域层的数据具有特定的位置特征,例如:直流频域信息或者低频频域信息(数值大)位于左上角位置,高频频域信息(数值小)位于右下角位置。这样,可以基于各个频域率层的数据所具有的特定位置特征来识别直流频域信息、低频频域信息和高频频域信息。另外,对于高频频域信息而言,可以利用人眼的视觉特性,将许多能量小的高频频域信息置为0,从而可以增加变换系数中0的个数,有利于提高熵编码的压缩率。
参考附图8所示,以16x16大小的图像块,4x4大小的变换核为例说明,在获取到上述图像块之后,可以对图像块进行一次变换操作,可得到HF层所对应的240个系数和16个直流系数;之后再次对16个直流系数再进行一次变换操作,得到DC层的1个系数和LF层的15个系数。除此之外,在对HF层系数进行编码完成之后,将剩余的系数放到FL层进行传输,以支持无损压缩情况。综上可知,整个16x16图像块在HF层的信息最多,对应的,在解码端,HF层解码的压力也是最大的。为了能够降低解码操作所对应的压力,可以基于不同的应用场景对上述特定频域层的信息进行解码操作,例如:若用户只关注直流或者低频信息,此时,解码端可快速的对直流编码信息和低频编码信息进行解码,从而可以得到预览图信息,这样不仅极大地提高解码性能,同时也节约了数据处理功耗。
在获取到频域图像之后,可以对每个频域层的频域图像进行熵编码处理,以去除频域层的冗余信息,减少传输码流。具体的,对频域图像进行频域层编码处理可以包括:系数量化、系数预测和输出到熵编码生成码流。
具体的,系数量化主要用于实现对各层频域图像的系数进行缩放,以实现进一步减少传输数据量的效果。对于无损压缩而言,可以获取量化参数QP=1;对于有损压缩,可以获取量化参数QP>1,QP的选择可根据用户对画质的需求进行配置,在获取到量化参数之后,可以利用量化参数对各层频率域的系数进行缩放,获得量化后系数。
系数预测是指对量化后的系数进行预测,具体的,可以根据当前量化后的系数、量化参数和频率层(DC层,LF层,HF层,FL层)情况来实现系数预测操作,其中,在利用空间预测方式进行系数预测时,由于各层系数之间具有一定的依赖关系,因此,可以通过周围图像块所对应(位于当前图像块左侧的图像块、右侧的图像块和左上角的图像块)的系数来对当前图像块所对应的系数进行预测,这样可以有效地减小量化后系数在空域的冗余性。
在利用时间预测方式进行系数预测时,由于前一时刻的图像块所对应的系数与后一时刻的图像块所对应的系数之间具有一定的依赖关系,因此,可以通过前一帧图像块所对应的前一帧系数和后一阵图像块所对应的后一帧系数来对当前图像块所对应的系数进行预测,这样可以有效地减少量化后系数在时域上的冗余性。
经过系数预测之后,可以获取到与当前系数相对应的预测系数,而后可以将频域图像与预测系数之间的差值确定为与频域图像相对应的频域编码系数,对频域编码系数进行扫描处理,可以获得频域编码信息。具体的,系数扫描可以实现将量化、预测后的二维系数按照一定的顺序转换为一维的系数输出,从而可以获得熵编码形式的频域编码信息。
需要说明的是,熵编码是对扫描得到的量化系数进行无失真编码,消除码字之间的冗余度。熵编码的主要方式可以包括:定长编码方式和变长编码方式,定长编码方式即为每个编码符号分配等长比特的码字,而变长编码方式是为每个编码符号分配的比特数不一定相等。变长编码方式又主要分为哈夫曼编码、Golomb编码和算术编码等方式。在实际使用中,用户可根据自己的需要来使用熵编码的的一种或者几种方法,只要能够实现将上述的亮度通道和速度通道的输出的系数进行编码,最终输出码流用于存储或者传输,熵解码即是熵编码的逆过程。
步骤S4:通过与不同频域熵编码相对应的数据传输通道对原始图像进行传输,以便实现对原始图像的解码操作。
承接上述陈述内容,图像解码过程可以包括:
步骤S11:通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,待处理图像包括与至少一个数据传输通道相对应的频域编码信息。
步骤S12:确定与待处理图像相对应的目标解码信息,目标解码信息与频域编码信息中的至少一部分相对应。
步骤S13:基于目标解码信息,确定与待处理图像相对应的解码图像。
具体的,如图14所示,对于图像解码器而言,在获取到待处理图像之后,可以采用不同的数据传输通道对待处理图像所对应的频域编码信息进行解码操作。如图14所示,在解码器中,直流频域图像通过DC层熵解码器进行解码,低频频域图像通过LF层熵解码器进行解码,高频频域图像通过HF层熵解码器进行解码,以及灵活频域图像通过FL层熵解码器进行解码。可以通过四路通道分别对DC层熵编码、LF层熵编码、HF层熵编码和FL层熵编码进行解码,得到DC层、LF层、HF层和FL层共四层频域图像,而后可以根据用户需求对四层频域图像中的某一层/某几层进行空域频域反变换,最后将反变换后的几层频域图像进行重构,从而可以获得解压缩图像,并可以根据需求对解压缩图像进行输出或传输操作。
具体的,对于四层频域图像的解码操作,可以根据用户需求分别进行解码操作,具体的解码操作如下:
(1)若用户只关注低分辨率预览,此时只需要解码DC层图像,即可得到高帧率低分辨率预览图像,即可以获得与DC层图像相对应的DC层熵解码。
举例来说,在用户对图像或者视频进行剪辑和预览时,此时,用户重点关注的是视频或者图像的曝光程度、感光度ISO等信息,因此,在对待处理图像进行处理时,可以只对DC层熵编码进行解码处理,从而可以获得与DC层熵编码相对应的DC层熵解码。或者,在对拍摄内容不满意的图像帧进行删除操作、或者,对非高质量的图像进行显示时,可以只对DC层熵编码进行解码处理,从而可以获得与DC层熵编码相对应的DC层熵解码。或者,在对网络视频流进行分享(例如:抖音、快手等短视频平台)时,若需要分享的视频流中包括的图片是大尺寸图像(尺寸大于或等于预设阈值)时,由于大尺寸图像对网络传输带宽要求很高,因此,可以只对DC层熵编码进行解码处理,从而可以获得与DC层熵编码相对应的DC层熵解码,以达到压缩原图、减小传输带宽压力的效果。
(2)若用户需要在低分辨率预览的情况下加上低频信息,此时需要解码DC层+LF层图像,即可得到一幅较大分辨率包含较多细节的图像。
举例来说,在用户对图像或者视频进行剪辑和预览时,此时,用户重点关注的是视频或者图像的曝光程度、感光度ISO等信息,因此,在对待处理图像进行处理时,可以对DC层熵编码和LF层熵编码进行解码处理,从而可以获得与DC层熵编码相对应的DC层熵解码以及与LF层熵编码相对应的LF层熵解码。或者,在对拍摄内容不满意的图像帧进行删除操作、或者,对非高质量的图像进行显示时,可以对DC层熵编码和LF层熵编码进行解码处理,从而可以获得与DC层熵编码相对应的DC层熵解码以及与LF层熵编码相对应的LF层熵解码。或者,在对网络视频流进行分享(例如:抖音、快手等短视频平台)时,若需要分享的视频流中包括的图片是大尺寸图像时,由于大尺寸图像对网络传输带宽要求很高,因此,可以对DC层熵编码和LF层熵编码进行解码处理,从而可以获得与DC层熵编码相对应的DC层熵解码以及与LF层熵编码相对应的LF层熵解码,以达到压缩原图、减小传输带宽压力的效果。
(3)若用户需要在低分辨率预览的情况下,获知到更多的高频信息,此时需要解码DC层+LF层+HF层图像,即可得到一幅完整分辨率的图像。
(4)若用户想得到无损的解码图像,此时需要解码DC层+LF层+HF层+FL层图像,即可得到一幅完整无失真的图像。
本实施例提供的图像处理方法,基于频域分层的方式实现了多层并行编码和解码操作,具体可以实现8K*4K@60fps的视觉无损压缩操作;其中,图像编码方法可以使用4组熵编码器(直流层熵编码器、低频层熵编码器、高频层熵编码器和灵活层熵编码器)对4组独立的频域系数(直流层系数、低频层系数、高频层系数和灵活层系数)进行编码,编码速率高,并且,上述的各个频域层系数可以采用相互独立的数据传输通道进行传输和处理,从而去除了各频域层系数之间的依赖关系,进而有利于提高编码效率。
另外,在解码端,可以按需对不同频率域信息进行解码操作,有利于提高性能,同时减小功耗,另外可实现高帧率低分辨预览、高分辨预览和无损预览等操作。具体的,该解码方法可以使用四路编解码通道实现并行处理,有利于提高整个编解码器的处理带宽,在进行图像解码操作时,可以根据需求进行DC、DC+LF、DC+LF+HF、DC+LF+HF+FL四个频域层次的解码操作,采用频域分层的压缩和解压结构,提高了编解码的并行度和性能。而后在解码器内部,可以对至少一个频率域层所对应的熵解码结果进行重构,且支持任选4种熵解码结果中的至少一个进行重构,从而有利于实现不同速率、不同分辨率、不同画质的图像预览操作,这样不仅节省运算能力,还节约存储空间和访问存储的时间,例如:在进行图像剪辑、预览8K*4K图像操作时,可以达到240fps的高帧率,这样极大地节省了算力和时间成本,满足了用户对不同频域层次图像的处理需求。
图17为本发明实施例提供的一种图像编码装置的结构示意图;参考附图17所示,本实施例提供了一种图像编码装置,该图像编码装置可以用于执行上述图2所对应的图像编码方法。具体的,该图像编码装置可以包括:
第一存储器12,用于存储计算机程序;
第一处理器11,用于运行第一存储器12中存储的计算机程序以实现:
获取待处理图像以及与待处理图像相对应的编码请求;
根据编码请求获取与待处理图像相对应的频域编码信息;
基于频域编码信息,确定与待处理图像相对应的编码图像,其中,编码图像用于通过与频域编码信息相对应的至少一个数据传输通道进行传输。
此外,图像编码装置的结构中还可以包括第一通信接口13,用于实现无人机的控制装置与其他设备或通信网络通信。
在一些实例中,频域编码信息包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
在一些实例中,直流编码信息、低频编码信息、高频编码信息以及灵活编码信息各自对应的数据传输通道相互独立。
在一些实例中,在根据编码请求获取与待处理图像相对应的频域编码信息时,第一处理器11用于:获取编码请求中所包括的编码类型标识;根据编码类型标识,确定与待处理图像相对应的频域编码信息。
在一些实例中,在根据编码类型标识,确定与待处理图像相对应的频域编码信息时,第一处理器11用于:在编码类型标识为第一标识时,则确定频域编码信息包括直流编码信息;或者,在编码类型标识为第二标识时,则确定频域编码信息包括直流编码信息和低频编码信息;或者,在编码类型标识为第三标识时,则确定频域编码信息包括直流编码信息、低频编码信息和高频编码信息;或者,在编码类型标识为第四标识时,则确定频域编码信息包括直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。
在一些实例中,在根据编码请求获取与待处理图像相对应的频域编码信息时,第一处理器11用于:获取与待处理图像相对应的多个图像块;对每个图像块进行空域频域变换处理,获得与图像块相对应的频域图像;对频域图像进行编码处理,获得与待处理图像中图像块相对应的频域编码信息。
在一些实例中,在获取与待处理图像相对应的多个图像块时,第一处理器11用于:获取图像块的尺寸信息;根据图像块的尺寸信息对待处理图像进行划分处理,获得与待处理图像相对应的多个图像块。
在一些实例中,在获取图像块的尺寸信息时,第一处理器11用于:获取用于对待处理图像进行处理的图像协议类型;根据图像协议类型,确定图像块的尺寸信息。
在一些实例中,在获取图像块的尺寸信息之后,第一处理器11用于:获取待处理图像的图像分辨率;根据图像分辨率,调整图像块的尺寸信息。
在一些实例中,在根据图像分辨率,调整图像块的尺寸信息时,第一处理器11用于:在图像分辨率大于或等于预设分辨率阈值时,则在预设尺寸范围内增大图像块的尺寸信息;或者,在图像分辨率小于预设分辨率阈值时,则在预设尺寸范围内减小图像块的尺寸信息。
在一些实例中,在对每个图像块进行空域频域变换处理,获得与图像块相对应的频域图像时,第一处理器11用于:对每个图像块进行第一次变换处理,获得与图像块相对应的低频频域信息和高频频域信息;对低频频域信息进行第二次变换处理,获得与图像块相对应的直流频域图像和低频频域图像;根据高频频域信息,获得高频频域图像;根据图像块、高频频域图像、低频频域图像和直流频域图像,确定与图像块相对应的灵活频域图像。
在一些实例中,在对每个图像块进行第一次变换处理,获得与图像块相对应的低频频域信息和高频频域信息时,第一处理器11用于:对每个图像块进行第一次变换处理,获得频域图像块;获取用于识别低频频域信息的第一位置特征和用于识别高频频域信息的第二位置特征;在频域图像块中,根据第一位置特征确定与图像块相对应的低频频域信息,并根据第二位置特征确定与图像块相对应的高频频域信息。
在一些实例中,第一位置特征包括位于频域图像块的左上角位置;第二位置特征包括位于频域图像块的右下角位置。
在一些实例中,在对低频频域信息进行第二次变换处理,获得与图像块相对应的直流频域图像时,第一处理器11用于:对低频频域信息进行第二次变换处理,获得与低频频域信息相对应的处理后频域图像;获取用于识别直流频域信息的第三位置特征;在处理后频域图像中,根据第三位置特征确定与图像块相对应的直流频域信息;根据直流频域信息,获得直流频域图像。
在一些实例中,第三位置特征包括位于处理后频域图像的左上角位置。
在一些实例中,高频频域图像、低频频域图像、直流频域图像和灵活频域图像各自对应的数据传输通道相互独立。
在一些实例中,在根据图像块、高频频域图像、低频频域图像和直流频域图像,确定与图像块相对应的灵活频域图像时,第一处理器11用于:分别对高频频域图像、低频频域图像和直流频域图像进行编码处理,获得第一编码图像、第二编码图像和第三编码图像;基于图像块、第一编码图像、第二编码图像和第三编码图像,确定与图像块相对应的灵活频域图像。
在一些实例中,在对频域图像进行编码处理,获得与待处理图像中图像块相对应的频域编码信息时,第一处理器11用于:获取用于对频域图像进行编码处理的编码量化参数;利用编码量化参数对频域图像进行缩放处理,获得第一编码信息;获取与频域图像相对应的关联图像,并根据编码量化参数、第一编码信息和关联图像对所述频域图像进行系数预测,获得第二编码信息;根据频域图像和第二编码信息,获得与待处理图像中的图像块相对应的频域编码信息。
在一些实例中,频域图像包括以下至少之一:直流频域图像、低频频域图像、高频频域图像以及灵活频域图像;第二编码信息中所包括的直流编码信息与直流频域图像相对应;第二编码信息中所包括的低频编码信息与低频频域图像相对应;第二编码信息中所包括的高频编码信息与高频频域图像相对应;第二编码信息中所包括的灵活编码信息与灵活频域图像相对应。
在一些实例中,在根据频域图像和所述第二编码信息,获得与待处理图像中的图像块相对应的频域编码信息时,第一处理器11用于:根据频域图像和第二编码信息,确定与待处理图像中图像块相对应的残差图像;对残差图像进行系数扫描处理,获得频域编码信息。
在一些实例中,在获取与待处理图像相对应的多个图像块之前,第一处理器11用于:获取用于对待处理图像进行处理的目标图像格式;识别待处理图像的当前图像格式;在当前图像格式与目标图像格式不一致时,将待处理图像由当前图像格式调整为目标图像格式。
图17所示装置可以执行图2-图11、图14-图16所示实施例的方法,本实施例未详细描述的部分,可参考对图2-图11、图14-图16所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2-图11、图14-图16所示实施例中的描述,在此不再赘述。
图18为本发明实施例提供的一种图像解码装置的结构示意图;参考附图18所示,本实施例提供了一种图像解码装置,该图像解码装置可以用于执行上述图12所对应的图像解码方法。具体的,该图像解码装置可以包括:
第二存储器22,用于存储计算机程序;
第二处理器21,用于运行第二存储器22中存储的计算机程序以实现:
通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,待处理图像包括有与至少一个数据传输通道相对应的频域编码信息;
确定与待处理图像相对应的目标解码信息,目标解码信息与频域编码信息中的至少一部分相对应;
基于目标解码信息,确定与待处理图像相对应的解码图像。
此外,图像解码装置的结构中还可以包括第二通信接口23,用于实现无人机的控制装置与其他设备或通信网络通信。
在一些实例中,频域编码信息包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
在一些实例中,目标解码信息包括以下任意之一:直流解码信息;直流解码信息和低频解码信息;直流解码信息、低频解码信息和高频解码信息;直流解码信息、低频解码信息、高频解码信息以及灵活解码信息,灵活解码信息中包括以下至少之一:丢弃的直流解码信息、丢弃的低频解码信息、丢弃的高频解码信息。
在一些实例中,在确定与待处理图像相对应的目标解码信息时,第二处理器21用于:获取用于进行解码操作的解码信息标识;基于解码信息标识,确定与待处理图像相对应的目标解码信息。
在一些实例中,在基于解码信息标识,确定与待处理图像相对应的目标解码信息时,第二处理器21用于:在解码信息标识为第一标识时,则确定目标解码信息包括直流解码信息;或者,在解码信息标识为第二标识时,则确定目标解码信息包括直流解码信息和低频解码信息;或者,在解码信息标识为第三标识时,则确定目标解码信息包括直流解码信息、低频解码信息和高频解码信息;或者,在解码信息标识为第四标识时,则确定目标解码信息包括直流解码信息、低频解码信息、高频解码信息以及灵活解码信息。
在一些实例中,在基于目标解码信息,确定与待处理图像相对应的解码图像时,第二处理器21用于:对目标解码信息进行空域频域反变换处理,获得与目标解码信息相对应的解码图像块;对所有的解码图像块进行重构,获得与待处理图像相对应的解码图像。
图18所示装置可以执行图12-图16所示实施例的方法,本实施例未详细描述的部分,可参考对图12-图16所示实施例的相关说明。该技术方案的执行过程和技术效果参见图12-图16所示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种存储介质,该存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图2-图11、图14-图16所示实施例中的图像编码方法。
需要说明的是,本申请实施方式中的图像编码装置和图像解码装置可以是具有数据处理能力的电子设备,如电脑、服务器、云端服务器或者终端、以及可移动平台(例如,无人机,无人车,手持云台)等;也可以是具有数据处理能力的计算机芯片或者集成电路,例如中央处理单元(Central Processing Unit,CPU)、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)或者现成可编程门阵列(Field-Programmable Gate Array,FPGA)等。
另外,本发明实施例提供了一种存储介质,该存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图12-图16所示实施例中的图像解码方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本发明保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关装置和方法,可以通过其它的方式实现。例如,以上所描述的各装置的实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,各装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read_Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (56)

1.一种图像编码方法,其特征在于,包括:
获取待处理图像以及与所述待处理图像相对应的编码请求;
根据所述编码请求获取与所述待处理图像相对应的频域编码信息;
基于所述频域编码信息,确定与所述待处理图像相对应的编码图像,其中,所述编码图像用于通过多个数据传输通道中的与所述频域编码信息相对应的至少一个数据传输通道进行传输。
2.根据权利要求1所述的方法,其特征在于,
所述频域编码信息包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,所述灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
3.根据权利要求2所述的方法,其特征在于,所述直流编码信息、低频编码信息、高频编码信息以及灵活编码信息各自对应的数据传输通道相互独立。
4.根据权利要求1所述的方法,其特征在于,根据所述编码请求获取与所述待处理图像相对应的频域编码信息,包括:
获取所述编码请求中所包括的编码类型标识;
根据所述编码类型标识,确定与所述待处理图像相对应的频域编码信息。
5.根据权利要求4所述的方法,其特征在于,根据所述编码类型标识,确定与所述待处理图像相对应的频域编码信息,包括:
在所述编码类型标识为第一标识时,则确定所述频域编码信息包括直流编码信息;或者,
在所述编码类型标识为第二标识时,则确定所述频域编码信息包括直流编码信息和低频编码信息;或者,
在所述编码类型标识为第三标识时,则确定所述频域编码信息包括直流编码信息、低频编码信息和高频编码信息;或者,
在所述编码类型标识为第四标识时,则确定所述频域编码信息包括直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。
6.根据权利要求1所述的方法,其特征在于,根据所述编码请求获取与所述待处理图像相对应的频域编码信息,包括:
获取与所述待处理图像相对应的多个图像块;
对每个图像块进行空域频域变换处理,获得与所述图像块相对应的频域图像;
对所述频域图像进行编码处理,获得与所述待处理图像中图像块相对应的频域编码信息。
7.根据权利要求6所述的方法,其特征在于,获取与所述待处理图像相对应的多个图像块,包括:
获取所述图像块的尺寸信息;
根据所述图像块的尺寸信息对所述待处理图像进行划分处理,获得与所述待处理图像相对应的多个图像块。
8.根据权利要求7所述的方法,其特征在于,获取所述图像块的尺寸信息,包括:
获取用于对所述待处理图像进行处理的图像协议类型;
根据所述图像协议类型,确定所述图像块的尺寸信息。
9.根据权利要求7所述的方法,其特征在于,在获取所述图像块的尺寸信息之后,所述方法还包括:
获取所述待处理图像的图像分辨率;
根据所述图像分辨率,调整所述图像块的尺寸信息。
10.根据权利要求9所述的方法,其特征在于,根据所述图像分辨率,调整所述图像块的尺寸信息,包括:
在所述图像分辨率大于或等于预设分辨率阈值时,则在预设尺寸范围内增大所述图像块的尺寸信息;或者,
在所述图像分辨率小于预设分辨率阈值时,则在预设尺寸范围内减小所述图像块的尺寸信息。
11.根据权利要求6所述的方法,其特征在于,对每个图像块进行空域频域变换处理,获得与所述图像块相对应的频域图像,包括:
对每个图像块进行第一次变换处理,获得与所述图像块相对应的低频频域信息和高频频域信息;
对所述低频频域信息进行第二次变换处理,获得与所述图像块相对应的直流频域图像和低频频域图像;
根据所述高频频域信息,获得高频频域图像;
根据所述图像块、高频频域图像、低频频域图像和直流频域图像,确定与所述图像块相对应的灵活频域图像。
12.根据权利要求11所述的方法,其特征在于,对每个图像块进行第一次变换处理,获得与所述图像块相对应的低频频域信息和高频频域信息,包括:
对每个图像块进行第一次变换处理,获得频域图像块;
获取用于识别所述低频频域信息的第一位置特征和用于识别所述高频频域信息的第二位置特征;
在所述频域图像块中,根据所述第一位置特征确定与所述图像块相对应的低频频域信息,并根据所述第二位置特征确定与所述图像块相对应的高频频域信息。
13.根据权利要求12所述的方法,其特征在于,
所述第一位置特征包括位于所述频域图像块的左上角位置;
所述第二位置特征包括位于所述频域图像块的右下角位置。
14.根据权利要求11所述的方法,其特征在于,对所述低频频域信息进行第二次变换处理,获得与所述图像块相对应的直流频域图像,包括:
对所述低频频域信息进行第二次变换处理,获得与所述低频频域信息相对应的处理后频域图像;
获取用于识别直流频域信息的第三位置特征;
在所述处理后频域图像中,根据所述第三位置特征确定与所述图像块相对应的直流频域信息;
根据所述直流频域信息,获得所述直流频域图像。
15.根据权利要求14所述的方法,其特征在于,所述第三位置特征包括位于所述处理后频域图像的左上角位置。
16.根据权利要求11所述的方法,其特征在于,所述高频频域图像、低频频域图像、直流频域图像和灵活频域图像各自对应的数据传输通道相互独立。
17.根据权利要求11所述的方法,其特征在于,根据所述图像块、高频频域图像、低频频域图像和直流频域图像,确定与所述图像块相对应的灵活频域图像,包括:
分别对所述高频频域图像、低频频域图像和直流频域图像进行编码处理,获得第一编码图像、第二编码图像和第三编码图像;
基于所述图像块、第一编码图像、第二编码图像和第三编码图像,确定与所述图像块相对应的灵活频域图像。
18.根据权利要求6所述的方法,其特征在于,对所述频域图像进行编码处理,获得与所述待处理图像中图像块相对应的频域编码信息,包括:
获取用于对所述频域图像进行编码处理的编码量化参数;
利用所述编码量化参数对所述频域图像进行缩放处理,获得第一编码信息;
获取与所述频域图像相对应的关联图像,并根据所述编码量化参数、第一编码信息和所述关联图像对所述频域图像进行系数预测,获得第二编码信息;
根据所述频域图像和所述第二编码信息,获得与所述待处理图像中的图像块相对应的频域编码信息。
19.根据权利要求18所述的方法,其特征在于,
所述频域图像包括以下至少之一:直流频域图像、低频频域图像、高频频域图像以及灵活频域图像;
所述第二编码信息中所包括的直流编码信息与所述直流频域图像相对应;
所述第二编码信息中所包括的低频编码信息与所述低频频域图像相对应;
所述第二编码信息中所包括的高频编码信息与所述高频频域图像相对应;
所述第二编码信息中所包括的灵活编码信息与所述灵活频域图像相对应。
20.根据权利要求18所述的方法,其特征在于,根据所述频域图像和所述第二编码信息,获得与所述待处理图像中的图像块相对应的频域编码信息,包括:
根据所述频域图像与所述第二编码信息,确定与所述待处理图像中图像块相对应的残差图像;
对所述残差图像进行系数扫描处理,获得所述频域编码信息。
21.根据权利要求6-20中任意一项所述的方法,其特征在于,在获取与所述待处理图像相对应的多个图像块之前,所述方法还包括:
获取用于对所述待处理图像进行处理的目标图像格式;
识别所述待处理图像的当前图像格式;
在所述当前图像格式与所述目标图像格式不一致时,将所述待处理图像由当前图像格式调整为所述目标图像格式。
22.一种图像解码方法,其特征在于,包括:
通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,所述待处理图像包括与所述至少一个数据传输通道相对应的频域编码信息;
确定与所述待处理图像相对应的目标解码信息,所述目标解码信息与所述频域编码信息中的至少一部分相对应;
基于所述目标解码信息,确定与所述待处理图像相对应的解码图像。
23.根据权利要求22所述的方法,其特征在于,所述频域编码信息包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,所述灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
24.根据权利要求22所述的方法,其特征在于,所述目标解码信息包括以下任意之一:
直流解码信息;
直流解码信息和低频解码信息;
直流解码信息、低频解码信息和高频解码信息;
直流解码信息、低频解码信息、高频解码信息以及灵活解码信息,所述灵活解码信息中包括以下至少之一:丢弃的直流解码信息、丢弃的低频解码信息、丢弃的高频解码信息。
25.根据权利要求22所述的方法,其特征在于,确定与所述待处理图像相对应的目标解码信息,包括:
获取用于进行解码操作的解码信息标识;
基于所述解码信息标识,确定与所述待处理图像相对应的目标解码信息。
26.根据权利要求25所述的方法,其特征在于,基于所述解码信息标识,确定与所述待处理图像相对应的目标解码信息,包括:
在所述解码信息标识为第一标识时,则确定所述目标解码信息包括直流解码信息;或者,
在所述解码信息标识为第二标识时,则确定所述目标解码信息包括直流解码信息和低频解码信息;或者,
在所述解码信息标识为第三标识时,则确定所述目标解码信息包括直流解码信息、低频解码信息和高频解码信息;或者,
在所述解码信息标识为第四标识时,则确定所述目标解码信息包括直流解码信息、低频解码信息、高频解码信息以及灵活解码信息。
27.根据权利要求22-26中任意一项所述的方法,其特征在于,基于所述目标解码信息,确定与所述待处理图像相对应的解码图像,包括:
对所述目标解码信息进行空域频域反变换处理,获得与所述目标解码信息相对应的解码图像块;
对所有的解码图像块进行重构,获得与所述待处理图像相对应的解码图像。
28.一种图像编码装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取待处理图像以及与所述待处理图像相对应的编码请求;
根据所述编码请求获取与所述待处理图像相对应的频域编码信息;
基于所述频域编码信息,确定与所述待处理图像相对应的编码图像,其中,所述编码图像用于通过多个数据传输通道中的与所述频域编码信息相对应的至少一个数据传输通道进行传输。
29.根据权利要求28所述的装置,其特征在于,
所述频域编码信息包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,所述灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
30.根据权利要求29所述的装置,其特征在于,所述直流编码信息、低频编码信息、高频编码信息以及灵活编码信息各自对应的数据传输通道相互独立。
31.根据权利要求28所述的装置,其特征在于,在根据所述编码请求获取与所述待处理图像相对应的频域编码信息时,所述处理器用于:
获取所述编码请求中所包括的编码类型标识;
根据所述编码类型标识,确定与所述待处理图像相对应的频域编码信息。
32.根据权利要求31所述的装置,其特征在于,在根据所述编码类型标识,确定与所述待处理图像相对应的频域编码信息时,所述处理器用于:
在所述编码类型标识为第一标识时,则确定所述频域编码信息包括直流编码信息;或者,
在所述编码类型标识为第二标识时,则确定所述频域编码信息包括直流编码信息和低频编码信息;或者,
在所述编码类型标识为第三标识时,则确定所述频域编码信息包括直流编码信息、低频编码信息和高频编码信息;或者,
在所述编码类型标识为第四标识时,则确定所述频域编码信息包括直流编码信息、低频编码信息、高频编码信息以及灵活编码信息。
33.根据权利要求28所述的装置,其特征在于,在根据所述编码请求获取与所述待处理图像相对应的频域编码信息时,所述处理器用于:
获取与所述待处理图像相对应的多个图像块;
对每个图像块进行空域频域变换处理,获得与所述图像块相对应的频域图像;
对所述频域图像进行编码处理,获得与所述待处理图像中图像块相对应的频域编码信息。
34.根据权利要求33所述的装置,其特征在于,在获取与所述待处理图像相对应的多个图像块时,所述处理器用于:
获取所述图像块的尺寸信息;
根据所述图像块的尺寸信息对所述待处理图像进行划分处理,获得与所述待处理图像相对应的多个图像块。
35.根据权利要求34所述的装置,其特征在于,在获取所述图像块的尺寸信息时,所述处理器用于:
获取用于对所述待处理图像进行处理的图像协议类型;
根据所述图像协议类型,确定所述图像块的尺寸信息。
36.根据权利要求34所述的装置,其特征在于,在获取所述图像块的尺寸信息之后,所述处理器用于:
获取所述待处理图像的图像分辨率;
根据所述图像分辨率,调整所述图像块的尺寸信息。
37.根据权利要求36所述的装置,其特征在于,在根据所述图像分辨率,调整所述图像块的尺寸信息时,所述处理器用于:
在所述图像分辨率大于或等于预设分辨率阈值时,则在预设尺寸范围内增大所述图像块的尺寸信息;或者,
在所述图像分辨率小于预设分辨率阈值时,则在预设尺寸范围内减小所述图像块的尺寸信息。
38.根据权利要求33所述的装置,其特征在于,在对每个图像块进行空域频域变换处理,获得与所述图像块相对应的频域图像时,所述处理器用于:
对每个图像块进行第一次变换处理,获得与所述图像块相对应的低频频域信息和高频频域信息;
对所述低频频域信息进行第二次变换处理,获得与所述图像块相对应的直流频域图像和低频频域图像;
根据所述高频频域信息,获得高频频域图像;
根据所述图像块、高频频域图像、低频频域图像和直流频域图像,确定与所述图像块相对应的灵活频域图像。
39.根据权利要求38所述的装置,其特征在于,在对每个图像块进行第一次变换处理,获得与所述图像块相对应的低频频域信息和高频频域信息时,所述处理器用于:
对每个图像块进行第一次变换处理,获得频域图像块;
获取用于识别所述低频频域信息的第一位置特征和用于识别所述高频频域信息的第二位置特征;
在所述频域图像块中,根据所述第一位置特征确定与所述图像块相对应的低频频域信息,并根据所述第二位置特征确定与所述图像块相对应的高频频域信息。
40.根据权利要求39所述的装置,其特征在于,
所述第一位置特征包括位于所述频域图像块的左上角位置;
所述第二位置特征包括位于所述频域图像块的右下角位置。
41.根据权利要求38所述的装置,其特征在于,在对所述低频频域信息进行第二次变换处理,获得与所述图像块相对应的直流频域图像时,所述处理器用于:
对所述低频频域信息进行第二次变换处理,获得与所述低频频域信息相对应的处理后频域图像;
获取用于识别直流频域信息的第三位置特征;
在所述处理后频域图像中,根据所述第三位置特征确定与所述图像块相对应的直流频域信息;
根据所述直流频域信息,获得所述直流频域图像。
42.根据权利要求41所述的装置,其特征在于,所述第三位置特征包括位于所述处理后频域图像的左上角位置。
43.根据权利要求38所述的装置,其特征在于,所述高频频域图像、低频频域图像、直流频域图像和灵活频域图像各自对应的数据传输通道相互独立。
44.根据权利要求38所述的装置,其特征在于,在根据所述图像块、高频频域图像、低频频域图像和直流频域图像,确定与所述图像块相对应的灵活频域图像时,所述处理器用于:
分别对所述高频频域图像、低频频域图像和直流频域图像进行编码处理,获得第一编码图像、第二编码图像和第三编码图像;
基于所述图像块、第一编码图像、第二编码图像和第三编码图像,确定与所述图像块相对应的灵活频域图像。
45.根据权利要求33所述的装置,其特征在于,在对所述频域图像进行编码处理,获得与所述待处理图像中图像块相对应的频域编码信息时,所述处理器用于:
获取用于对所述频域图像进行编码处理的编码量化参数;
利用所述编码量化参数对所述频域图像进行缩放处理,获得第一编码信息;
获取与所述频域图像相对应的关联图像,并根据所述编码量化参数、第一编码信息和所述关联图像对所述频域图像进行系数预测,获得第二编码信息;
根据所述频域图像和所述第二编码信息,获得与所述待处理图像中的图像块相对应的频域编码信息。
46.根据权利要求45所述的装置,其特征在于,
所述频域图像包括以下至少之一:直流频域图像、低频频域图像、高频频域图像以及灵活频域图像;
所述第二编码信息中所包括的直流编码信息与所述直流频域图像相对应;
所述第二编码信息中所包括的低频编码信息与所述低频频域图像相对应;
所述第二编码信息中所包括的高频编码信息与所述高频频域图像相对应;
所述第二编码信息中所包括的灵活编码信息与所述灵活频域图像相对应。
47.根据权利要求45所述的装置,其特征在于,在根据所述频域图像和所述第二编码信息,获得与所述待处理图像中的图像块相对应的频域编码信息时,所述处理器用于:
根据所述频域图像与所述第二编码信息,确定与所述待处理图像中图像块相对应的残差图像;
对所述残差图像进行系数扫描处理,获得所述频域编码信息。
48.根据权利要求33-47中任意一项所述的装置,其特征在于,在获取与所述待处理图像相对应的多个图像块之前,所述处理器用于:
获取用于对所述待处理图像进行处理的目标图像格式;
识别所述待处理图像的当前图像格式;
在所述当前图像格式与所述目标图像格式不一致时,将所述待处理图像由当前图像格式调整为所述目标图像格式。
49.一种图像解码装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
通过多个数据传输通道中的至少一个数据传输通道获取待处理图像,所述待处理图像包括与所述至少一个数据传输通道相对应的频域编码信息;
确定与所述待处理图像相对应的目标解码信息,所述目标解码信息与所述频域编码信息中的至少一部分相对应;
基于所述目标解码信息,确定与所述待处理图像相对应的解码图像。
50.根据权利要求49所述的装置,其特征在于,所述频域编码信息包括以下至少之一:直流编码信息、低频编码信息、高频编码信息以及灵活编码信息,其中,所述灵活编码信息中包括以下至少之一:丢弃的直流编码信息、丢弃的低频编码信息、丢弃的高频编码信息。
51.根据权利要求49所述的装置,其特征在于,所述目标解码信息包括以下任意之一:
直流解码信息;
直流解码信息和低频解码信息;
直流解码信息、低频解码信息和高频解码信息;
直流解码信息、低频解码信息、高频解码信息以及灵活解码信息,所述灵活解码信息中包括以下至少之一:丢弃的直流解码信息、丢弃的低频解码信息、丢弃的高频解码信息。
52.根据权利要求49所述的装置,其特征在于,在确定与所述待处理图像相对应的目标解码信息时,所述处理器用于:
获取用于进行解码操作的解码信息标识;
基于所述解码信息标识,确定与所述待处理图像相对应的目标解码信息。
53.根据权利要求52所述的装置,其特征在于,在基于所述解码信息标识,确定与所述待处理图像相对应的目标解码信息时,所述处理器用于:
在所述解码信息标识为第一标识时,则确定所述目标解码信息包括直流解码信息;或者,
在所述解码信息标识为第二标识时,则确定所述目标解码信息包括直流解码信息和低频解码信息;或者,
在所述解码信息标识为第三标识时,则确定所述目标解码信息包括直流解码信息、低频解码信息和高频解码信息;或者,
在所述解码信息标识为第四标识时,则确定所述目标解码信息包括直流解码信息、低频解码信息、高频解码信息以及灵活解码信息。
54.根据权利要求49-53中任意一项所述的装置,其特征在于,在基于所述目标解码信息,确定与所述待处理图像相对应的解码图像时,所述处理器用于:
对所述目标解码信息进行空域频域反变换处理,获得与所述目标解码信息相对应的解码图像块;
对所有的解码图像块进行重构,获得与所述待处理图像相对应的解码图像。
55.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-21中任意一项所述的图像编码方法。
56.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求22-27中任意一项所述的图像解码方法。
CN202080006628.6A 2020-08-31 2020-08-31 图像编码方法、图像解码方法、装置和存储介质 Pending CN113170161A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/112513 WO2022041206A1 (zh) 2020-08-31 2020-08-31 图像编码方法、图像解码方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN113170161A true CN113170161A (zh) 2021-07-23

Family

ID=76881219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006628.6A Pending CN113170161A (zh) 2020-08-31 2020-08-31 图像编码方法、图像解码方法、装置和存储介质

Country Status (2)

Country Link
CN (1) CN113170161A (zh)
WO (1) WO2022041206A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086178A (zh) * 2022-05-27 2022-09-20 量子科技长三角产业创新中心 算力网动态重构方法和伺服装置
WO2023165082A1 (zh) * 2022-03-04 2023-09-07 上海商汤智能科技有限公司 图像预览方法、装置、电子设备、存储介质及计算机程序及其产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117062002B (zh) * 2023-08-01 2024-04-30 哈尔滨工程大学 一种基于轻量级transformer的5g nr室内定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213084A (ja) * 1988-02-22 1989-08-25 Canon Inc 画像符号化方式
CN101267566A (zh) * 2008-04-30 2008-09-17 华为技术有限公司 图像编码方法和装置
CN106998470A (zh) * 2016-01-25 2017-08-01 华为技术有限公司 解码方法、编码方法、解码设备和编码设备
CN109155850A (zh) * 2016-08-04 2019-01-04 深圳市大疆创新科技有限公司 并行视频编码
WO2019100109A1 (en) * 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Frequency component selection for image compression
CN110731083A (zh) * 2017-02-23 2020-01-24 真实网络公司 视频编码系统和方法中的编码块位流结构和语法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244924A (ja) * 1999-02-19 2000-09-08 Ricoh Co Ltd データ圧縮伸長装置
WO2018054506A1 (en) * 2016-09-23 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transform block coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01213084A (ja) * 1988-02-22 1989-08-25 Canon Inc 画像符号化方式
CN101267566A (zh) * 2008-04-30 2008-09-17 华为技术有限公司 图像编码方法和装置
CN106998470A (zh) * 2016-01-25 2017-08-01 华为技术有限公司 解码方法、编码方法、解码设备和编码设备
CN109155850A (zh) * 2016-08-04 2019-01-04 深圳市大疆创新科技有限公司 并行视频编码
CN110731083A (zh) * 2017-02-23 2020-01-24 真实网络公司 视频编码系统和方法中的编码块位流结构和语法
WO2019100109A1 (en) * 2017-11-21 2019-05-31 Immersive Robotics Pty Ltd Frequency component selection for image compression

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165082A1 (zh) * 2022-03-04 2023-09-07 上海商汤智能科技有限公司 图像预览方法、装置、电子设备、存储介质及计算机程序及其产品
CN115086178A (zh) * 2022-05-27 2022-09-20 量子科技长三角产业创新中心 算力网动态重构方法和伺服装置
CN115086178B (zh) * 2022-05-27 2024-03-15 量子科技长三角产业创新中心 算力网动态重构方法和伺服装置

Also Published As

Publication number Publication date
WO2022041206A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112514393B (zh) 解码视频序列的方法、装置和存储介质
CN113615187B (zh) 视频解码的方法、装置以及存储介质
CN111630864A (zh) 编解码方法、装置和媒介
US20210337235A1 (en) Video decoding method using residual information in video coding system, and apparatus thereof
CN110708558B (zh) 变换类型的表示方法和设备
US11895300B2 (en) Signaling of information indicating transform kernel set in image coding
CN113170161A (zh) 图像编码方法、图像解码方法、装置和存储介质
EP3952313A1 (en) Transform in intra prediction-based image coding
US20220337811A1 (en) Method and apparatus for coding transform coefficient in video/image coding system
US11876966B2 (en) Transform-based image coding method and device therefor
JP2024060047A (ja) 2次変換に基づく映像コーディング方法及びその装置
JP2022515799A (ja) ビデオ復号の方法および装置、並びにプログラム
US11909972B2 (en) Coding of information about transform kernel set
US20220286691A1 (en) Method and apparatus for deriving rice parameter in video/image coding system
US20230209061A1 (en) Context coding for information on transform kernel set in image coding system
RU2812248C2 (ru) Способ кодирования изображения на основе преобразования и устройство для его осуществления
RU2803457C2 (ru) Способ кодирования изображения на основе преобразования и устройство для его осуществления
RU2811986C2 (ru) Способ кодирования изображения на основе преобразования и устройство для его осуществления
US11997315B2 (en) Method and apparatus for coding image on basis of transform
RU2803184C1 (ru) Способ кодирования изображения на основе преобразования и устройство для его осуществления
CN115349258B (zh) 图像编码系统中用于残差编码的图像解码方法及其设备
US20240080480A1 (en) Entropy coding method and device in video/image coding system
CN114731447A (zh) 用于视频编解码的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723