CN112653905A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112653905A
CN112653905A CN201910971620.2A CN201910971620A CN112653905A CN 112653905 A CN112653905 A CN 112653905A CN 201910971620 A CN201910971620 A CN 201910971620A CN 112653905 A CN112653905 A CN 112653905A
Authority
CN
China
Prior art keywords
pixel
color
channel
value
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910971620.2A
Other languages
English (en)
Other versions
CN112653905B (zh
Inventor
刘志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cyber Tianjin Co Ltd
Original Assignee
Tencent Cyber Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cyber Tianjin Co Ltd filed Critical Tencent Cyber Tianjin Co Ltd
Priority to CN201910971620.2A priority Critical patent/CN112653905B/zh
Publication of CN112653905A publication Critical patent/CN112653905A/zh
Application granted granted Critical
Publication of CN112653905B publication Critical patent/CN112653905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、设备及介质,其中方法包括:获取目标图像帧的第一图像数据,第一图像数据包括目标图像帧的各像素在目标颜色通道下的第一颜色值,以及各像素在属性通道下的第一属性值;对各像素的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流;以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值;将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流;对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值。本发明实施例可以节省内存占用,从而提高设备性能。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及互联网技术领域,具体涉及图像处理技术领域,尤其涉及一种图像处理方法、一种图像处理装置、一种图像处理设备及一种计算机存储介质。
背景技术
图像是客观对象(如自然景观、人物)的一种相似性的、生动性的描述或写真,是人类社会活动中最常用的信息载体。广义上讲,图像就是所有具有视觉效果的画面。随着图像处理技术的逐渐发展,不仅可以通过图像处理技术编码得到传统图像(例如黑白图像、彩色图像等)的图像数据,从而实现在终端设备中根据该图像数据显示该传统图像;还可通过在编码过程中,为图像设置一些附加的属性值(如透明度值),使得在终端设备中显示具有额外属性(如透明度)的新颖图像,从而给用户带来更加丰富的视觉效果。实践表明,由于新颖图像具有一些附加的属性值,因此需要采用额外扩展相应的图像通道来存储该属性值;这样会导致额外的内存占用,从而影响设备性能。
发明内容
本发明实施例提供了一种图像处理方法、装置、设备及计算机存储介质,可以节省内存占用,从而提高设备性能。
一方面,本发明实施例提供了一种图像处理方法,该图像处理方法包括:
获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
另一方面,本发明实施例提供了一种图像处理方法,该图像处理方法包括:
获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
再一方面,本发明实施例提供了一种图像处理装置,该图像处理装置包括:
编码获取单元,用于获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
编码采样单元,用于对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
编码处理单元,用于将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
所述编码采样单元,用于对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
再一方面,本发明实施例提供了一种图像处理装置,该图像处理装置包括:
解码获取单元,用于获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
解码采样单元,用于对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
解码处理单元,用于从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
所述解码采样单元,用于对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
所述解码处理单元,用于将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
再一方面,本发明实施例提供了一种图像处理设备,所述图像处理设备包括输入接口和输出接口,所述图像处理设备还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如下步骤:
获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如下步骤:
获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行如下步骤:
获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如下步骤:
获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
本发明实施例针对具有属性值的目标图像帧,可以先对目标图像帧的第一图像数据中的各像素在目标颜色通道下的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流。以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值;通过对第一属性值进行值域编码转换,可有效避免后续进行整合压缩时出现数据溢出的问题。然后,可将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流;并对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值;通过将各像素的第一属性值整合压缩到目标颜色通道中,可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理系统的架构图;
图2是本发明实施例提供的一种图像处理方法的流程示意图;
图3a是本发明实施例提供的一种正向编码采样的示意图;
图3b是本发明实施例提供的另一种正向编码采样的示意图;
图3c是本发明实施例提供的另一种正向编码采样的示意图;
图4是本发明另一实施例提供的一种图像处理方法的流程示意图;
图5是本发明另一实施例提供的一种图像处理方法的流程示意图;
图6a是本发明实施例提供的一种图像处理方法的应用场景图;
图6b是本发明实施例提供的另一种图像处理方法的流程示意图;
图6c是本发明实施例提供的另一种图像处理方法的应用场景图;
图6d是本发明实施例提供的另一种图像处理方法的流程示意图;
图6e是本发明实施例提供的另一种图像处理方法的应用场景图;
图7是本发明实施例提供的一种图像处理装置的结构示意图;
图8是本发明另一实施例提供的一种图像处理装置的结构示意图;
图9是本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例的相关技术提及:随着图像处理技术的逐渐发展,一些具有额外属性(如透明度)的新颖图像逐渐出现在了用户的日常生活中。虽然这些新颖图像可以给用户带来更加丰富的视觉效果,但是由于这些新颖图像具有一些附加的属性值,因此需要采用额外扩展相应的图像通道来存储该属性值;这样会导致额外的内存占用,从而影响设备性能。基于此,本发明实施例针对具有属性值的新颖图像提出了一种图像处理方案,以解决内存占用较高的问题,从而提升设备性能。该图像处理方案可以应用在如图1所示的图像处理系统中,其具体可由图像处理系统中的一个或多个图像处理设备执行;此处的图像处理设备可包括以下至少一种:服务设备(如服务器等)、以及终端设备(如智能手机、膝上计算机、平板电脑、台式计算机,等等)。需要说明的是,图1只是示例性地表明图像处理系统的架构,其并不对图像处理系统的架构进行限定;例如,图像处理系统也可只包括终端设备,而不包括服务设备;又如,图像处理系统也可包括服务设备,而不包括终端设备,等等。
上述所提及的图像处理方案具体如下:在针对具有属性值的目标图像帧进行编码的过程中,可以采用预设的编码算法将目标图像帧在属性通道下的属性值整合压缩到颜色通道中,以实现采用颜色通道一并存储属性值和颜色值。此处的属性通道是指用于存储属性值的图像通道,其可以包括但不限于:用于存储表示透明度的属性值的阿尔法通道(alpha通道)、或者用于存储表示油墨度的属性值的专色通道(Spot通道),等等;颜色通道是指用于存储颜色值的图像通道,其可以包括但不限于:用于存储RGB值的RGB通道(三原色通道)、或者用于存储YUV值的YUV(编译true-color颜色空间(color space)的种类)通道,等等;其中,YUV中的“Y”表示明亮度(Luminance、Luma)、“U”和“V”则分别表示色度和浓度(Chrominance、Chroma)。在需要对目标图像帧进行解码时,可以采用相应的解码算法从颜色通道中分别提取出属性值和颜色值,以便于后续采用渲染引擎对属性值和颜色值进行渲染,从而显示目标图像帧。由此可见,本发明实施例所提出的图像处理方案通过将属性值整合压缩到颜色通道中,可实现只采用颜色通道来一并存储属性值和颜色值,无需扩展使用额外的属性通道来单独存储属性值,可有效节省占用内存,解决图像处理设备的内存占用高的问题,从而提高设备性能。
基于上述的描述,本发明实施例提出一种图像处理方法,该图像处理方法可以由上述所提及的图像处理系统中的任一图像处理设备执行。请参见图2,该图像处理方法可包括以下步骤S201-S204:
S201,获取目标图像帧的第一图像数据。
在本发明实施例中,目标图像帧可以是具有属性值的任一图像帧。由于一帧图像通常是由一个或多个图像通道组成的,因此可以对目标图像帧进行图像通道分离,从而获取到目标图像帧的第一图像数据。此处的第一图像数据可包括目标图像帧的各像素在目标颜色通道下的第一颜色值,以及各像素在属性通道下的第一属性值。其中,目标颜色通道可以包括RGB通道或者YUV通道,任一像素的第一颜色值可包括:该像素在目标颜色通道下的一个或多个颜色分量;例如,任一像素的第一颜色值可包括:该像素在R通道下的R分量、该像素在G通道下的G分量以及该像素在B通道下的B分量;又如,任一像素的第一颜色值可包括:该像素在Y通道下的Y分量、该像素在U通道下的U分量以及该像素在V通道下的V分量;此处的Y分量表示该像素的颜色明亮度、U分量表示该像素的颜色色度、V分量表示该像素的颜色浓度。属性通道可以包括阿尔法通道,阿尔法通道下的属性值可表示像素的透明度。需要说明的是,除非特别指明,后续均以第一颜色值包括Y分量、U分量以及V分量为例进行说明;当第一颜色值包括R分量、G分量以及B分量时,所对应的具体实施方式可以参见本发明实施例的相关描述。
S202,对各像素的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流;以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值。
在得到目标图像帧的第一图像数据后,可以对各像素的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流,以便于后续可以更好地将目标图像帧的属性值整合压缩至目标颜色通道中。此处的正向编码采样是指从各像素的第一颜色值中采样得到一个或多个第一颜色分量的过程;相应的,目标图像帧的颜色码流是指将通过正向编码采样所得到的一个或多个第一颜色分量进行排列所得到的数据流。
在一种具体实现中,正向编码采样可包括:按照预设采样格式所对应的采样规则,从各像素的第一颜色值中抽取得到一个或多个第一颜色分量的步骤;此具体实现中,可将抽取得到的一个或多个第一颜色分量进行排列所构成的数据流作为中间码流,并可将该中间码流作为颜色码流。其中,预设采样格式可以包括以下任一种:YUV444采样格式、YUV采样422格式或者YUV420采样格式,等等。所谓的YUV444采样格式是指:依次抽取各个像素的Y分量、U分量以及V分量的采样格式;YUV444采样格式所对应的采样规则为:每1个Y分量共用一组UV分量。例如图3a所示:设第一图像数据包括4个像素的第一颜色值,其分别为[Y0 U0V0][Y1 U1 V1][Y2 U2 V2][Y3 U3 V3],则按照YUV444采样格式抽取得到的第一颜色分量可以包括如下分量:Y0U0V0Y1U1V1Y2U2V2Y3U3V3;相应的,将这多个第一颜色分量进行排列所构成的中间码流可为:Y0U0V0Y1U1V1Y2U2V2Y3U3V3。所谓的YUV422采样格式是指:依次抽取各像素的Y分量,以及每间隔一个像素抽取一次U分量和V分量的采样格式;YUV422采样格式所对应的采样规则为:每2个Y分量共用一组UV分量。例如图3b所示:设第一图像数据包括4个像素的第一颜色值,其分别为[Y0 U0 V0][Y1 U1 V1][Y2 U2 V2][Y3 U3 V3],则按照YUV422采样格式抽取得到的第一颜色分量可包括如下分量:Y0U0Y1V1Y2U2Y3V3;相应的,将这多个第一颜色分量进行排列所构成的中间码流可为:Y0U0Y1V1Y2U2Y3V3。所谓的YUV420采样格式是指:依次抽取各像素的Y分量,以及每间隔一行并按照2:1的抽样频率抽取U分量和V分量的采样格式;YUV420采样格式所对应的采样规则为:每4个Y分量共用一组UV分量。例如图3c所示:设第一图像数据包括两行像素的第一颜色值,第一行像素的第一颜色值为:[Y0 U0 V0][Y1 U1 V1][Y2 U2 V2][Y3 U3 V3],第二行像素的第一颜色值为:[Y5 U5 V5][Y6 U6 V6][Y7 U7 V7][Y8 U8 V8],则按照YUV420采样格式抽取得到的第一行的第一颜色分量可包括如下分量:Y0U0Y1Y2U2Y3,按照YUV420采样格式抽取得到的第二行的第一颜色分量可包括如下分量:Y5V5Y6Y7V7Y8;相应的,中间码流可为:Y0U0Y1Y2U2Y3/Y5V5Y6Y7V7Y8,或者Y0Y1Y2Y3Y5Y6Y7Y8U0V5U2V7。
再一种具体实现中,正向编码采样还可进一步包括:对中间码流中的一个或多个第一颜色分量进行重复采样的步骤;此具体实现中,可将重复采样后的中间码流作为颜色码流。例如,中间码流为:Y1Y2Y3Y4Y5Y6Y7Y8U0V5U2V7,那么还可对中间码流中的Y1-Y8分量进行重复采样,得到重复采样后的中间码流为:Y12Y34Y56Y78UVUV;相应的,颜色码流可为:Y12Y34Y56Y78U0V5U2V7。
经实践证明,由于各像素的第一属性值所构成的值域可能和颜色码流所对应的值域不同;在此情况下,若直接将各像素的第一属性值整合压缩至目标图像帧的颜色码流中,则会导致数据溢出的情况;所谓的数据溢出是指某像素的第一属性值超出颜色码流所对应的值域。因此,为了避免数据溢出的情况,本发明实施例还可对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值,使得各像素的第二属性值位于颜色码流所对应的值域内。
S203,将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流。
S204,对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据。
在步骤S203-S204中,在得到各像素的第二属性值以及目标图像帧的颜色码流后,可以将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,从而得到整合的颜色码流。并在得到整合的颜色码流之后,还可对整合的颜色码流进行反向编码采样,从而得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值。
本发明实施例针对具有属性值的目标图像帧,可以先对目标图像帧的第一图像数据中的各像素在目标颜色通道下的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流。以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值;通过对第一属性值进行值域编码转换,可有效避免后续进行整合压缩时出现数据溢出的问题。然后,可将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流;并对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值;通过将各像素的第一属性值整合压缩到目标颜色通道中,可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
请参见图4,是本发明实施例提出的另一种图像处理方法的流程示意图。该图像处理方法可以由上述所提及的图像处理系统中的任一图像处理设备执行。请参见图4,该图像处理方法可包括以下步骤S401-S411:
S401,获取待编码的目标图像帧。
S402,对目标图像帧进行图像通道分离,得到目标图像帧的初始图像数据。
此处的初始图像数据可包括各像素在RGB通道下的RGB值,以及各像素在属性通道下的第一属性值。在步骤S402的具体实施过程中,图像处理设备可先对目标图像帧进行图像通道分离,得到目标图像帧的原始图像数据;该原始图像数据包括各像素在RGB通道下的原始颜色值、以及各像素在属性通道下的第一属性值。在一种实施方式中,图像处理设备可以直接将该原始图像数据作为目标图像帧的初始图像数据。即在此实施方式下,目标图像帧的初始图像数据所包括的各像素的RGB值与各像素的原始颜色值相同。再一种实施方式中,图像处理设备还可对原始图像数据中的各像素的原始颜色值进行预处理,得到各像素的RGB值;此处的预处理可包括值域转换处理(即数值缩放处理)、数据规范化处理,等等。然后,采用各像素的RGB值和原始图像数据中的各像素的第一属性值构成目标图像帧的初始图像数据。即在此实施方式下,目标图像帧的初始图像数据所包括的各像素的RGB值是指对各像素的原始颜色值进行预处理后的颜色值;通过对各像素的原始颜色值进行预处理,可以使得各像素的RGB值更加规范,以便于后续的数据处理。
S403,将各像素的RGB值从RGB通道转换至YUV通道,得到各像素在YUV通道下的第一颜色值。
在具体实施过程中,针对目标图像帧中的任一像素,均可采用下述式1.1-1.3所示的式子,将该任一像素的RGB值从RGB通道转换至YUV通道,从而得到该任一像素在YUV通道下的第一颜色值。其中,任一像素在YUV通道下的第一颜色值可包括:该像素在Y通道下的Y分量、U通道下的U分量以及V通道下的V分量。
Y=0.299R+0.587G+0.114B 式1.1
V=0.500R-0.419G-0.081B+128 式1.2
U=-0.169R-0.331G+0.500B+128 式1.3
S404,将各像素在YUV通道下的第一颜色值和各像素在属性通道下的第一属性值,添加至目标图像帧的第一图像数据。
S405,对各像素的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流。
由前述可知,正向编码采样可包括:按照预设采样格式所对应的采样规则,从各像素的第一颜色值中抽取得到一个或多个第一颜色分量的步骤;以及对中间码流中的一个或多个第一颜色分量进行重复采样的步骤。相应的,步骤S405的具体实施方式可包括以下步骤s11-s13:
s11,按照第一采样规则对各像素的第一颜色值进行第一采样处理,得到目标图像帧的中间码流。
其中,该第一采样规则可指示:每n个的Y分量共用一组UV分量;n∈[1,s],s为目标图像帧所包括的像素的数量。当n等于1时,该第一采样规则便为上述所提及的YUV444采样格式所对应的采样规则;当n等于2时,该第一采样规则便为上述所提及的YUV422采样格式所对应的采样规则;当n等于4时,该第一采样规则便为上述所提及的YUV420采样格式所对应的采样规则,以此类推。为便于阐述,后续均以n等于4,即第一采样规则为YUV420采样格式所对应的采样规则为例进行说明。
相应的,对各像素的第一颜色值进行第一采样处理所得到的中间码流可包括多个Y分量以及至少一组UV分量,且多个Y分量和至少一组UV分量按照第一采样规则所对应的排列格式依次排列。例如,若第一采样规则为YUV420采样格式所对应的采样规则,则第一采样规则所对应的排列格式可以为YYYYYYYY UVUV的格式;那么,在得到多个Y分量和至少一组UV分量后,便可按照YYYYYYYY UVUV的格式对这多个Y分量和至少一组UV分量进行排列,从而得到中间码流。在得到中间码流之后,可以执行对中间码流中的一个或多个颜色分量进行重复采样的步骤,具体可参见下述步骤s12的相关描述。
s12,按照第二采样规则对中间码流中的多个Y分量进行第二采样处理,得到采样后的Y分量。
其中,第二采样规则指示:将多个Y分量依次划分成m个颜色组,并分别对各个颜色组中的Y分量进行均值计算;m∈[1,s]。相应的,步骤s12的具体实施方式可以是:先将中间码流中的多个Y分量依次划分成m个颜色组,每个颜色组中可包括至少一个Y分量;其次,分别对各个颜色组中的Y分量进行均值计算;然后,将均值计算得到的各个颜色组的值作为采样后的Y分量。
举例来说,设中间码流包括8个像素的Y分量:Y1-Y8,以及2组UV分量:U0V5和U2V7。若m等于4,则可将这8个Y分量依次划分成4个颜色组,可得到4个颜色组如下:(Y1,Y2)(Y3,Y4)(Y5,Y6)(Y7,Y8)。其次,可分别对这4个颜色组的Y分量进行均值计算,具体的计算公式可以参见式1.4所示:
Y(avg)=(Yi+Yj)/2 式1.4
其中,Yi和Yj分别表示任一颜色组中的两个不同的Y分量。采用上述式1.4对上述4个颜色组的Y分量进行均值计算,可得到采样后的Y分量包括:Y12(avg)、Y34(avg)、Y56(avg)以及Y78(avg)。
s13,采用采样后的Y分量和至少一组UV分量,构建得到目标图像帧的颜色码流。
在获取到采样后的Y分量和至少一组UV分量后,可以按照第一采样规则所对应的排列格式,对采样后的Y分量和至少一组UV分量进行依次排列,从而得到目标图像帧的颜色码流。例如,承接步骤s12所举的例子,采样后的Y分量包括:Y12(avg)、Y34(avg)、Y56(avg)以及Y78(avg);设第一采样规则所对应的排列格式为YYYYYYYY UVUV;那么,按照YYYYYYYYUVUV的格式对采样后的Y分量和上述2组UV分量进行排列,可得到颜色码流为:Y12(avg)Y34(avg)Y56(avg)Y78(avg)U0V5U2V7。
S406,对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值。
在具体实施过程中,可以先获取值域转换因子,该值域转换因子可包括缩放因子和偏移因子。其次,可采用缩放因子对参考像素的第一属性值进行缩放处理;此处的参考像素可以为目标图像帧中的任一像素。然后,可采用偏移因子对缩放处理后的第一属性值进行偏移处理,得到参考像素的第二属性值;具体可参见下述式1.5所示:
Y(alpha)=alpha/μ+θ 式1.5
其中,alpha表示像素的第一属性值,Y(alpha)表示像素的第二属性值;μ表示缩放因子,θ表示偏移因子;缩放因子μ和偏移因子θ的具体取值均可根据经验值或者实际业务需求设置,例如可将缩放因子μ设置为3,将偏移因子θ设置为80。
在采用上述式1.5计算得到各个像素的第二属性值之后,还可以基于各像素在目标图像帧中的位置依次排列各像素的第二属性值,即各像素的第二属性值基于各像素在目标图像帧中的位置进行排列。例如,像素a的第二属性值为50,且像素a在目标图像帧中的位置坐标为(1,1),那么可以将第二属性值“50”排列在第一行第一列;又如,像素b的第二属性值为65,且像素6在目标图像帧中的位置坐标为(1,2),那么可以将第二属性值“65”排列在第一行第二列。
S407,将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流。
在具体实施过程中,可以先将各像素的第二属性值依次划分成m个属性组;分别对各个属性组中的第二属性值进行均值计算,得到各个属性组所对应的均值属性值;按照第一采样规则所对应的排列顺序,将各个属性组所对应的均值属性值、采样后的Y分量和至少一组UV分量进行排列,得到整合的颜色码流。
举例来说,承接步骤s13所举的例子;并设总共有8个像素,各个像素的第二属性值分别为:Y1(alpha)-Y8(alpha);若m等于4,则可将这8个像素的第二属性值依次划分成4个属性组,可得到4个属性组如下:(Y1(alpha),Y2(alpha))(Y3(alpha),Y4(alpha))(Y5(alpha),Y6(alpha))(Y7(alpha),Y8(alpha));分别对这4个属性组中的第二属性值进行均值计算,可得到这4个属性组所对应的均值属性值分别为:Y12(alpha)、Y34(alpha)、Y56(alpha)以及Y78(alpha)。那么,按照第一采样规则所对应的排列格式对各个属性组所对应的均值属性值、采样后的Y分量和至少一组UV分量进行排列,可得到整合的颜色码流为:Y12(avg)Y12(alpha)Y34(avg)Y34(alpha)Y56(avg)Y56(alpha)Y78(avg)Y78(alpha)U0V5U2V7。
S408,对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据。
此处的反向编码采样是指根据预设采样格式所对应的采样规则,从整合的颜色码流中反向映射出各像素在目标颜色通道(YUV通道)下的第二颜色值的过程;相应的,步骤S408的具体实施方式可以是:先根据预设采样格式所对应的采样规则,从整合的颜色码流中反向映射出各像素在YUV通道下的第二颜色值;然后,将各像素在YUV通道下的第二颜色值添加至目标图像帧的第二图像数据中;即第二图像数据包括各像素在目标颜色通道下的第二颜色值。举例来说,设预设采样格式所对应的采样规则为:每4个Y分量共用一组UV分量,整合的颜色码流为Y12(avg)Y12(alpha)Y34(avg)Y34(alpha)Y56(avg)Y56(alpha)Y78(avg)Y78(alpha)U0V5U2V7;那么反向映射出的各像素在YUV通道下的第二颜色值可以依次为:[Y12(avg)U0V5][Y12(alpha)U0V5][Y34(avg)U2V7][Y34(alpha)U2V7][Y56(avg)U0V5][Y56(alpha)U0V5][Y78(avg)U2V7][Y78(alpha)U2V7]。
S409,将各像素在YUV通道下的第二颜色值从YUV通道转换至RGB通道,得到各像素在RGB通道下的目标颜色值。
在具体实施过程中,针对目标图像帧中的任一像素,均可采用下述式1.6-1.8所示的式子,将该任一像素的第二颜色值从YUV通道转换至RGB通道,从而得到该任一像素在RGB通道下的目标颜色值。其中,任一像素在RGB通道下的目标颜色值可包括:该像素在R通道下的目标R分量、G通道下的目标G分量以及B通道下的目标B分量。
R=Y+1.403×(V-128) 式1.6
G=Y-0.343×(U-128)-0.714×(V-128) 式1.7
B=Y+1.770×(U-128) 式1.8
S410,根据各像素在RGB通道下的目标颜色值,得到目标图像帧的目标图像数据,目标图像帧的目标图像数据包括各像素在RGB通道下的目标颜色值。
S411,将目标图像帧的图像标识和目标图像数据进行关联存储。
本发明实施例针对具有属性值的目标图像帧,可以先对目标图像帧的第一图像数据中的各像素在目标颜色通道下的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流。以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值;通过对第一属性值进行值域编码转换,可有效避免后续进行整合压缩时出现数据溢出的问题。然后,可将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流;并对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值;通过将各像素的第一属性值整合压缩到目标颜色通道中,可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
基于上述的描述,本发明实施例还提出了另一种图像处理方法;该图像处理方法可以由上述所提及的图像处理系统中的任一图像处理设备执行。请参见图5,该图像处理方法可包括以下步骤S501-S506:
S501,获取目标图像帧的第二图像数据。
其中,第二图像数据包括目标图像帧的各像素在目标颜色通道下的第二颜色值;此处的目标颜色通道可以包括YUV颜色空间下的Y通道、U通道以及V通道。若在编码过程中,是将目标图像帧的图像标识和第二图像数据进行关联存储的,则步骤S501的具体实施方式可以是:直接根据目标图像帧的图像标识获取第二图像数据。若在编码过程中,是将目标图像帧的图像标识和目标图像帧的目标图像数据进行关联存储的,目标图像数据包括目标图像帧的各像素在RGB通道下的目标颜色值,则步骤S501的具体实施方式可以是:首先,根据目标图像帧的图像标识获取目标图像数据。其次,可将目标图像数据中包括的各像素在RGB通道下的目标颜色值从RGB通道转换至YUV通道,得到各像素在YUV通道下的第二颜色值;具体转换方式可以参见上述发明实施例所提及的式1.1-1.3,在此不再赘述。然后,可将各像素在YUV通道下的第二颜色值添加至目标图像帧的第二图像数据中。
S502,对各像素的第二颜色值进行正向解码采样,得到整合的颜色码流。
步骤S502的具体原理和上述发明实施例所提及的步骤S408的原理相反,此处的正向解码采样是指从各像素的第二颜色值中采样得到一个或多个第二颜色分量的过程;相应的,整合的颜色码流是指将通过正向解码采样所得到的一个或多个第二颜色分量进行排列所得到的数据流。在具体实施过程中,可以按照预设采样格式所对应的采样规则对各像素的第二颜色值进行采样处理,得到整合的颜色码流。例如,设预设采样格式所对应的采样规则为:每4个Y分量共用一组UV分量,各像素在YUV通道下的第二颜色值依次为:[Y12(avg)U0V5][Y12(alpha)U0 V5][Y34(avg)U2 V7][Y34(alpha)U2 V7][Y56(avg)U0 V5][Y56(alpha)U0V5][Y78(avg)U2 V7][Y78(alpha)U2 V7],那么按照该采样规则对各像素的第二颜色值进行采样处理,可得到整合的颜色码流为:Y12(avg)Y12(alpha)Y34(avg)Y34(alpha)Y56(avg)Y56(alpha)Y78(avg)Y78(alpha)U0V5 U2V7。需要说明的是,为保证正向解码采样所得到的整合的颜色码流的准确性,本发明实施例在进行正向解码采样时所使用的预设采样格式和前述实施例进行反向编码采样所使用的预设采样格式是相同的;也就是说,本发明实施例在进行正向解码采样时所使用的采样规则和前述实施例进行反向编码采样所使用的采样规则是相同的。
S503,从整合的颜色码流中提取出目标图像帧的颜色码流,以及各像素在属性通道下的第二属性值。
步骤S503的具体原理和上述发明实施例所提及的步骤S407的原理相反;由上述步骤S407可知,整合的颜色码流是对各个属性组所对应的均值属性值、采样后的Y分量和至少一组UV分量进行排列而得到的。因此在步骤S503的具体实施过程中,可以先从整合的颜色码流中提取出各个属性组所对应的均值属性值、采样后的Y分量和至少一组UV分量。其次,可以按照第一采样规则所对应的排列格式,对采样后的Y分量和至少一组UV分量进行依次排列,得到目标图像帧的颜色码流。由于各个属性组所对应的均值属性值是通过对该属性组中的第二属性值进行均值计算得到的,因此可以根据各个属性组的均值属性值反推出各个像素在属性通道下的第二属性值;此处的属性通道可包括阿尔法通道,该阿尔法通道下的属性值表示像素的透明度。
下面以目标属性组为例,对如何根据各个属性组的均值属性值反推出各个像素在属性通道下的第二属性值的具体原理进行阐述:由于在步骤S407中是将各像素的第二属性值依次划分成m个属性组的,因此任一属性组中的各个像素均是相邻的像素;而经研究表明,相邻像素之间的属性值的差异是非常小的;因此本发明实施例在根据目标属性组的均值属性值反推该目标属性组中的各个像素的第二属性值时,可默认该目标属性组中的各个像素的第二属性值是相同的;那么可以将该目标属性组所对应的均值属性值均作为该目标属性组中的各个像素的第二属性值。例如,目标属性组的均值属性值为50,目标属性组包括像素a的第二属性值和像素b的第二属性值,那么可以根据该均值属性值反推出像素a的第二属性值和像素b的第二属性值均为50。
举例来说,设整合的颜色码流为:Y12(avg)Y12(alpha)Y34(avg)Y34(alpha)Y56(avg)Y56(alpha)Y78(avg)Y78(alpha)U0V5U2V7,那么可以提取出各个属性组所对应的均值属性值包括:Y12(alpha)Y34(alpha)Y56(alpha)Y78(alpha);采样后的Y分量包括:Y12(avg)Y34(avg)Y56(avg)Y78(avg);至少一组UV分量包括:U0V5 U2V7。那么排列采样后的Y分量和至少一组UV分量,可得到目标图像帧的颜色码流为:Y12(avg)Y34(avg)Y56(avg)Y78(avg)U0V5 U2V7。根据各属性组所对应的均值属性值反推出各像素在属性通道下的第二属性值为:Y12(alpha)Y12(alpha)Y34(alpha)Y34(alpha)Y56(alpha)Y56(alpha)Y78(alpha)Y78(alpha)。
S504,对目标图像帧的颜色码流进行反向解码采样,得到各像素在目标颜色通道下的第一颜色值。
任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示像所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。步骤S504的具体原理和上述发明实施例所提及的步骤S202或者步骤S405所提及的正向编码采样的原理相反;下面以步骤S405所示的正向编码采样的过程为例,对步骤S504的具体原理进行阐述:由步骤S405可知,对各像素的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流包括:s11,按照第一采样规则对各像素的第一颜色值进行第一采样处理,得到目标图像帧的中间码流;s12,按照第二采样规则对中间码流中的多个Y分量进行第二采样处理,得到采样后的Y分量;s13,采用采样后的Y分量和至少一组UV分量,构建得到目标图像帧的颜色码流。那么,步骤S504的具体实施方式可以包括以下步骤s21-s23:
s21,从颜色码流中提取出采样后的Y分量和至少一组UV分量。
s22,对采样后的Y分量进行第二反向采样,得到多个Y分量;并采用多个Y分量和至少一组UV分量构建得到中间码流。
由前述步骤s12可知,采样后的Y分量是通过对各个颜色组中的Y分量进行均值计算而得到的;由于在步骤s12中是将多个Y分量依次划分成m个颜色组的,因此任一颜色组中的各个像素均是相邻的像素;而经研究表明,相邻像素之间的Y分量的差异是非常小的;因此本发明实施例在对采样后的Y分量进行第二反向采样,得到多个Y分量时,可默认该同一颜色组中的各个像素的Y分量是相同的;那么可以将该任一颜色组所对应的采样后的Y分量均作为该颜色组中的各个像素的Y分量。例如,设某颜色组的采样后的Y分量为70,该颜色组包括像素a的Y分量和像素b的Y分量,那么可以对该采样后的Y分量进行第二反向采样,得到像素a的Y分量和像素b的Y分量均为70。在得到多个Y分量之后,可以对多个Y分量和至少一组UV分量进行排列,得到中间码流。
s23,对中间码流进行第一反向采样,得到各像素的第一颜色值。
此处的第一反向采样是指:根据第一采样规则,从中间码流中反向映射出各像素在目标颜色通道(YUV通道)下的第一颜色值的过程;相应的,步骤s23的具体实施方式可以是:根据第一采样规则,从中间码流中反向映射出各像素在YUV通道下的第一颜色值。举例来说,设第一采样规则为:每4个Y分量共用一组UV分量,中间码流为Y12(avg)Y12(avg)Y34(avg)Y34(avg)Y56(avg)Y56(avg)Y78(avg)Y78(avg)U0V5 U2V7;那么反向映射出的各像素在YUV通道下的第一颜色值可以依次为:[Y12(avg)U0 V5][Y12(avg)U0 V5][Y34(avg)U2 V7][Y34(avg)U2V7][Y56(avg)U0 V5][Y56(avg)U0 V5][Y78(avg)U2 V7][Y78(avg)U2 V7]。
S505,对各像素的第二属性值进行值域解码转换,得到各像素在属性通道下的第一属性值。
步骤S505的具体原理和上述发明实施例所提及的步骤S406的原理相反;具体的,步骤S505可采用下述公式1.9对各像素的第二属性值进行值域解码转换,得到各像素在属性通道下的第一属性值。
alpha=(Y(alpha)-θ)×μ 式1.9
其中,alpha表示像素的第一属性值,Y(alpha)表示像素的第二属性值;μ表示缩放因子,θ表示偏移因子;缩放因子μ和偏移因子θ的具体取值均可根据经验值或者实际业务需求设置,例如可将缩放因子μ设置为3,将偏移因子θ设置为80。
S506,将各像素在目标颜色通道下的第一颜色值,以及各像素在属性通道下的第一属性值,添加至目标图像帧的第一图像数据。
在得到目标图像帧的第一图像数据后,还可以根据该第一图像数据渲染显示目标图像帧。具体的,可以先将各像素的第一颜色值从YUV通道转换至RGB通道,得到各像素在所述RGB通道下的RGB值;其次,可以调用渲染引擎对各像素在RGB通道下的RGB值和各像素在属性通道下的第一属性值进行渲染,得到目标图像帧;然后,显示目标图像帧。其中,调用渲染引擎对各像素在RGB通道下的RGB值和各像素在属性通道下的第一属性值进行渲染,得到目标图像帧的具体实施方式可以是:先调用渲染引擎对各像素在RGB通道下的RGB值进行渲染,得到中间图像帧;然后采用各像素在属性通道下的第一属性值,对中间图像帧中的各像素的透明度进行调整,得到目标图像帧。或者,调用渲染引擎对各像素在RGB通道下的RGB值和各像素在属性通道下的第一属性值进行渲染,得到目标图像帧的具体实施方式还可以是:调用渲染引擎同步对各像素在RGB通道下的RGB值和各像素在属性通道下的第一属性值进行渲染,得到目标图像帧。
需要说明的是,若在编码过程中,若对目标图像帧中的各个像素的原始颜色值进行了预处理的步骤,则各像素的RGB值和原始颜色值是不相同的。在此情况下,本发明实施例在得到了各像素的RGB值以后,还可以对各像素的RGB值进行回归处理,得到各像素的原始颜色值。然后,调用渲染引擎对各像素的原始颜色值和各像素的第一属性值进行渲染,得到目标图像帧。
本发明实施例针对目标图像帧的第二图像数据,第二图像数据包括目标图像帧的各像素在目标颜色通道下的第二颜色值;可先对各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;再从整合的颜色码流中提取出目标图像帧的颜色码流,以及各像素在属性通道下的第二属性值。其次,对目标图像帧的颜色码流进行反向解码采样,得到各像素在目标颜色通道下的第一颜色值;以及对各像素的第二属性值进行值域解码转换,得到各像素在属性通道下的第一属性值。然后,将各像素在目标颜色通道下的第一颜色值,以及各像素在属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。由此可见,目标图像帧的各像素的第一属性值是整合压缩到目标颜色通道中的,这样可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
在实际应用中,本发明实施例可以将上述的图像处理方法运用在不同的应用场景中。例如,在即时通讯应用(如腾讯QQ、微信)的会话界面中,播放显示携带透明效果的表情图像;此处的表情图像可以是静态表情图像或动态表情图像,所谓的动态表情图像(又可称为带有透明度的透明视频)是指由多帧静态表情图像按照预设频率进行切换显示所构成的表情图像。又如,在常规的动画场景中显示携带透明效果的动效图像;如信息分享平台(如腾讯QQ空间)中的动态封面、个性赞和被动赞的透明效果展示。再如,在视频应用播放视频的过程中,播放显示携带透明效果的广告图像。再如,在H5页面(第5代html标准规范页面)中显示携带透明效果的图像,等等。下面以将上述的图像处理方法运用会话界面显示表情图像的应用场景中为例,对该图像处理方法的具体应用过程进行阐述;在该应用场景中,图像处理设备包括服务器和终端;服务器用于执行编码流程,终端用于执行解码流程:
(一)透明视频的编码流程:
即时通讯应用的后台管理人员可以上传至少一个透明视频至应用服务器,如图6a所示。应用服务器在接收到透明视频之后,可以分别对透明视频中的各帧图像进行编码,具体可参见图6b所示:
首先,应用服务器可以从透明视频中选取任一图像帧作为目标图像帧,对目标图像帧进行图像通道分离(如RGBA通道分离,A表示阿尔法通道),得到目标图像帧中的各像素在RGB通道下的原始颜色值,以及各像素在阿尔法通道下的第一属性值;并对目标图像帧中的各像素在RGB通道下的原始颜色值进行预处理,得到目标图像帧中的各个像素的RGB值。其次,可以对目标图像帧中的各像素的RGB值进行YUV转换;即将该目标图像帧中的各像素的RGB值从RGB通道转换成YUV通道,得到各像素的YUV值。接着可以按照YUV420采样格式所对应的采样规则对各像素的YUV值进行第一采样处理,得到目标图像帧的中间码流,中间码流的排列格式为YYYYYYYY UVUV;然后对中间码流中的Y分量进行重复采样,得到目标图像帧的颜色码流,例如该颜色码流可以为:Y12(avg)Y34(avg)Y56(avg)Y78(avg)UVUV。
在得到颜色码流之后,可以通过算法将阿尔法通道下的属性值整合压缩到YUV通道数据(即颜色码流)中,从而得到整合的颜色码流。具体的整合压缩过程如下:先对各像素在阿尔法通道下的第一属性值进行值域编码转换,得到各像素的第二属性值;然后将各像素的第二属性值整合压缩至图像帧的颜色码流中,得到整合的颜色码流;例如该整合的颜色码流可以为:Y12(avg)Y12(alpha)Y34(avg)Y34(alpha)Y56(avg)Y56(alpha)Y78(avg)Y78(alpha)UVUV。在得到整合的颜色码流之后,可以对整合的颜色码流进行反向编码采样,得到目标图像帧中的各像素的编码后的YUV值(即各像素的第二颜色值)。然后,可以对各像素的编码后的YUV值进行RGB转换;即将各像素的编码后的YUV值从YUV通道转换成RGB通道,得到各像素的目标RGB值,从而得到目标图像帧的目标图像数据。
基于上述步骤,可以应用服务器可以编码得到透明视频的各个图像帧的目标图像数据。然后,可以利用工具命令(如ffmpeg命令)对各个图像帧的目标图像数据进行组合,得到透明视频的编码后的视频数据。应用服务器可以将该编码后的视频数据和透明视频的视频标识进行关联存储。
(二)透明视频的解码流程:
在用户A和用户B的会话过程中,用户A若想要向用户B发送透明视频,则可以在用户A和用户B之间的会话窗口中,选择该透明视频,如图6c所示。相应的,用户A所使用的终端A可向应用服务器发送一个消息请求,该消息请求携带透明视频的视频标识以及用户B的用户标识。应用服务器在接收到该消息请求后,可以根据该视频标识获取相应的编码后的视频数据,并将该编码后的视频数据发送至用户B所使用的终端B。终端B接收到该编码后的视频数据后,便可对该编码后的视频数据进行解码,从而播放显示该视频数据,具体的解码过程可一并参见图6d所示:
首先,终端B可以解析该编码后的视频数据,得到透明视频的各个图像帧的目标图像数据。接着,可从各个图像帧中选取任一图像帧作为目标图像帧,对该目标图像帧的目标图像数据进行RGB通道分离,得到目标图像帧中的各像素的目标RGB值;并对各像素的目标RGB值进行YUV转换,即将该各像素的目标RGB值从RGB通道转换成YUV通道,得到各像素的编码后的YUV值(即各像素的第二颜色值)。其次,从各像素的编码后的YUV值中提取出各像素的第一属性值和第一颜色值,具体提取过程可以参见上述步骤S502-S505,在此不再赘述。然后,对各像素的第一颜色值进行RGB转换,即将各像素的第一颜色值从YUV通道转换至RGB通道,得到各像素的RGB值;并对各像素的RGB值进行回归处理,得到各像素的原始颜色值。基于上述步骤,终端B可得到透明视频的各个图像帧中的各像素的原始颜色值和第一属性值;最后,终端B可依次对各图像帧中的各像素的原始颜色值和第一属性值进行渲染,从而在会话窗口中依次显示各图像帧,实现透明视频的播放,如图6e所示。需要说明的是,由于透明视频中的各帧图像均具有透明度,因此,在播放透明视频的过程中,依然可以显示会话窗口底部的内容(如会话消息),即用户B仍然可以看见会话窗口中的会话消息。如图6e所示,在播放“晚安”透明视频的视频效果时,并不会遮挡底部聊天会话的信息内容。
为了可以进一步证明上述所提及的图像处理方法的有益效果,本发明实施例还在智能手机上进行了测试;其具体的测试方法如下:分别采用上述的图像处理方法和现有技术(即分别采用不同的图像通道存储属性值和颜色值),对同一透明视频(如720×1080px的视频)进行编解码,从而在同一智能手机播放显示该透明视频。并在透明视频的播放显示之前以及播放显示的过程中,监测智能手机的内存占用情况。测试结果可参见表1所示:
表1
现有技术 上述的图像处理方法
内存(MB) 59 41.5
对比上述测试结果可知,本发明实施例所提出的图像处理方法相对于现有技术而言,可以减少接近30%的内存大小。由此可见,本发明实施例所提出的图像处理方法可有效节省占用内存,从而提高设备性能。
基于上述图像处理方法实施例的描述,本发明实施例还公开了一种图像处理装置,所述图像处理装置可以是运行于图像处理设备中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图2或图4所示的方法。请参见图7,所述图像处理装置可以运行如下单元:
编码获取单元101,用于获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
编码采样单元102,用于对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
编码处理单元103,用于将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
所述编码采样单元102,用于对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
在一种实施方式中,所述属性通道包括阿尔法通道,所述阿尔法通道下的属性值表示像素的透明度;
所述目标颜色通道包括YUV颜色空间下的Y通道、U通道以及V通道,任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。
再一种实施方式中,所述各像素的第一颜色值基于所述各像素在所述目标图像帧中的位置进行排列;相应的,编码采样单元102在用于对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流时,具体用于:
按照第一采样规则对所述各像素的第一颜色值进行第一采样处理,得到所述目标图像帧的中间码流;所述第一采样规则指示:每n个的Y分量共用一组UV分量;所述中间码流包括多个Y分量以及至少一组UV分量,且所述多个Y分量和所述至少一组UV分量按照所述第一采样规则所对应的排列格式依次排列;n∈[1,s],s为所述目标图像帧所包括的像素的数量;
按照第二采样规则对所述中间码流中的多个Y分量进行第二采样处理,得到采样后的Y分量;所述第二采样规则指示:将所述多个Y分量依次划分成m个颜色组,并分别对各个颜色组中的Y分量进行均值计算;m∈[1,s];
采用所述采样后的Y分量和所述至少一组UV分量,构建得到所述目标图像帧的颜色码流。
再一种实施方式中,所述各像素的第二属性值基于所述各像素在所述目标图像帧中的位置进行排列;相应的,编码处理单元103在用于将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流时,具体用于:
将所述各像素的第二属性值依次划分成m个属性组;
分别对各个属性组中的第二属性值进行均值计算,得到各个属性组所对应的均值属性值;
按照所述第一采样规则所对应的排列格式,将所述各个属性组所对应的均值属性值、所述采样后的Y分量和所述至少一组UV分量进行排列,得到整合的颜色码流。
再一种实施方式中,编码采样单元102在用于对所述各像素的属性值进行值域编码转换,得到所述各像素的第二属性值时,具体用于:
获取值域转换因子,所述值域转换因子包括缩放因子和偏移因子;
采用所述缩放因子对所述参考像素的第一属性值进行缩放处理,所述参考像素为所述目标图像帧中的任一像素;
采用所述偏移因子对缩放处理后的第一属性值进行偏移处理,得到所述参考像素的第二属性值。
再一种实施方式中,编码获取单元101在用于获取目标图像帧的第一图像数据时,具体用于:
获取待编码的目标图像帧;
对所述目标图像帧进行图像通道分离,得到所述目标图像帧的初始图像数据,所述初始图像数据包括各像素在RGB通道下的RGB值,以及所述各像素在属性通道下的第一属性值;
将所述各像素的RGB值从RGB通道转换至YUV通道,得到所述各像素在所述YUV通道下的第一颜色值;
将所述各像素在所述YUV通道下的第一颜色值和所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
再一种实施方式中,编码处理单元103还可用于:
将所述各像素在所述YUV通道下的第二颜色值从所述YUV通道转换至所述RGB通道,得到所述各像素在所述RGB通道下的目标颜色值;
根据所述各像素在所述RGB通道下的目标颜色值,得到所述目标图像帧的目标图像数据;
将所述目标图像帧的图像标识和所述目标图像数据进行关联存储。
根据本发明的一个实施例,图2或图4所示的方法所涉及的各个步骤均可以是由图7所示的图像处理装置中的各个单元来执行的。例如,图2中所示的步骤S201和S203可以分别由图7中所示的编码获取单元101和编码处理单元103来执行,步骤S202和S204可由图7中所示的编码采样单元102来执行;又如,图4中所示的步骤S401-S404可由图7中所示的编码获取单元101来执行,步骤S405-S406和S408可由图7中所示的编码采样单元102来执行,步骤S407和步骤S409-S411可由图7中所示的编码处理单元103来执行。
根据本发明的另一个实施例,图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图7中所示的图像处理装置设备,以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本发明实施例针对具有属性值的目标图像帧,可以先对目标图像帧的第一图像数据中的各像素在目标颜色通道下的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流。以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值;通过对第一属性值进行值域编码转换,可有效避免后续进行整合压缩时出现数据溢出的问题。然后,可将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流;并对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值;通过将各像素的第一属性值整合压缩到目标颜色通道中,可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
基于上述图像处理方法实施例的描述,本发明实施例还公开了一种图像处理装置,所述图像处理装置可以是运行于图像处理设备中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图5所示的方法。请参见图8,所述图像处理装置可以运行如下单元:
解码获取单元201,用于获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
解码采样单元202,用于对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
解码处理单元203,用于从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
所述解码采样单元202,用于对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
所述解码处理单元203,用于将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
在一种实施方式中,所述属性通道包括阿尔法通道,所述阿尔法通道下的属性值表示像素的透明度;
所述目标颜色通道包括YUV颜色空间下的Y通道、U通道以及V通道,任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示像所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。
再一种实施方式中,解码处理单元203还可用于:
将所述各像素的第一颜色值从所述YUV通道转换至RGB通道,得到所述各像素在所述RGB通道下的RGB值;
调用渲染引擎对所述各像素在所述RGB通道下的RGB值和所述各像素在所述属性通道下的第一属性值进行渲染,得到目标图像帧;
显示所述目标图像帧。
再一种实施方式中,解码处理单元203在用于调用渲染引擎对所述各像素在所述RGB通道下的RGB值和所述各像素在所述属性通道下的第一属性值进行渲染,得到目标图像帧时,具体用于:
调用渲染引擎对所述各像素在所述RGB通道下的RGB值进行渲染,得到中间图像帧;
采用所述各像素在所述属性通道下的第一属性值,对所述中间图像帧中的所述各像素的透明度进行调整,得到目标图像帧。
根据本发明的一个实施例,图5所示的方法所涉及的各个步骤均可以是由图8所示的图像处理装置中的各个单元来执行的。例如,图5中所示的步骤S501可由图8中所示的解码获取单元201来执行,步骤S502和S504-S505可由图8中所示的解码采样单元102来执行,步骤S503和S506可由图8中所示的解码处理单元103来执行。
根据本发明的另一个实施例,图8所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的图像处理装置设备,以及来实现本发明实施例的图像处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本发明实施例针对目标图像帧的第二图像数据,第二图像数据包括目标图像帧的各像素在目标颜色通道下的第二颜色值;可先对各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;再从整合的颜色码流中提取出目标图像帧的颜色码流,以及各像素在属性通道下的第二属性值。其次,对目标图像帧的颜色码流进行反向解码采样,得到各像素在目标颜色通道下的第一颜色值;以及对各像素的第二属性值进行值域解码转换,得到各像素在属性通道下的第一属性值。然后,将各像素在目标颜色通道下的第一颜色值,以及各像素在属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。由此可见,目标图像帧的各像素的第一属性值是整合压缩到目标颜色通道中的,这样可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种图像处理设备。请参见图9,该图像处理设备至少包括处理器201、输入接口202、输出接口203以及计算机存储介质204。其中,处理器201、输入接口202、输出接口203以及计算机存储介质204可通过总线或其他方式连接。
计算机存储介质204可以存储在图像处理设备的存储器中,所述计算机存储介质204用于存储计算机程序,所述计算机程序包括程序指令,所述处理器201用于执行所述计算机存储介质204存储的程序指令。处理器201(或称CPU(Central Processing Unit,中央处理器))是图像处理设备的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,本发明实施例所述的处理器201可以用于进行一系列的图像编码处理,包括:获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值,等等。
再一个实施例中,本发明实施例所述的处理器201可以用于进行一系列的图像解码处理,包括:获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据,等等。
本发明实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是图像处理设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括图像处理设备中的内置存储介质,当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了图像处理设备的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器加载并执行计算机存储介质中存放的一条或多条第一指令,以实现上述有关图2或图4所示的实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第一指令由处理器加载并执行如下步骤:
获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
在一种实施方式中,所述属性通道包括阿尔法通道,所述阿尔法通道下的属性值表示像素的透明度;
所述目标颜色通道包括YUV颜色空间下的Y通道、U通道以及V通道,任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。
再一种实施方式中,所述各像素的第一颜色值基于所述各像素在所述目标图像帧中的位置进行排列;相应的,在对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流时,所述一条或多条第一指令由处理器加载并具体执行:
按照第一采样规则对所述各像素的第一颜色值进行第一采样处理,得到所述目标图像帧的中间码流;所述第一采样规则指示:每n个的Y分量共用一组UV分量;所述中间码流包括多个Y分量以及至少一组UV分量,且所述多个Y分量和所述至少一组UV分量按照所述第一采样规则所对应的排列格式依次排列;n∈[1,s],s为所述目标图像帧所包括的像素的数量;
按照第二采样规则对所述中间码流中的多个Y分量进行第二采样处理,得到采样后的Y分量;所述第二采样规则指示:将所述多个Y分量依次划分成m个颜色组,并分别对各个颜色组中的Y分量进行均值计算;m∈[1,s];
采用所述采样后的Y分量和所述至少一组UV分量,构建得到所述目标图像帧的颜色码流。
再一种实施方式中,所述各像素的第二属性值基于所述各像素在所述目标图像帧中的位置进行排列;相应的,在将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流时,所述一条或多条第一指令由处理器加载并具体执行:
将所述各像素的第二属性值依次划分成m个属性组;
分别对各个属性组中的第二属性值进行均值计算,得到各个属性组所对应的均值属性值;
按照所述第一采样规则所对应的排列格式,将所述各个属性组所对应的均值属性值、所述采样后的Y分量和所述至少一组UV分量进行排列,得到整合的颜色码流。
再一种实施方式中,在对所述各像素的属性值进行值域编码转换,得到所述各像素的第二属性值时,所述一条或多条第一指令由处理器加载并具体执行:
获取值域转换因子,所述值域转换因子包括缩放因子和偏移因子;
采用所述缩放因子对所述参考像素的第一属性值进行缩放处理,所述参考像素为所述目标图像帧中的任一像素;
采用所述偏移因子对缩放处理后的第一属性值进行偏移处理,得到所述参考像素的第二属性值。
再一种实施方式中,在获取目标图像帧的第一图像数据时,所述一条或多条第一指令由处理器加载并具体执行:
获取待编码的目标图像帧;
对所述目标图像帧进行图像通道分离,得到所述目标图像帧的初始图像数据,所述初始图像数据包括各像素在RGB通道下的RGB值,以及所述各像素在属性通道下的第一属性值;
将所述各像素的RGB值从RGB通道转换至YUV通道,得到所述各像素在所述YUV通道下的第一颜色值;
将所述各像素在所述YUV通道下的第一颜色值和所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
再一种实施方式中,所述一条或多条第一指令还可由处理器加载并具体执行:
将所述各像素在所述YUV通道下的第二颜色值从所述YUV通道转换至所述RGB通道,得到所述各像素在所述RGB通道下的目标颜色值;
根据所述各像素在所述RGB通道下的目标颜色值,得到所述目标图像帧的目标图像数据;
将所述目标图像帧的图像标识和所述目标图像数据进行关联存储。
再一个实施例中,可由处理器加载并执行计算机存储介质中存放的一条或多条第二指令,以实现上述有关图5所示的实施例中的方法的相应步骤;在具体实现中,计算机存储介质中的一条或多条第二指令由处理器加载并执行如下步骤:
获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
在一种实施方式中,所述属性通道包括阿尔法通道,所述阿尔法通道下的属性值表示像素的透明度;
所述目标颜色通道包括YUV颜色空间下的Y通道、U通道以及V通道,任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示像所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。
再一种实施方式中,所述一条或多条第二指令还可由处理器加载并具体执行:
将所述各像素的第一颜色值从所述YUV通道转换至RGB通道,得到所述各像素在所述RGB通道下的RGB值;
调用渲染引擎对所述各像素在所述RGB通道下的RGB值和所述各像素在所述属性通道下的第一属性值进行渲染,得到目标图像帧;
显示所述目标图像帧。
再一种实施方式中,在调用渲染引擎对所述各像素在所述RGB通道下的RGB值和所述各像素在所述属性通道下的第一属性值进行渲染,得到目标图像帧时,所述一条或多条第二指令由处理器加载并具体执行:
调用渲染引擎对所述各像素在所述RGB通道下的RGB值进行渲染,得到中间图像帧;
采用所述各像素在所述属性通道下的第一属性值,对所述中间图像帧中的所述各像素的透明度进行调整,得到目标图像帧。
本发明实施例针对具有属性值的目标图像帧,可以先对目标图像帧的第一图像数据中的各像素在目标颜色通道下的第一颜色值进行正向编码采样,得到目标图像帧的颜色码流。以及对各像素的第一属性值进行值域编码转换,得到各像素的第二属性值;通过对第一属性值进行值域编码转换,可有效避免后续进行整合压缩时出现数据溢出的问题。然后,可将各像素的第二属性值整合压缩至目标图像帧的颜色码流中,得到整合的颜色码流;并对整合的颜色码流进行反向编码采样,得到目标图像帧的第二图像数据,第二图像数据包括各像素在目标颜色通道下的第二颜色值;通过将各像素的第一属性值整合压缩到目标颜色通道中,可实现只采用目标颜色通道来存储目标图像帧的属性值和颜色值(即第二图像数据),无需扩展使用额外的属性通道来单独存储目标图像帧的属性值,可有效节省占用内存,从而提高设备性能。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
2.如权利要求1所述的方法,其特征在于,所述属性通道包括阿尔法通道,所述阿尔法通道下的属性值表示像素的透明度;
所述目标颜色通道包括YUV颜色空间下的Y通道、U通道以及V通道,任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。
3.如权利要求2所述的方法,其特征在于,所述各像素的第一颜色值基于所述各像素在所述目标图像帧中的位置进行排列;所述对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流,包括:
按照第一采样规则对所述各像素的第一颜色值进行第一采样处理,得到所述目标图像帧的中间码流;所述第一采样规则指示:每n个的Y分量共用一组UV分量;所述中间码流包括多个Y分量以及至少一组UV分量,且所述多个Y分量和所述至少一组UV分量按照所述第一采样规则所对应的排列格式依次排列;n∈[1,s],s为所述目标图像帧所包括的像素的数量;
按照第二采样规则对所述中间码流中的多个Y分量进行第二采样处理,得到采样后的Y分量;所述第二采样规则指示:将所述多个Y分量依次划分成m个颜色组,并分别对各个颜色组中的Y分量进行均值计算;m∈[1,s];
采用所述采样后的Y分量和所述至少一组UV分量,构建得到所述目标图像帧的颜色码流。
4.如权利要求3所述的方法,其特征在于,所述各像素的第二属性值基于所述各像素在所述目标图像帧中的位置进行排列;所述将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流,包括:
将所述各像素的第二属性值依次划分成m个属性组;
分别对各个属性组中的第二属性值进行均值计算,得到各个属性组所对应的均值属性值;
按照所述第一采样规则所对应的排列格式,将所述各个属性组所对应的均值属性值、所述采样后的Y分量和所述至少一组UV分量进行排列,得到整合的颜色码流。
5.如权利要求2所述的方法,其特征在于,所述对所述各像素的属性值进行值域编码转换,得到所述各像素的第二属性值,包括:
获取值域转换因子,所述值域转换因子包括缩放因子和偏移因子;
采用所述缩放因子对所述参考像素的第一属性值进行缩放处理,所述参考像素为所述目标图像帧中的任一像素;
采用所述偏移因子对缩放处理后的第一属性值进行偏移处理,得到所述参考像素的第二属性值。
6.如权利要求2所述的方法,其特征在于,所述获取目标图像帧的第一图像数据,包括:
获取待编码的目标图像帧;
对所述目标图像帧进行图像通道分离,得到所述目标图像帧的初始图像数据,所述初始图像数据包括各像素在RGB通道下的RGB值,以及所述各像素在属性通道下的第一属性值;
将所述各像素的RGB值从RGB通道转换至YUV通道,得到所述各像素在所述YUV通道下的第一颜色值;
将所述各像素在所述YUV通道下的第一颜色值和所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
7.如权利要求6所述的方法,其特征在于,所述方法还包括:
将所述各像素在所述YUV通道下的第二颜色值从所述YUV通道转换至所述RGB通道,得到所述各像素在所述RGB通道下的目标颜色值;
根据所述各像素在所述RGB通道下的目标颜色值,得到所述目标图像帧的目标图像数据;
将所述目标图像帧的图像标识和所述目标图像数据进行关联存储。
8.一种图像处理方法,其特征在于,包括:
获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
9.如权利要求8所述的方法,其特征在于,所述属性通道包括阿尔法通道,所述阿尔法通道下的属性值表示像素的透明度;
所述目标颜色通道包括YUV颜色空间下的Y通道、U通道以及V通道,任一像素的第一颜色值包括:所述像素在所述Y通道下的Y分量、所述U通道下的U分量以及所述V通道下的V分量;其中,所述Y分量表示像所述像素的颜色明亮度、所述U分量表示所述像素的颜色色度、所述V分量表示所述像素的颜色浓度。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
将所述各像素的第一颜色值从所述YUV通道转换至RGB通道,得到所述各像素在所述RGB通道下的RGB值;
调用渲染引擎对所述各像素在所述RGB通道下的RGB值和所述各像素在所述属性通道下的第一属性值进行渲染,得到目标图像帧;
显示所述目标图像帧。
11.如权利要求10所述的方法,其特征在于,所述调用渲染引擎对所述各像素在所述RGB通道下的RGB值和所述各像素在所述属性通道下的第一属性值进行渲染,得到目标图像帧,包括:
调用渲染引擎对所述各像素在所述RGB通道下的RGB值进行渲染,得到中间图像帧;
采用所述各像素在所述属性通道下的第一属性值,对所述中间图像帧中的所述各像素的透明度进行调整,得到目标图像帧。
12.一种图像处理装置,其特征在于,包括:
编码获取单元,用于获取目标图像帧的第一图像数据,所述第一图像数据包括所述目标图像帧的各像素在目标颜色通道下的第一颜色值,以及所述各像素在属性通道下的第一属性值;
编码采样单元,用于对所述各像素的第一颜色值进行正向编码采样,得到所述目标图像帧的颜色码流;以及对所述各像素的第一属性值进行值域编码转换,得到所述各像素的第二属性值;
编码处理单元,用于将所述各像素的第二属性值整合压缩至所述目标图像帧的颜色码流中,得到整合的颜色码流;
所述编码采样单元,用于对所述整合的颜色码流进行反向编码采样,得到所述目标图像帧的第二图像数据,所述第二图像数据包括所述各像素在所述目标颜色通道下的第二颜色值。
13.一种图像处理装置,其特征在于,包括:
解码获取单元,用于获取目标图像帧的第二图像数据,所述第二图像数据包括所述目标图像帧的各像素在目标颜色通道下的第二颜色值;
解码采样单元,用于对所述各像素的第二颜色值进行正向解码采样,得到整合的颜色码流;
解码处理单元,用于从所述整合的颜色码流中提取出所述目标图像帧的颜色码流,以及所述各像素在属性通道下的第二属性值;
所述解码采样单元,用于对所述目标图像帧的颜色码流进行反向解码采样,得到所述各像素在所述目标颜色通道下的第一颜色值;以及对所述各像素的第二属性值进行值域解码转换,得到所述各像素在所述属性通道下的第一属性值;
所述解码处理单元,用于将所述各像素在所述目标颜色通道下的第一颜色值,以及所述各像素在所述属性通道下的第一属性值,添加至所述目标图像帧的第一图像数据。
14.一种图像处理设备,包括输入接口和输出接口,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-7任一项所述的图像处理方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如权利要求8-11任一项所述的图像处理方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-7任一项所述的图像处理方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如权利要求8-11任一项所述的图像处理方法。
CN201910971620.2A 2019-10-12 2019-10-12 图像处理方法、装置、设备及存储介质 Active CN112653905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910971620.2A CN112653905B (zh) 2019-10-12 2019-10-12 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910971620.2A CN112653905B (zh) 2019-10-12 2019-10-12 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112653905A true CN112653905A (zh) 2021-04-13
CN112653905B CN112653905B (zh) 2023-02-14

Family

ID=75343157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910971620.2A Active CN112653905B (zh) 2019-10-12 2019-10-12 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112653905B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205648A (zh) * 2021-12-07 2022-03-18 网易(杭州)网络有限公司 插帧方法及装置
CN114638348A (zh) * 2022-05-20 2022-06-17 福思(杭州)智能科技有限公司 网络模型调整方法、装置、感知设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237927A (ja) * 2008-03-27 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> 画像合成方法及び装置
CN102289829A (zh) * 2011-07-12 2011-12-21 北京朗玛数联科技有限公司 图像存储、还原的方法、装置及图像处理系统
CN105335949A (zh) * 2015-08-28 2016-02-17 中国科学院深圳先进技术研究院 一种视频图像去雨方法及系统
CN105611291A (zh) * 2015-12-31 2016-05-25 北京奇艺世纪科技有限公司 在视频帧中加入标记信息及检测丢帧的方法和装置
CN106327415A (zh) * 2016-08-24 2017-01-11 乐视控股(北京)有限公司 图像处理方法及装置
CN106375759A (zh) * 2016-08-31 2017-02-01 深圳超多维科技有限公司 一种视频图像数据的编、解码方法及装置
CN107071514A (zh) * 2017-04-08 2017-08-18 腾讯科技(深圳)有限公司 一种图片文件处理方法及智能终端
CN110113615A (zh) * 2018-02-01 2019-08-09 腾讯科技(深圳)有限公司 图像编码方法、解码方法、装置、计算设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237927A (ja) * 2008-03-27 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> 画像合成方法及び装置
CN102289829A (zh) * 2011-07-12 2011-12-21 北京朗玛数联科技有限公司 图像存储、还原的方法、装置及图像处理系统
CN105335949A (zh) * 2015-08-28 2016-02-17 中国科学院深圳先进技术研究院 一种视频图像去雨方法及系统
CN105611291A (zh) * 2015-12-31 2016-05-25 北京奇艺世纪科技有限公司 在视频帧中加入标记信息及检测丢帧的方法和装置
CN106327415A (zh) * 2016-08-24 2017-01-11 乐视控股(北京)有限公司 图像处理方法及装置
CN106375759A (zh) * 2016-08-31 2017-02-01 深圳超多维科技有限公司 一种视频图像数据的编、解码方法及装置
CN107071514A (zh) * 2017-04-08 2017-08-18 腾讯科技(深圳)有限公司 一种图片文件处理方法及智能终端
CN109348226A (zh) * 2017-04-08 2019-02-15 腾讯科技(深圳)有限公司 一种图片文件处理方法及智能终端
CN110113615A (zh) * 2018-02-01 2019-08-09 腾讯科技(深圳)有限公司 图像编码方法、解码方法、装置、计算设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205648A (zh) * 2021-12-07 2022-03-18 网易(杭州)网络有限公司 插帧方法及装置
CN114205648B (zh) * 2021-12-07 2024-06-04 网易(杭州)网络有限公司 插帧方法及装置
CN114638348A (zh) * 2022-05-20 2022-06-17 福思(杭州)智能科技有限公司 网络模型调整方法、装置、感知设备和存储介质

Also Published As

Publication number Publication date
CN112653905B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
CN107071514B (zh) 一种图片文件处理方法及智能终端
CN105959724B (zh) 一种视频数据处理方法以及装置
CN113041617B (zh) 一种游戏画面渲染方法、装置、设备及存储介质
GB2539241B (en) Video processing system
CN112653905B (zh) 图像处理方法、装置、设备及存储介质
CN107665128B (zh) 图像处理方法、系统、服务器及可读存储介质
CN107465939B (zh) 视频图像数据流的处理方法及装置
CN113096233B (zh) 图像处理方法、装置、电子设备及可读存储介质
EP2958328A1 (en) Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
DE102015001814A1 (de) Farbkomprimierung unter Verwendung einer selektiven Farbtransformation
US20140375666A1 (en) Compression and decompression of graphics data using pixel region bit values
AU2012209231A1 (en) Color conversion based on an hvs model
CN108471536B (zh) Alpha通道传输方法及装置、终端装置及存储介质
US20050196056A1 (en) Image coding and decoding method
EP2843954B1 (en) Lossy color compression using adaptive quantization
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
US20200359030A1 (en) Video compression for video games
CN114788280A (zh) 视频的编解码方法与装置
CN111064986B (zh) 带透明度的动画数据发送方法、播放方法和计算机设备
KR20160082521A (ko) 크로마 하향 변환 및 상향 변환 처리
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
CN114827620A (zh) 图像处理方法、装置、设备与介质
CN114782249A (zh) 一种图像的超分辨率重建方法、装置、设备以及存储介质
CN114217758A (zh) 图像显示方法、装置、电子设备及计算机可读存储介质
CN113223100A (zh) 一种图片的压缩、解压缩处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042047

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant