CN116112679A - 图像编解码方法、装置、电子设备和存储介质 - Google Patents

图像编解码方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116112679A
CN116112679A CN202310092183.3A CN202310092183A CN116112679A CN 116112679 A CN116112679 A CN 116112679A CN 202310092183 A CN202310092183 A CN 202310092183A CN 116112679 A CN116112679 A CN 116112679A
Authority
CN
China
Prior art keywords
data
channel data
color space
image
transparency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310092183.3A
Other languages
English (en)
Inventor
胡挺
陈松
龙明康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202310092183.3A priority Critical patent/CN116112679A/zh
Publication of CN116112679A publication Critical patent/CN116112679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像编解码方法、装置、电子设备和存储介质,其中编码方法包括:分离待编码图像的颜色空间数据和透明度通道数据;基于透明度通道数据,调整颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;基于复合颜色空间数据,对待编码图像进行编码,得到编码数据。本发明提供的方法、装置、电子设备和存储介质,通过待编码图像的透明度通道数据,调整颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据,由此在不对编码器做修改的前提下,实现带有透明度通道的图像编码,得到的编码图像在形式上仅包括颜色空间通道的数据,基于此进行传输,能够节省带宽,在音视频会议场景中提升用户体验。

Description

图像编解码方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像编解码方法、装置、电子设备和存储介质。
背景技术
为了在远程视频会议中实现虚拟形象的应用,目前的方法是进行背景抠图。但是背景抠图对于接收端设备性能要求较高,而且抠图对图像边缘不好处理,且需要单独传输mask图像。
而带透明度通道的图像则可以很好地解决上述问题,且目前的渲染引擎多数可以支持带透明度通道的图像渲染。由此,基于带透明度通道的图像实现虚拟形象一类的图像或者视频传输成为可能。
然而,主流的编码器并不支持带透明度通道的图像的压缩编码,压缩编码会导致透明度通道的灰度值损失较大,且高编码码率也不适合在带宽受限的视音频会议中场景下应用。
发明内容
本发明提供一种图像编解码方法、装置、电子设备和存储介质,用以解决现有技术中带透明度通道的图像编码的灰度值损失大、码率高,不适应带宽受限的传输场景的缺陷。
本发明提供一种图像编码方法,包括:
分离待编码图像的颜色空间数据和透明度通道数据;
基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;
基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
根据本发明提供的一种图像编码方法,所述基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据,包括:
从所述颜色空间数据中确定目标通道数据,所述目标通道数据中的数值与所述待编码图像的像素点一一对应;
基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据。
根据本发明提供的一种图像编码方法,所述基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据,包括:
从所述颜色空间数据中确定至少一个辅助通道数据,所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致;
基于所述透明度通道数据,调整所述目标通道数据和所述至少一个辅助通道数据的预设位的数值属性,得到所述复合颜色空间数据。
根据本发明提供的一种图像编码方法,所述预设位为所述通道数据的最低位。
本发明提供一种图像解码方法,包括:
对编码数据进行解码,得到解码图像的复合颜色空间数据;
基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
根据本发明提供的一种图像解码方法,所述基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,包括:
基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
所述目标通道数据中的数值与所述解码图像的像素点一一对应。
根据本发明提供的一种图像解码方法,所述基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,包括:
在所述解码图像中任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述复合颜色空间数据中至少一个辅助通道数据的预设位的数值属性一致的情况下,基于所述数值属性确定所述任一像素点在所述透明度通道数据中的数值;
所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致。
根据本发明提供的一种图像解码方法,所述基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,还包括:
在所述任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述至少一个辅助通道数据的预设位的数值属性不一致的情况下,基于所述任一像素点的邻居像素点在所述透明度通道数据中的数值,确定所述任一像素点在所述透明度通道数据中的数值。
根据本发明提供的一种图像解码方法,所述预设位为所述通道数据的最低位。
本发明还提供一种图像编码装置,包括:
分离单元,用于分离待编码图像的颜色空间数据和透明度通道数据;
复合单元,用于基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;
编码单元,用于基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
本发明还提供一种图像解码装置,包括:
解码单元,用于对编码数据进行解码,得到解码图像的复合颜色空间数据;
还原透明度通道数据单元,用于基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
还原图像单元,用于基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述图像编码方法或图像解码方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述图像编码方法或图像解码方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述图像编码方法或图像解码方法。
本发明提供的图像编解码方法、装置、电子设备和存储介质,通过待编码图像的透明度通道数据,调整颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据,并基于复合颜色空间数据,对待编码图像进行编码,由此在不对编码器做修改的前提下,实现了带有透明度通道的图像编码,且由此得到的编码图像在形式上仅包括颜色空间通道的数据,基于此进行传输,能够降低图像传输码率,节省带宽,在音视频会议场景中提升用户体验。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的图像编码方法的流程示意图;
图2是本发明提供的图像解码方法的流程示意图;
图3是本发明提供的图像编码装置的结构示意图;
图4是本发明提供的图像解码装置的结构示意图;
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术在实现背景定制时,一般采用带有透明度通道,即Alpha通道的图像实现虚拟形象一类的图像或者视频传输,而当前的针对图像的压缩编码技术方案会导致Alpha通道灰度值损失较大,且高编码码率也不适合在带宽受限的视音频会议中场景下应用。
针对上述问题,本发明提出一种图像编码方法,以实现带有透明度通道的图像压缩编码,并且降低传输码率以适应带宽受限的传输场景。图1为本发明提供的图像编码方法的流程示意图,如图1所示,该方法包括:
步骤110,分离待编码图像的颜色空间数据和透明度通道数据;
此处,待编码图像即带有透明度通道的图像,待编码图像可以是RGBA(Red,红色、Green,绿色、Blue,蓝色、Alpha,透明度)图像,或者也可以是YUVA(Y表示明亮度,U、V表示色差,Alpha,透明度)图像。
考虑到主流的编码器并不支持对于带有透明度通道的图像的压缩编码,本发明实施例提出,将待编码图像进行通道数据分离,即可得到待编码图像的颜色空间数据,例如RGB数据或者YUV数据,以及透明度通道数据,即Alpha通道数据。
比如,将RGBA形式的待编码图像进行分离,可以得到待编码图像的RGB数据和Alpha通道数据。进一步地,待编码图像由N个像素点组成,每个像素点都对应一个RGBA数据,每个像素点对应的RGBA数据均被分离为RGB数据和Alpha通道数据,即,最后得到N组被分离的RGB数据和Alpha数据。其形式可以是:
Figure BDA0004070699750000061
步骤120,基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;
具体地,为了适应主流的编码器,本发明实施例提出将透明度通道数据,由颜色空间数据中的至少一个通道数据的预设位的数值属性来表示,从而得到复合颜色空间数据。此处需要进行调整的通道数据,可以是颜色空间数据中的通道数据的其中一个或者多个。比如,可以对YUV格式的颜色空间数据中的Y通道数据的预设位进行调整,得到复合颜色空间数据。另外,此处所指的数值属性,可以是奇偶值,也可以是质数、合数,还可以是预先设定的固定数值,例如0、1等,本发明实施例对此不作具体限定。
可以理解的是,颜色空间数据中的通道数据一般由多位十六进制表示,将通道数据中的某一数值位作为预设位并调整其数值属性,不会对该通道数据的数值造成较大改变。例如,将通道数据中的最低位作为预设位并调整其奇偶值,在最低位能够涵盖对应透明度通道的数值的同时,能够最小化复用通道数据对于原本的通道数据的影响。
另外,此处之所以可以用数值属性代表透明度通道数据,原因在于,在视频会议场景或者类似场景中,图像携带的透明度通道的像素值呈现一定的规律,通常部分区域是透明的,部分区域是不透明的,不存在介于透明与不透明之间的中间值,即透明度通道数据值为0或者是255。所以,可以用预设位的数值属性来对应表示透明度通道数据。例如,针对透明度通道数据值为0的情况,可以调整对应的通道数据的预设位为偶数,针对透明度通道数据值为255的情况,可以调整对应的通道数据的预设位为奇数;又例如,针对透明度通道数据值为0的情况,可以调整对应的通道数据的预设位为合数,针对透明度通道数据值为255的情况,可以调整对应的通道数据的预设位为质数。
由此得到的复合颜色空间数据中,存在至少一个通道数据的某一预设位的数值属性,表示透明度通道数据,在不过大影响的通道数据本身的情况下,又携带了该像素点的透明度通道数据,实现了颜色空间数据的通道数据的数据复用。
步骤130,基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
具体地,包含待编码图像的颜色空间数据和透明度通道数据的复合颜色空间数据,本质上依然是颜色空间形式的数据,因此可以适应通用的编码器比如H264编码器进行压缩编码。由此即可得到待编码图像的编码数据。
并且,在完成编码之后,编码数据还可以由发送端传输向接收端,以实现图像传输。可以理解的是,由此传输的编码数据是对颜色空间形式的数据编码得到的,因此能够在带宽受限的场景下正常传输,而由于复合颜色空间数据通过数据复用的形式,隐式携带了透明度通道数据,接收端在接收到编码数据之后,亦可以解码得到复合颜色空间数据,并从中还原出透明度通道数据,由此,带有透明度通道的图像传输得以实现。
本发明实施例提供的方法,通过待编码图像的透明度通道数据,调整颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据,并基于复合颜色空间数据,对待编码图像进行编码,由此在不对编码器做修改的前提下,实现了带有透明度通道的图像编码,且由此得到的编码图像在形式上仅包括颜色空间数据的通道数据,基于此进行传输,能够降低图像传输码率,节省带宽,在音视频会议场景中提升用户体验。
基于上述实施例,步骤120包括:
从所述颜色空间数据中确定目标通道数据,所述目标通道数据中的数值与所述待编码图像的像素点一一对应;
基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据。
具体地,可以从颜色空间数据的通道数据中选择至少一个通道数据作为目标通道数据,此处,目标通道数据是用来携带该像素点的透明度通道数据。可以理解的是,待编码图像由多个像素点组成,每个像素点的数据包含颜色空间数据和对应一个透明度通道数据,由此选取的目标通道数据,必须与待编码图像的像素点一一对应。例如在YUV420格式的颜色空间数据下,其中Y分量、U分量、V分量的比例是4:2:0,即,Y通道数据与待编码图像的像素点是一一对应的,此时,可以优选Y通道数据作为目标通道数据。可以理解的是,选择与待编码图像的像素点一一对应的通道数据作为目标通道数据,可以保证每个像素点的透明度通道数据都能被目标通道数据所携带。
在确定目标通道数据之后,即可由目标通道数据中的某个预设位的数值属性,来表示透明度通道数据。比如,使用预设位的奇偶值来表示透明度通道数据,具体步骤可以是:当透明度通道数据是表示透明时,对目标通道数据中的预设位的奇偶值进行调整。若预设位的值是偶数,则保持不变,若是奇数,则将预设位调整为偶数,比如可以采用对预设位进行按位或0x01,得到偶数;当透明度通道数据是表示不透明时,对目标通道数据中的预设位的奇偶值进行调整。若预设位的值是奇数,则保持不变,若是偶数,则将预设位调整为奇数,比如可以采用对预设位进行按位或0x01,得到奇数。由上步骤得到的复合颜色空间数据,其中的目标通道数据即表示了本身的颜色空间数据的通道数据,其预设位的奇偶值又表示了透明度通道数据。
相关技术中,对待编码图像进行编码压缩,比如将YUV420格式的数据通过H264进行压缩编码,是有损压缩。而选择的目标通道数据携带透明度通道数据,当对图像进行编码出现有损时,携带透明度通道数据的目标通道数据的预设位的值可能发生变化,此时通过预设值的数值属性反映该像素点的透明度通道数据的方式会随之失效。
针对这一问题,基于上述任一实施例,步骤120中,所述基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据,包括:
从所述颜色空间数据中确定至少一个辅助通道数据,所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致;
基于所述透明度通道数据,调整所述目标通道数据和所述至少一个辅助通道数据的预设位的数值属性,得到所述复合颜色空间数据。
具体地,从颜色空间数据包含的通道数据中,可以确定至少一个辅助通道数据,用来辅助目标通道数据,一起携带对应的透明度通道数据。可以理解的是,辅助通道数据和目标通道数据不能为同一通道数据,并且,为了能够确保每个像素点的透明度通道数据均存在辅助通道数据与目标通道数据一并携带,需要上述至少一个辅助通道数据的数量要与目标通道数据的数量一致。
即,针对颜色空间数据的通道数据中存在除目标通道数据之外的一个通道数据的数值与像素点一一对应的情况,可以直接将该通道数据作为辅助通道数据;而针对颜色空间数据中不存在除目标通道数据之外的一个通道数据的数值与像素点一一对应的情况,则需要至少两个通道数据作为辅助通道数据,以确保辅助通道数据的全部数值能够与像素点一一对应。比如,如果采用YUV420格式对待编码图像进行编码,将Y通道数据作为目标通道数据,则需要UV两个通道的数据均作为辅助通道数据,即,将Y通道数据四等分,Y通道数据中前两个等分的像素点所对应的预设位的奇偶值可以对应U通道中预设位的奇偶值,Y通道数据中后两个等分的像素点所对应的奇偶值可以对应V通道中预设位的奇偶值。
在此情况下,每个像素点的透明度通道的数值均被复合颜色空间数据中目标通道数据中预设位的数值属性,以及至少一个辅助通道数据中预设位的数值属性所表示。并且,复合颜色空间数据中,表征同一个像素点的透明度通道的数值的目标通道数据和辅助通道数据下的预设位的数值属性是一致的。
由此,如果编码压缩有损,导致编码数据解码还原后的目标通道数据与辅助通道数据对应同一像素点的数值属性不一致,则接收端可以直接由此确定该像素点基于数值属性确定的透明度数值不可靠,需要进行纠错,如此即可保证带透明度通道的图像传输的可靠性。
基于上述任一实施例,所述预设位为所述通道数据的最低位。
具体地,在颜色空间数据中的通道数据中选择预设位,修改其数值属性,来表示对应的透明度通道数据。可以理解的是,待编码图像的通道数据采用多位十六进制表示,相对于调整通道数据的高位值,将通道数据的最低位作为预设位,通过调整其数值属性,对整体的通道数据的值的影响最小。
在对待编码的图像进行编码后,可以由发送端将图像的编码数据传输到接收端。接收端接收到编码数据后,需要对该编码数据进行解码,由此还原图像。
图2为本发明提供的图像解码方法的流程示意图,如图2所示,一种图像解码方法包括:
步骤210,对编码数据进行解码,得到解码图像的复合颜色空间数据;
具体地,接收端接收到编码数据后,经过图像解码器进行解码,可以得到解码图像的复合颜色空间数据。此处的图像解码器,可以是H264解码器,也可以是其他通用的解码器,可以理解的是,此处用于解码的图像解码器,与上述图像编码方法中用于编码的图像编码器是相对应的。
通过解码得到的复合颜色空间数据,其中至少一个通道数据的预设位的数值属性能够用于表征对应像素点的透明度通道值。由此,通过编码数据进行解码后得到的复合颜色空间数据,虽然在形式上是颜色空间数据,但是实际上通过数据复用涵盖了透明度通道数据,即通过复合颜色空间数据不仅获得解码图像的颜色空间数据,也能够获得解码图像的透明度通道数据。
可以理解的是,之所以解码所得的复合颜色空间数据能够携带透明度通道数据,其原因在于编码数据在编码之前,即应用待编码图像的透明度通道数据,对待编码图像的颜色空间数据中至少一个通道数据的预设位的数值属性进行了调整,即,编码数据在编码之前对应的复合颜色空间数据即存在通道数据的数据复用。具体编码方式可见上述实施例,此处不作赘述。
步骤220,基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
具体地,在进行图像编码时,即通过调整图像的颜色空间数据中的至少一个通道数据的预设位的数值属性,来表示该像素点的透明度通道数据。所以,在对解码得到的复合颜色空间数据,对应的也要根据其中至少一个通道数据的预设位的数值属性,还原解码图像的透明度通道数据。此处还原解码图像的透明度通道数据的方式,同样是根据通道数据的预设位的数值属性与图像的透明度通道数据的对应关系来确定。可以理解的是,此处的对应关系,相较于在图像待编码时,图像的透明度通道数据与颜色空间数据中的通道数据的预设位的数值属性的对应关系是一致的。比如,解码图像在待编码时,当透明度通道数据为透明时,颜色空间的通道数据的预设位的奇偶值调整为偶数,则在还原解码图像的透明度通道数据时,当通道数据的预设位的奇偶值为偶数时,则该解码图像的透明度通道数据为透明。
另外,在进行图像编码时,是通过调整颜色空间数据包含的通道数据中的至少一个通道数据。所以,对解码图像进行还原透明度通道数据时,同样对应是颜色空间数据包含的其中的一个或者多个通道数据。可以理解的是,此处的一个或多个通道数据,与待编码图像时的一个或者多个通道数据是相同的,具体选择那几个通道数据可以是发送端和接收端预先约定好的。比如,图像待编码时,通过颜色空间数据中的Y通道数据进行调整,则在还原解码图像的透明度通道数据时,也是根据颜色空间数据中的Y通道数据进行还原。
步骤230,基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
具体地,可以根据复合颜色空间数据中的颜色空间数据和透明度通道数据,对解码图像进行还原。此处,对解码图像进行还原,具体可以通过将解码图像的颜色空间数据和透明度通道数据进行融合,进而得到带透明度通道的图像,即,解码图像。
本发明实施例提供的方法,通过对编码数据进行解码,得到复合颜色空间数据,基于复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原解码图像的透明度通道数据,最后通过复合颜色空间数据和透明度通道数据,还原解码图像,不需要额外通过接收透明度通道来获得透明度通道数据,实现了带有透明度通道的图像解码,基于此进行传输,能够降低图像传输码率,节省带宽,在音视频会议场景中提升用户体验。
基于上述任一实施例,步骤220,包括:
基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
所述目标通道数据中的数值与所述解码图像的像素点一一对应。
具体地,此处的目标通道数据是由接收端对接收的编码数据进行解码得到的通道数据,对应于编码时基于透明度通道数据调整目标通道数据中预设位的数值属性。此处解码得到的目标通道数据同样携带该像素点的透明度通道数据和自身通道的数据。可以理解的是,在还原其透明度通道数据时,也是根据解码图像中目标通道数据的预设位的数值属性与透明度通道数据的对应关系,还原解码图像的透明度通道数据。比如,在图像编码时,当图像的透明度通道数据为透明时,目标通道数据的预设位的奇偶值为偶数,则在对解码图像进行还原时,若目标通道数据的预设位的奇偶值是偶数,则解码图像的透明度通道数据为透明。
可以理解的是,解码图像由多个像素点组成,每个像素点的数据包含颜色空间数据和对应一个透明度通道数据,由此选取的目标通道数据,必须与解码图像的像素点一一对应。例如在YUV420格式的颜色空间数据下,其中Y分量、U分量、V分量的比例是4:2:0,即,Y通道数据与解码图像的像素点是一一对应的,此时,可以优选Y通道数据作为目标通道数据。可以理解的是,选择与解码图像的像素点一一对应的通道数据作为目标通道数据,可以保证每个像素点的透明度通道数据都能通过一一对应的目标通道数据还原得到。
相关技术中,对待编码图像进行编码压缩,比如将YUV420格式的数据通过H264进行压缩编码,是有损压缩。而选择的目标通道数据携带透明度通道数据,当对待编码图像进行编码出现有损时,携带透明度通道数据的目标通道数据的预设位的值可能发生变化,此时,通过预设值的数值属性还原该像素点的透明度通道数据的方式会随之失效。
针对这一问题,基于上述任一实施例,所述基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,包括:
在所述解码图像中任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述复合颜色空间数据中至少一个辅助通道数据的预设位的数值属性一致的情况下,基于所述数值属性确定所述任一像素点在所述透明度通道数据中的数值;
所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致。
具体地,从颜色空间数据的通道数据中,至少确定一个通道数据作为辅助通道数据,用来辅助目标通道数据,一起携带该像素点对应的透明度通道数据。比如,如果目标通道数据的预设位的奇偶值是偶数,并且辅助通道数据的预设位的奇偶值也是偶数,那么当前像素点的透明度通道数据是透明;如果目标通道数据的预设位的奇偶值是奇数,并且辅助通道数据的预设位的奇偶值也是奇数,那么当前像素点的透明度通道数据是不透明。
可以理解的是,辅助通道数据和目标通道数据不能为同一通道数据,并且,为了能够确保每个像素点的透明度通道数据均存在辅助通道数据与目标通道数据一并携带,需要上述至少一个辅助通道数据的数量要与目标通道数据的数量一致。
即,针对颜色空间数据中存在除目标通道数据之外的一个通道数据的数值与像素点一一对应的情况,可以直接将该通道数据作为辅助通道数据;而针对颜色空间数据中不存在除目标通道数据之外的一个通道数据的数值与像素点一一对应的情况,则需要至少两个通道数据作为辅助通道数据,以确保辅助通道数据的全部数值能够与像素点一一对应。比如,如果采用YUV420格式对待编码图像进行编码,将Y通道数据作为目标通道数据,则需要UV两个通道的数据均作为辅助通道数据,即,将Y通道数据四等分,Y通道数据中前两个等分的像素点所对应的预设位的奇偶值可以对应U通道中预设位的奇偶值,Y通道数据中后两个等分的像素点所对应的奇偶值可以对应V通道中预设位的奇偶值。
在此情况下,每个像素点的透明度通道的数值均被复合颜色空间数据中目标通道数据中预设位的数值属性,以及至少一个辅助通道数据中预设位的数值属性所表示。并且,复合颜色空间数据中,表征同一个像素点的透明度通道的数值的目标通道数据和辅助通道数据下的预设位的数值属性是一致的情况下,才能基于其预设位的数值属性,还原解码图像的透明度通道数据。
如果编码压缩有损,则可能导致编码数据解码还原后的目标通道数据与辅助通道数据对应同一像素点的数值属性不一致,则接收端可以直接由此确定该像素点基于数值属性确定的透明度数值不可靠,需要进行纠错,如此即可保证带透明度通道的图像传输的可靠性。
针对此问题,基于上述任一实施例,所述基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,还包括:
在所述任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述至少一个辅助通道数据的预设位的数值属性不一致的情况下,基于所述任一像素点的邻居像素点在所述透明度通道数据中的数值,确定所述任一像素点在所述透明度通道数据中的数值。
具体地,在编码数据解码所得后的目标通道数据与辅助通道数据对应同一像素点的数值属性不一致的情况下,意味着基于数值属性确定的该像素点的透明度通道数值不可靠,此时可以参照该像素点的邻居像素点已经还原得到的透明度通道数值,确定该像素点的透明度通道数值。例如可以应用邻居像素点的透明度通道数据相近的原理,确定该像素点的邻居像素点的透明度通道数值为0的个数,以及透明度通道数值为255的个数,如果数值为0的邻居像素点的个数大于数值为255的邻居像素点的个数,则确定该像素点的透明度通道数值为0,否则确定该像素点的透明度通道数值为255。
本发明实施例提供的方法,在有损情况下基于邻居像素点在透明度通道数据中的数值,进行透明度通道数据还原,由此确保透明度通道数据还原的准确性和可靠性。
基于上述任一实施例,所述预设位为所述通道数据的最低位。
具体地,在颜色空间数据中的通道数据中选择预设位,修改其数值属性,来表示对应的透明度通道数据。可以理解的是,解码图像的通道数据采用多位十六进制表示,相对于调整通道数据的高位值,将通道数据的最低位作为预设位,通过调整其数值属性,对整体的通道数据的值的影响最小。
基于上述任一实施例,本发明还提供一种图像编码方法,该方法可以通过如下步骤实现:
首先,分离待编码图像的颜色空间数据和透明度通道数据;具体可以是,将输入的RGBA格式的待编码图像,进行通道分离,分别得到RGB数据和Alpha通道数据。待编码图像的长记作H,宽记作W。
由于目前的编码装置,比如H264编码装置,一般使用的是YUV格式的图像数据进行图像编码,所以需要将待编码图像分离得到的RGB数据转换为YUV数据。将RGB数据转换为YUV数据,具体可以通过以下公式进行转换:
Figure BDA0004070699750000171
由此,经过转换的YUV数据可以表示待编码图像的颜色空间数据,得到的Y通道数据的长度和Alpha通道数据的长度都等于图像长度H与图像宽度W的乘积。在YUV格式的数据中,又包含YUV420、YUV444等格式的数据,本发明实施例采用YUV420格式的数据,即,Y分量、U分量、V分量的比例是4:2:0。
接着,可以将Y通道数据作为目标通道数据,UV通道数据作为辅助通道数据。当透明度通道数据为透明时,将Y、UV通道数据的最低位的奇偶值调整为偶数;当透明度通道数据为不透明时,将Y、UV通道数据的最低位的奇偶值调整为奇数,进而得到复合颜色空间数据。
接着,基于复合颜色空间数据,对待编码图像进行编码,得到编码数据。
此外,本发明还提供一种图像解码方法,该方法可以通过如下步骤实现:
首先,接收端获取发送端传输的编码数据。
接着,对编码数据进行解码,得到解码图像的复合颜色空间数据。
然后,根据得到的复合颜色空间数据其中的目标通道数据和辅助通道数据的最低位的奇偶值,还原透明度通道数据。还原的步骤可以是:若Y通道数据的最低位的奇偶值是偶数,并且UV通道数据的最低位的奇偶值也是偶数,则当前像素点的透明度通道数据为透明;若Y通道数据的最低位的奇偶值是奇数,并且UV通道数据的最低位的奇偶值也是奇数,则当前像素点的透明度通道数据为不透明;若Y通道数据的最低位的奇偶值与辅助通道数据的最低位的奇偶值不一致,可以根据该像素点的邻居像素点的透明度通道数据,确定该像素点的透明度通道数据。
通过上述步骤得到解码图像的YUV数据和Alpha通道数据,可以直接融合,进而得到YUVA格式的图像。或者,将YUV数据转换成RGB数据,可以利用下列公式实现转换:
Figure BDA0004070699750000181
最后将解码图像的RGB数据和Alpha通道数据融合,得到RGBA格式的图像,也就是带透明度图像,则可以通过渲染引擎,根据用户定制的不同背景图来渲染,就很容易实现背景定制,替换视音频会议中图像的不同的背景。
基于上述任一实施例,图3是本发明提供的图像编码装置的结构示意图,如图3所示,该装置包括:
分离单元310,用于分离待编码图像的颜色空间数据和透明度通道数据;
复合单元320,用于基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;
编码单元330,用于基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
本发明实施例提供的装置,通过待编码图像的透明度通道数据,调整颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据,并基于复合颜色空间数据,对待编码图像进行编码,由此在不对编码器做修改的前提下,实现了带有透明度通道的图像编码,且由此得到的编码图像在形式上仅包括颜色空间通道的数据,基于此进行传输,能够降低图像传输码率,节省带宽,在音视频会议场景中提升用户体验。
基于上述任一实施例,复合单元还用于:
从所述颜色空间数据中确定目标通道数据,所述目标通道数据中的数值与所述待编码图像的像素点一一对应;
基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据。
基于上述任一实施例,复合单元还用于:
从所述颜色空间数据中确定至少一个辅助通道数据,所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致;
基于所述透明度通道数据,调整所述目标通道数据和所述至少一个辅助通道数据的预设位的数值属性,得到所述复合颜色空间数据。
基于上述任一实施例,复合单元还用于:所述预设位为所述通道数据的最低位。
基于上述任一实施例,图4是本发明提供的图像解码装置的结构示意图,如图4所示,该装置包括:
解码单元410,用于对编码数据进行解码,得到解码图像的复合颜色空间数据;
还原透明度通道数据单元420,用于基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
还原图像单元430,用于基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
本发明实施例提供的装置,通过对编码数据进行解码,得到复合颜色空间数据。基于复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原解码图像的透明度通道数据,最后通过复合颜色空间数据和透明度通道数据,还原解码图像,使得不需要额外通过接收透明度通道来获得透明度通道数据,实现了带有透明度通道的图像解码,且由多个通道数据的预设位的数值属性确定透明度通道数据,基于此进行进行解码,能够及时发现编码压缩有损,并还原比较准确的透明度通道数据,进而更贴切还原解码图像。
基于上述任一实施例,还原透明度通道数据单元还用于:
基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
所述目标通道数据中的数值与所述解码图像的像素点一一对应。
基于上述任一实施例,还原透明度通道数据单元还用于:
在所述解码图像中任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述复合颜色空间数据中至少一个辅助通道数据的预设位的数值属性一致的情况下,基于所述数值属性确定所述任一像素点在所述透明度通道数据中的数值;
所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致。
基于上述任一实施例,还原透明度通道数据单元还用于:
在所述任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述至少一个辅助通道数据的预设位的数值属性不一致的情况下,基于所述任一像素点的邻居像素点在所述透明度通道数据中的数值,确定所述任一像素点在所述透明度通道数据中的数值。
基于上述任一实施例,还原透明度通道数据单元还用于:所述预设位为所述通道数据的最低位。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行图像编码方法,该方法包括:分离待编码图像的颜色空间数据和透明度通道数据;基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
处理器510还可以调用存储器530中的逻辑指令,以执行图像解码方法,该方法包括:对编码数据进行解码,得到解码图像的复合颜色空间数据;基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的图像编码方法,该方法包括:分离待编码图像的颜色空间数据和透明度通道数据;基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
所述计算机程序被处理器执行时,计算机还能够执行上述各方法所提供的图像解码方法,该方法包括:对编码数据进行解码,得到解码图像的复合颜色空间数据;基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的图像编码方法,该方法包括:分离待编码图像的颜色空间数据和透明度通道数据;基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
该计算机程序被处理器执行时还实现以执行上述各方法提供的图像解码方法,该方法包括:对编码数据进行解码,得到解码图像的复合颜色空间数据;基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种图像编码方法,其特征在于,包括:
分离待编码图像的颜色空间数据和透明度通道数据;
基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;
基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
2.根据权利要求1所述的图像编码方法,其特征在于,所述基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据,包括:
从所述颜色空间数据中确定目标通道数据,所述目标通道数据中的数值与所述待编码图像的像素点一一对应;
基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据。
3.根据权利要求2所述的图像编码方法,其特征在于,所述基于所述透明度通道数据,调整所述目标通道数据的预设位的数值属性,得到复合颜色空间数据,包括:
从所述颜色空间数据中确定至少一个辅助通道数据,所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致;
基于所述透明度通道数据,调整所述目标通道数据和所述至少一个辅助通道数据的预设位的数值属性,得到所述复合颜色空间数据。
4.根据权利要求1至3中任一项所述的图像编码方法,其特征在于,所述预设位为所述通道数据的最低位。
5.一种图像解码方法,其特征在于,包括:
对编码数据进行解码,得到解码图像的复合颜色空间数据;
基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
6.根据权利要求5所述的图像解码方法,其特征在于,所述基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,包括:
基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
所述目标通道数据中的数值与所述解码图像的像素点一一对应。
7.根据权利要求6所述的图像解码方法,其特征在于,所述基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,包括:
在所述解码图像中任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述复合颜色空间数据中至少一个辅助通道数据的预设位的数值属性一致的情况下,基于所述数值属性确定所述任一像素点在所述透明度通道数据中的数值;
所述至少一个辅助通道数据的数据总量与所述目标通道数据的数据量一致。
8.根据权利要求7所述的图像解码方法,其特征在于,所述基于所述复合颜色空间数据中目标通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据,还包括:
在所述任一像素点在所述目标通道数据中对应的预设位的数值属性,与所述任一像素点在所述至少一个辅助通道数据的预设位的数值属性不一致的情况下,基于所述任一像素点的邻居像素点在所述透明度通道数据中的数值,确定所述任一像素点在所述透明度通道数据中的数值。
9.根据权利要求5至8中任一项所述的图像解码方法,其特征在于,所述预设位为所述通道数据的最低位。
10.一种图像编码装置,其特征在于,包括:
分离单元,用于分离待编码图像的颜色空间数据和透明度通道数据;
复合单元,用于基于所述透明度通道数据,调整所述颜色空间数据中至少一个通道数据的预设位的数值属性,得到复合颜色空间数据;
编码单元,用于基于所述复合颜色空间数据,对所述待编码图像进行编码,得到编码数据。
11.一种图像解码装置,其特征在于,包括:
解码单元,用于对编码数据进行解码,得到解码图像的复合颜色空间数据;
还原透明度通道数据单元,用于基于所述复合颜色空间数据中至少一个通道数据的预设位的数值属性,还原所述解码图像的透明度通道数据;
还原图像单元,用于基于所述复合颜色空间数据和所述透明度通道数据,还原所述解码图像。
12.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述图像编码方法,或,如权利要求5至9任一项所述图像解码方法。
13.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述图像解码方法,或,如权利要求5至9任一项所述图像解码方法。
CN202310092183.3A 2023-01-17 2023-01-17 图像编解码方法、装置、电子设备和存储介质 Pending CN116112679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310092183.3A CN116112679A (zh) 2023-01-17 2023-01-17 图像编解码方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310092183.3A CN116112679A (zh) 2023-01-17 2023-01-17 图像编解码方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116112679A true CN116112679A (zh) 2023-05-12

Family

ID=86263491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310092183.3A Pending CN116112679A (zh) 2023-01-17 2023-01-17 图像编解码方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116112679A (zh)

Similar Documents

Publication Publication Date Title
EP2944080B1 (en) Method and apparatus for efficient coding of depth lookup table
US11012489B2 (en) Picture file processing method, picture file processing device, and storage medium
US8977048B2 (en) Method medium system encoding and/or decoding an image using image slices
WO2021032751A1 (en) Cross-component adaptive loop filter for chroma
KR102113710B1 (ko) 하이 다이내믹 레인지 이미지들을 인코딩하고, 디코딩하고, 표현하기 위한 기법들
US20130114687A1 (en) Fixed intra run-level mode for cavlc in hevc
JP7086587B2 (ja) 復号された画像データから画像データを再構成する方法および装置
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
CN105828089A (zh) 一种基于自适应感知量化的视频编码方法和系统
US10887616B2 (en) Image processing devices having enhanced frame buffer compressors therein
EP3557872A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
JP5006631B2 (ja) ビデオデータ符号化装置、ビデオデータ復号化装置、ビデオデータ符号化方法およびビデオデータ復号化方法
US10587901B2 (en) Method for the encoding and decoding of HDR images
CN116112679A (zh) 图像编解码方法、装置、电子设备和存储介质
US12034944B2 (en) Video encoding method and apparatus, video decoding method and apparatus, electronic device and readable storage medium
CN115914637A (zh) 图像格式转换方法、装置和视频处理设备
CN116248895B (zh) 虚拟现实全景漫游的视频云转码方法及系统
CN113163212B (zh) 视频解码方法及装置、视频编码方法及装置、介质和设备
US20230269380A1 (en) Encoding method, decoding method, encoder, decoder and storage medium
CN115150370B (zh) 一种图像处理的方法
WO2023174076A1 (zh) 编码方法及装置、解码方法及装置、存储介质、电子装置
JP2002290744A (ja) 画像圧縮方式
CN118660165A (zh) 信源信道联合编解码方法、装置、电子设备及存储介质
CN117750030A (zh) 视频编码方法、装置、设备及存储介质
JP2011109528A (ja) 動画像符号化復号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination