CN100551080C - 视频通讯中视频输入设备伽玛特性校正方法和装置 - Google Patents
视频通讯中视频输入设备伽玛特性校正方法和装置 Download PDFInfo
- Publication number
- CN100551080C CN100551080C CNB2006101115794A CN200610111579A CN100551080C CN 100551080 C CN100551080 C CN 100551080C CN B2006101115794 A CNB2006101115794 A CN B2006101115794A CN 200610111579 A CN200610111579 A CN 200610111579A CN 100551080 C CN100551080 C CN 100551080C
- Authority
- CN
- China
- Prior art keywords
- color space
- cell element
- gamma
- rgb color
- yuv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
Abstract
本发明提供一种视频通信中视频输入设备伽玛特性校正方法和装置。将RGB颜色空间划分为多胞元,并将视频输入设备的伽玛特性函数进行逐胞元的线性化。将RGB颜色空间的各胞元一对一地映射到YUV颜色空间从而实现YUV颜色空间的胞元化,并且为各个YUV胞元建立形式统一但参数不同的线性伽玛特性函数。利用线性伽玛特性函数和线性伽玛校正函数对已校正YUV颜色空间的向量和未失真RGB颜色向量进行关联,使关联后的向量与未失真RGB颜色向量位于同一信号空间,利用关联后的向量和未失真RGB颜色向量设置数学优化问题,并求解获得YUV颜色空间各胞元上的线性伽玛校正函数的参数;最后,根据伽玛校正函数对视频输入设备输出的YUV颜色空间的视频信号进行逐胞元的伽玛校正。本发明达到了提高伽玛校正易用性,拓宽伽玛校正的应用范围,降低伽玛校正的实现成本的目的。
Description
技术领域
本发明涉及视频通讯技术领域,具体涉及一种视频通讯中视频输入设备伽玛特性校正方法和装置。
背景技术
视频通讯,尤其是多方视频通讯,目前正在随着宽带网络的迅速发展,得到日益广泛的应用。在国内和国际上,视频会议和可视电话业务正在成为NGN(Next Generation Network,下一代网络)上的基本业务。各国的电信运营商也非常重视这个市场机会。预期在未来几年中,视频通讯业务将成为运营商重要的业务增长点。
发展视频通讯业务的一个关键问题是:提高端到端(End-to-end)的用户体验(UserExperience或者Quality of Experience)。用户体验中除了网络的QoS如丢包、延迟、抖动、R因子等参数外,对于视频,由于各个环节引起的Gamma(伽玛)非线性问题造成的对亮度信号的畸变(Distortion),也是影响最终用户体验的重要因素。
目前,对于提高端到端用户体验的方法和技术主要集中在保证网络QoS和视频压缩编码相关的前后处理(Pre-processing,post-processing)方面。对于Gamma特性引起的亮度畸变问题,缺乏关注和系统的解决方法。但是,该问题的重要性已经引起了一些国际大电信运营商的关注。
Gamma校正是多媒体通讯信息系统中普遍存在的需要解决的问题。从根源上说,视频通信中的Gamma校正起源于CRT(Cathode-Ray Tube阴极射线管)显示器,因为CRT显示器的输出光信号亮度和输入电压激励信号幅度之间不是线形关系,而是一种非线性关系,即Gamma特性函数关系。为了在视频显示设备上达到高质量的显示效果,获得好的用户体验(UserExperience或Quality of Experience),必须进行Gamma校正。
单个环节Gamma特性的一般模型如附图1所示。
图1中,输入亮度信号和输出亮度信号的非线性的关系可以表示为:Lout=G(Lin),其中,Lout为输出亮度信号,Lin为输入亮度信号,函数G(.)为一个非线性函数。
典型的Gamma特性示例如附图2所示。
图2中的每一个方块中标注的数字为亮度值,方块的灰度表示亮度信号的明亮程度。图2(a)中,上面的一行灰度方块的亮度是线性递增的,即从0.1递增到1.0,下面一行灰度方块的亮度是按照幂函数规律递增的,也就是说,下面一行灰度方块的亮度经过了Gamma非线性的失真影响。图2(b)中给出的是以曲线表示的Gamma特性。
在实际应用中,视频输入设备如摄像机/摄像头的Gamma特性是:
Lout=Lin 0.45 (1)
这个Gamma特性的形式是一个幂函数(Power Function)。需要特别说明的是,这里的输入和输出亮度信号都是在各自的坐标空间中进行了规一化(Normalized)的,即0≤Lout≤1,0≤Lin≤1。
Gamma校正问题可以抽象为如附图3所示。
图3是在图2的基础上增加了一个Gamma校正模块,Gamma校正模块的Gamma特性表示为Gc(.),该Gamma校正模块可以校正由Gamma特性为Gg(.)造成的失真。对于一个Gamma环节如视频输入设备来说,其Gamma特性给定即Lout=Gp(Lin),这样,可以用另外一个Gamma校正环节Lout=Gc(Lin)和它进行级联,使得最终的Gamma特性输入输出关系成为真正的线性关系。
在多媒体视频通讯过程中,视频信号在通讯网络中的传输过程如图4所示。
图4中,视频输入设备中的光/电转换器件将视频输入设备在RGB颜色空间采集到的光信号转换为电信号/数字信号,并输出。光/电转换器件输出的电信号/数字信号的空间是RGB颜色空间,视频输入设备中的颜色变换模块将RGB颜色空间的电信号/数字信号转换为YUV颜色空间的电信号/数字信号,并输出。YUV颜色空间的电信号/数字信号经过压缩编码和网络传送模块通过通讯网络传输至对方视频通讯终端。
目前,Gamma校正的方法主要有两种,下面结合附图4、附图5、附图6对这两种Gamma校正方法及各自存在的缺点进行说明。
方法一:在RGB颜色空间进行Gamma校正。
在RGB颜色空间进行Gamma校正时,Gamma特性函数其实是分别对应三个通道的三个Gamma特性函数,也就是说,R,G,B三基色各自有各自的Gamma特性函数,即:
rd=gmr(rr);
gd=gmg(gr); (2)
bd=gmb(br);
其中,gmr gmg gmb分别表示R,B,G分量各自的Gamma特性函数。rd表示经过Gamma失真的R分量信号,rr表示原始的R分量信号;gd表示经过Gamma失真的G分量信号,gd表示原始的G分量信号;bd表示经过Gamma失真的B分量信号,br表示原始的G分量信号;下标r表示raw(原始的),下标d表示distorted(失真的)。
图5示出了红色、绿色和蓝色分量信号对应的Gamma特性曲线,即函数gmr、gmg、gmb的曲线。从图6中可以看出,R,G,B各自对应的Gamma特性函数,虽然在形式上很相似,但是各Gamma特性函数的具体参数不同,因此,这三个Gamma特性函数并不是一个函数。如果采用向量形式来表示未经过Gamma失真的RGB分量和已经过Gamma失真的RGB分量,可以得到:
由于RBG分量的每个通道的Gamma校正独立于其它通道,所以,在RGB颜色空间中直接进行Gamma校正,其实现过程比较简单。
从图4、图5可知,在视频显示设备和视频输入设备之间,视频信号都是以YUV形式存在的,所以,如果在RGB颜色空间中进行校正,就意味着Gamma校正模块一定要位于视频显示设备或者视频输入设备中。
对于视频输入设备来说,因为大众通信要求视频输入设备价格低廉,因此,往往只能选用低端视频输入设备,而低端视频输入设备不带有Gamma校正这种高级功能。
对于视频显示设备来说,一般都没有自行进行Gamma校正的功能。早期的Gamma校正都是依赖视频输入设备中引入和视频显示设备相互逆转的Gamma特性,让两者相互抵消,从而达到Gamma校正的目的。早期的视频显示设备都是商用级的,如广播电视行业中使用的视频显示设备等,这些商用级的视频显示设备属于高端设备,可以精确地提供一定的Gamma校正功能。但是,随着大众多媒体通信的普及、大量低端设备的广泛引用,绝大多数的视频输入设备不具备这种Gamma校正的能力。这样,在很多实际应用情况下,不能够做到在RGB颜色空间中进行Gamma校正。
方法二:在YUV颜色空间进行Gamma校正。
在YUV颜色空间进行Gamma校正的原理如附图6所示。从图6可以看出,如果要在YUV颜色空间进行Gamma校正,则Gamma校正模块必须设置在视频输入设备和视频显示设备之间的某一点上。
图6中的Gamma校正模块的具体校正过程为:首先,将YUV颜色空间进行一次逆变换,回到RGB颜色空间,然后,在RGB颜色空间进行Gamma校正,校正后再经过一次正变换,变换回到YUV颜色空间中。
在方法二中,Gamma校正会由于运算造成的舍入误差而造成视频信号的损失,而且,大量的乘法运算,其开销很大,尤其在软件实现方面的消耗量很大,比Gamma校正自身采用查表法进行校正的消耗还要大很多。
从上述描述可知,目前的Gamma校正方法具有实现成本高、适用范围差、资源消耗严重等问题。
发明内容
本发明的目的在于,提供一种视频通讯中视频输入设备伽玛特性校正方法和装置,实现了直接在YUV颜色空间对视频输入设备输出的视频信号进行伽玛校正的目的,简化了伽玛校正的实现过程,降低了伽玛校正的实现成本,提高伽玛校正的易用性。
为达到上述目的,本发明提供一种视频通讯中视频输入设备伽玛特性校正方法,包括:
a、将RGB颜色空间划分为多个胞元;
b、根据视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数,获得所述伽玛特性函数在RGB颜色空间各胞元上的线性化表示,即得到各胞元的线性伽玛特性函数;
c、将RGB颜色空间的各胞元一对一地映射到YUV颜色空间,使得YUV颜色空间被划分为多个胞元;
d、设置YUV颜色空间中各个胞元的线性伽玛校正函数的参数化表示形式;
e、利用所述线性伽玛特性函数和线性伽玛校正函数对已校正YUV颜色空间的向量和未失真RGB颜色向量进行关联,使关联后的向量与未失真RGB颜色向量位于同一信号空间,利用所述关联后的向量和未失真RGB颜色向量之间基于向量间平均广义距离最小准则设置数学优化问题,求解该数学优化问题,以确定YUV颜色空间各胞元上的线性伽玛校正函数的参数;
f、根据YUV颜色空间各胞元上的线性伽玛校正函数对视频输入设备输出的YUV视频信号进行逐胞元的伽玛校正。
下述方法的技术方案为可选技术方案。
所述RGB颜色空间为规一化的RGB颜色空间,所述YUV颜色空间为规一化RGB颜色空间通过所述颜色空间变换所生成的YUV颜色空间。
所述步骤a包括:
将R轴等分以获得各胞元在R轴上的边长、或者将R轴不等分以获得各胞元在R轴上的边长;
将G轴等分以获得各胞元在G轴上的边长、或者将G轴不等分以获得各胞元在G轴上的边长;
将B轴等分以获得各胞元在B轴上的边长、或者将B轴不等分以获得各胞元在B轴上的边长。
所述步骤b包括:
假设视频输入设备的伽玛环节在RGB颜色空间中的伽玛特性函数已知,R轴上基于胞元的各个划分点为eri,R轴被划分为NR个区间,i=1,2,3,….,NR,G轴上基于胞元的各个划分点为egj,G轴被划分为NG个区间,j=1,2,3,….,NG,B轴上基于胞元的各个划分点为ebk,B轴被划分为NB个区间,k=1,2,3,….,NB,则对于第(i,j,k)个胞元,根据最小均方误差最优准则建立的数学优化问题为:
其中:s.t.表示约束条件,kr(i)和br(i)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的R分量伽玛参数,kg(j)和bg(j)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的G分量伽玛参数;kb(k)和bb(k)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的B分量伽玛参数;
对上述数学优化问题进行求解,获得参数矩阵K(i,j,k)和参数向量B(i,j,k);
对于RGB颜色空间每个胞元重复上述计算过程,以确定每个胞元上的线性伽玛特性函数的参数,RGB颜色空间每个胞元的线性伽玛特性函数为:
其中:i,j,k为胞元CERGB的索引号,cdRGB为经过伽玛环节失真的RGB颜色向量,crRGB为未经过伽玛环节失真的RGB颜色向量。
所述步骤c中,YUV颜色空间中各胞元CEYUV(i,j,k)的边分别在Y、U、V方向上的坐标范围为:
0.299fri-1+0.587fgj-1+0.114fbk-1=ymin(i,j,k)≤y≤ymax(i,j,k)=0.299fri+0.587fgj+0.114fbk;
-0.147fri-0.289fgj+0.436fbk-1=umin(i,j,k)≤u≤umax(i,j,k)=-0.147fri-1-0.289fgj-1+0.436fbk;
0.615fri-1-0.515fgj-0.1fbk=vmin(i,j,k)≤v≤vmax(i,j,k)=0.615fri-0.515fgj-1-0.1fbk-1;
其中:fri、fgj、fbk为RGB颜色空间中的胞元CERGB(i,j,k)边界坐标eri、egj、ebk分别经过胞元CERGB(i,j,k)上线性伽玛特性函数失真后的数值,即fri、fgj、fbk为伽玛特性函数曲线上的点;或所述fri、fgj、fbk不为伽玛特性函数曲线上的点。
所述步骤e中关联的步骤包括:
设定RGB颜色空间中每个胞元上的线性伽玛特性函数、YUV颜色空间中每个胞元上的线性伽玛校正函数分别为:
cdRGB=K(i,j,k)crRGB+B(i,j,k),ccYUV=P(i,j,k)cuYUV+Q(i,j,k);
其中:cdRGB为经过伽玛环节失真的RGB颜色向量,crRGB为未经过伽玛环节失真的RGB颜色向量,K(i,j,k)和B(i,j,k)为RGB颜色空间中各胞元线性伽玛特性函数的参数,ccYUV为经过伽玛环节校正的YUV颜色向量,cuYUV为未经过伽玛环节校正的YUV颜色向量,P(i,j,k)和Q(i,j,k)为YUV颜色空间各胞元线性伽玛校正函数的参数;
利用线性伽玛特性函数将crRGB与未进行伽玛校正的YUV颜色向量cuRGB进行关联:
cuYUV=T(K(i,j,k)crRGB+B(i,j,k));
其中:T表示从RGB颜色空间到YUV颜色空间的正变换;
利用线性伽玛校正函数将已校正YUV颜色向量与crRGB进行关联:
ccYUV=P(i,j,k)T(K(i,j,k)crRGB+B(i,j,k))+Q(i,j,k);
其中:P(i,j,k)和Q(i,j,k)为YUV颜色空间各胞元上的线性伽玛校正函数的参数,i,j,k为胞元CEYUV的索引号,i=1,2,3,….,NR,j=1,2,3,….,NG,k=1,2,3,….,NB,NR为R轴上由于胞元划分而形成的区间个数,NG为G轴上由于胞元划分而形成的区间个数,NB为B轴上由于胞元划分而形成的区间个数。
所述步骤e中设置数学优化问题和求解的步骤包括:
在未失真RGB颜色空间中所述两向量误差的积累为:
其中:MSE表示均方误差;
结合ccYUV=P(i,j,k)T(K(i,j,k)crRGB+B(i,j,k))+Q(i,j,k),得出:
从而对于胞元CEYUV(i,j,k)i=1,2,3,….,NR,j=1,2,3,….,NG,k=1,2,3,….,NB,得到如下数学优化问题:
其中:POpt(i,j,k),QOpt(i,j,k)为所述数学优化问题的全局最优解;
所述数学优化问题的所述全局最优解POpt(i,j,k),QOpt(i,j,k)就是YUV颜色空间中胞元CEYUV(i,j,k)的线性伽玛校正函数的参数。
所述步骤f包括:
确定视频输入设备输出的YUV视频信号的各个采样值在YUV颜色空间中所属的胞元;
根据所述视频信号的各采样值在YUV颜色空间中所属的胞元确定各采样值分别对应的伽玛校正函数;
根据所确定的伽玛校正函数对所述视频信号的各个采样值进行伽玛校正。
本发明该提供一种视频通讯中视频输入设备伽玛特性校正装置,所述装置包括:存储模块、线性化模块、胞元化模块、数学优化模块、求解模块和伽玛校正模块;
存储模块:用于接收并存储RGB颜色空间各胞元的位置信息、YUV颜色空间各胞元的位置信息、视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数、以及YUV颜色空间中的各个胞元分别对应的线性伽玛校正函数的参数化表示形式和线性伽玛校正函数的参数;
线性化模块:用于根据存储模块中存储的信息计算视频输入设备所包含的伽玛环节的伽玛特性函数在RGB颜色空间各胞元上的线性化表示的参数,即得到各胞元的线性伽玛特性函数,并输出计算结果到存储模块进行存储;
胞元化模块:根据存储模块中存储的RGB颜色空间各胞元的位置信息将RGB颜色空间中的各胞元一对一地映射到YUV颜色空间,获得YUV颜色空间各胞元的位置信息,并传输至存储模块进行存储;
数学优化模块:利用存储模块中存储的线性伽玛特性函数和线性伽玛校正函数对已校正YUV颜色空间的向量和未失真RGB颜色向量进行关联,使其与未失真RGB颜色向量位于同一信号空间,利用所述关联后的向量和未失真RGB颜色向量之间基于向量间平均广义距离最小准则设置数学优化问题;
求解模块:求解所述数学优化问题,以确定YUV颜色空间中各胞元上的线性伽玛校正函数的参数,并传输至存储模块进行存储;
伽玛校正模块:用于根据存储模块中存储的线性伽玛校正函数的参数化表示形式、线性伽玛校正函数的参数、以及YUV颜色空间中各胞元的位置信息,对视频输入设备输出的YUV视频信号进行逐胞元的伽玛校正。
所述RGB颜色空间为规一化的RGB颜色空间;所述YUV颜色空间为规一化RGB颜色空间通过所述颜色空间变换所生成的YUV颜色空间。
通过上述技术方案的描述可知,本发明提供的伽玛校正方法能够直接在YUV颜色空间对输入设备输出的视频信号进行伽玛校正,解决了视频输入设备在不具备伽玛校正能力的情况下,在YUV颜色空间直接进行伽玛校正的问题,本发明能够很好的适用于低端视频输入设备的视频通讯过程中;本发明在YUV颜色空间实现伽玛校正时,避免了舍入误差、大量的资源消耗等问题,简化了伽玛校正的实现过程;从而通过本发明提供的技术方案达到了提高伽玛校正易用性,拓宽伽玛校正的应用范围,降低伽玛校正的实现成本的目的。
附图说明
图1是环节Gamma特性的模型示意图;
图2(a)是Gamma特性示意图一;
图2(b)是Gamma特性示意图二;
图3是对一个Gamma环节的Gamma校正原理示意图;
图4是视频信号在通讯网络中的传输过程示意图;
图5是红色、绿色和蓝色分量信号对应的Gamma特性曲线示意图;
图6是在YUV颜色空间进行Gamma校正的原理图;
图7是针对视频输入设备的视频信号流向示意图;
图8是本发明实施例的将RGB颜色空间划分成多个胞元的示意图;
图9是本发明实施例的用折线段来逼近R分量的Gamma特性函数的几何意义示意图;
图10是本发明实施例的将YUV颜色空间划分成多个胞元的示意图;
图11是本发明实施例的Gamma校正集成电路芯片实现YUV颜色空间伽玛校正的示意图一;
图12是本发明实施例的Gamma校正集成电路芯片实现YUV颜色空间伽玛校正的示意图二。
具体实施方式
在YUV颜色空间直接对视频输入设备输出的视频图像中的视频信号进行Gamma校正时,对视频信号的y,u,v信号分量进行的Gamma校正都会涉及到r,g,b三个信号分量,这样,Y,U,V三个通道的Gamma校正不是相互独立的,而是紧密耦合在一起的,这大大提高了从r,g,b信号分量各自的Gamma特性中获得在YUV颜色空间中直接进行Gamma校正的校正函数的难度,从而提高了在YUV颜色空间对视频输入设备输出的视频信号进行Gamma校正的难度。
本发明为在YUV颜色空间直接对视频输入设备输出的视频图像中的视频信号进行Gamma校正提供了一种有效可行的技术方案。本发明针对视频输入设备进行Gamma伽玛校正的示意图如附图6所示。从图6中可以看出,本发明是直接在YUV颜色空间对视频输入设备所包含的伽玛环节进行校正的。
本发明在YUV颜色空间对视频输入设备所包含的伽玛环节进行伽玛校正时,视频信号的流向如附图7所示。
图7中,本发明在YUV颜色空间对视频输入设备的伽玛环节进行伽玛校正的过程,一共涉及到四种视频信号空间,依照视频信号的流向,这四种视频信号空间依次为:
1、未失真的RGB颜色空间,视频信号在未失真的RGB颜色空间中的向量表示为crRGB,。
2、已失真的RGB颜色空间,即经过了Gamma环节的RGB颜色空间,视频信号在已失真的RGB颜色空间中的向量表示为cdRGB。
3、未校正的YUV颜色空间,视频信号在未校正的YUV颜色空间中的向量表示为cuYUV。
4、已经进行了伽玛校正的YUV颜色空间,视频信号在已经进行了伽玛校正的YUV颜色空间中的向量表示为ccYUV。
其中:rRGB表示raw RGB,dRGB表示distorted RGB,uYUV表示uncorrected YUV,cYUV表示corrected YUV。
下面对本发明提供的对视频输入设备所包含的伽玛特性的校正方法进行详细说明。
在本发明提供的技术方案中,视频输入设备所包含的Gamma环节在RGB颜色空间中的Gamma特性函数是已知的。视频输入设备的Gamma环节在RGB颜色空间中的Gamma特性函数可以采用目前的仪器测量方法来获得,也可以采用基于输入输出亮度信号全部知识计算Gamma特性函数的非盲方法来获得,也可以采用基于输入亮度信号的部分知识和输出亮度信号计算Gamma特性函数的半盲方法来获得,还可以采用基于输出亮度信号计算Gamma特性函数的全盲方法来获得。对于视频输入设备的Gamma环节在RGB颜色空间中的Gamma特性函数的获得方法在本发明中不再详细描述。
本发明在YUV颜色空间进行Gamma特性的校正方法包括以下步骤:
步骤1、将RGB颜色空间划分为多个胞元,并将RGB颜色空间的Gamma特性函数分区线性表示,使每个胞元都对应一个线性Gamma特性函数。
本发明中的RGB颜色空间可以通过规一化的RGB颜色空间来表示,即在RGB颜色空间中,r、g、b分量的绝对值不大于1,且r、g、b都取正值,即0≤r、g、b≤1。采用规一化的表示方法来表示RGB颜色空间有很多好处,在视频信号经过的各个处理环节中,具体的亮度或者色度信号等级可以不同,如256,64级等,但是,具有不同等级的视频信号都可以通过除以每个处理环节的亮度、或色度信号最高等级来变化到[-1,1]区间中,这样,不同处理环节处的视频信号的RGB颜色空间就和处理环节具体的亮度、色度信号的等级数无关了。
如果对RGB颜色空间进行了规一化处理,则RGB颜色空间就是一个单位立方体,即[0,1]×[0,1]×[0,1],或者简写为[0,1]3,其中:乘号“×”表示集合的笛卡尔积(CartesianProduct)。
在下面的描述中,RGB颜色空间为规一化的RGB颜色空间。
在3维RGB颜色空间中,本发明需要将RGB颜色空间划分成多个不相重叠的小长方体,每个小长方体叫做胞元(cell)。具体的划分方式如附图11所示。
图11中,R轴上的单位区间[0,1]被划分成NR个子区间,划分点分别是0=er0<er1<er2.……<erN-1<erN=1,这样,R轴上的各个子区间分别为:[er0,er1],[er1,er2],……,[eri-1,eri],……[erNR-1,erNR],其中:第i个子区间记作SIR(i)=[eri-1,eri],i=1,2,….,NR。SIR表示英文Sub-Interval of Red(红色子区间)。
需要说明的是,上述将R轴划分为NR个子区间的方式可以是任意方式,如等分、不等分等。同理,依照R轴上的单位区间[0,1]的划分方式对G、B轴上的单位区间[0,1]也进行子区间划分,G、B轴上的划分结果如下:
G轴单位区间[0,1]被划分成NG个子区间,G轴上的各个子区间分别为:[eg0,eg1],[eg1,eg2],……,[egj-1,egj],……[egNG-1,egNG],其中:第j个子区间记作SIG(j)=[egj-1,egj],j=1,2,……,NG。SIG表示英文Sub-Interval of Green(绿色子区间)。
B轴单位区间[0,1]被划分成NB个子区间,B轴上的各子区间分别为:[eb0,eb1],[eb1,eb2],……,[ebk-1,ebk],……,[ebNB-1,ebNB],其中:第k个子区间记作SIB(k)=[ebk-1,ebk],k=1,2,……,NB。SIB表示英文Sub-Interval of Blue(蓝色子区间)。
上述描述中的正整数i,j,k可以分别称为子区间的索引号。
基于这种子区间的划分,本发明可以对RGB颜色空间进行胞元划分,每个胞元实际上是一个三维长方体,这个长方体在R,G,B方向上的边分别对应一个子区间,长方体在R,G,B方向上的边对应的子区间分别用SIR(i),SIG(j),SIB(k)来表示。RGB颜色空间中的一个胞元可以记作CERGB(i,j,k),即用一个胞元在R,G,B三个方向上分别对应的子区间的索引号来联合表示该胞元、索引该胞元,此时的i,j,k为胞元的索引号。显然,RGB颜色空间被划分成NR×NG×NB个胞元。
在进行了上述胞元的划分后,需要引入Gamma特性函数的线性表示方式,即需要设置每个胞元对应的线性Gamma特性函数,也就是说,在RGB颜色空间的每个胞元中,都用同一个线性函数来表示Gamma特性函数,这个线性函数即为线性Gamma特性函数,不同胞元中的线性Gamma特性函数不同。
设定RGB颜色空间的Gamma特性函数为如下形式:
rd=gmr(rr);
gd=gmg(gr); (2)
bd=gmb(br);
一般来说,Gamma特性函数都是非线性函数,对于非线性函数来说,为了简化处理,可以采用分段线性化的策略。本发明采用分段线性化的策略将非线性的Gamma特性函数转化为线性的都是函数为Gamma特性函数。下面仍然以CERGB(i,j,k)为例对线性Gamma特性函数进行说明。
设定胞元CERGB(i,j,k)对应的线性Gamma特性函数表示为如下形式:
rd=gmr(rr)=kr(i)rr+br(i);
gd=gmg(gr)=kg(j)gr+bg(j); (3)
bd=gmb(br)=kb(k)br+bb(k);
其中:rd为经过Gamma环节后在RGB颜色空间中的r分量,即失真后的r分量,rr为未经过Gamma环节的在RGB颜色空间中的r分量,即未失真的r分量号,同理,gd为失真后的g分量,gr为未失真的g分量,bd为失真后的b分量,br为未失真的b分量;kr(i)、kg(j)、kb(k)、br(i)、bg(j)、bb(k)为胞元CERGB(i,j,k)的线性Gamma特性函数的参数。
将公式(3)写成矩阵形式为:
其中:K(i,j,k)是一个3×3的矩阵,B(i,j,k)是一个3×1列向量,K(i,j,k)和B(i,j,k)是胞元CERGB(i,j,k)的线性Gamma特性函数的参数,crRGB为视频信号在未失真的RGB颜色空间中的向量,cdRGB为视频信号在已失真的RGB颜色空间中的向量。
在本发明中,由于RGB颜色空间中的Gamma特性函数已知,所以,本发明可以直接根据这个已知的Gamma特性函数、采用分段线性化来获得RGB颜色空间中各胞元的线性Gamma特性函数。将非线性函数进行分段线性化的方法有多种,而且属于现有技术,在本发明的具体实施方式中仅以均方误差最优准则为例对获得RGB颜色空间中各胞元的线性Gamma特性函数进行说明。
基于均方误差最优准则获得RGB颜色空间中各胞元的R分量线性Gamma特性函数的过程如下:
首先,设定RGB颜色空间中各胞元的R分量线性Gamma特性函数的形式为:
然后,本发明可以根据均方误差最优准则来确定公式(5)中线性Gamma特性函数的参数kr(i),br(i),i=1,2,3,....,NR,即通过建立如下有约束条件的数学优化问题来确定kr(i),br(i),i=1,2,3,....,NR:
其中:s.t.表示约束条件,kr(i)和br(i)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的R分量伽玛参数。
公式(6)的数学表达式的意义是:在均方误差最优意义下,线性伽玛特性函数的参数kr(i),br(i),i=1,2,3,....,NR应该使目标函数或者代价函数 取最小值。
公式(6)是R颜色空间的Gamma特性函数gmr(.)的解析形式,是一个典型的有约束条件的数学优化问题,约束条件用s.t.(Subject to,受制约于…)符号后面跟随的一组方程来表示。
公式(6)中的约束条件共有NR个,这NR个约束条件成立的前提是:在RGB颜色空间的Gamma特性函数是连续的,而且Gamma特性函数满足gmr(1)=1。这两个前提条件非常宽松,非常容易满足。
数学优化问题的解法属于现有技术,因此,通过现有技术提供的求解方法,可以获得公式(6)的解,即获得参数kr(i),br(i),i=1,2,3,....,NR。
同理,本发明可以通过对以下公式(7)、(8)所示的数学优化问题进行求解,以获得参数kg(j),bg(j),j=1,2,3,....,NG和kb(k),bb(k),k=1,2,3,....,NB。
其中:s.t.表示约束条件,kg(j)和bg(j)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的G分量伽玛参数;kb(k)和bb(k)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的B分量伽玛参数。
通过上述描述可知,分段线性就是用一组折线段来逼近一条连续的Gamma特性曲线。用折线段来逼近r分量的Gamma特性函数的几何意义如附图8所示。
图8中的曲线为R分量的Gamma特性函数即gmr(r),图8中的横轴即r轴为未经过Gamma非线性失真影响的R分量,纵轴即gmr(r)为经过了Gamma非线性失真影响后的R分量。图8中的r轴中包含了5个划分点,这5个划分点分别是er0、er1、er2、er3、er4,这5个划分点将gmr(r)的曲线划分为4段,线段的端点分别为(er0,fr0),(er1,fr1),(er2,fr2),(er3,fr3),(er4,fr4)。这4段线段连接起来后,与gmr(r)的曲线非常逼近。
图8中r轴中的5个划分点分别对应的fr0,fr1,fr2,fr3,fr4均是gmr(r)曲线上的点,其实,r轴中的划分点分别对应的fri也可以不在gmr(r)曲线上。
由图8可知,对于r分量,设定有NR条折线段,这些折线段间就有NR+1个端点,其坐标分别是(er0,fr0),(er1,fr1),(er2,fr2),……,(erNR-1,frNR-1),(erNB,frNR),其中,eri和fri满足如下关系:
fri=kr(i)eri+br(i),i=1,2,....,NR (9)
fr0=br(1)
其中:fri为RGB颜色空间中的胞元CERGB(i,j,k)边界坐标eri经过胞元CERGB(i,j,k)上线性伽玛特性函数失真后的数值。
同理,对于g,b分量,也可以用折线段来逼近g分量、b分量的Gamma特性函数,即:
对于g分量,设定有NG条折线段,这些折线段间就有NG+1个端点,其坐标分别是(eg0,fg0),(eg1,fg1),(eg2,fg2),……,(egNG-1,fgNG-1),(egNG,fgNG),其中,egj和fgj满足如下关系:
fgj=kg(j)egj+bg(j),j=1,2,....,NG (10)
fg0=bg(1)
其中:fgj为RGB颜色空间中的胞元CERGB(i,j,k)边界坐标egj经过胞元CERGB(i,j,k)上线性伽玛特性函数失真后的数值。
对于b分量,设定有NB条折线段,这些折线段间就有NB+1个端点,其坐标分别是(eb0,fb0),(eb1,fb1),(eb2,fb2),……,(ebNB-1,fbNB-1),(ebNB,fbNB),其中,ebk和fbk满足如下关系:
fbk=kb(k)ebk+bb(k),k=1,2,....,NB (11)
fb0=bb(1)
其中:fbk为RGB颜色空间中的胞元CERGB(i,j,k)边界坐标ebk分别经过胞元CERGB(i,j,k)上线性伽玛特性函数失真后的数值。
本发明在Gamma特性函数进行线性化的处理过程中,涉及到数学优化问题的求解,该求解过程可以通过采用DSP(Digital Signal Processor,即数字信号处理器)芯片来实现。当数学优化问题采用所谓的神经网络如Hopfield网络来求解时,可以利用目前已经存在的商用神经网络数字集成电路芯片。
步骤2、对YUV颜色空间进行胞元划分,对YUV颜色空间的Gamma校正函数采用分区线性的方法来表示,即确定YUV颜色空间的线性Gamma校正函数。
由于在步骤2中需要用到YUV颜色空间与RGB颜色空间之间的变换,为了使本发明的技术方案更容易理解,所以,在对步骤2进行详细说明之前,先介绍一下YUV颜色空间与RGB颜色空间之间的变换。
由于颜色空间实际上就是一种坐标系,因此,YUV颜色空间与RGB颜色空间之间的变换遵循数学中关于坐标系变换的原则。这种变换可以是线性的,也可以是非线性的。
RGB颜色空间到YUV颜色空间的变换是线性的,如果设定从YUV颜色空间向RGB颜色空间变换的方向为逆,从RGB颜色空间到YUV颜色空间变换的方向为正,则正变换的数学关系为:
逆变换的数学关系为:
如果设定从RGB颜色空间向YUV颜色空间变换的方向为正,从YUV颜色空间到RGB颜色空间变换的方向为逆,则逆变换的数学关系为公式(13),正变换的数学关系为公式(12)。
本发明主要针对颜色空间变换为线性变换的情况。对于线性变换,都可以使用变换矩阵来表示,并且用T(Transform)表示正变换,R(Reverse Transform)表示逆变换。
颜色空间的变换不会改变颜色空间的维数,即颜色空间都是3维空间,因此,变换矩阵是3×3大小的矩阵,即:
在介绍了YUV颜色空间和RGB颜色空间之间的变换后,下面结合附图10对YUV颜色空间的胞元划分进行说明。
从图10可以看出,YUV颜色空间的坐标系不是正交的,即YUV颜色空间的坐标系不是直角坐标系,也就是说,YUV颜色空间坐标系的三根坐标轴之间不是两两相互正交(orthogonal)或者垂直(perpendicular)的。这种坐标系一般叫做仿射(affine)坐标系,而一般的欧几里德坐标系即直角坐标系只是仿射坐标系的一种特殊情形。因此,由RGB颜色空间变换生成的YUV颜色空间其实是一个平行六面体。这个平行六面体的各个边虽然不相互垂直,但是都平行于各自的坐标轴。
在仿射坐标系中,可以用如下集合来表示上述平行六面体的YUV颜色空间,即:
CSYUV={(y,u,v)|Ymin≤y≤Ymax,Umin≤u≤Umax,Vmin≤V≤Vmax}。其中,CSYUV为集合名称,其英文为Color Space YUV。该平行六面体CSYUV沿着Y,U,V轴方向的边长分别是:
LY=Ymax-Vmin
LU=Umax-Umin (15)
Lv=Vmax-Vmin
根据公式(12)可以计算出:Ymax=1,Ymin=0,Umax=0.436,Umin=-0.436,Vmax=0.615,Vmin=-0.615。
对于RGB颜色空间中的每一个胞元CERGB(i,j,k)(i=1,2,…,NR,j=1,2,…,NG,k=1,2,…,NB),经过RGB颜色空间到YUV颜色空间的变换,被映射成YUV颜色空间中的一个小平行六面体,这个小平行六面体即是YUV颜色空间中的一个胞元。本发明可以用CEYUV(i,j,k)(i=1,2,…,NR,j=1,2,…,NG,k=1,2,…,NB)来表示YUV颜色空间中的一个胞元。
由于RGB颜色空间中的胞元和YUV颜色空间中的胞元一一对应,所以,YUV颜色空间被胞元化,而且,RGB颜色空间中胞元的数目与YUV颜色空间中胞元的数目相同。对于胞元CEYUV(i,j,k),其坐标范围分别是:
0.299fri-1+0.587fgj-1+0.114fbk-1=ymin(i,j,k)≤y≤ymax(i,j,k)=0.299fri+0.587fgj+0.114fbk;(16)
-0.147fri-0.289fgj+0.436fbk-1=umin(i,j,k)≤u≤umax(i,j,k)=-0.147fri-1-0.289fgj-1+0.436fbk;(17)
0.615fri-1-0.515fgj-0.1fbk=vmin(i,j,k)≤v≤vmax(i,j,k)=0.615fri-0.515fgj-1-0.1fbk-1;(18)
其中:fri、fgj、fbk为RGB颜色空间中的胞元CERGB(i,j,k)边界坐标eri、egj、ebk分别经过胞元CERGB(i,j,k)上线性伽玛特性函数失真后的数值,即fri、fgj、fbk为伽玛特性函数曲线上的点;当然,fri、fgj、fbk也可以不为伽玛特性函数曲线上的点。
本发明在YUV颜色空间的每个胞元中,用分段线形函数来表示该胞元中的Gamma校正函数。本发明用gc(.)来表示胞元中的Gamma校正函数,则Gamma校正函数在每个胞元CEYUV(i,j,k)(i=1,2,…,NR,j=1,2,…,NG,k=1,2,…,NB)中的具体表现形式如下:
如果cuYUV∈CEYUV(i,j,k),i=1,2,....,NR,j=1,2,....,NG,k=1,2,....,NB。
其中:3×3矩阵
3×1列向量
步骤3、已校正YUV颜色空间的向量的关联过程,关联后的向量与未失真RGB颜色向量位于同一信号空间。
对于视频输入设备而言,由于其视频信号的流向为:未失真的RGB颜色空间->失真的RGB颜色空间->未进行伽玛校正的YUV颜色空间->已经进行了伽玛校正的YUV颜色空间。因此,可以通过如下过程对已校正YUV颜色空间的向量进行关联,使其与未失真RGB颜色向量位于同一信号空间,具体的关联过程为:
对于YUV颜色空间中的每个胞元CEYUV(i,j,k)来说,首先,在未失真的RGB颜色空间中的信号向量crRGB经过视频输入设备的Gamma环节后,产生伽玛失真,得到在已失真的RGB颜色空间中的信号向量cdRGB。其中crRGB属于未失真RGB颜色空间,cdRGB属于已失真的RGB颜色空间,且cdRGB=K(i,j,k)crRGB+B(i,j,k),K(i,j,k)和B(i,j,k)是RGB颜色空间中各胞元上的线性Gamma特性函数的参数。
然后,在已失真的RGB颜色空间中的信号向量cdRGB经过RGB颜色空间到YUV颜色空间的关联,得到在未进行伽玛校正的失真的YUV颜色空间中的信号向量cuYUV,且cuYUV=T(K(i,j,k)crRGB+B(i,j,k)),其中:cuYUV属于未校正的YUV颜色空间向量,T为从RGB颜色空间到YUV颜色空间的正变换。
在未进行伽玛校正的YUV颜色空间的信号向量cuYUV再经过Gamma校正后,得到在已校正的YUV颜色空间中的信号向量ccYUV,且ccYUV=P(i,j,k)T(K(i,j,k)crRGB+B(i,j,k))+Q(i,j,k),其中:ccYUV属于已校正的YUV颜色空间,P(i,j,k)和Q(i,j,k)为YUV颜色空间中各胞元的线性Gamma校正函数的参数。
通过上述推导过程可知,已校正YUV颜色空间的向量被关联为:
ccYUV=P(i,j,k)T(K(i,j,k)crRGB+B(i,j,k))+Q(i,j,k) (20)
如果crRGB∈CERaB(i,j,k),i=1,2,....,NR,j=1,2,....,NG,k=1,2,....,NB
步骤4、均方误差准则的建立。
对于视频输入设备而言,度量Gamma校正效果的最直接的方法是:衡量校正后的YUV颜色空间中的向量ccYUV关联后与没有Gamma失真情况下的RGB颜色空间中的向量GrRGB的平均广义距离的大小。平均广义距离如均方误差准则、加权均方误差准则等。
设定没有Gamma失真情况下的YUV颜色空间的向量是TcrRGB,则按照统计信号处理领域常用的均方误差准则,可以将具体的误差形式定义为:
(ccYUV-TcrRGB)T(ccYUV-TcrRGB)。
这样,在整个YUV颜色空间上,这种误差的积累可以用如下积分的形式定义为:
其中:MSE表示均方误差,英文是Mean Square Error。
从公式(21)可以看出,均方误差反映了Gamma校正结果偏离假想的未经过Gamma失真的RGB颜色空间的向量的一种偏差的累积度量。同理,加权均方误差也同样反映了偏差的累积度量。这个累积度量结果的数值越小,则说明Gamma校正结果偏离假想的未经过Gamma失真的RGB颜色空间的向量的偏差越小,Gamma校正的保真度越高。
步骤5、基于均方误差准则确定YUV颜色空间中各胞元的线性Gamma校正函数。
由于RGB颜色空间中的每个胞元CERGB(i,j,k)和YUV颜色空间中的每个胞元CEYUV(i,j,k)一一对应,那么,定义在CERGB(i,j,k)上的Gamma特性函数被定义在CEYUV(i,j,k)的Gamma校正函数校正。其它胞元的Gamma特性函数和Gamma校正函数不影响CERGB(i,j,k)和CEYUV(i,j,k)。因此,本发明得出一种重要的结论是:每个胞元CEYUV(i,j,k)的Gamma校正函数可以独立确定,只依赖于胞元CERGB(i,j,k)上Gamma特性函数,或者说只依赖于胞元CERGB(i,j,k)上的线性Gamma特性函数。
根据上述独立原则,本发明可以在YUV颜色空间逐胞元地确定Gamma校正函数。由于所有的胞元构成了整个YUV颜色空间,所以,只要确定了YUV颜色空间中每个胞元CEYUV(i,j,k)的Gamma校正函数,就可以确定全部YUV颜色空间上的Gamma校正函数。
对于视频输入设备而言,本发明确定YUV颜色空间中每个胞元上的Gamma校正函数所依据的准则是:公式(21)定义的最小均方误差准则,即本发明需要确定3×3矩阵 和3×1列向量 使得 最小。
结合公式(20)和(21),可以获得:
(22)
公式(22)可以转化为一个经典的数学优化问题,即:
也就是说,本发明通过采用数学优化的方法来获得公式(23)的全局最优解POpt(i,j,k),QOpt(i,j,k),这个全局最优解就是YUV颜色空间各胞元的伽玛校正函数的参数。其中Opt是英文Optimal(最优)的缩写。
对公式(23)的求解方法属于现有技术,在本实施例中不再详细描述。
上述步骤1至步骤5可以称为是Gamma校正的设计过程,即确定执行Gamma校正过程中所需要使用的参数的过程。一般来说,对于一个给定的Gamma环节或者级联的Gamma环节,执行Gamma校正的设计过程可以根据实际需要来确定,在视频输入设备包含的伽玛环节发生变化时,执行一次Gamma校正的设计过程。也就是说,执行Gamma校正的设计过程与视频输入设备输出的视频信号的变化无关。
步骤6、根据上述获得的伽玛校正函数在YUV颜色空间中直接对视频输入设备输出的视频图像进行逐胞元的Gamma校正。
对于CEYUV(i,j,k)来说,由于其坐标范围和Y,U,V方向上的边长分别是:
0.299fri-1+0.587fgj-1+0.114fbk-1=ymin(i,j,k)≤y≤ymax(i,j,k)=0.299fri+0.587fgj+0.114fbk;
-0.147fri-0.289fgj+0.436fbk-1=umin(i,j,k)≤u≤umax(i,j,k)=-0.147fri-1-0.289fgj-1+0.436fbk;
0.615fri-1-0.515fgj-0.1fbk=vmin(i,j,k)≤v≤vmax(i,j,k)=0.615fri-0.515fgj-1-0.1fbk-1;
因此,对于给定的一组未校正的YUV颜色空间中的视频信号(yu,uu,vu),执行如下步骤进行伽玛校正:
A、对于视频输入设备输出的视频序列中的每一帧图像,判断图像中的每个视频信号(yu,uu,vu)属于YUV颜色空间中的哪个胞元,本发明采用坐标范围比较的方法来确定图像中的像素所属的胞元,即如果存在某组(i0,j0,k0),且(i0,j0,k0)使公式(27)满足:
ymin(i0,j0,k0)≤yu≤ymax(i0,j0,k0)
umin(i0,j0,k0)≤uu≤umax(i0,j0,k0) (27)
vmin(i0,j0,k0)≤vu≤vmax(i0,j0,k0)
则可以确定视频信号(yu,uu,vu)属于胞元CEYUV(i0,j0,k0)。
本发明可以对视频信号(yu,uu,vu)采用逐胞元比较的方式,来对比视频信号与胞元的坐标范围,在确定视频信号属于某个胞元的坐标范围时,停止后续的比较过程。
B、利用相应胞元的伽玛校正函数对该视频信号进行Gamma校正,并输出。续前例,设定视频信号(yu,uu,vu)属于胞元CEYUV(i0,j0,k0),且胞元CEYUV(i0,j0,k0)对应的伽玛校正函数的参数为P(i0,j0,k0)和Q(i0,j0,k0),则对视频信号(yu,uu,vu)进行伽玛校正的结果为:
步骤6的伽玛校正过程需要在视频通信过程中,对视频输入设备输出的视频信号的每个采样值都重复进行。
在步骤6的实现过程中,本发明可以利用硬件电路即Gamma校正集成电路芯片来实现YUV颜色空间的伽玛校正。Gamma校正集成电路芯片实现YUV颜色空间伽玛校正的示意图如附图11、附图12所示。
图11中,本发明的Gamma校正集成电路芯片是可以支持多路视频信号的校正的,并且允许用户通过指令配置其在伽玛校正过程中所需要使用到的参数,如YUV颜色空间各胞元的位置信息、YUV颜色空间中的各个胞元分别对应的线性伽玛校正函数的参数化表示形式、线性伽玛校正函数的参数等等。
图12中,在Gamma校正集成电路芯片内部包含3个子电路分别实现Y,U,V分量的校正。如果将线性参数P,Q表示的线性Gamma校正函数转换成曲面上的N3个点、每个点是4个坐标分量(Y,U,V,F),其中的F表示函数值,这样,Gamma校正集成电路芯片需要4N3个参数。如果Gamma校正集成电路芯片同时校正M路信号,则Gamma校正集成电路芯片的配置参数个数为4MN3。
本发明还提供一种视频通讯伽玛特性的校正装置,包括:存储模块、线性化模块、胞元化模块、数学优化模块、求解模块和伽玛校正模块。
存储模块主要用于为伽玛校正模块提供伽玛校正过程中所需要用到的参数,如YUV颜色空间各胞元的位置信息、YUV颜色空间中的各个胞元分别对应的线性伽玛校正函数的参数化表示形式和线性伽玛校正函数的参数等,存储模块还为线性化模块、胞元化模块、数学优化模块提供必要的参数,如RGB颜色空间各胞元的位置信息、视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数、以及YUV颜色空间中的各个胞元分别对应的线性伽玛校正函数的参数化表示形式等。存储模块中存储的信息包括用户输入的信息,如RGB颜色空间各胞元的位置信息、线性伽玛校正函数的参数化表示形式、视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数等。存储模块中存储的信息也包括本发明校正装置中的其他模块输入的,如YUV颜色空间各胞元的位置信息、线性伽玛校正函数的参数等。
线性化模块主要用于根据存储模块中存储的信息如视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数、RGB颜色空间各胞元的位置信息等计算视频输入设备所包含的伽玛环节的伽玛特性函数在RGB颜色空间各胞元上的线性化表示的参数,即得到各胞元的线性伽玛特性函数。线性化模块可以采用建立数学优化问题并求解的方法来获得各胞元的线性伽玛特性函数。
当线性化模块采用数学优化问题并求解的方法来获得各胞元的线性伽玛特性函数时,线性化模块可以建立如方法实施例中公式(6)、(7)、(8)描述的数学优化问题,并且,线性化模块可以利用求解模块来对其建立的数学优化问题进行求解,以获得RGB颜色空间各胞元的线性伽玛特性函数。线性化模块获得的RGB颜色空间各胞元的线性伽玛特性函数传输至存储模块,由存储模块进行存储。
胞元化模块主要用于根据存储模块中存储的RGB颜色空间各胞元的位置信息将RGB颜色空间中的各胞元一对一地映射到YUV颜色空间,获得YUV颜色空间各胞元的位置信息,并传输至存储模块进行存储;这里的RGB颜色空间可以为规一化的RGB颜色空间,这样,YUV颜色空间为规一化RGB颜色空间通过颜色空间变换所生成的YUV颜色空间。胞元化模块输出的YUV颜色空间各胞元的位置信息如上述方法实施例中公式(16)、(17)、(18)所示。
数学优化模块主要用于利用存储模块中存储的线性伽玛特性函数和线性伽玛校正函数对已校正YUV颜色空间的向量和未失真RGB颜色向量进行关联,使其与未失真RGB颜色向量位于同一信号空间,如关联后的结果如上述方法实施例中公式(20)所示。数学优化模块利用公式(20)和未失真RGB颜色向量之间基于向量间平均广义距离最小准则设置数学优化问题,如设置的数学优化问题如公式(22)所示。
求解模块可以是一个公共的通用模块,如商用神经网络数字集成电路芯片等,求解模块可以对数学优化模块和胞元化模块建立的数学优化问题进行求解。以确定RGB颜色空间各胞元的线性伽玛特性函数、以及YUV颜色空间中各胞元上的线性伽玛校正函数的参数,并传输至存储模块,由存储模块进行存储。
伽玛校正模块主要用于对视频输入设备输出的YUV视频信号进行逐胞元的伽玛校正。对于视频输入设备输出的视频序列中的每一帧图像,伽玛校正模块需要根据存储模块中存储的YUV颜色空间各胞元的位置信息判断图像中的每个视频信号(yu,uu,vu)属于YUV颜色空间中的哪个胞元,然后,利用相应胞元的伽玛校正函数对该视频信号进行Gamma校正,并输出校正后的视频信号。伽玛校正模块可以为上述方法实施例中描述的Gamma校正集成电路芯片,伽玛校正模块所需要的参数由存储模块来提供。具体如上述方法中的描述。
虽然通过实施例描绘了本发明,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,本发明的申请文件的权利要求包括这些变形和变化。
Claims (10)
1、一种视频通讯中视频输入设备伽玛特性校正方法,其特征在于,包括:
a、将RGB颜色空间划分为多个胞元;
b、根据视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数,获得所述伽玛特性函数在RGB颜色空间各胞元上的线性化表示,即得到各胞元的线性伽玛特性函数;
c、将RGB颜色空间的各胞元一对一地映射到YUV颜色空间,使得YUV颜色空间被划分为多个胞元;
d、设置YUV颜色空间中各个胞元的线性伽玛校正函数的参数化表示形式;
e、利用所述线性伽玛特性函数和线性伽玛校正函数对已校正YUV颜色空间的向量和未失真RGB颜色向量进行关联,使关联后的向量与未失真RGB颜色向量位于同一信号空间,所述关联后的向量为对所述已校正YUV颜色空间的向量进行关联后获得的向量,利用所述关联后的向量和未失真RGB颜色向量之间基于向量间平均广义距离最小准则设置数学优化问题,求解该数学优化问题,以确定YUV颜色空间各胞元上的线性伽玛校正函数的参数;
f、根据YUV颜色空间各胞元上的线性伽玛校正函数对视频输入设备输出的YUV视频信号进行逐胞元的伽玛校正。
2、如权利要求1所述的方法,其特征在于,所述RGB颜色空间为规一化的RGB颜色空间,所述YUV颜色空间为规一化RGB颜色空间通过颜色空间变换所生成的YUV颜色空间。
3、如权利要求1或2所述的方法,其特征在于,所述步骤a包括:
将R轴等分以获得各胞元在R轴上的边长、或者将R轴不等分以获得各胞元在R轴上的边长;
将G轴等分以获得各胞元在G轴上的边长、或者将G轴不等分以获得各胞元在G轴上的边长;
将B轴等分以获得各胞元在B轴上的边长、或者将B轴不等分以获得各胞元在B轴上的边长。
4、如权利要求1或2所述的方法,其特征在于,所述步骤b包括:
假设视频输入设备的伽玛环节在RGB颜色空间中的伽玛特性函数已知,R轴上基于胞元的各个划分点为eri,R轴被划分为NR个区间,i=1,2,3,….,NR,G轴上基于胞元的各个划分点为egj,G轴被划分为NG个区间,j=1,2,3,….,NG,B轴上基于胞元的各个划分点为ebk,B轴被划分为NB个区间,k=1,2,3,….,NB,则对于第(i,j,k)个胞元,根据最小均方误差最优准则建立的数学优化问题为:
其中:s.t.表示约束条件,kr(i)和br(i)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的R分量伽玛参数,kg(j)和bg(j)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的G分量伽玛参数;kb(k)和bb(k)为RGB颜色空间的第(i,j,k)个胞元的线性伽玛特性函数的B分量伽玛参数;
对上述数学优化问题进行求解,获得参数矩阵K(i,j,k)和参数向量B(i,j,k);
对于RGB颜色空间每个胞元重复上述计算过程,以确定每个胞元上的线性伽玛特性函数的参数,RGB颜色空间每个胞元的线性伽玛特性函数为:
其中:i,j,k为胞元CERGB的索引号,cdRGB为经过伽玛环节失真的RGB颜色向量,crRGB为未经过伽玛环节失真的RGB颜色向量。
5、如权利要求1或2所述的方法,其特征在于,所述步骤c中,YUV颜色空间中各胞元CEYUV(i,j,k)的边分别在Y、U、V方向上的坐标范围为:
0.299fri-1+0.587fgj-1+0.114fbk-1=ymin(i,j,k)≤y≤ymax(i,j,k)=0.299fri+0.587fgj+0.114fbk;-0.147fri-0.289fgj+0.436fbk-1=umin(i,j,k)≤u≤umax(i,j,k)=-0.147fri-1-0.289fgj-1+0.436fbk;0.615fri-1-0.515fgj-0.1fbk=vmin(i,j,k)≤v≤vmax(i,j,k)=0.615fri-0.515fgj-1-0.1fbk-1;
其中:fri、fgj、fbk为RGB颜色空间中的胞元CERGB(i,j,k)边界坐标eri、egj、ebk分别经过胞元CERGB(i,j,k)上线性伽玛特性函数失真后的数值,即fri、fgj、fbk为伽玛特性函数曲线上的点;或所述fri、fgj、fbk不为伽玛特性函数曲线上的点。
6、如权利要求2所述的方法,其特征在于,所述步骤e中关联的步骤包括:
设定RGB颜色空间中每个胞元上的线性伽玛特性函数、YUV颜色空间中每个胞元上的线性伽玛校正函数分别为:
cdRGB=K(i,j,k)crRGB+B(i,j,k),ccYUV=P(i,j,k)cuYUV+Q(i,j,k);
其中:cdRGB为经过伽玛环节失真的RGB颜色向量,crRGB为未经过伽玛环节失真的RGB颜色向量,K(i,j,k)和B(i,j,k)为RGB颜色空间中各胞元线性伽玛特性函数的参数,ccYUV为经过伽玛环节校正的YUV颜色向量,cuYUV为未经过伽玛环节校正的YUV颜色向量,P(i,j,k)和Q(i,j,k)为YUV颜色空间各胞元线性伽玛校正函数的参数;
利用线性伽玛特性函数将crRGB与未进行伽玛校正的YUV颜色向量cuRGB进行关联:
cuYUV=T(K(i,j,k)crRGB+B(i,j,k));
其中:T表示从RGB颜色空间到YUV颜色空间的正变换;
利用线性伽玛校正函数将已校正YUV颜色向量与crRGB进行关联:
ccYUV=P(i,j,k)T(K(i,j,k)crRGB+B(i,j,k))+Q(i,j,k);
其中:P(i,j,k)和Q(i,j,k)为YUV颜色空间各胞元上的线性伽玛校正函数的参数,i,j,k为胞元CEYUV的索引号,i=1,2,3,….,NR,j=1,2,3,….,NG,k=1,2,3,….,NB,NR为R轴上由于胞元划分而形成的区间个数,NG为G轴上由于胞元划分而形成的区间个数,NB为B轴上由于胞元划分而形成的区间个数。
7、如权利要求6所述的方法,其特征在于,所述步骤e中设置数学优化问题和求解的步骤包括:
在未失真RGB颜色空间中所述关联后的向量和未失真RGB颜色向量误差的积累为:
其中:MSE表示均方误差,TcrRGB为没有Gamma失真情况下的YUV颜色空间的向量;
结合ccYUV=P(i,j,k)T(K(i,j,k)crRGB+B(i,j,k))+Q(i,j,k),其中,T表示从RGB颜色空间到YUV颜色空间的正变换,得出:
从而对于胞元CEYUV(i,j,k)i=1,2,3,….,NR,j=1,2,3,….,NG,k=1,2,3,….,NB,得到如下数学优化问题:
其中:POpt(i,j,k),QOpt(i,j,k)为所述数学优化问题的全局最优解;
所述数学优化问题的所述全局最优解POpt(i,j,k),QOpt(i,j,k)就是YUV颜色空间中胞元CEYUV(i,j,k)的线性伽玛校正函数的参数。
8、如权利要求1或2所述的方法,其特征在于,所述步骤f包括:
确定视频输入设备输出的YUV视频信号的各个采样值在YUV颜色空间中所属的胞元;
根据所述视频信号的各采样值在YUV颜色空间中所属的胞元确定各采样值分别对应的线性伽玛校正函数;
根据所确定的线性伽玛校正函数对所述视频信号的各个采样值进行伽玛校正。
9、一种视频通讯中视频输入设备伽玛特性校正装置,其特征在于,所述装置包括:存储模块、线性化模块、胞元化模块、数学优化模块、求解模块和伽玛校正模块;
存储模块:用于接收并存储RGB颜色空间各胞元的位置信息、YUV颜色空间各胞元的位置信息、视频输入设备所包含的伽玛环节在RGB颜色空间中的伽玛特性函数、以及YUV颜色空间中的各个胞元分别对应的线性伽玛校正函数的参数化表示形式和线性伽玛校正函数的参数;
线性化模块:用于根据存储模块中存储的信息计算视频输入设备所包含的伽玛环节的伽玛特性函数在RGB颜色空间各胞元上的线性化表示的参数,即得到各胞元的线性伽玛特性函数,并将所述各胞元的线性伽玛特性函数输出到存储模块进行存储;
胞元化模块:根据存储模块中存储的RGB颜色空间各胞元的位置信息将RGB颜色空间中的各胞元一对一地映射到YUV颜色空间,获得YUV颜色空间各胞元的位置信息,并传输至存储模块进行存储;
数学优化模块:利用存储模块中存储的线性伽玛特性函数和线性伽玛校正函数对已校正YUV颜色空间的向量和未失真RGB颜色向量进行关联,使关联后的向量与未失真RGB颜色向量位于同一信号空间,所述关联后的向量为对所述已校正YUV颜色空间的向量进行关联后获得的向量,利用所述关联后的向量和未失真RGB颜色向量之间基于向量间平均广义距离最小准则设置数学优化问题;
求解模块:求解所述数学优化问题,以确定YUV颜色空间中各胞元上的线性伽玛校正函数的参数,并传输至存储模块进行存储;
伽玛校正模块:用于根据存储模块中存储的线性伽玛校正函数的参数化表示形式、线性伽玛校正函数的参数、以及YUV颜色空间中各胞元的位置信息,对视频输入设备输出的YUV视频信号进行逐胞元的伽玛校正。
10、如权利要求9所述的校正装置,其特征在于,所述RGB颜色空间为规一化的RGB颜色空间;所述YUV颜色空间为规一化RGB颜色空间通过颜色空间变换所生成的YUV颜色空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101115794A CN100551080C (zh) | 2006-08-28 | 2006-08-28 | 视频通讯中视频输入设备伽玛特性校正方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101115794A CN100551080C (zh) | 2006-08-28 | 2006-08-28 | 视频通讯中视频输入设备伽玛特性校正方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101137070A CN101137070A (zh) | 2008-03-05 |
CN100551080C true CN100551080C (zh) | 2009-10-14 |
Family
ID=39160855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101115794A Expired - Fee Related CN100551080C (zh) | 2006-08-28 | 2006-08-28 | 视频通讯中视频输入设备伽玛特性校正方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100551080C (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075750B (zh) * | 2011-01-07 | 2014-06-18 | 深圳市融创天下科技股份有限公司 | 一种rgb空间的视频编解码方法、装置和系统 |
US20130021528A1 (en) * | 2011-02-28 | 2013-01-24 | Shichang Liu | Image Transmission and Display Method Comply with Chromaticity and Visual Fidelity Principle |
CN103931169B (zh) * | 2011-10-17 | 2018-02-02 | 刘世昌 | 一种通用的色域映射及色彩管理方法 |
CN103096092B (zh) * | 2013-02-07 | 2015-12-02 | 上海国茂数字技术有限公司 | 基于颜色空间变换进行编解码误差修正的方法和系统 |
EP3110127A1 (en) * | 2015-06-25 | 2016-12-28 | Thomson Licensing | Color gamut mapping using a lightness mapping based also on the lightness of cusp colors belonging to different constant-hue leaves |
CN106657945B (zh) * | 2016-12-30 | 2018-10-16 | 上海集成电路研发中心有限公司 | 一种非线性分段的伽马校正实现方法 |
CN114928730B (zh) * | 2022-06-23 | 2023-08-22 | 湖南国科微电子股份有限公司 | 图像处理方法和图像处理装置 |
-
2006
- 2006-08-28 CN CNB2006101115794A patent/CN100551080C/zh not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
AN ADAPTIVE ORDER-STATISTIC NOISE FILTERFORGAMMA-CORRECTED IMAGE SEQUENCES. Kleihorst,R.P.etc.Image Processing,IEEE Transactions on,Vol.6 No.10. 1997 |
AN ADAPTIVE ORDER-STATISTIC NOISE FILTERFORGAMMA-CORRECTED IMAGE SEQUENCES. Kleihorst,R.P.etc.Image Processing,IEEE Transactions on,Vol.6 No.10. 1997 * |
Also Published As
Publication number | Publication date |
---|---|
CN101137070A (zh) | 2008-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100551080C (zh) | 视频通讯中视频输入设备伽玛特性校正方法和装置 | |
CN100505034C (zh) | 从一图像数据集到另一个的改进的色域映射系统和方法 | |
KR101095636B1 (ko) | 소스 컬러 공간에서 대상 컬러 공간으로 전환하기 위한방법 및 장치 | |
CN101009851B (zh) | 一种图像处理方法及其装置 | |
CN100534202C (zh) | 图像色彩的增强处理装置和处理方法 | |
CN1921561A (zh) | 改善对比度增强的技术 | |
US8902471B2 (en) | System and method for converting over-range colors | |
CN102349300A (zh) | 多原色转换 | |
KR101080846B1 (ko) | 보정 행렬의 추정에 의한 영상의 색상 손상 보정장치 및 방법 | |
CN116092423A (zh) | 一种显示面板色彩校正方法及装置 | |
CN100563347C (zh) | 视频通讯中视频显示设备伽玛特性校正方法和装置 | |
CN108495101A (zh) | 一种图像校正方法、装置、图像采集设备和可读存储介质 | |
US8861850B2 (en) | Digital image color correction | |
CN110544457A (zh) | 反Gamma动态映射算法 | |
CN106971375B (zh) | 一种图像放大的处理方法及装置 | |
CN113870756B (zh) | 显示设备的校正方法、系统和装置 | |
CN101889454B (zh) | 色彩调节电路 | |
CN104933671A (zh) | 图像颜色融合方法 | |
CN100574458C (zh) | 一种获取伽玛校正特性的方法和装置 | |
CN100433825C (zh) | 伽玛特性协商校正方法及其应用系统和终端 | |
US8085277B2 (en) | System and method for clipping values of pixels in one color space so not to exceed the limits of a second color space | |
CN104853062A (zh) | 影像修正方法与影像修正装置 | |
CN100446464C (zh) | 一种视频流伽玛特性的校正方法 | |
CN100581271C (zh) | 伽玛校正方法、伽玛校正系统和伽玛校正装置 | |
CN100518333C (zh) | 一种视频通信伽玛特性的校正方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091014 Termination date: 20150828 |
|
EXPY | Termination of patent right or utility model |