发明内容
本发明的一个目的是在上述两个缺点之间取得最好的折衷。
为此目的,本发明的目的是一种使用至少一个预先变换的图像来处理其中包含在时间上连续的基本图像的视频内容的方法,所述至少一个预先变换的图像与所述基本图像之一相关联,所述至少一个预先变换的图像与之相关联的每个基本图像被称为“关键图像”,其中每个预先变换的图像表示所述相关联的关键图像的色彩变换,所述方法包括以下步骤:
-从每个关键图像和相关联的预先变换的图像中,导出能够将所述关键图像变换到所述预先变换的图像的色彩变换;
-选择与不同于所述关键图像的基本图像与每个关键图像相关联,
-将每个色彩变换应用到基本图像的选择中与所述关键图像相关联的每个基本图像,以便获得变换后的图像。
根据本发明,与关键图像相关联的每个预先变换的图像与向该关键图像应用如上指出的从该关键图像和该预先变换的图像中导出的色彩变换将获得的图像一致。
优选地,每个关键图像与多个预先变换的图像相关联。
优选地,该方法适配于使用不同类型的显示设备来显示所述视频内容,所述多个预先变换的图像中的每个预先变换的图像表示适配于通过所述类型的显示设备来显示所述关键图像的所述关键图像的变换。
优选地,该方法还包括以下步骤:
-识别期望显示所述视频内容的至少一种类型的显示设备,
-为了执行从每个关键图像导出色彩变换,根据所识别的显示设备的类型预先选择与所述关键图像相关联的预先变换的图像。
当对于每个关键图像,存在多个相关联的预先变换的图像时,从该多个预先变换的图像中选择预先变换的图像。
本发明的目的还在于,一种使用预定类型的显示设备来显示视频内容的方法,包括根据本发明处理视频内容,以及步骤:以与视频内容的对应的基本图像的相同的连续时间顺序来显示变换后的图像和所选择的至少一个预先变换的图像。
本发明的目的还在于,一种能够连接到服务器和至少一个图像显示设备的视频内容接收器,其包括用于以下的部件:
-接收包含在时间上连续的图像的视频内容;
-识别该接收器所连接的每个显示设备的类型Ti,Tk;
-将关于该类型的标识的对应信息传输给服务器;
-在所接收的视频内容的图像中,检测被称为关键图像的图像,并且利用所检测的每个关键图像,检测用于所识别的每个类型的显示设备的相关联的预先变换的图像;
-从由关键图像Im_Kj和相关联的预先变换的图像Im_Vji形成的每一对中导出能够将该关键图像变换为该预先变换的图像并且可应用接收的视频内容的任何其它图像的色彩变换Trji;
-接收视频内容以及一信息,该信息使得可以对检测的每个关键图像选择以该关键图像被变换到相关联的预先变换的图像之一的相同的方式来变换视频内容的其它图像;
-连同每个关键图像Im_Kj的检测,并且使用与视频内容一起接收的所述信息,使用从包含所述关键图像的对中导出的至少一个色彩变换在视频内容中执行对要变换的图像的选择;
-对连同从中导出该色彩变换的所述对中包含的关键图像Im_Kj选择的图像应用每个色彩变换;
-以与接收的视频内容的对应图像的相同的连续时间顺序,向与接收器连接的每个显示设备发送修改后的视频内容,所述修改后的视频内容包括与识别的该显示设备的类型Ti,Tk相关联的预先变换的图像并包括应用从包含所述预先变换的图像的各对中导出的色彩变换而获得的变换后的图像。
该接收器可以特别是解码器。该解码器可以集成在显示设备中。
本发明的一个优点在于,仅仅在传输侧存储仅仅具有有限数量的预先变换图像的电影的一个版本。本发明使得可以仅仅必须准备这些预先变换的图像而不是视频内容的不同的完整的版本。
本发明的一个优点还在于,可兼容于不能适配于检测传输流中的关键图像和预先变换的图像的接收器。
总而言之,本发明的目的在于,一种用于处理能够适配于若干种类型的显示设备的视频内容的方法,其中使用与该内容的关键图像相关联的至少一个预先变换的图像来变换所述内容的每个图像,并且其中,从每个关键图像和一相关联的预先变换的图像中导出色彩变换,以及其中在对与所述关键图像相关联的该内容的图像的选择中应用每个色彩变换。
在被应用于包含连接有若干种类型的显示设备的服务器和接收器的内容广播系统时,本发明有利地使得可以使内容适配于这些不同的类型。
具体实施方式
图2示出了能够实现本发明的第一实施例的视频广播系统。该系统包括:一侧的连接到视频点播(VOD)服务器2的视频内容Film_V0T的存储平台1,以及另一侧的连接到类型Ti的图像显示设备41的家用解码器3。如前所述,该系统还包括能够将视频内容从服务器2传输到解码器3的传输装置5。
解码器3适配于:
-经由传输装置5从服务器2接收视频内容;
-在接收的视频内容中检测关键图像并且利用每个关键图像检测相关联的预先变换的图像;
-识别解码器所连接的显示设备41的类型Ti并且将对应的标识信息传输给服务器2;这种识别可以特别使用被称为EDID的标准;
-从关键图像及其相关联的预先变换的图像形成的每个对中导出能够将该关键图像变换到该预先定义的图像并且可应用于视频内容的任何其它图像的色彩变换;
-连同对每个关键图像的检测,使用利用视频内容接收的信息,执行使用每个色彩变换要变换的视频内容的图像的选择;
-将导出的每个色彩变换应用到所选择的这些图像;
-以与接收的视频内容的对应图像的相同的连续时间顺序,向连接到解码器3的显示设备41发送包括预先变换的图像和变换后的图像的修改后的视频内容,所述变换后的图像是通过应用从包括这些预先变换的图像的各对导出的色彩变换而获得的。
服务器2适配于:
-经由传输装置5从解码器3接收图像显示设备的类型的标识的信息项;
-从与在视频内容中包括的任何关键图像相关联的多个预先变换的图像中选择适配于使用与所接收的标识信息项对应的类型的图像显示设备来显示该关键图像的该多个预先变换的图像中的预先变换的图像;
-将所选择的预先变换的图像插入到视频内容中;
-经由传输装置5将该视频内容发送给解码器3;
-与视频内容一起发送选择信息,使得可以为在视频内容中包括的每个关键图像选择与该关键图像被变换到相关联的预先变换的图像之一的方式来变换的视频内容的图像。
对于根据本发明的第一实施例的方法的实现,首先如下准备基本视频内容Film_V0。从基本视频内容的图像中,选择M个关键图像Im_K1,Im_K2,…,Im_Kj,…,Im_KM。对关键帧的选择可以是任意的:它们可以均匀地分布在基本视频内容中,例如,每1000个图像一个关键图像。替代地,可以在视频内容的每个场景中选取一关键图像,以此方式使得它可以尽可能地代表在该场景中使用的色彩。
利用基本视频内容的每个关键图像Im_Kj,然后从该相同的关键图像中准备被称为预先变换的版本Im_Vj1,Im_Vj2,…,Im_Vji,…,Im_VjN的N个版本,该相同关键图像Im_Kj的每个版本Im_Vji适配于图像显示设备的对应类型Ti。以与同一视频内容的不同版本类似的方式来执行该准备,如在现有技术中所描述的。由此,每个关键图像Im_Kj与被称为预先变换的图像Im_Vj1,Im_Vj2,…,Im_Vji,…,Im_VjN的N个图像相关联。
然后每个图像Im_Kj以与该关键图像Im_Kj被变换到相关联的预先变换的图像之一相同的方式与要变换的视频内容的图像的选择相关联;该选择通常不包括关键图像自身;该选择关注于例如在该关键图像Im_Kj与之后的关键图像Im_Kj+1之间包含的所有图像。如前所述,在关键图像代表场景的色彩的情形下,该选择优选地涉及同一场景的所有图像。
内容中的关键图像的选择和与关键图像相关联的内容的其它图像以本质上已知方式经历内容的每个图像的索引编排。
在存储平台1上,因此存储以此方式对其图像被编排索引的视频内容和MxN个预先变换的图像Im_Vj=1到M;i=1到N。由此,取代如在现有技术中的在存储平台上存储同一基本视频内容Film_V0的N个不同版本Film_Vi=0到N,仅仅准备并存储NxM个预先变换的图像,这需要小得多的准备和存储资源。有利地,对于每个关键图像Im_Kj,直接准备分别适配于图像显示设备的类型T1,T2,…Ti,…TN的一系列N个预先变换的图像Im_Vj1,Im_Vj2,…,Im_Vji,…Im_VjN,而不用使用不同的完整的视频内容版本。
解码器3识别其所连接的图像显示设备的类型Ti,并且经由传输装置5将标识信息发送给服务器2。使用该标识信息,对于每个关键图像Im_Kj,服务器2从与该关键图像相关联的多个预先变换的图像Im_Vj1,Im_Vj2,…,Im_Vji,…Im_VjN中选择适配于使用该类型Ti的设备来显示该关键图像Im_Kj的多个预先变换的图像中的预先变换的图像Im_Vji。对于类型Ti的图像显示设备,因此整体获得M个预先变换的图像Im_Vj=1到M;i.的选择。
然后,在将视频内容Film_V0传输到解码器3之前,服务器通过插入M个预先变换的图像Im_Vj=1到M;i..来修改该内容。优选地,以这种方式来执行对视频内容的这种插入,使得每个预先变换的图像Im_Vji取代与相关联的关键图像Im_Kj紧相邻的图像,优选地,紧紧跟随该关键图像的图像。由此获得如在图3中描述的视频内容。因此该视频内容包括其中一些被编排索引“K”作为关键图像的未修改的基本图像以及由服务器2选择的预先变换的图像,如之前所述的。
使用传输装置5,服务器2然后将修改后的视频内容和存储的选择信息(如之前所述的)传输给解码器3,这使得对于每个关键图像,可以以与该关键图像被变换为其相关联的预先变换的图像相同的方式,来选择要变换的视频内容的图像。
解码器3接收修改后的视频内容和该选择信息。
从每个关键图像Im_Kj和从相关联的预先变换的图像Im_Vji中,解码器导出能够将该关键图像Im_Kj变换到该选择的预先变换的图像Im_Vji的色彩变换Trji,例如如下所述。
对于从由关键图像和选择的相关联的预先变换的图像形成的该图像对中导出色彩变换,例如可以如下进行:
-在关键图像和预先变换的图像之间构建对应的色彩对,每个色彩对由例如通过CIE-XYZ虚拟色彩空间中的三色坐标X,Y,Z表示的视频内容的色彩空间中的关键图像的像素的色彩,和由例如通过类型Ti的图像显示设备的线性色彩空间中的三色坐标R,G,B表示的类型Ti的图像显示设备的色彩空间中的预先变换的图像中的相同像素的色彩形成;
-由此获得查找表,其中关键图像的色彩作为输入值,预先变换的图像的色彩作为输出值。
-使用该表的输入值,以这样的方式在视频内容的色彩空间中形成输入四面体,使得每个四面体的四个顶点对应于该空间中的四个相邻输入值,并且以这样的方式在显示设备的色彩空间中形成对应的输出四面体,使得每个四面体的四个顶点对应于该空间中的四个相邻输出值;由此,该查找表使得输入四面体能够与输出四面体匹配。
使用与视频内容一起传输的信息,解码器将每个关键图像Im_Kj与关键图像Im_Kj不同的、要以该关键图像被转换为它所选择的预先变换的图像相同的方式变换的视频内容的图像的选择相关联。对于每个关键图像Im_Kj,例如,如以下所述的,解码器应用导出的色彩变换Trji到与该关键图像相关联的选择的每个图像;由此获得变换后的图像。然后,从关键图像Im_Kj和从相关联的选择的预先变换的图像Im_Vji中形成的图像对中导出的色彩变换按如下操作,以便从要变换的图像转换为变换的图像:
-对于要变换的图像的每个像素,或者输入像素,以本质上已知的方式识别该像素的色彩所属于的视频内容的色彩空间的输入四面体:例如由以下三色坐标来表示该四面体的顶点:X0Y0Z0,X1Y1Z1,X2Y2Z2,X3Y3Z3;
-使用之前描述的定义色彩变换Trji的查找表,对与已经识别的输入四面体对应的输出四面体进行搜索,例如由以下三色坐标来表示该四面体的顶点:R0G0B0,R1G1B1,R2G2B2,R3G3B3;
根据以下公式计算行列式DET
其中:
aXYZ=X1-X0,aXYZ′=Y1-Y0,aXYZ″=Z1-Z0
bXYZ=X2-X0,bXYZ′=Y2-Y0,bXYZ″=Z2-Z0
cXYZ=X3-X0,cXYZ′=Y3-Y0,cXYZ″=Z3-Z0
-然后计算以下系数:
其中dXYZ=Xs-X0,dXYZ'=Ys-Y0,dXYZ''=Zs-Z0
-然后根据以下公式获得与要变换的图像的输入像素对应的变换后的图像的像素的色彩的三色坐标RSGSBS:
Rs=aRGBus+bRGBvs+cRGBws+R0
Gs=aRGB'us+bRGB'vs+cRGB'ws+G0
Bs=aRGB''us+bRGB''vs+cRGB''ws+B0
其中:
aRGB=R1-R0,aRGB'=G1-G0,aRGB''=B1-B0
bRGB=R2-R0,bRGB'=G2-G0,bRGB''=B2-B0
cRGB=R3-R0,cRGB'=G3-G0,cRGB''=B3-B0
通过将该方法应用到与关键图像Im_Kj相关联的选择的视频内容的每个图像,由此获得一系列的变换的图像。通过以相同的方式对于每个关键图像这样做,由此获得每个关键图像的一系列变换后的图像。
可以使用能够从由输入图像和输出图像形成的对中导出色彩变换的其它任何方法而不脱离本发明。
通过以初始的视频内容的对应图像的相同的连续时间顺序将获得的所有变换后的图像和预先变换的图像Im_Vj=1到M;i结合在一起,在解码器侧获得了适配于在与该解码器连接的类型Ti的显示设备上正确地显示视频内容的视频内容的修改后的版本。如之前所述的,该修改后的版本非常接近于在现有技术中使用的对应版本Film_Vi。
解码器然后将视频内容的该修改后的版本发送给显示设备以便获得该视频内容的显示。
不管连接到解码器的图像显示设备的类型,借助于本发明,可以特别在服务器侧利用有限的内容准备和存储资源来获得给定视频内容的几乎相同的显示。另外,将预先变换的图像插入到发送给解码器的视频内容中使得可以使色彩变换连续适配于显示器。由此,特别地,可以根据每个场景特定的调色板(color palette),使色彩变换具体适配于内容视频的每个场景。本发明的另一优点在于,不具有用于识别其中每一个由关键图像和预先变换的图像形成的对的装置的解码器仍然可以提供可显示的视频内容给它所连接的图像显示设备,这是由于将预先变换的图像插入到传输到解码器的视频内容将仅仅轻微地扰乱观看。
图4示出了能够实现本发明的第二实施例的视频广播系统。该系统与之前的系统相同,实质性差异在于,它还包括连接到同一解码器3的类型Tk的第二图像显示设备42,该类型Tk与设备41的类型Ti不同。
同样相同的解码器3还特别适配于:
-识别解码器3所连接的每个显示设备41,42的类型Ti,Tk;
-将用于标识该类型的对应信息传输给服务器(2);
-利用检测的每个关键图像,为识别的每个类型Ti,Tk的显示设备检测相关联的预先变换的图像;
-以与接收的视频内容的对应图像的相同的连续时间顺序,向与解码器3连接的每个显示设备41,42发送修改后的视频内容,该修改后的视频内容包括与识别的该显示设备41的类型Ti,Tk相关联的预先变换的图像并包括应用从包含这些预先变换的图像的对中导出的色彩变换而获得的变换后的图像。
同样相同的服务器还特别适配于:
-经由传输装置5从解码器3接收关于显示设备41,42的每个类型Ti,Tk的标识的信息项;
-从与在视频内容中包括的任何关键图像相关联的多个预先变换的图像中选择适配于使用与所接收的标识信息项对应的类型Ti,Tk的图像显示设备来显示该关键图像的该多个预先变换的图像中的预先变换的图像。
对于根据本发明的第二实施例的方法的实现,如前所述,首先准备基本视频内容Film_V0。如前所述,在存储平台1上,因此存储其图像被编排索引的视频内容和MxN个预先变换的图像Im_Vj=1到M;i=1到N。
解码器3然后识别它所连接的图像显示设备的类型Ti,Tk,并且经由传输装置5将该标识信息传输给服务器2。使用该标识信息,对于每个关键图像Im_Kj,服务器2从与该关键图像相关联的多个预先变换的图像Im_Vj1,Im_Vj2,…,Im_Vji,…Im_VjN中选择适配于分别使用类型Ti和类型Tk的显示设备来显示该关键图像Im_Kj的该多个预先变换的图像中的预先变换的图像Im_Vji,Im_Vjk。对于类型Ti,Tk的图像显示设备,因此整体获得2xM个预先变换的图像Im_Vj=1到M;i,Im_Vj=1到M;k的选择。
然后,在将视频内容Film_V0传输给解码器3之前,服务器通过插入2xM个预先变换的图像Im_Vj=1到M;i.,Im_Vj=1到M;k.来修改该内容。优选地,以这种方式来执行对视频内容的这种插入,使得每一对预先变换的图像Im_Vji,Im_Vjk取代与相关联的关键图像Im_Kj紧相邻的一对图像,优选地,紧紧跟随该关键图像的一对图像。由此获得如在图5中描述的视频内容。
使用传输装置5,服务器2然后将修改后的视频内容和存储的选择信息(如之前所述的)传输给解码器3,这使得对于每个关键图像,可以以与该关键图像被变换为一个和另一个相关联的预先变换的图像相同的方式,来选择要变换的视频内容的图像。
解码器3接收修改后的视频内容和该选择信息,并且具有关于连接的显示设备41,42的类型Ti,Tk的标识的信息。
对于包含关键图像Im_Kj和相关联的预先变换的图像Im_Vji,Im_Vjk之一的每一对,如前所述,解码器导出能够将该关键图像Im_Kj变换到该预先变换的图像的色彩变换Trji,Trjk。
使用与视频内容一起传输的信息,解码器将对于每个关键图像Im_Kj与关键图像Im_Kj不同的、要以该关键图像被转换为它所选择的预先变换的图像相同的方式变换的视频内容的图像的选择相关联。对于每个关键图像Im_Kj,如前所述,解码器应用导出的色彩变换Trji,Trjk到与该关键图像相关联的选择的每个图像;由此获得变换后的图像。
然后,以与解码器3接收到的视频内容的对应图像的相同的连续时间顺序,解码器3向每个显示设备41,42发送特定的修改后的视频内容,该特定的修改后的视频内容包括与识别的该显示设备41的类型Ti,Tk相关联的预先变换的图像以及应用从包含这些预先变换的图像的对中导出的色彩变换而获得的变换后的图像。
本发明可类似地应用于连接到同一解码器3的多于两个图像显示设备的情形。
本发明可类似地应用于其中若干解码器通过传输装置5或者通过不同的装置连接到同一服务器2的情形。
不管连接到解码器的图像显示设备的类型,借助于本发明,可以特别在服务器侧,利用有限的内容准备和存储资源来获得给定视频内容的几乎相同的显示。另外,将预先变换的图像插入到发送给解码器的视频内容中使得可以使色彩变换连续适配于显示器。由此,特别地,可以根据每个场景特定的调色板,使色彩变换具体适配于视频内容的每个场景。本发明的另一优点在于,不具有用于识别其中每一个由关键图像和预先变换的图像形成的对的装置的解码器仍然可以提供可显示的视频内容给它所连接的显示设备,这是由于将预先变换的图像插入到传输到解码器的视频内容将仅仅轻微地扰乱观看。
本发明可应用于任何类型的视频内容服务器和任何类型的接收器,解码器是其中的一种类型的接收器。