CN101686402A - 一种处理视频数据的方法和系统 - Google Patents

一种处理视频数据的方法和系统 Download PDF

Info

Publication number
CN101686402A
CN101686402A CN200910204944A CN200910204944A CN101686402A CN 101686402 A CN101686402 A CN 101686402A CN 200910204944 A CN200910204944 A CN 200910204944A CN 200910204944 A CN200910204944 A CN 200910204944A CN 101686402 A CN101686402 A CN 101686402A
Authority
CN
China
Prior art keywords
color
saturation
image
video
statistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910204944A
Other languages
English (en)
Other versions
CN101686402B (zh
Inventor
艾克·伊克泽尹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies Fiber IP Singapore Pte Ltd
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN101686402A publication Critical patent/CN101686402A/zh
Application granted granted Critical
Publication of CN101686402B publication Critical patent/CN101686402B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Abstract

本发明涉及一种处理视频数据的方法和系统,其中所述的视频处理系统可确定影像中的场景并可基于确定的场景适应性地调节所述的静止或移动的影像的一个或多个三维色彩分量。所述三维色彩分量可包括亮度、色调和/或饱和度分量。可以收集三维色彩分量的统计数据并利用该数据确定影像的内容和/或场景类型。可使用插入的文本信息,可基于统计数据和/或内容和/或场景类型的认知而进行的改写处理影像的配置参数。色调、饱和度和/或亮度值可基于统计值、场景内型和/或内容进行调整。至少一部分影像的三维色彩分量可动态地改变。统计数据可包括相对于色调和/或亮度的饱和度分配、相对于饱和度和/或亮度的色调分配和/或亮度分配。

Description

一种处理视频数据的方法和系统
相关申请的交叉引用和参考结合
本申请参考并要求2008年9月23日提交的申请号为61/099352,名称为“场景自适应的动态3-D色彩管理系统的方法和系统”的美国临时申请的优先权,并在此全部引入本文中作为参考。
技术领域
本发明的涉及数据处理;更具体地说,涉及用于场景自适应动态3-D色彩管理的方法和系统。
背景技术
在当代的电视机和监视器中,存在多种静态技术以改善色貌。这些控制的大多数都静态的进行描述,这是因为它们不会自动地适应于源内容。静态控制可基于用户的输入。一般的显示器包括对比度、亮度、色调(或“淡色”)以及饱和度的静态控制。电视机和监视器有时也包括红、绿和蓝色通道的单色增益和补偿控制,以改变白平衡或色温。它们也可以包括伽马控制。响应静态控制的色彩处理器可增加某些色彩的饱和度。一个例子是增加绿色的饱和度以增强草和叶子的色貌。同时,也可以增强蓝色以改善天空的色貌。
比较本发明后续将要结合附图介绍的系统,现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。
发明内容
一种场景自适应动态3-D色彩管理的系统和/或方法,其在至少一幅附图中示出和/或结合至少一幅附图进行了描述,在权利要求中有更完整的描述。
根据一方面,一种用于处理视频数据的方法包括:
在视频处理系统中:
确定与静止或移动的影像(image)相关的场景;以及
基于所述确定,适应性地调节所述静止或移动影像的一个或多个三维色彩分量。
优选的,所述的三维色彩分量包括亮度(luma)、色调和/或饱和度分量。
优选的,所述方法进一步包括收集至少部分所述的静止或移动影像的三维色彩分量的统计数据。
优选的,所述方法进一步包括基于所述收集到的三维色彩分量统计数据,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
优选的,所述方法进一步包括基于在所述的静止或移动影像中插入的编码和/或文本信息,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
优选的,所述方法进一步包括基于收集到的所述静止或移动影像的一个或多个三维色彩分量统计数据来改写配置参数,以处理至少一部分的所述静止或移动影像。
优选的,所述方法进一步包括基于所述静止或移动影像的场景类型和/或源内容的认知(knowledge)来改写配置参数,以处理至少一部分的所述静止或移动影像。
优选的,所述方法进一步包括一个或多个以下的步骤:
基于一个或多个三维色彩分量统计数据、场景类型和/或源内容,调节至少一部分所述静止或移动影像的单个色调(individual hue)或色调范围;
基于一个或多个三维色彩分量统计数据、场景类型和/或源内容,调节至少一部分所述静止或移动影像的单个饱和度或饱和度范围;
基于一个或多个三维色彩分量统计数据、场景类型和/或源内容,调节至少一部分所述静止或移动影像单个亮度或亮度范围。
优选的,所述方法进一步包括动态地改写至少一部分所述的静止或移动影像的一个或多个所述的三维色彩分量。
优选的,所述方法进一步包括一个或多个以下的步骤:
确定跨越(span)所有和/或部分所述的静态和/或移动影像内的一个或多个亮度的范围的特定色调和/或色调范围的饱和度分布;
确定跨越在所有和/或部分所述的静态和/或移动影像内的一个或多个亮度的范围的特定饱和度和/或饱和度范围的色调分布;以及
确定所有和/或部分所述的静态和/或移动影像内的亮度分布。
根据一方面,处理视频数据的系统包括:
用于视频处理系统中的一个或多个处理器,其中所述的一个或多个处理器可用于:
确定与静止或移动的影像相关的场景;以及
基于所述确定,适应性地调节所述静止或移动的影像的一个或多个三维色彩分量。
优选的,所述的三维色彩分量包括亮度、色调和/或饱和度分量。
优选的,所述的一个或多个处理器可用于收集至少一部分所述的静止或移动影像的三维色彩分量统计数据。
优选的,所述的一个或多个处理器基于所述收集到的三维色彩分量统计数据,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
优选的,所述的一个或多个处理器可用于基于所述静止或移动影像中插入的的编码和/或文本信息,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
优选的,所述的一个或多个处理器可用于基于收集到的所述静止或移动影像的一个或多个三维色彩分量统计数据改写配置参数,处理至少一部分的所述静止或移动影像。
优选的,所述的一个或多个处理器可用于基于所述静止或移动影像的场景类型和/或源内容的认知来改写配置参数,处理至少一部分的所述静止或移动影像。
优选的,所述的一个或多个处理器,可用于进行以下一个或多个操作:
基于一个或多个三维色彩分量统计数据、场景类型和/或源内容,调节至少一部分所述静止或移动影像的单个色调或色调范围;
基于一个或多个三维色彩分量统计数据、场景类型和/或源内容,调节至少一部分所述静止或移动影像的单饱和度或饱和度范围;
基于一个或多个三维色彩分量统计数据、场景类型和/或源内容,调节至少一部分所述静止或移动影像的单个亮度或亮度值范围。
优选的,所述的一个或多个处理器可用于动态地改写至少一部分的所述静止或移动影像的一个或多个所述的三维色彩分量。
优选的,所述的一个或多个处理器可用于进行以下一个或多个操作:
确定跨越所有和/或部分所述的静态和/或移动影像内的一个或多个亮度的范围的特定色调和/或色调范围的饱和度分布;
确定跨越在所有和/或部分所述的静态和/或移动影像内的一个或多个亮度的范围的特定饱和度和/或饱和度范围的色调分布;以及
确定所有和/或部分所述的静态和/或移动影像内的亮度分布。
通过以下的说明书和附图的描述,将能完全理解本发明的各种优点、方面和新颖性特征及其例示性的实施例的详细内容。
附图说明
图1A所示为根据本发明的一实施例的例示性的视频系统的框图,其中所述的系统包括动态的三维色彩管理模块;
图1B所示为根据本发明的实施例的例示性的动态三维色彩管理系统的框图;
图2A所示为根据本发明的实施例的表示例示性的三维色彩统计模块的框图;
图2B所示为根据本发明的实施例的表示三维饱和度直方图的例示性的可视化框图;
图2C所示为根据本发明的实施例的展示三维色调直方图的例示性的可视化框图;
图2D所示为根据本发明的实施例的展示例示性的三维动态色彩再映射模块的框图;
图3所述为根据本发明的实施例的执行动态三维色彩管理的例示性的步骤的流程图。
具体实施方式
本发明的某些实施例可在场景自适应动态3-D色彩管理的方法和系统中找到。视频处理系统可用于确定与静止或移动影像相关的场景。视频处理系统可用于基于确定的场景适应性地调节静止或移动影像的一个或多个三维色彩分量。就这一点而言,三维色彩分量可包括亮度、色调和/或饱和度。视频处理系统可收集至少一部分静止或移动影像的三维色彩分量的统计数据,并基于该统计数据,确定至少一部分的静态和/或移动影像的源内容和/或场景类型。在一些情况下,可基于静态或一定影像中插入的编码和/或文本信息来确定源内容和/或场景类型。在本发明的各个实施例中,可改写配置参数以处理至少一部分的静止或移动影像。可基于一个或多个三维色彩分量统计数字改写配置参数。此外,可基于静止或移动影像的场景类型和/或源内容的认知来改写配置参数。可基于一个或多个三维色彩分量统计数据、场景类型和/或源内容以调节色调、饱和度和/或亮度值。就这一点而言,可动态调节一个或多个三维色彩分量以适应至少一部分的静止或移动的影像作。此外,视频处理系统可确定特定色调和/或色调范围的饱和度分布,其中色调可以跨越全部和/或一部分静止和/或移动影像内的一个或多个亮度的范围。而且,色调的分布可由特定饱和度和/或饱和度范围确定,其中饱和度可以跨越所有和/或一部分静止和/或移动的影像内的一个或多个色调的范围。
图1A所示为根据本发明的实施例的例示性的视频系统的框图,该系统包括动态三维色彩管理模块。参照图1A,示出的视频系统100包括处理子系统102、输入视频流141、输出视频流143、显示子系统119、视频处理器110、三维(3-D)色彩管理模块112、存储器114以及主处理器116。
处理子系统102可包括视频处理器110、3-D色彩管理模块112、存储器114、主处理器116以及合适的能处理视频流和/或产生视频回放流的逻辑、电路、接口和/或编码。
视频处理器110可包括合适的逻辑、电路、接口和/或代码,用于执行视频处理操作,例如色彩管理操作,可以通过3-D色彩管理模块112来实现。视频处理器110可用于处理通过视频系统100接收的输入视频流141,从而产生能供显示子系统119显示的输出视频信号流143。色彩管理模块112可包括合适的逻辑、电路、接口和/或代码,用于基于从视频流聚集的统计数据的分析结果动态地调节和/或改善三维色彩。例如,可操控色彩管理模块112以通过调节处理参数来促进3-D色彩的改变和/或改善。
主处理器116可包括合适的逻辑、电路、接口和/或代码,用于在处理子系统102中执行主控制和/或管理操作。主处理器116用来控制存储器114、视频处理器110和/或色彩管理模块112中的至少一部分。就这一点而言,主处理器116可在处理子系统102中生成诸如控制操作的至少一个或多个信号。主处理器116还能够执行可由处理子系统102使用的应用。
存储器114可包括合适的逻辑、电路、接口和/或代码,用于在处理子系统102中储存和/或检索数据、代码和/或指示。例如,存储器114可用于在经由处理子系统102处理操作的过程中排列数据和/或存储代码和/或配置使用的数据。
显示子系统119可包括合适的逻辑、电路、接口和/或代码,用于基于经由处理子系统110产生的输出视频流143执行显示操作。显示子系统119和处理子系统110可集成在一个装置内,例如在电视机内。或者,显示子系统119和处理子系统110可集成在不同的装置内,接着耦合这些装置以能够执行回放操作。例如,显示子系统119可对应于电视机内的显示逻辑,而处理子系统110可集成在可用来执行专用视频处理操作的机顶盒内。
输入视频流141可包括含有视频信息的数据流。输入视频流141可包括,例如编码的视频流,所述的视频流可通过诸如电视头端和/或音频/视频回放装置产生和/或通信。输出视频流143可包括视频数据流,其适合于经显示逻辑显示操作,例如是在显示子系统119中。
在操作中,可视频系统100可用于执行视频显示和/或回放操作,从而促进对应于由输入视频流141接收的视频数据的影像显示。处理子系统102可用于通过视频处理器100执行视频处理的工作,这样能够产生输出视频流143,可利用该输出视频流以促使通过显示子系统119的视频显示和/或回放操作。例如,视频处理器110可用于处理与影像相关的亮度和色度(chroma)信号,所述的影像可对应于经输入视频流141接收的视频信号。亮度信号可表示明亮度信息(brightness information),而色度信号可表示色彩信息。例如,在Y’CbCr色彩空间中,参数Cb和Cr可对应于影像的色彩或色度分量,参数Y’可表示影像的明亮度或亮度分量。在Y’CbCr色彩空间中,色彩可表示成明亮度和两种色彩差异信号。每个影像可通过多个Y’CbCr编码的视频像素来表示,每一个可表示成3个参数(Y、Cb、Cr)。色彩管理模块112可接收Y’CbCr编码的视频像素,并可以把像素转换成亮度、饱和度和色调色彩空间。此外,色彩管理模块112可从转换的视频像素聚集三维色彩统计数据。色彩管理模块112可基于聚集的统计数据改写用于转换的视频像素的视频处理配置参数聚集。因此,色彩管理处理器112可处理视频像素并生成适合于增强显示的输出视频像素。
图1B为根据本发明的实施例的例示性的动态三维色彩管理系统的框图。参考图1B,所示的动态三维(3-D)色彩管理系统150包括视频处理器模块105、含有亮度统计模块107和/或色度统计模块109的三维(3-D)色彩统计模块101、直极转换模块111、三维(3-D)色彩再映射模块103、第一处理模块113、色彩空间转换器矩阵M 115、第二处理模块以及面板显示器119。此外,色彩管理系统150可包括亮度统计模块参数121a、色度统计模块参数121b、3-D色彩映射参数129、其它处理参数131、色彩空间转换器矩阵M参数133、其它处理参数135、亮度统计值123a和色度统计值123b。YCbCrin像素数据141和RGBout像素数据143都在图中示出。
动态三维(3-D)色彩管理系统150可包括合适的逻辑、电路和/或代码,用于监测像素数据并可以根据监测到的信息和其它的输入(如用户输入)来修正像素数据的色彩处理。动态3-D色彩管理系统150可聚集色彩分量的统计数据,例如明亮度、色调和/或饱和度,并且可以基于收集到统计数据修正或重新配置三维色彩转变处理。可逐帧地和/或逐子帧地改写并执行3-D色彩转变。就这一点而言,色彩映射参数可以根据各种类型的图像改变,这些图像可在一个或多个场景中检测到。动态3-D色彩管理系统150可以是部分的较大的视频处理链,其中外围的处理可包括诸如用图形和/或其它源的解码、去隔行、比例缩放和合成。
动态3-D色彩管理系统150中的处理像素数据的路径可包括一个或多个直极转换模块111、3-D颜色再映射模块103、包括第一其它处理模块113和第二其它处理模块117的多个其它处理模块、色彩空间转换器矩阵M 115以及显示器119。视频处理器模块105和3-D色彩统计模块101可监测和/或控制在数据路径中的像素数据和/或像素数据的处理。输入到动态3-D色彩管理系统150中的信号,如输入YCbCrin141的像素数据,可以以图1所示的YCbCr色彩空间格式化,然而,本系统并不限于此。例如,可改变动态3-D色彩管理系统150以处理其它色彩空间的像素数据,例如RGB和/或HSB。
视频处理器模块105可包括合适的逻辑、电路和/或代码,用于处理和/或控制一种或多种动态3-D色彩管理处理步骤。视频处理器模块105可通信地耦合到3-D色彩统计模块101、亮度统计模块107、色度统计模块109、直极转换模块111、3-D色彩再映射模块103、包括第一其它处理模块113和第二其它处理模块117的多个其它处理模块、色彩空间转换器矩阵M 115以及显示器119。视频处理器模块105可接收来自3-D色彩统计模块101的像素数据的统计数据。视频处理器模块105可使用模型识别技术以把用接收的统计数据表示的视频图像分成各种场景类别或场景类型。一般地,不同的场景类型可表示不同的问题且优选用不同的色彩或影像处理配置来进行处理。场景类型可包括室外运动如高尔夫或足球;各种类型的电影场景如内设、人物或面部的特写镜头;自然景色如森林或海景。此外,各种确定的电视节目,如情景喜剧或新闻可确定较佳的处理配置。
除了色彩统计数据,也可以检测其它的信息源以确定场景类型或类别。例如,可以使用来自高级视频代码源的用启数据和/或信息中的隐藏字幕文本数据、其它的垂直消隐间隙(VBI)信息、MPEG视频流。在场景或场景类型中,可确定影像内容的进一步改进,例如检测肤色或检测室外绿色植物的色调。基于收集到的3-D色彩统计数据和/或检测到的场景特征,视频处理器模块105可确定出配置一个或多个可增强场景图像的色彩处理模块的参数。处理器模块105可分配配置参数并可以动态地控制3-D色彩管理系统中的3-D色彩管理。在本发明的各个实施例中,可以确定由3-D色彩处理系统150接收的像素数据的帧和/或部分帧的参数。读取统计数据以及确定参数和/或分配参数的速率可以改变,以避免不必要的参数改变。
3-D色彩统计模块101可包括合适的逻辑、电路和/或代码,用于聚集关于输入信号YCbCrin像素数据141的统计数据,并可以把统计数据发送到处理器模块105中。3-D色彩统计模块101可包括亮度统计模块107和色度统计模块109。亮度统计模块107可接收输入信号YCbCrin像素数据141的亮度分量Yin的统计数据。色度统计模块109可接收涉及源于输入信号YCbCrin像素数据141的Cb和Cr分量的色调和饱和度分量的统计数据。3-D色彩统计模块101、亮度统计模块107和色度统计模块109可接收视频处理器模块105的配置参数,该参数可基于亮度和色度统计数据确定。
直极转换模块111可包括合适的逻辑、电路和/或代码,用于将在直角坐标中表示的输入信号YCbCrin像素数据141的Cb和Cr分量转换成在极坐标中表示的色调和饱和度分量。就这一点而言,各种色调和各种饱和度可以在色轮中表示出来,其中色调根据旋转的角坐标而变化,且色调的饱和度根据径向坐标变化。例如,与原色差距最大的色调的饱和度最高,而逐渐向原色接近时,色调会慢慢变得不饱和。各种饱和度的色调的范围可以限定在色轮的由特定的极角和特定的径向尺寸定界的轮盘区域。
三维(3-D)色彩再映射模块103可包括合适的逻辑、电路和/或代码,用于调节接收的像素数据的亮度、色度和/或饱和度。就这一点而言,3-D色彩映射模块可计算亮度、色度和/或饱和度的增益和/或补偿调整。3-D色彩再映射模块103可接收直角转换模块111和/或外源的色度、饱和度和亮度色彩空间内的像素数据,并可以在直角坐标内的YCbCr色彩空间输出像素数据。3-D色彩再映射模块103可接收处理器模块105的配置信息,例如各种参数、查找表和/或系数。参数可逐帧地接收或者以更大或更小的间隔接收,这取决于设计或实现的约束。
其它处理模块113和117可包括合适的逻辑、电路和/或代码,可用于执行外围视频处理步骤。例如,其它处理模块113和/或117可用于执行一个或多个以下步骤:解码、去隔行、比例缩放、锐化和合成图形。其它处理模块可接收配置信息,该信息可由3-D色彩统计模块101和/或其它的源聚集的统计数据的分析来确定。例如,视频处理器模块105可确定视频帧或一部分帧可包括肤色范围内的色彩,例如脸部影像的肤色。在这种情况下,视频处理器模块105可确定锐化应当减少,并可把配置参数发送给由其它处理模块113执行的锐化处理,以减少帧或一部分帧的锐化。
色彩空间转换器矩阵M 115可包括合适的逻辑、电路和/或代码,用于接收一个色彩空间内的处理的像素数据,例如包括可以以极坐标系形式表达的亮度、色调和饱和度。色彩信息可被转换成其它的色彩空间,例如直角坐标系内的RGB。RGB色彩空间的色彩可以在不同的装置内进行不同的再现。色彩空间转换器矩阵M 115可用于接收配置参数,如视频处理器模块105的矩阵系数。可基于输入信号色彩和/或其它信息如在视频信号中插入的用户输入和/或信息的统计分析结果确定配置参数。例如,可使用确定的配置参数以动态地调节给定的装置的RGB色彩和/或根据用户输入动态地调节RGB色彩。
参照图1A对显示器119进行了描述。
在操作中,动态三维(3-D)色彩管理系统150可接收包括视频数据流的信号,如YCbCrin像素数据141。接收的信号的Y分量可通过3-D色彩统计模块101的亮度统计模块107接收。输入信号的CbCr分量可用直极转换模块111读取,且可在极坐标中转换成色调(H)和饱和度(S)色彩空间。接收的信号YCbCrin像素数据141的Y分量和直极转换模块111输出的信号的H及S分量可以用3-D色彩统计模块101的色度统计模块109接收。亮度统计模块107和/或色度统计模块109可对视频流的色调、饱和度和亮度属性逐帧地采样。在本发明的各个实施例中,可对帧的多个部分进行采样,如帧的场、域或窗口。
亮度统计模块107和/或色度统计模块109可把聚集的统计数据发送到视频处理器模块105。视频处理器模块105可接收采集的像素数据的亮度(luma)和/或色度(chroma)的分布属性。视频处理器模块105可以确定场景类型和/或源内容,例如接收的统计数据和/或其它场景信息的源的图像类型。视频处理器模块105可确定一个或多个视频处理级的配置参数并基于场景类型和/或源图像的内容分配参数。例如,亮度参数121a和/或色度参数可被分别发送到亮度统计模块107和/或色度统计模块109中。而且,视频流可在各种处理级进行处理,如3-D色彩再映射模块103、其它处理模块113和/或117和/或色彩空间转换器矩阵M 115。就这一点而言,各个处理级的配置可基于色彩属性的影像内容分析和/或当前处理的视频信号的场景或影像信息。视频流可转换成RGB色彩空间并在显示器119上显示。以这种方式显示出的色彩且影像质量都有改善。
图2A是根据本发明的实施例的例示性的三维色彩统计模块的框图。参考图2A,示出的动态3-D色彩管理系统200包括3-D色彩统计模块101、亮度和色度统计数据123、亮度和色度参数121、包括亮度直方图的201的亮度统计模块107、包括饱和度直方图203以及色调直方图205的色度统计模块109。
3-D色彩统计模块101、亮度和色度统计数据123、亮度和色度参数121、亮度统计模块107和色度统计模块109将结合图1B进行描述。
亮度直方图201、饱和度直方图203和色调直方图205每个都可以提供涉及视频像素或子像素数据的信息。例如,可对视频帧、帧内的场或可选择的域或窗口或者场的像素信息的亮度、色调和/或饱和度采样。亮度直方图201可产生采样的像素数据的亮度值的分布。饱和度直方图203可产生多个饱和度直方图,其中一些饱和度直方图(i=1、2、3...)可包括色调(Hi min到Hi max)范围和亮度值(Yi min到Yi max)范围内的饱和度(i)的分布。例如,Hi min到Hi max可规定色轮的色调范围。每个饱和度直方图可提供色度和亮度值范围内的给定饱和度的多个像素。图2B包括3-D饱和度直方图的可视化描述。色调直方图205可产生多个色调直方图(j=1、2、3...),其中多个直方图可包括饱和度(Sj min到Sj max)和亮度值(Yj min到Yj max)范围内的色调计算值的分布。每个色调直方图可提供包括饱和度和亮度值范围内的规定的色度的多个像素。图2C包括三维色调直方图的可视化描述。
在操作中,3-D色彩统计模块101可接收帧的像素数据或一部分帧的像素数据。亮度统计模块107可对像素数据的亮度分量采样,并产生亮度直方图201。色度统计模块109可对接收到的帧或部分帧的饱和度和色调进行采样并产生饱和度直方图203和色调直方图205。3-D色彩统计模块101可把亮度和色度统计数据203分配给视频处理器模块105。视频处理器模块105可基于接收的亮度和色度统计数据确定亮度和色度参数121并把亮度和色度参数121分配给3-D色彩统计模块101。3-D色彩统计模块101可低陈本地在硬件中运行,并可对其进行操控以为给定组的像素数据同时产生多个直方图。
在本发明的例示性的实施例中,视频处理器模块105可用于确定统计数据,例如亮度、色调和/或饱和度的最小值、最大值、平均值、中间值、方差或百分位值。例如,可以确定表示肤色的色调范围内的平均的饱和度,且当数值比较高的时候,可减小饱和度。就这一点而言,3-D色彩统计模块101可表明影像的明暗程度。可以表明影像过于饱和或者饱和度不够。此外,还可以指明影像的暖色和冷色的情况。
图2B为根据本发明的实施例的三维饱和度直方图的例示性的可视化的框图。参考图2B,示出的3-D饱和直方图250包括H轴258、Y轴254及S轴252。图中还示出了饱和度面元堆栈(stack ofsaturation bin)256。
3-D饱和直方图250包括图2A中所示的3-D饱和度直方图203的可视化描述。H轴258包括一个范围内的色调,Y轴254包括一个范围内的亮度。H轴和Y轴确定的平面表示处于变化的亮度的变化的色调的网格(grid)。饱和度面元堆栈256可包括相对于特定范围的色调和亮度的饱和度范围的计算。在本发明的各个实施例中,在特定的H和Y的范围内的变化的最小值和最大值的基础上,在H、Y平面可有多个(i=1、2、3...)重叠或非重叠的面元堆栈。
图2C所示为根据本发明的实施例的三维色调直方图的例示性的可视化的框图。参考图2C,所示的色调直方图260包括Y轴268、S轴264和H轴262。图中还示出了色调面元堆栈266。
3-D色调直方图260包括图2A中的3-D色调直方图205的可视化描述。Y轴268包括一定的亮度范围,S轴264包括一定的饱和度范围。Y轴268和S轴264确定的平面表示可变的亮度和可变的饱和度所组成的栅格。色调面元堆栈266包括特定范围的饱和度和亮度的色调范围的计算。在本发明的各个实施例中,在规定的Y和S的范围内的变化的最小和/或最大值的基础上,相对于Y和S平面可有多个(j=1、2、3...)重叠或非重叠的面元堆栈。
图2D所示为根据本发明的实施例的例示性的三维动态色彩再映射模块的框图。参考图2D,所示的色彩管理系统300包括3-D色彩再映射模块103、Yout模块220、Sout模块224、Hout模块226、极直转换模块228以及配置参数129。
三维(3-D)色彩再映射模块103可包括合适的逻辑、电路和/或代码,用于基于接收的像素数据的三维色彩区域而调节亮度、色调和/或饱和度的增益和/或补偿。
3-D色彩映射模块可包括三个一维模块,即Yout模块220、Sout模块224、Hout模块226。三个一维模块可包括合适的逻辑、电路和/或代码以用于分别计算亮度、饱和度和/或色调的增益和/或补偿调节值。一维模块可接收在色调、饱和度和亮度色彩空间内表达的像素数据。Sout模块224和Hout模块226的输出可被发送到极直转换模块228中,其可把信号转换成在直角坐标系中的Cb和Cr色彩空间。
3-D色彩再映射模块103可接收视频处理器模块105的配置参数129,例如参数、查找表和/或系数。基于对像素数据聚集的色彩统计的分析,可由视频处理器105确定参数。
在操作中,3-D色彩再映射模块103可接收色调、饱和度和亮度色彩空间内的像素数据并在一维模块Yout模块220、Sout模块224、Hout模块226中调节增益和补偿。Sout模块224、Hout模块226的输出可经极直转换模块228转换成直角坐标系的YCbCr色彩空间。3-D色彩再映射模块103可接收视频处理器模块105的配置信息,如参数、查找表和/或系数。可基于对接收的像素数据而聚集的色彩统计的分析,通过视频处理器105确定参数。通过这种方式,色彩再映射可以低成本地在硬件中执行。
图3所示为根据本发明的实施例,执行动态三维色彩管理的例示性步骤的流程图。例示性的步骤可从步骤310开始。在步骤312,动态三维色彩管理系统150可接收包括所有或部分的视频帧或场的视频像素数据141。在步骤314,3-D色彩统计模块101可聚集在接收的视频像素数据141上的一个或多个色调、饱和度和/或亮度的3-D统计数据。在步骤316,视频处理模块105可重新配置3-D转换,以在亮度统计模块107、色度统计模块109、3-D色彩再映射模块103、处理模块113和/或117和/或色彩空间转换器矩阵M 115的一个或多个中处理接收的视频像素数据141的统计数据。在步骤318,3-D色彩再映射模块103、处理模块113和/或117和/或色彩空间转换器矩阵M 115可对接收的视频像素数据141进行3-D转换。在步骤320,显示器119可显示输出视频信号143。步骤322表示例示性的步骤结束。
在本发明的一实施例中,视频处理系统150可用于确定与静止或移动的影像有关的场景,例如在YCbCrin像素数据141内的影像。视频处理系统150可用于基于确定的场景适应性地调节静止或移动的影像的一个或多个三维色彩分量。在此,三维色彩分量可包括亮度、色调和/或饱和度。视频处理系统可收集至少一部分静止或移动的影像的三维色彩分量统计数据,并可基于统计数据来确定至少一部分静止或移动的影像的源内容和/或场景类型。在某些情况下,源内容和/或场景类型可基于在静止或移动的影像中插入的编码和/或文本信息来确定。在本发明的各个实施例中,可改写配置参数,如121a、121b、129、131、133和/或135以处理至少一部分静止或移动的影像。配置参数可基于一个或多个三维色彩分量统计数据进行改写。此外,配置参数还可以基于静止或移动的影像的场景类型和/或源内容的认知进行改写。色调和/或饱和度可基于一个或多个三维色彩分量统计数据如123a和/或123b、场景类型和/或源内容进行调整。就这一点而言,至少一部分静止或移动的影像的一个或多个三维色彩分量可通过诸如3-D色彩再映射器103动态地进行改写。此外,视频处理系统可确定特定的色调和/或色调范围的饱和度的分布,如在饱和度柱形图203中,其中该色调可跨越所有和/或部分静止和/或移动影像内的一个或多个亮度的范围。在特定饱和度和/或饱和度范围,也可确定色调的分布如色调直方图205,其中饱和度可跨越所有和/或部分静止和/或移动影像内一个或多个亮度的范围,。
本发明另外的实施例可提供已存储的机器和/或计算机可读的储存器和/或介质,机器代码和/或计算机程序,其中具有至少一个代码部分可通过机器和/或计算机执行,从而使机器和/或计算机执行本文所述的场景自适应动态3-D色彩管理的方法和系统中的步骤。
因此,本发明可以在硬件、软件或者硬件和软件的结合中实现。本发明可以集中的方式在至少一台计算机中实现或以分散的方式实现,其中不同的元件散布于多个交互的计算机系统中。能实现本文所述的方法的任何种类的计算机系统或其它装置都是可以采用的。硬件和软件的一般组合可以是装有计算机程序的一般目的的计算机系统,当加载和执行时,控制计算机系统以至于该系统实现本文所述的方法。
本发明也可以在计算机程序产品中实现,该产品包括能够执行本文的方法的所有特征,当装入计算机系统中时,其能实现这些方法。上下文中的计算机程序是指以任何语言、代码或符号表示的一组指示的任何表述,其中这些指示可使系统具有信息处理的能力,以直接执行特定的功能,或者在以下的一种或两种情形之后执行特定的功能:a)转换成另外的语言、代码或符号;b)以不同的材料形式进行复制。
虽然结合某些实施例对本发明进行了描述,但是本领域内的技术人员应该理解,在不脱离本发明的范围内,还有很多的变型和等同替换。此外,在不脱离本发明的范围内,利用本发明的教导,还可以有很多的改型以适用于不同的情况或材料。因此,本发明并不意欲限于已公开的特定的实施例,而是包括所有落入到权利要求的范围中的实施例。

Claims (10)

1.一种处理视频数据的方法,其特征在于,所述方法包括:
在视频处理系统中:
确定与静止或移动的影像相关的场景;以及
基于所述确定,适应性地调节所述的静止或移动的影像的一个或多个三维色彩分量。
2.如权利要求1所述的方法,其特征在于,所述的三维色彩分量包括亮度、色调和/或饱和度分量。
3.如权利要求1所述的方法,其特征在于,所述的方法包括收集至少一部分所述的静止或移动影像的三维色彩分量的统计数据。
4.如权利要求3所述的方法,其特征在于,所述的方法包括基于所述的收集到的三维色彩分量的统计数据,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
5.如权利要求1所述的方法,其特征在于,所述的方法包括基于插入到所述静止或移动的影像中的编码和/或文本信息,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
6.如权利要求1所述的方法,其特征在于,所述的方法包括基于收集到的所述静止或移动影像的一个或多个三维色彩分量统计数据来改写配置参数,以处理至少一部分的所述静止或移动影像。
7.一种处理视频数据的系统,其特征在于,所述的系统包括:
用于视频处理系统中的一个或多个处理器,其中所述的一个或多个处理器用于:
确定与静止或移动的影像相关的场景;以及
基于所述确定,适应性地调节所述的静止或移动的影像的一个或多个三维色彩分量。
8.如权利要求7所述的系统,其特征在于,所述的三维色彩分量包括亮度、色调和/或饱和度分量。
9.如权利要求7所述的系统,其特征在于,所述的一个或多个处理器用于收集至少一部分所述的静止或移动影像的三维色彩分量的统计数据。
10.如权利要求9所述的系统,其特征在于,所述的一个或多个处理器基于所述收集到的三维色彩分量统计数据,确定至少一部分所述的静止或移动影像的源内容和/或场景类型。
CN200910204944XA 2008-09-23 2009-09-23 一种处理视频数据的方法和系统 Expired - Fee Related CN101686402B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US9935208P 2008-09-23 2008-09-23
US61/099,352 2008-09-23
US12/408,490 US20100073362A1 (en) 2008-09-23 2009-03-20 Method And System For Scene Adaptive Dynamic 3-D Color Management
US12/408,490 2009-03-20

Publications (2)

Publication Number Publication Date
CN101686402A true CN101686402A (zh) 2010-03-31
CN101686402B CN101686402B (zh) 2011-09-21

Family

ID=41559026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910204944XA Expired - Fee Related CN101686402B (zh) 2008-09-23 2009-09-23 一种处理视频数据的方法和系统

Country Status (6)

Country Link
US (1) US20100073362A1 (zh)
EP (1) EP2175658A1 (zh)
KR (1) KR101114865B1 (zh)
CN (1) CN101686402B (zh)
HK (1) HK1141376A1 (zh)
TW (1) TW201026080A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243856A (zh) * 2010-05-13 2011-11-16 华为技术有限公司 动态切换屏幕数据处理方式的方法及装置
CN104581199A (zh) * 2014-12-12 2015-04-29 百视通网络电视技术发展有限责任公司 视频处理系统及其处理方法
TWI485652B (zh) * 2012-01-20 2015-05-21 Realtek Semiconductor Corp 影像處理裝置與方法
TWI507045B (zh) * 2013-11-28 2015-11-01 Aver Information Inc 視訊對比度之調整方法
CN108335292A (zh) * 2015-08-13 2018-07-27 海信集团有限公司 一种场景切换中插入图片的方法
WO2018161629A1 (en) * 2017-03-10 2018-09-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for adjusting backlight brightness of screen, and mobile terminal
CN109685726A (zh) * 2018-11-27 2019-04-26 Oppo广东移动通信有限公司 游戏场景处理方法、装置、电子设备以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI538474B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
KR20160054039A (ko) 2011-05-27 2016-05-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
WO2018230418A1 (ja) 2017-06-14 2018-12-20 富士フイルム株式会社 プロセッサ装置とその作動方法、内視鏡システム、並びに画像表示装置とその作動方法、作動プログラム
CN114125414A (zh) * 2021-11-23 2022-03-01 Oppo广东移动通信有限公司 图像饱和度增强方法和编解码处理方法、装置及系统
CN115103224B (zh) * 2022-06-07 2023-04-25 慧之安信息技术股份有限公司 支持gat 1400协议的视频智能分析方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4135365B2 (ja) * 2002-01-21 2008-08-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7184054B2 (en) * 2003-01-21 2007-02-27 Hewlett-Packard Development Company, L.P. Correction of a projected image based on a reflected image
JP2005012285A (ja) 2003-06-16 2005-01-13 Sharp Corp 動画像処理装置、動画像処理プログラムおよび記録媒体
TWI273284B (en) * 2003-09-23 2007-02-11 Benq Corp Display apparatus and method for adjusting tone of image
US20050168595A1 (en) * 2004-02-04 2005-08-04 White Michael F. System and method to enhance the quality of digital images
JP4277773B2 (ja) * 2004-09-21 2009-06-10 株式会社日立製作所 映像表示装置
JP4677753B2 (ja) * 2004-10-01 2011-04-27 株式会社ニコン 動画像処理装置及び方法
KR100769195B1 (ko) * 2006-02-09 2007-10-23 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동장치 및 구동방법
JP4626533B2 (ja) 2006-02-16 2011-02-09 パナソニック株式会社 画像処理装置およびその方法、プログラム、記録媒体
JP2007324763A (ja) * 2006-05-30 2007-12-13 Toshiba Corp テレビジョン受像装置及びテレビジョン受像方法
US8698812B2 (en) * 2006-08-04 2014-04-15 Ati Technologies Ulc Video display mode control

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243856A (zh) * 2010-05-13 2011-11-16 华为技术有限公司 动态切换屏幕数据处理方式的方法及装置
CN102243856B (zh) * 2010-05-13 2013-12-04 华为技术有限公司 动态切换屏幕数据处理方式的方法及装置
TWI485652B (zh) * 2012-01-20 2015-05-21 Realtek Semiconductor Corp 影像處理裝置與方法
TWI507045B (zh) * 2013-11-28 2015-11-01 Aver Information Inc 視訊對比度之調整方法
CN104581199A (zh) * 2014-12-12 2015-04-29 百视通网络电视技术发展有限责任公司 视频处理系统及其处理方法
CN104581199B (zh) * 2014-12-12 2018-02-27 百视通网络电视技术发展有限责任公司 视频处理系统及其处理方法
CN108335292A (zh) * 2015-08-13 2018-07-27 海信集团有限公司 一种场景切换中插入图片的方法
CN108335292B (zh) * 2015-08-13 2021-07-30 海信集团有限公司 一种场景切换中插入图片的方法
WO2018161629A1 (en) * 2017-03-10 2018-09-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for adjusting backlight brightness of screen, and mobile terminal
US10475413B2 (en) 2017-03-10 2019-11-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for adjusting backlight brightness of screen, and mobile terminal
CN109685726A (zh) * 2018-11-27 2019-04-26 Oppo广东移动通信有限公司 游戏场景处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN101686402B (zh) 2011-09-21
HK1141376A1 (en) 2010-11-05
KR20100034715A (ko) 2010-04-01
US20100073362A1 (en) 2010-03-25
KR101114865B1 (ko) 2012-03-06
EP2175658A1 (en) 2010-04-14
TW201026080A (en) 2010-07-01

Similar Documents

Publication Publication Date Title
CN101686402B (zh) 一种处理视频数据的方法和系统
US11917171B2 (en) Scalable systems for controlling color management comprising varying levels of metadata
US10460699B2 (en) Transitioning between video priority and graphics priority
US9584786B2 (en) Graphics blending for high dynamic range video
CN103843058B (zh) 用于图像的动态范围变换的装置和方法
EP2596490B1 (en) Display management server
CN112272947A (zh) 一种视频信号处理的方法及装置
CN103685850B (zh) 图像处理方法以及图像处理装置
CN102223547B (zh) 图像色彩增强装置和方法
KR20150016332A (ko) 이미지 데이터 변환을 위한 방법
JP2019512953A (ja) ダイナミックレンジマッピングのための飽和処理仕様
US11496798B2 (en) Video rendering system
US8064693B2 (en) Methods of and apparatus for adjusting colour saturation in an input image
US7068838B2 (en) Automated color control in film-to-digital transfer
EP1895781B1 (en) Method of and apparatus for adjusting colour saturation
KR102245835B1 (ko) 입력영상 전처리를 이용한 화질보정방법
JP2009278227A (ja) 画像補正装置及び方法
DE102018008502A1 (de) Video-Rendering-System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1141376

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1141376

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180507

Address after: Singapore Singapore

Patentee after: Avago Technologies Fiber IP Singapore Pte. Ltd.

Address before: Park Road, Irvine, California, USA, 16215, 92618-7013

Patentee before: Zyray Wireless Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110921

Termination date: 20170923