CN104463838A - 彩色视频处理系统和方法、以及相应计算机程序 - Google Patents
彩色视频处理系统和方法、以及相应计算机程序 Download PDFInfo
- Publication number
- CN104463838A CN104463838A CN201410471752.6A CN201410471752A CN104463838A CN 104463838 A CN104463838 A CN 104463838A CN 201410471752 A CN201410471752 A CN 201410471752A CN 104463838 A CN104463838 A CN 104463838A
- Authority
- CN
- China
- Prior art keywords
- color
- frame
- template
- predefined
- disposal route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 title description 14
- 238000003672 processing method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 102000057593 human F8 Human genes 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229940047431 recombinate Drugs 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6075—Corrections to the hue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
一种彩色视频处理方法(200)包含:从彩色视频的帧序列的每个帧中的背景中标出(202)对象,选择(214)至少两个相继帧,从所选帧的背景中确定(216)全局颜色模板,针对每个所选帧以及针对标出的对象的颜色,以使调和颜色比原始颜色更接近全局颜色模板的方式,按照全局颜色模板确定(218)调和颜色。
Description
技术领域
本发明涉及彩色视频处理,尤其为了使彩色视频在视觉上对观众具有吸引力。
背景技术
彩色视频的场景中的一些对象取决于它们的局部对比度、照度的变化,可能太显著(在视觉上具有吸引力),使得它们与整个场景不十分相配。
不过,由于将产生的视觉不一致性,直接(基于帧)调和这样的对象是不可想像的。因此,当检测到这样的对象在一个场景内不协调时,本发明建议从时间上平滑对象调和。
为了克服这个问题,N.Sawant和N.J.Mitra的论文“Color Harmonizationfor Videos”(Indian Conference on Computer Vision,Graphics and ImageProcessing,2008年)描述了产生调和的和使观众感到舒服的视频序列的技术。
在一种简单做法中,分别调和视频的帧。但是,这种解决方案引起了从一个帧到另一个帧的视频不一致性。
在另一种做法中,成群地而不是分别地处理帧。确定公用颜色模板并将帧进行处理使得它们的颜色接近公用颜色模板。
这种方法存在可能改变帧的全局色魄(global color spirit)的处理整个帧的缺点。调和的帧因此显著不同于原始帧。
此外,专利申请公告US 2010/092085A1描述了调和帧序列的方法。在前景和背景之间划分每个帧。然后,在帧的前景当中选择一个参考前景,并利用这个参考前景调和其它前景。类似地,在帧的背景当中选择一个参考背景,并利用这个参考背景调和其它背景。
这种方法存在未考虑到每个帧内,即,帧的前景与背景之间的调和的缺点。
因此,需要一种能够通过对原始彩色视频保持忠诚和从一个帧到另一个帧保持一致性来调和彩色视频的帧序列的每个帧的彩色视频处理方法。
发明内容
本发明提出了一种彩色视频处理方法,其包含:
-从帧序列的每个帧中的背景中标出对象;
-选择至少两个相继帧;
-从所选帧的背景中确定全局颜色模板;以及
-针对每个所选帧以及针对标出的对象的颜色,以使调和颜色比原始颜色更接近全局颜色模板的方式,按照全局颜色模板确定调和颜色。
可选的是,标出对象包含定义包围该对象的窗口。
可选的是,从每个帧中的背景中标出对象包含:
-对于该序列接在第一帧之后的每个帧,从(多个)先前帧开始跟踪该对象并标出跟踪的对象。
可选的是,该方法进一步包含,对于该序列的每个帧:
-将该帧的每个像素与显著值相关联;
-从显著值中确定标出对象的吸引力;
-确定标出对象的吸引力是否满足指示标出对象协调的条件,该条件在下文中被称为“调和条件”;以及
-如果标出对象的吸引力不满足调和条件,则从背景中确定帧颜色模板,该帧在下文中被称为“非协调帧”,
其中每个所选帧都是非协调帧,并且从所选帧的颜色模板中确定全局颜色模板。
可选的是,该吸引力包含标出对象的像素的显著值的均值和偏差。
可选的是,该调和条件包含:该均值小于预定义的均值阈值并且该偏差小于预定义的偏差阈值。
可选的是,选择至少两个相继帧包含:
-确定相继非协调帧在数量上是否等于或大于预定义的阈值,该预定义的阈值至少等于二;
-如果是这样的话,则选择相继非协调帧。
可选的是,从帧的背景中确定帧颜色模板包含:
-在预定义的颜色模板当中选择一个,每个预定义的颜色模板指示循环颜色序列中的至少一个颜色范围;
-确定帧模板偏移;
-将帧模板偏移应用于所选预定义的颜色模板的每个颜色范围,以便获得帧颜色模板。
可选的是,确定全局颜色模板包含:
-在预定义的颜色模板当中选择一个,每个预定义的颜色模板指示循环颜色序列中的至少一个颜色范围;
-确定全局模板偏移;
-将全局模板偏移应用于所选预定义的颜色模板的每个颜色范围,以便获得全局颜色模板。
可选的是,从所选帧的帧颜色模板中确定全局颜色模板包含:
-选择所选帧的预定义的颜色模板;以及
-从所选帧的帧模板偏移中确定全局模板偏移。
可选的是,该全局模板偏移是该帧模板偏移的均值。
可选的是,选择预定义的颜色模板包含:
-选择最常用于获取所选帧的帧颜色模板的预定义的颜色模板。
本发明进一步提出了一种包含当被计算机执行时,使计算机实现按照本发明的彩色视频处理方法的指令的计算机程序。
本发明进一步提出了一种彩色视频处理系统,其包含:
-从帧序列的每个帧中的背景中标出对象的组件;
-选择至少两个相继帧的组件;
-从所选帧的背景中确定全局颜色模板的组件;
-针对每个所选帧以及针对标出的对象的颜色,以使调和颜色比原始颜色更接近全局颜色模板的方式,按照全局颜色模板确定调和颜色的组件。
附图说明
现在将只通过举例的方式以及参考附图描述本发明的实施例。
图1例示了彩色视频处理系统;
图2例示了,例如,通过图1的彩色视频处理系统实现的彩色视频处理方法;
图3例示了可以用在图2的彩色视频处理方法中的预定义的颜色模板;以及
图4例示了实现图2的彩色视频处理方法的简单例子。
具体实施方式
参考图1,现在描述形成本发明的示例性实施例的彩色视频处理系统100。
彩色视频处理系统100包含计算机102,该计算机102包括中央处理单元104、存储器106和包括,例如,显示设备、键盘和鼠标的人机接口108。
彩色视频处理系统100进一步包含存储在存储器106中的计算机程序110。计算机程序110包含当被计算机102,尤其被中央处理单元104执行时,使计算机102实现参考图2所述的彩色视频处理方法的指令。
彩色视频处理系统100进一步包含存储在存储器106中的彩色视频112。彩色视频112包含旨在一个接着一个地显示在诸如人机接口108的显示设备那样的显示设备上的连续帧。每个帧包含像素,每个像素具有颜色。在所述的例子中,像素的颜色用色调值表示。
参考图2,现在描述图1的彩色视频处理系统100实现的并且形成本发明的示例性实施例的彩色视频处理方法200。在所述的例子中,如下步骤由执行计算机程序110的指令的计算机102执行。
计算机102针对彩色视频112的帧序列的每个帧进行第一路径。该帧序列可以是整个彩色视频112。第一路径包含如下步骤:
在步骤202期间,计算机102从帧中的背景中标出对象。
在所述的例子中,步骤202包含定义包围该对象的窗口,例如,长方形窗口。更进一步,在所述的例子中,步骤202包含,对于该序列的第一帧,计算机102通过人机接口108从用户接收指令以标出对象,以及对于该序列接在第一帧之后的每个帧,计算机102从一个或几个先前的帧开始自动跟踪该对象并自动标出跟踪的对象。这种实现的一个例子描述在B.D.Lucas和T.Kanade的论文“An Iterative Image Registration Technique with an ApplicationTo Stereo Vision”(Joint Conference on Artificial Intelligence,第674至679页,1981年)中。这篇论文描述了自动检测具有足以可靠跟踪它们的纹理的一组稀疏特征点的“KLT算法”。随后,通过对每个点估计使中心在当前特征点位置和平移后位置上的窗口之间的总平方差的差异最小的平移来跟踪检测点。
在步骤204期间,计算机102通过将帧的每个像素与显著值相关联来确定帧的显著图。例如,这可以按照描述在专利申请公告EP 1695288中的方法来实现。所述方法创建利用从0到255的数值描绘视觉上最具吸引力的像素的显著图。它基于视觉系统的模拟。
在步骤206期间,计算机102从标出对象的显著图中,即,在所述的例子中,从包围该对象的窗口内部的像素中确定标出对象MO的吸引力。更进一步,在所述的例子中,与背景的显著值无关地,即,不考虑那些数值地实现标出对象MO的吸引力的确定。
在所述的例子中,标出对象的吸引力包含标出对象的像素的显著值的均值和偏差。
在步骤208期间,计算机102确定标出对象MO的吸引力是否满足指示标出对象MO在帧中协调的条件,该条件在下文中被称为“调和条件”。
在所述的例子中,该调和条件包含:该均值小于预定义的均值阈值和该偏差小于预定义的偏差阈值。
在步骤210期间,如果标出对象MO的吸引力不满足调和条件,则计算机102与标出对象的颜色无关地从帧的背景中确定帧颜色模板FCT。一般说来,颜色模板指示颜色序列中的至少一个颜色范围。在所述的例子中,该颜色模板是循环的。当其所有颜色被限定在颜色模板内时,即,当其所有颜色属于颜色模板的一个颜色范围时,假设一个帧是协调的。在下文中,将包括吸引力不满足调和条件的标出对象MO的帧称为“非协调帧”。
在所述的例子中,步骤210首先包含在预定义的颜色模板PCT中选择一个模板,并确定作为如下文所述,旨在移动所选预定义的颜色模板PCT的每个颜色范围的数值的帧模板偏移FTS。
在所述的例子中,选择预定义的颜色模板PCT和确定帧模板偏移FTS包含,例如,在HSV(色调-饱和度-数值)空间中确定帧的背景的颜色直方图。例如,该颜色直方图等于通过饱和度和数值加权的归一化色调分布(从HSV颜色模型的意义上来讲)。在所述的例子中,从如下方程中计算颜色直方图:
其中M=[Mi]是对于由S*V的数值u和v界定的每个区间i,包含数值Mi的颜色直方图,S[x,y]是处在帧中的位置[x,y]上的像素的饱和度,V[x,y]是处在位置[x,y]上的像素的数值,以及[x,y]代表处在位置[x,y]上的像素。
选择预定义的颜色模板PCT和确定帧模板偏移FTS进一步包含通过跨过每个预定义的颜色模板PCT和每个可能的模板偏移地求函数极小值,选择与颜色直方图最佳对应的预定义的颜色模板PCT和相关联的帧模板偏移FTS。在所述的例子中,该函数是Kullback-Leibler散度:
其中Pi(m,α)是对于模板偏移α,预定义的颜色模板PCT m的均匀分布,这个均匀分布,例如,通过下式定义:
其中wm是模板m的所考虑颜色范围的长度。
在所述的例子中,步骤210进一步包含将所确定的帧模板偏移FTS应用于所选预定义的颜色模板PCT的每个颜色范围,以便获得帧颜色模板FCT。
在步骤212期间,如果标出对象MO的吸引力的确满足调和条件,则计算机102确定是否存在在数量上等于或大于预定义的阈值N的先前相继非协调帧,该阈值N至少等于二。
在步骤214期间,如果先前相继非协调帧在数量上大于预定义的阈值,则计算机102选择先前相继非协调帧,以便如从步骤216开始所述地,调和它们的颜色。在下文中,将那些相继非协调帧称为“所选帧”。否则,计算机102不调和先前相继非协调帧的颜色。
如果选择了相继非协调帧,则计算机102接着进行包含如下步骤的第二路径。
在步骤216期间,计算机102与所选帧的标出对象MO的颜色无关地从所选帧的背景中确定全局颜色模板GCT。
在所述的例子中,步骤216包含在预定义的颜色模板PCT,例如,步骤210的几个中选择一个,并确定应用于所选预定义的颜色模板PCT的(多个)范围以便获得全局颜色模板GCT的全局模板偏移GTS。
在所述的例子中,从所选帧的帧颜色模板FCT中确定全局颜色模板GCT。
在所述的例子中,步骤216包含选择从中获取所选帧之一的帧颜色模板FCT的预定义的颜色模板PCT。在所述的例子中,该选择通过选择最常用于获取所选帧的帧颜色模板FCT的预定义的颜色模板PCT来实现。
在所述的例子中,步骤216进一步包含从所选帧的帧模板偏移FTS中确定全局模板偏移GTS。例如,全局模板偏移GTS是所选帧的帧模板偏移FTS的均值。
在步骤218期间,针对每个所选帧,计算机102针对标出对象MO的颜色,确定比原始颜色更接近全局颜色模板GCT的、下文称为“调和颜色”的颜色。优选的是,该调和颜色处在全局颜色模板GCT内部,即,在其(多个)颜色范围之一内。
在所述的例子中,步骤218包含对所选帧的标出对象MO实现颜色分段。在颜色分段期间,将标出对象MO划分成几段,每段按照颜色相似条件重组相互具有接近颜色的像素。颜色分段的例子可以在J.van de Weijer等人的论文“Learning Color Names for Real-World Applications”(IEEE Transactions inImage Processing,2009年)中找到。
在所述的例子中,步骤218进一步包含将标出对象MO的每段与全局颜色模板GCT的一个范围,例如,与按照颜色相似条件最接近的一个相联系。例如,将每段与最接近该段的像素的颜色的均值的范围相联系。
在所述的例子中,步骤218进一步包含,针对标出对象MO的每个像素,确定比像素的原始颜色更接近与该像素所属的段相关联的全局颜色模板GCT的范围的调和颜色。在特定和非限制性实施例中,在步骤218中按照调和颜色修改像素的原始颜色。示例性地,用调和颜色取代像素的原始颜色。例如,调和颜色的确定通过将叫做调和函数的函数应用于每个像素的颜色来实现。优选的是,该调和函数是颜色的S形函数。这样,当像素的颜色远离该颜色范围时,可以选择S形函数,以便它的渐近行为给出在该颜色范围内,例如,在该颜色范围的最接近边缘上的调和颜色。更进一步,当像素的颜色在该颜色范围内时,可以选择S形函数,以便达到对颜色调和感到自然的对颜色的线性修改。
在所述的例子中,调和函数包含指示该帧在所选帧中的位置的参数,以便在所有条件都相同的情况下,沿着所选帧的序列越来越多地修改相同颜色。例如,第一所选帧的颜色比以后所选帧的相同颜色修改地少。修改像素的原始颜色包含用调和颜色取代原始颜色。
在所述的例子中,调和函数是:
其中H′(p)是像素p的调和颜色,H(p)是像素p的色调值,C(p)是与p所属的段相关联的颜色范围的中心色调值,以及w是颜色范围沿着全局颜色模板GCT的颜色序列的长度。||||指的是H(p)与C(p)之间沿着全局颜色模板GCT的颜色序列的距离,t是所选帧在所选帧的序列中的位置,以及Tv是至多等于所选帧的数量的预定义的阈值。
在所述的例子中,步骤218可选地包含通过将标出对象MO的每个像素与颜色修改值相关联来确定颜色修改图,该颜色修改值等于其原始颜色与其调和颜色之间的差值。该颜色修改图可以有利地用于在稍后阶段中用相应调和颜色取代标出对象MO的像素的原始颜色。
参考图3,例示了九个预定义的颜色模板PCT的例子。在所述的例子中,颜色用色调值表示。更进一步,将每个颜色模板表示成包含色调值的圆形和其中将(多个)颜色范围表示成(多个)扇形(带影线)的色调轮。这样,可以在轮上用角度表示颜色。红色、蓝色和绿色的位置被指示在第一预定义的颜色模板上,在其它预定义的颜色模板中处在相似位置上。在这三个位置的每对之间,颜色渐进地从第一位置的颜色变到第二位置的颜色。
称为“i型”颜色模板的第一预定义的颜色模板只包含具有小于30°,例如20°的弧长的一个颜色范围。
称为“V型”颜色模板的第二预定义的颜色模板只包含具有60°与120°之间,例如90°的弧长的一个颜色范围。
称为“L型”颜色模板的第三预定义的颜色模板只包含两个颜色范围,第一个具有小于30°,例如20°的弧长,第二个具有在60°与120°之间,例如90°的弧长,并且相对于第一个偏移了+90°(该偏移被认为在它们的平分线之间)。
称为“J型”颜色模板的第四预定义的颜色模板只包含两个颜色范围,第一个具有小于30°,例如20°的弧长,第二个具有在60°与120°之间,例如90°的弧长,并且相对于第一个偏移了-90°(该偏移被认为在它们的平分线之间)。
称为“I型”颜色模板的第五预定义的颜色模板只包含两个颜色范围,两者都具有小于30°,例如20°的弧长,第二个相对于第一个偏移了180°(该偏移被认为在它们的平分线之间)。
称为“T型”颜色模板的第六预定义的颜色模板只包含具有120°与240°之间,例如180°的弧长的一个颜色范围。
称为“Y型”颜色模板的第七预定义的颜色模板只包含两个颜色范围,第一个具有在60°与120°之间,例如90°的弧长,第二个具有小于30°,例如20°的弧长,并且相对于第一个偏移了180°(该偏移被认为在它们的平分线之间)。
称为“X型”颜色模板的第八预定义的颜色模板只包含两个颜色范围,两者都具有在60°与120°之间,例如90°的弧长,第二个相对于第一个偏移了180°(该偏移被认为在它们的平分线之间)。
称为“O型”颜色模板的第九预定义的颜色模板只包含具有360°的弧长的一个颜色范围。“O型”颜色模板是为了不调和均等地包含所有色调的帧,例如,包含彩虹画面的帧。
参考图4,现在描述实现图2的彩色视频处理方法200的简单例子。
假设帧序列从帧A,B,C和D开始。
计算机102对帧A执行步骤202到206,并确定帧A中的标出对象MO(A)的吸引力满足调和条件(步骤208)。计算机101然后确定没有在数量上等于或大于假设等于2的预定义的阈值N的先前相继非协调帧(没有先前帧)(步骤212)
计算机102然后对帧B执行步骤202到206,然后确定帧B中的标出对象MO(B)的吸引力不满足调和条件(步骤208)。其结果是,计算机102为帧B确定帧颜色模板FCT(B)(步骤210)。假设帧颜色模板FCT(B)是利用+90°的颜色模板偏移CTS从X型预定义的颜色模板PCT中获得的。
计算机102然后对帧C执行步骤202到206,然后确定帧C中的标出对象MO(C)的吸引力不满足调和条件(步骤208)。其结果是,计算机102为帧C确定帧颜色模板FCT(C)(步骤210)。假设帧颜色模板FCT(C)是利用+180°的帧模板偏移FTS从X型预定义的颜色模板PCT中获得的。
计算机102然后对帧D执行步骤202到206,然后确定帧D中的标出对象MO(D)的吸引力的确满足调和条件(步骤208)。其结果是,计算机102确定在帧D之前存在数量上等于2的两个非协调帧:帧B和C(步骤212)。其结果是,计算机102选择帧B和C(步骤214)来调和它们。
计算机102然后从帧颜色模板FCT(B)和FCT(C)中确定全局颜色模板GCT(步骤216)。帧颜色模板FCT(B)和FCT(C)两者都是从X型预定义颜色模板PCT中获得的,使得选择X型预定义颜色模板PCT用于确定全局颜色模板GCT。更进一步,将全局模板偏移GTS确定成颜色模板偏移CTS(B)和CTS(C)两者的均值,即,(90°+180°)/2=+135°。所得全局颜色模板GCT因此包含中心分别在+135°和+315°上的两个颜色范围R1和R2。在下文中,假设两个颜色范围的每一个都具有90°的长度。
对于帧B和C的每一个,计算机102然后确定标出对象MO的每个像素的调和颜色(步骤218)。在所述的例子中,计算机102实施帧B和C两者的颜色分段。假设帧B的分段包含与颜色范围R1相关联的段。颜色范围R1的中心是+135°。
因此,在C(p)=+135°,w=90°,t=1(帧B是所选帧的序列{B,C}的第一帧),以及假设Tv等于2的情况下,按照下面给出的先前调和函数调和这个段的每个像素:
对帧B和C的其它段进行类似运算。
计算机102然后对帧D后面的帧继续执行彩色视频处理方法200。
一旦处理了彩色视频112的所有帧,计算机102就产生,例如,显示在诸如人机接口108的显示设备那样的显示设备上的处理后彩色视频。
本发明不局限于前述的实施例,而是由所附权利要求书限定。事实上,对于本领域的技术人员来说,显而易见,可以对前述的实施例作各种修改。
例如,旨在使计算机102执行彩色视频处理方法200的每个步骤的程序指令可以全部或部分用硬件组件取代。
更进一步,这些帧不局限于2D画面,也可以是,例如,3D画面。
更进一步,像素的颜色可以用诸如RVB数值那样的另一个量或几个其它量来表示。
更进一步,可以按照前述的方法标出和颜色调和几个对象而不是一个对象。
此外,用在所附权利要求书中的术语不应该理解为限于前述的实施例的元件,而是相反,应该理解为包括本领域的技术人员能够使用他们的一般知识得出的所有等效元件。
Claims (16)
1.一种彩色视频处理方法(200),包含:
-从帧序列的每个帧中的背景中标出(202)对象,
-选择(214)至少两个相继帧,
-从所选帧的背景中确定(216)全局颜色模板,
-针对每个所选帧以及针对标出的对象的颜色,以使调和颜色比原始颜色更接近全局颜色模板的方式,按照全局颜色模板确定(218)调和颜色。
2.按照权利要求1所述的彩色视频处理方法(200),进一步包含按照所述相应调和颜色修改标出对象的所述颜色。
3.按照权利要求1或2所述的彩色视频处理方法(200),其中标出(202)对象包含定义包围该对象的窗口。
4.按照权利要求1到3的任何一项所述的彩色视频处理方法(200),其中从每个帧中的背景中标出(202)对象包含:
-对于该序列接在第一帧之后的每个帧,从先前帧的一个或多个开始跟踪该对象并标出跟踪的对象。
5.按照权利要求1到4的任何一项所述的彩色视频处理方法(200),进一步包含,对于该序列的每个帧:
-将该帧的每个像素与显著值相关联(204),
-从显著值中确定(206)标出对象的吸引力,
-确定(208)标出对象的吸引力是否满足指示标出对象协调的条件,该条件在下文中被称为“调和条件”,
-如果标出对象的吸引力不满足调和条件,则从背景中确定(210)帧颜色模板,该帧在下文中被称为“非协调帧”,
其中每个所选帧都是非协调帧,并且其中从所选帧的颜色模板中确定全局颜色模板。
6.按照权利要求5所述的彩色视频处理方法(200),其中该吸引力包含标出对象的像素的显著值的均值和偏差。
7.按照权利要求6所述的彩色视频处理方法(200),其中该调和条件包含:该均值小于预定义的均值阈值和该偏差小于预定义的偏差阈值。
8.按照权利要求5到7的任何一项所述的彩色视频处理方法(200),其中选择至少两个相继帧包含:
-确定相继非协调帧在数量上是否等于或大于预定义的阈值,该预定义的阈值至少等于二,
-如果是这样的话,则选择相继非协调帧。
9.按照权利要求5到8的任何一项所述的彩色视频处理方法(200),其中从帧的背景中确定(210)帧颜色模板包含:
-在预定义的颜色模板当中选择一个,每个预定义的颜色模板指示循环颜色序列中的至少一个颜色范围,
-确定帧模板偏移,
-将帧模板偏移应用于所选预定义的颜色模板的每个颜色范围,以便获得帧颜色模板。
10.按照权利要求1到9的任何一项所述的彩色视频处理方法(200),其中确定(216)全局颜色模板包含:
-在预定义的颜色模板当中选择一个,每个预定义的颜色模板指示循环颜色序列中的至少一个颜色范围,
-确定全局模板偏移,
-将全局模板偏移应用于所选预定义的颜色模板的每个颜色范围,以便获得全局颜色模板。
11.按照权利要求9和10所述的彩色视频处理方法(200),其中从所选帧的帧颜色模板中确定全局颜色模板包含:
-选择所选帧的预定义的颜色模板,
-从所选帧的帧模板偏移中确定全局模板偏移。
12.按照权利要求11所述的彩色视频处理方法(200),其中该全局模板偏移是该帧模板偏移的均值。
13.按照权利要求11或12所述的彩色视频处理方法(200),其中选择预定义的颜色模板包含:
-选择最常用于获取所选帧的帧颜色模板的预定义的颜色模板。
14.一种包含当被计算机执行时,使计算机实现按照权利要求1到13的任何一项所述的彩色视频处理方法(200)的指令的计算机程序(110)。
15.一种彩色视频处理系统(100),包含:
-配置成从帧序列的每个帧中的背景中标出对象的组件,
-配置成选择至少两个相继帧的组件,
-配置成从所选帧的背景中确定全局颜色模板的组件,
-配置成针对每个所选帧以及针对标出的对象的颜色,以使调和颜色比原始颜色更接近全局颜色模板的方式,按照全局颜色模板确定调和颜色的组件。
16.按照权利要求15所述的彩色视频处理系统(100),进一步包含配置成按照所述相应调和颜色修改标出对象的所述颜色的组件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13306258.8 | 2013-09-16 | ||
EP13306258.8A EP2849425A1 (en) | 2013-09-16 | 2013-09-16 | Color video processing system and method, and corresponding computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104463838A true CN104463838A (zh) | 2015-03-25 |
Family
ID=49274582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410471752.6A Pending CN104463838A (zh) | 2013-09-16 | 2014-09-16 | 彩色视频处理系统和方法、以及相应计算机程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150077639A1 (zh) |
EP (2) | EP2849425A1 (zh) |
JP (1) | JP6408314B2 (zh) |
KR (1) | KR20150032176A (zh) |
CN (1) | CN104463838A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373084A (zh) * | 2016-08-30 | 2017-02-01 | 北京奇艺世纪科技有限公司 | 一种特效推荐方法及装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9177245B2 (en) | 2013-02-08 | 2015-11-03 | Qualcomm Technologies Inc. | Spiking network apparatus and method with bimodal spike-timing dependent plasticity |
EP2814248A1 (en) * | 2013-06-10 | 2014-12-17 | Thomson Licensing | Method and device for processing a video |
US9939253B2 (en) | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
US10194163B2 (en) | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
US9713982B2 (en) | 2014-05-22 | 2017-07-25 | Brain Corporation | Apparatus and methods for robotic operation using video imagery |
US9848112B2 (en) | 2014-07-01 | 2017-12-19 | Brain Corporation | Optical detection apparatus and methods |
US10057593B2 (en) | 2014-07-08 | 2018-08-21 | Brain Corporation | Apparatus and methods for distance estimation using stereo imagery |
US9870617B2 (en) | 2014-09-19 | 2018-01-16 | Brain Corporation | Apparatus and methods for saliency detection based on color occurrence analysis |
KR102329862B1 (ko) | 2015-02-10 | 2021-11-23 | 삼성전자주식회사 | 영상의 컬러 변환 방법 및 전자 장치 |
US9483839B1 (en) * | 2015-05-06 | 2016-11-01 | The Boeing Company | Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures |
US10197664B2 (en) | 2015-07-20 | 2019-02-05 | Brain Corporation | Apparatus and methods for detection of objects using broadband signals |
CN105488819B (zh) * | 2015-12-04 | 2018-09-18 | 小米科技有限责任公司 | 颜色模板的生成方法、图像处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694717A (zh) * | 2009-10-22 | 2010-04-14 | 北京交通大学 | 一种自动式的图像颜色协调化方法和系统 |
US20120127198A1 (en) * | 2010-11-22 | 2012-05-24 | Microsoft Corporation | Selection of foreground characteristics based on background |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11288454A (ja) * | 1998-04-01 | 1999-10-19 | Nippon Telegr & Teleph Corp <Ntt> | 映像画面色調整合方法及び装置ならびに記録媒体 |
EP1544792A1 (en) | 2003-12-18 | 2005-06-22 | Thomson Licensing S.A. | Device and method for creating a saliency map of an image |
JP4704253B2 (ja) * | 2005-04-13 | 2011-06-15 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
US8254679B2 (en) | 2008-10-13 | 2012-08-28 | Xerox Corporation | Content-based image harmonization |
-
2013
- 2013-09-16 EP EP13306258.8A patent/EP2849425A1/en not_active Withdrawn
-
2014
- 2014-09-02 EP EP14183196.6A patent/EP2849426A1/en not_active Withdrawn
- 2014-09-11 JP JP2014185377A patent/JP6408314B2/ja not_active Expired - Fee Related
- 2014-09-11 KR KR20140120118A patent/KR20150032176A/ko not_active Application Discontinuation
- 2014-09-12 US US14/484,700 patent/US20150077639A1/en not_active Abandoned
- 2014-09-16 CN CN201410471752.6A patent/CN104463838A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694717A (zh) * | 2009-10-22 | 2010-04-14 | 北京交通大学 | 一种自动式的图像颜色协调化方法和系统 |
US20120127198A1 (en) * | 2010-11-22 | 2012-05-24 | Microsoft Corporation | Selection of foreground characteristics based on background |
Non-Patent Citations (2)
Title |
---|
NIKHIL SAWANT等: "《Color Harmonization for Videos》", 《SIXTH INDIAN CONFERENCE ON COMPUTER VISION, GRAPHICS & IMAGE PROCESSING》 * |
Z.TANG等: "《Colour harmonisation for images and videos via two-level graph cut》", 《IET IMAGE PROCESSING》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373084A (zh) * | 2016-08-30 | 2017-02-01 | 北京奇艺世纪科技有限公司 | 一种特效推荐方法及装置 |
CN106373084B (zh) * | 2016-08-30 | 2020-09-18 | 北京奇艺世纪科技有限公司 | 一种特效推荐方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20150077639A1 (en) | 2015-03-19 |
KR20150032176A (ko) | 2015-03-25 |
EP2849425A1 (en) | 2015-03-18 |
JP2015057698A (ja) | 2015-03-26 |
EP2849426A1 (en) | 2015-03-18 |
JP6408314B2 (ja) | 2018-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104463838A (zh) | 彩色视频处理系统和方法、以及相应计算机程序 | |
Freeman et al. | Orientation histograms for hand gesture recognition | |
Nalpantidis et al. | Stereo vision for robotic applications in the presence of non-ideal lighting conditions | |
Luan et al. | Fast single image dehazing based on a regression model | |
CN104756491A (zh) | 基于组合的深度提示从单视场图像生成深度图 | |
US10171785B2 (en) | Color balancing based on reference points | |
Rambach et al. | Learning 6dof object poses from synthetic single channel images | |
CN101529495A (zh) | 图像遮罩生成 | |
CN103051915B (zh) | 一种交互式立体视频关键帧的制作方法及制作装置 | |
CN103093203A (zh) | 一种人体再识别方法以及人体再识别系统 | |
CN110827373B (zh) | 广告图片生成方法、装置以及存储介质 | |
CN103312963A (zh) | 图像处理设备和图像处理方法 | |
CN108268830A (zh) | 光学识别方法 | |
CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
CN113436284B (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN109920018A (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
CN110807379B (zh) | 一种语义识别方法、装置、以及计算机存储介质 | |
CN110136166A (zh) | 一种多路画面的自动跟踪方法 | |
Thalhammer et al. | SyDPose: Object detection and pose estimation in cluttered real-world depth images trained using only synthetic data | |
CN110390327A (zh) | 前景提取方法、装置、计算机设备及存储介质 | |
CN105678318A (zh) | 交通标牌的匹配方法及装置 | |
CN111784703A (zh) | 一种图像分割方法、装置、电子设备和存储介质 | |
Wang | Illustration Art Based on Visual Communication in Digital Context | |
KR20110112143A (ko) | Ldi 기법 깊이맵을 참조한 2d 동영상의 3d 동영상 전환방법 | |
US9035964B2 (en) | Method and apparatus for obtaining lighting information and material information in image modeling system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150325 |
|
WD01 | Invention patent application deemed withdrawn after publication |