CN102740118A - 用于相对颜色质量的自然语言评价的系统 - Google Patents

用于相对颜色质量的自然语言评价的系统 Download PDF

Info

Publication number
CN102740118A
CN102740118A CN2012101079435A CN201210107943A CN102740118A CN 102740118 A CN102740118 A CN 102740118A CN 2012101079435 A CN2012101079435 A CN 2012101079435A CN 201210107943 A CN201210107943 A CN 201210107943A CN 102740118 A CN102740118 A CN 102740118A
Authority
CN
China
Prior art keywords
color
natural language
source images
colour
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101079435A
Other languages
English (en)
Other versions
CN102740118B (zh
Inventor
K.M.费尔古森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giant Plan Co., Ltd.
Original Assignee
Tektronix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tektronix Inc filed Critical Tektronix Inc
Publication of CN102740118A publication Critical patent/CN102740118A/zh
Application granted granted Critical
Publication of CN102740118B publication Critical patent/CN102740118B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明涉及用于相对颜色质量的自然语言评价的系统。本发明的实施例包括一种用于提供对参考与源图像之间的相对颜色质量的自然语言客观评价的系统。该系统可以包括接收在参考图像与源图像之间的差值测量并且基于差值测量来确定颜色属性改变的颜色转换器。颜色属性可以例如包括色调偏移、饱和度改变和颜色变化。此外,量值指数设施确定已确定的颜色属性改变的量值。另外,自然语言选择器将颜色属性改变和该改变的量值映射到自然语言并且生成颜色属性改变和颜色属性改变的量值的报告。然后可以用文本或者音频形式或者用文本和音频形式两者向用户传送输出。

Description

用于相对颜色质量的自然语言评价的系统
技术领域
本公开涉及图片质量分析并且更具体地涉及一种提供使用自然语言来评价在参考与源图像之间的相对颜色质量的系统。
背景技术
视频经常从原始视频流改变成修改的视频流。改变的动力经常与如下目标介质的带宽有关,将通过该目标介质来传输修改的视频流的。但是存在修改视频的多种原因。处理视频的其他原始因例如包括针对不同显示器的编辑、压缩和解压、重新格式化、视频插入和叠加、传输差错的最小化以及修改颜色。
视频行业对修改的视频中的颜色再现施加限制。换而言之,行业建立所得视频为了可接受而必须通过的标准。经常出现的一个问题是从原始到修改的视频的颜色偏移。颜色偏移在多数视频处理中是常见的并且难以在经验上评价,因为颜色的确定是基于生理的并且因此必然主观。
用于检测这样有问题的颜色改变的先前方法已经需要:a)直接查看之前和之后的视频,这耗费时间并且有时之前和之后的视频源不是同时可用于查看);b)使用矢量显示器(vectorscope)或者“颜色”,这需要受训练人员解释,并且甚至然后可能由于缺乏人类视觉模型被误导,即颜色的亮度遗漏,因此黑色经常在矢量显示器上显现为亮色;c)“颜色”( 基于YUV的UV或者RGB)峰值信号噪声比(PSNR)测量,这可以是自动化的,但是也如矢量显示器解决方案那样遭受缺乏人类视觉模型方面的问题;d)人类视觉模型类型的视频质量分析产品(诸如TEKTRONIX PQA300质量分析器)可以确定可感知的颜色改变是否已经发生,但是它缺乏为了准确预测颜色如何不同(并且在一些情况下对于特定查看条件而言即使颜色显得不同)而需要的许多重要适配机制;或者e)使用更高级的人类视觉模型技术,诸如在2009年12月10日提交、标题为METHOD AND APPARATUS FOR IMPLEMENTING MOVING IMAGE COLOR APPEARANCE MODEL FOR VIDEO QUALITY RATINGS PREDICTION并且通过引用而结合于此的美国专利申请12/635,456、中描述的Moving Image Color Appearance Model (MICAM)。然而MICAM的输出可能难以让未受训练的操作者解释并且修改的视频中的一些差别可能甚至让专家也难以察觉。
本发明的实施例解决现有技术中的这些和其他限制。
发明内容
在本发明的一些方面中,提供一种用于生成对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统。该系统可以包括接收在参考图像与源图像之间的差值测量并且基于差值测量来确定颜色属性改变的颜色转换器。颜色属性可以例如包括色调偏移、饱和度改变和颜色变化。此外,量值指数设施确定已确定的颜色属性改变的量值。另外,自然语言选择器将颜色属性改变和该改变的量值映射到自然语言并且生成颜色属性改变和颜色属性改变的量值的报告。然后可以用文本或者音频形式或者用文本和音频形式两者向用户传送输出。
在本发明的其他方面中,提供用于产生对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法。这些方法可以包括接受在参考图像与源图像之间的颜色比较差值测量并且将颜色比较差值测量转换成二维颜色空间差值。根据值确定颜色属性改变以及颜色属性改变的量值,将颜色属性改变和颜色属性改变的量值映射到自然语言词语集合以基于比较为用户生成报告。
附图说明
图1是根据本发明实施例的自然语言评价系统的框图。
图2是根据CIECAM02标准的用于描述颜色的二维框架的常规图。
图3是图1的自然语言生成器系统的部件的示例实施例的框图。
图4是根据本发明实施例的用于测量色调偏移并且用自然语言表现的示例过程的流程图。
图5是根据本发明实施例的用于测量饱和度偏移并且用自然语言表现的示例过程的流程图。
图6是根据本发明实施例的用于测量颜色多样性(variety)和/或颜色变化并且用自然语言表现的示例过程的流程图。
具体实施方式
图1是根据本发明实施例的自然语言评价系统10的框图。
对于观看修改或者处理的视频比对未处理的视频的人类,视频的总体印象可以概括为:1)颜色饱和度的改变,诸如增加的饱和度或者减饱和度(desaturation);或者2)颜色色调的总体偏移,一般经由白色偏移变得最明显(即不同色温或者色彩(tint)改变(诸如白颜色显得更绿或者更品红/紫));或者3)饱和度改变与色调总体偏移的组合。本发明的实施例生成这样的比较的自然语言输出,视频生产人员可以在评价修改的视频时更容易使用该输出。
自然语言评价系统10包括上文介绍的MICAM的实施例12。在MICAM 12中,接收测试图像和参考图像(这些图像也可以是相应图像系列)作为向单独可选格式转换器20、21中的单独输入。格式转换器20、21转换用于显示模型24、25的输入,这些模型又将相应输入转换成用于向相应查看和感知模型28、29、30和31输入的模拟光。相应感知模型30、31以CIECAM02 {a, b}为单位输出每个空间(例如像素)和时间(例如帧)样本的相应颜色响应。CIECAM02是CIE技术委员会8-01于2002年发行的公知Color Appearance Modeling for Color Management Systems。这些相应{a, b}视频响应用来估计在(一个或多个)参考图像与(一个或多个)修改(测试)图像之间的感知差值。
除了感知模型30、31之外,可以向系统添加诸如在TEKTRONIX PQA 500/600质量分析器中发现的认知模型。在选择器42中选择图像内感兴趣的区域,其可以是空间或时间或两者中的区域。在一些实施例中,感兴趣的默认区域是用于(一个或多个)测试和参考图像的整个长度的(一个或多个)全部帧。MICAM 12的输出是如图1中所示的测试与参考图像之间比较的一组统计摘要。尽管国际标准团体推荐将颜色建模用于静态图像颜色块,但是使用CIECAM02作为用于构建对于视频而言充分准确的颜色视觉模型的基础。设计、校准和验证CIECAM02以确定颜色差的阈值、方向和量值。
然而如在上文提到的‘456申请中描述的MICAM的最终输出被设计成(除了PQR、图片质量评级、预测之外还)预测视频质量摘要分数(诸如差值平均意见分数(DOMS))。尽管MICAM 12产生用于(一个或多个)测试和参考图像的在CIECAM02颜色空间中的{a, b}坐标,这又潜在地实现测试和参考颜色差除了DMOS和PQR度量之外的统计分析,但是它未直接向用户通知有价值的直接颜色评价。
图2是根据CIECAM02标准的用于描述颜色的二维框架的常规图。用直角坐标(诸如图2中所示坐标)表达CIECAM02标准的Lab。框架80沿着“a”轴描述“微红”到“微绿”并且沿着“b”轴描述“微黄”到“微蓝”。{a, b}平面的横向描述照度。“a”和“b”轴两者在正和负方向上延伸。将颜色描述为在{a, b}平面中的从原点(“a”和“b”轴的交点)以某一角度延伸的线上。沿着该线的颜色位于不同饱和度水平。然而CIECAM02未针对任何特定颜色区在侵占(encroach)另一颜色之前有多宽归因于容差。另外,尽管CIECAM02包括用于确定个别颜色的饱和度的方法,但是它既未解决多个颜色的趋势也未解决颜色改变的自然语言评价。
回顾图1,MICAM 12的输出是向自然语言创建器系统50的输入,该系统50对数据执行下文描述的各种过程并且比较输入数据与用于色调、量化最高级(superlative)和增加比对减少指示分类的阈值。参照下图给出细节和示例例子。
图3是图1的自然语言生成器系统50的部件的示例实施例100的框图。图3的自然语言生成器系统100包括属性测量部分110,该部分包括三个子系统——色调测量设施112、饱和度测量设施114和颜色多样性/变化测量设施116。这些设施112、114、116根据从图1的MICAM 12接收的输入生成输出。
色调测量设施112生成对测试图像从参考图像的色调偏移(图1)的测量。
总体色调偏移
平均测试和参考差值数据{a, b}(平均值差值或者优选实施例为差值平均){mean aDiff, mean bDiff}取自于MICAM 12的输出并且用来确定总体色调偏移。使用CIECAM02色调角度函数h(a, b)来计算色调偏移角度:
平均色调差值角度 = h(mean aDiff, mean bDiff) 
                                 = atan( mean bDiff, mean aDiff),
其中atan函数计算遍及图2的{a, b}图形的所有4个象限(即,从0到360度)内的唯一角度。这在图4中图示为流程400的过程410。
然后在过程420中比较平均色调差值角度或者色调角度与主颜色(cardinal color)的限制,主颜色的限制如基于如R.M. Boynton和R.E. MacLaury和K. Uchikawa在Centroids of Color Categories Compared by Two Methods , Color Research and Application 14(1), 6-15, 1989 (“Boynton”)中描述的美国光学协会(OSA)jgL相等感知递增颜色空间生成。
更具体而言,来自这一参考文献和相似研究的数据是用于确定用于描述色调改变的主色调以及用于每个主色调的极端色调角度的基础。这些研究使用来自不同文化的对象和不同语言的对应说母语人士(尽管Boynton参考文献主要聚焦于说英语和日语人士)并且标识d的颜色空间的如下大部分,基本颜色类别基本上驻留于这些部分。例如Boynton参考文献包括粉红色、红色、棕色、橙色、黄色、绿色、蓝色和紫色的OSA(美国光学协会)gjL(通用图像库)颜色空间中的绘图。由于棕色在色调角度上与红色和橙色大量重合(主要通过L轴代表的亮度/照度来区分),所以未使用它。这留下粉红色、红色、棕色、橙色、黄色、绿色、蓝色和紫色作为主颜色。可以在对应名称之间使用连字符或者斜线来系统地命名在连续主颜色之间的颜色。例如落在绿色与黄色区域之间的颜色称为“绿-黄色”或者“绿/黄色”。
通过穷举地采样跨OSA颜色空间的颜色并且在主颜色类别中对每个颜色分类(或者未分类)来标识Boynton参考文献的主颜色的界限。使用在CIECAM02文档中描述的方法将用于每个主颜色类别的一组颜色从OSA gjL转换成xyY并且然后进一步转换成CIECAM02 {ab}空间和对应色调角度h(a, b)。
总言之,CIE的颜色空间和颜色差模型(包括CIE 1931 xyY颜色空间(在诸多照片/谱分析产品中的目前常见/标准))包括来自CIE的诸多改进,包括Luv、Lab(包括CIECAM02)和CIE颜色差模型。这些改进中的诸多改进具有如下关联表,这些表具有数以百计到数以千计的颜色名称和向颜色空间坐标的映射的条目。一种使用准颜色命名惯例作为颜色空间坐标的部分的颜色空间是Munsell颜色空间,其具有向CIE xyY的示例映射,如在Gunter Wyszecki和W.S. Stiles的Color Science: Concepts and Methods,Quantitative Data and Formulas, 第2版, 1982, John Wiley & Sons, NY中描述的。然而这些技术/标准无一可以用来如在前述PQA和MICAM系统中那样直接评估视频。另外尽管PQA和MICAM系统的输出使用每帧每个像素的标准单位(即输出单位分别是每个空间和时间位置的CIE {u, v}和CIECAM02 {a, b}),但是向颜色名称的映射太具体而无法用于总体颜色偏移分析、往往使用如下文化特有语言,该语言未很好地翻译成其他语言并且未考虑颜色量化,该颜色量化往往在形成如在Boynton参考文献中那样归类的一起获得的颜色意见时发生。
回顾图4,过程420图示了颜色比较和量化,这里参照表1描述该过程的实施例。表1是如使用图2中所示CIECAM02 {ab}空间通过照最大和最小角度测量的主颜色的确定界限。表(诸如表1)可以被存储为如下色调表113,该色调表在色调测量设施112内或者耦合到色调测量设施112。
表1(色调颜色)
颜色         最小角度      最大角度
红             9.761             20.549
橙             22.549           39.399
黄             75.159           90.000
绿             101.780         164.250
蓝             216.551         237.530
紫             291.772         317.314
粉红         337.464         13.290
在图4的过程430中将这些主色调角度与在过程410中确定的色调角度进行比较以将色调量化成主色调或者“在主色调之间的”色调之一。可以在对应名称之间使用连字符或者斜线来系统地命名在连续主颜色之间的颜色。例如落在绿颜色与黄颜色区域之间的颜色称为“绿-黄色”或者“绿/黄色”。因此可以建立色调类别。
回顾图3,色调类别与下文描述的饱和度测量和颜色变化测量一起传递到量值确定器120。
使用与上文描述的方法相似的方法,再次使用转换成CIECAM02 {a, b}的来自Boynton参考文献的数据,可以通过相对于每个主颜色的区域内的颜色质心归一化{mean aDiff, mean bDiff}的矢量长度来确定颜色改变的相对量值。在表2中列举用于归一化的参考量值并且可以在量值确定器120内包括这些量值作为量值表121。
表2(相反色调颜色)
颜色                                     参考量值
红                                         0.941
红橙                                     0.948
橙                                         0.956
橙黄                                     0.930
黄                                         0.904
黄绿                                     0.678
绿                                         0.453
绿蓝                                     0.475
蓝                                         0.497
蓝紫                                     0.444
紫                                         0.392
紫粉红                                  0.512
粉红                                      0.633
桃红(PinkRed)                 0.787
例1:
角度:= 13
量值:= 红.12
参考量值:= 红
相对量值:= 量值/参考量值
相对量值= 0.12。
例如,如果确定色调差值角度为13(将落在来自表1的“红”n内),则相反色调颜色落为来自表2的“绿蓝”。另外如在上式中所示确定量值为.12。将这一过程图示为图4中的440。
颜色改变的归一化量值然后从量值确定器120传递到自然语言选择器130以根据用于色调和相反色调的一组类别量化阈值从自然语言表131选择适当定量最高级词语或者短语。将这图示为图4的过程450。
在表3中图示了用于特定颜色偏移阈值的示例自然语言表131。
表3(最高级阈值和量化仓)
量化仓          最小阈值      最大阈值      自然语言最高级
0                    0                    0.008             否
1                    0.009             0.048             略微
2                    0.049             0.168             明显
3                    0.169             0.368             有些
4                    0.369             0.648             可观
5                    0.649             1.000             严重
一旦图3的色调测量设施112、量值确定器120和自然语言选择器130已经分别确定色调、相反色调和最高级,自然语言选择器就可以生成比较(一个或多个)参考图像与(一个或多个)测试图像的色调的自然语言句子如下:
总言之,视频看来{最高级1}更{色调}({最高级2}不太{相反色调}。
这使用来自上例1的数据变成:
“总言之,视频看来有些更红(有些不太蓝绿)。”
将这图示为图4的过程460。
饱和度的总体改变
现在参照图2和图5描述饱和度测量设施114(图2)的功能。
饱和度测量设施114(图2)接受来自MICAM 12(图1)的平均绝对测试和参考{ mean(|a|),mean(|b|) }并且使用它确定在(一个或多个)参考图像与(一个或多个)测试图像之间的总体饱和度改变。
首先如下文并且如在图5的示例流程500的示例过程510中所示确定这些相应值的测试与参考值之间的差:
diffOfMeanAbs_a = meanAbsTest_a - meanAbsRef_a 
其中diffOfMeanAbs_a对应于图1的“mean Abs(a)Diff”。注意平均比对差值的运算顺序可互换而a或者b的绝对值居首。
每个diffOfMeanAbs_a和diffOfMeanAbs_b的绝对值中的每个然后分别在图5的过程520中用来根据一组类别量化阈值从自然语言表131(图3)选择适当定量最高级词语或者短语,而相应符号用来在“更”或者“不太”之间选择:
例2:
如果以下值是向饱和度测量设施114的输入:
meanAbsTest_a:=.1     meanAbsRef_a:=.11
meanAbsTest_b:=.08   meanAbsRef_b:=.1
则diffOfMeanAbs_a:=meanAbsTest_a - meanAbsRef_a = -0.01
    diffOfMeanAbs_b:=meanAbsTest_b - meanAbsRef_b = -0.02
首先如描述为图5的过程510那样,如上文给定的那样确定在(一个或多个)测试与参考图像之间的距离。然后在过程520中确定相应距离的量化仓,这意味着确定哪个指数值对应于每个diffOfMeanAbs_a和diffOfMeanAbs_b。如果两个距离量化到相同仓(表3的相同阈值水平),则图3的自然语言选择器130可以如在图5的过程530和540中所示生成用于描述特定条件的以下文本:
总言之,视频颜色看来{最高级1} {更饱和/更不饱和}
这使用来自例2的数据变成:
“总言之,视频颜色看来略微不饱和。”
例3:
如果以下值是向饱和度测量设施114的输入:
meanAbsTest_a:=.3      meanAbsRef_a:=.11
meanAbsTest_b:=.08    meanAbsRef_b:=.1
则diffOfMeanAbs_a:=meanAbsTest_a - meanAbsRef_a = 0.19
    diffOfMeanAbs_b:=meanAbsTest_b - meanAbsRef_b = -0.02
这里不同于例2,当用于“a”和“b”的量化仓根据表3不同时,图3的自然语言选择器130可以生成以下文本:
总言之,视频具有{最高级1} {更饱和/更不饱和}红色和/或绿色以及{最高级2} {更饱和/更不饱和}蓝色和/或黄色。
这使用来自例3的数据变成:
“总言之,视频具有明显更饱和红色和/或绿色以及略微不饱和蓝色和/或黄色。”
颜色多样性/变化的总体改变
颜色多样性/变化测量设施116(图2)根据MICAM 12的输出确定(一个或多个)测试和参考图像的标准偏差{ stdev(a), stdev(b) }。
首先如图6中所示流程600的过程610中所示,确定(一个或多个)测试与参考图像的标准偏差之差如下:
diffStdev_a = stdevTest_a - stdevRef_a
其中diffStdev_a对应于图1的"stdev(a)Diff"。
每个diffStdev_a和diffStdev_b的绝对值中的每个然后分别用来根据一组分类量化阈值例如从图3的自然语言表131选择适当定量最高级词汇或者短语。图3的自然语言选择器130使用比较的相应符号在“更”或者“不太”之间选择:
下例进一步举例说明这一用于总体色调偏移测量翻译成自然语言的方法:
例4:
如果以下值是向颜色多样性/变化测量设施116的输入:
stdevTest_a:=.1        stdevRev_a:=.11
stdevTest_b:=.08      stdevRev_b:=.1
则diffStdev_a:=stdevTest_a - stdevRef_a    = -.01
    diffStdev_b:=stdevTest_b - stdevRef_b     = -.02
比较每个diffStdev_a和diffStdev_b的标准偏差的差值与自然语言表131(图3)中的阈值以选择每个值的对应量化仓。
如果diffStdev_a和diffStdev_b均量化成相同值,则图3的自然语言选择器130如在图6的过程630和640中所示生成用于描述特定条件的以下文本:
总言之,视频具有{最高级1} {更多/更少}颜色多样性。
这在例4中由于diffStdev_a和diffStdev_b均量化到仓1而变成:
“总言之,视频具有略微更少颜色多样性。”
例5:
如果以下值是向颜色多样性/变化测量设施116的输入:
stdevTest_a:=.3       stdevRev_a:=.11
stdevTest_b:=.08     stdevRev_b:=.1
则diffStdev_a:=stdevTest_a - stdevRef_a    = .19
     diffStdev_b:=stdevTest_b - stdevRef_b   = -.02
比较每个diffStdev_a和diffStdev_b的标准偏差的差值与自然语言表131(图3)中的阈值以选择每个值的对应量化仓。
当diffStdev_a和diffStdev_b均量化成不同值时,图3的自然语言选择器130然后如在图6的过程630和640中所示生成用于描述特定条件的以下文本:
总言之,视频具有{最高级1} {更多/更少}红色和/或绿色多样性以及{最高级2} {更多/更少}蓝色和/或黄色多样性。
这在例5中由于diffStdev_a量化到仓2并且diffStdev_b量化到仓1而变成:
“总言之,视频具有明显更多红色和/或绿色多样性以及略微更少的蓝色和/或黄色多样性。”
回顾图1和图3,虽然已经参照文本书面语言评价来说明上述示例,但是本发明的某些实施例还包括口语模块60、140。口语模块60、140可以包括如下语音处理器,该处理器被构造成从自然语言创建器系统50、130接受自然语言评价并且生成评价的音频消息。这些实施例可能在不便读取文本消息的实例中是重要的。例如视频编辑者可以在观看视频之时实时编辑修改的视频,而本发明的实施例定期给予实时测量属性的口头提示。以这一方式,视频编辑者可以保持他的或者她的目光聚焦于处理的视频流而无需在编辑过程期间读取可变颜色属性的报告、也无需注视原始视频。
如上文描述的那样,本发明的实施例包括一种用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统。该系统可以包括如下颜色转换器,该颜色转换器接收在参考图像与源图像之间的差值测量并且基于差值测量来确定颜色属性改变。颜色属性可以例如包括色调偏移、饱和度改变和颜色变化。此外,量值指数设施确定已确定的颜色属性改变的量值。另外,自然语言选择器将颜色属性改变和该改变的量值映射到自然语言并且生成颜色属性改变和颜色属性改变的量值的报告。然后可以用文本或者音频形式或者以文本和音频形式两者向用户传送输出。
虽然已经描述具体实施例,但是将清楚本发明的原理并不限于那些实施例。可以进行变化和修改而未脱离如在以下权利要求书中限定的本发明原理。

Claims (16)

1.一种用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,包括:
颜色转换器,被构造成接收在所述参考图像与源图像之间的差值测量并且基于所述差值测量来确定颜色属性改变;
量值指数设施,被构造成确定已确定的颜色属性改变的量值;
自然语言选择器,被构造成生成所述颜色属性改变和所述颜色属性改变的所述量值的自然语言报告;以及
输出模块,被构造成向所述系统的用户传送所述自然语言报告。
2.根据权利要求1所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述颜色转换器是色调偏移确定设施,并且其中所述颜色属性改变是在所述参考图像与所述源图像之间的色调偏移。
3.根据权利要求1所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述颜色转换器是饱和度确定设施,并且其中所述颜色属性改变是在所述参考图像与所述源图像之间的饱和度差值。
4.根据权利要求1所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述颜色转换器是颜色变化确定设施,并且其中所述颜色属性改变是在所述参考图像与所述源图像之间的颜色多样性变化。
5.根据权利要求1所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述输出模块是被构造成接受所述自然语言报告并且生成向所述系统的所述用户的音频报告的语音合成模块。
6.根据权利要求1所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,还包括:感兴趣区域选择器,被构造成接受用户输入以描绘所述参考和源图像的将在所述评价中包括的部分的边界。
7.根据权利要求6所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述感兴趣区域选择器是空间选择器。
8.根据权利要求6所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述感兴趣区域选择器是时间选择器。
9.根据权利要求1所述的用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统,其中所述参考图像和所述源图像是相应视频图像。
10.一种用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,所述方法包括:
接受在所述参考图像与所述源图像之间的颜色比较差值测量的输入;
将所述颜色比较差值测量转换成二维颜色空间差值;
基于二维颜色空间内的差值确定颜色属性改变;
确定所述颜色属性改变的量值;
将所述颜色属性改变的所述量值映射到自然语言词语集合中的一个;
根据映射的量值和所述二维颜色空间差值生成所述自然语言评价;并且
输出所述自然语言评价。
11.根据权利要求10所述的用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,其中所述二维颜色空间遵循CIECAM02。
12.根据权利要求10所述的用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,其中基于所述二维颜色空间内的差值确定颜色属性改变包括确定在所述参考图像与所述源图像之间的色调偏移。
13.根据权利要求10所述的用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,其中基于所述二维颜色空间内的差值确定颜色属性改变包括确定在所述参考图像与所述源图像之间的饱和度测量。
14.根据权利要求10所述的用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,其中基于所述二维颜色空间内的差值确定颜色属性改变包括确定在所述参考图像与所述源图像之间的颜色变化测量。
15.根据权利要求10所述的用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,还包括选择相应参考图像和测试图像的待评价的感兴趣区域。
16.根据权利要求10所述的用于提供对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法,还包括生成所述自然语言评价的音频报告。
CN201210107943.5A 2011-04-15 2012-04-13 用于相对颜色质量的自然语言评价的系统 Expired - Fee Related CN102740118B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/088,021 US9055279B2 (en) 2011-04-15 2011-04-15 System for natural language assessment of relative color quality
US13/088021 2011-04-15

Publications (2)

Publication Number Publication Date
CN102740118A true CN102740118A (zh) 2012-10-17
CN102740118B CN102740118B (zh) 2016-06-29

Family

ID=46000858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210107943.5A Expired - Fee Related CN102740118B (zh) 2011-04-15 2012-04-13 用于相对颜色质量的自然语言评价的系统

Country Status (4)

Country Link
US (1) US9055279B2 (zh)
EP (1) EP2512116B1 (zh)
JP (1) JP6059877B2 (zh)
CN (1) CN102740118B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917932B2 (en) 2011-12-29 2014-12-23 Tektronix, Inc. Method of predicting perceptual differences between memory and directly viewed colors in video
JP6265640B2 (ja) 2013-07-18 2018-01-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US10334103B2 (en) 2017-01-25 2019-06-25 International Business Machines Corporation Message translation for cognitive assistance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313280A (en) * 1992-07-13 1994-05-17 U S West Advanced Technologies, Inc. Method and apparatus for testing codec devices
US20090252371A1 (en) * 2008-04-02 2009-10-08 Bindu Rama Rao Mobile device with color detection capabilities
US20100149344A1 (en) * 2008-12-12 2010-06-17 Tektronix, Inc. Method and apparatus for implementing moving image color appearance model for video quality ratings prediction
CN102016555A (zh) * 2008-03-29 2011-04-13 巴默检验有限公司 用于自动检验多颜色彩色图像的视觉感知的色彩印象的方法和装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5025480A (en) * 1987-03-23 1991-06-18 Eastman Kodak Company Background referencing
US5883968A (en) * 1994-07-05 1999-03-16 Aw Computer Systems, Inc. System and methods for preventing fraud in retail environments, including the detection of empty and non-empty shopping carts
GB2308262B (en) * 1995-12-16 1999-08-04 Paul Gordon Wilkins Method for analysing the content of a video signal
JP2001521250A (ja) * 1997-10-27 2001-11-06 マサチューセッツ・インスティチュート・オブ・テクノロジー 情報の検索および検索システム
US6421462B1 (en) * 1998-02-06 2002-07-16 Compaq Computer Corporation Technique for differencing an image
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
JP2000275757A (ja) * 1999-03-24 2000-10-06 Fuji Photo Film Co Ltd 画像評価方法及び装置
US6577764B2 (en) 2001-08-01 2003-06-10 Teranex, Inc. Method for measuring and analyzing digital video quality
JP2005004495A (ja) * 2003-06-12 2005-01-06 Yutaka Osumi カメラ付きの携帯式コンピュータ機器を利用した色名情報取得システム、方法及びプログラム
US7787692B2 (en) * 2003-09-25 2010-08-31 Fujifilm Corporation Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program
JP3944151B2 (ja) * 2003-10-31 2007-07-11 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
US7190263B2 (en) * 2004-09-20 2007-03-13 Motorola, Inc. Utilizing a portable electronic device to detect motion
JP3960346B2 (ja) * 2004-12-27 2007-08-15 オムロン株式会社 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
US7440608B2 (en) * 2005-05-31 2008-10-21 Hewlett-Packard Development Company, L.P. Method and system for detecting image defects
JP2006338377A (ja) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
JP4482031B2 (ja) * 2005-07-11 2010-06-16 日本電信電話株式会社 映像整合装置、方法、およびプログラム
US7522767B2 (en) * 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. True color communication
KR100881028B1 (ko) * 2006-10-12 2009-02-05 삼성전자주식회사 회색 데이터 보정 장치 및 방법
US8340452B2 (en) * 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
US8644642B2 (en) * 2008-04-30 2014-02-04 Nec Corporation Image quality evaluation method, system, and program based on an alternating-current component differential value
JP5412774B2 (ja) * 2008-09-09 2014-02-12 富士通株式会社 色差識別装置、及び色差識別プログラム
KR101502598B1 (ko) * 2008-11-12 2015-03-16 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
US8510100B2 (en) * 2010-05-20 2013-08-13 Xerox Corporation Human readable sentences to represent complex color changes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313280A (en) * 1992-07-13 1994-05-17 U S West Advanced Technologies, Inc. Method and apparatus for testing codec devices
CN102016555A (zh) * 2008-03-29 2011-04-13 巴默检验有限公司 用于自动检验多颜色彩色图像的视觉感知的色彩印象的方法和装置
US20090252371A1 (en) * 2008-04-02 2009-10-08 Bindu Rama Rao Mobile device with color detection capabilities
US20100149344A1 (en) * 2008-12-12 2010-06-17 Tektronix, Inc. Method and apparatus for implementing moving image color appearance model for video quality ratings prediction

Also Published As

Publication number Publication date
US9055279B2 (en) 2015-06-09
EP2512116A1 (en) 2012-10-17
US20120265532A1 (en) 2012-10-18
CN102740118B (zh) 2016-06-29
JP2012227914A (ja) 2012-11-15
EP2512116B1 (en) 2014-12-31
JP6059877B2 (ja) 2017-01-11

Similar Documents

Publication Publication Date Title
CN110691277B (zh) 视频信号的处理方法及装置
Nuutinen et al. CVD2014—A database for evaluating no-reference video quality assessment algorithms
Pedersen et al. Attributes of image quality for color prints
RU2611978C2 (ru) Формирование и обработка сигнала изображения с высоким динамическим диапазоном
RU2607981C2 (ru) Устройства и способы для анализа градуировок изображения
CN1370310A (zh) 利用和声法的调和色选择方法与装置,以及声音颜色的互换方法与装置
JP5483819B2 (ja) 二次元停止画像に対して没入感を生成する方法およびシステム、または没入感を生成するためのファクタ調節方法、イメージコンテンツ分析方法およびスケーリングパラメータ予測方法
US7663636B2 (en) Apparatus and method for automatically analyzing digital video quality
CN102845071A (zh) 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估
US20200372899A1 (en) Systems and methods for automated generation of subtitles
WO2007105927A1 (en) Method and apparatus for converting image to sound
JP7078175B2 (ja) 検査装置及び方法
US20150288958A1 (en) Method for generating test patterns for detecting and quantifying losses in video equipment
Pieri et al. Hitting the mark—a new color difference metric for HDR and WCG imagery
CN103347142A (zh) 一种基于数字设备呈色适性表征的优化色表实现方法
CN102740118A (zh) 用于相对颜色质量的自然语言评价的系统
CN103928036A (zh) 一种根据图像生成音频文件的方法及装置
CN105447878A (zh) 一种图像质量测试分析方法及系统
CN113301408A (zh) 视频数据处理方法、装置、电子设备和可读存储介质
Bienik et al. Impact of packet loss rate on quality of compressed high resolution videos
Li et al. A modification of CIECAM02 based on the Hunt‐Pointer‐Estevez matrix
Bustamante et al. Assessment of color discrimination of different light sources
CN103442245A (zh) 预测视频中的记忆和直观色彩的感知差异的方法
CN103763498A (zh) Hdmi信号处理系统及处理方法
Boudjerida et al. Analysis and comparison of audiovisual quality assessment datasets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190911

Address after: oregon

Patentee after: Giant Plan Co., Ltd.

Address before: oregon

Patentee before: Tektronix Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160629

Termination date: 20190413