CN103310468A - 色距测量装置、色距测量方法和程序 - Google Patents

色距测量装置、色距测量方法和程序 Download PDF

Info

Publication number
CN103310468A
CN103310468A CN2013100720898A CN201310072089A CN103310468A CN 103310468 A CN103310468 A CN 103310468A CN 2013100720898 A CN2013100720898 A CN 2013100720898A CN 201310072089 A CN201310072089 A CN 201310072089A CN 103310468 A CN103310468 A CN 103310468A
Authority
CN
China
Prior art keywords
pixel data
hsv
color
color space
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100720898A
Other languages
English (en)
Inventor
佐藤洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103310468A publication Critical patent/CN103310468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种色距测量装置,包括:第一变换部分,将预定的色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;第二变换部分,将变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表达;以及色距测量部分,基于变换为x、y、z坐标表达的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距。在最大亮度和最小亮度之间的亮度处,变形的HSV色彩空间中的最大饱和度大于圆锥形模型的HSV色彩空间中的最大饱和度,且在最小亮度处饱和度为0。

Description

色距测量装置、色距测量方法和程序
技术领域
本发明涉及色距测量装置、色距测量方法和程序,并且特别涉及用在诸如色彩相似度图的生成和图像分割的处理中的色距测量装置、色距测量方法和程序。
背景技术
对于包括图像识别、高质量过滤以及图像压缩和扩展的各种图像处理,用于测量相对色距的处理是基本的。在图像分割和视觉显著性(saliency)提取领域中,特别地,对输入图像的像素计算相对色距从而将该图像分割为相似颜色的区域或检测显著的区域。例如,由Radhakrishna Achanta,Appu Shaji,Kevin Smith,Aurelien Lucchi,Pascal Fua和Sabine Susstrunk发表于2010年6月的SLIC Superpixels,EPFL技术报告第149300描述了一种用于测量相对色距以进行颜色分割的技术。
发明内容
在计算相对色距中,如在上面提到的SLIC Superpixels,EPFL技术报告第149300中所教导的,最经常使用CIE LAB(CIE1976,以下被称为“LAB色彩空间”),其使得色距的计算可与通过人类色彩感觉而获得的进行比较。然而,由LAB色彩空间,为变换进行大量的计算,且用在移动设备(诸如数码相机和具有相机的智能电话)中的较小数字处理器(DSP)可能难以进行实时处理。
例如,在两个阶段中进行从RGB(Rec.709(D65))色彩空间到LAB色彩空间的变换,即从RGB到XYZ的变换和从XYZ到CIE LAB的变换。以下的公式(1)代表从RGB到XYZ的变换。以下的公式代表从XYZ到CIE LAB的变换。
X=0.4124R+0.3576G+0.1805B
Y=0.2126R+0.7152G+0.0722B
Z=0.0193R+0.1192G+0.9505B
                          ...(1)
xr=X/Xr
yr=Y/Yr
Zr=Z/Zr
f x = { x r 3 ( 903.3 x r + 16 ) / 116 x r > 0.008856 x r ≤ 0.008856
f y = { y r 3 ( 903.3 y r + 16 ) / 116 y r > 0.008856 y r ≤ 0.008856
f z = { z r 3 ( 903.3 z r + 16 ) / 116 z r > 0.008856 z r ≤ 0.008856
L=116×fy-16
A=5OO×(fx-fy)
B=2OO×(fy-fz)          ...(2)
如果使用作为最常见色彩空间的YCbCr或RGB测量相对色距,则在由LAB色彩空间的计算较难的环境下,得到的相对色距可能偏离人类色彩感觉或为不平衡的。例如,可能仅强调YCbCr色彩空间中的亮度Y,或仅强调RGB色彩空间中的G的差。
考虑,在HSV色彩空间中色距的测量,其被期望为相比YCbCr和RGB,代表类似于人类色彩感觉的色彩空间。由标准的HSV色彩空间(色调H,饱和度S和亮度V),难以使用单个指标(index)限定相对色距,这是因为色调H是对照于饱和度S和亮度V的旋转分量,其每个都是其值自身代表距离的标度(scale)分量。图8A示出对于圆锥模型的HSV色彩空间。图8B示出对于柱状模型的HSV色彩空间。
作为使用HSV色彩空间中单个指标来表达色距的最简单的方法,可以想到将具有色调H的角度表示的色彩空间变换为三维欧氏x、y、z坐标表示从而将相对色距表示为欧氏距离。在这种情况下,有必要选择圆锥形模型(参见图9A)或柱状模型(参见图9B)用于HSV色彩空间。
在使用圆锥模型测量HSV色彩空间中的相对色距中,当亮度V更接近0时饱和度S的最大值变得更大,而这降低了色彩的分离性能。因此,当输入图像具有较低亮度时相对色距倾向于被确定为更短。例如,如果基于使用圆锥形模型测量的HSV色彩空间中的欧氏距离进行图像分割,则位于低亮度的对象可能不被分割。
反之,在使用柱形模型测量HSV色彩空间中的相对色距中,即使亮度V变得接近0时饱和度S也保持在稳定的最大值。因此,如果测量了使用柱形模型测量的HSV色彩空间中的距离,即使对于人类会感觉为同样黑色的颜色,也可能输出具有显著(considerable)值的距离。例如,如果基于使用柱形模型测量的HSV色彩空间中的欧氏距离进行图像分割,则由于对黑色的色彩分离太高,因此人类会确定为纯色的(solid)处于低亮度的黑色对象可被分割为多个不同的对象。
因此,基于欧氏距离测量HSV色彩空间中的相对色距可导致在低亮度时色彩分离性能的问题,而不管使用圆锥形模型或柱形模型。
期望测量相对色距而获得良好的结果。
根据本发明的实施例,提供了一种色彩空间测量装置,包括:第一变换部分,其将预定的色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;第二变换部分,其将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及色距测量部分,其基于已经被变换为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,其中在最大亮度和最小亮度之间的亮度上,变形的HSV色彩空间中饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,且在最小亮度处饱和度为0。
在本发明的实施例中,第一变换部分将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间。此外,第二变换部分将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示。然后,色距测量部分基于已经被转化为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距。
在变形的HSV色彩空间中,在最大亮度和最小亮度之间的亮度上饱和度的最大值大于圆锥形模型的HSV色彩空间的饱和度的最大值,且最小亮度处饱和度为0。
根据本发明的实施例,相对色距在变形的HSV色彩空间中被测量为欧氏距离。因此,有可能避免当使用圆锥形模型或柱形模型时在低亮度处的色彩分离性能的问题,并且相对于在变形的HSV色彩空间中测量相对色距的情况下减少计算量。
在本发明的另一实施例中,例如,可确定变形的HSV色彩空间中在每个亮度处饱和度的最大值从而使得在变形的HSV色彩空间中测量的在相同亮度处具有不同饱和度的两个颜色之间的色距等于在LAB色彩空间测量的两个颜色之间的色距。由这种方式确定变形的HSV色彩空间中的每个亮度处饱和度的最大值,所计算的相对色距可接近LAB色彩空间中计算的相对色距,其使得相对色距的计算可与通过人类色彩感觉获得的相比较。
根据本发明的又一实施例的色距测量装置,可还包括例如控制部分,其控制色距测量部分混合基于色调和饱和度分量的距离和基于亮度分量的距离的合成比例。例如,第一彩色像素数据可包括有关形成图像的具体像素的像素数据,且第二彩色像素数据可包括形成该图像的任意像素的像素数据,且控制部分可基于该图像的平均亮度和具体像素周围区域的亮度控制合成比率。在这种情况下,例如,该图像可为由成像元件捕捉的图像。以这种方式控制合成比率,有可能彼此分开地考虑色调和饱和度的距离和亮度的距离。
根据本发明的又一实施例的色距测量装置,可还包括例如数据表,其存储变形的HSV色彩空间中亮度的预定采样点处饱和度的最大值,并且第一变换部分可使用该数据表将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间。提供该数据表可减少将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间所进行的计算量。对应于采样点之间亮度的饱和度的最大值可通过插值进行计算。
根据本发明的实施例,有可能测量相对色距以获得较好的结果。
附图说明
图1是示出根据实施例的数码相机的示例性配置的框图。
图2A和2B示出数码相机的操作。
图3是数码相机的被摄体(subject)提取部分的示例性配置的框图。
图4示意性示出变形的HSV色彩空间。
图5示出在变形的HSV色彩空间中特定亮度V处两个颜色的像素数据A和B之间的相对色距中的关系。
图6是示出对应于被摄体提取部分的变形的HSV/三维坐标变换部分和色距测量部分的处理过程的流程图。
图7是示出数码相机的被摄体提取部分的另一示例性配置的框图。
图8A和8B分别示出圆锥形模型的HSV色彩空间和柱形模型的HSV色彩空间。
图9A和9B分别示出圆锥形模型的HSV色彩空间和柱形模型的HSV色彩空间到三维欧氏x、y、z坐标表示的变换。
具体实施方式
以下将描述本公开的实施例。将按如下顺序进行描述。
1.实施例
2.修改
<1.实施例>
[数码相机的示例性配置]
图1示出数码相机100的示例性配置。在示例性配置中,为了简化叙述,未示出用于记录和再生图像数据的系统。数码相机100包括控制部分101、成像部分102、合成部分103和显示部分104。
控制部分101包括CPU、ROM、RAM等(未示出),并控制数码相机100的各种部件的操作。该控制部分101包括被摄体提取部分105。该被摄体提取部分105通过基于从成像部分102输出的图像信号Vo操作稍后将要讨论的触摸面板来提取由用户指定的图像中特定的被摄体,并生成框(frame)显示信号So用于在被摄体周围显示矩形框。
成像部分102可以是例如电荷耦合器件(CCD)成像器、互补金属氧化物半导体(CMOS)成像器等。成像部分102对由成像器获得的信号进行采样和同步调整(hold control)、增益控制、模数变换、白平衡调整、伽马修正等以输出与捕获的图像对应的图像信号Vo。
合成部分103将从被摄体提取部分105输出的框(frame)显示信号So与从成像部分102输出的图像信号Vo相混合。显示部分104可以是液晶显示元件、有机电致发光(EL)显示元件等。根据从合成部分103输出的图像信号驱动显示部分104以基于该图像信号显示图像。
触摸面板106安置在显示部分104的显示屏幕上。用户可触摸触摸面板106以在显示部分104上显示的图像上指定特定的被摄体。触摸面板106向控制部分101的被摄体提取部分105输出用于指定由用户指定的特定被摄体的位置的位置指定信号。
将简要描述图1中所示的数码相机100的操作。由成像部分102通过捕获图像获得的图像信号Vo经由合成部分103提供到显示部分104。如例如图2A中所示,显示部分104基于图像信号Vo显示图像。在所示例子中,捕获汽车作为被摄体。
在该显示状态下,用户在触摸面板106上触摸与该汽车对应的电从而将该汽车指定为显示的图像上的特定被摄体。在这种情况下,从触摸面板106输出用于指定图像上汽车的位置的位置指定信号,并发送到被摄体提取部分105。
被摄体提取部分105进行处理,用于基于从成像部分102输出的图像信号Vo和从触摸面板106输出的位置指定信号将汽车提取作为被摄体。如稍后将要详细讨论的,通过测量由用户指定的图像位置处的像素数据之间的相对色距以及形成该图像的每个像素的数据来准备色彩相似度图进行提取处理。作为提取处理的结果,被摄体提取部分105对图像信号Vo的每帧生成框显示信号So用于显示围绕汽车的矩形框。
从控制部分101的被摄体提取部分105输出的框显示信号So被提供给合成部分103以和从成像部分102输出的图像信号Vo混合。然后,与框显示信号So混合的图像信号被提供到显示部分104。显示部分104显示包括由图2B所示的框围绕的汽车的图像。对每帧更新从被摄体提取部分105输出的框显示信号So。因此,围绕汽车的框和汽车的运动一起移动从而跟随汽车。
[被摄体提取部分的示例性配置]
下面,将描述被摄体提取部分105的示例性配置。图3示出被摄体提取部分的示例性配置。被摄体提取部分105包括变形的HSV/三维坐标变换部分111和112、色距测量部分113、色彩相似度图生成部分114和矩形生成部分115。
变形的HSV/三维坐标变换部分111接收从成像部分102(参见图1)输出的图像信号Vo的输入。图像信号Vo包括常见色彩空间(诸如例如RGB或YCbCr)中的像素信号。变形的HSV/三维坐标变换部分111对于图像信号Vo的每帧进行将像素数据变换到变形的HSV色彩空间的处理。例如,如果图像信号Vo是全高清图像信号,则一帧的图像信号Vo包括1920×1080像素的数据。此外,变形的HSV/三维坐标变换部分111还将已经变换到变形的HSV色彩空间的像素数据变换为三维x、y、z坐标表示。
变形的HSV/三维坐标变换部分112接收对图像信号Vo的每帧从像素数据提取且对应于当用户触摸触摸面板106时的触摸点的像素数据Vs作为输入。变形的HSV/三维坐标变换部分112进行将像素数据Vs变换到变形的色彩空间的处理。此外,变形的HSV/三维坐标变换部分112还将已经被变换到变形的HSV色彩空间的像素信号Vs变换为三维x、y、z坐标表示。
通过调制低亮度处HSV色彩空间中的饱和度来获得变形的HSV色彩空间从而使用三维欧氏距离表示接近人类感觉的色距。图4示意性地示出变形的HSV色彩空间。在变形的色彩空间中,在最大亮度和最小亮度之间的亮度上,饱和度的最大值大于圆锥形模型(参见图8A和图9A)的HSV色彩空间中的饱和度的最大值(由图4中的间断线示出),且在最小的亮度处饱和度为0。
例如,当三个RGB元素的最大值和最小值被分别定义为MAX和MIN时,在变形的HSV色彩空间中的色调H、饱和度S和亮度V由以下的公式(3)指示:
V=MAX
H = 60 &times; G - B MAX - MIN , ifMAX = R 60 &times; B - R MAX - MIN ifMAX = G 60 &times; R - G MAX - MIN ifMAX = B
S = MAX - MIN MAX &times; f ( V ) . . . ( 3 )
在变形的HSV色彩空间中的色调H、饱和度S和亮度V中,色调H是旋转的角度,并且饱和度S和亮度V的每个是标度分量。因此,可能不能由单个的指标表示相对色距。因此,考虑在当H、S和V分量如上所述变换为三维欧氏x、y、z坐标表示之后测量相对的色距。因此,变形的HSV/三维坐标变换部分111和112如上所述将已经被变换到变形的HSV色彩空间的像素数据Vs变换为三维x、y、z坐标表示。
以下公式(4)指示将H、S和V分量变换成x、y和z坐标表示。
hsvx=S×cos(H)
hsvy=S×sin(H)
hsvz=V
                         ...(4)
变形的HSV色彩空间中的饱和度S是亮度V的函数。f(V)表示在变形的HSV色彩空间中在饱和度的方向上变形的最大量,即饱和度的最大值。如果转变之前的图像是8位RGB图像,则亮度V的范围是0到255。因此,f(v)具有来自具有256个元素的表的值。变形的HSV/三维坐标变换部分111和112包括数据表(未示出),数据表具有用于256个元素或用于预定提取的采样点的表值,并且从该数据表读取对应于亮度V的f(V)值以使用该读取值。对于作为提取的结果被去除的亮度V的值,变形的HSV/三维坐标变换部分111和112通过基于靠近亮度V被去除值的亮度V处的f(V)值进行插值而生成f(V)的值。如果数据表具有仅用于提取的采样点的表的值,则表的容量可减少。
将要描述获得f(V)的方法的示例。假设变形的HSV色彩空间的最通用的形状是最小化在变形的HSV色彩空间中获得的色距和在LAB色彩空间中获得的色距之间的差的形状。然后,对变形的HSV色彩空间和LAB色彩空间两者计算两个任意颜色的像素数据A和B之间的色距,并且认为最小化色距之间差的f(V)提供最接近人类感觉的最通用的形状。
为简化,认为两个颜色像素数据A和B具有相同的亮度(V或hsv_z),并且认为将要最小化色调和饱和度(H和S或hsv_x和hsv_y)上的距离。即,确定f(V)使得在同样的亮度处变形的HSV色彩空间中由色调和饱和度限定的平面(hsv_x-hsv_y平面)上的相对色距接近LAB色彩空间中的相对色距。
图5示出变形的HSV色彩空间中特定亮度V处两个颜色的像素数据A和B之间的相对色距中的关系。为了进一步简化,其中一个颜色的像素数据A始终是无色的(achromatic)。此时,如以下公式(5)所指示,相对色距d-dHSV(A,B)等于另一个颜色的像素数据B的饱和度S-B:
d - dHSV ( A , B ) = ( hsv - xA - hsv - xB ) 2 + ( hsv - yA - hsv - yB ) 2
= ( S A cos H A - S B cos H B ) 2 + ( S A sin H A - S B sin H B ) 2
= S - B . . . ( 5 )
下面,如由下述公式(6)所指示,计算LAB色彩空间中两个颜色的像素数据A和B之间的相对色距d-Lab(A,B)。因此,如果变形的HSV色彩空间和LAB色彩空间中的相对色距彼此相等,则可由以下公式(7)表示S-B。
d - Lab ( A , B ) = ( L A - L B ) 2 + ( a A - a B ) 2 + ( b A - b B ) 2 . . . ( 6 )
S-B=d-Lab(A,B)
                                        ...(7)
如果在亮度V处像素数据B具有最大饱和度值,则S-B自身的值等于确定在亮度V处变形的HSV色彩空间的形状的f(V)。f(V)最终被确定为对多个样本颜色(在亮度V处具有最大饱和度值的颜色)对像素数据B计算的S-B值的平均。
回到图3,色距测量部分113对图像信号Vo的每帧顺次获取形成该帧的像素数据作为第一彩色像素数据,并测量第一彩色像素数据和充当第二彩色像素数据的像素数据Vs之间的相对色距。在此事件中,如上所讨论的,使用已经由变形的HSV/三维坐标变换部分111变换为x、y、z坐标表示的第一彩色像素数据和已经由变形的HSV/三维坐标变换部分112变换为x、y、z坐标表示的第二彩色像素数据将相对色距测量为欧氏距离。
当第一彩色像素数据的x、y、z坐标表示是(hsv-xA,hsv-yA,hsv-zA)且第二彩色像素数据的x、y、z坐标表示是(hsv-xB,hsv-yB,hsv-zB)时,可由以下的公式(8),(9),(10)等表示相对的色距d。公式(8)基于一阶范数得到距离。公式(9)基于二阶范数得到距离。公式(10)基于二阶范数的平方根得到距离。
d=|hsv-xA-hsv-xB|+|hsv-yA-hsv-yB|+|hsv-zA-hsv-zB|...(8)
d=||hsv-xA-hsv-xB||+||hsv-yA-hsv-yB||+||hsv-zA-hsv-zB||             ...(9)
d = | | hsv - xA - hsv - xB | | + | | hsv - yA - hsv - yB | | + | | hsv - zA - hsv - zB | | . . . ( 10 )
可使用以上给出的公式(8)、公式(9)和公式(10)基本地算出相对色距d。然而,确定代表变形的HSV色彩空间中饱和度S的最大值的f(V)从而使得由在相同亮度处、变形的HSV色彩平面中色调和饱和度限定的平面上的相对色距接近例如以上讨论的LAB色彩空间中的相对色距。在这种情况下,对不同亮度V处两个颜色的像素数据A和B不考虑变形的HSV色彩空间和LAB色彩空间之间的相对色距中的共同性(approximation)。
因此,在这种情况下,在变形的HSV色彩空间中应单独地考虑亮度V分量中的距离和色调H和饱和度S分量之间的距离。即,在这种情况下,色距测量部分113在分配权重给亮度V分量和色调H和饱和度S分量的情况下计算距离,并根据使用目的调整亮度V分量的权重wv和色调H和饱和度S的权重ws。在这种情况下,可由以下的公式(11)、公式(12)和公式(13)等表示相对色距d
d=ws(|hsv-xA-hsv-xB|+|hsv-yA-hsv-yB|)+wv(|hsv-zA-hsv-zB|)           ...(11)
d=ws(||hsv-xA-hsv-xB||+||hsv-yA-hsv-yB||)+wv(||hsv-zA-hsv-zB||)             ...(12)
d = ws ( | | hsv - xA - hsv - xB | | + | | hsv - yA - hsv - yB | | ) + wv ( | | hsv - zA - hsv - zB | | ) . . . ( 13 )
色彩相似度图生成部分114对图像信号Vo的每帧将由色距测量部分113测量的di对应于形成该帧的各像素数据变换为8位灰度图。为此,色彩相似度图生成部分114将相对色距di标准化为如以下公式(14)所指示的从0到255的数据。
Normalize()指示对0-255标准化的函数。
di'=Normalize(di),0到255
                                  ...(14)
之后,色彩相似度图生成部分114对图像信号Vo的每帧反转与形成该帧的像素数据对应的标准化的数据di',以生成色彩相似度图数据di"。Reverse()指示对0-255反转的函数。
di"=Reverse(di')
                                 ...(15)
矩形生成部分115基于从色彩相似度图生成部分114输出的色彩相似度图数据di”使用根据相关技术的矩形生成算法以生成框显示信号So用于在显示部分104上显示的图像上显示围绕由用户指定的指定被摄体的矩形框。
将简要地描述图3中示出的被摄体摘要部分105的操作。通过由成像部分102(参见图1)通过捕获图像而获得的图像信号Vo输入到变形的HSV/三维坐标变换部分111。变形的HSV/三维坐标变换部分111对图像信号Vo的每帧将像素数据变换到变形的HSV色彩空间(参见公式(3))。此外,变形的HSV/三维坐标变换部分111将已经被转化到变形的HSV色彩空间的像素数据变换为三维x、y、z坐标表示(参见公式(4))。
对图像信号Vo的每帧从像素数据提取的且对应于用户触摸触摸面板106时的触摸点的像素数据Vs输入到变形的HSV/三维坐标变换部分112。变形的HSV/三维坐标变换部分112将像素数据Vs变换到变形的HSV色彩空间(参见公式(3))。此外,变形的HSV/三维坐标变换部分112将已经被转化到变形的HSV色彩空间的像素数据变换为三维x、y、z坐标表示(参见公式(4))。
已经由变形的HSV/三维坐标变换部分111变换成x、y、z坐标表示的对像素信号Vo每帧的像素数据被提供到色距测量部分113。色距测量部分113顺次使用像素数据作为第一彩色像素数据。已经由变形的HSV/三维坐标变换部分112变换为x、y、z坐标表示的像素数据Vs被提供到色距测量部分113作为第二彩色像素数据。色距测量部分113使用已经被变换成x、y、z坐标表示的第一彩色像素数据和已经被变换为x、y、z坐标表示的第二彩色像素数据将相对色距d测量为欧氏距离(参见公式(8)至(10)和(11)至(13))。
由色距测量部分113对图像信号Vo每帧的像素数据测量的相对色距di被提供到色彩相似度图生成部分114。色彩相似度图生成部分114对每帧的像素数据标准化该相对色距di以获得标准化的数据di'(参见公式(14))。此外,色彩相似度图生成部分114反转该标准化的数据di'以生成色彩相似度图数据di"(参见公式(15))。
由色彩相似度图生成部分114生成的图像信号Vo每帧的像素数据的色彩相似度图数据di"被提供到矩形生成部分115。矩形生成部分115对图像信号Vo的每帧生成框显示信号So用于显示围绕由用户基于对像素数据的色彩相似度图数据Si指定的特定被摄体的矩形框。
因此,矩形生成部分115输出自从用户触摸触摸面板106(参见图2B)起对每帧相续更新的框显示信号So。因此,在显示部分(参见图1)上显示的图像上显示的框跟随由用户指定的特定被摄体。
图6是示出对应于图3中所示被摄体提取部分105的变形的HSV/三维坐标变换部分111和112和色距测量部分113的处理过程的流程图。在步骤ST1,被摄体提取部分105开始该处理,并且然后进行到步骤ST2。
在步骤ST2,被摄体提取部分105进行变形的HSV变换。即,变形的HSV/三维坐标变换部分111对图像信号Vo的每帧将像素数据变换到变形的HSV色彩空间。此外,变形的HSV/三维坐标变换部分112将对图像信号Vo的每帧从像素数据提取出的且对应于当用户触摸触摸面板106时的触摸点的像素数据Vs变换到变形的HSV色彩空间。
下面,在步骤ST3,被摄体提取部分105进行三维欧氏x,y,z变换。即,变形的HSV/三维坐标变换部分111将已经被变换到变形的HSV色彩空间的、图像信号Vo每帧的像素数据变换为三维x、y、z坐标表示。此外,变形的HSV/三维坐标变换部分112将已经被变换到变形的HSV色彩空间的像素数据Vs变换成三维x、y、z坐标表示。
下面,在步骤ST4,被摄体提取部分105进行色距测量。即,色距测量部分113相续获取已经由变形的HSV/三维坐标变换部分111变换成x、y、z坐标表示的、图像信号Vo的每帧的像素数据作为第一彩色像素数据。然后,色距测量部分113使用第一色彩数据和作为第二彩色像素数据获取的、已经由变形的HSV/三维坐标变换部分112变换成x、y、z坐标表示的像素数据Vs将相对色距d测量为欧氏距离。
在步骤ST4之后,被摄体提取部分105在步骤ST5终止该处理。
如上所讨论的,图3中所示的被摄体提取部分105将变形的HSV色彩空间中的相对色距测量为欧氏距离。因此,有可能避免当使用圆锥形模型或柱形模型时低亮度处的色彩分离性能的问题,并且相对于在变形的HSV色彩空间中测量相对色距的情况减少计算量。
[被摄体提取部分的不同示例性配置]
图7示出被摄体提取部分105的另一示例性配置。图7中与图3中的部件相对应的部件被标以相同的参考标记从而视情况省略详细描述。在示例性配置中,色距测量部分113使用以上给出的公式(11),公式(12)以及公式(13)的任一个测量相对色距d。
被摄体提取部分105包括变形的HSV/三维坐标变换部分111和112、色距测量部分113、色彩相似度图生成部分114和矩形生成部分115。被摄体提取部分105还包括亮度分析部分116和合成比率控制部分117。亮度分析部分116对由成像部分102(参见图1)通过捕获图像获得图像信号Vo的像素数据计算平均亮度B0。亮度分析部分116还对触摸点周围的像素数据Vs计算亮度B1。
合成比率控制部分117控制亮度V分量的权重wv和色调H和饱和度S分量的权重ws,色距测量部分113将基于由亮度分析部分116计算的亮度B0和B1使用所述权重,如由以下的公式(16)所指示:
ws=1-α
wv=α
whereα=|B0-B1|/255
                                ...(16)
即,合成比率控制部分117计算α=|B0-B1|/255,且控制亮度V分量的权重wv为wv=α,且控制色调H和饱和度S分量的权重ws为ws=1-α。如果B0和B1之间的差较小,则假定对触摸点周围区域的色彩亮度接近背景色的亮度,并且难以基于根据亮度分量的色距来将触摸点周围区域的色彩与背景色分离。因此,合成比率控制部分117如以上所讨论的控制权重wv和ws从而提高基于色调和饱和度分量的色距的贡献率。
图7中所示的被摄体提取部分的其它部件与图3中所示的被摄体提取部分对应的部件相同,并以相同的方式工作。
如以上所讨论的,如同图3中所示的被摄体提取部分105,图7中所示的被摄体提取部分105将变形的HSV色彩空间中的相对色距测量为欧氏距离。因此,有可能避免当使用圆锥形模型或柱形模型时在低亮度处的色彩分离性能的问题,并且相对于在变形的HSV色彩空间中测量相对色距的情况下减少计算量。
此外,在计算相对色距时,基于形成图像信号Vo的像素数据的平均亮度B0和触摸点周围的像素数据Vs的亮度B1之间的差控制亮度V分量的权重wv和色调H和饱和度S分量的权重ws。即,如果触摸点周围区域的色彩亮度和背景色的亮度彼此接近,则基于色调和饱和度分量的色距的贡献率增加从而使能基于该相对色距的触摸点周围区域的色彩和背景色之间的分离。
[2.修改]
在以上讨论的实施例中,色彩相似度图生成部分114将由色距测量部分113测量的相对色距di标准化为从0到255的数据,并还反转标准化的数据di’以生成色彩相似度图数据di”。然而,不一定要反转标准化的数据di’,且可将标准化的数据di’原样地(as they are)提供到矩形生成部分115,从而使得矩形生成部分115基于标准化的数据di’生成矩形显示信号So。
本发明可如下配置。
(1)一种色距测量装置,包括:第一变换部分,其将预定的色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;第二变换部分,其将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及色距测量部分,其基于已经被变换为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,其中在最大亮度和最小亮度之间的亮度上,变形的HSV色彩空间中饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,且在最小亮度处饱和度为0。
(2)根据上述(1)的色距测量装置,其中确定变形的HSV色彩空间中在每个亮度处饱和度的最大值从而使得在变形的HSV色彩空间中测量的在相同亮度处具有不同饱和度的两个颜色之间的色距等于在LAB色彩空间测量的该两个颜色之间的色距。
(3)根据上述(1)或(2)的色距测量装置,还包括:控制部分,其控制色距测量部分混合基于色调和饱和度分量的距离和基于亮度分量的距离的合成比例。
(4)根据上述(3)的色距测量装置,其中第一彩色像素数据包括有关形成图像的具体像素的像素数据,且第二彩色像素数据可包括形成该图像的任意像素的像素数据,且控制部分可基于该图像的平均亮度和具体像素周围区域的亮度控制合成比率。
(5)根据上述(4)的色距测量装置,其中所述图像是由成像元件捕获的图像。
(6)根据上述(1)至(5)的任何一个的色距测量装置,还包括:数据表,其存储变形的HSV色彩空间中亮度的预定采样点处饱和度的最大值,其中第一变换部分可使用所述数据表将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间。
(7)一种色距测量方法,包括:将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及基于已经被转化为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,其中在最大亮度和最小亮度之间的亮度上,变形的HSV色彩空间中饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,以及在最小亮度处饱和度为0。
(8)一种致使计算机作用如下的程序:第一变换部件(means),用于将预定的色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;第二变换部件,用于将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及色距测量部件,用于基于已经被变换为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,其中在最大亮度和最小亮度之间的亮度上,变形的HSV色彩空间中饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,且在最小亮度处饱和度为0。
本公开包括与向日本专利局于2012年3月14日提交的日本优先权专利申请JP2012-056602中公开的相关的主题,其全部内容通过引用并入于此。
本领域的技术人员应该理解,取决于设计需求和其它因素,可在所附权利要求或其等价物的范围内进行各种修改、组合、子组合和更改。

Claims (8)

1.一种色距测量装置,包括:
第一变换部分,其将预定的色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;
第二变换部分,其将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及
色距测量部分,其基于已经被变换为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,
其中在变形的HSV色彩空间中,在最大亮度和最小亮度之间的亮度处,饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,且在最小亮度处饱和度为0。
2.根据权利要求1所述的色距测量装置,其中确定在变形的HSV色彩空间中在每个亮度处的饱和度的最大值,使得在变形的HSV色彩空间中测量的在相同亮度处具有不同饱和度的两个颜色之间的色距等于在LAB色彩空间测量的该两个颜色之间的色距。
3.根据权利要求1所述的色距测量装置,还包括:
控制部分,其控制色距测量部分混合基于色调和饱和度分量的距离和基于亮度分量的距离的合成比例。
4.根据权利要求3的色距测量装置,
其中所述第一彩色像素数据包括关于形成图像的具体像素的像素数据,且所述第二彩色像素数据包括关于形成该图像的任意像素的像素数据,以及
所述控制部分基于该图像的平均亮度和所述具体像素周围的区域的亮度控制所述合成比率。
5.根据权利要求4的色距测量装置,
其中所述图像是由成像元件捕获的图像。
6.根据权利要求1所述的色距测量装置,还包括:
数据表,其存储变形的HSV色彩空间中亮度的预定采样点处饱和度的最大值,
其中所述第一变换部分使用所述数据表将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间。
7.一种色距测量方法,包括:
将预定色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;
将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及
基于已经被转化为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,
其中在最大亮度和最小亮度之间的亮度处,变形的HSV色彩空间中饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,以及在最小亮度处饱和度为0。
8.一种致使计算机作用如下的程序:
第一变换部件,用于将预定的色彩空间中的第一彩色像素数据和第二彩色像素数据变换到变形的HSV色彩空间;
第二变换部件,用于将已经被变换到变形的HSV色彩空间的第一彩色像素数据和第二彩色像素数据变换为三维x、y、z坐标表示;以及
色距测量部件,用于基于已经被变换为x、y、z坐标表示的第一彩色像素数据和第二彩色像素数据测量第一彩色像素数据和第二彩色像素数据之间的相对色距,
其中在最大亮度和最小亮度之间的亮度处,变形的HSV色彩空间中饱和度的最大值大于圆锥形模型的HSV色彩空间中饱和度的最大值,且在最小亮度处饱和度为0。
CN2013100720898A 2012-03-14 2013-03-07 色距测量装置、色距测量方法和程序 Pending CN103310468A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-056602 2012-03-14
JP2012056602A JP2013192023A (ja) 2012-03-14 2012-03-14 色距離測定装置、色距離測定方法およびプログラム

Publications (1)

Publication Number Publication Date
CN103310468A true CN103310468A (zh) 2013-09-18

Family

ID=49135645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100720898A Pending CN103310468A (zh) 2012-03-14 2013-03-07 色距测量装置、色距测量方法和程序

Country Status (3)

Country Link
US (1) US20130243312A1 (zh)
JP (1) JP2013192023A (zh)
CN (1) CN103310468A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598120A (zh) * 2013-10-30 2015-05-06 宏达国际电子股份有限公司 颜色取样方法及触控控制装置
CN110392243B (zh) * 2018-04-16 2021-04-09 华为技术有限公司 色域映射的方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6311345B2 (ja) * 2014-02-21 2018-04-18 大日本印刷株式会社 画像処理装置及びプログラム
US9665962B2 (en) * 2015-07-29 2017-05-30 Adobe Systems Incorporated Image distractor detection and processng
US10068346B2 (en) * 2016-01-13 2018-09-04 Thomson Licensing Color distance determination
CN107301651A (zh) * 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
US10140392B1 (en) 2017-06-29 2018-11-27 Best Apps, Llc Computer aided systems and methods for creating custom products
US10254941B2 (en) 2017-06-29 2019-04-09 Best Apps, Llc Computer aided systems and methods for creating custom products
CN108550132B (zh) * 2018-03-16 2021-06-18 安徽大学 一种图像协同显著目标检测方法
US10867081B2 (en) 2018-11-21 2020-12-15 Best Apps, Llc Computer aided systems and methods for creating custom products
US10922449B2 (en) 2018-11-21 2021-02-16 Best Apps, Llc Computer aided systems and methods for creating custom products
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11263371B2 (en) 2020-03-03 2022-03-01 Best Apps, Llc Computer aided systems and methods for creating custom products
US11514203B2 (en) * 2020-05-18 2022-11-29 Best Apps, Llc Computer aided systems and methods for creating custom products

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480624B1 (en) * 1997-09-30 2002-11-12 Minolta Co., Ltd. Color discrimination apparatus and method
US6631206B1 (en) * 1999-08-30 2003-10-07 University Of Washington Image filtering in HSI color space
DE10055837A1 (de) * 2000-11-12 2002-06-06 Thomas Maier Verfahren zum Erfassen von Bildinformationen
EP2175656A1 (en) * 2007-06-25 2010-04-14 Silicon Hive B.V. Image processing device, image processing method, program, and imaging device
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598120A (zh) * 2013-10-30 2015-05-06 宏达国际电子股份有限公司 颜色取样方法及触控控制装置
CN104598120B (zh) * 2013-10-30 2018-06-01 宏达国际电子股份有限公司 颜色取样方法及触控控制装置
CN110392243B (zh) * 2018-04-16 2021-04-09 华为技术有限公司 色域映射的方法和装置
US11212422B2 (en) 2018-04-16 2021-12-28 Huawei Technologies Co., Ltd. Color gamut mapping method and apparatus

Also Published As

Publication number Publication date
JP2013192023A (ja) 2013-09-26
US20130243312A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
CN103310468A (zh) 色距测量装置、色距测量方法和程序
JP5883949B2 (ja) 画像取込デバイス処理のためのスペクトル合成
DE102011078662B4 (de) Erfassen und Erzeugen von Bildern mit hohem Dynamikbereich
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
CN111080724A (zh) 一种红外和可见光的融合方法
CN105049718A (zh) 一种图像处理方法及终端
CN109754375B (zh) 图像处理方法、系统、计算机设备、存储介质和终端
CN108230407B (zh) 一种图像的处理方法和装置
DE102012023299A1 (de) Einrichtung und Algorithmus zum Erfassen von HDR-Video (High Dynamic Range - hoher Dynamikumfang)
US11334973B2 (en) Image colorizing method and device
CN105138987B (zh) 一种基于聚合通道特征和运动估计的车辆检测方法
CN106981054A (zh) 一种图像处理方法及电子设备
CN111062993A (zh) 色彩合并的作画图像处理方法、装置、设备及存储介质
CN113132696A (zh) 图像色调映射方法、装置、电子设备和存储介质
CN103581634A (zh) 图像的宽动态范围处理方法
CN108234770B (zh) 一种辅助化妆系统、辅助化妆方法、辅助化妆装置
CN105303542A (zh) 基于梯度加权的自适应sfim图像融合算法
US20030030826A1 (en) Space varying gamut mapping
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
US20190220699A1 (en) System and method for encoding data in an image/video recognition integrated circuit solution
CN108174183A (zh) 一种基于物联网的vr影像数据控制系统
Shen et al. Over-exposure image correction with automatic texture synthesis
US20180116582A1 (en) Elasticity evaluation apparatus, elasticity evaluation method, and elasticity evaluation program
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
US10341531B2 (en) Applying a perceptually uniform color space for image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130918