具体实施方式
[第1实施方式]
对照图1~图5,对作为本发明的第1实施方式的视觉处理装置1进行说明。视觉处理装置1,例如是内置或连接在计算机、电视机、数码相机、移动电话、PDA等处理图像的机器中,进行图像的灰度处理的装置。视觉处理装置1的特征在于,对与以往相比分割得更细的图像区域分别进行灰度处理。
<构成>
图1为说明视觉处理装置1的构造的方框图。视觉处理装置1,具有:将作为输入信号IS输入的原图像分割成多个图像区域Pm(1≤m≤n:n为原图像的分割数)的图像分割部2、对各个图像区域Pm导出灰度变换曲线Cm的灰度变换曲线导出部10、以及装载灰度变换曲线Cm并输出对各个图像区域Pm进行了灰度处理的输出信号OS的灰度处理部5。灰度变换曲线导出部10,由生成广域图像区域Em的像素的明度(lightness)直方图Hm的直方图生成部3、以及根据所生成的明度直方图Hm生成各个图像区域Pm所对应的灰度变换曲线Cm的灰度曲线生成部4构成。其中,广域图像区域Em由各个图像区域Pm与图像区域Pm周边的图像区域所构成。
<作用>
使用图2~图4,对各个部的动作进行说明。图像分割部2,将作为输入信号IS输入的原图像分割成多个(n个)图像区域Pm(参照图2)。这里,原图像的分割数,比图33所示的以往的视觉处理装置300的分割数(例如4~16分割)多,例如,为在横向上80分割在纵向上60分割的4800分割等。
直方图生成部3,对各个图像区域Pm生成广域图像区域Em的明度直方图Hm。这里,广域图像区域Em是指,包括各个图像区域Pm的多个图像区域的集合,例如以图像区域Pm为中心的纵向5块、横向5块的25个图像区域的集合。另外,根据图像区域Pm的位置的不同,有时无法在图像区域Pm的周边取得纵向5块,横向5块的广域图像区域Em。例如,对于位于原图像的周边的图像区域PI而言,就无法在图像区域PI的周边取得纵向5块、横向5块的广域图像区域EI。这种情况下,将以图像区域PI为中心的纵向5块、横向5块的区域与原图像重叠的区域,作为广域图像区域EI采用。直方图生成部3所生成的明度直方图Hm,表示广域图像区域Em内的全像素的明度值的分布状态。即,在图3(a)~(c)中所示的明度直方图Hm中,横轴表示输入信号IS的明度等级,纵轴表示像素数。
灰度曲线生成部4,按照明度的顺序累积广域图像区域Em的明度直方图Hm的“像素数”,将该累积曲线作为图像区域Pm的灰度变换曲线Cm(参照图4)。图4中所示的灰度变换曲线Cm中,横轴表示输入信号IS中的图像区域Pm的像素的明度值,纵轴表示输出信号OS中的图像区域Pm的像素的明度值。灰度处理部5装载灰度变换曲线Cm,并根据灰度变换曲线Cm,变换输入信号IS中的图像区域Pm的像素的明度值。
<视觉处理方法以及视觉处理程序>
图5中表示说明视觉处理装置1中的视觉处理方法的流程图。图5中所示的视觉处理方法,是在视觉处理装置1中通过硬件实现,并且进行输入信号IS(参照图1)的灰度处理的方法。图5中所示的视觉处理方法中,输入信号IS被以图像单位处理(步骤S10~S16)。将作为输入信号IS输入的原图像,分割成多个图像区域Pm(1≤m≤n:n为原图像的分割数)(步骤S11),对每一个图像区域Pm进行灰度处理(步骤S12~S15)。
生成由各个图像区域Pm与图像区域Pm周边的图像区域构成的广域图像区域Em的像素的明度直方图Fm(步骤S12)。进而,根据明度直方图Hm,生成各个图像区域Pm所对应的灰度变换曲线Cm(步骤S13)。这里,省略对明度直方图Hm以及灰度变换曲线Cm的说明(参照上述<作用>栏)。使用所生成的灰度变换曲线Cm,对图像区域Pm的像素进行灰度处理(步骤S14)。之后,判断是否完成了对所有图像区域Pm的处理(步骤S15),将步骤S12~S15的处理重复原图像的分割数次,直到判断出处理结束。通过以上,完成图像单位的处理(步骤S16)。
另外,图5中所示的视觉处理方法的各个步骤,可以通过计算机等作为视觉处理程序来实现。
<效果>
(1)
灰度变换曲线Cm,对各个图像区域Pm生成。因此,与对原图像全体进行同一个灰度变换的情况相比,能够进行适当的灰度处理。
(2)
对各个图像区域Pm生成的灰度变换曲线Cm,根据广域图像区域Em的明度直方图Hm所生成。因此,即使各个图像区域Pm的大小非常小,也能够获得足够的明度值抽样。另外,其结果是,即使对小图像区域Pm,也能够生成适当的灰度变换曲线Cm。
(3)
相邻图像区域所对应的广域图像区域,具有重叠。因此,相邻图像区域所对应的灰度变换曲线,通常显示出相类似的倾向。因此,能够给各个图像区域的灰度处理添加空间处理的效果,从而能够防止相邻图像区域的边界接缝不自然地变得明显。
(4)
各个图像区域Pm的大小,与以往相比较小。因此,能够抑制图像区域Pm内产生伪轮廓。
<变形例>
本发明并不仅限于上述实施方式,还能够在不脱离其要点的范围内,进行各种变形。
(1)
虽然上述实施方式中,作为原图像的分割数之一例,采用了4800分割,但本发明的效果并不仅限于这种情况,在其他的分割数中也可得到同样的效果。另外,灰度处理的处理量与视觉效果之间,关于分割数存在权衡的关系。即,如果分割数增加,灰度处理的处理量也增加,但能够得到更好的视觉效果(例如伪轮廓的抑制等)。
(2)
虽然上述实施方式中,作为构成广域图像区域的图像区域的个数之一例为25个,但本发明的效果并不仅限于这种情况,其他的个数也可得到同样的效果。
[第2实施方式]
对照图6~图18,对作为本发明的第2实施方式的视觉处理装置11进行说明。视觉处理装置11,例如是内置或连接在计算机、电视机、数码相机、移动电话、PDA等处理图像的机器中,进行图像的灰度处理的装置。视觉处理装置11的特征在于,切换使用被作为LUT预先保存的多个灰度变换曲线。
<构成>
图6表示说明视觉处理装置11的构造的方框图。视觉处理装置11具有图像分割部12、选择信号导出部13、以及灰度处理部20。图像分割部12,将输入信号IS输入,并输出将作为输入信号IS输入的原图像分割得到的多个图像区域Pm(1≤m≤n:n为原图像的分割数)。选择信号导出部13,输出用来选择各个图像区域Pm的灰度处理中应用的灰度变换曲线Cm的选择信号Sm。灰度处理部20具有灰度处理执行部14和灰度修正部15。灰度处理执行部14,具有多个灰度变换曲线候补G1~Gp(p为候补数)作为二维LUT,将输入信号IS与选择信号Sm作为输入,输出对各个图像区域Pm内的像素进行了灰度处理的灰度处理信号CS。灰度修正部15,将灰度处理信号CS作为输入,输出对灰度处理信号CS的灰度进行了修正的输出信号OS。
(关于灰度变换曲线候补)
使用图7,对灰度变换曲线候补G1~Gp进行说明。灰度变换曲线候补G1~Gp,是给出输入信号IS的像素的明度值与灰度处理信号CS的像素的明度值之间的关系的曲线。图7中,横轴表示输入信号IS中的像素的明度值,纵轴表示灰度处理信号CS中的像素的明度值。灰度变换曲线候补G1~Gp,具有关于脚标单调减少的关系,对所有的输入信号IS的像素的明度值,满足G1≥G2≥…≥Gp的关系。例如,灰度变换曲线候补G1~Gp是以各个输入信号IS的像素的明度值为变量的“幂函数”,在表示为Gm=x^(δm)的情况下(1≤m≤p,x为变量,δm为常数),满足δ1≤δ2≤…≤δp的关系。这里,输入信号IS的明度值,在值[0.0~1.0]的范围内。
另外,以上的灰度变换曲线候补G1~Gp的关系,在对脚标较大的灰度变换曲线候补而言,输入信号IS较小的情况下,或对脚标较小的灰度变换曲线候补而言,输入信号IS较大的情况下,可以不成立。这是因为几乎不存在这种情况,对像质的影响很小。
灰度处理执行部14,具有灰度变换曲线候补G1~Gp作为二维LUT。也即,二维LUT,是对输入信号IS的像素的明度值与选择灰度变换曲线候补G1~Gp的选择信号Sm,给出灰度处理信号CS的像素的明度值的查找表(LUT)。图8中示出了该二维LUT之一例。图8中所示的二维LUT41,是64行64列的矩阵,各个灰度变换曲线候补G1~G64排列在行方向(横向)上。矩阵的列方向(纵向)上,排列着例如由10位所表示的输入信号IS的像素值的高6位的值、即分成64等级的输入信号IS的值所对应的灰度处理信号CS的像素值。灰度处理信号CS的像素值,在灰度变换曲线候补G1~Gp是“幂函数”的情况下,例如具有[0.0~1.0]范围的值。
<作用>
对各个部的动作进行说明。图像分割部12与图1的图像分割部2,几乎同样地进行工作,将作为输入信号IS输入的原图像分割成多个(n个)图像区域Pm(参照图2)。这里,原图像的分割数,比图33所示的以往的视觉处理装置300的分割数(例如4~16分割)多,例如为在横向上80分割在纵向上60分割的4800分割等。
选择信号导出部13,从灰度变换曲线候补G1~Gp中选择各个图像区域Pm中应用的灰度变换曲线Cm。具体来说,选择信号导出部13,计算出图像区域Pm的广域图像区域Em的平均明度值,根据计算出的平均明度值,选择灰度变换曲线候补G1~Gp中的任意一个。即,灰度变换曲线候补G1~Gp,与广域图像区域Em的平均明度值相关联,平均明度值越大,选择脚标越大的灰度变换曲线候补G1~Gp。
这里,所谓广域图像区域Em,与[第1实施方式]中使用图2所说明的相同。即,广域图像区域Em,是包括各个图像区域Pm的多个图像区域的集合,例如以图像区域Pm为中心的纵向5块、横向5块的25个图像区域的集合。另外,根据图像区域Pm的位置的不同,有时无法在图像区域Pm的周边取得纵向5块、横向5块的广域图像区域Em。例如,对于位于原图像的周边的图像区域PI而言,就无法在图像区域PI的周边取得纵向5块、横向5块的广域图像区域EI。这种情况下,将以图像区域PI为中心的纵向5块、横向5块的区域与原图像重叠的区域,作为广域图像区域EI采用。
选择信号导出部13的选择结果,作为表示灰度变换曲线候补G1~Gp中的任意一个的选择信号Sm输出。更为具体的说,选择信号Sm,被作为灰度变换曲线候补G1~Gp的脚标(1~p)的值输出。
灰度处理执行部14,将输入信号IS包含的图像区域Pm的像素的明度值和选择信号Sm作为输入,例如,使用图8中所示的二维LUT41,输出灰度处理信号CS的明度值。
灰度修正部15,根据像素的位置和对图像区域Pm以及图像区域Pm的周边图像区域选择的灰度变换曲线,对灰度处理信号CS包含的图像区域PM的像素的明度值进行修正。例如,用像素位置的内分比,修正适用于图像区域Pm包含的像素的灰度变换曲线Cm和对图像区域Pm的周边的图像区域选择的灰度变换曲线,并求出修正后的像素的明度值。
对照图9,对灰度修正部15的动作进行更加详细的说明。图9中表示的是,图像区域Po、Pp、Pq、Pr(o、p、q、r是分割数n(参照图2)以下的正整数)的灰度变换曲线Co、Cp、Cq、Cr,被选择为灰度变换曲线候补Gs、Gt、Gu、Gv(s、t、u、v是灰度变换曲线的候补数p以下的正整数)。
这里,设作为灰度修正的对象的图像区域Po的像素x(设为明度值[x])的位置,位于将图像区域Po的中心与图像区域Pp的中心内分为[i:1-i],且将图像区域Po的中心与图像区域Pq的中心内分为[j:1-j]的位置上。这种情况下,灰度修正后的像素x的明度值[x’],求出为[x’]={(1-j)·(1-i)·[Gs]+(1-j)·(i)·[Gt]+(j)·(1-i)·[Gu]+(j)·(i)·[Gv]}·{[x]/[Gs]}。另外,[Gs]、[Gt]、[Gu]、[Gv],是对明度值[x]应用灰度变换曲线候补Gs、Gt、Gu、Gv的情况下的明度值。
<视觉处理方法以及视觉处理程序>
图10中表示说明视觉处理装置11中的视觉处理方法的流程图。图10中所示的视觉处理方法,是在视觉处理装置11中通过硬件来实现,并进行输入信号IS(参照图6)的灰度处理的方法。图10中所示的视觉处理方法中,输入信号IS被以图像单位进行处理(步骤S20~S26)。将作为输入信号IS输入的原图像,分割成多个图像区域Pm(1≤m≤n:n为原图像的分割数)(步骤S21),对每一个图像区域Pm进行灰度处理(步骤S22~S24)。
各个图像区域Pm的处理中,从灰度变换曲线候补G1~Gp中选择各个图像区域Pm中应用的灰度变换曲线Cm(步骤S22)。具体的说,计算出图像区域Pm的广域图像区域Em的平均明度值,根据计算出的平均明度值,选择灰度变换曲线候补G1~Gp中的任意一个。灰度变换曲线候补G1~Gp,与广域图像区域Em的平均明度值相关联,平均明度值越大,选择脚标越大的灰度变换曲线候补G1~Gp。这里,省略广域图像区域Em的说明(参照上述<作用>栏)。
对输入信号IS所包含的图像区域Pm的像素的明度值、和表示灰度变换曲线候补G1~Gp中由步骤S22所选择的灰度变换曲线候补的选择信号Sm,例如使用图8中所示的二维LUT41,输出灰度处理信号CS的明度值(步骤S23)。之后,判断是否完成了对所有图像区域Pm的处理(步骤S24),将步骤S22~S24的处理重复原图像的分割数次,直到判断处理结束。通过以上,完成图像区域单位的处理。
灰度处理信号CS所包含的图像区域Pm的像素的明度值,被根据像素的位置和对图像区域Pm以及图像区域Pm周边的图像区域选择的灰度变换曲线修正(步骤S25)。例如,用像素位置的内分比,修正用于图像区域Pm所包含的像素的灰度变换曲线Cm、和对图像区域Pm的周边的图像区域选择的灰度变换曲线,并求出修正后的像素的明度值。关于修正的详细内容,这里省略说明(参照上述<作用>栏,图9)。
通过这样,结束图像单位的处理(步骤S26)。
另外,图10中所示的视觉处理方法的各个步骤,可以通过计算机等作为视觉处理程序来实现。
<效果>
通过本发明,能够得到与上述[第1实施方式]的<效果>几乎相同的效果。以下,对第2实施方式特有的效果进行说明。
(1)
对各个图像区域Pm选择的灰度变换曲线Cm,根据广域图像区域Em的平均明度值生成。因此,即使图像区域Pm的大小较小,也能够获得足够的明度值的抽样。另外,其结果是,对于较小的图像区域Pm,也能够选择适当的灰度变换曲线Cm来应用。
(2)
灰度处理执行部14,具有预先所生成的二维LUT。因此,能够削减灰度处理所需要的处理负荷,更具体的说,能够削减灰度变换曲线Cm的生成所需要的处理负荷。其结果是,能够让图像区域Pm的灰度处理所需要的处理高速化。
(3)
灰度处理执行部14,使用二维LUT进行灰度处理。二维LUT,被从视觉处理装置11所具有的硬盘或ROM等存储装置中读出并用于灰度处理。通过变更所读出的二维LUT的内容,不需要变更硬件的构成,就能够实现各种灰度处理。即,能够根据原图像的特性,实现适当的灰度处理。
(4)
灰度修正部15,对用1个灰度变换曲线Cm实施过灰度处理的图像区域Pm的像素的灰度进行修正。因此,能够得到实施了更加适当的灰度处理的输出信号OS。例如,能够抑制伪轮廓的产生。另外,能够进一步防止输出信号OS中,各个图像区域Pm的边界的接缝不自然地变得醒目。
<变形例>
本发明并不仅限于上述实施方式,还能够在不脱离其要点的范围内,进行各种变形。
(1)
虽然上述实施方式中,作为原图像的分割数之一例,采用了4800分割,但本发明的效果并不仅限于这种情况,采用其他的分割数也可得到同样的效果。另外,灰度处理的处理量与视觉效果之间,关于分割数存在权衡的关系。即,如果分割数增加,灰度处理的处理量也增加,但能够得到更好的视觉效果(例如抑制了伪轮廓的图像等)。
(2)
虽然上述实施方式中,作为构成广域图像区域的图像区域的个数之一例为25个,但本发明的效果并不仅限于这种情况,采用其他的个数也可得到同样的效果。
(3)
上述实施方式中,将64行64列矩阵所构成的二维LUT41作为二维LUT之一例。这里,本发明的效果并不仅限于该大小的二维LUT。例如,还可以是行方向上排列有更多灰度变换曲线候补的矩阵。另外,还可以在矩阵的列方向上,排列将输入信号IS的像素值区分为更细的步幅后的值所对应的灰度处理信号CS的像素值。具体来说,例如可以对由10位表示的输入信号IS的各个像素值,排列灰度处理信号CS的像素值。
如果二维LUT的大小较大,则能够进行更加适当的灰度处理,如果较小,则能够削减保存二维LUT的存储器。
(4)
上述实施方式中说明的是,在矩阵的列方向上,排列有例如由10位表示的输入信号IS的像素值的高6位的值,即分成了64级的输入信号IS的值所对应的灰度处理信号CS的像素值。这里,灰度处理信号CS,也可以作为由灰度处理执行部14,用输入信号IS的像素值的低4位的值线性插补后的矩阵的成分输出。即,矩阵的列方向上,排列有例如由10位表示的输入信号IS的像素值的高6位的值所对应的矩阵的成分,用输入信号IS的像素值的低4位的值,对输入信号IS的像素值的高6位的值所对应的矩阵的成分、和给输入信号IS的像素值的高6位的值加[1]后的值所对应的矩阵的成分(例如,图8中,1行下的成分)进行线性插补,并作为灰度处理信号CS输出。
通过这样,即使二维LUT41(参照图8)的大小较小,也能够进行更适当的灰度处理。
(5)
上述实施方式中说明的是,根据广域图像区域EM的平均明度值,选择图像区域Pm中应用的灰度变换曲线Cm。这里,灰度变换曲线Cm的选择方法并不仅限于该方法。例如,还可以根据广域图像区域Em的最大明度值或最小明度值,选择图像区域Pm中应用的灰度变换曲线Cm。另外,在选择灰度变换曲线Cm时,选择信号Sm的值[Sm],可以是广域图像区域Em的平均明度值、最大明度值或最小明度值本身。这种情况下,对将选择信号Sm所取的值分成64级得到的各个值,关联灰度变换曲线候补G1~G64。
另外,例如可以如下选择图像区域Pm中应用的灰度变换曲线Cm。即,对各个图像区域Pm求出平均明度值,根据各个平均明度值,求出各个图像区域Pm对应的临时的选择信号Sm’。这里,临时的选择信号Sm’的值,为灰度变换曲线候补G1~Gp的脚标的编号。进而,对广域图像区域Em所包含的各个图像区域,将临时的选择信号Sm’的值平均化,求出图像区域Pm的选择信号Sm的值[Sm],并将灰度变换曲线候补G1~Gp中以最接近值[Sm]的整数为脚标的候补,选择为灰度变换曲线Cm。
(6)
上述实施方式中说明的是,根据广域图像区域Em的平均明度值,选择图像区域Pm中应用的灰度变换曲线Cm。这里,也可以不根据广域图像区域Em的单纯平均,而是根据加权平均(带有权重的平均),来选择图像区域Pm中应用的灰度变换曲线Cm。例如图11所示,求出构成广域图像区域Em的各个图像区域的平均明度值,对具有与图像区域Pm的平均明度值差异较大的平均明度值的图像区域Ps1、Ps2、…,减轻其权重,或将其去掉,来求出广域图像区域Em的平均明度值。
通过这样,即使在广域图像区域Em包含明度特殊的区域的情况下(例如,广域图像区域Em包含两个明度值不同的物体的边界的情况下),对于图像区域Pm中应用的灰度变换曲线Cm的选择而言,该特殊区域的明度值所带来的影响也较小,从而能够进行更加适当的灰度处理。
(7)
上述实施方式中,灰度修正部15的存在是任意的。即,即使在输出灰度处理信号CS的情况下,与以往的视觉处理装置300(参照图33)相比,也能够得到与[第1实施方式]的<效果>中所记载的内容相同的效果,以及与[第2实施方式]的<效果>(1)及(2)中所记载的内容相同的效果。
(8)
上述实施方式中,灰度变换曲线候补G1~Gp具有关于脚标单调减少的关系,对所有的输入信号IS的像素的明度值,满足G1≥G2≥…≥Gp的关系。这里,具有二维LUT的灰度变换曲线候补G1~Gp,也可以对输入信号IS的像素的明度值的一部分,不满足G1≥G2≥…≥Gp的关系。也即,灰度变换曲线候补G1~Gp的任意一个,可以为彼此交叉的关系。
例如,处于较暗的夜景中的小的明亮部分等(处于夜景中的霓虹灯部分等),虽然输入信号IS的值较大,但广域图像区域Em的平均明度值较小,这种情况下,实施过灰度处理的图像信号的值给像质带来的影响很小。这种情况下,具有二维LUT的灰度变换曲线候补G1~Gp,可以对输入信号IS的像素的明度值的一部分,不满足G1≥G2≥…≥Gp的关系。也即,灰度处理后的值给像质带来的影响较小的部分中,二维LUT所保存的值,可以是任意的。
另外,在二维LUT所保存的值为任意的情况下,最好也让对同一个值的输入信号IS和选择信号Sm所保存的值,维持相对输入信号IS与选择信号Sm的值单调增加或单调减少的关系。
另外,上述实施方式中,对具有二维LUT的灰度变换曲线候补G1~Gp是“幂函数”的情况进行了说明。这里,灰度变换曲线候补G1~Gp,可以不严密地公式化为“幂函数”。还可以是具有S字、反S字等形状的函数。
(9)
视觉处理装置11中,还可以具有生成作为二维LUT所保存的值的描述数据(profile data)的描述数据生成部。具体来说,描述数据生成部,由视觉处理装置1(参照图1)中的图像分割部2和灰度变换曲线导出部10构成,将所生成的多个灰度变换曲线的集合,作为描述数据保存在二维LUT中。
另外,二维LUT中所保存的各个灰度变换曲线,还可以与实施了空间处理的输入信号IS相关联。这种情况下,视觉处理装置11中,可以将图像分割部12与选择信号导出部13,替换为对输入信号IS进行空间处理的空间处理部。
(10)
上述实施方式中,输入信号IS的像素的明度值,可以不是[0.0~1.0]范围内的值。在输入信号IS作为其他范围的值输入的情况下,可以将该范围的值标准化为值[0.0~1.0]。另外,也可以不进行标准化,而对上述处理中所处理的值适当进行变更。
(11)
各个灰度变换曲线候补G1~Gp,可以是对具有比通常的动态范围大的动态范围的输入信号IS实施灰度处理,并输出通常动态范围的灰度处理信号CS的灰度变换曲线。
近年来,通过集中光量来使用S/N较好的CCD、将电子快门长短两次打开、或使用具有低灵敏度·高灵敏度的像素的传感器等方法,能够处理比通常的动态范围大1~3位的动态范围的机器的开发不断得到发展。
与此同时,需要即使在输入信号IS具有比通常的动态范围(例如值[0.0~1.0]的范围的信号)大的动态范围的情况下,也能够进行适当的灰度处理。
这里,如图12所示,使用的灰度变换曲线,对超出了值[0.0~1.0]的范围的输入信号IS,也输出值[0.0~1.0]的灰度处理信号CS。
通过这样,对于具有较宽动态范围的输入信号IS而言,也能进行适当的灰度处理,并输出通常动态范围的灰度处理信号CS。
另外,上述实施方式中,“灰度处理信号CS的像素值,在灰度变换曲线候补G1~Gp是“幂函数”的情况下,例如具有[0.0~1.0]范围的值”。这里,灰度处理信号CS的像素值并不仅限于该范围。例如,对于值[0.0~1.0]的输入信号IS而言,灰度变换曲线候补G1~Gp可以进行动态范围压缩。
(12)
上述实施方式中,对“灰度处理执行部14,具有灰度变换曲线候补G1~Gp作为二维LUT”进行了说明。这里,灰度处理执行部14也可以具有一维LUT,存储用来确定灰度变换曲线候补G1~Gp的曲线参数与选择信号Sm之间的关系。
《构成》
图13中表示说明作为灰度处理执行部14的变形例的灰度处理执行部44的构造的方框图。灰度处理执行部44,将输入信号IS与选择信号Sm作为输入,输出作为被灰度处理过的输入信号IS即灰度处理信号CS。灰度处理执行部44,具有曲线参数输出部45与运算部48。
曲线参数输出部45,由第1LUT46与第2LUT47构成。第1LUT46以及第2LUT47,将选择信号Sm作为输入,分别输出选择信号Sm所指定的灰度变换曲线候补Gm的曲线参数P1以及P2。
运算部48,将曲线参数P1与P2以及输入信号IS作为输入,输出灰度处理信号CS。
《关于一维LUT》
第1LUT46与第2LUT47,是分别保存选择信号Sm所对应的曲线参数P1与P2的值的一维LUT。在对第1LUT46与第2LUT47进行详细说明之前,对曲线参数P1以及P2的内容进行说明。
对照图14,对曲线参数P1及P2、与灰度变换曲线候补G1~Gp之间的关系进行说明。图14表示灰度变换曲线候补G1~Gp。这里,灰度变换曲线候补G1~Gp,具有关于脚标单调减少的关系,对所有的输入信号IS的像素的明度值,满足G1≥G2≥…≥Gp的关系。另外,以上的灰度变换曲线候补G1~Gp的关系,对于脚标较大的灰度变换曲线候补在输入信号IS较小的情况下,或者,对于脚标较小的灰度变换曲线候补在输入信号IS较大的情况下等,可以不成立。
曲线参数P1及P2,被作为输入信号IS的给定值所对应的灰度处理信号CS的值输出。即,在由选择信号Sm指定了灰度变换曲线候补Gm的情况下,曲线参数P1的值,被作为输入信号IS的给定值[X1]所对应的灰度变换曲线候补Gm的值[R1m]输出,曲线参数P2的值,被作为输入信号IS的给定值[X2]所对应的灰度变换曲线候补Gm的值[R2m]输出。这里,值[X2]是大于值[X1]的值。
接下来,对第1LUT46与第2LUT47进行说明。
第1LUT46与第2LUT47,分别保存选择信号Sm所对应的曲线参数P1与P2的值。更具体的说,例如对于被作为6位的信号给出的各个选择信号Sm而言,曲线参数P1与P2的值分别由6位给出。这里,对选择信号Sm以及曲线参数P1与P2确保的位数,并不仅限于此。
使用图15,对曲线参数P1及P2、与选择信号Sm之间的关系进行说明。图15中示出了选择信号Sm所对应的曲线参数P1及P2的值的变化。第1LUT46以及第2LUT47中,保存有各个选择信号Sm所对应的曲线参数P1以及P2的值。例如,作为选择信号Sm所对应的曲线参数P1的值,保存有值[R1m],作为曲线参数P2的值,保存有值[R2m]。
通过上述第1LUT46以及第2LUT47,对所输入的选择信号Sm,输出曲线参数P1以及P2。
《关于运算部48》
运算部48,根据所取得的曲线参数P1以及P2(值[R1m]以及值[R2m]),导出输入信号IS所对应的灰度处理信号CS。具体的顺序如下所述。这里,设输入信号IS的值,通过值[0.0~1.0]的范围给出。另外,灰度变换曲线候补G1~Gp,将由值[0.0~1.0]的范围给出的输入信号IS,在值[0.0~1.0]的范围内进行灰度变换。另外,本发明,在不将输入信号IS限定在该范围内的情况下也能够使用。
首先,运算部48,将输入信号IS的值,与给定的值[X1]、[X2]进行比较。
在输入信号IS的值(设为值[X])为[0.0]以上且不满[X1]的情况下,在连接图14中的原点与坐标([X1],[R1m])的直线上,求出值[X]所对应的灰度处理信号CS的值(设为值[Y])。更为具体的说,值[Y]通过下式,即[Y]=([X]/[X1])*[R1m]求出。
在输入信号IS的值为[X1]以上且不满[X2]的情况下,在连接图14中的坐标([X1],[R1m])与坐标([X2],[R2m])的直线上,求出值[X]所对应的值[Y]。更为具体的说,值[Y]通过下式,即[Y]=[R1m]+{([R2m]-[R1m])/([X2]-[X1])}*([X]-[X1])求出。
在输入信号IS的值为[X2]以上[1.0]以下的情况下,在连接图14中的坐标([X2],[R2m])与坐标([1.0],[1.0])的直线上,求出值[X]所对应的值[Y]。更为具体的说,值[Y]通过下式,即[Y]=[R2m]+{([1.0]-[R2m])/([1.0]-[X2])}*([X]-[X2])求出。
通过上述的运算,运算部48导出输入信号IS所对应的灰度处理信号CS。
《灰度处理方法·程序》
上述的处理,可以作为灰度处理程序,通过计算机等执行。灰度处理程序,是用来让计算机执行以下所述的灰度处理方法的程序。
灰度处理方法,是取得输入信号IS与选择信号Sm,并输出灰度处理信号CS的方法,其特征在于:使用一维LUT对输入信号IS进行灰度处理。
首先,取得选择信号Sm之后,从第1LUT46以及第2LUT47,输出曲线参数P1与P2。这里,省略对第1LUT46、第2LUT47、曲线参数P1以及P2的详细说明。
进而,根据曲线参数P1与P2,进行输入信号IS的灰度处理。关于灰度处理的详细内容,已经在对运算部48的说明中进行了描述,因此这里说明。
通过上述灰度处理方法,导出输入信号IS所对应的灰度处理信号CS。
《效果》
作为灰度处理执行部14的变形例的灰度处理执行部44,具有两个一维LUT而不是二维LUT。因此,能够削减用来保存查找表的存储容量。
《变形例》
(1)
上述变形例中,对“曲线参数P1以及P2的值,是输入信号IS的给定值所对应的灰度变换曲线候补Gm的值”进行了说明。这里,曲线参数P1与P2,也可以是灰度变换曲线候补Gm的其他的曲线参数。以下进行具体说明。
(1-1)
曲线参数,可以是灰度变换曲线候补Gm的斜率。对照图14进行具体说明。在用选择信号Sm指定了灰度变换曲线候补Gm的情况下,曲线参数P1的值,是输入信号IS的给定范围[0.0~X1]中的灰度变换曲线候补Gm的斜率的值[K1m],曲线参数P2的值,是输入信号IS的给定范围[X1~X2]中的灰度变换曲线候补Gm的斜率的值[K2m]。
使用图16,对曲线参数P1及P2、与选择信号Sm之间的关系进行说明。图16中表示的是,选择信号Sm所对应的曲线参数P1以及P2的值的变化。第1LUT46以及第2LUT47中,保存有各个选择信号Sm所对应的曲线参数P1以及P2的值。例如,作为选择信号Sm所对应的曲线参数P1的值保存有值[K1m],作为曲线参数P2的值保存有值[K2m]。
通过上述第1LUT46以及第2LUT47,对所输入的选择信号Sm,输出曲线参数P1以及P2。
运算部48中,根据所取得的曲线参数P1以及P2,导出输入信号IS所对应的灰度处理信号CS。具体的顺序如下所述。
首先,运算部48将输入信号IS的值,与给定的值[X1]、[X2]相比较。
在输入信号IS的值(设为值[X])为[0.0]以上且不满[X1]的情况下,在连接图14中的原点与坐标([X1],[K1m]*[X1](以下称作“Y1”))的直线上,求出值[X]所对应的灰度处理信号CS的值(设为值[Y])。更为具体的说,值[Y]通过下式,即[Y]=[K1m]*[X]求出。
在输入信号IS的值为[X1]以上且不满[X2]的情况下,在连接图14中的坐标([X1],[Y1])与坐标([X2],[K1m]*[X1]+[K2m]*([X2]-[X1])(以下称作“Y2”))的直线上,求出值[X]所对应的值[Y]。更为具体的说,值[Y]通过下式,即[Y]=[Y1]+[K2m]*([X]-[X1])求出。
在输入信号IS的值为[X2]以上且为[1.0]以下的情况下,在连接图14中的坐标([X2],[Y2])与坐标([1.0],[1.0])的直线上,求出值[X]所对应的值[Y]。更为具体的说,值[Y]通过下式,即[Y]=[Y2]+{([1.0]-[Y2])/([1.0]-[X2])}*([X]-[X2])求出。
通过上述运算,运算部48导出输入信号IS所对应的灰度处理信号CS。
(1-2)
曲线参数,还可以是灰度变换曲线候补Gm上的坐标。对照图17进行具体说明。在由选择信号Sm指定了灰度变换曲线候补Gm的情况下,曲线参数P1的值,是灰度变换曲线候补Gm上的坐标的一个成分的值[Mm],曲线参数P2的值,是灰度变换曲线候补Gm上的坐标的另一个成分的值[Nm]。另外,灰度变换曲线候补G1~Gp,全都是通过坐标(X1,Y1)的曲线。
使用图18,对曲线参数P1及P2、与选择信号Sm之间的关系进行说明。图18中表示的是,选择信号Sm所对应的曲线参数P1以及P2的值的变化。第1LUT46以及第2LUT47中,保存有各个选择信号Sm所对应的曲线参数P1以及P2的值。例如,作为选择信号Sm所对应的曲线参数P1的值,保存有值[Mm],作为曲线参数P2的值,保存有值[Nm]。
通过上述第1LUT46以及第2LUT47,对所输入的选择信号Sm,输出曲线参数P1以及P2。
运算部48中,通过与对照图14所说明的变形例相同的处理,根据输入信号IS导出灰度处理信号CS。这里省略详细的说明。
(1-3)
以上的变形例仅仅是一例,曲线参数P1以及P2,还可以是灰度变换曲线候补Gm的其他的曲线参数。
另外,曲线参数的个数也不仅限于上述。可以更少或更多。
对运算部48的说明中,对灰度变换曲线候补G1~Gp是由直线的线段构成的曲线的情况下的运算进行了说明。这里,在灰度变换曲线候补G1~Gp上的坐标被作为曲线参数给出的情况下,可以生成通过所给出的坐标的平滑曲线(曲线拟合),并使用所生成的曲线,进行灰度变换处理。
(2)
上述变形例中,对“曲线参数输出部45,由第1LUT46与第2LUT47构成”进行了说明。这里,曲线参数输出部45,也可以不具有保存选择信号Sm的值所对应的曲线参数P1以及P2的值的LUT。
这种情况下,曲线参数输出部45,运算出曲线参数P1与P2的值。更具体的说,曲线参数输出部45,保存有表示图15、图16、图18等所示的曲线参数P1以及P2的曲线图的参数。曲线参数输出部45,根据所保存的参数确定曲线参数P1以及P2的曲线图。另外,使用曲线参数P1以及P2的曲线图,来输出选择信号Sm所对应的曲线参数P1以及P2的值。
这里,用来确定曲线参数P1以及P2的曲线图的参数是指,曲线图上的坐标、曲线图的斜率、曲率等。例如,曲线参数输出部45,保存有图15中所示的曲线参数P1以及P2的曲线上的各两点的坐标,将连接这两点的坐标的直线,作为曲线参数P1以及P2的曲线图使用。
这里,在根据参数确定曲线参数P1以及P2的曲线图时,不但可以使用直线近似,还可以使用折线近似、曲线近似等。
通过这样,不使用用来保存LUT的存储器,也能够输出曲线参数。也即,能够进一步削减装置所具有的存储器的容量。
[第3实施方式]
对照图19~图21,对作为本发明的第3实施方式的视觉处理装置21进行说明。视觉处理装置21,例如是内置或连接在计算机、电视机、数码相机、移动电话、PDA等处理图像的机器中,进行图像的灰度处理的装置。视觉处理装置21的特征在于,对每个成为灰度处理的对象的像素,切换使用作为LUT预先保存的多个灰度变换曲线。
<构成>
图19为说明视觉处理装置21的构造的方框图。视觉处理装置21具有图像分割部22、选择信号导出部23、以及灰度处理部30。图像分割部22,将输入信号IS作为输入,输出将作为输入信号IS输入的原图像分割得到的多个图像区域Pm(1≤m≤n:n为原图像的分割数)。选择信号导出部23,输出用来对各个图像区域Pm选择灰度变换曲线Cm的选择信号Sm。灰度处理部30,具有选择信号修正部24和灰度处理执行部25。选择信号修正部24,将选择信号Sm作为输入,输出对各个图像区域Pm的选择信号Sm实施修正后得到的信号即每个像素的选择信号SS。灰度处理执行部25,具有多个灰度变换曲线候补G1~Gp(p为候补数)作为二维LUT,将输入信号IS和每个像素的选择信号SS作为输入,输出对各个像素实施灰度处理后得到的输出信号OS。
(关于灰度变换曲线候补)
关于灰度变换曲线候补G1~Gp,由于与“第2实施方式”中使用图7所说明的几乎一样,因此这里省略说明。但本实施方式中,灰度变换曲线候补G1~Gp,是给出输入信号IS的像素的明度值与输出信号OS的像素的明度值之间的关系的曲线。
灰度处理执行部25,具有灰度变换曲线候补G1~Gp作为二维LUT。也即,二维LUT,是对输入信号IS的像素的明度值和选择灰度变换曲线候补G1~Gp的选择信号SS,给出输出信号OS的像素的明度值的查找表(LUT)。具体例子与“第2实施方式”中使用图8所说明的几乎相同,因此这里省略说明。但本实施方式中,矩阵的列方向上,例如排列有由10位表示的输入信号IS的像素值的高6位的值所对应的输出信号OS的像素值。
<作用>
对各个部的动作进行说明。图像分割部22与图1的图像分割部2几乎同样地进行工作,将作为输入信号IS输入的原图像分割成多个(n个)图像区域Pm(参照图2)。这里,原图像的分割数,比图33所示的以往的视觉处理装置300的分割数(例如4~16分割)多,例如为横向上80分割纵向上60分割的4800分割。
选择信号导出部23,对各个图像区域Pm从灰度变换曲线候补G1~Gp中选择灰度变换曲线Cm。具体的说,选择信号导出部23,计算出图像区域Pm的广域图像区域Em的平均明度值,根据计算出的平均明度值,选择灰度变换曲线候补G1~Gp中的任意一个。也即,灰度变换曲线候补G1~Gp,与广域图像区域Em的平均明度值相关联,平均明度值越大,选择脚标越大的灰度变换曲线候补G1~Gp。
这里,广域图像区域Em,与[第1实施方式]中使用图2所说明的相同。也即,广域图像区域Em,是包含各个图像区域Pm的多个图像区域的集合,例如是以图像区域Pm为中心的纵向5块横向5块的25个图像区域的集合。另外,根据图像区域Pm的位置的不同,有时无法在图像区域Pm的周边取得纵向5块横向5块的广域图像区域Em。例如,对于位于原图像的周边的图像区域PI而言,就无法在图像区域PI的周边取得纵向5块横向5块的广域图像区域EI。这种情况下,将以图像区域PI为中心的纵向5块横向5块的区域与原图像重叠的区域,作为广域图像区域EI采用。
选择信号导出部23的选择结果,被作为表示灰度变换曲线候补G1~Gp中的任意一个的选择信号Sm输出。更为具体的说,选择信号Sm,被作为灰度变换曲线候补G1~Gp的脚标(1~p)的值输出。
选择信号修正部24,通过使用对各个图像区域Pm输出的各个选择信号Sm实施修正,输出用来对构成输入信号IS的每一个像素选择灰度变换曲线的每个像素的选择信号SS。例如,图像区域Pm中包含的像素所对应的选择信号SS,被用像素位置的内分比修正对图像区域Pm以及图像区域Pm的周边的图像区域输出的选择信号的值来求出。
对照图20,对选择信号修正部24的动作进行更加详细的说明。图20中表示的是,对图像区域Po、Pp、Pq、Pr(o、p、q、r是分割数n(参照图2)以下的正整数)输出选择信号So、Sp、Sq、Sr的状态。
这里,设作为灰度修正的对象的像素x的位置,为将图像区域Po的中心与图像区域Pp的中心内分为[i:1-i],且将图像区域Po的中心与图像区域Pq的中心内分为[j:1-j]的位置。这种情况下,像素x所对应的选择信号SS的值[SS],通过[SS]={(1-j)·(1-i)·[So]+(1-j)·(i)·[Sp]+(j)·(1-i)·[Sq]+(j)·(i)·[Sr]}求出。另外,[So]、[Sp]、[Sq]、[Sr],是选择信号So、Sp、Sq、Sr的值。
灰度处理执行部25,将输入信号IS所包含的像素的明度值和选择信号SS作为输入,使用例如图8中所示的二维LUT41,将输出信号OS的明度值输出。
另外,在选择信号SS的值[SS],不是与二维LUT41所具有的灰度变换曲线候补G1~Gp的脚标(1~p)相等的值的情况下,在输入信号IS的灰度处理中,使用以最接近值[SS]的整数作为脚标的灰度变换曲线候补G1~Gp。
<视觉处理方法以及视觉处理程序>
图21中表示说明视觉处理装置21中的视觉处理方法的流程图。图21中所示的视觉处理方法,是在视觉处理装置21中通过硬件来实现,并进行输入信号IS(参照图19)的灰度处理的方法。图21中所示的视觉处理方法中,输入信号IS被以图像单位进行处理(步骤S30~S37)。将作为输入信号IS输入的原图像,分割成多个图像区域Pm(1≤m≤n:n为原图像的分割数)(步骤S31),对每一个图像区域Pm选择灰度变换曲线Cm(步骤S32~S33),根据用来对每一个图像区域Pm选择灰度变换曲线Cm的选择信号Sm,对原图像的每一个像素选择灰度变换曲线,并进行像素单位下的灰度处理(步骤S34~S36)。
下面,对各个步骤进行具体说明。
从灰度变换曲线候补G1~Gp中,对各个图像区域Pm选择灰度变换曲线Cm(步骤S32)。具体的说,计算出图像区域Pm的广域图像区域Em的平均明度值,根据计算出的平均明度值,选择灰度变换曲线候补G1~Gp中的任意一个。灰度变换曲线候补G1~Gp与广域图像区域Em的平均明度值相关联,平均明度值越大,选择脚标越大的灰度变换曲线候补G1~Gp。这里省略广域图像区域Em的说明(参照上述<作用>栏)。选择的结果,作为表示灰度变换曲线候补G1~Gp的任意一个的选择信号Sm被输出。更为具体的说,选择信号Sm,被作为灰度变换曲线候补G1~Gp的脚标(1~p)的值输出。之后,判断是否完成了对所有图像区域Pm的处理(步骤S33),将步骤S32~S33的处理重复原图像的分割数次,直到判断出处理结束。通过以上,完成图像区域单位的处理。
通过使用对各个图像区域Pm输出的各个选择信号Sm实施修正,来输出用来对构成输入信号IS的每一个像素选择灰度变换曲线的每个像素的选择信号SS(步骤S34)。例如,图像区域Pm中包含的像素所对应的选择信号SS,被用像素位置的内分比,修正对图像区域Pm以及图像区域Pm的周边的图像区域输出的选择信号的值来求出。省略关于修正的详细内容(参照上述<作用>栏,图20)。
将输入信号IS包含的像素的明度值和选择信号SS作为输入,例如使用图8中所示的二维LUT41,将输出信号OS的明度值输出(步骤S35)。之后,判断是否完成了对所有像素的处理(步骤S36),将步骤S34~S36的处理重复像素数次,直到判断出处理结束。通过以上,完成图像单位的处理。
另外,图21中所示的视觉处理方法的各个步骤,可以通过计算机等作为视觉处理程序来实现。
<效果>
通过本发明,能够得到与上述[第1实施方式]以及[第2实施方式]的<效果>几乎相同的效果。以下,对第3实施方式特有的效果进行说明。
(1)
对各个图像区域Pm选择的灰度变换曲线Cm,根据广域图像区域Em的平均明度值生成。因此,即使图像区域Pm的大小较小,也能够获得足够明度值的抽样。另外,其结果是,即使对于小的图像区域Pm,也能够选择适当的灰度变换曲线Cm。
(2)
选择信号修正部34,通过根据以图像区域单位输出的选择信号Sm实施的修正,输出每一个像素的选择信号SS。使用每一个像素的选择信号SS所指定的灰度变换曲线候补G1~Gp,对构成输入信号IS的原图像的像素进行灰度处理。因此,能够获得被实施了更加恰当的灰度处理的输出信号OS。例如能够抑制伪轮廓的发生。另外,输出信号OS中,能够防止各个图像区域Pm的边界的接缝不自然地变得明显。
(3)
灰度处理执行部25,具有预先生成的二维LUT。因此,能够削减灰度处理所需要的处理负荷,更具体的说,能够削减灰度变换曲线Cm的生成所需要的处理负荷。其结果是,能够让灰度处理高速化。
(4)
灰度处理执行部25,使用二维LUT进行灰度处理。这里,二维LUT的内容,被从视觉处理装置21所具有的硬盘或ROM等存储装置中读出并用于灰度处理。通过变更所读出的二维LUT的内容,不需要变更硬件的构成,就能够实现各种灰度处理。也即,能够根据原图像的特性,实现适当的灰度处理。
<变形例>
本发明并不仅限于上述实施方式,还能够在不脱离其要点的范围内,进行各种变形。例如,能够将与上述[第2实施方式]<变形例>几乎相同的变形应用于第3实施方式。特别是[第2实施方式]<变形例>的(10)~(12)中,通过将选择信号Sm替换为选择信号SS,将灰度处理信号CS替换为输出信号OS,就能够同样地应用。
以下对第3实施方式特有的变形例进行说明。
(1)
上述实施方式中,将由64行64列的矩阵构成的二维LUT41作为二维LUT之一例。这里,本发明的效果并不仅限于该大小的二维LUT。例如,还可以是行方向上排列有更多灰度变换曲线候补的矩阵。另外,还可以在矩阵的列方向上,排列有将输入信号IS的像素值区分为更细的步幅之后得到的值所对应的输出信号OS的像素值。具体来说,例如可以对由10位表示的输入信号IS的各个像素值,排列有输出信号OS的像素值。
如果二维LUT的大小较大,就能够进行更加适当的灰度处理,如果较小,就能够削减保存二维LUT的存储器。
(2)
上述实施方式中说明的是,在选择信号SS的值[SS],不是与二维LUT41(参照图8)所具有的灰度变换曲线候补G1~Gp的脚标(1~p)相等的值的情况下,在输入信号IS的灰度处理中,使用以最接近值[SS]的整数为脚标的灰度变换曲线候补G1~Gp。这里,在选择信号SS的值[SS],不是与二维LUT41所具有的灰度变换曲线候补G1~Gp的脚标(1~p)相等的值的情况下,可以使用以不超过选择信号SS的值[SS]的最大整数(k)为脚标的灰度变换曲线候补Gk(1≤k≤p-1)、和以超过[SS]的最小整数(k+1)为脚标的灰度变换曲线候补Gk+1这双方,对输入信号IS实施灰度处理,并将灰度处理后的输入信号IS的像素值,用选择信号SS的值[SS]的小数点以后的值进行加权平均(内分),将输出信号OS输出。
(3)
上述实施方式中说明的是,在矩阵的列方向上,排列有例如由10位表示的输入信号IS的像素值的高6位的值所对应的输出信号OS的像素值。这里,输出信号OS,也可以通过灰度处理执行部25,作为用输入信号IS的像素值的低4位的值实施线性插补后的矩阵的成分输出。也即,矩阵的列方向上,排列有例如由10位表示的输入信号IS的像素值的高6位的值所对应的矩阵的成分,使用输入信号IS的像素值的低4位的值,对输入信号IS的像素值的高6位的值所对应的矩阵的成分、和给输入信号IS的像素值的高6位的值加“1”后得到的值所对应的矩阵的成分(例如,图8中,1行下的成分)进行线性插补,并作为输出信号OS输出。
通过这样,即使二维LUT41(参照图8)的大小较小,也能够进行更适当的灰度处理。
(4)
上述实施方式中说明的是,根据广域图像区域EM的平均明度值,输出图像区域Pm所对应的选择信号Sm。这里,选择信号Sm的输出方法并不仅限于该方法。例如,还可以根据广域图像区域Em的最大明度值或最小明度值,输出图像区域Pm所对应的选择信号Sm。另外,选择信号Sm的值[Sm],可以是广域图像区域Em的平均明度值、最大明度值或最小明度值本身。
另外,例如可以如下输出图像区域Pm所对应的选择信号Sm。也即,对各个图像区域Pm求出平均明度值,根据各个平均明度值,求出各个图像区域Pm所对应的临时选择信号Sm’。这里,临时选择信号Sm’的值,为灰度变换曲线候补G1~Gp的脚标的编号。进而,对广域图像区域Em包含的各个图像区域,平均临时选择信号Sm’的值,并作为图像区域Pm的选择信号Sm。
(5)
上述实施方式中说明的是,根据广域图像区域Em的平均明度值,输出图像区域Pm所对应的选择信号Sm。这里,也可以不根据广域图像区域Em的单纯平均,而是根据加权平均(带有权重的平均),输出图像区域Pm所对应的选择信号Sm。详细内容与上述[第2实施方式]中使用图11所说明的相同,求出构成广域图像区域Em的各个图像区域的平均明度值,对具有与图像区域Pm的平均明度值差异较大的平均明度值的图像区域Ps1、Ps2、…,减轻其权重,来求出广域图像区域Em的平均明度值。
通过这样,即使在广域图像区域Em包含明度特殊的区域的情况(例如广域图像区域Em包含两个明度值不同的物体的边界的情况)下,对于选择信号Sm的输出而言,该特殊区域的明度值所带来的影响也较小,从而能够进行更加适当的选择信号Sm的输出。
(6)
视觉处理装置21中,还可以具有描述数据生成部,生成作为二维LUT所保存的值的描述数据。具体的说,描述数据生成部,由视觉处理装置1(参照图1)中的图像分割部2与灰度变换曲线导出部10构成,将所生成的多个灰度变换曲线的集合,作为描述数据保存在二维LUT中。
另外,二维LUT中所保存的各个灰度变换曲线,可以与实施过空间处理的输入信号IS相关联。这种情况下,视觉处理装置21中,可以将图像分割部22、选择信号导出部23以及选择信号修正部24,替换为对输入信号IS进行空间处理的空间处理部。
[第4实施方式]
对照图22~图25,对作为本发明的第4实施方式的视觉处理装置61进行说明。
图22中所示的视觉处理装置61,是进行图像信号的空间处理、灰度处理等视觉处理的装置。视觉处理装置61,例如在计算机、电视机、数码相机、移动电话、PDA、打印机、扫描仪等处理图像的机器中,与进行图像信号的颜色处理的装置一起构成图像处理装置。
视觉处理装置61,是使用图像信号、和对图像信号实施了空间处理(模糊过滤处理)的模糊信号实施视觉处理的装置,空间处理中有其特征。
以往,在使用对象像素的周边像素导出模糊信号时,如果周边像素包含与对象像素浓度极为不同的像素,模糊信号就会受到浓度不同的像素的影响。也即,在图像中对物体边缘附近的像素进行空间处理的情况下,本来不是边缘的像素会受到边缘的浓度的影响。因此,该空间处理,例如会引起伪轮廓的产生等问题。
因此,要求空间处理要与图像的内容相适应。与此相对,例如特开平10-75395号公报中,生成模糊程度不同的多个模糊信号,通过合成或切换各个模糊信号,来输出适当的模糊信号。通过这样的目的在于,变更空间处理的过滤器大小,抑制浓度不同的像素的影响。
而另一方面,由于上述公报中,生成多个模糊信号,并且合成或切换各个模糊信号,因此装置中的电路规模或处理负荷增大。
因此,作为本发明的第4实施方式的视觉处理装置61,其目的在于:输出适当的模糊信号,并且削减装置中的电路规模或处理负荷。
<视觉处理装置61>
图22中表示的是,对图像信号(输入信号IS)实施视觉处理并输出视觉处理图像(输出信号OS)的视觉处理装置61的基本构成。视觉处理装置61,具有:对作为输入信号IS取得的原图像的每一个像素的明度值进行空间处理,并输出非清晰信号(unshape)US的空间处理部62;以及,使用同一个像素所对应的输入信号IS与非清晰信号US,进行原图像的视觉处理,并将输出信号OS输出的视觉处理部63。
<空间处理部62>
使用图23,对空间处理部62的空间处理进行说明。空间处理部62,从输入信号IS中,取得成为空间处理的对象的对象像素65、和对象像素65的周边区域的像素(以下,称作周边像素66)的像素值。
周边像素66,是位于对象像素65的周边区域的像素,是以对象像素65为中心扩展的纵9像素横9像素的周边区域中包含的像素。另外,周边区域的大小并不仅限于这种情况,还可以更小或更大。另外,周边像素66,根据距对象像素65的距离,从较近者起分为第1周边像素67与第2周边像素68。图23中,第1周边像素67,是以对象像素65为中心的纵5像素横5像素的区域中包含的像素。另外,第2周边像素68,是位于第1周边像素67的周边的像素。
空间处理部62,对对象像素65进行过滤运算。过滤运算中,使用基于对象像素65与周边像素66的像素值之差及距离的权重,对对象像素65与周边像素66的像素值进行加权平均。加权平均通过下式,即F=(∑[Wij]*[Aij])/(∑[Wij])来计算。这里,[Wij]是在对象像素65以及周边像素66中,位于第i行第j列的像素的加权系数,[Aij]是在对象像素65以及周边像素66中,位于第i行第j列的像素的像素值。另外,“∑”表示的是,对对象像素65以及周边像素66的各个像素实施合计的计算。
使用图24,对加权系数[Wij]进行说明。加权系数[Wij],是根据对象像素65与周边像素66的像素值之差及距离确定的值。更具体的说,像素值之差的绝对值越大,赋予值越小的加权系数。另外,距离越大赋予越小的加权系数。
例如,对于对象像素65而言,加权系数[Wij]是值[1]。
第1周边像素67中,对像素值和对象像素65的像素值之差的绝对值小于给定阈值的的像素而言,加权系数[Wij]是值[1]。第1周边像素67中,对于像素值之差的绝对值大于给定阈值的像素而言,加权系数[Wij]是值[1/2]。也即,即使是包含在第1周边像素67中的像素,根据像素值的不同所赋予的加权系数也不同。
第2周边像素68中,对于像素值和对象像素65的像素值之差的绝对值小于给定阈值的像素而言,加权系数[Wij]是值[1/2]。第2周边像素68中,对于像素值之差的绝对值大于给定阈值的像素而言,加权系数[Wij]是值[1/4]。也即,即使是包含在第2周边像素68中的像素,根据像素值的不同所赋予的加权系数也不同。另外,距对象像素65的距离大于第1周边像素67的第2周边像素68中,被赋予更小的加权系数。
这里,所谓给定的阈值,对于取[0.0~1.0]的范围内的值的对象像素65的像素值而言,是值[20/256~60/256]等大小的值。
通过以上计算出的加权平均,被作为非清晰信号US输出。
<视觉处理部63>
视觉处理部63中,使用同一像素所对应的输入信号IS和非清晰信号US的值,进行视觉处理。这里所进行的视觉处理,是输入信号IS的对比度强化、或动态范围压缩等处理。对比度强化中,使用对输入信号IS与非清晰信号US之差或比进行强化的函数强化信号,并将强化后的信号施加给输入信号IS,对图像实施清晰化。动态范围压缩中,从输入信号IS中减去非清晰信号US。
视觉处理部63中的处理,可以使用以输入信号IS和非清晰信号US为输入并且输出输出信号OS的二维LUT来进行。
<视觉处理方法·程序>
上述处理,可以作为视觉处理程序,由计算机等执行。视觉处理程序,是用来让计算机执行以下所述的视觉处理方法的程序。
视觉处理方法,具备:对作为输入信号IS取得的原图像的每一个像素的明度值进行空间处理,并输出非清晰信号US的空间处理步骤;以及,使用同一像素所对应的输入信号IS和非清晰信号US,进行原图像的视觉处理,并输出输出信号OS的视觉处理步骤。
空间处理步骤中,对输入信号IS的每一个像素,实施空间处理部62的说明中所述的加权平均,并输出非清晰信号US。由于详细内容已经在前面进行了说明,因此这里省略。
视觉处理步骤重,使用同一像素所对应的输入信号IS和非清晰信号US,实施视觉处理部63的说明中所述的视觉处理,并输出输出信号OS。由于详细内容已经在前面进行了说明,因此这里省略。
<效果>
使用图25(a)~(b),对视觉处理装置61实施的视觉处理的效果进行说明。图25(a)与图25(b),表示以往的过滤器实施的处理。图25(b),表示本发明的过滤器实施的处理。
图25(a)中表示的是,周边像素66包含浓度不同的物体71的状态。对象像素65的空间处理中,使用具有给定的过滤系数的平滑化过滤器。因此,本来不是物体71的一部分的对象像素65,受到了物体71的浓度的影响。
图25(b)中表示的是,本发明的空间处理的状态。本发明的空间处理中,对周边像素66包含物体71的部分66a、不包含物体71的第1周边像素67、不包含物体71的第2周边像素68以及对象像素65的每一个,分别使用不同的加权系数进行空间处理。因此,能够抑制空间处理过的对象像素65受到浓度极为不同的像素的影响,从而进行更加适当的空间处理。
另外,视觉处理装置61中,不需要像特开平10-75395号公报那样,生成多个模糊信号。因此,能够削减装置中的电路规模或处理负荷。
另外,视觉处理装置61中,实质上能够让空间过滤器的过滤器大小以及过滤器所参照的图像的形状,根据图像内容适当进行变更。所以,能够进行与图像内容相应的空间处理。
<变形例>
(1)
上述的周边像素66、第1周边像素67、第2周边像素等的大小,仅仅是一例,还可以是其他大小。
上述的加权系数只是一例,还可以是其他值。例如,可以在像素值之差的绝对值超过了给定阈值的情况下,给加权系数赋值[0]。通过这样,能够让空间处理过的对象像素65,不受到浓度极为不同的像素的影响。这在以对比度强化为目的的应用中,具有不会对原本对比度在某种程度上就较大的部分中的对比度过分强化的效果。
另外,加权系数,可以作为如下所示的函数的值来给出。
(1-a)
可以通过以像素值之差的绝对值为变量的函数,给出加权系数的值。函数,例如在像素值之差的绝对值较小时增大加权系数(接近1),在像素值之差的绝对值较大时减小加权系数(接近0),即为关于像素值之差的绝对值单调减少的函数。
(1-b)
可以通过以距对象像素65的距离为变量的函数,给出加权系数的值。函数,例如在距对象像素65的距离较近时增大加权系数(接近1),在距对象像素65的距离较远时减小加权系数(接近0),即为关于距对象像素65的距离单调减少的函数。
上述(1-a)、(1-b)中,更连续地给出加权系数。因此,与使用阈值的情况相比,能够给出更加适当的加权系数,抑制过度的对比度强化,抑制伪轮廓的产生等,从而能够进行视觉效果更好的处理。
(2)
上述对各个像素的处理,可以以包含多个像素的块为单位来进行。具体的说,首先,计算出成为空间处理的对象的对象块的平均像素值、和对象块的周边的周边块的平均像素值。进而,将各个平均像素值,使用与上述相同的加权系数加权平均。通过这样,对对象块的平均像素值进一步实施空间处理。
这种情况下,可以将空间处理部62用作选择信号导出部13(参照图6)或选择信号导出部23(参照19)。这种情况下,与[第2实施方式]<变形例>(6),或[第3实施方式]<变形例>(5)中所述的相同。
下面,使用图26~图28对此进行说明。
《构成》
图26是表示以包含多个像素的块单位实施用图22~图25所说明的处理的视觉处理装置961的构成的方框图。
视觉处理装置961,由将作为输入信号IS输入的图像分割成多个图像块的图像分割部964、对分割后的每一个图像块进行空间处理的空间处理部962、使用输入信号IS和作为空间处理部962的输出的空间处理信号US2进行视觉处理的视觉处理部963所构成。
图像分割部964,将作为输入信号IS输入的图像分割成多个图像块。再有,导出包含所分割的每一个图像块的特征参数的处理信号US1。所谓特征参数,例如是指表示每一个分割得到的图像块的图像的特征的参数,例如平均值(单纯平均、加权平均等)或代表值(最大值、最小值、中间值等)。
空间处理部962,取得包含每一个图像块的特征参数的处理信号US1,并进行空间处理。
对照图27,对空间处理部962的空间处理进行说明。图27中示出了分割成包含多个像素的图像块的输入信号IS。这里,各个图像块被分割成包含纵3像素横3像素的9像素的区域。另外,该分割方法只是一例,并不仅限于这样的分割方法。另外,为了充分发挥视觉处理效果,优选将相当大的区域作为对象,来生成空间处理信号US2。
空间处理部962,从处理信号US1中,取得成为空间处理的对象的对象图像块965的特征参数和位于对象图像块965的周边的周边区域966中所包含的各个周边图像块的特征参数。
周边区域966,是位于对象图像块965的周边的区域,是以对象图像块965为中心扩展的纵5块横5块的区域。另外,周边区域966的大小并不仅限于这种情况,还可以更小或更大。另外,周边区域966,根据距对象图像块965的距离,从较近者起分为第1周边区域967和第2周边区域968。
图27中,第1周边区域967,是以对象图像块965为中心的纵3块横3块的区域。另外,第2周边区域968是位于第1周边区域967的周边的区域。
空间处理部962,对对象图像块965的特征参数进行过滤运算。
过滤运算中,对对象图像块965和周边区域966的周边图像块的特征参数的值进行加权平均。这里,加权平均的权重,基于对象图像块965与周边图像块之间的距离以及特征参数值之差来确定。
更为具体的说,加权平均通过下式,即F=(∑[Wij]*[Aij])/(∑[Wij])来计算。
这里,[Wij]是在对象图像块965以及周边区域966中,位于第i行第j列的图像块所对应的加权系数,[Aij]是在对象图像块965以及周边区域966中,位于第i行第j列的图像块的特征参数的值。另外,“∑”表示的是,对对象图像块965以及周边区域966的各个图像块实施合计的计算。
使用图28,对加权系数[Wij]进行说明。
加权系数[Wij],是根据对象图像块965与周边区域966的周边图像块之间的距离以及特征参数值之差所确定的值。更具体的说,特征参数值之差的绝对值越大,赋予值越小的加权系数。另外,距离越大赋予越小的加权系数。
例如,对于对象图像块965而言,加权系数[Wij]是值[1]。
第1周边区域967中,对于特征参数值与对象图像块965的特征参数值之差的绝对值小于给定阈值的周边图像块而言,加权系数[Wij]是值[1]。第1周边区域967中,对于特征参数值之差的绝对值大于给定阈值的周边图像块而言,加权系数[Wij]是值[1/2]。也即,即使是包含在第1周边区域967中的周边图像块,根据特征参数值的不同所赋予的加权系数也不同。
第2周边区域968中,对于特征参数值与对象图像块965的特征参数值之差的绝对值小于给定阈值的周边图像块而言,加权系数[Wij]是值[1/2]。第2周边区域968中,对于特征参数值之差的绝对值大于给定阈值的周边图像块而言,加权系数[Wij]是值[1/4]。也即,即使是包含在第2周边区域968中的周边图像块,根据特征参数值的不同所赋予的加权系数也不同。另外,距对象图像块965的距离大于第1周边区域967的第2周边区域968中,被赋予更小的加权系数。
这里,所谓给定的阈值,对于取[0.0~1.0]范围内的值的对象图像块965的特征参数值而言,是值[20/256~60/256]等大小的值。
通过以上计算出的加权平均,被作为空间处理信号US2输出。
视觉处理部963中,进行与视觉处理部63(参照图22)相同的视觉处理。但是与视觉处理部63的不同点在于,替代非清晰信号US,使用包含成为视觉处理的对象的对象像素的对象图像块的空间处理信号US2。另外,虽然视觉处理部963中的处理,可用包含对象像素的对象图像块单位一并来处理,但也可以按照从输入信号IS中取得的像素的顺序,切换空间处理信号US2来处理。
以上的处理,对输入信号IS中所包含的所有像素进行。
《效果》
空间处理部962的处理中,实施以图像块为单位的处理。因此,能够削减空间处理部962的处理量,实现更高速的视觉处理。另外,还能够减小硬件规模。
《变形例》
以上说明的是,以正方形的块单位来进行处理。这里,块的形状可以是任意的。
另外,上述加权系数、阈值等也能够适当变更。
这里,加权系数的一部分的值可以是值[0]。这种情况下,与令周边区域966的形状为任意形状的效果相同。
另外,虽然以上说明的是,空间处理部962中,使用对象图像块965和周边区域966的特征参数来进行空间处理,但空间处理也可以只使用周边区域966的特征参数来进行。也即,在空间处理的加权平均的权重中,可以将对象图像块965的权重设为值[0]。
(3)
视觉处理部63中的处理并不仅限于以上。例如,视觉处理部63,还可以使用输入信号IS的值A、非清晰信号US的值B、动态范围压缩函数F4、强化函数F5,将通过下式、即C=F4(A)*F5(A/B)计算出的值C作为输出信号OS的值输出。这里,动态范围压缩函数F4,是向上凸的幂函数等单调增加函数,例如表示为F4(x)=x^γ(0<γ<1)。强化函数F5是幂函数,例如表示为F5(x)=x^α(0<α≤1)。
在视觉处理部63中实施这种处理的情况下,如果使用由本发明的空间处理部62输出的适当的非清晰信号US,则能够压缩输入信号IS的动态范围,同时强化局部的对比度。
另一方面,在非清晰信号US不合适,且模糊过少的情况下,边缘强化而适当地不进行对比度的强化。另外,在模糊过多的情况下,虽然进行对比度的强化,但适当地不进行动态范围的压缩。
[第5实施方式]
作为本发明的第5实施方式,对上述第1~第4实施方式中所说明的视觉处理装置、视觉处理方法、视觉处理程序的应用例、以及使用它的系统进行说明。
视觉处理装置,例如是内置或连接在计算机、电视机、数码相机、移动电话、PDA等处理图像的机器中,进行图像的灰度处理的装置,通过LSI等集成电路来实现。
更详细的说,上述实施方式的各个功能块,既可以分别单芯片化,又可以将其全部或一部分单芯片化。另外,虽然这里以LSI为例,但因集成度的不同,有时还称作IC、系统LSI、超级LSI、ultraLSI等。
另外,集成电路化的方法并不仅限于LSI,还可以通过专用电路或通用处理器来实现。还可以使用可在LSI制造后,进行编程的FPGA(FieldProgrammable Gate Array),或使用可重新构成LSI内部的电路单元的连接或设定的可重构处理器。
另外,如果随着半导体技术的进步或派生出的其他技术,出现了取代LSI的集成电路化的技术,当然也可以使用该技术来进行功能块的集成化。还存在应用生物技术的可能性。
图1、图6、图19、图22、图26的各个块的处理,例如通过视觉处理装置具有的中央运算装置(CPU)来进行。另外,用来实施各个处理的程序,保存在硬盘、ROM等存储装置中,读出到ROM或RAM中来执行。另外,图6、图19的灰度处理执行部14、25中所参照的二维LUT,被保存在硬盘、ROM等存储装置中,根据需要进行参照。另外,二维LUT,也可以由直接连接或经网络间接地连接在视觉处理装置上的二维LUT的提供装置来提供。另外,在图13的灰度处理执行部44中所参照的一维LUT也一样。
另外,视觉处理装置,可以是内置或连接在处理运动图像的机器中,进行每一帧(每个区域)的图像的灰度处理的装置。
另外,各个视觉处理装置中,执行上述第1~第4实施方式中所说明的视觉处理方法。
视觉处理程序,是内置或连接在计算机、电视机、数码相机、移动电话、PDA等处理图像的机器中的装置中,保存在硬盘、ROM等存储装置中,执行图像的灰度处理的程序,例如经CD-ROM等存储媒体或经网络提供。
上述实施方式中说明的是,对各个像素的明度值进行处理。这里,本发明与输入信号IS的颜色空间无关。也即,上述实施方式中的处理,在输入信号IS由YCbCr颜色空间、YUV颜色空间、Lab颜色空间、Luv颜色空间、YIQ颜色空间、XYZ颜色空间、YPbPr颜色空间、RGB颜色空间等表示的情况下,对于各个颜色空间的亮度(luminance)、明度而言,同样能够应用。
另外,在输入信号IS由RGB颜色空间表示的情况下,上述实施方式中的处理,可以对RGB的各个成分独立地进行。
[第6实施方式]
作为本发明的第6实施方式,对照图29~图32,对上述所说明的视觉处理装置、视觉处理方法、视觉处理程序的应用例、及使用它的系统进行说明。
图29为表示实现内容配送服务的内容提供系统ex100的全体构成的方框图。将通信服务的提供区域分割成所希望的大小,在各个单元(cell)内分别设置作为固定无线站的基站ex107~ex110。
该内容提供系统ex100,例如在互联网ex101上,经互联网服务提供商ex102及电话网ex104、以及基站ex107~ex110,连接有计算机ex111、PDA(personal digital assistant)ex112、摄像机ex113、移动电话ex114、带照相机的移动电话ex115等各个机器。
但是,内容提供系统ex100并不仅限于图29的组合,可以任意组合连接。另外,各个机器也可以不经作为固定无线站的基站ex107~ex110,而是直接连接于电话网ex104。
摄像机ex113,是数码摄像机等可拍摄运动图像的机器。另外,移动电话可以是PDC(Personal Digital Communications)方式、CDMA(CodeDivision Multiple Access)方式、W-CDMA(Wideband-Code DivisionMultiple Access)方式、或GSM(Global System for Mobile Communications)方式的移动电话机,或PHS(Personal Handyphone System)等。
另外,流服务器ex103,通过基站ex109、电话网ex104连接摄像机ex113,能够基于用户使用摄像机ex113发送的编码处理过的数据实施实况配送等。所拍摄的数据的编码处理,既可以由摄像机ex113进行,也可以由进行数据的发送处理的服务器等进行。另外,照相机ex116所拍摄的运动图像数据,可以经计算机ex111发送给流服务器ex103。照相机ex116,是数码相机等能够拍摄静止图像与运动图像的机器。这种情况下,运动数据的编码既可以由照相机ex116进行,也可以由计算机ex111进行。另外,编码处理,在计算机ex111或照相机ex116所具有的LSIex117中进行处理。另外,可将图像编码·解码用的软件,存储在作为计算机ex111等可读的存储媒体的任何存储媒体(CD-ROM、软盘、硬盘等)中。另外,也可以通过带照相机的移动电话ex115来发送运动图像数据。此时的运动图像数据,是由移动电话ex115所具有的LSI编码处理过的数据。
该内容提供系统ex100中,用户对由摄像机ex113、照相机ex116等拍摄的内容(例如拍摄音乐实况得到的影像等)进行编码处理后,发送给流服务器ex103,另一方面,流服务器ex103给作出请求的客户端流配送上述内容数据。客户端是能够对编码处理过的数据进行解码的计算机ex111、PDAex112、摄像机ex113、移动电话ex114等。通过这样,内容供给系统ex100,能够在客户端中接收编码过的数据并再生,进而,通过在客户端中实时地接收并解码再生,成为还能够实现个人广播的系统。
在进行内容的显示时,可以使用上述实施方式中所说明的视觉处理装置、视觉处理方法、视觉处理程序。例如,计算机ex111、PDAex112、摄像机ex113、移动电话ex114等,可以具有上述实施方式中所示的视觉处理装置,并实现视觉处理方法、视觉处理程序。
另外,流服务器ex103,可以经互联网ex101向视觉处理装置提供描述数据。另外,流服务器ex103可以具有多台,分别提供不同的描述数据。另外,流服务器ex103,还可以进行描述的生成。这样,在视觉处理装置能够经互联网ex101取得描述数据的情况下,视觉处理装置不需要事先保存用于视觉处理的描述数据,从而能够削减视觉处理装置的存储容量。另外,由于能够从经互联网ex101连接的多个服务器处取得描述数据,因此能够实现不同的视觉处理。
作为一例对移动电话进行说明。
图30为说明具有上述实施方式的视觉处理装置的移动电话ex115的图。移动电话ex115,具有:用来与基站ex110之间发送接收电波的天线ex201;CCD照相机等能够拍摄影像或静止图像的照相机部ex203;显示由照相机部ex203所拍摄的影像、解码由天线ex201所接收到的影像等得到的数据的液晶显示器等的显示部ex202;由操作键ex204群所构成的主体部;用于进行声音输出的扬声器等声音输出部ex208;用于进行声音输入的拾音器等声音输入部ex205;用来保存所拍摄的运动图像或静止图像的数据、接收到的邮件的数据、运动图像或静止图像的数据等编码后的数据或解码后的数据的存储媒体ex207;以及,用来使移动电话ex115中能够安装存储媒体ex207的插槽部ex206。存储媒体ex207,是SD卡等在塑料壳内收置有作为可电重写或删除的非易失性存储器即EEPROM(Electrically Erasable and Programmable Read Only Memory)之一种的闪存元件。
进而,对照图31对移动电话ex115进行说明。移动电话ex115中,相对对具有显示部ex202以及操作键ex204的主体部的各个部进行综合控制的主控制部ex311,电源电路部ex310、操作输入控制部ex304、图像编码部ex312、照相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、多路复用分离部ex308、记录再生部ex307、调制解调部ex306、以及声音处理部ex305,经同步总线ex313互相连接。
电源电路部ex310,在用户通过操作挂机及电源按键使电话成为开机状态后,通过从电池组给各个部供电,将带照相机的数字移动电话ex115起动为可工作的状态。
移动电话ex115,基于以CPU、ROM以及RAM等所构成的主控制部ex311的控制,在声音通话模式时,通过声音处理部ex305,将由声音输入部ex205拾取的声音信号变换成数字声音数据,并由调制解调电路部ex306对其进行频谱扩散处理,由发送接收电路部ex301实施数字模拟变换处理以及频率变换处理之后,经天线ex201发送。另外,移动电话ex115,在声音通话模式时,对通过天线ex201所接收到的接收信号进行放大,实施频率变换处理以及模拟数字变换处理,通过调制解调电路部ex306进行频谱反扩散处理,通过声音处理部ex305变换成模拟声音信号之后,经声音输出部ex208将其输出。
另外,在数据通信模式时发送电子邮件的情况下,通过操作主体部的操作按键ex204输入的电子邮件的文本数据,经操作输入控制部ex304发送给主控制部ex311。主控制部ex311,通过调制解调部ex306对文本数据进行频谱扩散处理,由发送接收电路部ex301实施数字模拟变换处理及频率变换处理之后,经天线ex201发送给基站ex110。
在数据通信模式时发送图像数据的情况下,由照相机部ex203所拍摄的图像数据,经照相机接口部ex303发送给图像编码部ex312。另外,在不发送图像数据的情况下,由照相机部ex203所拍摄的图像数据,也可经照相机接口部ex303以及LCD控制部ex302,直接显示在显示部ex202上。
图像编码部ex312,通过对照相机部ex203所供给的图像数据进行压缩编码,变换成编码图像数据,将其发送给多路复用分离部ex308。另外,与此同时,移动电话ex115,将用照相机部ex203拍摄时由声音输入部ex205拾取的声音,经声音处理部ex305作为数字的声音数据发送给多路复用分离部ex308。
多路复用分离部ex308,将图像编码部ex312所供给的编码图像数据,与声音处理部ex305所供给的声音数据,以给定的方式多路复用,将结果所得到的多路复用数据,通过调制解调部ex306进行频谱扩散处理,由发送接收电路部ex301实施数字模拟变换处理以及频率变换处理之后,经天线ex201发送。
在数据通信模式时接收到主页等上所链接的运动图像文件的数据的情况下,将经天线ex201从基站ex110接收到的接收信号,用调制解调电路部ex306实施频谱反扩散处理,将结果所得到的多路复用数据发送给多路复用分离部ex308。
另外,为了对经天线ex201所接收到的多路复用数据进行解码,多路复用分离部ex308,通过分离多路复用数据,来分出图像数据的编码位流与声音数据的编码位流,经同步总线ex313将该编码图像数据提供给图像解码部ex309,同时将该声音数据提供给声音处理部ex305。
接下来,图像解码部ex309,通过解码图像数据的编码位流,生成再生运动图像数据,将其经LCD控制部ex302提供给显示部ex202,通过这样,显示出例如主页上所链接的运动图像文件中所包含的运动图像数据。与此同时,声音处理部ex305,通过将声音数据变换成模拟声音信号之后,提供给声音输出部ex208,通过这样,再生出例如主页上所链接的运动图像文件中包含的声音数据。
以上的构成中,图像解码部ex309,可以具有上述实施方式的视觉处理装置。
另外,并不仅限于上述系统的例子,最近基于卫星以及地面波的数字广播越来越引人注目,如图32中所示,数字广播用系统中也能够组装上述实施方式中所说明的视觉处理装置、视觉处理方法、视觉处理程序。具体的说,广播站ex409中,将影像信息的编码位流经电波发送给通信或广播卫星ex410。接收到它的广播卫星ex410,发送广播用电波,通过具有卫星广播接收设备的家庭天线ex406接收该电波,通过电视机(接收机)ex401或机顶盒(STB)ex407等装置,对编码位流进行解码并再生。这里,电视机(接收机)ex401或机顶盒(STB)ex407等装置,可以具有上述实施方式中所说明的视觉处理装置。另外,也可以使用上述实施方式的视觉处理方法。另外,还可以具有视觉处理程序。另外,读取存储在存储媒体即CD或DVD等存储媒体ex402中的编码位流,并进行解码的再生装置ex403中,也能够安装上述实施方式所说明的视觉处理装置、视觉处理方法、视觉处理程序。这种情况下,所再生的影像信号显示在监视器ex404中。另外还可以考虑,在连接着有线电视用电缆ex405或卫星/地面波广播的天线ex406的机顶盒ex407内,安装上述实施方式中所说明的视觉处理装置、视觉处理方法、视觉处理程序,并通过电视机的监视器ex408对其进行再生的结构。此时,除了在机顶盒中,还可以在电视机内组装上述实施方式中所说明的视觉处理装置。另外,还可以通过具有天线ex411的车辆ex412,从卫星ex410或基站ex107等接收信号,在车辆ex412所具有的车载导航ex413等的显示装置中,再生运动图像。
另外,还可以编码图像信号并保存在存储媒体中。具体例子有,在DVD盘ex421中记录图像信号的DVD录像机,以及在硬盘中进行记录的硬盘录像机等的录像机ex420。另外,还能够在SD卡ex422中进行记录。如果录像机ex420具有上述实施方式的解码装置,则能够对DVD盘ex421以及SD卡ex422中所记录的图像信号进行插补再生,并显示在监视器ex408中。
另外,作为车载导航ex413的构成,例如为在图31中所示的构成中,去掉照相机部ex203与照相机接口部ex303、图像编码部ex312后的结构,同样也可以对计算机ex111以及电视机(接收机)ex401等考虑该结构。
另外,上述移动电话ex114等终端,除了具有编码器·解码器这双方的发送接收型终端之外,还可以考虑只具有编码器的发送终端,以及只具有解码器的接收终端这三种的安装形式。
这样,上述实施方式中所说明的视觉处理装置、视觉处理方法、视觉处理程序,能够用于上述的任意一种机器·系统,能够得到上述实施方式中所说明的效果。
[附注]
上述实施方式中所述的本发明,还可以如下表现。
<附注的内容>
(附注1)
一种视觉处理装置,具有:
图像区域分割机构,将所输入的图像信号分割成多个图像区域;
灰度变换特性导出机构,是对每个上述图像区域导出灰度变换特性的机构,其使用成为上述灰度变换特性的导出对象的对象图像区域的灰度特性、和上述对象图像区域的周边图像区域的灰度特性,来导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理机构,其根据所导出的上述灰度变换特性,对上述图像信号实施灰度处理。
(附注2)
根据附注1所述的视觉处理装置:
上述灰度变换特性是灰度变换曲线,
上述灰度变换特性导出机构,具有:使用上述灰度特性生成直方图的直方图生成机构;以及根据所生成的上述直方图,生成上述灰度变换曲线的灰度变换曲线生成机构。
(附注3)
根据附注1所述的视觉处理装置:
上述灰度变换特性,是用来从对上述图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号,
上述灰度处理机构,具有上述多个灰度变换表作为二维LUT。
(附注4)
根据附注3所述的视觉处理装置:
上述二维LUT,在上述图像信号的全部的值中,按照上述选择信号的值所对应的被灰度处理过的上述图像信号的值单调增加或单调减少的顺序,保存上述多个灰度变换表。
(附注5)
根据附注3或4所述的视觉处理装置:
上述二维LUT,能够通过描述数据的登录来变更。
(附注6)
根据附注3~5中的任一项所述的视觉处理装置:
上述选择信号的值,被作为个别选择信号的特征量导出,该个别选择信号,是对上述对象图像区域与上述周边图像区域的各个图像区域导出的选择信号。
(附注7)
根据附注3~5中的任一项所述的视觉处理装置:
上述选择信号,根据灰度特性特征量导出,该灰度特性特征量是使用上述对象图像区域与上述周边图像区域的灰度特性导出的特征量。
(附注8)
根据附注3~7中的任一项所述的视觉处理装置:
上述灰度处理机构,具有:使用上述选择信号所选择的上述灰度变换表,执行上述对象图像区域的灰度处理的灰度处理执行机构;以及,对上述灰度处理过的上述图像信号的灰度进行修正的机构,即根据对包含成为修正对象的对象像素的图像区域、和包含上述对象像素的上述图像区域的相邻图像区域选择的上述灰度变换表,修正上述对象像素的灰度的修正机构。
(附注9)
根据附注3~7中的任一项所述的视觉处理装置:
上述灰度处理机构,具有修正上述选择信号,导出用来对上述图像信号的每一个像素选择灰度变换表的修正选择信号的修正机构;以及使用上述修正选择信号所选择的上述灰度变换表,来执行上述图像信号的灰度处理的灰度处理执行机构。
(附注10)
一种视觉处理方法,具有:
图像区域分割步骤,将所输入的图像信号分割成多个图像区域;
灰度变换特性导出步骤,是对每个上述图像区域导出灰度变换特性的步骤,其使用成为上述灰度变换特性的导出对象的对象图像区域的灰度特性、和上述对象图像区域的周边图像区域的灰度特性,来导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理步骤,其根据所导出的上述灰度变换特性,对上述图像信号实施灰度处理。
(附注11)
根据附注10所述的视觉处理方法:
上述灰度变换特性是灰度变换曲线,
上述灰度变换特性导出步骤,具有:使用上述灰度特性生成直方图的直方图生成步骤;以及根据所生成的上述直方图,生成上述灰度变换曲线的灰度变换曲线生成步骤。
(附注12)
根据附注10所述的视觉处理方法:
上述灰度变换特性,是用来从对上述图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号,
上述灰度处理步骤,具有:使用上述选择信号所选择的上述灰度变换表,执行上述对象图像区域的灰度处理的灰度处理执行步骤;以及,对上述灰度处理过的上述图像信号的灰度进行修正的步骤,即根据对包含成为修正对象的对象像素的图像区域、和包含上述对象像素的上述图像区域的相邻图像区域选择的上述灰度变换表,修正上述对象像素的灰度的修正步骤。
(附注13)
根据附注10所述的视觉处理方法:
上述灰度变换特性,是用来从对上述图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号;
上述灰度处理步骤,具有修正上述选择信号,导出用来对上述图像信号的每一个像素选择灰度变换表的修正选择信号的修正步骤;以及使用上述修正选择信号所选择的上述灰度变换表,来执行上述图像信号的灰度处理的灰度处理执行步骤。
(附注14)
一种视觉处理程序,用来通过计算机实施视觉处理方法,
上述视觉处理程序在计算机中执行的视觉处理方法,包括:
图像区域分割步骤,将所输入的图像信号分割成多个图像区域;
灰度变换特性导出步骤,是对每个上述图像区域导出灰度变换特性的步骤,其使用成为上述灰度变换特性的导出对象的对象图像区域的灰度特性、和上述对象图像区域的周边图像区域的灰度特性,来导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理步骤,其根据所导出的上述灰度变换特性,对上述图像信号实施灰度处理。
(附注15)
根据附注14所述的视觉处理程序:
上述灰度变换特性是灰度变换曲线,
上述灰度变换特性导出步骤,具有:使用上述灰度特性生成直方图的直方图生成步骤;以及根据所生成的上述直方图,生成上述灰度变换曲线的灰度变换曲线生成步骤。
(附注16)
根据附注14所述的视觉处理程序:
上述灰度变换特性,是用来从对上述图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号,
上述灰度处理步骤,具有:使用上述选择信号所选择的上述灰度变换表,执行上述对象图像区域的灰度处理的灰度处理执行步骤;以及,对上述灰度处理过的上述图像信号的灰度进行修正的步骤,即根据对包含成为修正对象的对象像素的图像区域、和包含上述对象像素的上述图像区域的相邻图像区域选择的上述灰度变换表,修正上述对象像素的灰度的修正步骤。
(附注17)
根据附注14所述的视觉处理程序:
上述灰度变换特性,是用来从对上述图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号;
上述灰度处理步骤,具有修正上述选择信号,导出用来对上述图像信号的每一个像素选择灰度变换表的修正选择信号的修正步骤;以及使用上述修正选择信号所选择的上述灰度变换表,来执行上述图像信号的灰度处理的灰度处理执行步骤。
(附注18)
根据附注1所述的视觉处理装置:
上述灰度处理机构,具有将用来对上述图像信号进行灰度处理的灰度变换曲线的曲线参数,根据上述灰度变换特性输出的参数输出机构,使用根据上述灰度变换特性与上述曲线参数所确定的上述灰度变换曲线,对上述图像信号进行灰度处理。
(附注19)
根据附注18所述的视觉处理装置:
上述参数输出机构,是保存上述灰度变换特性与上述曲线参数之间的关系的查找表。
(附注20)
根据附注18或19所述的视觉处理装置:
上述曲线参数,包含上述图像信号的给定值所对应的被上述灰度处理过的图像信号的值。
(附注21)
根据附注18~20中的任一项所述的视觉处理装置:
上述曲线参数,包含上述图像信号的给定区间中的上述灰度变换曲线的斜率。
(附注22)
根据附注18~21中的任一项所述的视觉处理装置:
上述曲线参数,包含上述灰度变换曲线所通过的至少1点的坐标。
(附注23)
一种视觉处理装置,具有:
空间处理机构,是对所输入的图像信号中的多个图像区域的每一个进行空间处理,并导出空间处理信号的机构,上述空间处理中,使用基于成为上述空间处理的对象的对象图像区域的灰度特性、与上述对象图像区域的周边图像区域的灰度特性之差的权重,进行上述对象图像区域与上述周边图像区域的灰度特性的加权平均;以及,
视觉处理机构,其根据上述对象图像区域的灰度特性与上述空间处理信号,进行上述对象图像区域的视觉处理。
(附注24)
根据附注23所述的视觉处理装置:
上述灰度特性之差的绝对值越大,上述加权就越小。
(附注25)
根据附注23或24所述的视觉处理装置:
上述对象图像区域与上述周边图像区域之间的距离越大,上述加权就越小。
(附注26)
根据附注23~25中的任一项所述的视觉处理装置:
上述图像区域由多个像素构成;
上述对象图像区域与上述周边图像区域的灰度特性,被作为构成各个图像区域的像素值的特征量决定。
(附注27)
一种视觉处理装置,具有:
对象图像区域决定机构,其从所输入的图像信号中,决定成为灰度变换特性的导出对象的对象图像区域;
周边图像区域决定机构,其决定位于上述对象图像区域的周边,并且包含多个像素的至少1个周边图像区域;
灰度变换特性导出机构,其使用上述周边图像区域的周边图像数据,导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理机构,其根据所导出的上述灰度变换特性,对上述对象图像区域的图像信号实施灰度处理。
(附注28)
一种视觉处理方法,具有:
对象图像区域决定步骤,其从所输入的图像信号中,决定成为灰度变换特性的导出对象的对象图像区域;
周边图像区域决定步骤,其决定位于上述对象图像区域的周边,并且包含多个像素的至少1个周边图像区域;
灰度变换特性导出步骤,其使用上述周边图像区域的周边图像数据,导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理步骤,其根据所导出的上述灰度变换特性,对上述对象图像区域的图像信号实施灰度处理。
(附注29)
一种视觉处理程序,用于使用计算机来执行对所输入的图像信号进行视觉处理的视觉处理方法,
上述视觉处理方法,包括:
对象图像区域决定步骤,其从所输入的图像信号中,决定成为灰度变换特性的导出对象的对象图像区域;
周边图像区域决定步骤,其决定位于上述对象图像区域的周边,并且包含多个像素的至少1个周边图像区域;
灰度变换特性导出步骤,其使用上述周边图像区域的周边图像数据,导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理步骤,其根据所导出的上述灰度变换特性,对上述对象图像区域的图像信号实施灰度处理。
(附注30)
一种半导体装置,具有:
对象图像区域决定部,其从所输入的图像信号中,决定成为灰度变换特性的导出对象的对象图像区域;
周边图像区域决定部,其决定位于上述对象图像区域的周边,并且包含多个像素的至少1个周边图像区域;
灰度变换特性导出部,其使用上述周边图像区域的周边图像数据,导出上述对象图像区域的上述灰度变换特性;以及,
灰度处理部,其根据所导出的上述灰度变换特性,对上述对象图像区域的图像信号实施灰度处理。
(附注的说明)
附注1中所述的视觉处理装置,具有:图像区域分割机构、灰度变换特性导出机构以及灰度处理机构。图像区域分割机构将所输入的图像信号分割成多个图像区域。灰度变换特性导出机构,是对每一个图像区域导出灰度变换特性的机构,其使用成为灰度变换特性的导出对象的对象图像区域的灰度特性、与对象图像区域的周边图像区域的灰度特性,导出对象图像区域的灰度变换特性。灰度处理机构,根据所导出的灰度变换特性,进行图像信号的灰度处理。
这里,灰度变换特性是指,每一个图像区域的灰度处理的特性。所谓灰度特性,例如是每一个像素的亮度、明度等像素值。
本发明的视觉处理装置中,在判断每一个图像区域的灰度变换特性时,除了每一个图像区域的灰度特性,还使用包含周边的图像区域的广域图像区域的灰度特性来进行判断。因此,能够对每一个图像区域的灰度处理添加空间处理的效果,从而能够实现进一步提高视觉效果的灰度处理。
附注2中所述的视觉处理装置,是一种根据附注1所述的视觉处理装置,其中,灰度变换特性是灰度变换曲线。灰度变换特性导出机构,具有使用灰度特性生成直方图的直方图生成机构,以及根据所生成的直方图,生成灰度变换曲线的灰度变换曲线生成机构。
这里,所谓直方图,例如是指对象图像区域以及周边图像区域包含的像素的灰度特性所对应的分布。灰度变换曲线生成机构,例如将积累直方图的值的积累曲线作为灰度变换曲线。
本发明的视觉处理装置中,在生成直方图时,除了每一个图像区域的灰度特性之外,还使用包含周边图像区域的广域的灰度特性,来进行直方图的生成。因此,能够增加图像信号的分割数,减小图像区域的大小,抑制灰度处理引起的伪轮廓的发生。另外,能够防止图像区域的边界不自然地变得明显。
附注3中所述的视觉处理装置,是一种根据附注1所述的视觉处理装置,其中,灰度变换特性,是用来从对图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号。灰度处理机构,具有多个灰度变换表作为二维LUT。
这里,所谓灰度变换表,例如是对应图像信号的像素值保存灰度处理过的图像信号的像素值的查找表(LUT)等。
选择信号的值,例如为从分配给多个灰度变换表的每一个的值中选择出的分配给1个灰度变换表的值。灰度处理机构,根据选择信号的值与图像信号的像素值,输出参照二维LUT实施过灰度处理的图像信号的像素值。
本发明的视觉处理装置中,参照二维LUT进行灰度处理。因此,能够使得灰度处理高速化。另外,由于从多个灰度变换表中选择1个灰度变换表进行灰度处理,因此能够进行适当的灰度处理。
附注4中所述的视觉处理装置,是一种根据附注3所述的视觉处理装置,其中,二维LUT,在图像信号的全部的值中,按照选择信号的值所对应的灰度处理过的图像信号的值单调增加或单调减少的顺序,保存多个灰度变换表。
本发明的视觉处理装置中,例如,让选择信号的值显示出灰度变换的程度。
附注5中所述的视觉处理装置,是一种根据附注3或4所述的视觉处理装置,其中,二维LUT能够通过描述数据的登录来变更。
这里,描述数据是指保存在二维LUT中的数据,例如以灰度处理过的图像信号的像素值为要素。
本发明的视觉处理装置中,通过变更二维LUT,不需要变更硬件构成就能够对灰度处理的特性进行各种变更。
附注6中所述的视觉处理装置,是一种根据附注3~5中的任一项所述的视觉处理装置,其中,选择信号的值,作为对对象图像区域与周边图像区域的各个图像区域导出的选择信号即个别选择信号的特征量而导出。
这里,个别选择信号的特征量,例如是对各个图像区域导出的选择信号的平均值(单纯平均或加权平均)、最大值或最小值。
本发明的视觉处理装置中,将对象图像区域所对应的选择信号,作为包含周边图像区域的广域图像区域所对应的选择信号的特征量导出。因此,能够对选择信号添加空间处理的效果,从而能够防止图像区域的边界不自然地变得明显。
附注7中所述的视觉处理装置,是一种根据附注3~5中的任一项所述的视觉处理装置,其中,选择信号,根据使用对象图像区域与周边图像区域的灰度特性导出的特征量即灰度特性特征量而导出。
这里,灰度特性特征量,例如是对象图像区域与周边图像区域的广域的灰度特性的平均值(单纯平均或加权平均)、最大值或最小值等。
本发明的视觉处理装置中,将对象图像区域所对应的选择信号,根据包含周边图像区域的广域图像区域所对应的灰度特性特征量导出。因此,能够对选择信号添加空间处理的效果,从而能够防止图像区域的边界不自然地变得明显。
附注8中所述的视觉处理装置,是一种根据附注3~7中的任一项所述的视觉处理装置,其中,灰度处理机构,具有灰度处理执行机构,以及修正机构。灰度处理执行机构,使用选择信号所选择的灰度变换表,执行对象图像区域的灰度处理。修正机构,是对灰度处理过的图像信号的灰度进行修正的机构,根据对包含成为修正对象的对象像素的图像区域与包含对象像素的图像区域的相邻图像区域选择的灰度变换表,修正对象像素的灰度。
这里,相邻图像区域,既可以是与导出灰度变换特性时的周边图像区域相同的图像区域,也可以是不同的图像区域。例如,相邻图像区域,可以在与包含对象像素的图像区域相邻的图像区域中,选择到对象像素的距离最短的3个图像区域。
修正机构,例如按照每一个对象图像区域,对使用相同的灰度变换表灰度处理过的图像信号的灰度实施修正。对象像素的修正,例如根据对象像素的位置来实施,使得对相邻图像区域选择出的各个灰度变换表的影响表现出来。
本发明的视觉处理装置中,能够对每一个像素修正图像信号的灰度。因此,能够进一步防止图像区域的边界不自然地变得醒目,从而能够提高视觉效果。
附注9中所述的视觉处理装置,是一种根据附注3~7中的任一项所述的视觉处理装置,其中,灰度处理机构,具有修正机构以及灰度处理执行机构。修正机构,修正选择信号,对图像信号的每一个像素导出用来选择灰度变换表的修正选择信号。灰度处理执行机构,使用修正选择信号所选择的灰度变换表,执行图像信号的灰度处理。
修正机构,例如将对每一个对象图像区域导出的选择信号,根据像素位置以及对与对象图像区域相邻的图像区域导出的选择信号进行修正,并导出每一个像素的选择信号。
本发明的视觉处理装置中,能够对每一个像素导出选择信号。因此,能够进一步防止图像区域的边界不自然地变得醒目,从而能够提高视觉效果。
附注10中所述的视觉处理方法,具有:图像区域分割步骤、灰度变换特性导出步骤以及灰度处理步骤。图像区域分割步骤将所输入的图像信号分割成多个图像区域。灰度变换特性导出步骤,是对每一个图像区域导出灰度变换特性的步骤,其使用成为灰度变换特性的导出对象的对象图像区域的灰度特性、与对象图像区域的周边图像区域的灰度特性,导出对象图像区域的灰度变换特性。灰度处理步骤,根据所导出的灰度变换特性,进行图像信号的灰度处理。
这里,灰度变换特性是指,每一个图像区域的灰度处理的特性。所谓灰度特性,例如是每一个像素的亮度、明度等像素值。
本发明的视觉处理方法中,在判断每一个图像区域的灰度变换特性时,除了每一个图像区域的灰度特性,还使用包含周边的图像区域的广域图像区域的灰度特性来进行判断。因此,能够对每一个图像区域的灰度处理添加空间处理的效果,从而能够实现进一步提高视觉效果的灰度处理。
附注11中所述的视觉处理方法,是一种根据附注10所述的视觉处理方法,其中,灰度变换特性是灰度变换曲线。灰度变换特性导出步骤,具有使用灰度特性生成直方图的直方图生成步骤,以及根据所生成的直方图,生成灰度变换曲线的灰度变换曲线生成步骤。
这里,所谓直方图,例如是指对象图像区域以及周边图像区域包含的像素的灰度特性所对应的分布。灰度变换曲线生成步骤,例如将积累直方图的值的积累曲线作为灰度变换曲线。
本发明的视觉处理方法中,在生成直方图时,除了每一个图像区域的灰度特性之外,还使用包含周边图像区域的广域的灰度特性,来进行直方图的生成。因此,能够增加图像信号的分割数,减小图像区域的大小,抑制灰度处理引起的伪轮廓的发生。另外,能够防止图像区域的边界不自然地变得明显。
附注12中所述的视觉处理方法,是一种根据附注10所述的视觉处理方法,其中,灰度变换特性,是用来从对图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号。另外,灰度处理步骤,具有灰度处理执行步骤,以及修正步骤。灰度处理执行步骤,使用选择信号所选择的灰度变换表,执行对象图像区域的灰度处理。修正步骤,是对灰度处理过的图像信号的灰度进行修正的步骤,根据对包含成为修正对象的对象像素的图像区域与包含对象像素的图像区域的相邻图像区域选择的灰度变换表,修正对象像素的灰度。
这里,所谓灰度变换表,例如是对应图像信号的像素值保存灰度处理过的图像信号的像素值的查找表(LUT)等。相邻图像区域,既可以是与导出灰度变换特性时的周边图像区域相同的图像区域,也可以是不同的图像区域。例如,相邻图像区域,可以在与包含对象像素的图像区域相邻的图像区域中,选择到对象像素的距离最短的3个图像区域。
选择信号的值,例如为从分配给多个灰度变换表的每一个的值中选择出的分配给1个灰度变换表的值。灰度处理步骤,根据选择信号的值与图像信号的像素值,输出参照二维LUT实施过灰度处理的图像信号的像素值。修正步骤,例如按照每一个对象图像区域,对使用相同的灰度变换表灰度处理过的图像信号的灰度实施修正。对象像素的修正,例如根据对象像素的位置来实施,使得对相邻图像区域选择出的各个灰度变换表的影响表现出来。
本发明的视觉处理方法中,参照LUT进行灰度处理。因此,能够使得灰度处理高速化。另外,由于从多个灰度变换表中选择1个灰度变换表进行灰度处理,因此能够进行适当的灰度处理。另外,能够对每一个像素修正图像信号的灰度。因此,能够进一步防止图像区域的边界不自然地变得醒目,从而能够提高视觉效果。
附注13中所述的视觉处理方法,是一种根据附注10所述的视觉处理方法,其中,灰度变换特性,是用来从对图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号。另外,灰度处理步骤,具有修正步骤以及灰度处理执行步骤。修正步骤,修正选择信号,对图像信号的每一个像素导出用来选择灰度变换表的修正选择信号。灰度处理执行步骤,使用修正选择信号所选择的灰度变换表,执行图像信号的灰度处理。
这里,所谓灰度变换表,例如是对应图像信号的像素值保存灰度处理过的图像信号的像素值的查找表(LUT)等。
选择信号的值,例如为从分配给多个灰度变换表的每一个的值中选择出的分配给1个灰度变换表的值。灰度处理步骤,根据选择信号的值与图像信号的像素值,输出参照二维LUT实施过灰度处理的图像信号的像素值。修正步骤,例如将对每一个对象图像区域导出的选择信号,根据像素位置以及对与对象图像区域相邻的图像区域导出的选择信号进行修正,并导出每一个像素的选择信号。
本发明的视觉处理方法,参照LUT进行灰度处理。因此,能够使得灰度处理高速化。另外,由于从多个灰度变换表中选择1个灰度变换表进行灰度处理,因此能够进行适当的灰度处理。另外,能够对每一个像素导出选择信号。因此,能够进一步防止图像区域的边界不自然地变得醒目,从而能够提高视觉效果。
附注14中所述的视觉处理程序,是通过计算机,执行具有图像区域分割步骤、灰度变换特性导出步骤、以及灰度处理步骤的视觉处理方法的视觉处理程序。图像区域分割步骤将所输入的图像信号分割成多个图像区域。灰度变换特性导出步骤,是对每一个图像区域导出灰度变换特性的步骤,其使用成为灰度变换特性的导出对象的对象图像区域的灰度特性、与对象图像区域的周边图像区域的灰度特性,导出对象图像区域的灰度变换特性。灰度处理步骤,根据所导出的灰度变换特性,进行图像信号的灰度处理。
这里,灰度变换特性是指,每一个图像区域的灰度处理的特性。所谓灰度特性,例如是每一个像素的亮度、明度等像素值。
本发明的视觉处理程序中,在判断每一个图像区域的灰度变换特性时,除了每一个图像区域的灰度特性,还使用包含周边的图像区域的广域图像区域的灰度特性来进行判断。因此,能够对每一个图像区域的灰度处理添加空间处理的效果,从而能够实现进一步提高视觉效果的灰度处理。
附注15中所述的视觉处理程序,是一种根据附注14所述的视觉处理程序,其中,灰度变换特性是灰度变换曲线。灰度变换特性导出步骤,具有使用灰度特性生成直方图的直方图生成步骤,以及根据所生成的直方图,生成灰度变换曲线的灰度变换曲线生成步骤。
这里,所谓直方图,例如是指对象图像区域以及周边图像区域包含的像素的灰度特性所对应的分布。灰度变换曲线生成步骤,例如将积累直方图的值的积累曲线作为灰度变换曲线。
本发明的视觉处理程序中,在生成直方图时,除了每一个图像区域的灰度特性之外,还使用包含周边图像区域的广域的灰度特性,来进行直方图的生成。因此,能够增加图像信号的分割数,减小图像区域的大小,抑制灰度处理引起的伪轮廓的发生。另外,能够防止图像区域的边界不自然地变得明显。
附注16中所述的视觉处理程序,是一种根据附注14所述的视觉处理程序,其中,灰度变换特性,是用来从对图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号。另外,灰度处理步骤,具有灰度处理执行步骤,以及修正步骤。灰度处理执行步骤,使用选择信号所选择的灰度变换表,执行对象图像区域的灰度处理。修正步骤,是对灰度处理过的图像信号的灰度进行修正的步骤,根据对包含成为修正对象的对象像素的图像区域与包含对象像素的图像区域的相邻图像区域选择的灰度变换表,修正对象像素的灰度。
这里,所谓灰度变换表,例如是对应图像信号的像素值保存灰度处理过的图像信号的像素值的查找表(LUT)等。相邻图像区域,既可以是与导出灰度变换特性时的周边图像区域相同的图像区域,也可以是不同的图像区域。例如,相邻图像区域,可以在与包含对象像素的图像区域相邻的图像区域中,选择到对象像素的距离最短的3个图像区域。
选择信号的值,例如为从分配给多个灰度变换表的每一个的值中选择出的分配给1个灰度变换表的值。灰度处理步骤,根据选择信号的值与图像信号的像素值,输出参照二维LUT实施过灰度处理的图像信号的像素值。修正步骤,例如按照每一个对象图像区域,对使用相同的灰度变换表灰度处理过的图像信号的灰度实施修正。对象像素的修正,例如根据对象像素的位置来实施,使得对相邻图像区域选择出的各个灰度变换表的影响表现出来。
本发明的视觉处理程序中,参照LUT进行灰度处理。因此,能够使得灰度处理高速化。另外,由于从多个灰度变换表中选择1个灰度变换表进行灰度处理,因此能够进行适当的灰度处理。另外,能够对每一个像素修正图像信号的灰度。因此,能够进一步防止图像区域的边界不自然地变得醒目,从而能够提高视觉效果。
附注17中所述的视觉处理程序,是一种根据附注14所述的视觉处理程序,其中,灰度变换特性,是用来从对图像信号进行灰度处理的多个灰度变换表中选择出1个灰度变换表的选择信号。另外,灰度处理步骤,具有修正步骤以及灰度处理执行步骤。修正步骤,修正选择信号,对图像信号的每一个像素导出用来选择灰度变换表的修正选择信号。灰度处理执行步骤,使用修正选择信号所选择的灰度变换表,执行图像信号的灰度处理。
这里,所谓灰度变换表,例如是对应图像信号的像素值保存灰度处理过的图像信号的像素值的查找表(LUT)等。
选择信号的值,例如为从分配给多个灰度变换表的每一个的值中选择出的分配给1个灰度变换表的值。灰度处理步骤,根据选择信号的值与图像信号的像素值,输出参照二维LUT实施过灰度处理的图像信号的像素值。修正步骤,例如将对每一个对象图像区域导出的选择信号,根据像素位置以及对与对象图像区域相邻的图像区域导出的选择信号进行修正,并导出每一个像素的选择信号。
本发明的视觉处理程序,参照LUT进行灰度处理。因此,能够使得灰度处理高速化。另外,由于从多个灰度变换表中选择1个灰度变换表进行灰度处理,因此能够进行适当的灰度处理。另外,能够对每一个像素导出选择信号。因此,能够进一步防止图像区域的边界不自然地变得醒目,从而能够提高视觉效果。
附注18中所述的视觉处理装置,是一种根据附注1所述的视觉处理装置,其中,灰度处理机构,具有将用来对图像信号进行灰度处理的灰度变换曲线的曲线参数,根据灰度变换特性输出的参数输出机构。灰度处理机构,使用根据灰度变换特性与曲线参数所确定的灰度变换曲线,对图像信号进行灰度处理。
这里,灰度变换曲线,还包含至少一部分是直线的曲线。曲线参数是用来让灰度变换曲线与其他灰度变换曲线相区别的参数,例如灰度变换曲线上的坐标、灰度变换曲线的斜率、曲率等。参数输出机构,例如是保存灰度变换特性所对应的曲线参数的查找表,或者通过使用给定灰度变换特性所对应的曲线参数实施曲线近似等运算,来求出曲线参数的运算机构等。
本发明的视觉处理装置中,根据灰度变换特性对图像信号进行灰度处理。因此,能够进行更适当的灰度处理。另外,不需要事先保存灰度处理中所使用的所有灰度变换曲线的值,根据所输出的曲线参数来确定灰度变换曲线,进行灰度处理。因此,能够削减用来保存灰度变换曲线的存储容量。
附注19中所述的视觉处理装置,是一种根据附注18所述的视觉处理装置,其中,参数输出机构,是保存灰度变换特性与曲线参数之间的关系的查找表。
查找表保存有灰度变换特性与曲线参数之间的关系。灰度处理机构,使用所确定的灰度变换曲线,对图像信号进行灰度处理。
本发明的视觉处理装置中,根据灰度变换特性对图像信号进行灰度处理。因此,能够进行更适当的灰度处理。另外,不需要事先保存所使用的所有灰度变换曲线的值,而只保存曲线参数。因此,能够削减用来保存灰度变换曲线的存储容量。
附注20中所述的视觉处理装置,是一种根据附注18或19所述的视觉处理装置,其中,曲线参数,包含图像信号的给定值所对应的灰度处理过的图像信号的值。
灰度处理机构中,使用图像信号的给定值与成为视觉处理的对象的图像信号的值之间的关系,对曲线参数包含的灰度处理过的图像信号的值进行非线性或线性内分,导出灰度处理过的图像信号的值。
本发明的视觉处理装置中,能够根据图像信号的给定值所对应的实施了灰度处理的图像信号的值,确定灰度变换曲线,进行灰度处理。
附注21中所述的视觉处理装置,是一种根据附注18~20中的任一项所述的视觉处理装置,其中,曲线参数,包含图像信号的给定区间中的灰度变换曲线的斜率。
灰度处理机构,通过图像信号的给定区间中的灰度变换曲线的斜率,确定灰度变换曲线。另外,使用所确定的灰度变换曲线,导出图像信号的值所对应的实施过灰度处理的图像信号的值。
本发明的视觉处理装置中,能够根据图像信号的给定区间中的灰度变换曲线的斜率,确定灰度变换曲线,进行灰度处理。
附注22中所述的视觉处理装置,是一种根据附注18~21中的任一项所述的视觉处理装置,其中,曲线参数,包含灰度变换曲线所通过的至少1点的坐标。
曲线参数中,确定出通过灰度变换曲线的至少1点的坐标。也即,确定出图像信号的值所对应的灰度处理后的图像信号的值的至少1点。灰度处理机构,使用所确定的图像信号的值、与成为视觉处理的对象的图像信号的值之间的关系,将所确定的灰度处理后的图像信号的值内分为非线性或线性,通过这样导出灰度处理过的图像信号的值。
本发明的视觉处理装置中,能够根据灰度变换曲线所通过的至少1点的坐标,确定灰度变换曲线,进行灰度处理。
附注23中所述的视觉处理装置,具有空间处理机构与视觉处理机构。空间处理机构,是对所输入的图像信号中的多个图像区域的每一个进行空间处理,导出空间处理信号的机构。空间处理中,使用基于成为空间处理的对象的对象图像区域的灰度特性、与对象图像区域的周边图像区域的灰度特性之差的加权,进行对象图像区域与周边图像区域的灰度特性的加权平均。视觉处理机构,根据对象图像区域的灰度特性与空间处理信号,进行对象图像区域的视觉处理。
这里,图像区域是指,在图像中包含多个像素的区域,或像素本身。灰度特性是指,基于每一个像素的亮度、明度等像素值的值。例如,图像区域的灰度特性,是指图像区域所包含的像素的像素值的平均值(单纯平均或加权平均)、最大值或最小值等。
空间处理机构,使用周边图像区域的灰度特性,进行对象图像区域的空间处理。空间处理中,将对象图像区域与周边图像区域的灰度特性加权平均。加权平均中的权重,根据对象图像区域与周边图像区域的灰度特性的差来设定。
本发明的视觉处理装置中,能够在空间处理信号中,抑制受到灰度特性极为不同的图像区域的影响。例如,即使在周边图像区域是包含物体的边界等的图像,与对象图像区域的灰度特性极为不同的情况下,也能够导出适当的空间处理信号。其结果是,即使在使用空间处理信号的视觉处理中,也能够抑制伪轮廓等的产生。因此,能够实现一种提高了视觉效果的视觉处理。
附注24中所述的视觉处理装置,是一种根据附注23所述的视觉处理装置,其中,灰度特性的差的绝对值越大,加权就越小。
这里,权重既可以作为根据灰度特性的差单调减少的值给出,又可以通过给定阈值与灰度特性的差的比较,设定为给定的值。
本发明的视觉处理装置中,能够在空间处理信号中,抑制受到灰度特性极为不同的图像区域的影响。例如,即使在周边图像区域是包含物体的边界等的图像,与对象图像区域的灰度特性极为不同的情况下,也能够导出适当的空间处理信号。其结果是,即使在使用空间处理信号的视觉处理中,也能够抑制伪轮廓等的产生。因此,能够实现一种提高了视觉效果的视觉处理。
附注25中所述的视觉处理装置,是一种根据附注23或24所述的视觉处理装置,其中,对象图像区域与周边图像区域之间的距离越大,加权就越小。
这里,权重既可以作为根据对象图像区域与周边图像区域之间的距离大小单调减少的值给出,又可以通过给定阈值与距离大小的比较,设定为给定的值。
本发明的视觉处理装置中,能够在空间处理信号中,抑制受到远离对象图像区域的周边图像区域的影响。例如,即使在周边图像区域是包含物体的边界等的图像,与对象图像区域的灰度特性极为不同的情况下,在周边图像区域远离对象图像区域的情况下,能够抑制来自周边图像区域的影响,导出更加适当的空间处理信号。
附注26中所述的视觉处理装置,是一种根据附注23~25中的任一项所述的视觉处理装置,其中,图像区域由多个像素构成。对象图像区域与周边图像区域的灰度特性,作为构成各个图像区域的像素值的特征量决定。
本发明的视觉处理装置中,在进行每一个图像区域的空间处理时,除了每一个图像区域中所包含的像素,还使用包含周边图像区域的广域图像区域中所包含的像素的灰度特性来进行处理。因此,能够进行更适当的空间处理。其结果是,即使在使用空间处理信号的视觉处理中,也能够抑制伪轮廓等的产生。因此,能够实现一种提高了视觉效果的视觉处理。
附注27中所述的视觉处理装置,具有对象图像区域决定机构、周边图像区域决定机构、灰度变换特性导出机构、以及灰度处理机构。对象图像区域决定机构,根据所输入的图像信号,决定成为灰度变换特性的导出对象的对象图像区域。周边图像区域决定机构,决定位于对象图像区域的周边,且包含多个像素的至少1个周边图像区域。灰度变换特性导出机构,使用周边图像区域的周边图像数据,导出对象图像区域的灰度变换特性。灰度处理机构,根据所导出的灰度变换特性,进行对象图像区域的图像信号的灰度处理。
对象图像区域,例如是由包含在图像信号中的像素、或将图像信号分割成给定的单位后的图像块由其他多个像素所构成的区域等。周边图像区域,例如是将图像信号分割成给定的单位后的图像块其他的多个像素所构成的区域。周边图像数据是周边图像区域的图像数据,或从图像数据所导出的数据,例如周边图像区域的像素值、灰度特性(每一个像素的亮度或明度)、缩略图(缩小图像或降低了分辨率的间取图像)等。另外,周边图像区域,只要位于对象图像区域的周边即可,不需要是包围对象图像区域的区域。
本发明的视觉处理装置中,在判断对象图像区域的灰度变换特性时,使用周边图像区域的周边图像数据进行判断。因此,能够给每一个对象图像区域的灰度处理添加空间处理的效果,从而能够实现一种进一步提高了视觉效果的灰度处理。
附注28中所述的视觉处理方法,具有对象图像区域决定步骤、周边图像区域决定步骤、灰度变换特性导出步骤、以及灰度处理步骤。对象图像区域决定步骤,根据所输入的图像信号,决定成为灰度变换特性的导出对象的对象图像区域。周边图像区域决定步骤,其决定位于对象图像区域的周边,且包含多个像素的至少1个周边图像区域。灰度变换特性导出步骤,使用周边图像区域的周边图像数据,导出对象图像区域的灰度变换特性。灰度处理步骤,根据所导出的灰度变换特性,进行对象图像区域的图像信号的灰度处理。
本发明的视觉处理方法,在判断对象图像区域的灰度变换特性时,使用周边图像区域的周边图像数据进行判断。因此,能够给每一个对象图像区域的灰度处理添加空间处理的效果,从而能够实现一种进一步提高了视觉效果的灰度处理。
附注29中所述的视觉处理程序,是一种使用计算机执行视觉处理方法的程序,该视觉处理方法用来对所输入的图像信号进行视觉处理。视觉处理方法,具有对象图像区域决定步骤、周边图像区域决定步骤、灰度变换特性导出步骤、以及灰度处理步骤。对象图像区域决定步骤,根据所输入的图像信号,决定成为灰度变换特性的导出对象的对象图像区域。周边图像区域决定步骤,其决定位于对象图像区域的周边,且包含多个像素的至少1个周边图像区域。灰度变换特性导出步骤,使用周边图像区域的周边图像数据,导出对象图像区域的灰度变换特性。灰度处理步骤,根据所导出的灰度变换特性,进行对象图像区域的图像信号的灰度处理。
本发明的视觉处理程序,在判断对象图像区域的灰度变换特性时,使用周边图像区域的周边图像数据进行判断。因此,能够给每一个对象图像区域的灰度处理添加空间处理的效果,从而能够实现一种进一步提高了视觉效果的灰度处理。
附注30中所述的半导体装置,具有对象图像区域决定部、周边图像区域决定部、灰度变换特性导出部、以及灰度处理部。对象图像区域决定部,根据所输入的图像信号,决定成为灰度变换特性的导出对象的对象图像区域。周边图像区域决定部,决定位于对象图像区域的周边,且包含多个像素的至少1个周边图像区域。灰度变换特性导出部,使用周边图像区域的周边图像数据,导出对象图像区域的灰度变换特性。灰度处理部,根据所导出的灰度变换特性,进行对象图像区域的图像信号的灰度处理。
本发明的半导体装置中,在判断对象图像区域的灰度变换特性时,使用周边图像区域的周边图像数据进行判断。因此,能够给每一个对象图像区域的灰度处理添加空间处理的效果,从而能够实现一种进一步提高了视觉效果的灰度处理。