具体实施方式
下面说明作为本发明的最佳形态的实施方式1~4。
在实施方式1中,说明2维LUT的视觉处理装置。
在实施方式2中,说明在显示图象的环境中存在环境光时,进行环境光的修正的视觉处理装置。
在实施方式3中,说明实施方式1和实施方式2的应用例。
在实施方式4中,说明实施方式1~3的又一应用例。
[实施方式1]
参照图1~图10说明作为本发明应用实施方式1的利用2维LUT的视觉处理装置1。另外,参照图11~图14说明视觉处理装置的变形例。另外,参照图15~图23说明实现与视觉处理装置1等价的视觉处理的视觉处理装置。
视觉处理装置1是进行图象信号的空间处理、灰度处理等视觉处理的装置。视觉处理装置1在计算机、电视机、数字相机、移动电话、PDA、打印机、扫描仪等处理图象的仪器中,与进行图象信号的颜色处理的装置一起构成图象处理装置。
<视觉处理装置1>
图1表示对图象信号(输入信号IS)进行视觉处理后,输出视觉处理图象(输出信号OS)的视觉处理装置1的基本结构。视觉处理装置1具有:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部2;使用相同象素的输入信号IS和模糊信号US,进行原图象的视觉处理,把输出信号OS输出的视觉处理部3。
空间处理部2,例如通过只使输入信号IS的低频空间通过的低通滤波器,取得模糊信号US。作为低通滤波器,可以使用模糊信号的生成中通常使用的FIR(Finite Impulse Response)型的低通滤波器、或IIR(InfiniteImpulse Response)型的低通滤波器。
视觉处理部3,具有提供输入信号IS以及模糊信号US、与输出信号OS的关系的2维LUT4,对于输入信号IS和输出信号OS,参照2维LUT4,把输出信号OS输出。
(2维LUT4)
在2维LUT4中登记有称作分布数据的矩阵数据。分布数据,具有与输入信号IS的各象素值对应的行(或列)、和与模糊信号US的各象素值对应的列(或行),作为行列的要素,存储与输入信号IS和模糊信号US的组合对应的输出信号OS的象素值。分布数据,通过视觉处理装置1中内置或连接的分布数据登记装置8登记到2维LUT4中。在分布数据登记装置8中存储由个人电脑(PC)预先生成的多个分布数据。例如,存储实现对比度强调、动态范围压缩处理、或灰度修正(具体参照以下的<分布数据>栏目)多个分布数据。据此,在视觉处理装置1中,使用分布数据登记装置8变更2维LUT4的分布数据的登记内容,能实现各种视觉处理。
图2表示分布数据的一例。图2所示的分布数据是用于使视觉处理装置1实现与图48所示的视觉处理装置400等价的处理的分布数据。在图2中,分布数据由64×64的矩阵形式表现,在列方向(纵向)表示由8位表现的输入信号IS的亮度值的高6位的值,在行方向(横向)表示由8位表现的模糊信号US的亮度值的高6位的值。另外,作为对于2个亮度值的行列的要素,输出信号OS的值由8位表示。
图2所示的分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A(例如舍去由8位表现的输入信号IS的低2位的值)和模糊信号US的值B(例如舍去由8位表现的模糊信号US的低2位的值),由C=A+0.5*(A-B)(以下称作表达式M11)表现。即在视觉处理装置1中,表示进行与使用强调函数R1(参照图49)的视觉处理装置(参照图48)等价的处理。
此外,根据输入信号IS的值A和模糊信号US的值B的值组合,有时由表达式M11求出的值C变为负值。这时,与输入信号IS的值A和模糊信号US的值B对应的分布数据的要素可以为值0。另外,根据输入信号IS的值A和模糊信号US的值B的值组合,有时由表达式M11求出的值C饱和。即有时超过能由8位表现的最大值255。这时,与输入信号IS的值A和模糊信号US的值B对应的分布数据的要素可以为值255。在图2中,以等高线表示这样求出的分布数据的各要素。
另外,各要素的值C如果使用由C=R6(B)+R5(B)*(A-B)(以下称作表达式M12)表现的分布数据,就能实现与图50所示的视觉处理装置406等价的处理。这里,函数R5是在第一变换部409中从模糊信号US输出放大系数信号GS的函数,函数R6是在第二变换部411中从模糊信号US输出修正模糊信号AS的函数。
各要素的值C如果使用由C=A+R8(B)(以下称作表达式M13)表现的分布数据,就能实现与图51所示的视觉处理装置416等价的处理。这里,函数R8是从模糊信号US输出LUT处理信号LS的函数。
此外,当由表达式M12、M13求出的分布数据的某要素的值C超出0≤C≤255的范围时,可以使该要素的值C为0或255。
<视觉处理方法和视觉处理程序>
图3是表示视觉处理装置1的视觉处理方法的程序流程图。图3所示的视觉处理方法在视觉处理装置1中由硬件实现,是进行输入信号IS(参照图1)的视觉处理的方法。
在图3所示的视觉处理方法中,输入信号IS由低通滤波器进行空间处理(步骤S11),取得模糊信号US。参照对于输入信号IS和模糊信号US的2维LUT4的值,把输出信号OS输出(步骤S12)。对作为输入信号IS输入的每个象素进行以上的处理。
此外,图3所示的视觉处理方法的各步骤可以通过计算机,作为视觉处理程序实现。
<效果>
(1)只根据输入信号IS的值A进行视觉处理时(例如进行基于一维灰度变换曲线的变换时),如果在图象中的不同地方存在相同浓度的象素,就造成进行相同亮度的变换。更具体而言,如果使图象中的人物的背景暗的地方变明亮,则造成相同浓度的人物的头发也变亮。
与此相比,在视觉处理装置1中,使用根据输入信号IS的值A和模糊信号US的值B所对应的2维函数生成的分布数据进行视觉处理。因此,对在图象中的不同地方存在的相同浓度的象素可以不进行一样的变换,能包含周围信息调亮或调暗,能对图象中的各区域进行最佳亮度的调整。更具体而言,能在不改变图象中的人物的头发的浓度的前提下,使相同浓度的背景变亮。
(2)在视觉处理装置1中,使用2维LUT4进行输入信号IS的视觉处理。视觉处理装置1具有不依存于实现的视觉处理效果的硬件结构。即视觉处理装置1能由具有通用性的硬件构成,对于硬件成本的削减是有效的。
(3)2维LUT4中登记的分布数据能由分布数据登记装置8变更。因此,在视觉处理装置1中,不变更视觉处理装置1的硬件结构,通过变更分布数据,就能实现各种视觉处理。更具体而言,在视觉处理装置1中,能同时实现空间处理和灰度处理。
(4)2维LUT4登记的分布数据能预先计算出来。事先生成的分布数据即使是实现复杂的处理的分布数据,使用它的视觉处理所需的时间也是一定的。因此,当由硬件或软件构成时,即使是成为复杂的结构的视觉处理,在使用视觉处理装置1时,处理时间不依存于视觉处理的复杂程度,能实现视觉处理的高速化。
<变形例>
(1)在图2中说明64×64的矩阵形式的分布数据。这里,本发明的效果不依存于分布数据的尺寸。例如2维LUT4能具有输入信号IS以及模糊信号US能取的全部值的组合所对应的分布数据。例如输入信号以及模糊信号US由8位表现时,分布数据可以是256×256的矩阵形式。
这时,2维LUT4所必要的存储器容量增加,但是能实现更正确的视觉处理。
(2)在图2中,说明分布数据容纳关于由8位表现的输入信号IS的亮度值的高6位的值、由8位表现的模糊信号US的亮度值的高6位的值的输出信号OS的值。这里,视觉处理装置1还可以具有:根据相邻的分布数据的要素、输入信号IS和模糊信号US的低2位的大小,线性插补输出信号OS的值的插补部。
这时不用增加2维LUT4所必要的存储器容量,就能实现更正确的视觉处理。
另外,插补部设置在视觉处理部3,可以把2维LUT4存储的值作为线性插补的值输出信号OS输出。
图4中,作为视觉处理部3的变形例,表示具有插补部501的视觉处理部500。视觉处理部500具有:提供输入信号IS以及模糊信号US和插补前输出信号NS的关系的2维LUT4;把插补前输出信号NS、输入信号IS和模糊信号US作为输入,把输出信号OS输出的插补部501。
2维LUT4存储关于由8位表现的输入信号IS的亮度值的高6位的值和由8位表现的模糊信号US的亮度值的高6位的值的插补前输出信号NS的值。插补前输出信号NS的值作为8位的值存储。对2维LUT4如果输入了输入信号IS的8位值和模糊信号US的8位值,就输出与包含各值的区间对应的4个插补前输出信号NS的值。包含各值的区间是由对于(输入信号IS的高6位的值、模糊信号US的高6位的值)、(超过输入信号IS的高6位的值的最小的6位的值、模糊信号US的高6位的值)、(输入信号IS的高6位的值、超过模糊信号US的高6位的值的最小的6位的值)、(超过输入信号IS的高6位的值的最小的6位的值、超过模糊信号US的高6位的值的最小的6位的值)的各组合存储的4个插补前输出信号NS包围的区间。
把输入信号IS的低2位的值和模糊信号US的低2位的值对插补部501输入,使用这些值线性插补2维LUT4输出的4个插补前输出信号NS。更具体而言,使用输入信号IS的低2位的值和模糊信号US的低2位的值,计算4个插补前输出信号NS的值的加权平均,把输出信号OS输出。
通过以上,不用增加2维LUT4所必要的存储器容量,就能实现更正确的视觉处理。
此外,在插补部501中,可以只对输入信号IS或者模糊信号US中的任意一方进行线性插补。
(3)在由空间处理部2进行的空间处理中,对于关于着眼象素的输入信号IS,可以把着眼象素和着眼象素的周边象素的输入信号IS的平均值(单纯平均或加权平均)、最大值、最小值、或中央值作为模糊信号US输出。另外,可以把只有着眼象素的周边象素的平均值最大值、最小值、或中央值作为模糊信号US输出。
(4)在图2中,对于输入信号IS的值A和模糊信号US的值B,根据线性的函数M11,生成分布数据的各要素的值C。也可以对于输入信号IS的值A,根据非线性的函数,生成分布数据的各要素的值C。
这时,能实现与视觉特性对应的视觉处理、或处理把输出信号OS输出的计算机、电视机、数字相机、移动电话、PDA、打印机、扫描仪等的图象的仪器的非线性特性的视觉处理。
另外,还可以对输入信号IS的值A和模糊信号US的值B,根据非线性函数即2维非线性函数,生成分布数据的各要素的值C。
例如,当只根据输入信号IS的值A的值进行视觉处理时(例如进行基于1维灰度变换曲线的变换时),如果在图象中的不同地方存在相同浓度的象素,就进行相同亮度的变换。更具体而言,如果使图象中的人物背景暗的地方变亮,相同浓度的人物的头发也变亮。
而使用根据2维非线性函数生成的分布数据进行视觉处理时,对图象中的不同地方存在相同浓度的象素不一样地变换,能包含周围信息,变亮,或变暗,能对图象中的各区域进行最佳亮度的调整。更具体而言,能在不改变图象中的人物的头发的浓度的前提下,使相同浓度的背景变亮。在基于线性函数的视觉处理中,关于处理后的象素值饱和的象素区域,也能进行维持灰度视觉处理。
图5表示这样的分布数据的一例。图5所示的分布数据是用于使视觉处理装置1实现适合视觉特性的对比度强调的分布数据。在图5中,分布数据由64×64的矩阵形式表现,在列方向(纵向)表示由8位表现的输入信号IS的亮度值的高6位的值,在行方向(横向)表示由8位表现的模糊信号US的亮度值的高6位的值。另外,作为对于2个亮度值的行列的要素,输出信号OS的值由8位表示。
图5所示的分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A(例如舍去由8位表现的输入信号IS的低2位的值)和模糊信号US的值B(例如舍去由8位表现的模糊信号US的低2位的值)、变换函数F1、变换函数的逆变换函数F2、强调函数F3,表示为C=F2(F1(A)+F3(F1(A)-F1(B)))(以下称作表达式M14)。这里,变换函数F1是常用对数函数。逆变换函数F2是作为常用对数函数的反函数的指数函数(逆对数)。强调函数F3是使用图49说明的强调函数R1~R3中的任意一个函数。
在分布数据中,实现使用由变换函数F1变换到对数空间的输入信号IS和模糊信号US的视觉处理。人的视觉特性是对数的,通过变换到对数空间,进行处理,能实现适合于视觉特性的视觉处理。据此,在视觉处理装置1中,能实现对数空间的对比度强调。
此外,根据输入信号IS的值A和模糊信号US的值B的组合,有时由表达式M14求出的值C变为负值。与输入信号IS的值A和模糊信号US的值B对应的分布数据的要素可以为值0。另外,根据输入信号IS的值A和模糊信号US的值B的值组合,有时由表达式M14求出的值C饱和。即有时超过能由8位表现的最大值255。这时,与输入信号IS的值A和模糊信号US的值B对应的分布数据的要素可以为值255。在图5中,以等高线表示这样求出的分布数据的各要素。
用以下的<分布数据>进行非线性分布数据的更详细的说明。
(5)2维LUT4具有的分布数据可以包含多个实现输入信号IS的灰度修正的灰度变换曲线。
各灰度变换曲线例如是具有不同的灰度稀疏的灰度函数等单调增加函数,与模糊信号US的值关联。进行关联,从而对于小的模糊信号US的值,选择具有大的灰度系数的灰度函数。据此,模糊信号US实现作为用于从分布数据包含的灰度变换曲线群选择至少一个灰度变换曲线的选择信号的作用。
根据以上的结构,使用由模糊信号US的值B选择的灰度变换曲线,进行输入信号IS的值A的灰度变换。
此外,与所述(2)中说明的同样能插补2维LUT4的输出。
(6)分布数据登记装置8内置或连接在视觉处理装置1中,存储由PC等预先生成的多个分布数据,变更2维LUT4的登记内容。
这里,分布数据登记装置8存储的分布数据由设置在视觉处理装置1的外部的PC生成。分布数据登记装置8通过网络或记录媒体从PC取得分布数据。
分布数据登记装置8把存储的分布数据按照给定的条件登记到2维LUT4种。参照图6~图8详细说明。此外,关于具有与参照图1说明的视觉处理装置1几乎同样的功能的部分,付与相同的符号,省略说明。
《1》
图6表示判定输入信号IS的图象,根据判定结果,切换2维LUT4中登记的分布数据的视觉处理装置520的框图。
视觉处理装置520在与图1所示的视觉处理装置1同样的构造的基础上,设置具有与分布数据登记装置8同样功能的分布数据登记部521。视觉处理装置520具有图象判定部522。
图象判定部522把输入信号IS作为输入,把输入信号IS的判定结果SA作为输出。分布数据登记部521把判定结果SA作为输入,把根据判定结果SA选择的分布数据PD作为输出。
图象判定部522判定输入信号IS的图象。在图象的判定中,通过取得输入信号IS的亮度、光亮度等象素值,判定输入信号IS的明亮度。
分布数据登记部521取得判定结果SA,根据判定结果SA,切换输出分布数据PD。更具体而言,例如当判定输入信号IS明亮时,选择压缩动态范围的分布。据此,对于全体明亮的图象,能维持对比度。另外,考虑显示输出信号OS的装置的特性,选择能输出适当的动态范围的输出信号OS的分布。
通过以上,在视觉处理装置520中,按照输入信号IS能实现适当的视觉处理。
此外,图象判定部522不仅判定输入信号IS的亮度、光亮度等象素值,还判定空间频率等图象特性。
这时,例如对于空间频率低的输入信号IS,能选择强调清晰的成都更高的分布,实现更适合的视觉处理。
《2》
图7表示根据来自用于输入关于明亮度的条件的输入装置的输入结果,切换2维LUT4中登记的分布数据的视觉处理装置525的框图。
视觉处理装置525在与图1所示的视觉处理装置1同样的构造的基础上,设置具有与分布数据登记装置8同样功能的分布数据登记部526。视觉处理装置525通过有线或无线连接输入装置527。更具体而言,输入装置527作为把输出信号OS输出的计算机、电视机、数字相机、移动电话、PDA、打印机、扫描仪等处理图象的仪器自身具有的输入按钮或各仪器的遥控器实现。
输入装置527是用于输入关于明亮度的条件的输入装置,例如具有“明亮”、“暗”等开关。输入装置527通过用户的操作,输出输入结果SB。
分布数据登记部526取得输入结果SB,根据输入结果SB,切换输出分布数据PD。更具体而言,例如用户输入“明亮”时,选择压缩输入信号IS的动态范围的分布,作为分布数据PD输出。据此,当放置显示输出信号OS的装置的环境处于“明亮”状态时,也能维持对比度。
通过以上,在视觉处理装置525中,能按照来自输入装置527的输入,实现适当的视觉处理。
此外,关于明亮度的条件不仅是关于计算机、电视机、数字相机、移动电话、PDA等把输出信号输出的媒体周边的环境光的明亮度的条件,还可以是关于打印机用纸等把输出信号输出的媒体自身的明亮度的条件。另外,也可以是关于扫描仪用纸等把输入信号输入的媒体自身的明亮度的条件。
另外,不仅是基于开关的输入,还可以通过光敏元件自动输入。
此外,输入装置527不仅输入关于明亮度的条件,还可以是对于分布数据登记部526,直接用于使分布的切换工作的装置。这时输入装置527在关于明亮度的条件以外,还可以显示分布数据的列表,使用户选择。
据此,用户能执行适合于爱好的视觉处理。
此外,输入装置527可以是识别用户的装置。这时,输入装置527可以是用于识别用户的相机,或者用于输入用户名的装置。
例如通过输入装置527输入用户为小孩时,选择控制过度的亮度变化的分布数据。
《3》
图8表示根据来自用于检测2种明亮度的光亮度检测部的检测结果,切换2维LUT4中登记的分布数据的视觉处理装置530的框图。
视觉处理装置530在与图1所示的视觉处理装置1同样的构造的基础上,还设置具有与分布数据登记装置8同样的功能的分布数据登记部531。视觉处理装置530还具有光亮度检测部532。
光亮度检测部532由图象判定部522、输入装置527构成。图象判定部522、输入装置527与参照图6、图7说明的同样。据此,光亮度检测部532把输入信号IS作为输入,把来自图象判定部522的判定结果SA、来自输入装置527的输入结果SB作为检测结果输出。
分布数据登记部531把判定结果SA和输入结果SB作为输入,根据判定结果SA和输入结果SB,切换输出分布数据PD。更具体而言,例如环境光处于“明亮”状态,当判定输入信号IS也明亮时,选择压缩输入信号IS的动态范围的分布,作为分布数据PD输出。据此,在显示输出信号OS时,能维持对比度。
根据以上,在视觉处理装置530中,能实现适当的视觉处理。
《4》
在图6~图8的视觉处理装置中,各分布数据登记部可以与视觉处理装置不作为一体设置。具体而言,分布数据登记部作为具有多个分布数据的服务器,或者作为具有各分布数据的多个服务器,通过网络与视觉处理装置连接。这里,网络是专用线路、公共线路、因特网、LAN等能进行通信的连接部件,可以是有线,可以是无线。此外这时,判定结果SA和输入结果SB也通过同样的网络从视觉处理装置一侧传递给分布数据登记部一侧。
(7)在所述实施方式中,说明分布数据登记装置8具有多个分布数据,通过切换对2维LUT4的登记,实现不同的视觉处理。
这里,视觉处理装置1可以具有登记实现不同的视觉处理的分布数据的多个2维LUT4。这时,在视觉处理装置1中,通过切换向各2维LUT的输入,或者切换来自各2维LUT的输出,实现不同的视觉处理。
这时,为了2维LUT而应该确保的存储容量增大,但是视觉处理的切换所必要的时间能缩短。
另外,分布数据登记装置8可以是根据多个分布数据生成新的分布数据,把生成的分布数据登记到2维LUT4中的装置。
参照图9~图10就此加以说明。
图9是主要说明作为分布数据登记装置8的变形例的分布数据登记装置701的框图。分布数据登记装置701是用于切换视觉处理装置1的2维LUT4中登记的分布数据的装置。
分布数据登记装置701由以下部分构成:登记多个分布数据的分布数据登记部702;根据多个分布数据生成新的分布数据的分布生成执行部703;输入用于生成新的分布数据的参数的参数输入部706;进行各部的控制的控制部705。
分布数据登记部702与分布数据登记装置8或图6~图8所示的各分布数据登记部同样登记多个分布数据,进行由来自控制部705的控制信号C10选择的选择分布数据的读出。这里,从分布数据登记部702读出2个选择分布数据,分别作为第一选择分布数据d10和第二选择分布数据d11。
从分布数据登记部702读出的分布数据由参数输入部706的输入决定。例如在参数输入部706中,关于所需的视觉处理效果、处理程度、处理的图象的视觉环境的信息作为参数,通过人工,或从传感器自动输入。控制部705从由参数输入部706输入的参数,通过控制信号c10指定应该读出的分布数据,并且通过控制信号c12指定各分布数据的合成度的值。
分布生成执行部703具有从第一选择分布数据d10和第二选择分布数据d11生成新的分布数据即生成分布数据d6的分布生成部704。
分布生成部704从分布数据登记部702取得第一选择分布数据d10和第二选择分布数据d11。从控制部705取得指定各选择分布数据的合成度的控制信号c12。
分布生成部704对于第一选择分布数据d10的值[m]和第二选择分布数据d11的值[n],使用控制信号c12指定的合成度的值[k],生成值[l]的生成分布数据d6。这里,值[l]由[l]=(1-k)*[m]+k*[n]计算。此外,当值[k]满足0≤k≤1时,内分第一选择分布数据d10和第二选择分布数据d11,当值[k]满足k<0或k>1时,外分第一选择分布数据d10和第二选择分布数据d11。
2维LUT4取得分布生成部704生成的生成分布数据d6,把取得的值存储到控制部705的计数信号c11指定的地址中。这里,生成分布数据d6与产生生成分布数据d6时使用的各选择分布数据所关联的图象信号值相同的图象信号值关联。
通过以上,根据实现不同的视觉处理的分布数据,能生成实现不同的视觉处理的分布数据。
参照图10说明在具有分布数据登记装置701的视觉处理装置中执行的视觉处理分布生成方法。
根据来自控制部705的计数信号c10,以一定的计数周期指定分布数据登记部702的地址,读出指定的地址中存储的图象信号值(步骤S701)。具体而言,按照由参数输入部706输入的参数,控制部705输出计数信号c10。计数信号c10指定在分布数据登记部702中实现不同的视觉处理的2个分布数据的地址。据此,从分布数据登记部702读出第一选择分布数据d10和第二选择分布数据d11。
分布生成部704从控制部705取得指定合成度的控制信号c12(步骤S702)。
分布生成部704对于第一选择分布数据d10的值[m]和第二选择分布数据d11的值[n],使用控制信号c12指定的合成度的值[k],生成值[l]的生成分布数据d6(步骤S703)。这里,值[l]由[l]=(1-k)*[m]+k*[n]计算。
对于2维LUT4写入生成分布数据d6(步骤S704)。这里,写入目标的地址由对2维LUT4提供的来自控制部705的计数信号c11指定。
控制部705判断关于选择的分布数据的全部数据的处理是否结束(步骤S705),在结束前,重复从步骤S701到步骤S705的处理。
另外,这样存储在2维LUT4中的新分布数据在执行视觉处理时使用。
《(7)的效果》
在具有分布数据登记装置701的视觉处理装置中,能根据实现不同的视觉处理的分布数据,生成实现不同的视觉处理的新分布数据,进行视觉处理。即在分布数据登记部702中,只通过具有少数的分布数据,就能实现任意处理程度的视觉处理,能削减分布数据登记部702的存储容量。
此外,分布数据登记装置701不仅在图1所示的视觉处理装置1中,也可以设置在图6~图8的视觉处理装置中。这时,代替图6~图8所示的各分布数据登记部521、526、531,使用各分布数据登记部702和分布生成执行部703,也可以代替图6的图象判定部522、图7的输入装置527、图8的光亮度检测部532,使用各分布数据登记部702和分布生成执行部703。
(8)视觉处理装置可以是变换输入信号IS的明亮度的装置。参照图1说明变换明亮度的视觉处理装置901。
《结构》
视觉处理装置901是变换输入信号IS’的明亮度的装置,由以下部分构成:对输入信号IS’进行给定的处理,输出处理信号US’的处理部902;使用输入信号IS’和处理信号US’进行输入信号IS’的变换的变换部903。
处理部902与空间处理部2(参照图1)同样工作,进行输入信号IS’的空间处理。此外,也可以是进行所述<变形例>(3)中记载的空间处理。
变换部903与视觉处理部3同样具有2维LUT,根据输入信号IS’(值[x])和处理信号US’(值[x])把输出信号OS’(值[y])输出。
这里,对于按照关于明亮度的变更程度的函数fk(z)的值决定的增益或偏移量,作用输入信号IS’的值[x],从而决定变换部903具有的2维LUT的各要素的值。以下把关于明亮度的变更程度的函数fk(z)称作“变更度函数”。
2维LUT的各要素的值(=输出信号OS’的值[y])根据输入信号IS’的值[x]和处理信号US’的值[x]决定。以下,把该函数称作“变换函数”,表示作为一例的变换函数(a)~(d)。另外,在图12(a)~(d)中表示使变更度函数fk(z)变化时的输入信号IS’和输出信号OS’的关系。
《关于变换函数(a)》
变换函数(a)表示为[y]=f1(z)*[x]。
这里,变更度函数f1(z)作为输入信号IS’的增益起作用。因此,根据变更度函数f1(z)的值,输入信号IS’的增益变化,输出信号OS’的值[y]变化。
图12(a)表示变更度函数f1(z)的值变化时的输入信号IS’和输出信号OS’的关系的变化。
伴随着变更度函数f1(z)增大(f1(z)>1),输出信号的值[y]增大。即变换后的图象变亮。而伴随着变更度函数f1(z)减小(f1(z)<1),输出信号的值[y]减小。即变换后的图象变暗。
这里,变更度函数f1(z)是值[z]的定义区域中的最小值不变为低于值[0]的函数。
另外,通过变换函数(a)的计算,超过输出信号的值[y]能取的值的范围时,可以剪切到能取的值的范围中。例如超过值[1]时,输出信号的值[y]可以剪切为值[1],当低于值[0]时,输出信号的值[y]剪切为值[0]。关于以下的变换函数(b)~(d),也是同样。
《关于变换函数(b)》
变换函数(b)表示为[y]=[x]+f2(z)。
这里,变更度函数f2(z)作为输入信号IS’的偏移量起作用。因此,根据变更度函数f2(z)的值,输入信号IS’的偏移量变化,输出信号OS’的值[y]变化。
图12(b)表示变更度函数f2(z)的值变化时的输入信号IS’和输出信号OS’的关系的变化。
伴随着变更度函数f2(z)增大(f2(z)>0),输出信号的值[y]增大。即变换后的图象变亮。而伴随着变更度函数f2(z)减小(f2(z)<0),输出信号的值[y]减小。即变换后的图象变暗。
《关于变换函数(c)》
变换函数(c)表示为[y]=f1(z)*[x]+f2(z)。
这里,变更度函数f1(z)作为输入信号IS’的增益起作用。变更度函数f2(z)作为输入信号IS’的偏移量起作用。因此,根据变更度函数f1(z)的值,输入信号IS’的增益变化,并且根据变更度函数f2(z)的值,输入信号IS’的偏移量变化,输出信号OS’的值[y]变化。
图12(c)表示变更度函数f1(z)和变更度函数f2(z)的值变化时的输入信号IS’和输出信号OS’的关系的变化。
伴随着变更度函数f1(z)和变更度函数f2(z)增大,输出信号的值[y]增大。即变换后的图象变亮。而伴随着变更度函数f1(z)和变更度函数f2(z)减小,输出信号的值[y]减小。即变换后的图象变暗。
《关于变换函数(d)》
变换函数(d)表示为[y]=[x]^(1-f2(z))。
这里,f2(z)决定“幂函数”的“幂”。因此,根据变更度函数f2(z)的值,输入信号IS’变化,输出信号OS’的值[y]变化。
伴随着变更度函数f2(z)增大(f2(z)>0),输出信号的值[y]增大。即变换后的图象变亮。而伴随着变更度函数f2(z)减小(f2(z)<0),输出信号的值[y]减小。即变换后的图象变暗。另外,变更度函数f2(z)为值[0]时,不进行对输入信号IS’的变换。
此外,值[x]是把输入信号IS的值标准化到[0]~[1]的范围中的值。
《效果》
(1)在视觉处理装置901中,通过具有使用以上表示的变换函数(a)~(d)中的任意一个决定的要素的2维LUT,进行输入信号IS’的视觉处理。2维LUT的各要素存储对于值[x]和值[z]的值[y]。因此,根据输入信号IS’和处理信号US’,实现变换输入信号IS’的明亮度的视角处理。
(2)这里,当变更度函数f1(z)和变更度函数f2(z)都是单调减少的函数时,能取得逆光修正和防止泛白的效果。就此加以说明。
图13(a)~(b)表示单调减少的变更度函数f1(z)和变更度函数f2(z)的例子。分别表示3个曲线图(a1~a3、b1~b3),但是都是单调减少的函数的例子。
变更度函数f1(z)是具有跨值[1]的值域的函数,对于值[z]的定义区域的最小值不变为低于值[0]的函数。变更度函数f2(z)是具有跨值[0]的值域的函数。
例如在图象中的暗并且面积大的部分中,处理信号US’的值[z]小。变更度函数对于小值[z]的值增大。即如果使用根据变换函数(a)~(d)生成的2维LUT,则图象中的暗并且面积大的部分变换为明亮。因此,以逆光拍摄的图象中,对于暗并且面积大的部分进行暗部的改善,提高视觉上的效果。
另外,在图象中的明亮并且面积大的部分中,处理信号US’的值[z]大。变更度函数对于大值[z]的值减小。即如果使用根据变换函数(a)~(d)生成的2维LUT,则图象中的明亮并且面积大的部分变换为暗。因此,例如在具有天空等明亮的部分的图象中,对于明亮并且面积大的部分进行泛白的改善,提高视觉上的效果。
《变形例》
(1)所述变换函数是一例,如果是具有同样的性质的变换,就可以是任意的函数。
(2)2维LUT的各要素的值可以不严密地由所述变换函数限定。
例如所述变换函数的值超过能作为输出信号OS处理的值的范围时,2维LUT可以存储剪切到能作为输出信号OS处理的值的范围中。
(3)可以不使用2维LUT进行与所述同样的处理。例如,变换部903对输入信号IS’和处理信号US’演算变换函数(a)~(d),把输出信号OS’输出。
(9)视觉处理装置具有多个空间处理部,可以使用空间处理的程度不同的多个模糊信号进行视觉处理。
《结构》
图14表示视觉处理装置905的结构。视觉处理装置905是进行输入信号IS”的视觉处理的装置,由以下部分构成:对输入信号IS”进行第一给定的处理,输出第一处理信号U1的第一处理部906a;对输入信号IS”进行第二给定的处理,输出第二处理信号U2的第二处理部906b;使用输入信号IS”、第一处理信号U1和第二处理信号U2进行输入信号IS”的变换的变换部908。
第一处理部906a和第二处理部906b与空间处理部2(参照图1)同样工作,进行输入信号IS”的空间处理。此外,也可以进行所述<变形例>(3)中记载的空间处理。
这里,第一处理部906a和第二处理部906b在空间处理中使用的周边象素的区域的大小不同。
具体而言,在第一处理部906a中,以着眼象素为中心,使用纵30象素、横30象素的区域中包含的周边象素(小模糊信号),而在第二处理部906b中,以着眼象素为中心,使用纵90象素、横90象素的区域中包含的周边象素(大模糊信号)。此外,这里记载的周边象素的区域只不过是一个例子,并不局限于它。为了充分发挥视觉处理效果,希望从相当宽的区域生成模糊信号。
变换部908具有LUT,根据输入信号IS”(值[x])、第一处理信号U1(值[z1])和第二处理信号U2(值[z2]),把输出信号OS”(值[y])输出。
这里,变换部903具有的LUT是存储输出信号OS”对于输入信号IS”的值[x]、第一处理信号U1的值[z1])和第二处理信号U2的值[z2]的值[y]的3维LUT。3维LUT的各要素的值(=输出信号OS”的值[y])根据输入信号IS”的值[x]、第一处理信号U1的值[z1])和第二处理信号U2的值[z2]的函数决定。
3维LUT能实现所述实施方式和以下实施方式中记载的处理,但是这里,说明3维LUT变换输入信号IS”的明亮度时和强调变换输入信号IS”时。
《变换输入信号IS”的明亮度时》
如果第一处理信号U1的值[z1]小,变换部908就进行变换,从而输入信号IS”变明亮。可是如果第二处理信号U2的值[z2]也小,就抑制变明亮的程度。
作为这样的变换的一个例子,根据以下的变换函数(e)或(f)决定变换部903具有的3维LUT的各要素的值。
(关于变换函数(e))
变换函数(e)表示为[y]=[f11(z1)/f12(z2)]*[x]。
这里,变更度函数f11(z1)、变更度函数f12(z2)是与所述<变形例>(8)中记载的变更度函数f1(z)同样的函数。另外,变更度函数f11(z1)和变更度函数f12(z2)成为不同的函数。
据此,[f11(z1)/f12(z2)]作为输入信号IS”的增益起作用,根据第一处理信号U1的值和第二处理信号U2的值,输入信号IS”的增益变化,输出信号OS”的值[y]变化。
(关于变换函数(f))
变换函数(f)表示为[y]=[x]+f21(z1)-f22(z2)。
这里,变更度函数f21(z1)、变更度函数f22(z2)是与所述<变形例>(8)中记载的变更度函数f2(z)同样的函数。另外,变更度函数f21(z1)和变更度函数f22(z2)成为不同的函数。
据此,[f21(z1)-f22(z2)]作为输入信号IS”的偏移量起作用,根据第一处理信号U1的值和第二处理信号U2的值,输入信号IS”的偏移量变化,输出信号OS”的值[y]变化。
(效果)
通过使用这样的变换函数(e)~(f)的变换,能实现使逆光部分的小区域的暗部变亮,使夜景图象的大区域的暗部不变得过于明亮等效果。
(变形例)
此外,变换部908的处理并不局限于使用3维LUT的处理,也可以是进行与变换函数(e)或(f)同样的计算的。
另外,可以不严密地根据变换函数(e)或(f)决定3维LUT的各要素。
《强调变换输入信号IS”时》
变换部908的变换是强调输入信号IS”的变换时,能独立强调多个频率成分。
例如如果是更强调第一处理信号U1的变换,就能进行频率比较高的浓淡部分的强调,如果是更强调第二处理信号U2的变换,就能进行频率低的浓淡部分的强调。
<分布数据>
视觉处理装置1除了所述说明以外,还能具有实现各种视觉处理的分布数据。下面关于实现各种视觉处理的第一1~第7分布数据,表示对分布数据付与特征的表达式、实现与具有分布数据的视觉处理装置1等价的视觉处理的视觉处理装置的结构。
各分布数据根据强调从输入信号IS和模糊信号US计算的值的计算的表达式决定。这里,强调的计算是基于非线性的强调函数的计算。
据此,在各分布数据中,能实现适合输入信号IS的视觉特性的强调、或适合把输出信号OS输出的仪器的非线性特性的强调。
(1)《第一分布数据》
根据包含强调对于输入信号IS和模糊信号US进行给定变换的各变换值的差的计算,决定第一分布数据。据此,能把输入信号IS和模糊信号US变换到不同的空间上,并且能强调它们的差。据此,能实现适合视觉特性的强调。
以下具体说明。
第一分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A、输出信号OS的值B、变换函数F1、变换函数的逆变换函数F2、强调函数F3,表示为C=F2(F1(A)+F3(F1(A)-F1(B)))(以下称作表达式M1)。
这里,变换函数F1是常用对数函数。逆变换函数F2是作为常用对数函数的反函数(逆对数)。强调函数F3是参照图49说明的强调函数R1~R3中的任意一个函数。
《等价的视觉处理装置11》
图15表示与在2维LUT4中登记第一分布数据的视觉处理装置1等价的视觉处理装置11。
视觉处理装置11是根据强调对输入信号IS和模糊信号US进行给定变换的各变换值的差的计算,把输出信号OS输出的装置。据此,能把输入信号IS和模糊信号US变换到不同的空间上,并且能强调它们的差,例如能实现适合视觉特性的强调。
图15所示的视觉处理装置11包括:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部12;使用输入信号IS和模糊信号US进行原图象的视觉处理,把输出信号OS输出的视觉处理部13。
空间处理部12进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部13具有:进行输入信号IS和模糊信号US的信号空间的变换,输出变换输入信号TIS和变换模糊信号TUS的信号空间变换部14;把变换输入信号TIS作为第一输入,把变换模糊信号TUS作为第二输入,输出各差分的差分信号DS的减法部17;把差分信号DS作为输入,输出强调处理的强调处理信号TS的强调处理部18;把变换输入信号TIS作为第一输入,把强调处理信号TS作为第二输入,输出分别相加的加法信号PS的加法部19;把加法信号PS作为输入,把输出信号OS输出的逆变换部20。
信号空间变换部14还具有:把输入信号IS作为输入,输出变换输入信号TIS的第一变换部15;把模糊信号US作为输入,输出变换模糊信号TUS的第二变换部16。
《等价的视觉处理装置11的作用》
就视觉处理部13的动作加以说明。
第一变换部15使用变换函数F1把值A的输入信号变换为值F1(A)的变换输入信号TIS。第二变换部16使用变换函数F1把值B的模糊信号US变换为值F1(B)的变换模糊信号TUS。减法部17计算值F1(A)的变换输入信号TIS和值F1(B)的变换模糊信号TUS的差分,输出值F1(A)-值F1(B)的差分信号DS。强调处理部18使用强调函数F3,从值F1(A)-F1(B)的差分信号DS输出值F3(F1(A)-F1(B))的强调处理信号TS。加法部19把值F1(A)的变换输入信号TIS和值F3(F1(A)-F1(B))的强调处理信号TS相加,输出值F1(A)+F3(F1(A)-F1(B))的加法信号PS。逆变换部20使用逆变换函数F2把值F1(A)+F3(F1(A)-F1(B))的加法信号PS逆变换,输出值F2(F1(A)+F3(F1(A)-F1(B)))的输出信号OS。
此外,使用变换函数F1、逆变换函数F2、强调函数3的计算可以使用对各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第一分布数据的视觉处理装置和视觉处理装置11产生同样的视觉处理效果。
(i)
实现使用通过变换函数F1变换到对数空间的变换输入信号TIS和变换模糊信号TUS的视觉处理。人的视觉特性是对数的,通过变换到对数空间,进行处理,能实现适合于视觉特性的视觉处理。
(ii)
在各视觉处理装置中,实现对数空间中的对比度强调。
图48所示的以往的视觉处理装置400一般使用模糊情况小的模糊信号US,在进行轮廓(边缘)强调中使用。可是,视觉处理装置400使用模糊情况大的强调对比度时,在原图象的明亮部变为强调不足,在暗部变为强调过多,成为不适合视觉特性的视觉处理。即存在向变明亮的方向的修正强调不足,向变暗的方向的修正强调过多的倾向。
而使用视觉处理装置1或视觉处理装置11进行视觉处理时,能从暗部到明亮部,进行适合于视觉特性的视觉处理,能平衡良好地进行变明亮的方向的强调和变暗的方向的强调。
(iii)
在以往的视觉处理装置400中,视觉处理后的输出信号OS变为负,有时产生破绽。
而由表达式M1求出的分布数据的某要素的值C超过0≤C≤255的范围时,通过使该要素的值为0或255,能防止修正后的象素信号变为辅,产生破绽,或饱和,产生破绽。与用于表现分布数据的要素的位长度无关,能实现它。
《变形例》
(i)
变换函数F1并不局限于对数函数。例如变换函数F1为去掉与输入信号IS相乘的灰度修正(例如灰度系数[0.45])的变换,逆变换函数F2可以是乘上与输入信号IS相乘的灰度修正的变换。
据此,去掉与输入信号IS相乘的灰度修正,根据线性特性,进行处理。因此,能进行光学的模糊修正。
(ii)
在视觉处理装置11中,视觉处理部13根据输入信号IS和模糊信号US,可以不使用2维LUT4,计算所述表达式M1。这时,在各函数F1~F3的计算中,可以使用1维的LUT。
(2)《第二分布数据》
第二分布数据根据包含强调输入信号IS和模糊信号US的比的函数的计算决定。据此,能实现强调锐度成分的视觉处理。
第二分布数据根据对强调的输入信号IS和模糊信号US的比进行动态范围压缩的计算决定。据此,能一边强调锐度成分,一边实现进行动态范围压缩的视觉处理。
下面具体说明。
第二分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A、模糊信号US的值B、动态范围压缩函数F4、强调函数F5,表示为C=F4(A)*F5(A/B)(以下,称作表达式M2)。
这里,动态范围压缩函数F4例如是向上凸的幂函数等单调增加函数。例如,表示为F4(x)=x^γ(0<γ<1)。强调函数F5是幂函数。例如表示为F5(x)=x^α(0<α<1)。
《等价的视觉处理装置21》
图16表示与在2维LUT4中登记第二分布数据的视觉处理装置1等价的视觉处理装置21。
视觉处理装置21是根据强调输入信号IS和模糊信号US的比的计算,把输出信号OS输出的装置。据此,能实现强调锐度成分的视觉处理。
视觉处理装置21。根据对强调的输入信号IS和模糊信号US的比进行动态范围的计算,把输出信号OS输出。据此,例如能一边强调锐度成分,一边实现进行动态范围的压缩的视觉处理。
图16所示的视觉处理装置21包括:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部22;使用输入信号IS和模糊信号US进行原图象的视觉处理,把输出信号OS输出的视觉处理部23。
空间处理部22进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部23具有:把输入信号IS作为第一输入,把模糊信号US作为第二输入,输出把输入信号IS除以模糊信号US的除法信号RS的除法部25;把除法信号RS作为输入,把强调处理信号TS作为输出的强调处理部26;把输入信号IS作为第一输入,把强调处理信号TS作为第二输入,把输出信号OS输出的输出处理部27。输出处理部27具有:把输入信号IS作为输入,输出把压缩动态范围(DR)的DR压缩信号DRS的DR压缩部28;把DR压缩信号DRS作为第一输入,把强调处理信号TS作为第二输入,把输出信号OS输出的乘法部29。
《等价的视觉处理装置21的作用》
就视觉处理装置23的动作加以说明。
除法部25把值A的输入信号IS除以值B的模糊信号US,输出值A/B的除法信号RS。强调处理部26使用强调函数F5从值A/B的除法信号RS输出值F5(A/B)的强调处理信号TS。DR压缩部28使用动态范围压缩函数F4,从值A的输入信号IS输出值F4(A)的DR压缩信号DRS。乘法部29把值F4(A)的DR压缩信号DRS和值F5(A/B)的强调处理信号TS相乘,输出F4(A)*F5(A/B)的输出信号OS。
此外,使用动态范围压缩函数F4、强调函数F5的计算可以使用对于各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第二分布数据的视觉处理装置1和视觉处理装置21产生同样的视觉处理效果。
(i)
以往,压缩图象全体的动态范围时,使用图17所示的动态范围压缩函数F4,从暗部到高亮,不饱和地压缩灰度水平。即如果压缩前的图象信号的再现目标的黑电平为L0,最大白电平为L1,压缩前的动态范围L1∶L0压缩为压缩后的动态范围Q1∶Q0。可是,图象信号水平的比即对比度由于动态范围的压缩,下降到(Q1/Q0)*(L0/L1)倍。这里,动态范围压缩函数F4是向上凸的密函数。
而在具有第二分布数据的视觉处理装置1和视觉处理装置2中,值A/B的除法信号RS即清晰信号用强调函数F5进行强调处理,与DR压缩信号DRS相乘。因此,强调局部的对比度。这里,强调函数F5是图18所示的幂函数(F5(x)=x^α),当除法信号RS的值大于1时,在明亮的一方进行强调,当小于1时,在暗的方向进行强调。
一般,人的视觉具有如果维持局部对比度,则即使全体的对比度下降,也能观察到相同的对比度的性质。据此,在具有第二分布数据的视觉处理装置1和视觉处理装置21中,能一边进行动态范围的压缩,一边实现在视觉上对比度不下降的视觉处理。
(ii)
进一步具体说明本发明的效果。
动态范围压缩函数F4是F4(x)=x^γ(例如,γ=0.6)。另外,强调函数F5为F5(x)=x^α(例如,α=0.4)。另外,输入信号IS的白电平标准化为1时的再现目标的黑电平为值1/300。即输入信号IS的动态范围为300∶1。
使用动态范围压缩函数F4,压缩输入信号IS的动态范围时,压缩后的动态范围变为F4(1)∶F4(1/300)=30∶1。即通过动态范围压缩函数F4,动态范围压缩为1/10。
而输出信号OS的值C由所述表达式M2表示,C=(A^0.6)*{(A/B)^0.4},即C=A/(B^0.4)。这里,在局部的范围中,能把B的值视为一定,所以C与A成比例。即值C的变化量和值A的变化量的比成为1,在输入信号IS和输出信号OS,局部的对比度不变化。
与所述同样,人的视觉具有如果维持局部对比度,则即使全体的对比度下降,也能观察到相同的对比度的性质。据此,在具有第二分布数据的视觉处理装置1和视觉处理装置2中,能一边进行动态范围的压缩,一边实现在视觉上不使对比度下降的视觉处理。
此外,图18所示的强调函数F5的幂乘数α如果大于0.4,就一边进行动态范围的压缩,一边与输入信号IS相比,提高输出信号OS的外观的对比度。
(iii)
在本发明中,因为能实现以上的效果,所以在以下的状况下特别有效。即在物理的动态范围窄的显示中,不破坏暗部、明亮部,再现对比度高的图象。另外,例如用明亮的环境下的电视投影机显示对比度高的图象,能用浓度低的墨水(只有淡颜色的打印机)。
《变形例》
(i)
在视觉处理装置21中,视觉处理部23根据输入信号IS和模糊信号US,不使用2维LUT4,计算所述表达式M2。这时,在各函数F4、F5的计算中,可以使用1维的LUT。
(ii)
此外,由表达式M2求出的分布数据的某要素的值C成为C>255时,可以使要素的值C为255。
(3)
《第三分布数据》
第三分布数据根据包含强调输入信号IS和模糊信号US的比的计算决定。据此,能实现强调锐度成分的视觉处理。
以下具体说明。
在所述第二分布数据的表达式M2中,动态范围压缩函数F4可以是比例系数1的正比例函数。这时,第三分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A、模糊信号US的值B、强调函数F5,表示为C=A*F5(A/B)(以下称作表达式M3)。
《等价的视觉处理装置31》
图19表示与在2维LUT4中登记第三分布数据的视觉处理装置1等价的视觉处理装置31。
视觉处理装置31是根据强调输入信号IS和模糊信号US的比的计算把输出信号OS输出的装置。据此,能实现强调锐度成分的视觉处理。
图19所示的视觉处理装置31在不设置DR压缩部28的点上与图16所示的视觉处理装置21不同。以下,在图19所示的视觉处理装置31中,关于进行与图16所示的视觉处理装置21同样的动作的部分,付与相同的符号,省略详细的说明。
视觉处理装置31具有:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部22;使用输入信号IS和模糊信号US进行原图象的视觉处理,把输出信号OS输出的视觉处理部32。
空间处理部22进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部32具有:把输入信号IS作为第一输入,把模糊信号US作为第二输入,输出把输入信号IS除以模糊信号US的除法信号RS的除法部25;把除法信号RS作为输入,输出强调处理信号TS的强调处理部26;把输入信号IS作为第一输入,把强调处理信号TS作为第二输入,把输出信号OS输出的乘法部33。
《等价的视觉处理装置31的作用》
就视觉处理部32的动作加以说明。
除法部25和强调处理部26进行与就图16所示的视觉处理装置21说明的同样的动作。
乘法部33把值A的输入信号IS和值F5(A/B)的强调处理信号TS相乘,输出值A*F5(A/B)的输出信号。这里,强调函数F5与图18所示的同样。
此外,使用强调函数F5的计算与就图16所示的视觉处理装置21说明的同样,可以使用对于各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第三分布数据的视觉处理装置1和视觉处理装置31产生同样的视觉处理效果。
(i)
在强调处理部26中,进行表示为输入信号IS和模糊信号US的比的清晰信号(除法信号RS)的强调处理,把强调的清晰信号与输入信号IS相乘。表示强调处理表示为输入信号IS和模糊信号US的比的清晰信号相当于计算对数空间中的输入信号IS和模糊信号US的差分。即实现适合于对数的人的视觉特性的视觉处理。
(ii)强调函数F5的强调量在输入信号IS大时(明亮时)增大,在小时(暗时)减小。另外,变明亮的方向的强调量比变暗的方向的强调量大。因此,能实现适合于视觉特性的视觉处理,能实现平衡好、自然的视觉处理。
(iii)
此外,由表达式M3求出的分布数据的某要素的值C为C>255时,要素的值C可以为255。
(iv)
在使用表达式M3的处理中,不进行对于输入信号IS的动态范围压缩,但是在强调局部的对比度时,能在视觉上进行动态范围的压缩和伸展。
(4)
《第四分布数据》
第四分布数据根据包含按照输入信号IS的值强调输入信号IS和模糊信号US的差的函数的计算决定。据此,能按照输入信号IS的值强调输入信号IS的锐度成分。因此,能从输入信号IS的暗部到明亮部进行适当的强调。
根据对强调的值加上把输入信号IS压缩动态范围的值,决定第四分布数据。据此,能按照输入信号IS的值一边强调输入信号IS的锐度成分,一边进行动态范围的压缩。
以下具体进行说明。
第四分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A、模糊信号US的值B、强调量调整函数F6、强调函数F7、动态范围压缩函数F8,表示为C=F8(A)+F6(A)*F7(A-B)(以下称作表达式M4)。
这里,强调量调整函数F6是对于输入信号IS的值,单调增加的函数。即当输入信号IS的值A小时,强调量调整函数F6的值也小,当输入信号IS的值A大时,强调量调整函数F6的值也增大。强调函数F7是使用图49说明的强调函数R1~R3中的任意一个的函数。动态范围压缩函数F8是使用图17说明的幂函数,表示为F8(x)=x^γ(0<γ<1)。
《等价的视觉处理装置41》
图20表示与在2维LUT4中登记第四分布数据的视觉处理装置1等价的视觉处理装置41。
视觉处理装置41是根据按照输入信号IS的值强调输入信号IS和模糊信号US的差的计算,把输出信号OS输出的装置。据此,能按照输入信号IS的值强调输入信号IS的锐度成分。因此,能从输入信号IS的暗部到明亮部进行适当的强调。
视觉处理装置41根据对于强调的值,加上把输入信号IS压缩动态范围的值的计算,把输出信号OS输出。据此,能一边按照输入信号IS的值强调输入信号IS的锐度成分,一边进行动态范围的压缩。
图20所示的视觉处理装置41具有:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部42;使用输入信号IS和模糊信号US进行原图象的视觉处理,把输出信号OS输出的视觉处理部43。
空间处理部42进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部43具有:把输入信号IS作为第一输入,把变换模糊信号TUS作为第二输入,输出各差分的差分信号DS的减法部44;把差分信号DS作为输入,强调处理信号TS的强调处理部45;把输入信号IS作为输入,输出强调量调整信号IC的强调量调整部46;把强调量调整信号IC作为第一输入,把强调处理信号TS作为第二输入,输出把强调量调整信号IC和强调处理信号TS相乘的乘法信号MS的乘法部47;把输入信号IS作为第一输入,把乘法信号MS作为第二输入,把输出信号OS输出的输出处理部48。输出处理部48具有:把输入信号IS作为输入,输出压缩动态范围(DR)的DR压缩信号DRS的DR压缩部49;把DR压缩信号DRS作为第一输入,把乘法信号MS作为第二输入,把输出信号OS输出的加法部50。
《等价的视觉处理装置41的作用》
就视觉处理部43的动作加以说明。
减法部44计算值A的输入信号IS和值B的模糊信号US的差分,输出值A-B的差分信号DS。强调处理部45使用强调函数F7,从值A-B的差分信号DS输出F7(A-B)的强调处理信号TS。强调量调整部46使用强调量调整函数F6从值A的输入信号IS输出值F6(A)的强调量调整信号IC。乘法部47把值F6(A)的强调量调整信号IC和值F7(A-B)的强调处理信号TS相乘,输出F6(A)*F7(A-B)的乘法信号MS。DR压缩部49使用动态范围压缩函数,从值A的输入信号IS输出值F8(A)的DR压缩信号DRS。加法部50把DR压缩信号DRS和F6(A)*F7(A-B)的乘法信号MS相加,输出F8(A)+F6(A)*F7(A-B)的输出信号OS。
此外,使用强调量调整函数F6、强调函数F7、动态范围压缩函数F8的计算可以使用对于各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第四分布数据的视觉处理装置1和视觉处理装置41产生同样的视觉处理效果。
(i)
根据输入信号IS的值A,进行差分信号DS的强调量的调整。因此,能一边进行动态范围的压缩,一边维持从暗部到明亮部的局部对比度。
(ii)当强调函数F7为使用图49说明的强调函数R2时,能抑制差分信号DS的绝对值大时的强调量。因此,能防止清晰度高的部分的强调量饱和,能执行视觉上自然的视觉处理。
《变形例》
(i)
在视觉处理装置41中,视觉处理部43根据输入信号IS和模糊信号US,不使用2维LUT4计算所述表达式M4。这时,在各函数F6~F8的计算中,可以使用1维LUT。
(ii)
当强调函数F7为比例系数1的正比例函数时,没必要特别设置强调处理部45。
(iii)
此外,由表达式M4求出的分布数据的某要素的值C为0≤C≤255的范围时,要素的值C可以为0或255。
(5)
《第五分布数据》
第五分布数据根据包含按照输入信号IS的值强调输入信号IS和模糊信号US的差的函数的计算决定。据此,例如能按照输入信号IS的值强调输入信号IS的锐度成分。因此,能从输入信号IS的暗部到明亮部进行适当的强调。
以下具体说明。
在所述第四分布数据的表达式M4中,动态范围压缩函数F8可以是比例系数1的正比例函数。这时,第五分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A、模糊信号US的值B、强调量调整函数F6、强调函数F7,表示为C=A+F6(A)*F7(A-B)(以下称作表达式M5)。
《等价的视觉处理装置51》
图21表示与在2维LUT4中登记第五分布数据的视觉处理装置1等价的视觉处理装置51。
视觉处理装置51是根据按照输入信号IS的值强调输入信号IS和模糊信号US的差的计算,把输出信号OS输出的装置。据此,能按照输入信号IS的值强调输入信号IS的锐度成分。因此,从输入信号IS的暗部到明亮部,能进行适当的强调。
图21所示的视觉处理装置51在不设置DR压缩部49的点上与图20所示的视觉处理装置41不同。以下在图21所示的视觉处理装置51中,关于进行与图20所示的视觉处理装置41同样的动作的部分,付与相同的符号,省略详细的说明。
视觉处理装置51具有:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部42;使用输入信号IS和模糊信号US进行原图象的视觉处理,把输出信号OS输出的视觉处理部52。
空间处理部42进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部32具有:把输入信号IS作为第一输入,把模糊信号US作为第二输入,输出各差分的差分信号DS的减法部44;把差分信号DS作为输入,输出强调处理信号TS的强调处理部45;把输入信号IS作为输入,输出强调量调整信号IC的强调量调整部46;把强调量调整信号IC作为第一输入,把强调处理信号TS作为第二输入,输出把强调量调整信号IC和强调处理信号TS相乘的乘法信号MS的乘法部47;把输入信号IS作为第一输入,把乘法信号MS作为第二输入,把输出信号OS输出的加法部53。
《等价的视觉处理装置51的作用》
就视觉处理部52的动作加以说明。
减法部44、强调处理部45、强调量调整部46、乘法部47进行与就图20所示的视觉处理装置41说明的同样的动作。
加法部53把值A的输入信号IS和值F6(A)*F7(A-B)的乘法信号MS相加,输出值A+F6(A)*F7(A-B)的输出信号OS。
此外,使用强调量调整函数F6、强调函数F7的计算与就图20所示的视觉处理装置41说明的同样,可以使用对于各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第五分布数据的视觉处理装置1和视觉处理装置51产生同样的视觉处理效果。另外,具有第四分布数据的视觉处理装置1和视觉处理装置41产生几乎同样的视觉处理效果。
(i)
根据输入信号IS的值A,进行差分信号DS的强调量的调整。因此,能使从暗部到明亮部的对比度的强调量均匀。
《变形例》
(i)当强调函数F7为比例系数1的正比例函数时,没必要特别设置强调处理部45。
(ii)此外,由表达式M5求出的分布数据的某要素的值C超过0≤C≤255的范围时,该要素的值可以为0或255。
(6)
《第六分布数据》
根据对强调输入信号IS和模糊信号US的差的值和输入信号IS的值相加的值进行灰度修正的计算,决定第六分布数据。据此,对于强调锐度成分的输入信号IS,能实现进行灰度修正的视觉处理。以下具体说明。
第六分布数据的各要素的值C(输出信号OS的值)使用输入信号IS的值A、模糊信号US的值、强调函数F9、灰度修正函数F10,表示为C=F10(A+F9(A-B))(以下称作表达式M6)。
这里,强调函数F9是使用图49说明的强调函数R1~R3的任意一个函数。灰度修正函数F10例如是灰度修正函数、S字形的灰度修正函数、反S字形的灰度修正函数等同长的灰度修正中使用的函数。
《等价的视觉处理装置61》
图22表示与在2维LUT4中登记第六分布数据的视觉处理装置1等价的视觉处理装置61。
视觉处理装置61是根据对强调输入信号IS和模糊信号US的差的值加上输入信号IS的值的值进行灰度修正的计算,把输出信号OS输出的装置。据此,对于强调锐度成分的输入信号IS,能实现进行灰度修正的视觉处理。
图22所示的视觉处理装置61具有:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部62;使用输入信号IS和模糊信号US进行原图象的视觉处理,把输出信号OS输出的视觉处理部63。
空间处理部62进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部63具有:把输入信号IS作为第一输入,把变换模糊信号TUS作为第二输入,输出各差分的差分信号DS的减法部64;把差分信号DS作为输入,强调处理信号TS的强调处理部45;把输入信号IS作为输入,输出进行强调处理的强调处理信号TS的强调处理部65;把输入信号IS作为第一输入,把强调处理信号TS作为第二输入,输出分别相加的加法信号PS的加法部66;把加法信号PS作为输入,把输出信号OS输出的灰度修正部67。
《等价的视觉处理装置61的作用》
就视觉处理部63的动作加以说明。
减法部64计算值A的输入信号IS和值B的模糊信号US的差分,输出值A-B的差分信号DS。强调处理部65使用强调函数F9从值A-B的差分信号DS输出值F9(A-B)的强调处理信号TS。加法部66把值A的输入信号IS和值F9(A-B)的强调处理信号TS相加,输出值A+F9(A-B)的加法信号PS。灰度修正部67使用灰度修正函数F10,从值A+F9(A-B)的加法信号PS输出值F10(A+F9(A-B))的输出信号OS。
此外,使用强调函数F9、灰度修正函数F10的计算可以使用对于各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第六分布数据的视觉处理装置1和视觉处理装置61产生同样的视觉处理效果。
(i)
差分信号DS由强调函数F9进行强调处理,与输入信号IS相加。因此,能强调输入信号IS的对比度。灰度修正部67执行加法信号PS的灰度修正处理。因此,能以原图象的出现频率高的中间灰度强调对比度。另外,能使加法信号全体变亮。根据以上,能同时组合实现空间处理和灰度处理。
《变形例》
(i)
在视觉处理装置61中,视觉处理部63根据输入信号IS和模糊信号US,不使用2维LUT4,计算所述表达式M6。这时,在各函数F9、F10的计算中,可以使用1维LUT。
(ii)
此外,当由表达式M6求出的分布数据的某要素的值C超过0≤C≤255的范围时,该要素的值可以为0或255。
(7)
《第七分布数据》
根据对强调输入信号IS和模糊信号US的差的值加上对输入信号IS进行灰度修正的值的计算,决定第七分布数据。这里,锐度成分的强调和输入信号IS的灰度修正独立进行。因此,与输入信号IS的灰度修正量无关,能进行一定的锐度成分的强调。
第七分布数据的各要素的值C(输出信号OS的值)对于输入信号IS的值A、模糊信号US的值B、强调函数F11、灰度修正函数F12,能表示为C=F12(A)+F11(A-B)(以下称作表达式M7)。
这里,强调函数F11是使用图49说明的强调函数R1~R3中的任意一个函数。灰度修正函数F12例如是灰度修正函数、S字形的灰度修正函数、反S字形的灰度修正函数等。
《等价的视觉处理装置71》
图23表示与在2维LUT4中登记第七分布数据的视觉处理装置1等价的视觉处理装置71。
视觉处理装置71是根据对强调输入信号IS和模糊信号US的差的值加上把输入信号IS的值进行灰度修正的计算,把输出信号OS输出的装置。这里,锐度成分的强调和输入信号IS的灰度修正独立进行。因此,与输入信号IS的灰度修正量无关,能进行一定的锐度成分的强调。
图23所示的视觉处理装置71包括:对作为输入信号IS取得的原图象的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部72;使用输入信号IS和模糊信号US,进行原图象的视觉处理,把输出信号OS输出的视觉处理部73。
空间处理部72进行与视觉处理装置1具有的空间处理部2同样的动作,所以省略说明。
视觉处理部73具有:把输入信号IS作为第一输入,把模糊信号US作为第二输入,输出各差分的差分信号DS的减法部74;把差分信号DS作为输入,输出强调处理的强调处理信号TS的强调处理部75;把输入信号IS作为输入,输出修正灰度的灰度修正信号GC的灰度修正部76;把灰度修正信号GC作为第一输入,把强调处理信号TS作为第二输入,把输出信号OS输出的加法部77。
《等价的视觉处理装置71的作用》
就视觉处理部73的动作加以说明。
减法部74计算值A的输入信号IS和值B的模糊信号US的差分,输出值A-B的差分信号DS。强调处理部75使用强调函数F11从值A-B的差分信号DS输出值F11(A-B)的强调处理信号TS。灰度修正部76使用灰度修正函数F12,从值A的输入信号IS输出值F12(A)的灰度修正信号GC。加法部77把值F12(A)的灰度修正信号GC和值F11(A-B)的强调处理信号TS相加,输出值F12(A)+值F11(A-B)的输出信号OS。
此外,使用强调函数F11、灰度修正函数F12的计算可以使用对于各函数的1维LUT进行,也可以不使用LUT进行。
《效果》
具有第七分布数据的视觉处理装置1和视觉处理装置71产生同样的视觉处理效果。
(i)
输入信号IS由灰度修正部76进行灰度修正后,与强调处理信号TS相加。因此,在灰度修正函数F12的灰度变化少的区域即对比度下降的区域中,通过此后的强调处理信号TS的相加,能强调局部对比度。
《变形例》
(i)
在视觉处理装置71中,视觉处理部73根据输入信号IS和模糊信号US,不使用2维LUT4,计算所述表达式M7。这时,在各函数F11、F12的计算中,可以使用1维LUT。
(ii)此外,当由表达式M7求出的分布数据的某要素的值C超过0≤C≤255的范围时,该要素的值可以为0或255。
(8)《第一~第七分布数据的变形例》
(i)
在所述(1)~(7)中,说明第一~第七分布数据的各要素存储根据表达式M1~M7计算的值。另外,说明了在各分布数据中,由表达式M1~M7计算的值超过分布数据能容纳的值的范围时,可以限制该要素的值。
在分布数据中,关于一部分的值,可以是任意的。例如,位于黑暗的夜景中的小的明亮部分等(位于夜景中的霓虹灯部分)的输入信号IS的值大,但是模糊信号US小时,视觉处理的输入信号IS的值对图象质量的影响小。在视觉处理后的值对图象质量的影响小的部分中,分布数据容纳的值可以是由表达式M1~M7计算的值的近似值或任意的值。
分布数据容纳的值成为由表达式M1~M7计算的值的近似值或任意的值时,对于相同值的输入信号IS和模糊信号US容纳的值对于输入信号IS和模糊信号US的值,希望维持单调增加或单调减少的关系。在根据表达式M1~M7生成的分布数据中,对于相同值的输入信号IS和模糊信号US的分布数据容纳的值表现分布数据的特性的概要。因此,为了维持2维LUT的特征,希望在维持所述关系的状态下进行分布数据的调整。
[实施方式2]
参照图24~图39说明作为本发明实施方式2的视觉处理装置600。
视觉处理装置600是对图象信号(输入信号IS)进行视觉处理,输出视觉处理图象(输出信号OS)的视觉处理装置,是与设置显示输出信号OS的显示装置(未图示)的环境(以下称作显示环境)对应的视觉处理的装置。
具体而言,视觉处理装置600是通过利用人的视觉特性的视觉处理改善显示环境的环境光影响的引起的显示图象的“视觉对比度”下降的装置。
视觉处理装置600例如与在计算机、电视机、数字相机、移动电话、PDA、打印机、扫描仪等处理图象的仪器中,进行图象信号的颜色处理的装置一起构成图象处理装置。
<视觉处理装置600>
图24表示视觉处理装置600的基本结构。视觉处理装置600由目标对比度变换部601、变换信号处理部602、实际对比度变换部603、目标对比度设定部604、实际对比度设定部605构成。
目标对比度变换部601把输入信号IS作为第一输入,把在目标对比度设定部604中设定的目标对比度C1作为第二输入,把目标对比度信号JS输出作为输出。此外,后面描述目标对比度C1的定义。
变换信号处理部602把目标对比度信号JS作为第一输入,把目标对比度C1作为第二输入,把实际对比度设定部605中设定的实际对比度C2作为第三输入,把视觉处理的目标对比度信号JS即视觉处理信号KS作为输出。此外,后面描述实际对比度C2的定义。
实际对比度变换部603把视觉处理信号KS作为第一输入,把实际对比度C2作为第二输入,把输出信号OS作为输出。
目标对比度设定部604和实际对比度设定部605使用户通过输入界面设定目标对比度C1和实际对比度C2。
下面说明各部的细节。
<目标对比度变换部601>
目标对比度变换部601把对视觉处理装置600输入的输入信号IS变换为适合于对比度表现的目标对比度信号JS。这里,在输入信号IS中,对视觉处理装置600输入的图象的亮度值以值[0.0~1.0]的灰度表示。
目标对比度变换部601使用目标对比度C1(值[m]),通过“表达式M20”把输入信号IS(值[P])变换,输出目标对比度信号JS(值[A])。这里,表达式M20是A={(m-1)/m}*P+1/m。
目标对比度C1的值[m]设定为由显示装置显示的显示图象能观察到最好对比度的对比度值。
这里,对比度值是作为白电平对于图象的黑电平的明亮度比表示的值,表示黑电平为1时的亮度值(黑电平∶白电平=1∶m)。
目标对比度C1的值[m]适合设定为100~1000(黑电平∶白电平=1∶100~1∶1000)左右,但是可以根据显示装置能显示的白电平对于图象的黑电平的明亮度比,决定。
参照图25进一步详细说明基于表达式M20的变换。图25是表示输入信号IS的值(横轴)和目标对比度信号JS的值(纵轴)的关系的曲线图。如图35所示,通过目标对比度变换部601把值[0.1~1.0]的范围的输入信号IS变换为值[1/m~1.0]的范围的目标对比度信号JS。
<变换信号处理部602>
参照图24,说明变换信号处理部602的细节。
变换信号处理部602一边维持输入的目标对比度信号JS的局部对比度,一边压缩动态范围,输出视觉处理信号KS。具体而言,变换信号处理部602具有与把实施方式1中表示的视觉处理装置21的输入信号IS(参照图16)视为目标对比度信号JS,把输出信号OS(参照图16)视为视觉处理信号KS同样的结构、作用和效果。
变换信号处理部602根据强调目标对比度信号JS和模糊信号US的比的计算,输出视觉处理信号KS。据此,例如能实现强调锐度成分的视觉处理。
变换信号处理部602根据对强调的目标对比度信号JS和模糊信号US的比进行动态范围压缩的计算,输出视觉处理信号KS。据此,能一边强调锐度成分,一边实现进行动态范围的压缩的视觉处理。
《变换信号处理部602的结构》
变换信号处理部602具有:对目标对比度信号JS的各象素的亮度值执行空间处理,输出模糊信号US的空间处理部622;使用目标对比度信号JS和模糊信号US,进行对目标对比度信号JS的视觉处理,输出视觉处理信号KS的视觉处理部623。
空间处理部622进行与视觉处理装置1(参照图1)具有的空间处理部2同样的动作,所以省略详细的说明。
视觉处理部623具有除法部625、强调处理部626、具有DR压缩部628和乘法部629的输出处理部627。
除法部625把目标对比度信号JS作为第一输入,把模糊信号US作为第二输入,输出把目标对比度信号JS除以模糊信号US的除法信号RS。强调处理部626把除法信号RS作为第一输入,把目标对比度C1作为第二输入,把实际对比度C2作为第三输入,输出强调处理信号TS。
输出处理部627把目标对比度信号JS作为第一输入,把强调处理信号TS作为第二输入,把目标对比度C1作为第三输入,把实际对比度作为第四输入,输出视觉处理信号KS。DR压缩部628把目标对比度信号JS作为第一输入,把目标对比度C1作为第二输入,把实际对比度C2作为第三输入,输出进行动态范围(DR)压缩的DR压缩信号DRS。乘法部629把DR压缩信号DRS作为第一输入,把强调处理信号TS作为第二输入,输出视觉处理信号KS。
《变换信号处理部602的作用》
变换信号处理部602使用目标对比度C1(值[m])和实际对比度C2(值[n]),通过“表达式M2”把目标对比度信号JS(值[A])变换,输出视觉处理信号KS(值[C])。这里,表达式M2使用动态范围压缩函数F4和强调函数F5表示为C=F4(A)*F5(A/B)。此外,值[B]是把目标对比度信号JS空间处理的模糊信号US的值。
动态范围压缩函数F4是向上凸的单调增加函数即“幂函数”,表示为F4(x)=x^γ。动态范围压缩函数F4的指数γ使用常用对数,表示为γ=log(n)/log(m)。强调函数F5是“幂函数”,表示为F5(x)=x^(1-γ)。
下面说明表达式M2和变换信号处理部602的各部的动作的关系。
空间处理部622对值[A]的目标对比度信号JS进行空间处理,输出值[B]的模糊信号US。
除法部625把值[A]的目标对比度信号JS除以值[B]的模糊信号US,输出值[A/B]的除法信号RS。强调处理部626使用强调函数F5从值[A/B]的除法信号RS输出值[F5(A/B)]的强调处理信号TS。DR压缩部628使用动态范围压缩函数F4从值[A]的目标对比度信号JS输出值[F4(A)]的DR压缩信号DRS。乘法部629把值[F4(A)]的DR压缩信号DRS和值[F5(A/B)]的强调处理信号TS相乘,输出值[F4(A)*F5(A/B)]的视觉处理信号KS。
此外,使用动态范围压缩函数F4、强调函数F5的计算可以使用对各函数的1维LUT进行,也可以不使用LUT进行。
《变换信号处理部602的效果》
视觉处理信号KS的视觉动态范围由动态范围压缩函数F4的值决定。
参照图26,进一步详细说明基于表达式M2的变换。图26是表示目标对比度信号JS的值(横轴)和适合于目标对比度信号JS的动态范围压缩函数F4的值(纵轴)的关系的曲线图。如图26所示,目标对比度信号JS的动态范围由动态范围压缩函数F4压缩。更具体而言,通过动态范围压缩函数F4把值[1/m~1.0]的范围的目标对比度信号JS变换为[1/n~1.0]的范围。结果,视觉处理信号KS的视觉动态范围压缩为1/n(最小值∶最大值=1∶n)。
这里,说明实际对比度C2。实际对比度C2的值[n]设定为根据显示环境的环境光的显示图象的视觉对比度值。即实际对比度C2的值[n]能决定为使目标对比度C1的值[m]只下降基于显示环境的环境光亮度的影响的部分的值。
使用这样设定的实际对比度C2的值[n],所以通过表达式M2把目标对比度信号JS的动态范围从1∶m压缩为1∶n。此外,这里,“动态范围”意味着信号的最小值和最大值的比。
而视觉处理信号KS的局部的对比度的变化表示为目标对比度信号JS的值[A]和视觉处理信号KS的值[C]的变换前后的变化量的比。这里,能把局部即窄范围的模糊信号US的值[B]视为一定。因此,表达式M2的值C的变换量和值A的变换量的比变为1,目标对比度信号JS和视觉处理信号KS的局部对比度不变化。
人的视觉具有这样的性质,即如果维持局部对比度,则即使全体的对比度下降,也能观察到相同的对比度。因此,在变换信号处理部602,能一边进行目标对比度信号JS的动态范围的压缩,一边实现使视觉对比度不下降的视觉处理。
<实际对比度变换部603>
参照图24说明实际对比度变换部603的细节。
实际对比度变换部603把视觉处理信号KS变换为能对显示装置(未图示)输入的范围的图象数据。能对显示装置输入的范围的图象数据是用值[0.0~1.0]的灰度表示图象的亮度值的图象数据。
实际对比度变换部603使用实际对比度C2(值[n]),通过表达式M21变换视觉处理信号KS,把输出信号OS(值[Q])输出。这里,表达式M21是Q={n/(n-1)}*C-{1/(n-1)}。
参照图27进一步详细说明基于表达式m21的变换。图27是表示视觉处理信号KS的值(横轴)和输出信号OS的值(纵轴)的关系的曲线图。如图27所示,通过实际对比度变换部603把值[1/n~1.0]的范围的视觉处理信号KS变换为值[0.0~1.0]的范围的输出信号OS。这里,对于各视觉处理信号KS的值,输出信号OS的值减少。该减少部分相当于显示图象的各亮度从环境光受到的影响。
此外,在实际对比度变换部603中,当输入值[1/n]以下的视觉处理信号KS时,输出信号OS变换为值[0]。另外,在实际对比度变换部603中,当输入值[1]以上的视觉处理信号KS时,输出信号OS变换为值[1]。
<视觉处理装置600的效果>
视觉处理装置600具有与实施方式1中说明的视觉处理装置21同样的效果。下面记载视觉处理装置600中特征性的效果。
(i)
当在显示视觉处理装置600的输出信号OS的显示环境中存在环境光时,输出信号OS受到环境光的影响,观察。可是,输出信号OS是通过实际对比度变换部603进行修正环境光的影响的处理的信号。即根据环境光存在的显示环境,把显示装置中显示的输出信号OS观察为具有视觉处理信号KS的特性的显示图象。
视觉处理信号KS的特性是指与实施方式1中说明的视觉处理装置21的输出信号OS(参照图16)同样,一边维持局部的对比度,一边压缩图象全体的动态范围。即视觉处理信号KS成为一边维持局部最佳地显示图象的目标对比度c1,一边压缩为在环境光的影响下能显示的动态范围(相当于实际对比度C2)的信号。
因此,在视觉处理装置600中,一边进行由于环境光的存在而下降的对比度的修正,一边通过利用视觉特性的处理,能维持视觉对比度。
<视觉处理方法>
参照图28说明产生与所述视觉处理装置同样的效果的视觉处理方法。此外,各步骤的具体处理与所述视觉处理装置600的处理同样,所以省略说明。
在图28所示的视觉处理方法中,首先取得设定的目标对比度C1和实际对比度C2(步骤S601)。使用取得的目标对比度C1,进行对于输入信号IS的变换(步骤S602),输出目标对比度信号JS。接着,对目标对比度信号JS进行空间处理(步骤S603),输出模糊信号US。接着把目标对比度信号JS除以模糊信号US(步骤S604),输出除法信号RS。除法信号RS通过具有由实际对比度C2决定的指数的“幂函数”即强调函数F5强调(步骤S605),输出强调处理信号TS。而目标对比度信号JS通过具有由目标对比度C1和实际对比度C2决定的指数的“幂函数”即动态范围压缩函数F4压缩动态范围(步骤S606),输出DR压缩信号DRS。接着由步骤S605输出的强调处理信号TS和由步骤S606输出的DR压缩信号DRS相乘(步骤S607),输出视觉处理信号KS。接着使用实际对比度C2进行对视觉处理信号KS的变换(步骤S608),把输出信号OS输出。关于输入信号IS的全部象素,重复步骤S602~步骤S608的处理(步骤S609)。
图28所示的视觉处理方法的各步骤在视觉处理装置600和其他计算机中,可以作为视觉处理程序实现。另外,步骤S604~步骤S607的处理也可以是通过计算表达式M2一次完成。
本发明并不局限于所述实施方式,在不脱离本发明的范围的前提下,能进行各种变形或修正。
(i)表达式M2-不设置强调函数F5时-
在所述实施方式中,变换信号处理部602根据表达式M2输出视觉处理信号KS。这里,变换信号处理部602可以只根据动态范围强调函数F4输出视觉处理信号KS。这时,在作为变形例的变换信号处理部602中,没必要设置空间处理部622、除法部625、强调处理部626、乘法部629,只具有DR压缩部628就可以了。
在作为变形例的变换信号处理部602中,能输出压缩到在环境光的影响下能显示的动态范围中的视觉处理信号KS。
(ii)强调函数F5-指数和其他变形例-
在所述实施方式中,强调函数F5是“幂函数”,表示为F5(x)=x^(1-γ)。这里,强调函数F5的指数是目标对比度信号JS的值[A]或模糊信号US的值[B]的函数。
以下表示具体例《1》~《6》。
《1》
强调函数F5的指数是目标对比度信号JS的值[A]的函数,当目标对比度信号JS的值[A]大于模糊信号US的值[B]时,是单调减少的函数。更具体而言,强调函数F5的指数表示为α1(A)*(1-γ),函数α1(A)如图29所示,是对于目标对比度信号JS,单调减少的函数。此外,函数α1(A)的最大值变为[1.0]。
这时,通过强调函数F5,高亮度部的局部对比度的强调量减小。因此,当着眼象素的亮度比周围象素的亮度高时,能抑制高亮度部的局部对比度的强调过多。即着眼象素的亮度值向高亮度饱和,能抑制所谓的泛白的状态。
《2》
强调函数F5的指数是目标对比度信号JS的值[A]的函数,当目标对比度信号JS的值[A]比模糊信号US的值[B]小时,是单调增加的函数。更具体而言,强调函数F5的指数表示为α2(A)×(1-γ),函数α2(A)如图30所示,是对于目标对比度信号JS的值[A],单调增加的函数。此外,函数α2(A)的最大值成为[1.0]。
这时,通过强调函数F5,低亮度部的局部对比度的强调量减少。因此,当着眼象素的亮度比周围象素的亮度低时,能抑制低亮度部的局部对比度的强调过多。即着眼象素的亮度值向低亮度饱和,能抑制所谓的发黑状态。
《3》
强调函数F5的指数是目标对比度信号JS的值[A]的函数,当目标对比度信号JS的值[A]比模糊信号US的值[B]还大时,是单调增加的函数。更具体而言,强调函数F5的指数表示为α3(A)×(1-γ),函数α3(A)如图31所示,是对于目标对比度信号JS的值[A],单调增加的函数。此外,函数α3(A)的最大值成为[1.0]。
这时,通过强调函数F5,低亮度部的局部对比度的强调量减少。因此,当着眼象素的亮度比周围象素的亮度高时,能抑制低亮度部的局部对比度的强调过多。图象中的低亮度部的信号水平小,所以相对而言噪声的比例提高,但是通过进行这样的处理,能抑制SN比的恶化。
《4》
强调函数F5的指数是目标对比度信号JS的值[A]和模糊信号US的值[B]的函数,对于值[A]和值[B]的差的绝对值,是单调减少的函数。换言之,强调函数F5的指数也可以说是值[A]和值[B]的比增加到接近1左右的函数。更具体而言,强调函数F5的指数表示为α4(A,B)×(1-γ),函数α4(A,B)如图32所示,对于值[A-B]的绝对值,是单调减少的函数。
这时,特别强调与周围象素的明暗差小的着眼象素的局部对比度,能抑制与周围象素的明暗差大的着眼象素的局部对比度的强调。
《5》
在所述《1》~《4》的强调函数F5的计算结果中可以设置上限或下线。具体而言,当值[F5(A/B)]超过给定的上限值时,作为强调函数F5的计算结果,采用给定的上限值。另外,当值[F5(A/B)]超过给定的下限值时,作为强调函数F5的计算结果,采用给定的下限值。
这时,能把基于强调函数F5的局部对比度的强调量限制在适当的范围中,能抑制过多或过少的对比度的强调。
《6》
此外,所述《1》~《5》也同样能应用在实施方式1中进行使用强调函数F5的计算时(例如实施方式1<分布数据>(2)或(3))。此外,在实施方式1中,值[A]是输入信号IS的值,值[B]是把输入信号IS空间处理的模糊信号US的值。
(iii)表达式M2-不进行动态范围压缩时-
在所述实施方式中,变换信号处理部602具有与实施方式1中表示的视觉处理装置21同样的结构。这里,作为变形例的变换信号处理部602可以具有与实施方式1中表示的视觉处理装置31(参照图19)同样的结构。具体而言,把视觉处理装置31的输入信号IS视为目标对比度信号JS,把输出信号OS视为视觉处理信号KS,从而能实现作为变形例的变换信号处理部602。
这时,在作为变形例的变换信号处理部602中,对于目标对比度信号JS(值[A])和模糊信号US(值[B]),根据“表达式M3”,输出视觉处理信号KS(值[C])。这里,表示为C=A*F5(A/B)。
在使用表达式M3的处理中,进行对输入信号IS的动态范围的压缩,但是能强调局部的对比度。通过局部的对比度的强调效果,能提供在“视觉上”压缩或伸展动态范围的印象。
此外,对于本变形例,也同样能应用所述<变形例>(ii)《1》~《5》。即在本变形例中,强调函数F5是“幂函数”,其指数可以是与所述<变形例>(ii)《1》~《4》中说明的函数α1(A)、α2(A)、α3(A)、α4(A,B)具有同样的倾向的函数。另外,如所述<变形例>(ii)《5》所述,在强调函数F5的计算结果中可以设置上限或下限。
(iv)参数自动设定
在所述实施方式中,说明了目标对比度设定部604和实际对比度设定部605使用户通过输入界面设定目标对比度C1和实际对比度C2的值。这里,目标对比度设定部604和实际对比度设定部605也可以自动设定目标对比度C1和实际对比度C2的值。
《1》显示器
显示输出信号OS的显示装置是PDP、LCD、CRT等显示器,说明当没有环境光的状态下能显示的白亮度(白电平)和黑亮度(黑电平)已知时,自动设定实际对比度C2的值的实际对比度设定部605。
图33表示自动设定实际对比度C2的值的实际对比度设定部605。实际对比度设定部605具有亮度测定部605a、存储部605b、计算部605c。
亮度测定部605a是测定显示输出信号OS的显示器的显示环境中的环境光的亮度值的亮度传感器。存储部605b存储显示输出信号OS的显示器在没有环境光的状态下能显示的白亮度(白电平)和黑亮度(黑电平)。计算部605c从亮度测定部605a和存储部605b分别取得值,计算实际对比度C2的值。
说明计算部605c的计算的一例。计算部605c把从亮度测定部605a取得的环境光的亮度值与存储部605b存储的黑电平的亮度值以及白电平的亮度值相加。计算部605c把使用对黑电平的亮度值的加法结果,除以对白电平的亮度值的加法结果的值作为实际对比度C2的值[n]输出。据此,实际对比度C2的值[n]成为在环境光存在的显示环境中显示器显示的对比度值。
另外,图33所示的存储部605b可以把在没有环境光的状态下能显示的白亮度(白电平)和黑亮度(黑电平)的比作为目标对比度C1的值存储。这时,实际对比度设定部605同时实现自动设定目标对比度C1的目标对比度设定部604的功能。此外,存储部605b不存储比,可以通过计算部605c计算比。
《2》投影仪
说明显示输出信号OS的显示装置是投影仪,没有环境光的状态下能显示的白亮度(白电平)和黑亮度(黑电平)依存于到达屏幕的距离时,自动设定实际对比度C2的值的实际对比度设定部605。
图34表示自动设定实际对比度C2的值的实际对比度设定部605。实际对比度设定部605具有亮度测定部605d和控制部605e。
亮度测定部605d是测定由投影仪显示的输出信号OS的显示环境中的亮度值的亮度传感器。控制部605e使投影仪进行白电平和黑电平的显示。从亮度测定部605d取得显示各水平时的亮度值,计算实际对比度C2的值。
参照图35,说明控制部605e的动作的一例。首先,控制部605e在存在环境光的显示环境中使投影仪工作,进行白电平的显示(步骤S620)。控制部605e从亮度测定部605d取得测定的白电平的亮度(步骤S621)。接着,控制部605e在存在环境光的显示环境中使投影仪工作,进行黑电平的显示(步骤S622)。控制部605e从亮度测定部605d取得测定的黑电平的亮度(步骤S623)。控制部605e计算取得的白电平的亮度值和黑电平的亮度值的比,作为实际对比度C2的值输出。据此,实际对比度C2的值[n]表示在存在环境光的显示环境中投影仪显示的对比度值。
另外,与所述同样,通过计算不存在环境光的显示环境中白电平和黑电平的比,能导出目标对比度C1的值[m]。这时,实际对比度设定部605同时实现自动设定目标对比度C1的目标对比度设定部604的功能。
(v)其他信号空间
在所述实施方式中,说明了关于输入信号IS的亮度进行视觉处理装置600的处理。这里,本发明不仅对输入信号IS由YcbCr颜色空间表示时有效。也可以是输入信号IS由YUV颜色空间、Lab颜色空间、Luv颜色空间、YIQ颜色空、XYZ颜色空间、YPbPr颜色空间表示。这些时候,对于各颜色空间的亮度、光亮度,能执行所述实施方式中说明的处理。
另外,当输入信号IS由RGB颜色空间表示时,视觉处理装置600的处理可以对于RGB各成分独立进行。即对于输入信号IS的RGB成分,独立进行基于目标对比度变换部601的处理,输出目标对比度信号JS的RGB成分。对于目标对比度信号JS的RGB成分,独立进行基于变换信号处理部602的处理,输出视觉处理信号KS的RGB成分。对于视觉处理信号KS的RGB成分,独立进行基于实际对比度变换部603的处理,输出输出信号OS的RGB成分。这里,目标对比度C1和实际对比度C2在RGB成分的各处理中,使用公共的值。
(vi)色差修正处理
视觉处理装置600为了抑制由于由变换信号处理部602处理的亮度成分的影响,输出信号OS的色调与输入信号IS的色调变为不同,还具有色差修正处理部。
图36表示具有色差修正处理部608的视觉处理装置600。此外,关于与图24所示的视觉处理装置同样的结构,付与相同的符号。此外,输入信号IS具有YcbCr的颜色空间,关于Y成分,进行与所述实施方式说明的同样的处理。以下说明色差修正处理部608。
色差修正处理部608把目标对比度信号JS作为第一输入(值[Yin],把视觉处理信号KS作为第二输入(值[Yout]),把输入信号IS的Cb成分作为第三输入(值[CBin]),把输入信号IS的Cr成分作为第四输入(值[Crin]),把进行色差修正处理的Cb成分作为第一输出(值[CBout]),把进行色差修正处理的Cr成分作为第二输出(值[CRout]。
图37表示色差修正处理的概要。色差修正处理部608具有[Yin]、[Yout]、[CBin]、[CRin]等4输入,通过计算这4输入,取得[CBout]、[CRout]等2输出。
[CBout]、[CRout]根据通过[Yin]和[Yout]的差以及比,修正[CBin]、[CRin]的以下表达式导出。
[CBout]根据a1*([Yout]-[Yin])*[CBin]+a2*(1-[Yout]/[Yin])*[CBin]+a3*([Yout]-[Yin])*[CRin]+a4*(1-[Yout]/[Yin])*[CRin]+[CBin]导出(以下称作表达式CB)。
[CRout]根据a5*([Yout]-[Yin])*[CBin]+a6*(1-[Yout]/[Yin])*[CBin]+a7*([Yout]-[Yin])*[CRin]+a8*(1-[Yout]/[Yin])*[CRin]+[CRin]导出(以下称作表达式CR)。
对表达式CB和表达式CR中的系数a1~a8,使用在以下说明的推测计算之前由视觉处理装置600的外部的计算装置等决定的值。
参照图38说明计算装置的系数a1~a8的推测计算。
首先,取得[Yin]、[Yout]、[CBin]、[CRin]等4输入(步骤S630)。各输入的值是为了决定系数a1~a8而预先准备的数据。例如作为[Yin]、[CBin]、[CRin],使用以给定间隔插补分别能取得全部值的值。作为[Yout],使用以给定间隔插补把[Yin]的值输入变换信号处理部602时能输出的值的值。这样准备的数据能作为4输入取得。
取得的[Yin]、[CBin]、[CRin]变换到Lab颜色空间,计算变换的Lab颜色空间中的色度值[Ain]和[Bin](步骤S631)。
接着使用缺省的系数a1~a8,计算表达式CB和表达式CR,取得[CBout]和[CRout]的值(步骤S632)。取得的值和[Yout]变换到Lab颜色空间,计算变换的Lab颜色空间中的色度值[Aout]和[Bout](步骤S633)。
接着,使用计算的色度值[Ain]、[Bin]、[Aout]、[Bout],计算评价函数(步骤S634),判断评价函数的值是否变为给定阈值以下。这里,评价函数是[Ain]以及[Bin]、[Aout]以及[Bout]的色调的变化小时变为小值的函数,例如是各成分的偏差的自乘和的函数。更具体而言,评价函数是([Ain]-[Aout])^2+([Bin]-[Bout])^2。
当评价函数的值大于给定的阈值时(步骤S635),修正系数a1~a8(步骤S636),使用新的系数,重复步骤S632~步骤S635的计算。
当评价函数的值小于给定的阈值时(步骤S635),把评价函数的计算中使用的系数a1~a8作为推测计算的结果输出(步骤S637)。
此外,在推测计算中,使用预先准备的[Yin]、[Yout]、[CBin]、[CRin]等4输入的组合中的一个,推测计算系数a1~a8,但是也可以使用组合中的多个,进行上述的处理,把评价函数成为最小的系数a1~a8作为推测计算的结果输出。
[色差修正处理的变形例]
《1》
在所述色差修正处理部608中,目标对比度信号JS的值为[Yin],视觉处理信号KS的值为[Yout],输入信号IS的Cb成分的值为[CBin],输入信号IS的Cr成分的值为[CRin],输出信号OS的Cb成分的值为[CBout],输出信号OS的Cr成分的值为[CRout]。这里,[Yin]、[Yout]、[CBin]、[CRin]、[CBout]、[CRout]可以是表示其他信号的值。
例如当输入信号IS为RGB颜色空间的信号时,目标对比度变换部601(参照图24)对于输入信号IS的各成分进行处理。这时,把处理后的RGB颜色空间的信号变换为YCbCr颜色空间的信号,Y成分的值为[Yin],Cb成分的值为[CBin],Cr成分的值为[CRin]。
当输出信号OS为RGB颜色空间的信号时,把导出的[Yout]、[CBout]、[CRout]变换到RGB颜色空间,对于各成分进行基于实际对比度变换部603的变换处理,作为输出信号OS。
《2》
色差修正处理部608使用变换信号处理部602的处理前后的信号值的比,分别修正对色差修正处理部608输入的RGB成分。
参照图39说明作为变形例的视觉处理装置600的构造。此外,关于完成与图36所示的视觉处理装置600几乎同样功能的部分,付与相同的符号,省略说明。作为变形例的视觉处理装置600中,作为特征的结构,具有亮度信号生成部610。
RGB颜色空间的信号即输入信号IS的各成分在目标对比度变换部601中,变换为RGB颜色空间的信号即目标对比度信号JS。详细的处理如上所述,所以省略说明。这里,目标对比度信号JS的各成分的值为[Rin]、[Gin]、[Bin]。
亮度信号生成部610从目标对比度信号JS的各成分生成值[Yin]的亮度信号。把RGB的各成分的值以某比率相加,求出亮度信号。例如值[Yin]由以下表达式[Yin]=0.299*[Rin]+0.587*[Gin]+0.114*[Bin]求出。
变换信号处理部602处理值[Yin]的亮度信号,输出值[Yout]的视觉处理信号KS。详细的处理与从目标对比度信号JS输出视觉处理信号KS的变换信号处理部602(参照图36)的处理同样,所以省略说明。
色差修正处理部608使用亮度信号(值[Yin])、视觉处理信号KS(值[Yout])、目标对比度信号JS(值[Rin]、[Gin]、[Bin],输出RGB颜色空间的色差修正信号(值[Rout]、[Gout]、[Bout])。
具体而言,在色差修正处理部608中,计算值[Yin]和值[Yout]的比(值[[Yout]/[Yin]]))。计算的比作为色差修正系数与目标对比度信号JS(值[Rin]、[Gin]、[Bin])的各成分相乘。据此,输出色差修正信号(值[Rout]、[Gout]、[Bout])。
实际对比度变换部603对RGB颜色空间的信号即色差修正信号的各成分进行变换,变换为RGB颜色空间的信号即输出信号OS。详细的处理如上所述,所以省略说明。
在作为变形例的视觉处理装置600中,变换信号处理部602的处理只是对亮度信号的处理,关于RGB成分,没必要进行处理。因此,能减轻对于RGB颜色空间的输入信号IS的视觉处理的负荷。
《3》
表达式CB和表达式CR是一个例子,可以使用其它表达式。
(vii)视觉处理部623
图24所示的视觉处理部623可以由2维LUT形成。
这时,2维LUT存储对于目标对比度信号JS的值和模糊信号US的值的视觉处理信号KS的值。更具体而言,根据[实施方式1]<分布数据>(2)《第二分布数据》中说明的表达式M2,决定视觉处理信号KS的值。此外,表达式M2中,作为值A,使用目标对比度信号JS的值,作为值B,使用模糊信号US的值。
视觉处理装置600在存储装置中设置多个这样的2维LUT。这里,存储装置可以内置在视觉处理装置600中,可以通过有线或无线连接在外部。存储在存储装置中的各2维LUT与目标对比度C1和实际对比度C2的值关联。即对于目标对比度C1和实际对比度C2的值的各组合,进行与[实施方式2]<变换信号处理部602>《变换信号处理部602的作用》中说明的同样的计算,作为2维LUT存储。
视觉处理部623如果取得目标对比度C1和实际对比度C2的值,就读入存储装置中存储的2维LUT中与取得的各值关联的2维LUT。视觉处理部623使用读入的2维LUT进行视觉处理。具体而言,视觉处理部623取得目标对比度信号JS的值和模糊信号US的值,从2维LUT读出对于取得的值的视觉处理信号KS的值,输出视觉处理信号KS。
[实施方式3]
<1>
作为本发明实施方式3,说明所述实施方式以及实施方式2中说明的视觉处理装置、视觉处理方法、视觉处理程序的应用例、使用它的系统。
视觉处理装置内置或连接在计算机、电视机、数字相机、移动电话、PDA、打印机、扫描仪等处理图象的仪器中,是进行图象的视觉处理的装置,作为LSI等集成电路实现。
更具体而言,所述各实施方式的各功能块可以个别变为1芯片,也可以包含一部分或全部地变为1芯片。此外,这里为LSI,但是根据集成度的不同,有时也称作IC、系统LSI、超大LSI、超LSI。
另外,集成电路化的手法并不局限于LSI,也可以用专用电路或通用处理器实现。也可以利用在LSI制造后,能再构成可编程的FPGA(FieldProgrammable Gate Array)、LSI内部的电路单元的连接和设定的可重新配置的处理器。
通过半导体技术的进步或派生的其他技术,如果出现置换为LSI的集成电路化的技术,当然可以使用该技术,进行功能块的集成化。生物技术的适应也存在可能性。
所述实施方式1和实施方式2中说明的各视觉处理装置的各块的处理由视觉处理装置具有的中央处理单元(CPU)进行。另外,用于进行各处理的程序存储在硬盘、ROM等存储装置中,在ROM中,或读出到RAM中执行。
另外,在图1的视觉处理装置1中,2维LUT4存储到硬盘、ROM等存储装置中,按照必要参照。视觉处理部3从直接连接在视觉处理装置1上或者通过网络间接连接在视觉处理装置1上的分布数据登记装置8接受分布数据的提供,作为2维LUT4登记。
另外,视觉处理装置可以是内置或连接在处理动画图象的仪器上,进行各帧(各半帧)的图象的灰度处理的装置。
另外,在视觉处理装置1中,执行所述实施方式1中说明的视觉处理方法。
视觉处理程序在内置或连接在计算机、电视机、数字相机、移动电话、PDA、打印机、扫描仪等处理图象的仪器中的装置中,存储在硬盘、ROM等存储装置中,是执行图象的视觉处理的程序,通过CD-ROM等记录媒体或通过网络提供。
<2>
所述实施方式1和实施方式2中说明的视觉处理装置能由图40~图41所示的结构表示。
(1)
《结构》
图40是表示实现与使用图7表示的视觉处理装置525同样的功能的视觉处理装置910的结构的框图。
在视觉处理装置910中,传感器911和用户输入部912具有与输入装置527(参照图7)同样的功能。更具体而言,传感器911是检测设置视觉处理装置910的环境或显示来自视觉处理装置910的输出信号OS的环境的环境光的传感器,把检测的值作为表示环境光的参数P1输出。另外,用户输入部912对用户是把环境光的强度暗“强、中、弱”的阶段或无阶段(连续)设定的装置,把设定的值作为表示环境光的参数P1输出。
输出部914具有与分布数据登记部526(参照图7)同样的功能。更具体而言,输出部914具有与表示环境光的参数P1的值关联的多个分布数据。这里,分布数据是提供对于输入信号IS和把输入信号IS空间处理的信号的输出信号OS的值的表形式的数据。输出部914把表示取得的环境光的参数P1的值所对应的分布数据作为亮度调整参数P2向变换部915输出。
变换部915具有与空间处理部2以及视觉处理部3(参照图7)同样的功能。变换部915把成为视觉处理的对象的对象象素(着眼象素)的亮度、位于对象象素的周边的周边象素的亮度、亮度调整参数P2作为输入,变换对象象素的亮度,输出输出信号OS。
更具体而言,变换部915空间处理对象象素和周边象素。变换部915从表形式的亮度调整参数P2读出与对象象素和空间处理的结果对应的输出信号OS的值,作为输出信号OS输出。
《变形例》
在所述结构中,亮度调整参数P2并不局限于所述分布数据。例如亮度调整参数P2可以是从对象象素的亮度和周边象素的亮度计算输出信号OS的值时使用的系数矩阵数据。这里,系数矩阵数据是容纳从对象象素的亮度和周边象素的亮度计算输出信号OS的值时使用的函数的系数部分的数据。
(2)输出部914没必要具有对于表示环境光的参数P1的全部值的分布数据或系数矩阵数据。这时,按照取得的表示环境光的参数P1,适当内分或外分具有的分布数据等,可以生成适当的分布数据。
(2)《结构》
图41是表示实现与使用图24表示的视觉处理装置600同样的功能的视觉处理装置920的结构的框图。
在视觉处理装置920中,输出部921除了表示环境光的参数P1,还取得外部参数P3,根据表示环境光的参数P1和外部参数P3,输出亮度调整参数P2。
这里,表示环境光的参数P1与所述(1)中记载的同样。
另外,外部参数P3例如是表示观察输出信号OS的用户要求的视觉效果的参数。更具体而言,是观察输出信号OS的用户要求的对比度等的值(目标对比度)。这里,外部参数P3由目标对比度设定部604(参照图24)设定。或者使用预先存储在输出部921中的缺省值设定。
输出部921从表示环境光的参数P1,根据图33和图34的结构,计算实际对比度的值,作为亮度调整参数P2输出。另外,输出部921把外部参数P3(目标对比度)作为亮度调整参数P2输出。另外,输出部921存储多个[实施方式2]<变形例>(vii)中说明的2维LUT中容纳的分布数据,从由外部参数P3和表示环境光的参数P1计算的实际对比度选择分布数据,把表形式的数据作为亮度调整参数P2输出。
变换部922具有与目标对比度变换部601、变换信号处理部602、实际对比度变换部603(以上参照图24)同样的功能。更具体而言,对变换部922输入输入信号IS(对象象素的亮度和周边象素的亮度)、亮度调整参数P2,输出输出信号OS。例如输入信号IS使用作为亮度调整参数P2取得的目标对比度,变换为目标对比度信号JS(参照图24)。目标对比度信号JS进行空间处理,导出模糊信号US(参照图24)。
变换部922具有[实施方式2]<变形例>(vii)中说明的作为变形例的视觉处理部623,从作为亮度调整参数P2取得的分布数据、目标对比度信号JS、模糊信号US输出视觉处理信号KS(参照图24)。视觉处理信号KS使用作为亮度调整参数P2取得的实际对比度,变换为输出信号OS。
在视觉处理装置920中,根据外部参数P3和表示环境光的参数P1,能选择视觉处理中使用的分布数据,并且能修正基于环境光的影响,在存在环境光的环境中也能改善局部的对比度,接近观察输出信号OS的用户喜欢的对比度。
《变形例》
此外,在本结构中,能进行与(1)中记载的同样的变形。
另外,(1)中记载的结构和(2)中记载的结构能按照必要切换。切换可以使用来自外部的切换信号进行。另外,可以用是否存在外部参数P3判断使用哪个结构。
另外,记载为实际对比度由输出部921计算,但是实际对比度的值可以直接输入到输出部921。
(3)在图41所示的结构中,还能采用用于使从输出部921到变换部922的输入不急剧变化的部件。
图42所示的视觉处理装置920’对于图41所示的视觉处理装置920,不同点在于,具有使表示环境光的参数P1的时间变化变缓的调整部925。调整部925把表示环境光的参数P1作为输入,把调整后的输出P4作为输出。
据此,输出部921能取得不伴随着激烈的变化的表示环境光的参数P1,结果输出部921的输出的时间变化也变缓和。
调整部925由IIR滤波器实现。这里,在IIR滤波器中,调整部925的输出P4的值[P4]由[P4]=k1*[P4]’+k2*[P1]计算。此外,在表达式中,k1、k2分别是取正值的参数,[P1]是表示环境光的参数P1的值,[P4]’是调整部925的输出P4的延迟输出(例如上次的输出)的值。此外,调整部925的处理可以使用IIR滤波器以外的结构进行。
调整部925可以是象图43所示的视觉处理装置920”那样设置在输出部921一侧,直接使亮度调整参数P2的时间变化变缓的部件。
这里,调整部925的动作与所述同样。具体而言,调整部925的输出P4的值[P4]由[P4]=k3*[P4]’+k4*[P2]计算。此外,在表达式中,k3、k4分别是取正值的参数,[P2]是亮度调整参数P2的值,[P4]’是调整部925的输出P4的延迟输出(例如上次的输出)的值。此外,调整部925的处理可以使用IIR滤波器以外的结构进行。
根据图42、图43所示的结构,能控制表示环境光的参数P1、或亮度调整参数P2的时间变化。因此,检测环境光的传感器911响应在传感器之前移动的人,在短时间中参数大幅度变化时,能抑制急剧的参数变动。结果,能抑制显示画面的闪烁。
[实施方式4]
作为本发明实施方式4,参照图44~图47,说明所述视觉处理装置、视觉处理方法、视觉处理程序的应用例和使用它的系统。
图44是表示实现内容配送服务的内容供给系统ex100的全体结构的框图。把通信服务的提供区分割为所需的大小,在各单元内分别设置固定无线电台即基地电台ex107~ex110。
内容供给系统ex100在因特网ex101上,通过因特网服务提供商ex102和电话网ex104、基地电台ex107~ex110,与计算机ex111、PDA(PersonalDigital Assistant)ex112、相机ex113、移动电话ex114、带相机的移动电话ex115等各仪器连接。
可是,内容供给系统ex100并不局限于图44的组合,可以组合任意一个连接。另外,可以不通过固定无线电台即基地电台ex107~ex110,把各仪器直接与电话网ex104连接。
相机ex113是数字摄影机等能拍摄动画的仪器。另外,移动电话是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的移动电话或PHS(Personal Handyphone System)等,都可以。
另外,流服务器ex103从相机ex113通过基地电台109、电话网ex104连接,使用相机ex113,能进行基于用户发送的编码处理的数据的直接配送。拍摄的数据的编码处理由相机ex113进行,也可以由进行数据的发送处理的服务器进行。另外,由相机ex116拍摄的动画数据通过计算机ex111发送给流服务器ex 103。相机ex116是数字相机等能拍摄静止画面、动画的仪器。这时,动画数据的编码可以由相机ex116进行,也可以由计算机ex111进行。另外,编码处理在计算机ex111和相机ex116具有的Lslex117中处理。此外,可以把用于图象编码和译码的软件安装到计算机ex111可读取的记录媒体等任意存储媒体(CD-ROM、软盘、硬盘)中。用带相机的移动电话ex115发送动画数据。这时的动画数据是由移动电话ex115具有的LSI编码处理的数据。
在内容供给系统ex100中,用户把由相机ex113、相机ex116拍摄的内容(例如拍摄音乐现场的图象)编码处理,发送给流服务器ex103,而流服务器ex103对于存在要求的客户机,流配送所述内容数据。作为客户机,有能把编码的数据译码的计算机ex111、PDAex112、相机ex113、移动电话ex114。通过这样,内容供给系统ex100是在客户机接收编码的数据,能再现,还在客户机实时接收,译码,再现,从而能实现个人广播的系统。
在显示内容时,可以使用所述实施方式中说明的视觉处理装置、视觉处理方法、视觉处理程序。例如计算机ex111、PDAex112、相机ex113、移动电话ex114可以是实现实施方式中说明的视觉处理装置、视觉处理方法、视觉处理程序的。
另外,流服务器ex103可以对视觉处理装置通过因特网ex101提供分布数据。流服务器ex103存在多台,分别提供不同的分布数据。流服务器ex103可以生成分布数据。当通过因特网ex101,视觉处理装置能取得分布数据时,视觉处理装置没必要预先存储视觉处理中使用分布数据,能削减视觉处理装置的存储容量。另外,能从通过因特网ex101连接的多个服务器取得分布数据,所以能实现不同的视觉处理。
作为一个例子,说明移动电话。
图45是表示具有所述实施方式的视觉处理装置移动电话ex115的图。移动电话ex115具有:用于与基地电台110之间收发电波的天线ex201;CCD相机等能拍摄图象、静止画面的相机部ex203;显示由相机部ex203拍摄的图象图象、把由天线ex201接收的图象译码的数据的液晶显示器等显示部ex202;由操作键ex204群构成的主体部;用于输出声音的扬声器等声音输出部ex208;用于输入声音的麦克风等声音输入部ex205;用于保存拍摄的动画或静止画面的数据、接收的邮件数据、动画的数据或静止画面的数据等编码的数据或译码的数据的记录媒体ex207;用于把记录媒体ex207安装到移动电话ex115上的插槽部ex206。记录媒体ex207是SD卡等在塑料盒内容纳可电改写和删除的非易失性存储器即EEPROM(Electrically Erasableand Programmable Read Only Memory)的一种即闪存元件。
参照图46说明移动电话ex115。移动电话ex115对于统一控制具有显示部ex202和操作键ex204的主体部的各部的主控制部ex311,通过同步总线ex313,相互连接电源电路部ex310、操作输入控制部ex304、图象编码部ex312、相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图象译码部ex309、多路复用分离部ex308、记录再现部ex307、调制解调电路部ex306和声音处理部ex305。
电源电路部ex310如果通过用户的操作,通话结束和电源键变为接通状态,就从电池组对各部供给电力,从而带相机的移动电话ex115起动为可工作状态。
移动电话ex115根据CPU、RAM等主控制部ex311的控制,把在语音通话模式时由声音输入部ex205收集的声音信号通过声音处理部ex305变换为数字声音数据,用调制解调电路部ex306进行频谱扩散处理,用收发电路部ex301进行数字模拟变换处理和频率变换处理后,通过天线ex201发送。另外,移动电话ex115把在语音通话模式时由天线ex201接收的接收信号放大,进行频率变换处理和模拟数字变换处理,用调制解调电路部ex306进行频谱扩散处理,由声音处理部ex305变换为模拟声音信号后,把它通过声音输出部ex208输出。
在数据通信模式时发送电子邮件时,由主体部的操作键ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304发送给主控制部ex311。主控制部ex311用调制解调电路部ex306对文本数据进行频谱扩散处理,用收发电路部ex301进行数字模拟变换处理和频率变换处理后,通过天线ex201发送给基地电台ex110。
当在数据通信模式发送图象数据时,把由相机部ex203拍摄的图象数据通过相机接口部ex303提供给图象编码部ex312。另外,不发送图象数据时,能把由相机部ex203拍摄的图象数据通过相机接口部ex303和LCD控制部ex302直接在显示部ex202上显示。
图象编码部ex312把从相机部ex203供给的图象数据压缩编码,变换为编码图象数据,把它发送给多路复用分离部ex308。另外,这时,移动电话ex115同时把由相机部ex203在拍摄中由声音输入部ex205收集的声音信号通过声音处理部ex305作为数字声音数据发送给多路复用分离部ex308。
多路复用分离部ex308以给定方式把从图象编码部ex312供给的编码图象数据和从声音处理部ex305供给的声音数据多路复用,把结果取得的多路复用数据用调制解调电路部ex306进行频谱扩散处理,用收发电路部ex301进行数字模拟变换处理和频率变换处理后,通过天线ex201发送。
在数据通信模式时,当收到与主页链接的动画图象文件的数据时,把通过天线ex201从基地电台ex110收到的接收信号用调制解调电路部ex306进行频谱扩散处理,把结果取得的多路复用数据发送给多路复用分离部ex308。
另外,为了把通过天线ex201收到的多路复用数据译码,多路复用分离部ex308通过分离多路复用数据,分开为图象数据的编码位流和声音数据的编码位流,通过同步总线ex313把该编码图象数据提供给图象译码部ex309,并且把该声音数据提供给声音处理部ex305。
图象译码部ex309把图象数据的编码位流译码,从而生成再现动画图象数据,把它通过LCD控制部ex302提供给显示部ex202,据此显示与主页链接的动画图象文件中包含的动画数据。这是,声音处理部ex305同时把声音数据变换为模拟声音信号后,把它提供给声音输出部ex208,据此,再现与主页链接的动画图象文件中包含的声音数据。
在以上的结构中,图象译码部ex309具有所述实施方式的视觉处理装置。
此外,并不局限于所述系统的例子,最近基于卫星、地面波的数字广播成为话题,如图47所示,在数字广播用系统中也能嵌入所述实施方式中说明的视觉处理装置、视觉处理方法、视觉处理程序。具体而言,在广播电台ex409中,图象信息的编码位流通过电波传送给广播卫星ex410。收到它的广播卫星ex410发送用于广播的电波,由具有卫星广播接收设备的家庭的天线ex406接收该电波,由电视机(接收机)ex401或机顶盒(STB)ex407等装置,把编码位流译码,再现它。这里,视机(接收机)ex401或机顶盒(STB)ex407等装置可以具有所述实施方式中说明的视觉处理装置。另外,可以使用所述实施方式的视觉处理方法。可以具有视觉处理程序。另外,在读取记录媒体CD或DVD等存储媒体ex402中记录的编码位流,译码的再现装置ex403中也能安装所述实施方式中说明的视觉处理装置、视觉处理方法、视觉处理程序。这时,再现的图象信号在监视器ex404上显示。另外,也考虑到在有线电视用的电缆ex405或卫星/地面波广播的天线ex406上连接的机顶盒ex407内安装所述实施方式中说明的视觉处理装置、视觉处理方法、视觉处理程序,用电视机的监视器ex408再现它的结构。这时,不是机顶盒,在所电视机内嵌入所述实施方式中说明的视觉处理装置。另外,也可以用具有天线ex411的汽车ex412从卫星ex410或基地电台ex107接收信号,在汽车ex412具有的汽车导航系统ex413等的显示装置上再现动画。
还能把图象信号编码,记录到记录媒体中。作为具体例,有在DVD盘ex421中记录图象信号的DVD记录器、在硬盘中记录的盘记录器等记录器。还能在SD卡ex422中记录。记录器ex420如果具有所述实施方式的译码装置,就能把DVD盘ex421中记录的图象信号插补,再现,在监视器ex408上显示。
此外,汽车导航系统ex413的结构考虑到图46所示的结构中除去相机部ex203和相机接口部ex303、图象编码部ex312的结构,同样的事实在计算机ex111和电视机(接收机)ex401中也考虑到。
另外,所述移动电话ex114等的终端除了具有编码器和译码器的收发型的终端,还考虑到只有编码器的发送终端、只有译码器的接收终端等3种安装形式。
能在上述任意的仪器和系统中使用所述实施方式中说明的视觉处理装置、视觉处理方法、视觉处理程序,能取得所述实施方式中说明的效果。
[附注]
本发明还能表现如下。
(附注的内容)
(附注1)
一种视觉处理装置,包括:
对于输入的图象信号进行空间处理,输出处理信号的输入信号处理部件;
根据强调通过给定的变换把所述图象信号和所述处理信号变换的各值的差的计算,输出输出信号的信号计算部件。
(附注2)
根据附注1所述的视觉处理装置,所述信号计算部件对于所述图象信号的值A、所述处理信号的值B、变换函数F1、所述变换函数F1的逆变换函数F2、强调函数F3,根据表达式F2(F1(A)+F3(F1(A)-F1(B))),计算输出信号的值C。
(附注3)
根据附注2所述的视觉处理装置,所述变换函数F1是对数函数。
(附注4)
根据附注2所述的视觉处理装置,所述逆变换函数F2是灰度修正函数。
(附注5)
根据附注2~4中的任意一项所述的视觉处理装置,所述信号计算部件具有:进行所述图象信号和所述处理信号的信号空间的变换的信号空间变换部件;对于变换后的所述图象信号和变换后的所述处理信号的差分信号进行强调处理的强调处理部件;对于变换后的所述图象信号和所述强调处理后的所述差分信号的加法信号进行信号空间的逆变换,输出所述输出信号的逆变换部件。
(附注6)
一种视觉处理装置,包括:
对于输入的图象信号进行空间处理,输出处理信号的输入信号处理部件;
根据强调所述图象信号和所述处理信号的比的计算,输出输出信号的信号计算部件。
(附注7)
根据附注6所述的视觉处理装置,信号计算部件根据进行所述图象信号的动态范围压缩的所述计算,输出所述输出信号。
(附注8)
根据附注6或7所述的视觉处理装置,所述信号计算部件对于所述图象信号的值A、所述处理信号的值B、动态范围压缩函数F4、强调函数F5,根据表达式F4(A)*F5(A/B),计算输出信号的值C。
(附注9)
根据附注8所述的视觉处理装置,所述动态范围压缩函数F4是比例系数1的正比例函数。
(附注10)
根据附注8所述的视觉处理装置,所述动态范围压缩函数F4是单调增加函数。
(附注11)
根据附注10所述的视觉处理装置,所述动态范围压缩函数F4是向上凸的函数。
(附注12)
根据附注8所述的视觉处理装置,所述动态范围压缩函数F4是幂函数。
(附注13)
根据附注12所述的视觉处理装置,所述动态范围压缩函数F4的幂函数的指数根据进行图象显示时的对比度的目标值即目标对比度值和进行图象显示时的显示环境的对比度值即实际对比度值决定。
(附注14)
根据附注8~13中的任意一项所述的视觉处理装置,所述强调函数F5是幂函数。
(附注15)
根据附注14所述的视觉处理装置,所述强调函数F5中的幂函数的指数根据进行图象显示时的对比度的目标值即目标对比度值和进行图象显示时的显示环境的对比度值即实际对比度值决定。
(附注16)
根据附注14或15所述的视觉处理装置,所述强调函数F5中的幂函数的指数当所述图象信号的值A比所述处理信号的值B大时,是对于所述图象信号的值A单调减少的值。
(附注17)
根据附注14或15所述的视觉处理装置,所述强调函数F5中的幂函数的指数当所述图象信号的值A比所述处理信号的值B小时,是对于所述图象信号的值A单调增加的值。
(附注18)
根据附注14或15所述的视觉处理装置,所述强调函数F5中的幂函数的指数当所述图象信号的值A比所述处理信号的值B大时,是对于所述图象信号的值A单调增加的值。
(附注19)
根据附注14或15所述的视觉处理装置,所述强调函数F5中的幂函数的指数是对于所述图象信号的值A和所述处理信号的值B大差的绝对值单调增加的值。
(附注20)
根据附注14~19中的任意一项所述的视觉处理装置,所述强调函数F5的最大值或最小值的至少一方限制在给定的范围内。
(附注21)
根据附注8所述的视觉处理装置,所述信号计算部件具有:对于所述图象信号除以所述处理信号的除法处理信号进行强调处理的强调处理部件;根据所述图象信号和所述强调处理的所述除法处理信号,输出所述输出信号的输出处理部件。
(附注22)
根据附注21所述的视觉处理装置,所述输出处理部件进行所述图象信号和所述强调处理的所述除法处理信号的乘法处理。
(附注23)
根据附注21所述的视觉处理装置,所述输出处理部件包含对所述图象信号进行动态范围(DR)压缩的DR压缩部件,进行所述DR压缩的所述图象信号和所述强调处理的所述除法处理信号的乘法处理。
(附注24)
根据附注8~23中的任意一项所述的视觉处理装置,还包括:把第一给定范围的输入图象数据变换到第二给定范围,作为所述图象信号的第一变换部件;
把第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据的第二变换部件;
所述第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定;
所述第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
(附注25)
根据附注24所述的视觉处理装置,所述动态范围压缩函数F4是把所述第二给定范围的所述图象信号变换为所述第三给定范围的所述输出信号的函数。
(附注26)
根据附注24或25所述的视觉处理装置,所述变换部件把所述第一给定范围的最小值和最大值分别变换为所述第二给定范围的最小值和最大值;
所述第二变换部件把所述第三给定范围的最小值和最大值分别变换为所述第四给定范围的最小值和最大值。
(附注27)
根据附注26所述的视觉处理装置,所述第一变换部件和所述第二变换部件的变换分别是线性的变换。
(附注28)
根据附注24~27中的任意一项所述的视觉处理装置,还具有:设定所述第三给定范围的设定部件。
(附注29)
根据附注28所述的视觉处理装置,所述设定部件包括:存储进行图象显示的显示装置的动态范围的存储部件;测定进行图象显示时的显示环境的环境光的亮度的测定部件。
(附注30)
根据附注28所述的视觉处理装置,所述设定部件包括:测定进行图象显示的显示装置的黑电平显示时和白电平显示时的亮度的测定部件。
(附注31)
一种视觉处理装置,包括:
对于输入的图象信号进行空间处理,输出处理信号的输入信号处理部件;
根据按照图象信号的值强调所述图象信号和所述处理信号的差的计算,输出输出信号的信号计算部件。
(附注32)
根据附注31所述的视觉处理装置,所述信号计算部件根据对于由所述强调的计算强调的值,加上把所述进行动态范围压缩的值的计算,输出所述输出信号。
(附注33)
根据附注31或32所述的视觉处理装置,所述信号计算部件对于所述图象信号的值A、所述处理信号的值B、强调量调整函数F6、强调函数F7,对于动态范围压缩函数F8,根据表达式F8(A)+F6(A)*F7(A-B),计算输出信号的值C。
(附注34)
根据附注33所述的视觉处理装置,所述动态范围压缩函数F8是比例系数1的正比例函数。
(附注35)
根据附注33所述的视觉处理装置,所述动态范围压缩函数F8是单调增加函数。
(附注36)
根据附注35所述的视觉处理装置,所述动态范围压缩函数F8是向上凸的函数。
(附注37)
根据附注33所述的视觉处理装置,所述动态范围压缩函数F8是幂函数。
(附注38)
根据附注33所述的视觉处理装置,所述信号计算部件具有:对于所述图象信号和所述处理信号的差分信号进行与所述图象信号的象素值对应的强调处理的强调处理部件;根据所述图象信号和所述强调处理的差分信号,输出所述输出信号的输出处理部件。
(附注39)
根据附注38所述的视觉处理装置,所述输出处理部件进行所述图象信号和所述强调处理的差分信号的加法处理。
(附注40)
根据附注38所述的视觉处理装置,所述输出处理部件包含对所述图象信号进行动态范围(DR)压缩的DR压缩部件,进行所述DR压缩的所述图象信号和所述强调处理的所述差分信号的加法处理。
(附注41)
一种视觉处理装置,包括:
对于输入的图象信号进行空间处理,输出处理信号的输入信号处理部件;
根据对于强调所述图象信号和所述处理信号的差的值,加上对所述图象信号进行灰度修正的值的计算,输出输出信号的信号计算部件。
(附注42)
根据附注41所述的视觉处理装置,所述信号计算部件对于所述图象信号的值A、所述处理信号的值B、强调函数F11、灰度修正函数F12,根据表达式F12(A)+F11(A-B),计算输出信号的值C。
(附注43)
根据附注42所述的视觉处理装置,所述信号计算部件具有:对于所述图象信号和所述处理信号的差分信号进行强调处理的强调处理部件;把所述灰度修正的所述图象信号和所述强调处理的差分信号相加,作为输出信号输出的加法处理部件。
一种视觉处理方法,包括:把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号的第一变换步骤;
根据进行所述图象信号的动态范围压缩的计算或强调所述图象信号和空间处理所述图象信号的处理信号的比的计算的至少一方,输出第三给定范围的输出信号的信号计算步骤;
把所述第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据的第二变换步骤;
所述第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定;
所述第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
(附注45)
一种视觉处理装置,包括:把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号的第一变换部件;
根据进行所述图象信号的动态范围压缩的计算或强调所述图象信号和空间处理所述图象信号的处理信号的比的计算的至少一方,输出第三给定范围的输出信号的信号计算部件;
把所述第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据的第二变换步骤;
所述第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定;
所述第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
(附注46)
一种视觉处理程序,用于使计算机进行视觉处理,包括:把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号的第一变换步骤;
根据进行所述图象信号的动态范围压缩的计算或强调所述图象信号和空间处理所述图象信号的处理信号的比的计算的至少一方,输出第三给定范围的输出信号的信号计算步骤;
把所述第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据的第二变换步骤;
所述第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定;
所述第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
(附注的说明)
附注1所述的视觉处理装置具有输入信号处理部件和信号计算部件。输入信号处理部件对于输入的图象信号进行空间处理,输出处理信号。信号计算部件根据强调通过给定的变换把所述图象信号和所述处理信号变换的各值的差的计算,输出输出信号。
这里,空间处理是对输入的空间处理应用低通滤波器的处理,或者导出输入的图象信号的着眼象素和周围象素的平均值、最大值或最小值的处理(以下在该栏目中相同)。另外,强调的计算是调整增益的计算、抑制过度的对比度的计算、抑制小振幅的噪声成分的计算等(以下在该栏目中相同)。
在本发明的视觉处理装置中,能把图象信号和处理信号变换到其他空间,强调它的差。据此,能实现适合于视觉特性的强调。
附注2所述的视觉处理装置根据附注1所述的视觉处理装置,信号计算部件对于图象信号的值A、处理信号的值B、变换函数F1、变换函数F1的逆变换函数F2、强调函数F3,根据表达式F2(F1(A)+F3(F1(A)-F1(B))),计算输出信号的值C。
强调函数F3例如是调整增益的函数、抑制过度的对比度的函数、抑制小振幅的噪声成分的函数等。
输出信号的值C表示以下的事实。即图象信号的值A、处理信号的值B由变换函数F1变换为不同空间上的值。变换后的图象信号的值和处理信号的值的差分表示不同空间上的清晰信号。由强调函数F3强调的变换后的图象信号和处理信号的差分与变换后的图象信号相加。据此,输出信号的值C表示强调不同空间上的锐度成分信号成分的值。
在本发明的视觉处理装置中,能使用变换到不同空间上的图象信号的值A、处理信号的值B,处理不同空间上的边缘强调、对比度强调。
附注3所述的视觉处理装置根据附注2所述的视觉处理装置,变换函数F1是对数函数。
这里,人的视觉特性一般是对数的。因此,如果变换到对数空间,进行图象信号和处理信号的处理,就能进行适合于视觉特性的处理。
在本发明的视觉处理装置中,视觉效果高的对比度强调、或维持局部对比度的动态范围压缩成为可能。
附注4所述的视觉处理装置根据附注2所述的视觉处理装置,逆变换函数F2是灰度修正函数。
一般,对图象信号,按照输入图象信号的仪器的灰度特性,进行基于灰度修正函数的灰度修正。
在本发明的视觉处理装置中,能通过变换函数F1去掉图象信号的灰度修正,根据线性特性进行处理。据此,能进行光学模糊的修正。
附注5所述的视觉处理装置根据附注2~4中的任意一项所述的视觉处理装置,信号计算部件具有:信号空间变换部件、强调处理部件、逆变换部件。信号空间变换部件进行图象信号和处理信号的信号空间的变换。强调处理部件对于变换后的图象信号和变换后的处理信号的差分信号进行强调处理。逆变换部件对于变换后的图象信号和强调处理后的差分信号的加法信号进行信号空间的逆变换,输出输出信号。
在本发明的视觉处理装置中,信号空间变换部件使用变换函数F1进行图象信号和处理信号的信号空间的变换。强调处理部件使用强调函数F3对于变换后的图象信号和变换后的处理信号的差分信号,进行强调处理。逆变换部件使用逆变换函数F2,对于变换后的图象信号和强调处理后的差分信号的加法信号进行信号空间的逆变换。
附注6所述的视觉处理装置具有输入信号处理部件、信号计算部件。输入信号处理部件对于输入的图象信号进行空间处理,输出处理信号。信号计算部件根据强调图象信号和所述处理信号的比的计算,输出输出信号。
在本发明的视觉处理装置中,图象信号和处理信号的比表示图象信号的锐度成分。
附注7所述的视觉处理装置根据附注6所述的视觉处理装置,信号计算部件根据进行图象信号的动态范围压缩的所述计算,输出所述输出信号。
在本发明的视觉处理装置中,能一边强调图象信号和处理信号的比表示的图象信号的锐度成分,一边进行动态范围的压缩。
附注8所述的视觉处理装置根据附注6或7所述的视觉处理装置,信号计算部件对于图象信号的值A、处理信号的值B、动态范围压缩函数F4、强调函数F5,根据表达式F4(A)*F5(A/B),计算输出信号的值C。
这里,输出信号的值C的值表示以下的事实。即图象信号的值A和处理信号的值B的除法量(A/B)表示锐度成分。另外,F5(A/B)表示清晰信号的强调量。它们表示把图象信号的值A和处理信号的值B变换到对数空间,与强调各差分的处理等价的处理,能进行适合于视觉特性的强调处理。
在本发明的视觉处理装置中,能一边按照必要进行动态范围的压缩,一边强调局部的对比度。
附注9所述的视觉处理装置根据附注8所述的视觉处理装置,动态范围压缩函数F4是比例系数1的正比例函数。
在本发明的视觉处理装置中,能从图象信号的暗部到明亮部,均匀地强调对比度。该对比度的强调成为适合于视觉特性的强调处理。
附注10所述的视觉处理装置根据附注8所述的视觉处理装置,动态范围压缩函数F4是单调增加函数。
在本发明的视觉处理装置中,能一边使用单调增加函数即动态范围压缩函数F4进行动态范围的压缩,一边强调局部的对比度。
附注11所述的视觉处理装置根据附注10所述的视觉处理装置,动态范围压缩函数F4是向上凸的函数。
在本发明的视觉处理装置中,能一边使用向上凸的函数即动态范围压缩函数F4进行动态范围的压缩,一边强调局部的对比度。
附注12所述的视觉处理装置根据附注8所述的视觉处理装置,动态范围压缩函数F4是幂函数。
在本发明的视觉处理装置中,能一边使用幂函数即动态范围压缩函数F4进行动态范围的变换,一边强调局部的对比度。
附注13所述的视觉处理装置根据附注12所述的视觉处理装置,动态范围压缩函数F4的幂函数的指数根据进行图象显示时的对比度的目标值即目标对比度值和进行图象显示时的显示环境的对比度值即实际对比度值决定。
这里,目标对比度值是进行图象显示时的对比度的目标值。实际对比度值是进行图象显示时的显示环境的对比度值,例如在存在环境光时,是由显示装置显示的图象的对比度决定的值。
在本发明的视觉处理装置中,能通过动态范围压缩函数F4把具有等与目标对比度值的动态范围的图象信号进行动态范围压缩为等于实际对比度值的动态范围。
附注14所述的视觉处理装置根据附注8~13中的任意一项所述的视觉处理装置,强调函数F5是幂函数。
在本发明的视觉处理装置中,能一边使用幂函数即强调函数F5强调局部的对比度,一边在视觉上进行动态范围的变换。
附注15所述的视觉处理装置根据附注14所述的视觉处理装置,强调函数F5中的幂函数的指数根据进行图象显示时的对比度的目标值即目标对比度值和进行图象显示时的显示环境的对比度值即实际对比度值决定。
在本发明的视觉处理装置中,能一边使用幂函数即强调函数F5强调局部的对比度,一边在视觉上进行动态范围的变换。
附注16所述的视觉处理装置根据附注14或15所述的视觉处理装置,强调函数F5中的幂函数的指数当所述图象信号的值A比所述处理信号的值B大时,是对于图象信号的值A单调减少的值。
在本发明的视觉处理装置中,在图象信号中比周围象素的亮度高的着眼象素中,能减弱高亮度部分的局部对比度的强调。因此,在视觉处理的图象中,能抑制泛白。
附注17所述的视觉处理装置根据附注14或15所述的视觉处理装置,强调函数F5中的幂函数的指数当所述图象信号的值A比所述处理信号的值B小时,是对于所述图象信号的值A单调增加的值。
在本发明的视觉处理装置中,在图象信号中比周围象素的亮度低的着眼象素中,能减弱低亮度部分的局部对比度的强调。因此,在视觉处理的图象中,能抑制所谓的发黑。
附注18所述的视觉处理装置根据附注14或15所述的视觉处理装置,强调函数F5中的幂函数的指数当图象信号的值A比所述处理信号的值B大时,是对于所述图象信号的值A单调增加的值。
在本发明的视觉处理装置中,在图象信号中比周围象素的亮度高的着眼象素中,能减弱低亮度部分的局部对比度的强调。因此,在视觉处理的图象中,能抑制SN比的恶化。
附注19所述的视觉处理装置根据附注14或15所述的视觉处理装置,强调函数F5中的幂函数的指数是对于图象信号的值A和处理信号的值B大差的绝对值单调增加的值。
这里,对于图象信号的值A和处理信号的值B大差的绝对值单调增加的值能定义为图象信号的值A和处理信号的值B的比越接近1,越增加。
在本发明的视觉处理装置中,能特别强调图象信号中与周围象素的明暗差小的着眼象素的局部对比度,不过分强调图象信号中与周围象素的明暗差大的着眼象素的局部对比度。
附注20所述的视觉处理装置根据附注14~19中的任意一项所述的视觉处理装置,强调函数F5的最大值或最小值的至少一方限制在给定的范围内。
在本发明的视觉处理装置中,能把局部对比度的强调量限制在适当的范围中。
附注21所述的视觉处理装置根据附注8所述的视觉处理装置,信号计算部件具有:强调处理部件和输出处理部件。强调处理部件对于图象信号除以处理信号的除法处理信号进行强调处理。输出处理部件根据图象信号和强调处理的除法处理信号,输出所述输出信号。
在本发明的视觉处理装置中,强调处理部件对于图象信号除以处理信号的除法处理信号,使用强调函数F5进行强调处理。输出处理部件根据图象信号和除法处理信号,输出所述输出信号。
附注22所述的视觉处理装置根据附注21所述的视觉处理装置,输出处理部件进行图象信号和强调处理的除法处理信号的乘法处理。
在本发明的视觉处理装置中,动态范围压缩函数F4是比例系数1的正比例函数。
附注23所述的视觉处理装置根据附注21所述的视觉处理装置,输出处理部件包含对图象信号进行动态范围(DR)压缩的DR压缩部件,进行DR压缩的所述图象信号和强调处理的除法处理信号的乘法处理。
在本发明的视觉处理装置中,DR压缩部件使用动态范围压缩函数F4,进行图象信号的动态范围压缩。
附注24所述的视觉处理装置根据附注8~23中的任意一项所述的视觉处理装置,还包括:第一变换部件、第二变换部件。第一变换部件把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号。第二变换部件把第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据。第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定。第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
在本发明的视觉处理装置中,能一边把图象全体的动态范围压缩到由于环境光的存在而下降的实际对比度值,一边局部维持目标对比度。因此,视觉处理的图象的视觉效果提高。
附注25所述的视觉处理装置根据附注24所述的视觉处理装置,动态范围压缩函数F4是把第二给定范围的图象信号变换为第三给定范围的输出信号的函数。
在本发明的视觉处理装置中,通过动态范围压缩函数F4把图象全体的动态范围压缩到第三给定范围。
附注26所述的视觉处理装置根据附注24或25所述的视觉处理装置,第一变换部件把第一给定范围的最小值和最大值分别变换为第二给定范围的最小值和最大值;
第二变换部件把第三给定范围的最小值和最大值分别变换为第四给定范围的最小值和最大值。
附注27所述的视觉处理装置根据附注26所述的视觉处理装置,第一变换部件和第二变换部件的变换分别是线性的变换。
附注28所述的视觉处理装置根据附注24~27中的任意一项所述的视觉处理装置,还具有:设定第三给定范围的设定部件。
在本发明的视觉处理装置中,能按照进行图象显示的显示装置的显示环境设定第三给定范围。因此,能更恰当地进行环境光的修正。
附注29所述的视觉处理装置根据附注28所述的视觉处理装置,设定部件包括:存储进行图象显示的显示装置的动态范围的存储部件;测定进行图象显示时的显示环境的环境光的亮度的测定部件。
在本发明的视觉处理装置中,能测定环境光的亮度,从测定的亮度和显示装置的动态范围决定实际对比度值。
附注30所述的视觉处理装置根据附注28所述的视觉处理装置,设定部件包括:测定进行图象显示的显示装置的黑电平显示时和白电平显示时的亮度的测定部件。
在本发明的视觉处理装置中,能测定显示环境的黑电平显示时和白电平显示时的亮度,决定实际对比度值。
附注31所述的视觉处理装置包括:输入信号处理部件、信号计算部件。输入信号处理部件对于输入的图象信号进行空间处理,输出处理信号。信号计算部件根据按照图象信号的值强调图象信号和处理信号的差的计算,输出输出信号。
在本发明的视觉处理装置中,能按照图象信号的值强调图象信号和处理信号的差即图象信号的锐度成分。因此,能从图象信号的暗部到明亮部进行适当的强调。
附注32所述的视觉处理装置根据附注31所述的视觉处理装置,信号计算部件根据对于由强调的计算强调的值,加上把进行动态范围压缩的值的计算,输出所述输出信号。
在本发明的视觉处理装置中,能一边按照图象信号的值强调图象信号的锐度成分,一边进行动态范围的压缩。
附注33所述的视觉处理装置根据附注31或32所述的视觉处理装置,信号计算部件对于所述图象信号的值A、所述处理信号的值B、强调量调整函数F6、强调函数F7,对于动态范围压缩函数F8,根据表达式F8(A)+F6(A)*F7(A-B),计算输出信号的值C。
这里的输出信号的值C表示以下的事实。即图象信号的值A、处理信号的值B的差分表示清晰信号。另外,F7(A-B)表示清晰信号的强调量。强调量由强调量调整函数F6按照图象信号的值A调整,按照必要与进行动态范围压缩的图象信号相加。
在本发明的视觉处理装置中,在图象信号A的值大的地方,从小强调量,能维持从暗部到明亮部的对比度。另外,在进行动态范围的压缩时,能维持从暗部到明亮部的局部对比度。
附注34所述的视觉处理装置根据附注33所述的视觉处理装置,动态范围压缩函数F8是比例系数1的正比例函数。
附注35所述的视觉处理装置根据附注33所述的视觉处理装置,动态范围压缩函数F8是单调增加函数。
在本发明的视觉处理装置中,能一边使用单调增加函数即动态范围压缩函数F8进行动态范围的压缩,一边维持局部的对比度。
附注36所述的视觉处理装置根据附注35所述的视觉处理装置,动态范围压缩函数F8是向上凸的函数。
在本发明的视觉处理装置中,能一边使用向上凸的函数即动态范围压缩函数F8进行动态范围的压缩,一边维持局部的对比度。
附注37所述的视觉处理装置根据附注33所述的视觉处理装置,动态范围压缩函数F8是幂函数。
在本发明的视觉处理装置中,能一边使用幂函数即动态范围压缩函数F8进行动态范围的变换,一边维持局部的对比度。
附注38所述的视觉处理装置根据附注33所述的视觉处理装置,信号计算部件具有:强调处理部件和输出处理部件。强调处理部件对于图象信号和处理信号的差分信号进行与图象信号的象素值对应的强调处理。输出处理部件根据图象信号和强调处理的差分信号,输出所述输出信号。
在本发明的视觉处理装置中,强调处理部件使用由强调量调整函数F6调整强调量的强调函数F7,进行强调处理。输出处理部件根据图象信号和差分信号输出输出信号。
附注39所述的视觉处理装置根据附注38所述的视觉处理装置,输出处理部件进行图象信号和强调处理的差分信号的加法处理。
在本发明的视觉处理装置中,动态范围压缩函数F8例如是比例系数1的正比例函数。
附注40所述的视觉处理装置根据附注38所述的视觉处理装置,输出处理部件包含对所述图象信号进行动态范围(DR)压缩的DR压缩部件,进行DR压缩的图象信号和所述强调处理的差分信号的加法处理。
在本发明的视觉处理装置中,DR压缩部件使用动态范围压缩函数F8进行图象信号的动态范围的压缩。
附注41所述的视觉处理装置包括:输入信号处理部件和信号计算部件。输入信号处理部件对于输入的图象信号进行空间处理,输出处理信号。信号计算部件根据对于强调图象信号和处理信号的差的值,加上对图象信号进行灰度修正的值的计算,输出输出信号。
在本发明的视觉处理装置中,图象信号和处理信号的差表示图象信号的锐度成分。另外,锐度成分的强调和图象信号的灰度修正独立进行。因此,与图象信号灰度修正量无关,能进行一定锐度成分的强调。
附注42所述的视觉处理装置根据附注41所述的视觉处理装置,信号计算部件对于所述图象信号的值A、所述处理信号的值B、强调函数F11、灰度修正函数F12,根据表达式F12(A)+F11(A-B),计算输出信号的值C。
这里,输出信号的值C表示以下的事实。图象信号的值A和处理信号的值B的差分(A-B)表示清晰信号。另外,F11(A-B)表示清晰信号的强调处理。表示把灰度修正的图象信号和强调处理的清晰信号相加。
在本发明的视觉处理装置中,与图象信号灰度修正无关,能进行一定对比度的强调。
附注43所述的视觉处理装置根据附注42所述的视觉处理装置,信号计算部件具有:强调处理部件和加法处理部件。强调处理部件对于图象信号和所述处理信号的差分信号进行强调处理。加法处理部件把所述灰度修正的所述图象信号和所述强调处理的差分信号相加,作为输出信号输出。
在本发明的视觉处理装置中,强调处理部件对于差分信号,使用强调函数F11进行强调处理。加法处理部件把使用灰度修正函数F12修正灰度的图象信号和强调处理的差分信号相加。
附注44所述的视觉处理方法包括:第一变换步骤、信号计算步骤和第二变换步骤。第一变换步骤把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号。信号计算步骤根据进行所述图象信号的动态范围压缩的计算或强调所述图象信号和空间处理所述图象信号的处理信号的比的计算的至少一方,输出第三给定范围的输出信号。第二变换步骤把所述第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据。所述第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定。所述第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
在本发明的视觉处理方法中,能一边把图象全体的动态范围压缩到由于环境光的存在而下降的实际对比度值,一边局部维持目标对比度值。因此,视觉处理的图象的视觉效果提高。
附注45所述的视觉处理装置,包括:第一变换部件、信号计算部件、第二变换步骤。第一变换部件把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号。信号计算部件根据进行所述图象信号的动态范围压缩的计算或强调所述图象信号和空间处理所述图象信号的处理信号的比的计算的至少一方,输出第三给定范围的输出信号。第二变换步骤把所述第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据。第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定。第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
在本发明的视觉处理装置中,能一边把图象全体的动态范围压缩到由于环境光的存在而下降的实际对比度值,一边局部维持目标对比度值。因此,视觉处理的图象的视觉效果提高。
附注46所述的视觉处理程序,用于使计算机进行视觉处理,包括:第一变换步骤、信号计算步骤和第二变换步骤。第一变换步骤把第一给定范围的输入图象数据变换到第二给定范围,作为图象信号。信号计算步骤根据进行所述图象信号的动态范围压缩的计算或强调所述图象信号和空间处理所述图象信号的处理信号的比的计算的至少一方,输出第三给定范围的输出信号。第二变换步骤把所述第三给定范围的所述输出信号变换到第四给定范围,作为输出图象数据。所述第二给定范围根据进行图象显示时的对比度的目标值即目标对比度值决定。所述第三给定范围根据进行图象显示时的显示环境的对比度值即实际对比度值决定。
在本发明的视觉处理程序中,能一边把图象全体的动态范围压缩到由于环境光的存在而下降的实际对比度值,一边局部维持目标对比度值。因此,视觉处理的图象的视觉效果提高。