附图说明
图1是表示本发明的第1实施例所涉及的摄像装置的示意图。
图2是表示本发明的第1实施例所涉及的摄像装置的色噪声修正部的一例的示意图。
图3是表示本发明的第1实施例所涉及的摄像装置的色噪声修正强度决定处理的一例的图。
图4(a)是表示与本发明的第1实施例所涉及的摄像装置的色差增益控制联动的色噪声修正处理的修正参数的控制的图。
图4(b)是表示本发明的第1实施例所涉及的摄像装置的色差增益为1倍时的色差空间中的修正范围的图。
图4(c)是表示本发明的第1实施例所涉及的摄像装置的色差增益为1.5倍时的色差空间中的修正范围的图。
图5是表示本发明的第1实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。
图6是表示本发明的第2实施例所涉及的摄像装置的色噪声修正部的一例的示意图。
图7(a)是表示与本发明的第2实施例所涉及的摄像装置的亮度相应的修正强度的计算处理的图。
图7(b)是表示与本发明的第2实施例所涉及的摄像装置的亮度伽玛控制联动的色噪声修正处理的修正特性的控制的图。
图8是表示本发明的第2实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。
图9(a)是表示与本发明的第3实施例所涉及的摄像装置的亮度以及亮度边缘相应的修正强度的计算处理的图。
图9(b)是表示与本发明的第3实施例所涉及的摄像装置的亮度伽玛控制联动的色噪声修正处理的修正特性的控制的图。
图10是表示本发明的第3实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。
图11是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理的一例的第一图。
图12是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的第一图。
图13是表示本发明的第4实施例所涉及的摄像装置的色噪声修正强度决定处理的一例的图。
图14(a)是本发明的第4实施例所涉及的摄像装置的白平衡已恰当地动作时的色噪声修正控制处理。
图14(b)是本发明的第4实施例所涉及的摄像装置的白平衡不恰当地动作时的色噪声修正控制处理。
图15是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的第二图。
图16是表示本发明的第5实施例所涉及的摄像装置的色噪声修正控制处理的一例的图。
图17是表示本发明的第5实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。
图18是表示本发明的第6实施例所涉及的图像信号处理装置的示意图。
具体实施方式
以下,参照附图,对本发明的实施方式所涉及的摄像装置进行说明。
[实施例1]
图1是表示本发明的第1实施例所涉及的摄像装置的示意图。本实施例所涉及的摄像装置适宜地采用摄像部1、照相机信号处理部2、照相机控制部3、输入部4、和参数保存部5来构成。另外,图1中的各构成间的箭头也未必限定于此,也可根据构成的追加、删除、置换等的变形例而适宜地删除、变更。
摄像部1例如适宜地采用透镜101、光圈102、摄像元件103、AFE部104、和AD部105来构成,且对经由透镜101以及光圈102而在CCD或者CMOS等的摄像元件103中接受到的光学像进行光电变换,由CDS、AGC等的AFE部104实施模拟信号处理,由AD部105变换成数字信号,然后作为摄像数据输出。另外,图1所示的摄像部1的构成终究只是一例,例如为了使变焦倍率、合焦点位置可变,透镜101也可以是由多个变焦透镜、聚焦透镜组成的透镜组。此外,相反地,透镜101也可以是一片泛焦透镜。或者,也可以是不具备光圈102的构成。即便是按照这样的变焦倍率、合焦点位置、光圈的调整功能是否必要等而对摄像部1的构成要素进行了取舍的情况,本发明也可没有问题地适用。
照相机信号处理部2通过进行基于规定的输入输出特性的信号处理,从而根据自摄像部1所输入的摄像数据来生成影像信号,并输出至未图示的影像显示部、影像记录部、影像压缩部等中,例如适宜地采用亮度/颜色信号生成部201、亮度伽玛部202、亮度增益部203、WB修正部204、颜色伽玛部205、色差变换部206、色差增益部207、和色噪声修正部208来构成。
亮度/颜色信号生成部201通过对自摄像部1所输入的摄像数据进行矩阵运算,从而生成亮度信号和颜色信号。亮度信号例如是表示每像素的亮度值的信号,颜色信号例如是表示每像素的RGB成分的大小的信号。针对所生成的亮度信号,由亮度伽玛部202进行伽玛处理,由亮度增益部203进行增益处理,来修正亮度信号。另一方面,针对所生成的颜色信号,由WB修正部204进行RGB成分的每种成分的增益处理,由颜色伽玛部205进行伽玛处理,由色差变换部206进行用于从RGB组成的颜色信号变换成色差信号的矩阵运算处理,由色差增益部207进行针对色差信号的增益处理,由色噪声修正部208进行色噪声修正处理,来修正颜色信号。色噪声修正部208中的色噪声修正处理的详情,将使用图2在后面叙述。
照相机信号处理部2通过这些处理,能够将高画质且符合规定格式的亮度信号、颜色信号作为影像信号来输出。另外,图1所示的照相机信号处理部2的构成终究只是一例,描述了主要的信号处理的一部分。因而,既可以改变各个信号处理的次序、处理次数,也可以增加未图示的信号处理。例如,也可以是不仅在亮度伽玛处理的后级还在前级进行亮度增益处理,并在进行非线性处理之前能调整亮度信号的信号水平的标准化这样的构成。此外,也可在各个信号处理的过程中或前后,运算信号的平均值、频数分布、高频成分的程度等,作为明亮度评价值、焦点评价值、白平衡评价值而输出至照相机控制部3。在该情况下,后述的照相机控制部3能够参照评价值来控制聚焦、曝光、信号处理的输入输出特性。此外,照相机信号处理部2进行亮度噪声修正处理、色调映射处理、边缘强调处理等处理,或者经由未图示的影像存储器使用在不同定时所拍摄到的影像的信息来进行宽动态范围处理、三维降噪处理,从而也可谋求更高的高画质化。此外,也可在各个信号处理的过程中或后级进行数字变焦处理、被摄体识别处理等,来谋求高功能化。即便是按照这样的画质目标、功能的是否必要而对照相机信号处理部2的构成要素进行了取舍的情况,只要具备色噪声修正部208,则本发明便可没有问题地适用。
照相机控制部3使用由照相机信号处理部2所获取的评价值、由输入部4所获取的用户输入信息等,来控制摄像部1、照相机信号处理部2的拍摄条件,例如适宜地采用摄像控制部301、WB控制部302、伽玛控制部303、增益控制部304、和色噪声修正部305来构成。在此,所谓拍摄条件,是指摄像部1中的光学条件、曝光的状态、照相机信号处理部2中的各个信号处理的输入输出特性等。即,例如表示相当于摄像部1中的透镜101的变焦倍率、聚焦位置、光圈102的光圈量即F值、摄像元件102的快门时间、灵敏度特性、AFE部103的模拟增益、照相机信号处理部2中的矩阵处理的矩阵系数、增益处理的增益量、伽玛处理的伽玛特性、色噪声修正处理部208的修正强度等的各种参数。
摄像控制部301使用由照相机信号处理部2所获取的焦点评价值、明亮度评价值来控制摄像部1中的透镜101的聚焦位置、光圈102的光圈量、摄像元件102的快门时间、灵敏度特性、AFE部103的模拟增益等,以使这些评价值接近于规定的目标值。作为焦点评价值,例如能够使用亮度信号的高频成分的积分值,能够将焦点评价值成为最大的聚焦位置视作针对主要被摄体的合焦点位置。此外,作为明亮度评价值,例如能够使用亮度信号的平均值、频数分布,能够将明亮度评价值最接近于规定的水平、分布的光圈量、快门时间、模拟增益视作恰当曝光。由此,能够自动地实现适于场景、被摄体的调焦、曝光。或者,以由输入部4所获取的用户输入信息为基础来控制透镜101的变焦倍率、聚焦位置、摄像元件102的快门时间、灵敏度特性、AFE部103的模拟增益。由此,用户能手动地进行所期望的调整。
WB控制部302对照相机信号处理部2中的WB修正部204的RGB成分的每种成分的增益量进行控制,以使由照相机信号处理部2所获取的白平衡评价值接近于规定的目标值。由此,能够自动地实现适于场景、被摄体的白平衡。作为白平衡评价值,例如能够使用无彩色被摄体的颜色信号的平均色调、平均饱和度,能够将白平衡评价值最接近于无彩色的RGB成分的每种成分的增益量视作最佳的增益量。由此,即便是拍摄场景的色温度发生了变动的情况,也能够自动地实现白平衡修正。或者,也可以由输入部4所获取的用户输入信息为基础来控制照相机信号处理部2中的WB修正部204的RGB成分的每种成分的增益量,即便是存在多个色温度的光源的情况等的、自动控制下的白平衡较为困难的情况下,用户也能手动地进行所期望的调整。伽玛控制部303以由输入部4所获取的用户输入信息为基础来分别控制照相机信号处理部2中的亮度伽玛部202针对亮度信号的伽玛特性、颜色伽玛部205针对颜色信号的伽玛特性。由此,能够手动地调整低照度被摄体的明亮度、颜色的浓度。或者,也可以与摄像控制部301的曝光控制的信息联动地进行控制。此外,输入输出特性并不限于伽玛,也可成为非线性的色调曲线,通过扩展暗处、亮处等所期望的区域的信号,从而能够提高所期望的明亮度的区域的视觉辨识性。
增益控制部304以从输入部4获取的用户输入信息为基础来分别控制照相机信号处理部2中的亮度增益部203针对亮度信号的增益量、色差增益部207针对色差信号的增益特性。由此,能够手动地调整影像整体的明亮度、颜色的浓度。或者,也可以与摄像控制部301的曝光控制的信息联动地进行控制。色噪声修正部305也可以使用其他拍摄条件、即摄像控制部301中的光学条件或者曝光的控制信息、或者WB控制部302中的白平衡的控制信息、或者伽玛控制部303中的伽玛的控制信息、或者增益控制部304中的增益的控制信息,来控制照相机信号处理部2中的色噪声修正部208的色噪声修正的修正参数。由此,能够根据各个特性来修正依赖于变焦倍率、聚焦位置、光圈量等光学特性、光圈量、快门速度、模拟增益量等曝光特性、伽玛、增益等信号处理的输入输出特性而发生变化的色噪声,从而与拍摄场景、被摄体无关地适当地降低色噪声以提高画质。另外,关于色噪声修正控制部305的色噪声修正控制的详情,将使用图2在后面叙述。此外,在照相机控制部3的各个控制中,控制的目标值、运算中所使用的系数等是读出保存在参数保存部5中的参数来进行使用的。
输入部4将用户输入从按钮、触摸面板等的未图示的用户输入装置、或以LAN、RS-232C等的网络相连接的未图示的外部设备而向照相机控制部3输入。由此,照相机控制部3可以在各个控制中以用户输入为基础来进行控制的目标值或特性的变更,切换自动控制和手动控制,或者决定手动控制的控制值。
参数保存部5具备非易失性的记录介质,保存照相机控制部3所采用的控制的目标值、运算中所使用的系数等。由此,通过变更参数保存部5所记录的各种参数,从而上市后的调整、每台照相机的个别调整变得容易。此外,参数保存部5也可将色噪声修正控制部305根据照相机控制部3的其他拍摄条件对修正参数进行控制时的、拍摄条件与修正参数之间的对应,作为表数据来保存。此时,色噪声修正控制部305在照相机控制部3的其他拍摄条件为规定的拍摄条件的情况下,读出所对应的修正参数来使用,且在不是所对应的规定的拍摄条件的情况下,使用与邻近的拍摄条件对应的修正参数、或者根据与多个邻近的拍摄条件对应的修正参数进行插补运算后的修正参数来加以利用,从而能够降低运算成本,能够谋求处理时间的缩短、程序容量的降低。
图2是表示本发明的第1实施例所涉及的摄像装置的色噪声修正部208的详情的一例的示意图,由于表示色噪声修正部208的色噪声修正处理的一例,因此仅抽出图1所示的摄像装置的色噪声修正部208以及色噪声修正控制部305而进行了描述。
色噪声修正部208适宜地采用修正目标值计算部208_1、修正强度计算部208_2、和修正部208_3来构成。修正目标值计算部208_1由从色差增益部207所输入的颜色信号来计算修正目标值。所谓修正目标值,是指对关注像素进行色噪声修正后的颜色信号的目标值,在理想情况下是指无色噪声的颜色信号。对于修正目标值,例如能够根据关注像素的邻近区域的颜色信号的平均值来计算,在该情况下能够获取以像素为单位降低了大小不同的噪声影响的颜色信号。此外,由于在被摄体的轮廓或有图案的区域中,有可能在邻近区域内存在具有不同颜色的多个被摄体,因此也可代替使用关注像素的邻近区域之中仅与关注像素的颜色信号的差分为规定阈值以下的像素的颜色信号的平均值,在该情况下能够将具有与关注像素不同的颜色的被摄体的影响除外。此时,阈值能够使用预先规定的固定值、修正目标值计算部208_1基于从色噪声修正控制部305所获取的修正参数而决定出的值等。修正强度计算部208_2基于从色噪声修正控制部305所获取的修正参数,比较在修正目标值计算部208_1中计算出的修正目标值和关注像素的颜色信号,来估计色噪声成分,并决定关注像素中的修正强度。修正强度的决定方法将使用图3在后面叙述。修正部208_3使用在修正目标值计算部208_1中计算出的修正目标值、和在修正强度计算部208_2中决定出的修正强度,来进行关注像素的颜色信号的修正,并进行输出。例如能够通过使关注像素的颜色信号以与修正强度的大小相应的比例接近于修正目标值,来实现关注像素的颜色信号的修正。由此,色噪声修正部208可以按照色噪声修正控制部305所控制的修正参数来估计颜色信号的色噪声成分,并进行修正。
图3是表示本发明的第1实施例所涉及的摄像装置的色噪声修正强度决定处理的一例的图。图3所示的色噪声修正强度决定处理是由图2所示的修正强度计算部208_2来执行。
在图3中,a为用于色噪声估计的第1阈值,b为用于色噪声估计的第2阈值,d为色差空间上的关注像素的颜色信号与修正目标值之间的差分,且示出色差空间上的关注像素的颜色信号与修正目标值之间的差分d、和色噪声修正强度决定处理所决定的修正强度k的关系。通过比较关注像素的颜色信号与修正目标值之间的差分d、和第1阈值a以及第2阈值b,来进行色噪声估计。即,在关注像素的颜色信号与修正目标值之间的差分d小于第1阈值a的情况下,估计出d是在关注像素的颜色信号中产生的色噪声成分,而使修正强度变为最大;在该差分d大于第2阈值b的情况下,估计出是除了色噪声之外的影响、即在关注像素的邻近区域内存在颜色不同的多个被摄体,而使修正强度变为最小;在该差分d大于第1阈值a且小于第2阈值b的情况下,估计出有可能同时存在双方影响,而随着差分d的值变大将修正强度决定为逐渐变小。通过使用如此决定出的修正强度,修正部208_3能够在被摄体的平坦部降低颜色信号的色噪声成分,另一方面,在被摄体的轮廓部能够抑制颜色再现下降。此外,色噪声修正控制部305作为修正参数而考虑色噪声的噪声水平的特性,能够通过控制第1阈值a、第2阈值b来控制进行色噪声估计并加以修正的修正范围,通过控制修正强度的最大值kmax来控制色噪声修正的强度。因而,通过根据照相机控制部3的拍摄条件来控制这些修正参数,从而即便因拍摄条件改变而色噪声的特性发生改变,也能进行修正,可以进行与拍摄场景、被摄体无关的适当色噪声修正的控制。
图4是表示本发明的第1实施例所涉及的摄像装置的色噪声修正控制处理的一例的图。在图4中,作为与照相机控制部3中的拍摄条件的控制联动的色噪声修正控制处理的一例,示出与照相机信号处理部2中的色差增益部207的色差增益的量的控制联动地控制色噪声修正部208时的例子。在图4中,图4(a)是表示与色差增益控制联动的色噪声修正处理的修正参数的控制的图,图4(b)是表示色差增益为1倍时的色差空间中的修正范围的图,图4(c)是表示色差增益为1.5倍时的色差空间中的修正范围的图。图4(a)所示的色噪声修正控制处理由图1或者图2所示的色噪声修正控制部305来执行。
如图4(a)所示,色噪声修正控制部305进行控制,使得随着色差增益变大从而修正强度的最大值kmax、第1阈值a、第2阈值b也变大。例如,相对于图4(b)所示的色差增益为1倍的情况,在图4(c)所示的色差增益为1.5倍的情况下,关注像素的颜色信号与修正目标值之间的差分d成为1.5倍。此时,色噪声修正控制部305通过控制使得修正范围也成为1.5倍,从而在任何色差增益的情况下均可以同样地估计色噪声。由此,在照相机控制根据自动控制或用户操作的手动控制的结果而使得色差增益变大了的情况下,即便由于色差增益变大而因色噪声所产生的颜色信号的偏差变大,也可获得同样的色噪声修正的效果。
另外,在图4(a)的示例中,以色差增益为最小值和最大值时的修正强度以及修正范围所分别对应的修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2作为基准,对与当前的色差增益对应的修正强度的最大值kmax、第1阈值a、第2阈值b进行插补运算。此时,也可构成为准备与3点以上的多个色差增益对应的多个修正强度控制值、修正范围控制值,根据邻近的控制值来插补与当前的色差增益对应的修正强度、修正范围,进行计算。此外,也可构成为用函数近似色差增益与修正强度、修正范围之间的关系,将函数的系数作为控制值,以函数为基础来计算与当前的色差增益对应的修正强度、修正范围。通过进行这样的运算,即便相对于色差增益而噪声水平具有非线性地变化这样的特性,由于噪声水平的近似精度也变高,因此可以高精度地进行色噪声的修正。
图5是表示本发明的第1实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。图5所示的色噪声修正控制处理顺序由图1或者图2所示的色噪声修正控制部305来执行。
在图5所示的色噪声修正控制处理顺序中,在ST0501中从参数保存部5分别获取修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2。在ST0502中,从增益控制部304获取色差增益的控制值。在ST0503中,使用修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2,根据图4(a)所示那样的特性,来计算与当前的色差增益的控制值对应的修正强度kmax和修正范围a、b。在ST0504中,将计算结果传送至修正强度计算部208_2。由此,修正强度计算部208_2可以对色差增益的控制值适时地进行最佳的修正强度的计算。另外,ST0501中的来自参数保存部5的修正强度控制值以及修正范围控制值的获取并不限于每次都要实施,也可在电源接通时仅进行一次,或者仅在保存在参数保存部5中的值被更新的情况下进行,从而可以降低处理负荷。
另外,在图4以及图5中,虽然示出了与照相机信号处理部2中的色差增益部207的色差增益的量的控制联动地控制色噪声修正部208时的例子,但是即便对于其他拍摄条件的控制,也同样能够联动地控制色噪声修正部208。例如,考虑到由于图1所示的光圈102的光圈量、AFE部104中的模拟增益的大小也会导致色噪声的偏差变大的情况,色噪声修正控制部305也可从摄像控制部301获取光圈量、模拟增益的大小、快门时间、摄像元件的输入输出特性等的曝光控制的控制值,来控制色噪声修正部208的修正参数。此外,也可获取多个拍摄条件的控制值并组合使用,来控制色噪声修正部208的修正参数。在该情况下,例如将保存在参数保存部5中的修正强度控制值、修正范围控制值作为与色差增益和模拟增益的两轴对应的二维信息来保存,修正强度计算部208_2对与当前的色差增益以及模拟增益对应的修正强度和修正范围进行插补运算加以计算,从而可以与多个拍摄条件的控制值联动。或者,通过对多个拍摄条件的控制值阶段性地控制色噪声修正部208的修正参数,从而也可考虑与整个拍摄条件相应的色噪声的特性来进行色噪声的修正。在该情况下,例如将保存在参数保存部5中的修正强度控制值、修正范围控制值分别作为针对色差增益的一维信息和针对模拟增益的一维信息来保存,修正强度计算部208_2首先对与当前的色差增益对应的修正强度和修正范围进行插补运算加以计算,然后进行与当前的模拟增益对应地修正这样的运算,从而可以与多个拍摄条件的控制值联动,此时能够降低在控制值增加了的情况下所保存的参数的数目。
此外,色噪声修正部208也可与其他拍摄条件的控制联动地控制除修正范围、修正强度之外的修正参数。例如,在修正目标值计算部208_1进行修正目标值的计算之际,在代替使用关注像素的邻近区域之中仅与关注像素的颜色信号的差分为规定阈值以下的像素的颜色信号的平均值的情况下,通过与其他拍摄条件的控制联动地控制阈值,从而即便照相机的拍摄条件改变,也能够适当地将具有与关注像素不同的颜色的被摄体的影响除外。
这样,根据本实施例,通过根据照相机的拍摄条件来控制色噪声修正的修正参数,从而即便是拍摄场景、被摄体改变了的情况下,也可始终进行适当的色噪声修正,可以提高画质。
[实施例2]
图6是表示本发明的第2实施例所涉及的摄像装置的色噪声修正部的一例的示意图。第2实施例所涉及的摄像装置的其他构成与第1实施例相同,针对相同构成赋予相同的编号,并适宜地省略说明。在此,以存在差异的色噪声修正部为主来进行说明。在图6中,为了示出色噪声修正部208’的色噪声修正处理的一例,仅提取摄像装置的色噪声修正部208’以及色噪声修正控制部305来进行描述。
色噪声修正部208’适宜地采用修正目标值计算部208’_1、修正强度计算部208’_2、修正部208’_3、和修正强度特性计算部208’_4来构成,与图2所示的表示本发明的第1实施例所涉及的摄像装置的色噪声修正部的一例的示意图之间在构成上的差异点在于,具备了修正强度特性计算部208’_4。修正目标值计算部208’_1以及修正部208’_3进行与图2所示的表示本发明的第1实施例所涉及的摄像装置的色噪声修正部的一例的示意图相同的动作。修正强度特性计算部208’_4根据从亮度增益部203所输入的亮度信号或者从色差增益部207所输入的颜色信号,来计算修正强度计算部208’_2所计算的修正强度的特性。修正强度特性计算部208’_4也可取代亮度信号、颜色信号而根据通过对亮度信号或者颜色信号进行带通滤波处理、高通滤波处理所获得的特定频率成分等的特征量,来计算修正强度计算部208’_2所计算的修正强度的特性。修正强度计算部208’_2基于从色噪声修正控制部305所获取的修正参数和从修正强度特性计算部208’_4所获取的修正强度的特性,比较在修正目标值计算部208’_1中计算出的修正目标值和关注像素的颜色信号,来估计色噪声成分,并决定关注像素中的修正强度。由此,色噪声修正部208’可以按照色噪声修正控制部305所控制的修正参数来估计颜色信号的色噪声成分并加以修正,且可以使修正特性根据输入信号的亮度、颜色而不同。即,例如可以使具有特定的范围的亮度或者色调或者饱和度的像素的修正强度变强或变弱。
图7是表示本发明的第2实施例所涉及的摄像装置的色噪声修正控制处理的一例的图。在图7中,作为与照相机控制部3中的拍摄条件的控制联动的色噪声修正控制处理的一例,示出色噪声修正部208’是使修正强度的特性根据亮度而变化的构成、且与照相机信号处理部2中的亮度伽玛部202的亮度伽玛的伽玛特性的控制联动地控制色噪声修正部208’时的例子。在图7中,图7(a)是表示与亮度相应的修正强度的计算处理的图,图7(b)是表示与亮度伽玛控制联动的色噪声修正处理的修正特性的控制的图。与图7(a)所示的亮度伽玛相应的修正强度计算处理由图6所示的修正强度特性计算部208’_4来执行,与图7(b)所示的亮度相应的色噪声修正特性控制处理由图6所示的色噪声修正控制部305来执行。
如图7(a)所示,修正强度特性计算部208’_4计算修正强度亮度修正值lw,使得成为随着所输入的亮度信号变得比规定的亮度阈值lth大而修正强度k也变大这样的修正强度特性。通过使用修正强度亮度修正值lw来对修正强度的最大值kmax进行修正,从而能够设为高亮度部的修正强度变大而低亮度部的修正强度变小这样的修正强度特性。由此,可以在高亮度部色噪声易显眼的情况下,仅对高亮度部的色噪声加强修正,在低亮度部难以出现因色噪声修正所带来的弊端。如图7(b)所示,色噪声修正控制部305进行控制,使得随着伽玛控制部303所控制的亮度伽玛的伽玛系数变大而亮度阈值lth也变大。例如,在相对于亮度伽玛的伽玛系数为0、即线性输入输出特性时的亮度阈值lth1而伽玛系数变大的情况下,将针对与lth1相同的输入亮度的输出亮度即lth2设为亮度阈值。由此,即便是照相机控制根据自动控制、用户操作的手动控制的结果而增大了亮度伽玛的情况下,也会考虑对亮度信号和颜色信号进行独立的信号处理,不受亮度伽玛控制的影响地,以相同的修正特性来获得色噪声修正的效果。
图8是表示本发明的第2实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。图8所示的色噪声修正控制处理顺序由图6所示的色噪声修正控制部305来执行。
在图8所示的色噪声修正控制处理顺序中,在ST0801中从参数保存部5分别获取修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2。在ST0802中,从增益控制部304获取色差增益的控制值。在ST0803中,使用修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2,根据图4(a)所示那样的特性,来计算与当前的色差增益的控制值对应的修正强度kmax和修正范围a、b。在ST0804中,将计算结果传送至修正强度计算部208_2。在ST0805中,从参数保存部5分别获取修正强度亮度修正值控制值lw1、lw2以及亮度阈值控制值lth1、lth2。在ST0806中,从伽玛控制部303获取亮度伽玛的控制值。在ST0807中,使用亮度阈值控制值lth1、lth2,根据图7(b)所示那样的特性,来计算与当前的亮度伽玛的控制值对应的亮度阈值lth。在ST0808中,将计算结果和修正强度亮度修正值控制值lw1、lw2传送至修正强度特性计算部208’_4。由此,修正强度特性计算部208’_4针对亮度伽玛的控制值,计算与亮度相应的修正强度的特性,基于所计算的修正强度的特性,修正强度计算部208’_2能够对色差增益的控制值适时地进行最佳的修正强度的计算。
这样,根据本实施例,在高亮度部对显眼的色噪声进行修正的情况下,通过根据照相机的拍摄条件来控制色噪声修正的修正参数,从而即便是拍摄场景、被摄体改变了的情况下,也能始终适当进行高亮度部的色噪声修正,可以提高画质。
[实施例3]
图9是表示本发明的第3实施例所涉及的摄像装置的色噪声修正控制处理的一例的图。作为装置构成,与第2实施例所涉及的摄像装置相同,对于各构成的详情将适宜地省略说明。在图9中,作为与照相机控制部3中的拍摄条件的控制联动的色噪声修正控制处理的一例,示出色噪声修正部208’是使修正强度的特性根据亮度以及亮度边缘而变化的构成、且与照相机信号处理部2中的亮度伽玛部202的亮度伽玛的伽玛特性的控制联动地控制色噪声修正部208时的例子。在图9中,图9(a)是表示与亮度以及亮度边缘相应的修正强度的计算处理的图,图9(b)是表示与亮度伽玛控制联动的色噪声修正处理的修正特性的控制的图。图9(a)所示的与亮度相应的修正强度计算处理由图6所示的修正强度特性计算部208’_4来执行,图9(b)所示的与亮度伽玛相应的色噪声修正特性控制处理由图6所示的色噪声修正控制部305来执行。
如图9(a)所示,修正强度特性计算部208’_4计算修正强度亮度边缘修正值ew,使得成为随着所输入的亮度信号的亮度边缘量变得比规定的亮度边缘阈值eth大而修正强度k也变大这样的修正强度特性。例如,修正强度特性计算部208’_4通过对所输入的亮度信号进行带通滤波处理、高通滤波处理作为前处理,从而能够获取亮度边缘量。通过使用修正强度亮度边缘修正值ew、图7(a)所示的修正强度亮度修正值lw对修正强度的最大值kmax进行修正,从而能够设为高亮度部、亮度边缘部的修正强度变大而低亮度部、亮度平坦部的修正强度变小这样的修正强度特性。由此,可以将在高亮度的边缘部易产生的、因透镜像差等所引起的伪色彩作为噪声来修正,且在低亮度部、亮度平坦部难以出现因色噪声修正所带来的弊端。如图9(b)所示,色噪声修正控制部305进行控制,使得随着伽玛控制部303所控制的亮度伽玛的伽玛系数变大而亮度边缘阈值eth变小。例如,在相对于亮度伽玛的伽玛系数为0、即线性输入输出特性时的规定的两输入间的输出亮度差即亮度边缘阈值eth1而伽玛系数变大的情况下,将相同输入间的输出亮度差即eth2设为亮度边缘阈值。由此,即便是照相机控制根据自动控制、用户操作的手动控制的结果而增大了亮度伽玛的情况下,也能考虑对亮度信号和颜色信号进行独立的信号处理,不受亮度伽玛控制的影响,以相同的修正特性来获得色噪声修正的效果。
图10是表示本发明的第3实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。图10所示的色噪声修正控制处理顺序由图6所示的色噪声修正控制部305来执行。
在图10所示的色噪声修正控制处理顺序中,在ST1001中从参数保存部5分别获取修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2。在ST1002中,从增益控制部304获取色差增益的控制值。在ST1003中,使用修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2,根据图4(a)所示那样的特性,来计算与当前的色差增益的控制值对应的修正强度kmax和修正范围a、b。在ST1004中,将计算结果传送至修正强度计算部208’_2。在ST1005中,从参数保存部5分别获取修正强度亮度修正值控制值lw1、lw2、修正强度亮度边缘修正值控制值ew1、ew2、亮度阈值控制值lth1、lth2以及亮度边缘阈值控制值eth1、eth2。在ST1006中,从伽玛控制部303获取亮度伽玛的控制值。在ST1007中,使用亮度阈值控制值lth1、lth2,根据图7(b)所示那样的特性,来计算与当前的亮度伽玛的控制值对应的亮度阈值lth,使用亮度边缘阈值控制值eth1、eth2,根据图9(b)所示那样的特性,来计算亮度边缘阈值eth。在ST1008中,将计算结果和修正强度亮度修正值控制值lw1、lw2、修正强度亮度边缘修正值控制值ew1、ew2传送至修正强度特性计算部208’_4。由此,修正强度计算部208’_4针对亮度伽玛的控制值,计算与亮度以及亮度边缘量相应的修正强度的特性,基于所计算的修正强度的特性,修正强度计算部208’_2可以对色差增益的控制值适时地进行最佳的修正强度的计算。
这样,根据本实施例,在将高亮度边缘部所产生的伪色彩作为噪声来修正的情况下,通过根据照相机的拍摄条件来控制色噪声修正的修正参数,从而即便是拍摄场景、被摄体改变了的情况,也能始终适当地进行在高亮度边缘部所产生的伪色彩的修正,可以提高画质。
[实施例4]
图11是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理的一例的第一图。作为装置构成,与第2实施例所涉及的摄像装置相同,关于各构成的详情将适宜地省略说明。在图11中,作为与照相机控制部3中的拍摄条件的控制联动的色噪声修正控制处理的一例,示出色噪声修正部208’是使修正强度的特性根据色调以及饱和度而变化的构成、且与照相机信号处理部2中的WB修正部204的白平衡增益的控制联动地控制色噪声修正部208时的例子。图11所示的与白平衡控制相应的色噪声修正特性控制处理由图6所示的色噪声修正控制部305来执行。
如图11所示,修正强度特性计算部208’_4将规定的色调以及饱和度的范围的色噪声设为修正对象地决定实施范围。由此,能够仅修正易显眼的具有特定的颜色成分的色噪声。另外,在图11中,用圆形来图示色噪声修正的实施范围,但这是为了使说明简化。实际上,也可以设为修正范围按照每种颜色成分可变这样的椭圆形状,也可设为矩形而用于在色差平面上可简单地进行范围的内外的判定的处理。此外,并不限于仅将实施范围内设为修正对象的情况,也可设为在实施范围的内外改变修正强度、或者修正强度根据距实施范围的中心的距离而连续地改变这样的修正强度特性。如图11所示,色噪声修正控制部305根据WB控制部302所控制的白平衡增益来控制色噪声修正的实施范围。例如,控制成:鉴于色温度A中的黑点根据WB控制的白平衡增益而移动了何种程度,来移动色噪声修正的实施范围。在此,所谓黑点,是指无彩色的被摄体在色差空间上的点,假设在白平衡根据拍摄时的色温度已恰当地动作的情况下,与色差空间上的原点一致。由此,照相机控制根据自动控制、用户操作的手动控制的结果来控制白平衡增益,即便因白平衡增益发生改变而色噪声的特性发生变化,也可获得同样的色噪声修正的效果。
图12是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的第一图。图12所示的色噪声修正控制处理顺序由图6所示的色噪声修正控制部305来执行。
在图12所示的色噪声修正控制处理顺序中,在ST1201中从WB控制部302获取白平衡控制值。在ST1202中,以白平衡控制值为基础来估计拍摄场景的色温度。这例如预先以参照表的形式保存与具有代表性的白平衡控制值对应的色温度,根据实际的控制值使用与邻近的代表值对应的色温度、或其补充值即可。在ST1203中,从参数保存部5获取与所估计的色温度对应的色噪声实施范围。这例如由参数保存部5预先保存与具有代表性的色温度对应的色噪声实施范围,使用与所估计的色温度的邻近的代表值对应的色噪声实施范围、或其补充值即可。此外,参数保存部5也可设为如下形式,即:针对用于白平衡的每种颜色成分的增益量,作为多维的参照表来保存色噪声实施范围,在ST1203中取代色温度的估计信息而直接根据白平衡增益的控制值来参照色噪声实施范围。在ST1204中,将色噪声实施范围传送至修正强度特性计算部208’_4。由此,修正强度计算部208’_4针对于白平衡的控制值,计算与色调以及饱和度相应的修正强度的特性,基于所计算的修正强度的特性,修正强度计算部208’_2可以适时地进行最佳的修正强度的计算。
图13是表示本发明的第4实施例所涉及的摄像装置的色噪声修正强度决定处理的一例的图。图13所示的色噪声修正强度决定处理,是设为在图6所示的色噪声修正部208’中修正目标值计算部208’_1所计算的修正目标值为色差空间上的原点即无彩色,修正部208’_3将关注像素的颜色信号以与在修正强度计算部208’_2中决定出的修正强度的大小相应的比例接近于修正目标值这样的控制的情况下的、用于计算修正强度的处理的例子,由修正强度计算部208’_2来执行。
在图13中,a为用于色噪声估计的第1阈值,b为用于色噪声估计的的第2阈值,示出与相距色差空间上的关注像素的颜色信号的原点的距离、即饱和度相应的色噪声修正强度决定处理所决定的修正强度k之间的关系。色噪声估计是通过比较关注像素的颜色信号的饱和度和第1阈值a以及第2阈值b而进行的。即,在关注像素的颜色信号的饱和度小于第1阈值a的情况下,即饱和度非常小的情况下,估计出是在无彩色被摄体的关注像素的颜色信号中产生的色噪声成分,而使修正强度变为最大;在大于第2阈值b的情况下,估计出是除色噪声之外的影响,即关注像素存在于具有颜色的被摄体的内部,而使修正强度变为最小;在大于第1阈值a且小于第2阈值b的情况下,估计出有可能同时存在双方影响,将修正强度决定为逐渐变小。通过使用如此决定出的修正强度,从而修正部208’_3在无彩色的被摄体中能够降低颜色信号的色噪声成分,另一方面,在具有颜色的被摄体中,能够抑制颜色再现下降。此外,色噪声修正控制部305作为修正参数而考虑色噪声的噪声水平的特性,通过控制第1阈值a、第2阈值b来控制进行色噪声估计并加以修正的修正范围,通过控制修正强度的最大值kmax来控制色噪声修正的强度。因而,通过根据照相机控制部3的拍摄条件来控制这些修正参数,从而即便因拍摄条件改变而色噪声的特性发生改变,也能进行修正,可以进行与拍摄场景、被摄体无关的适当色噪声修正的控制。
图14是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理的一例的第二图。在图14中,作为与照相机控制部3中的拍摄条件的控制联动的色噪声修正控制处理的一例,示出色噪声修正部208’是使修正强度根据饱和度而变化的构成、且与照相机信号处理部2中的WB修正部204的白平衡增益的控制联动地控制色噪声修正部208’时的例子。图14所示的与白平衡控制相应的色噪声修正控制处理由图6所示的色噪声修正控制部305来执行。在图14中,图14(a)是白平衡已恰当地动作时的色噪声修正控制处理,图14(b)是白平衡不恰当地动作时的色噪声修正控制处理。
如图14(a)所示,色噪声修正控制部305在拍摄时的白平衡已恰当地动作的情况下,增大修正强度的最大值kmax,以使修正强度计算部208’_2所计算的修正强度k变大。由此,可以修正易显眼的无彩色的被摄体上的色噪声。另一方面,如图14(b)所示,色噪声修正控制部305在拍摄时的白平衡不恰当地动作的情况下,减小修正强度的最大值kmax、或者变为0,以使修正强度计算部208’_2所计算的修正强度k变小。由此,能够防止:由于白平衡不恰当在无彩色的被摄体中附着因光源所引起的颜色从而除无彩色之外的被摄体因光源的影响而变为无彩色的情况下,仅无彩色之外的被摄体被错误地减色而成为不自然的影像。
图15是表示本发明的第4实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的第二图。图15所示的色噪声修正控制处理顺序由图6所示的色噪声修正控制部305来执行。
在图15所示的色噪声修正控制处理顺序中,在ST1501中从参数保存部5获取修正强度控制值kmax1、kmax2和修正范围控制值a1、a2、b1、b2。在ST1502中,从WB控制部获取白平衡适当度。白平衡适当度在WB控制部302中,例如作为饱和度为阈值以下的像素数的比例、色差信号的修正后的平均值、或白平衡增益的控制值等来获取即可。在ST1503中,将白平衡适当度与规定阈值进行比较,来判定白平衡是否恰当地动作。例如,在色差信号的修正后的平均值大于阈值的情况下、以可控制范围的最大值或者最小值来限制白平衡增益的控制值的情况下,判定为白平衡未充分恰当地修正。在判定处理的结果是判定出白平衡恰当地动作的情况下,进入ST1504,在判定出不恰当地动作的情况下,进入ST1506。在ST1504中,从增益控制部304获取色差增益的控制值。在ST1505中,使用修正强度控制值kmax1、kmax2以及修正范围控制值a1、a2、b1、b2,根据图4(a)所示那样的特性,来计算与当前的色差增益的控制值对应的修正强度kmax和修正范围a、b。在ST1506中,对修正强度kmax设定0。在ST1507中,将计算结果传送至修正强度计算部208’_2。由此,在白平衡已恰当地动作的情况下,修正强度计算部208’_2对色差增益的控制值进行最佳的修正强度的计算,在白平衡不恰当地动作的情况下,将修正设为关闭,从而可以防止误修正。
这样,根据本实施例,通过根据照相机的白平衡控制来控制色噪声修正的修正参数,从而即便是拍摄场景的色温度改变了的情况下,也能始终地进行适当的色噪声修正,可以提高画质。
[实施例5]
图16是表示本发明的第5实施例所涉及的摄像装置的色噪声修正控制处理的一例的图。作为装置构成,与第2实施例所涉及的摄像装置相同,关于各构成的详情将适宜地省略说明。在图16中,作为与照相机控制部3中的拍摄条件的控制联动的色噪声修正控制处理的一例,示出色噪声修正部208’是使修正强度的特性根据色调以及饱和度而变化的构成、且与摄像部1中的透镜101的变焦倍率的控制联动地控制色噪声修正部208时的例子。图16所示的与变焦控制相应的色噪声修正特性控制处理由图6所示的色噪声修正控制部305来执行。
如图16所示,修正强度特性计算部208’_4将规定的色调以及饱和度的范围的色噪声设为修正对象地决定实施范围。由此,能够仅修正易显眼的具有特定的颜色成分的色噪声。色噪声修正控制部305根据摄像控制部301所控制的透镜101的变焦倍率来控制色噪声修正的实施范围。例如,相对于变焦倍率为N1倍时的色噪声修正的实施范围,若摄像控制部301将透镜控制成变焦倍率成为N2倍,则色噪声修正控制部305从参数获取部5获取变焦倍率为N2倍时对应的色噪声修正的实施范围来进行切换。由此,即便色噪声的特性根据变焦倍率而变化,也可获得同样的色噪声修正的效果。例如,在将因透镜像差等所引起的伪色彩作为噪声来修正的情况下,由于透镜像差因变焦倍率而不同,因此伪色彩的特性也根据变焦倍率而变化,但即便在这样的情况下,也与变焦倍率无关地可获得伪色彩的修正效果。另外,色噪声修正控制部305也可不仅根据摄像控制部301所控制的透镜101的变焦倍率还根据透镜101的聚焦位置、光圈102的光圈量等诸多光学条件来控制色噪声修正的实施范围,当然也可控制修正强度等的其他修正参数。
图17是表示本发明的第5实施例所涉及的摄像装置的色噪声修正控制处理顺序的一例的图。图17所示的色噪声修正控制处理顺序由图6所示的色噪声修正控制部305来执行。
在图17所示的色噪声修正控制处理顺序中,在ST1701中从摄像控制部301获取变焦透镜的位置的控制信息。在ST1702中,判定与所获取的变焦透镜的位置对应的色噪声实施范围是否在参数保存部5中已保存,在已保存的情况下进入ST1703,在没有所对应的色噪声实施范围的情况下进入ST1704。在ST1703中,从参数保存部5获取与变焦透镜的位置对应的色噪声实施范围。在ST1704中,从参数保存部5获取存在色噪声实施范围的多个邻近的变焦透镜的位置的色噪声实施范围,并进行插补运算,来计算当前的变焦透镜的位置上的色噪声实施范围。在ST1705中,将色噪声实施范围传送至修正强度特性计算部208’_4。由此,修正强度计算部208’_4可以对变焦倍率的控制值适时地进行修正强度计算部208’_2最佳的修正强度的计算。
这样,根据本实施例,通过根据照相机的光学条件的控制来控制色噪声修正的修正参数,从而即便是照相机的光学条件改变了的情况下,也能始终进行适当的色噪声修正,可以提高画质。
[实施例6]
图18是表示本发明的第6实施例所涉及的图像信号处理装置的示意图。在图18中构成为:附图标记6为图像信号输入部,附图标记7为照相机控制信息输入部,附图标记208”为色噪声修正部,附图标记305为色噪声修正控制部,取代亮度增益部203以及色差增益部207而从图像信号输入部6向图1所示的色噪声修正部208输入图像信号,取代摄像控制部301、WB控制部302、伽玛控制部以及增益控制部304而从照相机控制信息输入部7向色噪声修正控制部305输入各个照相机控制信息。
在图18所示的图像信号处理装置中,图像信号输入部6从其他摄像装置、记录介质等输入图像信号。图像信号输入部6也可根据需要进行针对被压缩的影像的扩展处理、格式变换处理,从而变换成对于进行色噪声修正处理而言方便形式的图像信号来输入。
照相机控制信息输入部7将从图像信号输入部6所输入的图像信号被拍摄时的照相机控制信息。例如,在图像信号输入部6从其他摄像装置输入图像信号的情况下,只要经由网络获取其他摄像装置的照相机控制信息即可,在从记录介质输入图像信号的情况下,当拍摄时的照相机控制信息作为元数据而被嵌入到预先记录的图像信号中时,只要读出元数据来输入即可。或者,也开始具备用户输入部并通过用户的操作能手动地输入照相机控制信息的构成。色噪声修正控制部305以从照相机控制信息输入部7所输入的照相机控制信息为基础来控制色噪声修正部208”中的修正目标值计算部208”_1、修正强度计算部208”_2、修正强度特性计算部208”_3各自的修正参数,色噪声修正部208”基于色噪声修正控制部305所控制的修正参数而对从图像信号输入部6所输入的图像信号进行色噪声修正处理,从而即便在从其他摄像装置、记录介质等所输入的图像信号中,也与拍摄场景、被摄体无关地始终适当地进行色噪声修正,可以提高画质。
这样,根据本实施例,在图像信号处理装置中,也根据照相机的拍摄条件来控制色噪声修正的修正参数,从而即便是拍摄场景、被摄体改变了的情况下,也可始终进行适当的色噪声修正,可以提高画质。
如以上,根据各实施例所涉及的装置,能够提供与被摄体、拍摄场景、拍摄条件无关地进行适当的色噪声修正来实现高画质化的摄像装置以及图像信号处理装置。
另外,本发明并不限定为上述的实施例,也包含各种变形例。例如,上述的实施例是为了易于理解本发明而进行了详细地说明的例子,未必要限定为具备所说明的所有结构的情形。此外,也可将某实施例的一部分构成置换成其他实施例的构成,且也可在某实施例的构成中加入其他实施例的构成。此外,关于各实施例的一部分构成,也可进行其他构成的追加、删除、置换。
此外,上述的各构成的一部分或全部既可以由硬件构成,也可以构成为由处理器执行程序来实现。此外,认为在说明上需要而示出了控制线、信号线,并不限于在产品上必需示出全部的控制线、信号线。也可以认为实际上几乎所有构成彼此连接。
符号说明
1 摄像部
2 照相机信号处理部
3 照相机控制部
4 输入部
5 参数保存部
101 透镜
102 光圈
103 摄像元件
104 AFE部
105 AD部
201 亮度/颜色信号生成部
202 亮度伽玛部
203 亮度增益部
204 WB修正部
205 颜色伽玛部
206 色差变换部
207 色差增益部
208 色噪声修正部
301 摄像控制部
302 WB控制部
303 伽玛控制部
304 增益控制部
305 色噪声修正控制部
208_1 修正目标值计算部
208_2 修正强度计算部
208_3 修正部
208_4 修正强度特性计算部
6 图像信号输入部
7 照相机控制信息输入部