具体实施方式
以下,参照附图说明本发明的实施方式。图1是示出作为本发明一个实施方式的具有图像处理装置的拍摄装置的一例的数码照相机的结构的框图。图1所示的数码照相机1是镜头更换式的数码照相机。但是,并非必需是镜头更换式的数码照相机,也可以是镜头一体式的数码照相机。此外,即使是带拍摄功能的移动电话机或带拍摄功能的便携终端等也可应用本实施方式的技术。
图1所示的数码照相机1具有更换式镜头100和照相机主体200。更换式镜头100构成为相对于照相机主体200拆装自如。当照相机主体200上安装有更换式镜头100时,更换式镜头100与照相机主体200连接成通信自如。由此,更换式镜头100成为可根据照相机主体200的控制进行动作的状态。
更换式镜头100具有镜头102、光圈104、驱动器106、微型计算机108和闪存110。
镜头102是用于将来自未图示的被摄体的光束会聚到照相机主体200内的摄像元件204的光学系统。镜头102具有对焦镜头和变焦镜头等多个镜头。光圈104构成为开闭自如,用于调整经由镜头102入射的光束的量。驱动器106具有电机等。该驱动器106根据微型计算机108的控制沿着其光轴方向驱动镜头102内的对焦镜头和变焦镜头,或对光圈104进行开闭驱动。
在将更换式镜头100安装到了照相机主体200上时微型计算机108经由接口(I/F)112与照相机主体200内的微型计算机234连接成通信自如。该微型计算机108根据来自微型计算机234的控制来使驱动器106进行驱动。另外,微型计算机108经由I/F112将在闪存110中存储的更换式镜头100的镜头信息等与微型计算机234进行通信。
闪存110存储有镜头102的像差信息等镜头信息或执行更换式镜头100的动作所需要的程序等。
照相机主体200具有机械快门202、摄像元件204、模拟处理部206、模拟/数字(AD)转换部208、RAW尺寸调整部210、总线212、SDRAM214、AE处理部216、AF处理部218、图像处理部220、被摄体检测部222、显示驱动器224、显示部226、图像压缩解压缩部228、存储器接口(I/F)230、记录介质232、微型计算机234、操作部236和闪存238。
机械快门202构成为移动自如,使摄像元件204的光电转换面成为遮光状态或曝光状态。通过使机械快门202移动来调整摄像元件204的曝光时间。
摄像元件204具有使通过镜头102而会聚的来自被摄体的光束成像的光电转换面。光电转换面是将多个像素配置成二维状而构成的。另外,在光电转换面的光入射侧设置有滤色片。这样的摄像元件204将与在光电转换面上成像的光束对应的像(被摄体像)转换为与其光量对应的电信号(以下,称为图像信号)后进行输出。这里,对于摄像元件204,公知有CCD方式或CMOS方式等各种结构的摄像元件。另外,滤色片的颜色排列也公知有拜尔排列等各种排列。在本实施方式中,摄像元件204的结构不限于特定的结构,可采用各种结构的摄像元件。此外,摄像元件204可以具有以电子方式控制曝光时间的电子快门功能。在以下的说明中,设为摄像元件204具有电子快门功能。
模拟处理部206对由摄像元件204获得的图像信号实施CDS(相关双采样)处理或AGC(自动增益控制)处理等模拟处理。A/D转换部208将在模拟处理部206中被模拟处理后的图像信号转换为数字信号(以下,称为RAW数据)。这里,RAW数据是指实施图像处理部220中的图像处理前的“原始的”图像数据。
这里,摄像元件204、模拟处理部206和A/D转换部208作为摄像部发挥功能。
RAW尺寸调整部210对由AD转换部208得到的RAW数据进行尺寸调整。尺寸调整通过插值处理进行。例如在进行缩小处理作为尺寸调整处理的情况下,对构成RAW数据的各像素进行例如将相邻的多个像素的平均值作为缩小后的像素的数据的处理。此外,在进行放大处理作为尺寸调整处理的情况下,对构成RAW数据的各像素进行例如将相邻的多个像素的平均值的像素插入到相邻像素间的处理。如图1所示,AD转换部208经由RAW尺寸调整部210与总线212连接,并且还不经由RAW尺寸调整部210与总线212连接。因此,在本实施方式中,能够取得由RAW尺寸调整部210进行尺寸调整后的RAW数据和由RAW尺寸调整部210进行尺寸调整前的RAW数据两方。此外,RAW尺寸调整部210也可以构成为不对从AD转换部208输出的RAW数据进行尺寸调整,而对SDRAM214中所存储的RAW数据进行尺寸调整。另外,由RAW尺寸调整部210进行的插值处理除了上述处理以外,还可应用最临近插值或线性插值等种种插值方法。
总线212是用于传送在照相机主体200内部产生的各种数据的传送路径。SDRAM214是用于暂时存储在照相机主体200内部产生的各种数据的存储部。该SDRAM214还被用作图像处理部220中的图像处理时的缓冲存储器。
AE处理部216采用图像数据(例如RAW数据)计算被摄体亮度。AF处理部218从图像数据(例如RAW数据)中取出高频成分的信号,对所取出的高频成分信号进行累计,取得AF评价值。
图像处理部220进行对RAW数据的各种图像处理。这里,由图像处理部220进行的图像处理是用于将图像数据的完成状态和效果设为规定的完成状态和效果的图像处理。这里的完成状态是指显示时的外观和风格等。此外,效果是指在显示时给用户带来规定的印象的效果等。这样的图像处理部220具有基本图像处理部2201和特殊图像处理部2202。
基本图像处理部2201对图像数据实施为了图像的显示和记录所需要的基本图像处理。该基本图像处理例如包含光学黑体(OB)减法运算处理、白平衡(WB)校正处理、同时化处理、颜色再现处理、亮度变更处理、边缘强调处理和降噪处理。光学黑体减法运算处理是减去RAW数据的暗电流成分(光学黑体)而去除该成分的处理。白平衡校正处理是通过用规定的增益量放大RAW数据的各颜色成分来校正图像的颜色平衡的处理。同时化处理是将与拜尔排列对应地经由摄像元件204输出的RAW数据等这样的1个像素与1个颜色成分对应的图像数据转换为1个像素与多个颜色成分对应的RGB数据的处理。颜色再现处理是用于使得图像的颜色再现变得恰当的各种处理。作为该处理,例如有颜色矩阵运算处理。该颜色矩阵运算处理是对RGB数据乘以例如与白平衡模式对应的颜色矩阵系数的处理。另外,作为颜色再现处理,还进行饱和度/色调的校正。亮度变更处理是将RGB数据转换为YC(亮度/色差)数据,并以适合于显示和记录的方式变更Y数据的亮度特性的处理。作为亮度变更处理,可以变更RGB数据的亮度特性。边缘强调处理是如下处理,即对使用带通滤波器等从图像数据(RAW数据、RGB数据或YC数据)提取出的边缘信号乘以边缘强调系数,并将该结果与原来的图像数据相加,由此强调图像数据中的边缘(轮廓)成分。降噪处理是通过核化(coring)处理等去除图像数据(RGB数据或YC数据)中的噪声成分的处理。
特殊图像处理部2202对图像数据(RGB数据或YC数据)实施用于赋予特殊的视觉效果的特殊图像处理。本实施方式中的特殊图像处理部2202进行至少附加噪声效果的处理,作为特殊图像处理。噪声效果是通过向图像附加规定的噪声而给用户带来规定的印象(例如得到是通过胶片拍摄得到的图像那样的印象)的效果。为了进行附加噪声效果的处理,特殊图像处理部2202具有随机数种子生成部2202a、伪随机数生成部2202b、切出位置计算部2202c和合成部2202d。随机数种子生成部2202a生成用于将伪随机数序列初始化的随机数种子(Random seed:随机种子)。伪随机数生成部2202b具有伪随机数生成器,根据由随机数种子生成部2202a生成的随机数种子生成伪随机数序列。这里,伪随机数序列是具有伪随机性的序列,且为具有根据同一随机数种子生成同一序列这样的特征的序列。伪随机数的生成手法公知有线性同余法、异或移位(XOR shift)法、梅森旋转(Mersenne Twister)法等。在本实施方式中,只要能够生成伪随机数序列,则其生成手法不受特别限定。切出位置计算部2202c使用由伪随机数生成部2202b生成的伪随机数序列计算作为附加噪声效果而需要的图像数据的划痕图像数据和噪声图像数据的切出位置。之后将详细说明划痕图像数据和噪声图像数据。合成部2202d依照由切出位置计算部2202c计算出的切出位置,切出划痕图像数据和噪声图像数据的一部分,并在根据需要将所切出的划痕图像数据和噪声图像数据放大后,合成(重叠)到要附加噪声效果的对象的图像数据。此外,合成部2202d将为了附加噪声效果而根据需要使用的灰尘图像数据合成(重叠)到要附加噪声效果的对象的图像数据。
被摄体检测部222检测图像数据(例如YC数据)中的被摄体(例如人物的面部)。在被摄体为面部的情况下,能够使用模板匹配等的公知的面部检测技术进行检测。即使被摄体为面部以外也能够使用模板匹配或特征量检测等公知的手法进行检测。
显示驱动器224根据显示部226的显示尺寸对由图像处理部220得到的图像数据或由图像压缩解压缩部228解压缩而得到的图像数据进行尺寸调整,将尺寸调整后的图像数据转换为影像信号并输出到显示部226。显示部226例如是液晶显示器(LCD)。显示部226显示基于从显示驱动器224输入的影像信号的图像。
图像压缩解压缩部228在记录图像时,对通过图像处理部220中的图像处理而获得的图像数据实施JPEG形式或TIFF形式等的静态图像压缩处理,或者MPEG形式或H.264形式等的动态图像压缩处理。另外,图像压缩解压缩部228在图像再现时对已实施压缩处理的图像数据实施解压缩处理。
存储器I/F230是用于微型计算机234等访问记录介质232的接口。记录介质232例如是在照相机主体200上拆装自如的存储卡。该记录介质232记录图像文件等。图像文件是在由图像压缩解压缩部228压缩后的图像数据中附加了头信息的文件。记录介质232可以固定于照相机主体200(也可以无法进行拆装)。
微型计算机234统一控制机械快门202、摄像元件204、显示驱动器224这样的照相机主体200的各部分的动作。另外,微型计算机234采用由AE处理部216运算出的被摄体亮度进行AE处理,或采用由AF处理部218运算出的AF评价值进行AF处理。并且,在安装了更换式镜头100时微型计算机234还控制更换式镜头100的动作。
操作部236是由用户进行操作的各种操作部件。本实施方式中的操作部236例如具有释放按钮、动态图像按钮、菜单按钮、再现按钮和电源按钮作为操作部件。释放按钮具有第1(1st)释放开关和第2(2nd)释放开关这两级开关。在半按下释放按钮、从而第1释放开关接通的情况下,微型计算机234执行AE处理和AF处理等拍摄准备处理。并且,在全按下释放按钮、从而第2释放开关接通的情况下,微型计算机234执行静态图像记录处理。动态图像按钮对微型计算机234指示动态图像拍摄的执行。在动态图像按钮被按下的情况下,微型计算机234执行动态图像记录处理。此外,在动态图像记录处理的执行过程中动态图像按钮被按下的情况下,微型计算机234结束动态图像记录处理。菜单按钮是用于指示菜单画面的显示的操作部。在菜单画面上,用户能够变更照相机主体200的各种设定。在本实施方式中,用户例如在菜单画面上设定特殊图像处理模式。通过该特殊图像处理模式,设定由特殊图像处理部2202实施的特殊图像处理的内容。再现按钮是用于对微型计算机234指示静态图像文件或动态图像文件的再现的操作部。电源按钮是用于指示照相机主体200的电源接通或断开的操作部。这里,可以通过触摸面板实现与上述释放按钮、动态图像按钮、菜单按钮、再现按钮同等的功能。即,可以没有按钮等物理的操作部件。
闪存238存储例如白平衡校正用的白平衡增益、颜色矩阵运算用的颜色矩阵系数、亮度变更用的各种函数(伽马函数)这些图像处理部220的动作所需的参数等、照相机主体200的动作所需的各种参数。这里,本实施方式中的闪存238存储了划痕图像数据、噪声图像数据、灰尘图像数据,作为图像处理部220中的特殊图像处理所需的参数。此外,闪存238还存储微型计算机234执行的各种程序。
以下说明上述数码照相机的动作。图2A和图2B是示出本实施方式的数码照相机的主要动作的流程图。例如在图1所示的数码照相机的电源被接通的情况下进行图2A和图2B的动作。在电源接通后,微型计算机234进行初始化处理(步骤S101)。在初始化处理中,微型计算机234进行将在自身具有的寄存器中设定的记录中标记设为关闭等处理。记录中标记是表示是否是动态图像记录中的标记。在记录中标记为关闭的期间,表示不是动态图像记录中。另一方面,在记录中标记为打开的期间,表示是动态图像记录中。
接着,微型计算机234判定是否由用户按下了操作部236的再现按钮(步骤S102)。在步骤S102中判定为按下了再现按钮的情况下,微型计算机234执行再现处理(步骤S103)。之后将详细说明再现处理。
在步骤S102中判定为未按下再现按钮的情况下,微型计算机234判定是否进行照相机设定(步骤S104)。例如在由用户按下了操作部236的菜单按钮的情况下,微型计算机234判定为进行照相机设定。
在步骤S104中判定为进行照相机设定的情况下,微型计算机234在控制显示驱动器224而使显示部226显示菜单画面后,执行照相机设定处理(步骤S105)。在照相机设定处理中,微型计算机234等待来自用户的照相机设定的变更指示。并且,在进行了任何照相机设定的变更指示的情况下,微型计算机234依照该指示变更照相机设定。在该照相机设定处理中,例如变更静态图像拍摄时和动态图像拍摄时的图像记录形式的设定、白平衡(WB)模式设定、对比度设定、边缘强调度(锐度)的设定、亮度特性变更的设定(伽马设定)等与图像的完成状态相关的设定。除此以外,在照相机设定处理中,还可以进行特殊图像处理模式的设定、例如效果的设定。
在步骤S104中判定为不进行照相机设定的情况下,微型计算机234判定是否由用户按下了操作部236的动态图像按钮(步骤S106)。在步骤S106中判定为按下了动态图像按钮的情况下,微型计算机234使记录中标记反转(步骤S107)。即,微型计算机234在记录中标记为关闭的情况下将记录中标记设为打开,在记录中标记为打开的情况下将记录中标记设为关闭。然后,微型计算机234判定当前是否是动态图像记录中,即记录中标记是否打开(步骤S108)。
在步骤S108中判定为记录中标记打开的情况下,微型计算机234生成动态图像文件,并做好准备使得能够记录动态图像数据(步骤S109)。此外,在步骤S108中判定为记录中标记不是打开的情况下,微型计算机234关闭动态图像文件(步骤S110)。
在步骤S106中判定为未按下动态图像按钮的情况、在步骤S109中生成了动态图像文件后、以及在步骤S110中关闭了动态图像文件后,微型计算机234进行效果设定处理(步骤S111)。之后将说明效果设定处理。
在效果设定处理后,微型计算机234再次判定当前是否是动态图像记录中,即记录中标记是否打开(步骤S112)。在步骤S112中判定为记录中标记关闭的情况下,微型计算机234判定是否由用户半按下操作部216的释放按钮从而使释放按钮的状态从断开状态转变为第1释放开关的接通状态(步骤S113)。
在步骤S113中判定为释放按钮的状态转变为了第1释放开关的接通状态的情况下,微型计算机234进行AE处理和AF处理(步骤S114)。在AE处理中,微型计算机234利用AE处理部216计算被摄体亮度。然后,微型计算机234根据由AE处理部216计算出的被摄体亮度,确定执行静态图像拍摄时的快门速度(Tv值)、光圈值(Av值)、ISO感光度。这里,能够以使得由被摄体检测部222检测出的被摄体的亮度变得适当的方式来确定快门速度、光圈值、ISO感光度。此外,在AF处理中,微型计算机234利用AF处理部218取得AF评价值。然后,微型计算机234利用由AF处理部218取得的AF评价值评价对比度,并且指示微型计算机108,使其每次以微小量逐次地驱动镜头102的对焦镜头。然后,微型计算机234指示微型计算机108在对比度变得最大的时刻停止对焦镜头的驱动。这样的AF处理是所谓的对比度方式的AF处理。作为AF处理也可采用相位差AF处理。此外,可以使焦点对准到由被摄体检测部222检测到的被摄体。
在AE处理和AF处理后,微型计算机234判定数码照相机1的电源是否被断开(步骤S115)。在步骤S115中判定为数码照相机1的电源未被断开的情况下,微型计算机234执行步骤S102之后的处理。另一方面,在步骤S115中判定为数码照相机的电源被断开的情况下,微型计算机234结束图2A和图2B的处理。
在步骤S113中判定为释放按钮的状态没有转变为第1释放开关的接通状态的情况下,微型计算机234判定是否由用户全按下了操作部236的释放按钮从而使释放按钮的状态成为第2释放开关的接通状态(步骤S116)。
在步骤S116中释放按钮的状态是第2释放开关接通的状态的情况下,微型计算机234执行使用了机械快门202的拍摄处理(步骤S117)。因此,微型计算机234根据在AE处理中确定的ISO感光度设定模拟处理部206中的增益控制量(放大率),并且将在AE处理中确定的F值发送到微型计算机108。然后,微型计算机234与基于微型计算机108的控制的光圈104的驱动同步,根据在AE处理中确定的曝光时间使机械快门202进行动作,控制摄像元件204的曝光。通过这样的拍摄处理,将RAW数据存储到SDRAM214中。
在执行使用了机械快门202的拍摄处理后,微型计算机234使图像处理部220执行针对通过拍摄处理而存储到SDRAM214中的RAW数据的图像处理(步骤S118)。之后将说明信号图像处理的详细内容。
在图像处理后,微型计算机234进行将作为图像处理的结果存储在SDRAM214中的图像数据以所设定的静态图像记录形式记录为静态图像文件的处理(步骤S119)。此时,微型计算机234将存储在SDRAM214中的图像数据输入到图像压缩解压缩部228并指示图像压缩解压缩部228执行静态图像压缩处理。图像压缩解压缩部228接收到该指示,与预先设定的记录模式对应地进行静态图像压缩处理,并将压缩后的图像数据存储到SDRAM214中。然后,微型计算机234从SDRAM214中读出由图像压缩解压缩部228压缩后的图像数据,根据所读出的图像数据生成静态图像文件,并将生成的静态图像文件记录到记录介质232中。
在步骤S116中判定为释放按钮的状态不是第2释放开关接通的状态的情况下,微型计算机234执行AE处理(步骤S120)。该AE处理是用于动态图像拍摄或实时取景显示的处理。在AE处理后,微型计算机234执行使用了电子快门的拍摄处理(步骤S121)。在该拍摄处理中,微型计算机234根据通过AE处理确定的曝光时间而使摄像元件204的电子快门功能进行工作,控制摄像元件204的曝光。通过这样的拍摄处理,将RAW数据存储到SDRAM214中。
在执行使用了电子快门的拍摄处理后,微型计算机234使图像处理部220执行针对通过拍摄处理而存储到SDRAM214中的RAW数据的图像处理(步骤S122)。之后将说明信号图像处理的详细内容。
在图像处理后,微型计算机234进行实时取景显示(步骤S123)。在实时取景显示中,微型计算机234将作为图像处理的结果存储在SDRAM214中的图像数据输入到显示驱动器224。显示驱动器224接收到该图像数据,将所输入的图像数据转换为影像信号并输出到显示部226。显示部226根据该影像信号来显示图像。通过这样的实时取景显示,用户能够使用显示部226进行构图的确认等。
在实时取景显示后,微型计算机234判定当前是否是动态图像记录中,即记录中标记是否打开(步骤S124)。在步骤S124中判定为记录中标记是打开的情况下,微型计算机234跳过步骤S125的处理。在步骤S124中判定为记录中标记打开的情况下,微型计算机234进行以所设定的动态图像记录形式将作为图像处理的结果存储在SDRAM214中的图像数据记录为动态图像文件的处理(步骤S125)。此时,微型计算机234将存储在SDRAM214中的动态图像数据输入到图像压缩解压缩部228并指示图像压缩解压缩部228执行动态图像压缩处理。图像压缩解压缩部228接收到该指示,与预先设定的记录模式对应地进行动态图像压缩处理,并将压缩后的动态图像数据存储到SDRAM214中。然后,微型计算机234从SDRAM214中读出由图像压缩解压缩部228压缩后的动态图像数据,并将所读出的动态图像数据追加记录到之前生成的动态图像文件中。此外,在动态图像数据的记录结束的情况下,在动态图像文件的头记录部中记录帧数等信息。
图3是示出效果设定处理的流程图。在效果设定中,用户设定附加到图像(静态图像、动态图像或实时取景图像)的效果的内容。根据该效果的设定,在之后说明的特殊图像处理时对图像附加效果。
在图3中,微型计算机234判定是否由用户指示了对图像附加胶片噪声效果(步骤S201)。用户例如在与照相机设定处理相同的菜单画面上进行附加胶片噪声效果的指示。在步骤S201中判定为没有由用户指示附加胶片噪声效果的情况下,微型计算机234跳过步骤S202的处理。在步骤S201中判定为由用户指示了附加胶片噪声效果的情况下,微型计算机234将图像处理部220(特殊图像处理部2202)设定成附加胶片噪声效果(步骤S202)。
接着,微型计算机234判定是否由用户指示了对图像附加阴影效果(步骤S203)。在步骤S201中判定为没有由用户指示附加阴影效果的情况下,微型计算机234跳过步骤S204的处理。在步骤S203中判定为由用户指示了附加阴影效果的情况下,微型计算机234将图像处理部220(特殊图像处理部2202)设定成在特殊图像处理时附加阴影效果(步骤S204)。
然后,微型计算机234判定是否由用户指示了对图像附加粒子噪声效果(步骤S205)。在步骤S205中判定为没有由用户指示附加粒子噪声效果的情况下,微型计算机234跳过步骤S206的处理。在步骤S205中判定为由用户指示了附加粒子噪声效果的情况下,微型计算机234将图像处理部220(特殊图像处理部2202)设定成在特殊图像处理时附加粒子噪声效果(步骤S206)。然后,微计算机234结束图3的处理。
图4是示出图像处理的流程图。在开始图像处理后,基本图像处理部2201对存储在SDRAM214中的RAW数据实施基本图像处理(步骤S301)。然后,特殊图像处理部2202对作为基本图像处理的结果而存储在SDRAM214中的图像数据(YC数据)实施特殊图像处理(步骤S302)。由此结束图像处理。以下详细说明基本图像处理和特殊图像处理。
图5是示出基本图像处理的流程图。在基本图像处理开始后,基本图像处理部2201进行OB减法运算处理(步骤S401)。在OB减法运算处理中,基本图像处理部2201通过从所输入的RAW数据中减去光学黑体(OB)值而去除RAW数据中的暗电流成分。
在OB减法运算后,基本图像处理部2201进行WB校正处理(步骤S402)。在WB校正处理中,基本图像处理部2201通过对实施了OB减法运算处理后的RAW数据乘以与用户预先设定的WB模式对应的WB增益,校正作为图像的颜色平衡。在用户设定了自动WB模式的情况下,基本图像处理部2201分析所拍摄的RAW数据,并乘以与估计出的光源对应的WB增益。
在WB校正处理后,基本图像处理部2201在RAW数据的形式为拜尔形式的情况下,进行同时化处理(步骤S403)。在同时化处理中,基本图像处理部2201使用插值处理将进行了WB校正的RAW数据同时化。由此,将1个像素具有RGB中的1个颜色成分的RAW数据转换为1个像素具有RGB3个颜色成分的RGB数据。
在同时化处理后,基本图像处理部2201进行颜色再现处理(步骤S404)。在颜色再现处理中,基本图像处理部2201通过对RGB数据的各像素乘以与所设定的WB模式对应的颜色矩阵系数,进行RGB数据的颜色转换。并且,基本图像处理部2201通过校正颜色以使得颜色转换后的RGB数据的色调和饱和度变得恰当,来调整图像的颜色再现。
在颜色再现处理后,基本图像处理部2201进行亮度变更处理(步骤S405)。在亮度变更处理中,基本图像处理部2201将进行了颜色再现处理后的RGB数据进行伽马转换,并且在将伽马转换后的RGB数据转换为YC(亮度/色差)数据后,进一步对Y数据进行伽马转换。也可以仅对RGB或Y数据中的任意一方进行伽马转换。
在亮度变更处理后,基本图像处理部2201进行边缘强调处理(步骤S406)。在边缘强调处理中,基本图像处理部2201对亮度变更处理后的Y数据实施带通滤波处理来提取边缘信号,并对提取出的边缘信号乘以与边缘强调量对应的系数。并且,基本图像处理部2201通过将乘以系数后的边缘成分与原来的Y数据相加,来强调图像的边缘成分。
在边缘强调处理后,基本图像处理部2201进行降噪(NR)处理(步骤S407)。然后,基本图像处理部2201结束图5的处理。在降噪处理中,基本图像处理部2201将进行了边缘强调处理后的Y数据频率分解,并根据频率实施核化处理等来减少图像中的噪声成分。也可以对Cb数据和Cr数据减少噪声成分。在记录形式为TIFF形式的情况下,对降噪处理后的数据进行规定的矩阵运算而再次转换为RGB形式。
图6是示出特殊图像处理的流程图。图6示出了进行胶片噪声效果的附加处理、阴影效果的附加处理、粒子噪声效果的附加处理作为特殊图像处理的例子。在特殊图像处理中,还可以一并进行图6中示出的处理以外的特殊图像处理、例如晕映处理等。
在图6中,特殊图像处理部2202判定是否设定成了附加胶片噪声效果(步骤S501)。在步骤S501中判定为未设定成附加胶片噪声效果的情况下,特殊图像处理部2202跳过步骤S502的处理。在步骤S501中判定为设定成了附加胶片噪声效果的情况下,特殊图像处理部2202对图像数据(YC数据)进行附加胶片噪声效果的处理(步骤S502)。之后将详细说明该处理。
接着,特殊图像处理部2202判定是否设定成了附加阴影效果(步骤S503)。在步骤S503中判定为未设定成附加阴影效果的情况下,特殊图像处理部2202跳过步骤S504的处理。在步骤S503中判定为设定成了附加阴影效果的情况下,特殊图像处理部2202对图像数据(YC数据)进行附加阴影效果的处理(步骤S504)。之后将详细说明该处理。
然后,特殊图像处理部2202判定是否设定成了附加粒子噪声效果(步骤S505)。在步骤S505中判定为未设定成附加粒子噪声效果的情况下,特殊图像处理部2202跳过步骤S506的处理并结束图6的处理。在步骤S505中判定为设定成了附加粒子噪声效果的情况下,特殊图像处理部2202对图像数据(YC数据)进行附加粒子噪声效果的处理(步骤S506)。然后,特殊图像处理部2202结束图6的处理。之后将详细说明附加粒子噪声效果的处理。
接着说明胶片噪声效果的附加处理。在说明胶片噪声效果的附加处理的详细内容之前,对划痕图像数据、噪声图像数据、灰尘图像数据进行说明。图7是示出划痕图像数据的图。图8是示出噪声图像数据的图。图9是示出灰尘图像数据的图。划痕图像数据、噪声图像数据、灰尘图像数据均是将在进行了胶片拍摄时可能产生的特有噪声图案化后的图像数据。此外,这些划痕图像数据、噪声图像数据、灰尘图像数据的尺寸以规定尺寸(例如1980×1080像素)的图像数据为基准来确定。
如图7所示,划痕图像数据通过随机排列长度不同的多个条纹状图案而构成。在将排列了纵向的条纹状图案的划痕图像数据重叠到了图像数据(YC数据)的情况下,在图像数据上再现在使胶片纵向移动产生的划痕引起的噪声。这里,可以替代图7而排列横向的条纹状图案。在将排列了横向的条纹状图案的划痕图像数据重叠到了图像数据(YC数据)的情况下,在图像数据上再现在使胶片横向移动产生的划痕引起的噪声。
划痕图像数据是在沿着条纹状图案的方向(图7中为纵向)上相关性高的图像数据。因此,通过在相关性高的方向(图7中为纵向)上缩小(例如在以1980×1080像素的图像数据为基准而确定了划痕图像数据的尺寸的情况下缩小为1/8~1/6左右)划痕图像数据,并放大该缩小后的划痕图像数据而得到的划痕图像数据与未缩小的原来的划痕图像数据之间的相关性高。即,划痕图像数据即使被缩小,只要之后进行放大,也能够没有问题地进行使用。因此,期望在闪存238中存储缩小后的划痕图像数据。如果将缩小后的划痕图像数据存储到闪存238,则能够节约闪存238的容量。此外,通过在实际进行重叠之前使用缩小状态的划痕图像数据进行处理,还能够节约SDRAM214的频带。
如图8所示,噪声图像数据通过在二维方向上随机配置粒子状图案而构成。在将噪声图像数据重叠到了图像数据(YC数据)的情况下,在图像数据上再现在胶片拍摄中的胶片显影阶段产生的灰尘等引起的噪声。噪声图像数据中的粒状图案在纵向和横向上都随机进行配置。因此,噪声图像数据与划痕图像数据不同,不是在特定的方向上存在相关性的图像数据。因此,期望在闪存238中存储未进行缩小的噪声图像数据。但是,在由于与闪存238的容量或者SDRAM214的频带的关系而需要缩小噪声图像数据的情况下,期望在纵向和横向上以相同的缩小率缩小噪声图像数据。
如图9所示,灰尘图像数据是将灰尘引起的噪声图案化后的图像数据。在图9的例子中,灰尘图像数据包含4个不同图案的灰尘的图像数据A~D和无灰尘的图像数据E这5个图案的图像数据。在这5个图案的图像数据中随机选择1个并重叠到图像数据(YC数据)。在将灰尘图像数据重叠到了图像数据(YC数据)的情况下,在图像数据上再现在胶片拍摄时附着在胶片表面的灰尘引起的噪声。这里,图9示出了灰尘图像数据具有5个图案的图像数据的例子。作为灰尘图像数据来预先存储的图案数量不限于5个。
图10是示出胶片噪声效果附加处理的处理流程图。在图10中,特殊图像处理部2202通过随机数种子生成部2202a和伪随机数生成部2202b生成附加胶片噪声所需要的伪随机数(步骤S601)。在图10所示的处理中,作为例子,设为取得10个伪随机数(R[0]~R[9])。这里,伪随机数R[0]~R[9]具有0至随机数最大值MAX的范围的值。之后将说明伪随机数R[0]~R[9]的具体取得方式。
在取得伪随机数R[0]~R[9]后,特殊图像处理部2202判定是否较大程度地(随机地)更新重叠到图像数据(YC数据)的划痕图像数据的切出位置(步骤S602)。这里,切出位置是作为用于确定划痕图像数据的切出范围的基准的位置,例如是划痕图像数据的左上坐标。在本实施方式中,通过在重叠划痕图像数据时随机更新划痕图像数据的切出范围,再现划痕引起的噪声的随机性。在步骤S602中,在附加胶片噪声效果的对象的图像数据是静态图像数据的情况下,始终判定为“是”。此外,在附加胶片噪声效果的对象的图像数据不是静态图像数据的情况(例如动态图像数据或实时取景显示用的图像数据)下,在与最开始的帧对应的判定时,判定为“是”,在与之后的帧对应的判定时随机地判定为“是”。例如在伪随机数R[0]大于等于根据从更新切出位置起的帧数而发生变化的阈值的情况下判定为“是”。
图11是示出用于步骤S602的判定的阈值与帧数之间的关系的一例的图。图11的横轴示出了将更新了切出位置的帧设为0时的经过帧数。此外,图11的纵轴示出了阈值的值。在图11的例子中,从第0帧到第14帧,阈值比伪随机数R[0]的最大值大。因此,从进行更新起到第14帧为止,在步骤S602中一定判定为“否”。此外,从第15帧到第29帧,根据伪随机数R[0]的值分支为判定为“是”,还是判定为“否”。即,从进行更新起的第15帧到第29帧,随机确定是否更新切出位置。此外,在第30帧中,阈值成为伪随机数R[0]的最小值(在图例中为0)。因此,在从进行更新起在30帧期间内还未进行过更新的情况下,在步骤S602中一定判定为“是”。划痕流动的条纹状噪声给用户带来的违和感较小。因此,如图11所示,不频繁地进行划痕图像数据的切出位置的更新,而是偶尔变更切出位置。因此,在图像数据上再现与由于实际划痕引起的噪声相同的噪声。这里,图11的关系是一个例子,可适当进行变更。
在步骤S602中判定为更新切出位置的情况下,特殊图像处理部2202通过切出位置计算部2202c更新划痕图像数据的切出位置(步骤S603)。例如将切出位置的左上的X坐标更新为由伪随机数R[1]表示的位置,将切出位置的左上的Y坐标更新为由伪随机数R[2]表示的位置。这里,作为伪随机数R[1],例如最小值对应于切出范围的左端与划痕图像数据的左端接触时的切出范围的左上坐标,最大值对应于切出范围的右端与划痕图像数据的右端接触时的切出范围的左上坐标。此外,作为伪随机数R[2],例如最小值对应于切出范围的上端与划痕图像数据的上端接触时的切出范围的左上坐标,最大值对应于切出范围的下端与划痕图像数据的下端接触时的切出范围的左上坐标。并且,对于划痕图像数据的切出范围的尺寸,例如纵向为合成对象的图像数据的缩小率倍,横向为与合成对象的图像数据相同的尺寸。
图12A示出了切出位置的更新概要。图12A的虚线框表示更新前的切出范围,图12A的点划线框表示更新后的切出范围。如图12A所示,切出位置的更新通过将更新前的切出位置(Xp,Yp)更新为更新后的切出位置(x,y)来进行。该x和y例如依照以下的(式1)给出。另外,(式1)的Xmax表示横向的最大值,Xmin表示横向的最小值。此外,(式1)的Ymax表示纵向的最大值,Ymin表示纵向的最小值。
x=R[1]÷MAX×(Xmax-Xmin)+Xmin
y=R[2]÷MAX×(Ymax-Ymin)+Ymin (式1)
在步骤S602中判定为不更新切出位置的情况下,特殊图像处理部2202判定伪随机数R[2](即切出位置的Y坐标)是否在随机数最大值MAX×0.9以下(步骤S604)。在步骤S604中判定为伪随机数R[2]在随机数最大值MAX×0.9以下的情况下,特殊图像处理部2202进行划痕图像数据的切出位置的微修正(步骤S605)。在切出位置的微修正时,如图12B所示,以使得更新前的切出位置与更新后的切出位置之间的距离不远离的方式,即在限定于更新前的切出位置附近的范围内修正切出位置。此时,切出位置在纵向上以一定间隔朝上方进行变化,在横向上随机进行变化。此外,在纵向上,在切出位置到达至上端的情况下,在下次修正时,如图12C所示,将切出位置向下端修正。进行这种修正的情况下的修正后的切出位置(x,y)例如依照以下的(式2)给出。
x=Xp+((R[1]-MAX/2)/MAX)×J
y=Yp-K (式2)
这里,J是在设计时确定的条纹状图案的横向基本移动速度(pixel/frame:像素/帧)。例如J为5。此外,K是在设计时确定的条纹状图案的纵向移动速度(pixel/frame:像素/帧)。例如K为10。并且,在(式2)的计算结果是x小于横向的最小值的情况下,将x限制为横向的最小值。反之,在(式2)的计算结果是x大于横向的最大值的情况下,将x限制为横向的最大值。并且,在(式2)的计算结果是y在纵向的最小值以下时,即切出位置到达了上端时,在下一帧中将y修正为纵向的最大值(即下端位置)。根据(式2),切出位置的X坐标按照每1帧随机地在5像素(Xp±2.5像素)的范围内进行变更。此外,切出位置的Y坐标按照每1帧朝上方变更10像素。
在步骤S604中判定为伪随机数R[2]不在随机数最大值MAX×0.9以下的情况下,特殊图像处理部2202跳过步骤S605的处理而将处理转移到步骤S606。另外,跳过步骤S605的处理的条件可以是上述以外的阈值,并且还可以始终不跳过。
接着,特殊图像处理部2202判定是否更新重叠到图像数据(YC数据)的噪声图像数据的切出位置(步骤S606)。在本实施方式中,通过在重叠噪声图像数据时随机更新其切出范围,再现灰尘等引起的噪声的随机性。是否更新该切出范围的判定是步骤S606的判定。在步骤S606中,在附加胶片噪声效果的对象的图像数据是静态图像数据的情况下,始终判定为“是”。此外,在附加胶片噪声效果的对象的图像数据不是静态图像数据的情况下,在与最开始的帧对应的判定时,判定为“是”,在与之后的帧对应的判定时随机地判定为“是”。例如在伪随机数R[3]大于等于根据从更新切出位置起的帧数而发生变化的阈值的情况下判定为“是”。
图13是示出用于进行步骤S606的判定的帧数与阈值之间的关系的一例的图。图13的横轴示出了将更新了切出位置的帧设为0时的经过帧数。此外,图13的纵轴示出了阈值的值。在图13的例子中,阈值从第0帧到第规定帧(在例中为第7帧)减小。并且,从第规定帧到第10帧,阈值成为伪随机数R[3]的最小值(在图例中为0)。因此,在从进行更新起在规定帧期间内还未进行过更新的情况下,在步骤S606中一定判定为“是”。与图11不同,图13没有阈值超过随机数最大值的期间。因此,噪声图像数据的切出位置与划痕图像数据相比,频繁地进行变更。这里,图13的关系是一个例子,可适当进行变更。
在步骤S606中判定为不更新切出位置的情况下,特殊图像处理部2202跳过步骤S607的处理。在步骤S606中判定为更新切出位置的情况下,特殊图像处理部2202通过切出位置计算部2202c更新噪声图像数据的切出位置(步骤S607)。例如将切出位置的左上的X坐标更新为由伪随机数R[4]表示的位置,将切出位置的左上的Y坐标更新为由伪随机数R[5]表示的位置。这里,作为伪随机数R[4],例如最小值对应于切出范围的左端与噪声图像数据的左端接触时的切出范围的左上坐标,最大值对应于切出范围的右端与噪声图像数据的右端接触时的切出范围的左上坐标。此外,作为伪随机数R[5],例如最小值对应于切出范围的上端与噪声图像数据的上端接触时的切出范围的左上坐标,最大值对应于切出范围的下端与噪声图像数据的下端接触时的切出范围的左上坐标。并且,噪声图像数据的切出范围的尺寸例如是与合成对象的图像数据相同的尺寸。
图14示出了切出位置的更新概要。图14的虚线框表示更新前的切出范围,图14的点划线框表示更新后的切出范围。噪声图像数据的切出位置的更新与划痕图像数据同样,通过将更新前的切出位置(Xp,Yp)更新为更新后的切出位置(x,y)来进行。该x和y例如依照以下的(式3)给出。
x=R[4]÷MAX×(Xmax-Xmin)+Xmin
y=R[5]÷MAX×(Ymax-Ymin)+Ymin (式3)
接着,特殊图像处理部2202判定是否更新重叠到图像数据(YC数据)的灰尘图像数据(步骤S608)。在步骤S608中,在附加胶片噪声效果的对象的图像数据是静态图像数据的情况下,始终判定为“是”。此外,在附加胶片噪声效果的对象的图像数据不是静态图像数据的情况下,在与最开始的帧对应的判定时,判定为“是”,在与之后的帧对应的判定时随机地判定为“是”。例如在伪随机数R[6]大于等于根据从更新切出位置起的帧数而发生变化的阈值的情况下判定为“是”。
图15是示出用于进行步骤S608的判定的帧数与阈值之间的关系的一例的图。图15的横轴示出了将更新了切出位置的帧设为0时的经过帧数。此外,图15的纵轴示出了阈值的值。在图15的例子中,阈值在第0帧到第10帧线性地减小。该情况下,在第10帧之前未进行过更新的情况下,在步骤S608中一定判定为“是”。图15也没有阈值超过随机数最大值的期间。因此,灰尘图像数据的切出位置与划痕图像数据相比,频繁地进行变更。这里,图15的关系是一个例子,可适当进行变更。
在步骤S608中判定为更新灰尘图像数据的情况下,特殊图像处理部2202更新灰尘图像数据(步骤S609)。例如分别对图9中示出的灰尘图像数据A~E给出编号。并且,在步骤S609中,将当前选择中的灰尘图像数据变更为由伪随机数R[7]示出的编号的灰尘图像数据(例如,如果将R[7]除以5时的余数是0则为A、如果余数是1则为B、如果余数是2则为C、如果余数是3则为D、如果余数是4则为E)。在更新了灰尘图像数据后,特殊图像处理部2202变更灰尘图像数据的合成位置(步骤S610)。例如将合成位置的左上的X坐标更新为由伪随机数R[8]表示的位置,将合成位置的左上的Y坐标更新为由伪随机数R[9]表示的位置。这里,作为伪随机数R[8],例如最小值对应于被合成的图像数据的左端坐标,最大值对应于被合成的图像数据的右端坐标。此外,作为伪随机数R[9],例如最小值对应于被合成的图像数据的上端坐标,最大值对应于被合成的图像数据的下端坐标。图16A示出了灰尘图像数据的合成位置的更新概要。图16A的虚线表示更新前的灰尘图像数据,图16A的点划线表示更新后的灰尘图像数据。如图16A所示,在灰尘图像数据的情况下不仅变更合成位置,还变更灰尘图像数据的图案。
在步骤S608中判定为不更新灰尘图像数据的情况下,特殊图像处理部2202进行灰尘图像数据的合成位置的微修正(步骤S611)。在合成位置的微修正时,如图16B所示,以更新前的合成位置与更新后的合成位置之间的距离不远离的方式来修正合成位置。此时,合成位置在纵向和横向的两方上随机进行变化。修正后的合成位置(x,y)例如依照以下的(式4)给出。
x=Xp+((R[8]-MAX/2)/MAX)×L
y=Yp+((R[9]-MAX/2)/MAX)×M (式4)
这里,L是在设计时确定的灰尘图像数据的横向的基本移动速度(pixel/frame:像素/帧)。例如L为5。此外,M是在设计时确定的灰尘图像数据的纵向的移动速度(pixel/frame:像素/帧)。例如M为5。并且,使得x和y均为横向或纵向范围内的值。因此,在(式4)的计算结果是x或y小于横向或纵向的最小值的情况下,将x或y钳制为横向或纵向的最小值。反之,在(式4)的计算结果是x或y大于横向或纵向的最大值的情况下,将x或y钳制为横向或纵向的最大值。
然后,特殊图像处理部2202通过合成部2202d将划痕图像数据、噪声图像数据、灰尘图像数据合成到合成对象的图像数据(步骤S612)。然后,特殊图像处理部2202结束图10的处理。图17是示出合成处理概要的图。在进行合成时,首先使划痕图像数据的尺寸与合成对象的图像数据的尺寸匹配。如上所述,划痕图像数据在作为相关性高的方向的纵向上被缩小。因此,通过在纵向上将切出后的划痕图像数据放大缩小率的倒数倍,使划痕图像数据的尺寸与合成对象的图像数据的尺寸匹配。在将划痕图像数据的尺寸与合成对象的图像数据的尺寸匹配后,对划痕图像数据、噪声图像数据、灰尘图像数据进行合成。合成如下进行:例如各像素的值如果为0(黑)则对3个图像数据乘以0,如果最大(白)则对3个图像数据乘以1.0,如果是其他的值,则根据明亮度对3个图像数据乘以0到1.0的范围内的值。在对3个图像数据进行合成而得到合成噪声图像数据后,将合成噪声图像数据合成到合成对象的图像数据。该合成例如还通过将两个图像数据相乘来进行。这里,合成处理也可以是其他方法,例如可以是按照每个像素进行比较,并将较暗一方的值设为合成结果那样的合成方法。
划痕图像数据、噪声图像数据、灰尘图像数据的尺寸是以规定的尺寸(例如1980×1080像素)的图像数据为基准而确定的。因此,期望根据合成对象的图像数据的尺寸,在将划痕图像数据、噪声图像数据、灰尘图像数据放大或缩小后进行合成。图18是示出这样的合成处理概要的图。例如在合成对象的图像数据的尺寸为4000×3000像素(例如静态图像数据)的情况下,对于噪声图像数据和灰尘图像数据,在纵向和横向上进行4000/1920倍的放大后进行合成。此外,划痕图像数据在纵向上被缩小。因此,对于划痕图像数据,在进行(1/缩小率)×4000/1920倍的放大后进行合成。由此,不需要存储合成对象的图像数据的每个尺寸的划痕图像数据、噪声图像数据、灰尘图像数据。这里,图18示出了合成对象的图像数据的尺寸大于1980×1080像素的情况下的例子。即使在合成对象的图像数据的尺寸小于1980×1080像素的情况下,也依照与合成对象的图像数据的尺寸大于1980×1080像素的情况相同的思路将划痕图像数据、噪声图像数据、灰尘图像数据缩小即可。这里,在图18中分别在对划痕图像数据、噪声图像数据、灰尘图像数据进行尺寸调整(放大)后进行了合成,但也可以在将这3个图像合成后进行尺寸调整,并合成到拍摄图像。
图19是示出阴影处理的流程图。在图19中,特殊图像处理部2202通过随机数种子生成部2202a和伪随机数生成部2202b生成附加阴影噪声所需要的伪随机数(步骤S701)。在图19所示的处理中,作为例子,至少取得1个伪随机数R。之后将说明伪随机数的具体取得方式。
在取得伪随机数R后,特殊图像处理部2202计算表示阴影形状的放大率(步骤S702)。在将放大率设为a时,a例如通过以下的(式5)给出。
a=0.5+R/MAX (式5)
在计算出放大率a后,特殊图像处理部2202依照放大率a生成增益映射图(步骤S703)。增益映射图是具有亮度的值根据附加阴影的区域(例如被摄体存在的区域)与中心位置像素的距离而逐渐降低的增益的映射图。将增益值的最大值设为1。在本实施方式中,将根据放大率a对这样生成的增益映射图进行尺寸调整后的增益映射图作为最终的增益映射图。
在生成了增益映射图后,特殊图像处理部2202针对对应的像素乘以通过增益映射图表示的增益(步骤S704)。由此附加图像数据的周边变暗那样的阴影效果。这里,在本实施方式中,放大率a根据伪随机数R的值在0.5~1.5的范围内发生变化。伴随该a的变化,阴影的形状(大小)发生变化。图20A示出了放大率a为0.5时附加的阴影效果的例子。此外,图20B示出了放大率a为1.5时附加的阴影效果的例子。
这里,当阴影的形状变化过大时可能会给用户带来违和感。因此,可以限制放大率的值,以使得上次阴影附加处理时的放大率与此次阴影附加处理时的放大率之差在规定值以内。例如在设上次阴影附加处理时的放大率为b、此次阴影附加处理时的放大率为a时,以满足以下(式6)的条件的方式确定最终的a。
|b-a|<0.1 (式6)
此外,图19的流程图的例子必定变更放大率a。不限于此,也可以在几帧内仅变更1次放大率a。该情况下,作为未变更放大率a的帧,也可以通过与上次帧之间的线性插值来计算放大率a。
图21是示出粒子噪声效果附加处理的处理流程图。在图21中,特殊图像处理部2202通过随机数种子生成部2202a和伪随机数生成部2202b生成附加粒子噪声所需要的伪随机数(步骤S801)。在图21所示的处理中,作为例子,至少取得两个伪随机数Wr和Hr。之后将说明伪随机数的具体取得方式。在取得伪随机数Wr和Hr后,特殊图像处理部2202读入噪声图像数据(步骤S802)。然后,特殊图像处理部2202计算噪声图像数据的切出位置(步骤S803)。切出位置是作为用于确定噪声图像数据的切出范围的基准的位置,例如是噪声图像数据的左上坐标。在本实施方式中,通过在重叠噪声图像数据时随机更新噪声图像数据的切出范围,来再现灰尘等引起的噪声的随机性。更新后的切出位置(x,y)例如依照以下的(式7)给出。
x=(Wn-Wi)×Wr/MAX
y=(Hn-Hi)×Hr/MAX (式7)
这里,Wn是合成对象的图像数据的横向尺寸(像素数),Hn是合成对象的图像数据的纵向尺寸(像素数)。此外,Wi是切出范围的横向尺寸(像素数),Hi是切出范围的纵向尺寸(像素数)。图22示出了Wn、Hn、Wi、Hi之间的关系。
在切出位置的计算后,特殊图像处理部2202通过合成部2202d将噪声图像数据合成到合成对象的图像数据(步骤S804)。然后,特殊图像处理部2202结束图21的处理。噪声图像数据的合成与胶片噪声效果的附加处理时相同。在根据需要使噪声图像数据的尺寸与合成对象的图像数据的尺寸匹配后,通过将两者相乘来进行合成。
这里,图21的流程图的例子必定变更切出位置。不限于此,也可以在几帧内仅变更1次或随机变更切出位置。在随机变更切出位置的情况下,在步骤S801中进一步取得其他伪随机数。并且,例如只要进行与步骤S606相同的判定即可。
接着说明伪随机数的取得处理。图23是示出伪随机数取得处理的流程图。在图23中,特殊图像处理部2202判定当前的特殊图像处理是否为针对静态图像的处理(步骤S901)。当前的特殊图像处理是否为针对静态图像的处理的信息例如由微型计算机234进行通知。
在上述例子中,在针对静态图像的特殊图像处理时,必定进行随机的切出位置等的更新。因此,在步骤S901中判定为当前的特殊图像处理是针对静态图像的处理的情况下,特殊图像处理部2202通过随机数种子生成部2202a生成随机数种子(步骤S902)。根据RAW数据、照相机设定、拍摄时的条件等这样的与数码照相机1相关的各种参数来生成随机数种子。之后将详细说明随机数种子的具体生成手法。在生成了随机数种子后,特殊图像处理部2202对伪随机数生成部2202b的伪随机数生成器进行初始化(步骤S903)。在该处理中,伪随机数生成部2202b将在伪随机数生成器中设定的初始值设定为在步骤S902中生成的随机数种子的值。接着,特殊图像处理部2202通过伪随机数生成部2202b生成所需个数的伪随机数序列(例如在图10的情况下为R[0]~R[9]这10个随机数序列)(步骤S904)。在该处理中,伪随机数生成部2202b通过伪随机数生成器生成伪随机数序列。伪随机数序列的生成手法不受特别限定。
在步骤S901中判定为当前的特殊图像处理不是针对静态图像的处理的情况下,特殊图像处理部2202判定当前的合成对象的图像数据是否为最开始的帧(步骤S905)。在步骤S905中判定为当前的合成对象的图像数据是最开始的帧的情况下,特殊图像处理部2202使处理转移到步骤S902。在最开始的帧的时刻,尚未生成有随机数种子。因此,进行步骤S902的随机数种子的生成。在步骤S905中判定为当前的合成对象的图像数据不是最开始的帧的情况下,特殊图像处理部2202使处理转移到步骤S904。该情况下依照上一帧的伪随机数生成器的设定生成伪随机数序列。
接着说明随机数种子的生成手法的例子。图24是示出了使用RAW数据生成随机数种子并进行特殊图像处理时的一系列流程的示意图。在图24的例子中,根据通过使用了机械快门的拍摄或使用了电子快门的拍摄得到的RAW数据生成随机数种子。作为一例,RAW数据的特定坐标值成为随机数种子。特定的坐标例如是RAW数据的左上坐标或中央的坐标。除此以外,还可以通过将RAW数据的多个坐标的值组合来生成随机数种子。例如可以将RAW数据中的多个坐标的值进行相加运算后的结果、减法运算后的结果作为随机数种子,或者将进行了多个坐标的值的异或运算后的结果作为随机数种子。并且,还可以通过对RAW数据组合照相机设定,来生成随机数种子。例如可以对白平衡模式设定、亮度变更处理的设定、对比度设定、锐度设定这样的照相机设定分配数值,并将该数值与利用RAW数据生成的随机数种子进行加减法运算等而作为最终的随机数种子。此外,还可以与后述的图25同样地通过将图像处理参数组合来生成随机数种子。
依照如图24所示那样生成的随机数种子将伪随机数生成器初始化来生成伪随机数序列,由此一般通过拍摄而得到的RAW数据按照每次拍摄而不同,因此可以按照通过拍摄而得到的每个RAW数据生成不同的伪随机数序列。因此,能够按照每次拍摄而将不同的效果附加到图像。此外,当照相机设定不同时,随机数种子也不同,因此即使是同一RAW数据也能够按照每个照相机设定将不同效果附加到图像。
图25是示出了使用由RAW尺寸调整部210缩小后的RAW数据生成随机数种子并进行特殊图像处理时的一系列流程的示意图。在图25的例子中,作为一例,缩小后的RAW数据的特定坐标的数据成为随机数种子。特定坐标例如是RAW数据的左上的坐标或中央的坐标。除此以外,还可以通过将缩小后的RAW数据的多个坐标的数据组合来生成随机数种子。例如可以将RAW数据中的多个坐标的数据进行加法运算后的结果、减法运算后的结果作为随机数种子,或者将进行了多个坐标的数据的异或运算后的结果作为随机数种子。并且,还可以通过对缩小后的RAW数据组合图像处理参数来生成随机数种子。例如可以将白平衡增益、饱和度/色调校正系数、伽马值、边缘强调度、降噪(NR)强度这些图像处理参数与利用RAW数据而生成的随机数种子进行加减法运算等而作为最终的随机数种子。除此以外,还可以使用记录图像的压缩率、记录图像的尺寸这些图像处理参数。
在使用缩小后的RAW数据的几个像素数据来生成随机数种子的情况下,虽然是间接的,但在缩小前的RAW数据中,能够使用比几个像素多的信息来生成随机数种子。即缩小是通过插值处理来进行的,因此能够认为插值后的RAW数据中的某个坐标的数据包含缩小前的RAW数据中的多个坐标的RAW数据的信息。这样根据包含比缩小前更多的信息的缩小后的RAW数据来生成随机数种子,由此即使仅场景的明亮度等拍摄条件稍微不同,也容易将不同效果附加到图像。
图26是示出了使用在拍摄时生成的随机数来生成随机数种子并进行特殊图像处理时的一系列流程的示意图。例如在伪随机数生成部2202b中生成在拍摄时生成的随机数。这里,在拍摄时生成的随机数也可以不一定是伪随机数。因此,在拍摄时生成的随机数可以在与伪随机数生成部2202b不同的伪随机数生成部中生成。这里,在图26的例子中,也可以通过组合RAW数据或缩小后的RAW数据,或者组合照相机设定或图像处理参数来生成最终的伪随机数。
如图26所示,按照每次拍摄生成随机数,并依照所生成的随机数生成随机数种子,由此能够按照每次拍摄将不同效果附加到图像。
图27是示出了使用通过对RAW数据实施基本图像处理而得到的YC数据(称为中间YC数据)来生成随机数种子并进行特殊图像处理时的一系列流程的示意图。作为一例,中间YC数据的特定坐标的值成为随机数种子。特定坐标例如是中间YC数据的左上的坐标或中央的坐标。除此以外,还可以通过将中间YC数据的多个坐标的值组合来生成随机数种子。
如图27所示那样使用中间YC数据生成随机数种子,由此能够得到与考虑照相机设定或图像处理参数来生成随机数种子时相同的效果。
图28是示出了使用拍摄时的各种条件来生成随机数种子并进行特殊图像处理时的一系列流程的示意图。在图25的例子中,使用了例如曝光条件、被摄体条件、照相机状态作为拍摄时的条件。曝光条件例如是快门速度、光圈值、ISO感光度中的至少任意一方。被摄体条件是面部或宠物等被摄体的有无,当存在被摄体时是其大小、位置、数量等。照相机状态例如是拍摄时的摄像元件204的温度、照相机主体200的内部温度、电池的剩余量、记录介质232的种类、容量和剩余量、对焦位置、变焦位置。根据需要对这些曝光条件、被摄体条件、照相机状态进行数值化(在原本就是数值的情况下使用该值即可),并且通过对数值化后的条件进行加减法运算来生成随机数种子。这里,在图28的例子中,也可以通过与RAW数据、缩小后的RAW数据、称作中间YC数据的图像数据组合,或者组合照相机设定或图像处理参数来生成最终的伪随机数。
如图28所示,通过使用拍摄时的各种条件来生成随机数种子,由此也能够按照每次拍摄将不同效果附加到图像。此处,如上所述,伪随机数序列具有根据相同随机数种子生成相同序列这样的特征。因此,如果记录有用于生成随机数种子的信息,则能够在之后对在拍摄时的图像处理阶段未实施附加噪声效果的特殊图像处理的图像数据实施附加噪声效果的特殊图像处理。图29A和图29B是示出将用于生成随机数种子的信息记录到图像文件的情况下的图像文件的文件结构的图。这里,图29A是以JPEG形式记录的静态图像文件(称为JPEG文件)的例子,图29B是RAW文件的例子。关于动态图像文件,省略图示。动态图像文件的图像数据结构和头信息的结构是动态图像文件特有的结构。用于生成随机数种子的信息的记录方式在动态图像文件和静态图像文件中没有差异。
如图29A所示,JPEG文件具有头记录部、缩略JPEG数据记录部、主图像JPEG数据记录部和屏幕缩略JPEG数据记录部。
头记录部是用于记录曝光条件、被摄体条件、照相机状态这样的各种信息作为元数据的记录部。在图29A中示出了记录曝光条件、被摄体条件、照相机状态的例子。除了这些信息以外,还可以记录照相机设定、图像处理参数这些信息。并且,在生成了伪随机数的情况下,还可以直接记录所生成的伪随机数。
缩略JPEG数据记录部是用于以JPEG形式压缩记录用于静态图像再现的缩略显示用的图像数据的记录部。主图像JPEG数据记录部是用于以JPEG形式压缩记录通过使用了机械快门202的拍摄得到的静态图像数据的记录部。屏幕缩略JPEG数据记录部是用于以JPEG形式压缩记录屏幕缩略显示用的图像数据的记录部。
如图29B所示,RAW文件具有头记录部、缩略JPEG数据记录部、RAW数据记录部、缩小RAW数据记录部和屏幕缩略JPEG数据记录部。头记录部是用于记录曝光条件、被摄体条件、照相机状态这样的各种信息作为元数据的记录部。在图29B中示出了记录曝光条件、被摄体条件、照相机状态的例子。对于头记录部,在JPEG文件和RAW文件中基本没有差异。
缩略JPEG数据记录部是用于以JPEG形式压缩记录用于RAW再现的缩略显示用的图像数据的记录部。RAW数据记录部是用于记录通过使用了机械快门202的拍摄或使用了电子快门的拍摄而得到的RAW数据的记录部。缩小RAW数据记录部是用于记录在使用图25所示的缩小后的RAW数据生成随机数种子时所需要的缩小后的RAW数据的记录部。屏幕缩略JPEG数据记录部是用于以JPEG形式压缩记录屏幕缩略显示用的图像数据的记录部。
接着说明再现处理。图30是示出再现处理的流程图。在图30中,微型计算机234显示记录介质232所记录的图像文件的一览(步骤S1101)。在该处理中,微型计算机234将各图像文件的缩略JPEG数据读入到SDRAM214。并且,微型计算机234将所读入的缩略JPEG数据输入到图像压缩解压缩部228。图像压缩解压缩部228对所输入的缩略JPEG数据进行解压缩,并将解压缩后的缩略JPEG数据输入到显示驱动器224。显示驱动器224根据所输入的缩略JPEG数据在显示部226上显示图像文件的一览。
在一览显示后,微型计算机234判定是否结束再现处理(步骤S1102)。例如在再现按钮被再次按下的情况下判定为结束再现。在步骤S1102中判定为结束再现处理的情况下,微型计算机234结束图30的处理。
在步骤S1102中判定为不结束再现处理的情况下,微型计算机234等待用户对图像文件的选择(步骤S1103)。在通过用户对操作部236进行操作而执行了一览显示的图像文件的选择的情况下,微型计算机234判定所选择的图像文件是否为动态图像文件(步骤S1104)。
在步骤S1104中判定为所选择的图像文件是动态图像文件的情况下,微型计算机234读入记录在所选择的动态图像文件中的动态图像数据的帧数(步骤S1105)。接着,微型计算机234对要再现的动态图像数据的帧数的计数值i进行初始化(步骤S1106)。计数值i的初始值例如为1。
然后,微型计算机234再现记录在所选择的动态图像文件中的动态图像数据的第i帧,并显示在显示部226上(步骤S1107)。在该处理中,微型计算机234将记录在由用户选择的动态图像文件中的动态图像数据的第i帧读入到SDRAM214。进而,微型计算机234将所读入的第i帧的动态图像数据输入到图像压缩解压缩部228。图像压缩解压缩部228对所输入的动态图像数据进行解压缩,并将解压缩后的动态图像数据输入到显示驱动器224。显示驱动器224在显示部226上显示与所输入的第i帧的动态图像数据对应的图像。
在再现和显示动态图像数据的i帧后,微型计算机234对计数值加上1(步骤S1108)。之后,微型计算机234判定计数值i是否在帧数以下、即是否未结束所有帧的再现(步骤S1109)。在步骤S1109中计数值i在帧数以下的情况下,还有应再现的帧。该情况下,微型计算机234将处理返回到步骤S1107来进行下一帧的再现和显示。在步骤S1109中计数值i超过了帧数的情况下,意味着动态图像文件的再现已结束。该情况下,微型计算机234将处理返回到步骤S1101。
在步骤S1104中判定为所选择的图像文件不是动态图像文件、而是静态图像文件的情况下,微型计算机234读入记录在所选择的静态图像文件中的静态图像数据(步骤S1110)。接着,微型计算机234对所读入的静态图像数据(在图29A或图29B那样的文件结构的情况下,在JPEG时为主图像JPEG,在RAW时为屏幕缩略JPEG)进行再现,并显示在显示部226上(步骤S1111)。在该处理中,微型计算机234将所读入的静态图像数据输入到图像压缩解压缩部228。图像压缩解压缩部228对所输入的静态图像数据进行解压缩,并将解压缩后的静态图像数据输入到显示驱动器224。显示驱动器224在显示部226上显示与所输入的静态图像数据对应的图像。
然后,微型计算机234判定是否由用户进行了编辑操作(步骤S1112)。这里的编辑操作是用户从菜单中选择附加噪声效果的项目的操作。该情况下,选择操作所需的操作部236作为指示部的一例发挥功能。关于附加噪声效果以外的效果等的编辑操作,与以往相同即可,因此省略说明。
在步骤S1112中判定为不进行编辑操作的情况下,微型计算机234判定是否结束静态图像的显示(步骤S1113)。例如在由用户按下了菜单按钮的情况下判定为结束显示。在步骤S1113中判定为不结束显示的情况下,微型计算机234将处理返回到步骤S1112。该情况下,继续进行静态图像的显示。在步骤S1113中判定为结束显示的情况下,微型计算机234结束图30的处理。
在步骤S1112中判定为进行编辑操作的情况下,微型计算机234进行编辑处理(步骤S1114)。以下,参照图31进一步说明编辑处理。这里,步骤S1114的处理是针对静态图像文件的处理。但是,以下说明的处理还可以应用于动态图像文件。
图31是示出编辑处理的流程图。在图31中,微型计算机234读入当前的编辑对象的静态图像文件(步骤S1201)。接着,微型计算机234判定所读入的静态图像文件是否为RAW文件(步骤S1202)。在步骤S1202中判定为静态图像文件是RAW文件的情况下,微型计算机234进行针对该RAW文件的图像处理(步骤S1203)。步骤S1203中的图像处理与图4所示的图像处理相同。由于是RAW文件,因此进行基本图像处理和特殊图像处理两方。这里,如上所述,特殊图像处理所需的伪随机数能够根据将RAW数据(或缩小RAW数据)、照相机设定和图像处理参数组合而生成的随机数种子来生成。此时,照相机设定可以利用记录在RAW文件的头记录部中的照相机设定,并且也可以利用在编辑处理的时刻由用户重新设定的照相机设定。在利用记录在头记录部中的照相机设定的情况下,能够附加与拍摄时相同的噪声效果。另一方面,在利用由用户重新设定的照相机设定的情况下,能够附加与变更对应的噪声效果。在步骤S1202中判定为静态图像文件不是RAW文件、即为JPEG文件的情况下,微型计算机234进行针对该即JPEG文件的特殊图像处理(步骤S1204)。步骤S1204中的特殊图像处理与图6所示的特殊图像处理相同。这里,如上所述,特殊图像处理所需的伪随机数能够根据将拍摄时的各种条件、照相机设定和图像处理参数组合而生成的随机数种子来生成。此时,照相机设定可以利用记录在JPEG文件的头记录部中的照相机设定,并且也可以利用在编辑处理的时刻由用户重新设定的照相机设定。在利用记录在头记录部中的照相机设定的情况下,能够附加与拍摄时相同的噪声效果。另一方面,在利用由用户重新设定的照相机设定的情况下,能够附加与变更对应的噪声效果。
如以上所说明那样,在本实施方式中,在随机切出了划痕图像数据和噪声图像数据的一部分后,对划痕图像数据、噪声图像数据、灰尘图像数据进行合成而生成合成噪声图像数据。并且,将合成噪声图像数据与合成对象的图像数据进行合成。由此,在本实施方式中,通过对在胶片拍摄时显现的特有噪声进行分解并合成,能够在不记录长时间的动态图像数据的情况下给用户带来自然印象的噪声感。
此外,通过利用划痕图像数据在某一方向的相关性高的性质来将划痕图像数据缩小并进行记录,能够节约用于记录划痕图像数据的容量。
此外,在划痕图像数据以及噪声图像数据的尺寸与合成对象的图像数据的尺寸不一致的情况下进行使划痕图像数据以及噪声图像数据的尺寸与合成对象的图像数据一致的处理,由此不需要按照合成对象的图像数据的每个尺寸来记录划痕图像数据和噪声图像数据。
此外,在本实施方式中,根据通过拍摄得到的RAW数据、拍摄时的照相机设定和图像处理参数来生成随机数种子,并根据该随机数种子生成用于附加噪声效果、阴影效果、粒子噪声效果的伪随机数。由此,能够向图像附加与拍摄时的状况对应的效果。
这里,在本实施方式中,将划痕图像数据、噪声图像数据、灰尘图像数据这3种图像数据合成到合成对象的图像数据。实际上不一定需要合成所有的图像数据。例如也可以不合成灰尘图像数据。
此外,还能够将上述实施方式中的拍摄装置进行的各处理的手法、即各流程图所示的处理均存储为微型计算机234可执行的程序。除此以外,还能够存储到存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。并且,微型计算机234能够通过读入存储在该外部存储装置的存储介质中的程序,并根据该所读入的程序控制动作,执行上述处理。
本领域技术人员将容易地想起其他优点和变形例。因此,本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此,可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。