CN105191284A - 摄像装置及其控制方法 - Google Patents

摄像装置及其控制方法 Download PDF

Info

Publication number
CN105191284A
CN105191284A CN201480022679.2A CN201480022679A CN105191284A CN 105191284 A CN105191284 A CN 105191284A CN 201480022679 A CN201480022679 A CN 201480022679A CN 105191284 A CN105191284 A CN 105191284A
Authority
CN
China
Prior art keywords
data
peak
image data
image
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480022679.2A
Other languages
English (en)
Other versions
CN105191284B (zh
Inventor
小野村研一
市川学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aozhixin Digital Technology Co.,Ltd.
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105191284A publication Critical patent/CN105191284A/zh
Application granted granted Critical
Publication of CN105191284B publication Critical patent/CN105191284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Abstract

摄像装置包含:摄像部(204、206、208)、峰值图像生成部(220)、背景图像生成部(218)、合成部(222)和显示部(226)。摄像部(204、206、208)拍摄被摄体来取得RAW数据。峰值图像生成部(220)从所述RAW数据中提取峰值部分来生成峰值图像数据。背景图像生成部(218)对所述RAW数据进行图像处理来生成背景图像数据。合成部(222)对所述峰值图像数据和所述背景图像数据进行合成来生成合成图像数据。显示部(226)显示基于所述合成图像数据的图像。

Description

摄像装置及其控制方法
技术领域
本发明涉及具有峰化(peaking)显示模式的摄像装置及其控制方法。
背景技术
以往,作为用于在图像上较容易地确认被摄体的对焦状态的技术,已知有对图像内的成为对焦位置的候选的对比度的峰值部分进行强调显示的所谓峰化(peaking)显示。仅通过对峰值部分进行强调显示,有时候在动态范围小的显示部中,无法区别被对焦的被摄体的峰值部分与未被对焦的被摄体的峰值部分。所以,在日本特开2010-050592号公报中,在缩小图像信号的振幅后对峰值部分进行强调。
发明内容
在日本特开2010-050592号公报的技术中,在缩小图像信号的振幅后对峰值部分进行强调。近年来,已知有如下技术:通过有意地使图像晕映,或使灰度显著变化,从而对图像附加特殊效果。在附加了这种特殊效果的图像的情况下,即使仅是缩小图像信号的振幅,也有可能受到特殊效果的影响而无法正确显示峰值部分,或将灰度的边界错误检测为峰值部分。
本发明是鉴于上述情况而作出的,其目的是提供一种即使对图像附加了特殊效果,也能够进行适当的峰化显示的摄像装置及其控制方法。
为了达成所述目的,本发明的第1方式的摄像装置具有:摄像部,其拍摄被摄体来取得RAW数据;峰值图像生成部,其从所述RAW数据中提取峰值部分来生成峰值图像数据;背景图像生成部,其对所述RAW数据进行图像处理来生成背景图像数据;合成部,其对所述峰值图像数据和所述背景图像数据进行合成来生成合成图像数据;以及显示部,其显示基于所述合成图像数据的图像。
为了达成所述目的,本发明的第2方式的摄像装置的控制方法,该摄像装置具有:摄像部,其拍摄被摄体来取得RAW数据;峰值图像生成部,其从所述RAW数据中提取峰值部分来生成峰值图像数据;背景图像生成部,其对所述RAW数据进行图像处理来生成背景图像数据;合成部,其对所述峰值图像数据和所述背景图像数据进行合成来生成合成图像数据;以及显示部,其显示基于所述合成图像数据的图像。
附图说明
图1是示出作为本发明的各实施方式的摄像装置的一例的数码照相机的结构的框图。
图2A是示出数码照相机的主要动作的流程图的第1图。
图2B是示出数码照相机的主要动作的流程图的第2图。
图3是示出图像处理的流程图。
图4是示出基本图像处理的流程图。
图5是示出在亮度变更处理中使用的亮度变更特性曲线的例子的图。
图6是示出特殊图像处理的流程图。
图7是示出第1实施方式的峰值处理的流程图。
图8A是示出被摄体距离与峰值提取的频带的关系的图。
图8B是示出F值与峰值提取的频带的关系的图。
图9是示出在针对峰值图像数据的低通滤波处理中使用的低通滤波器的滤波系数的例子的图。
图10是示出在针对峰值图像数据的亮度变更处理中使用的亮度变更特性曲线的例子的图。
图11是示出在针对背景图像数据的低通滤波处理中使用的低通滤波器的滤波系数的例子的图。
图12是示出在针对背景图像数据的亮度变更处理中使用的亮度变更特性曲线的例子的图。
图13是示出第2实施方式的峰值处理的流程图。
图14是示出第3实施方式的峰值处理的流程图。
图15A是用于说明对背景图像数据附加了阴影效果的情况下的峰值变更处理的第1图。
图15B是用于说明对背景图像数据附加了阴影效果的情况下的峰值变更处理的第2图。
图16A是用于说明对背景图像数据附加了晕映的情况下的峰值变更处理的第1图。
图16B是用于说明对背景图像数据附加了晕映的情况下的峰值变更处理的第2图。
图17A是用于说明对背景图像数据附加了白色边缘处理的情况下的峰值变更处理的第1图。
图17B是用于说明对背景图像数据附加了白色边缘处理的情况下的峰值变更处理的第2图。
图18A是用于说明对背景图像数据实施了镜面反转处理的情况下的峰值变更处理的第1图。
图18B是用于说明对背景图像数据实施了镜面反转处理的情况下的峰值变更处理的第2图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
[第1实施方式]
图1是示出作为本发明各实施方式的摄像装置的一例的数码照相机的结构的框图。图1所示的数码照相机1是镜头更换式的数码照相机。但是,并非必须是镜头更换式的数码照相机,也可以是镜头一体式的数码照相机。此外,即使是带拍摄功能的移动电话机或带拍摄功能的便携终端等也可应用本实施方式的技术。
图1所示的数码照相机1具有更换式镜头100和照相机主体200。更换式镜头100构成为相对于照相机主体200拆装自如。当照相机主体200上安装有更换式镜头100时,更换式镜头100与照相机主体200连接成可自如通信。由此,更换式镜头100成为可根据照相机主体200的控制进行动作的状态。
更换式镜头100具有镜头102、光圈104、驱动器106、微型计算机108、闪存110和对焦环112。
镜头102是用于将来自未图示的被摄体的光束会聚到照相机主体200内的摄像元件204的光学系统。该镜头102具有对焦镜头和变焦镜头等多个镜头。
光圈104构成为开闭自如,用于调整经由镜头102入射的光束的量。驱动器106具有电机等。该驱动器106根据微型计算机108的控制,沿着镜头102的光轴方向驱动镜头102内的对焦镜头和变焦镜头,或对光圈104进行开闭驱动。
在将更换式镜头100安装到照相机主体200上时,微型计算机108经由接口(I/F)114与照相机主体200内的微型计算机234连接成通信自如。该微型计算机108根据来自微型计算机234的控制来使驱动器106进行驱动。此外,微型计算机108经由接口114将在闪存110中存储的更换式镜头100的镜头信息等与微型计算机234进行通信。
闪存110存储有镜头102的像差信息等镜头信息或执行更换式镜头100的动作所需要的程序等。
对焦环112是用于供用户进行对焦镜头的手动操作的操作部件。为了被旋转操作,对焦环112形成在更换式镜头100的主体上。通过由用户对对焦环112进行旋转,将旋转量的信号输入到微型计算机234中。
照相机主体200具有机械快门202、摄像元件204、模拟处理部206、模拟/数字(AD)转换部208、总线210、SDRAM212、AE处理部214、AF处理部216、图像处理部218、峰值图像处理部220、合成部222、显示驱动器224、显示部226、图像压缩解压缩部228、存储器接口(I/F)230、记录介质232、微型计算机234、操作部236和闪存238。
机械快门202构成为移动自如,使摄像元件204的光电转换面成为遮光状态或曝光状态。通过使该机械快门202移动来调整摄像元件204的曝光时间。
摄像元件204具有使通过镜头102而会聚的来自被摄体的光束成像的光电转换面。光电转换面是将多个像素配置成二维状而构成的。此外,在光电转换面的光入射侧设置有滤色器。这样的摄像元件204将在光电转换面上成像的与光束对应的像(被摄体像)转换为与其光量对应的电信号(以下,称为图像信号)后输出。
这里,对于摄像元件204,公知有CCD方式或CMOS方式等各种结构的摄像元件。另外,滤色器的颜色排列也公知有拜尔排列等各种排列。此外,摄像元件204可以为层叠了用于取得多个颜色信息的传感器的形式的传感器,也可以为不具有上述滤色器的传感器。在本实施方式中,摄像元件204的结构不限于特定的结构,可采用各种结构的摄像元件。此外,摄像元件204可以具有以电子方式控制曝光时间的电子快门功能。在以下的说明中,设为摄像元件204具有电子快门功能。
模拟处理部206对由摄像元件204获得的图像信号实施CDS(相关双采样)处理或AGC(自动增益控制)处理等模拟处理。A/D转换部208将在模拟处理部206中被模拟处理后的图像信号转换为数字信号(以下,称为RAW数据)。这里,RAW数据是指实施图像处理部218中的图像处理前的“原始的”图像数据。
这里,模拟处理部206或A/D转换部208可以安装在摄像元件204上。
以上的摄像元件204、模拟处理部206和A/D转换部208作为摄像部发挥功能。
总线210是用于传送在照相机主体200内部产生的各种数据的传送路径。
SDRAM212是用于暂时存储在照相机主体200内部产生的各种数据的存储部。该SDRAM212还被用作图像处理部218或峰值图像处理部220中的图像处理时的缓冲存储器。
AE处理部214采用图像数据(例如RAW数据)计算被摄体亮度。这里,AE处理部214可以采用来自测光传感器等专用的传感器的数据计算被摄体亮度。AF处理部216从图像数据(例如RAW数据)中取出高频成分的信号,对所取出的高频成分的信号进行累计,取得AF评价值。这里,在本实施方式中使用基于所谓对比度AF的AF,但是,也可以使用基于采用了专用的传感器等的所谓相位差AF的AF。
图像处理部218进行针对RAW数据的各种图像处理来生成图像数据。这里,由图像处理部218进行的图像处理是用于使图像数据的完成状态成为规定的完成状态和效果的图像处理。这里的完成状态是指显示时的外观和风格等。此外,图像处理部218也具有作为背景图像生成部的功能。在之后详细说明的峰化显示模式中,将由图像处理部218生成的图像数据与峰值图像数据合成。之后,在峰化显示模式中,将由图像处理部218生成的图像数据称作背景图像数据。不过,在除峰化显示模式以外的模式中生成的图像数据与背景图像数据之间不存在数据上的差异。
本实施方式中的图像处理部218具有基本图像处理部2181和特殊图像处理部2182。
基本图像处理部2181对图像数据实施为了图像的显示和记录所需要的基本的图像处理。该基本图像处理例如包含光学黑体(OB)减法运算处理、白平衡(WB)校正处理、同时化处理、颜色再现处理、亮度变更处理、边缘强调处理和降噪处理。光学黑体减法运算处理是减去RAW数据的暗电流成分(光学黑体)而去除该成分的处理。白平衡校正处理是通过利用规定的增益量将RAW数据的各颜色成分放大来校正图像的颜色平衡的处理。同时化处理是将与拜尔排列等的滤色器的排列模式对应地经由摄像元件204输出的RAW数据等这样的1个像素与1个颜色成分对应的图像数据转换为1个像素与多个颜色成分对应的RGB数据的处理。颜色再现处理是用于使得图像的颜色再现变得恰当的各种处理。作为该处理,例如有颜色矩阵运算处理。该颜色矩阵运算处理是对RGB数据乘以例如与白平衡模式对应的颜色矩阵系数的处理。除此以外,作为颜色再现处理,还进行饱和度/色调的校正。亮度变更处理是将RGB数据转换为YCbCr(亮度/色差)数据,并将Y数据的亮度特性变更为适合于显示和记录的处理。作为亮度变更处理,可以变更RGB数据的亮度特性。边缘强调处理是如下处理,即对使用带通滤波器等从图像数据(RGB数据或YCbCr数据)中提取出的边缘信号乘以边缘强调系数,并将该结果与原来的图像数据相加,由此强调图像数据中的边缘(轮廓)成分。降噪处理是通过核化(coring)处理等去除图像数据(RGB数据或YCbCr数据)中的噪声成分的处理。
特殊图像处理部2182对图像数据(RGB数据或YCbCr数据)实施用于赋予特殊的视觉效果的特殊图像处理。之后将说明信号图像处理的详细内容。
作为峰值图像生成部的峰值图像处理部220在峰化显示模式时,根据图像数据(例如RAW数据)生成峰值图像数据。峰值图像数据是通过提取图像数据中的对焦位置的候选,即对比度的峰值部分而获得的。
峰值图像处理部220具有峰值提取部2201和峰值校正部2202。峰值提取部2201使用带通滤波器等,从图像数据(例如RAW数据)中提取峰值信号。另外,在使用带通滤波器提取了峰值信号的情况下,所提取的峰值信号主要为边缘部分的信号。这里,如前所述,在基本图像处理部2181中的边缘强调处理中,也提取边缘信号。因此,峰值提取部2201可被设置于基本图像处理部2181的用于进行边缘强调处理的电路(边缘强调处理部)替代。峰值校正部2202对通过峰值提取部2201提取的峰值信号的亮度特性进行变更。如前所述,在基本图像处理部2181中的亮度变更处理中,也对亮度特性进行变更。因此,峰值校正部2202可被设置于基本图像处理部2181的用于进行亮度变更处理的电路(亮度变更处理部)替代。
在进行峰化显示时,合成部222对通过图像处理部218获得的背景图像数据和通过峰值图像处理部220获得的峰值图像数据进行合成来生成合成图像数据。合成部222具有背景图像校正部2221和图像合成部2222。背景图像校正部2221为了使与背景图像数据合成的峰值图像数据的部分变得显著,实施对背景图像数据进行校正的图像处理。该图像处理中例如包含低通滤波处理、亮度变更处理和饱和度变更处理。背景图像校正部2221根据对背景图像数据实施的图像处理的内容,选择适当的校正处理。图像合成部2222对背景图像数据和峰值图像数据进行合成来生成合成图像数据。
显示驱动器224根据显示部226的显示尺寸,对由图像处理部218得到的背景图像数据或由图像压缩解压缩部228解压缩而得到的图像数据或由合成部得到的合成图像数据进行尺寸调整,将尺寸调整后的图像数据转换为影像信号并输出到显示部226。显示部226例如是液晶显示器(LCD)。该显示部226显示基于从显示驱动器224输入的影像信号的图像。
在图像的记录时,图像压缩解压缩部228对通过图像处理部218中的图像处理而获得的图像数据实施JPEG形式或TIFF形式等的静态图像压缩处理,或者MPEG形式或H.264形式等的动态图像压缩处理。此外,在图像的再现时,图像压缩解压缩部228对实施了压缩处理的图像数据实施解压缩处理。
存储器接口230是用于微型计算机234等访问记录介质232的接口。记录介质232例如是在照相机主体200上拆装自如的存储卡。该记录介质232记录图像文件等。
图像文件是在由图像压缩解压缩部228进行了压缩后的图像数据中附加了头部信息的文件。记录介质232也可以固定于照相机主体200上(即也可以无法进行拆装)。
微型计算机234统一控制机械快门202、摄像元件204、显示驱动器224这样的照相机主体200的各部分的动作。此外,微型计算机234采用由AE处理部214运算出的被摄体亮度进行AE处理,或采用由AF处理部216运算出的AF评价值进行AF处理。此外,微型计算机234还具有作为对焦位置取得部的功能,对AF评价值进行评价,从而取得图像数据中的对焦位置。并且,在安装更换式镜头100时,微型计算机234还控制更换式镜头100的动作。
操作部236是由用户进行操作的各种操作部件。本实施方式中的操作部236例如具有释放按钮、动态图像按钮、菜单按钮、再现按钮、峰化显示切换按钮和电源按钮作为操作部件。
释放按钮具有第1(1st)释放开关和第2(2nd)释放开关这两级开关。在半按下释放按钮、从而第1释放开关接通的情况下,微型计算机234执行AE处理和AF处理等拍摄准备处理。并且,在全按下释放按钮、从而第2释放开关接通的情况下,微型计算机234执行静态图像记录处理。
动态图像按钮对微型计算机234指示动态图像拍摄的执行。在动态图像按钮被按下的情况下,微型计算机234执行动态图像记录处理。此外,在动态图像记录处理的执行过程中动态图像按钮被按下的情况下,微型计算机234结束动态图像记录处理。
菜单按钮是用于指示菜单画面的显示的操作部。在菜单画面上,用户能够变更照相机主体200的各种设定。在本实施方式中,用户例如在菜单画面上设定特殊图像处理模式。通过该特殊图像处理模式,设定由特殊图像处理部2182实施的特殊图像处理的内容。
再现按钮是用于对微型计算机234指示静态图像文件或动态图像文件的再现的操作部。电源按钮是用于指示照相机主体200的电源的接通或断开的操作部。
峰化显示切换按钮是用于指示峰化显示模式的打开和关闭的切换的操作部。该峰化显示切换按钮作为峰化显示指示部的一例发挥功能。
这里,也可以通过触摸面板实现与上述释放按钮、动态图像按钮、菜单按钮、再现按钮和峰化显示切换按钮同等的功能。即,也可以没有按钮等物理性的操作部件。
闪存238存储例如白平衡校正用的白平衡增益、颜色矩阵运算用的颜色矩阵系数、亮度特性变更用的各种函数这些图像处理部218的动作所需的参数等、照相机主体200的动作所需的各种参数。进而,闪存238还存储微计算机234执行的各种程序。
以下说明上述数码照相机的动作。图2A和图2B是示出本实施方式的数码照相机的主要动作的流程图。例如在图1所示的数码照相机的电源被接通的情况下进行图2A和图2B的动作。
在电源接通后,微型计算机234进行初始化处理(步骤S101)。在初始化处理中,微型计算机234进行将在自身具有的寄存器中设定的记录中标记设为“OFF”等处理。记录中标记是表示是否是动态图像记录中的标记。在记录中标记为“OFF”的期间,表示不是动态图像记录中。另一方面,在记录中标记为“ON”的期间,表示是动态图像记录中。
接着,微型计算机234判定是否由用户按下了操作部236的再现按钮(步骤S102)。在步骤S102中判定为按下了再现按钮的情况下,微型计算机234执行再现处理(步骤S103)。
在再现处理中,微型计算机234等待由用户进行的图像文件(静止图像文件或动态图像文件)的选择。然后在选择了图像文件的情况下,微型计算机234通过图像压缩解压缩部228,对所选择的图像文件进行解码。然后微型计算机234将通过解码获得的图像数据输入到显示驱动器224。显示驱动器224将所输入的图像数据转换成影像信号,将与该影像信号对应的图像显示到显示部226。此后,在用户进行了再现结束的指示的情况下,例如在再次按下了再现按钮的情况下,微型计算机234使再现处理结束。
在步骤S102中判定为未按下再现按钮的情况下,微型计算机234判定是否进行照相机设定(步骤S104)。例如在由用户按下了操作部236的菜单按钮的情况下,微型计算机234判定为进行照相机设定。
在步骤S104中判定为进行照相机设定的情况下,微型计算机234在控制显示驱动器224而使显示部226显示菜单画面后,执行照相机设定处理(步骤S105)。
在照相机设定处理中,微型计算机234等待来自用户的照相机设定的变更的指示。并且,在进行了任何照相机设定的变更指示的情况下,微型计算机234依照该指示变更照相机设定。在该照相机设定处理中,例如变更静态图像拍摄时和动态图像拍摄时的图像记录形式的设定、白平衡(WB)模式等与图像的完成状态相关的设定。此外,在照相机设定处理中,能够对是否执行特殊图像处理以及执行特殊图像处理时的特殊图像处理模式进行设定。
在步骤S104中判定为不进行照相机设定的情况下,微型计算机234判定是否由用户按下了操作部236的动态图像按钮(步骤S106)。在步骤S106中判定为按下了动态图像按钮的情况下,微型计算机234使记录中标记反转(步骤S107)。即,微型计算机234在记录中标记为“OFF”的情况下将记录中标记设为“ON”,在记录中标记为“ON”的情况下将记录中标记设为“OFF”。然后,微型计算机234判定当前是否是动态图像记录中,即记录中标记是否为“ON”(步骤S108)。
在步骤S108中判定为记录中标记为“ON”的情况下,微型计算机234生成动态图像文件,并做好准备使得能够记录动态图像数据(步骤S109)。此外,在步骤S108中判定为记录中标记不是“ON”的情况下,微型计算机234关闭动态图像文件(步骤S110)。
在步骤S106中判定为未按下动态图像按钮的情况,当在步骤S109中生成了动态图像文件后、并在步骤S110中关闭了动态图像文件后,微型计算机234再次判定当前是否是动态图像记录中,即记录中标记是否为“ON”(步骤S111)。
在步骤S111中判定为记录中标记为“OFF”的情况下,微型计算机234判定是否由用户半按下操作部236的释放按钮从而使释放按钮的状态从断开状态转变为第1释放开关的接通状态(步骤S112)。
在步骤S112中判定为释放按钮的状态转变为了第1释放开关的接通状态的情况下,微型计算机234进行AE处理和AF处理(步骤S113)。
在AE处理中,微型计算机234利用AE处理部214计算被摄体亮度。然后,微型计算机234根据由AE处理部214计算出的被摄体亮度,确定执行静态图像拍摄时的ISO感光度、F值(光圈值)、快门速度。这里,在使用了公知的脸检测技术等的情况下,将ISO感光度、F值、快门速度确定成使得检测到的脸的亮度变得适当。
在AF处理中,微型计算机234利用AF处理部216取得AF评价值。然后,微型计算机234利用由AF处理部216取得的AF评价值来评价对比度,并且指示微型计算机108,使其每次以微小量逐次地驱动镜头102的对焦镜头。然后,微型计算机234在对比度变得最大的时刻指示微型计算机108停止对焦镜头的驱动。这样的AF处理是所谓的对比度方式的AF处理。作为AF处理也可采用相位差AF处理。这里,在使用了公知的脸检测技术等的情况下,可以使焦点对准到检测到的脸上。
在AE处理和AF处理后,微型计算机234判定数码照相机1的电源是否被断开(步骤S114)。在步骤S114中判定为数码照相机1的电源未被断开的情况下,微型计算机234执行步骤S102之后的处理。另一方面,在步骤S114中判定为数码照相机的电源被断开的情况下,微型计算机234结束图2A和图2B的处理。
此外,在步骤S112中判定为释放按钮的状态没有转变为第1释放开关的接通状态的情况下,微型计算机234判定是否由用户全按下操作部236的释放按钮从而使释放按钮的状态成为第2释放开关的接通状态(步骤S115)。
在步骤S115中释放按钮的状态是第2释放开关接通的状态的情况下,微型计算机234执行使用了机械快门202的拍摄处理(步骤S116)。因此,微型计算机234根据在AE处理中确定的ISO感光度设定模拟处理部206中的增益控制量(放大率),并且将在AE处理中确定的F值发送到微型计算机108。然后,微型计算机234与基于微型计算机108的控制的光圈104的驱动同步,根据在AE处理中确定的曝光时间使机械快门202进行动作,控制摄像元件204的曝光值。通过这样的拍摄处理,将RAW数据存储到SDRAM212中。
在执行使用了机械快门202的拍摄处理后,微型计算机234使图像处理部218针对通过拍摄处理而存储到SDRAM212中的RAW数据执行图像处理(步骤S117)。之后将说明信号图像处理的详细内容。
在图像处理后,微型计算机234进行将作为图像处理的结果存储在SDRAM212中的图像数据以所设定的静态图像记录形式记录为静态图像文件的处理(步骤S118)。此时,微型计算机234将存储在SDRAM212中的图像数据输入到图像压缩解压缩部228并指示图像压缩解压缩部228执行静态图像压缩处理。图像压缩解压缩部228接收到该指示,与预先设定的记录模式对应地进行静态图像压缩处理,并将压缩后的图像数据存储到SDRAM212中。然后,微型计算机234从SDRAM212中读出由图像压缩解压缩部228压缩后的图像数据,根据所读出的图像数据制作静态图像文件,并将制作的静态图像文件记录到记录介质232中。
在步骤S115中判定为释放按钮的状态不是第2释放开关接通的状态的情况下,微型计算机234执行AE处理(步骤S119)。该AE处理是用于动态图像拍摄或实时取景显示的处理。在AE处理后,微型计算机234执行使用了电子快门的拍摄处理(步骤S120)。在该拍摄处理中,微型计算机234根据由AE处理确定的曝光时间而使摄像元件204的电子快门功能进行工作,控制摄像元件204的曝光值。通过这样的拍摄处理,将RAW数据存储到SDRAM212中。
在执行使用了电子快门的拍摄处理后,微型计算机234使图像处理部218执行针对通过拍摄处理而存储到SDRAM212中的RAW数据的图像处理(步骤S121)。之后将说明信号图像处理的详细内容。
在图像处理后,微型计算机234判定当前是否是动态图像记录中,即记录中标记是否为“ON”(步骤S122)。在步骤S122中判定为记录中标记为“ON”的情况下,微型计算机234跳过步骤S123的处理。
在步骤S122中判定为记录中标记为“ON”的情况下,微型计算机234进行将作为图像处理的结果存储在SDRAM212中的图像数据以所设定的动态图像记录形式记录为动态图像文件的处理(步骤S123)。此时,微型计算机234将存储在SDRAM212中的动态图像数据输入到图像压缩解压缩部228并指示图像压缩解压缩部228执行动态图像压缩处理。图像压缩解压缩部228接收到该指示,与预先设定的记录模式对应地进行动态图像压缩处理,并将压缩后的动态图像数据存储到SDRAM212中。然后,微型计算机234从SDRAM212中读出由图像压缩解压缩部228压缩后的动态图像数据,并将所读出的动态图像数据追加记录到动态图像文件中。此外,在动态图像数据的记录结束的情况下,在动态图像文件的头部信息部中记录帧数等信息。另外,在之后详细说明的峰值处理中,实施针对峰值图像数据和背景图像数据的图像处理,并显示其结果。这种峰值图像数据和背景图像数据无需与动态图像文件一起记录。
在步骤S122中判定为记录中标记为“OFF”的情况下或者步骤S123之后,微型计算机234判定是否进行了峰化显示的指示(步骤S124)。例如,每次按下作为峰化显示指示部的一例的峰化显示切换按钮时,切换峰化显示的打开和关闭。此外,也可以在操作了作为峰化显示指示部的另一个例子的对焦环112时,判定为进行了峰化的指示。在步骤S124中判定为没有进行峰化显示的指示的情况下,微型计算机234跳过步骤S125的处理。
在步骤S124中判定为进行了峰化显示的指示的情况下,微型计算机234执行峰值处理(步骤S125)。之后将详细说明峰值处理。
在步骤S124中判定为没有进行峰化显示的指示的情况下或者S125之后,微型计算机234进行实时取景显示(步骤S126)。然后,微型计算机234使处理转移到步骤S114。在实时取景显示中,微型计算机234将作为图像处理的结果存储在SDRAM212中的图像数据或作为峰值处理的结果存储在SDRAM212中的合成图像数据输入到显示驱动器224。显示驱动器224接收该图像数据或该合成图像数据,将所输入的图像数据或合成图像数据转换为影像信号并输出到显示部226。显示部226根据该影像信号来显示图像。通过这样的实时取景显示,用户能够使用显示部226进行构图的确认等。这里,在本实施方式中,在进行实时取景显示的期间操作了对焦环112的情况下,微型计算机108根据对焦环112的操作量,控制驱动器106并驱动对焦镜头。
图3是示出图像处理的流程图。在开始图像处理后,基本图像处理部2181对存储在SDRAM212中的RAW数据实施基本图像处理(步骤S201)。然后,特殊图像处理部2182对作为基本图像处理的结果而存储在SDRAM212中的图像数据(YCbCr数据)实施特殊图像处理(步骤S202)。由此结束图像处理。以下详细说明基本图像处理和特殊图像处理。
图4是示出基本图像处理的流程图。在基本图像处理开始后,基本图像处理部2181进行OB减法运算处理(步骤S301)。在OB减法运算处理中,基本图像处理部2181通过从所输入的RAW数据中减去光学黑体(OB)值而去除RAW数据中的暗电流成分。
在OB减法运算后,基本图像处理部2181进行WB校正处理(步骤S302)。在WB校正处理中,基本图像处理部2181通过对实施了OB减法运算处理后的RAW数据乘以与用户预先设定的WB模式对应的WB增益,校正作为图像的颜色平衡。
在WB校正处理后,基本图像处理部2181在RAW数据的形式为拜尔形式的情况下,进行同时化处理(步骤S303)。在同时化处理中,基本图像处理部2181使用插值处理将进行了WB校正的RAW数据进行同时化。由此,将1个像素具有RGB中的1个颜色成分的RAW数据转换为1个像素具有RGB这3个颜色成分的RGB数据。
在同时化处理后,基本图像处理部2181进行颜色再现处理(步骤S304)。在颜色再现处理中,基本图像处理部2181通过对RGB数据的各像素乘以与所设定的WB模式对应的颜色矩阵系数,进行RGB数据的颜色转换。并且,基本图像处理部2181通过以使得颜色转换后的RGB数据的色调和饱和度变得恰当的方式来校正颜色,调整图像的颜色再现。
在颜色再现处理后,基本图像处理部2181进行亮度变更处理(步骤S305)。在亮度变更处理中,基本图像处理部2181对进行了颜色再现处理的RGB数据进行伽马转换,并且将伽马转换后的RGB数据转换为YCbCr(亮度/色差)数据,然后进一步对Y数据进行伽马转换。在亮度变更处理时,根据特殊图像处理的设定,进行不同的伽马转换。图5是示出在亮度变更处理中使用的亮度变更特性曲线的例子的图。
图5的函数A是在RGB数据的亮度变更处理中使用的函数的例子,并且是用于变更显示部226的显示特性或对比度等的函数。通过使用函数A变更RGB数据的特性,能够使显示部226以适当的对比度显示图像。
函数B是在不附加特定的特殊效果的普通的亮度变更处理中使用的函数的例子。函数B是针对Y数据而使用的。即,使用函数A变更了RGB数据的亮度特性,并在将变更了亮度特性后的RGB数据转换成YCbCr数据后,使用函数B进一步变更Y数据的特性。在通过函数B转换了Y数据的特性的情况下,获得的Y数据的特性成为使用函数A进行了亮度变更处理的结果的线形转换的特性。
函数C是如下特性的函数:相对于函数B,提高高亮度侧,降低低亮度侧。函数C也是针对Y数据而使用的。即,使用函数A变更了RGB数据的亮度特性,并在将变更了亮度特性后的RGB数据转换成YCbCr数据后,使用函数C进一步变更Y数据的特性。在通过函数C转换了Y数据的特性的情况下,强调图像的对比度。这样的函数C例如在附加如用玩具照相机拍摄那样的视觉效果的特殊效果处理模式或附加流行色调的视觉效果的特殊效果处理模式时使用。对于函数C,可以变更系数以使得能够针对RGB数据使用。
函数D是如下特性的函数:相对于函数B抬高整体的亮度。函数D也是针对Y数据而使用的。即,使用函数A变更了RGB数据的亮度特性,并在将变更了亮度特性后的RGB数据转换成YCbCr数据后,使用函数D进一步变更Y数据的特性。在利用函数D转换了Y数据的特性的情况下,获得抑制了对比度并且明亮的图像。这样的函数D例如在附加了空想色调的视觉效果的特殊效果处理模式时使用。对于函数D,也可以变更系数以使得能够针对RGB数据而使用。
在亮度变更处理后,基本图像处理部2181进行边缘强调处理(步骤S306)。在边缘强调处理中,基本图像处理部2181对亮度变更处理后的Y数据实施带通滤波处理来提取边缘信号,并对提取出的边缘信号乘以与边缘强调量对应的系数。并且,基本图像处理部2181通过将乘以系数后的边缘成分与原来的Y数据相加,来强调图像的边缘成分。
在边缘强调处理后,基本图像处理部2181进行降噪(NR)处理(步骤S307)。然后,基本图像处理部2181结束图4的处理。在降噪处理中,基本图像处理部2181对进行了边缘强调处理的Y数据进行频率分解,并根据频率实施核化处理等来降低图像中的噪声成分。也可以对Cb数据和Cr数据降低噪声成分。在记录形式为TIFF形式的情况下,对降噪处理后的数据进行规定的矩阵运算而再次转换为RGB形式。
图6是示出特殊图像处理的流程图。在特殊图像处理开始后,特殊图像处理部2182判定是否附加阴影效果(步骤S401)。在步骤S401中判定为不附加阴影效果的情况下,特殊图像处理部2182跳过步骤S402的处理。
在步骤S401中判定为附加阴影效果的情况下,特殊图像处理部2182对Y数据附加阴影效果(步骤S402)。在该处理中,特殊图像处理部2182生成如下的增益映射图:对应于例如与Y数据的中心位置的距离,增益的值逐渐变小。然后特殊图像处理部2182对各像素的Y数据乘以与其像素对应的增益。这里,增益的最大值为1。
接着,特殊图像处理部2182判定是否附加柔焦效果(步骤S403)。在步骤S403中判定为不附加柔焦效果的情况下,特殊图像处理部2182跳过步骤S404的处理。
在步骤S403中判定为附加柔焦效果的情况下,特殊图像处理部2182对Y数据附加柔焦效果(步骤S404)。在该处理中,特殊图像处理部2182对YCbCr数据实施低通滤波处理,从而对YCbCr数据附加晕映。然后特殊图像处理部2182按照规定的比率(例如,晕映后:晕映前=2:3),对晕映后的YCbCr数据和晕映前的YCbCr数据进行合成。
接着,特殊图像处理部2182判定是否叠加噪声效果(步骤S405)。在步骤S405中判定为不叠加噪声效果的情况下,特殊图像处理部2182跳过步骤S406的处理。
在步骤S405中判定为叠加噪声效果的情况下,特殊图像处理部2182对YCbCr数据叠加噪声效果(步骤S406)。在该处理中,特殊图像处理部2182将噪声数据叠加到YCbCr数据。这里,噪声数据可以使用预先存储在闪存238中的固定模式的噪声数据,也可以每当进行叠加噪声效果的处理时,使用伪随机数产生器等产生噪声数据。
接着,特殊图像处理部2182判定是否进行晕映处理(步骤S407)。在步骤S407中判定为不进行晕映处理的情况下,特殊图像处理部2182跳过步骤S408的处理。
在步骤S407中判定为进行晕映处理的情况下,特殊图像处理部2182对YCbCr数据实施晕映处理(步骤S408)。在该处理中,特殊图像处理部2182将在晕映处理中使用的低通滤波器的值设定成使得高频成分以例如被摄体位置(也可以为AF位置等)为中心沿上下方向或左右方向逐渐降低。然后特殊图像处理部2182根据该低通滤波器的值,实施晕映处理。也可以为,以根据与中心的距离而逐渐晕映的方式进行晕映处理。
接着,特殊图像处理部2182判定是否进行十字滤光镜处理(步骤S409)。在步骤S409中判定为不进行十字滤光镜处理的情况下,特殊图像处理部2182跳过步骤S410的处理。
在步骤S409中判定为进行十字滤光镜处理的情况下,特殊图像处理部2182对Y数据实施十字滤光镜处理(步骤S410)。在该处理中,特殊图像处理部2182检索图像数据(Y数据)中的亮点(高亮度像素)。接着,特殊图像处理部2182以Y数据的检索到的亮点为中心,描绘亮线。
接着,特殊图像处理部2182判定是否进行白色边缘处理(步骤S411)。在步骤S411中判定为不进行白色边缘处理的情况下,特殊图像处理部2182跳过步骤S412的处理。
在步骤S411中判定为进行白色边缘处理的情况下,特殊图像处理部2182对YCbCr数据实施白色边缘处理(步骤S412)。在该处理中,特殊图像处理部2182例如依照随着与YCbCr数据的中心位置的距离、白色(例如Y=255、Cb=Cr=0(无彩色))的比率逐渐增大这样的转换特性,对各像素的YCbCr数据进行转换。
接着,特殊图像处理部2182判定是否进行局部着色处理(步骤S413)。在步骤S413中判定为不进行局部着色处理的情况下,特殊图像处理部2182跳过步骤S414的处理。
在步骤S413中判定为进行局部着色处理的情况下,特殊图像处理部2182对YCbCr数据实施局部着色处理(步骤S414)。在该处理中,特殊图像处理部2182以留下预先确定的颜色,除此以外的颜色为无彩色的方式,制作颜色的增益映射图。在生成了增益映射图后,特殊图像处理部2182对Cb数据和Cr数据(无彩色以成为0的方式而生成)的各像素乘以增益。
接着,特殊图像处理部2182判定是否进行镜面反转处理(步骤S415)。在步骤S415中判定为不进行镜面反转处理的情况下,特殊图像处理部2182跳过步骤S416的处理后结束图6的处理。
在步骤S415中判定为进行镜面反转处理的情况下,特殊图像处理部2182对YCbCr数据实施镜面反转处理(步骤S416)。在该处理中,特殊图像处理部2182将YCbCr数据的上半部分上下反转后与下半部分合成。然后,特殊图像处理部2182结束图6的处理。这里,在镜面反转处理中,也可以设为将YCbCr数据的左半部分左右反转后与右半部分合成。
图7是示出第1实施方式的峰值处理的流程图。在图7中,峰值图像处理部220的峰值提取部2201从RAW数据中提取峰值信号(步骤S501)。具体而言,峰值提取部2201对RAW数据实施带通滤波处理来提取对比度的信号。这里,通过带通滤波器提取的信号的频带优选根据被摄体距离和F值等各种条件而改变。
图8A是示出被摄体距离与峰值提取的频带的关系的图。此外,图8B是示出F值与峰值提取的频带的关系的图。这里,图8A和图8B均为横轴表示图像(RAW数据)的频率的值,纵轴表示所提取的峰值信号的频率响应(像素值)。
在被摄体距离较远的情况下,由于将焦点对准细小的被摄体,所以容易提取峰值信号。在该情况下,如果简单地进行峰化显示,则会显示出大量的峰值线。因此,用户很难识别目标被摄体的对焦状态。所以,在进行被摄体距离较远的情况下的峰化显示时,如图8A的实线所示,将峰值提取的频带设定在高频侧。由此,所提取的峰值线的数目受到限制。另一方面,在被摄体距离较近的情况下,很难将焦点对准细小的被摄体,所提取的峰值线的数目减少。因此,在进行被摄体距离较近的情况下的峰化显示时,如图8A的虚线所示,与被摄体距离较远的情况相比,将峰值提取的频带相对地设定在低频侧。这样,被摄体距离越近,越将峰值提取的频带向低频侧变更,从而能够不依赖被摄体距离而使进行峰化显示时的峰值线看起来恒定。
经由接口114,利用通信取得镜头102的状态(位置),从而能够取得被摄体距离。也可以设置专用的传感器,获得被摄体距离。
此外,在F值较大(光圈104缩小)的情况下,景深变深,容易对准焦点。该情况也与被摄体距离较远的情况同样,如果简单地进行峰化显示,则会显示出大量的峰值线。因此,在进行F值较大的情况下的峰化显示时,如图8B的实线所示,将峰值信号的提取频带设定在高频侧。另一方面,在进行F值较小(光圈104打开)的情况下的峰化显示时,如图8B的虚线所示,与F值较大的情况相比,将峰值提取的频带相对地设定在低频侧。这样,F值越小,越将峰值提取的频带向低频侧变更,从而能够不依赖被摄体距离而使进行了峰化显示时的峰值线看起来恒定。
另外,通过经由接口114,利用通信取得光圈104的状态,从而能够取得F值。
图8A示出根据被摄体距离改变峰值提取的频带的例子,图8B示出根据F值改变峰值提取的频带的例子。除这些以外,也可以根据焦距(变焦位置),改变峰值提取的频带。在该情况下,焦距越长,越将峰值提取的频带向低频侧变更,从而能够使进行了峰化显示时的峰值线看起来恒定。
在峰值提取后,峰值校正部2202针对提取峰值信号而获得的峰值图像数据,进行核化(coring)处理(步骤S502)。具体而言,峰值校正部2202将峰值图像数据中的小振幅成分(具有像素值的一定范围内的成分)钳制为规定值(例如0)。
在核化处理后,峰值校正部2202对核化处理过的峰值信号乘以增益,从而放大峰值图像数据(步骤S503)。这里,增益例如为预先存储在闪存238中的固定的增益。
在乘以增益后,峰值校正部2202钳制峰值图像数据的一部分的成分,使得没有违和感地进行峰化显示(步骤S504)。在通过带通滤波处理提取的峰值信号中包含正成分和负成分。正成分与高亮度成分对应,负成分与低亮度成分对应。因此,在显示亮的峰值线(例如白色)的情况下,将峰值图像数据的负成分钳制为0。相反地,在显示暗的峰值线(例如黑色)的情况下,将峰值图像数据的正成分钳制为0。是否显示亮的峰值线例如根据被摄体的明亮度而确定。即,确定为在被摄体较暗的情况下显示亮的峰值线,并确定为在被摄体较亮的情况下显示暗的峰值线。
另外,也可以在步骤S504中不进行钳制,而是在后述的步骤S506中的亮度变更处理中对正成分或负成分进行钳制。此外,也可以设置成能够在步骤S105的照相机设定中设定是显示亮的峰值线还是显示暗的峰值线。
在信号钳制后,峰值校正部2202对峰值图像数据实施低通滤波处理(步骤S505)。图9是示出在针对峰值图像数据的低通滤波处理中使用的低通滤波器的滤波系数的例子的图。另外,低通滤波处理后的实际的输出为如下的值:将对以关注像素为中心的5×5像素的峰值图像数据的各像素乘以图9的系数而得到的值进行合计,将该合计得到的值除以图9的系数的总和而得到的值。使用具有图9所示的特性的滤波器对峰值图像数据进行了处理的情况下,通过将峰值部分平均化,而具有广范围。这里,在图9中所示的滤波系数的值为一例,可以适当变更。此外,并非必须设置为5×5的滤波器。
在针对峰值图像数据的低通滤波处理后,峰值校正部2202对峰值图像数据实施亮度变更处理(步骤S506)。图10是示出在针对峰值图像数据的亮度变更处理中使用的亮度变更特性曲线的例子的图。如图10所示,在显示亮的峰值线的情况下,使用对峰值图像数据的正成分的对比度进行强调的特性的亮度变更特性曲线(图10的实线),实施亮度变更处理。另一方面,在显示暗的峰值线的情况下,使用对峰值图像数据的负成分的对比度进行强调的特性的亮度变更特性曲线(图10的虚线),实施亮度变更处理。这样在本实施方式中,针对通过低通滤波处理而被晕映的峰值图像数据,实施强调对比度的亮度变更处理。在实施了这种处理的情况下,能够在进行峰化显示时,显示粗且鲜明的峰值线。所以,用户较容易识别峰值线的对焦状态。这里,在图10中所示的例子中,通过亮度变更处理,将峰值图像数据转换为各像素具有0以上且1.0以下的增益值的图像数据。亮度变更特性曲线的上限值和下限值不限于图10中所示的例子。
接着,峰值校正部2202判定是否进行了AF(步骤S507)。在步骤S507中判定为没有进行过AF的情况下,峰值校正部2202跳过步骤S508的处理。在步骤S507中判定为进行了AF的情况下,峰值校正部2202将峰值图像数据中的对焦位置(检测到AF评价值的峰值的位置)周边以外的像素乘以0(步骤S508)。通过这种处理,能够进行遮罩,使得从通过峰值提取处理提取的峰值部分中提取出与对焦位置对应的峰值部分。
通过直到步骤S508为止的处理,结束针对峰值图像数据的处理。接着,合成部222的背景图像校正部2221对背景图像数据实施低通滤波处理(步骤S509)。这里,背景图像数据为至少实施了基本图像处理的图像数据。特殊图像处理可以不实施,也可以实施。此外,图11是示出在针对背景图像数据的低通滤波处理中使用的低通滤波器的滤波系数的例子的图。使用具有图11所示的特性的滤波器对背景图像数据进行处理,从而使背景图像数据相对于峰值图像数据被晕映。这里,在图9中所示的滤波系数的值为一例,可以适当变更。此外,并非必须设置为5×5的滤波器。不过,期望将滤波器的系数设定成,使得针对背景图像数据的低通滤波处理的晕映程度比针对峰值图像数据的低通滤波处理的程度大。
在针对背景图像数据的低通滤波处理后,背景图像校正部2221对背景图像数据实施亮度变更处理(步骤S510)。图12是示出在针对背景图像数据的亮度变更处理中使用的亮度变更特性曲线的例子的图。在步骤S510的亮度变更处理中,以使得与峰值图像数据的明暗差变得显著的方式,变更背景图像数据的亮度特性。即,如图12所示,在显示亮的峰值线的情况下,使用抑制了输出亮度的亮度变更特性曲线,进行针对背景图像数据的亮度特性变更处理,从而使背景图像数据整体上变暗。另一方面,在显示暗的峰值线的情况下,使用提高了输出亮度的亮度变更特性曲线,进行针对背景图像数据的亮度特性变更处理,从而使背景图像数据整体上变亮。另外,在图12中所示的亮度变更特性曲线为一例。例如,也可以不依赖于输入数据,而使背景图像数据一律变亮或者变暗。
在针对峰值图像数据的亮度特性变更处理和针对背景图像数据的亮度特性变更处理后,合成部222的图像合成部2222对峰值图像数据和背景图像数据进行合成来生成合成图像数据(步骤S511)。图像合成部2222例如通过对峰值图像数据和背景图像数据进行加权相加,从而进行合成。这时,以峰值图像数据的增益值越接近1.0,越能够清楚地看到峰值线的方式进行合成。作为该一例,在显示白色的峰值线的情况下按照以下的(式1)进行合成,在显示黑色的峰值线的情况下,按照以下的(式2)进行合成。按照图像数据的每个成分,进行(式1)和(式2)所示的运算。例如,在背景图像数据为YCbCr数据的情况下,分别针对Y数据、Cb数据和Cr数据进行(式1)或(式2)的运算。此外,(式1)的白色的值是在进行显示时看起来为白色的像素值。例如,YCbCr数据的情况中的白色的像素值为Y=255,Cb=Cr=0。此外,RGB数据的情况中的白色的值为R=G=B=255。此外,(式2)的黑色的值是在进行显示时看起来为黑色的像素值。例如,YCbCr数据的情况中的黑色的像素值为Y=0,Cb=Cr=0。此外,RGB数据的情况中的黑色的值为R=G=B=0。
背景图像数据的像素值×(1.0-峰值图像数据的增益值)+白色的像素值×峰值图像数据的增益值(式1)
背景图像数据的像素值×(1.0-峰值图像数据的增益值)+黑色的像素值×峰值图像数据的增益值(式2)
通过进行在(式1)或(式2)中所示的运算,生成合成图像数据,该合成图像数据是在通过低通滤波处理而被晕映的背景图像数据的峰值部分中合成了粗且鲜明的峰值线而得到的。
如以上所说明,在本实施方式中,使用从RAW数据提取的峰值信号,进行峰值处理。即,在本实施方式中,将峰值图像数据和背景图像数据分离,并分别针对它们实施各自的图像处理。有可能对背景图像数据实施使用了图5的函数C或函数D的亮度变更处理或各种特殊效果处理。当进行了这种特殊的处理时,峰值部分的提取变得困难。另一方面,RAW数据是实施这些处理前的图像数据。通过根据这种RAW数据而生成峰值图像数据,从而,在本实施方式中,能够进行不依赖针对背景图像数据进行的图像处理的内容或在图像处理时使用的图像处理参数的、稳定的峰化显示。
此外,在本实施方式中,对于峰值图像数据,在低通滤波处理后进行强调对比度的亮度变更处理。另一方面,对于背景图像数据,进行低通滤波处理使得在背景图像中边缘部分很难与峰值图像混同起来,并进行进一步强调与峰值图像数据之间的明暗差的亮度变更处理。由此,在进行峰化显示时,能够相对于背景图像鲜明地显示峰值线。由此,用户容易识别峰值线的对焦状态。
这里,在本实施方式中,通过对峰值图像数据实施低通滤波处理,从而对峰值图像数据进行晕映。可以代替低通滤波处理,而使用降噪处理对峰值图像数据进行晕映。
[第2实施方式]
接着,对本发明的第2实施方式进行说明。第2实施方式与第1实施方式的不同之处在于,进一步进行变更背景图像数据的色调的处理以使峰值线更显著。第2实施方式优选适用于对峰值线付与颜色的情况。
图13是示出第2实施方式的峰值处理的流程图。这里,图13的基本的处理流程与图7相同。因此省略图13的详细说明。具体而言,图13的步骤S601~S609与图7的S501~S509相同,因此省略详细说明。
在针对背景图像数据的低通滤波处理后,背景图像校正部2221对背景图像数据实施饱和度变更处理(步骤S610)。饱和度变更处理是变更背景图像数据的饱和度以使峰值线的颜色变得显著的处理。例如,在合成高饱和度颜色的峰值线的情况下,降低背景图像数据的饱和度。作为用于降低饱和度的方法,例如可以举出对色差数据(Cb数据和Cr数据)乘以同样的系数0.5的方法。该系数可在0以上且小于1之间适当变更。
在饱和度变更处理后,背景图像校正部2221对背景图像数据实施亮度变更处理(步骤S611)。亮度变更处理可以与图13的S510相同。
在亮度变更处理后,背景图像校正部2221对峰值图像数据和背景图像数据进行合成来生成合成图像数据(步骤S612)。合成处理基本上与图13的步骤S511相同。其中,通过将(式1)的“白色的像素值”置换成想要合成的峰值线的颜色的像素值来进行。例如,在将峰值线的颜色设为红色的情况下,取代(式1)的“白色的像素值”的R=G=B=255,设置成R=255,G=B=0。
如以上所说明,在本实施方式中,变更背景图像数据的饱和度以使峰值图像数据的颜色变得显著。由此,即使对峰值线着色,用户也不会将峰值线的颜色与背景的颜色混同。由此,用户容易识别峰值线的对焦状态。
[第3实施方式]
接着,对本发明的第3实施方式进行说明。第3实施方式与第1和第2实施方式的不同之处在于,进行与对背景图像数据附加的特殊效果相应的峰值部分的变更处理。
图14是示出第3实施方式的峰值处理的流程图。这里,图14的基本的处理流程与图7相同。因此省略图14的详细说明。具体而言,图14的步骤S711~S716、S719~721与图7的S501~S506、S509~S511相同,因此省略详细说明。
在针对峰值图像数据的亮度变更处理后,峰值校正部2202判定是否对背景图像数据附加了特殊效果(步骤S717)。在步骤S717中判定为没有对背景图像数据附加特殊效果的情况下,峰值校正部2202跳过步骤S718的处理。在步骤S717中判定为对背景图像数据附加了特殊效果的情况下,峰值校正部2202进行与特殊效果对应的峰值图像数据的变更处理(步骤S718)。在该处理中,以在特殊效果对图像变化的影响小的位置合成峰值图像数据的方式,变更峰值图像数据。
例如,如图15A所示,作为特殊效果而附加了阴影效果的背景图像数据为中央部较亮且周边部较暗的图像数据。容易明白附加了阴影效果而变暗的部分是对焦的状态。因此,如图15B所示,以在没有附加阴影效果的部分合成峰值图像数据的方式,变更峰值图像数据。这里,在图15B中,没有附加特殊效果的峰值部分用P表示,附加了特殊效果的峰值部分用P’表示。如果如图15B所示地在峰值部分P合成峰值线,则用户容易明白对焦的状态。这里,并非必须在附加了阴影效果的部分P’上合成峰值图像数据。在附加了阴影效果的部分P’上合成峰值图像数据的情况下,例如优选在变更颜色后再进行合成,以便与在没有附加阴影效果的部分P上合成的峰值图像数据相区分。
此外,如图16A所示,作为特殊效果附加了晕映的背景图像数据即使在附加了晕映的部分上显示峰值线,也没太大意义。因此,如图16B所示,以在没有附加晕映的部分P上合成峰值图像数据的方式,变更峰值图像数据。并非必须在附加了晕映的部分上合成峰值图像数据。在附加了晕映的部分上合成峰值图像数据的情况下,例如优选变更了颜色后再进行合成,以与在没有附加晕映的部分上进行合成的峰值图像数据相区分。
此外,如图17A所示,作为特殊效果而实施了白色边缘处理的背景图像数据为中央部较暗且周边部较亮的图像数据。在实施了白色边缘处理的情况下,如图17B所示,以在中央部的实施了较弱的白色边缘处理的部分P上合成峰值线的方式,变更峰值图像数据。并非必须在实施了较强的白色边缘处理的部分P’上合成峰值图像数据。在实施了较强的白色边缘处理的部分P’上合成峰值图像数据的情况下,例如优选在变更颜色后再进行合成,以与在实施了较弱的白色边缘处理的部分P上进行合成的峰值图像数据相区分。
此外,如图18A所示,作为特殊效果而实施了镜面反转处理的背景图像数据为上下对称(或左右对称)的图像数据。实际的被摄体为上半部分(或左半部分)的部分。因此,如图18B所示,仅在上半部分上合成峰值图像数据。
以上的图15A到图18B所示的峰值变更处理为一例。只要能够以不受特殊效果的影响的方式显示峰值线,则峰值变更处理的内容能够适当变更。
如以上所说明,在本实施方式中,根据特殊效果的内容,进行峰值图像数据的变更处理。由此,无法通过特殊效果看到或无需对准焦点的部分变得明确,用户无需进行无用的对焦。
基于以上实施方式对本发明进行了说明,但本发明并不限定于上述的实施方式,能够在本发明的的宗旨的范围内进行各种变形和应用。此外,在上述各动作流程图的说明中,为了方便,使用“首先”、“接着”等说明动作,但不是指必须按该顺序实施动作。
此外,还能够将上述实施方式中的拍摄装置进行的各处理的手法、即各流程图所示的处理均存储为微型计算机234可执行的程序。除此以外,还能够存储到存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。并且,微型计算机234能够通过读入存储在该外部存储装置的存储介质中的程序,并根据该所读入的程序控制动作,执行上述处理。
另外,在上述的实施方式中包括各个阶段的发明,通过公开的多个技术特征的适当组合能够得出各种发明。例如,即使从实施方式所示的全部技术特征中削除几个技术特征,也能够解决上述那样的课题,在能够获得上述那样的效果的情况下,削除了该技术特征的结构也可以作为发明得出。

Claims (20)

1.一种摄像装置,其具有:
摄像部,其拍摄被摄体来取得RAW数据;
峰值图像生成部,其从所述RAW数据中提取峰值部分来生成峰值图像数据;
背景图像生成部,其对所述RAW数据进行图像处理来生成背景图像数据;
合成部,其对所述峰值图像数据和所述背景图像数据进行合成来生成合成图像数据;以及
显示部,其显示基于所述合成图像数据的图像。
2.根据权利要求1所述的摄像装置,其中,
所述合成部包含背景图像校正部,该背景图像校正部以使被合成的所述峰值图像数据相对于被合成的所述背景图像数据变得显著的方式,校正所述背景图像数据,
所述合成部对通过所述背景图像校正部校正后的背景图像数据和所述峰值图像数据进行合成。
3.根据权利要求2所述的摄像装置,其中,
作为所述背景图像数据的校正,所述背景图像校正部进行变更被合成的所述背景图像数据的灰度的处理。
4.根据权利要求2所述的摄像装置,其中,
作为所述背景图像数据的校正,所述背景图像校正部进行变更被合成的所述背景图像数据的色调的处理。
5.根据权利要求2所述的摄像装置,其中,
作为所述背景图像数据的校正,所述背景图像校正部进行被合成的所述背景图像数据的低通滤波处理。
6.根据权利要求1所述的摄像装置,其中,
所述背景图像生成部具有特殊效果处理部,该特殊效果处理部对所述背景图像数据附加特殊效果。
7.根据权利要求6所述的摄像装置,其中,
所述合成部针对所述背景图像数据中的由所附加的特殊效果引起的图像变化小的区域,合成所述峰值图像数据。
8.根据权利要求1所述的摄像装置,其中,
所述摄像装置还具有对焦位置取得部,该对焦位置取得部取得拍摄时的对焦位置,
所述峰值图像生成部根据由所述对焦位置取得部取得的对焦位置,从所提取的所述峰值部分中进一步提取第2峰值部分。
9.根据权利要求8所述的摄像装置,其中,
所述峰值图像生成部对根据所述对焦位置而提取的第2峰值部分以外的峰值部分进行遮罩。
10.根据权利要求8所述的摄像装置,其中,
所述对焦位置越是近距离,所述峰值图像生成部提取所述RAW数据中的频带越低的信号作为所述峰值部分。
11.根据权利要求1所述的摄像装置,其中,
所述摄像装置还具有光圈开口位置取得部,该光圈开口位置取得部取得拍摄时的光圈开口位置,
光圈越是打开,所述峰值图像生成部提取所述RAW数据中的频带越低的信号作为所述峰值部分。
12.根据权利要求1所述的摄像装置,其中,所述摄像装置还具有:
峰化显示指示部,其用于指示是否使所述显示部显示基于所述合成图像数据的图像;以及
控制部,其进行控制,使得在指示了显示的情况下,使所述显示部显示基于所述合成图像数据的图像,在指示了不显示的情况下,使所述显示部显示基于所述背景图像数据的图像。
13.根据权利要求1所述的摄像装置,其中,所述摄像装置还具有:
动态图像拍摄指示部,其指示动态图像的拍摄;以及
记录部,在指示了所述动态图像的拍摄时,该记录部将所述背景图像数据作为动态图像数据进行记录。
14.一种摄像装置,其具有:
摄像部,其拍摄被摄体来取得RAW数据;
峰值图像生成部,其从所述RAW数据中提取峰值部分来生成峰值图像数据;
背景图像生成部,其进行对所述RAW数据附加特殊效果的图像处理,生成背景图像数据;
合成部,其对所述峰值图像数据和所述背景图像数据进行合成来生成合成图像数据;以及
显示部,其显示基于所述合成图像数据的图像。
15.根据权利要求14所述的摄像装置,其中,
所述合成部针对所述背景图像数据中的由所附加的特殊效果引起的图像变化小的区域,合成所述峰值图像数据。
16.一种摄像装置的控制方法,该摄像装置具有:摄像部,其拍摄被摄体来取得RAW数据;以及显示部,其进行基于根据所述RAW数据而生成的图像数据的图像的显示,其中,所述摄像装置的控制方法具有以下步骤:
从所述RAW数据中提取峰值部分来生成峰值图像数据;
对所述RAW数据进行图像处理来生成背景图像数据;
对所述峰值图像数据和所述背景图像数据进行合成来生成合成图像数据;以及
显示基于所述合成图像数据的图像。
17.根据权利要求16所述的摄像装置的控制方法,其中,所述摄像装置的控制方法还具有如下步骤:
以使被合成的所述峰值图像数据相对于被合成的所述背景图像数据变得显著的方式,校正所述背景图像数据;
对进行了所述校正的背景图像数据和所述峰值图像数据进行合成。
18.根据权利要求16所述的摄像装置的控制方法,其中,
所述摄像装置的控制方法还具有进行对所述背景图像数据附加特殊效果的处理的步骤。
19.根据权利要求16所述的摄像装置的控制方法,其中,
在生成所述峰值图像数据时,根据拍摄时的对焦位置而从所提取出的所述峰值部分中进一步提取峰值部分。
20.根据权利要求16所述的摄像装置的控制方法,其中,
在生成所述峰值图像数据时,光圈越打开,提取所述RAW数据中的频带越低的信号作为所述峰值部分。
CN201480022679.2A 2013-04-22 2014-04-22 摄像装置及其控制方法 Active CN105191284B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013089176A JP6091311B2 (ja) 2013-04-22 2013-04-22 撮像装置
JP2013-089176 2013-04-22
PCT/JP2014/061305 WO2014175273A1 (ja) 2013-04-22 2014-04-22 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
CN105191284A true CN105191284A (zh) 2015-12-23
CN105191284B CN105191284B (zh) 2018-08-03

Family

ID=51791845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480022679.2A Active CN105191284B (zh) 2013-04-22 2014-04-22 摄像装置及其控制方法

Country Status (5)

Country Link
US (1) US10051200B2 (zh)
EP (1) EP2991335B1 (zh)
JP (1) JP6091311B2 (zh)
CN (1) CN105191284B (zh)
WO (1) WO2014175273A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566714A (zh) * 2016-07-01 2018-01-09 奥林巴斯株式会社 摄像装置和摄像方法
CN111491098A (zh) * 2020-04-14 2020-08-04 重庆幻光影视科技有限公司 一种新型峰值对焦方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279365B2 (ja) * 2019-01-09 2023-05-23 株式会社Jvcケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247422A (ja) * 2001-02-20 2002-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2010050592A (ja) * 2008-08-20 2010-03-04 Canon Inc 画像表示装置、撮像装置、表示方法
CN102244731A (zh) * 2010-05-11 2011-11-16 三洋电机株式会社 电子机器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01241276A (ja) * 1988-03-22 1989-09-26 Sharp Corp ビデオカメラ
JP4535114B2 (ja) * 2007-10-26 2010-09-01 ソニー株式会社 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム
JP4508256B2 (ja) * 2008-03-19 2010-07-21 ソニー株式会社 映像信号処理装置、撮像装置及び映像信号処理方法
US8421897B2 (en) * 2009-04-08 2013-04-16 Canon Kabushiki Kaisha Image capturing apparatus and control method therefor
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
US8724009B2 (en) * 2010-05-05 2014-05-13 Hiok Nam Tay Auto-focus image system
JP2012160942A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像表示装置、及び撮像装置
JP2012231362A (ja) * 2011-04-27 2012-11-22 Olympus Imaging Corp デジタルカメラ
WO2013047482A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 撮影装置、撮影方法、記録媒体およびプログラム
JP5942444B2 (ja) * 2012-01-30 2016-06-29 リコーイメージング株式会社 デジタルカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247422A (ja) * 2001-02-20 2002-08-30 Matsushita Electric Ind Co Ltd 撮像装置
JP2010050592A (ja) * 2008-08-20 2010-03-04 Canon Inc 画像表示装置、撮像装置、表示方法
CN102244731A (zh) * 2010-05-11 2011-11-16 三洋电机株式会社 电子机器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566714A (zh) * 2016-07-01 2018-01-09 奥林巴斯株式会社 摄像装置和摄像方法
CN111491098A (zh) * 2020-04-14 2020-08-04 重庆幻光影视科技有限公司 一种新型峰值对焦方法

Also Published As

Publication number Publication date
CN105191284B (zh) 2018-08-03
US10051200B2 (en) 2018-08-14
US20160037083A1 (en) 2016-02-04
WO2014175273A1 (ja) 2014-10-30
EP2991335A1 (en) 2016-03-02
JP2014212499A (ja) 2014-11-13
JP6091311B2 (ja) 2017-03-08
EP2991335A4 (en) 2016-10-26
EP2991335B1 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
US7620314B2 (en) Photographing apparatus and method
CN102104727B (zh) 摄像装置以及摄像方法
US8212890B2 (en) Imaging device and imaging method
JP5396231B2 (ja) 撮像装置
JP3530907B2 (ja) デジタルカメラ
JP5347707B2 (ja) 撮像装置および撮像方法
US20040041919A1 (en) Digital camera
US8493468B2 (en) Imaging device and imaging method
CN105100594A (zh) 摄像装置和摄像方法
CN106358030B (zh) 图像处理装置和图像处理方法
CA2514866A1 (en) Image recording/reproducing apparatus, image pick-up apparatus, and color aberration correcting method
CN103813097A (zh) 摄像装置以及摄像方法
US8786728B2 (en) Image processing apparatus, image processing method, and storage medium storing image processing program
JP2011082965A (ja) 撮像装置および撮像処理方法
CN104247398A (zh) 摄像设备及其控制方法
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
US8712231B2 (en) Camera body, and camera system
KR101003681B1 (ko) 화소보간회로, 화소보간방법 및 기록매체
US9282257B2 (en) Image apparatus and imaging method
CN105191284A (zh) 摄像装置及其控制方法
JP2015177510A (ja) カメラシステム、画像処理方法及びプログラム
JP5173664B2 (ja) 画像処理装置及び画像処理方法
JP2006253970A (ja) 撮像装置、シェーディング補正データ作成方法およびプログラム
CN106412391B (zh) 图像处理设备、图像处理方法和摄像设备
JP5169540B2 (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211213

Address after: Tokyo, Japan

Patentee after: Aozhixin Digital Technology Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.

TR01 Transfer of patent right