CN113395421B - 图像处理设备、摄像设备、控制方法和存储介质 - Google Patents
图像处理设备、摄像设备、控制方法和存储介质 Download PDFInfo
- Publication number
- CN113395421B CN113395421B CN202110278689.4A CN202110278689A CN113395421B CN 113395421 B CN113395421 B CN 113395421B CN 202110278689 A CN202110278689 A CN 202110278689A CN 113395421 B CN113395421 B CN 113395421B
- Authority
- CN
- China
- Prior art keywords
- image
- display
- luminance
- unit
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 97
- 238000001454 recorded image Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 238000012552 review Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- -1 niMH Inorganic materials 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- G06T5/92—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本发明提供图像处理设备、摄像设备、控制方法和存储介质。该图像处理设备获得拍摄图像;获得与该拍摄图像有关的曝光设置,获得场景的亮度;设置用于生成显示图像的模式;以及通过根据设置模式进行拍摄图像的亮度转换来生成显示图像。该设备在设置了第一模式的情况下,使用第一转换特性来进行拍摄图像的亮度转换,该第一转换特性指示针对场景的亮度确定转换后的输出亮度、且指示该输出亮度不根据曝光设置而改变。并且,该设备在设置了第二模式的情况下,使用第二转换特性来进行拍摄图像的亮度转换,该第二转换特性指示输出亮度根据曝光设置而改变。
Description
技术领域
本发明涉及图像处理设备、摄像设备、控制方法和计算机可读存储介质,特别涉及摄像期间的实时取景显示技术。
背景技术
常规地,针对模拟单镜头反光照相机,提供了光学取景器(下文中称为OVF)。由于入射在摄像镜头上的光被反光镜和五棱镜折射并到达OVF,因此通过剪切实际风景,用户能够以如同其正在看着照相机取景器那样的沉浸感来确认被摄体图像。
另一方面,在诸如数字照相机等的摄像设备中,通过将由诸如CCD或CMOS器件等的图像传感器拍摄的图像以预定间隔依次显示(实时取景显示)在诸如液晶监视器等的显示装置上来提供电子取景器(下文中称为EVF)的功能。由于作为EVF可以呈现应用了各种图像处理的图像,因此用户可以在摄影前通过EVF来确认诸如曝光、快门速度、白平衡等的摄像设置的效果。
日本特开No.2010-245924描述了一种图像显示设备,其呈现通过进行色调校正来减少过度曝光和曝光不足的高色调拍摄图像,以便增强由EVF呈现的图像的可视性。
顺便提及,为了允许用户容易地把握记录哪种图像,EVF一般呈现的实时取景图像具有模拟通过摄影来记录的图像的配置。这里,由于人们记忆为图片的记忆颜色(或印象颜色)常常比实际颜色更鲜艳,因此将摄像设备所记录的图像处理为鲜艳的并且具有高对比度。
然而,由于在这样的图像中出现的颜色和明度的表现与在人眼所见的实际风景中出现的那些颜色和明度的表现是不同的,因此对于用户来说,难以通过剪切实际风景来获得如同用户正在看着例如诸如OVF等的照相机取景器那样的沉浸感。
发明内容
本发明在其第一方面中提供一种图像处理设备,其用于基于通过拍摄场景获得的拍摄图像来生成要在显示装置上显示的显示图像,包括:第一获得单元,其用于获得所述拍摄图像;第二获得单元,其用于获得与由所述第一获得单元获得的所述拍摄图像有关的曝光设置;第三获得单元,其用于获得所述场景的亮度;设置单元,其用于设置用于生成所述显示图像的模式;以及生成单元,其用于通过根据由所述设置单元设置的模式对由所述第一获得单元获得的所述拍摄图像进行亮度转换来生成所述显示图像,其中在所述设置单元设置了第一模式的情况下,所述生成单元使用第一转换特性来进行所述拍摄图像的亮度转换,所述第一转换特性指示针对所述场景的亮度确定转换后的输出亮度、并且指示所述输出亮度不根据所述曝光设置而改变,以及在所述设置单元设置了第二模式的情况下,所述生成单元使用第二转换特性来进行所述拍摄图像的亮度转换,所述第二转换特性指示所述输出亮度根据所述曝光设置而改变。
本发明在其第二方面提供了一种摄像设备,包括:根据第一方面的图像处理设备;用于输出所述拍摄图像的图像传感器;用于控制在所述显示装置上的所述显示图像的显示的显示控制单元。
本发明在其第三方面中提供了一种图像处理设备的控制方法,所述图像处理设备用于基于通过拍摄场景获得的拍摄图像来生成要在显示装置上显示的显示图像,所述控制方法包括:第一获得步骤,其用于获得所述拍摄图像;第二获得步骤,其用于获得与在所述第一获得步骤获得的所述拍摄图像有关的曝光设置;第三获得步骤,其用于获得所述场景的亮度;设置步骤,其用于设置用于生成所述显示图像的模式;以及生成步骤,其用于通过根据在所述设置步骤设置的模式对在所述第一获得步骤获得的所述拍摄图像进行亮度转换来生成所述显示图像,其中在设置了第一模式的情况下,使用第一转换特性来进行所述拍摄图像的亮度转换,所述第一转换特性指示针对所述场景的亮度唯一地确定转换后的输出亮度、并且指示所述输出亮度不根据所述曝光设置而改变,以及在设置了第二模式的情况下,使用第二转换特性来进行所述拍摄图像的亮度转换,所述第二转换特性指示所述输出亮度根据所述曝光设置而改变。
本发明在其第四方面中提供了一种摄像设备的控制方法,所述摄像设备包括根据第一方面的图像处理设备;以及用于输出通过拍摄得到的所述拍摄图像的图像传感器,所述控制方法包括:用于控制在所述显示装置上的所述显示图像的显示的显示控制步骤。
本发明在其第五方面中提供了一种计算机可读存储介质,其存储有用于使计算机进行图像处理设备的控制方法的程序,所述图像处理设备用于基于通过拍摄场景获得的拍摄图像来生成要在显示装置上显示的显示图像,所述控制方法包括:第一获得步骤,其用于获得所述拍摄图像;第二获得步骤,其用于获得与在所述第一获得步骤获得的所述拍摄图像有关的曝光设置;第三获得步骤,其用于获得所述场景的亮度;设置步骤,其用于设置用于生成所述显示图像的模式;以及生成步骤,其用于通过根据在所述设置步骤设置的模式对在所述第一获得步骤获得的所述拍摄图像进行亮度转换来生成所述显示图像,其中在设置了第一模式的情况下,使用第一转换特性来进行所述拍摄图像的亮度转换,所述第一转换特性指示针对所述场景的亮度唯一地确定转换后的输出亮度、并且指示所述输出亮度不根据所述曝光设置而改变,以及在设置了第二模式的情况下,使用第二转换特性来进行所述拍摄图像的亮度转换,所述第二转换特性指示所述输出亮度根据所述曝光设置而改变。
根据以下对示例性实施例的描述(参考附图),本发明的其它特征将变得明显。
附图说明
图1A和1B是示例性例示根据本发明的实施例的数字照相机100的外观的图。
图2是示例性例示根据本发明的实施例的数字照相机100的功能配置的框图。
图3是示例性例示根据本发明的实施例的图像处理单元24的功能配置的框图。
图4A、4B和4C是示例性例示根据本发明的实施例的在数字照相机100上显示的菜单画面的图。
图5A和5B是示例性例示根据本发明的实施例的用于实时取景显示的每种模式的色调转换特性的图。
图6是示例性例示根据本发明的实施例的由数字照相机100执行的实时取景处理的流程图。
图7是示例性例示根据本发明的实施例的在显示单元28上的显示的时序图。
具体实施方式
在下文中,将参考附图详细描述实施例。注意,以下实施例并不意在限制要求保护的发明的范围。在实施例中描述了多个特征,但是并不限制发明需要所有这样的特征,并且可以适当地组合多个这样的特征。此外,在附图中,相同的附图标记被给予相同或相似的配置,并且省略其重复描述。
[实施例]
在以下描述的实施例中,将描述本发明应用于作为图像处理设备的示例的具有电子取景器功能的数字照相机的示例。然而,本发明可以应用于能够通过将预定的亮度转换应用于通过摄像获得的拍摄图像来生成用于显示的图像的任何装置。
<数字照相机100的配置>
图1是示例性例示根据本发明的实施例的数字照相机100的外观的图。图1A示出了数字照相机100的前透视图,以及图1B示出了数字照相机100的后透视图。
显示单元28是设置在数字照相机100的背面上的显示装置,并且显示图像和各种信息。触摸面板70a检测在显示单元28的显示面(操作面)上的触摸操作。设置显示单元43是设置在数字照相机的上面上的显示装置,并且显示数字照相机100的各种设置值,包括快门速度和光圈值。
快门按钮61是用于接受摄影指示的操作构件。模式开关60是用于切换各种模式的操作构件。端子盖40是用于保护连接用于外部装置的连接电缆和数字照相机100的连接器(未示出)的盖。电源开关72是用于切换对数字照相机100的电源开/关(ON/OFF)的操作构件。副电子转盘73是配置为可旋转的操作构件,并且当旋转时,接受选择框的移动和图像供给指令。十字(四向)键74是配置为分离地接受用于向上、向下、向左和向右的按压操作输入的操作构件。设置(SET)按钮75是配置为能够接受按压操作输入的操作构件,并且接受用于确定选择项目等的指令。运动图像按钮76是配置为能够接受按压操作输入的操作构件,并且接受用于开始或停止运动图像拍摄(记录)的指令。AE锁定按钮77是配置为能够接受按压操作输入的操作构件,并且在当数字照相机100处于摄影待机状态期间被按下时,接受用于固定曝光状态的指令。放大按钮78是配置为能够接受按压操作输入的操作构件,并且接受用于针对摄影模式下的实时取景显示来切换放大显示的开/关的指令。
主电子转盘71是配置为可旋转的操作构件,并且当旋转时,接受用于改变诸如快门速度或光圈值等的设置值的指令。当在实时取景显示中放大显示为“开”时,对主电子转盘71的旋转操作作为用于放大/缩小实时取景图像的指令被接受。在回放模式中,对主电子转盘71的旋转操作作为用于放大回放图像的指令和用于增大放大率的指令被接受。回放按钮79是被配置为能够接受按压操作输入的操作构件,并且接受在摄影模式和回放模式之间切换开/关的指令。响应于在摄影模式下做出对回放按钮79的操作输入,数字照相机100转变到回放模式,例如,记录至记录介质200的图像中的最新图像显示在显示单元28上。菜单按钮81是配置为能够接受按压操作输入的操作构件,并且接受用于在显示单元28上显示各种可设置菜单画面的指令。当显示菜单画面时,基于对十字键74或设置按钮75的操作输入来接受用于改变各种设置的指令。
通信端子10是用于与稍后描述的镜头单元150通信的电触点。镜头单元150相对于数字照相机100可拆卸地配置,其在图1中未安装。目镜16是与目镜取景器(窥视型取景器)有关的窗口,并且用户可以通过目镜16观看显示在内部EVF(电子取景器)29上的图像。眼睛接近检测单元57是检测目镜16是否处于眼睛接近状态的传感器。盖202是存储记录介质200的槽的盖。把持部90是使得易于握持数字照相机100的结构。数字照相机100配置为使得快门按钮61和主电子转盘71被布置在当用户以右手的小指、无名指和中指附于把持部90的状态握持数字照相机100时可以由右手的食指来操作的位置。
<数字照相机100的功能配置>
随后,将参考图2的框图描述数字照相机100的功能配置。在图2中,镜头单元150安装在数字照相机100上。
镜头单元150是配备有摄影透镜组的单元,并且可拆卸地配置到数字照相机100。透镜103通常由多个透镜组成,但是为了简化,在图2中仅示出了一个透镜。通信端子6是允许镜头单元150与数字照相机100通信的电触点。在通信端子6和数字照相机100的通信端子10物理接触时,镜头单元150的镜头控制电路4可以与下述系统控制单元50通信。镜头控制电路4控制镜头单元150具有的各个块的操作。更具体地,镜头控制电路4基于来自数字照相机100的控制信号,经由光圈驱动电路2来控制光圈1的开闭,以及经由AF驱动电路3来控制用于焦点状态改变的透镜103的位移。
另一方面,数字照相机100的各个块的操作由系统控制单元50控制。系统控制单元50是包括至少一个处理器或电路的控制单元。系统控制单元50从非易失性存储器56中读出用于数字照相机100中包括的各个块的操作程序,将该程序部署到系统存储器52,并且执行该程序,从而控制数字照相机100的操作。
非易失性存储器56是配置为电可擦除和可记录的记录装置,诸如Flash-ROM等。除了数字照相机100中包括的各个块的操作程序以外,非易失性存储器56还存储用于各个块的操作的常数。相反,系统存储器52例如是诸如RAM等的记录装置,并且用作用于各个块的操作程序的部署区域。
快门101是焦平面快门,并且其开/闭时间根据系统控制单元50设置的曝光时间来控制。摄像单元22是诸如CCD或CMOS传感器等的图像传感器,并通过将通过镜头单元150在摄像面上形成的光学图像转换为电信号来输出模拟图像信号。A/D转换器23将由摄像单元22输出的模拟图像信号转换为数字图像信号(图像数据)。在本实施例中,摄像单元22被描述为配备有普通原色滤波器的单板彩色图像传感器。这里,原色滤波器由以马赛克图案布置的分别具有在650nm、550nm和450nm附近的主透射波长的三种类型的滤色器组成。通过应用原色滤波器,单板彩色图像传感器的各个像素拍摄与R(红色)、G(绿色)或B(蓝色)带之一相对应的颜色平面。换句话说,构成单板彩色图像传感器的光电转换元件只能获得用于各个单色平面的光强度。
图像处理单元24对由A/D转换器23输出的图像数据或由稍后描述的存储器控制单元15读取的图像数据进行各种图像处理,诸如像素插值、调整大小和颜色转换等。稍后将描述细节。图像处理单元24还对通过摄像获得的图像数据进行算术处理,以导出用于曝光控制和测距控制的信息。在本实施例的数字照相机100中,基于该信息进行TTL(通过镜头)方式的AF(自动对焦)处理、AE(自动曝光)处理、EF(闪光灯预发光)处理。图像处理单元24还通过对经由摄像获得的图像数据进行计算来进行TTL方式的AWB(自动白平衡)处理。
存储器控制单元15针对存储器32控制数据的写入和读取,存储器32例如可以是易失性记录装置。存储器32用作用于存储由数字照相机100的各个块的操作输出的中间数据的存储区域。例如,响应于摄像而从A/D转换器23输出的图像数据通过存储器控制单元15存储在存储器32中。因此,存储器32具有用于存储预定数量的静止图像以及预定时间的运动图像和音频数据的足够的存储容量。存储器32还用作用于图像处理单元24中的各种类型的图像处理的工作区域。
存储器32还用作图像显示用的视频存储器。在本实施例的数字照相机100中,显示单元28和EVF 29被设置为显示装置,并且在这些显示单元28和EVF 29上显示的图像数据(显示图像)被配置在存储器32中。更详细地,例如,在将数字照相机100设置为摄影模式时,在存储器32中配置由图像处理单元24生成的用于显示的图像数据(显示图像)。配置的显示图像由D/A转换器19转换为模拟图像信号,并输出到显示单元28或EVF 29。显示单元28和EVF 29可以是例如LCD或OLED,并实现与输入图像信号相对应的显示。这里,在摄影模式下,通过应用由图像处理单元24进行的预定转换处理,将通过摄像获得的图像数据顺序地传输到显示单元28或EVF 29,从而实现数字照相机100中的实时取景显示。在下文中,以实时取景显示在显示单元28或EVF 29上的图像将被称为实时取景图像。
设置显示单元43例如显示诸如快门速度和光圈值等的与数字照相机100的曝光设置有关的各种设置值。设置显示单元43的显示在系统控制单元50的控制下由设置显示驱动电路44控制。系统计时器53实现用于测量和管理用于控制数字照相机100中的各个块的操作的时间或内部时钟的时间的计时功能。
操作单元70是由本实施例的数字照相机100提供的用于接受各种操作输入的用户接口。在操作单元70检测到已经针对各个用户接口进行了操作输入时,其将对应的控制信号输出到系统控制单元50。在图2的示例中,操作单元70示为包括模式开关60、快门按钮61和电源开关72。然而,操作单元70可以包括主电子转盘71、副电子转盘73、十字键74、设置按钮75、运动图像按钮76、AE锁定按钮77、放大按钮78、回放按钮79和菜单按钮81。
模式开关60是接受与用于切换数字照相机100的操作模式的指令有关的操作输入的操作构件。作为操作模式,本实施例的数字照相机100包括至少静止图像摄影模式、运动图像摄影模式和回放模式,并且这些模式之一由模式开关60指定。静止图像摄影模式还可以包括自动摄影模式、自动场景判断模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式(P模式)。另外,还可以包括各种场景模式、自定义模式等,这些模式是用于不同摄影场景的摄影设置。在该实施例中,数字照相机100的操作模式被描述为可以由模式开关60直接切换,但是也可以被配置为可使用其它操作构件来切换。类似地,运动图像摄影模式中可以包括多种模式。
快门按钮61配置为包括第一快门开关62和第二快门开关64。快门按钮61配置为允许两步按压操作输入,其中在半按下时第一快门开关62变为“开”(摄影准备指示),而在完全按下时第二快门开关64变为“开”(摄影指示)。在检测到第一快门开关62变为“开”时,操作单元70将对应的控制信号(第一快门开关信号SW1)输出到系统控制单元50。基于SW1,系统控制单元50控制各个块的操作,以开始进行摄影准备操作,诸如AF(自动对焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理和EF(闪光灯预发光)处理等。在检测到第二快门开关64变为“开”时,操作单元70将对应的控制信号(第二快门开关信号SW2)输出到系统控制单元50。基于SW2,系统控制单元50控制各个块的操作,以开始用于一系列摄影处理的操作(由摄像单元22读出信号、转换为图像数据、用于记录的图像处理以及存储为图像文件)。
操作单元70还检测在与显示单元28整体配置的触摸面板70a上进行的触摸操作。在进行了触摸操作时,操作单元70输出进行该触摸操作的坐标的信息。这里,触摸面板70a可以由例如具有不干扰显示单元28的显示的透射率的材料制成,并且可以附接到显示单元28的显示面的上层。可以将用于检测触摸操作的坐标与显示单元28的显示区域中的坐标相关联地进行管理,并且在这种情况下,可以容易地把握触摸操作是针对显示图像中布置的哪个对象的。
电源控制单元80包括电池检测电路、DC-DC转换器、用于切换要通电的块的开关电路等,并且检测是否安装了电池、电池的类型以及剩余电池容量。电源控制单元80基于检测结果和来自系统控制单元50的指令来控制DC-DC转换器,并且在所需的时段内向包括记录介质200的各个单元提供所需的电压。电源单元30例如是诸如碱性电池和锂电池等的一次电池,诸如NiCd、NiMH和锂离子电池等的二次电池,以及AC适配器等的电力源。
记录介质200例如是诸如存储卡(半导体存储器)或硬盘(磁盘)等的用于记录通过摄影获得的图像数据的记录装置。记录介质I/F 18是使得能够在记录介质200与数字照相机100之间进行数据交换的接口,并且控制向记录介质200写入数据以及从记录介质200读取数据。
通信单元54是数字照相机100所提供的与外部装置的通信接口。通信单元54通过无线电或有线连接到外部装置,并传输和接收视频和音频信号。通信单元54可以经由无线LAN(局域网)或因特网间接地连接到外部装置。可替代地,通信单元54可以直接连接到诸如或蓝牙低功耗等的外部装置。本实施例的数字照相机100配置为使得可以将由摄像单元22拍摄的图像(包括实时取景图像)和记录在记录介质200上的图像经由通信单元54传输到外部装置。
姿势检测单元55包括例如加速度传感器或陀螺仪传感器,并且检测数字照相机100相对于重力方向的姿势。由姿势检测单元55检测到的姿势信息与同摄影相关地记录的图像数据相关联地被记录,并且用于判断在数字照相机100处于水平或垂直位置时是否摄影了图像数据。可替代地,代替将姿势信息与图像数据相关联,可以基于姿势来将图像数据记录为旋转的。另外,姿势检测单元55可以检测数字照相机100的移动,例如,平摇、俯仰、升降、以及其是否静止。
眼睛接近检测单元57是用于检测人眼(对象)161距取景器的目镜16的靠近(眼睛接近)和分离(眼睛远离)的传感器。在本实施例的数字照相机100中,系统控制单元50根据由眼睛接近检测单元57检测到的状态,将显示单元28和EVF 29的状态切换为显示或不显示。更详细地,至少在摄影待机状态下以及在显示目的地切换被设置为自动时,系统控制单元50在眼睛远离状态期间将显示目的地设置为显示单元28并且隐藏EVF 29。另外,系统控制单元50在眼睛接近状态期间将显示目的地设置为EVF 29并且隐藏显示单元28。眼睛接近检测单元57可以是例如红外接近传感器,并且检测对象向包含有EVF 29的取景器的目镜16的靠近。在对象靠近时,从眼睛接近检测单元57的发光单元(未示出)发射的红外线被反射,并由红外接近传感器的光接收单元(未示出)接收,并且对象被检测出。眼睛接近检测单元57还能够根据接收到的红外光的量来判断对象正靠近目镜16的距离(眼睛接近距离)。以这种方式,眼睛接近检测单元57进行用于检测对象向目镜16的靠近距离的眼睛接近检测,并且检测到EVF 29正在被观看。在眼睛远离状态(非靠近状态)下检测到对象已经在预定距离内靠近目镜16时,眼睛接近检测单元57将判断为状态为眼睛接近,并且在眼睛接近状态下检测到已经靠近的对象已经从目镜16移开预定距离以上时,将判断为状态为眼睛远离。例如,通过提供滞后,用于检测眼睛接近的阈值和用于检测眼睛远离的阈值可以不同。在眼睛接近检测单元57检测到眼睛接近时,会将其识别为处于眼睛接近状态,直到检测到眼睛远离为止。在眼睛接近检测单元57检测到眼睛远离时,会将其识别为处于眼睛远离状态,直到检测到下一次眼睛接近为止。注意,红外接近传感器仅是一个示例,并且其它传感器可以用于眼睛接近检测单元57,只要其能够检测到眼睛或可以被认为是眼睛接近的对象的靠近即可。
<显影处理>
在下文中,将参考图3描述由本实施例的数字照相机100中的图像处理单元24进行的显影处理。在图3中,通过将显影处理中图像处理单元24所进行的处理分离为不同的块来例示它们。
如上所述,将以马赛克图案来布置三种类型的滤色器的原色滤波器应用于摄像单元22。出于这个原因,A/D转换器23基于由摄像单元22拍摄的图像所转换和输出的图像数据(原始图像301)为彩色马赛克图像。图像处理单元24从存储器32读出原始图像301,应用该显影处理,并生成显影图像308。
白平衡单元302对原始图像301进行白平衡处理以进行颜色转换,使得原本是白色的被摄体的图像变为白色。更具体地,白平衡单元302在诸如XY颜色空间等的预定颜色空间中绘制构成原始图像301的各个像素的RGB数据。然后,白平衡单元302对在颜色空间上可能是光源颜色的黑体辐射的轨迹附近绘制的数据的R、G、B进行积分,并根据积分值来导出R和B分量的白平衡系数(G/R和G/B)。白平衡单元302使用所获得的白平衡系数进行白平衡处理。
颜色插值单元303对白平衡单元302所转换的图像数据进行降噪处理以及用于对各个像素中不包括的颜色分量的像素值进行插值的处理。该处理产生具有针对所有像素的R、G和B颜色信息(颜色分量的像素值)的同步图像。
通过进行利用矩阵转换单元304的矩阵转换处理和利用伽玛转换单元305的伽玛转换处理,将由颜色插值单元303生成的同步图像转换为作为处理基础的彩色图像。此外,对于彩色图像,颜色亮度调整单元306应用用于调整颜色和亮度的调整处理,从而生成具有作为显影图像的内容的彩色图像。利用颜色亮度调整单元306的调整包括根据拍摄场景的校正,例如,通过检测到其是日落场景来进行饱和度增强。
在压缩单元307对通过颜色亮度调整处理生成的彩色图像进行压缩处理时,显影处理完成,并且生成显影图像308。当进行摄影时,所生成的显影图像308在被写入存储器32之后被记录在记录介质200上,并且被显示在显示单元28或EVF 29上。
顺便提及,如上所述,在本实施例的数字照相机100中,显示单元28或EVF 29在以摄影模式操作时显示实时取景图像,并且实时取景图像的表现被配置为可切换的。具体地,针对实时取景显示提供两种类型的显示模式:“OVF风格”显示模式和“记录图像质量”显示模式,并且实时取景图像的表现根据使用哪种显示模式而不同。这些显示模式与诸如摄影模式和回放模式等的数字照相机100的操作模式不同,并且是用于设置要在实时取景显示中显示哪个实时取景图像的模式。
在本实施例的图像处理单元24中,转换设置选择单元311将与显示模式的设置(模式设置309)相对应的转换数据310提供给伽玛转换单元305和颜色亮度调整单元306,从而改变作为显影图像生成的实时取景图像的表现。即,以两种显示模式显示的实时取景图像在显影处理中通过不同的伽玛转换和颜色亮度调整处理而生成。转换数据310可以被记录在例如系统存储器52中,并且可以由系统控制单元50提供给图像处理单元24以进行显影处理。
例如,可以通过对响应于对菜单按钮81的操作输入而显示的、图4A中所示的菜单画面上的显示模式项目进行选择,并且然后切换到4B中所示的画面来改变显示模式。图4B的画面被配置为能够接受以下操作输入,该操作输入用于对于OVF风格显示模式或记录图像质量显示模式选择将要设置哪种显示模式。
这里,OVF风格显示模式是将再现真实被摄体的颜色的实时取景图像显示在显示单元28或EVF 29上以便提供与通过OVF来确认被摄体时相同的沉浸感的模式。即,在OVF风格显示模式下显示为实时取景图像的图像与例如通过摄影来记录的鲜艳且高对比度的图像不同,并且再现如通过摄影师的眼睛所捕获的真实被摄体的颜色和亮度。换句话说,在使用OVF风格显示模式时,根据摄影场景的实际风景而将针对该摄影场景可高度再现的转换特性——而非如标准中定义的转换特性——作为转换数据310提供给图像处理单元24。
另一方面,记录图像质量显示模式是将具有与进行摄影时的要作为图像文件记录在记录介质200上的图像数据相同的表现的实时取景图像显示在显示单元28或EVF 29上的模式。在本实施例的数字照相机100中,通过在图4A的菜单画面中选择记录图像质量项目并转移至图4C的画面,可以接受在进行摄影时所记录的图像数据中的色调表现的改变。假定提供两种类型的记录图像质量,例如,SDR(标准动态范围)和HDR(高动态范围)。因此,在记录图像质量显示模式下并且在记录图像质量为SDR时,将由国际电信联盟无线电通信部门(ITU-R)建议的BT.601中规定的与色调特性和色调分辨率有关的信息作为转换数据310提供给图像处理单元24。因此,在记录图像质量显示模式下并且在记录图像质量为HDR时,将ITU-R建议BT.2100中规定的与色调特性和色调分辨率有关的信息作为转换数据310提供给图像处理单元24。在任何情况下,在记录图像质量显示模式下,对显示在显示单元28和EVF29上的实时取景图像实施与进行主摄影时要记录在记录介质200上的图像数据相同的显影处理。
<用于每种模式的色调转换特性>
这里,将参考图5A和5B的示例详细描述在显影处理中在与显示模式相对应的实时取景图像生成期间进行的色调转换。图5A和图5B例示了用于以下系统的整体转换特性的光-光(Opto-Optical)转换函数(OOTF),在该系统中,将通过镜头单元150入射的光显示为诸如显示单元28和EVF 29等的显示装置中的光。
在记录图像质量显示模式下的OOTF例如如图5A中所示。在示例图5A中,为了容易把握要进行的色调转换,针对输入动态范围的最大值为1的入射亮度进行了归一化的值X(输入相对亮度)用作水平轴,并且针对最大显示亮度为1的显示装置的显示亮度进行了归一化的值Y(显示相对亮度)用作垂直轴。这里,使用“相对”的表达是因为摄像时的输入动态范围会根据诸如光圈设置值、曝光时间、ISO感光度值等的曝光设置而变化。
如所例示的,与以虚线示出的线性变换特性502(Y=X)相比,记录图像质量显示模式下的OOTF 501在低亮度区域中将显示亮度抑制为较低值,而在高亮度区域中将显示亮度提高到较高值。作为结果,根据这样的非线性OOTF 501,输出具有更紧密的黑色和更高的对比度的显影图像(实时取景图像)。另外,如上所提及的,由于针对拍摄且记录的图像数据中的表现强调了记忆颜色,所以颜色亮度调整单元306进行与场景检测结果相对应的图像校正,例如,在日落场景中强调饱和度。
另一方面,在OVF风格显示模式下的OOTF例如如图5B中所示。在OVF风格显示模式中,还在实时取景显示模式下再现了由摄影师通过自己的眼睛捕获的场景的亮度,因此,在图5B中,水平轴和垂直轴两者均与亮度[cd/m2]对准,而不是输入动态范围。即,在由摄像单元22输出的模拟图像信号中出现的信号强度指示对应于摄像时的曝光设置而映射到输入动态范围的被摄体的相对亮度,因此会与被摄体的实际(绝对)亮度不同。而且,不限于曝光设置,模拟图像信号中出现的信号强度可以根据所使用的镜头单元150的特性而变化。
如图5B中所示,在OVF风格显示模式下的OOTF将显示亮度唯一地映射到被摄体的(外观的)亮度(下文中称为场景亮度),而不管曝光设置如何。即,在OVF风格显示模式下,即使摄影师改变曝光设置,只要真实被摄体的明度相同,所显示的实时取景的明度也不改变。此外,在图5B的示例中,场景亮度和显示亮度具有线性关系。以此方式,可以表现出更接近摄影师所见的外观的色调。如果输入-输出特性如图5B中所示,则场景亮度将按原样或实质上一致的显示亮度出现在显示装置上。在图5B的示例中,例示了在采用具有可显示亮度范围为0至1000[cd/m2]的显示装置时的OOTF 511。如图中所示,OOTF 511示出了针对可以在显示装置上显示的直到1000[cd/m2]的场景亮度,使得场景亮度按原样显示的线性变换特性。另一方面,超过1000[cd/m2]的场景亮度示出了在最大显示亮度处饱和的特性。为了显示使实际风景再现的实时取景图像,提供给模式设置309的转换数据310被配置为强调实际风景的颜色再现性,并且不进行诸如饱和度增强等的图像校正。
在本实施例中,假定通过作为硬件的与数字照相机100中包括的各个块相对应的电路或处理器来实现处理。然而,本发明的实现不限于此,并且可以通过进行与各个块类似的处理的程序来实现该块的处理。另外,本说明书中描述的各种处理可以由单个硬件来执行,在多个硬件之间共享或由硬件和软件两者来实现。
<实时取景处理>
接下来,关于对具有这种配置的本实施例的数字照相机100进行的实时取景处理,参考图6的流程图针对该处理详细给出描述。例如,可以通过系统控制单元50读出存储在系统存储器52中的对应处理程序,将其部署在非易失性存储器56中并执行它来实现与流程图相对应的处理。实时取景处理例如在数字照相机100被激活并且操作模式被设置为摄影模式时开始,并且重复执行,直到完成摄影模式下的操作为止。
在步骤S601中,系统控制单元50判断与实时取景显示有关的显示模式是否被设置为OVF风格显示模式。例如,可以通过参考存储在非易失性存储器56中的显示模式信息来进行该步骤的判断。在判断为与实时取景显示有关的显示模式是OVF风格显示模式时,系统控制单元50使处理进行到步骤S602,并且在判断为实时取景显示不是OVF风格显示模式时,即判断为实时取景显示是记录图像质量显示模式时,系统控制单元50使处理进行到步骤S607。
在步骤S602中,系统控制单元50控制镜头单元150,以使光圈1处于全开状态。该控制是通过系统控制单元50将用于使光圈为全开状态的控制命令传输到镜头控制电路4、并且镜头控制电路4响应于接收到该信息而向光圈驱动电路2给出驱动命令来实现的。由于光圈1被设置为全开状态,因此系统控制单元50还从镜头控制电路4接收与光圈1的最大光圈值(Ao)有关的信息。在本实施例的数字照相机100中,为了显示具有更接近于人类视觉的分辨率的实时取景图像,通过在OVF风格显示模式下使光圈处于全开状态来充分确保摄像单元22的低亮度部分的输入动态范围。
在步骤S603中,系统控制单元50基于通过全开光圈状态下的摄像获得的图像数据(由颜色插值单元303生成的同步图像),针对各个像素导出每单位时间的亮度信息L。例如,可以如下导出每单位时间的亮度信息L:
L=(a·R+b·G+c·B)/T。
这里,R、G和B是像素具有的每种颜色分量的像素值,T是用于获得图像数据的曝光时间,a、b和c是各个像素的亮度转换系数。
在步骤S604中,系统控制单元50基于在步骤S603中导出的亮度信息L,针对图像数据的各个像素,导出根据场景亮度的场景亮度值SL。例如,可以通过将镜头单元150的全开光圈值Ao考虑在内来如下导出场景亮度值SL:
SL=K·AO2·L。
这里,K是校准系数,并且例如可以是基于初步实际测量结果针对各个光圈值导出的值。
如本实施例的数字照相机100中那样,在将可交换的镜头单元150用作摄像光学系统的情况下,针对要安装的各个镜头单元150,全开光圈值Ao不同,并且在摄像期间镜头单元150的减光量可以变化。因此,通过将与全开光圈值Ao相对应的值与亮度信息L相乘,来导出针对镜头单元150所引起的减光校正的场景亮度。
在步骤S605中,系统控制单元50将导出的场景亮度值SL和用于OVF风格显示模式的转换数据310提供给图像处理单元24以生成实时取景图像(显示图像)。更具体地,在图像处理单元24中,伽玛转换单元305利用如图5B中所示的转换特性进行同步图像的亮度转换。此外,颜色亮度调整单元306将不损害颜色和亮度的再现性的颜色亮度调整处理应用于亮度转换后的图像,并且压缩单元307压缩所得图像以生成实时取景图像。
注意,在该步骤中提供给图像处理单元24的转换数据310可以包括与用于显示实时取景图像的显示单元28或EVF 29的明度(显示亮度)设置和显示特性有关的信息。即,在OVF风格显示模式下,在考虑明度设置和显示特性的情况下生成实时取景图像,使得颜色亮度显示与实际风景的颜色亮度相同,而不管用户做出的显示单元28的显示亮度设置如何。换句话说,与OVF风格显示模式相关地生成的实时取景图像被配置为在显示单元28或EVF29上显示时示出与实际风景相同的颜色亮度,而不管显示特性或显示设置以及曝光设置如何。
在步骤S606中,系统控制单元50进行控制以将由图像处理单元24生成的实时取景图像显示在用于实现实时取景显示的显示装置(显示单元28或EVF 29)上。
另一方面,如果在步骤S601中判断为选择了记录图像质量显示模式,则在步骤S607中系统控制单元50控制镜头单元150,使得与通过AE进行的自动光圈计算的结果相对应的光圈设置值或通过手动操作设置的光圈设置值被设置。换句话说,在记录图像质量显示模式下进行的光圈开/闭控制与对要记录的图像数据进行摄影时的控制相同,并且实现了可以模拟用于记录的曝光和景深的摄像。
在步骤S608中,系统控制单元50基于通过使用当前设置的曝光设置进行摄像而获得的图像数据以及曝光设置的各种信息,导出被摄体的曝光值(EV)。这里,曝光设置是指在由对第二快门开关64进行的操作输入触发而进行要记录在记录介质200上的图像数据的摄影(主摄影)时的数字照相机100和镜头单元150的设置。因此,曝光设置的各种信息包括光圈设置值、曝光时间和ISO感光度值的信息。
在步骤S609中,系统控制单元50将导出的曝光值和用于记录图像质量显示模式的转换数据310提供给图像处理单元24以生成实时取景图像(显示图像)。更具体地,在图像处理单元24中,伽玛转换单元305利用如图5A中所示的转换特性进行同步图像的亮度转换。此外,颜色亮度调整单元306将与记忆颜色相对应的颜色亮度调整处理应用于亮度转换后的图像,并且压缩单元307压缩所得图像以生成实时取景图像。可以以针对显示单元28设置的、用户所期望的亮度设置来显示针对记录图像质量显示模式生成的实时取景图像,并且不需要进行将生成实时取景图像时的显示亮度设置或显示特性考虑在内的校正。注意,在该步骤中提供给图像处理单元24的转换数据310可以包括或可以不包括与用于显示实时取景图像的显示单元28或EVF 29的明度(显示亮度)设置和显示特性有关的信息。
以此方式,实时取景处理允许用户在以下显示之间进行切换:显示与用于记录的曝光设置相对应的实时取景图像(这适合于摄影前的曝光模拟)、和显示具有高再现性的实时取景图像(仿佛用户正在观看实际风景的剪切部分)。尽管在配备有常规OVF的摄像设备中,要通过取景器观看的场景的明度根据其所附接的镜头单元150的明度而变化,但是对于本方法的OVF风格显示模式,可以与此无关地显示实时取景图像。
例如,在数字照相机100被设置为OVF风格显示模式时,根据用于记录图像数据的摄影前后的显示单元28的显示处理流程如图7中的时序图所示。在图7的示例中,当在OVF风格显示模式下的实时取景显示(701)期间进行对应于摄影的快门按钮61的操作输入时,在执行静止图像摄影处理的时段702期间暂时暂停实时取景显示,并且进行利用摄像单元22的摄影所用的图像获得处理。这里,在获得摄影所用的图像时,在此之前,进行对摄影所用的曝光设置的改变控制(光圈值、曝光时间和ISO感光度值的改变控制)。此外,在摄像单元22完成根据摄影的图像获得处理时,能够获得实时取景显示所用的图像,因此,在时段702后,显示单元28的显示将再次为实时取景显示(703)。
另一方面,在针对在时段702中获得的图像完成了图像处理单元24中的用于记录的各种图像处理和在记录介质200上的记录时,在预定时间段内将该图像在显示单元28上显示为快速回看显示(704)。由于显示为快速回看显示(704)的图像是实际记录的图像(记录图像),因此即使在设置了OVF风格显示模式的情况下,该图像也具有与以记录图像质量显示模式显示的实时取景图像相同的表示。换句话说,在实时取景显示期间,在将具有实际风景剪切部分的表示的实时取景图像显示为如在OVF中那样的同时,在进行摄影和记录时,将用于确认曝光设置的效果的图像显示为快速回看显示(704),并且因此不会损害EVF的优势。
如上所述,本实施例的图像处理设备可以针对通过摄影记录的图像提供模拟功能,同时确保与使用OVF的情况下相同的沉浸感的呈现功能。换句话说,根据本发明的图像处理设备被配置为能够通过转换通过摄像获得的拍摄图像来生成以下两种实时取景图像(显示图像)。一种类型的显示图像是通过将出现在拍摄图像中的场景的亮度转换成根据所导出的场景的实际亮度唯一确定的输出亮度而生成的图像。另一方面,另一类型的显示图像是通过将拍摄图像中出现的场景的亮度转换成与所设置的曝光值相对应的输出亮度而生成的图像。这两种类型的显示图像的不同之处在于,后者的输出亮度根据诸如光圈状态、曝光时间、ISO感光度等的曝光设置而变化,而前者则不管这些曝光设置如何都示出恒定的输出亮度。它们的不同之处还在于,后者在显示装置上显示时根据显示装置的显示亮度设置和显示特性而示出不同的外观,而前者则不管这些因素如何都示出恒定的外观。
注意,将本实施例说明为在该实施例的OVF风格显示模式下,为了输出不依赖于显示单元28的显示亮度设置或显示特性的实时取景图像,将禁用了这些设置的转换数据310提供给图像处理单元24,但是本发明的实现不限于此。即,如上所述,本发明足以在OVF风格显示模式下生成具有根据所导出的场景的实际亮度来唯一确定的输出亮度的显示图像,并且考虑了显示亮度设置的转换可以通过其它配置实现。
在本实施例中,说明了在OVF风格显示模式下基于通过将光圈1设置为全开状态而获得的图像数据来导出场景亮度,但是本发明的实现不限于此。换句话说,通过摄像获得的图像数据中的亮度表示的分辨率越高,在OVF风格显示模式下显示的实时取景图像的实际风景的再现就可以越详细,但是实时取景图像不必是精细的。因此,场景亮度的导出和用于OVF风格显示模式的实时取景图像的生成可以基于以不同于全开状态的光圈状态拍摄的图像数据。特别地,针对高亮度分量在通过摄像获得的图像数据中占主导的场景,更好的是将光圈1设置为关闭状态以确保合适的输入动态范围,因此将理解,本发明不受OVF风格显示模式下的光圈状态限制。
另外,在本实施例中,说明了在吸收了与镜头单元150相对应的最大光圈值的差之后进行场景导出,但是对通过要安装的镜头单元150进行的场景亮度计算的影响不限于此。例如,依赖于要安装的镜头单元150,通过摄像获得的图像数据可以受到渐晕和倍率色像差的影响。因此,可以在校正由于这些因素引起的亮度降低或图像质量下降之后,进行OVF风格显示模式下的场景亮度的导出。这里,渐晕是由于一部分周围光被镜筒阻挡而导致图像边缘的光量与图像中心的光量相比减少的现象。因此,例如,可以预先将与镜头单元150的光圈值、焦距和摄影距离相对应的渐晕的校正数据存储在非易失性存储器56中,并且可以使用该校正数据来校正图像数据,以提高场景亮度导出的准确性。而且,倍率色像差是穿过镜头的红色、绿色和蓝色光针对其波长的各自在垂直于光轴的方向上聚焦在不同的位置而导致图像周围的颜色模糊的现象。因此,例如,镜头单元150的像差信息类似地预先存储到非易失性存储器56,并且可以基于该像差信息来校正被摄体的亮度数据和色差数据,以提高场景亮度导出的准确性。
另外,在本实施例中,说明了可以在显示单元28或EVF 29上显示所生成的实时取景图像,以及该显示切换根据眼睛接近检测的结果来进行,但是本发明的实现不限于此。例如,由于在用户的眼睛接近目镜16的情况下观看的EVF 29上显示具有白色亮度饱和(过度曝光)区域的实时取景图像可能使眼睛眩晕,并且因此可以在EVF 29用于显示时设置OVF风格显示模式。在这种情况下,例如,可以在显示单元28用于显示时设置记录图像质量显示模式,使得在将眼睛从取景器移开以观看显示单元28时,可以容易地确认记录的图像质量。换句话说,可以进行显示控制以防止将记录图像质量显示模式下生成的实时取景图像显示在EVF 29上(在检测到眼睛接近状态期间强行设置OVF风格显示模式),从而实现了将用户眼睛考虑在内的呈现。
在本实施例中,说明了根据设置模式来切换图像处理单元24的伽玛转换单元305和颜色亮度调整单元306的操作,但是本发明的实现不限于此。例如,可以针对OVF风格显示模式和记录图像质量显示模式中的各自提供专用的转换硬件,并且可以根据设置模式来切换使用哪个硬件。这可以缩短用于在两种模式之间切换的处理所需的时间。
另外,在本实施例中,基于通过摄像获得的图像数据来进行场景亮度的导出,但是本发明不限于此。即,场景的实际亮度不需要基于对拍摄图像的分析来进行,而是可以基于来自安装在数字照相机100上的其它测光传感器或者被配置为与数字照相机100进行通信的外部测光传感器的传感器输出。
此外,在本实施例中,如图5B中所例示的,针对用于OVF风格显示模式的实时取景图像的生成,说明了示出直到最大显示亮度的线性变换特性、并使超过最大显示亮度的场景亮度值饱和的色调转换特性被使用。然而,本发明的实现不限于此,并且可以根据获得拍摄图像(从该拍摄图像导出场景亮度)所依据的曝光设置来采用与图5B的转换特性不同的转换特性。例如,可以采用非线性色调转换特性。此外,例如,在超过100,000lx的照度环境中,考虑到用户可能难以看到显示单元28的显示,可以进行控制以改变达到饱和的亮度值或使中间特性不同。
此外,在本实施例中,说明了在进行摄影时,记录图像质量的图像即通过与记录图像质量显示模式下的实时取景图像相同的图像处理来生成的图像被显示以供快速回看,但是本发明的实现不限于此。通过与OVF风格显示模式类似的图像处理而生成的图像可以用于快速回看显示。
在本实施例中,说明了具有摄像单元的数字照相机100的图像处理单元24生成两种类型的图像,但是本发明的实现不限于此。本发明可适用于被配置为从获得的拍摄图像生成以下两种类型的用于显示的图像的任何图像处理设备:被转换为基于场景亮度来唯一确定的输出亮度的显示图像,以及被转换为基于曝光的输出亮度的显示图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考示例性实施例描述了本发明,但是应理解,本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释,以涵盖所有此类修改以及等同的结构和功能。
Claims (19)
1.一种图像处理设备,其用于基于通过拍摄场景获得的拍摄图像来生成要在显示装置上显示的显示图像,包括:
第一获得单元,其用于获得所述拍摄图像;
第二获得单元,其用于获得与由所述第一获得单元获得的所述拍摄图像有关的曝光设置;
第三获得单元,其用于获得所述场景的亮度;
设置单元,其用于设置用于生成所述显示图像的模式;以及
生成单元,其用于通过根据由所述设置单元设置的模式对由所述第一获得单元获得的所述拍摄图像进行亮度转换来生成所述显示图像,
其中,在所述设置单元设置了第一模式的情况下,所述生成单元使用第一转换特性来进行所述拍摄图像的亮度转换,所述第一转换特性指示针对所述场景的亮度唯一地确定转换后的输出亮度、并且指示所述输出亮度不根据所述曝光设置而改变,以及
在所述设置单元设置了第二模式的情况下,所述生成单元使用第二转换特性来进行所述拍摄图像的亮度转换,所述第二转换特性指示所述输出亮度根据所述曝光设置而改变。
2.根据权利要求1所述的图像处理设备,还包括:第四获得单元,其用于获得所述显示装置的显示亮度设置和显示特性,
其中,所述生成单元根据由所述第四获得单元获得的所述显示亮度设置和显示特性来使用于所述拍摄图像的亮度转换的转换特性变化,以及
所述第一转换特性指示在所述显示装置上显示所述显示图像时针对所述场景的亮度来确定所述输出亮度。
3.根据权利要求1所述的图像处理设备,其中,
所述生成单元通过进一步进行用于对进行了亮度转换的所述拍摄图像的颜色和亮度进行调整的调整处理来生成所述显示图像,以及
在所述第一模式下进行的所述调整处理与在所述第二模式下进行的所述调整处理不同。
4.根据权利要求1所述的图像处理设备,还包括:导出单元,其用于基于所述拍摄图像来导出所述场景的亮度,以及
所述第二获得单元用于获得由所述导出单元导出的所述场景的亮度。
5.根据权利要求4所述的图像处理设备,其中,
所述导出单元基于通过对在所述拍摄图像的拍摄时由光学系统引起的减光进行校正而获得的图像来导出所述场景的亮度。
6.一种摄像设备,包括:
根据权利要求1至5中的任一项所述的图像处理设备;
图像传感器,其用于输出所述拍摄图像;以及
显示控制单元,其用于控制在所述显示装置上的所述显示图像的显示。
7.根据权利要求6所述的摄像设备,其中,所述显示装置通过显示所述显示图像而用作电子取景器。
8.根据权利要求6所述的摄像设备,还包括:
操作输入单元,其用于接受摄影指令;以及
记录单元,其用于记录通过基于所述摄影指令进行摄影而获得的记录图像,
其中,所述生成单元通过使用所述第二转换特性对响应于所述摄影指令而获得的所述拍摄图像进行亮度转换来生成所述记录图像。
9.根据权利要求8所述的摄像设备,其中,在记录所述记录图像时,所述显示控制单元将所述显示装置的显示从所述显示图像切换到所述记录图像。
10.根据权利要求6所述的摄像设备,其中,
所述显示装置包括第一显示装置和第二显示装置,
所述摄像设备还包括用于检测所述第一显示装置正在被观看的传感器,
在所述第一显示装置正在被观看的情况下,所述显示控制单元进行控制以在所述第一显示装置上显示所述显示图像,以及
在所述第一显示装置没有正在被观看的情况下,所述显示控制单元进行控制以在所述第二显示装置上显示所述显示图像。
11.根据权利要求10所述的摄像设备,其中,
在所述第一显示装置正在被观看的情况下,所述设置单元将用于生成所述显示图像的模式设置为所述第一模式,以及
在所述第一显示装置没有正在被观看的情况下,所述设置单元将用于生成所述显示图像的模式设置为所述第二模式。
12.根据权利要求6所述的摄像设备,其中,
所述显示装置包括在眼睛接近状态下观看的第一显示装置和在眼睛远离状态下观看的第二显示装置,以及
所述显示控制单元进行控制以不在所述第一显示装置上显示使用所述第二转换特性生成的显示图像。
13.一种图像处理设备的控制方法,所述图像处理设备用于基于通过拍摄场景获得的拍摄图像来生成要在显示装置上显示的显示图像,所述控制方法包括:
第一获得步骤,其用于获得所述拍摄图像;
第二获得步骤,其用于获得与在所述第一获得步骤获得的所述拍摄图像有关的曝光设置;
第三获得步骤,其用于获得所述场景的亮度;
设置步骤,其用于设置用于生成所述显示图像的模式;以及
生成步骤,其用于通过根据在所述设置步骤设置的模式对在所述第一获得步骤获得的所述拍摄图像进行亮度转换来生成所述显示图像,
其中,在设置了第一模式的情况下,使用第一转换特性来进行所述拍摄图像的亮度转换,所述第一转换特性指示针对所述场景的亮度唯一地确定转换后的输出亮度、并且指示所述输出亮度不根据所述曝光设置而改变,以及
在设置了第二模式的情况下,使用第二转换特性来进行所述拍摄图像的亮度转换,所述第二转换特性指示所述输出亮度根据所述曝光设置而改变。
14.根据权利要求13所述的控制方法,还包括:第四获得步骤,其用于获得所述显示装置的显示亮度设置和显示特性,
其中,在所述生成步骤中,根据获得的所述显示亮度设置和显示特性来使用于所述拍摄图像的亮度转换的转换特性变化,以及
其中,所述第一转换特性指示在所述显示装置上显示所述显示图像时针对所述场景的亮度唯一地确定所述输出亮度。
15.根据权利要求13所述的控制方法,其中,
在所述生成步骤中,通过进一步进行用于对进行了亮度转换的所述拍摄图像的颜色和亮度进行调整的调整处理来生成所述显示图像,以及
在所述第一模式下进行的所述调整处理与在所述第二模式下进行的所述调整处理不同。
16.一种摄像设备的控制方法,所述摄像设备包括根据权利要求1至5中的任一项所述的图像处理设备、以及用于输出通过拍摄得到的所述拍摄图像的图像传感器,所述控制方法包括:
显示控制步骤,其用于控制在所述显示装置上的所述显示图像的显示。
17.一种计算机可读存储介质,其存储有用于使计算机进行图像处理设备的控制方法的程序,所述图像处理设备用于基于通过拍摄场景获得的拍摄图像来生成要在显示装置上显示的显示图像,所述控制方法包括:
第一获得步骤,其用于获得所述拍摄图像;
第二获得步骤,其用于获得与在所述第一获得步骤获得的所述拍摄图像有关的曝光设置;
第三获得步骤,其用于获得所述场景的亮度;
设置步骤,其用于设置用于生成所述显示图像的模式;以及
生成步骤,其用于通过根据在所述设置步骤设置的模式对在所述第一获得步骤获得的所述拍摄图像进行亮度转换来生成所述显示图像,
其中,在设置了第一模式的情况下,使用第一转换特性来进行所述拍摄图像的亮度转换,所述第一转换特性指示针对所述场景的亮度唯一地确定转换后的输出亮度、并且指示所述输出亮度不根据所述曝光设置而改变,以及
在设置了第二模式的情况下,使用第二转换特性来进行所述拍摄图像的亮度转换,所述第二转换特性指示所述输出亮度根据所述曝光设置而改变。
18.根据权利要求17所述的计算机可读存储介质,其中,
所述控制方法还包括:第四获得步骤,其用于获得所述显示装置的显示亮度设置和显示特性,
其中,在所述生成步骤中,根据获得的所述显示亮度设置和显示特性来使用于所述拍摄图像的亮度转换的转换特性变化,以及
其中,所述第一转换特性指示在所述显示装置上显示所述显示图像时针对所述场景的亮度唯一地确定所述输出亮度。
19.根据权利要求17所述的计算机可读存储介质,其中,
在所述生成步骤中,通过进一步进行用于对进行了亮度转换的所述拍摄图像的颜色和亮度进行调整的调整处理来生成所述显示图像,以及
在所述第一模式下进行的所述调整处理与在所述第二模式下进行的所述调整处理不同。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020044385A JP2021145302A (ja) | 2020-03-13 | 2020-03-13 | 画像処理装置、撮像装置、制御方法及びプログラム |
JP2020-044385 | 2020-03-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113395421A CN113395421A (zh) | 2021-09-14 |
CN113395421B true CN113395421B (zh) | 2023-08-22 |
Family
ID=77617559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110278689.4A Active CN113395421B (zh) | 2020-03-13 | 2021-03-15 | 图像处理设备、摄像设备、控制方法和存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11245852B2 (zh) |
JP (1) | JP2021145302A (zh) |
CN (1) | CN113395421B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022133983A (ja) * | 2021-03-02 | 2022-09-14 | キヤノン株式会社 | 撮像装置、コンピュータプログラム、及び撮像方法 |
JP2023074897A (ja) * | 2021-11-18 | 2023-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
CN114913971B (zh) * | 2022-06-10 | 2023-05-09 | 奇医天下大数据科技(珠海横琴)有限公司 | 一种基于人工智能的电子处方服务管理系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001166201A (ja) * | 1999-12-09 | 2001-06-22 | Olympus Optical Co Ltd | 自動合焦機能付き電子カメラ |
JP2006165725A (ja) * | 2004-12-03 | 2006-06-22 | Fuji Photo Film Co Ltd | 撮影装置及びその露出決定方法 |
CN101031032A (zh) * | 2006-03-03 | 2007-09-05 | 索尼株式会社 | 图像拾取设备、曝光控制方法、及计算机程序 |
CN101232583A (zh) * | 2008-01-31 | 2008-07-30 | 北京航空航天大学 | 一种摄像机光圈自适应调节装置及方法 |
JP2010178027A (ja) * | 2009-01-29 | 2010-08-12 | Canon Inc | カメラシステム |
JP2010245924A (ja) * | 2009-04-08 | 2010-10-28 | Nikon Corp | 画像表示装置、およびカメラ |
CN103581565A (zh) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和电子装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3948229B2 (ja) * | 2001-08-01 | 2007-07-25 | ソニー株式会社 | 画像撮像装置及び方法 |
JP4774915B2 (ja) * | 2005-10-26 | 2011-09-21 | カシオ計算機株式会社 | 撮像装置、階調補正方法及びプログラム |
JP6415162B2 (ja) * | 2014-07-31 | 2018-10-31 | キヤノン株式会社 | 測光装置とその制御方法 |
JP5984975B2 (ja) * | 2015-01-21 | 2016-09-06 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラム |
-
2020
- 2020-03-13 JP JP2020044385A patent/JP2021145302A/ja active Pending
-
2021
- 2021-03-04 US US17/192,672 patent/US11245852B2/en active Active
- 2021-03-15 CN CN202110278689.4A patent/CN113395421B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001166201A (ja) * | 1999-12-09 | 2001-06-22 | Olympus Optical Co Ltd | 自動合焦機能付き電子カメラ |
JP2006165725A (ja) * | 2004-12-03 | 2006-06-22 | Fuji Photo Film Co Ltd | 撮影装置及びその露出決定方法 |
CN101031032A (zh) * | 2006-03-03 | 2007-09-05 | 索尼株式会社 | 图像拾取设备、曝光控制方法、及计算机程序 |
CN101232583A (zh) * | 2008-01-31 | 2008-07-30 | 北京航空航天大学 | 一种摄像机光圈自适应调节装置及方法 |
JP2010178027A (ja) * | 2009-01-29 | 2010-08-12 | Canon Inc | カメラシステム |
JP2010245924A (ja) * | 2009-04-08 | 2010-10-28 | Nikon Corp | 画像表示装置、およびカメラ |
CN103581565A (zh) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | 摄像设备、摄像设备的控制方法和电子装置 |
Also Published As
Publication number | Publication date |
---|---|
US11245852B2 (en) | 2022-02-08 |
CN113395421A (zh) | 2021-09-14 |
JP2021145302A (ja) | 2021-09-24 |
US20210289143A1 (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113395421B (zh) | 图像处理设备、摄像设备、控制方法和存储介质 | |
US8395694B2 (en) | Apparatus and method for blurring image background in digital image processing device | |
KR101814604B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
US20070279512A1 (en) | Imaging apparatus | |
JP5277873B2 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
US20100171858A1 (en) | Display control device and control method thereof | |
JP4509081B2 (ja) | デジタルカメラ及びデジタルカメラのプログラム | |
JP2012217100A (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP5825505B2 (ja) | 制御装置、表示制御方法、およびプログラム | |
US7423682B2 (en) | Digital camera | |
JP2002158903A (ja) | 撮像装置及び撮像装置の制御方法 | |
KR20100018335A (ko) | 썸네일 표시 제어 방법 및 장치, 및 이를 이용한 디지털촬영 장치 | |
KR101812656B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
JP2013012852A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2019101327A (ja) | 撮像制御装置およびその制御方法 | |
JP2012063722A (ja) | 撮像装置、表示制御方法 | |
JP2012029055A (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
JP2017163339A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP2015055775A (ja) | 撮像装置および撮像装置の制御方法 | |
KR100702950B1 (ko) | 촬영 장치의 제어 방법 및 이 방법을 사용한 촬영 장치 | |
KR20130092213A (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
US10805545B2 (en) | Imaging device | |
US20230239564A1 (en) | Image processing device, imaging device, method for controlling image processing device, and storage medium | |
KR101323731B1 (ko) | 노출 영역 표시 방법 | |
JP6602679B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |