CN105763767B - 图像处理装置、摄像装置和图像处理方法 - Google Patents
图像处理装置、摄像装置和图像处理方法 Download PDFInfo
- Publication number
- CN105763767B CN105763767B CN201610004076.0A CN201610004076A CN105763767B CN 105763767 B CN105763767 B CN 105763767B CN 201610004076 A CN201610004076 A CN 201610004076A CN 105763767 B CN105763767 B CN 105763767B
- Authority
- CN
- China
- Prior art keywords
- histogram
- mentioned
- grey
- slope
- gray scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000009825 accumulation Methods 0.000 claims abstract description 48
- 238000012937 correction Methods 0.000 claims description 47
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000000087 stabilizing effect Effects 0.000 claims description 11
- 238000004380 ashing Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 18
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 25
- 238000001514 detection method Methods 0.000 description 17
- 230000006641 stabilisation Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000009499 grossing Methods 0.000 description 11
- 241001270131 Agaricus moelleri Species 0.000 description 8
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001497337 Euscorpius gamma Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
提供图像处理装置、摄像装置和图像处理方法,能够使直方图平滑化的结果稳定地变化。对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的图像数据的亮度分布,将直方图的计数值分配给邻近的灰度,从低灰度侧起累积直方图,生成累积直方图,使用累积直方图进行对比度校正,在上述分配处理中,在将计数值分配给邻近的灰度时,针对规定的灰度数,使分配量固定(S79~S83)。
Description
技术领域
本发明涉及进行根据图像的直方图生成累积直方图并进行直方图平滑化的灰度转换处理的图像处理装置、摄像装置和图像处理方法。
背景技术
以往,公知有根据图像的直方图生成累积直方图并进行直方图平滑化的灰度转换处理。当在照相机等摄像装置中进行灰度转换处理时,为了简化处理,使用缩小图像,以比输入图像的灰度数少的灰度、例如8灰度或16灰度生成直方图并进行平滑化。
但是,当减少灰度数时,在由于场景变换或曝光校正等而使曝光变化时,直方图急剧变化。特别是在直方图集中于特定灰度的平坦的被摄体中,直方图平滑化后的图像的明亮度变亮或变暗,表现为图像不均。
使用图16A、图16B、图17A和图17B对这点进行说明。在图16A、图16B中,横轴取缩小图像的像素值,在该例子中,对灰度进行八分割。例如,在像素值为0~4095的情况下,设0~512的范围为灰度“0”,设512~1024的范围为灰度“1”,设1024~1536的范围为灰度“3”。以后,等间隔地分割为灰度“4”~“8”。
在图16A、图16B的例子中,在整面为相同亮度的单一平面的被摄体的情况下,如图16A所示,直方图集中于某个特定的灰度。在直方图生成中,如果像素值进入某个特定的范围,则作为该灰度的频值进行计数。即,在图16A所示的例子中,如上所述将灰度分成0~7这8个灰度,在该例子中,集中于灰度n=3。
即,如图16B所示,在像素值为V1、V2、V3时,均同样地在其灰度(n=3)的频值中加上1。因此,在整面为相同亮度的单一平面的被摄体中,还存在曝光变化,在像素值从V1逐渐变化到V4的情况下,直方图急剧切换。即,相对于像素值V1~V3的曝光变化,直方图不变化(参照图17A-图17C),但是,在像素值V3~V4的曝光变化中,直方图急剧切换(参照图17C、图17D)。因此,其结果,在使用直方图的直方图平滑化中也产生急剧变化。
因此,在日本特许第5486791号公报(以下称为专利文献1)中,提出了如下技术:在直方图生成时的频值计数时,计算与相应灰度内的位置对应的权重,还分配给相邻的灰度,由此,即使灰度数较少,在曝光变化时,也能够使直方图的变化平滑。
具体而言,根据像素值和包含像素值的灰度内的相对位置,赋予图18A-图18C所示的权重,分配给前后的灰度并对频值进行计数。另外,图18A所示的曲线W10表示针对相应的灰度位置(n)的频值的权重,图18B所示的曲线W11表示针对相应的灰度位置(n)的相邻位置(n-1)的频值的权重,图18C所示的曲线W12表示针对相应的灰度位置(n)的相邻位置(n+1)的频值的权重。
通过赋予这种权重,如图19A-图19D所示,伴随曝光变化,直方图也变化,成为平滑的变化。另外,图19A示出缩小图像的像素值V1的情况下的直方图,图19B示出缩小图像的像素值V2的情况下的直方图,图19C示出像素值V3的情况下的直方图,图19D示出缩小图像的像素值V4的情况下的直方图。
通过进行所述专利文献1提出的灰度转换处理,如图19A-图19D所示,直方图自身的急剧变化得到改善。但是,不足以使直方图平滑化的结果稳定地变化,根据条件的不同,有时直方图平滑化的图像的明亮度会变化。
使用图19E-图19H对这点进行说明。图19E-图19H所示的各曲线图示出使用图19A-图19D的直方图的累积直方图和将累积直方图作为输入输出特性进行直方图平滑化时的状况。可知,关于图19E-图19H的横轴所示的输入数据(双箭头),即使存在曝光变化,宽度也不变而逐渐变暗,与此相对,关于纵轴所示的直方图平滑化后的输出数据(双箭头),由于曝光变化,宽度大幅变化。即,在专利文献1所示的灰度转换处理中,在进行使用直方图平滑化的局部灰度转换处理时,无法得到稳定的结果。另外,横轴的双箭头的正中附近的纵线表示平均值。
发明内容
本发明是鉴于这种情况而完成的,其目的在于,提供能够使直方图平滑化的结果稳定地变化的图像处理装置、摄像装置和图像处理方法。
本发明的图像处理装置具有:直方图生成部,其对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的图像数据的亮度分布;分配处理部,其将上述直方图的计数值分配给邻近的灰度;累积直方图生成部,其从低灰度侧起累积由上述直方图生成部得到的直方图,生成累积直方图;以及灰度校正处理部,其使用上述累积直方图进行对比度校正,其中,上述分配处理部在将上述计数值分配给上述邻近的灰度时,针对规定的灰度数,使分配量固定。
本发明的摄像装置具有:摄像部,其对拍摄视场进行摄像并输出图像数据;直方图生成部,其对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的上述图像数据的亮度分布;分配处理部,其将上述直方图的计数值分配给邻近的灰度;累积直方图生成部,其从低灰度侧起累积由上述直方图生成部得到的直方图,生成累积直方图;以及灰度校正处理部,其使用上述累积直方图进行对比度校正,其中,上述分配处理部在将上述计数值分配给上述邻近的灰度时,针对规定的灰度数,使分配量固定。
本发明的图像处理方法具有以下步骤:直方图生成步骤,对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的图像数据的亮度分布;分配处理步骤,将上述直方图的计数值分配给邻近的灰度;累积直方图生成步骤,从低灰度侧起累积由上述直方图生成步骤得到的直方图,生成累积直方图;以及灰度校正处理步骤,使用上述累积直方图进行对比度校正,其中,在上述分配处理步骤中,在将上述计数值分配给上述邻近的灰度时,针对规定的灰度数,使分配量固定。
根据本发明,能够提供能够使直方图平滑化的结果稳定地变化的图像处理装置、摄像装置和图像处理方法。
附图说明
图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。
图2是示出本发明的一个实施方式的照相机的直方图平滑化的动作的流程图。
图3是示出用于根据来自本发明的一个实施方式的照相机的摄像元件的亮度图像生成缩小图像的块的图。
图4是示出用于根据本发明的一个实施方式的照相机的缩小图像生成直方图的范围的图。
图5A和图5B是示出本发明的一个实施方式的照相机中、根据缩小图像生成的直方图和累积直方图的曲线图。
图6是示出本发明的一个实施方式的照相机中、还使用附近的累积直方图进行对比度校正的例子的曲线图。
图7是示出本发明的一个实施方式的照相机的直方图生成的概念性动作的流程图。
图8A~图8C是说明本发明的一个实施方式的照相机中、直方图生成的图,图8A是示出直方图生成中使用的图像数据的像素位置的图,图8B是用于计算灰度位置的表,图8C是示出用于计算灰度位置的像素值数据的构造的图。
图9是示出本发明的一个实施方式的照相机的直方图生成的动作的流程图。
图10A和图10B是示出本发明的一个实施方式的照相机中、在斜率稳定化灰度数(stabN)为奇数的情况下和偶数的情况下斜率稳定化灰度与相邻灰度的位置关系的图。
图11是示出本发明的一个实施方式的照相机的斜率稳定化灰度和相邻灰度的频值设定的动作的流程图。
图12A和图12B是示出本发明的一个实施方式的照相机中、各灰度中的分配权重的关系的图。
图13A~图13H是说明本发明的一个实施方式的照相机中、直方图平滑化的效果的图。
图14是示出本发明的一个实施方式的照相机的直方图生成的动作的流程图的第1变形例。
图15是示出本发明的一个实施方式的照相机的直方图生成的动作的流程图的第2变形例。
图16A和图16B是说明现有的平滑化处理中、灰度位置的设定的图。
图17A~图17D是说明现有的平滑化处理中、像素值与灰度位置的关系的图。
图18A~图18C是说明现有的平滑化处理中、将像素值分配给相邻灰度的分配方式的图。
图19A~图19H是示出现有的平滑化处理中、针对像素值的直方图和累积直方图的曲线图。
具体实施方式
下面,作为本发明的一个实施方式对应用于数字照相机的例子进行说明。该数字照相机具有摄像部,通过该摄像部对被摄体视场进行摄像并将其转换为图像数据,根据该转换后的图像数据,在配置在主体背面的显示部中实时取景显示被摄体像。拍摄者通过观察实时取景显示,决定构图和快门机会。在释放操作时,图像数据被记录在记录介质中。当选择再现模式后,记录介质中记录的图像数据能够再现显示在显示部中。
图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。该照相机由照相机主体100和能够相对于该照相机主体100进行拆装的更换式镜头200构成。
更换式镜头200具有摄影镜头201、光圈203、驱动器205、微型计算机207、闪存209,在该更换式镜头200与后述照相机主体100之间具有接口(以后称为I/F)999。
摄影镜头201是用于形成被摄体像的光学镜头,具有单焦点镜头或变焦镜头。在该摄影镜头201的光轴的后方配置有光圈203,光圈203的口径可变,限制穿过摄影镜头201的被摄体光束。
并且,摄影镜头201能够通过驱动器205而在光轴方向上移动,根据来自微型计算机207的控制信号控制摄影镜头201的焦点位置。并且,在摄影镜头201是变焦镜头的情况下,还能够调节焦距。该驱动器205还控制光圈204的口径。
与驱动器205连接的微型计算机207与I/F 999和闪存209连接。微型计算机207按照闪存209中存储的程序进行动作,与后述照相机主体100内的微型计算机121进行通信,根据来自微型计算机121的控制信号进行更换式镜头200的控制。
在闪存209中,除了所述程序以外,还存储有更换式镜头200的光学特性和调整值等各种信息。I/F 999是用于进行更换式镜头200内的微型计算机207和照相机主体100内的微型计算机121的相互间通信的接口。
在照相机主体100内,在摄影镜头201的光轴上配置有机械快门101。该机械快门101控制被摄体光束的通过时间,采用公知的中心式快门或焦面快门。在该机械快门101的后方,在由摄影镜头201形成被摄体像的位置配置有摄像元件102。
摄像元件102以二维矩阵状配置有构成各像素的光电二极管,各光电二极管产生与受光量对应的光电转换电流,该光电转换电流通过与各光电二极管连接的电容器进行电荷蓄积。在各像素的前表面配置有拜耳排列的滤色器。通过在水平方向上具有交替配置R像素和G(Gr)像素的行和交替配置G(Gb)像素和B像素的行,进而还在垂直方向上交替配置这3个行,从而构成拜耳排列。
摄像元件102与模拟处理部103连接,该模拟处理部103针对从摄像元件102读出的光电转换信号(模拟图像信号)降低复位噪声等后,进行波形整形,进行增益提升以成为适当亮度。通过在该模拟处理部103中调整模拟图像信号的增益(放大率),对ISO感光度的调整进行控制。
模拟处理部103与A/D转换部104连接,该A/D转换部104对模拟图像信号进行模拟-数字转换,将数字图像信号(以后称为图像数据)输出到总线109。
总线109是用于将在照相机主体100的内部读出或生成的各种数据转送到照相机主体100的内部的转送路径。除了所述A/D转换部104以外,总线109还连接有图像处理部111、AE处理部113、AF处理部115、JPEG处理部117、微型计算机121、SDRAM(SynchronousDynamic Random Access Memory)127、存储器接口(以后称为存储器I/F)129、液晶(以后称为LCD)驱动器133。
与总线109连接的图像处理部111包括白平衡校正部(以后称为WB校正部)111a、同时化处理部111b、颜色再现处理部111d、灰度校正处理部111c、噪声降低处理部(以后称为NR处理部)111e,读出SDRAM127中暂时存储的图像数据,对该图像数据实施各种图像处理。
WB校正部111a对图像数据进行白平衡校正。在白平衡校正中,在各种色温的光源下进行校正,以使得准确地将白色映出为白色。由于用户设定晴天、阴天、背阴、电灯泡、荧光灯等光源模式,或在照相机侧自动计算白平衡校正量的自动白平衡模式,所以,根据该设定的模式,对图像数据进行白平衡校正。WB校正部111a根据用户指定的白平衡设定来取得或检测WB增益,通过对图像数据乘以增益,进行白平衡校正。
同时化处理部111b针对拜耳排列下取得的图像数据,按照每1个像素对由R、G、B的信息构成的图像数据进行同时化处理。即,在同时化处理中,进行将RGB的拜耳构造的图像数据转换为RGB的三面数据的去马赛克处理。
灰度校正处理部111c进行校正整体色调以使得监视器γ成为基本优选的灰度的γ校正处理,并且进行局部的对比度校正处理。该局部对比度校正处理存在各种方法,但是,作为其代表,存在直方图平滑化(直方图等化)。直方图平滑化使用图2~图6在后面叙述。并且,灰度校正处理部111c作为使用累积直方图进行对比度校正的灰度校正处理部发挥功能(例如参照后述图2的S9、S11)。
颜色再现处理部111d进行整合图像色彩的处理、即伽马校正处理和改变图像色彩的颜色再现处理。NR处理部111e使用降低高频的滤波器,并且通过核化处理(coringprocessing)等,进行降低图像数据噪声的处理。
图像处理部111根据需要选择各部111a~111d进行各处理,实施了图像处理后的图像数据经由总线109暂时存储在SDRAM127中。图像处理部111由ASIC(ApplicationSpecific Integrated Circuit)或DSP(Digital Signal Processor)等各种硬件构成,但是,也可以通过微型计算机121以软件的方式对其一部分或全部进行处理。
AE处理部113测定被摄体亮度,经由总线109输出到微型计算机121。也可以为了进行被摄体亮度测定而设置专用的测光传感器,但是,在本实施方式中,使用基于摄像元件102的输出的图像数据计算被摄体亮度。AF处理部115从图像数据中提取高频成分的信号,通过累积处理取得对焦评价值,经由总线109输出到微型计算机121。在本实施方式中,通过所谓的对比度法进行摄影镜头201的对焦。
JPEG处理部117在针对记录介质131记录图像数据时,从SDRAM127中读出图像数据,按照JPEG压缩方式对该读出的图像数据进行压缩,将该压缩后的图像数据暂时存储在SDRAM127中。微型计算机121针对SDRAM127中暂时存储的JPEG图像数据附加构成JPEG文件所需要的JPEG文件头,生成JPEG文件,经由存储器I/F129将该生成的JPEG文件记录在记录介质131中。
并且,JPEG处理部117还进行JPEG图像数据的解压缩以用于进行图像再现显示。在解压缩时,读出记录介质131中记录的JPEG文件,在JPEG处理部117中实施了解压缩处理后,将解压缩后的图像数据暂时存储在SDRAM127中。另外,在本实施方式中,采用JPEG压缩方式作为图像压缩方式,但是,压缩方式不限于此,当然也可以是TIFF、MPEG、H.264等其他压缩方式。
微型计算机121发挥作为该照相机整体的控制部的功能,通过按照后述闪存125中存储的程序对照相机主体100和更换镜头200内的各部进行控制,统一控制照相机整体的各种时序。
微型计算机121作为直方图生成部发挥功能,其对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的图像数据的亮度分布(例如参照后述图2的S5、图7、图9)。并且,微型计算机121作为将直方图的计数值分配给邻近的灰度的分配处理部发挥功能(例如参照后述图9的S53~S69)。
并且,微型计算机121作为从低灰度侧起累积由直方图生成部得到的直方图并生成累积直方图的累积直方图生成部发挥功能(例如参照后述图2的S7)。并且,微型计算机121在作为上述分配处理部发挥功能的情况下,在将计数值分配给邻近的灰度时,针对规定的灰度数,使分配量固定(例如参照后述图11的S79~S83)。
微型计算机121在作为分配处理部发挥功能的情况下,在摄像部的摄像动作是静态图像拍摄的情况下,与动态图像拍摄的情况相比,使上述分配量固定的灰度数相同或较少(例如参照后述图14的S44a、S44b)。并且,图像处理部111发挥作为取得图像内的区的检测部的功能。并且,图像处理部111作为判定图像数据的局部区域是否位于检测部中检测到的区内的区判定部发挥功能。并且,所述直方图生成部生成图像数据的每个局部区域的直方图,在区判定部中判定为局部区域在区内的情况下,分配处理部对使分配量固定的灰度数进行变更(例如参照后述图15的S48a~S48c)。
微型计算机121在作为分配处理部发挥功能的情况下,关于固定的分配量,使用作为其分配对象的灰度数进行分配以使得W1=1/(stabN+1)(例如参照图9的S45、(3)式)。并且,在分配处理部中,针对与分配量固定的灰度相邻的灰度,根据针对固定的灰度范围的输入图像的像素值而使分配量变动,分配由此得到的分配量。并且,在分配处理部中,使用固定的分配量和进行固定的分配的灰度数,将根据像素值而变动的分配量的最大量设为W23=1-(W1×stabN)(例如参照图11的S85)。
除了所述I/F 999以外,微型计算机121还连接有操作部123和闪存125。操作部123包括电源按钮、释放按钮、动画按钮、再现按钮、菜单按钮、十字按钮、OK按钮等各种输入按钮和各种输入键等操作部件,检测这些操作部件的操作状态,将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果,执行与用户操作对应的各种顺序。
闪存125是能够进行电改写的非易失性存储器,存储用于执行微型计算机121的各种顺序的程序。如上所述,微型计算机121根据该程序进行该数字照相机的控制。并且,闪存125存储直方图生成(参照图9)时使用的初始设定值、(Xh,Yh)、N、Offset、斜率稳定化灰度数(stabN)、斜率稳定化灰度权重系数(W1)、相邻灰度分配权重表(Wtable)等调整值等。
SDRAM127是图像数据等的暂时存储用的能够进行电改写的易失性存储器。该SDRAM127暂时存储从A/D转换部104输出的图像数据、在图像处理部111和JPEG处理部117等中进行处理后的图像数据。
存储器I/F129与记录介质131连接,进行针对记录介质131写入和读出图像数据和图像数据中附加的文件头等数据的控制。记录介质131是能够相对于照相机主体进行拆装的存储器,但是不限于此,也可以是硬盘等照相机主体中内置的存储器。
LCD驱动器133与LCD135连接,根据从SDRAM127或记录介质131读出并由JPEG处理部117进行解压缩后的图像数据,在LCD135中显示图像。LCD135包括配置在照相机主体100的背面等上的LCD面板,进行图像显示。作为图像显示,包括在刚刚拍摄之后在短时间内显示要记录的图像数据的记录浏览显示、记录介质131中记录的静态图像或动画的图像文件的再现显示、以及实时取景显示等动态图像显示。另外,在显示被压缩的图像数据的情况下,如上所述,通过JPEG处理部117实施解压缩处理后进行显示。并且,显示部不限于LCD,当然也可以采用有机EL等其他显示面板。
接着,使用图2~图6对使用直方图平滑化的局部对比度校正处理进行说明。图2是示出基于直方图平滑化的局部对比度校正的动作的流程图。微型计算机121根据闪存125中存储的程序对照相机内的各部进行控制,由此执行该流程图(图7、图9、图11和图14所示的流程图也同样)。
进入图2所示的直方图平滑化的流程后,首先,进行亮度图像生成(S1)。这里,根据从摄像元件102输出的RGB图像数据生成亮度图像。关于亮度图像,可以通过下述(1)式计算亮度数据,并且,也可以使用RGB图像中的G图像作为亮度图像,还可以将R、G、B的各像素值中的最大值作为亮度图像。
Y=0.299×R+0.587×G+0.114×B···(1)
生成亮度图像后,接着,进行缩小图像的生成(S3)。这里,对步骤S1中生成的亮度图像中的规定区域进行相加平均来生成缩小图像。图3和图4示出根据亮度图像生成缩小图像的例子。在该例子中,从摄像元件102输出横向4000像素、纵向3000像素的亮度图像,根据该亮度图像分别在横向160像素、纵向120像素的区域(块)内进行相加平均,生成缩小图像。以后,将160×120的缩小图像的1个块表现为缩小图像的1个像素。另外,这些数值是例示,可以适当变更。
关于该缩小图像的生成,在从摄像元件102中读出图像数据时,可以由模拟处理部103按照每块进行相加平均并输出缩小图像。并且,也可以由图像处理部111或微型计算机121按照每块对由A/D转换部104进行数字化后的图像数据进行相加平均而生成缩小图像。
生成缩小图像后,接着,进行直方图生成(S5)。这里,微型计算机121按照缩小图像的每个像素生成直方图。在针对作为对象的像素P1(图4的灰色所示的像素)生成直方图时,使用包含其周围的规定范围R1(图4的虚线的区域)的像素值生成直方图。图5A示出这样得到的直方图的例子。在该例子中,判定缩小图像的像素值进入8个值的范围中的哪个,生成8灰度的直方图。另外,直方图生成的详细情况使用图7和图8在后面叙述。
进行直方图的生成后,接着,生成累积直方图(S7)。这里,微型计算机121根据步骤S5中生成的直方图生成累积直方图。累积直方图是对直方图的各灰度的频值进行累积相加时得到的特性。图5B示出与图5A的例子对应的累积直方图。
生成累积直方图后,接着,进行对比度校正(S9)。这里,灰度校正处理部111c根据步骤S7中生成的累积直方图进行对比度校正。如图4所示,缩小图像的1个像素对应于缩小前的亮度图像中的一个规定区域。因此,当设图4的规定区域中包含的像素值的偏差为图5B的横轴所示的双箭头的范围时,通过将该累积直方图的特性转换为输入输出的特性曲线,将其校正为图5B的纵轴所示的双箭头的范围。
即,对对比度进行校正,在该图5A和图5B所示的例子中,对对比度进行强调。即,相对于横轴(像素值)的箭头的范围,纵轴(校正后的像素值)的箭头的范围较大,由此,进行了对比度强调。因此,能够进行基于图5A所示的直方图的对比度校正。通过按照每个规定区域(每个局部区域)进行该处理,成为局部对比度校正处理。
在进行局部对比度校正处理时,实际上考虑区域的切换边界处的连续性,还使用图6所示的附近的累积直方图进行对比度校正。通过将进行插值处理后的结果作为对比度校正结果,确保了连续性。
在步骤S9中进行对比度校正后,接着,进行增益生成/相乘处理(S11)。这里,灰度校正处理部111c使用步骤S9中的对比度校正的结果进行增益生成/相乘处理。具体而言,为了调节校正强度,通过计算步骤S9中得到的对比度校正后的图像与图3所示的对比度校正前的亮度图像之比,计算每个像素的增益值。然后,将在该计算出的增益值中考虑了校正强度调整值而得到的值与输入数据即RGB图像进行相乘,由此,生成最终的局部对比度校正图像。
这样,在本实施方式中的基于直方图平滑化的局部对比度校正处理中,根据直方图生成累积直方图,使用该累积直方图生成对比度校正图像,根据该对比度校正图像计算增益,将该计算出的增益与来自摄像元件的图像数据进行相乘处理。
接着,对步骤S5(参照图2)的直方图生成的动作进行说明。首先,使用图7所示的流程图对本实施方式中的直方图生成的基本动作进行说明。
进入图7所示的流程后,首先,进行初始设定值的读入(S21)。这里,作为初始设定值的读入,读入用于生成直方图的区域设定值(Xh,Yh)和要生成的直方图的灰度数设定值(N)。在图5A所示的例子中,灰度数设定值(N)为N=8。
进行初始设定值的读入后,接着,取得直方图生成区域数据(S23)。直方图区域设定值是以对象像素为中心的Xh×Yh的区域。这里,为了便于说明,设定(Xh,Yh)=(5,5)、N=8。读入区域后,使用所读入的区域设定值取得直方图生成中使用的图像数据。图8A示出所取得的5×5像素的数据。
取得直方图生成区域数据后,接着,进行初始化(S25)。这里,作为初始化,将扫描像素时的计数器(i,j)初始化为(0,0),将表示各像素的灰度位置的变量(n)和作为直方图的数组P(N)初始化为“0”。
进行初始化后,在步骤S27~S39中,生成所设定的区域中的直方图。首先,取得(i,j)位置的像素值(S27)。这里,取得(i,j)位置的像素值,但是,在最初进行处理的情况下,取得图8A所示的图像数据中的与(0,0)位置对应的像素值。
取得(i,j)位置的像素后,接着,进行灰度位置(n)的计算(S29)。这里,使用步骤S27中取得的像素值,在分割为N灰度(例示中为8灰度)时,判别属于哪个灰度位置,将其设为灰度位置(n)。具体而言,在所取得的像素值为12bit数据(4096灰度)的情况下,作为判别手段,可以根据图8B所示的表来计算灰度位置(n)。并且,如图8C所示,也可以读入像素值的上位3bit,将该值作为灰度位置(n)。
计算灰度位置(n)后,接着,进行直方图频值的相加(S31)。这里,在与步骤S29中计算出的灰度位置(n)对应的直方图数组P(n)中加上1作为频值(P(n)=P(n)+1)。进行直方图频值的相加后,增加像素位置的计数器i(S33)。
增加计数器i后,判定是否是i≧Xh(S35)。这里,比较计数器i是否为Xh以上,在图8A所示的例子中,比较i是否为“5”以上。如果i为Xh以上,则到达区域内的横向的端部,所以,进入步骤S37,在纵向上移动1个像素量,如果小于Xh,则返回步骤S27,取得与步骤S33中增加后的i对应的(i,j)位置的像素值。
在步骤S35中的判定结果为i≧Xh的情况下,增加计数器j,将计数器i复位为0(S37)。接着,判定是否是j≧Yh(S39)。这里,比较计数器j是否为Yh以上,在图8A所示的例子中,比较j是否为“5”以上。如果比较结果为小于Yh,则返回步骤S27,取得与步骤S37中增加后的j对应的(i,j)位置的像素值。另一方面,如果j为Yh以上,则到达区域内的纵向的端部,针对区域内的全部像素进行扫描并计算出了直方图频值,所以,该时点的直方图数组P(n)成为图8A的直方图区域中的直方图结果。
接着,使用图9所示的流程图对本实施方式中的直方图生成的动作进行说明。另外,对与图7的流程图共通的部分进行简化说明。
进入图9所示的流程后,进行初始设定值的读入(S41)。这里,作为初始设定值,除了生成直方图的区域设定值(Xh,Yh)、灰度数设定值(N)以外,还读入针对像素值的偏置量(offset)。该偏置量相当于灰度幅度的一半的值。例如,在像素值的精度为12bit精度、灰度数设定值(N)为8的情况下,成为下述(2)式的值。
offset=(4096/8)/2=256···(2)
读入初始设定值后,接着,读入斜率稳定化灰度数(stabN)(S43)。这里,读入闪存125中存储的斜率稳定化灰度数(stabN)。斜率稳定化灰度数(stabN)是在产生曝光变化的情况下也能够使累积直方图的斜率保持恒定的灰度数的设定。当斜率稳定化灰度数较大时较为稳定,但是,存在局部对比度效果减弱的倾向。
读入斜率稳定化灰度数后,接着,计算斜率稳定化灰度权重系数(W1)(S45)。该权重系数根据斜率稳定化灰度数(stabN)来决定,通过下述(3)式进行计算。另外,关于权重系数,也可以将根据斜率稳定化灰度数计算出的值存储在闪存125中并进行读出。
W1=1/(stabN+1)···(3)
计算斜率稳定化灰度权重系数后,接着,读入相邻灰度分配权重表(Wtable)(S47)。相邻灰度是与斜率稳定化灰度相邻的灰度,在对该灰度加上频值时,使用该分配权重表。相邻灰度分配权重表存储在闪存125中,所以读出该相邻灰度分配权重表。
进行相邻灰度分配权重表的读入后,接着,取得直方图生成区域数据(S49)。这里,与步骤S23(参照图7)同样,使用步骤S41中读入的(Xh,Yh)、N取得直方图生成区域的图像数据。
在步骤S49中取得直方图生成区域的数据后,接着,进行初始化(S51)。这里,与步骤S25(参照图7)同样,设i=0、j=0、P(N)=0。
接着,取得(i,j)位置的像素值(m)(S53)。这里,与步骤S27(参照图7)同样,取得(i,j)位置的像素值,但是,在最初进行处理的情况下,取得与(0,0)位置对应的像素值。
取得(i,j)位置的像素值(m)后,接着,判定是否为稳定化灰度数(stabN)=偶数(S55)。这里,根据步骤S43中读入的稳定化灰度数(stabN)进行判定。
在步骤S55中判定结果为稳定化灰度数(stabN)是偶数的情况下,计算m=m-offset(S57)。这里,针对像素值(m)减去偏置量(offset)。减去偏置量的目的在于,如图10A所示,在斜率稳定化灰度数(stabN)是奇数的情况下,在与像素值对应的灰度位置(n)内计算分配权重,但是,通过减去针对此处的偏置,在稳定化灰度数是偶数的情况下,也能够与奇数的情况同样地进行处理。
即,图10A示出stabN是奇数的情况。在该图中,横轴是像素值,像素值TH2~TH3是斜率稳定化灰度(stabN=1)S1的范围,像素值TH1~TH2和TH3~TH4是相邻灰度的区域N1、N2。该斜率稳定化灰度(stabN)S1即像素值TH2~TH3的范围是计算针对相邻灰度的分配权重的像素值范围R10。
图10B示出stabN是偶数的情况。在该图中,横轴是像素值,像素值TH11~TH12是斜率稳定化灰度(stabN=2)S2的范围,像素值TH12~TH13是斜率稳定化灰度(stabN=2)S3的范围,像素值TH10~TH11和TH13~TH14是相邻灰度的区域N3、N4。通过针对斜率稳定化灰度的范围S2、S3减去偏置量,在与该斜率稳定化灰度(stabN)S1即像素值TH2~TH3的范围R10相同的范围内,能够计算针对相邻灰度的分配权重。即,在稳定化灰度数stabN是偶数的情况下,也能够利用与奇数的情况相同的分配权重进行处理。
在步骤S57中计算m=m-offset后、或步骤S55中的判定结果为stabN不是偶数的情况下,接着,进行灰度位置(n)的灰度范围的计算(S59)。这里,计算根据像素值(m)计算灰度位置(n)时使用的像素值的范围、即像素值的下限值(n_low)和上限值(n_high)。
在步骤S59中计算灰度位置的灰度范围后,接着,进行斜率稳定化灰度和相邻灰度的频值设定(S61)。使用图11详细叙述。
接着,与步骤S33同样,增加像素位置的计数器i(S63)。当增加计数器i后,与步骤S35同样,判定是否是i≧Xh(S65)。如果小于Xh,则返回步骤S53,取得与步骤S63中增加后的i对应的(i,j)位置的像素值。在步骤S65中的判定结果为i≧Xh的情况下,与步骤S37同样,增加计数器j,将计数器i复位为0(S67)。
接着,与步骤S39同样,判定是否是j≧Yh(S69)。如果判定结果为小于Yh,则返回步骤S53,取得与步骤S67中增加后的j对应的(i,j)位置的像素值。另一方面,如果j为Yh以上,则针对区域内的全部像素进行扫描,计算出了直方图频值,所以,该时点的直方图数组P(n)成为直方图区域中的直方图结果。
接着,使用图11所示的流程图对步骤S61(参照图9)的斜率稳定化灰度和相邻灰度的频值设定的详细情况进行说明。
进入图11的流程后,首先,进行初始化(S71)。这里,作为初始化,进行k=0、n’=0。
进行初始化后,接着,判定斜率稳定化灰度数(stabN)是否是偶数(S73)。由于在步骤S43(参照图9)中读入斜率稳定化灰度数(stabN),所以,根据该读入的斜率稳定化灰度数进行判定。
在步骤S73中的判定结果为斜率稳定化灰度数(stabN)是偶数的情况下,计算n’=stabN/2(S75)。另一方面,在步骤S73中的判定结果为斜率稳定化灰度数(stabN)是奇数的情况下,计算n’=(stabN-1)/2(S77)。以根据像素值(m)计算出的灰度位置(n)为中心,在设定基于斜率稳定化灰度数(stabN)的斜率稳定化灰度时使用该变量n’。
在步骤S75、S77中计算变量n’后,接着,判定是否是k<stabN(S79)。这里,对步骤S43中读入的斜率稳定化灰度数(stabN)和变量k进行比较。变量k在步骤S71中初始化为k=0,在后述步骤S83中增加。
在步骤S79中的判定结果为斜率稳定化灰度数(stabN)大于变量k的情况下,加上针对斜率稳定化灰度的直方图频值(S81)。这里,作为针对斜率稳定化灰度的直方图频值,在灰度位置(n+n’-k)中加上权重系数(W1)。
在步骤S81中针对斜率稳定化灰度进行直方图频值的相加后,接着,增加变量k(S83)。增加变量k后,返回步骤S79,进行所述判定。
在步骤S79~S83中,使变量k的值增加,直到变量k大于斜率稳定化灰度数(stabN)为止。
例如,在斜率稳定化灰度数(stabN)为“3”、灰度位置(n)为“5”的情况下,权重系数(W1)根据(3)式而成为“0.25”、n’=1。此时,以灰度位置“5”为中心,3个灰度成为斜率稳定化灰度,所以,作为针对灰度位置“4”、“5”、“6”的直方图频值,分别加上“0.25”。
并且,在斜率稳定化灰度数(stabN)为“2”、灰度位置(n)为“5”的情况下,权重系数(W1)根据(3)式而成为“0.33”、n’=1。此时,以灰度位置“5”为中心,2个灰度成为斜率稳定化灰度,所以,作为针对灰度位置“5”、“6”的直方图频值,分别加上“0.33”。
在步骤S79中的判定结果为变量k大于斜率稳定化灰度数(stabN)时,进行分配权重系数(W2、W3)的计算(S85)。分配权重系数(W2、W3)是针对后级的相邻灰度的直方图频值相加时使用的系数,因此,使用步骤S47中读入的分配权重表(Wtable)、步骤S53~S59中读入或计算出的像素值(m)、灰度位置(n)、下限值(n_low)和上限值(n_high)进行计算。
图12A示出分配权重表(Wtable)的例子。关于权重表的上限,使用权重系数(W1)和斜率稳定化灰度数(stabN)而设为“1-W1×stabN”,关于权重系数W2,直接使用从分配权重表(Wtable)得到的纵轴所示的Weight。并且,关于权重系数W3,使用从分配权重表(Wtable)得到的纵轴所示的Weight和表的上限值,使用下述(4)式进行计算。
W3=(1-(W1×stabN))-Weight···(4)
从分配权重表(Wtable)得到的权重系数(W2)是相对于斜率稳定化灰度,针对与像素值较小的一侧相接的相邻灰度的权重系数,另一方面,权重系数(W3)是相对于斜率稳定化灰度,针对与像素值较大的一侧相接的相邻灰度的权重系数。
在步骤S85中进行分配权重系数(W2、W3)的计算后,接着,进行针对相邻灰度的直方图频值相加(S87)。这里,使用步骤S85中计算出的分配权重系数(W2、W3),根据下述(5)(6)式进行针对相邻灰度的直方图频值相加。即,在灰度位置(n+n’-stabN)中加上权重系数(W2),在灰度位置(n+n’+1)中加上权重系数(W3)。
P(n+n’-stabN)=P(n+n’-stabN)+W2···(5)
P(n+n’+1)=P(n+n’+1)+W3···(6)
其结果,全部权重系数的总和(W1×stabN+W2+W3)为“1”。如图12B所示,针对斜率稳定化灰度S2、S3加上权重系数(W1),针对相邻灰度N3、N4加上权重系数(W2)(W3)。另外,在图12B中,R10表示计算针对相邻灰度的分配权重的像素值范围,Roff是步骤S41中读入的值,相当于灰度宽度的一半的值。
接着,使用图13A~图13H对本实施方式中的直方图和累积直方图进行说明。纸面左侧的图13A-图13D示出与图16B所示的整面为相同亮度的单一平面的被摄体中曝光变化时的缩小图像的像素值V1~V4对应的直方图,纸面右侧的图13E-图13H示出与图16B的缩小图像的像素值V1~V4对应的累积直方图。另外,在图13A~图13H所示的图表中,横轴是缩小图像的像素值,双箭头的正中附近的纵线表示平均值。并且,图13A~图13D的纵轴是直方图的值,图13E~图13H的纵轴是累积直方图的值。
图13A~图13H所示的例子示出设斜率稳定化灰度数(stabN)为“1”、灰度数设定值(N)为“8”、即0~7这8个灰度的情况。并且,分配权重表(Wtable)使用图12A所示的表。该情况下,由于斜率稳定化灰度为1个,所以,在针对像素值所属的灰度位置(n)的频值相加时,加上权重系数W1,在针对灰度位置(n-1)的频值相加时,加上权重系数(W2),在针对灰度位置(n+1)的频值相加时,加上权重系数(W3)。
图13A、图13E所示的例子是缩小图像的像素值V1的情况,在该例子中,像素值所属的灰度位置(n)=3,根据该灰度内的像素值的相对位置,使用图12A所示的分配权重表计算权重系数时,如下所述。
权重系数W1为W1=1/(1+1)=0.5
权重系数W2为W2=0.1
权重系数W3为W3=0.4
根据该权重系数,直方图如下所述。
P(0)=0、P(1)=0、P(2)=0.1、P(3)=0.5、P(4)=0.4、P(5)=0、P(6)=0、P(7)=0
图13B、图13F所示的例子是缩小图像的像素值V2的情况,在该例子中,像素值所属的灰度位置(n)=3,根据该灰度内的像素值的相对位置,使用图12A所示的分配权重表计算权重系数时,如下所述。
权重系数W1为W1=1/(1+1)=0.5
权重系数W2为W2=0.25
权重系数W3为W3=0.25
根据该权重系数,直方图如下所述。
P(0)=0、P(1)=0、P(2)=0.25、P(3)=0.5、P(4)=0.25、P(5)=0、P(6)=0、P(7)=0
图13C、图13G所示的例子是缩小图像的像素值V3的情况,在该例子中,像素值所属的灰度位置(n)=3,根据该灰度内的像素值的相对位置,使用图12A所示的分配权重表计算权重系数时,如下所述。
权重系数W1为W1=1/(1+1)=0.5
权重系数W2为W2=0.4
权重系数W3为W3=0.1
根据该权重系数,直方图如下所述。
P(0)=0、P(1)=0、P(2)=0.4、P(3)=0.5、P(4)=0.1、P(5)=0、P(6)=0、P(7)=0
图13D、图13H所示的例子是缩小图像的像素值V4的情况,在该例子中,像素值所属的灰度位置(n)=2,根据该灰度内的像素值的相对位置,使用图12A所示的分配权重表计算权重系数时,如下所述。
权重系数W1为W1=1/(1+1)=0.5
权重系数W2为W2=0.1
权重系数W3为W3=0.4
根据该权重系数,直方图如下所述。
P(0)=0、P(1)=0.1、P(2)=0.5、P(3)=0.4、P(4)=0、P(5)=0、P(6)=0、P(7)=0
这样,在本实施方式中,根据灰度的位置,针对前后的灰度分配频值。因此,直方图不会急剧变化。并且,在专利文献1中,在产生曝光变化时,直方图平滑处理不稳定,但是,在本实施方式中,决定斜率稳定化灰度,在本实施方式中,在将其频值固定为“0.5”的状态下将其分配给前后的灰度。因此,在生成累积直方图时,由于斜率稳定,所以,即使引起曝光变化也能够进行稳定的直方图平滑化处理。
接着,使用图14所示的流程图对图9所示的直方图生成的第1变形例进行说明。本变形例的不同之处在于,在图9的流程图中追加了步骤S44a和S44b,其他步骤与图9的流程图相同,所以以不同之处为中心进行说明。
在图9所示的流程图中,设定斜率稳定化灰度数,以使得主要能够应对动态图像的拍摄时。与此相对,在本变形例中,对针对利用1次拍摄生成图像的静态图像驱动的对应和针对利用多个帧生成影像的实时取景/动态图像的对应进行切换。
在利用多个帧生成影像的情况下,基于曝光变化的直方图平滑化处理的影响表现得较为显著。与此相对,在利用1次拍摄生成图像的情况下,由于在这一张图像中完结,所以,不存在帧间差异的影响。因此,判别驱动模式是否是静态图像驱动,在不是静态图像驱动的情况下、即在动态图像或实时取景图像的情况下,直接利用前级读入的斜率稳定化灰度数(stabN),在静态图像驱动的情况下,与动态图像或实时取景的情况相比,减少斜率稳定化灰度数(stabN),增强局部对比度效果。
图14所示的流程开始后,读入初始设定值(S41),读入斜率稳定化灰度数(stabN)(S43)。这里,所读入的斜率稳定化灰度数(stabN)是适于实时取景和动态图像拍摄时的值。读入斜率稳定化灰度数后,接着,判定驱动模式是否是静态图像(S44a)。由于驱动模式是拍摄者经由操作部123设定的,所以,根据该设定状态进行判定。
在步骤S44a中的判定结果为驱动模式是静态图像的情况下,进行斜率稳定化灰度数(stabN)的变更(S44b)。这里,所读入的斜率稳定化灰度数(stabN)是适于静态图像拍摄的值。另外,在本变形例中,闪存125存储适于静态图像拍摄的斜率稳定化灰度数(StabN)。
在步骤S44b中变更斜率稳定化灰度数(stabN)后、或在步骤S44a中的判定结果为驱动模式不是静态图像的情况下,执行步骤S45以下的步骤。该处理与图9中的流程相同,使用步骤S43或S44b中设定的斜率稳定化灰度数(stabN),进行斜率稳定化灰度和相邻灰度的频值设定。
这样,在本发明的第1变形例中,由于在静态图像和实时取景图像/动态图像中切换斜率稳定化灰度数(stabN),所以,能够进行维持静态图像拍摄中的效果、且保持动态图像/实时取景中的稳定性的处理。
接着,使用图15所示的流程图对图9所示的直方图生成的第2变形例进行说明。本变形例的不同之处在于,在图9的流程图中追加了步骤S48a~S48c,其他步骤与图9的流程图相同,所以以不同之处为中心进行说明。
在图9所示的流程图中,针对画面整体,按照每个局部区域进行直方图平滑化处理。与此相对,在本变形例中,在画面内检测特定区域时,对该检测区内和检测区外的对应进行切换。
直方图平滑化等局部对比度强调在风景等场景中有效发挥作用,但是,在人物的面部等的情况下,相反有时产生不舒适感。因此,取得通过面部检测等而得到的检测信息,在直方图生成时的对象像素即直方图生成区域的中心的像素进入检测范围的情况下,增加斜率稳定化灰度数(stabN),减弱局部对比度效果,另一方面,在未进入检测范围的情况下,直接利用前级读入的斜率稳定化灰度数(stabN)。由此,根据人物的面部和背景等被摄体,能够分别进行最佳的直方图平滑化处理。
具体而言,在图15的流程中,在步骤S47中进行相邻灰度分配权重表的读入后,接着,针对对象像素取得检测信息(S48a)。这里,判定作为直方图平滑化对象的像素是人物的面部部分还是背景等。在图像处理部111具有根据图像数据检测面部的面部检测部的情况下,利用该面部检测部的检测结果等即可。并且,图像处理部111或微型计算机121等也可以利用对被摄体对象进行解析后的结果。
在步骤S48a中取得检测信息后,接着,判定对象像素是否在检测范围内(S48b)。这里,例如,判定对象像素是否是人物的面部部分等。
在步骤S48b中的判定结果为对象像素在检测范围内的情况下,对斜率稳定化灰度数(stabN)进行变更(S48c)。例如,在对象像素是面部部分的情况下,增加斜率稳定化灰度数(stabN),减弱局部对比度效果。
在步骤S48c中变更斜率稳定化灰度数(stabN)后、或步骤S48b中的判定结果为对象像素不在检测范围内的情况下,执行步骤S49以下的步骤。该处理与图14中的流程相同,使用步骤S43或S48c中设定的斜率稳定化灰度数(stabN),进行斜率稳定化灰度和相邻灰度的频值设定。
这样,在本发明的第2变形例中,由于在检测范围内和检测范围外切换斜率稳定化灰度数(stabN),所以,针对人物的面部和背景等不同的被摄体,也能够进行最佳的直方图平滑化处理。
如以上说明的那样,在本发明的一个实施方式或变形例中,在直方图生成的频值计数时,将与相应灰度及其邻近的灰度相加的值固定为规定值(例如0.5),将其余部分(例如0.5)分配给与相应灰度内根据计数对象的相对像素位置而固定的灰度相邻的2个灰度(例如参照图11的S79~S87)。因此,直方图不会急剧变化,能够使直方图平滑化的结果稳定地变化。
另外,在本发明的一个实施方式或变形例中,针对缩小图像的像素值进行直方图平滑化处理。但是不限于此,当然也可以针对来自摄像元件102的图像数据直接实施直方图平滑化处理。
并且,在本发明的各实施方式中,设图像处理部111、AE处理部113、AF处理部115、JPEG处理部117为与微型计算机121分体的硬件结构(硬件电路),但是,也可以利用软件构成各部的全部或一部分,当然也可以由微型计算机121执行。并且,当然也可以利用硬件对基于软件的处理进行处理。
并且,在本实施方式中,作为拍摄用的设备,使用数字照相机进行了说明,但是,作为照相机,可以是数字单反照相机,也可以是小型数字照相机,还可以是摄像机、摄影机这样的动态图像用的照相机,进而,还可以是内置于便携电话、智能手机、便携信息终端(PDA:Personal Digital Assistant)、个人计算机(PC)、平板型计算机、游戏设备等中的照相机。无论哪种情况下,只要是对图像数据进行平滑化处理的设备,就能够应用本发明。
并且,关于本说明书中说明的技术中主要利用流程图说明的控制,多数情况下能够利用程序进行设定,有时也收纳在记录介质或记录部中。关于记录在该记录介质、记录部中的记录方法,可以在产品出厂时进行记录,也可以利用发布的记录介质,还可以经由因特网进行下载。
并且,关于权利要求书、说明书和附图中的动作流程,为了简便而使用“首先”、“接着”等表现顺序的词语进行了说明,在没有特别说明的部位,并不意味着必须按照该顺序进行实施。
本发明不限于上述实施方式,能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且,通过上述实施方式所公开的多个结构要素的适当组合,能够形成各种发明。例如,也可以删除实施方式所示的全部结构要素中的若干个结构要素。进而,还可以适当组合不同实施方式中的结构要素。
Claims (9)
1.一种图像处理装置,其具有:
直方图生成部,其对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的图像数据的亮度分布;
分配处理部,其将根据斜率稳定化灰度数计算出来的权重系数分配给相邻的斜率稳定化灰度,所述斜率稳定化灰度数是在产生曝光变化的情况下也能够使累积直方图的斜率保持恒定的灰度数的设定;
累积直方图生成部,其从低灰度侧起累积由上述直方图生成部得到的直方图,生成累积直方图;以及
灰度校正处理部,其使用上述累积直方图进行对比度校正,
其中,上述分配处理部在将上述权重系数分配给上述相邻的斜率稳定化灰度时,针对规定的灰度数,使分配量固定。
2.一种摄像装置,其具有:
摄像部,其对拍摄视场进行摄像并输出图像数据;
直方图生成部,其对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的上述图像数据的亮度分布;
分配处理部,其将根据斜率稳定化灰度数计算出来的权重系数分配给相邻的斜率稳定化灰度,所述斜率稳定化灰度数是在产生曝光变化的情况下也能够使累积直方图的斜率保持恒定的灰度数的设定;
累积直方图生成部,其从低灰度侧起累积由上述直方图生成部得到的直方图,生成累积直方图;以及
灰度校正处理部,其使用上述累积直方图进行对比度校正,
其中,上述分配处理部在将上述权重系数分配给上述相邻的斜率稳定化灰度时,针对规定的灰度数,使分配量固定。
3.根据权利要求2所述的摄像装置,其中,
在上述摄像部的摄像动作是静态图像拍摄的情况下,与动态图像拍摄的情况相比,上述分配处理部使上述分配量固定的灰度数相同或较少。
4.根据权利要求2所述的摄像装置,其中,
上述摄像装置还具有:
检测部,其取得图像内的区;以及
区判定部,其判定上述图像数据的局部区域是否位于上述检测部中检测到的上述区内,
上述直方图生成部生成上述图像数据的每个局部区域的直方图,
在上述区判定部中判定为上述局部区域在上述区内的情况下,上述分配处理部对上述分配量固定的灰度数进行变更。
5.根据权利要求2所述的摄像装置,其中,
关于固定的分配量,上述分配处理部使用作为其对象的灰度数,根据下式进行分配,
W1=1/(stabN+1),
其中,stabN为斜率稳定化灰度数,W1为分配权重系数,W1是指所述固定的分配量。
6.根据权利要求2所述的摄像装置,其中,
在上述分配处理部中,对与分配量固定的灰度相邻的灰度分配根据像素值而变动的分配量。
7.根据权利要求5所述的摄像装置,其中,
关于根据像素值而变动的分配量的最大量,在上述分配处理部中,使用固定的分配量和进行固定的分配的灰度数,根据下式进行分配,
W23=1-(W1×stabN)
其中,W23是指根据像素值而变动的分配量的最大量。
8.根据权利要求6所述的摄像装置,其中,
关于根据像素值而变动的分配量的最大量,在上述分配处理部中,使用固定的分配量和进行固定的分配的灰度数,根据下式进行分配,
W23=1-(W1×stabN)
其中,W1为分配权重系数,stabN为斜率稳定化灰度数,W23是指根据像素值而变动的分配量的最大量。
9.一种图像处理方法,其具有以下步骤:
直方图生成步骤,对针对规定的灰度数的各个灰度的频值进行计数并生成直方图,作为所输入的图像数据的亮度分布;
分配处理步骤,将根据斜率稳定化灰度数计算出来的权重系数分配给相邻的斜率稳定化灰度,所述斜率稳定化灰度数是在产生曝光变化的情况下也能够使累积直方图的斜率保持恒定的灰度数的设定;
累积直方图生成步骤,从低灰度侧起累积由上述直方图生成部得到的直方图,生成累积直方图;以及
灰度校正处理步骤,使用上述累积直方图进行对比度校正,
其中,在上述分配处理步骤中,在将上述权重系数分配给上述相邻的斜率稳定化灰度时,针对规定的灰度数,使分配量固定。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-000814 | 2015-01-06 | ||
JP2015000814A JP6469448B2 (ja) | 2015-01-06 | 2015-01-06 | 画像処理装置、撮像装置、画像処理方法、および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105763767A CN105763767A (zh) | 2016-07-13 |
CN105763767B true CN105763767B (zh) | 2019-07-02 |
Family
ID=56286771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610004076.0A Active CN105763767B (zh) | 2015-01-06 | 2016-01-04 | 图像处理装置、摄像装置和图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9892497B2 (zh) |
JP (1) | JP6469448B2 (zh) |
CN (1) | CN105763767B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2014397095B2 (en) | 2014-06-12 | 2018-07-05 | Eizo Corporation | Haze removal device and image generation method |
US10496876B2 (en) * | 2016-06-30 | 2019-12-03 | Intel Corporation | Specular light shadow removal for image de-noising |
WO2018142937A1 (ja) * | 2017-01-31 | 2018-08-09 | オリンパス株式会社 | 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム |
CN110049225B (zh) * | 2018-01-15 | 2021-01-05 | 瑞昱半导体股份有限公司 | 基于直方图调整的对比增强方法及其装置 |
JP7140511B2 (ja) * | 2018-03-02 | 2022-09-21 | キヤノン株式会社 | 電子機器 |
CN112258525B (zh) * | 2020-10-30 | 2023-12-19 | 西安费斯达自动化工程有限公司 | 一种基于鸟类高帧频序列图像丰度统计和种群识别算法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1764243A (zh) * | 2004-10-19 | 2006-04-26 | 奥林巴斯株式会社 | 图像处理装置、图像记录装置和图像处理方法 |
CN1925559A (zh) * | 2005-08-31 | 2007-03-07 | 奥林巴斯映像株式会社 | 图像处理装置和图像处理方法 |
CN101330576A (zh) * | 2007-06-19 | 2008-12-24 | 奥林巴斯映像株式会社 | 图像显示装置和方法以及图像拾取装置、图像再现装置 |
CN101835002A (zh) * | 2009-03-13 | 2010-09-15 | 株式会社东芝 | 图像信号处理装置及图像信号处理方法 |
CN101849405A (zh) * | 2007-11-05 | 2010-09-29 | 奥林巴斯株式会社 | 信号处理装置及信号处理程序 |
CN101873429A (zh) * | 2010-04-16 | 2010-10-27 | 杭州海康威视软件有限公司 | 图像对比度的处理方法及装置 |
CN103813100A (zh) * | 2013-12-16 | 2014-05-21 | 青岛威力电子科技有限公司 | 一种图像信号处理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6038341A (en) * | 1997-03-06 | 2000-03-14 | Matsushita Electric Industrial Co., Ltd. | Histogram operating unit for video signals |
JP4099481B2 (ja) * | 2005-01-06 | 2008-06-11 | 株式会社ナナオ | 画像処理方法、画像処理装置及びコンピュータプログラム |
KR100756318B1 (ko) * | 2006-01-16 | 2007-09-06 | 삼성전자주식회사 | 이득 조절 가능한 절단 빈도함수 평활화를 이용한 영상처리 방법 및 시스템 |
US8144985B2 (en) * | 2007-12-21 | 2012-03-27 | Sony Corporation | Method of high dynamic range compression with detail preservation and noise constraints |
JP5486791B2 (ja) | 2008-10-10 | 2014-05-07 | 株式会社メガチップス | 画像処理装置 |
JP4795473B2 (ja) * | 2009-06-29 | 2011-10-19 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5023203B2 (ja) * | 2010-08-24 | 2012-09-12 | 株式会社東芝 | 画像補正装置及び補正パラメータ作成装置 |
JP2012227800A (ja) * | 2011-04-21 | 2012-11-15 | Fujitsu Ten Ltd | 画像処理装置、表示システム、及び、画像処理方法 |
JP2014096752A (ja) * | 2012-11-12 | 2014-05-22 | Konica Minolta Inc | 画像処理装置および画像処理方法ならびに撮像装置 |
-
2015
- 2015-01-06 JP JP2015000814A patent/JP6469448B2/ja active Active
- 2015-12-16 US US14/971,446 patent/US9892497B2/en active Active
-
2016
- 2016-01-04 CN CN201610004076.0A patent/CN105763767B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1764243A (zh) * | 2004-10-19 | 2006-04-26 | 奥林巴斯株式会社 | 图像处理装置、图像记录装置和图像处理方法 |
CN1925559A (zh) * | 2005-08-31 | 2007-03-07 | 奥林巴斯映像株式会社 | 图像处理装置和图像处理方法 |
CN101330576A (zh) * | 2007-06-19 | 2008-12-24 | 奥林巴斯映像株式会社 | 图像显示装置和方法以及图像拾取装置、图像再现装置 |
CN101849405A (zh) * | 2007-11-05 | 2010-09-29 | 奥林巴斯株式会社 | 信号处理装置及信号处理程序 |
CN101835002A (zh) * | 2009-03-13 | 2010-09-15 | 株式会社东芝 | 图像信号处理装置及图像信号处理方法 |
CN101873429A (zh) * | 2010-04-16 | 2010-10-27 | 杭州海康威视软件有限公司 | 图像对比度的处理方法及装置 |
CN103813100A (zh) * | 2013-12-16 | 2014-05-21 | 青岛威力电子科技有限公司 | 一种图像信号处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6469448B2 (ja) | 2019-02-13 |
US9892497B2 (en) | 2018-02-13 |
US20160196640A1 (en) | 2016-07-07 |
JP2016126592A (ja) | 2016-07-11 |
CN105763767A (zh) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105763767B (zh) | 图像处理装置、摄像装置和图像处理方法 | |
CN109068067B (zh) | 曝光控制方法、装置和电子设备 | |
CN108989700B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
US8472671B2 (en) | Tracking apparatus, tracking method, and computer-readable storage medium | |
EP3053332B1 (en) | Using a second camera to adjust settings of first camera | |
US7546026B2 (en) | Camera exposure optimization techniques that take camera and scene motion into account | |
EP1583033B1 (en) | Digital cameras with luminance correction | |
CN100527789C (zh) | 用于拍摄的装置和方法 | |
CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN102447912B (zh) | 图像处理装置、白平衡校正方法以及摄像装置 | |
CN106358030B (zh) | 图像处理装置和图像处理方法 | |
US20110280541A1 (en) | Method and device for controlling video recordation property of camera module according to velocity of object | |
US8593547B2 (en) | Image processing apparatus, image capturing apparatus, and image processing method | |
CN105635565A (zh) | 一种拍摄方法及设备 | |
WO2010118177A1 (en) | Exposure control for high dynamic range image capture | |
CN105847702B (zh) | 摄像装置、摄像装置的控制方法 | |
CN101399925A (zh) | 电子相机 | |
CN104243804B (zh) | 摄像设备、图像处理设备及其控制方法 | |
US20050231606A1 (en) | Image composition method, solid-state imaging device, and digital camera | |
CN104919352B (zh) | 摄像装置和图像校正方法以及图像处理装置和图像处理方法 | |
CN107211097A (zh) | 摄像装置、摄像方法以及图像显示装置 | |
US9191573B2 (en) | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same | |
CN105144697A (zh) | 摄像装置、照相机系统以及图像处理方法 | |
JP2008085634A (ja) | 撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |