CN107533756B - 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质 - Google Patents
图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质 Download PDFInfo
- Publication number
- CN107533756B CN107533756B CN201680025766.2A CN201680025766A CN107533756B CN 107533756 B CN107533756 B CN 107533756B CN 201680025766 A CN201680025766 A CN 201680025766A CN 107533756 B CN107533756 B CN 107533756B
- Authority
- CN
- China
- Prior art keywords
- degree
- image processing
- deterioration
- degradation
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000003384 imaging method Methods 0.000 title claims description 10
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims abstract description 130
- 230000006866 deterioration Effects 0.000 claims abstract description 53
- 230000008859 change Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000015556 catabolic process Effects 0.000 claims description 36
- 238000006731 degradation reaction Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000000779 smoke Substances 0.000 description 134
- 238000010586 diagram Methods 0.000 description 20
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 8
- 238000005375 photometry Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 239000003897 fog Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
Abstract
图像处理装置具有:劣化度检测部(200),其检测图像数据中的每个像素的劣化度;劣化度变化判定部(201),其根据劣化度而对图像数据的包括基准像素及其周边的附近像素的规定区域的劣化度的变化程度进行判定;修正值设定部(202),其根据劣化度的变化程度来设定用于对基准像素的劣化进行修正的修正值;以及修正处理部(203),其根据修正值来修正基准像素的数据。
Description
技术领域
本发明涉及实施例如由于烟雾、霭或者雾气等的影响而使得对比度或者色彩等的画质受损的图像的修正的图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质。
背景技术
有时因大气中所产生的烟雾、霭、雾气等的影响会导致失去图像的对比度或者色彩等画质。例如,存在在室外拍摄远方的山等的风景照的情况。当在该拍摄中烟雾覆盖了远方的山时,该状况下所拍摄到的图像的质量会受损。在该情况下,针对远方的山的视觉辨认性会降低。
作为解决这种问题的技术而例如有日本国专利第4982475号公报。该日本国专利第4982475号公报公开了,针对图像的每个局部区域而计算最大亮度和最小亮度,并实施相应的对比度修正以使该最大、最小亮度的差变大。根据该日本国专利第4982475号公报,即使在无烟雾的区域和有烟雾的区域混合的图像中,也能够实施充分的对比度修正。
发明内容
在日本国专利第4982475号公报中,根据每个局部区域的亮度分布来确定针对关注像素的对比度修正系数。在该对比度的修正中,例如使用了亮度的直方图的拉伸或者平坦化。在实施对比度修正时,如果在局部区域内混合存在有朦胧的区域和不朦胧的区域这两个区域,则在每个局部区域的亮度分布中都会包含两个区域的亮度信息。因此,在单纯的直方图拉伸或者平坦化中,难以进行所期待的对比度修正。具体而言,在两区域的边界处的修正效果可能变小,或者在修正后可能产生亮度不均匀。
本发明就是鉴于上述情况而做出的,其目的在于提供能够对每个局部区域进行恰当的对比度修正的图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质。
本发明的第1方式所涉及的图像处理装置具有:劣化度检测部,其检测图像数据的每个像素的劣化度;劣化度变化判定部,其根据所述劣化度对包括所述图像数据的基准像素及其周边的附近像素的规定区域内的所述劣化度的变化程度进行判定;修正值设定部,其根据所述劣化度的变化程度来设定用于对所述基准像素的劣化进行修正的修正值;以及修正处理部,其根据所述修正值来修正所述基准像素的数据。
本发明的第2方式所涉及的摄像装置具有,所述图像处理装置和取得所述图像数据的摄像部。
本发明的第3方式所涉及的图像处理方法包括,检测图像数据的每个像素的劣化度;根据所述劣化度对包括所述图像数据的基准像素及其周边的附近像素的规定区域内的所述劣化度的变化程度进行判定;根据所述劣化度的变化程度来设定用于对所述基准像素的劣化进行修正的修正值;以及根据所述修正值来修正所述基准像素的数据。
本发明的第4方式所涉及的存储图像处理程序的存储介质存储使计算机执行如下处理的程序,即,检测图像数据的每个像素的劣化度;根据所述劣化度对包括所述图像数据的基准像素及其周边的附近像素的规定区域内的所述劣化度的变化程度进行判定;根据所述劣化度的变化程度来设定用于对所述基准像素的劣化进行修正的修正值;以及根据所述修正值来修正所述基准像素的数据。
根据本发明,可提供能够对每个局部区域进行恰当的对比度修正的图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质。
附图说明
图1为示出了具有本发明的图像处理装置的摄像装置的第1实施方式的整体结构图。
图2为示出了烟雾修正部的具体的结构框图。
图3A为用于对估计图像数据的各像素的烟雾成分H(x,y)的方法进行说明的示意图。
图3B为示出了烟雾成分H(x,y)的图像的图。
图4A为示出了对输入图像数据I设定的某一局部区域R的图。
图4B为示出了对烟雾成分H(x,y)的图像Ha设定的局部区域R的图。
图5为示出了用于获得生成基于烟雾成分H(x,y)的亮度直方图时的计数值的高斯函数的图。
图6为示出了烟雾成分H(x,y)的亮度直方图的图。
图7A为示出了直方图拉伸前的直方图的有效亮度范围E1的图。
图7B为示出了进行直方图拉伸时的线性关系的图。
图7C为示出了直方图拉伸后的直方图的有效亮度范围E2的图。
图8为示出了用于实现直方图平坦化的累计直方图的图。
图9为示出了拍摄动作流程图的图。
图10为示出了烟雾修正流程图的图。
图11为示出了被实施了对比度修正的图像(修正图像)的一例的图。
图12为示出了具有本发明的图像处理装置的摄像装置的第2实施方式的烟雾修正部的结构图。
具体实施方式
[第一实施方式]
以下,参照附图对本发明的第一实施方式进行说明。
图1表示应用了图像处理装置的摄像装置的结构框图。镜头系统100使来自被摄体的光学像成像,并包括聚焦透镜以及光圈101等。该镜头系统100具有自动聚焦用马达(AF马达)103。聚焦透镜通过AF马达103的驱动而沿着光轴P移动。AF马达103被镜头控制部107驱动控制。
在镜头系统100的光轴上设置有摄像传感器102。摄像传感器102接受来自镜头系统100的光学像,并输出RGB(Red、Green、Blue:红、绿、蓝)的模拟影像信号。在该摄像传感器102的输出端上连接有照相机主体300内的A/D(模拟/数字)转换器104。A/D转换器104将由摄像传感器102输出的模拟影像信号转换为数字影像信号。
此外,在照相机主体300上搭载有由微计算机等构成的主控制部112。在该主控制部112上,通过总线301而连接有A/D转换器104、缓存105、测光评价部106、镜头控制部107、图像处理部108、烟雾修正部109、压缩部110和输出部111。该主控制部112通过总线301而对测光评价部106、镜头控制部107、图像处理部108、烟雾修正部109、压缩部110和输出部111分别进行控制。
缓存105暂时保存由A/D转换器104转发的数字影像信号。
测光评价部106根据保存在缓存105中的数字影像信号而对入射至摄像传感器102的光学像进行测光,并对其实施评价,根据该测光评价和来自主控制部112的控制信号而对镜头系统100的光圈101进行控制,并且调节由摄像传感器102输出的模拟影像信号的输出电平等。
图像处理部108针对保存在缓存105中的数字影像信号实施公知的插值处理、WB(White Balance:白平衡)修正处理、降噪处理等的图像处理,并将该图像处理后的数字影像信号作为图像数据输出。
烟雾修正部109针对由图像处理部108转发的图像数据,例如对由于烟雾的影响而使得对比度降低的区域进行对比度修正。关于烟雾修正部109的详细内容在后文中说明。
压缩部110针对由烟雾修正部109转发的图像数据而实施公知的压缩处理、例如JPEG、MPEG等的压缩处理。
输出部111根据被烟雾修正部109实施了对比度修正的图像数据,在未图示的显示部上显示输出影像,或者将被压缩部110实施了压缩的图像数据记录输出给未图示的记录介质(例如存储卡)。
此外,在主控制部112上连接有外部I/F(Interface:接口)部113。该外部I/F部113是用于进行电源开关、快门按钮或者拍摄时各种模式的切换等的接口。
另外,在图1中,A/D转换器104、缓存105、测光评价部106、镜头控制部107、图像处理部108、烟雾修正部109、压缩部110、输出部111通过总线301而与主控制部112连接,但并不限定于此。例如,A/D转换器104、测光评价部106、镜头控制部107、图像处理部108、烟雾修正部109、压缩部110、输出部111也可以串联连接。在该情况下,由A/D转换器104输出的数字影像信号从缓存105依次被转发给测光评价部106、镜头控制部107、图像处理部108、烟雾修正部109、压缩部110和输出部111。
接下来,对烟雾修正部109进行说明。图2示出了烟雾修正部109的具体的结构框图。在该图中,粗实线的箭头示出了数字影像信号的流动,细实线的箭头示出了控制信号的流动,虚线箭头示出了其他信号的流动。
烟雾修正部109通过主控制部112的控制来执行存储于未图示的程序存储器中的图像处理程序,由此具备烟雾成分估计部(劣化度检测部)200、局部直方图生成部(劣化度变化判定部)201、修正系数计算部(修正值设定部)202、对比度修正部(修正处理部)203的功能。
以下具体说明,烟雾成分估计部200检测从由图像处理部108转发的数字影像信号中取得的图像数据的每个像素的劣化度。在此,劣化度是指图像数据中的、使对比度或者色彩等画质劣化的因素存在的程度。作为使画质劣化的因素,例如是拍摄到覆盖有烟雾的场景时在图像数据中所包含的烟雾成分。以下,以劣化度为烟雾成分的存在程度来继续进行说明。
烟雾成分的估计是基于如下特征而进行的,即烟雾为高亮度且低饱和度(高亮度白色)、即低对比度或者低颜色再现。即,高亮度且低饱和度的程度较高的像素被估计为烟雾成分。
图3A示出了对用于根据输入图像数据I来估计烟雾成分H(x,y)的方法进行说明的示意图,图3B示出了烟雾成分H(x,y)的图像数据Ha。
烟雾成分估计部200根据由图像处理部108转发的输入图像数据I中的处于坐标(x,y)的像素的R值、G值、B值来实施烟雾成分H(x,y)的估计。
在此,当将坐标(x,y)的R值、G值、B值分别设为Ir、Ig、Ib时,处于坐标(x,y)的像素的烟雾成分H(x,y)可通过下式(1)来估计。
H(x,y)=min(Ir,Ig,Ib)…(1)
烟雾成分估计部200针对输入图像数据I的全体进行式(1)的运算。以下,具体进行说明。烟雾成分估计部200针对输入图像数据I例如设定规定尺寸的扫描区域(小区域)F。扫描区域F的尺寸例如为规定尺寸m×n(m,n为自然数)像素。以下,将扫描区域F的中心的像素作为基准像素。此外,将扫描区域F中的基准像素周边的各像素作为附近像素。扫描区域F例如形成为5×5像素的尺寸。扫描区域F也可以为1个像素。
如图3A所示,烟雾成分估计部200在使扫描区域F的位置移动的同时计算扫描区域F中的各像素的(Ir,Ig,Ib),并将其中的最小值作为基准像素的烟雾成分H(x,y)。
由于图像数据I中的高亮度且低饱和度的区域的像素值的R值、G值、B值同等且较大,因此min(Ir,Ig,Ib)的值变大。即,在高亮度且低饱和度的区域中,烟雾成分H(x,y)成为较大的值。
与此相对,由于低亮度或高饱和度的区域的像素值的R值、G值、B值中的任意一个较小,因此min(Ir,Ig,Ib)的值较小。即,在低亮度、高饱和度的区域中,烟雾成分H(x,y)成为较小的值。
然而,烟雾成分H(x,y)具有如下特征,即,场景中的烟雾的浓度越浓(烟雾的白色越浓),则烟雾成分H(x,y)成为越大的值,烟雾的浓度越稀薄(烟雾的白色越稀薄),则烟雾成分H(x,y)成为越小的值。
在此,烟雾成分并不限于利用式(1)来进行计算。即,只要是表示高亮度且低饱和度的程度的指标,便能够用作烟雾成分。例如,还可以将局部对比度值、边缘强度、被摄体距离等用作烟雾成分。
局部直方图生成部201根据由烟雾成分估计部200转发的烟雾成分H(x,y)来对输入图像数据I的包括基准像素及其周边的附近像素的局部区域中的烟雾成分H(x,y)的变化程度进行判定。该烟雾成分H(x,y)的变化程度根据局部区域中的烟雾成分H(x,y)的分布、具体是根据局部区域内的基准像素与附近像素的烟雾成分H(x,y)的差分来进行判定。
即,局部直方图生成部201根据由图像处理部108转发的影像信号和由烟雾成分估计部200转发的烟雾成分,针对每个基准像素生成针对包括其附近像素在内的局部区域的亮度直方图。通常的直方图生成是通过将对象局部区域内的像素值视作亮度值,并对像素值的频度逐个进行计数来实施的。与此相对,在本实施方式中,根据局部区域内的基准像素和附近像素的烟雾成分的值,对针对附近像素的像素值的计数值进行加权。针对附近像素的像素值的计数值例如取0.0~1.0的范围内的值。此外,该计数值被设定为,基准像素与附近像素的烟雾成分的差分越大,则该计数值越小,基准像素与附近像素的烟雾成分的差分越小,则该计数值越大。
以下,对亮度直方图的生成方法具体进行说明。图4A示出了对图像数据I设定的某局部区域R,图4B示出了对烟雾成分H(x,y)的图像数据Ha设定的与图像数据I相同的局部区域R。局部区域R例如形成为7×7像素的尺寸。
在图4A所示的图像数据I中的局部区域R中,示出了基准像素SG和2个附近像素KG1、KG2。基准像素SG例如具有亮度(像素值)“160”。附近像素KG1例如具有亮度(像素值)“170”,附近像素KG2例如具有亮度(像素值)“40”。在该情况下,在通常的直方图生成中,亮度“160”被计数为1,亮度“170”被计数为1,亮度“40”被计数为1。在仅以亮度来生成直方图的情况下,高亮度且高饱和度的像素也与高亮度且低饱和度的像素同样地被计数。
在图4B所示的烟雾成分H(x,y)的图像数据Ha中的局部区域R中,基准像素SG具有烟雾成分“150”,附近像素KG1例如具有烟雾成分“160”,附近像素KG2例如具有烟雾成分“10”。在本实施方式的亮度直方图的生成中,根据烟雾成分H(x,y)的图像数据Ha中的局部区域R内的基准像素与各附近像素的烟雾成分H(x,y)的差来设定针对输入图像数据I中的局部区域R的各像素的像素值的计数值。例如使用图5所示的高斯函数计算出基准像素与附近像素的烟雾成分的差分越大则值越小、基准像素与附近像素的烟雾成分的差分越小则值越大的计数值。在图5的高斯函数中,例如烟雾成分H(x,y)的差分为10的附近像素KG1的计数值为0.95。此外,烟雾成分H(x,y)的差分为140的附近像素KG2的计数值为0.20。因此,亮度“170”被计数为0.95,亮度“40”被计数为0.20。图6示出以此方式而生成的直方图的示例。该直方图是基准像素SG所属的局部区域R的亮度直方图。其结果是,能够以最适合的值来计算后文所述的由修正系数计算部202进行计算的修正系数。
另外,也可以不利用高斯函数来计算计数值。这种情况下只要依据基准像素与附近像素的烟雾成分H(x,y)的差分越大则成为越小的值的关系来确定计数值即可。例如,也可以使用查询表或实施了折线近似的图表。
此外,也可以将基准像素和附近像素之间的各烟雾成分H(x,y)的值的差分与规定的阈值进行比较,并根据该比较的结果对作为计数对象的附近像素进行取舍选择。例如,对于烟雾成分的差分大于规定的阈值的附近像素,也可以不将其作为计数的对象。
此外,烟雾成分H(x,y)的变化程度不仅能够通过差分来计算,还能够通过比来进行计算。例如,在基准像素的烟雾成分H1=140,附近像素的烟雾成分H2=70的情况下,烟雾成分的比为H2/H1=70/140=0.5。以此方式,如果将H1与H2中较大的一方用于分母,则比值取0.0至1.0的值。如果H1与H2的差较小,则比值接近1.0,如果H1与H2的差较大,则比值接近0.0。这样,能够以与烟雾成分的差分同样的方式来对待烟雾成分的比值。
修正系数计算部202根据由局部直方图生成部201生成的亮度直方图来设定作为用于修正图像数据I的基准像素SG的劣化的修正值的修正系数。该修正系数例如用于对基准像素的对比度进行修正。并且,修正系数计算部202将该修正系数转发给对比度修正部203。
在本实施方式中,作为对比度修正方法,以直方图拉伸为例而进行说明。图7A至图7C示出了直方图拉伸的说明图。直方图拉伸例如是通过将图7A所示的亮度直方图的有效亮度范围E1扩展至图7C所示的亮度直方图的有效亮度范围E2从而强调对比度的处理。
例如通过进行图7B所示的线性变换来实施直方图拉伸,即将如图7A所示直方图的有效亮度范围E1的最小亮度hist_min和最大亮度hist_max扩展至图7C所示的亮度数据所能够取得的最小值0和最大值255(8位的情况)。该直方图拉伸可通过下式(2)来表示。
c_a=255/(hist_max-hist_min)
c_b=‐c_a·hist_min…(2)
c_a、c_b表示用于对比度修正的修正系数,hist_min表示直方图的有效亮度范围的最小亮度,hist_max表示直方图的有效亮度范围的最大亮度。修正系数c_a、c_b以使得最小亮度hist_min为0、最大亮度hist_max为255的方式进行计算。使用这些修正系数c_a、c_b来实施下式(3)所示的线性变换。
Yout=c_a×Yin+c_b…(3)
Yin为直方图拉伸前的输入图像数据I的亮度值(像素值),Yout为直方图拉伸后的输入图像数据I的亮度值(像素值)。
最小亮度hist_min和最大亮度hist_max的计算能够分别例如通过对亮度直方图的累计计数值与规定的阈值进行比较来实现。通过规定的阈值的设定能够排除频数较小的像素值、例如噪声的影响。
另外,在式(2)中,以使得最小亮度hist_min为0,最大亮度hist_max为255的方式来计算修正系数c_a、c_b。然而,也可以将与最小亮度hist_min对应的输出值0和与最大亮度hist_max对应的输出值255分别设定为任意的值。
此外,最小亮度hist_min和最大亮度hist_max也可以根据基准像素的烟雾成分的值来确定。例如,在烟雾成分的值较大的情况下,可以将与最小亮度hist_min对应的输出值设定为0,将与最大亮度hist_max对应的输出值设定为255。此外,在烟雾成分的值较小的情况下,也可以将与最小亮度hist_min对应的输出值设定为20,将与最大亮度hist_max对应的输出值设定为235。
此外,在本实施方式中,使用了直方图拉伸作为对比度修正的实现手段。与此相对,例如也可以使用直方图平坦化来作为对比度修正的实现手段。例如,也可以使用图8所示的应用了累计直方图的方法或者实施了折线近似的图表来作为实现直方图平坦化的方法。累计直方图是对亮度直方图的频数依次进行累计而得到的。
对比度修正部203针对由图像处理部108转发的数字影像信号,根据由烟雾成分估计部200转发的烟雾成分H(x,y)和由修正系数计算部202转发的修正系数c_a、c_b来实施图像数据I的基准像素SG1的对比度修正。在下式(4)中示出了亮度数据的对比度修正的计算式。
Yout=(1.0-w)·Yin+w·Yt
Yt=c_a×Yin+c_b…(4)
Yin表示对比度修正前的输入图像数据I的亮度数据,Yout表示对比度修正后的输入图像数据I的亮度数据。此外,w为将烟雾成分H(x,y)的值归一化为0.0~1.0的值的加权系数。烟雾成分H(x,y)的值越大,则该加权系数w的值越大。Yt是使用由修正系数计算部202转发的修正系数c_a、c_b而计算出的作为目标的亮度数据。
如式(4)所示,对比度修正后的亮度数据Yout成为根据加权系数w而将输入图像数据I的亮度数据Yin与目标亮度数据Yt合成而得到的值。根据式(4),能够仅对烟雾成分H(x,y)的值较大的区域使用对比度修正。
接下来,参照图9所示的拍摄动作流程图对如上所述构成的装置所实施的拍摄动作进行说明。
当对外部I/F部113实施了操作时,该外部I/F部113在步骤S1中,将操作输入的与拍摄相关的各种设定、例如各种信号、头信息等发送给主控制部112。此外,当按下了外部I/F部113的记录按钮时,主控制部112切换为拍摄模式。在拍摄模式下,当来自镜头系统100的光学像入射至摄像传感器102时,该摄像传感器102接受来自镜头系统100的光学像,并输出模拟影像信号。该模拟影像信号被A/D转换器104转换为数字影像信号,被转发至缓存105而被暂时保存。
图像处理部108在步骤S2中对在缓存105中保存的数字影像信号实施公知的插值处理、WB修正处理、降噪处理等图像处理,并将被实施了该图像处理后的数字影像信号转发给烟雾修正部109。
烟雾修正部109在步骤S3中,依据图10所示的烟雾修正流程图,针对由图像处理部108转发的数字影像信号,对例如因烟雾的影响而造成对比度降低了的区域进行对比度修正。
具体而言,烟雾成分估计部200在步骤S10中,对由图像处理部108转发的输入图像数据I的各像素的烟雾成分H(x,y)的值进行估计。然后,烟雾成分估计部200将估计出的烟雾成分H(x,y)转发给局部直方图生成部201和对比度修正部203。
局部直方图生成部201在步骤S11中,根据由图像处理部108输入的图像数据I和由烟雾成分估计部200转发的烟雾成分H(x,y),生成输入图像数据I的每个局部区域R的亮度直方图,以判定烟雾成分H(x,y)的变化程度。然后,局部直方图生成部201将所生成的亮度直方图转发给修正系数计算部202。
修正系数计算部202在步骤S12中,根据由局部直方图生成部201生成的亮度直方图来设定修正系数c_a、c_b。然后,修正系数计算部202将修正系数c_a、c_b转发给对比度修正部203。
对比度修正部203在步骤S13中,根据由修正系数计算部202转发的修正系数c_a、c_b和由烟雾成分估计部200转发的烟雾成分H(x,y)来修正输入图像数据I。然后,对比度修正部203将被实施了烟雾修正的输入图像数据I转发给压缩部110。
以下,返回图9并继续进行说明。在烟雾修正之后,压缩部110在步骤S4中,针对由烟雾修正部109转发的被实施了对比度修正的输入图像数据I、即被实施了基于烟雾成分H(x,y)的修正的输入图像数据I进行公知的JPEG、MPEG等的压缩处理,并转发给输出部111。
输出部111在步骤S5中,将由压缩部110转发的压缩处理后的图像数据I记录于存储卡等中。或者,将基于被烟雾修正部109修正了的图像数据I的图像另行显示在显示器上。
图11表示被实施了对比度修正的图像(修正图像)数据Hb的一个示例。该图像Hb是即使在输入图像数据I内混合存在有朦胧的区域和不朦胧的区域这两个区域,也被实施了恰当的对比度修正的图像。在该图像Hb中,未发生亮度不均匀。
这样,根据上述第1实施方式,在烟雾修正部109中,由烟雾成分估计部200对输入图像数据I的每个像素的烟雾成分H(x,y)进行检测,由局部直方图生成部201根据烟雾成分H(x,y)而生成与烟雾成分H(x,y)的差分相对应的亮度直方图,以判定输入图像数据I的局部区域R内的烟雾成分H(x,y)的变化程度,由修正系数计算部202根据亮度直方图来设定修正系数c_a、c_b,由对比度修正部203根据修正系数c_a、c_b来修正输入图像数据I。即,在进行对比度修正时,即使在输入图像数据I内混合存在有朦胧的区域和不朦胧的区域这两个区域,通过仅使用具有与基准像素同等的烟雾成分的值的附近像素来生成局部区域R内的亮度直方图,由此能够针对每个局部区域R来实施恰当的对比度修正。此外,在朦胧的区域和不朦胧的区域这两个区域的边界处,不会发生对比度修正的效果变小或者亮度不均匀的情况。
于是,能够根据输入图像数据I内的每个区域的烟雾成分H(x,y)的浓度来实施恰当的对比度修正。其结果为,能够获得视觉辨认性得到改善的高质量的图像。此外,不仅能够记录视觉辨认性得到改善的图像,还能够获得提高图像内的对比度的效果。例如,通过将该烟雾修正应用于对比度AF或者被摄体的识别处理的前处理中,从而也能够有助于对比度AF或者被摄体的识别处理的性能的提高。
[第2实施方式]
接下来,参照附图对本发明的第2实施方式进行说明。另外,省略与图1以及图2相同的部分的说明,并对不同的部分进行说明。
图12表示烟雾修正部109的结构图。在该烟雾修正部109中,代替图2所示的局部直方图生成部201而设置有局部最小最大计算部204作为劣化度变化判定部。
由图像处理部108将输入图像数据I转发给局部最小最大计算部204,并且由烟雾成分估计部200将烟雾成分H(x,y)转发给局部最小最大计算部204。局部最小最大计算部204针对输入图像数据I,按照每个局部区域R扫描其亮度(像素值),并对最小亮度与最大亮度进行检测。
在对最小亮度与最大亮度进行检测时,局部最小最大计算部204预先将烟雾成分H(x,y)的图像数据Ha之中的与基准像素SG之间的烟雾成分H(x,y)的值的差分较大的附近像素从扫描对象中排除,以便能够从基准像素SG所属的区域内检测到最小亮度和最大亮度。该局部最小最大计算部204将最小亮度和最大亮度转发给修正系数计算部202。
另外,局部最小最大计算部204并不限定于将烟雾成分(x,y)的值的差分较大的附近像素从扫描对象中排除。例如,局部最小最大计算部204也可以从如下的像素值中检测最小亮度与最大亮度,所述像素值是通过以基准像素SG的像素值为基准的加权平均滤波器而进行了滤波后的像素值。
修正系数计算部202根据由局部最小最大计算部204转发的最小亮度和最大亮度来计算修正系数。并且,修正系数计算部202将该修正系数转发给对比度修正部203。
另外,本实施方式针对输入图像数据I中的全部像素来计算修正系数,但并不限定于此。例如,也可以缩小对图像处理部108输入的输入图像数据I,并在之后根据被调节了尺寸(缩小调节)的图像计算修正系数。在该情况下,只要针对被缩小调节了的图像的所有像素确定修正系数,并在之后通过插值处理来计算针对输入图像数据I中的各像素的修正系数即可。通过实施缩小调节,可期待处理负载的降低以及避免噪声的影响的效果。
此外,烟雾修正部109也可以生成输入图像数据I的缩小图像,并根据该缩小图像来检测烟雾成分H(x,y)等的劣化度。
另外,在本实施方式中,作为劣化度而提及了烟雾成分的浓淡,但并不限定于此,对于有着因高亮度且低饱和度从而对比度降低的特征的现象,例如如下现象产生的情况也同样适用,所述现象为霭成分、雾气成分、浑浊的成分、烟的成分、因逆光而产生的成分、或者因炫光而产生的成分等。此外,只要是高亮度且低饱和度,则并不一定是白色,也可以稍微附带有颜色。
Claims (18)
1.一种图像处理装置,其具有:
劣化度检测部,其检测图像数据的每个像素的劣化度;
劣化度变化判定部,其根据所述劣化度对所述图像数据的包括基准像素及其周边的附近像素的规定区域内的所述劣化度的变化程度进行判定;
修正值设定部,其根据所述劣化度的变化程度来设定用于对所述基准像素的劣化进行修正的修正值;以及
修正处理部,其至少根据所述修正值来修正所述基准像素的数据,
所述劣化度变化判定部根据所述规定区域内的所述劣化度的分布来判定所述劣化度的变化程度,
所述劣化度变化判定部针对每个所述规定区域求出与所述基准像素和所述附近像素之间的所述劣化度的差分相对应的计数值,并对该计数值进行累计,生成针对所述劣化度的直方图。
2.根据权利要求1所述的图像处理装置,其中,
所述修正处理部根据所述修正值和所述劣化度来修正所述基准像素的数据。
3.根据权利要求1所述的图像处理装置,其中,
所述劣化度是所述图像数据的对比度的降低程度或者所述图像数据的颜色再现的降低程度。
4.根据权利要求1所述的图像处理装置,其中,
所述劣化度是所述图像数据的高亮度且低饱和度的程度。
5.根据权利要求1所述的图像处理装置,其中,
所述劣化度是所述图像数据的小区域的对比度值或者边缘强度。
6.根据权利要求1所述的图像处理装置,其中,
所述劣化度变化判定部根据所述基准像素与所述附近像素之间的所述各劣化度的差分来判定所述劣化度的变化程度。
7.根据权利要求1所述的图像处理装置,其中,
所述劣化度变化判定部根据所述基准像素与所述附近像素的各自的亮度数据以及饱和度数据来判定所述劣化度的变化程度。
8.根据权利要求1所述的图像处理装置,其中,
所述劣化度变化判定部根据所述基准像素与所述附近像素之间的亮度数据的差分或者饱和度数据的差分来判定所述劣化度的变化的程度,或者根据亮度数据与饱和度数据这双方确定指标值,并根据该指标值的差分来判定所述劣化度的变化的程度。
9.根据权利要求1所述的图像处理装置,其中,
所述基准像素与所述附近像素之间的所述劣化度的差分越大,则所述计数值为越小的值。
10.根据权利要求1所述的图像处理装置,其中,
所述劣化度变化判定部针对每个所述规定区域检测最小亮度和最大亮度。
11.根据权利要求1所述的图像处理装置,其中,
所述劣化度检测部根据所述图像数据生成缩小图像,并从该缩小图像中检测所述劣化度。
12.根据权利要求1所述的图像处理装置,其中,
所述劣化度变化判定部生成由所述基准像素和所述附近像素构成的所述规定区域内的亮度数据的频度分布,
所述修正处理部根据所述基准像素与所述附近像素之间的所述劣化度的变化程度对所述频度分布生成时的针对所述附近像素的像素值的频数进行加权调节。
13.根据权利要求12所述的图像处理装置,其中,
所述修正处理部使与所述基准像素之间的所述劣化度的变化程度较大的附近像素的所述频数减小。
14.一种摄像装置,其具有:
权利要求1至13中的任意一项所述的图像处理装置;以及
摄像部,其取得所述图像数据。
15.一种图像处理方法,包括:
检测图像数据的每个像素的劣化度;
根据所述劣化度对所述图像数据的包括基准像素及其周边的附近像素的规定区域内的所述劣化度的变化程度进行判定;
根据所述劣化度的变化程度来设定用于对所述基准像素的劣化进行修正的修正值;以及
根据所述修正值来修正所述基准像素的数据,
判定所述劣化度的变化程度的处理包括:
根据所述规定区域内的所述劣化度的分布来判定所述劣化度的变化程度;以及
针对每个所述规定区域求出与所述基准像素和所述附近像素之间的所述劣化度的差分相对应的计数值,并对该计数值进行累计,生成针对所述劣化度的直方图。
16.根据权利要求15所述的图像处理方法,其中,
判定所述劣化度的变化程度的处理还包括:
生成由所述基准像素和所述附近像素构成的所述规定区域内的亮度数据的频度分布,
所述修正包括根据所述基准像素与所述附近像素之间的所述劣化度的变化程度对所述频度分布生成时的针对所述附近像素的像素值的频数进行加权调节。
17.一种存储图像处理装置的图像处理程序的存储介质,所述图像处理装置的图像处理程序使计算机执行如下处理:
检测图像数据的每个像素的劣化度;
根据所述劣化度对所述图像数据的包括基准像素及其周边的附近像素的规定区域内的所述劣化度的变化程度进行判定;
根据所述劣化度的变化程度来设定用于对所述基准像素的劣化进行修正的修正值;以及
根据所述修正值来修正所述基准像素的数据,
判定所述劣化度的变化程度的处理包括:
根据所述规定区域内的所述劣化度的分布来判定所述劣化度的变化程度;以及
针对每个所述规定区域求出与所述基准像素和所述附近像素之间的所述劣化度的差分相对应的计数值,并对该计数值进行累计,生成针对所述劣化度的直方图。
18.根据权利要求17所述的存储介质,其中,
判定所述劣化度的变化程度的处理还包括:
生成由所述基准像素和所述附近像素构成的所述规定区域内的亮度数据的频度分布,
所述修正包括根据所述基准像素与所述附近像素之间的所述劣化度的变化程度对所述频度分布生成时的针对所述附近像素的像素值的频数进行加权调节。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094902 | 2015-05-07 | ||
JP2015-094902 | 2015-05-07 | ||
PCT/JP2016/051028 WO2016178326A1 (ja) | 2015-05-07 | 2016-01-14 | 画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107533756A CN107533756A (zh) | 2018-01-02 |
CN107533756B true CN107533756B (zh) | 2021-09-28 |
Family
ID=57218506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680025766.2A Expired - Fee Related CN107533756B (zh) | 2015-05-07 | 2016-01-14 | 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180061029A1 (zh) |
EP (1) | EP3293697A4 (zh) |
JP (1) | JP6559229B2 (zh) |
CN (1) | CN107533756B (zh) |
WO (1) | WO2016178326A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10496876B2 (en) * | 2016-06-30 | 2019-12-03 | Intel Corporation | Specular light shadow removal for image de-noising |
US10129511B2 (en) * | 2016-08-01 | 2018-11-13 | Ricoh Company, Ltd. | Image processing apparatus, image projection apparatus, and image processing method |
JP6945190B2 (ja) * | 2018-03-20 | 2021-10-06 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
CN109618098B (zh) * | 2019-01-04 | 2021-02-26 | Oppo广东移动通信有限公司 | 一种人像面部调整方法、装置、存储介质及终端 |
US10812708B2 (en) * | 2019-02-22 | 2020-10-20 | Semiconductor Components Industries, Llc | Imaging systems with weathering detection pixels |
US11404025B2 (en) * | 2019-04-10 | 2022-08-02 | Mediatek Inc. | Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method |
WO2021095773A1 (ja) * | 2019-11-14 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置、生成方法及び生成プログラム |
KR20210077987A (ko) * | 2019-12-18 | 2021-06-28 | 주식회사 실리콘웍스 | 소스 드라이버 및 이를 포함하는 디스플레이 장치 |
CN111340721B (zh) * | 2020-02-18 | 2021-02-12 | 国网电子商务有限公司 | 一种像素的修正方法、装置、设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
JP2011109373A (ja) * | 2009-11-17 | 2011-06-02 | Casio Computer Co Ltd | 撮像装置、撮像処理方法及びプログラム |
JP2012027547A (ja) * | 2010-07-20 | 2012-02-09 | Mitsubishi Electric Corp | 画像処理装置 |
JP2013228798A (ja) * | 2012-04-24 | 2013-11-07 | Olympus Corp | 画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006017853A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 画像表示方法及び画像表示システム |
EP2073170A1 (en) * | 2007-12-17 | 2009-06-24 | Nederlandse Centrale Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO | Image processing apparatus and method with contrast correction. |
JP2013214272A (ja) * | 2012-03-08 | 2013-10-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP5984780B2 (ja) * | 2013-03-26 | 2016-09-06 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
JP6271874B2 (ja) * | 2013-06-14 | 2018-01-31 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2016
- 2016-01-14 JP JP2017516559A patent/JP6559229B2/ja active Active
- 2016-01-14 EP EP16789462.5A patent/EP3293697A4/en not_active Withdrawn
- 2016-01-14 CN CN201680025766.2A patent/CN107533756B/zh not_active Expired - Fee Related
- 2016-01-14 WO PCT/JP2016/051028 patent/WO2016178326A1/ja active Application Filing
-
2017
- 2017-11-06 US US15/804,850 patent/US20180061029A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042874A (ja) * | 2006-07-14 | 2008-02-21 | Eastman Kodak Co | 画像処理装置、画像復元方法およびプログラム |
JP2011109373A (ja) * | 2009-11-17 | 2011-06-02 | Casio Computer Co Ltd | 撮像装置、撮像処理方法及びプログラム |
JP2012027547A (ja) * | 2010-07-20 | 2012-02-09 | Mitsubishi Electric Corp | 画像処理装置 |
JP2013228798A (ja) * | 2012-04-24 | 2013-11-07 | Olympus Corp | 画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法 |
Non-Patent Citations (1)
Title |
---|
Single Image Haze Removal Using Dark Channel Prior;Kaiming He等;《2009 IEEE Conference on Computer Vision and Pattern Recognition》;20090625;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2016178326A1 (ja) | 2016-11-10 |
US20180061029A1 (en) | 2018-03-01 |
JP6559229B2 (ja) | 2019-08-14 |
EP3293697A1 (en) | 2018-03-14 |
CN107533756A (zh) | 2018-01-02 |
EP3293697A4 (en) | 2019-01-23 |
JPWO2016178326A1 (ja) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107533756B (zh) | 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质 | |
CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US10574961B2 (en) | Image processing apparatus and image processing method thereof | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
JP4218723B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
US8106965B2 (en) | Image capturing device which corrects a target luminance, based on which an exposure condition is determined | |
US10672134B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program | |
US9407889B2 (en) | Image processing apparatus and image processing method for white balance control | |
US9749546B2 (en) | Image processing apparatus and image processing method | |
US8493458B2 (en) | Image capture apparatus and image capturing method | |
JP4904440B2 (ja) | 画像処理方法および装置,ならびに画像処理プログラムおよびこのプログラムを記録した媒体 | |
US9432641B2 (en) | Image processing device and program | |
US20090231467A1 (en) | Imaging apparatus, imaging method, storage medium, and integrated circuit | |
CN105960658B (zh) | 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质 | |
JP2008104009A (ja) | 撮像装置および撮像方法 | |
KR20060118352A (ko) | 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램 | |
WO2015156041A1 (ja) | 画像処理装置及び方法、一時的にコンピュータにより読み取り可能な画像処理プログラムを記憶する記録媒体、撮像装置 | |
JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
US9922410B2 (en) | Image processing apparatus and image processing method | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
JP2017126920A (ja) | 撮像装置 | |
JP2010183461A (ja) | 撮像装置およびその制御方法 | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
JP2001238128A (ja) | 画像処理装置 | |
JP4986914B2 (ja) | 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211213 Address after: Tokyo, Japan Patentee after: Aozhixin Digital Technology Co.,Ltd. Address before: Tokyo, Japan Patentee before: OLYMPUS Corp. |
|
TR01 | Transfer of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210928 |
|
CF01 | Termination of patent right due to non-payment of annual fee |