CN103297717A - 自适应图像处理方法及其相关装置 - Google Patents

自适应图像处理方法及其相关装置 Download PDF

Info

Publication number
CN103297717A
CN103297717A CN2012100406938A CN201210040693A CN103297717A CN 103297717 A CN103297717 A CN 103297717A CN 2012100406938 A CN2012100406938 A CN 2012100406938A CN 201210040693 A CN201210040693 A CN 201210040693A CN 103297717 A CN103297717 A CN 103297717A
Authority
CN
China
Prior art keywords
pixel
image processing
adapting
gradient value
object pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100406938A
Other languages
English (en)
Other versions
CN103297717B (zh
Inventor
徐纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN201210040693.8A priority Critical patent/CN103297717B/zh
Publication of CN103297717A publication Critical patent/CN103297717A/zh
Application granted granted Critical
Publication of CN103297717B publication Critical patent/CN103297717B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种自适应图像处理方法,该方法包括根据一目标像素所对应的色彩成份,界定包括该目标像素的一像素区域;自该像素区域中选取多个相邻像素,该多个相邻像素与该目标像素对应于同一色彩成份;计算该多个相邻像素彼此之间的多个像素绝对差值的一总和与一坏点补偿比例的一乘积,以取得一坏点门限值;计算该多个相邻像素的各相邻像素与该目标像素间的多个像素绝对差值的一总和,以取得一相邻差异值;以及比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素。

Description

自适应图像处理方法及其相关装置
技术领域
本发明涉及一种自适应图像处理方法及其相关装置,尤其涉及一种侦测并可补偿坏点像素的像素值的自适应图像处理方法及其相关装置。
背景技术
图像传感器,例如互补式金氧半图像传感器(CMOS image sensor,CIS)和电荷耦合(Charge-Coupled Device,CCD)图像传感器等,已广泛应用于数字相机、个人数字助理、平板型计算机以及智能型通信系统等消费性电子商品。一般来说,由于制造过程中的制程变异,并非所有图像传感器中图像感测像素单元都可正常工作。在图像传感器撷取的图像中,无法正常工作的图像感测像素单元所对应的像素的像素值将会产生错误,这些产生错误像素值的像素称为坏点像素(Defect Pixel)。此外,图像撷取期间的多种环境因素(如温度、亮度、感光度等)也有可能造成图像中随机出现坏点像素。
因此,在图像传感器撷取图像后,需利用自适应图像处理装置修正坏点像素的像素值,以避免坏点像素的像素值在进行如图像锐化等图像加强流程时,降低图像的质量。在公知技术中,自适应图像处理装置可通过坏点像素位置信息,取得各坏点像素的位置,并计算各坏点像素的邻近像素的平均值来补偿坏点像素的像素值。上述的坏点像素位置信息是在消费型电子产品出厂前通过测试得知,并记录在消费性电子产品内部的存储器中。如此一来,在每次图像传感器撷取图像后,自适应图像处理装置必须自存储器中读取坏点像素位置信息,以补偿各坏点像素的像素值。
然而,由于坏点像素信息是在消费型电子产品出厂前通过测试得知,因此坏点像素信息中的坏点像素并不包括随机出现的坏点像素,也就是说,采用坏点像素位置信息来补偿坏点像素的像素值将无法补偿图像中随机出现的坏点像素的像素值。此外,坏点像素信息需耗费额外存储器空间来储存。因此,若能动态且准确侦测图像中坏点像素的位置,不仅可补偿图像中所有坏点像素以增进图像质量,且免去储存坏点像素信息的额外存储器空间。
发明内容
因此,本发明的主要目的在于提出一种能准确侦测图像中坏点像素的自适应图像处理方法及其相关装置,从而大幅提高判断的准确性。
本发明公开一种自适应图像处理方法,该方法包括:根据一目标像素所对应的色彩成份,界定包括该目标像素的一像素区域;自该像素区域中选取多个相邻像素,该多个相邻像素与该目标像素对应于同一色彩成份;计算该多个相邻像素彼此之间的多个像素绝对差值的一总和与一坏点补偿比例的一乘积,以取得一坏点门限值;计算该多个相邻像素的各相邻像素与该目标像素间的多个像素绝对差值的一总和,以取得一相邻差异值;以及比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素。
本发明还公开一种计算机可读取记录媒体,包括多个指令,用来致使一处理器执行上述的自适应图像处理方法。
本发明还公开一种计算机程序产品,包括多个指令,用来致使一处理器执行上述的自适应图像处理方法。
本发明还公开一种自适应图像处理装置,用来处理一用一影像传感器撷取且包括多个像素的图像,该多个像素的每一像素对应于一色彩成份,该自适应图像处理装置包括:一区域侦测模块,用来根据一目标像素对应的色彩成份,界定包括该目标像素的一像素区域;一计算模块,用来计算该像素区域中与该目标像素对应同一色彩成份的多个相邻像素彼此之间的多个像素绝对差值的一总和与一坏点补偿比例的一乘积,以取得一坏点门限值;计算该多个相邻像素中各相邻像素与该目标像素间的多个像素绝对差值的一总和,以取得一相邻差异值;以及一判断模块,用来比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素。
本发明还公开一种图像处理系统,包括:一图像撷取装置,包括一图像传感器,用来撷取一图像,该图像包括多个像素,每一像素对应于一色彩成份;以及一图像处理装置,用来接收该图像,并对该图像进行至少一图像程序,该图像处理装置包括上述的该自适应图像处理装置。
在此配合下列附图、实施例的详细说明及权利要求书,将上述及本发明的其它目的与优点详述在后。
附图说明
图1是本发明实施例的一自适应图像处理方法的流程图。
图2A~2C是图1所示的自适应图像处理方法一实现方式的流程图。
图3是本发明实施例的一像素区域的示意图。
图4是本发明实施例的另一像素区域的示意图。
图5是本发明实施例的另一像素区域的示意图。
图6是本发明实施例的一自适应图像处理装置的示意图。
图7是本发明实施例的一图像处理系统的示意图。
其中,附图标记说明如下:
10、20                     自适应图像处理方法
100~114、200~232         步骤
60、710                    自适应图像处理装置
600                                          选取模块
602                                          区域侦测模块
604                                          计算模块
606                                          判断模块
608                                          补偿模块
610                                          门限值计算模块
612                                          补偿值产生模块
70                                           图像处理系统
700                                          图像撷取装置
702                                          图像处理装置
704                                          图像传感器
7041                                         彩色滤镜
706                                          取样单元
708                                          模拟数字转换单元
B、B1~B8、F、F1~F8、G、G1~G12、R、R1~R8  像素
dC、dH、dN、dV                               总和
DIFF                                         相邻差异值
DPC                                          坏点补偿比例
DPC_TH                                       坏点门限值
DR                                           边缘补偿比例
H1~Hk                                       水平像素
HG                                           水平梯度值
HS1~HSb                                     水平同色像素
H_TH、V_TH                                   乘积
T                                            目标像素
T1~Tn                                       相邻像素
V1~Vj                          垂直像素
VG                              垂直梯度值
VS1~VSa                        垂直同色像素
具体实施方式
请参考图1,图1是发明实施例的自适应图像处理方法10的流程图。如图1所示,自适应图像处理方法10包括以下步骤:
步骤100:开始。
步骤102:接收一包括多个像素的数组图像数据。
步骤104:自该多个像素选取一目标像素T,并根据目标像素T所对应的色彩成份,界定包括目标像素T的一像素区域Z。
步骤106:自像素区域Z中选取相邻像素T1~Tn,相邻像素T1~Tn与目标像素T对应于同一色彩成份。
步骤108:计算相邻像素T1~Tn彼此之间的像素绝对差值的一总和dN与一坏点补偿比例DPC的一乘积,以取得一坏点门限值DPC_TH。
步骤110:计算相邻像素T1~Tn与目标像素T彼此之间的像素绝对差值的一总和dC,以取得一相邻差异值DIFF。
步骤112:比较坏点门限值DPC_TH与相邻差异值DIFF,以判断目标像素T是否为坏点像素。
步骤114:结束。
以下将对自适应图像处理方法10的步骤作详细说明。首先,在步骤102,接收包括多个像素的数组图像数据。数组图像数据譬如可为一以拜尔彩色滤波数组产生的拜尔图像。在步骤104中,自数组图像数据选取一像素点做为目标像素T,并界定包括目标像素T的像素区域Z,其中目标像素T对应于红色、蓝色或绿色其中的一。针对对应于不同颜色的目标像素,可界定不同形状的像素区域Z。较佳地,当目标像素T对应于红色或蓝色时,像素区域Z呈现一方型;而当目标像素T对应于绿色时,该目标像素呈现一菱形。然后,在步骤106中,可自像素区域Z中选取与目标像素T对应相同色彩成份的相邻像素T1~Tn。随后,在步骤108中,以所选取到的相邻像素T1~Tn,计算相邻像素T1~Tn中相邻的像素的多个绝对像素差值的总和dN,其中总和dN代表相邻像素T1~Tn彼此之间的差异关系。因此,总和dN可以表示为:
dN=|T1-T2|+|T2-T3|+…+|Tn-T1|    (1)
在取得总和dN后,将总和dN与坏点补偿比例DPC相乘,以取得一乘积做为坏点门限值DPC_TH。因此,坏点门限值DPC_TH可表示为:
DPC_TH=dN×DPC    (2)
其中,坏点补偿比例DPC与数组图像数据被撷取时的一感光度(Sensitivity)有关;当感光度越高时坏点补偿比例DPC越低,反之,当该感光度越低时坏点补偿比例DPC越高,举例而言,可以安排坏点补偿比例DPC与该感光度之间呈现一反比关系。需注意的是,坏点门限值DPC_TH与总和dN呈现正比关系,因此坏点门限值DPC_TH可代表相邻像素T1~Tn彼此之间的差异关系。
随后,在步骤110中,计算目标像素T与相邻像素T1~Tn的绝对差值的总和dC,以取得相邻差异值DIFF。总和dC(即相邻差异值DIFF)代表目标像素T与相邻像素T1~Tn彼此之间的差异关系,因此,相邻差异值DIFF可表示为:
DIFF=dC=|T-T1|+|T-T2|+…+|T-Tn|    (3)
在取得坏点门限值DPC_TH与相邻差异值DIFF后,在步骤112中,可通过比较坏点门限值DPC_TH与相邻差异值DIFF的大小关系,得知目标像素T是否为坏点像素。当相邻差异值DIFF小于或等于坏点门限值DPC_TH时,代表目标像素T与相邻像素T1~Tn彼此之间的差异关系类似在相邻像素T1~Tn彼此之间的差异关系,因此判断目标像素T是正常像素。当相邻差异值DIFF大于坏点门限值DPC_TH时,代表目标像素T与相邻像素T1~Tn彼此之间的差异关系异在相邻像素T1~Tn彼此之间的差异关系,因此判断目标像素T系坏点像素。
根据上述,自适应图像处理方法10不必采用坏点像素信息即可判断目标像素T是否为坏点像素,且可侦测随机出现的坏点像素。此外,由于自适应图像处理方法10是使用目标像素T与相邻像素T1~Tn彼此之间的差异关系以及相邻像素T1~Tn彼此之间的差异关系做为判断条件,因此自适应图像处理方法10不会因为目标像素T的像素值大小而产生误判。此外,相邻像素的多个绝对像素差值的总和与坏点补偿比例的乘积可做为坏点门限值,且其中坏点补偿比例可根据感光度来决定,因此可根据感光度来调整坏点像素的判断标准。结果,自适应图像处理方法10可大幅提高判断的准确性。
除此之外,自适应图像处理方法10在判断目标像素T是否为坏点像素后,可进一步进行一像素运算以补偿目标像素T的像素值。举例来说,请参考图2A~2C,图2A~2C是本发明另一实施例的一自适应图像处理方法20的流程图,其中自适应图像处理方法20与自适应图像处理方法10的差异在于增加了像素补偿程序。如图2A~2C所示,自适应图像处理方法20包括以下步骤:
步骤200:开始。
步骤202:接收一包括多个像素的数组图像数据。
步骤204:自该多个像素选取一目标像素T,并根据目标像素T所对应的色彩成份,界定包括目标像素T的一像素区域Z。
步骤206:自像素区域Z中选取相邻像素T1~Tn,相邻像素T1~Tn与目标像素T对应于同一色彩成份。
步骤208:计算相邻像素T1~Tn彼此之间的像素绝对差值的一总和dN与一坏点补偿比例DPC的一乘积,以取得一坏点门限值DPC_TH。
步骤210:计算相邻像素T1~Tn与目标像素T彼此之间的像素绝对差值的一总和dC,以取得一相邻差异值DIFF。
步骤212:比较坏点门限值DPC_TH与相邻差异值DIFF,以判断目标像素T是否为坏点像素。若目标像素T不是坏点像素则执行步骤214,否则执行步骤216。
步骤214:维持目标像素T的像素值。
步骤216:在像素区域Z中选取出垂直像素V1~Vj,垂直像素V1~Vj是与目标像素T位在同一行的像素,且垂直像素V1~Vj包括与目标像素T对应于同一色彩成份的垂直同色像素VS1~VSa
步骤218:计算垂直像素V1~Vj中对应于相同色彩成份的像素彼此之间的多个像素绝对差值的一总和dV,以取得一垂直梯度值VG。
步骤220:在像素区域Z中选取水平像素H1~Hk,水平像素H1~Hk是与目标像素T位在同一列的像素,且水平像素H1~Hk包括与目标像素T对应于同一色彩成份的水平同色像素HS1~HSb
步骤222:计算水平像素H1~Hk间对应于相同色彩成份像素彼此之间的多个像素绝对差值的一总和dH,以取得一水平梯度值HG。
步骤224:比较垂直梯度值VG与水平梯度值HG与一边缘补偿比例DR的一乘积H_TH的大小关系,并在垂直梯度值VG大于乘积H_TH时,执行步骤226;比较水平梯度值HG与垂直梯度值VG与一边缘补偿比例DR的一乘积V_TH的大小关系,并在水平梯度值HG大于乘积V_TH时,执行步骤228;当垂直梯度值VG小于或等于乘积H_TH且水平梯度值HG大于乘积V_TH时,执行步骤230。
步骤226:计算垂直同色像素VS1~VSa的一像素值平均AVG_V,并将目标像素T的像素值补偿为像素值平均AVG_V。
步骤228:计算水平同色像素HS1~HSb的一像素值平均AVG_H,并将目标像素T的像素值补偿为像素值平均AVG_H。
步骤230:计算相邻像素T1~Tn的一像素值平均AVG_T,并将目标像素T的像素值补偿为像素值平均AVG_T。
步骤232:结束。
以下将对自适应图像处理方法20的步骤作详细说明。请参考图2A,自适应图像处理方法20的步骤202~212的详细运作与自适应图像处理方法10的步骤102~112相似,为求简洁,在此不赘述。与自适应图像处理方法10不同的是,自适应图像处理方法20会根据步骤212的判断结果,决定是否进行该像素运算以补偿目标像素T。当目标像素T不是坏点像素时,执行步骤214,维持目标像素T的像素值。当目标像素T为坏点像素时,则执行步骤216,补偿目标像素T的像素值。
请继续参考图2B,步骤216~218先进行以取得一垂直梯度值VG,以及在步骤220~222进行以取得一水平梯度值。然而,其顺序可互换,或可同步实施。在步骤216~218中,通过选取像素区域Z中与目标像素T位在同行的垂直像素V1~Vj,并计算垂直像素V1~Vj中对应于同一色彩成分的像素彼此之间的像素绝对差值,以取得与目标像素T的垂直梯度值VG。由于梯度值通常可表现出图像中对象的边缘特性,当某一方向的画素值变化越大时,相对地梯度值也越大,因此垂直梯度值VG可代表目标像素T的垂直方向的像素变化量。相似地,在步骤220~222中,通过选取像素区域Z中与目标像素T位在同列的水平像素H1~Hk,并计算水平像素H1~Hk中对应于同一色彩成分的像素彼此之间的像素绝对差值,取得与目标像素T所处位置的水平变化量成正比的水平梯度值HG。关于步骤216~218的详细计算过程,将在以下利用第图3、图4的范例作详细解释。
请参考图2C,在步骤224中,根据垂直梯度值VG、水平梯度值HG以及边缘补偿比例DR来判断目标像素T是否位在图像中对象的边缘,并据以适当地沿不同方向来计算不同的补偿值来补偿目标像素T,以保留图像的细节与边缘信息。当垂直梯度值VG小于水平梯度值HG与一边缘补偿比例DR的乘积H_TH时(VG<HG×DR),判断目标像素T在图像中所处位置的垂直方向的像素值变化剧烈,并进行步骤226,以针对目标像素T的垂直方向进行补偿。当水平梯度值HG小于垂直梯度值VG与一边缘补偿比例DR的乘积V_TH时(HG<VG×DR),判断目标像素T在图像中所处位置的水平方向像素值变化剧烈,并进行步骤228,以针对目标像素T的水平方向进行补偿。而当上述两判断条件都不符合,亦即垂直梯度值VG大于或等于乘积H_TH且水平梯度值HG大于或等于乘积V_TH时(VG≥HG×DR & HG≥VG×DR),判断目标像素在图像中所处位置的水平方向以及垂直方向的像素值变化相当;此时,进行步骤230,以利用相邻像素T1~Tn补偿目标像素T的像素值。
步骤226~步骤230根据步骤224的判断结果,计算出相对应的补偿值来补偿目标像素T的像素值。在判断出垂直方向的像素值变化剧烈(VG<HG×DR)后,在步骤226中,计算垂直像素V1~Vj中与目标像素T对应于同一色彩成分的垂直同色像素VS1~VSa的像素平均值AVG_V,作为补偿值来补偿目标像素T的像素值。在判断出水平方向的像素值变化剧烈(HG<VG×DR)后,在步骤228中,计算水平像素H1~Hj中与目标像素T对应于同一色彩成分的垂直同色像素HS1~HSb的像素平均值AVG_H,作为补偿值来补偿目标像素T的像素值。而当判断出垂直方向与水平方向的像素值变化较为和缓后,在步骤230中,计算相邻像素T1~Tn的像素平均值AVG_T,作为补偿值来补偿目标像素T的像素值。
如此一来,当目标像素T被判断为坏点像素时,自适应图像处理方法20根据目标像素T的垂直梯度(即垂直梯度值VG)、水平梯度(即水平梯度值HG)以及边缘补偿比例DR,决定如何补偿目标像素T,从而避免破坏图像的细节与边缘特性。
举例来说,当目标像素T是一对应于绿色的像素G时,依照步骤204会界定出一像素区域ZG。请参考图3,图3是本发明实施例的像素区域ZG的示意图。由于目标像素T是对应于绿色的像素G,因此像素区域ZG较佳地安排为一菱形。如图3所示,像素区域ZG包括像素G、G1~G8、R0、R1、B0、B1,其中像素G、G1~G8是对应于绿色,像素R0、R1是对应于红色,像素B0、B1对应于蓝色。随后,依照步骤206,选择相邻像素T1~Tn为像素G1~G8。接下来,依照步骤208计算像素G1~G8(即相邻像素T1~Tn)彼此之间的像素绝对差值的总和dN。因此,总和dN可表示为:
dN=|G1-G2|+|G2-G3|+|G3-G4|+|G4-G5|+|G5-G6|+|G6-G7|+|G7-G8|+|G8-G1|(4)
而坏点门限值DPC_TH是总和dN与坏点补偿比例DPC的乘积,因此坏点门限值DPC_TH可表示为:
DPC_TH=dN×DPC    (5)
相似地,依照步骤210,相邻差异值DIFF可表示为:
DIFF=|G-G1|+|G-G2|+|G-G3|+|G-G4|+|G-G5|+|G-G6|+|G-G7|+|G-G8|(6)
在计算出坏点门限值DPC_TH以及相邻差异值DIFF后,在步骤212中通过比较相邻差异值DIFF与坏点门限值DPC_TH的大小关系,判断目标像素T是否为坏点像素。当相邻差异值DIFF小于或等于坏点门限值DPC_TH时,判断目标像素T不为坏点像素;当相邻差异值DIFF大于坏点门限值DPC_TH时,目标像素T是坏点像素。
接下来,可进一步执行像素补偿的程序。当像素G不为坏点像素时,执行步骤214,以维持像素G的像素值。而当像素G为坏点像素时,执行步骤216~230,以适当补偿像素G。
请继续参考图3,在步骤216~220中,可计算垂直梯度值VG以及水平梯度值HG,其中垂直像素V1~Vj可安排为像素G3、G7、R0以及R1,水平像素H1~Hk可安排为像素G1、G5、B0、B1。因此,垂直梯度值VG以及水平梯度值HG分别可表示为:
VG=|G3-G7|+|R0-R1|    (7)
HG=|G1-G5|+|B0-B1|    (8)
在取得垂直梯度值VG以及水平梯度值HG后,可进一步在步骤222中比较垂直梯度值VG与水平梯度值HG与边缘补偿比例DR的乘积H_TH。当垂直梯度值VG小于乘积H_TH时(VG<HG×DR),执行步骤124,以取得像素平均值AVG_V来补偿像素G。其中,在像素区域ZG中,垂直同色像素是像素G3、G7。因此,像素平均值AVG_V可表示为:
AVG _ V = ( G 3 + G 7 ) 2 - - - ( 9 )
接下来,若垂直梯度值VG大于或等于乘积H_TH时,继续比较水平梯度值HG与垂直梯度值VG与边缘补偿比例DR的乘积V_TH。当水平梯度值HG小于乘积V_TH时(HG<VG×DR),执行步骤224以取得像素平均值AVG_H来补偿像素G。其中,在像素区域ZG中,水平同色像素是像素G1、G5。因此,像素平均值AVG_H可表示为:
AVG _ H + ( G 1 + G 5 ) 2 - - - ( 10 )
最后,若垂直梯度值VG大于或等于乘积H_TH且水平梯度值HG大于或等于乘积V_TH时(VG≥HG×DR & HG≥VG×DR),执行步骤224,以取得像素平均值AVG_T来补偿像素G。其中,像素平均值AVG_T可表示为:
AVG _ T = ( G 1 + G 2 + G 3 + G 4 + G 5 + G 6 + G 7 + G 8 ) 8 - - - ( 11 )
在另一个情况下,目标像素T也可是一对应于蓝色的像素B,依据步骤204可界定出一像素区域ZB。请参考图4,图4是本发明实施例的像素区域ZB的示意图。其中,由于拜尔图像中对应于蓝色的像素数量较少,因此当目标像素T对应于蓝色的像素B时,像素区域ZB较佳取为大于像素区域ZG,以取得足够数量的相邻像素来准确判断目标像素T是否为坏点像素。如图4所示,由于目标像素T为蓝色,因此像素区域ZB较佳地被安排为一方形,其包括对应于蓝色的像素B、B1~B8、对应于绿色的像素G1~G12以及对应于红色的像素R1~R4。需注意的是,虽然像素区域ZB包括的像素较像素区域ZG多,但用于计算坏点门限值DPC_TH相邻差异值DIFF、垂直梯度值VG以及水平梯度值HG所使用的像素数量可以安排为不变,其中像素B1~B8对应于相邻像素T1~Tn,像素B3、B7、G1、G3对应于垂直像素V1~Vj,而像素B1、B5、G2、G4对应于水平像素H1~Hk。因此,当目标像素T对应于蓝色时,自适应图像处理方法20的详细运作流程可参考前述,为求简洁,在此不赘述。此外,由于在拜尔图像中对应于红色的像素的排列方式与对应于蓝色的像素的排列方式相同,因此当目标像素T对应于红色时自适应图像处理方法20的运作流程可参考前述,为求简洁,在此也不赘述。
需注意的是,本发明的上述实施例的主要精神为计算与目标像素相邻的多个相邻同色像素彼此之间的变化量的总和与一坏点补偿比例的乘积,以取得一随目标像素而变的坏点门限值。此外,本发明的上述实施例使用目标像素与多个相邻同色像素彼此之间的变化量的总和(即相邻差异值)与坏点门限值比较,以判断目标像素是否为坏点像素。换言之,本发明的上述实施例通过比较坏点门限值与相邻差异值,来得知目标像素与相邻同色像素的关系是否异在多个相邻同色像素彼此之间的关系,并据以判断目标像素是否为坏点像素。根据不同应用,本领域的技术人员应可做出适当的变化或调整。例如,像素区域Z可增大,以取得更多的相邻画素T1~Tn、垂直画素V1~Vj、水平画素H1~Hk,进而提高判断以及补偿的准确性。
此外,自适应图像处理方法20中步骤202所接收的数组图像数据也可为全彩图像。当数组图像数据为全彩图像时,自适应图像处理方法20的详细运作类似在数组图像数据为拜尔图像时自适应图像处理方法20的运作。不同的是,由于全彩图像是拜尔图像经过色彩内插(Color Interpolation)后的图像,因此全彩图像的各像素都包括较多的图像细节。也就是说,当数组图像数据为全彩图像时,若目标像素T是坏点像素,自适应图像处理方法20可利用较少数量的像素,取得目标像素T的垂直梯度值VG以及水平梯度值HG,并据以补偿目标像素T。
举例来说,当步骤202接收的数组图像数据是全彩图像时,依照步骤204可界定出一像素区域ZF。请参考图5,图5是像素区域ZF的示意图。如图5所示,像素区域ZF较佳地被安排为一方形,包括像素F、F1~F8,其中像素F对应于目标像素T,像素F1~F8对应于相邻像素T1~Tn,像素F3、F7对应于垂直像素V1~Vj,而像素F1、F5对应于水平像素H1~Hk。不同在数组图像数据为拜尔图像时,分别用于计算垂直梯度值VG以及水平梯度值的垂直像素V1~Vj以及水平像素H1~Hk的数量都减少。因此,计算垂直梯度值VG以及水平梯度值HG的公式修改为:
VG=|F3-F7|    (12)
HG=|F1-F5|    (13)
而计算像素值平均AVG_V以及像素值平均AVG_H的公式为:
AVG _ V = ( F 3 + F 7 ) 2 - - - ( 14 )
AVG _ H = ( F 1 + F 5 ) 2 - - - ( 15 )
如此一来,自适应图像处理方法20即可侦测并补偿全彩图像中的坏点像素。
关于自适应图像处理方法20的实现,本领域的技术人员应可以软件或硬件方式来实现。例如,一计算机产品,包括一存储器。该存储器可为任一数据储存装置(如只读式存储器(read-only memory,ROM)),用以储存数据,且储存数据包括根据自适应图像处理方法20所编译的一程序代码,并由一处理器读取及处理,以执行并实现自适应图像处理方法20的步骤。或是,请参考图6,图6为本发明实施例的一自适应图像处理装置60的示意图。自适应图像处理装置60包括一选取模块600、一区域侦测模块602、一计算模块604、一判断模块606以及一补偿模块608。选取模块600用来接收一包括多个画素的数组图像数据,并选取一目标像素T,其中该数组图像数据可为一拜尔图像或一全彩图像。区域侦测模块602用来根据目标像素T对应的色彩成份,界定包括目标像素T的像素区域Z。计算模块604用来计算与目标像素T同色且相邻的相邻像素T1~Tn彼此之间的像素绝对差值的总和dN与坏点补偿比例DPC的乘积,以取得坏点门限值DPC_TH;以及用来计算目标像素T与各相邻像素T1~Tn之间的多个像素绝对差值的总和,以取得相邻差异值DIFF。判断模块606用来比较坏点门限值DPC_TH与相邻差异值DIFF的大小关系,以判断目标像素T是否为坏点像素。补偿模块608包括门限值计算模块610以及补偿值产生模块612,用来在目标像素T不为坏点像素时,维持目标像素T的像素值;并在目标像素T为坏点像素时,利用门限值计算模块610计算目标像素T的垂直梯度值VG以及水平梯度值HG,并根据垂直梯度值VG、水平梯度值HG以及边缘补偿比例DR,利用补偿值产生模块612产生适当的补偿值来补偿目标像素T。如此一来,即可通过自适应图像处理装置60实现自适应图像处理方法20。
另一方面,自适应图像处理方法20及/或自适应图像处理装置60也可设计在一图像处理系统70中。请参考图7,图7是本发明实施例的图像处理系统70的示意图。如图7所示,图像处理系统70包括一图像撷取装置700以及一图像处理装置702。图像撷取装置700包括一图像传感器704(如互补式金氧半图像传感器或电荷耦合组件图像传感器等)、一取样单元706及一模拟数字转换单元(Analog-to-Digital Converter,ADC)708。图像传感器用来撷取一图像,其包括一彩色滤镜数组(color filter array,CFA)(如拜尔彩色滤镜数组),用以产生关于该图像的一像素数组,其中像素数组中的每一像素都对应到一彩色滤镜7041,从而对应至多个色彩成分(如红色、蓝色及绿色)的其中之一。像素数组经过取样单元706的取样(sampling)及模拟数字转换单元(Analog-to-Digital Converter,ADC)708的处理后,输出至图像处理装置702。图像处理装置702包括自适应图像处理装置710,用来接收图像撷取装置700产生的数组图像数据(即拜尔图像),并进行特定图像程序(如坏点像素补偿、色彩内插及图像增强)后,输出完整的彩色图像。
综上所述,上述实施例利用比较坏点门限值以及相邻差异值,得知目标像素与多个相邻像素间的关系是否异在与该多个相邻像素彼此之间的关系,判断目标像素是否为坏点像素。相邻像素的多个绝对像素差值的总和与坏点补偿比例的乘积可做为坏点门限值,且其中坏点补偿比例可根据感光度来决动,因此,上述实施例不会因为目标像素的像素值大小而产生误判,且可根据感光度来调整坏点像素的判断标准,从而大幅提高判断的准确性。此外,相较于公知技术,本发明的上述实施例可省略自存储器中读取坏点像素信息的步骤,自适应地侦测并补偿坏点像素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (34)

1.一种自适应图像处理方法,包括:
根据一目标像素所对应的色彩成份,界定包括该目标像素的一像素区域;自该像素区域中选取多个相邻像素,该多个相邻像素与该目标像素对应于同一色彩成份;
计算该多个相邻像素彼此之间的多个像素绝对差值的一总和与一坏点补偿比例的一乘积,以取得一坏点门限值;
计算该多个相邻像素的各相邻像素与该目标像素间的多个像素绝对差值的一总和,以取得一相邻差异值;以及
比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素。
2.如权利要求1所述的自适应图像处理方法,其特征在于,该坏点补偿比例是根据该图像传感器撷取该图像时的一感光度来决定。
3.如权利要求2所述的自适应图像处理方法,其特征在于,该坏点补偿比例的大小与该感光度的大小呈现一反比关系。
4.如权利要求1所述的自适应图像处理方法,其特征在于,比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素的步骤包括当该相邻差异值小于或等于该坏点门限值时,判断该目标像素为正常像素。
5.如权利要求4所述的自适应图像处理方法,其特征在于,该自适应图像处理方法还包括当判断该目标像素为正常像素时,保持该目标像素的像素值。
6.如权利要求1所述的自适应图像处理方法,其特征在于,比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素的步骤包括当该相邻差异值大于该坏点门限值时,判断该目标像素为坏点像素。
7.如权利要求6所述的自适应图像处理方法,其特征在于,该自适应图像处理方法还包括当判断该目标像素为坏点像素时,进行一像素运算,以补偿该目标像素。
8.如权利要求6所述的自适应图像处理方法,其特征在于,进行该像素运算,以补偿该目标像素的步骤包括:
在该像素区域中选取出多个垂直像素,该多个垂直像素与该目标像素位在同一行的像素,且该多个垂直像素包括与该目标像素对应于同一色彩成份的多个垂直同色像素;
计算该多个垂直像素中对应于相同色彩成份的像素彼此之间的多个像素绝对差值的一总和,以取得一垂直梯度值;
在该像素区域中选取多个水平像素,该多个水平像素与该目标像素位在同一列的像素,且该多个水平像素包括与该目标像素对应于同一色彩成份的多个水平同色像素;
计算该多个水平像素间对应于相同色彩成份像素彼此之间的多个像素绝对差值的一总和,以取得一水平梯度值;以及
根据该垂直梯度值、该水平梯度值以及一边缘补偿比例,补偿该目标像素。
9.如权利要求8所述的自适应图像处理方法,其特征在于,根据该垂直梯度值、该水平梯度值以及该边缘补偿比例,补偿该目标像素的步骤包括:比较该垂直梯度值与该边缘补偿比例及该水平梯度值间的一乘积;以及当该垂直梯度值小于该边缘补偿比例与该水平梯度值间的该乘积时,将该目标像素的像素值补偿为该多个垂直同色像素的一像素平均值。
10.如权利要求8所述的自适应图像处理方法,其特征在于,根据该垂直梯度值、该水平梯度值以及该边缘补偿比例,补偿该目标像素的步骤包括:比较该水平梯度值与该边缘补偿比例及该垂直梯度值间的一乘积;以及当该水平梯度值小于该边缘补偿比例及该垂直梯度值间的该乘积时,将该目标像素的像素值补偿为该多个水平同色像素的一像素平均值。
11.如权利要求8所述的自适应图像处理方法,其特征在于,根据该垂直梯度值、该水平梯度值以及该边缘补偿比例,补偿该目标像素的步骤包括:比较该垂直梯度值与该边缘补偿比例及该水平梯度值间的一乘积;比较该水平梯度值与该边缘补偿比例及该垂直梯度值间的一乘积;以及当该垂直梯度值大于等于该边缘补偿比例及该水平梯度值间的该乘积且该水平梯度值大于等于该边缘补偿比例及该垂直梯度值间的该乘积时,将该目标像素的像素值补偿为该多个相邻像素的一像素平均值。
12.如权利要求8所述的自适应图像处理方法,其特征在于,根据该垂直梯度值、该水平梯度值以及该边缘补偿比例,补偿该目标像素的步骤包括:比较该垂直梯度值与该边缘补偿比例及该水平梯度值间的一乘积,以取得一第一比较结果;
比较该水平梯度值与该边缘补偿比例及该垂直梯度值间的一乘积,以取得一第二比较结果;以及
根据该第一比较结果以及该第二比较结果,决定将该目标像素的像素值补偿为该多个垂直同色像素的一像素平均值、该多个水平同色像素的一像素平均值或该多个相邻像素的一像素平均值。
13.如权利要求1所述的自适应图像处理方法,其特征在于,该图像是以拜尔彩色滤波数组产生的一拜尔图像。
14.如权利要求13所述的自适应图像处理方法,其特征在于,当该目标像素的色彩成份为红色或蓝色时,该像素区域是一方形。
15.如权利要求13所述的自适应图像处理方法,其特征在于,当该目标像素的色彩成份是绿色时,该像素区域是一菱形。
16.如权利要求1所述的自适应图像处理方法,其特征在于,该图像是一经色彩内插后的一全彩图像。
17.如权利要求16所述的自适应图像处理方法,其特征在于,当该图像是该全彩图像时,该像素区域是一方形。
18.一种计算机可读取记录媒体,包括多个指令,用来致使一处理器执行如权利要求1所述的自适应图像处理方法。
19.一种计算机程序产品,包括多个指令,用来致使一处理机执行如权利要求1所述的自适应图像处理方法。
20.一种自适应图像处理装置,用来处理一用一图像传感器撷取并包括多个像素的图像,该多个像素的每一像素对应于一色彩成份,该图像处理装置包括:
一区域侦测模块,用来根据一目标像素对应的色彩成份,界定包括该目标像素的一像素区域;
一计算模块,用来计算该像素区域中与该目标像素对应同一色彩成份的多个相邻像素彼此之间的多个像素绝对差值的一总和与一坏点补偿比例的一乘积,以取得一坏点门限值;计算该多个相邻像素中各相邻像素与该目标像素间的多个像素绝对差值的一总和,以取得一相邻差异值;以及
一判断模块,用来比较该坏点门限值与该相邻差异值,以判断该目标像素是否为坏点像素。
21.如权利要求20所述的自适应图像处理装置,其特征在于,该坏点补偿比例是根据该图像传感器撷取该图像时使用的一感光度来决定。
22.如权利要求21所述的自适应图像处理装置,其特征在于,该坏点补偿比例的大小与该感光度的大小呈现一反比关系。
23.如权利要求20所述的自适应图像处理装置,其特征在于,当该相邻差异值小于或等于该坏点门限值时,该判断模块判断该目标像素为正常像素;否则判断该目标像素为坏点像素。
24.如权利要求20所述的自适应图像处理装置,其特征在于,该自适应图像处理装置还包括一补偿模块,用来在该判断模块判断该目标像素为正常像素时,维持该目标像素的像素值,以及在该判断模块判断该目标像素为坏点像素时,进行一像素运算,以补偿该目标像素。
25.如权利要求24所述的自适应图像处理装置,其特征在于,该补偿模块包括:
一门限值计算模块,用来计算该像素区域中多个垂直像素中对应于相同色彩成份的像素彼此之间的多个像素绝对差值的一总和,以取得一垂直梯度值,以及计算该像素区域中该多个水平像素间对应于相同色彩成份像素彼此之间的多个像素绝对差值的一总和,以取得一水平梯度值,其特征在于该多个垂直像素与该目标像素位在同一行以及该多个水平像素与该目标像素位在同一列;以及
一补偿值产生模块,用来根据该垂直梯度值、该水平梯度值以及一边缘补偿比例,产生一补偿值来补偿该目标像素的像素值。
26.如权利要求25所述的自适应图像处理装置,其特征在于,当该水平梯度值小于该垂直梯度值与该边缘校正比例的一乘积时,该补偿值产生模块计算该多个水平像素中与该目标像素对应于同一色彩成份的像素的一像素平均值,以取得该补偿值来补偿该目标像素。
27.如权利要求25所述的自适应图像处理装置,其特征在于,当该垂直梯度值小于该水平梯度值与该边缘校正比例的一乘积时,该补偿值产生模块计算该多个垂直像素中与该目标像素对应于同一色彩成份的像素的一像素平均值,以取得该补偿值来补偿该目标像素。
28.如权利要求25所述的自适应图像处理装置,其特征在于,当该垂直梯度值大于或等于该水平梯度值与该边缘校正比例的该乘积且该水平梯度值大于或等于该垂直梯度值与该边缘校正比例的该乘积时,该补偿值产生模块计算该多个相邻像素的一像素平均值,以取得该补偿值来补偿该目标像素。
29.如权利要求20所述的自适应图像处理装置,其特征在于,该包括多个画素的图像是以拜尔彩色滤波数组产生的一拜尔图像。
30.如权利要求29所述的自适应图像处理装置,其特征在于,当该目标像素的色彩成分为红色或蓝色时该像素区域是一方形。
31.如权利要求29所述的自适应图像处理装置,其特征在于,当该目标像素的色彩成分是绿色时,该像素区域是一菱形。
32.如权利要求20所述的自适应图像处理装置,其特征在于,该包括多个画素的图像是经色彩内插后的一全彩图像。
33.如权利要求32所述的自适应图像处理方法,其特征在于,当该图像是该全彩图像时,该像素区域是一方形。
34.一种图像处理系统,包括:
一图像撷取装置,包括一图像传感器,用来撷取一图像,该图像包括多个像素,每一像素对应于一色彩成份;以及
一图像处理装置,用来接收该图像,并对该图像进行至少一图像程序,该图像处理装置包括权利要求第20项所述的自适应图像处理装置。
CN201210040693.8A 2012-02-22 2012-02-22 自适应图像处理方法及其相关装置 Expired - Fee Related CN103297717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210040693.8A CN103297717B (zh) 2012-02-22 2012-02-22 自适应图像处理方法及其相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210040693.8A CN103297717B (zh) 2012-02-22 2012-02-22 自适应图像处理方法及其相关装置

Publications (2)

Publication Number Publication Date
CN103297717A true CN103297717A (zh) 2013-09-11
CN103297717B CN103297717B (zh) 2016-04-27

Family

ID=49097964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210040693.8A Expired - Fee Related CN103297717B (zh) 2012-02-22 2012-02-22 自适应图像处理方法及其相关装置

Country Status (1)

Country Link
CN (1) CN103297717B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104535827A (zh) * 2015-01-12 2015-04-22 航天科工深圳(集团)有限公司 Ad采样中去坏点方法和系统
CN105451015A (zh) * 2014-08-12 2016-03-30 炬力集成电路设计有限公司 一种图像坏点的检测方法及装置
CN105516694A (zh) * 2015-12-08 2016-04-20 上海集成电路研发中心有限公司 避免产生镜头暗角的方法及系统
CN105812756A (zh) * 2016-03-16 2016-07-27 沈阳尚贤微创医疗器械股份有限公司 一种胶囊内窥镜无线传输数据丢失的修复补偿方法
CN106205437A (zh) * 2015-05-05 2016-12-07 联想(北京)有限公司 一种坏点检测方法、电子设备及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835599A (zh) * 2005-02-07 2006-09-20 三星电子株式会社 处理拜耳模式彩色数字图像信号的方法和设备
US20060238629A1 (en) * 2005-04-25 2006-10-26 Hidehiko Sato Pixel defect correction device
CN101212703A (zh) * 2006-12-29 2008-07-02 华晶科技股份有限公司 影像坏点像素实时检测方法
CN101365050A (zh) * 2007-08-06 2009-02-11 联发科技股份有限公司 检测与校正缺陷像素的方法及装置
US20100085450A1 (en) * 2008-10-03 2010-04-08 Silicon Motion, Inc. Cameras And Defective Pixel Compensation Methods For Image Sensors Thereof
TW201208388A (en) * 2010-08-11 2012-02-16 Silicon Motion Inc Method and apparatus for performing bad pixel compensation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1835599A (zh) * 2005-02-07 2006-09-20 三星电子株式会社 处理拜耳模式彩色数字图像信号的方法和设备
US20060238629A1 (en) * 2005-04-25 2006-10-26 Hidehiko Sato Pixel defect correction device
CN101212703A (zh) * 2006-12-29 2008-07-02 华晶科技股份有限公司 影像坏点像素实时检测方法
CN101365050A (zh) * 2007-08-06 2009-02-11 联发科技股份有限公司 检测与校正缺陷像素的方法及装置
US20100085450A1 (en) * 2008-10-03 2010-04-08 Silicon Motion, Inc. Cameras And Defective Pixel Compensation Methods For Image Sensors Thereof
TW201208388A (en) * 2010-08-11 2012-02-16 Silicon Motion Inc Method and apparatus for performing bad pixel compensation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451015A (zh) * 2014-08-12 2016-03-30 炬力集成电路设计有限公司 一种图像坏点的检测方法及装置
CN104535827A (zh) * 2015-01-12 2015-04-22 航天科工深圳(集团)有限公司 Ad采样中去坏点方法和系统
CN106205437A (zh) * 2015-05-05 2016-12-07 联想(北京)有限公司 一种坏点检测方法、电子设备及装置
CN105516694A (zh) * 2015-12-08 2016-04-20 上海集成电路研发中心有限公司 避免产生镜头暗角的方法及系统
CN105812756A (zh) * 2016-03-16 2016-07-27 沈阳尚贤微创医疗器械股份有限公司 一种胶囊内窥镜无线传输数据丢失的修复补偿方法

Also Published As

Publication number Publication date
CN103297717B (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
US8253828B2 (en) Image capture device including edge direction determination unit, and image processing method for the same
US7366347B2 (en) Edge detecting method
CN101242542B (zh) 一种图像坏点检测方法与装置
US20110102647A1 (en) Methods of modeling an integrated noise in an image sensor and methods of reducing noise using the same
JP4194336B2 (ja) 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ
US8106986B2 (en) Image sensor, data output method, image pickup device, and camera
US20120182452A1 (en) Image processing device, image processing method, and program
US9041854B2 (en) Image-pickup apparatus and method of detecting defective pixel thereof
CN101083773B (zh) 数字图像处理设备中的伽玛校正装置和方法
EP1525744A1 (en) Device and method of detection of erroneous image sample data of defective image samples
CN103297717A (zh) 自适应图像处理方法及其相关装置
CN101304484A (zh) 成像装置、缺陷像素校正装置、装置中的处理方法和程序
CN102158727B (zh) 手机摄像头色彩还原性的检测方法和系统
KR100399884B1 (ko) 이미지 센서의 결함 픽셀 보정 장치 및 그 방법
CN101889452A (zh) 图像生成装置及图像生成方法
CN105247568A (zh) 用带有色滤器的传感器生成改进的彩色图像的方法和装置
CN102970463A (zh) 图像处理设备、图像处理方法以及程序
TWI492621B (zh) 適應性影像處理方法及其相關裝置
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
KR100733010B1 (ko) 이미지 센서의 결함픽셀 보간 방법 및 장치
CN102625055B (zh) 数字摄像装置及其图像处理方法
CN113096046A (zh) 一种图像处理方法及装置
JP2011114473A (ja) 画素欠陥補正装置
JP3990059B2 (ja) 撮像デバイスの欠陥画素補正装置および方法
CN102118620B (zh) 数字影像的颜色错位的消除方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160427

Termination date: 20210222

CF01 Termination of patent right due to non-payment of annual fee