CN112907467A - 彩虹纹去除方法、装置及电子设备 - Google Patents
彩虹纹去除方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112907467A CN112907467A CN202110152921.XA CN202110152921A CN112907467A CN 112907467 A CN112907467 A CN 112907467A CN 202110152921 A CN202110152921 A CN 202110152921A CN 112907467 A CN112907467 A CN 112907467A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- pass
- acquisition data
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000001914 filtration Methods 0.000 claims abstract description 70
- 230000014759 maintenance of location Effects 0.000 claims abstract description 16
- 238000004321 preservation Methods 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 125000001475 halogen functional group Chemical group 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种彩虹纹去除方法、装置及电子设备,该方法包括:获取针对目标对象的图像采集数据;对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像;依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。该方法可以在不需要借助辅助工具的情况下,通过图像处理的方式实现了彩虹纹去除,降低了彩虹纹去除方案的实现成本,扩展了彩虹纹去除方案的适用范围。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种彩虹纹去除方法、装置及电子设备。
背景技术
彩虹纹是指由于光干涉现象出现的彩色纹理,当车窗上出现彩虹纹时会影响车窗另一侧的人脸及物体的可辨识度,降低人脸识别及物体识别的准确率。
传统的彩虹纹去除方案主要包括以下几种方案:
方案一,利用控制器根据预设曝光时间采集图像,同时控制偏振片在预设时间内转动。偏振片转动一定角度后,车窗相同区域出现的彩虹纹会发生变化。利用相同位置反射的各个波长的光的偏振方向不同的原理,在偏振片方向旋转之后,车窗的相同位置出现与原来颜色的互补的颜色,互补的颜色与原来的彩色叠加便消除了彩虹纹,该方案需要借助外部硬件辅助设备实现彩虹纹去除。
方案二,利用人工智能技术,采用弱监督学习模型框架对交通场景下拍摄存在高噪声、低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。该方案实现彩虹纹去除需要采集大量数据用于训练数据的生成与训练,在实际应用中对实际硬件要求较高,其次泛化性一般不好,难以覆盖不同时间段、不同天气下的车窗效果。
方案三,在交通卡口单目相机应用场景中,利用其产生的不同曝光环境的数据,一种是纯环境光得到的视频流数据,其车窗图像(可以称为非闪光图像)上存在较明显的反射;另一种是通过硬件打断抓拍,需要引入额外的气体爆闪补光灯打到车窗内,由于额外的补光车窗内清晰可见,车窗图像(可以称为闪光图像)的反射不强。利用闪光图像、非闪光图像的梯度特征值进行计算处理,得到去反射图像。此方案实现彩虹纹去除需要对两幅图像进行配准,并且每次计算都需要配准,配准算法复杂度较高且不能保证100%的配准率,存在配准失败的可能。
发明内容
有鉴于此,本申请提供一种彩虹纹去除方法、装置及电子设备。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种彩虹纹去除方法,包括:
获取针对目标对象的图像采集数据;
对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像;
依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。
根据本申请实施例的第二方面,提供一种彩虹纹去除装置,包括:
获取单元,用于获取针对目标对象的图像采集数据;
第一处理单元,用于对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像;
第二处理单元,用于依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。
根据本申请实施例的第三方面,提供一种电子设备,该电子设备包括:
处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述彩虹纹去除方法。
本申请实施例的彩虹纹去除方法,通过获取针对目标对象的图像采集数据,并对获取到的图像采集数据进行低通滤波,以得到该图像采集数据对应的低通图像,进而,依据该低通图像对图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据,实现彩虹纹去除,在不借助外部硬件辅助设备,利用单张图像,采用图像处理技术实现了彩虹纹去除,避免两张或多张图像引入的配准问题,以及人工智能技术对大量数据的要求、实际应用中对运行硬件以及泛化性能的问题,在保证彩虹纹去除效果的情况下,降低了彩虹纹去除实现的难度和成本,扩展了彩虹纹去除方案的适用范围。
附图说明
图1为本申请一示例性实施例示出的一种彩虹纹去除方法的流程示意图;
图2为本申请一示例性实施例示出的一种对彩色图像进行低通滤波的流程示意图;
图3为本申请一示例性实施例示出的一种确定车窗上是否存在彩虹纹的流程示意图;
图4为本申请一示例性实施例示出的一种彩虹纹去除处理的实现流程示意图;
图5为本申请一示例性实施例示出的一种汉密尔顿插值的实现示意图;
图6为本申请一示例性实施例示出的一种彩虹纹去除处理的实现流程示意图;
图7为本申请一示例性实施例示出的一种彩虹纹去除装置的结构示意图;
图8为本申请一示例性实施例示出的图7所示装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种彩虹纹去除方法的流程示意图,如图1所示,该彩虹纹去除方法可以包括以下步骤:
步骤S100、获取针对目标对象的图像采集数据。
示例性的,目标对象可以包括但不限于车窗等存在去除彩虹纹需求的对象。
本申请实施例中,为了实现彩虹纹去除,需要获取针对目标对象的图像采集数据,如Bayer数据。
步骤S110、对获取到的图像采集数据进行低通滤波,以得到图像采集数据对应的低通图像。
步骤S120、依据该低通图像对图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。
本申请实施例中,考虑到图像中的彩虹纹通常是分布在图像的低通部分中,因此,对于获取到的针对目标对象的图像采集数据,可以对通过低通滤波的方式,得到其对应的低通图像,并依据得到的低通图像对针对目标对象的图像采集数据进行高反差保留处理,得到该图像采集数据的高通图像,实现彩虹纹去除。
可见,在图1所示方法流程中,通过获取针对目标图像的图像采集数据,并对获取到的图像采集数据进行低通滤波,得到该图像采集数据对应的低通图像,进而,依据该低通图像对图像采集数据进行高反差保留,得到去除彩虹纹的图像采集数据,实现彩虹纹去除,在不借助外部硬件辅助设备,利用单张图像,采用图像处理技术实现了彩虹纹去除,避免两张或多张图像引入的配准问题,以及人工智能技术对大量数据的要求、实际应用中对运行硬件以及泛化性能的问题,在保证彩虹纹去除效果的情况下,降低了彩虹纹去除实现的难度和成本,扩展了彩虹纹去除方案的适用范围。
在一些实施例中,在依据低通图像对图像采集数据高反差保留处理之前,还可以确定目标图像采集数据的目标特征图像,进而,可以依据图像采集数据的目标特征图像,对低通图像进行融合处理,以得到彩虹条纹层图像。
示例性的,目标特征图像可以包括但不限于饱和度特征图像,和/或,显著性特征图像。
在一个示例中,依据低通图像对图像采集数据进行高反差保留处理之前,还可以包括:
确定图像采集数据的饱和度特征图像。
示例性的,考虑到图像采集数据中存在彩虹纹的区域的饱和度会比较高,因此,为了准确地识别图像采集数据中存在彩虹纹的区域,可以依据图像采集数据,统计其饱和度特征图像,以便后续流程中依据该饱和度特征图像确定图像采集数据中的彩虹纹区域。
示例性的,统计图像采集数据的饱和度可以通过以下公式实现:
min_v=MIN(r,g1,g2,b)
max_v=MAX(r,g1,g2,b)
stature=(max_v==0?0:1.0-min_v/max_v)
其中,MIN()为取最小值运算,MAX()为取最大值运算,stature=(max_v==0?0:1.0-min_v/max_v)是指若max_v==0,则stature=0;否则,stature=1.0-min_v/max_v。
在另一个示例中,依据低通图像对图像采集数据进行高反差保留处理之前,还可以包括:
确定图像采集数据的显著性特征图像。
示例性的,考虑到图像采集数据中存在彩虹纹的区域的显著性特征会比较高,因此,为了准确地识别图像采集数据中存在彩虹纹的区域,可以依据图像采集数据,统计其显著性特征图像,以便后续流程中依据该显著性特征图像确定图像采集数据中的彩虹纹区域。
示例性的,统计图像采集数据的显著性特征可以通过以下公式实现:
其中,I为图像采集数据中的像素点的像素值,Ik为当前像素点的像素值,Ii为当前像素点之外的其余像素点的像素值,‖*‖2为计算欧式距离运算。
即图像采集数据中某一点的显著性特征值为本像素点的像素值与其他像素点的像素值的欧式距离的和。
在一个示例中,步骤S120中,依据低通图像对所述图像采集数据进行高反差保留处理,可以包括:
依据目标特征图像,对低通图像进行融合处理,以得到彩虹条纹层图像;
依据彩虹条纹层图像对所述图像采集数据进行高反差保留处理。
示例性的,以目标特征图像包括饱和度图像特征和显著性特征图像为例。
考虑到存在彩虹纹的区域饱和度和显著性特征值均会比较高,因此,可以依据饱和度特征图像和显著性特征图像,确定图现象采集数据对应的低通图像中的彩虹纹区域。
相应地,当按照上述方式确定了图像采集数据的饱和度特征图像(可以记为stature_map)和显著性特征图像(可以记为salient_map)时,可以依据饱和度特征图像和显著性特征图像对低通图像进行加权融合处理,以得到彩虹条纹层图像。
示例性的,可以依据以下策略对低通图像(可以记为low_map)进行加权融合,得到彩虹条纹层图像(可以记为color_map):
color_map=ClIP(low_map*stature_map+low_map*salient_map,0,255)
其中,CLIP(*,0,255)为将“*”的取值限制在0~255之内,当“*”的值低于0时,将“*”的值置为0,当“*”的值大于255时,将“*”的值置为255。
在一些实施例中,步骤S110中,对图像采集数据进行低通滤波,以得到图像采集数据对应的低通图像,可以包括:
对图像采集数据进行插值处理,以得到图像采集数据对应的彩色图像;
对彩色图像进行低通滤波,以得到彩色图像对应的低通图像;
步骤S120中,依据低通图像对图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据,可以包括:
依据低通图像对彩色图像进行高反差保留处理,以得到去除彩虹纹的彩色图像。
示例性的,为了得到便于人眼观看的图像数据,对于采集到的图像采集数据,可以对图像采集数据进行插值处理,如汉密尔顿插值,得到图像采集数据对应的彩色图像,并对彩色图像进行低通滤波,得到彩色图像对应的低通图像,进而,依据低通图像对彩色图现象进行高反差保留处理,去除彩色图像中的彩虹纹,得到去除彩虹纹的彩色图像。
示例性的,彩色图像是指每个像素由RGB分量构成的图像,因此,也可以将彩色图像称为RGB图像。
在一个示例中,对该彩色图像进行低通滤波,以得到该彩色图像对应的低通图像,可以包括:
分别对彩色图像的R、G和B三通道进行低通滤波,以得到彩色图像对应的低通图像。
示例性的,可以直接通过对彩色图像的R、G和B三通道进行低通滤波,得到彩色图像对应的低通图像。
示例性的,可以利用高斯滤波器对彩色图像的各通道进行低通滤波。
例如,可以利用二维高斯函数构建滤波器模板系数,实现对彩色图像的各通道的低通滤波。
示例性的,该二维高斯函数公式可以如下:
其中,σ表示高斯函数的方差,x为像素点的横坐标,y为像素点的纵坐标。
在另一个示例中,对该彩色图像进行低通滤波,以得到该彩色图像对应的低通图像,可以包括:
将彩色图像转换为YUV图像;
分别对该YUV图像的Y、U和V三通道进行低通滤波;
将低通滤波处理后的YUV图像转换为彩色图像,以得到彩色图像对应的低通图像。
示例性的,为了实现针对获取到的彩色图像的低通滤波,可以先将获取到的彩色图像转换为YUV(一种颜色编码方式)图像。
示例性的,对于任一像素,可以依据该像素的R、G和B分量的值,按照以下策略计算得到该像素Y、U和V分量的值,实现彩色图像到YUV图像的转换:
Y=77*R+150*G+29*B
U=-43*R-85*G+128*B
V=128*R-107*G-21*B
对于得到的YUV图像,可以分别对Y、U和V三通道进行低通滤波,得到低通滤波处理后的YUV图像,并将低通滤波处理后的YUV图像重新转换为RGB图像,以得到彩色图像对应的低通图像。
示例性的,对于任一像素,可以依据该像素的Y、U和V分量的值,按照以下策略计算得到该像素R、G和B分量的值,实现YUV图像到彩色图像的转换:
R=64*Y+0*U+90*V
G=64*Y-22*U–46*V
B=64*Y+114*U+0*V
需要说明的是,在本申请实施例中,步骤S100中获取到的针对目标对象的图像采集数据也可以为针对目标对象的YUV图像,针对获取到的YUV图像可以按照上述实施例中描述的方式进行低通滤波处理以及高反差保留,以实现彩虹纹去除。
在另一个示例中,如图2所示,对该彩色图像进行低通滤波,以得到该彩色图像对应的低通图像,可以通过以下步骤实现:
步骤S111、分别对彩色图像的R、G和B三通道进行低通滤波,以得到彩色图像对应的第一低通图像;
步骤S112、将彩色图像转换为YUV图像,对YUV图像的Y通道进行低通滤波,并将低通滤波处理后的YUV图像转换为彩色图像,以得到彩色图像对应的第二低通图像;
步骤S113、依据第一低通图像和第二低通图像,确定彩色图像对应的低通图像。
示例性的,考虑到对图像的R、G和B通道进行低通滤波时,可能会出现色晕(halo),影响彩虹纹去除效果。为了弱化低通滤波过程中的色晕,当获取到针对目标图像的彩色图像时,一方面,可以分别对彩色图像的R、G和B三通道进行低通滤波,以得到彩色图像对应的低通图像(本文中称为第一低通图像);另一方面,可以将彩色图像转换为YUV图像,对YUV图像的Y通道(亮度通道)进行低通滤波,并将低通滤波处理后的YUV图像转回彩色图像,得到彩色图像对应的低通图像(本文中称为第二低通图像)。
按照上述方式得到第一低通图像和第二低通图像时,可以依据该第一低通图像和第二低通图像,确定彩色图像对应的低通图像。
在一个示例中,步骤S113中,依据第一低通图像和第二低通图像,确定彩色图像对应的低通图像,可以包括:
依据第一低通图像以及第二低通图像,分别对彩色图像的R、G和B三通道进行滤色处理,以得到彩色图像对应的低通图像。
示例性的,为了提升图像的亮度,去除低通图像中的杂色(即纠正偏色以及色阶溢出)在按照上述方式得到第一低通图像和第二低通图像时,可以分别确定第一低通图像和第二低通图像的反相图像,并依据第一低通图像的反相图像和第二低通图像的反相图像,得到彩色图像对应的低通图像实现对彩色图像的R、G和B三通道进行滤色处理,以消除低通图像中的色晕。
示例性的,对于第一低通图像Ilow1,其反相图像为(255-Ilow1);对于第二低通图像Ilow2,其反相图像为(255-Ilow2)。
在一些实施例中,步骤S120中,依据低通图像对彩色图像进行高反差保留处理之后,还可以包括:
对彩色图像对应的高通图像的R、G和B三通道分别进行值映射,以将高通图像的R、G和B三通道的像素值分别从当前值域映射到指定值域。
示例性的,指定值域的上限大于等于当前值域的上限。
示例性的,为了提高彩虹纹去除后的彩色图像的对比度和通透度,在按照图1所示方法流程得到彩色图像的高通图像时,可以对彩色图像对应的高通图像的R、G和B三通道分别进行值映射,将高通图像的R、G和B三通道的像素值分别从当前值域映射到指定值域。
例如,当前值域为[min,max],指定值域为[min,255],max≤255。
在一些实施例中,步骤S110中,对彩色图像进行低通滤波之前,还可以包括:
获取针对目标对象的YUV图像;
依据预设维度对该YUV图像进行质量评估,以确定目标对象是否存在彩虹纹;
当确定目标对象存在彩虹纹时,确定执行上述对彩色图像进行低通滤波的操作。
示例性的,该预设维度可以包括以下之一或多个:
颜色丰富性、清晰度、颜色分量。
示例性的,考虑到彩虹纹去除属于一种定向性较强的处理方式,针对存在彩虹纹的目标对象,进行彩虹纹去除处理,可以优化图像效果;但针对不存在彩虹纹的目标对象,可以不需要进行彩虹纹去除,以避免系统资源浪费,节省系统资源。
示例性的,为了确定目标对象是否存在彩虹纹,可以获取针对目标对象的YUV图像,并可以从颜色丰富性、清晰度以及颜色分量等一个或多个维度,对该YUV图像进行质量评估,以确定目标对象是否存在彩虹纹。
当确定该目标对象存在彩虹纹时,可以按照上述实施例中描述的方式进行去除彩虹纹处理。
当确定该目标对象不存在彩虹纹时,可以不需要进行上述去除彩虹纹处理。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体实施例对本申请实施例提供的技术方案进行说明。
在该实施例中,以车窗彩虹纹去除为例。
实施例一、对图像采集数据插值后去除彩虹纹
一、彩虹纹车窗判定
示例性的,在进行车窗彩虹纹去除之前,可以先确定车窗上是否存在彩虹纹,并在确定车窗上存在彩虹纹时,执行后续彩虹纹去除流程。
示例性的,确定车窗上是否存在彩虹纹的流程示意图可以参见图3。如图3所示,为了确定车窗上是否存在彩虹纹,可以获取车窗的YUV图像(可以称为车窗YUV数据),分别对该车窗YUV数据进行颜色丰富性打分、清晰度计算以及颜色分量统计,并依据颜丰富性分值、清晰度值以及颜色分量值,确定车窗上是否存在彩虹纹。
二、彩虹纹去除
当确定车窗上存在彩虹纹时,可以进行彩虹纹去除处理,其实现流程可以参见图4。
如图4所示,彩虹纹去除流程可以包括:
S1、将输入的bayer数据进行汉密尔顿插值,得到含R、G、B三通道的图像(即上述彩色图像,可以称为图像I)。
示例性的,可以依据摄像头采集的车窗的bayer数据,利用汉密尔顿插值的方式,得到由RGB三通道组成的彩色图像。
示例性的,汉密尔顿插值实现可以包括:
1)、绿色分量重建
首先恢复红色和蓝色采样点处的绿色分量,即图5中(a)和(b)中心采样点处的绿色分量。
以图5中的(a)为例((b)中绿色分量重建过程类似),中心红色采样点R(i,j)处水平方向和垂直方向检测算子(简称水平算子和垂直算子)计算如下:
ΔHi,j=|Gi,j-1-Gi,j+1|+|2Ri,j-Ri,j-2-Ri,j+2|
ΔVi,j=|Gi-1,j-Gi+1,j|+|2Ri,j-Ri-2,j-Ri+2,j|
当水平算子小于垂直算子时,中心点R(i,j)存在水平边缘的概率较大,中心绿色分量的计算沿水平方向进行,公式如下:
当水平算子大于垂直算子时,中心点R(i,j)存在垂直边缘的概率较大,中心绿色分量的计算沿垂直方向进行,公式如下:
若水平算子和垂直算子相等,则中心点处的绿色分量的计算为水平和垂直方向的平均值,公式如下:
2)、绿色采样点处的红色和蓝色分量重建
以图5中的(c)为例((d)中蓝色和红色分量重建过程类似),中心点处的蓝色分量的重建使用左右两点的B-G空间的线性插值,红色分量的重建使用上下两点的R-G空间的线性插值,具体如下:
3)、红色(蓝色)采样点处的蓝色(红色)分量的重建
最后进行图5(a)中心点蓝色的恢复和图5(b)中心点红色的恢复。以图5(a)为例(图5(b)重建过程类似),R周围最近的蓝色像素点,处于R像素点左上,左下、右上、右下四个位置。为了更好的选择插值方向,保存边缘信息,与绿色分量的恢复类似,需要首先沿两个斜四十五度方向计算像素的梯度,再沿梯度较小的方向插值。左下右上和左上右下的梯度计算如下:
D45(i,j)=|Bi-1,j+1-Bi+1,j-1|+|2gi,j-gi-1,j+1-gi+1,j-1|
D135(i,j)=|Bi-1,j-1-Bi+1,j+1|+|2gi,j-gi-1,j-1-gi+1,j+1|
根据梯度的比较结果,选择合适的插值防线,计算如下:
S2、对步骤S1中得到的图像I的RGB三通道分别进行低通滤波,得到图像Ilow1(即上述第一低通图像)。
示例性的,以采用高斯滤波器进行低通滤波为例,利用二维高斯函数构建滤波器模板系数实现低通滤波。
示例性的,二维高斯函数公式可以为:
其中,σ表示高斯函数的方差,x为像素点的横坐标,y为像素点的纵坐标。
S3、将步骤S1中得到的图像I转换到YUV域,并对亮度通道Y进行低通滤波,得到ylow,再与未处理的色域通道UV一起再转回RGB域,得到图像Ilow2(即上述第二低通图像)。
示例性的,步骤S2和S3可以并发执行,也可以先执行其中一个步骤,然后执行另一个步骤。
当得到Ilow1和Ilow2时,执行步骤S4。
S4、依据图像Ilow1和图像Ilow2,利用滤色公式进行计算,得到低通图像Ilow(即上述步骤S113中的彩色图像对应的低通图像)。
示例性的,滤色公式可以如下:
Ilow=255-(255-Ilow1)*(255-Ilow2)/255
S5、将步骤S1中得到的图像I与步骤S4中得到的图像Ilow根据高反差保留公式进行计算,得到高通图像Ihigh。
示例性的,可以分别对RGB三通道利用如下高反差保留公式进行高反差保留处理:
Ihigh=I-Ilow
S6、将步骤S5中得到的图像Ilow从当前值域线性映射到指定值域,得到去除彩虹纹的图像Iout。
示例性的,可以分别对RGB三通道进行值映射。
假设RGB三通道当前值域分别为[mini,maxi](i=1,2,3,分别对应RGB三通道),指定值域为[mini,255],maxi≤255,则可以按照如下公式实现将RGB三通道的值域从当前值域线性映射到指定值域:
Iout=α*Ihigh-mini*β
α=(255-mini)/(maxi-mini)
β=(255-maxi)/(maxi-mini)
实施例二、对图像采集数据去除彩虹纹
请参见图6,对图像采集数据去除彩虹纹处理的流程示意图可以如图6所示,其可以包括以下步骤:
S11、根据输入的bayer图像(即上述图像采集数据,可以记为bayer_src)统计其饱和度特征图像(stature_map),并做归一化处理。
示例性的,统计饱和度的策略可以为
min_v=MIN(r,g1,g2,b)
max_v=MAX(r,g1,g2,b)
stature=(max_v==0?0:1.0-min_v/max_v)
S12、根据输入的bayer图像统计其显著性特征图像(salient_map),并做归一化处理。
示例性的,显著性特征的计算策略可以为:
其中,Ii取值为[0,255]。
S13、根据输入的bayer图像计算低频特征图像。
示例性的,低频获取可以采用低通滤波方式:
low_map=gaussian_filter(bayer_src)
其中,可以使用高斯滤波器,其原理是利用二维高斯函数构建滤波器模板系数,使用的二维高斯函数公式为:
S14、根据计算得到的low_map图像和饱和度图像stature_map、显著性特征图像salient_map,做加权融合处理,输出彩虹条纹层图像(color_map):
color_map=ClIP(low_map*stature_map+low_map*salient_map,0,255)
S15、输出去彩虹纹层图像(即去除彩虹纹的图像采集数据,可以记为out_map):
out_map=bayer_src–color_map
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图7,为本申请实施例提供的一种彩虹纹去除装置的结构示意图,如图7所示,该彩虹纹去除装置可以包括:
获取单元710,用于获取针对目标对象的图像采集数据;
第一处理单元720,用于对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像;
第二处理单元730,用于依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。
在一些实施例中,所述第二处理单元730依据所述低通图像对所述图像采集数据进行高反差保留处理之前,还包括:
确定所述图像采集数据的目标特征图像,所述目标特征图像包括饱和度特征图像,和/或,显著性特征图像;
所述第二处理单元730依据所述低通图像对所述图像采集数据进行高反差保留处理,包括:
依据所述目标特征图像,对所述低通图像进行融合处理,以得到彩虹条纹层图像;
依据所述彩虹条纹层图像对所述图像采集数据进行高反差保留处理。
在一些实施例中,所述第一处理单元720对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像,包括:
对所述图像采集数据进行插值处理,以得到所述图像采集数据对应的彩色图像;
对所述彩色图像进行低通滤波,以得到所述彩色图像对应的低通图像;
所述第二处理单元730依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据,包括:
依据所述低通图像对所述彩色图像进行高反差保留处理,以得到去除彩虹纹的彩色图像。
在一些实施例中,所述第一处理单元720对所述彩色图像进行低通滤波,以得到所述彩色图像对应的低通图像,包括:
分别对所述彩色图像的R、G和B三通道进行低通滤波,以得到所述彩色图像对应的第一低通图像;以及,
将所述彩色图像转换为YUV图像,对所述YUV图像的Y通道进行低通滤波,并将低通滤波处理后的YUV图像转换为彩色图像,以得到所述彩色图像对应的第二低通图像;
依据所述第一低通图像和所述第二低通图像,确定所述彩色图像对应的低通图像。
在一些实施例中,所述第一处理单元720依据所述第一低通图像和所述第二低通图像,确定所述彩色图像对应的低通图像,包括:
依据所述第一低通图像以及所述第二低通图像,分别对所述彩色图像的R、G和B三通道进行滤色处理,以得到所述彩色图像对应的低通图像。
在一些实施例中,所述第二处理单元730依据所述低通图像对所述彩色图像进行高反差保留处理之后,还包括:
对所述彩色图像对应的高通图像的R、G和B三通道分别进行值映射,以将所述高通图像的R、G和B三通道的像素值分别从当前值域映射到指定值域。
在一些实施例中,所述获取单元710,还用于获取针对所述目标对象的YUV图像;
所述第一处理单元720,具体用于依据预设维度对所述YUV图像进行质量评估,以确定所述目标对象是否存在彩虹纹;当确定所述目标对象存在彩虹纹时,对彩色图像进行低通滤波;
所述预设维度包括以下之一或多个:
颜色丰富性、清晰度、颜色分量。
对应地,本申请还提供了图7所示装置的硬件结构。参见图8,该硬件结构可包括:处理器和机器可读存储介质,机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现本申请上述示例公开的方法。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的方法。
示例性的,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种彩虹纹去除方法,其特征在于,包括:
获取针对目标对象的图像采集数据;
对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像;
依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。
2.根据权利要求1所述的方法,其特征在于,所述依据所述低通图像对所述图像采集数据进行高反差保留处理之前,还包括:
确定所述图像采集数据的目标特征图像,所述目标特征图像包括饱和度特征图像,和/或,显著性特征图像;
所述依据所述低通图像对所述图像采集数据进行高反差保留处理,包括:
依据所述目标特征图像,对所述低通图像进行融合处理,以得到彩虹条纹层图像;
依据所述彩虹条纹层图像对所述图像采集数据进行高反差保留处理。
3.根据权利要求1所述的方法,其特征在于,所述对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像,包括:
对所述图像采集数据进行插值处理,以得到所述图像采集数据对应的彩色图像;
对所述彩色图像进行低通滤波,以得到所述彩色图像对应的低通图像;
所述依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据,包括:
依据所述低通图像对所述彩色图像进行高反差保留处理,以得到去除彩虹纹的彩色图像。
4.根据权利要求3所述的方法,其特征在于,所述对所述彩色图像进行低通滤波,以得到所述彩色图像对应的低通图像,包括:
分别对所述彩色图像的R、G和B三通道进行低通滤波,以得到所述彩色图像对应的第一低通图像;以及,
将所述彩色图像转换为YUV图像,对所述YUV图像的Y通道进行低通滤波,并将低通滤波处理后的YUV图像转换为彩色图像,以得到所述彩色图像对应的第二低通图像;
依据所述第一低通图像和所述第二低通图像,确定所述彩色图像对应的低通图像。
5.根据权利要求4所述的方法,其特征在于,所述依据所述第一低通图像和所述第二低通图像,确定所述彩色图像对应的低通图像,包括:
依据所述第一低通图像以及所述第二低通图像,分别对所述彩色图像的R、G和B三通道进行滤色处理,以得到所述彩色图像对应的低通图像。
6.根据权利要求3所述的方法,其特征在于,所述依据所述低通图像对所述彩色图像进行高反差保留处理之后,还包括:
对所述彩色图像对应的高通图像的R、G和B三通道分别进行值映射,以将所述高通图像的R、G和B三通道的像素值分别从当前值域映射到指定值域。
7.根据权利要求3-6任一项所述的方法,其特征在于,所述对所述彩色图像进行低通滤波之前,还包括:
获取针对所述目标对象的YUV图像;
依据预设维度对所述YUV图像进行质量评估,以确定所述目标对象是否存在彩虹纹;
当确定所述目标对象存在彩虹纹时,确定执行所述对所述彩色图像进行低通滤波的操作;
所述预设维度包括以下之一或多个:
颜色丰富性、清晰度、颜色分量。
8.一种彩虹纹去除装置,其特征在于,包括:
获取单元,用于获取针对目标对象的图像采集数据;
第一处理单元,用于对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像;
第二处理单元,用于依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据。
9.根据权利要求8所述的装置,其特征在于,所述第二处理单元依据所述低通图像对所述图像采集数据进行高反差保留处理之前,还包括:
确定所述图像采集数据的目标特征图像,所述目标特征图像包括饱和度特征图像,和/或,显著性特征图像;
所述第二处理单元依据所述低通图像对所述图像采集数据进行高反差保留处理,包括:
依据所述目标特征图像,对所述低通图像进行融合处理,以得到彩虹条纹层图像;
依据所述彩虹条纹层图像对所述图像采集数据进行高反差保留处理;
和/或,
所述第一处理单元对所述图像采集数据进行低通滤波,以得到所述图像采集数据对应的低通图像,包括:
对所述图像采集数据进行插值处理,以得到所述图像采集数据对应的彩色图像;
对所述彩色图像进行低通滤波,以得到所述彩色图像对应的低通图像;
所述第二处理单元依据所述低通图像对所述图像采集数据进行高反差保留处理,以得到去除彩虹纹的图像采集数据,包括:
依据所述低通图像对所述彩色图像进行高反差保留处理,以得到去除彩虹纹的彩色图像;
其中,所述第一处理单元对所述彩色图像进行低通滤波,以得到所述彩色图像对应的低通图像,包括:
分别对所述彩色图像的R、G和B三通道进行低通滤波,以得到所述彩色图像对应的第一低通图像;以及,
将所述彩色图像转换为YUV图像,对所述YUV图像的Y通道进行低通滤波,并将低通滤波处理后的YUV图像转换为彩色图像,以得到所述彩色图像对应的第二低通图像;
依据所述第一低通图像和所述第二低通图像,确定所述彩色图像对应的低通图像;
其中,所述第一处理单元依据所述第一低通图像和所述第二低通图像,确定所述彩色图像对应的低通图像,包括:
依据所述第一低通图像以及所述第二低通图像,分别对所述彩色图像的R、G和B三通道进行滤色处理,以得到所述彩色图像对应的低通图像;
其中,所述第二处理单元依据所述低通图像对所述彩色图像进行高反差保留处理之后,还包括:
对所述彩色图像对应的高通图像的R、G和B三通道分别进行值映射,以将所述高通图像的R、G和B三通道的像素值分别从当前值域映射到指定值域;
和/或,
所述获取单元,具体用于获取针对所述目标对象的YUV图像;
得到第一处理单元,具体用于依据预设维度对所述YUV图像进行质量评估,以确定所述目标对象是否存在彩虹纹;当确定所述目标对象存在彩虹纹时,对彩色图像进行低通滤波的操作;
所述预设维度包括以下之一或多个:
颜色丰富性、清晰度、颜色分量。
10.一种电子设备,其特征在于,该电子设备包括:
处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110152921.XA CN112907467B (zh) | 2021-02-03 | 2021-02-03 | 彩虹纹去除方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110152921.XA CN112907467B (zh) | 2021-02-03 | 2021-02-03 | 彩虹纹去除方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112907467A true CN112907467A (zh) | 2021-06-04 |
CN112907467B CN112907467B (zh) | 2023-04-28 |
Family
ID=76122073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110152921.XA Active CN112907467B (zh) | 2021-02-03 | 2021-02-03 | 彩虹纹去除方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907467B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610799A (zh) * | 2021-08-04 | 2021-11-05 | 沭阳九鼎钢铁有限公司 | 基于人工智能的光伏电池板彩虹纹检测方法、装置及设备 |
WO2023045513A1 (zh) * | 2021-09-22 | 2023-03-30 | 浙江宇视科技有限公司 | 车窗彩纹处理方法、装置、存储介质及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101552860A (zh) * | 2009-05-13 | 2009-10-07 | 西安理工大学 | 基于网点检测与网点填充的半色调图像去网方法 |
US20170287116A1 (en) * | 2014-09-29 | 2017-10-05 | Nec Corporation | Image processing method, image processing device, and recording medium for storing image processing program |
US20170372454A1 (en) * | 2016-06-24 | 2017-12-28 | Konica Minolta, Inc. | Radiographic image capturing system, image processor, and image processing method |
CN108122201A (zh) * | 2017-12-21 | 2018-06-05 | 珠海亿智电子科技有限公司 | 一种拜耳插值拉链效应去除方法 |
CN110517206A (zh) * | 2019-09-05 | 2019-11-29 | 昆山锐芯微电子有限公司 | 彩色摩尔纹消除方法及装置 |
CN110599410A (zh) * | 2019-08-07 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 图像处理的方法、装置、终端及存储介质 |
CN111028180A (zh) * | 2019-12-23 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 图像处理方法、视频处理方法以及对应的装置 |
CN112132072A (zh) * | 2020-09-27 | 2020-12-25 | 深圳市汇顶科技股份有限公司 | 指纹识别的方法、装置和电子设备 |
CN112312032A (zh) * | 2020-10-21 | 2021-02-02 | Tcl通讯(宁波)有限公司 | 一种屏下摄像头摄像方法、装置、存储介质及移动终端 |
-
2021
- 2021-02-03 CN CN202110152921.XA patent/CN112907467B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101552860A (zh) * | 2009-05-13 | 2009-10-07 | 西安理工大学 | 基于网点检测与网点填充的半色调图像去网方法 |
US20170287116A1 (en) * | 2014-09-29 | 2017-10-05 | Nec Corporation | Image processing method, image processing device, and recording medium for storing image processing program |
US20170372454A1 (en) * | 2016-06-24 | 2017-12-28 | Konica Minolta, Inc. | Radiographic image capturing system, image processor, and image processing method |
CN108122201A (zh) * | 2017-12-21 | 2018-06-05 | 珠海亿智电子科技有限公司 | 一种拜耳插值拉链效应去除方法 |
CN110599410A (zh) * | 2019-08-07 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 图像处理的方法、装置、终端及存储介质 |
CN110517206A (zh) * | 2019-09-05 | 2019-11-29 | 昆山锐芯微电子有限公司 | 彩色摩尔纹消除方法及装置 |
CN111028180A (zh) * | 2019-12-23 | 2020-04-17 | 腾讯科技(深圳)有限公司 | 图像处理方法、视频处理方法以及对应的装置 |
CN112132072A (zh) * | 2020-09-27 | 2020-12-25 | 深圳市汇顶科技股份有限公司 | 指纹识别的方法、装置和电子设备 |
CN112312032A (zh) * | 2020-10-21 | 2021-02-02 | Tcl通讯(宁波)有限公司 | 一种屏下摄像头摄像方法、装置、存储介质及移动终端 |
Non-Patent Citations (2)
Title |
---|
LANLAN CHANG等: "DETECTION AND REMOVAL OF RAINBOW EFFECT ARTIFACTS", 《DETECTION AND REMOVAL OF RAINBOW EFFECT ARTIFACTS》 * |
徐熹 等: "从物理密度到光学密度数字影像与传统影像的成像差异", 《北京电影学院学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610799A (zh) * | 2021-08-04 | 2021-11-05 | 沭阳九鼎钢铁有限公司 | 基于人工智能的光伏电池板彩虹纹检测方法、装置及设备 |
CN113610799B (zh) * | 2021-08-04 | 2022-07-08 | 沭阳九鼎钢铁有限公司 | 基于人工智能的光伏电池板彩虹纹检测方法、装置及设备 |
WO2023045513A1 (zh) * | 2021-09-22 | 2023-03-30 | 浙江宇视科技有限公司 | 车窗彩纹处理方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112907467B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021077706A1 (zh) | 图像融合方法、装置、存储介质及电子设备 | |
Ancuti et al. | O-haze: a dehazing benchmark with real hazy and haze-free outdoor images | |
CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
Tang et al. | Investigating haze-relevant features in a learning framework for image dehazing | |
CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
US9842382B2 (en) | Method and device for removing haze in single image | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
US9117262B2 (en) | Learned piece-wise patch regression for image enhancement | |
Chatterjee et al. | Noise suppression in low-light images through joint denoising and demosaicing | |
Chen et al. | Hazy image restoration by bi-histogram modification | |
CN108122206A (zh) | 一种低照度图像降噪方法及装置 | |
TWI808406B (zh) | 圖像去霧方法和使用圖像去霧方法的圖像去霧設備 | |
CN112785534A (zh) | 一种动态场景下去鬼影多曝光图像融合方法 | |
Dharejo et al. | A color enhancement scene estimation approach for single image haze removal | |
CN112907467B (zh) | 彩虹纹去除方法、装置及电子设备 | |
CN113298810A (zh) | 结合图像增强和深度卷积神经网络的道线检测方法 | |
CN108492259A (zh) | 一种图像处理方法及图像处理系统 | |
Kinoshita et al. | Automatic exposure compensation using an image segmentation method for single-image-based multi-exposure fusion | |
EP1730694A1 (en) | Detecting hanging wires in color digital images | |
CN111640077A (zh) | 一种简单高效的模糊文本图片清晰化处理方法 | |
CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
CN104766287A (zh) | 一种基于显著性检测的模糊图像盲复原方法 | |
CN113538309A (zh) | 水下散射图像多尺度融合复原方法和装置 | |
Wang et al. | Nighttime image dehazing using color cast removal and dual path multi-scale fusion strategy | |
Abbaspour et al. | A new fast method for foggy image enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |