CN108391067B - 一种基于rgb-ir传感器的去噪增强装置及方法 - Google Patents

一种基于rgb-ir传感器的去噪增强装置及方法 Download PDF

Info

Publication number
CN108391067B
CN108391067B CN201810443463.3A CN201810443463A CN108391067B CN 108391067 B CN108391067 B CN 108391067B CN 201810443463 A CN201810443463 A CN 201810443463A CN 108391067 B CN108391067 B CN 108391067B
Authority
CN
China
Prior art keywords
data
unit
component
filtering
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810443463.3A
Other languages
English (en)
Other versions
CN108391067A (zh
Inventor
曾勇
尚宇盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinmai Microelectronics Co ltd
Original Assignee
Zhejiang Xinmai Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinmai Microelectronics Co ltd filed Critical Zhejiang Xinmai Microelectronics Co ltd
Priority to CN201810443463.3A priority Critical patent/CN108391067B/zh
Publication of CN108391067A publication Critical patent/CN108391067A/zh
Application granted granted Critical
Publication of CN108391067B publication Critical patent/CN108391067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于RGB‑IR传感器的去噪增强装置及方法，RGB‑IR传感器成像形成M*N色彩阵列输出到图像输入单元；颜色通道分离单元通过下采样实现将RGB‑IR数据各颜色分量和IR分量进行分离，得到R、G、B、IR分量并行送入滤波处理单元处理后输出为保留细节降噪处理的Rdn、Gdn、Bdn、IRdn分量，输入到颜色增强单元，通过计算处理得到去噪增强后的整体输出图；去噪强度控制单元根据去噪强度参数α决定去噪图像输出比例,图像输出单元对输出的去噪图像进行格式控制，输出去噪后的图像；本发明针对RGB‑IR传感器进行去噪增强处理，充分考虑传感器成像特性，在消除各分量噪声干扰同时，通过消除各颜色通道的红外干扰实现颜色增强。

Description

一种基于RGB-IR传感器的去噪增强装置及方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于RGB-IR传感器的去噪增强装置及方法。
背景技术
RGB-IR传感器可同时感应可见光和红外光信号，比传统Bayer传感器更利于低光照条件成像。目前并没有针对RGB-IR传感器进行去噪处理的特定方法或装置。将现有的去噪方法直接运用到RGB-IR传感器，虽然能达到一定去噪效果，但是无法消除由于红外干扰带来的颜色失真。而现有RGB-IR颜色校正算法虽然能消除红外干扰，却很少对图像噪声进行关注。
发明内容
针对现有技术的不足，本发明提供一种基于RGB-IR传感器的去噪增强装置及方法,针对RGB-IR传感器特殊感光特性进行去噪增强处理，先对各颜色分量和红外分量进行滤波去噪，再通过预实验配置参数以消除各颜色分量的红外干扰；在保留较多细节同时达到较好去噪效果，并且通过去干扰以增强各颜色分量，最终还可在各种成像环境通过配置控制参数实现去噪和细节均衡，以达到最佳成像效果。
为了解决现有技术存在不足，本发明提供一种基于RGB-IR传感器的去噪增强装置，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；
RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；
图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；
滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；
Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插值，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
作为一种优选方式，所述M*N色彩阵列是2*2或4*4格式。
作为一种优选方式，所述滤波处理单元包括滤波单元、细节信息检测单元，滤波单元包括R/B通道滤波单元、G通道滤波单元和IR通道滤波单元，不同单元邻域有效数据获取模块有所不同；细节信息检测单元包括内插单元和细节计算单元，最终将细节信息送入滤波单元。
作为一种优选方式，所述颜色增强单元包括R、G、B分量增强单元、IR通道内插单元和分量整合单元；其中，R、G、B分量增强单元由内置参数除去各颜色通道红外干扰；IR内插单元对滤波模块输出的IR数据进行内插，恢复各颜色通道位置的IR分量以辅助图像增强；分量整合单元将各增强模块输出的颜色分量和去噪输出的IR分量按输入阵列格式进行整合，得到去噪增强后的整体输出图，输出格式与传感器阵列格式完全一致。
本发明还提供一种基于RGB-IR传感器的去噪增强方法，包括以下步骤：
S1:RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；
S2:图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；
S3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；
S4:Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
S5:原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
S6:对上述去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
作为一种优选方法，S3步骤滤波处理单元处理方法包括以下步骤：
1)细节信息检测单元通过内插单元的插值算法得到全幅G通道数据；
2)将各通道数据送入对应的滤波单元，同时参考细节计算单元进行滤波处理。
作为一种优选方法，所述步骤1)内插单元的插值算法是双线性插值或三次插值算法。
作为一种优选方法，步骤2)滤波处理包括高斯滤波或双边滤波或三边滤波或非局部均值滤波或导向滤波或BM3D滤波。
作为一种优选方法，S4步骤颜色增强单元处理方法包括以下步骤：
1)红外去噪分量插值，其实现与细节内插单元一致，插值算法采用双线性插值或曲线插值；
2)根据各颜色预置参数和颜色通道的IR插值分量进行去干扰，公式表达如下：Mout＝Mdn-kM*IRdn；其中，Mout为增强后输出的各颜色通道值，Mdn为去噪后的各颜色通道数据，IRdn为去噪后的红外去噪分量插值，kM为各颜色通道预置去干扰参数，其值通过预实验得到；
3)将去干扰的各颜色分量和红外去噪分量按原始数据阵列排列整合。
作为一种优选方法，步骤2)各颜色通道去干扰参数kM具体计算步骤包括：
a)在相同环境针对同一场景采集RGB-IR原始数据和对比数据，在传感器上安装红外截止滤光片采集对比数据；
b)求原始数据与对比数据差值；
c)对原始数据红外通道内插，得到各颜色通道位置对应的红外数据；
d)求b)步骤中各颜色通道差值与对应出c)步骤数据比值；
e)将各颜色通道比值求均值，得到各颜色通道去干扰参数kM。
作为一种优选方法，S5步骤根据去噪强度参数α决定去噪图像最终输出比例，其计算公式如下：Imgout＝(1-α)*Imgori+α*Imgfilt，其中，Imgout、Imgori和Imgfilt分别代表最终去噪图像，原始输入图像和滤波输出图像，其数据格式均与原始数据阵列格式相同，α为去噪强度参数，其值与各颜色通道、亮度控制及曝光参数相关。
本发明与现有技术相比有益效果：本发明针对RGB-IR传感器进行去噪增强处理，充分考虑传感器成像特性，在消除各分量噪声干扰同时，通过消除各颜色通道的红外干扰实现颜色增强；去噪强度控制单元通过配置与亮度、曝光参数相关的控制曲线，可适应多种环境输出最优去噪增强效果；还能有效校正其色偏现象，使得后在对RGB-IR传感器数据实现上述去噪效果的同时，后续图像处理模块的颜色校正及白平衡处理均可按传统数据进行。
附图说明
图1是本发明装置系统结构图。
图2是本发明滤波处理单元内部结构框图。
图3是本发明颜色增强单元内部结构图。
图4是本发明去噪强度控制参数曲线示意图。
图5是本发明2*2Bayer格式数据阵列图。
图6是本发明4*4Bayer格式数据阵列图。
图7是本发明5*5滤波邻域图。
图8是本发明5*5全幅细节数据图。
具体实施方式
下面对本发明的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。
如图1所示，本发明提供一种基于RGB-IR传感器的去噪增强装置实施例，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；
RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；
图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；
滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；
Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插值，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
本发明还提供一种基于RGB-IR传感器的去噪增强方法实施例，包括以下步骤：
S1:RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；
S2:图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；
S3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；
S4:Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
S5:原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；
S6:对上述去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。
本实施例可适用于基于RGB-IR传感器的去噪增强的应用场景中，基于RGB-IR传感器的去噪增强方法可以由基于RGB-IR传感器的去噪增强装置来执行，基于RGB-IR传感器的去噪增强装置的结构与方法中所述的结构相同。
下面结合基于RGB-IR传感器的去噪增强方法实施例具体描述实施过程如下：
1、图像输入模块通过RGB-IR传感器采集数据，输出M*N色彩阵列。M*N色彩阵列可以是如图5所示常见的2*2阵列格式或如图6所示4*4阵列格式。需要重点指出，RGB-IR传感器所搭配的光学滤镜及滤光片，影响着各颜色通道及红外通道在可见光及红外光波段的感应曲线，更进一步影响颜色增强参数。
2、颜色通道分离单元分离各颜色及红外分量，并得到4路输出数据。4路输出数据包括R分量、G分量、B分量以及IR分量，并行送入滤波处理单元。
3、如图2所示，滤波处理单元输入为R分量、G分量、B分量以及IR分量，本实施例以图5所示2*2输入阵列为例，则各通道输出仅为原图像矩阵的1/4，各通道滤波参考细节信息由细节信息检测单元得到，其中，细节信息检测单元包括内插单元和细节计算单元。具体滤波处理流程如下：
1)细节信息检测单元通过内插单元得到全幅G通道数据，具体实现不限于常见的双线性内插或三次插值等；
2)将各通道数据送入对应的滤波单元，同时参考细节计算单元进行滤波处理，具体滤波处理不限于常见的高斯滤波、双边滤波、三边滤波，非局部均值滤波，导向滤波或BM3D滤波等算法。
如图6所示，4*4的输入阵列的R滤波单元和基础高斯滤波为例对滤波处理流程进一步说明如下：
a)对待处理R数据点获取邻域数据，如图7所示，以R33为例，若选取5*5为滤波邻域，R有效数据点为R11、R15、R33、R51、R55，其余像素点不包含R通道信息，为该情况无效数据点，不参与实际滤波。需说明的是，有效数据点和无效数据点相对位置关系与传感器类型和中心点颜色值有关。
b)由数据中心点及邻域大小在细节计算单元进行定位，得到对应的5*5全幅细节数据，如图8所示，G12、G14、G21、G23、G25、G32、G34、G41、G43、G45、G52和G54为原始G数据，G11、G13、G15、G22、G24、G31、G33、G35、G42、G44、G51、G53、G55为内插得到的G数据值。
c)由细节计算单元计算该中心点细节信息辅助滤波，具体实现通过计算邻域中数据有效点的位置上的G11、G15、G33、G51、G55与中心点位置的G33差值，并得到一个5*5的细节权重矩阵w1，然后将对其进行归一化处理，使得各权重值均在0～1区间，且权重之和为1。同理，该邻域无效数据点处权值为0，不对滤波产生影响。
d)对R通道数据进行滤波，以高斯滤波为例，计算邻域内每个有效数据点与中心点的欧式距离，并以该距离为参数进行高斯加权，得到高斯权重矩阵w2，其公式表达如下：其中，(x,y)和(x0，y0)分别表示邻域点和中心点坐标，σ表示高斯函数标准差，w2为输出的高斯滤波权重，无效点数据高斯权值为0。
e)以高斯滤波权重w2和细节权重w1矩阵对该中心点邻域有效点进行加权滤波，得到该点的去噪数据。
f)遍历R通道数据矩阵，重复上述步骤。
同样，对于B、G滤波和IR滤波单元，其滤波也由上述过程实现。注意，根据不同应用场景，滤波方法不限于高斯滤波，其余如双边滤波，非局部均值滤波等也可参考细节信息检测单元进行实现。
4、如图3所示，颜色增强单元通过对去噪后的IR通道数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，最终将消除干扰的R/G/B分量和IR通道分量进行整合。具体实现流程如下：
1)红外去噪分量插值，其实现与细节内插单元一致，不限于常见的双线性插值或曲线插值；
2)根据各颜色预置参数和颜色通道的IR插值分量进行去干扰，公式表达如下：Mout＝Mdn-kM*IRdn；其中，Mout为增强后输出的各颜色通道值，Mdn为去噪后的各颜色通道数据，IRdn为去噪后的红外通道数据,也是1)步骤内插输出数据，kM为各颜色通道预置去干扰参数，其值通过预实验得到；
a)在相同环境针对同一场景采集RGB-IR原始数据和对比数据，在传感器上安装红外截止滤光片采集对比数据；
b)求原始数据与对比数据差值；
c)对原始数据红外通道内插，得到各颜色通道位置对应的红外数据；
d)求b)步骤中各颜色通道差值与对应c)步骤得到数据比值；
e)将各颜色通道比值求均值，得到各颜色通道去干扰参数kM。
3)将去干扰的各颜色分量和红外去噪分量按原始数据阵列排列整合。
5、去噪强度控制单元通过调整滤波前后的图像数据比例实现。根据去噪强度参数α决定去噪图像最终输出比例，其公式表达如下：Imgout＝(1-α)*Imgori+α*Imgfilt；其中，Imgout、Imgori和Imgfilt分别代表最终去噪图像，原始输入图像和滤波输出图像，其数据格式均与原始数据阵列格式相同，α为去噪强度参数，其值与各颜色通道、亮度控制及曝光参数相关。仅考虑亮度去噪控制时，α参数控制曲线横坐标表示亮度，纵坐标为控制参数α。如图4所示，当亮度较低或很高时，输出像素点几乎不进行去噪处理。
6、图像输出单元将最终去噪图像送入后续处理模块，根据后续处理需求可以通过内插对数据进行格式变换。
以上仅是本发明的优选实施方式，本发明的保护范围并不限于上述实施例，凡属于本发明思路下的技术方案均属于本发明保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于RGB-IR传感器的去噪增强装置，其特征在于，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；
RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；
图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；
滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；
Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数决定去噪图像输出比例；
对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像；
4*4的输入阵列的R滤波单元和基础高斯滤波对滤波处理流程如下：
A)对待处理R数据点获取邻域数据，选取5*5为滤波邻域，R有效数据点为R11、R15、R33、R51、R55，其余像素点不包含R通道信息，为该情况无效数据点，不参与实际滤波；
B)由数据中心点及邻域大小在细节计算单元进行定位，得到对应的5*5全幅细节数据，G12、G14、G21、G23、G25、G32、G34、G41、G43、G45、G52和G54为原始G数据，G11、G13、G15、G22、G24、G31、G33、G35、G42、G44、G51、G53、G55为内插得到的G数据值；
C)由细节计算单元计算该中心点细节信息辅助滤波，具体实现通过计算邻域中数据有效点的位置上的G11、G15、G33、G51、G55与中心点位置的G33差值，并得到一个5*5的细节权重矩阵W1，然后将对其进行归一化处理，使得各权重值均在0-1区间，且权重之和为1；同理，该邻域无效数据点处权值为0，不对滤波产生影响；
D)对R通道数据进行滤波，计算邻域内每个有效数据点与中心点的欧式距离，并以该距离为参数进行高斯加权，得到高斯权重矩阵W2，其公式表达如下：
其中，(X,Y)和(X0,Y0)分别表示邻域点和中心点坐标，σ表示高斯函数标准差，W2为输出的高斯滤波权重，无效点数据高斯权值为0；
E)以高斯滤波权重W2和细节权重W1矩阵对该中心点邻域有效点进行加权滤波，得到该点的去噪数据；
F)遍历R通道数据矩阵，重复上述步骤；同样，对于B、G滤波和IR滤波单元，其滤波也由上述过程实现。
2.如权利要求1所述的基于RGB-IR传感器的去噪增强装置，其特征在于，所述M*N色彩阵列是2*2或4*4格式。
3.如权利要求1所述的基于RGB-IR传感器的去噪增强装置，其特征在于，所述滤波处理单元包括滤波单元、细节信息检测单元，滤波单元包括R/B通道滤波单元、G通道滤波单元和IR通道滤波单元，不同单元邻域有效数据获取模块有所不同；细节信息检测单元包括内插单元和细节计算单元，最终将细节信息送入滤波单元。
4.如权利要求1所述的基于RGB-IR传感器的去噪增强装置，其特征在于，所述颜色增强单元包括R、G、B分量增强单元、IR通道内插单元和分量整合单元；其中，R、G、B分量增强单元由内置参数除去各颜色通道红外干扰；IR内插单元对滤波模块输出的IR数据进行内插，恢复各颜色通道位置的IR分量以辅助图像增强；分量整合单元将各增强单元输出的颜色分量和去噪输出的IR分量按输入阵列格式进行整合，得到去噪增强后的整体输出图，输出格式与传感器阵列格式完全一致。
5.一种基于RGB-IR传感器的去噪增强方法，其特征在于：它包括以下步骤：
S1:RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；
S2:图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；
S3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；
S4:Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；
S5:原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数决定去噪图像输出比例；
S6:对上述去噪图像进行格式控制，图像输出单元最终输出去噪后的图像；
4*4的输入阵列的R滤波单元和基础高斯滤波对滤波处理流程如下：
A)对待处理R数据点获取邻域数据，选取5*5为滤波邻域，R有效数据点为R11、R15、R33、R51、R55，其余像素点不包含R通道信息，为该情况无效数据点，不参与实际滤波；
B)由数据中心点及邻域大小在细节计算单元进行定位，得到对应的5*5全幅细节数据，G12、G14、G21、G23、G25、G32、G34、G41、G43、G45、G52和G54为原始G数据，G11、G13、G15、G22、G24、G31、G33、G35、G42、G44、G51、G53、G55为内插得到的G数据值；
C)由细节计算单元计算该中心点细节信息辅助滤波，具体实现通过计算邻域中数据有效点的位置上的G11、G15、G33、G51、G55与中心点位置的G33差值，并得到一个5*5的细节权重矩阵W1，然后将对其进行归一化处理，使得各权重值均在0-1区间，且权重之和为1；同理，该邻域无效数据点处权值为0，不对滤波产生影响；
D)对R通道数据进行滤波，计算邻域内每个有效数据点与中心点的欧式距离，并以该距离为参数进行高斯加权，得到高斯权重矩阵W2，其公式表达如下：
其中，(X，Y)和(X0，Y0)分别表示邻域点和中心点坐标，σ表示高斯函数标准差，W2为输出的高斯滤波权重，无效点数据高斯权值为0；
E)以高斯滤波权重W2和细节权重W1矩阵对该中心点邻域有效点进行加权滤波，得到该点的去噪数据；
F)遍历R通道数据矩阵，重复上述步骤；同样，对于B、G滤波和IR滤波单元，其滤波也由上述过程实现。
6.如权利要求5所述的基于RGB-IR传感器的去噪增强方法，其特征在于，S3步骤滤波处理单元处理方法进一步包括以下步骤：
1)细节信息检测单元通过内插单元的插值算法得到全幅G通道数据；
2)将各通道数据送入对应的滤波单元，同时参考细节计算单元进行滤波处理。
7.如权利要求6所述的基于RGB-IR传感器的去噪增强方法，其特征在于，所述步骤1)内插单元的插值算法是双线性插值或三次插值算法，步骤2)滤波处理包括高斯滤波或双边滤波或三边滤波或非局部均值滤波或导向滤波或BM3D滤波。
8.如权利要求5所述的基于RGB-IR传感器的去噪增强方法，其特征在于，S4步骤颜色增强单元处理方法进一步包括以下步骤：
1)红外去噪分量插值，其实现与细节内插单元一致，插值算法采用双线性插值或曲线插值；
2)根据各颜色预置参数和颜色通道的IR插值分量进行去干扰，公式表达如下：Mout＝Mdn-kM*IRdn；其中，Mout为增强后输出的各颜色通道值，Mdn为去噪后的各颜色通道数据，IRdn为去噪后的红外去噪分量插值，kM为各颜色通道预置去干扰参数，其值通过预实验得到；
3)将去干扰的各颜色分量和红外去噪分量按原始数据阵列排列整合。
9.如权利要求8所述的基于RGB-IR传感器的去噪增强方法，其特征在于，步骤2)各颜色通道去干扰参数具体计算步骤包括：
a)在相同环境针对同一场景采集RGB-IR原始数据和对比数据，在传感器上安装红外截止滤光片采集对比数据；
b)求原始数据与对比数据差值；
c)对原始数据红外通道内插，得到各颜色通道位置对应的红外数据；
d)求b)步骤中各颜色通道差值与对应出c)步骤数据比值；
e)将各颜色通道比值求均值，得到各颜色通道去干扰参数kM。
10.如权利要求5所述的基于RGB-IR传感器的去噪增强方法，其特征在于，S5步骤根据去噪强度参数α决定去噪图像最终输出比例，其计算公式如下：Imgout＝(1-α)*Imgori+α*Imgfilt；其中，Imgout、Imgori和Imgfilt分别代表最终去噪图像，原始输入图像和滤波输出图像，其数据格式均与原始数据阵列格式相同，α为去噪强度参数，其值与各颜色通道、亮度控制及曝光参数相关。
CN201810443463.3A 2018-05-10 2018-05-10 一种基于rgb-ir传感器的去噪增强装置及方法 Active CN108391067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810443463.3A CN108391067B (zh) 2018-05-10 2018-05-10 一种基于rgb-ir传感器的去噪增强装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810443463.3A CN108391067B (zh) 2018-05-10 2018-05-10 一种基于rgb-ir传感器的去噪增强装置及方法

Publications (2)

Publication Number Publication Date
CN108391067A CN108391067A (zh) 2018-08-10
CN108391067B true CN108391067B (zh) 2023-09-29

Family

ID=63070798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810443463.3A Active CN108391067B (zh) 2018-05-10 2018-05-10 一种基于rgb-ir传感器的去噪增强装置及方法

Country Status (1)

Country Link
CN (1) CN108391067B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168880A1 (en) * 2013-04-12 2014-10-16 Qualcomm Incorporated Near infrared guided image denoising
CN106131462A (zh) * 2016-06-24 2016-11-16 华为技术有限公司 一种对图像进行校正的方法和装置
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN107248148A (zh) * 2017-06-14 2017-10-13 上海晔芯电子科技有限公司 图像降噪方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711249B2 (en) * 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
JP2015185943A (ja) * 2014-03-20 2015-10-22 株式会社東芝 フィルタアレイ付マイクロレンズおよび固体撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168880A1 (en) * 2013-04-12 2014-10-16 Qualcomm Incorporated Near infrared guided image denoising
CN106131462A (zh) * 2016-06-24 2016-11-16 华为技术有限公司 一种对图像进行校正的方法和装置
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN107248148A (zh) * 2017-06-14 2017-10-13 上海晔芯电子科技有限公司 图像降噪方法及系统

Also Published As

Publication number Publication date
CN108391067A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
JP5597717B2 (ja) 撮像素子における欠陥画素の検出及び補正のためのシステム及び方法
JP5688090B2 (ja) 重み付け勾配を利用した画像データのデモザイク処理のためのシステム及び方法
EP2491528B1 (en) Temporal filtering techniques for image signal processing
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
US8238685B2 (en) Image noise reduction method and image processing apparatus using the same
EP1766569A1 (en) Methods, system, program modules and computer program product for restoration of color components in an image model
EP1958151A2 (en) Image enhancement in the mosaic domain
WO2004097736A1 (en) Color filter array interpolation
US8610801B2 (en) Image processing apparatus including chromatic aberration correcting circuit and image processing method
CN110517206B (zh) 彩色摩尔纹消除方法及装置
CN111539893A (zh) 一种基于导向滤波的Bayer图像联合去马赛克去噪方法
TW201015974A (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
CN113168669A (zh) 图像处理方法、装置、电子设备及可读存储介质
WO2020107995A1 (zh) 成像方法和装置、电子设备、计算机可读存储介质
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
CN115330644A (zh) 一种内窥镜图像的自适应边缘增强方法及系统
CN108391067B (zh) 一种基于rgb-ir传感器的去噪增强装置及方法
CN106131462B (zh) 一种对图像进行校正的方法和装置
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
US8588543B2 (en) Apparatus, method and program for filtering data signals using low-frequency and compensating filters
KR20180118432A (ko) 감도 개선을 위한 영상 처리 장치 및 방법
JP4596069B2 (ja) ノイズ除去フィルタ処理回路、画像処理回路、撮像装置及びノイズ除去プログラム
JP4584152B2 (ja) 画像処理装置
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN101742086B (zh) 影像噪声消除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Xinmai Microelectronics Co.,Ltd.

Address before: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU XIONGMAI INTEGRATED CIRCUIT TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant