CN108600725A - 一种基于rgb-ir图像数据的白平衡校正装置及方法 - Google Patents
一种基于rgb-ir图像数据的白平衡校正装置及方法 Download PDFInfo
- Publication number
- CN108600725A CN108600725A CN201810445093.7A CN201810445093A CN108600725A CN 108600725 A CN108600725 A CN 108600725A CN 201810445093 A CN201810445093 A CN 201810445093A CN 108600725 A CN108600725 A CN 108600725A
- Authority
- CN
- China
- Prior art keywords
- infrared
- white balance
- unit
- rgb
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 73
- 241001269238 Data Species 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000003491 array Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明提出一种基于RGB‑IR图像数据的白平衡校正装置及方法，图像输入单元通过RGB‑IR图像传感器获得M*N数据阵列；红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；白平衡增益计算单元实现白平衡统计、标记、增益计算处理。白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。本发明一次性校正RGB‑IR原始数据的红外信号干扰和色温偏色，输出数据直接送入现有图像信号处理模块进行处理。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于RGB-IR图像数据的白平衡校正装置及方法。
背景技术
RGB-IR是一种可以同时进行可见光和红外光信号感光的图像传感器。红外光信号主要用于在低照度情况下提供场景亮度信息，而在正常照度情况，一般不需要额外亮度信息来补充，仅R、G、B可见光分量信号即可得到较好的成像效果。但由于红外光和可见光波长差异，两者成像靶面并不在同一深度，所以当以可见光平面准焦时，红外光信号会在成像面形成虚像影响图像的颜色和质量。除此之外，传统Bayer数据各分量值会随着光源变换产生一定偏差，具体表现在白色区域的偏色现象，即白色物体反射出光源信息导致成像颜色偏差。
综上所述，针对RGB-IR图像进行白平衡校正时，需要尽可能消除掉红外光信号对可见光分量的影响，并且需要对校正后的可见光数据进行白平衡处理使得在不同光源情况下的同一物体成像尽可能一致。
目前消除红外光影响的常见解决方案是在传感器前面配置IR-CUT双滤光片切换装置，即通过硬件控制红外截止低通滤光片和全光谱光学玻璃的切换，在白天光线充足时，让摄像机在红外截止低通滤光片模式下工作，消除红外信号对可见光成像的影响；当光线较暗时，切换至全光谱光学玻璃模式，通过IR信号分量对成像亮度进行补偿，提高低照度成像效果。显然，重复性机械切换，其稳定性很难完美保障，长时间使用可能导致切换失效。
对于传统RGB图像数据，现有的白平衡处理算法主要包括灰度世界法，白点检测法等。其中，灰度世界法基于灰度世界假设，即认为一幅具有大量色彩变换的图像，其R、G、B分量均值趋于同一灰度值。并以各分量均值为参考灰度值计算分量增量，然后对图像各像素进行白平衡校正。显然，当图像场景存在大量单色物体时，整副图像往往不满足灰度世界假设，所以用全局统计量进行白平衡校正容易出现误校现象。
常见的白平衡校正算法通过检测白点像素信息进行统计和增量校正。中国专利公开号CN1835600A公开一种技术方案：“一种白平衡方法包括以下步骤：a)去除一影像的一白物体上的色偏；b)利用该白物体的一像素信息来检测该影像的一参考白点；c)基于该像素信息及该色偏决定一尺度因子，以调整该影像的白平衡。”该技术方案白点检测主要基于YCbCr数据格式，在一定条件之下以最高亮度像素点为有效白点，最终通过该白点信息进行白平衡校正。显然，该算法较之于灰度世界法，校正结果更为精确，但其不仅需要经过数据格式转换，而且需要对每个数据点进行比较判断，图像分辨率越高，硬件实现负担越大。
发明内容
针对现有技术的不足，本发明提供一种基于RGB-IR图像数据的白平衡校正装置及方法,解决了带有红外分量的RGB-IR格式数据的白平衡校正问题。在消除IR分量对R、G、B分量的成像干扰的前提下对传感器数据进行白平衡处理，通过改进的分块白平衡校正技术，有效消除色偏的同时减少整个处理装置的复杂度，降低成本。
为了解决上述技术问题，本发明提供一种基于RGB-IR图像数据的白平衡校正装置，包括图像输入单元、红外校正强度控制单元、红外校正单元、白平衡增益计算单元、白平衡校正单元以及图像校正输出单元；
图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；
红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；
红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；
白平衡增益计算单元实现白平衡统计、标记、增益计算处理。
白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；
图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。
作为一种优选方式，白平衡增益计算单元包括白平衡统计单元、白平衡标记单元、增益计算单元，其中，白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数。
作为一种优选方式，M*N数据阵列是2*2或4*4阵列格式。
作为一种优选方式，红外校正强度控制单元包括可见光强度计算单元和去红外强度控制单元，可见光强度单元粗略计算图像数据颜色分量与红外分量差值，并将三通道差值均值作为可见光强度估计值，送入去红外强度控制单元；红外控制单元输出一个红外校正强度参数K。
作为一种优选方式，红外校正单元包括红外校正子单元和输出控制子单元，红外校正子单元内置R、G、B及IR响应曲线参数，代表各颜色分量对红外光波段的响应峰值与红外分量在红外波段响应峰值的比值的[α，β，γ]数组；输出控制子单元决定RGB-IR图像数据经过红外校正模块之后输出数据格式类型，通过内插实现。
本发明还提出一种基于RGB-IR图像数据的白平衡校正方法，包括以下步骤：
S1:图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；
S2:红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；
S3:红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；
S4:白平衡增益计算单元实现白平衡统计、标记、增益计算处理。
S5:白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；
S6:图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。
作为一种优选方法，S2步骤红外校正强度控制单元计算获得红外校正强度参数K包括以下步骤：
1)将R、G、B各通道值减去其对应最小单元的红外通道值，并以颜色通道差均值作为该最小数据阵列单元的可见光强度；
2)计算各最小单元可见光强度均值为整体估计值；
3)根据整体估计值配置红外校正强度：其具体实现可以预设一个“强光”阈值Tu，当估计值大于等于该阈值时，认为无需红外分量补偿，即设校正控制强度K为1；同时设置“弱光”阈值Td，当小于该阈值时，配置控制强度K为0；其余估计值以强弱阈值归一化即可；公式表达如下：
其中，Lx为当前可见光强度估计值,强弱光阈值参数可以由双滤光片切换装置进行预实验求得。
作为一种优选方法，S3步骤红外校正单元包括以下步骤：
1)红外校正子单元内置R、G、B及IR响应曲线参数，代表各颜色分量对红外光波段的响应峰值与红外分量在红外波段响应峰值的比值的[α，β，γ]数组；
2)输出控制子单元决定RGB-IR图像数据经过红外校正之后输出数据格式类型，通过内插实现。
作为一种优选方法，步骤2)内插实现方法进一步包括以下步骤：
a)消除颜色分量通道红外干扰后，在原红外通道数据位置内插G分量，输出传统Bayer数据格式；
b)消除颜色分量通道红外干扰之后，以颜色分量直接恢复各通道RGB数
据；c)对a)步骤数据进一步内插恢复各通道RGB数据。
作为一种优选方法，S4步骤具体包括以下步骤：
1)白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；
2)白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；
3)增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数。
本发明与现有技术相比有益效果：本发明的红外校正强度控制单元通过比较可见光与红外光数据，输出0～1的红外校正强度参数实现各成像环境的红外光校正控制，不仅可以用0和1强度代替双滤光片切换机械装置，还可以设定其它校正强度用于图像增强；本发明的白平衡分块统计校正，以分块统计量代替块数据遍历，提高检测效率，并且合理分块参数的设置也适用于大多数场景的白块检测和校正。本发明一次性校正RGB-IR原始数据的红外信号干扰和色温偏色，输出数据直接送入现今大多数图像信号处理模块进行处理。
附图说明
图1是本发明装置结构图。
图2是本发明红外校正强度控制单元内部结构图。
图3是本发明红外校正单元结构图。
图4是本发明RGB-IR数据阵列结构图。
图5是红外校正强度参数K配置示意图。
具体实施方式
下面对本发明的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。
如图1所示，本发明给出一个装置实施例，一种基于RGB-IR图像数据的白平衡校正装置，包括图像输入单元、红外校正强度控制单元、红外校正单元、白平衡增益计算单元、白平衡校正单元以及图像校正输出单元；
其中，图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；红外校正强度控制单元基于可见光强度大小，输出一个红外校正强度参数K；红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；白平衡增益计算单元包括白平衡统计单元、白平衡标记单元、增益计算单元，红外校正单元输出阵列数据到白平衡统计单元，白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数；白平衡校正单元与增益计算单元和红外校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。
本发明还给出一个方法实施例，基于RGB-IR图像数据的白平衡校正方法，包括以下步骤：
S1:图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；
S2:红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；
S3:红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；
S4:白平衡增益计算单元实现白平衡统计、标记、增益计算处理。
S5:白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；
S6:图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。
需要进一步说明的是，S4步骤具体包括以下步骤：
1)白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；
2)白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；
3)增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数。
本实施例可适用于基于RGB-IR图像数据的白平衡校正的应用场景中，基于基于RGB-IR图像数据的白平衡校正方法可以由基于RGB-IR图像数据的白平衡校正装置来执行，基于RGB-IR图像数据的白平衡校正装置的结构与方法中所述的结构相同。
下面结合基于RGB-IR图像数据的白平衡校正方法实施例具体描述实施过程如下：
步骤1：图像输入单元输入数据格式为RGB-IR色彩阵列的Bayer数据，不限于常见的2*2或4*4数据阵列格式。RGB-IR传感器所搭配的光学滤镜及滤光片，决定各通道对不同波段光的响应曲线，而该响应曲线又影响着红外校正单元内置的响应参数。例如当各颜色通道与红外通道在红外波段响应基本一致时，该响应参数可预置为[1 1 1]。
步骤2：如图2所示，红外校正强度控制单元由可见光强度计算单元和去红外强度控制单元两部分组成。可见光强度计算通过粗略比较可见光与红外光强度值“还原”光场景，其实现流程如下：
21)将R、G、B各通道值减去其对应最小单元的红外通道值，并以颜色通道差均值作为该最小数据阵列单元的可见光强度；
22)计算各最小单元可见光强度均值为整体估计值；
23)根据整体估计值配置红外校正强度：其具体实现可以预设一个“强光”阈值Tu，当估计值大于等于该阈值时，认为无需红外分量补偿，即设校正控制强度K为1；同时设置“弱光”阈值Td，当小于该阈值时，配置控制强度K为0；其余估计值以强弱阈值归一化即可。公式表达如下：
其中，Lx为当前可见光强度估计值，强弱光阈值参数可以由双滤光片切换装置进行预实验求得，其配置曲线示意图如图5所示。
步骤3：如图3所示，红外校正单元对各颜色分量进行去红外处理，并根据输出要求进行数据格式调整。红外校正子单元校正过程如下：
31)由预置响应参数[αβγ]和红外校正强度参数K计算各颜色分量去红外强度，即其相对于该最小图像单元的红外分量的校正比值；
32)各颜色分量减去红外分量与对应校正比值的乘积，此时完成对各颜色分量的红外校正。公式表达如下：
其中，Rn、Gn、Bn分别代表红外校正后的颜色分量，Ro、Go、Bo、IRo分别为未经红外校正的颜色和红外分量，K为校正控制强度参数，[α β γ]为预置响应参数。
以输出格式为RGGB Bayer列为例，输出控制子单元流程如下：如图4所示，以IR分量对角线相邻4个G颜色分量进行内插代替该IR分量值，具体内插函数不限于常用的双线性插值或三次插值；再者，若输出RGB格式数据，以上述RGGB数据进行常规去马赛克处理；或者不经过RGGB格式转换，直接根据邻域值恢复IR通道的RGB各颜色分量，然后其余像素点与常规去马赛克处理一致。
当红外校正强度参数K较小，即需要保留一定红外分量进行图像增强时，其输出控制子单元不仅仅包含上述过程，而且还需要融合红外数据和颜色分量，此过程不在本实施例详细叙述。
步骤4：白平衡统计单元以分块统计数据代替像素点进行“白块”检测。具体分块规则需要实现人员根据传感器规格和经验进行设定。以16*16分块为例，其白平衡统计单元如下：
41)统计各数据块R、G、B颜色分量均值；
42)将16*16*3的均值统计数据送入白平衡标记单元和增益计算单元。
步骤5：白块标记单元判断分块数据是否为有效“白块”，其计算流程如下：
51)将16*16*3大小的统计数据进行第二通道归一化，即将每块的均值R和均值B除以该块均值G；
52)归一化与1求差并取绝对值；
53)将差值绝对值与阈值T比较，若每块的三个差值绝对值均其小于等于T，则认为该块R、G、B颜色分量接近，即标记该块为有效“白块”，T值可取0.05～0.15。
白块标记单元输出16*16的逻辑数据，0代表该块为非“白块”，1则代表该块为有效“白块”。
步骤6：增益计算单元根据白块标记保留和删除白平衡统计数据，并根据
61)有效“白块”进行增益计算。具体如下：
62)获取有效“白块”统计均值；
将该块三个均值求平均,步骤61)、62)的数学表达式如下：
其中Grayi为该块参考灰度，i表示第i块数据块，为该块均值，flagi为该块白块标记；
63)以该均值为参考灰度值，并计算各颜色分量增益值，具体如下：
64)对有效“白块”各颜色分量增益值取平均，得到最终颜色分量整体增益值，具体如下：
其中，Mg、Mgi分别代表各颜色分量整体增益值和各块增益值，i代表第i数据块，n代表分块总数，flagi代表各块标记值，取值为0或1。
步骤7：白平衡校正单元根据各颜色分量增益参数对红外校正单元输出数据进行白平衡校正，即将各颜色分量分别乘以各颜色增益值，以校正色偏。具体计算如下：Mnew＝Morg×Mg
其中，Mnew为最终输出的白平衡校正的各颜色数据，Morg为红外校正模块输出各颜色数据，Mg为增益计算模块输出的各颜色分量增益值。
步骤8：图像校正输出单元对经过红外校正和白平衡校正图像数据进行传输。
以上仅是本发明的优选实施方式，本发明的保护范围并不限于上述实施例，凡属于本发明思路下的技术方案均属于本发明保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于RGB-IR图像数据的白平衡校正装置，其特征在于，包括图像输入单元、红外校正强度控制单元、红外校正单元、白平衡增益计算单元、白平衡校正单元以及图像校正输出单元；
图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；
红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；
红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；
白平衡增益计算单元实现白平衡统计、标记、增益计算处理。
白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；
图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。
2.如权利要求1所述的基于RGB-IR图像数据的白平衡校正装置，其特征在于，所述白平衡增益计算单元包括白平衡统计单元、白平衡标记单元、增益计算单元，其中，白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数。
3.如权利要求1所述的基于RGB-IR图像数据的白平衡校正装置，其特征在于，所述M*N数据阵列是2*2或4*4阵列格式。
4.如权利要求1所述的基于RGB-IR图像数据的白平衡校正装置，其特征在于，所述红外校正强度控制单元包括可见光强度计算单元和去红外强度控制单元，可见光强度单元粗略计算图像数据颜色分量与红外分量差值，并将三通道差值均值作为可见光强度估计值，送入去红外强度控制单元；红外控制单元输出一个红外校正强度参数K。
5.如权利要求1所述的基于RGB-IR图像数据的白平衡校正装置，其特征在于，所述红外校正单元包括红外校正子单元和输出控制子单元，红外校正子单元内置R、G、B及IR响应曲线参数，代表各颜色分量对红外光波段的响应峰值与红外分量在红外波段响应峰值的比值的[α，β，γ]数组；输出控制子单元决定RGB-IR图像数据经过红外校正模块之后输出数据格式类型，通过内插实现。
6.一种基于RGB-IR图像数据的白平衡校正方法，其特征在于，包括以下步骤：
S1:图像输入单元通过RGB-IR图像传感器获得M*N数据阵列；
S2:红外校正强度控制单元基于可见光强度大小，输出红外校正强度参数K；
S3:红外校正单元根据传感器R、G、B及IR通道的响应曲线参数和红外校正强度参数K实现颜色分量通道消除红外分量；
S4:白平衡增益计算单元实现白平衡统计、标记、增益计算处理。
S5:白平衡增益计算单元和红外校正单元、白平衡校正单元相连，白平衡校正单元根据增益参数对红外校正单元输出各颜色分量进行校正；
S6:图像校正输出单元对经过红外校正和白平衡校正的图像数据进行传输。
7.如权利要求6所述的基于RGB-IR图像数据的白平衡校正方法，其特征在于，所述S2步骤红外校正强度控制单元计算获得红外校正强度参数K包括以下步骤：
1)将R、G、B各通道值减去其对应最小单元的红外通道值，并以颜色通道差均值作为该最小数据阵列单元的可见光强度；
2)计算各最小单元可见光强度均值为整体估计值；
3)根据整体估计值配置红外校正强度：其具体实现可以预设一个“强光”阈值Tu，当估计值大于等于该阈值时，认为无需红外分量补偿，即设校正控制强度K为1；同时设置“弱光”阈值Td，当小于该阈值时，配置控制强度K为0；其余估计值以强弱阈值归一化即可；公式表达如下：
其中，Lx为当前可见光强度估计值,强弱光阈值参数可以由双滤光片切换装置进行预实验求得。
8.如权利要求6所述的基于RGB-IR图像数据的白平衡校正方法，其特征在于，所述S3步骤红外校正单元包括以下步骤：
1)红外校正子单元内置R、G、B及IR响应曲线参数，代表各颜色分量对红外光波段的响应峰值与红外分量在红外波段响应峰值的比值的[α，β，γ]数组；
2)输出控制子单元决定RGB-IR图像数据经过红外校正之后输出数据格式类型，通过内插实现。
9.如权利要求8所述的基于RGB-IR图像数据的白平衡校正方法，其特征在于，所述步骤2)内插实现方法进一步包括以下步骤：
a)消除颜色分量通道红外干扰后，在原红外通道数据位置内插G分量，输出传统Bayer数据格式；
b)消除颜色分量通道红外干扰之后，以颜色分量直接恢复各通道RGB数据；
c)对a)步骤数据进一步内插恢复各通道RGB数据。
10.如权利要求6所述的基于RGB-IR图像数据的白平衡校正方法，其特征在于，所述S4步骤具体包括以下步骤：
1)白平衡统计单元根据数据格式对R、G、B分量进行分块均值统计，输出各分块颜色分量平均值；
2)白平衡标记单元基于白平衡统计单元输出各分块颜色分量平均值进行白块检测，根据检测结果对各数据块进行标记，并将其送入增益计算单元；
3)增益计算单元接收白平衡统计参数和白块标记参数，根据标记参数计算有效白块的R、G、B增益，并将所有“白块”增益量求均值得到各颜色分量的增益参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810445093.7A CN108600725B (zh) | 2018-05-10 | 2018-05-10 | 一种基于rgb-ir图像数据的白平衡校正装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810445093.7A CN108600725B (zh) | 2018-05-10 | 2018-05-10 | 一种基于rgb-ir图像数据的白平衡校正装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108600725A true CN108600725A (zh) | 2018-09-28 |
| CN108600725B CN108600725B (zh) | 2024-03-19 |
Family
ID=63636538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810445093.7A Active CN108600725B (zh) | 2018-05-10 | 2018-05-10 | 一种基于rgb-ir图像数据的白平衡校正装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108600725B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109729332A (zh) * | 2018-12-12 | 2019-05-07 | 珠海亿智电子科技有限公司 | 一种自动白平衡矫正方法和系统 |
| CN110310268A (zh) * | 2019-06-26 | 2019-10-08 | 深圳市同为数码科技股份有限公司 | 基于白平衡统计分区信息的肤色检测方法及系统 |
| CN110610971A (zh) * | 2019-09-16 | 2019-12-24 | 云谷（固安）科技有限公司 | 电子设备和电子设备的控制方法 |
| CN111182242A (zh) * | 2019-12-20 | 2020-05-19 | 翱捷智能科技(上海)有限公司 | 一种rgb-ir图像的校正方法和装置 |
| CN111629121A (zh) * | 2019-02-27 | 2020-09-04 | 瑞昱半导体股份有限公司 | 影像调整方法以及相关的影像处理电路 |
| CN111953955A (zh) * | 2020-08-26 | 2020-11-17 | 维沃移动通信有限公司 | 白平衡补偿方法、装置及电子设备 |
| CN111998823A (zh) * | 2020-08-26 | 2020-11-27 | 吉林大学 | 基于双目异光源测距装置的目标测距方法 |
| CN112055191A (zh) * | 2020-08-25 | 2020-12-08 | 浙江大华技术股份有限公司 | 白平衡调整的方法、图像采集设备及存储介质 |
| CN112399163A (zh) * | 2019-08-19 | 2021-02-23 | 瑞昱半导体股份有限公司 | 图像感测装置以及自动白平衡方法 |
| CN112468795A (zh) * | 2020-12-09 | 2021-03-09 | 山东志盈医学科技有限公司 | 相机白平衡的调节方法及装置 |
| CN112738489A (zh) * | 2020-12-23 | 2021-04-30 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN112738488A (zh) * | 2020-12-23 | 2021-04-30 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN113068016A (zh) * | 2021-04-02 | 2021-07-02 | 杭州涂鸦信息技术有限公司 | 白平衡校正方法、装置和计算机设备 |
| CN113365034A (zh) * | 2020-03-04 | 2021-09-07 | 合肥君正科技有限公司 | 一种基于rgb-ir图像传感器的色彩校准方法 |
| CN113365035A (zh) * | 2020-03-04 | 2021-09-07 | 合肥君正科技有限公司 | 一种图像色彩还原的校准系统 |
| CN113382215A (zh) * | 2020-03-10 | 2021-09-10 | 佳能株式会社 | 图像处理装置、成像装置和图像处理方法 |
| US11381796B2 (en) * | 2019-08-07 | 2022-07-05 | Realtek Semiconductor Corp. | Image-sensing device and method for auto white balance therefor |
| CN114926359A (zh) * | 2022-05-20 | 2022-08-19 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
| CN115297268A (zh) * | 2020-01-22 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种成像系统及图像处理方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080101770A (ko) * | 2007-05-18 | 2008-11-21 | 소니 가부시끼 가이샤 | 화상 입력 처리 장치 및 그 방법 |
| CN102209246A (zh) * | 2011-05-23 | 2011-10-05 | 北京工业大学 | 一种实时视频白平衡处理系统 |
| TW201246906A (en) * | 2011-05-04 | 2012-11-16 | Oriental Inst Technology | Image color correction system and the correction method thereof |
| JP2013121132A (ja) * | 2011-12-08 | 2013-06-17 | Samsung Yokohama Research Institute Co Ltd | 撮像装置及び撮像方法 |
| CN103686111A (zh) * | 2013-12-31 | 2014-03-26 | 上海富瀚微电子有限公司 | 一种基于rgbir图像传感器的颜色校正方法以及装置 |
| CN104113744A (zh) * | 2013-04-18 | 2014-10-22 | 深圳中兴力维技术有限公司 | 全天候彩色摄像机白平衡处理方法及装置 |
| CN104113743A (zh) * | 2013-04-18 | 2014-10-22 | 深圳中兴力维技术有限公司 | 低照度下彩色摄像机自动白平衡处理方法及装置 |
| JP2015228546A (ja) * | 2014-05-30 | 2015-12-17 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| US20160065926A1 (en) * | 2014-08-29 | 2016-03-03 | Hitachi Industry & Control Solutions, Ltd. | Image-Capturing Method and Image-Capturing Device |
| CN106488209A (zh) * | 2016-09-29 | 2017-03-08 | 杭州雄迈集成电路技术有限公司 | 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法 |
| CN208353496U (zh) * | 2018-05-10 | 2019-01-08 | 杭州雄迈集成电路技术有限公司 | 一种基于rgb-ir图像数据的白平衡校正装置 |
-
2018
- 2018-05-10 CN CN201810445093.7A patent/CN108600725B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080101770A (ko) * | 2007-05-18 | 2008-11-21 | 소니 가부시끼 가이샤 | 화상 입력 처리 장치 및 그 방법 |
| TW201246906A (en) * | 2011-05-04 | 2012-11-16 | Oriental Inst Technology | Image color correction system and the correction method thereof |
| CN102209246A (zh) * | 2011-05-23 | 2011-10-05 | 北京工业大学 | 一种实时视频白平衡处理系统 |
| JP2013121132A (ja) * | 2011-12-08 | 2013-06-17 | Samsung Yokohama Research Institute Co Ltd | 撮像装置及び撮像方法 |
| CN104113744A (zh) * | 2013-04-18 | 2014-10-22 | 深圳中兴力维技术有限公司 | 全天候彩色摄像机白平衡处理方法及装置 |
| CN104113743A (zh) * | 2013-04-18 | 2014-10-22 | 深圳中兴力维技术有限公司 | 低照度下彩色摄像机自动白平衡处理方法及装置 |
| CN103686111A (zh) * | 2013-12-31 | 2014-03-26 | 上海富瀚微电子有限公司 | 一种基于rgbir图像传感器的颜色校正方法以及装置 |
| JP2015228546A (ja) * | 2014-05-30 | 2015-12-17 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
| US20160065926A1 (en) * | 2014-08-29 | 2016-03-03 | Hitachi Industry & Control Solutions, Ltd. | Image-Capturing Method and Image-Capturing Device |
| CN106488209A (zh) * | 2016-09-29 | 2017-03-08 | 杭州雄迈集成电路技术有限公司 | 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法 |
| CN208353496U (zh) * | 2018-05-10 | 2019-01-08 | 杭州雄迈集成电路技术有限公司 | 一种基于rgb-ir图像数据的白平衡校正装置 |
Non-Patent Citations (3)
| Title |
|---|
| YUICHI NONAKA: "Monocular color-IR imaging system applicable for various light environments", 《2018 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS》 * |
| 刘亚欣 等: "滤光轮分光的近红外彩色成像系统", 《光学技术》, vol. 42, no. 04 * |
| 陈晓文: "优化多项式回归的四带图像偏色校正算法", 《计算机系统应用》, no. 3 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109729332A (zh) * | 2018-12-12 | 2019-05-07 | 珠海亿智电子科技有限公司 | 一种自动白平衡矫正方法和系统 |
| CN109729332B (zh) * | 2018-12-12 | 2021-06-15 | 珠海亿智电子科技有限公司 | 一种自动白平衡矫正方法和系统 |
| CN111629121B (zh) * | 2019-02-27 | 2022-05-24 | 瑞昱半导体股份有限公司 | 影像调整方法以及相关的影像处理电路 |
| CN111629121A (zh) * | 2019-02-27 | 2020-09-04 | 瑞昱半导体股份有限公司 | 影像调整方法以及相关的影像处理电路 |
| CN110310268A (zh) * | 2019-06-26 | 2019-10-08 | 深圳市同为数码科技股份有限公司 | 基于白平衡统计分区信息的肤色检测方法及系统 |
| US11381796B2 (en) * | 2019-08-07 | 2022-07-05 | Realtek Semiconductor Corp. | Image-sensing device and method for auto white balance therefor |
| CN112399163B (zh) * | 2019-08-19 | 2022-12-09 | 瑞昱半导体股份有限公司 | 图像感测装置以及自动白平衡方法 |
| CN112399163A (zh) * | 2019-08-19 | 2021-02-23 | 瑞昱半导体股份有限公司 | 图像感测装置以及自动白平衡方法 |
| CN110610971B (zh) * | 2019-09-16 | 2021-11-05 | 云谷（固安）科技有限公司 | 电子设备和电子设备的控制方法 |
| CN110610971A (zh) * | 2019-09-16 | 2019-12-24 | 云谷（固安）科技有限公司 | 电子设备和电子设备的控制方法 |
| CN111182242A (zh) * | 2019-12-20 | 2020-05-19 | 翱捷智能科技(上海)有限公司 | 一种rgb-ir图像的校正方法和装置 |
| CN115297268A (zh) * | 2020-01-22 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种成像系统及图像处理方法 |
| CN115297268B (zh) * | 2020-01-22 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 一种成像系统及图像处理方法 |
| CN113365034A (zh) * | 2020-03-04 | 2021-09-07 | 合肥君正科技有限公司 | 一种基于rgb-ir图像传感器的色彩校准方法 |
| CN113365035A (zh) * | 2020-03-04 | 2021-09-07 | 合肥君正科技有限公司 | 一种图像色彩还原的校准系统 |
| CN113382215A (zh) * | 2020-03-10 | 2021-09-10 | 佳能株式会社 | 图像处理装置、成像装置和图像处理方法 |
| US11943518B2 (en) | 2020-03-10 | 2024-03-26 | Canon Kabushiki Kaisha | Image processing apparatus, imaging apparatus, and image processing method |
| CN112055191A (zh) * | 2020-08-25 | 2020-12-08 | 浙江大华技术股份有限公司 | 白平衡调整的方法、图像采集设备及存储介质 |
| CN112055191B (zh) * | 2020-08-25 | 2022-08-09 | 浙江大华技术股份有限公司 | 白平衡调整的方法、图像采集设备及存储介质 |
| CN111953955A (zh) * | 2020-08-26 | 2020-11-17 | 维沃移动通信有限公司 | 白平衡补偿方法、装置及电子设备 |
| CN111998823A (zh) * | 2020-08-26 | 2020-11-27 | 吉林大学 | 基于双目异光源测距装置的目标测距方法 |
| CN112468795A (zh) * | 2020-12-09 | 2021-03-09 | 山东志盈医学科技有限公司 | 相机白平衡的调节方法及装置 |
| CN112738489B (zh) * | 2020-12-23 | 2021-12-07 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| WO2022134549A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN112738489A (zh) * | 2020-12-23 | 2021-04-30 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN113965739A (zh) * | 2020-12-23 | 2022-01-21 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN113891053A (zh) * | 2020-12-23 | 2022-01-04 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN112738488A (zh) * | 2020-12-23 | 2021-04-30 | 深圳市火乐科技发展有限公司 | 投影设备控制方法、装置、介质及电子设备 |
| CN113068016A (zh) * | 2021-04-02 | 2021-07-02 | 杭州涂鸦信息技术有限公司 | 白平衡校正方法、装置和计算机设备 |
| CN114926359A (zh) * | 2022-05-20 | 2022-08-19 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
| CN114926359B (zh) * | 2022-05-20 | 2023-04-07 | 电子科技大学 | 联合双颜色空间恢复和多级解码结构的水下图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108600725B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108600725A (zh) | 一种基于rgb-ir图像数据的白平衡校正装置及方法 | |
| US6924841B2 (en) | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels | |
| KR100615277B1 (ko) | 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치 | |
| JP6530751B2 (ja) | 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム | |
| CN103796003B (zh) | 一种立体摄像的图像修正方法及系统 | |
| CN101242542A (zh) | 一种图像检测方法与装置 | |
| CN208353496U (zh) | 一种基于rgb-ir图像数据的白平衡校正装置 | |
| CN107613229A (zh) | 一种图像传感器坏点检测校正装置及方法 | |
| CN112399163B (zh) | 图像感测装置以及自动白平衡方法 | |
| JP3612946B2 (ja) | カラー表示装置の表示特性測定装置 | |
| CN104079909A (zh) | 一种图像自动白平衡方法及装置 | |
| CN104036467A (zh) | 一种基于通道增益系数加权的图像色偏校正方法 | |
| EP3460748A1 (en) | Dynamic range compression device and image processing device cross-reference to related application | |
| CN113850738B (zh) | 图像紫边的校正装置及方法 | |
| CN103079077B (zh) | 一种图像处理方法 | |
| CN111107330A (zh) | 一种Lab空间的偏色校正方法 | |
| US20140098258A1 (en) | Color distortion correction method and device for imaging systems and image output systems | |
| JP2003264850A (ja) | デジタルカメラ | |
| JPH11308634A (ja) | 白バランス制御装置 | |
| CN113143521B (zh) | 一种三维扫描设备采集图像的颜色矫正方法 | |
| CN102395035B (zh) | 一种智能摄像机白平衡处理方法 | |
| US7636494B2 (en) | Method and apparatus for correcting pixel image signal intensity | |
| JP5782324B2 (ja) | 色補正装置および色補正処理方法 | |
| KR100581526B1 (ko) | 광원변화에 따라 백색 보정을 하는 디지털 카메라 | |
| CN111667446A (zh) | 图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Xinmai Microelectronics Co.,Ltd. Address before: Room 1210, 12 / F, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU XIONGMAI INTEGRATED CIRCUIT TECHNOLOGY CO.,LTD. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |