CN109829852B - 颜色滤波阵列图像处理的方法、装置及存储介质 - Google Patents

颜色滤波阵列图像处理的方法、装置及存储介质 Download PDF

Info

Publication number
CN109829852B
CN109829852B CN201910043787.2A CN201910043787A CN109829852B CN 109829852 B CN109829852 B CN 109829852B CN 201910043787 A CN201910043787 A CN 201910043787A CN 109829852 B CN109829852 B CN 109829852B
Authority
CN
China
Prior art keywords
color
pixel
plane
image
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910043787.2A
Other languages
English (en)
Other versions
CN109829852A (zh
Inventor
赵超杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910043787.2A priority Critical patent/CN109829852B/zh
Publication of CN109829852A publication Critical patent/CN109829852A/zh
Application granted granted Critical
Publication of CN109829852B publication Critical patent/CN109829852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了颜色滤波阵列图像处理的方法、装置及存储介质,用以解决现有技术中存在的图像失真和错误较为严重的技术问题。包括:基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值;其中,G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,指定色彩与第一待插入像素中的原色彩相同;用所有的G新插值更新第一图像中对应的G色彩的初始插值,获得第二图像。

Description

颜色滤波阵列图像处理的方法、装置及存储介质
技术领域
本发明涉及图像处理领域,尤其是涉及颜色滤波阵列图像处理的方法、装置及存储介质。
背景技术
在单传感器数字彩色相机中,通常在传感器表面覆盖了一层彩色滤波阵列,得到的滤波后的图像中只有红绿蓝三个分量中的一个分量,其中红绿蓝的排列方式,称之为贝尔模板或贝尔格式(Bayer Pattern)。
此时,必须使用插值方法恢复丢失的色彩信息。即每一个像素点需要利用周围的像素点来估计出另外两种缺失的色彩值,这种处理叫做色彩滤波插值处理,即去马赛克处理。主要是从RAW域数据转化为RGB域数据做的图像复原。以下以原始图像编码数据(RAWImage Format,RAW)RGrGbB格式为例进行阐述,请参见图1为通用贝尔格式图,图中G8为Gr值,G11为Gb值。
在现有技术中,常用的去马赛克的方法有双线性内插算法(Bilinear)、CFAI梯度适应性颜色层内插算法、EECI增强型色差平面内插算法。然而这三种算法中,Bilinear算法由于未考虑图像边缘特性以及不同颜色之间的相关性,所以在图像边缘部分有较大的失真和错误,故此算法在视觉上无法得到令人满意的结果;而CFAI梯度适应性颜色层内插算法虽然同时考虑了红(Red,R),绿(Green,G),蓝(Bule,B)分量的边缘方向梯度,有效提升了方向判定的准确性,进而改善重建图像水平及垂直方向上的拉链效应,但是由于边缘方向梯度的引进会出现如回形图像的真彩色失真现象;对于EECI增强型色差平面内插算法,由于加入的适应性权重算法,有效的保留了更多的细节并降低了彩色失真现象,但是,其在色差平面内的插值仍然部分保留了Bilinear的内插处理方法,使得在图像边缘的部分仍存在失真和错误现象,所以此方法仍有待改进。
鉴于此,如何有效的减少图像失真和错误,成为一个亟待解决的技术问题。
发明内容
本发明提供颜色滤波阵列图像处理的方法、装置及存储介质,用以解决现有技术中存在的图像失真和错误较为严重的技术问题。
第一方面,为解决上述技术问题,本发明实施例提供的一种颜色滤波阵列图像处理的方法的技术方案如下:
基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算所述颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,所述颜色滤波阵列图像采用的数据格式为贝尔格式数据;
对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值;其中,所述G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,所述第一待插入像素为所述第一像素集中的任一像素,所述指定色彩与所述第一待插入像素中的原色彩相同;
用所有的G新插值更新所述第一图像中对应的G色彩的初始插值,获得第二图像。
可选的,对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值,包括:
针对所述第一像素集中,所述第一待插入像素中G色彩的初始插值进行重新计算的方式为:
计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差;
基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差;
对所述第一色彩平面差与所述第一待插入像素中的原色彩值进行和运算,获得所述第一待插入像素的G新插值。
可选的,计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差,包括:
针对所述第一待插入像素的上下左右的邻像素中的任一邻像素的色彩平面差的计算方式如下;
若所述第一指定色彩为R色彩,则计算所述任一邻像素中G原色彩值与R色彩的初始插值之差,获得所述任一邻像素的色彩平面差;
若所述第一指定色彩为B色彩,则计算所述任一邻像素中G原色彩值与B色彩的初始插值之差,获得所述任一邻像素的色彩平面差。
可选的,基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差,包括:
计算所述第一待插入像素的各邻像素的色彩平面差的第一关联系数;其中,所述第一关联系数为所述各邻像素中原色彩的权重与1之和的倒数;
将所述各邻像素的色彩平面差与对应第一关联系数进行积运算,并对所有积运算结果进行和运算,获得第一和运算结果;
对所述第一和运算结果与所有的第一关联系数之和进行商运算,获得所述第一待插入像素的第一色彩平面差。
可选的,所述方法还包括:
对所述第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得所述第二像素集中各像素的R新插值或所述第三像素集中各像素的B新插值;其中,所述R新插值和所述B新插值是根据第二待插入像素上下左右的邻像素中第二指定色彩的权重及所述第二图像中对应所缺色彩的平面色差获得的;
用所有的R新插值和/或B新插值分别更新所述第二图像中对应的R色彩的初始插值和/或B色彩的初始插值,获得第三图像。
可选的,对所述第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得所述第二像素集中各像素的R新插值或所述第三像素集中各像素的B新插值,包括:
针对所述第二像素集或第三像素集中,所述第二待插入像素中第一色彩的初始插值进行重新计算的方式为:
计算所述第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值;其中,所述第二指定色彩与所述第一色彩的色彩相同;
基于所述第二图像中各邻像素中新权重值及对应的第一色彩平面差,计算所述第二待插入像素的第二色彩平面差;
对所述第二待插入像素中的G新插值与所述第二色彩平面差进行差运算,获得所述第二指定色彩的第二新插值;其中,当所述指定色彩为R色彩时,所述第二新插值为R新插值,当所述第二指定色彩为B色彩时,所述第二新插值为B新插值。
可选的,计算所述第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值,包括:
所述第二待插入像素的上下左右四个邻像素中指定邻像素中插入第二指定色彩的新权重值的计算方式如下:
当所述指定邻像素为所述第二待插入像素的上下两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的上下两个相邻像素的原色彩值之差的绝对值,与所述第二插入像素的上下两个邻像素中第二指定色彩的初始插值之差的绝对值之和;
当所述指定邻像素为所述第二待插入像素的左右两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的左右两个相邻像素的原色彩值之差的绝对值,与所述第二插入像素的左右两个邻像素中指定色彩的初始插值之差的绝对值之和。
可选的,基于所述第二图像中各邻像素中新权重值及对应的第一色彩平面差,计算所述第二待插入像素的第二色彩平面差,包括:
计算所述第二待插入像素的各邻像素的第一色彩平面差的第二关联系数;其中,所述第二关联系数为所述各邻像素中第二指定色彩的新权重值与1之和的倒数;
将所述各邻像素中第二指定色彩的第一色彩平面差与对应第二关联系数进行积运算,并对所有积运算结果进行和运算,获得第二和运算结果;
对所述第二和运算结果与所有的第二关联系数之和进行商运算,获得所述第二待插入像素的第二色彩平面差。
可选的,所述方法还包括:
用中值滤波器对所述第三图像进行重复滤波,获得第四图像;
其中,所述第四图像中R平面为所述第三图像中的R平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述R平面、G平面分别为所有像素的色彩均为R色彩、G色彩构成的色彩平面;
所述第四图像中B平面为所述第三图像中的B平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述B平面为所有像素的色彩均为B色彩、构成的色彩平面;
所述第四图像中G平面为所述第三图像中的G平面与所述第四图像中的R平面之差的中值,和与所述第三图像中的G平面与所述第四图像中的B平面之差的中值,以及所述第四图像中的R平面与B平面四者之和的二分之一。
第二方面,本发明实施例提供了一种用于颜色滤波阵列图像处理的装置,包括:
计算单元,用于基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算所述颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,所述颜色滤波阵列图像采用的数据格式为贝尔格式数据;
重算单元,用于对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值;其中,所述G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,所述第一待插入像素为所述第一像素集中的任一像素,所述指定色彩与所述第一待插入像素中的原色彩相同;
更新单元,用于用所有的G新插值更新所述第一图像中对应的G色彩的初始插值,获得第二图像。
可选的,所述重算单元具体用于:
针对所述第一像素集中,所述第一待插入像素中G色彩的初始插值进行重新计算的方式为:
计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差;
基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差;
对所述第一色彩平面差与所述第一待插入像素中的原色彩值进行和运算,获得所述第一待插入像素的G新插值。
可选的,所述重算单元还用于:
针对所述第一待插入像素的上下左右的邻像素中的任一邻像素的色彩平面差的计算方式如下;
若所述第一指定色彩为R色彩,则计算所述任一邻像素中G原色彩值与R色彩的初始插值之差,获得所述任一邻像素的色彩平面差;
若所述第一指定色彩为B色彩,则计算所述任一邻像素中G原色彩值与B色彩的初始插值之差,获得所述任一邻像素的色彩平面差。
可选的,所述重算单元还用于:
计算所述第一待插入像素的各邻像素的色彩平面差的第一关联系数;其中,所述第一关联系数为所述各邻像素中原色彩的权重与1之和的倒数;
将所述各邻像素的色彩平面差与对应第一关联系数进行积运算,并对所有积运算结果进行和运算,获得第一和运算结果;
对所述第一和运算结果与所有的第一关联系数之和进行商运算,获得所述第一待插入像素的第一色彩平面差。
可选的,所述重算单元还用于:
对所述第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得所述第二像素集中各像素的R新插值或所述第三像素集中各像素的B新插值;其中,所述R新插值和所述B新插值是根据第二待插入像素上下左右的邻像素中第二指定色彩的权重及所述第二图像中对应所缺色彩的平面色差获得的;
用所有的R新插值和/或B新插值分别更新所述第二图像中对应的R色彩的初始插值和/或B色彩的初始插值,获得第三图像。
可选的,所述重算单元还用于:
针对所述第二像素集或第三像素集中,所述第二待插入像素中第一色彩的初始插值进行重新计算的方式为:
计算所述第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值;其中,所述第二指定色彩与所述第一色彩的色彩相同;
基于所述第二图像中各邻像素中新权重值及对应的第一色彩平面差,计算所述第二待插入像素的第二色彩平面差;
对所述第二待插入像素中的G新插值与所述第二色彩平面差进行差运算,获得所述第二指定色彩的第二新插值;其中,当所述指定色彩为R色彩时,所述第二新插值为R新插值,当所述第二指定色彩为B色彩时,所述第二新插值为B新插值。
可选的,所述重算单元还用于:
所述第二待插入像素的上下左右四个邻像素中指定邻像素中插入第二指定色彩的新权重值的计算方式如下:
当所述指定邻像素为所述第二待插入像素的上下两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的上下两个相邻像素的原色彩值之差的绝对值,与所述第二插入像素的上下两个邻像素中第二指定色彩的初始插值之差的绝对值之和;
当所述指定邻像素为所述第二待插入像素的左右两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的左右两个相邻像素的原色彩值之差的绝对值,与所述第二插入像素的左右两个邻像素中指定色彩的初始插值之差的绝对值之和。
可选的,所述重算单元还用于:
计算所述第二待插入像素的各邻像素的第一色彩平面差的第二关联系数;其中,所述第二关联系数为所述各邻像素中第二指定色彩的新权重值与1之和的倒数;
将所述各邻像素中第二指定色彩的第一色彩平面差与对应第二关联系数进行积运算,并对所有积运算结果进行和运算,获得第二和运算结果;
对所述第二和运算结果与所有的第二关联系数之和进行商运算,获得所述第二待插入像素的第二色彩平面差。
可选的,所述装置还包括:
滤波单元,用于用中值滤波器对所述第三图像进行重复滤波,获得第四图像;
其中,所述第四图像中R平面为所述第三图像中的R平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述R平面、G平面分别为所有像素的色彩均为R色彩、G色彩构成的色彩平面;
所述第四图像中B平面为所述第三图像中的B平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述B平面为所有像素的色彩均为B色彩、构成的色彩平面;
所述第四图像中G平面为所述第三图像中的G平面与所述第四图像中的R平面之差的中值,和与所述第三图像中的G平面与所述第四图像中的B平面之差的中值,以及所述第四图像中的R平面与B平面四者之和的二分之一。
第三方面,本发明实施例还提供一种用于颜色滤波阵列图像处理的装置,包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,执行如上述第一方面所述的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,包括:
所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如上述第一方面所述的方法。
通过本发明实施例的上述一个或多个实施例中的技术方案,本发明实施例至少具有如下技术效果:
在本发明提供的实施例中,通过基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,颜色滤波阵列图像采用的数据格式为贝尔格式数据;对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值;其中,G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,第一待插入像素为第一像素集中的任一像素,指定色彩与第一待插入像素中的原色彩相同;用所有的G新插值更新第一图像中对应的G色彩的初始插值,获得第二图像。从而实现减少图像失真和错误的技术效果。
附图说明
图1为通用贝尔格式图的示意图;
图2为本发明实施例提供的颜色滤波阵列CFA图像处理的流程图;
图3为在R所在像素插入所缺色彩为G的贝尔格式示意图;
图4为本发明实施例提供的中心像素的原色彩为R的5×5的CFA图像;
图5在G所在像素插入所缺色彩为R的贝尔格式示意图;
图6为在B所在像素插入所缺色彩为R的贝尔格式示意图;
图7为本发明实施例提供的中心像素的原色彩为G的5×5的CFA图像;
图8为本发明实施例提供的中心像素的原色彩为B的5×5的CFA图像;
图9为标准测试图像;
图10为本发明实施例提供的颜色滤波阵列CFA图像处理装置的结构示意图。
具体实施方式
本发明实施列提供颜色滤波阵列图像处理的方法、装置及存储介质,以解决现有技术中存在的图像失真和错误较为严重的技术问题。
本申请实施例中的技术方案为解决上述的技术问题,总体思路如下:
提供一种颜色滤波阵列图像处理方法,包括:基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,颜色滤波阵列图像采用的数据格式为贝尔格式数据;对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值;其中,G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,第一待插入像素为第一像素集中的任一像素,指定色彩与第一待插入像素中的原色彩相同;用所有的G新插值更新第一图像中对应的G色彩的初始插值,获得第二图像。
由于在上述方案中,通过基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,颜色滤波阵列图像采用的数据格式为贝尔格式数据;对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值;其中,G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,第一待插入像素为第一像素集中的任一像素,指定色彩与第一待插入像素中的原色彩相同;用所有的G新插值更新第一图像中对应的G色彩的初始插值,获得第二图像。从而实现减少图像失真和错误的技术效果。
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
请参考图2,本发明实施例提供一种颜色滤波阵列图像处理方法,该方法的处理过程如下。
步骤201:基于CFA图像中各像素的灰度值,用加强型色差平面算法计算CFA图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,颜色滤波阵列图像采用的数据格式为贝尔格式数据。
用加强型色差平面算法计算颜色滤波阵列(Color Filer Array,CFA)图像中每个像素所缺色彩的插值,获得具有完整色彩的第一图像具体是:
分别计算出第一图像的G平面中的各个G插值、R平面中的各个R插值、B平面中的各个B插值,计算如下:
一、对G平面进行填充,针对计算G平面中一个G插值的计算方法可以采用下列计算方式:
使用增强型色差平面内插算法对G平面进行填充时,即将CFA图像中的R和B色彩中插入G色彩,所有G色彩构成的图像为G平面,具体以在R色彩所在位置插入G色彩为例,在B色彩插入G色彩与之相同不重复赘述:
请参见图3,在R(i,j)位置上内插G值(即R_G(i,j)),通过计算R(i,j)上下左右方向的差值及权重进行计算。
色彩平面差值:
KR(i,j-1)=G(i,j-1)-G_R(i,j-1)=G(i,j-1)-1/2(R(i,j-2)+R(i,j));
KR(i-1,j)=G(i-1,j)-G_R(i-1,j)=G(i-1,j)-1/2(R(i-2,j)+R(i,j));
KR(i+1,j)=G(i+1,j)-G_R(i+1,j)=G(i+1,j)-1/2(R(i,j)+R(i+2,j));
KR(i,j+1)=G(i,j+1)-G_R(i,j+1)=G(i,j+1)-1/2(R(i,j)+R(i,j+2));
权重公式:
Ga(i,j-1)=|R(i,j-2)-R(i,j)|+|G(i,j-1)-G(i,j+1)|;
Ga(i-1,j)=|R(i-2,j)-R(i,j)|+|G(i-1,j)-G(i+1,j)|;
Ga(i+1,j)=|R(i+2,j)-R(i,j)|+|G(i+1,j)-G(i-1,j)|;
Ga(i,j+1)=|R(i,j+2)-R(i,j)|+|G(i,j+1)-G(i,j-1)|;
及G(i,j)值如下:
Figure BDA0001948476310000121
R_G(i,j)=R(i,j)+KR(i,j)。
例如,请参见图4,为一5×5的CFA图像,在该CFA图像中,以在R13所在像素的位置上内插G(绿色),该内插的色彩值记为R_G13为例进行阐述,根据R13所在像素的上下左右方向的差值及权重进行计算。
首先,根据G与R的色彩平面差KR=G-R,其中,KR代表G与R的色彩平面差,G、R分别代表G(绿色)、R(红色)的色彩值,计算与R13所在像素相邻的上下左右的邻像素(G8、G18、G12、G14分别所在像素)的G与R的色彩平面差。
KR8=G8-G_R8=G8-1/2(R3+R13);
KR12=G12-G_R8=G12-1/2(R11+R13);
KR14=G14-G_R14=G14-1/2(R13+R15);
KR18=G18-G_R18=G18-1/2(R13+R23);
由于此时内插值G_R8、G_R8、G_R14、R18尚未确定,所以它们的值采用Bilinear双线性内插算法计算得。
其次,计算与R13所在像素相邻的各邻像素中G色彩(即原色彩)的权重(记为Ga)为:
Ga8=|R3-R13|+|G8-G18|;
Ga12=|R11-R13|+|G12-G14|;
Ga14=|R15-R13|+|G14-G12|;
Ga18=|R23-R13|+|G18-G8|;
再次,基于R13所在像素相邻的各邻像素中G与R的色彩平面差及对应的G的权重,计算R13所在像素中G与R的色彩平面差,采用以下公式:
Figure BDA0001948476310000131
再根据G与R的色彩平面差的公式KR13=R_G13-R13,计算出在R13所在像素插入的G的色彩值R_G13=R13+KR13。
由此,便可计算出在R13所在像素插入缺失的G的色彩值,同理可以计算出在CFA图像中其它R或B所在像素中缺失的G的色彩值,进而得到CFA图像中在R或B所在像素中插入的G的色彩值,获得填充好的G平面。
二、对R平面进行填充,需要先计算出在G所在像素中插入的所缺色彩为R的插值,再计算在B所在像素插入的所缺色彩为R的插值。
使用增强型色差平面内插算法对R平面进行填充时,即将CFA图像中的G和B色彩中插入R色彩,所有R色彩构成的图像为R平面,具体的,需要现在所有G色彩所在位置插入R色后,再在B色彩所在位置插入R色彩。
请参见图5,在G(i,j)位置上插入G_R(i,j)的计算公式为:
KR(i,j-1)=G(i,j-1)-R(i,j-1);
KR(i,j+1)=G(i,j+1)-R(i,j+1);
Gar(i,j-1)=|G(i,j-2)-G(i,j)|+|R(i,j-1)-R(i,j+1)|;
Gar(i,j+1)=|G(i,j+2)-G(i,j)|+|R(i,j+1)-R(i,j-1)|;
Figure BDA0001948476310000141
G_R(i,j)=G(i,j)-KR(i,j)。
然后计算在B位置上插入R值,设坐标为B(i,j),主要根据B的对角线方向值进行计算,请参见图6,为在B(i,j)位置上插入B_R(i,j)的参考位置图。
在B(i,j)位置上插入B_R(i,j)的计算公式为:
KR(i-1,j-1)=G(i-1,j-1)-R(i-1,j-1);
KR(i-1,j+1)=G(i-1,j+1)-R(i-1,j+1);
KR(i+1,j-1)=G(i+1,j-1)-R(i+1,j-1);
KR(i+1,j+1)=G(i+1,j+1)-R(i+1,j+1);
Gar(i-1,j-1)=|B(i-2,j-2)-B(i,j)|+|R(i-1,j-1)-R(i+1,j+1)|;
Gar(i+1,j+1)=|B(i+2,j+2)-B(i,j)|+|R(i+1,j+1)-R(i-1,j-1)|;
Gar(i+1,j-1)=|B(i+2,j-2)-B(i,j)|+|R(i+1,j-1)-R(i-1,j+1)|;
Gar(i-1,j+1)=|B(i-2,j+2)-B(i,j)|+|R(i-1,j+1)-R(i+1,j-1)|;
Figure BDA0001948476310000151
G_R(i,j)=G(i,j)-KR(i,j)。
通过上述方式,可以得到R平面,B平面的获得方式与R平面类似,不再赘述。
例如,请参见图7,为另一5×5的CFA图像,在该CFA图像中,以在G13所在像素的位置上内插R(红色),该内插的色彩值记为G_R13为例进行阐述,根据G13所在像素的左右两边的邻像素(即R12、R14所在像素)中的G与R的色彩平面差及对应的R的权重来计算的。
R12、R14所在像素中的G与R的色彩平面差的计算如下:
KR12=R_G12-R12;
KR14=R_G14-R14。
其中,KR12为R12所在像素中G与R的色彩平面差,KR14为R14所在像素中G与R的色彩平面差,R_G12、R_G14分别为R12、R14所在像素中插入的G色彩的插值,其计算方式与前述G平面填充中介绍的G插值的计算方式相同,在此不再赘述。
接下来计算R12、R14所在像素中R的权重值,采用以下计算方式:
Gar12=|G11-G13|+|R12-R14|;
Gar14=|G15-G13|+|R14-R12|;
其中,Gar12为R12在R12、R14中所占的权重值,Gar14为R14在R12、R14中所占的权重值。
之后,采用下述公式计算在G13所在像素中G与R的色彩平面差:
Figure BDA0001948476310000152
并利用色彩平面差公式KR13=G13-G_R13,可以计算出在G13所在像素插入所缺色彩R的内插值G_R13=G13-KR13。同理可以计算出CFA图像中在G所在像素中插入所缺色彩为R的R插值。
需要理解的是,由于图4与图7是不同的CFA图像,所以此处的KR13实际是不同于G平面填充中计算出来的KR13的。
在计算完在G所在像素中插入所缺色彩为R的内插值之后,便可计算在B所在像素中插入所缺色彩为R的内插值。为了方便理解,将以另一CFA图像为例,进行举例说明。
请参见图8,为另一5×5的CFA图像,在该CFA图像中,以在B13所在像素的位置上内插R(红色),该内插的色彩值记为B_R13为例进行阐述,根据B13所在像素的两个对角线上的邻像素(即R7、R19、R9、R17所在像素)中的G与R的色彩平面差及对应的R的权重来计算的。
R7、R19、R9、R17所在像素中G与R的色彩平面差为:
KR7=R_G7-R7;
KR9=R_G9-R9;
KR19=R_G19-R19;
KR17=R_G17-R17;
其中,KR7、KR9、KR19、KR17分别为R7、R19、R9、R17所在像素中G与R的色彩平面差,R_G7、R_G9、R_G19、R_G17分别为R7、R19、R9、R17所在像素中插入的G色彩的插值,其计算方式与前述G平面填充中介绍的G插值的计算方式相同,在此不再赘述。
接着,分别计算R7、R19、R9、R17的权重,计算如下:
Gar7=|B1-B13|+|R7-R19|;
Gar9=|B5-B13|+|R9-R17|;
Gar19=|B25-B13|+|R19-R7|;
Gar17=|B21-B13|+|R17-R9|;
其中,Gar7、Gar9、Gar19、Gar17分别为R7、R19、R9、R17的权重值。
在分别计算出R7、R19、R9、R17所在像素中G与R的色彩平面差及对应的权重值之后,便可按照下列计算方式计算出B13所在像素的位置上G与R的色彩平面差。
Figure BDA0001948476310000171
其中,KR13为B13所在像素的G与R的色彩平面差。
最后,根据B13所在像素的G与R的色彩平面差的计算公式KR13=B_G13-B_R13,计算除在B13所在位置插入的R的内插值B_R13=B_R13-KR13;其中,B13所在像素中插入的G色彩的插值(B_G13),其计算方式与前述G平面填充中介绍的G插值(R_G13)的计算方式相同,只是将G平面填充中R参数换位B参数即可,在此不再赘述。同理,可以计算出在CFA图像中其它B所在像素中插入所缺色彩R的内插值,进而获得填充好的R平面。
三、对B平面进行填充。
由于对B平面进行填充,即计算CFA图形中G、R所在像素中插入所缺色彩值B的内插值,其计算方式与对R平面进行填充中计算R的内插值的计算方式相同,不同之处在于需将R平面填充中的R参数替换为B参数,在此不再赘述。
通过上述方式,完成对CFA图形的G平面、R平面、B平面的填充后,便可获得具有完全色彩的第一图像。然而,由于上述计算方式中采用了传统的EECI增强型色差平面内插算法,在其色差平面内的差值仍然部分保留了Bilinear的内插处理方法,使得在第一图像的边缘部分仍存在失真和错误现象,所以为了减少使用Bilinear双线性内插算法带来的失真和错误,还需进一步执行步骤202及步骤203。
步骤202:对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值;其中,G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,第一待插入像素为第一像素集中的任一像素,指定色彩与第一待插入像素中的原色彩相同。
在第一图像的G平面中,对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值,具体针对第一像素集中,第一待插入像素中G色彩的初始插值进行重新计算的方式为:
首先,计算第一待插入像素的上下左右的邻像素中G原色彩值与第一指定色彩的初始插值之差,获得第一待插入像素的各邻像素的色彩平面差。
具体的,针对第一待插入像素的上下左右的邻像素中的任一邻像素的色彩平面差的计算方式如下;
若第一指定色彩为R色彩,则计算任一邻像素中G原色彩值与R色彩的初始插值之差,获得任一邻像素的色彩平面差;若第一指定色彩为B色彩,则计算任一邻像素中G原色彩值与B色彩的初始插值之差,获得任一邻像素的色彩平面差。
上述计算方式可以表示为以下公式:
K’R=G-G_R  (1);或
K’B=G-G_B  (2);
其中,K’R为第一待插入像素的邻像素中G原色彩值与第一指定色彩(R)的初始插值之差,即为对应的色彩平面差,K’B为第一待插入像素的邻像素的中G原色彩值与第一指定色彩(B)的初始插值之差,即为对应的色彩平面差,G_R、G_B分别为在第一图像中插入第一待插入像素的邻像素的所缺色彩为R、B的初始插值(即步骤201中计算出来的插值)。
例如,仍然以图4中的CFA图像为例,假设图4中的CFA图像经过步骤201的G平面、R平面、B平面填充后得到第一图像。在该第一图像的G平面中,根据公式(1)重新计算新的R13所在像素的邻像素(G8、G12、G14、G18所在像素)的色彩平面差:
K’R8=G8-G_R8;
K’R12=G12-G_R12;
K’R14=G14-G_R14;
K’R18=G18-G_R18;
其中,K’R8、K’R12、K’R14、K’R18分别为G8、G12、G14、G18所在像素的G与R的色彩平面差,G_R8、G_R12、G_R14、G_R18分别为在步骤201中计算出的在G8、G12、G14、G18的R色彩的初始插值。
其次,基于第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算第一待插入像素的第一色彩平面差。
具体计算第一色彩平面差,可以按以下方式进行计算:
首先,计算第一待插入像素的各邻像素的色彩平面差的第一关联系数;其中,第一关联系数为所述各邻像素中原色彩的权重与1之和的倒数;
其次,将各邻像素的色彩平面差与对应第一关联系数进行积运算,并对所有积运算结果进行和运算,获得第一和运算结果;
最后,对第一和运算结果与所有的第一关联系数之和进行商运算,获得第一待插入像素的第一色彩平面差。
第一色彩平面差可以表示为以下公式:
Figure BDA0001948476310000191
其中,K’(i,j)为第一待插入像素的G平面与原色彩平面的第一色彩平面差,K’(i,j-1)、K’(i-1,j)、K’(i+1,j)、K’(i,j+1)分别为第一待插入像素的上下左右对应的邻像素的色彩平面差,采用的计算公式为公式(1);Ga(i,j-1)、Ga(i-1,j)、Ga(i+1,j)、Ga(i,j+1)分别为在第一图像中,第一待插入像素的上下左右对应的邻像素的G的初始权重值,i、j为自然数,1/(1+Ga(i,j-1))、1/(1+Ga(i-1,j))、1/(1+Ga(i+1,j))、1/(1+Ga(i,j+1))分别为第一待插入像素的上下左右对应的邻像素的色彩平面差的第一关联系数。
例如,依然以图4中的例子为例,在通过公式(1)计算出G8、G12、G14、G18所在像素的G与R的新的色彩平面差之后,利用步骤201中计算出的G8、G12、G14、G18的G的权重(Ga8、Ga12、Ga14、Ga18)以及G8、G12、G14、G18所在像素的G与R的新的色彩平面差,按照公式(3),重新计算第一待插入像素(R13所在像素)的第一色彩平面差:
Figure BDA0001948476310000201
其中,K’R13为R13所在像素中G与R的第一色彩平面差(若是G与B的第一色彩平面差则记为K’B13)。
最后,对第一色彩平面差与第一待插入像素中的原色彩值进行和运算,获得第一待插入像素的G新插值。
在通过前面的方式计算出R13所在像素的G与R的新的色彩平面差之后,便可根据色彩平面差公式K’R13=R_G’13-R13,获得在R13重新插入所缺色彩G的G新插值R_G’13=R13+K’R13。同理,可以计算出第一图像中其它R、B所在像素中所缺色彩为G的G新内插值,在此不再赘述。
在计算出第一图像中所有的G新内插值之后,便可执行步骤203。
步骤203:用所有的G新插值更新第一图像中对应的G色彩的初始插值,获得第二图像。
在本发明提供的实施例中,通过利用第一图像中的G初始值取重新计算各像素的色差平面,进而重新计算插入了G色彩的像素中的G新插值,并用G新插值重新更新G平面,从而实现重用色彩平面差的思想,使获得的第二图像的色差平面比第一图像的色差平面更为稳定、去伪色的效果更好,从而较少图像的失真和错误。
优选的,为了进一步的减少第二图像的失真和误差,还可以先对第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得第二像素集中各像素的R新插值或第三像素集中各像素的B新插值;其中,R新插值和B新插值是根据第二待插入像素上下左右的邻像素中第二指定色彩的权重及第二图像中对应所缺色彩的平面色差获得的;然后,再用所有的R新插值和/或B新插值分别更新第二图像中对应的R色彩的初始插值和/或B色彩的初始插值,获得第三图像。
在对第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得第二像素集中各像素的R新插值或第三像素集中各像素的B新插值,针对第二像素集或第三像素集中,第二待插入像素中第一色彩的初始插值进行重新计算的方式为:
首先,计算第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值;其中,第二指定色彩与第一色彩的色彩相同。
具体的,第二待插入像素的上下左右四个邻像素中指定邻像素中插入第二指定色彩的新权重值的计算方式如下:
当指定邻像素为第二待插入像素的上下两个邻像素中的任一个时,指定邻像素中插入第二指定色彩的新权重值为,指定邻像素的上下两个相邻像素的原色彩值之差的绝对值,与第二插入像素的上下两个邻像素中第二指定色彩的初始插值之差的绝对值之和;
当指定邻像素为第二待插入像素的左右两个邻像素中的任一个时,指定邻像素中插入第二指定色彩的新权重值为,指定邻像素的左右两个相邻像素的原色彩值之差的绝对值,与第二插入像素的左右两个邻像素中指定色彩的初始插值之差的绝对值之和。
新权重值的计算可以表示为以下公式:
Gar(i,j-1)=|B(i,j-2)-B(i,j)|+|R’(i,j-1)-R’(i,j+1)|  (5);
Gar(i-1,j)=|B(i-2,j)-B(i,j)|+|R’(i-1,j)-R’(i+1,j)|  (6);
Gar(i+1,j)=|B(i+2,j)-B(i,j)|+|R’(i+1,j)-R’(i-1,j)|  (7);
Gar(i,j+1)=|B(i,j+2)-B(i,j)|+|R’(i,j+1)-R’(i,j-1)|  (8);
其中,(i,j)为第二待插入像素在第二图像中的坐标,i、j为自然数;当在第二图像的R平面内计算色彩为R的第二新插值时,Gar(i,j-1)、Gar(i-1,j)、Gar(i+1,j)、Gar(i,j+1)分别为待第二插入像素的上下左右四个邻像素中R的新权重值,B(i,j)为第二待插入像素的原色彩值,B(i,j-2)、B(i-2,j)、B(i+2,j)、B(i,j+2分别为对应坐标所在像素中的原色彩值,R’(i,j-1)、R’(i-1,j)、R’(i+1,j)、R’(i,j+1)分别为第待二插入像素的上下左右四个邻像素中R的新插值;当在第二图像的B平面内计算色彩为B的第二新插值时,采用的权重计算公式为将R平面内权重计算公式中R参数与B参数调换后的公式。
其次,基于第二图像中各邻像素中新权重值及对应的第一色彩平面差计算第二待插入像素的第二色彩平面差。
具体的,计算第二色彩平面差的计算方式为:
首先,计算第二待插入像素的各邻像素的第一色彩平面差的第二关联系数;其中,第二关联系数为各邻像素中第二指定色彩的新权重值与1之和的倒数;其次,将各邻像素中第二指定色彩的第一色彩平面差与对应第二关联系数进行积运算,并对所有积运算结果进行和运算,获得第二和运算结果;再次,对第二和运算结果与所有的第二关联系数之和进行商运算,获得第二待插入像素的第二色彩平面差。
第二色彩平面的上述计算方式可以表示为以下计算公式:
Figure BDA0001948476310000221
其中,K’(i,j)为第二待插入像素的G平面与同第二新插值同色彩的色彩平面的第二色彩平面差,K(i,j-1)、K(i-1,j)、K(i+1,j)、K(i,j+1)分别为第二待插入像素的上下左右对应的邻像素的第一色彩平面差,采用的计算公式为公式(1);Gar(i,j-1)、Gar(i-1,j)、Gar(i+1,j)、Gar(i,j+1)分别为对应像素中R或B的新权重值,1/(1+Ga(i,j-1))、1/(1+Ga(i-1,j))、1/(1+Ga(i+1,j))、1/(1+Ga(i,j+1))分别为第二待插入像素的上下左右对应的邻像素的色彩平面差的第二关联系数。
最后,对第二待插入像素中的G新插值与第二色彩平面差进行差运算,获得第二指定色彩的第二新插值;其中,当指定色彩为R色彩时,第二新插值为R新插值,当指定色彩为B色彩时,第二新插值为B新插值。
例如,以图8中的CFA图像的第二图像(即再次更新了G平面的第一图像)为例,为例减少图像失真和错误,还可以对第二图像的R平面和B平面进行再次更新。
如在B13所在像素重新计算所缺色彩R的R新内插值(B_R’13),可以重新计算B13所在像素的上下左右的邻像素(G8、G18、G12、G14所在像素)中R色彩的权重,具体采用公式(5)~(8)计算得:
Gar’8=|B3-B13|+|G_R’8-G_R’18|;
Gar’14=|B15-B13|+|G_R’14-G_R’12|;
Gar’18=|B23-B13|+|G_R’18-G_R’8|;
Gar’12=|B11-B13|+|G_R’12-G_R’14|;
其中,Gar’8、Gar’12、Gar’14、Gar’18分别为G8、G18、G12、G14所在像素中R的新权重值,G_R’8、G_R’12、G_R’14、G_R’18分别为G8、G18、G12、G14所在像素在第二图像中重新插入的R新插值。
根据第二图像中重新计算得到的G8、G18、G12、G14所在像素中G与R的新的色彩平面差及对应R的新权重值,按照公式(9)计算得B13所在像素中G与R的第二色彩平面差K’R13:
Figure BDA0001948476310000241
再根据B13所在像素中G与R的色彩平面差K’R13=B_R’13-B_R’13,计算得到在B13所在像素重新插入所缺色彩R的R新插值B_R’13=B_R’13-K’R13。同理,可以计算出所有B、G所在像素中所缺色彩R的R新插值,用所有的R新插值重新更新第二图像中的R平面。采用与上述重新更新R平面相同的方式,可以对第二图像中的B平面进行更新,进而得到第三图像。
通过对第一图像中的G平面、R平面、B平面进行重新更新,可以减少各平面种的伪色,进而进一步减少图像的失真和错误。
优选的,在获得第三图像之后,为了进一步减少图像的失真和错误,还可以用中值滤波器对第三图像进行重复滤波,获得第四图像;
其中,第四图像中R平面为所述第三图像中的R平面与G平面之差的中值与所述第三图像中G平面之和;R平面、G平面分别为所有像素的色彩均为R色彩、G色彩构成的色彩平面;
第四图像中B平面为第三图像中的B平面与G平面之差的中值与第三图像中G平面之和;其中,B平面为所有像素的色彩均为B色彩、构成的色彩平面;
第四图像中G平面为第三图像中的G平面与所述第四图像中的R平面之差的中值,和与第三图像中的G平面与第四图像中的B平面之差的中值,以及第四图像中的R平面与B平面四者之和的二分之一。
使用中值滤波器对第三图像进行重复滤波的过程可以表示为以下滤波公式:
R2=median(R-G)+G;
B2=median(B-G)+G;
G2=1/2(median(G-R2)+median(G-B2)+R2+B2);
其中,R2为第四图像中的R平面,B2为第四图像中的B平面,G2为第四图像中的G平面,R、G、B分别为第三图像中的R平面、G平面、B平面,median为中值函数。
通过使用中值滤波器对第三图像进行过滤,可以使第三图像中的色彩过渡更加平滑、增强图像的信噪比,从而进一步的减少图像失真和错误。
为了检验本发明上述实施例提供的方案的实际使用效果,请参见图9,为标准测试图像,它由9副标准图构成,这9副标准图的标号依次为(1)~(9)。假设标号为(1)~(9)的图在使用了本发明上述实施例中的所有方法后,得到的对应第四图像的信噪比与采用其它方法后的信噪比如表1所示:
表1
Figure BDA0001948476310000251
Figure BDA0001948476310000261
其中,PSNR_R、PSNR_G、PSNR_B分别为R、G、B的信噪比,信噪比越高说明图像失真越小。
根据表1,可以计算出彩色滤波矩阵内插法效能估计之信噪比PSNR均值,请参见表2。
表2
Figure BDA0001948476310000262
通过表1和表2可知,采用本方案中的方法对标准图进行处理之后,本方案的信噪比最高,图像失真最小。
基于同一发明构思,本发明一实施例中提供一种用于颜色滤波阵列CFA图像处理的装置,该装置的颜色滤波阵列CFA图像处理方法的具体实施方式可参见方法实施例部分的描述,重复之处不再赘述,请参见图10,该装置包括:
计算单元1001,用于基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算所述颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,所述颜色滤波阵列图像采用的数据格式为贝尔格式数据;
重算单元1002,用于对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值;其中,所述G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,所述第一待插入像素为所述第一像素集中的任一像素,所述指定色彩与所述第一待插入像素中的原色彩相同;
更新单元1003,用于用所有的G新插值更新所述第一图像中对应的G色彩的初始插值,获得第二图像。
可选的,所述重算单元1002具体用于:
针对所述第一像素集中,所述第一待插入像素中G色彩的初始插值进行重新计算的方式为:
计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差;
基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差;
对所述第一色彩平面差与所述第一待插入像素中的原色彩值进行和运算,获得所述第一待插入像素的G新插值。
可选的,所述重算单元1002还用于:
针对所述第一待插入像素的上下左右的邻像素中的任一邻像素的色彩平面差的计算方式如下;
若所述第一指定色彩为R色彩,则计算所述任一邻像素中G原色彩值与R色彩的初始插值之差,获得所述任一邻像素的色彩平面差;
若所述第一指定色彩为B色彩,则计算所述任一邻像素中G原色彩值与B色彩的初始插值之差,获得所述任一邻像素的色彩平面差。
可选的,所述重算单元1002还用于:
计算所述第一待插入像素的各邻像素的色彩平面差的第一关联系数;其中,所述第一关联系数为所述各邻像素中原色彩的权重与1之和的倒数;
将所述各邻像素的色彩平面差与对应第一关联系数进行积运算,并对所有积运算结果进行和运算,获得第一和运算结果;
对所述第一和运算结果与所有的第一关联系数之和进行商运算,获得所述第一待插入像素的第一色彩平面差。
可选的,所述重算单元1002还用于:
对所述第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得所述第二像素集中各像素的R新插值或所述第三像素集中各像素的B新插值;其中,所述R新插值和所述B新插值是根据第二待插入像素上下左右的邻像素中第二指定色彩的权重及所述第二图像中对应所缺色彩的平面色差获得的;
用所有的R新插值和/或B新插值分别更新所述第二图像中对应的R色彩的初始插值和/或B色彩的初始插值,获得第三图像。
可选的,所述重算单元1002还用于:
针对所述第二像素集或第三像素集中,所述第二待插入像素中第一色彩的初始插值进行重新计算的方式为:
计算所述第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值;其中,所述第二指定色彩与所述第一色彩的色彩相同;
基于所述第二图像中各邻像素中新权重值及对应的第一色彩平面差,计算所述第二待插入像素的第二色彩平面差;
对所述第二待插入像素中的G新插值与所述第二色彩平面差进行差运算,获得所述第二指定色彩的第二新插值;其中,当所述指定色彩为R色彩时,所述第二新插值为R新插值,当所述第二指定色彩为B色彩时,所述第二新插值为B新插值。
可选的,所述重算单元1002还用于:
所述第二待插入像素的上下左右四个邻像素中指定邻像素中插入第二指定色彩的新权重值的计算方式如下:
当所述指定邻像素为所述第二待插入像素的上下两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的上下两个相邻像素的原色彩值之差的绝对值,与所述第二插入像素的上下两个邻像素中第二指定色彩的初始插值之差的绝对值之和;
当所述指定邻像素为所述第二待插入像素的左右两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的左右两个相邻像素的原色彩值之差的绝对值,与所述第二插入像素的左右两个邻像素中指定色彩的初始插值之差的绝对值之和。
可选的,所述重算单元1002还用于:
计算所述第二待插入像素的各邻像素的第一色彩平面差的第二关联系数;其中,所述第二关联系数为所述各邻像素中第二指定色彩的新权重值与1之和的倒数;
将所述各邻像素中第二指定色彩的第一色彩平面差与对应第二关联系数进行积运算,并对所有积运算结果进行和运算,获得第二和运算结果;
对所述第二和运算结果与所有的第二关联系数之和进行商运算,获得所述第二待插入像素的第二色彩平面差。
可选的,所述装置还包括:
滤波单元1004,用于用中值滤波器对所述第三图像进行重复滤波,获得第四图像;
其中,所述第四图像中R平面为所述第三图像中的R平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述R平面、G平面分别为所有像素的色彩均为R色彩、G色彩构成的色彩平面;
所述第四图像中B平面为所述第三图像中的B平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述B平面为所有像素的色彩均为B色彩、构成的色彩平面;
所述第四图像中G平面为所述第三图像中的G平面与所述第四图像中的R平面之差的中值,和与所述第三图像中的G平面与所述第四图像中的B平面之差的中值,以及所述第四图像中的R平面与B平面四者之和的二分之一。
基于同一发明构思,本发明实施例中提供了一种用于颜色滤波阵列CFA图像处理的装置,包括:至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,执行如上所述的颜色滤波阵列CFA图像处理方法。
基于同一发明构思,本发明实施例还提一种计算机可读存储介质,包括:
所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如上所述的颜色滤波阵列CFA图像处理方法。
在本发明提供的实施例中,通过基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,颜色滤波阵列图像采用的数据格式为贝尔格式数据;对第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得第一像素集中各像素的G新插值;其中,G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,第一待插入像素为第一像素集中的任一像素,指定色彩与第一待插入像素中的原色彩相同;用所有的G新插值更新第一图像中对应的G色彩的初始插值,获得第二图像。从而实现减少图像失真和错误的技术效果。
本领域内的技术人员应明白,本发明实施例可提供为方法、系统、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种颜色滤波阵列图像处理的方法,其特征在于,包括:
基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算所述颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,所述颜色滤波阵列图像采用的数据格式为贝尔格式数据;
对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值;其中,所述G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,所述第一待插入像素为所述第一像素集中的任一像素,所述指定色彩与所述第一待插入像素中的原色彩相同;
用所有的G新插值更新所述第一图像中对应的G色彩的初始插值,获得第二图像;
其中,对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值,包括:
针对所述第一像素集中,所述第一待插入像素中G色彩的初始插值进行重新计算的方式为:
计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差;
基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差;
对所述第一色彩平面差与所述第一待插入像素中的原色彩值进行和运算,获得所述第一待插入像素的G新插值。
2.如权利要求1所述的方法,其特征在于,计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差,包括:
针对所述第一待插入像素的上下左右的邻像素中的任一邻像素的色彩平面差的计算方式如下;
若所述第一指定色彩为R色彩,则计算所述任一邻像素中G原色彩值与R色彩的初始插值之差,获得所述任一邻像素的色彩平面差;
若所述第一指定色彩为B色彩,则计算所述任一邻像素中G原色彩值与B色彩的初始插值之差,获得所述任一邻像素的色彩平面差。
3.如权利要求2所述的方法,其特征在于,基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差,包括:
计算所述第一待插入像素的各邻像素的色彩平面差的第一关联系数;其中,所述第一关联系数为所述各邻像素中原色彩的权重与1之和的倒数;
将所述各邻像素的色彩平面差与对应第一关联系数进行积运算,并对所有积运算结果进行和运算,获得第一和运算结果;
对所述第一和运算结果与所有的第一关联系数之和进行商运算,获得所述第一待插入像素的第一色彩平面差。
4.如权利要求1-3任一权项所述的方法,其特征在于,还包括:
对所述第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得所述第二像素集中各像素的R新插值或所述第三像素集中各像素的B新插值;其中,所述R新插值和所述B新插值是根据第二待插入像素上下左右的邻像素中第二指定色彩的权重及所述第二图像中对应所缺色彩的平面色差获得的;
用所有的R新插值和/或B新插值分别更新所述第二图像中对应的R色彩的初始插值和/或B色彩的初始插值,获得第三图像。
5.如权利要求4所述的方法,其特征在于,对所述第一图像中插入了所缺色彩为R色彩的第二像素集,或插入了所缺色彩为B色彩的第三像素集中,各R色彩或B色彩的初始插值进行重新计算,获得所述第二像素集中各像素的R新插值或所述第三像素集中各像素的B新插值,包括:
针对所述第二像素集或第三像素集中,所述第二待插入像素中第一色彩的初始插值进行重新计算的方式为:
计算所述第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值;其中,所述第二指定色彩与所述第一色彩的色彩相同;
基于所述第二图像中各邻像素中新权重值及对应的第一色彩平面差,
计算所述第二待插入像素的第二色彩平面差;
对所述第二待插入像素中的G新插值与所述第二色彩平面差进行差运算,获得所述第二指定色彩的第二新插值;其中,当所述指定色彩为R色彩时,所述第二新插值为R新插值,当所述第二指定色彩为B色彩时,所述第二新插值为B新插值。
6.如权利要求5所述的方法,其特征在于,计算所述第二待插入像素的上下左右的邻像素中第二指定色彩的新权重值,包括:
所述第二待插入像素的上下左右四个邻像素中指定邻像素中插入第二指定色彩的新权重值的计算方式如下:
当所述指定邻像素为所述第二待插入像素的上下两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的上下两个相邻像素的原色彩值之差的绝对值,与所述第二待插入像素的上下两个邻像素中第二指定色彩的初始插值之差的绝对值之和;
当所述指定邻像素为所述第二待插入像素的左右两个邻像素中的任一个时,所述指定邻像素中插入第二指定色彩的新权重值为,所述指定邻像素的左右两个相邻像素的原色彩值之差的绝对值,与所述第二待插入像素的左右两个邻像素中指定色彩的初始插值之差的绝对值之和。
7.如权利要求6所述的方法,其特征在于,基于所述第二图像中各邻像素中新权重值及对应的第一色彩平面差,计算所述第二待插入像素的第二色彩平面差,包括:
计算所述第二待插入像素的各邻像素的第一色彩平面差的第二关联系数;其中,所述第二关联系数为所述各邻像素中第二指定色彩的新权重值与1之和的倒数;
将所述各邻像素中第二指定色彩的第一色彩平面差与对应第二关联系数进行积运算,并对所有积运算结果进行和运算,获得第二和运算结果;
对所述第二和运算结果与所有的第二关联系数之和进行商运算,获得所述第二待插入像素的第二色彩平面差。
8.如权利要求7所述的方法,其特征在于,还包括:
用中值滤波器对所述第三图像进行重复滤波,获得第四图像;
其中,所述第四图像中R平面为所述第三图像中的R平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述R平面、G平面分别为所有像素的色彩均为R色彩、G色彩构成的色彩平面;
所述第四图像中B平面为所述第三图像中的B平面与G平面之差的中值与所述第三图像中G平面之和;其中,所述B平面为所有像素的色彩均为B色彩、构成的色彩平面;
所述第四图像中G平面为所述第三图像中的G平面与所述第四图像中的R平面之差的中值,和与所述第三图像中的G平面与所述第四图像中的B平面之差的中值,以及所述第四图像中的R平面与B平面四者之和的二分之一。
9.一种颜色滤波阵列CFA图像处理的装置,其特征在于,包括:
计算单元,用于基于颜色滤波阵列图像中各像素的原色彩值,用加强型色差平面算法计算所述颜色滤波阵列图像中每个像素所缺色彩的初始插值,获得具有完整色彩的第一图像;其中,所述颜色滤波阵列图像采用的数据格式为贝尔格式数据;
重算单元,用于对所述第一图像中插入了所缺色彩为G色彩的第一像素集中,各G色彩的初始插值进行重新计算,获得所述第一像素集中各像素的G新插值;其中,所述G新插值是根据第一待插入像素的邻像素中G原色彩值的权重及第一指定色彩的初始插值获得的,所述第一待插入像素为所述第一像素集中的任一像素,所述指定色彩与所述第一待插入像素中的原色彩相同;
所述重算单元具体用于针对所述第一像素集中,所述第一待插入像素中G色彩的初始插值进行重新计算的方式为:计算所述第一待插入像素的上下左右的邻像素中G原色彩值与所述第一指定色彩的初始插值之差,获得所述第一待插入像素的各邻像素的色彩平面差;基于所述第一待插入像素的各邻像素的色彩平面差及对应邻像素中G原色彩值的权重值,计算所述第一待插入像素的第一色彩平面差;对所述第一色彩平面差与所述第一待插入像素中的原色彩值进行和运算,获得所述第一待插入像素的G新插值;
更新单元,用于用所有的G新插值更新所述第一图像中对应的G色彩的初始插值,获得第二图像。
10.一种颜色滤波阵列CFA图像处理的装置,其特征在于,包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令,执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质,其特征在于:
所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如权利要求1-8中任一项所述的方法。
CN201910043787.2A 2019-01-17 2019-01-17 颜色滤波阵列图像处理的方法、装置及存储介质 Active CN109829852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910043787.2A CN109829852B (zh) 2019-01-17 2019-01-17 颜色滤波阵列图像处理的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910043787.2A CN109829852B (zh) 2019-01-17 2019-01-17 颜色滤波阵列图像处理的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109829852A CN109829852A (zh) 2019-05-31
CN109829852B true CN109829852B (zh) 2023-04-25

Family

ID=66861015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910043787.2A Active CN109829852B (zh) 2019-01-17 2019-01-17 颜色滤波阵列图像处理的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109829852B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824936B (zh) * 2021-09-23 2024-02-09 合肥埃科光电科技股份有限公司 色彩滤波阵列线扫描相机色彩插值方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101336438A (zh) * 2005-12-29 2008-12-31 美光科技公司 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备
CN102930503A (zh) * 2012-10-15 2013-02-13 上海大学 基于cfa图像多方向边缘插值的方法
WO2013136808A1 (ja) * 2012-03-16 2013-09-19 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN105472388A (zh) * 2015-12-08 2016-04-06 浙江大华技术股份有限公司 一种颜色滤波阵列图像的编解码方法、装置和系统
CN108734668A (zh) * 2017-04-21 2018-11-02 展讯通信(上海)有限公司 图像色彩恢复方法、装置、计算机可读存储介质及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101336438A (zh) * 2005-12-29 2008-12-31 美光科技公司 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备
WO2013136808A1 (ja) * 2012-03-16 2013-09-19 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN102930503A (zh) * 2012-10-15 2013-02-13 上海大学 基于cfa图像多方向边缘插值的方法
CN105472388A (zh) * 2015-12-08 2016-04-06 浙江大华技术股份有限公司 一种颜色滤波阵列图像的编解码方法、装置和系统
CN108734668A (zh) * 2017-04-21 2018-11-02 展讯通信(上海)有限公司 图像色彩恢复方法、装置、计算机可读存储介质及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jian-Feng Yang等.Panoramic camera on the Yutu lunar rover of the Chang'e-3 mission.《Research in Astronomy and Astrophysics》.2015,(第11期), *

Also Published As

Publication number Publication date
CN109829852A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
JP4350706B2 (ja) 画像処理装置及び画像処理プログラム
US9654700B2 (en) Computational camera using fusion of image sensors
JP7182907B2 (ja) カメラの画像データ処理方法およびカメラ
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
JP4657564B2 (ja) 電子スチルカメラ及び画像処理方法
EP2458873B1 (en) Image processing device for correcting chromatic aberration, method for processing image, program, and storage medium
KR100780932B1 (ko) 컬러 보간 방법 및 장치
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
US20080253652A1 (en) Method of demosaicing a digital mosaiced image
US20100265352A1 (en) Image processing apparatus, control method therefor, and storage medium
JP2001101398A (ja) 画像処理方法および装置並びに記録媒体
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
US8238685B2 (en) Image noise reduction method and image processing apparatus using the same
CN111539893A (zh) 一种基于导向滤波的Bayer图像联合去马赛克去噪方法
KR100891825B1 (ko) 디지털 영상의 컬러 노이즈 제거 장치 및 방법
CN108024100A (zh) 基于改进边缘导向的Bayer格式图像插值方法
CN109829852B (zh) 颜色滤波阵列图像处理的方法、装置及存储介质
WO2008086037A2 (en) Color filter array interpolation
TWI493979B (zh) 去馬賽克方法、非暫時性機器可讀取儲存媒體以及影像訊號處理器
KR100826215B1 (ko) 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP2007028041A (ja) 画像処理装置
JP2013009172A (ja) 撮像装置及び画像生成方法
JP3657826B2 (ja) 画素補間方法
Singh et al. Joint chromatic aberration correction and demosaicking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant