CN110248169B - 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统 - Google Patents

用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统 Download PDF

Info

Publication number
CN110248169B
CN110248169B CN201810185105.7A CN201810185105A CN110248169B CN 110248169 B CN110248169 B CN 110248169B CN 201810185105 A CN201810185105 A CN 201810185105A CN 110248169 B CN110248169 B CN 110248169B
Authority
CN
China
Prior art keywords
correction point
image
correction
sigma
adjustment value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810185105.7A
Other languages
English (en)
Other versions
CN110248169A (zh
Inventor
蒋坤君
李柯蒙
颜扬治
陈远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunny Optical Zhejiang Research Institute Co Ltd
Original Assignee
Sunny Optical Zhejiang Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunny Optical Zhejiang Research Institute Co Ltd filed Critical Sunny Optical Zhejiang Research Institute Co Ltd
Priority to CN201810185105.7A priority Critical patent/CN110248169B/zh
Publication of CN110248169A publication Critical patent/CN110248169A/zh
Application granted granted Critical
Publication of CN110248169B publication Critical patent/CN110248169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统。本发明揭露了一图像校正方法，包括步骤：获取一基于Bayer域的图像信息，其中该图像信息包括由R、B、Gr和Gb各像素点所采集的单色光信息；分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，以分别求解基于图像信息设定的调整值V1和基于非图像细节信息设定的调整值V2；根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和每一该校正点的噪声强度，调整该V1和V2并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为V1和V2的加权权重；和将调整V作用于该校正点(Gr/Gb)。

Description

用于Bayer域的绿通道不平衡的图像校正方法及其图像校正 系统
技术领域
本发明涉及图像处理领域，更具体地，涉及一用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统。
背景技术
随着技术的发展，计算设备被逐渐地应用于现代社会的各个层面，并对现代社会的发展做出了巨大的贡献，其包括但不限于，数码相机，摄像机，智能手机，导航系统等。特别地，近年来，数码相机等具有采集图像功能的设备变得越来越流行，且对其成像品质要求越来越高。
如图1为现有的一图像采集设备的示意图，其包括一光学镜头1P，一感光芯片5P，一AD转化器(Analog-to-digital converter)3P和一图像处理器4P。特别地，当该感光芯片2P被实施为具有采集彩色图像功能的感光芯片时，该感光芯片5P还设有一彩色滤镜2P。最为通用的彩色滤镜2P为Bayer滤镜，其具有基于Bayer阵列的图案。Bayer阵列的图案是该感光芯片5P能够采集彩色图像的核心技术之一，其图案模拟人眼对色彩的敏感程度，采用一行由R和Gr依序排列和另一行由B和Gb依序排列的方式进行排布。
近年来，由于对图像采集设备的成像品质的要求越来越高，导致该感光芯片5P的像素数量需不断增加，而与此同时，该感光芯片的整体尺寸却需保持在某一特定尺寸范围，这必然会导致每一像素所占的面积不断缩减。从硬件角度来看，随着每一像素所占面积的的缩减，像素中光电二极管的容量会缩减，导致该感光芯片5P的灵敏度的下降。为了解决这一技术难题，采用了一种同类像素共享驱动的结构，即在该感光芯片5P中，所有的R像素、所有的B像素、所有的Gr像素和所有的Gb像素各自共享一驱动结构。然而，该同类像素共享驱动的结构为非对称结构，导致在同一光强下，Gr和Gb通道产生不同的感光强度。
进一步地，在进行颜色插值以生成RGB彩色图像之后，在该RGB彩色图像中会出现类似于网络一样的交叉效应，在本发明中，将这种效应定义为绿通道不平衡。无疑地，绿通道不平衡在该RGB图像中为干扰信息，不仅会直接导致图像的视觉效果变差，更影响后续基于图像信息的研究和相关应用的开发。
因此，对于一种能够用于Bayer域的绿通道不平衡的图像校正方法的需求是切实存在的。
发明内容
本发明的主要目的在于提供一用于Bayer域绿通道不平衡的图像校正方法及其图像校正系统，其中在对绿通道不平衡进行校正的过程中，充分考虑到图像在图像细节和图像非细节等区域绿通道不平衡校正存有差异性，以对图像不同区域进行自适应的绿通道不平衡校正。
本发明的另一目的在于提供一用于Bayer域绿通道不平衡的图像校正方法及其图像校正系统，其中所述图像校正方法能在校正绿通道不平衡的同时，可相对有效地防止图像细节，例如边缘、纹理或轮廓等信息，的缺失或误校正。
本发明的另一目的在于提供一用于Bayer域绿通道不平衡的图像校正方法及其图像校正系统，其中所述图像校正方法在校正每一校正像素点的绿通道不平衡时，充分考虑该校正像素点的噪声强度和该校正像素点局部邻域内的其他同色像素点(Gr/Gb)与该校正像素点的离散程度，以对图像不同的区域的该特定校正点进行不同程度的自适应绿通道不平衡调节。
本发明的另一目的在于提供一用于Bayer域绿通道不平衡的图像校正方法及其图像校正系统，其中所述图像校正系统能相对有效地消除绿通道不平衡的现象，从而该感光芯片的硬件所造成的局限藉由所述图像校正系统得以完善，以使得最终的图像具有相对较高的成像质量。
本发明的另一目的在于提供一用于Bayer域绿通道不平衡的图像校正方法及其图像角整形系统，其中所述图像校正系统直接作用于Bayer域进行绿通道不平衡调节，使得整体的计算量保持在一个相对较低的水平，具有相对较高的校正效率。
通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。
依本发明，前述以及其它目的和优势可以通过一用于Bayer域绿通道不平衡的图像校正方法被实现，其包括步骤：
S1获取一基于Bayer域的图像信息，其中该图像信息包括由R、B、Gr和Gb像素点所采集的单色光信息。
S2分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，以分别求解基于图像信息设定的调整值V1和基于非图像细节信息设定的调整值V2；
S3根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和该校正点的噪声强度，调整该V1和V2并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为V1和V2的加权权重；和
S4将调整值V作用于该校正点(Gr/Gb)。
在本发明的一实施例中，所述图像校正方法还包括步骤：
S5将调整值-V作用于该校正点对应局部邻域内的其他同色参考点(Gr/Gb)，以确保该局部邻域内绿色通道保持平衡。
在本发明的一实施例中，所述步骤S2，包括步骤：
S21设定该校正点(Gr/Gb)为图像细节信息，则V1调整值由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各差值的加权权重由该校正点与该校正点局部邻域内的其他同色像素点之间的差值决定；和
S22设定该校正点(Gr/Gb)为非图像细节信息，则V2调整值由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各插值的加权权重为1。
在本发明的一实施例中，所述步骤S3还包括步骤：
S31求解该校正点和该校正点局部邻域内的其他同色像素点之间的标准差SigmaV表示为校正点与该校正点局部邻域内其他同色像素点的离散程度；
S32根据一噪声标定模型求解该校正点的噪声强度Sigma N；和
S32当Sigma V>Sigma N*HiScale时，ω1＝1，ω2＝0；
当Sigma V>Sigma N*LoScale时，ω1＝(Sigma V–Sigma N*LoScale)/(Sigma N*HiScale–Sigma N*LoScale)，ω2＝1-ω1；
当Sigma V<＝Sigma N*LoScale，w1＝0，w2＝1，其中HiScale和LoScale为给定参数。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1为一现有的图像采集设备的示意图。
图2为依据本发明一较佳实施例的一图像校正系统的框图示意图。
图3为依据上述较佳实施例一Bayer阵列图案的示意图。
图4为依据上述较佳实施例该Bayer阵列图案的另一示意图。
图5为依据上述较佳实施例该Bayer阵列图案的又一示意图。
图6为依据上述较佳实施例该Bayer阵列图案的又一示意图。
图7为设定以G7为一校正点的Bayer域像素阵列的部分示意图。
图8为依据上述较佳实施例的所述图像校正系统所提供的一图像校正方法的框图示意图。
图9为依据上述较佳实施例的所述图像校正方法的一求解调整值V1和调整值V2的步骤的流程图示意图。
图10为依据上述较佳实施例的所述图像校正方法的一调整该调整值V1和该调整值V2以最终得到调整值V的步骤的流程图示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一或多个”，即在一实施例中，一元件的数量可以为一，而在另外的实施例中，所述元件的数量可以为多个，术语“一”不能理解为对数量的限制。
如图2所示，依据本发明一较佳实施例的一用于Bayer域的绿通道不平衡的图像校正系统被阐明，其中所述图像校正系统可被集成于任一图像采集设备，例如数码相机、摄像机等，或任一具有图像采集功能的电子设备，例如智能手机、平板电脑等，供对该图像采集设备或该电子设备所采集的图像进行Bayer域绿通道不平衡进行校正，以提高图像成像的视觉效果及利于后续基于图像信息的研究和相关应用的开发。通常地，所述图像校正系统可被集成于该图像采集设备的一处理器或该电子设备的一处理器，并按照预载的图像校正程序对所获取的图像数据进行Bayer域绿通道不平衡图像校正。
如前所述，由于对图像采集设备的成像品质的要求越来越高，感光芯片的像素数量需不断增加。从硬件角度来看，随着每一像素所占面积的的缩减，像素中光电二极管的容量会缩减，导致该感光芯片2P的灵敏度的下降。为了解决这一技术难题，采用了一种同类像素共享驱动的结构，即在感光芯片中，所有的R像素、所有的B像素、所有的Gr像素和所有的Gb像素各自共享一驱动结构。然而，该同类像素共享驱动的结构为非对称结构，导致在同一光强下，Gr和Gb通道产生不同的感光强度。在本发明中，此现象称为绿通道不平衡。
相应地，本发明所提供的所述图像校正系统，其目的在于有效消除由于感光芯片硬件局限所产生的该绿通道不平衡现象，从软件的角度弥补优化硬件局限所造成的成像偏差。特别地，本发明所提供的所述图像校正系统，依据如下描述的用于Bayer域的绿通道不平衡的图像校正方法进行运转。如图8所示，所述图像校正方法包括步骤：
S1获取一基于Bayer域的图像信息，其中该图像信息包括由R、B、Gr、Gb像素点所采集的单色光信息。
S2分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，并分别求解基于图像信息设定的调整值V1和基于非图像细节信息设定的调整值V2；
S3根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和该校正点的噪声强度，调整该V1和V2并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为V1和V2的加权权重；和
S4将调整V作用于该校正点(Gr/Gb)。
更具体地说，在步骤S1中，该Bayer图像数据由该感光芯片的彩色滤镜所设置的Bayer阵列图案所决定。本领域的技术人员应知晓，Bayer阵列的图案是感光芯片能够采集彩色图像的核心技术之一，其中该Bayer阵列的图案模拟人眼对色彩的敏感程度，采用一行由R和Gr依序排列和另一行由B和Gb依序排列的方式进行排布。
如图3至如图6所示为该Bayer阵列图案的四种类型，根据观察可知，不管以何种方式进行排布，对于任一Gb像素点而言，其在局部邻域内(3*3pixels)均包括4个位于该局部邻域4角区域的4个Gr像素点；对于任一Gr像素而言，其在局部邻域内(3*3pixels)均包括4个位于该局部邻域4角区域的4个Gb像素点。进一步地，放大该局部邻域(5*5Pixel)，可观察到，对于该任一Gb像素点而言，其在该局部邻域内的同列处设有两个Gb像素和在该局部邻域内同行位置处设有两个Gb像素。相类似地，对于该任一Gr像素点而言，其在放大的该局部邻域(5*5pixels)内可观察到，在其在该局部邻域内的同列处设有两个Gr像素和在该局部邻域内同行位置处设有两个Gr像素。
其次，在利用该感光芯片采集一被测目标的图像数据时，对应于该被测目标具体的形貌特征，该Bayer图像包括被测目标的细节信息区域，例如边缘，轮廓，纹理等、被测目标的非细节信息区域和在细节信息和非细节信息之间的过渡区域。应注意的是，在进行Bayer域绿通道不平衡的校正的过程中，应充分考虑图像各区域绿通道不平衡的校正尺度的差异，否则容易造成图像细节区域信息缺失或误调整，影响最终的成像效果。本领域的技术人员应知晓，对于Bayer图像数据而言，其特定像素点是否为图像细节信息可通过该特定像素点邻域内的像素特征作概率判断。基于此技术特征可推论：可对图像细节信息和图像非细节信息设定不同的绿通道校正调整尺度，以在校正绿通道不平衡的同时，尽量地避免图像细节信息的缺失或误调整。
由此设计了步骤S2和步骤S3，其中在步骤S2中，分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，分别求解基于图像信息设定的调整值V1和基于非图像细节信息设定的调整值V2；在步骤S3中，根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和该校正点的噪声强度，调整该V1和V2并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为V1和V2的加权权重。从数学的角度简单来说，V1和V2分别为该校正点的两个极限情况，其中V1代表着设定该校正点为图像细节信息和V2代表着设定该校正点为非图像信息。在实际情况中，比如受图像噪声的影响或者该校正点为图像细节信息和图像非细节信息的过渡地带，接近实际情况的调整值V一定处于V1和V2之间，用数学公式表现为：V＝ω1*V1+ω2*V2，其中ω1和ω2分别为V1和V2的加权权重。
进一步地，根据步骤S2和步骤S3可知，要想获得更接近实际情况的调整值V，关键在于更高精度地求解V1，V2和与其对应的加权权重ω1，ω2。相应地，在本发明的该较佳实施例中，所述步骤S2还包括步骤：
S21设定该校正点(Gr/Gb)为图像细节信息，则V1调整值由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各差值的加权权重由该校正点与该校正点局部邻域内的其他同色像素点之间的差值决定；和
S22设定该校正点(Gr/Gb)为非图像细节信息，则V2调整值由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各插值的加权权重为1。
为了更为清晰地理解步骤S21的V1求解过程中，以该校正点为Gr像素点为举例来阐明V1的求解细节。更具体地说，如图7示意的为该感光芯片Bayer域像素阵列的部分示意图，其窗口尺寸为7*7pixels。
在该像素阵列窗口内，G7为本次示例的校正点，其为Gr像素。由步骤S21可知，要想求解G7像素的调整值VG7，首先需求解G7像素在其局部邻域内的其他同色像素点与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值。具体到本示例可知，G7像素在其领域内的其他同色像素点皆为Gb像素(包括G4、G5、G9和Ga)，而G7像素在其局部邻域内的其他同色像素点与该其他同色像素点的各自局部邻域内的其他同色像素点之间的差值分别为ΔG4、ΔG5、ΔG9和ΔGa。
进一步地，以G4像素为例，其局部邻域内的同色像素点皆为Gr像素(包括G1、G2、G6和G7)，而
Figure GDA0003252206270000071
其中ω1～ω4分别为G1、G2、G6和G7像素的加权权重，由G4像素所在局部邻域内的5*5pixels中各同色像素点与G4像素的差值计算而得。
具体到本示例而言，G4像素邻域内同色像素点(包括G1、G2、G6和G7)的各加权权重ω1～ω4由像素G1、G2、G6和G7，和像素Gf、Gl、G5和G9与G4像素的差值决定，其中像素G1、G2、G6和G7为Gb像素，像素Gf、Gl、G5和G9为Gr像素。特别地，在本发明中，G1、G2、G6和G7的加权权重ω1～ω4，由如下公式计算而得：
diffr＝|G4-Gri|→ωri；
diffb＝|G4-Gbi|→ωbi；和
Figure GDA0003252206270000072
其中ωri→diffr表示第i个Gr像素与G4在Gr通道方向上的差值，具体到本示例中，分别为Gf、Gl、G5和G9与G4像素在Gr通道方向上的差值；其中ωbi→diffb表示第i个Gb像素与G4在Gb通道方向上的差值，具体到本示例中，分别为G1、G2、G6和G7与G4像素在Gb通道方向上的差值。由此可知，在本示例中，G1像素的加权权重
Figure GDA0003252206270000073
其中ωr1可表示为Gf或Gl像素与G4像素在Gr通道方向上的差值，而
Figure GDA0003252206270000074
表示为G1、G2、G6和G7与G4像素在Gb通道方向上的差值的连乘积，以此方式类推出G2、G6和G7所对应的ω2、ω3和ω4。
进一步地，在本发明中，每一diff所对应的ωri或ωbi的计算方式设定为：
如果diff>＝hiThr，ω＝0；
如果diff<＝loThr，ω＝1；
如果loThr<diff<hiThr，ω＝(diff–loThr)/(hiThr-loThr)，其中hiThr和loThr为设定阈值。应领会的是，当diff>＝hiThr时，该像素点有较高概率为异常点，例如噪声点等，此时，为了使校正更接近实际情况设定ω＝0为较优的设定；当diff<＝loThr时，此时该像素点有较高概率为图像非细节区域，例如平坦区域，此时，为了使校正更接近实际情况需保留该像素点，即设定ω＝1；当loThr<diff<hiThr时，该像素点有较高概率处于图像细节和图像非细节信息的过渡地带，此时，为了使校正更接近实际情况需对该像素点做适当调节，即设定ω＝(diff–loThr)/(hiThr-loThr)。值得一提的是，在本发明中，参数hiThr和loThr可根据所述图像校正系统的具体应用场景和实际需求做相关设定和调整。本发明的重点在于：对于diff值需根据实际图像不同区域的特征作不同调整的技术特征，而对于参数hiThr和loThr具体值的设定，此并不为本发明所局限。
由上述求解ΔG4的方式可类推出ΔG5、ΔG9和ΔGa，从而基于公式
Figure GDA0003252206270000081
便可求解该校正点像素G7的调整值V1＝ΔG7，其中ω1～ω4分别为G4、G5、G9和Ga像素的加权权重，由G7像素所在局部邻域内的5*5pixels中各同色像素点与G7像素的差值计算而得。
相类似地，具体到本示例而言，G7像素邻域内同色像素点(包括G4、G5、G9和Ga)的各加权权重ω1～ω4由像素G4、G5、G9和Ga，和像素G2、G6、G8和Gc与G7像素的差值决定，其中像素G4、G5、G9和Ga为Gb像素，像素G2、G6、G8和Gc为Gr像素。
特别地，在本发明中，G4、G5、G9和Ga的加权权重ω1～ω4，由如下公式计算而得：
diffr＝|G7-Gri|→ωri；
diffb＝|G7-Gbi|→ωbi；和
Figure GDA0003252206270000082
其中ωri→diffr表示第i个Gr像素与G7在Gr通道方向上的差值，具体到本示例中，分别为G2、G6、G8和Gc与G7像素在Gr通道方向上的差值；其中ωbi→diffb表示第i个Gb像素与G7在Gb通道方向上的差值，具体到本示例中，分别为G4、G5、G9和Ga与G7像素在Gb通道方向上的差值。由此可知，在本示例中，G4像素的加权权重
Figure GDA0003252206270000091
其中ωr1可表示为G2或G6像素与G7像素在Gr通道方向上的差值，而
Figure GDA0003252206270000092
表示为G4、G5、G9和Ga与G7像素在Gb通道方向上的差值的连乘积，以此方式类推出G5、G9和Ga所对应的ω2、ω3和ω4。
进一步地，在本发明中，每一diff所对应的ωri或ωbi的计算方式设定为：
如果diff>＝hiThr，ω＝0；
如果diff<＝loThr，ω＝1；
如果loThr<diff<hiThr，ω＝(diff–loThr)/(hiThr-loThr)，其中hiThr和loThr为设定阈值。应领会的是，当diff>＝hiThr时，该像素点有较高概率为异常点，例如噪声点等，此时，为了使校正更接近实际情况设定ω＝0为较优的设定；当diff<＝loThr时，此时该像素点有较高概率为图像非细节区域，例如平坦区域，此时，为了使校正更接近实际情况需保留该像素点，即设定ω＝1；当loThr<diff<hiThr时，该像素点有较高概率处于图像细节和图像非细节信息的过渡地带，此时，为了使校正更接近实际情况需对该像素点做适当调节，即设定ω＝(diff–loThr)/(hiThr-loThr)。相一致的，在本发明中，参数hiThr和loThr可根据所述图像校正系统的具体应用场景和实际需求做相关设定和调整。本发明的重点在于：对于diff值需根据实际图像不同区域的特征作不同调整的技术特征，而对于参数hiThr和loThr的具体值，此并不为本发明所局限。
相对应地，当该校正点为Gb像素时，可依据上述示例所描述的调整值V1的计算过程类推可知。
进一步地，为了更为清晰地理解步骤S22的V2求解过程中，以该校正点为Gr像素点为举例来阐明V2的求解细节。更具体地说，如图7示意的为该感光芯片像素阵列的部分示意图，其窗口尺寸为7*7pixels。
在该像素阵列窗口内，G7为本次示例的校正点，其为Gr像素。由步骤21可知，要想求解G7像素的调整值VG7，首先需求解G7像素在其局部邻域内的其他同色像素点与该其他同色像素点的各自局部邻域内的其他同色像素点之间的差值。具体到本示例易知，G7像素在其领域内的其他同色像素点皆为Gb像素(包括G4、G5、G9和Ga)，而G7像素在其局部邻域内的其他同色像素点与该其他同色像素点的各自局部邻域内的其他同色像素点之间的差值分别为ΔG4、ΔG5、ΔG9和ΔGa。
进一步地，以G4像素为例，其局部邻域内的同色像素点皆为Gr像素(包括G1、G2、G6和G7)，而ΔG4可藉由如下公式计算可得：
Figure GDA0003252206270000101
其中ω1～ω4分别为G1、G2、G6和G7像素的加权权重均为1，从而ΔG4可表示为：
Figure GDA0003252206270000102
由上述求解ΔG4的方式可类推出ΔG5、ΔG9和ΔGa，从而基于公式
Figure GDA0003252206270000103
便可求解该校正点像素G7的调整值V2＝ΔG7，其中ω1～ω4分别为G4、G5、G9和Ga像素的加权权重均为1，从而V2可表示为：
Figure GDA0003252206270000104
相对应地，当该校正点为Gb像素时，可依据上述示例所描述的调整值V2的计算过程类推可知。
进一步地，如前所述，在实际情况中，比如受图像噪声的影响或者该校正点为图像细节信息和图像非细节信息的过渡地带，接近实际情况的调整值V一定处于V1和V2之间，用数学公式表现为：V＝ω1*V1+ω2*V2，其中ω1和ω2分别为V1和V2的加权权重。
特别地，在本发明的该较佳实施例中，如图10所示，所述步骤S3还包括步骤：
S31求解该校正点与在该校正点局部邻域内的其他同色像素点之间的标准差Sigma V表示该校正点与在该校正点局部邻域内其他同色像素点的离散程度；
S32根据一噪声标定模型求解该校正点的噪声强度Sigma N；和
S32其中当Sigma V>Sigma N*HiScale时，ω1＝1，ω2＝0；
当Sigma V>Sigma N*LoScale时，ω1＝(Sigma V–Sigma N*LoScale)/(Sigma N*HiScale–Sigma N*LoScale)，ω2＝1-ω1；
当Sigma V<＝Sigma N*LoScale，w1＝0，w2＝1，其中HiScale和LoScale为给定参数。
更具体地说，在步骤S31中，该校正点与和在该校正点局部邻域内的其他同色像素点之间的标准差Sigma V，可用以表示该校正点与在该校正点局部邻域内的其他同色像素点的离散程度，从而通过该Sigma V值可判断该校正点与其局部邻域内其他同色像素点的相近程度。进一步地，在步骤S32中，通过一噪声标定模型获取该校正点处的噪声强度。本领域的技术人员应知晓，通常地，该噪声标定模型由标准色卡标定获取，其中将局部邻域内的像素点的标准差作为该图像块内中心点像素(该校正点)的噪声值，将每一局部邻域内像素的平均值作为该中心像素(该校正点)的真值，从而通过该噪声标定模型可判断该校正点的噪声强度。
相应地，在步骤S32中，当Sigma V>Sigma N*HiScale时，其表示该校正点具有较高的概率为图像细节信息，此时设定ω1＝1，ω2＝0，从而V＝ω1*V1+ω2*V2＝V1，通过这样的方式，对图像细节信息区域作适当调节，可确保在有效解决绿通道不平衡现象的同时，确保该图像细节信息不发生损失。当Sigma V<＝Sigma N*LoScale，w1＝0，w2＝1，其表示该校正点具有较高的概率为图像平坦区域，此时，设定ω1＝0，ω2＝1，从而V＝ω1*V1+ω2*V2＝V2,，通过这样的方式，对图像平坦区域作强调节，充分解决绿通道不平衡现象。当SigmaV>Sigma N*LoScale，其表示该校正点具有较高概率为图像细节信息和图像平坦区域之间的过渡区域，此时，设定ω1＝(Sigma V–Sigma N*LoScale)/(Sigma N*HiScale–Sigma N*LoScale)，ω2＝1-ω1，通过这样方式，使调节的效果能极大化地满足实际图像的成像特征，避免在实现绿通道色度平衡之后，图像细节缺失或图像失真。
值得一提的是，在本发明中，参数LoScale和HiScale可根据所述图像校正系统的具体应用场景和实际需求做相关设定和调整。本发明的重点在于：对于ω1和ω2的调节，需根据实际图像不同区域的特征作不同调整的技术特征，而对于参数LoScale和HiScale具体值的设定，此并不为本发明所局限。
进一步地，将调整值V作用于该校正点，以校正该校正点的绿通道的像素值。同时，应考虑到，在将该调整V相加于该校正点之后，需确保该Bayer域图像整体绿通道保持总量平衡。因此，需进一步地将调整值-V以一定的方式作用于该Bayer域图像。
相应地，在本发明的该较佳实施例中，所述图像校正方法，还包括步骤：
S5将调整值-V作用于该校正点对应局部邻域内的其他同色参考点(Gr/Gb)，以确保该局部邻域内绿色通道保持平衡。
仍旧上述示例中以G7为校正点为举例，参考附图可知，G7在其局部邻域内的同色像素点包括：G4、G5、G9和Ga。相应地，在将调整至V相加至该校正点G7时，G4、G5、G9和Ga需分别加上-V/4，以使得该局部邻域内绿色通道整体保持平衡，以这样的方式，确保该Bayer图像整体绿色通道保持平衡。
进一步地，如图2所示，本发明所提供的所述图像校正系统包括一获取模块，一解析模块，一调整模块和一校正模块，其中所述获取模块，所述解析模块、所述调整模块和所述校正模块相互可通信地连接，以根据预设的图像校正方法对所获取的待处理图像进行绿通道不平衡校正。
更具体地说，所述获取模块供获取一基于Bayer域的图像信息，其中该图像信息包括由R、B、Gr、Gb像素点所采集的单色光信息。所述解析模块可通信地连接于所述获取模块供分别求解基于图像信息设定的调整值V1和基于非图像细节信息设定的调整值V2。所述调整模块可通信地连接于所述解析模块，供根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和该校正点的噪声强度，调整该V1和V2并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为V1和V2的加权权重。所述校正模块可通信地连接于所述调整模块，供将调整V作用于该校正点(Gr/Gb)和将调整值-V作用于该校正点对应局部邻域内的其他同色参考点(Gr/Gb)，以确保该局部邻域内绿色通道保持平衡。
进一步地，在本发明的该较佳实施例中，所述图像校正系统还包括一输出模块，其中所述输出模块可通信地连接于所述校正模块，供输出经过图像校正之后的图像信息。
由此可以看到本发明目的可被充分有效完成。用于解释本发明功能和结构原理的所述实施例已被充分说明和描述，且本发明不受基于这些实施例原理基础上的改变的限制。因此，本发明包括涵盖在附属权利要求书要求范围和精神之内的所有修改。

Claims (8)

1.一用于Bayer域的绿通道不平衡的图像校正方法，其特征在于，包括步骤：
获取一基于Bayer域的图像信息，其中该图像信息包括由R、B、Gr和Gb各像素点所采集的单色光信息；
分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，以分别求解基于图像细节信息设定的调整值V1和基于非图像细节信息设定的调整值V2；
根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和每一该校正点的噪声强度，调整该调整值V1和V2的加权权重并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为调整值V1和V2的加权权重；和
将调整值V作用于该校正点(Gr/Gb)；
其中所述根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和每一该校正点的噪声强度，调整该调整值V1和V2的加权权重并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为调整值V1和V2的加权权重的步骤，还包括步骤：
求解该校正点与在该校正点局部邻域内的其他同色像素点之间的标准差Sigma V表示该校正点与在该校正点局部邻域内其他同色像素点的离散程度；
根据一噪声标定模型求解该校正点的噪声强度Sigma N；和
当Sigma V>Sigma N*HiScale时，设定ω1＝1，ω2＝0；
当Sigma V>Sigma N*LoScale时，设定ω1＝(Sigma V–Sigma N*LoScale)/(Sigma N*HiScale–Sigma N*LoScale)，ω2＝1-ω1；
当Sigma V<＝Sigma N*LoScale，设定w1＝0，w2＝1，其中HiScale和LoScale为给定参数。
2.如权利要求1所述的图像校正方法，其中，所述分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，以分别求解基于图像细节信息设定的调整值V1和基于非图像细节信息设定的调整值V2的步骤，包括步骤：
设定该校正点(Gr/Gb)为图像细节信息，则调整值V1由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各差值的加权权重由该校正点与该校正点局部邻域内的其他同色像素点之间的差值决定。
3.如权利要求2所述的图像校正方法，其中，所述分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，以分别求解基于图像细节信息设定的调整值V1和基于非图像细节信息设定的调整值V2的步骤，还包括步骤:
设定该校正点(Gr/Gb)为非图像细节信息，则调整值V2由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各差值的加权权重为1。
4.如权利要求1至3任一所述的图像校正方法，其中，所述图像校正方法还包括步骤：
将调整值-V作用于该校正点对应局部邻域内的其他同色参考点(Gr/Gb)，以确保该局部邻域内绿色通道保持平衡。
5.如权利要求4所述的图像校正方法，其中该校正对应局部邻域的形状是以该校正点为中心的正方形。
6.一图像校正系统，其特征在于，包括：
一处理器，其中所述处理器能：
获取一基于Bayer域的图像信息，其中该图像信息包括由R、B、Gr、Gb像素点所采集的单色光信息；
分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，并分别求解基于图像细节信息设定的调整值V1和基于非图像细节信息设定的调整值V2；
根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和该校正点的噪声强度，调整该调整值V1和V2的加权权重并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为调整值V1和V2的加权权重；和
将调整值V作用于该校正点(Gr/Gb)和将调整值-V作用于该校正点对应局部邻域内的其他同色参考点(Gr/Gb)，以确保该局部邻域内绿色通道保持平衡；
其中所述根据该校正点(Gr/Gb)与该校正点局部邻域内的其他同色参考点(Gr/Gb)的离散程度和该校正点的噪声强度，调整该调整值V1和V2的加权权重并得到最终调整值V，其中V＝ω1*V1+ω2*V2，ω1和ω2分别为调整值V1和V2的加权权重的步骤，还包括步骤：
求解该校正点和该校正点局部邻域内的其他同色像素点之间的标准差Sigma V表示为校正点与该校正点局部邻域内其他同色像素点的离散程度；
根据一噪声标定模型求解该校正点的噪声强度Sigma N；和
当Sigma V>Sigma N*HiScale时，设定ω1＝1，ω2＝0；
当Sigma V>Sigma N*LoScale时，设定ω1＝(Sigma V–Sigma N*LoScale)/(Sigma N*HiScale–Sigma N*LoScale)，ω2＝1-ω1；
当Sigma V<＝Sigma N*LoScale，设定w1＝0，w2＝1，其中HiScale和LoScale为给定参数。
7.如权利要求6所述的图像校正系统，其中，所述分别设定每一校正点(Gr/Gb)为图像细节信息或非图像细节信息，分别求解基于图像细节信息设定的调整值V1和基于非图像细节信息设定的调整值V2的步骤，还包括步骤：
设定该校正点(Gr/Gb)为图像细节信息，则调整值V1由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各差值的加权权重由该校正点与该校正点局部邻域内的其他同色像素点之间的差值决定；和
设定该校正点(Gr/Gb)为非图像细节信息，则调整值V2由该校正点的局部邻域内的其他同色像素点(Gr/Gb)与该其他同色像素点在其各自局部邻域内的其他同色像素点之间的差值和各差值的加权权重之间的乘积相加获得，其中各差值的加权权重为1。
8.如权利要求7所述的图像校正系统，其中，在将调整值V作用于该校正点(Gr/Gb)和将调整值-V作用于该校正点对应局部邻域内的其他同色参考点(Gr/Gb)，以确保该局部邻域内绿色通道保持平衡的步骤中，该校正对应局部邻域的形状是以该校正点为中心的正方形。
CN201810185105.7A 2018-03-07 2018-03-07 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统 Active CN110248169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810185105.7A CN110248169B (zh) 2018-03-07 2018-03-07 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810185105.7A CN110248169B (zh) 2018-03-07 2018-03-07 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统

Publications (2)

Publication Number Publication Date
CN110248169A CN110248169A (zh) 2019-09-17
CN110248169B true CN110248169B (zh) 2021-11-19

Family

ID=67876211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810185105.7A Active CN110248169B (zh) 2018-03-07 2018-03-07 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统

Country Status (1)

Country Link
CN (1) CN110248169B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689141B (zh) * 2020-12-22 2022-07-01 上海富瀚微电子股份有限公司 一种图像绿通道平衡的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202583A (zh) * 2014-08-07 2014-12-10 华为技术有限公司 图像处理装置和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005297B2 (en) * 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202583A (zh) * 2014-08-07 2014-12-10 华为技术有限公司 图像处理装置和方法

Also Published As

Publication number Publication date
CN110248169A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
US9538093B2 (en) Forming high-dynamic-range (HDR) images using single-channel data
CN103856767B (zh) 用于处理图像的方法和设备
CN109712102B (zh) 一种图像融合方法、装置及图像采集设备
US7548262B2 (en) Method, apparatus, imaging module and program for improving image quality in a digital imaging device
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
TWI737979B (zh) 圖像去馬賽克裝置及方法
US10148926B2 (en) Imaging apparatus and image processing method of thereof
WO2020119504A1 (zh) 一种图像处理方法和系统
US9313467B2 (en) Pixel value calibration device and method
WO2020119505A1 (zh) 一种图像处理方法和系统
WO2020010638A1 (zh) 一种图像坏点检测方法及装置
US9160937B2 (en) Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
CN102224524B (zh) 图像处理装置以及图像处理方法
DE112016001871T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
TWI715142B (zh) 影像感測裝置以及自動白平衡方法
CN114866754A (zh) 自动白平衡方法、装置及计算机可读存储介质和电子设备
CN113643214A (zh) 一种基于人工智能的图像曝光校正方法及系统
CN115802183B (zh) 图像处理方法及其相关设备
CN110555805A (zh) 图像处理的方法、装置、设备及存储介质
CN110248169B (zh) 用于Bayer域的绿通道不平衡的图像校正方法及其图像校正系统
CN113068011B (zh) 图像传感器、图像处理方法及系统
TWM458747U (zh) 影像處理模組
KR100645634B1 (ko) 렌즈 쉐이딩 자동 보정방법 및 장치
US20130129212A1 (en) Method for reducing image artifacts produced by a cmos camera
CN113301278A (zh) 校准图像传感器的方法和校准图像传感器的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190917

Assignee: Zhejiang Shunwei Technology Co.,Ltd.

Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd.

Contract record no.: X2024330000055

Denomination of invention: Image Correction Method and Image Correction System for Green Channel Imbalance in the Bayer Domain

Granted publication date: 20211119

License type: Common License

Record date: 20240515