CN113068011A - 图像传感器、图像处理方法及系统 - Google Patents

图像传感器、图像处理方法及系统 Download PDF

Info

Publication number
CN113068011A
CN113068011A CN202110353098.9A CN202110353098A CN113068011A CN 113068011 A CN113068011 A CN 113068011A CN 202110353098 A CN202110353098 A CN 202110353098A CN 113068011 A CN113068011 A CN 113068011A
Authority
CN
China
Prior art keywords
pixel
color
image
white
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110353098.9A
Other languages
English (en)
Other versions
CN113068011B (zh
Inventor
陈炜
池国泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110353098.9A priority Critical patent/CN113068011B/zh
Publication of CN113068011A publication Critical patent/CN113068011A/zh
Application granted granted Critical
Publication of CN113068011B publication Critical patent/CN113068011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Abstract

一种图像传感器、图像处理方法及系统。该图像传感器中的白色像素面积大于彩色像素面积。该图像处理方法包括:接收图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;对传感器图像先进行白色像素插值,再进行彩色像素插值,其中:白色像素插值用于在传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;彩色像素插值用于在传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。由于图像传感器中白色像素的像素面积大于彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。通过彩色像素插值中权重系数的使用,能够改善第一彩色图像颜色交界模糊的问题,进而提升成像质量。

Description

图像传感器、图像处理方法及系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像传感器、图像处理方法及系统。
背景技术
白色像素具有比彩色像素更宽的光谱响应,可以接收更多的光子,因此安防监控设备等需要在夜晚工作的设备,为了在低照度环境下看清目标,大多采用由白色像素W构成的黑白图像传感器,如图1所示。
由于彩色图像包含比黑白图像更多的信息,因此设法使彩色图像传感器能够在低照度下拍摄出高质量的彩色图像,具有重要的实际意义。为提升低照度环境下的彩色图像成像质量,现有技术将一定比例的白色像素加入到RGB彩色图像传感器中,形成RGBW像素阵列,如图2所示,在一定程度上改善了低照度下的成像质量。
然而,现有技术中通过增加白色像素所形成的图像传感器仍存在彩色图像颜色交界模糊、低照度环境下成像的亮度和信噪比偏低的问题。
发明内容
本发明解决的技术问题是提供一种图像传感器、图像处理方法及系统,能够有效提升低照度环境下成像的亮度和信噪比、以及改善彩色图像颜色交界模糊的问题。
为解决上述问题,本发明提供一种图像传感器,包括:若干白色像素和若干彩色像素,所述彩色像素具有比所述白色像素更窄的光谱响应;所述白色像素的像素面积大于所述彩色像素的像素面积;若干所述白色像素和若干所述彩色像素形成二维像素阵列,在所述二维像素阵列中,每一行内的所述白色像素等间隔排布,相邻所述白色像素之间具有一个所述彩色像素,每一列内的所述白色像素等间隔排布,相邻所述白色像素之间具有一个所述彩色像素。
可选的,所述白色像素的横截面为正八边形,所述彩色像素的横截面为正四边形,且所述白色像素的横截面的边长与所述彩色像素的横截面的边长相等。
可选的,若干所述彩色像素包括若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
可选的,所述第一彩色像素为红色像素,所述第二彩色像素为绿色像素,所述第三彩色像素为蓝色像素;或者所述第一彩色像素为青色像素,所述第二彩色像素为黄色像素,所述第三彩色像素为品红色像素。
相应的,本发明的技术方案中还提供了一种图像处理方法,包括:接收由上述所述图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;对所述传感器图像先进行白色像素插值,再进行彩色像素插值,其中:所述白色像素插值用于在所述传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;所述彩色像素插值用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。
可选的,所述白色像素插值的方法为:
当|W1-W2|≤|W3-W4|时:
Figure BDA0002999020490000021
当|W1-W2|>|W3-W4|时:
Figure BDA0002999020490000022
其中,W5是所述传感器图像中待插值的白色像素的像素值,W1和W2是在所述传感器图像的同一列中与W5邻接的白色像素的像素值,W3和W4是在所述传感器图像的同一行中与W5邻接的白色像素的像素值,ka为所述白色像素的面积与所述彩色像素的面积的比值。
可选的,所述彩色像素插值的方法为:
Figure BDA0002999020490000023
其中p是二维图像中像素位置的坐标;Ci代表第i种彩色像素,i是自然数,i≤n,n是所述传感器图像中彩色像素的种类数;Ci(p)是p处待插值的第i种彩色像素的像素值;W(p)是所述白色像素图像中p处的像素值;Ω是所述传感器图像中以p为中心的包含若干白色像素和若干每种彩色像素的区域,Ωi是Ω中第i种彩色像素的坐标的集合,ΩW是Ω中白色像素的坐标的集合;Ci(q)是Ωi中任一坐标处第i种彩色像素的像素值;W(q)是ΩW中任一坐标处白色像素的像素值;weight是权重系数。
可选的,所述权重系数计算方法为:
Figure BDA0002999020490000031
其中,σr是可调参数。
可选的,所述σr的取值为所述白色像素最大取值的0.5%~3%。
可选的,在生成第一彩色图像之后,还包括:对所述第一彩色图像进行亮度调整从而获得第二彩色图像。
可选的,对所述第一彩色图像进行亮度调整从而获得第二彩色图像的方法为:计算所述第一彩色图像对应的Lab图像的第一L分量、a分量和b分量;根据所述白色像素图像对第一L分量进行调整从而获得第二L分量;将第二L分量、a分量和b分量转换到RGB彩色空间,从而获得第二彩色图像。
可选的,根据所述白色像素图像对第一L分量进行调整从而获得第二L分量的方法为:
L2=α·W+(1-α)·L1
其中L1为所述第一L分量,L2为所述第二L分量,W为所述白色像素图像,α为亮度调整系数,0≤α≤1,且α与获取所述传感器图像时的曝光时间呈正相关。
相应的,本发明的技术方案中还提供了一种图像处理系统,包括:图像接收模块,用于接收由如权利要求1至4任一项所述图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;白色像素插值单元,用于在所述传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;彩色像素插值单元,用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。
可选的,所述白色像素插值单元包括:对比模块,用于判断|W1-W2|与|W3-W4|的大小;第一计算模块,用于根据所述对比模块的判断结果,计算对应的白色像素的像素值,即:
当|W1-W2|≤|W3-W4|时:
Figure BDA0002999020490000041
当|W1-W2|>|W3-W4|时:
Figure BDA0002999020490000042
其中,W5是所述传感器图像中待插值的白色像素的像素值,W1和W2是在所述传感器图像的同一列中与W5邻接的白色像素的像素值,W3和W4是在所述传感器图像的同一行中与W5邻接的白色像素的像素值,ka为所述白色像素的面积与所述彩色像素的面积的比值。
可选的,所述彩色像素插值单元包括:第二计算模块,用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值,即:
Figure BDA0002999020490000043
其中p是二维图像中像素位置的坐标;Ci代表第i种彩色像素,i是自然数,i≤n,n是所述传感器图像中彩色像素的种类数;Ci(p)是p处待插值的第i种彩色像素的像素值;W(p)是所述白色像素图像中p处的像素值;Ω是所述传感器图像中以p为中心的包含若干白色像素和若干每种彩色像素的区域,Ωi是Ω中第i种彩色像素的坐标的集合,ΩW是Ω中白色像素的坐标的集合;Ci(q)是Ωi中任一坐标处第i种彩色像素的像素值;W(q)是ΩW中任一坐标处白色像素的像素值;weight是权重系数。
可选的,所述彩色像素插值单元还包括:第三计算模块,用于计算所述权重系数,即:
Figure BDA0002999020490000051
其中,σr是可调参数。
可选的,所述σr的取值为所述白色像素最大取值的0.5%~3%。
可选的,还包括:彩色图像亮度调整单元,用于对所述第一彩色图像进行亮度调整从而获得第二彩色图像。
可选的,所述彩色图像亮度调整单元包括:Lab图像获取单元,用于计算所述第一彩色图像对应的Lab图像的第一L分量、a分量和b分量;亮度调整单元,用于根据所述白色像素图像对第一L分量进行调整从而获得第二L分量;彩色转换单元,用于将第二L分量、a分量和b分量转换到RGB彩色空间,从而获得第二彩色图像。
可选的,所述亮度调整单元包括:第四计算模块,用于根据所述白色像素图像和所述第一L分量计算得到所述第二L分量,即:
L2=α·W+(1-α)·L1
其中L1为所述第一L分量,L2为所述第二L分量,W为所述白色像素图像,α为亮度调整系数,0≤α≤1,且α与获取所述传感器图像时的曝光时间呈正相关。
与现有技术相比,本发明的技术方案具有以下优点:
本发明的技术方案的图像传感器中,所述图像传感器的所述白色像素的像素面积大于所述彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。
本发明的技术方案的方法中,通过所述白色像素的像素面积大于所述彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。通过所述彩色像素插值计算每种彩色像素的像素值,能够改善所述第一彩色图像颜色交界模糊的问题。
进一步,通过对所述第一彩色图像进行亮度调整从而获得第二彩色图像,能够改善低照度环境下彩色图像亮度和信噪比低的问题。
本发明的技术方案的系统中,通过所述白色像素的像素面积大于所述彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。通过彩色像素插值单元计算每种彩色像素的像素值,能够改善所述第一彩色图像颜色交界模糊的问题。
进一步,通过彩色图像亮度调整单元,对所述第一彩色图像进行亮度调整从而获得第二彩色图像,能够改善低照度环境下彩色图像亮度和信噪比低的问题。
附图说明
图1是传统黑白图像传感器中W像素排布结构示意图;
图2是现有技术一种RGBW像素阵列图像传感器结构示意图;
图3是本发明一实施例中图像传感器结构示意图;
图4是本发明实施例中图像处理方法的流程图;
图5是本发明实施例中白色像素插值方法示意图;
图6是本发明实施例中α与曝光时间texp的关系示意图;
图7是本发明实施例中图像处理系统的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细地说明。
图3是本发明实施例的一种图像传感器结构示意图。
请参考图3,一种图像传感器100,包括:若干白色像素和若干彩色像素,所述彩色像素具有比所述白色像素更窄的光谱响应;所述白色像素的像素面积大于所述彩色像素的像素面积;若干所述白色像素和若干所述彩色像素形成二维像素阵列,在所述二维像素阵列中,每一行X内的所述白色像素等间隔排布,相邻所述白色像素之间具有一个所述彩色像素,每一列Y内的所述白色像素等间隔排布,相邻所述白色像素之间具有一个所述彩色像素。
在本实施例中,若干所述彩色像素包括若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
在本实施例中,所述第一彩色像素为红色像素,所述第二彩色像素为绿色像素,所述第三彩色像素为蓝色像素,即RGB像素;在其他实施例中,所述第一彩色像素还可以为青色像素,所述第二彩色像素为黄色像素,所述第三彩色像素为品红色像素,即CYM像素。
在本实施例中,所述白色像素为W像素。
在本实施例中,所述白色像素的横截面为正八边形,所述彩色像素的横截面为正四边形,且所述白色像素的横截面的边长与所述彩色像素的横截面的边长相等,即所述白色像素面积是所述第一彩色像素、第二彩色像素或第三彩色像素的面积的ka倍,ka=4.83。因此,整个所述图像传感器中有82.8%的面积是白色像素,相较于图2中现有技术W像素占50%面积的图像传感器,本实施例的图像传感器具有更大的W像素面积比例,由于所述白色像素比所述第一彩色像素、第二彩色像素或第三彩色像素接收更多的光子,这可以改善低照度环境下的成像质量,使得所述图像传感器具有比图1现有技术的图像传感器在相同制造工艺条件下更高的信噪比。
因此,在本实施例中,通过所述白色像素的像素面积大于所述彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。
相应的,本发明还提供了一种图像处理方法,图4是本发明实施例的一种图像处理方法的流程图。
请参考图4,本实施例所述的图像处理方法包括如下步骤:
步骤S101,接收由上述所述图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;
步骤S102,对所述传感器图像先进行白色像素插值,再进行彩色像素插值,其中:所述白色像素插值用于在所述传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;所述彩色像素插值用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。
请继续参考图3,首先,在步骤S101的具体实施过程中,通过接收由上述所述图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像,能够有效的提高图像信噪比。
请参考图5,其次,在步骤S102的具体实施过程中,所述白色像素插值的方法为:
当|W1-W2|≤|W3-W4|时:
Figure BDA0002999020490000081
当|W1-W2|>|W3-W4|时:
Figure BDA0002999020490000082
其中,W5是所述传感器图像中待插值的白色像素的像素值,W1和W2是在所述传感器图像的同一列Y中与W5邻接的白色像素的像素值,W3和W4是在所述传感器图像的同一行X中与W5邻接的白色像素的像素值,ka为所述白色像素的面积与所述彩色像素的面积的比值。
其次,在步骤S102的具体实施过程中,所述彩色像素插值的方法为:
Figure BDA0002999020490000083
其中p是二维图像中像素位置的坐标;Ci代表第i种彩色像素,i是自然数,i≤n,n是所述传感器图像中彩色像素的种类数;Ci(p)是p处待插值的第i种彩色像素的像素值;W(p)是所述白色像素图像中p处的像素值;Ω是所述传感器图像中以p为中心的包含若干白色像素和若干每种彩色像素的区域,Ωi是Ω中第i种彩色像素的坐标的集合,ΩW是Ω中白色像素的坐标的集合;Ci(q)是Ωi中任一坐标处第i种彩色像素的像素值;W(q)是ΩW中任一坐标处白色像素的像素值;weight是权重系数。
在本实施例中,所述权重系数计算方法为:
Figure BDA0002999020490000091
其中,σr是可调参数。
这样设置权重系数的好处是,在颜色交界的边缘附近,与待插值的彩色像素位于边缘同侧的像素会获得较高的权重参与到彩色像素插值的计算中,与待插值的彩色像素位于边缘异侧的像素会获得较低的权重参与到彩色像素插值的计算中,从而改善颜色交界附近在彩色像素插值后变模糊的问题。
在本实施例中,当q点与p点W像素值相差越小,对应的权重系数weight越大;当q点与p点W像素值相差越大,对应的权重系数weight越小。σr作为可调参数,用于调节权重系数weight随着|Wp-Wq|的增大而衰减的速度,σr越小,权重系数weight随着|Wp-Wq|的增大而衰减的速度越快,插值出的颜色边缘越锐利。
在本实施例中,σr通过实验获得,当取σr等于W像素最大取值的约1%时可以获得较锐利的颜色边缘,以10bit像素值为例,此时W像素最大取值为1023,取σr=10可以得到较锐利的颜色边缘。
因此,在本实施例中,通过所述白色像素的像素面积大于所述彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。通过所述彩色像素插值中利用权重系数的使用计算每种彩色像素的像素值,能够改善所述第一彩色图像颜色交界模糊的问题,进而提升成像质量。
在本实施例中,在生成第一彩色图像之后,还包括:对所述第一彩色图像进行亮度调整从而获得第二彩色图像。
在本实施例中,对所述第一彩色图像进行亮度调整从而获得第二彩色图像的方法为:将所述第一彩色图像从RGB彩色空间转换到Lab彩色空间,设获得的Lab图像的亮度分量为第一L分量,两个彩色分量为a分量和b分量。
根据所述白色像素图像对第一L分量进行调整从而获得第二L分量,即:
L2=α·W+(1-α)·L1
其中,L1为所述第一L分量,L2为所述第二L分量,W为所述白色像素图像,α为亮度调整系数,0≤α≤1,且α与获取所述传感器图像时的曝光时间texp呈正相关。由于白色像素具有比彩色像素更宽的光谱响应,可以接收更多的光子,因此白色像素图像具有比第一L分量更高的亮度和更高的信噪比。
在本实施例中,α根据曝光时间texp自动调整,曝光时间越短,表明照度越高,此时α应越小,以获取更鲜艳的颜色;曝光时间越长,表明照度越低,此时α应越大,以提高低照度下的图像亮度和信噪比。α与texp的关系如图6所示,示例以视频帧率等于25帧/秒为例。
将第二L分量、a分量和b分量从Lab彩色空间转换到RGB彩色空间,从而获得第二彩色图像。
从RGB彩色空间转换到Lab彩色空间,以及从Lab彩色空间转换到RGB彩色空间,均为已有技术,在此不作赘述。
在本实施例中,所述第二彩色图像为最终输出的图像,在低照度时,第二L分量通过白色像素图像改善了亮度和信噪比,因此第二彩色图像也具有更高的亮度和信噪比,从而改善了低照度环境下彩色图像亮度和信噪比低的问题。
相应的,本发明实施例中还提供了一种图像处理系统,请参考图7,包括:图像接收模块10,用于接收由上述所述图像传感器100输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;白色像素插值单元20,用于在所述传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;彩色像素插值单元30,用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。
在本实施例中,通过所述白色像素的像素面积大于所述彩色像素的像素面积,能够有效提升低照度环境下成像的信噪比。
在本实施例中,所述白色像素插值单元20包括:对比模块201,用于判断|W1-W2|与|W3-W4|的大小;第一计算模块202,用于根据所述对比模块的判断结果,计算对应的白色像素的像素值,即:
当|W1-W2|≤|W3-W4|时:
Figure BDA0002999020490000111
当|W1-W2|>|W3-W4|时:
Figure BDA0002999020490000112
其中,W5是所述传感器图像中待插值的白色像素的像素值,W1和W2是在所述传感器图像的同一列中与W5邻接的白色像素的像素值,W3和W4是在所述传感器图像的同一行中与W5邻接的白色像素的像素值,ka为所述白色像素的面积与所述彩色像素的面积的比值。
在本实施例中,所述彩色像素插值单元30包括:第二计算模块301,用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值,即:
Figure BDA0002999020490000113
其中p是二维图像中像素位置的坐标;Ci代表第i种彩色像素,i是自然数,i≤n,n是所述传感器图像中彩色像素的种类数;Ci(p)是p处待插值的第i种彩色像素的像素值;W(p)是所述白色像素图像中p处的像素值;Ω是所述传感器图像中以p为中心的包含若干白色像素和若干每种彩色像素的区域,Ωi是Ω中第i种彩色像素的坐标的集合,ΩW是Ω中白色像素的坐标的集合;Ci(q)是Ωi中任一坐标处第i种彩色像素的像素值;W(q)是ΩW中任一坐标处白色像素的像素值;weight是权重系数。
在本实施例中,所述彩色像素插值单元30还包括:第三计算模块302,用于计算所述权重系数,即:
Figure BDA0002999020490000114
其中,σr是可调参数。
这样设置权重系数的好处是,在颜色交界的边缘附近,与待插值的彩色像素位于边缘同侧的像素会获得较高的权重参与到彩色像素插值的计算中,与待插值的彩色像素位于边缘异侧的像素会获得较低的权重参与到彩色像素插值的计算中,从而改善颜色交界附近在彩色像素插值后变模糊的问题。
在本实施例中,σr通过实验获得,当取σr等于W像素最大取值的约1%时可以获得较锐利的颜色边缘,以10bit像素值为例,此时W像素最大取值为1023,取σr=10可以得到较锐利的颜色边缘。
因此,在本实施例中,通过所述彩色像素插值单元30中利用权重系数的使用计算每种彩色像素的像素值,能够改善所述第一彩色图像颜色交界模糊的问题,进而提升成像质量。
在本实施例中,还包括:彩色图像亮度调整单元40,用于对所述第一彩色图像进行亮度调整从而获得第二彩色图像。
在本实施例中,所述彩色图像亮度调整单元包括:Lab图像获取单元401,用于计算所述第一彩色图像对应的Lab图像的第一L分量、a分量和b分量;亮度调整单元402,用于根据所述白色像素图像对第一L分量进行调整从而获得第二L分量;彩色转换单元403,用于将第二L分量、a分量和b分量转换到RGB彩色空间,从而获得第二彩色图像。
在本实施例中,所述亮度调整单元402包括:第四计算模块4021,用于根据所述白色像素图像和所述第一L分量计算得到所述第二L分量,即:
L2=α·W+(1-α)·L1
其中L1为所述第一L分量,L2为所述第二L分量,W为所述白色像素图像,α为亮度调整系数,0≤α≤1,且α与获取所述传感器图像时的曝光时间呈正相关。
白色像素具有比彩色像素更宽的光谱响应,可以接收更多的光子,因此白色像素图像具有比第一L分量更高的亮度和更高的信噪比,第二L分量通过白色像素图像提高了亮度和信噪比,从而第二彩色图像也具有更高的亮度和信噪比,改善了低照度环境下彩色图像亮度和信噪比低的问题。
在本实施例中,还包括:存储单元50,所述存储单元50用于存储所述第二彩色图像。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种图像传感器,其特征在于,包括:
若干白色像素和若干彩色像素,所述彩色像素具有比所述白色像素更窄的光谱响应;
所述白色像素的像素面积大于所述彩色像素的像素面积;
若干所述白色像素和若干所述彩色像素形成二维像素阵列,在所述二维像素阵列中,每一行内的所述白色像素等间隔排布,相邻所述白色像素之间具有一个所述彩色像素,每一列内的所述白色像素等间隔排布,相邻所述白色像素之间具有一个所述彩色像素。
2.如权利要求1所述图像传感器,其特征在于,所述白色像素的横截面为正八边形,所述彩色像素的横截面为正四边形,且所述白色像素的横截面的边长与所述彩色像素的横截面的边长相等。
3.如权利要求1所述图像传感器,其特征在于,若干所述彩色像素包括若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
4.如权利要求3所述图像传感器,其特征在于,所述第一彩色像素为红色像素,所述第二彩色像素为绿色像素,所述第三彩色像素为蓝色像素;或者
所述第一彩色像素为青色像素,所述第二彩色像素为黄色像素,所述第三彩色像素为品红色像素。
5.一种图像处理方法,其特征在于,包括:
接收由如权利要求1至4任一项所述图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;
对所述传感器图像先进行白色像素插值,再进行彩色像素插值,其中:
所述白色像素插值用于在所述传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;
所述彩色像素插值用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。
6.如权利要求5所述图像处理方法,其特征在于,所述白色像素插值的方法为:
当|W1-W2|≤|W3-W4|时:
Figure FDA0002999020480000021
当|W1-W2|>|W3-W4|时:
Figure FDA0002999020480000022
其中,W5是所述传感器图像中待插值的白色像素的像素值,W1和W2是在所述传感器图像的同一列中与W5邻接的白色像素的像素值,W3和W4是在所述传感器图像的同一行中与W5邻接的白色像素的像素值,ka为所述白色像素的面积与所述彩色像素的面积的比值。
7.如权利要求5所述图像处理方法,其特征在于,所述彩色像素插值的方法为:
Figure FDA0002999020480000023
其中p是二维图像中像素位置的坐标;Ci代表第i种彩色像素,i是自然数,i≤n,n是所述传感器图像中彩色像素的种类数;Ci(p)是p处待插值的第i种彩色像素的像素值;W(p)是所述白色像素图像中p处的像素值;Ω是所述传感器图像中以p为中心的包含若干白色像素和若干每种彩色像素的区域,Ωi是Ω中第i种彩色像素的坐标的集合,ΩW是Ω中白色像素的坐标的集合;
Ci(q)是Ωi中任一坐标处第i种彩色像素的像素值;W(q)是ΩW中任一坐标处白色像素的像素值;weight是权重系数。
8.如权利要求7所述图像处理方法,其特征在于,所述权重系数计算方法为:
Figure FDA0002999020480000024
其中,σr是可调参数。
9.如权利要求8所述图像处理方法,其特征在于,所述σr的取值为所述白色像素最大取值的0.5%~3%。
10.如权利要求5所述图像处理方法,其特征在于,在生成第一彩色图像之后,还包括:对所述第一彩色图像进行亮度调整从而获得第二彩色图像。
11.如权利要求10所述图像处理方法,其特征在于,对所述第一彩色图像进行亮度调整从而获得第二彩色图像的方法为:计算所述第一彩色图像对应的Lab图像的第一L分量、a分量和b分量;根据所述白色像素图像对第一L分量进行调整从而获得第二L分量;将第二L分量、a分量和b分量转换到RGB彩色空间,从而获得第二彩色图像。
12.如权利要求11所述图像处理方法,其特征在于,根据所述白色像素图像对第一L分量进行调整从而获得第二L分量的方法为:
L2=α·W+(1-α)·L1
其中L1为所述第一L分量,L2为所述第二L分量,W为所述白色像素图像,α为亮度调整系数,0≤α≤1,且α与获取所述传感器图像时的曝光时间呈正相关。
13.一种图像处理系统,其特征在于,包括:
图像接收模块,用于接收由如权利要求1至4任一项所述图像传感器输出的由白色像素的像素值和彩色像素的像素值形成的传感器图像;
白色像素插值单元,用于在所述传感器图像的每个彩色像素位置处计算白色像素的像素值来生成白色像素图像;
彩色像素插值单元,用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值来生成第一彩色图像。
14.如权利要求13所述图像处理系统,其特征在于,所述白色像素插值单元包括:对比模块,用于判断|W1-W2|与|W3-W4|的大小;第一计算模块,用于根据所述对比模块的判断结果,计算对应的白色像素的像素值,即:
当|W1-W2|≤|W3-W4|时:
Figure FDA0002999020480000041
当|W1-W2|>|W3-W4|时:
Figure FDA0002999020480000042
其中,W5是所述传感器图像中待插值的白色像素的像素值,W1和W2是在所述传感器图像的同一列中与W5邻接的白色像素的像素值,W3和W4是在所述传感器图像的同一行中与W5邻接的白色像素的像素值,ka为所述白色像素的面积与所述彩色像素的面积的比值。
15.如权利要求13所述图像处理系统,其特征在于,所述彩色像素插值单元包括:第二计算模块,用于在所述传感器图像的每个像素位置处计算每种彩色像素的像素值,即:
Figure FDA0002999020480000043
其中p是二维图像中像素位置的坐标;Ci代表第i种彩色像素,i是自然数,i≤n,n是所述传感器图像中彩色像素的种类数;Ci(p)是p处待插值的第i种彩色像素的像素值;W(p)是所述白色像素图像中p处的像素值;Ω是所述传感器图像中以p为中心的包含若干白色像素和若干每种彩色像素的区域,Ωi是Ω中第i种彩色像素的坐标的集合,ΩW是Ω中白色像素的坐标的集合;Ci(q)是Ωi中任一坐标处第i种彩色像素的像素值;W(q)是ΩW中任一坐标处白色像素的像素值;weight是权重系数。
16.如权利要求15所述图像处理系统,其特征在于,所述彩色像素插值单元还包括:第三计算模块,用于计算所述权重系数,即:
Figure FDA0002999020480000044
其中,σr是可调参数。
17.如权利要求16所述图像处理系统,其特征在于,所述σr的取值为所述白色像素最大取值的0.5%~3%。
18.如权利要求13所述图像处理系统,其特征在于,还包括:彩色图像亮度调整单元,用于对所述第一彩色图像进行亮度调整从而获得第二彩色图像。
19.如权利要求18所述图像处理系统,其特征在于,所述彩色图像亮度调整单元包括:Lab图像获取单元,用于计算所述第一彩色图像对应的Lab图像的第一L分量、a分量和b分量;亮度调整单元,用于根据所述白色像素图像对第一L分量进行调整从而获得第二L分量;彩色转换单元,用于将第二L分量、a分量和b分量转换到RGB彩色空间,从而获得第二彩色图像。
20.如权利要求19所述图像处理系统,其特征在于,所述亮度调整单元包括:第四计算模块,用于根据所述白色像素图像和所述第一L分量计算得到所述第二L分量,即:
L2=α·W+(1-α)·L1
其中L1为所述第一L分量,L2为所述第二L分量,W为所述白色像素图像,α为亮度调整系数,0≤α≤1,且α与获取所述传感器图像时的曝光时间呈正相关。
CN202110353098.9A 2021-03-30 2021-03-30 图像传感器、图像处理方法及系统 Active CN113068011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110353098.9A CN113068011B (zh) 2021-03-30 2021-03-30 图像传感器、图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110353098.9A CN113068011B (zh) 2021-03-30 2021-03-30 图像传感器、图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN113068011A true CN113068011A (zh) 2021-07-02
CN113068011B CN113068011B (zh) 2022-08-19

Family

ID=76565206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110353098.9A Active CN113068011B (zh) 2021-03-30 2021-03-30 图像传感器、图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN113068011B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840124A (zh) * 2021-10-12 2021-12-24 锐芯微电子股份有限公司 图像处理方法及系统
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146064A1 (en) * 2005-01-05 2006-07-06 Dialog Semiconductor Gmbh Hexagonal color pixel structure with white pixels
CN1992821A (zh) * 2005-12-30 2007-07-04 国际商业机器公司 成像传感器和包含该成像传感器的数字摄像机
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN111385543A (zh) * 2020-03-13 2020-07-07 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端及图像获取方法
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146064A1 (en) * 2005-01-05 2006-07-06 Dialog Semiconductor Gmbh Hexagonal color pixel structure with white pixels
CN1992821A (zh) * 2005-12-30 2007-07-04 国际商业机器公司 成像传感器和包含该成像传感器的数字摄像机
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN111385543A (zh) * 2020-03-13 2020-07-07 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端及图像获取方法
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466170A (zh) * 2021-08-27 2022-05-10 锐芯微电子股份有限公司 图像处理方法及系统
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
CN113840124A (zh) * 2021-10-12 2021-12-24 锐芯微电子股份有限公司 图像处理方法及系统
CN113840124B (zh) * 2021-10-12 2023-08-18 锐芯微电子股份有限公司 图像处理方法及系统

Also Published As

Publication number Publication date
CN113068011B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
US10255888B2 (en) Merging multiple exposures to generate a high dynamic range image
US8891866B2 (en) Image processing apparatus, image processing method, and program
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US10565742B1 (en) Image processing method and apparatus
EP2278788B1 (en) Method and apparatus for correcting lens shading
TWI737979B (zh) 圖像去馬賽克裝置及方法
US8284271B2 (en) Chroma noise reduction for cameras
WO2011152174A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
WO2019022812A9 (en) Multiplexed high dynamic range images
CN113068011B (zh) 图像传感器、图像处理方法及系统
US7734110B2 (en) Method for filtering the noise of a digital image sequence
US20110199520A1 (en) Image processing apparatus and image processing method
US8773556B2 (en) Signal processing device, imaging device, and signal processing method for color interpolation
CN113170061A (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US11640654B2 (en) Image processing method and apparatus
CN109285113B (zh) 一种基于梯度的改进彩色图像插值方法
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
US8054348B2 (en) Noise reduction device and digital camera
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
CN112422940A (zh) 一种自适应颜色校正方法
KR20040047383A (ko) Cmos 이미지센서와 칼라 보간 알고리즘을 이용한 영상처리방법 및 장치.
US11153467B2 (en) Image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant