CN110507283A - 视网膜相机及其实现方法 - Google Patents

Abstract

本发明提供一种视网膜相机及其实现方法，相机包括：RGBW视网膜传感器，用于分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；数据采集系统，用于采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；图像处理系统，用于转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。本发明能实现相机光电感知灵敏度的提高，显著提高弱光环境下色彩图像的分辨率和灵敏度，使得在强光和弱光下都能得到高质量的彩色图像。

Description

视网膜相机及其实现方法

技术领域

本发明涉及领域光学和成像技术领域，具体涉及一种视网膜相机及其实现方法。

背景技术

随着视觉成像行业需求的不断提高，对成像设备的性能指标如灵敏度等有了更高要求。传统彩色相机是基于RGGB型Bayer分布的传感器设计的，其在明场(即强光)下成像很好，但在暗场，即弱光或极弱光下的感知能力欠缺，使得在暗场下的光学成像很差。

人类视觉系统对光的感知是依靠视网膜细胞，视锥细胞负责感知强光和色彩，约有700万个，主要分布于黄斑中央凹处；视杆细胞8负责感应弱光和无色觉，高达12000万个，从中央凹处边缘开始才有视杆细胞，再往外视杆细胞数目逐渐增多。其中视杆细胞8的数量是视锥细胞的18倍之多，在暗场弱光环境下视杆细胞起主要作用。其分布如图1所示，原图来自相关资料，所以根据视杆细胞和视锥细胞的比例和分布这一特性，我们可以将视锥细胞等效为光电感知器件中的红色(R)、绿色(G)和蓝色(B)滤光单元，将视杆细胞视为白色(W)滤光单元，从而提高光电感知单元的灵敏度。

发明内容

本发明所要解决的技术问题是：提供一种视网膜相机及其实现方法，在保证白天成像质量的同时，实现在极微弱光的环境也能获取高分辨率、高灵敏度的彩色图像。

为了解决上述技术问题，本发明采用的技术方案为：

一种视网膜相机，包括依次连接的RGBW视网膜传感器、数据采集系统和图像处理系统；

所述RGBW视网膜传感器，用于分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

所述数据采集系统，用于采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

所述图像处理系统，用于转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

本发明提供的另一个技术方案为：

一种视网膜相机实现方法，包括：

分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

本发明的有益效果在于：基于视杆细胞和视锥细胞的比例和分布特性，将视锥细胞等效为光电感知器件中的红色(R)、绿色(G)和蓝色(B)滤光单元，将视杆细胞视为白色(W)滤光单元后进行光电信号的分析处理，以此实现相机光电感知灵敏度的提高，使得在强光和弱光下都能得到高质量的彩色图像，特别是显著提高弱光环境下色彩图像的分辨率和灵敏度。

附图说明

图1为人类视觉系统的视网膜细胞分布示意图；

图2为本发明一实施例一种视网膜相机的结构连接示意图；

图3为本发明实施例一的一种视网膜相机的结构连接示意图；

图4为本发明实施例一的一种视网膜相机的图像处理系统的数据处理流程示意图；

图5为本发明实施例二中RGBWIR的Bayer信号分量分布示意图；

图6为本发明实施例二中执行W差值时参考的像元排列图；

图7为本发明实施例二中执行IR插值时参考的像元排列图；

图8为本发明实施例二中执行带有IR的RGB差值时参考的像元排列图；

图9为本发明实施例三的一种视网膜相机的结构示意图。

标号说明：

1、RGBW视网膜传感；2、数据采集系统；3、图像处理系统；

4、显示器；5、红视锥细胞；6、绿视锥细胞；7、蓝视锥细胞；

8、视杆细胞；9、下壳；10、接口板模块；11、中壳；12、主板模块；

13、导热板；14、防尘橡胶；15、卡圈；16、窗片；17、铜垫圈；

18、密封圈；19、上壳；20、C口转接环。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：传感器采用视网膜传感器，并通过图像处理系统对感光信号进行一系列处理，从而在强光和弱光下都能得到高质量的彩色图像。

本发明涉及的技术术语解释：

请参照图1以及图2，本发明提供一种视网膜相机，包括依次连接的RGBW视网膜传感器、数据采集系统和图像处理系统；

所述RGBW视网膜传感器，用于分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

所述数据采集系统，用于采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

所述图像处理系统，用于转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

进一步的，所述RGBW视网膜传感器包括分别与数据采集系统连接的RGB感光单元和W感光单元；

所述RGB感光单元，用于感知包括红、绿和蓝色的亮度分量；

所述W感光单元，用于感知白色的亮度分量。

由上述描述可知，实现了对各个亮度分量的独立、精准感知。

进一步的，所述图像处理系统包括依次连接的解码单元、插值单元、分量恢复单元、校正单元以及融合单元；

所述解码单元，用于对电信号进行解码，得到对应的并行感光信号，而后将所述并行感光信号转换为对应的串行的原始图像信号；

所述插值单元，用于对原始图像信号中的Bayer信号分量进行插值处理，获取每个像素点对应的R分量信号、G分量信号、B分量信号、W分量信号以及IR分量信号；

所述分量恢复单元，用于分别去除每个像素点对应的R分量信号、G分量信号、B分量信号中的IR分量信号，获取每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号；

所述校正单元，用于对所述每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号进行颜色校正，得到色彩还原后的RGB图像；

所述融合单元，用于将各个像素点校正后的RGB图像与其对应的W分量信号融合，得到各个像素点的色彩图像信号。

由上述描述可知，通过图像处理系统的一系列处理，能搞笑地获取高分辨率、高灵敏度的色彩图像。

进一步的，所述RGBW视网膜传感器、数据采集系统和图像处理系统集成于主板模块上。

由上述描述可知，将核心零部件集中布设，能对其起到有效的防护作用，同时也能缩小体积占用。

本发明提供的另一个技术方案为：

一种视网膜相机实现方法，包括：

分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

进一步地，所述分别感知红、绿、蓝和白色的亮度分量，具体为：

感知包括红、绿和蓝色的亮度分量；

感知白色的亮度分量。

进一步地，所述转换接收到的电信号为对应的原始图像信号，具体为：

对电信号进行解码，得到对应的并行感光信号，而后将所述并行感光信号转换为对应的串行的原始图像信号；

所述色彩插值，具体为：

对原始图像信号中的Bayer信号分量进行插值处理，获取每个像素点对应的R分量信号、G分量信号、B分量信号、W分量信号以及IR分量信号；

所述RGB颜色分量恢复，具体为：

分别去除每个像素点对应的R分量信号、G分量信号、B分量信号中的IR分量信号，获取每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号；

所述颜色校正，具体为：

对所述每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号进行颜色校正，得到色彩还原后的RGB图像；

所述亮度颜色信号融合，具体为：

各个像素点校正后的RGB图像与其对应的W分量信号融合，得到各个像素点的色彩图像信号。

请参照图1-4，本发明的实施例一为：

如图1所示，根据视杆细胞8和视锥细胞(包括红视锥细胞5、绿视锥细胞6以及蓝视锥细胞7)的比例和分布这一特性，我们可以将视锥细胞等效为光电感知器件中的红色(R)、绿色(G)和蓝色(B)滤光单元，将视杆细胞视为白色(W)滤光单元，从而获取本实施例的视网膜相机。

一种视网膜相机，包括依次连接的光电感知系统、数据采集系统、图像处理系统、数据传输系统以及显示系统；

请参阅图3，所述光电感知系统由RGBW视网膜传感器进行感光，其实质为背照式光电传感器sCMOS，可以避免光线受布线层的干扰，提供受光面积近而提供光电转换效率，具有高灵敏度的特点。具体的，所述RGBW视网膜传感器包括RGB感光单元、W感光单元以及转换单元；所述RGB感光单元，用于感知包括红、绿和蓝色的亮度分量，即400nm～760nm的颜色分量；所述W感光单元，用于感知白色的亮度分量，即400～1000nm亮度分量；所述转换单元，用于负责760nm-1000nm的近红外波长信号的接收，并将RGB感光单元以及W感光单元感知的亮度分量转换为对应的电信号。

所述数据采集系统，用于采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

请参阅图4，所述图像处理系统，用于转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

具体而言，所述图像处理系统可以为FPGA图像处理系统，包括依次连接的解码单元、插值单元、分量恢复单元、校正单元以及融合单元，对应实现上述各个功能。

其中，解码单元，用于对电信号(LVDS信号)进行解码，得到对应的并行感光信号，而后将所述并行感光信号转换为更有利于信号处理的串行图像像素信号，即原始图像信号RGBWIR；

所述插值单元，用于对原始图像信号RGBWI中的Bayer信号分量分别进行插值处理，使得每个像素点均具有4中信号分量，即R分量信号、G分量信号、B分量信号、W分量信号以及IR分量信号；

所述分量恢复单元，因为插值单元得到的R分量、G分量和B分量信号均含有近红外IR分量，因此，需要分量恢复单元分别去除R分量、G分量和B分量信号中的IR分量，得到真实的R、G、B分量信号。

所述校正单元，用于对每个像素点的真实RGB信号进行颜色校正，即分别对真实R分量信号、真实G分量信号以及真实B分量信号进行颜色校正，得到色彩还原后的RGB图像；

所述融合单元，用于将各个像素点校正后的RGB图像与其对应的W分量信号融合，即颜色(RGB)和亮度(W)融合得到各个像素点高灵敏度的色彩图像信号；

而系统的所述数据传输系统，负责将图像处理系统处理后的高灵敏度的符合人类视觉系统的色彩图像信号(最终的视频信号)传输至显示模块进行显示。

请参照图5-8，本发明的实施例二为：

本实施例对实施例一中的图像处理系统做进一步的限定。

一、所述图像处理系统中的解码单元所执行的对RGBWIR的Bayer信号分量差值的方法如下：

由图5的Bayer图示可知，W、IR和带有IR的RGB的分布方式各不相同，因此各自所采用的插值方式也有所不同，对于W应尽量保留细节；而对于IR和带有IR的RGB插值是为了得到更高信噪比的真实RGB，最终只用于颜色，所以其插值方式为尽量去噪声。

(1)W插值

如图6所示，在像元排列中每行隔点分布一个全通分量W，每列隔点分布一个W，即每2×2的四个像元中对角线上有2个W。因此，W采用以下算法实现剩余1/2像元像素的插值，即W22由W12和W32、W21和W23判断边缘方向进行插值，公式如下：

式中，i,j分别代表当前需要插值W对应的行和列坐标，thw为经验阈值，这里取8bit对应的4。

(2)IR插值

如图7所示，每4个像元才有一个IR，隔行隔列才会有RI，但IR的作用主要是为了恢复真实RGB用，故适合采用低通性能的插值算法，下述公式(2)。

对于有IR的行上所缺IR的插值，和列上有IR的列上所缺IR的插值，均采用2点线性插值算法，其他采用对角线上4点线性插值算法。

(3)带有IR的RGB插值

如图8所示，对于带有IR的RGB彩色分量，每4×4即16个像素中含有两个GIR、一个RIR和BIR，即绿色是红蓝的2倍，这个与传统Bayer分布比例是相同的。对于任意所缺分量，均采用双向性插值算法来实现。

如果要插值GIR，那么有公式：

如果要插值RIR或BIR，那么直接利用双向性插值，即公式4：

其中，i,j分别为当前所需插值像素的行和列，mod是求余运算。

同理，BIR与RIR相同。

二、所述分量恢复单元执行还原真实RGB彩色分量的方法如下：

根据光谱响应特性，插值后的RIR、GIR和BIR均有IR分量，因此必须将其去掉才能呈现真实的彩色，否则因IR分量的影响，图像必然会偏红。

RGB通过以下公式5去除IR分量的影响，即

其中a、b、c分别为IR对RGB分量的影响因子；a，b，c通过对在某一光源下拍摄标准色卡图像，获取色卡的RGB分量平均值，然后通过最小二乘算法拟合产生系数，拟合算法不只包括最小拟合算法，还包括本领域常用的其它拟合算法。

三、校正单元执行RGB分量颜色校正的方法如下：

色彩还原指的是先通过标准色卡拟合得到色彩还原矩阵CCM，在不同光源的色温下，获取24色卡图像并计算色卡的平均值，通过最小二乘法计算得到3×3的色彩校正矩阵CCM，然后通过以下公式6得到色彩还原后的图像：

四、融合单元执行W与RGB融合的方法如下：

W代表了亮度信息，校正后的RGB如果融合W，那么将提高视网膜相机的灵敏度，如果直接将W代替RGB中的亮度，那么融合后的颜色将发生变化，因此，融合步骤如下：

Step1:通过公式7将RGB转换到YUV域：

式中，Y、U、V分别表示在YUV域的亮度分量、蓝色分量和红色分量，这里是16位处理的相机，因此UV的偏移为32768。

Step2:用W代替Y：

将YUV中的Y由W代替，这样相机将具有更高的灵敏度。

Step3:UV增益校正计算：

计算UV校正系数，由于Y由W替换了，因此校正系数kuv为：

其中，Y+1的目的是为了分母不为零。

然后，UV分别进行校正，即

通过以上处理，将得到具有真实颜色且灵敏度很高的视网膜相机处理效果。

请参照图9，本发明的实施例三为：

基于实施例一或实施例二，对所提供的视网膜相机做进一步限定：

一种视网膜相机，如图所示，包括相机外壳(下壳9、中壳11和上壳19)、C口转接环20，密封圈18、铜垫圈17、窗片16、卡圈15、防尘橡胶14、导热板13，接口板模块10和主板模块12。

主板模块12包括RGBW视网膜传感器和图像处理系统等核心系统。如图3所示，主板模块12包括依次连接的RGBW视网膜传感器1、LVDS数据采集系统(对应数据采集系统2)、FPGA图像处理系统(对应图像处理系统3)和USB图像传输系统。

本发明的实施例四为：

本实施例对应实施例一或实施例二，提供一种视网膜相机实现方法，包括：

分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

进一步地，所述分别感知红、绿、蓝和白色的亮度分量，具体为：

感知包括红、绿和蓝色的亮度分量；

感知白色的亮度分量。

进一步地，所述转换接收到的电信号为对应的原始图像信号，具体为：

对电信号进行解码，得到对应的并行感光信号，而后将所述并行感光信号转换为对应的串行的原始图像信号；

所述色彩插值，具体为：

对原始图像信号中的Bayer信号分量进行插值处理，获取每个像素点对应的R分量信号、G分量信号、B分量信号、W分量信号以及IR分量信号；

所述RGB颜色分量恢复，具体为：

分别去除每个像素点对应的R分量信号、G分量信号、B分量信号中的IR分量信号，获取每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号；

所述颜色校正，具体为：

对所述每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号进行颜色校正，得到色彩还原后的RGB图像；

所述亮度颜色信号融合，具体为：

各个像素点校正后的RGB图像与其对应的W分量信号融合，得到各个像素点的色彩图像信号。

综上所述，本发明提供的一种视网膜相机及其实现方法，能实现相机光电感知灵敏度的提高，显著提高弱光环境下色彩图像的分辨率和灵敏度，使得在强光和弱光下都能得到高质量的彩色图像；同时，针对各个亮度分量进行独立感知、计算和处理，确保计算结果的精准度；最后，还具有结构紧凑，体积小、实用性高等特点。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种视网膜相机，其特征在于，包括依次连接的RGBW视网膜传感器、数据采集系统和图像处理系统；

所述RGBW视网膜传感器，用于分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

所述数据采集系统，用于采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

所述图像处理系统，用于转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

2.如权利要求1所述的一种视网膜相机，其特征在于，所述RGBW视网膜传感器包括分别与数据采集系统连接的RGB感光单元和W感光单元；

所述RGB感光单元，用于感知包括红、绿和蓝色的亮度分量；

所述W感光单元，用于感知白色的亮度分量。

3.如权利要求1所述的一种视网膜相机，其特征在于，所述图像处理系统包括依次连接的解码单元、插值单元、分量恢复单元、校正单元以及融合单元；

所述解码单元，用于对电信号进行解码，得到对应的并行感光信号，而后将所述并行感光信号转换为对应的串行的原始图像信号；

所述插值单元，用于对原始图像信号中的Bayer信号分量进行插值处理，获取每个像素点对应的R分量信号、G分量信号、B分量信号、W分量信号以及IR分量信号；

所述分量恢复单元，用于分别去除每个像素点对应的R分量信号、G分量信号、B分量信号中的IR分量信号，获取每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号；

所述校正单元，用于对所述每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号进行颜色校正，得到色彩还原后的RGB图像；

所述融合单元，用于将各个像素点校正后的RGB图像与其对应的W分量信号融合，得到各个像素点的色彩图像信号。

4.如权利要求1所述的一种视网膜相机，其特征在于，所述RGBW视网膜传感器、数据采集系统和图像处理系统集成于主板模块上。

5.一种视网膜相机实现方法，其特征在于，包括：

分别感知红、绿、蓝和白色的亮度分量后转换为对应的电信号；

采集所述RGBW视网膜传感器的电信号后发送至图像处理系统；

转换接收到的电信号为对应的原始图像信号，而后对所述原始图像信号依次进行色彩插值、RGB颜色分量恢复、颜色校正以及亮度颜色信号融合处理后，得到对应的色彩图像信号。

6.如权利要求5所述的一种视网膜相机实现方法，其特征在于，所述分别感知红、绿、蓝和白色的亮度分量，具体为：

感知包括红、绿和蓝色的亮度分量；

感知白色的亮度分量。

7.如权利要求5所述的一种视网膜相机实现方法，其特征在于，所述转换接收到的电信号为对应的原始图像信号，具体为：

对电信号进行解码，得到对应的并行感光信号，而后将所述并行感光信号转换为对应的串行的原始图像信号；

所述色彩插值，具体为：

对原始图像信号中的Bayer信号分量进行插值处理，获取每个像素点对应的R分量信号、G分量信号、B分量信号、W分量信号以及IR分量信号；

所述RGB颜色分量恢复，具体为：

分别去除每个像素点对应的R分量信号、G分量信号、B分量信号中的IR分量信号，获取每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号；

所述颜色校正，具体为：

对所述每个像素点的真实R分量信号、真实G分量信号以及真实B分量信号进行颜色校正，得到色彩还原后的RGB图像；

所述亮度颜色信号融合，具体为：

各个像素点校正后的RGB图像与其对应的W分量信号融合，得到各个像素点的色彩图像信号。