CN104796577B - 基于emccd和单色ccd的彩色夜视成像装置及方法 - Google Patents
基于emccd和单色ccd的彩色夜视成像装置及方法 Download PDFInfo
- Publication number
- CN104796577B CN104796577B CN201510201154.1A CN201510201154A CN104796577B CN 104796577 B CN104796577 B CN 104796577B CN 201510201154 A CN201510201154 A CN 201510201154A CN 104796577 B CN104796577 B CN 104796577B
- Authority
- CN
- China
- Prior art keywords
- msub
- image
- mtd
- emccd
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明公开一种基于EMCCD和单色CCD的彩色夜视成像装置及方法，由EMCCD、单色CCD、聚焦透镜、运动控制平台、电动滤光片转轮、PC机和目标图像等构成，把标准比色卡作为目标图像，通过白平衡、色度调整和色彩校准将由YUV转换得到的RGB格式图像还原为色彩保真度较高的图像，由此得到映射色彩校正矩阵；然后对实物进行拍摄，根据映射色彩校正矩阵较好的还原低照度下的彩色图像。本发明可以在低照度的环境下，以不牺牲重构图像分辨率为前提，较好的还原彩色信息；同时利用近红外波段和可见光波段的光子，尽可能避免EMCCD在低照度下的噪声较大的问题。
Description
技术领域
本发明属于彩色夜视成像技术，特别是一种基于EMCCD和单色CCD的彩色夜视成像装置及方法。
背景技术
根据杨-亥姆霍兹的三原色理论，色的感觉是由于三种原色光刺激的综合结果。色彩中不能再分解的基本色称之为原色，原色可以合成其他的颜色，而其他颜色却不能还原出本来的色彩。通常说的三原色，即红、绿、蓝。
在红、绿、蓝三原色系统中，红、绿、蓝的刺激量分别以R、G、B表示。由于从实际光谱中选定的红、绿、蓝三原色光不可能调配出存在于自然界的所有色彩，所以CIE于1931年从理论上假设了并不存在于自然界的三种原色，即理论三原色，以X，Y，Z表示。以期从理论上来调配一切色彩，因此形成了CIE1931标准色度系统(汤顺青.色度学.北京理工大学出版社.1990.6)。
为了还原较为准确的彩色信息，需要进行色彩校正过程。一般使用标准比色卡作为目标图像进行校正。该色卡的目标旨在提供真正的贴近生活的图像再现，因此，摄影师可以在各种光照情况下预测并控制颜色。每24个色块各代表了自然物体的实际颜色，并能像现实世界中对应颜色那样反射光线。其中的6个灰度色块可用于白平衡校正和色度调整。
自动白平衡(AWB)是相机能获得高质量图像最关键的步骤之一。现存的AWB可分为两类，全局AWB和局部AWB。在此，选用简单的全局AWB算法，即灰度世界算法(Gray World)(谷元保，付宇卓.一种基于灰度世界模型自动白平衡方法[J].计算机仿真，2006，22(9)：185-188.)。
白平衡之后，采用色度调整算法使目标达到D65标准照明体照明情况下的要求。算法过程如下：
式(1)中，[XS，YS，ZS]T代表光源颜色而[XD，YD，ZD]T代表目标颜色。M是线性转换矩阵，取决于参考白和目标白。为了得到M值，XYZ值应转换到锥响应域[ρ，γ，β]T。在向量元素被取决于参考白和目标白的因子成比例计算后，它们将通过逆变换转换回XYZ，公式如下：
其中，MA是取决于锥响应域定义的矩阵。在此，选择Von Kries[3]方法设置MA的值，即
参考白和目标白在锥响应域中可以利用下式计算，
其中，[XWS，YWS，ZWS]T和[XWD，YWD，ZWD]T分别是光源参考白和目标参考白。在转换中，选择D65标准照明体作为目标照明条件，同时选择CIE1931 2°观察者作为观测条件，设定XWD＝95.047，YWD＝100.000，ZWD＝108.883(朱贵冬，沈理，王今觉.基于von-Kries色适应的分区颜色校正方法[J].计算机工程与科学，2008，29(2)：50-52.)。
在能提取正确的光谱信息前，色彩校准是很必要的。在数字成像中有三种色彩校准方法：物理模型，查找表和数值方法。查找表和数值方法通常用来表征相机系统。在物理模型方法中，只需要相对较少的彩色样本来获取模型的参数。然而，基于模型的表征质量由该模型反映的该设备真实行为的程度决定。某些类型的设备不适用于这种情况。在查找表方法中，需要大量具有不同RGB值的图像和对应的CIE XYZ值。因此，在此更适合选用数值方法：
首先，利用线性转换将RGB值转换为CIE XYZ值，然后在CIE XYZ空间进行色彩校准。最后，利用线性逆变换将CIE XYZ值转换回RGB值。由于成像系统一般工作在sRGB彩色空间，sRGB和CIE XYZ空间的转换矩阵如下：
在运用转换前先进行伽马校正，以使系统的RGB输出值可以线性相关到比色卡的XYZ刺激值。在实验过程中，保证照明条件不变并且不使用CCD的自动白平衡和曝光。
彩色相机一般分为单CCD相机和3CCD相机。单CCD相机是指相机里只有一片CCD并用其进行亮度信号以及彩色信号的光电转换，其中色度信号是用CCD上的一些特定的彩色遮罩装置并结合后面的电路完成的。一般选用的彩色遮罩装置是把彩色滤光片象马赛克一样分布在CCD所有的像素上。这一概念也被称为马赛克滤光片或拜尔滤光片(最初由拜尔先生发明)。这样一来，每个像素只能产生红、绿或蓝三色中一种颜色的值。但是在输出时，所有像素都应该有这三种颜色的信息。因此对图像进行空间色彩插值(刘晓松，杨新，文俊，等.一种用于数字图象传感器的彩色插值算法[J].中国图象图形学报：A辑，2004，8(5)：516-521.)。由于所插的数值都是估计值，图像的清晰度明显降低。为了解决这个问题，便出现了3CCD相机。
3CCD即一台相机使用了3片CCD。三原色光分别经过三块独立CCD将相应的光信号转换为电信号，然后经过电路处理后产生图像信号。颜色的准确程度及影像质量比使用一块CCD大为改善。
和单CCD相比，由于3CCD分别用3个CCD转换红，绿，蓝信号，拍摄出来的图像从彩色还原上要比单CCD来的自然，亮度以及清晰度也比单CCD好。3CCD系统具有很高的信噪比，极好的敏感度以及很宽的动态范围，可以获得极为锐利的图像和非常逼真的色彩。但由于使用了三片CCD，3CCD相机的价格要比单CCD贵很多。
然而，普通的科学级CCD很难在低照度条件下拍摄清晰的图像，因此就要利用专门的夜视相机，其中主要有ICCD和EMCCD。
ICCD即增强电荷耦合器件(Intensified CCD/ICCD)：通过光纤与电子管式或微通道板式图像增强器相连的CCD。EMCCD，即电子倍增CCD。它的主要特点在于其读出(转移)寄存器后又接续有一串“增益寄存器”，电极结构不同于转移寄存器，信号电荷在此得到增益。EMCCD相对ICCD的优势在于空间分辨率较高，背照式峰值量子效率可达90％，不需要高压因此不容易烧毁，成本也没有ICCD高。时间分辨力虽然不如ICCD，但也能做到毫秒级，在很多情况下已经可以满足条件要求。
同理，彩色夜视相机也可以分为单CCD和3CCD模式。3CCD可以利用三个ICCD或者EMCCD分别通过红绿蓝滤光片得到相应的灰度图像，然后进行融合得到彩色图像，但成本比较高，而且不够轻便。而单CCD需要加CFA(Color Filter Array，彩色滤波矩阵)，重构后的图像分辨率较低。而且在低照度条件下，光子数本来就少，再通过滤光片将损失更多的光子，从而降低重构图像的亮度和清晰度。
EMCCD和普通单色CCD的成像条件不同。在夜视条件下，EMCCD可以在一定范围内正常成像，而普通CCD对光很不敏感。若要将两者一起使用，还得保证其视场相同，目前的光路系统无法使两者的成像能够融合。此外，要实现彩色成像，仅仅将不同光谱下的图像融合是不够的。目前的技术还无法对彩色进行校准，从而无法能得到精准的彩色重现。
发明内容
本发明的目的在于提供一种快速的结构简单成本较低的同时保证彩色信息和图像分辨率的彩色夜视成像装置及其方法。
实现本发明目的的技术解决方案为：一种基于EMCCD和单色CCD的彩色夜视成像装置，包括PC、EMCCD、单色CCD、运动控制平台、带有红绿蓝滤光片的电动滤光片轮、第一聚焦透镜、第二聚焦透镜、分束镜、目标图像，PC分别与EMCCD、单色CCD、运动控制平台连接，PC通过运动控制平台控制电动滤光片轮转动；由EMCCD、单色CCD、电动滤光片轮、第一聚焦透镜、第二聚焦透镜和分束镜组成光路系统，该光路系统设置在密封遮光的盒体内，其中分束镜与外界有一个接触面；在该光路系统中，第二聚焦透镜放置在EMCCD和面向EMCCD的分束镜端口之间，且EMCCD、第二聚焦透镜和面向EMCCD的分束镜端口的中心线重合，电动滤光片轮和第一聚焦透镜置于单色CCD和面向单色CCD的分束镜端口之间，其中第一聚焦透镜靠近分束镜，该单色CCD、电动滤光片轮上正在使用的滤光片、第一聚焦透镜、面向单色CCD的分束镜端口的中心线重合；
在低照度环境下，目标图像的反射光直接通过分束镜分为相同的两束，其中一束通过第二聚焦透镜进入EMCCD得到高分辨率的灰度图像，另外一束依次通过第一聚焦透镜、电动滤光片轮上的滤光片分别在单色CCD上得到三幅低分辨率的红绿蓝光谱下的灰度图像；其中EMCCD得到的高分辨率图像的分辨率是单色CCD得到图像分辨率的整数倍n*n；EMCCD和单色CCD得到的4幅灰度图像传回PC，在PC端的matlab中进行重构和彩色还原。
一种基于EMCCD和单色CCD的彩色夜视成像方法，把标准比色卡作为目标图像，该目标图像重构得到的标准比色卡RGB格式图像的过程为：该目标图像通过分束镜、EMCCD和单色CCD得到的4幅灰度图像传回PC，以n*n模块的方式对其中三幅低分辨率图像中的每个像素进行复制填充，使其分辨率与EMCCD得到的图像分辨率相同，然后将这三幅图像通过融合得到彩色图像；将得到的彩色图像由RGB格式转换为YUV格式，选取其中的色度信号U、V信号与EMCCD得到的灰度图像信号融合后再转换为RGB格式；通过白平衡、色度调整和色彩校准将重构得到的标准比色卡RGB格式图像还原为色彩保真度比原来标准比色卡RGB格式图像更高的图像，由此得到映射色彩校正矩阵；
对实物进行拍摄，将拍摄得到的目标图像通过上述重构过程得到实物RGB格式图像，根据映射色彩校正矩阵还原低照度下的彩色图像，从而实现了彩色夜视成像。
本发明与现有技术相比，其显著优点：(1)可以在低照度的环境下，以不牺牲重构图像分辨率为前提，较好的还原彩色信息。(2)同时利用近红外波段和可见光波段的光子，尽可能避免EMCCD在低照度下的噪声较大的问题。(3)算法简单，结构不复杂，成本较低，可以实现实时操作。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明采用的基于EMCCD和单色CCD的彩色夜视成像装置的原理示意图。
图2是以模块4*4方式复制填充的简化图。
图3是标准比色卡的参考图像。
图4(a)是标准比色卡的彩色图像重构流程图。
图4(b)是实物的彩色图像重构流程图。
图5是环境照度为4.39×10-3lux时标准比色卡的重构彩色图像。
具体实施方式
结合图1，本发明基于EMCCD和单色CCD的彩色夜视成像装置，包括PC1、EMCCD2、单色CCD3、运动控制平台4、带有红绿蓝滤光片的电动滤光片轮5、第一聚焦透镜6、第二聚焦透镜7、分束镜8、目标图像9，PC1分别与EMCCD2、单色CCD3、运动控制平台4连接，PC1通过运动控制平台4控制电动滤光片轮5转动；由EMCCD2、单色CCD3、电动滤光片轮5、第一聚焦透镜6、第二聚焦透镜7和分束镜8组成光路系统，该光路系统设置在密封遮光的盒体内，其中分束镜8与外界有一个接触面。因此除了分束镜8与外界的接触面，其它光路元件都应置于密封遮光的装置内，避免外界杂散光的干扰。
在该光路系统中，第二聚焦透镜7放置在EMCCD2和面向EMCCD2的分束镜端口之间，且EMCCD2、第二聚焦透镜7和面向EMCCD2的分束镜端口的中心线重合，电动滤光片轮5和第一聚焦透镜6置于单色CCD3和面向单色CCD3的分束镜端口之间，其中第一聚焦透镜6靠近分束镜8，该单色CCD3、电动滤光片轮5上正在使用的滤光片、第一聚焦透镜6、面向单色CCD3的分束镜端口的中心线重合。
在低照度环境下，目标图像9的反射光直接通过分束镜8分为相同的两束，其中一束通过第二聚焦透镜7进入EMCCD2得到高分辨率的灰度图像，另外一束依次通过第一聚焦透镜6、电动滤光片轮5上的滤光片分别在单色CCD3上得到三幅低分辨率的红绿蓝光谱下的灰度图像；其中EMCCD2得到的高分辨率图像的分辨率是单色CCD3得到图像分辨率的整数倍n*n，高低分辨率通过EMCCD2、单色CCD3调节。倍数的选取不应过大，不然会有明显的色块。一般选取的n*n≤16*16，n的单位为像素。单色CCD3在成像时使用像素合并的方法，降低分辨率的同时增加对光信号的灵敏度，可以在低照度的情况下对目标图像9进行更好的成像。
本发明基于EMCCD和单色CCD的彩色夜视成像方法是通过上述装置来实现的，即把标准比色卡作为目标图像9，目标图像9重构得到的标准比色卡RGB格式图像的过程为：该目标图像9通过分束镜8、EMCCD2和单色CCD3得到的4幅灰度图像传回PC，以n*n模块的方式对其中三幅低分辨率图像中的每个像素进行复制填充，使其分辨率与EMCCD2得到的图像分辨率相同，然后将这三幅图像通过融合得到彩色图像；将得到的彩色图像由RGB格式转换为YUV格式，选取其中的色度信号U、V信号与EMCCD2得到的灰度图像信号融合后再转换为RGB格式；通过白平衡、色度调整和色彩校准将重构得到的标准比色卡RGB格式图像还原为色彩保真度比原来标准比色卡RGB格式图像更高的图像，由此得到映射色彩校正矩阵；
对实物进行拍摄，将拍摄得到的目标图像通过上述重构过程得到实物RGB格式图像，根据映射色彩校正矩阵还原低照度下的彩色图像，从而实现了彩色夜视成像。
上述基于EMCCD和单色CCD的彩色夜视成像方法的具体实施步骤如下：
1.首先选择标准比色卡作为目标图像9通过分束镜8，在EMCCD2上成像得到灰度图像Y0c，单色CCD3通过电动滤光片轮5上的红绿蓝滤光片分别成像得到灰度图像R0c、G0c、B0c，将得到的这4幅灰度图像传回PC1；其中，灰度图像Y0c的分辨率高于灰度图像R0c、G0c、B0c的分辨率，因此将分辨率高的灰度图像Y0c称为高分辨率图像，将分辨率低的灰度图像R0c、G0c、B0c称为低分辨率图像；
2.以n*n模块的方式对低分辨率图像R0c、G0c、B0c中的每个像素进行复制填充得到模糊的R1c、G1c、B1c，使其分辨率与Y0c相同，然后将R1c、G1c、B1c通过RGB融合得到模糊的彩色图像PIC1c；
3.将彩色图像PIC1c由RGB格式转换为YUV格式，从而得到相应的Y1c、U1c、V1c信号；提取其中的色度信号U1c、V1c，将EMCCD(2)拍摄的高分辨率灰度图像Y0c取代亮度信号Y1c，使Y0c与色度信号U1c、V1c进行合成得到彩色图像PICref-I；
4.利用灰度世界算法对彩色图像PICref-I进行全局自动白平衡得到PIC2c，利用PICref-I图像上包含6个灰度色块的平均RGB值估算彩色值，然后将这些估算的彩色值由sRGB色彩空间转换到CIE1931XYZ色度空间并将Y归一化为100；
5.对PIC2c进行色度调整得到PIC3c，利用数值方法对PIC3c进行色彩校准得到PICref-O；
6.此时，PICref-O的XYZ值即为目标所要达到的XYZ值，通过逆变换将其转换回sRGB色彩空间，得到而在白平衡之前彩色图像PICref-I的RGB值也已知，记为由这两组数据得到映射色彩校正矩阵(CCM)。
式(9)中，中的比例系数为数值常量，利用matlab计算可得，
7.对实物进行拍摄得到的图像作为目标图像9通过分束镜8，在EMCCD2上成像得到高分辨率灰度图像Y0，单色CCD3得到低分辨率灰度图像R0、G0、B0，通过步骤2和3的重构方法得到彩色图像PICobj-I，即最终的目标彩色图像PICobj-O，即
实施例
低照度环境的光照度是4.39×10-3lux，相当于黑夜环境。EMCCD(电子倍增CCD)的型号为e2v L3C216。标准比色卡选用爱色丽色卡护照如图3所示，一般选择最后一行的6个灰度色块进行色度调整。运动控制平台为现有常规技术组成，即包括运动控制器、步进电机驱动器和步进电机。通过PC端的VC++编写应用程序指令传送给运动控制器，由运动控制器给步进电机驱动器发送运动指令。步进电机接收到运动指令后开始工作，带动电动滤光片轮旋转。目标图像所需成像分辨率为128*128，即EMCCD重构灰度图像的分辨率为128*128，单色CCD通过红绿蓝滤光片重构单色灰度图像的分辨率为32*32，对低分辨率图像进行复制填充模块的尺寸n*n为4*4。EMCCD和单色CCD得到的4幅灰度图像传回PC1，在PC1端的matlab中进行重构和彩色还原。本发明基于EMCCD和单色CCD的彩色夜视成像方法的步骤如下：
1.首先选择爱色丽色卡护照作为目标图像，成像流程如图4(a)所示。在EMCCD上成像得到分辨率为128*128的高分辨率灰度图像Y0c，单色CCD通过红绿蓝滤光片分别成像得到分辨率为32*32的低分辨率灰度图像R0c、G0c、B0c，将得到的这4幅灰度图像传回PC。
2.以4*4模块的方式对低分辨率图像R0c、G0c、B0c中的每个像素进行复制填充得到分辨率为128*128的模糊图像R1c、G1c、B1c，具体复制填充的方式如图2所示。然后将R1c、G1c、B1c通过RGB融合得到分辨率为128*128的模糊的彩色图像PIC1c。
3.将彩色图像PIC1c由RGB格式转换为YUV格式，从而得到相应的Y1c、U1c、V1c灰度图像信号。提取其中的色度灰度图像信号U1c、V1c，用EMCCD拍摄的Y0c取代亮度灰度图像信号Y1c，使Y0c与提取的色度图像信号U1c、V1c进行合成得到分辨率为128*128的彩色图像PICref-I。
4.利用灰度世界算法对彩色图像PICref-I进行全局自动白平衡得到PIC2c。利用PICref-I图像上包含6个灰度色块的平均RGB值估算彩色值，然后将这些估算的彩色值由sRGB色彩空间转换到CIE1931XYZ色度空间并将Y归一化为100。
5.对PIC2c进行色度调整得到PIC3c，利用数值方法对PIC3c进行色彩校准得到PICref-O，如图5所示。
6.此时，PICref-O的XYZ值即为目标所要达到的XYZ值，通过逆变换将其转换回sRGB色彩空间，得到而在白平衡之前重构图像PICref-I的RGB值也已知，记为可以由这两组数据得到映射色彩校正矩阵(CCM)。映射色彩校正矩阵的转换等式如下：
其中，中的比例系数为数值常量。利用matlab计算可得，
7.使用成像系统对实物进行拍摄得到目标图像，实物彩色成像的流程如图4(b)所示。EMCCD得到高分辨率灰度图像Y0，单色CCD得到低分辨率灰度图像R0、G0、B0。通过步骤2和3的彩色融合算法得到彩色图像PICobj-I，即最终的目标彩色图像PICobj-O，即
Claims (5)
1.一种基于EMCCD和单色CCD的彩色夜视成像装置，其特征在于包括PC(1)、EMCCD(2)、单色CCD(3)、运动控制平台(4)、带有红绿蓝滤光片的电动滤光片轮(5)、第一聚焦透镜(6)、第二聚焦透镜(7)、分束镜(8)、目标图像(9)，PC(1)分别与EMCCD(2)、单色CCD(3)、运动控制平台(4)连接，PC(1)通过运动控制平台(4)控制电动滤光片轮(5)转动；由EMCCD(2)、单色CCD(3)、电动滤光片轮(5)、第一聚焦透镜(6)、第二聚焦透镜(7)和分束镜(8)组成光路系统，该光路系统设置在密封遮光的盒体内，其中分束镜(8)与外界有一个接触面；在该光路系统中，第二聚焦透镜(7)放置在EMCCD(2)和面向EMCCD(2)的分束镜端口之间，且EMCCD(2)、第二聚焦透镜(7)和面向EMCCD(2)的分束镜端口的中心线重合，电动滤光片轮(5)和第一聚焦透镜(6)置于单色CCD(3)和面向单色CCD(3)的分束镜端口之间，其中第一聚焦透镜(6)靠近分束镜(8)，该单色CCD(3)、电动滤光片轮(5)上正在使用的滤光片、第一聚焦透镜(6)、面向单色CCD(3)的分束镜端口的中心线重合；
在低照度环境下，目标图像(9)的反射光直接通过分束镜(8)分为相同的两束，其中一束通过第二聚焦透镜(7)进入EMCCD(2)得到高分辨率的灰度图像，另外一束依次通过第一聚焦透镜(6)、电动滤光片轮(5)上的滤光片分别在单色CCD(3)上得到三幅低分辨率的红绿蓝光谱下的灰度图像；其中EMCCD(2)得到的高分辨率图像的分辨率是单色CCD(3)得到图像分辨率的整数倍n*n，EMCCD(2)和单色CCD(3)得到的4幅灰度图像传回PC(1)，在PC(1)端的matlab中进行重构和彩色还原。
2.根据权利要求1所述的基于EMCCD和单色CCD的彩色夜视成像装置，其特征在于n*n≤16*16，n的单位为像素。
3.根据权利要求1所述的基于EMCCD和单色CCD的彩色夜视成像装置，其特征在于单色CCD(3)在成像时使用像素合并的方法，降低分辨率的同时增加对光信号的灵敏度。
4.一种根据权利要求1所述的装置实现基于EMCCD和单色CCD的彩色夜视成像方法，其特征在于把标准比色卡作为目标图像(9)，该目标图像(9)重构得到的标准比色卡RGB格式图像的过程为：该目标图像(9)通过分束镜(8)、EMCCD(2)和单色CCD(3)得到的4幅灰度图像传回PC(1)，以n*n模块的方式对其中三幅低分辨率图像中的每个像素进行复制填充，使其分辨率与EMCCD(2)得到的图像分辨率相同，然后将这三幅图像通过融合得到彩色图像；将得到的彩色图像由RGB格式转换为YUV格式，选取其中的色度信号U、V信号与EMCCD(2)得到的灰度图像信号融合后再转换为RGB格式；通过白平衡、色度调整和色彩校准将重构得到的标准比色卡RGB格式图像还原为色彩保真度比原来标准比色卡RGB格式图像更高的图像，由此得到映射色彩校正矩阵；
对实物进行拍摄，将拍摄得到的目标图像通过上述重构过程得到实物RGB格式图像，根据映射色彩校正矩阵还原低照度下的彩色图像，从而实现了彩色夜视成像。
5.根据权利要求4所述的基于EMCCD和单色CCD的彩色夜视成像方法，其特征在于具体实现步骤如下：
5.1首先选择标准比色卡作为目标图像(9)通过分束镜(8)，在EMCCD(2)上成像得到灰度图像Y0c，单色CCD(3)通过电动滤光片轮(5)上的红绿蓝滤光片分别成像得到灰度图像R0c、G0c、B0c，将得到的这4幅灰度图像传回PC(1)；其中，灰度图像Y0c的分辨率高于灰度图像R0c、G0c、B0c的分辨率，因此将分辨率高的灰度图像Y0c称为高分辨率图像，将分辨率低的灰度图像R0c、G0c、B0c称为低分辨率图像；
5.2以n*n模块的方式对低分辨率图像R0c、G0c、B0c中的每个像素进行复制填充得到模糊的R1c、G1c、B1c，使其分辨率与Y0c相同，然后将R1c、G1c、B1c通过RGB融合得到模糊的彩色图像PIC1c；
5.3将彩色图像PIC1c由RGB格式转换为YUV格式，从而得到相应的Y1c、U1c、V1c信号；提取其中的色度信号U1c、V1c，将EMCCD(2)拍摄的高分辨率灰度图像Y0c取代亮度信号Y1c，使Y0c与色度信号U1c、V1c进行合成得到彩色图像PICref-I；
5.4利用灰度世界算法对彩色图像PICref-I进行全局自动白平衡得到PIC2c，利用PICref-I图像上包含24色标准比色卡最后一行的色块的平均RGB值估算彩色值，然后将这些估算的彩色值由sRGB色彩空间转换到CIE1931XYZ色度空间并将Y归一化为100；
5.5对PIC2c进行色度调整得到PIC3c，利用数值方法对PIC3c进行色彩校准得到PICref-O；
5.6此时，PICref-O的XYZ值即为目标所要达到的XYZ值，通过逆变换将其转换回sRGB色彩空间，得到而在白平衡之前彩色图像PICref-I的RGB值也已知，记为由这两组数据得到映射色彩校正矩阵：
<mrow>
<msub>
<mover>
<mi>V</mi>
<mo>&RightArrow;</mo>
</mover>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
<mo>-</mo>
<mi>O</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mover>
<mi>R</mi>
<mo>^</mo>
</mover>
</mtd>
</mtr>
<mtr>
<mtd>
<mover>
<mi>G</mi>
<mo>^</mo>
</mover>
</mtd>
</mtr>
<mtr>
<mtd>
<mover>
<mi>B</mi>
<mo>^</mo>
</mover>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>12</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>13</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>22</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>23</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>31</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>32</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>&beta;</mi>
<mn>33</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
<msub>
<mn>2</mn>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<msub>
<mn>2</mn>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>B</mi>
<msub>
<mn>2</mn>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>CCM</mi>
<mrow>
<mn>3</mn>
<mo>&times;</mo>
<mn>3</mn>
</mrow>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
<msub>
<mn>2</mn>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>G</mi>
<msub>
<mn>2</mn>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>B</mi>
<msub>
<mn>2</mn>
<mi>c</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>CCM</mi>
<mrow>
<mn>3</mn>
<mo>&times;</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mover>
<mi>V</mi>
<mo>&RightArrow;</mo>
</mover>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
<mo>-</mo>
<mi>I</mi>
</mrow>
</msub>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
式(9)中，中的比例系数为数值常量，利用matlab计算可得，
5.7对实物进行拍摄，将拍摄得到的目标图像通过分束镜(8)，在EMCCD(2)上成像得到高分辨率灰度图像Y0，单色CCD(3)得到低分辨率灰度图像R0、G0、B0，通过步骤5.2和步骤5.3的重构方法得到彩色图像PICobj-I，即最终的目标彩色图像PICobj-O，即
<mrow>
<msub>
<mover>
<mi>V</mi>
<mo>&RightArrow;</mo>
</mover>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mo>-</mo>
<mi>O</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>CCM</mi>
<mrow>
<mn>3</mn>
<mo>&times;</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mover>
<mi>V</mi>
<mo>&RightArrow;</mo>
</mover>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mo>-</mo>
<mi>I</mi>
</mrow>
</msub>
<mo>.</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
2
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510201154.1A CN104796577B (zh) | 2015-03-20 | 2015-04-24 | 基于emccd和单色ccd的彩色夜视成像装置及方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510126644X | 2015-03-20 | ||
| CN201510126644 | 2015-03-20 | ||
| CN201510201154.1A CN104796577B (zh) | 2015-03-20 | 2015-04-24 | 基于emccd和单色ccd的彩色夜视成像装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104796577A CN104796577A (zh) | 2015-07-22 |
| CN104796577B true CN104796577B (zh) | 2017-10-24 |
Family
ID=53561075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510201154.1A Expired - Fee Related CN104796577B (zh) | 2015-03-20 | 2015-04-24 | 基于emccd和单色ccd的彩色夜视成像装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104796577B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603890A (zh) * | 2015-10-16 | 2017-04-26 | 上海方诚光电科技有限公司 | 一种基于机器视觉的全息输出工业相机 |
| US10825123B2 (en) * | 2015-11-30 | 2020-11-03 | Ncr Corporation | Watermarked enabled scanning |
| CN105338232B (zh) * | 2015-12-07 | 2018-03-09 | 南京理工大学 | Ccd相机、多参数可控电子倍增ccd成像系统及方法 |
| US10341628B2 (en) * | 2016-08-08 | 2019-07-02 | Google Llc | Monochrome-color mapping using a monochromatic imager and a color map sensor |
| CN112019778A (zh) * | 2019-05-31 | 2020-12-01 | 南京理工大学 | 一种基于Bayer稀疏阵列CMOS的真彩色夜视成像方法 |
| CN111225186B (zh) * | 2020-01-15 | 2023-04-18 | 深圳市天智汽车电子技术有限公司 | 一种行车安全辅助驾驶全彩夜视显示方法及夜视仪 |
| CN112082738B (zh) * | 2020-08-24 | 2022-08-16 | 南京理工大学 | 彩色夜视相机性能评价测试系统及测试方法 |
| CN113143200A (zh) * | 2021-05-07 | 2021-07-23 | 苏州健雄职业技术学院 | 一种激光扫描眼底相机成像的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853492A (zh) * | 2010-05-05 | 2010-10-06 | 浙江理工大学 | 一种夜视微光图像与红外图像融合方法 |
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| US8836793B1 (en) * | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7340099B2 (en) * | 2003-01-17 | 2008-03-04 | University Of New Brunswick | System and method for image fusion |
-
2015
- 2015-04-24 CN CN201510201154.1A patent/CN104796577B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853492A (zh) * | 2010-05-05 | 2010-10-06 | 浙江理工大学 | 一种夜视微光图像与红外图像融合方法 |
| US8836793B1 (en) * | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104796577A (zh) | 2015-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104796577B (zh) | 基于emccd和单色ccd的彩色夜视成像装置及方法 | |
| KR100944462B1 (ko) | 위성 영상 융합 방법 및 시스템 | |
| CN103259976B (zh) | 图像处理设备、摄像设备和图像处理方法 | |
| US6594387B1 (en) | Enhanced color correction | |
| CN102611897B (zh) | 对彩色数字图像进行视觉感知高保真变换的方法及系统 | |
| CN102769759B (zh) | 数字图像颜色校正方法及实现装置 | |
| CN101720045B (zh) | 激光显示色域扩展中色调与亮度转换的方法 | |
| CN105847772A (zh) | 具有透明滤波器像素的成像系统 | |
| CN105122793B (zh) | 图像处理装置、摄像装置及图像处理程序 | |
| CA3016428C (en) | Devices and methods for high dynamic range video | |
| CN113556526B (zh) | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 | |
| CN108154514A (zh) | 图像处理方法、装置及设备 | |
| CN108712608A (zh) | 终端设备拍摄方法和装置 | |
| Klein et al. | Simulating low-cost cameras for augmented reality compositing | |
| JP4941482B2 (ja) | 擬似カラー画像生成装置、及びプログラム | |
| JP6974156B2 (ja) | 画像色変換装置、画像色変換プログラム、画像色変換方法 | |
| CN104410786B (zh) | 图像处理设备和图像处理设备的控制方法 | |
| Klein et al. | Compositing for small cameras | |
| Hubel | Foveon technology and the changing landscape of digital cameras | |
| Wu et al. | High dynamic range image reconstruction in device-independent color space based on camera colorimetric characterization | |
| TWI513326B (zh) | 高動態範圍合成影像之色彩校正方法 | |
| CN117408872B (zh) | 色彩图像数据转换方法、装置、设备及存储介质 | |
| JP4396107B2 (ja) | 映像表示システム | |
| Tabakov | Introduction to vision, colour models, and image compression | |
| Lakshmi et al. | Analysis of tone mapping operators on high dynamic range images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171024 Termination date: 20190424 |