CN110891138A - 黑光全彩实现方法和黑光全彩摄像机 - Google Patents

黑光全彩实现方法和黑光全彩摄像机 Download PDF

Info

Publication number
CN110891138A
CN110891138A CN201811050420.5A CN201811050420A CN110891138A CN 110891138 A CN110891138 A CN 110891138A CN 201811050420 A CN201811050420 A CN 201811050420A CN 110891138 A CN110891138 A CN 110891138A
Authority
CN
China
Prior art keywords
image
black
ycbcr format
color
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811050420.5A
Other languages
English (en)
Inventor
杜斌
马士杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN201811050420.5A priority Critical patent/CN110891138A/zh
Publication of CN110891138A publication Critical patent/CN110891138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Abstract

本申请公开了一种黑光全彩实现方法，包括：通过黑白和彩色图像传感器分别获取黑白和彩色图像；将所述彩色图像转换成YCbCr格式的第一图像；对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像；对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像；将所述YCbCr格式的第三图像转换成Bayer格式的图像；对所述Bayer格式的图像进行图像信号处理，恢复为彩色图像。本申请还公开了对应的黑光全彩摄像机、非瞬时计算机可读存储介质和电子设备。应用本申请，能够节约黑光全彩实现过程中所耗费的系统资源，并提高图像质量。

Description

黑光全彩实现方法和黑光全彩摄像机
技术领域
本申请涉及图像处理技术领域，特别涉及一种黑光全彩实现方法和黑光全彩摄像机。
背景技术
黑光全彩技术是指：摄像设备在夜间低照度条件下，依旧录制清晰的彩色图像的技术。
公开号为CN107580163A的专利申请提出一种双镜头黑光摄像机，该黑光摄像机设置有两个传感器：单色图像传感器和彩色图像传感器，其工作流程为：
首先，判断当前是白天工作模式还是夜间工作模式。
在白天工作模式下，关闭近红外光源和单色图像传感器，驱动IRCUT移开彩色图像传感器前端的IR滤光片，采集彩色图像传感器拍摄的Bayer图像Q，对Bayer图像Q执行标准的图像信号处理(ISP)流程，获取白天的彩色图像C，并对彩色图像C进行压缩、存储、传输等操作。
在夜间工作模式下，开启近红外光源照明、单色图像传感器和彩色图像传感器，并驱动IRCUT移动IR滤光片到彩色图像传感器前端，同步采集单色图像传感器拍摄的灰度图A和彩色图像传感器拍摄的Bayer图像Q，对Bayer图像Q进行去马赛克处理得到彩色图像B，并对灰度图A和彩色图像B进行图像融合，得到夜间彩色图像C’，再对彩色图像C’进行压缩、存储、传输等操作。
基于CN107580163A的记载，可总结其数据流示意图如图1所示。
由图1及CN107580163A的记载可知，CN107580163A方案的主要问题在于：需要频繁向DRAM读写大块数据，消耗带宽，并且有两次ISP处理过程，计算复杂且占用系统资源，此外，该技术在经过ISP处理后的RGB/YUV等图像数据上进行融合，与原始数据相比有信息损失，并且，由于YUV数据是3通道的，导致其数据量较大，是单通道的3倍。
发明内容
本申请提供了一种黑光全彩实现方法和黑光全彩摄像机，以节约黑光全彩实现过程中所耗费的系统资源，并提高图像质量。
本申请公开了一种黑光全彩实现方法，包括：
通过黑白图像传感器获取黑白图像，通过彩色图像传感器获取彩色图像；
将所述彩色图像转换成YCbCr格式的第一图像；
对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像；
对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像；
将所述YCbCr格式的第三图像转换成Bayer格式的图像；
对所述Bayer格式的图像进行图像信号处理ISP，得到彩色图像。
较佳的，所述对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像包括：
将灰度图的灰度信息作为YCbCr格式的第三图像的两个亮度分量，YCbCr格式的第三图像的两个色度分量保持与YCbCr格式的第二图像一致，得到YCbCr格式的第三图像。
较佳的，所述对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像包括：
根据灰度图对YCbCr格式的第二图像中的各个分量进行平滑滤波，得到YCbCr格式的第四图像；
对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合，得到融合后的两个灰度信息；
根据所述两个灰度信息与YCbCr格式的第二图像中的两个色度分量，得到YCbCr格式的第三图像。
较佳的，所述通过黑白图像传感器获取黑白图像包括：
在低照度环境下，开启近红外照明，获取红外补光下的黑白图像；
在非低照度环境下，不开启近红外照明，获取不带红外补光的黑白图像。
较佳的，所述彩色图像传感器为分辨率小于设定分辨率门限，且感光度大于设定感光度门限的Bayer图像传感器。
本申请还公开了一种黑光全彩摄像机，包括：黑白图像传感器、彩色图像传感器、存储器、图像融合模块和ISP模块，其中：
所述黑白图像传感器，用于获取黑白图像，并写入所述存储器；
所述彩色图像传感器，用于获取彩色图像，并写入所述存储器；
所述图像融合模块，用于从所述存储器中读取所述彩色图像，将所述彩色图像转换成YCbCr格式的第一图像，并对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像，再对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像，将YCbCr格式的第三图像转换为Bayer格式的图像写入所述存储器；
所述ISP模块，用于从所述存储器读取所述Bayer格式的图像，并对所述Bayer格式的图像进行图像信号处理，得到彩色图像，写入所述存储器。
较佳的，所述图像融合模块用于按照以下方式进行融合：
将灰度图的灰度信息作为YCbCr格式的第三图像的两个亮度分量，YCbCr格式的第三图像的两个色度分量保持与YCbCr格式的第二图像一致，得到YCbCr格式的第三图像。
较佳的，所述图像融合模块用于按照以下方式进行融合：
根据灰度图对YCbCr格式的第二图像中的各个分量进行平滑滤波，得到YCbCr格式的第四图像；
对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合，得到融合后的两个灰度信息；
根据所述两个灰度信息与YCbCr格式的第二图像中的两个色度分量，得到YCbCr格式的第三图像。
较佳的，所述摄像机包括近红外照明模块，其中：
在低照度环境下，所述近红外照明被开启，所述黑白图像传感器用于获取红外补光下的黑白图像；
在非低照度环境下，所述近红外照明不被开启，所述黑白图像传感器用于获取不带红外补光的黑白图像。
较佳的，所述彩色图像传感器为分辨率小于设定分辨率门限，且感光度大于设定感光度门限的Bayer图像传感器。
本申请还公开了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的黑光全彩实现方法的步骤。
本申请还公开了一种电子设备，包括如权利要求11所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
由上述技术方案可见，本申请提出的黑光全彩实现方法和黑光全彩摄像机，通过对现有技术进行改进，减少了DRAM读写的次数和数据量，并减少了一次ISP处理过程，而且由于本申请所处理的Bayer格式的图像是RAW数据，RAW数据是单通道的，相比于现有技术所处理的3通道的YUV数据，所处理的数据量显著减少，从而节省了系统资源。此外，RAW数据(10bit/12bit/16bit)比YUV/RGB数据(8bit)数据的位数更多，进行图像融合处理后的效果更佳。
本发明基于要解决的黑光全彩的实现问题，尤其是低照度下的特定问题，主要考虑对彩色图像的降噪和亮度分量的融合。本发明的两个图像传感器中，一个采用彩色图像传感器，另一个采用不带颜色滤光片的黑白图像传感器以增加进光量，并且，只有彩色图像的那部分数据是Bayer格式的，利用黑白图像和彩色图像在Bayer层融合后再由图像系统的ISP模块进行去马赛克处理，最终可以生成4倍于黑白图像分辨率的高清图像。
附图说明
图1为现有公开号为CN107580163A的专利申请的数据流示意图；
图2为本申请黑光全彩实现方法的数据流示意图；
图3为本申请实施例的处理流程示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。
为解决现有技术所存在的问题，本申请提出一种黑光全彩实现方法，该方法利用一个黑白图像传感器和一个彩色图像传感器采集图像，并在未经ISP处理的原始数据上对所采集的图像进行融合处理，之后再对融合处理后的图像进行ISP处理，从而在有效减少计算量，减少DRAM读写数据量的前提下，得到真彩高清夜视图像。与现有技术相比，本申请对系统资源的需求较低，且设备成本较低，并且能够提升低照度下所拍摄的彩色图像的质量。
图2为本申请黑光全彩实现方法的数据流示意图，本申请黑光全彩实现方法包括以下步骤：
步骤201：通过黑白图像传感器获取黑白图像，通过彩色图像传感器获取彩色图像。
图2所示sensor1和sensor2分别对应所述的黑白图像传感器和彩色图像传感器。较佳的，黑白图像传感器和彩色图像传感器的分辨率一致，当然，本申请也适用于两者分辨率不一致的情况。
根据图2所示数据流，本步骤所获取的黑白图像和彩色图像将写入存储器中，即：写入DRAM中。
对本领域技术人员而言，黑白图像传感器、单色图像传感器和mono图像传感器所代表的含义相同，本文以“黑白图像传感器”指代。
对于黑白图像传感器：
在低照度的环境下，本申请开启黑白图像传感器处的近红外照明，进行红外补光，从而，黑白图像传感器所获取的黑白图像为红外补光下的黑白图像；
在非低照度的环境下，本申请不开启黑白图像传感器处的近红外照明，不进行红外补光，从而，黑白图像传感器所获取的黑白图像为不带红外补光的黑白图像。
具体如何判定是否低照度环境，可以采用现有各种可行的方法，在此不再赘述。
较佳的，可以采用分辨率小于设定分辨率门限且感光度大于设定感光度门限的Bayer图像传感器作为本申请所述的彩色图像传感器。采用低分辨率高感光度的Bayer图像传感器的有益效果在于：彩色图像用较低分辨率(通常不小于1M)的高感Bayer图像传感器获取，由于降低分辨率，相应的像素尺寸得以变大，而图像传感器感光度的增加，使得所获取的图像的信噪比更高，从而，可以在不增加图像传感器芯片面积的前提下，获得更高质量的图像。
步骤202：将所述彩色图像转换成YCbCr格式的第一图像。
通常，彩色图像传感器采用Bayer图像传感器，如此，所述的彩色图像为Bayer格式的图像。本步骤中，可以采用现有的转换方法将Bayer格式的图像转换成YCbCr格式的第一图像，在此不再赘述。
步骤203：对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像。
由于黑白图像传感器没有采用彩色滤波阵列(CFA)，因此，从黑白图像传感器可以直接得到与之对应的灰度图，两者完全相同。
本步骤主要采用插值的方法对YCbCr格式的第一图像进行插值处理，使得处理后得到的YCbCr格式的第二图像与所述灰度图的分辨率一致，以便后续处理。常用的插值方法包括：最近邻插值、双线性插值、三次内插等。
步骤204：对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像。
本申请提供两种较佳的进行图像融合的方法：
方法一：将灰度图的灰度信息作为YCbCr格式的第三图像的两个亮度分量，YCbCr格式的第三图像的两个色度分量保持与YCbCr格式的第二图像一致，得到YCbCr格式的第三图像。
方法二：根据灰度图对YCbCr格式的第二图像中的各个分量进行平滑滤波，得到YCbCr格式的第四图像，然后对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合，得到融合后的两个灰度信息，最后根据这两个灰度信息与YCbCr格式的第二图像中的两个色度分量得到YCbCr格式的第三图像。这里需要说明的是，亮度分量中积累的是图像的灰度信息，即亮度信息，因此，灰度信息和亮度信息是一个概念。
方法二中，在根据灰度图对YCbCr格式的第二图像进行平滑滤波时，可以采用导向滤波、双边滤波等滤波方法进行处理。本申请的发明人通过试验发现：采用导向滤波的方式能够获得最优的效果，当采用导向滤波的方式进行处理时，以所述灰度图作为引导图像对YCbCr格式的第二图像中的各个分量分别进行平滑滤波，并最终得到YCbCr格式的第四图像。
方法二中，在对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合时，可以采用均值滤波、高斯滤波等滤波方法。较佳的，可以选用较大的滤波半径只保留图像强边缘，其优势在于消除低照度下噪点的影响。
方法二相比于方法一的优势在于：充分利用了黑白和彩色两幅图像的信息，融合后的图像细节更丰富。
步骤205：将所述YCbCr格式的第三图像转换成Bayer格式的图像。
本步骤中，可以采用现有的转换方法将YCbCr格式的第三图像转换成Bayer格式的图像，在此不再赘述。
根据图2所示数据流，步骤202-步骤205由进行图像融合处理的模块执行，即：
图2所示图像融合模块从DRAM中读取彩色图像和黑白图像，对所读取的彩色图像执行步骤202和203的处理后得到所述YCbCr格式的第二图像，由黑白图像直接得到对应的灰度图；
然后执行步骤204，将所述YCbCr格式的第二图像和所述灰度图进行融合处理，得到的YCbCr格式的第三图像；
然后执行步骤205，将所述YCbCr格式的第三图像转换成Bayer格式的图像，将所述Bayer格式的图像写入DRAM。
步骤206：对所述Bayer格式的图像进行图像信号处理，恢复为彩色图像。
根据图2所示数据流，本步骤中，ISP模块从DRAM中读取Bayer格式的图像，进行ISP处理后得到RGB或YUV格式的彩色图像，再写入DRAM。
经上述处理后，能够得到分辨率为4倍于所述黑白图像传感器的彩色图像，从而获得清晰的彩色图像，尤其是低照度环境下，得到真彩高清夜视图像。
下面通过一个较佳实施例对本申请上述技术方案进行具体说明。
本实施例的处理流程如图3所示，本实施例中，假设所采用的黑白图像传感器和彩色图像传感器的分辨率一致。图3所示处理流程包括以下步骤：
步骤301：通过黑白图像传感器获取黑白图像。
如前所述，低照度下的黑白图像将在近红外照明的条件下由黑白图像传感器获取；而除此之外的其他情况，将不开启近红外照明。
由于黑白图像传感器没有彩色滤波阵列(CFA)，因此，可以由黑白图像直接获取对应的灰度图，以下记为E。
步骤302：采用较低分辨率(不低于1M)的高感Bayer图像传感器获取Bayer格式的彩色图像。
步骤303：根据Bayer成像模式，以2*2个像素为处理单元，将2*2个像素所构成的小块内的Gr，Gb，B，R转换成YCbCr格式的Yr，Yb，Cb，Cr(即：如前所述的YCbCr格式的第一图像)，转换公式如下：
Figure BDA0001794403110000091
其中，各符号所代表的含义如下：
Gr和Gb分别表示所述每个2*2个像素所构成的小块内的两个绿色像素的像素值；
B表示所述每个2*2个像素所构成的小块内的蓝色像素的像素值；
R表示所述每个2*2个像素所构成的小块内的红色像素的像素值；
Yr和Yb分别表示与Gr和Gb对应的亮度分量；
Cb和Cr分别表示所述每个2*2个像素所构成的小块内对应的两个色度分量。
步骤304：将Yr,Yb,Cb,Cr通过双线性插值的方式，计算成与灰度图E的分辨率相同的Yr1,Yb1,Cb1,Cr1，即得到如前所述的YCbCr格式的第二图像。
步骤305：以灰度图E作为引导图像，对Yr1,Yb1,Cb1,Cr1进行平滑滤波得到Yr2,Yb2,Cb2,Cr2，即得到如前所述的YCbCr格式的第四图像。
下面以Yr2的计算过程为例进行说明，Yb2,Cb2,Cr2可由同样方式计算得到。
计算E的局部领域均值：
meanE＝fmean(E)
其中，fmean(I)表示对于图像I中每个像素点计算其局部领域的均值，并替换当前像素值生成新图像。下同。
计算Yr1的局部领域均值：
meanYr1＝fmean(Yr1)
计算E的局部领域方差，其中，“.*”表示点乘：
corrE＝fmean(E.*E)
varE＝corrE-meanE.*meanE
计算E与Yr1中对应像素的局部领域协方差：
corrEYr1＝fmean(E.*Yr1)
covEYr1＝corrEYr1-meanE.*meanYr1
E和Yr1分别表示两个图像，在计算局部领域协方差时，可以通过遍历两个图像，并对两个图像中每一对对应的像素分别进行上述计算。
计算线性变换系数，其中，∈为罚分系数，较佳的取值范围为(0～10)：
a＝covEYr1./(varI+∈)
b＝meanYr1-a.meanI
计算线性变换系数局部领域的均值：
meana＝fmean(a)
meanb＝fmean(b)
计算得到Yr2：
Yr2＝meana.*E+meanb
虽然本步骤中采用的平滑滤波处理方法与公开号为CN107580163A的专利申请相同，但是，本申请是对低分辨率的YCbCr格式的图像进行滤波处理，而CN107580163A是对高分辨率的彩色图像进行平滑滤波，相比而言，本申请显著减少了计算量。
步骤306：将Yr2,Yb2分别与灰度图E融合成Yr3，Yb3。这里，Yr3，Yb3为如前所述的YCbCr格式的第三图像中的两个亮度分量。
如果采用如前所述的方法一，则无需执行步骤305，直接使用灰度图E中的灰度信息将Yr1,Yb1,Cb1,Cr1中的Yr1和Yb1替换，得到Yr3,Yb3,Cb1,Cr1，即得到YCbCr格式的第三图像。
如果采用如前所述的方法二，则进行如下处理：
首先，对Yr2,Yb2进行大半径均值滤波得到滤波结果S1,S2，即：
S1＝fmean(Yr2,rlarge)
S2＝fmean(Yb2,rlarge)
当然，也可以采用高斯滤波、中值滤波等其他滤波算法。
然后，用Yr2,Yb2除以S1,S2，提取出图像的区域细节D1,D2，即：
D1＝Yr2/S1
D2＝Yb2/S2
最后，用D1,D2与黑白传感器获取的黑白图像E相乘得到融合后的灰度信息Yr3,Yb3，即：
Yr3＝E*D1
Yb3＝E*D2
步骤307：将Yr3,Yb3,Cb1,Cr1转换成Bayer格式的Gr1,Gb1,B1,R1，转换公式如下：
Figure BDA0001794403110000121
步骤308：利用图像处理系统的ISP处理，将Bayer格式的图像恢复成彩色的RGB或YUV格式图像，所得到的图像的分辨率为输入图像传感器的4倍。
对应于上述方法，本申请公开了一种黑光全彩摄像机，参见图2，该黑光全彩摄像机包括：黑白图像传感器和彩色图像传感器(如图2所示的sensor1和sensor2)、存储器(如图2所示的DRAM0、图像融合模块和ISP模块，其中：
所述黑白图像传感器，用于获取黑白图像，并写入所述存储器；
所述彩色图像传感器，用于获取彩色图像，并写入所述存储器；
所述图像融合模块，用于从所述存储器中读取所述彩色图像，将所述彩色图像转换成YCbCr格式的第一图像，并对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像，再对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像，将YCbCr格式的第三图像转换成Bayer格式的图像写入所述存储器；
所述ISP模块，用于从所述存储器读取所述Bayer格式的图像，并对所述Bayer格式的图像进行图像信号处理，得到彩色图像，写入所述存储器。
较佳的，所述图像融合模块用于按照以下方式进行融合：
将灰度图的灰度信息作为YCbCr格式的第三图像的两个亮度分量，YCbCr格式的第三图像的两个色度分量保持与YCbCr格式的第二图像一致，得到YCbCr格式的第三图像。
较佳的，所述图像融合模块用于按照以下方式进行融合：
根据灰度图对YCbCr格式的第二图像中的各个分量进行平滑滤波，得到YCbCr格式的第四图像；
对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合，得到融合后的两个灰度信息；
根据所述两个灰度信息与YCbCr格式的第二图像中的两个色度分量，得到YCbCr格式的第三图像。
较佳的，所述摄像机包括近红外照明模块，其中：
在低照度环境下，所述近红外照明被开启，所述黑白图像传感器用于获取红外补光下的黑白图像；
在非低照度环境下，所述近红外照明不被开启，所述黑白图像传感器用于获取不带红外补光的黑白图像。
较佳的，所述彩色图像传感器为分辨率小于设定分辨率门限，且感光度大于设定感光度门限的Bayer图像传感器。
此外，本申请还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行本申请如前所述的黑光全彩实现方法的步骤。
本申请进一步提供了一种电子设备，包括如上所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种黑光全彩实现方法，其特征在于，包括：
通过黑白图像传感器获取黑白图像，通过彩色图像传感器获取彩色图像；
将所述彩色图像转换成YCbCr格式的第一图像；
对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像；
对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像；
将所述YCbCr格式的第三图像转换成Bayer格式的图像；
对所述Bayer格式的图像进行图像信号处理ISP，得到彩色图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像包括：
将灰度图的灰度信息作为YCbCr格式的第三图像的两个亮度分量，YCbCr格式的第三图像的两个色度分量保持与YCbCr格式的第二图像一致，得到YCbCr格式的第三图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像包括：
根据灰度图对YCbCr格式的第二图像中的各个分量进行平滑滤波，得到YCbCr格式的第四图像；
对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合，得到融合后的两个灰度信息；
根据所述两个灰度信息与YCbCr格式的第二图像中的两个色度分量，得到YCbCr格式的第三图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过黑白图像传感器获取黑白图像包括：
在低照度环境下，开启近红外照明，获取红外补光下的黑白图像；
在非低照度环境下，不开启近红外照明，获取不带红外补光的黑白图像。
5.根据权利要求1至3任一项所述的方法，其特征在于：
所述彩色图像传感器为分辨率小于设定分辨率门限，且感光度大于设定感光度门限的Bayer图像传感器。
6.一种黑光全彩摄像机，其特征在于，包括：黑白图像传感器、彩色图像传感器、存储器、图像融合模块和ISP模块，其中：
所述黑白图像传感器，用于获取黑白图像，并写入所述存储器；
所述彩色图像传感器，用于获取彩色图像，并写入所述存储器；
所述图像融合模块，用于从所述存储器中读取所述彩色图像，将所述彩色图像转换成YCbCr格式的第一图像，并对所述YCbCr格式的第一图像进行插值，得到与所述黑白图像对应的灰度图的分辨率相同的YCbCr格式的第二图像，再对所述YCbCr格式的第二图像和所述灰度图进行融合，得到YCbCr格式的第三图像，将YCbCr格式的第三图像转换为Bayer格式的图像写入所述存储器；
所述ISP模块，用于从所述存储器读取所述Bayer格式的图像，并对所述Bayer格式的图像进行图像信号处理，得到彩色图像，写入所述存储器。
7.根据权利要求6所述的黑光全彩摄像机，其特征在于，所述图像融合模块用于按照以下方式进行融合：
将灰度图的灰度信息作为YCbCr格式的第三图像的两个亮度分量，YCbCr格式的第三图像的两个色度分量保持与YCbCr格式的第二图像一致，得到YCbCr格式的第三图像。
8.根据权利要求6所述的黑光全彩摄像机，其特征在于，所述图像融合模块用于按照以下方式进行融合：
根据灰度图对YCbCr格式的第二图像中的各个分量进行平滑滤波，得到YCbCr格式的第四图像；
对YCbCr格式的第四图像中的两个亮度分量分别与灰度图中的灰度信息进行融合，得到融合后的两个灰度信息；
根据所述两个灰度信息与YCbCr格式的第二图像中的两个色度分量，得到YCbCr格式的第三图像。
9.根据权利要求6至8任一项所述的黑光全彩摄像机，其特征在于，所述摄像机包括近红外照明模块，其中：
在低照度环境下，所述近红外照明被开启，所述黑白图像传感器用于获取红外补光下的黑白图像；
在非低照度环境下，所述近红外照明不被开启，所述黑白图像传感器用于获取不带红外补光的黑白图像。
10.根据权利要求6至8任一项所述的黑光全彩摄像机，其特征在于：
所述彩色图像传感器为分辨率小于设定分辨率门限，且感光度大于设定感光度门限的Bayer图像传感器。
11.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的黑光全彩实现方法的步骤。
12.一种电子设备，其特征在于，包括如权利要求11所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
CN201811050420.5A 2018-09-10 2018-09-10 黑光全彩实现方法和黑光全彩摄像机 Pending CN110891138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811050420.5A CN110891138A (zh) 2018-09-10 2018-09-10 黑光全彩实现方法和黑光全彩摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811050420.5A CN110891138A (zh) 2018-09-10 2018-09-10 黑光全彩实现方法和黑光全彩摄像机

Publications (1)

Publication Number Publication Date
CN110891138A true CN110891138A (zh) 2020-03-17

Family

ID=69744994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811050420.5A Pending CN110891138A (zh) 2018-09-10 2018-09-10 黑光全彩实现方法和黑光全彩摄像机

Country Status (1)

Country Link
CN (1) CN110891138A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111683234A (zh) * 2020-06-04 2020-09-18 深圳开立生物医疗科技股份有限公司 一种内窥镜成像方法、装置及相关设备
WO2021184353A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 一种摄像装置
CN113711584A (zh) * 2020-03-20 2021-11-26 华为技术有限公司 一种摄像装置
WO2022068598A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 成像方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134224A1 (en) * 2007-12-27 2011-06-09 Google Inc. High-Resolution, Variable Depth of Field Image Device
CN104144291A (zh) * 2013-05-08 2014-11-12 张春兰 一种拜尔格式数据与等量同结构亮度色差分量数据的转换方法
CN107563971A (zh) * 2017-08-12 2018-01-09 四川精视科技有限公司 一种真彩高清夜视成像方法
CN107580163A (zh) * 2017-08-12 2018-01-12 四川精视科技有限公司 一种双镜头黑光摄像机
CN107623831A (zh) * 2017-08-12 2018-01-23 四川精视科技有限公司 一种昼夜全彩楼宇可视电话成像装置
CN108198161A (zh) * 2017-12-29 2018-06-22 深圳开立生物医疗科技股份有限公司 一种双摄像头图像的融合方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134224A1 (en) * 2007-12-27 2011-06-09 Google Inc. High-Resolution, Variable Depth of Field Image Device
CN104144291A (zh) * 2013-05-08 2014-11-12 张春兰 一种拜尔格式数据与等量同结构亮度色差分量数据的转换方法
CN107563971A (zh) * 2017-08-12 2018-01-09 四川精视科技有限公司 一种真彩高清夜视成像方法
CN107580163A (zh) * 2017-08-12 2018-01-12 四川精视科技有限公司 一种双镜头黑光摄像机
CN107623831A (zh) * 2017-08-12 2018-01-23 四川精视科技有限公司 一种昼夜全彩楼宇可视电话成像装置
CN108198161A (zh) * 2017-12-29 2018-06-22 深圳开立生物医疗科技股份有限公司 一种双摄像头图像的融合方法、装置及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184353A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 一种摄像装置
CN113711584A (zh) * 2020-03-20 2021-11-26 华为技术有限公司 一种摄像装置
CN113728618A (zh) * 2020-03-20 2021-11-30 华为技术有限公司 一种摄像装置
CN113711584B (zh) * 2020-03-20 2023-03-03 华为技术有限公司 一种摄像装置
CN111683234A (zh) * 2020-06-04 2020-09-18 深圳开立生物医疗科技股份有限公司 一种内窥镜成像方法、装置及相关设备
CN111683234B (zh) * 2020-06-04 2022-05-31 深圳开立生物医疗科技股份有限公司 一种内窥镜成像方法、装置及相关设备
WO2022068598A1 (zh) * 2020-09-29 2022-04-07 华为技术有限公司 成像方法和装置

Similar Documents

Publication Publication Date Title
US10825426B2 (en) Merging multiple exposures to generate a high dynamic range image
CN110891138A (zh) 黑光全彩实现方法和黑光全彩摄像机
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US7636393B2 (en) Image processing method, image recording method, image processing device and image file format
US8639050B2 (en) Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8457433B2 (en) Methods and systems for image noise filtering
US20100278423A1 (en) Methods and systems for contrast enhancement
US20050185836A1 (en) Image data processing in color spaces
CN105850114A (zh) 用于图像的逆色调映射的方法
US20190035064A1 (en) Multiplexed High Dynamic Range Images
CN103327220B (zh) 低照度Bayer图像上以绿色通道为导向的去噪方法
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN107862672B (zh) 图像去雾的方法及装置
US7734110B2 (en) Method for filtering the noise of a digital image sequence
CN115550570B (zh) 图像处理方法与电子设备
CN113068011B (zh) 图像传感器、图像处理方法及系统
CN113658043A (zh) 图像处理方法、装置、电子设备和可读存储介质
WO2019148996A1 (zh) 图像的处理方法、装置、存储介质及电子设备
CN116309116A (zh) 一种基于raw图像的低弱光图像增强方法与装置
CN102263965B (zh) 一种消除模拟电视信号噪声的方法及装置
Shimei et al. Data signal modulation based on uniform color space for digital signage and image sensor based visible light communication
KR20040047383A (ko) Cmos 이미지센서와 칼라 보간 알고리즘을 이용한 영상처리방법 및 장치.
KR20040052150A (ko) Cmos 이미지센서와 칼라 보간 및 화이트 밸런스알고리즘을 이용한 영상처리 방법 및 장치.
CN115696068A (zh) 基于移动终端的图像采集方法、装置、介质及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317

RJ01 Rejection of invention patent application after publication