CN110830779A - 一种图像信号的处理方法和系统 - Google Patents

一种图像信号的处理方法和系统 Download PDF

Info

Publication number
CN110830779A
CN110830779A CN201911020818.9A CN201911020818A CN110830779A CN 110830779 A CN110830779 A CN 110830779A CN 201911020818 A CN201911020818 A CN 201911020818A CN 110830779 A CN110830779 A CN 110830779A
Authority
CN
China
Prior art keywords
image signal
image
weight
signal
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911020818.9A
Other languages
English (en)
Other versions
CN110830779B (zh
Inventor
范蒙
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911020818.9A priority Critical patent/CN110830779B/zh
Publication of CN110830779A publication Critical patent/CN110830779A/zh
Application granted granted Critical
Publication of CN110830779B publication Critical patent/CN110830779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像信号的处理方法和系统，所述方法及系统通过第一成像单元，对待成像区域光信号的可见光波段进行感光，生成第一图像信号，所述第一图像信号中包括色彩信息；通过第二成像单元，对所述待成像区域光信号的至少红外波段进行感光，生成第二图像信号，所述第二图像信号中包括亮度信息；将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。本发明能够生成具备多种优点的合成图像，能够满足安防领域比较关注的低照度以及透雾两大监控环境的需求。

Description

一种图像信号的处理方法和系统
技术领域
本发明涉及安防领域，尤其涉及一种图像信号的处理方法和系统。
背景技术
日常生活中，夜晚是各种案件的多发时段。安防领域中，在夜间低光照度环境下，摄像机的图像效果往往是人们关注的重点。目前常采用IR-CUT切换的方式来兼顾白天和夜间的监控图像效果，其工作原理是：夜间在光线不足的低照度环境下，摄像机通过IR-CUT的切换，从滤除红外光的白天模式切换为红外波段感光的夜间模式，使得摄像机在低照度环境下也能获得噪声较小的图像，但红外感光会影响摄像机对色彩的感知，因此夜间模式下摄像机往往会输出黑白图像，从而丢失了图像的色彩信息。
另外，近些年来雾霾天气渐渐增多。在安防领域，为保证图像效果，往往为摄像机增加透雾功能以满足雾霾天气下的监控需求。从原理上，光波之中波长较短的部分容易受到雾霾微粒的影响，而波长越长越不易被雾霾颗粒阻挡。因此，摄像机光学透雾是通过滤光片滤除波长较短的部分，留下波长较长的部分，从而达到较好的透雾效果。但是，光学透雾处理过滤了大部分色彩信息，和上述夜间模式类似，往往只能输出黑白图像。
发明内容
本发明的目的是提供一种图像信号的处理方法和系统，用于解决安防领域低照度环境下、雾霾环境下以及低照度和雾霾环境下，只能输出黑白图像的问题。
根据本发明的一个方面，一种图像信号的处理方法，包括：通过第一成像单元，对待成像区域光信号的可见光波段进行感光，生成第一图像信号，所述第一图像信号中包括色彩信息；通过第二成像单元，对所述待成像区域光信号的至少红外波段进行感光，生成第二图像信号，所述第二图像信号中包括亮度信息；将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
根据本发明的另一方面，提供了一种图像信号的处理系统，包括：第一成像单元，用于对待成像区域光信号的可见光波段进行感光，生成第一图像信号，所述第一图像信号中包括色彩信息；第二成像单元，用于对所述待成像区域光信号的可见光波段和红外波段进行感光，生成第二图像信号，所述第二图像信号中包括亮度信息；信号合成单元，用于将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
本发明通过对不同波段进行感光，得到多个感光信号，同时根据图像增益，产生补光控制信号，对红外补光进行控制。对所述多个感光信号进行红外补光、时间同步和图像配准，将进行红外补光、时间同步和图像配准后的感光信号进行合成，生成合成图像。该合成图像具有多种优点，在低照度环境下，可以生成噪声较小同时色彩丰富的监控图像，能够满足低照度环境下的监控需求。在雾霾情况下，可以生成色彩丰富同时透雾效果较好的监控图像，能够满足雾霾环境下的监控需求。在低照度且雾霾的情况下，可以生成噪声较小、色彩丰富同时又具有较好透雾效果的监控图像，能够满足安防领域比较关注的低照度以及透雾两大监控需求。
附图说明
图1是本发明的图像信号的处理方法的流程示意图；
图2显示了本发明一实施例中低照度环境下的图像信号合成的流程示意图；
图3显示了本发明另一实施例中雾霾环境下的图像信号合成的流程示意图；
图4显示了本发明另一实施例中低照度和雾霾环境下的图像信号合成的流程示意图；
图5显示了本发明的一可选实施例的将图像信号进行合成的流程示意图；
图6显示了本发明的一可选实施例中红外补光的流程示意图；
图7显示了本发明的另一可选实施例中信号同步的流程示意图；
图8显示了本发明的又一可选实施例中图像配准的流程示意图；
图9是本发明的图像信号的处理系统的结构示意图；
图10是本发明的信号合成单元的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
需要说明的是：IR-CUT双滤镜(亦称双滤光片切换器)是指在摄像头镜头组里内置一组滤镜，当镜头外的红外感应点侦测到光线的强弱变化后，内置的IR-CUT自动切换滤镜能够根据外部光线的强弱随之自动切换，使图像达到最佳效果。也就是说，在白天或黑夜下，双滤光片能够自动切换滤镜，因此无论是白天或者黑夜，都能得到最佳成像效果。具体来说，白天模式下，加载红外滤光片，感光时滤除红外成分；夜间模式下，去除红外滤光片，对红外波段感光。
自动增益：摄像机输出的视频信号必须达到电视传输规定的标准电平，即,为了能在不同的景物照度条件下都能输出的标准视频信号，必须使放大器的增益能够在较大的范围内进行调节。这种增益调节通常都是通过检测视频信号的平均电平而自动完成的，实现此功能的电路称为自动增益控制电路，简称AGC电路。具有AGC功能的摄像机，在低照度时的灵敏度会有所提高，但此时的噪点也会比较明显。这是由于信号和噪声被同时放大的缘故。
图1是本发明的图像信号的处理方法的流程示意图。
如图1所示，本发明的图像信号的处理方法包括：
步骤S1，通过第一成像单元，对待成像区域光信号的可见光波段进行感光，生成第一图像信号，所述第一图像信号中包括色彩信息。
本步骤中，通过摄像机采集监控场景的图像，本发明实施例的摄像机具有两个成像单元：第一成像单元和第二成像单元，两个成像单元分别对同一区域的监控场景进行监控，通过第一成像单元，对待成像区域光信号的可见光波段进行感光，主要采集光信号中色彩信息，生成第一图像信号(在计算机中，图像以图像信号的形式存在)，所述第一图像信号中包括色彩信息。
具体的，在步骤1中，在对待成像区域光信号的可见光波段进行感光之前，需要滤除待成像区域光信号中的红外波段。例如，可以通过红外滤光片滤除其中的红外波段。滤除红外波段之后，再对待成像区域光信号的可见光波段进行感光生成第一图像信号，这样可以得到噪声更小、更加优质的色彩信息。
步骤S2，通过第二成像单元，对所述待成像区域光信号的至少红外波段进行感光，生成第二图像信号，所述第二图像信号中包括亮度信息。
本步骤中，所述生成第二感光信号的步骤中，所述对待成像区域光信号的至少红外波段进行感光包括：通过第二成像单元，对所述待成像区域光信号的可见光波段和红外波段进行感光,以生成第二图像信号，所述第二图像信号中包括亮度信息。所述方法还包括：通过第三成像单元，对所述待成像区域光信号的红外波段进行感光，生成第三图像信号，所述第三图像信号中包括亮度信息。具体来说，第三成像单元在对所述待成像区域光信号的红外波段进行感光之前，需要滤除待成像区域光信号中的可见光波段。例如，可以通过可见光滤光片滤除待成像区域光信号中的可见光波段，滤除可见光波段之后，再对待成像区域光信号的红外波段进行感光生成第二图像信号。
具体的，根据适用场景不同，本步骤的执行包括三种情况：第一种情况：在第一成像单元的基础上，通过第二成像单元，对所述待成像区域光信号的可见光波段和红外波段进行感光生成第二图像信号，所述第二图像信号中包括亮度信息。第二种情况:在第一成像单元的基础上，通过第三成像单元，对所述待成像区域光信号的红外波段进行感光生成第三图像信号，所述第三图像信号中包括亮度信息。第三种情况是将前两种情况结合，即在第一成像单元的基础上，通过第二成像单元，对所述待成像区域光信号的可见光波段和红外波段进行感光生成第二图像信号，所述第二图像信号中包括亮度信息；以及通过第三成像单元，对所述待成像区域光信号的红外波段进行感光生成第三图像信号，所述第三图像信号包括亮度信息。
第一种情况适用于低照度环境下(例如照度低于0.1lux)的图像信号的处理，第二种情况适用于雾霾环境下的图像信号的处理，第三种情况适用于低照度和雾霾环境下的图像信号的处理。
这里，步骤S1和步骤S2的执行顺序不唯一，可以同时执行或先后执行。
步骤S3，将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
具体的，从步骤S1的第一图像信号中获取到色彩信息以及从步骤S2的第二图像信号中获取到亮度信息，将第一、第二图像信号进行合成，生成具有色彩信息和亮度信息的合成图像。
同样的，根据使用场景的不同，本步骤的执行也包括三种情况：承接上述例子，第一种情况是在低照度环境下，将第一、第二图像信号进行合成，生成具有色彩信息和亮度信息的合成图像。第二种情况是在雾霾环境下，将第一、第三图像信号进行合成，生成具有色彩信息和透雾的合成图像。第三种情况是在低照度和雾霾环境下，将第一、第二和第三图像信号进行合成，生成具有色彩信息、亮度信息和穿透雾霾的合成图像。
图2显示了本发明一实施例中低照度环境下的图像信号合成的流程示意图。
如图2所示，在低照度环境下，本发明的前述步骤S3包括下述步骤：
步骤S31，计算第二图像信号的色彩饱和度估计值，并根据该色彩饱和度估计值计算第一图像信号的第一权重。
本步骤中，基于下式计算第二图像信号的色彩饱和度估计值sat和第一权重w1：
其中，r表示红色，g表示绿色，b表示蓝色，r、g、b的取值范围为0～255；max表示取最大值，min表示取最小值，sat表示第二图像信号的色彩饱和度估计值，其取值范围为0-1；w1表示第一图像信号的第一权重。色彩饱和度估计值指示了待成像区域光信号的色彩信息。权重是指某项指标在整体评价中的相对重要程度。
步骤S32，计算第一图像信号的噪声估计值，并根据该噪声估计值计算第二图像信号的第二权重。
本步骤中，计算第一图像信号的噪声估计值noise，噪声估计值指示了第一图像信号的亮度信息。具体的，首先获取第一图像信号的亮度值，然后将所述亮度值进行卷积计算，获取第一图像信号中每个像素位置的噪声分布，对所述噪声分布进行低通滤波处理以得到第一图像信号的噪声估计值noise。具体来说，首先计算第一图像信号的亮度值(亮度值指示了第一图像信号(即第一图像)的亮度信息。这里，亮度值，是对第一图像信号(即第一图像)的R、G、B求平均之后得到的亮度平均值)。然后将所述亮度值进行卷积计算，获取第一图像信号中每个像素位置的噪声分布；本发明中，卷积计算是指遍历图像的每个像素，对图像中的每个像素取出该像素周边一定范围(如3x3)内的像素值，与卷积核(即卷积模板)进行乘累加运算，得到当前图像中每个像素位置的噪声分布。例如，对第一图像信号(即第一图像)中的某个像素，取其周边3x3共9个像素值v1～v9，与卷积核(即卷积模板)的9个系数a1～a9做乘累加运算v＝v1*a1+v2*a2+…+v9*a9，运算结果作为当前像素的新值，同理，遍历第一图像信号(即第一图像)的所有像素进行类似处理，最终得到第一图像信号(第一图像)中像素位置的噪声分布。例如，可采用下述卷积核(即卷积模板)进行卷积计算获取每个像素位置的噪声分布：
Figure BDA0002247154300000061
本发明中，通用的计算式为：img_out＝img_in*kernel；其中，img_in为输入图像的矩阵，img_out为输出图像的矩阵，kernel为卷积核，*表示卷积运算。再对所述噪声分布进行滤波处理，例如，可以采用低通滤波处理，以得到第一图像信号的噪声估计值。同前述卷积计算类似，可采用下述模板进行卷积计算得到噪声估计值，此处不再赘述。
Figure BDA0002247154300000062
需要说明的是：低通滤波(Low-pass filter)是一种过滤方式，规则为低频信号能正常通过，而超过设定临界值的高频信号则被阻隔、减弱。
基于下式计算第二图像信号的第二权重w2：
Figure BDA0002247154300000063
其中，w2表示第二图像信号的第二权重，noise表示第一图像信号的噪声估计值，abs(noise)表示取噪声估计值的绝对值，min(abs(noise),thr1)表示取最小值，thr1表示计算第二权重w2的经验常数，取值范围为0～255，该经验常数可通过经验公式计算得出。本发明中，thr1取80。
这里，步骤S31和步骤S32的执行顺序不唯一，可以同时执行或先后执行。
步骤S33，根据第一图像信号和第一权重以及第二图像信号和第二权重，通过加权平均将所述第一、第二图像信号进行合成，以生成合成图像。
本步骤中，根据下式将所述第一、第二图像信号进行合成以生成合成图像：
img＝(img1*w1+img2*w2)/(w1+w2)，
img1、img2分别表示第一图像信号、第二图像信号，img表示生成的合成图像。
对于色彩饱和度较淡的区域，第一图像信号的权重更高。对于噪声较大的区域，第二图像信号的权重更高。在低照度环境下，通过上述方法合成的图像，具有噪声小和色彩丰富的优点，能够满足低照度环境下的监控需求。
可选的，用户可设定权重，并根据设定的权重大小输出对应的图像信号。例如，可指定权重w1为0，指定权重w2为1，此时输出第二图像信号；或者可指定权重w1为1，指定权重w2为0，此时输出第一图像信号。
图3显示了本发明另一实施例中雾霾环境下的图像信号合成的流程示意图。
如图3所示，在雾霾环境下，本发明的前述步骤S3包括下述步骤：
步骤S310，计算第一图像信号的雾浓度估计值,并根据该雾浓度估计值计算第三图像信号的第三权重。
本步骤中，计算第一图像信号的雾浓度估计值。雾浓度估计值可采用现有技术中的计算方式计算得出，例如，可采用局部均值滤波的方法计算雾浓度估计值ds。
基于下式计算第三图像信号的第三权重：
其中，w3表示第三图像信号的权重，ds表示第一图像信号的雾浓度估计值，abs(ds)表示取雾浓度估计值的绝对值，min(abs(ds),the2)表示取最小值，thr2表示计算第三权重w3的经验常数，取值范围为0～255，该经验常数可通过经验公式计算得出。本发明中，thr2取128。
步骤S320，根据所述第三权重，计算第一图像信号的第一权重。
本步骤中，根据下式计算第一图像信号的第一权重：
w1＝1-w3
步骤S330，根据第一图像信号和第一权重以及第三图像信号和第三权重，通过加权平均将所述第一、第三图像信号进行合成，以生成合成图像。
本步骤中，根据下式将所述第一、第三图像信号进行合成以生成合成图像：
img＝(img1*w1+img3*w3)/(w1+w3)，
img1、img3分别表示第一图像信号、第三图像信号，img表示生成的合成图像。
同样的，对于色彩饱和度较淡的区域，第一图像信号的权重更高。对于雾霾较浓的区域，第三图像信号的权重更高。在雾霾环境下，通过上述方法合成的图像，具有色彩丰富和透雾的优点，能够满足雾霾环境下的监控需求。
同样的，可选的，用户可设定权重，可根据设定的权重大小输出对应的图像信号。例如，可指定权重w1为0，指定权重w3为1，此时输出第三图像信号；或者可指定权重w1为1，指定权重w3为0，此时输出第一图像信号。
图4显示了本发明另一实施例中低照度和雾霾环境下的图像信号合成的流程示意图。
如图4所示，在低照度和雾霾环境下，本发明的前述步骤S3包括下述步骤：
步骤S301，计算第二图像信号的色彩饱和度估计值,并根据该色彩饱和度估计值计算第一图像信号的第一权重。
具体执行流程参见步骤S31，此处不再赘述。
步骤S302，计算第一图像信号的噪声估计值，并根据该噪声估计值计算第二图像信号的第二权重。
具体执行流程参见步骤S32，此处不再赘述。
步骤S303，计算第一图像信号的雾浓度估计值,并根据该雾浓度估计值计算第三图像信号的第三权重。
具体执行步骤参见步骤S310，此处不再赘述。
这里，步骤S301、步骤S302和步骤S303的执行顺序不唯一，可以同时执行或先后执行。
步骤S304，根据第一图像信号和第一权重、第二图像信号和第二权重以及第三图像信号和第三权重，通过加权平均将所述第一、第二和第三图像信号进行合成，以生成合成图像。
本步骤中，根据下式将所述第一、第二和第三图像信号进行合成以生成合成图像：
img＝(img1*w1+img2*w2+img3*w3)/(w1+w2+w3)，
img1、img2、img3分别表示第一图像信号、第二图像信号、第三图像信号，img表示生成的合成图像。
同样的，对于色彩饱和度较淡的区域，第一图像信号的权重更高。对于噪声较大的区域，第二图像信号的权重更高。对于雾霾较浓的区域，第三图像信号的权重更高。在低照度和雾霾环境下，通过上述方法合成的图像，具有噪声小、色彩丰富和透雾的优点，能够满足低照度和雾霾环境下的监控需求。
同样的，可选的，用户可设定权重，并根据设定的权重大小输出对应的图像信号。例如，可指定权重w1、w2为0，指定权重w3为1，此时输出第三图像信号。或者可指定权重w2为1，指定权重w1、w3为0，此时输出第二图像信号。可指定w1为1，指定权重w2、w3为0，此时输出第一图像信号。在一可选实施方式中，在所述生成图像信号的步骤之后，还包括向外输出第一图像信号、第二感光信号或第三图像信号的步骤。具体的，可根据用户设定的权重大小、或根据上述计算出的权重大小向外输出第一图像信号、第二图像信号或第三图像信号。
图5显示了本发明的一可选实施例的将图像信号进行合成的流程示意图。
如图5所示，在一可选实施方式中，所述将图像进行合成的步骤包括：
步骤S101，对所述图像信号进行红外补光，以补偿亮度。
本步骤中，可选的，在所述将图像信号进行合成之前，对所述一个或多个图像信号进行红外补光，用于补偿亮度。
步骤S102，对所述图像信号进行信号同步，以补偿成像时差。
本步骤中，可选的，在所述将图像信号进行合成之前，对所述多个图像信号进行信号同步，用于补偿成像时差。图像在采集时，由于使用不同的摄像机或图像采集设备采集图像，会导致采集到的图像之间存在一定的成像时差，本发明中，所述成像时差可以近似认为是定值。在成像时差为定值的情况下，可以采用缓存固定帧数的方式进行信号同步。
同样的，根据使用场景不同，该步骤也包括三种情况，第一种情况：在低照度环境下，对所述第一、第二图像信号进行信号同步。第二种情况：在雾霾环境下，对所述第一、第三图像信号进行信号同步。第三种情况：在低照度和雾霾环境下，对所述第一、第二和第三图像信号进行两两信号同步。
步骤S103，对所述图像信号进行图像配准，以补偿图像信号在像素位置上的错位。
本步骤中，可选的，在所述将图像信号进行合成之前，对所述多个图像信号进行图像配准，用于补偿图像信号在像素位置上的错位。需要说明的是，由于多个待成像区域光信号的空间相对位置是固定的，因此其生成的多个图像信号之间的几何映射关系也是固定的，这样就可以采用多个摄像机或图像采集设备先对一幅给定图像进行拍摄，然后计算出多个图像之间的映射关系，即变换矩阵。后续的，在对多个图像信号进行合成时，可以直接采用该变换矩阵进行处理，使多个图像信号实现图像配准，而变换矩阵本身固定不变。
同样的，根据使用场景不同，该步骤也包括三种情况，第一种情况是：在低照度环境下，对所述第一、第二图像信号进行图像配准。第二种情况是：在雾霾环境下，对所述第一、第三图像信号进行图像配准。第三种情况是：在低照度和雾霾环境下，对所述第一、第二和第三图像信号进行两两图像配准。
这里，步骤S101、步骤S102和步骤S103的执行顺序不唯一，可以同时执行或先后执行。
步骤S104，将所述图像信号进行图像合成，生成合成图像。
根据使用场景的不同，本步骤的执行同样包括三种情况：第一种情况是：在低照度环境下，将所述第一、第二图像信号进行合成。第二种情况是：在雾霾环境下，对所述第一、第三图像信号进行合成。第三种情况是：在低照度和雾霾环境下，对所述第一、第二和第三图像信号进行合成。
图6显示了本发明的一可选实施例中红外补光的流程示意图。
如图6所示，在一可选实施方式中，所述进行红外补光的步骤，包括：
步骤S110，获取图像信号的增益。
获取图像信号的增益信息。这里，所述增益信息指示了图像信号的噪声大小，增益越大，图像信号的噪声比越大，认为外界光线越不足，从而开启红外补光；否则反之。需要说明的是：增益指的是图像采集设备(如摄像机)在采集图像信号时的放大倍率，其类似于数码相机中的ISO值，ISO数值越高说明感光元器件的感光能力越强。
步骤S120，判断所述增益是否大于第一阈值T1或小于第二阈值T2。
具体的，判断获取到的所述增益是否大于第一阈值T1或判断该增益是否小于第二阈值T2，根据该判断结果进行红外补光控制。其中，第一阈值T1＞第二阈值T2。
步骤S130，当所述增益大于第一阈值时，开启红外补光。
步骤S140，当所述增益小于第二阈值时，关闭红外补光。
具体的，当步骤S120的判断结果为大于第一阈值T1时，开启红外补光，对第一图像信号、第二图像信号或第三图像信号进行红外补光，提升图像的整体的亮度。当步骤S120的判断结果为小于第二阈值T2时，关闭红外补光。
本发明中，红外补光的目的是提升图像的场景亮度(即图像的整体亮度)，减少噪声，进而提升场景中目标的辨识度。前述步骤S2中对所述图像信号的至少红外波段进行感光生成第二图像信号，所述第二图像信号中包括亮度信息，这里的亮度信息主要指示了图像的相对亮度(即图像的明暗程度)。
图7显示了本发明的一可选实施例中信号同步的流程示意图。
如图7所示，在一可选实施方式中，所述对图像信号进行信号同步的步骤，包括下述步骤：
步骤S201，缓存预定的信号时差t。
本发明中，两路图像信号之间的信号时间差t可以近似认为是固定不变的，因而可以预先缓存，在后续处理时直接调用。
步骤S202，根据预定的信号时差t计算时差帧数n。
在帧频fps确定的情况下，两路图像信号之间的信号时间差t可以换算成对应帧数，也即两路图像信号之间相差的帧的数量，计算公式如下：
n＝f(t/fps),n≥1
其中，t表示预设的信号时差t，fps表示帧频,表示信号时差t对应的时差帧数n。其中，n＝f(t/fps)表示通过四舍五入法求商的近似数。
步骤S203，基于所述时差帧数对所述图像信号进行帧补偿，使其在时间上同步。
本步骤中，基于确定的时差帧数n，对所述两路图像信号进行帧补偿,例如，对较早的图像信号补偿n个帧，使得其与另一路图像信号在时间上同步。
本发明中，信号同步的目的是为了补偿不同图像信号的成像时差，使得第一图像信号与第二图像信号、第一图像信号与第三图像信号以及第一图像信号、第二图像信号与第三图像信号的成像时间能够相对应，以优化合成图像的质量。
图8显示了本发明的又一可选实施例中图像配准的流程示意图。
本步骤中，基于所述仿射变换矩阵对所述图像信号进行仿射变换，用于补偿图像信号在像素位置上的错位。
如图8所示，在一可选实施方式中，所述对图像信号进行图像配准的步骤，包括下述步骤：
步骤S230，通过标定获取仿射变换矩阵。
本步骤中，通过预先标定获取仿射变换矩阵。
步骤S240，基于所述仿射变换矩阵对所述图像信号进行仿射变换，使其图像配准。
本步骤中，通过确定的仿射变换矩阵对其中一路信号进行仿射变换处理，以达到信号配准。
对于多路信号配准情形，可以分解为多次两路配准来实现。
本发明中，图像配准的目的是补偿不同图像信号在像素位置上的错位，使得第一图像信号与第二图像信号、第一图像信号与第三图像信号以及第一图像信号、第二图像信号与第三图像在每个像素位置上能够对应，以优化合成图像的质量。
在一可选实施方式中，在进行图像合成的步骤之前，还包括对第一图像信号、第二图像信号和/或第三图像信号进行预处理的步骤，以优化合成图像的合成质量。
所述预处理包括但不限于自动曝光、白平衡、色彩校正、降噪、伽马校正和对比度等。具体的，可选的，可以对第一图像信号进行自动曝光、白平衡和/或降噪处理；对第二图像信号进行自动曝光、白平衡和/或色彩校正处理；对第三图像信号进行自动曝光、白平衡和/或对比度处理。优选的，对第一图像信号进行自动曝光、白平衡和降噪处理；对第二图像信号进行自动曝光、白平衡和色彩校正处理；对第三图像信号进行自动曝光、白平衡和对比度处理。
需要说明的是：自动曝光是相机根据光线的强弱自动调整曝光量，防止曝光过度或者不足。例如，可通过控制快门、根据图像的增益信息对图像信号进行自动曝光处理，目的是使第一图像信号、第二图像信号或第三图像信号符合一定的亮度要求。例如，可预先设置亮度阈值，当第一图像信号、第二图像信号或第三图像信号超过该亮度阈值时，认为第一图像信号、第二图像信号或第三图像信号合格。白平衡处理的目的是使所述多个图像信号具有相同的色调基准。降噪处理的目的是使第一图像信号具有更高的信噪比。色彩校正处理的目的是使第二图像信号具有更加准确的色彩效果。对比度处理的目的增强第三图像信号的透雾效果，即增加图像通透感，可以通过增强对比度来增强图像的透雾效果。
优选的，在将图像信号进行合成之前，先对所述第一图像、第二图像信号和第三图像信号进行上述预处理，然后再进行红外补光、时间同步和图像配准，以此来提升合成图像的合成质量。
如上所述，详细介绍了本发明的图像信号的处理方法，通过从图像信号中获取色彩信息和亮度信息，对色彩信息和亮度信息进行融合，生成具有多种优点的合成图像，从而满足低照度环境下、雾霾环境下以及低照度和雾霾的环境下的监控需求。
图9是本发明的图像信号的处理系统的结构示意图。
如图9所示，本发明的图像信号的处理系统包括第一成像单元1、第二成像单元2和信号合成单元3。可选的，也包括第三成像单元4。
第一成像单元1用于对待成像区域光信号的可见光波段进行感光生成第一图像信号，所述第一图像信号中包括色彩信息。具体来说，第一成像单元1对待成像区域光信号的可见光波段进行感光生成第一图像信号(在计算机中，图像以图像信号的形式存在)，所述第一图像信号中包括色彩信息，将生成的第一图像信号发送给信号合成单元3进行合成。所述第一成像单元1包括红外滤波单元，在对待成像区域光信号的可见光波段进行感光之前，用于对所述待成像区域光信号进行红外滤波以滤除其中的红外波段。
第二成像单元2用于对所述待成像区域光信号的至少红外波段进行感光生成第二图像信号，生成第二图像信号，所述第二图像信号中包括亮度信息。具体来说，在低照度环境下，通过第二成像单元，对所述待成像区域光信号的可见光波段和红外波段进行感光,以生成第二图像信号，所述第二图像信号中包括亮度信息。
信号合成单元3连接到第一成像单元1和第二成像单元2，用于将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。具体来说，在低照度环境下，信号合成单元3将第一图像信号和第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
在一可选实施方式中，所述系统还包括：第三成像单元4。第三成像单元4用于对所述待成像区域光信号的红外波段进行感光生成第三图像信号，所述第三图像信号中包括亮度信息，将生成的所述第三图像信号发送给信号合成单元3进行合成。所述第三成像单元4包括可见光滤波单元,在对所述待成像区域光信号的红外波段进行感光之前，用于对所述待成像区域光信号进行可见光滤波以滤除其中的可见光波段。具体来说，在雾霾环境下，信号合成单元3将第一图像信号和第三图像信号进行合成，生成具有色彩信息以及透雾效果的合成图像。而在低照度和雾霾环境下，信号合成单元3将第一图像信号、第二图像信号和第三图像信号进行合成，生成具有色彩信息、亮度信息以及透雾效果的合成图像。
具体来说，本发明根据使用场景不同，存在三种使用方案：第一种方案：在低照度环境下(例如照度低于0.1lux)，所述系统包括第一成像单元1、第二成像单元2和信号合成单元3；在低照度环境下，所述第二成像单元2对所述待成像区域光信号的可见光波段和红外波段进行感光生成第二图像信号。第二种方案：在雾霾环境下，所述系统包括第一成像单元1、第三成像单元4和信号合成单元3。在雾霾环境下，所述第三成像单元4对所述待成像区域光信号的红外波段进行感光，生成第三图像信号。第三种方案：在低照度和雾霾环境下，所述系统包括第一成像单元1、第二成像单元2、第三成像单元4和信号合成单元3。在低照度和雾霾环境下，所述第二成像单元2对所述待成像区域光信号的可见光波段和红外波段进行感光生成第二图像信号；第三成像单元4，对所述待成像区域光信号的红外波段进行感光生成第三图像信号。
在本发明中，所述第一成像单元、第二成像单元、第三成像单元可以是图像传感器，但本发明不限制于此，也可以是其他类型的图像捕捉/采集装置。
优选的，可以设置多个成像单元(如第一成像单元、第二成像单元、第三成像单元至第N成像单元)分别对不同波段(如可见光波段、红外线波段、紫外线波段等等)同时进行感光，那么在实际应用时，可以设置多个图像传感器分别对不同波段同时进行感光。本发明中，可通过在图像传感器中加入红外滤光片滤除红外波段，通过加入可见光滤光片滤除可见光波段等。
如图9所示，在一可选实施方式中，所述系统还包括:补光控制单元5、信号同步单元6和/或图像配准单元7。
补光控制单元5连接到每个所述成像单元，用于在所述图像信号的亮度低于预定阈值时，生成补光控制信号，控制对图像信号进行红外补光以补偿亮度。具体来说，所述补光控制单元5获取图像信号的增益，判断所述增益是否大于第一阈值T1或小于第二阈值T2，其中：当所述增益大于第一阈值时，发出开启红外补光的补光控制信号；当所述增益小于第二阈值时，发出关闭红外补光的补光控制信号。
信号同步单元6连接到所述补光控制单元5，用于对所述图像信号进行时间同步以补偿成像时差。
具体来说，信号同步单元6通过以下操作对所述图像信号进行时间同步：
缓存预定的信号时差t；
根据预定的信号时差t计算时差帧数n,n＝f(t/fps)，n≥1；
基于所述时差帧数对所述图像信号进行帧补偿，使其在时间上同步。
具体的，本发明中，两路图像信号之间的信号时间差t可以近似认为是固定不变的，因而可以预先缓存，在后续处理时直接调用。在帧频fps确定的情况下，两路图像信号之间的信号时间差t可以换算成对应帧数，也即两路图像信号之间相差的帧的数量，计算公式如下：
n＝f(t/fps),n≥1；
其中，t表示预设的信号时差t，fps表示帧频,表示信号时差t对应的时差帧数n。其中，n＝f(t/fps)表示通过四舍五入法求商的近似数。本步骤中，基于确定的时差帧数n，对所述两路图像信号进行帧补偿,例如，对较早的图像信号补偿n个帧，使得其与另一路图像信号在时间上同步。
图像配准单元7连接到所述信号同步单元6和信号合成单元3，用于对所述图像信号进行图像配准以补偿图像信号在像素位置上的错位。
具体来说，图像配准单元6通过预先标定获取仿射变换矩阵，并基于所述仿射变换矩阵对所述图像信号进行仿射变换，使其图像配准。
在一优选实施方式中，所述系统同时包括补光控制单元5、信号同步单元6和图像配准单元7。
如图9所示，在一可选实施方式中，所述系统还包括：红外补光单元8和输出单元9。
红外补光单元8连接到所述补光控制单元5，用于根据接收到的补光控制信号对所述图像信号进行红外补光以补偿亮度。
具体来说，当所述增益大于第一阈值T1时，补光控制单元5发出开启红外补光的补光控制信号，红外补光单元8根据接收到的开启红外的补光控制信号对所述图像信号进行红外补光以补偿亮度；当所述增益小于第二阈值T2时，补光控制单元5发出关闭红外补光的补光控制信号，红外补光单元8根据接收到的关闭红外补光的补光控制信号停止对所述图像信号进行红外补光。
本发明中，红外补光的目的是提升图像的场景亮度(即图像的整体亮度)，从而提升对所述图像信号的至少红外波段进行感光所获得的信号强度，进而减少噪声，提升场景中目标的辨识度。前述步骤S2中对所述图像信号的至少红外波段进行感光以获取其中的亮度信息中，这里的亮度信息指示了图像的相对亮度，即图像的明暗部分。
输出单元9连接到所述信号合成单元3，用于将所述信号合成单元3生成的图像信号向外输出。
在另一可选实施例中，输出单元9可以设置为分别连接到各个成像单元，从而实现直接输出各成像单元产生的图像信号。
图10是本发明的信号合成单元的结构示意图。
如图10所示，所述信号合成单元3包括：第一权重计算模块31、第二权重计算模块32、第三权重计算模块33、第一图像合成模块341、第二图像合成模块342和第三图像合成模块343。
第一权重计算模块31与所述第二成像单元2连接，用于计算第二图像信号的色彩饱和度估计值，并根据该色彩饱和度估计值计算第一图像信号的第一权重。
所述第一权重计算模块31基于下式计算所述第二图像信号的色彩饱和度估计值和第一权重：
Figure BDA0002247154300000161
其中，r表示红色，g表示绿色，b表示蓝色，r、g、b的取值范围为0～255；max表示取最大值，min表示取最小值，sat表示第二图像信号的色彩饱和度估计值，其取值范围为0-1；w1表示第一图像信号的第一权重。其中该色彩饱和度估计值sat指示了图像的色彩信息。
第二权重计算模块32与所述第一成像单元1连接，用于计算第一图像信号的噪声估计值，并根据该噪声估计值计算第二图像信号的第二权重。
具体来说，计算第一图像信号的噪声估计值的计算方法参见图9。
所述第二权重计算模块32基于下式计算第二图像信号的第二权重：
其中，w2表示第二图像信号的第二权重，noise表示第一图像信号的噪声估计值，abs(noise)表示取噪声估计值的绝对值，min(abs(noise),thr1)表示取最小值，thr1表示计算第二权重w2的经验常数，取值范围为0～255，该经验常数可通过经验公式计算得出。本发明中，thr1取80。其中该噪声估计值noise指示了低照度环境下，图像的亮度信息。
第三权重计算模块33与所述第一成像单元1连接，用于计算第一图像信号的雾浓度估计值,并根据该雾浓度估计值计算第三图像信号的第三权重。
具体来说，计算第一图像信号的雾浓度估计值。浓度估计值可采用现有技术中的计算方式计算得出，例如，可采用局部均值滤波的方法计算雾浓度估计值ds。其中，该雾浓度估计值ds指示了雾霾环境下，图像的亮度信息。
所述第三权重计算模块33基于下式计算第三图像信号的第三权重：
Figure BDA0002247154300000163
其中，w3表示第三图像信号的权重，ds表示第一图像信号的雾浓度估计值，abs(ds)表示取雾浓度估计值的绝对值，min(abs(ds),the2)表示取最小值，thr2表示计算第三权重w3的经验常数，取值范围为0～255，该经验常数可通过经验公式计算得出。本发明中，thr2取128。
第一图像合成模块341，其与所述第一权重计算模块31和第二权重计算模块32连接,根据第一图像信号和第一权重以及第二图像信号和第二权重，通过加权平均将所述第一、第二图像信号进行合成，以生成合成图像。具体来说，在低照度环境下，第一图像合成模块341根据下式将所述第一、第二图像信号进行合成以生成合成图像img：
img＝(img1*w1+img2*w2)/(w1+w2)，
img1、img2分别表示第一图像信号、第二图像信号，w1、分别w2表示第一权重、第二权重，img表示生成的合成图像。
第二图像合成模块342，其与所述第三权重计算模块33连接，根据所述第三权重确定第一图像信号的第一权重，并根据第一图像信号和所确定的第一权重以及第三图像信号和第三权重，通过加权平均将所述第一、第三图像信号进行合成，以生成合成图像。具体来说，在雾霾环境下，第二图像合成模块341根据下式将所述第一、第三图像信号进行合成以生成合成图像img：
img＝(img1*w1+img3*w3)/(w1+w3)，
w1＝1-w3
img1、img3分别表示第一图像信号、第三图像信号，w1、w3分别表示第一权重、第三权重，img表示生成的合成图像。
第三图像合成模块343与所述第一权重计算模块31、第二权重计算模块32和第三权重计算模块33连接，用于根据第一图像信号和第一权重、第二图像信号和第二权重以及第三图像信号和第三权重，通过加权平均将所述第一、第二和第三图像信号进行合成，以生成合成图像。具体来说，在低照度和雾霾环境下，第三图像合成模块343根据下式将所述第一、第二和第三图像信号进行合成以生成合成图像img：
img＝(img1*w1+img2*w2+img3*w3)/(w1+w2+w3)，
img1、img2、img3分别表示第一图像信号、第二图像信号、第三图像信号，w1、w2、w3分别表示第一权重、第二权重、第三权重，img表示生成的合成图像。
在一可选实施方式中，所述系统还包括自动曝光单元、白平衡单元、降噪单元、色彩校正单元和对比度单元。
自动曝光单元用于对第一图像信号、第二图像信号和第三图像信号进行自动曝光处理。例如，可通过控制快门、根据图像的增益特征对感光信号进行自动曝光处理，目的是使第一图像信号、第二图像信号和第三图像信号符合特定的亮度要求。
白平衡单元用于对第一图像信号、第二图像信号和第三图像信号进行白平衡处理。具体来说，通过白平衡处理，目的是使第一图像信号、第二图像信号和第三图像信号具有相同的色调基准。
降噪单元用于对第一图像信号进行降噪处理。具体来说，通过对第一图像信号进行降噪处理的目的是使第一图像信号具有更高的信噪比。
色彩校正单元用于对第二图像信号进行色彩校正处理。具体来说，通过对第二图像信号进行色彩校正处理的目的是使第二图像信号具有更加准确的色彩效果。
对比度单元用于对第三图像信号进行对比度处理。具体来说，通过对第三图像信号进行对比度处理的目的是使第三图像信号的具有透雾效果，即图像通透感。
如上所述，详细介绍了本发明的图像信号的处理系统，通过从图像信号中获取色彩信息和亮度信息，对色彩信息和亮度信息进行融合，生成具有多种优点的合成图像，从而满足低照度环境下、雾霾环境下以及低照度和雾霾的环境下的监控需求。
如上所述，本发明提供了一种图像信号的处理方法和系统，本发明通过对不同波段进行感光，得到多个感光信号，同时根据图像增益，产生补光控制信号，对红外补光进行控制。对所述多个感光信号进行红外补光、时间同步和图像配准，将进行红外补光、时间同步和图像配准后的感光信号进行合成，生成具有多种优点的合成图像。最后，将合成图像输出。
该合成图像具有多种优点，在低照度环境下，可以生成噪声较小同时色彩丰富的监控图像，能够满足低照度环境下的监控需求。在雾霾情况下，可以生成色彩丰富同时透雾效果较好的监控图像，能够满足雾霾环境下的监控需求。在低照度且雾霾的情况下，可以生成噪声较小、色彩丰富同时又具有较好透雾效果的监控图像，能够满足安防领域比较关注的低照度以及透雾两大监控需求。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (24)

1.一种图像信号的处理方法，其特征在于，包括：
通过红外补光单元对待成像区域进行红外补光；通过第一成像单元，对待成像区域光信号的可见光波段进行感光，生成第一图像信号，所述第一图像信号中包括色彩信息；
通过第二成像单元，对经过所述红外补光的待成像区域光信号的红外波段进行感光，生成第二图像信号，所述第二图像信号中包括亮度信息；
将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过第三成像单元，对所述待成像区域光信号的红外波段进行感光，生成第三图像信号，所述第三图像信号中包括亮度信息；
将所述第一图像信号、所述第三图像信号进行合成，生成合成图像。
3.根据权利要求1所述的方法，其特征在于，
所述生成第二图像信号的步骤是通过对所述待成像区域光信号的可见光波段和红外波段进行感光而生成；
所述方法还包括：
通过第三成像单元，对所述待成像区域光信号的红外波段进行感光，生成第三图像信号，所述第三图像信号中包括亮度信息；
将所述第一图像信号、所述第二图像信号，以及所述第三图像信号进行合成，生成合成图像。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述将图像信号进行合成的步骤包括：
对所述图像信号进行红外补光，以补偿亮度；
对所述图像信号进行信号同步，以补偿成像时差；
对所述图像信号进行图像配准，以补偿图像信号在像素位置上的错位；
将所述图像信号进行图像合成，生成合成图像。
5.根据权利要求1所述的方法，其特征在于，所述进行合成的步骤包括：
计算第二图像信号的色彩饱和度估计值，并根据该色彩饱和度估计值计算第一图像信号的第一权重；
计算第一图像信号的噪声估计值，并根据该噪声估计值计算第二图像信号的第二权重；
根据第一图像信号和第一权重以及第二图像信号和第二权重，通过加权平均将所述第一图像信号、所述第二图像信号进行合成，以生成合成图像。
6.根据权利要求1或2所述的方法，其特征在于，所述进行合成的步骤包括：
计算第一图像信号的雾浓度估计值,并根据该雾浓度估计值计算第三图像信号的第三权重；
根据所述第三权重，计算第一图像信号的第一权重；
根据第一图像信号和第一权重以及第三图像信号和第三权重，通过加权平均将所述第一图像信号、所述第三图像信号进行合成，以生成合成图像。
7.根据权利要求1或3所述的方法，其特征在于，所述进行合成的步骤包括：
计算第二图像信号的色彩饱和度估计值,并根据该色彩饱和度估计值计算第一图像信号的第一权重；
计算第一图像信号的噪声估计值，并根据该噪声估计值计算第二图像信号的第二权重；
计算第一图像信号的雾浓度估计值,并根据该雾浓度估计值计算第三图像信号的第三权重；
根据第一图像信号和第一权重、第二图像信号和第二权重以及第三图像信号和第三权重，通过加权平均将所述第一图像信号、所述第二图像信号和所述第三图像信号进行合成，以生成合成图像。
8.根据权利要求5或7所述的方法，其特征在于，
基于下式计算所述第一权重：
Figure FDA0002247154290000021
r表示红色，g表示绿色，b表示蓝色，r、g、b的取值范围为0～255；sat表示第二图像信号的色彩饱和度估计值，w1表示第一图像信号的第一权重；
基于下式计算所述第二权重：
Figure FDA0002247154290000022
w2表示第二图像信号的第二权重，noise表示第一图像信号的噪声估计值，thr1表示计算第二权重w2的经验常数。
9.根据权利要求6或8所述的方法，其特征在于，基于下式计算所述第三权重：
Figure FDA0002247154290000031
w3表示第三图像信号的第三权重，ds表示第一图像信号的雾浓度估计值，thr2表示计算第三权重w3的经验常数。
10.根据权利要求4所述的方法，其特征在于，所述进行红外补光的步骤包括：
获取图像信号的增益；
判断所述增益是否大于第一阈值T1或小于第二阈值T2；
当所述增益大于第一阈值时，开启红外补光；
当所述增益小于第二阈值时，关闭红外补光。
11.根据权利要求4所述的方法，其特征在于，所述对图像信号进行信号同步的步骤包括：
缓存预定帧数；
基于缓存的预定帧数对所述图像信号进行帧补偿，使其在时间上同步。
12.根据权利要求4所述的方法，其特征在于，所述对图像信号进行图像配准的步骤包括：
通过标定获取仿射变换矩阵；
基于所述仿射变换矩阵对所述图像信号进行仿射变换，使其图像配准。
13.一种图像信号的处理系统，包括：
红外补光单元(8)，用于对待成像区域进行红外补光；
第一成像单元(1)，对待成像区域光信号的可见光波段进行感光，生成第一图像信号，所述第一图像信号中包括色彩信息；
第二成像单元(2)，用于对经过红外补光的所述待成像区域光信号的红外波段进行感光，生成第二图像信号，所述第二图像信号中包括亮度信息；
信号合成单元(3)，用于将所述第一图像信号、所述第二图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
14.根据权利要求13所述的系统，所述系统还包括：
第三成像单元(4)，用于对所述待成像区域光信号的红外波段进行感光，生成第三图像信号，所述第三图像信号中包括亮度信息；
所述信号合成单元(3)将所述第一图像信号、所述第二图像信号和所述第三图像信号进行合成，生成具有色彩信息以及亮度信息的合成图像。
15.根据权利要求13或14所述的系统，其特征在于，所述系统还包括：
补光控制单元(5)，用于在所述图像信号的亮度低于预定阈值时，生成补光控制信号，控制红外补光单元(8)进行红外补光；
信号同步单元(6)，用于对所述多个图像信号进行时间同步以补偿成像时差；
图像配准单元(7)，用于对所述图像信号进行图像配准以补偿图像信号在像素位置上的错位。
16.根据权利要求15所述的系统，其特征在于，所述系统还包括输出单元(9),
红外补光单元(8)，用于根据接收到的补光控制信号进行红外补光；
输出单元(9)，用于将所述信号合成单元(3)生成的图像信号向外输出。
17.根据权利要求13、14或15所述的系统，其特征在于，所述信号合成单元(3)包括：
第一权重计算模块(31)，用于计算第二图像信号的色彩饱和度估计值，并根据该色彩饱和度估计值计算第一图像信号的第一权重；
第二权重计算模块(32)，用于计算第一图像信号的噪声估计值，并根据该噪声估计值计算第二图像信号的第二权重；
第一图像合成模块(341)，其与第一权重计算模块(31)和第二权重计算模块(32)连接，根据第一图像信号和第一权重以及第二图像信号和第二权重，通过加权平均将所述第一图像信号、所述第二图像信号进行合成，以生成合成图像。
18.根据权利要求17所述的系统，其特征在于，所述信号合成单元(3)还包括：
第三权重计算模块(33)，用于计算第一图像信号的雾浓度估计值,并根据该雾浓度估计值计算第三图像信号的第三权重；
第二图像合成模块(342)，其与第三权重计算模块(33)连接，根据所述第三权重确定第一图像信号的第一权重，并根据第一图像信号和所确定的第一权重以及第三图像信号和第三权重，通过加权平均将所述第一图像信号、所述第三图像信号进行合成，以生成合成图像。
19.根据权利要求18所述的系统，其特征在于，所述信号合成单元(3)进一步包括：
第三图像合成模块(343)，其与第一权重计算模块(31)、第二权重计算模块(32)和第三权重计算模块(33)连接，用于根据第一图像信号和第一权重、第二图像信号和第二权重以及第三图像信号和第三权重，通过加权平均将所述第一图像信号、所述第二图像信号和所述第三图像信号进行合成，以生成合成图像。
20.根据权利要求17所述的系统，其特征在于，
所述第一权重计算模块(31)基于下式计算所述第一权重：
Figure FDA0002247154290000051
r表示红色，g表示绿色，b表示蓝色，r、g、b的取值范围为0～255；sat表示第二图像信号的色彩饱和度估计值，w1表示第一图像信号的第一权重；
所述第二权重计算模块(32)基于下式计算所述第二权重；
Figure FDA0002247154290000052
w2表示第二图像信号的第二权重，noise表示第一图像信号的噪声估计值，thr1表示计算第二权重w2的经验常数。
21.根据权利要求18或19所述的系统，其特征在于，所述第三权重模块(33)基于下式计算所述第三权重；
Figure FDA0002247154290000053
w3表示第三图像信号的第三权重，ds表示第一图像信号的雾浓度估计值，thr2表示计算第三权重w3的经验常数。
22.根据权利要求15或16所述的系统，其特征在于，所述补光控制单元(5)获取图像信号的增益，判断所述增益是否大于第一阈值T1或小于第二阈值T2，其中：
当所述增益大于第一阈值时，发出开启红外补光的补光控制信号；
当所述增益小于第二阈值时，发出关闭红外补光的补光控制信号。
23.根据权利要求15所述的系统，其特征在于，所述信号同步单元(6)缓存预定帧数，基于缓存的预定帧数对所述图像信号进行帧补偿，使其在时间上同步。
24.根据权利要求15所述的系统，其特征在于，所述图像配准单元(7)通过标定获取仿射变换矩阵，并基于所述仿射变换矩阵对所述图像信号进行仿射变换，使其图像配准。
CN201911020818.9A 2015-08-28 2015-08-28 一种图像信号的处理方法和系统 Active CN110830779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911020818.9A CN110830779B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510540746.6A CN106488201B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统
CN201911020818.9A CN110830779B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510540746.6A Division CN106488201B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统

Publications (2)

Publication Number Publication Date
CN110830779A true CN110830779A (zh) 2020-02-21
CN110830779B CN110830779B (zh) 2022-06-03

Family

ID=58186598

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911020818.9A Active CN110830779B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统
CN201510540746.6A Active CN106488201B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510540746.6A Active CN106488201B (zh) 2015-08-28 2015-08-28 一种图像信号的处理方法和系统

Country Status (4)

Country Link
US (1) US10979654B2 (zh)
EP (1) EP3343911B1 (zh)
CN (2) CN110830779B (zh)
WO (1) WO2017036270A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507930A (zh) * 2020-06-18 2020-08-07 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备
CN113793291A (zh) * 2021-10-14 2021-12-14 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及系统
CN108632595B (zh) * 2017-03-24 2020-03-03 瑞昱半导体股份有限公司 影像处理装置及方法
CN106993136B (zh) * 2017-04-12 2021-06-15 深圳市知赢科技有限公司 移动终端及其基于多摄像头的图像降噪方法和装置
DE112017007579T5 (de) * 2017-05-24 2020-03-12 HELLA GmbH & Co. KGaA Verfahren und System zum automatischen Kolorieren von Nachtsichtbildern
CN109040534A (zh) * 2017-06-12 2018-12-18 杭州海康威视数字技术股份有限公司 一种图像处理方法及图像采集设备
CN107483811A (zh) * 2017-07-28 2017-12-15 广东欧珀移动通信有限公司 成像方法和电子装置
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN115937776A (zh) 2017-09-15 2023-04-07 杭州海康威视数字技术股份有限公司 监控方法、装置、系统、电子设备及计算机可读存储介质
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
CN107635099B (zh) * 2017-10-09 2020-08-18 深圳市天视通电子科技有限公司 一种人体感应双光网络摄像机及安防监控系统
CN108111769A (zh) * 2018-03-07 2018-06-01 深圳新亮智能技术有限公司 利用红外激光和白光混合照明拍摄彩色图片的系统及方法
CN110660088B (zh) 2018-06-30 2023-08-22 华为技术有限公司 一种图像处理的方法和设备
CN110971889A (zh) 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
CN109120856B (zh) * 2018-10-26 2020-11-03 珠海格力电器股份有限公司 一种摄像方法及装置
CN110493531B (zh) * 2018-12-12 2021-12-03 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN110493532B (zh) * 2018-12-12 2021-06-29 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN113170048A (zh) * 2019-02-19 2021-07-23 华为技术有限公司 一种图像处理的装置和方法
CN109688333B (zh) * 2019-03-07 2021-01-26 上海创功通讯技术有限公司 彩色图像获取方法、装置、设备以及存储介质
CN111770246A (zh) * 2019-04-02 2020-10-13 上海富瀚微电子股份有限公司 一种图像降噪装置及方法
CN110490041B (zh) * 2019-05-31 2022-03-15 杭州海康威视数字技术股份有限公司 人脸图像采集装置及方法
CN111275645A (zh) 2020-01-20 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像去雾方法、装置、设备及存储介质
CN112422784B (zh) * 2020-10-12 2022-01-11 浙江大华技术股份有限公司 成像方法、成像装置、电子装置和存储介质
CN116137023B (zh) * 2023-04-20 2023-06-20 中国民用航空飞行学院 基于背景建模和细节增强的低照度图像增强方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620265B1 (en) * 2004-04-12 2009-11-17 Equinox Corporation Color invariant image fusion of visible and thermal infrared video
US20110052029A1 (en) * 2009-08-27 2011-03-03 David Connah Method and system for generating accented image data
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔系统公司 用于双传感器应用的红外相机系统和方法
CN202541437U (zh) * 2012-01-20 2012-11-21 南京航空航天大学 一种车载红外夜视行车装置
CN102914803A (zh) * 2012-11-08 2013-02-06 北京小米科技有限责任公司 一种成像方法、装置和一种移动终端
US20140168444A1 (en) * 2012-12-14 2014-06-19 Korea University Research And Business Foundation Apparatus and method for fusing images
WO2014100783A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Time spaced infrared image enhancement
CN104661008A (zh) * 2013-11-18 2015-05-27 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805020B2 (en) * 2006-07-25 2010-09-28 Itt Manufacturing Enterprises, Inc. Motion compensated image registration for overlaid/fused video
US8180168B2 (en) 2007-01-16 2012-05-15 Hewlett-Packard Development Company, L.P. One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
EP2658245B1 (en) * 2012-04-27 2016-04-13 BlackBerry Limited System and method of adjusting camera image data
JP2015156051A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN203134149U (zh) * 2012-12-11 2013-08-14 武汉高德红外股份有限公司 基于不同波段成像融合图像处理的车辆辅助驾驶系统
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
WO2015011824A1 (ja) 2013-07-25 2015-01-29 日立マクセル株式会社 撮像装置
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
CN104683767B (zh) * 2015-02-10 2018-03-06 浙江宇视科技有限公司 透雾图像生成方法及装置
CN104822033B (zh) * 2015-05-05 2017-09-01 太原理工大学 一种红外与可见光图像融合的视觉传感器及其使用方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620265B1 (en) * 2004-04-12 2009-11-17 Equinox Corporation Color invariant image fusion of visible and thermal infrared video
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔系统公司 用于双传感器应用的红外相机系统和方法
US20110052029A1 (en) * 2009-08-27 2011-03-03 David Connah Method and system for generating accented image data
CN202541437U (zh) * 2012-01-20 2012-11-21 南京航空航天大学 一种车载红外夜视行车装置
CN102914803A (zh) * 2012-11-08 2013-02-06 北京小米科技有限责任公司 一种成像方法、装置和一种移动终端
US20140168444A1 (en) * 2012-12-14 2014-06-19 Korea University Research And Business Foundation Apparatus and method for fusing images
WO2014100783A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Time spaced infrared image enhancement
CN104661008A (zh) * 2013-11-18 2015-05-27 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507930A (zh) * 2020-06-18 2020-08-07 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备
CN111507930B (zh) * 2020-06-18 2023-10-10 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备
CN113793291A (zh) * 2021-10-14 2021-12-14 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
CN113793291B (zh) * 2021-10-14 2023-08-08 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106488201A (zh) 2017-03-08
EP3343911A4 (en) 2019-06-19
EP3343911A1 (en) 2018-07-04
WO2017036270A1 (zh) 2017-03-09
CN110830779B (zh) 2022-06-03
CN106488201B (zh) 2020-05-01
US20180338092A1 (en) 2018-11-22
EP3343911B1 (en) 2023-06-28
US10979654B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
CN106488201B (zh) 一种图像信号的处理方法和系统
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
US8018509B2 (en) Image input processing apparatus and method
KR101604068B1 (ko) 고대비 영상 생성 장치 및 방법
TWI459805B (zh) 影像處理裝置，影像拍攝裝置，影像處理方法及影像處理程式
US8218036B2 (en) Image sensing apparatus and control method therefor
US8614751B2 (en) Image processing apparatus and image processing method
JP5612017B2 (ja) カメラの手ぶれ低減システム
KR20150007114A (ko) 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN107995396B (zh) 一种双摄像头模组以及终端
CN107835351B (zh) 一种双摄像头模组以及终端
KR20110016812A (ko) 촬상장치 및 촬상방법
JP2013029995A (ja) 撮像システム
JP5591026B2 (ja) 撮像装置及びその制御方法
JP5515852B2 (ja) 撮像装置及び画像生成プログラム
JP5520863B2 (ja) 画像信号処理装置
US8154618B2 (en) Imaging apparatus and method for setting the same
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6849351B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101498992B1 (ko) 저 조도시 컬러 제어기능을 갖는 cctv 시스템 및 cctv 시스템의 저 조도시 컬러 제어방법
JP5597124B2 (ja) 画像信号処理装置
CN116777798A (zh) 一种图像处理方法、图像信号处理器及拍摄装置
JPH02222376A (ja) ビデオカメラ
CN117412178A (zh) 图像处理装置、方法、拍摄组件、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant