CN108419061B - 基于多光谱的图像融合设备、方法及图像传感器 - Google Patents

基于多光谱的图像融合设备、方法及图像传感器 Download PDF

Info

Publication number
CN108419061B
CN108419061B CN201710074101.7A CN201710074101A CN108419061B CN 108419061 B CN108419061 B CN 108419061B CN 201710074101 A CN201710074101 A CN 201710074101A CN 108419061 B CN108419061 B CN 108419061B
Authority
CN
China
Prior art keywords
channel
image
signal
signals
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710074101.7A
Other languages
English (en)
Other versions
CN108419061A (zh
Inventor
范蒙
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710074101.7A priority Critical patent/CN108419061B/zh
Priority to US16/480,270 priority patent/US11526969B2/en
Priority to PCT/CN2018/074098 priority patent/WO2018145576A1/zh
Priority to EP18751665.3A priority patent/EP3582494B1/en
Publication of CN108419061A publication Critical patent/CN108419061A/zh
Application granted granted Critical
Publication of CN108419061B publication Critical patent/CN108419061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了基于多光谱的图像融合设备、方法及图像传感器。该基于多光谱的图像融合设备，包括：光采集装置、图像处理器和具有五类感光通道的图像传感器，五类感光通道包括：RGB通道、IR通道和W通道；光采集装置采集入射光对应的目标光；图像传感器通过该RGB通道、IR通道和W通道，将该目标光转换为图像信号；图像处理器将该图像信号解析为RGB色彩信号和亮度信号，并将该RGB色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，解析RGB色彩信号和亮度信号两类信号时所基于通道的组合涵盖五类感光通道。通过本发明提供的基于多光谱的图像融合设备，可以解决现有技术中分光融合的图像采集设备结构复杂的问题。

Description

基于多光谱的图像融合设备、方法及图像传感器
技术领域
本发明涉及图像处理技术领域，特别是涉及基于多光谱的图像融合设备、方法及图像传感器。
背景技术
在低照度场景下，为了保证所采集的图像涵盖较多的图像信息，通常需要分光融合的图像采集设备来采集图像。具体的，分光融合的图像采集设备采集图像的基本原理为：采集可见光信号所对应的可见光图像以及采集红外光信号所对应的红外图像，并将可见光图像和红外图像进行融合，得到融合后的图像，其中，融合后的图像为双波段图像，相对于属于单波段的可见光图像和红外图像中的任一种图像而言，体现出的图像信息更多。
现有技术中的分光融合的图像采集设备具体包括：半反半透镜、可见光传感器、红外光传感器、配准单元和融合单元，具体的，该半反半透镜用于将入射光分解为可见光和红外光，该可见光传感器用于对可见光感光形成可见光图像，该红外光传感器用于对红外光感光形成红外图像，该配准单元用于消除红外图像和可见光图像之间的位置偏差，该融合单元用于对配准单元所形成的位置校正后的红外图像与可见光图像进行加权融合，其中，融合得到形成的融合后的图像为图像采集设备的输出图像。
尽管现有技术中的分光融合的图像采集设备能够得到融合后图像，但是，光学系统上需要特殊设计才能同时获取红外光与可见光，即通过棱镜分光、不同光学传感器等同时获取红外光和可见光，结构较为复杂，限制了使用范围。
发明内容
本发明实施例的目的在于提供基于多光谱的图像融合设备、方法及图像传感器。具体技术方案如下：
第一方面，本发明实施例提供了一种基于多光谱的图像融合设备，包括：
光采集装置、图像处理器，以及具有五类感光通道的图像传感器，所述五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；
所述光采集装置，用于采集入射光对应的目标光；
所述图像传感器，用于通过所述RGB通道、IR通道和W通道，将所述目标光转换为图像信号；
所述图像处理器，用于将所述图像信号解析为RGB色彩信号和亮度信号，并将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，解析所述RGB色彩信号和所述亮度信号两类信号时所基于通道的组合涵盖所述五类感光通道。
可选地，所述图像处理器将所述图像信号解析为RGB色彩信号和亮度信号的过程包括：
对所述图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，所述输入分辨率为所述图像信号具有的分辨率；
对所述图像信号中的RGB通道和IR通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。
可选地，所述图像处理器将所述图像信号解析为RGB色彩信号和亮度信号的过程包括：
对所述图像信号中的RGB通道、IR通道和W通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；
利用各通道图像信号、第一预定公式和第二预定公式，生成亮度信号；其中，所述第一预定公式为y＝x1*R+x2*G+x3*B，所述x1、x2和x3为权重值，其中，所述第二预定公式为亮度信号＝x4*W+x5*IR+x6*y，所述x4、x5和x6为权重值；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成第一备用RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR’，生成第二备用RGB色彩信号，其中，各个像素位置相应的IR’通过第三预定公式计算得到，其中，所述第三预定公式为：IR’＝(R+G+B-W)/n；
将所述第一备用RGB色彩信号和所述第二备用RGB色彩信号加权合成，生成RGB色彩信号。可选地，所述图像处理器将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的过程包括：
将所述RGB色彩信号转换为YUV信号，所述YUV信号为明亮度及色度信号；
提取所述YUV信号中的色度UV分量；
对所述UV分量与所述亮度信号进行组合，形成新的YUV信号；
将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。
可选地，所述图像处理器将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的过程包括：
根据所述RGB色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+B*w2+G*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；
计算所述RGB色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；
对所述参考通道值K1、K2和K3进行色彩降噪处理；
将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。
可选地，所述光采集装置，具体用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，所述第一预定波长区间为：所述图像传感器中RGB通道与亮度通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间，所述亮度通道为IR通道或W通道。
可选地，所述光采集装置包括：带阻滤光片和第一类光学镜头；
所述第一类光学镜头，用于以全光谱透射方式将入射光透射至所述带阻滤光片；
所述带阻滤光片，用于将所述第一类光学镜头所透过的光中的所述第一预定波长区间的光谱进行阻挡，得到目标光。
可选地，所述光采集装置包括：能够阻挡所述第一预定波长区间的光谱的第二类光学镜头。
可选地，所述第一预定波长区间为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。
可选地，所述图像传感器将所述目标光转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值。
可选地，所述第二预定波长区间为[T3,T4]，其中，T4大于T3，且T3大于等于750nm，T4小于等于1100nm。
可选地，所述图像传感器将所述目标光转换为图像信号过程中，在同一帧时间内进行多次曝光采集。
可选地，所述图像处理器将所述图像信号解析为RGB色彩信号和亮度信号的过程包括：
利用第一类曝光形成的图像信号，解析得到RGB色彩信号；
利用第二类曝光形成的图像信号，解析得到亮度信号。
可选地，所述第一类曝光的曝光时长小于第二类曝光的曝光时长。
可选地，本发明实施例所提供的基于多光谱的图像融合设备，还包括：信号控制器，用于调控所述图像传感器形成符合预定亮度要求的图像信号。
可选地，所述信号控制器具体用于对所述图像传感器所形成的图像信号进行亮度统计，并根据统计结果调控所述图像传感器形成符合预定亮度要求的图像信号。
可选地，所述信号控制器还用于控制所述图像传感器在单次曝光采集和多次曝光采集之间切换。
可选地，本发明实施例所提供的基于多光谱的图像融合设备，还包括：红外补光器；所述信号控制器还用于控制所述红外补光器对所述图像传感器进行红外补光。
第二方面，本发明实施例还提供了一种基于多光谱的图像融合方法，应用于基于多光谱的图像融合设备，所述基于多光谱的图像融合设备具有五类感光通道，所述五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；所述方法包括：
采集入射光对应的目标光；
通过所述RGB通道、IR通道和W通道，将所述目标光转换为图像信号；
将所述图像信号解析为RGB色彩信号和亮度信号，并将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像，其中，解析所述RGB色彩信号和所述亮度信号两类信号时所基于通道的组合涵盖所述五类感光通道。
可选地，所述将所述图像信号解析为RGB色彩信号和亮度信号的步骤，包括：
对所述图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，所述输入分辨率为所述图像信号具有的分辨率；
对所述图像信号中的RGB通道和IR通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。
可选地，所述将所述图像信号解析为RGB色彩信号和亮度信号的步骤，包括：
对所述图像信号中的RGB通道、IR通道和W通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；
利用各通道图像信号、第一预定公式和第二预定公式，生成亮度信号；其中，所述第一预定公式为y＝x1*R+x2*G+x3*B，所述x1、x2和x3为权重值，其中，所述第二预定公式为亮度信号＝x4*W+x5*IR+x6*y，所述x4、x5和x6为权重值；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成第一备用RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR’，生成第二备用RGB色彩信号，其中，各个像素位置相应的IR’通过第三预定公式计算得到，其中，所述第三预定公式为：IR’＝(R+G+B-W)/n；
将所述第一备用RGB色彩信号和所述第二备用RGB色彩信号加权合成，生成RGB色彩信号。可选地，所述将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的步骤，包括：
将所述RGB色彩信号转换为YUV信号，所述YUV信号为明亮度及色度信号；
提取所述YUV信号中的色度UV分量；
对所述UV分量与所述亮度信号进行组合，形成新的YUV信号；
将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。
可选地，所述将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的步骤，包括：
根据所述RGB色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+B*w2+G*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；
计算所述RGB色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；
对所述参考通道值K1、K2和K3进行色彩降噪处理；
将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。第三方面，本发明实施例还提供了一种图像传感器，所述图像传感器具有五类感光通道，所述五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道，所述W通道对应的像素比例高于其他任一感光通道对应的像素比例。
可选地，所述W通道对应的像素比例为二分之一。
可选地，所述RGB通道和IR通道中，各类感光通道对应的像素比例相同。
可选地，所述RGB通道和IR通道中，至少一类感光通道对应的像素比例不同于其他感光通道对应的像素比例。
可选地，所述RGB通道中各类感光通道对应的像素比例相同。
可选地，当所述W通道对应的像素比例为二分之一时，所述五类感光通道中，各类感光通道的像素排列方式为均匀地网状式。
本发明实施例中，基于多光谱的图像融合设备中包括：光采集装置、图像处理器，以及具有五类感光通道的图像传感器，该五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；具体的信号处理过程为：该光信号采集装置采集入射光对应的目标光；该图像传感器通过该RGB通道、IR通道和W通道，将该目标光转换为图像信号；该图像处理器将该图像信号解析为RGB色彩信号和亮度信号，并将该RGB色彩信号和亮度信号进行融合处理，得到融合后图像，其中，解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道。可见，相对于现有技术，本方案通过具有五类感光通道的图像传感器进行图像采集，相比现有技术中光学系统上需要特殊设计才能同时获取红外光与可见光进而得到融合后图像，结构复杂度极大降低，从而使得使用范围能够得到扩展。
另外，本发明实施例还提供了一种基于多光谱的图像融合方法，该基于多光谱的图像融合方法所应用于基于多光谱的图像融合设备，该基于多光谱的图像融合设备具有五类感光通道，该五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；该方法包括：采集入射光对应的目标光；通过RGB通道、IR通道和W通道，将该目标光转换为图像信号；将该图像信号解析为RGB色彩信号和亮度信号，并将该RGB色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道。可见，通过本方案，实现了通过结构简单的设备来采集双波段图像的目的。
另外，本发明实施例还提供了一种图像传感器，该图像传感器具有五类感光通道，该五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道，该W通道对应的像素比例高于其他任一感光通道对应的像素比例。由于本发明实施例所提供的图像传感器能够采集五类光谱段，且具有较高敏感度的W通道对应的像素比例较高，因此，使得所采集光谱段较为丰富，进而使得通过图像传感器所采集图像的质量大大得到提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种基于多光谱的图像融合设备的结构示意图；
图2为拜耳阵列示意图；
图3为本发明实施例中的图像传感器所对应的阵列示意图及像素排列示意图；
图4为本发明实施例中亮度信号生成示意图；
图5为本发明实施例中R通道、IR通道所对应插值结果以及R通道去除红外成分的过程的示意图；
图6为光谱阻挡的原理示意图；
图7为本发明实施例所提供的一种基于多光谱的图像融合设备的另一结构示意图；
图8为本发明实施例所提供的一种基于多光谱的图像融合设备的另一结构示意图；
图9为本发明实施例所提供的一种基于多光谱的图像融合方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中分光融合的图像采集设备结构复杂的问题，本发明实施例提供了一种基于多光谱的图像融合设备。
如图1所示，本发明实施例所提供的一种基于多光谱的图像融合设备，可以包括：
光采集装置110、图像处理器130，以及具有五类感光通道的图像传感器120，该五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；
该光采集装置110，用于采集入射光对应的目标光；
该图像传感器120，用于通过该RGB通道、IR通道和W通道，将该目标光转换为图像信号；
该图像处理器130，用于将该图像信号解析为RGB色彩信号和亮度信号，并将该RGB色彩信号和亮度信号进行融合处理，得到融合后图像，其中，解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道。
本领域技术人员可以理解的是，拜耳阵列，即BAYER阵列，是图像传感器的一种数据格式，拜耳阵列示意图可以参见图2，其以马赛克方式输出红、绿、蓝点阵信息。由于基于拜耳阵列的图像传感器仅仅具有RGB三类感光通道，无法得到红外光谱，因此，为了得到双波段的融合图像，需要通过棱镜分光、不同光学传感器等同时获取红外光和可见光，结构较为复杂。而为了降低结构复杂度，本发明实施例所利用的图像传感器为具有五类感光通道的图像传感器，这样，仅仅通过一个图像传感器便能够对多波段光谱进行感光。
具体的，图3给出了本发明实施例中的图像传感器120所对应的阵列示意图及各类像素排列示意图，如图3所示，本发明实施例所提供的图像传感器120可以包括五类感光通道，即红绿蓝RGB通道、红外IR通道和全波段W通道，具体的，RGB通道既可以对可见光波段感光又可以对红外波段感光，并且，RGB通道主要用于对可见光波段感光；IR通道为对红外波段感光的通道；W通道为对全波段感光的通道，也就是说，W通道可以对可见光和红外光感光。需要强调的是，图3所示的内容仅仅作为示例性说明，并不应该构成对本发明实施例的限定。另外，本领域技术人员可以理解的是，实际应用中，图像传感器120所对应的阵列和各类像素排列示意图多种多样，且均可以应用于本发明实施例。需要说明的是，光采集装置110可以为能够以全光谱透射方式透射入射光的光学镜头，此时，目标光具有全光谱波段。
需要强调的是，该图像处理器130解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道，也就是说，该RGB色彩信号与亮度信号可以分别基于该五类感光通道中的部分通道解析得到，但是该RGB色彩信号与亮度信号之间的组合利用了该五类感光通道，举例而言：如果解析RGB色彩信号时利用了RGB通道和IR通道，而解析亮度信号时利用了W通道，表明该RGB色彩信号与亮度信号之间的组合利用了该五类感光通道；如果解析RGB色彩信号时利用了RGB通道、IR通道和W通道，而解析亮度信号时利用了IR通道和W通道，表明该RGB色彩信号与亮度信号之间的组合利用了该五类感光通道；而如果解析RGB色彩信号时利用了RGB通道，而解析亮度信号时利用了RGB通道和W通道，则表明RGB色彩信号与亮度信号之间的组合未利用该五类感光通道；而如果解析该RGB色彩信号时利用了RGB通道，而解析亮度信号时利用了W通道，则表明RGB色彩信号与亮度信号之间的组合未利用该五类感光通道。可选地，在一种具体实现方式中，该图像处理器130将该图像信号解析为RGB色彩信号和亮度信号的过程可以包括：
步骤a1，对该图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，该输入分辨率为所述图像信号具有的分辨率；
步骤a2，对该图像信号中的RGB通道和IR通道插值，生成与该输入分辨率相同的各通道图像信号；
步骤a3，遍历各通道图像信号，将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，其中，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。
可以理解的是，通过将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，即去除RGB色彩信号中的红外成分，可以避免RGB色彩信号中红外成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。
需要强调的是，该预设修正值可以根据实际情况进行设定，举例而言，该预设修正值通常可以设为1，当然，可以根据实际情况，将该预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，预设修正值的取值并不局限于此。仍以图3所示的阵列为例，如图3所示，每一个小方格对应一个像素点，图像传感器120所生成的图像信号的分辨率为8*8。由于对该图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，因此，对于图3而言，对该图像信号中的W通道插值后所生成的亮度信号的分辨率也为8*8，其中，图4给出了亮度信号生成示意图。并且，对该图像信号中的W通道插值所采用的插值算法可以为双线性，或双三次等等，具体的插值过程在此不做限定。需要强调的是，本发明实施例中图像传感器120所生成的图像信号的分辨率与阵列结构相关，8*8仅仅是具有图3所示阵列结构的图像传感器对应的分辨率，并不应该构成对本发明实施例的限定。
另外，类似地，由于分别对该图像信号中R通道、G通道、B通道和IR通道进行插值运算，生成与该输入分辨率相同的各通道图像信号，因此，对于图3而言，分别对该图像信号中R通道、G通道、B通道和IR通道插值后所形成的各通道图像信号的分辨率为8*8，其中，R通道和IR通道所对应插值结果可以参见图5；并且，对该图像信号中的RGB通道和IR通道插值所采用的插值算法可以为双线性或双三次，等等；而对W通道插值、对RGB通道和IR通道插值所采用的插值算法可以相同也可以不同，在此不做限定。需要强调的是，本发明实施例中图像传感器120所生成的图像信号的分辨率与阵列结构相关，8*8仅仅是具有图3所示阵列结构的图像传感器对应的分辨率，并不应该构成对本发明实施例的限定。
由于需要去除RGB通道中的红外成分，因此，需要遍历各通道图像信号，将所遍历的R通道、G通道或B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，其中，R通道去除红外成分的过程可以参见图5。
可选地，在另一种具体实现方式中，所述图像处理器将所述图像信号解析为RGB色彩信号和亮度信号的过程可以包括：
步骤b1，对该图像信号中的RGB通道、IR通道和W通道进行插值运算，生成与该输入分辨率相同的各通道图像信号；
步骤b2，利用各通道图像信号、第一预定公式和第二预定公式，生成亮度信号；其中，该第一预定公式为y＝x1*R+x2*G+x3*B，该x1、x2和x3为权重值，其中，该第二预定公式为亮度信号＝x4*W+x5*IR+x6*y，该x4、x5和x6为权重值；其中，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，W为像素对应的W通道的值，IR为像素对应的IR通道的值；
步骤b3，遍历该各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成第一备用RGB色彩信号，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；
步骤b4，遍历该各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR’，生成第二备用RGB色彩信号，其中，各个像素位置相应的IR’通过第三预定公式计算得到，其中，该第三预定公式为：IR’＝(R+G+B-W)/n；其中，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，W为像素对应的W通道的值，n为参数调整值；
步骤b5，将该第一备用RGB色彩信号和该第二备用RGB色彩信号加权合成，生成RGB色彩信号。
需要说明的是，在该另一种具体实现方式中，对该图像信号中的RGB通道、IR通道和W通道进行插值运算所采用的插值算法可以为双线性或双三次，等等。并且，仍以图3为例，由于图像传感器120所生成的图像信号的分辨率为8*8，因此，分别对该图像信号中R通道、G通道、B通道、W通道和IR通道插值后所形成的各通道图像信号的分辨率为8*8，其中，W通道所对应插值结果可以参见图4，R通道和IR通道所对应插值结果可以参见图5。需要强调的是，本发明实施例中图像传感器120所生成的图像信号的分辨率与阵列结构相关，8*8仅仅是具有图3所示阵列结构的图像传感器对应的分辨率，并不应该构成对本发明实施例的限定。
并且，在该另一种具体实现方式中，对于亮度信号生成而言，可以理解的是，权重x1、x2和x3的取值范围均为[0,1]，且满足x1+x2+x3＝1，类似的，权重值x4、x5和x6的取值范围均为[0,1]，且满足x4+x5+x6＝1。
而在该另一种具体实现方式中，对于色彩信号生成而言，首先，根据RGB通道与IR通道，通过R1＝R-IR*预设修正值，G1＝G-IR*预设修正值，B1＝B-IR*预设修正值，以去除色彩信号中的红外成分，生成第一备用RGB色彩信号R1、G1、B1；然后，采用(R+G+B-W)/n计算各像素位置的IR’，通过R2＝R-IR’，G2＝G-IR’，B2＝B-IR’去除色彩信号中的红外成分，生成第二备用RGB色彩信号R2、G2、B2；最后，将第一备用RGB色彩信号和第二备用RGB色彩信号加权合成，生成RGB色彩信号，即R’＝e1*R1+e2*R2,G’＝e1*G1+e2*G2,B’＝e1*B1+e2*B2，其中，权重值e1和e2的取值范围为[0,1]，且满足e1+e2＝1。可以理解的是，通过去除红外成分，可以避免RGB色彩信号中红外成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。
需要说明的是，在该另一种具体实现方式中，该第三预定公式中的n的取值可以根据实际情况进行设定，举例而言，可以根据实际情况，将n设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，n的取值并不局限于此；类似的，在该另一种具体实现方式中，该预设修正值可以根据实际情况进行设定，举例而言，该预设修正值通常可以设为1，当然，可以根据实际情况，将该预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，预设修正值的取值并不局限于此。
需要强调的是，上述所给出的该图像处理器130将该图像信号解析为RGB色彩信号和亮度信号的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。
可以理解的是，在获得RGB色彩信号和亮度信号后，该图像处理器130将该RGB色彩信号和亮度信号进行融合处理从而得到融合后图像的具体实现方式存在多种。下面结合两种进行详细介绍。
在一种具体实现方式中，该图像处理器130将该RGB色彩信号和亮度信号进行融合处理，得到融合后图像的过程包括：
步骤c1，将该RGB色彩信号转换为YUV信号，该YUV信号为明亮度及色度信号；
步骤c2，提取该YUV信号中的色度UV分量；
步骤c3，对该UV分量与该亮度信号进行组合，形成新的YUV信号；
步骤c4，将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。
可以理解的是，对于YUV格式而言，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。而在提取到UV分量之后，在对UV分量与亮度信号进行组合之前，可以对UV分量进行降噪处理，以去除色彩噪声，从而提高融合后图像的图片质量，其中，降噪处理的方式可以包括但不局限于高斯滤波。需要强调的是，YUV信号和RGB色彩信号的相互转换可以采用现有技术存在的任一种转换算法来实现，并且，可以采用现有技术来从YUV信号中提取UV分量以及对UV分量与该亮度信号进行组合。
在另一种具体实现方式中，该图像处理器130将该RGB色彩信号和亮度信号进行融合处理，得到融合后图像的过程包括：
步骤d1，根据该RGB色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+B*w2+G*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；
步骤d2，计算该RGB色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；
步骤d3，对该参考通道值K1、K2和K3进行色彩降噪处理；
步骤d4，将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。
其中，本发明实施例不对权重值w1、w2和w3的值进行限定；色彩降噪处理可以采用的方式包括但不局限于高斯滤波。举例而言，假设w1＝1、w2＝1，w3＝1，此时，Y＝(R+G+B)/3。
需要强调的是，上述所给出的该图像处理器130将该RGB色彩信号和亮度信号进行融合处理，得到融合后图像的具体实现方式，仅仅作为示例，并不应该构成对本发明实施例的限定。另外，可以理解的是，该图像处理器130可以首先对该RGB色彩信号和亮度信号进行优化处理，进而对优化处理后的RGB色彩信号和优化处理后的亮度信号进行融合处理，得到融合后图像，举例而言，对RGB色彩信号的优化处理可以包括：对RGB色彩信号进行低通滤波处理，以实现对RGB色彩信号进行降噪；而对亮度信号的优化处理可以包括：对亮度信号进行高通滤波处理，以实现亮度信号的边缘增强。
可见，相对于现有技术，本方案通过具有五类感光通道的图像传感器进行图像采集，相比现有技术中光学系统上需要特殊设计才能同时获取红外光与可见光，结构复杂度极大降低，从而使得使用范围能够得到扩展。
可选地，在一种具体实现方式中，为了提高图像的融合质量，该光采集装置110，具体用于对入射光中第一预定波长区间的光谱进行阻挡，采集得到目标光，该第一预定波长区间为：所述图像传感器120中RGB通道与亮度通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间，该亮度通道为IR通道或W通道。需要强调的是，第一预定阈值的具体值可以根据实际情况设定，在此不做限定。需要强调的是，R通道或G通道或B通道的值分别与亮度通道的值的三个差量中，只要任意一个差量高于第一预定阈值，光采集装置110可对相应波长区间的光谱部分进行阻挡。
具体的，为了让红外波段和可见光波段通过，该第一预定波长区间为[T1,T2]，其中，T1的值处于区间[600nm,800nm]内，T2的值处于区间[750nm，1100nm]内。可以理解的是，通过增加对入射光预定波长区间的光谱的阻挡的功能，使得图像传感器120中，RGB通道和亮度通道在红外波段(650nm-1100nm)上响应差别较大的光谱区域滤除，从而使得图像传感器120感光形成的图像信号通过简单运算即可还原出精准的RGB色彩信号，以及亮度信号。如图6所示，灰色部分为需要被阻挡滤除的部分光谱，图6中，IR表征红外信号、W表征全波段光谱信号、R表征红光信号、G表征绿光信号、B表征蓝光信号。需要强调的是，图6仅仅是示例，并不具有任何限定意义，而由于制作工艺等原因，实际滤除曲线通常不会如图6所示的陡峭程度，但是会存在坡度。
为了实现对入射光中第一预定波长区间的光谱进行阻挡，在一种具体实现方式中，该光信号采集装置110可以包括：带阻滤光片和第一类光学镜头；
该第一类光学镜头，用于以全光谱透射方式将入射光透射至该带阻滤光片；
该带阻滤光片，用于将该第一类光学镜头所透过的光中的该第一预定波长区间的光谱进行阻挡，得到目标光。
具体的，带阻滤光片可以为通过镀膜方式集成在该第一类光学镜头上的涂层；或者，带阻滤光片可以为设置于该第一类光学镜头上的贴片，等等。并且，需要说明的是，所述的全光谱透射方式为全波段光谱均被透射的方式，即任何波段的光谱均不被阻挡；而由于第一类光学镜头以全光谱透射方式将入射光透射至该带阻滤光片，因此，该第一类光学镜头所透过的光的波段与入射光的波段相同，即第一类光学镜头未对任何波段的光谱进行阻挡。为了实现对入射光中第一预定波长的光谱进行阻挡，在另一种实现方式中，该光信号采集装置110包括：能够阻挡第一预定波长区间的光谱的第二类光学镜头。
需要强调的是，为了实现对入射光中第一预定波长区间的光谱进行阻挡，上述所给出的光信号采集装置110的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。
可选地，在一种具体实现方式中，该图像传感器120将目标光信号转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值，以保证去除红外成分后颜色的准确还原，从而提高图像融合质量，其中，该第二预定波长区间为[T3,T4]，其中，T4大于T3，且T3大于等于750nm，T4小于等于1100nm。举例而言，如图6所示，图像传感器120将目标光转换为图像信号时，灰色区域右侧波段内RGB通道间的响应满足了一定约束。需要强调的是，该第二预定阈值可以根据实际情况进行设定，本发明实施例在此不做限定。
需要说明的是，为了在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值，该图像传感器120的具体结构可以多种多样，本发明实施例并不作限定，如：在图像传感器中增加特定的光学元件，如滤光片等等。
可选地，该图像传感器120将该目标光转换为图像信号的过程中，可以在同一帧时间内进行多次曝光采集。对于该图像传感器120而言，在一种实现方式中，单次或多次曝光可以通过人工方式设定。
并且，对于图像传感器120在同一帧时间内进行多次曝光采集而言，该图像处理器130将该图像信号解析为RGB色彩信和亮度信号的过程可以包括：
利用第一类曝光形成的图像信号，解析得到RGB色彩信号；
利用第二类曝光形成的图像信号，解析得到亮度信号。
其中，第一类曝光和第二类曝光可以为相同曝光时长也可以为不同曝光时长，当第一类曝光和第二类曝光为不同曝光时长时，第一类曝光的曝光时长可以小于第二类曝光的曝光时长，当然，第一类曝光的曝光时长也可以大于第二类曝光的曝光时长，这都是合理的。具体的，利用第一类曝光形成的图像信号来解析得到RGB色彩信号的具体过程可以参见上述的获得RGB色彩信号的过程；利用第二类曝光形成的图像信号解析得到亮度信号的具体过程可以参见上述的获得亮度信号的过程，在此不做赘述。
需要强调的是，为了保证红外信号充足，可以利用短曝光形成的图像信号来解析得到RGB色彩信号，而利用长曝光形成的图像信号来解析得到亮度信号，以保证图像质量，此时，第一类曝光的曝光时长小于第二类曝光的曝光时长。
可选地，如图7所示，本发明实施例所提供的基于多光谱的图像融合设备还可以包括：
信号控制器140，用于调控该图像传感器120形成符合预定亮度要求的图像信号。
具体的，在一种实现方式中，该信号控制器可以具体用于对该图像传感器120所形成的图像信号进行亮度统计，并根据统计结果调控该图像传感器120形成符合预定亮度要求的图像信号。具体的，该信号控制器140可以执行如下步骤：(a)生成初始亮度调控信号，并发送图像传感器120；(b)统计图像传感器120所生成图像信号的平均亮度，即将所有像素值相加并求平均；(c)将平均亮度与参考值相比较，若差值在预定范围内，则维持当前亮度调控信号的数值不变；若差值在预定范围之外且大于参考值，则下调亮度调控信号的数值；若差值在预定范围之外且小于参考值，则上调亮度调控信号的数值。
当然，在另一种实现方式中，该信号控制器140可以定时向图像传感器发送预定的亮度调控信号，该预定的亮度调控信号为基于预定亮度要求所设定的调控信号。
可以理解的是，该信号控制器140还可以用于控制该图像传感器120在单次曝光采集和多次曝光采集之间切换。需要强调的是，上述所给出的信号控制器140调控该图像传感器120形成符合预定亮度要求的图像信号的具体实现方式仅仅作为示例，并不应该构成对本发明实施例的限定。
可选地，在低照度环境下，为了保证融合后图像的亮度较为理想，信噪比较高，可以对该环境进行补光照明，即补充红外光。基于该处理思想，如图8所示，本发明实施例所提供的基于多光谱的图像融合设备还可以包括：红外补光器150；
该信号控制器140还用于控制该红外补光器150对该图像传感器进行红外补光。
具体的，在一种具体实现方式中，信号控制器140可以检测亮度调控信号中的增益值g，当g大于阈值T1时，补光控制信号置为1，开启红外补光，而当g小于阈值T2时，补光控制信号置为0，关闭红外补光，其中，T1大于T2。
需要强调的是，T1和T2的具体值可以根据实际情况来设定，在此不做限定；另外，上述所给出的该信号控制器140控制该红外补光器150对该图像传感器进行红外补光的具体实现方式仅仅作为示例性说明，并不应该构成对本发明实施例的限定。
基于上述实施例所提供的基于多光谱的图像融合设备，本发明实施例还提供了一种基于多光谱的图像融合方法，应用于上述实施例所提供的基于多光谱的图像融合设备，该基于多光谱的图像融合设备具有五类感光通道，该五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；如图9所示，所述方法可以包括如下步骤：
S901，采集入射光对应的目标光；
S902，通过该RGB通道、IR通道和W通道，将该目标光转换为图像信号；
其中，通过该RGB通道、IR通道和W通道，将该目标光转换为图像信号的具体实现方式可以采用现有技术中的任一实现方式中，在此不做限定。
S903，将该图像信号解析为RGB色彩信号和亮度信号，并将该RGB色彩信号和该亮度信号进行融合处理，得到融合后图像，其中，解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道。
其中，基于多光谱的图像融合设备的具体结构可以参照上述实施例所描述的内容，在此不做赘述。
需要强调的是，该图像处理器130解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道，也就是说，该RGB色彩信号与亮度信号可以分别基于该五类感光通道中的部分通道解析得到，但是该RGB色彩信号与亮度信号之间的组合利用了该五类感光通道。
可选地，在一种具体实现方式中，所述将该图像信号解析为RGB色彩信号和亮度信号的步骤，可以包括：
步骤a1，对该图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，该输入分辨率为该图像信号具有的分辨率；
步骤a2，对该图像信号中的RGB通道和IR通道进行插值运算，生成与该输入分辨率相同的各通道图像信号；
步骤a3，遍历该各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。
其中，关于本实施例的步骤a1-a3的具体描述内容可以参照上述实施例在介绍基于多光谱的图像融合设备时所给出的相应描述内容，在此不做赘述。
可选地，在另一种具体实现方式中，所述将所述图像信号解析为RGB色彩信号和亮度信号的步骤，可以包括：
步骤b1，对该图像信号中的RGB通道、IR通道和W通道进行插值运算，生成与该输入分辨率相同的各通道图像信号；
步骤b2，利用各通道图像信号、第一预定公式和第二预定公式，生成亮度信号；其中，该第一预定公式为y＝x1*R+x2*G+x3*B，该x1、x2和x3为权重值，其中，该第二预定公式为亮度信号＝x4*W+x5*IR+x6*y，该x4、x5和x6为权重值；
步骤b3，遍历该各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成第一备用RGB色彩信号，该IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；
步骤b4，遍历该各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR’，生成第二备用RGB色彩信号，其中，各个像素位置相应的IR’通过第三预定公式计算得到，其中，该第三预定公式为：IR’＝(R+G+B-W)/n；
步骤b5，将该第一备用RGB色彩信号和该第二备用RGB色彩信号加权合成，生成RGB色彩信号。
其中，关于本实施例的步骤b1-b5的具体描述内容可以参照上述实施例在介绍基于多光谱的图像融合设备时所给出的相应描述内容，在此不做赘述。需要说明的是，将该RGB色彩信号和亮度信号进行融合处理从而得到融合后图像的具体实现方式存在多种。下面结合两种进行详细介绍。
可选地，在一种具体实现方式中，所述将该RGB色彩信号和该亮度信号进行融合处理，得到融合后图像的步骤，可以包括：
步骤c1，将该RGB色彩信号转换为YUV信号，该YUV信号为明亮度及色度信号；
步骤c2，提取该YUV信号中的色度UV分量；
步骤c3，对该UV分量与所述亮度信号进行组合，形成新的YUV信号；
步骤c4，将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。
其中，关于本实施例的步骤c1-c4的具体描述内容可以参照上述实施例在介绍基于多光谱的图像融合设备时所给出的相应描述内容，在此不做赘述。
可选地，在另一种具体实现方式中，所述将该RGB色彩信号和该亮度信号进行融合处理，得到融合后图像的步骤，可以包括：
步骤d1，根据该RGB色彩信号，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+B*w2+G*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；
步骤d2，计算该RGB色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；
步骤d3，对该参考通道值K1、K2和K3进行色彩降噪处理；
步骤d4，将对应像素上的亮度信号Y’与色彩降噪后的参考通道值K1-K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。
其中，关于本实施例的步骤d1-d4的具体描述内容可以参照上述实施例在介绍基于多光谱的图像融合设备时所给出的相应描述内容，在此不做赘述。
另外，基于多光谱的图像融合设备在将该目标光转换为图像信号的过程中，可以在同一帧时间内进行多次曝光采集，其中，单次或多次曝光可以通过人工方式设定，当然并不局限于此。并且，对于在同一帧时间内进行多次曝光采集而言，将该图像信号解析为RGB色彩信和亮度信号的过程可以包括：
利用第一类曝光形成的图像信号，解析得到RGB色彩信号；
利用第二类曝光形成的图像信号，解析得到亮度信号。
其中，第一类曝光和第二类曝光可以为相同曝光时长也可以为不同曝光时长，当第一类曝光和第二类曝光为不同曝光时长时，第一类曝光的曝光时长可以小于第二类曝光的曝光时长，当然，第一类曝光的曝光时长也可以大于第二类曝光的曝光时长，这都是合理的。具体的，利用第一类曝光形成的图像信号来解析得到RGB色彩信号的具体过程可以参见上述的获得RGB色彩信号的过程；利用第二类曝光形成的图像信号解析得到亮度信号的具体过程可以参见上述的获得亮度信号的过程，在此不做赘述。
需要强调的是，为了保证红外信号充足，可以利用短曝光形成的图像信号来解析得到RGB色彩信号，而利用长曝光形成的图像信号来解析得到亮度信号，以保证图像质量，此时，第一类曝光的曝光时长小于第二类曝光的曝光时长。
本发明实施例中，具五类感光通道的基于多光谱的图像融合设备采集入射光对应的目标光；通过RGB通道、IR通道和W通道，将该目标光转换为图像信号；将该图像信号解析为RGB色彩信号和亮度信号，并将该RGB色彩信号和该亮度信号进行融合处理，得到融合后图像，解析该RGB色彩信号和该亮度信号两类信号时所基于通道的组合涵盖该五类感光通道。可见，通过本方案，实现了通过结构简单的基于多光谱的图像融合设备来采集双波段图像的目的。
另外，图像传感器是组成数字摄像头等设备的重要组成部分，也是应用在摄影摄像方面的高端技术元件。现有技术中，常用的图像传感器为基于拜耳阵列的图像传感器，该图像传感器仅仅具有RGB三通道，所采集的光谱段较为单一，导致通过图像传感器所采集图像的质量无法满足人们较高的质量需求。
因此，本发明实施例还提供了一种图像传感器，以采集较为丰富的光谱段，从而提高通过图像传感器所采集图像的质量，其中，所谓提高图像的质量主要体现在：涵盖更多细节信息，提高图像清晰度，提高图像信噪比等等。另外，本发明实施例上述所提供的基于多光谱的图像融合设备可以利用本发明实施例所提供的该图像传感器，这样，能够进一步提高融合后图像的图像质量。
具体的，本发明实施例所提供的一种图像传感器具有五类感光通道，该五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道，该W通道对应的像素比例高于其他任一感光通道对应的像素比例。
其中，RGB通道既可以对可见光波段感光又可以对红外波段感光，RGB通道主要用于对可见光波段感光；IR通道为对红外波段感光的通道；W通道为对全波段感光的通道，也就是说，W通道可以对可见光和红外光感光。
可选地，在一种具体实现方式中，在保证该W通道对应的像素比例高于其他任一通道对应的像素比例的前提下，该RGB通道和IR通道中，各个感光通道对应的像素比例相同。并且，对于任一组像素比例，图像传感器的阵列结构为多种，在此不做限定。例如：当W通道对应的像素比例为三分之一时，该RGB通道和红外IR通道中，各个感光通道对应的像素比例可以均为六分之一。又如：当W通道对应的像素比例为五分之二时，该RGB通道和IR通道中，各个感光通道对应的像素比例可以均为二十分之三。
可选地，在一种具体实现方式中，在保证该W通道对应的像素比例高于其他任一感光通道对应的像素比例的前提下，该RGB通道和IR通道中，至少一个感光通道对应的像素比例可以不同于其他感光通道对应的像素比例。也就是说，该四个感光通道中，三个感光通道对应的像素比例可以相同而另一个感光通道对应的像素比例不同于该三个感光通道对应的像素比例；或者，两个感光通道对应的像素比例可以相同而另两个感光通道对应的像素比例均不同于该两个感光通道对应的像素比例，其中，该另两个感光通道对应的像素比例可以相同或不同；或者，四个感光通道对应的像素比例均不同，这都是合理的。并且，需要强调的是，对于任一组像素比例，图像传感器的阵列结构为多种，在此不做限定。进一步的，在实际具体应用中，在保证该W通道对应的像素比例高于其他任一感光通道对应的像素比例的前提下，该RGB通道中各个感光通道对应的像素比例可以相同，而IR通道不同于该RGB通道对应的像素比例，当然并不局限于此。
可选地，在一种具体实现方式中，为了进一步提高所采集图像的信噪比、细节信息等，在保证该W通道对应的像素比例高于其他任一感光通道对应的像素比例的前提下，W通道对应的像素比例可以为二分之一。并且，在W通道对应的像素比例为二分之一时，RGB通道和IR通道中，各个感光通道对应的像素比例可以均相同，即各个感光通道对应的像素比例均为八分之一。当然，在W通道对应的像素比例为二分之一时，RGB通道和IR通道中，至少一个感光通道对应的像素比例可以不同于其他感光通道对应的像素比例，这也是合理的。并且，需要强调的是，对于任一组像素比例，图像传感器的阵列结构为多种，在此不做限定。
可以理解的是，当W通道对应的像素比例为二分之一，而其他感光通道对应的像素比例均为八分之一时，图像传感器的阵列结构也存在多种，举例而言：如图3所示，各个感光通道的像素排列方式为均匀地网状式，当然并不局限于此。
需要强调的是，图3所示的阵列结构，仅仅作为本发明实施例所提供的图像传感器的阵列结构的示意图，另外，本发明实施例所提供的图像传感器所生成的图像信号的分辨率与阵列结构相关，图3所示出的8*8仅仅是具有图3所示阵列结构的图像传感器对应的分辨率，并不应该构成对本发明实施例的限定。
另外，本领域技术人员可以理解的是，本发明实施例所提供的图像传感器通过该RGB通道、IR通道和W通道，将光转换为图像信号的具体实现方式可以采用现有技术中的任一方式，在此不做限定。
由于本发明实施例所提供的图像传感器能够采集五类光谱段，且具有较高敏感度的W通道对应的像素比例较高，因此，使得所采集光谱段较为丰富，进而使得通过图像传感器所采集图像的质量大大得到提高。而当本发明实施例所提供的图像传感器应用于本发明实施例所提供的基于多光谱的图像融合设备中时，能够进一步提高融合后图像的图像质量。
需要强调的是，本发明实施例所提供的方案中，所涉及的“第一类”、“第二类”、“第三类”、“第四类”、“第一”和“第二”等词汇仅仅用于从命名上区分同一类型的对象，以使得引用这些对象时更加方便且清楚，并不具有任何限定意义。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (22)

1.一种基于多光谱的图像融合设备，其特征在于，包括：
光采集装置、图像处理器，以及具有五类感光通道的图像传感器，所述五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；
所述光采集装置，用于采集入射光对应的目标光；
所述图像传感器，用于通过所述RGB通道、IR通道和W通道，将所述目标光转换为图像信号；其中，将所述目标光转换为图像信号包括：在同一帧时间内进行多次曝光采集图像信号，采集的图像信号包括利用第一类曝光形成的图像信号和利用第二类曝光形成的图像信号；所述图像传感器对应的像素排列方式基于以下排布方式周期性重复：
Figure DEST_PATH_IMAGE002
其中，所述W通道对应的像素比例为二分之一，所述RGB通道和IR通道中，各类感光通道对应的像素比例相同，所述五类感光通道中，各类感光通道的像素排列方式为均匀地网状式，W通道对应W像素，R通道对应R像素，G通道对应G像素，B通道对应B像素，IR通道对应IR像素；
所述图像处理器，用于将转换的所述图像信号解析为RGB色彩信号和亮度信号，解析过程具体包括：在转换的所述图像信号包括第一类曝光形成的图像信号和第二类曝光形成的图像信号的情况下，利用第一类曝光形成的图像信号，解析得到RGB色彩信号；利用第二类曝光形成的图像信号，解析得到亮度信号；其中，解析所述RGB色彩信号和所述亮度信号两类信号时所基于通道的组合涵盖所述五类感光通道；并将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像。
2.根据权利要求1所述的基于多光谱的图像融合设备，其特征在于，所述图像处理器将转换的所述图像信号解析为RGB色彩信号和亮度信号的过程包括：
对转换的所述图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，所述输入分辨率为转换的所述图像信号具有的分辨率；
对转换的所述图像信号中的RGB通道和IR通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。
3.根据权利要求1所述的基于多光谱的图像融合设备，其特征在于，所述图像处理器将转换的所述图像信号解析为RGB色彩信号和亮度信号的过程包括：
对转换的所述图像信号中的RGB通道、IR通道和W通道进行插值运算，生成与输入分辨率相同的各通道图像信号；
利用各通道图像信号、第一预定公式和第二预定公式，生成亮度信号；其中，所述第一预定公式为y=x1*R+ x2*G+ x3*B，所述x1、x2和x3为权重值，其中，所述第二预定公式为亮度信号=x4*W+x5*IR+x6*y，所述x4、x5和x6为权重值；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成第一备用RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR’，生成第二备用RGB色彩信号，其中，各个像素位置相应的IR’通过第三预定公式计算得到，其中，所述第三预定公式为：IR’=（R+G+B-W）/ n；
将所述第一备用RGB色彩信号和所述第二备用RGB色彩信号加权合成，生成RGB色彩信号。
4.根据权利要求1所述的基于多光谱的图像融合设备，其特征在于，所述图像处理器将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的过程包括：
将所述RGB色彩信号转换为YUV信号，所述YUV信号为明亮度及色度信号；
提取所述YUV信号中的色度UV分量；
对所述UV分量与所述亮度信号进行组合，形成新的YUV信号；
将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。
5.根据权利要求1所述的基于多光谱的图像融合设备，其特征在于，所述图像处理器将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的过程包括：
根据所述RGB色彩信号，计算各个像素对应的辅助值Y，其中，Y=（R*w1+B*w2+G*w3）/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；
计算所述RGB色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1= R/Y，K2= G/Y，K3= B/Y；
对所述参考通道值K1、K2和K3进行色彩降噪处理；
将对应像素上的亮度信号Y1’、Y2’和Y3’与色彩降噪后的参考通道值K1、K2和K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’=色彩降噪后的参考通道值K1*Y1’；G’=色彩降噪后的参考通道值K2*Y2’；B’=色彩降噪后的参考通道值K3*Y3’。
6.根据权利要求1-5任一项所述的基于多光谱的图像融合设备，其特征在于，所述光采集装置，具体用于对入射光中第一预定波长区间的光谱进行阻挡，得到目标光，所述第一预定波长区间为：所述图像传感器中RGB通道与亮度通道在红外波段上响应差别高于第一预定阈值的光谱的波长区间，所述亮度通道为IR通道或W通道。
7.根据权利要求6所述的基于多光谱的图像融合设备，其特征在于，所述光采集装置包括：带阻滤光片和第一类光学镜头；
所述第一类光学镜头，用于以全光谱透射方式将入射光透射至所述带阻滤光片；
所述带阻滤光片，用于将所述第一类光学镜头所透过的光中的所述第一预定波长区间的光谱进行阻挡，得到目标光。
8.根据权利要求6所述的基于多光谱的图像融合设备，其特征在于，所述光采集装置包括：能够阻挡所述第一预定波长区间的光谱的第二类光学镜头。
9.根据权利要求6所述的基于多光谱的图像融合设备，其特征在于，所述第一预定波长区间为[T1,T2]，其中，T1的值处于区间[600nm, 800nm]内，T2的值处于区间[750nm，1100nm]内。
10.根据权利要求1-5任一项所述的基于多光谱的图像融合设备，其特征在于，所述图像传感器将所述目标光转换为图像信号时，在红外波段的第二预定波长区间内RGB通道间的响应差别低于第二预定阈值；所述第二预定波长区间为：所述图像传感器中RGB通道间在红外波段上响应差别低于第二预定阈值的光谱的波长区间。
11.根据权利要求10所述的基于多光谱的图像融合设备，其特征在于，所述第二预定波长区间为[T3,T4]，其中，T4大于T3，且T3大于等于750nm，T4小于等于1100nm。
12.根据权利要求1所述的基于多光谱的图像融合设备，其特征在于，所述第一类曝光的曝光时长小于第二类曝光的曝光时长。
13.根据权利要求1-5任一项所述的基于多光谱的图像融合设备，其特征在于，还包括：信号控制器，用于调控所述图像传感器形成符合预定亮度要求的图像信号。
14.根据权利要求13所述的基于多光谱的图像融合设备，其特征在于，所述信号控制器具体用于对所述图像传感器所形成的图像信号进行亮度统计，并根据统计结果调控所述图像传感器形成符合预定亮度要求的图像信号。
15.根据权利要求13所述的基于多光谱的图像融合设备，其特征在于，所述信号控制器还用于控制所述图像传感器在单次曝光采集和多次曝光采集之间切换。
16.根据权利要求13所述的基于多光谱的图像融合设备，其特征在于，还包括：红外补光器；所述信号控制器还用于控制所述红外补光器对所述图像传感器进行红外补光。
17.一种基于多光谱的图像融合方法，其特征在于，应用于基于多光谱的图像融合设备，所述基于多光谱的图像融合设备具有五类感光通道，所述五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道；所述五类感光通道对应的像素排列方式基于以下排布方式周期性重复：
Figure DEST_PATH_IMAGE003
其中，所述W通道对应的像素比例为二分之一，所述RGB通道和IR通道中，各类感光通道对应的像素比例相同，所述五类感光通道中，各类感光通道的像素排列方式为均匀地网状式，W通道对应W像素，R通道对应R像素，G通道对应G像素，B通道对应B像素，IR通道对应IR像素；
所述方法包括：
采集入射光对应的目标光；
通过所述RGB通道、IR通道和W通道，将所述目标光转换为图像信号；其中，将所述目标光转换为图像信号包括：在同一帧时间内进行多次曝光采集图像信号，采集的图像信号包括利用第一类曝光形成的图像信号和利用第二类曝光形成的图像信号；
将转换的所述图像信号解析为RGB色彩信号和亮度信号，解析过程具体包括：在转换的所述图像信号包括第一类曝光形成的图像信号和第二类曝光形成的图像信号的情况下，利用第一类曝光形成的图像信号，解析得到RGB色彩信号；利用第二类曝光形成的图像信号，解析得到亮度信号；其中，解析所述RGB色彩信号和所述亮度信号两类信号时所基于通道的组合涵盖所述五类感光通道；并将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像。
18.根据权利要求17所述的方法，其特征在于，所述将转换的所述图像信号解析为RGB色彩信号和亮度信号的步骤，包括：
对转换的所述图像信号中的W通道进行插值运算，生成与输入分辨率相同的亮度信号，其中，所述输入分辨率为转换的所述图像信号具有的分辨率；
对转换的所述图像信号中的RGB通道和IR通道进行插值运算，生成与所述输入分辨率相同的各通道图像信号；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积。
19.根据权利要求17所述的方法，其特征在于，所述将转换的所述图像信号解析为RGB色彩信号和亮度信号的步骤，包括：
对转换的所述图像信号中的RGB通道、IR通道和W通道进行插值运算，生成与输入分辨率相同的各通道图像信号；
利用各通道图像信号、第一预定公式和第二预定公式，生成亮度信号；其中，所述第一预定公式为y=x1*R+ x2*G+ x3*B，所述x1、x2和x3为权重值，其中，所述第二预定公式为亮度信号=x4*W+x5*IR+x6*y，所述x4、x5和x6为权重值；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR参数值，生成第一备用RGB色彩信号，所述IR参数值为对应像素位置的IR通道的值与预设修正值的乘积；
遍历所述各通道图像信号，将所遍历的R通道、G通道和B通道的值分别减去与对应像素位置相应的IR’，生成第二备用RGB色彩信号，其中，各个像素位置相应的IR’通过第三预定公式计算得到，其中，所述第三预定公式为：IR’=（R+G+B-W）/ n；
将所述第一备用RGB色彩信号和所述第二备用RGB色彩信号加权合成，生成RGB色彩信号。
20.根据权利要求17所述的方法，其特征在于，所述将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的步骤，包括：
将所述RGB色彩信号转换为YUV信号，所述YUV信号为明亮度及色度信号；
提取所述YUV信号中的色度UV分量；
对所述UV分量与所述亮度信号进行组合，形成新的YUV信号；
将所形成的新的YUV信号确定为融合后图像，或者，将所形成的新的YUV信号转换为RGB信号，并将转换为的RGB信号确定为融合后图像。
21.根据权利要求17所述的方法，其特征在于，所述将所述RGB色彩信号和所述亮度信号进行融合处理，得到融合后图像的步骤，包括：
根据所述RGB色彩信号，计算各个像素对应的辅助值Y，其中，Y=（R*w1+B*w2+G*w3）/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；
计算所述RGB色彩信号中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1= R/Y，K2= G/Y，K3= B/Y；
对所述参考通道值K1、K2和K3进行色彩降噪处理；
将对应像素上的亮度信号Y1’、Y2’和Y3’与色彩降噪后的参考通道值K1、K2和K3进行融合处理，生成融合后的RGB三通道值R’、G’和B’，得到融合后图像；其中，R’=色彩降噪后的参考通道值K1*Y1’；G’=色彩降噪后的参考通道值K2*Y2’；B’=色彩降噪后的参考通道值K3*Y3’。
22.一种图像传感器，其特征在于，所述图像传感器具有五类感光通道，所述五类感光通道包括：红绿蓝RGB通道、红外IR通道和全波段W通道，所述图像传感器对应的像素排列方式基于以下排布方式周期性重复：
Figure DEST_PATH_IMAGE003A
其中，所述W通道对应的像素比例为二分之一，所述RGB通道和IR通道中，各类感光通道对应的像素比例相同，所述五类感光通道中，各类感光通道的像素排列方式为均匀地网状式，W通道对应W像素，R通道对应R像素，G通道对应G像素，B通道对应B像素，IR通道对应IR像素；
所述图像传感器，用于通过所述RGB通道、IR通道和W通道，将目标光转换为图像信号；其中，将所述目标光转换为图像信号包括：在同一帧时间内进行多次曝光采集图像信号，采集的图像信号包括利用第一类曝光形成的图像信号和利用第二类曝光形成的图像信号。
CN201710074101.7A 2017-02-10 2017-02-10 基于多光谱的图像融合设备、方法及图像传感器 Active CN108419061B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710074101.7A CN108419061B (zh) 2017-02-10 2017-02-10 基于多光谱的图像融合设备、方法及图像传感器
US16/480,270 US11526969B2 (en) 2017-02-10 2018-01-25 Multi-spectrum-based image fusion apparatus and method, and image sensor
PCT/CN2018/074098 WO2018145576A1 (zh) 2017-02-10 2018-01-25 基于多光谱的图像融合设备、方法及图像传感器
EP18751665.3A EP3582494B1 (en) 2017-02-10 2018-01-25 Multi-spectrum-based image fusion apparatus and method, and image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710074101.7A CN108419061B (zh) 2017-02-10 2017-02-10 基于多光谱的图像融合设备、方法及图像传感器

Publications (2)

Publication Number Publication Date
CN108419061A CN108419061A (zh) 2018-08-17
CN108419061B true CN108419061B (zh) 2020-10-02

Family

ID=63107166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710074101.7A Active CN108419061B (zh) 2017-02-10 2017-02-10 基于多光谱的图像融合设备、方法及图像传感器

Country Status (4)

Country Link
US (1) US11526969B2 (zh)
EP (1) EP3582494B1 (zh)
CN (1) CN108419061B (zh)
WO (1) WO2018145576A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
TWI694721B (zh) * 2018-10-08 2020-05-21 瑞昱半導體股份有限公司 紅外線串擾補償方法及其裝置
CN109544489B (zh) * 2018-10-10 2022-10-04 中国航空工业集团公司洛阳电光设备研究所 一种多波段增强视景系统图像融合方法
CN110493531B (zh) * 2018-12-12 2021-12-03 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN110493506B (zh) * 2018-12-12 2021-03-02 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN111629121B (zh) * 2019-02-27 2022-05-24 瑞昱半导体股份有限公司 影像调整方法以及相关的影像处理电路
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN110493533B (zh) * 2019-05-31 2021-09-07 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集方法
CN110493492B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集方法
CN110493491B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 一种图像采集装置及摄像方法
CN110490044B (zh) * 2019-06-14 2022-03-15 杭州海康威视数字技术股份有限公司 人脸建模设备和人脸建模方法
CN110519489B (zh) * 2019-06-20 2021-04-06 杭州海康威视数字技术股份有限公司 图像采集方法及装置
CN112241935B (zh) * 2019-07-18 2023-05-26 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN110507283A (zh) * 2019-09-17 2019-11-29 福州鑫图光电有限公司 视网膜相机及其实现方法
US10951869B1 (en) * 2019-12-11 2021-03-16 Karl Storz Imaging, Inc. System for optimizing blended video streams
CN110913144B (zh) * 2019-12-27 2021-04-27 维沃移动通信有限公司 图像处理方法及摄像装置
CN113362261B (zh) * 2020-03-04 2023-08-11 杭州海康威视数字技术股份有限公司 图像融合方法
CN111314592B (zh) * 2020-03-17 2021-08-27 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111432099B (zh) * 2020-03-30 2021-04-30 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
WO2021217521A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 摄像机及获取图像的方法
CN111861964A (zh) * 2020-08-06 2020-10-30 深圳市汇顶科技股份有限公司 图像处理方法、装置和存储介质
WO2022027469A1 (zh) * 2020-08-06 2022-02-10 深圳市汇顶科技股份有限公司 图像处理方法、装置和存储介质
CN114079754A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种图像传感器、信号处理方法以及设备
US11689822B2 (en) * 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN112241941B (zh) * 2020-10-20 2024-03-22 北京字跳网络技术有限公司 获取图像的方法、装置、设备和计算机可读介质
CN112288721B (zh) * 2020-10-29 2022-03-01 四川九洲电器集团有限责任公司 一种用于目标检测的马赛克多光谱图像生成方法
CN112767298B (zh) * 2021-03-16 2023-06-13 杭州海康威视数字技术股份有限公司 一种可见光图像和红外图像的融合方法、装置
CN113538314A (zh) * 2021-07-23 2021-10-22 北京理工大学 四波段共光轴光电成像平台及其图像融合处理方法
CN113570532B (zh) * 2021-07-28 2024-04-12 Oppo广东移动通信有限公司 图像处理方法、装置、终端和可读存储介质
CN113777056A (zh) * 2021-08-13 2021-12-10 昆山格博尔智能科技有限责任公司 基于多光谱cmos图像芯片的油墨配色检测方法
EP4184932A1 (de) * 2021-09-10 2023-05-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ein bildsensor, ein verfahren zum betreiben eines bildsensors, ein verfahren zum herstellen eines bildsensors und ein stationäres gerät oder ein fahrzeug oder eine drohne mit einem bildsensor
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
US20230239553A1 (en) * 2022-01-25 2023-07-27 Qualcomm Incorporated Multi-sensor imaging color correction
CN116723409B (zh) * 2022-02-28 2024-05-24 荣耀终端有限公司 自动曝光方法与电子设备
CN116939383A (zh) * 2022-04-08 2023-10-24 华为技术有限公司 图像传感器、成像模组、图像采集设备和图像处理方法
CN114845017A (zh) * 2022-04-13 2022-08-02 Oppo广东移动通信有限公司 成像模组、电子设备、成像方法和存储介质
CN115550575B (zh) * 2022-04-21 2023-07-07 荣耀终端有限公司 图像处理方法及其相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4695550B2 (ja) * 2006-06-22 2011-06-08 富士フイルム株式会社 固体撮像装置およびその駆動方法
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN105210369A (zh) * 2013-04-17 2015-12-30 法国甫托尼公司 用于获取双模态图像的设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
KR101926489B1 (ko) 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
FR3030885B1 (fr) 2014-12-22 2017-12-22 E2V Semiconductors Capteur d'image en couleurs avec pixels blancs et pixels colores
CN106385530B (zh) * 2015-07-28 2022-12-13 杭州海康微影传感科技有限公司 一种双光谱摄像机
CN205092933U (zh) * 2015-08-12 2016-03-16 杭州海康威视数字技术股份有限公司 像素阵列构件、图像处理装置及摄像机
JP2017108211A (ja) * 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN111988587B (zh) * 2017-02-10 2023-02-07 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4695550B2 (ja) * 2006-06-22 2011-06-08 富士フイルム株式会社 固体撮像装置およびその駆動方法
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
CN105210369A (zh) * 2013-04-17 2015-12-30 法国甫托尼公司 用于获取双模态图像的设备
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置

Also Published As

Publication number Publication date
EP3582494B1 (en) 2021-12-08
EP3582494A4 (en) 2020-01-08
US20190378257A1 (en) 2019-12-12
WO2018145576A1 (zh) 2018-08-16
EP3582494A1 (en) 2019-12-18
US11526969B2 (en) 2022-12-13
CN108419061A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108419061B (zh) 基于多光谱的图像融合设备、方法及图像传感器
CN111988587B (zh) 图像融合设备和图像融合方法
CN108965654B (zh) 基于单传感器的双光谱摄像机系统和图像处理方法
JP6096243B2 (ja) 画像データの処理方法およびシステム
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
EP2752008B1 (en) Pixel array, camera using the same and color processing method based on the pixel array
US20060146064A1 (en) Hexagonal color pixel structure with white pixels
US20050248667A1 (en) Extended dynamic range in color imagers
EP2523160A1 (en) Image processing device, image processing method, and program
EP2343904A1 (en) Image inputting apparatus
KR20040091759A (ko) 화상 처리 장치 및 방법, 및 화상 처리 장치의 제조 방법
JP4328424B2 (ja) 画像変換方法
EP2263373A2 (en) Generalized assorted pixel camera systems and methods
WO2010116923A1 (ja) 画像入力装置
WO2007148576A1 (ja) 撮像システム及び撮像プログラム
JP2005278213A (ja) 製造方法
CN114422766B (zh) 一种图像采集设备
JP2023013549A (ja) 撮像装置、撮像方法、及びプログラム
JP2007097202A (ja) 画像処理装置
JP2007267404A (ja) 画像処理装置の製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant