CN107845083B - 分光融合的图像采集设备 - Google Patents

分光融合的图像采集设备 Download PDF

Info

Publication number
CN107845083B
CN107845083B CN201610830005.6A CN201610830005A CN107845083B CN 107845083 B CN107845083 B CN 107845083B CN 201610830005 A CN201610830005 A CN 201610830005A CN 107845083 B CN107845083 B CN 107845083B
Authority
CN
China
Prior art keywords
visible light
image
light image
target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610830005.6A
Other languages
English (en)
Other versions
CN107845083A (zh
Inventor
罗丽红
聂鑫鑫
范蒙
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201911244691.9A priority Critical patent/CN111028188B/zh
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610830005.6A priority patent/CN107845083B/zh
Priority to PCT/CN2017/086976 priority patent/WO2018049849A1/zh
Priority to KR1020197010634A priority patent/KR102247092B1/ko
Priority to EP17850054.2A priority patent/EP3518179B1/en
Priority to JP2019536628A priority patent/JP6847231B2/ja
Priority to US16/334,257 priority patent/US11328397B2/en
Publication of CN107845083A publication Critical patent/CN107845083A/zh
Priority to SA519401342A priority patent/SA519401342B1/ar
Application granted granted Critical
Publication of CN107845083B publication Critical patent/CN107845083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Abstract

本发明实施例提供了分光融合的图像采集设备。该图像采集设备中，分光单元将入射光分解为可见光信号和非可见光信号；可见光信号成像单元根据分光单元所分解出的可见光信号进行感光成像，形成第一可见光图像；非可见光信号成像单元根据分光单元所分解出的非可见光信号进行感光成像，形成第一非可见光图像；配准单元对所述第一可见光图像和所述第一非可见光图像进行位置配准，得到目标可见光图像和第二非可见光图像；预处理合成单元对第二非可见光图像进行亮度调整，得到目标非可见光图像；融合单元对目标可见光图像和目标非可见光图像进行图像融合，得到融合后图像。通过本方案，能够有效保证融合后图像的色彩的准确性。

Description

分光融合的图像采集设备
技术领域
本发明涉及图像处理技术领域，特别是涉及分光融合的图像采集设备。
背景技术
在低照度场景下，为了保证所采集的图像涵盖较多的图像信息，通常需要分光融合的图像采集设备来采集图像。具体的，分光融合的图像采集设备采集图像的基本原理为：采集可见光信号所对应的可见光图像以及采集非可见光信号所对应的非可见光图像，并将可见光图像和非可见光图像进行融合，得到融合后的图像，其中，融合后的图像为双波段图像，相对于属于单波段的可见光图像和非可见光图像中的任一种图像而言，体现出的图像信息更多。所谓的非可见光信号为：近红外信号或红外信号，相应地，当非可见光信号为近红外信号时，非可见光图像为近红外图像，当非可见光信号为红外信号时，非可见光图像为红外图像。
现有技术中的分光融合的图像采集设备具体包括：半反半透镜、可见光传感器、红外光传感器、配准单元和融合单元，具体的，该半反半透镜用于将入射光分解为可见光信号和非可见光信号，该可见光传感器用于对可见光信号感光形成可见光图像，该红外光传感器用于对非可见光信号感光形成非可见光图像，该配准单元用于消除非可见光图像和可见光图像之间的位置偏差，该融合单元用于对配准单元所形成的位置校正后的非可见光图像与可见光图像进行加权融合，其中，融合得到形成的融合后的图像为图像采集设备的输出图像。
发明人在研究过程中发现，由于现有技术中的图像采集设备中，融合单元直接对配准单元所形成的位置校正后的非可见光图像与可见光图像进行加权融合，因此，忽略了由于物体对不同波段的光波反射特性不同而造成的图像差异，这样，导致融合后图像色彩失真。
发明内容
本发明实施例的目的在于提供分光融合的图像采集设备，以提高融合后图像的色彩的准确性。具体技术方案如下：
第一方面，本发明实施例提供了一种分光融合的图像采集设备，包括：
分光单元、可见光信号成像单元、非可见光信号成像单元、配准单元、预处理合成单元和融合单元；
其中，所述分光单元，用于将入射光分解为可见光信号和非可见光信号；
所述可见光信号成像单元，用于根据所述分光单元所分解出的可见光信号进行感光成像，形成第一可见光图像；
所述非可见光信号成像单元，用于根据所述分光单元所分解出的非可见光信号进行感光成像，形成第一非可见光图像；
所述配准单元，用于对所述第一可见光图像和所述第一非可见光图像进行位置配准，得到目标可见光图像和第二非可见光图像；
所述预处理合成单元，用于对所述第二非可见光图像进行亮度调整，得到目标非可见光图像；
所述融合单元，用于对所述目标可见光图像和所述目标非可见光图像进行图像融合，得到融合后图像。
可选地，所述预处理合成单元具体用于：基于所述目标可见光图像，对所述第二非可见光图像进行亮度调整，得到目标非可见光图像。
可选地，所述预处理合成单元具体用于：
对所述目标可见光图像进行色彩空间变换，得到所述目标可见光图像的亮度分量；
分别计算所述亮度分量的第一均值和第一方差，以及所述第二非可见光图像的亮度分量的第二均值和第二方差；
基于所述第一均值、所述第一方差、所述第二均值和所述第二方差，对所述第二非可见光图像的亮度分量进行全局映射处理；
利用预设的sobel边缘检测算子分别对所述目标可见光图像和所述第二非可见光图像进行卷积，得到所述目标可见光图像所对应的第一纹理图像和所述第二非可见光图像所对应的第二纹理图像；
利用全局映射处理后所得的亮度分量、所述目标可见光图像的亮度分量、所述第一纹理图像和所述第二纹理图像，对所述第二非可见光图像进行亮度调整，确定目标非可见光图像。
可选地，所述预处理合成单元对所述第二非可见光图像的亮度分量进行全局映射处理所利用的公式为：
其中，y'N表示全局映射处理后所得的亮度分量，yN表示所述第二非可见光图像的亮度分量，μD表示所述第一均值，μN表示所述第二均值，σD表示所述第一方差，σN表示所述第二方差；
所述预处理合成单元所利用的所述预设的sobel边缘检测算子为：
所述预处理合成单元对所述第二非可见光图像进行亮度调整所利用的公式为：
其中，yAP表示目标非可见光图像，y'N表示全局映射处理后所得的亮度分量，yD表示所述目标可见光图像的亮度分量，tN表示所述第二纹理图像，tD表示所述第一纹理图像。
可选地，所述融合单元具体用于：
对所述目标可见光图像和所述目标非可见光图像按照所对应第一类权重值进行加权处理，得到融合后图像。
可选地，所述融合单元具体用于：
对所述目标可见光图像和所述目标非可见光图像进行分频融合，得到融合后图像。
可选地，所述融合单元对所述目标可见光图像和所述目标非可见光图像进行分频融合的过程包括：
对所述目标可见光图像进行色彩空间变换，得到所述目标可见光图像的亮度分量和色彩分量；
对所述亮度分量进行低通滤波，得到所述目标可见光图像的低频信息；
对所述目标非可见光图像进行高通滤波，得到所述目标非可见光图像的高频信息；
对所述低频信息和所述高频信息按照所对应第二类权重值进行加权处理，得到待形成融合后图像所对应的亮度分量；
将所述待形成融合后图像所对应的亮度分量与所述目标可见光图像的色彩分量进行合并，得到融合后图像。
可选地，所述融合单元对所述低频信息和所述高频信息按照所对应第二类权重值进行加权处理所利用的公式为：
yFus＝w*ylow+(1-w)*yAP+K*yhigh
其中，yFus表示待形成融合后图像所对应的亮度分量，yAP表示所述目标非可见光图像，ylow表示所述低频信息，yhigh表示所述高频信息，w表示所述低频信息所对应的第二类权重值，K表示所述高频信息所对应的第二类权重值。
可选地，w基于所述目标非可见光图像和目标可见光图像的亮度分量的亮度差异所确定，其中，
其中，yAP表示所述目标非可见光图像，yD表示所述目标可见光图像的亮度分量，abs(yAP-yD)表示(yAP-yD)的绝对值，max(abs(yAP-yD))表示abs(yAP-yD)的最大值。
可选地，所述可见光信号成像单元与所述非可见光信号成像单元呈90°放置，所述分光单元的反射面与入射光成45°。
可选地，本发明实施例所提供的图像采集设备，还包括：补光单元；
所述补光单元，用于对所述非可见光信号成像单元进行红外光补光。
可选地，所述非可见光信号成像单元还用于在检测到自身所形成的第一非可见光图像符合预定补光条件时，向所述补光单元发送补光信号；
所述补光单元具体用于在接收到所述补光信号后，对所述非可见光信号成像单元进行红外光补光。
可选地，所述预定补光条件为：
所述第一非可见光图像的信噪比低于预定阈值；
或者，
所述第一非可见光图像成像时自动曝光处理的增益等级低于预定等级。
本发明实施例所提供的分光融合的图像采集设备中：分光单元将入射光分解为可见光信号和非可见光信号；可见光信号成像单元根据该分光单元所分解出的可见光信号进行感光成像，形成第一可见光图像；非可见光信号成像单元根据该分光单元所分解出的非可见光信号进行感光成像，形成第一非可见光图像；配准单元用于对该第一可见光图像和该第一非可见光图像进行位置配准，得到目标可见光图像和第二非可见光图像；预处理合成单元对该第二非可见光图像进行亮度调整，得到目标非可见光图像；融合单元对该目标可见光图像和该目标非可见光图像进行图像融合，得到融合后图像。相对于现有技术，本方案中增设预处理合成单元，在该预设处理合成单元对该第二非可见光图像进行亮度调整后，由融合单元对该目标可见光图像和亮度调整后形成的目标非可见光图像进行图像融合，考虑了由于物体对不同波段的光波反射特性不同而造成的图像差异，因此能够提高融合后图像的色彩的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的分光融合的图像采集设备的结构示意图；
图2为本发明实施例所提供的融合单元的融合原理图；
图3为本发明实施例所提供的分光融合的图像采集设备中分光单元的设置位置示意图；
图4为本发明实施例所提供的分光融合的图像采集设备的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高低照度场景下的融合后图像的色彩的准确性，本发明实施例提供了分光融合的图像采集设备。其中，该分光融合的图像采集设备可以为：分光融合的摄像头、分光融合的相机等等，这都是合理的。
如图1所示，本发明实施例所提供的分光融合的图像采集设备，可以包括：
分光单元110、可见光信号成像单元120、非可见光信号成像单元130、配准单元140、预处理合成单元150和融合单元160；
其中，该分光单元110，用于将入射光分解为可见光信号和非可见光信号；
该可见光信号成像单元120，用于根据该分光单元110所分解出的可见光信号进行感光成像，形成第一可见光图像；
该非可见光信号成像单元130，用于根据该分光单元110所分解出的非可见光信号进行感光成像，形成第一非可见光图像；
该配准单元140，用于对所述第一可见光图像和所述第一非可见光图像进行位置配准，得到目标可见光图像和第二非可见光图像；
该预处理合成单元150，用于对该第二非可见光图像进行亮度调整，得到目标非可见光图像；
该融合单元160，用于对该目标可见光图像和该目标非可见光图像进行图像融合，得到融合后图像。
可以理解的是，非可见光信号为近红外光信号或红外光信号，其中，红外光信号为一种电磁波，它的波长范围为760nm～1mm，不为人眼所见；近红外光是介于可见光和中红外光之间的电磁波，美国试验和材料检测协会ASTM定义近红外光为波长在780～2526nm范围内的电磁波，其中，近红外光被划分为近红外短波(780～1100nm)和近红外长波(1100～2526nm)。相应地，本发明实施例中，非可见光信号为近红外光信号时，非可见光图像为近红外图像，非可见光信号为红外光信号时，非可见光图像为红外图像。
其中，对于分光单元110而言，其设置在图像采集设备的镜头之后，以对进入镜头的入射光进行分解，另外，可以理解的是，从输入输出的角度而言，分光单元110的输入为入射光，输出为可见光和非可见光。并且，为了实现将入射光分解为可见光信号和非可见光信号，分光单元110可以为半反半透镜，该半反半透镜可以透射可见光而反射非可见光。具体的，该半反半透镜的具体产品形式可以为但不局限于分光棱镜；其中，本领域技术人员可以理解的是，分光棱镜可以允许可见光透过，截止或反射非可见光，也就是，通过棱镜反射面的入射光被滤去非可见波段(被滤去的非可见光可以被反射)，而让可见光通过；另外，对于分光棱镜而言，其能够通过的可见光波段范围，可以通过调节棱镜镀膜的厚度来控制，具体的控制方式为现有技术，在此不做赘述。另外，在保证能够对入射光的分光处理的前提下，本发明实施例对于该分光单元110的设置方式可以不做限定，举例而言：该分光单元110可以固定设置，也可以活动设置；当然，可以理解的是，如果分光单元110为活动设置，这将使得后续的配准矩阵的更新频率较高，导致计算量较大，因此，为了进行一次离线标定配准矩阵，分光单元110可以固定设置。
需要说明的是，该可见光信号成像单元120可以为现有技术中的任一种能够将可见光成像的器件，并且，在成像过程中经过自动曝光、白平衡、伽马映射等处理，例如：该可见光信号成像单元120可以为可见光图像传感器；类似的，该非可见光信号成像单元130可以为现有技术中的任一种能够将非可见光成像的器件，并且，在成像过程中经过自动曝光、白平衡、伽马映射，举例而言：非可见光信号成像单元可以为非可见光图像传感器。并且，由于可见光信号成像单元120和非可见光信号成像单元130本身不是本发明的发明点，因此，本发明实施例对于可见光信号成像单元120和非可见光信号成像单元130的具体器件形式在此不做限定，且具体成像原理不做赘述。
另外，该配准单元140用于消除第一非可见光图像与第一可见光图像之间的位置偏差，从而避免后续处理时出现错位、重影等问题，作为本发明的一种实施方式，可以利用水平镜像和仿射变换的数学模型来模拟分光过程的图像畸变问题，从而消除位置偏差，其中，可以通过离线标定获取仿射变换处理所需的配准矩阵的相关系数。可以理解的是，配准单元140对该第一可见光图像和该第一非可见光图像进行位置配准后所得到的目标可见光图像和第二非可见光图像中，目标可见光图像相对于第一可见光图像可以发生位置偏移也可以未发生位置偏移，第二非可见光图像相对于第一非可见光图像可以发生位置偏移也可以未发生位置偏移，并且，配准时，可以以第一可见光图像作为基准，对第一非可见光图像进行位置配准，也可以以第一非可见光图像作为基准，对第一可见光图像进行位置配准，这都是合理的。需要说明的是，该配准单元140的具体配准方式可以采用现有技术中的配准方式，为了布局清楚，后续对该配准方式进行介绍。
可以理解的是，由于可见光信号成像单元120和非可见光信号成像单元130的感光波段不同，容易造成成像的亮度差异，并且由于亮度差异的程度高低会影响到色彩准确性，因此，为了提高融合后图像的色彩的准确性，可以改变第二非可见光图像的亮度，以使得待融合的两类图像的亮度差异减少。基于该处理思想，本发明实施例所提供的分光融合的图像采集设备相对于现有技术增加了该预处理合成单元150。可以理解的是，该预处理合成单元150对该第二非可见光图像进行亮度调整的具体实现过程存在多种，为了布局清楚，后续进行举例介绍。
本领域技术人员可以理解的是，由于存在目标可见光图像和目标非可见光图像两类图像，因此，为了得到融合后图像，该融合单元160可以对该目标可见光图像和该目标非可见光图像进行图像融合，得到融合后图像，其中，融合后图像为双波段图像，相对于属于单波段的目标可见光图像和目标非可见光图像中的任一种图像而言，体现出的图像信息更多。可以理解的是，融合单元160对该目标可见光图像和该目标非可见光图像进行图像融合的具体实现方式存在多种，为了布局清楚，后续进行举例介绍。
需要强调的是，本发明实施例所涉及的“第一非可见光图像”中的“第一”、“第二非可见光图像”中的“第二”以及“目标非可见光图像”中的“目标”仅仅用于从名称上区分不同处理阶段的非可见光图像，并不具有任何限定意义；类似的，“第一可见光图像”中的“第一”以及“目标可见光图像”中的“目标”也不具有任何限定意义。
本发明实施例所提供的分光融合的图像采集设备中：分光单元将入射光分解为可见光信号和非可见光信号；可见光信号成像单元根据该分光单元所分解出的可见光信号进行感光成像，形成第一可见光图像；非可见光信号成像单元根据该分光单元所分解出的非可见光信号进行感光成像，形成第一非可见光图像；配准单元用于对第一可见光图像和第一非可见光图像进行位置配准，得到目标可见光图像和第二非可见光图像；预处理合成单元对该第二非可见光图像进行亮度调整，得到目标非可见光图像；融合单元对该目标可见光图像和该目标非可见光图像进行图像融合，得到融合后图像。相对于现有技术，本方案中增设预处理合成单元，在该预设处理合成单元对该第二非可见光图像进行亮度调整后，由融合单元对该目标可见光图像和亮度调整后形成的目标非可见光图像进行图像融合，考虑了由于物体对不同波段的光波反射特性不同而造成的图像差异，因此能够提高融合后图像的色彩的准确性。
具体的，该预处理合成单元150对该第二非可见光图像进行亮度调整的实现方式存在多种，下面进行举例介绍：
在一种实现方式中，该预处理合成单元150可以基于预设亮度参数值或预设亮度调整值，对该第二非可见光图像进行亮度调整。
可以理解的是，对于基于预设亮度参数值对该第二非可见光图像进行亮度调整的方式而言，目标非可见光图像的亮度参数值为该预设亮度参数值，也就是说，将该第二非可见光图像的亮度参数值调整至该预设亮度参数值；而对于基于预设亮度调整值对该第二非可见光图像进行亮度调整的方式而言，该目标非可见光图像的亮度参数值为预设亮度调整值与该第二非可见光图像的亮度参数值之和，也就是说，将该第二非可见光图像的亮度参数值调整预设亮度调整值，该预设亮度调整值为增量值。另外，需要强调的是，无论是预设亮度参数值还是预设亮度调整值均是经验值，该经验值是基于该可见光信号成像单元120所形成图像和该非可见光信号成像单元130所形成图像的亮度差异所得到的值。
在另一种实现方式中，该预处理合成单元150可以基于该目标可见光图像，对该第二非可见光图像进行亮度调整。需要强调的是，该预处理合成单元150基于该目标可见光图像，对该第二非可见光图像进行亮度调整的实现方式存在多种，下面进行举例介绍：
在一种具体实现方式中，该预处理合成单元150具体用于：
步骤a1、对该目标可见光图像进行色彩空间变换，得到该目标可见光图像的亮度分量；
本领域技术人员可以理解的是，常用的色彩空间类型有RGB(红绿蓝颜色模型)、CMYK(印刷色彩模型，一种依靠反光的色彩模式)、Lab(基于人对颜色的感觉，由明度(L)和有关色彩的a,b三个要素组成)、HSV(Hue,Saturation,Value，具体的，这个模型中颜色的参数分别是：色调(H)，饱和度(S)，亮度(V))等。其中，对该目标可见光图像进行色彩空间变换，得到该目标可见光图像的亮度分量即为：将目标可见光图像从当前所属的色彩空间模型转换到包含亮度的色彩空间模型下，从而分离出亮度分量，具体的，转换方式可以参照现有技术的色彩空间模型之间的转换方式，在此不做限定。
步骤b1、分别计算该亮度分量的第一均值和第一方差，以及该第二非可见光图像的亮度分量的第二均值和第二方差；
其中，由于第二非可见光图像本身不涉及色彩分量，无需执行亮度分量分离处理，因此，在分离得到该目标可见光图像的亮度分量后，可以采用现有技术分别计算该亮度分量的第一均值和第一方差，以及该第二非可见光图像的亮度分量的第二均值和第二方差，进而执行后续的处理。
步骤c1、基于该第一均值、该第一方差、该第二均值和该第二方差，对该第二非可见光图像的亮度分量进行全局映射处理；
具体的，在一种具体实现方式中，该预处理合成单元150对该第二非可见光图像的亮度分量进行全局映射处理所利用的公式可以为：
其中，y'N表示全局映射处理后所得的亮度分量，yN表示该第二非可见光图像的亮度分量，μD表示该第一均值，μN表示该第二均值，σD表示该第一方差，σN表示该第二方差。
步骤d1、利用预设的sobel边缘检测算子分别对该目标可见光图像和该第二非可见光图像进行卷积，得到该目标可见光图像所对应的第一纹理图像和该第二非可见光图像所对应的第二纹理图像；
索贝尔sobel边缘检测算子主要用作边缘检测，在技术上，它是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。
具体的，在一种具体实现方式中，该预处理合成单元150所利用的该预设的sobel边缘检测算子为：
可以理解的是，利用预设的sobel边缘检测算子分别对该目标可见光图像和该第二非可见光图像进行卷积的具体实现方式可以参照现有技术，在此不做限定。
步骤e1、利用全局映射处理后所得的亮度分量、该目标可见光图像的亮度分量、该第一纹理图像和该第二纹理图像，对该第二非可见光图像进行亮度调整，确定目标非可见光图像。
其中，在一种具体实现方式中，该预处理合成单元150对该第二非可见光图像进行亮度调整所利用的公式可以为：
其中，yAP表示目标非可见光图像，y'N表示全局映射处理后所得的亮度分量，yD表示该目标可见光图像的亮度分量，tN表示该第二纹理图像，tD表示该第一纹理图像。
需要强调的是，上述的该预处理合成单元150对该第二非可见光图像的亮度分量进行全局映射处理所利用的公式，以及该预处理合成单元150对该第二非可见光图像进行亮度调整所利用的公式仅仅作为示例，并不应该构成对本发明实施例的限定。并且，上述给出的该预处理合成单元150基于该目标可见光图像，对该第二非可见光图像进行亮度调整的具体实现方式也仅仅作为示例，并不应该构成对本发明实施例的限定。
具体的，该融合单元160对该目标可见光图像和该目标非可见光图像进行图像融合的具体实现方式存在多种。下面进行举例介绍：
在一种具体实现方式中，该融合单元160具体用于：
对该目标可见光图像和该目标非可见光图像按照所对应第一类权重值进行加权处理，得到融合后图像。
需要说明的是，在该种实现方式中，目标可见光图像和目标非可见光图像所对应的权重值均被称为第一类权重值，其中，目标可见光图像对应的第一类权重值和目标非可见光图像对应的第一类权重值的具体大小可以相同或不同，但两个第一类权重值之和为1。并且，所谓的对该目标可见光图像和该目标非可见光图像按照所对应第一类权重值进行加权处理具体指：将该目标可见光图像和该目标非可见光图像与所对应第一类权重值相乘，并将乘积相加，举例而言：y＝x1*A+x2*B,其中，y为融合后图像，A为目标可见光图像，B为目标非可见光图像，x1为目标可见光图像所对应的第一类权重值，x2为目标非可见光图像所对应的第一类权重值。
可以理解的是，该目标可见光图像对应的第一类权重值和该目标非可见光图像所对应的第一类权重值可以为预先设定的值，在设定时，可以根据对目标可见光图像和目标非可见光图像的实际信息需求来设定，在此不做限定。举例而言：当需要目标可见光图像的图像信息多于目标非可见光图像的图像信息时，可以设置该目标可见光图像对应的第一类权重值大于该目标非可见光图像所对应的第一类权重值；类似的，当需要目标可见光图像的图像信息少于目标非可见光图像的图像信息时，可以设置该目标可见光图像对应的第一类权重值小于该目标非可见光图像所对应的第一类权重值。并且，对该目标可见光图像和该目标非可见光图像按照所对应第一类权重值进行加权处理的过程可以采用现有技术，在此不做赘述。
在另一种具体实现方式中，为了提升图像细节、信息量以及色彩准确度，该融合单元160具体用于：
对该目标可见光图像和该目标非可见光图像进行分频融合，得到融合后图像。
其中，所谓的分频融合的基本思想为：提取目标可见光图像的低频信息和目标非可见光图像的高频信息，按照一定的权重进行加权融合，将融合后亮度与可见光色彩分量进行合并，输出彩色的融合后图像。
具体的，在一种具体实现方式中，如图2所示，该融合单元160对该目标可见光图像和该目标非可见光图像进行分频融合的过程可以包括：
步骤a2、对该目标可见光图像进行色彩空间变换，得到该目标可见光图像的亮度分量和色彩分量；
本领域技术人员可以理解的是，常用的色彩空间类型有RGB(红绿蓝颜色模型)、CMYK(印刷色彩模型，一种依靠反光的色彩模式)、Lab(基于人对颜色的感觉，由明度(L)和有关色彩的a,b三个要素组成)、HSV(Hue,Saturation,Value，具体的，这个模型中颜色的参数分别是：色调(H)，饱和度(S)，亮度(V))等。其中，对该目标可见光图像进行色彩空间变换，得到该目标可见光图像的亮度分量和色彩分量即为：将目标可见光图像从当前所属的色彩空间模型转换到包含亮度和色彩分量的色彩空间模型下，从而分离出亮度分量和色彩分量，具体的，转换方式可以参照现有技术的色彩空间模型之间的转换方式，在此不做限定。
步骤b2、对该亮度分量进行低通滤波，得到该目标可见光图像的低频信息；
其中，在得到亮度分量后，可以采用现有的低通滤波方式对该亮度分量进行低通滤波，得到该目标可见光图像的低频信息。
步骤c2、对该目标非可见光图像进行高通滤波，得到该目标非可见光图像的高频信息；
其中，由于目标非可见光图像本身不涉及色彩分量，无需执行亮度分量分离处理，因此，可以直接采用现有的高通滤波方式对该目标非可见光图像进行高通滤波，得到该目标非可见光图像的高频信息。
步骤d2、对该低频信息和该高频信息按照所对应第二类权重值进行加权处理，得到待形成融合后图像所对应的亮度分量；
其中，在得到目标可见光图像的低频信息和目标非可见光图像的高频信息后，可以对该低频信息和该高频信息按照所对应第二类权重值进行加权处理，得到待形成融合后图像所对应的亮度分量。
具体的，在一种具体实现方式中，该融合单元160对该低频信息和该高频信息按照所对应第二类权重值进行加权处理所利用的公式可以为：
yFus＝w*ylow+(1-w)*yAP+K*yhigh
其中，yFus表示待形成融合后图像所对应的亮度分量，yAP表示该目标非可见光图像，ylow表示该低频信息，yhigh表示该高频信息，w表示该低频信息所对应的第二类权重值，K表示该高频信息所对应的第二类权重值。
具体的，在该种实现方式中，w和K的具体大小可以相同或不同。w可以为人工设定的值，也可以自动确定出的，其中，w的大小表明所需目标可见光图像的图像信息的多少，越大表明所需的图像信息越多。对于自动确定出的值而言，w可以基于该目标非可见光图像和目标可见光图像的亮度分量的亮度差异所确定，其中，确定公式可以为：
其中，yAP表示该目标非可见光图像，yD表示该目标可见光图像的亮度分量，abs(yAP-yD)表示(yAP-yD)的绝对值，max(abs(yAP-yD))表示abs(yAP-yD)的最大值。
另外，K表明图像清晰度程度，可以由手动设置，通常的范围可以在0～5，其中，1是正常，0表明全是低频信息，清晰度较低。
步骤e2、将该待形成融合后图像所对应的亮度分量与该目标可见光图像的色彩分量进行合并，得到融合后图像。
在得到该待形成融合后图像所对应的亮度分量后，可以采用现有技术将该待形成融合后图像所对应的亮度分量与该目标可见光图像的色彩分量进行合并，得到融合后图像，具体的合并方式在此不做限定。
需要强调的是，上述的该融合单元160对该目标可见光图像和该目标非可见光图像进行分频融合的过程仅仅作为示例，并不应该构成对本发明实施例的限定。
具体的，配准单元140具体配准方式可以采用现有技术中的配准方式，举例而言：该配准单元140，具体用于：
基于第一可见光图像，对第一非可见光图像进行水平镜像处理；
依据如下公式对水平镜像处理后的第一非可见光图像进行仿射变换处理，得到第二非可见光图像，其中，配准矩阵为基于分光单元110与两个成像单元(即可见光信号成像单元120和非可见光信号成像单元130)的位置关系而离线标定的：
其中，(x,y)为第二非可见光图像的像素点坐标，(x1,y1)为第一非可见光图像的像素点坐标，为离线标定获取到的配准矩阵。
需要强调的是，上述的该配准单元140具体功能仅仅作为示例性说明，并不应该构成对本发明实施例的限定。
在一种具体实现方式中，对于分光单元110固定设置的情况而言，为了保证最大的进光量，该可见光信号成像单元120与该非可见光信号成像单元130呈90°放置，该分光单元的反射面与入射光成45°。具体的，如图3所示，该可见光信号成像单元120与该非可见光信号成像单元130呈90°放置，分光单元反射面固定置于这两个成像单元构成的对角线上，使分光单元110的反射面分别与该可见光信号成像单元120和该非可见光信号成像单元130之间的相对夹角均呈45°，保证分光单元110透射的可见光信号和反射的非可见光信号使两个成像单元成轴对称关系。
在一种具体实现方式中，为了保证非可见光的充足，从而避免由于非可见光不足导致的融合后图像的信息不足，如图4所示，本发明实施例所提供的分光融合的图像采集设备还可以包括：补光单元170；
该补光单元170，用于对该非可见光信号成像单元130进行非可见光补光。
可以理解的是，该补充单元170可以实时进行补光，以保证非可见光的充足。当然，为了有效补光，该非可见光信号成像单元130还用于在检测到自身所形成的第一非可见光图像符合预定补光条件时，向该补光单元发送补光信号；该补光单元170具体用于在接收到该补光信号后，对该非可见光信号成像单元130进行非可见光补光，也就是说，该补光单元170具有自适应开关功能。当然，该非可见光信号成像单元130还可以确定所需补光的补光强度，进而指示补光单元170按照该补光强度进行补光，此时，该补光单元170具有自适应开关/强度控制功能。需要强调的是，补光单元170执行补光的具体方式可以为现有技术，在此不做限定。
具体的，所述预定补光条件为：该第一非可见光图像的信噪比低于预定阈值；或者，该第一非可见光图像成像时自动曝光处理的增益等级低于预定等级。其中，该第一非可见光图像的信噪比可以采用现有技术计算得到，类似的，该第一非可见光图像成像时自动曝光处理的增益等级可以采用现有技术确定；并且，预定阈值和预定等级可以为经验值或根据实际情况设定，在此不做限定。可以理解的是，本发明实施例所给出的该预定补光条件仅仅作为示例，并不应该构成对本发明实施例的限定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种分光融合的图像采集设备，其特征在于，包括：
分光单元、可见光信号成像单元、非可见光信号成像单元、配准单元、预处理合成单元和融合单元；
其中，所述分光单元，用于将入射光分解为可见光信号和非可见光信号；
所述可见光信号成像单元，用于根据所述分光单元所分解出的可见光信号进行感光成像，形成第一可见光图像；
所述非可见光信号成像单元，用于根据所述分光单元所分解出的非可见光信号进行感光成像，形成第一非可见光图像；
所述配准单元，用于对所述第一可见光图像和所述第一非可见光图像进行位置配准，得到目标可见光图像和第二非可见光图像；
所述预处理合成单元，用于对所述目标可见光图像进行色彩空间变换，得到所述目标可见光图像的亮度分量；并根据所述目标可见光图像的亮度分量和所述第二非可见光图像的亮度分量之间的差异，对所述第二非可见光图像进行亮度调整，得到目标非可见光图像；
所述融合单元，用于对所述目标可见光图像和所述目标非可见光图像进行图像融合，得到融合后图像。
2.根据权利要求1所述的图像采集设备，其特征在于，所述预处理合成单元具体用于：
对所述目标可见光图像进行色彩空间变换，得到所述目标可见光图像的亮度分量；
分别计算所述亮度分量的第一均值和第一方差，以及所述第二非可见光图像的亮度分量的第二均值和第二方差；
基于所述第一均值、所述第一方差、所述第二均值和所述第二方差，对所述第二非可见光图像的亮度分量进行全局映射处理；
利用预设的sobel边缘检测算子分别对所述目标可见光图像和所述第二非可见光图像进行卷积，得到所述目标可见光图像所对应的第一纹理图像和所述第二非可见光图像所对应的第二纹理图像；
利用全局映射处理后所得的亮度分量、所述目标可见光图像的亮度分量、所述第一纹理图像和所述第二纹理图像，对所述第二非可见光图像进行亮度调整，确定目标非可见光图像。
3.根据权利要求2所述的图像采集设备，其特征在于，所述预处理合成单元对所述第二非可见光图像的亮度分量进行全局映射处理所利用的公式为：
其中，y'N表示全局映射处理后所得的亮度分量，yN表示所述第二非可见光图像的亮度分量，μD表示所述第一均值，μN表示所述第二均值，σD表示所述第一方差，σN表示所述第二方差；
所述预处理合成单元所利用的所述预设的sobel边缘检测算子为：
所述预处理合成单元对所述第二非可见光图像进行亮度调整所利用的公式为：
其中，yAP表示目标非可见光图像，y'N表示全局映射处理后所得的亮度分量，yD表示所述目标可见光图像的亮度分量，tN表示所述第二纹理图像，tD表示所述第一纹理图像。
4.根据权利要求1-3任一项所述的图像采集设备，其特征在于，所述融合单元具体用于：
对所述目标可见光图像和所述目标非可见光图像按照所对应第一类权重值进行加权处理，得到融合后图像。
5.根据权利要求1-3任一项所述的图像采集设备，其特征在于，所述融合单元具体用于：
对所述目标可见光图像和所述目标非可见光图像进行分频融合，得到融合后图像。
6.根据权利要求5所述的图像采集设备，其特征在于，所述融合单元对所述目标可见光图像和所述目标非可见光图像进行分频融合的过程包括：
对所述目标可见光图像进行色彩空间变换，得到所述目标可见光图像的亮度分量和色彩分量；
对所述亮度分量进行低通滤波，得到所述目标可见光图像的低频信息；
对所述目标非可见光图像进行高通滤波，得到所述目标非可见光图像的高频信息；
对所述低频信息和所述高频信息按照所对应第二类权重值进行加权处理，得到待形成融合后图像所对应的亮度分量；
将所述待形成融合后图像所对应的亮度分量与所述目标可见光图像的色彩分量进行合并，得到融合后图像。
7.根据权利要求6所述的图像采集设备，其特征在于，所述融合单元对所述低频信息和所述高频信息按照所对应第二类权重值进行加权处理所利用的公式为：
yFus＝w*ylow+(1-w)*yAP+K*yhigh
其中，yFus表示待形成融合后图像所对应的亮度分量，yAP表示所述目标非可见光图像，ylow表示所述低频信息，yhigh表示所述高频信息，w表示所述低频信息所对应的第二类权重值，K表示所述高频信息所对应的第二类权重值。
8.根据权利要求7所述的图像采集设备，其特征在于，w基于所述目标非可见光图像和目标可见光图像的亮度分量的亮度差异所确定，其中，
其中，yAP表示所述目标非可见光图像，yD表示所述目标可见光图像的亮度分量，abs(yAP-yD)表示(yAP-yD)的绝对值，max(abs(yAP-yD))表示abs(yAP-yD)的最大值。
9.根据权利要求1-3任一项所述的图像采集设备，其特征在于，所述可见光信号成像单元与所述非可见光信号成像单元呈90°放置，所述分光单元的反射面与入射光成45°。
10.根据权利要求1-3任一项所述的图像采集设备，其特征在于，还包括：补光单元；
所述补光单元，用于对所述非可见光信号成像单元进行红外光补光。
11.根据权利要求10所述的图像采集设备，其特征在于，所述非可见光信号成像单元还用于在检测到自身所形成的第一非可见光图像符合预定补光条件时，向所述补光单元发送补光信号；
所述补光单元具体用于在接收到所述补光信号后，对所述非可见光信号成像单元进行红外光补光。
12.根据权利要求11所述的图像采集设备，其特征在于，所述预定补光条件为：
所述第一非可见光图像的信噪比低于预定阈值；
或者，
所述第一非可见光图像成像时自动曝光处理的增益等级低于预定等级。
CN201610830005.6A 2016-09-19 2016-09-19 分光融合的图像采集设备 Active CN107845083B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201610830005.6A CN107845083B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备
CN201911244691.9A CN111028188B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备
KR1020197010634A KR102247092B1 (ko) 2016-09-19 2017-06-02 분광-융합의 이미지 수집 기기
EP17850054.2A EP3518179B1 (en) 2016-09-19 2017-06-02 Light-splitting combined image collection device
PCT/CN2017/086976 WO2018049849A1 (zh) 2016-09-19 2017-06-02 分光融合的图像采集设备
JP2019536628A JP6847231B2 (ja) 2016-09-19 2017-06-02 分光・融合する画像収集装置
US16/334,257 US11328397B2 (en) 2016-09-19 2017-06-02 Light-splitting combined image collection device
SA519401342A SA519401342B1 (ar) 2016-09-19 2019-03-18 جهاز تجميع صورة مجمعة من تقسيم الضوء

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610830005.6A CN107845083B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911244691.9A Division CN111028188B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备

Publications (2)

Publication Number Publication Date
CN107845083A CN107845083A (zh) 2018-03-27
CN107845083B true CN107845083B (zh) 2019-12-20

Family

ID=61619856

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911244691.9A Active CN111028188B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备
CN201610830005.6A Active CN107845083B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911244691.9A Active CN111028188B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备

Country Status (7)

Country Link
US (1) US11328397B2 (zh)
EP (1) EP3518179B1 (zh)
JP (1) JP6847231B2 (zh)
KR (1) KR102247092B1 (zh)
CN (2) CN111028188B (zh)
SA (1) SA519401342B1 (zh)
WO (1) WO2018049849A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN110557527B (zh) * 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN110557526B (zh) 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 一种图像采集方法和系统
CN108965658A (zh) * 2018-06-25 2018-12-07 中国科学院自动化研究所 面向深度数码变焦的精配准图像采集装置
CN108650447B (zh) * 2018-07-06 2024-03-05 上海图漾信息科技有限公司 图像传感器、深度数据测量头及测量系统
CN109242815B (zh) * 2018-09-28 2022-03-18 合肥英睿系统技术有限公司 一种红外光图像和可见光图像融合方法及系统
CN111325701B (zh) * 2018-12-14 2023-05-09 杭州海康微影传感科技有限公司 图像处理方法、装置及存储介质
CN110378861B (zh) * 2019-05-24 2022-04-19 浙江大华技术股份有限公司 一种图像融合方法及装置
CN110490187B (zh) * 2019-05-31 2022-04-15 杭州海康威视数字技术股份有限公司 车牌识别设备和方法
CN110166675B (zh) * 2019-06-14 2024-02-13 深圳扑浪创新科技有限公司 同步拍摄装置与同步拍摄方法
CN110365878B (zh) * 2019-07-04 2022-05-17 华为技术有限公司 一种摄像装置和方法
CN110728703B (zh) * 2019-09-16 2023-05-12 东南大学 可见光图像与日盲紫外光图像的配准融合方法
KR102235127B1 (ko) * 2019-12-18 2021-04-01 세종대학교산학협력단 멀티모달 영상의 적응적 융합 방법 및 그 장치
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN113076954B (zh) * 2021-03-26 2022-06-21 广西科技大学 一种基于视杆细胞暗适应的轮廓检测方法
CN113160194B (zh) * 2021-04-28 2023-06-16 贵州电网有限责任公司 一种紫外和可见光图像的距离自适应配准方法
CN113286094B (zh) * 2021-05-27 2022-06-24 重庆紫光华山智安科技有限公司 图像自动曝光方法、装置、设备及介质
CN116471466B (zh) * 2023-06-12 2023-09-05 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置
CN116977184B (zh) * 2023-08-01 2024-03-19 南方电网数字电网研究院股份有限公司 输电线路图像获取方法、装置、计算机设备和存储介质
CN117201949A (zh) * 2023-11-08 2023-12-08 荣耀终端有限公司 图像处理方法、电子设备、分光设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714251A (zh) * 2009-12-22 2010-05-26 上海电力学院 一种红外与可见光伪彩色图像融合及增强方法
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合系统
CN105678727A (zh) * 2016-01-12 2016-06-15 四川大学 基于异构多核构架的红外光与可见光图像实时融合系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002139772A (ja) * 2000-10-31 2002-05-17 Olympus Optical Co Ltd カメラのファインダ装置
TW583600B (en) * 2002-12-31 2004-04-11 Ind Tech Res Inst Method of seamless processing for merging 3D color images
JP2006072401A (ja) * 2004-08-31 2006-03-16 Fujitsu Ltd 画像複合装置および画像複合方法
JP4534756B2 (ja) 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
JP5084594B2 (ja) * 2008-04-22 2012-11-28 キヤノン株式会社 眼科撮像装置
US20100231716A1 (en) * 2009-03-13 2010-09-16 Klaerner Mark A Vehicle-Mountable Imaging Systems and Methods
US8503778B2 (en) * 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
KR101048768B1 (ko) * 2009-06-10 2011-07-15 (주)실리콘화일 조도, 근접도 및 색온도 측정이 가능한 이미지센서
EP2309449B1 (en) * 2009-10-09 2016-04-20 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
US8326142B2 (en) * 2010-02-12 2012-12-04 Sri International Optical image systems
JP2013255144A (ja) 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
KR102035355B1 (ko) * 2013-07-22 2019-11-18 현대모비스 주식회사 영상 처리 방법 및 이를 위한 위한 장치
CN105432076B (zh) * 2013-07-25 2017-10-10 日立麦克赛尔株式会社 摄像装置
CN103793896B (zh) * 2014-01-13 2017-01-18 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法
CN103761724A (zh) * 2014-01-28 2014-04-30 中国石油大学(华东) 基于超现实亮度对比度传递算法的可见光与红外视频融合方法
JP6415066B2 (ja) * 2014-03-20 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP6355454B2 (ja) * 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN105874779B (zh) 2015-03-31 2019-09-06 深圳市大疆创新科技有限公司 成像装置及其补光控制方法、系统，以及可移动物体
CN105203159A (zh) * 2015-10-14 2015-12-30 武汉三江中电科技有限责任公司 单通道可见光与红外图像采集融合监测系统
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714251A (zh) * 2009-12-22 2010-05-26 上海电力学院 一种红外与可见光伪彩色图像融合及增强方法
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合系统
CN105678727A (zh) * 2016-01-12 2016-06-15 四川大学 基于异构多核构架的红外光与可见光图像实时融合系统

Also Published As

Publication number Publication date
WO2018049849A9 (zh) 2019-04-04
US11328397B2 (en) 2022-05-10
JP2019530940A (ja) 2019-10-24
CN111028188B (zh) 2023-05-02
KR102247092B1 (ko) 2021-04-30
CN107845083A (zh) 2018-03-27
EP3518179A4 (en) 2019-09-18
WO2018049849A1 (zh) 2018-03-22
CN111028188A (zh) 2020-04-17
SA519401342B1 (ar) 2023-06-01
JP6847231B2 (ja) 2021-03-24
KR20190047040A (ko) 2019-05-07
EP3518179B1 (en) 2024-02-28
EP3518179A1 (en) 2019-07-31
US20190213723A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN107845083B (zh) 分光融合的图像采集设备
CN109429001B (zh) 图像采集方法、装置、电子设备以及计算机可读存储介质
EP3343911B1 (en) Image signal processing method and system
US8018509B2 (en) Image input processing apparatus and method
WO2018070100A1 (ja) 画像処理装置、画像処理方法、及び撮影装置
JP6029954B2 (ja) 撮像装置
JP2008099218A (ja) 目標物検出装置
CN105359024B (zh) 摄像装置和摄像方法
CN107113408A (zh) 图像处理装置、图像处理方法、程序和系统
JP7412920B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017011634A (ja) 撮像装置およびその制御方法、並びにプログラム
CN107835351B (zh) 一种双摄像头模组以及终端
CN107995396B (zh) 一种双摄像头模组以及终端
JP2010272934A (ja) カラーバランス調整装置
CN115297268B (zh) 一种成像系统及图像处理方法
KR20200145670A (ko) 영상의 화이트 밸런스 보정을 수행하는 장치 및 방법
JP2012010141A (ja) 画像処理装置
JP2012008845A (ja) 画像処理装置
JP7254440B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP7136077B2 (ja) 画像処理装置及び撮像装置
US20210287335A1 (en) Information processing device and program
CN109314746A (zh) 图像传感器及其获取图像的方法、智能设备
CN101707722B (zh) 图像处理方法
JP2016177215A (ja) 撮像装置
JP2022007359A (ja) 画像処理装置、撮像システム、移動体、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant