CN108965654A - 基于单传感器的双光谱摄像机系统和图像处理方法 - Google Patents

基于单传感器的双光谱摄像机系统和图像处理方法 Download PDF

Info

Publication number
CN108965654A
CN108965654A CN201810143997.4A CN201810143997A CN108965654A CN 108965654 A CN108965654 A CN 108965654A CN 201810143997 A CN201810143997 A CN 201810143997A CN 108965654 A CN108965654 A CN 108965654A
Authority
CN
China
Prior art keywords
image
sensor
visible images
infrared
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810143997.4A
Other languages
English (en)
Other versions
CN108965654B (zh
Inventor
孙岳
陈多明
余恒乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201810143997.4A priority Critical patent/CN108965654B/zh
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to US16/965,832 priority patent/US11252345B2/en
Priority to HUE18904907A priority patent/HUE063697T2/hu
Priority to PL18904907.5T priority patent/PL3751833T3/pl
Priority to PCT/CN2018/110685 priority patent/WO2019153787A1/zh
Priority to EP18904907.5A priority patent/EP3751833B1/en
Priority to ES18904907T priority patent/ES2953107T3/es
Publication of CN108965654A publication Critical patent/CN108965654A/zh
Application granted granted Critical
Publication of CN108965654B publication Critical patent/CN108965654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供了一种基于单传感器的双光谱摄像机系统和图像处理方法，涉及图像采集处理技术领域，该摄像机系统包括镜头、图像传感器和依次相连的逻辑分光模块、图像融合模块；该图像传感器包括RGB感光单元与IR感光单元，该RGB感光单元的进光路上设置有红外截止滤波层；该图像传感器接收入射光线生成原始图像并发送给逻辑分光模块；该逻辑分光模块将原始图像转换分离为可见光图像和红外图像，并将它们发送给图像融合模块以生成融合图像。本发明实施例的目的在于提供一种基于单传感器的双光谱摄像机系统和图像处理方法，以使双光谱摄像机系统的光学构造更简单，利于摄像机设备体积更小型化、成本更低廉，并提升图像的效果。

Description

基于单传感器的双光谱摄像机系统和图像处理方法
技术领域
本发明涉及图像采集处理技术领域，尤其是涉及一种基于单传感器的双光谱摄像机系统和图像处理方法。
背景技术
传统彩色摄像机仅采集、利用可见光波段的信息，在低照、雾霾天等场景下，随着可见光强度降低、或者场景信息被阻挡，彩色图像效果将严重降质；而在这些场景下，通过适当的曝光控制，可以得到清晰、高信噪比的红外图像；但是另一方面，红外图像仅有灰度信息而无色彩信息。双光谱摄像机是一种能采集和处理可见光与红外光波段图像的摄像机设备，通过同时采集可见光图像与红外图像，再通过图像融合技术兼容上述两种图像的优势，从而得到增强的融合图像。
传统的双光谱摄像机一般采用双传感器设计方案，在该方案中通过两套分离的镜头与传感器组合，分别采集可见光彩色图像与红外图像，并对两种图像融合后再进行后续的图像处理、编码与传输等操作。对这一类方案，双镜头双传感器的硬件配置成本较高，且双镜头之间无法避免立体视差问题，给可见光与红外图像之间的配准与融合带来了技术上的困难。基于双镜头方案的一种改进是采用单镜头双传感器方案，通过在摄像机内部增加分光机构，将可见光与红外光分离，并分别在两块传感器上成像；这种方案可以避免立体视差问题，但是分光系统与双传感器的硬件配置使摄像机体积与成本增加。
此外，针对低照度、透雾等应用场景，常规的图像融合方法通常直接将可见光图像亮度分量与红外图像进行加权合成，由此得到的彩色融合图像难以避免因红外图像与可见光图像灰度特征不一致而导致的亮度、色彩失真问题。总的来说，现有的双光谱摄像机系统还存在光学构造较复杂、体积较大、成本较高，以及在图像融合过程中因红外图像和可见光图像的灰度特征不一致带来的偏色和亮度失真的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于单传感器的双光谱摄像机系统和图像处理方法，以使双光谱摄像机系统的光学构造更简单，利于摄像机设备体积更小型化、成本更低廉，并提升图像的效果。
第一方面，本发明实施例提供了一种基于单传感器的双光谱摄像机系统，包括：镜头、图像传感器和依次相连的逻辑分光模块、图像融合模块；该图像传感器包括RGB感光单元与IR感光单元，该RGB感光单元的进光路上设置有红外截止滤波层；该图像传感器接收自镜头入射的入射光线生成原始图像，并将该原始图像发送给逻辑分光模块；该逻辑分光模块将原始图像转换分离为可见光图像和红外图像，并将该可见光图像和该红外图像发送给上述图像融合模块以生成融合图像。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述红外截止滤波层设置于图像传感器的每个RGB感光单元的微透镜表面。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述红外截止滤波层设置于图像传感器的每个RGB感光单元的滤波片表面。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述图像传感器的二维像素阵列按4×4阵列单元周期性排列；该4×4阵列单元内部包含R、G、B、IR四种像素单元，像素数量之比R:G:B:IR为2:4:2:8。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述图像传感器用于根据双路自动曝光算法分别控制RGB感光单元和IR感光单元的曝光参数。
第二方面，本发明实施例还提供了一种图像处理方法，应用于摄像机，该摄像机包括图像传感器、逻辑分光模块和图像融合模块，该图像传感器包括RGB感光单元与IR感光单元；上述方法包括：通过图像传感器接收入射光线并生成原始图像；将该原始图像发送给逻辑分光模块，并通过该逻辑分光模块将原始图像转换分离为可见光图像和红外图像；将上述可见光图像和红外图像发送给图像融合模块，并通过该图像融合模块生成融合图像。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述摄像机还包括图像处理模块；该图像处理模块内运行双路自动曝光算法；该图像传感器内部设置有双曝光电路，用于分别控制RGB感光单元与IR感光单元的曝光参数；上述通过图像传感器接收入射光线并生成原始图像的步骤包括：由逻辑分光模块接收该图像传感器发送的上一帧原始图像，并将该图像分解为可见光图像与红外图像；根据双路自动曝光算法分别计算该可见光图像与该红外图像的曝光参数；图像传感器根据该曝光参数控制RGB感光单元与IR感光单元生成当前帧原始图像。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述通过逻辑分光模块将原始图像转换分离为可见光图像和红外图像的步骤包括：将原始图像中的各个单位阵列单元中的彩色像素值相加或取平均以得到彩色像素，由各个该彩色像素组合得到每个单位可见光图像单元；将原始图像中的各个单位阵列单元中的IR像素值相加或取平均以得到IR像素，由各个IR像素组合得到每个单位红外图像单元；由各个单位可见光图像单元组合得到可见光图像，由各个单位红外图像单元组合得到可见光图像和红外图像。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述通过图像融合模块生成融合图像的步骤包括：基于可见光图像估计环境照度相对值，并输出第一加权系数w1；基于可见光图像估计环境雾度相对值，并输出第二加权系数w2；对上述可见光图像进行色域转换得到该可见光图像的亮度分量和色度分量；由该可见光图像的亮度分量得到可见光亮度图像，并对该可见光亮度图像和该红外图像进行图像分层，得到可见光亮度图像低频层、可见光亮度图像细节层和红外图像细节层；利用上述第一加权系数、第二加权系数、可见光亮度图像低频层、可见光亮度图像细节层和红外图像细节层，对可见光亮度分量和红外图像进行融合得到融合图像的亮度分量；利用该融合图像的亮度分量和该可见光图像的色度分量通过色域转换得到融合图像。
结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，上述对可见光图像进行色域转换得到该可见光图像的亮度分量和色度分量的步骤包括：将该可见光图像从Bayer域转换到RGB域；将该可见光图像从RGB域转换到一个亮度和色度分离的色彩空间，得到该可见光图像的亮度分量和色度分量。
本发明实施例带来了以下有益效果：
本发明实施例提供的基于单传感器的双光谱摄像机系统和图像处理方法，其中，该基于单传感器的双光谱摄像机系统包括：镜头、图像传感器和依次相连的逻辑分光模块、图像融合模块；该图像传感器包括RGB感光单元与IR感光单元，该RGB感光单元的进光路上设置有红外截止滤波层；该图像传感器接收自镜头入射的入射光线生成原始图像，并将该原始图像发送给逻辑分光模块；该逻辑分光模块将原始图像转换分离为可见光图像和红外图像，并将该可见光图像和该红外图像发送给图像融合模块以生成融合图像；可以使双光谱摄像机系统的光学构造更简单，利于摄像机设备体积更小型化、成本更低廉。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于单传感器的双光谱摄像机系统的结构示意图；
图2为本发明实施例提供的一种RGB-IR感光单元结构示意图；
图3为本发明实施例提供的一种RGB-IR图像传感器感光单元排列示意图；
图4为本发明实施例提供的一种逻辑分光实现示意图；
图5为本发明实施例提供的另一种基于单传感器的双光谱摄像机系统结构示意图；
图6为本发明实施例提供的一种图像处理方法流程示意图；
图7为本发明实施例提供的一种双路曝光控制流程示意图。
图标：
11-镜头；12-图像传感器；13-逻辑分光模块；14-图像融合模块；121-RGB感光单元；122-IR感光单元；21-微透镜；22-滤波片；23-光电二极管；24-硅衬底材料；25-红外截止滤波层；51-图像处理模块；52-图像编码与网络模块；71-光圈；72-红外补光灯。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有的单镜头双传感器双光谱摄像机，在环境光进入摄像机后先经过分光系统，分解为可见光与红外光，然后在分离的两套传感器上分别成像得到可见光彩色图像与红外图像，通过图像融合模块将可见光图像与红外图像进行融合，再对融合图像进行常规的图像处理、压缩编码、数据传输等操作，这种摄像机的光学构造较为复杂，需增加分光机构，不利于摄像机设备的小型化设计与成本控制。另外，常规的图像融合方法通常是直接将可见光图像亮度分量与红外图像进行加权合成，由此得到的彩色融合图像难以避免因红外图像与可见光图像灰度特征不一致导致的亮度、色彩失真问题。
基于此，在本发明实施例提供的一种基于单传感器的双光谱摄像机系统和图像处理方法中，首先，针对现有双光谱摄像机系统光学构造复杂、体积较大的问题，提出一种基于单传感器的双光谱摄像机系统设计，其光学构造简单，有利于摄像机设备的小型化设计；其次，还提出了一种改进的RGB-IR传感器方案，实现可见光图像与红外图像曝光的独立控制，且有较好的信噪比与色彩表现；并且，还提供了一种有效的图像融合算法，优化了红外图像与可见光图像灰度特征不一致带来的偏色与亮度失真问题，同时使低照、雾霾天等恶劣场景的图像效果得到提升。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于单传感器的双光谱摄像机系统进行详细介绍。
实施例一
如图1所示，为本发明实施例提供的一种基于单传感器的双光谱摄像机系统的结构示意图，由图1可见，该双光谱摄像机系统包括：镜头11、图像传感器12和依次相连的逻辑分光模块13、图像融合模块14。其中，该图像传感器12包括RGB感光单元121与IR感光单元122，并且在该RGB感光单元121的进光路上设置有红外截止滤波层。该图像传感器12接收自镜头11入射的入射光线生成原始图像，并将该原始图像发送给上述逻辑分光模块13；逻辑分光模块13将该原始图像转换分离为可见光图像和红外图像，并将该可见光图像和该红外图像发送给上述图像融合模块14以生成融合图像。
这里，上述图像传感器12是一种改进后的RGB-IR传感器，可同时采集可见光图像与红外图像，且这两种图像的曝光参数可以独立控制，生成的可见光彩色图像具有信噪比高、色彩表现好等优点；通过结合双路曝光控制方式，该图像传感器12可以保证可见光彩色图像与红外图像在各种复杂场景下均能得到最佳的曝光与图像效果。
相比传统的RGB-IR传感器设计，本发明实施例提供的图像传感器12的一处关键改进，是在每一个RGB感光单元121的进光路上增加了一层红外截止滤波层，保证R、G、B像素单元只感应可见光信息，避免图像偏色。这里，该红外截止滤波层的的光谱特性是通过可见光成分(波长390-780nm)而截止红外光成分(波长800nm以上)。在一种或多种可能的实施方式中，该红外截止滤波层设置于图像传感器12的每个RGB感光单元121的微透镜表面或者设置于图像传感器12的每个RGB感光单元121的滤波片表面。如图2所示，为本发明实施例提供的一种RGB-IR感光单元122结构示意图，由图2可见，该感光单元包括：微透镜21、滤波片22、光电二极管23、硅衬底材料24和红外截止滤波层25。其中，微透镜21用于聚光以改善器件感光性能；滤波片22用于选取所需感光波段的光学器件，不同感光单元采用不同滤波片22；光电二极管23用于将采集到的光信号转化为电信号进行后续传输处理。在图2示出的实施方式中，红外截止滤波层25设置于图像传感器12的每个RGB感光单元121的滤波片22表面。
需要注意的是，上述红外截止滤波层25只加在RGB感光单元121中，不能加在IR感光单元122中。对于图2示出的RGB-IR感光单元，其光谱响应的特性为：RGB单元仅感应可见光波段信息；IR单元主要感应近红外波段信息，波长范围为800nm-1000nm。本发明实施例提供的图像传感器12，一方面保证了RGB感光单元121成像得到的彩色图像仅包含可见光信息而不会发生偏色，另一方面使得IR感光单元122成像得到的红外图像与彩色图像可以有相互独立的曝光参数，从理论上确保彩色图像与红外图像均达到最佳的曝光与成像效果。
对于本发明实施例中的图像传感器12，其二维像素阵列由4×4阵列单元周期性排列而成；每个4×4阵列单元内部包含了R、G、B、IR四种像素单元，其像素数量之比为R:G:B:IR＝2:4:2:8。每一个4×4阵列单元又可以分为四个2×2阵列单元，每个2×2阵列单元由一对IR单元与一对彩色单元(R、G、B单元任取其一)组成，共分为三种组合形式，分别为IR+R组合、IR+G组合以及IR+B组合。其中，2×2阵列单元内部的两个IR单元按对角分布，两个彩色单元也按对角分布。每个4×4阵列单元中所包括的四个2×2阵列单元，分别为一个IR+R组合单元、一个IR+B组合单元以及两个IR+G组合单元，并且，IR+R组合单元与IR+B组合单元按对角分布，两个IR+G组合单元也按对角分布。如图3所示，为本发明实施例提供的一种RGB-IR图像传感器12感光单元排列示意图，由图3可见，图3中(1)-(4)所示分别为上述描述的四种4×4阵列单元内部的像素排布方式，图3右侧所示为按(1)所示方式排布的4×4阵列单元构成的图像传感器12阵列示意图。
这里，图像传感器12将RGB-IR格式的图像数据输出到逻辑分光模块13，该逻辑分光模块13再将该RGB-IR格式的图像数据转换为分离的可见光图像与红外图像；其中，可见光图像为Bayer格式，红外图像为灰度图。这个图像分离过程是在逻辑器件(FPGA、ASIC、DSP等)上以数字图像处理方式实现的，有别于传统的光学分光，故称为逻辑分光。
如图4所示，为本发明实施例提供的一种逻辑分光实现示意图，在图4示出的实施方式中，以RGB-IR格式原始图像的一个4×4阵列单元为例进行说明。该阵列单元分为四个2×2阵列单元，分别为一个IR+R组合单元、一个IR+B组合单元以及两个IR+G组合单元。首先，分别将这四个2×2阵列单元中的彩色像素值相加或取平均，得到四个彩色像素，包括一个R、一个B和两个G，组合成一个2×2大小的可见光图像Bayer单元，如图4中(1)所示；其次，分别将这四个2×2阵列单元中的IR像素值相加或取平均，得到四个IR像素，组合成一个2×2大小的红外图像单元，如图4中(2)所示；最后，遍历RGB-IR图像所有4×4阵列单元，重复上述操作，最终可得到一幅Bayer格式的可见光图像与一幅红外图像，它们的分辨率均为原始RGB-IR图像分辨率的1/4，其宽、高均为RGB-IR格式原始图像的一半。这里，可见光图像与红外图像的像素感光性(信噪比)相比原始RGB-IR图像得到了提升，因为可见光图像与红外图像的每一个像素值是原RGB-IR图像两个对应像素值之和(或取平均)，而理论计算表明，在白噪声模型下，相同信噪比的n个像素值之和(或取平均)的信噪比为原像素信噪比的√n倍，这表明上述降分辨率处理有助于在低照、雾霾天等场景下图像效果的提升。
逻辑分光模块13在通过上述降分辨率处理后，得到的可见光图像的Bayer域信息完整，与常规彩色传感器相似；而传统的非降分辨率的RGB-IR传感器必然存在部分彩色像素被IR像素代替而导致的彩色信息丢失问题，进而导致色彩失真、色彩混叠等问题；因此，本发明实施例提供的双光谱摄像机系统，其图像传感器12与逻辑分光模块13输出的可见光图像的色彩表现应当优于传统RGB-IR传感器的可见光图像的色彩表现。
另外，上述图像传感器12还用于根据双路自动曝光算法分别控制RGB感光单元121和IR感光单元122的曝光参数。并且，图像融合模块14将逻辑分光模块13输出的可见光图像与红外图像进行融合，输出融合图像；融合图像为Bayer格式。与融合前的可见光图像相比，融合图像在低照、雾霾天等场景下可以达到更好的信噪比、清晰度、色彩表现等。图像融合模块14是在摄像机中的逻辑器件(FPGA、ASIC、DSP等)上实现的。此外，在本发明实施例中，对于镜头11的要求包括：第一，该镜头11从可见光波段(390nm-780nm)到近红外波段(800nm-1000nm)都有较好的光强通过率；第二，该镜头11是可见光与红外光共焦镜头，保证可见光与红外光在图像传感器12处的成像能同时达到清晰。
在实际应用中，如图5所示，为本发明实施例提供的另一种基于单传感器的双光谱摄像机系统结构示意图，由图5可见，该摄像机系统包括：镜头11、图像传感器12、逻辑分光模块13、图像融合模块14、图像处理模块51以及图像编码与网络模块52。其中，图像处理模块51用于接收来自图像融合模块14的融合图像，对其进行传统的图像信号处理(如白平衡、色彩校正、降噪、对比度调节等)来增强图像效果；并运算自动曝光、自动聚焦等算法，控制传感器与镜头11使采集到的可见光与红外图像达到最佳的画面亮度与清晰度。并且，图像编码与网络模块52用于对图像处理模块51输出的图像进行编码压缩，并通过网络传输将图像数据保存至外部设备中。
本发明实施例提供的一种基于单传感器的双光谱摄像机系统，通过在感光单元进光路上设置红外截止滤波层，结合双路曝光控制方式，实现了可见光与红外图像曝光的独立控制；另外，通过优化像素阵列的排布方式、以及降分辨率的逻辑分光设计，使采集到的图像相比常规的非降分辨率RGB-IR传感器具有信噪比高、色彩表现好等优势。
实施例二
本发明实施例二还提供了一种图像处理方法，该方法应用于摄像机，该摄像机包括图像传感器12、逻辑分光模块13、图像融合模块14和图像处理模块51，其中，该图像传感器12包括RGB感光单元121与IR感光单元122。如图6所示，为本发明实施例提供的一种图像处理方法流程示意图，由图6可见，该图像处理方法的步骤包括：
步骤S601：通过图像传感器接收入射光线并生成原始图像；在生成该原始图像的过程中，上述图像处理模块用于控制RGB感光单元与IR感光单元分别曝光。
其中，在图像处理模块51内运行双路自动曝光算法，并且该图像传感器12内部设置有双曝光电路，用于分别控制RGB感光单元121与IR感光单元122的曝光参数。首先，由逻辑分光模块13接收图像传感器12发送的上一帧原始图像，并将该图像分解为可见光图像与红外图像；其次，根据双路自动曝光算法分别计算上述可见光图像与红外图像的曝光参数；然后，图像传感器12根据上述曝光参数控制RGB感光单元121与述IR感光单元122生成当前帧原始图像。
这里，对于双路曝光的控制实现进行更详细地说明。为了保证可见光图像与红外图像同时达到最佳的曝光效果，一方面需要在图像处理模块51(ISP芯片)上运行双路自动曝光(AE)算法，另一方面需要在图像传感器12内部实现双曝光电路，分离控制RGB感光单元121与IR感光单元122的曝光时间与增益。
如图7所示，为本发明实施例提供的一种双路曝光控制流程示意图，在图7示出的实施方式中，该双路曝光控制包括的硬件部分有：图像传感器12、逻辑分光模块13、图像处理模块51、光圈71和红外补光灯72。首先，逻辑分光模块13将原始图像分解为可见光图像与红外图像后，分别统计两者图像的全局、局部亮度信息，生成可见光图像与红外图像的统计数据；其次，在图像处理模块51上运行两路自动曝光(AE)算法：其中一路AE算法接收可见光图像的统计数据，运算得到可见光图像的曝光参数，包括光圈值、快门、增益值等；另一路AE算法接收红外图像的统计数据，运算得到红外图像的曝光参数，包括快门、增益、红外灯补光强度等；然后，分别将可见光与红外图像曝光参数下发，其中可见光图像的快门、传感器增益值下发至图像传感器12的RGB感光单元121对应的寄存器中生效，而红外图像的快门、传感器增益值下发至图像传感器12的IR感光单元122对应的寄存器中生效；另外，可见光图像AE运算得到的光圈值与红外图像AE运算得到的红外补光灯72的强度值分别下发至相应的光圈71与红外补光灯72的控制器中生效。通过上述双路曝光控制方式，可以实现可见光图像与红外图像同时达到最佳的曝光效果。
在至少一种实施方式中，该图像处理模块51还可以采用常规的单曝光控制算法实现曝光，通过运算一路AE算法得到单一一套曝光参数，再控制图像传感器中所有感光单元(包括RGB单元与IR单元)的曝光。首先，图像融合模块通过对可见光图像与红外图像进行融合得到融合图像，统计该融合图像的全局与局部亮度信息生成统计信息，并将其提供给AE算法运算；其次，AE算法运算得到曝光控制参数，并将快门与传感器增益下发给图像传感器生效，以及将光圈值、红外补光灯强度值分别下发至相应的光圈与红外补光灯控制器中生效。
步骤S602：将原始图像发送给逻辑分光模块，并通过该逻辑分光模块将该原始图像转换分离为可见光图像和红外图像。
在生成原始图像之后，摄像机将原始图像发送给逻辑分光模块13，接着，逻辑分光模块13将原始图像中的各个单位阵列单元中的彩色像素值相加或取平均以得到彩色像素，由各个彩色像素组合得到每个单位可见光图像单元；并且，将原始图像中的各个单位阵列单元中的IR像素值相加或取平均以得到IR像素，再由各个IR像素组合得到每个单位红外图像单元；最后，由各个单位可见光图像单元组合得到可见光图像，由各个单位红外图像单元组合得到可见光图像和红外图像。
步骤S603：将上述可见光图像和红外图像发送给图像融合模块，并通过该图像融合模块生成融合图像。
在通过图像融合模块14生成融合图像的过程中，首先，基于可见光图像估计环境照度相对值，并输出第一加权系数w1。具体如下：获取可见光图像的画面亮度Lvis、快门时间Tshutter、传感器增益Gain，计算环境照度相对值Lenv，其中Lenv＝Lvis/(Tshutter×Gain)；通过计算得到的环境照度相对值Lenv，以及预设环境照度阈值LT1、LT2，计算第一合成系数ω1。计算公式如下：
其中双阈值满足LT1<LT2；第一加权系数ω1介于0与1之间，在阈值范围[LT1,LT2]内，照度越低，ω1越大。
其次，基于可见光图像估计环境雾度相对值，并输出第二加权系数w2。具体如下：首先，求取可见光图像的暗通道图像，并求暗通道图像的平均值，得到环境雾度相对值Sfog；其次，根据所求环境雾度相对值Sfog以及预设雾度阈值ST1、ST2，计算第二合成系数ω2，计算公式如下：
其中双阈值满足ST1<ST2；第二加权系数ω2介于0与1之间，在阈值范围[ST1,ST2]内，雾度越大，ω2越大。
然后，对可见光图像进行色域转换得到可见光图像的亮度分量和色度分量，这里，需要将可见光图像从Bayer域转换到RGB域，再将可见光图像从RGB域转换到一个亮度和色度分离的色彩空间(如HSV、YIQ、YUV、Lab等)，从而得到可见光图像的亮度分量和色度分量。
接着，由可见光图像的亮度分量得到可见光亮度图像，并对该可见光亮度图像和该红外图像进行图像分层，得到可见光亮度图像低频层、可见光亮度图像细节层和红外图像细节层。
并且，利用上述第一加权系数、第二加权系数、可见光亮度图像低频层、可见光亮度图像细节层和红外图像细节层，对可见光亮度分量和红外图像进行融合得到融合图像的亮度分量。
融合图像的亮度分量计算公式为：
c＝max(ω1,ω2),
Dcomb＝c·DIR+(1-c)·DvisY,
Ycomb＝BvisY+Dcomb. (3)
上式中，BvisY、DvisY分别为可见光图像亮度分量低频层与细节层，DIR为红外图像细节层，YComb融合图像亮度分量，合成系数ω1、ω2分别由式(1)与式(2)计算得到。通过上述图像分层加细节层合成的方式，可以尽量避免红外与可见光图像灰度特征不一致导致的合成图像亮度、色彩失真问题，提升融合图像效果。
最后，利用该融合图像的亮度分量和可见光图像的色度分量通过色域转换得到融合图像。
上述图像融合算法还可兼容处理低照、雾霾天等场景的画面效果提升，当环境照度过低、或者环境雾度过高时，可以自适应地增加融合图像中红外成分的贡献，提升信噪比；针对红外与可见光图像灰度特征不一致问题，采用图像分层加细节层融合的方式，可以避免融合图像的局部亮度与色彩失真问题，得到更细腻、真实的融合图像。
总的来说，本发明实施例提供的基于单传感器的双光谱摄像机系统和图像处理方法，可以使双光谱摄像机系统的光学构造更简单，有利于摄像机设备体积更小型化、成本更低廉，并提升了图像的效果。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于单传感器的双光谱摄像机系统，其特征在于，包括：镜头、图像传感器和依次相连的逻辑分光模块、图像融合模块；
所述图像传感器包括RGB感光单元与IR感光单元，所述RGB感光单元的进光路上设置有红外截止滤波层；
所述图像传感器接收自所述镜头入射的入射光线生成原始图像，并将所述原始图像发送给所述逻辑分光模块；
所述逻辑分光模块将所述原始图像转换分离为可见光图像和红外图像，并将所述可见光图像和所述红外图像发送给所述图像融合模块以生成融合图像。
2.根据权利要求1所述的基于单传感器的双光谱摄像机系统，其特征在于，所述红外截止滤波层设置于所述图像传感器的每个RGB感光单元的微透镜表面。
3.根据权利要求1所述的基于单传感器的双光谱摄像机系统，其特征在于，所述红外截止滤波层设置于所述图像传感器的每个RGB感光单元的滤波片表面。
4.根据权利要求1所述的基于单传感器的双光谱摄像机系统，其特征在于，所述图像传感器的二维像素阵列按4×4阵列单元周期性排列；所述4×4阵列单元内部包含R、G、B、IR四种像素单元，像素数量之比R:G:B:IR为2:4:2:8。
5.根据权利要求1所述的基于单传感器的双光谱摄像机系统，其特征在于，所述图像传感器用于根据双路自动曝光算法分别控制所述RGB感光单元和所述IR感光单元的曝光参数。
6.一种图像处理方法，其特征在于，应用于摄像机，所述摄像机包括图像传感器、逻辑分光模块和图像融合模块，所述图像传感器包括RGB感光单元与IR感光单元；
所述方法包括：
通过所述图像传感器接收入射光线并生成原始图像；
将所述原始图像发送给所述逻辑分光模块，并通过所述逻辑分光模块将所述原始图像转换分离为可见光图像和红外图像；
将所述可见光图像和所述红外图像发送给所述图像融合模块，并通过所述图像融合模块生成融合图像。
7.根据权利要求6所述的图像处理方法，其特征在于，所述摄像机还包括图像处理模块；所述图像处理模块内运行双路自动曝光算法；所述图像传感器内部设置有双曝光电路，用于分别控制RGB感光单元与IR感光单元的曝光参数；
所述通过所述图像传感器接收入射光线并生成原始图像的步骤包括：
由所述逻辑分光模块接收所述图像传感器发送的上一帧原始图像，并将所述图像分解为可见光图像与红外图像；
根据所述双路自动曝光算法分别计算所述可见光图像与所述红外图像的曝光参数；
所述图像传感器根据所述曝光参数控制所述RGB感光单元与所述IR感光单元生成当前帧原始图像。
8.根据权利要求6所述的图像处理方法，其特征在于，所述通过所述逻辑分光模块将所述原始图像转换分离为可见光图像和红外图像的步骤包括：
将原始图像中的各个单位阵列单元中的彩色像素值相加或取平均以得到彩色像素，由各个所述彩色像素组合得到每个单位可见光图像单元；
将所述原始图像中的各个单位阵列单元中的IR像素值相加或取平均以得到IR像素，由各个所述IR像素组合得到每个单位红外图像单元；
由各个所述单位可见光图像单元组合得到可见光图像，由各个所述单位红外图像单元组合得到可见光图像和红外图像。
9.根据权利要求6所述的图像处理方法，其特征在于，所述通过所述图像融合模块生成融合图像的步骤包括：
基于所述可见光图像估计环境照度相对值，并输出第一加权系数w1；
基于所述可见光图像估计环境雾度相对值，并输出第二加权系数w2；
对所述可见光图像进行色域转换得到所述可见光图像的亮度分量和色度分量；
由所述可见光图像的亮度分量得到可见光亮度图像，并对所述可见光亮度图像和所述红外图像进行图像分层，得到可见光亮度图像低频层、可见光亮度图像细节层和红外图像细节层；
利用所述第一加权系数、所述第二加权系数、所述可见光亮度图像低频层、所述可见光亮度图像细节层和所述红外图像细节层，对所述可见光亮度分量和所述红外图像进行融合得到融合图像的亮度分量；
利用所述融合图像的亮度分量和所述可见光图像的色度分量通过色域转换得到融合图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述对所述可见光图像进行色域转换得到所述可见光图像的亮度分量和色度分量的步骤包括：
将所述可见光图像从Bayer域转换到RGB域；
将所述可见光图像从RGB域转换到一个亮度和色度分离的色彩空间，得到所述可见光图像的亮度分量和色度分量。
CN201810143997.4A 2018-02-11 2018-02-11 基于单传感器的双光谱摄像机系统和图像处理方法 Active CN108965654B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201810143997.4A CN108965654B (zh) 2018-02-11 2018-02-11 基于单传感器的双光谱摄像机系统和图像处理方法
HUE18904907A HUE063697T2 (hu) 2018-02-11 2018-10-17 Egyetlen érzékelõn alapuló kétspektrumú kamerarendszer és képfeldolgozási eljárás
PL18904907.5T PL3751833T3 (pl) 2018-02-11 2018-10-17 System kamery o podwójnym spektrum oparty na pojedynczym czujniku oraz sposób przetwarzania obrazów
PCT/CN2018/110685 WO2019153787A1 (zh) 2018-02-11 2018-10-17 基于单传感器的双光谱摄像机系统和图像处理方法
US16/965,832 US11252345B2 (en) 2018-02-11 2018-10-17 Dual-spectrum camera system based on a single sensor and image processing method
EP18904907.5A EP3751833B1 (en) 2018-02-11 2018-10-17 Single sensor-based dual-spectral camera system and image processing method
ES18904907T ES2953107T3 (es) 2018-02-11 2018-10-17 Sistema de cámara de doble espectro basado en un único sensor y método de procesamiento de imágenes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810143997.4A CN108965654B (zh) 2018-02-11 2018-02-11 基于单传感器的双光谱摄像机系统和图像处理方法

Publications (2)

Publication Number Publication Date
CN108965654A true CN108965654A (zh) 2018-12-07
CN108965654B CN108965654B (zh) 2020-12-25

Family

ID=64495785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810143997.4A Active CN108965654B (zh) 2018-02-11 2018-02-11 基于单传感器的双光谱摄像机系统和图像处理方法

Country Status (7)

Country Link
US (1) US11252345B2 (zh)
EP (1) EP3751833B1 (zh)
CN (1) CN108965654B (zh)
ES (1) ES2953107T3 (zh)
HU (1) HUE063697T2 (zh)
PL (1) PL3751833T3 (zh)
WO (1) WO2019153787A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413836A (zh) * 2019-07-18 2019-11-05 湖南宏动光电有限公司 一种全景搜索系统
CN110445961A (zh) * 2019-07-10 2019-11-12 中山联合光电科技股份有限公司 一种双光可调拍摄系统
CN110445963A (zh) * 2019-07-10 2019-11-12 中山联合光电科技股份有限公司 一种多光拍摄系统
CN110460753A (zh) * 2019-07-10 2019-11-15 中山联合光电科技股份有限公司 一种可调光程的多光拍摄系统
CN110493579A (zh) * 2019-03-14 2019-11-22 杭州海康威视数字技术股份有限公司 一种彩色透雾方法、装置、摄像机及图像处理系统
CN110493495A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110493493A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110574367A (zh) * 2019-07-31 2019-12-13 华为技术有限公司 一种图像传感器和图像感光的方法
CN110840386A (zh) * 2019-12-19 2020-02-28 中国科学院长春光学精密机械与物理研究所 基于单探测器的可见光和近红外荧光3d共成像内窥镜系统
CN111007020A (zh) * 2019-12-23 2020-04-14 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用
CN111064899A (zh) * 2019-12-06 2020-04-24 成都华为技术有限公司 一种曝光参数的调节方法及装置
CN111144222A (zh) * 2019-12-03 2020-05-12 宁波华高信息科技有限公司 一种基于多光源传感装置的数据采集鉴伪方法
CN111738969A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN111951200A (zh) * 2019-05-15 2020-11-17 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
CN113179379A (zh) * 2021-04-22 2021-07-27 太原理工大学 基于单个敏感器件的可见光与近红外成像的视觉传感器
CN113271414A (zh) * 2020-02-14 2021-08-17 上海海思技术有限公司 图像获取方法和装置
CN113411501A (zh) * 2021-06-29 2021-09-17 杭州晶耐科光电技术有限公司 基于嵌入式及双光谱成像的无人机载电力巡检方法及系统
WO2021217521A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 摄像机及获取图像的方法
CN114125188A (zh) * 2020-08-26 2022-03-01 信泰光学(深圳)有限公司 镜头装置
CN114143427A (zh) * 2021-11-23 2022-03-04 歌尔科技有限公司 摄像头组件、移动终端和基于摄像头的体温测量方法
CN114143443A (zh) * 2020-09-04 2022-03-04 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN114422671A (zh) * 2021-12-30 2022-04-29 中电海康集团有限公司 一种基于fpga的双光谱相机
CN114710611A (zh) * 2022-04-11 2022-07-05 东莞理工学院 一种日夜共焦的高清监控摄像头
CN115174794A (zh) * 2022-08-11 2022-10-11 哈尔滨工业大学（深圳） 一种双光融合成像芯片、双光图片融合处理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493309A (zh) * 2018-11-20 2019-03-19 北京航空航天大学 一种保持显著性信息的红外与可见光图像变分融合方法
FR3091114B1 (fr) * 2018-12-19 2021-06-11 Valeo Comfort & Driving Assistance dispositif de capture d’images et système de surveillance d’un conducteur associé
KR20200090347A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN112584109A (zh) * 2019-09-30 2021-03-30 长城汽车股份有限公司 车用摄像装置及车用图像处理方法
KR20210043933A (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
US10951869B1 (en) * 2019-12-11 2021-03-16 Karl Storz Imaging, Inc. System for optimizing blended video streams
JP2022029026A (ja) * 2020-08-04 2022-02-17 キヤノン株式会社 撮像装置
US11689822B2 (en) * 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN113286094B (zh) * 2021-05-27 2022-06-24 重庆紫光华山智安科技有限公司 图像自动曝光方法、装置、设备及介质
CN113786179A (zh) * 2021-09-27 2021-12-14 北方工业大学 红外与光学图像融合的人体血压实时测量方法及装置
JP2023090492A (ja) * 2021-12-17 2023-06-29 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置
CN116962886A (zh) * 2022-04-07 2023-10-27 安霸国际有限合伙企业 用于rgb-ir传感器的智能自动曝光控制
WO2024210659A1 (ko) * 2023-04-06 2024-10-10 (주) 픽셀플러스 이미지 센싱 장치 및 이미지 처리 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686111A (zh) * 2013-12-31 2014-03-26 上海富瀚微电子有限公司 一种基于rgbir图像传感器的颜色校正方法以及装置
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
US20160057367A1 (en) * 2014-08-25 2016-02-25 Hyundai Motor Company Method for extracting rgb and nir using rgbw sensor
JP2016052115A (ja) * 2014-08-29 2016-04-11 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN106572289A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN107438170A (zh) * 2016-05-25 2017-12-05 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
US20170374299A1 (en) * 2016-06-28 2017-12-28 Intel Corporation Color correction of rgbir sensor stream based on resolution recovery of rgb and ir channels

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040256561A1 (en) * 2003-06-17 2004-12-23 Allyson Beuhler Wide band light sensing pixel array
JP4385284B2 (ja) 2003-12-24 2009-12-16 ソニー株式会社 撮像装置及び撮像方法
US7809426B2 (en) * 2004-04-29 2010-10-05 The Cleveland Clinic Foundation Acquiring contrast-enhanced, T1 weighted, cine magnetic resonance images
ATE430345T1 (de) * 2005-08-08 2009-05-15 Mep Imaging Technologies Ltd Adaptive belichtungssteuerung
US8446480B2 (en) * 2006-12-20 2013-05-21 Nokia Corporation Exposure control based on image sensor cost function
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
WO2010116974A1 (ja) * 2009-04-07 2010-10-14 ローム株式会社 光電変換装置および撮像装置
WO2011023224A1 (en) * 2009-08-25 2011-03-03 Iplink Limited Reducing noise in a color image
US8692198B2 (en) * 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
US20110317048A1 (en) * 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
US8581995B2 (en) * 2011-01-25 2013-11-12 Aptina Imaging Corporation Method and apparatus for parallax correction in fused array imaging systems
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
JP2014078052A (ja) * 2012-10-09 2014-05-01 Sony Corp 認証装置および方法、並びにプログラム
US9348019B2 (en) * 2012-11-20 2016-05-24 Visera Technologies Company Limited Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel
KR101744761B1 (ko) * 2012-11-30 2017-06-09 한화테크윈 주식회사 영상처리장치 및 방법
CN105981082B (zh) * 2013-10-07 2018-08-31 谷歌有限责任公司 提供针对检测事件的有用的跟踪通信的智能住家危险检测器
KR102241706B1 (ko) * 2013-11-13 2021-04-19 엘지전자 주식회사 3차원 카메라 및 그 제어 방법
US20150200220A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Image sensing system
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
US20150287766A1 (en) * 2014-04-02 2015-10-08 Tae-Chan Kim Unit pixel of an image sensor and image sensor including the same
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
CN105988215B (zh) * 2015-02-15 2020-03-06 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
US10145678B2 (en) * 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
CN104822033B (zh) * 2015-05-05 2017-09-01 太原理工大学 一种红外与可见光图像融合的视觉传感器及其使用方法
CN105049829B (zh) 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US10056417B2 (en) * 2016-03-10 2018-08-21 Visera Technologies Company Limited Image-sensor structures
JP2017168925A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
US20180295336A1 (en) * 2017-04-11 2018-10-11 Himax Imaging Limited IMAGING SYSTEM FOR SENSING 3D image
US20180309919A1 (en) * 2017-04-19 2018-10-25 Qualcomm Incorporated Methods and apparatus for controlling exposure and synchronization of image sensors
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
WO2020042149A1 (zh) * 2018-08-31 2020-03-05 深圳市大疆创新科技有限公司 图像处理系统和方法
WO2020056567A1 (zh) * 2018-09-18 2020-03-26 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
DE102019123356A1 (de) * 2019-08-30 2021-03-04 Schölly Fiberoptic GmbH Sensoranordnung, Verfahren zur Berechnung eines Farbbildes und eines hyperspektralen Bildes, Verfahren zur Durchführung eines Weißabgleichs und Verwendung der Sensoranordnung in der medizinischen Bildgebung
KR102708025B1 (ko) * 2019-12-18 2024-09-23 엘지전자 주식회사 영상획득장치 및 방법
US11069104B1 (en) * 2020-05-13 2021-07-20 Facebook Technologies, Llc Display that uses a light sensor to generate environmentally matched artificial reality content

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686111A (zh) * 2013-12-31 2014-03-26 上海富瀚微电子有限公司 一种基于rgbir图像传感器的颜色校正方法以及装置
US20160057367A1 (en) * 2014-08-25 2016-02-25 Hyundai Motor Company Method for extracting rgb and nir using rgbw sensor
JP2016052115A (ja) * 2014-08-29 2016-04-11 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
CN104639923A (zh) * 2015-02-04 2015-05-20 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端
CN104683767A (zh) * 2015-02-10 2015-06-03 浙江宇视科技有限公司 透雾图像生成方法及装置
CN107438170A (zh) * 2016-05-25 2017-12-05 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
US20170374299A1 (en) * 2016-06-28 2017-12-28 Intel Corporation Color correction of rgbir sensor stream based on resolution recovery of rgb and ir channels
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
CN106572289A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王鲲鹏: "红外与可见光图像配准方法分类及现状", 《红外技术》 *
钱小燕: "红外与可见光图像快速融合算法", 《计算机辅助设计与图形学学报》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493579A (zh) * 2019-03-14 2019-11-22 杭州海康威视数字技术股份有限公司 一种彩色透雾方法、装置、摄像机及图像处理系统
CN111951200A (zh) * 2019-05-15 2020-11-17 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
CN111951200B (zh) * 2019-05-15 2023-11-14 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
CN110493493A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110493495A (zh) * 2019-05-31 2019-11-22 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110493495B (zh) * 2019-05-31 2022-03-08 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110493493B (zh) * 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110460753A (zh) * 2019-07-10 2019-11-15 中山联合光电科技股份有限公司 一种可调光程的多光拍摄系统
CN110445963A (zh) * 2019-07-10 2019-11-12 中山联合光电科技股份有限公司 一种多光拍摄系统
CN110445961A (zh) * 2019-07-10 2019-11-12 中山联合光电科技股份有限公司 一种双光可调拍摄系统
CN110413836A (zh) * 2019-07-18 2019-11-05 湖南宏动光电有限公司 一种全景搜索系统
CN110574367A (zh) * 2019-07-31 2019-12-13 华为技术有限公司 一种图像传感器和图像感光的方法
CN111144222A (zh) * 2019-12-03 2020-05-12 宁波华高信息科技有限公司 一种基于多光源传感装置的数据采集鉴伪方法
CN111064899A (zh) * 2019-12-06 2020-04-24 成都华为技术有限公司 一种曝光参数的调节方法及装置
CN110840386A (zh) * 2019-12-19 2020-02-28 中国科学院长春光学精密机械与物理研究所 基于单探测器的可见光和近红外荧光3d共成像内窥镜系统
CN111007020B (zh) * 2019-12-23 2021-10-08 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用
CN111007020A (zh) * 2019-12-23 2020-04-14 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用
WO2021160001A1 (zh) * 2020-02-14 2021-08-19 华为技术有限公司 图像获取方法和装置
CN113271414A (zh) * 2020-02-14 2021-08-17 上海海思技术有限公司 图像获取方法和装置
US12108197B2 (en) 2020-04-29 2024-10-01 Huawei Technologies Co., Ltd. Cameras and image obtaining methods based on controlling brightness adjustment parameters
WO2021217521A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 摄像机及获取图像的方法
CN113940052A (zh) * 2020-04-29 2022-01-14 华为技术有限公司 摄像机及获取图像的方法
CN111738969A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN111738969B (zh) * 2020-06-19 2024-05-28 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN114125188A (zh) * 2020-08-26 2022-03-01 信泰光学(深圳)有限公司 镜头装置
CN114143443A (zh) * 2020-09-04 2022-03-04 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN113179379A (zh) * 2021-04-22 2021-07-27 太原理工大学 基于单个敏感器件的可见光与近红外成像的视觉传感器
CN113411501A (zh) * 2021-06-29 2021-09-17 杭州晶耐科光电技术有限公司 基于嵌入式及双光谱成像的无人机载电力巡检方法及系统
CN114143427A (zh) * 2021-11-23 2022-03-04 歌尔科技有限公司 摄像头组件、移动终端和基于摄像头的体温测量方法
CN114422671A (zh) * 2021-12-30 2022-04-29 中电海康集团有限公司 一种基于fpga的双光谱相机
CN114710611A (zh) * 2022-04-11 2022-07-05 东莞理工学院 一种日夜共焦的高清监控摄像头
CN115174794A (zh) * 2022-08-11 2022-10-11 哈尔滨工业大学（深圳） 一种双光融合成像芯片、双光图片融合处理方法
CN115174794B (zh) * 2022-08-11 2023-09-22 哈尔滨工业大学（深圳） 一种双光融合成像芯片、双光图片融合处理方法

Also Published As

Publication number Publication date
HUE063697T2 (hu) 2024-01-28
ES2953107T3 (es) 2023-11-08
EP3751833C0 (en) 2023-07-12
EP3751833A1 (en) 2020-12-16
CN108965654B (zh) 2020-12-25
PL3751833T3 (pl) 2023-12-18
EP3751833B1 (en) 2023-07-12
US20210044763A1 (en) 2021-02-11
WO2019153787A1 (zh) 2019-08-15
US11252345B2 (en) 2022-02-15
EP3751833A4 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN108965654A (zh) 基于单传感器的双光谱摄像机系统和图像处理方法
CN108419061B (zh) 基于多光谱的图像融合设备、方法及图像传感器
CN102957917B (zh) 一种像素阵列、摄像头及基于该阵列的色彩处理方法
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
KR101441696B1 (ko) 컬러 이미지 캡처 이미지 센서
US9204020B2 (en) Color imaging apparatus having color imaging element
CN102754443B (zh) 图像处理设备和图像处理方法
JP5749741B2 (ja) ノイズ低減方法
JP2013529400A (ja) 色フィルタアレイ画像反復デノイズ
WO2011151948A1 (ja) ３次元撮像装置
CN1441603A (zh) 四色图像感测装置
WO2021184362A1 (zh) 一种摄像装置
JP2004228662A (ja) 撮像装置
US20180330529A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
US9060159B2 (en) Image processing device and method, and imaging device
CN114650377A (zh) 摄像模组、摄像模组的控制方法以及电子设备
WO2012001853A1 (ja) ３次元撮像装置および光透過板
KR20100119712A (ko) 광 검출 소자 및 촬상 장치
JP4049257B2 (ja) 固体撮像装置及びデジタルカメラ
WO2019155757A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
CN114666469B (zh) 图像处理装置、方法及具有该图像处理装置的镜头模组
CN102948152B (zh) 成像设备和成像方法
WO2021184353A1 (zh) 一种摄像装置
JP2012244533A (ja) 撮像装置および画像信号処理方法
CN117061841B (zh) 一种双晶片内窥镜成像方法及成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant