CN109474770A - 一种成像装置及成像方法 - Google Patents

一种成像装置及成像方法 Download PDF

Info

Publication number
CN109474770A
CN109474770A CN201710801780.3A CN201710801780A CN109474770A CN 109474770 A CN109474770 A CN 109474770A CN 201710801780 A CN201710801780 A CN 201710801780A CN 109474770 A CN109474770 A CN 109474770A
Authority
CN
China
Prior art keywords
light
image
sensor
infrared
dividing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710801780.3A
Other languages
English (en)
Other versions
CN109474770B (zh
Inventor
朱力于
林育
林一育
徐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710801780.3A priority Critical patent/CN109474770B/zh
Priority to PCT/CN2018/095898 priority patent/WO2019047620A1/zh
Priority to EP18852881.4A priority patent/EP3672221B1/en
Priority to KR1020207008037A priority patent/KR20200039782A/ko
Publication of CN109474770A publication Critical patent/CN109474770A/zh
Priority to US16/809,977 priority patent/US20200204763A1/en
Application granted granted Critical
Publication of CN109474770B publication Critical patent/CN109474770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种成像装置及成像方法。该成像装置包括：摄像装置，分光装置，多个传感器，以及图像处理装置；分光装置设置于摄像装置的出射面，用于将摄像装置射入分光装置的光线分离成从多个出射面射出的光线；多个传感器分别设置于分光装置的多个出射面，用于生成预处理图像；图像处理装置与多个传感器相连接，用于将多个预处理图像融合得到输出图像。本申请提供的成像装置只需进行一次曝光便可实现将多个分量上的成像进行融合得到宽动态范围的图像，相比于现有技术中采用多次曝光方式，一方面，有效地解决了多次曝光方式所导致的图像融合存在重影、模糊等固有缺陷，且避免了多次曝光合成后的图像低照能力低的问题。

Description

一种成像装置及成像方法
技术领域
本发明涉及图像技术领域，特别涉及一种成像装置及成像方法。
背景技术
摄像机技术发明以来，一直存在着对照度动态范围(即拍摄区域内照度的变化范围)适应过窄的问题，比如从室内通过窗户照向室外，室内照度平均值在几百勒克斯(Lux)，而室外光线在晴天的阳光下能达到几千Lux，在这样的光线环境下，室内、室外物体是不能同时拍摄清楚的。比如，这样的情况下，室外光线占主导，摄像机的曝光时间会比较小，如达到1/4000s，对室外物体来说曝光时间正好，物体清晰，而室内物体就曝光时间不足了，反映的现象是室内比较暗，看不到物体。现有普通摄像机一般有背光补偿功能，通过增加曝光时间和增益亮度等方式，提高整体亮度，从而使得室内可以得到清晰的图像，但室外物体就曝光过度，画面偏白。也就是说，现有普通摄像机只能在有限的照度动态范围使用，或者说在比较大的照度动态范围使用时只能看到某一部分。
现有技术中的数字宽动态是通过调整曝光，并应用图像算法对采集的图像进行数字增强。在技术实施层面，数字宽动态是通过算法的智能化处理，当画面出现过曝或者过暗区域时，自动调节光圈、快门、增益等图像参数，从而将画面调节至更为适合观看的亮度。同时，采用数字图像增强算法将图像中的暗处提亮，并抑制图像中的高光区域，以达到降低图像的对比度的效果。然而数字宽动态的实质是后期通过算法对图像进行增强的过程，在算法层面会存下以下缺点：数字宽动态虽然可以提升图像中暗处的亮度，但是由于图像传感器在暗处的信噪比会明显的下降，经过图像增强的提升后，噪声会被放大，同时被噪声掩盖的信息也无法通过图像增强的方式被恢复出来。在图像的亮处，由于过曝造成的图像溢出，丢失的细节也无法通过图像增强的方式复原。
综上，摄像机受制于现有的技术发展，对于真实环境中照度动态范围比较大的场景无法兼顾场景中的明暗部分，因此，目前亟需一种成像技术，用于解决传统摄像技术对光线范围适应过窄的问题。
发明内容
本申请提供一种成像装置及成像方法，用于解决传统摄像技术对光线范围适应过窄的问题。
第一方面，本申请提供一种成像装置，所述成像装置包括：摄像装置，分光装置，多个传感器，以及图像处理装置；
所述摄像装置，用于获取物体反射的光线，并将获取的光线射入所述分光装置；
所述分光装置设置于所述摄像装置的出射面，用于将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线；
所述多个传感器分别设置于所述分光装置的多个出射面，用于分别接收对应的出射面射出的光线，并根据接收到的光线生成预处理图像；
所述图像处理装置与所述多个传感器相连接，用于将所述多个传感器生成的预处理图像融合得到输出图像。
如此，本申请中由于采用了分光装置，从而能够将光线分离成从分光装置的多个出射面射出的光线，并由设置在多个出射面的传感器在分离后的各个分量上分别成像，进而由图像处理装置将各个分量的成像进行融合，如此，本申请提供的成像装置只需进行一次曝光便可实现将多个分量上的成像进行融合得到宽动态范围的图像，相比于现有技术中采用多次曝光方式，一方面，有效地解决了多次曝光方式所导致的图像融合存在重影、模糊等固有缺陷，提升了宽动态图像在实际监控环境下的实用性；另一方面，由于只需进行一次曝光，从而避免了现有技术中多次曝光合成后的图像低照能力低的问题。
在一种可能的设计中，所述图像处理装置还用于根据所述多个传感器生成的预处理图像调整所述多个传感器的增益和/或快门时间。
如此，图像处理装置能够根据多个传感器生成的预处理图像，实时调整多个传感器的增益和/或快门时间，从而使得该成像装置能够有效适应光线的动态变化。
在一种可能的设计中，所述分光装置具体用于根据光线强度和/或光线频谱，将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线。
如此，分光装置可以根据光线强度和/或光线频谱对光线进行分离，从而实现了对光线进行科学合理地分离光线，为后续融合得到输出图像奠定良好基础。
在一种可能的设计中，所述分光装置包括第一出射面和第二出射面，设置于所述第一出射面的传感器为黑白图像传感器，设置于所述第二出射面的传感器为彩色图像传感器；
若射入所述分光装置的光线均为可见光，则所述分光装置将射入所述分光装置的光线按照设定比例分离成从所述第一出射面射出的可见光和从所述第二出射面射出的可见光；
若射入所述分光装置的光线包括可见光和红外光，则所述分光装置将射入所述分光装置的光线分离成从所述第一出射面射出的光线和从所述第二出射面射出的光线，其中，从所述第一出射面射出的光线包括红外光和可见光，从所述第二出射面射出的光线包括可见光。
在一种可能的设计中，所述图像处理装置还用于若确定所述彩色图像传感器的增益大于或等于预设增益阈值，则确定处于低照度场景，若确定所述彩色图像传感器的增益小于预设增益阈值，则确定处于为宽动态场景。
在一种可能的设计中，所述摄像装置摄取的光线包括红外光和可见光；
所述成像装置还包括：红外截止滤波器，所述红外截止滤波器设置于所述分光装置的入射面和所述摄像装置的出射面之间，且所述红外截止滤波器与所述图像处理装置相连接；
所述图像处理装置，还用于在宽动态场景下控制所述红外截止滤波器截止红外光，使得射入所述分光装置的光线均为可见光；在低照度场景下控制所述红外截止滤波器透过红外光和可见光，使得射入所述分光装置的光线包括红外光和可见光。
在一种可能的设计中，所述摄像装置摄取的光线包括红外光和可见光；
所述成像装置还包括：红外截止滤波器，所述红外截止滤波器设置于所述分光装置的第一出射面和所述黑白图像传感器之间，且所述红外截止滤波器与所述图像处理装置相连接；
所述图像处理装置，还用于在宽动态场景下控制所述红外截止滤波器截止红外光，使得射入所述黑白图像传感器的光线均为可见光；在低照度场景下控制所述红外截止滤波器透过红外光和可见光，使得射入所述黑白图像传感器的光线包括红外光和可见光；在透雾场景下控制所述红外截止滤波器截止可见光，使得射入所述黑白图像传感器的光线均为红外光。
在一种可能的设计中，所述多个传感器生成的多个预处理图像中包括黑白图像和彩色图像；
所述图像处理装置，具体用于分别将多个预处理图像的亮度分量分解为高频分量和低频分量，以及将多个预处理图像中彩色图像的色彩分量分解为色度和饱和度分量；基于所述多个预处理图像的高频分量，得到融合后的高频分量，以及基于所述多个预处理图像的低频分量，得到融合后的低频分量；根据融合后的高频分量和融合后的低频分量得到融合后的亮度分量，进而根据融合后的亮度分量以及色度和饱和度分量得到输出图像。
第二方面，本申请提供一种成像方法，该成像方法可以适用于上述任意一种设计中的成像装置，所述方法包括：
获取物体反射的光线；
对获取到的光线进行分离，得到多个光线集合；
根据所述多个光线集合的任一光线集合中的光线，得到所述任一光线集合对应的预处理图像；
对所述多个光线集合对应的多个预处理图像进行融合得到输出图像。
如此，本申请中，通过对获取到的物体反射的光线进行分离，从而能够将光线分离成多个光线集合，并基于多个光线集合中的光线分别生成与多个光线集合对应的预处理图像，进而由多个预处理图像进行融合得到输出图像，如此，本申请提供的成像方法只需进行一次曝光便可实现将多个分量上的成像进行融合得到宽动态范围的图像，相比于现有技术中采用多次曝光方式，一方面，有效地解决了多次曝光方式所导致的图像融合存在重影、模糊等固有缺陷，提升了宽动态图像在实际监控环境下的实用性；另一方面，由于只需进行一次曝光，从而避免了现有技术中多次曝光合成后的图像低照能力低的问题。
在一种可能的设计中，所述对获取到的光线进行分离，得到多个光线集合，包括：
根据光线强度和/或光线频谱对获取到的光线进行分离，得到多个光线集合。
在一种可能的设计中，若获取到的光线均为可见光，则按照设定比例对获取到的光线进行分离，得到第一光线集合和第二光线集合；
若获取到的光线包括可见光和红外光，则对获取到的光线进行分离，得到第三光线集合和第四光线集合；所述第三光线集合中包括红外光和可见光，所述第四光线集合中包括可见光。
在一种可能的设计中，所述获取到的光线包括可见光和红外光；
对获取到的光线进行分离，得到多个光线集合，包括：
若确定为宽动态场景，则将获取到的光线中的红外光截止，并对获取到的光线中的可见光进行分离，得到所述多个光线集合。
在一种可能的设计中，所述获取到的光线包括可见光和红外光；
根据所述多个光线集合的任一光线集合中的光线，得到所述任一光线集合对应的预处理图像，包括：
若确定为宽动态场景，则将所述任一光线集合中的红外光截止，并根据任一光线集合中的可见光，得到所述任一光线集合对应的预处理图像；
若确定为透雾场景，则将所述任一光线集合中的可见光截止，并根据任一光线集合中的红外光，得到所述任一光线集合对应的预处理图像。
在一种可能的设计中，所述多个预处理图像中包括黑白图像和彩色图像；
对所述多个光线集合对应的多个预处理图像进行融合得到输出图像，包括：
分别将所述多个预处理图像的亮度分量分解为高频分量和低频分量，以及将多个预处理图像中彩色图像的色彩分量分解为色度和饱和度分量；
基于所述多个预处理图像的高频分量，得到融合后的高频分量，以及基于所述多个预处理图像的低频分量，得到融合后的低频分量；
根据融合后的高频分量和融合后的低频分量得到融合后的亮度分量，进而根据融合后的亮度分量以及色度和饱和度分量得到输出图像。
第三方面，本申请提供一种成像装置，包括处理器、存储器、摄像装置，分光装置，多个传感器以及图像处理装置；
所述存储器，用于存储所述处理器执行的程序代码；
所述处理器，用于调用所述存储器存储的程序代码，并执行如下功能：
响应于用户的摄像启动动作，通过所述摄像装置获取物体反射的光线，并将获取的光线射入所述分光装置；通过所述分光装置将射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线；通过所述多个传感器分别接收对应的出射面射出的光线，并根据接收到的光线生成预处理图像；通过所述图像处理装置将所述多个传感器生成的预处理图像融合得到输出图像。
所述存储器可能包含RAM，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述处理器执行所述存储器所存放的应用程序，实现上述功能。
在一种可能的设计中，处理器、存储器、摄像装置，分光装置、多个传感器以及图像处理装置可以通过所述总线相互连接；总线可以是外设部件互连标准(peripheralcomponent interconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
在一种可能的设计中，成像装置中还包括显示屏；所述处理器执行的功能还包括：
响应于用户的图像显示动作，将所述输出图像显示在所述显示屏上。
本申请还提供一种可读存储介质，所述存储介质存储有指令，当所述指令在成像装置运行时，使得成像装置实现执行上述任意一种设计提供的成像方法。
本申请还提供一种包含指令的程序产品，当其在成像装置上运行时，使得成像装置执行上述任意一种设计提供的成像方法。
附图说明
图1为一种传统的成像装置示意图；
图2a为本申请实施例一提供的成像装置的结构示意图；
图2b为分光装置分离光线示意图；
图3为本申请实施例二提供的成像装置的结构示意图；
图4为宽动态场景工作流程示意图；
图5为低照度场景工作流程示意图；
图6为本申请实施例三提供的成像装置的结构示意图；
图7为透雾场景工作流程示意图；
图8为本申请实施例四提供的成像方法所对应的流程示意图；
图9为本申请提供的一种融合方法所对应的流程示意图；
图10为本申请实施例五提供的一种成像装置的结构示意图。
具体实施方式
下面结合说明书附图对本申请进行具体说明。
图1为一种传统的成像装置示意图，如图1所示，传统的成像装置100包括：摄像装置101，图像传感器102和通用图像处理(image signal processor，ISP)模块。外界光线通过摄像装置101聚焦到图像传感器102上，图像传感器102感应光线并产生电信号，将该电信号传送至通用ISP模块103进行处理。
采用图1中传统的成像装置只能在有限的照度动态范围使用，为解决这一问题，现有技术中提供的一种宽动态方案为采用多次曝光合成高动态范围的图像，其本质是采用数字算法将多次曝光的图像合成，以达到提升动态范围的目的。最简单的应用为采用长短两帧曝光的方式，长曝光图像的亮度可以将图像的暗部细节呈现，而短曝光则可以保证图像高亮的部分不会过曝，通过融合算法将图像融合后，则图像暗处和亮处的细节都得以保留，达到了扩展图像动态范围的效果。
根据上述内容可知，现有技术中的解决方式是在图1所示的硬件结构的基础上，采用多次曝光方式，试图提升图像的宽动态范围。然而，由于采用了多次曝光，当画面中存在运动物体或者相机不是处于静止状态时，前后曝光的图像会因为时间上的差别而存在差异，进而使得采用算法融合时需要考虑到前后图像的差异，目前尚无法完全避免前后图像差异在融合时产生错误的问题，从而导致图像融合存在重影、模糊等固有缺陷。且，由于一帧图像采用多次曝光，合成后的图像低照能力相比单次长曝光的图像要低。
基于此，本申请对传统摄像技术中成像装置的硬件结构进行改进，通过在成像装置中引入分光装置，为解决传统摄像技术对光线范围适应过窄的问题提供一种新的思路。本申请提供的成像装置可以应用于不同结构的摄像机、视频监控设备中，也可以应用于相机，例如手机拍照领域，具体不做限定。
实施例一
图2a为本申请实施例一提供的成像装置的结构示意图。如图2a所示，成像装置200包括：摄像装置201，分光装置202，图像处理装置203，以及多个传感器，比如图2a中所示出的传感器2041、传感器2042和传感器2043。下面分别进行具体说明。
(1)所述摄像装置201，用于获取物体反射的光线，并将获取的光线射入所述分光装置。进一步地，摄像装置201可以为红外共焦摄像头，如此，摄像装置201获取到的物体反射的光线包括红外光和可见光。
(2)所述分光装置202设置于所述摄像装置的出射面，用于将所述摄像装置射入所述分光装置202的光线分离成从所述分光装置202的多个出射面射出的光线。此处，一种可能的实现方式中，分光装置可以由一个或多个分光棱镜构成，具体实施时，可以通过在分光棱镜上设置镀膜来实现对光线的分离。
进一步地，分光装置202具体用于根据光线强度和/或光线频谱，将所述摄像装置射入所述分光装置202的光线分离成从所述分光装置202的多个出射面射出的光线。也就是说，分光装置可以根据光线强度、光线频谱中的任一项或任意组合，将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线，即：(1)分光装置可以根据光线强度将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线；或者，(2)分光装置也可以根据光线频谱将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线；又或者，(3)分光装置也可以根据光线强度和光线频谱将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线。
针对于(3)，例如，若摄像装置201射入所述分光装置202的光线包括红外光和可见光，则分光装置可根据光线频谱，将红外光和可见光进行分离，以及可根据光线强度将可见光按照设定比例分离成从分光装置202的多个出射面射出的光线，其中，设定比例可以由本领域技术人员根据经验和实际情况来设置，具体不做限定。
举个例子，分光装置202具有两个出射面，分别为出射面1和出射面2。图2b为分光装置分离光线示意图。如图2b所示，射入所述分光装置202的光线包括红外光和可见光，分光装置射入光线分为将红外光和可见光，同时将可见光按照1:1的强度分为两个方向，如此，红外光和50％的可见光一起从出射面1射出，另外50％的可见光从出射面2射出。或者，也可以将红外光按照2:3的强度进行分离，如此，40％的红外光和50％的可见光一起从出射面1射出，另外60％的红外光和50％的可见光从出射面2射出。
需要说明的是，上述所描述的分光方案仅为一种示例，具体实施中，可以根据实际需要进行具体设定。
(3)所述多个传感器分别设置于所述分光装置的多个出射面，用于分别接收对应的出射面射出的光线，并根据接收到的光线生成预处理图像。具体来说，多个传感器中的任一传感器可以根据接收到的光线，将光信号转换成电信号，以及将电信号转换成像素，进而形成预处理图像。
此处，多个传感器中可以包括黑白图像传感器和彩色图像传感器。传感器的个数可由本领域技术人员根据实际需要，例如，可以设置为2个或3个，具体不做限定。若传感器的个数为3个，则可以包括2个黑白图像传感器和1个彩色图像传感器，或者，也可以包括1个黑白图像传感器和2个彩色图像传感器。
本申请中，传感器的个数可以与分光装置的出射面的个数相同，如此，每个出射面均设置有一个传感器；或者，传感器的个数也可以少于分光装置的出射面的个数，如此，可能存在个别出射面未设置对应的传感器。下文主要针对传感器的个数与分光装置的出射面的个数相同的情形进行描述。
(4)所述图像处理装置203与所述多个传感器相连接(即与多个传感器分别进行电连接)，用于将所述多个传感器生成的预处理图像融合(merge)得到输出图像。本申请中，图像处理装置203可以为图形处理器(graphics processing unit，GPU)，具体不做限定。成像装置200中可以包括一个或多个图像处理装置，此处仅以成像装置200中包括一个图像处理装置为例来进行描述。
进一步地，图像处理装置203还用于根据所述多个传感器生成的预处理图像调整所述多个传感器的增益和/或快门时间。例如1，图像处理装置可以根据多个传感器中任一传感器得到的预处理图像，统计亮度直方图，根据亮度直方图调整传感器的增益，以提升直方图过暗部分或抑制直方图过曝部分。例如2，图像处理装置还可以判断多个传感器得到的预处理图像的亮度直方图过曝和过暗程度是否接近，若整体过暗，则可增加多个传感器的快门时间，若整体过曝，则可减少多个传感器的快门时间。
图像处理装置还可以根据多个传感器的增益来确定不同的场景，具体的确定方式可以有多种，例如，图像处理装置可以根据多个传感器中任一彩色传感器的增益来确定场景，一种可能的实现方式中，若彩色图像传感器的增益大于或等于预设增益阈值，则确定处于低照度场景，若彩色图像传感器的增益小于预设增益阈值，则确定处于为宽动态场景。另一种可能的实现方式中，若彩色图像传感器的增益大于预设增益阈值，则确定处于低照度场景，若彩色图像传感器的增益小于或等于预设增益阈值，则确定处于为宽动态场景。
其中，预设增益阈值可以由本领域技术人员根据经验和实际情况来设置，具体不做限定。
本申请中，图像处理装置203可以采用多种方式将多个传感器生成的预处理图像融合得到输出图像。一种可能的实现方式中，由于多个预处理图像可能包括黑白图像和彩色图像，因此，图像处理装置可以分别将多个预处理图像的亮度分量分解为高频分量和低频分量，以及将多个预处理图像中彩色图像的色彩分量分解为色度和饱和度分量；进而基于多个预处理图像的高频分量，得到融合后的高频分量，基于多个预处理图像的低频分量，得到融合后的低频分量；图像处理装置根据融合后的高频分量和融合后的低频分量得到融合后的亮度分量，进而根据融合后的亮度分量以及色度和饱和度分量得到输出图像。
具体来说，由于图像的低频分量和整体的图像照度有关，因此，可以采用加权平均的方式实现融合，即将多个预处理图像的低频分量进行加权平均得到融合后的低频分量。其中，权重和当前处于的场景相关，例如：若当前处于宽动态场景，则各个预处理图像的低频分量的权重可以相等；若当前处于低照度场景，则彩色图像的低频分量的权重可大于黑白图像的低频分量的权重。由于高频分量表现为图像的细节信息，因此，在对多个预处理图像的高频分量进行融合时，可直接选取最大的高频分量作为融合后的高频分量，从而有效保证融合后得到的输出图像的效果。
需要说明的是，本申请中的成像装置还可以包括图像信号处理(Image SignalProcessing，ISP)模块，ISP模块可以用于执行图像处理算法、图像调优参数配置等，具体不做限定。
进一步地，ISP模块可以设置在图像处理装置203之后，如此，图像处理装置203对多个预处理图像进行融合后，将得到的图像输出给ISP模块，由ISP模块做进一步的处理；此种情况下，ISP模块可以采用现有通用的ISP模块。或者，ISP模块也可以设置在图像处理装置203之前，如此，由ISP模块对多个预处理图像进行处理，并将处理后的多个图像输出给图像处理装置203，由图像处理装置203对多个图像进行融合。
本申请中，由于采用了分光装置，从而能够将光线分离成从分光装置的多个出射面射出的光线，并由设置在多个出射面的传感器在分离后的各个分量上分别成像，进而由图像处理装置将各个分量的成像进行融合，如此，本申请提供的成像装置只需进行一次曝光便可实现将多个分量上的成像进行融合得到宽动态范围的图像，相比于现有技术中采用多次曝光方式，一方面，有效地解决了多次曝光方式所导致的图像融合存在重影、模糊等固有缺陷，提升了宽动态图像在实际监控环境下的实用性；另一方面，由于只需进行一次曝光，从而避免了现有技术中多次曝光合成后的图像低照能力低的问题。
针对于上述实施例一所描述的成像装置，在具体实施中，还可以在成像装置中增设其它装置，例如，红外截止滤波器，从而能够更方便有效地针对实际需要来设定分光方案，进一步提高光线的适应范围，下面分别描述两种可能的具体实施例(实施例二和实施例三)。
实施例二
图3为本申请实施例二提供的成像装置的结构示意图，如图3所示，成像装置300包括：摄像装置301，分光装置302，图像处理装置303，第一传感器3041、第二传感器3042，红外截止滤波器305。由于图3相比于图2a来说，仅增设了红外截止滤波器305，其它部分的具体实现均可参见有关图2a的描述，此处不再赘述。
其中，红外截止滤波器305设置于所述分光装置302的入射面和所述摄像装置301的出射面之间，且所述红外截止滤波器305与所述图像处理装置303相连接。图像处理装置可控制红外截止滤波器处于以下两种模式：模式1，截止红外光，透过可见光；模式2，透过红外光和可见光，在其它的实施方式中，图像处理装置还可以控制红外截止滤波器处于其它模式，例如模式3，截止可见光，透过红外光。
本申请中，第一传感器3041为黑白图像传感器，第二传感器3042为彩色图像传感器。图像处理装置303可以根据彩色图像传感器的增益来确定不同的场景，例如，图像处理装置303若确定彩色图像传感器的增益大于或等于预设增益阈值，则确定处于低照度场景，若确定彩色图像传感器的增益小于预设增益阈值，则确定处于为宽动态场景。其中，预设增益阈值可以由本领域技术人员根据经验和实际情况来设置，具体不做限定。
进一步地，图像处理装置在宽动态场景下控制所述红外截止滤波器处于模式1，即截止红外光，透过可见光，使得射入所述分光装置的光线均为可见光；在低照度场景下控制所述红外截止滤波器处于模式2，即透过红外光和可见光，使得射入所述分光装置的光线包括红外光和可见光，以达到低照度下的性能提升。如此，通过增设红外截止滤波器，并在不同的场景下设置红外截止滤波器处于不同的模式，从而能够提高光线的适应范围，并能有效保证最终的成像质量。
下面分别针对宽动态场景和低动态场景下，图像处理装置对传感器的调整过程进行描述。
(1)宽动态场景
此种场景下，射入所述分光装置的光线均为可见光，分光装置按照设定比例(例如1：1)将光线分离成从所述第一出射面射出的可见光和从所述第二出射面射出的可见光；第一传感器接收第一出射面射出的光线后，生成第一预处理图像，第二传感器接收第二出射面射出的光线后，生成第二预处理图像。图像处理装置对第一预处理图像和第二预处理图像进行融合，输出宽动态图像，以及根据第一预处理图像和第二预处理图像调整第一传感器和第二传感器的增益和/或快门时间。下面结合图4具体描述。
图4为宽动态场景工作流程示意图。如图4所示，包括：
步骤401，图像处理装置根据第二传感器的增益，确定处于为宽动态场景。
步骤402，图像处理装置读取第一传感器得到的第一预处理图像。
步骤403，图像处理装置读取第一传感器得到的第二预处理图像。
步骤404，图像处理装置将第一预处理图像和第二预处理图像进行融合，并输出宽动态图像。
步骤405，图像处理装置根据第一预处理图像，统计第一亮度直方图。
步骤406，图像处理装置根据第二预处理图像，统计第二亮度直方图。
步骤407，图像处理装置根据第一亮度直方图，调整第一传感器的增益，以提升第一亮度直方图中过暗部分。
步骤408，图像处理装置根据第二亮度直方图，调整第二传感器的增益，以抑制第二亮度直方图中过曝部分。
步骤409，图像处理装置判断第一亮度直方图和第二亮度直方图的过曝和过暗程度是否接近。若整体过暗，则执行步骤410，若整体过曝，则执行步骤411，若过曝和过暗程度程度接近，则执行步骤412。需要说明的是，该步骤中的判断标准可以有多种，具体可由本领域技术人员根据实际需要来设置，此处不再具体列举。
步骤410，增加第一传感器和第二传感器的快门时间。
步骤411，减少第一传感器和第二传感器的快门时间。
步骤412，无需调整第一传感器和第二传感器的快门时间。
步骤413，进行下一帧成像。
根据上述内容可知，图像处理装置是根据第一传感器和第二传感器得到的预处理图像，实时调整第一传感器和第二传感器的增益和/或快门时间，从而使得该成像装置能够有效适应光线的动态变化。
需要说明的是：(1)上述步骤编号仅为执行过程的一种示例性表示，并不具体限定各个步骤的先后顺序，例如，上述步骤402和步骤403可以同时执行，或者，步骤403也可以先于步骤402执行，具体不做限定。(2)上述图4所描述的宽动态场景下图像处理装置的工作流程仅为一种示例性说明，具体实施中，也可以有其它变形方式，具体不做限定。
(2)低照度场景
此种场景下，射入所述分光装置的光线包括红外光和可见光，分光装置分离出红外光和可见光，同时按照设定比例(例如1：1)将可见光进行分离，如此，红外光和50％的可见光从第一出射面射出，另外50％的可见光从第二出射面射出；第一传感器接收第一出射面射出的光线后，生成第一预处理图像，第二传感器接收第二出射面射出的光线后，生成第二预处理图像。图像处理装置对第一预处理图像和第二预处理图像进行融合，输出低照度图像，以及根据第一预处理图像和第二预处理图像调整第一传感器和第二传感器的增益和/或快门时间。下面结合图5具体描述。
图5为低照度场景工作流程示意图。如图5所示，包括：
步骤501，图像处理装置根据第二传感器的增益，确定处于为低照度场景。
步骤502，图像处理装置读取第一传感器得到的第一预处理图像。
步骤503，图像处理装置读取第一传感器得到的第二预处理图像。
步骤504，图像处理装置将第一预处理图像和第二预处理图像进行融合，输出低照度图像。
步骤505，图像处理装置根据第一预处理图像，统计第一亮度直方图。
步骤506，图像处理装置根据第二预处理图像，统计第二亮度直方图。
步骤507，图像处理装置判断第一亮度直方图和第二亮度直方图的过曝和过暗程度是否接近。若整体过暗，则执行步骤508，若整体过曝，则执行步骤509，若过曝和过暗程度程度接近，则执行步骤510。需要说明的是，该步骤中的判断标准可以有多种，具体可由本领域技术人员根据实际需要来设置，此处不再具体列举。
步骤508，提高第一传感器和第二传感器的增益。
步骤509，降低第一传感器和第二传感器的增益。
步骤510，无需调整第一传感器和第一传感器的增益。
步骤511，进行下一帧成像。
根据上述内容可知，图像处理装置是根据第一传感器和第二传感器得到的预处理图像，实时调整第一传感器和第二传感器的增益，从而使得该成像装置能够有效适应光线的动态变化。
需要说明的是：(1)上述步骤编号仅为执行过程的一种示例性表示，并不具体限定各个步骤的先后顺序，例如，上述步骤502和步骤503可以同时执行，或者，步骤503也可以先于步骤502执行，具体不做限定。(2)上述图5所描述的低照度场景下图像处理装置的工作流程仅为一种示例性说明，主要适用于第一传感器和第二传感器的快门时间已经达到最大的情形。具体实施中，在低照度场景下也可以采用上述图4中所描述的流程来进行调整，或者采用其它方式，具体不做限定。
实施例三
图6为本申请实施例三提供的成像装置的结构示意图，如图6所示，成像装置600包括：摄像装置601，分光装置602，图像处理装置606，第一传感器6041、第二传感器6042，红外截止滤波器605；第一传感器6041为黑白图像传感器，第二传感器6042为彩色图像传感器。由于图6相比于图2a来说，仅增设了红外截止滤波器605，其它部分的具体实现均可参见有关图2a的描述，此处不再赘述。
其中，红外截止滤波器605设置于所述分光装置602的第一出射面和所述黑白图像传感器6041之间，且所述红外截止滤波器605与所述图像处理装置603相连接。图像处理装置可控制红外截止滤波器处于以下三种模式：模式1，截止红外光，透过可见光；模式2，透过红外光和可见光；模式3，截止可见光，透过红外光。
本申请中，图像处理装置606可以根据彩色图像传感器的增益来确定不同的场景，例如，图像处理装置606若确定彩色图像传感器的增益大于或等于预设增益阈值，则确定处于低照度场景，若确定彩色图像传感器的增益小于预设增益阈值，则确定处于为宽动态场景。图像处理装置还可以确定当前是否处于透雾场景，具体判断是否处于透雾场景的标准可以有多种，此处不再列举。其中，预设增益阈值可以由本领域技术人员根据经验和实际情况来设置，具体不做限定。
进一步地，图像处理装置在宽动态场景下控制所述红外截止滤波器处于模式1，即截止红外光，透过可见光，使得射入第一传感器(黑白图像传感器)的光线均为可见光；在低照度场景下控制所述红外截止滤波器处于模式2，即透过红外光和可见光，使得射入第一传感器的光线包括红外光和可见光，以达到低照度下的性能提升；在透雾场景下，考虑到红外光在雾霾下的透过率大于可见光，因此，可控制所述红外截止滤波器处于模式3，即截止可见光，透过红外光，从而使得第一传感器上可以得到较为清晰的图像，第二传感器上可以得到细节模糊的可见光彩色图像，通过图像融合，能够得到较为清晰的彩色透雾图像。如此，通过增设红外截止滤波器，并在不同的场景下设置红外截止滤波器处于不同的模式，从而能够提高光线的适应范围，并能有效保证最终的成像质量。
本实施例中，在宽动态场景和低动态场景下，图像处理装置对传感器的调整过程可分别参见实施例二中有关图4和图5的描述，此处不再赘述。下面仅对透雾场景下，图像处理装置对传感器的调整过程进行描述。
图7为透雾场景工作流程示意图，如图7所示，包括：
步骤701，确定处于为透雾场景。
步骤702，读取第一传感器得到的第一预处理图像。
步骤703，读取第一传感器得到的第二预处理图像。
步骤704，对第一预处理图像和第一预处理图像进行数字透雾处理，以增强图像细节。
步骤705，将数字透雾处理后的第一预处理图像和第二预处理图像进行融合，并输出图像。
步骤706，根据第一预处理图像，统计第一亮度直方图。
步骤707，根据第二预处理图像，统计第二亮度直方图。
步骤708，判断第一亮度直方图和第二亮度直方图的过曝和过暗程度是否接近。若整体过暗，则执行步骤709，若整体过曝，则执行步骤710，若过曝和过暗程度程度接近，则执行步骤711。需要说明的是，该步骤中的判断标准可以有多种，具体可由本领域技术人员根据实际需要来设置，此处不再具体列举。
步骤712，进行下一帧成像。
根据上述内容可知，图像处理装置是根据第一传感器和第二传感器得到的预处理图像，实时调整第一传感器和第二传感器的增益，从而使得该成像装置能够有效适应光线的动态变化。
需要说明的是：(1)上述步骤编号仅为执行过程的一种示例性表示，并不具体限定各个步骤的先后顺序，例如，上述步骤702和步骤703可以同时执行，或者，步骤703也可以先于步骤702执行，具体不做限定。(2)上述图7所描述的宽动态场景下图像处理装置的工作流程仅为一种示例性说明，具体实施中，也可以有其它变形方式，具体不做限定。
实施例四
基于相同发明构思，本申请还提供一种成像方法，该成像方法可适用于上述任一实施例中所描述的成像装置。
图8为本申请提供的成像方法所对应的流程示意图，如图8所示，该成像方法包括：
步骤801，获取物体反射的光线。
此处，具体实施中，可通过摄像装置来获取物体反射的光线，获取到的光线可包括红外光和可见光。其中，摄像装置具体可以为上述实施例一、实施例二或实施例三中所描述的摄像装置。
步骤802，对获取到的光线进行分离，得到多个光线集合。
此处，具体实施中，可通过分光装置来对获取到的光线进行分离，多个光线集合中的光线分别从分光装置的多个出射面射出。其中，分光装置具体可以为上述实施例一、实施例二或实施例三中所描述的分光装置。
本申请中，可根据光线强度和/或光线频谱对获取到的光线进行分离，具体得到的光线集合的个数可以根据实际需要来设置。例如1，若获取到的光线均为可见光，则按照设定比例对获取到的光线进行分离，得到第一光线集合和第二光线集合；例如2，若获取到的光线包括可见光和红外光，则对获取到的光线进行分离，得到第三光线集合和第四光线集合；所述第三光线集合中包括红外光和可见光，所述第四光线集合中包括可见光。
进一步地，在宽动态场景下，可将获取到的光线中的红外光截止，并对获取到的光线中的可见光进行分离，得到多个光线集合。在低照度场景下，可对获取到的红外光和可见光进行分离，得到多个光线集合。
步骤803，根据所述多个光线集合的任一光线集合中的光线，得到所述任一光线集合对应的预处理图像。
此处，具体实施中，可设置有多个传感器，多个传感器可分别接收多个光线集合中的光线，并根据接收到的光线生成预处理图像。其中，传感器具体可以为上述实施例一、实施例二或实施例三中所描述的传感器。
进一步地，在宽动态场景下，可将所述任一光线集合中的红外光截止，并根据任一光线集合中的可见光，得到所述任一光线集合对应的预处理图像。
在透雾场景下，可将所述任一光线集合中的可见光截止，并根据任一光线集合中的红外光，得到所述任一光线集合对应的预处理图像。
步骤804，对所述多个光线集合对应的多个预处理图像进行融合得到输出图像。
此处，具体实施中，可由图像处理装置对所述多个光线集合对应的多个预处理图像进行融合得到输出图像。其中，图像处理装置具体可以为上述实施例一、实施例二或实施例三中所描述的图像处理装置。
具体来说，多个预处理图像中包括彩色图像和黑白图像，本申请中对多个预处理图像进行融合的方法有多种，下面结合图9具体介绍一种可能的实现方式。
图9为本申请提供的一种融合方法所对应的流程示意图，如图9所示，包括：
步骤901，将多个预处理图像中黑白图像的亮度分量分解为高频分量和低频分量。
步骤902a，将多个预处理图像中彩色图像的亮度分量分解为高频分量和低频分量。
步骤902b，将彩色图像的色彩分量分解为色度和饱和度分量。
步骤903a，基于多个预处理图像的高频分量，得到融合后的高频分量。
步骤903b，基于多个预处理图像的低频分量，得到融合后的低频分量。
步骤904，根据融合后的高频分量和融合后的低频分量得到融合后的亮度分量。
步骤905，根据融合后的亮度分量、色度和饱和度分量得到输出图像。
需要说明的是，图9中所描述的步骤编号仅为执行过程的一种示例性表示，并不具体限定各个步骤的先后顺序，例如，上述步骤902a和步骤902b可以同时执行，具体不做限定。
本申请中，通过对获取到的物体反射的光线进行分离，从而能够将光线分离成多个光线集合，并基于多个光线集合中的光线分别生成与多个光线集合对应的预处理图像，进而由多个预处理图像进行融合得到输出图像，如此，本申请提供的成像方法只需进行一次曝光便可实现将多个分量上的成像进行融合得到宽动态范围的图像，相比于现有技术中采用多次曝光方式，一方面，有效地解决了多次曝光方式所导致的图像融合存在重影、模糊等固有缺陷，提升了宽动态图像在实际监控环境下的实用性；另一方面，由于只需进行一次曝光，从而避免了现有技术中多次曝光合成后的图像低照能力低的问题。
实施例五
本申请还提供一种成像装置，如图10所示，成像装置1000包括图像处理装置1001、分光装置1002、处理器1003、存储器1004、多个传感器(例如图10中所示出的传感器1005和传感器1006)、摄像装置1007以及总线1008。
所述存储器1004，用于存储所述处理器执行的程序代码；
所述处理器1003，用于调用所述存储器1004存储的程序代码，并执行如下功能：
响应于用户的摄像启动动作，通过所述摄像装置1007获取物体反射的光线，并将获取的光线射入所述分光装置1002；通过所述分光装置1002将射入所述分光装置1002的光线分离成从所述分光装置1002的多个出射面射出的光线；通过所述多个传感器分别接收对应的出射面射出的光线，并根据接收到的光线生成预处理图像；通过所述图像处理装置1001将所述多个传感器生成的预处理图像融合得到输出图像。
所述存储器可能包含RAM，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述处理器执行所述存储器所存放的应用程序，实现上述功能。
在一种可能的设计中，图像处理装置1001、分光装置1002、处理器1003、存储器1004、多个传感器以及摄像装置1007可以通过所述总线1008相互连接；总线1008可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
在一种可能的设计中，成像装置中还包括显示屏1009；所述处理器1003执行的功能还包括：
响应于用户的图像显示动作，将所述输出图像显示在所述显示屏1009上。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以程序产品的形式实现。所述程序产品包括一个或多个程序指令。在设备(例如计算机或其他可编程数据处理设备)上加载和执行所述程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述指令可以存储在可读存储介质中，所述可读存储介质可以是设备能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
本发明实施例是参照根据本发明实施例的方法、设备(系统)、和程序产品的流程图和/或方框图来描述的。应理解可由程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种成像装置，其特征在于，所述成像装置包括：摄像装置，分光装置，多个传感器，以及图像处理装置；
所述摄像装置，用于获取物体反射的光线，并将获取的光线射入所述分光装置；
所述分光装置设置于所述摄像装置的出射面，用于将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线；
所述多个传感器分别设置于所述分光装置的多个出射面，用于分别接收对应的出射面射出的光线，并根据接收到的光线生成预处理图像；
所述图像处理装置与所述多个传感器相连接，用于将所述多个传感器生成的预处理图像融合得到输出图像。
2.根据权利要求1所述的成像装置，其特征在于，所述图像处理装置还用于根据所述多个传感器生成的预处理图像调整所述多个传感器的增益和/或快门时间。
3.根据权利要求1所述的成像装置，其特征在于，所述分光装置具体用于根据光线强度和/或光线频谱，将所述摄像装置射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线。
4.根据权利要求1至3中任一项所述的成像装置，其特征在于，所述分光装置包括第一出射面和第二出射面，设置于所述第一出射面的传感器为黑白图像传感器，设置于所述第二出射面的传感器为彩色图像传感器；
若射入所述分光装置的光线均为可见光，则所述分光装置将射入所述分光装置的光线按照设定比例分离成从所述第一出射面射出的可见光和从所述第二出射面射出的可见光；
若射入所述分光装置的光线包括可见光和红外光，则所述分光装置将射入所述分光装置的光线分离成从所述第一出射面射出的光线和从所述第二出射面射出的光线，其中，从所述第一出射面射出的光线包括红外光和可见光，从所述第二出射面射出的光线包括可见光。
5.根据权利要求4所述的成像装置，其特征在于，所述图像处理装置还用于若确定所述彩色图像传感器的增益大于或等于预设增益阈值，则确定处于低照度场景，若确定所述彩色图像传感器的增益小于预设增益阈值，则确定处于为宽动态场景。
6.根据权利要求5所述的成像装置，其特征在于，所述摄像装置摄取的光线包括红外光和可见光；
所述成像装置还包括：红外截止滤波器，所述红外截止滤波器设置于所述分光装置的入射面和所述摄像装置的出射面之间，且所述红外截止滤波器与所述图像处理装置相连接；
所述图像处理装置，还用于在宽动态场景下控制所述红外截止滤波器截止红外光，使得射入所述分光装置的光线均为可见光；在低照度场景下控制所述红外截止滤波器透过红外光和可见光，使得射入所述分光装置的光线包括红外光和可见光。
7.根据权利要求5所述的成像装置，其特征在于，所述摄像装置摄取的光线包括红外光和可见光；
所述成像装置还包括：红外截止滤波器，所述红外截止滤波器设置于所述分光装置的第一出射面和所述黑白图像传感器之间，且所述红外截止滤波器与所述图像处理装置相连接；
所述图像处理装置，还用于在宽动态场景下控制所述红外截止滤波器截止红外光，使得射入所述黑白图像传感器的光线均为可见光；在低照度场景下控制所述红外截止滤波器透过红外光和可见光，使得射入所述黑白图像传感器的光线包括红外光和可见光；在透雾场景下控制所述红外截止滤波器截止可见光，使得射入所述黑白图像传感器的光线均为红外光。
8.根据权利要求1至7中任一项所述的成像装置，其特征在于，所述多个传感器生成的多个预处理图像中包括黑白图像和彩色图像；
所述图像处理装置，具体用于分别将多个预处理图像的亮度分量分解为高频分量和低频分量，以及将多个预处理图像中彩色图像的色彩分量分解为色度和饱和度分量；基于所述多个预处理图像的高频分量，得到融合后的高频分量，以及基于所述多个预处理图像的低频分量，得到融合后的低频分量；根据融合后的高频分量和融合后的低频分量得到融合后的亮度分量，进而根据融合后的亮度分量以及色度和饱和度分量得到输出图像。
9.一种成像方法，其特征在于，所述方法包括：
获取物体反射的光线；
对获取到的光线进行分离，得到多个光线集合；
根据所述多个光线集合的任一光线集合中的光线，得到所述任一光线集合对应的预处理图像；
对所述多个光线集合对应的多个预处理图像进行融合得到输出图像。
10.根据权利要求9所述的方法，其特征在于，所述对获取到的光线进行分离，得到多个光线集合，包括：
根据光线强度和/或光线频谱对获取到的光线进行分离，得到多个光线集合。
11.根据权利要求9所述的方法，其特征在于，若获取到的光线均为可见光，则按照设定比例对获取到的光线进行分离，得到第一光线集合和第二光线集合；
若获取到的光线包括可见光和红外光，则对获取到的光线进行分离，得到第三光线集合和第四光线集合；所述第三光线集合中包括红外光和可见光，所述第四光线集合中包括可见光。
12.根据权利要求9至11中任一项所述的方法，其特征在于，所述获取到的光线包括可见光和红外光；
对获取到的光线进行分离，得到多个光线集合，包括：
若确定为宽动态场景，则将获取到的光线中的红外光截止，并对获取到的光线中的可见光进行分离，得到所述多个光线集合。
13.根据权利要求9至11中任一项所述的方法，其特征在于，所述获取到的光线包括可见光和红外光；
根据所述多个光线集合的任一光线集合中的光线，得到所述任一光线集合对应的预处理图像，包括：
若确定为宽动态场景，则将所述任一光线集合中的红外光截止，并根据任一光线集合中的可见光，得到所述任一光线集合对应的预处理图像；
若确定为透雾场景，则将所述任一光线集合中的可见光截止，并根据任一光线集合中的红外光，得到所述任一光线集合对应的预处理图像。
14.根据权利要求9至13中任一项所述的方法，其特征在于，所述多个预处理图像中包括黑白图像和彩色图像；
对所述多个光线集合对应的多个预处理图像进行融合得到输出图像，包括：
分别将所述多个预处理图像的亮度分量分解为高频分量和低频分量，以及将多个预处理图像中彩色图像的色彩分量分解为色度和饱和度分量；
基于所述多个预处理图像的高频分量，得到融合后的高频分量，以及基于所述多个预处理图像的低频分量，得到融合后的低频分量；
根据融合后的高频分量和融合后的低频分量得到融合后的亮度分量，进而根据融合后的亮度分量以及色度和饱和度分量得到输出图像。
15.一种成像装置，其特征在于，包括处理器、存储器、摄像装置，分光装置，多个传感器以及图像处理装置；
所述存储器，用于存储所述处理器执行的程序代码；
所述处理器，用于调用所述存储器存储的程序代码，并执行如下功能：
响应于用户的摄像启动动作，通过所述摄像装置获取物体反射的光线，并将获取的光线射入所述分光装置；通过所述分光装置将射入所述分光装置的光线分离成从所述分光装置的多个出射面射出的光线；通过所述多个传感器分别接收对应的出射面射出的光线，并根据接收到的光线生成预处理图像；通过所述图像处理装置将所述多个传感器生成的预处理图像融合得到输出图像。
CN201710801780.3A 2017-09-07 2017-09-07 一种成像装置及成像方法 Active CN109474770B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710801780.3A CN109474770B (zh) 2017-09-07 2017-09-07 一种成像装置及成像方法
PCT/CN2018/095898 WO2019047620A1 (zh) 2017-09-07 2018-07-17 一种成像装置及成像方法
EP18852881.4A EP3672221B1 (en) 2017-09-07 2018-07-17 Imaging device and imaging method
KR1020207008037A KR20200039782A (ko) 2017-09-07 2018-07-17 이미징 디바이스 및 이미징 방법
US16/809,977 US20200204763A1 (en) 2017-09-07 2020-03-05 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710801780.3A CN109474770B (zh) 2017-09-07 2017-09-07 一种成像装置及成像方法

Publications (2)

Publication Number Publication Date
CN109474770A true CN109474770A (zh) 2019-03-15
CN109474770B CN109474770B (zh) 2021-09-14

Family

ID=65633583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710801780.3A Active CN109474770B (zh) 2017-09-07 2017-09-07 一种成像装置及成像方法

Country Status (5)

Country Link
US (1) US20200204763A1 (zh)
EP (1) EP3672221B1 (zh)
KR (1) KR20200039782A (zh)
CN (1) CN109474770B (zh)
WO (1) WO2019047620A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365878A (zh) * 2019-07-04 2019-10-22 华为技术有限公司 一种摄像装置和方法
CN110702099A (zh) * 2019-10-31 2020-01-17 中国科学院长春光学精密机械与物理研究所 高动态范围恒星探测成像方法及星敏感器
CN112422784A (zh) * 2020-10-12 2021-02-26 浙江大华技术股份有限公司 成像方法、成像装置、电子装置和存储介质
CN114143443A (zh) * 2020-09-04 2022-03-04 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019118319A1 (en) * 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
CN110636198A (zh) * 2019-10-15 2019-12-31 重庆金山医疗技术研究院有限公司 一种成像方法及装置、内窥镜设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070051876A1 (en) * 2005-02-25 2007-03-08 Hirofumi Sumi Imager
CN101510007A (zh) * 2009-03-20 2009-08-19 北京科技大学 一种红外光图像与可见光图像实时摄取与自适应融合装置
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
US20110019032A1 (en) * 2008-01-24 2011-01-27 Rafael Advanced Defense Systems Ltd. Method and apparatus for multi-spectral imaging
CN102857681A (zh) * 2012-09-13 2013-01-02 侯大威 一种通过半反射镜采集图像和提高图像质量的方法
US20130300876A1 (en) * 2011-01-05 2013-11-14 Rafael Advanced Defense Systems Ltd Method and apparatus for multi-spectral imaging
US20140313344A1 (en) * 2009-06-12 2014-10-23 Young Optics Inc. Image Capturing Method and Image Capturing Device
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105513017A (zh) * 2014-10-14 2016-04-20 深圳中兴力维技术有限公司 图像去雾处理方法、装置及摄像设备
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机
CN106254796A (zh) * 2016-10-11 2016-12-21 公安部第研究所 一种基于光电摄像管的红外激光光斑探测成像装置及方法
CN106488201A (zh) * 2015-08-28 2017-03-08 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
CN106805939A (zh) * 2015-12-01 2017-06-09 广西大学 一种近红外波段led光源影像成像系统
JP2017147556A (ja) * 2016-02-16 2017-08-24 大日本印刷株式会社 撮影システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US20030048493A1 (en) * 2001-09-10 2003-03-13 Pontifex Brian Decoursey Two sensor quantitative low-light color camera
JP6231284B2 (ja) * 2013-02-21 2017-11-15 クラリオン株式会社 撮像装置
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
SG11201807118YA (en) * 2016-03-14 2018-09-27 Agency Science Tech & Res Optical system, method of forming and operating the same
CN105827965B (zh) * 2016-03-25 2019-04-12 维沃移动通信有限公司 一种基于移动终端的图像处理方法及移动终端

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070051876A1 (en) * 2005-02-25 2007-03-08 Hirofumi Sumi Imager
US20110019032A1 (en) * 2008-01-24 2011-01-27 Rafael Advanced Defense Systems Ltd. Method and apparatus for multi-spectral imaging
CN101510007A (zh) * 2009-03-20 2009-08-19 北京科技大学 一种红外光图像与可见光图像实时摄取与自适应融合装置
US20140313344A1 (en) * 2009-06-12 2014-10-23 Young Optics Inc. Image Capturing Method and Image Capturing Device
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
US20130300876A1 (en) * 2011-01-05 2013-11-14 Rafael Advanced Defense Systems Ltd Method and apparatus for multi-spectral imaging
CN102857681A (zh) * 2012-09-13 2013-01-02 侯大威 一种通过半反射镜采集图像和提高图像质量的方法
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
CN105513017A (zh) * 2014-10-14 2016-04-20 深圳中兴力维技术有限公司 图像去雾处理方法、装置及摄像设备
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN106488201A (zh) * 2015-08-28 2017-03-08 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
CN106805939A (zh) * 2015-12-01 2017-06-09 广西大学 一种近红外波段led光源影像成像系统
JP2017147556A (ja) * 2016-02-16 2017-08-24 大日本印刷株式会社 撮影システム
CN106060364A (zh) * 2016-07-28 2016-10-26 浙江宇视科技有限公司 光学透雾彩色图像采集方法及摄像机
CN106254796A (zh) * 2016-10-11 2016-12-21 公安部第研究所 一种基于光电摄像管的红外激光光斑探测成像装置及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365878A (zh) * 2019-07-04 2019-10-22 华为技术有限公司 一种摄像装置和方法
CN110365878B (zh) * 2019-07-04 2022-05-17 华为技术有限公司 一种摄像装置和方法
CN110702099A (zh) * 2019-10-31 2020-01-17 中国科学院长春光学精密机械与物理研究所 高动态范围恒星探测成像方法及星敏感器
CN110702099B (zh) * 2019-10-31 2022-05-27 中国科学院长春光学精密机械与物理研究所 高动态范围恒星探测成像方法及星敏感器
CN114143443A (zh) * 2020-09-04 2022-03-04 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN114143443B (zh) * 2020-09-04 2024-04-05 聚晶半导体股份有限公司 双传感器摄像系统及其摄像方法
CN112422784A (zh) * 2020-10-12 2021-02-26 浙江大华技术股份有限公司 成像方法、成像装置、电子装置和存储介质
CN112422784B (zh) * 2020-10-12 2022-01-11 浙江大华技术股份有限公司 成像方法、成像装置、电子装置和存储介质
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Also Published As

Publication number Publication date
US20200204763A1 (en) 2020-06-25
WO2019047620A1 (zh) 2019-03-14
EP3672221B1 (en) 2022-04-27
KR20200039782A (ko) 2020-04-16
EP3672221A1 (en) 2020-06-24
EP3672221A4 (en) 2020-07-01
CN109474770B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN109474770A (zh) 一种成像装置及成像方法
US10686998B2 (en) Systems and methods for changing operation modes of the optical filter of an imaging device
US11210768B2 (en) Digital image auto exposure adjustment
US20200145633A1 (en) White balance synchronization method and apparatus, and terminal device
CN102377943B (zh) 摄像装置以及摄像方法
CN110248105B (zh) 一种图像处理方法、摄像机及计算机存储介质
CN107730445A (zh) 图像处理方法、装置、存储介质和电子设备
CN109040576A (zh) 具有用于图像数据统计的基于多帧的窗口的相机控制和图像处理的方法和系统
US9571752B2 (en) Display control apparatus and display control method
CN101778220A (zh) 一种自动切换夜景模式的方法和摄像设备
CN107948538A (zh) 成像方法、装置、移动终端和存储介质
CN108702452A (zh) 一种图像拍摄方法及装置
WO2022160895A1 (zh) 图像处理方法、图像处理装置、电子系统及可读存储介质
CN107846556A (zh) 成像方法、装置、移动终端和存储介质
CN107820069A (zh) 一种视频监控设备isp调试方法
CN106550227B (zh) 一种图像饱和度调整方法及装置
US11445127B2 (en) Leveraging HDR sensors for handling mixed illumination auto white balance
CN107800971A (zh) 全景拍摄的自动曝光控制处理方法、装置及设备
US10769416B2 (en) Image processing method, electronic device and storage medium
WO2016078440A1 (zh) 移动终端的屏幕控制方法和装置
CN106878606B (zh) 一种基于电子设备的图像生成方法和电子设备
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
CN105141857B (zh) 图像处理方法和装置
CN106464814B (zh) 闪光冲突检测、补偿和预防
CN112488933A (zh) 一种视频的细节增强方法、装置、移动终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant