CN111770281A - 时分复用补光成像装置和方法 - Google Patents

时分复用补光成像装置和方法 Download PDF

Info

Publication number
CN111770281A
CN111770281A CN202010461879.5A CN202010461879A CN111770281A CN 111770281 A CN111770281 A CN 111770281A CN 202010461879 A CN202010461879 A CN 202010461879A CN 111770281 A CN111770281 A CN 111770281A
Authority
CN
China
Prior art keywords
light
frame
imaging
fill
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010461879.5A
Other languages
English (en)
Inventor
李瑞华
赖昌材
王庆平
胡红旗
陈晓雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010461879.5A priority Critical patent/CN111770281A/zh
Publication of CN111770281A publication Critical patent/CN111770281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种时分复用补光成像方法和设备。该方法包括：使用一个图像传感器交替生成可见光帧和补光帧，可见光帧为图像传感器接收可见光且不接收补光光线时生成的图像帧，补光帧为图像传感器接收补光光线时生成的图像帧；将相邻或连续的可见光帧与补光帧进行合成得到合成帧。

Description

时分复用补光成像装置和方法
技术领域
本发明涉及一种补光成像的技术领域，特别是涉及一种时分复用补光成像的装置和方法。
背景技术
随着图像应用的快速发展，对图像采集设备在低照度下的成像质量要求越来越高。低照度环境相比照度正常的场景，成像质量会有下降，主要表现为图像亮度降低和噪点增加。导致成像质量下降的最大因素为成像传感器的进光量减弱，其输出信号的信噪比降低。对此，常用的解决方案有两种，一种方案是提高低照度下图像传感器的可见光进光量，即使用可见光补光设备进行补光。可见光补光虽然提高了图像亮度，但是高亮度的可见光补光对被拍摄物体会有干扰，造成影像过曝失真。另一种方案是采用红外成像，这种方式虽然在对被拍摄物体没有明显干扰的情况下能够获得足够的图像亮度，但是却无法很好的获取物体的真实色彩信息。
因此，在低照度环境下，如何在不干扰被拍摄物体的同时获取具有真实色彩信息和合适亮度的图像，成为了一个亟待解决的问题。
发明内容
本申请提供了一种时分复用补光成像的方法及应用该方法的装置，通过时分复用的可见光帧和补光帧生成方式，将生成一个合成帧所需的可见光帧和补光帧由同一个图像传感器来生成，有效简化了成像光路和成像设备，更加高效的生成合成帧。
第一方面，本申请提供一种补光成像装置，可以包括图像传感器、光学单元、补光单元以及处理器。其中，图像传感器用于交替生成可见光帧和补光帧。此处交替生成补光帧和可见光帧时生成第一帧的种类不做限定，既可以是可见光帧，也可以是补光帧。交替是指轮流生成所述两种图像帧，比如奇帧都生成可见光帧偶帧都生成补光帧，或者每生成两个可见光帧生成一个补光帧，或每生成一个可见光帧生成两个补光帧等，此处不做限定。光学单元用于使光线在图像传感器上成像。补光单元用于在生成补光帧时为拍摄对象进行补光。处理器用于将相邻或连续的可见光帧与补光帧进行合成，生成合成帧。与现有技术相比，所述补光成像装置通过时分复用的方式使用同一个图像传感器交替生成可见光帧和补光帧，使得生成一个合成帧所需的可见光帧和补光帧不再需要多个图像传感器来完成，有效减少了成像设备的生产成本和成像光路设计难度。
根据第一方面，在第一方面的第一种可能实现方式中，处理器可以用于控制补光单元的开关，具体的，当图像传感器开始生成补光帧时，处理器控制补光单元开始补光，当图像传感器结束生成补光帧时，处理器控制补光单元停止补光。可选的，也可以当图像传感器结束生成可见光帧时，处理器控制补光单元开始补光，当图像传感器开始生成可见光帧时，处理器控制补光单元结束补光，在此不做限定。处理器控制补光单元交替补光的方式，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧，提高了图像传感器利用效率。
根据第一方面，在第一方面的第二种可能实现方式中，光学单元可以用于控制能够照射到图像传感器上的光线的类型，可以当图像传感器开始生成补光帧时，处理器控制光学单元使补光光线能够照射到图像传感器上，可以当图像传感器开始生成可见光帧时，处理器控制光学单元使补光光线不能照射到图像传感器上。可选的，也可以当图像传感器结束生成补光帧时，处理器控制光学单元使补光光线不能照射到图像传感器上，可以当图像传感器结束生成可见光帧时，处理器控制光学单元使补光光线能够照射到图像传感器上，此处不做限定。处理器通过控制光学单元交替改变补光光线在光学单元中的可通过性，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧。
根据第一方面的第二种能实现方式，在第一方面的第三种可能实现方式中，光学单元可以包含滤光片切换装置和单通滤光片，前述单通滤光片用于滤除光学单元的成像光路中除可见光以外的其他类型光线，滤光片切换装置用于将单通滤光片置入或移出光学单元的成像光路。具体的，处理器用于在图像传感器开始生成补光帧时控制滤光片切换装置将单通滤光片置于光学单元成像光路之外，在图像传感器开始生成可见光帧时控制滤光片切换装置将单通滤光片置于光学单元的成像光路上。可选的，也可以当图像传感器结束生成补光帧时，处理器控制滤光片切换装置将单通滤光片置于光学单元的成像光路上，当图像传感器结束生成可见光帧时，处理器控制滤光片切换装置将单通滤光片置于光学单元成像光路之外，此处不做限定。通过滤光片切换装置切换滤光片，交替改变补光光线在光学单元中的可通过性，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧。
可选的，在光学单元中还可以包含双通滤光片，来滤除成像光路中除可见光和补光光线以外的其他光线。滤除除可见光和补光光线以外的其他光线，能够在成像时排除其他光线的干扰，提高成像质量。
可选的，处理器可以用于将相邻的一个可见光帧与一个补光帧进行合成，生成合成帧。相邻可见光帧和补光帧生成间隔短，生成的合成帧运动模糊较小，图像更清晰。
可选的，处理器可以用于将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。使用多个可见光帧和多个补光帧进行合成，能够丰富图像信息，减少合成时的误差。
可选的，补光成像装置中的图像传感器数量可以为一个。由于可见光帧和补光帧的生成可以由同一个图像传感器完成，补光成像装置中可以只设置一个图像传感器，减小了设备体积，避免了多传感器时的复杂光路，降低设备成本和设计制造难度。
可选的，合成帧的色彩信息可以采用可见光帧的色彩信息，合成帧的亮度信息可以采用补光帧的亮度信息。合成帧采用可见光帧的色彩信息和补光帧的亮度信息，兼顾了图像的亮度和色彩，使得得到的合成帧在保证亮度足够的同时丰富了图像的色彩。
可选的，补光单元的补光光线可以为红外线。红外线穿透能力较强，不易被遮挡，且应用成本较低。
可选的，补光成像装置中可以包括环境光检测单元，用于检测环境光照度；例如光敏电阻或其它检测元件。当环境光检测单元检测到环境光照度等于或小于预设值时图像传感器开始交替生成可见光帧和补光帧。在另外一种实现方式中，也可以通过图像传感器来检测环境光照度，具体的可以将图像传感器的增益值高低作为环境光照度强弱的判断标准，将预设值环境光照度情况下的图像传感器增益值作为预设增益值，当增益值等于或大于预设增益值时，图像传感器开始交替生成可见光帧和补光帧。在环境光照度较高时不需补光就能获得高质量图像，通过检测环境光在照度低至预设值的时候再启用补光成像，有助于节约电能，以及延长补光设备使用寿命。
可选的，处理器还可以用于在环境光照度等于或小于前述预设值时提高图像传感器的图像帧采集帧率。在一种可能的实现方式中，处理器在环境光照度等于或小于前述预设值时，将图像传感器的图像帧采集帧率提高到环境光照度大于前述预设值时的n倍，n为生成一个合成帧所需要的可见光帧和补光帧的数量之和。在开始进行补光成像时提高采集帧率，有助于减少合成帧输出时的帧率下降，以减少输出画质的下降；当采集帧率提高到不采用补光成像时采集帧率的n倍，且n为生成一个合成帧所需要的可见光帧和补光帧的数量之和时，合成帧的输出帧率将等于不采用补光成像时的输出帧率，切换成像模式时画质能够维持一个较稳定的输出，提升用户体验。
第二方面，本申请提供一种终端设备，可以包括第一方面及第一方面所有可能实现方式中任意一种方式所述的补光成像模块，还可以包括主处理模块。主处理模块用于对合成帧进行图像处理。终端设备包含前述补光成像模块，能够实现在低照度下获取高质量图像，并对获取的图像进行进一步处理，而且终端设备中只需含有一个图像传感器，节省设备空间，降低设备成本，提高用户体验。
可选的，终端设备还可以包含通信模块，用于将合成帧对应的图像或视频通过接口传输或无线发射的方式发送给其它设备。与其他设备传输合成帧对应的图像或视频，能够满足用户对合成帧对应的图像或视频的处理需求，比如转移存储或与其他用户交互，进而提升用户体验。
第三方面，本申请提供一种补光成像方法，包括：使用一个图像传感器交替生成可见光帧和补光帧，可见光帧为图像传感器接收可见光且不接收补光光线时生成的图像帧，补光帧为图像传感器接收补光光线时生成的图像帧；将相邻或连续的可见光帧与补光帧进行合成得到合成帧。此处交替生成补光帧和可见光帧时生成第一帧的种类不做限定，既可以是可见光帧，也可以是补光帧。交替是指轮流生成所述两种图像帧，比如奇帧都生成可见光帧偶帧都生成补光帧，或者每生成两个可见光帧生成一个补光帧，或每生成一个可见光帧生成两个补光帧等，此处不做限定。
根据第三方面，在第三方面的第一种可能实现方式中，可以在开始生成补光帧时对拍摄对象进行补光，可以在结束生成补光帧时停止补光。可选的，也可以在结束生成可见光帧时开始补光，可以在开始生成可见光帧时结束补光，在此不做限定。通过交替补光的方式，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧，提高了图像传感器利用效率。
根据第三方面，在第三方面的第二种可能实现方式中，持续对拍摄对象进行补光，可以在开始生成可见光帧时使用单通滤光片滤除照射到图像传感器上的补光光线，可以在开始生成补光帧时停止使用单通滤光片，使补光光线能够照射到图像传感器上。可选的，也可以在结束生成补光帧时使用单通滤光片滤除照射到图像传感器上的补光光线，可以在结束生成可见光帧时停止使用单通滤光片，此处不做限定。通过交替补光的方式，使得在同一图像传感器生成的连续图像帧中能够交替生成补光帧和可见光帧，提高了图像传感器利用效率。
可选的，还可以使用双通滤光片来滤除成像光路中除可见光和补光光线以外的其他光线。滤除除可见光和补光光线以外的其他光线，能够在成像时排除其他光线的干扰，提高成像质量。
可选的，可以将相邻的一个可见光帧与一个补光帧进行合成，生成合成帧。相邻可见光帧和补光帧生成间隔短，生成的合成帧运动模糊较小，图像更清晰。
可选的，可以将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。使用多个可见光帧和多个补光帧进行合成，能够丰富图像信息，减少合成时的误差。
可选的，可以提取可见光帧的色彩信息，提取补光帧的亮度信息，将可见光帧的色彩信息和补光帧的亮度信息作为合成帧的色彩信息和亮度信息。合成帧采用可见光帧的色彩信息和补光帧的亮度信息，兼顾了图像的亮度和色彩，使得得到的合成帧在保证亮度足够的同时丰富了图像的色彩。
可选的，补光帧为图像传感器接收补光光线和可见光光线时生成的图像帧，可见光帧为图像传感器仅接收可见光而无所述补光时生成的图像帧。成像时不接收其他光线，能够减少其他光线的干扰，提高成像质量。
可选的，补光光线可以为红外线。红外线穿透能力较强，不易被遮挡，且应用成本较低。
可选的，可以在环境光照度等于或小于预设值时，开始通过一个图像传感器交替生成可见光帧和补光帧。在环境光照度较高时不需补光就能获得高质量图像，通过检测环境光在照度低至预设值的时候再启用补光成像，有助于节约电能，以及延长补光设备使用寿命。
可选的，可以在环境光照度等于或小于前述预设值时，提高图像传感器的图像帧采集帧率。在一种可能的实现方式中，可以在环境光照度等于或小于前述预设值时，将图像传感器的图像帧采集帧率提高到环境光照度大于前述预设值时的n倍，n为生成一个合成帧所需要的可见光帧和补光帧的数量之和。在开始进行补光成像时提高采集帧率，有助于减少合成帧输出时的帧率下降，以减少输出画质的下降；当采集帧率提高到不采用补光成像时采集帧率的n倍，且n为生成一个合成帧所需要的可见光帧和补光帧的数量之和时，合成帧的输出帧率将等于不采用补光成像时的输出帧率，切换成像模式时画质能够维持一个较稳定的输出，提升用户体验。
附图说明
图1为一种补光成像设备的装置示意图；
图2a为一种合成帧生成效果的示意图；
图2b为一种合成帧生成方式的示意图；
图3为一种补光成像方法的流程示意图；
图4为又一种补光成像方法的流程示意图；
图5为一种补光成像设备的逻辑结构示意图；
图6为又一种补光成像设备的逻辑结构示意图；
图7为一种终端设备的逻辑结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
以下讨论的附图和说明以及该专利文档中的各种实施例仅通过举例说明的方式描述本发明的原理，而不应以任何方式理解为对本发明范围的限制。本申请中所称的可见光，为波长大于400nm且小于700nm的电磁波；本申请中所称的非可见光，为波长在可见光波长区间之外的电磁波。本领域普通技术人员将容易了解到本发明的原理可以在任意类型的合适的设备或系统中实施。具体而言，本申请所涉及的时分复用补光成像方法，可以应用于拍照相机和监控摄像机等，尤其是低照度环境下的图像获取，如夜间照相、夜间视频拍摄、低照度环境视频监控等等。本发明实施例中描述的应用场景，装置构成方式，补光光源类型，补光帧曝光频率等是为了更加清楚的说明本申请实施例的技术方案，并不构成对本申请实施例提供的技术方案的限定。本领域技术人员可知，随着应用场景、装置构成和补光光源类型的改变，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
为方便说明，本申请实施例中的补光光源以红外线光源为例，本申请实施例中的补光帧采用每隔一帧补光一次的方式获取，即只在奇帧曝光或只在偶帧曝光，合成帧的生成由相邻的一个补光帧和一个可见光帧进行合成。须知，本申请中的补光光源可以为红外线光源、紫外线光源、X光光源等能够用于成像的非可见光光源中的一种或多种，在此不做限定。本申请中的可见光帧和补光帧可以采用能够实现本发明目的的任何交替生成方式，即采用任何曝光间隔方式，诸如每隔两个可见光帧曝光一个补光帧，或每隔一个可见光帧曝光两个补光帧等，均符合本申请的技术方案，在此不做限定。相应的，本申请中合成帧的生成，可以由相邻或连续的任意数量可见光帧和曝光帧进行合成，即通过同时包括至少一个可见光帧和至少一个补光帧的连续帧序列来合成一个合成帧的方案均符合本申请的技术方案，在此不做限定。
请参阅图1，为本发明的时分复用补光成像设备一可能实施例的物理结构示意图。如图1所示，成像设备100包括补光灯110、镜头120、图像传感器130、滤光片切换装置140和处理器150。在一些可能的实施方式中，成像设备100可能不包含滤光片切换装置140，也可能将滤光片切换装置140替换为固定滤光片。在一些可能的实施方式中，成像设备100还包括光敏电阻160。
补光灯110用于对拍摄对象进行补光，可以实现为红外发光二极管(Light-emitting diode，Led)补光灯，可以采用的发射中心波长包括但不限于760nm、850nm或950nm。补光灯110可以在处理器150的控制下开启和关闭。补光灯的开关可以通过开关量或者电平信号进行控制。
镜头120用于捕捉光线以在图像传感器130上成像，实现方式包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。
图像传感器130用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感器130可以通过电荷耦合器件(Charge CoupledDevice,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)来实现光信号与电信号的转换。图像传感器130将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在不接收补光的红外光时曝光生成的帧称为可见光帧，在接收到补光的红外光时曝光生成的帧称为补光帧。图像传感器130在图像曝光的开始和结束时会生成帧开始和帧结束的信号并发送给处理器150，以通知处理器150曝光的开始和结束。生成补光帧时，图像传感器130可以在接收补光的红外光时不接收可见光，也可以同时接收补光的红外光和可见光，在此不做限定。
滤光片切换装置140用于切换滤光片。滤光片是一种对光的不同波段具有选择性吸收特性的光学元件，可能的实现方式包括但不限于有色玻璃、染色胶片等。通过切换不同的滤光片，滤光片切换装置140可以控制由镜头120采集的光线中有哪些波段的光线能够照射到图像传感器130上。在一种可能的实施方式中，当补光成像模式未开启时，滤光片切换装置140会将只能通过可见光的单通滤光片置于镜头的光路上，使照射到传感器140上的光线只有可见光；当补光成像模式开启时，会将滤光片切换为双通滤光片，使红外光和可见光都能照射到图像传感器130上。在另一种可能的实施方式中，当开启补光成像模式时，滤光片切换装置140会按照与补光帧生成频率对应的特定频率周期性的切换滤光片，使能够照射到图像传感器130上的光线波段种类周期性的发生变化。可选的，滤光片切换装置140可以同时包含单通滤光片和双通滤光片，按照图像传感器130的帧曝光频率来周期性的切换单通滤光片和双通滤光片，或者只包含单通滤光片，按照图像传感器130的帧曝光频率周期性的将单通滤光片置入和移出设备成像光路。在一些可能的实施方式中，补光成像设备100也可能不包含滤光片切换装置140，而直接采用固定的特定滤光片，使照射在图像传感器上的光线为固定几个波段的光线；也可能不使用滤光片，使镜头采集到的所有波段光线都照射在传感器上。对此，本实施例在此不做限定。
处理器150用于控制补光灯110的开启和关闭，控制图像传感器130的采集帧率，对数字图像信号的基本处理，以及对可见光帧和补光帧的合成。当成像设备100中包含滤光片切换装置140时，处理器150还用于控制滤光片切换装置140。处理器150对图像的基本处理包括但不限于去马赛克、自动白平衡等。对可见光帧和补光帧的合成是指通过可见光帧和补光帧生成合成帧，合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧。在一些可能的实施方式中，处理器150控制滤光片切换装置140将滤光片切换为双通滤光片，并根据从图像传感器130接收到的帧开始信号和帧结束信号交替开启和关闭补光灯110，使图像传感器130在曝光时周期性的接收到红外光线，进而按对应的周期频率生成补光帧。在另一些可能的实施方式中，处理器150控制补光灯110持续开启，同时根据从图像传感器130接收到的帧开始信号和帧结束信号控制滤光片切换单元140切换可见光滤光片和双通滤光片，使图像传感器130在曝光时周期性的接收到红外光线，进而交替生成补光帧和可见光帧。处理器150的功能可以由一个处理器来实现，也可以由多个处理器来共同实现，亦可能部分或全部集成在图像传感器130中，在此不做限定。
光敏电阻160用于检测环境光照度变化，当环境光照度等于或小于预设值时，补光成像设备100开启补光成像模式。
图2a是图像帧合成的示意图。对同一场景，补光成像设备会生成可见光帧和补光帧，并将可见光帧和补光帧进行合成，生成合成帧。可见光帧是由图像传感器在无补光情况下在可见光照射时曝光生成的图像帧，在低照度情况下可见光帧的亮度信息不足，但是色彩信息较好。补光帧是在可见光和补光红外光同时照射下曝光生成的图像帧，其亮度高于可见光帧，但是缺乏色彩信息。在一些可能的实施方式中，补光帧也可以是传感器仅由红外线曝光生成的。合成帧是由可见光帧与补光帧进行合成得到的，具体而言，合成帧中保留了可见光帧中的色彩信息，以及补光帧中的亮度信息。
图2b展示了在YUV颜色空间中对可见光帧和补光帧进行合成的一种可能的方法实施例。其中，j帧、j+1帧、j+2帧和j+3帧表示图像传感器按时间顺序依次采集的图像帧，j帧和j+2帧为可见光帧，j+1帧和j+3帧为补光帧；k帧表示由j帧和j+1帧合成得到的合成帧，k+1帧表示由j+2帧和j+3帧合成得到的合成帧。YUV是一种颜色编码方法，用于编译true-color颜色空间，其中的“Y”代表明亮度(Luma)，“UV”代表色度和浓度(Chrominance、Chroma)。图中Y0表示可见光帧j的亮度信息，UV0表示可见光帧j的色彩信息；Y1表示补光帧j+1的亮度信息，UV1表示补光帧j+1的色彩信息；Y2表示可见光帧j+2的亮度信息，UV2表示可见光帧j+2的色彩信息；Y3表示补光帧j+3的亮度信息，UV3表示补光帧j+3的色彩信息。在生成合成帧k时，处理器采用了j帧的亮度信息Y0和j+1帧的色彩信息UV1。同理，合成帧k+1帧采用了j+2帧的亮度信息Y2和j+3帧的色彩信息UV3。
若合成帧图像记为I’，图像传感器采集的图像帧记为I，则第n帧(n为自然数)的I和I’的关系可以用如下公式表达：
I′Y(n)＝IY(2n-1)
I′UV(n)＝IUV(2n)
或者
I′Y(n)＝IY(2n)
I′UV(n)＝IUV(2n-1)
在本实施例中，补光帧的获取频率是每隔一个可见光帧获取一个补光帧，即奇数帧是可见光帧、偶数帧是补光帧，或者奇数帧是补光帧、偶数帧是可见光帧。帧合成采取的是一个可见光帧与一个补光帧合成一个合成帧的方式。须知，如果采取其他补光帧获取频率，比如每隔两个可见光帧获取一个补光帧，或者每隔一个可见光帧获取两个补光帧等，本申请记载的技术方案同样适用。相应的，合成帧如果采取其他合成形式，诸如一个可见光帧与两个补光帧生成一个合成帧等，本申请记载的技术方案同样适用。此外，如果帧合成是在其他颜色空间中进行，比如在RGB、HSV、Lab等空间中，其原理与图2b中所示过程类似，此处不再赘述。
请参阅图3，为本发明的时分复用补光成像方法的一实施例。
S210启用补光成像模式，提高采集帧率，切换滤光片。成像设备会实时监控环境照度，当环境照度等于或低于需要补光的最高照度时，启用本发明的补光成像方法。环境照度可以通过使用图像传感器的增益信息进行估算，随着环境照度降低，图像传感器的增益会逐渐升高，因此可以将传感器某一特定增益值设为判定标准(比如36dB),作为环境照度需要补光的最高照度判定值，当增益等于或高于这一预设值时，判定环境照度等于或低于需要补光的最高照度，启用本发明的补光成像方法。在一些可能的实施方式中，还可以通过专门的亮度检测器件(如光敏电阻)来检测环境光照度变化，此处不做限定。提高采集帧率，切换滤光片。当补光成像模式启用时，成像设备提高采集图像的帧率，比如由25帧/秒修改为50帧/秒。由于在合成帧的生成过程中，会对连续的每一对奇偶帧进行合成来生成一个合成帧，因此提高采集帧率能够减少或消除最终输出帧率的下降。在本实施例中，当采集帧率翻倍时，最终输出的帧率会与采用补光模式之前的输出帧率相同，进而保证了图像输出的质量。在补光成像模式启用时，成像设备还会将滤光片切换为双通滤光片，来滤除采集的光线中除可见光和红外光之外的其他光线，提高成像质量。在其他可能的实施方式中，S220可能只提高采集帧率，而不包括切换滤光片。
S220周期性的开启和关闭红外补光光源，以交替生成补光帧和可见光帧。启用补光成像模式后，成像设备按照图像帧的生成频率周期性的开启和关闭红外补光光源。这里的周期性开启和关闭红外补光光源，可以是奇数帧时开启、偶数帧时关闭，也可以是奇数帧时关闭、偶数帧时开启。对应的，前一种情况下图像传感器生成的图像帧中所有的奇数帧是补光帧、偶数帧是可见光帧，后一种情况下所有的奇数帧是可见光帧、偶数帧是补光帧。
红外补光光源开关的频率与图像帧生成频率的同步，可以通过图像传感器生成的帧中断信号来实现。图像传感器在生成图像帧时，会产生帧中断信号来表征帧曝光的开始与结束。具体而言，帧中断信号中记录了图像帧的帧开始和帧结束信息。帧中断信号可能的实现形式包括但不限于fstart(ISP_FE)、fstart(ISP_BE)、cfg_loss(ISP_FE)、cfg_loss(ISP_BE)等。在开启补光成像模式时，图像传感器将生成的帧中断信号发送给处理器，处理器对帧中断信号从0开始进行计数，每接收到一个帧中断信号计数加1。在一种可能的实施方式中，当帧中断计数为奇数时，处理器侦测到帧开始信号时开启红外补光光源，红外补光光源开始对场景进行补光；侦测到帧结束信号时关闭红外补光光源，补光结束。当帧中断计数为偶数时，对补光光源不进行操作。这样，图像传感器生成的图像帧中所有的奇数帧都是补光帧，所有的偶数帧都是可见光帧。在另一种可能的实施方式中，当帧中断计数为偶数时，处理器侦测到帧开始信号时开启红外补光光源，红外补光光源开始对场景进行补光；侦测到帧结束信号时关闭红外补光光源，补光结束。当帧中断计数为奇数时，对补光光源不进行操作。这样，图像传感器生成的图像帧中所有的偶数帧都是补光帧，所有的奇数帧都是可见光帧。
S230对图像进行基本处理，并生成合成帧。成像设备会对图像帧进行基本处理，具体包括但不限于去马赛克、自动白平衡等。生成合成帧是指对可见光帧和补光帧进行合成，生成合成帧。合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧，具体合成方式请参见对图2a和图2b的描述，此处不再赘述。对图像的基本处理和生成合成帧之间没有先后顺序限定，可以先对可见光帧和补光帧进行基本处理再生成合成帧，也可以先生成合成帧再对合成帧进行基本处理，在此处不做限定。
S240输出合成帧图像。
请参阅图4，为本发明的时分复用补光成像方法的又一实施例。
S310启用补光成像模式，提高采集帧率，开启补光光源。补光成像模式具体启用方式与图2相同，此处不再赘述。当补光成像模式启用时，成像设备提高采集图像的帧率，比如由25帧/秒修改为50帧/秒。在本实施例中，当采集帧率翻倍时，最终输出的帧率会与采用补光模式之前的输出帧率相同，进而保证了图像输出的质量。在补光成像模式启用时，成像设备还会开启补光光源，对拍摄对象进行红外补光。
S320周期性切换滤光片，以交替生成可见光帧和补光帧。启用补光成像模式后，成像设备按照图像帧的生成频率周期性的切换单通滤光片和双通滤光片。这里的单通滤光片是指仅能通过可见光的滤光片，双通滤光片是指仅能通过可见光和红外光的滤光片。这里的周期性切换滤光片，可以是奇数帧时切换单通滤光片、偶数帧时切换双通滤光片，也可以是奇数帧时切换双通滤光片、偶数帧时切换单通滤光片。对应的，前一种情况下图像传感器生成的图像帧中所有的奇数帧是可见光帧、偶数帧是补光帧，后一种情况下所有的奇数帧是补光帧、偶数帧是可见光帧。
滤光片切换的频率与图像帧生成频率的同步，可以通过图像传感器生成的帧中断信号来实现。帧中断信号的具体特征如图3中的描述，此处不再赘述。在开启补光成像模式时，图像传感器将生成的帧中断信号发送给处理器，处理器对帧中断信号从0开始进行计数，每接收到一个帧中断信号计数加1。在一种可能的实施方式中，当帧中断计数为奇数时，处理器侦测到帧开始信号时将滤光片切换为单通滤光片，只有可见光能够照射到图像传感器上；当帧中断计数为偶数时，处理器侦测到帧开始信号时将滤光片切换为双通滤光片，可见光和红外光都能够照射到图像传感器上。这样，图像传感器生成的图像帧中所有的偶数帧都是补光帧，所有的奇数帧都是可见光帧。在另一种可能的实施方式中，当帧中断计数为奇数时，处理器侦测到帧开始信号时将滤光片切换为双通滤光片，可见光和红外光都能够照射到图像传感器上；当帧中断计数为偶数时，处理器侦测到帧开始信号时将滤光片切换为单通滤光片，只有可见光能够照射到图像传感器上。这样，图像传感器生成的图像帧中所有的奇数帧都是补光帧，所有的偶数帧都是可见光帧。
S330对图像进行基本处理，并生成合成帧。本步骤请参见图3中的描述，此处不再赘述。
S340输出合成帧图像。
请参阅图5，为本发明的时分复用补光成像设备一可能实施例的逻辑结构示意图。
如图5所示，成像设备400包括补光单元410、光学单元420、图像传感单元430和处理单元440。在一些可能的实施方式中，还可以包括环境光检测单元440。
补光单元410用于对拍摄对象进行补光，可以实现为红外发光二极管(Light-emitting diode，Led)补光灯，可以采用的发射中心波长包括但不限于760nm、850nm或950nm。补光单元410可以在处理单元440的控制下开启和关闭。
光学单元420用于捕捉光线以在图像传感单元430上成像，可以实现为镜头，包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。在一些可能的实现方式中，光学单元420中还可能包含滤光片，以使只有特定波长的光线能够照射到图像传感单元430上。
图像传感单元430用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感单元430可以通过电荷耦合器件(Charge CoupledDevice,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)来实现光信号与电信号的转换。图像传感单元430将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在接收可见光且不接收补光红外光时曝光生成的帧称为可见光帧，在接收到补光红外光时曝光生成的帧称为补光帧。生成补光帧时，图像传感单元430可以接收补光红外光不接收可见光，也可以同时接收补光红外光和可见光，在此不做限定。
处理单元440用于控制补光单元410的开启和关闭。在一些可能的实施方式中，处理单元440会根据图像传感单元430发送的图像帧曝光信息来周期性的开启和关闭补光单元，以使图像传感器430周期性的获得红外补光光线，进而交替生成补光帧和可见光帧。图像帧曝光信息可以实现为包含了帧开始信号和帧结束信号的帧中断信息。补光单元410的开启和关闭的频率与帧曝光频率的同步方式请参见图3中的相应描述，此处不再赘述。处理单元440还用于控制图像传感单元430的采集帧率，对数字图像信号的基本处理，以及对可见光帧和补光帧的合成。对图像的基本处理包括但不限于去马赛克、自动白平衡等。对可见光帧和补光帧的合成是指通过可见光帧和补光帧生成合成帧，合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧，具体合成方式如图2a和图2b中的方式所述，此处不再赘述。处理单元440的功能可以由一个处理器来实现，也可以由多个处理器来共同实现。在一些可能的实施方式中，处理单元440的功能可能部分或全部集成在图像传感单元430中，在此不做限定。
环境光检测单元450用于检测环境光照度，并将照度信息提供给处理单元440。在一些可能的实施方式中，环境光检测单元450的功能也可能由图像传感单元430来实现，在此不做限定。
请参阅图6，为本发明的时分复用补光成像设备又一可能实施例的逻辑结构示意图。
如图6所示，成像设备500包括补光单元510、光学单元520、滤光控制单元530、图像传感单元540和处理单元550。
补光单元510用于对拍摄对象进行补光，可以实现为红外发光二极管(Light-emitting diode，Led)补光灯，可以采用的发射中心波长包括但不限于760nm、850nm或950nm。补光成像设备500在进行补光成像时，补光单元510保持开启。
光学单元520用于捕捉光线以在图像传感单元530上成像，可以实现为镜头，包括但不限于广角镜头、标准镜头、长焦镜头、变焦镜头、后焦镜头或针孔镜头等。
图像传感单元530用于将接收到的光信号转换为电信号，并基于电信号生成以帧为分隔单位的数字图像信号。图像传感单元530可以通过电荷耦合器件(Charge CoupledDevice,CCD)或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)来实现光信号与电信号的转换。图像传感单元530将接收到的光信号最终转换为以帧为分隔单位的数字图像信号的过程可以称为图像的曝光，在接收可见光且不接收补光红外光时曝光生成的帧称为可见光帧，在接收到补光红外光时曝光生成的帧称为补光帧。生成补光帧时，图像传感单元530可以只接收红外光，也可以同时接收红外光和可见光，在此不做限定。
滤光控制单元540用于使光学单元520采集的特定波长的光线能够照射到图像传感单元530上，而滤除其他波长的光线。滤光控制单元540可以根据需要改变滤光特性，使不同波长的光线能够通过并照射在图像传感单元530上。滤光控制单元540可以实现为滤光片切换装置，通过切换滤光片的方式来实现滤光特性的改变。在一些可能的实施方式中，滤光控制单元540会根据处理单元550的指令周期性的改变滤光特性，以使图像传感器530周期性的获得红外补光光线，进而交替生成补光帧和可见光帧。图像帧曝光信息可以实现为包含了帧曝光开始和曝光结束信号的帧中断信息。滤光控制单元540滤光特性的改变频率与帧曝光频率的同步方式请参见图4中的相应描述，此处不再赘述。
处理单元550用于对数字图像信号的基本处理，控制滤光控制单元540以及对可见光帧和补光帧的合成。对图像的基本处理包括但不限于去马赛克、自动白平衡等。处理单元550会根据图像传感单元530发送的图像帧曝光信息来控制滤光控制单元540周期性的改变滤光特性，以使图像传感器530周期性的获得红外补光光线，进而交替生成补光帧和可见光帧。处理单元550对可见光帧和补光帧的合成是指通过可见光帧和补光帧生成合成帧，合成帧的亮度信息来自于补光帧，色度信息来自于可见光帧，具体合成方式如图2a和图2b中的方式所述，此处不再赘述。处理单元550的功能可以由一个处理器来实现，也可以由多个处理器来共同实现。在一些可能的实施方式中，处理单元550的功能可能部分或全部集成在图像传感单元530中，在此不做限定。
环境光检测单元560用于检测环境光照度，并将照度信息提供给处理单元550。在一些可能的实施方式中，环境光检测单元560的功能也可能由图像传感单元530来实现，在此不做限定。
请参阅图7，为本发明的时分复用补光成像终端设备一可能实施例的逻辑结构示意图。
终端设备600包括成像模块610和主处理模块620。在一些可能的实施方式中，还可以包括通信模块630。终端设备600的具体实现方式包括但不限于具有拍摄功能的手机、平板电脑、数码相机等。
成像模块610用于采用本申请所记载的时分复用补光成像方法生成合成帧，具体合成帧生成方式请参见图3或图4的相关描述，此处不再赘述。内部结构的实现方式包括但不限于如图1、图5或图6中所描述的具体形式，此处不再赘述。成像模块610在获取合成帧后可以将合成帧发送给主处理模块620进行进一步处理，也可以发送给通信模块630进行通信。
主处理模块620用于对合成帧进行图像处理，包括但不限于对图像进行几何变换、颜色调整、图像拼接等。主处理模块在完成图像处理后可以将处理好的图像发送给通信模块630进行通信。
通信模块630用于将合成帧对应的图像或视频通过接口传输或无线发射的方式发送给其它设备。
本发明实施例中提及的各处理器的功能均可以采取完全的硬件实施例的形式、完全的软件实施例(包括固件、常驻软件和微代码等)的形式或结合了软件和硬件方面的实施例的形式来实现，其中，所有的这些形式通常都可称作“电路”、“模块”或“系统”。各处理器可以通过现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital SignalProcessor，DSP)和单独的或组合的通用处理器，以及相关联的软件、固件和胶合逻辑来实现。所有处理器都可以包括一个或多个处理器，当包括多个处理器时，这多个处理器可以集成在同一块芯片上，也可以各自为独立的芯片。一个处理器可以包括一个或多个物理核，其中物理核为最小的处理模块。
应理解，说明书通篇中提到的“一个实施例”、“一实施例”、“一种实施方式”或“一些实施方式”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

Claims (42)

1.一种补光成像装置，其特征在于，包括图像传感器、补光单元以及处理器，其中：
所述处理器用于，在补光成像模式未开启的情况下，控制滤光片切换装置将单通滤光片置于光学单元的成像光路上；所述单通滤光片用于滤除所述成像光路中除可见光以外的其他类型光线；
所述处理器用于，在所述补光成像模式开启的情况下，控制所述滤光片切换装置将双通滤光片置于所述光学单元的成像光路上；所述双通滤光片用于滤除成像光路中除可见光和补光光线以外的其他光线；且，还用于控制所述补光单元的开启或关闭；
当所述补光单元开启时，所述图像传感器生成补光帧；
当所述补光单元关闭时，所述图像传感器生成可见光帧。
2.如权利要求1所述的补光成像装置，其特征在于，所述处理器具体用于：
根据帧中断信号控制所述补光单元的开启或关闭，所述帧中断信号用于指示帧曝光的开始和结束。
3.如权利要求2所述的补光成像装置，其特征在于，所述处理器具体用于：
当侦测到用于指示帧开始信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧结束信号的帧中断信号时，关闭所述补光单元；或者，
当侦测到用于指示帧结束信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧开始信号的帧中断信号时，关闭所述补光单元。
4.如权利要求1至3任一项所述的补光成像装置，其特征在于，所述处理器还用于：
将相邻或连续的可见光帧与补光帧进行合成得到合成帧。
5.如权利要求4所述的补光成像装置，其特征在于，所述处理器具体用于：
将相邻的一个可见光帧与一个补光帧进行合成得到合成帧；或者，
将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。
6.如权利要求4或5所述的补光成像装置，其特征在于，所述合成帧的色彩信息采用所述可见光帧的色彩信息，所述合成帧的亮度信息采用所述补光帧的亮度信息。
7.如权利要求1至6任一项所述的补光成像装置，其特征在于，所述处理器还用于：
在所述补光成像模式下，提高所述图像传感器的图像帧采集帧率。
8.如权利要求7所述的补光成像装置，其特征在于，所述处理器具体用于：
在所述补光成像模式下，将所述图像传感器的图像帧采集帧率提高到补光成像模式未开启时的n倍，n为生成一个所述合成帧所需要的所述可见光帧和所述补光帧的数量之和。
9.如权利要求1至8任一项所述的补光成像装置，其特征在于，所述在补光成像模式未开启的情况下，具体包括：在环境光照度等于或小于预设值的情况下；或者，
在图像传感器的增益值等于或小于预设值的情况下。
10.如权利要求1至9任一项所述的补光成像装置，其特征在于，所述补光成像装置还包括环境光检测单元，用于检测环境光照度；所述补光成像模式开启具体包括：
在所述环境光检测单元检测到环境光照度等于或小于预设值时，所述补光成像模式开启；或者，
所述图像传感器还用于通过图像传感器的增益值来检测环境光照度；所述补光成像模式开启具体包括：
在检测到所述图像传感器的增益值等于或小于预设值时，所述补光成像模式开启。
11.一种补光成像装置，包括图像传感器、补光单元以及处理器，其中：
所述处理器用于，在补光成像模式开启的情况下，控制滤光片切换装置将双通滤光片置于光学单元的成像光路上；所述双通滤光片用于滤除成像光路中除可见光和补光光线以外的其他光线；
所述处理器，还用于在所述补光成像模式下，提高所述图像传感器的图像帧采集帧率；
所述处理器，还用于控制所述补光单元的开启或关闭；
当所述补光单元开启时，所述图像传感器生成补光帧；
当所述补光单元关闭时，所述图像传感器生成可见光帧。
12.如权利要求11所述的补光成像装置，其特征在于，当所述图像传感器的图像帧采集帧率提高时，单位时间内生成合成帧的数量增多。
13.如权利要求11或12所述的补光成像装置，其特征在于，所述处理器具体用于：
在所述补光成像模式下，将所述图像传感器的图像帧采集帧率提高到补光成像模式未开启时的n倍，n为生成一个所述合成帧所需要的所述可见光帧和所述补光帧的数量之和。
14.如权利要求11至13任一项所述的补光成像装置，其特征在于，所述处理器具体用于：
根据帧中断信号控制所述补光单元的开启或关闭，所述帧中断信号用于指示帧曝光的开始和结束。
15.如权利要求14所述的补光成像装置，其特征在于，所述处理器具体用于：
当侦测到用于指示帧开始信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧结束信号的帧中断信号时，关闭所述补光单元；或者，
当侦测到用于指示帧结束信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧开始信号的帧中断信号时，关闭所述补光单元。
16.如权利要求11至15任一项所述的补光成像装置，其特征在于，所述处理器还用于：
将相邻的一个可见光帧与一个补光帧进行合成得到合成帧；或者，
将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。
17.如权利要求16所述的补光成像装置，其特征在于，所述合成帧的色彩信息采用所述可见光帧的色彩信息，所述合成帧的亮度信息采用所述补光帧的亮度信息。
18.如权利要求11至17任一项所述的补光成像装置，其特征在于，所述补光成像装置还包括环境光检测单元，用于检测环境光照度；所述补光成像模式开启具体包括：
在所述环境光检测单元检测到环境光照度等于或小于预设值时，所述补光成像模式开启；或者，
所述图像传感器还用于通过图像传感器的增益值来检测环境光照度；所述补光成像模式开启具体包括：
在检测到所述图像传感器的增益值等于或小于预设值时，所述补光成像模式开启。
19.如权利要求11至18任一项所述的补光成像装置，其特征在于，
所述处理器还用于，在所述补光成像模式未开启的情况下，控制所述滤光片切换装置将单通滤光片置于所述光学单元的成像光路上；所述单通滤光片用于滤除所述成像光路中除可见光以外的其他类型光线。
20.一种补光成像的方法，其特征在于，包括：
在补光成像模式未开启的情况下，将单通滤光片置于光学单元的成像光路上；所述单通滤光片用于滤除所述成像光路中除可见光以外的其他类型光线；
在所述补光成像模式开启的情况下，将双通滤光片置于所述光学单元的成像光路上；所述双通滤光片用于滤除成像光路中除可见光和补光光线以外的其他光线；
交替开启或关闭补光单元；
当所述补光单元开启时，图像传感器生成补光帧；
当所述补光单元关闭时，所述图像传感器生成可见光帧。
21.如权利要求20所述的补光成像的方法，其特征在于，所述交替开启或关闭补光单元，具体包括：
根据帧中断信号交替开启或关闭所述补光单元，所述帧中断信号用于指示帧曝光的开始和结束。
22.如权利要求21所述的补光成像的方法，其特征在于，所述根据帧中断信号交替开启或关闭所述补光单元，包括：
当侦测到用于指示帧开始信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧结束信号的帧中断信号时，关闭所述补光单元；或者，
当侦测到用于指示帧结束信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧开始信号的帧中断信号时，关闭所述补光单元。
23.如权利要求20至22任一项所述的补光成像的方法，其特征在于，所述方法还包括：
将相邻的一个可见光帧与一个补光帧进行合成得到合成帧；或者，
将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。
24.如权利要求23所述的补光成像的方法，其特征在于，所述合成帧的色彩信息采用所述可见光帧的色彩信息，所述合成帧的亮度信息采用所述补光帧的亮度信息。
25.如权利要求20至24任一项所述的补光成像的方法，其特征在于，所述方法还包括：
在所述补光成像模式下，提高所述图像传感器的图像帧采集帧率。
26.如权利要求25所述的补光成像的方法，其特征在于，所述在所述补光成像模式下，提高所述图像传感器的图像帧采集帧率，包括：
在所述补光成像模式下，将所述图像传感器的图像帧采集帧率提高到补光成像模式未开启时的n倍，n为生成一个所述合成帧所需要的所述可见光帧和所述补光帧的数量之和。
27.如权利要求20至26任一项所述的补光成像的方法，其特征在于，所述方法还包括：
在检测到环境光照度等于或小于预设值时，开启所述补光成像模式；或者，
在检测到所述图像传感器的增益值等于或小于预设值时，开启所述补光成像模式。
28.一种补光成像的方法，其特征在于，包括：
在补光成像模式开启的情况下，将双通滤光片置于光学单元的成像光路上；所述双通滤光片用于滤除成像光路中除可见光和补光光线以外的其他光线；
在所述补光成像模式下，提高图像传感器的图像帧采集帧率；
交替开启或关闭补光单元；
当所述补光单元开启时，所述图像传感器生成补光帧；
当所述补光单元关闭时，所述图像传感器生成可见光帧。
29.如权利要求28所述的补光成像的方法，其特征在于，当所述图像传感器的图像帧采集帧率提高时，单位时间内生成合成帧的数量增多。
30.如权利要求28或29所述的补光成像的方法，其特征在于，所述在所述补光成像模式下，提高所述图像传感器的图像帧采集帧率，包括：
在所述补光成像模式下，将所述图像传感器的图像帧采集帧率提高到补光成像模式未开启时的n倍，n为生成一个所述合成帧所需要的所述可见光帧和所述补光帧的数量之和。
31.如权利要求28至30任一项所述的补光成像的方法，其特征在于，所述交替开启或关闭补光单元，具体包括：
根据帧中断信号交替开启或关闭所述补光单元，所述帧中断信号用于指示帧曝光的开始和结束。
32.如权利要求31所述的补光成像的方法，其特征在于，所述根据帧中断信号交替开启或关闭所述补光单元，包括：
当侦测到用于指示帧开始信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧结束信号的帧中断信号时，关闭所述补光单元；或者，
当侦测到用于指示帧结束信号的帧中断信号时，开启所述补光单元；
当侦测到用于指示帧开始信号的帧中断信号时，关闭所述补光单元。
33.如权利要求28至32任一项所述的补光成像的方法，其特征在于，所述方法还包括：
将相邻的一个可见光帧与一个补光帧进行合成得到合成帧；或者，
将连续的一个或多个可见光帧与一个或多个补光帧进行合成得到合成帧。
34.如权利要求33所述的补光成像的方法，其特征在于，所述合成帧的色彩信息采用所述可见光帧的色彩信息，所述合成帧的亮度信息采用所述补光帧的亮度信息。
35.如权利要求28至34任一项所述的补光成像的方法，其特征在于，所述方法还包括：
在检测到环境光照度等于或小于预设值时，开启所述补光成像模式；或者，
在检测到所述图像传感器的增益值等于或小于预设值时，开启所述补光成像模式。
36.如权利要求28至35任一项所述的补光成像的方法，其特征在于，所述方法还包括：
在补光成像模式未开启的情况下，将单通滤光片置于所述光学单元的成像光路上；所述单通滤光片用于滤除所述成像光路中除可见光以外的其他类型光线。
37.一种补光成像装置，其特征在于，包括图像传感器、补光单元和处理器，其中，
所述补光单元用于，为拍摄对象进行补光；
所述处理器用于，在所述补光单元开启的情况下，控制滤光片切换装置切换单通滤光片或双通滤光片置于光学单元的成像光路上，以使得所述图像传感器交替生成所述可见光帧或所述补光帧。
38.如权利要求37所述的补光成像装置，其特征在于，
所述处理器控制所述滤光片切换装置切换所述单通滤光片置于所述光学单元的成像光路上，所述图像传感器生成所述可见光帧；
所述处理器控制所述滤光片切换装置切换所述双通滤光片置于所述光学单元的成像光路上，所述图像传感器生成所述补光帧。
39.如权利要求37或38所述的补光成像装置，其特征在于，所述可见光帧和所述补光帧用于合成得到合成帧。
40.一种补光成像的方法，其特征在于，包括：
在补光单元开启的情况下，控制滤光片切换装置将单通滤光片或双通滤光片置于光学单元的成像光路上，以使得图像传感器交替生成所述可见光帧或所述补光帧。
41.如权利要求40所述的补光成像的方法，其特征在于，所述控制滤光片切换装置将单通滤光片或双通滤光片置于光学单元的成像光路上，以使得图像传感器交替生成所述可见光帧或所述补光帧，具体包括:
控制所述滤光片切换装置切换所述单通滤光片置于所述光学单元的成像光路上，所述图像传感器生成所述可见光帧；
控制所述滤光片切换装置切换所述双通滤光片置于所述光学单元的成像光路上，所述图像传感器生成所述补光帧。
42.如权利要求40或41所述的补光成像的方法，其特征在于，所述可见光帧和所述补光帧用于合成得到合成帧。
CN202010461879.5A 2018-07-30 2018-07-30 时分复用补光成像装置和方法 Pending CN111770281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010461879.5A CN111770281A (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010461879.5A CN111770281A (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法
CN201810853813.3A CN109963086B (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810853813.3A Division CN109963086B (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法

Publications (1)

Publication Number Publication Date
CN111770281A true CN111770281A (zh) 2020-10-13

Family

ID=67023122

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810853813.3A Active CN109963086B (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法
CN202010461879.5A Pending CN111770281A (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810853813.3A Active CN109963086B (zh) 2018-07-30 2018-07-30 时分复用补光成像装置和方法

Country Status (4)

Country Link
US (1) US11470262B2 (zh)
EP (1) EP3820140A4 (zh)
CN (2) CN109963086B (zh)
WO (1) WO2020024623A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114926A (zh) * 2021-03-10 2021-07-13 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机
CN114374776A (zh) * 2020-10-15 2022-04-19 华为技术有限公司 摄像机以及摄像机的控制方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493492B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集方法
CN110493491B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 一种图像采集装置及摄像方法
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法
CN112995581A (zh) * 2019-12-12 2021-06-18 北京英泰智科技股份有限公司 一种视频监控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202887451U (zh) * 2012-10-26 2013-04-17 青岛海信网络科技股份有限公司 融合红外和可见光补光的电子警察系统
CN105868753A (zh) * 2016-04-05 2016-08-17 浙江宇视科技有限公司 蓝色车牌颜色的识别方法及装置
US20170295326A1 (en) * 2014-10-06 2017-10-12 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and imaging method
CN107566747A (zh) * 2017-09-22 2018-01-09 浙江大华技术股份有限公司 一种图像亮度增强方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4887121A (en) * 1988-12-12 1989-12-12 Eastman Kodak Company Method and apparatus for exposure control based on color balance information
JP2006033049A (ja) * 2004-07-12 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
JP4702441B2 (ja) * 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
CN202475619U (zh) * 2012-02-03 2012-10-03 深圳市保千里电子有限公司 一种用于消除杂光的夜视系统
CN103152517B (zh) * 2013-02-06 2018-06-22 北京中科虹霸科技有限公司 用于移动虹膜识别设备的成像模组及移动设备
CN104408749B (zh) 2014-10-11 2018-04-20 华东理工大学 一种基于色彩混合的快速红外彩色夜视实现方法
CN104301623B (zh) * 2014-10-28 2017-10-31 浙江宇视科技有限公司 一种混合补光方法和装置
JP2016096430A (ja) 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
CN105187727A (zh) * 2015-06-17 2015-12-23 广州市巽腾信息科技有限公司 一种图像信息采集装置、图像采集方法及其用途
CN106488107A (zh) * 2015-08-31 2017-03-08 宇龙计算机通信科技(深圳)有限公司 一种基于双摄像头的图像合成方法和装置
CN105959559A (zh) * 2016-06-08 2016-09-21 维沃移动通信有限公司 一种夜景拍摄方法及移动终端
CN106101530A (zh) 2016-06-12 2016-11-09 张家港全智电子科技有限公司 一种高速适应性夜视图像增强的方法
WO2018079372A1 (ja) * 2016-10-28 2018-05-03 京セラ株式会社 撮像装置、撮像システム、移動体、及び撮像方法
CN106791462B (zh) * 2016-11-29 2019-12-10 惠州Tcl移动通信有限公司 一种移动终端前置摄像头拍照补光的方法及系统
US20180332239A1 (en) * 2017-05-10 2018-11-15 Lifetouch Inc. Background replacement utilizing infrared light and visible light
CN107202554B (zh) 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
CN207248354U (zh) * 2017-09-14 2018-04-17 绍兴精恒光电技术有限公司 一种单双色可切换测温的红外测温仪
WO2019183809A1 (zh) * 2018-03-27 2019-10-03 深圳市大疆创新科技有限公司 控制方法与装置、云台系统、无人机和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202887451U (zh) * 2012-10-26 2013-04-17 青岛海信网络科技股份有限公司 融合红外和可见光补光的电子警察系统
US20170295326A1 (en) * 2014-10-06 2017-10-12 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and imaging method
CN105868753A (zh) * 2016-04-05 2016-08-17 浙江宇视科技有限公司 蓝色车牌颜色的识别方法及装置
CN107566747A (zh) * 2017-09-22 2018-01-09 浙江大华技术股份有限公司 一种图像亮度增强方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374776A (zh) * 2020-10-15 2022-04-19 华为技术有限公司 摄像机以及摄像机的控制方法
CN114374776B (zh) * 2020-10-15 2023-06-23 华为技术有限公司 摄像机以及摄像机的控制方法
CN113114926A (zh) * 2021-03-10 2021-07-13 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机

Also Published As

Publication number Publication date
US11470262B2 (en) 2022-10-11
CN109963086A (zh) 2019-07-02
EP3820140A4 (en) 2021-11-03
US20210152728A1 (en) 2021-05-20
CN109963086B (zh) 2020-06-16
EP3820140A1 (en) 2021-05-12
WO2020024623A1 (zh) 2020-02-06

Similar Documents

Publication Publication Date Title
CN109963086B (zh) 时分复用补光成像装置和方法
CN108965654B (zh) 基于单传感器的双光谱摄像机系统和图像处理方法
US10949647B2 (en) System and method of efficient illuminator-sensor synchronization to capture images
EP2533520B1 (en) Image sensor having HDR capture capability
US8558915B2 (en) Photographing apparatus and method
CN102892008A (zh) 双图像捕获处理
KR20200054320A (ko) 이미징 제어 방법 및 이미징 디바이스
CN108462837B (zh) 拍摄方法及装置
US20110122252A1 (en) Digital image processing apparatus and photographing method of digital image processing apparatus
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
JP2006352723A (ja) 撮像装置、撮像システムおよび同期方法
CN116095476B (zh) 摄像头的切换方法、装置、电子设备及存储介质
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
CN103581559A (zh) 一种手机闪光拍照智能ae算法
JP2024036370A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
US8599276B2 (en) Image capture apparatus and control method for the image capture apparatus
WO2022078036A1 (zh) 摄像机以及摄像机的控制方法
CN111835949B (zh) 摄像装置、摄像系统、非暂时性存储介质和控制方法
CN116095509B (zh) 生成视频帧的方法、装置、电子设备及存储介质
WO2024146349A1 (zh) 一种图像处理方法及装置
JP2012227744A (ja) 撮像装置
JP2018029329A (ja) 撮像装置
JP2010107900A (ja) 撮像装置、複眼撮像装置、撮像方法及びプログラム
JP2009027512A (ja) 撮像装置
CN116261041A (zh) 拍摄方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination