CN113114926A - 一种图像处理方法、装置及摄像机 - Google Patents

一种图像处理方法、装置及摄像机 Download PDF

Info

Publication number
CN113114926A
CN113114926A CN202110260871.7A CN202110260871A CN113114926A CN 113114926 A CN113114926 A CN 113114926A CN 202110260871 A CN202110260871 A CN 202110260871A CN 113114926 A CN113114926 A CN 113114926A
Authority
CN
China
Prior art keywords
time
image
infrared
image sensor
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110260871.7A
Other languages
English (en)
Other versions
CN113114926B (zh
Inventor
朱海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110260871.7A priority Critical patent/CN113114926B/zh
Publication of CN113114926A publication Critical patent/CN113114926A/zh
Priority to PCT/CN2022/072686 priority patent/WO2022188558A1/zh
Application granted granted Critical
Publication of CN113114926B publication Critical patent/CN113114926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请提供一种图像处理方法、装置及摄像机,该摄像机包括处理芯片、图像传感器和红外补光灯;处理芯片,用于确定红外补光灯对应的开启时间区间和关闭时间区间;开启时间区间与关闭时间区间交替出现;控制红外补光灯在开启时间区间对目标场景进行补光;控制图像传感器在开启时间区间采集目标场景的红外图像,控制图像传感器在关闭时间区间采集目标场景的彩色图像;红外图像是红外补光灯对目标场景进行补光时,由图像传感器基于红外光生成的;彩色图像是红外补光灯未对目标场景进行补光时,由图像传感器基于可见光生成的;对红外图像和彩色图像进行图像融合。通过本申请的技术方案,使补光的时间减少,功耗降低,减少长时间补光造成的光污染。

Description

一种图像处理方法、装置及摄像机
技术领域
本申请涉及图像处理技术领域,尤其是一种图像处理方法、装置及摄像机。
背景技术
随着图像处理技术的发展,对图像的亮度和清晰度的要求越来越高,即需要采集高亮度和高清晰度的彩色图像,基于高亮度和高清晰度的彩色图像进行图像处理。在高照度环境下,比如白天,由于自然光的亮度比较高,在通过摄像机采集目标场景的图像时,图像的亮度比较高,清晰度比较好,因此,可以采集到高亮度和高清晰度的彩色图像。但是,在低照度环境下,比如夜间,由于自然光的亮度很低,在通过摄像机采集目标场景的图像时,图像的亮度比较低,清晰度比较差,因此,无法采集到高亮度和高清晰度的彩色图像。
为了在低照度环境下采集高亮度和高清晰度的彩色图像,为摄像机配置白光补光灯,在低照度环境下,打开白光补光灯,通过白光补光灯对目标场景进行补光,从而提高环境的亮度,将低照度环境变化为高照度环境,这样,在通过摄像机采集目标场景的图像时,就可以采集到高亮度和高清晰度的彩色图像。
但是,在低照度环境下,需要始终打开白光补光灯,即白光补光灯需要常亮,从而消耗大量功耗,不利于能源的节约,且白光补光灯容易造成光污染。
发明内容
本申请提供一种摄像机,包括处理芯片、图像传感器和红外补光灯;
所述处理芯片,用于确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
控制所述红外补光灯在所述开启时间区间对目标场景进行补光;
控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
对所述红外图像和所述彩色图像进行图像融合。
示例性的,所述开启时间区间包括补光起始时刻和补光结束时刻,所述处理芯片控制所述红外补光灯在所述开启时间区间对目标场景进行补光时具体用于:基于所述补光起始时刻和第一时长确定控制信号起始时刻,基于所述补光结束时刻和所述第一时长确定控制信号结束时刻;其中,所述第一时长是所述处理芯片与所述红外补光灯之间的信号传输延时;在所述控制信号起始时刻至所述控制信号结束时刻之间的时间区间,向所述红外补光灯发送控制信号,以使所述红外补光灯在接收到所述控制信号后,对目标场景进行补光。
示例性的,所述开启时间区间包括补光起始时刻和补光结束时刻,所述处理芯片控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像时具体用于:基于所述补光起始时刻和第二时长确定同步信号起始时刻,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;在所述同步信号起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号后,在曝光时长内采集所述目标场景的红外图像;
其中,所述开启时间区间的时长与所述曝光时长相同。
示例性的,所述开启时间区间包括补光起始时刻和补光结束时刻,所述处理芯片控制所述红外补光灯在所述开启时间区间对目标场景进行补光,控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像时具体用于:
在所述补光起始时刻至所述补光结束时刻之间的时间区间,向所述红外补光灯发送控制信号,以使所述红外补光灯在接收到所述控制信号后,对目标场景进行补光;以及,在所述补光起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号并延时第三时长后,在曝光时长内采集所述目标场景的红外图像;其中,所述第三时长是第一时长与第二时长的差值,所述第一时长是所述处理芯片与所述红外补光灯之间的信号传输延时,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;
其中,所述开启时间区间的时长与所述曝光时长相同。
在一种可能的实施方式中,所述摄像机还包括红外补光灯驱动,所述处理芯片向所述红外补光灯发送控制信号时具体用于:
向所述红外补光灯驱动发送所述控制信号,以使所述红外补光灯驱动在接收到所述控制信号后,控制所述红外补光灯对目标场景进行补光。
示例性的,所述关闭时间区间包括未补光起始时刻和未补光结束时刻,所述处理芯片控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像时具体用于:基于所述未补光起始时刻和第二时长确定同步信号起始时刻,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;在所述同步信号起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号后,在曝光时长内采集所述目标场景的彩色图像;
或者,在所述未补光起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号并延时第三时长后,在曝光时长内采集所述目标场景的彩色图像;其中,所述第三时长是第一时长与第二时长的差值,所述第一时长是所述处理芯片与所述红外补光灯之间的信号传输延时,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;
其中,所述关闭时间区间的时长与所述曝光时长相同。
在一种可能的实施方式中,所述处理芯片对所述红外图像和所述彩色图像进行图像融合时具体用于:从所述红外图像中获取亮度信息,并从所述彩色图像中获取色彩信息;基于所述亮度信息和所述色彩信息生成融合图像。
在一种可能的实施方式中,在多个摄像机相邻布置时,所述多个摄像机中每个摄像机的处理芯片确定的开启时间区间均相同,且所述多个摄像机中每个摄像机的处理芯片确定的关闭时间区间均相同。
本申请提供一种图像处理方法,应用于摄像机,所述摄像机至少包括处理芯片、图像传感器和红外补光灯,所述方法包括:
所述处理芯片确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
所述处理芯片控制所述红外补光灯在所述开启时间区间对目标场景进行补光,并控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
所述处理芯片对所述红外图像和所述彩色图像进行图像融合。
本申请提供一种图像处理装置,摄像机至少包括处理芯片、图像传感器和红外补光灯,所述装置应用于所述处理芯片,所述装置包括:
确定模块,用于确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
控制模块,用于控制所述红外补光灯在所述开启时间区间对目标场景进行补光;以及,控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
处理模块,用于对所述红外图像和所述彩色图像进行图像融合。
由以上技术方案可见,本申请实施例中,使用红外补光灯对目标场景进行补光,且红外补光灯的开启时间区间与关闭时间区间交替出现,即红外补光灯不是常亮,从而使补光的时间减少,功耗降低,节约能源,减少长时间补光造成的光污染。通过对红外图像和彩色图像进行图像融合,得到高亮度和高清晰度的彩色图像,从而在低照度环境下采集到高亮度和高清晰度的彩色图像。
附图说明
图1是本申请一种实施方式中的摄像机的硬件结构图;
图2A和图2B是开启时间区间和关闭时间区间的示意图;
图3是本申请一种实施方式中的摄像机的硬件结构图;
图4A和图4B是本申请一种实施方式中的信号传输的示意图;
图5和图6是本申请一种实施方式中的摄像机的硬件结构图;
图7是本申请一种实施方式中的红外补光灯驱动的电路示意图;
图8是本申请一种实施方式中的多摄像机的补光同步示意图;
图9A是本申请一种实施方式中的图像处理方法的流程示意图;
图9B是本申请一种实施方式中的图像处理装置的结构示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种摄像机,该摄像机可以包括红外补光灯,在低照度环境(即环境亮度小于预设亮度阈值)下,比如夜间、阴天、雾天、雨雪天气等,可以使用红外补光灯对目标场景(即摄像机的视野范围,摄像机用于采集目标场景的图像)进行补光,并通过摄像机采集高亮度和高清晰度的彩色图像。在高照度环境(即环境亮度不小于预设亮度阈值)下,比如白天、晴天等,不需要使用红外补光灯对目标场景进行补光,直接通过摄像机采集高亮度和高清晰度的彩色图像。本实施例中,以针对低照度环境下,需要使用红外补光灯对目标场景进行补光为例,关于高照度环境的处理过程不再赘述。
参见图1所示,为摄像机的结构示意图,该摄像机可以包括处理芯片11、图像传感器12和红外补光灯13。处理芯片11可以由SOC(System on Chip,系统级芯片)实现,也可以由其它类型的芯片实现,对此不做限制。图像传感器12可以为CMOS(Complementary MetalOxide Semiconductor,互补金属氧化物半导体)图像传感器,也可以为其它类型的图像传感器,对此不做限制。红外补光灯13是具有红外补光功能的补光灯,可以对目标场景进行补光。
在低照度环境下,自然光可以照射到图像传感器12,使得图像传感器12基于自然光生成图像。本申请实施例中,若使用红外补光灯13对目标场景进行补光,则照射到图像传感器12的自然光可以为红外光,图像传感器12能够基于红外光生成图像,将基于红外光生成的图像称为红外图像,即黑白图像或者灰度图像。若未使用红外补光灯13对目标场景进行补光,则照射到图像传感器12的自然光可以为可见光,图像传感器12能够基于可见光生成图像,将基于可见光生成的图像称为彩色图像,即RGB(Red Green Blue,红绿蓝)图像。
本申请实施例中,在低照度环境下,可以使用红外补光灯13对目标场景进行补光,且红外补光灯13的开启时间区间与关闭时间区间交替出现,即红外补光灯13不是常亮,从而使补光的时间减少,减少长时间补光造成的光污染。
以下结合具体实施例,对本申请实施例的技术方案进行说明。
本申请实施例中,处理芯片11确定红外补光灯13对应的开启时间区间和关闭时间区间,该开启时间区间与该关闭时间区间交替出现。然后,处理芯片11控制红外补光灯13在该开启时间区间对目标场景进行补光,控制图像传感器12在该开启时间区间采集目标场景的红外图像,并控制图像传感器12在该关闭时间区间采集目标场景的彩色图像,该红外图像是红外补光灯13对目标场景进行补光时,由图像传感器12基于红外光生成的,该彩色图像是红外补光灯13未对目标场景进行补光时,由图像传感器12基于可见光生成的。在得到红外图像和彩色图像后,处理芯片11对该红外图像和该彩色图像进行图像融合。
示例性的,在低照度环境下,处理芯片11可以确定红外补光灯13对应的开启时间区间和关闭时间区间,该开启时间区间可以表示红外补光灯13开启,从而对目标场景进行补光,该关闭时间区间可以表示红外补光灯13关闭,从而对目标场景不进行补光。其中,开启时间区间的时长与关闭时间区间的时长可以相同,也可以不同,参见图2A所示,为开启时间区间和关闭时间区间的示意图,在图2A中,是以开启时间区间的时长与关闭时间区间的时长相同为例。
开启时间区间与关闭时间区间可以交替出现,也就是说,开启时间区间的后面是关闭时间区间,而关闭时间区间的后面是开启时间区间。
开启时间区间可以包括补光起始时刻(即开启时间区间的起始时刻)和补光结束时刻(即开启时间区间的结束时刻),关闭时间区间可以包括未补光起始时刻(即关闭时间区间的起始时刻)和未补光结束时刻(即关闭时间区间的结束时刻),在此基础上,为了使开启时间区间与关闭时间区间交替出现,则:
开启时间区间的补光结束时刻与关闭时间区间的未补光起始时刻相同,且关闭时间区间的未补光结束时刻与开启时间区间的补光起始时刻相同。
参见图2A所示,以先关闭时间区间后开启时间区间为例,关闭时间区间a1后面是开启时间区间a2,开启时间区间a2后面是关闭时间区间a3,关闭时间区间a3后面是开启时间区间a4,开启时间区间a4后面是关闭时间区间a5,以此类推。显然,关闭时间区间的未补光结束时刻与开启时间区间的补光起始时刻相同,开启时间区间的补光结束时刻与关闭时间区间的未补光起始时刻相同。
在图2A中,是以先关闭时间区间后开启时间区间为例,针对先开启时间区间后关闭时间区间的情况,与图2A的实现过程类似,本实施例中不再赘述。
开启时间区间的时长与图像传感器12的曝光时长可以相同,在开启时间区间的时长与关闭时间区间的时长相同时,关闭时间区间的时长也与图像传感器12的曝光时长相同。图像传感器12的曝光时长(即曝光时间)是指:从快门打开到关闭的时间间隔,在这一段时间内,图像传感器12采集一帧图像。
显然,处理芯片11可以先获取图像传感器12的曝光时长,继而基于该曝光时长确定开启时间区间的时长和关闭时间区间的时长,然后,基于开启时间区间的时长和关闭时间区间的时长确定开启时间区间和关闭时间区间。
处理芯片11可以预先配置图像传感器12的曝光时长,也可以从图像传感器12获取图像传感器12的曝光时长,对此曝光时长的获取方式不做限制。
示例性的,在低照度环境下,处理芯片11控制红外补光灯13在该开启时间区间对目标场景进行补光,并控制图像传感器12在该开启时间区间采集目标场景的红外图像。显然,该红外图像是红外补光灯13对目标场景进行补光时,由图像传感器12基于开启时间区间的红外光生成的。以及,控制红外补光灯13在该关闭时间区间对目标场景不进行补光,并控制图像传感器12在该关闭时间区间采集目标场景的彩色图像。显然,该彩色图像是红外补光灯13未对目标场景进行补光时,由图像传感器12基于关闭时间区间的可见光生成的。
参见图2B所示,在关闭时间区间a1,处理芯片11控制红外补光灯13对目标场景不进行补光,由于红外补光灯13对目标场景不进行补光,因此,照射到图像传感器12的自然光为可见光,图像传感器12能够基于可见光生成彩色图像,也就是说,处理芯片11控制图像传感器12采集目标场景的彩色图像。
继续参见图2B所示,在开启时间区间a2,处理芯片11控制红外补光灯13对目标场景进行补光,由于红外补光灯13对目标场景进行补光,因此,照射到图像传感器12的自然光为红外光,图像传感器12能够基于红外光生成红外图像,也就是说,处理芯片11控制图像传感器12采集目标场景的红外图像。
以此类推,在每个关闭时间区间,图像传感器12均能够采集到一帧彩色图像,在每个开启时间区间,图像传感器12均能够采集到一帧红外图像。
比如说,图像传感器12在关闭时间区间a1采集到彩色图像b1,并将彩色图像b1发送给处理芯片11,图像传感器12在开启时间区间a2采集到红外图像b2,并将红外图像b2发送给处理芯片11,图像传感器12在关闭时间区间a2采集到彩色图像b3,并将彩色图像b3发送给处理芯片11,以此类推。
综上所述,图像传感器12先采集一帧彩色图像,再采集一帧红外图像,再采集一帧彩色图像,再采集一帧红外图像,以此类推,即彩色图像和红外图像交替采集。处理芯片11先控制红外补光灯13对目标场景不进行补光(此时图像传感器12采集一帧彩色图像,通过关闭红外补光灯13的开关以使红外补光灯13不进行补光),再控制红外补光灯13对目标场景进行补光(此时图像传感器12采集一帧红外图像,通过开启红外补光灯13的开关以使红外补光灯13进行补光),再控制红外补光灯13对目标场景不进行补光,以此类推。
显然,处理芯片11控制红外补光灯13对目标场景进行一次补光时,图像传感器12会采集一帧彩色图像和一帧红外图像,即每2帧图像对应一次补光,因此,红外补光灯13的补光频率为图像传感器12的图像采集帧率的一半。
示例性的,在得到红外图像和彩色图像后,处理芯片11可以对该红外图像和该彩色图像进行图像融合(即双光图像融合)。比如说,处理芯片11从该红外图像中获取亮度信息,并从该彩色图像中获取色彩信息,并基于该亮度信息和该色彩信息生成融合图像,对此融合方式不做限制,该融合图像是一帧兼顾亮度信息和色彩信息的清晰彩色图像,即高亮度和高清晰度的彩色图像。
比如说,处理芯片11对彩色图像b1和红外图像b2进行图像融合,得到一帧融合图像,该融合图像是高亮度和高清晰度的彩色图像。处理芯片11对彩色图像b3和红外图像b4进行图像融合,得到一帧融合图像,以此类推。
由以上技术方案可见,本申请实施例中,使用红外补光灯对目标场景进行补光,且红外补光灯的开启时间区间与关闭时间区间交替出现,即红外补光灯不是常亮,从而使补光的时间减少,功耗降低,节约能源,减少长时间补光造成的光污染。通过对红外图像和彩色图像进行图像融合,得到高亮度和高清晰度的彩色图像,从而在低照度环境下采集到高亮度和高清晰度的彩色图像。在上述方式中,基于红外隔帧补光和双光图像融合方式,使得只需要单图像传感器的摄像机,就可以在低照度环境下采集到高亮度和高清晰度的彩色图像。
在一种可能的实施方式中,参见图3所示,摄像机还可以包括镜头14,自然光通过镜头14照射到图像传感器12。比如说,若使用红外补光灯13对目标场景进行补光,则红外光通过镜头14照射到图像传感器12,图像传感器12基于红外光生成红外图像。若未使用红外补光灯13对目标场景进行补光,则可见光通过镜头14照射到图像传感器12,图像传感器12基于可见光生成彩色图像。
在一种可能的实施方式中,开启时间区间可以包括补光起始时刻和补光结束时刻,关闭时间区间可以包括未补光起始时刻和未补光结束时刻,处理芯片11控制红外补光灯13在该开启时间区间对目标场景进行补光,并控制图像传感器12在该开启时间区间采集目标场景的红外图像,以及,控制红外补光灯13在该关闭时间区间对目标场景不进行补光,并控制图像传感器12在该关闭时间区间采集目标场景的彩色图像,可以包括但不限于如下方式:
方式一、基于补光起始时刻和第一时长确定控制信号起始时刻,基于补光结束时刻和第一时长确定控制信号结束时刻,在控制信号起始时刻至控制信号结束时刻之间的时间区间,向红外补光灯13发送控制信号,以使红外补光灯13在接收到控制信号后,对目标场景进行补光。基于补光起始时刻和第二时长确定同步信号起始时刻,在同步信号起始时刻向图像传感器12发送同步信号,以使图像传感器12在接收到同步信号后,在曝光时长内采集目标场景的红外图像。
基于未补光起始时刻和第一时长确定终止信号起始时刻,基于未补光结束时刻和第一时长确定终止信号结束时刻,在终止信号起始时刻至终止信号结束时刻之间的时间区间,向红外补光灯13发送终止信号,以使红外补光灯13接收到终止信号后,对目标场景不进行补光。基于未补光起始时刻和第二时长确定同步信号起始时刻,在同步信号起始时刻向图像传感器12发送同步信号,以使图像传感器12接收到同步信号后,在曝光时长内采集目标场景的彩色图像。
在上述实施例中,该曝光时长是图像传感器12的曝光时长,该开启时间区间的时长与该曝光时长相同,该关闭时间区间的时长与该曝光时长相同。
在上述实施例中,第一时长是处理芯片11与红外补光灯13之间的信号传输延时,该第一时长可以是处理芯片11配置的经验值,也可以是处理芯片11测量得到的数值,对此第一时长的获取方式不做限制。比如说,处理芯片11向红外补光灯13发送请求信号,红外补光灯13接收到请求信号后,向处理芯片11返回响应信号,处理芯片11基于请求信号的发送时刻和响应信号的接收时刻,确定处理芯片11与红外补光灯13之间的信号传输延时(如响应信号的接收时刻与请求信号的发送时刻之间差值的一半),该信号传输延时就是第一延时。
在上述实施例中,第二时长是处理芯片11与图像传感器12之间的信号传输延时,该第二时长可以是处理芯片11配置的经验值,也可以是处理芯片11测量得到的数值,对此第二时长的获取方式不做限制。比如说,处理芯片11向图像传感器12发送请求信号,图像传感器12接收到请求信号后,向处理芯片11返回响应信号,处理芯片11基于请求信号的发送时刻和响应信号的接收时刻,确定处理芯片11与图像传感器12之间的信号传输延时(如响应信号的接收时刻与请求信号的发送时刻之间差值的一半),该信号传输延时就是第二延时。
基于补光起始时刻和第一时长确定控制信号起始时刻,可以包括:将补光起始时刻与第一时长之间的差值,确定为控制信号起始时刻,这样,处理芯片11在该控制信号起始时刻向红外补光灯13发送控制信号时,该控制信号正好在该补光起始时刻到达红外补光灯13,也就是说,红外补光灯13在该补光起始时刻接收到该控制信号,并从该补光起始时刻开始,对目标场景进行补光。
基于补光结束时刻和第一时长确定控制信号结束时刻,可以包括:将补光结束时刻与第一时长之间的差值,确定为控制信号结束时刻,这样,处理芯片11在该控制信号结束时刻向红外补光灯13发送控制信号时,该控制信号正好在该补光结束时刻到达红外补光灯13,也就是说,红外补光灯13在该补光结束时刻接收到该控制信号,并从该补光结束时刻开始,停止对目标场景进行补光。
基于未补光起始时刻和第一时长确定终止信号起始时刻,可以包括:将未补光起始时刻与第一时长之间的差值,确定为终止信号起始时刻,处理芯片11在该终止信号起始时刻向红外补光灯13发送终止信号时,终止信号正好在该未补光起始时刻到达红外补光灯13,也就是说,红外补光灯13在未补光起始时刻接收到该终止信号,并从该未补光起始时刻开始,停止对目标场景进行补光。
基于未补光结束时刻和第一时长确定终止信号结束时刻,可以包括:将未补光结束时刻与第一时长之间的差值,确定为终止信号结束时刻,处理芯片11在该终止信号结束时刻向红外补光灯13发送终止信号时,终止信号正好在该未补光结束时刻到达红外补光灯13,也就是说,红外补光灯13在未补光结束时刻接收到该终止信号,并从该未补光结束时刻开始,对目标场景进行补光。
控制信号可以为高电平信号,终止信号可以为低电平信号,或者,控制信号可以为低电平信号,终止信号可以为高电平信号,后续以控制信号为高电平信号,终止信号为低电平信号为例,因此,在控制信号起始时刻至控制信号结束时刻之间的时间区间,处理芯片11向红外补光灯13发送高电平信号,红外补光灯13在接收到高电平信号后,对目标场景进行补光。在终止信号起始时刻至终止信号结束时刻之间的时间区间,处理芯片11向红外补光灯13发送低电平信号,红外补光灯13在接收到低电平信号后,对目标场景不进行补光。
以下结合图4A对上述过程进行说明,处理芯片11从控制信号起始时刻开始发送高电平信号,高电平信号在补光起始时刻到达红外补光灯13,即红外补光灯13从补光起始时刻开始进行补光,且在高电平信号的接收时段内,红外补光灯13均会进行补光。处理芯片11从终止信号起始时刻(即控制信号结束时刻)开始发送低电平信号,这个低电平信号在未补光起始时刻(即补光结束时刻)到达红外补光灯13,即红外补光灯13从未补光起始时刻开始不进行补光,且在低电平信号的接收时段内,红外补光灯13均不会进行补光。
基于补光起始时刻和第二时长确定同步信号起始时刻,可以包括:将补光起始时刻与第二时长之间的差值,确定为同步信号起始时刻,处理芯片11在同步信号起始时刻向图像传感器12发送同步信号时,该同步信号在该补光起始时刻到达图像传感器12,也就是说,图像传感器12在该补光起始时刻接收到同步信号,并从该补光起始时刻开始,在曝光时长内采集目标场景的图像。由于红外补光灯13的开启时间区间与该曝光时长相同,且红外补光灯13在该开启时间区间进行补光,因此,图像传感器12在该曝光时长内采集的是红外图像。
基于未补光起始时刻和第二时长确定同步信号起始时刻,可以包括:将未补光起始时刻与第二时长之间的差值,确定为同步信号起始时刻,处理芯片11在同步信号起始时刻向图像传感器12发送同步信号时,该同步信号在该未补光起始时刻到达图像传感器12,图像传感器12在该未补光起始时刻接收到同步信号,并从该未补光起始时刻开始,在曝光时长内采集目标场景的图像。由于红外补光灯13的关闭时间区间与该曝光时长相同,且红外补光灯13在该关闭时间区间未进行补光,因此,图像传感器12在该曝光时长内采集的是彩色图像。
同步信号可以为脉冲信号,也就是说,在每个同步信号起始时刻(基于补光起始时刻和第二时长确定,或者基于未补光起始时刻和第二时长确定),处理芯片11向图像传感器12发送一个脉冲信号。图像传感器12每次接收到脉冲信号后,就可以在曝光时长内采集图像(如红外图像或者彩色图像)。
方式二、在补光起始时刻至补光结束时刻之间的时间区间,向红外补光灯13发送控制信号,以使红外补光灯13在接收到控制信号后,对目标场景进行补光。以及,在补光起始时刻向图像传感器12发送同步信号,以使图像传感器12在接收到同步信号并延时第三时长后,在曝光时长内采集目标场景的红外图像。
在未补光起始时刻至未补光结束时刻之间的时间区间,向红外补光灯13发送终止信号,以使红外补光灯13在接收到终止信号后,对目标场景不进行补光。以及,在未补光起始时刻向图像传感器12发送同步信号,以使图像传感器12在接收到同步信号并延时第三时长后,在曝光时长内采集目标场景的彩色图像。
在上述实施例中,该曝光时长是图像传感器12的曝光时长,且开启时间区间的时长与曝光时长相同,关闭时间区间的时长与曝光时长相同。第一时长是处理芯片11与红外补光灯13之间的信号传输延时。第二时长是处理芯片11与图像传感器12之间的信号传输延时。第三时长是第一时长与第二时长的差值,比如说,第一时长会大于第二时长,第三时长可以是大于0的数值。
由于处理芯片11与红外补光灯13之间的信号传输延时为第一时长,因此,从补光起始时刻至补光结束时刻之间的时间区间,处理芯片11向红外补光灯13发送控制信号时,红外补光灯13在补光起始时刻+第一时长至补光结束时刻+第一时长之间的时间区间,会接收到控制信号,并对目标场景进行补光。从未补光起始时刻至未补光结束时刻之间的时间区间,处理芯片11向红外补光灯13发送终止信号时,红外补光灯13在未补光起始时刻+第一时长至未补光结束时刻+第一时长之间的时间区间,会接收到终止信号,并对目标场景不进行补光。
控制信号可以为高电平信号,终止信号可以为低电平信号,在补光起始时刻至补光结束时刻之间的时间区间,处理芯片11向红外补光灯13发送高电平信号,红外补光灯13在接收到高电平信号后,对目标场景进行补光。在未补光起始时刻至未补光结束时刻之间的时间区间,处理芯片11向红外补光灯13发送低电平信号,红外补光灯13在接收到低电平信号后,对目标场景不进行补光。
以下结合图4B进行说明,处理芯片11从补光起始时刻开始发送高电平信号,高电平信号在补光起始时刻+第一时长到达红外补光灯13,在高电平信号的接收时段内,红外补光灯13会进行补光。处理芯片11从未补光起始时刻(即补光结束时刻)开始发送低电平信号,低电平信号在未补光起始时刻+第一时长到达红外补光灯13,在低电平信号的接收时段内,红外补光灯13不会进行补光。
由于处理芯片11与图像传感器12之间的信号传输延时为第二时长,因此,处理芯片11在补光起始时刻向图像传感器12发送同步信号时,图像传感器12在补光起始时刻+第二时长会接收到同步信号。由于第三时长是第一时长与第二时长的差值,即第三时长与第二时长之和为第一时长,因此,图像传感器12接收到同步信号并延时第三时长后的时刻,为补光起始时刻+第一时长,即,图像传感器12从补光起始时刻+第一时长开始,在曝光时长内采集目标场景的图像。由于红外补光灯13的开启时间区间与曝光时长相同,红外补光灯13从补光起始时刻+第一时长开始补光,则图像传感器12在曝光时长内采集的是红外图像。
处理芯片11在未补光起始时刻向图像传感器12发送同步信号时,图像传感器12在未补光起始时刻+第二时长会接收到同步信号。图像传感器12接收到同步信号并延时第三时长后的时刻,为未补光起始时刻+第一时长,即,从未补光起始时刻+第一时长开始,在曝光时长内采集目标场景的图像。由于红外补光灯13的关闭时间区间与曝光时长相同,红外补光灯13从未补光起始时刻+第一时长开始未进行补光,因此,图像传感器12在曝光时长内采集的是彩色图像。
同步信号可以为脉冲信号,也就是说,在每个补光起始时刻和每个未补光起始时刻,处理芯片11向图像传感器12发送一个脉冲信号。图像传感器12每次接收到脉冲信号并延时第三时长后,就可以在曝光时长内采集图像。
上述方式一和方式二只是示例,对此不做限制,只要能够控制红外补光灯13在开启时间区间对目标场景进行补光,控制图像传感器12在开启时间区间采集目标场景的红外图像,控制红外补光灯13在关闭时间区间对目标场景不进行补光,控制图像传感器12在关闭时间区间采集目标场景的彩色图像即可。
在一种可能的实施方式中,参见图5所示,摄像机还可以包括红外补光灯驱动15,红外补光灯驱动15用于控制红外补光灯13的开启或者关闭,即,红外补光灯驱动15可以开启红外补光灯13,使得红外补光灯13对目标场景进行补光,或者,红外补光灯驱动15可以关闭红外补光灯13,使得红外补光灯13对目标场景不进行补光。在此基础上,处理芯片11在向红外补光灯13发送控制信号(即高电平信号)时,处理芯片11可以向红外补光灯驱动15发送控制信号。红外补光灯驱动15在接收到控制信号后,可以控制红外补光灯13对目标场景进行补光。处理芯片11在向红外补光灯13发送终止信号(即低电平信号)时,处理芯片11可以向红外补光灯驱动15发送终止信号。红外补光灯驱动15在接收到终止信号后,可以控制红外补光灯13对目标场景不进行补光。
在一种可能的实施方式中,参见图6所示,摄像机还可以包括单片机16,在此基础上,处理芯片11在向红外补光灯13发送控制信号时,处理芯片11先将控制信号发送给单片机16,单片机16在接收到控制信号后,可以向红外补光灯驱动15发送该控制信号。红外补光灯驱动15在接收到控制信号后,可以控制红外补光灯13对目标场景进行补光。处理芯片11在向红外补光灯13发送终止信号时,处理芯片11先将终止信号发送给单片机16,单片机16在接收到终止信号后,可以向红外补光灯驱动15发送终止信号。红外补光灯驱动15在接收到终止信号后,可以控制红外补光灯13对目标场景不进行补光。
示例性的,单片机16可以包括与处理芯片11连接的GPIO(General Purpose InputOutput,通用输入输出)接口,与红外补光灯驱动15连接的PWM(Pulse Width Modulation,脉冲宽度调制)接口。处理芯片11将控制信号或者终止信号输出给单片机的GPIO接口,单片机通过PWM接口将控制信号或者终止信号输出给红外补光灯驱动15。在此基础上,红外补光灯驱动15在接收到该控制信号时,在“LED+”和“LED-”之间产生驱动电流,“LED+”与红外补光灯13的正极连接,“LED-”与红外补光灯13的负极连接,从而在红外补光灯13的正极与负极之间产生驱动电流,开启红外补光灯13,使得红外补光灯13对目标场景进行补光。红外补光灯驱动15在接收到该终止信号时,不在“LED+”和“LED-”之间产生驱动电流,即红外补光灯13的正极与负极之间未产生驱动电流,关闭红外补光灯13,使得红外补光灯13不对目标场景进行补光。
在一种可能的实施方式中,红外补光灯驱动15的电路结构可以参见图7所示,红外补光灯驱动15对红外补光灯13的驱动电流可以为0.1V/0.125Ω=0.8A。
从图7可以看出,红外补光灯驱动15可以包括电阻R1(0.25Ω,误差为1%),电阻R2(0.25Ω,误差为1%),电阻R3(1KΩ,误差为1%),电阻R5(10KΩ),电阻R6(10KΩ),电容C1(10uF),电容C2(100nF),电容C3(100nF),电容C4(10uF),电感L1(10uH)和芯片U1。PWM表示控制信号或终止信号,GND表示地,“LED+”与红外补光灯13的正极连接,“LED-”与红外补光灯13的负极连接,12V表示红外补光灯驱动15的输入电压。
芯片U1可以包括6个管脚(也可以称为引脚),管脚1为FB管脚,是输出电压反馈脚。管脚2为DIM管脚,是输入管脚,用于接收外部输入的控制信号或终止信号。管脚3为GND管脚,是地管脚。管脚4为IN管脚,是电源输入管脚。管脚5为LX管脚,是输出管脚,用于控制芯片U1的输出,在“LED+”和“LED-”之间产生驱动电流。管脚6为BS管脚,是自升压脚。
当然,图7只是红外补光灯驱动15的示例,对此红外补光灯驱动15的实现方式不做限制,只要能够控制红外补光灯13的开启和关闭即可。
在一种可能的实施方式中,在多个摄像机相邻布置且同时工作时,为了避免多个摄像机之间的补光互相干扰,可以进行多个摄像机的补光同步控制,使得多个摄像机中每个摄像机的处理芯片确定的开启时间区间均相同,并且,多个摄像机中每个摄像机的处理芯片确定的关闭时间区间均相同。
比如说,摄像机1的处理芯片确定的开启时间区间与摄像机2的处理芯片确定的开启时间区间相同,摄像机1的处理芯片确定的关闭时间区间与摄像机2的处理芯片确定的关闭时间区间相同,摄像机1的处理芯片确定的开启时间区间与摄像机3的处理芯片确定的开启时间区间相同,摄像机1的处理芯片确定的关闭时间区间与摄像机3的处理芯片确定的关闭时间区间相同,以此类推。
比如说,多摄像机间补光同步原理可以参见图8所示,在多个摄像机的基础上,可以额外配置电源适配器,电源适配器可以同时向多个摄像机发送电源同步信号(如特定频率的方波信号),该电源同步信号作为每个摄像机的启动信号。针对每个摄像机来说,该摄像机的处理芯片在接收到该电源同步信号之后,才开始确定红外补光灯对应的开启时间区间和关闭时间区间。
由于所有摄像机的处理芯片同时接收到电源同步信号,因此,确定开启时间区间和关闭时间区间的时机同步,这样,可以使得每个摄像机的处理芯片确定的开启时间区间均相同,每个摄像机的处理芯片确定的关闭时间区间均相同。
基于与上述实施例同样的申请构思,本申请实施例中还提出一种图像处理方法,该方法可以应用于摄像机,摄像机至少包括处理芯片、图像传感器和红外补光灯,参见图9A所示,为该方法的流程示意图,该方法可以包括:
步骤911,处理芯片确定红外补光灯对应的开启时间区间和关闭时间区间。
示例性的,开启时间区间与关闭时间区间可以交替出现。
步骤912,处理芯片控制红外补光灯在该开启时间区间对目标场景进行补光,并控制图像传感器在该开启时间区间采集目标场景的红外图像,并控制图像传感器在该关闭时间区间采集目标场景的彩色图像。示例性的,红外图像是红外补光灯对目标场景进行补光时,由图像传感器基于红外光生成的;彩色图像是红外补光灯未对目标场景进行补光时,由图像传感器基于可见光生成的。
示例性的,开启时间区间包括补光起始时刻和补光结束时刻,处理芯片控制红外补光灯在该开启时间区间对目标场景进行补光,可以包括:基于补光起始时刻和第一时长确定控制信号起始时刻,基于补光结束时刻和第一时长确定控制信号结束时刻;第一时长是处理芯片与红外补光灯之间的信号传输延时;在控制信号起始时刻至控制信号结束时刻之间的时间区间,向红外补光灯发送控制信号,以使红外补光灯在接收到控制信号后,对目标场景进行补光。
示例性的,处理芯片控制图像传感器在该开启时间区间采集目标场景的红外图像,可以包括:基于补光起始时刻和第二时长确定同步信号起始时刻,第二时长是处理芯片与图像传感器之间的信号传输延时;在同步信号起始时刻向图像传感器发送同步信号,以使图像传感器在接收到同步信号后,在曝光时长内采集目标场景的红外图像;其中,开启时间区间的时长与曝光时长相同。
示例性的,处理芯片控制红外补光灯在开启时间区间对目标场景进行补光,控制图像传感器在开启时间区间采集目标场景的红外图像,可以包括:在补光起始时刻至补光结束时刻之间的时间区间,向红外补光灯发送控制信号,以使红外补光灯在接收到控制信号后,对目标场景进行补光;在补光起始时刻向图像传感器发送同步信号,以使图像传感器在接收到同步信号并延时第三时长后,在曝光时长内采集目标场景的红外图像;第三时长是第一时长与第二时长的差值,第一时长是处理芯片与红外补光灯之间的信号传输延时,第二时长是处理芯片与图像传感器之间的信号传输延时;开启时间区间的时长与曝光时长相同。
示例性的,关闭时间区间包括未补光起始时刻和未补光结束时刻,处理芯片控制图像传感器在关闭时间区间采集目标场景的彩色图像,可以包括:基于未补光起始时刻和第二时长确定同步信号起始时刻,第二时长是处理芯片与图像传感器之间的信号传输延时;在同步信号起始时刻向图像传感器发送同步信号,以使图像传感器在接收到同步信号后,在曝光时长内采集目标场景的彩色图像。或者,在未补光起始时刻向图像传感器发送同步信号,以使图像传感器在接收到同步信号并延时第三时长后,在曝光时长内采集目标场景的彩色图像;其中,第三时长是第一时长与第二时长的差值,第一时长是处理芯片与红外补光灯之间的信号传输延时,第二时长是处理芯片与图像传感器之间的信号传输延时;示例性的,关闭时间区间的时长与曝光时长可以相同。
步骤913,处理芯片对红外图像和彩色图像进行图像融合。
比如说,处理芯片从红外图像中获取亮度信息,并从彩色图像中获取色彩信息,并基于该亮度信息和该色彩信息生成融合图像。
示例性的,上述执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,使用红外补光灯对目标场景进行补光,且红外补光灯的开启时间区间与关闭时间区间交替出现,即红外补光灯不是常亮,从而使补光的时间减少,功耗降低,节约能源,减少长时间补光造成的光污染。通过对红外图像和彩色图像进行图像融合,得到高亮度和高清晰度的彩色图像,从而在低照度环境下采集到高亮度和高清晰度的彩色图像。
基于与上述方法同样的申请构思,本申请实施例中提出一种图像处理装置,摄像机至少包括处理芯片、图像传感器和红外补光灯,所述装置应用于所述处理芯片,参见图9B所示,为所述装置的结构示意图,所述装置包括:
确定模块921,用于确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
控制模块922,用于控制所述红外补光灯在所述开启时间区间对目标场景进行补光;以及,控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
处理模块923,用于对所述红外图像和所述彩色图像进行图像融合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种摄像机,其特征在于,包括处理芯片、图像传感器和红外补光灯;
所述处理芯片,用于确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
控制所述红外补光灯在所述开启时间区间对目标场景进行补光;
控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
对所述红外图像和所述彩色图像进行图像融合。
2.根据权利要求1所述的摄像机,其特征在于,
所述开启时间区间包括补光起始时刻和补光结束时刻,所述处理芯片控制所述红外补光灯在所述开启时间区间对目标场景进行补光时具体用于:
基于所述补光起始时刻和第一时长确定控制信号起始时刻,基于所述补光结束时刻和所述第一时长确定控制信号结束时刻;其中,所述第一时长是所述处理芯片与所述红外补光灯之间的信号传输延时;在所述控制信号起始时刻至所述控制信号结束时刻之间的时间区间,向所述红外补光灯发送控制信号,以使所述红外补光灯在接收到所述控制信号后,对目标场景进行补光。
3.根据权利要求1所述的摄像机,其特征在于,
所述开启时间区间包括补光起始时刻和补光结束时刻,所述处理芯片控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像时具体用于:
基于所述补光起始时刻和第二时长确定同步信号起始时刻,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;在所述同步信号起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号后,在曝光时长内采集所述目标场景的红外图像;
其中,所述开启时间区间的时长与所述曝光时长相同。
4.根据权利要求1所述的摄像机,其特征在于,
所述开启时间区间包括补光起始时刻和补光结束时刻,所述处理芯片控制所述红外补光灯在所述开启时间区间对目标场景进行补光,控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像时具体用于:
在所述补光起始时刻至所述补光结束时刻之间的时间区间,向所述红外补光灯发送控制信号,以使所述红外补光灯在接收到所述控制信号后,对目标场景进行补光;以及,在所述补光起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号并延时第三时长后,在曝光时长内采集所述目标场景的红外图像;其中,所述第三时长是第一时长与第二时长的差值,所述第一时长是所述处理芯片与所述红外补光灯之间的信号传输延时,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;
其中,所述开启时间区间的时长与所述曝光时长相同。
5.根据权利要求2或4所述的摄像机,其特征在于,所述摄像机还包括红外补光灯驱动,所述处理芯片向所述红外补光灯发送控制信号时具体用于:
向所述红外补光灯驱动发送所述控制信号,以使所述红外补光灯驱动在接收到所述控制信号后,控制所述红外补光灯对目标场景进行补光。
6.根据权利要求1所述的摄像机,其特征在于,所述关闭时间区间包括未补光起始时刻和未补光结束时刻,所述处理芯片控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像时具体用于:
基于所述未补光起始时刻和第二时长确定同步信号起始时刻,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;在所述同步信号起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号后,在曝光时长内采集所述目标场景的彩色图像;
或者,在所述未补光起始时刻向所述图像传感器发送同步信号,以使所述图像传感器在接收到所述同步信号并延时第三时长后,在曝光时长内采集所述目标场景的彩色图像;其中,所述第三时长是第一时长与第二时长的差值,所述第一时长是所述处理芯片与所述红外补光灯之间的信号传输延时,所述第二时长是所述处理芯片与所述图像传感器之间的信号传输延时;
其中,所述关闭时间区间的时长与所述曝光时长相同。
7.根据权利要求1所述的摄像机,其特征在于,
所述处理芯片对所述红外图像和所述彩色图像进行图像融合时具体用于:
从所述红外图像中获取亮度信息,并从所述彩色图像中获取色彩信息;
基于所述亮度信息和所述色彩信息生成融合图像。
8.根据权利要求1所述的摄像机,其特征在于,在多个摄像机相邻布置时,所述多个摄像机中每个摄像机的处理芯片确定的开启时间区间均相同,且所述多个摄像机中每个摄像机的处理芯片确定的关闭时间区间均相同。
9.一种图像处理方法,其特征在于,应用于摄像机,所述摄像机至少包括处理芯片、图像传感器和红外补光灯,所述方法包括:
所述处理芯片确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
所述处理芯片控制所述红外补光灯在所述开启时间区间对目标场景进行补光,并控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
所述处理芯片对所述红外图像和所述彩色图像进行图像融合。
10.一种图像处理装置,其特征在于,摄像机至少包括处理芯片、图像传感器和红外补光灯,所述装置应用于所述处理芯片,所述装置包括:
确定模块,用于确定所述红外补光灯对应的开启时间区间和关闭时间区间;其中,所述开启时间区间与所述关闭时间区间交替出现;
控制模块,用于控制所述红外补光灯在所述开启时间区间对目标场景进行补光;以及,控制所述图像传感器在所述开启时间区间采集所述目标场景的红外图像,并控制所述图像传感器在所述关闭时间区间采集所述目标场景的彩色图像;其中,所述红外图像是所述红外补光灯对所述目标场景进行补光时,由所述图像传感器基于红外光生成的;所述彩色图像是所述红外补光灯未对所述目标场景进行补光时,由所述图像传感器基于可见光生成的;
处理模块,用于对所述红外图像和所述彩色图像进行图像融合。
CN202110260871.7A 2021-03-10 2021-03-10 一种图像处理方法、装置及摄像机 Active CN113114926B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110260871.7A CN113114926B (zh) 2021-03-10 2021-03-10 一种图像处理方法、装置及摄像机
PCT/CN2022/072686 WO2022188558A1 (zh) 2021-03-10 2022-01-19 一种图像处理方法、装置及摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110260871.7A CN113114926B (zh) 2021-03-10 2021-03-10 一种图像处理方法、装置及摄像机

Publications (2)

Publication Number Publication Date
CN113114926A true CN113114926A (zh) 2021-07-13
CN113114926B CN113114926B (zh) 2022-11-25

Family

ID=76711447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110260871.7A Active CN113114926B (zh) 2021-03-10 2021-03-10 一种图像处理方法、装置及摄像机

Country Status (2)

Country Link
CN (1) CN113114926B (zh)
WO (1) WO2022188558A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114158156A (zh) * 2022-02-10 2022-03-08 深圳佑驾创新科技有限公司 一种补光灯的pwm调节方法、装置、设备及存储介质
WO2022188558A1 (zh) * 2021-03-10 2022-09-15 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机
WO2023125087A1 (zh) * 2021-12-30 2023-07-06 华为技术有限公司 图像处理方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932603A (zh) * 2012-08-16 2013-02-13 浙江宇视科技有限公司 一种补光控制方法及摄像机
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
WO2016144102A1 (ko) * 2015-03-09 2016-09-15 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN106357985A (zh) * 2016-08-22 2017-01-25 广东欧珀移动通信有限公司 一种屏幕补光拍照方法、装置及移动终端
CN107040727A (zh) * 2017-05-11 2017-08-11 成都希格玛光电科技有限公司 摄像机曝光方法及装置
CN109005365A (zh) * 2018-08-22 2018-12-14 浙江大华技术股份有限公司 一种控制补光灯开启的方法及装置
CN109076171A (zh) * 2017-10-31 2018-12-21 深圳市大疆创新科技有限公司 用于闪光灯亮度补偿的方法、无人机及存储介质
CN111770281A (zh) * 2018-07-30 2020-10-13 华为技术有限公司 时分复用补光成像装置和方法
US20200366827A1 (en) * 2019-05-17 2020-11-19 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110493532B (zh) * 2018-12-12 2021-06-29 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN113114926B (zh) * 2021-03-10 2022-11-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932603A (zh) * 2012-08-16 2013-02-13 浙江宇视科技有限公司 一种补光控制方法及摄像机
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
WO2016144102A1 (ko) * 2015-03-09 2016-09-15 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN106357985A (zh) * 2016-08-22 2017-01-25 广东欧珀移动通信有限公司 一种屏幕补光拍照方法、装置及移动终端
CN107040727A (zh) * 2017-05-11 2017-08-11 成都希格玛光电科技有限公司 摄像机曝光方法及装置
CN109076171A (zh) * 2017-10-31 2018-12-21 深圳市大疆创新科技有限公司 用于闪光灯亮度补偿的方法、无人机及存储介质
CN111770281A (zh) * 2018-07-30 2020-10-13 华为技术有限公司 时分复用补光成像装置和方法
CN109005365A (zh) * 2018-08-22 2018-12-14 浙江大华技术股份有限公司 一种控制补光灯开启的方法及装置
US20200366827A1 (en) * 2019-05-17 2020-11-19 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188558A1 (zh) * 2021-03-10 2022-09-15 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及摄像机
WO2023125087A1 (zh) * 2021-12-30 2023-07-06 华为技术有限公司 图像处理方法及相关装置
CN114158156A (zh) * 2022-02-10 2022-03-08 深圳佑驾创新科技有限公司 一种补光灯的pwm调节方法、装置、设备及存储介质
CN114158156B (zh) * 2022-02-10 2022-05-03 深圳佑驾创新科技有限公司 一种补光灯的pwm调节方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022188558A1 (zh) 2022-09-15
CN113114926B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN113114926B (zh) 一种图像处理方法、装置及摄像机
US9148581B2 (en) Multi-function control illumination device
CN100338945C (zh) 闪烁检测装置和摄像装置
US7333144B2 (en) Electronic flash device and camera having the same
CN104021760B (zh) 一种用于oled显示器件的伽马电压的调节方法
EP1576805B1 (en) Illumination apparatus and illumination method for an imaging apparatus
CN109754750A (zh) 显示设备及其驱动方法
CN104900188B (zh) Led显示屏均匀性校正方法
CN102830573A (zh) 一种闪光控制方法及装置
WO2015139519A1 (zh) 一种互补金属氧化物半导体摄像机及其补光方法
CN112351184A (zh) 一种摄像机补光方法及装置
CN106455224B (zh) 自适应辅助光源发光产生装置及辅助光源调节方法
CN113225876B (zh) 监控设备的补光方法和装置、存储介质及电子设备
TWI794837B (zh) 透過環境切換對圖像感測器進行自動曝光控制的方法和設備
CN113014748A (zh) 一种摄像头红外灯动态补光系统及方法
CN106133820B (zh) 显示装置以及取景器装置
CN112562565A (zh) 驱动装置、方法、显示面板及电子设备
CN114302068B (zh) 图像拍摄方法及设备
CN114158156B (zh) 一种补光灯的pwm调节方法、装置、设备及存储介质
CN104253945B (zh) 一种高清相机的实现方法以及一种高清相机
US20220187684A1 (en) External light source for mobile devices
CN115150560A (zh) 一种补光系统、图像采集系统、方法、设备及存储介质
CN201418124Y (zh) 一种照明控制器及摄像系统
US10110865B2 (en) Lighting device, lighting system, and program
CN105141856A (zh) 一种光照控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant