CN110493506B - 一种图像处理方法和系统 - Google Patents

一种图像处理方法和系统 Download PDF

Info

Publication number
CN110493506B
CN110493506B CN201811517428.8A CN201811517428A CN110493506B CN 110493506 B CN110493506 B CN 110493506B CN 201811517428 A CN201811517428 A CN 201811517428A CN 110493506 B CN110493506 B CN 110493506B
Authority
CN
China
Prior art keywords
image
exposure
analyzed
target
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811517428.8A
Other languages
English (en)
Other versions
CN110493506A (zh
Inventor
范蒙
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811517428.8A priority Critical patent/CN110493506B/zh
Publication of CN110493506A publication Critical patent/CN110493506A/zh
Priority to PCT/CN2019/122437 priority patent/WO2020119504A1/zh
Application granted granted Critical
Publication of CN110493506B publication Critical patent/CN110493506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本申请实施例提供了一种图像处理方法和系统。该系统包括:图像传感器,通过多次曝光产生并输出第一图像信号和第二图像信号,第一图像信号是根据第一预设曝光产生的图像信号,第二图像信号是根据第二预设曝光产生的图像信号;补光装置在第一预设曝光的曝光时间段中进行近红外补光,在第二预设曝光的曝光时间段中不进行近红外补光;图像处理器根据第一图像信号生成第一目标图像,根据第二图像信号生成第二目标图像;智能分析装置从第一目标图像和第二目标图像中获取待分析图像,对待分析图像进行智能分析,得到待分析图像对应的智能分析结果。因此,通过本方案可以提升用于输出或者智能分析的待分析图像的质量。

Description

一种图像处理方法和系统
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法和系统。
背景技术
为了更好的获得环境中的信息,通常可以基于摄像机拍摄的图像来认知环境中的信息,但是采用现有的图像处理技术获得的摄像机拍摄的图像不能适用于所有环境,光线具有多变性,摄像机难以根据不同的环境光均输出高质量的图像,总会存在光线好的时候图像质量好,光线差的时候图像质量差,这导致环境的信息感知效果不佳。
发明内容
本申请实施例的目的在于提供一种图像处理方法和系统,以提升用于输出或者智能分析的待分析图像的质量。具体技术方案如下:
第一方面,本申请实施例提供了一种图像处理系统,包括:
图像传感器,用于通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;
补光装置,用于以频闪方式进行近红外补光,具体为:所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光;
图像处理器,用于接收所述图像传感器输出的所述第一图像信号和所述第二图像信号,根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
智能分析装置,用于从所述第一目标图像和所述第二目标图像中获取待分析图像,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
第二方面,本申请实施例提供了一种图像处理方法,包括:
获得图像传感器输出的第一图像信号和第二图像信号,其中,所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;在所述第一预设曝光的曝光时间段中补光装置进行近红外补光,在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光;
根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
从所述第一目标图像和所述第二目标图像中获取待分析图像;
对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
第三方面,本申请实施例提供了一种图像处理装置,包括:
图像信号获得模块,用于获得图像传感器输出的第一图像信号和第二图像信号,其中,所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;在所述第一预设曝光的曝光时间段中补光装置进行近红外补光,在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光;
图像生成模块,用于根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
图像选择模块,用于从所述第一目标图像和所述第二目标图像中获取待分析图像;
图像分析模块,用于对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
第四方面,本申请实施例提供了包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本申请实施例所提供的一种图像处理方法步骤。
可见,本方案采用对目标场景进行近红外补光的方式,来对目标场景的光线环境进行调控,这样,图像传感器所感光的图像信号质量能够得到保证,进而可以保证用于输出或智能分析的图像的图像质量。因此,通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
当然,实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种图像处理系统的结构示意图;
图2为本申请实施例所提供的一种图像处理系统的另一结构示意图;
图3(a)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的原理示意图;
图3(b)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的另一原理示意图;
图3(c)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的另一原理示意图;
图4为RGBIR图像传感器所对应的阵列示意图;
图5(a)为本申请实施例涉及的一种体现曝光与近红外补光关系的示意图;
图5(b)为本申请实施例涉及的另一种体现曝光与近红外补光关系的示意图;
图6为光谱阻挡的原理示意图;
图7为一种近红外光源的光谱图;
图8为本申请实施例所提供的一种图像处理方法的流程图;
图9为本申请实施例所提供的一种图像处理装置的结构示意图;
图10为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面首先对本申请文件涉及的技术术语进行简单介绍。
可见光,是人眼可以感知的电磁波,可见光谱没有精确的范围,一般人的眼睛可以感知的电磁波的波长在400~760nm(纳米)之间,但还有一些人能够感知到波长大约在380~780nm之间的电磁波。
近红外光,是指波长在780~2526nm范围内的电磁波。
可见光图像,是指仅感知可见光信号的色彩图像,该色彩图像仅对可见光波段感光。
感红外图像,是指感知近红外光信号的亮度图像。需要注意的是,感红外图像并不限于仅感知近红外光信号的亮度图像,其还可以是感知近红外光信号以及其他波段光信号的亮度图像。
第一方面,为了提升用于输出或者智能分析的待分析图像的质量,本申请实施例提供了一种图像处理系统。
如图1所述,本申请实施例所提供的一种图像处理系统,可以包括:
图像传感器110,用于通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;
补光装置120,用于以频闪方式进行近红外补光,具体为:所述补光装置120在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光;
图像处理器130,用于接收所述图像传感器110输出的所述第一图像信号和所述第二图像信号,根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
智能分析装置140,用于从所述第一目标图像和所述第二目标图像中获取待分析图像,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
需要说明的是,本申请实施例所述的图像传感器110可以周期性曝光,而每个周期内可以多次曝光。上述的通过多次曝光产生并输出第一图像信号和第二图像信号,可以是一个周期内的多次曝光产生并输出第一图像信号和第二图像信号,但并不限于一个周期内通过多次曝光产生并输出第一图像信号和第二图像信号。
其中,所述补光装置120在所述第一预设曝光的曝光时间段中进行近红外补光,而在所述第二预设曝光的曝光时间段中不进行近红外补光,第一预设曝光和第二预设曝光是不同的曝光。在此曝光与补光控制下,根据第一预设曝光产生的第一图像信号生成第一目标图像时,可以是对第一图像信号进行插值处理,将插值处理后的图像为感红外图像,或者将感红外图像或者进行图像增强之后的感红外图像作为第一目标图像。在此曝光与补光控制下,根据第二预设曝光产生的第二图像信号生成第二目标图像时,对第二图像信号进行去红外处理,得到可见光图像,将可见光图像作为第二目标图像,或者将可见光图像进行图像增强之后作为第二目标图像,或者,先对多帧第二图像信号进行宽动态处理,然后对宽动态处理后的图像进行去红外处理,得到可见光图像,将该可见光图像作为第二目标图像。
其中,图1所示的一种图像处理系统的结构示意图仅仅作为示例,并不应该构成对本申请实施例的限定,例如:在具体应用中,该补光装置120可以与图像传感器110、图像处理器130或智能分析装置140电连接,进而,该补光装置120可以被所连接的图像传感器110、图像处理器130或智能分析装置140进行控制。
并且,该图像处理系统所包括的图像传感器110、补光装置120、图像处理器130和智能分析装置140可以集成在一个电子设备中,此时,该电子设备同时具有补光、图像信号采集以及图像处理功能。举例而言:该电子设备可以为摄像头,或者,其他能够采集图像的设备。当然,该图像处理系统所包括的各个组件可以部署在至少两个电子设备中,此时,该至少两个电子设备中的任一电子设备具有补光、图像信号采集、图像处理和智能分析功能中的一种或多种功能。举例而言:该补光装置120为一个单独的设备,而该图像传感器110、该图像处理器130和智能分析装置140均部署在摄像头中;或者,该补光装置120为一个单独的设备,该图像传感器110部署在摄像头中,而该图像处理器130和智能分析装置140部署在与摄像头相关联的终端或服务器。另外,可以理解的是,该图像传感器110所在的设备还可以包括光学镜头,以使得光线通过光学镜头入射至该图像传感器110。
需要说明的是,补光装置120采用频闪方式对目标场景进行近红外补光,即对目标场景进行非连续性的近红外光照明。其中,该补光装置120为可以发出近红外光的装置,例如补光灯,并且,可以通过手动方式来控制该补光装置120的补光,也可以通过软件程序或特定设备来控制该补光装置120的补光,这都是合理的。另外,对于近红外补光所使用近红外光的具体波段范围,本申请不做具体限定。而如图7所示的一种近红外光源的光谱图可知,近红外光源在850nm左右具有较强的光强,因此,在具体应用中,为了该图像传感器110可以得到最大的响应,本申请实施例可以使用波长为850nm的近红外光,当然并不局限于此。
并且,补光装置120以频闪方式提供近红外光,具体指:通过控制近红外光的明暗变化来对外部场景进行近红外补光,在补光装置120的近红外光从开始亮到结束亮的过程认为是对场景进行近红外补光,而在补光装置120的近红外光从结束亮到开始亮的过程认为是对场景未提供近红外光。
其中,本申请实施例所提供的一种图像处理系统为单传感器感知系统,即图像传感器110为单个。
可选地,所述图像传感器110包括多个感光通道,所述多个感光通道包括IR感光通道,还包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种,所述多个感光通道通过所述多次曝光产生并输出所述第一图像信号和所述第二图像信号;
其中,R感光通道,用于感应红光波段和近红外波段的光,G感光通道,用于感应绿光波段和近红外波段的光,B感光通道,用于感应蓝光波段和近红外波段的光,IR表示红外感光通道,用于感应近红外波段的光,W表示全通感光通道,用于感应全波段的光。
其中,所述图像传感器110可以为RGBIR传感器、RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器;其中,R表示R感光通道,G表示G感光通道,B表示B感光通道,IR表示IR感光通道,W表示全通感光通道。
示例性的,本申请实施例中的该图像传感器110可以为一个RGBIR传感器,该RGBIR传感器具有红绿蓝RGB感光通道和红外IR感光通道。具体的,该RGB感光通道既可以对可见光波段感光又可以对近红外波段感光,但是主要用于对可见光波段感光;而IR感光通道为对近红外波段感光的通道。
例如,当图像传感器110为RGBIR传感器时,R感光通道、G感光通道、B感光通道和IR感光通道排列可以参见图4。其中,RGBIR图像传感器对R感光通道、G感光通道、B感光通道和IR感光通道进行感光,得到对应的图像信号。其中,R感光通道对应的感光值包括R通道值和IR通道值;G感光通道对应的感光值包括G通道值和IR通道值,B感光通道对应的感光值包括B通道值和IR通道值,IR感光通道对应的感光值包括IR通道值。对于补光装置120提供近红外补光和未提供近红外补光而言,R感光通道感知到的R通道值和IR感光通道值有所不同,G感光通道感知到的G通道值和IR通道值有所不同,B感光通道感知到的B通道值和IR通道值有所不同,IR感光通道感知到的IR通道值有所不同。
所以,当补光装置120提供近红外光补光时,RGBIR图像传感器捕捉到的图像信号为第一图像信号,当补光装置120没有提供近红外光补光时,RGBIR图像传感器捕捉到的图像信号为第二图像信号。其中,第一图像信号中R感光通道、G感光通道、B感光通道和IR感光通道的各通道值,与第二图像信号中R感光通道、G感光通道、B感光通道和IR感光通道的各通道值不同。相应的,对于RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器来说,第一图像信号中每个感光通道的各通道值,与第二图像信号中该感光通道的各通道值不同。
另外,对于图像传感器110为RGBIR传感器的情况而言,为了保证去除近红外光成分后颜色的准确还原,从而提高场景图像的质量,图像传感器110所在设备的光学镜头上可以设置有滤光片,该滤光片滤除的光谱区域可以包括[T1,T2];其中,600nm≤T1≤800nm,750nm≤T2≤1100nm,T1<T2。参照图6,可以理解,R、G、B以及IR感光通道在近红外波段(650nm~1100nm)上响应差别较大,为了避免上述各通道在某些光谱区域响应差别大导致近红外光成分去除效果差的问题,光学镜头上设置有滤光片,以滤除上述响应差别大的光谱区域。具体的,该滤光片可以通过镀膜技术集成在上述光学镜头上;另外,该滤光片可以是带阻滤光片,也可以是成本更低的双峰滤光片,需要说明的是,该滤光片是双峰滤光片时,滤光片滤除的光谱区域还可以包括[T3,+∞)的光谱区域,850nm≤T3≤1100nm,T2<T3。
该补光装置120可以采用频闪方式,对该目标场景进行近红外补光。并且,所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,可以为:在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
为了便于理解在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻,图5(a)和图5(b)示例性的给出了关于曝光时间和近红外补光的补光时刻的关系示意图。该图5(a)中,对于图像传感器110采用两次曝光,即在一个曝光周期内发生两次曝光,将该两次曝光分别定义为奇次曝光和偶次曝光,指定在偶次曝光过程中对目标场景进行近红外补光,即该偶次曝光为第一预设曝光,具体的,近红外补光的上升沿比偶次曝光开始时刻晚,近红外补光的下降沿可以比偶次曝光结束的时间早。在图5(b)中,对于图像传感器110采用多次曝光,即在一个曝光周期内发生三次曝光,将该三次曝光分别定义为A曝光、B曝光和C曝光,指定在C曝光过程中对目标场景进行近红外补光,即该C曝光为第一预设曝光,具体的,近红外补光的上升沿比C曝光开始时刻晚,近红外补光的下降沿可以比C曝光结束的时间早。
另外,可以理解的是,由于近红外补光会增强图像的亮度,所以为了保证第一目标图像和第二目标图像的亮度保持在合适的亮度的范围内,在本申请实施例中,存在补光的任一次曝光过程所对应的曝光参数可以不大于目标最大值,其中,该曝光参数为曝光时长和/或增益,目标最大值为不存在补光的曝光所对应的曝光参数中的最大值。
另外,采用单个传感器多次曝光,并配合补光装置的近红外补光,可以捕捉到没有近红外补光的第二目标图像和具有近红外补光的第一目标图像。更加具体的,为了使图像传感器110捕捉到第一图像信号,补光装置120至少在图像传感器110捕捉该第一图像信号的曝光过程中提供近红外补光。为了捕捉到没有近红外补光的第二图像信号,需要补光装置120在图像传感器110捕捉第二图像信号的曝光过程中不提供近红外补光。所以,补光装置120在单位时间长度内的近红外补光次数低于图像传感器110在单位时间长度内的曝光次数,每相邻两次近红外补光的时间段内,间隔一次或多次曝光。这样,补光装置120只在图像传感器110的部分曝光过程有近红外补光。
并且,补光装置120在多次曝光中的具体补光时机,可以根据实际场景需求进行设定,也就是,第一预设曝光可以根据实际场景需求进行设定。对于图像传感器110的多次曝光而言,多次曝光可以包括奇数次曝光和偶数次曝光,那么,第一预设曝光的配置方式可以如下:
示例性的,在一种实现方式中,所述第一预设曝光为奇数次曝光中的其中一次,所述第二预设曝光为偶数次曝光中的一次。此时,第一图像信号为根据奇数次曝光中的其中一次曝光所产生的信号,而第二图像信号为根据偶数次曝光中的其中一次曝光所产生的信号。
示例性的,在一种实现方式中,所述第一预设曝光为偶数次曝光中的其中一次,所述第二预设曝光为奇数次曝光中的其中一次。此时,第一图像信号为根据偶数次曝光中的其中一次曝光所产生的信号,而第二图像信号为根据奇数次曝光中的其中一次曝光所产生的信号。
示例性的,在一种实现方式中,所述第一预设曝光为指定的奇数次曝光中的其中一次,所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次。此时,第一图像信号为根据指定的奇数次曝光中的其中一次曝光所产生的信号,而第二图像信号为根据除指定的奇数次曝光之外的其他曝光中的其中一次曝光所产生的信号。
示例性的,在一种实现方式中,所述第一预设曝光为指定的偶数次曝光中的其中一次,所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。此时,第一图像信号为根据指定的偶数次曝光中的其中一次曝光所产生的信号,而第二图像信号为根据除指定的偶数次曝光之外的其他曝光中的其中一次曝光所产生的信号。
上述所给出的该补光装置120在多次曝光中的补光时机仅仅作为示例,并不应该构成对本申请实施例的限定。
需要说明的是,在图像处理器130解析得到第二目标图像和第一目标图像后,为了解决现有技术问题,该智能分析装置140可以从所述第一目标图像和所述第二目标图像中获取待分析图像,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。在具体应用中,智能分析装置140可以根据场景需求来获取相应的待分析图像,并对获取的待分析图像进行智能分析。
示例性的,在一种实现方式中,该智能分析装置140可以从所述第一目标图像和所述第二目标图像中获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像。这样可以智能分析装置可以默认基于第一目标图像进行智能分析。
示例性的,在另一种实现方式中,该智能分析装置140可以从所述第一目标图像和所述第二目标图像中获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像。这样可以智能分析装置可以默认基于第二目标图像进行智能分析。
示例性的,在又一种实现方式中,智能分析装置140当接收到的选择信号切换为第一选择信号时,获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像;当接收到的选择信号切换为第二选择信号时,获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像。这样可以智能分析装置可以从第一目标图像和第二目标图像中切换进行智能分析。
可以理解的是,在该种实现方式中,根据选择信号来选择相应的图像,可以提高对图像处理系统的可控性,即根据不同的需求来切换所获取的图像的类型。并且,上述的根据选择信号来选择相应的图像的具体实现方式,仅仅作为可选地的实施方式。此外,所有可以实现选择信号的方式均在本申请的保护范围内,本申请对此不做限制,类似模式选择或者默认选择等方式均是合理的。
为了便于理解图像处理系统的感知过程,下面结合图3(a)和图3(b)来对图像处理系统的具体感知过程进行介绍。
如图3(a)所示,将图像处理系统以多个单元形式体现,由该多个单元共同完成图像处理过程。当然,图3(a)对于图像处理系统的划分方式并不构成对本申请的限定,仅是示例性的说明。具体的,如图3(a)所示,该图像处理系统包括:场景采集单元、场景处理单元、场景感知单元和场景补光单元。其中,场景采集单元可以包括:上述的光学镜头、滤光片和图像传感器110。其中,场景补光单元为上述的补光装置120。其中,场景处理单元所实现的功能为上述的图像处理器130的功能,该功能具体为:场景处理单元获得场景采集单元输出的第一图像信号和第二图像信号,根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像。其中,场景感知单元为上述的智能分析装置140,用于从所述第一目标图像和所述第二目标图像中获取待分析图像,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
在另一种方式中,如图3(b)所示,该图像处理系统包括:场景采集单元、场景处理单元、选择单元、场景感知单元和场景补光单元。其中,场景采集单元可以包括:上述的光学镜头、滤光片和图像传感器110。其中,场景补光单元为上述的补光装置120。其中,场景处理单元所实现的功能为上述的图像处理器130的功能,该功能具体为:场景处理单元获得场景采集单元输出的第一图像信号和第二图像信号,根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像。其中,选择单元和场景感知单元所实现的功能为智能分析装置140所实现的功能,具体为:当接收到的选择信号切换为第一选择信号时,获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果;当接收到的选择信号切换为第二选择信号时,获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
可见,本方案采用对目标场景进行近红外补光的方式,来对目标场景的光线环境进行调控,这样,图像传感器所感光的图像信号质量能够得到保证,进而可以保证用于输出或智能分析的图像的图像质量。因此,通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
可选地,在一种实现方式中,所述图像传感器110多次曝光具体为:所述图像传感器110根据第一曝光参数进行所述多次曝光,所述第一曝光参数的参数类型包括曝光时间和曝光增益中的至少一种;
所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,具体为:所述补光装置根据第一补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光,所述第一补光参数的参数类型包括补光强度和补光集中度中的至少一种。
可选地,为了提高图像处理的智能化程度以及图像质量,可以基于待分析图像对应的图像信息对曝光参数和/或补光参数进行调整。基于该种处理思想,如图2所示,本申请实施例所提供的图像处理系统还可以包括:控制单元150;
控制单元150,用于获取所述待分析图像对应的亮度信息,根据所述待分析图像对应的亮度信息,将所述第一补光参数调整为第二补光参数,将所述第一曝光参数调整为第二曝光参数;并向所述补光装置120发送所述第二补光参数,同步向所述图像传感器110发送所述第二曝光参数;
所述补光装置120在所述第一预设曝光的曝光时间段中进行近红外补光,具体为:所述补光装置120接收来自所述控制单元的所述第二补光参数,根据所述第二补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光;
所述图像传感器110多次曝光具体为:所述图像传感器110接收来自所述控制单元的所述第二曝光参数,根据所述第二曝光参数进行所述多次曝光。
其中,该图2所示的一种图像处理系统仅仅作为示例,并不应该构成对申请实施例的限定,例如:在具体应用中,控制单元150除了与补光装置120连接,还可以与图像传感器110、图像处理器130或智能分析装置140连接,以使得控制单元150可以与图像传感器110、图像处理器130或智能分析装置140进行交互,完成图像处理。另外,需要说明的是,控制单元150可以与补光装置120位于同一设备,也可以与补光装置120位于不同设备,这都是合理的。并且,在具体应用中,控制单元150所执行的功能可以由该图像处理器130或智能分析装置140来执行。
由于图像亮度可以反映图像传感器110的曝光性能以及补光装置120的补光性能,因此,可以基于待分析图像对应的的亮度信息,来调整该图像传感器110的曝光参数和/或该补光装置120的补光参数。
示例性的,在一种实现方式中,可以根据待分析图像对应的智能分析结果,获取待分析图像对应的亮度信息,具体可以包括:
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时,根据所述位置信息确定所述待分析图像中的至少一个目标区域;
将所述至少一个目标区域的平均亮度,确定为所述待分析图像对应的亮度信息。
其中,可以从该位置信息所指示的区域中选择至少一个目标区域,此时,每一目标区域为兴趣目标所位于的区域。
示例性的,在一种实现方式中,所述根据所述待分析图像对应的亮度信息,将所述第一曝光参数调整为第二曝光参数,包括:
当所述亮度信息高于第一预定阈值时,调低所述第一曝光参数,得到所述第二曝光参数;当所述亮度信息低于第二预定阈值时,调高所述第一曝光参数,得到所述第二曝光参数;其中,所述第一预定阈值高于所述第二预定阈值。
示例性的,在一种实现方式中,所述根据所述待分析图像对应的亮度信息,将所述第一补光参数调整为第二补光参数,可以包括:
当所述亮度信息高于第三预定阈值时,调低所述第一补光参数,得到所述第二补光参数;当所述亮度信息低于第四预定阈值时,调高所述第一补光参数,得到所述第二补光参数;其中,所述第三预定阈值高于所述第四预定阈值。
需要说明的是,所述第一预定阈值和第三预定阈值可以是相同的值或不同的值,类似的,所述第二预定阈值和第四预定阈值可以是相同的值或不同的值。并且,所述第一预定阈值、第二预定阈值、第三预定阈值和第四预定阈值的具体值可以根据经验值进行设定。另外,第一补光参数和第二补光参数仅仅用于区分调整前后的补光参数,并不具有任何限定意义,类似的,第一曝光参数和第二曝光参数仅仅用于区分调整前后的曝光参数,并不具有任何限定意义。并且,补光参数和曝光参数的调高程度或调低程度也可以根据经验值进行设定。
在该种实现方式中,本申请中的图像处理系统还包括一个控制单元,用于对补光装置120的补光和图像传感器110的曝光进行自适应控制。如图3(c)所示,将图像处理系统以多个单元形式体现,由该多个单元共同完成图像处理过程。当然,图3(c)对于图像处理系统的划分方式并不构成对本申请的限定,仅是示例性的说明。具体的,如图3(c)所示,该电子设备包括:场景采集单元、场景处理单元、场景感知单元、场景补光单元和控制单元。其中,场景采集单元可以包括:上述的光学镜头、滤光片和图像传感器110;场景补光单元为上述的补光装置120;控制单元为上述的控制单元150;而场景处理单元实现上述的图像处理器130所实现的功能;场景感知单元实现上述的智能分析装置140所实现的功能。
需要说明的是,图3(b)所示的系统中的场景补光单元和场景采集单元的控制也可以参照图3(c),通过增加一个控制单元来进行场景补光单元的补光控制和场景采集单元的采集控制,场景补光单元和场景采集单元还可以根据场景感知单元反馈的智能分析结果调整对场景补光单元的补光控制和场景采集单元的采集控制。
一些场景中,图像处理器130在获得第二目标图像和第一目标图像之后,还可以包括以下步骤:输出所述第二目标图像,以用于显示,例如,输出的第二目标图像可以在系统之外的显示装置中显示。
该图像处理器130可以只输出第二目标图像,以及同时输出该第二目标图像第二目标图像和第一目标图像。具体输出何种图像,根据实际需求来确定,在此不做限定。
下面对根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像相关内容进行介绍。
对于上述的单传感器感知系统而言,该图像处理器130根据该第一图像信号生成第一目标图像的具体实现方式存在多种。本领域技术人员可以理解的是,由于包含IR通道和至少两个非IR通道的传感器的各通道信号交错分布,直接放大观看该传感器成像得到的图像信号时,会发现图像中具有马赛克现象,清晰度不佳,因此需要进行去马赛克处理,生成真实细节的图像。为了得到清晰且具有真实图像细节的第一目标图像,可以第一图像信号进行去马赛克处理,然后用去马赛克处理后的图像信号生成第一目标图像。基于此,在一种实现方式中,该图像处理器130根据该第一图像信号生成第一目标图像,包括:
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,根据插值处理后的图像,得到所述第一目标图像。
其中,可以根据实际需求,将所述插值处理后的图像确定为所述第一目标图像;或者,将所述插值处理后的图像进行图像增强处理,将图像增强处理之后的图像确定为所述第一目标图像。具体采用何种方式来确定第一目标图像,本申请不做限定。另外图像增强处理可以包括但不局限于:直方图均衡化、Gamma校正、对比度拉升等,其中,直方图均衡化将原始图像的直方图通过积分概率密度函数转化为概率密度为1(理想情况)的图像,Gamma校正采用了非线性函数(指数函数)对图像的灰度值进行变换,对比度拉升采用了线性函数对图像的灰度值进行变换。
其中,所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,包括:
对所述第一图像信号的每个感光通道的各个通道值分别进行插值,得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值;对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值,得到所述插值处理后的图像。
其中,插值所采用的插值算法可以为双线性插值算法或双三次插值算法,本申请实施例并不对插值算法进行限定。而通过对每个像素对应的各个感光通道的通道值求取平均值,从而得到第一目标图像,此时,该第一目标图像为去马赛克处理后的图像。该第一目标图像为仅仅包括亮度信号的图像,该第一目标图像中,每个像素的亮度值为:第一图像信号中对应的各个通道值的平均值。
为了方案清楚,以包括IR通道和至少两个非IR通道的传感器为RGBIR传感器为例,其中,所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,包括:
对该第一图像信号的每个IR感光通道、R感光通道、G感光通道和B感光通道分别进行插值,得到该第一图像信号中每个像素分别对应的各个感光通道插值处理后的通道值;对每个像素对应的各个感光通道插值处理后的通道值求取平均值,得到所述插值处理后的图像。
相应的,对于上述的单传感器感知系统而言,图像处理器130根据所述第二图像信号生成所述第二目标图像的具体实现方式存在多种。示例性的,在一种实现方式中,图像处理器130根据所述第二图像信号生成所述第二目标图像,可以包括:
遍历所述第二图像信号,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像;
其中,针对每一非IR感光通道进行通道值调整具体为:将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值,所述IR参数值为对应像素位置的IR值与预设修正值的乘积,所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
其中,可以根据实际需求,将所述插值处理后的图像确定为所述第二目标图像;或者,将所述插值处理后的图像进行图像增强处理,将图像增强处理之后的图像确定为所述第二目标图像。具体采用何种方式来确定第二目标图像,本申请不做限定。
可以理解的是,通过将所遍历的每一非IR通道的通道值分别减去与对应像素位置相应的IR参数值,即去除色彩信号中的近红外光成分,可以避免可见光信号中近红外光成分与RGB三类信号成分进行串扰,提升低照度下的图像效果。需要强调的是,该预设修正值可以根据实际情况进行设定,举例而言,该预设修正值通常可以设为1,当然,可以根据实际情况,将该预设修正值设为0至1024中的任一整数或小数,而本领域技术人员可以理解的是,预设修正值的取值并不局限于此。
为了方案清楚,以包含IR通道和至少两个非IR通道的传感器为RGBIR传感器为例,该图像处理器130根据所述第二图像信号生成所述第二目标图像,具体为:
遍历所述第二图像信号,将所遍历到的每一R感光通道、G感光通道和B感光通道的通道值减去与对应像素位置相应的IR参数值,对通道值调整后的每一R感光通道、G感光通道和B感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像。
示例性的,在一种实现方式中,图像处理器130根据所述第二图像信号生成所述第二目标图像,可以包括:
获取包括当前第二图像信号的M帧第二图像信号,将所述M帧第二图像信号进行宽动态合成处理,得到宽动态图像,并对所述宽动态图像进行去红外处理,得到所述第二目标图像;其中,所述去红外处理包括:
遍历所述宽动态图像,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像。
其中,M帧的数量不做限定,M小于一个曝光周期内的曝光总次数。宽动态(HighDynamic Range,HDR)图像,亦成为宽动态范围图像,其相比与低动态范围图像,不存在局部过曝的现象,可以体现更多的图像细节,所以本申请实施例中为了能够获得体现有更多图像细节的可见光图像,可以对至少两帧第二图像信号进行宽动态合成处理,得到宽动态图像信号。当然,对各帧第二图像信号进行宽动态合成处理的具体实现方式属于现有技术,本申请实施例在此不做详细介绍。另外,对该宽动态图像信号进行去红外处理,得到可见光图像的过程可以参见前述的对于一帧第二图像信号的处理过程。当然,当该补光装置120未进行近红外补光的第二图像信号为至少两帧时,也可以选择一帧第二图像信号,基于所选择的该一帧第二图像信号来生成可见光图像,具体的生成过程与上述的第二图像信号为一帧时的生成过程相同,在此不做赘述。
本申请中的智能分析包括但不局限于目标场景中所包括对象的种类、对象所在区域进行识别等等,相应的,智能分析结果可以包括但不局限于:目标场景中所包括对象的种类、所在区域的坐标信息、兴趣目标的位置信息等。
可以理解的是,不同的场景,图像处理需求不同。该智能分析装置140对待分析图像进行智能分析的过程中,可以基于待分析图像进行目标对象的检测,目标对象的识别。比如,根据待分析图像检测目标场景中是否存在目标对象,以及存在的目标对象的位置;再比如,根据待分析图像对目标场景中的特定目标对象进行识别,识别出目标对象的类别,目标对象的属性信息等。其中目标对象可以是人脸,车辆,车牌,或其他物体或对象。
具体的,在基于待分析图像进行智能分析时,该智能分析装置140可以基于特定的算法分析待分析图像以对目标场景进行图像处理,或者,借助神经网络模型来分析待分析图像以对目标场景进行图像处理,这都是合理的。
可选地,为了提高信息感知的准确性,该智能分析装置140对待分析图像进行智能分析的过程中,可以在分析该待分析图像对应的特征图像之前,将特征图像进行特征增强处理。
相应的,该智能分析装置140对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,包括:
从所述待分析图像获取对应的特征图像进行特征增强处理,得到增强处理后的特征图像;
根据所述增强处理后的特征图像,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
需要说明的是,在智能分析过程中,可以生成一帧或多帧特征图像,进而对各帧特征图像进行分析,得到智能分析结果。而为了提高信息感知的准确性,在对任一帧特征图像进行分析之前,均可以将该特征图像进行特征增强处理。
需要说明的是,特征增强处理的处理方式存在多种。示例性的,在一种具体实现方式中,所述特征增强处理包括极值增强处理,其中,所述极值增强处理具体为:对所述特征图像进行局部化的极值滤波的处理。所谓的极值可以为极大值或极小值。
可选地,所述极值增强处理的处理过程包括:对所述特征图像进行分块,得到多个图像块;针对每一图像块,将该图像块中所包括像素中的极大值,确定为该图像块对应的处理结果;将各个处理结果进行合并,得到极值增强处理后的图像。
其中,在对所述特征图像进行分块时,图像块之间可以存在重叠。并且,图像块的数量为极值增强处理后的图像的分辨率。需要说明的是,图像块的数量可以根据实际情况进行设定,本申请不做限定。为了便于理解,以图像块的数量为100块为例,对极值增强处理的过程进行介绍:
该图像块的数量为100时,针对该100块中的每一图像块,将该图像块中所包括像素中的极大值确定为该图像块对应的处理结果,得到100个处理结果;将该100个处理结果按照图像块的位置关系进行合并,得到包含100个像素点的图像。
需要强调的是,极值增强处理的具体实现方式并不局限于上述的方式。举例而言:可以遍历每个像素位置,针对每一像素位置,为该像素位置确定一个极大值,并利用该极大值更新该像素位置的像素值,其中,为任一个像素位置确定极大值的方式可以为:确定该像素位置相邻的各个像素位置,确定相邻的各个像素位置和该像素位置中像素的极大值,将所确定出的极大值作为该像素位置的极大值。
第二方面,相应于上述的图像处理系统,本申请实施例还提供了一种图像处理方法。
需要说明的是,本申请实施例所提供的一种图像处理方法可以应用于具有图像处理器、智能分析装置和控制单元的功能的电子设备,该电子设备执行的功能与上述实施例中的图像处理器和智能分析装置执行的功能相同,该图像处理方法的具体实现可以参见前述实施例。
如图8所示,本申请实施例所提供的一种图像处理方法,可以包括:
S801,获得图像传感器输出的第一图像信号和第二图像信号;
其中,所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;在所述第一预设曝光的曝光时间段中补光装置进行近红外补光,在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光。
S802,根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
S803,从所述第一目标图像和所述第二目标图像中获取待分析图像;
S804,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
其中,所述图像传感器包括多个感光通道,所述多个感光通道包括IR感光通道,还包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种,所述多个感光通道通过所述多次曝光产生并输出所述第一图像信号和所述第二图像信号;
其中,R感光通道,用于感应红光波段和近红外波段的光,G感光通道,用于感应绿光波段和近红外波段的光,B感光通道,用于感应蓝光波段和近红外波段的光,IR表示红外感光通道,用于感应近红外波段的光,W表示全通感光通道,用于感应全波段的光。
示例性的,所述图像传感器为RGBIR传感器、RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器;
其中,R表示R感光通道,G表示G感光通道,B表示B感光通道,IR表示IR感光通道,W表示全通感光通道。
可选地,所述从所述第一目标图像和所述第二目标图像中获取待分析图像,包括:
从所述第一目标图像和所述第二目标图像中获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像;或者,
从所述第一目标图像和所述第二目标图像中获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像。
可选地,所述从所述第一目标图像和所述第二目标图像中获取待分析图像,包括:
当接收到的选择信号切换为第一选择信号时,获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像;
当接收到的选择信号切换为第二选择信号时,获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像。
可选地,本申请实施例所提供的一种图像处理方法,还包括:
向所述补光装置发送第一控制信号,所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光。
可选地,所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长,具体为,在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
可选地,所述第一控制信号还用于指示所述补光装置的补光次数,具体为,所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数,其中,每相邻两次近红外补光的时间段内,间隔一次或多次曝光。
可选地,所述图像传感器的多次曝光包括奇数次曝光和偶数次曝光;其中,
所述第一预设曝光为奇数次曝光中的其中一次,所述第二预设曝光为偶数次曝光中的一次;或者
所述第一预设曝光为偶数次曝光中的其中一次,所述第二预设曝光为奇数次曝光中的其中一次;或者
所述第一预设曝光为指定的奇数次曝光中的其中一次,所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次;或者
所述第一预设曝光为指定的偶数次曝光中的其中一次,所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。
可选地,本申请实施例所提供的一种图像处理方法,还包括:
获取所述待分析图像对应的亮度信息,根据所述待分析图像对应的亮度信息,将所述补光装置补光所利用的第一补光参数调整为第二补光参数,将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数;并向所述补光装置发送所述第二补光参数,同步向所述图像传感器发送所述第二曝光参数,以使得:所述补光装置接收所述第二补光参数,根据所述第二补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光,以及所述图像传感器接收所述第二曝光参数,根据所述第二曝光参数进行所述多次曝光。
可选地,所述获取待分析图像对应的亮度信息,包括:
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时,根据所述位置信息确定所述待分析图像中的至少一个目标区域;
将所述至少一个目标区域的平均亮度,确定为所述待分析图像对应的亮度信息。
可选地,所述根据所述待分析图像对应的亮度信息,将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数,包括:
当所述亮度信息高于第一预定阈值时,调低所述图像传感器曝光所利用的第一曝光参数,得到所述第二曝光参数;
当所述亮度信息低于第二预定阈值时,调高所述第一曝光参数,得到所述第二曝光参数;
其中,所述第一预定阈值高于所述第二预定阈值。
可选地,所述根据所述待分析图像对应的亮度信息,将所述补光装置所利用的第一补光参数调整为第二补光参数,包括:
当所述亮度信息高于第三预定阈值时,调低所述补光装置补光所利用的第一补光参数,得到所述第二补光参数;
当所述亮度信息低于第四预定阈值时,调高所述第一补光参数,得到所述第二补光参数;
其中,所述第三预定阈值高于所述第四预定阈值。
可选地,根据所述第一图像信号生成所述第一目标图像,包括:
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,根据插值处理后的图像,得到所述第一目标图像。
可选地,所述根据插值处理后的图像,得到所述第一目标图像,包括:
将所述插值处理后的图像确定为所述第一目标图像;或者,
将所述插值处理后的图像进行图像增强处理,将图像增强处理之后的图像确定为所述第一目标图像。
可选地,所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,包括:
对所述第一图像信号的每个感光通道的各个通道值分别进行插值,得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值;
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值,得到所述插值处理后的图像。
可选地,所述根据所述第二图像信号生成所述第二目标图像,包括:
遍历所述第二图像信号,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像;其中,针对每一非IR感光通道进行通道值调整具体为:将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值,所述IR参数值为对应像素位置的IR值与预设修正值的乘积,所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
可选地,所述根据所述第二图像信号生成所述第二目标图像,包括:
获取包括当前第二图像信号的M帧第二图像信号,将所述M帧第二图像信号进行宽动态合成处理,得到宽动态图像,并对所述宽动态图像进行去红外处理,得到所述第二目标图像;其中,所述去红外处理包括:
遍历所述宽动态图像,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像。
可选地,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,包括:
从所述待分析图像获取对应的特征图像进行特征增强处理,得到增强处理后的特征图像;
根据所述增强处理后的特征图像,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
需要强调的是,关于补光控制和曝光控制的步骤内容可以由图像处理器、或智能分析装置来执行,也可以由集成图像处理器、智能分析装置和控制器的设备中的控制器来执行,这都是合理的。
另外,关于本申请实施例所提供的图像处理方法的各个步骤的具体实现方式及解释内容,可以参见上述第一方面所提供的图像处理系统中相应的描述内容,在此不做赘述。
可见,本方案采用对目标场景进行近红外补光的方式,来对目标场景的光线环境进行调控,这样,图像传感器所感光的图像信号质量能够得到保证,进而可以保证用于输出或智能分析的图像的图像质量。因此,通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
相应于上述的方法实施例,本申请实施例还提供了一种图像处理装置。如图9所示,本申请实施例所提供的一种图像处理装置,可以包括:
图像信号获得模块910,用于获得图像传感器输出的第一图像信号和第二图像信号,其中,所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;在所述第一预设曝光的曝光时间段中补光装置进行近红外补光,在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光;
图像生成模块920,用于根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
图像选择模块930,用于从所述第一目标图像和所述第二目标图像中获取待分析图像;
图像分析模块940,用于对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果。
可见,本方案采用对目标场景进行近红外补光的方式,来对目标场景的光线环境进行调控,这样,图像传感器所感光的图像信号质量能够得到保证,进而可以保证用于输出或智能分析的图像的图像质量。因此,通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
可选地,所述图像选择模块930用于:从所述第一目标图像和所述第二目标图像中获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像;或者,从所述第一目标图像和所述第二目标图像中获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像。
可选地,所述图像选择模块930用于:当接收到的选择信号切换为第一选择信号时,获取所述第一目标图像,将所述第一目标图像确定为所述待分析图像;当接收到的选择信号切换为第二选择信号时,获取所述第二目标图像,将所述第二目标图像确定为所述待分析图像。
可选地,本申请实施例所提供的一种图像处理装置,还包括:
信号发送模块,用于向所述补光装置发送第一控制信号,所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光。
可选地,所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长,具体为,在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
可选地,所述第一控制信号还用于指示所述补光装置的补光次数,具体为,所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数,其中,每相邻两次近红外补光的时间段内,间隔一次或多次曝光。
可选地,所述图像传感器的多次曝光包括奇数次曝光和偶数次曝光;所述第一控制信号用于指示所述补光装置在所述第一预设曝光中进行近红外补光;其中,
所述第一预设曝光为奇数次曝光中的其中一次,所述第二预设曝光为偶数次曝光中的一次;或者
所述第一预设曝光为偶数次曝光中的其中一次,所述第二预设曝光为奇数次曝光中的其中一次;或者
所述第一预设曝光为指定的奇数次曝光中的其中一次,所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次;或者
所述第一预设曝光为指定的偶数次曝光中的其中一次,所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。
可选地,本申请实施例所提供的一种图像处理装置,还包括:
参数调整模块,用于获取所述待分析图像对应的亮度信息;根据所述待分析图像对应的亮度信息,将所述补光装置补光所利用的第一补光参数调整为第二补光参数,将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数;并向所述补光装置发送所述第二补光参数,同步向所述图像传感器发送所述第二曝光参数,以使得:所述补光装置接收所述第二补光参数,根据所述第二补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光,以及所述图像传感器接收所述第二曝光参数,根据所述第二曝光参数进行所述多次曝光。
可选地,所述参数调整模块获取待分析图像对应的亮度信息,包括:
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时,根据所述位置信息确定所述待分析图像中的至少一个目标区域;
将所述至少一个目标区域的平均亮度,确定为所述待分析图像对应的亮度信息。
可选地,所述参数调整模块根据所述待分析图像对应的亮度信息,将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数,包括:
当所述亮度信息高于第一预定阈值时,调低所述图像传感器曝光所利用的第一曝光参数,得到所述第二曝光参数;
当所述亮度信息低于第二预定阈值时,调高所述第一曝光参数,得到所述第二曝光参数;
其中,所述第一预定阈值高于所述第二预定阈值。
可选地,所述参数调整模块根据所述待分析图像对应的亮度信息,将所述补光装置所利用的第一补光参数调整为第二补光参数,包括:
当所述亮度信息高于第三预定阈值时,调低所述补光装置补光所利用的第一补光参数,得到所述第二补光参数;
当所述亮度信息低于第四预定阈值时,调高所述第一补光参数,得到所述第二补光参数;
其中,所述第三预定阈值高于所述第四预定阈值。
可选地,所述图像生成模块920根据所述第一图像信号生成所述第一目标图像,包括:
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,根据插值处理后的图像,得到所述第一目标图像。
可选地,所述根据插值处理后的图像,得到所述第一目标图像,包括:
将所述插值处理后的图像确定为所述第一目标图像;或者,
将所述插值处理后的图像进行图像增强处理,将图像增强处理之后的图像确定为所述第一目标图像。
可选地,所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,包括:
对所述第一图像信号的每个感光通道的各个通道值分别进行插值,得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值;
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值,得到所述插值处理后的图像。
可选地,所述图像生成模块920根据所述第二图像信号生成所述第二目标图像,包括:
遍历所述第二图像信号,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像;其中,针对每一非IR感光通道进行通道值调整具体为:将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值,所述IR参数值为对应像素位置的IR值与预设修正值的乘积,所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
可选地,所述图像生成模块920根据所述第二图像信号生成所述第二目标图像,包括:
获取包括当前第二图像信号的M帧第二图像信号,将所述M帧第二图像信号进行宽动态合成处理,得到宽动态图像,并对所述宽动态图像进行去红外处理,得到所述第二目标图像;其中,所述去红外处理包括:
遍历所述宽动态图像,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到所述第二目标图像。
可选地,所述图像分析模块940对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,包括:
从所述待分析图像获取对应的特征图像进行特征增强处理,得到增强处理后的特征图像;
根据所述增强处理后的特征图像,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
相应于上述的方法,本申请实施例还提供了一种电子设备,如图10所示,该电子设备包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现本申请实施例所提供的一种图像处理方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外,基于本申请实施例所提供的一种图像处理方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例所提供的一种图像处理方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (31)

1.一种图像处理系统,其特征在于,包括:
图像传感器,用于通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光;所述第一图像信号和所述第二图像信号是所述图像传感器交替输出的两帧图像信号;所述图像传感器为单个图像传感器;
图像处理器,用于向补光装置发送第一控制信号,所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光,其中,所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长,具体为,在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻;
所述补光装置,用于以频闪方式进行近红外补光,具体为:所述补光装置接收到所述第一控制信号后,在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光;
所述图像处理器,还用于接收所述图像传感器输出的所述第一图像信号和所述第二图像信号,根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
智能分析装置,用于从所述第一目标图像和所述第二目标图像中获取待分析图像,在获取所述待分析图像时至少能够根据选择信号在所述第一目标图像和所述第二目标图像之间切换;对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括以下内容中的一种或多种:是否存在目标对象、目标对象的位置信息、目标对象的类别信息和目标对象的属性信息。
2.根据权利要求1所述的系统,其特征在于,
所述从所述第一目标图像和所述第二目标图像中获取待分析图像,包括:
从所述第一目标图像和所述第二目标图像中获取所述第一目标图像,将所述第一目标图像确定为待分析图像;或者,
从所述第一目标图像和所述第二目标图像中获取所述第二目标图像,将所述第二目标图像确定为待分析图像。
3.根据权利要求1所述的系统,其特征在于,所述从所述第一目标图像和所述第二目标图像中获取待分析图像,包括:
当接收到的选择信号切换为第一选择信号时,获取所述第一目标图像,将所述第一目标图像确定为待分析图像;
当接收到的选择信号切换为第二选择信号时,获取所述第二目标图像,将所述第二目标图像确定为待分析图像。
4.根据权利要求1所述的系统,其特征在于,所述图像处理器,还用于输出所述第二目标图像。
5.根据权利要求1所述的系统,其特征在于,所述图像传感器包括多个感光通道,所述多个感光通道包括IR感光通道,还包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种,所述多个感光通道通过所述多次曝光产生并输出所述第一图像信号和所述第二图像信号;
其中,R感光通道,用于感应红光波段和近红外波段的光,G感光通道,用于感应绿光波段和近红外波段的光,B感光通道,用于感应蓝光波段和近红外波段的光,IR表示红外感光通道,用于感应近红外波段的光,W表示全通感光通道,用于感应全波段的光。
6.根据权利要求5所述的系统,其特征在于,所述图像传感器为RGBIR传感器、RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器;
其中,R表示R感光通道,G表示G感光通道,B表示B感光通道,IR表示IR感光通道,W表示全通感光通道。
7.根据权利要求1所述的系统,其特征在于,所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数,其中,每相邻两次近红外补光的时间段内,间隔一次或多次曝光。
8.根据权利要求1所述的系统,其特征在于,所述多次曝光包括奇数次曝光和偶数次曝光;
所述第一预设曝光为奇数次曝光中的其中一次,所述第二预设曝光为偶数次曝光中的一次;或者
所述第一预设曝光为偶数次曝光中的其中一次,所述第二预设曝光为奇数次曝光中的其中一次。
9.根据权利要求1所述的系统,其特征在于,
所述图像传感器多次曝光具体为:所述图像传感器根据第一曝光参数进行所述多次曝光,所述第一曝光参数的参数类型包括曝光时间和曝光增益中的至少一种;
所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,具体为:所述补光装置根据第一补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光,所述第一补光参数的参数类型包括补光强度和补光集中度中的至少一种。
10.根据权利要求9所述的系统,其特征在于,还包括:
控制单元,用于获取所述待分析图像对应的亮度信息,根据所述待分析图像对应的亮度信息,将所述第一补光参数调整为第二补光参数,将所述第一曝光参数调整为第二曝光参数;并向所述补光装置发送所述第二补光参数,同步向所述图像传感器发送所述第二曝光参数;
所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,具体为:所述补光装置接收来自所述控制单元的所述第二补光参数,根据所述第二补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光;
所述图像传感器多次曝光具体为:所述图像传感器接收来自所述控制单元的所述第二曝光参数,根据所述第二曝光参数进行所述多次曝光。
11.根据权利要求10所述的系统,其特征在于,所述获取待分析图像对应的亮度信息,包括:
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时,根据所述位置信息确定所述待分析图像中的至少一个目标区域;
将所述至少一个目标区域的平均亮度,确定为所述待分析图像对应的亮度信息。
12.根据权利要求10所述的系统,其特征在于,所述根据所述待分析图像对应的亮度信息,将所述第一曝光参数调整为第二曝光参数,包括:
当所述亮度信息高于第一预定阈值时,调低所述第一曝光参数,得到第二曝光参数;
当所述亮度信息低于第二预定阈值时,调高所述第一曝光参数,得到第二曝光参数;
其中,所述第一预定阈值高于所述第二预定阈值。
13.根据权利要求10所述的系统,其特征在于,所述根据所述待分析图像对应的亮度信息,将所述第一补光参数调整为第二补光参数,包括:
当所述亮度信息高于第三预定阈值时,调低所述第一补光参数,得到第二补光参数;
当所述亮度信息低于第四预定阈值时,调高所述第一补光参数,得到第二补光参数;
其中,所述第三预定阈值高于所述第四预定阈值。
14.根据权利要求1所述的系统,其特征在于,根据所述第一图像信号生成第一目标图像,包括:
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,根据插值处理后的图像,得到第一目标图像。
15.根据权利要求14所述的系统,其特征在于,所述根据插值处理后的图像,得到第一目标图像,包括:
将所述插值处理后的图像确定为第一目标图像;或者,
将所述插值处理后的图像进行图像增强处理,将图像增强处理之后的图像确定为第一目标图像。
16.根据权利要求14所述的系统,其特征在于,所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值,以求平均的方式插值处理,包括:
对所述第一图像信号的每个感光通道的各个通道值分别进行插值,得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值;
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值,得到所述插值处理后的图像。
17.根据权利要求1所述的系统,其特征在于,所述根据所述第二图像信号生成第二目标图像,包括:
遍历所述第二图像信号,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到第二目标图像;其中,针对每一非IR感光通道进行通道值调整具体为:将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值,所述IR参数值为对应像素位置的IR值与预设修正值的乘积,所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
18.根据权利要求1所述的系统,其特征在于,所述根据所述第二图像信号生成第二目标图像,包括:
获取包括当前第二图像信号的M帧第二图像信号,将所述M帧第二图像信号进行宽动态合成处理,得到宽动态图像,并对所述宽动态图像进行去红外处理,得到所述第二目标图像;其中,所述去红外处理包括:
遍历所述宽动态图像,将所遍历到的每一非IR感光通道进行通道值调整,对通道值调整后的每一非IR感光通道的各个通道值分别进行插值,根据插值处理后的图像,得到第二目标图像。
19.根据权利要求1所述的系统,其特征在于,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,包括:
从所述待分析图像获取对应的特征图像进行特征增强处理,得到增强处理后的特征图像;
根据所述增强处理后的特征图像,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
20.根据权利要求19所述的系统,其特征在于,所述特征增强处理包括极值增强处理,其中,所述极值增强处理具体为:对所述特征图像进行局部化的极值滤波的处理。
21.根据权利要求20所述的系统,其特征在于,所述极值增强处理的处理过程包括:
对所述特征图像进行分块,得到多个图像块;针对每一图像块,将该图像块中所包括像素中的极大值,确定为该图像块对应的处理结果;将各个处理结果进行合并,得到极值增强处理后的图像。
22.一种图像处理方法,其特征在于,包括:
获得图像传感器输出的第一图像信号和第二图像信号,其中,所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光,所述第一图像信号和所述第二图像信号是所述图像传感器交替输出的两帧图像信号;在所述第一预设曝光的曝光时间段中由补光装置进行近红外补光,在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光;所述图像传感器为单个图像传感器;
根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
从所述第一目标图像和所述第二目标图像中获取待分析图像,在获取所述待分析图像时至少能够根据选择信号在所述第一目标图像和所述第二目标图像之间切换;
对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括以下内容中的一种或多种:是否存在目标对象、目标对象的位置信息、目标对象的类别信息和目标对象的属性信息;
所述方法还包括:
向所述补光装置发送第一控制信号,所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光,其中,所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长,具体为,在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
23.根据权利要求22所述的方法,其特征在于,所述从所述第一目标图像和所述第二目标图像中获取待分析图像,包括:
从所述第一目标图像和所述第二目标图像中获取所述第一目标图像,将所述第一目标图像确定为待分析图像;或者,
从所述第一目标图像和所述第二目标图像中获取所述第二目标图像,将所述第二目标图像确定为待分析图像。
24.根据权利要求22所述的方法,其特征在于,所述从所述第一目标图像和所述第二目标图像中获取待分析图像,包括:
当接收到的选择信号切换为第一选择信号时,获取所述第一目标图像,将所述第一目标图像确定为待分析图像;
当接收到的选择信号切换为第二选择信号时,获取所述第二目标图像,将所述第二目标图像确定为待分析图像。
25.根据权利要求22所述的方法,其特征在于,所述第一控制信号还用于指示所述补光装置的补光次数,具体为,所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数,其中,每相邻两次近红外补光的时间段内,间隔一次或多次曝光。
26.根据权利要求22所述的方法,其特征在于,所述图像传感器的多次曝光包括奇数次曝光和偶数次曝光;其中,
所述第一预设曝光为奇数次曝光中的其中一次,所述第二预设曝光为偶数次曝光中的一次;或者
所述第一预设曝光为偶数次曝光中的其中一次,所述第二预设曝光为奇数次曝光中的其中一次。
27.根据权利要求22至24中任一项所述的方法,其特征在于,还包括:
获取所述待分析图像对应的亮度信息,根据所述待分析图像对应的亮度信息,将所述补光装置补光所利用的第一补光参数调整为第二补光参数,将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数;并
向所述补光装置发送所述第二补光参数,同步向所述图像传感器发送所述第二曝光参数,以使得:所述补光装置接收所述第二补光参数,根据所述第二补光参数,在所述第一预设曝光的曝光时间段中进行近红外补光,以及所述图像传感器接收所述第二曝光参数,根据所述第二曝光参数进行所述多次曝光。
28.根据权利要求27所述的方法,其特征在于,所述获取待分析图像对应的亮度信息,包括:
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时,根据所述位置信息确定所述待分析图像中的至少一个目标区域;
将所述至少一个目标区域的平均亮度,确定为所述待分析图像对应的亮度信息。
29.根据权利要求22所述的方法,其特征在于,对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,包括:
从所述待分析图像获取对应的特征图像进行特征增强处理,得到增强处理后的特征图像;
根据所述增强处理后的特征图像,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
30.一种图像处理装置,其特征在于,包括:
图像信号获得模块,用于获得图像传感器输出的第一图像信号和第二图像信号,其中,所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号,其中,所述第一图像信号是根据第一预设曝光产生的图像信号,所述第二图像信号是根据第二预设曝光产生的图像信号,所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光,所述第一图像信号和所述第二图像信号是所述图像传感器交替输出的两帧图像信号;在所述第一预设曝光的曝光时间段中补光装置进行近红外补光,在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光;所述图像传感器为单个图像传感器;
图像生成模块,用于根据所述第一图像信号生成第一目标图像,根据所述第二图像信号生成第二目标图像;
图像选择模块,用于从所述第一目标图像和所述第二目标图像中获取待分析图像,在获取所述待分析图像时至少能够根据选择信号在所述第一目标图像和所述第二目标图像之间切换;
图像分析模块,用于对所述待分析图像进行智能分析,得到所述待分析图像对应的智能分析结果,所述智能分析结果包括以下内容中的一种或多种:是否存在目标对象、目标对象的位置信息、目标对象的类别信息和目标对象的属性信息;
信号发送模块,用于向所述补光装置发送第一控制信号,所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光,在所述第二预设曝光的曝光时间段中不进行近红外补光,其中,所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长,具体为,在所述第一预设曝光的曝光时间段中,进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻,进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
31.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求22-29任一项所述的方法步骤。
CN201811517428.8A 2018-12-12 2018-12-12 一种图像处理方法和系统 Active CN110493506B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811517428.8A CN110493506B (zh) 2018-12-12 2018-12-12 一种图像处理方法和系统
PCT/CN2019/122437 WO2020119504A1 (zh) 2018-12-12 2019-12-02 一种图像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811517428.8A CN110493506B (zh) 2018-12-12 2018-12-12 一种图像处理方法和系统

Publications (2)

Publication Number Publication Date
CN110493506A CN110493506A (zh) 2019-11-22
CN110493506B true CN110493506B (zh) 2021-03-02

Family

ID=68545688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811517428.8A Active CN110493506B (zh) 2018-12-12 2018-12-12 一种图像处理方法和系统

Country Status (2)

Country Link
CN (1) CN110493506B (zh)
WO (1) WO2020119504A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493506B (zh) * 2018-12-12 2021-03-02 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN111064898B (zh) * 2019-12-02 2021-07-16 联想(北京)有限公司 图像拍摄方法及装置、设备、存储介质
CN112926367A (zh) * 2019-12-06 2021-06-08 杭州海康威视数字技术股份有限公司 一种活体检测的设备及方法
CN113129241B (zh) * 2019-12-31 2023-02-07 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN113163124B (zh) * 2020-01-22 2022-06-03 杭州海康威视数字技术股份有限公司 一种成像系统及图像处理方法
CN111556225B (zh) * 2020-05-20 2022-11-22 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集控制方法
CN111935415B (zh) * 2020-08-18 2022-02-08 浙江大华技术股份有限公司 亮度调整方法、装置、存储介质及电子装置
CN113965671A (zh) * 2021-02-04 2022-01-21 福建汇川物联网技术科技股份有限公司 一种用于测距的补光方法、装置、电子设备及存储介质
CN113301264B (zh) * 2021-07-26 2021-11-23 北京博清科技有限公司 一种图像亮度调整方法、装置、电子设备及存储介质
CN114745509A (zh) * 2022-04-08 2022-07-12 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778518A (zh) * 2016-11-24 2017-05-31 汉王科技股份有限公司 一种人脸活体检测方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978260B2 (en) * 2003-09-15 2011-07-12 Senshin Capital, Llc Electronic camera and method with fill flash function
KR101926489B1 (ko) * 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
CN104134352B (zh) * 2014-08-15 2018-01-19 青岛比特信息技术有限公司 基于长短曝光结合的视频车辆特征检测系统及其检测方法
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
CN105306832A (zh) * 2015-09-15 2016-02-03 北京信路威科技股份有限公司 图像采集设备补光装置及方法
CN105657280B (zh) * 2016-03-01 2019-03-08 Oppo广东移动通信有限公司 一种快速对焦方法、装置及移动终端
CN107920188A (zh) * 2016-10-08 2018-04-17 杭州海康威视数字技术股份有限公司 一种镜头及摄像机
CN106572310B (zh) * 2016-11-04 2019-12-13 浙江宇视科技有限公司 一种补光强度控制方法与摄像机
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN107343132B (zh) * 2017-08-28 2023-06-09 熵基科技股份有限公司 一种基于近红外led补光灯的手掌识别装置及方法
CN110493506B (zh) * 2018-12-12 2021-03-02 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778518A (zh) * 2016-11-24 2017-05-31 汉王科技股份有限公司 一种人脸活体检测方法及装置

Also Published As

Publication number Publication date
WO2020119504A1 (zh) 2020-06-18
CN110493506A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110493506B (zh) 一种图像处理方法和系统
CN109951646B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN110493532B (zh) 一种图像处理方法和系统
CN110493531B (zh) 一种图像处理方法和系统
EP3849170B1 (en) Image processing method, electronic device, and computer-readable storage medium
CN107451969B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
KR102266649B1 (ko) 이미지 처리 방법 및 장치
CN108111749B (zh) 图像处理方法和装置
US8934054B2 (en) Frame rate conversion processing apparatus, frame rate conversion processing method, and storage medium
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108322651B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN107862653B (zh) 图像显示方法、装置、存储介质和电子设备
CN110490811B (zh) 图像降噪装置及图像降噪方法
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
US20080278603A1 (en) Method and apparatus for reducing flicker of image sensor
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN109040607B (zh) 成像控制方法、装置、电子设备和计算机可读存储介质
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
CN111970432A (zh) 一种图像处理方法及图像处理装置
CN107945106B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
JP2017092898A (ja) 撮像装置、撮像方法、およびプログラム
EP3270586A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant