CN110493532A - 一种图像处理方法和系统 - Google Patents
一种图像处理方法和系统 Download PDFInfo
- Publication number
- CN110493532A CN110493532A CN201811516420.XA CN201811516420A CN110493532A CN 110493532 A CN110493532 A CN 110493532A CN 201811516420 A CN201811516420 A CN 201811516420A CN 110493532 A CN110493532 A CN 110493532A
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- analyzed
- target
- light filling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Abstract
本申请实施例提供了一种图像处理方法和系统。该系统包括：图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，第一图像信号是根据第一预设曝光产生的图像信号，第二图像信号是根据第二预设曝光产生的图像信号；补光装置在第一预设曝光的曝光时间段中进行近红外补光，在第二预设曝光的曝光时间段中不进行近红外补光；图像处理器根据第一图像信号生成第一目标图像，根据第二图像信号生成第二目标图像；将第一目标图像和第二目标图像进行融合，得到第三目标图像；智能分析装置获取待分析图像，对待分析图像进行智能分析，得到待分析图像对应的智能分析结果。因此，通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法和系统。
背景技术
为了更好的获得环境中的信息，通常可以基于摄像机拍摄的图像来认知环境中的信息，但是采用现有的图像处理技术获得的摄像机拍摄的图像不能适用于所有环境，光线具有多变性，摄像机难以根据不同的环境光均输出高质量的图像，总会存在光线好的时候图像质量好，光线差的时候图像质量差，这导致环境的信息感知效果不佳。
发明内容
本申请实施例的目的在于提供一种图像处理方法和系统，以提升用于输出或者智能分析的待分析图像的质量。具体技术方案如下：
第一方面，本申请实施例提供了一种图像处理系统，包括：
图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
补光装置，用于以频闪方式进行近红外补光，具体为：所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，在所述第二预设曝光的曝光时间段中不进行近红外补光；
图像处理器，用于接收所述图像传感器输出的所述第一图像信号和所述第二图像信号，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
智能分析装置，用于至少从所述第一目标图像和所述第三目标图像中获取待分析图像，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
第二方面，本申请实施例提供了一种图像处理方法，包括：
获得图像传感器输出的第一图像信号和第二图像信号，其中，所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第一预设曝光的曝光时间段中补光装置进行近红外补光，在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光；
根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；
将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
至少从所述第一目标图像和所述第三目标图像中获取待分析图像；
对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
第三方面，本申请实施例提供了一种图像处理装置，包括：
图像信号获得模块，用于获得图像传感器输出的第一图像信号和第二图像信号，其中，所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第一预设曝光的曝光时间段中补光装置进行近红外补光，在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光；
图像生成模块，用于根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；
图像融合模块，用于将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
图像选择模块，用于至少从所述第一目标图像和第三目标图像中获取待分析图像；
图像分析模块，用于对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
第四方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请实施例所提供的一种图像处理方法的步骤。
可见，本方案采用对目标场景进行近红外补光的方式，来对目标场景的光线环境进行调控，这样，图像传感器所感光的图像信号质量能够得到保证，进而可以保证用于输出或智能分析的图像的图像质量。因此，通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
当然，实施本申请的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种图像处理系统的结构示意图；
图2为本申请实施例所提供的一种图像处理系统的另一结构示意图；
图3(a)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的原理示意图；
图3(b)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的另一原理示意图；
图3(c)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的另一原理示意图；
图3(d)为本申请实施例所提供的图像处理系统通过多个单元共同完成图像处理时的另一原理示意图；
图4为RGBIR图像传感器所对应的阵列示意图；
图5(a)为本申请实施例涉及的一种体现曝光与近红外补光关系的示意图；
图5(b)为本申请实施例涉及的另一种体现曝光与近红外补光关系的示意图；
图6为光谱阻挡的原理示意图；
图7为一种近红外光源的光谱图；
图8为本申请实施例所提供的一种图像处理方法的流程图；
图9为本申请实施例所提供的一种图像处理装置的结构示意图；
图10为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面首先对本申请文件涉及的技术术语进行简单介绍。
可见光，是人眼可以感知的电磁波，可见光谱没有精确的范围，一般人的眼睛可以感知的电磁波的波长在400～760nm(纳米)之间，但还有一些人能够感知到波长大约在380～780nm之间的电磁波。
近红外光，是指波长在780～2526nm范围内的电磁波。
可见光图像，是指仅感知可见光信号的色彩图像，该色彩图像仅对可见光波段感光。
感红外图像，是指感知近红外光信号的亮度图像。需要注意的是，第一目标图像并不限于仅感知近红外光信号的亮度图像，其还可以是感知近红外光信号以及其他波段光信号的亮度图像。
第一方面，为了提升用于输出或者智能分析的待分析图像的质量，本申请实施例提供了一种图像处理系统。
如图1所述，本申请实施例所提供的一种图像处理系统，可以包括：
图像传感器110，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
补光装置120，用于以频闪方式进行近红外补光，具体为：所述补光装置120在所述第一预设曝光的曝光时间段中进行近红外补光，在所述第二预设曝光的曝光时间段中不进行近红外补光；
图像处理器130，用于接收所述图像传感器110输出的所述第一图像信号和所述第二图像信号，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
智能分析装置140，用于至少从所述第一目标图像和所述第三目标图像中获取待分析图像，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
需要说明的是，本申请实施例所述的图像传感器110可以周期性曝光，而每个周期内可以多次曝光。上述的通过多次曝光产生并输出第一图像信号和第二图像信号，可以是一个周期内的多次曝光产生并输出第一图像信号和第二图像信号，但并不限于一个周期内通过多次曝光产生并输出第一图像信号和第二图像信号。
其中，所述补光装置120在所述第一预设曝光的曝光时间段中进行近红外补光，而在所述第二预设曝光的曝光时间段中不进行近红外补光，第一预设曝光和第二预设曝光是不同的曝光。在此曝光与补光控制下，根据第一预设曝光产生的第一图像信号生成第一目标图像时，可以是对第一图像信号进行插值处理，将插值处理后的图像为感红外图像，或者将感红外图像或者进行图像增强之后的感红外图像作为第一目标图像。在此曝光与补光控制下，根据第二预设曝光产生的第二图像信号生成第二目标图像时，可以是对第二图像信号进行去红外处理，得到可见光图像，将可见光图像作为第二目标图像，或者将可见光图像进行图像增强之后作为第二目标图像，或者，先对多帧第二图像信号进行宽动态处理，然后对宽动态处理后的图像进行去红外处理，得到可见光图像，将该可见光图像作为第二目标图像。
其中，图1所示的一种图像处理系统的结构示意图仅仅作为示例，并不应该构成对本申请实施例的限定，例如：在具体应用中，该补光装置120可以与图像传感器110、图像处理器130或智能分析装置140电连接，进而，该补光装置120可以被所连接的图像传感器110、图像处理器130或智能分析装置140进行控制。
并且，该图像处理系统所包括的图像传感器110、补光装置120、图像处理器130和智能分析装置140可以集成在一个电子设备中，此时，该电子设备同时具有补光、图像信号采集以及图像处理功能。举例而言：该电子设备可以为摄像头，或者，其他能够采集图像的设备。当然，该图像处理系统所包括的各个组件可以部署在至少两个电子设备中，此时，该至少两个电子设备中的任一电子设备具有补光、图像信号采集、图像处理和智能分析功能中的一种或多种功能。举例而言：该补光装置120为一个单独的设备，而该图像传感器110、该图像处理器130和智能分析装置140均部署在摄像头中；或者，该补光装置120为一个单独的设备，该图像传感器110部署在摄像头中，而该图像处理器130和智能分析装置140部署在与摄像头相关联的终端或服务器。另外，可以理解的是，该图像传感器110所在的设备还可以包括光学镜头，以使得光线通过光学镜头入射至该图像传感器110。
需要说明的是，补光装置120采用频闪方式对目标场景进行近红外补光，即对目标场景进行非连续性的近红外光照明。其中，该补光装置120为可以发出近红外光的装置，例如补光灯，并且，可以通过手动方式来控制该补光装置120的补光，也可以通过软件程序或特定设备来控制该补光装置120的补光，这都是合理的。另外，对于近红外补光所使用近红外光的具体波段范围，本申请不做具体限定。而如图7所示的一种近红外光源的光谱图可知，近红外光源在850nm左右具有较强的光强，因此，在具体应用中，为了该图像传感器110可以得到最大的响应，本申请实施例可以使用波长为850nm的近红外光，当然并不局限于此。
并且，补光装置120以频闪方式提供近红外光，具体指：通过控制近红外光的明暗变化来对外部场景进行近红外补光，在补光装置120的近红外光从开始亮到结束亮的过程认为是对场景进行近红外补光，而在补光装置120的近红外光从结束亮到开始亮的过程认为是对场景未提供近红外光。
本申请实施例所提供的一种图像处理系统为单传感器感知系统，即图像传感器110为单个。
可选地，所述图像传感器110包括多个感光通道，所述多个感光通道包括IR感光通道，还包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种，所述多个感光通道通过所述多次曝光产生并输出所述第一图像信号和所述第二图像信号；
其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，IR表示红外感光通道，用于感应近红外波段的光，W表示全通感光通道，用于感应全波段的光。
其中，所述图像传感器110可以为RGBIR传感器、RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器；其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，IR表示IR感光通道，W表示全通感光通道。
示例性的，本申请实施例中的该图像传感器110可以为一个RGBIR传感器，该RGBIR传感器具有红绿蓝RGB感光通道和红外IR感光通道。具体的，该RGB感光通道既可以对可见光波段感光又可以对近红外波段感光，但是主要用于对可见光波段感光；而IR感光通道为对近红外波段感光的通道。
例如，当图像传感器110为RGBIR传感器时，R感光通道、G感光通道、B感光通道和IR感光通道排列可以参见图4。其中，RGBIR图像传感器对R感光通道、G感光通道、B感光通道和IR感光通道进行感光，得到对应的图像信号。其中，R感光通道对应的感光值包括R通道值和IR通道值；G感光通道对应的感光值包括G通道值和IR通道值，B感光通道对应的感光值包括B通道值和IR通道值，IR感光通道对应的感光值包括IR通道值。对于补光装置120提供近红外补光和未提供近红外补光而言，R感光通道感知到的R通道值和IR感光通道值有所不同，G感光通道感知到的G通道值和IR通道值有所不同，B感光通道感知到的B通道值和IR通道值有所不同，IR感光通道感知到的IR通道值有所不同。
所以，当补光装置120提供近红外光补光时，RGBIR图像传感器捕捉到的图像信号为第一图像信号，当补光装置120没有提供近红外光补光时，RGBIR图像传感器捕捉到的图像信号为第二图像信号。其中，第一图像信号中R感光通道、G感光通道、B感光通道和IR感光通道的各通道值，与第二图像信号中R感光通道、G感光通道、B感光通道和IR感光通道的各通道值不同。相应的，对于RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器来说，第一图像信号中每个感光通道的各通道值，与第二图像信号中该感光通道的各通道值不同。
另外，对于图像传感器110为RGBIR传感器的情况而言，为了保证去除近红外光成分后颜色的准确还原，从而提高场景图像的质量，图像传感器110所在设备的光学镜头上可以设置有滤光片，该滤光片滤除的光谱区域可以包括[T1，T2]；其中，600nm≤T1≤800nm，750nm≤T2≤1100nm，T1＜T2。参照图6，可以理解，R、G、B以及IR感光通道在近红外波段(650nm～1100nm)上响应差别较大，为了避免上述各通道在某些光谱区域响应差别大导致近红外光成分去除效果差的问题，光学镜头上设置有滤光片，以滤除上述响应差别大的光谱区域。具体的，该滤光片可以通过镀膜技术集成在上述光学镜头上；另外，该滤光片可以是带阻滤光片，也可以是成本更低的双峰滤光片，需要说明的是，该滤光片是双峰滤光片时，滤光片滤除的光谱区域还可以包括[T3，+∞)的光谱区域，850nm≤T3≤1100nm，T2＜T3。
该补光装置120可以采用频闪方式，对该目标场景进行近红外补光。并且，所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，可以为：在所述第一预设曝光的曝光时间段中，进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻，进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
为了便于理解在所述第一预设曝光的曝光时间段中，进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻，进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻，图5(a)和图5(b)示例性的给出了关于曝光时间和近红外补光的补光时刻的关系示意图。该图5(a)中，对于图像传感器110采用两次曝光，即在一个曝光周期内发生两次曝光，将该两次曝光分别定义为奇次曝光和偶次曝光，指定在偶次曝光过程中对目标场景进行近红外补光，即该偶次曝光为第一预设曝光，具体的，近红外补光的上升沿比偶次曝光开始时刻晚，近红外补光的下降沿可以比偶次曝光结束的时间早。在图5(b)中，对于图像传感器110采用多次曝光，即在一个曝光周期内发生三次曝光，将该三次曝光分别定义为A曝光、B曝光和C曝光，指定在C曝光过程中对目标场景进行近红外补光，即该C曝光为第一预设曝光，具体的，近红外补光的上升沿比C曝光开始时刻晚，近红外补光的下降沿可以比C曝光结束的时间早。
另外，可以理解的是，由于近红外补光会增强图像的亮度，所以为了保证第一目标图像和第二目标图像的亮度保持在合适的亮度的范围内，在本申请实施例中，存在补光的任一次曝光过程所对应的曝光参数可以不大于目标最大值，其中，该曝光参数为曝光时长和/或增益，目标最大值为不存在补光的曝光所对应的曝光参数中的最大值。
另外，采用单个传感器多次曝光，并配合补光装置的近红外补光，可以捕捉到没有近红外补光的第二目标图像和具有近红外补光的第一目标图像。更加具体的，为了使图像传感器110捕捉到第一图像信号，补光装置120至少在图像传感器110捕捉该第一图像信号的曝光过程中提供近红外补光。为了捕捉到没有近红外补光的第二图像信号，需要补光装置120在图像传感器110捕捉第二图像信号的曝光过程中不提供近红外补光。所以，补光装置120在单位时间长度内的近红外补光次数低于图像传感器110在单位时间长度内的曝光次数，每相邻两次近红外补光的时间段内，间隔一次或多次曝光。这样，补光装置120只在图像传感器110的部分曝光过程有近红外补光。
并且，补光装置120在多次曝光中的具体补光时机，可以根据实际场景需求进行设定，也就是，第一预设曝光可以根据实际场景需求进行设定。对于图像传感器110的多次曝光而言，多次曝光可以包括奇数次曝光和偶数次曝光，那么，第一预设曝光的配置方式可以如下：
示例性的，在一种实现方式中，所述第一预设曝光为奇数次曝光中的其中一次，所述第二预设曝光为偶数次曝光中的一次。此时，第一图像信号为根据奇数次曝光中的其中一次曝光所产生的信号，而第二图像信号为根据偶数次曝光中的其中一次曝光所产生的信号。
示例性的，在一种实现方式中，所述第一预设曝光为偶数次曝光中的其中一次，所述第二预设曝光为奇数次曝光中的其中一次。此时，第一图像信号为根据偶数次曝光中的其中一次曝光所产生的信号，而第二图像信号为根据奇数次曝光中的其中一次曝光所产生的信号。
示例性的，在一种实现方式中，所述第一预设曝光为指定的奇数次曝光中的其中一次，所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次。此时，第一图像信号为根据指定的奇数次曝光中的其中一次曝光所产生的信号，而第二图像信号为根据除指定的奇数次曝光之外的其他曝光中的其中一次曝光所产生的信号。
示例性的，在一种实现方式中，所述第一预设曝光为指定的偶数次曝光中的其中一次，所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。此时，第一图像信号为根据指定的偶数次曝光中的其中一次曝光所产生的信号，而第二图像信号为根据除指定的偶数次曝光之外的其他曝光中的其中一次曝光所产生的信号。
上述所给出的该补光装置120在多次曝光中的补光时机仅仅作为示例，并不应该构成对本申请实施例的限定。
需要说明的是，在图像处理器130解析得到第一目标图像、第二目标图像和第三目标图像后，为了解决现有技术问题，该智能分析装置140可以至少从所述第一目标图像和第三目标图像中获取待分析图像，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。在具体应用中，智能分析装置140可以根据场景需求来获取相应的待分析图像，并对获取的待分析图像进行智能分析。
示例性的，在一种实现方式，该智能分析装置140可以获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像。这样可以智能分析装置可以默认基于第三目标图像进行智能分析。
示例性的，在一种实现方式中，智能分析装置140可以获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像。这样可以智能分析装置可以默认基于第一目标图像进行智能分析。
示例性的，在一种实现方式中，智能分析装置140当接收到的选择信号切换为第一选择信号时，获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；当接收到的选择信号切换为第二选择信号时，获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像。这样可以智能分析装置可以从第一目标图像和第三目标图像中切换进行智能分析。
示例性的，在一种实现方式中，智能分析装置140当接收到的选择信号切换为第四选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中，获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；当接收到的选择信号切换为第五选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中，获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像；当接收到的选择信号切换为第六选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第二目标图像，将所述第二目标图像确定为所述待分析图像。这样可以智能分析装置可以从第一目标图像、第二目标图像和第三目标图像中切换进行智能分析。
可以理解的是，根据选择信号来选择相应的图像，可以提高对图像处理系统的可控性，即根据不同的需求来切换所获取的图像的类型。并且，上述的根据选择信号来选择相应的图像的具体实现方式，仅仅作为可选地的实施方式。此外，所有可以实现选择信号的方式均在本申请的保护范围内，本申请对此不做限制，类似模式选择或者默认选择等方式均是合理的。
为了便于理解图像处理系统的感知过程，下面结合图3(a)和图3(b)来对图像处理系统的具体感知过程进行介绍。
如图3(a)所示，将图像处理系统以多个单元形式体现，由该多个单元共同完成图像处理过程。当然，图3(a)对于图像处理系统的划分方式并不构成对本申请的限定，仅是示例性的说明。具体的，如图3(a)所示，该图像处理系统包括：场景采集单元、场景处理单元、场景合成单元、场景感知单元和场景补光单元。其中，场景采集单元可以包括：上述的光学镜头、滤光片和图像传感器110。其中，场景补光单元为上述的补光装置120。其中，场景处理单元和场景合成单元所实现的功能为上述的图像处理器130的功能，该功能具体为：场景处理单元获得场景采集单元输出的第一图像信号和第二图像信号，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像。其中，场景感知单元为上述的智能分析装置140，用于从所述第一目标图像和所述第三目标图像中获取第一目标图像或者第三目标图像为待分析图像，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
在另一种方式中，如图3(b)所示，该图像处理系统包括：场景采集单元、场景处理单元、场景合成单元、选择单元、场景感知单元和场景补光单元。其中，场景采集单元可以包括：上述的光学镜头、滤光片和图像传感器110。其中，场景补光单元为上述的补光装置120。其中，场景处理单元所实现的功能为上述的图像处理器130的功能，该功能具体为：场景处理单元获得场景采集单元输出的第一图像信号和第二图像信号，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像。其中，选择单元和场景感知单元所实现的功能为智能分析装置140所实现的功能，具体实现如下功能：当接收到的选择信号切换为第一选择信号时，从所述第一目标图像和所述第三目标图像中,获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；当接收到的选择信号切换为第二选择信号时，从所述第一目标图像和所述第三目标图像中获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像。
在另一种方式中，如图3(c)所示，该图像处理系统包括：场景采集单元、场景处理单元、场景合成单元、选择单元、场景感知单元和场景补光单元。其中，场景采集单元可以包括：上述的光学镜头、滤光片和图像传感器110。其中，场景补光单元为上述的补光装置120。其中，场景处理单元所实现的功能为上述的图像处理器130的功能，该功能具体为：场景处理单元获得场景采集单元输出的第一图像信号和第二图像信号，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像。其中，选择单元和场景感知单元所实现的功能为智能分析装置140所实现的功能，具体实现如下功能：当接收到的选择信号切换为第四选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；当接收到的选择信号切换为第五选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像；当接收到的选择信号切换为第六选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第二目标图像，将所述第二目标图像确定为所述待分析图像。
可见，本方案采用对目标场景进行近红外补光的方式，来对目标场景的光线环境进行调控，这样，图像传感器所感光的图像信号质量能够得到保证，进而可以保证用于输出或智能分析的图像的图像质量。因此，通过本方案可以提升用于输出或者智能分析的待分析图像的质量。
并且，第三目标图像为利用第二目标图像和第一目标图像融合得到的双波段图像，包含较多的图像信息。
可选地，在一种实现方式中，所述图像传感器110多次曝光具体为：所述图像传感器110根据第一曝光参数进行所述多次曝光，所述第一曝光参数的参数类型包括曝光时间和曝光增益中的至少一种；
所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，具体为：所述补光装置根据第一补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光，所述第一补光参数的参数类型包括补光强度和补光集中度中的至少一种。
可选地，为了提高图像处理的智能化程度以及图像质量，可以基于待分析图像对应的图像信息对曝光参数和/或补光参数进行调整。基于该种处理思想，如图2所示，本申请实施例所提供的图像处理系统还可以包括：控制单元150；
控制单元150，用于获取所述待分析图像对应的亮度信息，根据所述待分析图像对应的亮度信息，将所述第一补光参数调整为第二补光参数，将所述第一曝光参数调整为第二曝光参数；并向所述补光装置120发送所述第二补光参数，同步向所述图像传感器110发送所述第二曝光参数；
所述补光装置120在所述第一预设曝光的曝光时间段中进行近红外补光，具体为：所述补光装置120接收来自所述控制单元的所述第二补光参数，根据所述第二补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光；
所述图像传感器110多次曝光具体为：所述图像传感器110接收来自所述控制单元的所述第二曝光参数，根据所述第二曝光参数进行所述多次曝光。
其中，该图2所示的一种图像处理系统仅仅作为示例，并不应该构成对申请实施例的限定，例如：在具体应用中，控制单元150除了与补光装置120连接，还可以与图像传感器110、图像处理器130或智能分析装置140连接，以使得控制单元150可以与图像传感器110、图像处理器130或智能分析装置140进行交互，完成图像处理。另外，需要说明的是，控制单元150可以与补光装置120位于同一设备，也可以与补光装置120位于不同设备，这都是合理的。并且，在具体应用中，控制单元150所执行的功能可以由该图像处理器130或智能分析装置140来执行。
由于图像亮度可以反映图像传感器110的曝光性能以及补光装置120的补光性能，因此，可以基于待分析图像对应的的亮度信息，来调整该图像传感器110的曝光参数和/或该补光装置120的补光参数。
示例性的，在一种实现方式中，可以根据待分析图像对应的智能分析结果，获取待分析图像对应的亮度信息，包括：
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时，根据所述位置信息确定所述待分析图像中的至少一个目标区域；将所述至少一个目标区域的平均亮度，确定为所述待分析图像对应的亮度信息。
其中，可以从该位置信息所指示的区域中选择至少一个目标区域，此时，每一目标区域为兴趣目标所位于的区域。
示例性的，在一种实现方式中，所述根据所述待分析图像对应的亮度信息，将所述第一曝光参数调整为第二曝光参数，包括：
当所述亮度信息高于第一预定阈值时，调低所述第一曝光参数，得到所述第二曝光参数；当所述亮度信息低于第二预定阈值时，调高所述第一曝光参数，得到所述第二曝光参数；其中，所述第一预定阈值高于所述第二预定阈值。
示例性的，在一种实现方式中，所述根据所述待分析图像对应的亮度信息，将所述第一补光参数调整为第二补光参数，可以包括：
当所述亮度信息高于第三预定阈值时，调低所述第一补光参数，得到所述第二补光参数；当所述亮度信息低于第四预定阈值时，调高所述第一补光参数，得到所述第二补光参数；其中，所述第三预定阈值高于所述第四预定阈值。
需要说明的是，所述第一预定阈值和第三预定阈值可以是相同的值或不同的值，类似的，所述第二预定阈值和第四预定阈值可以是相同的值或不同的值。并且，所述第一预定阈值、第二预定阈值、第三预定阈值和第四预定阈值的具体值可以根据经验值进行设定。另外，第一补光参数和第二补光参数仅仅用于区分调整前后的补光参数，并不具有任何限定意义，类似的，第一曝光参数和第二曝光参数仅仅用于区分调整前后的曝光参数，并不具有任何限定意义。并且，补光参数和曝光参数的调高程度或调低程度也可以根据经验值进行设定。
在该种实现方式中，本申请中的图像处理系统还包括一个控制单元，用于对补光装置120的补光和图像传感器110的曝光进行自适应控制。如图3(d)所示，将图像处理系统以多个单元形式体现，由该多个单元共同完成图像处理过程。当然，图3(d)对于图像处理系统的划分方式并不构成对本申请的限定，仅是示例性的说明。具体的，如图3(d)所示，该电子设备包括：场景采集单元、场景处理单元、场景合成单元、场景感知单元、场景补光单元和控制单元。其中，场景采集单元可以包括：上述的光学镜头、滤光片和图像传感器110；场景补光单元为上述的补光装置120；控制单元为上述的控制单元150；而场景处理单元和场景合成单元实现上述的图像处理器130所实现的功能；场景感知单元实现上述的智能分析装置140所实现的功能。
需要说明的是，图3(b)和图3(c)所示的系统中的场景补光单元和场景采集单元的控制也可以参照图3(d)，通过增加一个控制单元来进行场景补光单元的补光控制和场景采集单元的采集控制，，场景补光单元和场景采集单元还可以根据场景感知单元反馈的智能分析结果调整对场景补光单元的补光控制和场景采集单元的采集控制。
另外，一些场景中，图像处理器130还可以输出该第二目标图像以用于显示，或者，输出该第三目标图像，以用于显示，例如，输出的第二目标图像或第三目标图像可以在系统之外的显示装置中显示。需要说明的是，该图像处理器130还可以根据控制信号，选择该第二目标图像或者该第三目标图像进行输出以用于显示。示例性的，在接收到的控制信号切换为第一信号时，从所述第二目标图像和所述第三目标图像中选择所述第二目标图像输出；在接收到的控制信号切换为第二信号时，从所述第二目标图像和所述第三目标图像中选择所述第三目标图像输出。当然，该图像处理器还可以根据需求输出第一目标图像，这也是合理的。该图像处理器130具体输出何种图像，可以根据实际需求来确定，在此不做限定。
下面对根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像，以及将该第二目标图像和第一目标图像进行融合，得到融合后的第三目标图像的相关内容进行介绍。
对于上述的单传感器感知系统而言，该图像处理器130根据该第一图像信号生成第一目标图像的具体实现方式存在多种。本领域技术人员可以理解的是，由于包含IR通道和至少两个非IR通道的传感器的各通道信号交错分布，直接放大观看该传感器成像得到的图像信号时，会发现图像中具有马赛克现象，清晰度不佳，因此需要进行去马赛克处理，生成真实细节的图像。为了得到清晰且具有真实图像细节的第一目标图像，可以第一图像信号进行去马赛克处理，然后用去马赛克处理后的图像信号生成第一目标图像。基于此，在一种实现方式中，该图像处理器130根据该第一图像信号生成第一目标图像，包括：
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，根据差值处理后的图像，得到所述第一目标图像.
其中，可以根据实际需求，将所述差值处理后的图像确定为所述第一目标图像；或者，将所述差值处理后的图像进行图像增强处理，将图像增强处理之后的图像确定为所述第一目标图像。具体采用何种方式来确定第一目标图像，本申请不做限定。另外图像增强处理可以包括但不局限于：直方图均衡化、Gamma校正、对比度拉升等，其中，直方图均衡化将原始图像的直方图通过积分概率密度函数转化为概率密度为1(理想情况)的图像，Gamma校正采用了非线性函数(指数函数)对图像的灰度值进行变换，对比度拉升采用了线性函数对图像的灰度值进行变换。
其中，所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，包括：
对所述第一图像信号的每个感光通道的各个通道值分别进行插值，得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值；
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值，得到差值处理后的图像。
其中，插值所采用的插值算法可以为双线性插值算法或双三次插值算法，本申请实施例并不对插值算法进行限定。而通过对每个像素对应的各个感光通道的通道值求取平均值，从而得到第一目标图像，此时，该第一目标图像为去马赛克处理后的图像。该第一目标图像为仅仅包括亮度信号的图像，该第一目标图像中，每个像素的亮度值为：第一图像信号中对应的各个通道值的平均值。
为了方案清楚，以包括IR通道和至少两个非IR通道的传感器为RGBIR传感器为例，其中，所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，包括：
对该第一图像信号的每个IR感光通道、R感光通道、G感光通道和B感光通道分别进行插值，得到该第一图像信号中每个像素分别对应的各个感光通道插值处理后的通道值；
对每个像素对应的各个感光通道插值处理后的通道值求取平均值，得到所述差值处理后的图像。
相应的，对于上述的单传感器感知系统而言，图像处理器130根据所述第二图像信号生成所述第二目标图像的具体实现方式存在多种。示例性的，在一种实现方式中，图像处理器130根据所述第二图像信生成所述第二目标图像，可以包括：
遍历所述第二图像信号，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像；其中，针对每一非IR感光通道进行通道值调整具体为：将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值，所述IR参数值为对应像素位置的IR值与预设修正值的乘积，所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
其中，可以根据实际需求，将所述差值处理后的图像确定为所述第二目标图像；或者，将所述差值处理后的图像进行图像增强处理，将图像增强处理之后的图像确定为所述第二目标图像。具体采用何种方式来确定第二目标图像，本申请不做限定。
可以理解的是，通过将所遍历的每一非IR通道的通道值分别减去与对应像素位置相应的IR参数值，即去除色彩信号中的近红外光成分，可以避免可见光信号中近红外光成分与RGB三类信号成分进行串扰，提升低照度下的图像效果。需要强调的是，该预设修正值可以根据实际情况进行设定，举例而言，该预设修正值通常可以设为1，当然，可以根据实际情况，将该预设修正值设为0至1024中的任一整数或小数，而本领域技术人员可以理解的是，预设修正值的取值并不局限于此。
为了方案清楚，以包含IR通道和至少两个非IR通道的传感器为RGBIR传感器为例，该图像处理器130根据所述第二图像信号生成所述第二目标图像，具体为：
遍历所述第二图像信号，将所遍历到的每一R感光通道、G感光通道和B感光通道的通道值减去与对应像素位置相应的IR参数值，对通道值调整后的每一R感光通道、G感光通道和B感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像。
示例性的，在一种实现方式中，图像处理器130根据所述第二图像信号生成所述第二目标图像，可以包括：
获取包括当前第二图像信号的M帧第二图像信号，将所述M帧第二图像信号进行宽动态合成处理，得到宽动态图像，并对所述宽动态图像进行去红外处理，得到所述第二目标图像；其中，所述去红外处理包括：
遍历所述宽动态图像，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像。
其中，M的值小于一个曝光周期内的曝光总次数，具体值可以根据实际情况设定。宽动态(High Dynamic Range，HDR)图像，亦成为宽动态范围图像，其相比与低动态范围图像，不存在局部过曝的现象，可以体现更多的图像细节，所以本申请实施例中为了能够获得体现有更多图像细节的可见光图像，可以对至少两帧第二图像信号进行宽动态合成处理，得到宽动态图像信号。当然，对各帧第二图像信号进行宽动态合成处理的具体实现方式属于现有技术，本申请实施例在此不做详细介绍。另外，对该宽动态图像信号进行去红外处理，得到可见光图像的过程可以参见前述的对于一帧第二图像信号的处理过程。当然，当该补光装置120未进行近红外补光的第二图像信号为至少两帧时，也可以选择一帧第二图像信号，基于所选择的该一帧第二图像信号来生成可见光图像，具体的生成过程与上述的第二图像信号为一帧时的生成过程相同，在此不做赘述。
本申请中的智能分析包括但不局限于目标场景中所包括对象的种类、对象所在区域进行识别等等，相应的，智能分析结果可以包括但不局限于：目标场景中所包括对象的种类、所在区域的坐标信息、兴趣目标的位置信息等。
可以理解的是，不同的场景，图像处理需求不同。该智能分析装置140对待分析图像进行智能分析的过程中，可以基于待分析图像进行目标对象的检测，目标对象的识别。比如，根据待分析图像检测目标场景中是否存在目标对象，以及存在的目标对象的位置；再比如，根据待分析图像对目标场景中的特定目标对象进行识别，识别出目标对象的类别，目标对象的属性信息等。其中目标对象可以是人脸，车辆，车牌，或其他物体或对象。
具体的，在基于待分析图像进行智能分析时，该智能分析装置140可以基于特定的算法分析待分析图像以对目标场景进行图像处理，或者，借助神经网络模型来分析待分析图像以对目标场景进行图像处理，这都是合理的。
可选地，为了提高信息感知的准确性，该智能分析装置140对待分析图像进行智能分析的过程中，可以在分析该待分析图像对应的特征图像之前，将特征图像进行特征增强处理。
相应的，该智能分析装置140对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果，包括：
从所述待分析图像获取对应的特征图像进行特征增强处理，得到增强处理后的特征图像；
根据所述增强处理后的特征图像，得到所述待分析图像对应的智能分析结果，所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
需要说明的是，在智能分析过程中，可以生成一帧或多帧特征图像，进而对各帧特征图像进行分析，得到智能分析结果。而为了提高信息感知的准确性，在对任一帧特征图像进行分析之前，均可以将该特征图像进行特征增强处理。
需要说明的是，特征增强处理的处理方式存在多种。示例性的，在一种具体实现方式中，所述特征增强处理包括极值增强处理，其中，所述极值增强处理具体为：对所述特征图像进行局部化的极值滤波的处理。所谓的极值可以为极大值或极小值。
可选地，所述极值增强处理的处理过程包括：对所述特征图像进行分块，得到多个图像块；针对每一图像块，将该图像块中所包括像素中的极大值，确定为该图像块对应的处理结果；将各个处理结果进行合并，得到极值增强处理后的图像。
其中，在对所述特征图像进行分块时，图像块之间可以存在重叠。并且，图像块的数量为极值增强处理后的图像的分辨率。需要说明的是，图像块的数量可以根据实际情况进行设定，本申请不做限定。为了便于理解，以图像块的数量为100块为例，对极值增强处理的过程进行介绍：
该图像块的数量为100时，针对该100块中的每一图像块，将该图像块中所包括像素中的极大值确定为该图像块对应的处理结果，得到100个处理结果；将该100个处理结果按照图像块的位置关系进行合并，得到包含100个像素点的图像。
需要强调的是，极值增强处理的具体实现方式并不局限于上述的方式。举例而言：可以遍历每个像素位置，针对每一像素位置，为该像素位置确定一个极大值，并利用该极大值更新该像素位置的像素值，其中，为任一个像素位置确定极大值的方式可以为：确定该像素位置相邻的各个像素位置，确定相邻的各个像素位置和该像素位置中像素的极大值，将所确定出的极大值作为该像素位置的极大值。
另外，将所述第二目标图像和第一目标图像进行融合，得到融合后的第三目标图像的实现方式存在多种。
示例性的，在一种实现方式中，所述将该第二目标图像和第一目标图像进行融合，得到融合后的第三目标图像，包括：
将该第二目标图像和第一目标图像进行加权融合，得到融合后的第三目标图像。
也就是，将该第二目标图像和该第一目标图像中同一像素位置的像素值分别乘以相应的权重并相加，将相加得到的值作为第三目标图像中该像素位置对应的像素值。通过公式体现可以为：第三目标图像＝第二目标图像*w+第一目标图像*(1-w)。
其中，该w可以为预先设定的经验值，举例而言：w可以为0.5，当然并不局限于此。可以理解的是，在某些场景下，该w可以为设置0或1，当该w为0时，该第三目标图像为该第一目标图像，而当该w为1时，该第三目标图像为该第二目标图像。
需要强调的是，可以基于第二目标图像和第一目标图像的图像信息，来计算权重。基于此，在将该第二目标图像和第一目标图像进行加权融合之前，该第二目标图像的权重通过以下方式确定：
对该第二目标图像进行边缘提取处理，得到第一图像；对该第一目标图像进行边缘提取处理，得到第二图像；针对该第二目标图像中的每个像素位置，将该第一图像中该像素位置对应的像素值与该像素位置所对应的目标数值的比值，作为该像素位置对应的权重，其中，该像素位置对应的目标数值为：该第一图像中该像素位置对应的像素值与该第二图像中该像素位置对应的像素值的和。
可以理解的是，权重的计算方式，通过公式可以表征为：w＝im1/(im1+im2)；
其中，w为一像素位置对应的权重，im1为该第一图像中该像素位置对应的像素值，im2为该第二图像中该像素位置对应的像素值。
其中，所谓的边缘处理即为检测图像边缘的处理，所得到的第一图像和第二图像的分辨率均为所对应的原图像的分辨率。
示例性的，在另一种实现方式中，所述将该第二目标图像和第一目标图像进行融合，得到融合后的第三目标图像，可以包括步骤d1-d4：
步骤d1：通过以下公式计算第二目标图像中每个像素的亮度信号：
Y＝(R+G+B)/3；
式中，Y表示第二目标图像中的像素的亮度信号值，R表示Y对应的像素的R通道值，G表示Y对应的像素的G通道值，B表示Y对应的像素的B通道值。
步骤d2：针对第二目标图像中每个像素，计算该像素的R通道值、G通道值、B通道值分别与该像素对应的亮度信号值Y的比例，即K1＝R/Y，K2＝G/Y，K3＝B/Y。
步骤d3：对第二目标图像中所有像素对应的K1、K2、K3进行色彩降噪处理，例如采用高斯滤波处理，得到每个像素对应的色彩降噪处理后的K1’、K2’、K3’。
步骤d4：采用以下公式，将第一目标图像中每个像素的亮度信号值Y’与第二目标图像中对应像素的K1’、K2’、K3’进行融合处理，得到第三目标图像：
R’＝K1’*Y’；G’＝K2’*Y’；B’＝K3’*Y’；
式中，R’、G’以及B’分别表示第三目标图像中的像素的R通道值、G通道值、B通道值；K1’、K2’以及K3’分别表示色彩降噪处理后，第二目标图像中对应像素的K1、K2、K3；Y’表示第一目标图像中对应像素的亮度信号值。
需要强调的是，上述所给出的该图像处理器130将该第二目标图像和第一目标图像进行融合，得到融合后的第三目标图像，仅仅作为示例，并不应该构成对申请实施例的限定。
第二方面，相应于上述的图像处理系统，本申请实施例还提供了一种图像处理方法。
需要说明的是，本申请实施例所提供的一种图像处理方法可以应用于具有图像处理器、智能分析装置和控制单元的功能的电子设备，该电子设备执行的功能与上述实施例中的图像处理器和智能分析装置执行的功能相同，该图像处理方法的具体实现可以参见前述实施例。
如图8所示，本申请实施例所提供的一种图像处理方法，可以包括如下步骤：
S801，获得图像传感器输出的第一图像信号和第二图像信号；
其中，所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第一预设曝光的曝光时间段中补光装置进行近红外补光，在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光。
S802，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；
S803，将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
S804，至少从所述第一目标图像和所述第三目标图像中获取待分析图像；
S805，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
其中，所述图像传感器包括多个感光通道，所述多个感光通道包括IR感光通道，还包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种，所述多个感光通道通过所述多次曝光产生并输出所述第一图像信号和所述第二图像信号；
其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，IR表示红外感光通道，用于感应近红外波段的光，W表示全通感光通道，用于感应全波段的光。
示例性的，所述图像传感器为RGBIR传感器、RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器；
其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，IR表示IR感光通道，W表示全通感光通道。
可选地，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
获取所述第三目标图像，将所述第三目标图像确定为待分析图像；或者，获取所述第一目标图像，将所述第一目标图像确定为待分析图像。
可选地，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
当接收到的选择信号切换为第一选择信号时，获取所述第三目标图像，将所述第三目标图像确定为待分析图像；
当接收到的选择信号切换为第二选择信号时，获取所述第一目标图像，将所述第一目标图像确定为待分析图像。
可选地，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像从，包括：
当接收到的选择信号切换为第四选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中，获取所述第三目标图像，将所述第三目标图像确定为待分析图像；
当接收到的选择信号切换为第五选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第一目标图像，将所述第一目标图像确定为待分析图像；
当接收到的选择信号切换为第六选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第二目标图像，将所述第二目标图像确定为待分析图像。
可选地，本申请实施例所提供的一种图像处理方法，还包括：
向所述补光装置发送第一控制信号，所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，在所述第二预设曝光的曝光时间段中不进行近红外补光。
可选地，所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长，具体为，在所述第一预设曝光的曝光时间段中，进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻，进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
可选地，所述第一控制信号还用于指示所述补光装置的补光次数，具体为，所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数，其中，每相邻两次近红外补光的时间段内，间隔一次或多次曝光。
可选地，所述图像传感器的多次曝光包括奇数次曝光和偶数次曝光；其中，
所述第一预设曝光为奇数次曝光中的其中一次，所述第二预设曝光为偶数次曝光中的一次；或者
所述第一预设曝光为偶数次曝光中的其中一次，所述第二预设曝光为奇数次曝光中的其中一次；或者
所述第一预设曝光为指定的奇数次曝光中的其中一次，所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次；或者
所述第一预设曝光为指定的偶数次曝光中的其中一次，所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。
可选地，本申请实施例所提供的一种图像处理方法还包括：
获取所述待分析图像对应的亮度信息，根据所述待分析图像对应的亮度信息，将所述补光装置补光所利用的第一补光参数调整为第二补光参数，将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数；并向所述补光装置发送所述第二补光参数，同步向所述图像传感器发送所述第二曝光参数，以使得：所述补光装置接收所述第二补光参数，根据所述第二补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光，以及所述图像传感器接收所述第二曝光参数，根据所述第二曝光参数进行所述多次曝光。
可选地，所述获取待分析图像对应的亮度信息，包括：
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时，根据所述位置信息确定所述待分析图像中的至少一个目标区域；
将所述至少一个目标区域的平均亮度，确定为所述待分析图像对应的亮度信息。
可选地，所述根据所述待分析图像对应的亮度信息，将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数，包括：
当所述亮度信息高于第一预定阈值时，调低所述图像传感器曝光所利用的第一曝光参数，得到所述第二曝光参数；
当所述亮度信息低于第二预定阈值时，调高所述第一曝光参数，得到所述第二曝光参数；
其中，所述第一预定阈值高于所述第二预定阈值。
可选地，所述根据所述待分析图像对应的亮度信息，将所述补光装置补光所利用的第一补光参数调整为第二补光参数，包括：
当所述亮度信息高于第三预定阈值时，调低所述补光装置补光所利用的第一补光参数，得到所述第二补光参数；
当所述亮度信息低于第四预定阈值时，调高所述第一补光参数，得到所述第二补光参数；
其中，所述第三预定阈值高于所述第四预定阈值。
可选地，根据所述第一图像信号生成所述第一目标图像，包括：
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，根据差值处理后的图像，得到所述第一目标图像。
可选地，所述根据差值处理后的图像，得到所述第一目标图像，包括：
将所述差值处理后的图像确定为所述第一目标图像；或者，
将所述差值处理后的图像进行图像增强处理，将图像增强处理之后的图像确定为所述第一目标图像。
可选地，所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，包括：
对所述第一图像信号的每个感光通道的各个通道值分别进行插值，得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值；
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值，得到差值处理后的图像。
可选地，所述根据所述第二图像信号生成所述第二目标图像，包括：
遍历所述第二图像信号，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像；其中，针对每一非IR感光通道进行通道值调整具体为：将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值，所述IR参数值为对应像素位置的IR值与预设修正值的乘积，所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
可选地，所述根据所述第二图像信号生成所述第二目标图像，包括：
获取包括当前第二图像信号的M帧第二图像信号，将所述M帧第二图像信号进行宽动态合成处理，得到宽动态图像，并对所述宽动态图像进行去红外处理，得到所述第二目标图像；其中，所述去红外处理包括：
遍历所述宽动态图像，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像。
可选地，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果，包括：
从所述待分析图像获取对应的特征图像进行特征增强处理，得到增强处理后的特征图像；
根据所述增强处理后的特征图像，得到所述待分析图像对应的智能分析结果，所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
可选地，所述将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像，包括：
将所述第一目标图像和所述第二目标图像进行加权融合，得到融合后的所述第三目标图像。
另外，关于本申请实施例所提供的图像处理方法的各个步骤的具体实现方式及解释内容，可以参见上述第一方面所提供的图像处理系统中相应的描述内容，在此不做赘述。
可见，本方案采用对目标场景进行近红外补光的方式，来对目标场景的光线环境进行调控，这样，图像传感器所感光的图像信号质量能够得到保证，进而可以保证用于智能分析的图像的图像质量。因此，通过本方案可以提升针对于场景的图像处理效果。另外，第三目标图像为利用第二目标图像和第一目标图像融合得到的双波段图像，包含较多的图像信息。
相应于上述的方法实施例，本申请实施例还提供了一种图像处理装置。如图9所示，本申请实施例所提供的一种图像处理装置，可以包括：
图像信号获得模块910，用于获得图像传感器输出的第一图像信号和第二图像信号，其中，所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第一预设曝光的曝光时间段中补光装置进行近红外补光，在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光；
图像生成模块920，用于根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；
图像融合模块930，用于将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
图像选择模块940，用于至少从所述第一目标图像和第三目标图像中获取待分析图像；
图像分析模块950，用于对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
可选地，所述图像选择模块940，具体用于：
获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；或者，
获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像。
可选地，所述图像选择模块940，具体用于：
当接收到的选择信号切换为第一选择信号时，获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；
当接收到的选择信号切换为第二选择信号时，获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像。
可选地，所述图像选择模块940，具体用于：
当接收到的选择信号切换为第四选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；
当接收到的选择信号切换为第五选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第一目标图像，将所述第一目标图像确定为所述待分析图像；
当接收到的选择信号切换为第六选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第二目标图像，将所述第二目标图像确定为所述待分析图像。
可选地，本申请实施例所提供的一种图像处理方法，还包括：
信号发送模块，用于向所述补光装置发送第一控制信号，所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，在所述第二预设曝光的曝光时间段中不进行近红外补光。
可选地，所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长，具体为，在所述第一预设曝光的曝光时间段中，进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻，进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
可选地，所述第一控制信号还用于指示所述补光装置的补光次数，具体为，所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数，其中，每相邻两次近红外补光的时间段内，间隔一次或多次曝光。
可选地，所述图像传感器的多次曝光包括奇数次曝光和偶数次曝光；其中，所述第一预设曝光为奇数次曝光中的其中一次，所述第二预设曝光为偶数次曝光中的一次；或者
所述第一预设曝光为偶数次曝光中的其中一次，所述第二预设曝光为奇数次曝光中的其中一次；或者
所述第一预设曝光为指定的奇数次曝光中的其中一次，所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次；或者
所述第一预设曝光为指定的偶数次曝光中的其中一次，所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。
可选地，本申请实施例所提供的一种图像处理方法还包括：
参数调整模块，用于获取所述待分析图像对应的亮度信息，根据所述待分析图像对应的亮度信息，将所述补光装置补光所利用的第一补光参数调整为第二补光参数，将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数；并向所述补光装置发送所述第二补光参数，同步向所述图像传感器发送所述第二曝光参数，以使得：所述补光装置接收所述第二补光参数，根据所述第二补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光，以及所述图像传感器接收所述第二曝光参数，根据所述第二曝光参数进行所述多次曝光。
可选地，所述参数调整模块获取待分析图像对应的亮度信息，包括：
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时，根据所述位置信息确定所述待分析图像中的至少一个目标区域；
将所述至少一个目标区域的平均亮度，确定为所述待分析图像对应的亮度信息。
可选地，所述参数调整模块根据所述待分析图像对应的亮度信息，将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数，包括：
当所述亮度信息高于第一预定阈值时，调低所述图像传感器曝光所利用的第一曝光参数，得到所述第二曝光参数；
当所述亮度信息低于第二预定阈值时，调高所述第一曝光参数，得到所述第二曝光参数；
其中，所述第一预定阈值高于所述第二预定阈值。
可选地，所述参数调整模块根据所述待分析图像对应的亮度信息，将所述补光装置补光所利用的第一补光参数调整为第二补光参数，包括：
当所述亮度信息高于第三预定阈值时，调低所述补光装置补光所利用的第一补光参数，得到所述第二补光参数；
当所述亮度信息低于第四预定阈值时，调高所述第一补光参数，得到所述第二补光参数；
其中，所述第三预定阈值高于所述第四预定阈值。
可选地，所述图像生成模块920根据所述第一图像信号生成所述第一目标图像，包括：
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，根据差值处理后的图像，得到所述第一目标图像。
可选地，所述图像生成模块920根据差值处理后的图像，得到所述第一目标图像，包括：
将所述差值处理后的图像确定为所述第一目标图像；或者，
将所述差值处理后的图像进行图像增强处理，将图像增强处理之后的图像确定为所述第一目标图像。
可选地，所述图像生成模块920根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，包括：
对所述第一图像信号的每个感光通道的各个通道值分别进行插值，得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值；
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值，得到差值处理后的图像。
可选地，所述图像生成模块920根据所述第二图像信号生成所述第二目标图像，包括：
遍历所述第二图像信号，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像；其中，针对每一非IR感光通道进行通道值调整具体为：将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值，所述IR参数值为对应像素位置的IR值与预设修正值的乘积，所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
可选地，所述图像生成模块920根据所述第二图像信号生成所述第二目标图像，包括：
获取包括当前第二图像信号的M帧第二图像信号，将所述M帧第二图像信号进行宽动态合成处理，得到宽动态图像，并对所述宽动态图像进行去红外处理，得到所述第二目标图像；其中，所述去红外处理包括：
遍历所述宽动态图像，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到所述第二目标图像。
可选地，所述图像分析模块950对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果，包括：
从所述待分析图像获取对应的特征图像进行特征增强处理，得到增强处理后的特征图像；
根据所述增强处理后的特征图像，得到所述待分析图像对应的智能分析结果，所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
可选地，所述图像融合模块930将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像，包括：
将所述第一目标图像和所述第二目标图像进行加权融合，得到融合后的所述第三目标图像。
可见，本方案采用对目标场景进行近红外补光的方式，来对目标场景的光线环境进行调控，这样，图像传感器所感光的图像信号质量能够得到保证，进而可以保证用于输出或智能分析的图像的图像质量。因此，通过本方案可以提升用于输出或者智能分析的待分析图像的质量。并且，第三目标图像为利用第二目标图像和第一目标图像融合得到的双波段图像，包含较多的图像信息。
相应于上述的方法，本申请实施例还提供了一种电子设备，如图10所示，该电子设备包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现本申请实施例所提供的一种图像处理方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外，基于本申请实施例所提供的一种图像处理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例所提供的一种图像处理方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (39)
1.一种图像处理系统，其特征在于，包括：
图像传感器，用于通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；
补光装置，用于以频闪方式进行近红外补光，具体为：所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，在所述第二预设曝光的曝光时间段中不进行近红外补光；
图像处理器，用于接收所述图像传感器输出的所述第一图像信号和所述第二图像信号，根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
智能分析装置，用于至少从所述第一目标图像和所述第三目标图像中获取待分析图像，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
2.根据权利要求1所述的系统，其特征在于，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
获取所述第三目标图像，将所述第三目标图像确定为所述待分析图像；或者，
获取所述第一目标图像，将所述第一目标图像确定为待分析图像。
3.根据权利要求1所述的系统，其特征在于，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
当接收到的选择信号切换为第一选择信号时，获取所述第三目标图像，将所述第三目标图像确定为待分析图像；
当接收到的选择信号切换为第二选择信号时，获取所述第一目标图像，将所述第一目标图像确定为待分析图像。
4.根据权利要求1所述的系统，其特征在于，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
当接收到的选择信号切换为第四选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中，获取所述第三目标图像，将所述第三目标图像确定为待分析图像；
当接收到的选择信号切换为第五选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中，获取所述第一目标图像，将所述第一目标图像确定为待分析图像；
当接收到的选择信号切换为第六选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第二目标图像，将所述第二目标图像确定为待分析图像。
5.根据权利要求1至4中任一项所述的系统，其特征在于，
所述图像处理器，还用于输出所述第二目标图像；或者，
所述图像处理器，还用于输出所述第三目标图像。
6.根据权利要求1至4中任一项所述的系统，其特征在于，所述图像处理器，还用于：
在接收到的控制信号切换为第一控制信号时，从所述第二目标图像和所述第三目标图像中选择所述第二目标图像输出；在接收到的控制信号切换为第二控制信号时，从所述第二目标图像和所述第三目标图像中选择所述第三目标图像输出。
7.根据权利要求1所述的系统，其特征在于，所述图像传感器包括多个感光通道，所述多个感光通道包括IR感光通道，还包括R感光通道、G感光通道、B感光通道和W感光通道中的至少两种，所述多个感光通道通过所述多次曝光产生并输出所述第一图像信号和所述第二图像信号；
其中，R感光通道，用于感应红光波段和近红外波段的光，G感光通道，用于感应绿光波段和近红外波段的光，B感光通道，用于感应蓝光波段和近红外波段的光，IR表示红外感光通道，用于感应近红外波段的光，W表示全通感光通道，用于感应全波段的光。
8.根据权利要求7所述的系统，其特征在于，所述图像传感器为RGBIR传感器、RGBWIR传感器、RWBIR传感器、RWGIR传感器或BWGIR传感器；
其中，R表示R感光通道，G表示G感光通道，B表示B感光通道，IR表示IR感光通道，W表示全通感光通道。
9.根据权利要求1所述的系统，其特征在于，所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，具体为：
在所述第一预设曝光的曝光时间段中，进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻，进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
10.根据权利要求9所述的系统，其特征在于，所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数，其中，每相邻两次近红外补光的时间段内，间隔一次或多次曝光。
11.根据权利要求9所述的系统，其特征在于，所述多次曝光包括奇数次曝光和偶数次曝光；
所述第一预设曝光为奇数次曝光中的其中一次，所述第二预设曝光为偶数次曝光中的一次；或者
所述第一预设曝光为偶数次曝光中的其中一次，所述第二预设曝光为奇数次曝光中的其中一次；或者
所述第一预设曝光为指定的奇数次曝光中的其中一次，所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次；或者
所述第一预设曝光为指定的偶数次曝光中的其中一次，所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。
12.根据权利要求1所述的系统，其特征在于，
所述图像传感器多次曝光具体为：所述图像传感器根据第一曝光参数进行所述多次曝光，所述第一曝光参数的参数类型包括曝光时间和曝光增益中的至少一种；
所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，具体为：所述补光装置根据第一补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光，所述第一补光参数的参数类型包括补光强度和补光集中度中的至少一种。
13.根据权利要求12所述的系统，其特征在于，还包括：
控制单元，用于获取所述待分析图像对应的亮度信息，根据所述待分析图像对应的亮度信息，将所述第一补光参数调整为第二补光参数，将所述第一曝光参数调整为第二曝光参数；并向所述补光装置发送所述第二补光参数，同步向所述图像传感器发送所述第二曝光参数；
所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，具体为：所述补光装置接收来自所述控制单元的所述第二补光参数，根据所述第二补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光；
所述图像传感器多次曝光具体为：所述图像传感器接收来自所述控制单元的所述第二曝光参数，根据所述第二曝光参数进行所述多次曝光。
14.根据权利要求13所述的系统，其特征在于，所述获取待分析图像对应的亮度信息，包括：
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时，根据所述位置信息确定所述待分析图像中的至少一个目标区域；
将所述至少一个目标区域的平均亮度，确定为所述待分析图像对应的亮度信息。
15.根据权利要求13所述的系统，其特征在于，所述根据所述待分析图像对应的亮度信息，将所述第一曝光参数调整为第二曝光参数，包括：
当所述亮度信息高于第一预定阈值时，调低所述第一曝光参数，得到第二曝光参数；
当所述亮度信息低于第二预定阈值时，调高所述第一曝光参数，得到第二曝光参数；
其中，所述第一预定阈值高于所述第二预定阈值。
16.根据权利要求13所述的系统，其特征在于，所述根据所述待分析图像对应的亮度信息，将所述第一补光参数调整为第二补光参数，包括：
当所述亮度信息高于第三预定阈值时，调低所述第一补光参数，得到第二补光参数；
当所述亮度信息低于第四预定阈值时，调高所述第一补光参数，得到第二补光参数；
其中，所述第三预定阈值高于所述第四预定阈值。
17.根据权利要求1所述的系统，其特征在于，根据所述第一图像信号生成第一目标图像，包括：
根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，根据差值处理后的图像，得到第一目标图像。
18.根据权利要求17所述的系统，其特征在于，所述根据差值处理后的图像，得到第一目标图像，包括：
将所述差值处理后的图像确定为第一目标图像；或者，
将所述差值处理后的图像进行图像增强处理，将图像增强处理之后的图像确定为第一目标图像。
19.根据权利要求17所述的系统，其特征在于，所述根据所述第一图像信号的每个像素的邻域所包含的多个像素的通道值，以求平均的方式插值处理，包括：
对所述第一图像信号的每个感光通道的各个通道值分别进行插值，得到所述第一图像信号中每个像素分别对应的每个感光通道插值处理后的各个通道值；
对每个像素对应的各个感光通道插值处理后的各个通道值求取平均值，得到差值处理后的图像。
20.根据权利要求1所述的系统，其特征在于，所述根据所述第二图像信号生成第二目标图像，包括：
遍历所述第二图像信号，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到第二目标图像；其中，针对每一非IR感光通道进行通道值调整具体为：将所述非IR感光通道的调整前的各个通道值减去与对应像素位置相应的IR参数值，所述IR参数值为对应像素位置的IR值与预设修正值的乘积，所述IR值为所述IR感光通道在所述对应像素位置感应的IR值。
21.根据权利要求1所述的系统，其特征在于，所述根据所述第二图像信号生成第二目标图像，包括：
获取包括当前第二图像信号的M帧第二图像信号，将所述M帧第二图像信号进行宽动态合成处理，得到宽动态图像，并对所述宽动态图像进行去红外处理，得到第二目标图像；其中，所述去红外处理包括：
遍历所述宽动态图像，将所遍历到的每一非IR感光通道进行通道值调整，对通道值调整后的每一非IR感光通道的各个通道值分别进行插值，根据差值处理后的图像，得到第二目标图像。
22.根据权利要求1所述的系统，其特征在于，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果，包括：
从所述待分析图像获取对应的特征图像进行特征增强处理，得到增强处理后的特征图像；
根据所述增强处理后的特征图像，得到所述待分析图像对应的智能分析结果，所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
23.根据权利要求22所述的系统，其特征在于，所述特征增强处理包括极值增强处理，其中，所述极值增强处理具体为：对所述特征图像进行局部化的极值滤波的处理。
24.根据权利要求23所述的系统，其特征在于，所述极值增强处理的处理过程包括：
对所述特征图像进行分块，得到多个图像块；针对每一图像块，将该图像块中所包括像素中的极大值，确定为该图像块对应的处理结果；将各个处理结果进行合并，得到极值增强处理后的图像。
25.根据权利要求1所述的系统，其特征在于，所述将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像，包括：
将所述第一目标图像和所述第二目标图像进行加权融合，得到融合后的所述第三目标图像。
26.一种图像处理方法，其特征在于，包括：
获得图像传感器输出的第一图像信号和第二图像信号，其中，所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第一预设曝光的曝光时间段中由补光装置进行近红外补光，在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光；
根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；
将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
至少从所述第一目标图像和所述第三目标图像中获取待分析图像；
对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
27.根据权利要求26所述的方法，其特征在于，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
获取所述第三目标图像，将所述第三目标图像确定为待分析图像；或者，
获取所述第一目标图像，将所述第一目标图像确定为待分析图像。
28.根据权利要求26所述的方法，其特征在于，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像，包括：
当接收到的选择信号切换为第一选择信号时，获取所述第三目标图像，将所述第三目标图像确定为待分析图像；
当接收到的选择信号切换为第二选择信号时，获取所述第一目标图像，将所述第一目标图像确定为待分析图像。
29.根据权利要求26所述的方法，其特征在于，所述至少从所述第一目标图像和所述第三目标图像中获取待分析图像从，包括：
当接收到的选择信号切换为第四选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中，获取所述第三目标图像，将所述第三目标图像确定为待分析图像；
当接收到的选择信号切换为第五选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第一目标图像，将所述第一目标图像确定为待分析图像；
当接收到的选择信号切换为第六选择信号时，从所述第一目标图像、所述第二目标图像和所述第三目标图像中获取所述第二目标图像，将所述第二目标图像确定为待分析图像。
30.根据权利要求26至29中任一项所述的方法，其特征在于，还包括：
向所述补光装置发送第一控制信号，所述第一控制信号用于控制所述补光装置在所述第一预设曝光的曝光时间段中进行近红外补光，在所述第二预设曝光的曝光时间段中不进行近红外补光。
31.根据权利要求30所述的方法，其特征在于，所述第一控制信号用于指示所述补光装置进行近红外补光的补光时长，具体为，在所述第一预设曝光的曝光时间段中，进行近红外补光的开始时刻不早于所述第一预设曝光的曝光开始时刻，进行近红外补光的结束时刻不晚于所述第一预设曝光的曝光结束时刻。
32.根据权利要求31所述的方法，其特征在于，所述第一控制信号还用于指示所述补光装置的补光次数，具体为，所述补光装置在单位时间长度内的近红外补光次数低于所述图像传感器在单位时间长度内的曝光次数，其中，每相邻两次近红外补光的时间段内，间隔一次或多次曝光。
33.根据权利要求30所述的方法，其特征在于，所述图像传感器的多次曝光包括奇数次曝光和偶数次曝光；其中，
所述第一预设曝光为奇数次曝光中的其中一次，所述第二预设曝光为偶数次曝光中的一次；或者
所述第一预设曝光为偶数次曝光中的其中一次，所述第二预设曝光为奇数次曝光中的其中一次；或者
所述第一预设曝光为指定的奇数次曝光中的其中一次，所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的其中一次；或者
所述第一预设曝光为指定的偶数次曝光中的其中一次，所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的其中一次。
34.根据权利要求26至29中任一项所述的方法，其特征在于，还包括：
获取所述待分析图像对应的亮度信息，根据所述待分析图像对应的亮度信息，将所述补光装置补光所利用的第一补光参数调整为第二补光参数，将所述图像传感器曝光所利用的第一曝光参数调整为第二曝光参数；并向所述补光装置发送所述第二补光参数，同步向所述图像传感器发送所述第二曝光参数，以使得：所述补光装置接收所述第二补光参数，根据所述第二补光参数，在所述第一预设曝光的曝光时间段中进行近红外补光，以及所述图像传感器接收所述第二曝光参数，根据所述第二曝光参数进行所述多次曝光。
35.根据权利要求34所述的方法，其特征在于，所述获取待分析图像对应的亮度信息，包括：
当所述待分析图像对应的智能分析结果包括所述待分析图像中包括的兴趣目标的位置信息时，根据所述位置信息确定所述待分析图像中的至少一个目标区域；
将所述至少一个目标区域的平均亮度，确定为所述待分析图像对应的亮度信息。
36.根据权利要求26所述的方法，其特征在于，对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果，包括：
从所述待分析图像获取对应的特征图像进行特征增强处理，得到增强处理后的特征图像；
根据所述增强处理后的特征图像，得到所述待分析图像对应的智能分析结果，所述智能分析结果包括所述待分析图像包含的兴趣目标和/或所述兴趣目标的位置信息。
37.根据权利要求26所述的方法，其特征在于，所述将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像，包括：
将所述第一目标图像和所述第二目标图像进行加权融合，得到融合后的第三目标图像。
38.一种图像处理装置，其特征在于，包括：
图像信号获得模块，用于获得图像传感器输出的第一图像信号和第二图像信号，其中，所述图像传感器通过多次曝光产生并输出第一图像信号和第二图像信号，其中，所述第一图像信号是根据第一预设曝光产生的图像信号，所述第二图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次曝光中的其中两次曝光；在所述第一预设曝光的曝光时间段中由补光装置进行近红外补光，在所述第二预设曝光的曝光时间段中所述补光装置不进行近红外补光；
图像生成模块，用于根据所述第一图像信号生成第一目标图像，根据所述第二图像信号生成第二目标图像；
图像融合模块，用于将所述第一目标图像和所述第二目标图像进行融合，得到融合后的第三目标图像；
图像选择模块，用于至少从所述第一目标图像和所述第三目标图像中获取待分析图像；
图像分析模块，用于对所述待分析图像进行智能分析，得到所述待分析图像对应的智能分析结果。
39.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求23-37任一项所述的方法步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811516420.XA CN110493532B (zh) | 2018-12-12 | 2018-12-12 | 一种图像处理方法和系统 |
| PCT/CN2019/122439 WO2020119505A1 (zh) | 2018-12-12 | 2019-12-02 | 一种图像处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811516420.XA CN110493532B (zh) | 2018-12-12 | 2018-12-12 | 一种图像处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110493532A true CN110493532A (zh) | 2019-11-22 |
| CN110493532B CN110493532B (zh) | 2021-06-29 |
Family
ID=68545686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811516420.XA Active CN110493532B (zh) | 2018-12-12 | 2018-12-12 | 一种图像处理方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110493532B (zh) |
| WO (1) | WO2020119505A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119505A1 (zh) * | 2018-12-12 | 2020-06-18 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
| CN111968057A (zh) * | 2020-08-24 | 2020-11-20 | 浙江大华技术股份有限公司 | 图像降噪方法、装置、存储介质及电子装置 |
| WO2020238807A1 (zh) * | 2019-05-31 | 2020-12-03 | 杭州海康威视数字技术股份有限公司 | 图像融合装置及图像融合方法 |
| CN112926367A (zh) * | 2019-12-06 | 2021-06-08 | 杭州海康威视数字技术股份有限公司 | 一种活体检测的设备及方法 |
| CN113572968A (zh) * | 2020-04-24 | 2021-10-29 | 杭州萤石软件有限公司 | 图像融合方法、装置、摄像设备及存储介质 |
| WO2022188558A1 (zh) * | 2021-03-10 | 2022-09-15 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及摄像机 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011598A1 (en) * | 2010-03-19 | 2013-01-10 | Asahi Glass Company, Limited | Electronic device and method for manufacturing same |
| CN106488201A (zh) * | 2015-08-28 | 2017-03-08 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
| WO2017040897A1 (en) * | 2015-09-04 | 2017-03-09 | Sabic Global Technologies B.V. | Powder compositions, method of preparing articles and coatings from the powder compositions, and articles prepared therefrom |
| CN106778518A (zh) * | 2016-11-24 | 2017-05-31 | 汉王科技股份有限公司 | 一种人脸活体检测方法及装置 |
| CN107977924A (zh) * | 2016-10-21 | 2018-05-01 | 杭州海康威视数字技术股份有限公司 | 一种基于双传感器成像的图像处理方法、系统 |
| CN108419062A (zh) * | 2017-02-10 | 2018-08-17 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2767023C (en) * | 2011-02-09 | 2014-09-09 | Research In Motion Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| CN104661008B (zh) * | 2013-11-18 | 2017-10-31 | 深圳中兴力维技术有限公司 | 低照度条件下彩色图像质量提升的处理方法和装置 |
| CN106771518B (zh) * | 2016-12-09 | 2020-01-17 | 圣邦微电子（北京）股份有限公司 | 一种降低功耗的级联触发式电流比较电路 |
| CN110493532B (zh) * | 2018-12-12 | 2021-06-29 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
-
2018
- 2018-12-12 CN CN201811516420.XA patent/CN110493532B/zh active Active
-
2019
- 2019-12-02 WO PCT/CN2019/122439 patent/WO2020119505A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130011598A1 (en) * | 2010-03-19 | 2013-01-10 | Asahi Glass Company, Limited | Electronic device and method for manufacturing same |
| CN106488201A (zh) * | 2015-08-28 | 2017-03-08 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
| WO2017040897A1 (en) * | 2015-09-04 | 2017-03-09 | Sabic Global Technologies B.V. | Powder compositions, method of preparing articles and coatings from the powder compositions, and articles prepared therefrom |
| CN107977924A (zh) * | 2016-10-21 | 2018-05-01 | 杭州海康威视数字技术股份有限公司 | 一种基于双传感器成像的图像处理方法、系统 |
| CN106778518A (zh) * | 2016-11-24 | 2017-05-31 | 汉王科技股份有限公司 | 一种人脸活体检测方法及装置 |
| CN108419062A (zh) * | 2017-02-10 | 2018-08-17 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119505A1 (zh) * | 2018-12-12 | 2020-06-18 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法和系统 |
| WO2020238807A1 (zh) * | 2019-05-31 | 2020-12-03 | 杭州海康威视数字技术股份有限公司 | 图像融合装置及图像融合方法 |
| CN112926367A (zh) * | 2019-12-06 | 2021-06-08 | 杭州海康威视数字技术股份有限公司 | 一种活体检测的设备及方法 |
| CN113572968A (zh) * | 2020-04-24 | 2021-10-29 | 杭州萤石软件有限公司 | 图像融合方法、装置、摄像设备及存储介质 |
| CN111968057A (zh) * | 2020-08-24 | 2020-11-20 | 浙江大华技术股份有限公司 | 图像降噪方法、装置、存储介质及电子装置 |
| WO2022188558A1 (zh) * | 2021-03-10 | 2022-09-15 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及摄像机 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020119505A1 (zh) | 2020-06-18 |
| CN110493532B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110493506A (zh) | 一种图像处理方法和系统 | |
| CN109951646B (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN110493532A (zh) | 一种图像处理方法和系统 | |
| EP3343911B1 (en) | Image signal processing method and system | |
| CN110490041B (zh) | 人脸图像采集装置及方法 | |
| CN110493531A (zh) | 一种图像处理方法和系统 | |
| CN110493494B (zh) | 图像融合装置及图像融合方法 | |
| EP2721828B1 (en) | High resolution multispectral image capture | |
| EP3468178B1 (en) | Image defogging method and image capture apparatus implementing image defogging | |
| CN110505377B (zh) | 图像融合设备和方法 | |
| KR102266649B1 (ko) | 이미지 처리 방법 및 장치 | |
| CN107862653B (zh) | 图像显示方法、装置、存储介质和电子设备 | |
| CN107918929B (zh) | 一种图像融合方法、装置及系统 | |
| WO2021073140A1 (zh) | 单目摄像机、图像处理系统以及图像处理方法 | |
| CN110490811B (zh) | 图像降噪装置及图像降噪方法 | |
| GB2464574A (en) | Combining multiple images to enhance dynamic range | |
| CN110033418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109474770B (zh) | 一种成像装置及成像方法 | |
| CN110490187B (zh) | 车牌识别设备和方法 | |
| CN111064899A (zh) | 一种曝光参数的调节方法及装置 | |
| CN102340673A (zh) | 一种针对交通场景的摄像机白平衡方法 | |
| CN106664363A (zh) | 闪光冲突检测、补偿和预防 | |
| US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
| WO2015104593A1 (en) | Uvb-visible hybrid apparatus for viewing a scene comprising terrestrial corona radiation | |
| CN114245035A (zh) | 视频生成方法和装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |