CN112995529B - 一种基于光流预测的成像方法和装置 - Google Patents

Abstract

本申请提供一种基于光流预测的成像装置，该成像装置包括：图像获取单元，图像预测单元，图像合成单元和补光控制单元，本申请还提供一种基于光流预测的成像方法，该方法在获取正常图像和补光图像后，对正常图像和补光图像进行光流预测处理，生成预测正常图像，所述预测正常图像用于和补光图像进行合成处理，得到合成图像。本申请的基于光流预测的成像装置和方法可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

Description

一种基于光流预测的成像方法和装置

技术领域

本申请涉及图像处理领域，尤其涉及一种基于光流预测的成像方法和装置。

背景技术

随着图像应用的快速发展，在监控相机和道路卡口相机领域，业界对行驶车辆的车内人物的成像质量要求越来越高。在白天环境下，车内环境的光照强度要远低于车外环境的光照强度，由于车辆前挡玻璃的反光会覆盖车内的环境细节，车内人物信息在成像上会缺少对比度信息，从而导致车内人物的成像质量会比较差。导致成像质量下降最大的因素为车辆前挡玻璃对车外环境光照的反射强度远大于对车内环境和人物光照的反射强度。因此，去除车辆前挡玻璃对车外环境的反射信息，是提高车内人物成像质量的关键。

在业界应用中，使用补光灯进行补光和使用偏振镜是去除车辆前挡玻璃对外界环境的反光的两种常用手段。使用的补光灯一般是白光爆闪灯，可以较好地对车内人物进行补光，弥补车内人物光照强度不足的问题；偏振镜可以有选择地让某个方向振动的光线通过，常用来消除或减弱非金属表面的强反光，从而消除或减轻光斑。

现有技术中利用“补光灯+偏振镜片”的硬件组合来去除车辆前挡玻璃对外界环境的反光，是通过设置特殊的抓拍和补光角度，使接收的自然反射光产生偏振，而补光灯反射无偏振，偏振镜过滤掉偏振光来提升车内任务的成像质量。但是现有技术中使用偏振镜的方法存在以下两个问题：

(1)、偏振镜只能去除特定角度的玻璃反射的偏振光，偏振光的产生与光线入射角度、反射环境有关，因此不同环境的偏振结果不同，特殊角度的车窗玻璃反射光无法通过偏振镜滤除；自然环境反射、折射产生的偏振光线大多为部分偏振光线，即偏振线的光波包含一切可能方向的振动，但不同方向上的振幅不等，因此环境中的偏振光有比较大的概率无法全部通过偏振片滤除；

(2)、车玻璃贴膜会改变车窗玻璃的反射特性，特殊的反射偏振光透过偏振片后易产生偏振光的光干涉，从而产生无法去除的彩纹或等厚明暗交接的条纹。

因此如何去除车辆前挡玻璃对外界环境的反光，并克服使用偏振镜所存在的缺点是一个重要的研究课题。

发明内容

本申请提出了一种基于光流预测的成像装置、方法和系统，能够利用图像合成的方法，去除玻璃的反光。

本申请的第一方面，提供一种成像装置，该光流预测成像装置包括：图像获取单元，用于获取正常图像和补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；图像预测单元，用于对所述补光图像和所述正常图像进行光流预测处理，生成预测正常图像；图像合成单元，用于对所述预测正常图像和所述补光图像进行合成处理，得到合成图像；补光控制单元，用于在所述图像获取单元获取所述补光图像时，控制补光单元在所述补光时刻进行补光。本申请第一方面所述的成像装置的图像合成单元通过对图像预测单元生成的预测正常图像和补光图像的合成处理，可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

根据第一方面，在第一方面的第一种可能的实现方式中，所述光流预测处理为配准处理时，所述正常图像包括所述补光时刻之前的第一时刻的第一正常图像，或所述补光时刻之后的第二时刻的第二正常图像；所述图像预测单元具体用于：标记所述第一正常图像的N个第一特征点和所述补光图像的N个第二特征点，或者标记所述第二正常图像的N个第一特征点和所述补光图像的N个第二特征点，N为大于等于1的整数；对齐所述第一特征点和所述第二特征点；根据对齐后的第一特征点和第二特征点得到空间坐标变换参数；根据所述空间坐标变换参数对所述第一正常图像或所述第二正常图像进行图像配准，得到所述预测正常图像。配准处理方法的优点是，可以只通过两个图像(第一时刻的第一正常图像与补光时刻的补光图像，或者，补光时刻的补光图像与第二时刻的第二正常图像)处理得到配准数据，可以加快处理速率、节省内存开销。

根据第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述光流预测处理为插图像处理时，所述正常图像包括所述补光时刻之前的第一时刻的第一正常图像，和所述补光时刻之后的第二时刻的第二正常图像；所述图像预测单元具体用于：基于所述第一正常图像和所述第二正常图像通过插图像预测得到插入图像；标记所述插入图像的N个第一特征点和所述补光图像的N个第二特征点，N为大于等于1的整数；对齐所述第一特征点和所述第二特征点；根据对齐后的第一特征点和第二特征点得到空间坐标变换参数；根据所述空间坐标变换参数对所述插入图像进行图像配准，得到所述预测正常图像。插图像处理方法的优点是，通过插图像处理得到插入图像可以解决图像间时间差导致的配准不齐的问题，更加准确地得到配准数据。

根据第一方面或第一方面的第一至第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述补光图像包括车内有效信息和反光信息，所述预测正常图像包括反光信息，所述图像合成单元具体用于：根据所述预测正常图像的反光信息对所述补光图像进行合成处理，以去除所述补光图像的反光信息，从而得到所述合成图像，所述合成图像包括所述补光图像所包括的车内有效信息。通过对反光信息的去除，得到的合成图像可以清楚的显示车内有效信息。

根据第一方面或第一方面的第一至第三种可能的实现方式，在第一方面的第四种可能的实现方式中，在所述正常图像和所述补光图像中包括车辆时，所述第一特征点和所述第二特征点包括车辆的车窗的角点和/或车辆的角点和/或其他关键信息特征点。其中，所述其他关键信息特征点指的是除了车窗的角点和车辆的角点外，其他能够提供关键的图像信息的特征点。

根据第一方面或第一方面的第一至第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述装置还包括：图像处理单元，用于对所述合成图像进行图像处理，其中，所述图像处理包括去马赛克、自动曝光、自动白平衡、色彩校正、锐化增强或降噪。其中，去马赛克是拜耳图到RGB图的处理，是将图像传感器获得的亮度不均的像素点，插值成平滑的像素点的过程。自动曝光是指，根据图像处理反馈的亮度统计信息，自动调整图像传感器的曝光时间和增益，达到调节图片亮度的目的。自动白平衡是指，根据白区统计信息，自动调节图像处理模块的RGB增益，达到色彩平衡的目的。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正，例如，对RGB图乘以一个色彩校正矩阵达到色彩还原的目的，这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差，所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理，用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作，包括空域降噪、时域降噪或色噪抑制等。图像处理可以增加合成图像的质量。

本申请的第二方面，提供一种成像方法，包括：获取正常图像与补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；对所述补光图像和所述正常图像进行光流预测处理，生成预测正常图像；对所述预测正常图像和所述补光图像进行合成处理，得到合成图像。本申请第二方面所述的成像方法通过对由补光图像和正常图像进行光流预测处理后得到的预测正常图像和补光图像进行合成处理，可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

根据第二方面，在第二方面的第一种可能的实现方式中，所述光流预测处理为配准处理时，所述正常图像包括所述补光时刻之前的第一时刻的第一正常图像，或所述补光时刻之后的第二时刻的第二正常图像；所述配准处理具体包括：标记所述第一正常图像的N个第一特征点和所述补光图像的N个第二特征点，或者标记所述第二正常图像的N个第一特征点和所述补光图像的N个第二特征点，N为大于等于1的整数；对齐所述第一特征点和所述第二特征点；根据对齐后的第一特征点和第二特征点得到空间坐标变换参数；根据所述空间坐标变换参数对所述第一正常图像或所述第二正常图像进行图像配准，得到所述预测正常图像。配准处理方法的优点是，可以只通过两个图像(第一时刻的第一正常图像与补光时刻的补光图像，或者，补光时刻的补光图像与第二时刻的第二正常图像)处理得到配准数据，可以加快处理速率、节省内存开销。

根据第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述光流预测处理为插图像处理时，所述正常图像包括所述补光时刻之前的第一时刻的第一正常图像，和所述补光时刻之后的第二时刻的第二正常图像；所述插图像处理具体包括：基于所述第一正常图像和所述第二正常图像通过插图像预测得到插入图像；标记所述插入图像的N个第一特征点和所述补光图像的N个第二特征点，N为大于等于1的整数；对齐所述第一特征点和所述第二特征点；根据对齐后的第一特征点和第二特征点得到空间坐标变换参数；根据所述空间坐标变换参数对所述插入图像进行图像配准，得到所述预测正常图像。插图像处理方法的优点是，通过插图像处理得到插入图像可以解决图像间时间差导致的配准不齐的问题，更加准确地得到配准数据。

根据第二方面或第二方面的第一至第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述补光图像包括车内有效信息和反光信息，所述预测正常图像包括反光信息，所述图像合成单元具体用于：根据所述预测正常图像的反光信息对所述补光图像进行合成处理，以去除所述补光图像的反光信息，从而得到所述合成图像，所述合成图像包括所述补光图像所包括的车内有效信息。通过对反光信息的去除，得到的合成图像可以清楚的显示车内有效信息。

根据第二方面或第二方面的第一至第三种可能的实现方式，在第二方面的第四种可能的实现方式中，在所述正常图像和所述补光图像中包括车辆时，所述第一特征点和所述第二特征点包括车辆的车窗的角点和/或车辆的角点和/或其他关键信息特征点。其中，所述其他关键信息特征点指的是除了车窗的角点和车辆的角点外，其他能够提供关键的图像信息的特征点。

根据第二方面或第二方面的第一至第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述方法还包括：对所述合成图像进行图像处理，其中，所述图像处理包括去马赛克、自动曝光、自动白平衡、色彩校正、锐化增强或降噪。其中，去马赛克是拜耳图到RGB图的处理，是将图像传感器获得的亮度不均的像素点，插值成平滑的像素点的过程。自动曝光是指，根据图像处理反馈的亮度统计信息，自动调整图像传感器的曝光时间和增益，达到调节图片亮度的目的。自动白平衡是指，根据白区统计信息，自动调节图像处理模块的RGB增益，达到色彩平衡的目的。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正，例如，对RGB图乘以一个色彩校正矩阵达到色彩还原的目的，这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差，所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理，用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作，包括空域降噪、时域降噪或色噪抑制等。图像处理可以增加合成图像的质量。

本申请的第三方面，提供一种成像系统，包括：图像传感器，用于采集正常图像和补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；补光单元，用于在所述补光时刻进行补光；以及如第一方面或第一方面任一种可能的实现方式所述的成像装置。本申请第三方面所述的成像系统可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

根据第三方面，在第三方面的第一种可能的实现方式中，所述补光单元包括白光爆闪灯、白光灯、红外灯或闪光灯。其中，在卡口应用一般采用白光爆闪灯；在监控应用中一般采用白光灯或红外灯；在终端应用中一般采用闪光灯。

根据第三方面或第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述白光爆闪灯的色温在5000K-6500K之间。

根据第三方面或第三方面的第一至第二种可能的实现方式，在第三方面的第三种可能的实现方式中，所述图像传感器包括电行耦合元件(CCD，Charge-coupled Device)传感器或互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)传感器，用于实时采集图像。其中，所述互补金属氧化物半导体传感器应用于卡口相机时一般使用全局快门，应用于监控相机和终端相机时一般使用卷帘快门，用于实时采集图像。

根据第三方面或第三方面的第一至第三种可能的实现方式，在第三方面的第四种可能的实现方式中，所述成像系统还包括：光学单元，所述光学单元包括镜头、滤光片和偏振片，其中，所述偏振片用于截止的偏振光线，所述偏振片预置好偏振角度，该角度能够使偏振片有最佳的滤除反光效果。偏振片的使用能够使第一方面所述的光流预测成像装置有更好的成像效果。

本申请的第四方面，提供一种终端设备，所述终端设备包括第一方面或第一方面任一种可能的实现方式所述的成像装置，或者，所述终端设备用于执行第二方面或第二方面任一种可能的实现方式所述的方法。

本申请的第五方面，提供一种图像处理方法，包括：

对于同一目标，获取正常图像与补光图像，其中，所述补光图像为补光条件下拍摄得到的，所述正常图像为非补光条件下拍摄得到的；在所述正常图像中确定第一目标车辆；在所述补光图像中确定第二目标车辆；在所述第一目标车辆的区域中切割出第一目标平面区域；在所述第二目标车辆的区域中切割出所述第一目标平面区域对应的第二目标平面区域；根据所述正常图像或所述补光图像、所述第一目标平面区域和所述第二目标平面区域得到目标图像；其中，所述目标图像的清晰度、亮度或色彩高于所述正常图像和所述补光图像。

根据第五方面，在第五方面的第一种可能的实现方式中，所述根据所述第一目标平面区域和所述第二目标平面区域得到所述目标图像包括：将所述第一目标平面区域配准到所述第二目标平面区域，生成第一预测图像；根据所述第二目标平面区域中的每一个像素的像素值与所述第一预测图像的每一个对应像素的像素值的差值，得到所述目标图像。

根据第五方面或第五方面的第一种可能的实现方式，在第五方面的第二种可能的实现方式中，所述根据所述第一目标平面区域和所述第二目标平面区域得到所述目标图像包括：将所述第二目标平面区域配准到所述第一目标平面区域，生成第二预测图像；根据所述第二预测图像中的每一个像素的像素值与所述第一目标平面区域的每一个对应像素的像素值的差值，得到所述目标图像。

根据第五方面或第五方面的第一至第二种可能的实现方式，在第五方面的第三种可能的实现方式中，所述根据所述第一目标平面区域和所述第二目标平面区域得到目标图像具体包括：生成第一目标区域到第二目标区域的3D仿射矩阵，根据所述3D仿射矩阵将第一目标平面区域的图像映射到第二目标平面区域，得到目标图像。

根据第五方面或第五方面的第一至第三种可能的实现方式，在第五方面的第四种可能的实现方式中，所述方法还包括：根据所述目标图像对所述正常图像的第一目标平面区域进行替换，并进行融合处理得到第一图像；或者，根据所述目标图像对所述补光图像的第二目标平面区域进行替换，并进行融合处理得到第二图像。

根据第五方面或第五方面的第一至第四种可能的实现方式，在第五方面的第五种可能的实现方式中，所述方法还包括：显示所述目标图像。

根据第五方面或第五方面的第一至第五种可能的实现方式，在第五方面的第六种可能的实现方式中，所述补光条件包括：利用白光爆闪灯、红外爆闪灯、激光LED灯、白光灯、红外灯或闪光灯进行补光。

根据第五方面或第五方面的第一至第六种可能的实现方式，在第五方面的第七种可能的实现方式中，所述第一目标平面区域或所述第二目标平面区域包括前车窗、后车窗或侧方车窗。

根据第五方面或第五方面的第一至第七种可能的实现方式，在第五方面的第八种可能的实现方式中，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

本申请的第六方面，提供一种终端设备，所述终端设备用于执行第五方面或第五方面任一种可能的实现方式所述的方法。

本申请的这些和其他方面在以下多个实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种光流预测成像方法流程图；

图2为本申请实施例二提供的另一种光流预测成像方法流程图；

图3为本申请实施例二提供的一种光流预测处理示意图；

图4为本申请实施例二提供的一种配准处理流程图；

图5为本申请实施例二提供的一种特征点选取示意图；

图6为本申请实施例二提供的一种插图像处理流程图；

图7为本申请实施例四提供的又一种光流预测成像方法流程图；

图8为本申请实施例四提供的另一种配准处理流程图；

图9为本申请实施例五提供的一种光流预测成像装置示意图；

图10为本申请实施例七提供的一种光流预测成像系统示意图；

图11为本申请实施例八提供的另一种光流预测成像系统示意图；

图12为本申请实施例八提供的一种光流预测成像效果图；

图13为本申请实施例十提供的一种图像处理方法流程图。

具体实施方式

本申请主要应用于监控相机和卡口相机，还可以应用于终端相机。

本申请实施例用到的关键术语的定义如下：

光流预测(Optical Flow Prediction)：一种利用同一物理器件的两个时段传输或获取不同信号，预测中间时段信号的运动情况的方法。

全局快门(Global Shutter)：图像传感器快门控制方式的一种方式，快门开启后，传感器上所有像素同时开始曝光，快门关闭后，所有像素同时结束曝光。

卷帘快门(Rolling Shutter)：图像传感器快门控制方式的一种方式，快门开启后，传感器上的像素逐行曝光，不同行的像素曝光起始点不同，但曝光时间相同。同一行上的像素曝光起始点相同。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

本申请实施例一，提供一种成像方法，如图1所示为该光流预测成像方法流程图，包括：

S11：获取正常图像与补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；

S12：对所述补光图像和所述正常图像进行光流预测处理，生成预测正常图像；

S13：对所述预测正常图像和所述补光图像进行合成处理，得到合成图像。

本申请实施例一的成像方法可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

本申请实施例二，提供一种光流预测成像方法，如图2所示为该光流预测成像方法流程图，应用于卡口相机，具体实施步骤如下：

S21：图像获取：

卡口相机和补光单元按特殊角度部署在立杆上，卡口相机包括由镜头、滤光片和偏振片组成的光学单元和补光单元。其中，镜头用于使得道路上的车辆反射的光线在图像传感器上成像，补光单元采用色温在5000K-6500K之间的白光爆闪灯，例如，色温为5000K的白光爆闪灯、色温为6000K的白光爆闪灯或色温为6500K的白光爆闪灯，用于在拍摄过往车辆的时候进行补光，其偏振片按预置的角度在镜头上设置好，可以截止特定角度的偏振光线。当汽车通过，到达与卡口相机符合特定角度的位置，卡口相机被触发拍照操作时，相机自动对焦并固定曝光状态。图像传感器采集正常图像和补光图像后，图像获取单元进行正常图像和补光图像的获取，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像。在一种可能的实现方式中，图像获取单元首先在补光时刻之前的第一时刻获取第一图像，标记为第I图像，然后再在补光时刻获取补光图像，同时，补光控制单元控制补光单元的白光爆闪灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，补光时刻可以是提前预设好的；或者，图像获取单元首先在补光时刻获取补光图像，同时，补光控制单元控制补光单元的白光爆闪灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，随后再在补光时刻之后的第二时刻获取一图像，标记为第I+2图像。其中，未进行补光单元补光的第I图像和第I+2图像标记为正常图像，补光单元补光状态下获取的第I+1图像标记为补光图像。在另一种可能的实现方式中，图像获取单元首先在补光时刻之前的第一时刻获取第一图像，标记为第I图像，然后再在补光时刻获取补光图像，同时，补光控制单元控制补光单元的白光爆闪灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，随后再在补光时刻之后的第二时刻获取一图像，标记为第I+2图像。其中，未进行补光单元补光的第I图像和第I+2图像标记为正常图像，补光单元进行补光时获取的第I+1图像标记为补光图像。

图像传感器可以为传感器互补金属氧化物半导体(CMOS，Complementary MetalOxide Semiconductor)传感器，互补金属氧化物半导体传感器应用于卡口相机时一般使用全局快门。可选地，图像传感器还可以使用电行耦合元件(CCD，Charge-coupled Device)传感器。图像传感器固定曝光状态后，开始连续采集图像，图像传感器采集图像后，图像获取单元获取图像并为每一图像标记图像号。其中，没有车辆通过的正常情况下，补光单元关闭，该时刻为非补光时刻，非补光时刻的图像被标记为正常图像，当相机通过图像识别传感器检测到车辆通过时，触发补光单元进行补光，补光单元进行补光时刻的图像被标记为补光图像。

S22：光流预测处理：

图3为光流预测处理示意图。在一种可能的实现方式中，图像获取时获取的正常图像为I-2图像、I图像、I+2图像和I+3图像，获取的补光图像I-1图像和I+1图像。假设补光图像为第I+1图像，补光图像所处的补光时刻前的第一时刻的图像为第I正常图像，补光图像所处的补光时刻后的第二时刻的图像为第I+2正常图像。在一种可能的实现方式中，图像预测是使用光流预测方法，光流预测方法为配准处理，以选取I正常图像和I+2正常图像，选取I+1补光图像为例，图像获取单元获取第I图像和第I+1图像，或者，图像获取单元获取第I+1图像和第I+2图像，图像预测单元对第I图像和第I+1图像，或者，对第I+1图像和第I+2图像进行光流预测处理得到预测正常图像，预测正常图像用于在后续的图像合成时减去反光信息得到合成图像。如图4所示为配准处理流程图，配准处理的步骤如下：

(1)、S401：特征点标记。寻找出第I正常图像的N个第一特征点和补光图像的N个第二特征点，或者，寻找出第I+2正常图像的N个第一特征点和补光图像的N个第二特征点，并分别进行标记，N为大于等于1的整数。特征点表示像素点的领域相关性，两个像素点的领域相关性越接近，就认为是越匹配的特征点。在正常图像和补光图像中包括车辆时，特征点可以选择车窗的角点、车辆的角点或其他关键信息特征点，其中，所述其他关键信息特征点指的是除了车窗的角点和车辆的角点外，其他能够提供关键的图像信息的特征点。在一种可能的实现方式中，如图5所示为特征点选取示意图，分别在正常图像中和补光图像中选择车窗的四个角点作为特征点并进行标记。

(2)、S402：特征点对齐。将第I正常图像，或者，第I+2正常图像的N个第一特征点与补光图像的N个第二特征点进行特征点对齐，特征点对齐指的是参考补光图像的特征点与正常图像的特征点，逐一匹配补光图像和正常图像中互相对应的相似特征点，并各自对齐。

(3)、S403：得到变换参数。根据对齐后的第一特征点和第二特征点坐标信息计算正常图像的变化参数，即空间坐标变换矢量参数；该空间坐标变换矢量参数由若干组图像变换矩阵和若干组位移向量组成，图像变换矩阵用于处理缩放变换、旋转变换，位移向量用于处理位移变换，位移变换包括位移方向和位移距离；使用不同缩放大小、不同旋转角度、不同位移方向、不同位移距离的空间坐标变换矢量处理第一特征点的坐标信息，与第二特征点的坐标信息作差值计算，当差值最小时的空间坐标变换矢量即为需要的变换参数。

其中，缩放变换利用了第一特征点与第二特征点连线的长度，限制了缩放大小范围。旋转变换利用了第一特征点与第二特征点连线的倾斜角度，限制角度范围。位移变换利用了第一特征点与第二特征点连线的长度，限定位移范围。上述三种变换均可以提升算法的实时性。遍历上述3种变换参数，选择连线差值最小的参数，作为最终变换参数。

(4)、S404：图像配准处理。配准处理的方法包括仿射变换或3D空间域变换；通过计算得到的变换参数，对第I正常图像或第I+2正常图像的每个像素点进行空间坐标矢量变换处理，得到配准处理后的预测正常图像，预测正常图像的车窗玻璃可以与补光图像的车窗玻璃完全重叠。

由于非补光时刻的外界环境在车窗玻璃上形成的反射光强度远大于车内物体信息的反射光强度，因此图像传感器对车内物体的感光可以忽略。预测正常图像是由非补光时刻的正常图像经配准处理后得到的。在实际应用中，补光图像与正常图像在时间上相互临近，车窗玻璃的反光信息与车内人物信息的相对运动可以忽略不计，预测正常图像可以近似认为是补光时刻未经补光的正常图像。因此经过配准处理后的预测正常图像可以近似认为包括补光时刻车窗玻璃对外界环境的反光信息。而补光图像，则包括反光信息与车内有效信息(例如，人脸信息)。

该方法的优点是，可以只通过两个图像(第一时刻的第I正常图像与补光时刻的第I+1补光图像，或者，补光时刻的第I+1补光图像与第二时刻的第I+2正常图像)处理得到配准数据，可以加快处理速率、节省内存开销。

在另一种可能的实现方式中，光流预测处理方法为插图像处理，则图像获取单元获取第I图像、第I+1图像和第I+2图像，图像预测单元对第I图像、第I+1图像和第I+2图像进行光流预测处理。如图6所示为插图像处理流程图，插图像处理的步骤如下：

(1)、S601：插图像。在第I+1补光图像的补光时刻，对第I正常图像和第I+2正常图像进行插图像处理，得到补光时刻的插入图像；插图像方法具体为，将第I正常图像和第I+2正常图像的图像分别划分出i*j个区块，标记每个区块内的特征点；第I正常图像和第I+2正常图像所相对应的区块内的相似特征点相互匹配，计算从第I正常图像区块的特征点到第I+2正常图像区块的特征点的运动矢量，将所有匹配特征点的运动矢量作平均处理并记为Mij，Mij是第I+2图像(在后图像)相对第I图像(在前图像)的运动方向；计算出Mij的中值mij，mij由Mij插值得到(例如，线性插值)，运动矢量mij的矢量方向作为插入图像相对第I图像(在前图像)的运动方向，将mij应用到第I图像(在前图像)对应区块内每个像素点，作位移计算，得到插入图像。插图像处理方法可以达到提升图像率、预测中间图像等目的。

(2)、S602：特征点标记。寻找出插入图像的N个第一特征点和补光图像的N个第二特征点并分别进行标记，N为大于等于1的整数。特征点表示像素点的领域相关性，两个像素点的领域相关性越接近，就认为是越匹配的特征点。在正常图像和补光图像中包括车辆时，特征点可以选择车窗的角点、车辆的角点或其他关键信息特征点，其中，所述其他关键信息特征点指的是除了车窗的角点和车辆的角点外，其他能够提供关键的图像信息的特征点。在一种可能的实现方式中，如图5所示为特征点选取示意图，分别在正常图像中和补光图像中选择车窗的四个角点作为特征点并进行标记。

(3)、S603：特征点对齐。将插入图像的N个第一特征点和补光图像的N个第二特征点进行特征点对齐，特征点对齐指的是参考补光图像的特征点与插入图像的特征点，逐一匹配补光图像和插入图像中互相对应的相似特征点，并各自对齐。

(4)、S604：得到变换参数。根据对齐后的第一特征点的第二特征点，得到插入图像的变化参数，即空间坐标变换矢量参数，其中，空间坐标变换矢量参数指的是以插入图像的特征点为起点，在同一变换空间内，到补光图像的各个对齐特征点所需位移的方向与距离。

(5)、S605：图像配准处理。通过空间坐标变换矢量参数，对插入图像进行配准处理，配准处理的方法包括仿射变换或3D空间域变换，配准处理后得到预测正常图像，预测正常图像的车窗玻璃可以与补光图像的车窗玻璃完全重叠。

由于非补光时刻的外界环境在车窗玻璃上形成的反射光强度远大于车内物体信息的反射光强度，因此图像传感器对车内物体的感光可以忽略。预测正常图像是由非补光时刻的正常图像经配准处理后得到的。在实际应用中，补光图像与正常图像在时间上相互临近，车窗玻璃的反光信息与车内人物信息的相对运动可以忽略不计，预测正常图像可以近似认为是补光时刻未经补光的正常图像。因此经过配准处理后的预测正常图像可以近似认为包括补光时刻车窗玻璃对外界环境的反光信息。而补光图像，则包括反光信息与车内有效信息(例如，人脸信息)。

该方法的优点是，通过插图像处理得到插入图像可以减弱图像间时间差导致的配准不齐，更加准确地得到配准数据。

S23：图像合成：

图像合成过程如图3所示，图像合成单元将S22中的预测正常图像的反光信息和补光图像本身的包括反光信息和车内有效信息(例如，人脸信息)的混合信息进行图像合成，在包括反光信息和车内有效信息(例如，人脸信息)的混合信息的基础上，减去反光信息，生成合成图像，合成图像包括补光图像所包括的车内有效信息(例如，人脸信息)，达到去除了反光信息的效果。

可选的，还可以包括S24：图像处理：

图像处理单元对连续图像进行图像处理，处理后的图像进入编码生成视频流。在一种可能的实现方式中，图像处理单元对合成图像进行图像处理，包括：去马赛克、自动曝光、自动白平衡、色彩校正、锐化增强或降噪等，处理后的图像作为抓拍图传输给与卡口相机连接的视频监控系统，视频监控系统的存储单元和处理单元进行后续的保存和识别。其中，去马赛克是拜耳图到RGB图的处理，是将图像传感器获得的亮度不均的像素点，插值成平滑的像素点的过程。自动曝光是指，根据图像处理反馈的亮度统计信息，自动调整图像传感器的曝光时间和增益，达到调节图片亮度的目的。自动白平衡是指，根据白区统计信息，自动调节图像处理模块的RGB增益，达到色彩平衡的目的。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正，例如，对RGB图乘以一个色彩校正矩阵达到色彩还原的目的，这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差，所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理，用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作，包括空域降噪、时域降噪或色噪抑制等。

本发明实施例二应用在卡口相机场景，相对于现有方案节省了偏振片的使用，提升了在卡口相机场景下对车内人物信息的成像效果。

本申请实施例三，提供一种光流预测成像方法，如图2所示光流预测成像方法流程图，应用于监控相机，具体实施步骤如下：

S21：图像获取：

监控相机和补光单元按特殊角度部署在立杆上，监控相机包括由镜头、滤光片和偏振片组成的光学单元和补光单元。其中，镜头用于使得道路上的车辆反射的光线在图像传感器上成像，补光单元采用色温在5000K-6500K之间的白光爆闪灯，例如，色温为5000K的白光爆闪灯、色温为6000K的白光爆闪灯或色温为6500K的白光爆闪灯，用于在拍摄过往车辆的时候进行补光，其偏振片按预置的角度在镜头上设置好，可以截止特定角度的偏振光线。当汽车通过，到达与监控相机符合特定角度的位置，监控相机被触发拍照操作时，相机自动对焦并固定曝光状态。图像传感器采集正常图像和补光图像后，图像获取单元进行正常图像和补光图像的获取，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像。在一种可能的实现方式中，图像获取单元首先在补光时刻之前的第一时刻获取第一图像，标记为第I图像，然后再在补光时刻获取补光图像，同时，补光控制单元控制补光单元的白光爆闪灯在补光时刻触发，进行补光，该图像被标记为第I+1图像；或者，图像获取单元首先在补光时刻获取补光图像，同时，补光控制单元控制补光单元的白光爆闪灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，随后再在补光时刻之后的第二时刻获取一图像，标记为第I+2图像。其中，未进行补光单元补光的第I图像和第I+2图像标记为正常图像，补光单元补光状态下获取的第I+1图像标记为补光图像。在另一种可能的实现方式中，图像获取单元首先在补光时刻之前的第一时刻获取第一图像，标记为第I图像，然后再在补光时刻获取补光图像，同时，补光控制单元控制补光单元的白光爆闪灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，随后再在补光时刻之后的第二时刻获取一图像，标记为第I+2图像。其中，未进行补光单元补光的第I图像和第I+2图像标记为正常图像，补光单元进行补光时获取的第I+1图像标记为补光图像。

图像传感器可以为传感器互补金属氧化物半导体(CMOS，Complementary MetalOxide Semiconductor)传感器，互补金属氧化物半导体传感器应用于卡口相机时一般使用全局快门。可选地，图像传感器还可以使用电行耦合元件(CCD，Charge-coupled Device)传感器。图像传感器固定曝光状态后，开始连续采集图像，图像传感器采集图像后，图像获取单元获取图像并为每一图像标记图像号。其中，没有车辆通过的正常情况下，补光单元关闭，该时刻为非补光时刻，非补光时刻的图像被标记为正常图像，当相机通过图像识别传感器检测到车辆通过时，触发补光单元进行补光，补光单元进行补光时刻的图像被标记为补光图像。

S22：光流预测处理：

如图3所示为光流预测处理示意图，假设补光图像为第I+1图像，补光图像所处的补光时刻前的第一时刻的图像为第I正常图像，补光图像所处的补光时刻后的第二时刻的图像为第I+2正常图像。在一种可能的实现方式中，光流预测处理方法为配准处理，则图像获取单元获取第I图像和第I+1图像，或者，图像获取单元获取第I+1图像和第I+2图像，图像预测单元对第I图像和第I+1图像，或者，对第I+1图像和第I+2图像进行光流预测处理。如图4所示为配准处理流程图，配准处理的步骤如下：

(1)、S401：特征点标记。寻找出第I正常图像的N个第一特征点和补光图像的N个第二特征点，或者，寻找出第I+2正常图像的N个第一特征点和补光图像的N个第二特征点，并分别进行标记，N为大于等于1的整数。特征点表示像素点的领域相关性，两个像素点的领域相关性越接近，就认为是越匹配的特征点。在正常图像和补光图像中包括车辆时，特征点可以选择车窗的角点、车辆的角点或其他关键信息特征点，其中，所述其他关键信息特征点指的是除了车窗的角点和车辆的角点外，其他能够提供关键的图像信息的特征点。在一种可能的实现方式中，如图5所示为特征点选取示意图，分别在正常图像中和补光图像中选择车窗的四个角点作为特征点并进行标记。

(2)、S402：特征点对齐。将第I正常图像，或者，第I+2正常图像的N个第一特征点与补光图像的N个第二特征点进行特征点对齐，特征点对齐指的是参考补光图像的特征点与正常图像的特征点，逐一匹配补光图像和正常图像中互相对应的相似特征点，并各自对齐。

(3)、S403：得到变换参数。根据对齐后的第一特征点的第二特征点，得到正常图像的变化参数，即空间坐标变换矢量参数，其中，空间坐标变换矢量参数指的是以正常图像的特征点为起点，在同一变换空间内，到补光图像的各个对齐特征点所需位移的方向与距离。

(4)、S404：图像配准处理。通过空间坐标变换矢量参数，对第I正常图像或第I+2正常图像进行配准处理，配准处理的方法包括仿射变换或3D空间域变换，配准处理后得到预测正常图像，预测正常图像的车窗玻璃可以与补光图像的车窗玻璃完全重叠。

由于非补光时刻的外界环境在车窗玻璃上形成的反射光强度远大于车内物体信息的反射光强度，因此图像传感器对车内物体的感光可以忽略。预测正常图像是由非补光时刻的正常图像经配准处理后得到的。在实际应用中，补光图像与正常图像在时间上相互临近，车窗玻璃的反光信息与车内人物信息的相对运动可以忽略不计，预测正常图像可以近似认为是补光时刻未经补光的正常图像。因此经过配准处理后的预测正常图像可以近似认为包括补光时刻车窗玻璃对外界环境的反光信息。而补光图像，则包括反光信息与车内有效信息(例如，人脸信息)。

该方法的优点是，可以只通过两个图像(第一时刻的第I正常图像与补光时刻的第I+1补光图像，或者，补光时刻的第I+1补光图像与第二时刻的第I+2正常图像)处理得到配准数据，可以加快处理速率、节省内存开销。

在另一种可能的实现方式中，光流预测处理方法为插图像处理，则图像获取单元获取第I图像、第I+1图像和第I+2图像，图像预测单元对第I图像、第I+1图像和第I+2图像进行光流预测处理。如图6所示为插图像处理流程图，插图像处理的步骤如下：

(1)、S601：插图像。在第I+1补光图像的补光时刻，对第I正常图像和第I+2正常图像进行插图像处理，得到补光时刻的插入图像；插图像方法具体为，将第I正常图像和第I+2正常图像的图像分别划分出i*j个区块，标记每个区块内的特征点；第I正常图像和第I+2正常图像所相对应的区块内的相似特征点相互匹配，计算从第I正常图像区块的特征点到第I+2正常图像区块的特征点的运动矢量，将所有匹配特征点的运动矢量作平均处理并记为Mij，Mij是第I+2图像(在后图像)相对第I图像(在前图像)的运动方向；计算出Mij的中值mij，mij由Mij插值得到(例如，线性插值)，运动矢量mij的矢量方向作为插入图像相对第I图像(在前图像)的运动方向，将mij应用到第I图像(在前图像)对应区块内每个像素点，作位移计算，得到插入图像。插图像处理方法可以达到提升图像率、预测中间图像等目的。

(2)、S602：特征点标记。寻找出插入图像的N个第一特征点和补光图像的N个第二特征点并分别进行标记，N为大于等于1的整数。特征点表示像素点的领域相关性，两个像素点的领域相关性越接近，就认为是越匹配的特征点。在正常图像和补光图像中包括车辆时，特征点可以选择车窗的角点、车辆的角点或其他关键信息特征点，其中，所述其他关键信息特征点指的是除了车窗的角点和车辆的角点外，其他能够提供关键的图像信息的特征点。在一种可能的实现方式中，如图5所示为特征点选取示意图，分别在正常图像中和补光图像中选择车窗的四个角点作为特征点并进行标记。

(3)、S603：特征点对齐。将插入图像的N个第一特征点和补光图像的N个第二特征点进行特征点对齐，特征点对齐指的是参考补光图像的特征点与插入图像的特征点，逐一匹配补光图像和插入图像中互相对应的相似特征点，并各自对齐。

(4)、S604：得到变换参数。根据对齐后的第一特征点的第二特征点，得到插入图像的变化参数，即空间坐标变换矢量参数，其中，空间坐标变换矢量参数指的是以插入图像的特征点为起点，在同一变换空间内，到补光图像的各个对齐特征点所需位移的方向与距离。

(5)、S605：图像配准处理。通过空间坐标变换矢量参数，对插入图像进行配准处理，配准处理的方法包括仿射变换或3D空间域变换，配准处理后得到预测正常图像，预测正常图像的车窗玻璃可以与补光图像的车窗玻璃完全重叠。

由于非补光时刻的外界环境在车窗玻璃上形成的反射光强度远大于车内物体信息的反射光强度，因此图像传感器对车内物体的感光可以忽略。预测正常图像是由非补光时刻的正常图像经配准处理后得到的。在实际应用中，补光图像与正常图像在时间上相互临近，车窗玻璃的反光信息与车内人物信息的相对运动可以忽略不计，预测正常图像可以近似认为是补光时刻未经补光的正常图像。因此经过配准处理后的预测正常图像可以近似认为包括补光时刻车窗玻璃对外界环境的反光信息。而补光图像，则包括反光信息与车内有效信息(例如，人脸信息)。

该方法的优点是，通过插图像处理得到插入图像可以减弱图像间时间差导致的配准不齐，更加准确地得到配准数据。

S23：图像合成：

图像合成过程如图3所示，图像合成单元将S22中的预测正常图像的反光信息和补光图像本身的包括反光信息和车内有效信息(例如，人脸信息)的混合信息进行图像合成，在包括反光信息和车内有效信息(例如，人脸信息)的混合信息的基础上，减去反光信息，生成合成图像，合成图像包括补光图像所包括的车内有效信息(例如，人脸信息)，达到去除了反光信息的效果。

可选的，还可以包括S24：图像处理：

图像处理单元对连续图像进行图像处理，处理后的图像进入编码生成视频流。在一种可能的实现方式中，图像处理单元对合成图像进行图像处理，包括：去马赛克、自动曝光、自动白平衡、色彩校正、锐化增强或降噪等，处理后的图像作为抓拍图传输给与卡口相机连接的视频监控系统，视频监控系统的存储单元和处理单元进行后续的保存和识别。其中，去马赛克是拜耳图到RGB图的处理，是将图像传感器获得的亮度不均的像素点，插值成平滑的像素点的过程。自动曝光是指，根据图像处理反馈的亮度统计信息，自动调整图像传感器的曝光时间和增益，达到调节图片亮度的目的。自动白平衡是指，根据白区统计信息，自动调节图像处理模块的RGB增益，达到色彩平衡的目的。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正，例如，对RGB图乘以一个色彩校正矩阵达到色彩还原的目的，这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差，所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理，用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作，包括空域降噪、时域降噪或色噪抑制等。

本发明实施例三应用在监控相机场景，相对于现有方案节省了偏振片的使用，提升了在监控场景下对车内人物信息的成像效果。

本申请实施例四，提供一种光流预测成像方法，如图7所示为另一种光流预测成像方法流程图，应用于终端相机，例如，带闪光灯的单反相机、带闪光灯的手机相机或带闪光灯便携式相机上，在一种可能的应用场景中，本申请实施例四用于终端相机隔着玻璃进行拍摄的场景中，具体实施步骤如下：

S71：终端相机的图像获取单元进行连续图像获取：

闪光灯配合相机内的图像传感器进行图像采集，当用户触发拍照操作时，相机自动对焦并固定曝光状态。图像传感器采集正常图像和补光图像后，图像获取单元进行正常图像和补光图像的获取，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像。在一种可能的实现方式中，图像获取单元首先在补光时刻之前的第一时刻获取第一图像，标记为第I图像，然后再在补光时刻获取补光图像，同时，补光控制单元控制补光单元的闪光灯在补光时刻触发，进行补光，该图像被标记为第I+1图像；或者，图像获取单元首先在补光时刻获取补光图像，同时，补光控制单元控制补光单元的闪光灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，随后再在补光时刻之后的第二时刻获取一图像，标记为第I+2图像。其中，未进行补光单元补光的第I图像和第I+2图像标记为正常图像，补光单元补光状态下获取的第I+1图像标记为补光图像。在另一种可能的实现方式中，图像获取单元首先在补光时刻之前的第一时刻获取第一图像，标记为第I图像，然后再在补光时刻获取补光图像，同时，补光控制单元控制补光单元的闪光灯在补光时刻触发，进行补光，该图像被标记为第I+1图像，随后再在补光时刻之后的第二时刻获取一图像，标记为第I+2图像。其中，未进行补光单元补光的第I图像和第I+2图像标记为正常图像，补光单元进行补光时获取的第I+1图像标记为补光图像。

图像传感器可以为传感器互补金属氧化物半导体(CMOS，Complementary MetalOxide Semiconductor)传感器，互补金属氧化物半导体传感器应用于卡口相机时一般使用全局快门。可选地，图像传感器还可以使用电行耦合元件(CCD，Charge-coupled Device)传感器。图像传感器固定曝光状态后，开始连续采集图像，图像传感器采集图像后，图像获取单元获取图像并为每一图像标记图像号。其中，闪光灯关闭的时刻为非补光时刻，非补光时刻的图像被标记为正常图像，闪光灯闪光的时刻为补光时刻，补光时刻的图像被标记为补光图像。

S72：光流预测处理：

如图3所示，假设闪光灯打开时刻的补光图像为第I+1图像，补光图像所处的补光时刻前的第一时刻的图像为第I正常图像，补光图像所处的补光时刻后的第二时刻的图像为第I+2正常图像。在一种可能的实现方式中，光流预测处理方法为配准处理，则图像获取单元获取第I图像和第I+1图像，或者，图像获取单元获取第I+1图像和第I+2图像，图像预测单元对第I图像和第I+1图像，或者，对第I+1图像和第I+2图像进行光流预测处理。如图8所示为另一种配准处理流程图，配准处理的步骤如下：

(1)、S801：确认反光区域。计算正常图像的每个像素点基于其领域范围内的像素的偏导数，作为补光图像的全局梯度值，计算出图像的高亮区域，区域高亮并且该区域的梯度较低时，认为是相机采集时得到的反光区域，该反光区域的信息是反光信息。这是由于反光面的反光信息光照强度一般较大，且覆盖住了反光面内的物体信息。由于单反、手机相机、便携式相机的对焦特性，一般进行目标物体对焦后，反光面的形成反光信号的物体，例如，光源或者高亮的区域，这些物体的像距较远。因此，比较容易得到的结果是，目标物体的成像清晰、反光物体的成像不清晰，而不清晰物体的梯度变化较小；因此，可以认为高亮且梯度较低的区域是相机采集时得到的反光区域，该反光区域的信息是混合信息，该混合信息包括反光信息和环境信息。

(2)、S802：特征点标记。

通过上一步骤得到正常图像的反光区域，计算正常图像反光区域的特征角点和补光图像全局图像的特征角点，对补光图像作相似特征角点匹配，得到匹配特征点的位置区域，该区域为补光图像的反光区域，然后再分别寻找出第I正常图像的N个第一特征点和第I+1补光图像的反光区域的N个第二特征点，或者，寻找出第I+2正常图像的N个第一特征点和补光图像的反光区域的N个第二特征点，并分别进行标记，N为大于等于1的整数。特征点表示像素点的领域相关性，两个像素点的领域相关性越接近，就认为是越匹配的特征点。

(3)、S803：特征点对齐。将第I正常图像，或者，第I+2正常图像的N个第一特征点与补光图像的N个第二特征点进行特征点对齐，特征点对齐指的是参考补光图像的特征点与正常图像的特征点，逐一匹配补光图像和正常图像中互相对应的相似特征点，并各自对齐。

(4)、S804：得到变换参数。根据对齐后的第一特征点的第二特征点，得到正常图像的变化参数，即空间坐标变换矢量参数，其中，空间坐标变换矢量参数指的是以正常图像的特征点为起点，在同一变换空间内，到补光图像的各个对齐特征点所需位移的方向与距离。

(5)、S805：图像配准处理。通过空间坐标变换矢量参数，对第I正常图像或第I+2正常图像进行配准处理，配准处理的方法包括仿射变换或3D空间域变换，配准处理后得到预测正常图像，预测正常图像的车窗玻璃可以与补光图像的车窗玻璃完全重叠。

由于非补光时刻的形成反光信号的物体(例如，光源或者高亮的区域)在终端相机镜头上形成的反射光强度远大于目标物体的反射光强度，当反光面的反射光强度覆盖住了反光面内的目标物体信息时，图像传感器对目标物体的感光可以忽略，即正常图像的反光区域可以近似认为只包含了反光信息。预测正常图像是由非补光时刻的正常图像经配准处理后得到的。在实际应用中，补光图像与正常图像在时间上相互临近，预测正常图像可以近似认为是补光时刻未经补光的正常图像。因此经过配准处理后的预测正常图像的反光区域可以近似认为是补光时刻的反光信息。而补光图像的图像，则作为反光信息与目标物体信息的混合信息数据。

该方法的优点是，可以只通过两图像(第I图像正常图像与第I+1图像补光图像或第I+1图像补光图像与第I+2图像正常图像)处理得到配准数据，可以加快处理速率、节省内存开销。

S73：图像合成：

图像合成过程如图3所示，图像合成单元将S72中的预测正常图像反光区域的反光信息和补光图像反光区域本身的包括反光信息和目标物体信息的混合信息进行图像处理，在包括反光信息和目标物体信息的混合信息的基础上，减去反光信息，生成合成图像，合成图像包括目标物体信息，达到去除了反光信息的效果。

可选的，还可以包括S74：图像处理：

图像处理单元对连续图像进行图像处理，处理后的图像进入编码生成视频流。在一种可能的实现方式中，图像处理单元对合成图像进行图像处理，包括：去马赛克、自动白平衡、自动曝光、色彩校正、锐化增强或降噪等，处理后的图像传输给终端的存储单元和处理单元进行后续的保存和识别。其中，去马赛克是拜耳图到RGB图的处理，是将图像传感器获得的亮度不均的像素点，插值成平滑的像素点的过程。自动曝光是指，根据图像处理反馈的亮度统计信息，自动调整图像传感器的曝光时间和增益，达到调节图片亮度的目的。自动白平衡是指，根据白区统计信息，自动调节图像处理模块的RGB增益，达到色彩平衡的目的。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正，例如，对RGB图乘以一个色彩校正矩阵达到色彩还原的目的，这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差，所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理，用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作，包括空域降噪、时域降噪或色噪抑制等。

本申请实施例四应用在带闪光灯的单反相机、带闪光灯手机、带闪光灯便携式相机上，相对于现有方案，可以节省相机外接偏振片的使用，使用图像处理方法对被摄物体反光区域的反光信号的去除，能够得到清晰的、去除反光信息的物体成像。

本申请实施例五，提供一种成像装置，如图9所示，该成像装置包括：图像获取单元901，用于获取正常图像和补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；

图像预测单元902，用于对所述补光图像和所述正常图像进行光流预测处理，生成预测正常图像；

图像合成单元903，用于对所述预测正常图像和所述补光图像进行合成处理，得到合成图像；

补光控制单元904，用于在所述图像获取单元获取所述补光图像时，控制补光单元在所述补光时刻进行补光。

本申请实施例五的成像装置可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

本申请实施例六，提供一种光流预测成像装置，如图9所示为该光流预测成像装置示意图，包括：图像获取单元901，用于获取正常图像和补光图像，其中，补光图像为补光时刻的图像，正常图像为非补光时刻的图像。

图像预测单元902，用于对补光图像和正常图像进行光流预测处理，生成预测正常图像，光流预测处理方法包括配准处理方法和插图像处理方法，配准处理方法和插图像处理方法与本申请实施例二至四中所述的配准处理方法和插图像处理方法一致，在此不再赘述。

图像合成单元903，用于对所述预测正常图像和所述补光图像进行合成处理，得到合成图像。补光图像包括由有效信息和反光信息，预测正常图像包括反光信息，所述图像合成单元具体用于：根据预测正常图像的反光信息对补光图像进行合成处理，以去除所述补光图像的反光信息，从而得到清晰的、没有反光信息的合成图像。

补光控制单元904，用于在所述图像获取单元获取所述补光图像时，控制补光单元在所述补光时刻进行补光。

本申请实施例六的成像装置可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

本申请实施例七，提供一种成像系统，如图10所示为该成像系统示意图，包括：图像传感器1001，用于采集正常图像和补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；获取单元1002，用于获取正常图像和补光图像，其中，所述补光图像为补光时刻的图像，所述正常图像为非补光时刻的图像；图像预测单元1003，用于对所述补光图像和所述正常图像进行光流预测处理，生成预测正常图像；图像合成单元1004，用于对所述预测正常图像和所述补光图像进行合成处理，得到合成图像；补光控制单元1005，用于在所述图像获取单元获取所述补光图像时，控制补光单元在所述补光时刻进行补光；补光单元1006，用于在所述补光时刻进行补光。本申请实施例七的成像系统可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

本申请实施例八，提供一种光流预测成像系统，如图11所示为该光流预测成像系统示意图，包括：由镜头、滤光片和偏振片组成的光学单元1101，用于使光线在图像传感器上成像。其中，偏振片用于截止的偏振光线，偏振片预置好偏振角度，该角度能够使偏振片有最佳的滤除反光效果。偏振片的使用能够使光流预测成像装置有更好的成像效果。

图像传感器1102，用于按序采集正常图像与补光图像，其中，补光图像指的是补光时刻的图像，正常图像指的是非补光时刻的图像。可选地，图像传感器包括CCD(Charge-coupled Device，电行耦合元件)传感器或CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)传感器，用于实时采集图像。其中，CMOS传感器应用于卡口相机时一般使用全局快门，应用于监控相机和终端相机时一般使用卷帘快门。

图像获取单元1103，用于获取正常图像和补光图像，其中，补光图像为补光时刻的图像，正常图像为非补光时刻的图像。

图像预测单元1104，用于对补光图像和正常图像进行光流预测处理，生成预测正常图像，光流预测处理方法包括配准处理方法和插图像处理方法，配准处理方法和插图像处理方法与本申请实施例一至三中所述的配准处理方法和插图像处理方法一致，在此不再赘述。

图像合成单元1105，用于对所述预测正常图像和所述补光图像进行合成处理，得到合成图像。补光图像包括由有效信息和反光信息组成的混合信息，预测正常图像包括反光信息，所述图像合成单元具体用于：根据预测正常图像的反光信息对补光图像进行合成处理，以去除所述补光图像的反光信息，从而得到清晰的、没有反光信息的合成图像。

补光控制单元1106，用于在所述图像获取单元获取所述补光图像时，控制补光单元1107在所述补光时刻进行补光。补光单元用于对被摄环境进行补光。补光单元包括白光爆闪灯、白光灯、红外灯或闪光灯。可选地，白光爆闪灯的色温在5000K-6500K之间。其中，在卡口应用一般采用白光爆闪灯；在监控应用中一般采用白光灯或红外灯；在终端应用中一般采用闪光灯。

图像处理单元1108，该图像处理单元为ISP(IMAGE SIGNAL PROCESS，图像信号处理)处理芯片，用于对图像信号进行图像处理。可选地，图像处理单元还可以由软件或硬件组成。可选地，图像处理包括马赛克、自动曝光、自动白平衡、色彩校正、锐化增强或降噪。其中，去马赛克是拜耳图到RGB图的处理，是将图像传感器获得的亮度不均的像素点，插值成平滑的像素点的过程。自动曝光是指，根据图像处理反馈的亮度统计信息，自动调整图像传感器的曝光时间和增益，达到调节图片亮度的目的。自动白平衡是指，根据白区统计信息，自动调节图像处理模块的RGB增益，达到色彩平衡的目的。色彩校正是指对经过白平衡处理之后的RGB图进行色彩还原度的校正，例如，对RGB图乘以一个色彩校正矩阵达到色彩还原的目的，这是由于图像传感器获取到的光谱与人眼感受到的光谱存在一定偏差，所以需要经过色彩还原校正才能呈现于人眼感受相近的正常图像。锐化增强是指对图像进行边缘、高频细节增强的处理，用于使图像更加清晰。降噪是指对图像的干扰噪声进行抑制的操作，包括空域降噪、时域降噪或色噪抑制等。

本申请实施例八可以在摄像过程中有效去除反光信息，清楚的得到被摄物体信息，例如，车内信息。如图12所示为本申请实施例八的光流预测成像效果图，包括车内有效信息和反光信息的补光图像1201去除掉反光信息1202后，得到包括清楚的车内有效信息的合成图像1203。

本申请实施例九，提供一种终端设备，该终端设备可以为智能手机、平板、数码照相机、数码摄像机、车载摄像头或者工业摄像头等具有图像采集功能的装置，也可以应用于摄影摄像领域、汽车电子领域或者工业机器视觉领域等。该终端设备包括实施例五至实施例六所述的光流预测成像装置或实施例七至实施例八所述的光流预测成像系统，或者，该终端设备用于执行实施例三至六所述的光流预测成像方法。

本申请实施例十，提供一种图像处理方法，如图13所示为该图像处理方法流程图，包括：

S1301：对于同一目标，获取正常图像与补光图像，其中，补光图像为补光条件下拍摄得到的，正常图像为非补光条件下拍摄得到的；补光条件可以为利用白光爆闪灯、红外爆闪灯、激光LED灯、白光灯、红外灯或闪光灯进行补光。获取正常图像与获取补光图像的时间间隔小于预设阈值(例如，1秒)。其中，获取正常图像和补光图像的顺序不作限制，即可以先获取补光图像，再在一定的时间间隔内获取正常图像；也可以先获取正常图像，再在一定的时间间隔内获取补光图像。

S1302：在正常图像中确定第一目标车辆；

在补光图像中确定第二目标车辆；

S1303：在第一目标车辆的区域中切割出第一目标平面区域；

在第二目标车辆的区域中切割出第一目标平面区域对应的第二目标平面区域；

S1304：根据正常图像或补光图像、第一目标平面区域和第二目标平面区域得到目标图像；其中，目标图像的清晰度、亮度或色彩高于正常图像和补光图像。

在一种可能的实现方式中，根据第一目标平面区域和第二目标平面区域得到目标图像包括：通过空间坐标变换矢量参数，将第一目标平面区域配准到第二目标平面区域，生成第一预测图像；根据第二目标平面区域中的每一个像素的像素值与第一预测图像的每一个对应像素的像素值的差值，得到目标图像。具体方法可以为，生成第一目标区域到第二目标区域的3D仿射矩阵，根据3D仿射矩阵将第一目标平面区域的图像映射到第二目标平面区域，得到目标图像。其中，第一目标平面区域或第二目标平面区域包括前车窗、后车窗或侧方车窗，车窗可以为玻璃车窗，也可以为其他具有反光性质的材料制成的车窗。在另一种可能的实现方式中，根据第一目标平面区域和第二目标平面区域得到目标图像包括：通过空间坐标变换矢量参数，将第二目标平面区域配准到第一目标平面区域，生成第二预测图像；根据第二预测图像中的每一个像素的像素值与第一目标平面区域的每一个对应像素的像素值的差值，得到目标图像。具体方法可以为，生成第一目标区域到第二目标区域的3D仿射矩阵，根据3D仿射矩阵将第一目标平面区域的图像映射到第二目标平面区域，得到目标图像。

可选地，还可以包括S1305：根据目标图像对第一目标平面区域进行替换，融合处理得到第一图像；或者，根据目标图像对第二目标平面区域进行替换，并进行融合处理得到第二图像。

可选地，还可以包括S1306：显示目标图像。

本申请实施例十的图像处理方法可以在摄像过程中有效去除反光信息，清楚的得到被摄物体的图像。

本申请实施例十一，提供一种终端设备，该终端设备可以为智能手机、平板、数码照相机、数码摄像机、车载摄像头或者工业摄像头等具有图像采集功能的装置，也可以应用于摄影摄像领域、汽车电子领域或者工业机器视觉领域等。该终端设备用于执行实施例十所述的图像处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：

对于同一目标，获取正常图像与补光图像，其中，所述补光图像为补光条件下拍摄得到的，所述正常图像为非补光条件下拍摄得到的；

在所述正常图像中确定第一目标车辆；

在所述补光图像中确定第二目标车辆；

在所述第一目标车辆的区域中切割出第一目标平面区域；

在所述第二目标车辆的区域中切割出所述第一目标平面区域对应的第二目标平面区域；

根据所述第一目标平面区域和所述第二目标平面区域得到目标图像；其中，所述目标图像的清晰度、亮度或色彩高于所述正常图像和所述补光图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标平面区域和所述第二目标平面区域得到所述目标图像包括：

将所述第一目标平面区域配准到所述第二目标平面区域，生成第一预测图像；

根据所述第二目标平面区域中的每一个像素的像素值与所述第一预测图像的每一个对应像素的像素值的差值，得到所述目标图像。

3.根据权利要求1所述方法，其特征在于，所述根据所述第一目标平面区域和所述第二目标平面区域得到所述目标图像包括：

将所述第二目标平面区域配准到所述第一目标平面区域，生成第二预测图像；

根据所述第二预测图像中的每一个像素的像素值与所述第一目标平面区域的每一个对应像素的像素值的差值，得到所述目标图像。

4.根据权利要求1-3任一项所述方法，其特征在于，所述根据所述第一目标平面区域和所述第二目标平面区域得到目标图像具体包括：

生成第一目标区域到第二目标区域的3D仿射矩阵，根据所述3D仿射矩阵将第一目标平面区域的图像映射到第二目标平面区域，得到目标图像。

5.根据权利要求1-3任一项所述方法，其特征在于，所述方法还包括：

根据所述目标图像对第一目标平面区域进行替换，融合处理得到第一图像；或者，

根据所述目标图像对第二目标平面区域进行替换，并进行融合处理得到第二图像。

6.根据权利要求1-3任意一项所述方法，其特征在于，所述方法还包括：

显示所述目标图像。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

显示所述目标图像。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

显示所述目标图像。

9.根据权利要求1-3任意一项所述方法，其特征在于，所述补光条件包括：

利用白光爆闪灯、红外爆闪灯、激光LED灯、白光灯、红外灯或闪光灯进行补光。

10.根据权利要求4所述的方法，其特征在于，所述补光条件包括：

利用白光爆闪灯、红外爆闪灯、激光LED灯、白光灯、红外灯或闪光灯进行补光。

11.根据权利要求5所述的方法，其特征在于，所述补光条件包括：

利用白光爆闪灯、红外爆闪灯、激光LED灯、白光灯、红外灯或闪光灯进行补光。

12.根据权利要求6所述的方法，其特征在于，所述补光条件包括：

利用白光爆闪灯、红外爆闪灯、激光LED灯、白光灯、红外灯或闪光灯进行补光。

13.根据权利要求1-3任意一项所述方法，其特征在于，所述第一目标平面区域或所述第二目标平面区域包括前车窗、后车窗或侧方车窗。

14.根据权利要求4所述的方法，其特征在于，所述第一目标平面区域或所述第二目标平面区域包括前车窗、后车窗或侧方车窗。

15.根据权利要求5所述的方法，其特征在于，所述第一目标平面区域或所述第二目标平面区域包括前车窗、后车窗或侧方车窗。

16.根据权利要求6所述的方法，其特征在于，所述第一目标平面区域或所述第二目标平面区域包括前车窗、后车窗或侧方车窗。

17.根据权利要求9所述的方法，其特征在于，所述第一目标平面区域或所述第二目标平面区域包括前车窗、后车窗或侧方车窗。

18.根据权利要求1-3任意一项所述方法，其特征在于，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

19.根据权利要求4所述的方法，其特征在于，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

20.根据权利要求5所述的方法，其特征在于，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

21.根据权利要求6所述的方法，其特征在于，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

22.根据权利要求9所述的方法，其特征在于，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

23.根据权利要求13所述的方法，其特征在于，所述获取正常图像与所述获取补光图像的时间间隔小于预设阈值。

24.一种终端设备，所述终端设备包括存储单元和处理单元，所述存储单元用于存储计算机指令，所述处理单元用于执行所述计算机指令以实现如权利要求1-23任一项所述的方法。

Images