CN110930340A - 一种图像处理方法及装置 - Google Patents

Abstract

一种图像处理方法及装置，在该方法可以调整低光照所拍摄的图像中瞳孔的亮度，图像处理装置获取视频的第一帧图像中行人的面部所在的第一区域以及第二帧图像中该行人的面部所在第二区域，依靠第一、第二帧中行人的面部所在的位置，对第三帧中行人的面部所在的位置进行预测。在预测到的面部所在范围之内查找人脸的瞳孔位置，对瞳孔进行降低亮度的处理，以便提高低光照场景下图像的显示效果。对第三帧而言，不需要对整个图像进行查找就可以获得瞳孔的位置，简化了确定面部所在的区域的过程，可以降低计算量，减少计算资源的消耗。

Description

一种图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

在低光照场景下，为了能够提高图像采集装置的成像质量，通常采用光学分光架构的图像采集装置来采集图像，其主要思想是，将可见光和近红外光分别投射到两个传感器上成像，然后采用融合技术，将通过两个传感器获取的图像进行融合，从而获得高质量的彩色图像。

由于人眼的瞳孔对近红外光的反射率较高，因此，在低光照场景中，通过上述图像采集装置获取的图像中，人眼的瞳孔是处于高亮状态的，影响成像效果。

针对这一问题，目前采用的一种改进方式是，定位出由图像采集装置获取的每一帧图像中瞳孔所在的位置，然后分别对每一帧图像中瞳孔的亮度进行校正。然而，从每一帧图像中确定瞳孔的位置的计算过程较为复杂，而视频中包括大量的帧(例如每一秒视频包含24帧)，从而导致：采用逐帧进行瞳孔定位、然后对瞳孔的亮度进行校正的方法，对运算资源占用量较大、而且耗费时间较长。

发明内容

本申请提供一种图像处理方法及装置，用以降低对瞳孔的亮度进行校正处理的计算量，减少计算资源的消耗。

第一方面，本申请实施例提供一种图像处理方法，在该方法应用于图像处理装置中，图像处理装置首先获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中该面部所在第二区域，该第一帧图像为该视频中在该第二帧图像之前的图像，然后，图像处理装置根据该第一区域以及该第二区域，确定该视频中在第二帧图像之后的第三帧图像中该面部所在的第三区域，进而从该第三区域中确定像素的亮度值高于预设亮度值的瞳孔区域，并降低该瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

由于视频的多帧图像在时间维度上具有连续性，因此，可以利用视频中两帧图像中面部所在的区域，推测出后续帧图像中面部所在的区域，简化了确定面部所在的区域的过程，可以降低计算量，减少计算资源的消耗。然后，从面部所在区域中定位出瞳孔区域，进而对瞳孔区域中像素的亮度值进行处理，由于定位瞳孔区域只需要针对确定出的面部所在的区域进行处理，从而可以减少处理的数据量，进一步减少了计算资源的消耗。

在一种可能的设计中，图像处理装置首先根据该第一区域和该第二区域，获取面部在单位时长内的偏移向量，然后，获取采集该第三帧图像的时间点与采集该第二帧图像的时间点之间的第一时间间隔，最后，根据该第一时间间隔及该偏移向量，确定该第三区域。

在上述技术方案中，通过前两帧图像中面部所在区域的差值可以获得面部的运动方向以及在单位时长内的移动量，即单位时长内的偏移向量，而视频中，采集到的每两帧图像的时间差值是固定的，从而可以通过单位时长内的偏移向量和该时间差值，确定出第三帧图像中面部所在的区域，计算方式简单，且计算量较小。

在一种可能的设计中，所述图像处理装置可以获取第一区域在第一帧图像的第一坐标信息，以及，第二区域在第二帧图像中的第二坐标信息，根据该第一坐标信息以及该第二坐标信息，确定该面部在采集该第一帧图像的时间点和采集该第二帧图像的时间点之间的第二时间间隔内的位移向量，进而根据该第二时间间隔及该位移向量，确定出面部在单位时长内的偏移向量。

在上述技术方案中，通过坐标信息确定位移向量，可以保证计算精度。

在一种可能的设计中，所述图像处理装置可以使用预设的滤波核对该第三区域对应的图像进行滤波处理，获得滤波后的图像，然后计算该滤波后的图像中每一个像素与该第三区域对应的图像中对应的像素的差值，获得差值图像，进而根据该差值图像中像素值为非0的区域，确定该瞳孔区域。

在上述技术方案中，可以预先针对瞳孔区域的特征，设计用于过滤出瞳孔区域的滤波核，然后根据滤波核，从面部所在的区域中确定瞳孔区域，可以减少计算资源的消耗。

在一种可能的设计中，该第二区域的面积大于阈值。

在上述技术方案中，由于近红外光的强度衰减较大，因此，当人或动物与摄像机的距离较远，采集到的近红外光图像中瞳孔区域不会呈现高亮状态，因此可以不做降低亮度的处理。基于此，为了进一步减少计算资源的消耗，在根据第一区域和第二区域确定第三区域之前，可以先通过检测第二区域的面积是否大于或等于阈值，若第二区域的面积大于或等于阈值，才根据该第一区域和第二区域计算该第三区域，否则可以不用确定第三区域，也就是说不用对第三针图像中的瞳孔区域进行降低亮度处理。

在一种可能的设计中，该视频是通过红外传感器获取的红外YUV视频，或，该视频是将通过该红外传感器获取的红外YUV视频和通过可见光传感器获取的彩色YUV视频进行融合后的YUV视频。

本申请实施例提供的图像处理方法可以只针对红外YUV视频中的图像进行处理，也可以针对融合后的YUV视频进行处理，可以增加方案的灵活性。

在一种可能的设计中，若视频图像是通过红外传感器获取的外YUV视频，则图像处理装置在获取该处理后的第三帧图像后，还可以通过可见光传感器获取彩色YUV视频中与所述第三帧图像对应的第四帧图像，然后将处理后的第三帧图像与第四帧图像进行融合，得到融合后的图像。

若本申请实施例提供的图像处理方法可以只针对红外YUV视频中的图像进行处理，则处理后的红外YUV视频还可以与彩色YUV视频进行融合。

在一种可能的设计中，图像处理装置可以与计算模块进行通信，则图像处理装置可以从计算模块接收用于指示该第一区域和该第二区域的信息。

在上述技术方案中，确定第一区域和第二区域的过程可以由计算模块执行，从而图像处理装置直接使用计算模块提供的结果，可以进一步减少图像处理装置的计算量。

第二方面，提供一种图像处理装置，该图像处理装置包括获取单元、确定单元和修正单元，这些单元可以执行上述第一方面任一种设计示例中的所执行的相应功能，具体的：

获取单元，用于获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，所述第一帧图像为所述视频中在所述第二帧图像之前的图像；

确定单元，用于根据所述第一区域以及所述第二区域，确定第三帧图像中所述面部所在的第三区域；其中，所述第三帧图像为所述视频中在第二帧图像之后的图像；以及，在所述第三区域中确定瞳孔区域，所述瞳孔区域中像素的亮度值高于预设亮度值；

修正单元，用于降低所述瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

在一种可能的设计中，所述确定单元在根据所述第一区域以及所述第二区域，确定所述第三帧图像中所述面部所在第三区域时，具体用于：

根据所述第一区域和所述第二区域，获取所述面部在单位时长内的偏移向量；

根据采集所述第三帧图像的时间点与采集所述第二帧图像的时间点之间的第一时间间隔，及所述偏移向量，确定所述第三区域。

在一种可能的设计中，所述确定单元在根据所述第一区域和所述第二区域，获取在单位时长内所述面部的偏移向量时，具体用于：

根据所述第一区域在所述第一帧图像的第一坐标信息以及所述第二区域在所述第二帧图像的第二坐标信息，确定所述面部在第二时间间隔内的位移向量，所述第二时间间隔为采集所述第一帧图像的时间点和采集所述第二帧图像的时间点之间的时间间隔；

根据所述第二时间间隔及所述位移向量，确定所述面部在单位时长内的偏移向量。

在一种可能的设计中，所述确定单元在所述第三区域中确定瞳孔区域时，具体用于：

使用预设的滤波核对所述第三区域对应的图像进行滤波处理，获得滤波后的图像；

计算所述滤波后的图像中每一个像素与所述第三区域对应的图像中对应的像素的差值，获得差值图像；

根据所述差值图像中像素值为非0的区域，确定所述瞳孔区域。

在一种可能的设计中，所述第二区域的面积大于阈值。

在一种可能的设计中，所述视频是通过红外传感器获取的红外YUV视频，或，所述视频是将通过所述红外传感器获取的红外YUV视频和通过可见光传感器获取的彩色YUV视频进行融合后的YUV视频。

在一种可能的设计中，所述视频图像是通过红外传感器获取的外YUV视频，所述获取单元还用于：

通过可见光传感器获取第四帧图像，所述第四帧图像为通过所述可见光传感器获取的彩色YUV视频中与所述第三帧图像对应的图像；

所述装置还包括融合单元，用于将所述处理后的第三帧图像与第四帧图像进行融合，得到融合后的图像。

在一种可能的设计中，所述获取单元在获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域时，具体用于：

接收计算模块发送的信息，所述信息用于指示所述第一区域和所述第二区域，所述计算模块与所述图像处理装置通信。

第三方面，提供一种图像处理装置，该图像处理装置包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合；所述至少一个处理器，用于执行所述至少一个存储器中存储的计算机程序或指令，以使得所述装置执行上述第一方面描述的方法。

在一种可能的设计中，该至少一个处理器在执行至少一个存储器中存储的计算机程序或指令时，执行如下步骤：

获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，所述第一帧图像为所述视频中在所述第二帧图像之前的图像；

根据所述第一区域以及所述第二区域，确定第三帧图像中所述面部所在的第三区域；其中，所述第三帧图像为所述视频中在第二帧图像之后的图像，；

在所述第三区域中确定瞳孔区域，所述瞳孔区域中像素的亮度值高于预设亮度值；

降低所述瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任意一项所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任意一项所述的方法。

第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现第一方面所述的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

上述第二方面至第六方面及其实现方式的有益效果可以参考对第一方面的方法及其实现方式的有益效果的描述。

附图说明

图1为在低光照场景下瞳孔处于高亮状态的一种示例的示意图；

图2A为本申请实施例中提供的图像处理装置的一种示例的结构框图；

图2B为本申请实施例中提供的图像处理装置的另一种示例的结构框图；

图3为本申请实施例提供的一种图像处理方法的一种示例的流程图；

图4为本申请实施例中根据第一区域及第二区域确定第三区域的一种示例的示意图；

图5为本申请实施例中确定单位时长内的偏移向量的一种示例的示意图；

图6为本申请实施例中根据第一区域及第二区域确定第三区域的另一种示例的示意图；

图7为本申请实施例中滤波核的一种示例的示意图；

图8为本申请实施例中使用滤波核对帧图像进行滤波处理后得到的滤波后的帧图像和差值图像的一种示例的示意图；

图9为本申请实施例提供的一种图像处理方法的另一种示例的流程图；

图10为本申请实施例提供的图像处理装置的一种示例的示意图；

图11为本申请实施例提供的图像处理装置的另一种示例的示意图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。

为便于技术人员理解，对本申请所涉及的技术术语进行说明。

1)图像融合(image fusion)：将多源信道所采集到的同一目标场景的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、提升原始图像的空间分辨率和光谱分辨率。

2)近红外光图像，是指由近红外光图像传感器捕获的，由目标场景内物体对近红外光线的反射而记录形成的图像。近红外光图像是灰度图像，即每个像素只有一个采样颜色，通常显示由最暗的黑色到最亮的白色之间的不同的灰色。例如，可以显示256级灰度。

3)可见光图像，是指可见光图像传感器捕获的，由目标场景内物体对可见光的反射而记录形成的图像。可见光图像是彩色图像，即每个像素是由红、绿、蓝三原色的亮度来决定的，或者，也可以是由色调、色度和饱和度来决定的。

4)本申请实施例中“多个”是指两个或两个以上，鉴于此，本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”，可理解为一个或多个，例如理解为一个、两个或更多个。例如，包括至少一个，是指包括一个、两个或更多个，而且不限制包括的是哪几个，例如，包括A、B和C中的至少一个，那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

除非有相反的说明，本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。

下面，对本申请所涉及的技术特征进行说明。

在低光照场景下，例如，室内场景、逆光场景或者夜间场景等，由于光照不足，通过可见光传感器获取的可见光图像的信噪比较低，且运动拖影严重，导致无法看清场景中的物体。为了提高在低光照场景下获取的图像质量，一种改进方式是：采用光学分光架构的图像采集装置来采集图像，然后将通过可见光传感器获取的可见光图像，和通过近红外光传感器获取的近红外光图像进行融合，由于近红外光图像可以提供亮度信息，而可见光图像可以提供颜色信息，二者融合后，则可以获得高质量的彩色图像。

然而，在低光照场景下，由于瞳孔(例如，人的瞳孔或者动物的瞳孔)所能感受到的光照强度较弱，因此，瞳孔是处于扩张状态，且，由瞳孔对近红外光波段的反射率明显高于眼睛的其他部分，因此，在近红外光图像中，瞳孔是处于高亮状态(可以理解为亮度高于阈值)，如图1所示。这样，将近红外光图像和可见光图像融合得到的彩色图像中，瞳孔仍然是保持高亮状态，影响成像效果。

针对上述问题，一种解决方式是：预先提取一个参照亮度值，当通过图像采集装置采集到任意一帧图像后，使用该参照亮度值对该帧图像进行搜索，确定出与该参照亮度值相近的区域为瞳孔区域，然后对该瞳孔区域中像素的亮度值进行校正，校正后的图像中，瞳孔的亮度降低。可见，在上述过程中，需要对每一帧图像进行独立的搜索，从而定位出每一帧图像中瞳孔所在的位置，然后分别对每一帧图像中瞳孔的亮度进行校正。然而，从每一帧图像中确定瞳孔的位置的计算过程较为复杂，从而导致采用该方法对瞳孔的亮度进行校正的方法对运算资源占用量较大、而且耗费时间较长。

鉴于此，本申请实施例提供一种图像处理方法，用以降低对瞳孔的亮度进行校正处理的计算量，减少计算资源的消耗。

下面结合附图对本申请实施例提供的图像处理方法进行说明。

本申请提供的图像处理方法可以应用于包括图像处理装置中，该图像处理装置包括但不限于相机、摄像机、智能移动终端(例如移动电话、平板电脑)、视频监控系统中的摄像设备(例如网络摄像机)、服务器集群、或者视频监控系统中云端服务器等，在此不对图像处理装置的具体形式进行限制。

请参考图2A，为本申请实施例中提供的图像处理装置的一种示例的结构框图。在图2A中，包括至少一个镜头以及处理器220，在本申请实施例中，以两个镜头为例，该两个镜头分别为第一镜头210a和第二镜头210b。

第一镜头210a包括光学镜头1以及图像传感器1，第二镜头210b包括光学镜头2以及图像传感器2，第一镜头210a、第二镜头210b分别包括的光学镜头的光轴平行。图像传感器1可以是近红外光传感器，图像传感器2可以是可见光图像传感器，即第一镜头用于采集近红外光图像，第二镜头用于采集可见光图像。需要说明的是，当图像处理装置只包括一个镜头，该镜头可以是用于采集近红外光图像的镜头。

与图2A不同的，在图2B所示的图像处理装置中，仅包括一个镜头210c。该镜头210c中包括一个光学镜头、分光器，两个图像传感器，图2B中以两个图像传感器为例。两个图像传感器分别是近红外光传感器和可见光图像传感器。需要说的是，镜头和传感器的数量可以根据实际需要设置，只要可以采集到红外图像和彩色图像即可，例如：在另外的实施例中，可以设置镜头和图像传感器的数量均为一个，由同一个图像传感器采集红外图像和可见光图像。

后续在描述时，以图像处理装置中包括两个镜头为例进行说明。

图像传感器可以是电荷耦合元件(charge-coupled device，CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)以及接触式图像传感器(contact image sensor，CIS)等。

处理器220可以包括以下一项或者多项：通用处理器、图像信号处理器(imagesignal processor，ISP)、微处理器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field－programmable gate array，FPGA)等。处理器220还可以是多个物理处理器的组合。

示例性地，图像处理装置中还可以包括视频编码器。图像处理装置中还可以包括存储器230。存储器230可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由该装置存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接(如图2A和图2B所示)。存储器230也可以和处理器集成在一起。

其中，所述存储器230可以用于存储执行本申请方案的应用程序代码，并由处理器220来控制执行，也就是说，所述处理器220用于执行所述存储器230中存储的应用程序代码实现本申请实施例中的图像处理方法。在一些实施例中，处理器220内部也可以拥有存储代码的能力，不借助存储器230就可以执行存储代码。

本申请可以应用于低光照的视频监控场景或者图像拍摄场景等，例如，室内视频监控场景、逆光图像拍摄场景或者夜间视频监控场景等，在此不一一举例。下面结合图2B所示的图像处理装置，介绍本申请实施例提供的图像处理方法。请参考图3，为本申请提供的一种图像处理方法的流程图，该流程图的描述如下：

S301、获取视频在第一个采集时刻的帧图像。

当图像处理装置处于工作状态后，图像处理装置中的图像传感器1和图像传感器2可以周期性获取当前拍摄场景下的近红外光图像和可见光图像，然后将获取的近红外光图像和可见光图像发送给图像处理装置的处理器。处理器将获取的近红外光图像和可见光图像进行融合，得到当前拍摄场景下的视频的帧图像。

在图2B所示的图像处理装置中包括两个图像传感器，因此，通过两个图像传感器获取的同一时刻的帧图像可能存在一定的成像误差，因此，处理器在获取两个图像传感器分别在第一个采集时刻获取的帧图像后，可以根据预设的校正参数，对其中一个帧图像进行校正，例如，对近红外图像进行校正，然后，将校正后的近红外光图像与可见光图像进行融合，从而得到在该第一个采集时刻的帧图像。

S302、对第一个采集时刻的帧图像中瞳孔的亮度进行处理，获得处理后的第一个采集时刻的帧图像。

处理器在获取视频的第一个采集时刻的帧图像后，可以根据人脸识别算法，计算并保存在第一个采集时刻的帧图像中面部所在的区域，然后对瞳孔进行降低亮度的处理，具体算法可以与现有技术相同，在此不再赘述。

另外，为了减少处理器的计算量，处理器在获取帧图像后，可以将帧图像发送给云端服务器或者是与处理器通信的其他处理模块，通过云端服务器或者该其他处理模块计算该帧图像中面部所在的区域，然后，将计算结果发送给处理器，再由处理器对面部中的瞳孔进行降低亮度的处理，得到处理后的帧图像。

在本申请实施例中，“面部”可以是采集到的帧图像中的人脸，或者也可以是动物的脸部等，下文中以“面部”为人脸为例进行说明。需要说明的是，若第一个采集时刻的帧图像中包括多个不同的人脸，则处理器可以计算每一个人脸中的瞳孔进行处理(当然，也可以对部分人脸中的瞳孔进行处理，例如仅对目标人脸进行处理，或者对面积超过阈值的人脸进行处理)，对每个人脸的瞳孔的处理方式相同。为方便说明，在下文中，以第一个采集时刻的帧图像中只包括一个人脸为例进行说明。

S303、获取视频在第二个采集时刻的帧图像。

S304、对第二个采集时刻的帧图像中瞳孔的亮度进行处理，获得处理后的第二个采集时刻的帧图像。

S305、获取视频在第三个采集时刻的帧图像。

步骤S303～步骤S305与步骤S301～步骤S302中相应的步骤相似，在此不再赘述。

由于通过人脸识别算法获取帧图像中人脸所在的区域计算量较大，因此，为了减少计算量，本申请实施例中对处理器获取后续帧图像中面部所在的区域的方式进行了改进，具体改进点如下：

在视频监控场景或者图像拍摄场景中，摄像机采集到的帧图像通常是有连续性的，即在上一帧图像中包括人脸，则下一帧图像中较大概率也包括该人脸。因此，若能够获取两次采集时刻之间人的移动方向以及移动距离，则在获取上一个采集时刻人脸所在的区域后，可以根据获知的人的移动方向以及移动距离，推算出下一个采集时刻该人脸所在的区域。从而可以不用进行复杂的人脸识别算法即可获取帧图像中人脸所在区域的坐标信息，实现减少处理器的计算量的效果。

因此，当处理器获取视频在第三个采集时刻的帧图像后，则可以执行步骤S306及后续步骤。

S306、获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，所述第一帧图像为所述视频中在所述第二帧图像之前的图像。

在本申请实施例中，“第一”和“第二”不是特指时间顺序上的第一个采集时刻的帧图像和第二个采集时刻的帧图像，而是泛指，即，第一帧图像和第二帧图像是指处理器获取的视频中在第三帧图像之前的任意一帧图像，该第三帧图像即当前需要计算人脸所在区域的帧图像。例如，在步骤S306中需要计算人脸所在区域的帧图像为第三个采集时刻的帧图像，则该第三帧图像即第三个采集时刻的帧图像。而在第三个采集时刻的帧图像之前只包括第一个采集时刻的帧图像和第二个采集时刻的帧图像，因此，在步骤S306中，该第一帧图像即第一个采集时刻的帧图像，该第二帧图像即为第二个采集时刻的帧图像。又例如，当第三帧图像为第四个采集时刻的帧图像，则在该第四个采集时刻的帧图像之前，包括第一个采集时刻的帧图像～第三个采集时刻的帧图像，则该第一帧图像和第二帧图像可以为第一个采集时刻的帧图像～第三个采集时刻的帧图像中的其中两个帧图像，例如，第一帧图像为第一个采集时刻的帧图像，第二帧图像为第三个采集时刻的帧图像，或者，第一帧图像为第二个采集时刻的帧图像，第二帧图像为第三个采集时刻的帧图像。针对其他采集时刻的帧图像，确定第一帧图像和第二帧图像的方式与前述过程相似，在此不再赘述。本实施例中，第一、第二、第三和第四采集时刻是连续的4个采集时刻。

在步骤S306中，第三帧图像为第三个采集时刻的帧图像，则处理器获取在第一个采集时刻的帧图像中人脸所在的区域(即第一区域)，以及，获取在第二个采集时刻的帧图像中人脸所在的区域(即第二区域)。作为一种示例，人脸所在的区域为矩形区域，用该矩形区域的左上角坐标和右下角坐标来表示该矩形区域。例如，第一区域的第一坐标信息为：左上角坐标为(2,3)，右下角坐标为(4,1)，如图4中虚线所示，第二区域的第二坐标信息为：左上角坐标为(3,3)，右下角坐标为(5,1)，如图4所示的阴影区域所示。

需要说明的是，由步骤S302中所述，人脸所在的区域可以由处理器计算得到，或者也可以由云端服务器或者该其他处理模块计算后发送给处理器，则第一区域和第二区域的信息可以是处理器从存储器中获取，也可以是处理器向云端服务器或者该其他处理模块发送获取请求后，由云端服务器或者该其他处理模块发送给处理器的，在本申请实施例中不对第一区域和第二区域的获取方式进行限制。

S307、根据所述第一区域以及所述第二区域，确定第三帧图像中所述面部所在第三区域。

在本申请实施例中，处理器可以根据该第一区域和该第二区域，获取该人脸在单位时长内的偏移向量，例如，人脸在单位时长内的偏移向量为(1,0)，然后，根据采集该第三帧图像与采集该第二帧图像的第一时间间隔，及该偏移向量，确定该第三区域。

在本申请实施例中，确定人脸在单位时长内的偏移向量包括但不限于如下两种方式。

第一种方式：

根据该第一区域在该第一帧图像的第一坐标信息以及该第二区域在该第二帧图像的第二坐标信息，确定人脸在采集该第一帧图像和采集该第二帧图像的第二时间间隔内的位移向量，然后，根据所述该第二时间间隔及该位移向量，确定人脸在单位时长内的偏移向量。该单位时长可以为摄像机采集帧图像的单位时间间隔。

例如，在步骤S307中第一帧图像为第一个采集时刻的帧图像，第二帧图像为第二个采集时刻的帧图像，第一坐标信息为：左上角坐标为(2,3)，右下角坐标为(4,1)，第二坐标信息为：左上角坐标为(3,3)，右下角坐标为(5,1)，根据第一坐标信息和第二坐标信息中的左上角坐标或者右上角坐标，即可得到人脸在这段时间间隔内产生的位移向量，以左上角坐标为例进行计算，(3,3)-(2,3)＝(1,0)，即位移向量为(1,0)。在本申请实施例中，摄像机是周期性采集图像的，因此，第一个采集时刻的帧图像和第二个采集时刻的帧图像之间的时间间隔为一个单位时间间隔，因此，确定人脸在一个单位时间间隔的位移向量为(1,0)。

第二种方式：

在摄像机的焦距，物距以及帧图像中像元尺寸已知的情况下，若人以一定的速度匀速运动，且摄像机周期性采集图像，则在两次采集时刻之间人脸在帧图像中产生的偏移量是相同的，该偏移量可以通过实验获得，例如，该偏移量可以为1个坐标单位或者2个坐标单位等，这样，可以将偏移量预置到图像处理装置的存储器中，从而在计算单位时长内的偏移向量时，可以只根据第一坐标信息和第二坐标信息确定移动方向，将移动方向和预设的偏移量结合，即可得到单位时长内的偏移向量，可以减小处理器的计算量。

沿用第一种方式中的例子，第一坐标信息为：左上角坐标为(2,3)，右下角坐标为(4,1)，第二坐标信息为：左上角坐标为(3,3)，右下角坐标为(5,1)，根据第一坐标信息得到的第一向量

根据第二坐标信息得到第二向量

如图5所示，处理器根据第一向量

和第二向量

确定人脸在该时间段内的移动方向为水平向右，假设该偏移量为1个坐标单位，则得到单位时长内的偏移向量为(1,0)。

当然，处理器也可以通过其他方式获取人脸在单位时长内的偏移向量，在此不做限制。

在获取人脸在单位时长内的偏移向量后，则可以根据该偏移向量确定第三区域。例如，处理器确定采集第二帧图像和采集第三帧图像之间的时间间隔为1个单位时长，则处理器确定将第二区域按照偏移向量移动1次得到的区域，即该第三区域，如图4中所示，将第二区域沿横坐标向右移动1个坐标单位，即图4中加粗的实线所示的区域，该区域即第三区域。

在上述示例中，是以不同采集时刻得到的帧图像中人脸的面积不发生变化为例进行说明的，在实际使用过程中，在不同采集时刻得到的帧图像中人脸的面积可能会发生变化，例如，人脸的面积越来越小，则也可以通过预存在单位时间内人脸的面积的缩减比例，确定出当前帧图像的人脸的面积，再结合移动方向和偏移向量确定人脸所在的区域。如图6所示，以人脸为正方形为例，第二个采集时刻得到的帧图像中人脸的边长为1.75，预设的人脸的边长的缩减比例是单位时间内边长缩减0.25，则第三个采集时刻得到的帧图像中人脸的边长为1.5，从而得到第三个采集时刻的人脸的左上角的坐标为(4,2.75)，右下角的坐标为(4.5,1.25)。

需要说明的是，因为近红外光的强度衰减较大，因此，当人或动物与摄像机的距离较远，采集到的近红外光图像中瞳孔区域不会呈现高亮状态，因此可以不做降低亮度的处理，为了进一步降低处理器的计算量，在根据第一区域和第二区域确定第三区域之前，可以先通过检测第二区域的面积是否大于或等于阈值，来确定是否需要计算该第三区域。若第二区域的面积大于或等于阈值，才根据该第一区域和第二区域计算该第三区域，否则则可以不用确定第三区域。因为人的运动方向是从距离摄像机较远移动到距离摄像机较近的位置，当若第二区域的面积大于阈值，则说明在第三帧之前的帧图像中人脸所占的面积已经较大了，则第三帧图像中人脸所占的面积会更大，则在第三帧图像中的瞳孔区域一定会呈现高亮状态，从而需要对瞳孔进行降低亮度处理。

当然，处理器也可以通过判断第一区域的面积来确定是否计算该第三区域，具体过程与上述内容相似，在此不再赘述。

S308、在该第三区域中确定瞳孔区域，该瞳孔区域中像素的亮度值高于预设亮度值。

当确定第三帧图像中人脸所在的区域后，则从该人脸所在的区域中确定出瞳孔区域。在本申请实施例中，确定瞳孔区域可以包括但不限于如下两种方式：

第一种方式，预先提取一个参照亮度值，当通过图像采集装置采集到任意一帧图像后，使用该参照亮度值对该帧图像进行搜索，确定出与该参照亮度值相近的区域为瞳孔区域，与现有技术中的方式相似，在此不再赘述。

第二种方式：

在近红外光图像中，瞳孔区域的亮度显著高于其他区域，且是相对孤立的两个区域，从而可以设计一种滤波核，使用该滤波核对该第三帧图像进行滤波处理。作为一种示例，该滤波核满足如下条件：

(a)滤波核尺寸为n*n，其中n为奇数；

(b)该滤波核中的元素满足如下条件，当距离中心的欧式距离d满足R1≤d≤R2时候，元素为1，否则为0，其中R2>R1。

请参考图7，为R1＝2，且R2＝4时该滤波核的一种示例的示意图。在图7中，n的取值为9，即一个9*9的矩阵，该矩阵的中心元素为0，且在距离该中心元素的欧氏距离为2～4之间的元素的取值为1，其余元素的取值均为0。

然后，使用该滤波核对第三帧图像中的人脸区域(即第三区域)进行滤波处理。设第三区域对应的图像为I，滤波核为f，使用该滤波核对图像I做滤波操作，该操作满足如下表达式：其中K表示滤波核的所有元素：

其中，

表示滤波操作的操作符，I'为滤波后的第三区域对应的图像，K为滤波核中所有的元素的集合。作为一种示例，可以得到如图8(a)所示的图像。在图8(a)中，对于高亮区域，其与周围较暗的区域形成较大的差异，例如瞳孔部分，而对于灰度较为平坦的其他区域，例如脸颊等位置，则变化相对较小。

然后，计算滤波后的第三区域对应的图像中每一个像素与第三区域对应的图像中的像素的差值，获得差值图像，即将图像I'和图像I进行算术差运算，从而可以获得图8(b)所示的差值图像，在图8(b)中每个像素的取值均为0或1，从而确定像素值为非0的区域即为瞳孔区域。

当然，在进行上述处理后，该差值图像中可能还有一些其他的区域的像素值为非0，例如，如图8(b)所示的耳朵、鼻头和下巴等区域，在图8(b)中用圆圈表示。因此，还可以经过约束条件排除其他非瞳孔区域。例如，位置约束条件，排除明显不属于眼睛大致位置的区域；亮度约束条件，瞳孔区域应属于人脸区内亮度值最高的点，因此可以确定其他非0区域内的亮度的最大值或平均值，确定是否为整个人脸区域的亮度的最大值，若不是则可以排除；几何形状约束条件，瞳孔区域应是近似的圆形，则可以设置长宽比阈值，对于不满足阈值的区域予以排除，这样可以排除掉眼镜框架反光的区域等。经过上述处理后，则可以确定瞳孔区域。

当然，本申请实施例中还可以通过其他方式确定瞳孔区域，在此不做限制。

S309、降低该瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

在确定瞳孔区域后，则可以将瞳孔区域内像素的亮度值降低，例如，将瞳孔区域内的所有像素的亮度值降为0或者接近0的取值，从而获得处理后的第三帧图像。

为了使得对瞳孔区域的处理更加精确，在确定瞳孔区域后，还可以对瞳孔区域进行扩充，具体扩充方法可以包括但不限于如下方式：

方式一：确定包括瞳孔区域一个预设大小的矩形为眼睛区域，在该眼睛区域内进行聚类处理。例如，k均值聚类算法(k-means clustering algorithm，Kmeans)等，选择与该眼睛区域的几何中心为一类的点视为瞳孔区域内的点。

方式二：确定包括瞳孔区域一个预设大小的矩形为眼睛区域，然后使用预设的亮度差阈值，确定在眼睛区域内与几何中心的亮度值的差值小于或等于该亮度差阈值的点，为瞳孔区域内的点。

然后，降低该瞳孔区域内的所有像素的亮度值，即得到处理后的第三帧图像。

针对后续其他帧图像，也可以采用对第三帧图像相同的方式进行处理，在此不再赘述。

另外，在图3所示的实施例中，处理器在获取一帧图像后，则对该图像的高亮区域进行处理，在另一些实施例中，也可以在获取多帧图像之后，再对每一帧图像进行上述处理过程，例如，先执行步骤S301、步骤S303和步骤S305，再执行步骤S302、步骤S304、步骤S306以及后续步骤，在本申请实施例中不对上述步骤的执行顺序进行限制。

在图3所示的实施例中，处理器是对近红外光图像和可见光图像融合后的图像进行的校正瞳孔的亮度的处理，即，进行上述处理的视频是红外传感器获取的红外YUV视频和通过可见光传感器获取的彩色YUV视频进行融合后的YUV视频。在另一些实施例中，还可以先对近红外光图像进行处理，即处理红外传感器获取的红外YUV视频，请参考图9，为该方法的流程图，该流程图描述如下：

S901、获取红外YUV视频在第一个采集时刻的近红外光帧图像。

步骤S901与步骤S301相似，在此不再赘述。

S902、对第一个采集时刻的近红外光帧图像中瞳孔的亮度进行处理，获得处理后的第一个采集时刻的近红外光帧图像，将处理后的第一个采集时刻的近红外光帧图像，与通过可见光传感器获取的彩色YUV视频中的第一个采集时刻的帧图像进行融合，得到处理后的第一个采集时刻的帧图像。

S903、获取红外YUV视频在第二个采集时刻的近红外光帧图像。

步骤S903与步骤S303相似，在此不再赘述。

S904、对第二个采集时刻的近红外光帧图像中瞳孔的亮度进行处理，获得处理后的第二个采集时刻的近红外光帧图像，将处理后的第二个采集时刻的近红外光帧图像，与通过可见光传感器获取的彩色YUV视频中的第二个采集时刻的帧图像进行融合，得到处理后的第二个采集时刻的帧图像。

S905、获取红外YUV视频在第三个采集时刻的近红外光帧图像。

S906、获取红外YUV视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，所述第一帧图像为所述红外YUV视频中在所述第二帧图像之前的图像。

S907、根据所述第一区域以及所述第二区域，确定第三帧图像中所述面部所在第三区域。

S908、在该第三区域中确定瞳孔区域，该瞳孔区域中像素的亮度值高于预设亮度值。

S909、降低该瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

步骤S905～步骤S909，与步骤S305～步骤S309相似，在此不再赘述。

S910、将处理后的第三帧图像与第四帧图像进行融合，得到融合后的图像。

该第四帧图像为通过可见光传感器获取的彩色YUV视频中与该第三帧图像对应的图像，可以理解为彩色YUV视频中在第三帧图像的采集时间点获取的帧图像，或者，彩色YUV视频中在与第三帧图像的采集时间点的时间间隔小于阈值的采集时间点获取的帧图像。然后，将处理后的第三个采集时刻的近红外光帧图像，与通过可见光传感器获取的彩色YUV视频中的第三个采集时刻的帧图像进行融合，得到处理后的第三个采集时刻的帧图像。

针对后续其他帧图像，也可以采用对第三帧图像相同的方式进行处理，在此不再赘述。

可以看出，本发明实施例的方法可以对高于阈值的亮度进行降低亮度的处理。这种做法并不限于人脸，也不限于瞳孔，甚至不限于降低亮度(换句话说，可以是升高亮度)。应用本发明实施例提供的原理，也可以对其他物体的特定部位进行降低亮度或者升高亮度的处理。

由于视频的多帧图像在时间维度上具有连续性，因此，可以利用视频中两帧图像中面部所在的区域，推测出后续帧图像中面部所在的区域，简化了确定面部所在的区域的过程，可以降低计算量，减少计算资源的消耗。然后，从面部所在区域中定位出瞳孔区域，进而对瞳孔区域中像素的亮度值进行处理，由于定位瞳孔区域只需要针对确定出的面部所在的区域进行处理，从而可以减少处理的数据量，进一步减少了计算资源的消耗。

上述本申请提供的实施例中，为了实现上述本申请实施例提供的方法中的各功能，图像处理装置可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

图10示出了一种图像处理装置1000的结构示意图。其中，图像处理装置1000可以用于实现图3或图9所示的实施例中图像处理装置的功能。图像处理装置1000可以是硬件结构、软件模块、或硬件结构加软件模块。图像处理装置1000可以由芯片系统实现。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

图像处理装置1000可以包括获取单元1001、确定单元1002和修正单元1003。

获取单元1001可以用于执行图3所示的实施例中的步骤S301、步骤S303以及步骤S305～步骤S306，或用于执行图9所示的实施例中的步骤S901、步骤S903以及步骤S905～步骤S906，和/或用于支持本文所描述的技术的其它过程。一种可能的实现方式，获取单元1001可以用于与确定单元1002通信，或者，获取单元1001可以用于图像处理装置1000和其它模块进行通信，其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。

确定单元1002可以用于执行图3所示的实施例中的步骤S307以及步骤S308，或用于执行图9所示的实施例中的步骤S907以及步骤S908，和/或用于支持本文所描述的技术的其它过程。

修正单元1003可以用于执行图3所示的实施例中的步骤S302、步骤S304以及步骤S309，或用于执行图9所示的实施例中的步骤S902、步骤S904步骤S909，和/或用于支持本文所描述的技术的其它过程。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图10所示的实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

如图11所示为本申请实施例提供的图像处理装置1100，其中，图像处理装置1100可以用于实现图3或图9所示的实施例中图像处理装置1100的功能。其中，该图像处理装置1100可以为芯片系统。本申请实施例中，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

图像处理装置1100包括至少一个处理器1120，用于实现或用于支持图像处理装置1100实现图3或图9所示的实施例中图像处理装置1100的功能。示例性地，处理器1120可以根据第一区域及第二区域，确定第三帧图像中面部所在的第三区域，具体参见方法示例中的详细描述，此处不做赘述。

图像处理装置1100还可以包括至少一个存储器1130，用于存储程序指令和/或数据。存储器1130和处理器1120耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器1120可能和存储器1130协同操作。处理器1120可能执行存储器1130中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。

图像处理装置1100还可以包括接口1110，用于与处理器1120通信，或者用于通过传输介质和其它设备进行通信，从而用于图像处理装置1100可以和其它设备进行通信。示例性地，该其它设备可以是计算模块。处理器1120可以利用接口1110收发数据。

本申请实施例中不限定上述接口1110、处理器1120以及存储器1130之间的具体连接介质。本申请实施例在图11中以存储器1130、处理器1120以及接口1110之间通过总线11110连接，总线在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，处理器1120可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

在本申请实施例中，存储器1130可以是非易失性存储器，比如硬盘(hard diskdrive，HDD)或固态硬盘(solid-state drive，SSD)等，还可以是易失性存储器(volatilememory)，例如随机存取存储器(random-access memory，RAM)。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本申请实施例中还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行图3或图9所示的实施例中图像处理装置执行的方法。

本申请实施例中还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行图3或图9所示的实施例中图像处理装置执行的方法。

本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现前述方法中图像处理装置的功能。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

本申请实施例提供了一种图像处理系统，该图像处理系统包括图3或图9所示的实施例中图像处理装置。

本申请实施例提供的方法中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(digital video disc，简称DVD))、或者半导体介质(例如，SSD)等。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

图像处理装置获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，所述第一帧图像为所述视频中在所述第二帧图像之前的图像；

所述图像处理装置根据所述第一区域以及所述第二区域，确定第三帧图像中所述面部所在的第三区域；其中，所述第三帧图像为所述视频中在第二帧图像之后的图像；

所述图像处理装置在所述第三区域中确定瞳孔区域，所述瞳孔区域中像素的亮度值高于预设亮度值；

所述图像处理装置降低所述瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

2.根据权利要求1所述的方法，其特征在于，所述图像处理装置根据所述第一区域以及所述第二区域，确定所述第三帧图像中所述面部所在第三区域，包括：

所述图像处理装置根据所述第一区域和所述第二区域，获取所述面部在单位时长内的偏移向量；

所述图像处理装置根据采集所述第三帧图像的时间点与采集所述第二帧图像的时间点之间的第一时间间隔，及所述偏移向量，确定所述第三区域。

3.根据权利要求2所述的方法，其特征在于，所述图像处理装置根据所述第一区域和所述第二区域，获取在单位时长内所述面部的偏移向量，包括：

所述图像处理装置根据所述第一区域在所述第一帧图像的第一坐标信息以及所述第二区域在所述第二帧图像的第二坐标信息，确定所述面部在第二时间间隔内的位移向量，所述第二时间间隔为采集所述第一帧图像的时间点和采集所述第二帧图像的时间点之间的时间间隔；

所述图像处理装置根据所述第二时间间隔及所述位移向量，确定所述面部在单位时长内的偏移向量。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述图像处理装置在所述第三区域中确定瞳孔区域，包括：

所述图像处理装置使用预设的滤波核对所述第三区域对应的图像进行滤波处理，获得滤波后的图像；

所述图像处理装置计算所述滤波后的图像中每一个像素与所述第三区域对应的图像中对应的像素的差值，获得差值图像；

所述图像处理装置根据所述差值图像中像素值为非0的区域，确定所述瞳孔区域。

5.根据权利要求1-4中任一项所述的方法，其特征在于，

所述第二区域的面积大于阈值。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述图像处理装置包括红外传感器和可见光传感器，其中：

所述视频是通过所述红外传感器获取的红外YUV视频，或，所述视频是将通过所述红外传感器获取的红外YUV视频和通过所述可见光传感器获取的彩色YUV视频进行融合后的YUV视频。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述图像处理装置包括红外传感器和可见光传感器，所述视频是通过所述红外传感器获取的红外YUV视频，所述方法还包括：

所述图像处理装置通过所述可见光传感器获取第四帧图像，所述第四帧图像为通过所述可见光传感器获取的彩色YUV视频中与所述第三帧图像对应的图像；

将所述处理后的第三帧图像与第四帧图像进行融合，得到融合后的图像。

8.根据权利要求1-7中任一项所述的方法，其特征在于，获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，包括：

所述图像处理装置接收计算模块发送的信息，所述信息用于指示所述第一区域和所述第二区域，所述计算模块与所述图像处理装置通信。

9.一种图像处理装置，其特征在于，包括：

获取单元，用于获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域，所述第一帧图像为所述视频中在所述第二帧图像之前的图像；

确定单元，用于根据所述第一区域以及所述第二区域，确定第三帧图像中所述面部所在的第三区域；其中，所述第三帧图像为所述视频中在第二帧图像之后的图像；以及，在所述第三区域中确定瞳孔区域，所述瞳孔区域中像素的亮度值高于预设亮度值；

修正单元，用于降低所述瞳孔区域中像素的亮度值，获得处理后的第三帧图像。

10.根据权利要求9所述的装置，其特征在于，所述确定单元在根据所述第一区域以及所述第二区域，确定所述第三帧图像中所述面部所在第三区域时，具体用于：

根据所述第一区域和所述第二区域，获取所述面部在单位时长内的偏移向量；

根据采集所述第三帧图像的时间点与采集所述第二帧图像的时间点之间的第一时间间隔，及所述偏移向量，确定所述第三区域。

11.根据权利要求10所述的装置，其特征在于，所述确定单元在根据所述第一区域和所述第二区域，获取在单位时长内所述面部的偏移向量时，具体用于：

根据所述第一区域在所述第一帧图像的第一坐标信息以及所述第二区域在所述第二帧图像的第二坐标信息，确定所述面部在第二时间间隔内的位移向量，所述第二时间间隔为采集所述第一帧图像的时间点和采集所述第二帧图像的时间点之间的时间间隔；

根据所述第二时间间隔及所述位移向量，确定所述面部在单位时长内的偏移向量。

12.根据权利要求9-11中任一项所述的装置，其特征在于，所述确定单元在所述第三区域中确定瞳孔区域时，具体用于：

使用预设的滤波核对所述第三区域对应的图像进行滤波处理，获得滤波后的图像；

计算所述滤波后的图像中每一个像素与所述第三区域对应的图像中对应的像素的差值，获得差值图像；

根据所述差值图像中像素值为非0的区域，确定所述瞳孔区域。

13.根据权利要求9-12中任一项所述的装置，其特征在于，所述第二区域的面积大于阈值。

14.根据权利要求9-13中任一项所述的装置，其特征在于，

所述视频是通过红外传感器获取的红外YUV视频，或，所述视频是将通过所述红外传感器获取的红外YUV视频和通过可见光传感器获取的彩色YUV视频进行融合后的YUV视频。

15.根据权利要求9-13中任一项所述的装置，其特征在于，所述视频图像是通过红外传感器获取的外YUV视频，所述获取单元还用于：

通过可见光传感器获取第四帧图像，所述第四帧图像为通过所述可见光传感器获取的彩色YUV视频中与所述第三帧图像对应的图像；

所述装置还包括融合单元，用于将所述处理后的第三帧图像与第四帧图像进行融合，得到融合后的图像。

16.根据权利要求9-15中任一项所述的装置，其特征在于，所述获取单元在获取视频的第一帧图像中面部所在的第一区域以及第二帧图像中所述面部所在第二区域时，具体用于：

接收计算模块发送的信息，所述信息用于指示所述第一区域和所述第二区域，所述计算模块与所述图像处理装置通信。

17.一种图像处理装置，其特征在于，包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合；所述至少一个处理器，用于执行所述至少一个存储器中存储的计算机程序或指令，以使得所述装置执行如权利要求1至8中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当计算机读取并执行所述计算机程序或指令时，使得计算机执行如权利要求1至8中任意一项所述的方法。

Images