CN109543581A - 图像处理方法、图像处理装置以及非易失性存储介质 - Google Patents

Abstract

一种图像处理方法、装置和非易失性存储介质。所述方法包括：获取第一图像；对所述第一图像进行分块，得到多个图像块；基于所述图像块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值；当存在至少一图像块的亮度值大于预设阈值时，对所述第一图像进行图像检测。该图像处理方法，通过确定图像块的亮度可以快速过滤掉无效帧，例如由于红外灯开起时暗光检查不到人脸的情况，从而起到了加速暗光条件下人脸识别的性能。

Description

图像处理方法、图像处理装置以及非易失性存储介质

技术领域

本公开实施例涉及一种图像处理方法，与该方法对应的图像处理装置以及计算机可执行非易失性存储介质。

背景技术

随着人工智能人脸识别技术的发展和在移动设备上的普及，越来越多复杂场景的人脸识别技术也陆续出现，尤其在暗光条件下为了改善光照条件，移动设备引入近红外补光和拍摄装置，利用近红外LED补光，拍摄获得近红外图片，作为人脸识别的输入。

但由于暗光下开启红外灯提高成像亮度时，红外灯从暗到亮是缓慢变化的，达到亮度最大值需要一定的时间，而且亮度最大值持续周期很短。所以图像识别开始时采集的多帧图像很多是无法使用的，例如亮度很低基本看不到人脸。对于这样一帧数据，在进行人脸识别比对、活体检测时很可能会失败。由于人脸识别对比、活体检测等比较耗时，如果等到此刻再返回失败结果，下一帧图像拍摄时最亮时刻很可能已经错过，只能等下一个红外灯闪烁的周期，才能获取较亮的红外帧图像。由此可能会拖慢图像识别速度，降低体验。

发明内容

本公开实施例提供一种图像处理方法、图像处理装置以及计算机可执行非易失性存储介质，以解决上述技术问题。

根据本公开的至少一个实施例，还提供了一种图像处理方法，包括：获取第一图像；对所述第一图像进行分块，得到多个图像块；基于所述图像块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值；当存在至少一图像块的亮度值大于预设阈值时，对所述第一图像进行图像检测。

例如，所述对所述第一图像进行分块包括：确定所述第一图像的尺寸；基于所述第一图像的尺寸确定所述分块中每一块的尺寸；基于所述每一块的尺寸对所述第一图像进行分块。

例如，所述确定所述第一图像的尺寸包括：确定所述第一图像的长度和宽度；所述基于所述第一图像的尺寸确定所述分块中每一块的尺寸包括：基于所述第一图像的长度确定能够被该长度整除的块的长度；基于所述第一图像的宽度确定能够被该宽度整除的块的宽度；基于所述块的长度和宽度确定所述分块中每一块的尺寸以及分块块数。

例如，基于所述图像块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值包括：确定所述第一图像的每一块的亮度值；基于所述每一块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值。

例如，确定所述第一图像的每一块的亮度值包括：确定所述每一块中每个像素点的亮度值；基于每一块中每个像素点的亮度值确定所述每一块的亮度值。

例如，基于每一块中每个像素点的亮度值确定所述每一块的亮度值包括：确定每一块中所有像素点的亮度值的平均值；基于所述亮度值的平均值确定所述每一块的亮度值。

例如，基于每一块中每个像素点的亮度值确定所述每一块的亮度值包括：对每块中的所有像素点的亮度值设置权重值，其中，人脸轮廓线上的像素点的亮度值的权重值高于非人脸轮廓线上的像素点的亮度值的权重值；将每块中所有像素点的亮度值乘以权重值后求平均值，作为该块的亮度值。

例如，确定所述第一图像的每一块的亮度值包括：基于所述多个图像块的块数确定扫描初始位置；从所述初始位置对所述第一图像的每一块进行逐块扫描；基于扫描结果确定每一块的亮度值。

例如，所述基于所述多个图像块的块数确定扫描初始位置包括：基于所述块数将所述第一图像的所有块分成多组；基于所述多组块中每一组块所在的位置确定扫描的初始位置。

例如，所述从所述初始位置对所述第一图像的每一块进行逐块扫描包括：基于所述第一图像的分块组数确定线程数；调用多个线程，所述线程的个数与所述分块组数对应；利用所述多个线程分别从每一组块的初始位置处进行扫描。

例如，利用所述多个线程分别从每一组块的初始位置处进行扫描包括：确定相邻的两组块的初始位置；控制所述相邻两组块对应的线程分别从相反的两个方向对所述相邻两组块进行扫描。

例如，利用所述多个线程分别从每一组块的初始位置处进行扫描包括：确定相邻的两组块的初始位置；控制所述相邻两组块对应的线程分别从所述每一组块的边缘区域向该组块的中间区域进行扫描。

例如，所述第一图像为人脸图像，所述对所述第一图像进行分块，得到多个图像块包括：基于所述人脸图像中人脸的尺寸，确定所述分块中每一块的尺寸；基于所述每一块的尺寸对所述第一图像进行分块，得到多个图像块。

根据本公开的至少一个实施例，还提供了一种图像处理装置，包括：获取单元，被配置为获取第一图像；分块单元，被配置为对所述第一图像进行分块，得到多个图像块；确定单元，被配置为基于所述图像块的亮度值确定所述第一图像中是否包括至少一块，该至少一块的亮度值大于预设亮度阈值；检测单元，被配置为当存在至少一块的亮度值大于预设阈值时，对所述第一图像进行图像检测。

根据本公开的至少一个实施例，还提供了一种图像处理装置，包括存储器和处理器，所述存储器中存储计算机程序指令，所述处理器执行所述程序指令时执行前述的图像处理方法。

根据本公开的至少一个实施例，还提供了一种计算机可读非易失性存储介质，存储计算机程序指令，当处理器执行所述程序指令时执行前述的图像处理方法。

本公开的图像处理方法，通过对采集的图像帧进行分块，得到多个图像块，并基于图像块的亮度值确定是否存在至少一图像块，该至少一图像块的亮度值大于预设亮度阈值。当图像帧中存在至少一图像块的亮度值大于预设阈值时，对所述第一图像进行图像检测。当图像帧中不存在至少一块的亮度值大于预设亮度阈值时，确定该图像帧为无效帧。通过以上方式可以快速过滤掉无效图像帧，例如由于红外灯开起时暗光检查不到人脸的情况下拍摄的无效图像帧。由于无效图像帧的滤除，仅对有效帧进行人脸识别，提高了暗光条件下人脸识别的效率和准确性。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。

图1示出了根据本公开实施例的图像处理方法流程图；

图2示出了根据本公开实施例的图像块扫描示意图；

图3示出了根据本公开实施例的图像处理装置结构示意图；

图4示出了根据本公开实施例的另一图像处理装置结构示意图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

在本公开的以下实施例中的图像处理方法以及图像处理装置可以应用于具有图像处理功能的电子设备，电子设备指的是具有存储和处理能力，能够与其他设备进行数据传输的设备。电子设备的具体形式包括但不限于移动电话、个人计算机、数码相机、个人数字助手、便携式计算机、游戏机等。

图1示出了根据本公开实施例的图像处理方法流程图，下面将根据图1介绍根据本公开实施例的图像处理方法。参见图1，图像处理方法包括步骤S101-S104。

在步骤S101中，获取第一图像。第一图像例如是红外人脸图片。根据本公开的一个示例，电子设备上安装有摄像头，可以在利用电子设备上的摄像头来采集原始图像，并将原始图像作为第一图像。根据另一示例，也可以对采集的原始图像进行预处理，例如对摄像头采集的原始图像进行初步筛选，或对图片做裁剪，将其处理为图像处理方法能处理的尺寸，将预处理后的图像作为第一图像。例如，对原始图像进行人脸识别，仅将得到的人脸区域的图像作为第一图像。

在步骤S102中，对第一图像进行分块，得到多个图像块。根据本公开的一个示例，对第一图像进行分块可以首先确定第一图像的尺寸，然后基于第一图像的尺寸确定分块中每一块的尺寸，并根据每一块的尺寸对第一图像进行分块。

例如，在确定第一图像的尺寸时，分别确定第一图像的长度和宽度。这样，在根据第一图像的尺寸确定分块中每一块的尺寸的过程中，可以基于第一图像的长度确定能够被该长度整除的块的长度，基于第一图像的宽度确定能够被该宽度整除的块的宽度，然后根据块的长度和宽度确定分块中每一块的尺寸以及分块块数。每个块的尺寸可以是相同的，也可以是不同的。例如，假设第一图像的尺寸是，长度为8cm，宽度为4厘米，由于2可以被8整除，1可以被4整除，因此可以确定块的尺寸是2*1。即，每块长度是2厘米，每块宽度是1厘米。使用第一图像的面积除以每块的面积，得到分块数。例如，每块的尺寸是2cm²，第一图像的面积是32cm²，则可以将第一图像分成16块，即块数为16。还例如，由于4也可以被8整除，2可以被4整除，因此也可以确定块的尺寸是4*2，即每块的长度是4厘米，宽度是2厘米。每块的面积是8cm²，由于第一图像的面积是32cm²，使用第一图像的面积除以每块的面积，可以得到块数，即块数是4块。等等。

在本公开实施例中，将第一图像进行分块的块数根据图像处理算法能够进行有效的图像识别所需的最少像素点数来估算。如果块的尺寸太小，包括的像素点太少，则可能无法进行有效的图像识别或识别的不准确。但每个块的尺寸也不能太大，如果块尺寸太大，有些块的边缘区域靠近第一图像的边缘区域，边缘区域有可能是黑的，像素点的亮度值为0，因此可能会影响整个块所有像素点的亮度值的平均值，误差较大，识别的不准确。因此在本公开实施例中，会根据图像大小以及图像处理算法本身的处理性能来确定分块的块数。此外，分块数也会考虑执行该图像处理方法的电子设备的处理器性能和摄像头的分辨率，处理器性能高，摄像头分辨率高，则分块数多。处理器性能低，摄像头分辨率低，则分块数少。从而保证电子设备具有用户能够接受的合适的计算量和合适的计算速度。

根据本公开的另一个示例，还可以根据人脸图像中人脸的尺寸，来确定分块中每一块的尺寸。例如，将在步骤S101中获取的第一图像进行初步识别，确定人脸的轮廓，然后确定识别到的人脸的尺寸。如果人脸尺寸大，可以设置较小的块的尺寸，从而可以增加块数。如果人脸尺寸小，可以设置较大的块的尺寸，从而减少块数。还例如，确定人脸区域的长度和宽度。与前述示例类似，根据人脸区域的长度确定能够被该长度整除的块的长度，基于人脸区域的宽度确定能够被该宽度整除的块的宽度，根据块的长度和宽度确定分块中每一块的尺寸，用人脸区域的面积除以每一块的面积，得到分块块数。还例如，可以将人脸区域的分块数增多，相对人脸区域而言，其他非人脸区域的分块数减少，也就是设定人脸区域的块的尺寸小于非人脸区域的块的尺寸，从而增加人脸区域的分块数。这样可以对人脸区域的块加强识别，提高识别准确性。

在步骤S103中，基于图像块的亮度值确定第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值。根据本公开的一个示例，亮度值可以包括灰阶值，灰阶值例如是0-255之间的一个值。在对第一图像进行分块后，确定第一图像中每一块的亮度值，并基于每一块的亮度值确定第一图像的所有分块中，是否包括一个图像块，其亮度值大于预设亮度阈值。在另一个示例中，也可以确定是否有多个图像块，其亮度值大于预设亮度阈值，例如占一定比例的图像块，例如大于30％或大于50％的图像块，其亮度值大于预设亮度阈值。

例如，在确定第一图像的每一块的亮度值时，可以确定每一块中每个像素点的亮度值，然后基于每一块中每个像素点的亮度值确定每一块的亮度值。例如确定每一块中包括的所有像素点的灰阶值，然后计算所有灰阶值的平均值，基于每一块中所有像素点灰阶值的平均值确定该块的亮度值。在另一个示例中，也可以增加某个或某些像素点灰阶值的权重，将一块中所有像素点的灰阶值乘以权重后再平均，作为该块的亮度值。例如，可以设置块中作为人脸轮廓线上的像素点权重值高，非轮廓线上的像素点权重值低。从而可以提高图像识别准确性。

根据本公开的一个示例，在确定第一图像中的每一块的亮度值的过程中，可以通过对每块图像进行扫描的方式确定每块图像的亮度值。在对第一图像的图像块进行扫描时，可以首先确定扫描初始位置，例如，可以基于多个图像块的块数确定扫描初始位置，然后从初始位置对第一图像的每一块进行逐块扫描，在扫描过程中记录该块中像素点的亮度值，并根据记录的块中所有像素点的亮度值，确定每一块的亮度值。

图2示出了根据本公开实施例的图像块扫描示意图。参见图2，在一个示例中，第一图像200包括12个块B1-B12，每个图像块包括多个像素点。在确定扫描初始位置时，可以首先确定第一图像的块数。然后根据图像块的块数将第一图像的所有块分成多组。例如，图2中第一图像的块数是12块，可以根据块数将第一图像进行平均分组，每组中包括的图像块数相同。分组数例如可以是2-4组，本公开对此不做限定。参见图2，将12个图像块分成了2组，即B1-B6为第一组，B7-B12为第二组。在分组后，可以基于多组块中每一组块所在的位置确定每组块中扫描的初始位置。例如，可以从每组的固定位置，例如左上块，开始进行扫描，也可以不从左上块进行扫描，例如图2所示，第一组的初始扫描位置在B6块，第二组的初始扫描位置在B7块。

在确定了扫描初始位置后，从初始位置对第一图像的每一组块进行逐块扫描。根据本公开的一个示例，可以调用多个线程对每组块进行扫描。例如，线程数的确定可以基于第一图像的分块组数。例如，图2中第一图像的所有块分成了两组，因此可以调用2个线程来分别对两组块进行扫描。当然，也可以每组调用多个线程，只要线程的个数与分块组数对应即可。然后利用多个线程分别从每一组块的初始位置处进行扫描。

根据本公开的一个示例，在利用多个线程分别从每一组块的初始位置处进行扫描时，可以首先确定相邻的两组块的初始位置，然后如图2所示，控制相邻两组块对应的线程分别从图像的边缘区域向中间区域进行扫描。由于在采集图像时，灯光一般打到人脸区域，而人脸区域往往在图像的中间区域。由于中间区域的亮度高，而边缘区域的亮度低，从图像边缘区域向图像中间区域进行扫描，多个线程均可以快速接近中间区域的亮度较高的人脸区域，当找到一块亮度值大于预设阈值的图像块时，扫描就可以结束，因此，从每一组的边缘区域向中间区域扫描可以提高计算速度，减少计算量。

根据本公开的一个示例，在利用多个线程分别从每一组块的初始位置处进行扫描时，可以首先确定相邻的两组块的初始位置，然后控制相邻两组块对应的线程分别从相反的两个方向对相邻两组块进行扫描。参见图2，第一组块的初始位置在B6，第二组块的初始位置在B7，这样，线程一从B6块开始扫描，线程二从B7块开始扫描，两个线程方向相反。在采集图像时，也可能遇到灯光打偏的情况发生，即图像的一侧区域亮，一侧区域暗。在这种情况下，多个线程从彼此相反方向进行扫描，也可以快速接近不同区域，快速找到亮度值大于预设阈值的图像块，因此，两个线程分别从彼此相反方向进行扫描，可以进一步提高计算速度，减少计算量。当然，本领域技术人员了解，两个线程的扫描方向也可以相同或是其他不同方向。

在步骤S104中，当存在至少一图像块的亮度值大于预设阈值时，对第一图像进行图像检测。根据本公开的一个示例，预设阈值可以通过机器学习来确定，例如，参考之前能够进行人脸识别的图像的亮度值样本来确定亮度阈值，例如亮度阈值为20，30，或40等。只要存在一块或多块，其亮度值大于预设阈值时，则表示该块或该些块是有效块，能够进行图像检测，可以进一步对第一图像进行图像检测，例如人脸识别。如果第一图像不存在任何一块，其亮度值大于预设阈值，则表示第一图像不是一副有效图像，不能进行人脸识别，则放弃该第一图像，重新获取一帧第一图像进行判断，例如再次执行上述步骤S101-S104。

根据本公开的另一个示例，图像检测包括人脸识别，可以根据人脸识别结果对电子设备进行解锁。例如将识别出的人脸与存储的人脸图像相匹配，匹配成功则对电子设备进行解锁。

本公开实施例的图像处理方法，能够将采集的无效图像帧快速滤除，避免了不必要的时间浪费，加快了图像检测过程。

以上介绍了根据本公开实施例的图像处理方法，下面将进一步介绍根据本公开实施例的图像处理装置，该图像处理装置与前述实施例的图像处理方法对应，为了说明书的简洁，以下仅作简要介绍。图3示出了根据本公开实施例的图像处理装置结构示意图，参见图3，图像处理装置300包括获取单元301，分块单元302，确定单元303以及检测单元304。获取单元301被配置为获取第一图像。分块单元302被配置为对第一图像进行分块，得到多个图像块。确定单元303，被配置为基于图像块的亮度值确定第一图像中是否包括至少一块，该至少一块的亮度值大于预设亮度阈值。检测单元304被配置为当存在至少一块的亮度值大于预设阈值时，对第一图像进行图像检测。

图4示出了根据本公开实施例的另一图像处理装置结构示意图。参见图4，图像处理装置400包括存储器401和处理器402。存储器401中存储计算机程序指令，处理器402执行程序指令时执行前述实施例中的图像处理方法。

本公开实施例的上述图像处理装置，能够将采集的无效图像帧快速滤除，加快了人脸识别过程，当通过人脸识别进行解锁时，也加快了解锁速度，提高了用户体验。

根据本公开实施例，还提供了一种计算机可读非易失性存储介质，该非易失性存储介质存储计算机程序指令，当计算机中的处理器执行程序指令时执行前述实施例中的图像处理方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

本领域技术人员应该理解，可依赖于设计需求和其它因素对本公开进行各种修改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。

Claims (16)

1.一种图像处理方法，包括：

获取第一图像；

对所述第一图像进行分块，得到多个图像块；

基于所述图像块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值；

当存在至少一图像块的亮度值大于预设阈值时，对所述第一图像进行图像检测。

2.根据权利要求1所述的方法，其中，所述对所述第一图像进行分块包括：

确定所述第一图像的尺寸；

基于所述第一图像的尺寸确定所述分块中每一块的尺寸；

基于所述每一块的尺寸对所述第一图像进行分块。

3.根据权利要求2所述的方法，其中，

所述确定所述第一图像的尺寸包括：

确定所述第一图像的长度和宽度；

所述基于所述第一图像的尺寸确定所述分块中每一块的尺寸包括：

基于所述第一图像的长度确定能够被该长度整除的块的长度；

基于所述第一图像的宽度确定能够被该宽度整除的块的宽度；

基于所述块的长度和宽度确定所述分块中每一块的尺寸以及分块块数。

4.根据权利要求1所述的方法，其中，基于所述图像块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值包括：

确定所述第一图像的每一块的亮度值；

基于所述每一块的亮度值确定所述第一图像中是否包括至少一图像块，该至少一图像块的亮度值大于预设亮度阈值。

5.根据权利要求4所述的方法，其中，

确定所述第一图像的每一块的亮度值包括：

确定所述每一块中每个像素点的亮度值；

基于每一块中每个像素点的亮度值确定所述每一块的亮度值。

6.根据权利要求5所述的方法，其中，基于每一块中每个像素点的亮度值确定所述每一块的亮度值包括：

确定每一块中所有像素点的亮度值的平均值；

基于所述亮度值的平均值确定所述每一块的亮度值。

7.根据权利要求5所述的方法，其中，基于每一块中每个像素点的亮度值确定所述每一块的亮度值包括：

对每块中的所有像素点的亮度值设置权重值，其中，人脸轮廓线上的像素点的亮度值的权重值高于非人脸轮廓线上的像素点的亮度值的权重值；

将每块中所有像素点的亮度值乘以权重值后求平均值，作为该块的亮度值。

8.根据权利要求4所述的方法，其中，确定所述第一图像的每一块的亮度值包括：

基于所述多个图像块的块数确定扫描初始位置；

从所述初始位置对所述第一图像的每一块进行逐块扫描；

基于扫描结果确定每一块的亮度值。

9.根据权利要求8所述的方法，其中，所述基于所述多个图像块的块数确定扫描初始位置包括：

基于所述块数将所述第一图像的所有块分成多组；

基于所述多组块中每一组块所在的位置确定扫描的初始位置。

10.根据权利要求9所述的方法，其中，所述从所述初始位置对所述第一图像的每一块进行逐块扫描包括：

基于所述第一图像的分块组数确定线程数；

调用多个线程，所述线程的个数与所述分块组数对应；

利用所述多个线程分别从每一组块的初始位置处进行扫描。

11.根据权利要求10所述的方法，其中，利用所述多个线程分别从每一组块的初始位置处进行扫描包括：

确定相邻的两组块的初始位置；

控制所述相邻两组块对应的线程分别从相反的两个方向对所述相邻两组块进行扫描。

12.根据权利要求10或11所述的方法，其中，利用所述多个线程分别从每一组块的初始位置处进行扫描包括：

确定相邻的两组块的初始位置；

控制所述相邻两组块对应的线程分别从所述每一组块的边缘区域向该组块的中间区域进行扫描。

13.根据权利要求1所述的方法，其中，所述第一图像为人脸图像，所述对所述第一图像进行分块，得到多个图像块包括：

基于所述人脸图像中人脸的尺寸，确定所述分块中每一块的尺寸；

基于所述每一块的尺寸对所述第一图像进行分块，得到多个图像块。

14.一种图像处理装置，包括：

获取单元，被配置为获取第一图像；

分块单元，被配置为对所述第一图像进行分块，得到多个图像块；

确定单元，被配置为基于所述图像块的亮度值确定所述第一图像中是否包括至少一块，该至少一块的亮度值大于预设亮度阈值；

检测单元，被配置为当存在至少一块的亮度值大于预设阈值时，对所述第一图像进行图像检测。

15.一种图像处理装置，包括存储器和处理器，所述存储器中存储计算机程序指令，所述处理器执行所述程序指令时执行权利要求1-13任一所述的图像处理方法。

16.一种计算机可读非易失性存储介质，存储计算机程序指令，当处理器执行所述程序指令时执行权利要求1-13任一所述的图像处理方法。