CN111885371A - 图像遮挡检测方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本发明提供了一种图像遮挡检测方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括：获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；第一图像为显示在多摄像装置的显示界面的图像；对第一图像和第二图像进行图像对齐处理；将对齐处理之后的第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征第一图像和对齐处理之后的第二图像之间的差异程度的差异值，差异检测包括：全局差异检测和/或局部差异检测；通过差异值对第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，遮挡检测结果用于确定第二拍摄装置是否被遮挡，本申请的技术方案减小了遮挡检测的复杂性，使得整个检测算法更高效。

Description

图像遮挡检测方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像遮挡检测方法、装置、电子设备和计算机可读介质。

背景技术

如今，移动终端行业日新月异，移动终端的功能越来越丰富，移动终端上的配件也越来越多，摄像头便是其中比较关键的配件之一。近年来，移动终端上的摄像头数量逐渐增多，从最初的单摄，到后来的双摄，时至今日衍生出了三摄、四摄手机。但大多数图像处理的效果是在两个摄像头之间进行，比如双摄虚化。遮挡检测只是相机多摄算法的一个辅助功能，在多摄算法执行过程中，移动终端显示屏上只显示一个摄像装置的图像，例如，只显示主摄的图像，若另一个摄像装置用户无意遮挡，会严重影响多摄算法的结果，带来极差的用户体验。

在通过传统的遮挡算法对图像进行遮挡检测时，由于遮挡算法相对较为复杂，导致在遮挡检测过程中，检测时间长且效率慢。

针对上述问题，还未提出有效解决方案。

发明内容

本发明的目的在于提供一种图像遮挡检测方法、装置、电子设备和计算机可读介质，本申请减小了遮挡检测的复杂性，使得整个检测算法更高效。

第一方面，本发明实施例提供了一种图像遮挡检测方法，包括：获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；所述第一拍摄装置和所述第二拍摄装置为多摄像装置中的摄像头，所述第一图像为显示在所述多摄像装置的显示界面的图像；对所述第一图像和所述第二图像进行图像对齐处理；其中，对齐处理处理之后的第一图像和对齐处理之后的第二图像的图像内容相同；将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，所述差异检测包括：全局差异检测和/或局部差异检测；通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，所述遮挡检测结果用于确定所述第二拍摄装置是否被遮挡。

进一步地，所述差异值包括：用于表征整体差异程度的第一差异值和用于表征局部差异程度的第二差异值；通过所述差异值对所述第二拍摄装置进行遮挡检测包括：通过第一差异值对所述第二拍摄装置进行第一遮挡检测；若根据检测结果确定出所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求，则通过所述第二差异值对所述第二拍摄装置进行第二遮挡检测。

进一步地，所述第一差异值为基于所述第一图像和对齐处理之后的第二图像的灰度图像的方差确定出的；通过第一差异值对所述第二拍摄装置进行第一遮挡检测包括：将所述第一差异值和预设差异值进行比较；其中，若比较出所述第一差异值大于所述预设差异值，则确定所述第一图像和对齐处理之后的第二图像之间的整体差异程度不满足预设要求，且确定所述第二拍摄装置被遮挡，以及所述第二拍摄装置被遮挡的面积大于预设面积；若比较出所述第一差异值小于或者等于所述预设差异值，则所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求。

进一步地，所述差异检测包括局部差异检测，所述差异值包括所述第二差异值；将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值包括：在所述第二图像中确定第一目标区域，其中，所述第一目标区域为所述第二图像的多个图像区域中包含纹理信息最少的区域；在所述第一图像中确定所述第一目标区域的相对区域，得到第二目标区域；对所述第一目标区域内的图像和所述第二目标区域内的图像进行差异检测，得到所述第二差异值，以通过所述第二差异值对所述第二拍摄装置进行遮挡检测。

进一步地，对所述第一目标区域内的图像和所述第二目标区域内的图像进行差异检测，得到所述第二差异值包括：分别计算所述第一目标区域内的图像和所述第二目标区域内的图像的方差，得到第一方差值和第二方差值；将所述第一方差值和所述第二方差值之间的差值确定为所述第二差异值。

进一步地，通过所述第二差异值对所述第二拍摄装置进行遮挡检测包括：若所述第二差异值大于预设差值，则确定所述第二拍摄装置被遮挡；若所述第二差异值小于或者等于所述预设差值，则确定所述第二拍摄装置未被遮挡。

进一步地，在所述第一图像中确定所述第一目标区域的相对区域包括：对所述第二图像进行纹理检测；对纹理检测之后的所述第二图像进行图像分块处理，得到多个图像块；将所述多个图像块中包含纹理信息最少的区域确定为所述第一目标区域。

进一步地，对对所述第一图像和所述第二图像进行图像对齐处理包括：通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理，得到对齐处理之后的所述第二图像。

进一步地，通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理包括：若所述第一拍摄装置的视场角小于所述第二拍摄装置的视场角，则通过所述第一拍摄装置和所述第二拍摄装置的像元尺寸和焦距，在所述第二图像中确定第一等效视场角区域；在所述第二图像中抠取所述第一等效视场角区域内的图像；并将抠取到的图像作为对齐处理之后的所述第二图像，其中，对齐处理之后的所述第二图像和所述第一图像的图像内容相同。

进一步地，将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值包括：提取对齐处理之后所述第一图像的灰度图像，得到第一灰度图像；以及提取所述对齐处理之后的所述第二图像的灰度图像，得到第二灰度图像；根据所述第一灰度图像和所述第二灰度图像的方差确定所述差异值。

第二方面，本发明实施例提供了一种图像遮挡检测装置，包括：获取单元，用于获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；所述第一拍摄装置和所述第二拍摄装置为多摄像装置中的摄像头，所述第一图像为显示在所述多摄像装置的显示界面的图像；对齐处理单元，用于对所述第一图像和所述第二图像进行图像对齐处理；差异检测单元，用于将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，所述差异检测包括：全局差异检测和/或局部差异检测；遮挡检测单元，用于通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，所述遮挡检测结果用于确定所述第二拍摄装置是否被遮挡。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理设备，所述存储器中存储有可在所述处理设备上运行的计算机程序，处理设备执行计算机程序时实现如第一方面中任一项所述的方法。

第四方面，本发明实施例提供了一种具有处理设备可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理设备执行如第一方面中任一项所述的方法。

在本申请中，首先获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；然后，对第一图像和第二图像进行图像对齐处理，接下来，将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值；最后，通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果。在本申请中，采用通过第一图像对第二图像进行图像对齐处理，以及计算第一图像和对齐处理之后的第二图像之间的差异值的方式对第二拍摄装置进行遮挡检测时，减小了遮挡检测的复杂性，使得整个检测算法更高效，进而缓解现有的遮挡检测技术无法实现高效的对摄像装置进行遮挡检测的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子设备的示意图；

图2是根据本发明实施例的一种图像遮挡检测方法的流程图；

图3是根据本发明实施例的一种主摄装置拍摄到的图像的示意图；

图4是根据本发明实施例的一种副摄装置拍摄到的图像的示意图；

图5是根据本发明实施例的一种副摄装置在全遮挡情况下拍摄到的图像的示意图；

图6是根据本发明实施例的另一种副摄装置在全遮挡情况下拍摄到的图像的示意图；

图7是根据本发明实施例的另一种图像遮挡检测方法的流程图

图8是根据本发明实施例的一种图像识别装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像遮挡检测方法。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理设备102可以采用数字信号处理设备(DSP，Digital SignalProcessing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific IntegratedCircuit)中的至少一种硬件形式来实现，所述处理设备102可以是中央处理单元(CPU，Central Processing Unit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110包括第一拍摄装置和第二拍摄装置，第一拍摄装置用于采集第一图像，第二拍摄装置用于采集第二图像，图像采集装置110所采集的数据经过所述图像遮挡检测方法得到第二拍摄装置的遮挡检测结果。

实施例2：

根据本发明实施例，提供了一种图像遮挡检测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像遮挡检测方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；所述第一拍摄装置和所述第二拍摄装置为多摄像装置中的摄像头，所述第一图像为显示在所述多摄像装置的显示界面的图像。

需要说明的是，在本申请中，第一拍摄装置和第二拍摄装置可以为多摄像装置中的主摄像头和副摄像头，例如，第一拍摄装置为主摄像头，第二拍摄装置为副摄像头。

在本申请中，第一拍摄装置可以为多个，且第二拍摄装置也可以为多个，本申请对此不做具体限定。

在本申请中，多摄像装置可以为智能移动终端等携带摄像功能的装置，例如，双摄手机，三摄手机，以及四摄手机等。若多摄像装置为双摄手机，那么第一拍摄装置和第二拍摄装置即为该双摄手机的两个摄像头。

在多摄像装置拍摄图像中，确定显示在其显示界面的图像为第一图像。第二图像为多摄像装置的其他摄像装置拍摄到的图像，且该第二图像未显示在其显示界面中。

例如，如果第一拍摄装置为主摄装置，第二拍摄装置为副摄装置，那么主摄装置拍摄到的图像为主摄图像(即，第一图像)，副摄装置拍摄到的图像为副摄图像(即，第二图像)。一般情况下，多摄像装置在拍摄图像时，显示在其显示界面上的图像为主摄图像(即，第一图像)，副摄图像(即，第二图像)不会显示在显示界面上，此时，用户也就无法知晓第二拍摄装置是否出现了遮挡。如果出现了遮挡，且用户未知晓，那么将影响图像的拍摄质量。

步骤S204，对所述第一图像和所述第二图像进行图像对齐处理，其中，对齐处理处理之后的第一图像和对齐处理之后的第二图像的图像内容相同。

在本申请中，可以基于第一图像对第二图像进行图像对齐处理，其中，基于所述第一图像对所述第二图像进行图像对齐处理的目的是使得第一拍摄装置和第二拍摄装置的视场角一致，以及对齐处理处理之后的第一图像和对齐处理之后的第二图像的图像内容相同。一般情况下，多摄像装置的副摄装置的视场角FOV(Field of view)大于主摄装置的视场角FOV。因此，在获取到第一图像和第二图像之后，需要对第一图像对第二图像进行图像对齐处理，以使对齐处理处理之后的第一图像和对齐处理之后的第二图像的图像内容相同。

需要说明的是，在本申请中，对齐处理之后的所述第二图像和所述第一图像内容相同可以理解为内容基本相同，或者内容相似。

步骤S206，将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，所述差异检测包括：全局差异检测和/或局部差异检测。

在本申请中，可以考虑第一图像和第二图像的内容和结构是否存在较大差异，基于此，可以将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行全局差异检测和/或局部差异检测，从而得到第一图像和对齐处理之后的第二图像之间的差异值，进而，通过该差异值确定第一图像和第二图像之间的差异程度。

需要说明的是，在本申请中，全局差异检测是指将对齐处理之后的第一图像中的全部图像内容和对齐处理之后的第二图像的全部图像内容进行差异检测。局部差异检测是指将对齐处理之后的第一图像中的局部图像内容和对齐处理之后的第二图像的局部图像内容进行差异检测。具体检测过程将在下述实施方式中进行介绍。

步骤S208，通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，所述遮挡检测结果用于确定所述第二拍摄装置是否被遮挡。

在计算得到上述差异值之后，就可以通过该差异值对第二拍摄装置进行遮挡检测，得到遮挡检测结果，以确定第二拍摄装置是否被遮挡。

在本申请中，首先获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；然后，对第一图像和第二图像进行图像对齐处理，接下来，将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值；最后，通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果。在本申请中，采用通过第一图像对第二图像进行图像对齐处理，以及计算第一图像和对齐处理之后的第二图像之间的差异值的方式对第二拍摄装置进行遮挡检测时，减小了遮挡检测的复杂性，使得整个检测算法更高效，进而缓解现有的遮挡检测技术无法实现高效的对摄像装置进行遮挡检测的技术问题。

假设第一拍摄装置位主摄装置，第二拍摄装置为副摄装置，图3为主摄装置拍摄到的图像，图4为副摄装置拍摄到的图像。

从图3和图4中可以看出，当副摄装置被手指大面积遮挡时，第一图像和第二图像有以下特征：

1、由于只有副摄装置被遮挡，主副摄图像(即，第一图像和第二图像)内容和结构差异很大；

2、副摄装置被遮挡区域与主摄装置对应区域亮度、直方图分布差异均比较大；

3、副摄装置被手指部分遮挡时，副摄图像中人体肤色的成分较为明显，且较为平滑；

4、被遮挡区域图像亮度比较均匀，对应的主摄图像(即，第一图像)区域亮度差异可能较大；

5、被遮挡区域的图像处于失焦状态，而非遮挡区域正常状态。

针对以上特点，为减小主副摄装置的视场角差异造成的影响，需要先对第一图像和第二图像做预处理，使得两幅图像的视场角FOV一致。然后考虑图像的内容和结构是否存在较大差异，得到第一图像和第二图像之间的差异值，进而通过该差异值对副摄装置进行遮挡检测，下面将结合具体的实施方式介绍上述的图像遮挡检测方法。

在一种情况下，对所述第一图像和所述第二图像进行图像对齐处理，具体包括以下过程：

通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理，得到对齐处理之后的所述第一图像和所述第二图像。

具体地，在本申请中，可以获取第一拍摄装置和第二拍摄装置的像元尺寸和焦距，然后，通过第一拍摄装置和第二拍摄装置的像元尺寸和焦距对第一图像和第二图像进行FOV对齐处理(即，视场角对齐处理)，进而，得到对齐处理之后的第一图像和第二图像。可选地，对齐处理之后的第一图像为原图，即在本申请中，是通过第一图像对第二图像进行对齐处理，则第一图像保持不变。在得到对齐处理之后的第一图像和第二图像之后，能够使得第一图像和对齐处理之后的第二图像的图像内容和范围尽可能一致。

在本申请中，通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理，得到对齐处理之后的所述第二图像可以描述为以下过程：

(1)、若所述第一拍摄装置的视场角小于所述第二拍摄装置的视场角，则通过所述第一拍摄装置和第二拍摄装置的像元尺寸和所述焦距，在所述第二图像中确定第一等效视场角区域，并在所述第二图像中抠取所述第一等效视场角区域内的图像；

(2)、将抠取到的图像作为对齐处理之后的所述第二图像。

在本申请中，首先，获取第一拍摄装置和第二拍摄装置的像元尺寸和焦距，然后，通过第一拍摄装置和第二拍摄装置的像元尺寸和焦距在第二图像中确定第一等效视场角区域，计算出第一等效视场角区域后，在第二图像中抠取第一等效视场角区域内的图像作为新的第二图像(，即对齐处理之后的第二图像)，第一图像与原图一致。

下面对上述过程进行举例说明，通过上述描述可知，一般情况下，多摄像装置的副摄装置的视场角FOV(Field of view)大于主摄装置的视场角FOV，因此，在本申请中，假设在第二图像为副摄图像，第一图像为主摄图像，在此情况下，可以通过以下方式对第一图像对所述第二图像进行图像对齐处理，具体包括：

获取第一拍摄装置和第二拍摄装置的像元尺寸和焦距，然后，通过第一拍摄装置和第二拍摄装置的像元尺寸和焦距计算副摄图像中的等效视场角区域，其中，可以通过以下公式计算副摄图像中的等效视场角区域：

subRect.height＝subRows；

subRect.width＝subCols。

其中，在上述公式中，subRows是副摄图像中等效视场角区域的行数，换言之就是等效视场角区域的高，subCols是副摄图像中等效视场角区域的列数，换言之就是等效视场角区域的宽，(subRect.x，subRect.y)是副摄图像中等效视场角区域在副摄图像中的左上角坐标。main.cols和main.rows分别是主摄图像的列数和行数。sub.cols和sub.rows分别是副摄图像的列数和行数。main.CCD和sub.CCD分别是主摄装置和副摄装置的像元尺寸。main.Focus和sub.Focus分别是主摄装置和副摄装置的焦距。

最后，subRect就是副摄图像中等效视场角区域，在计算出副摄图像中的等效视场角区域后，截取有效的等效视场角的区域作为新的副摄图像(即，对齐处理之后的副摄图像，主摄图像的新的图像与原图一致)。

在本申请中，在按照上述所描述的方式对第一图像对所述第二图像进行图像对齐处理之后，就可以将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，具体包括如下过程：

首先，提取对齐处理之后所述主摄图像的灰度图像，得到第一灰度图像；以及提取所述对齐处理之后的所述副摄图像的灰度图像，得到第二灰度图像；

其次，根据所述第一灰度图像和所述第二灰度图像的方差确定所述差异值。

在本申请中，在得到对齐处理之后主摄图像和副摄图像之后，可以对对齐处理之后主摄图像和副摄图像进行灰度图的转换，得到第一灰度图像和第二灰度图像；还可以将对齐处理之后主摄图像和副摄图像转换为YUV图像，然后，提取Y通道图像，得到第一灰度图像和第二灰度图像。

在得到第一灰度图和第二灰度图之后，就可以计算第一灰度图像的方差，得到方差1，并计算第二灰度图像的方差，得到方差2，之后，根据方差1和方差2确定该差异值。

在确定出该差异值之后，就可以通过该差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果。通过上述描述可知，差异检测包括：全局差异检测和/或局部差异检测，那么全局差异检测和局部差异检测分别对应一个差异值，即第一差异值和第二差异值，也就是说，在本申请中，第一差异值用于表征整体差异程度，第二差异值用于表征局部差异程度。

基于此，上述通过所述差异值对所述第二拍摄装置进行遮挡检测的具体过程可以描述如下：

首先，通过第一差异值对所述第二拍摄装置进行第一遮挡检测。其中，第一差异值为基于所述第一图像和对齐处理之后的第二图像的灰度图像的方差确定出的。第一图像的灰度图像的方差为第一方差，第二图像的灰度图像的方差为第二方差。

具体地，在本申请中，可以将第一差异值和预设差异值进行比较；若比较出第一差异值大于所述预设差异值，则确定第一图像和对齐处理之后的第二图像之间的整体差异程度不满足预设要求，且确定所述第二拍摄装置被遮挡，且所述第二拍摄装置被遮挡的面积大于预设面积。若比较出所述第一差异值小于或者等于所述预设差异值，则所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求。

例如，在本申请中，假设第一方差记为stdMain，第二方差记为stdAux。如果stdMain>2*stdAux，即，stdMain/stdAux>2，其中，2即为上述预设差异值，stdMain/stdAux即为上述第一差异值。通过该不等式可以理解，如果stdMain和stdAux之间的差异程度越大，那么stdMain和stdAux之间的比值也就越大，因此，可以通过stdMain/stdAux来体现第一图像和第二图像之间的全局差异程度。如果确定出stdMain/stdAux>2，则确定第一图像和对齐处理之后的第二图像之间的整体差异程度不满足预设要求(即，第一图像和对齐处理之后的第二图像之间的整体差异较大)，此时可以确定第二拍摄装置被遮挡，且所述第二拍摄装置被遮挡的面积大于预设面积，例如，大面积遮挡或者全遮挡，其中，预设面积的大小可以根据实际需要来进行设定。

如果是全遮挡的状态，通常图5和图6所示，如果第二拍摄装置出现全遮挡，第二拍摄装置由于没有光线进入，导致图像全黑，第二拍摄装置对应的灰度图像的方差接近于0。如果不是全遮挡，在满足stdMain>2*stdAux的情况下，很可能是副摄被大面积遮挡。

若根据检测结果确定出所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求，例如，stdMain/stdAux≤2，那么可以确定出第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求，此时可以则通过所述第二差异值对所述第二拍摄装置进行第二遮挡检测。

具体地，在本申请中，在对第二拍摄装置进行第二遮挡检测之前，可以先计算得到用于表征所述第一图像和对齐处理之后的第二图像之间的局部差异程度的第二差异值，具体过程可以描述如下：

首先，在所述第二图像中确定第一目标区域，其中，所述第一目标区域为所述第二图像的多个图像区域中包含纹理信息最少的区域；然后，在所述第一图像中确定所述第一目标区域的相对区域，得到第二目标区域；最后，对第一目标区域内的图像和第二目标区域内的图像进行差异检测，得到第二差异值，以通过第二差异值对第二拍摄装置进行遮挡检测。

具体地，可以分别计算所述第一目标区域内的图像和所述第二目标区域内的图像的方差，得到第一方差值和第二方差值；并将所述第一方差值和所述第二方差值之间的差值确定为所述第二差异值。

例如，对于stdMain≤2*stdAux，即，stdMain/stdAux≤2的情况，可以在第二图像中确定包含纹理信息最少的第一目标区域。并在第一图像中第一目标区域的相对区域，得到第二目标区域，并确定第二目标区域内的图像，最后，对第一目标区域内的图像和第二目标区域内的图像进行差异检测，得到第二差异值，以通过第二差异值对第二拍摄装置进行遮挡检测。

通过上述描述可知，在本申请中，通过确定第二图像中包含纹理信息最少的区域，能够提高遮挡检测的准确性，同时，在本申请中，通过采用确定包含纹理信息最少的区域的方式，可以实现从整体到局部来对第二拍摄装置进行遮挡检测，以进一步提高遮挡检测的效率和准确性。

在一个可选的实施方式中，在所述第二图像中确定第一目标区域包括如下步骤：

(1)、对所述第二图像进行纹理检测；

(2)、对纹理检测之后的所述第二图像进行图像分块处理，得到多个图像块；

(3)、将所述多个图像块中包含纹理信息最少的区域确定为所述第一目标区域。

具体地，在本申请中，对于stdMain<2*stdAux的情况，先对第二图像进行纹理检测，检测完成之后，为了缩小遮挡检测的区域，对纹理检测之后的第二图像进行分块处理，比如所使用的图像分辨率为1000*750，即，图像宽度为1000，高度为750，宽度大于高度，此时，可以将第二图像按2行3列进行分块，分为六块。基于之前的纹理检测结果，找出纹理最弱的矩形块(即第一目标区域)，这主要是出于对手指遮挡摄像头的情形的考虑，当手指无意遮挡摄像头时，由于手指比手机的摄像头大，遮挡通常不可能在图像中心，再由于手指的连续性，遮挡区域必然从图像的边缘开始，另外手指遮挡摄像头时，遮挡区域的图像中几乎无纹理。

通过上述描述可知，在本申请中，通过结合纹理检测来对第二拍摄装置进行遮挡检测方式，进一步提高遮挡检测的效率和准确性。

在一个可选的实施方式中，通过所述第二差异值对所述第二拍摄装置进行遮挡检测包括如下步骤：

(1)、若第二差异值大于预设差值，则确定所述第二拍摄装置被遮挡；

(2)、若第二差异值小于或者等于所述预设差值，则确定所述第二拍摄装置未被遮挡。

具体地，在本申请中，在找出纹理最少的区域(即，第一目标区域)后，在第一图像中找出对应的矩形区域(即，第二目标区域)，并分别计算这两个区域对应的灰度图像的方差，分别记为，stdR_l(即，第一方差值)和stdR_r(即，第二方差值)，比较这两个方差，如果stdR_l-stdR_r>T_R，其中，T_R是预设差值，在本申请中，可以将该值设为20。如果stdR_l-stdR_r>20成立，则说明该矩形区域(即，第一目标区域)对应的第二图像区域被遮挡，反之则未被遮挡，检测结束。

相比于现有技术，本申请的主要优势在于，对FOV对齐的第一图像和第二图像的灰度图像进行遮挡检测，且仅利用差异值来判断图像或者图像区域之间的差异，在减小了遮挡检测的复杂性的同时，使得整个检测算法更高效，利用纹理检测，提高了检测遮挡区域的准确性。

实施例3：

在本实施例中，假设多摄像装置为双摄装置，第一拍摄装置为主摄装置，第二拍摄装置为副摄装置，第一图像为主摄图像，第二图像为副摄图像，且主摄装置和副摄装置均为一个。

由于双摄实时预览时还有其他复杂功能，遮挡检测只是这个过程中的提示功能，必须耗时相当少，同时对较大面积遮挡能够保证检测的准确率，因此算法中不可能考虑比较复杂的操作。在实践当中，发明人发现分块后比较亮度、方差能一定程度上准确给出是否被遮挡的提示信息，同时还可能一定程度上保证检测结果的稳定性。因此，通过多次实验和阈值调整，确定了目前算法的流程，如图7所示，图7是根据本发明实施例的另一种图像遮挡检测方法的流程图，如图7所示，该方法包括如下步骤：

步骤S1：输入主摄图像和副摄图像；

步骤S2：利用主摄装置和副摄装置的像元尺寸和焦距，对主摄图像和副摄图像进行FOV对齐；

步骤S3：提取对齐后主摄图像和副摄图像的Y通道图像(即灰度图像)，得到2张灰度图像；

步骤S4：计算两张灰度图像的方差，得到方差1和方差2；

步骤S5：判断方差1和方差2之间方差差异是否大于一定阈值；如果方差1和方差2之间方差差异大于一定阈值，则执行步骤S6，否则，执行步骤S7；其中，在本申请中，方差1和方差2之间方差差异可以理解为方差1和方差2之间的比值，该一定阈值，可以设置为2，例如方差1和方差2之间方差差异大于一定阈值可以理解为方差1和方差2之间的比值大于2。

步骤S6：确定副摄装置被大面积遮挡，遮挡检测结束并提示遮挡；

步骤S7：对副摄图像进行纹理检测并分块，得到多个分块；

步骤S8：在多个分块中查找纹理信息最少的区域，记为第一目标区域；

步骤S9：在主摄图像中确定第一目标区域的对应区域，记为第二目标区域；

步骤S10：对第一目标区域内的图像和第二目标区域内的图像分别计算方差，得到方差3和方差4；

步骤S11：判断方差3和方差4的方差差异是否大于一定阈值；其中，如果方差3和方差4的方差差异大于一定阈值，则执行步骤S12；否则执行步骤S13；在本申请中，方差3和方差4的方差差异可以理解为方差3和方差4之间的差值，此时步骤S11中的一定阈值可以设定为20。

步骤S12：确定副摄图像区域被遮挡，并提示遮挡；

步骤S13：确定副摄图像区域未被遮挡之，并不做提示，检测结束。

通过上述描述可知，在本申请中，为减小主副摄装置视场角差异造成的影响，先对主副摄图像进行预处理，使两幅图像FOV对齐。然后先考虑图像的内容和结构是否存在较大差异，将预处理后的主副摄图像转换到灰度空间，再计算两幅图像的方差，通过比较两者的方差度量两幅图像之间的差异，方差差异越大，两幅图像的差异越大，被判为遮挡的可能性也就越大。如果方差的差异大于一定阈值，说明两幅图像的差异较大，极可能出现了大面积遮挡或者全遮挡。若方差的差异小于一定阈值，则继续后续处理，先对副摄图像进行纹理检测，找出纹理最少的区域，并找到主摄图像中的对应区域，再计算这两个对应区域的方差。同理，通过比较两个对应区域的方差度量两个对应区域之间的差异，方差差异越大，副摄在该区域被遮挡的可能性越大，反之该区域没被遮挡。

实施例4：

本发明实施例还提供了一种图像识别装置，该图像识别装置主要用于执行本发明实施例上述内容所提供的图像遮挡检测方法，以下对本发明实施例提供的图像识别装置做具体介绍。

图8是根据本发明实施例的一种图像识别装置的示意图，如图8所示，该图像识别装置主要包括：

获取单元10，用于获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；所述第一拍摄装置和所述第二拍摄装置为多摄像装置中的摄像头，所述第一图像为显示在所述多摄像装置的显示界面的图像；

对齐处理单元20，用于对所述第一图像和所述第二图像进行图像对齐处理；

差异检测单元30，用于将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，所述差异检测包括：全局差异检测和/或局部差异检测；

遮挡检测单元40，用于通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，所述遮挡检测结果用于确定所述第二拍摄装置是否被遮挡。

在本申请中，首先获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；然后，对第一图像和第二图像进行图像对齐处理，接下来，将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值；最后，通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果。在本申请中，采用通过第一图像对第二图像进行图像对齐处理，以及计算第一图像和对齐处理之后的第二图像之间的差异值的方式对第二拍摄装置进行遮挡检测时，减小了遮挡检测的复杂性，使得整个检测算法更高效，进而缓解现有的遮挡检测技术无法实现高效的对摄像装置进行遮挡检测的技术问题。

可选地，所述差异值包括：用于表征整体差异程度的第一差异值和用于表征局部差异程度的第二差异值；遮挡检测单元用于：通过第一差异值对所述第二拍摄装置进行第一遮挡检测；若根据检测结果确定出所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求，则通过所述第二差异值对所述第二拍摄装置进行第二遮挡检测。

可选地，所述第一差异值为基于所述第一图像和对齐处理之后的第二图像的灰度图像的方差确定出的；遮挡检测单元还用于：将所述第一差异值和预设差异值进行比较；其中，若比较出所述第一差异值大于所述预设差异值，则确定所述第一图像和对齐处理之后的第二图像之间的整体差异程度不满足预设要求，且确定所述第二拍摄装置被遮挡，以及所述第二拍摄装置被遮挡的面积大于预设面积；若比较出所述第一差异值小于或者等于所述预设差异值，则所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求。

可选地，所述差异检测包括局部差异检测，所述差异值包括所述第二差异值；差异检测单元用于：在所述第二图像中确定第一目标区域，其中，所述第一目标区域为所述第二图像的多个图像区域中包含纹理信息最少的区域；在所述第一图像中确定所述第一目标区域的相对区域，得到第二目标区域；对所述第一目标区域内的图像和所述第二目标区域内的图像进行差异检测，得到所述第二差异值，以通过所述第二差异值对所述第二拍摄装置进行遮挡检测。

可选地，差异检测单元还用于：分别计算所述第一目标区域内的图像和所述第二目标区域内的图像的方差，得到第一方差值和第二方差值；将所述第一方差值和所述第二方差值之间的差值确定为所述第二差异值

可选地，差异检测单元还用于：若所述第二差异值大于预设差值，则确定所述第二拍摄装置被遮挡；若所述第二差异值小于或者等于所述预设差值，则确定所述第二拍摄装置未被遮挡。

可选地，差异检测单元还用于：对所述第二图像进行纹理检测；对纹理检测之后的所述第二图像进行图像分块处理，得到多个图像块；将所述多个图像块中包含纹理信息最少的区域确定为所述第一目标区域。

可选地，对齐处理单元用于：通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理，得到对齐处理之后的所述第二图像。

可选地，对齐处理单元还用于：若所述第一拍摄装置的视场角小于所述第二拍摄装置的视场角，则通过所述第一拍摄装置和所述第二拍摄装置的像元尺寸和焦距，在所述第二图像中确定第一等效视场角区域；在所述第二图像中抠取所述第一等效视场角区域内的图像；并将抠取到的图像作为对齐处理之后的所述第二图像，其中，对齐处理之后的所述第二图像和所述第一图像的图像内容相同。

可选地，差异检测单元还用于：提取对齐处理之后所述第一图像的灰度图像，得到第一灰度图像；以及提取所述对齐处理之后的所述第二图像的灰度图像，得到第二灰度图像；根据所述第一灰度图像和所述第二灰度图像的方差确定所述差异值。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理设备可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种图像遮挡检测方法，其特征在于，包括：

获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；所述第一拍摄装置和所述第二拍摄装置为多摄像装置中的摄像头，所述第一图像为显示在所述多摄像装置的显示界面的图像；

对所述第一图像和所述第二图像进行图像对齐处理；其中，对齐处理处理之后的第一图像和对齐处理之后的第二图像的图像内容相同；

将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，所述差异检测包括：全局差异检测和/或局部差异检测；

通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，所述遮挡检测结果用于确定所述第二拍摄装置是否被遮挡。

2.根据权利要求1所述的方法，其特征在于，所述差异值包括：用于表征整体差异程度的第一差异值和用于表征局部差异程度的第二差异值；

通过所述差异值对所述第二拍摄装置进行遮挡检测包括：

通过第一差异值对所述第二拍摄装置进行第一遮挡检测；

若根据检测结果确定出所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求，则通过所述第二差异值对所述第二拍摄装置进行第二遮挡检测。

3.根据权利要求2所述的方法，其特征在于，所述第一差异值为基于所述第一图像和对齐处理之后的第二图像的灰度图像的方差确定出的；

通过第一差异值对所述第二拍摄装置进行第一遮挡检测包括：

将所述第一差异值和预设差异值进行比较；

其中，若比较出所述第一差异值大于所述预设差异值，则确定所述第一图像和对齐处理之后的第二图像之间的整体差异程度不满足预设要求，且确定所述第二拍摄装置被遮挡，以及所述第二拍摄装置被遮挡的面积大于预设面积；

若比较出所述第一差异值小于或者等于所述预设差异值，则所述第一图像和对齐处理之后的第二图像之间的整体差异程度满足预设要求。

4.根据权利要求2所述的方法，其特征在于，所述差异检测包括局部差异检测，所述差异值包括所述第二差异值；

将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值包括：

在所述第二图像中确定第一目标区域，其中，所述第一目标区域为所述第二图像的多个图像区域中包含纹理信息最少的区域；

在所述第一图像中确定所述第一目标区域的相对区域，得到第二目标区域；

对所述第一目标区域内的图像和所述第二目标区域内的图像进行差异检测，得到所述第二差异值，以通过所述第二差异值对所述第二拍摄装置进行遮挡检测。

5.根据权利要求4所述的方法，其特征在于，对所述第一目标区域内的图像和所述第二目标区域内的图像进行差异检测，得到所述第二差异值包括：

分别计算所述第一目标区域内的图像和所述第二目标区域内的图像的方差，得到第一方差值和第二方差值；

将所述第一方差值和所述第二方差值之间的差值确定为所述第二差异值。

6.根据权利要求2至5中任一项所述的方法，其特征在于，通过所述第二差异值对所述第二拍摄装置进行遮挡检测包括：

若所述第二差异值大于预设差值，则确定所述第二拍摄装置被遮挡；

若所述第二差异值小于或者等于所述预设差值，则确定所述第二拍摄装置未被遮挡。

7.根据权利要求4所述的方法，其特征在于，在所述第二图像中确定第一目标区域包括：

对所述第二图像进行纹理检测；

对纹理检测之后的所述第二图像进行图像分块处理，得到多个图像块；

将所述多个图像块中包含纹理信息最少的区域确定为所述第一目标区域。

8.根据权利要求1所述的方法，其特征在于，对所述第一图像和所述第二图像进行图像对齐处理包括：

通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理，得到对齐处理之后的所述第二图像。

9.根据权利要求8所述的方法，其特征在于，通过所述第一拍摄装置和第二拍摄装置的像元尺寸和焦距对所述第一图像和所述第二图像进行视场角对齐处理包括：

若所述第一拍摄装置的视场角小于所述第二拍摄装置的视场角，则通过所述第一拍摄装置和所述第二拍摄装置的像元尺寸和焦距，在所述第二图像中确定第一等效视场角区域；

在所述第二图像中抠取所述第一等效视场角区域内的图像；并将抠取到的图像作为对齐处理之后的所述第二图像，其中，对齐处理之后的所述第二图像和所述第一图像的图像内容相同。

10.根据权利要求1所述的方法，其特征在于，将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值包括：

提取对齐处理之后所述第一图像的灰度图像，得到第一灰度图像；以及提取所述对齐处理之后的所述第二图像的灰度图像，得到第二灰度图像；

根据所述第一灰度图像和所述第二灰度图像的方差确定所述差异值。

11.一种图像遮挡检测装置，其特征在于，包括：

获取单元，用于获取第一拍摄装置拍摄的第一图像，以及获取第二拍摄装置拍摄的第二图像；所述第一拍摄装置和所述第二拍摄装置为多摄像装置中的摄像头，所述第一图像为显示在所述多摄像装置的显示界面的图像；

对齐处理单元，用于对所述第一图像和所述第二图像进行图像对齐处理；

差异检测单元，用于将对齐处理之后的所述第一图像和对齐处理之后的第二图像进行差异检测，得到用于表征所述第一图像和对齐处理之后的第二图像之间的差异程度的差异值，所述差异检测包括：全局差异检测和/或局部差异检测；

遮挡检测单元，用于通过所述差异值对所述第二拍摄装置进行遮挡检测，得到遮挡检测结果，其中，所述遮挡检测结果用于确定所述第二拍摄装置是否被遮挡。

12.一种电子设备，包括存储器、处理设备，所述存储器中存储有可在所述处理设备上运行的计算机程序，其特征在于，处理设备执行计算机程序时实现如权利要求1至10任一项所述的方法。

13.一种具有处理设备可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理设备执行如权利要求1至10任一项所述的方法。

Images