CN111970405A - 摄像头遮挡检测方法、存储介质、电子设备及装置 - Google Patents

Abstract

本申请公开了一种摄像头遮挡检测方法、存储介质、电子设备及装置，终端设备包括至少两个摄像头，所述至少两个摄像头位于所述终端设备的同一侧，所述摄像头遮挡检测方法包括以下步骤：通过所述至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；分别对所述第一图像和所述第二图像进行特征提取，以获得所述第一图像和所述第二图像的至少两个特征向量；根据所述第一图像和所述第二图像的至少两个特征向量获取所述第一图像与所述第二图像之间的至少两种特征差异；根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡。根据本申请的摄像头遮挡检测方法可以准确检测摄像头的遮挡情况，该方法受环境影响小、检测准确。

Description

摄像头遮挡检测方法、存储介质、电子设备及装置

技术领域

本申请涉及手机技术领域，尤其是涉及一种摄像头遮挡检测方法、存储介质、电子设备及装置。

背景技术

相关技术中，关于电子设备中单一摄像头是否被遮挡的技术方案一般有，通过检测摄像头在未被遮挡前的亮度、对比度等信息，在遮挡后，信息发生变化，设计阈值检测遮挡，但此种方案对于图像场景发生变化的情况下并不能很好的检测出摄像头遮挡。此外，对于摄像头是否被遮挡的方式还有通过检测物体与摄像头之间的距离来判断摄像头是否被这遮挡。

上述技术方案中，判断摄像头是否被遮挡的适用场景有限，且主要应用在固定场景，同时需要复杂的标定数据来计算内外参信息、计算场景深度来判断摄像头是否被遮挡。已有算法一般采用单一图像特征，检测能力有限，不能应对多种多样的场景，使用效果较差。

发明内容

本申请的一个目的在于提出一种终端设备的摄像头遮挡检测方法，该方法可以准确检测摄像头的遮挡情况，该方法受环境影响小、检测准确。

本申请的另一个目的在于提出一种计算机可读存储介质。

本申请的另一个目的在于提出一种计电子设备。

本申请的另一个目的在于提出一种终端设备的摄像头遮挡检测装置。

根据本申请的终端设备的摄像头遮挡检测方法，所述终端设备包括至少两个摄像头，所述至少两个摄像头位于所述终端设备的同一侧，所述摄像头遮挡检测方法包括以下步骤：通过所述至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；分别对所述第一图像和所述第二图像进行特征提取，以获得所述第一图像和所述第二图像的至少两个特征向量；根据所述第一图像和所述第二图像的至少两个特征向量获取所述第一图像与所述第二图像之间的至少两种特征差异；根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡。

根据本申请的对于摄像头遮挡的检测方法，通过比对至少两个摄像头所拍摄的第一图像与第二图像，获取第一图像与第二图像的至少两种特征差异，来判断摄像头是否被遮挡。根据本申请的对于摄像头遮挡的检测方法可靠度高，通过对至少两种特征向量进行比对，使摄像头遮挡检测方法可以适用于不同的使用场景中，提高了终端设备对于摄像头是否被遮挡判断的可靠性，也提高了及检测结果的准确度。

根据本申请的计算机可读存储介质，其上存储有终端设备的摄像头遮挡检测程序，该摄像头遮挡检测程序被处理器执行时实现上述任意一种的终端设备的摄像头遮挡检测方法。

根据本申请的计算机可读存储介质，通过比对至少两个摄像头所拍摄的第一图像与第二图像，获取第一图像与第二图像的至少两种特征差异，来判断摄像头是否被遮挡。

根据本申请的对于摄像头遮挡的检测方法可靠度高，通过对至少两种特征向量进行比对，使摄像头遮挡检测方法可以适用于不同的使用场景中，提高了终端设备对于摄像头是否被遮挡判断的可靠性，也提高了及检测结果的准确度。

根据本申请的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的终端设备的摄像头遮挡检测程序，所述处理器执行所述摄像头遮挡检测程序时，实现上述任意一种的终端设备的摄像头遮挡检测方法。

根据本申请的电子设备，通过比对至少两个摄像头所拍摄的第一图像与第二图像，获取第一图像与第二图像的至少两种特征差异，来判断摄像头是否被遮挡。根据本申请的对于摄像头遮挡的检测方法可靠度高，通过对至少两种特征向量进行比对，使摄像头遮挡检测方法可以适用于不同的使用场景中，提高了终端设备对于摄像头是否被遮挡判断的可靠性，也提高了及检测结果的准确度。

根据本申请的终端设备的摄像头遮挡检测装置，包括：图像获取模块，通过所述至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；特征提取模块，用于分别对所述第一图像和所述第二图像进行特征提取，以获得所述第一图像和所述第二图像的至少两个特征向量；特征差异获取模块，用于根据所述第一图像和所述第二图像的至少两个特征向量获取所述第一图像与所述第二图像之间的至少两种特征差异；确定模块，用于根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡。

根据本申请的摄像头遮挡检测装置，通过设置图像获取模块、特征提取模块、特征差异获取模块以及确定模块，可以准确可靠地检测到摄像头的遮挡情况，在复杂的环境下，摄像头遮挡检测装置可以实现对摄像头是否被遮挡的准确检测，检测精度高，适用性好，抗外界干扰能力强，大大提高了摄像头检测装置的使用体验，优化了用户的使用感受。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的终端设备的摄像头遮挡检测方法的流程图。

图2是根据本申请的电子设备的结构示意图；

图3是根据本申请的摄像头遮挡检测装置的结构示意图；

图4是根据本申请一个实施例的电子设备的结构示意图。

附图标记：

电子设备1，存储器11，处理器12，

摄像头遮挡检测装置2，图像获取模块21，特征提取模块22，特征差异获取模块23，确定模块24。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

相关技术中，关于电子设备中单一摄像头是否被遮挡的技术方案一般有，通过检测摄像头在未被遮挡前的亮度、对比度等信息，在遮挡后，信息发生变化，设计阈值检测遮挡，但此种方案对于图像场景发生变化的情况下并不能很好的检测出摄像头遮挡。此外，对于摄像头是否被遮挡的方式还有通过检测物体与摄像头之间的距离来判断摄像头是否被这遮挡。

上述技术方案中，判断摄像头是否被遮挡的适用场景有限，且主要应用在固定场景，同时需要复杂的标定数据来计算内外参信息、计算场景深度来判断摄像头是否被遮挡。已有算法一般采用单一图像特征，检测能力有限，不能应对多种多样的场景，使用效果较差。

为此本申请提出了一种终端设备的摄像头检测方法。

下面参考图1描述根据本申请实施例的终端设备的摄像头遮挡检测方法。

根据本申请的终端设备包括至少两个摄像头，至少两个摄像头位于终端设备的同一侧，摄像头遮挡检测方法包括：通过至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；分别对第一图像和第二图像进行特征提取，以获得第一图像和第二图像的至少两个特征向量；根据第一图像和第二图像的至少两个第二特征向量获取第一图像与第二图像之间的至少两种特征差异；根据第一图像与第二图像之间的至少两种特征差异确定摄像头是否被遮挡。

通过对多个摄像头中的至少两个摄像头所拍摄的第一图像和第二图像进行对比，以在摄像头中的一个被遮挡时，可以通过对比第一图像与第二图像的两种特征差异，以获知多个摄像头中的一个被遮挡。

而具体的对比，可以通过将第一图像和第二图形中的特征进行提取，以获取第一图像和第二图的至少两个特征向量。这里需要说明的是，特征向量可以灰度数量分布特征向量、灰度空间分布特征向量、平均灰度特征向量、纹理特征向量和感光特征向量，当然也不限于上述的特征向量，还可以是颜色特征向量、形状特征向量、空间关系特征向量。

在多个摄像头中的一个被遮挡后，不同摄像头所拍摄的第一图像和第二图像中，可能会出现其中的某一个特征向量发生变化。但是对于仅仅考虑一个特征向量发生变化就判断摄像头中的一个被遮挡，无法在不同的场景下做出准确的判断。

根据本申请的一些实施例中，多个摄像头中可以包括mono摄像头和主摄像头，在某些场景下，mono遮挡后可能与主摄像头所拍摄的图像相似，比如纯色墙面桌面地面等场景，遮挡前后mono图像的纹理基本一致，此种情况采用纹理特征并不恰当。因此，采用单一特征向量进行比对，将导致对于摄像头是否被遮挡的检测会出现不准确的情况。

而本申请通过对至少两个特征向量进行分析，来获取第一图像与第二图像之间的之的至少两种特征差异，以使终端设备在特定的场景下对摄像头被遮挡情况判断更加准确，例如，在特征向量中包图像的纹理时，同时还会检测另一种特征向量，以进一步判断，从而避免在特定场景下摄像头被遮挡，但某一个特征向量不发生变化的情况，提高了摄像头遮挡检测方法的可靠性。

根据本申请的对于摄像头遮挡的检测方法，通过比对至少两个摄像头所拍摄的第一图像与第二图像，获取第一图像与第二图像的至少两种特征差异，来判断摄像头是否被遮挡。根据本申请的对于摄像头遮挡的检测方法可靠度高，通过对至少两种特征向量进行比对，使摄像头遮挡检测方法可以适用于不同的使用场景中，提高了终端设备对于摄像头是否被遮挡判断的可靠性，也提高了及检测结果的准确度。

根据本申请的一些实施例，第一图像和第二图像中的一幅通过至少两个摄像头中的mono摄像头获取得到。终端设备的摄像头遮挡方法可以对mono摄像头是否被遮挡进行判断，mono摄像头在未遮挡的情况下，终端设备的主摄像头和mono图像的差异比较小，其中，主摄像头可以是任意一种摄像头，如广角摄像头、变焦镜头、微距镜头等，而主摄像头与mono摄像头在未被遮挡时所拍摄的第一图像与第二图像画面之间，主要有视场大小的差异，亮度也会有轻微差异，从外观上看图像细节相似，差异较小。

当mono被遮挡后，第一图像与第二图像的差异变大，因此分别对主摄和mono图像提取特征向量，计算特征向量之间的距离，当达到预设阈值时即判为遮挡。但是在某些场景下，mono遮挡后可能与主摄图像相似，比如纯色墙面桌面地面等场景，遮挡前后mono图像的纹理基本一致，而通过进一步比对第一图像与第二图像中的另一种特征向量，以获得另一种特征差异，以避免在单独对比纹理特征向量时，摄像头遮挡检测方法的检测不准确。

进一步地，在分别对第一图像和第二图像进行特征提取之前，分别获取第一图像的亮度信息和第二图像的亮度信息，以便更加第一图像的亮度信息和第二图像的亮度信息获取第一图像和第二图像的至少两种特征向量。

终端设备进行拍摄时可以选择人像模式，在人像模式下可以同时获取主摄的RGB图像和mono的黑白图像，由于黑白图像只有亮度信息，因此为了比较两者图像差异，首先将第一图像和第二图像分别转化为YUV空间，从而将第一图像和第二图像亮度信息和颜色信息的分离，以进一步分析第一图像和第二图像中的亮度信息，方便后续特征提取和特征距离的计算。

更进一步地，摄像头检测方法中，至少两个特征向量包括灰度数量分布特征向量、灰度空间分布特征向量、平均灰度特征向量、纹理特征向量和感光特征向量中的至少两个。为了应对更加复杂多样的场景，根据本申请的终端设备的摄像头遮挡检测方法通过对上述灰度数量分布特征向量、灰度空间分布特征向量、平均灰度特征向量、纹理特征向量和感光特征向量中的至少两个进行计算，从而获取至少两种特征差异。上述的五种图像特征分别反映了图像在某一方面的性质，而通过获得至少两种特征差异可以进一步提高本申请中摄像头遮挡检测方法的检测准确性，可以在更多复杂的场景下对摄像头的遮挡情况准确检测。

根据本申请的一些实施例，摄像头遮挡检测方法中至少两种特征差异包括灰度直方图分布差异、空间分布特征距离、平均灰度值差异、像素突变点数量差异和进光量差异中的至少两个。

在其中一个摄像头被遮挡后，灰度统计可以由直方图表示，具体的，获取灰度直方图的分布差异的方法可以包括：首先对分布对第一图像和第二图像的灰度图进行缩放，对灰度图进行缩放可以利用间隔取值，从而降低时间复杂度，实现对灰度图的缩放过程。

其次，对第一图像和第二图像缩放完成后的灰度图进行统计；统计完成后计算第一图像与第二图像的灰度特征距离。通过对第一图像和第二图像进行缩放，可以降低计算的复杂度，提高检测方法的运行效率，降低执行程序所消耗的算力。

通过对比第一图像和第二图像的灰度直方图分布差异，从而获得用于判断摄像头是否被遮挡的其中的一个特征差异。

关于空间分布特征距离，在摄像头中的一个被遮挡后，灰度空间分布会发生较大的变化，失去对比。

首先，对第一图像和第二图像转化为YUV空间，提取第一图像和第二图像中的灰度图，将灰度图分隔为若干个区域，例如，分布将第一图像的灰度图和第二图像的灰度图均分隔为8*8个图像块；对每个图像块取灰度的平均值，并与整幅图像的平均值进行比较，每个图像块的灰度平均值大于整幅图像的平均值取1，每个图像块的灰度平均值小于整幅图像的平均值取0，从而获得64个维度的特征，该64维度的特征可以反映绘图的空间分布情况。

而在其中一个摄像头被遮挡后，通过对比空间分布特征向量的距离，可以进一步提高摄像头遮挡检测方法的检测准确性。

关于平均灰度值差异，在大部分场景下，相比较于主摄像头，完全遮挡mono摄像头后会得到一幅亮度较低的图像，因此图像的平均亮度可以作为特征差异，以用于判断摄像头是否被遮挡。

首先计算第一图像与第二图像中的平均灰度，对于第一图像而言，可以通过公式

计算得到平均灰度，对于第二图像而言，可以通过

计算得到平均灰度，而平均灰度值差异为d＝|mean1-mean2|。

关于像素突变点数量差异，遮挡后摄像头所拍摄的图像是一副没有纹理的图像，没有线条和边缘，相邻像素点间差异较小，图像较为平坦，而未遮挡的图像纹理较为丰富(纯色场景除外)，会有各种边缘突变信息，相邻像素点的灰度差异较大。因此首先等间距取像素，计算前后像素点的灰度差，剔除极大极小值后，统计灰度差异较大的像素点对的数量，以作为突变点的数量。例如，计算得到主摄像头所拍摄的第一图像以及mono摄像头所拍摄的第二图像中，第一图像的突变点数量为C₁和第二图像的突变点数量为C₂，特征差异d为：d＝C₁-C₂。

关于进光量差异，在相机拍照流程中，会测量多个摄像头的进光量的大小，当mono摄像头被完全遮挡之后，进光量会明显小于主摄进光量，两者差异变大。设主摄和mono摄像头的进光量分别为B₁、B₂，则两者的特征差异d可以直接相减得到：d＝B₁-B₂。

根据本申请的一些实施例，在根据第一图像和第二图像之间的至少两个特征差异确定摄像头被遮挡之前，还对至少两种特征差异进行时域滤波处理。

在对每对图像进行特征提取之后，进一步可以获取到第一图像和第二图像的特征距离，但是由于终端设备使用场景会不断变化，特征距离也会在一定范围内变化，为了使结果更加平滑和稳定，在第一图像和第二图像的特征距离可能会变化较快，第一图像和第二图像利用历史帧特征距离加权得到滤波后的特征距离。以使摄像头遮挡检测方法可以在终端设备移动的过程中，得到的结果更加平滑，也进一步降低了摄像头遮挡检测方法所需要的算力，提高了摄像头遮挡检测方法的检测准确度。

根据本申请的一些实施例在根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡时，采用双路阈值的设定方式进行判断。

在检测出遮挡和未检测出遮挡的阈值设计中采用两路阈值进行判断，由于特征差异可以控制终端设备改变滤镜效果，而当特征差异在临界条件附近产生跳变，导致频繁改变滤镜效果，严重影响用户体验。而通过设置双路阈值可以很好的解决在频繁更换滤镜时，减少滤镜更换过程中对检测结果准确性的影响，也进一步提高了用户的使用体验。

下面描述根据本申请的第二方面实施例。

本申请还提出一种计算机可读存储介质，其上存储有终端设备的摄像头遮挡检测程序，该摄像头遮挡检测程序被处理器12执行时实现如上述实施例中任一项所述的终端设备的摄像头遮挡检测方法。

下面描述根据本申请的第三方面实施例。

如图2所示，本申请还提出一种电子设备1，电子设备1包括存储器11、处理器12及存储在存储器11上并可在处理器12上运行的终端设备的摄像头遮挡检测程序，所述处理器12执行所述摄像头遮挡检测程序时，实现如上述实施例中任一项所述的终端设备的摄像头遮挡检测方法。

如图4所示，根据本申请的一个实施例，所述电子设备1构造为手机，所述手机内设置有上述实施例的储存器11和处理器12,。

下面描述根据本申请的第四方面实施例。

如图3所示，本申请还提出一种终端设备的摄像头遮挡检测装置2，摄像头遮挡检测装置2包括：图像获取模块21，通过所述至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；特征提取模块22，用于分别对所述第一图像和所述第二图像进行特征提取，以获得所述第一图像和所述第二图像的至少两个特征向量；特征差异获取模块23，用于根据所述第一图像和所述第二图像的至少两个特征向量获取所述第一图像与所述第二图像之间的至少两种特征差异；确定模块24，用于根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡。

根据本申请的摄像头遮挡检测装置，通过设置图像获取模块、特征提取模块、特征差异获取模块以及确定模块，可以准确可靠地检测到摄像头的遮挡情况，在复杂的环境下，摄像头遮挡检测装置可以实现对摄像头是否被遮挡的准确检测，检测精度高，适用性好，抗外界干扰能力强，大大提高了摄像头检测装置的使用体验，优化了用户的使用感受。在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。在本申请的描述中，“第一特征”、“第二特征”可以包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上。在本申请的描述中，第一特征在第二特征“之上”或“之下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。在本申请的描述中，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种终端设备的摄像头遮挡检测方法，其特征在于，所述终端设备包括至少两个摄像头，所述至少两个摄像头位于所述终端设备的同一侧，所述摄像头遮挡检测方法包括以下步骤：

通过所述至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；

分别对所述第一图像和所述第二图像进行特征提取，以获得所述第一图像和所述第二图像的至少两个特征向量；

根据所述第一图像和所述第二图像的至少两个特征向量获取所述第一图像与所述第二图像之间的至少两种特征差异；

根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡。

2.如权利要求1所述的终端设备的摄像头遮挡检测方法，其特征在于，所述第一图像和所述第二图像中的一幅通过所述至少两个摄像头中的mono摄像头获取得到。

3.如权利要求2所述的终端设备的摄像头遮挡检测方法，其特征在于，在分别对所述第一图像和所述第二图像进行特征提取之前，分别获取所述第一图像的亮度信息和所述第二图像的亮度信息，以便根据所述第一图像的亮度信息和所述第二图像的亮度信息获取所述第一图像和所述第二图像的至少两个特征向量。

4.如权利要求1-3中任一项所述的终端设备的摄像头遮挡检测方法，其特征在于，所述至少两个特征向量包括灰度数量分布特征向量、灰度空间分布特征向量、平均灰度特征向量、纹理特征向量和感光特征向量中的至少两个。

5.如权利要求4所述的终端设备的摄像头遮挡检测方法，其特征在于，所述至少两种特征差异包括灰度直方图分布差异、空间分布特征距离、平均灰度值差异、像素突变点数量差异和进光量差异中的至少两个。

6.如权利要求1-3中任一项所述的终端设备的摄像头遮挡检测方法，其特征在于，在根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡之前，还对所述至少两种特征差异进行时域滤波处理。

7.如权利要求1-3中任一项所述的终端设备的摄像头遮挡检测方法，其特征在于，在根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡时，采用双路阈值的设定方式进行判断。

8.一种计算机可读存储介质，其特征在于，其上存储有终端设备的摄像头遮挡检测程序，该摄像头遮挡检测程序被处理器执行时实现如权利要求1-7中任一项所述的终端设备的摄像头遮挡检测方法。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的终端设备的摄像头遮挡检测程序，所述处理器执行所述摄像头遮挡检测程序时，实现如权利要求1-7中任一项所述的终端设备的摄像头遮挡检测方法。

10.一种终端设备的摄像头遮挡检测装置，其特征在于，包括：

图像获取模块，通过所述至少两个摄像头获取不同摄像头拍摄的第一图像和第二图像；

特征提取模块，用于分别对所述第一图像和所述第二图像进行特征提取，以获得所述第一图像和所述第二图像的至少两个特征向量；

特征差异获取模块，用于根据所述第一图像和所述第二图像的至少两个特征向量获取所述第一图像与所述第二图像之间的至少两种特征差异；

确定模块，用于根据所述第一图像与所述第二图像之间的至少两种特征差异确定摄像头是否被遮挡。

Images