CN102306304A - 人脸遮挡物识别方法及其装置 - Google Patents

Abstract

本发明公开人脸遮挡物识别方法，包括：从一视频摄像系统中获取多帧图像，确定所述多帧图像的每一帧图像中人脸所处的区域；统计所述多帧具有人脸图像区域的图像中，各器官中心位置的坐标值和所述坐标值数量；将所述坐标值中符合正常人脸图像中各器官中心位置的坐标值确定为器官位置；根据所述某器官坐标值数量确定该器官位置遮挡情况，确定人脸图像中各器官位置的异常特征。根据本发明的另一个方面，还公开人脸遮挡物识别装置，其用于从一视频摄像系统中获取图像数据以确定人脸图像中各器官位置的异常特征。本发明能够高效识别人脸主要器官位置是否有遮挡物遮挡等异常情况，特别适用于银行，珠宝行等需要警戒监视的视频系统中。

Description

人脸遮挡物识别方法及其装置

技术领域

本发明涉及面部特征识别方法以及相应的装置，尤其涉及一种人脸遮挡物识别方法及其装置。 

背景技术

当前视频监控系统大多由前端摄像机加后端图像采集与压缩存储等功能组成，称为“数字图像刻录机”或“DVR”，主要包含以下特点： 

此类视频监控系统可以实时采集摄像机的模拟信号，并转化为数字信号，并由处理器将数字化的信号进行压缩，存储到本地硬盘或光盘。

此类视频监控系统通常可以通过网络将现场的视频信息实时的传输到主控机房，工作人员可以对现场的情况进行实时的监视。 

此类视频监控系统通常提供一个用户报警输入接口，用户可以通过此接口向系统软件提供报警，如火灾报警信号、红外传感器报警信号等。工作人员则根据报警信号对现场的情况做重点监视，如有必要则采取相应的行动。 

但是，值得注意的是，随着整个社会对安防意识的不断提高，传统的、机械的以图像采集及存储（DVR）为主的视频监控系统在一些特殊场合已经不能够满足要求，如面向银行ATM机的违法犯罪行为越来越多，另外，近年来以反恐为代表的各种反犯罪活动对特殊视频监控系统的要求更加迫切，面对这种新的需求，现有的视频监控的主要缺点暴露无遗：无法进行面部有效识别，对可疑分子不能预先区分，往往导致保安系统不能很好的对犯罪活动做出及时反映。 

发明内容

本发明提供了一种能够对人脸遮挡物进行识别的方法及其装置，用于解决目前视频监控系统中无法识别人脸面部异常特征的问题。 

    本发明公开人脸遮挡物识别方法，包括：从一视频摄像系统中获取多帧图像，其中， 

确定所述多帧图像的每一帧图像中人脸所处的区域；

统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官各自的数量和；

根据所述多帧图像中，同一人同种器官在图像中出现次数，以确定所述同种器官位置的遮挡情况，若所述同种器官出现次数少于一设定值，则确定所述同种器官位置有遮挡。

上述的人脸遮挡物识别方法，其中，确定每帧图像中人脸的图像区域的步骤中还包括如下步骤：逐行扫描并判断图像中各点亮度值是否大于第一阈值；若某点像素亮度值大于第一阈值，则该像素点区域为人脸像素区域；若某点像素亮度值不大于第一阈值，则该像素点区域为背景区域。 

上述的人脸遮挡物识别方法，其中，统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官数量的和的步骤中包括如下步骤： 

    扫描所有具有人脸像素区域的图像，将每帧图像与典型人眼、人嘴的像素图对比，以确定每帧图像中可能为人眼区域和人嘴区域的中心位置坐标，分别记为人眼坐标和人嘴坐标；

删除所有所述人眼坐标和人嘴坐标中位于人脸像素区域外的坐标，以及人眼坐标位于人嘴坐标下方的坐标；

统计人眼坐标以及人嘴坐标的数量以及具体位置。

上述的人脸遮挡物识别方法，其中，根据所述多帧图像中所述每种器官的数量确定该器官位置遮挡情况，确定人脸像素中各器官位置的异常特征的步骤具体包括确定人眼遮挡情况的步骤以及确定人嘴遮挡情况的步骤，其中，确定人眼遮挡情况的步骤包括： 

将分布在不同帧图像中，偏差小于2个像素单位的人眼坐标确定为同一个人的人眼位置，将分布在不同帧图像中，偏差不小于2个像素单位的人眼坐标确定为不同人的人眼位置，提取每一个人的人眼坐标的个数；

分别判断所述人眼坐标的个数是否大于第二阈值；若某人人眼坐标个数大于所述第二阈值，则确定此人不带眼镜；若某人人眼坐标个数大于所述第二阈值，则从任意一帧包含人脸像素的图像中提取以人眼坐标为中心的两块区域的平均亮度值，所述两块区域的大小分别等同于典型人眼像素图的大小，并判断两块区域中像素的平均亮度值与典型人眼像素图的平均亮度值的差异度是否大于第三阈值，若差异度大于第三阈值，则确定此人带墨镜，为异常特征，若差异度不大于第三阈值，则确定此人带普通眼镜；以及

确定人嘴遮挡情况的步骤包括：

将分布在不同帧图像中，偏差小于2个像素单位的人嘴坐标确定为同一个人的人嘴位置，将分布在不同帧图像中，偏差不小于2个像素单位的人嘴坐标确定为不同人的人嘴位置，提取每一个人的人嘴坐标的个数；

分别判断每一个人的人嘴坐标的个数是否大于第四阈值，若某人人嘴坐标个数大于所述第四阈值，则确定此人不带口罩；若某人人嘴坐标个数大于所述第四阈值，则确定此人带口罩，为异常特征。

根据本发明的另一个方面，还提供人脸遮挡物识别装置，包括获取装置，用于从一视频摄像系统中获取多帧图像，其特征在于： 

第一确定装置，用于确定所述多帧图像的每一帧图像中人脸所处的区域；

统计装置，用于统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官各自的数量和；

第二确定装置，用于根据所述多帧图像中，同一人同种器官在图像中出现次数，以确定所述同种器官位置的遮挡情况，若所述同种器官出现次数少于一设定值，则确定所述同种器官位置有遮挡。

上述的人脸遮挡物识别装置，其中，所述第一确定装置中还包括如下装置：扫描装置，其用于逐行扫描获取的多帧图像；第一判断装置，其用于判断所述多帧图像中各点亮度值是否大于第一阈值，若某点像素亮度值大于第一阈值，则该像素点区域为人脸像素区域，若某点像素亮度值不大于第一阈值，则该像素点区域为背景区域第一判断装置，其用于逐行扫描并判断图像中各点亮度值是否大于第一阈值；若某点像素亮度值大于第一阈值，则该像素点区域为人脸像素区域；若某点像素亮度值不大于第一阈值，则该像素点区域为背景区域。 

上述的人脸遮挡物识别装置，其中，所述统计装置中还包括如下装置： 

第三确定装置，用于扫描所有具有人脸像素区域的图像，将每帧图像与典型人眼、人嘴的像素图对比，以确定每帧图像中可能为人眼区域和人嘴区域的中心位置坐标，分别记为人眼坐标和人嘴坐标；

删除装置，用于删除所有所述人眼坐标和人嘴坐标中位于人脸像素区域外的坐标，以及人眼坐标位于人嘴坐标下方的坐标；

记录装置，用于统计人眼坐标以及人嘴坐标的数量以及具体位置。

上述的人脸遮挡物识别装置，其中，所述第二确定装置中包括第四确定装置和第五确定装置，其中第四确定装置包括： 

第一提取装置，用于将分布在不同帧图像中，偏差小于2个像素单位的人眼坐标确定为同一个人的人眼位置，将分布在不同帧图像中，偏差不小于2个像素单位的人眼坐标确定为不同人的人眼位置，提取每一个人的人眼坐标的个数；

第二判断装置，用于分别判断所述人眼坐标的个数是否大于第二阈值；若某人人眼坐标个数大于所述第二阈值，则确定此人不带眼镜；若某人人眼坐标个数大于所述第二阈值，则从任意一帧包含人脸像素的图像中提取以人眼坐标为中心的两块区域的平均亮度值，所述两块区域的大小分别等同于典型人眼像素图的大小，并判断两块区域中像素的平均亮度值与典型人眼像素图的平均亮度值的差异度是否大于第三阈值，若差异度大于第三阈值，则确定此人带墨镜，为异常特征，若差异度不大于第三阈值，则确定此人带普通眼镜；以及，第五确定装置包括：

第二提取装置，用于将分布在不同帧图像中，偏差小于2个像素单位的人嘴坐标确定为同一个人的人嘴位置，将分布在不同帧图像中，偏差不小于2个像素单位的人嘴坐标确定为不同人的人嘴位置，提取每一个人的人嘴坐标的个数；

第三判断装置，用于分别判断每一个人的人嘴坐标的个数是否大于第四阈值，若某人人嘴坐标个数大于所述第四阈值，则确定此人不带口罩；若某人人嘴坐标个数大于所述第四阈值，则确定此人带口罩，为异常特征。

本发明通过对人脸面部的各主要部位进行数据分析，与预先设定的阈值多次进行比对，从而实现了对人体面部各主要特征的定位检测。 

应用本发明能够快速定位人脸并进行相关特征的识别，例如对犯罪分子常用的墨镜、口罩、帽子或其它的遮挡物进行识别，将大大提高监控的智能性，同时，对无需过多的人工干预，能够有效控制经济成本。 

附图说明

通过阅读参照如下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显： 

图1示出根据本发明的，一种人脸遮挡物识别方法的流程图； 

图2示出根据本发明的，一种人脸遮挡物识别方法中判断人脸所处区域的方法流程图；

图3示出根据本发明的，一种人脸遮挡物识别方法统计器官中心位置坐标值和所述坐标值数量的方法流程图；

图4示出根据本发明的，一种人脸遮挡物识别方法中判断人眼部遮挡情况的方法流程图；

图5示出根据本发明的，一种人脸遮挡物识别方法中判断人嘴部遮挡情况的方法流程图；

图6示出根据本发明的，一种人脸遮挡物识别装置中判断人脸所处区域装置的结构图；

图7出根据本发明的，一种人脸遮挡物识别装置中统计器官中心位置坐标值和每种器官在多帧图像中出现数量的装置结构图；以及

图8示出根据本发明的，一种人脸遮挡物识别装置中判断人眼部以及人嘴部遮挡情况装置的结构图。

具体实施方式

以下结合附图及具体实施方式对本发明进行进一步详细说明。此处所描述的具体实施方式仅用于解释本发明，并不用于限定本发明的保护范围。 

本发明的原理是：在正常光照下，或在夜晚有辅助照明或摄像头有红外补光条件下，采集模拟或数字摄像头的视频信号，并对所采集的视频图像进行处理，找到当前图像中的人脸位置并进行分析，如果人脸部特征有明显的遮挡物，如墨镜或口罩，则系统给出报警信号。当前主流的视频监控系统当中大多只有简单的图像采集与压缩存储功能，此产品可以在不改变现有监控系统的情况下，加入人脸遮挡智能报警功能，很好的解决了某些特殊场合下的实时报警问题。 

参考图1所示的根据本发明的一个具体实施方式的，人体面部各主要特征定位检测方法的流程图。在本实施例中，描述了在视频监控系统中对人体面部各主要特征定位检测的整体流程。作为本发明的一个优选例，具体地，先执行步骤S101，获取一帧图像数据，从视频摄像器采集模拟或者数字信号的数据，由于视频摄像器所拍摄的往往是连续时间段的图像，其中，步骤S101的执行次数可以是连续多次的，来获取多帧图像数据，然后执行步骤S102，滤波器进行滤波，去除图像噪点，例如对帧进行空域滤波的处理，以上两步骤均为图像处理的现有技术，是处理图像前必要的获取步骤，下述不再详细说明。 

再然后执行步骤S103，确定所述多帧图像的每一帧图像中人脸所处的区域，由于摄像的区域并不是对准人脸拍摄，图像数据中可能既包含人脸也包含背景，通过检测图像中的亮度值较大的像素区域的位置，来确定每一帧图像中相对背景亮度较暗的像素区域为背景区域，成片亮度较高的像素区域确定为人脸区域。 

然后执行步骤S104，统计人脸像素区域中，各器官中心位置的坐标值和所述坐标值数量。在这一步中，是统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官各自的数量和，通过对处于人脸像素区域内的像素分析，确认哪些像素区域为人脸上的器官，例如，眼，耳，口，鼻。将这些像素区域的中心位置的坐标值进行记录，以及 ，所述每种器官各自的数量和可以用坐标值数量表示，说明多帧图像中某一器官出现次数，通过统计总的出现次数确定数量和，例如，人嘴中心位置在第一帧图像中的坐标为（32,67），在第二帧图像中的坐标为（33,66），在第三帧图像中的坐标为（35,65），而在第四起以及之后的图像中未显现，则相应的记录上述3个坐标值，以及坐标值数量的统计结果为3个，说明在4帧图像中该器官出现在3帧中，出现了3次。上述的假设中，说明在一段视频中，人嘴部位出现了向右移动的迹象，并很快的被遮挡物遮挡。                                                                                

在步骤S104之后，在一个变化例中，还包括执行步骤S105，将符合正常人脸像素中各器官中心位置的坐标值确定为器官位置，由于现有技术对图像处理中目标对象识别的准确率不高，有可能将实际“非器官图像”区域确认未器官图像，因此，按照人脸中五官的分布，仅将符合人脸正常五官分布的坐标值确定为器官位置，具体地，如上述人嘴中心位置坐标为（35,65）的图像中，若该坐标位于人脸像素的中下区域，则确定该坐标值代表了人嘴，可以确定其为器官位置，进一步地，步骤S105也可以不执行。

最后执行步骤S106，根据所述某器官坐标值数量确定该器官位置遮挡情况，确定人脸像素中各器官位置的异常特征，具体地，根据所述多帧图像中，同一人同种器官在图像中出现次数，以确定所述同种器官位置的遮挡情况，若所述同种器官出现次数少于一设定值，则确定所述同种器官位置有遮挡，例如，在一段视频里，以人嘴中心位置坐标为（35,65）的图像中，人嘴图像区域上方却没有相应的人眼图像，或者人眼图像数量少于一个设定值（可以是5次），则可以确定为人眼被遮挡物遮挡了，确定人眼位置有异常特征，这样的设定值可以根据具体需求改变。 

图2示出根据本发明的，一种人脸遮挡物识别方法中判断人脸所处区域的方法流程图。在本实施例中，经过步骤S210滤波处理后的，再进行图像数据的采样。本领域技术人员理解，图2所示的方法步骤为图1中步骤S103的详细实现过程。首先，执行步骤S212，判断亮度是否大于第一阈值，具体地，逐行扫描并判断图像中各点亮度值是否大于第一阈值，将采样的图像数据中每一个像素的亮度与第一阈值做比较，例如，第一阈值设定为19，则判断某一像素的亮度值是否大于19。 

若某点像素的亮度值大于所述第一阈值，则执行步骤S213，否则，执行步骤S212。其中，步骤S213是将该像素确定为背景区域，步骤S212将该像素确定为人头运动区域，这样，若干个符合亮度需要的像素被确定为人头运动区域，在一帧图像中，就能够完成确认人脸的图像范围了。 

本领域技术人员理解，所述第一阈值的设定可以根据一天中不同的时间选取不同的值，例如，在白天光照情况较好时，所述第一阈值选取为一个较大的值，预设以纯黑为0亮度值，透白为100，则可以选定60为第一阈值，而在晚上灯光等光线较弱的情况下，所述第一阈值可以设定为一个相对较小值，例如选取40作为第一阈值。 

图3示出根据本发明的，一种人脸遮挡物识别方法统计器官中心位置坐标值和所述坐标值数量的方法流程图。首先执行步骤S310，确定每张图像中可能为人眼和人嘴的像素的位置坐标，具体地，所述人眼和人嘴的位置的确定可以通过扫描所有具有人脸像素区域的图像，将每张图像与典型人眼、人嘴的像素图对比来实现，由于普通人的眼睛和嘴巴的平面图存在些许差异，需要建立一个像素图数据库用以存储多种典型的人眼，人嘴的像素图，例如，可以按照性别，不同年龄，种族，肤色来选取典型的像素图，在每次需要确定人脸上人眼，人嘴等器官的位置时，将所述数据库中存储的典型器官的像素图与人脸区域内的像素对比，当人脸区域内存在像素与数据库中典型器官的像素图相同时，确定人脸的器官像素区域。其中，存储于数据库中的典型器官像素图的大小可以是25*25，使得数据库不至于过大，加快对比的速度。 

再执行步骤S311，删除所述坐标中位于人脸像素区域外的坐标，以及人眼像素位于人嘴像素下方的坐标，在本步骤中，由于所述图像在识别过程中仍有可能存在错误，例如，将背景区域中的某块图像区域误判为人嘴或人眼，甚至错误识别导致识别的图像中人嘴图像位于人眼图像上方的错误，因此，需要将所述不符合正常人脸上器官分布的坐标删除，不能确认其为人眼或人嘴的坐标位置。 

最后，执行步骤S312，统计所有确定的人眼以及人嘴坐标的数量以及具体位置，将人眼坐标和人嘴坐标进行记录，具体地，将上述确认的人眼坐标和人嘴坐标的数量进行记录，将其具体坐标值也作相应的记录，在一个实施例中，可以将所述人眼以及人嘴的坐标数量和具体坐标值记录在一个外置存储器，如外接硬盘，方便备份。 

图4示出根据本发明的，一种人脸遮挡物识别方法中判断人眼部遮挡情况的方法流程图。在这个判断过程中，将分布在不同帧图像中，偏差小于2个像素单位的人眼坐标确定为同一个人的人眼位置，将分布在不同帧图像中，偏差不小于2个像素单位的人眼坐标确定为不同人的人眼位置，提取每一个人的人眼坐标的个数，具体地，当存在多人的情况时，分多次分别进行多人的判断，以下实施例为对图像中某一人的判断过程，本领域技术人员可参考来实现多人判断，其中，先执行步骤S410，提取人眼坐标的个数，在前述步骤中，被确认的人眼坐标优选地记录在内存中，因此，从内存中提取人眼坐标的个数，进一步地，还可以从如下任一处提取人眼坐标的个数：硬盘，远程数据库，移动便携式存储器。然后执行步骤S411，判断人眼坐标的个数是否大于第二阈值，在一个实施例中，一段连续的视频图像中，例如该段视频图像包含50帧，其中有40帧的图像中出现了人眼，根据前述的方法，可以记录人眼坐标数为40，则判断40是否大于第二阈值，所述第二阈值可以根据需要设定为任意值，如50，优选地，所述第二阈值的根据获取视频的时间长度取不同的值，例如，视频时长越长，则第二阈值的取值越大，第二阈值根据获取视频的时间长度不同而变化，可以更灵活的对视频中人脸上的遮挡物作出正确的判断，可以利用类似的函数D=T+10来计算，其中，D为第二阈值，T的视频时间长，（单位为秒），本领域技术人员结合现有技术可实现其他变化，所述第二阈值的取值并不影响本实施例的实施，在此不予赘述。 

在执行了步骤S411后，若判断结果为是，即人眼坐标数大于所述第二阈值，则执行步骤S413，判定此人不带眼镜，由于人眼部位频繁地在图像中出现，说明此人眼部无遮挡，不存在异常特征，然后便可结束识别过程。 

但若步骤S411的判断结果为否，即人眼坐标数不大于所述第二阈值，则执行步骤S412，提取人眼两块区域图像数据，而不是直接作出其他判断，由于人眼坐标数不大于所述第二阈值，说明人眼在图像中出现次数较少，有遮挡物遮挡人眼，在一个实施例中，需要进一步判断所述遮挡物为何物，优选地，从任意一帧包含人脸像素的图像中提取以人眼坐标为中心的两块区域的平均亮度值，因此，将人眼坐标位置的图像，以人眼坐标为中心，提取例如25*25的人眼区域的像素图的亮度值，其中，像素图的大小可根据需要变换，进一步地，所述人眼两块区域图像数据可以是从该段视频录像中包含人脸像素图像的第一帧中提取，也可以是最后一帧去提取，更进一步地，也可以是从任意一帧包含人脸像素的图像中提取。 

然后执行步骤S414，判断两块区域图像数据与普通人眼图像数据差异度是否大于第三阈值，采取判断两块区域中像素的平均亮度值与典型人眼像素图的平均亮度值的方法，即将所述提取的像素图与前述数据库中的典型人眼像素图做比较，所述比较的方法为确认两图像的平均亮度值，计算出提取的像素图各点的平均亮度值并与典型人眼像素图的平均亮度值大小作计算，其中，所述人眼区域为两块大小相同，完全对称的图像区域，可以以其中任意一块区域作为判断区域，也可以将两块同时作为判断区域，本领域技术人员理解，选取一块或两块人眼区域计算其像素的平均亮度值并不影响本实施例的实施，若计算出提取的像素图各点的平均亮度值为典型人眼像素图的平均亮度值的60%，则确定差异度为（1-60%）=40%，差异度越大，说明提取的像素图各点的平均亮度值越小，图像中红人眼部的遮挡物就越暗，在一个优选例中，所述第三阈值设置为50%。最后，若步骤S414的判断结果为是，即所述差异度大于所述第三阈值，人眼区域的亮度相比典型人眼图像的亮度过小，则执行步骤S415，判定此人带墨镜；若步骤S414的判断结果为否，即所述差异度不大于所述第三阈值，人眼区域的亮度相比典型人眼图像的亮度不至于过小，则执行步骤S416，判定此人带普通眼镜。其中，对于戴墨镜的情况可以将其记录为异常特征情况。 

图5示出根据本发明的，一种人脸遮挡物识别方法中判断人嘴部遮挡情况的方法流程图。参考图4所示的实施例，所不同的是，人嘴部遮挡情况的判断只需要判断其是否带有口罩，首先，执行步骤S510，提取人嘴坐标的个数，这一步骤类似步骤S410，只是提取人嘴坐标而不是人眼坐标，然后执行步骤S511，判断人嘴坐标的个数是否大于第四阈值，在本步骤中，第四阈值的设定可以参考第二阈值的设定，类似的描述在图2中已经相似解释，在此不予赘述。 

最后若步骤S511的判断结果为是，即人嘴图像出现次数比设定值多，则执行步骤S512，判定此人不带口罩，若最后若步骤S511的判断结果为否，即人嘴图像出现次数不比设定值多，则执行步骤S513，判定此人带口罩，有遮挡物，属于异常特征。 

综上所述，完成了人脸遮挡物的识别，对异常特征就能做出准确的判断，在一个具体应用实施例中，可以外接一个警报系统，若发现有遮挡物等异常特征，则触发警报；也可以通过GPRS等远程通信协议连接一远程服务器，若发现有遮挡物等异常特征，就发送信号并进行相应的视频片段记录，这些均为现有技术，本领域技术人员结合以使得本发明更为智能化。 

以下结合图6至图8说明本发明的装置结构，通过本发明的装置结构能够实现人脸遮挡物的识别，具体地，参考图1至图5所示的步骤理解本发明的装置识别遮挡物的工作。 

本发明的人脸遮挡物识别装置包括第一确定装置102（参考图6），统计装置103（参考图7）以及第二确定装置104（参考图8），在一个优选例中，包括一个获取装置。其中，所述获取装置用于从一视频摄像系统中获取多帧图像，第一确定装置102，用于确定所述多帧图像的每一帧图像中人脸所处的区域，统计装置103，用于统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官数量的和，第二确定装置104，用于根据所述多帧图像中，同一人同种器官在图像中出现次数，以确定所述同种器官位置的遮挡情况，若所述同种器官出现次数少于一设定值，则确定所述同种器官位置有遮挡。 

图6示出根据本发明的，一种人脸遮挡物识别装置中判断人脸所处区域装置的结构图。本领域技术人员理解，图6为第一确定装置的具体结构图。所述第一确定装置102中包括扫描装置201，其用于逐行扫描获取的多帧图像；第一判断装置202，其用于判断图像中各点亮度值是否大于第一阈值；若某点像素亮度值大于第一阈值，则该像素点区域为人脸像素区域；若某点像素亮度值不大于第一阈值，则该像素点区域为背景区域。通过第一判断装置202，对所述获取装置所获取的每一帧图像都能进行人脸图像区域的识别，将无关画面内容与目标人脸进行区分。 

图7出根据本发明的，一种人脸遮挡物识别装置中统计器官中心位置坐标值和每种器官在多帧图像中出现数量的装置结构图。具体地，图7所示的统计装置103中包括第三确定装置301，删除装置302以及记录装置303。其中，第三确定装置301用于扫描所有具有人脸像素区域的图像，将每帧图像与典型人眼、人嘴的像素图对比，以确定每帧图像中可能为人眼区域和人嘴区域的中心位置坐标，分别记为人眼坐标和人嘴坐标；删除装置302用于删除所有所述人眼坐标和人嘴坐标中位于人脸像素区域外的坐标，以及人眼坐标位于人嘴坐标下方的坐标；记录装置303用于统计剩余的人眼坐标以及人嘴坐标的数量以及具体位置，将所述剩余的人眼坐标和人嘴坐标进行记录，优选地，记录在内存中，也可以记录于外置存储装器。 

图8示出根据本发明的，一种人脸遮挡物识别装置中判断人眼部以及人嘴部遮挡情况装置的结构图。在本实施例中，第二确定装置104包括第四确定装置41和第五确定装置51，其中第四确定装置41用于确定人眼部遮挡情况，第五确定装置51用于确定人嘴部遮挡情况。具体地，第一确定装置41包括：第一提取装置401，用于将多帧图像中距离小于2个像素单位的人眼坐标确定为同一个人的人眼位置，将多帧图像中距离不小于2个像素单位的人眼坐标确定为不同人的人眼位置，选择任一人，提取此人的剩余人眼坐标的个数；第二判断装置402用于判断各组所述人眼坐标的个数是否大于第二阈值；若人眼坐标个数大于所述第二阈值，则确定此人不带眼镜；若人眼坐标个数大于所述第二阈值，则从任意一帧包含人脸像素的图像中提取以人眼坐标为中心的两块区域的平均亮度值，所述两块区域的大小分别等同于典型人眼像素图的大小，并判断两块区域像素的平均亮度值与典型人眼像素图的平均亮度值的差异度是否大于第三阈值，若差异度大于第三阈值，则确定此人带墨镜，为异常特征，若差异度不大于第三阈值，则确定此人带普通眼镜。 

第五确定装置51包括：第二提取装置501用于将多帧图像中距离小于2个像素单位的人嘴坐标确定为同一个人的人嘴位置，将多帧图像中距离不小于2个像素单位的人嘴坐标确定为不同人的人嘴位置，选择任一人，提取此人的剩余人嘴坐标的个数；第三判断装置502用于判断各组所述人嘴坐标的个数是否大于第四阈值，若人嘴坐标个数大于所述第四阈值，则确定此人不带口罩；若人嘴坐标个数大于所述第四阈值，则确定此人带口罩，为异常特征。 

进一步地，本发明还可以包括一个警报装置获取信息发送装置，在确定视频图像中有遮挡物等异常特征时，触发警报装置或者将视频图像信息通过信息发送装置发送给远程服务器。 

本领域技术人员应该理解，本发明所提出的第一阈值，第二阈值，第三阈值以及第四阈值均可以根据具体需要采用不同的数值，这样的变化无需创造性劳动即可获得，在此不予赘述。 

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的方法和处理过程应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。 

  

Claims (8)

1.人脸遮挡物识别方法，包括：从一视频摄像系统中获取多帧图像，其特征在于，

确定所述多帧图像的每一帧图像中人脸所处的区域；

统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官各自的数量和；

根据所述多帧图像中，同一人同种器官在图像中出现次数，以确定所述同种器官位置的遮挡情况，若所述同种器官出现次数少于一设定值，则确定所述同种器官位置有遮挡。

2.根据权利要求1所述的人脸遮挡物识别方法，其特征在于，确定每帧图像中人脸的图像区域的步骤中还包括如下步骤：逐行扫描并判断图像中各点亮度值是否大于第一阈值；若某点像素亮度值大于第一阈值，则该像素点区域为人脸像素区域；若某点像素亮度值不大于第一阈值，则该像素点区域为背景区域。

3.根据权利要求2所述的人脸遮挡物识别方法，其特征在于，统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官数量的和的步骤中包括如下步骤：

    扫描所有具有人脸像素区域的图像，将每帧图像与典型人眼、人嘴的像素图对比，以确定每帧图像中可能为人眼区域和人嘴区域的中心位置坐标，分别记为人眼坐标和人嘴坐标；

删除所有所述人眼坐标和人嘴坐标中位于人脸像素区域外的坐标，以及人眼坐标位于人嘴坐标下方的坐标；

统计人眼坐标以及人嘴坐标的数量以及具体位置。

4.根据权利要求3所述的人脸遮挡物识别方法，其特征在于，根据所述多帧图像中所述每种器官的数量确定该器官位置遮挡情况，确定人脸像素中各器官位置的异常特征的步骤具体包括确定人眼遮挡情况的步骤以及确定人嘴遮挡情况的步骤，其中，确定人眼遮挡情况的步骤包括：

将分布在不同帧图像中，偏差小于2个像素单位的人眼坐标确定为同一个人的人眼位置，将分布在不同帧图像中，偏差不小于2个像素单位的人眼坐标确定为不同人的人眼位置，提取每一个人的人眼坐标的个数；

分别判断所述人眼坐标的个数是否大于第二阈值；若某人人眼坐标个数大于所述第二阈值，则确定此人不带眼镜；若某人人眼坐标个数大于所述第二阈值，则从任意一帧包含人脸像素的图像中提取以人眼坐标为中心的两块区域的平均亮度值，所述两块区域的大小分别等同于典型人眼像素图的大小，并判断两块区域中像素的平均亮度值与典型人眼像素图的平均亮度值的差异度是否大于第三阈值，若差异度大于第三阈值，则确定此人带墨镜，为异常特征，若差异度不大于第三阈值，则确定此人带普通眼镜；以及

确定人嘴遮挡情况的步骤包括：

将分布在不同帧图像中，偏差小于2个像素单位的人嘴坐标确定为同一个人的人嘴位置，将分布在不同帧图像中，偏差不小于2个像素单位的人嘴坐标确定为不同人的人嘴位置，提取每一个人的人嘴坐标的个数；

分别判断每一个人的人嘴坐标的个数是否大于第四阈值，若某人人嘴坐标个数大于所述第四阈值，则确定此人不带口罩；若某人人嘴坐标个数大于所述第四阈值，则确定此人带口罩，为异常特征。

5.人脸遮挡物识别装置，包括获取装置，用于从一视频摄像系统中获取多帧图像，其特征在于：

第一确定装置，用于确定所述多帧图像的每一帧图像中人脸所处的区域；

统计装置，用于统计所述多帧图像中，各器官中心位置的坐标值和以及所述多帧图像中每种器官各自的数量和；

第二确定装置，用于根据所述多帧图像中，同一人同种器官在图像中出现次数，以确定所述同种器官位置的遮挡情况，若所述同种器官出现次数少于一设定值，则确定所述同种器官位置有遮挡。

6.根据权利要求5所述的人脸遮挡物识别装置，其特征在于，所述第一确定装置中还包括如下装置：扫描装置，其用于逐行扫描获取的多帧图像；第一判断装置，其用于判断所述多帧图像中各点亮度值是否大于第一阈值，若某点像素亮度值大于第一阈值，则该像素点区域为人脸像素区域，若某点像素亮度值不大于第一阈值，则该像素点区域为背景区域。

7.根据权利要求6所述的人脸遮挡物识别装置，其特征在于，所述统计装置中还包括如下装置：

第三确定装置，用于扫描所有具有人脸像素区域的图像，将每帧图像与典型人眼、人嘴的像素图对比，以确定每帧图像中可能为人眼区域和人嘴区域的中心位置坐标，分别记为人眼坐标和人嘴坐标；

删除装置，用于删除所有所述人眼坐标和人嘴坐标中位于人脸像素区域外的坐标，以及人眼坐标位于人嘴坐标下方的坐标；

记录装置，用于统计人眼坐标以及人嘴坐标的数量以及具体位置。

8.根据权利要求7所述的人脸遮挡物识别装置，其特征在于，所述第二确定装置中包括第四确定装置和第五确定装置，其中第四确定装置包括：

第一提取装置，用于将分布在不同帧图像中，偏差小于2个像素单位的人眼坐标确定为同一个人的人眼位置，将分布在不同帧图像中，偏差不小于2个像素单位的人眼坐标确定为不同人的人眼位置，提取每一个人的人眼坐标的个数；

第二判断装置，用于分别判断所述人眼坐标的个数是否大于第二阈值；若某人人眼坐标个数大于所述第二阈值，则确定此人不带眼镜；若某人人眼坐标个数大于所述第二阈值，则从任意一帧包含人脸像素的图像中提取以人眼坐标为中心的两块区域的平均亮度值，所述两块区域的大小分别等同于典型人眼像素图的大小，并判断两块区域中像素的平均亮度值与典型人眼像素图的平均亮度值的差异度是否大于第三阈值，若差异度大于第三阈值，则确定此人带墨镜，为异常特征，若差异度不大于第三阈值，则确定此人带普通眼镜；以及，第五确定装置包括：

第二提取装置，用于将分布在不同帧图像中，偏差小于2个像素单位的人嘴坐标确定为同一个人的人嘴位置，将分布在不同帧图像中，偏差不小于2个像素单位的人嘴坐标确定为不同人的人嘴位置，提取每一个人的人嘴坐标的个数；

第三判断装置，用于分别判断每一个人的人嘴坐标的个数是否大于第四阈值，若某人人嘴坐标个数大于所述第四阈值，则确定此人不带口罩；若某人人嘴坐标个数大于所述第四阈值，则确定此人带口罩，为异常特征。

Images