发明内容
本发明要解决的技术问题是,提供一种基于摄像头的智能防盗门锁及其报警处理方法,解决现有技术中门锁无法智能报警的不足。
为了解决上述技术问题,本发明提供了一种基于摄像头的智能防盗门锁,包含人脸认证模块、以及分别与所述人脸认证模块相连的摄像装置和报警处理模块,其中:
所述摄像装置,用于实时拍摄视频图像;
所述人脸认证模块,用于从所述摄像装置中获取视频图像,进行人脸检测跟踪,在检测到人脸时,提取人脸特征进行面部遮挡分析,如判断该面部区域中遮挡面积所占的比例大于一遮挡比例阈值,则向所述报警处理模块发送报警控制命令;
所述报警处理模块,用于在接收到报警控制命令后,进行报警。
进一步地,上述智能防盗门锁还可具有以下特点:
所述人脸认证模块在进行面部遮挡分析时,在判断当前视频图像的面部区域中遮挡面积所占的比例大于一遮挡比例阈值后,还继续对后续的多帧视频图像进行面部遮挡分析,如判断该些视频图像的面部区域中遮挡面积所占比例均大于该遮挡比例阈值后,才向所述报警处理模块发送报警控制命令。
进一步地,上述智能防盗门锁还可具有以下特点:
还包含锁具执行模块和动作分析模块,其中:
所述锁具执行模块,用于与钥匙进行机械匹配成功后,打开门锁;
所述动作分析模块,用于从所述摄像装置中获取视频图像,进行手部检测跟踪以确定手部持有的工具,提取该工具的特征并将其与预设的钥匙特征样本进行匹配,如匹配失败,且检测到该工具与锁孔接触,则向所述报警处理模块发送报警控制命令。
进一步地,上述智能防盗门锁还可具有以下特点:
所述动作分析模块在判断当前视频图像中手部持有的工具的特征与预设的钥匙特征样本匹配失败时,还在后续的多帧视频图像中对该工具进行轮廓跟踪,实时计算并监测该工具的运动速度,如果判断该工具的运动速度超过一速度阈值,则向所述报警处理模块发送报警控制命令。
进一步地,上述智能防盗门锁还可具有以下特点:
所述人脸认证模块在提取出人脸特征后,先将其与预设的人脸特征样本进行匹配,如匹配成功,则向所述锁具执行模块发送开锁控制命令;如匹配失败,则进行面部遮挡分析;
所述锁具执行模块,用于在接收到开锁控制命令后,打开门锁。
进一步地,上述智能防盗门锁还可具有以下特点:
还包含一定时器,其中:
所述动作分析模块在判断当前视频图像中手部持有的工具的特征与预设的钥匙特征样本匹配成功时,启动该定时器,定时时间为一预设的报警延迟时间,如在该报警延迟时间内收到所述锁具执行模块发送来的开锁成功的控制信号,则停止该定时器;否则,在该定时器到时时,向所述报警处理模块发送报警控制命令;
所述锁具执行模块在打开门锁后,还向所述动作分析模块发送开锁成功的控制信号。
进一步地,上述智能防盗门锁还可具有以下特点:
还包含一运动检测模块,其中:
所述运动检测模块,用于检测所述摄像头拍摄的视频图像,如检测到运动目标,则激活所述人脸认证模块和所述动作分析模块,以及在一段时间内未检测到运动目标时,则控制所述人脸识别模块和所述动作分析模块进入休眠状态;
所述人脸认证模块,只有在处于激活状态时才从所述摄像装置中获取视频图像,进行人脸检测跟踪;
所述动作分析模块,只有在处于激活状态时才从所述摄像装置中获取视频图像,进行手部检测跟踪。
进一步地,上述智能防盗门锁还可具有以下特点:
所述人脸认证模块在处于激活状态时,如不能检测到人脸,则向所述报警处理模块发送报警控制命令。
进一步地,上述智能防盗门锁还可具有以下特点:
还包含存储模块,其中:
所述报警处理模块在收到报警控制命令后,还控制所述存储模块保存当前视频图像;
所述存储模块,用于在所述报警处理模块的控制下从所述摄像装置中获取视频图像,并保存所述获取的视频图像。
为了解决上述技术问题,本发明还提供了一种智能防盗门锁进行报警的方法:
所述智能防盗门锁对其实时拍摄的视频图像进行人脸检测跟踪,在检测到人脸时,进行面部遮挡分析,如判断该面部区域中遮挡面积所占的比例大于一遮挡比例阈值,则报警。
进一步地,上述方法还可具有以下特点:
所述智能防盗门锁在判断当前视频图像的面部区域中遮挡面积所占的比例大于一遮挡比例阈值后,还继续对后续的多帧视频图像进行面部遮挡分析,如判断该些视频图像的面部区域中遮挡面积所占的比例均大于该遮挡比例阈值后,才报警。
进一步地,上述方法还可具有以下特点:
所述智能防盗门锁在对其实时拍摄的视频图像进行人脸检测跟踪的同时,还进行手部检测跟踪以确定手部持有的工具,然后提取该工具的特征并将其与预设的钥匙特征样本进行匹配,如匹配失败,且检测到该工具与锁孔接触,则报警。
进一步地,上述方法还可具有以下特点:
所述智能防盗门锁在判断当前视频图像中手部持有的工具的特征与预设的钥匙特征样本匹配失败时,还在后续的多帧视频图像中对该工具进行轮廓跟踪,实时计算并监测该工具的运动速度,如果该工具的运动速度超过一速度阈值,则报警。
进一步地,上述方法还可具有以下特点:
所述智能防盗门锁在在判断当前视频图像中手部持有的工具的特征与预设的钥匙特征样本匹配成功后,如检测到该工具与锁孔接触一段时间后仍未成功打开门锁,则报警。
进一步地,上述方法还可具有以下特点:
所述智能防盗门锁实时拍摄视频图像,并检测运动目标,其在检测到运动目标后,才对视频图像进行人脸检测跟踪和手部检测跟踪。
进一步地,上述方法还可具有以下特点:
所述智能防盗门锁在进行报警时,还自动保存当前视频图像。
本发明提供的一种基于摄像头的智能防盗门锁及其报警处理方法,通过摄像头采集图像,获取方式自然,利用图像识别技术对采集到的人脸信息以及动作信息进行非接触式识别来实现智能报警。
具体实施方式
本发明提出一种基于摄像头的智能防盗门锁及其报警处理方法,通过拍摄视频图像,直观、便捷地采集人的生物特征信息进行识别处理,从而实现智能报警。
其基本构思是:所述智能防盗门锁对其实时拍摄的视频图像中的运动目标进行人脸检测跟踪,如不能检测到人脸,则直接进行报警;如检测到人脸,则进行人脸认证,如不能通过人脸认证,则进行面部遮挡分析,如判断该面部区域中遮挡面积所占的比例大于一遮挡比例阈值则报警。同时,还可以进行动作检测分析,在判断出有危险动作存在时,则报警。
请参考图1,该图示出了本发明实施例一种基于摄像头的智能防盗门锁结构方框图,包含摄像装置、运动检测模块、人脸认证模块、动作分析模块、定时器、存储模块、报警处理模块和锁具执行模块。
其中,各模块之间连接关系如下所述:
人脸认证模块分别与运动检测模块、摄像装置、报警处理模块、存储模块和锁具执行模块相连。动作分析模块分别与运动检测模块、摄像装置、报警处理模块、定时器和锁具执行模块相连。存储模块分别与摄像装置、人脸认证模块和报警处理模块相连。运动检测模块分别与人脸认证模块、动作分析模块和摄像装置相连。
下面将详细介绍上述各模块的功能:
所述人脸认证模块,用于从所述摄像装置中获取视频图像,进行人脸检测跟踪,如能检测到人脸,则提取人脸特征并将其与预设的人脸特征样本进行匹配,如匹配成功,则向所述锁具执行模块发送开锁控制命令;如匹配失败,则控制所述存储模块保存当前视频图像,并进行面部遮挡分析,如判断该面部区域中遮挡面积所占的比例大于一遮挡比例阈值,则向所述报警处理模块发送报警控制命令。所述人脸认证模块在进行面部遮挡分析时,在判断当前视频图像的面部区域中遮挡面积所占的比例大于一遮挡比例阈值后,还继续对后续的多帧视频图像进行面部遮挡分析,如判断该些视频图像的面部区域中遮挡面积所占比例均大于该遮挡比例阈值后,才向所述报警处理模块发送报警控制命令。所述人脸认证模块,在被所述运动检测模块激活后,从所述摄像装置中获取视频图像,进行人脸检测跟踪,如不能检测到人脸,则向所述报警处理模块发送报警控制命令。
所述锁具执行模块,用于与钥匙进行机械匹配成功后,或者收到所述人脸认证模块发送的开锁控制命令后,打开门锁。所述锁具执行模块还在打开门锁后,还向所述动作分析模块发送开锁成功的控制信号。
所述动作分析模块,用于从所述摄像装置中获取视频图像,进行手部检测跟踪以确定手部持有的工具,提取该工具的特征并将其与预设的钥匙特征样本进行匹配,如匹配失败,且检测到该工具与锁孔接触,则向所述报警处理模块发送报警控制命令。所述动作分析模块在判断当前视频图像中手部持有的工具的特征与预设的钥匙特征样本匹配失败时,还在后续的多帧视频图像中对该工具进行轮廓跟踪,实时计算并监测该工具的运动速度,如果判断该工具的运动速度超过一速度阈值,则向所述报警处理模块发送报警控制命令。所述动作分析模块在判断当前视频图像中手部持有的工具的特征与预设的钥匙特征样本匹配成功时,启动该定时器,定时时间为一预设的报警延迟时间,如在该报警延迟时间内收到所述锁具执行模块发送来的开锁成功的控制信号,则停止该定时器;否则,在该定时器到时时,向所述报警处理模块发送报警控制命令。所述动作分析模块,在被所述运动检测模块激活后,才从所述摄像装置中获取视频图像,进行手部检测跟踪。
所述报警处理模块,用于在接收到报警控制命令后,进行报警,以及控制所述存储模块保存当前视频图像。
所述存储模块,用于在所述报警处理模块或者所述人脸认证模块的控制下从所述摄像装置中获取视频图像,并保存所述获取的视频图像。
所述运动检测模块,用于检测所述摄像头拍摄的视频图像,如检测到运动目标,则激活所述人脸认证模块和所述动作分析模块,以及在一段时间内未检测到运动目标时,则控制所述人脸识别模块和所述动作分析模块进入休眠状态。
所述摄像装置可以为远红外/近红外摄像装置。还可以包含为该远红外/近红外摄像装置提供照明的一远红外/近红外光源。
下面请参考图2,该图示出了上述图1所示智能防盗门锁进行人脸识别处理的流程,具体包含如下步骤:
步骤S201:该智能防盗门锁检测到当前拍摄的视频图像中存在运动目标;
步骤S202:对视频图像中该运动目标进行人脸检测跟踪,判断是否检测到人脸区域,如果判断结果为“是”,则进入步骤S203;如果判断结果为“否”,则进入步骤S205;
所述判断是否检测到人脸区域的方法可以是利用事先训练的人脸分类器等进行人脸检测的方法,如基于Adaboost的人脸分类器、基于模板匹配的人脸分类器,或者其它可以区分人脸及非人脸的分类方法。
该智能防盗门锁在检测到运动目标后,如检测不到人脸区域,则认为可能存在隐藏个人信息,向门口处恶意投掷东西、或者有偷窃可能的行为,针对该种行为进行报警。
步骤S203:从视频图像中提取人脸特征,并将提取出的人脸特征与预设的人脸特征样本进行匹配,如匹配成功,则打开门锁,结束;如果匹配失败,则进入步骤S204;
所述人脸特征可以是Gabor特征、PCA(principal component analysis,主元分析)降维特征、几何特征、LBP(local binary pattern,局部二维模式)特征、小波特征,或者其它可用于识别的特征。
步骤S203在利用图像识别技术执行报警处理的同时,还提供了一种人脸识别开锁方式,有效地利用存在的装置,极大地方便了用户的使用。
该智能防盗门锁可按照现行方法提取出人脸特征,并将其与预设的人脸特征样本进行匹配,比如,提取到人脸的Gabor特征后,用Adaboost方法进行特征挑选,将挑选的特征向量输入给事先训练好的SVM分类器,根据分类结果确定提取出的人脸特征是否与预设的人脸特征样本相匹配。
在预设的人脸特征样本较多时,一一进行匹配花费的时间也较多,为了提高开锁速度,较佳地,还可以采用事先指定身份的方法,比如,由用户通过刷卡、语音选择等方法先选择声称身份,这样该智能防盗门锁只需要在用户和声称身份对应的特征样本之间进行匹配认证就可以了。
步骤S204:进行面部遮挡分析,判断该面部区域中遮挡面积所占比例是否大于一遮挡比例阈值,如果判断结果为“是”,则进入S205;如果判断结果为“否”,则可以保存当前拍摄的视频图像,结束;
该智能防盗门锁可以选择大量非遮挡的人脸区域和遮挡面积所占比例不大于遮挡比例阈值的人脸区域作为正样本,选择大量遮挡面积所占比例大于遮挡比例阈值的人脸区域作为反样本,训练一个两类分类器,可以选择Boosting分类器、SVM(support vector machine,支持向量机)分类器等。在执行步骤S205时,可以将待分析的面部区域输入到该两类分类器中,该两类分类器根据训练好的分类规则将该面部区域分到两类中的一类,如果分到了遮挡面积所占比例大于预设阈值的类别中,则认为属于有意隐藏个人信息的行为,针对该行为进行报警。
在另一实施例中,在训练该两类分类器时,也可以是选择大量非遮挡的人脸区域和遮挡面积所占比例小于遮挡比例阈值的人脸区域作为正样本,选择大量遮挡面积所占比例大于和等于遮挡比例阈值的人脸区域作为反样本。
当然,还可以采用其它方法进行遮挡分析,比如,先建立人脸的特征向量与遮挡比例的函数关系,确定人脸区域后,如步骤S202中所述方法提取人脸特征向量,之后将提取出的人脸特征向量输入此函数,则可以计算得到人脸的遮挡区域占整个人脸的比例关系。具体函数关系建立方法可以按照现行方法执行,这里不再赘述。
该智能防盗门锁在判断提取出的人脸特征与预设的人脸特征样本匹配失败且不满足报警条件时,可以保存当前拍摄的视频图像,从而方便监控人员了解到哪些不具有进入权限的人员曾经来过。当然,该智能防盗门锁也可以是在判断出提取出的人脸特征与预设的人脸特征样本匹配失败时,即只要监测到不具有进入权限的人员时,就保存当前拍摄的视频图像。
为了提高检测的精确度防止误报警,该智能防盗门锁可以在判断当前视频图像的面部区域中遮挡面积所占比例大于一遮挡比例阈值后,还继续对后续的多帧视频图像进行面部遮挡分析,如判断该些视频图像的面部区域中遮挡面积所占比例均大于该遮挡比例阈值后,才报警。
步骤S205:报警,同时可以保存当前拍摄的视频图像,结束。
上述步骤S201至步骤S205介绍了图1所示智能防盗门锁利用人脸识别技术进行开锁以及报警的具体处理方法。上述报警主要是通过人脸跟踪检测,针对有意掩藏个人信息,有偷窃可能的、或者恶意投掷东西的人员进行报警。
为了能够使得报警更人性化,对于面部无遮挡的人员的破坏性动作,如撬门、砸门等可以按照图3所示的方法,通过动作识别进行报警,具体包括如下处理步骤:
步骤S301:该智能防盗门锁检测到当前拍摄的视频图像中存在运动目标;
步骤S302:对视频图像中该运动目标进行手部检测跟踪,确定手部持有的工具;
步骤S303:提取该工具的特征,并将提取出的特征与预设的钥匙特征样本进行匹配,如匹配成功,则进入步骤S304;如匹配失败,则进入步骤S305;
可以在确定手部持有工具后,提取该工具的边缘几何特征、矩特征等,然后将提取出该工具的特征与预设的钥匙特征样本进行匹配。当然,也可以采用变形模板的方法直接进行模板匹配,具体匹配方法可以按照现行方法执行,这里不再赘述。
步骤S304:在检测到该工具与锁孔接触后,在一预定的报警延迟时间内持续判断门锁是否被打开,如果判断结果为“是”,则结束;如果超过所述报警延迟时间门锁仍未被打开,则进入步骤S307;
步骤S304是用于判断是否有用钥匙类工具进行撬门的动作,如果有,则报警。
步骤S305:判断该工具是否与锁孔接触,如果判断结果为“是”,则进入步骤S307;否则,进入步骤S306;
步骤S305是用于判断是否有用非钥匙类工具进行撬门的动作,如果有,则报警。
步骤S306:在后续的多帧视频图像中对该工具进行轮廓跟踪,实时计算并监测该工具的运动速度,如果该速度超过一速度阈值,则进入步骤S307;
步骤S306是用于判断是否有用非钥匙类工具进行砸门的动作,如果有,则报警。
步骤S307:报警,同时可以保存当前视频图像,结束。
另外,该智能防盗门锁还可以包含一力量感应器,用于感应撞击力量,如果感应到的力量超过一力量阈值时,则报警。比如可以对没有持有工具,且没有面部遮挡的人员用脚踹门试图闯入的动作进行识别,并报警。
该智能防盗门锁还可以在实时拍摄视频图像时,在检测到摄像头被遮挡时,进行报警。
上述智能防盗门锁有效地将智能开锁方式与传统的钥匙开锁方式相结合,解决了现有技术中智能门锁存在的非数据库人员进入不便的问题,又能有效地进行智能报警,真正实现了门锁的智能化。基于上述智能防盗门锁具有摄像装置,因此,本实施例较推荐采用人脸识别技术进行智能开锁,当然,该智能防盗门锁还可以采用密码、指纹识别、IC卡等多种开锁方式。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。