CN110647797B - 一种访客检测方法及装置 - Google Patents

一种访客检测方法及装置 Download PDF

Info

Publication number
CN110647797B
CN110647797B CN201910719014.1A CN201910719014A CN110647797B CN 110647797 B CN110647797 B CN 110647797B CN 201910719014 A CN201910719014 A CN 201910719014A CN 110647797 B CN110647797 B CN 110647797B
Authority
CN
China
Prior art keywords
visitor
information
human
preset
judging whether
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910719014.1A
Other languages
English (en)
Other versions
CN110647797A (zh
Inventor
余承富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haique Technology Co ltd
Original Assignee
Shenzhen Haique Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haique Technology Co ltd filed Critical Shenzhen Haique Technology Co ltd
Priority to CN201910719014.1A priority Critical patent/CN110647797B/zh
Publication of CN110647797A publication Critical patent/CN110647797A/zh
Application granted granted Critical
Publication of CN110647797B publication Critical patent/CN110647797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明公开了一种访客检测方法及装置,本发明通过检测智能门铃的预设监控范围内的环境光强,以根据预设光强控制智能门铃是否进入夜视模式,在环境光强小于预设光强的时候,控制智能门铃进入夜视模式;再判断预设监控范围内是否存在人形,若存在人形,则基于运动分析对人形进行初步判断是否为疑似访客,以及在判断人形为疑似访客后,根据活体检测算法进行二次判断人形是否为访客,克服已知技术中在光线条件不良的情况下,无法对访客进行有效识别的技术问题,实现了在光线条件不佳的时候,准确、有效地对访客进行检测,提高用户体验。本发明可广泛应用于智能家居等领域。

Description

一种访客检测方法及装置
技术领域
本发明涉及智能家居领域,尤其是一种访客检测方法及装置。
背景技术
随着科技的发展,门铃已经成为用户家庭的必须品,访客可通过按下用户屋外的门铃上的按钮以触发开关,访客触发门铃的开关后,用户屋内的相应设备将会发出铃声以提示用户有客人来访。
已知技术中,智能门铃都带有摄像头用于监控室外一定的区域,当有人进入监控区域时,智能门铃可以对来访人员进行识别,起到一定的安全防范作用,但是,当光线条件不佳时,摄像头无法获取到清晰的画面,则无法对来访人员进行有效的识别,存在较大的安全隐患。
因此,已知技术存在缺陷,而有待于改进和发展。
发明内容
本发明旨在至少在一定程度上解决相关记述中的技术问题之一。为此,本发明的一个目的是提供一种访客检测方法及装置。
本发明所采用的技术方案是:
第一方面,本发明提供一种访客检测方法,包括:
检测智能门铃的预设监控范围内的环境光强;
判断所述环境光强是否大于预设光强,若判断结果为否,控制所述智能门铃进入夜视模式;
判断所述预设监控范围内是否存在人形;
若出现人形,基于运动分析初步判断所述人形是否为疑似访客;
若初步判断为疑似访客,根据活体检测算法二次判断所述人形是否为访客。
进一步地,所述判断所述预设监控范围内是否存在人形,包括:
判断所述预设监控范围内是否存在移动物体;
若判断为存在移动物体,获取所述移动物体的轮廓信息;
根据所述轮廓信息判断所述移动物体的轮廓是否为人形。
进一步地,所述基于运动分析初步判断所述人形是否为疑似访客,包括:
获取所述人形的移动速度和移动方向;
根据所述移动速度和所述移动方向判断所述人形的移动目的是否为所述智能门铃对应的门,若判断所述移动目的为所述智能门铃对应的门,所述人形为疑似访客。
进一步地,所述基于运动分析初步判断所述人形是否为疑似访客,包括:
获取所述人形在所述预设监控范围内的停留时长;
判断所述停留时长是否大于预设时长,若判断结果为是,所述人形为疑似访客。
进一步地,所述活体检测算法包括虹膜活体检测算法或人脸活体检测算法。
进一步地,所述访客检测方法还包括:
获取所述访客的特征信息。
进一步地,所述访客检测方法还包括:
根据所述特征信息获取所述访客的身份信息;
根据所述身份信息执行访客提醒操作。
进一步地,所述若出现人形,基于运动分析初步判断所述人形是否为疑似访客,具体包括:
根据所述人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,所述监控数据库存储有进出小区的人员的轮廓信息;
判断所述轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合运动分析结果和所述轮廓匹配成功信息初步判断所述人形是否为疑似访客;
或者,
所述若初步判断为疑似访客,根据活体检测算法二次判断所述人形是否为访客,具体包括:
根据所述人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,所述监控数据库存储有进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息的对应关系;
判断所述轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合活体检测结果和所述轮廓匹配成功信息二次判断所述人形是否为访客,并获取所述轮廓匹配度的最大值对应人员的所述面部特征信息和/或所述来访登记信息。
进一步地,所述访客检测方法还包括:
显示激光投影形成的虚拟门铃开关。
第二方面,本发明提供一种访客检测装置,包括:
光强检测模块,用于检测智能门铃的预设监控范围内的环境光强;
光强判断模块,用于判断所述环境光强是否大于预设光强,若判断结果为否,控制所述智能门铃进入夜视模式;
人形检测模块,用于判断所述预设监控范围内是否存在人形;
初步判断模块,用于出现人形时,基于运动分析初步判断所述人形是否为疑似访客;
二次判断模块,用于初步判断为疑似访客时,根据活体检测算法二次判断所述人形是否为访客。
进一步地,所述访客检测装置还包括:
特征信息获取模块,用于获取所述访客的特征信息;
身份信息获取模块,用于根据所述特征信息获取所述访客的身份信息;
提醒模块,用于根据所述身份信息执行访客提醒操作。
本发明的有益效果是:
本发明通过检测智能门铃的预设监控范围内的环境光强,以根据预设光强控制智能门铃是否进入夜视模式,在环境光强小于预设光强的时候,控制智能门铃进入夜视模式;再判断预设监控范围内是否存在人形,若存在人形,则基于运动分析对人形进行初步判断是否为疑似访客,以及在判断人形为疑似访客后,根据活体检测算法进行二次判断人形是否为访客,克服已知技术中在光线条件不良的情况下,无法对访客进行有效识别的技术问题,实现了在光线条件不佳的时候,准确、有效地对访客进行检测,提高用户体验。
附图说明
图1是本发明中访客检测方法的一种实施例的流程图;
图2是本发明中智能门铃的一种实施例的结构框图;
图3是本发明中判断预设监控范围内是否存在人形的一种实施例的判断方法流程图;
图4是本发明中基于运动分析初步判断人形是否为疑似访客的一种实施例的方法流程图;
图5是本发明中基于运动分析初步判断人形是否为疑似访客的另一种实施例的方法流程图;
图6是本发明中访客检测方法的另一种实施例的流程图;
图7是本发明中智能身份识别的方法的一种实施例的流程图;
图8是本发明中访客检测方法的又一种实施例的流程图;
图9是本发明中访客检测装置的一种实施例的结构框图;
图10是本发明中人形检测模块的一种实施例的结构框图;
图11是本发明中初步判断模块的一种实施例的结构框图;
图12是本发明中初步判断模块的另一种实施例的结构框图;
图13是本发明中访客检测装置的另一种实施例的结构框图;
图14是本发明中访客检测装置的又一种实施例的结构框图;
其中,201-光感应模块,202-摄像头,203-虹膜图像传感器,204-触摸按键,205-补光灯,206-门铃按键,207-人体红外传感模块,208-指纹识别模块,209-第一麦克风模块,210-第一主控模块,211-通信模块,212-存储模块,213-第二主控模块,214-第二麦克风模块,215-扬声器,91、131、141-光强检测模块,92、132、142-光强判断模块,93、133、143-人形检测模块,94、134、144-初步判断模块,95、135、145-二次判断模块,101-移动物体检测子模块,102-轮廓获取子模块,103-人形判断子模块,111-移动速度和移动方向获取子模块,112-移动目的判断子模块,121-停留时长获取子模块,122-判断子模块,136、146-特征信息获取模块,137、147-身份信息获取模块,138、148-提醒模块,149-开关显示模块。
具体实施方式
本部分将详细描述本发明的具体实施例,本发明的较佳实施例在附图中示出,附图的作用在于用图形补充说明书文字部分的描述,从而能够直观地、形象地理解本发明的每个技术特征和整体技术方案,但其不能理解为对本发明保护范围的限制。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
此外,除非另有定义,本发明所使用的技术术语和科学术语均与所属技术领域的技术人员通常理解的含义相同。本发明所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
实施例1
参考图1,图1示例性示出了访客检测方法的流程图,访客检测方法包括:
步骤S101,检测智能门铃的预设监控范围内的环境光强,其中,预设监控范围为智能门铃安装的门口的部分区域,一般为靠近门口的区域,方便进行访客检测,这一部分区域的大小可以根据用户的要求进行设置,可以自由调节;
步骤S102,判断预设监控范围内的环境光强是否大于预设光强,若判断结果为否,表明此时预设监控范围内的光线条件不佳,例如阴天或者夜晚,此时控制智能门铃进入夜视模式;
步骤S103,判断预设监控范围内是否存在人形,检测预设监控范围内是否出现人形;
步骤S104,若出现人形,基于运动分析初步判断人形是否为疑似访客,进行第一次访客检测;
步骤S105,若初步判断为疑似访客,根据活体检测算法二次判断人形是否为访客,再次进行访客检测,依据活体检测结果可以确定该人形是否为人,若活体检测判断该人形为人,则表示出现了访客。
本实施例通过检测智能门铃的预设监控范围内的环境光强,以根据预设光强控制智能门铃是否进入夜视模式,在环境光强小于预设光强的时候,控制智能门铃进入夜视模式;再判断预设监控范围内是否存在人形,若存在人形,则基于运动分析对人形进行初步判断是否为疑似访客,以及在判断人形为疑似访客后,根据活体检测算法进行二次判断人形是否为访客,克服已知技术中在光线条件不良的情况下,无法对访客进行有效识别的技术问题,实现了在光线条件不佳的时候,准确、有效地对访客进行检测,提高用户体验。
实施例2
本实施例中,夜视模式是指智能门铃能在光线不足的环境下进行访客检测,一般是基于夜视技术来实现的,夜视技术包括微光夜视和红外夜视两方面。微光夜视技术又称像增强技术,是通过带像增强管的夜视镜,对夜天光照亮的微弱目标像进行增强,以供观察的光电成像技术;而红外夜视技术是利用光电转换技术来实现的,它分为主动式和被动式两种:前者用红外探照灯照射目标,再接收目标反射的红外辐射以形成目标的图像;后者不发射红外线,依靠目标自身的红外辐射形成“热图像”,故又称为“热像仪”。
本实施例中,采用主动式红外夜视技术来实现智能门铃的夜视模式,具体地,参考图2,图2示例性示出了智能门铃的结构框图,智能门铃包括室外机和室内机,室外机一般安装在室外门口处,而室内机一般安装在室内以发出提示铃声实现访客来访提醒。
具体地,室内机包括用于播放语音的扬声器215、用于存储信息的存储模块212、用于采集语音的第二麦克风模块214和用做室内机的主控中心的第二主控模块213。而室外机包括用于实现外部通信的通信模块211、用做室外机的主控中心的第一主控模块210、用于采集语音的第一麦克风模块209、用于采集门口监控视频和图像的摄像头202、用于为摄像头采集图像或视频补光的补光灯205、用于实现人体检测的人体红外传感模块207、用于进行指纹识别的指纹识别模块208、用于获取虹膜信息的虹膜图像传感器203、用于检测环境光强的光感应模块201、以及用于触发智能门铃的触发开关,在一些应用场景中,触发开关可以是触摸按键204或者是门铃按键206,一旦访客触摸了室外机的触摸按键204或者按压室外机的门铃按键206,就会触发智能门铃控制扬声器215发出提示铃声。另外,通信模块211可以是有线通信模块或者无线通信模块,无线通信模块可以是蓝牙模块或WiFi模块或者移动通信模块,例如2G移动通信模块、3G移动通信模块、4G移动通信模块或者5G移动通信模块。利用通信模块211,智能门铃可以实现与外部其他的通信设备之间的通信,其他的通信设备例如手机或服务器。
参考图2,第一主控模块210和第二主控模块213之间具有通信连接,可以是有线连接也可以是无线连接,例如通过WiFi建立通信连接,此处对第一主控模块210和第二主控模块213之间的通信连接方式不做限定。实际使用中,第一麦克风模块209和第二麦克风模块214可以采用麦克风阵列来实现,而补光灯205包括可见光补光灯和红外补光灯,可见光补光灯采用环形补光灯来实现,可以是环形LED补光灯。因此,结合摄像头202和红外补光灯可以实现智能门铃的夜视功能,为了增强智能门铃的夜视功能,红外补光灯均匀排布以使红外补光灯的焦点均匀散布在摄像头获取得到的画面中,这样能有效避免夜视画面中出现中间极亮周围却存在阴影的情况。另外,人体红外传感模块207采用人体红外传感器来实现。智能门铃设置了指纹识别模块208和虹膜图像传感器203以实现根据用户的指纹信息和虹膜信息实现开门,因此,智能门铃还包括电子锁模块,在第一主控模块210根据用户的指纹信息和虹膜信息确认了用户为预设的用户后,第一主控模块210控制电子锁模块开锁以实现开门。
实施例3
本实施例中,检测智能门铃的预设监控范围内的环境光强,在一些应用环境中,参考图2,可以采用智能门铃的光感应模块201来实现环境光强检测,一般地,光感应模块201可以采用对光源敏感的光敏元件来实现,例如光敏二极管,光敏元件对光线强度的敏感度很高,能快速、精确感应预设监控范围内的环境光线强度。利用光感应模块201可以检测预设监控范围内的环境光强,在环境光强小于预设光强时,控制智能门铃进入夜视模式。
实施例4
本实施例中,将对判断预设监控范围内是否存在人形的判断方法进行具体说明,参考图3,图3示例性示出了人形是否存在的判断方法流程图,包括:
步骤S301,判断预设监控范围内是否存在移动物体,在一些应用场景中,可以采用智能门铃在夜视模式下获取预设监控范围内的图像或视频,再对获取的图像或视频进行处理、识别,以检测判断预设监控范围内是否存在移动物体,此处的图像或视频处理识别方法可以采用现有方法来实现,此处不做限定;
步骤S302,若判断为存在移动物体,则获取移动物体的轮廓信息,同理,在一些应用场景下,可以通过智能门铃在夜视模式下获取移动物体的图像或视频,再对获取的图像或视频进行处理、识别以获取移动物体的轮廓信息;
步骤S303,根据轮廓信息判断移动物体的轮廓是否为人形,在一些应用场景下,可以基于图形识别技术实现轮廓判断,图形识别技术采用已知技术来实现,在此不做限定。
利用移动物体的轮廓信息判断移动物体是否为人形,确保人形判断的准确性。
实施例5
本实施例中,对步骤S104中基于运动分析初步判断人形是否为疑似访客的一种实现方法做介绍,参考图4,具体包括:
步骤S401,获取人形的移动速度和移动方向,在一些应用场景下,可以通过智能门铃在夜视模式下获取人形的图像或视频,再对获取的图像或视频进行处理、识别以获取人形的移动速度和移动方向;
步骤S402,根据移动速度和移动方向判断人形的移动目的是否为智能门铃对应的门,若判断移动目的为智能门铃对应的门(运动分析结果),人形为疑似访客;其中,移动目的也即人形的移动终点,智能门铃对应的门的位置已知且固定,则根据人形的移动速度和移动方向可以判断人形的移动终点是否为智能门铃对应的门,若判断移动终点为智能门铃对应的门,则表明该人形为疑似访客。
实施例6
本实施例中,对步骤S104中基于运动分析初步判断人形是否为疑似访客的另一种实现方法做介绍,参考图5,具体包括:
步骤S501,获取人形在预设监控范围内的停留时长,当步骤S103判定预设监控范围内存在人形时,开始统计该人形的停留时间;在一些应用场景中,可以通过智能门铃的人体红外检测模块和定时器统计人形在预设监控范围内的停留时长,或者根据智能门铃的第一麦克风模块检测预设监控范围内的声音大小,对超过预设音量的声音统计其持续时间,将持续时间作为停留时长;
步骤S502,判断停留时长是否大于预设时长,若判断结果为是(运动分析结果),人形为疑似访客;例如,预设时长为15分钟,当人形的停留时长大于15分钟时,表明该人形为疑似访客。
值得注意的是,实施例5和实施例6初步判断的方法可以进行相互结合,即检测人形的移动目的是否为智能门铃对应的门,同时检测人形在预设检测范围内的停留时长,这样,可以确定人形为该智能门铃对应用户的疑似访客,而不是偶然路过的路人。
实施例7
若步骤S104中初步判断预设监控范围内出现的人形为疑似访客,则再根据活体检测算法二次判断人形是否为访客,活体检测算法包括虹膜活体检测算法或人脸活体检测算法,依据活体检测结果可以确定该人形是否为人,若活体检测判断该人形为活体,则表示出现了访客。例如,人脸活体检测算法的一种检测方式,通过眨眼、摇头、张嘴等命令配合方式判断人形是否是活体,可以进一步提高准确性,具体的活体检测方式此处不做限定。
实施例8
在实施例5、实施例6和实施例7的基础上提供实施例8,本实施例中,提供疑似访客和访客的另一种检测方法,若出现人形,基于运动分析初步判断人形是否为疑似访客,具体包括:
根据人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,监控数据库存储有进出小区的人员的轮廓信息;
判断轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合运动分析结果和轮廓匹配成功信息初步判断人形是否为疑似访客;
若初步判断为疑似访客,根据活体检测算法二次判断人形是否为访客,具体包括:
根据人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,监控数据库存储有进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息的对应关系;
判断轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合活体检测结果和轮廓匹配成功信息二次判断人形是否为访客,并获取轮廓匹配度的最大值对应人员的面部特征信息和/或来访登记信息。
具体地,智能门铃还可以联合其他设备进行访客检测,其他设备可以是小区大门的监控设备或者小区监控服务器,小区大门的监控设备中的监控数据库存储有在小区大门处获取的监控数据,监控数据包括进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息,监控数据库按照人员的轮廓信息、人员对应的面部特征信息、人员对应的来访登记信息的对应关系进行存储;同理,小区监控服务器中的监控数据库存储有整个小区的监控数据,监控数据包括进出小区的人员的轮廓信息、人员面部特征信息、人员的来访登记信息。这些监控数据可以是由小区门口的监控设备传输至小区监控服务器中的,小区监控服务器中的监控数据库按照人员的轮廓信息、人员对应的面部特征信息、人员对应的来访登记信息的对应关系进行存储。
智能门铃通过与监控设备或者小区监控服务器建立通信连接后,可以在监控设备的监控数据库或者小区监控服务器中的监控数据库中进行轮廓比对查找,以根据轮廓比对结果辅助进行疑似访客或者访客的检测判断。具体地,可以在确定智能门铃的预设监控范围内有人形出现后,智能门铃访问小区大门的监控设备或小区监控服务器,利用该人形寻找类似轮廓以获取轮廓比对结果,具体地,此时监控数据库仅存储有进出小区的人员的轮廓信息,首先预设一个匹配度阈值,当监控数据库中的轮廓信息与出现的人形的轮廓匹配度的最大值大于匹配度阈值时,生成轮廓匹配成功信息,表明对比到类似轮廓,该人形有可能为疑似访客。结合上述运动分析结果和轮廓匹配成功信息对人形进行初步判断,当轮廓比对到类似轮廓且运动分析结果表明该人形为疑似访客时,可以确定该人形为疑似访客。
容易想到的是,也可在判断人形为疑似访客后,智能门铃访问小区大门的监控设备或小区监控服务器进行人形轮廓查找,获取轮廓比对结果,当小区监控数据库中的轮廓信息与出现的人形的轮廓匹配度的最大值大于匹配度阈值时,生成轮廓匹配成功信息,表明对比到类似轮廓,该人形有可能为访客。结合上述活体检测结果和轮廓匹配成功信息对人形进行二次判断,当轮廓比对到类似轮廓且活体检测结果表明该人形为访客时,可以确定该人形为访客。进一步地,还可以获取与该人形的轮廓匹配度最高的轮廓信息对应的人物信息,例如该人物的面部特征信息和/或来访登记信息等等,后续可以根据获取到的面部特征信息和智能门铃获取的访客的面部特征信息进行比对,以给出准确的访客的身份信息,根据获取得到的来访登记信息也可以验证智能门铃所获得的访客的身份信息是否准确。
实施例9
本实施例中,参考图6,图6示例性示出了访客检测方法的另一种实施例的流程图,具体包括:
步骤S601,检测智能门铃的预设监控范围内的环境光强,其中,预设监控范围为智能门铃安装的门口的部分区域,一般为靠近门口的区域,方便进行访客检测,这一部分区域的大小可以根据用户的要求进行设置,可以自由调节;
步骤S602,判断预设监控范围内的环境光强是否大于预设光强,若判断结果为否,表明此时预设监控范围内的光线条件不佳,例如阴天或者夜晚,此时控制智能门铃进入夜视模式;
步骤S603,判断预设监控范围内是否存在人形,检测预设监控范围内是否出现人形;
步骤S604,若出现人形,基于运动分析初步判断人形是否为疑似访客,进行第一次访客检测;
步骤S605,若初步判断为疑似访客,根据活体检测算法二次判断人形是否为访客,再次进行访客检测,依据活体检测的结果可以确定该人形是否为人,若活体检测判断该人形为人,则表示出现了访客;
步骤S606,获取访客的特征信息,确定门口有来访人员后,可以利用智能门铃获取访客的特征信息;具体地,可开启智能门铃的可见光补光灯,获取来访人员的特征信息,例如获取其面部特征以及服装信息等;
步骤S607,根据访客的特征信息获取访客的身份信息,可通过智能门铃进行本地对比或者通过智能门铃上传云端服务器进行远程对比分析,确定来访人员的身份信息;
步骤S608,根据访客的身份信息执行访客提醒操作,以提醒用户有访客来访。
本实施例中,特征信息需要包括面部特征、指纹、虹膜、语音中的一种或多种;特征信息还可以包括身高、体型、年龄、服饰、妆容、携带物品中的一种或多种。本实施例中,面部特征和妆容可以利用摄像头直接获取访客的面部图像并进行图像识别处理来获得;而身高、体型、年龄、服饰和携带物品通过获取访客的全身图像或视频并进行处理来获得,处理方法采用已知技术来实现,在此不再赘述。体型包括高、矮、胖、瘦和中等几种类型,而年龄为图像智能识别得到的年龄范围,例如小孩为1-18岁,青年为19-30岁,中年为30-49岁,老年为50-99岁;服饰为处理访客图像获得服饰部分的图像;携带物品信息通过图像识别来获知,携带物品包括书包、女士手袋等,例如小孩子一般会背着书包,利用图像识别可以识别出访客所携带的物品具体是什么。另外,当访客发出语音时,智能门铃可以利用麦克风获得访客的语音信息,同理,当访客进行指纹识别或虹膜识别时,可以获得访客的指纹信息和虹膜信息。
智能门铃在进行本地比对之前,需要用户提前建立本地数据库,本地数据库存储有预设人员的身份信息与第一预设特征信息的对应关系;其中,本地数据库是由智能门铃的用户预先存储信息而建立的,预设人员可以是家庭的固定成员、朋友、同事、亲戚等,通过预先采集预设人员的特征信息作为第一预设特征信息,并获取预设人员的身份信息以建立本地数据库,例如,当有同事来访时,安装在室外的智能门铃获取同事的特征信息(包括脸部特征)后,通过网络将特征信息发送至智能门铃所指定的用户的移动终端(如手机),用户通过观看同事的特征信息后在移动终端上输入该同事的身份信息,智能门铃将该同事的特征信息作为第一预设特征信息,并将第一预设特征信息和对应的身份信息存储在本地数据库中,以备后续本地比对时使用。值得注意的是,本地比对时,获取得到访客的特征信息为面部特征时,则第一预设特征信息对应为预设面部特征,即直接进行人脸识别以比对访客是否为本地数据库中的预设人员;同理,当获取到访客的特征信息为指纹和语音时,对应的第一预设特征信息为预设指纹信息和预设语音信息,通过指纹信息和语音信息对比以判断访客是否为预设人员。
同理,智能门铃在进行远程比对之前,需要在云端服务器提前建立远程数据库,远程数据库存储有预识别人员的身份信息与第二预设特征信息的对应关系,预识别人员的身份信息和第二预设特征信息由智能门铃根据预设机器学习模型预先进行智能身份识别而得到。具体地。参考图7,图7示例性示出了智能门铃进行智能身份识别的方法流程图,包括:
步骤S701,获取不在本地数据库和远程数据库中的访客的特征信息、停留时长、停留次数和行为信息;具体地,通过智能门铃获取访客的特征信息、停留时长、停留次数和行为信息;其中,停留时长可以利用人体红外传感模块和定时器来获得,停留次数通过统计获得,当获取到某一访客的特征信息后,将其特征信息进行存储同时统计其出现次数(即停留次数);行为信息可以通过图像识别处理来获得,通过分析智能门铃获取的图像或视频,可以获得访客的行为信息,例如,正常的访问行为(如按门铃、敲门等)、异常的访问行为(如拆门铃、撞门、近距离贴近家门等),行为信息以本领域能实现的方法为准,此处不做具体限定;
步骤S702,根据停留时长、停留次数、行为信息、预设停留时长、预设停留次数和预设行为信息将访客标记为经过人员、可疑人员、危险人员和待识别人员;预设停留时长、预设停留次数和预设行为信息可以自由设置,例如,预设停留时长为5分钟,预设停留次数为3次,预设行为信息为异常的访问行为,当获取到访客的停留时长小于5分钟且停留次数小于3次时,将该访客标记为经过人员;当获取到访客的行为信息为异常的访问行为例如撞门时,将该访客标记为危险人员;当获取到访客的停留时长大于5分钟且停留次数大于3次时,表明该访客在门口多次逗留徘徊且长时间逗留,因此,将该访客标记为经过人员;其余的访客为待识别人员,进入下一步骤继续分析识别;
步骤S703,根据待识别人员的特征信息和预设机器学习模型获取待识别人员的身份信息,并利用身份信息标记待识别人员;具体地,智能门铃通过机器学习的方法自动识别判断待识别人员的身份信息,例如,通过分析访客来访时的穿着服饰、用户与其对话的内容以及访客的留言内容以智能识别访客的身份信息,例如外卖人员、推销人员、快递人员、物业人员,这些人员与用户的对话内容都具有鲜明的行业特点,因此,利用包括对话内容在内的特征信息,可以确定访客的身份信息;
步骤S704,将访客的标记及其特征信息分别作为预识别人员的身份信息和第二预设特征信息并添加至远程数据库。智能门铃将识别到的经过人员、可疑人员、危险人员、外卖人员、推销人员、快递人员、物业人员等的特征信息和身份信息上传至云端服务器进行存储,方便后续比对和智能门铃之间的信息共享。
其中,对于预设机器学习模型,可以获取一定数目的人员的身份信息和特征信息用于模型训练,例如,预先获取一定数量的快递人员的特征信息,将特征信息和身份信息输入模型中,进行监督式模型训练;同理,对于其他的身份信息的人员,利用同样的方法训练模型后可以得到预设机器学习模型。
当云端服务器的数量过多时,可以设置一个总云端服务器专门用于存储危险人员的特征信息和身份信息,方便多云端服务器之间的信息共享,进一步提高智能门铃的安全性,保障用户的人身安全。
以一个小区为例,当小区中某一智能门铃获取到访客的特征信息后,优先用访客的特征信息与智能门铃预先存储的预设人员的信息进行本地比对,若本地比对成功,例如是用户的朋友、同事等,执行访客提醒操作以提醒用户有人员来访;若比对失败,可将上述特征信息上传至小区的云端服务器,通过小区的云端服务器对特征信息进行远程比对、分析以确定访客信息;如果小区的云端服务器也对比失败时,可以将访客的特征信息上传至总云端服务器进行比对,以防止小偷罪犯等危险人员靠近用户的家,对于危险人员接近家门会及时提醒房屋的主人,而对于经常在小区活动的外卖人员或物业人员等,也能智能识别出来,避免出现识别失误而导致误报警的情况。利用智能门铃进行智能身份识别,不仅可以提高访客身份识别的宽度,而且,多智能门铃之间的身份识别结果通过云端服务器实现共享,进一步提高访客识别的准确度。
本实施例中,访客提醒操作包括:
语音播报访客的身份信息、发送访客的身份信息至指定用户的智能移动终端、发送报警信息至指定机构中的一种或多种。具体地,当获得门外访客的身份信息后,可以控制智能门铃的室内机进行语音播报,语音输出访客的身份信息,方便用户直接听取访客的身份信息;还可以设置通过智能门铃将访客的身份信息通过网络传输至指定用户的智能移动终端,例如手机,方便用户远程查看家中的访客;而当识别到门外的访客的身份信息为危险人员时,智能门铃可以发送报警信息至指定的小区保安或者指定派出所的警察的智能终端,例如手机或电脑,以实现报警处理,避免家中人员遭受伤害。
实施例10
在实施例9的基础上,参考图8,图8示例性示出了访客检测方法的又一种实施例的流程图,本实施例提供又一种访客检测方法,具体包括:
步骤S801,检测智能门铃的预设监控范围内的环境光强,其中,预设监控范围为智能门铃安装的门口的部分区域,一般为靠近门口的区域,方便进行访客检测,这一部分区域的大小可以根据用户的要求进行设置,可以自由调节;
步骤S802,判断预设监控范围内的环境光强是否大于预设光强,若判断结果为否,表明此时预设监控范围内的光线条件不佳,例如阴天或者夜晚,此时控制智能门铃进入夜视模式;
步骤S803,判断预设监控范围内是否存在人形,检测预设监控范围内是否出现人形;
步骤S804,若出现人形,基于运动分析初步判断人形是否为疑似访客,进行第一次访客检测;
步骤S805,若初步判断为疑似访客,根据活体检测算法二次判断人形是否为访客,再次进行访客检测,依据活体检测的结果可以确定该人形是否为人,若活体检测判断该人形为人,则表示出现了访客;
步骤S806,获取访客的特征信息,确定门口有来访人员后,可以利用智能门铃获取访客的特征信息;具体地,可开启智能门铃的可见光补光灯,获取来访人员的特征信息,例如获取其面部特征以及服装信息等;
步骤S807,根据访客的特征信息获取访客的身份信息,可通过智能门铃进行本地对比或者通过智能门铃上传云端服务器进行远程对比分析,确定来访人员的身份信息;
步骤S808,根据访客的身份信息执行访客提醒操作,以提醒用户有访客来访;
步骤S809,显示激光投影形成的虚拟门铃开关。
本实施例中,虚拟门铃开关为虚拟按键,确定来访人员后,为了方便来访人员启动门铃,利用安装于智能门铃的机体侧面的激光投影灯投影出按键的画面,投影灯配合红外传感器检测激光投影的虚拟按键是否被按下,如果检测到虚拟按键被按下,则控制智能门铃的响应装置进行响应,例如,控制室内机的扬声器发出提示语音,提醒室内用户有访客来访。
实施例11
一种访客检测装置,参考图9,图9示例性示出了访客检测装置的结构,包括:
光强检测模块91,用于检测智能门铃的预设监控范围内的环境光强;其中,预设监控范围为智能门铃安装的门口的部分区域,一般为靠近门口的区域,方便进行访客检测,这一部分区域的大小可以根据用户的要求进行设置,可以自由调节;
光强判断模块92,用于判断环境光强是否大于预设光强,若判断结果为否,表明此时预设监控范围内的光线条件不佳,例如阴天或者夜晚,此时控制智能门铃进入夜视模式;
人形检测模块93,用于判断预设监控范围内是否存在人形;
初步判断模块94,用于出现人形时,基于运动分析初步判断人形是否为疑似访客;
二次判断模块95,用于初步判断为疑似访客时,根据活体检测算法二次判断人形是否为访客,再次进行访客检测,依据活体检测结果可以确定该人形是否为人,若活体检测判断该人形为人,则表示出现了访客。
本实施例通过光强检测模块91检测智能门铃的预设监控范围内的环境光强,光强判断模块92根据预设光强控制智能门铃是否进入夜视模式,在环境光强小于预设光强的时候,控制智能门铃进入夜视模式;人形检测模块93再判断预设监控范围内是否存在人形,若存在人形,则初步判断模块94基于运动分析对人形进行初步判断是否为疑似访客,以及在判断人形为疑似访客后,二次判断模块95根据活体检测算法进行二次判断人形是否为访客,克服已知技术中在光线条件不良的情况下,无法对访客进行有效识别的技术问题,实现了在光线条件不佳的时候,准确、有效地对访客进行检测,提高用户体验。访客检测装置可应用于智能门铃领域。
本实施例中,夜视模式是指智能门铃能在光线不足的环境下进行访客检测,一般是基于夜视技术来实现的,夜视技术包括微光夜视和红外夜视两方面。微光夜视技术又称像增强技术,是通过带像增强管的夜视镜,对夜天光照亮的微弱目标像进行增强,以供观察的光电成像技术;而红外夜视技术是利用光电转换技术来实现的,它分为主动式和被动式两种:前者用红外探照灯照射目标,再接收目标反射的红外辐射以形成目标的图像;后者不发射红外线,依靠目标自身的红外辐射形成“热图像”,故又称为“热像仪”。
本实施例中,采用主动式红外夜视技术来实现智能门铃的夜视模式,具体地,参考图2,图2示例性示出了智能门铃的结构框图,智能门铃包括室外机和室内机,室外机一般安装在室外门口处,而室内机一般安装在室内以发出提示铃声实现访客来访提醒。
具体地,室内机包括用于播放语音的扬声器215、用于存储信息的存储模块212、用于采集语音的第二麦克风模块214和用做室内机的主控中心的第二主控模块213。而室外机包括用于实现外部通信的通信模块211、用做室外机的主控中心的第一主控模块210、用于采集语音的第一麦克风模块209、用于采集门口监控视频和图像的摄像头202、用于为摄像头采集图像或视频补光的补光灯205、用于实现人体检测的人体红外传感模块207、用于进行指纹识别的指纹识别模块208、用于获取虹膜信息的虹膜图像传感器203、用于检测环境光强的光感应模块201、以及用于触发智能门铃的触发开关,在一些应用场景中,触发开关可以是触摸按键204或者是门铃按键206,一旦访客触摸了室外机的触摸按键204或者按压室外机的门铃按键206,就会触发智能门铃控制扬声器215发出提示铃声。另外,通信模块211可以是有线通信模块或者无线通信模块,无线通信模块可以是蓝牙模块或WiFi模块或者移动通信模块,例如2G移动通信模块、3G移动通信模块、4G移动通信模块或者5G移动通信模块。利用通信模块211,智能门铃可以实现与外部其他的通信设备之间的通信,其他的通信设备例如手机或服务器。
参考图2,第一主控模块210和第二主控模块213之间具有通信连接,可以是有线连接也可以是无线连接,例如通过WiFi建立通信连接,此处对第一主控模块210和第二主控模块213之间的通信连接方式不做限定。实际使用中,第一麦克风模块209和第二麦克风模块214可以采用麦克风阵列来实现,而补光灯205包括可见光补光灯和红外补光灯,可见光补光灯采用环形补光灯来实现,可以是环形LED补光灯。因此,结合摄像头202和红外补光灯可以实现智能门铃的夜视功能,为了增强智能门铃的夜视功能,红外补光灯均匀排布以使红外补光灯的焦点均匀散布在摄像头获取得到的画面中,这样能有效避免夜视画面中出现中间极亮周围却存在阴影的情况。另外,人体红外传感模块207采用人体红外传感器来实现。智能门铃设置了指纹识别模块208和虹膜图像传感器203以实现根据用户的指纹信息和虹膜信息实现开门,因此,智能门铃还包括电子锁模块,在第一主控模块210根据用户的指纹信息和虹膜信息确认了用户为预设的用户后,第一主控模块210控制电子锁模块开锁以实现开门。
本实施例中,在一些应用环境中,参考图2,光强检测模块91可以采用智能门铃的光感应模块201来实现,一般地,光感应模块201可以采用对光源敏感的光敏元件来实现,例如光敏二极管,光敏元件对光线强度的敏感度很高,能快速、精确感应预设监控范围内的环境光线强度。利用光感应模块201可以检测预设监控范围内的环境光强,在环境光强小于预设光强时,控制智能门铃进入夜视模式。
本实施例中,参考图10,示例性示出了人形检测模块的结构,人形检测模块包括:
移动物体检测子模块,用于判断预设监控范围内是否存在移动物体,在一些应用场景中,可以采用智能门铃在夜视模式下获取预设监控范围内的图像或视频,再对获取的图像或视频进行处理、识别,以检测判断预设监控范围内是否存在移动物体,此处的图像或视频处理识别方法可以采用现有方法来实现,此处不做限定;
轮廓获取子模块,用于判断为存在移动物体时,则获取移动物体的轮廓信息,同理,在一些应用场景下,可以通过智能门铃在夜视模式下获取移动物体的图像或视频,再对获取的图像或视频进行处理、识别以获取移动物体的轮廓信息;
人形判断子模块,用于根据轮廓信息判断移动物体的轮廓是否为人形,在一些应用场景下,可以基于图形识别技术实现轮廓判断,图形识别技术采用已知技术来实现,在此不做限定。
人形检测模块利用移动物体的轮廓信息判断移动物体是否为人形,确保人形判断的准确性。
本实施例中,参考图11,示例性示出了初步判断模块94的结构,初步判断模块94具体包括:
移动速度和移动方向获取子模块111,用于获取人形的移动速度和移动方向,在一些应用场景下,可以通过智能门铃在夜视模式下获取人形的图像或视频,再对获取的图像或视频进行处理、识别以获取人形的移动速度和移动方向;
移动目的判断子模块112,用于根据移动速度和移动方向判断人形的移动目的是否为智能门铃对应的门,若判断移动目的为智能门铃对应的门(运动分析结果),人形为疑似访客;其中,移动目的也即人形的移动终点,智能门铃对应的门的位置已知且固定,则根据人形的移动速度和移动方向可以判断人形的移动终点是否为智能门铃对应的门,若判断移动终点为智能门铃对应的门,则表明该人形为疑似访客。
本实施例中,参考图12,示例性示出了初步判断模块94的另一种结构,初步判断模块94具体包括:
停留时长获取子模块121,用于获取人形在预设监控范围内的停留时长,当步骤S103判定预设监控范围内存在人形时,开始统计该人形的停留时间;在一些应用场景中,可以通过智能门铃的人体红外检测模块和定时器统计人形在预设监控范围内的停留时长,或者根据智能门铃的第一麦克风模块检测预设监控范围内的声音大小,对超过预设音量的声音统计其持续时间,将持续时间作为停留时长;
判断子模块122,用于判断停留时长是否大于预设时长,若判断结果为是(运动分析结果),人形为疑似访客;例如,预设时长为15分钟,当人形的停留时长大于15分钟时,表明该人形为疑似访客。
值得注意的是,上述两种初步判断模块的结构可以进行相互结合,即初步判断模块检测人形的移动目的是否为智能门铃对应的门,同时检测人形在预设检测范围内的停留时长,这样,可以确定人形为该智能门铃对应用户的疑似访客,而不是偶然路过的路人。
若初步判断模块94初步判断预设监控范围内出现的人形为疑似访客,则二次判断模块95再根据活体检测算法二次判断人形是否为访客,活体检测算法包括虹膜活体检测算法或人脸活体检测算法,依据活体检测结果可以确定该人形是否为人,若活体检测判断该人形为活体,则表示出现了访客。例如,人脸活体检测算法的一种检测方式,通过眨眼、摇头、张嘴等命令配合方式判断人形是否是活体,可以进一步提高准确性,具体的活体检测方式此处不做限定。
实施例12
在实施例11的基础上提供实施例12,本实施例中,提供另一种初步判断模块和二次判断模块,初步判断模块具体包括:
第一轮廓比对子模块,用于根据人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,监控数据库存储有进出小区的人员的轮廓信息;
第一联合判断子模块,用于判断轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合运动分析结果和轮廓匹配成功信息初步判断人形是否为疑似访客;
二次判断模块具体包括:
第二轮廓比对子模块,用于根据人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,监控数据库存储有进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息的对应关系;
第二联合判断子模块,用于判断轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合活体检测结果和轮廓匹配成功信息二次判断人形是否为访客;
人员信息获取子模块,用于获取轮廓匹配度的最大值对应人员的面部特征信息和/或来访登记信息。
具体地,智能门铃还可以联合其他设备进行访客检测,其他设备可以是小区大门的监控设备或者小区监控服务器,小区大门的监控设备中的监控数据库存储有在小区大门处获取的监控数据,监控数据包括进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息,监控数据库按照人员的轮廓信息、人员对应的面部特征信息、人员对应的来访登记信息的对应关系进行存储;同理,小区监控服务器中的监控数据库存储有整个小区的监控数据,监控数据包括进出小区的人员的轮廓信息、人员面部特征信息、人员的来访登记信息。这些监控数据可以是由小区门口的监控设备传输至小区监控服务器中的,小区监控服务器中的监控数据库按照人员的轮廓信息、人员对应的面部特征信息、人员对应的来访登记信息的对应关系进行存储。
智能门铃通过与监控设备或者小区监控服务器建立通信连接后,可以在监控设备的监控数据库或者小区监控服务器中的监控数据库中进行轮廓比对查找,以根据轮廓比对结果辅助进行疑似访客或者访客的检测判断。具体地,可以在确定智能门铃的预设监控范围内有人形出现后,智能门铃访问小区大门的监控设备或小区监控服务器,第一轮廓比对子模块利用该人形寻找类似轮廓以获取轮廓比对结果,具体地,此时监控数据库仅存储有进出小区的人员的轮廓信息,首先预设一个匹配度阈值,当监控数据库中的轮廓信息与出现的人形的轮廓匹配度的最大值大于匹配度阈值时,生成轮廓匹配成功信息,表明对比到类似轮廓,该人形有可能为疑似访客。第一联合判断子模块结合上述运动分析结果和轮廓匹配成功信息对人形进行初步判断,当轮廓比对到类似轮廓且运动分析结果表明该人形为疑似访客时,可以确定该人形为疑似访客。
容易想到的是,也可在判断人形为疑似访客后,智能门铃访问小区大门的监控设备或小区监控服务器进行人形轮廓查找,第二轮廓比对子模块获取轮廓比对结果,当小区监控数据库中的轮廓信息与出现的人形的轮廓匹配度的最大值大于匹配度阈值时,生成轮廓匹配成功信息,表明对比到类似轮廓,该人形有可能为访客。第二联合判断子模块结合上述活体检测结果和轮廓匹配成功信息对人形进行二次判断,当轮廓比对到类似轮廓且活体检测结果表明该人形为访客时,可以确定该人形为访客。进一步地,人员信息获取子模块还可以获取与该人形的轮廓匹配度最高的轮廓信息对应的人物信息,例如该人物的面部特征信息和/或来访登记信息等等,后续可以根据获取到的面部特征信息和智能门铃获取的访客的面部特征信息进行比对,以给出准确的访客的身份信息,根据获取得到的来访登记信息也可以验证智能门铃所获得的访客的身份信息是否准确。
实施例13
在实施例11的基础上,本实施例中,参考图13,图13示例性示出了访客检测装置的另一种实施例的结构框图,访客检测装置具体包括:
光强检测模块131,用于检测智能门铃的预设监控范围内的环境光强,其中,预设监控范围为智能门铃安装的门口的部分区域,一般为靠近门口的区域,方便进行访客检测,这一部分区域的大小可以根据用户的要求进行设置,可以自由调节;
光强判断模块132,用于判断预设监控范围内的环境光强是否大于预设光强,若判断结果为否,表明此时预设监控范围内的光线条件不佳,例如阴天或者夜晚,此时控制智能门铃进入夜视模式;
人形检测模块133,用于判断预设监控范围内是否存在人形,检测预设监控范围内是否出现人形;
初步判断模块134,用于出现人形时,基于运动分析初步判断人形是否为疑似访客,进行第一次访客检测;
二次判断模块135,用于初步判断为疑似访客时,根据活体检测算法二次判断人形是否为访客,再次进行访客检测,依据活体检测的结果可以确定该人形是否为人,若活体检测判断该人形为人,则表示出现了访客;
特征信息获取模块136,用于获取访客的特征信息,确定门口有来访人员后,可以利用智能门铃获取访客的特征信息;具体地,可开启智能门铃的可见光补光灯,获取来访人员的特征信息,例如获取其面部特征以及服装信息等;
身份信息获取模块137,用于根据访客的特征信息获取访客的身份信息,可通过智能门铃进行本地对比或者通过智能门铃上传云端服务器进行远程对比分析,确定来访人员的身份信息;
提醒模块138,用于根据访客的身份信息执行访客提醒操作,以提醒用户有访客来访。
本实施例中,特征信息需要包括面部特征、指纹、虹膜、语音中的一种或多种;特征信息还可以包括身高、体型、年龄、服饰、妆容、携带物品中的一种或多种。特征信息获取模块136采用智能门铃来实现,本实施例中,面部特征和妆容可以利用摄像头直接获取访客的面部图像并进行图像识别处理来获得;而身高、体型、年龄、服饰和携带物品通过获取访客的全身图像或视频并进行处理来获得,处理方法采用已知技术来实现,在此不再赘述。体型包括高、矮、胖、瘦和中等几种类型,而年龄为图像智能识别得到的年龄范围,例如小孩为1-18岁,青年为19-30岁,中年为30-49岁,老年为50-99岁;服饰为处理访客图像获得服饰部分的图像;携带物品信息通过图像识别来获知,携带物品包括书包、女士手袋等,例如小孩子一般会背着书包,利用图像识别可以识别出访客所携带的物品具体是什么。另外,当访客发出语音时,可以利用智能门铃的麦克风获得访客的语音信息,同理,当访客进行指纹识别或虹膜识别时,可以获得访客的指纹信息和虹膜信息。
智能门铃在进行本地比对之前,需要用户提前建立本地数据库,本地数据库存储有预设人员的身份信息与第一预设特征信息的对应关系;其中,本地数据库是由智能门铃的用户预先存储信息而建立的,预设人员可以是家庭的固定成员、朋友、同事、亲戚等,通过预先采集预设人员的特征信息作为第一预设特征信息,并获取预设人员的身份信息以建立本地数据库,例如,当有同事来访时,安装在室外的智能门铃获取同事的特征信息(包括脸部特征)后,通过网络将特征信息发送至智能门铃所指定的用户的移动终端(如手机),用户通过观看同事的特征信息后在移动终端上输入该同事的身份信息,智能门铃将该同事的特征信息作为第一预设特征信息,并将第一预设特征信息和对应的身份信息存储在本地数据库中,以备后续本地比对时使用。值得注意的是,本地比对时,获取得到访客的特征信息为面部特征时,则第一预设特征信息对应为预设面部特征,即直接进行人脸识别以比对访客是否为本地数据库中的预设人员;同理,当获取到访客的特征信息为指纹和语音时,对应的第一预设特征信息为预设指纹信息和预设语音信息,通过指纹信息和语音信息对比以判断访客是否为预设人员。
同理,智能门铃在进行远程比对之前,需要在云端服务器提前建立远程数据库,远程数据库存储有预识别人员的身份信息与第二预设特征信息的对应关系,预识别人员的身份信息和第二预设特征信息由智能门铃根据预设机器学习模型预先进行智能身份识别而得到。具体地。参考图7,图7示例性示出了智能门铃进行智能身份识别的方法流程图,包括:
步骤S701,获取不在本地数据库和远程数据库中的访客的特征信息、停留时长、停留次数和行为信息;具体地,通过智能门铃获取访客的特征信息、停留时长、停留次数和行为信息;其中,停留时长可以利用人体红外传感模块和定时器来获得,停留次数通过统计获得,当获取到某一访客的特征信息后,将其特征信息进行存储同时统计其出现次数(即停留次数);行为信息可以通过图像识别处理来获得,通过分析智能门铃获取的图像或视频,可以获得访客的行为信息,例如,正常的访问行为(如按门铃、敲门等)、异常的访问行为(如拆门铃、撞门、近距离贴近家门等),行为信息以本领域能实现的方法为准,此处不做具体限定;
步骤S702,根据停留时长、停留次数、行为信息、预设停留时长、预设停留次数和预设行为信息将访客标记为经过人员、可疑人员、危险人员和待识别人员;预设停留时长、预设停留次数和预设行为信息可以自由设置,例如,预设停留时长为5分钟,预设停留次数为3次,预设行为信息为异常的访问行为,当获取到访客的停留时长小于5分钟且停留次数小于3次时,将该访客标记为经过人员;当获取到访客的行为信息为异常的访问行为例如撞门时,将该访客标记为危险人员;当获取到访客的停留时长大于5分钟且停留次数大于3次时,表明该访客在门口多次逗留徘徊且长时间逗留,因此,将该访客标记为经过人员;其余的访客为待识别人员,进入下一步骤继续分析识别;
步骤S703,根据待识别人员的特征信息和预设机器学习模型获取待识别人员的身份信息,并利用身份信息标记待识别人员;具体地,智能门铃通过机器学习的方法自动识别判断待识别人员的身份信息,例如,通过分析访客来访时的穿着服饰、用户与其对话的内容以及访客的留言内容以智能识别访客的身份信息,例如外卖人员、推销人员、快递人员、物业人员,这些人员与用户的对话内容都具有鲜明的行业特点,因此,利用包括对话内容在内的特征信息,可以确定访客的身份信息;
步骤S704,将访客的标记及其特征信息分别作为预识别人员的身份信息和第二预设特征信息并添加至远程数据库。智能门铃将识别到的经过人员、可疑人员、危险人员、外卖人员、推销人员、快递人员、物业人员等的特征信息和身份信息上传至云端服务器进行存储,方便后续比对和智能门铃之间的信息共享。
其中,对于预设机器学习模型,可以获取一定数目的人员的身份信息和特征信息用于模型训练,例如,预先获取一定数量的快递人员的特征信息,将特征信息和身份信息输入模型中,进行监督式模型训练;同理,对于其他的身份信息的人员,利用同样的方法训练模型后可以得到预设机器学习模型。
当云端服务器的数量过多时,可以设置一个总云端服务器专门用于存储危险人员的特征信息和身份信息,方便多云端服务器之间的信息共享,进一步提高智能门铃的安全性,保障用户的人身安全。
以一个小区为例,当小区中某一智能门铃获取到访客的特征信息后,优先用访客的特征信息与智能门铃预先存储的预设人员的信息进行本地比对,若本地比对成功,例如是用户的朋友、同事等,执行访客提醒操作以提醒用户有人员来访;若比对失败,可将上述特征信息上传至小区的云端服务器,通过小区的云端服务器对特征信息进行远程比对、分析以确定访客信息;如果小区的云端服务器也对比失败时,可以将访客的特征信息上传至总云端服务器进行比对,以防止小偷罪犯等危险人员靠近用户的家,对于危险人员接近家门会及时提醒房屋的主人,而对于经常在小区活动的外卖人员或物业人员等,也能智能识别出来,避免出现识别失误而导致误报警的情况。利用智能门铃进行智能身份识别,不仅可以提高访客身份识别的宽度,而且,多智能门铃之间的身份识别结果通过云端服务器实现共享,进一步提高访客识别的准确度。
本实施例中,提醒模块138可以是智能门铃语音播报访客的身份信息,提醒模块138也可以是指定用户的智能移动终端,智能门铃发送访客的身份信息至指定用户的智能移动终端以提醒用户,提醒模块138还可以是指定机构的智能终端,如手机或电脑,智能门铃发送报警信息至指定机构的智能接收终端。具体地,当获得门外访客的身份信息后,可以控制智能门铃的室内机进行语音播报,语音输出访客的身份信息,方便用户直接听取访客的身份信息;还可以通过智能门铃将访客的身份信息通过网络传输至指定用户的智能移动终端,例如手机,方便用户远程查看家中的访客;而当识别到门外的访客的身份信息为危险人员时,智能门铃可以发送报警信息至指定的小区保安或者指定派出所的警察的智能终端,例如手机或电脑,以实现报警处理,避免家中人员遭受伤害。
实施例14
在实施例13的基础上,参考图14,图14示例性示出了访客检测装置的又一种实施例的结构框图,本实施例提供又一种访客检测装置,具体包括:
光强检测模块141,用于检测智能门铃的预设监控范围内的环境光强,其中,预设监控范围为智能门铃安装的门口的部分区域,一般为靠近门口的区域,方便进行访客检测,这一部分区域的大小可以根据用户的要求进行设置,可以自由调节;
光强判断模块142,用于判断预设监控范围内的环境光强是否大于预设光强,若判断结果为否,表明此时预设监控范围内的光线条件不佳,例如阴天或者夜晚,此时控制智能门铃进入夜视模式;
人形检测模块143,用于判断预设监控范围内是否存在人形,检测预设监控范围内是否出现人形;
初步判断模块144,用于出现人形时,基于运动分析初步判断人形是否为疑似访客,进行第一次访客检测;
二次判断模块145,用于初步判断为疑似访客时,根据活体检测算法二次判断人形是否为访客,再次进行访客检测,依据活体检测的结果可以确定该人形是否为人,若活体检测判断该人形为人,则表示出现了访客;
特征信息获取模块146,用于获取访客的特征信息,确定门口有来访人员后,可以利用智能门铃获取访客的特征信息;具体地,可开启智能门铃的可见光补光灯,获取来访人员的特征信息,例如获取其面部特征以及服装信息等;
身份信息获取模块147,用于根据访客的特征信息获取访客的身份信息,可通过智能门铃进行本地对比或者通过智能门铃上传云端服务器进行远程对比分析,确定来访人员的身份信息;
提醒模块148,用于根据访客的身份信息执行访客提醒操作,以提醒用户有访客来访。
开关显示模块149,用于显示激光投影形成的虚拟门铃开关。
本实施例中,虚拟门铃开关为虚拟按键,确定来访人员后,为了方便来访人员启动门铃,利用安装于智能门铃的机体侧面的激光投影灯投影出按键的画面,投影灯配合红外传感器检测激光投影的虚拟按键是否被按下,如果检测到虚拟按键被按下,则控制智能门铃的响应装置进行响应,例如,控制智能门铃的室内机的扬声器发出提示语音,提醒室内用户有访客来访。
实施例15
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上述实施例所述的访客检测方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、模块可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种访客检测方法,其特征在于,包括:
检测智能门铃的预设监控范围内的环境光强;
判断所述环境光强是否大于预设光强,若判断结果为否,控制所述智能门铃进入夜视模式;
判断所述预设监控范围内是否存在人形;
若出现人形,基于运动分析初步判断所述人形是否为疑似访客;
若初步判断为疑似访客,根据活体检测算法二次判断所述人形是否为访客;其中,所述活体检测算法包括虹膜活体检测算法或人脸活体检测算法;
其中,所述若出现人形,基于运动分析初步判断所述人形是否为疑似访客,包括:
获取所述人形的移动速度和移动方向;
根据所述移动速度和所述移动方向判断所述人形的移动目的是否为所述智能门铃对应的门,若判断所述移动目的为所述智能门铃对应的门,所述人形为疑似访客;
或者,所述若出现人形,基于运动分析初步判断所述人形是否为疑似访客,包括:
根据所述人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,所述监控数据库存储有进出小区的人员的轮廓信息;
判断所述轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合运动分析结果和所述轮廓匹配成功信息初步判断所述人形是否为疑似访客;
其中,所述若初步判断为疑似访客,根据活体检测算法二次判断所述人形是否为访客,具体包括:
根据所述人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,所述监控数据库存储有进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息的对应关系;
判断所述轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合活体检测结果和所述轮廓匹配成功信息二次判断所述人形是否为访客,并获取所述轮廓匹配度的最大值对应人员的所述面部特征信息和/或所述来访登记信息。
2.根据权利要求1所述的访客检测方法,其特征在于,所述判断所述预设监控范围内是否存在人形,包括:
判断所述预设监控范围内是否存在移动物体;
若判断为存在移动物体,获取所述移动物体的轮廓信息;
根据所述轮廓信息判断所述移动物体的轮廓是否为人形。
3.根据权利要求1所述的访客检测方法,其特征在于,所述基于运动分析初步判断所述人形是否为疑似访客,包括:
获取所述人形在所述预设监控范围内的停留时长;
判断所述停留时长是否大于预设时长,若判断结果为是,所述人形为疑似访客。
4.根据权利要求1至3任一项所述的访客检测方法,其特征在于,所述访客检测方法还包括:
获取所述访客的特征信息;
根据所述特征信息获取所述访客的身份信息;
根据所述身份信息执行访客提醒操作。
5.根据权利要求1至3任一项所述的访客检测方法,其特征在于,所述访客检测方法还包括:
显示激光投影形成的虚拟门铃开关。
6.一种访客检测装置,其特征在于,包括:
光强检测模块,用于检测智能门铃的预设监控范围内的环境光强;
光强判断模块,用于判断所述环境光强是否大于预设光强,若判断结果为否,控制所述智能门铃进入夜视模式;
人形检测模块,用于判断所述预设监控范围内是否存在人形;
初步判断模块,用于出现人形时,基于运动分析初步判断所述人形是否为疑似访客;
二次判断模块,用于初步判断为疑似访客时,根据活体检测算法二次判断所述人形是否为访客;其中,所述活体检测算法包括虹膜活体检测算法或人脸活体检测算法;
其中,所述初步判断模块,包括:
获取所述人形的移动速度和移动方向;
根据所述移动速度和所述移动方向判断所述人形的移动目的是否为所述智能门铃对应的门,若判断所述移动目的为所述智能门铃对应的门,所述人形为疑似访客;
或者,所述初步判断模块,包括:
根据所述人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,所述监控数据库存储有进出小区的人员的轮廓信息;
判断所述轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合运动分析结果和所述轮廓匹配成功信息初步判断所述人形是否为疑似访客;
其中,所述二次判断模块,具体包括:
根据所述人形与小区的监控设备或小区监控服务器中的监控数据库进行轮廓比对,以获取轮廓匹配度,所述监控数据库存储有进出小区的人员的轮廓信息、人员的面部特征信息、人员的来访登记信息的对应关系;
判断所述轮廓匹配度的最大值是否大于匹配度阈值,若判断结果为是,则生成轮廓匹配成功信息,联合活体检测结果和所述轮廓匹配成功信息二次判断所述人形是否为访客,并获取所述轮廓匹配度的最大值对应人员的所述面部特征信息和/或所述来访登记信息。
7.根据权利要求6所述的访客检测装置,其特征在于,所述访客检测装置还包括:
特征信息获取模块,用于获取所述访客的特征信息;
身份信息获取模块,用于根据所述特征信息获取所述访客的身份信息;
提醒模块,用于根据所述身份信息执行访客提醒操作。
CN201910719014.1A 2019-08-05 2019-08-05 一种访客检测方法及装置 Active CN110647797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910719014.1A CN110647797B (zh) 2019-08-05 2019-08-05 一种访客检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910719014.1A CN110647797B (zh) 2019-08-05 2019-08-05 一种访客检测方法及装置

Publications (2)

Publication Number Publication Date
CN110647797A CN110647797A (zh) 2020-01-03
CN110647797B true CN110647797B (zh) 2022-11-11

Family

ID=68989966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910719014.1A Active CN110647797B (zh) 2019-08-05 2019-08-05 一种访客检测方法及装置

Country Status (1)

Country Link
CN (1) CN110647797B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641813B (zh) * 2020-05-29 2022-03-25 广东睿住智能科技有限公司 访客引导方法、楼宇可视对讲系统及存储介质
CN112215994A (zh) * 2020-10-15 2021-01-12 广东科徕尼智能科技有限公司 远程可视对讲智能防盗门锁的控制方法、系统及存储介质
CN112597970A (zh) * 2021-01-22 2021-04-02 盛视科技股份有限公司 一种特定人识别方法及装置
CN113053002B (zh) * 2021-06-01 2021-09-07 德施曼机电(中国)有限公司 一种门锁控制方法、装置及存储介质
CN113391695A (zh) * 2021-06-11 2021-09-14 山东浪潮科学研究院有限公司 一种基于TinyML的低功耗人脸识别方法
CN114913651A (zh) * 2022-04-07 2022-08-16 瞰瞰技术(深圳)有限公司 基于视觉识别的智能防盗报警方法、防盗装置及防盗门
CN115100758A (zh) * 2022-05-12 2022-09-23 科大讯飞股份有限公司 一种门锁控制方法、系统、设备及存储介质
CN115966039B (zh) * 2022-11-29 2024-09-24 重庆长安汽车股份有限公司 一种车门自动解锁控制方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100446043C (zh) * 2007-02-06 2008-12-24 重庆大学 基于生物传感和图像信息融合的视频安防监控方法
US10140828B2 (en) * 2015-06-04 2018-11-27 August Home, Inc. Intelligent door lock system with camera and motion detector
CN104602204B (zh) * 2014-12-31 2019-03-01 小米科技有限责任公司 访客提醒方法及装置
CN107613254A (zh) * 2017-09-26 2018-01-19 云丁网络技术(北京)有限公司 一种检测门外来访者、识别来访者身份的方法及装置
CN108171834A (zh) * 2017-12-25 2018-06-15 深圳禾思众成科技有限公司 一种智能门禁系统
CN108733208A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN108830975A (zh) * 2018-04-27 2018-11-16 安徽继远软件有限公司 一种智能人脸识别门禁系统及控制方法
CN108492431B (zh) * 2018-05-30 2024-03-29 中海云智慧(北京)物联网科技有限公司 一种智能门禁系统
CN108932780A (zh) * 2018-07-26 2018-12-04 陈万钧 识别装置及系统
CN109389719B (zh) * 2018-09-29 2021-01-26 厦门狄耐克智能科技股份有限公司 一种小区单元门门禁系统及开门方法
CN109598831A (zh) * 2018-11-20 2019-04-09 北京千丁互联科技有限公司 一种基于图像识别的访客门禁系统控制方法及其装置
CN109658579A (zh) * 2019-02-28 2019-04-19 中新智擎科技有限公司 一种门禁控制方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110647797A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110647797B (zh) 一种访客检测方法及装置
US11735018B2 (en) Security system with face recognition
US11132881B2 (en) Electronic devices capable of communicating over multiple networks
US10885396B2 (en) Generating composite images using audio/video recording and communication devices
US10475311B2 (en) Dynamic assessment using an audio/video recording and communication device
CN110598735B (zh) 一种访客信息提醒方法及装置
US10657749B2 (en) Automatic system access using facial recognition
CN107065586B (zh) 交互式智能家庭服务系统及方法
CN108492431B (zh) 一种智能门禁系统
US20160217638A1 (en) Identification-based barrier techniques
KR101730255B1 (ko) 얼굴 인식 디지털 도어록
US20200120309A1 (en) Accessing cameras of audio/video recording and communication devices based on location
CN110599710A (zh) 一种提醒方法及相关设备
US11024138B2 (en) Adjustable alert tones and operational modes for audio/video recording and communication devices based upon user location
US10769909B1 (en) Using sensor data to detect events
JP2018120644A (ja) 識別装置、識別方法およびプログラム
US10762769B1 (en) Sending signals for help during an emergency event
US10713928B1 (en) Arming security systems based on communications among a network of security systems
JP6339445B2 (ja) 人物識別装置
US11659144B1 (en) Security video data processing systems and methods
US11069210B2 (en) Selecting a video frame for notification using audio/video recording and communication devices
US11302156B1 (en) User interfaces associated with device applications
US20220018715A1 (en) Systems and methods for monitoring body temperature
US10930126B1 (en) Motion sensing for electronic devices
CN114495395A (zh) 一种人形检测方法、监控预警方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201020

Address after: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A

Applicant after: SHENZHEN HAIQUE TECHNOLOGY Co.,Ltd.

Address before: 518000 Room 401, building 14, Shenzhen Software Park, Keji Zhonger Road, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN DANALE TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant