一种基于人工智能的酒店安全管理方法
技术领域
本发明涉及基于人工智能的酒店类安全管理领域,尤其涉及一种用于无前台人员自助型酒店的兼容访客管理的安全管理方法及系统。
背景技术
随着酒店行业的快速发展,酒店及旅客也越来越多,安全管理也愈发重要。酒店的入住人员较多时,人工对其中入住的违法嫌疑人员或跟随进入酒店的未登记人员甄别难度很大,容易造成酒店管理的安全隐患。
尽管智能门禁系统作为高智能化的电子安全防范系统,已经开始代替射频卡门禁系统普遍用于对酒店各个房间或出入口的控制,克服了射频卡门禁只有门锁控制功能,没有对使用者进行识别及唯一性确认,导致门禁系统安全性低。目前以生物特征识别为基础的智能门禁系统目前广泛采用指纹识别,然而指纹特征具有易于复制的特性,导致安全性、唯一性不高,而虹膜识别虽然具有较高的安全型,但是涉及的设备及软件系统的成本过于高昂,而且其特征信息被其他人采集后存在安全隐患,目前尚不不适合酒店行业使用。
而目前开始兴起的人脸识别则在生物特征识别中尤为有利,其不仅具有较高的安全性、唯一性、稳定性,以及便于采集易于检测识别,而且不存在容易被盗用的风险。目前,人脸检测和识别的技术已经比较成熟,人脸图像采集不需要先进的设备,投入成本低,操作简单。
重要的是,与其他识别方法相比,由于人脸的唯一性特性,其获取的数据与公安系统联网后,尤其适合对涉及包含嫌疑人员的流动人员进行系统性的安全管理。
现有技术中,人脸识别应用在门禁方面主要是获取面部的特征信息,如颜色特征、形状特征、纹理特征、以及空间关系特征等。特征提取的算法有很多,如K-L变换方法、小波变换方法、Haar特征提取方法、LBP特征提取方法等。对人脸的特征进行提取后采用识别算法计算特征信息,将得到的结果参数与人脸库中的人脸参数进行对比,找到在阈值内与该人脸最相近的人,从而识别出该人脸的对应的身份信息。人脸的识别步骤中特征提取算法的速度与精度直接影响整个过程的效率。由于人脸检测和识别的算法较多,为了提高检测率与时间效率,目前采用将各种算法进行融合,组成多级检测,例如将特征子空间方法融合SVM,例如将人脸肤色特征融合支持向量机(SVM),或将肤色特征和模板匹配法进行融合等。
现有技术中例如CN201810565526公开了一种酒店旅客管理方法及客房门锁系统,该方法是一种客户远程订房,旅客自助入住的方法;远程订房时,至少需要提供入住旅客个人身份证号码;旅客入住时利用身份证刷卡开门;包括获得入住旅客身份证信息个人照片的步骤;判断所持身份证上的身份证号码与订房时提供的旅客个人身份证号码是否相同的步骤;将入住旅客的身份信息中的照片与获取到的入住旅客个人照片相比较,是否为同一人的步骤;克服了目前远程订房,自助入住的酒店管理系统中不能登记入住旅客信息的不足。
CN 201910290228也公开了一种酒店管理的方法,该方法包括:在通过设置在前台的摄像头获取所述用户当前的人脸图像;若所述身份证信息中的人脸图像与当前所获取的人脸图像匹配通过,则将所述身份证信息存储在所述数据库中;当酒店中功能区域的摄像头连续预设次在预定时间段内获取到同一用户的人脸图像时,将所获取到的人脸图像发送到所述处理端的进行识别匹配;基于所述入住信息启动所述功能区域对应的功能,为用户服务。
类似地,该类基于人脸识别进行酒店管理的专利申请仍可列举出一些。
然而,现有技术中的问题在于,该类专利申请用人脸识别系统对所拍照片的人脸与身份证中的照片进行比较,主要应用于登记阶段的人证比对审核,以减少人工审核工作量,而非用于更加适合的安全管理方面。
其他的基于人工智能的酒店管理系统可列举如下。
CN107146171公开了一种酒店管理系统,涉及酒店管理技术领域,用以解决现有技术中顾客无法自主登记、自主选择楼层或者房间,入住安全性低以及无法实现远程自动报警的问题。该酒店管理系统包括:服务器、自助服务子系统、公安子系统、客房智能监测子系统和云存储平台;该自助服务子系统包括:处理器、身份认证装置、房间选择装置、显示装置和缴费装置;该身份认证装置、该房间选择装置、该显示装置以及该缴费装置均与该处理器连接,该处理器与该服务器连接;该客房智能监测子系统:包括供电模块、温度传感器、烟雾传感器、有害气体监测传感器、智能门锁、远程报警模块和单片机控制中心。
CN 109166055 公开了一种无人化酒店智能入住系 统及方法,移动终端和酒店管理系统分别与后台 服务器连接;移动终端用于顾客通过后台服务器 进行注册、登录、预订房间、上传身份信息、打开 门锁及操控智能家居;酒店管理系统用于查询房间的状态和房间信息并发送给后台服务器,后台服务器接收所述信息后进行分类、排序和价格计算操作后,将房间信息反馈给移动终端,当顾客需要入住酒店时,使用移动终端通过后台服务器筛选房型并控制对应的房间门锁,提高了酒店入住的效率,减少了酒店人工成本,有效保护顾客隐私。CN 109493493 公开了一种 基于NFC的安全智能型酒店门禁控制系统及方 法;门锁硬件控制系统一端通过网络连接鉴权服 务器,门锁硬件控制系统另一端通过NFC连接手机客户端,鉴权服务器设置有用户数据管理模块、门锁数据管理模块和权限关联管理模块,手机客户端设置有登录、注册模块、开门模块、权限管理模块。通过利用门锁硬件控制系统在安全传输服务器的支持下,与手机客户端和鉴权服务器的交互,完成正常的开门操作,用户可以利用手机客户端开门模块输入正确的指令控制门锁开启和关闭,利用网络接口连接设备能够对门锁硬件控制系统进行远程控制,可以有效提高酒店的安全性。
CN109544406 涉及一种多功能的酒店管理系统,包括服务器、酒店综合服务应用平台、酒店综合管理应用平台,其中,酒店综合服务应用平台包括客房预订模块、智能解锁模块、客房服务模块、附加服务模块;酒店综合管理应用平台包括闲置客房管理模块、待用客房管理模块、智能锁管理模块、附加服务管理模块以及大数据分析模块;服务器的房源信息发生变化时,会进行定向分发,以确保无论客户借助何种媒介预订客房,均不会出现客房“超卖”的情况发生,同时,通过附加服务模块、客房预订模块、智能解锁模块、服务器、智能锁管理模块等的协同配合,实现了酒店安全管理与自助入住的有机统一,并满足了客户出行的全方位订购需求。CN 107194835公开了一种酒店前台接待机器人系统,包括第一信息采集模块采集酒店住客信息;第一识别处理模块发出提示音,指示住客通过用户操作设备进行住客身份信息输入操作;第二信息采集模块采集显示屏幕上显示的酒店房态信息;第二识别处理模块识别所述采集的酒店房态信息;用户操作设备获取住客输入的住客身份信息;主控模块根据获取的所述住客身份信息及确定的酒店房态信息,为所述住客确定房间信息;机械臂操作模块根据确定的房间信息向住客发放房卡。
综上,虽然现有技术涉及了计算机视觉或人工智能技术与酒店管理的结合,但是没有或极少涉及将其应用于酒店安全管理的内容。
而且,现有技术中的人脸识别,在实际操作中基于人脸识别的人证比对仍然具有较低的可操作性,这往往是由于身份证照片图像由于年龄、清晰度等因素导致和实际的当下人脸具有较大的差异,识别比对具有较高的难度和低准确度的结果,使得识别失败,因此实际上往往并不能提高酒店业务和效率,多次比对失败反而会给客人造成糟糕的入住体验。
另外,个别现有技术中利用人脸识别技术甄别嫌疑人员或不法分子时缺乏隐蔽性,当比对信息在显示屏上显现出来或报警器发出警报进行报警时,容易惊扰嫌疑人员,造成抓捕困难。
更重要的是,目前现有技术涉及的酒店管理系统中,存在的一个普遍问题是,极少涉及对访客的智能化管理。目前酒店对访问者的管理是:在前台处获得访问者的姓名、身份证号、电话号码等信息,进行登记后管理人员通过电话与受访者联系,将访问者带入,或者领取临时IC卡进入。流程比较繁琐,而且需要耗费人力,并且不便于对访问者进行安全管理。
因此,有必要改善现有访问管理办法,将访客管理纳入酒店安全管理系统,以便于统一进行安全管理。
综上,尽管现有技术公开了多种基于人脸检测识别的酒店管理技术,但是没有站在酒店安全的角度进行设计,因此基于人工智能设计一种隐蔽性较高的兼容访客管理的酒店安全管理系统是形势所趋,具有重要的市场价值。
发明内容
为克服上述现有技术缺陷,本发明基于人工智能提出一种隐蔽性较高的兼容访客管理的酒店安全管理方法及系统,以解决人工对酒店安全管理效率不高,尤其是对未登记人员和访客带来的安全隐患无法进行有效识别管理的问题。
其中,所述基于人工智能主要借助人脸检测识别技术,从而设计一种隐蔽性较高的兼容访客管理的酒店安全管理系统。
其中,所述酒店可以为无前台人员的自助型酒店、公寓式酒店或民宿型酒店,也可以为有人值守的常规酒店或旅馆。本发明所述的安全管理方法尤其适合无前台人员的自助型酒店。
本发明所述的安全管理系统,至少包括酒店预订系统、信息采集系统、酒店管理系统、智能门禁管理控制系统、人脸检测识别系统、数据库存储系统、访客管理系统等子系统模块,以及中心服务器,所述各子系统与中心服务器相连通。
其中,本发明所述的智能门禁分为电梯、楼梯等位置的公共门禁系统以及客房门禁系统。公共门禁系统和客房门禁系统均应当至少包括处理服务器和嵌入式设备终端;嵌入式设备终端可以固定于门禁旁,用于信息采集、控制门禁开关,处理服务器用于对终端上传的照片进行匹配比对识别,匹配成功发送开门信号到嵌入式设备。
优选地,所述门禁系统包括基于人脸和/或指纹的生物特征识别方式和至少一种备用的非生物识别方式。
进一步地,本发明还将酒店的重点门禁区域人脸信息采集识别与酒店公共区域智能视频监控相结合,并辅以访客管理,从而实现了隐蔽性较高的全面型人工智能酒店安全管理。
具体地,为实现上述目的,本发明提供一种基于人工智能的兼容访客管理的酒店安全管理方法,所述方法包括以下步骤S0-S7。
步骤S0-0:未入住阶段的个人信息采集。
在酒店预订阶段,预订系统通过用户终端设备获取客人的人脸图像与身份证件图像并传送至酒店管理系统,对图像预处理后,根据人脸检测从中提取人脸图像中的人脸特征信息以及身份证件照片的人脸特征信息,并根据特征分析二者相似度从而进行人脸识别比对。
优选地,相似度的阈值可以设定为较小范围,例如60-80%的相似度。
比对通过后,将获取的所有信息存储在系统的人脸数据库内,并标记为完全的预订信息。
如果预订时不能同时获取人脸图像和身份证件图像导致无法进行人脸识别比对时,则将可以获取的部分信息存储在人脸数据库内,并标记为不完全预订信息,留待客人入住时对其他信息进行补充。
其中,预订系统可以通过智能手机、PAD、电脑等用户终端设备进行人脸和证件的图像采集。
其中,现有技术中存在多种成熟的商业化人脸检测算法,例如基于知识的方法、基于特征的方法、基于模板匹配的方法以及基于图像块的方法等。其中,人脸识别是通过计算机技术来进行图像的匹配,现有技术中存在多种成熟的商业化人脸识别算法,例如基于子空间变换的方法、基于Hausdorff距离的方法、基于机器学习的方法、基于模型的方法、基于局部特征的方法等。通常流程为,从输入的图像中定位出人脸的位置,然后对该图像提取人脸特征,最后进行人脸识别。识别过程是将输入的人脸图像特征和存储在人脸数据库中的特征进行匹配,根据匹配分数值即相似度与设定的阈值相比较,从而确定匹配结果。即,匹配分值大于阈值则认为所检测的人脸与数据库中相应人脸为同一人。反之,则不属于同一人。考虑到人脸识别受到光线、遮挡等因素,通常需要其他的辅助识别手段。
具体地,在本发明系统中,人脸识别模块中采用的人脸识别算法可以为本领域中已知的任意算法,优选地,根据采集点的具体环境及要求,相应地采用识别速度高或精确度高的人脸识别算法获取人脸图像特征。
例如,当需要对人脸的识别速度较快但识别精度要求不高时,通过基于几何特征的人脸识别算法提取客人脸部的图像几何特征,然后将提取到的几何特征(如欧氏距离、曲率、角度)与预存的脸部图像特征进行匹配,从而计算二者之间的相似度时是否超过设定的阈值,若相似度大于阈值则认定二者相匹配,身份验证成功。通常地,提取客人脸部的图像特征时,可以先对脸部图像进行双眼、鼻、嘴角等特征点定位并将脸部图像分割成若干个区域分别进行特征提取,然后将各区域提取的特征进行重组从而得到人脸图像特征。
优选地,在提取特征前,对检测的图像进行预处理,包括几何归一化、灰度归一化、尺寸归一化、噪声消除以及光照均衡等处理方法。
步骤S0-1:在酒店门口处基于监控视频采集进入酒店的所有人脸数据。所述监控视频智能终端设置在酒店前台大厅内,方向为朝向酒店出入口处。
其中,所述监控视频智能终端为人脸主动识别,其含有可以从监控视频中检测人脸的人脸检测模块、人脸图像采集模块,所述检测模块集成有一种或多种人脸检测算法。所述监控视频智能终端可以利用高清摄像头组件对检测到的人脸图像进行采集,同时将采集的图像数据发送到服务器进行进一步处理并存储到人脸数据库中。该步骤获取的人脸图像为所有进入酒店的人员,包括酒店工作人员。
其中,所述进一步处理包括对人脸图像进行预处理、特征提取以及识别比对,以过滤掉已登记的住宿客人以及酒店工作人员,保留未在酒店系统进行登记的陌生人员。
优选地,在门口处设置光源提供充足的光线以获取清晰的人脸图像。
优选地,可结合下面的步骤进一步筛选进入酒店后未进行登记的客人信息。
在本发明的一个实施方式中,基于人脸特征点进行视频图像的人脸识别。示例性的流程为,从摄像机图像采集获取视频帧; 通过函数转换得到实时图片;对图片进行预处理,通过人脸检测模块若检测到图片中有人脸,提取人脸的特征点信息,并将摄像机采集到的人脸信息和人脸数据库中的人脸信息进行相似度比对并识别受检对象的类别。
步骤S1:登记入住阶段:在第一信息采集点进行人脸识别并存储人脸数据。在酒店前台区域,利用至少包含人脸图像采集模块、人脸检测识别模块的前台自助终端设备,采集至少包括现场人脸图像的信息并与预订信息进行识别比对。
该前台自助终端设备为第一信息采集点。
具体地,该步骤S1包括以下步骤S1-1至S1-4。
步骤S1-1:当酒店管理系统中没有客人的预订信息或预订信息不完全时,通过前台自助终端设备的图像采集系统现场补充采集客人当前的人脸信息或证件信息并进行存储,信息补充完整后对现场采集的人脸信息与证件图像的人脸信息执行步骤S0中的人、证二者脸部信息识别比对操作,根据相似度与阈值的比较判断是否为相同的人脸;比对成功后由人工或自助设备进行客房配置并由酒店管理系统授予客人相应的基于人脸识别的门禁区域通行权。
步骤S1-2:客人在酒店预订系统上如有预订且有完全的预订信息(包括人脸图像和证件图像)时,登记入住时客人只需在前台自助终端设备上采集当前的人脸图像;由人脸检测识别模块提取人脸图像特征信息并与预订系统中存储在人脸数据库内的人脸图像信息进行比对,根据相似度判断是否为相同的人脸。
若所述预订信息中的人脸图像与当前所获取的人脸图像匹配通过,配置客房并由系统授予基于该人脸的门禁通行权;同时将当前采集的人脸信息与预订信息合并关联存储在人脸数据库中,并与分配的房间信息相关联。
步骤S1-3:若上述步骤中人脸识别失败若干次导致不能匹配通过时,由管理人员介入进行人工核实;核实发现属于人证不符的情况时系统将当前客户人脸信息标记为异常信息,存储在人脸数据库中的异常信息数据库子模块中,以与正常人脸信息数据库相区分。
其中,所述的异常信息数据库不仅与酒店管理系统的中心服务器相连,还与公安机关的治安管理系统或涉及各类嫌疑人员的警务系统联网,以进行信息交互。
优选地,所述异常信息数据库中的人脸信息可以由酒店管理人员先行通过酒店管理系统核查,确认属于面部遮挡等外部因素导致的识别异常或行踪可疑的异常人员,并将属于可疑人员的情形传送至公安部门的治安管理系统。
步骤S1-4:可选地,所述自助终端设备还可以采集相对人脸识别具有低优先级的指纹识别作为备用的通行证;该备用的通行证权限仅用于人脸识别失败达到预定次数时启用。
其中,所述的前台自助终端设备中人脸检测识别模块包括人脸检测模块和人脸识别模块;人脸识别模块用于人脸特征提取和信息比对,其中人脸特征提取用于对检测到的人脸图像中的人脸特征进行提取,信息比对用于对提取的人脸图像特征进行比对。
其中,步骤S1各步骤中,所述人脸图像采集模块可以采用高清摄像机或红外成像仪。
优选地,当客人为经常入住的酒店长期会员时,可将人脸数据库中的人脸信息以及相关联的身份证信息进行长期存储,客人下次入住预订时仅需输入身份证号或联系方式等关联信息即可;由预订系统自动调用上次存储的人脸信息及身份信息作为本次预定的完全预订信息。
优选地,当客人为临时入住的非会员人员时,人脸数据库所存储的信息保留一段时间后自行进行删除。其中,所述保留时间可以为1个月至两年,例如保留时间可以为半年,例如保留时间可以为一年。在信息保留期限内,当客人再次预订或入住登记时,服务器根据客人关联信息自动调出预存的人脸图像信息并与现场采集的人脸图像进行对比;若二者相匹配,无需再次采集身份证件信息等个人信息,视上次存储的信息为完全预定信息。
本发明中,进一步地,所述自助终端设备还设置有身份证阅读器模块、结果显示模块。其中,所述身份证件信息可以通过图像采集系统获取,也可以通过身份证阅读器模块获取。结果显示模块显示比对结果或提示再次进行图像采集等信息。
进一步优选地,在上述步骤S0及S1中,对身份证照片与现场获取的人脸图像进行识别比对时采取多特征融合识别算法,或采取多种识别算法后将获取的各相似度进行加权计算。
多特征融合识别算法,属于现有技术常用的一种融合识别算法。例如,首先分别从现场和证件的人脸图像中利用分类器提取人脸轮廓、眼睛轮廓、眉毛、鼻尖、嘴巴位置等关键特征点,利用特征点间的几何位置关系获得几何特征;类似地,分别通过相应的识别算法获取其他特征例如形状特征和轮廓纹理编码特征;然后将几何特征、形状特征和轮廓纹理特征进行融合后采用多特征融合识别算法得到多特征融合识别分值,并采用多分类器融合算法得到最终识别分值;最后将证件人脸图像最终分值与现场人脸图像最终分值进行比较,得到相似度。
步骤S2:入住阶段:在第二信息采集点进行人脸识别以通过智能门禁。在通往客房区的电梯或楼梯的公共门禁区域设置基于人脸检测识别的智能门禁,其中在该门禁位置设置至少两组图像采集设备用于人脸检测识别。该公共门禁区域为第二信息采集点(优选地,设置两组以上的图像采集设备用于人脸检测及识别)。
当所述第二信息采集点采集到公共门禁区域的住客人脸图像时,将获取的至少一组人脸图像发送至后台服务器进行人脸特征信息提取并与登记入住时存储在人脸数据库中的人脸特征信息进行识别比对,根据相似度确认将要进入电梯或楼梯门禁的客人是否已进行登记操作。
若比对通过,则执行自动打开门禁操作,允许进入。
其中,该第二信息采集点相似度的阈值可以设置为65%-85%,优选70-80%。例如,阈值设置为70%时,人脸特征信息识别比对的相似度大于或等于70%时执行打开门禁操作。
进一步地,若该第二信息采集点获得的人脸图像与存储在人脸数据库中的人脸图像匹配失败超过一定次数时,即不能确定人脸是否为已登记的客人时,自动启用指纹备用识别系统。
当备用系统仍不能识别通过时,智能门禁发出提示信息,由管理人员介入进行人工核实,同时系统将当前客户人脸信息标记为异常信息,存储在异常信息数据库模块中。
步骤S3:客房区域:在第三信息采集点进行人脸检测识别以筛选异常人员。其中,所述第三信息采集点为通过公共门禁区域后,客房区域的每一楼层的电梯或楼梯出入口。在第三信息采集点设置一个或多个与服务器的人脸检测识别模块相连的高清摄像头用于人脸检测及识别,以识别筛选那些跟随已登记客人通过公共门禁从而进入客房区域的非登记人员。
其中,由于每一楼层的电梯或楼梯出入口经常出现多人场景,对第三信息采集点获取的人脸图像进行人脸识别时,可以设置低的识别阈值或采用识别速度较快的人脸识别算法以获取相对较高的识别速度,例如阈值可以设置为60-70%。
具体地,在该区域获取到人脸图像并提取特征值之后,人脸识别模块调用人脸数据库中的存储特征值进行低阈值的相似度匹配,当检测到多次匹配失败的可疑人员时将当前人员的人脸信息标记为异常信息,存储在异常信息数据库中,并向管理系统后台发出警示提示。
步骤S4:房间门禁区域:在第四信息采集点进行人脸识别以打开房间门禁。在房间两侧设置房间门禁智能终端设备,作为第四信息采集点用于人脸检测识别。所述房间门禁智能终端设备对人脸图像信息进行获取并与酒店管理系统数据库中存储的该房间对应关联的人脸信息进行确认比对。
其中,在房间外适当高度位置设置的该智能终端设置有高清摄像头,采集人脸图像后由人脸检测识别模块或传送图像至服务器进行人脸信息提取并与人脸数据库中该房间对应的人脸信息进行相似度比对,该相似度比对时设置高阈值,比对通过则执行打开房门操作,允许进入;其中,高阈值的设置保证了仅允许高相似度的识别结果。
当识别匹配不能通过时,可以重新进行人脸采集并比对若干次,当匹配失败次数时超过预设次数(例如3-5次)时,管理系统可自动启动备用通行权限例如指纹识别,此时客人可以采用刷指纹的方式进入房间。
优选地,考虑到人脸遮挡等外在因素导致的人脸检测识别失败情形,可以启用备用识别系统。但是指纹识别等备用系统仅能在人脸识别失败达到预设次数时启用,其相对于人脸识别具有低优先度,以提高安全性。
优选地,在上述步骤中,当相似度轻微低于匹配阈值时,例如相差5%或10%以内,提示客人重新进行人脸图像采集,至少采集两组或多组图像,取较高相似度进行结果比对。
其中,该步骤的房间门禁智能终端为人脸主动识别。为保证光线充足,面向人脸方向设置感应式光源,保证面部光线充足且均匀。
步骤S5:房间门禁打开后,在第四信息采集点进行人脸检测识别以筛选未登记人员。第四信息采集点处的所述房间门禁智能终端设备还包含人脸识别模块和人体检测模块;当入住两位或以上的客人时,在房间门禁打开后,智能终端设备所带的摄像头对后续进入房间的客人进行采集人脸图像并与系统中的人脸数据库图像进行比对识别,以确认进入房间的客人是否包含未登记人员。进一步的流程如下。
步骤S5-1:若智能终端经过识别比对发现存在未登记人员时,向管理系统后台发出警示提示,同时将获取的未登记人员的人脸信息存储在异常信息数据库中。
步骤S5-2:当房间门禁智能终端无法获取人脸图像(例如,由于位置因素、人脸遮挡、光线等因素)时,由门禁智能终端发出警示提示,调整后进行人脸图像的再次或多次采集并进行识别比对;拒绝采集时,向管理系统后台发出出现疑似未登记人员的警告提示;同时,人体检测模块对进入房间的人数进行检测统计,若与登记的人数不符时,向系统发出警示并由管理人员介入。
其中,所述人体检测模块中的处理算法可采用现有技术中任意已知的检测算法,例如采用HOG算法,或人体轮廓检测算法。其中人体轮廓检测包括,对背景画面进行处理得到前景图像,利用人体轮廓分类器扫描检测前景图像中是否包含行人轮廓尤其是头肩部位,从而进行人员检测。
进一步地,本发明的管理方法还包含访客的管理步骤S6。
步骤S6:在预定系统或前台自助终端设备中还包含访客管理系统,用于访客临时性来访的管理。具体步骤如下。
步骤S6-1:访客需要在预定系统的访客管理子系统或前台自助终端设备的访客管理子系统中输入姓名、联系方式或证件号码等个人信息以及所要访问人员的关联信息,并通过用户终端或前台自助终端的摄像头拍摄上传自己的人脸图像,访客提交个人信息后可以申请访问授权。
步骤S6-2:系统获得访客信息后,存入临时数据库,由酒店管理系统自动或人工进行审核并联系被访客人,被访客人确认同意来访后视为审核通过;然后,上述包括人脸信息在内的访客信息由临时数据库上传至后台服务器对人脸图像进行人脸特征信息提取,并在一定时间段内由系统授权出入电梯或楼梯处的公共门禁,即访客获得在第二信息采集点“刷脸”进出得权利。
步骤S6-3:进一步地,在获取被访者同意之后,酒店管理系统也可以授予访客通过人脸识别进入指定房间门禁的权利(即被访者所在客房的门禁智能终端准许访客通过人脸识别后进入);也就是说,在酒店内,访客在该时间段内具有与该房客相同的门禁通行权限。
进一步地,本发明的管理方法还包含基于视频动态监控的客人异常行为检测步骤S7。
步骤S7:酒店公共区域基于视频动态监控对客人异常行为进行检测。其中,所述的客人异常行为包括快速奔跑、互相追逐、摔倒等运动类非正常行为。
其中,所述视频动态监控基于含有视频分析服务器的智能视频监控系统,其可以设置于酒店大厅和每层客房的楼道等公共区域,所述视频分析服务器中集成有一种或多种人体行为识别算法,并预存有人体运动数学模型或行为特征矢量值的行为数据库模块。
所述视频分析服务器可以对高清摄像机获取的视频进行智能分析并根据集成的算法进行特定的人体行为识别分析,同时将数据发送到管理终端并存储到数据库中,并在管理终端给出警示提示,及时由人工介入进行异常行为的核实或干预。
现有技术中,人体行为识别有模板匹配、状态空间和基于模型等算法,本领域人员可以根据成本、使用环境选择相应的算法产品。
优选地,采用适合酒店场景的模板匹配方法作为人体行为识别算法。原理为:基于视频图像进行人的运动行为识别,滤除正常行为模式,将获取的非正常行为和预先存储的数学模型或行为特征矢量值模板相比较。
综上,本发明的有益效果在于,基于简单快捷且成本低的人脸检测识别的人工智能模块,从人员类型复杂、安全管理复杂的酒店环境中分析检测出不同类别的人脸信息,在门禁重点区域进行高精度检测,有效识别筛选可疑人员。本发明将全面监控功能和智能门禁重点检测结合为一体,实现了隐蔽性较高的兼容访客管理的酒店安全管理。
本发明的有益效果还在于,将门禁区域的重点高精度主动式检测识别与酒店大厅、楼道等公共区域的全面视频智能监控相结合,实现了酒店环境的场景全面覆盖,且隐蔽性高,不会惊扰可疑人员;通过智能视频获取人体异常行为,极大的节约了人工监控的时间成本,有效保障酒店的安全管理。
具体实施方式
下面通过具体的实施例对本发明进行说明,但这些例举性实施方式并非对本发明的实际保护范围构成任何形式的任何限定,更非局限本发明的保护范围局限。
实施方式一
一种基于人工智能的酒店安全管理方法,所述方法包括以下步骤S0-S6:
S0-0:未入住阶段的个人信息采集,包括以下流程:
在酒店客房预订阶段,用户在预订app或酒店官网上进行预订时,用户通过个人终端设备例如手机或电脑的摄像头上传人脸图像与身份证件图像,酒店管理系统接收照片,服务器对图像进行例如几何归一化、灰度归一化、尺寸归一化、噪声消除以及光照均衡等预处理后,提取人脸图像中的人脸特征向量信息以及身份证件照片的人脸特征向量信息,并根据特征分析二者相似度从而进行人脸识别比对,例如相似度达70%或75%时即可确认二者相符。
其中,人脸图像可以使用用户设备例如Android手机的摄像头来获取。此时,需要预定系统使用mCamera类程序来获取人脸图像,流程如下:
1)调用mCamera的方法getParameter获得所打开摄像头的参数;
2) 根据获取到的参数为mCamera设置需要的参数,例如匹配屏幕的分辨率,取景框取到人脸图像;
3) 初始化摄像头预览取景界面,为mCamera调用setPreviewDisplay(SurfaceHolder);
4) 调用startPreview方法,打开摄像头的预览,在屏幕上可以取自己的人脸图像;
5) 在onClick()函数中为mCamera设置自动对焦的回调函数,对takePicture方法调用三至五次,使得摄像头对焦后进行三至五次取人脸图像,供下一步提取平均特征向量;
6) 退出当前界面后,调用release()方法释放mCamera。
接下来,进行人脸识别操作。在进行特征向量的提取时,以构成面部的主要特征的眼睛、鼻子、嘴巴、下巴等位置、相对距离的几何数据来进行不同人脸的识别。尤其是要保证在用户终端例如普通Android手机的类似设备提供的图像上可以对特征点进行比较快速的提取和识别。
在该步骤中,为了减少计算量和提取速度,特征点的数量选取要适量,以5-10个点为宜,足够区分不同的人脸即可。
具体地,可以选取分布固定、容易从图像中进行检测和提取的特征点,例如左右眼的中心点、左右眼角、鼻尖点、左右嘴角、左右嘴角中心以及左右眼中心点连线中点,这些特征点不容易受到表情和角度的影响。
基于提取到的特征点来构建距离特征向量时,要保证距离值具有大小、方位和位置的准确性.
例如可以构建如下表1所示的特征向量参数。
表1 基于特征点的特征向量参数
参数名称 |
特征向量含义 |
D1 |
左右眼中心点连线中点与鼻尖点距离 |
D2 |
左右眼中心点连线中点与左嘴角距离 |
D3 |
左右眼中心点连线中点与右嘴角距离 |
D4 |
左右嘴角中心与鼻尖点的距离 |
D5 |
左右嘴角之间的距离 |
D6 |
左右眼中心点之间的距离 |
D7 |
左眼角与鼻尖点之间的距离 |
D8 |
右眼角与鼻尖点之间的距离 |
为了保证获取画质较好的图像,可以在客户终端提取3-5张图像分别进行提取特征向量,以各组图像的向量的平均值进行使用。
比对通过后,将获取的所有信息存储在系统的人脸数据库内,并标记为完全的预订信息。如果预订时不能同时获取人脸图像和身份证件图像导致无法进行人脸识别比对时,则将可以获取的部分信息存储在人脸数据库内,并标记为不完全预订信息,留待客人入住时对其他信息进行补充,在以后的流程步骤中进行识别比对。
在该步骤中,对特征计算相似度应该以数据要利于比较、算法尽量简单为准,也就是说,判断所识别的人脸与待认证的面部是否同属同一个人时,识别阈值设置为低的相似度。
具体阈值的选取,需要根据所采用的算法和实际数据来确定。具体地,选取多幅人脸图像后,逐一进行计算得到平均特征向量和方差,利用加权比值计算各幅图像与平均特征向量的相似度,从中选取最小值与最大值之间的值作为人脸识别阈值,例如可以选组接近最小值的相似度作为识别阈值,以提高识别效率。
系统提取到的人脸特征向量和证件照片的人脸特征向量进行计算得到相似度,通过和阈值对比便得到识别结果。相似度大于或等于阈值,则表明证件为本人证件,身份验证成功;反之,身份验证失败。
以下步骤的人脸识别流程大体类似,不同的是,不同步骤所设置的相似度阈值高低程度不同,以应用于不同的门禁系统。
步骤S0-1:该步骤中,在酒店门口处基于监控视频采集进入酒店的所有人脸数据。所述监控视频智能终端设置在酒店前台大厅内,监控方向为酒店的出入口处。同时,在门口处设置光源提供充足的光线以便采集清晰的人脸图像。其中,所述监控视频智能终端含有可以从监控视频中检测人脸的人脸检测模块、人脸图像采集模块,可以主动识别人脸。所述监控视频智能终端利用高清摄像头组件对进入酒店门口的人脸进行检测并采集人脸图像,同时将采集的图像数据发送到服务器进行进一步处理并存储到人脸数据库中。该步骤获取的人脸图像为所有进入酒店的人员,包括酒店工作人员。
其中,所述进一步处理包括对人脸图像进行预处理、特征提取,与酒店数据库中存储的人脸数据进行识别比对,流程与步骤S0-0类似,该步骤可以设置较低的识别阈值,过滤掉已登记或已预订的客人以及酒店工作人员,保留未在酒店系统进行登记的陌生人员,存入人脸数据的子数据库中。
进一步地,在间隔一段时间例如1小时后进行再次对比,可以从人脸数据库中进一步过滤掉那些进入酒店后登记的客人信息,从而筛选获得曾进入酒店但未进行信息登记的客人人脸信息。
步骤S1:登记入住阶段:此时,在酒店前台区域,利用至少包含人脸图像采集模块、人脸检测识别模块的前台自助终端设备,采集至少包括现场人脸图像的信息并与预订信息进行识别比对。
该前台自助终端设备标记为第一信息采集点。
具体地,该步骤包括以下步骤S1-1至S1-4:
步骤S1-1:
当酒店管理系统中没有客人的预订信息或预订信息不完全时,通过前台自助终端设备的图像采集系统现场补充采集客人当前的人脸信息或证件信息并进行存储,信息补充完整后对现场采集的人脸信息与证件图像的人脸信息执行前一步骤S0中的人、证二者脸部信息识别比对操作,根据相似度与阈值的比较判断是否为相同的人脸;比对成功后由人工或自助设备进行客房配置并由酒店管理系统授予客人相应的基于人脸识别的各类门禁区域通行权。
步骤S1-2:
客人在酒店预订系统上如有预订且有完全的预订信息(例如包括完整人脸图像和证件图像)时,登记入住时客人只需在前台自助终端设备上采集当前的人脸图像;由人脸检测识别模块提取人脸图像特征信息并与预订系统中存储在人脸数据库内的人脸图像信息进行比对,根据相似度判断是否为相同的人脸。若所述预订信息中的人脸图像与当前所获取的人脸图像匹配通过,配置客房并由系统授予基于该人脸的门禁通行权;同时将当前采集的人脸信息与预订信息合并关联存储在人脸数据库中,并与分配的房间信息相关联。
该步骤中,由于预定时间和入住时间一般不会间隔很长,人脸特征相差不大,设置较高的识别阈值,例如不低于90%或95%,以保证预定客人与入住客人完全相符。
在该步骤中,无需执行基于证件照片的人脸比对识别,证件信息与预定信息一致即可。
步骤S1-3:
若上述步骤中人脸识别失败若干次导致不能匹配通过时,由管理人员介入进行人工核实;核实发现属于人证不符的情况时系统将当前客户人脸信息标记为异常信息,存储在人脸数据库中的异常信息数据库子模块中,以与正常人脸信息数据库相区分。其中,所述的异常信息数据库不仅与酒店管理系统的中心服务器相连,还与公安机关的治安管理系统或涉及各类嫌疑人员的警务系统联网,以进行信息交互。其中,所述异常信息数据库中的人脸信息可以由酒店管理人员先行通过酒店管理系统核查,确认属于面部遮挡等外部因素导致的识别异常或行踪可疑的异常人员,并将属于可疑人员的情形传送至公安部门的治安管理系统。
S1-3:自助终端设备根据客人自愿,采集相对人脸识别具有低优先级的指纹,以作为备用的通行证;该备用的通行证权限仅用于人脸识别失败达到预定次数时启用。具体地,所述的失败达到预定次数时可以为3-5次。
进一步地,当客人为经常入住的酒店长期会员时,将人脸数据库中的人脸信息以及相关联的身份证信息进行长期存储,客人下次入住预订时仅需输入身份证号或联系方式等关联信息即可;由预订系统自动调用上次存储的人脸信息及身份信息作为本次预定的完全预订信息。
进一步地,当客人为临时入住的非会员人员时,人脸数据库所存储的信息保留一段时间后自行进行删除。其中,所述保留时间可以为一年。在信息保留期限内,当客人再次预订或入住登记时,服务器根据客人提供的姓名、证件号等关联信息自动调出上次入住时预存的人脸图像信息并与现场采集的人脸图像进行对比;若二者相匹配,无需再次采集身份证件信息等个人信息,视上次存储的信息为完全预定信息。
进一步地,所述自助终端设备还设置有身份证阅读器模块、结果显示模块。
进一步地,在上述步骤S0及S1中,对身份证照片与现场获取的人脸图像进行识别比对时还可以采取多特征融合识别算法,或采取多种识别算法后将获取的各相似度进行加权计算。
步骤S2:入住阶段:在第二信息采集点进行人脸识别以通过智能门禁。在通往客房区的电梯或楼梯的公共门禁区域设置基于人脸检测识别的智能门禁,其中在该门禁位置设置至少两组图像采集设备用于人脸检测识别。该公共门禁区域为第二信息采集点。
当所述第二信息采集点为主动式人脸识别,当采集到公共门禁区域的住客人脸图像时,将获取的至少一组人脸图像发送至后台服务器进行人脸特征信息提取并与登记入住时存储在人脸数据库中的人脸特征信息进行识别比对,根据相似度确认将要进入电梯或楼梯门禁的客人是否已进行登记操作。
若比对通过,则执行自动打开门禁操作,允许进入。
该步骤中,门禁系统可以使用在人脸识别领域比较成熟的商业应用第三方类库,OpenCV,以实现高效率的特征点提取,从而提高门禁进出效率。
示例性地,所述门禁系统利用OpenCV库中的Haar特征分类器进行人脸特征的提取,流程如下。
1) 对OpenCV进行编译并安装OpenCV库,例如,使其可以应用于Android系统。
2) 人脸特征提取功能模块的软件设置为:加载函数库,设置Haar特征分类器,通过该分类器所对应的xml文件完成特征的提取分类,函数为:initFaceDetection;
3) 使用人脸检测函数haarDetec在图片中检测人脸:
CvSeq*haarDetect(CvArr*face,CvHaarClassifierCascade*cas,CvSizemin_size)。
其中,cas即人脸识别的分类器,包括识别眼睛、鼻子、嘴巴的分类器。
4) 根据不同分类器得到包含五官结果的数据集后,对该数据进行处理以确定人脸的位置以及五官的定位,进而对结果进行提取出特征点的位置数据信息,然后将结果返回。
5) 特征向量的构造:建立若干个人脸特征点距离值的特征矩阵,进行归一化从而可以得到人脸特征向量数据。
其中,该第二信息采集点相似度的阈值可以设置为中等。例如80%,此时人脸特征信息识别比对的相似度大于或等于80%时执行打开门禁操作。
若该第二信息采集点获得的人脸图像与存储在人脸数据库中的人脸图像匹配失败超过一定次数时,即不能确定人脸是否为已登记的客人时,自动启用指纹备用识别系统,客人可根据指纹识别打开门禁。
当备用系统仍然识别失败时,智能门禁发出提示信息,由管理人员介入进行人工核实,同时系统将当前客户人脸信息标记为异常信息,存储在异常信息数据库模块中。
步骤S3:在第三信息采集点进行人脸检测识别以筛选异常人员。所述第三信息采集点为通过公共门禁区域后,客房区域的每一楼层的电梯或楼梯出入口。在第三信息采集点设置一个或多个与服务器的人脸检测识别模块相连的高清摄像头用于人脸检测及识别,以识别筛选那些跟随已登记客人通过公共门禁从而进入客房区域的非登记人员。
其中,由于每一楼层的电梯或楼梯出入口经常出现多人场景,对第三信息采集点获取的人脸图像进行人脸识别时,可以设置低的识别阈值,例如阈值可以设置为60-65%。在该区域获取到人脸图像并提取特征值之后,人脸识别模块调用人脸数据库中的存储特征值进行低阈值的相似度匹配,当检测到多次匹配失败的可疑人员时将当前人员的人脸信息标记为异常信息,存储在异常信息数据库中,并向管理系统后台发出警示提示。
步骤S4:在第四信息采集点进行人脸识别以打开房间门禁。在房间两侧设置房间门禁智能终端设备,作为第四信息采集点用于人脸检测识别。所述房间门禁智能终端设备对人脸图像信息进行获取并与酒店管理系统数据库中存储的该房间对应关联的人脸信息进行确认比对。该门禁端用摄像头进行人脸图像的采集,采集后进行特征向量的提取,提取方式可以与步骤S2相同,在此不再重复。
该步骤的房间门禁智能终端为人脸主动识别。为保证光线充足,面向人脸方向设置感应式光源,保证面部光线充足且均匀。
其中,该智能终端的高清摄像头采集人脸图像后进行人脸信息提取并与人脸数据库中该房间对应的人脸信息进行相似度比对,该相似度比对时设置高阈值,例如为80-90%,比对通过则执行打开房门操作,允许进入;其中,高阈值的设置保证了仅允许高相似度的识别结果。
当识别匹配不能通过时,可以重新进行人脸采集并比对若干次,当匹配失败次数时超过预设次数(例如3次)时,管理系统可自动启动备用通行权限例如指纹识别,此时客人可以采用刷指纹的方式进入房间。
步骤S5:房间门禁打开后,在第四信息采集点进行人脸检测识别以筛选未登记人员。第四信息采集点处的所述房间门禁智能终端设备还包含人脸识别模块和人体检测模块;当存在两位以上的客人时,在房间门禁打开后,智能终端设备所带的摄像头对后续进入房间的客人进行采集人脸图像并与系统中的人脸数据库图像进行自动比对识别,以确认进入房间的客人是否包含未登记人员。
若智能终端经过识别比对发现存在未登记人员时,向管理系统后台发出警示提示,同时将获取的未登记人员的人脸信息存储在异常信息数据库中。
当房间门禁智能终端无法获取人脸图像(例如,由于位置因素、人脸遮挡、光线等因素)时,由门禁智能终端发出警示提示,调整后进行人脸图像的再次或多次采集并进行识别比对;客人拒绝采集时,该终端向管理系统后台发出出现疑似未登记人员的警告提示;同时,人体检测模块对进入房间的人数进行检测统计,若与登记的人数不符时,向系统发出警示并由管理人员介入。
步骤S6:访客管理步骤:
在预定系统或前台自助终端设备中还包含访客管理系统,用于访客临时性来访的管理。具体步骤如下。
1) 访客需要在预定系统的访客管理子系统或前台自助终端设备的访客管理子系统中输入姓名、联系方式或证件号码等个人信息以及所要访问人员的关联信息,并通过用户终端或前台自助终端的摄像头拍摄上传自己的人脸图像,访客提交个人信息后可以申请访问授权。
2)系统获得访客信息后,存入临时数据库,由酒店管理系统自动或人工进行审核并联系被访客人,被访客人确认同意来访后视为审核通过;然后,上述包括人脸信息在内的访客信息由临时数据库上传至后台服务器对人脸图像进行人脸特征信息提取,并在一定时间段内由系统授权出入电梯或楼梯处的公共门禁,即访客获得在第二信息采集点“刷脸”进出得权利。
3)进一步地,在获取被访者同意之后,酒店管理系统授予访客通过人脸识别进入指定房间门禁的权利(即被访者所在客房的门禁智能终端准许访客通过人脸识别后进入);也就是说,在酒店内,访客在该时间段内具有与该房客相同的门禁通行权限。
具体地,当访客处在门禁设备位置时,系统会采集人脸图像并提取特征向量信息,并调出存储的特征向量信息进行识别,系统将提取到的特征向量和存储的特征向量计算得到相似度,通过将其与阈值进行对比即可得到识别结果。相似度大于或等于阈值,则身份验证成功;反之,身份验证失败。
实施方式二
该实施方式在上述实施方式一的基础上,进一步地包括,在酒店公共区域进行基于视频动态监控的客人异常行为检测。其中,所述的客人异常行为包括快速奔跑、互相追逐、摔倒等运动类行为。
其中,所述视频动态监控基于含有视频分析服务器的智能视频监控系统,其可以设置于酒店大厅和每层客房的楼道等公共区域,所述视频分析服务器中集成有一种或多种人体行为识别算法,并预存有人体运动数学模型或行为特征矢量值的行为数据库模块。所述视频分析服务器对高清摄像机获取的视频进行智能分析并根据集成的算法进行特定的人体行为识别分析,同时将数据发送到管理终端并存储到数据库中。其中,采用适合酒店场景的模板匹配方法作为人体行为识别算法。
应当理解,这些实施例的用途仅用于说明本发明而非意欲限制本发明的保护范围。此外,本领域技术人员可以对本发明作各种改动、修改和/或变型,所有的这些形式同样落于本申请所附权利要求书所限定的保护范围之内。