CN109903446A - 一种智能锁远程视频交互方法 - Google Patents

Abstract

本发明公开了一种智能锁远程视频交互系统和方法。智能锁远程视频交互系统包括智能锁、访客终端、授权终端以及服务器；服务器包括本发明服务器、第三方社交媒体服务器和人工智能服务器；本发明服务器包括存储系统，音视频信息分析模块，决策系统。访客和授权人使用移动终端通过服务器进行实时音视频交互，服务器分析访客的音视频信息，提取并保存包含访客生物特点的关键帧信息，检索数据库，提供辅助决策信息给授权人，授权人参考此辅助决策信息，识别访客身份，手动控制门锁；或者由服务器端的决策系统代替授权人，和访客进行音视频通话，获取用以识别访客身份的信息，进行智能决策，自动控制门锁，完成远程视频开锁的方法。

Description

一种智能锁远程视频交互方法

技术领域

本发明涉及智能锁远程视频交互方式，涉及一种基于智能锁的访客和授权人、人工智能神经网络的机器进行音视频交互，远程控锁，以及利用人工智能大数据分析处理访客信息获取访客特征并提供决策或者辅助决策信息的方法、系统

背景技术

在本发明之前，智能锁的远程视频交互需要智能门铃，智能锁两个设备，如申请号201711390970 .7中所述。或者智能锁本身集成视频采集处理系统，如申请号CN201721800421所述。鉴于智能门铃及智能锁等设备的运算能力、音视频信息处理能力及网络传输能力有限，实时视频交互效果比较差，而且在智能锁或者智能门铃的耗电，安全性等方面都存在问题。本发明的特征在于访客使用手机，PAD（Portable Android Device，平板电脑）等运算、多媒体处理能力以及网络传输能力强大的移动设备来代替智能门铃或者有摄像头的智能锁进行实时音视频交互，并控制智能锁的方法。其过程在于通过移动设备扫描锁端的二维码，发出远程开锁请求，服务端收到请求进行鉴权识别，判断是合法设备后，将此请求推送至和此台设备绑定主人帐号的手机，PAD，电脑等终端，进行实时音视频交互，服务端分析处理访客的信息和检索历史数据，判断此访客是否来过，如果来过，提供最近一次来的时间及身份标签（如钟点工，快递员，送餐员，或者其他人）等信息，服务器将这些辅助信息传递给主人，以帮助主人决策是否开门，以免主人由于时间久远不记得上次的人的面貌或者认不出当前访客而错误开门带来的安全问题，或者应该开门而错误判断不开门而带来的不便。

本发明还可以在没有人工干预的情况下，使用人工智能神经网络和访客进行视频交互并决策开锁；还具有活性检测功能，能有效防止使用照片，视频录像，脸模开锁。与现有的人脸识别的门锁不同在于，现有人脸识别锁是在锁端本地实现人脸识别的算法，如申请号201811606052.8。但本地的运算能力有限，也没有存储大数据的能力，在不同的外部环境下，算法时好时坏，容易误判，用户体验较差。本发明的特征还在于可以使用服务器端的人工智能算法，服务器端有更强的运算能力，可以执行更复杂的算法；更大的存储空间，可以容纳更多的实验数据来喂养算法，使算法得到持续不断地优化，能够更准确地识别访客。

在本发明的实施例中，锁端无需采集、处理、传输多媒体数据，只需要接收服务器端的执行开锁或者鉴权指令，上报一些锁相关消息，如低电、开门记录等少量数据。使得智能锁端实现简单，处理器使用嵌入式MCU（Microcontroller Unit，微处理单元），网络也可窄带的NBIoT（Narrow Band Internet of Things，窄带物联网），ZigBee（一种短距离无线通信技术），BLE（Bluetooth Low Energy，低功耗蓝牙），Lora（一种低功耗局域网无线标准）等方式，进而降低锁端成本，增加智能锁的电池寿命；而且用户也不用额外购买智能门铃设备，提升了用户满意度

发明内容

本发明的目的在于使用访客自己的移动设备，与授权人进行远程视频对话。充分利用现代移动通信设备如4G（4^th Generation，第四代）、未来的5G（5^th Generation，第五代）手机的强大运算能力和多媒体处理能力，以及更快速的网络通信能力，将现场的音视频数据更清晰更快速地传到云端，再利用越来越成熟的云端人工智能算法，来实时决策或者辅助决策远程开锁。

为达到上述的目的，本发明实施例包括智能锁、访客终端、授权终端，本发明服务器。智能锁设有MCU控制模块，通讯模块，锁控模块；访客终端及授权终端均安装有用户交互模块、移动通讯模块、音视频采集处理模块；本发明服务器包括存储模块，音视频信息分析处理模块，辅助决策模块。

优选地，还包括第三方的社交媒体服务器。

优选地，还包括第三方的人工智能服务器。

还包括以下过程：

智能锁绑定第三方社交媒体帐号过程；

若配置为辅助决策模式，则包括辅助决策的远程视频开锁过程；

若配置为智能决策模式，则包括由智能决策的远程视频开锁过程；

若配置为人工决策模式，远程视频开锁过程和现有产品的流程大体一致，不再赘述；

智能锁开锁流程。

智能锁绑定第三方社交媒体帐号过程包含以下步骤（上述的本发明服务器简称服务器，以下同）：

扫描锁上的二维码进入第三方社交媒体授权页面；

服务器获得第三方社交媒体帐号；

服务器获得二维码中的设备ID（Identifier，识别号）；

服务器发起授权人的鉴权；

授权人输入管理员密码；

智能锁核对密码正确后，通知服务器鉴权成功；

服务器将授权人的第三方社交媒体帐号和设备ID号绑定，存储在数据库中；

服务器通知授权终端显示绑定成功。

辅助决策模式下的远程视频开锁过程包括以下步骤：

访客扫描锁端的二维码发起远程开锁请求；

服务器解析二维码信息提取出设备ID；

服务器核对数据库，检测该设备ID合法性；

服务器在数据库检索和该设备绑定的授权人第三方社交媒体帐号信息；

服务器向授权人的第三方社交媒体帐号提出远程开锁请求；

第三方社交媒体服务器将此请求推送至授权终端；

授权人响应该请求，启动视频通话流程；

服务器及访客终端响应视频通话请求，并建立信令及媒体流链路，进行视频通话；

服务器解析访客的音视频数据，得到包含访客生物特征的关键帧数据，面部特征图；

服务器比对检索数据库，检查该用户是否来过；

服务器将数据库中的该访客最近一次访问时间，最近一次到访的授权情况，访客标签等信息，生成辅助决策数据；

优选地，服务器通过解析访客的音视频数据，通过分析场地背景图形，得出访客是否在现场；

服务器将包含访客是否在现场的辅助决策数据传递给授权终端；

授权人通过音视频交互以及服务器的辅助决策数据决策是否开锁，并确定或者更新该访客标签；

授权终端将包含访客标签的决策结果传给服务器；

若决策开锁，服务器通知授权人发起鉴权流程；

智能锁检测授权人输入的锁管理员密码是否正确；

鉴权成功后，启动智能锁开锁流程；

服务器生成并保存本次到访记录，包括到访时间，访客标签，是否在现场，授权情况，以及通话的音视频内容等信息；

服务器通知访客终端开锁成功。

智能决策模式下的远程视频开锁过程包括以下步骤：

访客扫描锁端的二维码发起远程开锁请求；

服务器解析二维码信息提取出设备ID；

服务器核对数据库，检测该设备ID合法性；

服务器向第三方人工智能服务器、访客终端发起启动视频通话请求；

访客终端、第三方人工智能服务器响应视频通话请求，并建立信令及媒体流链路，进行视频通话；

第三方人工智能服务器通过神经元网络算法解析访客音视频数据，进行活体检测，获取访客身份信息，确定访客标签并传递给服务器；

服务器解析访客的音视频数据，得到包含访客生物特征的关键帧数据，面部特征图；

服务器比对检索数据库，检查该用户是否来过；

服务器将数据库中的该访客最近一次访问时间，最近一次到访的授权情况，访客标签等信息，生成辅助决策数据；

优选地，服务器通过解析访客的音视频数据，通过分析场地背景图形，得出访客是否在现场；

服务器通过第三方人工智能服务器传递过来的访客信息、是否在数据库中存在该访客的历史访问记录、访客标签、是否在现场等信息，根据设定的决策策略决策是否开锁；

若决策开锁，启动智能锁开锁流程；

服务器生成并保存本次到访记录，包括到访时间，访客标签，是否在现场，授权情况，以及通话的音视频内容等信息；

服务器通知访客终端开锁成功。

优选地，智能锁开锁流程包含以下步骤：

服务器下发一次性的、限时有效的密码；

访客输入该密码；

智能锁验证密码，若正确，执行开锁动作；

智能锁通知服务器开锁成功。

在特定的场合下，智能锁开锁流程也可以由服务器直接控制智能锁的控锁模块开锁，无需访客动作

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体

实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的

附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前

提下，还可以根据这些附图获得其他的附图：

图1为本发明实施例提供的一种智能锁远程视频交互方法的系统示意图；

图2为本发明实施例提供的辅助决策模式下的远程视频开锁流程示意图；

图3为本发明实施例提供的智能决策模式下的远程视频开锁流程示意图；

图4为本发明实施例提供的智能锁绑定第三方社交媒体帐号流程示意图；

图5为本发明实施例提供的智能锁开锁流程示意图。

其中系统由下面组件组成：10-云；11-授权终端；12-访客终端；13-智能锁；14-第三方人工智能服务器；15-本发明服务器；16-第三方社交媒体服务器；

其中15-本发明服务器又包括：150-存储系统；151-音视频信息分析处理模块；152-人工智能辅助决策系统

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的

原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术

人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入

本发明的保护范围之内。

本发明的实施例的系统示意图如图1所示，包括：云10，授权终端11，访客终端12，智能锁13，第三方人工智能服务器14，本发明服务器15，第三方社交媒体服务器16组成。

本发明服务器15（下面简称服务器15），主要包括：存储系统150，音视频信息分析处理模块151，人工智能决策系统152。

所述的智能锁13绑定第三方社交媒体服务器16帐号过程，如图4所示：

扫描智能锁13上的二维码进入第三方社交媒体服务器16的授权页面；

服务器15获得第三方社交媒体服务器16帐号；

服务器15获得二维码中的设备ID；

服务器15发起授权终端11的鉴权；

授权终端11输入智能锁13的管理员密码；

智能锁13核对密码正确后，通知服务器15鉴权成功；

服务器15将授权人的第三方社交媒体服务器16帐号和设备ID号绑定，存储在存储系统150中；

服务器15通知授权终端11显示绑定成功。

所述的辅助决策模式下的远程视频开锁过程如图2所示：

访客终端12扫描智能锁13的二维码发起远程开锁请求；

服务器15解析二维码信息提取出智能锁13设备ID；

服务器15核对存储系统150，检测该设备ID合法性；

服务器15在存储系统150中检索和该智能锁13设备绑定的授权人第三方社交媒体服务器16帐号信息；

服务器15向授权终端11的第三方社交媒体服务器16帐号提出远程开锁请求；

第三方社交媒体服务器16将此请求推送至授权终端11；

授权终端11响应该请求，启动视频通话流程；

服务器15及访客终端12响应视频通话请求，并建立信令及媒体流链路，进行视频通话；

音视频信息分析处理模块151解析访客的音视频数据，得到包含访客生物特征的关键帧数据，面部特征图；

人工智能决策系统152比对检索存储系统150，检查该访客是否来过；

人工智能决策系统152将存储系统150中的该访客最近一次访问时间，最近一次到访的授权情况，访客标签等信息，生成辅助决策数据；

优选地，音视频信息分析处理模块151通过解析访客的音视频数据，通过分析场地背景图形，得出访客是否在现场；

人工智能决策系统152将包含访客是否在现场的辅助决策数据传递给授权终端11；

授权终端11通过音视频交互以及人工智能决策系统152的辅助决策数据决策是否开锁，并确定或者更新该访客标签；

授权终端11将包含访客标签的决策结果传给服务器15；

若决策开锁，人工智能决策系统152通知授权终端11发起鉴权流程；

智能锁13检测授权人输入的锁管理员密码是否正确；

鉴权成功后，启动智能锁13开锁流程，如图5所示；

人工智能决策系统152生成并保存本次到访记录，包括到访时间，访客标签，是否在现场，授权情况，以及通话的音视频内容等信息；

服务器15通知访客终端12开锁成功。

所述的智能决策模式下的远程视频开锁过程如图3所示：

访客终端12扫描智能锁13端的二维码发起远程开锁请求；

服务器15解析二维码信息提取出智能锁13设备ID；

服务器15核对存储系统150，检测该设备ID合法性；

服务器15向第三方人工智能服务器14、访客终端12发起启动视频通话请求；

访客终端12、第三方人工智能服务器14响应视频通话请求，并建立信令及媒体流链路，进行视频通话；

第三方人工智能服务器14通过神经元网络算法解析访客音视频数据，进行活体检测，和访客对话，获取访客身份信息，确定访客标签并传递给人工智能辅助决策系统152；

第三方人工智能服务器14解析访客的音视频数据，得到包含访客生物特征的关键帧数据，面部特征图；

人工智能辅助决策系统152比对根据第三方人工智能服务器14传回的面部特征图，检索存储系统150，检查该用户是否来过；

人工智能辅助决策系统152将数据库中的该访客最近一次访问时间，最近一次到访的授权情况，访客标签等信息，生成辅助决策数据；

优选地，音视频信息分析处理模块151通过解析访客的音视频数据，通过分析场地背景图形，得出访客是否在现场；

人工智能辅助决策系统152通过第三方人工智能服务器14传递过来的访客信息、是否在存储系统150中存在该访客的历史访问记录、访客标签、是否在现场等信息，根据设定的决策策略决策是否开锁；

若决策开锁，启动智能锁13开锁流程；

人工智能辅助决策系统152生成并保存本次到访记录，包括到访时间，访客标签，是否在现场，授权情况，以及通话的音视频内容等信息；

服务器15通知访客终端12开锁成功。

所述的人工决策模式下的远程视频开锁过程和现有产品的流程大体一致，不再赘述。

优选地，所述的智能锁13开锁流程如图5所示，包含以下步骤：

人工智能辅助决策系统152下发一次性的、限时有效的密码；

访客输入该密码；

智能锁13验证密码，若正确，执行开锁动作；

智能锁13通知人工智能辅助决策系统152开锁成功。

在特定的场合下，智能锁13开锁也可以由服务器15直接控制智能锁13的控锁模块开锁，无需访客动作。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的

原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术

人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入

本发明的保护范围之内。

Claims (10)

1.一种智能锁远程视频交互方法，所述的智能锁远程视频交互系统包括智能锁、访客终端、授权终端，服务器；

所述的智能锁包含MCU控制模块，通讯模块，锁控模块；

所述的访客终端及授权终端均有用户交互模块、移动通讯模块、音视频采集处理模块；

所述的服务器主要包括存储模块，视频信息分析处理模块，辅助决策模块。

2.所述访客终端，其特征在于可以是手机，PAD等具有通信能力，多媒体采集处理能力的移动通信设备；

所述授权终端，可以是移动通信设备，也可以是具有同样能力的电脑，工作站；

所述的智能锁，其特征在于必须具有联网能力，由于不需要处理、传输多媒体数据，可使用窄带、低速率、省电的通信方式，优选使用NBIoT，也可以是WIFI，2G、3G、4G，或者通过网关联网的ZigBee，蓝牙，Lora等通信方式。

3.所述的访客终端及授权终端，其特征在于可以通过用户新注册帐号，但优选使用主流的第三方公众社交帐号授权登录，可以是但不限于微信、QQ、支付宝，免除新访客注册时间，简化远程开锁请求的步骤，新用户通过授权、扫码就可以发起请求。

4.所述的访客终端及授权终端的远程视频交互，其特征在于：

在权利要求7所述的人工决策模式下，访客终端与授权终端可以进行双向端对端地流式音视频交互，媒体流端对端直接交互，不经过服务器；

在权利要求7所述的辅助决策模式下，或者在在权利要求7所述的智能决策模式下，音视频数据均需要通过服务器转发实现视频通话；服务器解析视频数据中的数据，再加上服务器数据库中的大数据，产生包括访客的生物特征值在内的辅助决策数据，供决策模块使用。

5.权利要求4所述的辅助决策数据，其特征在于不仅包括访客的生物特征值的面部特征图之外，还应有：是否到访过；最近一次的到访时间；通过分析访客视频流中的背景图形，得出访客是否在现场的信息；还包括访客标签等等；

访客标签是由授权终端在决定授权开锁时选择确定的，用来识别访客类型，比如钟点工，快递员，送餐员和特殊访客；

访客类型可根据家庭、出租屋、机关单位、公司、公寓、酒店等使用场合重新定义；

在权利要求7所述的辅助决策模式下，辅助决策数据在服务器端生成之后会及时推送并显示在正在进行音视频对讲的授权终端的显示装置上，以帮助授权人决策是否授权开锁。

6.所述的辅助决策模块，其特征在于如果用于酒店或者其他场合，可以连接公安部的数据库或者其他第三方数据库，根据公安部或者第三方的判断结论，产生辅助决策信息。

7.所述的辅助决策模块，其特征在于根据人工智能的参与程度分为以下模式：

智能决策模式，由人工智能神经元网络和访客进行视频通话，获得访客信息，根据设定的决策策略进行开锁决策，无需人工干预；

辅助决策模式，由授权人和访客进行视频通话，授权人决策是否开锁，人工智能模块分析音视频数据，辅助决策模块提供辅助决策数据；

人工决策，完全由授权人和访客直接视频通话，授权人决策是否开锁，人工智能服务器不参与；

这三种决策模式是可以动态配置的。

8.在权利要求7所述的智能决策模式下，所述的音视频分析处理模块应具有活体检测功能，通过人工智能机器人发出的语音指令以及访客的反馈音视频数据，就能够判断是否为活体，而不是照片，视频录像以及脸模。

9.为保护智能锁的安全，防止黑客攻击，应用在权利要求7所述的人工决策模式下和权利要求7所述的辅助决策模式下，在授权开锁前，应对授权人进行鉴权，优选通过智能锁验证该管理员密码正确后，发开锁指令给控锁模块，进而打开智能锁；以及其他场合下，如在绑定设备，增加授权，删除授权等等，也需要对授权人进行鉴权。

10.所述的授权开锁，其特征在于在远程决策开锁时，优选地：

服务器下发一次性的，限时的密码给访客，访客收到该密码后，在有限的时间内输入开锁；超时或者在成功开锁后再次使用该密码，均无法开锁；

在特殊情况下，也可以由服务器直接下发开锁指令给智能锁，智能锁执行开锁动作，无需访客动作。