CN115830519A - 一种智能锁消息提醒方法 - Google Patents

Abstract

本发明公开了一种智能锁消息提醒方法，是对图片做多目标图像识别+时序行为识别的视频识别功能，不是单纯针对视频进行的行为识别，并且将图片进行文字转化提取报警信息，并发送给用户，通过存储文字信息，大大降低了存储空间，有利于门前信息的相关存储，具有自适应的消息提醒机制，并通过服务器上对文字序列进行分析，提高报警信息的准确性。具有一定的使用价值和推广价值。

Description

一种智能锁消息提醒方法

技术领域

本发明涉及机械领域，尤其涉及一种智能锁消息提醒方法。

背景技术

智能门锁是指区别于传统机械锁的基础上改进的，在用户安全性、识别、管理性方面更加智能化简便化的锁具。智能门锁是门禁系统中锁门的执行部件，智能门锁区别于传统机械锁, 是具有安全性, 便利性, 先进技术的复合型锁具，现有的智能门锁有些会有消息提醒，大多采用视频提醒或者图片提醒，视频和图片存储空间大，需要大容量的存储介质，对存储有一定的局限性。

综上所述，需要一种智能锁消息提醒方法来解决现有技术中所存在的不足之处。

发明内容

针对现有技术的不足，本发明提供了一种智能锁消息提醒方法，旨在解决上述问题。

为实现上述目的，本发明提供如下技术方案：一种智能锁消息提醒方法，包括以下步骤：

步骤S1：智能锁信息初始化；

步骤S2：采集用户门前场景信息视频，将视频的静态保持帧作为初始帧；

步骤S3：接收用户门前场景信息视频并分析，当出现需要分析的动态帧时为第一目标帧，保持记录状态，直至场景静态保持结束帧为止；将记录中的所有帧中的信息通过识别模块转换为对应的文字信息序列T1，

根据视频信息的时间顺序选取目标帧之后的第二目标帧直到第N目标帧，比较第一目标帧与第二目标帧之间直至第N目标帧的视频场景变化的信息，将视频场景变化信息转化成文字信息序列T2；

步骤S4：对第二目标帧直至第N目标帧与第一目标帧转化的每一目标帧文字信息进行综合，得到门前行为场景变化视频的综合文字信息序列T3；

步骤S5：发送文字信息序列T1、T2和T3到云端，云端进行进一步分析转换，提取文字报警信息T4；

步骤S6：发送文字报警信息T4到用户终端，提醒用户门前场景变化。

可选的，所述步骤S1中信息初始化包括门前场景初始状态记录、门前视频以及分析文字记录上传，云端进一步分析和结果记录，进行设备信息初始化。

可选的，所述步骤S3中目标帧的确定算法为：门前场景发生变化，出现行为主体，行为主体出现时的视频帧为第一目标帧，所述第二目标帧的确定为：记录状态下的视频，行为主体发生变化时的视频帧为第二目标帧，所述第N目标帧的确定为：门前场景发生变化后结束后，视频保持静态时的视频帧为第N目标帧。

可选的，在所述第一目标帧中，通过与保持静态时的视频帧进行对比解析的方式解析出行为主体图像一；在所述第二目标帧中，通过与第一目标帧进行对比解析的方式解析出行为主体图像二；按照上述步骤在取帧窗口内，取得的N个行为主体图像，对上述所有行为主体图像进行分析，确定行为主体图像内的行为主体类别；

对上述行为主体图像进行分析的步骤包括现场特征分析步骤和/或网络大数据分析步骤，在使用者的设定时间内采用网络大数据分析步骤进行分析，在使用者的设定时间外使用现场特征分析步骤进行分析。

可选的，所述网络大数据分析步骤包括以下子步骤：

A1、行为主体图像和拍摄参数上传至网络服务器，网络服务器对所有的行为主体图像进行特征提取，获得主体图像特征总集，智能锁对对所有的行为主体图像进行特征提取，获得一个包含在主体图像特征总集内的主体图像特征简集，

A2、网络服务器将主体图像特征总集以及拍摄参数集合作为输入量送入大数据分类器，由大数据分类器进行分类输出，分类输出的数据包括行为主体的类别，行为主体的类别中包含细分类别和粗分类别，

A3、服务器将主体的类别下发至智能锁，由智能锁执行后续的组合对比判断。

可选的，所述步骤S3中第一目标帧、第二目标帧直到第N目标帧的组合对比判断步骤为：

步骤S31：判断门前目标的行为是否为主动行为；

步骤S32：若否，则为被动行为，此时执行物品检测、物品遗留检测和物品取走跟踪；

步骤S33：若是，则为主动行为，再判断门前行为是否是人的行为；

步骤S34：若否，则为动物行为，此时执行动物排泄物检测和动物行走检测；

步骤S35：若是，则为人的行为，此时执行人的行走跟踪和人拿取物品检测。

可选的，在所述步骤S31中，判断门前目标的行为至少包括无物体分离、获取物体和分离物体三种行为，其中无物体分离属于被动行为，获取物体和分离物体为主动行为，无物体分离、获取物体和分离物体三种行为的判断根据行为主体图像的包络线变化进行判断；

主体图像特征部位的包络线无突变的情况下判定为无物体分离，

主体图像特征部位的包络线长度值向上突变的情况下判定为获取物体，

主体图像特征部位的包络线长度值向下突变的情况下判定为分离物体、

可选的，所述步骤S3中视频场景变化信息转化成文字信息转化算法为：目标识别、目标跟踪、行为识别、摄像头画质检测算法的一种或几种算法，所述场景信息检测包括但不限于行人检测、动物检测、面部识别、物品检测识别、烟雾检测。

可选的，所述步骤S5中云端进行综合文字信息的进一步分析的算法为语义分析算法，推断出相应的报警信息并发出。

可选的，所述步骤S4中对文字信息进行综合并压缩转化为压缩并删除相同文字信息得到视频场景变化的综合文字信息。

本发明的有益效果：

本发明中，是对图片做目标检测+跟踪实现的视频检测，不是针对视频进行的行为识别，并且对图片进行文字转化，通过文字转化，提取文字报警信息，并发送给用户；

本发明中，通过存储文字信息，大大降低了存储空间，有利于门前信息的相关存储；

本发明中，具有自适应的消息提醒机制，具有一定的使用价值和推广价值。

附图说明

图1为本发明的一种流程结构示意图。

图2为本发明行为判断的一种流程结构示意图。

实施方式

如图1、2所示，一种智能锁消息提醒方法，包括以下步骤：

步骤S1：智能锁信息初始化，包括门前场景初始状态记录、门前视频以及分析文字记录上传，云端进一步分析和结果记录，进行设备信息初始化；

步骤S2：采集用户门前场景信息视频，将视频的静态保持帧作为初始帧；

步骤S3：接收用户门前场景信息视频并分析，当出现需要分析的动态帧时，门前场景发生变化，出现行为主体，行为主体出现时的视频帧为第一目标帧，保持记录状态，直至场景静态保持结束帧为止；将记录中的所有帧中的信息通过识别模块转换为对应的文字信息序列T1，

根据视频信息的时间顺序选取目标帧之后的第二目标帧直到第N目标帧，记录状态下的视频，行为主体发生变化时的视频帧为第二目标帧，门前场景发生变化后结束后，视频保持静态时的视频帧为第N目标帧，比较第一目标帧与第二目标帧之间直至第N目标帧的视频场景变化的信息，将视频场景变化信息转化成文字信息序列T2；

在所述第一目标帧中，通过与保持静态时的视频帧进行对比解析的方式解析出行为主体图像一；在所述第二目标帧中，通过与第一目标帧进行对比解析的方式解析出行为主体图像二；按照上述步骤在取帧窗口内，取得的N个行为主体图像，对上述所有行为主体图像进行分析，确定行为主体图像内的行为主体类别；

对上述行为主体图像进行分析的步骤包括现场特征分析步骤和/或网络大数据分析步骤，在使用者的设定时间内采用网络大数据分析步骤进行分析，在使用者的设定时间外使用现场特征分析步骤进行分析。

网络大数据分析步骤包括以下子步骤：

A1、行为主体图像和拍摄参数上传至网络服务器，网络服务器对所有的行为主体图像进行特征提取，获得主体图像特征总集，智能锁对对所有的行为主体图像进行特征提取，获得一个包含在主体图像特征总集内的主体图像特征简集，

A2、网络服务器将主体图像特征总集以及拍摄参数集合作为输入量送入大数据分类器，由大数据分类器进行分类输出，分类输出的数据包括行为主体的类别，行为主体的类别中包含细分类别和粗分类别，

A3、服务器将主体的类别下发至智能锁，由智能锁执行后续的的组合对比判断。

网络大数据分析步骤还包括对待训数据分类器进行训练，待训数据分类器与智能锁内存储的数据分类器除加权系数外结构一致，主体图像特征简集以及拍摄参数集合作为训练输入量送入待训数据分类器，行为主体的类别中的粗分类别作为训练校验结果，在训练成果符合要求后，将训练好的数据分类器的加权系数下发至智能锁中，更新智能锁的数据分类器除加权系数。

第一目标帧、第二目标帧直到第N目标帧的组合对比判断步骤为：

步骤S31：判断门前目标的行为是否为主动行为，判断门前目标的行为至少包括无物体分离、获取物体和分离物体三种行为，其中无物体分离属于被动行为，获取物体和分离物体为主动行为，无物体分离、获取物体和分离物体三种行为的判断根据行为主体图像的包络线变化进行判断；

主体图像特征部位的包络线无突变的情况下判定为无物体分离，

主体图像特征部位的包络线长度值向上突变的情况下判定为获取物体，

主体图像特征部位的包络线长度值向下突变的情况下判定为分离物体；

步骤S32：若否，则为被动行为，此时执行物品检测、物品遗留检测和物品取走跟踪；

步骤S33：若是，则为主动行为，再判断门前行为是否是人的行为；

步骤S34：若否，则为动物行为，此时执行动物排泄物检测和动物行走检测；

步骤S35：若是，则为人的行为，此时执行人的行走跟踪和人拿取物品检测。

步骤S4：对第二目标帧直至第N目标帧与第一目标帧转化的每一目标帧文字信息进行综合，得到门前行为场景变化视频的综合文字信息序列T3；

步骤S5：发送文字信息序列T1、T2和T3到云端，云端进行进一步分析转换，提取文字报警信息T4；

步骤S6：发送文字报警信息T4到用户终端，提醒用户门前场景变化。

步骤S3中视频场景变化信息转化成文字信息转化算法为：目标识别、目标跟踪、行为识别、摄像头画质检测算法的一种或几种算法，场景信息检测包括但不限于行人检测、动物检测、面部识别、物品检测识别、烟雾检测、昆虫检测、老鼠检测，步骤S5中云端进行综合文字信息的进一步分析的算法为语义分析算法，推断出相应的报警信息并发出，步骤S4中对文字信息进行综合并压缩转化为压缩并删除相同文字信息得到视频场景变化的综合文字信息。

本发明基于基础的人、动物、物品、行为识别模块，可以把门前的信息转换为文字，方便传输和存储，可以利用服务器端进行文字之间的组合以及挖掘，在保护用户隐私的前提下做到对用户个性化的功能的自适应生成，可以根据用户的反馈进一步修正提醒信息。

实施例一：首先给智能锁初始化，将用户需要初始化的信息自行录制或者上传到智能锁，例如：早上用户出门和晚上用户下班回家的时间，进行设定，用户的肖像信息进行设定，若用户自家有养宠物，也可以把宠物相关信息上传或录制到智能锁等，用户可以根据自己的需求设定不同的初始化信息，设定好初始化信息后，其他的门前行为就需要进行检测报警。

采集用户门前场景信息视频，将视频的静态保持帧作为初始帧；

接收用户门前场景信息视频并分析，当出现需要分析的动态帧时，门前场景发生变化，行为主体出现即行人出现，行人出现时的视频帧为第一目标帧，保持记录状态，直至场景静态保持结束帧为止，即行人离开监控视频范围；将记录中的所有帧中的信息通过识别模块转换为对应的文字信息T1，

根据视频信息的时间顺序选取第一目标帧之后的第二目标帧直到第N目标帧，记录状态下的视频，行人发生动作变化时的视频帧为第二目标帧，门前场景发生变化后结束后，视频保持静态时的视频帧为第N目标帧，比较第一目标帧与第二目标帧之间直至第N目标帧的视频场景变化的信息，将视频场景变化信息转化成文字信息T2，具体为：

在所述第一目标帧中，通过与保持静态时的初始帧进行对比解析的方式解析出行为主体图像一，即行人出现时的行人图像；在所述第二目标帧中，通过与第一目标帧进行对比解析的方式解析出行为主体图像二，即第二目标帧的行人图像；按照上述步骤在取帧窗口内，取得的N个行为主体图像，即行人经过门前一系列动作后产生的N个行人图像，对上述所有行为主体图像进行分析，确定行为主体图像内的行为主体类别；

对上述行为主体图像进行分析的步骤包括现场特征分析步骤和/或网络大数据分析步骤，在使用者的设定时间内采用网络大数据分析步骤进行分析，在使用者的设定时间外使用现场特征分析步骤进行分析。

网络大数据分析步骤包括以下子步骤：

A1、行为主体图像和拍摄参数上传至网络服务器，网络服务器对所有的行为主体图像进行特征提取，获得主体图像特征总集，智能锁对对所有的行为主体图像进行特征提取，获得一个包含在主体图像特征总集内的主体图像特征简集，即N个行人图像的集合，

A2、网络服务器将主体图像特征总集以及拍摄参数集合作为输入量送入大数据分类器，由大数据分类器进行分类输出，分类输出的数据包括行为主体的类别，行为主体的类别中包含细分类别和粗分类别，

A3、服务器将主体的类别下发至智能锁，由智能锁执行后续的的组合对比判断。

网络大数据分析步骤还包括对待训数据分类器进行训练，待训数据分类器与智能锁内存储的数据分类器除加权系数外结构一致，主体图像特征简集以及拍摄参数集合作为训练输入量送入待训数据分类器，行为主体的类别中的粗分类别作为训练校验结果，在训练成果符合要求后，将训练好的数据分类器的加权系数下发至智能锁中，更新智能锁的数据分类器除加权系数。

第一目标帧、第二目标帧直到第N目标帧的组合对比判断步骤为：

判断门前目标的行为是否为主动行为，判断门前目标的行为至少包括无物体分离、获取物体和分离物体三种行为，其中无物体分离属于被动行为，获取物体和分离物体为主动行为，无物体分离、获取物体和分离物体三种行为的判断根据行为主体图像的包络线变化进行判断；

主体图像特征部位的包络线无突变的情况下判定为无物体分离，即行人路过的行为；

主体图像特征部位的包络线长度值向上突变的情况下判定为获取物体，即行人拿走物品的行为；

主体图像特征部位的包络线长度值向下突变的情况下判定为分离物体，即行人遗留物品的行为；

对上述所有行为主体图像进行分析，确定行为主体图像内的行为主体类别，此时的门前行为判断为主动行为，再次判断门前行为是人的行为，则进行人的行走和拿取物品检测。

对比第二目标帧与第一目标帧的视频信息转换成文字信息“陌生人出现”，第三目标帧到结束帧的前一视频帧的视频信息转换成重复的文字信息为多个“陌生人行走”，视频结束帧的视频信息转换成文字信息“陌生人离开”，得到综合文字信息“陌生人出现”、多个“陌生人行走”和“陌生人离开”；

将综合文字信息发送到云端，云端对综合文字信息进行进一步分析，将第三目标帧到结束帧的前一视频帧的视频信息转换成的重复文字信息进行压缩得到一个文字信息“陌生人行走”，并删除其他重复文字信息，提取文字报警信息“某时间段内有陌生人路过”，若陌生人出现后，拿走或遗留了物品在用户门前，则提取的文字报警信息为“某时间段内陌生人出现，拿走或遗留了物品”，送文字报警信息到用于手机，提醒用户门前场景有变化，用于偷盗或者用户不在家时快递的投递等场景的检测。

发送文字报警信息到用户手机或者其他提醒终端，提醒用户门前场景有变化，并根据场景情况进行自适应消息提醒学习，自适应的推送给用户必要的提醒信息。

视频场景变化信息转化成文字信息转化算法为：目标识别、目标跟踪、行为识别、摄像头画质检测算法的一种或几种算法，场景信息检测包括但不限于行人检测、动物检测、面部识别、物品检测识别、烟雾检测、昆虫检测、老鼠检测。

本申请还可以检测人的行为包括但不限于：对摄像头异常检测、面部识别、烟雾检测，若是抽烟，则不需要报火警，若不是则报火警。

实施例二：智能锁信息初始化与实施例一相同；

动物门前行为检测，当有动物出现在视频内时，保持记录状态，此时的视频帧为第一目标帧，下一视频帧为第二目标帧，直至动物离开时为视频结束帧，第一目标帧中与保持静态的初始帧进行对比解析的方式解析出行为主体图形一，即动物图像一，在第二目标帧中，通过与与第一目标帧进行对比解析的方式解析出行为主体图像二，即动物图像二，对比第二目标帧与第一目标帧的视频信息转换成文字信息“动物出现”，对上述所有行为主体图像进行分析，确定行为主体图像内的行为主体类别，此时判断为主动行为和动物行为，则进行动物行走和排泄物检测。

按照上述步骤在取帧窗口内，取得的N个行为主体图像，即N个动物图像，组成动物图像集合，第三目标帧到第A视频帧的视频信息转换成重复的文字信息为多个“动物行走”，此时动物主体图像特征的包络线长度不发生变化，若动物有排泄物遗留，此时则进行动物排泄物检测，动物主体图像特征的包络线长度值向上突变，此时动物排泄进行中，则第A视频帧的下一视频帧的视频信息转成文字信息为“动物进行排泄”直至动物排泄结束的视频帧为多个文字信息“动物进行排泄”，动物排泄结束后，动物主体图像特征的包络线长度恢复初始值，动物排泄结束的视频帧的下一视频帧的视频信息转换成文字信息“排泄物遗留、动物行走”直至视频结束帧的视频信息转换成多个文字信息“排泄物遗留、动物离开”，得到综合文字信息“动物出现”、多个“动物行走”、多个“动物进行排泄”、多个“排泄物遗留、动物行走”和“排泄物遗留、动物离开”；将综合文字信息发送到云端，云端对综合文字信息进行进一步分析，将多个文字信息多个“动物行走”、多个“动物进行排泄”、多个“排泄物遗留、动物行走”，并删除其他重复文字信息，提取文字报警信息“某时间段内有动物路过并有排泄物遗留”，发送文字报警信息到用于手机，提醒用户门前场景有变化，并根据场景情况进行自适应消息提醒学习，自适应的推送给用户必要的提醒信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能锁消息提醒方法，其特征在于，包括以下步骤：

步骤S1：智能锁信息初始化；

步骤S2：采集用户门前场景信息视频，将视频的静态保持帧作为初始帧；

步骤S3：接收用户门前场景信息视频并分析，当出现需要分析的动态帧时为第一目标帧，保持记录状态，直至场景静态保持结束帧为止；将记录中的所有帧中的信息通过识别模块转换为对应的文字信息序列T1，

根据视频信息的时间顺序选取目标帧之后的第二目标帧直到第N目标帧，比较第一目标帧与第二目标帧之间直至第N目标帧的视频场景变化的信息，将视频场景变化信息转化成文字信息序列T2；

步骤S4：对第二目标帧直至第N目标帧与第一目标帧转化的每一目标帧文字信息进行综合，得到门前行为场景变化视频的综合文字信息序列T3；

步骤S5：发送文字信息序列T1、T2和T3到云端，云端进行进一步分析转换，提取文字报警信息T4；

步骤S6：发送文字报警信息T4到用户终端，提醒用户门前场景变化。

2.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，所述步骤S1中信息初始化包括门前场景初始状态记录、门前视频以及分析文字记录上传，云端进一步分析和结果记录，进行设备信息初始化。

3.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，所述步骤S3中目标帧的确定算法为：门前场景发生变化，出现行为主体，行为主体出现时的视频帧为第一目标帧，所述第二目标帧的确定为：记录状态下的视频，行为主体发生变化时的视频帧为第二目标帧，所述第N目标帧的确定为：门前场景发生变化后结束后，视频保持静态时的视频帧为第N目标帧。

4.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，在所述第一目标帧中，通过与保持静态时的视频帧进行对比解析的方式解析出行为主体图像一；在所述第二目标帧中，通过与第一目标帧进行对比解析的方式解析出行为主体图像二；按照上述步骤在取帧窗口内，取得的N个行为主体图像，对上述所有行为主体图像进行分析，确定行为主体图像内的行为主体类别；

对上述行为主体图像进行分析的步骤包括现场特征分析步骤和/或网络大数据分析步骤，在使用者的设定时间内采用网络大数据分析步骤进行分析，在使用者的设定时间外使用现场特征分析步骤进行分析。

5.根据权利要求4所述一种智能锁消息提醒方法，其特征在于，所述网络大数据分析步骤包括以下子步骤：

A1、行为主体图像和拍摄参数上传至网络服务器，网络服务器对所有的行为主体图像进行特征提取，获得主体图像特征总集，智能锁对对所有的行为主体图像进行特征提取，获得一个包含在主体图像特征总集内的主体图像特征简集，

A2、网络服务器将主体图像特征总集以及拍摄参数集合作为输入量送入大数据分类器，由大数据分类器进行分类输出，分类输出的数据包括行为主体的类别，行为主体的类别中包含细分类别和粗分类别，

A3、服务器将主体的类别下发至智能锁，由智能锁执行后续的组合对比判断。

6.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，所述步骤S3中第一目标帧、第二目标帧直到第N目标帧的组合对比判断步骤为：

步骤S31：判断门前目标的行为是否为主动行为；

步骤S32：若否，则为被动行为，此时执行物品检测、物品遗留检测和物品取走跟踪；

步骤S33：若是，则为主动行为，再判断门前行为是否是人的行为；

步骤S34：若否，则为动物行为，此时执行动物排泄物检测和动物行走检测；

步骤S35：若是，则为人的行为，此时执行人的行走跟踪和人拿取物品检测。

7.根据权利要求6所述一种智能锁消息提醒方法，其特征在于，在所述步骤S31中，判断门前目标的行为至少包括无物体分离、获取物体和分离物体三种行为，其中无物体分离属于被动行为，获取物体和分离物体为主动行为，无物体分离、获取物体和分离物体三种行为的判断根据行为主体图像的包络线变化进行判断；

主体图像特征部位的包络线无突变的情况下判定为无物体分离，

主体图像特征部位的包络线长度值向上突变的情况下判定为获取物体，

主体图像特征部位的包络线长度值向下突变的情况下判定为分离物体。

8.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，所述步骤S3中视频场景变化信息转化成文字信息转化算法为：目标识别、目标跟踪、行为识别、摄像头画质检测算法的一种或几种算法，所述场景信息检测包括但不限于行人检测、动物检测、面部识别、物品检测识别。

9.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，所述步骤S5中云端进行综合文字信息的进一步分析的算法为语义分析算法，推断出相应的报警信息并发出。

10.根据权利要求1所述一种智能锁消息提醒方法，其特征在于，所述步骤S4中对文字信息进行综合并压缩转化为压缩并删除相同文字信息得到视频场景变化的综合文字信息序列T3。

Images