CN112041898A - 智能门系统 - Google Patents

Abstract

提供在计算机上实现的用于智能门操作的方法、系统、智能门装置以及非暂时性计算机可读介质。所述方法可以包括获取一个或以上对象的图像数据(410)，基于图像数据确定一个或以上对象中的至少一个对象的一个或以上步态特征，至少部分地基于一个或以上步态特征，确定一个或以上对象中的至少一个对象的身份信息(420)以及将解锁信号发送到锁，以使锁基于解锁信号解锁(430)。

Description

智能门系统

优先权信息

本申请要求于2018年4月27日提交的美国临时申请62/664,070的优先权，其内容通过引用合并于此。

技术领域

本申请涉及智能门系统，并且更具体地涉及在门上实现的视频监视系统以及经由智能门系统提供的应用。

背景技术

视频监视已广泛用于各种环境中，例如，建筑物、停车场、交通信号灯、城市街道、车辆等。建筑物视频监视系统依赖于安装在建筑物的门、大厅、走廊、电梯、房间和其他必要场所的多个相机。安装在建筑物前门上的相机视频监控系统能够检测到接近前门的对象，并在该对象被认为是被授权可以进入建筑物的人员时解锁前门。当前的视频监视系统存储大量的用户信息，并且至少一部分用户信息是相互关联的。然而，当前的视频监视系统基于个体对象进行独立检测，并且在解锁门之后几乎不向对象提供额外的信息和/或服务。因此，除了开门外，还需要考虑用户信息的相关性并向对象(例如，授权进入建筑物的人员)提供信息和/或服务以改善用户体验。

发明内容

本申请的一方面提供了一种在计算机上实现的用于智能门操作的方法。所述方法可以包括：获取一个或以上对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；基于所述图像数据，确定所述一个或以上对象中的至少一个对象的一个或以上步态特征；至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；以及基于所述一个或以上对象中的所述至少一个对象的所述身份信息，向锁发送解锁信号，以使所述锁解锁。

在一些实施例中，至少部分地基于所述一个或以上步态特征确定所述一个或以上对象中的所述至少一个对象的所述身份信息包括：基于所述一个或以上步态特征，确定所述身份信息对应于一个或以上允许进入身份中的一个允许进入身份的第一置信度；基于从所述图像数据确定的所述一个或以上对象中的所述至少一个对象的一个或以上面部特征，确定所述身份信息对应所述一个或以上允许进入身份中所述一个允许进入身份的第二置信度；以及响应于以下至少之一，将所述一个或以上允许进入身份中的所述一个允许进入身份识别为所述一个或以上对象中所述至少一个对象的所述身份信息：确定所述第一置信度超过或等于第一阈值，或者确定所述第二置信度超过或等于第二阈值。

在一些实施例中，基于所述一个或以上步态特征确定所述身份信息对应于所述一个或以上允许进入身份中的所述一个允许进入身份的所述第一置信度包括：获取步态识别模型；以及使用所述步态识别模型基于所述一个或以上步态特征确定所述第一置信度。

在一些实施例中，通过以下过程确定所述步态识别模型：获取与所述一个或以上允许进入身份相关的视频数据作为训练样本；从每个所述训练样本中提取步态特征；以及基于每个所述训练样本的所述步态特征训练所述步态识别模型。

在一些实施例中，所述基于从所述图像数据确定的所述一个或以上对象中的所述至少一个对象的一个或以上面部特征，确定所述身份信息对应于所述一个或以上允许进入身份中的所述一个允许进入身份的第二置信度包括：获取面部识别模型；以及使用所述面部识别模型基于所述一个或以上对象中的所述至少一个对象的所述面部特征来确定所述第二置信度。

在一些实施例中，通过以下过程确定所述面部确定模型：获取所述一个或以上允许进入身份的面部图像作为训练样本；从每个所述训练样本中提取面部特征；以及基于每个所述训练样本的所述面部特征训练所述面部识别模型。

在一些实施例中，所述步态特征包括以下至少之一：腿的摆动幅度、腿的摆动频率、腿的摆动周期、腰部的摆动幅度、腰部的摆动频率、腰部的摆动周期、关节的线速度、关节的角速度、步长、步频、目标速度或目标加速度。

在一些实施例中，面部特征可包括以下中的至少一项：眼睛中心点、鼻尖、嘴唇点、面部轮廓点、眼睛轮廓点、鼻子轮廓点、嘴唇轮廓点或眉毛轮廓点。

在一些实施例中，所述方法还包括：基于所述一个或以上对象中的所述至少一个对象的所述身份信息向所述一个或以上对象中的所述至少一个对象显示消息。

在一些实施例中，所述消息包括预设问题，所述方法还包括：基于所述一个或以上对象中的所述至少一个对象对所述预设问题的响应，验证所述一个或以上对象中的所述至少一个对象的所述身份信息。

在一些实施例中，所述方法还包括：获取与所述一个或以上对象中的所述至少一个对象之一相关的信息；基于所述一个或以上对象中的所述至少一个对象的当前进入信息和离开信息以及与所述一个或以上对象中的所述至少一个对象相关联的所述信息，确定与所述一个或以上对象中的所述至少一个对象相关联的事件信息；以及向所述一个或以上对象中的所述至少一个对象显示所述事件信息。

在一些实施例中，获取与所述一个或以上允许进入身份中的所述一个允许进入身份相关联的个性化信息；以及向所述一个或以上对象中的所述至少一个对象显示所述个性化信息。

在一些实施例中，所述方法还包括：基于所述身份信息，将与所述一个或以上对象中的所述至少一个对象相关联的信息发送给客户端；基于所述身份信息为所述一个或以上对象中的所述至少一个对象生成警报信号；基于所述身份信息，将与所述一个或以上对象中的所述至少一个对象相关联的所述信息发送给与特定联系人相关联的客户端；基于所述身份信息进行报警；或者记录与所述一个或以上对象中的所述至少一个对象相关联的所述信息。

根据本申请的另一方面，提供了一种在计算机上实现的用于通过计算机进行智能门操作的系统，所述系统包括计算机，并且所述计算机包括：获取模块，被配置为获取一个或多个对象的图像数据，所述图像数据由与所述计算机通信的一个或以上相机获取；识别模块，被配置为基于所述图像数据确定所述一个或以上对象中的所述至少一个对象的一个或以上步态特征；以及至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；以及执行模块，被配置为基于所述一个或以上对象中的所述至少一个对象的所述身份信息向锁发送解锁信号，以使所述锁解锁。

根据本申请的另一方面，提供了一种智能门设备，包括至少一个处理器和至少一个存储设备；所述至少一个存储设备被配置为存储指令；以及所述处理器被配置为执行所述指令以实现用于智能门操作的方法，所述方法包括：获取一个或多个对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；基于所述图像数据，确定所述一个或以上对象中的所述至少一个对象的一个或以上步态特征；至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；基于所述一个或以上对象中的所述至少一个对象的所述身份信息向所述门发送解锁信号，以使所述锁解锁。

根据本申请的另一方面，提供一种存储指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时使所述至少一个处理器实现一种方法，包括：获取一个或以上对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；基于所述图像数据确定所述一个或以上对象中的所述至少一个对象的一个或以上步态特征；至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个的身份信息；基于所述一个或以上对象中的所述至少一个对象的身份信息，向所述门发送解锁信号，以使所述锁解锁。

根据本申请的另一方面，提供了一种用于智能门操作的系统，包括：非暂时性存储介质，其存储用于门控制的可执行指令；带有锁的门；一个或以上图像传感器，被配置为捕获与所述门相关联的区域的图像数据；与所述非暂时性存储介质通信的至少一个处理器，当执行可执行指令时，指示所述至少一个处理器执行以下操作：获取由所述一个或以上图像传感器捕获的所述图像数据；基于所述图像数据，确定所述图像数据中表示的至少一个对象的步态特征；基于所述图像数据确定所述至少一个对象的面部特征；至少部分地基于所述姿势特征和所述面部特征，确定所述至少一个对象的身份信息；以及基于所述至少一个对象的所述身份信息，为所述至少一个对象提供服务。

本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各个方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，其中贯穿附图的所有视图，相似的附图标记表示相似的结构，其中：

图1根据本申请一些实施例所示的智能门系统的应用场景的示意图；

图2是根据本申请的一些实施例所示的示例性计算设备的示意图；

图3A是根据本申请的一些实施例所述的处理引擎的框图；

图3B是根据本申请的一些实施例所示的执行模块的框图；

图4是根据本申请的一些实施例所示的用于智能门操作过程的示例性流程图；

图5是根据本申请的一些实施例所示的确定面部识别模型和/或面部识别模型的过程的示例性流程图；

图6是根据本申请的一些实施例所示的用于用户助手的过程的示例性流程图；

图7是根据本申请的一些实施例所示的用于家庭自动化的过程的示例性流程图；以及

图8是根据本申请的一些实施例所示的用于内容推荐的过程的示例性流程图。

具体实施方式

为了说明与本申请的实施例有关的技术方案，下面提供参考实施例的描述的附图的简要介绍。显然，以下描述的附图仅是本申请的一些示例或实施方式。根据本领域的普通技术人员，无需进一步的创造性劳动，也可以将本发明应用于根据这些附图的其他类似情况。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构和操作。

应当理解，本文中使用的“系统”、“装置”、“单元”和/或“模块”是区分不同级别的不同组件、元件、零件、部件的方法。但是，如果其他单词可以达到相同的目的，则可以将这些单词替换为其他表达。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。通常，术语“包含”和“包括”仅提示包括已经清楚识别的步骤和要素，并且这些步骤和要素不构成排他性清单。该方法或设备还可以包括其他步骤或元素。

根据本申请的一些实施例，使用流程图来说明系统所执行的操作。应当理解的是，前面或下面的操作不一定按照顺序来精确地执行。相反，可以以相反顺序或同时处理每个步骤。此外，可以将一个或以上其他操作添加到流程图，或者可以从流程图中省略一个或以上操作。

图1是根据本申请的一些实施例所示的智能门系统的应用场景的示意图。例如，智能门系统100可以是用于各种安全服务的在线服务平台。在一些实施例中，智能门系统100可以用于在身份识别服务中的信息服务，例如，建筑物内居民的步态识别服务、建筑物内居民的面部识别服务、与识别目标的语音交互和/或语音验证服务、信息分析服务和/或相关信息推荐服务等。在一些实施例中，智能门系统100还可以用于汽车租赁服务、在线到离线运输服务等。例如，在租车服务中，智能门系统100可以用于服务提供者的身份认证、服务过程监视、向用户提供相关信息等。智能门系统100可以包括服务器110、终端120、存储设备130、网络140、一个或以上数据获取终端160以及信息源150。

在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。服务器组可以是集中式的或分布式的(例如，服务器110可以是分布式系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络140访问终端120、存储设备130和相机160的信息和/或数据。作为另一示例，服务器110可以直接耦合到终端120(例如，门)、存储设备130、相机160以访问所存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。例如，云平台可以包括私有云、公共云、混合云、社交区域云、分布式云、云、多重云等，或其任意组合。在一些实施例中，服务器110可以被实现在计算设备上。在一些实施例中，服务器110可以被实现在移动设备上。

服务器110可以包括处理引擎112。在一些实施例中，处理引擎112可以处理与安全服务有关的数据和/或信息以执行本申请中所描述的一个或以上功能。以身份识别服务为例，处理引擎112可以基于相机160获取包括视频数据、图像数据和/或语音数据的数据、处理数据并识别一个或以上对象之一的身份。处理引擎112可以基于对象的身份提供针对对象的服务。例如，服务可以包括家庭自动化服务、内容推荐服务、数据统计和分析服务、辅助服务等。在一些实施例中，处理引擎112可以从存储设备130获取用户信息。响应于确定所标识的对象是建筑物中的用户A，可以分析和汇编用户A的用户信息，并且可以生成与用户A相关的事件信息。可以将事件信息发送到用户A或与用户A相关的其他用户的客户端(例如，移动电话)。在一些实施例中，处理引擎112可以从存储设备130获取用户家中的一个或以上设备(例如，电器)的设置信息。当所标识的对象是建筑物中的用户A时，处理引擎112可以为用户A解锁建筑物的门和/或为用户A操作一个或以上设备(例如，打开或关闭电器)。

在一些实施例中，相机160可以是视频、图像和/或语音获取设备。在一些实施例中，相机160可包括相机160-1、相机160-2、麦克风160-3等或其任何组合。在一些实施例中，相机160可以包括移动终端，诸如智能电话、个人数字助理(PDA)、平板计算机、手持式游戏机、智能眼镜、智能手表、可穿戴设备等，或其任何组合。在一些实施例中，相机160可以将获取的信息发送到智能门系统100中的一个或以上设备。在一些实施例中，相机160可以接收由智能门系统100中的一个或以上设备发送的用于信息获取的指令。在一些实施例中，相机160可以安装在汽车、购物中心、超级市场、住宅、办公室等中以获取信息。

在一些实施例中，终端120可以包括电子设备，诸如移动设备120-1、门锁120-2、电灯120-3、空调设备120-4等。在一些实施例中，移动设备120-1可以包括智能电话、个人数字助理(PersonalDigitalAssistance，PDA)、平板计算机、手持游戏机、智能眼镜、智能手表、可穿戴设备、虚拟现实、显示增强设备等或其任何组合。在一些实施例中，终端120可以接收由智能门系统100的一个或以上组件(例如，处理引擎112)发送的信息(例如，与用户A有关的事件信息)。在一些实施例中，终端120可以接收由智能门系统100的一个或以上组件(例如，处理引擎112)发送的指令，并且根据该指令进行操作，例如，解锁、打开、关闭或关闭等。

存储设备130可以存储数据和/或指令。在一些实施例中，存储设备130可以存储从相机160获取的数据。在一些实施例中，存储设备130可以存储服务器110可以执行或用来实现本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备130可以包括大容量存储设备、可移动存储设备、易内存/写存储设备、只读存储设备(ROM)等或其任意组合。示例性大容量存储设备可以包括磁盘、光盘、固态驱动器等。示例性可移动存储设备可包括闪存内存、软盘、光盘、存储卡、zip磁盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等在一些实施例中，存储设备120可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备130可以连接到网络140以与智能门系统100中的一个或以上组件(例如，服务器110、相机160等)通信。智能门系统100的一个或以上组件可以直接或经由网络140访问存储在存储设备130中的数据和/或指令。在一些实施例中，存储设备130可以直接与智能门系统100的一个或以上组件(例如，服务器110、终端120和相机160等)连接和/或通信。在一些实施例中，存储设备130可以是服务器110的一部分。

网络140可以促进信息和/或数据的交换。在一些实施例中，智能门系统100中的一个或以上组件(例如，服务器110、终端120、存储设备130和相机160等)可以经由网络140发送信息和/或数据至智能门系统100中的其他组件。例如，服务器110可以通过网络140从相机160获取/访问数据和/或信息。在一些实施例中，网络140可以是任何类型的有线网络或无线网络，或其任意组合。例如，网络140可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等，或其任意组合。在一些实施例中，网络140可以包括一个或以上网络接入点。例如，网络140可以包括诸如基站的有线或无线网络接入点和/或互联网交换点140-1、140-2等。通过接入点，智能门系统100的一个或以上组件可以连接到网络140以交换数据和/或信息。

信息源150可以是用于为智能门系统100提供其他信息的源。信息源150可以用于向智能门系统100提供与在线服务信息有关的信息，例如天气状况、法律法规、新闻信息、生活资讯、生活指南信息等。信息源150可以在单个中央服务器，或经由网络连接的多个服务器，或多个个人设备等上被实现。当信息源150在多个个人设备上实现时，个人设备可以通过生成内容(例如，被称为“用户生成内容”)(例如，通过上传文本、语音、图像和/或视频发送到云服务器。信息源150可以包括多个个人设备和云服务器。

应当注意，在一些实施例中，相机160可以与处理引擎集成。相机160可能不需要将数据(例如，视频，图像或语音数据)上传到服务器110，而是直接处理所获取的数据以实现本申请中描述的示例性方法。

图2是了根据本申请的一些实施例所示的示例性计算设备的示意图。计算设备200可以是计算机，例如图1中的服务器110和/或具有特定功能的计算机，其被配置为实现根据本申请的一些实施例的任何特定系统。计算设备200可以被配置为实现执行本申请中公开的一个或以上功能的任何组件。例如，服务器110(例如，处理设备112)可以在类似于计算设备200的计算机的硬件设备、软件程序、固件或其任意组合中实现。为简洁起见，图2仅描绘了一个计算设备。在一些实施例中，计算设备的功能可以由分布式模式中的一组类似平台来实现，以分散系统的处理负荷。

计算设备200可以包括可以与可以实现数据通信的网络连接的通信终端250。计算设备200还可以包括处理器220，其被配置为执行指令并且包括以上处理器。原理图计算机平台可以包括内部通信总线210，不同类型的程序存储单元和数据存储单元(例如，硬盘270、只读内存(ROM)230、随机存取内存(RAM)240)，适用于计算机处理和/或通信的各种数据文件，以及可能由处理器220执行的一些程序指令。计算设备200还可包括输入/输出260，其可支持计算设备200与其他组件之间的数据流的输入和输出。此外，计算设备200可以通过通信网络接收程序和数据。

图3A是根据本申请的一些实施例所示的处理引擎的框图。如图3A所示，处理引擎112可以包括获取模块310、识别模块320、执行模块330和训练模块340。

获取模块310可以被配置为用于身份识别的数据。例如，获取模块310可以获取由相机获取的图像数据。相机(例如，相机160)可以包括一个或以上因特网协议相机(也称为IP相机)，用于建筑物监视目的。IP相机可以是通常用于监视的一种数字相机。作为另一示例，获取模块310可以获取图像数据中呈现的一个或以上对象中的至少一个对象的一个或以上步态特征，从图像数据中获取一个或以上对象的一个或以上面部图像等。作为又一示例，获取模块310可以获取由音频设备(例如，麦克风)获取的一个或以上对象中的至少一个对象的语音数据。在一些实施例中，获取模块310可以获取一个或以上用于身份识别的模型，例如，步态识别模型、面部识别、语音识别模型等。在一些实施例中，获取模块310可以经由网络访问一个或以上内容提供商和/或与之通信以获取信息，例如，基于GPS的导航提供商、天气预报提供商、个人造型提供商、用餐提供者等。在一些实施例中，获取模块310可以访问一个或以上终端(例如，终端120)、存储设备(例如，存储设备130)和/或与之通信信息源(例如，信息源150))以获取用于身份识别的数据。

识别模块320可以被配置为确定图像数据中表示的一个或以上对象中的至少一个对象的身份信息。在一些实施例中，身份信息可以包括：一个或以上对象中的至少一个对象是否与场所，例如，建筑物、公司、住宅区、房屋等的门的允许进入身份之一相对应。例如，身份信息可以是一个或以上对象中的至少一个对象对应于进入身份之一。作为另一示例，身份信息可以是一个或以上对象中的至少一个对象不是允许进入身份之一。在一些实施例中，身份信息可以对应于一个或以上允许进入身份中的特定允许进入身份或允许进入身份之一的身份(例如，朋友、访客、伴侣等)。允许进入身份可以表示建筑物的居民、建筑物的居民的亲戚、建筑物的工作人员、建筑物的居民的宠物等。例如，当建筑物是住宅建筑物时，允许进入身份是该住宅建筑物的居民。如果建筑物是办公室，则允许进入的身份可以是办公室中的工作人员。在一些实施例中，允许进入身份可以被存储在数据库中。在一些实施例中，数据库可以存储允许进入身份中的每一个的步态数据(例如，步态特征)、面部数据(例如，面部特征)、语音数据(例如，声学特征)、预设语音验证数据。智能门系统100可以实时或周期性地更新数据库。

执行模块330可以被配置为响应于确定一个或以上对象中的至少一个对象对应于允许进入身份之一，向一个或以上对象中的至少一个对象提供服务。例如，执行模块330可以向一个或以上对象中的至少一个对象的电子设备(例如，移动电话)提供推荐内容(例如，个性化信息)。作为另一示例，执行模块330可以响应于确定一个或以上对象中的至少一个对象对应于允许进入身份中的一个允许进入身份，来指导一个或以上对象中的至少一个对象的智能家居系统进行操作。作为又一示例，执行模块330可以协助一个或以上对象中的至少一个对象，例如，获取家庭成员的信息、安排个人日程等。执行模块330可以产生解锁信号和/或将解锁信号发送到相应的门锁，一个或以上对象的身份信息是允许进入身份。执行模块330可以引导和/或操作门锁以解锁。在本申请的其他地方可以找到用于向一个或以上对象中的至少一个对象提供服务的更多描述(例如，图6-8及其描述)。

在一些实施例中，训练模块340可以用于生成一个或以上用于身份识别的模型，例如步态识别模型、面部识别、语音识别模型等。例如，训练模块340可以获取与以上允许进入身份相关联的以上训练样本。训练模块340可以使用两个或以上训练样本来训练用于身份识别的初始模型。每个训练样本可以对应于一个或以上允许进入身份之一。一个或以上允许进入身份中的每一个允许进入身份可以对应于两个或以上视频、图像和/或语音。训练样本可以包括所允许进入身份的至少一个视频、图像和/或语音。允许进入身份的两个或以上视频、图像和/或语音可以包括在不同的时间和/或时间段(例如，童年、青年、年龄等)、不同的条件(例如，在受伤的情况下、负载等)、不同的角度和/或视图。例如，允许进入身份的两个或以上视频可以包括处于正常状态的居民的步行视频、居民提着行李时的步行视频、从居民的背面、正面、侧面等观看居民的步行视频。在一些实施例中，可以基于神经网络模型来构造初始模型。示例性神经网络模型可以包括卷积神经网络(CNN)、深层卷积神经网络(DCNN)、递归神经网络(RNN)、反向传播(BP)神经网络、径向基函数(RBF)神经网络、感知器神经网络、线性神经网络、自组织神经网络、反馈神经网络等或其任意组合。

应当理解，图3A所示的系统及其模块可以以各种方式实现。例如，在一些实施例中，系统及其模块可以由硬件、软件或软件和硬件的组合来实现。硬件可以通过专用逻辑来实现；但是，可以通过硬件实现。该软件可以存储在内存器中，并且可以由适当的指令执行系统(例如，微处理器、专用设计硬件等)来实现。本领域技术人员将认识到，以上方法和系统可以通过计算机可执行指令和/或嵌入在处理器的控制代码中来实现。例如，控制代码可以由诸如磁盘、CD或DVD-ROM的介质提供，可编程存储设备，例如，只读存储设备(例如，固件)，或数据载体，例如，光或电信号载体。本公开中的系统和模块不仅可以通过超大规模集成电路中的可编程硬件设备中的硬件电路、门阵列芯片，诸如逻辑芯片或晶体管的半导体，现场可编程控制器、门阵列或可编程逻辑器件来实现，而且还可以通过各种处理器执行的软件，还可以通过上述硬件和上述软件(例如，固件)的组合来实现。

要注意的是，以上候选显示的描述，系统及其模块的确定仅是为了描述的方便，并且不将本申请限制于实施例的范围。对于本领域普通技术人员而言，模块可以以各种方式组合或与其他模块作为子系统连接，并且可以在本申请的教导下进行形式和细节上的各种修改和变换。例如，图3A中公开的获取模块310、识别模块320、执行模块330和训练模块340可以是同一系统中的不同模块，或者可以是一个模块中两个或更多模块的功能。例如，识别模块320和执行模块330可以是两个模块，或者一个模块可以具有识别和执行功能。作为另一个示例，每个模块可以共享一个存储模块。每个模块也可以具有其各自的存储模块。所有这些修改都在本申请的保护范围内。

图3B是根据本申请的一些实施例所示的执行模块的框图。如图3B所示，执行模块330可以包括数据分析单元331、门锁控制单元332、居住辅助单元333、内容推荐单元334和家庭自动化单元335。

数据分析单元331可以被配置为从存储设备(例如，居民数据库)获取与一个或以上允许进入身份(例如，住宅区的居民或建筑物的工作人员)相关联的信息，并将该信息编译为由其他模块使用。编译的信息可以包括从放置在建筑物或房屋中的一个或以上相机(例如，IP相机)收集的数据，例如，前门、后门。汇总的信息可能即时间、进入时间(即前门，后门或车库门)、居民的家庭成员的到来信息等。编译的信息可以指示在不同时间收集的数据、从不同相机收集的数据、与不同居民或对象有关的数据等之间的各种相关性。

门锁控制单元332可以被配置为基于识别模块320的识别结果来指示要被锁定或解锁的门的锁定。例如，如果识别模块320确定对象对应于一个或以上允许进入身份之一。门锁控制单元332可以生成解锁信号，并将该解锁信号发送至门锁。可以基于解锁信号来解锁门锁。

居住辅助单元333可以被配置为基于所编译的信息以及与允许进入身份的电子设备(例如，居民)的通信来确定与居民相关联的事件信息。例如，当居民A在2017年6月1日下午3点进入建筑物时，基于编译的信息，居民助理模块可以确定居民A的女儿在下午4点在学校里有舞蹈表演，居民A的妻子有在居民A之前进入建筑物。因此，居民助理模块可以向居民A的电子设备发送一条消息，提醒他们需要参加女儿的舞蹈表演，而妻子已经在家。

内容推荐单元334可以被配置为推荐内容(例如，允许进入的身份的个性化信息)或要在允许进入身份(例如，居民)的电子设备(例如，移动电话)上显示的事件信息。内容可能包括到女儿所在学校的交通信息、天气信息、着装建议、活动地点附近的就餐或直通餐厅信息等。内容推荐模块334可以经由网络与一个或以上内容提供者通信以获取信息，例如，基于GPS的导航提供者、天气预报提供者、个人造型提供者、用餐提供者等。

家庭自动化单元335可以被配置为通过与安装在居民房屋中的一个或以上智能传感器进行通信，在检测到居民进入建筑物时自动打开或关闭房屋设施。例如，家庭自动化模块可以在检测到居民在炎热的夏天进入建筑物时打开居民房屋的空调。作为另一示例，家庭自动化模块可以在检测到居民晚上返回时打开居民房屋的门道中的灯。

图4是根据本申请的一些实施例所示的用于智能门操作过程的示例性流程图。在一些实施例中，过程400可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(在处理设备上实现以执行硬件的指令)仿真)等，或其任意组合。图4所示的用于控制门的过程400中的一个或以上操作可以由图1所示的智能门系统100来实现。例如，过程400可以以指令的形式存储在存储设备130中，并由处理引擎112调用和/或执行。

在410中，处理引擎112可以基于由相机采集的图像数据获取一个或以上对象中的至少一个对象的步态特征。操作410可以由获取模块310执行。摄像机(例如，相机160)可以包括一个或以上因特网协议相机(也称为IP相机)，用于建筑物监视目的。IP摄像机可以是通常用于监视的一种数字摄像机。与模拟闭路电视(CCTV)相机不同，IP相机可以通过网络(例如，网络140)发送和接收数据。在一些实施例中，获取模块310可以从相机、存储设备130、终端120或本申请中其他地方描述的任何其他存储设备中的存储设备获取一个或以上对象中的至少一个对象的图像数据(例如，视频、图像)。处理引擎112(例如，获取模块310)可以从图像数据提取步态特征。例如，处理引擎112可以分析图像数据以确定一个或以上对象中的至少一个对象的步态周期。处理引擎112(例如，获取模块310)可以进一步确定步态周期的开始帧和结束帧。处理引擎112(例如，获取模块310)可以从图像数据中确定步态周期期间的图像序列。然后，处理引擎112(例如，获取模块310)可以从一个或以上图像序列中确定步态特征。在一些实施例中，图像序列可以包括从图像数据(例如，视频)中提取的一个或以上对象中的至少一个对象的运动轮廓的二维图像。在一些实施例中，图像序列可以是归一化动态图像序列。

在一些实施例中，步态特征可以包括一个或以上对象中的至少一个对象的主要关节的运动轨迹数据，例如，腿的关节角的运动轨迹、腰部的运动轨迹和脚的运动轨迹。例如，步态特征可以包括腿部的摆动幅度、腿部的摆动频率、腿部的摆动周期、腰部的摆动幅度、腰部的摆动频率、腰部的摆动周期、关节的线速度、关节的角速度、步幅大小、步频、目标速度、目标加速度等或其任意组合。在一些实施例中，步态特征可以包括腿骨的长度、脊柱的长度、运动重心等。腿可以包括大腿和/或小腿。关节可以包括膝关节。在一些实施例中，步态特征还可包括上身的运动轨迹数据。例如，步态特征可以包括手臂的摆动幅度、手臂的摆动频率、手臂的摆动周期、肘关节的线速度、肘关节的角速度、手臂的摆动幅度、上半身的姿势习惯(例如，左手提着袋子和右手摆动的姿势习惯)等。在一些实施方案中，一个或以上对象可以是人或宠物等的生物目标。

在一些实施例中，处理引擎112也可以执行面部识别以识别一个或以上对象中的至少一个对象。例如，当相机捕获一个或以上对象的图像数据(例如，图像)时，获取模块310可以从图像数据中获取一个或以上对象的面部图像。处理引擎112可以进一步执行面部识别，以进一步确定一个或以上对象中的至少一个对象的身份。获取模块310和/或相机可以从面部图像确定一个或以上对象中的至少一个对象的面部特征点。如本文所使用的，面部特征点可以指面部的不容易受到面部表情影响的点和/或区域。例如，面部特征点可以包括眼睛中心点、鼻尖、唇角等。获取模块310可以基于面部特征点确定一个或以上面部特征。在一些实施例中，面部特征可以包括眼睛中心点、鼻子尖端、嘴唇点、面部轮廓点、鼻子轮廓点、嘴唇轮廓点、眉轮廓点等，或其任何组合的特征(例如，位置)。在一些实施例中，处理引擎112可以基于特征点在面部图像上执行仿射变换以获取标准化的面部图像。归一化的面部图像可以是具有标准尺寸的正面面部图像。

在一些实施例中，获取模块310可以从终端120(例如，麦克风或音频设备)获取一个或以上对象的语音数据。处理引擎112可以通过语音识别来确定一个或以上对象中的至少一个对象的身份。例如，处理引擎112可以从语音数据确定一个或以上对象中的至少一个对象的声学特征。处理引擎112可以基于一个或以上对象中的至少一个对象的声学特征来识别对象中的至少一个对象。在一些实施例中，获取模块310还可以经由麦克风或音频设备与一个或以上对象执行语音交互。处理引擎112可以基于一个或以上对象中的至少一个对象的语音响应信息来识别或验证对象中的至少一个对象的身份。在一些实施例中，获取模块310可以通过网络140从存储设备130和/或终端120获取步态特征、面部特征和/或语音数据。获取模块310可以将获取的数据发送到服务器110进行处理。

在420中，处理引擎112可以至少部分地基于一个或以上步态特征确定一个或以上对象中的至少一个对象的身份信息。在一些实施例中，操作420可以由识别模块320执行。在一些实施例中，身份信息可包括是否一个或以上对象中的至少一个对象对应于某个位置(如，建筑物、公司、住宅、房屋等)的门的允许进入身份之一。例如，身份信息可以是一个或以上对象中的至少一个对象对应允许进入身份之一(或与之一致)。作为另一示例，身份信息可以是一个或以上对象中的至少一个对象与允许进入身份之一不对应(或不一致)。在一些实施例中，身份信息可以对应允许进入身份中的一个特定的允许进入身份(或与之一致)，或者允许进入身份中的一个允许的身份(例如，朋友、访客、同伴等)。允许进入身份可以表示建筑物的居民、建筑物的居民的亲戚、建筑物的工作人员、建筑物的居民的宠物等。例如，当建筑物是住宅建筑物时，允许进入身份是该住宅建筑物的居民。如果建筑物是办公室，则允许进入的身份可以是办公室中的工作人员。在一些实施例中，允许进入身份可以被存储在数据库中。在一些实施例中，数据库可以存储允许进入身份中的每一个允许进入身份的步态数据(例如，步态特征)、面部数据(例如，面部特征)、语音数据(例如，声学特征)、预设语音验证数据。智能门系统100可以实时或周期性地更新数据库。

识别模块320可以基于第一置信度来确定身份信息，该第一置信度指示一个或以上对象中的至少一个对象对应允许进入身份中的一个允许进入身份。如本文所使用的，置信度可以表示一个或以上对象中的至少一个对象对应允许进入身份之一(或与之一致)的概率。置信度越高，一个或以上对象中的至少一个对象对应于允许进入身份之一(或与之一致)的可能性就越大。在一些实施例中，识别模块320可以基于步态特征来确定第一置信度。例如，识别模块320可以将在410中确定的一个或以上对象中的至少一个对象的步态特征与数据库(例如，居民数据库)中允许进入身份的至少一部分中的每一个允许进入身份的步态数据进行匹配。此外，识别模块320可以确定在410中确定的一个或以上对象中的至少一个对象的步态特征与允许进入身份的至少一部分中的每个允许进入身份的步态数据之间的相似度。相似度可以表示一个或以上对象中的至少一个对象与允许进入身份的至少一部分中的一个允许进入身份匹配的概率。相似度越大，一个或以上对象中的至少一个对象与允许进入身份的至少一部分中的一个允许进入身份匹配的可能性就越大。识别模块320可以确定与一个或以上对象中的至少一个对象具有最大相似度的允许进入身份。在一些实施例中，一个或以上主体中的至少一个主体具有最大相似度时识别模块320可以确定与一个或以上对象中的至少一个对象具有最大相似度的允许进入身份对应至少一个对象的身份信息。在一些实施例中，识别模块320可以基于最大相似度来确定第一置信度。例如，识别模块320可以将最大相似度指定为第一置信度。在一些实施例中，识别模块320可以通过数值运算、函数建立、机器学习模型训练等识别与一个或以上对象中的至少一个对象最接近或匹配的一允许进入身份和/或确定第一置信度。例如，可以训练步态识别模型以确定一个或以上对象中的至少一个对象是否对应允许进入身份之一，从允许进入身份中确定与一个或以上对象中的至少一个对象最接近和/或匹配的特定的允许进入身份，和/或确定第一置信度。

在一些实施例中，识别模块320可以基于第二置信度来确定身份信息，该第二置信度指示一个或以上对象中的至少一个对象与一个或以上允许进入身份之一相对应。在一些实施例中，识别模块320可以基于在410个特征中确定的面部特征来确定第二置信度。例如，识别模块320可以将在410中确定的一个或以上对象中的至少一个对象的面部特征与数据库(例如，居民数据库)中允许进入身份的至少一部分中的一个允许进入身份的面部数据进行匹配。此外，识别模块320可以确定在410中确定的一个或以上对象中的至少一个对象的面部特征与允许进入身份中的至少一部分允许进入身份的面部数据之间的相似度。识别模块320可以确定与一个或以上对象中的至少一个对象具有最大相似度的允许进入身份。在一些实施例中，识别模块320可以确定与一个或以上对象中的至少一个对象具有最大相似度的允许进入身份对应于(或与之一致)一个或以上对象中的至少一个对象的身份信息。在一些实施例中，识别模块320可以基于最大相似度来确定第二置信度。例如，识别模块320可以将最大相似度指定为第二置信度。在一些实施例中，识别模块320可以通过数值运算、函数建立、机器学习模型训练等识别与一个或以上对象中的至少一个对象最接近或匹配的允许进入身份，和/或确定第二置信度。例如，可以训练面部识别模型以确定一个或以上对象中的至少一个对象是否与允许进入身份之一相对应，从允许进入身份中确定与一个或以上对象中的至少一个对象最接近和/或匹配的特定允许进入身份，和/或确定第二置信度。

在一些实施例中，第一置信度和第二置信度可以相同或不同。在一些实施例中，基于步态特征的识别结果(即，步态识别结果)和基于面部特征的识别结果(即，面部识别结果)可以相同或不同。例如，步态识别结果可以是一个或以上对象中的至少一个对象与允许进入身份之一相对应，面部识别结果可以是一个或以上对象中的至少一个对象与允许进入身份之一对应(或与之一致)。作为另一示例，步态识别结果可以是一个或以上对象中的至少一个对象与允许进入身份A相对应(或与之一致)，而面部识别结果可以是一个或以上对象中的至少一个对象与允许进入身份B相对应(或与之一致)。

在一些实施例中，如果第一置信度超过或等于第一阈值，则识别模块320可以确定一个或以上对象中的至少一个对象与允许进入身份中的一个允许进入身份相对应。第一阈值可以是预设的置信度阈值。第一阈值可以是由经验人员确定的经验值或通过统计计算获取的合理值。第一阈值可以由智能门系统100初始设置，但是可以根据各种因素来调节。例如，一个月前，居民A因车祸摔伤了左腿，有人发现他/她拄着拐杖走路。因此，可以基于步态变化来调整针对居民A的阈值。可替代地，系统可以按照随机分布来设置置信度阈值，以提高对象检测的准确性。如果第一置信度超过或等于第一阈值，则一个或以上对象中至少一个对象的步态特征可能与允许进入身份中的一个允许进入身份的步态数据高度相似或一致，并且可以将一个或以上对象中的至少一个对象识别为允许进入身份。如果第一置信度水平小于第一阈值，则一个或以上对象中至少一个对象的步态特征可能与所有允许进入身份的步态数据高度不相似，并且一个或以上对象中的至少一个对象可能不会被标记为允许进入身份。

在一些实施例中，如果第二置信度水平超过或等于第二阈值，则识别模块320可以确定一个或以上对象中的至少一个对象与允许进入身份中的一个允许进入身份相对应。第二阈值可以是预设的置信度阈值。第二阈值可以是由经验人员确定的经验值或通过统计计算获取的合理值。第二阈值可以由智能门系统100初始设置，但是可以根据各种因素来调节。例如，居民A由于恶劣的环境或生病戴着口罩。因此，关于居民A的第二阈值可以基于被遮蔽的面部来调整。可替代地，系统可以按照随机分布来设置置信度阈值，以提高对象检测的准确性。如果第二置信度超过或等于第二阈值，则一个或以上对象中的至少一个对象的面部特征可以与允许进入身份中的一个允许进入身份的面部数据一致或高度相似，并且一个或以上对象中的至少一个对象可以被视为允许进入身份。

在一些实施例中，如果第一置信度超过或等于第一阈值并且第二置信度超过或等于第二阈值，则识别模块320可以确定一个或以上对象对应于允许进入身份中的一个允许进入身份(或与之一致)。例如，识别模块320可以同时执行步态识别和面部识别。如果第一置信度超过或等于第一阈值并且第二置信度超过或等于第二阈值，则可以确定一个或以上对象中的至少一个对象与允许进入身份中的一个允许进入身份相对应(或与之一致)。如果第一置信度水平小于第一阈值和/或第二置信度水平小于第二阈值，则一个或以上对象中的至少一个对象可能不对应于(或与之一致)允许进入身份。

在一些实施例中，识别模块320可以根据识别结果更新一个或以上允许进入身份的步态数据或面部数据。在一些实施例中，可以根据一个或以上对象中的至少一个对象的步态特征来更新数据库(例如，居民数据库)中的与一个或以上对象中的至少一个对象匹配的允许进入身份的步态数据。例如，居民突然发生交通事故，需要拐杖走路一段时间，导致步态识别结果表明该居民无法进入建筑物，但面部识别结果表明该居民被允许进入建筑物。存储在数据库中的居民的步态数据可以被更新。然而，在一些实施例中，如果第二置信度小于第二阈值(例如，如居民组成)，然而第一置信度超过或等于第一阈值，则存储在数据库中的居民的面部数据可以是根据居民的面部特征进行更新。

在一些实施例中，识别模块320可以基于在410中获取的语音数据来执行识别结果(例如，步态识别结果和/或面部识别结果)的验证。在一些实施例中，识别模块320可以基于识别结果(例如，步态识别结果和/或面部识别结果)向一个或以上对象中的至少一个对象发送语音消息。例如，如果一个或以上对象中的至少一个对象是允许进入身份，则识别模块320可以发送问候语音信息：“你好，请进入。“如果一个或以上对象中的至少一个对象不是允许进入身份，则识别模块320可以通过音频设备(例如，扬声器等)发送警报消息，例如“非居民，我可以为你做什么？”。在一些实施例中，语音消息和/或警告消息可以包括预设问题。识别模块320可以基于一个或以上对象对预设问题的响应来验证一个或以上对象中的至少一个对象的身份。例如，如果第一置信度不高，则识别模块320可以向一个或以上对象询问预设问题。如果一个或以上对象中的至少一个对象对预设问题的回答是预设答案，则可以增加第一置信度的值，使其超过第一阈值。一个或以上对象中的至少一个对象可以被确定为允许进入身份。

在一些实施例中，识别模块320可以识别图像数据中的一个或以上对象中的另一个对象，如本申请的其他地方所述。如果识别模块320确定另一个对象不是建筑物的允许进入身份，则识别模块320可以确定另一个对象的行为。例如，识别模块320可以确定另一对象是否正在与一个或以上对象中的至少一个对象交谈。如果另一对象正在与一个或以上对象中的至少一个对象(即，允许进入身份)交谈，则识别模块即可以确定另一对象是允许进入身份的朋友或熟人。如果另一对象没有与一个或以上对象中的至少一个对象(即，允许进入身份)交谈，则识别模块可以确定另一对象是否涉及异常行为，例如，尾随允许进入身份。

在430中，如果处理引擎112确定一个或以上对象的身份信息是允许进入身份，则处理引擎112可以生成解锁信号和/或将解锁信号发送至相应的门锁。处理引擎112可以引导和/或操作门锁以解锁。在一些实施例中，操作430可以由执行模块330执行。在一些实施例中，相应的门锁可以是建筑物上的门锁，该建筑物允许一个或以上对象中的至少一个对象进入。例如，如果建筑物是住宅建筑物，则允许进入身份可以是该住宅建筑物的居民，并且门锁可以安装在该住宅建筑物的通道门上。如果一个或以上对象中的至少一个对象被识别为住宅的居民，则执行模块330可以解锁住宅的门锁。作为另一示例，如果建筑物是包括两个或以上住宅的住宅建筑物，则允许进入身份是该住宅建筑物中的居民，并且门锁可以安装在该住宅建筑物的进门上。如果一个或以上对象中的至少一个对象被识别为住宅建筑物的居民，则执行模块330可以解锁进入门，并允许一个或以上对象中的至少一个对象进入住宅建筑物。对于住宅建筑物中的每个住宅，相应的门锁就是该住宅上的门锁。每个住宅的允许进入身份可以是每个住宅的居民。在一些实施例中，如果处理引擎112确定一个或以上对象中的至少一个对象不是允许进入身份，则执行模块330可以执行预设操作。预设操作可以包括：将一个或以上对象中的至少一个对象的信息发送到所允许进入身份中的至少一个允许进入身份、将警报消息发送给一个或以上对象中的至少一个对象、将一个或以上对象中的至少一个对象的信息发送给指定的联系人、报告警察、记录一个或以上对象中的至少一个对象的信息等，或其任意组合。在一些实施例中，执行模块330可以根据一个或以上对象中的至少一个对象的身份信息来执行不同的预设操作。例如，如果一个或以上对象中的至少一个对象不是允许进入身份，但是时数据库中记录的身份，则执行模块330可以将至少一个对象的访问时间或视频记录发送到居民的移动电话，然后向一个或以上对象中的至少一个对象发送语音消息请求，例如“主人现在不在家，您可以留言”。作为另一示例，如果一个或以上对象中的至少一个对象是数据库中有不良记录的访问者，则执行模块330可以将一个或以上对象中的至少一个对象的视频记录发送至居民的移动电话，并向大楼的保安发送提示信息：“有不良访客出现，请注意”。

在一些实施例中，处理引擎112(例如，执行模块330)可以响应于确定一个或以上对象中的至少一个对象对应于允许进入身份中的一个允许进入身份，向一个或以上对象中的至少一个对象提供服务。例如，处理引擎112(例如，执行模块330)可以向一个或以上对象中的至少一个对象的电子设备(例如，移动电话)提供推荐内容(例如，个性化信息)。作为另一示例，响应于确定一个或以上对象中的至少一个对象对应于允许的进入身份之一，处理引擎112(例如，执行模块330)可以指导一个或以上对象中的至少一个对象的智能家居系统进行操作。作为又一示例，处理引擎112(例如，执行模块330)可以协助一个或以上对象中的至少一个对象，例如，获取家庭成员的信息、安排个人日程等。在本申请的其他地方可以找到用于向一个或以上对象中的至少一个对象提供服务的更多描述(例如，图6-8及其描述)。

应当注意，过程400的描述仅出于说明性目的，并且不限制本申请的应用范围。本领域技术人员可以在本申请的指导下对过程400进行各种修改和改变。然而，这些修改和改变仍在本申请的范围内。例如，在步骤430中，预设操作的执行不限于描述的内容。

图5是根据本申请的一些实施例所示的用于确定面部识别模型和/或面部识别模型的过程的示例性流程图。在一些实施例中，过程500可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微代码等)、软件(在处理设备上实现以执行硬件的模拟指令)等，或其任意组合。图5所示的过程500中的一个或以上操作可以由图1所示的智能门系统100来实现。例如，过程500可以以指令的形式存储在存储设备130中，并由处理引擎112调用和/或执行。

在510中，处理引擎112可以获取与允许进入身份中的每一个允许进入身份相关联的图像数据作为训练集。在一些实施例中，操作510可以由训练模块340执行。与允许进入身份相关联的图像数据可以包括视频、图像等。允许进入身份可以对应于可以被允许进入建筑物的人、宠物等。一允许进入身份中的每一个允许进入身份可以对应于训练集。对应于特定允许条目身份的训练集可以用代表特定允许进入身份的标签来标记。与允许进入身份相对应的训练集可以包括两个或以上训练样本。两个或以上训练样本可以包括在不同的时间和/或时间段(例如，童年、青年、老年等)、不同的条件(例如，在受伤的情况下、在负载下等)、不同的角度和/或视角获取的图像数据等。

在一些实施例中，与特定的允许进入身份相对应的训练集可以包括与特定的允许进入身份相关联的两个或以上视频。与允许进入身份相关联的两个或以上视频可以在不同的时间和/或时期(例如，童年、青年、老年等)、不同的状况(例如，在受伤、承受负载等情况下)、不同的角度和/或视角等条件下获取。作为进一步的示例，允许进入身份的两个或以上视频可以包括正常状态下居民的步行视频、居民提着行李时的步行视频、从居民的背面、正面或侧面观看的居民的步行视频等。允许进入身份的视频越多，对模型训练越有益。在一些实施例中，训练模块340可以经由网络140从相机160、存储设备130和/或信息源150获取训练集。在一些实施例中，训练模块340可以周期性和/或实时更新训练集。

在一些实施例中，与特定的允许进入身份相对应的训练集可以包括与特定的允许进入身份相关联的两个或以上面部图像。可以在不同的时间和/或时间段(例如，童年、青年、老年、早晨、下午、晚上等)、不同的状态或条件(例如，在受伤、有负载、谈话的情况下等)、不同的环境、不同的角度和/或视角(例如，俯视图、俯视图等)、不同的表达方式(例如，愤怒、悲伤、幸福、恐惧等)等条件下获取面部图像。在一些实施例中，允许进入身份的面部图像可以包括面部的不同部分的面部图像。例如，可以从居民的前面和居民的侧面捕获允许进入身份的面部图像。作为另一示例，当居民与人讲话时以及当居民不讲话时，可以捕获允许进入身份的面部图像。仍作为示例，当午后的光线较弱时和中午的光线较强时，可以捕获允许进入身份的面部图像。作为又一个示例，允许进入身份的面部图像可以是清晰图像，以及被其他人阻挡部分清晰或部分模糊的图像。在一些实施例中，训练模块340可以经由网络140从相机160、存储设备130和/或信息源150获取训练样本。在一些实施例中，训练模块340可以用识别结果标记图像和/或视频，图像和/或视频中表示的对象是允许进入身份，带有正样本标签，并保存图像和/或带有正样本标签的视频作为新的训练样本，以定期和/或实时更新训练样本(例如，每周更新或每月更新)，并更新面部识别模型。

在520中，处理引擎112可以基于训练集来确定步态特征和/或面部特征。在一些实施例中，操作520可以由训练模块340执行。

在一些实施例中，训练模块340可以从训练样本，例如，与允许进入身份相关联的视频中提取允许进入身份的步态特征。例如，训练模块340可以确定与允许进入身份相关联的步态周期。处理引擎112可以进一步确定步态周期期间的开始帧和结束帧。处理引擎112可以从视频获取在步态周期期间获取的图像序列。然后，处理引擎112可以从一个或以上图像序列确定步态特征。在一些实施例中，步态特征可以包括腿部的摆动幅度、腿部的摆动频率、腿部的摆动周期、腰部的摆动幅度、腰部的摆动频率、腰部的摆动周期、关节的线速度、关节的角速度、步幅大小、步频、目标速度、目标加速度等或其任意组合。在一些实施例中，训练样本可以被周期性地或实时地更新步态识别模型。

在一些实施例中，训练模块340可以从训练样本，例如，与所允许进入身份相关联的面部图像中提取面部特征。在一些实施例中，面部特征可以包括眼睛中心点、鼻尖、嘴唇点、面部轮廓点、鼻子轮廓点、嘴唇轮廓点、眉毛轮廓点等，或其任意组合。

在一些实施例中，训练模块340可以从训练样本，例如面部图像、与允许进入身份相关联的视频中确定时间信息与训练样本相关联的时间信息可以指示训练样本生成的时间。

在530中，处理引擎112可以分别基于步态特征和/或面部特征来训练步态识别模型和/或面部识别模型。在一些实施例中，操作530可以由训练模块340执行。在一些实施例中，可以基于神经网络模型来构造步态识别模型和/或面部识别模型。示例性神经网络模型可以包括卷积神经网络(CNN)、深层卷积神经网络(DCNN)、递归神经网络(RNN)、反向传播(BP)神经网络、径向基函数(RBF)神经网络、感知器神经网络、线性神经网络、自组织神经网络、反馈神经网络等或其组合。

在一些实施例中，训练模块340可以基于与允许进入身份中的每一个允许进入身份对应的步态特征来训练步态识别模型，以获取训练后的步态识别模型。在一些实施例中，训练后的步态识别模型可以用于确定图像或视频中要识别的对象是否对应于允许进入身份。在一些实施例中，训练的步态识别模型可以用于从允许进入身份中识别与图像或视频中要识别的对象最接近和/或匹配的允许进入身份。训练后的步态识别模型可以被配置为生成和/或输出待识别的对象与最接近的允许进入身份匹配的第一置信度。在一些实施例中，识别模块320可以将图像或视频中待识别的对象的步态特征输入到训练后的步态识别模型中，并根据步态识别模型获取图像或视频中待识别对象与最接近的允许进入身份匹配的第一置信度。在一些实施例中，处理引擎112和/或训练的步态识别模型可以被配置为将第一置信度与第一阈值进行比较以确定对象是否对应于允许进入身份。

在一些实施例中，训练模块340可以基于与允许进入身份中的每一个允许进入身份相对应的面部特征来训练面部识别模型，以获取训练后的面部识别模型。在一些实施例中，训练的面部识别模型可以用于确定图像或视频中待识别的对象是否对应于允许进入身份之一。在一些实施例中，训练的面部识别模型可以用于从允许进入身份中识别与图像或视频中要识别的对象最接近和/或匹配的允许进入身份。训练的面部识别模型可以被配置为生成和/或输出表明待识别的对象与最接近的允许进入身份匹配的第二置信度。在一些实施例中，识别模块320可以将在图像或视频中识别的对象的面部特征输入到训练后的面部识别模型中，并基于训练后的面部识别模型，获取图像或视频中待识别对象与最接近的允许进入身份匹配的第二置信度。在一些实施例中，处理引擎112和/或训练的面部识别模型可以被配置为将第二置信度与第二阈值进行比较，以确定对象是否是允许进入身份。

在一些实施例中，训练模块340可以基于与允许进入身份中的每一个允许进入身份相对应的面部特征和步态特征来训练识别模型，以获取训练后的识别模型。训练后的识别模型可用于确定图像或视频中待识别的对象是否对应于一个或以上允许进入身份之一。在一些实施例中，训练后的识别模型可以用于从允许进入身份中识别图像或视频中识别的对象最接近和/或匹配的允许进入身份。训练的识别模型可以被配置为生成和/或输出要识别的对象与最接近的允许进入身份匹配的置信度。在一些实施例中，识别模块320可以将图像或视频中待识别的对象的面部特征和步态特征输入到训练后的识别模型中，并基于训练后的识别模型获取图像或视频中待识别对象的与最接近的允许进入身份匹配置信度。在一些实施例中，处理引擎112和/或训练的面部识别模型可以被配置为将置信度与阈值进行比较以确定对象是否是允许进入身份。

在一些实施例中，训练模块340可以使用允许进入身份中的每一个允许进入身份的面部特征和/或步态特征和时间信息来训练识别模型以获取训练后的识别模型(例如，步态识别模型或面部识别模型)。

训练集和/或身份识别模型(例如，步态识别模式、面部识别模型)可以基于与初始样本集至少部分不同的样本集不时地(例如，定期或不定期)更新，初始样本集用于确定初始身份识别模型(例如，步态识别模式、面部识别模型)。例如，可以基于包括不在初始训练集中的新样本的样本集、使用初始身份识别模型识别的样本等，或其任意组合更新身份识别模型。

在一些实施例中，身份识别模型的确定和/或更新可以在处理设备上执行，而身份识别模型的应用可以在不同的处理设备上执行。在一些实施例中，可以在不同于异常检测系统100的系统的处理设备或者在与执行身份识别模型的服务器110不同的服务器上执行身份识别模型的确定和/或更新。例如，身份识别模型的确定和/或更新可以在供应商的第一系统上执行，该供应商提供和/或维护这种机器学习模型和/或可以访问用于确定和/或更新的训练样本，基于身份识别模型进行对象的身份识别可以在供应商的客户的第二系统上执行。在一些实施例中，可以响应于对身份识别的请求而在线执行身份识别模型的确定和/或更新。在一些实施例中，身份识别模型的确定和/或更新可以离线执行。

应当注意，过程500的描述仅出于说明性目的，并且不限制本申请的应用范围。本领域技术人员可以在本申请的指导下对过程500进行各种修改和改变。然而，这些修改和改变仍在本申请的范围内。例如，可以基于相同或不同的神经网络模型来构造面部识别模型和步态识别模型。

图6是根据本申请的一些实施例所示的用于用户助手的过程的示例性流程图。在一些实施例中，过程600可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(在处理设备上实现以执行硬件的模拟指令)等，或其任意组合。图6所示的过程600中的一个或以上操作可以由图1所示的智能门系统100来实现。例如，过程600可以以指令的形式存储在存储设备130中，并由处理引擎112调用和/或执行。

在610中，响应于确定对象对应于允许进入身份，处理引擎112可以获取与对象相关的信息。在一些实施例中，操作610可以由执行模块330(例如，居住辅助单元333)执行。在一些实施例中，可以如本申请中其他地方所描述的那样执行对象的识别(例如，图4及其说明)。例如，当对象接近建筑物或房屋的门时。视频流可以由一个或以上相机(例如，IP相机、安装有对象的移动终端的相机)捕获，并被发送到处理引擎112。处理引擎112可以基于视频流执行身份识别(例如，面部识别或步态识别、声音识别)。处理引擎112可以确定对象是否对应于建筑物或住宅区的允许进入身份。处理引擎112可以进一步从允许进入身份中确定与对象相对应的特定的允许进入身份。例如，处理引擎112可以确定对象是建筑物B、楼层C、单元D的居民A。

在等实施例中，对象的信息可以包括对象的家庭成员的信息、对象的时间表信息、对象的相关人员(例如，朋友、同事等)的信息等，或其任意组合。例如，受试者的家庭成员的信息可以包括家庭成员的联系方式、家庭成员留下的消息或警报、家庭成员的时间表(例如，旅行计划、约会、工作计划等)、出入记录等。对象的时间表信息可以包括对象旅行计划的信息(例如，时间、地点等)、对象约会信息(例如，时间、地点、目的等)、对象的工作计划信息(例如，会议时间、任务、会议参与者等)等。该对象的相关人员(例如，朋友、同事等)的信息可能包括相关人员(例如，朋友、同事等)的联系方式、相关人员(例如，朋友、同事等)留下的消息或警报、相关人员(例如，朋友、同事等)的提前访问时间、相关人员(例如，朋友、同事等)的偏好(例如，食物)、历史访问记录等。

在一些实施例中，执行模块230可以经由网络140从终端120(例如，移动电话)，存储设备130、信息源150获取对象的信息。例如，执行模块230可以从居民A的移动电话获取居民A的一家庭成员的信息和居民A的日程信息。作为另一示例，执行模块330可以获取一段时间内存储在存储设备130中的居民A的访客记录。作为另一示例，执行模块230可以从存储设备130获取居民A的家庭成员的信息。特别地，处理引擎112可以在居民A的家庭成员进入和/或离开屋门时识别居民A的家庭成员(例如，居民A的妻子)，并记录居民A的家庭成员(例如，居民A的妻子)进入和/或离开住宅区的门的时间。处理引擎112可以将居民A的家庭成员进入和/或离开住房的信息存储在存储设备130中。

在620中，处理引擎112可以基于对象的当前进入/离开信息以及与对象相关联的信息来确定与对象相关联的事件信息。在一些实施例中，操作620可以由执行模块330(例如，住宅辅助单元333或数据分析单元331)执行。在一些实施例中，对象的当前出/入信息可以包括对象(如，居民)进入建筑物或小区时、对象(如，居民)从建筑物或小区的入口(如，前门、后门或车库门)进入的时间、对象(如，居民)离开建筑物或小区时，对象(如，居住者)从建筑物或小区的入口(如，前门、后门或车库门)离开的时间、进入或离开建筑物或小区等的对象(例如，居民)的视频和/或图像。在一些实施例中，执行模块330可以编译对象的当前出/入信息以及与对象相关联的信息以获取编译信息。编译信息可以指示不同时间收集的数据、不同相机收集的数据、与不同居民或对象相关的数据、不同信息来源等收集的数据等之间的各种相关性。处理引擎112可以基于编译信息来生成与对象相关联的事件信息。与对象相关的事件信息可以包括与对象的事件、对象的家庭成员的事件、与对象的伴侣的事件等相关的信息，或其任意组合。

在一些实施例中，处理引擎112可以确定对象的家庭成员的信息，例如，对象进入建筑物或住宅区的时间，家庭成员进入和/或离开建筑物或住宅区的时间。执行模块330可以将对象(例如，丈夫)的当前出/入信息与对象的家庭成员(例如，妻子)的出/入信息相关。执行模块330可以将对象(例如，丈夫)进入和/或离开建筑物或住宅区的时间与对象的家庭成员(例如，妻子)进入和/或离开建筑物或住宅区的时间进行比较。执行模块330可以确定对象的家庭成员(例如，妻子)已经进入或没有进入和/或离开建筑物或住宅区的事件。作为又一示例，居民A的事件信息可包括居民A于2019年6月1日18:00进入建筑物并在下班后返回家中。居民A的事件信息可能包括居民A的女儿于2019年6月1日15:00进入建筑物并放学回家。作为另一示例，当居民A在2017年6月1日下午3点进入建筑物时，基于所编译的信息，处理引擎112可以确定居民A的女儿在下午4点在学校里有舞蹈表演并且居民A的妻子在居民A之前进入建筑物。因此，处理引擎112可以向居民A的电子设备(例如，移动电话)发送一条消息，提醒他们需要参加女儿的舞蹈表演并且妻子已经在家。仍以一个示例为例，当居民A在在2017年6月1日上午8点离开建筑物，基于编译信息，处理引擎112确定居民A在下午5点在公园有约会。因此，处理引擎112可以将消息发送到居民A的电子设备(例如，移动电话)，提醒他或她需要在下午5点之前到达公园。

在一些实施例中，当处理引擎112确定对象正在离开建筑物或住宅区时，处理引擎112可以确定对象的时间表信息，例如约会时间。在一些实施例中，处理引擎112可以将对象的当前出/入信息与对象在不同时间的历史出/入信息相关联和/或比较。如果对象的当前出/入信息与历史出/入信息不同或具有更大的差异，则处理引擎112可以确定与历史出/入信息的差异相关联的对象的事件。例如，居民A通常在上午6:00遛狗，但是处理引擎112识别出居民A在上午6:30离开住宅区。处理引擎112可以确定居民A比平常更晚遛狗的事件，并生成第二天的提醒以提醒居民A准时遛狗。

在630中，处理引擎112可以将事件信息显示给对象和/或一个或以上相关联人员。在一些实施例中，操作630可以由执行模块330执行。在一些实施例中，执行模块330可以将事件信息发送到对象、家庭成员、朋友、伴侣等的电子设备(例如，移动电话)。在一些实施例中，执行模块330可以将事件信息发送到建筑物或住宅区的门的显示装置以显示给对象。

应当注意，过程600的描述仅出于说明性目的，并且不限制本申请的应用范围。本领域技术人员可以在本申请的指导下对过程600进行各种修改和改变。然而，这些修改和改变仍在本申请的范围内。例如，操作610和操作620可以被组合以执行。作为另一示例，可以省略操作610。操作620可以进一步包括响应于将对象识别为允许进入身份来获取与对象相关联的信息。

图7是根据本申请的一些实施例所示的用于家庭自动化的过程的示例性流程图。在一些实施例中，过程700可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(在处理设备上实现以执行硬件的模拟指令)等，或其任意组合。图7所示的过程700中的一个或以上操作可以由图1所示的智能门系统100来实现。例如，过程700可以以指令的形式存储在存储设备130中，并由处理引擎112调用和/或执行。

在710，响应于确定对象对应于允许进入身份，处理引擎112可以获取与对象相关联的设备的设置信息。在一些实施例中，操作710可以由执行模块330(例如，家庭自动化单元345)执行。在一些实施例中，对象的设备的设置信息可以包括对象的移动设备的设置信息、对象的家用电器的设置信息、对象的房屋的门锁的设置信息等。例如，响应于图像数据中待识别的对象是居民A，可以将居民A的房屋的门锁设置为解锁。并且开锁后5分钟内门锁会自动锁定，以防止居民A忘记锁门。作为另一示例，可以将居民A的房屋中的照明系统设置为在门锁解锁之后自动打开和/或在居民A离开房屋之后关闭。作为又一示例，可以将居民A的房屋中的空调系统设置为在门锁解锁之后自动调节室内温度，例如，将室内温度调节为25度。在一些实施例中，对象的设备还可包括一个或以上车库门锁、车辆、家庭音响、电视、冰箱、电饭煲、洗衣机、扫地机器人等。在一些实施例中，执行模块330可以经由网络140从存储设备130、终端120和/或信息源150获取与允许进入身份相关联的设备的设置信息。

在720，处理引擎112可以基于设备的设置信息来控制建筑物中的设备。在一些实施例中，操作720可以由执行模块230执行。在一些实施例中，执行模块330可以根据设置信息控制诸如电灯、空调、家庭音响、电视、冰箱、电饭煲、洗衣机、扫地机器人等的电气设备在解锁门锁后开始工作。在一些实施例中，处理引擎112可以在检测到对象(例如，居民)进入建筑物后，通过与安装在对象(例如，居民)的房屋中的一个或以上智能传感器进行通信，自动打开或关闭家庭设施。例如，处理引擎112可以在检测到对象(例如，居民)在炎热的夏天进入建筑物时打开对象(例如，居民)的房屋的空调。作为另一示例，处理引擎112可以在检测到居民在晚上返回时，打开对象(例如，居民的)房屋的门道中的灯。

应当注意，过程700的描述仅出于说明性目的，并且不限制本申请的应用范围。本领域技术人员可以在本申请的指导下对过程700进行各种修改和改变。然而，这些修改和改变仍在本申请的范围内。例如，与允许进入身份相关联的设备不限于所列的电气设备。作为另一示例，可以省略操作710。操作720可以进一步包括响应于将对象识别为允许进入身份来获取与对象相关联的设备的设置信息。

图8是根据本申请的一些实施例所示的用于内容推荐的过程的示例性流程图。在一些实施例中，过程800可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(在处理设备上实现以执行硬件的模拟指令)等，或其任意组合。图8所示的过程800中的一个或以上操作可以由图1所示的智能门系统100实现。例如，过程800可以以指令的形式存储在存储设备130中，并由处理引擎112调用和/或执行。

在810中，响应于确定对象对应于允许进入身份，处理引擎112可以获取与对象相关联的个性化信息。在一些实施例中，操作810可以由执行模块330(例如，内容推荐单元344)执行。在一些实施例中，可以本申请的其他地方所描述的执行对象的识别(例如，图4及其描述)。例如，当对象接近建筑物或住宅区的门时。视频流可以由一个或以上相机(例如，IP相机，安装有对象的移动终端的相机)捕获，并被发送到处理引擎112。处理引擎112可以基于视频流执行身份识别(例如，面部识别或步态识别、面部识别)。处理引擎112可以确定对象是否对应于建筑物或住宅区的允许进入身份之一。处理引擎112可以进一步从允许进入身份中确定与对象相对应的特定的允许进入身份。例如，处理引擎112可以确定对象是建筑物B、楼层C、单元D的居民A。

在一些实施例中，根据允许进入身份的偏好信息，与对象相关联的个性化信息可以包括时间表信息、交通状况信息、天气信息、服装推荐、建筑物附近的餐馆、财产信息等。在一些实施例中，执行模块330可以经由网络140从终端120、存储设备130和/或信息源150获取与两个或以上允许进入身份中的每一个允许进入身份相关联的个性化信息。在一些实施例中，执行模块330可以经由网络与一个或以上内容提供者，例如，基于GPS的导航提供者、天气预报提供者、个人造型提供者、用餐提供者等通信以获取信息。

在820中，处理引擎112可以将与对象相关联的个性化信息发送到电子设备。在一些实施例中，操作820可以由执行模块330执行。在一些实施例中，执行模块330可以将个性化信息发送到对象的电子设备(例如，移动电话)、对象的家庭成员、对象的朋友、对象的伴侣等。在一些实施例中，执行模块330可以将个性化信息发送到建筑物或住宅区的门的显示设备以显示给对象。在一些实施例中，处理引擎112可以经由文本、语音、图像、视频等向用户显示个性化信息。当对象进入或离开建筑物或住宅区时，个性化信息可能会有所不同。例如，如果处理引擎112确定对象正在离开建筑物或住宅区，则处理引擎112可以将天气信息发送到对象的移动电话并基于天气信息生成提醒。提醒可能包括“今天下雨，请带伞”、“今天晴天、请涂防晒霜”等。如果处理引擎112确定对象正在进入建筑物或住宅区，则处理引擎112可以将物业信息发送到对象的移动电话并基于该物业性信息生成提醒。提醒可能包括“请在明天之前支付物业费”、“停电通知”等。

应当注意，过程800的描述仅出于说明性目的，并且不限制本申请的应用范围。本领域技术人员可以在本申请的指导下对过程800进行各种修改和改变。然而，这些修改和改变仍在本申请的范围内。例如，个性化信息不限于所列信息类型。作为另一示例，可以省略操作810。操作820可以进一步包括：响应于将对象识别为允许进入身份来获取与该对象相关联的个性化信息。

本申请实施例可以带来的有益效果包括但不限于：(1)通过步态识别、面部识别和语音交互进行面部识别，提高了识别准确度；(2)利用系统中存储的相关信息，为用户提供事件信息推送、家电控制、个性化信息推送等多项服务，提高了系统的智能性。应当注意，不同的实施例可以具有不同的有益效果。在不同的实施例中，有益效果可以是以上一种或多种的任何组合，或者可以获取的任何其他有益效果。

上面已经描述了基本概念，并且对于本领域技术人员显而易见的是，详细公开仅是示例性的，并不构成对本申请的限制。尽管这里没有明确说明，但是本领域技术人员可以对本申请进行各种修改，改进和调整。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并且应当理解，在本说明书的各个部分中对“一个实施例”或“一个实施例”或“替代实施例”的两次或更多次引用不一定都指同一实施例。另外，本申请的一个或以上实施例的某些特征，结构或特征可以适当地组合。

此外，本领域技术人员将理解，可以通过许多可获专利的类别或情况来说明和描述本申请的各方面，包括任何新的和有用的过程，机器，产品或材料的组合或任何新的和有用的改进。因此，本申请的各个方面可以完全由硬件执行，可以完全由软件(包括固件、驻留软件、微代码等)执行，或者可以由硬件和软件的组合来执行。以上硬件或软件可以被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。另外，本申请的方面可以体现为位于包括计算机可读程序代码的一个或以上计算机可读介质上的计算机产品。

该计算机存储介质可以包含传播的数据信号，该传播的数据信号包含计算机程序代码，例如在基带上或作为载波的一部分。传播的信号可以具有多种表现形式，包括电磁形式、光学形式等或适当的组合。该计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该计算机可读存储介质可以通过连接到指令执行系统、装置或设备来通信、传播或传输程序以供使用。位于计算机存储介质上的程序代码可以通过任何合适的介质传播，包括无线电、电缆、光缆、RF或类似介质、或该介质的任何组合。

用于执行本申请各方面的操作的计算机程序代码可以用一种或以上程序设计语言的任何组合编写，包括面向对象的编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、c++、c#、VB。NET、Python等、传统的程序编程语言，如“C”编程语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP、动态编程语言如Python、Ruby和Groovy，或其他编程语言。程序代码可以完全在用户计算机上，部分在用户计算机上，作为独立软件包，部分在用户计算机上，部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用网络服务提供商的网络)或在云计算环境中或作为服务提供，例如，软件服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管以上公开内容通过各种示例讨论了当前被认为是本申请内容的各种有用实施例，但是应当理解，这种细节仅是出于该目的，并且所附权利要求不限于所公开的实施例，但是，相反，其意图是涵盖在所公开的实施例的精神和范围内的修改和等同布置。例如，尽管上述各种组件的实现可以体现在硬件设备中，但是它也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请方法并不意味着本申请主题需要比权利要求中提到的特征更多的特征。相反，要求保护的主题少于单个前述公开的实施例的所有特征。

在一些实施例中，用于描述和要求保护本申请的某些实施例的表示成分，性质等的数量的数字应理解为在某些情况下被术语“大约”、“近似”或“基本上”修饰。除非另有说明，否则“大约”，“近似”或“基本上”可能表示其所描述值的±20％变化。因此，在一些实施例中，说明书和所附权利要求书中提出的数字参数是近似值，其可以根据特定实施例试图获取的期望特性而变化。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

本文引用的每个专利、专利申请、专利申请公开和其他材料，例如文章、书籍、说明书、出版物、文件等，均通过引用整体并入本文。与本申请的内容不一致或冲突的申请历史文件被排除在外，并且排除了限制本申请的范围的最广范围的文件(当前或以后附于本申请)。要注意的是，如果在本申请的所附申请中使用的描述，定义和/或术语与本申请中描需要指出的是，如果本应用程序所附的应用程序中使用的描述、定义和/或术语与本应用程序所描述的内容不一致或相冲突，则该描述、定义和/或术语可能适用于本应用程序。

最后，应该理解，在本申请中所描述的实施例仅仅是对本申请的实施例原理的说明。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。因此，本申请的实施例不限于在此明确引入和描述的实施例。

Claims (31)

1.一种在计算机上实现的用于通过计算机进行智能门操作的方法，所述方法包括：

获取一个或以上对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；

基于所述图像数据，确定所述一个或以上对象中的至少一个对象的一个或以上步态特征；

至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；以及

基于所述一个或以上对象中的所述至少一个对象的所述身份信息，向锁发送解锁信号，以使所述锁解锁。

2.根据权利要求1所述的方法，其中，至少部分地基于所述一个或以上步态特征确定所述一个或以上对象中的所述至少一个对象的所述身份信息包括：

基于所述一个或以上步态特征，确定所述身份信息对应于一个或以上允许进入身份中的一个允许进入身份的第一置信度；

基于从所述图像数据确定的所述一个或以上对象中的所述至少一个对象的一个或以上面部特征，确定所述身份信息对应所述一个或以上允许进入身份中所述一个允许进入身份的第二置信度；以及

响应于以下至少之一，将所述一个或以上允许进入身份中的所述一个允许进入身份识别为所述一个或以上对象中所述至少一个对象的所述身份信息：

确定所述第一置信度超过或等于第一阈值，或者

确定所述第二置信度超过或等于第二阈值。

3.根据权利要求2所述的方法，其中，基于所述一个或以上步态特征确定所述身份信息对应于所述一个或以上允许进入身份中的所述一个允许进入身份的所述第一置信度包括：

获取步态识别模型；以及

使用所述步态识别模型基于所述一个或以上步态特征确定所述第一置信度。

4.根据权利要求3所述的方法，其中，所述步态识别模型通过以下过程确定：

获取与所述一个或以上允许进入身份相关的视频数据作为训练样本；

从所述训练样本中每个训练样本提取步态特征；以及

基于所述每个训练样本的所述步态特征训练所述步态识别模型。

5.根据权利要求2所述的方法，其中，所述基于从所述图像数据确定的所述一个或以上对象中的所述至少一个对象的一个或以上面部特征，确定所述身份信息对应于所述一个或以上允许进入身份中的所述一个允许进入身份的第二置信度包括：

获取面部识别模型；以及

使用所述面部识别模型基于所述一个或以上对象中的所述至少一个对象的所述面部特征来确定所述第二置信度。

6.根据权利要求5所述的方法，其中，所述面部确定模型通过以下过程确定：

获取所述一个或以上允许进入身份的面部图像作为训练样本；

从所述训练样本中每个训练样本提取面部特征；以及

基于所述每个训练样本的所述面部特征训练所述面部识别模型。

7.根据权利要求2所述的方法，其中，所述步态特征包括以下至少之一：

腿的摆动幅度、腿的摆动频率、腿的摆动周期、腰部的摆动幅度、腰部的摆动频率、腰部的摆动周期、关节的线速度、关节的角速度、步长、步频、目标速度或目标加速度。

8.根据权利要求2所述的方法，其中，所述面部特征包括以下至少之一：

眼睛中心点、鼻尖、嘴唇角点、面部轮廓点、眼睛轮廓点、鼻子轮廓点、嘴唇轮廓点或眉毛轮廓点。

9.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述一个或以上对象中的所述至少一个对象的所述身份信息向所述一个或以上对象中的所述至少一个对象显示消息。

10.根据权利要求9所述的方法，其中，所述消息包括预设问题，所述方法还包括：

基于所述一个或以上对象中的所述至少一个对象对所述预设问题的响应，验证所述一个或以上对象中的所述至少一个对象的所述身份信息。

11.根据权利要求1所述的方法，其中，所述方法还包括：

获取与所述一个或以上对象中的所述至少一个对象之一相关的信息；

基于所述一个或以上对象中的所述至少一个对象的当前进入信息和离开信息以及与所述一个或以上对象中的所述至少一个对象相关的所述信息，确定与所述一个或以上对象中的所述至少一个对象相关联的事件信息；以及

向所述一个或以上对象中的所述至少一个对象显示所述事件信息。

12.根据权利要求1所述的方法，其中，所述方法还包括：

获取与所述一个或以上对象中的所述至少一个对象相关的建筑物中的设备的设置信息；以及

根据所述设备的所述设置信息操作所述设备。

13.根据权利要求1所述的方法，其中，所述方法还包括：

获取与所述一个或以上允许进入身份中的所述一个允许进入身份相关的个性化信息；以及

向所述一个或以上对象中的所述至少一个对象显示所述个性化信息。

14.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述身份信息，将与所述一个或以上对象中的所述至少一个对象相关的信息发送给客户端；

基于所述身份信息为所述一个或以上对象中的所述至少一个对象生成警报信号；

基于所述身份信息，将与所述一个或以上对象中的所述至少一个对象相关联的所述信息发送给与特定联系人相关联的客户端；

基于所述身份信息进行报警；或者

记录与所述一个或以上对象中的所述至少一个对象相关联的所述信息。

15.一种在计算机上实现的用于通过计算机进行智能门操作的系统，其中，所述系统包括计算机，所述计算机包括：

获取模块，被配置为获取一个或以上对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；

识别模块，被配置为基于所述图像数据确定所述一个或以上对象中的所述至少一个对象的一个或以上步态特征；

以及至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；以及

执行模块，被配置为基于所述一个或以上对象中的所述至少一个对象的所述身份信息向锁发送解锁信号，以使所述锁解锁。

16.根据权利要求15所述的系统，其中，所述识别模块还被配置为：

基于所述一个或以上步态特征，确定所述身份信息对应于所述一个或以上允许进入身份中的一个允许进入身份的第一置信度；

基于从所述图像数据确定的所述一个或以上对象中的所述至少一个对象的一个或以上面部特征，确定所述身份信息对应所述一个或以上允许进入身份中所述一个允许进入身份的第二置信度；以及

响应于以下至少之一，将所述一个或以上允许进入身份中的所述一个允许进入身份识别为所述一个或以上对象中所述至少一个对象的所述身份信息：

确定所述第一置信度超过或等于第一阈值，或者

确定所述第二置信度超过或等于第二阈值。

17.根据权利要求16所述的系统，其中，所述计算机包括训练模块，所述训练模块被配置为获取步态识别模型；以及

所述识别模块被配置为使用所述步态识别模型基于所述一个或以上步态特征确定所述第一置信度。

18.根据权利要求17所述的系统，其中，所述训练模块还被配置为：

获取与所述一个或以上允许进入身份相关联的视频数据作为训练样本；

从所述训练样本中的每个训练样本提取步态特征；以及

基于所述每个训练样本的所述步态特征训练所述步态识别模型。

19.根据权利要求16所述的系统，其中，所述计算机包括训练模块，所述训练模块被配置为获取所述面部确定模型；以及

所述识别模型被配置为使用所述面部识别模型基于所述一个或以上对象中的所述至少一个对象的所述面部特征来确定所述第二置信度。

20.根据权利要求19所述的系统，其中，所述训练模块还被配置为：

获取所述一个或以上允许进入身份的面部图像作为训练样本；

从所述训练样本中的每个训练样本提取所述面部特征；以及

基于所述每个训练样本的所述面部特征训练所述面部识别模型。

21.根据权利要求16所述的系统，其中，所述步态特征包括以下至少之一：

腿的摆动幅度、腿的摆动频率、腿的摆动周期、腰部的摆动幅度、腰部的摆动频率、腰部的摆动周期、关节的线速度、关节的角速度、步长、步频、目标速度或目标加速度。

22.根据权利要求16所述的系统，其中，所述面部特征至少包括以下之一：

眼睛中心点、鼻尖、嘴唇角点、面部轮廓点、眼睛轮廓点、鼻子轮廓点、嘴唇轮廓点或眉毛轮廓点。

23.根据权利要求16所述的系统，其中，所述执行模块还被配置为：

基于所述身份信息，向所述一个或以上对象中的所述至少一个对象显示消息。

24.根据权利要求23所述的系统，其中，所述消息包括预设问题，所述识别模块还被配置为：

基于所述一个或以上对象中的所述至少一个对象对所述预设问题的响应，验证所述一个或以上对象中的所述至少一个对象的所述身份信息。

25.根据权利要求15所述的系统，其中，所述执行模块还被配置为：

获取与所述一个或以上对象中的所述至少一个对象之一相关的信息；

基于所述一个或以上对象中的所述至少一个对象的当前进入信息和离开信息以及与所述一个或以上对象中的所述至少一个对象相关联的所述信息，确定与所述一个或以上对象中的所述至少一个对象相关联的事件信息；以及

向所述一个或以上对象中的所述至少一个对象显示所述事件信息。

26.根据权利要求15所述的系统，其中，所述执行模块还被配置为：

获取与所述一个或以上对象中的所述至少一个对象相关联的建筑物中的设备的设置信息；以及

根据所述设备的所述设置信息操作所述设备。

27.根据权利要求15所述的系统，其中，所述执行模块还被配置为：

获取与所述一个或以上允许进入身份中的所述一个允许进入身份相关联的个性化信息；以及

向所述一个或以上对象中的所述至少一个对象显示所述个性化信息。

28.根据权利要求15所述的系统，其中，所述执行模块还被配置为执行包括以下至少之一的预设操作；

基于所述身份信息，将与所述一个或以上对象中的所述至少一个对象相关联的信息发送给客户端；

基于所述身份信息为所述一个或以上对象中的所述至少一个对象生成警报信号；

基于所述身份信息，将与所述一个或以上对象中的所述至少一个对象相关联的所述信息发送给与特定联系人相关联的客户端；

基于所述身份信息进行报警；或者

记录与所述一个或以上对象中的所述至少一个对象相关联的所述信息。

29.一种智能门设备，其中，包括至少一个处理器和至少一个存储设备；

所述至少一个存储设备被配置为存储指令；以及

所述处理器被配置为执行所述指令以实现用于智能门操作的方法，所述方法包括：

获取一个或以上对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；

基于所述图像数据，确定所述一个或以上对象中的所述至少一个对象的一个或以上步态特征；

至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；

基于所述一个或以上对象中的所述至少一个对象的所述身份信息向所述门发送解锁信号，以使所述锁解锁。

30.一种存储指令的非暂时性计算机可读介质，其中，所述指令在由至少一个处理器执行时使所述至少一个处理器实现一种方法，包括：

获取一个或以上对象的图像数据，所述图像数据由与所述计算机通信的一个或多个相机获取；

基于所述图像数据确定所述一个或以上对象中的所述至少一个对象的一个或以上步态特征；

至少部分地基于所述一个或以上步态特征，确定所述一个或以上对象中的所述至少一个对象的身份信息；

基于所述一个或以上对象中的所述至少一个对象的身份信息，向所述门发送解锁信号，以使所述锁解锁。

31.一种用于智能门操作的系统，其中，包括：

非暂时性存储介质，其存储用于门控制的可执行指令；

带有锁的门；

一个或以上图像传感器，被配置为捕获与所述门相关联的区域的图像数据；

与所述非暂时性存储介质通信的至少一个处理器，当执行可执行指令时，指示所述至少一个处理器执行以下操作：

获取由所述一个或以上图像传感器捕获的所述图像数据；

基于所述图像数据，确定所述图像数据中表示的至少一个对象的步态特征；

基于所述图像数据确定所述至少一个对象的面部特征；

至少部分地基于所述姿势特征和所述面部特征，确定所述至少一个对象的身份信息；以及

基于所述至少一个对象的所述身份信息，为所述至少一个对象提供服务。

Images