CN107924463A - 用于运动识别的系统和方法 - Google Patents

用于运动识别的系统和方法 Download PDF

Info

Publication number
CN107924463A
CN107924463A CN201680049023.9A CN201680049023A CN107924463A CN 107924463 A CN107924463 A CN 107924463A CN 201680049023 A CN201680049023 A CN 201680049023A CN 107924463 A CN107924463 A CN 107924463A
Authority
CN
China
Prior art keywords
data
identification
vector
based drive
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680049023.9A
Other languages
English (en)
Inventor
沙哈尔·贝尔金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chester 21 Ltd
Original Assignee
Chester 21 Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chester 21 Ltd filed Critical Chester 21 Ltd
Publication of CN107924463A publication Critical patent/CN107924463A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

根据本发明的系统可以包括：访问控制系统和中央控制单元。所述访问控制系统可以包括：到住所的一个或多个入口检查点；多个可控门；多个摄像头；以及本地控制单元。所述本地控制单元可以被配置为：从多个摄像头中的至少一个摄像头获得接近检查点的一个或多个人的图像流，以及从获得的图像中提取动态识别数据。所述本地控制单元还可以被配置为将所提取的动态识别数据流式传输到所述中央控制单元。所述中央控制单元可以被配置为：从所提取的动态识别数据创建基于运动的识别向量，将所述基于运动的识别向量与存储的基于运动的识别向量进行比较，以及计算用于识别接近检查点的一个或多个人的一个或多个置信度分数。

Description

用于运动识别的系统和方法
背景技术
本领域中已知的访问控制系统提供各种等级的关于是否将正确的访问许可授予适当的人的安全性和确定性。基本的访问控制系统需要给访问控制系统提交单个身份确定要素，‘你所拥有的’(例如，钥匙、RFID卡、护照等)或‘你所知道的’(例如，数字代码、密码等)，以便授权访问。在更安全的系统中，为了授权访问访问控制的位置，可能需要这两个要素。这种系统由于每个要素可能相对容易被盗、复制或以其他方式滥用会受到欺诈。
访问控制的更高等级的安全性由包括诸如面部识别、指纹识别、语音识别等生物参数的识别的系统提供。在这些系统更容易被滥用的同时，它们还是有一些缺点，例如，需要登记到每个访问控制系统，并限制了登记用户的数量，这使得这种访问控制系统只适用于中小型企业和设施。此外，生物识别系统仅用作身份验证系统。目前，当将生物识别解决方案用于大量人群(大型登记人数据库)时，唯一可用的解决方案是双因素身份验证，即，使用生物识别基于文献和验证(1至1)的识别。这是使用大型生物识别数据库时非常大的错误接受率(FAR)的结果。
发明内容
本发明的各个方面可以涉及在机场、军事基地、银行、政府机关等中接近检查点或受控入口的一个或多个人的运动识别的系统和方法。根据本发明的一些实施例的系统可以包括：访问控制系统和中央控制单元。在一些实施例中，所述访问控制系统可以包括：到住所的一个或多个入口检查点；多个可控门；多个摄像头；以及本地控制单元。所述本地控制单元可以被配置为：从多个摄像头中的至少一个摄像头获得接近检查点的一个或多个人的图像流，并且从获得的图像中提取动态识别数据。所述本地控制单元还可以被配置为将所提取的动态识别数据流式传输到所述中央控制单元。
在一些实施例中，所述中央控制单元可以被配置为：从所提取的动态识别数据创建基于运动的识别向量，将所述基于运动的识别向量与存储的基于运动的识别向量进行比较，以及计算用于识别接近检查点的一个或多个人的一个或多个置信度分数。
根据本发明的一些实施例的方法可以包括：获得接近检查点的一个或多个人的图像流，从获得的图像中提取动态识别数据和静态识别数据；以及将所提取的数据流式传输到中央控制单元。该方法还可以包括将所提取的静态识别数据与保存在与所述中央控制单元相关联的静态数据库上的登记静态数据进行比较；基于所述比较，确定个人的身份；从所提取的动态识别数据创建基于运动的识别向量；并且将所创建的基于运动的识别向量与所识别的人相关联。
附图说明
在说明书的结论部分中特别指出并清楚地要求了被视为本发明的主题。然而，在阅读附图时，通过参考以下详细描述，可以最好地理解本发明的组织和操作方法及其目的、特征和优点，其中：
图1是根据本发明的一个实施例的用于运动识别的系统的方框图；
图2是根据本发明的一些实施例的运动识别学习阶段的方法的流程图；
图3A是根据本发明的一些实施例的运动识别方法的流程图；以及
图3B是根据本发明的实施例的运动识别方法的流程图。
应该认识到，为了说明的简单和清楚，图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件夸大。此外，在认为适当的情况下，可以在附图中重复附图标记，以指示对应或类似的元件。
具体实施方式
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将会理解，可以在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细描述公知的方法、程序和部件，以免混淆本发明。
在以下详细描述中，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将会理解，可以在没有这些具体细节的情况下实践本发明。在其他情况下，未详细描述公知的方法、程序和部件、模块、单元和/或电路，以免混淆本发明。相对于一个实施例描述的一些特征或元件可以与相对于其他实施例描述的特征或元件组合。为了清楚起见，将不重复讨论相同或相似的特征或元件。
尽管本发明的实施例在这方面不受限制，但利用诸如“处理”、“计算”、“核算”、“确定”、“建立”、“分析”、“检查”等术语的讨论可以指计算机、计算平台、计算系统或其他电子计算装置的操作和/或处理，其将表示为计算机的寄存器和/或存储器内的物理(例如，电子)量的数据操纵和/或转换为类似地表示为计算机的寄存器和/或存储器或可以存储指令以执行操作和/或处理的其他信息非暂时性存储介质内的物理量的其他数据。尽管本发明的实施例在这方面不受限制，但是本文使用的术语“多个(plurality)”和“多个(aplurality)”可以包括例如“多个”或“两个或更多个”。在整个说明书中可以使用术语“多个(plurality)”或“多个(a plurality)”来描述两个或更多个部件、装置、元件、单元、参数等。本文使用的术语组可以包括一个或多个项目。除非明确指出，否则本文所描述的方法实施例不限于特定的顺序或序列。另外，所描述的一些方法实施例或其元素可以同时、在同一时间点或并行发生或执行。
参考图1，其是根据本发明的一些实施例的用于运动识别的系统10的示意性方框图。系统10可以包括到住所50的一个或多个入口检查点12、多个可控门14、多个传感器16(例如，摄像头)以及至少一个本地控制单元(LCU)18。检查点12可以位于可控门14旁边并且可以与其可操作地连接。检查点12可以包括诸如摄像头、麦克风、电子计重秤、接近传感器、红外(IR)传感器、生物测定扫描仪(例如，指纹扫描仪)的多个传感器16和/或与诸如摄像头、麦克风、电子计重秤、接近传感器、红外(IR)传感器、生物测定扫描仪(例如，指纹扫描仪)的多个传感器16相关联。检查点12可以被构造成允许希望进入或离开住所50的人站在检查点12附近或进入其中，或者以其他方式处于允许系统10通过一个或多个传感器16检查人的位置，例如，拍摄他的照片和/或他的视频图片、听他的声音输出、称取他的体重等。
根据一些实施例，检查点12还可以被构造成如果没有提供进入授权，则经由可控门14防止人员进入住所50，和/或如果没有提供离开授权，则防止人员离开住所50。可控门14可以是仅在系统10授权时才可打开的门系统。
一个或多个传感器16可以是适合于捕捉接近检查点12的人的图像流的视频摄像头，例如，IP摄像头。可以在LCU 18(也被称为EVIID代理)预处理所捕捉的视频流或图像流，以从图像流或视频流中提取动态识别数据、静态识别数据和/或元数据，并将提取的数据发送到中央控制单元(CCU)60。提取的动态识别数据和静态识别数据可以聚合，以形成聚合的数据。动态识别数据指可用于识别人的可从图像流中的两个或更多个连续图像之间的差异中提取的任意数据。例如，动态识别数据可以包括步态、头部运动、身体尺寸等。静态识别数据可以指可以用于识别人的从人的静止图像或者从生物识别扫描(通常是人脸图像)生物识别扫描(例如，指纹)中提取的任意数据。
根据一些实施例，CCU 60可以是云服务器，并且可以经由网络(例如，互联网)与一个或多个住所50的一个或多个LCU 18进行操作通信。根据一些实施例，CCU 60可以包括：数据分离器61，其被配置为将从一个或多个LCU 18接收的聚合数据引导至静态数据处理单元63和动态识别处理单元62，动态识别处理单元62被配置为处理一个或多个传感器16获得的动态识别数据。
根据一些实施例，静态数据处理单元63可以被配置为从数据分离器61接收的数据中提取诸如人脸识别数据等静态识别数据(例如，脸部尺寸、例如，太阳穴之间的距离、眼睛之间的距离等)和生物识别数据，将从数据分离器61接收的静态数据与预先获得的和预先存储的静态数据(例如，登记静态数据或在系统10的先前使用期间获得的数据)进行比较，存储在静态登记数据库66中，以便检索一个或多个住所50中的一个或多个人的身份。所检索到的身份可以发送到识别集成单元64。
根据一些实施例，动态识别处理单元62可以被配置为从数据分离器61接收的数据中提取动态识别数据，例如，步态、头部运动、姿势和其他运动动态以及全身信息，以创建接近住所50中的检查点12的一个或多个人的基于运动的识别向量。基于运动的识别向量可以存储在动态数据库65中。动态数据库65可以被配置为存储由动态识别处理单元62创建的所有基于运动的识别向量。应该意识到，可以在经由场所50中的检查点12的每次进入或离开尝试时，更新动态数据库。在一些实施例中，静态登记数据库66和动态数据库65可以是相同的数据库，其被配置为存储基于运动的识别向量和与被授权进入住所50的人(和/或禁止进入50住所的人)有关的静态数据。
根据一些实施例，动态识别处理单元62可以从静态数据处理单元63接收接近检查点12的一个或多个人的检索到的身份，从而允许动态识别处理单元62将机器学习算法应用于提取的动态数据上，并将动态向量与所识别的人相关联。根据一些实施例，在初始学习时段(例如，在已经为特定的识别人员创建并存储了预定数量的基于运动的识别向量之后)，可以基于将新的基于运动的识别向量与先前获得并存储的基于运动的识别向量进行比较并且确定在这些向量之间的相关性，来进行人员的识别。根据一些实施例，动态识别处理单元62可以将人的建议身份发送到识别集成单元64。
根据一些实施例，识别集成单元64可以应用融合功能，该融合功能被配置为将从静态数据处理单元接收的建议身份与从动态识别处理单元接收的建议身份进行组合，并且确定接近检查点12的一个或多个人的身份。
根据一些实施例，一旦识别集成单元64已经确定了身份，就可以将所确定的身份返回给LCU 18，以便例如经由通信信道将身份提供给位于LCU 18内或接近LCU 18第三方系统(未示出)，以提供基于身份的服务。根据一些实施例，一旦识别集成单元64已经确定了身份，就可以将所确定的身份返回给LCU 18，以便确定是否授权所识别的人通过检查点12。根据其他实施例，所确定的身份可以发送给LCU 18，同时指示是否授权所识别的人通过检查点12。
根据一些实施例，一旦识别集成单元64已经确定了身份，则所确定的身份可以经由诸如网络等通信信道提供给第三方系统，例如，在云(未示出)中，用于提供基于身份的服务。
根据本发明的实施例，单元62、63和64可以全部嵌入在单个处理器中，或者可以是单独的处理器。根据一些实施例，数据库66和数据库65可以存储在单个存储器或内存上，或者可以存储在CCU 60的单独存储装置上。
LCU 18可以包括到可控门14、传感器16、位于检查点12内或接近检查点12的扬声器和显示器(未示出)的接口装置(未示出)。LCU 18还可以包括数据存储装置(未示出)，以保存表示授权证书的数据、描述通常被授权进入和离开住所50的人的个人方面的数据等。LCU 18还可以包括到至少一个CCU 60的活动链接。
CCU 60通常可以远离住所50定位，并且经由LCU 18与系统10进行活动通信。
CCU 60可以包括非暂时性可访问存储资源程序、数据和参数，当被执行、读取和/或涉及计算时，这些程序、数据和参数使得能够执行在本说明书中描述的操作、步骤和命令。
在个人正在自由移动，并且不必在检查点12排队等待识别时，也称为视觉动态识别(VDID)或运动识别(IMID)的基于动态识别数据的识别可以确保准确识别。基于各种非接触式可视静态和动态参数，确保非侵入式识别的可靠性。
根据本发明的实施例，表示身份参数的数据、授予一个或多个人进入某些处所的授权、以及证书可以被CCU 60存储、收集、处理并且融合在云中。在一些实施例中，可以决定授权某人访问特定住所，由CCU 60或由LCU18基于累积和融合的数据授予或不授予。在个人在自由移动而不必排队等待识别时，视觉动态识别确保准确识别。基于各种非接触式可视静态和动态参数，确保非侵入式识别的可靠性。非接触式参数可以包括步态、头部运动、身体尺寸等。
IMID(或VDID)基于机器学习范例，并且需要了解阶段来随时间“了解”每个人。
为了实现用于非常大的数据库的运动识别，需要并将使用用于人员识别的多因素融合方法。将通过两层过程来执行识别：(1)在摄像头旁边的预处理和(2)处理和识别。云处理和识别可以作为双重识别算法来执行。第一阶段可以是初始的静态识别(例如，基于脸部识别)。第二阶段可以是基于深度学习研究的学习算法，并且可以基于全身识别和动态(身体运动)。额外的视觉元素可以提高识别的准确性，并确保积极的识别，当集成所有的信息时，学习算法可以为大数据库创建积极的、安全的、高度可靠的运动识别。
在一些实施例中，静态和动态识别之间的融合可以创建甚至对于非常大的数据库(数百万登记用户)也可能具有非常低的错误检测率的识别。此外，静态和动态识别之间的融合可以降低系统对姿势和姿态变化的敏感度。例如，头部姿势不是直立的，而是与垂直线成20o的角度。另外，静态和动态识别可以提供更好的防欺诈尝试。
现在参考图2，图2是根据本发明的实施例的IMID学习阶段的方法的流程图。可以由系统10执行图2的方法。
如方框202所示，本发明的实施例可以包括通过诸如IP摄像头等摄像头来获得接近检查点(例如，点12)或接入点的一个或多个人的图像流，以及将所获得的图像流发送到本地控制单元，例如，上述LCU 18。应该理解的是，可以通过位于检查点(例如，图1中的检查点12)附近的传感器(例如，图1中的传感器16)获得额外的静态识别数据。
如方框204和206所示，本发明的实施例还可以包括从所获得的图像中提取动态识别数据和静态识别数据，并在本地控制单元(例如，LCU 18)处，创建从摄像头和/或从其他或额外传感器接收的提取的动态和静态识别数据(例如，元数据)的聚合数据。
根据一些实施例，聚合数据可以经由诸如互联网等网络发送到诸如图1中的CCU60的远程控制单元。根据一些实施例，CCU可以是云服务器。
如方框208所示，可以将聚合数据可以发送到CCU 60的处理单元，例如，静态数据处理单元(SDPU)63和动态识别处理单元(DIPU)62。
根据一些实施例，一旦在SDPU(例如，图1中的动态数据库63)接收到聚合数据，SDPU 63可比较提取的静态数据(例如，从静止图像、生物识别扫描等提取的面部识别数据)和存储在静态数据库(例如，图1中的静态数据库66)中的登记静态数据，以确定接近检查点12的一个或多个人的身份(见方框210和212)。
如方框214和216所示，聚合数据以及SDPU确定的一个或多个人的身份(可能的话)可以流式传输到DIPU(例如，图1中的DIPU 62)，其中，基于聚合数据中的动态识别数据，来创建基于运动的识别向量。当基于SDPU的所识别的人没有与存储在动态识别数据库(图1中的65)中的这个人相关联的先前的基于运动的识别向量时，可以将创建的基于运动的识别向量存储在动态识别数据库中，并且可以与所识别的人相关联(见方框220)。当识别的人已经具有与他/她相关联的基于运动的识别向量时，可以将新的向量与先前存储的基于运动的识别向量进行比较，并且可以计算置信度分数。可以通过计算存储的基于运动的识别向量与新获得的基于运动的识别向量之间的相关性，来计算置信度分数(见方框222)，并且可以将新的基于运动的识别向量与存储的基于运动的识别向量组合为更新的基于运动的识别向量，并且更新的基于运动的识别向量可以存储在动态识别数据库65中(见方框224)。
根据一些实施例，当计算的置信度分数低于预定义的阈值分数时，基于运动的识别向量还不够可靠用于动态识别，需要进一步的机器学习。当计算分数高于预定阈值时，则基于运动的识别向量可被标记为准备好动态识别(见方框226和228)。
参考图3A，其是根据本发明的一些实施例的运动识别方法的流程图。该方法可以由系统10执行。如方框332所示，本发明的实施例可以包括获得接近检查点的一个或多个人的图像流。可以从诸如IP摄像头的摄像头中接收所获得的图像流。所获得的图像流可以发送到本地控制单元，例如，上述LCU 18。
如方框334所示，本发明的实施例可以包括从所获得的图像中提取动态识别数据。LCU 18可以从图像流中提取动态识别数据，例如，步态、头部动作、身体尺寸等。提取的动态识别数据可以发送到CCU 60。
如框336所示，本发明的实施例可以包括从提取的动态识别数据(例如，通过CCU60)创建基于运动的识别向量。例如，动态识别单元62可以创建基于运动的识别向量，该基于运动的识别向量可以包括与接近检查点12的人的步态、头部运动、身体尺寸有关的参数等。
如方框336所示，本发明的实施例可以包括将创建的基于运动的识别向量与存储的所识别的基于运动的识别向量进行比较。例如，CCU 60或动态识别单元62可以将创建的识别向量与存储在例如动态数据库65中的一个或多个基于运动的识别向量进行比较，用于已经识别的人。动态数据库65可以包括将人的身份与存储的基于运动的识别向量相关联的查找表。
如方框336所示，本发明的实施例可以包括计算识别接近检查点的一个或多个人的一个或多个置信度分数，用于。可以通过计算在存储的基于运动的识别向量与新创建的基于运动的识别向量之间的相关性来计算置信度分数。
现在参考图3B，其是根据本发明的实施例的运动识别方法的流程图。图3的方法可以由系统10执行。
如方框302所示，可以通过诸如IP摄像头的摄像头获得接近检查点或接入点的一个或多个人的图像流，并且所捕捉的图像流可以传输到本地控制单元，例如，上述LCU18。应该理解的是，可以通过位于检查点附近(例如，图1中的检查点12)的传感器(例如，图1中的传感器16)来获得额外静态识别数据。
如方框304和306所示，实施例可以进一步包括从所获得的图像流中提取动态识别数据和静态识别数据，以及在本地控制单元创建从摄像头和/或从其他或额外传感器接收的提取的动态识别数据和静态识别数据的聚合数据。
根据一些实施例，聚合数据可以经由例如互联网等网络发送到诸如图1中的CCU60的远程控制单元。根据一些实施例，CCU 60可以是云服务器。
如方框308所示，可以将聚合数据发送到CCU 60的处理单元，例如，静态数据处理单元(SDPU)63和动态识别处理单元(DIPU)62。在一些实施例中，聚合数据可以由包括在CCU60中的分离器(例如，分离器61)分离成提取的动态识别数据和静态识别数据。分离器61可以被配置为将提取的动态识别数据发送到DIPU 62，并且将提取的静态识别数据发送到SDPU 63。
根据一些实施例，一旦在SDPU接收到聚合数据，SDPU 63可比较提取的静态数据(例如，从静止图像、生物识别扫描等提取的面部识别数据)和存储在静态数据库(例如，图1中的静态数据库66)中的登记静态数据，以确定接近检查点12的一个或多个人的身份(见方框310和312)。
如方框314所示，可以从DIPU的分离器61(例如，图1中的DIPU 62)接收动态识别数据。DIPU可以从动态识别数据创建基于运动的识别向量，并且可以将创建的基于运动的识别向量与存储的基于运动的识别向量(存储在动态数据库65中)进行比较，以确定接近检查点的一个或多个人的身份。所检索的身份可以发送到识别集成单元64。
根据一些实施例，动态识别处理单元62可以被配置为根据从数据分离器61接收的动态识别数据来创建基于运动的识别向量，所述基于运动的识别向量包括与以下至少一个有关的参数：接近住所50中的检查点12的一个或多个人的步态、头部运动、姿势和其他运动动态和全身信息。基于运动的识别向量可以存储在动态数据库65中。动态数据库65可以被配置为存储由动态识别处理单元62创建的所有基于运动的识别向量。应该意识到，可以在经由场所50中的检查点12的每次进入或离开尝试时，更新动态数据库。
如根据一些实施例的方框316所示，识别集成单元64可以应用融合功能，该融合功能被配置为将从静态数据处理单元(例如，SDPU 63)接收的建议身份与从动态识别处理单元(例如，DIPU 61)接收的建议身份进行组合，并且确定接近检查点12的一个或多个人的身份。融合功能可以检查从DIPU 62接收的建议身份和从SDPU 63接收的建议身份是否相同，并且如果与在检查点12的一个或多个人的身份相同，则返回到LCU 18。根据一些实施例，其他或额外信息可以发送到LCU 18，例如，进入/离开住所50的授权等。
在一些实施例中，当从DIPU62和SDPU63接收的建议身份不相同时，集成单元64可以基于通过DIPU 62与建议的身份关联的置信度以及通过SDPU 63与建议的身份关联的置信度，提供识别概率。根据一些实施例，当识别概率低于预定阈值时，可能需要其他数据，并且可能需要额外的聚合数据，以便验证在检查点12的一个或多个人的身份。
根据一些实施例，一旦识别集成单元64已经确定了身份，就可以将所确定的身份返回给LCU 18。
除非明确说明，否则本文描述的方法实施例不受时间或时间序列的特定顺序的限制。另外，在方法的一系列操作期间，可以跳过或者可以重复一些描述的方法元件。
虽然本文已经说明和描述了本发明的某些特征，但是本领域技术人员可以想到许多修改、替换、变化和等同物。因此，应该理解的是，所附权利要求旨在覆盖落入本发明的真实精神内的所有这些修改和变化。
已经呈现了各种实施例。这些实施例中的每一个当然可以包括来自所呈现的其他实施例的特征，并且没有具体描述的实施例可以包括本文描述的各种特征。

Claims (15)

1.一种用于运动识别的系统，包括：
访问控制系统；以及
中央控制单元，
其中，所述访问控制系统包括：
到住所的一个或多个入口检查点；
多个可控门；
多个摄像头；以及
本地控制单元，被配置为：
从所述多个摄像头中的至少一个摄像头获得接近检查点的一个或多个人的图像流，
从获得的图像中提取动态识别数据；以及
将所提取的动态识别数据流式传输到所述中央控制单元，并且其中，所述中央控制单元被配置为：
从所提取的动态识别数据创建基于运动的识别向量；
将所述基于运动的识别向量与存储的基于运动的识别向量进行比较；以及
计算用于识别接近所述检查点的所述一个或多个人的一个或多个置信度分数。
2.根据权利要求1所述的系统，其中，所述中央控制单元包括动态识别处理单元，并且其中，所述动态识别处理单元被配置为：
从所提取的动态识别数据创建所述基于运动的识别向量；
将所述基于运动的识别向量与所述存储的基于运动的识别向量进行比较；以及
计算用于识别接近所述检查点的所述一个或多个人的所述一个或多个置信度分数。
3.根据权利要求1或2所述的系统，其中，所述中央控制单元包括静态数据处理单元，并且其中，所述静态数据处理单元被配置为：
从本地控制器接收从所获得的图像流提取的静态识别数据；
将所提取的静态识别数据与登记静态数据进行比较；以及
基于所述比较，确定接近检查点的所述一个或多个人的身份。
4.根据权利要求3所述的系统，其中，所述本地控制器被配置为：
将所提取的动态识别数据与所提取的静态识别数据组合，形成组合数据；以及
将所述组合数据流式传输到所述中央控制单元，
并且其中，所述中央控制单元进一步包括分离器，所述分离器被配置为分离流式组合数据，将所述动态识别数据引导到所述动态识别处理单元并且将所述静态识别数据引导到所述静态数据处理单元。
5.根据权利要求3至4中任一项所述的系统，其中，所述动态识别处理单元进一步被配置为：
从所述静态数据处理单元接收接近检查点的所述一个或多个人的确定身份；
确定是否为所识别的一个或多个人中的每个人存储了基于运动的识别向量；
将每个识别的人的所存储的基于运动的识别向量与所创建的基于运动的向量进行比较；以及
基于所述比较，计算用于识别接近所述检查点的所述一个或多个人的一个或多个置信度分数。
6.根据权利要求5所述的系统，其中，所述动态识别处理单元进一步被配置为将所存储的基于运动的识别向量与所创建的基于运动的识别向量组合，以形成更新的基于运动的识别向量。
7.根据权利要求3至6中任一项所述的系统，其中，所述中央控制单元进一步包括识别集成单元，所述识别集成单元被配置为：
从所述静态数据处理单元接收个人的确定身份；
从所述动态识别处理单元接收具有高于阈值分数的置信度分数的建议身份；以及
基于接收到的身份和所述建议身份来确定所述个人的身份。
8.一种运动识别的方法，包括：
获得接近检查点的一个或多个人的图像流，
从获得的图像中提取动态识别数据；
从所提取的动态识别数据创建基于运动的识别向量；
将所创建的基于运动的识别向量与所存储的基于运动的识别向量进行比较；以及
基于所述比较，计算用于识别接近所述检查点的所述一个或多个人的一个或多个置信度分数。
9.根据权利要求8所述的方法，进一步包括：
从获得的图像中提取静态识别数据；
将所提取的静态识别数据与登记静态数据进行比较；以及
基于所述比较，确定接近检查点的所述一个或多个人的身份。
10.根据权利要求9所述的方法，进一步包括：
确定是否为所识别的一个或多个人中的每个人存储了基于运动的识别向量；
将每个识别的人的所存储的基于运动的识别向量与所创建的基于运动的识别向量进行比较；以及
基于所述比较，计算用于识别接近所述检查点的所述一个或多个人的一个或多个置信度分数。
11.根据权利要求10所述的方法，进一步包括：
将所存储的基于运动的识别向量与所创建的基于运动的识别向量组合，以形成更新的基于运动的识别向量。
12.一种运动识别的方法，包括：
获得接近检查点的一个或多个人的图像流，
从获得的图像中提取动态识别数据和静态识别数据；
将所提取的数据流式传输到中央控制单元；
将所提取的静态识别数据与保存在与所述中央控制单元相关联的静态数据库上的登记静态数据进行比较；
基于所述比较，确定个人的身份；
从所提取的动态识别数据创建基于运动的识别向量；
将所创建的基于运动的识别向量与所识别的人相关联。
13.根据权利要求12所述的方法，进一步包括：
从与所述中央控制单元相关联的动态数据库接收先前与所述个人相关联的存储的基于运动的识别向量；
对所创建的基于运动的识别向量和所述存储的基于运动的识别向量进行比较；以及
基于所述比较，计算用于识别所述个人的一个或多个置信度分数。
14.根据权利要求13所述的方法，进一步包括：
将所创建的基于运动的识别向量与所述存储的基于运动的识别向量组合为更新的基于运动的识别向量。
15.根据权利要求14所述的方法，进一步包括：
将与所述个人相关联的更新的识别向量存储在所述动态数据库中。
CN201680049023.9A 2015-08-24 2016-08-22 用于运动识别的系统和方法 Pending CN107924463A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562208832P 2015-08-24 2015-08-24
US62/208,832 2015-08-24
PCT/IL2016/050916 WO2017033186A1 (en) 2015-08-24 2016-08-22 System and method for in motion identification

Publications (1)

Publication Number Publication Date
CN107924463A true CN107924463A (zh) 2018-04-17

Family

ID=58099925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049023.9A Pending CN107924463A (zh) 2015-08-24 2016-08-22 用于运动识别的系统和方法

Country Status (4)

Country Link
US (1) US20180232569A1 (zh)
EP (1) EP3341916A4 (zh)
CN (1) CN107924463A (zh)
WO (1) WO2017033186A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921127A (zh) * 2018-07-19 2018-11-30 上海小蚁科技有限公司 运动检测方法及装置、存储介质、终端

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム
IL251519A0 (en) * 2017-04-02 2017-06-29 Fst21 Ltd Systems and methods for identification
DE102017115669A1 (de) * 2017-07-12 2019-01-17 Bundesdruckerei Gmbh Mobiles Kommunikationsgerät zum Kommunizieren mit einer Zutrittskontrollvorrichtung
US11170208B2 (en) * 2017-09-14 2021-11-09 Nec Corporation Of America Physical activity authentication systems and methods
CN111028374B (zh) * 2019-10-30 2021-09-21 中科南京人工智能创新研究院 基于步态识别的考勤机及考勤系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995025316A1 (de) * 1994-03-15 1995-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Personenidentifikation mit bewegungsinformation
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6744462B2 (en) * 2000-12-12 2004-06-01 Koninklijke Philips Electronics N.V. Apparatus and methods for resolution of entry/exit conflicts for security monitoring systems
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
WO2010137157A1 (ja) * 2009-05-28 2010-12-02 株式会社東芝 画像処理装置、方法、プログラム
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
US9336456B2 (en) * 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US20150054616A1 (en) * 2012-02-14 2015-02-26 Fst21 Ltd. System and method for entrance control to secured premises
US20140363059A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
US20160196728A1 (en) * 2015-01-06 2016-07-07 Wipro Limited Method and system for detecting a security breach in an organization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921127A (zh) * 2018-07-19 2018-11-30 上海小蚁科技有限公司 运动检测方法及装置、存储介质、终端

Also Published As

Publication number Publication date
EP3341916A4 (en) 2019-04-03
EP3341916A1 (en) 2018-07-04
WO2017033186A1 (en) 2017-03-02
US20180232569A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN107924463A (zh) 用于运动识别的系统和方法
US10796514B2 (en) System and method for optimizing a facial recognition-based system for controlling access to a building
KR101997371B1 (ko) 신원 인증 방법 및 장치, 단말기 및 서버
CN104008317B (zh) 认证设备和认证方法
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
CN104424414A (zh) 用于使用户登录到移动设备的方法
CN111401159A (zh) 酒店鉴权管理方法、系统、酒店管理系统以及用户终端
WO2010001311A1 (en) Networked face recognition system
CN108292352A (zh) 用于验证电子签名会话身份的系统和方法
CN112005231A (zh) 生物特征认证方法、系统和计算机程序
EP3001343B1 (en) System and method of enhanced identity recognition incorporating random actions
EP4088205B1 (en) System and method for disentangling features specific to users, actions and devices recorded in motion sensor data
CN111401160A (zh) 酒店鉴权管理方法、系统、平台和酒店pms系统
CN113656761A (zh) 基于生物识别技术的业务处理方法、装置和计算机设备
JP2023138550A (ja) ゲート装置、出入国審査システム、ゲート装置の制御方法及びプログラム
EP4123110A1 (en) Gate device, authentication system, gate device control method, and storage medium
CN113762969A (zh) 信息处理方法、装置、计算机设备和存储介质
CN107533790A (zh) 用于管理存储在云服务器中的身份信息的系统和方法
JP2021005340A (ja) 画像処理装置及びその方法、画像入力装置、画像処理システム、プログラム
KR20140060081A (ko) 원거리 얼굴인식 기반 스피드 게이트 통제 방법 및 장치
JP7327650B2 (ja) ゲート装置、認証システム、ゲート装置の制御方法及びプログラム
KR102501646B1 (ko) 입장 고객 관리 시스템 및 관리 방법
CN111316266B (zh) 一种用于改善由通信设备所执行的用户认证的方法
JP2005107588A (ja) 人物照合システムおよび入退室管理システム
Elmir et al. Model-View-Controller based Online Face Recognition System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180417