CN107958258A - 用于追踪限定区域中的对象的方法和系统 - Google Patents

用于追踪限定区域中的对象的方法和系统 Download PDF

Info

Publication number
CN107958258A
CN107958258A CN201710959156.6A CN201710959156A CN107958258A CN 107958258 A CN107958258 A CN 107958258A CN 201710959156 A CN201710959156 A CN 201710959156A CN 107958258 A CN107958258 A CN 107958258A
Authority
CN
China
Prior art keywords
personnel
evident characteristics
identification profile
characteristics set
detected object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710959156.6A
Other languages
English (en)
Other versions
CN107958258B (zh
Inventor
尼克拉·丹尼尔松
安德斯·汉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN107958258A publication Critical patent/CN107958258A/zh
Application granted granted Critical
Publication of CN107958258B publication Critical patent/CN107958258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种用于追踪限定区域中的对象的方法和系统。本发明将被检测对象的图像数据与已经进入限定区域的人员的简档作比较，以找到最佳匹配，并且将最佳匹配的简档连接至被检测对象。通过在进入限定区域时展示他们的凭证而已经被识别的人员的识别简档被注册作为候选者，并且稍后与限定区域中被检测对象进行匹配。因此，本发明使用限定区域的物理访问控制系统以减少针对被检测对象的候选者数目至最可能的候选者。由此减少了在限定区域中对象追踪的处理时间和所需资源。

Description

用于追踪限定区域中的对象的方法和系统
技术领域
本发明涉及监控的领域。特别地本发明涉及一种用于追踪相机所监控的限定区域中的对象的方法和系统。
背景技术
用于对象(object)追踪的系统具有在相机监控的领域内感兴趣的应用。在许多监控系统中希望能够在实况视频材料中或者在用于法庭视频搜索的已记录视频材料中追踪对象或更特别地追踪人员。
对象追踪系统在各种安全相关情形中提供帮助，其中需要与例如犯罪活动有关而对人员的活动进行调查。然而对象追踪系统对于非安全相关应用(诸如用于调查的收集统计)也可以是有用的。许多对象追踪系统被应用于对限定区域(诸如办公楼、工厂、酒店、门控社区、校园、或者其中人员预注册以获得访问凭证的房屋)进行监控的相机系统。
为了在监控相机(其可以具有或不具有重叠的视野)的系统中追踪对象，必不可少的是能够在来自不同监控相机的图像数据中识别对象或至少对象的特征。不同的监控相机可以具有不同的光学配置(包括不同的镜头、光圈、图像传感器等)以及不同的图像处理设置，这可能影响对象在来自系统中的不同相机的图像数据中的外观。进一步，相机可以安装在不同的物理位置处，例如具有不同的照明方案的物理位置处，这也影响对象在相机所捕捉并处理的图像数据中的外观。在US7,529,411B2中讨论了这些问题。
US7,529,411B2教导了一种用于识别分析多个视频流的系统，其中将从视频监视系统所捕捉的图像提取的识别信息与一个或多个已存储的简档(profile)比较。在US7,529,411B2中所公开的系统的优选实施例中，与每个已存储的简档比较，尽管可能的是将仅与已存储的简档的所选择的子集作比较。
然而US7,529,411B2中所讨论的系统的问题是，识别分析将需要大量处理能力和处理时间。
发明内容
考虑到以上，因此本发明的目标因此在于提供一种用于在限定区域中追踪对象的改进方法和系统。具体地，目标在于提供一种降低在限定区域中追踪对象所需的处理时间和性能的方法和系统。
根据本发明的第一方面，由用于追踪人员的方法实现以上目标。用于追踪人员的方法包括步骤：通过将进入限定区域的人员所展示的凭证与包括预注册人员的凭证的数据库中的凭证进行匹配而识别所述人员，将已识别人员的识别简档注册于在所述区域中被追踪的人员的列表中，所述识别简档包括用于从图像数据识别所述人员的信息，从所述区域内的场景接收图像数据，针对所接收的图像数据中的被检测对象，创建识别特性集合，将所创建的所述被检测对象的识别特性集合与在所述区域中被追踪的人员的列表中已注册的识别简档作比较，确定在所述区域中被追踪的人员的列表中的、与所述被检测对象的识别特性集合最佳地匹配的所述识别简档，并且将所述被检测对象连接至所确定的与所创建的所述被检测对象的识别特性集合最佳地匹配的的所述识别简档。用于追踪人员的方法的优点在于，由于在图像数据中所检测对象的识别特性与在区域中的当前被追踪的人员的识别简档作比较，减小了在限定区域中追踪对象所需的处理时间，并且提高了从图像数据正确地识别人员的可靠性。减少处理时间的一个原因在于，需要较少的识别简档与所检测对象的识别特性相比。可靠性的提高是由于降低了识别特性类似地匹配多个识别简档的可能性。这个的效果也在于，随着将要比较的识别简档更少，由于具有类似特征的候选者的可能性降低时，匹配的可靠性将提高，也即可以说，由于在减少的人员列表中的识别简档之间的更大的差别(作为列表包括较少实体的结果)正确地识别图像中的人员的进程可能更容易。该匹配方式以及因此追踪方法的大多数处理需求步骤的一个步骤将聚焦在最可能的候选者上，并且无需关注所有理论上可能的候选者。进一步的优点在于，已经被识别进入限定区域的人员的识别简档被注册与在区域中被追踪的人员的列表上，并且当进入区域时识别简档被连接至用于识别的凭证。以这种方式，物理访问系统的可靠性增大了实现在区域中被追踪的人员的列表上注册识别简档的高度可靠性的可能性。结合进入限定区域的人员而执行识别简档的注册，这提供的优点是在所接收的图像中检测到对象(可以对应于进入区域的人员)之前，组装被追踪的人员的列表。这将减少在所接收图像中的每个被检测对象所需的处理时间和性能。
在本发明的其他实施例中，将所创建的所述识别特性集合与所述已注册的识别简档的识别特性作比较，是通过基于所创建的识别简档与所述已注册的识别简档之间的相关性来计算置信度得分而执行的，并且，确定与所创建的所述识别特性集合最佳地匹配的识别简档，是通过选择与代表与所创建的所述识别特性集合具有最高相关性的置信度得分对应的所述识别简档而执行的。使用置信度得分以确定最高相关性的优点在于，其以处理高效的方式量化了相关性。
在本发明的另外其他实施例中，如果所计算的置信度得分小于第一预定的阈值，则不执行所述连接的动作，该置信度得分对应于与所述被检测对象的识别特性集合具有所述最高相关性的所述识别简档。这使其能够挑选出其中不良相关性是最佳相关性的情形，并且防止不良相关性影响追踪。
在其他实施例中这进一步发展，如果所计算的置信度得分小于所述第一预定的阈值，则产生警报，该置信度得分对应于与所述被检测对象的识别特性集合具有所述最高相关性的所述识别简档。当不良匹配可以是由于检测到已经进入限定区域而没有使用有效凭证不具有恰当识别的入侵者并且因此并非区域中被追踪人员的列表的一部分时，产生警报将改进限定区域的安全性。
在其他实施例中引入如下步骤：通过将离开所述限定区域的人员所展示的凭证与包括预注册人员的凭证的数据库中的凭证进行匹配而识别该人员，并且从在所述区域中被追踪的人员的列表中移除离开所述限定区域的已识别的该人员的所述识别简档。这些实施例将添加以保持更新区域中被追踪的人员的列表，并且移除离开限定区域的人员将减少候选者列表，并且因此减少处理时间，并与此同时提高追踪的可靠性。
在另外其他实施例中，如果从所述被检测对象被连接至所述识别简档的最后时间点算起已经过去了预定有效时间段，则从在所述区域中被追踪的人员的列表中移除人员的所述识别简档。这些实施例可替代地或者与之前所述组合而保持更新在区域中被追踪的人员的列表。这些实施例将减少候选者的列表并且因此减少处理时间。
在其他实施例中，将在已经进入区域的人员列表中注册已识别的人员的识别简档的步骤被添加至方法。包括已经进入区域人员的另一列表的添加有利之处在于，当使用追踪方法时，因为仅最可能的候选者在区域中被追踪人员的列表上，所以在大多数情形中可以减少处理时间和资源，但是在其中最可能候选者之一并未产生具有足够良好相关性匹配的罕见的情形中，已经进入区域的人员列表将提供可能性，以将识别特性与已经进入区域但是近期尚未连接至被检测对象的人员的识别简档作比较。
这在本发明的另外其他实施例中进一步发展，如果所计算的置信度得分小于第二预定的阈值，该置信度得分对应于与所接收的图像数据中的所述被检测对象的识别特性集合具有所述最高相关性的所述识别简档，则不执行连接的动作，并且方法进一步包括，将所创建的所接收的图像数据中的所述被检测对象的识别特性集合与所述已经进入所述区域的人员的列表中的已注册的所述识别简档作比较，确定在所述已经进入所述区域的人员的列表中的、与所接收的图像数据中的所述被检测对象的识别特性集合最佳地匹配的识别简档，并且将所接收的图像数据中的所述被检测对象连接至所确定的与所接收的图像数据中的所述被检测对象的识别特性集合最佳地匹配的识别简档。
这提供了在已经进入区域的人员列表中匹配候选者的可能性，如果来自区域中被追踪的人员的列表的候选者的具有最高相关性的匹配的置信度得分不够好。这进一步添加了系统的可靠性。
在其他实施例中，将所创建的所接收的图像数据中的所述被检测对象的识别特性集合与所述已经进入所述区域的人员的列表中的已注册的所述识别简档的所述识别特性作比较，是通过基于所创建的所接收的图像数据中的所述被检测对象的识别特性集合与所述已经进入所述区域的人员的列表中的所述人员的所述识别简档之间的相关性来计算置信度得分而执行的，并且，确定在所述已经进入所述区域的人员的列表中的、与所创建的所述识别特性集合最佳地匹配的所述识别简档，是通过选择所述识别简档而执行的，该识别简档对应于代表与所创建的所接收的图像数据中的所述被检测对象的识别特性集合具有最高相关性的置信度得分。使用置信度得分以确定最高相关性的优点在于，其以处理高效的方式量化了相关性。
在本发明的另外其他实施例中，所述识别简档包括用于描述人员的外观的识别特性的一个或多个集合，所述识别特性的一个或多个集合选自由以下构成的组：人员的身体或面部的特性几何参数，表示人员的面部特征或身体特征的数学表达，人员的衣物、皮肤或面部的纹理参数，来自人员或人员的一部分的图像的色谱，人员的步态，人员的移动模式。由于提供计算并处理外观特征的方式，用于描述人员外观的识别特性进一步增添处理效率和用于追踪的方法的可靠性。
在本发明的另一实施例中，采用来自所创建的所述识别特性集合的信息，来更新在包括与所述被检测对象的识别特性集合最佳地匹配的所述识别简档中的信息。这提供了连续地更新识别特性的优点，当可以在短时间段内容易地修改人员的视觉外观时，对于追踪的可靠性是重要的。例如，如果人员脱去外衣导致衣着改变、是否佩戴眼镜、已经剃去胡须等。
在另外其他实施例中，更新所述识别简档中的所述信息的动作，是通过基于所述识别简档中的当前信息以及来自所创建的所述识别特性集合的信息计算统计测量值而执行的。这进一步增添了更新识别简档的高效处理方式。
在本发明的另外其他实施例中，将所述被检测对象连接至所确定的与所述被检测对象的识别特性集合最佳地匹配的所述识别简档的步骤进一步包括：注册从由以下构成的组中选出的与所述图像数据相关的信息：捕捉所述图像数据的图像捕捉装置的标识符、所述图像捕捉装置捕捉所述图像数据的时间点、以及捕捉所述图像数据的所述图像捕捉装置的位置。这增添了具有关于位置的额外信息、图像捕捉装置和/或对象检测的时刻点的优点，这改进了进行正确识别的置信度以及因此提高了在限定区域中对象追踪能力。
根据第二方面，本发明涉及一种计算机程序产品，包括计算机可读存储介质，所述介质具有在由处理器执行时适用于实施结合本发明第一方面所述的方法的指令。对应于本发明第一方面的优点也可适用于本发明的该第二方面。
根据第三方面，本发明涉及一种用于追踪人员的系统，包括：识别模块，被设置为通过将进入限定区域的人员所展示的凭证与包括预注册人员的凭证的数据库中的凭证进行匹配而识别所述人员，注册模块，被设置为将人员的识别简档注册于在所述区域中被追踪的人员的列表中，所述识别简档包括用于识别所述人员的信息，图像捕捉装置，被设置为从所述区域内的场景捕捉图像数据，识别特性创建模块，被设置为针对所述图像捕捉装置所捕捉的图像数据中的被检测对象而创建识别特性集合，匹配模块，被设置为将所创建的被检测对象的识别特性集合与在所述区域中被追踪的人员的列表中已注册的识别简档作比较，并且确定在所述区域中被追踪的人员的列表中的、与所述被检测对象的识别特性集合最佳地匹配的所述识别简档，以及追踪模块，被设置为将所述被检测对象连接至所确定的与所述被检测对象的识别简档最佳地匹配的所述识别简档。对应于本发明第一特征方面的优点也适用于本发明的该第三方面。
根据第三方面的其他实施例，系统进一步包括：入口注册模块，被设置为在已经进入所述区域的人员的列表中注册人员的识别简档，所述识别简档包括用于从图像数据中识别该人员的信息，取消注册模块，被设置为如果从被检测对象被连接至所述识别简档的最后时间点算起已经过去了预定有效时间段，则从在所述区域中被追踪的人员的列表中移除所注册的人员的所述识别简档，匹配模块，被设置为将所创建的图像数据中的被检测对象的识别特性集合与在所述区域中被追踪的人员的列表中的已注册的所述识别简档作比较，并且确定在所述区域中被追踪的人员的列表中的、与图像数据中的所述被检测对象的识别特性集合最佳地匹配的所述识别简档。
本发明的其他可适用性范围将从以下给出的详细说明书变得明显。然而，应该理解的是，详细说明书和具体示例尽管指示了本发明的优选实施例，仅借由示意说明的方式给出，因为在本发明范围内的各个改变和修改将从该详细说明书而对于本领域技术人员变得明显。因此，应该理解的是，本发明不限于所述装置的特定部件或者所述方法的步骤，因为该装置和方法可以改变。也应该理解的是，在此使用的术语是仅为了描述特定实施例的目的，并且并非意在是限定性的。应该注意的是，如在说明书和所附权利要求中所使用的，冠词“一”、“某”、“该”和“所述”意在意味着存在一个或多个要素，除非上下文明确相反指示。因此，例如，参考“一传感器”或“该传感器”可以包括数个传感器等等。进一步，词语“包括”并未排除其他元件或步骤。
附图说明
参考附图从当前优选实施例的以下详细说明将使得本发明的其他特征和优点变得明显，其中
图1示出了限定区域101的示例。
图2是根据本发明的用于追踪对象的方法的方框图。
图3是根据本发明的用于追踪对象的可替代的方法的方框图。
图4是根据本发明的用于追踪对象的系统的方框图。
图5是根据本发明的用于追踪对象的可替代的系统的方框图。
进一步，在附图中相同的附图标记遍及数个附图指示相同或对应的部分。
具体实施方式
根据本发明的一个实施例的追踪方法和系统可以适用于监控限定区域(诸如办公楼、工厂、酒店、门控社区、校园、或其中人员预注册以获得访问凭证的房屋)的相机系统。在这个详细说明中，限定的区域是物理访问控制系统控制其入口的区域。
现有技术已知存在用于追踪对象的不同的方案，其中之一是基于检测目标对象，并且将目标对象的特征与所存储的候选对象的特征进行匹配以找到最佳匹配是追踪方法的必要步骤。限定区域的候选对象的数目可以是大的。在限定区域是工厂的示例中，候选对象自然是在工厂中工作的人，例如可以是轮替工作的不同团队，输送货物至工厂的人以及用于从工厂输送产品的运输人员，临时访问者，各种服务人员，安全人员等。除了在该以上示例中限定区域中候选对象的数目很大的事实之外，在区域中同时存在的目标对象的数目也可以是多的，特别是在特定时间段期间。何地和何时存在大量的同时存在的对象的示例是在工厂中，当一队工人结束轮替而另一队工人开始他们的轮替时。连接至监控限定区域的相机的追踪系统因此需要能够管理大量候选对象以及大量同时存在的目标对象。大量的候选对象意味着将需要对每个被检测的目标对象进行许多处理，并且大量的被检测对象目标意味着该处理将需要频繁地执行。
在图1中图示了根据本发明一个实施例的系统的示例。通过由物理访问控制器103a、103b控制的入口102a、102b访问限定区域101。物理访问控制器103a、103b是物理访问控制系统的一部分，该物理访问控制系统适用于通过将请求访问限定区域101的人员展示凭据(credentials)与包括预注册人员的凭据的数据库中的凭据进行匹配而控制对限定区域的物理访问。这种物理访问控制系统可以用于工厂、办公室、学校、实验室、酒店等处，其中对于某些区域的访问限制在已经预注册的特定人员群体。凭据的匹配以及凭据数据库的存储可以在访问控制器103a、103b上本地的处理或者在连接至访问控制器103a、103b的服务器109处处理。在图1中服务器109a放置在方框中，具有在限定区域101外部但是连接至限定区域101的虚线。服务器109a的这种表示的目的在于表现服务器可以物理地位于限定区域101内或者在限定区域外，如果服务器109a位于限定区域101外，则服务器109a可以通过网络连接至访问控制器103a、103b。访问控制器103a、103b连接至凭据输入装置104a、104b，例如键盘、生物识别扫描仪、或用于光学、磁性或射频协议的读取器装置，或请求访问限定区域的人员用于展示凭据的类似装置。生物识别扫描仪例如可以扫描指纹、虹膜、视网膜、或面部。物理访问控制器103a、103b连接至管控限定区域101的入口的锁闭机构，例如经由门、电梯、栅栏门、旋转栅门、滑动门、或可以被放在通道以防止人员进入限定区域101而并未展示他们的凭据的另一可移动闭锁装置。取决于所展示的凭证与凭证数据库中凭证的成功匹配以及各种访问规则，可以使人员访问限定的区域。访问规则例如可以调节在此期间允许预注册人员访问的时间段。
入口102b可以位于与注册区域105连接处，将要请求访问限定区域101的人员可以在注册区域105预注册，以便于获得访问限定区域101的凭证。
相机106可以用于捕捉预注册人员的图像。被捕捉的图像可以用于编译包括用于从图像数据识别人员的信息的识别简档。识别简档包括用于描述人员的外观的识别特性的一个或多个集合。识别特性的示例是人员的身体或面部的特征几何参数，代表了人员的面部特征或身体特征的数学表达，人员衣着、皮肤或面部的纹理参数，来自人员或人员的一部分的图像的色谱，人员的步态，人员的移动模式。除了用于描述人员的外观的识别特性之外，识别简档也可以包括人员的其他描述信息(descriptor)，例如限定区域内早先确定的人员的位置，或者从人员携带的各种移动装置发送的标识符。识别简档的编译可以是或不是预注册进程的一部分。可替代地，在人员已经进入限定区域101之后，识别简档可以使用来自监控限定区域101的相机107a-f的图像数据而编译。也可以部分地在预注册期间以及部分地在限定区域101中收集识别简档中使用的图像数据。另外一个替代例是从另一来源(例如，另一监控系统)导入可以用于编译识别简档的识别简档或数据。
也可以采用来自监控限定区域101的相机107a-f的图像数据来连续地更新识别简档。当关于人员外观(类似例如衣着、眼镜、发型等)的数据的至少一些随时间变化时，连续地更新识别简档可以是有用的。
可以在除了上述注册区域105之外的其他位置中执行预注册。预注册可以例如在远离限定区域101的其他注册区域中执行。甚至可以不需要指定的注册区域，只要当请求访问限定区域时，将要使用的凭证可以被发送并插入到控制对限定区域101的访问的物理访问控制系统的凭证数据库中。
第二限定区域108也可以位于限定区域101内，因此人员在进入第二限定区域108之前首先需要请求对限定区域101的访问。访问规则可以定义在物理访问控制系统中，因此可以访问限定区域101的第一部分的所有人员也可以访问第二限定区域108，可替代地，可以配置访问规则以使得可以进入限定区域101的第一部分的人员的子群也可以进入第二限定区域108。通过由物理访问控制器103c控制的入口102c访问第二限定区域108。物理访问控制器103c是物理访问控制系统的一部分，物理访问控制系统适用于通过将请求对限定区域访问的人员所展示的凭证与在包括预注册人员的凭证的数据库中的凭证匹配而控制对限定区域的物理访问。凭证的匹配以及凭证数据库的存储可以在访问控制器103c上本地地处理，或者在连接至访问控制器(例如访问控制器103a-b)的服务器处处理。访问控制器103c也连接至凭证输入装置104c，类似于之前对于凭证输入装置104a-b所述。
多个监控相机107a-f在监控限定区域101。监控相机107a-f可以监控限定区域101的第一部分的入口102a-b，以及至位于限定区域101内的第二限定区域108的入口和限定区域内的其他区域的入口。监控相机107a-f连接至监控系统，该监控系统也可以包括用于存储、处理和管理图像数据的服务器109b。监控系统也可以包括在监控相机107a-f附近服务的本地计算装置。连接至监控系统的装置经由网络而通信，网络可以是任何种类通信网络，诸如有线或无线数据通信网络，例如局域网(LAN)或无线局域网(W-LAN)或宽域网(WAN)。监控相机107a-f可以是能够产生图像序列的任何数字摄影机和/或能够产生图像序列的任何模拟摄影机。在监控相机是模拟摄影机的情形中，模拟摄影机连接至将模拟图像信息转换至数字图像数据并将数字图像数据提供至网络20的转换器。这种转换器可以是视频编码器或视频服务器。在图1中，服务器109b放置在具有在限定区域101外但是与限定区域101连接的虚线的方框中。如前所述，服务器109b的这种表示的目的在于表现服务器可以物理地位于限定区域101内或者在限定的区域外，如果服务器109b位于限定区域101外，则服务器109b将通过网络连接至监控相机107a-f。可替代地，监控相机107a-f可以被配备以本地地处理图像数据的存储、处理和管理，或者通过使用在监控相机107a-f附近服务的本地计算装置来处理图像数据的存储、处理和管理。监控系统处理所存储的识别简档，并且管理在监控相机捕捉的图像数据中的对象的对象追踪。监控系统连接至物理访问控制系统。服务器109a和109b在图1中绘制为分立的单元，但是服务器109a和109b的功能自然可以组合在一个物理服务器单元上。
现在参照图2，描述用于在诸如图1中所示的限定区域101中追踪人员的方法。方法开始于步骤202，识别进入限定区域的人员。通过将由人员向系统展示的凭证与包括预注册人员的凭证的数据库中的凭证的匹配而执行识别。步骤202可以由结合图1描述的物理访问控制系统执行，该物理访问控制系统例如包括用于读取人员所展示的凭证的凭证输入装置104，以及将所展示的凭证与包括预注册人员的凭证的数据库中凭证匹配的访问控制器103。然而作为备选，访问控制器103将所展示凭证发送至中央服务器109a，该中央服务器109a执行将所展示凭证与预注册人员的凭证的匹配。
在步骤202识别进入限定区域101的人员之后，在区域405中被追踪的人员的列表中注册已识别人员的识别简档(步骤204)。存在用于执行步骤204的各种替代，如果已识别人员的识别简档适用于监控系统，识别简档可以标注为“被追踪”或类似的。可替代的，可以从在区域405中被追踪的人员的列表产生所讨论的识别简档的指针，自然也可以将识别简档复制到用于在区域405中被追踪的人员的列表的指定存储器。如果已识别人员的识别简档不适用于监控系统，可以从监控限定区域101的监控相机107捕捉的图像数据产生新的识别简档。作为示例，监控限定区域101的入口102a的监控相机107c可以用于捕捉图像数据，由图像数据可以提取并在识别简档中注册用于描述已识别人员的外观的识别特性。监控限定区域101的入口102a的监控相机107c所捕捉的图像数据也可以有助于采用描述已识别人员的当前外观的识别特性更新可适用的识别简档，具有。使用监控限定区域101的入口102a的监控相机107c所捕捉的图像数据更新识别简档的优点在于，当已经通过展示并匹配凭证识别了人员时或不久之后执行，暗示了已经采用足够的置信度做出人员的正确识别以允许人员进入限定区域。例如，如果人员具有新发型、新眼镜、或仅仅具有改变了人员外观的新服装，识别简档可以在系统中的从所展示的凭证已知人员的身份的点修改。
追踪方法随后继续从区域内场景接收图像数据(步骤206)。接收的图像数据由监控限定区域101的任意监控相机107捕捉。可以通过本领域已知的任何对象检测算法在所接收图像数据中检测对象。例如，可以借由运动检测算法检测移动对象。运动检测算法的一些示例是比较视频帧并检测视频帧之间变化的改变检测算法，使用被监控场景的背景模型以提取移动前景对象的算法，诸如由Almbldah描述在US8,121,424中的空间-时间算法，或者这些的任意组合。通过对象的运动来检测对象的可替代的示例是通过对象的视觉特征使用形状检测来检测对象。本领域中存在已知的这种对象检测方法的各种类型，其中标识器的级联用于检测对象，例如Viola,Paul,和Michael Jones的“使用简单特征的提高的级联的快速对象检测”；计算机视觉和图像识别,2001；CVPR 2001；2001年IEEE第一卷上的2001IEEE计算机社会会议的记录("Rapid object detection using a boosted cascadeof simple features."Computer Vision and Pattern Recognition,2001.CVPR2001.Proceedings of the 2001 IEEE Computer Society Conference on.Vol.1.IEEE,2001)中所述。因为对这些算法来说重要的是视觉特征，所以可以检测共用类似视觉特征的对象的群组，这种群组的示例是面部、车辆、人类等。这些方法可以单独地使用或组合地使用以检测图像数据中的对象。也可以在图像数据的相同集合中检测几个对象。可以在监控相机107处执行对象检测，或者通过捕捉图像数据的监控相机或者从捕捉图像数据的监控相机接收图像数据的另一监控相机执行对象检测。可替代的，可以在监控系统中连接至监控相机107的服务器109b处执行对象检测，或者在监控相机107附近服务的本地计算装置处执行对象检测。
当在图像数据中已经检测了对象时，创建识别特性集合以描述被检测对象的视觉外观，步骤208。来自单个图像帧的图像数据或者来自监控限定区域101的一个或多个监控相机107捕捉的视频序列的图像数据可以用于针对被检测对象创建识别特性。各种图像分析算法和/或视频分析算法可以用于从图像数据提取并创建识别特性。这种图像分析算法或视频分析算法的示例是各种算法，例如诸如在Turk,Matthew A.和Alex P.Pentland的“使用特征脸的面貌识别”；计算机视觉和图像识别,1991；记录CVPR'91；1991年IEEE计算机社会会议的记录("Face recognition using eigenfaces."Computer Vision andPattern Recognition,1991.Proceedings CVPR'91.,IEEE Computer SocietyConference on.IEEE,1991)中的用于提取面部中的特征的算法，以及诸如在Lee,Lily,和W.Eric L.Grimson的“用于识别和分类的步态分析”；自动面貌和姿势识别,2002；2002年IEEE第五次IEEE国际会议("Gait analysis for recognition and classification."Automatic Face and Gesture Recognition,2002.Proceedings.Fifth IEEEInternational Conference on.IEEE,2002.)中的用于提取步法特征的算法,或者诸如在Brogren等人的US8,472,714中的用于提取颜色的算法。
可以在捕捉图像数据的监控相机、监控系统中另一监控相机处、在相机附近服务的本地计算单元处、或者在连接至监控相机的服务器109b处创建识别特性。响应于在接收到的图像数据中检测到对象而进行识别特性的创建。如果在系统的一部分中检测到对象并且将在系统的另一部分中进行识别特性的创建，描述图像数据中的被检测对象的数据可以从检测对象的部分被发送至将要创建识别特性的部分。描述图像数据中的被检测成分的这种数据的示例可以是图像坐标、时间戳、对象标签、颜色标识符、对象的图像等。这将使接收部分能够创建被检测对象的识别特性而继续追踪对象的方法。
随后针对被检测对象存储所创建的识别特性，并且与区域405中被追踪的人员的列表中已注册识别简档中的识别特性进行比较(步骤210)。通过保持在区域405中被追踪的人员的列表，无需将被检测对象的已创建识别特性与可能在限定区域中的人员的完整列表(例如在制造设施处的所有雇员、在办公室工作的所有人员、生活在门控社区处的所有人员等)进行比较。结果是提高了识别的精确性，节省了许多处理能力和处理时间，并且可以在具有有限的处理能力和时间的系统的部件处执行实际的处理。由于在区域405中被追踪的人员的列表上的人员被注册，并且响应于进入限定区域而因此进入列表中，所以无需时间或处理能力来汇编列表以作为进行比较的步骤210的一部分。可能假设的是，当已经进入了限定区域101的人员可能在限定区域101周围移动并且在限定区域内的许多位置处可以在监控相机107所捕捉的图像数据中检测时，相比于识别步骤202和注册步骤204，系统更频繁地进行比较步骤210。因此也通过响应于识别步骤202而注册进入限定区域101的被识别的人员而减少与汇编列表相关联的处理。
在步骤212中，确定区域405中被追踪的人员的列表中最佳地匹配被检测对象的识别特性集合的识别简档。这可以通过计算置信度得分来执行，置信度得分描述识别简档中的识别特性与被检测对象的所创建识别特性匹配的如何。置信度得分可以例如定义为百分比，其中100％或1指示识别特性的等同匹配，以及0％或0指示两个完全不同的识别特性。由于用作匹配基准的图像数据易受光照条件、图像处理工件(artifact)、监控相机的性能等的影响，所以识别特性的匹配可以难以执行。为了提高匹配的可靠性，可以并行使用数个不同的识别特性，并且可以使用组合的结果。神经网络方案可以用于确定与被检测对象的所创建识别特性最佳地匹配的识别简档。随后将训练神经网络以找到具有识别简档和被检测对象的识别特性之间的最高相关性的最佳匹配，并且实施在服务器109a-b上，或者分布在监控相机107上或者分布在连接至监控相机的本地计算单元上。基于训练的经验，神经网络将随后使用最高效的到达最佳匹配的识别特性的组合。因此，如果一些识别特性在找到最佳匹配中并非是高效的，则在这种情形中可以不使用这些识别特性，。找到匹配的效率例如可以涉及实际找到最佳匹配的成功率、找到最佳匹配所需的资源、找到最佳匹配花费的时间或找到最佳匹配所需的处理能力。可以实施神经网络以使用用于执行匹配的可能方案的一个或组合。现有技术已知存在不同的匹配方案，例如在被检测对象的识别特性与识别简档的识别特性之间的欧几里得(Euclidean)距离可以用于匹配，如由Schroff等人在"Facenet:统一嵌入的人脸识别与聚类”；计算机视觉和图像识别上的IEEE会议记录；2015("Facenet:A unified embedding for face recognition and clustering."Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition.2015)中所述。可替代的是应用基于特征级联的算法，诸如由Viola和Jones在“使用级联的简单特征的快速目标检测”；计算机视觉和图像识别,2001；CVPR 2001；2001年第一卷上的IEEE计算机社会会议记录("Rapid object detection using a boosted cascade of simplefeatures."Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedingsof the 2001 IEEE Computer Society Conference on.Vol.1.IEEE,2001)中所公开。在使用欧几里得距离方案的情形中，短的欧几里得距离将表示高相关性，而大的欧几里得距离将表示识别特性之间的低相关性。
在步骤214中，将被检测对象连接至最佳地匹配被检测对象的识别简档的所确定识别简档。连接可以被实施为参考、标签、或指针，保存为连接至其中检测到对象的图像帧的元数据。可替代地，或者组合的，针对视频帧或视频帧序列的参考、标签或指针，或者可替代地，时间点、或时间间隔以及场景位置或捕捉被检测图像的相机的位置可以存储在被确定为最佳地匹配被检测对象的识别特性的识别简档中。
除了使用置信度得分用于找到识别特性的最佳匹配之外，置信度得分也可以用作最佳匹配实际上是不良匹配的指示。如果与具有与被检测对象的识别特性集合的最高相关性的识别简档对应的所计算的置信度得分小于第一预定阈值，则可以不执行将被检测对象连接至产生最佳匹配的识别简档的动作。这将防止系统存储可以令人误解的结果。在这种情形中，也可以产生警报并发送警报至系统的操作者。关键的是，因为不良相关性可以是未被允许访问限定区域101的人员不管怎样已经获得对限定区域101的访问的指示，所以将具有不良相关性的匹配的这些情形强调为不良匹配。
为了将在区域405中被追踪的人员的列表保持更新且精确，可以从该列表移除被识别为离开限定区域101的人员。通过展示凭证以便例如打开门使得人员离开限定区域101，人员可以被识别为离开限定区域101。所展示的凭证可以随后与包括预注册人员的凭证的数据库中的凭证匹配以要找到他们的身份，并且从在区域405中被追踪的人员的列表中移除他们的识别简档。
也可以从在区域405中被追踪的人员的列表中移除在预定有效时间段期间尚未连接至被检测对象的识别简档。因此，如果已经进入限定区域101的人员停留在限定区域101内的没有监控的位置、或离开限定区域101而并未被识别为离开限定区域101，则从人员的识别简档被最后连接至被检测对象算起，在预定有效时间段已经过去之后，从在区域405中被追踪的人员的列表中移除该人员。可以实施这个特征以保持在区域405中被追踪的人员的列表准确并且不包括比所需更多的人员，以减少追踪的处理时间并提高识别准确性。预定有效时间段的范围可以在系统之间变化。在其中许多人员频繁地走来走去并且难以识别离开区域的人员的限定区域101中，明智的是可以将这个时间段设置为相当短。在其中仅预期几个人走来走去并且可以在限定区域101内的没有监控的位置停留较长时间的系统中，例如在酒店中，这个预定有效时间段通常可以设置为较长的时间段。
在图3中，显示用于追踪人员的可替代的方法。该方法是基于参照图2所述的方法，并且具有与该方法共同的一些步骤，为了简明采用相同的附图标记标注共同的步骤。
图3的追踪方法开始于步骤202通过匹配凭证来识别人员，以及步骤204注册已识别人员的识别简档于在区域405中被追踪的人员的列表中。步骤202和步骤204均已经参照图2在之前讨论了。然而，也在已经进入区域505的人员的列表中注册识别简档，步骤304。已经进入区域505的人员的列表包括已经被识别为进入区域的所有人员的识别简档。为了保持列表准确，可以从列表中移除被识别为离开区域的人员。类似于图2中所显示的追踪方法，在步骤206中接收图像数据，并且在步骤208中创建所接收的图像数据中的被检测对象的识别特性。随后，在步骤310中，通过计算所创建的识别特性与识别简档的对应识别特性之间的相关性的置信度得分，将所创建的识别特性与在区域405中被追踪的人员的列表中的识别简档作比较。之前已经讨论了置信度得分并且该讨论也适用于在步骤310中计算的置信度得分。在步骤213中选择具有与被检测对象的所创建的识别特性的最高相关性并由此产生最高置信度得分的识别简档。为了检查在所创建的识别特性与具有最高相关性的识别简档之间的匹配的质量，在步骤316中将与最高相关性相关联的置信度得分与阈值比较。如果置信度得分大于该阈值，则在所创建的识别特性与识别简档之间的匹配具有足够好的质量以继续步骤214，其中被检测的对象被连接至识别简档。
但是如果置信度得分未大于阈值，这指示所创建的识别特性与识别简档之间的匹配具有不良的相关性。这通常是如下情形，已经从在区域405中被追踪的人员的列表中移除的人员已经开始再次在区域的被监控部分中移动时。不良的相关性将也指示未展示凭证的人员已经进入区域。
随后，通过计算所创建的识别特性与识别简档的对应识别特性之间的相关性的置信度得分，将所创建的识别特性与在进入区域505的人员列表中的识别简档作比较，参见步骤318。类似于步骤312，随后，对应于最高相关性的识别简档在步骤320中被选择并且在步骤214中被连接至被检测对象。如果与具有与被检测对象的识别特性集合的最高相关性的识别简档对应的所计算的置信度得分小于第二预定的阈值，则可以不执行将被检测对象连接至产生最佳匹配的识别简档的动作。这将防止系统存储可能令人误解的结果。在这种情形中也可以产生警报并且将警报发送至系统的操作者。关键的是，因为不良相关性可以是未被允许访问限定区域101的人员不管怎样已经获得对限定区域101的访问的指示，所以将具有不良相关性的匹配的这些情形强调为不良匹配。
在区域405中被追踪的人员的列表包括已经进入区域505的人员的列表的子集。因此，在区域405中被追踪的人员的列表是已经进入区域、并且当前也被追踪或至少近期被连接至被检测对象的人员的列表。这可以通过使用之前所述的预定有效时间段以从在区域中被追踪的人员的列表移除识别简档来实现，该识别简档在特定时间段尚未被连接至被检测对象。因此，当在图像数据中检测到对象时，在区域405中被追踪的人员的列表将包括具有高相关性的匹配的最可能的候选者。由于在比较步骤310中仅使用最可能的候选者，因此在使用追踪方法的大多数情形中将减少处理时间和资源，在最可能的候选者之一并未产生具有足够好的相关性的匹配的稀少情形中，第二比较步骤318将提供可能性，以便另外将识别特性与已经进入区域但是近期尚未连接至被检测对象的人员的识别简档作比较。因此，如果人员进入限定区域101，但是随后在比预定有效时间段更长的时间段内例如停留在未被任何监控相机107监控的房间，可以从在区域405中被追踪的人员的列表中移除该人员的识别简档，但是由于人员仍然在进入区域505的人员列表上，当人员离开未被监控的房间并被监控相机检测到时，可以选择该人员的识别简档。
在这种情形中，当识别简档已经从在区域405中被追踪的人员的列表中移除时，响应于将被检测对象连接至所讨论的识别简档的步骤214，也可以再次将识别简档注册与在区域405中被追踪的人员的列表上。
由于在区域405中被追踪的人员的列表包括已经进入区域505的人员列表的子集，在步骤318中针对在区域405中被追踪的人员的列表中的识别简档可以无需重新计算置信度得分。可以在步骤318中重复使用在步骤310中针对这些识别简档计算的置信度得分，或者可以决定在步骤318中所执行的比较中并不包括这些识别简档。
如果从人员被识别为进入区域的时间点算起已经过去了预定存在时间段，也可以从该列表移除已经进入区域的人员的识别简档。因为存在人员离开限定区域但是并未被识别为离开区域的可能性，所以这将有助于将已经进入区域505的人员的列表保持更新并且准确。通常将预定存在时间段设置为比在限定区域内预期存在时间更长的时间段。例如，如果限定的区域是办公室楼，这个时间段可以设置为具有一些安全容限的预期工作时间。
响应于将被检测对象连接至所选择的识别简档的步骤214，可以采用来自所创建的被检测对象的识别特性的数据来更新所选择的识别简档。作为替代，如果通过例如将置信度得分与用于更新的预定阈值比较，匹配的相关性足够高，可以仅进行识别简档的更新。执行更新的一种方式可以是基于识别简档中的当前信息与来自所创建的识别特性集合的信息而计算统计测量值。
结合图4将讨论用于追踪人员的系统400。用于追踪人员的系统400包括，被设置为通过将人员所展示的凭证与在包括预注册人员的凭证的数据库中的凭证进行匹配而识别进入限定区域人员的识别模块402，被设置为将人员的识别简档注册于在区域405中被追踪的人员的列表中的注册模块404，识别简档包括用于识别人员的信息，被设置为从区域内场景捕捉图像数据的图像捕捉装置406，被设置为针对图像捕捉装置所捕捉的图像数据中被检测对象而创建识别特性集合的识别特性创建模块408，被设置为将所创建的被检测对象的识别特性集合与在区域405中被追踪的人员的列表中已注册的识别简档比较、并确定在区域405中被追踪的人员的列表中与被检测对象的识别特性集合最佳地匹配的识别简档的匹配模块410，以及被设置为将被检测对象连接至所确定的、与被检测对象的识别简档最佳地匹配的识别简档的追踪模块412。
图4的识别模块402可以实施在物理访问控制器103a、103b上，或者在连接至物理访问控制系统的服务器(诸如服务器109a)上。中央服务器(诸如109a或109b)通常将包括注册模块404的功能，然而可替代地，注册模块的功能可以使用现有技术已知的对等协议分布在监控相机107或物理访问控制器103上。作为另外一个替代，注册模块404也可以实施在服务一个或多个附近的监控相机107的本地计算单元上。识别模块402连接至注册模块404并将已识别人员的标识符发送至注册模块404，因此可以将已识别人员的识别简档注册于在区域405中被追踪的人员的列表中。注册模块404结合系统400和500中的其他模块存储并处理关于在区域405中被追踪的人员的列表的实体的通信。注册模块404可以包括子模块，例如处理与系统400和500中的其他模块的通信的一个子模块，以及存储在区域405中被追踪的人员的真实列表的一个子模块。
监控相机107是从限定区域101内的场景中捕捉图像数据的图像捕捉装置406的示例。监控相机107也可以包括识别特性创建模块，或者可替代地识别特性创建模块可以位于连接至监控相机107的中央服务器109b上。在后面的情形中，监控相机将发送被监控场景的图像数据，或者具体地，如果在相机处执行对象检测，将被检测对象的图像数据发送至中央服务器109b。
匹配模块410从注册模块404接收关于已注册的识别简档的信息，并且从识别特性创建模块408接收关于所创建的识别特性的信息，以便于进行比较以找到最佳匹配。与之前已经所述相同，可以通过计算并比较置信度得分而进行该比较。随后将识别导致最佳匹配的识别简档的数据发送至追踪模块412，追踪模块412将被检测对象与该识别简档连接。匹配模块410和追踪模块412也可以实施在中央服务器109上，服务附近相机的本地计算单元上，作为分布式功能在多个监控相机107上或者在物理访问控制服务器103上。
图5示出了用于追踪人员的系统500的另一示例。之前结合系统400讨论的一些模块存在于系统500中。那些模块的描述说明也适用于系统500。
在已经进入系统500的区域505的人员的列表中注册识别简档的入口注册模块514可以实施作为物理访问控制系统的一部分，例如包括在物理访问控制器103中或者在连接至物理访问控制器103的中央服务器上。入口注册模块514结合系统500的其他模块而存储关于已经进入区域505的人员的列表的实体的信息并且处理与关于已经进入区域505的人员的列表的实体的通信。入口注册模块514可以包括子模块，例如处理与系统500的其他模块通信的一个子模块，以及存储已经进入区域505的人员的真实列表的一个子模块。除了与区域405中被追踪的人员的列表协作的匹配410之外，在系统500中包括第二匹配模块512，在已经进入区域505的人员列表上匹配识别简档。匹配模块512因此从入口注册模块514接收关于已注册的识别简档的信息，以及从识别特性创建模块408接收关于所创建的识别特性的信息，以便于进行比较以找到最佳匹配。
取消注册模块516被连接至系统500中的注册模块404。取消注册模块516被设置为，如果从被检测对象被连接至识别简档的最后时间点算起已经过去了预定有效时间段，则从区域405中被追踪的人员的列表中移除注册人员的识别简档，并且因此取消注册模块516连接至注册模块404。类似于注册模块404，取消注册模块516可以实施在中央服务器(诸如109a或109b)上。然而，可替代地，取消注册模块516的功能可以使用本领域已知的对等协议而分布在监控相机107上或者在物理访问控制器103上。另一替代是将取消注册模块516实施在服务一个或多个附近监控相机107的本地计算单元上。
进一步，本发明可以采取非临时计算机程序产品的形式，具体化在一个或多个计算机可读媒介中，一个或多个计算机可读媒介上具体化了计算机可读程序代码。
根据本发明的物理访问控制系统和监控系统可以进一步连接至视频管理系统(所谓的VMS)。通常，视频管理系统管理监控相机以及监控相机所产生的视频，但是也可以扩展以进一步管理物理访问控制系统。与VMS的交互的操作者因此也可以配置根据本发明的用于追踪对象的系统。对于置信度得分的所提及的阈值可以例如由操作者使用VMS接口配置。可以使用VMS类似地配置存在时间段和有效时间段。
在被检测对象与识别简档之间进行的连接也可以由VMS使用，以收集例如图像数据以及操作者所规定对象的物理坐标。从所收集的图像数据和物理坐标，可以提取视觉图像以及统计信息以由操作者使用。这种类型的对象追踪搜索可以使用在所谓法庭视频搜索中的所记录材料以及使用实况数据而执行。

Claims (16)

1.一种用于追踪人员的方法，包括：
通过将进入限定区域的人员所展示的凭证与包括预注册人员的凭证的数据库中的凭证进行匹配而识别所述人员，
将已识别人员的识别简档注册于在所述区域中被追踪的人员的列表中，所述识别简档包括描述所述人员的外观的识别特性，
从所述区域内的场景接收图像数据，
针对所接收的图像数据中的被检测对象，创建识别特性集合，
将所创建的所述被检测对象的识别特性集合与在所述区域中被追踪的人员的列表中已注册的识别简档的识别特性作比较，
确定在所述区域中被追踪的人员的列表中的、包括与所述被检测对象的识别特性集合最佳地匹配的所述识别特性集合的所述识别简档，并且
将所述被检测对象连接至所确定的包括与所创建的所述被检测对象的识别特性集合最佳地匹配的所述识别特性集合的所述识别简档。
2.根据权利要求1所述的方法，其中，将所创建的所述识别特性集合与所述已注册的识别简档的识别特性作比较，是通过基于所创建的识别简档与所述已注册的识别简档之间的相关性来计算置信度得分而执行的，并且
其中，确定包括与所创建的所述识别特性集合最佳地匹配的所述识别特性集合的识别简档，是通过选择包括所述识别特性集合的所述识别简档而执行的，该识别特性集合对应于代表与所创建的所述识别特性集合具有最高相关性的置信度得分。
3.根据权利要求2所述的方法，其中，如果所计算的置信度得分小于第一预定的阈值，则不执行所述连接的动作，该置信度得分对应于包括与所述被检测对象的识别特性集合具有所述最高相关性的所述识别特性集合的所述识别简档。
4.根据权利要求3所述的方法，其中，如果所计算的置信度得分小于所述第一预定的阈值，则产生警报，该置信度得分对应于包括与所述被检测对象的识别特性集合具有所述最高相关性的所述识别特性集合的所述识别简档。
5.根据权利要求1所述的方法，进一步包括：
通过将离开所述限定区域的人员所展示的凭证与包括预注册人员的凭证的数据库中的凭证进行匹配而识别该人员，并且
从在所述区域中被追踪的人员的列表中移除离开所述限定区域的已识别的该人员的所述识别简档。
6.根据权利要求1所述的方法，进一步包括：
如果从被检测对象被连接至所述识别简档的最后时间点算起已经过去了预定有效时间段，则从在所述区域中被追踪的人员的列表中移除人员的所述识别简档。
7.根据权利要求1所述的方法，进一步包括
在已经进入所述区域的人员的列表中注册所述已识别人员的所述识别简档。
8.根据权利要求7所述的方法，其中，如果所计算的置信度得分小于第二预定的阈值，该置信度得分对应于包括与所接收的图像数据中的所述被检测对象的识别特性集合具有所述最高相关性的所述识别特性集合的所述识别简档，则
不执行所述连接的动作，并且
所述方法进一步包括：
将所创建的所接收的图像数据中的所述被检测对象的识别特性集合与所述已经进入所述区域的人员的列表中的已注册的所述识别简档的识别特性作比较，
确定在所述已经进入所述区域的人员的列表中的、包括与所接收的图像数据中的所述被检测对象的识别特性集合最佳地匹配的识别特性集合的识别简档，并且
将所接收的图像数据中的所述被检测对象连接至所确定的包括与所接收的图像数据中的所述被检测对象的识别特性集合最佳地匹配的所述识别特性集合的识别简档。
9.根据权利要求8所述的方法，其中，将所创建的所接收的图像数据中的所述被检测对象的识别特性集合与所述已经进入所述区域的人员的列表中的已注册的所述识别简档的所述识别特性作比较，是通过基于所创建的所接收的图像数据中的所述被检测对象的识别特性集合与所述已经进入所述区域的人员的列表中的所述人员的所述识别简档的所述识别特性之间的相关性来计算置信度得分而执行的，并且
其中，确定在所述已经进入所述区域的人员的列表中的、包括与所创建的所述识别特性集合最佳地匹配的所述识别特性集合的所述识别简档，是通过选择包括所述识别特性集合的所述识别简档而执行的，该识别特性集合对应于代表与所创建的所接收的图像数据中的所述被检测对象的识别特性集合具有最高相关性的置信度得分。
10.根据权利要求1所述的方法，其中，所述识别简档包括用于描述人员的外观的识别特性的一个或多个集合，所述识别特性的一个或多个集合选自由以下构成的组：人员的身体或面部的特性几何参数，表示人员的面部特征或身体特征的数学表达，人员的衣物、皮肤或面部的纹理参数，来自人员或人员的一部分的图像的色谱，人员的步态，人员的移动模式。
11.根据权利要求10所述的方法，其中，采用来自所创建的所述识别特性集合的信息，来更新在包括与所述被检测对象的识别特性集合最佳地匹配的所述识别特性集合的所述识别简档中的信息。
12.根据权利要求11所述的方法，其中，更新所述识别简档中的所述信息的动作，是通过基于所述识别简档中的当前信息以及来自所创建的所述识别特性集合的信息计算统计测量值而执行的。
13.根据权利要求1所述的方法，其中，将所述被检测对象连接至所确定的与所述被检测对象的识别特性集合最佳地匹配的所述识别简档的步骤进一步包括：注册从由以下构成的组中选出的与所述图像数据相关的信息：捕捉所述图像数据的图像捕捉装置的标识符、所述图像捕捉装置捕捉所述图像数据的时间点、以及捕捉所述图像数据的所述图像捕捉装置的位置。
14.一种计算机程序产品，包括计算机可读存储介质，所述介质具有在由处理器执行时适用于实施根据权利要求1所述的方法的指令。
15.一种用于追踪人员的系统，包括：
识别模块，被设置为通过将进入限定区域的人员所展示的凭证与包括预注册人员的凭证的数据库中的凭证进行匹配而识别所述人员，
注册模块，被设置为将人员的识别简档注册于在所述区域中被追踪的人员的列表中，所述识别简档包括描述所述人员的外观的识别特性，
图像捕捉装置，被设置为从所述区域内的场景捕捉图像数据，
识别特性创建模块，被设置为针对所述图像捕捉装置所捕捉的图像数据中的被检测对象而创建识别特性集合，
匹配模块，被设置为将所创建的被检测对象的识别特性集合与在所述区域中被追踪的人员的列表中已注册的识别简档的识别特性作比较，并且确定在所述区域中被追踪的人员的列表中的、包括与所述被检测对象的识别特性集合最佳地匹配的所述识别特性集合的所述识别简档，以及
追踪模块，被设置为将所述被检测对象连接至所确定的与所述被检测对象的识别简档最佳地匹配的所述识别简档。
16.根据权利要求15所述的系统，进一步包括：
入口注册模块，被设置为在已经进入所述区域的人员的列表中注册人员的识别简档，所述识别简档包括用于从图像数据中识别该人员的信息，
取消注册模块，被设置为如果从被检测对象被连接至所述识别简档的最后时间点算起已经过去了预定有效时间段，则从在所述区域中被追踪的人员的列表中移除所注册的人员的所述识别简档，
匹配模块，被设置为将所创建的图像数据中的被检测对象的识别特性集合与在所述区域中被追踪的人员的列表中的已注册的所述识别简档的所述识别特性作比较，并且确定在所述区域中被追踪的人员的列表中的、包括与图像数据中的所述被检测对象的识别特性集合最佳地匹配的所述识别特性集合的所述识别简档。
CN201710959156.6A 2016-10-18 2017-10-16 用于追踪限定区域中的对象的方法和系统 Active CN107958258B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16194411.1 2016-10-18
EP16194411.1A EP3312762B1 (en) 2016-10-18 2016-10-18 Method and system for tracking an object in a defined area

Publications (2)

Publication Number Publication Date
CN107958258A true CN107958258A (zh) 2018-04-24
CN107958258B CN107958258B (zh) 2023-04-07

Family

ID=57184313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710959156.6A Active CN107958258B (zh) 2016-10-18 2017-10-16 用于追踪限定区域中的对象的方法和系统

Country Status (6)

Country Link
US (1) US10839228B2 (zh)
EP (1) EP3312762B1 (zh)
JP (1) JP6929751B2 (zh)
KR (1) KR102215041B1 (zh)
CN (1) CN107958258B (zh)
TW (1) TWI746641B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079577A (zh) * 2019-12-02 2020-04-28 重庆紫光华山智安科技有限公司 一种动态区域聚集预警实时推荐的计算方法及系统
CN111241387A (zh) * 2018-11-28 2020-06-05 Sap欧洲公司 提高搜索结果的相关性
CN112005272A (zh) * 2018-07-18 2020-11-27 株式会社日立制作所 影像分析装置、人物检索系统和人物检索方法
CN113449563A (zh) * 2020-03-26 2021-09-28 深圳云天励飞技术有限公司 一种人员跟踪标记方法、装置、电子设备及存储介质
US20220012528A1 (en) * 2018-12-27 2022-01-13 Nec Corporation Information processing apparatus, information processing method, and program

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9651656B2 (en) * 2014-02-28 2017-05-16 Tyco Fire & Security Gmbh Real-time location system in wireless sensor network
US10268485B2 (en) 2014-02-28 2019-04-23 Tyco Fire & Security Gmbh Constrained device and supporting operating system
US10878323B2 (en) 2014-02-28 2020-12-29 Tyco Fire & Security Gmbh Rules engine combined with message routing
US10032042B1 (en) * 2014-12-10 2018-07-24 Morphotrust Usa, Llc Digital identification enrollment
DE102017207754A1 (de) * 2017-05-08 2018-11-08 Bundesdruckerei Gmbh Identifizieren potentieller Nutzer pyrotechnischer Gegenstände
US10757011B2 (en) * 2017-05-25 2020-08-25 Zycada Networks, Inc. Context-aware path computation and selection
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
US10803297B2 (en) 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
US10795979B2 (en) * 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10565432B2 (en) 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
JP2019101783A (ja) * 2017-12-04 2019-06-24 キヤノン株式会社 情報処理装置及び方法
US11062004B2 (en) * 2018-04-30 2021-07-13 International Business Machines Corporation Emotion-based database security
US10795933B1 (en) * 2018-05-01 2020-10-06 Flock Group Inc. System and method for object based query of video content captured by a dynamic surveillance network
US10963703B2 (en) * 2018-06-27 2021-03-30 Smart Information Flow Technologies LLC Methods and systems for adaptable targeting of an object or event
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
US20210326424A1 (en) * 2018-09-18 2021-10-21 Assa Abloy Ab Determining a matching list for biometric matching
EP3853764A1 (en) * 2018-09-20 2021-07-28 NVIDIA Corporation Training neural networks for vehicle re-identification
TWI692750B (zh) * 2018-09-27 2020-05-01 知洋科技股份有限公司 海洋哺乳類追蹤系統、方法以及載具
JP7393724B2 (ja) * 2018-10-31 2023-12-07 日本電気株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11048930B2 (en) 2018-11-09 2021-06-29 Avigilon Corporation Alias capture to support searching for an object-of-interest
US10872424B2 (en) * 2018-11-19 2020-12-22 Accenture Global Solutions Limited Object tracking using object attributes
CN109558505A (zh) * 2018-11-21 2019-04-02 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质
TWI684956B (zh) * 2018-12-04 2020-02-11 中華電信股份有限公司 物體辨識與追蹤系統及其方法
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
EP3895058A1 (en) * 2018-12-14 2021-10-20 Xovis AG Method and arrangement for determining a group of persons to be considered
CN109639700A (zh) * 2018-12-25 2019-04-16 深圳市天彦通信股份有限公司 身份识别方法、装置、设备、云端服务器及存储介质
CN111385834B (zh) * 2018-12-27 2023-08-18 深圳市大数据研究院 对象识别方法、装置、电子设备及计算机可读存储介质
US10657584B1 (en) * 2019-01-31 2020-05-19 StradVision, Inc. Method and device for generating safe clothing patterns for rider of bike
US20200294339A1 (en) * 2019-03-11 2020-09-17 Nec Laboratories America, Inc. Multi-factor authentication for physical access control
US11698440B2 (en) * 2019-04-02 2023-07-11 Universal City Studios Llc Tracking aggregation and alignment
US12095816B2 (en) * 2019-11-26 2024-09-17 Ncr Voyix Corporation Security audit and notification processing
WO2021130856A1 (ja) * 2019-12-24 2021-07-01 日本電気株式会社 物体識別装置、物体識別方法、学習装置、学習方法、及び、記録媒体
WO2021130890A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 管理システム、管理装置および管理方法
TWI715376B (zh) * 2019-12-26 2021-01-01 台灣新光保全股份有限公司 基於影像分析的保全方法及保全系統
US11538135B2 (en) * 2020-02-25 2022-12-27 Raytheon Company Automatic multi-image 3D ground control point extraction
CN111439642B (zh) * 2020-03-04 2022-06-24 深圳云天励飞技术有限公司 电梯控制方法、装置、计算机可读存储介质及终端设备
JP7537499B2 (ja) * 2020-07-20 2024-08-21 日本電気株式会社 画像分析装置、画像分析方法及びプログラム
CN112258363B (zh) * 2020-10-16 2023-03-24 浙江大华技术股份有限公司 身份信息的确认方法、装置、存储介质及电子装置
CN112417977B (zh) * 2020-10-26 2023-01-17 青岛聚好联科技有限公司 一种目标对象查找方法和终端
RU2765439C1 (ru) * 2021-01-14 2022-01-31 Общество с ограниченной ответственностью "Спутник" Способ распознавания лица на системах контроля и управления доступом
US20220237838A1 (en) * 2021-01-27 2022-07-28 Nvidia Corporation Image synthesis using one or more neural networks
US20220301314A1 (en) * 2021-03-16 2022-09-22 Siemens Energy, Inc. System and method for automated foreign material exclusion attendant
US20230290150A1 (en) * 2022-03-09 2023-09-14 Motorola Solutions, Inc. Monitoring system and method for identifying a changed object of interest using an access control system
US11777754B1 (en) * 2022-10-24 2023-10-03 Plantronics, Inc. Multi-person tracking and identification for robust framing experience
US20240257043A1 (en) * 2023-01-30 2024-08-01 Walmart Apollo, Llc Systems and methods of updating model templates associated with images of retail products at product storage facilities

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039380A1 (en) * 2001-08-24 2003-02-27 Hiroshi Sukegawa Person recognition apparatus
CN1623167A (zh) * 2001-12-31 2005-06-01 数字数据研究公司 安全许可卡,读取安全许可卡的系统和方法
CN1820279A (zh) * 2003-06-16 2006-08-16 Uru科技公司 能通过生物测量创建和操作多用途凭证管理装置的方法和系统
CN1849613A (zh) * 2003-09-10 2006-10-18 皇家飞利浦电子股份有限公司 用于特征识别的设备和方法
CN101563710A (zh) * 2006-05-22 2009-10-21 安讯士有限公司 识别由视频监视摄像机检测到的对象的特性的方法及装置
CN102037676A (zh) * 2008-03-20 2011-04-27 日内瓦大学 基于不可克隆特征的安全物品识别以及认证系统和方法
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
CN102339391A (zh) * 2010-07-27 2012-02-01 株式会社理光 多对象识别方法和装置
JP2012034253A (ja) * 2010-08-02 2012-02-16 Secom Co Ltd 画像監視装置
US20120233076A1 (en) * 2011-03-08 2012-09-13 Microsoft Corporation Redeeming offers of digital content items
JP2013114348A (ja) * 2011-11-25 2013-06-10 Secom Co Ltd 移動物体監視システム
CN103208185A (zh) * 2013-03-19 2013-07-17 东南大学 一种基于车灯识别的夜间车辆检测方法及系统
GB201412718D0 (en) * 2014-02-25 2014-09-03 Cambridge Silicon Radio Ltd Processing mesh communications
CN104054091A (zh) * 2011-12-09 2014-09-17 视德公司 用于图像识别的面部印记生成
CN104244812A (zh) * 2012-02-07 2014-12-24 远端临场医疗公司 医疗亭及使用方法
CN104335226A (zh) * 2012-06-29 2015-02-04 苹果公司 使用部分指纹的指纹注册
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
WO2003088157A1 (en) * 2002-04-08 2003-10-23 Newton Security Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US20090127328A1 (en) * 2002-04-17 2009-05-21 Nebil Ben Aissa Biometric multi-purpose biometric terminal, payroll and work management system and related methods
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7466223B2 (en) 2004-05-21 2008-12-16 Pips Technology, Inc. Automated site security, monitoring and access control system
JP2006099615A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 顔認証装置および入退場管理装置
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US20070268145A1 (en) * 2006-05-19 2007-11-22 Bazakos Michael E Automated tailgating detection via fusion of video and access control
WO2008058296A2 (en) * 2006-11-10 2008-05-15 Verificon Corporation Method and apparatus for analyzing activity in a space
JP4396708B2 (ja) 2007-01-29 2010-01-13 ソニー株式会社 ネットワーク機器および監視カメラシステム
US8693738B2 (en) * 2008-01-29 2014-04-08 Canon Kabushiki Kaisha Imaging processing system and method and management apparatus
JP5326527B2 (ja) * 2008-11-28 2013-10-30 富士通株式会社 認証装置及び認証方法
CN101778260B (zh) 2009-12-29 2012-01-04 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统
WO2011102416A1 (ja) * 2010-02-19 2011-08-25 株式会社 東芝 移動物体追跡システムおよび移動物体追跡方法
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP2012034353A (ja) * 2010-06-28 2012-02-16 Panasonic Corp ネットワーク通信装置、通信方法および集積回路
US20120169880A1 (en) * 2010-12-31 2012-07-05 Schneider Electric Buildings Llc Method and system for video-based gesture recognition to assist in access control
US9338409B2 (en) 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
JP5477399B2 (ja) * 2012-01-30 2014-04-23 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
US10567376B2 (en) * 2012-08-24 2020-02-18 Sensible Vision, Inc. System and method for providing secure access to an electronic device using multifactor authentication
US9210385B2 (en) 2012-11-20 2015-12-08 Pelco, Inc. Method and system for metadata extraction from master-slave cameras tracking system
US9651656B2 (en) * 2014-02-28 2017-05-16 Tyco Fire & Security Gmbh Real-time location system in wireless sensor network
US20150288928A1 (en) 2014-04-08 2015-10-08 Sony Corporation Security camera system use of object location tracking data
EP3161727A4 (en) * 2014-06-24 2018-02-14 Pic2go Ltd. Photo tagging system and method
WO2016044442A1 (en) * 2014-09-16 2016-03-24 Jiwen Liu Identification of individuals in images and associated content delivery
JP6500500B2 (ja) * 2015-02-27 2019-04-17 富士通株式会社 画像判定装置、画像判定方法、及びプログラム
CN106236060B (zh) * 2015-06-04 2021-04-09 松下知识产权经营株式会社 生物体信息检测装置
US10878249B2 (en) * 2015-10-07 2020-12-29 Accenture Global Solutions Limited Border inspection with aerial cameras
JP6744736B2 (ja) * 2016-03-23 2020-08-19 株式会社ユニバーサルエンターテインメント 撮影システム
JP6393360B2 (ja) * 2016-05-11 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮影制御方法、撮影制御システム及び撮影制御サーバ
JP6815784B2 (ja) * 2016-08-01 2021-01-20 東芝テック株式会社 制御装置、決済装置及び制御プログラム
US11257095B2 (en) * 2016-10-20 2022-02-22 Toshiba Global Commerce Solutions Holdings Corporation Visual sensor-based management of a return transaction
US10223553B2 (en) * 2017-05-30 2019-03-05 Apple Inc. Wireless device security system

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039380A1 (en) * 2001-08-24 2003-02-27 Hiroshi Sukegawa Person recognition apparatus
CN1623167A (zh) * 2001-12-31 2005-06-01 数字数据研究公司 安全许可卡,读取安全许可卡的系统和方法
CN101853410A (zh) * 2001-12-31 2010-10-06 数字数据研究公司 安全许可卡
CN1820279A (zh) * 2003-06-16 2006-08-16 Uru科技公司 能通过生物测量创建和操作多用途凭证管理装置的方法和系统
CN1849613A (zh) * 2003-09-10 2006-10-18 皇家飞利浦电子股份有限公司 用于特征识别的设备和方法
CN101563710A (zh) * 2006-05-22 2009-10-21 安讯士有限公司 识别由视频监视摄像机检测到的对象的特性的方法及装置
CN102037676A (zh) * 2008-03-20 2011-04-27 日内瓦大学 基于不可克隆特征的安全物品识别以及认证系统和方法
CN102339391A (zh) * 2010-07-27 2012-02-01 株式会社理光 多对象识别方法和装置
JP2012034253A (ja) * 2010-08-02 2012-02-16 Secom Co Ltd 画像監視装置
US20120233076A1 (en) * 2011-03-08 2012-09-13 Microsoft Corporation Redeeming offers of digital content items
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
JP2013114348A (ja) * 2011-11-25 2013-06-10 Secom Co Ltd 移動物体監視システム
CN104054091A (zh) * 2011-12-09 2014-09-17 视德公司 用于图像识别的面部印记生成
CN104244812A (zh) * 2012-02-07 2014-12-24 远端临场医疗公司 医疗亭及使用方法
CN104335226A (zh) * 2012-06-29 2015-02-04 苹果公司 使用部分指纹的指纹注册
CN103208185A (zh) * 2013-03-19 2013-07-17 东南大学 一种基于车灯识别的夜间车辆检测方法及系统
GB201412718D0 (en) * 2014-02-25 2014-09-03 Cambridge Silicon Radio Ltd Processing mesh communications
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MIN-GU KIM等: "《A Survey and Proposed Framework on the Soft Biometrics Technique for Human Identification in Intelligent Video Surveillance System》", 《BIOMED RESEARCH INTERNATIONAL》 *
凡里伟: "《Android平台手机防盗系统的设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
林海东: "《嵌入式视频监控系统的设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵扬子: "《基于监控领域的远距离人脸识别系统分析》", 《中国安防》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112005272A (zh) * 2018-07-18 2020-11-27 株式会社日立制作所 影像分析装置、人物检索系统和人物检索方法
CN111241387A (zh) * 2018-11-28 2020-06-05 Sap欧洲公司 提高搜索结果的相关性
CN111241387B (zh) * 2018-11-28 2023-07-18 Sap欧洲公司 提高搜索结果的相关性
US20220012528A1 (en) * 2018-12-27 2022-01-13 Nec Corporation Information processing apparatus, information processing method, and program
US20220207292A1 (en) * 2018-12-27 2022-06-30 Nec Corporation Information processing apparatus, information processing method, and program
US20220358329A1 (en) * 2018-12-27 2022-11-10 NEC Corporatlion Information processing apparatus, information processing method, and program
US11836217B2 (en) * 2018-12-27 2023-12-05 Nec Corporation Information processing apparatus, information processing method, and program
US11928181B2 (en) * 2018-12-27 2024-03-12 Nec Corporation Information processing apparatus, information processing method, and program
US11934483B2 (en) * 2018-12-27 2024-03-19 Nec Corporation Information processing apparatus, information processing method, and program
US11971952B2 (en) 2018-12-27 2024-04-30 Nec Corporation Information processing apparatus, information processing method, and program
CN111079577A (zh) * 2019-12-02 2020-04-28 重庆紫光华山智安科技有限公司 一种动态区域聚集预警实时推荐的计算方法及系统
CN113449563A (zh) * 2020-03-26 2021-09-28 深圳云天励飞技术有限公司 一种人员跟踪标记方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3312762B1 (en) 2023-03-01
CN107958258B (zh) 2023-04-07
KR20180042802A (ko) 2018-04-26
JP6929751B2 (ja) 2021-09-01
EP3312762A1 (en) 2018-04-25
TWI746641B (zh) 2021-11-21
US20180107880A1 (en) 2018-04-19
TW201816662A (zh) 2018-05-01
KR102215041B1 (ko) 2021-02-10
US10839228B2 (en) 2020-11-17
JP2018116681A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
CN107958258A (zh) 用于追踪限定区域中的对象的方法和系统
US10909695B2 (en) System and process for detecting, tracking and counting human objects of interest
WO2018180588A1 (ja) 顔画像照合システムおよび顔画像検索システム
US7801330B2 (en) Target detection and tracking from video streams
US8320617B2 (en) System, method and program product for camera-based discovery of social networks
US20090092283A1 (en) Surveillance and monitoring system
US20210196169A1 (en) Methods and System for Monitoring and Assessing Employee Moods
CN112183162A (zh) 一种监控场景下人脸自动注册识别系统及方法
US12087075B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20210034671A1 (en) Method and system for enhancing a vms by intelligently employing access control information therein
WO2021056050A1 (en) Systems and methods for identifying and/or tracking objects
WO2022192845A1 (en) Automatic creation and management of digital identity profiles for access control
Yuganthini et al. Activity tracking of employees in industries using computer vision
Menon et al. Multimodal identification and tracking in smart environments
Sathya et al. Intelligent Home Surveillance System using Convolution Neural Network Algorithms
CN115131907B (zh) 智能门禁系统及其通讯方法
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム
US20200125709A1 (en) Tagging system for similarity-based retriebal
Paul et al. Integrated Intelligent Surveillance System Using Deep Learning
Yadav et al. Contactless attendance system: a health-care approach to prevent spreading of Covid-19
Huang et al. Application Research of Computer Neural Network in Face Recognition Lending System of Library

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant