CN112712544A - 人物追踪系统及人物追踪方法 - Google Patents

人物追踪系统及人物追踪方法 Download PDF

Info

Publication number
CN112712544A
CN112712544A CN201911174690.1A CN201911174690A CN112712544A CN 112712544 A CN112712544 A CN 112712544A CN 201911174690 A CN201911174690 A CN 201911174690A CN 112712544 A CN112712544 A CN 112712544A
Authority
CN
China
Prior art keywords
human body
module
scene image
person
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911174690.1A
Other languages
English (en)
Inventor
林柏伸
王士维
谢易耘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112712544A publication Critical patent/CN112712544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种人物追踪系统以及一种人物追踪方法，人物追踪系统包括：复数个摄影机，用以拍摄一场景的不同拍摄范围的场景影像；第一运算伺服器，包括：人体追踪模块、人物判断模块、及数据统整模块；第二运算伺服器；以及第三运算伺服器。人体追踪模块是用以对场景影像中的人体区域进行人体追踪以产生人物数据。第三运算伺服器是依据人物数据以从各场景影像中取得人体区域方块，借此进行人脸识别以取得使用者身份。人物判断模块对不同的人体区域执行人物重识别以将属于同一使用者的人体区域及其人物标签联结。数据统整模块是将联结后的人体区域及其人物标签以相应的使用者身份表示。

Description

人物追踪系统及人物追踪方法
技术领域
本发明的实施例涉及视频监控的人物追踪技术，特别是一种人物追踪系统及人物追踪方法。
背景技术
具有人脸识别技术的监视系统已被广泛应用，且使用的场景也愈来愈多，例如在工厂或办公室均可看到许多企业皆已设置监控摄影机并导入人脸识别技术以进行安全管控。然而，在某些工厂的环境中，若光是利用人脸识别进行安全管控，可能会遇到某些障碍，例如：使用者非正面面向摄影机的镜头、使用者与摄影机的距离不适当、灯光昏暗、或是使用者移动速度过快等等。在上述情况中，人脸识别可能会有识别率大幅降低的情况，也因此无法利用人脸识别准确地进行人物追踪。
发明内容
因此，本发明的实施例是提出一种人物追踪系统及人物追踪方法，其可利用人脸识别技术搭配身型识别以在不同摄影机所拍摄的影像追踪使用者的路径，以解决上述问题。
本发明的实施例是提供一种人物追踪系统，包括：复数个摄影机，用以拍摄一场景的不同拍摄范围的场景影像；第一运算伺服器，包括：人体追踪模块、人物判断模块、及数据统整模块，其中人体追踪模块用以对各摄影机所拍摄的各场景影像检测一人体区域，并分别对各摄影机所拍摄的各场景影像追踪所检测到的人体区域；第二运算伺服器；以及第三运算伺服器，包括人脸识别模块。人体追踪模块将在各场景影像所检测到的人体区域相关的人物数据通过第二运算伺服器转送至第三运算伺服器中的人脸识别模块。人脸识别模块依据人物数据以从各场景影像中取得人体区域方块，并对人体区域方块进行人脸识别。因应于人脸识别模块从人体区域方块识别出相应的使用者身份，人脸识别模块更新人体区域相关的人物数据以加入使用者身份，并将更新后的人物数据通过第二运算伺服器以转送至第一运算伺服器中的人物判断模块。人物判断模块对不同摄影机中的人执行人物重识别处理以将不同摄影机的各场景影像中属于同一使用者的人体区域及相应的人物标签进行联结。数据统整模块将联结后的人体区域及相应的人物标签以相应的该使用者身份表示。
在一些实施例中，人体追踪模块给予各场景影像的人体区域一个相应的人物标签，并且将各摄影机所拍摄的各场景影像中所检测出的人体区域方块的坐标、及宽跟高、各场景影像的编号、各摄影机的摄影机编号及人物标签打包为人物数据，并同时将人物数据及各场景影像传送至人物判断模块。人脸识别模块通过该第二运算伺服器接收各场景影像及相应的该人物数据，并对该人物数据中所提供的该人体区域方块的坐标、宽跟高以从各场景影像找出相应的该人体区域方块，且该人体区域方块包括脸部及身体。
在一些实施例中，人脸识别模块对人体区域方块进行人脸检测以取得人脸区域，并对人脸区域与预先注册的一人脸数据库比对以进行人脸识别。因应于人脸识别模块无法通过人脸识别以识别出在场景影像中的使用者身份，则人脸识别模块将识别失败信息附加于人物数据之中。
在一些实施例中，人体追踪模块指派一相应的人物标签至各场景影像中所识别出的不同人体区域，且人物判断模块依据人脸识别模块于各场景影像中成功的人脸识别结果将各场景影像中的相应的人物标签替换为人脸识别模块所识别出的使用者身份。其中，使用者身份包含一特定使用者的姓名、代码、或员工号码。
在一些实施例中，数据统整模块通过一网页服务应用程序编程界面将包含各摄影机中的使用者身份的一使用者界面传送至一网页伺服器，使得网页伺服器提供网页服务以供浏览使用者界面。此外，数据统整模块每至少经过一预定时间才传送实时更新的使用者界面至网页伺服器。
在一些实施例中，因应于数据统整模块判断在一特定摄影机所获取的场景影像中有一特定使用者已接近场景的一警戒标示区，数据统整模块在使用者界面标示特定使用者的栏位信息。
本发明的实施例更提供一种人物追踪方法，用于人物追踪系统。人物追踪系统包括：复数个摄影机、第一运算伺服器、第二运算伺服器、及第三运算伺服器，第一运算伺服器包括一人体追踪模块、人物判断模块、及数据统整模块。方法包括下列步骤：利用该等摄影机拍摄一场景的不同拍摄范围的场景影像；利用人体追踪模块对各摄影机所拍摄的各场景影像检测人体区域，并分别对各摄影机所拍摄的各场景影像追踪所检测到的人体区域；利用人体追踪模块将在各场景影像所检测到的人体区域相关的人物数据通过第二运算伺服器转送至第三运算伺服器中的人脸识别模块；利用人脸识别模块依据该人物数据以从各场景影像中取得人体区域方块，并对人体区域方块进行人脸识别；因应于人脸识别模块从人体区域方块识别出相应的一使用者身份，利用人脸识别模块更新人体区域相关的人物数据以加入使用者身份，并将更新后的人物数据通过第二运算伺服器以转送至第一运算伺服器中的人物判断模块；利用人物判断模块对不同摄影机中的人执行人物重识别处理以将不同摄影机的各场景影像中属于同一使用者的人体区域及相应的人物标签进行联结；以及利用数据统整模块将联结后的人体区域及相应的人物标签以相应的使用者身份表示。
附图说明
图1为依据本发明一实施例中的人物追踪系统的示意图。
图2为依据本发明一实施例中的人物追踪系统的设置环境的示意图。
图3为依据本发明一实施例中的网页伺服器所呈现的网页的使用者界面的示意图。
图4为依据本发明一实施例中的人物追踪方法的流程图。
附图标记说明：
100～人物追踪系统；
110-1－110-N～摄影机；
200、210、220～运算伺服器；
230～网页伺服器；
201～人体追踪模块；
202～人物判断模块；
203～数据统整模块；
221～人脸识别模块；
261－264～箭头；
MG～主大门；
G1、G2～出入闸门；
C1～C4～摄影机编号；
300～使用者界面；
310－316～栏位；
400～流程；
S410－S480～步骤。
具体实施方式
以下说明为完成发明的优选实现方式，其目的在于描述本发明的基本构思，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
于权利要求中使用如"第一"、"第二"、"第三"等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
图1是显示依据本发明一实施例中的人物追踪系统的示意图。人物追踪系统100包括复数台摄影机110-1～110-N及运算伺服器200、210、220、及网页伺服器230。在一实施例中，各摄影机110例如可设置于一使用环境或场景中的不同位置，用以持续拍摄在上述使用环境中的不同拍摄范围的场景影像。上述使用环境例如可为工厂、办公室、住家、或其他类似的室内空间。其中各摄影机110-1～110-N的拍摄范围可以有部分区域重叠或是互相均不重叠。此外，各摄影机110-1～110-N具有相应的摄影机编号，例如分别为C1～CN。
运算伺服器200、210及220例如可用一或多台个人电脑、工作站、云端伺服器等具有运算能力的运算装置所实现，但本发明的实施例并不限于此。在一些实施例中，运算伺服器200、210及220例如可整合成至同一台运算伺服器。
运算伺服器200例如为一人物追踪伺服器，用以依据各摄影机110-1～110-N所拍摄的场景影像进行人物追踪(person tracking)，并将人物追踪的结果(例如可为已识别出的使用者及其身份或标示无法识别此使用者等等)通过一网页服务应用程序界面(webservice API)以提供至一网页伺服器以在特定网页上实时呈现各摄影机所拍摄的影像及人物追踪的结果。
如图1所示，运算伺服器200包括人体追踪模块201、人物判断模块202及数据统整模块203。人体追踪模块201、人物判断模块202及数据统整模块203例如可分别由不同的程序码(program code)所实现，且可由运算伺服器200中的处理器(未示出)所执行。
人体追踪模块201例如可接收来自各摄影机110-1～110-N所拍摄的场景影像，并在各场景影像中检测人体区域。在一些实施例，人体追踪模块201例如可使用本发明领域中You Only Look Once(YOLO)v2或v3的演算法以对各场景影像进行人体检测，但本发明的实施例并不限于此。在另一些实施例中，人体追踪模块201例如可使用本发明领域所现有的其他物件识别技术以对各场景影像进行人体检测。
若检测到在场景影像中有人体区域，则从场景影像获取所检测出的人体区域相应的影像方块，例如可在场景影像中标示相应的方框，其可称为人体区域影像或人体区域方块，且人体追踪模块201会记录各个人体区域方块的宽跟高、以及坐标(例如以人体区域方块的左上角的坐标为准)。上述人体区域影像为包含脸部的人体区域影像(例如包含头部及身体)，故上述人体区域影像的分辨率小于或等于各摄影机110所拍摄的场景影像。
对于每一台摄影机110-1～110-N传送至人体追踪模块201的连续影像序列而言，人体追踪模块201可以利用在目前场景影像(例如在时间点t＝n)已经检测到的人体区域方块进行人物位置的预测。对于相同的摄影机所获取的场景影像序列，若在下一张场景影像(例如在时间点t＝n+1)中在预测的相关位置也同样有人物被人体追踪模块201检测到，人体追踪模块201则会将目前场景影像及下一张场景影像中的人体区域方块进行连结，并视为同一人。依据类似方式，人体追踪模块201可将相同的摄影机所获取的场景影像序列中的后续场景影像中相应的人体区域方块进行连结以判断出同一人物的移动轨迹。上述方式即可称为人物追踪。
在一些实施例中，人体追踪模块201例如可使用OpenCV中的光流法(OpticalFlow)以对各摄影机在连续时间内的影像序列进行人物追踪，例如可利用影像序列中像素在时域(time domain)上的变化以及相邻帧的影像之间的相关性来找到上一帧跟当前帧之间存在的相应关系，从而计算出相邻帧之间物体的运动信息(motion information)。本发明领域中技术人员当可了解如何利用光流法进行人物追踪，故其细节于此不再详述。
在一实施例中，以摄影机110-1的连续场景影像序列为例，当人体追踪模块201在摄影机110-1的连续场景影像序列首次检测到新人体区域时，人体追踪模块201会自动给予上述人体区域一个暂定的人物标签，例如P1。若在上述连续场景影像序列中有多个人体区域，则人体追踪模块201同样会给予所检测到的各个人体区域一个相应的(暂时性)人物标签。对于其他摄影机110-2～110-N的连续场景影像序列，人体追踪模块201亦进行类似的处理。此外，人体追踪模块201并将各摄影机110-1～110-N的各场景影像中所检测出的人体区域方块的坐标、及宽跟高、场景影像的编号、摄影机编号、人物标签等等一起打包(pack)为人物数据，并同时将人物数据及场景影像传送至人物判断模块202。此外，人体追踪模块更将人物数据及场景影像同时传送至运算伺服器220。
在一些实施例中，在场景中的摄影机110-1～110-N可能有部分摄影机会设置于较关键的区域，例如出入闸门口的警戒标示区。当人体追踪模块201判断在场景影像中有某一人物角色接近此警戒标示区时，会在上述人物数据中另外加入一位置信息以表示此人物标签已到达出入闸门口。人体追踪模块201亦会将加入位置信息的人物数据传送至人物判断模块202。
运算伺服器210为一转送伺服器，其用以接收来自运算伺服器200中的人体追踪模块201的各场景影像及相应的人物数据，并将各场景影像及相应的人物数据转送至运算伺服器220以进行人脸识别。此外，运算伺服器210还可从运算伺服器220接收各场景影像的人脸识别结果(例如同样具有场景影像编号、摄影机编号等等)，并将人脸识别结果转送至运算伺服器200的人物判断模块202。
运算伺服器220例如为一人脸识别伺服器，其包括一人脸识别模块221。人脸识别模块221通过运算伺服器210接收各场景影像及相应的人物数据，并对人物数据中所提供的人体区域方块的坐标、宽跟高以从各场景影像找出相应的人体区域方块(例如包含脸部及身体)。此外，人脸识别模块221例如可利用本发明领域中由谷歌(Google)所提出的Facenet技术以对人体区域方块进行人脸识别。本发明领域中技术人员当可了解如何利用Facenet技术进行人脸识别的流程，故其细节于此不再详述。
举例来说，人脸识别的流程可分为人脸检测及身份识别。若人脸识别模块221从场景影像中的人体区域方块所检测出的人脸区域经过人脸识别(例如可与预先注册的人脸数据库进行比对)后可识别出在场景影像中的使用者身份，则人脸识别模块221可将识别出的使用者身份附加于人物数据之中。若人脸识别模块221无法通过人脸识别以识别出在场景影像中的使用者身份，则人脸识别模块221可将识别失败信息附加于人物数据之中。人脸识别模块221接着将更新过后的人物数据通过运算伺服器210传送至运算伺服器200的人物判断模块202。
人物判断模块202用以统整来自人体追踪模块201及人脸识别模块221的数据。举例来说，若人脸识别模块221可由场景影像中识别出使用者身份，则在人物判断模块202通过运算伺服器210由人脸识别模块221所接收到的人物数据即包括识别出的使用者身份。因此，人物判断模块202可将来自人体追踪模块201的场景影像所相应的人物数据中的暂时的人物标签(例如为P1)替换为人脸识别模块221所识别出的使用者身份(例如为U2)。
详细而言，对于人体追踪模块201来说，其可从各场景影像识别出不同的人体区域，并且对各人体区域指派一个相应的暂时性的人物标签。但是人体追踪模块201并无法进一步确认在场景影像中的各人体区域的使用者身份，意即各个人物标签为未知身份，故需要人脸识别模块221对各场景影像中的人体区域方块进行人脸识别以确定使用者身份。若人脸识别模块221可由场景影像中识别出使用者身份，则人物判断模块202可将来自人体追踪模块201的场景影像所相应的人物数据中的暂时的人物标签替换为人脸识别模块221所识别出的使用者身份，意即已在人脸数据库中已经注册过的相关人员。
在一实施例中，人物判断模块202还可利用人物重识别(personre-identification，ReID)技术去同步比对两台不同摄影机所拍摄的之两张场景影像中的人物以判断是否为同一人。若判断结果为同一人，则可再比对场景影像的时间戳(timestamp)即可判断出此人物出现在两台不同摄影机的拍摄范围内的先后顺序。
“人物重识别”从字面意思理解就是对人物进行重新识别，例如可针对不同的、没有视野重叠覆盖的(non-overlapping)摄影机拍摄的行人影像建立对应关系的处理过程。当摄影机的拍摄范围之间并未重叠时，由于没有了连续信息，检索难度也随之增大非常多。因此，人物重识别强调的是在跨摄影机的视频中对特定人物进行检索(search)。上述人物重识别技术可利用本发明领域中的现有人物重识别技术所实现，故其细节于此不再赘述。
详细而言，人物判断模块202的人物重识别功能可弥补人体追踪技术的漏洞。举例来说，若对于某一台摄影机所获取的场景影像序列中有出现一特定人物，但是因为某些因素(例如人物动作过大或过快)，人体追踪技术有可能无法准确地将在场景影像序列中出现的各人物定位为同一个人物，例如可称为追踪中断情况。因此，人物判断模块202的人物重识别功能不仅可针对跨摄影机所拍摄的场景影像以识别出同一人物，亦可针对同一摄影机中的有追踪中断情况的先后场景影像以识别出同一人物。
在一实施例中，人物判断模块202还包括自动清理暂存人物的功能。举例来说，因为人物判断模块202需要统计各摄影机当下已存在的所有人物信息，且各场景影像中亦可能人物数量众多，故随着时间变长，人物判断模块202需要存储的人物信息的数量也会变得相当庞大。因此，在特定人物离开一特定摄影机的拍摄范围经过一预定时间后，人物判断模块202会将此特定人物在此特定摄影机相关的人物数据清除掉，然而，人物判断模块202并无法事先得知任何一个人物会在何时离开任一台摄影机的拍摄范围。详细而言，为了避免无止尽地增加新的人物标签，人物判断模块202的自动清理功能会等到任一人物在所有的摄影机均未出现超过一预定时间后，才会把所有跟此人物相关的标签及人物信息清除，借此节省存储空间。
数据统整模块203用以从人物判断模块202取得人物数据，例如包括已识别出的使用者身份或是无法识别的人物等等，且数据统整模块203更整合在各摄影机所获取的场景影像中出现的人物数据。举例来说，因为人物判断模块202所产生的人物数据是以各人物标签为主，故数据统整模块203需将各个人物标签转换为以各摄影机为主，例如将在各摄影机的当前拍摄范围中各人物标签进行排列，并计算相应的人数。若有已知使用者身份的人物，数据统整模块203将此人物以其姓名、代码、或员工号码替代。若是各个摄影机的目前拍摄范围的场景影像有无法识别使用者身份的人物，则数据统整模块203会加入各个摄影机110-1～110-N的目前拍摄范围中的陌生人数量之中。
数据统整模块203例如可通过一网页服务应用程序编程界面(web service API)将使用者界面(例如可用表格呈现)传送至网页伺服器230，使得网页伺服器230可提供网页服务，且使用者可通过浏览器以实时观看各个摄影机的拍摄范围中已识别出使用者身份的一或多个人物以及陌生人数量。
图2为依据本发明一实施例中的人物追踪系统的设置环境的示意图。图3为依据本发明一实施例中的网页伺服器所呈现的网页的使用者界面的示意图。
在一实施例中，为了便于说明，在图2中是以4台摄影机110-1～110-4为例，且各个摄影机110-1～110-4分别具有相应的摄影机编号C1～C4。摄影机110-1～110-4例如可设置于一工厂厂区，且具有摄影机编号C1的摄影机110-1的拍摄范围对准办公区250的主大门MG，具有摄影机编号C2及C3的摄影机110-2及110-3的拍摄范围分别对准不同的走廊，具有摄影机编号C4的摄影机110-4的拍摄范围对准办公区250的出入闸门G1及G2。若有使用者欲从主大门MG进入内部办公室，则此使用者例如可沿着箭头261～264的方向前进才能到达出入闸门G1及G2。
若使用者沿着箭头261～264的方向前进，则使用者会按序出现在摄影机110-1～110-4的拍摄范围内。因此，运算伺服器200、210及220会按序处理摄影机110-1～110-4所拍摄的场景影像以进行人体追踪、人脸识别、人物判断、及数据统整。在一些实施例中，数据统整模块203可进一步规划已识别出使用者身份在使用者界面的表格呈现方式。举例来说，各个摄影机110-1～110-4相应的摄影机编号C1～C4具有识别出的使用者身份的栏位，例如图3中的使用者界面300的栏位310、312、314、316所示。
若每个摄影机110-1～110-N所获取的场景影像中存在相同使用者身份的人物，例如员工编号10410301，且摄影机编号C1则另外存在其他使用者身份的人物，例如员工编号10410350，且摄影机编号C1更另外存在无法识别使用者身份的人物，其可视为陌生人。
接着，数据统整模块203将员工编号10410301置于栏位310～316的同一列，并且将各摄影机编号C1～C4所检测到的陌生人数量分别显示于栏位310～316的下方栏位，如图3所示。此外，数据统整模块203在栏位310～316的不同列可随机配置不同的颜色以区分各个不同人物。此外，当有一特定人物已离开一特定摄影机超过一段时间，则数据统整模块203可在该特定摄影机相应的栏位的该特定人物的列显示一特定颜色(例如灰色)。因此，从使用者界面300中的不同栏位的颜色变化即可看出各人物的行走路。此外，因为摄影机110-4的拍摄范围为出入闸门G1及G2，若有特定人物已出现在摄影机110-4所拍摄的场景影像中，则数据统整模块203会将最后拍摄到此特定人物的场景影像显示于摄影机编号C4的栏位中。此外，若有特定人物已接近出入闸门口的警戒标示区，则数据统整模块203会进一步将此特定人物的栏位信息后面标示已达到警戒标示区，例如为出入闸门G1。
承上述实施例，数据统整模块203例如可通过一网页服务应用程序界面(webservice API)将使用者界面的表格传送至网页伺服器230，使得网页伺服器230可提供网页服务，且使用者可通过浏览器以实时观看各个摄影机的拍摄范围中已识别出使用者身份的一或多个人物以及陌生人数量。
在一些实施例中，数据统整模块203包含一时间计数功态。举例来说，为了防止网页伺服器230更新速度太快而导致信息阻塞，所以数据统整模块203会至少经过一预定时间(例如0.5秒)后才会传送实时更新的使用者界面的栏位至网页伺服器。
图4为依据本发明一实施例中的人物追踪方法的流程图。人物追踪方法的流程400包括步骤S410～S480。
在步骤S410，利用各摄影机以拍摄一场景的不同拍摄范围的场景影像。其中，各摄影机110-1～110-N的拍摄范围可以有部分区域重叠或是互相均不重叠。
在步骤S420，利用一第一运算伺服器的人体追踪模块对各摄影机所拍摄的各场景影像检测一人体区域，并分别对各摄影机所拍摄的各场景影像追踪所检测到的该人体区域。举例来说，人体追踪模块会给予各场景影像的人体区域一个相应的人物标签，并且可将各摄影机110-1～110-N的各场景影像中所检测出的人体区域方块的坐标、及宽跟高、场景影像的编号、摄影机编号、人物标签等等一起打包(pack)为人物数据，并同时将人物数据及场景影像传送至人物判断模块202。
在步骤S430，利用一第一运算伺服器的人体追踪模块将在各场景影像所检测到的该人体区域相关的人物数据通过一第二运算伺服器转送至一第三运算伺服器中的人脸识别模块。举例来说，人脸识别模块221通过运算伺服器210接收各场景影像及相应的人物数据，并对人物数据中所提供的人体区域方块的坐标、宽跟高以从各场景影像找出相应的人体区域方块(例如包含脸部及身体)。
在步骤S440，利用人脸识别模块221以依据人物数据从各场景影像中取得人体区域方块，并对该人体区域方块进行人脸识别。其中上述人脸识别包括人脸检测及身份识别。举例来说，若人脸识别模块221从场景影像中的人体区域方块所检测出的人脸区域经过人脸识别(例如可与预先注册的人脸数据库进行比对)后可识别出在场景影像中的使用者身份，则人脸识别模块221可将识别出的使用者身份附加于人物数据之中。若人脸识别模块221无法通过人脸识别以识别出在场景影像中的使用者身份，则人脸识别模块221可将识别失败信息附加于人物数据之中。
在步骤S450，因应于人脸识别模块221从该人体区域方块识别出相应的一使用者身份，人脸识别模块221更新该人体区域相关的该人物数据以加入该使用者身份，并将更新后的该人物数据通过第二运算伺服器以转送至第一运算伺服器中的人物判断模块。
在步骤S460，利用人物判断模块对不同摄影机中的人体区域执行人物重识别处理以将不同摄影机的各场景影像中属于同一使用者的人体区域及相应的人物标签进行联结。举例来说，对于人体追踪模块201，其可从各场景影像识别出不同的人体区域，并且对各人体区域指派一个相应的暂时性的人物标签。但是人体追踪模块201并无法进一步确认在场景影像中的各人体区域的使用者身份，意即各个人物标签为未知身份，故需要人脸识别模块221对各场景影像中的人体区域方块进行人脸识别以确定使用者身份。若人脸识别模块221可由场景影像中识别出使用者身份，则人物判断模块202可将来自人体追踪模块201的场景影像所相应的人物数据中的暂时的人物标签替换为人脸识别模块221所识别出的使用者身份，意即已在人脸数据库中已经注册过的相关人员。
在步骤S470，利用第一运算伺服器中的数据统整模块将联结后的人体区域及相应的人物标签以相应的使用者身份表示。其中，使用者身份可包含姓名、代码、或员工号码。若是各个摄影机的目前拍摄范围的场景影像有无法识别使用者身份的人物，则数据统整模块203会加入各个摄影机110-1～110-N的目前拍摄范围中的陌生人数量之中。此外，数据统整模块203例如可通过一网页服务应用程序界面将使用者界面的表格传送至网页伺服器230，使得网页伺服器230可提供网页服务，且使用者可通过浏览器以实时观看各个摄影机的拍摄范围中已识别出使用者身份的一或多个人物以及陌生人数量。
在步骤S480，利用数据统整模块通过一网页服务应用程序编程界面将包含各摄影机中的使用者身份的使用者界面传送至网页伺服器，使得网页伺服器提供网页服务以供浏览使用者界面。其中，网页服务所提供的使用者界面可参考第2～3图的实施例。
综上所述，本发明的实施例是提供一种人物追踪系统及人物追踪方法，其可利用人体追踪技术并搭配人脸识别以增强判断使用者身份的准确度，并且可利用人物重识别技术以将不同摄影机中包含已识别出该使用者身份的该人物数据进行联结。因此，相较于单纯的人脸识别系统，本发明的实施例的人物追踪系统及人物追踪方法可大幅增加识别率，并可克服原本人脸识别可能遇到的突发状况而产生无法识别使用者身份的问题。
本发明的实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可做些许的变动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种人物追踪系统，包括：
复数个摄影机，用以拍摄一场景的不同拍摄范围的场景影像；
一第一运算伺服器，包括：一人体追踪模块、一人物判断模块、及一数据统整模块，其中该人体追踪模块是用以对各摄影机所拍摄的各场景影像检测一人体区域，并分别对各摄影机所拍摄的各场景影像追踪所检测到的该人体区域；
一第二运算伺服器；以及
一第三运算伺服器，包括一人脸识别模块；
其中，该人体追踪模块将在各场景影像所检测到的该人体区域相关的人物数据通过该第二运算伺服器转送至该第三运算伺服器中的该人脸识别模块；
其中，该人脸识别模块是依据该人物数据以从各场景影像中取得一人体区域方块，并对该人体区域方块进行人脸识别；
其中，因应于该人脸识别模块从该人体区域方块识别出相应的一使用者身份，该人脸识别模块更新该人体区域相关的该人物数据以加入该使用者身份，并将更新后的该人物数据通过该第二运算伺服器以转送至该第一运算伺服器中的该人物判断模块；
其中，该人物判断模块对不同摄影机中的人执行人物重识别处理以将不同摄影机的各场景影像中属于同一使用者的人体区域及相应的人物标签进行联结；
其中，该数据统整模块将联结后的人体区域及相应的人物标签以相应的该使用者身份表示。
2.如权利要求1所述的人物追踪系统，其中，该人体追踪模块给予各场景影像的人体区域一个相应的人物标签，并且将各摄影机所拍摄的各场景影像中所检测出的该人体区域方块的坐标、及宽跟高、各场景影像的编号、各摄影机的摄影机编号及该人物标签打包为人物数据，并同时将该人物数据及各场景影像传送至该人物判断模块。
3.如权利要求2所述的人物追踪系统，其中，该人脸识别模块通过该第二运算伺服器接收各场景影像及相应的该人物数据，并对该人物数据中所提供的该人体区域方块的坐标、宽跟高以从各场景影像找出相应的该人体区域方块，且该人体区域方块包括脸部及身体。
4.如权利要求3所述的人物追踪系统，其中，该人脸识别模块对该人体区域方块进行人脸检测以取得人脸区域，并对该人脸区域与预先注册的一人脸数据库比对以进行人脸识别。
5.如权利要求4所述的人物追踪系统，其中，因应于该人脸识别模块无法通过人脸识别以识别出在该场景影像中的该使用者身份，则该人脸识别模块将识别失败信息附加于该人物数据之中。
6.如权利要求5所述的人物追踪系统，其中，该人体追踪模块指派一相应的人物标签至各场景影像中所识别出的不同人体区域，且该人物判断模块依据该人脸识别模块于各场景影像中成功的人脸识别结果将各场景影像中的相应的该人物标签替换为该人脸识别模块所识别出的该使用者身份。
7.如权利要求6所述的人物追踪系统，其中该使用者身份包含一特定使用者的姓名、代码、或员工号码。
8.如权利要求6所述的人物追踪系统，其中，该数据统整模块通过一网页服务应用程序编程界面将包含各摄影机中的该使用者身份的一使用者界面传送至一网页伺服器，使得该网页伺服器提供网页服务以供浏览该使用者界面。
9.如权利要求8所述的人物追踪系统，其中该数据统整模块每至少经过一预定时间才传送实时更新的该使用者界面至该网页伺服器。
10.如权利要求8所述的人物追踪系统，其中，因应于该数据统整模块判断在一特定摄影机所获取的该场景影像中有一特定使用者已接近该场景的一警戒标示区，该数据统整模块在该使用者界面标示该特定使用者的栏位信息。
11.一种人物追踪方法，用于一人物追踪系统，其中该人物追踪系统包括：复数个摄影机、一第一运算伺服器、一第二运算伺服器、及一第三运算伺服器，且该第一运算伺服器包括一人体追踪模块、一人物判断模块、及一数据统整模块，该方法包括：
利用该等摄影机拍摄一场景的不同拍摄范围的场景影像；
利用该人体追踪模块对各摄影机所拍摄的各场景影像检测一人体区域，并分别对各摄影机所拍摄的各场景影像追踪所检测到的该人体区域；
利用该人体追踪模块将在各场景影像所检测到的该人体区域相关的人物数据通过该第二运算伺服器转送至该第三运算伺服器中的人脸识别模块；
利用该人脸识别模块依据该人物数据以从各场景影像中取得一人体区域方块，并对该人体区域方块进行人脸识别；
因应于该人脸识别模块从该人体区域方块识别出相应的一使用者身份，利用该人脸识别模块更新该人体区域相关的该人物数据以加入该使用者身份，并将更新后的该人物数据通过该第二运算伺服器以转送至该第一运算伺服器中的该人物判断模块；
利用该人物判断模块对不同摄影机中的人执行人物重识别处理以将不同摄影机的各场景影像中属于同一使用者的人体区域及相应的人物标签进行联结；以及
利用该数据统整模块将联结后的人体区域及相应的人物标签以相应的该使用者身份表示。
12.如权利要求11所述的人物追踪方法，还包括：
利用该人体追踪模块给予各场景影像的人体区域一个相应的人物标签，并且将各摄影机所拍摄的各场景影像中所检测出的该人体区域方块的坐标、及宽跟高、各场景影像的编号、各摄影机的摄影机编号及该人物标签打包为人物数据，并同时将该人物数据及各场景影像传送至该人物判断模块。
13.如权利要求12所述的人物追踪方法，其中利用该人脸识别模块依据该人物数据以从各场景影像中取得一人体区域方块，并对该人体区域方块进行人脸识别的步骤包括：
利用该人脸识别模块通过该第二运算伺服器接收各场景影像及相应的该人物数据，并对该人物数据中所提供的该人体区域方块的坐标、宽跟高以从各场景影像找出相应的该人体区域方块，其中该人体区域方块包括脸部及身体。
14.如权利要求13所述的人物追踪方法，其中利用该人脸识别模块依据该人物数据以从各场景影像中取得一人体区域方块，并对该人体区域方块进行人脸识别的步骤还包括：
利用该人脸识别模块对该人体区域方块进行人脸检测以取得人脸区域，并对该人脸区域与预先注册的一人脸数据库比对以进行人脸识别。
15.如权利要求14所述的人物追踪方法，还包括：
因应于该人脸识别模块无法通过人脸识别以识别出在该场景影像中的该使用者身份，利用该人脸识别模块将识别失败信息附加于该人物数据之中。
16.如权利要求15所述的人物追踪方法，还包括：
利用该人体追踪模块指派一相应的人物标签至各场景影像中所识别出的不同人体区域；以及
利用该人物判断模块依据该人脸识别模块于各场景影像中成功的人脸识别结果将各场景影像中的相应的该人物标签替换为该人脸识别模块所识别出的该使用者身份。
17.如权利要求16所述的人物追踪方法，其中该使用者身份包含一特定使用者的姓名、代码、或员工号码。
18.如权利要求16所述的人物追踪方法，还包括：
利用该数据统整模块通过一网页服务应用程序编程界面将包含各摄影机中的该使用者身份的一使用者界面传送至一网页伺服器，使得该网页伺服器提供网页服务以供浏览该使用者界面。
19.如权利要求18所述的人物追踪方法，还包括：
利用该数据统整模块每至少经过一预定时间才传送实时更新的该使用者界面至该网页伺服器。
20.如权利要求18所述的人物追踪方法，还包括：因应于该数据统整模块判断在一特定摄影机所获取的该场景影像中有一特定使用者已接近该场景的一警戒标示区，利用该数据统整模块在该使用者界面标示该特定使用者的栏位信息。
CN201911174690.1A 2019-10-25 2019-11-26 人物追踪系统及人物追踪方法 Pending CN112712544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108138532A TWI705383B (zh) 2019-10-25 2019-10-25 人物追蹤系統及人物追蹤方法
TW108138532 2019-10-25

Publications (1)

Publication Number Publication Date
CN112712544A true CN112712544A (zh) 2021-04-27

Family

ID=74091507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911174690.1A Pending CN112712544A (zh) 2019-10-25 2019-11-26 人物追踪系统及人物追踪方法

Country Status (3)

Country Link
US (1) US10970860B1 (zh)
CN (1) CN112712544A (zh)
TW (1) TWI705383B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI796219B (zh) * 2022-05-10 2023-03-11 中興保全科技股份有限公司 入侵警報系統
TWI826809B (zh) * 2021-07-28 2023-12-21 宏正自動科技股份有限公司 多電腦切換器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI798601B (zh) * 2020-11-27 2023-04-11 晶睿通訊股份有限公司 地面起伏偵測方法及其監控攝影機
CN112906483B (zh) * 2021-01-25 2024-01-23 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
CN114429488A (zh) * 2022-01-25 2022-05-03 威盛电子股份有限公司 目标追踪方法及目标追踪装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156718A (ja) * 2012-01-27 2013-08-15 National Institute Of Advanced Industrial & Technology 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
KR20150098716A (ko) * 2014-02-20 2015-08-31 삼성중공업 주식회사 해양 구조물 구역 추적 시스템 및 그 방법
CN106296720A (zh) * 2015-05-12 2017-01-04 株式会社理光 基于双目相机的人体朝向识别方法和系统
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
US20180232662A1 (en) * 2017-02-14 2018-08-16 Microsoft Technology Licensing, Llc Parsers for deriving user intents
US10108850B1 (en) * 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
US20180336687A1 (en) * 2017-05-22 2018-11-22 Creavision Technologies Ltd. Systems and methods for user detection, identification, and localization within a defined space

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711146B2 (en) * 2006-03-09 2010-05-04 General Electric Company Method and system for performing image re-identification
CN101639891B (zh) * 2008-07-28 2012-05-02 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
WO2011102416A1 (ja) * 2010-02-19 2011-08-25 株式会社 東芝 移動物体追跡システムおよび移動物体追跡方法
JP5642410B2 (ja) * 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
CN107945443A (zh) * 2017-11-28 2018-04-20 佛山正能光电有限公司 一种脸部辨识安控系统
TWI674002B (zh) * 2018-06-11 2019-10-01 視銳光科技股份有限公司 安全監控系統的運作方式
CN109815818B (zh) * 2018-12-25 2020-12-08 深圳市天彦通信股份有限公司 目标人物追踪方法、系统及相关装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156718A (ja) * 2012-01-27 2013-08-15 National Institute Of Advanced Industrial & Technology 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
KR20150098716A (ko) * 2014-02-20 2015-08-31 삼성중공업 주식회사 해양 구조물 구역 추적 시스템 및 그 방법
CN106296720A (zh) * 2015-05-12 2017-01-04 株式会社理光 基于双目相机的人体朝向识别方法和系统
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
US20180232662A1 (en) * 2017-02-14 2018-08-16 Microsoft Technology Licensing, Llc Parsers for deriving user intents
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
US10108850B1 (en) * 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
US20180336687A1 (en) * 2017-05-22 2018-11-22 Creavision Technologies Ltd. Systems and methods for user detection, identification, and localization within a defined space
CN107644204A (zh) * 2017-09-12 2018-01-30 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826809B (zh) * 2021-07-28 2023-12-21 宏正自動科技股份有限公司 多電腦切換器
TWI796219B (zh) * 2022-05-10 2023-03-11 中興保全科技股份有限公司 入侵警報系統

Also Published As

Publication number Publication date
US20210125351A1 (en) 2021-04-29
TWI705383B (zh) 2020-09-21
US10970860B1 (en) 2021-04-06
TW202117587A (zh) 2021-05-01

Similar Documents

Publication Publication Date Title
CN112712544A (zh) 人物追踪系统及人物追踪方法
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及系统
Yun et al. Vision‐based garbage dumping action detection for real‐world surveillance platform
Hampapur et al. Smart video surveillance: exploring the concept of multiscale spatiotemporal tracking
Snidaro et al. Video security for ambient intelligence
CN110348348B (zh) 一种参建人员进场身份快速识别方法及预警系统
US8184154B2 (en) Video surveillance correlating detected moving objects and RF signals
US11172168B2 (en) Movement or topology prediction for a camera network
CN107657232B (zh) 一种行人智能识别方法及其系统
Lin et al. Collaborative pedestrian tracking and data fusion with multiple cameras
CN112150514A (zh) 视频的行人轨迹追踪方法、装置、设备及存储介质
Cho et al. Real-time people counting system for customer movement analysis
GB2447133A (en) Automatic evaluation and monitoring of multiple objects within a scene
CN112132873A (zh) 一种基于计算机视觉的多镜头行人识别与跟踪
CN111008993A (zh) 一种行人跨镜追踪的方法及装置
JP2013150320A (ja) ビデオエピソードの閲覧及び検索のためのシステム及び方法
EP3879435A1 (en) Method for analysing the behaviour of people in physical spaces and system for said method
Ellis Multi-camera video surveillance
CN112330742A (zh) 公共区域重点人员活动路线记录方法及装置
CN111918023A (zh) 一种监控目标跟踪方法及装置
KR102428319B1 (ko) 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN113962338B (zh) 一种rfid辅助多摄像头检测跟踪的室内监控方法及系统
KR20230081016A (ko) 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램
CN113989625A (zh) 基于边缘计算的图像识别方法、装置、设备及存储介质
Chia et al. Multiple objects tracking with multiple hypotheses graph representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination