CN110232701A - 使用深度传感器网络的行人跟踪 - Google Patents

使用深度传感器网络的行人跟踪 Download PDF

Info

Publication number
CN110232701A
CN110232701A CN201810211942.2A CN201810211942A CN110232701A CN 110232701 A CN110232701 A CN 110232701A CN 201810211942 A CN201810211942 A CN 201810211942A CN 110232701 A CN110232701 A CN 110232701A
Authority
CN
China
Prior art keywords
depth
depth transducer
fov
transducer
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810211942.2A
Other languages
English (en)
Inventor
陈彦至
方辉
贾真
A.M.芬
徐阿特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otis Elevator Co
Original Assignee
Otis Elevator Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otis Elevator Co filed Critical Otis Elevator Co
Priority to CN201810211942.2A priority Critical patent/CN110232701A/zh
Priority to US16/279,412 priority patent/US20190273871A1/en
Priority to DE102019202901.9A priority patent/DE102019202901A1/de
Publication of CN110232701A publication Critical patent/CN110232701A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

提供一种对象跟踪系统且其包括被部署成具有至少近似连续的视场(FOV)的深度传感器以及耦合到所述深度传感器的控制器。所述控制器被配置成在空间上和时间上使来自所述深度传感器的输出同步，且在每一个别对象移动通过所述近似连续的FOV时跟踪每一个别对象在所述近似连续的FOV内的相应移动。

Description

使用深度传感器网络的行人跟踪
背景技术
下文的描述涉及行人跟踪，并且更具体来说涉及使用部分或完全重叠的深度传感器的网络进行行人跟踪的方法。
行人跟踪在智能建筑技术中起到重要作用。这些包含(但不限于)建筑保安和安全技术、电梯调度优化技术以及建筑能量控制技术。
行人跟踪方法的性能通常受到两个相关问题影响：一大群行人通常导致目标个体的遮挡，以及大多数传感器具有有限的视场(field of view，FOV)。因此，系统可能难以跨越宽广区域、例如大的电梯门厅区域准确地跟踪多个移动的行人。
发明内容
根据本公开的一方面，提供一种对象跟踪系统且其包括被部署成具有至少近似连续的视场(FOV)的深度传感器以及耦合到所述深度传感器的控制器。所述控制器被配置成在空间上和时间上使来自所述深度传感器的输出同步，且在每一个别对象移动通过所述近似连续的FOV时跟踪每一个别对象在所述近似连续的FOV内的相应移动。
根据额外或替代实施方案，所述深度传感器被部署为具有连续的FOV。
根据额外或替代实施方案，所述空间同步是根据来自所述深度传感器的输出与针对对象跟踪区和所述深度传感器界定的坐标系之间的比较而获得。
根据额外或替代实施方案，所述时间同步是通过对网络时间的参考以及所述深度传感器的所述输出的时戳中的一个或多个而获得。
根据本公开的另一方面，提供一种对象跟踪系统且其包含：结构，其被形成为界定对象跟踪区；深度传感器的网络，其贯穿所述结构被部署为具有至少近似连续的视场(FOV)，所述近似连续的FOV与所述对象跟踪区的至少一部分重叠；以及控制器，其耦合到所述深度传感器。所述控制器被配置成在空间上和时间上使来自所述深度传感器中的每一个的输出同步，且在每一个别对象移动通过所述近似连续的FOV时跟踪每一个别对象在所述近似连续的FOV内的相应移动。
根据额外或替代实施方案，所述对象跟踪区包含电梯门厅。
根据额外或替代实施方案，所述对象跟踪区包含住宅、工业、军事、商业或市政性质的行人走道。
根据额外或替代实施方案，所述深度传感器的网络贯穿所述结构被部署为具有连续的重叠FOV。
根据额外或替代实施方案，所述空间同步是根据来自所述深度传感器中的每一个的输出与针对对象跟踪区和所述深度传感器中的每一个界定的坐标系之间的比较而获得。
根据额外或替代实施方案，所述时间同步是通过对网络时间的参考而获得。
根据额外或替代实施方案，所述时间同步是从所述深度传感器中的每一个的所述输出的时戳获得。
根据本公开的再另一方面，提供一种对象跟踪方法且包含：将深度传感器部署为具有至少近似连续的视场(FOV)；在空间上和时间上使所述深度传感器同步于世界坐标和参考时间；从每一深度传感器收集深度点；将所述深度点转换为所述世界坐标的深度点；将所述世界坐标的所述深度点投影到平面上；以及在所述参考时间的通过期间相对于所述世界坐标的所述深度点到所述平面的顺序图上的投影而执行数据关联，以在相对小数目的所述图中移除由投影深度点形成的离群小段轨迹且在相对大数目的所述图中将由投影深度点形成的剩余小段轨迹分组。
根据额外或替代实施方案，所述部署包含将所述深度传感器部署于被形成为界定对象跟踪区的结构内的网络中，使得所述近似连续的FOV与所述对象跟踪区的至少一部分重叠。
根据额外或替代实施方案，所述部署包含将所述深度传感器部署为具有连续的FOV。
根据额外或替代实施方案，所述深度传感器与所述世界坐标的所述空间上的同步包含将所述深度传感器中的每一个校准于所述世界坐标，且所述深度传感器与所述参考时间的所述时间上的同步包含链接到网络时间以及对所述深度传感器中的每一个的输出加时戳中的一个或多个操作。
根据额外或替代实施方案，所述相对小和大数目的所述图是可更新的。
根据额外或替代实施方案，所述方法进一步包含执行最近相邻者搜索以将所述剩余小段轨迹分组。
根据额外或替代实施方案，所述深度点向所述世界坐标的所述深度点的所述转换包含将所述深度点中的每一个转换为所述世界坐标的所述深度点。
根据额外或替代实施方案，所述方法进一步包含执行形状模型以聚合具有空间分布的多个点以用于后续投影，或者将多个投影点聚合为一点以用于后续跟踪。
从以下结合附图做出的描述将更显而易见这些和其它优点及特征。
附图说明
在说明书的结论处的权利要求书中具体指出且清楚地要求视为本公开的主题。本公开的前述和其它特征及优点从以下结合附图做出的详细描述中显而易见，附图中：
图1是基于深度信息在行人检测操作期间产生的图像、深度图和对象分段的序列的图示；
图2是根据实施方案的包含部署于结构中的深度传感器网络的系统的示意性从上到下的视图；以及
图3是根据实施方案的图2的系统的控制器的示意图；
图4是根据实施方案的控制器网络时间协议(NTP)服务器关系的示意图；
图5是图示根据实施方案的行人跟踪的方法的流程图；
图6是图示根据实施方案的行人跟踪的方法的流程图；
图7A是根据实施方案的关于从上到下的视图的深度传感器输出的图形描绘；
图7B是根据实施方案的从深度传感器输出取得的个别跟踪对象的图形描绘；
图7C是根据实施方案的从深度传感器输出取得的个别跟踪对象的图形描绘，其中离群小段轨迹被移除；
图7D是根据实施方案的从深度传感器输出取得的个别跟踪对象的图形描绘，其中剩余小段轨迹被分组；
图8A是根据实施方案的形状模型的图形描绘；以及
图8B是根据实施方案的形状模型的图形描绘。
从以下结合附图做出的描述将更显而易见这些和其它优点及特征。
具体实施方式
如下文将描述，提供行人跟踪系统以跨越宽广区域准确地跟踪多个移动的行人。所述行人跟踪系统包含具有近连续视场(FOV)的多个传感器(例如，2D、3D或深度传感器)，或在一个实施方案中具有连续FOV的多个空间上重叠的传感器。在任一情况下，所述多个传感器中的每一个都有能力区别多个移动的对象，即使当那些移动对象中的一些被遮挡时也是如此。
参见图1，与2D红绿蓝(RGB)监视摄像机相比，深度传感器提供三维(3D)信息，其包含对象与深度传感器之间的距离。可使用的各种3D深度感测技术和装置包含(但不限于)结构光测量、相移测量、飞行时间测量、立体三角测量装置、片光三角测量装置、光场相机、编码光圈相机、计算成像技术、同时定位与制图(SLAM)、成像雷达、成像声纳、回声定位、激光雷达、扫描光检测与测距(LIDAR)、闪光LIDAR，或包含前述各项中的至少一者的组合。不同技术可包含主动(发射和接收信号)或被动(仅接收信号)，且可以在例如可见、红外、超声等电磁或声学谱的频带中操作。在各种实施方案中，3D深度传感器可以操作以从散焦、聚焦的一叠图片或运动恢复结构中产生3D信息。类似地，2D深度传感器提供包含对象与深度传感器之间的距离的二维信息。
这些是常规2D可见谱成像与深度感测之间的定性和定量差异。在2D成像(等效地还有2D视频，因为2D视频包含连续的2D图像)中，在从相机的每一径向方向上来自第一对象的反射颜色(波长的混合)被捕获。那么图像是3D世界的2D投影，其中每一像素是源照明以及场景中的对象的谱反射率(且可能是对象自身的发射率)的组合谱。在深度感测中，不存在颜色(谱)信息。而是，每一“像素”是在从深度传感器的每一径向方向上到第一对象的距离(深度，范围)。来自深度感测的数据通常称为深度图或点云。
有时，深度图或点云相近地称为深度图像或3D图像，但在所述词语的任何常规意义上不是图像。大体上，2D图像无法转换为深度图，且深度图无法转换为2D图像(邻近的颜色或灰度级对邻近深度的人工指派允许人粗略地解译深度图，有点类似于人如何看见如图1中的2D图像。
如图1中所示，两个行人1和2的位置重叠，使得二维(2D)对象检测算法无法将他们分离(如序列中的第一图像中所示)。然而，由于其深度值是不相等的(参见例如序列中的第二深度图)，可见深度信息的使用为深度传感器提供了分离对象且进而检测例如行人1和2的分开对象的能力，具有相对高的准确性和遮挡容限(如序列中的第三和第四分段处理结构中所示)。
参见图2，提供对象跟踪系统10。对象跟踪系统10可以包含结构11或部署于结构11中，所述结构11被形成为界定对象跟踪区12。对象跟踪区12可以设置为住宅、工业、军事、商业或市政性质的电梯门厅或行人走道或者任何其它界定的区或空间。对象跟踪系统10可以进一步包含3D深度传感器141-n的网络和控制器20。3D深度传感器141-n的网络贯穿结构11而部署以具有至少近似连续的组合视场(FOV)15，所述组合视场由3D深度传感器141-n中的每一个的相应FOV 151-n构成且与对象跟踪区12的至少一部分重叠。控制器20耦合到或以其它方式安置成与3D深度传感器141-n中的每一个成信号通信(参见图3)。
如本文使用，近似连续的组合FOV 15可以特征在于，3D深度传感器141-n中的每一个的相应FOV 151-n与相邻FOV 151-n的显著部分重叠，或者在此重叠未提供或不可能的程度上，如同对象跟踪区12内的拐角或隐藏区域的情况，相邻FOV151-n之间的空间被配置成与FOV151-n的总体大小相比是相对小的。
虽然本文提供的描述涉及3D深度传感器，但应了解，其中传感器为2D和/或3D深度传感器的混合的实施方案也是存在的。在2D深度传感器的情况下，特定来说，这些传感器将提供关于对象与2D深度传感器之间的距离的深度信息，但可能不提供关于对象的形状和大小的额外细节。本文对3D深度传感器的引用因此是为了清晰和简明而做出，且不应解释为以其它方式整体地限制权利要求书或申请的范围。
根据实施方案，3D深度传感器141-n中的每一个可以包含或被设置为深度传感器，或者更特定来说作为KinectTM或AstraTM传感器。
参见图3，控制器20可以包含处理单元30l、存储器单元302以及被安置成至少与3D深度传感器141-n成信号通信的联网单元303。存储器单元302上存储有可执行指令，所述指令可以由处理单元301读取和执行。当可执行指令由处理单元301读取和执行时，所述可执行指令致使处理单元在空间上和时间上使来自3D深度传感器141-n中的每一个的输出同步，感测、跟踪、观察或识别近似连续的组合FOV 15内的个别对象，且在个别对象中的每一个移动通过近似连续的组合FOV 15时跟踪个别对象中的每一个的相应移动。
在此时应注意，跟踪对于将个别对象中的每一个进行分段可能存在困难。因此，跟踪算法可以包含或具有轨迹分叉和汇合(fork and join)能力。如本文使用，分叉和汇合能力指代一个轨迹分离为多于一个轨迹以及一个或多个轨迹合并为一个轨迹。
根据实施方案，根据来自3D深度传感器141-n中的每一个的输出与针对对象跟踪区12且针对3D深度传感器141-n中的每一个界定的坐标系之间的比较，处理单元301可以获得空间同步。通过对网络时间的参考以及来自3D深度传感器141-n中的每一个的输出的时戳中的一个或多个，处理单元301可以获得时间同步。
根据实施方案，所述坐标系可以设置为笛卡尔坐标系。然而应了解并不要求如此，且可使用任何其它坐标系，只要其可贯穿对象跟踪区12一致地建立即可。
参见图4，网络时间可以由被安置成与控制器20成信号通信的网络时间协议(NTP)服务器401维持，所述服务器可以是奇异特征/服务器或者跨越用于3D深度传感器141-n中的一个或多个的多个个别控制器402有效分布的特征/服务器。在后一种情况下，多个个别控制器402可以经由例如因特网、局部网络或任何其它已知网络等网络而链接，且3D深度传感器141-n可以经由USB连接或任何其它已知连接而链接。
根据实施方案，时间同步和/或参考时间也可以考虑来自3D深度传感器141-n中的每一个的一组三坐标深度点之间的时间间隔。
虽然上文将3D深度传感器141-n的网络描述为贯穿结构11而部署以具有由3D深度传感器141-n中的每一个的相应FOV 151-n构成的至少近似连续的组合视场(FOV)15，但应了解，3D深度传感器141-n的网络可以贯穿结构11而部署以具有由3D深度传感器141-n中的每一个的相应FOV 151-n构成的连续的组合视场(FOV)15。为了清晰和简明的目的，以下描述将涉及3D深度传感器141-n的网络贯穿结构11而部署以具有连续的组合视场(FOV)15的情况。
参见图5，提供对象跟踪方法。
如图5中所示，对象跟踪方法初始包含将3D深度传感器部署为具有至少近似连续的组合FOV或连续的组合FOV(框501)。根据实施方案，3D深度传感器的部署可以包含将3D深度传感器部署于被形成为界定对象跟踪区的结构内的网络中，使得近似连续或连续的组合FOV与对象跟踪区的至少一部分重叠。
在任一情况下，对象跟踪方法进一步包含在空间上和时间上使3D深度传感器分别同步于世界坐标(或坐标系)和参考时间(框502和503)。如上文阐释，框502的空间同步可以根据3D深度传感器输出与针对对象跟踪区和3D深度传感器中的每一个而界定的坐标系之间的比较而获得。如上文阐释，框503的时间同步可以通过对网络时间的参考以及来自3D深度传感器的输出的时戳中的一个而获得。
因此，根据实施方案，框502的3D深度传感器与世界坐标的空间同步可以包含将3D深度传感器中的每一个校准于世界坐标(框5021)。类似地，框503的3D深度传感器与参考时间的时间同步可以包含链接到网络时间(框5031)以及对3D深度传感器中的每一个的输出加时戳(框5032)中的一个。
所述方法接着可以包含从每一3D深度传感器收集三坐标深度点(框504)，将三坐标深度点中的至少两个转换为世界坐标的深度点(框505)，以及将世界坐标的深度点投影到2D平面上(框506)。框504的三坐标深度点的收集可相对于3D深度传感器的输出而进行，且若干收集的三坐标深度点可提前或在收集过程自身期间根据三坐标深度点的展开的分析而建立(即，小的展开可能需要较少点，而较大的展开可能需要较大数目的点)。
框505和506的转换和投影可以按任何次序执行。
所述方法还可以包含执行数据关联(框507)。框507的数据关联的执行是在参考时间的通过期间相对于世界坐标的深度点到2D平面的顺序图或框架上的投影而进行。数据关联的执行因此用以移除或促进移除在相对小且可更新数目的图或框架中由投影深度点形成的离群小段轨迹，且在相对大且可更新数目的图或框架中将由投影深度点形成的剩余小段轨迹分组。根据实施方案，相对小和大数目的图或框架可以根据对象跟踪方法的所需准确性、可用的计算时间和资源以及历史记录来更新。
对象跟踪方法可以进一步包含执行最近相邻者搜索以将剩余小段轨迹分组(框508)。这可例如通过在计算装置上的图像辨识的自动过程来完成。
参见图6，提供对象跟踪方法。
如图6中所示，对象跟踪方法包含将3D深度传感器部署为具有至少近似连续的组合FOV或连续的组合FOV(框601)。根据实施方案，3D深度传感器的部署可以包含将3D深度传感器部署于被形成为界定对象跟踪区的结构内的网络中，使得近似连续或连续的组合FOV与对象跟踪区的至少一部分重叠。
在任一情况下，对象跟踪方法进一步包含在空间上和时间上使3D深度传感器分别同步于世界坐标(或坐标系)和参考时间(框602和603)。如上文阐释，框602的空间同步可以根据3D深度传感器输出与针对对象跟踪区和3D深度传感器中的每一个而界定的坐标系之间的比较而获得。如上文阐释，框603的时间同步可以通过对网络时间的参考以及来自3D深度传感器的输出的时戳中的一个而获得。
因此，根据实施方案，框602的3D深度传感器与世界坐标的空间同步可以包含将3D深度传感器中的每一个校准于世界坐标(框6021)。类似地，框603的3D深度传感器与参考时间的时间同步可以包含链接到网络时间(框6031)以及对3D深度传感器中的每一个的输出加时戳(框6032)中的一个。
所述方法接着可以包含从每一3D深度传感器收集三坐标深度点(框604)，将三坐标深度点中的每一个转换为世界坐标的深度点(框605)，以及将世界坐标的深度点投影到2D平面上(框606)。框604的三坐标深度点的收集可相对于3D深度传感器的输出而进行，且若干收集的三坐标深度点可提前或在收集过程自身期间根据三坐标深度点的展开的分析而建立(即，小的展开可能需要较少点，而较大的展开可能需要较大数目的点)。
框605和606的转换和投影可以按任何次序执行。
所述方法还可以包含执行数据关联(框607)。框607的数据关联的执行是在参考时间的通过期间相对于世界坐标的深度点到2D平面的顺序图或框架上的投影而进行。数据关联的执行因此用以移除或促进移除在相对小且可更新数目的图或框架中由投影深度点形成的离群小段轨迹，且在相对大且可更新数目的图或框架中将由投影深度点形成的剩余小段轨迹分组。根据实施方案，相对小和大数目的图或框架可以根据对象跟踪方法的所需准确性、可用的计算时间和资源以及历史记录来更新。
对象跟踪方法可以进一步包含执行形状模型以聚合具有特定空间分布的多个点(模型)以用于到世界坐标平面的后续投影和跟踪，或者将多个投影点聚合为一个点以用于后续跟踪(框608)。这可例如通过在计算装置上的图像辨识的自动过程来完成。
根据实施方案，如框608中通过使用形状模型将点聚合为表示一个对象的一个点可以通过使点群聚并通过使点到形状模型的绝对距离之和最小化而将每一群集的点拟合于形状模型来实现。所述群聚可以通过K均值、期望最大化(EM)、模糊C均值、层次群聚、高斯混合和类似方法进行。相关联距离度量可以是闵可夫斯基度量，其中p＝1、2或∞和类似情况。所述形状模型可以是低阶人类运动学模型(骨骼)、x-y质心模型(竖直线)和类似模型。一些模型可以在优化中包含额外参数，例如用于姿态和比例。
参见图7A到7D，提供图5的方法的图形描绘。
如图7A中所示，两个不同但类型形状和大小的对象701和702的深度点如上所述投影到2D平面上，所述深度点是在对象701和702以不同轨迹从初始点P、围绕终点EP且回到初始点P移动通过界定空间时从多个3D深度传感器取得。
如图7B中所示，每一3D深度传感器个别地跟踪对象701和702。取决于数学假设，个别3D深度传感器跟踪可以通过线性或非线性贝叶斯估计技术来执行，所述技术包含卡尔曼滤波器和粒子滤波器两者。此跟踪可以导致对象701的大量第一小段轨迹7011以及对象702的大量第二小段轨迹7022。
在第一小段轨迹7011中，移除被界定为由仅在少量图或框架中发生的点产生的那些第一小段轨迹7011的离群第一小段轨迹7011，如图7C中所示(相对于图7B)。类似地，在第二小段轨迹7012中，移除被界定为由仅在少量图或框架中发生的点产生的那些第二小段轨迹7012的离群第二小段轨迹7012，如图7C中所示(相对于图7B)。
最后，如图7D中所示，执行数据关联以通过最近相邻者搜索将剩余第一小段轨迹7011分组在一起，且通过最近相邻者搜索将剩余第二小段轨迹7012分组在一起。对于最近相邻者搜索，可以将两个小段轨迹之间的距离界定为弗雷歇距离(Frechet distance)。图7D的所得轨线因此指示当记录数据时两个对象701和702(即，行人)在如上所述的深度传感器网络(即，图2的连续组合FOV15)中移动。
在近似连续FOV的情况下，一个对象的小段轨迹之间可能存在间隙，所述间隙对应于所述对象不在任何深度传感器FOV内的时候。跨越间隙的小段轨迹关联可以基于位置以及例如速度和加速度等额外参数使用度量学习和相干动力学通过网络流优化来实现。
对于图8A，来自一个深度传感器的对象801的深度传感器数据以及来自另一深度传感器的对象802的深度传感器数据由于形状模型的使用而彼此关联。在此情况下，可采用人的全3D形状模型以如本文在别处描述而聚合深度传感器数据。所述一个深度传感器的所得聚合数据点可以投影到2D平面作为所述一个深度传感器的小段轨迹的部分。对于图8B，来自一个深度传感器的对象801的深度传感器数据以及来自另一深度传感器的对象802的深度传感器数据由于形状模型的使用而彼此关联。在此情况下，也采用人的全3D形状模型以聚合深度传感器数据。所述另一深度传感器的所得聚合数据点可以投影到2D平面作为所述另一深度传感器的小段轨迹的部分。可以如本文在别处描述使所述小段轨迹关联。在替代实施方案中，深度传感器数据可以首先投影到2D平面，且可以采用2D形状模型以将投影的深度传感器数据聚合为作为小段轨迹的部分的聚合数据点。
本文描述的特征的益处是跨越采用空间和时间一致性的多个深度传感器使用多个同时对象跟踪对行人的准确、宽广区域跟踪，以及用于改善的跟踪准确性的多视角形状模型的使用。
虽然结合仅有限数目的实施方案详细提供了本公开，但应容易了解，本公开不限于这些公开的实施方案。而是，可以修改本公开以并入前文未描述但与本公开的精神和范围一致的任何数目的变化、更改、替换或等效布置。另外，虽然已经描述本公开的各种实施方案，但应了解，示例性实施方案可以包含所描述示例性方面中的仅一些方面。因此，本公开不应视为受前述描述的限制，而是仅受所附权利要求书的范围的限制。

Claims (20)

1.一种对象跟踪系统，包括：
深度传感器，其被部署为具有至少近似连续的视场(FOV)；以及
控制器，其耦合到所述深度传感器且被配置成：
在空间上和时间上使来自所述深度传感器的输出同步，以及
在每一个别对象移动通过所述近似连续的FOV时跟踪个别对象在所述近似连续的FOV内的相应移动。
2.根据权利要求1所述的对象跟踪系统，其中所述深度传感器被部署为具有连续的FOV。
3.根据权利要求1所述的对象跟踪系统，其中所述空间同步是根据来自所述深度传感器的输出与针对对象跟踪区和所述深度传感器界定的坐标系之间的比较而获得。
4.根据权利要求1所述的对象跟踪系统，其中所述时间同步是通过对网络时间的参考以及所述深度传感器的所述输出的时戳中的一个或多个而获得。
5.一种对象跟踪系统，包括：
结构，其被形成以界定对象跟踪区；
深度传感器的网络，所述深度传感器贯穿所述结构而部署以具有至少近似连续的视场(FOV)，所述近似连续的FOV与所述对象跟踪区的至少一部分重叠；以及
控制器，其耦合到所述深度传感器，所述控制器被配置成：
在空间上和时间上使来自所述深度传感器中的每一个的输出同步，以及
在每一个别对象移动通过所述近似连续的FOV时跟踪每一个别对象在所述近似连续的FOV内的相应移动。
6.根据权利要求5所述的对象跟踪系统，其中所述对象跟踪区包括电梯门厅。
7.根据权利要求5所述的对象跟踪系统，其中所述对象跟踪区包括住宅、工业、军事、商业或市政性质的行人走道。
8.根据权利要求5所述的对象跟踪系统，其中所述深度传感器的网络贯穿所述结构而被部署为具有连续的FOV。
9.根据权利要求5所述的对象跟踪系统，其中所述空间同步是根据来自所述深度传感器中的每一个的输出与针对所述对象跟踪区和所述深度传感器中的每一个界定的坐标系之间的比较而获得。
10.根据权利要求5所述的对象跟踪系统，其中所述时间同步是通过对网络时间的参考而获得。
11.根据权利要求5所述的对象跟踪系统，其中所述时间同步是从所述深度传感器中的每一个的所述输出的时戳获得。
12.一种对象跟踪方法，包括：
将深度传感器部署为具有至少近似连续的视场(FOV)；
在空间上和时间上使所述深度传感器同步于世界坐标和参考时间；
从每一深度传感器收集深度点；
将所述深度点转换为所述世界坐标的深度点；
将所述世界坐标的所述深度点投影到平面上；以及
在所述参考时间的通过期间相对于所述世界坐标的所述深度点到所述平面的顺序图上的投影而执行数据关联，以在相对小数目的所述图中移除由投影深度点形成的离群小段轨迹且在相对大数目的所述图中将由投影深度点形成的剩余小段轨迹分组。
13.根据权利要求12所述的对象跟踪方法，其中所述部署包括将所述深度传感器部署于被形成为界定对象跟踪区的结构内的网络中，使得所述近似连续的FOV与所述对象跟踪区的至少一部分重叠。
14.根据权利要求12所述的对象跟踪方法，其中所述部署包括将所述深度传感器部署为具有连续的FOV。
15.根据权利要求12所述的对象跟踪方法，其中所述深度传感器与所述世界坐标的所述空间上的同步包括将所述深度传感器中的每一个校准于所述世界坐标。
16.根据权利要求12所述的对象跟踪方法，其中所述深度传感器与所述参考时间的所述时间上的同步包括链接到网络时间以及对所述深度传感器中的每一个的输出加时戳中的一个或多个操作。
17.根据权利要求12所述的对象跟踪方法，其中所述相对小和大数目的所述图是可更新的。
18.根据权利要求12所述的对象跟踪方法，进一步包括执行最近相邻者搜索以将所述剩余小段轨迹分组。
19.根据权利要求12所述的对象跟踪方法，其中所述深度点向所述世界坐标的所述深度点的所述转换包括将所述深度点中的每一个转换为所述世界坐标的所述深度点。
20.根据权利要求19所述的对象跟踪方法，进一步包括执行形状模型以聚合具有空间分布的多个点以用于后续投影，或者将多个投影点聚合为一点以用于后续跟踪。
CN201810211942.2A 2018-03-05 2018-03-05 使用深度传感器网络的行人跟踪 Pending CN110232701A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810211942.2A CN110232701A (zh) 2018-03-05 2018-03-05 使用深度传感器网络的行人跟踪
US16/279,412 US20190273871A1 (en) 2018-03-05 2019-02-19 Pedestrian tracking using depth sensor network
DE102019202901.9A DE102019202901A1 (de) 2018-03-05 2019-03-04 Fußgängerverfolgung unter Verwendung eines Tiefensensornetzwerks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810211942.2A CN110232701A (zh) 2018-03-05 2018-03-05 使用深度传感器网络的行人跟踪

Publications (1)

Publication Number Publication Date
CN110232701A true CN110232701A (zh) 2019-09-13

Family

ID=67622663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810211942.2A Pending CN110232701A (zh) 2018-03-05 2018-03-05 使用深度传感器网络的行人跟踪

Country Status (3)

Country Link
US (1) US20190273871A1 (zh)
CN (1) CN110232701A (zh)
DE (1) DE102019202901A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747443B2 (en) * 2019-08-05 2023-09-05 Tellus You Care, Inc. Non-contact identification of multi-person presence for elderly care
DE102019219750B4 (de) * 2019-12-16 2021-11-25 Zf Friedrichshafen Ag Fahrerassistenzsystem und Verfahren zum Detektieren von Objektbarrieren in 3D-Punktewolken

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622762A (zh) * 2011-01-31 2012-08-01 微软公司 使用深度图的实时相机跟踪
US20130208124A1 (en) * 2010-07-19 2013-08-15 Ipsotek Ltd Video analytics configuration
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
US20140347475A1 (en) * 2013-05-23 2014-11-27 Sri International Real-time object detection, tracking and occlusion reasoning
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法
US20160292522A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Traffic list generation for passenger conveyance
US20160289042A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Depth sensor based passenger sensing for passenger conveyance control
US20160377698A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208124A1 (en) * 2010-07-19 2013-08-15 Ipsotek Ltd Video analytics configuration
CN102622762A (zh) * 2011-01-31 2012-08-01 微软公司 使用深度图的实时相机跟踪
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
US20140347475A1 (en) * 2013-05-23 2014-11-27 Sri International Real-time object detection, tracking and occlusion reasoning
US20160292522A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Traffic list generation for passenger conveyance
US20160289042A1 (en) * 2015-04-03 2016-10-06 Otis Elevator Company Depth sensor based passenger sensing for passenger conveyance control
US20160377698A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices

Also Published As

Publication number Publication date
US20190273871A1 (en) 2019-09-05
DE102019202901A1 (de) 2019-09-05

Similar Documents

Publication Publication Date Title
JP6295645B2 (ja) 物体検出方法及び物体検出装置
US8180107B2 (en) Active coordinated tracking for multi-camera systems
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110458897B (zh) 多摄像头自动标定方法及系统、监控方法及系统
JP5147761B2 (ja) 画像監視装置
TW201025193A (en) Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
EP2531952B1 (en) System and method for 2d occupancy sensing
US9959651B2 (en) Methods, devices and computer programs for processing images in a system comprising a plurality of cameras
Meinel et al. Automated real-time surveillance for ambient assisted living using an omnidirectional camera
KR20150021526A (ko) 데이터베이스 생성 및 업데이트를 위한 심도 기반 추적을 이용하는 자기 학습 얼굴 인식 기법
Drulea et al. Omnidirectional stereo vision using fisheye lenses
CN113160327A (zh) 一种点云补全的实现方法和系统
WO2022227761A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
JP5147760B2 (ja) 画像監視装置
CN114091601A (zh) 人员状况侦测的传感器融合方法
WO2022127181A1 (zh) 客流的监测方法、装置、电子设备及存储介质
CN110232701A (zh) 使用深度传感器网络的行人跟踪
KR101916093B1 (ko) 객체 추적 방법
Rahim et al. An adapted point based tracking for vehicle speed estimation in linear spacing
Kushwaha et al. Target tracking in heterogeneous sensor networks using audio and video sensor fusion
Woodstock et al. Sensor fusion for occupancy detection and activity recognition using time-of-flight sensors
Ibisch et al. Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage
Zhou et al. The chameleon-like vision system
Nakazawa et al. Calibration of multiple kinects with little overlap regions
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination