CN107646111A - 用于行人步道预测的系统和方法 - Google Patents

用于行人步道预测的系统和方法 Download PDF

Info

Publication number
CN107646111A
CN107646111A CN201580080173.1A CN201580080173A CN107646111A CN 107646111 A CN107646111 A CN 107646111A CN 201580080173 A CN201580080173 A CN 201580080173A CN 107646111 A CN107646111 A CN 107646111A
Authority
CN
China
Prior art keywords
distribution
pedestrian
energy
framing
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080173.1A
Other languages
English (en)
Other versions
CN107646111B (zh
Inventor
王晓刚
伊帅
李鸿升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of CN107646111A publication Critical patent/CN107646111A/zh
Application granted granted Critical
Publication of CN107646111B publication Critical patent/CN107646111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

公开了一种用于从视频帧预测行人步道的系统。在一个实施方案中，视频帧可包括以下各组帧中的至少一组：包括场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧。所述系统包括：能量分布生成装置，其生成视频帧的能量分布。所生成的能量分布包括以下至少一种分布的组合：第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布。所述系统进一步包括步道生成装置，所述步道生成装置与能量分布生成装置电通信并且根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。

Description

用于行人步道预测的系统和方法
技术领域
本公开涉及用于预测行人步道的系统和方法，特定地涉及用于理解来自静止人群群体的行人行为的系统和方法。
背景技术
行人行为建模和分析在视频监控方面扮演者重要的角色，并且近年来已吸引了越来越多的注意力。其可在各种应用中使用，包括行人步道预测、交通流分割、人群计数和分割、以及异常事件检测。
行人行为建模是具有挑战性的，尤其是针对具有人群的场景。现有的研究已表明，个体的步行行为会受到多种因素的影响，这些因素包括场景布局(例如，入口、出口、墙壁和障碍物)、行人意念(对来源地和目的地的选择)以及与其他移动行人的互动。然而，在对行人行为进行建模的文献中遗漏了一个重要的因素，即，静止人群群体。
静止人群群体对行人具有相当大的影响，且在行人行为建模方面至关重要。如图1(d)中所示，行人的步道受到静止人群群体的影响。然而，不对静止人群群体进行建模，便难以解释行人为什么在接近目的地时绕道，如图1(f)中所示。
研究还表明，静止人群群体比移动人群对行人行为的影响更大。为了避免与其他移动人群碰撞，行人通常改变步行速度而非方向。然而，当移动人群变成静止时，步行行人被迫改变他或她的方向因此对步道产生显著的影响。
如图1(e)中所示，静止人群群体可以为不同行人充当多重角色。对于正离开或加入静止人群群体的行人而言，可以将该静止人群群体看作来源地或目的地。对于正移动靠近静止人群群体的其他行人而言，可以将该静止人群群体看作障碍物。虽然静止人群群体与固定场景障碍物两者都会阻碍交通，但是行人可以选择步行穿过或绕开静止的人群群体，但是场景障碍物是固体因此行人无法穿过。此外，如图1(a)到图1(d)中所示，静止人群群体的空间分布可随时间的推移而改变，这导致交通模式的动态变化。因此，无法将静态模型用于静止人群群体建模。
发明内容
下文将给出本公开的简要概述，以能够基理解本公开的一些方面。本概述并非为本公开的广泛概述。其既不是用来标识本公开的关键或重要要素，又不旨在描绘本公开的特定实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化的形式给出本公开的一些概念，以作为下文中更详细描述的序言。
行人行为建模和分析对于理解人群场景是重要的，并且在视频监控中具有各种应用。静止人群群体是影响行人步行模式的重要因素，但在文献中被严重忽略。本申请提出了一种通过将静止人群群体包括作为关键部件来进行行人行为建模的新颖模型。通过对静止人群群体与行人之间的互动的影响，所提出的模型可以用来调查行人行为。通过多个应用来证明所提出的模型的有效性，这些应用包括步道预测、目的地预测、个性分类和异常事件检测。
在一个方面中，本申请被提出来用于至少解决行人步道预测的问题。其目的在于：假设来源地和目的地，基于场景结构、场景中的移动行人和场景中的静止群体来自动模拟哪条步行路线是行人很可能选择的步行路线。
在本申请的所提出的解决方案中，首次引入静止人群群体的因素以对行人行为进行建模。可以对步行穿过行人与步行绕过行人两者进行良好的建模。可以随着时间的流逝来动态地更新所提出的模型以适应静止人群群体的变化。
基于所提出的模型，本申请可以调查静止人群群体对行人行为的影响。通过学习模型参数，观察到静止人群群体比移动人群对行人步道的影响更大，这显示出在交通控制系统中监视静止群体的重要性。此外，通过对静止群体和移动行人当中的互动进行建模，提出个性属性以将行人分类为不同类别。这个属性是使每个个体具有不同表现的重要因素。一项有趣的观察是：当场景没那么拥挤时，人们的表现更有可能是保守的。相反，拥挤场景由于空间的缺乏而导致激进的步行模式。
根据一个或多个实施方案和对应的公开内容，描述了关于用于行人步道预测的系统和方法的各种非限制性方面。在实施方案中，提供一种系统以处理视频帧，视频帧包括以下各种帧中的至少一种帧：包括场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧。所述系统包括：能量分布生成装置，其生成视频帧的能量分布，所生成的能量分布包括第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一种分布的组合；以及步道生成装置，其根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
在实施方案中，公开了一种用于从视频帧预测行人步道的方法，其可包括：获得视频帧；将所获得的视频帧分割成包括至少一个场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧中的至少一组帧；从所分割的视频帧中生成视频帧的能量分布，所生成的能量分布包括第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一种分布的组合；以及根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
在其它实施方案中，公开了一种用于从视频帧进行行人步道预测的系统。视频帧包括以下至少一组帧：包括场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧，并且所述系统可包括：存储器，其存储可执行部件；以及处理器，其电联接到存储器来执行可执行部件以执行系统的操作。所述可执行部件包括：能量分布生成部件，其生成视频帧的能量分布，所生成的能量分布包括第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一种分布的组合；以及步道生成部件，其根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
以下描述和附图阐述了本公开的某些说明性方面。然而，这些方面指示可采用本公开的原理的各种方式中的仅少数方式。当结合附图考虑时，本公开的其他方面将自本公开的以下详细描述变得显而易见。
附图说明
下文参考附图来描述本发明的例示性非限制性实施方案。附图是说明性的，并且总不按确切的比例绘制。用相同的参考数字来引用不同图上的相同或类似元件。
图1(a)到图1(f)说明了行人行为预测的示意图，其中图1(a)到图1(b)示出了两个视频帧，图1(c)到图1(d)说明了使用所提出的模型从图1(a)到图1(b)计算得出的能量图，图1(e)是静止人群群体的多重角色的说明，且图1(f)说明了在不对静止人群群体的因素进行建模的情况下从图1(b)计算得出的能量图。
图2说明了根据本申请的一个实施方案的用于行人步道预测的系统的示意性框图。
图3说明了根据本申请的一个实施方案的如图1中所示的能量分布生成装置的示意性框图。
图4说明了根据本申请的一个实施方案的场景布局图/分布的示例。
图5说明了根据本申请的一个实施方案的移动行人影响图/分布的示例。
图6说明了根据本申请的一个实施方案的静止人群群体影响图/分布的示例。
图7说明了根据本申请的一个实施方案的路径生成的示例。
图8说明了根据本申请的另外的实施方案的用于行人步道预测的系统的示意性框图。
图9说明了根据本申请的另外的实施方案的用于行人步道预测的方法的流程过程的示意图。
图10是说明根据本申请的一个实施方案的如图9中所示的生成步骤的流程过程的示意图。
图11是说明根据本申请的另外的实施方案的用于行人步道预测的方法的流程过程的示意图。
图12说明了根据本申请的又一个实施方案的用于从视频帧进行行人步道预测的系统。
图13说明了根据本申请的又一个实施方案的用于从视频帧进行行人步道预测的系统。
具体实施方式
下面将详细参考本发明的一些特定实施方案，包括由发明人预期用于实施本发明的最佳模式。附图中说明了这些特定实施方案的示例。虽然结合这些特定实施方案描述了本发明，但应该理解，其并不旨在将本发明限制到所描述的实施方案。相反，其旨在涵盖如可包括在如由所附权利要求书限定的本发明的精神和范围内的所有替代例、修改和等效物。在以下描述中，阐述了众多特定细节以便提供对本发明的透彻理解在。实践本发明时，可没有这些特定细节中的一些或全部。在其他例子中，未详细描述众所周知的过程操作以便不必要地模糊本发明。
本文中所使用的术语仅用于描述特定实施方案的目的而非旨在限制本发明。如本文中所使用，除非上下文另有明确指示，否则单数形式“一”和“所述/该”也旨在包含复数形式。将进一步理解，当用于本说明书中时，术语“包括”规定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组的存在或添加。
图2说明了根据本申请的一个实施方案的用于行人步道预测的系统1000的示意性框图。如所示，系统1000包括能量分布生成装置100和电联接到装置100的步道生成装置200。能量分布生成装置100用于接收视频帧。这些视频帧可以获自监控系统或其他视频帧。所接收的视频帧可包括以下三组帧中的至少一种帧：包括至少一个场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧。能量分布生成装置100生成视频帧的能量分布，能量分布可以是第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一者的组合。步道生成装置200用于根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
图3说明了根据本申请的一个实施方案的如图2中所示的能量分布生成装置100的示意性框图。如所示，能量分布生成装置100可包括场景因素分割单元101、场景布局分布建模单元102、移动行人分布建模单元103、静止群体分布建模单元104和能量分布组合单元105。
在本申请中，应单独对不同的影响因素进行因式分解和建模，因此因素分割单元101用于分离每个影响因素(例如，场景障碍物、移动行人和静止行人)。特定地，场景因素分割单元101用于接收多个视频帧并将每个所输入的视频帧分割成多种类型的帧，诸如包括场景障碍物的帧、包括移动行人的帧和包括静止行人的帧。可以现有技术中的任一常规技术手段来进行分割。
场景布局图/分布建模单元102与因素分割单元101电通信，或电联接到因素分割单元101。场景布局图/分布建模单元102操作以接收包括所分离的场景障碍物的帧，并将这些帧建模为场景布局图/分布。行人的步行行为受场景布局的约束。由于墙壁和其他静态障碍物的约束，行人无法在场景中自由步行，因此在一些位置处无法观察到他们。此外，人们倾向于与这些障碍物保持距离因此不大可能在离它们很近的地方步行而过，因此当行人接近障碍物区域时观察到他们的概率减小。因此，为设定场景布局影响图/分布，场景布局图/分布建模单元102用于首先检测所有场景障碍物区域(诸如，所接收的图像帧中的墙壁、柱子)。由于行人永远不会步行穿过场景障碍物，所以场景布局图/分布建模单元102将场景障碍物区域内的能量值设定为0，并且靠近场景障碍物边界的位置应具有低能量值，因为不大可能靠近障碍物步行。根据到场景障碍物边界的距离来减小靠近场景障碍物的位置的能量值。
因此，将场景布局影响图/分布建模为：
其中SL是由不可到达的场景障碍物占据的一组位置， 测量从当前位置x到其最近场景障碍物位置y的距离，并且是指示场景布局项的影响带宽(其也可被看作重要性)的参数。如果∈SL，则在位置x处存在障碍物，并且d1(x,SL)＝0。在这种情况下，等于0，这意味着：行人无法出现在位置x处。当时，d1(x,SL)>0。当当前位置x接近场景障碍物时，迫近0。图4中示出了场景布局图/分布的示例，其中图4(a)说明了场景背景，图4(b)说明了沿图4(c)和图4(d)中的白色水平线的能量值，其中上部曲线呈现具有的能量值，且底部曲线呈现具有的能量值。图4(c)和图4(d)示出了通过将分别设定为0.01和0.05计算得出的两个场景影响图。能量在靠近场景边界处下降。
行人的步行行为会受到与其他移动行人的互动的影响。移动行人图/分布建模单元103将把移动行人建模为移动行人图/分布。特定地，移动行人图/分布建模单元103操作以定位来自包括移动行人的帧的所有移动行人，所述帧是从因素分割单元101接收的。然后，移动行人图/分布建模单元103将当前移动行人的位置处的能量值设定为0。由于行人很可能与其他移动行人保持私密空间，所以靠近移动行人的位置应具有低能量值。因此，移动行人图/分布建模单元103使靠近移动行人的位置的能量值减小，并将所有移动行人的能量值加起来，
将移动行人影响图/分布被建模为：
其中MPi(i∈[1；m])是第i个移动行人，是MPi在当前时间t的空间位置，用来估计MPi在时间t+1的空间位置，测量从当前位置x到移动行人MPi的距离，并且是移动行人项的影响带宽。图5中示出了移动行人影响图/分布的示例，其中图5(a)说明了视频帧，图5(b)说明了沿图5(c)和图5(d)中的水平虚线的能量值。图5(c)到图5(d)说明了通过将分别设定为0.01(顶部曲线)和0.05(底部曲线)计算得出的两个移动行人影响图。能量在移动行人周围下降。
另外，行人的步行行为会受到与其他静止群体的互动的影响。静止群体图/分布建模单元104将把静止行人建模到静止群体图/分布中。特定地，静止群体图/分布建模单元从因素分割单元101接收包括静止行人的帧，然后检测来自所接收的帧的所有静止群体。
行人很可能与其他静止群体保持私密空间，且因此静止群体图/分布建模单元104使靠近静止群体的位置具有低能量值(即，使靠近静止群体的位置的能量值减小)。另外，行人可步行穿过静止群体，且更有可能步行穿过稀疏的群体。因此，静止群体图/分布建模单元104将静止群体区域内部的能量值设定为小于1的固定值。在静止群体图/分布建模单元104中向稀疏的静止群体分配更大的能量值。最后，将把所有静止群体的作用(即，能量值)加起来。
在两个方面对静止人群群体进行建模。首先，对于绕过静止人群群体的行人而言，此静止人群群体类似地充当场景障碍物。该群体在群体区域周围具有斥力以保持远离移动行人。第二，对于步行穿过静止人群群体的行人而言，群体区域内部应存在惩罚(penalty)。这是与场景布局因素的关键差别，在所述场景布局因素中，障碍物无法穿透。惩罚与人群密度有关。更难以步行方式穿过更密集的静止人群。
将静止群体影响图/分布建模为：
其中SGi(i∈[1,n])是通过使用常规方法自动检测的第i个静止人群群体区域，测量从x到静止人群群体区域SGi的距离，θ3是静止人群群体项的影响带宽，且d4(SGi)∈(0,+∞)用来测量静止人群群体区域SGi的稀疏度。将d4计算为群体成员当中的平均距离。更大的d4表示更低的人群密度。权重θ4控制群体稀疏度对估计结果的影响。
如果x∈SGi，则位置x是在SGi内部，并且d3(x,SGi)＝0。fSG(x；Θ)在群体内部的位置x∈SGi处不变并且与群体稀疏度d4(SGi)正相关。fSG(x；Θ)是在(0,1)的范围中，这意味着：观察到步行穿过群体区域的行人的概率由于静止群体的影响而减小，但其仍大于0。
如果则x是在SGi之外，并且d3(x,SGi)＞0。影响值从群体边界到偏远位置增加。图6中示出了静止人群群体影响图/分布的示例。在图6中，左视图说明了通过使用不同的θ3和θ4从同一个帧计算得出的静止人群群体影响图。右视图说明了沿(左边)中的两条垂直线(a)和(b)的能量值。在沿线(a)和(b)获得的能量曲线中，顶部曲线表示具有 的能量值；在中间曲线中，并且以及在底部曲线中，并且比较两条最顶部曲线，应注意到，静止群体区域可通过设定非零而具有非零能量值。不同的群体由于密度差异可具有不同的能量值。通过设定差异消失，并且群体内部的能量值变为0。
在生成三种图/分布(即，场景布局图/分布、移动行人图/分布和静止群体图/分布)之后，将由总能量图/分布组合单元105将所有这三种图/分布组合成最终的总能量图/分布。根据本申请的一个实施方案，按照以下法则使场景布局能量图/分布fSL、移动行人图/分布fMP和静止群体图/分布fSG相乘以形成最终的总能量图/分布
M(x；Θ)＝fSL(x；θ1)fMP(x；θ2)fSG(x；θ3,θ4) 4)
其中是不同项的加权参数。M也是概率图/分布，并且可以用作行人出现在每个位置的概率。其可以通过包括新的通道而扩展。
在生成视频帧的能量分布M之后，步道生成装置200将使用快速行进算法，以使用快速行进算法来计算当前个体的最可能的步道。
为生成行人步道，可使用众所周知的快速行进算法。假设来源地xs和目的地xd，基于能量图/分布M来计算最优路径
其中是根据当前能量图/分布M的从xs到xd的最有效和最有可能的路线。图6中示出了若干示例。当使用个性化图/分布MP时，最优路径仅仅是针对特定的个体。当使用总图/分布M时，可以将最优路径看作普通行人的平均路径。图7说明了路径生成的示例。点701是来源地，点702是目的地，且点701与点702之间的曲线是通过等式5)计算得出的最优步行路线。
图8说明了根据本申请的另外的实施方案的用于行人步道预测的系统1000’的示意性框图。除能量分布生成装置100之外，系统1000’进一步包括个性化能量图/分布建模装置300和步道生成装置200’。
装置100在这个实施方案中的功能和操作与在如图2中所示的实施方案中的功能和操作相同，且因此省略其详细描述。
人在相同情形下可表现得不同。其通过个性参数P来建模。基于具有不同P值的总能量图/分布M来生成不同的个性化能量图/分布MP。对于不同的个体而言，个性化能量图/分布建模装置300将按照以下法则把总能量图/分布变换成个性化能量图/分布MP。
MP(x；Θ)＝exp(P×lnM(x；Θ)) 6)
如果P对于某个行人而言较大，则所有项的影响带宽将针对此个体等效地增大。能量值在靠近障碍物和静止人群群体的位置处较小。其表示这个行人对这些影响因素更在意，并且很可能步行更长的路以避免与这些障碍物密切接触。相反，更小的P意味着行人激进地步行而对障碍物不大在意。具体地说，如果P＝1，则个性化能量图/分布与总能量图/分布相同；P>1意味着此行人对这些影响因素更在意并且很可能步行更长的路以避免与这些障碍物密切接触，且不同位置的能量值以相同尺度减小；如果P<1，则其意味着行人激进地步行而对障碍物不大在意，并且不同位置的能量值以相同尺度增加。
步道生成装置200’将使用快速行进算法，以使用快速行进算法来计算当前个体的最可能的步道。为生成行人步道，可使用众所周知的快速行进算法。假设来源地xs和目的地xd，基于能量图/分布MP来计算最优路径
其中是是根据当前能量图/分布Mp的从xs到xd的最有效和最有可能的路线。图6中示出了若干示例。当使用个性化图/分布MP时，最优路径仅仅是针对特定的个体。
上文中，已论述了根据本申请的实施方案的系统1000和1000’。现在，将论述用于从视频帧进行行人步道预测的方法2000和2000’。
参考图9，说明了根据本申请的一个实施方案的用于行人步道预测的方法2000。在步骤S20处，方法2000获得视频帧。这些视频帧可以获自监控系统获得或其他视频帧。在步骤S40处，其将所获得的视频帧分割成包括至少一个场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧中的至少一者。在步骤S60处，其从所分割的视频帧中生成视频帧的能量分布，所生成的能量分布包括第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一种分布的组合。
图10是说明根据本申请的一个实施方案的如图9中所示的生成步骤的流程过程的示意图。特定地，在步骤S601处，其将来自第一组帧的一个或多个帧建模为场景布局能量分布/图。按照以下法则来对场景布局能量分布进行建模：将场景障碍物区域内的能量值设定为0；以及根据到场景障碍物的边界的距离来减小靠近场景障碍物的位置的能量值，这与场景布局图建模单元102的功能相同。
在步骤S602处，该过程定位来自第二组帧的所有移动行人并将所定位的移动行人建模为移动行人分布。按照以下法则来对移动行人分布进行建模：将当前移动行人的位置处的能量值设定为0；以及减小靠近移动行人的位置的能量值，这与移动行人图建模单元103的功能相同。
在步骤S603处，该过程检测来自第三组帧的所有静止群体以将静止行人建模到静止群体图/分布中。在本申请的一个实施方案中，按照以下法则来对静止群体分布进行建模：将静止群体区域内部的能量值设定为小于1的固定值；以及向静止群体分布中稀疏的静止群体分配更大的能量值，这与静止群体图建模单元104的功能相同。
在步骤S604处，将场景布局图/分布、移动行人图/分布和静止群体图/分布组合成能量图/分布。使场景布局能量分布、移动行人分布和静止群体分布相乘以形成能量分布。
再次返回到图9，过程200然后进行到步骤S80，在该步骤中，根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。步骤S80的细节描述可与步道生成装置200的细节描述相同。
图11是说明根据本申请的另外的实施方案的用于行人步道预测的方法的流程过程的示意图。步骤S20到S60与参考图9所论述的步骤相同，且因此本文中将省略其详细描述。
在步骤S70处，将在步骤S60处获得的能量分布变换成个性化能量分布，在该个性化能量分布中更大的能量值表示行人对这些影响因素更在意并且很可能步行更长的路以避免与这些障碍物密切接触，且更小的能量值意味着行人激进地步行而对障碍物不大在意。然后，在步骤S80’处，根据所生成的个性化能量分布来确定当前个体的最可能的步道，这与步道生成装置200’的操作相同。
如由本领域技术人员将了解，可将本发明体现为系统、方法或计算机程序产品。因此，本发明可采用完全硬件实施方案和硬件方面(本文中可将其总都称为“单元”、“电路”、“模块”或“系统”)。发明性功能的大部分和许多发明性原理在实现时最佳由集成电路(IC)支持，诸如数字信号处理器及因此软件或专用IC。尽管有可能付出巨大努力并且许多设计选择受(例如)可用的时间、当前的技术和经济考虑因素的驱使，但仍期待普通技术人员在本文中公开的概念和原理的引导下将容易能够用最少的实验产生IC。因此，为了简洁性并将模糊根据本发明的原理和概念的任何风险降到最低，对此类软件和IC(如果有的话)的进一步论述将限于就由优选实施方案所使用的原理和概念而言的要素。
另外，本发明可采用完全软件实施方案(包括固件、常驻软件、微码等)或结合软件的实施方案。此外，本发明可采用体现在任何有形的表现媒体中的计算机程序产品的形式，所述表现媒体具有体现在该媒体中的计算机可用程序代码。图12说明了用于从视频帧进行行人步道预测的系统3000。系统3000包括：存储器3001，其存储可执行部件；以及处理器3002，其电联接到存储器3001来执行可执行部件，以执行系统3000的操作。这些可执行部件可包括：能量分布生成部件1201，其用于生成视频帧的能量分布，所生成的能量分布包括第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一组帧的组合；以及步道生成装置1202，其用于根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。虽然以下各者未示出，但能量分布生成部件1201可包括以下部件：场景因素分割部件，其将视频帧中的每一帧分割成第一组帧、第二组帧和第三组帧；场景布局图建模部件，其从第一组帧接收一个或多个帧并将所接收的帧建模为场景布局能量分布；移动行人图建模部件，其定位来自第二组帧的所有移动行人并将所定位的移动行人建模为移动行人分布；静止群体图建模部件，其检测来自第三组帧的所有静止群体并将静止行人建模为静止群体图/分布；以及总能量分布组合单元，其将场景布局分布、移动行人分布和静止群体分布组合成能量分布。由于部件1201到1202的功能分别与装置100到200的功能相同，所以本文中省略其详细描述。
图13说明了用于从视频帧进行行人步道预测的系统3000’。系统3000包括：存储器3001，其存储可执行部件；以及处理器3002，其电联接到存储器3001来执行可执行部件，以执行系统3000的操作。这些可执行部件可包括：能量分布生成部件1201，其用于生成视频帧的能量分布，所生成的能量分布包括第一组帧的场景布局能量分布、第二组帧的移动行人分布和第三组帧的静止群体分布中的至少一者的组合；以及个性化能量分布建模部件1203，其将能量分布变换成个性化能量分布，其中在个性化能量分布中更大的能量值表示行人很可能步行更长的路以避免与障碍物密切接触，且更小的能量值意味着行人激进地步行而对障碍物不大在意。系统3000’进一步包括步道生成部件1202’，所述步道生成部件用于根据所生成的个性化能量分布来计算当前个体的最可能的步道。由于部件1201、1202’和1203的功能分别与装置100、300和200’的功能相同，所以本文中省略其详细描述。
虽然已描述了本发明的优选示例，但是本领域技术人员可以在知道基本发明性概念后即刻对这些示例作出变化或修改。所附权利要求旨在被视为包括优选示例并且所有变化或修改都落在本发明的范围内。

Claims (20)

1.一种从视频帧预测行人步道的系统，其中，所述视频帧包括以下至少之一：包括场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧，并且所述系统包括：
能量分布生成装置，其生成所述视频帧的能量分布，所生成的能量分布包括所述第一组帧的场景布局能量分布、所述第二组帧的移动行人分布和所述第三组帧的静止群体分布中的至少一种分布的组合；以及
步道生成装置，其与所述能量分布生成装置电通信，并且根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
2.根据权利要求1所述的系统，其中所述能量分布生成装置包括：
场景因素分割单元，其将所述视频帧中的每一帧分割成所述第一组帧、所述第二组帧和所述第三组帧；
场景布局图建模单元，其从所述第一组帧接收一个或多个帧并将所接收的帧建模为所述场景布局能量分布；
移动行人图建模单元，其对所述第二组帧的所有移动行人进行定位并将所定位的移动行人建模为所述移动行人分布；
静止群体图建模单元，其从所述第三组帧检测所有静止群体并将所述静止行人建模为所述静止群体分布；以及
能量分布组合单元，其将所述场景分布、所述移动行人分布和所述静止群体分布组合成所述能量分布。
3.根据权利要求2所述的系统，其中所述能量分布组合单元使所述场景布局能量分布、所述移动行人分布和所述静止群体分布相乘以形成所述能量分布。
4.根据权利要求2所述的系统，其中所述场景布局图建模单元按照以下法则将所接收的帧建模为所述场景布局能量分布：
将场景障碍物区域内部的能量值设定为0；以及
根据到所述场景障碍物的边界的距离减小靠近所述场景障碍物的位置处的能量值。
5.根据权利要求2所述的系统，其中所述移动行人图建模单元按照以下法则将所定位的移动行人建模为所述移动行人分布：
将所述当前移动行人的位置处的能量值设定为0；
减小靠近所述移动行人的位置处的能量值；以及
将所述能量值累加在一起。
6.根据权利要求2所述的系统，其中所述静止群体图建模单元按照以下法则将所述静止行人建模为所述静止群体分布：
将静止群体区域内部的能量值设定为小于1的固定值；
向所述静止群体分布中稀疏的静止群体分配更大的能量值；以及
将所述能量值累加在一起。
7.根据权利要求1到6中任一项所述的系统，其进一步包括：
个性化能量分布建模装置，其将所述能量分布变换成个性化能量分布，其中，在所述个性化能量分布中，更大的能量值表示行人很可能步行更长的路以避免与所述障碍物密切接触，而更小的能量值意味着所述行人激进地步行而对所述障碍物不大在意。
8.根据权利要求7所述的系统，其中所述步道生成装置进一步用于根据所生成的个性化能量分布来计算当前个体的最可能的步道。
9.一种用于从视频帧预测行人步道的方法，包括：
获得所述视频帧；
将所获得的视频帧分割成包括至少一个场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧中的至少之一；
从所分割的视频帧中生成所述视频帧的能量分布，所生成的能量分布包括所述第一组帧的场景布局能量分布、所述第二组帧的移动行人分布和所述第三组帧的静止群体分布中的至少一种分布的组合；以及
根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
10.根据权利要求9所述的方法，其中，所述生成包括：
将来自所述第一组帧的一个或多个帧建模为所述场景布局能量分布；
对所述第二组帧的所有移动行人进行定位并将所定位的移动行人建模为所述移动行人分布；
从所述第三组帧检测所有静止群体以将所述静止行人建模为所述静止群体分布；以及
将所述场景分布、所述移动行人分布和所述静止群体分布组合成所述能量分布。
11.根据权利要求10所述的方法，其中，所述场景布局能量分布、所述移动行人分布和所述静止群体分布相乘从而形成所述能量分布。
12.根据权利要求10所述的方法，其中按照以下法则来对所述场景布局能量分布进行建模：
将场景障碍物区域内部的能量值设定为0；以及
根据到所述场景障碍物的边界的距离来减小靠近所述场景障碍物的位置的能量值。
13.根据权利要求10所述的方法，其中按照以下法则来对所述移动行人分布进行建模：
将所述当前移动行人的位置处的能量值设定为0；
减小靠近所述移动行人的位置处的能量值；以及
将所述能量值累加在一起。
14.根据权利要求10所述的方法，其中按照以下法则来对所述静止群体分布进行建模：
将静止群体区域内部的能量值设定为小于1的固定值；
向所述静止群体分布中稀疏的静止群体分配更大的能量值；以及
将所述能量值累加在一起。
15.根据权利要求9到14中任一项所述的方法，其进一步包括：
将所述能量分布变换成个性化能量分布，在所述个性化能量分布中，更大的能量值表示行人很可能步行更长的路以避免与所述障碍物密切接触，且更小的能量值意味着所述行人激进地步行而对所述障碍物不大在意。
16.根据权利要求15所述的方法，其中所述确定最可能的步道进一步包括：
从所生成的个性化能量分布来确定当前个体的最可能的步道。
17.一种从视频帧预测行人步道的系统，其中，所述视频帧包括以下至少之一：包括场景障碍物的第一组帧、包括移动行人的第二组帧和包括静止行人的第三组帧，并且所述系统包括：
存储器，其存储可执行部件；以及
处理器，其电联接到所述存储器来执行所述可执行部件以执行所述系统的操作，其中，所述可执行部件包括：
能量分布生成部件，其生成所述视频帧的能量分布，所述所生成的能量分布包括所述第一组帧的场景布局能量分布、所述第二组帧的移动行人分布和所述第三组帧的静止群体分布中的至少一种分布的组合；以及
步道生成部件，其根据所生成的能量分布，通过使得沿步行路线的能量消耗最小，来确定当前个体的最可能的步道。
18.根据权利要求17所述的系统，其中所述能量分布生成部件包括：
场景因素分割部件，其将所述视频帧中的每一帧分割成所述第一组帧、所述第二组帧和所述第三组帧；
场景布局图建模部件，其从所述第一组帧接收一个或多个帧并将所接收的帧建模为所述场景布局能量分布；
移动行人图建模部件，其对所述第二组帧的所有移动行人进行定位并将所定位的移动行人建模为所述移动行人分布；
静止群体图建模部件，其从所述第三组帧检测所有静止群体并将所述静止行人建模为所述静止群体分布；以及
总能量分布组合部件，其将所述场景布局分布、所述移动行人分布和所述静止群体分布组合成所述能量分布。
19.根据权利要求17或18中任一项所述的系统，其进一步包括：
个性化能量分布建模部件，其将所述能量分布变换成个性化能量分布，所述个性化能量分布中，更大的能量值表示行人很可能步行更长的路以避免与所述障碍物密切接触，且更小的能量值意味着所述行人激进地步行而对所述障碍物不大在意。
20.根据权利要求19所述的系统，其中所述步道生成部件进一步用于根据所述所生成的个性化能量分布来计算当前个体的所述最可能的步道。
CN201580080173.1A 2015-05-19 2015-05-19 用于行人步道预测的系统和方法 Active CN107646111B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/079256 WO2016183793A1 (en) 2015-05-19 2015-05-19 Systems and methods for pedestrian walking path prediction

Publications (2)

Publication Number Publication Date
CN107646111A true CN107646111A (zh) 2018-01-30
CN107646111B CN107646111B (zh) 2021-04-09

Family

ID=57319161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080173.1A Active CN107646111B (zh) 2015-05-19 2015-05-19 用于行人步道预测的系统和方法

Country Status (2)

Country Link
CN (1) CN107646111B (zh)
WO (1) WO2016183793A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131756A (zh) * 2020-10-10 2020-12-25 清华大学 一种考虑个体激进度的行人穿行场景仿真方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183445A (zh) * 2007-12-20 2008-05-21 浙江大学 一种灾难突发环境下面向城市交通的人员疏散方法
CN101895953A (zh) * 2010-07-09 2010-11-24 中国科学院软件研究所 一种基于传感器网络的室内应急导航方法
CN102682303A (zh) * 2012-03-13 2012-09-19 上海交通大学 基于lbp加权社会力模型的人群异常事件检测方法
CN103106302A (zh) * 2013-01-23 2013-05-15 南京大学 一种基于地理元胞自动机的行人流仿真方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031443A (ja) * 2004-07-16 2006-02-02 Denso Corp 衝突回避通知システム
US8229164B2 (en) * 2006-07-10 2012-07-24 Synthesis Corporation Pedestrian tracking method and pedestrian tracking device
CN104442571B (zh) * 2014-11-26 2016-06-01 重庆长安汽车股份有限公司 一种夜视导航集成系统及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183445A (zh) * 2007-12-20 2008-05-21 浙江大学 一种灾难突发环境下面向城市交通的人员疏散方法
CN101895953A (zh) * 2010-07-09 2010-11-24 中国科学院软件研究所 一种基于传感器网络的室内应急导航方法
CN102682303A (zh) * 2012-03-13 2012-09-19 上海交通大学 基于lbp加权社会力模型的人群异常事件检测方法
CN103106302A (zh) * 2013-01-23 2013-05-15 南京大学 一种基于地理元胞自动机的行人流仿真方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUAI YI等: "L0 Regularized Stationary Time Estimation for Crowd Group Analysis", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
SHUAI YI等: "Profiling stationary crowd groups", 《2014 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 *
任治国 等: "面向动态场景视频的虚拟行人路径规划", 《计算机辅助设计与图形学学报》 *
王爱丽 等: "基于社会力的行人交通微观仿真模型研究", 《系统仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131756A (zh) * 2020-10-10 2020-12-25 清华大学 一种考虑个体激进度的行人穿行场景仿真方法
CN112131756B (zh) * 2020-10-10 2021-04-30 清华大学 一种考虑个体激进度的行人穿行场景仿真方法

Also Published As

Publication number Publication date
WO2016183793A1 (en) 2016-11-24
CN107646111B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Hartmann Adaptive pedestrian dynamics based on geodesics
US20210064792A1 (en) Artificial intelligence device for guiding furniture placement and method of operating the same
JP7047944B2 (ja) 映像監視システム、映像監視方法、及びプログラム
Ma et al. Forecasting interactive dynamics of pedestrians with fictitious play
JP2022023129A (ja) 誘導支援装置、誘導支援システム、誘導支援方法及びプログラム
US20190026560A1 (en) Human flow analysis method, human flow analysis apparatus, and human flow analysis system
Qiu et al. Modeling group structures in pedestrian crowd simulation
CN103279800B (zh) 基于博弈论的大规模人群疏散最优逃生路线生成方法
US20080221730A1 (en) Behavior control apparatus, method, and program
US20060155436A1 (en) Route generating system for an autonomous mobile robot
JP2019023858A (ja) 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム
EP2128818A1 (en) Method of moving target tracking and number accounting
Köster et al. Microscopic pedestrian simulations: From passenger exchange times to regional evacuation
JP2004534999A (ja) 最小コスト基準に基く一以上の目的地の経路設定方法及び装置
KR101868695B1 (ko) 이동 로봇 제어 방법
WO2016170767A1 (ja) 群集誘導装置、群集誘導システム、群集誘導方法、および、記憶媒体
Liu et al. Determining the effective distance of emergency evacuation signs
KR20190096871A (ko) 복수의 로봇들을 관제하는 인공 지능 서버 및 그 방법
KR20190002152A (ko) 진입제한영역을 식별하는 방법 및 이를 구현하는 로봇
JP2005255404A (ja) エレベータ制御装置
CN114862070B (zh) 预测人群疏散能力瓶颈的方法、装置、设备及存储介质
KR20190096857A (ko) 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법
KR102231922B1 (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 인공 지능 서버
Colombi et al. A discrete mathematical model for the dynamics of a crowd of gazing pedestrians with and without an evolving environmental awareness
Chen et al. Pedestrian behavior prediction model with a convolutional LSTM encoder–decoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant