CN113632141A - 用于从控制输入和有限观测预测动力学流的方法和系统 - Google Patents

用于从控制输入和有限观测预测动力学流的方法和系统 Download PDF

Info

Publication number
CN113632141A
CN113632141A CN202080023778.8A CN202080023778A CN113632141A CN 113632141 A CN113632141 A CN 113632141A CN 202080023778 A CN202080023778 A CN 202080023778A CN 113632141 A CN113632141 A CN 113632141A
Authority
CN
China
Prior art keywords
scene
sample points
state
operator
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080023778.8A
Other languages
English (en)
Other versions
CN113632141B (zh
Inventor
H·曼苏尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN113632141A publication Critical patent/CN113632141A/zh
Application granted granted Critical
Publication of CN113632141B publication Critical patent/CN113632141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

用于确定场景中的对象的流状态的系统和方法。这些方法和系统包括测量场景的观测样本点处的流状态，其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合。在存储器中存储指定场景中的对象的流的训练状态的时变动力学的算子。使用算子以及观测样本点子集处的测量的状态来估计场景的未观测样本点子集处的对象的流状态。输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。

Description

用于从控制输入和有限观测预测动力学流的方法和系统
技术领域
本公开涉及用于人群预测的方法和系统，更具体地，涉及使用动力学系统分析的分割和识别。
背景技术
从有限观测数据完成动态流是诸如人流估计、气流感测以及天气和洋流预测的许多领域中出现的常见问题。
例如，关于人流估计，视频中行人的密集人群内的运动流的分割是人群安全和人群控制应用中的必不可少的工具。即使在正常情况下，拥挤场景的视频也可表现出复杂的人群行为。例如，诸如火车站的大型稠密区域中的人流可最初看起来混乱。然而，通常情况下流中存在可取的是从非结构化流识别并分割的低维动力学结构。此外，独立人流的自动分割有助于监测和预测拥挤环境中的危险情况。
特别感兴趣的是使用从视频提取的运动信息来检测和估计人流。可使用对视频中的纹理(即，像素强度)应用的光流估计来确定运动向量，或者可直接从比特流提取运动向量。比特流可使用例如MPEG、H.264、HEVC等的任何熟知编码标准来编码。
将拥挤场景中的行人视为流中的粒子，视频帧的运动向量对应于流中在时间实例处粒子速度的观测。处理运动向量而非视频纹理保护了监控视频中观测的个体的隐私。
U.S.8773536公开了一种检测监控视频中的独立运动的方法。该方法通过将纹理梯度与运动向量进行比较来从视频的宏块构造线性系统。当运动相对于线性系统被标记为统计离群点时，检测到独立流。
然而，上述方法没有对影响粒子流的改变的控制输入对动力学系统的影响建模。
因此，需要开发对影响粒子流的改变的控制输入对动力学系统的影响建模的系统和方法。
发明内容
本公开涉及用于人群预测的方法和系统，更具体地，涉及使用动力学系统分析的分割和识别。
本公开的实施方式提供了一种利用控制输入使用动力学系统分析的动力学流预测领域中的系统和方法。例如，本公开提供用于从诸如初始条件和边界条件的控制输入数据以及从场景区域中的有限空间观测来预测和完成大型场景中的人群流动。对于特定场景，系统和方法首先获得流经期望场景的示例人群的训练速度数据和影响场景中的流动的训练控制输入。训练数据和控制输入数据可通过完整场景的监控视频观测或通过场景内的流的计算机仿真来获得。
此外，训练数据和控制输入数据然后可用于学习系统动力学算子和输入映射算子，其将观测区域和控制输入与控制场景中的流的状态变量的演化联系起来。系统动力学算子的至少一个示例可以是捕获场景中经历的动力学的内核动态模式分解(KDMD)算子。对于在空间有限区域中观测到的每一个新流，流完成问题被描述为受KDMD算子的预测、观测的状态变量和控制输入数据约束的最小二乘逆问题。可从KDMD算子确定场景中的流的基础表示和控制输入数据的另一基础表示。至少一个方面是可通过从控制输入数据和观测的流估计基础展开系数来实现流完成。这些系数最终可用于通过投影到KDMD基础上来重构完整流。
换言之，从实验了解到，可克服在未完全观测的空间网格或场景上估计时间演化流参数的问题。例如，本公开提供用于仅使用控制输入数据或将输入数据与通过未覆盖整个场景或整个网格的有限数量的传感器的有限观测组合来重构场景的完整流。事实上，由于训练阶段允许在其它时间或离线执行而非在使用期间或实时执行计算，所以本公开可廉价地、高效地且快速地提供真实行人人流的准确表示。
本公开提供用于流完成的数据驱动框架，其中在完整场景Ω上定义的训练数据可用于学习捕获场景中的流的动力学的内核DMD算子。然后，对于在子集
Figure BDA0003275620780000021
上定义的新测试流，我们求解受内核DMD算子的一步预测约束的最小二乘最小化问题。
例如，本公开克服了未能解决人流完成的传统人流方法的一些问题。本公开包括宏观尺度方面，即，依据流密度和速度表征流的模型上的变化。其中，当试图找到完成部分观测流的解时，这种问题需要求解识别控制流的偏微分方程(PDE)的初始条件和边界条件以及流参数等的逆问题。
根据本公开的实施方式，一种用于确定场景中的对象的流状态的系统。该系统包括至少一个传感器以测量场景的观测样本点处的流状态。其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合。存储器存储指定场景中的对象的流的训练状态的时变动力学的算子。其中，该算子被预先训练以将在场景中的样本点处对象的流状态的估计的未来状态确定为在场景中的样本点集合处对象的流状态的当前测量的状态以及定义流的初始状态和边界状态的控制输入集合的函数。处理器与存储器通信，被配置为使用算子以及观测样本点子集处的测量的状态来估计在场景的未观测样本点子集处对象的流状态。使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。输出接口与处理器通信，被配置为输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。本公开的方法和系统可用于视频监控系统、监测电网系统、流体和空气流仿真和建模，其中新方法允许在建模时指定初始条件和边界条件。
根据本公开的另一实施方式，一种用于确定场景中的对象的流状态的方法。该方法包括测量场景的观测样本点处的流状态。其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合。在存储器中存储指定场景中对象的流的训练状态的时变动力学的算子。其中，该算子被预先训练以将在场景中的样本点处对象的流状态的估计的未来状态确定为在场景中的样本点集合处对象的流状态的当前测量的状态以及控制输入集合的函数。使用与存储器通信的处理器，该处理器被配置为使用算子以及观测样本点子集处的测量的状态来估计在场景的未观测样本点子集处对象的流状态。使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。经由与处理器通信的输出接口输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。
本公开的另一实施方式，一种具体实现有程序的非暂时性计算机可读存储介质，该程序可由处理器执行以用于执行一种方法，该方法用于确定场景中的对象的流状态。该非暂时性计算机可读存储介质包括测量场景的观测样本点处的流状态，其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合。在存储器中存储指定在场景中对象的流的训练状态的时变动力学的算子。其中，该算子被预先训练以将在场景中的样本点处对象的流状态的估计的未来状态确定为在场景中的样本点集合处对象的流状态的当前测量的状态以及控制输入集合的函数。使用与存储器通信的处理器，该处理器被配置为使用算子以及观测样本点子集处的测量的状态来估计在场景的未观测样本点子集处对象的流状态。使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。经由与处理器通信的输出接口输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。
当前公开的实施方式将参照附图进一步说明。所示的附图未必按比例，而是重点通常放在示出当前公开的实施方式的原理。
附图说明
[图1A]图1A是示出根据本公开的实施方式的用于实现用于确定场景中的对象的流状态的方法的一些方法步骤的流程图。
[图1B]图1B是示出可用于实现根据本公开的实施方式的系统和方法的一些组件的框图。
[图1C]图1C是示出根据本公开的实施方式的用于估计获取的场景视频中的完整对象流的系统和方法的示意图，其示出Koopman算子和控制输入。
[图2]图2是根据本公开的一些实施方式的用于通过观测控制输入，确定Koopman模式和特征值，然后估计Koopman模式和控制输入的基础系数来确定完整流参数的方法的流程图，其中，可通过将估计的基础系数与Koopman模式组合来确定完整流参数。
[图3]图3是示出根据本公开的实施方式的用于对获取的场景视频中的行人流进行分割的一些系统和方法步骤的示意图。
[图4]图4是示出根据本公开的一些实施方式的用于确定Koopman模式的一些方法步骤的流程图。
[图5]图5是示出根据本公开的一些实施方式的使用Koopman模式对独立流进行分割的一些方法的流程图。
[图6]图6是示出根据本公开的一些实施方式的用于表征独立分割行人流的一些方法的流程图。
[图7]图7是示出可用于实现根据本公开的实施方式的方法和系统的一些技术的计算设备的示意图。
具体实施方式
尽管上述附图阐述了当前公开的实施方式，但如讨论中指出的，也可以想到其它实施方式。本公开作为表示而非限制呈现了例示性实施方式。本领域技术人员可以想出落在当前公开的实施方式的原理的范围和精神内的众多其它修改和实施方式。
本公开涉及用于人群预测的方法和系统，更具体地，涉及使用动力学系统分析的分割和识别。例如，本公开的一些实施方式包括用于流完成的数据驱动框架，其中在完整场景Ω上定义的训练数据可用于学习捕获场景中的流的动力学的内核DMD算子。然后，为了求解受内核DMD算子的一步预测等约束的最小二乘最小化问题，开发了在子集
Figure BDA0003275620780000051
上定义的新测试流。
图1A是示出根据本公开的实施方式的用于实现用于确定场景中的对象的流状态的方法的一些方法步骤的流程图。
图1A的步骤115包括测量场景的观测样本点处的流状态，其中，场景包含样本点集合，其具有观测样本点子集和未观测样本点子集。
图1A的步骤120包括在存储器中存储指定场景中的对象的流的训练状态的时变动力学的算子，其中，该算子被预先训练为将场景中样本点处的对象的流状态的估计的未来状态确定为场景中样本点集合处的对象的流状态的当前测量的状态的函数。
图1A的步骤125包括使用与存储器通信的处理器，该处理器被配置为使用算子和观测样本点子集处的测量的状态来估计场景的未观测样本点子集处的对象的流状态，使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。
图1A的步骤130包括经由与处理器通信的输出接口来输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。
本公开的实施方式作为非限制性示例提供了独特方面，使得可克服在未完全观测的空间网格或场景上估计时间演化流参数的问题。一些方面提供用于仅使用控制输入数据或将输入数据与通过未覆盖整个场景或整个网格的有限数量的传感器的有限观测组合来重构场景的完整流。
由于训练阶段允许在其它时间或离线执行计算，所以本公开的一些方法和系统的其它优点可廉价地、高效地且快速地提供真实行人人流的准确表示。此外，本公开的其它方面在于宏观尺度，即，依据流密度和速度表征流的模型上的变化。例如，当如本公开中一样试图找到完成部分观测流的解时，这种问题需要求解识别控制流的偏微分方程(PDE)的初始条件和边界条件以及流参数等的逆问题。
图1B是示出可用于实现根据本公开的实施方式的系统和方法的一些组件的框图。例如，方法105B可包括硬件处理器100，其与传感器103(例如，从环境102收集包括声信号8的数据的声传感器)通信。信号可包括与视频有关的数据。此外，传感器2可将视频或相机输入转换为信号数据。硬件处理器100与计算机存储存储器(即，存储器9)通信，使得存储器9包括存储的数据，包括算法、指令以及可由硬件处理器100实现的其它数据。
可选地，硬件处理器100可连接到网络7，其与数据源3、计算机装置4、移动电话装置5和存储装置6通信。另外可选地，硬件处理器100可连接到与客户端装置15连接的网络使能服务器13。可选地，硬件处理器100可连接到外部存储器装置17、发送器19。此外，作为非限制性示例，输出21可以是完整流参数(图2的209)或与本公开的系统和方法有关的一些其它输出。例如，一些类型的输出可与用户有意将完整流参数(图2的209)显示在一个或更多个显示装置(例如，监视器或屏幕)上，或将完整流参数(图2的209)输入到其它计算机相关装置中以供进一步分析等有关。
可以想到，硬件处理器100可根据具体应用的要求而包括两个或更多个硬件处理器，其中，处理器可在内部或外部。当然，其它组件可与方法105B合并，包括输出接口和收发器以及其它装置(参见图7)。
作为非限制性示例，网络7可包括一个或更多个局域网(LAN)和/或广域网(WAN)。其中，联网环境可类似于企业范围计算机网络、内联网和互联网。对于提及的所有组件可以想到，可在系统105B内部署任何数量的客户端装置、存储组件和数据源。各自可包括单个装置或在分布式环境中协作的多个装置。此外，系统105B可包括一个或更多个数据源3。数据源3可包括用于训练网络的数据资源。例如，在实施方式中，训练数据可被存储在存储装置6中。训练数据还可包括其它环境的信号。数据源3还可包括用于训练网络的数据资源。由数据源3提供的数据可包括其它数据，例如其它视频或相机数据。
此外，数据源3中的一些数据可由一个或更多个反馈回路提供。作为示例而非限制，数据源的其它示例可包括各种图像源，包括流视频、网络查询、移动装置相机或其它信息、网络摄像头馈送、智能眼镜和智能手表馈送、客户关怀系统、安全相机馈送、网络文档、目录、用户馈送、SMS日志、即时消息日志、口述文字记录、游戏系统用户交互(例如，语音命令或捕获的图像(例如，深度相机图像))、推特、聊天或视频呼叫记录或者社交网络媒体。所使用的具体数据源3可基于应用来确定，包括数据是特定类别的数据(例如，仅与特定类型的声音有关的数据，例如包括机器系统、娱乐系统)还是本质上是一般数据(非类别特定)。
系统105B可包括第三方装置4、5，其可包括任何类型的计算装置，使得可能有兴趣在计算装置上具有自动言语识别(ASR)系统。例如，第三方装置包括计算机装置4或移动装置5。可以想到，用户装置可被具体实现为个人数据助理(PDA)、移动装置(例如，智能电话、智能手表、智能眼镜(或其它可穿戴智能装置)、增强现实耳机、虚拟现实耳机)。此外，用户装置可以是膝上型计算机，例如平板计算机、遥控器、娱乐系统、车辆计算机系统、嵌入式系统控制器、电器、家用计算机系统、安全系统、消费者电子装置或其它类似的电子装置。在一个实施方式中，客户端装置能够接收输入数据(例如，音频和图像信息)，其可由本文所描述的在装置上操作的ASR系统使用。例如，第三方装置可具有用于接收音频信息的麦克风或线路、用于接收视频或图像信息的相机或者用于从诸如互联网或数据源3的另一源接收这种信息的通信组件(例如，Wi-Fi功能)。
关于存储装置6，存储装置6可存储包括本文所描述的技术的实施方式中使用的数据、计算机指令(例如，软件程序指令、例程或服务)和/或模型的信息。例如，存储装置6可存储来自一个或更多个数据源3的数据、一个或更多个深度神经网络模型、用于生成和训练深度神经网络模型的信息以及由一个或更多个深度神经网络模型输出的计算机可用信息。
图1C是示出根据本公开的实施方式的用于估计获取的场景视频中的完整对象流的系统和方法的示意图，其示出Koopman算子和控制输入。例如，一些实施方式提供用于流完成的数据驱动框架，其中在完整场景Ω上定义的训练数据可用于学习捕获场景中的流的动力学的内核DMD算子。然后，对于在子集
Figure BDA0003275620780000071
上定义的新测试流，求解受内核DMD算子的一步预测约束的最小二乘最小化问题。
图2是根据本公开的一些实施方式的用于通过观测控制输入，确定Koopman模式和特征值，然后估计Koopman模式的基础系数和控制输入来确定完整流参数的方法的流程图，其中，可通过将估计的基础系数与Koopman模式组合来确定完整流参数。
图3是示出根据本公开的实施方式的用于对获取的场景视频中的行人流进行分割的一些系统和方法步骤的示意图。实施方式可使用从编码的比特流提取的运动向量，但是运动向量可通过其它手段获得。运动向量被当作由表征场景中的流的多个独立动力学组成的底层动力学系统的可观测量。该方法使用运动向量和控制输入来确定表征动力学系统的低秩Koopman算子。然后使用奇异值分解(SVD)或特征值分解来分析控制Koopman算子的频谱。通过根据所使用的分解对主导奇异向量或主导特征向量进行聚类来确定独立人流。
例如，图3，利用视频相机103获取场景102中的行人的视频101。视频包括帧集合。各个帧包括通常对运动向量进行编码的块集合。各个帧k 104通过本领域中熟知的在通过输入/输出总线连接到存储器和相机的处理器300中操作的方法来处理。视频是编码比特流的形式。
作为优势，编码的比特流通常被压缩至少两个数量级或更多。因此，比特流花费的存储和处理时间更少。另外，该方法可在块级别操作，以使得比特流不需要解码以获得像素。然而，该方法可在相机中操作并通过其它手段获得运动向量。
该方法从视频(例如，比特流中的块)提取310运动向量305，并且通过层叠运动向量来构造数据矩阵111(如下面更详细描述的)。控制输入也连同运动向量一起附到数据矩阵111。
从数据矩阵311确定320低秩控制Koopman算子321。分析低秩控制Koopman算子的频谱以确定主导Koopman模式331。然后，可使用Koopman模式对视频帧中的块进行分割300以获得独立流309。
图4示出用于分析频谱并确定Koopman模式131的步骤400。这些步骤包括SVD410以获得奇异向量411或特征值分解以确定特征向量或二者。步骤440确定投影系数，然后使用投影系数来选择450特征向量。然后，奇异向量或所选特征向量或二者可用于确定Koopman模式431。
图5示出对像素进行分割的步骤500，其以Koopman模式431作为输入。使用k均值聚类510或图谱聚类520对运动向量进行聚类以获得独立流509。
图6示出通过确定流的动力学机制(regime)来表征各个分割的流的步骤600。动力学机制本质上表征流。该步骤以Koopman特征向量621、数据矩阵111和分割的流509作为输入。使用分割的流509提取数据矩阵111的行601的子集。行601的子集被投影610到Koopman特征向量621上以确定投影系数621。特征值选择步骤620选择与具有大小大于阈值的投影系数的特征向量对应的特征值。流或流特性421的动力学机制由所选特征值识别。
现在描述上述步骤的细节。
训练数据生成
人群的动力学可在微观尺度和宏观尺度上被建模为流体流中的粒子运动。另选地，当覆盖所有Ω的真实视频监控数据可用时，可通过计算视频运动向量来提取流信息。
当考虑宏观尺度时，即，依据流密度和速度表征流的模型上的变化。使用有限体积方法来数值求解对应偏微分方程(PDE)。该模型针对T+1个时间步以L个不同初始条件运行并如下收集数据。每一个训练序列由l(1≤l≤L)索引，其定义指定初始条件和边界条件的输入控制矩阵Ul tr以及训练序列的输入流和输出流。对于第l初始条件(1≤l≤L)，通过对于Ω中的各个空间网格点垂直地层叠水平速度和垂直速度来形成数据矩阵
Figure BDA0003275620780000091
其中场景网格的大小为Nx×Ny和D＝2NxNy。设Z
Figure BDA0003275620780000092
我们重排Zl的列以构造当前和未来的训练数据矩阵Xl tr和Yl tr，使得
Figure BDA0003275620780000093
然后，与L个初始条件中的每一个关联的数据矩阵层叠以形成总训练数据矩阵Xtr＝[X1 tr,...,XN tr]和Ytr＝[Y1 tr,...,YN tr]。类似地，输入控制矩阵层叠以形成训练输入矩阵Utr＝[U1 tr,...,UN tr]。
动力学系统建模
线性模型
当系统动力学为线性时，动力学系统的状态变量的演化由下式给出
Figure BDA0003275620780000094
其中xt和ut分别是时间t的状态变量和控制输入。给定训练数据矩阵Ytr、Xtr和Utr，其中向量xt+1在矩阵Ytr中层叠，我们可如下使用最小二乘反演计算矩阵K和B。
Figure BDA0003275620780000095
接下来，考虑K＝VΛV-1的截断特征值分解和U＝PΔRT的截断奇异值分解，其中我们仅保留最大r个特征值λ和对应特征向量V以及类似地最大r个奇异值δ和对应左右奇异向量P和R。然后，我们可定义状态空间系数C＝V-1X的集合和控制输入系数H＝ΔRT的集合。由Ξ:＝V、D＝P和
Figure BDA0003275620780000096
表示，我们获得以下系统状态方程：
Figure BDA0003275620780000101
其中C＝[c1,...cT]并且H＝[h1,...hT]。
非线性模型
通过在考虑以下改变的同时如节中所述计算矩阵Ξ和Λ来学习内核DMD算子。
通过如下评估控制输入的内核内积来定义内核输入数据矩阵
Figure BDA0003275620780000102
Figure BDA0003275620780000103
其中ui和uj是数据集合U的列向量。对称矩阵
Figure BDA0003275620780000104
的秩r截断奇异值分解得到奇异向量矩阵P和奇异值矩阵Δ2。接下来，我们将线性动力学系统模型施加于内核矩阵
Figure BDA0003275620780000105
Figure BDA0003275620780000106
和
Figure BDA0003275620780000107
的缩减空间上，即，
Figure BDA0003275620780000108
接下来，我们定义状态空间系数矩阵
Figure BDA0003275620780000109
和控制输入系数矩阵H＝ΔPT＝[h1,...hT]。
最后，我们如下对状态变量xt和输入ut进行建模
Figure BDA00032756207800001010
其中Ξ是状态空间变量的子空间基础，D是控制输入变量的子空间基础，
Figure BDA00032756207800001011
是从控制输入的子空间到状态变量的子空间的变换矩阵。给定来自训练数据的系数矩阵C和H，我们可将子空间矩阵估计为
Figure BDA00032756207800001012
和
Figure BDA00032756207800001013
流完成
假定我们在共享训练集合的动力学的区域
Figure BDA00032756207800001017
上观测新流
Figure BDA00032756207800001014
的速度。由
Figure BDA00032756207800001018
表示T个快照上的观测的速度的时间序列。类似地，由U＝{u1，...uT′}表示T个快照的观测的控制输入的序列。另外设
Figure BDA00032756207800001015
是从Ω映射至Γ的掩蔽算子。我们通过具有相同名称M的d×D矩阵表示掩蔽算子。然后，
Figure BDA00032756207800001016
ot＝Mx* t。我们的目标是从部分观测ot并使用近似的Koopman模式、特征值和特征函数估计x* t，如(7)中所示。因此，流完成问题变为从观测O和输入U估计系数矩阵
Figure BDA0003275620780000111
的问题。因此，我们提出以下优化问题来恢复矩阵C：
Figure BDA0003275620780000112
其中E1和E2分别是选择C的列1至T′-1和2至T′的限制算子，并且γ是正则化参数。通过满足一步预测关系ct+1≈Λct+Bht，正则项
Figure BDA0003275620780000113
确保系数ct表现得像内核合成系数。最后，可通过将计算的
Figure BDA0003275620780000114
与Koopman模式矩阵Ξ相乘来恢复完成的流x～t，即，对于所有t∈{1...T′}，
Figure BDA0003275620780000115
运动向量和可观测数据矩阵
视频帧k104中的所有空间块的水平运动向量和垂直运动向量分别是uk和vk。控制输入是ck。我们通过在数据矩阵111中层叠水平运动向量和垂直运动向量以及控制输入来构造数据矩阵zk＝[uk,vk,ck]111。然后，可通过将数据拟合到一步预测模型使用控制Koopman算子K对运动向量的时间演化进行建模
zk＝Kzk-1。 (1)
请注意，(1)确保相同的算子K对运动向量uk和vk的时间演化进行建模。
如果我们有来自m+1个视频帧的运动向量的m+1个观测，则我们可通过形成类似于(6)的数据矩阵Z1和Z2并确定实现最小二乘拟合的算子Kls来使用动态模式分解(DMD)确定算子K，即，
Figure BDA0003275620780000116
其中上标
Figure BDA0003275620780000117
指示矩阵的Moore-Penrose伪逆。
如果运动向量对应于视频中的行人的真实运动，则算子Kls表征系统中的流的全动力学。然而，压缩域运动向量通常非常嘈杂，常常包含不与真实运动对应的运动向量。噪声取决于视频编码器的特定率失真优化。
低秩DMD
无噪声速度观测yk测量场景中的行人的真实运动。并且运动向量zk对应于有噪观测，使得
zk+ek＝yk， (3)
其中ek是加性噪声。对于ek和yk分别使E1、E2和Y1、Y2如(6)中。然后，与无噪声动力学对应的控制Koopman算子由总最小二乘约束给出
Figure BDA0003275620780000121
然而，问题(4)是非凸的并且不适定，因为仅观测Z1和Z2，并且K、E1和E2是未知数。为了补救这种情况，在我们的问题中我们调用以下先验条件。高度复杂的系统可通过低阶动力学准确地建模。这转化为对无噪声系统的演化进行建模的算子K具有低秩的先验条件。
第二个先验条件从矩阵E1和E2的定义推导。如果我们用Im-1表示大小(m-1)×(m-1)的单位矩阵，并且使
Figure BDA0003275620780000122
和
Figure BDA0003275620780000123
是分别去除具有m列的矩阵的第一列和最后一列的选择算子，则E1和E2满足关系
Figure BDA0003275620780000124
我们将具有总最小二乘约束(LR-DMDtls)的低秩DMD定义为
Figure BDA0003275620780000125
其中e0是E1中的第一列，γ是正则化参数，||K||*是等于矩阵K的奇异值之和的核范数。
如果视频帧中的运动块的数量为N，则算子K的大小为N×N，对于高分辨率视频，其存储和确定可变得困难。因此，我们用秩r因子
Figure BDA0003275620780000126
和
Figure BDA0003275620780000127
代替K，使得K＝LRT，以降低计算复杂度。我们使用利用其低秩因子的Frobenius范数的平方的平均代替矩阵的核范数的核范数代理
Figure BDA0003275620780000128
因此，低秩DMD可被表述为
Figure BDA0003275620780000129
我们使用交替方向乘子法(ADMM)来求解。
(8)中定义的问题解决了噪声高斯分布的情况。如果测量Z包括离群点稀疏噪声，则我们使用以下公式来求解问题
Figure BDA0003275620780000131
其中变量S1和S2表示数据中的离群点噪声，γ和λ是正则化参数。(9)的解也可使用ADMM过程来获得。
流分割
为了对具有独立动力学的不同流进行分割300，我们评估估计的低秩控制Koopman算子K＝LRT的频谱。这里，我们考虑不同情境来执行分割。
通过奇异值分解分割
在第一方法中，我们可执行Koopman算子K的SVD 210以提取行空间奇异向量Ur211，使得
Figure BDA0003275620780000132
矩阵Ur是N×r矩阵，其中r是算子K的秩。我们将Ur的行视为视频帧中的每一个像素的特征向量，我们对其应用k均值聚类310(如图3所示)，以将像素分割为预定数量的聚类n。然后，可使用聚类的像素来确定视频101中观测到的场景102中的独立流109的空间分割。
另选地，我们可对矩阵Ur的行应用谱聚类。这里，我们将Ur的行归一化以生成矩阵
Figure BDA0003275620780000133
并构造仿射矩阵
Figure BDA0003275620780000134
其中在这种情况下按元素应用指数。然后，我们应用以下步骤以确定对应图Laplacian的主特征向量。
Figure BDA0003275620780000135
其中1是全一向量，第一个diag(·)仅提取A的对角条目，第二个diag(A·1)对A的行求和并将结果置于矩阵的对角上。
接下来，我们确定LG的SVD以提取前n行空间奇异向量UG。UG的第一奇异向量全为一，因此我们去除该向量，然后将UG中的剩余向量的行归一化。
最后，我们对UG的行应用k均值聚类310以确定独立流109。尽管谱聚类方法递送比直接对Ur的行应用k均值聚类更好的结果，但它需要更大以构造大型N×N仿射矩阵。
通过特征值分解分割
在第二种方法中，我们确定K的特征值分解220以获得特征向量Ue421221和特征值Λe，使得
Figure BDA0003275620780000136
回想一下，K的特征向量估计动力学系统的Koopman模式。从数据矩阵Z2，我们通过将Z2投影到Ue上并对向量
Figure BDA0003275620780000141
中的投影系数的大小取平均来识别活动模式。活动模式是Ue的与α中大小大于阈值的条目对应的列。
包含活动模式的矩阵为Ua。我们通过对Ua的归一化的行应用k均值聚类来执行分割。以各个聚类识别的像素与视频中的独立流对应。
流表征
各个分割的流可根据动力学机制来表征，使得流的类型被标记为例如稳定或不稳定。动力学机制取决于对该流中的运动贡献最大的K的特征值的位置。为了确定特征值，与分割的流f关联的数据矩阵的行Zf的子集被投影到特征向量Ue上以确定投影系数
Figure BDA0003275620780000142
与αf中大小大于阈值的条目对应的特征值与流关联。
特征值在复平面中的位置用于确定流的机制。例如，稳定流的特征值位于单位圆上，而不稳定流的特征值位于单位圆之外。此外，逐渐衰减的瞬态流的特征值位于单位圆内。另外，特征值的复相位指示流中的运动的振动频率。
特征
根据本公开的另一实施方式，一种用于确定场景中的对象的流状态的系统。该系统包括至少一个传感器以测量场景的观测样本点处的流状态。其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合。存储器存储指定场景中的对象的流的训练状态的时变动力学的算子。其中，该算子被预先训练以将在场景中的样本点处对象的流状态的估计的未来状态确定为在场景中的样本点集合处对象的流状态的当前测量的状态以及定义流的初始状态和边界状态的控制输入集合的函数。处理器与存储器通信，被配置为使用算子以及观测样本点子集处的测量的状态来估计在场景的未观测样本点子集处对象的流状态。使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。输出接口与处理器通信，被配置为输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。其中，可以想到以下方面之一或组合作为配置上述实施方式的修改的实施方式。
根据本公开的一方面，算子的训练可包括获得场景中的样本点集合中对象的流的训练状态和控制输入的历史数据。根据模型对场景中的样本点集合中对象的流的训练状态进行仿真。或者，获得在场景中的一系列样本点子集中对象的流的训练状态。其中，所述一系列样本点子集中的至少一个样本点子集是在与场景中的所述一系列样本点子集中的剩余样本点子集的可观测样本点时间不同的时间的观测样本点。使得场景中的所述一系列样本点子集中的所有样本点子集包括场景中的样本点集合中的所有样本点。
本公开的另一方面可包括在场景的未观测样本点子集处对象的流状态的估计包括通过使由传感器得到的场景的观测样本点集合与算子在观测样本点子集处估计的未来状态之间的误差最小化来确定基础矩阵集合的系数集合。根据算子的特征值集合来确认基础矩阵集合的系数集合符合时间预测条件。
本公开的另一方面可包括所述算子是系统动力学算子，使得系统动力学算子是内核动态模式分解(KDMD)算子。
一种用于确定场景中的对象的流状态的方法。该方法包括测量场景的观测样本点处的流状态。其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合。在存储器中存储指定场景中对象的流的训练状态的时变动力学的算子。其中，该算子被预先训练以将在场景中的样本点处对象的流状态的估计的未来状态确定为在场景中的样本点集合处对象的流状态的当前测量的状态以及控制输入集合的函数。使用与存储器通信的处理器，该处理器被配置为使用算子以及观测样本点子集处的测量的状态来估计在场景的未观测样本点子集处对象的流状态。使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。经由与处理器通信的输出接口输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。其中，可以想到以下方面之一或组合作为配置上述实施方式的修改的实施方式。
根据本公开的一方面，算子的训练包括：获得场景中的样本点集合中对象的流的训练状态的历史数据。根据模型对场景中的样本点集合中对象的流的训练状态进行仿真。或者，获得在场景中的一系列样本点子集中对象的流的训练状态。其中，所述一系列样本点子集中的至少一个样本点子集是在与场景中的所述一系列样本点子集中的剩余样本点子集的可观测样本点时间不同的时间的观测样本点。使得场景中的所述一系列样本点子集中的所有样本点子集包括场景中的样本点集合中的所有样本点。
本公开的另一方面可包括在场景的未观测样本点子集处对象的流状态的估计包括通过使由传感器得到的场景的观测样本点集合与算子在观测样本点子集处估计的未来状态之间的误差最小化来确定基础矩阵集合的系数集合。根据算子的特征值集合来确认基础矩阵集合的系数集合符合时间预测条件。
本公开的另一方面可包括利用位于场景附近的至少一个传感器来测量场景的观测样本点处的流状态。
本公开的另一方面可包括所述算子是系统动力学算子，使得系统动力学算子是内核动态模式分解(KDMD)算子。
一种具体实现有程序的非暂时性计算机可读存储介质，该程序可由处理器执行以用于执行一种方法，该方法用于确定场景中的对象的流状态。该非暂时性计算机可读存储介质包括测量场景的观测样本点处的流状态，其中，场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合。在存储器中存储指定在场景中对象的流的训练状态的时变动力学的算子。其中，该算子被预先训练以将在场景中的样本点处对象的流状态的估计的未来状态确定为在场景中的样本点集合处对象的流状态的当前测量的状态以及控制输入集合的函数。使用与存储器通信的处理器，该处理器被配置为使用算子以及观测样本点子集处的测量的状态来估计在场景的未观测样本点子集处对象的流状态。使得观测样本点子集处的估计的未来状态与观测样本点子集处的测量的状态一致。经由与处理器通信的输出接口输出场景的未观测样本点集合处的流状态，以有助于管理场景中的对象的流状态的管理。其中，可以想到以下方面之一或组合作为配置上述实施方式的修改的实施方式。
根据本公开的一方面，算子的训练包括：获得场景中的样本点集合中对象的流的训练状态的历史数据。根据模型对场景中的样本点集合中对象的流的训练状态进行仿真。或者，获得在场景中的一系列样本点子集中对象的流的训练状态，其中，所述一系列样本点子集中的至少一个样本点子集是在与场景中的所述一系列样本点子集中的剩余样本点子集的可观测样本点时间不同的时间的观测样本点。使得场景中的所述一系列样本点子集中的所有样本点子集包括场景中的样本点集合中的所有样本点。
本公开的另一方面可包括所述算子是内核动态模式分解(KDMD)算子。使得非暂时性计算机可读存储介质是用于流完成的数据驱动框架。其中，从存储器获得的在完整场景Ω上定义的训练数据可用于学习捕获场景中的流的动力学的KDMD算子。
本公开的另一方面可包括在场景的未观测样本点子集处对象的流状态的估计包括通过使由传感器得到的场景的观测样本点集合与算子在观测样本点子集处估计的未来状态之间的误差最小化来确定基础矩阵集合的系数集合。根据算子的特征值集合来确认基础矩阵集合的系数集合符合时间预测条件。
本公开的另一方面可包括利用位于场景附近的至少一个传感器来测量场景的观测样本点处的流状态。
本公开的另一方面可包括所述算子是系统动力学算子，使得系统动力学算子是内核动态模式分解(KDMD)算子。
定义
根据本公开的各方面，并且基于从实验学习，建立了以下定义，并且当然不是每个短语或术语的完整定义。其中，所提供的定义仅作为示例提供，基于来自实验的概念的认识和进一步理解，其中其它解释、定义和其它方面可涉及。然而，至少对于所呈现的概念、短语或术语的仅基本预览，提供了这些定义。
作为非限制性示例，如权利要求1中所述的处理器可以是计算机硬件，即，响应并处理驱动计算机实现本公开中描述的算法的基本指令的逻辑电路。
行人流的宏观模型：人流的宏观模型将人群视为流动连续体并描述行人的平均行为。模型参数是人群的密度ρ以及网格Ω中的各个点的水平速度和垂直速度(u,v)。人流的宏观模型类似于流体动力学的模型并由以下假设控制：
H1.各个点处的行人的速度仅由该点周围的人群密度确定。
H2.行人具有共同目标(可能)。
H3.行人想要使估计的行进时间最小化，同时避开大密度区域。
这些假设可被转化为以下PDE
Figure BDA0003275620780000171
其中ρ(x,y)是密度，u(x,y)是水平速度，v(x,y)分别是所有点(x,y)∈Ω的水平速度和垂直速度，并且
A1[ρ,～v]＝αu^(ρ)(x0-x)，
A2[ρ,～v]＝αv^(ρ)(y0-y)
对行人的目标进行编码，其中(x0,y0)是目标位置并且(x,y)是当前位置。α和K是模型参数。函数u^(ρ)＝uo(1-ρ/ρo)和v^(ρ)＝vo(1-ρ/ρo)遵循将速度的大小与密度耦合的Greenshield模型。这允许单独地使用速度或密度来驱动动力学系统。
Koopman和动态模式分解：
Koopman算子
设(M,n,F)为离散时间动力学系统，其中
Figure BDA0003275620780000181
是状态空间，n∈Z是时间参数，F:M→M是系统演化算子。在函数
Figure BDA0003275620780000182
的空间上定义Koopman算子K，其中
Figure BDA0003275620780000183
如下：
Figure BDA0003275620780000184
Koopman算子是线性的和无限维的，并且其接纳特征值和特征函数。对于向量值可观测量
Figure BDA0003275620780000185
Koopman算子还接纳Koopman模式。Koopman算子指定函数空间(F,n,K)上的新离散时间动力学系统。设
Figure BDA0003275620780000186
是K的前K个特征函数。不失一般性，设系统变量为
Figure BDA0003275620780000187
并且假设函数g(x)＝x。然后，表明
Figure BDA0003275620780000188
并且未来状态F(x)可被估计为
Figure BDA0003275620780000189
其中ξk和λk是Koopman模式和Koopman特征值。
内核动态模式分解
内核DMD(KDMD)算法被视为用于近似Koopman算子的低复杂度方法。设f:M×M→R为核函数，并且定义以下数据矩阵
Figure BDA00032756207800001810
其中xi和yj是数据集合X和Y的列向量。对称矩阵
Figure BDA00032756207800001811
的秩r截断奇异值分解得到奇异向量矩阵Q和奇异值矩阵Σ2。然后使用下式计算KDMD算子K^
Figure BDA00032756207800001812
Figure BDA00032756207800001813
的特征值分解得到特征向量矩阵
Figure BDA00032756207800001814
和特征值矩阵Λ。这表明Λ近似于Koopman特征值。此外，Koopman特征函数由矩阵Φ＝VT∑TQT近似。由于每一个数据点
Figure BDA00032756207800001815
所以Koopman模式由矩阵
Figure BDA00032756207800001816
近似，其中X＝[x1...xT]。
对于每一新数据点x*，对应预测y*≈F(x*)可使用KDMD通过首先估计特征函数
Figure BDA0003275620780000191
并且使用Koopman预测关系
Figure BDA0003275620780000192
来近似。
图7是作为非限制性示例示出可用于实现根据本公开的实施方式的方法和系统的一些技术的计算设备700的示意图。计算设备或装置700表示各种形式的数字计算机，例如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机以及其它适当的计算机。
计算装置700可包括电源708、处理器709、存储器710、存储装置711，其全部连接到总线750。此外，高速接口712、低速接口713、高速扩展端口714和低速连接端口715可连接到总线750。另外，低速扩展端口716与总线750连接。根据具体应用，可以想到各种组件配置，作为非限制性示例，其可安装在公共主板730上。此外，输入接口717可经由总线750连接到外部接收器706和输出接口718。接收器719可经由总线750连接到外部发送器707和发送器720。外部存储器704、外部传感器703、机器702和环境701也可连接到总线750。此外，一个或更多个外部输入/输出装置705可连接到总线750。网络接口控制器(NIC)721可适于通过总线750连接到网络722，其中，数据或其它数据等可被渲染在计算机装置700外部的第三方显示装置、第三方成像装置和/或第三方打印装置上。
可以想到存储器710可存储可由计算机装置700执行的指令、历史数据以及本公开的方法和系统可利用的任何数据。存储器710可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它合适的存储器系统。存储器710可以是易失性存储器单元和/或非易失性存储器单元。存储器710也可以是另一形式的计算机可读介质，例如磁盘或光盘。
仍参照图7，存储装置711可适于存储计算机装置700所使用的补充数据和/或软件模块。例如，如上面关于本公开提及的，存储装置711可存储历史数据和其它相关数据。另外地或另选地，存储装置711可存储与上面关于本公开提及的数据类似的历史数据。存储装置711可包括硬盘驱动器、光盘驱动器、拇指驱动器、驱动器阵列或其任何组合。此外，存储装置711可包含计算机可读介质，例如软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其它类似固态存储器装置、或者装置阵列(包括存储区域网络或其它配置中的装置)。指令可被存储在信息载体中。指令在由一个或更多个处理装置(例如，处理器709)执行时执行诸如上述那些的一个或更多个方法。
该系统可通过总线750可选地链接到显示接口或用户接口(HMI)723，其适于将系统连接到显示装置725和键盘724，其中，显示装置725可包括计算机监视器、相机、电视、投影仪或移动装置等。
仍参照图7，计算机装置700可包括适于打印机接口(未示出)的用户输入接口717，也可通过总线750连接并适于连接到打印装置(未示出)，其中，打印装置可包括液体喷墨打印机、固体墨水打印机、大型商用打印机、热敏打印机、UV打印机或热升华打印机等。
高速接口712管理计算装置700的带宽密集操作，而低速接口713管理低带宽密集操作。这种功能分配仅是示例。在一些实现方式中，高速接口712可联接到存储器710、用户接口(HMI)723以及键盘724和显示器725(例如，通过图形处理器或加速器)，并经由总线750联接到高速扩展端口714，高速扩展端口714可接纳各种扩展卡(未示出)。在实现方式中，低速接口713经由总线750联接到存储装置711和低速扩展端口715。可包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口715可联接到一个或更多个输入/输出装置705以及诸如键盘724、指点装置(未示出)、扫描仪(未示出)或联网装置(例如，交换机或路由器)的其它装置(例如，通过网络适配器)。
仍参照图7，计算装置700可按许多不同的形式实现，如图所示。例如，其可被实现为标准服务器726，或在一组这样的服务器中多次实现。另外，其可实现于诸如膝上型计算机727的个人计算机中。其也可被实现为机架服务器系统728的一部分。另选地，来自计算装置700的组件可与移动装置(未示出)中的其它组件组合。这些装置中的每一个可包含计算装置和移动计算装置中的一个或更多个，并且整个系统可由彼此通信的多个计算装置构成。
实施方式
以下描述仅提供示例性实施方式，并非旨在限制本公开的范围、适用性或配置。相反，示例性实施方式的以下描述将向本领域技术人员提供用于实现一个或更多个示例性实施方式的可行描述。在不脱离所附权利要求中阐述的公开的主题的精神和范围的情况下，可以想到可对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以提供实施方式的彻底理解。然而，本领域普通技术人员可理解，实施方式可在没有这些具体细节的情况下实践。例如，所公开的主题中的系统、过程和其它元件可作为组件以框图形式示出，以免在不必要的细节方面使实施方式模糊。在其它情况下，熟知过程、结构和技术可在没有不必要的细节的情况下示出，以避免使实施方式模糊。此外，各种附图中的相似标号和指代指示相似的元件。
另外，各个实施方式可作为过程描述，其被描绘为流程图、数据流程图、结构图或框图。尽管流程图可将操作描述为顺序过程，但许多操作可并行或同时执行。另外，操作次序可重新布置。过程在其操作完成时可终止，但是可具有未讨论或附图中未包括的附加步骤。此外，并非任何具体描述的过程中的所有操作可出现在所有实施方式中。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，函数的终止可对应于函数返回到调用函数或主函数。
此外，所公开的主题的实施方式可至少部分地手动或自动实现。可通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或至少辅助手动或自动实现。当以软件、固件、中间件或微码实现时，执行所需任务的程序代码或代码段可被存储在机器可读介质中。处理器可执行所需任务。
此外，本说明书中描述的本公开的实施方式和功能操作可在数字电子电路中、有形具体实现的计算机软件或固件中、包括本说明书中公开的结构及其结构等同物的计算机硬件中、或者它们中的一个或更多个的组合中实现。此外，本公开的一些实施方式可被实现为一个或更多个计算机程序，即，编码在有形非暂时性程序载体上的计算机程序指令的一个或更多个模块以用于由数据处理设备执行或控制数据处理设备的操作。此外，程序指令可被编码在人为生成的传播信号(例如，机器生成的电、光学或电磁信号)上，该信号被生成以对信息进行编码以传输到合适的接收器设备以便于由数据处理设备执行。计算机存储介质可以是机器可读存储装置、机器可读存储基板、随机或串行存取存储器装置或它们中的一个或更多个的组合。
根据本公开的实施方式，术语“数据处理设备”可涵盖用于处理数据的所有类型的设备、装置和机器，作为示例包括可编程处理器、计算机或者多个处理器或计算机。该设备可包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该设备还可包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或更多个的组合的代码。
计算机程序(也可称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可按任何形式的编程语言(包括编译语言或解释语言或者声明或过程语言)编写，并且其可按任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序可以(但不需要)对应于文件系统中的文件。程序可被存储在保存其它程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或更多个脚本)中、专用于所讨论的程序的单个文件中、或多个协调文件(例如，存储一个或更多个模块、子程序或代码部分的文件)中。计算机程序可被部署以在位于一个站点或分布于多个站点并通过通信网络互连的一个计算机上或多个计算机上执行。作为示例，适合于执行计算机程序的计算机可基于通用或专用微处理器或二者，或者任何其它类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或二者接收指令和数据。计算机的基本元件是用于执行指令的中央处理单元以及用于存储指令和数据的一个或更多个存储器装置。通常，计算机还将包括用于存储数据的一个或更多个大容量存储装置(例如，磁盘、磁光盘或光盘)或者在操作上与其联接以从其接收数据或向其传送数据或二者。然而，计算机不需要具有这些装置。此外，计算机可被嵌入在例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器或便携式存储装置(例如，通用串行总线(USB)闪存驱动器)的另一装置中，仅举几例。
为了提供与用户的交互，本说明书中描述的主题的实施方式可在具有用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可通过其向计算机提供输入的键盘和指点装置(例如，鼠标或轨迹球)的计算机上实现。其它类型的装置也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的知觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可按包括声音、言语或触觉输入的任何形式接收。另外，计算机可通过向用户所使用的装置发送文档以及从其接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求向用户的客户端装置上的网络浏览器发送网页。
本说明书中描述的主题的实施方式可在包括后端组件(例如，作为数据服务器)、或包括中间件组件(例如，应用服务器)、或包括前端组件(例如，具有图形用户界面或网络浏览器的客户端计算机，用户可通过其与本说明书中描述的主题的实现方式交互)、或者一个或更多个这种后端、中间件或前端组件的任何组合的计算系统中实现。系统的组件可通过任何数字数据通信形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。
计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系是由于在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生的。
尽管参考某些优选实施方式描述了本公开，但是将理解，在本公开的精神和范围内可进行各种其它调整和修改。因此，所附权利要求的方面涵盖落在本公开的真实精神和范围内的所有这些变化和修改。

Claims (15)

1.一种用于确定场景中的对象的流的状态的系统，该系统包括：
至少一个传感器，所述至少一个传感器测量在所述场景的观测样本点处所述流的状态，其中，所述场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合；
存储器，该存储器存储指定在所述场景中所述对象的流的训练状态的时变动力学的算子，其中，所述算子被预先训练以将在所述场景中的样本点处所述对象的流的状态的估计的未来状态确定为在所述场景中的所述样本点集合处所述对象的流的状态的当前测量的状态以及定义所述流的初始状态和边界状态的所述控制输入集合的函数；
处理器，该处理器与所述存储器通信，该处理器被配置为使用所述算子以及所述观测样本点子集处的测量的状态来估计在所述场景的所述未观测样本点子集处所述对象的流的状态，使得所述观测样本点子集处的估计的未来状态与所述观测样本点子集处的测量的状态一致；以及
输出接口，该输出接口与所述处理器通信，该输出接口被配置为输出在所述场景的未观测样本点集合处所述流的状态，以有助于管理所述场景中的对象的流的状态的管理。
2.根据权利要求1所述的系统，其中，所述算子的训练包括：
获得所述场景中的所述样本点集合中对象的流的训练状态和控制输入的历史数据；
根据模型对所述场景中的所述样本点集合中对象的流的所述训练状态进行仿真；或者
获得在所述场景中的一系列样本点子集中对象的流的所述训练状态，其中，所述一系列样本点子集中的至少一个样本点子集是在与所述场景中的所述一系列样本点子集中的剩余样本点子集的可观测样本点时间不同的时间的观测样本点，使得所述场景中的所述一系列样本点子集中的所有样本点子集包括所述场景中的所述样本点集合中的所有样本点。
3.根据权利要求1所述的系统，其中，在所述场景的所述未观测样本点子集处所述对象的流的状态的估计包括：
通过使由所述传感器得到的所述场景的观测样本点集合与所述算子在所述观测样本点子集处估计的未来状态之间的误差最小化来确定基础矩阵集合的系数集合；以及
根据所述算子的特征值集合来确认所述基础矩阵集合的所述系数集合符合时间预测条件。
4.根据权利要求1所述的系统，其中，所述算子是系统动力学算子，使得所述系统动力学算子是内核动态模式分解KDMD算子。
5.一种用于确定场景中的对象的流的状态的方法，该方法包括以下步骤：
测量在所述场景的观测样本点处流的状态，其中，所述场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合；
在存储器中存储指定在所述场景中所述对象的流的训练状态的时变动力学的算子，其中，所述算子被预先训练以将在所述场景中的样本点处所述对象的流的状态的估计的未来状态确定为在所述场景中的所述样本点集合处所述对象的流的状态的当前测量的状态以及所述控制输入集合的函数；
使用与所述存储器通信的处理器，该处理器被配置为使用所述算子以及所述观测样本点子集处的测量的状态来估计在所述场景的所述未观测样本点子集处所述对象的流的状态，使得所述观测样本点子集处的估计的未来状态与所述观测样本点子集处的测量的状态一致；以及
经由与所述处理器通信的输出接口输出在所述场景的未观测样本点集合处所述流的状态，以有助于管理所述场景中的对象的流的状态的管理。
6.根据权利要求5所述的方法，其中，所述算子的训练包括：
获得所述场景中的所述样本点集合中对象的流的训练状态的历史数据；
根据模型对所述场景中的所述样本点集合中对象的流的训练状态进行仿真；或者
获得在所述场景中的一系列样本点子集中对象的流的训练状态，其中，所述一系列样本点子集中的至少一个样本点子集是在与所述场景中的所述一系列样本点子集中的剩余样本点子集的可观测样本点时间不同的时间的观测样本点，使得所述场景中的所述一系列样本点子集中的所有样本点子集包括所述场景中的所述样本点集合中的所有样本点。
7.根据权利要求5所述的方法，其中，在所述场景的所述未观测样本点子集处所述对象的流的状态的估计包括：
通过使由传感器得到的所述场景的观测样本点集合与所述算子在所述观测样本点子集处估计的未来状态之间的误差最小化来确定基础矩阵集合的系数集合；以及
根据所述算子的特征值集合来确认所述基础矩阵集合的所述系数集合符合时间预测条件。
8.根据权利要求5所述的方法，其中，利用位于所述场景附近的至少一个传感器来测量在所述场景的观测样本点处流的状态。
9.根据权利要求5所述的方法，其中，所述算子是系统动力学算子，使得所述系统动力学算子是内核动态模式分解KDMD算子。
10.一种具体实现有程序的非暂时性计算机可读存储介质，该程序能够由处理器执行以用于执行一种方法，该方法用于确定场景中的对象的流的状态，该方法包括以下步骤：
测量在所述场景的观测样本点处流的状态，其中，所述场景包含具有观测样本点子集和未观测样本点子集的样本点集合以及控制输入集合；
在存储器中存储指定在所述场景中所述对象的流的训练状态的时变动力学的算子，其中，所述算子被预先训练以将在所述场景中的样本点处所述对象的流的状态的估计的未来状态确定为在所述场景中的所述样本点集合处所述对象的流的状态的当前测量的状态以及所述控制输入集合的函数；
使用与所述存储器通信的处理器，该处理器被配置为使用所述算子以及所述观测样本点子集处的测量的状态来估计在所述场景的所述未观测样本点子集处所述对象的流的状态，使得所述观测样本点子集处的估计的未来状态与所述观测样本点子集处的测量的状态一致；以及
经由与所述处理器通信的输出接口输出在所述场景的未观测样本点集合处所述流的状态，以有助于管理所述场景中的对象的流的状态的管理。
11.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述算子的训练包括：
获得所述场景中的所述样本点集合中对象的流的训练状态的历史数据；
根据模型对所述场景中的所述样本点集合中对象的流的训练状态进行仿真；或者
获得在所述场景中的一系列样本点子集中对象的流的训练状态，其中，所述一系列样本点子集中的至少一个样本点子集是在与所述场景中的所述一系列样本点子集中的剩余样本点子集的可观测样本点时间不同的时间的观测样本点，使得所述场景中的所述一系列样本点子集中的所有样本点子集包括所述场景中的所述样本点集合中的所有样本点。
12.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述算子是内核动态模式分解KDMD算子，使得所述非暂时性计算机可读存储介质是用于流完成的数据驱动框架，其中，从所述存储器获得的在完整场景Ω上定义的训练数据可用于学习捕获所述场景中的流的动力学的所述KDMD算子。
13.根据权利要求10所述的非暂时性计算机可读存储介质，其中，在所述场景的所述未观测样本点子集处所述对象的流的状态的估计包括：
通过使由传感器得到的所述场景的观测样本点集合与所述算子在所述观测样本点子集处估计的未来状态之间的误差最小化来确定基础矩阵集合的系数集合；以及
根据所述算子的特征值集合来确认所述基础矩阵集合的所述系数集合符合时间预测条件。
14.根据权利要求10所述的非暂时性计算机可读存储介质，其中，利用位于所述场景附近的至少一个传感器来测量在所述场景的观测样本点处流的状态。
15.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述算子是系统动力学算子，使得所述系统动力学算子是内核动态模式分解KDMD算子。
CN202080023778.8A 2019-03-28 2020-01-29 用于从控制输入和有限观测预测动力学流的方法和系统 Active CN113632141B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/367,558 US10909387B2 (en) 2019-03-28 2019-03-28 Method and system for predicting dynamical flows from control inputs and limited observations
US16/367,558 2019-03-28
PCT/JP2020/004208 WO2020195191A1 (en) 2019-03-28 2020-01-29 Method and system for predicting dynamical flows from control inputs and limited observations

Publications (2)

Publication Number Publication Date
CN113632141A true CN113632141A (zh) 2021-11-09
CN113632141B CN113632141B (zh) 2024-06-25

Family

ID=69740474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023778.8A Active CN113632141B (zh) 2019-03-28 2020-01-29 用于从控制输入和有限观测预测动力学流的方法和系统

Country Status (6)

Country Link
US (1) US10909387B2 (zh)
JP (1) JP7146122B2 (zh)
KR (1) KR20210126690A (zh)
CN (1) CN113632141B (zh)
TW (1) TWI761787B (zh)
WO (1) WO2020195191A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN114139836B (zh) * 2022-01-29 2022-05-31 北京航空航天大学杭州创新研究院 基于重力学多层三维残差网络的城市od人流预测方法
US20230351070A1 (en) * 2022-04-27 2023-11-02 Armored Things, Inc. Simulation-driven localization and tracking of people
CN115330132B (zh) * 2022-07-20 2023-04-07 中交上海航道局有限公司 一种用于突发污染事故中宽浅型河流的水质分布逆时反演的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170068861A1 (en) * 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and Method for Detecting and Tracking Objects
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
CN107407911A (zh) * 2015-03-06 2017-11-28 三菱电机株式会社 空调系统以及用于控制空调系统的工作的系统和方法
US20180197017A1 (en) * 2017-01-12 2018-07-12 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for Predicting Flow of Crowds from Limited Observations

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7595817B1 (en) 2003-02-12 2009-09-29 The Research Foundation Of State University Of New York Linear system based, qualitative independent motion detection from compressed MPEG surveillance video
WO2007032329A1 (ja) * 2005-09-14 2007-03-22 Matsushita Electric Industrial Co., Ltd. 位置追跡方法、位置追跡装置および超音波診断装置
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
KR20150053955A (ko) * 2012-09-06 2015-05-19 인터페이즈 코퍼레이션 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합
US10212410B2 (en) * 2016-12-21 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion
US10203214B2 (en) * 2017-02-06 2019-02-12 Here Global B.V. Method and apparatus for filtering device location points in a sampled trajectory while maintaining path reconstructability
CN108399618A (zh) * 2018-02-28 2018-08-14 清华大学 人群的位置和数目获取装置
CN109522854B (zh) * 2018-11-22 2021-05-11 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407911A (zh) * 2015-03-06 2017-11-28 三菱电机株式会社 空调系统以及用于控制空调系统的工作的系统和方法
US20170068861A1 (en) * 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and Method for Detecting and Tracking Objects
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
CN108292355A (zh) * 2015-11-04 2018-07-17 三菱电机株式会社 用于确定行人流的方法和系统
US20180197017A1 (en) * 2017-01-12 2018-07-12 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for Predicting Flow of Crowds from Limited Observations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HASSAN MANSOUR, ET AL: "Crowd Flow Completion From Partial Spatial Observations Using Kernel DMD", 2017 INTERNATIONAL CONFERENCE ON SAMPLING THEORY AND APPLICATIONS (SAMPTA), 3 July 2017 (2017-07-03), pages 451 - 455, XP033147423, DOI: 10.1109/SAMPTA.2017.8024350 *
JOSHUA L. PROCTOR，ET AL: "Dynamic Mode Decomposition with Control", SIAM JOURNAL ON APPLIED DYNAMICAL SYSTEMS, vol. 15, no. 1, pages 142 - 161, XP055694482, DOI: 10.1137/15M1013857 *

Also Published As

Publication number Publication date
CN113632141B (zh) 2024-06-25
US20200311439A1 (en) 2020-10-01
TWI761787B (zh) 2022-04-21
JP2022521559A (ja) 2022-04-08
US10909387B2 (en) 2021-02-02
WO2020195191A1 (en) 2020-10-01
TW202105323A (zh) 2021-02-01
KR20210126690A (ko) 2021-10-20
JP7146122B2 (ja) 2022-10-03

Similar Documents

Publication Publication Date Title
CN113632141B (zh) 用于从控制输入和有限观测预测动力学流的方法和系统
US10503978B2 (en) Spatio-temporal interaction network for learning object interactions
Dorta et al. Structured uncertainty prediction networks
Bucak et al. Incremental subspace learning via non-negative matrix factorization
JP7123133B2 (ja) 両眼画像の深度推定方法及び装置、機器、プログラム並びに媒体
JP6385601B2 (ja) 歩行者の流動を求める方法及びシステム
JP6879894B2 (ja) 物体の流動の状態を求めるシステム及び方法、並びに非一時的コンピューター可読記憶媒体
Thanou et al. Graph-based motion estimation and compensation for dynamic 3D point cloud compression
US9892549B2 (en) Adaptive rendering with linear predictions
Li et al. Robust tensor subspace learning for anomaly detection
JP6678246B2 (ja) 大域的最適化に基づく意味的セグメント化
CN112381868A (zh) 图像深度估计方法和装置、可读存储介质、电子设备
Wang et al. A depth estimating method from a single image using foe crf
Du et al. Adaptive visual interaction based multi-target future state prediction for autonomous driving vehicles
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
Lu et al. Environment-aware multiscene image enhancement for internet of things enabled edge cameras
CN108701206B (zh) 用于面部对准的系统和方法
Previtali et al. Identification of dynamic textures using Dynamic Mode Decomposition
CN110753239A (zh) 视频预测方法、视频预测装置、电子设备和车辆
Ikoma et al. Fusion of multi-modal features in particle filter with dual weight of belief and plausibility for track-before-detect multiple target tracking
Sarkar et al. Action-conditioned video data improves predictability
Liu et al. Graph-Regularized NMF with Prior Knowledge for Image Inpainting
Vamsi et al. Image splicing detection using HMRF superpixel segmentation
Delphina et al. Implementation and Validation of Video Stabilization using Simulink
CN114373220A (zh) 时空图网络可解释方法、可视化方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant