CN111222577A - 态势感知的系统和方法 - Google Patents

态势感知的系统和方法 Download PDF

Info

Publication number
CN111222577A
CN111222577A CN202010020218.9A CN202010020218A CN111222577A CN 111222577 A CN111222577 A CN 111222577A CN 202010020218 A CN202010020218 A CN 202010020218A CN 111222577 A CN111222577 A CN 111222577A
Authority
CN
China
Prior art keywords
environment
time
point
representation
global representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010020218.9A
Other languages
English (en)
Other versions
CN111222577B (zh
Inventor
吴子彦
斯里克里希纳·卡拉南
王丽丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Publication of CN111222577A publication Critical patent/CN111222577A/zh
Application granted granted Critical
Publication of CN111222577B publication Critical patent/CN111222577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请通常提供用于态势感知的系统和方法。当执行存储在至少一个非临时存储介质中的一组指令时，至少一个处理器可以被配置为使系统执行以下操作，包括从一个或多个传感器中的至少一个获取与对应于第一时间点的环境相关的环境数据，基于至少部分环境数据生成与第一时间点相对应的环境的第一静态全局表示，至少基于部分环境数据生成与第一时间点相对应的环境的第一动态全局表示，并基于第一静态全局表示和第一动态全局表示，使用目标估计模型估计环境在目标时间点的目标状态。

Description

态势感知的系统和方法
相关申请的交叉引用
本申请要求于2019年12月11日提交的申请号为16710070的美国专利申请的优先权，上述申请的完整内容通过引用被包含于此。
技术领域
本申请总体上涉及态势感知，并且特别涉及用于估计目标时间点时的环境的目标状态的系统和方法。
背景技术
态势感知通常是指对环境元素和事件相对于时间和/或空间的感知，对其含义的理解以及对其未来状态的预测。近年来，用于态势感知的系统和方法已应用于交通控制、医疗保健、紧急响应、工厂管理等各个领域。一些现有方法使用实时检测算法和基于跟踪的方法来估计异常情况的可能性，例如环境中两个或多个元素之间的碰撞。现有方法中经常使用来自多个传感器的同步输入或来自单个传感器的单个输入。此外，经常需要有关传感器的设置和放置的先验知识。这些技术可能导致某些方法难以在不同的环境中应用。因此，期望提供用于态势感知的自适应性更强的系统和方法。
发明内容
根据本申请的一个方面，提供了一种用于态势感知的系统。该系统可以包括至少一个包含一组指令的非临时存储介质，以及与至少一个非临时存储介质通信的至少一个处理器。当执行该组指令时，至少一个处理器被配置为使系统执行以下操作，包括从一个或多个传感器中获取与对应于第一时间点的环境相关的环境数据，以及基于至少部分环境数据生成与第一时间点相对应的环境的第一静态全局表示。第一静态全局表示可以表示环境中一个或多个静态元素的第一状态。该操作可以进一步包括基于至少部分环境数据生成与第一时间点相对应的环境的第一动态全局表示，该第一动态全局表示时表示该环境中一个或多个移动元素的第一状态。所述操作可以进一步包括：基于第一静态全局表示和第一动态全局表示，使用目标估计模型来估计环境在目标时间点的目标状态。
在一些实施例中，基于至少部分环境数据生成与第一时间点相对应的环境的第一静态全局表示可以包括：获取与第二时间点相对应的环境的第二状态的第二静态全局表示；生成与第一时间点相对应的环境的第一状态的第一全局参考表示，并通过使用静态更新模型将第一全局参考表示与第二静态全局表示进行整合来生成第一静态全局表示。第一全局参考表示可以包括在第一时间点与环境相关联的动态信息和在第一时间点与环境相关联的静态信息。
在一些实施例中，环境数据可以对应于环境的一部分，生成第一全局参考表示可以包括：获取对应于参考时间点第二全局参考表示；以及更新第二全局参考表示的与环境的一部分相对应的部分。参考时间点可能在第一时间点和第二时间点之间；
在一些实施例中，生成第一动态全局表示可以包括获取在第二时间点相对应的环境的第二状态的第二动态全局表示；基于至少部分环境数据生成与环境相关的更新信息；基于第二动态全局表示生成第一时间点的环境估计状态的估计动态全局表示；基于更新信息和估计动态全局表示，生成与第一时间点相对应的环境的第一状态的第一动态全局表示，其中，第一动态全局表示是表示环境中一个或多个移动元素的第一状态。
在一些实施例中，在第一时间点生成环境的估计状态的估计动态全局表示可以包括确定第二时间点和第一时间点之间的时间差，并基于时间差使用动态估计模型生成估计动态全局表示。
在一些实施例中，目标时间点可以晚于第一时间点，环境的目标状态可能包括环境中是否可能出现异常情况。
在一些实施例中，目标估计模型可以是训练好的神经网络模型。
在一些实施例中，基于第一静态全局表示和第一动态全局表示，可以使用目标估计模型估计环境在目标时间点的目标状态可以包括通过融合第一静态全局表示和第一动态全局表示来生成与第一时间点相对应的环境的第一状态的联合全局表示；基于联合全局表示，使用目标估计模型确定目标概率；将目标概率与一个概率阈值进行比较；响应于确定目标概率超出概率阈值，估计环境在目标时间点很可能发生异常情况。目标概率可以是环境在目标时间点可能发生异常情况的概率。
在一些实施例中，一个或多个传感器包括至少两个传感器，其中至少两个传感器被配置为以不同的时间间隔获取与环境或其一部分相关联的数据。
根据本申请的另一方面，提供了一种系统。该系统可以包括至少一个包含一组指令的非临时存储介质，以及与至少一个非临时存储介质通信的至少一个处理器。执行一组指令时，至少一个处理器可以被配置为使所述系统执行以下操作，包括从至少一个或多个传感器中获取环境数据以及获取与第二时间点相对应的环境的第二状态的第二动态全局表示。第二时间点可以与第一时间点不同。该环境数据可以与第一时间点的环境相关联。所述操作可以进一步包括基于至少所述环境数据来生成与所述环境相关联的更新信息。更新信息可以表示在第一时间点环境中的一个或多个移动元素的状态与在第二时间点环境中的一个或多个移动元素的状态之间的差异。所述操作还可以包括：基于第二动态全局表示，在第一时间点生成环境的估计状态的估计动态全局表示，以及基于更新信息和估计动态全局表示，在第一时间点生成环境的第一状态的第一动态全局表示。第一动态全局表示是表示在第一时间点环境中一个或多个移动元素的状态。
在一些实施例中，基于第二动态全局表示生成第一时间点的环境估计状态的估计动态全局表示可以包括确定第二时间点和第一时间点之间的时间差，以及使用动态估计模型，基于时间差生成的估计动态全局表示。
根据本申请的另一方面，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质可以至少包括一组指令，其中，当由计算设备的至少一个处理器执行时，至少一组指令是至少一个处理器执行以下操作，包括获取至少一个由一个或多个传感器获得的环境数据，以及获取与第二时间点相关联的环境的第二状态的第二动态全局表示。第二时间点可以与第一时间点不同。该环境数据可以与第一时间点的环境相关联。所述操作可以进一步包括基于至少部分环境数据来生成与环境相关联的更新信息。更新信息可以表示在第一时间点环境中的一个或多个移动元素的状态与在第二时间点环境中的一个或多个移动元素的状态之间的差异。所述操作还可以包括，基于第二动态全局表示，生成在第一时间点的环境的估计状态的估计动态全局表示，基于更新信息和估计动态全局表示，在第一时间点生成环境的第一状态的第一动态全局表示。第一动态全局表示是表示在第一时间点环境中一个或多个移动元素的状态。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的用于态势感知的示例性系统的示意图；
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图；
图3是根据本申请的一些实施例所示的示例性终端设备的示意图；
图4是根据本申请的一些实施例所示的示例性处理设备的框图；
图5是根据本申请的一些实施例所示的示例性动态全局表示模块的框图；
图6是根据本申请的一些实施例的用于估计目标时间点时的环境的目标状态的示例性过程的流程图；以及
图7是根据本申请的一些实施例的用于生成环境的第一静态全局表示的示例性过程的流程图；
图8是根据本申请的一些实施例所示的用于生成环境的全局参考表示和第一静态全局表示的示例性过程的示意图；
图9是根据本申请的一些实施例的用于生成环境的第一动态全局表示的示例性过程的流程图；以及
图10是根据本申请的一些实施例所示的用于生成环境的第一动态全局表示的示例性过程的示意图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其他情况下，为了避免不必要地模糊本申请的一些方面，本申请已经以相对高级别概略地描述了公知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所公开的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。
将理解的是，本文使用的术语“系统”、“引擎”、“单元”、“模块”和/或“模块”是一种在升序中区分不同级别的不同组件、元素、零件、部分或组件的方法。但是，如果这些术语可以达到相同的目的，则它们可能会被其他表达方式所取代。
通常，本文所用的词“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或指代软件指令的集合。本文描述的模块、单元或块可以被实现为软件和/或硬件，并且可以被存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。将意识到，软件模块可以是可从其他模块/单元/块或从其自身调用的，和/或可以响应于检测到的事件或中断而被调用。被配置为在计算设备(例如，如图2所示的处理器210)上执行的软件模块/单元/块可以被提供在计算机介质上，例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或作为数字下载(并且可以最初以压缩或可安装的格式存储，需要在执行之前进行安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以嵌入在诸如EPROM的固件中。还将意识到，硬件模块(或单元或块)可以被包括在连接的逻辑组件(诸如门和触发器)中，和/或可以被包括在可编程单元(诸如可编程门阵列或处理器)中。本文描述的模块(或单元或块)或计算设备的功能可以被实现为软件模块(或单元或块)，但是可以用硬件或固件来表示。一般来说，在此描述的模块(或单元或块)是指可以与其他模块(或单元或块)组合或划分为子模块(或子单元或子块)的逻辑模块(尽管其物理组织或存储)。
将理解的是，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接到”或“耦合到”另一单元、引擎、模块或块时，它可以直接在其他单元、引擎、模块或块上，与之连接或与之通信，或者可以存在中间单元、引擎、模块或块，除非上下文另有明确说明。在本申请中，术语“和/或”可包括任何一个或多个相关所列条目或其组合。
本文所使用的术语仅出于描述特定示例和实施例的目的，而无意于进行限制。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解的是，本申请中的术语“包括”和/或“包含”只详述存在整体、设备、行为、陈述的特征、步骤、元件、操作和/或部件，但是不排除存在或添加一个或多个其他整体、设备、行为、特征、步骤、元件、操作、部件和/或其组合。
另外，应理解，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述的目的，不能解释为表明或暗示相对重要性，也不能理解为表明或暗示顺序。
本申请的一个方面涉及用于更新环境的动态全局表示(dynamic globalrepresentation)的系统和/或方法。可以从一个或多个传感器中的至少一个获取与第一时间点相对应的环境(例如，街道、扫描室)相关的环境数据。为了在第一时间点生成环境的更新的动态全局表示(也称为“第一动态全局表示”)，获取在第二时间点的环境的第二动态全局表示。例如，第一时间点可能比第二时间点晚。可以基于至少部分第一时间点的环境数据来生成与第一时间点的环境相关联的更新信息。可以基于第一时间点和第二时间点之间的时间差来生成环境的第一状态的估计动态全局表示。在某些情况下，一个或多个传感器可能被配置为从环境的不同部分和/或在不同的时间间隔获取数据。第一时间点时的环境数据可以对应于环境的一部分。通过整合估计动态全局表示和第二动态全局表示以生成第一动态全局表示，可以以相对准确的方式确定环境在第一时间点的一个或多个移动元素(moving element)的动态信息。因此，用于更新动态全局表示的系统和方法可以是可扩展的和/或适用于各种环境的。
本申请的另一方面涉及用于估计目标时间点时的环境的目标状态的系统和/或方法。可以从一个或多个传感器中的至少一个获取与第一时间点相对应的环境(例如，街道、扫描室)相关的环境数据。可以基于至少部分第一时间点的环境数据来生成环境的第一静态全局表示(static global representation)。环境的第一静态全局表示可以指示环境中一个或多个静态元素(static element)的第一状态。也可以基于至少部分第一时间点的环境数据来生成环境的第一动态全局表示。环境的第一动态全局表示可以指示环境中一个或多个移动元素的第一状态。可以通过至少两个传感器来获取环境数据，其中，不同的传感器可以获取环境的一部分和/或在不同的时间点或间隔处的环境数据。可以融合第一静态全局表示和第一动态全局表示以生成环境的联合全局表示。可以使用目标估计模型(例如递归神经网络(RNN)模型)基于环境的联合全局表示来估计环境的目标状态。可以训练目标估计模型，以基于另一时间点环境中某一个或多个元素的状态信息来估计或预测该环境中某一个或多个元素的状态或其变化，而不是随着时间的推移跟踪环境中的一个或多个元素。通过分别表示环境中的静态信息和动态信息，并融合环境中的静态信息和动态信息以获取环境的联合全局表示，可以表示第一时间点时环境的更准确状态(与某些现有方法相比)。因此，可以更准确地估计环境的目标状态(例如，未来状态)。
这样的系统和方法不需要一个或多个传感器为相同类型或在相同时间间隔获取与环境相关联的数据。一个或多个传感器中的至少两个的检测区域可以重叠或不重叠，这使得更容易确定放置一个或多个传感器的位置。因此，用于态势感知的系统和方法也可以是可扩展的和/或适用于各种环境的。
图1示出了根据本申请的一些实施例的用于态势感知的示例性系统的示意图。如图所示，系统100可以包括服务器110、存储设备120、一个或多个传感器130、用户终端140和网络150。
服务器110可以处理与系统100有关的信息和/或数据以执行本申请中描述的一个或多个功能。在一些实施例中，服务器110可以包括一个或多个处理设备112(例如，单核处理设备或多核处理器)。在一些实施例中，处理设备112可以被配置为估计目标时间点时的环境的目标状态。例如，目标时间点可能是将来的时间点。处理设备112可以基于至少部分环境数据来生成与第一时间点相对应的环境的第一静态全局表示。处理设备112可以基于至少部分环境数据来生成与第一时间点相对应的环境的第一动态全局表示。处理设备112可以基于第一静态全局表示和第一动态全局表示进一步估计目标时间点时的环境的目标状态。仅作为示例，处理设备112可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。
服务器110可以是单一服务器或服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络150访问存储在传感器130和/或存储设备120中的信息和/或数据。又例如，服务器110可以直接连接到传感器130和/或存储设备120以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以在本申请中的图2描述的包含了一个或多个组件的计算设备200上执行。
存储设备120可以存储数据和/或指令。数据和/或指令可以从例如服务器110、传感器130和/或系统100的任何其他组件获取。
在一些实施例中，存储设备120可以存储服务器110执行或使用来完成本申请中描述的示例性方法的数据和/或指令。例如，存储设备120可以存储由一个或多个传感器130获取的环境数据。又例如，存储设备120可以存储目标估计模型。作为又一示例，存储设备120可以存储与不同时间点相对应的静态全局表示和与不同时间点相对应的动态全局表示。在一些实施例中，存储设备120可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储设备可能包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，存储设备120可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中，存储设备120可以连接到网络150以与系统100的一个或多个组件(例如，服务器110、传感器130)通信。系统100的一个或多个组件可以经由网络150访问存储在存储设备120中的数据或指令。
在一些实施例中，存储设备120可以直接连接到系统100(例如，服务器110、传感器130)的一个或多个组件或与之通信。在一些实施例中，存储设备120可以是系统100的另一组件的一部分，例如服务器110、传感器130或用户终端140。在一些实施例中，系统100的组件(例如，服务器110、传感器130)可以具有访问存储设备120的权限。例如，服务器110或用户终端140可以获取存储在存储设备120中的静态全局表示和动态全局表示。
传感器130可以包括一个或多个能够获取与环境相关联的数据的合适的设备。如本文所使用的，术语“传感器”通常是指能够从环境获取数据的设备/模块。在一些实施例中，传感器130可以包括移动电话130-1、计算机130-2、照相机130-3等。计算机130-2可以包括但不限于膝上型计算机、平板计算机、台式计算机等，或其任何组合。移动电话130-1和计算机130-2可以包括一个或多个相机，一个或多个超声波传感器和/或其他传感器。相机130-3可以包括但不限于照相枪、半球型相机、集成相机、单眼相机、双目相机、多视角相机、黑白相机、彩色相机(例如红绿蓝相机)、红外相机等，或它们的任意组合。附加地或替代地，传感器130可以包括能够从环境获取数据的其他设备，例如雷达。在一些实施例中，系统100可以包括至少两个传感器130。至少两个传感器130中的至少两个可以被配置为以不同的时间间隔获取与环境或其一部分相关联的数据。至少两个传感器中的至少两个传感器可以异步地将获取的数据发送到处理器112。在一些实施例中，至少两个传感器中的至少两个可以是相同类型或不同类型。在一些实施例中，由传感器130获取的数据可以包括图像数据。由传感器130获取的图像数据可以是单个图像或视频的帧。在一些实施例中，传感器130可以包括至少两个组件，每个组件可以获取图像。例如，传感器130可以包括可以同时拍摄照片或视频的至少两个子摄像机。
用户终端140可以与用户相关联。示例性终端设备140可以包括移动电话140-1、计算机140-2、平板计算机140-3等。在一些实施例中，用户终端140可以是和/或包括可以以人类可读形式显示或输出信息的任何合适的设备，诸如文本、图像、音频、视频、图形、动画等，或其任何组合。在一些实施例中，用户可以通过用户终端140查看信息和/或输入数据和/或指令。例如，用户可以在用户终端140的显示设备上查看环境的估计目标状态。又例如，用户终端140可以生成警报以通知用户在一段时间(例如5秒)内可能发生异常情况。用户终端140的显示设备可以包括阴极射线管(CRT)显示器、液晶显示器(LCD)、发光二极管(LED)显示器、等离子显示面板(PDP)、3D显示器等。在一些实施例中，用户终端140可以连接到系统100(例如，服务器110、存储设备120、传感器130)通过网络150，例如无线网络或有线网络(例如，同轴电缆网络)的一个或多个组件。
网络150可以包括可以促进系统100的信息和/或数据的交换的任何合适的网络。在一些实施例中，系统100中的一个或多个组件(例如，服务器110、存储设备120和传感器130)可以通过网络150将信息和/或数据发送到系统100中的另一个组件。例如，服务器110可以经由网络150从传感器130获取/获取与环境或其一部分有关的数据。在一些实施例中，网络150可以是有线网络或无线网络等或其任意组合。仅作为示例，网络150可以包括电缆网络(例如，同轴电缆网络)、有线网络、光纤网络、电信网络、内联网、互联网、局部区域网络(LAN)、广域网(WAN)、无线局部区域网络(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网(PSTN)、蓝牙网络、紫蜂网络、近场通信(NFC)网络等，或其任意组合。
应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。例如，处理设备112可以集成到用户终端140中。然而，这些变化和修改不会背离本申请的范围。
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图。在一些实施例中，服务器110可以实现在图2所示的计算设备200上。在一些实施例中，处理设备112可以在计算设备200上实现并且被配置为执行本申请中公开的处理设备112的功能。例如，计算设备200可以被配置为估计目标时间点时的环境的目标状态。又例如，计算设备200可以更新环境的动态全局表示。
如本文所述，计算设备200可以用于实现系统100的任何组件。例如，处理设备112可以在计算设备200上通过其硬件、软件程序、固件或其组合实现。尽管为了方便起见仅示出了一台这样的计算机，但是可以在许多相似的平台上以分布式方式实现与本文所述的图像处理有关的计算机功能，以分配处理负荷。
例如，计算设备200可以包括与网络相连接通信端口250，以实现数据通信。计算设备200还可以包括处理器(例如，处理器220)，其形式为一个或多个处理器(例如，逻辑电路)，用于执行程序指令。例如，处理器220可以包括其中的接口电路和处理电路。接口电路可以被配置为从总线210接收电信号，其中电信号编码用于处理电路的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，接口电路可以经由总线210从处理电路发出电信号。
示例性计算设备可以进一步包括不同形式的程序存储和数据存储包括例如磁盘270和只读内存(ROM)230或随机存取内存(RAM)240，用于由计算设备处理和/或传输的各种数据文件。示例性计算设备也可以包括储存于ROM 230、RAM 240和/或其他形式的非暂时性存储介质中的能够被处理器220执行的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括输入/输出组件260，用来支持计算机和其他组件之间进行输入/输出。计算设备200也可以通过网络通信接收编程和数据。
仅出于说明目的，图2中仅说明了一个处理器。还考虑了多个处理器220；因此，如本申请中所述，由一个处理器220执行的操作和/或方法步骤也可以由多个处理器共同或分别执行。例如，在本申请中，如果计算设备200的处理器220执行步骤A和步骤B，应当被理解为是步骤A和步骤B由计算设备200的两个不同的处理器共同或分别执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B)。
图3是根据本申请的一些实施例所示的示例性终端设备的示意图。在一些实施例中，用户终端140可以在图3所示的终端设备300上实现。终端设备300可以是诸如乘客或驾驶员的移动电话之类的移动设备，由驾驶员驾驶的车辆上的内置设备。如图3所示，终端设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O 350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在终端设备300内。
在一些实施例中，操作系统370(例如，iOSTM、AndroidTM、Windows PhoneTM等)和一个或多个应用程序(应用程序)380可以从存储器390加载到内存360中，以便由CPU 340执行。用户交互可以通过I/O 350实现，并通过网络120提供给服务器110和/或系统100的其他组件。终端设备300可以经由通信平台310发送/接收与要处理的图像有关的数据。例如，终端设备300可以经由通信平台310在服务器110估计的目标时间接收环境的目标状态。
图4是根据本申请的一些实施例所示的示例性处理设备的框图；在一些实施例中，处理设备112可以在服务器110上实现。处理设备112可以与存储介质(例如，系统100的存储设备120和/或终端设备300的存储设备390)通信，并且可以执行存储在存储介质中的指令。在一些实施例中，处理设备112可以包括获取模块410、参考全局表示模块420、静态全局表示模块430、动态全局表示模块440以及目标状态估计模块450。
获取模块410可以从系统100的一个或多个传感器，存储设备和/或其他组件获取数据。在一些实施例中，获取模块410可以从一个或多个传感器中的至少一个获取与第一时间点对应的环境相关的环境数据。例如，环境可以是室内环境。又例如，该环境可能是室外环境。在一些实施例中，一个或多个传感器可能存在于环境中，用于检测环境数据。如本文所用，术语“环境数据”是指与环境中一个或多个元素相关联的数据。例如，环境数据可以包含图像数据，该图像数据包括一个或多个元素在不同时间点的空间位置、形状和/或大小。又例如，环境数据可能包含无线电波信号，其中包括与环境中一个或多个元素相关联的位置信息。
参考全局表示模块420可以在第一时间点生成环境的第一全局参考表示。第一全局参考表示可以指示与第一时间点相对应的环境的第一状态。在一些实施例中，可以通过使用经训练的静态更新神经网络将第一全局参考表示与第二静态全局表示进行整合来生成第一静态全局表示。第一全局参考表示可以包括在第一时间点与环境中的一个或多个静态元素关联的静态信息，以及在第一时间点与环境中的一个或多个静态元素关联的动态信息。在一些实施例中，参考全局表示模块420可以对环境数据执行特征提取以获取代表与环境相关联的数据的一个或多个特征向量。例如，可以使用卷积神经网络模型来执行特征提取。在一些实施例中，参考全局表示模块420可以进一步对一个或多个特征向量进行反投影以确定第二静态全局表示中与环境的一部分相对应的部分。可以使用编码器将一个或多个特征向量转换为环境的一部分的三维(3D)表示(例如3D张量表示)。可以旋转3D表示并将其与第二个全局参考表示对齐。在一些实施例中，可以基于3D表示与第二全局参考表示之间的配准来确定第二全局参考表示的部分。可以通过使用训练的参考-更新神经网络模型基于环境的一部分的3D表示来更新第二全局参考表示的部分来确定第一全局参考表示。在一些实施例中，可以基于一个或多个传感器中的至少一个的位置来确定第二全局参考表示的部分。例如，当传感器位于固定位置时，传感器的位置可以被预先校准。当传感器位于可预测的非固定位置时(例如，在已知其移动轨迹的可移动部件上)，可以估计传感器的位置。
静态全局表示模块430可以在第一时间点生成环境的第一静态全局表示。在一些实施例中，静态全局表示模块430可以在第二时间点获取环境的第二状态的第二静态全局表示。第二时间点可能与第一时间点不同。例如，第二时间点可能早于第一时间点。静态全局表示模块430可以生成与第一时间点相对应的环境的第一状态的第一全局参考表示。可以通过使用经训练的静态更新神经网络将第一全局参考表示与第二静态全局表示进行整合来生成第一静态全局表示。第一全局参考表示可以包括在第一时间点与环境中的一个或多个静态元素关联的静态信息，以及在第一时间点与环境中的一个或多个静态元素关联的动态信息。静态元素是指在第一时间点和第二时间点之间保持相对静止的元素，而移动元素是指其位置在第一时间点和第二时间点之间变化的元素。静态全局表示模块430可以通过将第一全局参考表示与第二静态全局表示进行整合来进一步生成第一静态全局表示。
动态全局表示模块440可以在第一时间点生成环境的第一动态全局表示。第一动态全局表示可以指示环境中一个或多个移动元素的第一状态。动态全局表示模块440可以获取与第二时间点相对应的环境的第二状态的第二动态全局表示。动态全局表示模块440可以基于至少部分对应于第一时间点的环境数据来生成与环境相关联的更新信息。如本文所使用的，术语“更新信息”是指与一个或多个移动元素的移动相关联的信息。动态全局表示模块440可以基于第二动态全局表示来生成环境的第一状态的估计动态全局表示。估计动态全局表示可以指示在第一时间点环境中一个或多个移动元素的估计状态。可以基于更新信息和估计动态全局表示来生成环境的第一状态的第一动态全局表示。
目标状态估计模块450可以估计环境在目标时间点的目标状态。目标时间点可能与第一时间点和第二时间点不同。例如，第一时间点可能晚于第二时间点，而目标时间点可能是将来的时间点。目标状态可能是环境的未来状态。例如，目标状态可以包括在目标时间点是否可能出现异常情况。在一些实施例中，目标估计模型可以是训练好的的机器学习模型，例如训练好的的神经网络模型。训练好的的神经网络模型可以包括递归神经网络(RNN)模型，例如长期短期内存(LSTM)模型、门控递归单元(GRU)模型、连续时间递归神经网络(CTRNN)模型等，或其任意组合。在一些实施例中，目标状态估计模块450可以通过融合第一静态全局表示和第一动态全局表示来生成与第一时间点相对应的环境的第一状态的联合全局表示。例如，可以使用编码器(例如，卷积网络模型)将第一静态全局表示和第一动态全局表示分别转换为一个或多个特征向量。可以通过使用训练的神经网络模型的Concat层将与第一静态全局表示和第一动态全局表示相对应的特征向量融合来生成联合全局表示。例如，联合全局表示可以采用一个或多个联合特征向量的形式。目标状态估计模块450可以基于联合全局表示使用训练的神经网络模型来确定目标概率。目标概率可能是环境中目标时间点时可能发生异常情况的概率。
图4中的模块可以经由有线连接或无线连接而彼此连接或通信。有线连接可以包括金属线缆、光缆、混合电缆等或其任意组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。在一些实施例中，两个或以上模块可以组合成单个模块，并且任何一个模块都可以分为两个或以上单元。在一些实施例中，一个或多个的附加模块可以包含在处理设备112中。例如，处理设备112可以进一步包括传输模块，被配置为将与目标状态相关联的信息传输到用户终端140。
图5是根据本申请的一些实施例所示的示例性动态全局表示模块的框图。在一些实施例中，动态全局表示模块440可以在服务器110(例如，处理设备112)上实现。动态全局表示模块440可以与存储介质(例如，系统100的存储设备120和/或终端设备300的存储设备390)通信，并且可以执行存储在存储介质中的指令。在一些实施例中，处理设备112可以包括更新信息生成单元510，估计动态全局表示单元520和动态全局表示生成单元530。
更新信息生成单元510可以基于至少部分环境数据来生成与环境相关联的更新信息。如本文所使用的，术语“更新信息”是指与第一时间点的环境中的一个或多个移动元素相关联的动态信息。在一些实施例中，更新信息生成单元510可以通过将第一时间点的环境的第一全局参考表示与第二参考时间点的环境的第二全局参考表示(例如，如图8所示，
Figure BDA0002360456290000132
)进行比较，生成更新信息。第二参考时间点可以在第一时间点和第二时间点之间。在一些实施例中，更新信息可以指示第一全局参考表示和第二全局参考表示之间的差异。
估计动态全局表示单元520可以基于第二动态全局表示来生成环境的第一状态的估计动态全局表示。估计动态全局表示可以指示在第一时间点环境中一个或多个移动元素的估计状态。在一些实施例中，估计动态全局表示单元520可以确定第二时间点和第一时间点之间的时间差(例如，图10中的△t1)。估计动态全局表示单元520可以使用训练后的动态估计神经网络模型基于时间差来生成估计动态全局表示(例如，图10中的
Figure BDA0002360456290000131
)。在一些实施例中，经过训练的动态估计神经网络模型可以包括一个或多个卷积层、用于生成与第二个动态全局表示相关的一个或多个特征向量。训练后的动态估计神经网络可以进一步包括一个或多个LSTM层，用于为估计动态全局表示生成一个或多个估计的特征向量。一个或多个估计的特征向量可以被进一步转换为估计动态全局表示，例如，通过训练后的动态估计神经网络中的一个或多个反卷积层。
动态全局表示生成单元530可以基于更新信息和估计动态全局表示来生成环境的第一状态的第一动态全局表示。在一些实施例中，可以通过使用经训练的动态更新神经网络模型整合更新信息和估计动态全局表示来生成第一动态全局表示。训练后的动态更新神经网络模型可以包括RNN模型，例如LSTM模型、GRU模型、CTRNN模型等，或其任意组合。在一些实施例中，可以从存储设备120获取经训练的动态更新神经网络模型。在一些实施例中，可以通过使用训练数据训练动态更新神经网络模型来获取训练后的动态更新神经网络模型。
图5中的单元可以经由有线连接或无线连接而彼此连接或通信。有线连接可以包括金属线缆、光缆、混合电缆等或其任意组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。在一些实施例中，两个或以上单元可以合并为一个模块，并且任何一个单元都可以分为两个或以上子单元。在一些实施例中，动态全局表示模块440可以包括一个或多个附加单元。例如，动态全局表示单元440可以进一步包括被配置为获取第二动态全局表示的获取单元。
图6是根据本申请的一些实施例的用于估计环境在目标时间点的目标状态的示例性过程的流程图。在一些实施例中，过程600可以由系统100执行。例如，过程600可以被实现为存储在存储器(例如，计算设备200的ROM 230或RAM 240)中的一组指令(例如，应用程序)。处理设备112，图4中的模块和/或图5中的单元可以执行该组指令。当执行了一组指令时，可以执行过程600。以下呈现的所示过程600的操作旨在是说明性的。在一些实施例中，过程600可以利用未描述的一个或多个附加操作来完成，和/或在没有所讨论的一个或多个操作的情况下完成。另外，如图6所示和以下描述的过程600的操作的顺序并非旨在限制。
在602中，处理设备112(例如，获取模块410)可以从一个或多个传感器中的至少一个获取与第一时间点对应的环境相关的环境数据。例如，环境可以是室内环境，例如用于对患者进行手术的手术室、用于对物体(例如，患者)进行扫描的扫描室、工厂、娱乐室、健身房、康复中心等。又例如，该环境可以是室外环境，例如汽车站、街道、机场跑道、空域等，或其任何组合。
在一些实施例中，一个或多个传感器可以存在于环境中，用于检测环境数据。如本文所用，术语“环境数据”是指与环境中一个或多个元素相关联的数据。例如，环境数据可以包含图像数据，该图像数据包括一个或多个元素在不同时间点的空间位置、形状和/或大小。例如，一个或多个传感器可以包括球型摄像机、单目摄像机、双目摄像机、多视角摄像机、深度摄像机、黑白摄像机、彩色摄像机、红外摄像机等，或其任何组合。又例如，环境数据可以包含无线电波信号，其中包括与环境中一个或多个元素相关联的位置信息。一个或多个传感器可以包括雷达、激光雷达、超声传感器等，或其任意组合。在一些实施例中，一个或多个传感器可以包括被配置为获取与环境的至少一部分相关联的数据的一个传感器。在一些实施例中，一个或多个传感器可以包括至少两个传感器。
在一些实施例中，至少两个传感器中的至少两个可以被配置为获取与环境的不同部分关联的数据。在一些实施例中，由至少两个传感器中的每个传感器检测到的环境的一部分可以与由至少两个传感器中的另一个传感器检测到的环境的一部分重叠。在一些实施例中，至少一个传感器检测到的环境的一部分与至少两个传感器中任何其他传感器检测到的环境的一部分没有重叠区域。结果，在环境中可能存在被至少两个传感器中的任何一个都检测不到的未检测部分。在一些实施例中，至少两个传感器中的至少两个可以被配置为以不同的时间间隔获取与环境或其一部分相关联的数据。至少两个传感器中的至少两个传感器可以异步地将获取的数据发送到处理器112。在一些实施例中，至少两个传感器中的至少两个可以是相同类型或不同类型。例如，至少两个传感器可以包括每第二秒钟获取20个图像帧的黑白相机和每第二秒钟获取10个图像帧的红绿蓝(RGB)相机。在一些实施例中，至少两个传感器中的至少一部分可以可拆卸或不可拆卸地安装在固定位置，例如手术室的天花板上。在一些实施例中，至少两个传感器中的至少一部分可以可拆卸地或不可拆卸地安装在非固定位置，例如安装在扫描仪(例如X射线发生器、医疗机器人的机械臂)的可移动部分上。至少两个传感器的位置可以是已知的或未知的。因此，过程600、700和/或900中描述的方法可以适用于各种环境。
在604中，处理设备112(例如，静态全局表示模块430)可以基于至少部分环境数据来生成与第一时间点相对应的环境的第一静态全局表示。如本文所用，术语“全局表示”是指表示与环境的不同部分相关联的数据的表示。例如，全局表示可以是三维张量的形式。第一静态全局表示可以指示环境中一个或多个静态元素的第一状态。在一些实施例中，处理设备112可以将第一静态全局表示发送到用户终端140和/或存储设备120。用户可以通过用户终端140查看第一静态全局表示。
环境可能包括一个或多个在一段时间内保持静止的静态元素，以及一个或多个在一段时间内的位置可能会随时间变化的动态元素。因此，环境数据可以包括与一个或多个静态元素关联的静态信息和与一个或多个静态元素关联的动态信息。如本文中所使用的，静态元素是指相对于参考特征(例如，地板、墙壁、扫描仪的底座)在至少一段时间内相对于与该元素相关的环境数据或其一部分的采集速率而言是不动的元素，或以比采集速率低得多的速率移动。例如，环境可以是用于执行患者扫描的扫描室。扫描室中的一个或多个静态元素可能包括墙壁、地板、灯、在扫描的大部分时间内保持静止的患者等，或其任意组合。扫描室内的一个或多个移动元素(或被称为可移动组件)包括操作员、扫描仪的至少一部分(例如，移动以与要扫描的患者的一部分对齐的X射线发生器)。
在一些实施例中，处理设备112可以在第二时间点获取环境的第二状态的第二静态全局表示。第二时间点可能与第一时间点不同。例如，第二时间点可能早于第一时间点。处理设备112可以生成与第一时间点相对应的环境的第一状态的第一全局参考表示。可以通过使用经训练的静态更新神经网络将第一全局参考表示与第二静态全局表示进行整合来生成第一静态全局表示。第一全局参考表示可以包括在第一时间点与环境中的一个或多个静态元素关联的静态信息，以及在第一时间点与环境中的一个或多个静态元素关联的动态信息。静态元素是指在第一时间点和第二时间点之间保持相对静止的元素，而移动元素是指其位置在第一时间点和第二时间点之间变化的元素。处理设备112可以通过将第一全局参考表示与第二静态全局表示进行整合来进一步生成第一静态全局表示。关于第一静态全局表示的生成的更多细节可以在本申请的其他地方找到，例如在图7，图8及其描述中。
在606中，处理设备112(例如，动态全局表示模块440)可以基于至少部分环境数据来生成与第一时间点相对应的环境的第一动态全局表示。第一动态全局表示可以指示环境中一个或多个移动元素的第一状态。处理设备112可以获取与第二时间点相对应的环境的第二状态的第二动态全局表示。处理设备112可以基于至少部分对应于第一时间点的环境数据来生成与环境相关联的更新信息。如本文所使用的，术语“更新信息”是指与一个或多个移动元素的移动相关联的信息。在一些实施例中，更新信息可以指示第二时间一个或多个移动元素的状态与第二时间一个或多个移动元素的状态之间的差异。处理设备112可以基于第二动态全局表示来生成环境的第一状态的估计动态全局表示。估计动态全局表示可以指示在第一时间点环境中一个或多个移动元素的估计状态。可以基于更新信息和估计动态全局表示来生成环境的第一状态的第一动态全局表示。关于第一动态全局表示的生成的更多细节可以在本申请的其他地方找到，例如，在图9、图10及其描述中。
在608中，处理设备112(例如，目标状态估计模块450)可以基于第一静态全局表示和第一动态全局表示来估计目标时间点时的环境的目标状态。目标时间点可能与第一时间点和第二时间点不同。例如，第一时间点可能晚于第二时间点，而目标时间点可能是将来的时间点。目标状态可能是环境的未来状态。例如，目标状态可以包括在目标时间点是否可能出现异常情况。可以理解，术语“出现”是指存在或发生。例如，目标状态可以包括是否可能在目标时间点时存在异常情况(即，异常情况可能在目标时间点之前或目标时间点时发生)。又例如，目标状态可能包括目标时间点是否可能出现异常情况。作为又一个示例，目标状态可以进一步包括与异常情况有关的信息，例如一个或多个异常元素的位置，异常情况的分类(例如，碰撞、打架)等。
在一些实施例中，异常情况可能包括环境中两个元素之间的碰撞。例如，碰撞可能发生在车辆与另一物体(例如，另一车辆、行人、树木或路障)之间。又例如，碰撞可能发生在患者与医疗设备的可移动或不可移动部件(例如X射线发生器、医疗机器人的机械臂、计算机断层扫描仪的机架)之间。作为又一个示例，碰撞可能发生在一个或多个医疗设备的不同部分之间(例如，在放射治疗设备的机架和扫描床之间)。在一些实施例中，异常情况可能包括一个或多个异常活动，例如两个孩子之间的斗殴。在一些实施例中，异常情况可能包括目标时间点的估计工作流程(例如，工厂中的工作流程)与计划的工作流程不同。
备选地，第二时间点可以晚于第一时间点，并且目标时间点是可以早于第一时间点的先前时间点。目标状态可以包括在目标时间点是否可能发生了异常情况，这可以在例如分析导致工作流程异常、事故等的原因中找到应用。
在一些实施例中，处理设备112可以通过融合第一静态全局表示和第一动态全局表示来生成与第一时间点相对应的环境的第一状态的联合全局表示。例如，可以使用编码器(例如，卷积网络模型)将第一静态全局表示和第一动态全局表示分别转换为一个或多个特征向量。可以通过融合与第一静态全局表示和第一动态全局表示相对应的特征向量来生成联合全局表示。例如，联合全局表示可以采用一个或多个联合特征向量的形式。可以使用目标估计模型估计环境在目标时间点的目标状态。仅作为示例，目标状态可以包括在目标时间点环境中是否可能发生碰撞。
在一些实施例中，目标估计模型可能包含一个或多个算法，用于估计环境中两个元素之间是否可能发生碰撞。例如，一个或多个算法可以指导处理设备112基于在两个或多个时间点与环境相关联的数据(例如，图像数据)来估计每个元素的运动信息。运动信息可以包括元素是否正在移动，元素正在朝向的方向，元素的速度等或其任意组合。处理设备112可以由目标估计模型进一步指示，以基于两个元素之间的距离以及两个元素中每个元素的运动信息，来估计是否可能在每两个移动元素之间和/或在移动元素和静态元素之间发生碰撞。又例如，目标估计模型可以包括拟合算法，该拟合算法指导处理设备112估计拟合函数，该拟合函数基于每个元素在不同时间点的至少两个位置来描述环境中每个元素的轨迹。处理设备112可以通过确定两个元素的估计轨迹之间是否存在相交来确定两个元素之间是否可能发生碰撞。
在一些实施例中，目标估计模型可能是训练好的的神经网络模型。处理设备112可以使用训练后的神经网络模型基于联合全局表示确定目标概率。目标概率可能是环境中目标时间点时可能发生异常情况的概率。在一些实施例中，第一静态全局表示和第一动态全局表示可以与经过训练的神经网络模型的Concat层融合。例如，经过训练的神经网络模型可以包括递归神经网络(RNN)模型，例如长期短期内存(LSTM)模型、门控循环单元(GRU)模型、连续时间循环神经网络(CTRNN)模型等，或其任意组合。训练好的的神经网络模型可以进一步包括完全连接(FC)层。在一些实施例中，FC层可以输出目标时间点时环境中可能发生异常情况的目标概率。在一些实施例中，FC层可以输出对应于不同类型的异常情况的至少两个目标概率。处理设备112可以将目标概率与概率阈值进行比较。可以根据默认设置来设置概率阈值，或者可以根据各种情况来修改概率阈值。例如，概率阈值可以是0.8、0.75等。响应于确定出目标概率超出了概率阈值，处理设备112可以进一步估计在目标时间点环境中可能发生异常情况。替代地或附加地，处理设备112可以估计与至少两个目标变量中的最高目标概率相对应的异常情况很可能发生在目标时间点的环境中。
在一些实施例中，可以通过使用与一个或多个样本环境相关联的训练数据训练初始目标估计模型来生成目标估计模型。例如，训练数据可以包括在不同时间点与一个或多个样本环境相关联的样本联合全局表示。训练数据可以进一步包括相应的标签，每个标签表示在某个时间点是否出现异常情况。在一些实施例中，环境的目标状态可以包括环境的未被一个或多个传感器中的任何一个检测到的未检测部分的目标状态。在一些实施例中，至少两个样本环境中的至少一部分可能类似于要估计目标状态的环境。也就是说，至少两个样本环境中的至少一部分可以包括与环境中的至少一个元素相似的至少一个样本元素。目标估计模型的一个或多个隐藏层的一个或多个参数可能与环境中至少两个元素之间的估计关系有关。可以通过目标估计模型的一个或多个隐藏层来估计环境中未检测部分的目标状态。
在一些实施例中，处理设备112可以进一步使与异常情况有关的警报被生成。例如，处理设备112可以将编码与异常情况有关的信息的信号发送到用户终端140。用户终端140可以生成警报以通知用户在目标时间点可能出现异常情况。警报可以以文本消息、语音消息、图形消息、警报声音等或其任何组合的形式生成。在一些实施例中，处理设备112可以进一步生成关于异常情况的建议性信息。例如，当系统100用于交通控制或自动驾驶时，异常情况是碰撞，建议性信息可以包括降低车辆(例如，飞机、汽车)的速度、调整车辆的移动方向等，或其任意组合。
图7是根据本申请的一些实施例的用于生成环境的第一静态全局表示的示例性过程的流程图。图8是根据本申请的一些实施例所示的用于生成环境的全局参考表示和第一静态全局表示的示例性过程的示意图。在一些实施例中，过程700可以由系统100执行。例如，过程700可以被实现为存储在存储器(例如，计算设备200的ROM 230或RAM 240)中的一组指令(例如，应用程序)。处理设备112、图4中的模块和/或图5中的单元可以执行该组指令。当执行了一组指令时，可以执行过程700。以下呈现的所示过程700的操作旨在是说明性的。在一些实施例中，过程700可以利用未描述的一个或多个附加操作来完成，和/或在没有所讨论的一个或多个操作的情况下完成。另外，如图7所示和以下描述的过程700的操作的顺序并非旨在限制。
在702中，处理设备112(例如，静态全局表示模块430)可以在第二时间点获取环境的第二状态的第二静态全局表示。例如，第二时间点可能早于第一时间点。在一些实施例中，可以使用经过训练的静态更新神经网络模型随时间更新环境的静态全局表示，以获取不同时间点的环境静态全局表示。在一些实施例中，如果满足更新条件，则可以更新静态全局表示。例如，更新条件可以包括自第二时间点以来已经从预设数量的传感器接收到与环境相关联的一个或多个数据集。附加地或替代地，更新条件可以包括自第二时间点以来已经接收到与环境相关联的一个或多个与预设数目的参考时间点相对应的数据集。更新条件可以是控制更新静态全局表示模型的频率，这可以减少更新期间产生的噪声(与使用从一个或多个传感器中的至少一个接收的每组环境数据进行更新的静态全局表示模型相比)。每个参考时间点都在第二时间点和第一时间点之间。
例如，如图8所示，可以将第二时间点表示为t0，并将与第二时间点相对应的环境的静态全局表示(也称为“第二静态全局表示”)表示为
Figure BDA0002360456290000181
为了便于说明，参考时间点的预设数目可能为2。对应于两个参考时间点t1-2和t1-1的环境数据。还接收到对应于第一时间点
Figure BDA0002360456290000182
的环境数据。可以通过一个或多个初始静态全局表示的更新来确定第二静态全局表示。关于静态全局表示的更新的细节可以在本申请的其他地方找到，例如，在图8和图7的操作706及其描述中。仅作为示例，可以基于在初始时间点从一个或多个传感器中的至少一个接收的一组环境数据来生成初始静态全局表示。
在704中，处理设备112(例如，静态全局表示模块430)可以生成与第一时间点相对应的环境的第一状态的第一全局参考表示。第一全局参考表示可以包括与环境相关联的动态信息和与环境相关联的静态信息。在一些实施例中，可以使用训练好的的参考更新神经网络随时间更新环境的全局参考表示，以获取不同时间点的环境相关的参考全局表示。例如，训练后的参考更新神经网络可以包括RNN模型，例如LSTM模型、GRU模型、CTRNN模型等，或其任意组合。如图8所示，第二时间点可以表示为t0。对应于第一时间点(也称为“第一全局参考表示”)的环境的全局参考表示可以表示为
Figure BDA0002360456290000191
可以基于与参考时间点相对应的第二全局参考表示来生成第一全局参考表示。参考时间点可以在第一时间点和第二时间点之间。
在一些实施例中，第一时间点的环境数据可能对应于环境的一部分。为了生成第一全局参考表示，处理设备112可以在第一时间点(例如，图像数据
Figure BDA0002360456290000192
)处获取与环境相关联的环境数据，并在第一时间点之前立即在参考时间点时获取环境的第二个全局参考表示(表示为
Figure BDA0002360456290000193
)。可以通过更新第二全局参考表示的与环境的一部分相对应的部分来生成第一全局参考表示(由
Figure BDA0002360456290000194
表示)。在一些实施例中，可以根据位置感知场景编码(LASE)过程来确定
Figure BDA0002360456290000195
对应于环境的一部分的部分。
例如，在接收到第一时间点的环境数据(例如，图8所示的图像数据
Figure BDA0002360456290000196
之后，处理设备112可以对环境数据执行特征提取，以获取表示与环境相关联的数据的一个或多个特征向量。例如，可以使用卷积神经网络模型来执行特征提取。在一些实施例中，处理设备112可以进一步对一个或多个特征向量进行反投影以确定与环境的一部分相对应的第二静态全局表示的部分。可以使用编码器将一个或多个特征向量转换为环境的一部分的三维(3D)表示(例如3D张量表示)。可以旋转3D表示并将其与第二个全局参考表示对齐。在一些实施例中，可以基于3D表示与第二全局参考表示之间的配准来确定第二全局参考表示的部分。可以通过使用训练的参考-更新神经网络模型基于环境的一部分的3D表示来更新第二全局参考表示的部分来确定第一全局参考表示。在一些实施例中，可以基于一个或多个传感器中的至少一个的位置来确定第二全局参考表示的部分。例如，当传感器位于固定位置时，传感器的位置可以被预先校准。当传感器位于可预测的非固定位置时(例如，在已知其移动轨迹的可移动部件上)，可以估计传感器的位置。
在706中，处理设备112(例如，静态全局表示模块430)可以通过使用静态更新模型将第一全局参考表示(例如，
Figure BDA0002360456290000201
)与第二静态全局表示
Figure BDA0002360456290000202
进行整合，生成第一静态全局表示
Figure BDA0002360456290000203
在一些实施例中，静态更新模型可以包括一个或多个数据处理算法。例如，静态更新模型可以根据加权平均算法将处理设备112引导至第二静态全局表示和第一全局参考表示的融合数据(例如，点值、特征向量)。在一些实施例中，静态更新模型可能是训练好的的机器学习模型。例如，静态更新模型可以是RNN模型，例如LSTM模型、GRU模型、CTRNN模型等，或其任意组合。在一些实施例中，可以在将第一全局参考表示与第二静态全局表示整合之后，抑制与第一时间点t1处的环境相关的动态信息。因此，第一静态全局表示可以专注于与环境中一个或多个静态元素相关的静态信息。
图9是根据本申请的一些实施例的用于生成环境的第一动态全局表示的示例性过程的流程图。图10是根据本申请的一些实施例所示的用于生成环境的第一动态全局表示的示例性过程的示意图。在一些实施例中，过程900可以由系统100执行。例如，过程900可以被实现为存储在存储器(例如，计算设备200的ROM 230或RAM 240)中的一组指令(例如，应用程序)。处理设备112、图4中的模块和/或图5中的单元可以执行该组指令。当执行了一组指令时，可以执行过程900。以下呈现的所示过程900的操作旨在是说明性的。在一些实施例中，过程900可以利用未描述的一个或多个附加操作来完成，和/或在没有所讨论的一个或多个操作的情况下完成。另外，如图9所示和以下描述的过程900的操作的顺序并非旨在限制。
在902中，处理设备112(例如，获取模块410)可以获取与第二时间点相对应的环境的第二状态的第二动态全局表示。例如，第二时间点可能早于第一时间点。在一些实施例中，可以使用动态更新模型随时间更新环境的动态全局表示，以获取不同时间点的环境动态全局表示。在一些实施例中，如果满足更新条件(例如，类似于图7的操作702中描述的用于更新静态全局表示的更新条件)，则处理设备112可以更新动态全局表示。例如，更新条件可以包括自第二时间点以来已经从预设数量的传感器接收到与环境相关联的一个或多个数据集。附加地或可替代地，更新条件可以包括自第二时间点以来已经接收到与环境相关联的一个或多个与第一参考时间点的预设数目相对应的数据集。每个第一参考时间点都在第二时间点和第一时间点之间。更新条件可以用于控制动态全局表示模型的更新频率，这可以减少或避免由于过度更新而引起的噪声。
例如，如图10所示，第二时间点可以表示为t0，而与第二时间点相对应的环境的动态全局表示(也称为“第二动态全局表示”)可以表示为
Figure BDA0002360456290000204
为了说明的目的，第一参考时间点的预设数目可以是两个。对应于两个参考时间点t1-2和t1-1的环境数据。如操作602中所述，可以从一个或多个传感器中的至少一个接收环境数据。在一些实施例中，一个或多个传感器可以包括至少两个传感器。在一些实施例中，至少两个传感器中的至少两个可以被配置为获取与环境的不同部分关联的数据。在一些实施例中，由至少两个传感器中的每个传感器检测到的环境的一部分可以与由至少两个传感器中的另一个传感器检测到的环境的一部分重叠。在一些实施例中，至少一个传感器检测到的环境的一部分与至少两个传感器中任何其他传感器检测到的环境的一部分没有重叠区域。在一些实施例中，至少两个传感器中的至少两个可以被配置为以不同的时间间隔获取与环境或其一部分相关联的数据。
可以通过初始动态全局表示的一个或多个更新来确定第二动态全局表示
Figure BDA0002360456290000211
关于动态全局表示的更新的细节可以在本申请的其他地方找到，例如在图10，图9的操作906及其描述中。仅作为示例，可以基于在初始时间点从一个或多个传感器中的至少一个接收的一组环境数据来生成初始动态全局表示。
在904中，处理设备112(例如，动态全局表示模块440和/或更新信息生成单元510)可以基于至少部分环境数据来生成与环境相关联的更新信息。在一些实施例中，该处理设备112可以通过将第一时间点时的环境的第一全局参考表示(例如，
Figure BDA0002360456290000212
)与第二参考时间点时的环境的第二全局参考表示进行比较来生成更新信息。第二参考时间点可以在第一时间点和第二时间点之间。例如，第二个全局参考表示可以是
Figure BDA0002360456290000213
或
Figure BDA0002360456290000214
在一些实施例中，更新信息可以指示第二时间一个或多个移动元素的状态与第二时间一个或多个移动元素的状态之间的差异。如图10所示，更新信息可以采用3D张量表示的形式
Figure BDA0002360456290000215
又例如，更新信息可以由一个或多个特征向量表示。
在906，处理设备112(例如，动态全局表示模块440和/或动态全局表示估计单元520)可以基于第二动态全局表示来生成环境的第一状态的估计动态全局表示。在一些实施例中，环境中至少一个或多个移动元素的一部分可能会在从第二时间点到第一时间点的时间段内移动。估计动态全局表示可以指示在第一时间点环境中一个或多个移动元素的估计状态。因此，当仅接收与环境的一部分相关的数据时，处理设备112可以更新与环境的一部分相对应的第二动态全局表示的一部分，并通过估计来更新环境的其余部分的动态表示。在一些实施例中，处理设备112可以确定第二时间点和第一时间点之间的时间差(例如，图10中的△t1)。处理设备112可以使用动态估计模型基于时间差来生成估计动态全局表示(例如，图10中的
Figure BDA0002360456290000216
)。在一些实施例中，动态更新模型可以包括一个或多个数据处理算法。例如，动态更新模型可以根据加权平均算法将处理设备112引导到第二动态全局表示和更新信息的融合数据(例如，点值、特征向量)。在一些实施例中，动态估计模型可以是训练好的的机器学习模型(被称为训练好的的动态估计模型)。例如，动态估计模型可以包括一个或多个卷积层、用于生成与第二动态全局表示相关的一个或多个特征向量。动态估计模型可以进一步包括一个或多个LSTM层，用于为估计动态全局表示生成一个或多个估计的特征向量。一个或多个估计的特征向量可以进一步转换为估计动态全局表示，例如，通过动态估计模型中的一个或多个反卷积层。
在908中，处理设备112(例如，动态全局表示模块440和/或动态全局表示生成单元530)可以基于更新信息和估计动态全局表示，生成在第一时间点的环境的估计状态的第一动态全局表示。在一些实施例中，可以通过使用动态更新模型整合更新信息和估计动态全局表示来生成第一动态全局表示。在一些实施例中，动态更新模型可以包括一个或多个数据处理算法。例如，动态更新模型可以根据加权平均算法将处理设备112引导到第二动态全局表示和更新信息的融合数据(例如，点值、特征向量)。动态更新模型可以包括RNN模型，例如LSTM模型、GRU模型、CTRNN模型等，或其任意组合。在一些实施例中，可以从存储设备120获取经训练的动态更新神经网络模型。在一些实施例中，可以通过使用训练数据训练动态更新模型来获取动态更新模型。例如，训练数据可以包括在不同时间点的至少两个估计动态全局表示样本，用于响应更新信息的至少两个表示样本以及一个或多个标签。一个或多个标签可能包含不同时间点的动态全局表示样本。在用于训练动态更新模型之前，训练数据可以由用户检查和/或修改。
在一些实施例中，与环境相关的静态信息可能会被忽略。处理设备112可以使用目标动态估计模型基于第一动态全局表示估计环境在目标时间点的目标动态状态。目标动态状态可以在目标时间点指示环境中一个或多个移动元素的状态。例如，目标动态状态可以包括在目标时间点时环境中的一个或多个移动元素中的至少两个之间是否可能发生碰撞。在一些实施例中，因为不需要对与环境相关联的静态信息进行进一步处理(例如，如操作604中所述生成静态全局表示)，估计目标动态状态的过程中要处理的数据量可以小于基于第一静态全局表示和第一动态全局表示估计环境的目标状态的过程。在一些实施例中，估计环境的目标动态状态的过程可以在移动设备上实现，例如车辆的内置设备(例如，用于自动驾驶应用)。这样的处理可以集中于环境中的移动元素(例如，移动汽车、行人)，因此可以提高处理速度。
在一些实施例中，目标动态估计模型可以是训练的机器学习模型(也称为训练的动态估计模型)。在一些实施例中，训练后的目标动态估计模型可以是神经网络模型，例如RNN模型。仅作为示例，RNN模型可以包括LSTM模型、GRU模型、CTRNN模型等或其任意组合。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写，包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby,和Groovy，或其他编程语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (12)

1.一种态势感知系统，包括：
至少一个非临时存储介质，包括一组指令；以及
至少一个处理器，所述至少一个处理器与所述至少一个非临时存储介质通信，其中，当执行所述一组指令时，所述至少一个处理器被配置为使所述系统执行包括以下内容的操作：
从至少一个或多个传感器中获取对应于第一时间点的环境相关的环境数据；
基于至少部分所述环境数据，生成与所述第一时间点相对应的环境的第一静态全局表示，所述第一静态全局表示是表示所述环境中一个或多个静态元素的第一状态；
基于至少部分所述环境数据，生成与所述第一时间点相对应的所述环境的第一动态全局表示，所述第一动态全局表示是表示所述环境中一个或多个移动元素的第一状态；以及
基于所述第一静态全局表示和所述第一动态全局表示，使用目标估计模型估计所述环境在所述目标时间点的目标状态。
2.根据权利要求1所述的系统，其特征在于，所述基于至少部分所述环境数据来生成与所述第一时间点相对应的环境的第一静态全局表示，包括：
获取与第二时间点相对应的所述环境的第二状态的第二静态全局表示；
生成与所述第一时间点相对应的所述环境的所述第一状态的第一全局参考表示，其中所述第一全局参考表示包括与所述第一时间点时的所述环境相关联的动态信息和与所述第一时间点时的所述环境相关联的静态信息；以及
通过使用静态更新模型，将所述第一全局参考表示与所述第二静态全局表示进行整合来生成所述第一静态全局表示。
3.根据权利要求2所述的系统，其特征在于，所述环境数据对应于所述环境的一部分，并且所述生成第一全局参考表示包括：
获取对应于参考时间点的第二全局参考表示，其中所述参考时间点在所述第一时间点和所述第二时间点之间；以及
更新所述第二全局参考表示的与所述环境的所述部分相对应的部分。
4.根据权利要求1所述的系统，其特征在于，所述生成所述第一动态全局表示包括：
获取与第二时间点相对应的所述环境的第二状态的第二动态全局表示；
基于至少部分所述环境数据生成与所述环境相关的更新信息；
基于所述第二动态全局表示，在所述第一时间点生成所述环境的估计状态的估计动态全局表示；以及
基于所述更新信息和所述估计动态全局表示，生成与所述第一时间点相对应的所述环境的第一状态的所述第一动态全局表示，其中所述第一动态全局表示是表示所述环境中一个或多个移动元素的第一状态。
5.根据权利要求4所述的系统，其特征在于，在所述第一时间点生成所述环境的估计状态的所述估计动态全局表示包括：
确定所述第二时间点和所述第一时间点之间的时间差；以及
基于所述时间差，使用动态估计模型生成所述估计动态全局表示。
6.根据权利要求1所述的系统，其特征在于，所述目标时间点晚于所述第一时间点，并且所述环境的所述目标状态包括在所述环境中是否有可能发生异常情况。
7.根据权利要求6所述的系统，其特征在于，所述目标估计模型是训练好的神经网络模型。
8.根据权利要求7所述的系统，其特征在于，所述基于所述第一静态全局表示和所述第一动态全局表示，使用目标估计模型估计所述环境在所述目标时间点的目标状态包括：
通过融合所述第一静态全局表示和所述第一动态全局表示，生成与所述第一时间点相对应的所述环境的所述第一状态的联合全局表示；
基于所述联合全局表示，使用所述目标估计模型确定目标概率，其中所述目标概率是在所述目标时间点的所述环境中发生异常情况的概率；
将所述目标概率与一个概率阈值进行比较；以及
响应于确定所述目标概率超过所述概率阈值，估计所述环境在所述目标时间点很可能发生异常情况。
9.根据权利要求1所述的系统，其特征在于，所述一个或多个传感器包括至少两个传感器，其中至少两个传感器被配置为以不同的时间间隔获取与所述环境或其一部分相关联的数据。
10.一个系统，包括：
至少一个非临时存储介质，包括一组指令；以及
至少一个处理器与所述至少一个非临时存储介质通信，其中，当执行所述一组指令时，所述至少一个处理器被配置为使所述系统执行包括以下内容的操作：
从至少一个或多个传感器中获取对应于第一时间点的环境相关的环境数据；
获取与所述第二时间点相对应的所述环境的第二状态的第二动态全局表示，所述第二时间点与所述第一时间点不同；
基于至少部分所述环境数据生成与所述环境相关的更新信息，所述更新信息表示所述第一时间点时所述环境中一个或多个移动元素的状态与所述第二时间点时所述环境中一个或多个移动元素的状态之间的差异；
基于所述第二动态全局表示，在所述第一时间点生成所述环境的估计状态的估计动态全局表示；以及
基于所述更新信息和所述估计动态全局表示，在所述第一时间点生成所述环境的第一状态的第一动态全局表示，其中所述第一动态全局表示是表示在所述第一时间点所述环境中所述一个或多个移动元素的状态。
11.根据权利要求10所述的系统，其特征在于，基于所述第二动态全局表示，所述第一时间点时所述环境的估计状态的估计动态全局表示包括：
确定所述第二时间点和所述第一时间点之间的时间差；以及
使用动态估计模型，基于所述时间差生成所述估计动态全局表示。
12.一个非暂时性计算机可读介质，至少包含一组指令，其中，当由至少一个计算设备的处理器执行时，所述至少一组指令使所述至少一个处理器执行以下操作：
从一个或多个传感器中获取环境数据，所述环境数据与对应于第一时间点的所述环境相关联；
获取与所述第二时间点相关联的所述环境的第二状态的第二动态全局表示，所述第二时间点与所述第一时间点不同；
基于至少部分所述环境数据生成与所述环境相关联的更新信息；
基于所述第二动态全局表示，在所述第一时间点生成所述环境的估计状态的估计动态全局表示；以及
基于所述更新信息和所述估计动态全局表示，在所述第一时间点生成所述环境的第一状态的第一动态全局表示，其中所述第一动态全局表示是表示所述第一时间点在所述环境中一个或多个移动元素中的状态。
CN202010020218.9A 2019-12-11 2020-01-09 态势感知的系统和方法 Active CN111222577B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/710070 2019-12-11
US16/710,070 US11966852B2 (en) 2019-12-11 2019-12-11 Systems and methods for situation awareness
US16/710,070 2019-12-11

Publications (2)

Publication Number Publication Date
CN111222577A true CN111222577A (zh) 2020-06-02
CN111222577B CN111222577B (zh) 2024-01-26

Family

ID=70831005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020218.9A Active CN111222577B (zh) 2019-12-11 2020-01-09 态势感知的系统和方法

Country Status (2)

Country Link
US (1) US11966852B2 (zh)
CN (1) CN111222577B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113206762A (zh) * 2021-05-06 2021-08-03 李建新 一种物联网设备的网络通信模型处理方法及系统
CN116976547A (zh) * 2023-06-19 2023-10-31 珠海盈米基金销售有限公司 一种财务报告分析处理方法、系统、装置及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114954839B (zh) * 2022-05-31 2023-08-18 浙江省交通运输科学研究院 一种船舶态势感知控制方法及系统、视觉处理芯片
CN116300867A (zh) * 2022-12-30 2023-06-23 中电普信(北京)科技发展有限公司 复杂战场下对敌方无人装备运动路径的预测方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202838579U (zh) * 2012-06-07 2013-03-27 清华大学 一种火灾火源位置及强度估计系统
CN104407616A (zh) * 2014-12-03 2015-03-11 沈阳工业大学 基于免疫网络算法的移动机器人动态路径规划方法
US20160063858A1 (en) * 2014-08-29 2016-03-03 Honda Research Institute Europe Gmbh Method and system for using global scene context for adaptive prediction and corresponding program, and vehicle equipped with such system
WO2017180698A1 (en) * 2016-04-14 2017-10-19 Origin Wireless, Inc. Methods, apparatus, servers, and systems for object tracking
CN107908819A (zh) * 2017-10-19 2018-04-13 深圳和而泰智能控制股份有限公司 预测用户状态变化的方法和装置
CN108292356A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于实施自主车辆中的主动安全系统的系统
CN109389824A (zh) * 2017-08-04 2019-02-26 华为技术有限公司 一种驾驶风险的评估方法及装置
CN109496288A (zh) * 2017-07-13 2019-03-19 北京嘀嘀无限科技发展有限公司 用于确定轨迹的系统和方法
CN109891347A (zh) * 2017-02-23 2019-06-14 深圳市大疆创新科技有限公司 用于模拟可移动物体状态的方法和系统
US20190234751A1 (en) * 2018-02-01 2019-08-01 Didi Research America, Llc Probabilistic navigation system and method
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和系统
CN110494715A (zh) * 2017-02-06 2019-11-22 瓦亚视觉感知有限公司 计算机辅助驾驶

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202838579U (zh) * 2012-06-07 2013-03-27 清华大学 一种火灾火源位置及强度估计系统
US20160063858A1 (en) * 2014-08-29 2016-03-03 Honda Research Institute Europe Gmbh Method and system for using global scene context for adaptive prediction and corresponding program, and vehicle equipped with such system
CN104407616A (zh) * 2014-12-03 2015-03-11 沈阳工业大学 基于免疫网络算法的移动机器人动态路径规划方法
CN108292356A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于实施自主车辆中的主动安全系统的系统
CN109073389A (zh) * 2016-04-14 2018-12-21 欧利景无线有限公司 用于物体跟踪的方法、装置、服务器和系统
WO2017180698A1 (en) * 2016-04-14 2017-10-19 Origin Wireless, Inc. Methods, apparatus, servers, and systems for object tracking
CN110494715A (zh) * 2017-02-06 2019-11-22 瓦亚视觉感知有限公司 计算机辅助驾驶
CN109891347A (zh) * 2017-02-23 2019-06-14 深圳市大疆创新科技有限公司 用于模拟可移动物体状态的方法和系统
CN109496288A (zh) * 2017-07-13 2019-03-19 北京嘀嘀无限科技发展有限公司 用于确定轨迹的系统和方法
CN109389824A (zh) * 2017-08-04 2019-02-26 华为技术有限公司 一种驾驶风险的评估方法及装置
CN107908819A (zh) * 2017-10-19 2018-04-13 深圳和而泰智能控制股份有限公司 预测用户状态变化的方法和装置
US20190234751A1 (en) * 2018-02-01 2019-08-01 Didi Research America, Llc Probabilistic navigation system and method
CN110103952A (zh) * 2019-04-29 2019-08-09 北京百度网讯科技有限公司 辅助车辆驾驶的方法、设备、介质和系统
CN110083163A (zh) * 2019-05-20 2019-08-02 三亚学院 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NAMHOON LEE等: "DESIRE: Distant Future Prediction in Dynamic Scenes with Interacting Agents", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 2165 - 2174 *
S. MAHMOUDZADEH等: "Online path planning for AUV rendezvous in dynamic clutteredundersea environment using evolutionary algorithms", pages 929 *
TESSA VAN DER HEIDEN等: "SAFECRITIC: COLLISION-AWARE TRAJECTORY PREDICTION", ARXIV:1910.06673V1 [ CS.LG] 15 OCT 2019, pages 1 - 8 *
樊洁茹等: "有人机/无人机协同作战研究现状及关键技术浅析", pages 39 - 47 *
谢园园;朱庆保;: "动态环境下基于蚁群算法的机器人路径规划", no. 03, pages 48 - 53 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113206762A (zh) * 2021-05-06 2021-08-03 李建新 一种物联网设备的网络通信模型处理方法及系统
CN113206762B (zh) * 2021-05-06 2023-04-18 广东腾通科技有限公司 一种物联网设备的网络通信模型处理方法及系统
CN116976547A (zh) * 2023-06-19 2023-10-31 珠海盈米基金销售有限公司 一种财务报告分析处理方法、系统、装置及介质

Also Published As

Publication number Publication date
CN111222577B (zh) 2024-01-26
US11966852B2 (en) 2024-04-23
US20210182694A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111222577B (zh) 态势感知的系统和方法
US11915502B2 (en) Systems and methods for depth map sampling
JP7345504B2 (ja) Ｌｉｄａｒデータと画像データの関連付け
US9959468B2 (en) Systems and methods for object tracking and classification
CN112287960A (zh) 用于训练或再训练机器学习模型的地面真值数据的自动生成
EP2830028B1 (en) Controlling movement of a camera to autonomously track a mobile object
US11458623B2 (en) Control system to control intelligent robot device
KR102532230B1 (ko) 전자 장치 및 그 제어 방법
US20230386315A1 (en) Systems and methods for smoke detection
CN112802100A (zh) 一种入侵检测方法、装置、设备和计算机可读存储介质
US11423881B2 (en) Method and apparatus for updating real-time voice recognition model using moving agent
US20220339969A1 (en) System and method for automatic treadwear classification
WO2020037553A1 (zh) 图像处理方法及装置、移动设备
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11496674B2 (en) Camera placement guidance
CN113744304A (zh) 一种目标检测跟踪的方法和装置
EP3964930A1 (en) System and method for interpreting gestures and providing control signals
CN115019278B (zh) 一种车道线拟合方法、装置、电子设备和介质
RU2776814C1 (ru) Способ и электронное устройство для обнаружения трехмерных объектов с помощью нейронных сетей
US20240153262A1 (en) Device for managing a visual saliency model and control method thereof
EP4089649A1 (en) Neuromorphic cameras for aircraft
CN113869214A (zh) 交通信号灯图像的处理方法、装置和边缘计算设备
EP4359822A1 (en) Systems and methods for pose determination of a mobile subject
KR20240033502A (ko) 도메인 지식을 활용하여 인공지능 기반의 표적 지정 능력을 향상시키는 방법 및 장치
CN116175589A (zh) 机器人进出电梯方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant