CN110869926B - 基于语义状态的传感器跟踪和更新 - Google Patents

基于语义状态的传感器跟踪和更新 Download PDF

Info

Publication number
CN110869926B
CN110869926B CN201780092794.0A CN201780092794A CN110869926B CN 110869926 B CN110869926 B CN 110869926B CN 201780092794 A CN201780092794 A CN 201780092794A CN 110869926 B CN110869926 B CN 110869926B
Authority
CN
China
Prior art keywords
semantic
sensor data
sensors
sensor
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780092794.0A
Other languages
English (en)
Other versions
CN110869926A (zh
Inventor
B.布雷温顿
Z.翁
Y.梅斯特
B.舒克
S.巴纳吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110869926A publication Critical patent/CN110869926A/zh
Application granted granted Critical
Publication of CN110869926B publication Critical patent/CN110869926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本公开提供了用于基于与区域相关联的传感器数据和语义状态来更新传感器的方法、系统和设备。传感器数据可以由计算系统接收。传感器数据可以基于来自传感器的传感器输出。传感器数据可以包括与由传感器检测到的区域的状态相关联的信息。可以从可以检测区域的状态的目标传感器生成所述区域之一的估计的语义状态。基于估计的语义状态与来自传感器的所述区域的语义状态的比较，可以确定与估计的语义状态的准确性相关联的不确定性等级。响应于不确定性等级满足一个或多个更新标准，可以从目标传感器获得传感器数据的更新版本。

Description

基于语义状态的传感器跟踪和更新
技术领域
本公开一般涉及基于与区域相关联的传感器数据和语义状态来更新传感器。
背景技术
对象检测系统能够捕获关于环境中的对象的各种信息，包括例如对象的外观。将检测到的对象的各个方面(例如，对象的外观)与另一条信息(诸如对象的类型)相关联在各种应用中可能是有用的。然而，许多现有的对象检测系统需要大量的手动分析和输入，这可能很麻烦。此外，用于分析区域的许多现有系统由于过度更新了未改变的区域而浪费了资源，或者由于未提供区域的最新表示而导致了不准确。因此，需要一种高效的方式来更新与环境的状态相关联的信息。
发明内容
本公开的实施例的各方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践而获知。
本公开的一个示例方面针对一种基于与区域相关联的传感器数据和语义状态来更新传感器的方法。所述方法可以包括由包括一个或多个计算设备的计算系统部分地基于来自一个或多个传感器的一个或多个传感器输出来接收传感器数据。传感器数据可以包括与由一个或多个传感器检测到的一个或多个区域的一个或多个状态相关联的信息。所述方法可以包括由计算系统部分地基于传感器数据，从能够检测到一个或多个区域的一个或多个状态的目标传感器生成一个或多个区域中的区域的估计的语义状态。所述方法可以包括由计算系统部分地基于估计的语义状态与来自一个或多个传感器的所述区域的一个或多个语义状态的比较来确定与估计的语义状态的准确性相关联的不确定性等级。此外，所述方法可以包括：响应于不确定性等级满足一个或多个更新标准，由计算系统从目标传感器获得传感器数据的更新版本。
本公开的另一示例方面针对一个或多个有形的非暂时性计算机可读介质，其存储计算机可读指令，所述计算机可读指令在由一个或多个处理器执行时使一个或多个处理器执行操作。所述操作可以包括部分地基于来自一个或多个传感器的一个或多个传感器输出来接收传感器数据。传感器数据可以包括与由一个或多个传感器检测到的一个或多个区域的一个或多个状态相关联的信息。所述操作可以包括部分地基于传感器数据，从能够检测到一个或多个区域的一个或多个状态的目标传感器生成一个或多个区域中的所述区域的估计的语义状态。所述操作可以包括部分地基于估计的语义状态与来自一个或多个传感器的所述区域的一个或多个语义状态的比较来确定与估计的语义状态的准确性相关联的不确定性等级。此外，所述操作可以包括响应于不确定性等级满足一个或多个更新标准，从目标传感器获得传感器数据的更新版本。
本公开的另一示例方面针对一种计算系统，其包括：一个或多个处理器；以及一个或多个非暂时性计算机可读介质，其存储指令，当所述指令由一个或多个处理器执行时使所述一个或多个处理器执行操作。所述操作可以包括所述操作可以包括：部分地基于来自一个或多个传感器的一个或多个传感器输出来接收传感器数据。传感器数据可以包括与由一个或多个传感器检测到的一个或多个区域的一个或多个状态相关联的信息。所述操作可以包括部分地基于传感器数据，从能够检测到一个或多个区域的一个或多个状态的目标传感器生成一个或多个区域中的所述区域的估计的语义状态。所述操作可以包括部分地基于估计的语义状态与来自一个或多个传感器的所述区域的一个或多个语义状态的比较来确定与估计的语义状态的准确性相关联的不确定性等级。此外，所述操作可以包括响应于不确定性等级满足一个或多个更新标准，从目标传感器获得传感器数据的更新版本。
本公开的其他示例方面针对用于基于与区域相关联的传感器数据和语义状态来更新传感器的其他计算机实施的方法、系统、装置、有形的非暂时性计算机可读介质、用户界面、存储器设备和电子设备。
参考以下描述，将更好地理解各种实施例的这些和其他特征、方面和优点。被合并在本说明书中的并构成本说明书的一部分的附图示出了本公开的实施例，并且与描述一起用于解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：
图1描绘了根据本公开的示例实施例的示例系统的示图；
图2描绘了根据本公开的示例实施例的示例设备的示图；
图3描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例；
图4描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例；
图5描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例；
图6描绘了根据本公开的示例实施例的基于语义状态的传感器更新的流程图；
图7描绘了根据本公开的示例实施例的基于语义状态的传感器更新的流程图；
图8描绘了根据本公开的示例实施例的基于语义状态的传感器更新的流程图；和
图9描绘了根据本公开的示例实施例的基于语义状态的传感器更新的流程图。
具体实施方式
本公开的示例方面针对基于由一个或多个其他传感器提供的用于区域的最新传感器数据来确定何时从传感器获得针对所述区域的更新的传感器数据。所公开的技术可以包括：接收与目标区域(例如，室外区域或其他地理区域)的状态相关联的传感器数据；部分地基于所述传感器数据以及经机器学习的模型(在一些实施方式中)确定目标区域的估计的语义状态，基于目标区域的估计的语义状态与基于来自其他传感器的输出确定的所述区域的语义状态的比较，确定不确定性等级(例如，传感器数据准确的不确定性的等级的指示)，和/或当不确定性等级满足一个或多个不确定性标准(例如，超过不确定性阈值等级)时，获取传感器数据的更新版本。
这样，所公开的技术可以通过使得仅在可能有必要时(例如，因为已经基于来自其他传感器的数据确定自从特定传感器对传感器数据的先前获取以来区域有可能已经改变)才重新获取数据，来使得能够从特定传感器更高效地获取用于所述区域的传感器数据。通过仅在可能有必要时才获取更新的传感器数据，可以更高效地使用传输、处理和存储传感器数据所需的计算资源。另外，可以减少传感器处的硬件上的负载。而且，所公开的技术可以通过使用来自用于检测区域的不同传感器的传感器数据来更高效地估计与传感器相关联的语义状态，并提供对计算能力和传感器资源的更高效利用。
例如，所公开的技术可以包括与一个或多个传感器交换(发送和/或接收)数据或信息的计算系统。所述一个或多个传感器可以生成基于由所述一个或多个传感器检测到的一个或多个区域(例如，地理区域)的传感器输出(例如，摄影图像)。所述一个或多个传感器可以包括以不同的传感器分辨率等级捕获一个或多个区域的各个方面和/或角度的各种传感器。由于与低分辨率传感器相比从高分辨率传感器获取和处理数据可能需要更大量的资源利用，因此通过与低分辨率传感器相比更不频繁地从高分辨率传感器获取传感器数据，从一个或多个传感器获取传感器数据所需的资源利用可以变得更高效。所公开的技术可以通过确定先前使用高分辨率传感器获得的传感器数据的不确定性等级、并且当不确定性等级超过不确定性等级阈值时选择性地从高分辨率传感器获得更新的传感器数据，来提供获得传感器数据的改进方式。
在一些实施例中，所公开的技术可以包括一种计算系统(例如，语义状态系统)，其可以包括一个或多个计算设备(例如，具有一个或多个计算机处理器和可以存储一个或多个指令的存储器的设备)，所述一个或多个计算设备可以交换(发送和/或接收)、处理、生成和/或修改数据和/或一个或多个信号(例如电子信号)，所述数据包括可以被存储在一个或多个存储器设备(例如，随机存取存储器)和/或存储设备(例如，硬盘驱动器和/或固态驱动器)上的一个或多个信息模式或结构。所述数据和/或一个或多个信号可以由计算系统与各种其他设备交换，所述各种其他设备包括可以提供关联于或包括与区域的一个或多个状态(例如，区域中的道路和建筑物的量)相关联的语义状态的数据的远程计算设备；和/或一个或多个传感器设备，所述传感器设备可以提供与可用于确定区域的状态的地理区域的状态(例如，各种传感器分辨率下的卫星图像)相关联的传感器输出。
语义状态系统可以接收部分地基于来自一个或多个传感器的一个或多个传感器输出的传感器数据。传感器数据可以包括与由一个或多个传感器检测到的一个或多个区域(例如，地理区域)的一个或多个状态相关联的信息。在一些实施例中，一个或多个传感器可以包括一个或多个光学传感器(例如，一个或多个相机)、一个或多个声学传感器(例如，一个或多个声纳设备)、一个或多个红外传感器、一个或多个电磁传感器、一个或多个射频信号传感器(例如，可以检测无线电波的存在和/或强度的一个或多个设备)或一个或多个热传感器。
一个或多个传感器可以被配置为检测一个或多个区域的状态(例如，物理状态)，所述状态包括一个或多个区域的一个或多个性质或特性。此外，语义状态系统可以访问可用于确定一天中的时间和/或包括一个或多个传感器事件的一个或多个事件的时长(duration)的计时器(例如，本地计时器或位于远处的计时器)，所述一个或多个传感器事件与检测一个或多个区域的状态、从一个或多个传感器获得传感器数据和/或一个或多个区域在一个或多个时间段的状态相关联。一个或多个区域的一个或多个性质或特性可以包括一天中的时间、或来自一个或多个区域的地理位置(例如，与环境相关联的纬度和经度)、尺寸(例如，高度、长度和/或宽度)、质量、重量、体积、颜色、一个或多个信号的频率、一个或多个信号的幅度和/声音辐射。
语义状态系统可以部分地基于传感器数据，从一个或多个传感器中的目标传感器生成一个或多个区域中的区域的估计的语义状态，所述目标传感器是在预定时间段内还未从其接收到传感器数据的传感器。预定时间段的时长可以根据使用所述区域的语义状态的目的(例如，与对偏远荒野区域的调查相比，城市环境中的实时交通报告在生成估计的语义状态之前可以具有更短的预定时间段)而变化(例如，长为一周的时间段、长为一天的时间段或长为一小时的时间段)。
在一些实施例中，目标传感器被配置为以高于与一个或多个传感器相关联的分辨率的分辨率来检测一个或多个区域的状态。例如，一个或多个传感器可以位于从低轨道捕获图像并能够以每像素三十米的分辨率解析图像的卫星上，并且目标传感器可以包括以每像素1毫米的分辨率解析图像的一个或多个基于地面的传感器(例如，闭路相机)。
在一些实施例中，语义状态系统可以访问经机器学习的模型(例如，已经本地存储的经机器学习的模型和/或存储在远程计算设备上的经机器学习的模型)，所述经机器学习的模型部分地基于与一个或多个图像的多个分类图像标签和分类图像特征相关联的训练数据集。此外，估计的语义状态和/或一个或多个语义状态可以包括嵌入向量，所述嵌入向量响应于将传感器数据输入到经机器学习的模型而从经机器学习的模型被接收。这样，估计的语义数据的生成可以部分地基于访问经机器学习的模型。
可以使用包括分类器数据的分类数据集来生成经机器学习的模型，所述分类器数据包括与训练数据相关联的分类特征集合和分类对象标签集合，所述训练数据基于或关联于用于训练经机器学习的模型以实现所期望的输出(例如，在卫星图像中检测一个或多个对象，诸如建筑物或水路)的多个训练输入。分类数据集可以部分地基于对已用于生成一个或多个传感器输出的一个或多个传感器的输入(例如，对卫星上的和/或位于地平面的相机的视觉输入)。例如，可以使用在时间段上从一个或多个地理区域捕获包括静止图像和视频的训练数据的一组相机来创建经机器学习的模型。地理区域可以包括各种对象，所述各种对象包括建筑物(例如，房屋和/或公寓建筑物)、街道、车辆、人、水体和/或水路。
在一些实施例中，经机器学习的模型可以部分地基于包括神经网络、线性回归、对数回归、随机森林分类、增强森林分类、梯度增强、支持向量机或决策树的一种或多种分类技术。语义状态系统可以结合经机器学习的模型或在没有经机器学习的模型的情况下使用各种技术来估计区域的语义状态。例如，语义状态系统可以使用包括卡尔曼滤波、贝叶斯推断、隐马尔可夫模型、一种或多种遗传算法、边缘匹配、灰度匹配、梯度匹配和/或姿势聚类的一种或多种技术。
一个或多个语义状态可以包括属性集合(例如，针对一个或多个语义状态中的每一个的属性集合)。在一些实施例中，估计的语义状态和所述一个或多个语义状态可以分别包括与来自目标传感器和不包括目标传感器的一个或多个传感器的所述区域的一个或多个状态相关联的属性集合。例如，属性集合可以包括建筑物集中度(例如，区域内的建筑物的量，所述建筑物包括房屋、公寓建筑物和/或办公建筑物)；道路集中度(例如，区域内的街道、道路和/或路径的量)；水体集中度；森林集中度(例如，包括一棵或多棵树木或其他植物的区域的量)；或车辆集中度(例如，区域中的车辆量，所述车辆包括一辆或多辆汽车、公共汽车、火车)。
语义状态系统可以确定与先前使用目标传感器获得的数据的准确性相关联的不确定性等级。不确定性等级可以包括估计的语义状态与基于来自目标传感器的传感器数据的更新版本的所述区域的更新的语义状态相同的概率。例如，不确定性等级可以指示估计的语义状态是对将由来自目标传感器的传感器数据的更新版本所指示的所述区域的实际状态(例如，在生成估计的语义状态时所述区域的实际状态)的准确反映的概率。此外，不确定性等级可以部分地基于估计的语义状态与来自不包括目标传感器的一个或多个传感器的所述区域的一个或多个语义状态的比较。例如，估计的语义状态与所述一个或多个语义状态的比较可以包括语义状态属性的类型或数量的比较，其可以根据它们的重要性或重要程度被加权。
响应于不确定性等级满足一个或多个更新标准，语义状态系统可以从目标传感器获得传感器数据的更新版本。例如，一个或多个更新标准可以包括超过阈值不确定性等级的不确定性等级(例如，不确定性等级大于百分之五十)。以此方式，通过使用更低的阈值可以更频繁地更新传感器数据，而通过使用更高的阈值不确定性等级可以更不频繁地更新传感器数据。从目标传感器获得传感器数据的更新版本可以包括向目标传感器或与目标传感器相关联的计算设备发送一个或多个信号。一个或多个信号可以包括对传感器数据的更新版本的请求。
语义状态系统可以确定一个或多个传感器的一个或多个特性。一个或多个特性可以包括一个或多个传感器的类型(例如，光学传感器和/或热传感器)、一个或多个传感器的分辨率或一个或多个传感器的采样率(例如，一个或多个传感器检测区域、生成传感器输出和/或发送传感器数据的频率)。关于一个或多个传感器的分辨率，语义状态系统可以确定一个或多个传感器的一个或多个传感器分辨率(例如，访问包括传感器的传感器分辨率的传感器类型数据)。一个或多个传感器分辨率可以部分地基于一个或多个传感器能够检测到的一个或多个区域的一个或多个状态的变化量(即，具有更高分辨率的传感器能够检测到区域的一个或多个状态的更小的变化量)。在一些实施例中，针对由目标传感器提供的最近数据确定的不确定性等级可以取决于不包括目标传感器的一个或多个传感器的传感器分辨率。例如，不确定性等级可以与不包括目标传感器的一个或多个传感器的一个或多个传感器分辨率成反比。
语义状态系统可以确定部分地基于目标传感器与不包括目标传感器的一个或多个传感器之间在一个或多个特性上的相似性的属性集合。在一些实施例中，估计的语义状态与所述一个或多个语义状态的比较可以部分地基于属性集合(例如，将估计的语义状态中的属性集合与所述一个或多个语义状态中的属性集合进行比较)。在一些实施例中，语义状态系统可以为从一个或多个传感器接收的传感器数据确定语义相关性等级。语义相关性等级可以部分地基于估计的语义状态中的属性集合中的多少个属性处于来自不包括目标传感器的一个或多个传感器的所述区域的一个或多个语义状态中。在一些实施例中，不确定性等级可以部分地基于语义相关性等级(例如，语义相关性等级可以用作确定不确定性等级的因素)。
在一些实施例中，语义状态系统可以部分地基于训练数据来修改经机器学习的模型，所述训练数据包括在多个时间段上与一个或多个传感器相关联的一个或多个错误率或一个或多个不确定性等级。这样，经机器学习的模型可以根据接收到的实际传感器数据随时间进行调整，并根据输出是否正确来进行反馈。
语义状态系统可以确定状态变化率，所述状态变化率部分地基于所述区域的一个或多个语义状态在多个时间段上的一个或多个变化的量。例如，在短时间段内从荒野转变为人口稠密的市区的区域将具有非常高的状态变化率。在一些实施例中，与目标传感器相关联的不确定性等级可以部分地基于状态变化率(例如，更大的状态变化率可以对应于更大的不确定性等级)。
语义状态系统可以部分地基于与所述区域相邻的一个或多个区域的一个或多个语义状态来确定相邻语义状态。此外，语义状态系统可以确定所述区域的估计的语义状态与相邻语义状态之间的一个或多个差异。不确定性等级可以部分地基于估计的语义状态与相邻语义状态之间的一个或多个差异的程度(例如，所述语义状态和相邻语义状态之间的更大的差异可以对应于更大的不确定性等级)。
语义状态系统可以针对目标传感器确定陈旧性(staleness)等级。陈旧性等级可以部分地基于自从最近从目标传感器接收到传感器数据以来的时长(即，从传感器接收传感器数据之间经过的时间越长，陈旧性等级越增加)。陈旧性等级可以部分地基于对从传感器接收传感器数据的速率的预期。例如，提供一段高速公路上的交通更新的传感器在三十分钟后可能具有非常高的陈旧性等级，而提供驼鹿迁移更新的传感器在每天提供一次传感器更新的情况下则可能具有低陈旧性等级。在一些实施例中，不确定性等级可以部分地基于陈旧性等级(例如，不确定性等级将随着陈旧性等级的增加而增加)。
本公开的示例实施例针对确定何时获得更新的传感器数据的计算机实施的方法。所述方法可以包括由包括一个或多个计算设备的计算系统来接收与区域相对应的传感器数据。传感器数据可以至少部分地从来自一个或多个传感器的一个或多个传感器输出导出。此外，所述方法可以包括由计算系统至少部分地基于传感器数据来确定所述区域的第一语义状态。所述方法可以包括由计算系统部分地基于所述区域的第一语义状态与第二语义状态的比较来确定指示目标传感器数据的准确性的不确定性等级，其中第二语义状态可以基于从目标传感器的传感器输出导出的目标传感器数据被生成的。此外，所述方法可以包括响应于所述不确定性等级满足一个或多个更新标准，由计算系统从目标传感器获得目标传感器数据的更新版本。
在一些实施例中，传感器数据和目标传感器数据两者都可以表示所述区域的一个或多个状态。此外，目标传感器数据可以以比传感器数据更高的分辨率表示所述区域的一个或多个状态。
在一些实施例中，传感器数据可以比目标传感器数据被更近地获得。在一些实施例中，第一语义状态和第二语义状态可以定义语义状态空间内的相应位置。
所公开的技术中的系统、方法、设备和非暂时性计算机可读介质可以为基于传感器输出为区域生成估计的语义状态、并且确定是否应该更新用于所述区域的语义状态的整个过程提供多种技术效果和益处。所公开的技术可以减少或消除从与区域相关联的传感器手动收集信息的需求。与手动检查、分析和选择传感器输出(例如，对来自一个或多个卫星的图像的目视检查)以确定何时更新针对区域的图像相比，所公开的技术可以基于从收集针对区域的传感器图像的其他传感器接收的图像来识别应该针对其取出更新的图像的一个或多个传感器。
此外，所公开的技术可以通过从使用更少的资源(例如，用更少的网络带宽来发送用于更低分辨率的图像的传感器输出和/或用更低的计算资源利用率来生成和处理更低分辨率的图像)的一个或多个传感器接收传感器输出，来允许以更佳的频率捕获、处理和发送更高分辨率的图像(例如，当发生变化而不是按照固定的时间表进行捕获时，无论所述区域的语义状态是否发生了变化)。另外，还可以更高效地利用与获得更新的传感器数据相关联的物理资源(例如，具有收集街景图像的任务的车辆所使用的燃料/能量)。
由于所公开的技术可以针对区域估计语义状态，因此可以减少从其收集传感器输出的传感器的数量。因此，在包括以不同的资源利用成本(例如，处理资源、网络资源的利用和/或费用)返回不同类型的传感器输出的各种类型的传感器的组合的系统中，更低资源利用的传感器可以被更频繁地使用，而不必牺牲最新的传感器输出。
所公开的技术还提供用于区域的语义状态的优点，所述语义状态可以基于来自各种不同类型的传感器(例如，相机和射频传感器的组合)的传感器输出，所述各种不同类型的传感器捕获不同类型的传感器输出，但是也可以用于捕获区域的语义状态的相同属性。例如，所公开的技术可以捕获由区域中的蜂窝电话使用产生的一个或多个蜂窝信号。基于一个或多个蜂窝信号，所公开的技术可以基于一个或多个蜂窝信号的频率和类型来生成区域的语义状态(例如，区域中的蜂窝发射的类型和频率可以表示存在信号塔或存在手机，这可以指示所述区域已有人居住)。
因此，所公开的技术提供部分地基于一个或多个传感器输出(包括以各种分辨率的不同传感器类型的组合)的区域的估计的语义状态的更高效生成。与仅以固定速率接收传感器输出或通过手动确定需要传感器输出相比，所公开的技术可以以更高效的方式估计与传感器相关联的不确定性等级，以确定何时更新传感器输出。
现在将详细参考实施例，所述实施例的一个或多个示例在附图中被示出。通过说明实施例而不是限制本公开的方式来提供每个示例。实际上，对于本领域技术人员将显而易见的是，在不脱离本公开的范围或精神的情况下，可以对实施例进行各种修改和变化。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，意图是本公开的各方面覆盖这样的修改和变化。
现在将参考图1-图9更详细地公开本公开的示例方面。图1描绘了根据本公开的示例实施例的示例系统100的示图。系统100可以包括计算系统102；远程计算设备104；通信网络106；对象识别组件110；传感器数据108(例如，与一个或多个物理对象、一个或多个区域和/或一个或多个语义状态相关联的数据)；以及一个或多个传感器120。
计算系统102可以经由通信网络106从远程计算设备104接收传感器数据(例如，与由与远程计算设备104相关联的一个或多个传感器检测到的或识别出的一个或多个对象相关联的信息)。网络106可以包括任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，因特网)、蜂窝网络或其某种组合。网络106还可以包括直接连接。通常，可以通过使用任何类型的有线和/或无线连接、使用各种通信协议(例如TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如HTML或XML)和/或保护方案(例如VPN、安全HTTP或SSL)经由网络106进行通信。
计算系统102可以包括一个或多个计算设备，所述一个或多个计算设备包括平板计算设备、能够被穿戴的设备(例如，智能手表或智能手环)、膝上型计算设备、桌上型计算设备、移动计算设备(例如，智能电话)和/或具有一个或多个处理器的显示设备。
可以在远程计算设备104上操作或执行的对象识别组件110可以经由网络106与计算系统102交互以执行一个或多个操作，所述一个或多个操作包括：一个或多个区域的一个或多个状态检测和/或确定；和/或区域的估计的语义状态的生成。在一些实施例中，对象识别组件110可以包括经机器学习的模型，所述经机器学习的模型可以用于检测和/或识别区域中的对象，并且还可以在包括区域的估计的语义状态的一个或多个语义状态的生成中使用。
对象识别组件110可以在远程计算设备104上实施。对象识别组件110可以实施一个或多个区域中的一个或多个对象的对象检测和/或识别。此外，对象识别组件110可以基于来自一个或多个传感器120的一个或多个感测输出来帮助一个或多个语义状态的生成。这些感测输出可以关联于与一个或多个区域中的一个或多个对象相关联的一个或多个图像、电信号、声音或其他可检测状态，并可被远程计算系统104用来生成传感器数据108。
通过经由在计算系统102上实施的网络浏览器访问的网络应用，或者通过在计算系统102上的远程执行或操作与在可以包括远程计算设备104的远程计算设备上的本地执行或操作的组合，对象识别组件110可以在远程计算设备104上被本地操作或执行。
在一些实施例中，远程计算设备104可以包括一个或多个计算设备，所述一个或多个计算设备包括服务器(例如，网络服务器)。一个或多个计算设备可以包括一个或多个处理器和一个或多个存储器设备。一个或多个存储器设备可以存储用于实施例如与传感器数据108相关联的一个或多个应用的计算机可读指令。
一个或多个传感器120包括一个或多个传感器(例如，光学传感器、音频传感器和/或无线电频率传感器)，所述一个或多个传感器可以检测可以与地理坐标集(例如，纬度和经度)相关联的地理区域的状态。与来自一个或多个传感器120的传感器输出相关联的传感器数据108可以包括地图数据、图像数据、地理图像和/或基于非视觉状态(例如，肉眼不可见的状态，包括电发射和/或热状态)的栅格化。此外，由远程计算设备104确定或生成的传感器数据108可以包括与一个或多个对象的状态或特性和/或一个或多个语义状态(包括例如来自一个或多个区域(例如地理区域)的图像、声音和/或电发射)相关联的数据。
图2描绘了根据本公开的示例实施例的可以被配置为执行基于语义状态的传感器更新的示例计算设备200。计算设备200可以包括一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)的一个或多个部分，所述一个或多个系统或设备包括如图1所示的计算系统102和/或远程计算设备104。如图所示，计算设备200包括：存储器204；对象识别组件212，其可以包括可以存储在存储器204上的一个或多个指令；一个或多个处理器220，被配置为执行存储在存储器204中的一个或多个指令；可以支持网络通信的网络接口222；一个或多个大容量存储设备224(例如，硬盘驱动器或固态驱动器)；一个或多个输出设备226(例如，一个或多个显示设备)；传感器阵列228(例如，一个或多个光学传感器和/或音频传感器)；一个或多个输入设备230(例如，一个或多个触摸检测表面)；和/或一个或多个互连232(例如，用于在计算设备中的计算组件之间传输一个或多个信号或数据的总线)。一个或多个处理器220可以包括可以例如处理和/或交换(发送或接收)与计算设备相关联的一个或多个信号或数据的任何处理设备。
例如，一个或多个处理器220可以包括单核或多核设备，包括微处理器、微控制器、集成电路和/或逻辑器件。存储器204和储存存储器224被分开示出，但是组件204和224可以是同一存储器模块内的区域。计算设备200可以包括可以被分开提供或者在同一芯片或板上提供的一个或多个附加处理器、存储器设备、网络接口。组件204和224可以包括一个或多个计算机可读介质，包括但不限于非暂时性计算机可读介质、RAM、ROM、硬盘驱动器、闪存驱动器和/或其他存储器设备。
存储器204可以存储用于包括可以与各种软件应用或数据相关联的操作系统的应用的指令集。存储器204可以用于操作各种应用，所述各种应用包括专门为移动设备开发的移动操作系统。这样，存储器204可以执行允许软件应用访问包括无线网络参数(例如，无线网络的身份、服务质量)的数据并调用包括电话、位置确定(例如，经由全球定位服务(GPS)或WLAN)和/或无线网络数据呼叫发起服务的各种服务的功能。在其他实施方式中，存储器204可以用于操作或执行在移动设备和固定设备两者(诸如，智能电话和桌上型计算机)上操作的通用操作系统。在一些实施例中，对象识别组件212可以包括可用于检测和/或识别对象的经机器学习的模型。此外，对象识别组件212可用于检测和/或识别一个或多个区域中的一个或多个对象或特征，并且可以在一个或多个语义状态的生成中被使用。
传感器阵列228可以包括一个或多个传感器，所述一个或多个传感器可以检测包括一个或多个对象的环境的状态的变化。例如，传感器阵列228可以包括一个或多个光学传感器、运动传感器、热传感器、音频传感器、触觉传感器、压力传感器、湿度传感器和/或电磁传感器。一个或多个输入设备230可以包括用于将输入输入到计算设备200中的一个或多个设备，所述一个或多个设备包括一个或多个触摸敏感表面(例如，电阻触摸屏和/或电容触摸屏)、键盘、鼠标设备、麦克风和/或触控笔设备。一个或多个输出设备226可以包括可以提供包括视觉输出、音频输出和/或触觉输出的物理输出的一个或多个设备。例如，一个或多个输出设备226可以包括一个或多个显示组件(例如，LCD监视器、OLED监视器和/或指示灯)、一个或多个音频组件(例如，扬声器)和/或可以产生包括振动在内的运动的一个或多个触觉输出设备。
可以由计算设备200操作或执行的软件应用可以包括图1所示的对象识别组件110。此外，可以由计算设备200操作或执行的软件应用可以包括本机应用或基于网络的应用。
在一些实施方式中，计算设备200可以与定位系统(未示出)相关联或包括定位系统(未示出)。定位系统可以包括用于确定设备的位置的一个或多个设备或电路。例如，定位设备可以通过使用三角测量和/或与蜂窝塔或Wi-Fi热点的接近度、信标等和/或用于确定位置的其他合适技术，基于IP地址，通过使用卫星导航定位系统(例如GPS系统、伽利略定位系统、全球导航卫星系统(GLONASS)、北斗卫星导航和定位系统)、惯性系统、航位推算系统，来确定实际或相对位置。定位系统可以确定用户设备的用户位置。可以将用户位置提供给远程计算设备104，以供传感器数据提供者用于确定与计算系统102相关联的行驶数据。
一个或多个互连232可以包括一个或多个互连或总线，所述一个或多个互连或总线可以用于在计算设备200的组件之间交换(例如，发送和/或接收)一个或多个信号(例如，电子信号)和/或数据，所述组件包括存储器204、对象识别组件212、一个或多个处理器220、网络接口222、一个或多个大容量存储设备224、一个或多个输出设备226、传感器阵列228和/或一个或多个输入设备230。
一个或多个互连232可以以包括并行连接或串行连接的不同的方式来布置或配置。此外，一个或多个互连232可以包括：一个或多个内部总线，用来连接计算设备200的内部组件；以及一个或多个外部总线，用来将计算设备200的内部组件连接到一个或多个外部设备。举例来说，一个或多个互连232可以包括不同的接口，所述不同的接口包括工业标准架构(ISA)、扩展的ISA、外围组件互连(PCI)、快速PCI、串行AT附件(SATA)、超传输(HT)、USB(通用串行总线)、雷电(Thunderbolt)和/或IEEE 1394接口(FireWire)。
图3描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例。图3包括环境300的图示，环境300的一个或多个部分可以由一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)检测、识别和/或处理，所述一个或多个系统或设备包括图1所示的计算系统102、图1所示的远程计算设备104和/或图2所示的计算设备200。此外，环境300的一个或多个部分的检测、识别和/或处理可以被实施为一个或多个设备或系统(例如，计算系统102、远程计算设备104和/或计算设备200)的硬件组件上的、用于例如基于一个或多个区域的检测来生成一个或多个语义状态并进行输出的算法。如图3中所示，环境300包括传感器302、传感器304、传感器306、区域312、区域314；以及计算系统320。
环境300包括三种不同类型的传感器(例如，基于检测不同类型的状态、事件和/或由传感器检测到的对象中的变化来生成传感器数据的传感器)。例如，传感器302可以是基于从低地球轨道(例如，具有两千公里或更小的高度的轨道)对地面区域的检测来生成图像数据的卫星；传感器304可以是基于从低地球轨道对地面区域的检测、以比传感器302更高的分辨率生成图像数据的卫星；并且传感器306可以是检测来自包括蜂窝电话的电子设备的一个或多个信号(例如，电子信号)的传感器。如图3所示，传感器302、304和306可以分别生成用于区域312和区域314的传感器数据。
计算系统320(例如，包括远程计算设备104的特征的计算系统)可以从传感器302、304和306接收一个或多个信号或数据。此外，计算系统320可以向传感器302、304、306发送包括请求传感器数据的一个或多个信号的一个或多个信号。基于从传感器302、304、306接收到的一个或多个信号或数据，计算系统320可以生成与区域312和区域314相关联的语义状态。由于传感器检测到的状态的差异，由计算系统320从传感器302、304和306中的每一个接收的一个或多个信号或数据可以用于确定针对与区域312相关联的语义状态的不同属性的不同值。
例如，当传感器302以每像素十米的分辨率生成与区域312的视觉状态相关联的图像数据、并且传感器304以每像素五十厘米的分辨率(即，比传感器302的分辨率大二十倍)生成与区域312的视觉状态相关联的图像数据时，传感器304的更大分辨率可以允许捕获传感器302捕获不到的细节。此外，传感器302和传感器304可以生成区域312的图像数据，所述图像数据可以被计算系统320用来生成包括与所述区域312中的房屋的数量相关联的房屋密度属性的语义状态。因为房屋是大的对象，所以传感器302和传感器304的分辨率的差异可能不会在生成包括住房密度属性的语义状态时导致明显差异。然而，如果计算系统320生成包括与区域312中的邮箱的密度相关联的邮箱密度属性的语义状态，则来自传感器304的图像数据将具有足够高的分辨率以解析邮箱，但是传感器302的低分辨率可能不能解析邮箱。这样，即使传感器302和传感器304正在生成相同类型的数据(例如，图像数据)，计算系统320可以基于来自传感器302和传感器304的图像数据生成的语义状态属性也可以是不同的。
在用于传感器304的传感器数据已经过时的情况下(例如，在预定时间量内还未更新传感器数据)，可以基于从传感器302接收的传感器数据来确定区域312的估计的语义状态。基于为估计的语义状态生成的不确定性等级，可以确定不确定性等级，并且当不确定性等级超过不确定性阈值等级时，可以从传感器304获得传感器数据。以这种方式，传感器数据可以以及时的方式被获得，并且通过在估计的语义状态的不确定性等级不超过不确定性等级阈值时不从潜在资源昂贵的更高分辨率的传感器获得传感器数据，传感器数据还可以节省计算资源和其他资源。
在另一示例中，传感器306可以基于对区域314中的蜂窝电话活动的检测来生成传感器数据。传感器304可以包括六个月前最近获得的传感器数据，其包括指示区域314是无人居住的森林的区域314的一个或多个图像。计算系统320可以部分地基于来自传感器306的传感器数据来生成区域314的估计的语义状态，所述传感器306检测指示在过去三个月中区域314中的无线活动的保守等级的一个或多个信号，计算系统320可以确定传感器306的不确定性等级满足一个或多个更新标准，并且计算系统320可以传送向传感器304请求更新的传感器数据的一个或多个信号。
图4描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例。图4包括环境400的图示，环境400的一个或多个部分可以由一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)检测、识别和/或处理，所述一个或多个系统或设备包括语义处理系统音频组件，语义处理系统音频组件可以包括图1所示的计算系统102、图1所示的远程计算设备104和/或图2所示的计算设备200的一个或多个部分。此外，环境400的一个或多个部分的检测、识别和/或处理可以被实施为一个或多个设备或系统(例如，计算系统102、远程计算设备104和/或计算设备200)的硬件组件上的、用于例如基于对一个或多个区域的检测来生成一个或多个语义状态并进行输出的算法。环境400包括语义处理系统音频输出组件。
环境400包括四个不同的传感器，所述四个传感器中的每一个检测区域的不同状态。在这个示例中，传感器402可以是低分辨率的(例如，比传感器404生成更低分辨率的传感器数据的传感器)基于卫星的传感器，其检测区域(未示出)；传感器404可以是高分辨率的(例如，比传感器402生成更高分辨率的传感器数据的传感器)基于卫星的传感器，其与传感器402检测相同的区域；传感器406可以是基于地面的传感器，其基于对与传感器402所检测的区域相同的区域的检测来生成非常高分辨率的传感器数据(例如，比传感器402和406更高的分辨率的传感器数据)；并且传感器408从与传感器402相同的区域检测一个或多个无线信号。
如图4所示，传感器402、404、406和408之间的箭头指示的方向可以指示对于针对最近(例如，在预定时间段内)还未更新的传感器生成估计的语义状态有用的传感器(例如，具有更低分辨率的传感器和/或具有基于不同的传感器输入的相交的语义状态属性的传感器)。例如，由于传感器402的分辨率低于传感器404，传感器402对于针对由传感器404和/或传感器406检测到的区域生成估计的语义状态(例如，与区域中的房屋密度相关联的语义状态)可以是有用的。传感器404和/或传感器406可用于生成由传感器402检测到的区域的估计的语义状态，但是，因为来自传感器404和传感器406的传感器数据具有更高分辨率并且具有与传感器402相同的类型，所以传感器404和传感器406可以用于确定由传感器402检测到的区域的实际语义状态，而无需从传感器402接收传感器数据或生成估计的语义状态。
在另一示例中，传感器408在针对由传感器404和/或传感器406检测到的区域生成估计的语义状态(例如，道路信标密度)时可以是有用的，因为传感器408检测可以与产生一个或多个无线信号的道路信标的数量相关联的一个或多个无线信号。相比之下，由于道路信标太小，因此传感器404和传感器406的分辨率没有高到足以检测道路信标，因此不能用于生成与由传感器404和/或传感器406检测到的区域中的道路信标密度相关联的语义状态。
在另一个示例中，传感器404可以针对传感器406生成估计的语义状态，并且传感器406可以针对传感器404生成估计的语义状态。传感器404和传感器406可以生成包括图像的传感器数据，然而，图像是来自不同的视角(例如，传感器404是从卫星的视角，而传感器406是从基于地面的视角)，因此，由传感器404和传感器406生成的传感器数据具有不同的类型，并且传感器404和传感器406两者都可以检测由传感器402检测到的、未被其他传感器检测到的所述区域的特征(例如，传感器406可以检测到云层覆盖以下的地面部分，而所述云层覆盖使得从传感器404看到的地面是模糊的)。
图5描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例。图5包括环境500的图示，环境500的一个或多个部分可以由一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)检测、识别和/或处理，所述一个或多个系统或设备包括计算系统502，计算系统502可以包括图1所示的计算系统102、图1所示的远程计算设备104和/或图2所示的计算设备200的一个或多个部分。此外，环境500的一个或多个部分的检测、识别和/或处理可以被实施为一个或多个设备或系统(例如，计算系统102、远程计算设备104和/或计算设备200)的硬件组件上的、用于例如基于对一个或多个区域的检测来生成一个或多个语义状态并进行输出的算法。如图5所示，环境500包括计算系统502、传感器504和传感器506。
所述环境包括传感器506和传感器504，所述传感器504可以是位于低地球轨道卫星中的低分辨率光学传感器，并且可以被配置为每分钟一次将传感器数据传送到计算系统502，而传感器506可以是位于低地球轨道卫星上的高分辨率光学传感器，其也可以配置为每分钟一次将传感器数据传送到计算系统502。在这个示例中，传感器506由于其更高的分辨率而可以使用比传感器504大五倍的资源(例如，用于传送传感器数据的带宽)。因此，为了优化传感器504和传感器506的资源使用，计算系统502可以针对由传感器506和传感器504两者检测到的区域针对传感器504生成估计的语义状态。基于与由传感器504和传感器506检测到的区域的估计的语义状态相关联的不确定性等级，计算系统可以基于一个或多个更新标准(例如，包括阈值不确定性等级的标准，所述阈值不确定性等级指示何时传感器的估计的语义状态过于不确定并且可以向传感器请求传感器数据)确定何时从传感器506获取传感器数据。以这种方式，计算系统可以节省与从传感器506接收传感器数据相关联的带宽利用率，并且可以最大化与稀缺传感器资源的利用率相关联的其他资源。
图6描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例方法的流程图。方法600的一个或多个部分可以在包括例如计算系统102、远程计算设备104和/或计算设备200的一个或多个计算设备或计算系统上执行或实施。方法600的一个或多个部分也可以在本文所公开的设备的硬件组件上执行，或者实施为所述硬件组件上的算法。出于说明和讨论的目的，图6描绘了以特定顺序执行的步骤。使用本文提供的公开内容，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的方法中的任何一种方法的各个步骤进行调整、修改、重新布置、省略和/或扩展。
在602，方法600可以包括接收传感器数据，所述传感器数据部分地基于来自一个或多个传感器的一个或多个传感器输出。传感器数据可以包括与由一个或多个传感器检测到的一个或多个区域(例如，地理区域)的一个或多个状态相关联的信息。在一些实施例中，一个或多个传感器可以包括一个或多个光学传感器(例如，一个或多个相机)、一个或多个声学传感器(例如，一个或多个声纳设备)、一个或多个红外传感器、一个或多个电磁传感器(例如，可以检测电场和磁场的一个或多个传感器)、一个或多个射频信号传感器(例如，可以检测无线电波的存在和/或强度的一个或多个设备)或一个或多个热传感器(例如，一个或多个温度计、热电偶和/或热敏电阻)。
此外，一个或多个传感器可以与多种设备相关联和/或位于多种设备上，所述多种设备包括一个或多个卫星(例如，绕地球的卫星)；高空平台(例如，一个或多个飞机、直升机、气球、飞艇、飞船和/或无人机)；个人电子设备(例如，一个或多个智能电话、平板计算机和/或个人数码相机)；基于地面的车辆(例如，一个或多个汽车、公共汽车和/或火车)；和/或海上航行器(例如，船)。
一个或多个传感器可以被配置为检测一个或多个区域的状态(例如，物理状态)，所述状态包括一个或多个区域的一个或多个性质或特性。此外，语义状态系统可以访问可用于确定日期、一天中的时间和/或包括一个或多个传感器事件的一个或多个事件的时长的计时器(例如，本地计时器或位于远处的计时器)，所述一个或多个传感器事件与检测一个或多个区域的状态、从一个或多个传感器获得传感器数据和/或一个或多个区域在一个或多个时间段的状态相关联。
例如，一个或多个传感器可以被配置为周期性地(包括每秒、每分钟、每小时、每天、每周、每月、和/或每年)检测一个或多个区域的状态。一个或多个区域的一个或多个性质或特性可以包括一天中的时间、来自一个或多个区域的地理位置(例如，与环境相关联的纬度和经度)、尺寸(例如，高度、长度和/或宽度)、质量、重量、体积、颜色、一个或多个信号的频率、一个或多个信号的幅度和/或声音辐射。
在604，方法600可以包括部分地基于传感器数据，从一个或多个传感器中的目标传感器生成一个或多个区域中的区域的估计的语义状态，其中在预定的时间段内还没有从所述目标传感器接收到传感器数据。预定时间段的时长可以基于使用所述区域的语义状态的目的而变化(例如，十分钟长、两小时长或三十秒长的时间段)(例如，与对大西洋中部的水域的调查相比，对海滩上的潮汐状况的实时报道在生成估计的语义状态之前可以具有更短的预定时间段)。
在一些实施例中，目标传感器可以被配置为以高于与一个或多个传感器相关联的分辨率的分辨率来检测一个或多个区域的状态。例如，一个或多个传感器可以位于从低轨道捕获图像并能够以每像素十米的分辨率解析图像的卫星上，而目标传感器可以包括以每像素1微米的分辨率解析图像的一个或-在606，方法600可以包括确定与先前使用目标传感器获得的数据的准确性、精确性和/或不确定性相关联的不确定性等级。不确定性等级可以包括估计的语义状态与基于来自目标传感器的传感器数据的更新版本的所述区域的更新的语义状态相同的概率。例如，不确定性等级可以指示估计的语义状态是对将由来自目标传感器的传感器数据的更新版本所指示的所述区域的实际状态(例如，在生成估计的语义状态时所述区域的实际状态)的准确和/或真实反映的概率和/或可能性。
此外，不确定性等级可以部分地基于估计的语义状态与来自不包括目标传感器的一个或多个传感器的所述区域的一个或多个语义状态的比较。例如，估计的语义状态与所述一个或多个语义状态的比较可以包括语义状态属性的类型或数量的比较，其可以根据它们的重要性或重要程度被加权。此外，不确定性等级的确定可以部分地基于对先前获得传感器数据的频率和/或获得传感器数据的频率的变化的确定。例如，最近获得的传感器数据可以具有比很久之前获得的传感器数据更低的不确定性等级，而频繁更新且更新之间未检测到变化的传感器数据可以具有比不频繁更新且更新之间检测到大的变化的传感器数据具有更低的不确定性等级。
在608，方法600可以包括确定一个或多个更新标准是否、何时、或者已经被满足。在一些实施例中，可以将不确定性等级(例如，在606处确定的不确定性等级)与阈值不确定性等级进行比较。满足一个或多个更新标准可以包括不确定性等级超过阈值不确定性等级。例如，一个或多个更新标准可以包括不确定性等级超过阈值不确定性等级(例如，不确定性等级大于百分之二十)。以这种方式，通过使用更低的阈值不确定性等级(例如，百分之十的阈值不确定性)可以更频繁地更新传感器数据，而通过使用更高的阈值不确定性等级(例如，百分之八十的阈值不确定性等级)可以更不频繁地更新传感器数据。
响应于满足一个或多个更新标准，方法600进行到610。响应于不满足所述一个或多个更新标准，方法600可以结束或返回方法600的先前部分(包括602、604或606)。
在610，方法600可以包括从目标传感器获得传感器数据的更新版本。从目标传感器获得传感器数据的更新版本可以包括向目标传感器或与目标传感器相关联的计算设备发送一个或多个信号。所述一个或多个信号可以包括对传感器数据的更新版本的请求。例如，当目标传感器是基于地球表面上的一个或多个区域的状态生成传感器数据的卫星时，计算设备(例如，计算系统102)可以向所述卫星发送无线信号。无线信号可以包括向卫星请求更新的传感器数据的数据。响应于接收到对传感器数据的更新版本的请求，卫星可以将更新的传感器数据发送到计算设备。从卫星传送的更新的传感器数据可以包括与传送传感器数据时一个或多个区域的状态相关联的传感器数据(例如实时传感器数据)和/或在先前时间段捕获的传感器数据(例如，在前一周的时段内捕获的传感器数据)。
图7描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例方法的流程图。方法700的一个或多个部分可以在一个或多个计算设备或计算系统上执行或实施，所述一个或多个计算设备或计算系统包括例如计算系统102、远程计算设备104和/或计算设备200。方法700的一个或多个部分也可以在本文公开的设备的硬件组件上执行或实施为所述硬件组件上的算法。出于说明和讨论的目的，图7描绘了以特定顺序执行的步骤。使用本文提供的公开内容，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的方法中的任何一种方法的各个步骤进行调整、修改、重新布置、省略和/或扩展。
在702，方法700可以包括确定一个或多个传感器的一个或多个特性。一个或多个特性可以包括一个或多个传感器的类型(例如，一个或多个光学传感器、射频信号传感器、声波传感器和/或热传感器)；一个或多个传感器的分辨率(例如，与传感器可以检测到的最小变化量相关联的分辨率)；一个或多个传感器的操作状态(例如，传感器是否可操作、一个或多个传感器是完全可操作还是部分可操作、传感器是离线还是在线、部分可操作的传感器何时将返回到完全可操作、和/或无法操作的传感器何时返回到部分可操作性或完全可操作的指示)；和/或一个或多个传感器的采样率(例如，一个或多个传感器检测区域、生成传感器输出和/或传送传感器数据的频率)。例如，一个或多个传感器的一个或多个特性可以包括传感器类型，所述传感器类型指示一个或多个传感器中的一个是在1500公里的高度的低地球轨道上的地球同步卫星，并且所述卫星具有每像素二十米的分辨率。
在704，方法700可以包括确定部分地基于目标传感器与不包括目标传感器的一个或多个传感器之间在一个或多个特性上的相似性的属性集合。例如，一对传感器(例如，目标传感器和另一非目标传感器)的一个或多个特性可以包括两个传感器是分别具有每像素十米和每像素三十米的分辨率的光学传感器。
部分地基于所述一对传感器之间的相似性(两个传感器都是光学传感器)和所述传感器在分辨率上的相似性，与区域的一个或多个语义状态和估计的语义状态相关联的属性集合可以与所述一对传感器两者均可确定的信息的类型有关。这样，由于所述一对传感器是光学传感器，并且具有更高等级的相似性，因此来自所述一对传感器的输出可以用于生成与在区域中接收到的日光量相关联的属性集合。然而，如果所述一对传感器中一个传感器的一个或多个特性指示所述传感器是声学传感器(例如，声纳设备)而另一传感器是光学传感器，则来自所述声学传感器的输出将与来自所述光学传感器的输出足够不同，以使得所述一对传感器之间的相似性低。这样，来自所述一对不相似传感器的传感器数据将不太可能被用来生成与在区域中接收到的日光量相关联的属性集合。
在一些实施例中，估计的语义状态与一个或多个语义状态的比较可以部分地基于属性集合(例如，将估计的语义状态中的属性集合与一个或多个语义状态中的属性集合进行比较)。
在706，方法700可以包括针对从一个或多个传感器接收的传感器数据确定语义相关性等级。语义相关性等级可以部分地基于估计的语义状态中的属性集合中的多少个属性处于来自不包括目标传感器的一个或多个传感器的所述区域的一个或多个语义状态中。例如，当估计的语义状态中的属性集合与来自不包括目标传感器的一个或多个传感器的所述区域的一个或多个语义状态中的属性集合的量相同时，语义相关性等级将比在估计的语义状态与来自不包括目标传感器的一个或多个传感器的所述区域的一个或多个语义状态之间没有共同的属性集合的情况下更高。
在一些实施例中，不确定性等级可以部分地基于语义相关性等级(例如，传感器之间的语义相关性等级可以用作用于确定不确定性等级的加权因子，使得具有更高语义相关性等级的传感器比具有更低语义相关性等级的传感器相比可以具有更大的权重。
图8描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例方法的流程图。方法800的一个或多个部分可以在一个或多个计算设备或计算系统上执行或实施，所述一个或多个计算设备或计算系统包括例如计算系统102、远程计算设备104和/或计算设备200。方法800的一个或多个部分还可以在本文公开的设备的硬件组件上执行或实施为所述硬件组件上的算法。出于说明和讨论的目的，图8描绘了以特定顺序执行的步骤。使用本文提供的公开内容，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的方法中的任何一种方法的各个步骤进行调整、修改、重新布置、省略和/或扩展。
在802，方法800可以包括访问经机器学习的模型(例如，已经本地存储的经机器学习的模型和/或存储在远程计算设备上的经机器学习的模型)，所述经机器学习的模型部分地基于与一个或多个图像(例如，一个或多个卫星图像和/或基于地面的相机图像)的多个分类图像标签和分类图像特征和/或其他类型的可检测状态(例如，计算网络业务量、无线传输量、碳排放、噪声等级、电的使用和/或水的使用)相关联的训练数据集。此外，估计的语义状态和/或一个或多个语义状态可以包括嵌入向量，所述嵌入向量响应于将传感器数据输入到经机器学习的模型而从经机器学习的模型被接收。这样，估计的语义数据的生成可以部分地基于访问经机器学习的模型。
可以使用包括分类器数据的分类数据集来生成经机器学习的模型，所述分类器数据包括与训练数据相关联的分类特征集合和分类对象标签集合，所述训练数据基于或关联于用于训练经机器学习的模型以实现所期望的输出(例如，在卫星图像中检测一个或多个对象，诸如建筑物或水路)的多个训练输入。分类数据集可以部分地基于对已用于生成一个或多个传感器输出的一个或多个传感器的输入(例如，对卫星上的相机和/或位于地平面的相机的视觉输入)。例如，可以使用在时间段上从一个或多个地理区域捕获包括一个或多个无线传输的量和位置的训练数据的一组相机来创建经机器学习的模型。地理区域可以包括各种对象，所述各种对象包括建筑物(例如，房屋、别墅、办公楼和/或公寓建筑物)、街道、车辆、人、自然特征、水体和/或水路。
在一些实施例中，经机器学习的模型可以部分地基于包括神经网络、卷积神经网络、线性回归、对数回归、随机森林分类、增强森林分类、梯度增强、支持向量机或决策树的一种或多种分类技术。语义状态系统可以结合经机器学习的模型或在没有经机器学习的模型的情况下使用各种技术来估计区域的语义状态。例如，语义状态系统可以使用包括卡尔曼滤波、贝叶斯推断、隐马尔可夫模型、一种或多种遗传算法、边缘匹配、灰度匹配、梯度匹配和/或姿势聚类的一种或多种技术。
在804，方法800可以包括部分地基于训练数据来修改经机器学习的模型，所述训练数据包括在多个时间段上与一个或多个传感器相关联的一个或多个错误率或一个或多个不确定性等级。所述一个或多个错误率或所述一个或多个不确定性等级可以被存储在与经机器学习的模型相关联的一个或多个存储设备中。然后可以将所存储的一个或多个错误率和所存储的一个或多个不确定性等级和与从其生成所述一个或多个不确定性等级或所述一个或多个错误率的传感器相关联的实际传感器进行比较。例如，可以部分地基于部分地通过经机器学习的模型而确定的估计的语义状态与基于更新的传感器数据的区域的实际状态相对应的程度，来修改经机器学习的模型。以这种方式，经机器学习的模型可以基于接收到的实际传感器数据随时间进行调整，并基于输出是否正确来进行反馈。
图9描绘了根据本公开的示例实施例的基于语义状态的传感器更新的示例方法的流程图。方法900的一个或多个部分可以在一个或多个计算设备或计算系统上执行或实施，所述一个或多个计算设备或计算系统包括例如计算系统102、远程计算设备104和/或计算设备200。方法900的一个或多个部分还可以在本文公开的设备的硬件组件上执行或实施为所述硬件组件上的算法。出于说明和讨论的目的，图9描绘了以特定顺序执行的步骤。使用本文提供的公开内容，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的方法中的任何一种方法的各个步骤进行调整、修改、重新布置、省略和/或扩展。
在902，方法900可以包括确定状态变化率，所述状态变化率部分地基于在多个时间段上所述区域的一个或多个语义状态的一个或多个变化的量。例如，在短时间段内从拥有数百家商店和每日成千上万的访客的大型购物中心转换到准备拆除的废弃购物中心的区域在与所述区域的人口密度相关联的语义状态方面将具有非常高的状态变化率，即使直到在所述购物中心被拆除之后针对建筑物密度的语义状态不会实质变化。
此外，除了建设一所新的小学以外没有变化的郊区可以具有在所述小学的建设之后不发生显著变化的无线网络业务等级，因此，在一些实施例中，与所述区域的人口密度相关联的语义状态也不发生实质变化。在一些实施例中，与目标传感器相关联的不确定性等级可以部分地基于状态变化率(例如，更大的状态变化率可以对应于更大的不确定性等级)。
在904，方法900可以包括部分地基于与所述区域相邻的一个或多个区域的一个或多个语义状态来确定相邻语义状态。与所述区域相邻的一个或多个区域可以包括在地理上相邻的一个或多个区域(例如，共享边界的区域)和/或满足与所述区域之间的距离相关联的邻接标准的一个或多个区域(例如，在另一区域的邻接阈值距离内的区域可以满足所述一个或多个邻接标准)。
在906，方法900可以包括确定所述区域的估计的语义状态与相邻语义状态之间的一个或多个差异。例如，所述区域的估计的语义状态和相邻语义状态之间的一个或多个差异可以包括将估计的语义状态中的属性集合与相邻语义状态中的属性集合进行比较，以确定所述属性集合中的多少个属性在估计的语义状态和相邻语义状态之间是共同的、以及估计的语义状态和相邻语义状态之间的属性集合的差异的大小。在一些实施例中，不确定性等级可以部分地基于估计的语义状态与相邻语义状态之间的共同的属性集合之间的一个或多个差异的程度(例如，所述语义状态和相邻语义状态之间的更大的差异可以对应于更大的不确定性等级)。
在908，方法900可以包括针对目标传感器确定陈旧性等级。陈旧性等级可以部分地基于自从最近从目标传感器接收到传感器数据以来的时长(即，陈旧性等级可以随着从传感器接收传感器数据之间经过的时间增加而增加)。陈旧性等级可以部分地基于对从传感器接收传感器数据的速率的预期。例如，提供道路部分的交通更新的传感器在三十分钟后可能具有非常高的陈旧性等级，而提供加拿大鹅迁徙更新的传感器在每天提供一次传感器更新的情况下则可能具有低陈旧性等级。
此外，陈旧性等级可以部分地基于从传感器接收的传感器数据的完整性。例如，由于在传感器数据的传输期间的数据丢失，提供用于区域的图像数据的传感器可以包括图像伪影，所述图像伪影使从传感器数据导出的图像的部分变得模糊。因此，从传感器数据导出的模糊图像可能由于其低质量而导致更旧的传感器数据被使用，即使更近的传感器数据是可用的。在一些实施例中，不确定性等级可以部分地基于陈旧性等级(例如，不确定性等级将随着陈旧性等级的增加而增加)。
在910，方法900可以包括确定一个或多个传感器的一个或多个传感器分辨率(例如，访问包括用于传感器的传感器分辨率的传感器类型数据)。一个或多个传感器分辨率可以部分地基于一个或多个传感器能够检测到的一个或多个区域的一个或多个状态的变化量(即，具有更高分辨率的传感器可以检测到区域的一个或多个状态的更小的变化量)。例如，可以将包括与对传感器分辨率的请求相关联的数据的一个或多个信号传送到一个或多个传感器。一个或多个传感器或与一个或多个传感器相关联的计算设备可以传送与各个传感器的传感器分辨率相关联的数据。在一些实施例中，为由目标传感器提供的最近数据确定的不确定性等级可以依赖于不包括目标传感器的一个或多个传感器的传感器分辨率。例如，不确定性等级可以与不包括目标传感器的一个或多个传感器的一个或多个传感器分辨率成反比。
本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统，以及对此类系统采取的动作和向此类系统发送或从其接收的信息。本领域普通技术人员将认识到，基于计算机的系统的固有灵活性允许部件之间的任务和功能的很多种可能的配置、组合和划分。例如，可以使用单个服务器或组合工作的多个服务器来实施本文讨论的服务器进程。数据库和应用可以在单个系统上实施，也可以分布在多个系统上。分布式组件可以顺序操作或并行操作。
尽管已经针对本主题的特定示例实施例对本主题进行了详细描述，但是应当理解，本领域技术人员在理解前述内容之后可以容易地产生对这样的实施例的替代、变化和等同物。因此，本公开的范围是作为示例而不是作为限制，并且本公开不排除包括对本领域普通技术人员而言显而易见的对本主题的修改、变化和/或添加。

Claims (23)

1.一种确定何时获得地理区域的更新的图像的计算机实施的方法，所述方法包括：
由包括一个或多个计算设备的计算系统接收与地理区域相对应的传感器数据，所述传感器数据至少部分地从来自一个或多个传感器的一个或多个传感器输出来导出；
由所述计算系统至少部分地基于所述传感器数据来确定所述地理区域的第一语义状态；
由所述计算系统部分地基于所述地理区域的第一语义状态与第二语义状态的比较来确定不确定性等级，所述不确定性等级指示目标传感器数据准确的不确定性的等级，第二语义状态基于从目标传感器的传感器输出导出的目标传感器数据被生成，所述目标传感器数据包括所述地理区域的图像；
响应于所述不确定性等级超过不确定性等级阈值，由所述计算系统从目标传感器获得所述目标传感器数据的更新版本，以及
响应于所述不确定性等级不超过不确定性等级阈值，确定不从目标传感器获得所述目标传感器数据的更新版本，
其中，所述方法还包括：
由所述计算系统部分地基于与所述地理区域相邻的一个或多个地理区域的一个或多个语义状态来确定相邻语义状态；和
由所述计算系统确定所述地理区域的第二语义状态与所述相邻语义状态之间的一个或多个差异，
其中所述不确定性等级部分地基于所述语义状态与所述相邻语义状态之间的一个或多个差异的程度。
2.根据权利要求1所述的计算机实施的方法，其中，所述一个或多个传感器包括光学传感器、音频传感器和无线电波频率传感器中的至少一个，并且从所述一个或多个传感器导出的传感器数据包括地图数据、图像数据、地理图像、电发射数据的栅格化和热状态数据的栅格化中的至少一个。
3.根据权利要求1所述的计算机实施的方法，其中，所述目标传感器被配置为以比与所述一个或多个传感器相关联的分辨率更高的分辨率来检测所述一个或多个地理区域的状态。
4.根据权利要求1所述的计算机实施的方法，其中，所述传感器数据和所述目标传感器数据两者都表示所述地理区域的一个或多个状态，其中第二语义状态和第一语义状态包括与所述目标传感器数据和从不包括所述目标传感器的一个或多个传感器导出的传感器数据分别表示的所述地理区域的一个或多个状态相关联的属性集合。
5.根据权利要求4所述的计算机实施的方法，还包括：
由所述计算系统确定所述一个或多个传感器的一个或多个特性，其中，所述一个或多个特性包括所述一个或多个传感器的类型、所述一个或多个传感器的分辨率或所述一个或多个传感器的采样率；和
由所述计算系统部分地基于所述目标传感器与不包括所述目标传感器的一个或多个传感器之间在所述一个或多个特性上的相似性来确定所述属性集合，其中，第二语义状态与第一语义状态的比较部分地基于所述属性集合。
6.根据权利要求4所述的计算机实施的方法，还包括：
由所述计算系统确定从所述一个或多个传感器接收的传感器数据的语义相关性等级，其中所述语义相关性等级部分地基于第二语义状态中的属性集合中的多少个属性处于来自不包括所述目标传感器的一个或多个传感器的所述区域的第一语义状态中，其中所述不确定性等级部分地基于所述语义相关性等级。
7.根据权利要求4所述的计算机实施的方法，其中，所述属性集合包括建筑物集中度、道路集中度、水体集中度、森林集中度或车辆集中度。
8.根据权利要求1所述的计算机实施的方法，还包括：
由所述计算系统部分地基于所述地理区域的第一语义状态在多个时间段上的一个或多个变化的量来确定状态变化率，其中目标传感器的不确定性等级部分地基于所述状态变化率。
9.根据权利要求1所述的计算机实施的方法，还包括：
由所述计算系统部分地基于自从最近从目标传感器接收到传感器数据以来的时长来确定目标传感器的陈旧性等级，其中所述不确定性等级部分地基于所述陈旧性等级。
10.根据权利要求1所述的计算机实施的方法，其中，所述传感器数据和所述目标传感器数据两者都表示所述地理区域的一个或多个状态，所述方法还包括：
由所述计算系统确定所述一个或多个传感器的一个或多个传感器分辨率，所述一个或多个传感器分辨率部分地基于所述一个或多个传感器能够检测到的一个或多个地理区域的一个或多个状态的变化量，其中所述不确定性等级与不包括所述目标传感器的一个或多个传感器的一个或多个传感器分辨率成反比。
11.根据权利要求1所述的计算机实施的方法，其中，所述不确定性等级包括第二语义状态与基于来自所述目标传感器的传感器数据的更新版本的所述地理区域的更新的语义状态相同的概率。
12.根据权利要求1所述的计算机实施的方法，还包括：
由所述计算系统访问经机器学习的模型，所述经机器学习的模型部分地基于与一个或多个图像的多个分类图像标签和分类图像特征相关联的训练数据集，
其中，生成第二语义状态部分地基于访问所述经机器学习的模型。
13.根据权利要求12所述的计算机实施的方法，还包括：
由所述计算系统部分地基于训练数据来修改经机器学习的模型，所述训练数据包括在多个时间段上与所述一个或多个传感器相关联的一个或多个错误率或一个或多个不确定性等级。
14.根据权利要求12所述的计算机实施的方法，其中，第二语义状态或第一语义状态包括响应于将所述传感器数据输入到所述经机器学习的模型而从所述经机器学习的模型接收的嵌入向量。
15.根据权利要求1所述的计算机实施的方法，其中，所述传感器数据和所述目标传感器数据两者都表示所述地理区域的一个或多个状态，并且其中，所述目标传感器数据以比所述传感器数据更高的分辨率来表示所述地理区域的一个或多个状态。
16.根据权利要求1所述的计算机实施的方法，其中，所述传感器数据比所述目标传感器数据更近地获得。
17.根据权利要求1所述的计算机实施的方法，其中，第一语义状态和第二语义状态定义语义状态空间内的相应位置。
18.一个或多个有形的非暂时性计算机可读介质，其存储计算机可读指令，所述计算机可读指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：
由包括一个或多个计算设备的计算系统接收与地理区域相对应的传感器数据，所述传感器数据至少部分地从来自一个或多个传感器的一个或多个传感器输出导出；
由所述计算系统至少部分地基于所述传感器数据来确定所述地理区域的第一语义状态；
由所述计算系统部分地基于所述地理区域的第一语义状态与第二语义状态的比较来确定不确定性等级，所述不确定性等级指示目标传感器数据准确的不确定性的等级，第二语义状态基于从目标传感器的传感器输出导出的目标传感器数据被生成，所述目标传感器数据包括所述地理区域的图像；
响应于所述不确定性等级超过不确定性等级阈值，由所述计算系统从目标传感器获得所述目标传感器数据的更新版本，以及
响应于所述不确定性等级不超过不确定性等级阈值，确定不从目标传感器获得所述目标传感器数据的更新版本，
其中，所述操作还包括：
由所述计算系统部分地基于与所述地理区域相邻的一个或多个地理区域的一个或多个语义状态来确定相邻语义状态；和
由所述计算系统确定所述地理区域的第二语义状态与所述相邻语义状态之间的一个或多个差异，
其中所述不确定性等级部分地基于所述语义状态与所述相邻语义状态之间的一个或多个差异的程度。
19.根据权利要求18所述的一个或多个有形的非暂时性计算机可读介质，其中，所述传感器数据和所述目标传感器数据两者都表示所述地理区域的一个或多个状态，其中第一语义状态和第二语义状态包括与所述目标传感器数据和从不包括所述目标传感器的一个或多个传感器导出的传感器数据分别表示的所述地理区域的一个或多个状态相关联的属性集合。
20.根据权利要求19所述的一个或多个有形的非暂时性计算机可读介质，还包括：
确定所述一个或多个传感器的一个或多个特性，其中，所述一个或多个特性包括所述一个或多个传感器的类型、所述一个或多个传感器的分辨率或所述一个或多个传感器的采样率；和
部分地基于所述目标传感器与不包括所述目标传感器的一个或多个传感器之间在所述一个或多个特性上的相似性来确定属性集合，其中，第一语义状态与第二语义状态的比较部分地基于所述属性集合。
21.一种计算系统，包括：
一个或多个处理器；
一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：
由包括一个或多个计算设备的计算系统接收与地理区域相对应的传感器数据，所述传感器数据至少部分地从来自一个或多个传感器的一个或多个传感器输出导出；
由所述计算系统至少部分地基于所述传感器数据来确定所述地理区域的第一语义状态；
由所述计算系统部分地基于所述地理区域的第一语义状态与第二语义状态的比较来确定不确定性等级，所述不确定性等级指示目标传感器数据准确的不确定性的等级，第二语义状态基于从目标传感器的传感器输出导出的目标传感器数据被生成，所述目标传感器数据包括所述地理区域的图像；
响应于所述不确定性等级超过不确定性等级阈值，由所述计算系统从目标传感器获得所述目标传感器数据的更新版本，以及
响应于所述不确定性等级不超过不确定性等级阈值，确定不从目标传感器获得所述目标传感器数据的更新版本，
其中，所述操作还包括：
由所述计算系统部分地基于与所述地理区域相邻的一个或多个地理区域的一个或多个语义状态来确定相邻语义状态；和
由所述计算系统确定所述地理区域的第二语义状态与所述相邻语义状态之间的一个或多个差异，
其中所述不确定性等级部分地基于所述语义状态与所述相邻语义状态之间的一个或多个差异的程度。
22.根据权利要求21所述的计算系统，其中，所述传感器数据和所述目标传感器数据两者都表示所述地理区域的一个或多个状态，并且其中第一语义状态和第二语义状态包括与所述目标传感器数据和从不包括所述目标传感器的一个或多个传感器导出的传感器数据分别表示的所述地理区域的一个或多个状态相关联的属性集合。
23.根据权利要求22所述的计算系统，还包括：
确定所述一个或多个传感器的一个或多个特性，其中，所述一个或多个特性包括所述一个或多个传感器的类型、所述一个或多个传感器的分辨率或所述一个或多个传感器的采样率；和
部分地基于所述目标传感器与不包括所述目标传感器的一个或多个传感器之间在所述一个或多个特性上的相似性来确定所述属性集合，其中，第一语义状态与第二语义状态的比较部分地基于所述属性集合。
CN201780092794.0A 2017-11-07 2017-11-07 基于语义状态的传感器跟踪和更新 Active CN110869926B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/060295 WO2019093993A1 (en) 2017-11-07 2017-11-07 Semantic state based sensor tracking and updating

Publications (2)

Publication Number Publication Date
CN110869926A CN110869926A (zh) 2020-03-06
CN110869926B true CN110869926B (zh) 2024-01-19

Family

ID=60628159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780092794.0A Active CN110869926B (zh) 2017-11-07 2017-11-07 基于语义状态的传感器跟踪和更新

Country Status (4)

Country Link
US (1) US11521022B2 (zh)
EP (1) EP3625697A1 (zh)
CN (1) CN110869926B (zh)
WO (1) WO2019093993A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
WO2019019136A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
IL282172B2 (en) 2018-10-11 2024-02-01 Tesla Inc Systems and methods for training machine models with enhanced data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11493914B2 (en) * 2020-06-26 2022-11-08 Intel Corporation Technology to handle ambiguity in automated control systems
US11928505B2 (en) * 2021-05-12 2024-03-12 Lockheed Martin Corporation Feature extraction from perception data for pilot assistance with high workload tasks

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
CN103176602A (zh) * 2011-12-23 2013-06-26 Qnx软件系统有限公司 在操作在不同环境条件下的电子设备上呈现数字数据的方法
CN103714185A (zh) * 2014-01-17 2014-04-09 武汉大学 主题事件更新方法库及城市多源时空信息并行更新方法
CN104798417A (zh) * 2012-12-14 2015-07-22 英特尔公司 基于语义位置的地理围栏
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN105981077A (zh) * 2014-01-03 2016-09-28 谷歌技术控股有限责任公司 用于生成包括稀疏和密集测绘信息的地图的方法和系统
CN106053103A (zh) * 2015-04-08 2016-10-26 Itt制造企业有限责任公司 节点动态数据采集与传播
CN106462627A (zh) * 2014-12-29 2017-02-22 谷歌公司 根据多个位置数据报告分析语义地点和相关数据
CN107066507A (zh) * 2017-01-10 2017-08-18 中国人民解放军国防科学技术大学 一种基于云机器人混合云架构的语义地图构建方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477451A (en) * 1991-07-25 1995-12-19 International Business Machines Corp. Method and system for natural language translation
US9053432B2 (en) * 2010-08-09 2015-06-09 Raytheon Company Waveform mapping technique and process for tracking and estimating evolution of semantic networks
US10045321B2 (en) * 2010-12-30 2018-08-07 Staton Techiya, Llc Information processing using a population of data acquisition devices
US8972244B2 (en) * 2013-01-25 2015-03-03 Xerox Corporation Sampling and optimization in phrase-based machine translation using an enriched language model representation
GB2527605A (en) * 2014-06-27 2015-12-30 Sentireal Ltd System and method for dynamically generating contextual and personalised digital content
US10013462B2 (en) * 2015-07-28 2018-07-03 Microsoft Technology Licensing, Llc Virtual tiles for service content recommendation
US10295363B1 (en) * 2016-01-22 2019-05-21 State Farm Mutual Automobile Insurance Company Autonomous operation suitability assessment and mapping
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US20180143975A1 (en) * 2016-11-18 2018-05-24 Lionbridge Technologies, Inc. Collection strategies that facilitate arranging portions of documents into content collections
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US10372130B1 (en) * 2017-05-19 2019-08-06 Zoox, Inc. Communicating reasons for vehicle actions
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
US10685233B2 (en) * 2017-10-24 2020-06-16 Google Llc Sensor based semantic object generation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
CN103176602A (zh) * 2011-12-23 2013-06-26 Qnx软件系统有限公司 在操作在不同环境条件下的电子设备上呈现数字数据的方法
CN104798417A (zh) * 2012-12-14 2015-07-22 英特尔公司 基于语义位置的地理围栏
CN105981077A (zh) * 2014-01-03 2016-09-28 谷歌技术控股有限责任公司 用于生成包括稀疏和密集测绘信息的地图的方法和系统
CN103714185A (zh) * 2014-01-17 2014-04-09 武汉大学 主题事件更新方法库及城市多源时空信息并行更新方法
CN106462627A (zh) * 2014-12-29 2017-02-22 谷歌公司 根据多个位置数据报告分析语义地点和相关数据
CN106053103A (zh) * 2015-04-08 2016-10-26 Itt制造企业有限责任公司 节点动态数据采集与传播
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
CN107066507A (zh) * 2017-01-10 2017-08-18 中国人民解放军国防科学技术大学 一种基于云机器人混合云架构的语义地图构建方法

Also Published As

Publication number Publication date
US20210027112A1 (en) 2021-01-28
EP3625697A1 (en) 2020-03-25
US11521022B2 (en) 2022-12-06
CN110869926A (zh) 2020-03-06
WO2019093993A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN110869926B (zh) 基于语义状态的传感器跟踪和更新
Zheng et al. Crowdsourcing methods for data collection in geophysics: State of the art, issues, and future directions
Ham et al. Participatory sensing and digital twin city: Updating virtual city models for enhanced risk-informed decision-making
Huang et al. Big spatial data for urban and environmental sustainability
Biljecki et al. Propagation of positional error in 3D GIS: estimation of the solar irradiation of building roofs
US11131790B2 (en) Method of and system for generating weather forecast
Sermet et al. Crowdsourced approaches for stage measurements at ungauged locations using smartphones
Byon et al. Real-time transportation mode identification using artificial neural networks enhanced with mode availability layers: A case study in Dubai
EP2963595A1 (en) Crime risk forecasting
Muthusamy et al. A remote sensing based integrated approach to quantify the impact of fluvial and pluvial flooding in an urban catchment
US10909366B2 (en) Joint modeling of object population estimation using sensor data and distributed device data
CN111212383B (zh) 区域常住人口数量的确定方法、装置、服务器和介质
CN103703458A (zh) 创建并监视针对地理区域的警告
Contreras et al. Earthquake reconnaissance data sources, a literature review
Tarapiah et al. Smart on-board transportation management system using gps/gsm/gprs technologies to reduce traffic violation in developing countries
Iino et al. CNN-based generation of high-accuracy urban distribution maps utilising SAR satellite imagery for short-term change monitoring
CN106767835B (zh) 定位方法和装置
CN112418696A (zh) 城市交通动态知识图谱的构建方法及装置
Lippitt et al. On the nature of models for time-sensitive remote sensing
Buslaev et al. Algorithmic and software aspects of information system implementation for road maintenance management
CN111782980A (zh) 地图兴趣点的挖掘方法、装置、设备及存储介质
Kou et al. Mapping the spatio-temporal visibility of global navigation satellites in the urban road areas based on panoramic imagery
Cao et al. Posthurricane damage assessment using satellite imagery and geolocation features
National Research Council et al. IT roadmap to a geospatial future
Huang et al. Estimating urban noise along road network from street view imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant