CN112504271A - 用于自动生成环境的训练图像集的系统和方法 - Google Patents

用于自动生成环境的训练图像集的系统和方法 Download PDF

Info

Publication number
CN112504271A
CN112504271A CN202010579014.9A CN202010579014A CN112504271A CN 112504271 A CN112504271 A CN 112504271A CN 202010579014 A CN202010579014 A CN 202010579014A CN 112504271 A CN112504271 A CN 112504271A
Authority
CN
China
Prior art keywords
image
images
processor
environmental
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010579014.9A
Other languages
English (en)
Inventor
E·R·缪尔
N·S·埃文斯
J·D·卡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN112504271A publication Critical patent/CN112504271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于自动生成环境的训练图像集的系统和方法。一种用于针对原生环境生成图像和标签的训练集的计算机实现的方法，该方法包括：接收物理坐标集，检索与环境的地理参考模型相对应的环境模型数据，以及创建多个二维(2D)渲染图像，每个图像与多个物理坐标集中的一个物理坐标集的视图相对应。2D渲染图像包括一个或更多个环境特征。该方法还包括生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签以及(ii)对应的原生图像相关联。另外，该方法还包括存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像和链接数据。

Description

用于自动生成环境的训练图像集的系统和方法
技术领域
本发明涉及用于自动生成环境的训练图像集的系统和方法。
背景技术
至少一些已知的机器视觉系统被训练以导航由图像传感器检测到的环境(例如，由安装在机器上的摄像头检测到的环境)。例如，至少一些已知的无人航空载具(“UAV”)利用经训练的机器视觉系统来自主导航与UAV的各种任务目标有关的环境。又例如，至少一些已知的自动驾驶机动车利用经训练的机器视觉系统来导航与自主驾驶和/或自主追求自动驾驶机动车的各种目标有关的环境。通常使用如应用于训练图像集的合适的机器学习算法来训练这样的机器视觉系统。
这样的训练图像集通常包括标签和元数据以促进机器学习。例如，可以对训练图像进行语义分割以识别训练图像中所描绘的环境中的至少一个感兴趣的特征。语义分割可以包括掩模(例如叠加在各训练图像中的各环境特征上的预选颜色)以训练所应用的机器学习算法，从而将检测到的轮廓与环境中的正确环境特征相关联。训练图像还可以包括其它标签(例如环境特征在图像中的名称)以及元数据(例如对捕获图像的视点的描述、距环境特征的距离(例如，如果对象是跑道标记牌，则标签可能会标识距标记牌的距离)等)。生成这样的训练图像集的已知方法受到一些限制。例如，操作员通常手动将语义分割输入到训练图像，并将适当颜色的掩模应用到原始图像中的每个环境特征上。该过程比期望的更耗时，并且依赖于操作员的技能。此外，这样的训练图像的大数据集可能约为数千张图像，这可能使手动分割变得不切实际。
发明内容
本文描述了一种用于为原生(native)环境生成图像和标签的训练集的方法。该方法在包括与至少一个存储装置通信的至少一个处理器的计算系统上实现。该方法包括使用至少一个处理器来接收多个物理坐标集，并从至少一个存储装置中检索与环境的地理参考模型相对应的环境模型数据。环境模型数据定义了多个环境特征。该方法还包括使用至少一个处理器根据环境模型数据创建多个二维(2D)渲染图像。每个2D渲染图像与多个物理坐标集中的一个物理坐标集的视图相对应。多个2D渲染图像包括一个或更多个环境特征。该方法还包括使用至少一个处理器来生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生(native)图像相关联。另外，该方法还包括使用至少一个处理器来存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像以及链接数据。
本文描述了一种用于针对原生环境生成图像和标签的训练集的计算系统。该计算系统包括与至少一个存储装置通信的至少一个处理器。所述至少一个处理器被配置为接收多个物理坐标集，并从所述至少一个存储装置中检索与环境的地理参考模型相对应的环境模型数据。环境模型数据定义了多个环境特征。所述至少一个处理器还被配置为根据环境模型数据创建多个二维(2D)渲染图像。每个2D渲染图像与多个物理坐标集中的一个物理坐标集的视图相对应。多个2D渲染图像包括一个或更多个环境特征。所述至少一个处理器还被配置为生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生图像相关联。另外，所述至少一个处理器被配置为存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像以及链接数据。
本文描述了一种非暂时性计算机可读存储介质，其上实现有计算机可执行指令，用于生成环境的图像和标签的训练集。当由与至少一个存储装置通信的至少一个处理器执行时，计算机可执行指令使所述至少一个处理器接收多个物理坐标集，并从所述至少一个存储装置中检索与环境的地理参考模型相对应的环境模型数据。环境模型数据定义了多个环境特征。所述计算机可执行指令还使所述至少一个处理器根据所述环境模型数据创建多个二维(2D)渲染图像。每个2D渲染图像与多个物理坐标集中的一个物理坐标集的视图相对应。多个2D渲染图像包括一个或更多个环境特征。所述计算机可执行指令还使所述至少一个处理器生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生图像相关联。另外，所述计算机可执行指令使所述至少一个处理器存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像以及链接数据。
存在与上述方面有关的特征的各种改进。其它特征也可以并入上述方面。这些改进和附加特征可以单独存在或以任何组合形式存在。例如，以下关于任何示出的示例讨论的各种特征可以单独地或以任何组合结合到任何上述方面中。
附图说明
图1是从第一有利位置观看的示例性原生环境的图像的示意图。
图2A是如从第一有利位置观看的图1的原生环境的示例性语义分割的图像的示意图
图2B是图2A的细节图。
图3A是用于针对原生环境(例如图1的原生环境)生成图像和标签的训练集的示例性数据获取和处理框架的示意图。
图3B是图3A的数据获取和处理框架的延续。
图3C是用于针对原生环境(诸如图1的原生环境)生成图像和标签的训练集的示例性计算系统的示意性框图。
图4是针对图1所示的环境的训练集由图3A-3C所示的计算系统生成的标签、元数据和链接数据的示例。
图5A是可以由图3A至图3C中所示的计算系统创建的基线2D渲染图像的示例。
图5B是可以由图3A至图3C中所示的计算系统创建的2D渲染图像的示例，其具有模拟的环境变化和添加到其中的背景。
图6A是可以由机器视觉系统使用的摄像头观看的物理测试图案的示例。
图6B是图6A中所示的物理测试图案的获取图像的示例，如由摄像头获取的。
图7A是用于使用诸如图3C中所示的计算系统针对原生环境(诸如图1中所示的原生环境)生成图像和标签的训练集的示例性方法的流程图。
图7B是图7A的流程图的继续。
图7C是图7A和图7B的流程图的继续。
尽管可以在一些附图中而不是其它附图中示出各种示例的特定特征，但这仅是为了方便。可以结合任何其它附图的任何特征来参考和/或要求保护任何附图的任何特征。
除非另有说明，否则本文提供的附图旨在说明本公开的示例的特征。据信这些特征可应用于包括本公开的一个或更多个示例的多种系统中。这样，附图并不意味着包括本领域普通技术人员已知的实践本文所公开的示例所需的所有常规特征。
具体实施方式
如本文所述的用于针对原生环境生成图像和标签的训练集的计算机实现的方法的示例包括从原生环境的地理参考模型的视图创建多个二维(2D)渲染图像。地理参考模型被广泛定义为将模型的内部坐标系关联到物理世界中的地理坐标系的原生环境的模型。例如，对于包括静态物理环境特征(例如各自位于物理世界中的特定地理坐标处的跑道、跑道标记、其它飞行器可穿越区域和机场标记牌)的特定机场环境，该环境的地理参考模型包括各自由内部模型坐标限定的对应的虚拟跑道、虚拟跑道标记、虚拟的其它飞行器可穿越区域和虚拟的机场标记牌，所述内部模型坐标被关联到对应的物理特征的地理坐标。基于所选视点的空间坐标(例如，视点的地理“物理”位置坐标和物理取向)的输入集，可以使用合适的渲染算法(例如，射线跟踪)从地理参考模型中获取虚拟环境的模拟或“渲染”透视图。
由于已经为许多机场开发了详细的地理参考模型，因此本文所公开的系统和方法对于(但不限于)机场环境特别有用。它们还对(但不限于)受管制或受控的环境(还是例如机场)特别有用，因为可以预期环境特征的性质和位置不会随时间发生显著变化。
示例还包括生成将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生图像相关联的链接数据，以及将2D渲染图像、标签、对应的原生图像以及链接数据存储到训练集中。创建2D渲染图像的示例包括：使用环境模型数据检测至少一个环境特征出现在对应视图中；以及针对每个检测到的环境特征渲染定义2D渲染图像中检测到的环境特征的多个像素。创建标签的示例包括将与2D渲染图像中的每个检测到的环境特征相对应的标签与各2D渲染图像相关联。
尤其是，由于2D渲染图像是从地理参考模型中干净地生成的，图像中没有不受控或不必要的元素，因此每个2D渲染图像中代表环境特征的像素可以被计算系统精确识别，并且计算系统可以应用合适的算法来为每个环境特征的像素自动构建或“填入”语义分割，而几乎或完全不需要来自人类操作员的干预输入。因此，本公开的系统和方法用高速、自动生成语义分割图像来代替现有技术方法对图像进行语义分割所需的手动和主观判断，这些高速、自动生成的语义分割图像在逐个像素的基础上是客观准确的，因为每个语义分割都精确地基于2D渲染图像中环境特征的像素。
在一些示例中，用于生成2D渲染图像的物理坐标集定义了通过环境的路径。例如，可以通过记录沿该路径行驶的载具的坐标和取向来获得物理坐标集，例如通过使用机载全球定位卫星(GPS)系统、惯性测量单元(IMU)和/或载具的其它机载地理定位系统。因此，可以轻松地针对自导式载具遇到的典型情况(例如飞行器接近机场的各条跑道的标准方式，或行李运输载具去机场的各个登机口的标准地面路径)创建训练图像集。在一些这样的示例中，用于“捕获”路径坐标的载具还携带传感器(例如摄像头)，并且来自传感器的图像被标记有该载具的物理坐标，或者通过将时间戳与机载GPS系统进行匹配而关联到该载具沿路径的物理坐标。因此，可以将在每个物理坐标集处自动生成的每个2D渲染图像(例如，语义分割图像)关联到在该物理坐标集处捕获的原生或“真实”摄像头图像，并将这些摄像头图像用作训练集的原生图像。
除非另有说明，否则术语“第一”、“第二”等在本文中仅用作标签，并不旨在对这些术语所指的项目强加顺序、位置或层次要求。此外，例如提及“第二”项目并不要求或排除例如“第一”或编号更低的项目或“第三”或编号更高的项目的存在。
图1是如从第一有利位置观看的原生环境100的图像的示例性示意图。环境100包括多个静态的物理环境特征(统称为环境特征110)，各环境特征与物理世界中的对应地理坐标相关联。在该示例中，原生环境100的图像还包括地理参考模型中不包括的多个对象102。例如，对象102是临时的或动态的物理对象，可以在原生环境100内在不同时间在不同位置处找到它们。
在该示例中，原生环境100是机场，并且环境特征110包括通常存在于机场环境中的永久性或半永久性特征。例如，环境特征110包括跑道120和跑道120的中心线122。尽管在图1中从用于获得图像的有利位置仅示出了一条跑道120，但是应当理解，该原生环境100可以包括任何合当数量的跑道120。环境特征110还包括多个滑行道130和位置标记132。例如，位置标记132是以下项处的表面标记：跑道保持位置、滑行道交叉点和/或滑行道/跑道交叉点。环境特征110还包括停机坪140和建筑物150，例如机库或航站楼。另外，环境特征110包括多个标记牌160，例如跑道/滑行道位置和/或方向标记牌。尽管上面列出的环境特征110是机场环境的典型代表，但它们并不是原生环境100所独有或必需的。
尽管出于说明性目的而根据机场环境描述了本公开的各方面，但是在另选实施方式中，原生环境100是包括可以被表征为静态的物理环境特征的环境特征110的任何合适的环境。
图3A和图3B是用于针对原生环境100生成图像和标签的训练集的示例性数据获取和处理框架的示意图。图3C是示例性计算系统300的示意性框图，该示例性计算系统300用于生成可用于实现图3A和图3B的框架的原生环境100的图像和标签的训练集。尤其是，计算系统300包括至少一个处理器302，其被配置为根据原生环境100的地理参考模型生成2D渲染图像340。
从图3C开始，所述至少一个处理器302可配置为通过对所述至少一个处理器302进行编程来执行本文所述的一个或更多个操作。例如，所述至少一个处理器302被编程为执行模型数据操纵模块320、图像处理模块322、数据链接模块324和/或执行以下所述步骤的其它合适的模块。
在该示例中，计算系统300包括在工作上联接到至少一个处理器302的至少一个存储装置304，并且通过将操作编码为一个或更多个计算机可执行指令306并在至少一个存储装置304中提供所述可执行指令306来对所述至少一个处理器302进行编程。在一些示例中，通过将指令实现在非暂时性计算机可读存储介质上，将计算机可执行指令作为计算机程序产品提供。所述至少一个处理器302包括(但不限于)例如图形卡处理器、另一类型的微处理器、微控制器或其它能够执行计算机可读数据的命令或用于执行模型数据操纵模块320、图像处理模块322、数据链接模块324和/或如下所述的其它合适的模块的程序的等效处理装置。在一些示例中，所述至少一个处理器366包括例如(但不限于)以多核配置联接的多个处理单元。在某些示例中，所述至少一个处理器302包括被编程为执行图像处理模块322的图形卡处理器和被编程为执行模型数据操纵模块320、数据链接模块324和/或其它合适的模块的通用微处理器。
在该示例中，所述至少一个存储装置304包括一个或更多个使得能够存储和检索诸如可执行指令和/或其它数据的信息的装置。所述至少一个存储装置304包括一个或更多个计算机可读介质，例如(但不限于)随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、固态盘、硬盘、只读存储器(ROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)和/或非易失性RAM(NVRAM)存储器。以上存储器类型仅是示例，并因此不限于可用作所述至少一个存储装置304的存储器的类型。所述至少一个存储装置304被配置为存储(但不限于)应用源代码、应用对象代码、感兴趣的源代码部分、感兴趣的目标代码部分、配置数据、执行事件和/或任何其它类型的数据。
在该示例中，计算系统300包括联接到所述至少一个处理器302的显示装置372。显示装置372向计算系统300的操作员呈现诸如用户界面的信息。在一些示例中，显示装置372包括显示适配器(未显示)，该显示适配器与显示装置(未显示)联接，例如阴极射线管(CRT)、液晶显示器(LCD)、有机LED(OLED)显示器和/或“电子墨水”显示。在一些示例中，显示装置372包括一个或更多个显示装置。
在该示例中，计算系统300包括用户输入接口370。用户输入接口370联接到所述至少一个处理器302，并接收来自计算系统300的操作员的输入。用户输入接口370包括例如键盘、指点装置、鼠标、手写笔、触敏面板(例如但不限于触摸板或触摸屏)和/或音频输入接口(例如但不限于麦克风)。诸如触摸屏的单个组件能够充当显示装置372和用户输入接口370。
在一些示例中，计算系统300包括通信接口374。该通信接口374联接到所述至少一个处理器302，并且被配置为联接以与一个或更多个远程装置(例如但不限于网络服务器)进行通信，并针对此类装置执行输入和输出操作。例如，通信接口374包括(但不限于)有线网络适配器、无线网络适配器、移动电信适配器、串行通信适配器和/或并行通信适配器。通信接口374从一个或更多个远程装置接收数据和/或将数据发送到一个或更多个远程装置，以供所述至少一个处理器302使用和/或存储在所述至少一个存储装置304中。
在其它示例中，以使计算系统300能够执行本文所描述的步骤的任何适当方式来实现计算系统300。
还参照图1，所述至少一个处理器302可以访问与环境100的地理参考模型相对应的环境模型数据308。可以使用例如航测图、语义图、特征图和/或关于环境100的其它合适的空间数据或元数据来编译环境模型数据308。在该示例中，环境模型数据308存储在所述至少一个存储装置304中，并且所述至少一个处理器302被编程为从所述至少一个存储装置304中检索环境模型数据308。
环境模型数据308包括与每个环境特征110相关联的数据。更具体地说，环境模型数据308包括例如用于每个环境特征110的唯一标识符312和每个环境特征110的类型314。环境模型数据308还包括环境100内的每个环境特征110的空间范围316。尤其是，存储在环境模型数据308中的每个环境特征110的空间范围316被关联到环境特征110的地理坐标。在示例中，因为对象102不是环境100的静态物理环境特征，因此在环境模型数据308中没有表示对象102。
如上所述，在示例中，环境100是机场，并且环境模型数据308包括针对每个跑道120、跑道120的中心线122、滑行道130、位置标记132、停机坪140、建筑物150和标记牌160的唯一标识符213和类型314。更具体地，每个单独的环境特征110具有唯一标识符312，该唯一标识符312不同于地理参考模型中包括的每个其它环境特征110的唯一标识符312。相似类别的环境特征110(例如，跑道120、标记牌160)共享同一类型314。针对该示例描述的分类是非限制性的。例如，标记牌160可以进一步分为跑道标记牌、停机坪标记牌等的类型314。另选地，对于至少一些环境特征110，类型314不包括在环境模型数据308中。
可以根据用于参考视点的语义图数据、用于参考视点的特征图数据和/或环境模型数据308内的其它元数据来确定每个环境特征110的空间范围316。另外或另选地，通过使用值将空间范围316存储在预定义的数据结构中。可以对应于环境特征110的类型314来定义不同的数据结构。例如，使用边界坐标为某些环境特征110定义空间范围316。另选地，以使得计算机系统300能够如本文所述地起作用的任何合适的方式定义和/或存储空间范围316。
所述至少一个处理器302还被编程为接收多个物理坐标集332。在该示例中，物理坐标集332被存储在所述至少一个存储装置304中，并且所述至少一个处理器302被编程为从所述至少一个存储装置304检索物理坐标集332。各物理坐标集合332定义了物理空间中的有利位置，从该位置可以看到环境100。例如，各物理坐标集332包括位置(例如，纬度、经度、海拔)以及从该位置观看的方向(例如，航向、攻角、侧倾角)。总体而言，多个物理坐标集332代表针对要用于训练机器视觉系统362的训练集350中的图像的全部有利点(例如，在相对于地理空间坐标系的六个自由度方面，观看者的空间关系)。更具体地说，训练集350包括原生图像356和对应的2D渲染图像340，并且训练算法360被编程为使用原生图像356和2D渲染图像340的相应对来训练机器视觉系统362以识别环境特征110。
在一些示例中，物理坐标集332定义了通过环境100的路径。例如，物理坐标集332是一系列点，UAV或其它飞行器可能通过这些点进场并降落在跑道120上和/或在滑行道130和停机坪140上朝向建筑物150滑行。再例如，物理坐标集332是一系列点，自动驾驶行李运输载具(未显示)可能通过这些点在建筑物150与停机坪140的各个登机口之间行驶。另选地，物理坐标集332与通过环境100的路径无关。
在一些示例中，所述至少一个处理器302接收分别与物理坐标集332中的一个相关联的多个摄像头图像330。例如，安装有摄像头382的测试载具380横穿由物理坐标集332定义的路径，并且记录设备384记录沿该路径捕获的摄像头图像330。应当理解，术语“摄像头图像”和“摄像头”广泛地指代任何类型的图像捕获装置可获取的任何类型的图像，并且不限于在可见光中捕获的图像或经由透镜摄像头捕获的图像。在某些示例中，所述至少一个处理器302被编程为经由通信接口374接收摄像头图像330，并且将摄像头图像330存储在所述至少一个存储装置304中。此外，在一些示例中，所述至少一个处理器302被编程为在训练集350中包括摄像头图像330作为原生图像356。另选地，所述至少一个处理器302没有被编程为接收摄像头图像330，和/或在训练集350中不包括摄像头图像330作为原生图像356。
在某些示例中，各摄像头图像330包括对应的地理坐标标签，并且所述至少一个处理器302被编程为通过从摄像头图像330中提取地理坐标标签来接收物理坐标集332。例如，测试载具还包括机载地理定位系统386(例如GPS接收器和/或惯性测量单元(IMU))，并且随着测试载具380沿路径捕获每张摄像头图像330，对应的物理坐标集332从机载地理定位系统386被捕获并作为地理坐标标签嵌入到捕获的摄像头图像330中。另选地，摄像头图像330和物理坐标集332分别由摄像头382和机载地理位置系统386分别与时间戳一起记录，并且各个时间戳同步以使每个摄像头图像330与正确的物理坐标集332相关联。另选地，所述至少一个处理器302被编程为以任何合适的方式来接收物理坐标集332，例如在例如文本文件中列出数字坐标和取向值。在一些示例中，所述至少一个存储装置304还存储每个摄像头382相对于机载地理定位系统386的位置和取向的位移和取向，并且所述至少一个处理器302被编程为针对每个摄像头382基于各个摄像头382的位移和取向来调整地理坐标标签以获得更准确的物理坐标集332。
如上所述，现有技术中用于创建训练集的系统将要求人类操作员手动识别摄像头图像330中的环境特征110，并对各摄像头图像330中的各环境特征110进行语义分割，以完成训练图像集，这将是非常耗时的，并且将导致逐个像素地对环境特征110进行主观、非严格精确的拟合。通过从环境模型数据308创建2D渲染图像340并对2D渲染图像340自动进行语义分割以创建语义分割图像352，计算系统300提供了优于此类现有技术系统的优势。
在该示例中，每个2D渲染图像340与多个物理坐标集332中的一个物理坐标集的视图相对应。例如，所述至少一个处理器302被编程为将合适的渲染算法应用于环境模型数据308以检测在给定物理坐标集332定义的视图中出现的每个环境特征110，并为每个检测到的环境特征110渲染多个像素342，这些像素342在所得到的2D渲染图像340中定义了检测到的环境特征110。例如，空间范围316使得所述至少一个处理器302能够确定对应的环境特征110是否出现在与由指定的物理坐标集332定义的环境100的视图相关联的边界框或关注区域(ROI)内。算法将物理坐标集332定义的视图与ROI中每个检测到的环境特征110的空间范围316相对应，以渲染多个渲染像素342。合适的渲染算法(例如但不限于射线跟踪算法)是已知的，并且对于本公开的目的无需深入讨论。加利福尼亚旧金山的Unity TechnologiesApS销售的Unity Pro产品中提供了一种这样的射线跟踪算法。在该示例中，每个2D渲染图像340作为便携式网络图形(PNG)图像文件存储在至少一个存储装置304中。另选地，每个2D渲染图像340以使得训练集350能够如本文所述地起作用的任何合适的格式被存储。
在该示例中，所述至少一个处理器302被编程为创建包括语义分割图像352的2D渲染图像340。更具体地，为了创建各语义分割图像352，所述至少一个处理器302被编程为应用可视化模式，该可视化模式以对应的语义颜色渲染与每个检测到的环境特征110相对应的多个像素342。在一些示例中，所述至少一个处理器302在语义分割可视化模式下编程，以将环境特征110的每种类型314与预选颜色相关联，并且对于2D渲染图像340中的每个检测到的环境特征110，利用与各个环境特征110的类型314相关联的预选颜色来渲染像素342。因此，例如，所有跑道120都可以利用相同的鲜红色来渲染，以创建语义分割图像352。在一些示例中，不对应于检测到的环境特征110的“背景”像素以中性的背景颜色来渲染，以增强与像素342的对比度，或者另选地以自然化的RGB背景调色板进行渲染。例如，用于每种类型314的颜色键被包括在训练集350的元数据358中，或者以其它方式对训练算法360进行编程以将各预选颜色与环境特征110的对应类型314相关联。另选地，所述至少一个处理器302在2D渲染图像340的渲染过程中自动且精确地确定与检测到的一个或更多个环境特征110中的每一个相对应的像素342，并自动精确地对那些像素342进行着色以创建语义分割图像352，计算系统300不需要手动学习或手动操作原生图像356即可在高速过程中生成具有精确像素级精度的语义分割图像352。
在该示例中，所述至少一个处理器302被编程为以多种可视化模式选择性地创建2D渲染图像340。例如，除了上述用于创建语义分割图像352的可视化模式之外，所述至少一个处理器302被编程为应用RGB可视化模式来为每个物理坐标集332创建附加的2D渲染图像340。例如，对应于每个检测到的环境特征110的多个像素342以自然化的红-绿-蓝(RGB)特征调色板例如与检测到的环境特征110的相应类型314或唯一标识符312相关联地进行渲染，并且以自然化的RGB背景调色板进一步渲染背景，以创建一个2D合成图像344，该图像逼近对应的原生图像356的物理外观。在某些此类实施方式中，各语义分割图像352可以被概念化为与基础2D合成图像344相对应，但具有叠加在各环境特征110上的基于特征类型的语义颜色。再例如，所述至少一个处理器302被编程为应用深度图可视化模式来为每个物理坐标集332创建附加的2D渲染图像340。在深度图可视化模式下，以与像素342到物理坐标集332的位置坐标的物理距离相对应的色标来渲染与各被检测到的环境特征110相对应的多个像素342，以创建2D深度图346。可以在训练集350中使用各2D合成(RGB)图像344和2D深度图346来改善训练算法360的性能。在一些示例中，所述至少一个处理器302被编程为应用附加的或另选的可视化模式以针对每个物理坐标集332创建附加的2D渲染图像340。
现在转到图2A，呈现了如从图1的第一有利位置观看的环境100的示例性语义分割图像352的示意图。图2B是图2A的细节图。由渲染算法基于环境特征数据310检测到的一个或更多个环境特征110包括跑道120、跑道120的中心线122、滑行道130、位置标记132、停机坪140、建筑物150和标记牌160(如图1所示)。所述至少一个处理器302用第一颜色220渲染与跑道120相对应的像素342，用第二颜色222渲染与中心线122相对应的像素342，用第三颜色230渲染与滑行道130相对应的像素342，用第四颜色232渲染与位置标记132相对应的像素342，用第五颜色240渲染与停机坪140相对应的像素342，用第六颜色250渲染与建筑物150相对应的像素342并且用第七颜色260渲染与标记牌160相对应的像素342。
图4是由计算系统300为环境100的训练集350生成的标签404和452、元数据358和链接数据354的示例。生成训练集350的过程还包括使用所述至少一个处理器302来生成链接数据354，该链接数据354将各2D渲染图像340与对应的原生图像356相关联。在该示例中，所述至少一个处理器302生成链接数据354作为包括多个记录401的数据结构400。例如，数据结构400是逗号分隔值(CSV)文件或数据库中的表。各记录401包括指向2D渲染图像340中的至少一个的第一指针402和指向对应的原生图像356的第二指针403。训练算法360被配置为针对对应的2D渲染图像340和原生图像356对基于数据结构400中的信息来解析训练集350。应该理解，本文所使用的术语“指针”不限于将地址存储在计算机存储器中的变量，而是更广泛地指代任何标识与指针相关联的对象(例如，2D渲染图像340、原生图像356)可访问的位置(例如，文件路径、存储位置)的信息元素。
在该示例中，第一指针402被实现为存储在所述至少一个存储装置304中并存储2D渲染图像340的图像文件的文件路径和文件名，第二指针403使用与对应的原生图像356被捕获为摄像头图像330的时间相对应的时间元数据440来实现。例如，时间戳与各原生图像356一起存储(例如，作为图像文件中的元数据)。训练算法360对与各原生图像356一起存储的时间戳进行解析，在记录401之一的时间元数据440中找到对应的时间戳442，并跟随所标识的记录401中的第一指针402以找到与原生图像356相对应的2D渲染图像340。
另选地，物理坐标集332用作第二指针403，并且用于以与上述时间戳442类似的方式将各原生图像356与对应的记录401进行匹配。例如，用于生成2D渲染图像340的物理坐标集332被存储在对应的记录401中，并且与所捕获的并与各原生图像356一起存储的物理坐标集(例如，作为图像文件中的元数据)相匹配。另选地，第二指针403被实现为文件名和到所存储的原生图像356的路径。另选地，各记录401包括以使得训练集350能够如本文所述地起作用的任何合适的方式实现的第一指针402和第二指针403。
另选地，各记录401以使得训练集350能够如本文所述地起作用的任何合适的方式将2D渲染图像340关联到对应的原生图像356。
在该示例中，训练集350包括用于各2D渲染图像340的可视化模式标签404。例如，数据结构400包括用于与各记录401相关联的2D渲染图像340的标签404。可视化模式标签404标识了用于创建图像的可视化模式，例如用于语义分割图像352的“SEM”、用于2D合成(RGB)图像344的“RGB”(即红-绿-蓝)以及用于深度图346的“DEP”。另选地，可视化模式标签404不包括在训练集350中。例如，训练集350包括单个可视化模式的2D渲染图像340。
在该示例中，训练集350进一步包括针对在2D渲染图像340中检测到的各环境特征110的特征标签452。例如，特征标签452是基于所检测到的环境特征110的唯一标识符312和/或类型314的文本字符串。尽管在图4的各记录401中仅示出了一个特征标签452，但是应当理解，基于对应的2D渲染图像340中所检测到的环境特征110的数量，可以在各记录401中包括任意数量的特征标签452。另外或另选地，训练集350包括使得训练集350能够如本文所述地起作用的任何合适的附加或另选标签。
在一些示例中，各记录401还包括元数据358。在图4的示例中，在物理坐标集332尚未作为第二指针403存在的情况下，元数据358包括物理坐标集332。在该示例中，物理坐标集332被表示为纬度432、经度434、海拔436和航向438。物理坐标集332中的附加取向变量包括例如攻角和侧倾角(未示出)。另选地，各记录401以使得训练集350能够如本文所述地起作用的任何合适的方式与物理坐标集332相关联。在一些实施方式中，物理坐标集332由相对于地理参考模型的任何合适的坐标系(例如，极坐标或WGS84 GPS)中的附加和/或另选数据字段表示。
在该示例中，元数据358还包括用于对应的原生图像356的传感器索引406。例如，测试载具380包括多个摄像头382，并且与原生图像356相关联的多个摄像头382中对应于记录401中的第二指针403的摄像头由传感器索引406标识。在一些示例中，如上所述，所述至少一个存储装置304存储各摄像头382相对于机载地理定位系统386的位置和取向的位移和取向，并且所述至少一个处理器302基于传感器索引406检索存储的位移和取向，以调整对应摄像头382的物理坐标集332。另选地，传感器索引406不包括在元数据358中。
在该示例中，元数据358还包括时间元数据440。例如，时间元数据440包括如从时间戳442计算出的沿路径的相对穿越时间444。在时间戳442尚未作为第二指针403存在的情况下，元数据358还包括时间戳442。另选地，元数据358不包括时间元数据440。
在一些示例中，元数据358还包括与至少一些特征标签452相关联的空间关系元数据454。更具体地，空间关系元数据454定义物理坐标集332与对应于特征标签452的检测到的环境特征110之间的空间关系。例如，训练算法360被配置为训练机器视觉系统362以识别到某些类型314的环境特征110的距离，并且空间关系元数据454在训练算法360中用于该目的。在一些示例中，如上所述，所述至少一个处理器302被编程为在创建2D深度图346中使用空间关系元数据454。
在该示例中，空间关系元数据454被实现为距离。更具体地，所述至少一个处理器302被编程为针对每个2D渲染图像340，基于环境模型数据308，计算从对应的物理坐标集332到每个检测到的环境特征110的直线距离。另选地，空间关系元数据454包括任何合适的参数集，例如相对(x，y，z)坐标。
在该示例中，所述至少一个处理器302被编程为生成将空间关系元数据454与对应的2D渲染图像340相关联的附加链接数据450，并且将空间关系元数据454和附加链接数据450作为训练集350的一部分存储在所述至少一个存储装置304中。例如，附加链接数据450通过在与2D渲染图像340相对应的数据结构400的记录401中包括各特征标签452和对应的空间关系元数据454来实现。另选地，空间关系元数据454和/或附加链接数据450以使得训练集350能够如本文所述地起作用的任何合适的方式存储为训练集350的一部分。例如，附加链接数据450和空间关系元数据454被存储在存储对应的2D渲染图像340的图像文件的元数据中。
应当理解，在一些实施方式中，链接数据354包括来自图4所示的那些字段的附加和/或另选字段。
图5A是从环境模型数据308和如上所述的物理坐标集332中的一个创建的基线2D渲染图像500的示例。图5B是对应于基线2D渲染图像500并且具有添加到其上的模拟环境变化502和背景504的2D渲染图像340的示例。
在该示例中，基线2D渲染图像500是从使用例如射线跟踪算法并且包括默认背景图像面貌和/或默认可变环境效果(例如天气、一天中的时间的照明效果)的环境模型数据308生成的2D渲染图像340之一。在一些情况下，原生图像356和/或机器视觉系统362通过其一个或更多个摄像头在视野中看到的图像可以包括各种背景、天气和/或一天中的时间的照明。在某些示例中，这可能导致原生图像356与一方面训练集350中的2D渲染图像340以及机器视觉系统362通过其一个或更多个摄像头在视野中看到的图像之间的不匹配，这将可能会降低训练集350的有效性。
在一些示例中，所述至少一个处理器302还被编程为创建具有多个模拟环境变化502和/或背景504的2D渲染图像340，以解决现实世界图像中的这种多样性。在一些这样的实施方式中，所述至少一个处理器302被编程为对环境模型数据308应用多个修改，各修改对应于不同的环境变化502和/或不同的背景504。例如，环境模型数据308被修改为包括太阳的不同位置，从而导致对2D渲染图像340的其中包括代表一天中的不同时间的照明效果的环境变化502和背景504的渲染。对于另一示例，环境模型数据308被修改为包括与环境100中的选定的云、雾或降水分布相对应的水滴的3-D分布，并且所述至少一个处理器302被编程为将合适的光散射/光衍射特性与水滴相关联，从而导致对2D渲染图像340的其中包括环境变化502和代表天气引起的能见度效果和/或云形成背景的背景504的渲染。
另外或另选地，所述至少一个处理器302被编程为仅将射线跟踪算法与默认背景图像面貌和/或默认可变环境效果一起应用以产生基线2D渲染图像500，并对基线2D渲染图像500直接应用2D修改以创建具有多个模拟环境变化502和/或背景504的附加2D渲染图像340。例如，所述至少一个处理器302被编程为将各基线2D渲染图像叠加到代表多个不同背景504的常备2D图像上，以创建具有例如不同云形成背景的附加2D渲染图像340。在一个实施方式中，所述至少一个处理器302识别基线2D渲染图像500的对应于天空的部分，标记那些部分以便于在基线2D渲染图像500叠加在背景504上时删除背景504的像素(例如，所述至少一个处理器302将这些部分视为“绿屏”)，并将每个修改后的基准2D渲染图像500叠加在一个或更多个天气和/或一天中的时间的背景504上，以从各基线2D渲染图像500创建一个或更多个附加2D渲染图像340。图5B示出了叠加在“阴天”背景504上的图5A的基线2D渲染图像500，其包括跑道120、中心线122和标记牌160中的一个。
对于另一示例，所述至少一个处理器302被编程为将2D照明效果算法应用于基线2D渲染图像500以创建具有与环境100中一天中的特定时间或其它环境光条件相对应的环境变化502的附加2D渲染图像340。在图5B所示的示例中，将“镜头光晕”环境变化502添加到图5A所示的基线2D渲染图像500，并且它是通过从基线2D渲染图像500的右上角传播的照明修改算法创建的。对于另一示例，雨滴算法通过对基线2D渲染图像500上的一个或更多个随机位置应用局部鱼眼镜头光学变形在摄像头镜头上模拟雨滴506，以创建对应的附加2D渲染图像340。在一些示例中，对基线2D渲染图像500的类似2D修改用于创建具有表示由云或雾所引起的可见度降低的环境变化502的附加2D渲染图像340。
因此，计算系统300使得能够生成在各种环境条件下的环境的训练图像集，而无需等待或依赖于一天中的时间或天气条件的变化。
另外或另选地，所述至少一个处理器302被编程为以使得训练集350能够如本文所述地起作用的任何合适的方式来创建具有环境变化502和/或不同背景504的2D渲染图像340，或者不被编程为包括环境变化502和/或背景504。
类似地，在一些示例中，所述至少一个处理器302进一步被编程为在2D渲染图像340中应用模拟的固有传感器效果。图6A是可以由机器视觉系统362所使用的摄像头观看的物理测试图案600的示例。图6B是摄像头获取的物理测试图案600的获取的图像650的示例。物理测试图案600是由水平直线602和垂直直线604限定的棋盘图案。但是，由于摄像头的固有传感器效果，物理测试图案600的获取的图像650扭曲，使得水平直线602变为弯曲的水平线652并且垂直直线604变为弯曲的垂直线654。在不做进一步修改的情况下，使用例如射线跟踪算法从环境模型数据308生成的2D渲染图像340不包括由于固有传感器效果引起的弯曲变形，例如在获取的图像650中所例示的。在某些示例中，这可能导致原生图像356与一方面训练集350中的2D渲染图像340以及机器视觉系统362通过其一个或更多个摄像头在视野中看到的图像之间的不匹配，这可能会降低训练集350的有效性。
在该示例中，所述至少一个处理器302被编程为在创建2D渲染图像340时考虑这种固有传感器效果。换句话说，所述至少一个处理器302被编程为故意使非失真的渲染图像失真。更具体地，所述至少一个处理器302被编程为在2D渲染图像340中应用模拟的固有传感器效果。例如，最初在与物理坐标集332对应的视图处例如使用如上所述的合适的射线跟踪算法从环境模型数据308创建2D渲染图像340，并且然后将固有传感器效果映射算法应用于射线跟踪算法的初始输出以完成2D渲染图像340。
例如，一种这样的固有传感器效果映射算法是根据以下公式将每个初始2D渲染图像的x坐标和y坐标映射到xd坐标和yd坐标，以生成对应的2D渲染图像340：
xd＝x(1+k1 r2+k2 r4)；以及
yd＝y(1+k1 r2+k2 r4)；
其中r＝从初始2D渲染图像的中心到点(x，y)的半径。
例如，通过将由摄像头捕获的获取图像650与物理测试图案600进行比较，来确定特定摄像头的因数k1和k2。对于具有鱼眼镜头的摄像头，还可以使用合适的扩展映射来确定和应用另一因数k3。另选地，所述至少一个处理器302被编程为在以使得训练集350能够如本文所述地起作用的任何合适的方式创建2D渲染图像340时考虑这种固有传感器效果，或者不被编程为包括固有传感器效果。
另外或另选地，所述至少一个处理器302被编程为在创建2D渲染图像340和/或在处理原生图像356时应用任何合适的附加处理。例如，训练算法360中的至少一些已知示例在具有相对低图像分辨率的训练图像集350上表现更好。所述至少一个处理器302可以被编程为在将摄像头图像330作为原生图像356进行存储之前降低摄像头图像330的图像分辨率，并创建具有对应的降低的图像分辨率的2D渲染图像340。对于另一示例，训练算法360的至少一些已知示例在不包括大范围的未分割背景图像的训练集350上表现更好。所述至少一个处理器302可以被编程为在存储之前对摄像头图像330和/或2D渲染图像340进行裁剪。
图7A是用于针对原生环境(诸如原生环境100)生成图像和标签的训练集(诸如训练集350)的示例性方法700的流程图。如上所述，方法700在包括与至少一个存储装置通信的至少一个处理器的计算系统(例如包括与至少一个存储装置304通信的至少一个处理器302的计算系统300)上实现。在该示例中，方法700的步骤由至少一个处理器302来实现。图7B和图7C是图7A的流程图的延续。
还参照图1至图6B，在该示例中，方法700包括接收702多个物理坐标集332。在一些示例中，接收702物理坐标集332的步骤包括接收704在物理穿越路径期间捕获的摄像头图像330，以及从摄像头图像330中提取706地理坐标标签以获得物理坐标集332。在某些示例中，接收702物理坐标集332的步骤包括接收708数字坐标值的列表。
在该示例中，方法700还包括检索710与环境100的地理参考模型相对应的环境模型数据308。环境模型数据308定义了多个环境特征110。
在该示例中，方法700还包括从环境模型数据308创建712 2D渲染图像340。各2D渲染图像340与多个物理坐标集332中的一个物理坐标集的视图相对应。多个2D渲染图像340包括一个或更多个环境特征110。在一些示例中，创建712 2D渲染图像340的步骤包括对环境模型数据308应用714多个修改，各修改对应于不同的环境变化502和/或不同的背景504。另外或另选地，创建712 2D渲染图像340的步骤还包括针对每个2D渲染图像340确定716可视化模式，以及针对一个或更多个环境特征110中的每一个，以与所确定的可视化模式(例如，语义分割模式、RGB模式或深度模式)相对应的颜色来渲染定义环境特征的多个像素。另外或另选地，在某些示例中，创建712 2D渲染图像340的步骤包括在2D渲染图像340中应用720模拟的固有传感器效果。在一些示例中，作为步骤714的替代或补充，创建712 2D渲染图像340的步骤包括对基线2D渲染图像500直接应用722 2D修改，以创建具有多个模拟的环境变化502和/或背景504的附加2D渲染图像340。
在一些示例中，方法700还包括创建724标签和元数据中的至少一者。例如，创建724标签和元数据中的至少一者的步骤包括为每个2D渲染图像340分配726可视化模式标签404。对于另一示例，创建724标签和元数据中的至少一者的步骤包括针对一个或更多个环境特征110中的每一个环境特征，为其中出现该环境特征110的每个2D渲染图像340生成728相应一个特征标签452。对于另一示例，创建724标签和元数据中的至少一者的步骤包括基于环境模型数据308计算730元数据358，该元数据358包括从对应的物理坐标集332到至少一个检测到的环境特征110的空间关系元数据454。
在该示例中，方法700还包括生成736链接数据354，该链接数据354将2D渲染图像340中的每一个与(i)所包括的一个或更多个环境特征110的标签以及(ii)对应的原生图像356相关联。在一些示例中，生成736链接数据354的步骤包括生成738链接数据354作为包括多个记录401的数据结构400，并且各记录401包括指向2D渲染图像340中的至少一个的第一指针402和指向对应的原生图像356的第二指针403。在某些示例中，各摄像头图像330与对应于沿路径穿越的相对时间444的时间戳442相关联，生成736链接数据354的步骤包括生成740链接数据354作为包括多个记录401的数据结构400，并且各记录401包括(i)指向2D渲染图像340中的至少一个的指针402以及(ii)包含与对应的原生图像356相关联的时间戳442和相对时间444中的至少一个的时间元数据440。
在某些示例中，方法700还包括针对每个2D渲染图像340，生成744附加链接数据450，该附加链接数据450将元数据358与2D渲染图像340相关联，以及存储746元数据358和附加链接数据450作为训练集350的一部分。在一些示例中，存储746元数据358和附加链接数据450的步骤包括在链接数据354的数据结构400的至少一个记录401中包括748用于一个或更多个环境特征110中的每一个的功能标签452以及从一个或更多个环境特征110中的每一个到对应的物理坐标集332的空间关系元数据454。
在该示例中，方法700还包括存储750训练集350，该训练集350包括2D渲染图像340、诸如可视化模式标签404和/或特征标签452的标签、对应的原生图像356以及链接数据354。在一些示例中，训练集350随后被传输给训练算法360以训练机器视觉系统362来导航环境100。
以上描述的用于针对原生环境生成训练集的计算机实现的方法和系统的示例利用了从环境的地理参考模型的视图创建的2D渲染图像。这些示例包括根据预选的颜色方案(例如语义分割、红-绿-蓝自然方案或深度图)来渲染定义每个2D渲染图像中的每个检测到的环境特征的像素，并生成将2D渲染图像与对应的原生图像相关联的链接数据。该示例还包括存储训练集，该训练集包括2D渲染图像、原生图像、标签和链接数据。在一些示例中，沿着穿过环境的路径捕获的摄像头图像被用作训练图像集中的原生图像，并且在每次图像捕获时从摄像头的物理位置和取向提取物理坐标集。在一些示例中，外部传感器效果、固有传感器效果以及变化的背景影像中的至少一种被添加到2D渲染图像中以创建更鲁棒的训练集。
本文描述的方法、系统和设备的示例性技术效果包括以下各项中的至少一项：(a)高速自动生成用于训练集的语义分割图像；(b)生成逐像素客观准确的语义分割图像；(c)生成在各种环境条件下的环境的训练图像集，而无需等待或依赖物理场景调整；以及(d)在不需要任何物理摄像头和/或物理场景调整的情况下，模拟计算机生成的2D渲染图像中各种外部和/或固有传感器效果。
此外，本公开还包括根据以下条款的实施方式：
1.一种用于针对原生环境(100)生成图像和标签的训练集(350)的方法(700)，所述方法在计算系统(300)上实现，所述计算系统(300)包括与至少一个存储装置(304)通信的至少一个处理器(302)，所述方法包括使用所述至少一个处理器来：
接收多个物理坐标集(332)；
从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型数据(308)，所述环境模型数据定义了多个环境特征(110)；
根据所述环境模型数据创建多个二维(2D)渲染图像(340)，各2D渲染图像与所述多个物理坐标集中的一个物理坐标集的视图相对应，所述多个2D渲染图像包括所述多个环境特征中的一个或更多个环境特征；
生成链接数据(354)，所述链接数据(354)将各所述2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签(452)以及(ii)对应的原生图像(356)相关联；以及
将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述2D渲染图像、所述标签、所述对应的原生图像以及所述链接数据。
2.根据条款1所述的方法(700)，该方法还包括使用所述至少一个处理器(302)执行以下步骤：针对所述一个或更多个环境特征(110)中的每一个环境特征，为出现该环境特征的每个2D渲染图像(340)生成一个相应的标签(452)。
3.根据条款1至2中任一项所述的方法(700)，其中，所述多个物理坐标集(332)定义了通过所述原生环境(100)的路径，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：接收在物理穿越所述路径期间记录的多个摄像头图像(330)，其中，所述多个摄像头图像中的每一个摄像头图像与所述多个物理坐标集中的一个物理坐标集相关联。
4.根据条款3所述的方法(700)，其中，所述多个摄像头图像(330)中每一个摄像头图像包括对应的地理坐标标签，并且其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：从所述多个摄像头图像中提取所述地理坐标标签以接收所述多个物理坐标集(332)。
5.根据条款3所述的方法(700)，其中，所述多个摄像头图像(330)中的每一个摄像头图像与时间戳(442)相关联，所述时间戳对应于沿所述路径的相对穿越时间，并且其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括(i)指向所述多个2D渲染图像(340)中的至少一个2D渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间中的至少一者。
6.根据条款1至5中任一项所述的方法(700)，该方法还包括使用所述至少一个处理器(302)执行以下步骤：生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括指向所述多个2D渲染图像中的至少一个2D渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)。
7.根据条款1至6中任一项所述的方法(700)，该方法还包括使用所述至少一个处理器(302)针对每个2D渲染图像(340)执行以下步骤：
基于所述环境模型数据(308)，计算元数据(358、454)，所述元数据(358、454)包括从对应的物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的空间关系；
生成将所述元数据与所述2D渲染图像相关联的附加链接数据(354)；并且
将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至少一个存储装置(304)中。
8.根据条款7所述的方法(700)，其中，所述链接数据(354)包括数据结构(400)，所述数据结构(400)包括多个记录(401)，每个记录包括指向所述多个2D渲染图像(340)中的至少一个2D渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)，其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：通过在多个记录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个到所述对应的物理坐标集(332)的空间关系来存储所述元数据(358、454)和所述附加链接数据(354)。
9.根据条款1至8中任一项所述的方法(700)，其中，使用所述至少一个处理器(302)创建所述多个2D渲染图像(340)的步骤包括：
针对所述2D渲染图像中的每一个确定可视化模式；以及
针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视化模式相对应的颜色来渲染定义所述环境特征的多个像素(342)。
10.根据条款1至9中任一项所述的方法(700)，其中，使用所述至少一个处理器(302)创建所述多个2D渲染图像(340)的步骤包括：应用模拟的固有传感器效果。
11.一种用于针对原生环境(100)生成图像和标签的训练集(350)的计算系统(300)，所述计算系统包括与至少一个存储装置(304)通信的至少一个处理器(302)，其中，所述至少一个处理器被配置为：
接收多个物理坐标集(332)；
从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型数据(308)，所述环境模型数据定义了多个环境特征(110)；
根据所述环境模型数据创建多个二维2D渲染图像(340)，各所述2D渲染图像与所述多个物理坐标集中的一个物理坐标集的视图相对应，所述多个2D渲染图像包含所述多个环境特征中的一个或更多个环境特征；
生成链接数据(354)，所述链接数据(354)将各所述2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签(452)以及(ii)对应的原生图像(356)相关联；并且
将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述2D渲染图像、所述标签、所述对应的原生图像以及所述链接数据。
12.根据条款11所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为针对所述一个或更多个环境特征(110)中的每一个环境特征，为出现该环境特征的每个2D渲染图像(340)生成一个相应的标签(452)。
13.根据条款11至12中任一项所述的计算系统(300)，其中，所述多个物理坐标集(332)定义了通过所述原生环境(100)的路径，并且其中，所述至少一个处理器(302)被进一步配置为接收在物理穿越所述路径期间记录的多个摄像头图像(330)，其中，所述多个摄像头图像中的每一个摄像头图像与所述多个物理坐标集中的一个物理坐标集相关联。
14.根据条款13所述的计算系统(300)，其中，所述多个摄像头图像(330)中每一个摄像头图像包括对应的地理坐标标签，并且其中，所述至少一个处理器(302)还被配置为通过从所述摄像头图像中提取所述地理坐标标签来接收所述多个物理坐标集(332)。
15.根据条款13所述的计算系统(300)，其中，所述多个摄像头图像(330)中的每一个摄像头图像与时间戳(442)相关联，所述时间戳对应于沿所述路径的相对穿越时间，并且其中，所述至少一个处理器(302)还被配置为生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括(i)指向所述多个2D渲染图像(340)中的至少一个2D渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间中的至少一者。
16.根据条款11至15中任一项所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括指向所述多个2D渲染图像中的至少一个2D渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)。
17.根据条款11至16中任一项所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为针对每个2D渲染图像(340)：
基于所述环境模型数据(308)，计算元数据(358、454)，所述元数据(358、454)包括从对应的物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的空间关系；
生成将所述元数据与所述2D渲染图像相关联的附加链接数据(354)；并且
将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至少一个存储装置(304)中。
18.根据条款17所述的计算系统(300)，其中，所述链接数据(354)包括数据结构(400)，所述数据结构(400)包括多个记录(401)，每个记录包括指向所述多个2D渲染图像(340)中的至少一个2D渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)，并且其中，所述至少一个处理器(302)还被配置为通过在所述多个记录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个到所述对应的物理坐标集(332)的空间关系来存储所述元数据(358、454)和所述附加链接数据。
19.根据条款11至18中任一项所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为通过以下操作创建所述多个2D渲染图像(340)：
针对所述2D渲染图像中的每一个确定可视化模式；并且
针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视化模式相对应的颜色来渲染定义所述环境特征的多个像素(342)。
20.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上实现有用于针对原生环境(100)生成图像和标签的训练集(350)的计算机可执行指令，其中，当由与至少一个存储装置(304)通信的至少一个处理器(302)执行时，所述计算机可执行指令使所述至少一个处理器：
接收多个物理坐标集(332)；
从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型数据(308)，所述环境模型数据定义了多个环境特征(110)；
根据所述环境模型数据创建多个二维2D渲染图像(340)，各所述2D渲染图像与所述多个物理坐标集中的一个物理坐标集的视图相对应，所述多个2D渲染图像包括所述多个环境特征中的一个或更多个环境特征；
生成链接数据(354)，所述链接数据(354)将各所述2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签(452)以及(ii)对应的原生图像(356)相关联；并且
将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述2D渲染图像、所述标签、所述对应的原生图像以及所述链接数据。
本文所描述的系统和方法不限于本文所描述的特定示例，而是，系统的组件和/或方法的步骤可以独立地和与本文所描述的其它组件和/或步骤分开地使用。
如本文所使用的，以单数形式叙述并且以“一”或“一个”开始的元件或步骤应被理解为不排除多个元件或步骤，除非明确地陈述了这种排除。此外，对本公开的“一个示例”或“示例”的引用无意被解释为排除也包含所记载的特征的附加示例的存在。
本书面描述使用示例来公开包括最佳模式的各种示例，以使本领域技术人员能够实践那些示例，包括制造和使用任何设备或系统以及执行任何合并的方法。可授予专利的范围由权利要求书限定，并且可以包括本领域技术人员想到的其它示例。如果这样的其它示例具有与权利要求的字面语言没有不同的结构元件，或者如果它们包括与权利要求的字面语言没有实质性差异的等效结构元件，则意图将这些其它示例也包括在权利要求的范围内。

Claims (15)

1.一种用于针对原生环境(100)生成图像和标签的训练集(350)的方法(700)，所述方法在计算系统(300)上实现，所述计算系统(300)包括与至少一个存储装置(304)通信的至少一个处理器(302)，所述方法包括使用所述至少一个处理器执行以下步骤：
接收多个物理坐标集(332)；
从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型数据(308)，所述环境模型数据定义多个环境特征(110)；
根据所述环境模型数据创建多个二维渲染图像(340)，所述多个二维渲染图像中的每一个二维渲染图像与所述多个物理坐标集中的一个物理坐标集的视图相对应，所述多个二维渲染图像包括所述多个环境特征中的一个或更多个环境特征；
生成链接数据(354)，所述链接数据(354)将所述多个二维渲染图像中的每一个二维渲染图像与(i)用于所包括的一个或更多个环境特征的标签(452)以及(ii)对应的原生图像(356)相关联；以及
将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述多个二维渲染图像、所述标签、所述对应的原生图像以及所述链接数据。
2.根据权利要求1所述的方法(700)，该方法还包括使用所述至少一个处理器(302)执行以下步骤：针对所述一个或更多个环境特征(110)中的每一个环境特征，为出现该环境特征的每一个二维渲染图像(340)生成一个相应的标签(452)。
3.根据权利要求1至2中任一项所述的方法(700)，其中，所述多个物理坐标集(332)定义通过所述原生环境(100)的路径，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：接收在物理穿越所述路径期间记录的多个摄像头图像(330)，其中，所述多个摄像头图像中的每一个摄像头图像与所述多个物理坐标集中的一个物理坐标集相关联。
4.根据权利要求3所述的方法(700)，其中，所述多个摄像头图像(330)中的每一个摄像头图像包括对应的地理坐标标签，并且其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：从所述多个摄像头图像中提取所述地理坐标标签以接收所述多个物理坐标集(332)。
5.根据权利要求3所述的方法(700)，其中，所述多个摄像头图像(330)中的每一个摄像头图像与时间戳(442)相关联，所述时间戳对应于沿所述路径的相对穿越时间，并且其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括(i)指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间中的至少一者。
6.根据权利要求1至5中任一项所述的方法(700)，该方法还包括使用所述至少一个处理器(302)执行以下步骤：生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括指向所述多个二维渲染图像中的至少一个二维渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)。
7.根据权利要求1至6中任一项所述的方法(700)，该方法还包括使用所述至少一个处理器(302)针对每一个二维渲染图像(340)执行以下步骤：
基于所述环境模型数据(308)计算元数据(358、454)，所述元数据(358、454)包括从对应的物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的空间关系；
生成将所述元数据与所述二维渲染图像相关联的附加链接数据(354)；以及
将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至少一个存储装置(304)中。
8.根据权利要求7所述的方法(700)，其中，所述链接数据(354)包括数据结构(400)，所述数据结构(400)包括多个记录(401)，每个记录包括指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)，其中，所述方法还包括使用所述至少一个处理器(302)执行以下步骤：通过在所述多个记录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个环境特征到所述对应的物理坐标集(332)的所述空间关系来存储所述元数据(358、454)和所述附加链接数据(354)。
9.根据权利要求1至8中任一项所述的方法(700)，其中，使用所述至少一个处理器(302)创建所述多个二维渲染图像(340)的步骤包括：
针对所述多个二维渲染图像中的每一个二维渲染图像确定可视化模式；以及
针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视化模式相对应的颜色来渲染定义所述环境特征的多个像素(342)。
10.根据权利要求1至9中任一项所述的方法(700)，其中，使用所述至少一个处理器(302)创建所述多个二维渲染图像(340)的步骤包括：应用模拟的固有传感器效果。
11.一种用于针对原生环境(100)生成图像和标签的训练集(350)的计算系统(300)，所述计算系统包括与至少一个存储装置(304)通信的至少一个处理器(302)，其中，所述至少一个处理器被配置为：
接收多个物理坐标集(332)；
从所述至少一个存储装置中检索与所述原生环境的地理参考模型相对应的环境模型数据(308)，所述环境模型数据定义多个环境特征(110)；
根据所述环境模型数据创建多个二维渲染图像(340)，所述多个二维渲染图像中的每一个二维渲染图像与所述多个物理坐标集中的一个物理坐标集的视图相对应，所述多个二维渲染图像包括所述多个环境特征中的一个或更多个环境特征；
生成链接数据(354)，所述链接数据(354)将所述多个二维渲染图像中的每一个二维渲染图像与(i)用于所包括的一个或更多个环境特征的标签(452)以及(ii)对应的原生图像(356)相关联；并且
将所述训练集存储在所述至少一个存储装置中，所述训练集包括所述多个二维渲染图像、所述标签、所述对应的原生图像以及所述链接数据。
12.根据权利要求11所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为针对所述一个或更多个环境特征(110)中的每一个环境特征，为出现该环境特征的每一个二维渲染图像(340)生成一个相应的标签(452)；
其中，所述多个物理坐标集(332)定义通过所述原生环境(100)的路径，并且其中，所述至少一个处理器(302)被进一步配置为接收在物理穿越所述路径期间记录的多个摄像头图像(330)，其中，所述多个摄像头图像中的每一个摄像头图像与所述多个物理坐标集中的一个物理坐标集相关联；
其中，所述多个摄像头图像(330)中的每一个摄像头图像包括对应的地理坐标标签，并且其中，所述至少一个处理器(302)还被配置为通过从所述多个摄像头图像中提取所述地理坐标标签来接收所述多个物理坐标集(332)；并且
其中，所述多个摄像头图像(330)中的每一个摄像头图像与时间戳(442)相关联，所述时间戳对应于沿所述路径的相对穿越时间，并且其中，所述至少一个处理器(302)还被配置为生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括(i)指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的指针(402)以及(ii)时间元数据(440)，所述时间元数据(440)包括与所述对应的原生图像(356)相关联的所述时间戳和所述相对穿越时间中的至少一者。
13.根据权利要求11至12中任一项所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为生成所述链接数据(354)作为包括多个记录(401)的数据结构(400)，每个记录包括指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)。
14.根据权利要求11至13中任一项所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为针对每一个二维渲染图像(340)：
基于所述环境模型数据(308)计算元数据(358、454)，所述元数据(358、454)包括从所述物理坐标集(332)到所述一个或更多个环境特征(110)中的至少一个环境特征的空间关系；
生成将所述元数据与所述二维渲染图像相关联的附加链接数据(354)；并且
将所述元数据和所述附加链接数据作为所述训练集(350)的一部分存储在所述至少一个存储装置(304)中；
其中，所述链接数据(354)包括数据结构(400)，所述数据结构(400)包括多个记录(401)，每个记录包括指向所述多个二维渲染图像(340)中的至少一个二维渲染图像的第一指针(402)和指向所述对应的原生图像(356)的第二指针(403)，并且其中，所述至少一个处理器(302)还被配置为通过在所述多个记录的至少一个记录中包括用于所述一个或更多个环境特征(110)中的每一个环境特征的标签(452)以及从所述一个或更多个环境特征中的每一个环境特征到所述对应的物理坐标集(332)的所述空间关系来存储所述元数据(358、454)和所述附加链接数据。
15.根据权利要求11至14中任一项所述的计算系统(300)，其中，所述至少一个处理器(302)还被配置为通过以下操作创建所述多个二维渲染图像(340)：
针对所述多个二维渲染图像中的每一个二维渲染图像确定可视化模式；并且
针对所述一个或更多个环境特征(110)中的每一个环境特征，以与所确定的可视化模式相对应的颜色来渲染定义所述环境特征的多个像素(342)。
CN202010579014.9A 2019-09-16 2020-06-23 用于自动生成环境的训练图像集的系统和方法 Pending CN112504271A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/571,555 2019-09-16
US16/571,555 US11113570B2 (en) 2019-09-16 2019-09-16 Systems and methods for automatically generating training image sets for an environment

Publications (1)

Publication Number Publication Date
CN112504271A true CN112504271A (zh) 2021-03-16

Family

ID=71016455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010579014.9A Pending CN112504271A (zh) 2019-09-16 2020-06-23 用于自动生成环境的训练图像集的系统和方法

Country Status (3)

Country Link
US (1) US11113570B2 (zh)
EP (1) EP3792822A1 (zh)
CN (1) CN112504271A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198684A1 (en) * 2021-03-26 2022-09-29 Shanghaitech University Methods and systems for training quantized neural radiance field
WO2023019507A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于深度学习道路图像生成方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
US12090672B2 (en) * 2021-03-04 2024-09-17 Google Llc Joint training of a narrow field of view sensor with a global map for broader context
US11810049B2 (en) * 2021-08-20 2023-11-07 Ford Global Technologies, Llc Systems and methods to generate a last mile travel route for a delivery robot

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
FR2825814B1 (fr) 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de creation automatique d'une base de donnees images interrogeable par son contenu semantique
US8111923B2 (en) 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US8200617B2 (en) 2009-04-15 2012-06-12 Evri, Inc. Automatic mapping of a location identifier pattern of an object to a semantic type using object metadata
US9838744B2 (en) 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10235605B2 (en) 2013-04-10 2019-03-19 Microsoft Technology Licensing, Llc Image labeling using geodesic features
GB2520338A (en) 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
US10521671B2 (en) 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US10192117B2 (en) 2015-06-25 2019-01-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
US9904849B2 (en) * 2015-08-26 2018-02-27 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9836673B2 (en) 2015-12-30 2017-12-05 International Business Machines Corporation System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments
US9792821B1 (en) 2016-03-25 2017-10-17 Toyota Jidosha Kabushiki Kaisha Understanding road scene situation and semantic representation of road scene situation for reliable sharing
JP6947759B2 (ja) 2016-07-08 2021-10-13 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
US9779774B1 (en) 2016-07-22 2017-10-03 Microsoft Technology Licensing, Llc Generating semantically meaningful video loops in a cinemagraph
US10198846B2 (en) 2016-08-22 2019-02-05 Adobe Inc. Digital Image Animation
US10089742B1 (en) 2017-03-14 2018-10-02 Adobe Systems Incorporated Automatically segmenting images based on natural language phrases
CN107239446B (zh) 2017-05-27 2019-12-03 中国矿业大学 一种基于神经网络与注意力机制的情报关系提取方法
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10796403B2 (en) * 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198684A1 (en) * 2021-03-26 2022-09-29 Shanghaitech University Methods and systems for training quantized neural radiance field
WO2023019507A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于深度学习道路图像生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3792822A1 (en) 2021-03-17
US11113570B2 (en) 2021-09-07
US20210081711A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US11835358B2 (en) Method and system for video-based positioning and mapping
US11113570B2 (en) Systems and methods for automatically generating training image sets for an environment
Koeva et al. Using UAVs for map creation and updating. A case study in Rwanda
Zhou et al. A comprehensive study on urban true orthorectification
EP3792827B1 (en) Systems and methods for automatically generating training image sets for an object
US7528938B2 (en) Geospatial image change detecting system and associated methods
US8433457B2 (en) Environmental condition detecting system using geospatial images and associated methods
US20070162193A1 (en) Accuracy enhancing system for geospatial collection value of an image sensor aboard an airborne platform and associated methods
CN111540048A (zh) 一种基于空地融合的精细化实景三维建模方法
US20070162194A1 (en) Geospatial image change detecting system with environmental enhancement and associated methods
Zhou Urban High-Resolution Remote Sensing: Algorithms and Modeling
CN115294293B (zh) 基于低空航摄成果自动化编译高精地图道路参考线的方法
JP7418281B2 (ja) 地物の分類システム、分類方法及びそのプログラム
US20220237908A1 (en) Flight mission learning using synthetic three-dimensional (3d) modeling and simulation
Zietara Creating Digital Elevation Model (DEM) based on ground points extracted from classified aerial images obtained from Unmanned Aerial Vehicle (UAV)
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
EP3376160A1 (en) Method and system for identifying urban objects
CN116152342A (zh) 一种基于梯度的路牌配准定位方法
Bayanlou et al. Multi-task learning from fixed-wing UAV images for 2D/3D city modeling
US9898846B1 (en) Method and apparatus for traffic condition diagram generation
Sadekov et al. Road sign detection and recognition in panoramic images to generate navigational maps
Zhu A pipeline of 3D scene reconstruction from point clouds
Klapa et al. Charting topographic maps based on UAV data using the image classification method
Simonetti et al. GIS Roads Cadastre, Infrastructure Management and Maintenance
Liu et al. Runway detection during approach and landing based on image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination