CN113039552B - 训练图像的自动生成 - Google Patents

训练图像的自动生成 Download PDF

Info

Publication number
CN113039552B
CN113039552B CN201980068274.5A CN201980068274A CN113039552B CN 113039552 B CN113039552 B CN 113039552B CN 201980068274 A CN201980068274 A CN 201980068274A CN 113039552 B CN113039552 B CN 113039552B
Authority
CN
China
Prior art keywords
image
information
training
tiles
image tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980068274.5A
Other languages
English (en)
Other versions
CN113039552A (zh
Inventor
卡米拉·莫代克
迈克尔·维德曼
雷纳·齐默尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
Airbus Defence and Space GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Defence and Space GmbH filed Critical Airbus Defence and Space GmbH
Publication of CN113039552A publication Critical patent/CN113039552A/zh
Application granted granted Critical
Publication of CN113039552B publication Critical patent/CN113039552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于提供训练图像的方法。所述方法包括接收关于对象的信息。所述信息至少在特定记录时间有效。所述方法包括接收区域的图像。在所述特定记录时间对所述区域进行成像。所述方法包括基于所述信息估计所述对象在所述特定记录时间处的相应位置。所述方法包括从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置。所述方法包括通过将成像区域分为第一多个图像分块和第二多个图像分块来生成训练图像。所述第一多个图像分块中的每一个不同于所述第二多个图像分块中的每一个。所述第一多个图像分块中的每一个对所选位置中的相应一个或几个所选位置进行成像(描绘)。所述方法包括提供所述训练图像。进一步，提供了一种训练图像产品以及一种用于提供训练图像的设备。

Description

训练图像的自动生成
技术领域
示例涉及用于自动生成训练图像的概念和其应用，并且具体地涉及用于提供训练图像的方法和设备。
背景技术
自动目标识别(即，自动检测和鉴别所关注对象)是现代监控系统以及服务(如从机载或星载传感器输送图像产品)中至关重要的能力。现代图像分析系统应用机器学习技术(尤其是深度神经网络)来高效且有效地执行此任务。然而，这些技术通常需要大量标记的图像作为输入用于训练机器学习工具，以能够完全自主地将检测到的所关注对象与正确的标记相关联。
今天，训练图像的生成是在使用手动或半自动过程下执行的，这需要操作者参与其中。这是耗时的任务。
可能必须优化程序的整体数据处理时间和数据等待时间。因此，期望形成具有减少的数据处理时间的系统。
可能会需要提供耗时较少的方法的概念。
发明内容
这种需求可以通过权利要求的主题来满足。
具体地，本披露内容提供了一种用于自动生成训练图像的程序，所述训练图像可以是用于机器学习工具的后续训练的输入，所述机器学习工具用于自主地检测和鉴别图像中的所关注对象。
根据第一方面，提供了一种用于提供训练图像的方法。所述方法包括接收关于对象的信息。所述信息至少在特定记录时间有效。所述方法包括接收区域的图像。所述区域可以在所述特定记录时间进行成像(记录)。所述方法包括基于所述信息估计所述对象在所述特定记录时间处的相应位置。所述方法包括从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置。所述方法包括通过将成像区域(即，所述区域的所述图像)分为第一多个图像分块和第二多个图像分块来生成训练图像。所述第一多个图像分块中的每一个不同于所述第二多个图像分块中的每一个。所述第一多个图像分块中的每一个对所选位置中的相应一个或几个所选位置进行成像(描绘)。所述方法包括提供所述训练图像。
因此，可能不需要操作者参与其中。因此，所述方法可以不那么耗时。
进一步，由于选择标准，良好训练图像(第一多个图像分块)和不良图像(第二多个图像分块)的提供可以非常有效。因此，所述方法不仅高效，而且有效。
考虑了一系列监控应用的进一步积极影响，例如可以更容易重复或扩展对一种或几种机器学习工具的培训。例如，可以从图像的获取到最终分析产品的输送加快航空或卫星图像的吞吐量。
要估计的所述对象的所述位置可以在特定记录时间处于所述区域内。
区域可以是地球表面的截面。因此，图像可以与地球表面的截面有关。
进一步，特定记录时间可以是在过去。例如，当接收区域的图像时，特定记录时间可以是在过去。因此，可以在成像步骤之后执行接收步骤。
所述第一多个图像分块中的每一个可以对所选位置中的一个或几个所选位置进行成像。
进一步，可以接收多个图像，并且所述方法可以包括如第一方面中所描述的用于处理多个图像的对应方法步骤。
所述图像或所述多个图像可以从数据库、档案或任何地球观测图像库中接收。
可以预期(所关注)对象在特定记录时间处于区域内。
所述预定义选择标准与错误概率有关。
所述第二多个图像分块中的图像分块可以彼此不同。
所述第一多个图像分块中的图像分块可以彼此不同。
训练图像的提供可以呈训练数据的形式。训练数据可以是用于传递/传输(在传递/传输时使用)的数据的压缩和/或编码形式。训练数据可以被提供到机器学习工具。机器学习工具可以利用训练数据作为学习输入。
所述方法可以完全自主且自动地执行。
对象可以是所关注对象。这些对象可以是区域中的飞机或船舶。区域可以是海上监控区域或海上监控区域的一部分。
所述信息可以包括关于所述对象的时间相关信息。所述信息可以包括关于所述对象的时间无关信息。所述信息可以由所述对象传输。所述信息也可以是不同信息源的组合信息。所述信息可以包括关于地理参考的信息。因此，成像区域可以通过使用地理参考来校准。关于地理参考的信息可以呈地理参考图像的形式。因此，所述方法可以进一步包括基于信息在成像区域上校准估计位置或所选位置。所述信息可以包括关于地理坐标的信息。地理坐标可以用于地理参考。因此，所述方法可以进一步包括根据关于所述地理坐标的所述信息对所述成像区域进行地理参考。因此，成像区域可以(正确地)校准至对象的相应坐标和/或对象的相应轨迹(在特定记录时间)。可以(已经)对对象的坐标/轨迹进行地理参考。因此，对象的相应坐标/轨迹可以是地理参考坐标/轨迹。
根据示例，提供了一种计算机程序产品。计算机程序产品可以包括用于当计算机程序产品在一个或多个处理单元上执行时执行根据第一方面的方法的程序代码部分。
计算机程序产品可以存储在一个或多个计算机可读存储介质上。
信息可以是支持性信息。支持性信息可以包括船舶自动鉴别系统(AutomaticIdentification System，AIS)消息。这些消息可以由对象传输。在AIS消息的情况下，对象可以是船只。进一步，支持性信息可以包括从具有关于对象的信息的数据库取得的信息。进一步，支持性信息可以包括关于对象的开源信息。支持性信息还可以包括广播式自动相关监视(ADS-B)消息。这些消息也可以由对象传输。在ADS-B消息的情况下，对象可以是飞机。
估计步骤可以在特定记录时间之后执行。估计位置可以与在特定记录时间处的位置有关。换句话说，估计位置可以与特定记录时间相关联。确切的位置对于估计步骤和随后的分离步骤可能不是必需的，因为训练图像可以仅利用估计而不利用确切的位置来建立。因此，所述方法可能不需要利用图像性质本身。因此，所述方法使用提供的训练图像针对机器学习算法提供了有效的工具而无需操作者参与其中。可以没有一致性检查，因为支持性信息提供了对对象的位置的高效且有效的估计。
在估计步骤之后，可以执行选择步骤。用于选择良好训练图像的标准可以与良好训练图像满足预定义选择标准的错误概率有关。可以用与图像的(内容的)质量有关的预定义质量标准来解释预定义选择标准。因此，选择步骤可以包括确定相应估计位置中的每一个的不确定性是否超过阈值。阈值可以与期望的错误概率有关。因此，无需操作者参与其中就可以自主作出决定。
在选择步骤之后，可以执行标记步骤。标记步骤可以仅针对第一多个图像分块执行。可以用对象的估计位置来标记成像区域。进一步，可以用对象的相应属性(性质)来标记图像。标记步骤可以包括用对象处于成像单元的覆盖区(雷达或光学覆盖区)内的信息来标记成像区域。覆盖区可以是本文所描述的区域。进一步，标记步骤可以包括用关于对象的估计位置的信息来标记成像区域。进一步，标记步骤可以包括用关于对象中的每一个的航向、航线、速度、长度、宽度、类型和/或对应的不确定性的信息来标记成像区域。标记可以取决于支持性信息所支持的信息量或与对象的(多个)数据库的连接性。
标记步骤可以包括用对象中的每一个的主要性质来标记图像(成像区域)。主要性质/属性可以是对象的位置、航向、速度、尺寸、类型以及(如果已知或可用的话)性质的值的相应不确定性。因此，提供的训练图像可以在内容方面更精确。因此，可以实质上改善机器学习。
标记步骤还可以针对第二多个图像分块执行。可以用此区域的特征来标记成像区域。
特征可以包括图像分块的背景的特性。背景的示例可以包括开放水域、水域和海岸线、受冰侵袭水域、港口区域、水域和近海结构、被污染水域。相应特性可以是不同的海况、不同的海岸线形状、不同的冰况。标记可以取决于支持性信息所支持的信息量。
在标记之后，可以执行生成训练图像的步骤。对于生成训练图像的步骤，可以分离(切除)成像区域的各部分。这些部分可以包含对象的相应估计位置(关于对象的相应估计位置的信息)。这些部分可以是第一多个图像分块中的图像分块。第一多个图像分块可以与如“良好训练图像”等积极特性相关联。可以将第一多个图像分块提供到机器学习工具。第一多个图像分块可以进一步提供第一图像分块中存在对象的信息。第二多个图像分块还可以提供第二多个图像分块的每一个中不存在所关注对象的信息。成像区域的图像分块的数量和大小可以是可调整的。第一多个图像分块中的图像分块的尺寸可以取决于对象的大小。尺寸可以是相应图像分块的对角线。进一步，尺寸也可以是相应图像分块的长度或宽度。图像分块可以是基本上矩形或方形的。
估计步骤可以包括估计预期存在的(所关注)对象在特定记录时间的时间或时间段处的位置。用于估计步骤的支持性信息可以包括对象中的一个(或每一个)的(单个)参数估计模型。参数估计模型可以提供相应对象的估计位置的方差。支持性信息可以用于估计步骤，因为可以针对特定记录时间估计相应对象的时间相关属性(如速度、航线等)。进一步，支持性信息可以用于估计步骤，因为可以估计相应对象的时间无关属性(如长度、宽度和类型)。
在标记步骤之前，可以执行选择步骤。选择步骤可以在估计步骤之后自动执行。选择步骤可以由处理单元执行。选择步骤可以包括决定/确定在生成训练图像的步骤中使用相应对象的估计位置中的哪个位置。因此，相应对象的不满足预定义要求的估计位置可以被丢弃并且不用于生成训练图像的步骤中。决定步骤可以包括决定相应对象的估计位置的准确度是否超过可以与预定义错误概率有关的阈值。这可以分别针对相应对象的估计位置中的每一个和其准确度来执行。
第二多个图像分块中的图像分块可以对成像区域中的不包含任何所关注对象的部分进行成像。
根据示例，提供了一种一组训练图像。可以通过根据第一方面的方法来提供一组训练图像的图像。一组训练图像可以用于训练机器学习工具或机器学习图像分析系统。然后可以使机器学习工具或机器学习图像分析系统能够利用提供的训练图像。进一步，可以使机器学习工具或机器学习图像分析系统基于一组训练图像来执行(深度)学习。
根据第二方面，提供了一种训练图像产品。所述训练图像产品作为输入用于训练图像分析系统的机器学习。所述训练图像产品包括通过根据所述第一方面的方法提供的所述训练图像。
所述训练图像可以被分成第一多个图像分块和第二多个图像分块。所述第一多个图像分块中的每一个可以包括相应状态向量。所述相应状态向量的分量可以与要存在于所述相应图像分块中的对象相关联。进一步，所述第一多个图像分块中的每一个可以用所述相应图像分块中存在(所关注)对象的信息来标记。这些图像可以被称为“良好训练图像”。
所述第二多个图像分块中的每一个可以用所述相应图像分块中不存在对象的信息来标记。这些图像可以被称为“不良训练图像”。
根据第三方面，提供了一种用于提供训练图像的设备。所述设备包括被适配成接收关于对象的信息的第一接收单元。所述信息至少在特定记录时间有效。所述设备包括第二接收单元。所述第二接收单元被适配成接收区域的图像。所述区域在所述特定记录时间进行成像(记录)。所述设备包括处理单元，所述处理单元被适配成基于所述信息估计所述对象在所述特定记录时间处的相应位置。所述处理单元被进一步适配成从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置。所述处理单元被进一步适配成通过将所述成像区域(即，所述区域的所述图像)分为第一多个图像分块和第二多个图像分块来生成训练图像。所述第一多个图像分块中的每一个不同于所述第二多个图像分块中的每一个。所述第一多个图像分块中的每一个对所选位置中的相应一个或几个所选位置进行成像。所述设备包括传输单元，所述传输单元被适配成提供所述训练图像。
设备可以(被适配成)用于在飞机或卫星中使用。
第一接收单元可以是接收单元。第二接收单元可以是另一个接收单元。第一接收单元和第二接收单元可以是接收单元或形成接收单元的一部分。另一个接收单元可以呈接口的形式或者是接口。另一个接收单元可以例如与接收单元接合，使得所述另一个接收单元和所述接收单元形成单个接口。例如，接收单元和另一个接收单元是单个单元或彼此分离。
设备可以(至少部分地)布置或可布置在如飞机或卫星等运输装置上。在运输装置的飞行阶段期间，设备可以被使用/可使用或被操作/可操作。
设备的元件可以彼此互连或以其间的任何组合互连。例如，第一接收单元可以连接到处理单元。进一步，处理单元可以连接到第二接收单元。进一步，处理单元可以连接到传输单元。进一步，处理单元和传输单元可以是单个单元。进一步，接收单元和处理单元可以集成在单个设备中。此外，处理单元、接收单元和传输单元可以集成为单个模块或者各自可以是能够被放在一起成为一个单个模块的单个模块。
图像可以由成像传感器制成。成像传感器可以是光学传感器或雷达传感器。图像可以直接从成像传感器传递到设备(由第二接收单元接收)，或者所述图像可以从数据中心和/或档案和/或数据库中摄取到设备中。
特定记录时间可以是成像所需的图像获取时间。特定记录时间可以在要用作成像单元的光学传感器与雷达传感器之间有所不同。
根据示例，可以提供一种用于提供训练图像的系统。系统可以包括被适配成接收关于对象的信息的接收单元。信息可以至少在特定记录时间有效。系统可以包括成像单元。成像单元可以被适配成在特定记录时间对区域进行成像。系统可以包括处理单元，所述处理单元被适配成基于信息估计对象在特定记录时间处的相应位置。估计步骤可以在成像步骤之后执行。处理单元可以被进一步适配成从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置。处理单元可以被进一步适配成通过将成像区域分为第一多个图像分块和第二多个图像分块来生成训练图像。第一多个图像分块中的每一个可以不同于第二多个图像分块中的每一个。第一多个图像分块中的每一个可以对所选位置中的相应一个或几个所选位置进行成像。设备可以包括传输单元，所述传输单元被适配成提供训练图像。
特定记录时间可以是持续时间(在过去)。
根据第四方面，提供了一种用于提供训练图像的方法。所述方法包括接收关于对象的信息。所述信息至少在特定记录时间有效。所述方法包括接收区域的图像。所述区域可以在所述特定记录时间进行成像(记录)。所述方法包括基于所述信息估计所述对象在所述特定记录时间处的相应位置。所述方法包括从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置。所述方法包括提供训练图像。
所述方法可以包括基于成像区域(即，基于所述区域的所述图像)生成所述训练图像。术语“基于成像区域生成所述训练图像”/“基于所述区域的所述图像生成所述训练图像”可以理解为(i)仅基于所述成像区域和/或(ii)基于所述成像区域和一个或多个图像分块和/或(iii)仅基于一个或多个图像分块生成所述训练图像。一个或多个图像分块可以从成像区域得到。
例如，可以通过将成像区域分为第一多个图像分块和第二多个图像分块来从成像区域得到一个或多个图像分块。即，一个或多个图像分块可以对应于或包括第一多个图像分块和第二多个图像分块。第一多个图像分块中的每一个可以不同于第二多个图像分块中的每一个。第一多个图像分块中的每一个可以对所选位置中的相应一个或几个所选位置进行成像(描绘)。
上文关于根据第一方面的方法阐述的细节在适合时也同样适用于根据第四方面的方法。
根据第五方面，提供了一种用于提供训练图像的设备。所述设备包括被适配成接收关于对象的信息的第一接收单元。所述信息至少在特定记录时间有效。所述设备包括第二接收单元。所述第二接收单元被适配成接收区域的图像。所述区域在所述特定记录时间进行成像(记录)。所述设备包括处理单元，所述处理单元被适配成基于所述信息估计所述对象在所述特定记录时间处的相应位置。所述处理单元被进一步适配成从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置。所述设备包括传输单元，所述传输单元被适配成提供训练图像。
所述处理单元可以被配置成基于成像区域(即，基于所述区域的所述图像)生成所述训练图像。如上文所阐述的，术语“基于成像区域生成所述训练图像”/“基于所述区域的所述图像生成所述训练图像”可以理解为(i)仅基于所述成像区域和/或(ii)基于所述成像区域和一个或多个图像分块和/或(iii)仅基于一个或多个图像分块生成所述训练图像。一个或多个图像分块可以从成像区域得到。
例如，所述处理单元可以被适配成通过将所述成像区域(即，所述区域的所述图像)分为第一多个图像分块和第二多个图像分块来生成训练图像。即，一个或多个图像分块可以对应于或包括第一多个图像分块和第二多个图像分块。第一多个图像分块中的每一个可以不同于第二多个图像分块中的每一个。第一多个图像分块中的每一个可以对所选位置中的相应一个或几个所选位置进行成像(描绘)。
上文关于根据第三方面的设备阐述的细节在适合时也同样适用于根据第五方面的设备。
对于本领域技术人员而言清楚的是，可以实施本文在使用硬件电路、软件装置或其组合的情况下所阐述的陈述。软件装置可以与编程的微处理器或通用计算机、ASIC(专用集成电路)和/或DSP(数字信号处理器)有关。例如，成像单元、处理单元、第一接收单元、第二接收单元和传输单元可以部分地实施为计算机、逻辑电路、FPGA(现场可编程门阵列)、处理器(例如，微处理器，微控制器(μC)或阵列处理器)/核/CPU(中央处理单元)、FPU(浮点单元)、NPU(数值处理单元)、ALU(算术逻辑单元)、协处理器(用于支持主处理器(CPU)的另外的微处理器)、GPGPU(通用图形计算处理单元)、多核处理器(用于并行计算，如同时在多个主处理器和/或图形处理器上执行算术运算)或DSP。对于本领域技术人员而言，更清楚的是，即使本文中描述的细节将在方法方面进行描述，这些细节也可以在合适的设备、计算机处理器或连接到处理器的存储器中实施或实现，其中，存储器可以设置有当由处理器执行时执行方法的一个或多个程序。因此，可以部署如交换和分页等方法。
即使已经关于方法描述了上文描述的方面中的一些方面，这些方面也可以应用于设备、系统、训练图像产品、一组训练图像以及计算机程序产品。同样，上文关于设备所描述的方面可以以对应的方式可应用于方法、系统、训练图像产品、一组训练图像以及计算机程序产品。此外，上文关于系统所描述的方面可以以对应的方式可应用于方法、设备、训练图像产品、一组训练图像以及计算机程序产品。进一步，上文关于训练图像产品所描述的方面可以以对应的方式可应用于方法、设备、系统、一组训练图像以及计算机程序产品。此外，上文关于一组训练图像所描述的方面可以以对应的方式可应用于方法、设备、系统、训练图像产品以及计算机程序产品。
还应理解，本文所使用的术语仅出于描述单独的实施例的目的并且不旨在是限制性的。除非另有定义，否则本文所使用的所有技术和科学术语具有与本披露内容的相关技术领域中的技术人员的一般理解相对应的含义；所述技术和科学术语应当被理解得既不是太远也不是太窄。如果技术术语在本披露内容中被错误地使用并且因此未反映本披露内容的技术概念，则这些技术术语应当由向本披露内容的相关技术领域的技术人员传达正确理解的技术术语来代替。本文所使用的通用术语应基于词典中的定义或上下文来解释。应当避免过于狭义的解释。
应当理解的是，如“包括(comprising)”，“包括(including)”或“具有(having)”等术语意指描述的特征、数量、操作、动作、部件、零件或其组合的存在并且不排除一个或多个另外的特征、数量、操作、动作、部件、零件或其组合的存在或可能添加。
尽管可以使用如“第一”或“第二”等术语来描述不同的部件或特征，但是这些部件或特征不应限于这些术语。使用上文的术语，仅一个部件应与另一个部件区分开。例如，在不脱离本披露内容的范围的情况下，第一部件可以被称为第二部件；并且第二部件也可以被称为第一部件。术语“和/或”包括多个相关特征的两个组合以及描述的多个特征中的所述多个特征中的任何特征。
在当前情况下，如果部件“连接到”另一个部件、“与另一个部件通信”或“访问”另一个部件，则这可能意味着所述部件直接连接到或直接访问另一个部件；然而，应当注意的是，其间可以有另一个部件。另一方面，如果部件“直接连接”到另一个部件或“直接访问”另一个部件，则应当理解，其间不存在另外的部件。
在下文中，将参考附图描述本披露内容的优选实施例；相同的部件始终设置有相同的参考标记。
在本披露内容的描述中，对已知的所连接功能或构造的详细解释被省略到详细解释不必要地偏离本披露内容的程度；然而，这种功能和构造对于本披露内容的技术领域的技术人员而言是可理解的。附图说明了本披露内容并且不应被解释为限制。除附图之外，本披露内容的技术思想应被解释为还包括所有这种修改、变化和变型。
附图说明
通过以下对关于附图的非限制性实施例的描述，其他目的、特征、优点和应用将变得显而易见。在附图中，所有描述和/或展示的特征单独地或以任何组合的形式形成其中所披露的主题，而不管其在权利要求中的分组或其关系/参考如何。附图中所示的部件或零件的尺寸和比例不一定按比例；这些尺寸和比例可以不同于附图和实施的实施例中的图示。
图1示意性地展示了示出检测到的船只101和其估计位置102的雷达图像，其中，标记表明在获取图像的时间处船只的性质；
图2示意性地展示了具有沿船只的AIS轨迹的三角形和黑色三角形102的图像截面，所述黑色三角形表示在获取预期示出船只101的图像的时间处估计的船只位置；
图3示意性地展示了具有船舶检测(不可见)和重叠一致的AIS船舶轨迹(黑色多边形)的卫星SAR图像；
图4示意性地展示了具有输入、机制和输出的流程图；
图5示意性地展示了结合数据融合系统的经训练船舶分类工具的操作阶段的流程图；
图6示意性地展示了示出检测到的第一船只101a和其估计位置102a以及检测到的第二船只101b和其估计位置102b的雷达图像，其中，标记表明在获取图像的时间处船只的性质；以及
图7示意性地展示了示出检测到的第一船只101a和其估计位置102a以及检测到的第二船只101b和其估计位置102b的雷达图像，其中，标记表明在获取图像的时间处船只的性质。
具体实施方式
本文所描述的功能和操作方面的变型以及其功能和操作方面仅是为了更好地理解其结构、其功能和性质；所述变型以及其功能和操作方面不将本披露内容限制于实施例。附图是部分示意性的，所述基本性质和作用清楚地部分地放大或缩小示出，以阐功能、有效原理、实施例和技术特性。在附图或文本中披露的每个操作、每个原理、每个技术方面和每个特征与/可以与所有权利要求、文本和其他附图中的每个特征、其他操作模式、原理、技术改进以及本披露内容中包括的或因本披露内容而产生的特征组合，使得将所有可能的组合分配给所描述的设备和方法。所有可能的组合还包括文本(即，说明书的每个部分中)、权利要求中的所有单独注释的组合以及文本、权利要求和附图中的不同变化之间的组合并且可以视作另外的权利要求的主题。权利要求不限制本披露内容并且因此不限制所有鉴别的特性之间的可能组合。所披露的所有特征也明确地单独地并且与本文所披露的所有其他特征组合。
因此，尽管另外的示例能够有各种修改和替代形式，但是其一些特定示例在附图中示出并且随后将详细描述。然而，此详细描述不将另外的示例限于所描述的特定形式。另外的示例可以覆盖落入本披露内容的范围内的所有修改、等同物和替代方案。在整个附图的描述中，相同的附图标记指代相同或类似的元件，所述元件在提供相同或类似的功能的同时可以相较于彼此相同或以修改的形式实施。
将理解的是，当元件被称为“连接”或“耦接”到另一个元件时，元件可以直接连接或耦接或者经由一个或多个中间元件连接或耦接。如果两个元件A和B使用“或”组合，则应理解为披露了所有可能的组合，即，仅A、仅B以及A和B。相同组合的替代用语是“A和B中的至少一项”。同样适用于2个以上元件的组合。
本文出于描述特定示例的目的所使用的术语不旨在限制另外的示例。每当使用如“一个(a)”、“一种(an)”和“所述(the)”等单数形式并且不明确地或隐式地将仅使用单个元件定义为强制性时，另外的示例也可以使用多个元件来实施相同的功能。同样，当随后将功能描述为使用多个元件实施时，另外的示例可以使用单个元件或处理实体实施相同的功能。应进一步理解，术语“包括(comprises、comprising、includes)”和/或“包括(including)”当使用时指定陈述的特征、整数、步骤、操作、过程、动作、元件和/或部件的存在，但不排除一或多个其他特征、整数、步骤、操作、过程、动作、元件、部件和/或其群组的存在或添加。
除非另有定义，否则所有术语(包括技术和科学术语)在本文中均以其在示例所属领域中的普通含义使用。
进一步，尽管主要参考(仅)基于从成像区域得到的一个或多个图像分块生成训练图像来描述实施例，但是同样可想到的是，(i)仅基于成像区域和/或(ii)基于成像区域和从成像区域得到的一个或多个图像分块来生成训练图像。
现在将关于实施例描述方法和设备。
在下文中，但不限于此，阐述了具体细节以提供对本披露内容的透彻理解。然而，对于技术人员而言清楚的是，本披露内容可以在其他实施例中使用，所述其他实施例可以不同于下文所阐述的细节。
图1示意性地展示了表示检测到的船只101和其估计位置102的雷达图像，其中，标记表明在获取图像的时间处船只的性质。
考虑到雷达或光学图像、成像传感器的覆盖区以及图像获取时间，本披露内容旨在预测在所述图像中检测到哪些对象、在图像上的哪里检测到所述对象以及在检测到所述对象的时间处(即，在获取图像的时间处)所述对象的主要性质是什么。为此，本披露内容利用关于所关注对象的现有支持性信息(例如，要被检测到并在图像中识别的船只)。此信息可以包括由船只传输的船舶自动鉴别系统(AIS)消息和从船只数据库中取得的附加信息以及开放源信息。使用组合的船只信息在获取卫星图像的时间处尽可能精确地估计船只的位置。随后，用估计的位置和船只的主要属性对图像进行标记。例如，作为最低限度，标记包括以下信息：a)船只处于成像传感器的覆盖区内部并且b)船只处于估计的位置处。取决于支持性信息的内容，附加标记可以包括船只的航向、航线、速度、长度、宽度、类型以及这些性质的值的对应不确定性。图1中示出了标记的图像的示意性示例。
结合上文或下文所描述的实施例提及了更多细节和方面。图1所示的实施例可以包括一个或多个可选的附加特征，所述一个或多个可选的附加特征对应于结合提出的概念或者下文(例如，图2至图5)所描述的一个或多个实施例所提及的一个或多个方面。
图2示意性地展示了具有沿船只的AIS轨迹的三角形和黑色三角形102的图像截图，所述黑色三角形表示在获取预期示出船只101的图像的时间处估计的船只位置。
标记后，将图像中的包含船只的估计位置的部分(图2中的黑色三角形102)切出图像(图2中带有实线框的分块)。将此分块作为“良好训练图像”提供到机器学习工具。这意味着预期示出具有标记的性质的船只。类似地，定义并且裁剪此分块的预期不包含船只的周围区域(图2中带有虚线框的分块)。将图像的这些部分作为预期不示出船只的“不良训练图像”呈现给机器学习工具。良好训练图像和不良训练图像的大小可以分别是不同的和/或可变的。进一步，大小可以取决于船只的大小、潜在的客户需求以及与机器学习工具有关的潜在需求。
以此方式，(多个)良好训练图像(图2中的实线框)和(多个)不良训练图像(图2中的虚线框)可以完全自动生成并且可以用于训练深度学习算法。一旦算法经过训练，其就可以检测船只并且自主提取船只的主要属性和对应的不确定性(例如，在雷达和光学图像中)。
结合上文或下文所描述的实施例提及了更多细节和方面。图2所示的实施例可以包括一个或多个可选的附加特征，所述一个或多个可选的附加特征对应于结合提出的概念或者上文(例如，图1)或下文(例如，图3至图5)所描述的一个或多个实施例所提及的一个或多个方面。
图3示意性地展示了具有船舶检测(不可见)和重叠一致的AIS船舶轨迹(黑色多边形)的卫星SAR图像。
为了实现如上文所概述的所描述方法，可以执行4个基本步骤的机制。这4个基本步骤可以使方法高效且有效。
这4个步骤如下：
1.估计位置、属性和不确定性
步骤1包括在支持性信息和允许评估位置估计的方差的参数估计模型的帮助下，估计预期存在于图像中的所有所关注对象在图像获取的时间处的位置。另外，支持性信息(例如，现有的运动学模型)可以用于估计对象在图像获取的时间处的时间相关性质(例如，速度、航线等)(包括估计值的不确定性)。支持性信息还可以用于提取与时间无关的对象属性(例如，长度、宽度、类型)并且估计其不确定性。估计的位置和提取的位置、属性以及不确定性构成了要对图像进行标示的潜在标记。
2.选择标记
步骤2包括选择过程。选择过程是用于基于估计的位置不确定性来决定针对后续的标记程序丢弃哪些估计并且选择哪些估计的自动化机制。选择过程考虑与训练图像有关的要求和边界条件。这确保了生成的训练图像的可配置百分比在预定义的高置信度下(即，在预定义的小错误概率下)具有足够高的质量。这进一步确保了训练程序是成功且高效的。
3.标记
步骤3包括标记步骤。此步骤包括将估计的位置和属性以及其对应的不确定性映射到预期示出对象的图像上。例如，所述步骤中考虑了移动对象的潜在多普勒频移以及用于在图像中显示检测到的对象的几何投影的细节。
4.分块
步骤4包括裁剪各种大小的分块，所述分块用对象的性质来标记或用分块内部不存在所关注对象的信息来标记。裁剪的分块分别构成良好训练图像和不良训练图像。分块算法可以根据所关注对象的估计尺寸以及与要训练的机器学习工具的泛化能力有关的要求自动适配分块大小。
机制/方法的输入数据可以是以下：地理参考图像、图像的获取时间和/或关于预期存在于图像中的所关注对象的一致的支持性信息。为此在图3中展示了示例性场景。此示例性场景可以是合成孔径雷达(SAR)卫星图像的示例，所述SAR卫星图像示出了沿海水域、船舶(未展示)和船舶的重叠的时间一致的AIS轨迹(110，111，112，113，114和115)。
对于存在在图像获取时间处处于成像传感器的视场中的独特AIS轨迹(110，111，112，113，114和115)的那些船只，顺序步进机制概述在图4中。
结合上文或下文所描述的实施例提及了更多细节和方面。图3所示的实施例可以包括一个或多个可选的附加特征，所述一个或多个可选的附加特征对应于结合提出的概念或者上文(例如，图1至图2)或下文(例如，图4至图5)所描述的一个或多个实施例所提及的一个或多个方面。
图4示意性地展示了具有输入、机制和输出的流程图。
如图3所示的情况，在步骤1中处理输入数据，以提供由AIS轨迹表示的所有船只的估计状态向量xi，即，i＝{1,…,6}。状态向量包括在图像获取时间处估计的对象位置和其不确定性。进一步，状态向量可以包括(其分量可以是)时间相关属性和/或时间无关属性(如上文所列出的)以及其对应的不确定性。是否可以估计并且可以估计哪个属性取决于支持性信息的内容。
估计的状态向量在步骤2中输入。在步骤2中，关于与要产生的训练图像的大小和数量有关的要求来评估估计的状态向量。丢弃并从进一步处理中排除未通过此评估的状态向量(即，对应的AIS轨迹)。因此，在步骤3中选择通过此评估的状态向量以进行进一步处理(例如，图4中的x 1,x 3,x 4)。
在步骤3中，针对所有所选状态向量估计在方位角位置方向上的多普勒频移，并且将其添加到图像获取时间处的估计位置。这产生了经校正的状态向量每个经校正的状态向量在其对应的地理位置处映射到图像上，并且状态向量的分量是与预期在图像中看到的处于经校正的状态向量中给出的位置处或附近的对象(在此示例中为船只)相关联的标记。
在步骤4中，使可调整的大小的窗口在用经校正的状态向量标记的图像中的每个地理位置处居中。随后，从原始图像中切出每个窗口，以产生包含一个(或可能还有几个)经校正的状态向量的标记的图像分块。这些分块是“良好训练图像”(图4中的“输出”处左侧的三个图像)，所述良好训练图像预期示出具有标记所给出的属性的对象(这里，在示例中为船只)，所述标记由成像传感器估计或接收。类似地，在图像中的不存在一致的AIS轨迹的那些区域中，分块程序切出未标记有状态向量但标记有“无关注对象”标记的分块(在图4中，在“输出”处标记为“无船舶”)以表明所关注对象预期不存在于此分块内部。这些分块是“不良训练图像”(图4中的“输出”处右侧的五个图像)。
总而言之，这些步骤构成了将输入数据转换为标记的图像分块的自动化机制。这些图像分块进而用作用于训练机器学习工具的输入(学习材料)。因此，机器学习工具可以将所关注对象和其性质与图像中的背景或杂波区分开。
结合上文或下文所描述的实施例提及了更多细节和方面。图4所示的实施例可以包括一个或多个可选的附加特征，所述一个或多个可选的附加特征对应于结合提出的概念或者上文(例如，图1至图3)或下文(例如，图5)所描述的一个或多个实施例所提及的一个或多个方面。
图5示意性地展示了结合数据融合系统的经训练的船舶分类工具的操作阶段的流程图。
本披露内容可以将新的能力添加到现有的数据融合系统，因为经训练的机器学习技术自动提供对识别的所关注对象的“绘图测量结果”，所述测量结果包括检测到的对象的位置和学习到的性质。可以将这些绘图测量结果输入到现有的数据融合工具中，所述现有的数据融合工具将所述绘图测量结果与其他数据源(例如，AIS消息、船只数据库)或传感器测量结果进行组合，以将所有可用数据合并到一个一致的情形图片中。以此方式，可以将成像数据完全嵌入到自动化多源数据融合过程中。进一步，可能可以将图像检测与AIS更新进行实时比较。
结合上文或下文所描述的实施例提及了更多细节和方面。图5所示的实施例可以包括一个或多个可选的附加特征，所述一个或多个可选的附加特征对应于结合提出的概念或者上文(例如，图1至图4)或下文所描述的一个或多个实施例所提及的一个或多个方面。
尽管本文出于说明目的将水面船只作为示例进行了说明，但是如果关于对象存在与对象的图像在空间和时间上重合的支持性信息，则描述的方法和装置不限于船只，而是可以应用于任何类型的所关注对象。其他示例包括例如基于支持性ADS-B(广播式自动相关监视)消息在图像中自动识别飞机。
根据示例，提供了一种用于训练图像的自动生成的方法，以训练机器学习软件来基于关于对象的支持性信息检测和鉴别雷达和光学图像中的所关注对象和其性质。
根据示例，提供了一种程序或换句话说一种操作手册，以使训练图像的生成自动化，以用于随后传授机器学习工具自主地进行图像分析任务。与半自动化或手动方法相比，自动化生成方法有几个优点。自动化方法可以快速生成大量训练图像。自动化方法可以提供可以被调整至不同要求(关于训练图像的大小、数量和质量以及经训练的机器学习工具的泛化能力)的可配置且可重现的程序。进一步，可以针对不同的输入数据重复自动化方法很多次。因此，自动化方法可以生成用于各种应用的训练图像的大型数据库。自动化方法还可以用于需要改进或扩展训练程序的情形中，例如，如果要对经训练的工具的学习到的能力进行泛化或增强，则情况通常就是这样。
此外，图像中的所关注对象的检测和其性质的确定的自动化程度的提高可以减少经处理的图像数据的等待时间并且因此可以加快从图像的获取到图像产品的输送的整个处理周期。在水面船只的情况下，也可以应用自动化方法以将船只与噪音或杂波区分开(例如，恶劣海况、冰结构或幻影船只)并且自动实时地检测伪造其AIS报告的船只或根本没有通过AIS来报告的船只(深色船只)。
尽管上文已参考图像的分块描述了图3至图5，但是也可以将图3至图5的披露内容应用于没有分块的图像或者应用于分块和原始(例如，未切割的)图像(没有分块)的组合。
在此方面，图6示意性地展示了雷达图像，所述雷达图像示出了检测到的第一船只101a(作为所关注对象的示例)和其估计位置102a和检测到的第二船只101b(再次作为所关注对象的示例)和其估计位置102b的雷达图像。标记表明在获取图像的时间处船只的性质。
如上文所描述的，考虑到雷达或光学图像、成像传感器的覆盖区以及图像获取时间，本披露内容旨在预测在所述图像中检测到哪些对象、在图像上的哪里检测到所述对象以及在检测到所述对象的时间处(即，在获取图像的时间处)所述对象的主要性质是什么。为此，本披露内容利用关于所关注对象的现有支持性信息(例如，要被检测到并在图像中识别的船只)。此信息可以包括由船只传输的AIS消息和从船只数据库中取得的附加信息以及开放源信息。使用组合的船只信息在获取卫星图像的时间处尽可能精确地估计船只的位置。随后，用估计的位置和船只的主要属性对图像进行标记。例如，作为最低限度，标记包括以下信息：a)船只处于成像传感器的覆盖区内部并且b)船只处于估计的位置处。取决于支持性信息的内容，附加标记可以包括船只的航向、航线、速度、长度、宽度、类型以及这些性质的值的对应不确定性。具有两个这种船只101a、101b的标记的图像的示意性示例在图6中示出。
与已关于图2所描述的内容形成对比，在标记之后，没有从图像中切出图像中的包含船只的相应估计位置的部分(图6中的黑色三角形102a、102b)。换句话说，没有生成分块。相反，将图像提供到机器学习工具。预期图像示出具有标记的性质的船只101a、101b，如图6中通过示例的方式所示。进一步，图像的预期不包含船只的周围区域也可以是图像的一部分并且作为图像的一部分提供到机器学习工具。
即，根据关于图6所描述的解决方案，使用图6所示的整个图像。根据第一种可能的实现，将整个未切割图像用于标记。即，用所关注对象(例如，船只101a、101b)的相应性质(包括其位置)来标记所关注对象。在图6中，通过示例的方式示出了两个船只101a、101b的前述内容。
根据第二种可能的实现，裁剪图像的某些部分(如边缘)，并且进一步使用经裁剪的图像。经裁剪的图像仍然包含所有基本信息(如船只101a、101b)。在仅图像的一小部分示出重要信息(如船只)的情形中，第二种可能的实现可以是有利的。例如，在图像上仅示出一个或两个船只101a、101b的情况下，可以裁剪图像的边缘，而经裁剪的图像仍将示出一个或两个船只101a、101b。边缘仅包含非必要或不重要的信息并且因此可以在不丢失重要信息的情况下进行裁剪。经剪裁的图像然后将不完全对应于原始图像，但可以对应于其基本部分或大部分。
图7示意性地展示了示出检测到的第一船只101a和其估计位置102a以及检测到的第二船只101b和其估计位置102b的雷达图像。标记表明在获取图像的时间处船只的性质。
图7中所示的情形可以被视为已经一方面在图2(即，分块)中并且另一方面在图6(无分块)中描述的内容的组合。即，图7的上部图像示出了图6的图像，即，原始(卫星)图像或经裁剪的图像(具有经裁剪的边缘的原始图像)。图7中的下部三个图像展示了图像中的可以被视为分块的部分。分块已从原始图像中切出。这些分块可以包含重要信息(如左分块)或背景信息(如右侧的两个分块)。用注释/标记示出了左分块中的所关注对象。如关于图2至图5所描述的，此分块可以被认为是“良好训练图像”。右侧的两个分块仅示出背景信息，但也可以包含注释，如在分块中未示出船只的注释，例如如图7所示的“无船舶”。如关于图2至图5所描述的，这些分块可以被认为是“不良训练图像”。
所提及和描述的方面和特征与先前详述的示例和附图中的一个或多个示例或附图一起也可以与其他示例中的一个或多个示例进行组合，以便代替另一个示例的类似特征或另外地将特征引入到另一个示例。
示例可以进一步是或涉及计算机程序，所述计算机程序具有用于当计算机程序在计算机或处理器上执行时执行以上方法中的一种或多种方法的程序代码。各种上文描述的方法的步骤、操作或过程可以由编程的计算机或处理器执行。示例还可以覆盖如数字数据存储介质等程序存储设备，所述程序存储设备是机器、处理器或计算机可读的并且对指令的机器可执行程序、处理器可执行程序或计算机可执行程序进行编码。指令执行或使执行上文描述的方法的一些或全部动作。程序存储设备可以包括或者可以是例如数字存储器、如磁盘和磁带等磁存储介质、硬盘驱动器或光学可读数字数据存储介质。另外的示例还可以涵盖被编程成执行上文描述的方法的动作的计算机、处理器或控制单元或者被编程成执行上文描述的方法的动作的(现场)可编程逻辑阵列((F)PLA)或(现场)可编程门阵列((F)PGA)。
说明书和附图仅展示了本披露内容的原理。此外，本文所引用的所有示例原则上明确旨在仅用于教学目的以帮助读者理解本披露内容的原理和(多个)发明人贡献的概念从而促进本领域。本文中引用本披露内容的原理、方面和示例以及其具体示例的所有陈述旨在涵盖其等同物。
框图可以例如展示实施本披露内容的原理的高级电路图。类似地，流程图(flowchart)、流程图(flow diagram)、状态转换图、伪代码等可以表示各种过程、操作或步骤，所述过程、操作或步骤可以例如基本上在计算机可读介质中表示并且因此由计算机或处理器执行(无论是否明确示出了这种计算机或处理器)。本说明书或权利要求书中披露的方法可以由具有用于执行这些方法的相应动作中的每一个的装置的设备来实施。
应当理解，除非例如出于技术原因而明确地或隐含地指出，否则本说明书或权利要求书中披露的多个动作、过程、操作、步骤或功能的披露内容可以不被解释为在特定顺序内。因此，除非多个动作或功能由于技术原因而不可互换，否则这种动作或功能的披露内容将不会将这些动作或功能限于特定的顺序。此外，在一些示例中，单个动作、功能、过程、操作或步骤分别可以包括或可以分解为多个子动作、子功能、子过程、子操作或子步骤。除非明确排除，否则这种子动作可以包括在内并且是此单个动作的披露内容的一部分。
此外，据此将以下权利要求结合到详细描述中，其中每个权利要求可以独自代表单独的示例。尽管每个权利要求可以独自代表单独的示例，但应注意的是，尽管从属权利要求在权利要求中指的是与一个或多个其他权利要求的特定组合，但其他示例也可以包括从属权利要求与每个其他从属权利要求或独立权利要求的主题的组合。除非声明不旨在特定组合，否则这种组合在本文被明确提出。此外，旨在将权利要求的特征也包括到任何其他独立权利要求中，即使此权利要求没有直接从属于独立权利要求也是如此。
本披露内容不以任何方式限于上文描述的实施例。相反，存在许多可能性对其进行修改，这在不脱离如所附权利要求中所限定的本披露内容的基本思想的情况下对于普通技术人员而言是显而易见的。

Claims (11)

1.一种用于自动生成训练图像的方法，所述方法包括：
接收关于对象的信息，其中，所述信息至少在特定记录时间有效，所述信息由所述对象传输，并且所述信息包括关于所述对象的时间相关信息；
接收区域的图像，其中，在所述特定记录时间对所述区域进行成像；
基于所述信息估计所述对象在所述特定记录时间处的相应位置；
从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置，其中，所述选择标准包括所接收的所述区域的图像中相应对象在所述特定记录时间处的估计位置的错误概率；
在所接收的图像上标记所接收的图像的背景的至少一个特性，并将所述对象的多普勒频移标记为具有与每个对象相关联的标记的状态向量；
用相应对象的估计位置校准所接收的所述区域的图像；
通过将成像区域分为第一多个图像分块和第二多个图像分块来生成训练图像，其中，所述第一多个图像分块中的每一个不同于所述第二多个图像分块中的每一个，其中，所述第一多个图像分块中的每一个对所选位置中的相应一个或几个所选位置进行成像，并且其中，根据包含相应对象的估计位置的所述第一多个图像分块中的每一个，从成像区域中分离所述第一多个图像分块中的每一个；以及
提供所述训练图像，其中，所述训练图像包括所述第一多个图像分块和所述第二多个图像分块，生成的训练图像被自动提供作为机器学习工具的后续训练的输入，所述机器学习工具用于自主地检测和鉴别图像中的所关注对象。
2.根据权利要求1所述的方法，其中，要估计的所述对象的所述位置在所述特定记录时间处于所述区域内。
3.根据权利要求1或2所述的方法，其中，所述第二多个图像分块中的图像分块彼此不同。
4.根据权利要求1或2所述的方法，其中，所述第一多个图像分块中的图像分块彼此不同。
5.根据权利要求1或2所述的方法，其中，所述信息包括关于所述对象的时间无关信息。
6.根据权利要求1或2所述的方法，其中，所述信息包括关于地理坐标的信息，并且其中，所述方法进一步包括根据关于所述地理坐标的所述信息对所述成像区域进行地理参考。
7.根据权利要求1或2所述的方法，其中，所述第二多个图像分块中的图像分块对所述成像区域中的不包含所关注对象的部分进行成像。
8.一种作为输入用于训练图像分析系统的机器学习的训练图像产品，所述训练图像产品包括通过根据权利要求1至7中任一项所述的方法提供的所述训练图像。
9.根据权利要求8所述的训练图像产品，其中，所述训练图像被分成第一多个图像分块和第二多个图像分块，并且其中，所述第一多个图像分块中的每一个包括相应状态向量，并且其中，所述相应状态向量的分量与要存在于相应图像分块中的对象相关联。
10.根据权利要求9所述的训练图像产品，其中，所述第二多个图像分块中的每一个用相应图像分块中不存在对象的信息来标记。
11.一种用于自动生成训练图像的设备，所述设备包括：
第一接收单元，所述第一接收单元被适配成接收关于对象的信息，其中，所述信息至少在特定记录时间有效，所述信息由所述对象传输，并且所述信息包括关于所述对象的时间相关信息；
第二接收单元，所述第二接收单元被适配成接收区域的图像，其中，在所述特定记录时间对所述区域进行成像；
处理单元，所述处理单元被适配成基于所述信息估计所述对象在所述特定记录时间处的相应位置，其中，所述处理单元被进一步适配成从估计的相应位置中选择相应对象的满足预定义选择标准的估计位置，所述选择标准包括所接收的所述区域的图像中相应对象在所述特定记录时间处的估计位置的错误概率；
其中，所述处理单元被进一步适配成在所接收的图像上标记所接收的图像的背景的至少一个特性，并将所述对象的多普勒频移标记为具有与每个对象相关联的标记的状态向量；用相应对象的估计位置校准所接收的所述区域的图像；
并且其中，所述处理单元被进一步适配成通过将成像区域分为第一多个图像分块和第二多个图像分块来生成训练图像，其中，所述第一多个图像分块中的每一个不同于所述第二多个图像分块中的每一个，其中，所述第一多个图像分块中的每一个对所选位置中的相应一个或几个所选位置进行成像，并且其中，根据包含相应对象的估计位置的所述第一多个图像分块中的每一个，从成像区域中分离所述第一多个图像分块中的每一个；以及
传输单元，所述传输单元被适配成提供所述训练图像，其中，所述训练图像包括所述第一多个图像分块和所述第二多个图像分块，生成的训练图像被自动提供作为机器学习工具的后续训练的输入，所述机器学习工具用于自主地检测和鉴别图像中的所关注对象。
CN201980068274.5A 2018-10-30 2019-10-30 训练图像的自动生成 Active CN113039552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18203504.8 2018-10-30
EP18203504.8A EP3647994B1 (en) 2018-10-30 2018-10-30 Automated generation of training images
PCT/EP2019/079629 WO2020089285A1 (en) 2018-10-30 2019-10-30 Automated generation of training images

Publications (2)

Publication Number Publication Date
CN113039552A CN113039552A (zh) 2021-06-25
CN113039552B true CN113039552B (zh) 2024-08-06

Family

ID=64048822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980068274.5A Active CN113039552B (zh) 2018-10-30 2019-10-30 训练图像的自动生成

Country Status (4)

Country Link
US (1) US12062226B2 (zh)
EP (1) EP3647994B1 (zh)
CN (1) CN113039552B (zh)
WO (1) WO2020089285A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501119B2 (en) * 2020-02-24 2022-11-15 Electronics And Telecommunications Research Institute Apparatus and method for identifying warship
US11823364B1 (en) 2023-01-10 2023-11-21 Ecopia Tech Corporation Machine learning for artificial parcel data generation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411969B1 (en) * 2010-08-06 2013-04-02 The United States Of America As Represented By The Secretary Of The Navy Method for fusing overhead imagery with automatic vessel reporting systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2610636A1 (en) * 2011-12-29 2013-07-03 Windward Ltd. Providing near real-time maritime insight from satellite imagery and extrinsic data
CN107835997B (zh) * 2015-08-06 2021-07-30 埃森哲环球服务有限公司 使用计算机视觉的用于电力线走廊监测的植被管理
US9996771B2 (en) * 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US10372976B2 (en) * 2016-05-05 2019-08-06 Brunswick Corporation Person detection in a marine environment
CN106816038B (zh) * 2017-03-17 2019-06-11 武汉理工大学 一种内河水域异常行为船舶自动识别系统及方法
CN108254741B (zh) 2018-01-16 2021-02-09 中国人民解放军海军航空大学 基于循环神经网络的目标航迹预测方法
CN108416361A (zh) * 2018-01-18 2018-08-17 上海鹰觉科技有限公司 一种基于海域监视的信息融合系统以及方法
CN108460341B (zh) * 2018-02-05 2020-04-07 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411969B1 (en) * 2010-08-06 2013-04-02 The United States Of America As Represented By The Secretary Of The Navy Method for fusing overhead imagery with automatic vessel reporting systems

Also Published As

Publication number Publication date
CN113039552A (zh) 2021-06-25
US12062226B2 (en) 2024-08-13
US20210397893A1 (en) 2021-12-23
WO2020089285A1 (en) 2020-05-07
EP3647994A1 (en) 2020-05-06
EP3647994B1 (en) 2024-01-17
EP3647994A8 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
JP6676728B2 (ja) 極地海域における海氷領域の探知方法およびそのための探知システム
JP6319785B2 (ja) 異常潮位変動検知装置、異常潮位変動検知方法、及び異常潮位変動検知プログラム
WO2017071160A1 (zh) 一种大幅面遥感图像海陆分割的方法及系统
CN114926726B (zh) 基于多任务网络的无人船感知方法及相关设备
Silva et al. Computer-based identification and tracking of Antarctic icebergs in SAR images
Trinder et al. Aerial images and LiDAR data fusion for disaster change detection
CN109389062A (zh) 利用高分辨率星载sar图像提取湖泊水陆分割线的方法
Bamdadinejad et al. Shoreline extraction using image processing of satellite imageries
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
Zhang et al. Sea Ice Image Processing with MATLAB®
CN113039552B (zh) 训练图像的自动生成
Cui et al. Real-time localization and bimodal point pattern analysis of palms using uav imagery
Solberg et al. Algorithms for oil spill detection in Radarsat and ENVISAT SAR images
CN104077592B (zh) 高分辨率遥感影像航标自动提取方法
Chen et al. Segmenting oil spills from blurry images based on alternating direction method of multipliers
JP7056751B2 (ja) 船舶検出システム、方法およびプログラム
JP7781752B2 (ja) 学習用データ収集システム、学習用データ収集方法、データ収集装置、プログラム、学習済みモデルの生成方法、学習装置、及び推定装置
Lubczonek Analysis of accuracy of surveillance radar image overlay by using georeferencing method
Geng et al. A vision-based ship speed measurement method using deep learning
Tawfeeq et al. A Using the Canny Method with Deep Learning for Detect and Predict River Water Level
Zhang Image processing for ice parameter identification in ice management
CN119850665B (zh) 空间目标边缘检测方法、装置、设备和介质
Mutalikdesai et al. Machine learning approach for ship detection using remotely sensed images
Sim et al. Enhancing the function of the aids to navigation by practical usage of the deep learning algorithm
CN117392347B (zh) 一种地图构建方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant