CN112292695A - 用于产生测试数据集的方法、用于测试的方法、用于运行系统的方法、设备、控制系统、计算机程序产品、计算机可读介质、产生和应用 - Google Patents
用于产生测试数据集的方法、用于测试的方法、用于运行系统的方法、设备、控制系统、计算机程序产品、计算机可读介质、产生和应用 Download PDFInfo
- Publication number
- CN112292695A CN112292695A CN201980041287.3A CN201980041287A CN112292695A CN 112292695 A CN112292695 A CN 112292695A CN 201980041287 A CN201980041287 A CN 201980041287A CN 112292695 A CN112292695 A CN 112292695A
- Authority
- CN
- China
- Prior art keywords
- range
- motion
- data set
- image
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000004590 computer program Methods 0.000 title claims abstract description 6
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000004936 stimulating effect Effects 0.000 abstract description 2
- 230000005284 excitation Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明涉及一种用于产生用于算法(1)的测试数据集(12)的方法，包括以下步骤：1.1提供训练过的人工智能(8)，1.2尤其利用随机信号(11)和/或对于视觉概念利用准线性特性来激励人工智能(8)，和1.3人工智能(8)产生至少一个测试数据集(14)，该测试数据集包括图像数据(15)和配属于图像数据(1g)的活动范围(16)和/或传感器数据和配属于传感器数据的活动范围。此外，本发明涉及一种运行用于对执行上述方法的设备和装置进行自动化图像相关控制的系统的方法。最后，本发明涉及一种用于装置的控制系统，该控制系统包括这种设备，以及涉及一种计算机程序产品、一种计算机可读介质、数据载体的产生和人工智能(8)的应用。
Description
技术领域
本发明涉及一种用于产生用于算法的测试数据集的方法，以及一种用于测试这种算法的方法。此外，本发明涉及一种用于运行用于自动化地图像相关地控制装置的系统的方法和一种用于执行上述方法的设备。最后，本发明涉及：一种用于装置的控制系统，该控制系统包括这种设备；一种计算机程序产品；一种计算机可读介质、数据载体的产生和人工智能的应用。
背景技术
在控制软件开发的领域中，软件的测试是开发耗费的显著部分。这可能归因于质量测试的复杂的设计并且错误的检测难而且不寻常。尤其适用的是：待测试的算法越复杂，对其进行测试就越复杂。首先，也难于进行“全面”的测试，即达到所要求的测试覆盖度。
用于图像处理的算法属于计算机系统中最复杂的算法之一。申请人已知：在例如高级行驶辅助(英文Advanced Driver Assistance，ADAS)领域中或自主行驶控制的领域中使用的算法借助于测试场景进行经受检查，该测试场景根据记录的测试数据集产生，或者在测试场或真实环境中进行“(现实生活测试)Real-Life-Tests”。
能够用于在真实的视频序列中的预先限定的“最佳情况动作”进行检查，该最佳情况动作被事先记录并且利用高度的人工干预来产生。每个新的测试情况都被手动地产生并且在测试场景中不允许任何随机性的空间。
已知方法具有共同点：测试数据和预期行为均通过与人类参与者紧密的互动来记录，并且伴随的是难以集成到自动化的测试设定中。测试的扩展复杂且困难。
申请人还已知：在一些制造商中，测试阶段甚至扩展到产品交付之后的时间段，并且在监控的自主行驶过程期间收集测试数据，以便基于该测试数据改进算法。
发明内容
基于上述内容，本发明的目的是：提供用于测试复杂的图像处理算法的改进的可行性。
该目的通过一种用于为算法产生至少一个测试数据集的方法来实现，该算法获得图像数据作为输入并且输出与图像数据相关的活动范围作为输出，和/或该算法获得传感器数据作为输入并且输出与传感器数据相关的活动范围作为输出，方法包括以下步骤：
1.1提供训练过的人工智能，
1.2激励人工智能，并且
1.3激励的人工智能产生至少一个测试数据集，该测试数据集包括图像数据和配属于图像数据的活动范围和/或传感器数据和配属于传感器数据的活动范围。
在步骤1.1中优选地提供人工智能，该人工智能包括长短期记忆网络，或者通过该长短期记忆网络提供该人工智能。此外，优选地，在步骤1.1中提供人工智能，该人工智能包括至少一个生成网络和/或至少一个判别网络，或者通过该生成网络和/或判别网络提供人工智能。然后，特别优选地，在步骤1.2中，激励人工智能的至少一个生成网络，并且优选地在步骤1.3中，人工智能的至少一个被激励的生成网络输出测试数据集。生成的对抗网络、特别是至少一个生成网络和/或至少一个判别网络方便地是人工神经网络。
要注意的是：替代于术语“网络”，原则上也能够同义地使用术语“系统”或“模型”或“网”。
优选地，在步骤1.1中提供训练过的人工智能，该人工智能利用学习数据集被调整。特别优选地利用如下学习数据集，该学习数据集包括借助于至少一个图像检测装置记录的真实的图像数据、配属于真实的图像数据的活动范围和/或借助于至少一个传感器装置记录的真实的传感器数据和配属于真实的传感器数据的活动范围。
特别优选地，为了获得在步骤1.1中提供的训练过的人工智能执行如下步骤：
2.1提供学习数据集，该学习数据集包括借助于至少一个图像检测装置记录的真实的图像数据、配属于真实的图像数据的活动范围和/或借助于至少一个传感器装置记录的真实的传感器数据和配属于真实的传感器数据的活动范围，
2.2提供人工智能，并且
2.3利用所提供的学习数据集调整人工智能。
对于在步骤1.1中和/或对于在步骤2.2中提供的人工智能还优选适用的是：该人工智能包括对抗网络、尤其生成对抗网络，或者由对抗网络提供。
本发明基于如下考量：使用人工智能，以便从初始数据集中生成图像数据和/或传感器数据以及配属的活动范围，利用其算法尤其能够从图像相关的、尤其图像序列相关的或传感器值相关的控制的范围中检查人工智能性能或其表现。在此，根据本发明，得到训练过的人工智能。
优选地，利用学习数据集、尤其通过观察或记录真实情况并通过人类交互获得的学习数据集调整、即训练人工智能，或者优选地，利用尤其通过观察或记录真实情况并且通过人互动获得的学习数据集来调整/训练人工智能，并且随后为产生测试数据准备就绪。
借助于训练过的人工智能产生的数据集表示“合成”获得的测试数据，该测试数据就其类型和适用性而言尤其等同于所提供的学习数据集并且接近现实或与真实数据不能区分。人工智能方法尤其用于优选通过生成对抗网络产生图像序列和匹配于此的动作。
特别地，尤其处理例如以图像序列形式的高维度数据和以活动范围或行动通道(英文：action corridors)形式的低维度数据，以便训练测试情况发生器，用于将特别是图像相关的、或传感器相关的控制算法的性能或行为分类，其中，高维度数据和低维度数据代表尤其可靠的控制参数。优选地，调整基于图像数据和/或传感器数据，图像数据和/或传感器数据作为矢量数列补充了活动范围。
用于其确定测试数据集的算法和作为输入获得的图像数据和作为输出而输出的与图像数据相关的活动范围特别优选地是控制算法。该控制算法尤其能够是用于控制装置(例如行驶工具或机器人)的算法。
方便地，活动范围分别包括至少一个允许的行动，优选地分别包括多个允许的行动或者由此提供。该活动范围尤其分别为具有行动的(目标)范围，例如用于或根据配属的图像数据或传感器数据是允许的控制过程。
在优选的设计方案中，活动范围代表允许的控制参数。它们代表或包括用于自动化地图像支持地控制装置的系统的特别优选的允许的控制参数或者由这些参数形成。
活动范围例如包括至少一个控制参数或控制值，或者例如由至少一个控制参数或控制值形成或限定。至少一个控制参数或控制值能够是根据其配属的图像数据或传感器数据而允许的(控制)行动。其优选地是用于传感器/图像相关的控制的装置的(多个)控制值或控制参数。
通常，对于能够通过图像数据和/或传感器数据检测到的给定的初始情况，不仅控制参数或控制值是可行的/允许的，而且存在配属的目标范围，该目标范围包括多个行动或代表该行动的控制值或参数。活动范围能够相应地通过多个控制参数或控制值来限定或形成，该控制参数或控制值处于目标范围中或展开该目标范围。
活动范围特别地代表参数或值、优选代表控制参数或控制值，该参数或值根据其分别配属的图像数据或传感器数据是允许的。活动范围能够通过多个参数或值、特别是控制参数或控制值/通过参数或值、尤其控制参数或控制值的集合来限定，对此引起：尤其利用经由算法控制的装置(例如行驶工具或机器人)在该(或允许的)活动范围中移动。
通过对图像数据和/或传感器数据的补充活动范围获得具有测试信息的注释的数据集，该测试信息对于产生其他测试场景是必需的。优选地，通过由生成网络交替地生成并且通过对抗性、尤其判别网络(对抗性地)检查生成物、即人工图像数据和/或传感器数据和配属的活动范围，进行各个网络、尤其生成且对抗性的、优选判别网络的调整。
在此，测试数据生成的本发明所基于的方案优选地基于Ian Goodfellow等人的作品，其发表于2014年1月10日的文章“Generative Adversarial Nets生成对抗网络”(GANs)，ArXiv：1406.2661[statML]661v1的作品；以及Alec Redfort等人的作品，摘自2016年1月7日发表的文章“Unsupervised Representation Learning With DeepConvolutional Generative Adversarial Networks借助深度卷积生成对抗网络进行无监督表示学习”，ArXiv：1511.06434V2[cs.LG]；特别是Sepp Hochreiter和JürgenSchmidhuber的作品，摘自文章“Long Short Term Memory长短期记忆”(LSTM)NeuralComputation 9(8)：1735—1780，1997。
训练过的人工智能被激励。通过如下方式能够进行激励：即将输入、例如至少一个输入文件输送给人工智能。作为对激励、特别是对输入的输送的反应，人工智能生成输出。
原则上能够以不同的方式进行训练过的人工智能的激励，例如利用至少一个随机信号作为输入来进行。随机信号例如能够通过图像或图像文件提供，该图像/图像文件仅显示噪声或包括噪声。
激励也能够利用至少一个激励图像、优选利用两个或多个激励图像或激励图像序列和/或利用至少一个激励视频来进行，激励视频优选地显示具体的内容或场景或情况，例如行驶情况或行驶场景。
激励图像(或其序列)和/或激励视频的应用相对于随机信号的应用通常提供更高的控制可行性，其中，该激励图像和/或激励视频尤其显示真实内容。
特别地，使用GAN方案，以便优选地根据通过随机信号(英文：random signal)的激励或根据用于视觉设计的准线性特性的应用从人工智能应用中生成数据集，其中，该非线性特性在前述文献由Alec Redfort等人2016年1月7日发表的文章“UnsupervisedRepresentation Learning With Deep Convolutional Generative AdversarialNetworks(借助深度卷积生成对抗网络进行无监督表示学习)”、尤其在该文献第10页的图7中得出。生成网络或生成算法在此与通常的方法相反，这意味着：代替生成网络或算法，允许识别图案并对其分类，如果过程反过来并且通过“分类-输入”、如随机信号的“分类输入”则激励系统并且生成新的“图案”(英文Pattern)。Goodfellow和Redford在其2014年和2016年的作品中指出：新图像的产生几乎是矢量空间中的线性运算。这意味着：能够更简单地调整算法以便生成新的序列。
尤其对于为了激励而输送给人工智能用于激励的至少一个图像和/或视频(或相应文件)的情况，
人工智能输送用于激励的至少一个图像和/或视频(或相应文件)以进行激励的情况，人工智能能够利用用于视觉设计的准线性特性或通过用于视觉设计的准线性特性生成合成图像或图像序列，其中，该图像和/或视频示出(真实的)内容或场景或情况。
在此，将线性尤其应理解为叠加原理(图像_A+参数*图像_B＝图像_C)。将“准”尤其应理解为：从存在的单独图像中生成新的图像或激励视频(函数_a(图像_A)+参数*函数_b(图像_B)＝图像_C，其中，函数_a和函数_b是非线性函数)。
纯示例性地提出：在考虑视觉设计的准线性特性的情况下，从显示在良好天气中的街道的图像和显示下雨的图像中获得(合成的、生成的)图像，该图像显示出具有雨或在雨中的街道。如果给人工智能输送例如具有良好天气下的街道的图像和具有雨的图像的激励图像，则能够获得(具有配属的活动范围的)合成图像，该合成图像显示雨中的街道。因此，从存在的图像中还能够得出新的场景，该场景在存在的图像中最初未被示出。要强调的是：需纯示例性地理解街道和雨的组合，并且显然也能够给人工智能输送其他的场景或情况作为激励图像，并且自然也能够输送多于两个的图像。
要注意的是：上述文章“Unsupervised Representation Learning With DeepConvolutional Generative Adversarial Networks借助深度卷积生成对抗网络进行无监督表示学习”的原理在图7中示例性地根据具有脸部的图像示出。
激励图像和/或激励视频能够是例如利用相机记录的图像或视频，并显示真实场景或情况，例如真实行驶场景或行驶情况。但是，也不排除使用替代地或附加地构造的或合成的图像和/或视频来用于激励人工智能。
训练过的(多个)网络、(多个)系统或(多个)模型能够用于产生新数据。通过激励尤其人工智能的生成网络，能够利用训练过的规则来产生新的图像数据和/或传感器数据以及配属的活动范围。
特别地，通过GANs(生成对抗网络)的特性，通过简单的算术运算能够影响生成物。例如也能够获得：大道-树木＝简单街道，或者直行街道+曲线＝弯道。
特别优选地，代替典型的卷积网络，将LSTM网络、特别是卷积LSTM网络用于一个或多个生成网络和用于一个或多个对抗网络。使用LSTM网络的优点主要是：获得(图像数据或传感器数据和配属的活动范围的)时间相关的序列，并且通过LSTM避免了噪声影响(非物理假象)。尤其应将LSTM网络理解为如下网络，利用该网络考虑过去的状态。LSTM是这种类型的网络的特殊化。因此，还能够对时间相关性进行共同建模，该时间相关性尤其需要图像序列和活动范围或行动通道。能够在本发明的范畴中使用的LSTM网络例如在SeppHochreiter和JürgenSchmidhuber的1997年的文章“Long Short Term Memory长短期记忆”(LSTM)Neural Computation 9(8)：1735-1780中被描述。
该方法被扩展并且允许卷积LSTM网络迅速收集复现的先前状态，以便训练尤其包括GAN系统后通过其提供的人工智能，即获得图像数据、特别是图像序列和/或传感器数据、以及配属的活动范围。这允许对测试场景的动态行为进行建模。
根据本发明的处理方式提供多种优点。一方面，能够显著地减少在测试复杂算法时人类交互或人为干预的范围。因为能够容易地提供非常大量的测试数据，因此能够显著地提高复杂算法的测试覆盖度(英文：test coverage(测试覆盖))。
因为能够特别广泛和深入地进行测试，所以能够获得特别可靠工作的算法，这对于图像支持的控制的领域(例如其可能在先进行驶辅助或自主驶的范畴中进行)表现出显著的优点或者是强制必须的。结果，能够显著地提高这种系统的质量和可靠性，并且这具有非常可管理的耗费。另一优点在于：根据本发明，仅在一个预处理步骤中产生测试装甲和测试向量。
在一个优选的实施方式中，产生用于算法的至少一个测试数据集，该算法获得图像序列作为输入并且输出与图像序列相关的活动范围作为输出，尤其针对用于自主行驶工具控制的系统或优选的先进行驶辅助系统的算法，其中，尤其在步骤2.1中，提供学习数据集，该学习数据集提供借助于至少一个图像检测装置记录的真实的图像数据和配属于该序列的图像的活动范围，该活动范围尤其代表用于装置的自动化地图像支持地控制的系统的允许的控制参数，并且，在步骤1.3中，训练过的人工智能、尤该人工智能的至少一个生成网络产生至少一个测试数据集，该测试数据集包括新的图像序列和配属于新的图像序列的活动范围。
要注意的是：根据本发明的处理方式尤其适合于先进行驶辅助以及自主行驶领域，因为在该领域中需要根据图像序列、例如视频输出控制命令，然而该控制命令完全不限制于这两个实例。更确切地说，也能够针对来自其他范围的算法产生测试数据集，例如针对在图像支持的自动化的机器人控制或自动化的(例如在传送带处的)分拣过程的范畴中使用的算法。针对非图像支持的、而是根据传感器数据的控制的算法也能够以根据本发明的方式测试。
优选地，原始的、真实的图像数据、特别是图像序列和/或传感器数据和配属的活动范围被用作学习数据集，以便调整人工智能、特别是GAN系统。
相应地，优选首先检测至少一个图像数据集、特别是图像序列、和/或至少一个传感器数据集，这能够借助于众所周知的图像检测装置(如一个或多个相机或传感器装置)实现。例如，在行驶工具行驶期间或机器人工作期间，能够使用设置在行驶工具中或机器人处的相机来记录。所获得的图像序列或所获得的视频于是特别是测试矢量。求出配属于真实图像数据或传感器数据的活动范围，并且将图像数据或传感器数据和活动范围彼此关联，并获得测试数据集。替代于首先以该方式创建真实的测试数据集，只要有适合的测试数据集可用，也能够采用现有的测试数据集。
在下一步骤中，人工智能、特别是其生成网络优选利用真实的测试数据来训练并且随后例如能够利用一个或多个随机信号来激励，以便生成新的图像数据、特别是图像序列和/或传感器数据和配属的活动范围。
然后，(或者除了学习数据集之外)能够将新获得的合成测试数据输送给待测试的算法，以便检查该算法。
尤其对于为先进行驶辅助系统的算法或为用于自主行驶工具控制的系统产生至少一个测试数据集的情况，在另外优选的设计方案中提出：为了训练提供给人工智能的学习数据集包括图像序列，该图像序列包括行驶情况的图像，和/或该图像序列对于每个图像包括行驶轨迹并且在优选的设计方案中包括配属于相应的行驶轨迹的目标通道作为配属的活动范围，该目标通道限定围绕行驶轨迹的目标范围。
此外，在改进方案中，在步骤1.3中产生至少一个测试数据集，该测试数据集包括图像序列，该图像序列包括行驶情况的图像，和/或该图像序列对于每个图像包括行驶轨迹并且尤其配属于相应的行驶轨迹的目标通道作为配属的活动范围，其中，该目标通道限定围绕行驶轨迹的目标范围。
本发明的另一主题是用于测试算法的方法，包括以下步骤：
9.1提供待测试的算法，该算法获得图像数据作为输入并且输出与图像数据相关的活动范围作为输出和/或该算法获得传感器数据作为输入并且输出与传感器数据相关的活动范围作为输出，
9.2执行根据前述权利要求中任一项的方法，以便获得至少一个测试数据集，该测试数据集具有图像数据和配属于图像数据的活动范围和/或具有传感器数据和配属于传感器数据的活动范围，
9.3提供至少一个测试数据集，
9.4将至少一个测试数据集的图像数据和/或传感器数据输送给待测试的算法，
9.5实施算法并且输出活动范围作为输出，
9.6将由算法作为输出来输出的活动范围与至少一个测试数据集的活动范围比较，
9.7从比较的结果中推断出测试的算法的质量。
在优选的设计方案中，在步骤9.1中，提供先进行驶辅助系统的算法，或者针对用于自主行驶工具控制的系统的算法作为待测试的算法。
根据本发明的用于测试算法的方法的一个实施方式的特征在于：在执行步骤9.1至9.7之后，重新执行根据本发明的用于产生测试数据集的方法的步骤1.2和1.3，以便产生至少一个另外的测试数据集，该另外的测试数据集与之前产生的测试数据集不同，并且提供至少一个另外的测试数据集并且重复步骤9.4至9.7，尤其以便测试算法的其他方面。
该处理方式已经被证实为是特别有利的。通常一次或多次重复生成步骤尤其可行的是：已知反复检查待测试的算法的新的且另外的方面。
本发明的另一主题是一种用于运行用于自动化地控制装置(特别是行驶工具或机器人)的系统的方法，其中，系统包括至少一个图像检测装置(特别是相机)和/或至少一个传感器装置以及评估和控制单元和用于控制装置的构件，其中，在评估和控制单元中存放或能够存放算法，该算法获得图像数据作为输入并且输出与图像数据相关的活动范围作为输出和/或该算法获得传感器数据作为输入并且输出与传感器数据相关的活动范围作为输出，该活动范围尤其代表允许的控制参数，其中，算法在执行根据本发明的用于测试算法的方法的情况下被测试，并且对于测试得出算法功能不足够的情况下，以预设的方式适配算法，并且利用算法控制装置
该系统能够例如是用于自主行驶工具控制或针对在行驶工具(例如载客汽车)中使用的先进行驶辅助的系统。
如果基于利用至少一个以根据本发明的方式产生的测试数据集、尤其在执行根据本发明的用于测试算法的方法的情况下检查并且在需要时适配的算法控制装置(例如行驶工具或机器人)，则能够尤其可靠地进行控制并且显著地提高自动化控制的安全性。
在优选的实施方式中，用于自动化地、尤其图像和/或传感器相关地控制装置的系统的运行的方法的特征在于：系统包括至少一个图像检测装置并且借助于系统的至少一个图像检测装置检测图像的序列，将活动范围与序列的图像相关联，并且尤其在步骤2.1中，提供图像序列与相关联的活动范围作为学习数据集用于训练人工智能。替代地或附加地，能够提出：系统包括至少一个传感器装置并且借助于系统的至少一个传感器装置检测传感器数据，将活动范围与传感器数据相关联，并且尤其在步骤2.1中，提供传感器数据与相关联的活动范围作为学习数据集用于训练人工智能。步骤2.1尤其为用于产生测试数据集的根据本发明的方法的第一步骤，该方法在根据本发明的用于测试算法的方法的步骤9.2中执行，以便获得测试数据集。
本发明的另一主题是训练过的人工智能用于产生用于算法的至少一个测试数据集的应用，该算法获得图像数据作为输入并且输出与图像数据相关的活动范围作为输出，该活动范围尤其代表允许的控制参数，和/或该算法获得传感器数据作为输入并且输出与传感器数据相关的活动范围作为输出，该活动范围尤其代表允许的控制参数，其中，该人工智能尤其包括生成对抗网络或由生成对抗网络提供。需要注意的是：上面针对人工智能和/或至少一个测试数据集描述的全部特征分别能够单独地或组合地也在根据本发明的应用的范畴中实现。
本发明的另一主题是一种设备，该设备构造和设计用于执行根据本发明的用于产生针对算法的测试数据集或用于执行根据本发明的用于测试算法的方法或用于执行根据本发明的用于运行用于自动化地尤其图像相关地控制装置的系统的方法。
根据本发明的设备优选包括至少一个处理器和尤其一个数据存储器。该设备例如能够包括计算机(尤其PC)或设计为这样的计算机。
根据本发明的设备例如也能够形成用于装置(尤其行驶工具或机器人)的控制系统的一部分。
同样地，本发明的主题是一种包括程序代码构件的计算机程序产品，其用于执行根据本发明的用于产生针对算法的测试数据集或用于执行根据本发明的用于测试算法的方法或用于执行根据本发明的用于运行用于自动化地、图像相关地控制装置的系统的方法。
本发明的主题还是产生数据载体，在该数据载体上存储至少一个测试数据集，该测试数据集在执行根据本发明的用于产生至少一个测试数据集的方法的情况下被存储。
最后，本发明的主题是一种计算机可读介质，该计算机可读介质包括指令，当该指令在至少一个计算机上执行时促使至少一个计算机执行根据本发明的用于产生针对算法的测试数据集的方法的步骤，或用于执行根据本发明的用于测试算法的方法的步骤，或用于执行根据本发明的用于运行用于自动化地、图像相关地控制装置的系统的方法的步骤。
计算机可读介质例如能够以数据载体(例如CD-ROM、DVD或闪存或USB存储器)的形式存在。要注意的是：不应该将计算机可读介质仅理解为实体介质，而且也能够例如以数据流的形式和或代表数据流的信号的方式存在。
附图说明
根据本发明的方法的其他的特征和优点根据以下示例性的描述参考附图变得更加清除。其中
图1示出用于运行根据本发明的用于测试算法的方法的一个实施例的过程的纯示意性的视图，
图2示出用于纯示意性说明人工智能的调整的框图，
图3示出具有图像序列和配属的活动范围的学习数据集的纯示意性的视图，活动范围以配属的行驶轨迹和通道的形式，
图4示出用于纯示意性地说明产生测试数据集和测试算法的框图。
图5示出分别具有图像序列和配属的活动范围的三个测试数据集的纯示意性的视图，活动范围以配属的行驶轨迹和通道的形式。
具体实施方式
图1示出了根据本发明的用于测试算法1的方法的实施例的过程的纯示意性的视图。在附图中，在此，以框图或加号图的方式示出在实施例的范畴中执行的步骤。
在示出的实施例的范畴中，在第一步骤S1中提供待测试的算法1，该算法当前为用于自主行驶工具控制的控制算法1。仅在图4中并且在其中通过框元件示意地示出的自主行驶工具控制的算法1设计为，使得其以本身已知的方式获得图像序列、具体地行驶工具周围的视频作为输出，并且输出与图像序列相关的活动范围作为输出，该活动范围根据序列的相应的图像代表用于行驶工具的允许的控制参数。
在步骤S1中提供算法1之后，执行根据本发明的用于产生测试数据集的方法的一个实施例。
在此，具体地，在步骤S2中提供学习数据集2，该学习数据集包括以具有多个图像4的真实的图像序列3形式的真实的图像数据，该图像与时间关联并且当前示出行驶情况的多个照片。在行驶工具完成行驶期间，真实的图像序列3借助于图2中未示出的图像检测装置(具体是设置在同样未示出的行驶工具中2的相机)记录。
除了图像序列3之外，学习数据集2还包括配属于该图像序列的活动范围5，该活动范围在当前的实施例中通过对应于图像序列3的相应的图像4的行驶轨迹6以及配属的用于行驶轨迹的目标通道来提供。
在图2中纯示意性地利用针对图像4和活动范围5的框元件示出学习数据集2，并且图3包括学习数据集2的同样的示意图，其中，示例性地示出了九个图像4以及各三个配属的行驶轨迹6和目标通道7，该行驶轨迹和目标通道形成配属的活动范围5。要注意的是：目标通道7限定用于行驶轨迹6的目标范围。九个图像4代表九个连续的时间点，这在图3中利用在相应的图像4上的说明T＝1……9表明。
在步骤S3中提供人工智能8，该人工智能在所示出的实施例中通过长短期记忆生成对抗网络(LSTM-GAN)提供。LSTM-GAN 8在所示出的实施例中以长短期记忆生成对抗网络9以及长短期记忆判别网络10的形式存在，这在图2中又纯示例性地通过框元件草绘。两个网络9、10的架构如在Ian Goodfellow等人发表于2014年1月10日的文章“GenerativeAdversarial Nets(生成对抗网络)”(GANs)，ArXiv：1406.2661[statML]661v1中描述。与此不同，网络9、10当前不设计为如根据该文章的典型的“卷积”网络，而是设计为“卷积”LSTM网络9、10、即长短期记忆“卷积”网络9、10，如其在Sepp Hochreiter和Jürgen Schmidhuber的文章“Long Short Term Memory(长短期记忆)”(LSTM)Neural Computation9(8)：1735-1780，1997中描述的。
在步骤S4中，利用所提供的学习数据集2来调整人工智能8。在此，在如图2中纯示意性地通过箭头表明的此处描述的示例中，图像序列3和活动范围5被拼接，这经由具有附图标记11的框元件符号草绘，并且传输给LSTM判别网络10。LSTM生成网络9经由激励输入12被激励，并且其输出、即生成物同样被传输给LSTM判别系统10，该判别系统分别正确地/不正确地做出决定，这通过设有附图标记13的框元件表明。激励输入12能够通过随机信号提供。还可行的是：LSTM生成网络9也在零处开始。
正确/不正确的决定13特别是由生成网络9输出的生成物是否与传输给判别网络10的学习数据集的数据一致或者与其不同的决定。网络9、10的方法尤其被改进，直至由生成网络9产生的生成物尽可能不再与根据学习数据集2的数据不同。在GAN训练的背景下，还参考导言部分Ian Goodfellow等人发表于2014年1月10日“Generative Adversarial Nets(生成对抗网络)”(GANs)，ArXiv：1406.2661[statML]661v1的文章。
在调整后，在步骤S5中，在所示出的实施例中，借助于随机信号(英文：randomsignal)12再次激励调整的人工智能8的生成网络9。这在图4中示意地表明。随机信号12能够通过至少一个图像或至少一个图像文件来提供，该图像或图像文件消失或者仅示出噪声，其中，这可理解为是纯示例性的。
通过随机信号12产生九个场景作为对实例的响应。为此，根据训练的结构，不同的维度是可行的。这能够视作为如电视机中的噪声。
替代于或除了随机信号12之外，优选两个或多个激励图像或者具有这样的激励图像或者至少一个尤其具有真实内容(例如示出行驶情况)的至少一个激励视频的序列能够用作为激励输入12。
激励的LSTM生成网络9产生至少一个测试数据集14，该测试数据集包括新的图像序列15以及配属于该新的图像序列15的活动范围16(步骤S6)。在所描述的实施中类似于学习数据集2，利用调整的LSTM生成网络9获得的至少一个测试数据集14包括图像序列15(但是该图像序列具有多个合成生成的图像17)，并且对于序列15的每个图像17存在的活动范围16分别包括同样类似于学习数据集2的配属的行驶轨迹18以及配属的目标通道19。在图5中，这重新纯示意性地且示例性地针对总共三个生成的测试数据集14详细说明。
首先，对于将具有真实内容(例如行驶情况)的一个或多个激励视频和/或一个或多个激励图像作为用于激励的(多个)输入信号输送给人工智能的情况，能够通过用于视觉设计的准线性特性或在考虑或应用用于视觉设计的准线性特性的情况下生成或获得合成图像。在用于视觉设计的准线性特性的背景下，也参考Alec Redfort等人2016年1月7日“Unsupervised Representation Learning With Deep Convolutional GenerativeAdversarial Networks(借助深度卷积生成对抗网络进行无监督表示学习)”的文章，其中尤其参考第10页的图7。
在步骤S7中，提供以上述方式获得的至少一个测试数据集14，并且在步骤S8中将图像序列15输送给待测试的算法1作为输入，如在图4中纯示意性地通过相应的从图像序列15引导至示意性地作为框元件示出的算法1的箭头表明。
在步骤S9中，执行算法1并且输出活动范围20作为输出。
在步骤S10中，将由算法1作为输出来输出的活动范围20与借助于生成网络9产生的测试数据集14的活动范围16进行比较。该比较在附图中通过设有附图标记21的框元件示意性地表明。
在步骤S11中，从比较结果中推断出测试的算法1的质量或功能。
对于基于比较的结果能够推断出待测试的算法1的足够的质量或功能的情况而言，能够输出活动范围20作为正确的活动范围22，这在图4中重新纯示意性地通过框元件表明(步骤S12)。
然后，基于正确的活动范围22能够尤其可靠地控制行驶工具(步骤S13)。
如果产生多个测试数据集14，则能够将所有测试数据集14的图像序列15输送给待测试的算法1，并且由算法输出的、作为对图像序列的反应的活动范围20能够与相应的测试数据集14的配属于相应的图像序列15的活动范围16、即行驶轨迹18和配属的目标通道19比较，并且得出算法1的质量或功能的结论。如果产生或使用多个测试数据集14，则能够尤其全面地检查算法1。
尽管详细地通过优选的实施例详细地阐述和表述了本发明，然而本发明不被所公开的实例限制，并且本领域技术人员在不偏离本发明的保护范围内能够从中推导出其他的变体方案。
Claims (17)
1.一种用于产生用于算法(1)的至少一个测试数据集(14)的方法，所述算法将图像数据(17)作为输入接收并且将与所述图像数据相关的活动范围(16)作为输出发出，和/或所述算法将传感器数据作为输入接收并且将与所述传感器数据相关的活动范围作为输出发出，所述方法包括以下步骤：
1.1提供训练过的人工智能(8)，
1.2激励所述人工智能(8)，并且
1.3激励过的所述人工智能(8)产生至少一个测试数据集(14)，所述测试数据集包括图像数据(15)和配属于所述图像数据(15)的活动范围(16)，和/或所述测试数据集包括传感器数据和配属于所述传感器数据的活动范围。
2.根据权利要求1所述的方法，其特征在于，为了接收在步骤1.1中提供的训练过的所述人工智能，执行以下步骤：
2.1提供学习数据集(2)，所述学习数据集包括借助于至少一个图像检测装置记录的真实的图像数据(3)和配属于所述真实的图像数据(3)的活动范围(5)，和/或所述学习数据集包括借助于至少一个传感器装置记录的真实的传感器数据和配属于所述真实的传感器数据的活动范围，
2.2提供所述人工智能，并且
2.3利用提供的所述学习数据集(2)调整所述人工智能(8)。
3.根据权利要求2所述的方法，其特征在于，在步骤2.1中产生所述学习数据集(2)，所述学习数据集提供借助于至少一个图像检测装置记录的真实的图像序列(3)和配属于该序列(3)的图像(4)的活动范围(5)，并且在步骤1.3中由训练过的所述人工智能(8)产生至少一个测试数据集(14)，所述测试数据集包括新的图像序列(15)和配属于所述新的图像序列(15)的活动范围(16)，和/或在步骤2.1中提供具有真实的图像序列(3)的学习数据集(2)，并且所述学习数据集(2)的活动范围(5)对于图像序列(3)的每个图像(4)包括至少一个控制参数或者代表所述控制参数的值，并且对于至少一个控制参数或代表所述控制参数的值包括配属的目标范围。
4.根据权利要求2或3所述的方法，其特征在于，针对用于自主行驶工具控制的系统或针对先进行驶辅助系统的算法(1)产生至少一个测试数据集(15)，并且提供的所述学习数据集(2)包括图像序列(3)，该图像序列包括行驶情况的图像，和/或对于每个图像(4)包括作为配属的活动范围(5)的行驶轨迹(6)。
5.根据前述权利要求中任一项所述的方法，其特征在于，针对算法(1)产生至少一个测试数据集(14)，该算法将图像序列(17)作为输入接收并且将与该图像序列(17)相关的活动范围(16)作为输出发出。
6.根据前述权利要求中任一项所述的方法，其特征在于，在步骤1.3中产生至少一个测试数据集(12)，该测试数据集包括图像序列(15)，该图像序列包括行驶情况的图像(17)，和/或该图像序列对于每个图像(17)包括作为配属的活动范围(16)的行驶轨迹(18)。
7.根据前述权利要求中任一项所述的方法，其特征在于，在步骤1.1中提供人工智能(8)，该人工智能包括长短期记忆网络(9、10)，或者该人工智能由长短期记忆网络提供。
8.根据前述权利要求中任一项所述的方法，其特征在于，在步骤1.1中提供人工智能(8)，该人工智能包括至少一个生成网络(9)和/或至少一个判别网络(10)，或者该人工智能由生成网络和/或判别网络提供。
9.一种用于测试算法(1)的方法，所述方法包括以下步骤：
9.1提供待测试的算法(1)，该算法将图像数据(15)作为输入接收并且将与所述图像数据相关的活动范围(20)作为输出发出，和/或该算法将传感器数据作为输入接收并且将与所述传感器数据相关的活动范围作为输出发出，
9.2执行根据前述权利要求中任一项所述的方法，以便接收至少一个测试数据集(14)，所述测试数据集具有图像数据(15)和配属于所述图像数据(15)的活动范围(16)和/或所述测试数据集具有传感器数据和配属于所述传感器数据的活动范围，
9.3提供至少一个所述测试数据集(14)，
9.4将至少一个所述测试数据集(14)的所述图像数据(15)和/或所述传感器数据输送给待测试的所述算法(1)，
9.5执行所述算法(1)并且将活动范围(20)作为输出发出，
9.6将由所述算法作为输出发出的活动范围(20)与至少一个所述测试数据集(14)的所述活动范围(16)比较，
9.7由所述比较(21)的结果推断出测试的所述算法(1)的质量。
10.根据权利要求9所述的方法，其特征在于，在执行步骤9.1559.7后，重新执行用于产生至少一个测试数据集(14)的、根据权利要求1至8中任一项所述的方法的步骤1.2和1.3，以便产生至少一个与先前产生的所述测试数据集(14)不同的另外的测试数据集(14)，并且提供至少一个该另外的测试数据集(14)并且重复步骤9.4至9.7。
11.一种用于运行用于自动化地控制装置的系统的方法，其中，所述系统包括至少一个图像检测装置和/或至少一个传感器装置、以及评估和控制单元和用于控制所述装置的构件，其中，在所述评估和控制单元中存放或能够存放算法(1)，所述算法将图像数据(17)作为输入接收并且将与所述图像数据相关的活动范围(16)作为输出发出，和/或所述算法将传感器数据作为输入接收并且将与所述传感器数据相关的活动范围作为输出发出，其中，在执行根据权利要求9或10所述的方法的情况下测试所述算法(1)，并且对于所述测试得出所述算法(1)的功能不足的情况，以预设的方式适配所述算法(1)，并且利用所述算法(1)控制所述装置。
12.根据权利要求11所述的方法，其特征在于，所述系统包括至少一个图像检测装置并且借助于所述系统的所述至少一个图像检测装置检测图像(4)的序列(3)，将活动范围(5)与所述序列(3)的所述图像(4)相关联，并且将具有相关联的所述活动范围(5)的图像序列(3)作为学习数据集(2)提供以训练人工智能(8)，和/或所述系统包括至少一个传感器装置并且借助于所述系统的所述至少一个传感器装置检测传感器数据，将活动范围与所述传感器数据相关联，并且将具有相关联的所述活动范围的所述传感器数据作为学习数据集提供以训练人工智能(8)。
13.一种训练过的人工智能(8)的应用，所述应用用于产生用于算法(1)的至少一个测试数据集，所述算法将图像数据(17)作为输入接收并且将与所述图像数据相关的活动范围(16)作为输出发出，和/或所述算法将传感器数据作为输入接收并且将与所述传感器数据相关的活动范围作为输出发出。
14.一种数据载体的产生，在所述数据载体上存储至少一个测试数据集，在执行根据权利要求1至8中任一项所述的方法的情况下接收所述测试数据集。
15.一种构造和设计用于执行根据权利要求1至8中任一项或根据权利要求9至10中任一项或根据权利要求11至12中任一项所述的方法的设备。
16.一种包括程序代码构件的计算机程序产品，所述计算机程序产品用于执行根据权利要求1至8中任一项或根据权利要求9至10中任一项或根据权利要求11至12中任一项所述的方法。
17.一种包括指令的计算机可读介质，当所述指令在至少一个计算机上执行时，所述指令促使所述至少一个计算机执行根据权利要求1至8中任一项或根据权利要求9至10中任一项或根据权利要求11至12中任一项所述的方法的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18178772.2A EP3584748A1 (de) | 2018-06-20 | 2018-06-20 | Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung |
| EP18178772.2 | 2018-06-20 | ||
| PCT/EP2019/062774 WO2019242955A1 (de) | 2018-06-20 | 2019-05-17 | Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112292695A true CN112292695A (zh) | 2021-01-29 |
Family
ID=62873124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980041287.3A Pending CN112292695A (zh) | 2018-06-20 | 2019-05-17 | 用于产生测试数据集的方法、用于测试的方法、用于运行系统的方法、设备、控制系统、计算机程序产品、计算机可读介质、产生和应用 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210216063A1 (zh) |
| EP (2) | EP3584748A1 (zh) |
| JP (1) | JP6972395B2 (zh) |
| KR (1) | KR102355815B1 (zh) |
| CN (1) | CN112292695A (zh) |
| WO (1) | WO2019242955A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930078B (zh) * | 2020-06-21 | 2024-04-19 | 中国舰船研究设计中心 | 一种面向核控系统的网络测试装置 |
| US11763135B2 (en) * | 2021-03-01 | 2023-09-19 | Robert Bosch Gmbh | Concept-based adversarial generation method with steerable and diverse semantics |
| CN115658550B (zh) * | 2022-12-09 | 2023-04-07 | 合肥高维数据技术有限公司 | 提升大规模样本测试效率的自动化测试方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844949A (zh) * | 2017-01-18 | 2017-06-13 | 清华大学 | 一种用于实现机车节能操纵的双向lstm模型的训练方法 |
| CN107330444A (zh) * | 2017-05-27 | 2017-11-07 | 苏州科技大学 | 一种基于生成对抗网络的图像自动文本标注方法 |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
| KR101813698B1 (ko) * | 2016-12-21 | 2018-01-30 | 한국항공대학교산학협력단 | 공중 로봇의 이동 속도 추정 장치 및 방법 |
| US20180060759A1 (en) * | 2016-08-31 | 2018-03-01 | Sas Institute Inc. | Automated computer-based model development, deployment, and management |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3309721A1 (en) * | 2016-09-23 | 2018-04-18 | KPIT Technologies Ltd. | Autonomous system validation |
| US10228693B2 (en) * | 2017-01-13 | 2019-03-12 | Ford Global Technologies, Llc | Generating simulated sensor data for training and validation of detection models |
| US10268203B2 (en) * | 2017-04-20 | 2019-04-23 | GM Global Technology Operations LLC | Calibration validation for autonomous vehicle operations |
| DE102017213634A1 (de) * | 2017-08-07 | 2019-02-07 | Ford Global Technologies, Llc | Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug |
| US10831636B2 (en) * | 2018-01-08 | 2020-11-10 | Waymo Llc | Software validation for autonomous vehicles |
-
2018
- 2018-06-20 EP EP18178772.2A patent/EP3584748A1/de not_active Withdrawn
-
2019
- 2019-05-17 CN CN201980041287.3A patent/CN112292695A/zh active Pending
- 2019-05-17 JP JP2020570681A patent/JP6972395B2/ja active Active
- 2019-05-17 WO PCT/EP2019/062774 patent/WO2019242955A1/de unknown
- 2019-05-17 KR KR1020217001806A patent/KR102355815B1/ko active IP Right Grant
- 2019-05-17 US US17/254,296 patent/US20210216063A1/en active Pending
- 2019-05-17 EP EP19727883.1A patent/EP3782081B1/de active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180060759A1 (en) * | 2016-08-31 | 2018-03-01 | Sas Institute Inc. | Automated computer-based model development, deployment, and management |
| KR101813698B1 (ko) * | 2016-12-21 | 2018-01-30 | 한국항공대학교산학협력단 | 공중 로봇의 이동 속도 추정 장치 및 방법 |
| CN106844949A (zh) * | 2017-01-18 | 2017-06-13 | 清华大学 | 一种用于实现机车节能操纵的双向lstm模型的训练方法 |
| CN107330444A (zh) * | 2017-05-27 | 2017-11-07 | 苏州科技大学 | 一种基于生成对抗网络的图像自动文本标注方法 |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MING-YU LIU 等: "Unsupervised image-to-image translation networks", NIPS\'17: PROCEEDINGS OF THE 31ST INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS, 4 December 2017 (2017-12-04), pages 700 - 708 * |
| MOUSTAFA ALZANTOT 等: "SenseGen: A deep learning architecture for synthetic sensor data generation", 2017 IEEE INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND COMMUNICATIONS WORKSHOPS (PERCOM WORKSHOPS), 4 May 2017 (2017-05-04), pages 188 - 193 * |
| YUCHI TIAN 等: "DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars", ARXIV, 21 March 2018 (2018-03-21), pages 1 - 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3584748A1 (de) | 2019-12-25 |
| KR20210014740A (ko) | 2021-02-09 |
| US20210216063A1 (en) | 2021-07-15 |
| EP3782081A1 (de) | 2021-02-24 |
| WO2019242955A1 (de) | 2019-12-26 |
| JP2021527891A (ja) | 2021-10-14 |
| JP6972395B2 (ja) | 2021-11-24 |
| EP3782081B1 (de) | 2022-12-07 |
| KR102355815B1 (ko) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112292695A (zh) | 用于产生测试数据集的方法、用于测试的方法、用于运行系统的方法、设备、控制系统、计算机程序产品、计算机可读介质、产生和应用 | |
| US11429854B2 (en) | Method and device for a computerized mechanical device | |
| CN107203134B (zh) | 一种基于深度卷积神经网络的前车跟随方法 | |
| US10482609B2 (en) | Optical flow determination system | |
| EP3796228A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| JP2018173814A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法 | |
| US10929719B2 (en) | Adversarial attack on black box object detection algorithm | |
| DE102018208763A1 (de) | Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines maschinellen Lernsystems | |
| CN114067166A (zh) | 用于确定物理对象的物理特性的设备和方法 | |
| CN110390381B (zh) | 利用卷积神经网络来处理数据序列的装置和方法 | |
| CN111435457B (zh) | 对传感器获取的采集进行分类的方法 | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| JP7423237B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| JP7314388B2 (ja) | 人工ニューラルネットワークのよりロバストなトレーニング | |
| CN110852394B (zh) | 数据处理方法及装置、计算机系统以及可读存储介质 | |
| CN109978863B (zh) | 基于x射线图像的目标检测方法及计算机设备 | |
| EP4248418A2 (de) | Verfahren und system zur annotation von sensordaten | |
| CN108603809A (zh) | 汽车测试系统、方法及计算机程序产品 | |
| CN113591894A (zh) | 为分类器编辑带有有噪声的标签的学习数据记录 | |
| US20220230416A1 (en) | Training of machine learning systems for image processing | |
| EP4239597A1 (en) | Monitoring agricultural operations | |
| WO2019081243A1 (de) | Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems | |
| US11423598B2 (en) | Method, apparatus and computer program for generating an image | |
| DE112018007886B4 (de) | Fahrzeuginnenüberwachung-Informationserzeugung-Steuervorrichtung und Fahrzeuginnenüberwachung-Informationserzeugung-Steuerverfahren | |
| DE202021100225U1 (de) | Verbesserte Vorrichtung zum Anlernen von maschinellen Lernsysteme für Bild-verarbeitung |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |