CN111837125A - 提供训练数据组集合的方法、训练分类器的方法、控制车辆的方法、计算机可读的存储介质和车辆 - Google Patents

提供训练数据组集合的方法、训练分类器的方法、控制车辆的方法、计算机可读的存储介质和车辆 Download PDF

Info

Publication number
CN111837125A
CN111837125A CN202080000259.XA CN202080000259A CN111837125A CN 111837125 A CN111837125 A CN 111837125A CN 202080000259 A CN202080000259 A CN 202080000259A CN 111837125 A CN111837125 A CN 111837125A
Authority
CN
China
Prior art keywords
training data
data set
vehicle
training
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080000259.XA
Other languages
English (en)
Inventor
C.马蒂森
G.瓦尔加
C.埃费尔茨
D.沃尔法伊尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saint Gobain Glass France SAS
Compagnie de Saint Gobain SA
Original Assignee
Saint Gobain Glass France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saint Gobain Glass France SAS filed Critical Saint Gobain Glass France SAS
Publication of CN111837125A publication Critical patent/CN111837125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Abstract

分类系统需要呈现不同运行条件的大量的训练数据。创建所述训练数据是费事的和昂贵的。本发明涉及一种用于尤其是针对人工神经网络(32,40)提供训练数据组集合(30)的方法,其包括下列步骤:‑加载基础训练数据组(31),所述基础训练数据组(31)说明了图像数据(14,14`)与标记(16,16`)的关联(15,15`);‑在使用至少一个滤光器(19)的情况下处理基础训练数据组(31),和产生输出训练数据组(31`),所述输出训练数据组(31`)包括经过处理的基础训练数据组(31);‑提供训练数据组集合,所述训练数据组集合包括基础训练数据组(31)和输出训练数据组(31`),其中基础训练数据组(31)关联给光学上透明的参考介质的特性、尤其是参考挡风基材的特性,并且输出训练数据组(31`)关联给光学上透明的训练介质的特性、尤其是训练挡风基材的特性,其中在考虑光学上透明的参考介质(20)关于图像传感器(23)的安装位置的情况下,确定滤光器(19)。

Description

提供训练数据组集合的方法、训练分类器的方法、控制车辆的 方法、计算机可读的存储介质和车辆
技术领域
本发明涉及一种用于提供训练数据组集合的方法、一种用于训练分类器的方法、一种用于控制车辆的方法、一种计算机可读的存储介质和一种车辆。
背景技术
在现代车辆中,对于一系列驾驶员辅助功能,常见的是,在挡风基材(Windschutzscheibe)之后布置有(例如作为摄像机的部分的)图像传感器。该图像传感器记录车辆环境,尤其是记录在车辆之前和之后的区域中的车辆环境。
由此可能的是,能够实现如自动车道识别、自动制动助力器之类的功能或者半自主的或者全自主的行驶之类的功能。
所拍摄的图像数据通过车辆中的计算装置来分析,并且基于所述分析,实施控制功能。例如,当分析已查明在车辆之前布置有停车牌时,车辆可以向驾驶员渐显如下提示:应实施车辆停车。可是,原则上也可能的是,车辆独立地实施停车。
为了分析图像数据,通常采用分类器,所述分类器针对图像的每个像素都查明该像素属于哪个对象或属于哪个种类的对象。对象识别因此可以实施为在像素基础上的分类。
作为分类器,常常采用人工神经网络、尤其是“深度卷积网络(deepconvolutional net)”。作为输入参数,神经网络要么采纳完整的图像,要么采纳图像的剪裁(Ausschnitt)。并且针对每个像素都说明所属的对象种类。
神经网络可以在高命中率(查准率(precision),查全率(recall))的情况下实现非常高的精度。
为了训练分类器,必需提供经过注释的训练数据。这些经过注释的训练数据包含大量的图像数据,其中针对每个图像并且在那里针对每个像素都存储有如下标记或所谓的标签(Label):该像素属于哪个对象或哪个对象种类。例如,训练数据可以包含关于确定的像素属于停车牌的说明。
训练数据通常通过如下方式生成:首先,一个或者多个车辆驶出多个不同的路段,并且在此记录大量的图像数据。紧接着,手动地、也就是通过人,实施图像数据的注释。部分地,该过程也自动地来执行,但是至少由人来验证和修正。这已经出于立法原因而是必要的。
训练数据的注释由此是非常费事的和昂贵的过程。
在使用所描述的机器学习的方法时的缺点是,为此需要大量的训练数据,以便能够实现针对实践应用所需的精度。就这点而言,这是有问题的,因为(如所描述的那样)创建训练数据是非常费事的和昂贵的。
从现有技术中已知了如何能够改进数据质量的方法。US 2016/0 300 333 A1描述了一种方法,以便从用于人工神经网络的数据中过滤基材上的污染物,使得所述污染物对分类没有负面影响。这样,例如也可以从训练数据或有用数据中减去(herausgerechnet)水滴。
在现有技术中也描述了一系列如何可以提高训练数据的数目的方法。这里,US2017/0236013 A1描述了在使用图形引擎的情况下产生用于人工神经网络的合成的训练数据。借助图形引擎,可以将对象任意放置于三维空间中。因此,可以有针对性地产生罕见的情形,所述情形在用摄像机拍摄时仅仅非常罕见地出现在真实情形中。就这点而言,要训练的人工神经网络可以被训练为使得:该人工神经网络在经过训练的情形下提供改进的结果。
可是,另一缺点在于,利用确定的车辆来记录训练数据。这意味着,装配(verbaut)在那里的挡风基材的以及在那里所使用的图像传感器的制造公差对图像数据有影响。
制造公差的影响降低了分类器的在运行期间分类时的精度。
发明内容
因而,本发明的任务是降低在产生训练数据时的开销。尤其是,本发明的任务是降低制造公差对分类的影响。本发明的任务进一步尤其是利用辅助功能提高在车辆运行期间的安全性。
该任务通过一种根据权利要求1所述的方法、一种根据权利要求8所述的方法、一种根据权利要求9所述的方法、一种根据权利要求10所述的计算机可读的存储介质和一种根据权利要求11所述的车辆来解决。
尤其是,该任务通过一种用于(尤其是针对人工神经网络)提供训练数据组集合的方法来解决,所述方法包括下列步骤:
- 加载基础训练数据组,所述基础训练数据组说明了图像数据与标记的关联(Zuordnung);
- 在使用至少一个滤光器的情况下处理基础训练数据组,并且产生输出训练数据组,所述输出训练数据组包括经过处理的基础训练数据组;
- 提供训练数据组集合,所述训练数据组集合包括基础训练数据组和输出训练数据组。
本发明的核心是,在使用滤光器的情况下,处理基础训练数据组。通过将滤光器用于基础训练数据组,现有的数据被加倍。由此可以更好地训练分类器。也明显减少了用于创建训练数据的要施加的资源。
图像数据尤其是如下数据结构:单个图像在时间上有序地存储在所述数据结构中。
应用滤光器尤其是意味着,训练数据组的图像数据通过应用滤光器来修改。
基础训练数据组关联给光学上透明的参考介质的特性、尤其是参考挡风基材的特性,并且输出训练数据组关联给光学上透明的训练介质的特性、尤其是训练挡风基材的特性。
“光学上透明的”在本申请的范围中尤其是意味着,介质对于可见光是可透过的,尤其是对于在400nm到800nm的范围中的可见光是可透过的。
基础训练数据组因此关联给光学上透明的参考介质。例如,训练数据可以由布置在参考挡风基材之后的图像传感器拍摄。输出训练数据组又关联给光学上透明的训练介质的特性、例如训练挡风基材的特性。这意味着,通过提供训练数据组集合,现在考虑两个不同的透明介质。由此,在与另一挡风基材一起使用时,改善分类的精度。由此也使考虑在光学介质的生产中的制造公差成为可能。
在一实施形式中,至少一个滤光器可以给出基础训练数据组到输出训练数据组的解析映射。
特别有利的是,滤光器给出解析映射。通过给出解析映射,可理解或可预测对基础训练数据组的处理。因此,尤其是可能的是,进行关于如下情况的说明:在基础训练数据组的图像中的哪个像素与在输出训练数据组的图像中的哪个像素对应。与此相应地,在考虑解析映射的情况下,可以根据基础训练数据组的图像数据的像素的标记来适配输出训练数据组的图像数据的像素的标记。
因此给出了一种方法,在所述方法中可以特别高效地实施对输出训练数据组的标记。
在一实施形式中,图像数据可以作为具有(优选地分别针对多个颜色通道的)被关联的亮度值的像素的集合来存储,其中针对每个像素的图像数据与标记的关联可以说明所属的对象种类。
因此可能的是,针对黑白图像或者彩色图像,基于像素地说明关联。标记在此可以是对象种类的说明。例如,标记可以说明,图像的确定的像素关联给对象种类“停车牌”。最终,通过这种标记可能对图像进行分割,其中对于每个像素都存储有:该像素属于何种对象种类。在一实施形式中可能的是,标记作为如下数据结构来存储:在该数据结构中,作为第一特性存储有像素的坐标,而作为第二特性存储有所关联的对象种类。
在一实施形式中,通过测量至少一个光学上透明的参考介质的特性,可以实施滤光器的确定。
滤光器尤其是可以构造为高斯模糊(Gaussian Blurring),构造为偏移过滤器(Versatzfilter)或者构造为滤色器。
滤光器的确定可以高效地通过测量至少一个光学上透明的参考介质的特性来实施。这意味着,滤光器模拟光学上透明的参考介质的特性。由此可能的是,通过改变滤光器的参数,仿真任意的光学上透明的参考介质。这样可能的是,测量多个不同的介质,并且限定相对应的滤光器。例如,因此可以通过滤光器模拟在生产光学上透明的介质(例如生产挡风基材)时的差异(Varianz)。由此可能的是,通过创建唯一的基础训练数据组,模拟关于生产公差的全部差异。例如,可以测量至少30个光学上透明的介质,使得创建30个对应的滤光器。由此,可以从唯一的基础训练数据组创建总共30个不同的输出训练数据组。总之,由此明显简化了用于训练分类器的训练数据创建。
在一实施形式中,通过确定调制传递函数,可以确定滤光器。调制传递函数的确定是用于确定滤光器的特别高效的实施方案。
在考虑光学上透明的参考介质关于图像传感器的安装位置的情况下,确定滤光器。在一实施形式中,进一步附加地可能的是,在考虑光学上透明的参考介质的几何特性的情况下,尤其是在使用基于光线追踪(Raytracing)的方法的情况下,确定滤光器。
几何特性可以说明光学上透明的介质的反射率、厚度、折射能力(Brechtkraft)、透射率和/或极化(Polarisation)。
特别有利的是,也考虑图像传感器关于光学上透明的介质的安装位置。这尤其是在使用基于光线追踪的方法时被充分利用。总之,通过使用基于光线追踪的方法,可以非常精确地模拟光学上透明的介质。由此,改进了滤光器的精度。
在一实施形式中,该方法可以包括下列步骤:
- 在考虑图像传感器的特定的噪声的情况下,确定传感器过滤器(Sensorfilter);
- 将传感器过滤器应用于训练数据组集合的图像数据。
图像传感器在一般情况下具有如下特征噪声:所述特征噪声视所使用的图像传感器而定可能得出不同的结果。噪声可以被测量,其中滤光器可以构造为减小所测量的噪声。因此有帮助的是,利用传感器特定的过滤器重新建立人工地通过滤光器改变的噪声比,并且使所述噪声比与要期望的真实条件适配。
由于在使用同一图像传感器的情况下记录基础训练数据组的和输出训练数据组的图像数据,所以同一传感器过滤器可以用于所有训练数据组。当然也可设想的是,针对不同的训练数据组使用不同的传感器过滤器。尤其是,在考虑用于记录相对应的训练数据组的图像数据的图像传感器的情况下,可以确定传感器过滤器。
总之,训练数据组或训练数据组集合的质量因此得以改进。
此外,该任务尤其是通过一种用于训练人工神经网络的方法来解决,所述方法包括下列步骤:
- 尤其是在使用图像传感器的情况下,检测参考图像数据,所述参考图像数据说明多个图像;
- 将标记关联到多个图像的像素,用于产生基础训练数据组;
- 提供训练数据组集合,如上文所描述的那样;
- 在使用训练数据组集合的情况下,训练分类器、尤其是人工神经网络。
可能的是,利用训练数据组集合来训练人工神经网络,所述训练数据组集合如上文所描述的那样已被提供。因此,提供了一种方法,该方法训练可以用于对图像数据进行分类的分类器。
图像传感器例如可以是CMOS或者CCD传感器。检测参考图像数据例如可以在使用测试车辆的情况下来实施,在所述测试车辆上布置有图像传感器。可以手动地实施将标记关联到像素。
此外,该任务尤其是通过一种用于控制车辆的方法来解决,所述方法包括下列步骤:
- 加载通过上文所描述的方法训练的分类器;
- 检测说明车辆的环境的图像数据;
- 在使用分类器的情况下,对图像数据进行分类;
- 在使用经过分类的图像数据的情况下,针对车辆的控制设备产生控制命令;
- 在使用控制命令的情况下,通过控制设备控制车辆的至少一个致动器。
利用所描述的方法,因此可能的是,至少部分地控制车辆。尤其是,利用该方法可能控制致动器。控制命令例如可以是针对转向偏角(Lenkeinschlag)的说明、加速度说明、速度说明、制动说明或者类似的说明。总之,通过使用训练数据组来对在车辆运行时采用的分类器进行训练,车辆的使用变得更安全。
其他实施形式从从属权利要求中得到。
附图说明
以下,依据实施例更详细地阐述本发明,在此:
图1a和图1b以俯视图和侧视图示出了车辆的示意图;
图2示出了图像数据的图示;
图3示出了图像剪裁的详细视图;
图4示出了像素与标记的关联的示意图;
图5示出了滤光器的应用的图示;
图6示出了呈现训练数据组集合的产生的图示;
图7示出了穿透光学上透明的介质并且射中图像传感器的光束的图示;
图8示出了图解说明训练数据组集合的产生的流程图。
具体实施方式
图1A示出了车辆1。在车辆1的驾驶室中,布置有摄像机3。摄像机3向处理装置4提供图像数据,该处理装置4同样布置在车辆1中。摄像机3(如由图1B表明的那样)布置在车辆1的后视镜7的区域中。摄像机3布置和对准为使得:摄像机3可以对在车辆1之前的区域进行拍摄。摄像机3在此具有图像传感器,所述图像传感器例如可以构成为CMOS或者CCD传感器。此外,在图1A中象征性地示出驾驶员2,并且在图1B中象征性地示出方向盘5。
通过摄像机3的图像传感器记录的光束首先通过挡风基材6,并且紧接着通过摄像机3的物镜。挡风基材6的有效的贯穿区域(Durchtrittsbereich)在此可以具有为7cm x7cm或者优选地为40 cm x 20 cm的面积。
通过图像传感器拍摄的图像数据经由总线系统向处理装置4传导。总线系统例如可以是基于以太网的通信系统。同样可设想的是,使用CAN总线或者类似的数据连接。尤其是可设想的是,使用无线连接。
处理装置4构造为,基于车辆1的图像数据,产生控制命令。例如,通过处理装置4,可以采用人工神经网络或者另外的分类器。在此,图像数据用作针对分类器的输入参数。例如,可以采用如下分类器:该分类器识别出在车辆1的前面的区域中的对象。
在图2中示出这种实例。图2示出了在确定的时间点的图像数据的图像剪裁10。
在图像剪裁10中,布置有两个对象。停车牌11和树木12。通过车辆1的处理装置4实施的分类器构造为,像素精确地确定各个对象。这意味着,针对每个像素可以说明一个对象种类。由此可能的是,一方面对图像剪裁10进行分割,而另一方面查明哪些对象处于车辆1之前。
基于所识别出的对象11、12,紧接着可以通过处理装置4导出控制命令。在此,对象11、12的位置也可以作为参数而被包括在内。例如,处理装置4可以构造为,当停车牌11布置在车辆1之前时,向车辆1的驾驶员2输出警告提示。为此,例如发光装置在车舱中亮起来,或者警告信息可以借助平视显示器(Head-Up-Display)被投影到驾驶员2的视野中。
图3和图4图解说明了各个像素与对象种类的关联。为此,在图3中示出了图像剪裁10的部分图像剪裁13。部分图像剪裁13包括多个像素14、14`,给这些像素分别分配有亮度值。可是也可能的是,针对彩色重现,将不同颜色通道的亮度值分配给各个像素。通过处理装置4实施的分类器现在构造为,给各个像素14、14`关联对象种类。图4为此示出了,在使用关联15的情况下,给白色像素14分配对象种类16、即“背景”(bg)。可是,借助关联15`,给像素14`关联对象种类16`。对象种类16`说明,像素14`是“停车牌”(obj 1)的部分。与此相应地,图像剪裁10的那些像素也被关联给对象类别16``,该对象类别16``是对象“树木”(obj3)的部分’’。
如已经结合图1所提及的那样,摄像机3在车辆1中布置在挡风基材6之后。这意味着,挡风基材6对车辆1的环境的拍摄有影响。例如,可能由于挡风基材6而发生畸变。这因此是特别不利的,因为在制造挡风基材时出现制造公差,使得利用不同的挡风基材6对同一场景的呈现导致不同的图像数据。当分类器接着利用仅仅一种挡风基材6的数据来训练时,没有考虑制造公差或不同的车辆模型。这导致在分类时不足的结果,如其结合图1和图2所描述的那样。
可以借助滤光器来近似挡风基材6对从对象传输到摄像机3的图像传感器的光的影响。
这种滤光器19示例性地在图5中示出。在图5的实例中,示出了原始图像剪裁17,该原始图像剪裁17在使用参考挡风基材的情况下拍摄。滤光器19现在限定了针对原始图像剪裁17的每个像素14`到经过处理的图像剪裁18的像素14``的映射。
在图5的实例中示出了,在所示的实施例中布置在第三行在从左侧的第四个位置处的像素14`在经过处理的图像剪裁18中布置在第四行从左侧的第三个位置处。因此,针对每个像素14`都限定了偏移。当然可设想一系列其他可能的滤光器。例如,不同的挡风基材可以在其光透射方面不同。由此,强烈不同地构造各个像素的亮度值。这可以利用滤光器来仿真。此外可设想的是,各个图像区域由于基材中的略微拱曲而畸变地呈现。这种行为也可以通过滤光器19来呈现。尤其是,滤光器19可以包括解析呈现,使得可理解的是,在初始图像中的哪些像素对应于在经过处理的图像中的哪些像素。由此,也可以传输相对应的像素的标记或标签。
在使用不同的滤光器19的情况下,因而可能的是,逼近不同的挡风基材。由此,可以生成多个不同的训练数据,利用这些训练数据紧接着可以训练分类器。由于训练数据的提高的可变性,该分类器总的来说对干扰更稳健(robuster)。尤其是,该分类器可以更好地对不平常的情形作出反应。
图6再一次图解说明了本发明的优点。在图6中示出了,包含图像数据和相对应的标记的训练数据组31可以利用滤光器来处理,使得产生训练数据组集合30,所述训练数据组集合30包括原始训练数据组31和经过处理的训练数据组31`。训练数据的数目因此已被加倍,其中不同的挡风基材现在被这些训练数据覆盖。
图7示出了,如何借助基于光线追踪的方法可以近似基材20的特性。在此利用了,光源21朝基材20线性地发出光束。在射到朝向光源21的外部玻璃入射平面24上时,反射光的一部分,使得被反射的光束22被玻璃入射平面24反射走。光束的另一部分被折射,并且通过基材20被传导。在穿过布置在朝向摄像机的侧上的玻璃出射平面25时,光束重新被折射并且朝摄像机3被传导。在光束可以射中图像传感器23之前,所述光束重新通过摄像机3的物镜26来折射。
基材20的参数因而一方面包括基材20的厚度B、反射率、折射能力、透射率和/或极化。这些参数同样可以是滤光器19的参数,使得通过适配滤光器19的参数可以仿真不同的基材。滤光器19在此可以通过多个标准过滤器来模型化,例如通过高斯模糊或者偏移过滤器(displacement filter)来模型化。
图8是再一次描述整个方法40的流程图。首先,拍摄图像数据41,并且在图像数据41中所示出的对象在标记步骤42中被手动关联给相对应的对象种类。经过注释的或经过标记的图像数据43现在在处理步骤44中在使用滤光器19的情况下被处理。在此,应用不同的滤光器19,以便模拟多个不同的光学上透明的介质。例如,在该步骤中可以模拟多个不同的挡风基材6。
处理步骤44产生训练数据组集合45,所述训练数据组集合45在训练步骤46中被提供给用于分类器47的训练算法。例如,在此可以涉及人工神经网络、例如卷积神经网络。经过训练的分类器47在传输步骤48中被传输到车辆1的处理装置4上。
在探测步骤51中,在车辆1运行期间,图像数据50被输送给分类器,使得分类器47对存储在图像数据50中的对象进行分类。
经过分类的图像数据52(也就是包含关于在图像数据中示出的对象的信息的数据)通过处理装置4在控制步骤53中被分析,其中针对车辆1的致动器导出相对应的控制命令。同样,控制命令在控制步骤53中被实现,使得针对用户呈现例如警告提示。
探测步骤51和控制步骤53如此长时间地交替实施,直至车辆1停下来或关断。
附图标记列表
1 车辆
2 驾驶员
3 摄像机
4 处理装置
5 方向盘
6 挡风基材
7 后视镜
10 摄像机图像
11 停车牌
12 树木
13 图像剪裁
14、14`、14`` 像素
15、15` 关联
16、16`、16`` 标记/标签
17 原始图像剪裁
18 经过处理的图像剪裁
19 滤光器
20 光学上透明的介质/玻璃基材
21 光源
22 被反射的光束
23 图像传感器
24 玻璃入射平面
25 玻璃出射平面
26 物镜
30 训练数据组集合
31、31` 训练数据组
32、40 卷积神经网络
40 方法
41 图像数据
42 标记步骤
43 经过标记的或经过注释的图像数据
44 处理步骤
45 训练数据组集合
46 训练步骤
47 分类器
48 传输步骤
50 图像数据
51 探测步骤
52 经过分类的图像数据
53 控制步骤
B 宽度

Claims (11)

1.一种用于尤其是针对人工神经网络(32,40)提供训练数据组集合(30)的方法,其包括下列步骤:
- 加载基础训练数据组(31),所述基础训练数据组(31)说明了图像数据(14,14`)与标记(16,16`)的关联(15,15`);
- 在使用至少一个滤光器(19)的情况下处理所述基础训练数据组(31),并且产生输出训练数据组(31`),所述输出训练数据组(31`)包括经过处理的基础训练数据组(31);
- 提供训练数据组集合,所述训练数据组集合包括所述基础训练数据组(31)和所述输出训练数据组(31`),
其特征在于,
所述基础训练数据组(31)关联给光学上透明的参考介质的特性、尤其是参考挡风基材的特性,并且所述输出训练数据组(31`)关联给光学上透明的训练介质的特性、尤其是训练挡风基材的特性,其中,
在考虑所述光学上透明的参考介质(20)关于图像传感器(23)的安装位置的情况下,确定所述滤光器(19)。
2.根据权利要求1所述的方法,
其特征在于,
所述至少一个滤光器(19)给出所述基础训练数据组(31)到所述输出训练数据组(31`)的解析映射。
3.根据上述权利要求中任一项所述的方法,
其特征在于,
作为具有被关联的亮度值、优选地分别针对多个颜色通道的被关联的亮度值的像素(14,14`)的集合,存储所述图像数据(14,14`),其中图像数据(14,14`)与标记(16,16`)的关联(15,15`)针对每个像素(14,14`)说明所属的对象种类。
4.根据上述权利要求中任一项所述的方法,
其特征在于
通过测量至少一个光学上透明的参考介质的特性,确定所述滤光器(19)。
5.根据上述权利要求中任一项、尤其是根据权利要求4所述的方法,
其特征在于,
所述滤光器(19)通过确定调制传递函数来确定。
6.根据上述权利要求中任一项、尤其是根据权利要求4所述的方法,
其特征在于,
在考虑所述光学上透明的参考介质(20)的几何特性(B)的情况下,尤其是在使用基于光线追踪的方法的情况下,确定所述滤光器(19)。
7.根据上述权利要求中任一项所述的方法,
其特征在于
- 在考虑所述图像传感器的特定的噪声的情况下,确定传感器过滤器;
- 将所述传感器过滤器应用于所述训练数据组集合的所述图像数据。
8.一种用于训练人工神经网络的方法,其包括下列步骤:
- 尤其是在使用图像传感器(23)的情况下,检测参考图像数据,所述参考图像数据说明多个图像;
- 将标记关联到所述多个图像的像素,用于产生基础训练数据组(31);
- 根据上述权利要求中任一项所述的提供训练数据组集合;
- 在使用所述训练数据组集合的情况下,训练分类器、尤其是人工神经网络。
9.一种用于控制车辆(1)的方法,其包括下列步骤:
- 加载分类器,所述分类器通过根据权利要求8所述的方法训练;
- 检测图像数据,所述图像数据说明车辆(1)的环境;
- 在使用所述分类器的情况下,对所述图像数据进行分类;
- 在使用经过分类的图像数据的情况下,针对所述车辆(1)的控制设备产生控制命令;
- 在使用所述控制命令的情况下,通过所述控制设备控制所述车辆(1)的至少一个致动器。
10.一种计算机可读的存储介质,其包含指令,当所述指令通过至少一个处理器来实施时,所述指令促使所述至少一个处理器实施根据上述权利要求中任一项所述的方法。
11.一种车辆,其包括:
- 图像检测装置,所述图像检测装置构造用于检测图像数据;
- 根据权利要求10所述的存储介质;
- 处理装置,所述处理装置构造为实施根据权利要求9所述的方法。
CN202080000259.XA 2019-02-14 2020-01-15 提供训练数据组集合的方法、训练分类器的方法、控制车辆的方法、计算机可读的存储介质和车辆 Pending CN111837125A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19157049.8 2019-02-14
EP19157049 2019-02-14
PCT/EP2020/050913 WO2020164841A1 (de) 2019-02-14 2020-01-15 Verfahren zum bereitstellen einer trainingsdatensatzmenge, ein verfahren zum trainieren eines klassifikators, ein verfahren zum steuern eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug

Publications (1)

Publication Number Publication Date
CN111837125A true CN111837125A (zh) 2020-10-27

Family

ID=65440803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000259.XA Pending CN111837125A (zh) 2019-02-14 2020-01-15 提供训练数据组集合的方法、训练分类器的方法、控制车辆的方法、计算机可读的存储介质和车辆

Country Status (4)

Country Link
EP (1) EP3938946A1 (zh)
CN (1) CN111837125A (zh)
MA (1) MA55272A (zh)
WO (1) WO2020164841A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3982328A1 (en) 2020-10-08 2022-04-13 Saint-Gobain Glass France Method for simulating the effects of the optical distortions of a windshield on the image recording quality of a digital image recording device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373160B2 (en) 2013-12-18 2016-06-21 New York University System, method and computer-accessible medium for restoring an image taken through a window
US9996771B2 (en) 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle

Also Published As

Publication number Publication date
MA55272A (fr) 2022-01-19
WO2020164841A1 (de) 2020-08-20
EP3938946A1 (de) 2022-01-19

Similar Documents

Publication Publication Date Title
US10453208B2 (en) Camera systems using filters and exposure times to detect flickering illuminated objects
US20110184895A1 (en) Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system
CN108460734A (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
JP6453490B2 (ja) 路面反射を認識し評価するための方法及び装置
US10290080B2 (en) Method for displaying a vehicle environment of a vehicle
CN109241818A (zh) 附着物检测方法及装置和系统、附着物学习方法及装置、程序
CN102556021B (zh) 一种汽车防闯红灯的控制装置
US10929715B2 (en) Semantic segmentation using driver attention information
US7974445B2 (en) Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program
JP2018516799A5 (zh)
CN110298933A (zh) 车辆传感器的高光溢出去除
CN103847640A (zh) 提供增强现实的方法和设备
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
WO2021017341A1 (zh) 识别智能行驶设备的行驶状态的方法及装置、设备
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
CN111814667B (zh) 一种智能路况识别方法
US20210056318A1 (en) Behavior model of an environment sensor
JP2012164026A (ja) 画像認識装置及び車両用表示装置
CN111837125A (zh) 提供训练数据组集合的方法、训练分类器的方法、控制车辆的方法、计算机可读的存储介质和车辆
CN110727269B (zh) 车辆控制方法及相关产品
US20190246041A1 (en) Method and device for object identification
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
CN111373411A (zh) 用于确定与对象的间距的方法、设备和计算机程序
US20210329219A1 (en) Transfer of additional information among camera systems
CN111756987B (zh) 一种车载摄像头的控制方法、装置及车载图像捕捉系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201027

WD01 Invention patent application deemed withdrawn after publication