CN107589418A - 用于护柱接收器检测的虚拟传感器数据生成 - Google Patents
用于护柱接收器检测的虚拟传感器数据生成 Download PDFInfo
- Publication number
- CN107589418A CN107589418A CN201710532534.2A CN201710532534A CN107589418A CN 107589418 A CN107589418 A CN 107589418A CN 201710532534 A CN201710532534 A CN 201710532534A CN 107589418 A CN107589418 A CN 107589418A
- Authority
- CN
- China
- Prior art keywords
- virtual
- guard post
- sensor data
- model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 79
- 238000012360 testing method Methods 0.000 claims abstract description 46
- 238000004088 simulation Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 24
- 238000010801 machine learning Methods 0.000 claims description 59
- 238000012549 training Methods 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 15
- 230000000295 complement effect Effects 0.000 claims description 12
- 238000002604 ultrasonography Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 239000011800 void material Substances 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 abstract description 13
- 230000007935 neutral effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004922 lacquer Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- YIWGJFPJRAEKMK-UHFFFAOYSA-N 1-(2H-benzotriazol-5-yl)-3-methyl-8-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carbonyl]-1,3,8-triazaspiro[4.5]decane-2,4-dione Chemical compound CN1C(=O)N(c2ccc3n[nH]nc3c2)C2(CCN(CC2)C(=O)c2cnc(NCc3cccc(OC(F)(F)F)c3)nc2)C1=O YIWGJFPJRAEKMK-UHFFFAOYSA-N 0.000 description 1
- SBMYBOVJMOVVQW-UHFFFAOYSA-N 2-[3-[[4-(2,2-difluoroethyl)piperazin-1-yl]methyl]-4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]pyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound FC(CN1CCN(CC1)CC1=NN(C=C1C=1C=NC(=NC=1)NC1CC2=CC=CC=C2C1)CC(=O)N1CC2=C(CC1)NN=N2)F SBMYBOVJMOVVQW-UHFFFAOYSA-N 0.000 description 1
- VLHWNGXLXZPNOO-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-3-(2-morpholin-4-ylethyl)pyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C=1C(=NN(C=1)CC(=O)N1CC2=C(CC1)NN=N2)CCN1CCOCC1 VLHWNGXLXZPNOO-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- VCUFZILGIRCDQQ-KRWDZBQOSA-N N-[[(5S)-2-oxo-3-(2-oxo-3H-1,3-benzoxazol-6-yl)-1,3-oxazolidin-5-yl]methyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C1O[C@H](CN1C1=CC2=C(NC(O2)=O)C=C1)CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F VCUFZILGIRCDQQ-KRWDZBQOSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- JAWMENYCRQKKJY-UHFFFAOYSA-N [3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-ylmethyl)-1-oxa-2,8-diazaspiro[4.5]dec-2-en-8-yl]-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]methanone Chemical compound N1N=NC=2CN(CCC=21)CC1=NOC2(C1)CCN(CC2)C(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F JAWMENYCRQKKJY-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000013031 physical testing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Medical Informatics (AREA)
- Mechanical Engineering (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明涉及用于虚拟传感器数据生成的方法、系统和装置,并且更具体地涉及用于训练和测试检测对象或障碍物(例如护柱接收器)的模型或算法的虚拟传感器数据生成。一种用于生成虚拟传感器数据的方法包括模拟包含一个或多个对象(例如护柱接收器)的三维(3D)环境。该方法包括生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据。该方法包括确定对应于多个位置中的每一个的虚拟地面实况。该地面实况包括关于虚拟传感器数据内至少一个护柱接收器的信息。例如,该地面实况可以包括停车障碍物中的至少一个的高度。该方法还包括存储和关联虚拟传感器数据和虚拟地面实况。
Description
技术领域
本发明总体上涉及用于虚拟传感器数据生成的方法、系统和装置,并且更具体地涉及用于训练和测试检测或避让对象或障碍物(例如护柱接收器)的模型或算法的虚拟传感器数据生成。
背景技术
机动车为商业、政府和私营企业提供很大一部分运输。由于机动车的高价值以及对乘客和驾驶员的潜在危害,驾驶员安全性和与其他车辆、障碍物或对象发生事故或碰撞的避免极其重要。
发明内容
根据本发明的一方面,提供一种方法,包含:
模拟包含一个或多个护柱接收器的三维(3D)环境;
生成针对3D环境内的一个或多个传感器的多个位置的虚拟传感器数据;
确定对应于多个位置中的每一个的虚拟地面实况,该地面实况包含关于虚拟传感器数据内表示的至少一个护柱接收器的信息;以及
存储和关联虚拟传感器数据和虚拟地面实况。
根据本发明的一个实施例,进一步包含提供虚拟传感器数据和虚拟地面实况中的一个或多个以用于训练或测试机器学习算法或模型。
根据本发明的一个实施例,其中训练机器学习算法或模型包含提供虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练机器学习算法或模型以确定虚拟传感器数据的部分内表示的护柱接收器的高度和位置中的一个或多个。
根据本发明的一个实施例,其中测试机器学习算法或模型包含将虚拟传感器数据的至少一部分提供到机器学习算法或模型以确定至少一个护柱接收器的位置或高度,并且将位置或高度与虚拟地面实况进行比较。
根据本发明的一个实施例,其中多个位置对应于车辆上传感器的规划高度或角度。
根据本发明的一个实施例,其中虚拟传感器数据包含下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据以及计算机生成的超声数据。
根据本发明的一个实施例,其中模拟3D环境包含随机生成针对下列中的一个或多个的不同条件:照明、天气、一个或多个护柱接收器的位置、以及一个或多个护柱接收器的高度或大小。
根据本发明的一个实施例,其中生成虚拟传感器数据包含在3D环境内一个或多个传感器的模拟运动期间周期性地生成虚拟传感器数据。
根据本发明的一个实施例,其中确定虚拟地面实况包含生成与虚拟传感器数据的帧互补的地面实况帧,其中该地面实况帧包含针对对应于一个或多个护柱接收器的像素的相同颜色值。
根据本发明的一个实施例,其中确定虚拟地面实况包含相对于虚拟传感器数据的帧或部分来确定和记录下列中的一个或多个:
针对虚拟传感器数据的帧中的至少一个护柱接收器的像素位置;
虚拟传感器数据的帧中围绕至少一个护柱接收器的边界框的大小;
至少一个护柱接收器相对于3D环境中的车辆或传感器的模拟位置;以及
至少一个护柱接收器相对于3D环境中的地面表面的模拟高度。
根据本发明的另一方面,提供一种系统,包含:
环境部件,环境部件被配置为模拟包含一个或多个护柱接收器的三维(3D)环境;
虚拟传感器部件,虚拟传感器部件被配置为生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据;
地面实况部件,地面实况部件被配置为确定对应于多个位置中的每一个的虚拟地面实况,其中地面实况包含关于一个或多个护柱接收器中的至少一个护柱接收器的信息;以及
模型部件,模型部件被配置为提供虚拟感知数据和地面实况到机器学习模型或算法以训练或测试机器学习模型或算法。
根据本发明的一个实施例,其中模型部件被配置为训练机器学习算法或模型,其中训练包含:
提供虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练机器学习算法或模型以识别或确定至少一个护柱接收器的位置。
根据本发明的一个实施例,其中模型部件被配置为测试机器学习算法或模型,其中测试包含:
将虚拟传感器数据的至少一部分提供到机器学习算法或模型以识别或确定至少一个护柱接收器的位置;以及
将护柱接收器的标识或位置与虚拟地面实况进行比较。
根据本发明的一个实施例,其中虚拟传感器部件被配置为生成虚拟传感器数据,虚拟传感器数据包含下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的光探测和测距(LIDAR)数据和计算机生成的超声数据。
根据本发明的一个实施例,其中环境部件被配置为通过随机生成针对多个位置中的一个或多个的不同条件来模拟3D环境,其中不同条件包含下列中的一个或多个:
照明条件;
天气条件;
一个或多个护柱接收器的位置;和
或一个或多个护柱接收器的尺寸。
根据本发明的又一方面,提供一种计算机可读存储介质,该计算机可读存储介质存储指令,当指令由一个或多个处理器执行时,该指令使一个或多个处理器:
生成针对模拟的三维(3D)环境内多个传感器位置的虚拟传感器数据,模拟的3D环境包含一个或多个护柱接收器;
确定针对多个位置中的每一个的一个或多个模拟条件,其中模拟条件包含一个或多个护柱接收器中的至少一个护柱接收器的存在、位置和尺寸中的一个或多个;以及
存储虚拟传感器数据与模拟条件并且通过模拟条件注释虚拟传感器数据。
根据本发明的一个实施例,其中指令进一步使一个或多个处理器基于虚拟传感器数据和模拟条件中的一个或多个来训练或测试机器学习算法或模型。
根据本发明的一个实施例,其中包含下列中的一个或多个:
指令使一个或多个处理器通过以下方式来训练机器学习算法或模型:提供虚拟传感器数据的至少一部分和对应的模拟条件来训练机器学习算法或模型以确定至少一个护柱接收器的存在、位置和尺寸中的一个或多个;以及
指令使一个或多个处理器通过以下方式来测试机器学习算法或模型:
将虚拟传感器数据的至少一部分提供到机器学习算法或模型以
确定至少一个护柱接收器的存在、位置和尺寸中的一个或多个;并
且
将所确定的至少一个护柱接收器的存在、位置和尺寸与模拟条
件进行比较。
根据本发明的一个实施例,其中生成虚拟传感器数据包含通过针对多个位置中的一个或多个使模拟条件中的一个或多个随机化来模拟3D环境,其中使一个或多个模拟条件随机化包含使下列中的一个或多个随机化:
照明条件;
天气条件;
一个或多个护柱接收器的位置;和
一个或多个护柱接收器的尺寸;
根据本发明的一个实施例,其中通过模拟条件注释虚拟传感器数据包含存储列出针对虚拟传感器数据的每一个帧的模拟条件中的一个或多个的记录文件。
附图说明
本发明的非限制性和非穷尽性的实施方式参照以下附图进行描述,其中贯穿若干视图,相同的附图标记指代相同的部件,除非另有说明。参考以下说明书和附图,本发明的优点将变得更好理解,其中:
图1是根据一种实施方式示出了包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图;
图2示出了根据一种实施方式的位于护柱接收器中的多个护柱;
图3示出了根据一种实施方式的多个护柱接收器,其中护柱被移除;
图4是示出了用于传感器数据生成的系统的实施方式的示意性框图;
图5是示出了位于靠近护柱接收器的车辆的侧视图的示意图;
图6是根据一种实施方式的图3所示的帧的示例互补帧;
图7是根据一种实施方式示出了模拟部件的示例部件的示意性框图;以及
图8是根据一种实施方式示出了用于生成虚拟传感器数据的方法的示意性流程图。
具体实施方式
护柱通常用来指引交通、改变道路上的交通的路线或阻挡道路上的交通、或者选择性地阻挡或允许进入停车场、车道或其他驾驶位置(例如,见图2)。在某些情况下,护柱是可移除的并且具有道路或驾驶路径内接地的相应的护柱接收器(例如,见图3)。护柱接收器的尺寸和高度有所不同,并且有时驾驶员不会检测它们。如果它们没有被注意且车辆驶过它们,则这些护柱接收器可能对车辆造成严重损坏。驶过它们可能使车辆轮胎损坏。取决于接收器在地面上方延伸的高度程度,车辆部件(例如前悬架)可能被损坏。
为了避免这种碰撞和所造成的损坏,申请人已经认识到的是,知道护柱接收器的位置和高度可能是有益的。如果需要的话,可以通知自动化车辆的驾驶员或控制系统护柱接收器的存在和/或高度,以使可以生成避免与护柱接收器碰撞的路径。申请人还认识到的是,也可能需要以大量不同数据进行检测算法的训练。然而,真实世界传感器数据花费相当多的时间和资源来获取,其要通过设置物理测试或带着传感器四处驾驶以收集相关情景的数据。
认识到上述情况,申请人已开发了用于生成虚拟传感器数据和地面实况的系统、方法和装置。在一个实施例中,系统使用三维(3D)虚拟环境来生成虚拟传感器数据,该虚拟传感器数据被自动注释以关于护柱接收器的存在和/或尺寸的地面实况。例如,地面实况可以包括护柱接收器的位置和高度。虚拟传感器数据和/或注释然后可以用于检测算法或模型的训练和/或测试。与用人注释的真实世界数据相比较,使用本文公开的系统、方法和装置的实施例生成的虚拟数据的实施例在时间、金钱和资源方面更便宜。例如,与数小时或数月获取相似数量的真实世界图像形成对比,在几分钟内成千上万的虚拟图像和相关联的地面实况可以被生成。本文公开的实施例将虚拟传感器数据与对训练和测试护柱接收器检测和导航算法有用的自动注释组合。
根据一个实施例,系统可以将使用3D建模和动画工具创建的虚拟驾驶环境与传感器模型集成,以在短时间内大量生成虚拟传感器数据。相关参数(例如照明、定位、尺寸和护柱接收器的外观)可以在记录的数据中随机化,以确保具有最小偏差的多样化数据集。在一个实施例中,虚拟传感器根据它们在车辆上的计划定位来相对于道路(或其他驾驶环境)定位。在模拟期间,虚拟传感器可以沿着虚拟道路或驾驶路径移动到它们可以观察护柱接收器的位置。
随着虚拟传感器在模拟期间被移动,虚拟传感器记录数据,例如模拟图像、模拟雷达数据、模拟光探测和测距(LIDAR)数据、模拟超声数据或其它模拟数据。对于记录数据的每个时间步(例如,摄像机数据的每个帧),自动提供注释以记录关于传感器的范围(和/或观察区域)内的所有护柱接收器的位置的地面实况信息。此外,尺寸(例如每个护柱接收器的高度)也可以被确定为包括在注释中。在虚拟摄像机数据的情况下,例如,图像数据的每个帧可以具有在记录文件中的补充条目,该条目列出了围绕任何护柱接收器的边界框的像素位置和大小、接收器相对于自主车辆(例如,母车辆或具有车辆控制系统的车辆)的xyz位置、和/或接收器距地面的高度。该虚拟地面实况信息可以被用于训练使用监督式学习的感知算法,或者测试现有算法并且量化其性能。
现在参照附图,图1示出了可以被用于自动检测护柱接收器的示例车辆控制系统100。车辆控制系统100可以包含自动驾驶/辅助系统102,该自动驾驶/辅助系统102可以被用于自动化或控制车辆的操作或向人类驾驶员提供辅助。例如,自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电、或任何其它辅助系统中的一个或多个。在另一个示例中,自动驾驶/辅助系统102可能无法提供对驾驶(例如,转向、加速或制动)的任何控制,但是可以提供通知和警报以辅助人类驾驶员安全地驾驶。自动驾驶/辅助系统102可以利用神经网络或其它模型或算法来确定护柱接收器存在,并且还可以确定对象或障碍物(例如护柱接收器)的大小、位置和/或尺寸。
车辆控制系统100还包括一个或多个传感器系统/装置,该一个或多个传感器系统/装置用于检测附近对象的存在或确定母车辆(例如,包括车辆控制系统100的车辆)的位置。例如,车辆控制系统100可以包括一个或多个雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。车辆控制系统100可以包括数据存储器116,该数据存储器116用于存储用于导航和安全性的相关或有用的数据,例如地图数据、驾驶历史或其他数据。车辆控制系统100还可以包括收发器118,收发器118用于与移动或无线网络、其他车辆、基础设施或任何其他通信系统进行无线通信。
车辆控制系统100可以包括车辆控制致动器120以控制车辆的驾驶的各个方面,例如电动马达、开关或其他致动器,其用于控制制动、加速、转向等等。车辆控制系统100还可以包括一个或多个显示器122、扬声器124或其他装置,以使可以向人类驾驶员或乘客提供通知。显示器122可以包括可以被车辆的驾驶员或乘客看到的抬头显示器、仪表板显示器或指示器、显示屏或任何其它视觉指示器。扬声器124可以包括车辆的音响系统的一个或多个扬声器,或者可以包括专用于驾驶员通知的扬声器。
应当理解的是,图1的实施例仅通过示例的方式给出。在不脱离本发明的范围的前提下,其他实施例可以包括更少或附加的部件。此外,示出的部件可以被组合或包括在其它部件内,而非限制。
在一个实施例中,自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如,自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、行车道或其它位置的路径上行驶。例如,自动驾驶/辅助系统102可以基于由部件106-118中的任何一个提供的信息或感知数据来确定路径。传感器系统/装置106-110和114可以被用于获取实时传感器数据,以使自动驾驶/辅助系统102可以实时辅助驾驶员或驾驶车辆。自动驾驶/辅助系统102可以实施算法或利用模型(例如深度神经网络)来处理传感器数据并且识别护柱接收器、对象或其他障碍物的存在、位置、高度和/或尺寸。然而,为了训练或测试模型或算法,可能需要大量的传感器数据。
现在参照图2,示出了多个护柱202的图片或图像200。护柱202被示出分布在道路上。护柱202可以被用于限制沿着道路的交通,例如,以允许行人安全地穿过街道或交叉路口。在一个实施例中,每个护柱202可以被选择性地移除或安装在相应的护柱接收器204中,以提供选择性地允许或阻挡交通的能力。例如,在当可能有大量行人且需要阻挡沿着道路或通过交叉路口的交通时的事件期间,护柱202可以被安装在护柱接收器204中。类似地,当对于交通需要移动通过道路或交叉路口时,护柱202可以从护柱接收器204移除。然而,即使当护柱202从接收器204被移除时,接收器204通常必须保留在道路中或道路上。
图3示出了表示具有护柱接收器304的道路的图片或图像的帧300,其中护柱(例如护柱202)已被移除。由于没有护柱,所以车辆302可以被允许沿着道路行驶。然而,护柱接收器304有时在道路上方延伸一些高度,并且可能存在损坏车辆的部分、减少驾驶员或乘客舒适性或以其他方式中断302的驾驶的风险。在一个实施例中,自动驾驶/辅助系统102(例如,在302中)可以检测和定位护柱接收器304并且确定驾驶操纵或驾驶路径以避免对302造成损坏。自动驾驶/辅助系统102可以确定包括避免与护柱接收器304的碰撞的路径。在一个实施例中,自动驾驶/辅助系统102可以确定使一个或多个轮胎以一个或多个轮胎的胎面碰撞护柱接收器304的路径。例如,护柱接收器304可以具有金属边缘,该金属边缘可能特别地损坏车辆轮胎的侧壁。在一个实施例中,自动驾驶/辅助系统102可以确定护柱接收器304延伸到足以使302的底盘其它部分损坏的高度,并且可以在碰撞护柱接收器304之前使302停止或围绕护柱接收器304操纵而不经过任何其它护柱接收器304。
现在参照图4,示出了用于传感器数据生成的系统400的一个实施例。该系统400包括模拟部件402、存储器404、训练部件406和测试部件408。模拟部件402可以被配置为模拟驾驶环境并且生成虚拟传感器数据410和作为虚拟传感器数据410的注释412的虚拟地面实况或其他信息。该注释可以包括任何类型的地面实况,例如模拟部件402所使用以生成驾驶环境和/或虚拟传感器数据410的模拟条件。例如,虚拟地面实况可以包括传感器与虚拟护柱接收器之间的虚拟距离、虚拟护柱接收器或任何其他对象或障碍物的一个或多个尺寸(例如,高度)。类似地,虚拟地面实况可以包括关于照明条件、天气条件、传感器位置、传感器取向、传感器速度和/或虚拟传感器类型(例如,传感器的特定模型)的一个或多个细节。模拟部件402可以为虚拟传感器数据的帧或集合注释以对应的地面实况,或者存储虚拟地面实况与该虚拟地面实况属于哪个传感器数据的指示。
虚拟传感器数据410和/或包括在注释412中的任何信息可以被存储在存储器404中。存储器404可以包括例如硬盘的长期存储器或例如随机存取存储器(RAM)的机器存储器。虚拟传感器数据410和任何相关的注释412可以被存储作为相同文件的一部分或者可以被存储在单独的文件中。训练部件406和/或测试部件408然后可以访问和利用虚拟传感器数据401和/或注释412来训练或测试护柱接收器检测算法或模型。训练部件406和/或测试部件408可以供选择地/另外地被用于访问和利用虚拟传感器数据410和/或注释412来训练或测试确定在驾驶期间如何且何时避开护柱接收器的路径算法或模型。
训练部件406被配置为利用由模拟部件402生成的虚拟传感器数据410和地面实况以及任何相关的注释412来训练机器学习算法。例如,训练部件406可以通过以下方式来训练机器学习算法或模型:提供虚拟传感器数据的至少一部分和对应的虚拟地面实况以及任何相关的注释412来训练机器学习算法或模型以确定一个或多个护柱接收器、对象或其他障碍物的高度和位置中的一个或多个。训练部件406可以将虚拟传感器数据410和虚拟地面实况以及相关联的注释412提供到用于神经网络的训练算法。例如,训练部件406可以利用在某一时间的传感器数据的一个帧和相关的地面实况来训练神经网络。在一个实施例中,训练部件406可以训练识别虚拟传感器数据的不同方面的多个不同的机器学习模型。例如,一个模型可以被用于将虚拟传感器帧中的对象分类为护柱接收器,而另外一个或多个其他模型可以被用于确定护柱接收器、对象或其他障碍物的位置、取向、距离和/或尺寸。
测试部件408可以利用虚拟传感器数据410和虚拟地面实况以及相关联的注释412来测试机器学习算法或模型。例如,测试部件408可以将虚拟传感器数据410的至少一部分提供到机器学习算法或模型以确定护柱接收器、对象或其他障碍物的高度和位置中的一个或多个,并且将所确定的高度或所确定的位置与虚拟地面实况进行比较。测试部件408可以能够准确地确定模型或算法执行得如何,因为所确定的分类或值可以与虚拟地面实况进行比较。如果算法或模型足够精确,则它可以作为自动驾驶/辅助系统102的一部分来实施。
图5示出了车辆502和护柱接收器504的侧视图。如果护柱接收器504太高且车辆502未在护柱接收器504前不远停住,则护柱接收器504可能碰撞、刮擦或损坏车辆502的车轮、悬架或其他部分。基于护柱接收器504的高度,可以确定驾驶路径是安全的并且将可能不会对车辆造成损坏。例如,驾驶路径可以包括围绕护柱接收器504行驶、驶过护柱接收器504以使护柱接收器504在车辆的轮胎之间穿过,或者驶过护柱接收器504以使轮胎的胎面碰撞护柱接收器504。
回到图3,帧300表示根据一个实施例的由模拟部件402生成的虚拟传感器数据的示例帧。例如,帧300可以包括由位于虚拟环境内的模拟位置的虚拟摄像机捕获的虚拟图像。帧300包括被定位在虚拟环境内的护柱接收器304。帧300内的护柱接收器304的形状和位置可以是护柱接收器304的当前位置和取向以及已经“捕获”帧300的虚拟照相机的结果。帧300的虚拟地面实况可以与帧300一起保存或者可以与帧300相关联,以使帧300的特定虚拟条件是已知的。虚拟地面实况可以包括传感器和护柱接收器304之间的距离(例如,以英尺、米或其他测量单元的模拟距离)、传感器的取向,护柱接收器304的取向、护柱接收器304的一个或多个尺寸、护柱接收器304的材料、护柱接收器304捕获帧300的传感器的特定位置、模拟天气条件、模拟一天中的时间、模拟照明位置,模拟照明颜色或关于帧300被捕获的模拟环境的任何其他附加信息。
图6示出了对应于图3的帧300的互补帧600的一个实施例。互补帧包括对应于护柱接收器304的像素所在的帧300的区域的纯色的区域602。在图6中,区域602是白色的,而互补帧600的其余部分是黑色的。然而,其他实施例可以类似于其中纯色覆盖护柱接收器的区域602的原始图像。例如,亮绿色可以被用于区域602,而互补帧600的黑色部分可以不是黑色的,而是可以与原始帧300的相应区域/像素相同。在一个实施例中,互补帧600可以被包括在帧300的地面实况信息中,以使算法可以被训练或测试。例如,互补帧600可以设置有用于训练被用于检测和/或识别护柱接收器304的尺寸的神经网络的帧300。重要的是要注意,神经网络或其他机器学习算法可以使用区域602外部的原始帧300的部分进行学习。例如,区域602可以被用作护柱接收器所在的位置的指示,但是环境线索(例如,路面、涂漆线、护柱接收器的排等)也可以被神经网络或机器学习算法使用来识别和定位护柱接收器。
尽管图3和图6关于摄像机图像在上面进行了讨论,但其他类型的传感器数据帧被预期且落在本发明的范围内。例如,可以生成并且存储LIDAR帧、雷达帧、超声帧或任何其它类型的传感器数据帧。另外,尽管本文提供的一些实施例和示例包括护柱接收器的模拟和建模,但是可以使用任何其它类型的对象或数据。例如,可以生成可能在驾驶环境中遇到的任何类型的对象的虚拟传感器数据。示例性对象或障碍物可以包括可以改变车辆如何操作或改变车辆的路径的护柱接收器、停车障碍物或路沿、其他车辆、道路或车道线、停车线、道路标志、行人、骑自行车者、动物、道路碎片、道路上的隆起物或洼地或任何其他对象、障碍物或特征。
图7是示出来了模拟部件402的示例部件的框图。在所描绘的实施例中,模拟部件402包括环境部件702、虚拟传感器部件704、地面实况部件706、存储部件708和模型部件710。部件702-710仅以说明的方式给出,并且可能不是全部都被包括在所有的实施例中。实际上,一些实施例可以包括部件702-710中的仅一个或两个或更多个的任意组合。部件702-710中的一些可以位于模拟部件402外部,例如在通过网络与虚拟部件402通信的计算装置内。
环境部件702被配置为生成和/或模拟虚拟环境。在一个实施例中,环境部件702模拟或生成3D停车或驾驶环境。环境部件702可以利用3D游戏或模拟引擎来创建、模拟和/或渲染车辆可以被驾驶或停放的环境。例如,用于驾驶游戏、3D模拟或任何其他游戏设计模拟的游戏引擎或3D模拟引擎可以被用于模拟真实世界环境的目的。
在一个实施例中,环境部件702模拟具有多个虚拟对象的环境。该虚拟对象可以包括护柱接收器、停车障碍、车辆、树木、植物、路沿、涂漆线、建筑物、风景、行人、动物或可能在驾驶或停车环境中找到的任何其它对象。环境部件702可以模拟具有大量车辆、行人或其他对象的拥挤状况。环境部件702还可以模拟照明条件。例如,环境部件702可以模拟包括太阳、月光、路灯、建筑物灯、车辆前照灯、车辆制动灯或任何其它光源的光源。环境部件702还可以模拟阴影、在一天中的不同时间太阳或月亮的照明颜色、或天气条件。例如,环境部件702可以模拟多云、多雨、多雪和其他天气条件的照明。另外,环境部件702可以模拟虚拟环境中的道路、停车场和对象是湿的或被雪覆盖的湿或雪条件。
在一个实施例中,环境部件702可以使模拟条件随机化。例如,环境部件702可以周期性地使一个或多个模拟条件随机化以生成具有宽范围的条件的环境。在一个实施例中,环境部件702可以随机生成针对下列中的一个或多个的不同条件:照明、天气、一个或多个虚拟停车障碍或其他对象的位置、以及一个或多个虚拟护柱接收器或其他对象的尺寸。
在一个实施例中,环境部件702可以模拟虚拟环境内传感器的位置。环境部件702可以模拟一个或多个传感器沿着虚拟环境内的路径的运动,或者可以使传感器定位随机化。例如,环境部件702可以基于车辆上的规划位置来模拟传感器的位置和/或取向。在一个实施例中,环境部件702可以使虚拟环境内传感器的位置、高度、取向或其他定位方面随机化。传感器的随机化位置或者虚拟环境的其他模拟条件可以在预定义的界限内被随机化,以增加虚拟环境类似于在真实世界情况下车辆可能遇到的状况的可能性。
虚拟传感器部件704被配置为生成由环境部件702生成或模拟的虚拟环境内虚拟传感器的传感器数据或感知数据。在一个实施例中,虚拟传感器部件704可以包括或利用将被车辆使用的一个或多个特定传感器的真实世界性能的模型。例如,传感器可以具有模拟传感器的真实世界性能的虚拟模型。虚拟传感器部件704可以模拟传感器如何生成帧。虚拟传感器部件704可以生成虚拟传感器数据,该虚拟传感器数据包括下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据、计算机生成的超声数据或用于其他类型的感知传感器的其他数据。
在一个实施例中,虚拟传感器部件704被配置为周期性地生成传感器帧或传感器数据。例如,虚拟传感器部件704可以在类似于摄像机频繁地拍摄图像的模拟间隔内生成图像(或其他传感器)。在一个实施例中,虚拟传感器部件704创建针对由环境部件702模拟的每一个位置的传感器数据。例如,虚拟传感器部件704可以生成针对沿着虚拟环境内由虚拟车辆行驶的路径的位置的传感器数据。在一个实施例中,传感器数据的图像或帧中的一个或多个包括虚拟护柱接收器或其他对象的一部分。例如,虚拟环境中护柱接收器或其他对象的计算机生成的图像可以由虚拟传感器部件704产生。
地面实况部件706被配置为生成针对由虚拟传感器部件704生成的虚拟传感器数据的虚拟地面实况。例如,地面实况部件706可以确定针对由虚拟传感器部件704拍摄到的每一个图像或帧的模拟条件。在一个实施例中,环境部件702可以向地面实况部件706提供模拟条件。地面实况部件706可以基于针对特定虚拟传感器数据的模拟条件来选择一个或多个模拟条件作为地面实况,或者计算地面实况。例如,地面实况部件706可以选择护柱接收器的尺寸(例如高度)作为计算机生成的图像或帧的地面实况。作为另一个示例,地面实况部件706可以接收护柱接收器和传感器的虚拟位置,并且然后计算虚拟传感器与护柱接收器之间的虚拟距离(例如,视线距离和/或水平距离)。关于虚拟环境内其他对象或障碍物的类似信息也是可预期的。
虚拟地面实况可以包括关于传感器的位置和取向、护柱接收器或其他对象的位置和取向、护柱接收器或其他对象的一个或多个尺寸、照明条件、天气条件、传感器与护柱接收器或其他对象之间的距离、用于捕获传感器数据的传感器的类型的信息或关于模拟条件的任何其它信息。在一个实施例中,可以确定针对由虚拟传感器部件704生成的每一个帧或每一组传感器数据的一组相同的地面实况。例如,针对生成虚拟传感器数据的每一个位置的相同的地面实况信息(例如,传感器高度、距离等)可以被计算且存储。
在一个实施例中,地面实况部件706可以生成由虚拟传感器部件704生成的传感器数据的帧的互补帧(见图6)。例如,针对对应于一个或多个虚拟护柱接收器的像素,互补帧可以具有相同的颜色值。例如,对应于虚拟护柱接收器的每一个像素可以具有相同的颜色,以使训练算法或测试算法可以清楚地确定虚拟传感器数据的哪个部分对应于虚拟护柱接收器。在一个实施例中,互补帧的每一个像素可以包括图像像素、雷达或LIDAR矢量、或虚拟传感器数据的其他像素或矩阵值。在一个实施例中,可以存储对应于护柱接收器的区域中的一个或多个像素的像素值。例如,可以存储像素值而不是存储完整图像。围绕护柱接收器的区域的边界框的像素值也可以被存储作为地面实况的一部分。
存储部件708被配置为存储由虚拟传感器部件704生成的虚拟传感器数据和/或由地面实况部件706确定的任何地面实况。例如,存储部件708可以将虚拟传感器数据和/或地面实况存储在图4的存储器404中。在一个实施例中,存储部件708可以将虚拟传感器数据与对应的地面实况或关于模拟条件的其他信息相关联或通过对应的地面实况或关于模拟条件的其他信息注释虚拟传感器数据。传感器数据和地面实况然后可以被用于各种目的,例如用于训练机器学习算法或模型或用于测试机器学习算法或模型。
模型部件710被配置为将虚拟传感器数据和/或地面实况提供到用于机器学习算法或模型的测试或训练的算法。例如,模型部件710可以将由虚拟传感器部件704和/或地面实况部件706提供的虚拟传感器数据和/或地面实况提供到图4的训练部件406或测试部件408。在另一个实施例中,模型部件710可以包括训练部件406和/或测试部件408。例如,虚拟传感器数据和/或虚拟地面实况可以被用于训练或测试用于检测、识别、确定护柱接收器或其他对象的一个或多个性质的神经网络、深度神经网络和/或卷积神经网络。例如,机器学习算法或模型可以被训练或测试以包括在图1的自动驾驶/辅助系统102中。在一个实施例中,虚拟传感器数据和/或虚拟地面实况可以被用于训练或测试神经网络、深度神经网络和/或卷积神经网络,以用于确定如何在护柱接收器的存在下操纵来避免对车辆的损坏。
现在参照图8,示出了用于生成虚拟传感器数据和地面实况的方法800的示意性流程图。方法800可以由模拟部件或用于传感器数据生成的系统(例如图4或7的模拟部件402或图4的用于传感器数据生成的系统400)来执行。
在802,方法800开始,并且环境部件702模拟包含一个或多个护柱接收器或其他对象的三维(3D)环境。在804,虚拟传感器部件704生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据。在806,地面实况部件706确定对应于多个位置中的每一个的虚拟地面实况。该地面实况可以包括关于虚拟传感器数据内至少一个护柱接收器(例如具有在图像或其他传感器数据中捕获的一个或多个特征的护柱接收器)的信息。该信息可以包括关于在此所讨论的护柱接收器或其他对象的任何信息,例如护柱接收器的尺寸、位置或取向。例如,地面实况可以包括护柱接收器或其他对象中至少一个的高度。在808,存储部件708存储并关联虚拟传感器数据和虚拟地面实况。该方法还可以包括模型部件710将虚拟传感器数据和/或虚拟地面实况提供到训练部件406或测试部件408(见图4)以用于训练或测试机器学习算法或模型。在训练和/或测试模型(例如深度神经网络)之后,该模型可以被包括在图1的车辆控制系统100中以用于在真实世界驾驶条件期间进行对象或护柱接收器主动检测和尺寸估算。
示例
以下示例涉及另外的实施例。
示例1是一种方法,该方法包括模拟包括一个或多个对象(例如护柱接收器)的3D环境。该方法包括生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据。该方法包括确定对应于多个位置中的每一个的虚拟地面实况。该地面实况包括关于传感器数据内至少一个护柱接收器的信息。例如,该地面实况可以包括至少一个护柱接收器的高度。该方法还包括存储和关联虚拟传感器数据和虚拟地面实况。
在示例2中,示例1的方法进一步包括提供虚拟传感器数据和虚拟地面实况中的一个或多个以用于训练或测试机器学习算法或模型。
在示例3中,在示例2中训练机器学习算法或模型包括提供虚拟传感器数据的至少一部分和相应的虚拟地面实况来训练机器学习算法或模型以确定在虚拟传感器数据的部分内表示的护柱接收器的高度和位置中的一个或多个。
在示例4中,示例2-3的任一个中训练机器学习算法或模型包括提供虚拟传感器数据的至少一部分到机器学习算法或模型以确定至少一个护柱接收器的位置或高度并且将位置或高度与虚拟地面实况进行比较。
在示例5中,示例2-4的任一个中测试机器学习算法或模型包括提供虚拟传感器数据的至少一部分到机器学习算法或模型以确定至少一个对象的分类或位置并且将分类或位置与虚拟地面实况进行比较。
在示例6中,示例1-5的任一个中的多个位置对应于车辆上传感器的规划位置,例如相对于地面表面的规划高度或角度。
在示例7中,示例1-6的任一个中的虚拟传感器数据包括下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据、和计算机生成的超声数据。
在示例8中,示例1-7的任一个中模拟3D环境包括随机生成针对下列中的一个或多个的不同条件:照明、天气、一个或多个护柱接收器的位置、以及一个或多个对象的高度或类型。
在示例9中,示例1-8的任一个中生成虚拟传感器数据包括在模拟3D环境内一个或多个传感器的模拟运动期间周期性地生成虚拟传感器数据。
在示例10中,示例1-9的任一个中确定虚拟地面实况包括生成与虚拟传感器数据的帧互补的地面实况帧,其中该地面实况帧包括针对对应于一个或多个对象的像素的相同颜色值。
在示例11中,示例1-10的任一个中确定虚拟地面实况包括相对于虚拟传感器数据的帧或部分确定和记录以下中的一个或多个:虚拟传感器数据的帧中的至少一个护柱接收器的像素位置、虚拟传感器数据的帧中围绕至少一个护柱接收器的边界框的大小、至少一个护柱接收器相对于3D环境中的车辆或传感器的模拟位置、以及至少一个护柱接收器相对于3D环境中的地面表面的模拟高度。
示例12是一种系统,该系统包括环境部件、虚拟传感器部件、地面实况部件和模型部件。环境部件被配置为模拟包含一个或多个护柱接收器的3D环境。虚拟传感器部件被配置为生成针对3D环境内一个或多个传感器的多个位置的虚拟传感器数据。地面实况部件被配置为确定对应于多个位置中的每一个的虚拟地面实况,其中该地面实况包括关于一个或多个护柱接收器中至少一个护柱接收器的信息。模型部件被配置为提供虚拟感知数据和地面实况到机器学习算法或模型以训练或测试机器学习算法或模型。
在示例13中,示例12中的模型部件被配置为训练机器学习算法或模型,其中训练包括提供虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练机器学习算法或模型以识别或确定至少一个护柱接收器的位置。
在示例14中,示例12-13的任一个中的模型部件被配置为测试机器学习算法或模型。测试包括提供虚拟传感器数据的至少一部分到机器学习算法或模型以识别或确定至少一个护柱接收器或对象的位置并且将护柱接收器的标识、存在或位置与虚拟地面实况进行比较。
在示例15中,示例12-14的任一个中的虚拟传感器部件被配置为生成虚拟传感器数据,该虚拟传感器数据包含下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据和计算机生成的超声数据。
在示例16中,示例12-15的任一个中的环境部件被配置为通过随机生成针对多个位置中的一个或多个的不同条件来模拟3D环境,其中不同条件包含下列中的一个或多个:照明条件、天气条件、一个或多个护柱接收器的位置、以及一个或多个护柱接收器的尺寸。
示例17是一种计算机可读存储介质,该计算机可读存储介质存储指令,当指令由一个或多个处理器执行时,指令使一个或多个处理器生成针对模拟的3D环境内多个传感器位置的虚拟传感器数据,该模拟的3D环境包含一个或多个虚拟护柱接收器。该指令使一个或多个处理器确定针对多个位置中的每一个的一个或多个模拟条件,其中模拟条件包含一个或多个护柱接收器中至少一个护柱接收器的存在、位置和尺寸中的一个或多个。该指令使一个或多个处理器存储虚拟传感器数据与模拟条件并且通过模拟条件注释传感器数据。
在示例18中,示例17中的指令进一步使一个或多个处理器基于虚拟传感器数据和模拟条件中的一个或多个来训练或测试机器学习算法或模型。
在示例19中,示例17-18的任一个中的指令进一步使处理器执行下列操作中的一个或多个:通过以下方式训练机器学习算法或模型,即提供虚拟传感器数据的至少一部分和对应的模拟条件以训练机器学习算法或模型以确定至少一个护柱接收器的存在、位置和尺寸中的一个或多个;以及通过以下方式测试机器学习算法或模型,即将虚拟传感器数据的至少一部分提供到机器学习算法或模型以确定至少一个护柱接收器的分类、位置和尺寸中的一个或多个并且将所确定的至少一个护柱接收器的分类、位置和尺寸与模拟条件进行比较。
在示例20中,示例17-19的任一个中生成虚拟传感器数据包括通过针对多个位置中的一个或多个使模拟条件中的一个或多个随机化来模拟3D环境,其中使一个或多个模拟条件随机化包含使下列中的一个或多个随机化:照明条件、天气条件、一个或多个虚拟护柱接收器的位置、以及一个或多个虚拟对象的尺寸。
在示例21中,示例17-20的任一个中通过模拟条件注释虚拟传感器数据包括存储列出虚拟传感器数据的每个帧的模拟条件中的一个或多个的记录文件。
示例22是一种系统或装置,该系统或装置包括用于实施示例1-21的任一个中的方法或实现示例1-21的任一个中的系统或装置的手段。
在以上公开内容中,参照附图,附图形成本发明的一部分并且在附图中通过例证示出可以实践本发明的特定实施方式。应当理解的是,在不脱离本发明的范围的前提下,可以利用其他实施方式并且可以进行结构变化。说明书中引用的“一个实施例”、“一实施例”,“一个示例实施例”等表明所描述的实施例可以包括特定特征、结构或特性,但每一个实施例可能未必包括特定特征、结构或特性。另外,这样的短语未必是指同一实施例。此外,当特定特征、结构、或特性关于一个实施例进行描述时,可以主张的是,无论是否明确描述,关于其他实施例改变这样的特征、结构或特性在本领域技术人员的知识的范围之内。
如本文所使用的,“自主车辆”可以是完全独立于人类驾驶员作用或操作的车辆;或者可以是在一些情况下独立于人类驾驶员作用或操作的车辆而在其他情况下人类驾驶员可以能够操作车辆;或者可以是主要由人类驾驶员操作但是具有自动驾驶/辅助系统的辅助的车辆。
本文所公开的系统、装置和方法的实施方式可以包含或利用专用或通用计算机,该专用或通用计算机包括计算机硬件,例如,一个或多个处理器和系统存储器,如本文所讨论的。在本发明的范围内的实施方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此,举例来说,而非限制,本发明的实施方式可以包含至少两种明显不同种类的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如,基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储设备、或者可以被用于存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。
本文所公开的装置、系统和方法的实施方式可以在计算机网络上进行通信。“网络”被定义为允许电子数据在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供到计算机时,计算机适当地将该连接视为传输介质。传输介质可以包括可以被用于承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问的网络和/或数据链路。上述组合也应该被包括在计算机可读介质的范围之内。
计算机可执行指令包含例如指令和数据,当该指令和数据在处理器中执行时,使通用计算机、专用计算机、或专用处理装置来执行某些功能或功能组。计算机可执行指令可以是例如二进制、例如汇编语言的中间格式指令、或甚至源代码。虽然本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述,但是应当理解的是,在所附权利要求中限定的发明主题不一定局限于所描述的特征或以上所述的动作。相反地,所描述的特征和动作被公开作为实施权利要求的示例形式。
本领域技术人员将领会的是,本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践,包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等等。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践,本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线和无线数据链路的组合)。在分布式系统环境中,程序模块可以位于本地和远程存储器存储装置中。
此外,在适当情况下,本文所描述的功能可以在下列中的一种或多种中执行:硬件、软件、固件、数字部件、或模拟部件。例如,一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个说明书和权利要求书中,某些术语被用来指代特定的系统部件。本领域技术人员将领会的是,部件可以通过不同的名称来称呼。本文不旨在区分名称不同但作用相同的部件。
应当指出的是,以上所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如,传感器可以包括被配置为在一个或多个处理器中执行的计算机代码,并且可以包括由计算机代码控制的硬件逻辑/电子电路。本文提供这些示例装置是为了说明的目的,并不旨在进行限制。本发明的实施例可以在其他类型的装置中实施,如相关领域技术人员将已知的那样。
本发明的至少一些实施例涉及包含存储在任何计算机可用介质上的这样的逻辑(例如,以软件的形式)的计算机程序产品。这样的软件,当在一个或多个数据处理装置中执行时,使装置如本文所描述的那样操作。
虽然以上已经描述了本发明的各种实施例,但是应当理解的是,它们已仅通过举例的方式呈现,而非限制。对相关领域的技术人员来说将显而易见的是,形式和细节的各种改变可以在不脱离本发明的精神和范围的前提下进行。因此,本发明的广度和范围不应该被上述示例性实施例中的任一个限制,而是应该仅根据下面的权利要求书及其等同物来限定。为了说明和描述的目的,前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导,许多修改和变化是可能的。此外,应该指出的是,上述替代实施方式中的任一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施方式。
此外,虽然本发明的特定实施方式已被描述和说明,但是本发明不被限于所描述和所说明的特定的形式或部件的布置。本发明的范围由所附的权利要求、本申请中和不同申请中所提交的任何未来的权利要求及其等同物来限定。
Claims (15)
1.一种方法,包含:
模拟包含一个或多个护柱接收器的三维(3D)环境;
生成针对所述3D环境内的一个或多个传感器的多个位置的虚拟传感器数据;
确定对应于所述多个位置中的每一个的虚拟地面实况,所述地面实况包含关于所述虚拟传感器数据内表示的至少一个护柱接收器的信息;以及
存储和关联所述虚拟传感器数据和所述虚拟地面实况。
2.根据权利要求1所述的方法,进一步包含提供所述虚拟传感器数据和所述虚拟地面实况中的一个或多个以用于训练或测试机器学习算法或模型。
3.根据权利要求2所述的方法,其中训练所述机器学习算法或模型包含提供所述虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练所述机器学习算法或模型,以确定所述虚拟传感器数据的所述部分内表示的护柱接收器的高度和位置中的一个或多个。
4.根据权利要求2所述的方法,其中测试所述机器学习算法或模型包含将所述虚拟传感器数据的至少一部分提供到所述机器学习算法或模型以确定所述至少一个护柱接收器的位置或高度,并且将所述位置或高度与所述虚拟地面实况进行比较。
5.根据权利要求1所述的方法,其中所述多个位置对应于车辆上传感器的规划高度或角度。
6.根据权利要求1所述的方法,其中包含下列中的一个或多个:
所述虚拟传感器数据包含下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的LIDAR数据以及计算机生成的超声数据;
模拟所述3D环境包含随机生成针对下列中的一个或多个的不同条件:照明、天气、所述一个或多个护柱接收器的位置、以及所述一个或多个护柱接收器的高度或大小;
生成所述虚拟传感器数据包含在所述3D环境内所述一个或多个传感器的模拟运动期间周期性地生成所述虚拟传感器数据;
确定所述虚拟地面实况包含生成与所述虚拟传感器数据的帧互补的地面实况帧,其中所述地面实况帧包含针对对应于所述一个或多个护柱接收器的像素的相同颜色值。
7.根据权利要求1所述的方法,其中确定所述虚拟地面实况包含相对于所述虚拟传感器数据的帧或部分来确定和记录下列中的一个或多个:
针对所述虚拟传感器数据的帧中的所述至少一个护柱接收器的像素位置;
虚拟传感器数据的帧中围绕所述至少一个护柱接收器的边界框的大小;
所述至少一个护柱接收器相对于所述3D环境中的车辆或传感器的模拟位置;以及
所述至少一个护柱接收器相对于所述3D环境中的地面表面的模拟高度。
8.一种系统,包含:
环境部件,所述环境部件被配置为模拟包含一个或多个护柱接收器的三维(3D)环境;
虚拟传感器部件,所述虚拟传感器部件被配置为生成针对所述3D环境内一个或多个传感器的多个位置的虚拟传感器数据;
地面实况部件,所述地面实况部件被配置为确定对应于所述多个位置中的每一个的虚拟地面实况,其中所述地面实况包含关于所述一个或多个护柱接收器中的至少一个护柱接收器的信息;以及
模型部件,所述模型部件被配置为提供所述虚拟感知数据和所述地面实况到机器学习模型或算法以训练或测试所述机器学习模型或算法。
9.根据权利要求8所述的系统,其中所述模型部件被配置为训练所述机器学习算法或模型,其中所述训练包含:
提供所述虚拟传感器数据的至少一部分和对应的虚拟地面实况以训练所述机器学习算法或模型,以识别或确定所述至少一个护柱接收器的位置。
10.根据权利要求8所述的系统,其中所述模型部件被配置为测试所述机器学习算法或模型,其中所述测试包含:
将所述虚拟传感器数据的至少一部分提供到所述机器学习算法或模型以识别或确定所述至少一个护柱接收器的位置;以及
将所述护柱接收器的标识或所述位置与所述虚拟地面实况进行比较。
11.根据权利要求8所述的系统,其中包含下列中的一个或多个:
所述虚拟传感器部件被配置为生成虚拟传感器数据,所述虚拟传感器数据包含下列中的一个或多个:计算机生成的图像、计算机生成的雷达数据、计算机生成的光探测和测距(LIDAR)数据和计算机生成的超声数据;以及
所述环境部件被配置为通过随机生成针对所述多个位置中的一个或多个的不同条件来模拟所述3D环境,其中所述不同条件包含下列中的一个或多个:照明条件、天气条件、所述一个或多个护柱接收器的位置、或所述一个或多个护柱接收器的尺寸。
12.一种计算机可读存储介质,所述计算机可读存储介质存储指令,当所述指令由一个或多个处理器执行时,所述指令使所述一个或多个处理器:
生成针对模拟的三维(3D)环境内多个传感器位置的虚拟传感器数据,所述模拟的3D环境包含一个或多个护柱接收器;
确定针对所述多个位置中的每一个的一个或多个模拟条件,其中所述模拟条件包含所述一个或多个护柱接收器中的至少一个护柱接收器的存在、位置和尺寸中的一个或多个;以及
存储所述虚拟传感器数据与所述模拟条件并且通过所述模拟条件注释所述虚拟传感器数据。
13.根据权利要求12所述的计算机可读存储器,其中所述指令进一步使所述一个或多个处理器基于所述虚拟传感器数据和所述模拟条件中的一个或多个来训练或测试机器学习算法或模型。
14.根据权利要求13所述的计算机可读存储器,其中包含下列中的一个或多个:
所述指令使所述一个或多个处理器通过以下方式来训练所述机器学习算法或模型:提供所述虚拟传感器数据的至少一部分和对应的模拟条件来训练所述机器学习算法或模型以确定所述至少一个护柱接收器的存在、位置和尺寸中的一个或多个;以及
所述指令使所述一个或多个处理器通过以下方式来测试所述机器学习算法或模型:
将所述虚拟传感器数据的至少一部分提供到所述机器学习算法或模型以确定所述至少一个护柱接收器的存在、位置和尺寸中的一个或多个;并且
将所确定的所述至少一个护柱接收器的存在、位置或尺寸与所述模拟条件进行比较。
15.根据权利要求12所述的计算机可读存储器,其中包含下列中的一个或多个:
生成所述虚拟传感器数据包含通过针对所述多个位置中的一个或多个使所述模拟条件中的一个或多个随机化来模拟所述3D环境,其中使所述一个或多个模拟条件随机化包含使下列中的一个或多个随机化:照明条件、天气条件、所述一个或多个护柱接收器的位置、或所述一个或多个护柱接收器的尺寸;或者
通过所述模拟条件注释所述虚拟传感器数据包含存储列出针对所述虚拟传感器数据的每一个帧的所述模拟条件中的一个或多个的记录文件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/204,484 | 2016-07-07 | ||
US15/204,484 US20180011953A1 (en) | 2016-07-07 | 2016-07-07 | Virtual Sensor Data Generation for Bollard Receiver Detection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107589418A true CN107589418A (zh) | 2018-01-16 |
Family
ID=59676808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710532534.2A Pending CN107589418A (zh) | 2016-07-07 | 2017-07-03 | 用于护柱接收器检测的虚拟传感器数据生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20180011953A1 (zh) |
CN (1) | CN107589418A (zh) |
DE (1) | DE102017115197A1 (zh) |
GB (1) | GB2554148A (zh) |
MX (1) | MX2017008975A (zh) |
RU (1) | RU2017123627A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815555A (zh) * | 2018-12-29 | 2019-05-28 | 百度在线网络技术(北京)有限公司 | 自动驾驶车辆的环境建模能力评估方法及系统 |
CN113228042A (zh) * | 2018-12-28 | 2021-08-06 | 辉达公司 | 自主机器应用中障碍物检测的距离 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9836895B1 (en) | 2015-06-19 | 2017-12-05 | Waymo Llc | Simulating virtual objects |
CN109643125B (zh) * | 2016-06-28 | 2022-11-15 | 柯尼亚塔有限公司 | 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟 |
WO2018017973A1 (en) * | 2016-07-22 | 2018-01-25 | Sri International | Computational analysis of observations for determination of feedback |
WO2018235563A1 (ja) * | 2017-06-23 | 2018-12-27 | 株式会社村田製作所 | 位置推定システム |
JP6821048B2 (ja) * | 2017-10-06 | 2021-01-27 | 富士フイルム株式会社 | 画像処理装置、学習済みモデル生成方法、及び評価装置 |
US10916074B2 (en) * | 2018-07-16 | 2021-02-09 | Ford Global Technologies, Llc | Vehicle wheel impact detection |
CN109782908A (zh) * | 2018-12-29 | 2019-05-21 | 北京诺亦腾科技有限公司 | 一种在vr场景中模拟测量的方法及装置 |
US11676429B2 (en) | 2019-09-04 | 2023-06-13 | Ford Global Technologies, Llc | Vehicle wheel impact detection and response |
US11928399B1 (en) * | 2019-09-24 | 2024-03-12 | Zoox, Inc. | Simulating object occlusions |
CN115200917B (zh) * | 2022-09-18 | 2022-12-06 | 江苏壹心智能科技有限公司 | 一种设备运行出厂检测用测试舱 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008001256A1 (de) * | 2008-04-18 | 2009-10-22 | Robert Bosch Gmbh | Verkehrsobjekt-Erkennungssystem, Verfahren zum Erkennen eines Verkehrsobjekts und Verfahren zum Einrichten eines Verkehrsobjekt-Erkennungssystems |
DE102011050369A1 (de) * | 2011-05-16 | 2012-11-22 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Simulationssystem für Fahrerassistenzsysteme |
DE102013217430A1 (de) * | 2012-09-04 | 2014-03-06 | Magna Electronics, Inc. | Fahrerassistenzsystem für ein Kraftfahrzeug |
KR101515496B1 (ko) * | 2013-06-12 | 2015-05-04 | 국민대학교산학협력단 | 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템 |
-
2016
- 2016-07-07 US US15/204,484 patent/US20180011953A1/en not_active Abandoned
-
2017
- 2017-07-03 CN CN201710532534.2A patent/CN107589418A/zh active Pending
- 2017-07-05 RU RU2017123627A patent/RU2017123627A/ru not_active Application Discontinuation
- 2017-07-06 DE DE102017115197.4A patent/DE102017115197A1/de not_active Withdrawn
- 2017-07-06 GB GB1710915.8A patent/GB2554148A/en not_active Withdrawn
- 2017-07-06 MX MX2017008975A patent/MX2017008975A/es unknown
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113228042A (zh) * | 2018-12-28 | 2021-08-06 | 辉达公司 | 自主机器应用中障碍物检测的距离 |
CN109815555A (zh) * | 2018-12-29 | 2019-05-28 | 百度在线网络技术(北京)有限公司 | 自动驾驶车辆的环境建模能力评估方法及系统 |
CN109815555B (zh) * | 2018-12-29 | 2023-04-18 | 百度在线网络技术(北京)有限公司 | 自动驾驶车辆的环境建模能力评估方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
RU2017123627A (ru) | 2019-01-09 |
GB201710915D0 (en) | 2017-08-23 |
MX2017008975A (es) | 2018-01-08 |
DE102017115197A1 (de) | 2018-01-11 |
GB2554148A (en) | 2018-03-28 |
US20180011953A1 (en) | 2018-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107589418A (zh) | 用于护柱接收器检测的虚拟传感器数据生成 | |
CN107031656B (zh) | 用于车轮止动器检测的虚拟传感器数据生成 | |
CN109101690B (zh) | 用于渲染车辆自动驾驶模拟器中的场景的方法和装置 | |
US10453256B2 (en) | Lane boundary detection data generation in virtual environment | |
US10229231B2 (en) | Sensor-data generation in virtual driving environment | |
US20160210775A1 (en) | Virtual sensor testbed | |
US10852721B1 (en) | Autonomous vehicle hybrid simulation testing | |
US20160210383A1 (en) | Virtual autonomous response testbed | |
US11892847B2 (en) | Onboard use of scenario description language | |
GB2544634A (en) | Testbed for lane boundary detection in virtual driving environment | |
CN112740188A (zh) | 使用偏差进行基于日志的模拟 | |
CN108470147A (zh) | 使用单目摄像机和深度学习的自由空间检测 | |
CN112819968B (zh) | 基于混合现实的自动驾驶车辆的测试方法和装置 | |
US20170083794A1 (en) | Virtual, road-surface-perception test bed | |
CN110188482B (zh) | 一种基于智能驾驶的测试场景创建方法及装置 | |
US20220146277A1 (en) | Architecture for map change detection in autonomous vehicles | |
JP2008203913A (ja) | 交通流シミュレーション装置 | |
KR102648000B1 (ko) | 센서 공격 시뮬레이션 시스템 | |
CN110874610A (zh) | 一种使用机器学习的人类驾驶行为建模系统 | |
JP2007072224A (ja) | ドライビングシミュレータ | |
de la Peña et al. | AD PerDevKit: An autonomous driving perception development kit using CARLA simulator and ROS | |
Prakash et al. | Multiple Objects Identification for Autonomous Car using YOLO and CNN | |
Sural et al. | CoSim: A Co-Simulation Framework for Testing Autonomous Vehicles in Adverse Operating Conditions | |
KR102601833B1 (ko) | 게임 엔진에 기반한 자율주행 알고리즘 시뮬레이션 방법 및 시스템 | |
CN117454580A (zh) | 一种基于ue构建的应用于avp的vslam仿真系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180116 |
|
WD01 | Invention patent application deemed withdrawn after publication |