CN115526024A - 用于控制自主车辆的传感器数据生成 - Google Patents
用于控制自主车辆的传感器数据生成 Download PDFInfo
- Publication number
- CN115526024A CN115526024A CN202210721945.7A CN202210721945A CN115526024A CN 115526024 A CN115526024 A CN 115526024A CN 202210721945 A CN202210721945 A CN 202210721945A CN 115526024 A CN115526024 A CN 115526024A
- Authority
- CN
- China
- Prior art keywords
- autonomous vehicle
- sensor data
- sensor
- coordinate system
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000003068 static effect Effects 0.000 claims abstract description 32
- 230000007613 environmental effect Effects 0.000 claims abstract description 31
- 238000004088 simulation Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 6
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 5
- 101150052583 CALM1 gene Proteins 0.000 description 5
- 102100025580 Calmodulin-1 Human genes 0.000 description 5
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 5
- 101150091339 cam-1 gene Proteins 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 102100025579 Calmodulin-2 Human genes 0.000 description 3
- 101001077352 Homo sapiens Calcium/calmodulin-dependent protein kinase type II subunit beta Proteins 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 101000603877 Homo sapiens Nuclear receptor subfamily 1 group I member 2 Proteins 0.000 description 2
- 101001098529 Homo sapiens Proteinase-activated receptor 1 Proteins 0.000 description 2
- 101001098560 Homo sapiens Proteinase-activated receptor 2 Proteins 0.000 description 2
- 101000713170 Homo sapiens Solute carrier family 52, riboflavin transporter, member 1 Proteins 0.000 description 2
- 101000713169 Homo sapiens Solute carrier family 52, riboflavin transporter, member 2 Proteins 0.000 description 2
- 102100036863 Solute carrier family 52, riboflavin transporter, member 1 Human genes 0.000 description 2
- 102100036862 Solute carrier family 52, riboflavin transporter, member 2 Human genes 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Mathematics (AREA)
- Structural Engineering (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Civil Engineering (AREA)
- Architecture (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及用于生成用来控制环境中的自主车辆的传感器数据的方法和设备，所述自主车辆例如是工厂设施中的无人运输车量（自动引导车辆，AGV）。基于诸如BIM模型的环境模型、静态传感器和自主车辆的传感器在全局坐标系中的传感器位置定义该自主车辆。根据这些传感器位置，在该全局坐标系中为所有传感器集中生成传感器数据。然后将传感器数据变换到自主车辆的局部坐标系中并传送出去以控制自主车辆。
Description
技术领域
本发明涉及用于生成用来控制环境中的自主车辆的传感器数据的计算机实现的方法、设备和计算机程序产品，所述车辆例如是工厂设施中的无人运输车辆（英语：Automated Guided Vehicle；AGV）。
背景技术
工厂中的生产过程通常预先在虚拟环境中经过仿真（虚拟调试；英语：virtualcommissioning），以保证在设施的真实调试之前所有组件的正确交互、优化时间流程以及识别潜在的错误，例如碰撞。然而，这是一种挑战，特别是在诸如个性化生产的生产场景中，因为生产流程通常借助于动态组件、特别是诸如AGV的自主车辆进行。AGV例如可以在任何输出点接收材料并运输到任何位置以供进一步生产。然而，由此行为不再是确定性的并且因此无法提前仿真。AGV不再集成到固定预给定的流程中，因此必须通过传感器来确定其环境的状态并在必要时确定其位置。这通常由诸如相机、激光雷达或激光测距仪的光学传感器进行。为了在虚拟调试中对AGV进行真实测试和/或在真实生产环境中控制AGV，必须对应地给出来自这些传感器的数据，以便能够确定AGV对所述数据的正确反应。
发明内容
因此，本发明的任务是提供用于控制自主车辆的传感器数据。
该任务通过独立权利要求中描述的措施来解决。本发明的有利扩展在从属权利要求中给出。
根据第一方面，本发明涉及一种用于生成控制环境中的自主车辆的传感器数据的计算机实现的方法，在所述环境中存在至少一个另外的自主车辆，所述方法具有以下方法步骤：
a）读取所述环境的环境模型，其中
-所述环境模型具有全局坐标系，并且
-所述环境模型包括在所述环境中的静态传感器在所述全局坐标系中的第一传感器位置和在所述全局坐标系中的环境信息，以及所述静态传感器的传感器参数，
b）生成时间戳，
c）从耦合到所述自主车辆的传感器读取第二传感器位置和传感器参数，并以所述全局坐标系的坐标提供所述第二传感器位置，
d）根据相应的传感器参数和相应的第一或第二传感器位置以及在考虑以全局坐标系的坐标给出的环境信息的情况下，为所述静态传感器和所述自主车辆的传感器生成传感器数据，其中将生成的时间戳分配给生成的传感器数据，
e）选择至少一个自主车辆，
f）将生成的传感器数据变换到所选择的自主车辆的局部坐标系中，以及
g）将变换后的传感器数据发送到所选择的自主车辆的控制器，以根据变换后的传感器数据在所述环境中控制所选择的自主车辆。
只要在以下描述中没有另外说明，术语“执行”、“计算”、“计算机辅助”、“计算”、“确定”、“生成”、“配置”、“重构”等优选地就涉及改变和/或产生数据和/或将数据转换成其他数据的操作和/或过程和/或处理步骤，其中所述数据特别是表示为物理变量或以物理变量存在，例如电脉冲。特别地，术语“计算机”应尽可能宽泛地解释，以特别是涵盖所有具有数据处理特性的电子设备。因此，计算机可以是例如个人计算机、服务器、可编程逻辑控制器（SPS）、手持计算机系统、掌上电脑设备、移动无线电设备和其他可以计算机辅助地处理数据的通信设备、处理器和其他用于处理数据的电子设备。
结合本发明，“存储单元”可以例如理解为工作存储器（英语：Random-AccessMemory，RAM）形式的易失性存储器或诸如硬盘或数据载体的永久存储器。
结合本发明，“模块”可以例如理解为用于存储程序指令的处理器。例如，所述处理器专门设置为执行程序指令，使得所述处理器执行功能以实施或实现根据本发明的方法或根据本发明的方法的步骤。
“提供”，特别是关于数据和/或信息，可以结合本发明例如理解为以计算机辅助的方式提供。所述提供例如经由接口进行，例如网络接口、通信接口或到存储单元的接口。经由这样的接口，例如可以在提供时传送和/或发送和/或调用和/或接收对应的数据和/或信息。
“技术系统”特别是可以理解为机器、设备或者还可以理解为包括多个机器的设施。例如，技术系统是生产机器或机床。
结合本发明，“环境”可以是例如建筑物/建筑，例如工厂设施或生产设施，或交通基础设施。环境例如通过环境特征或环境信息表征，例如路线、墙壁、转角、障碍物等。
结合本发明，“环境模型”特别是可以理解为包括环境的信息、特征和/或特性的计算机辅助/计算机可读的模型或仿真模型。利用环境模型特别是可以计算机辅助地仿真或映射环境。例如，环境模型可以是建筑的建筑模型、（交通）基础设施的基础设施模型或建筑物的建筑物模型，例如工厂设施/生产设施的模型。环境模型优选地包括环境信息，例如路线/路径、障碍物等。环境信息也可以理解为建筑数据/建筑物数据。
“传感器”特别是可以理解为检测器、测量变量传感器或测量传感器或感测元件。物理传感器特别是定量检测/测量物理变量的硬件组件或硬件部件（硬件传感器）。传感器输出测量值或测量变量值。静态传感器特别是具有固定的位置和/或预给定的视场。
“时间戳”特别是可以理解为数字时间戳。时间戳可以特别是用于为事件分配明确的时间点。优选地，可以产生和使用全局有效的时间戳。
本发明的一个优点在于，对于给定的时间点，可以全局地为多个自主车辆共同和同时生成传感器数据。在此，传感器数据是基于提供全局坐标系的环境模型生成的。以这种方式生成的传感器数据可以针对单个车辆在考虑不断变化的传感器位置和必要时的时间延迟的情况下进行转换。为此，将生成的传感器数据变换到自主车辆的局部坐标系中。
本发明特别是使得可以生成用于控制自主车辆的传感器数据。例如，所述传感器数据可以用于控制和/或虚拟调试工厂或生产设施中的AGV。为了进行虚拟调试，优选以计算机辅助方式仿真传感器数据。替代地，传感器数据也可以为了真实地控制自主车辆而集中生成，并经由通信网络传送到各个自主车辆。从而单个自主车辆可以获得来自未分配给或耦合到该车辆的传感器的信息。这特别是改善了车辆的视场，因此也改善了控制的准确性。
在该方法的一个实施方式中，所述环境模型可以是计算机可读的建筑物模型。
优选地，计算机可读的建筑物模型是所谓的BIM模型（Building InformationModelling，简称BIM），即用于数字建筑物建模的建筑物信息模型。BIM模型优选地包括静态安装的传感器的传感器位置以及相应传感器的类型和另外的传感器参数。BIM模型可以用于设定参与的自主车辆可以在其中运动的全局坐标系。
在该方法的另一实施方式中，可以针对时间戳集中为所述静态传感器和所述自主车辆的传感器生成所述传感器数据。
例如，可以在中央计算单元上生成传感器数据，所述中央计算单元优选地耦合到所有可用的传感器以进行数据交换。替代地，可以为所有可用的传感器集中仿真传感器数据。因此，传感器数据在全局坐标系中集中给出。
在该方法的另一实施方式中，可以以预给定的时间步长更新所述时间戳，并且可以针对更新的时间戳重新生成所述传感器数据。
从而对于每个时间步长都会生成可以用于控制至少一个自主车辆的传感器数据。
在该方法的另一个实施方式中，可以在考虑用于将传感器数据发送到所选择的自主车辆的发送等待的情况下将所述传感器数据变换到所选择的自主车辆的局部坐标系中。
由此可以针对预给定的时间步长来预测传感器数据。例如可以通过这种方式推断运动。
在该方法的另一个实施方式中，可以根据被分配了先前时间戳的生成的传感器数据将传感器数据变换到所选择的自主车辆的局部坐标系中。
由此，例如可以确定检测到的对象的速度并在坐标变换时予以考虑。
在该方法的另一实施方式中，可以借助于计算机辅助的传感器仿真来生成所述传感器数据。
借助于计算机辅助的传感器仿真可以由建模的传感器生成数据。特别是可以根据例如由环境模型提供的环境信息来执行传感器仿真。例如，利用传感器仿真，可以计算机辅助地仿真传感器在预给定位置根据预给定的传感器类型、视场、灵敏度等检测到的数据。换句话说，计算机辅助的传感器仿真例如在考虑环境信息的情况下提供传感器的输出值。特别是可以在传感器仿真中考虑另外的信息，例如车辆的速度、转向运动等。
在该方法的另一个实施方式中，可以降低所生成的传感器数据的至少一部分的质量，并且可以将修改后的传感器数据以较低质量变换到所选择的自主车辆的局部坐标系中。
例如，可以将噪声信号调制到生成的传感器数据上和/或可以（人为地）限制相应传感器的视场。特别是在借助于计算机辅助的传感器仿真生成传感器数据时，可以以这种方式修改生成的数据并由此更真实地显示生成的数据。
在该方法的另一个实施方式中，可以根据所选择的自主车辆在全局坐标系中的位置来过滤生成的传感器数据，并且仅将过滤后的传感器数据变换到所选择的自主车辆的局部坐标系中并传送到所选择的自主车辆。
这特别是使得可以仅将那些与车辆相关的传感器数据传送到车辆。
在该方法的另一实施方式中，所述静态传感器和自主车辆的传感器和/或所述自主车辆可以经由通信网络相互连接。
例如，这样的通信网络可以是5G网络。通过联网可以集中生成传感器数据，然后传送到相应的车辆。
在该方法的另一个实施方式中，可以根据变换后的传感器数据在仿真环境中控制所选择的自主车辆。
例如，这可以是自主车辆的虚拟调试。为此可以仿真自主车辆在环境中的运动，其中所仿真的传感器数据用于控制自主车辆的反应。
在该方法的另一个实施方式中，所述环境可以是工厂设施并且所述自主车辆可以是无人运输车辆（英语：Automated Guided Vehicles，AGV）。
根据第二方面，本发明涉及一种用于生成用来控制环境中的自主车辆的传感器数据的设备，在所述环境中存在至少一个另外的自主车辆，其中所述设备包括：
a）第一接口，所述第一接口被设置为读取所述环境的环境模型，其中
-所述环境模型具有全局坐标系，并且
-所述环境模型包括在所述环境中的静态传感器在所述全局坐标系中的第一传感器位置和在所述全局坐标系中的环境信息，以及所述静态传感器的传感器参数，
b）时间戳生成器，所述时间戳生成器被设置为生成时间戳，
c）第二接口，所述第二接口被设置为从耦合到所述自主车辆的传感器读取第二传感器位置和传感器参数，并以所述全局坐标系的坐标提供所述第二传感器位置，
d）传感器数据生成器，所述传感器数据生成器被设置为根据相应的传感器参数和相应的第一或第二传感器位置以及在考虑以所述全局坐标系的坐标给出的环境信息的情况下，为所述静态传感器和所述自主车辆的传感器生成传感器数据，其中将生成的时间戳分配给生成的传感器数据，
e）选择模块，所述选择模块被设置为选择至少一个自主车辆，
f）变换模块，所述变换模块被设置为将生成的传感器数据变换到所选择的自主车辆的局部坐标系中，以及
g）发送模块，所述发送模块被设置为将变换后的传感器数据发送到所选择的自主车辆的控制器，以根据变换后的传感器数据控制所述环境中所选择的自主车辆。
特别地，所述设备可以例如经由通信网络与所选择的自主车辆的控制器耦合，以传送所述传感器数据。
此外，本发明涉及一种可以直接加载到可编程计算机中的计算机程序产品，包括程序代码部分，当所述程序由计算机执行时，所述程序代码部分促使所述计算机执行根据本发明的方法的步骤.
计算机程序产品可以例如提供或交付在存储介质上，例如存储卡、USB棒、CD-ROM、DVD、非易失性/永久存储介质（英语：Non-transitory storage medium），或者以可从网络中的服务器下载的文件的形式提供或交付。
附图说明
本发明的实施例在附图中示例性示出并且基于以下描述进行更详细的解释。其中：
图1示出了根据本发明的方法的第一实施例；
图2示出了根据本发明的设备的第一实施例；
图3示出了根据本发明的设备的第二实施例；
图4示出了根据本发明的方法的第二实施例；和
图5示出了根据本发明的方法的第三实施例。
在所有图中，彼此对应的部件都设有相同的附图标记。
具体实施方式
特别地，以下实施例仅示出了特别是根据本发明的教导的这种实现可能看起来如何的示例性实现可能性，因为命名所有这些实现可能性是不可能的并且对于理解本发明来说也不是有利的或必要的。
特别是具有方法权利要求知识的（相关）专家当然也知道现有技术中惯用的用于实现本发明的所有可能性，从而特别是不需要在说明书中单独公开。
特别地，这些常规的以及本领域技术人员已知的实现变型可以仅通过硬件（组件）或仅通过软件（组件）来实现。替代和/或附加地，本领域技术人员可以在其专业能力范围内尽可能选择硬件（组件）和软件（组件）的任何根据本发明的组合，以实现根据本发明的实现变型。
图1示出了作为根据本发明的用于生成用来控制环境中的自主车辆的传感器数据的方法的第一实施例的流程图。例如，可以计算机辅助地仿真对环境中自主车辆的控制。例如，所述环境可以是建筑物或交通基础设施。在所述环境中优选地存在大量自主车辆（英语：autonomous vehicles，AV），例如无人运输车辆（英语：automated guided vehicles，AGV）。
应当产生可以用于控制这些自主车辆之一的传感器数据。例如，可以基于传感器数据在仿真的环境中（虚拟地）控制自主车辆，即可以基于生成的传感器数据对环境中的自主车辆的运动和/或控制进行计算机辅助的仿真。替代地，生成的传感器数据也可以用于在真实环境中控制自主车辆。
在第一步骤S1中，读取环境的环境模型。例如，环境模型是建筑物的BIM模型。所述环境模型具有全局坐标系，即特别是在该坐标系中给出了诸如路线、墙壁、障碍物等环境特征的位置并存储在环境模型中。此外，所述环境模型包括所述环境中静态传感器（例如固定安装的相机）的第一传感器位置，并且所述环境模型包括静态传感器的传感器参数。静态传感器特别是不可移动的，即优选地不改变其传感器位置和/或其视场。例如，传感器参数可以是视场、灵敏度、传感器类型、分辨率等。传感器参数优选被明确地分配给相应的传感器。
优选地，环境模型包括环境中的静态传感器（例如建筑物或建筑物中的静态传感器）的所有传感器信息。
在下一步骤S2中生成时间戳。优选地针对该时间戳执行随后的步骤S3到S7，即，在更新时间戳时针对更新的时间戳重复这些步骤。
在下一步骤S3中，从耦合到自主车辆的传感器读取第二传感器位置和传感器参数。自主车辆优选地包括传感器，例如相机或距离测量仪，所述传感器例如安装在相应的自主车辆上。因此，相应传感器的传感器位置取决于相应车辆的位置。自主车辆的传感器也可以称为可移动传感器，因为这些传感器的传感器位置和/或视场可以随时间变化。提供自主车辆的传感器的传感器位置和/或自主车辆的位置以用于在全局坐标系的坐标下所生成的时间戳。
在下一步骤S4中，为静态传感器和自主车辆的（可移动）传感器根据相应传感器的相应传感器参数并且根据以全局坐标系的坐标给出的静态传感器的相应第一传感器位置或可移动传感器的第二传感器位置以及在考虑环境信息的情况下生成传感器数据。此外，将生成的时间戳分配给生成的传感器数据。换句话说，传感器数据是针对该时间步长生成的，并且获得生成的时间戳。
例如，为固定安装在自主车辆上的相机生成传感器数据，即生成由相机根据相机位置、相机视野、相机灵敏度等输出的数据。在生成传感器数据时，特别是考虑环境信息，例如障碍物。因此，如果障碍物在给定时间点位于相机视场中，则生成的相机数据可以包括障碍物或关于所述障碍物的信息。
为所有现有传感器生成传感器数据，其中考虑环境的来自环境模型的环境信息。此外，在生成传感器数据时可以考虑自主车辆的位置信息。
优选地，传感器数据集中生成和提供。传感器数据例如可以借助于传感器仿真集中生成。
在下一步骤S5中，选择自主车辆中的至少一个。该选择可以基于预给定的顺序、基于选择标准或随机地进行。
在下一步骤S6中，将生成的传感器数据变换到所选择的自主车辆的局部坐标系中。从而例如将静态相机的传感器数据变换到所选择车辆的坐标系中，从而从车辆的角度给出该数据。
在下一步骤S7中，将变换后的传感器数据传送到所选择的自主车辆的控制器。
在下一步骤S8中，可以在环境中根据变换后的传感器数据来控制所选择的车辆。替代地或附加地，变换后的传感器数据可以用于训练人工智能，例如人工神经网络，所述人工神经网络例如设置为支持自主车辆的控制。从而基于生成的传感器数据可以训练机器学习方法，该机器学习方法可以更好地做出预测以结合仿真进行规划，并适配于特殊环境的事件和习惯。例如，可以使用由人工智能和仿真模型组成的混合模型预测控制方案。
图2以示意图示出了根据本发明的用于生成用来控制环境中的自主车辆AGV1的传感器数据的设备100的实施例。例如大量自主车辆在诸如工厂设施或交通基础设施的环境中运动。为了控制自主车辆需要传感器数据。设备100被设置成为自主车辆AGV集中生成和输出这样的传感器数据。
设备100例如可以借助于传感器仿真SIM生成传感器数据。生成的或仿真的传感器数据例如可以用于对自主车辆的运动和/或控制进行计算机辅助的仿真，例如用于自主车辆的虚拟调试。
替代地，设备100可以为自主车辆AGV集中生成和提供传感器数据。为此，设备100可以优选地经由5G通信网络与环境中的自主车辆AGV和/或环境中的静态传感器联网。
设备100包括第一接口IF1、第二接口IF2、时间戳生成器TGEN、传感器数据生成器SGEN、选择模块SEL、变换模块TRANS和发送模块OUT。
第一接口IF1被设置为读取环境的环境模型BIM，其中环境模型BIM具有全局坐标系，并且环境模型包括环境中的静态传感器在该全局坐标系中的第一传感器位置POS1和在该全局坐标系中的环境信息，以及这些静态传感器的传感器参数PAR1。例如，环境模型可以是环境的数字信息模型。例如，如果环境是建筑物/建筑，则环境模型是BIM模型。例如，环境可以是AGV在其中运动的生产设施。
时间戳生成器TGEN被设置为生成全局时间戳TS。需要时间戳TS来为生成的传感器数据分配明确的全局时间点。时间戳可以按预给定的时间步长更新。在更新时间戳TS时，针对更新后的时间戳重新生成传感器数据。
第二接口IF2被设置为从耦合到自主车辆AGV的传感器读取第二传感器位置POS2和传感器参数PAR2，并以全局坐标系的坐标提供第二传感器位置。
传感器数据生成器SGEN被设置成为静态传感器和自主车辆的传感器根据相应的传感器参数PAR1、PAR2和以全局坐标系的坐标给出的相应第一或第二传感器位置POS1、POS2生成传感器数据DATA，其中将生成的时间戳TS分配给生成的传感器数据。
可以例如借助于计算机辅助的传感器仿真SIM产生传感器数据DATA。此外，生成的传感器数据的质量可以降低并以这种方式提供。由此仿真的传感器数据的质量可以仿真真实数据的真实质量。
特别地，可以基于生成的传感器数据来检测至少一个环境特征。例如，环境特征可以是障碍物、墙壁、窄点等。环境特征也可以是在环境中运动的人。从而可以用全局坐标系的坐标提供环境特征的位置。
选择模块SEL被设置为选择至少一个自主车辆并将关于该选择的信息I1传送到变换模块TRANS。
变换模块TRANS被设置为将生成的传感器数据DATA和/或检测到的环境特征变换到所选择的自主车辆AGV1的局部坐标系中。在坐标变换的情况下，特别是可以考虑在将传感器数据传送到所选择的车辆时出现的发送等待。对于所述变换，向变换模块TRANS传送关于所选择车辆的信息I1和至少针对有效时间戳的所选择车辆的位置。变换模块TRANS优选地将与所选择车辆AGV1相关的所有传感器数据DATA变换到所选择的自主车辆AGV1的局部坐标系中。例如，生成的传感器数据DATA可以根据所选择的自主车辆在全局坐标系中的位置加以过滤，并且只有过滤后的传感器数据DATA可以变换到所选择的自主车辆AGV1的局部坐标系中并传送到所选择的自主车辆AGV1。
特别地，传感器数据DATA也可以根据先前生成的、分配有先前时间戳的另外的传感器数据变换到所选择的自主车辆的局部坐标系中。例如，可以基于先前生成的传感器数据来推断针对当前时间戳的新传感器数据。
如果基于传感器数据检测到环境特征，则特别是可以仅将所述环境特征变换到局部坐标系中。
发送模块OUT被设置为将变换后的传感器数据DATA*传送到所选择的自主车辆AGV1的控制器，用于根据变换后的传感器数据DATA*控制环境中的所选择的自主车辆。
图3以示意图示出了根据本发明的用于生成用来控制环境中的自主车辆的传感器数据的设备100的另一实施例，在所述环境中存在至少一个另外的自主车辆。例如，所述环境是自主运输车辆AGV1、AGV2、AGV3、AGV4在其中运动的工厂。
设备100特别是可以被设置用于借助于传感器仿真来生成传感器数据。图2示出了这样的仿真系统的逻辑结构。传感器数据不是从单个自主运输车辆AGV1、AGV2、AGV3、AGV4的角度仿真的，而是同时针对所有运输车辆集中仿真的。为此，自主车辆AGV1、AGV2、AGV3、AGV4优选地与设备100耦合。
优选地，为工厂给出BIM模型。可以从BIM模型中确定静态安装的传感器CAM1、CAM2的传感器位置，以及相应传感器的类型和另外的参数，例如相机CAM1、CAM2的可见区域。BIM模型还用于设定全局坐标系，自主运输车辆AGV1、AGV2、AGV3、AGV4可以在该全局坐标系中运动。优选地，自主运输车辆可以访问相同的数据而没有较大的延迟。这例如可以通过工厂环境中的宽带5G网络来实现。替代地或附加地，一旦将数据转换为单个待控制的AGV的视图，也可以仿真地产生并考虑任何时间延迟。
首先，使用全局时间戳产生静态传感器CAM1、CAM2和自主运输车辆AGV1、...、AGV4的可移动传感器S11、S12、S21、...S23、S31、S32、S41、...S43的所有传感器数据。该时间戳可以以离散步长递增，具体取决于设定所需时间分辨率的准确程度（例如，基于AGV的速度或生产设施的其他组件的速度）。附加地，将传感器的相应传感器位置存储在全局坐标系中。例如，当可移动传感器安装在例如行驶的运输车辆上时，该传感器的传感器位置可以例如随时间戳而改变。
可以将生成的传感器数据分发给参与传感器网络的所有自主车辆AGV1、...、AGV4。为此，将传感器数据变换到相应自主车辆的局部坐标系中。然而，所述分发也可以限于可能受数据影响的车辆。例如，可以基于BIM模型来估计影响。例如，如果运输车辆与传感器之间的距离高于特定阈值，则首先可以忽略该传感器的数据。在有影响的情况下，将所述数据变换到所考虑的运输车辆的局部坐标系中。为此也可以算入特定的等待时间。所述等待时间然后例如导致推断将来的运动。现在将变换后的数据传输到当前考虑的运输车辆，并且可以由该运输车辆进行评估。
图4以示意图示出了根据本发明的方法的另一实施例。
示出了一个建筑物，例如一个生产设施，两个自主运输车辆AGV1、AGV2和一个人PER可以在该建筑物中运动。运输车辆AGV1、AGV2分别包括至少一个传感器S11、S21，例如相机。此外，该建筑物还包括静态安装的相机CAM1。相应的相机具有预给定的视场。
两个自主车辆AGV1、AGV2应当虚拟地投入运行，即应当在考虑建筑物特征H和/或人PER的运动的情况下以计算机辅助的方式仿真自主车辆AGV1、AGV2在建筑物中的运动和/或行为。为此需要现有传感器的仿真的传感器数据，以例如仿真自主车辆之一对人PER的反应。
为此，基于建筑物的数字建筑模型的信息在预给定时间点为所有静态和可移动传感器集中仿真传感器数据。在此过程中考虑人PER和/或自主车辆AGV1、AGV2的位置。为此定义全局时间戳。
为了生成传感器数据，读取静态传感器CAM1和自主车辆AGV1、AGV2的传感器S11、S21的传感器位置并在由建筑物模型预给定的全局坐标系中提供。然后，根据相应的传感器参数和相应的传感器位置并且在考虑建筑物特征H和/或人PER的情况下以全局坐标系的坐标生成传感器数据，其中将生成的时间戳分配给生成的传感器数据。
然后可以将生成的传感器数据变换到第一自主车辆AGV1的局部坐标系中并传送给第一自主车辆。从而第一自主车辆AGV1还获得第二自主车辆AGV2的传感器S21的传感器数据。因此，可以根据变换后的传感器数据控制AGV1。例如，AGV1因此还获得关于障碍物H后面未被第一自主车辆AGV1的传感器S11检测到的人PER的信息。在控制/虚拟投入运行第一自主车辆AGV1时，可以考虑这些附加的传感器数据。
图5以示意图示出了根据本发明的方法的另一实施例。
示出了一个生产设施，其包括两个生产机器M1、M2和两个自主运输车辆AGV1、AGV2。
本发明例如能够实现用自主运输车辆AGV1、AGV2管理的分布式仓储或分布式仓储的仿真。例如，自主车辆AGV1、AGV2的传感器可以检测不同机器M1、M2的库存。
例如，第一运输车辆AGV1可以通过第二自主运输车辆AGV2的传感器系统记录第一机器M1的完整仓储。这可以通过在全局坐标系中集中产生所有传感器的传感器数据以及随后将生成的传感器数据变换到第一自主运输车辆的局部坐标系中来实现。
从而在第二自主运输车AGV2没有空闲运输能力的同时，第一自主运输车AGV1可以防止第一机器M1的仓储过多，从而可以不间断地继续生产。
在本发明的范围内，所有描述和/或描绘的特征可以有利地相互组合。本发明不限于所描述的实施例。
Claims (15)
1. 一种用于生成用来控制环境中的自主车辆的传感器数据的计算机实现的方法，在所述环境中存在至少一个另外的自主车辆，所述方法具有以下方法步骤：
a）读取（S1）所述环境的环境模型，其中
-所述环境模型具有全局坐标系，并且
-所述环境模型包括在所述环境中的静态传感器在所述全局坐标系中的第一传感器位置和在所述全局坐标系中的环境信息，以及所述静态传感器的传感器参数，
b）生成（S2）时间戳，
c）从耦合到所述自主车辆的传感器读取（S3）第二传感器位置和传感器参数，并以所述全局坐标系的坐标提供所述第二传感器位置，
d）根据相应的传感器参数和相应的第一或第二传感器位置以及在考虑以全局坐标系的坐标给出的环境信息的情况下，为所述静态传感器和所述自主车辆的传感器生成（S4）传感器数据，其中将生成的时间戳分配给生成的传感器数据，
e）选择（S5）至少一个自主车辆，
f）将生成的传感器数据变换（S6）到所选择的自主车辆的局部坐标系中，以及
g）将变换后的传感器数据发送（S7）到所选择的自主车辆的控制器，以根据变换后的传感器数据在所述环境中控制所选择的自主车辆。
2.根据权利要求1所述的计算机实现的方法，其中，所述环境模型是计算机可读的建筑物模型。
3.根据前述权利要求中任一项所述的计算机实现的方法，其中，针对时间戳集中为所述静态传感器和所述自主车辆的传感器生成所述传感器数据。
4.根据前述权利要求中任一项所述的计算机实现的方法，其中，以预给定的时间步长更新所述时间戳，并且针对更新的时间戳重新生成所述传感器数据。
5.根据前述权利要求中任一项所述的计算机实现的方法，其中，在考虑用于将所述传感器数据发送到所选择的自主车辆的发送等待的情况下将所述传感器数据变换到所选择的自主车辆的局部坐标系中。
6.根据前述权利要求中的一项所述的计算机实现的方法，其中，根据被分配了先前时间戳的生成的传感器数据将所述传感器数据变换到所选择的自主车辆的局部坐标系中。
7.根据前述权利要求中任一项所述的计算机实现的方法，其中，借助于计算机辅助的传感器仿真来生成所述传感器数据。
8.根据前述权利要求中任一项所述的计算机实现的方法，其中，降低所生成的传感器数据的至少一部分的质量，并且将所述修改后的传感器数据以较低质量变换到所选择的自主车辆的局部坐标系中。
9.根据前述权利要求中任一项所述的计算机实现的方法，其中，基于所生成的传感器数据检测至少一个环境特征，并且仅将检测到的环境特征变换到所选择的自主车辆的局部坐标系中。
10.根据前述权利要求中任一项所述的计算机实现的方法，其中，根据所选择的自主车辆在全局坐标系中的位置来过滤生成的传感器数据，并且仅将过滤后的传感器数据变换到所选择的自主车辆的局部坐标系中并传送到所选择的自主车辆。
11.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述静态传感器和所述自主车辆的传感器和/或所述自主车辆经由通信网络相互连接。
12.根据前述权利要求中任一项所述的计算机实现的方法，其中，根据变换后的传感器数据在仿真环境中控制所选择的自主车辆。
13.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述环境是工厂设施，并且所述自主车辆是无人运输车辆。
14. 一种用于生成用来控制环境中的自主车辆的传感器数据的设备（100），在所述环境中存在至少一个另外的自主车辆，其中所述设备包括：
a）第一接口（IF1），所述第一接口被设置为读取所述环境的环境模型（BIM），其中
-所述环境模型（BIM）具有全局坐标系，并且
-所述环境模型（BIM）包括在所述环境中的静态传感器在所述全局坐标系中的第一传感器位置和在所述全局坐标系中的环境信息，以及所述静态传感器的传感器参数，
b）时间戳生成器（TGEN），所述时间戳生成器被设置为生成时间戳，
c）第二接口（IF2），所述第二接口被设置为从耦合到所述自主车辆的传感器读取第二传感器位置和传感器参数，并以所述全局坐标系的坐标提供所述第二传感器位置，
d）传感器数据生成器（SGEN），所述传感器数据生成器被设置为根据相应的传感器参数和相应的第一或第二传感器位置以及在考虑以所述全局坐标系的坐标给出的环境信息的情况下，为所述静态传感器和所述自主车辆的传感器生成传感器数据，其中将生成的时间戳分配给生成的传感器数据，
e）选择模块（SEL），所述选择模块被设置为选择至少一个自主车辆，
f）变换模块（TRANS），所述变换模块被设置为将生成的传感器数据变换到所选择的自主车辆的局部坐标系中，以及
g）发送模块（OUT），所述发送模块被设置为将变换后的传感器数据发送到所选择的自主车辆的控制器，以根据变换后的传感器数据控制所述环境中所选择的自主车辆。
15.一种计算机程序产品，其能够直接加载到可编程计算机中，所述计算机程序产品包括适用于执行根据权利要求1至13中任一项所述的方法的步骤的程序代码部分。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21181851.3 | 2021-06-25 | ||
| EP21181851.3A EP4109194B1 (de) | 2021-06-25 | 2021-06-25 | Sensordatengenerierung zum steuern eines autonomen fahrzeugs |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115526024A true CN115526024A (zh) | 2022-12-27 |
Family
ID=76641621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210721945.7A Pending CN115526024A (zh) | 2021-06-25 | 2022-06-24 | 用于控制自主车辆的传感器数据生成 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220410915A1 (zh) |
| EP (1) | EP4109194B1 (zh) |
| CN (1) | CN115526024A (zh) |
| ES (1) | ES2968025T3 (zh) |
| PL (1) | PL4109194T3 (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9612123B1 (en) * | 2015-11-04 | 2017-04-04 | Zoox, Inc. | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes |
| US20180349522A1 (en) * | 2017-06-05 | 2018-12-06 | Siteaware Systems Ltd. | Adaptive Modeling of Buildings During Construction |
| US10558224B1 (en) * | 2017-08-10 | 2020-02-11 | Zoox, Inc. | Shared vehicle obstacle data |
| CN107678306B (zh) * | 2017-10-09 | 2021-04-16 | 驭势（上海）汽车科技有限公司 | 动态场景信息录制和仿真回放方法、装置、设备及介质 |
| US20190179979A1 (en) * | 2017-12-13 | 2019-06-13 | Uber Technologies, Inc. | Simulated Sensor Testing |
| EP3506040B8 (en) * | 2017-12-28 | 2021-09-22 | Einride AB | Cooperative sensing |
| US11237004B2 (en) * | 2018-03-27 | 2022-02-01 | Uatc, Llc | Log trajectory estimation for globally consistent maps |
| US11543263B1 (en) * | 2020-09-16 | 2023-01-03 | Zoox, Inc. | Map distortion determination |
-
2021
- 2021-06-25 EP EP21181851.3A patent/EP4109194B1/de active Active
- 2021-06-25 ES ES21181851T patent/ES2968025T3/es active Active
- 2021-06-25 PL PL21181851.3T patent/PL4109194T3/pl unknown
-
2022
- 2022-06-08 US US17/835,033 patent/US20220410915A1/en active Pending
- 2022-06-24 CN CN202210721945.7A patent/CN115526024A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4109194A1 (de) | 2022-12-28 |
| PL4109194T3 (pl) | 2024-05-13 |
| EP4109194B1 (de) | 2023-10-18 |
| EP4109194C0 (de) | 2023-10-18 |
| US20220410915A1 (en) | 2022-12-29 |
| ES2968025T3 (es) | 2024-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stellet et al. | Testing of advanced driver assistance towards automated driving: A survey and taxonomy on existing approaches and open questions | |
| Szalay | Next generation X-in-the-loop validation methodology for automated vehicle systems | |
| US10579512B2 (en) | Method and apparatus for testing software for autonomous vehicles | |
| CN111123949B (zh) | 机器人的避障方法、装置、机器人及存储介质 | |
| JP7471397B2 (ja) | 道路シーンにおける多様な長期将来軌道のシミュレーション | |
| US9576083B2 (en) | Automatic driver modeling for integration of human-controlled vehicles into an autonomous vehicle network | |
| US11257309B2 (en) | Systems and methods to test an autonomous vehicle | |
| KR102282970B1 (ko) | 실시간 분산 자율주행 시뮬레이션 프레임워크를 구성 및 제어하는 방법 | |
| US11740620B2 (en) | Operational testing of autonomous vehicles | |
| KR102139513B1 (ko) | 인공지능 vils 기반의 자율주행 제어 장치 및 방법 | |
| US20210374308A1 (en) | Method of simulating autonomous vehicle in virtual environment | |
| CN111816020A (zh) | 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练 | |
| CN112146682A (zh) | 智能汽车的传感器标定方法、装置、电子设备及介质 | |
| CN110687901A (zh) | 仿真测试平台 | |
| CN113479219B (zh) | 一种行车轨迹规划方法、装置、计算机设备和介质 | |
| US20200019186A1 (en) | Control device, control method, and non-transitory program recording medium | |
| US20230005370A1 (en) | Method and device for exchanging maneuver information between vehicles | |
| Artunedo et al. | Advanced co-simulation framework for cooperative maneuvers among vehicles | |
| CN115526024A (zh) | 用于控制自主车辆的传感器数据生成 | |
| Wätzoldt et al. | Integrated software development for embedded robotic systems | |
| CN113885496A (zh) | 智能驾驶仿真传感器模型及智能驾驶仿真方法 | |
| Pikner et al. | Autonomous Driving Validation and Verification Using Digital Twins. | |
| US20240248824A1 (en) | Tools for performance testing autonomous vehicle planners | |
| US20240248827A1 (en) | Tools for testing autonomous vehicle planners | |
| Aernouts et al. | MapFuse: complete and realistic 3D modelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |