CN109932926A - 低延时的用于图像处理系统的试验台 - Google Patents
低延时的用于图像处理系统的试验台 Download PDFInfo
- Publication number
- CN109932926A CN109932926A CN201711370654.3A CN201711370654A CN109932926A CN 109932926 A CN109932926 A CN 109932926A CN 201711370654 A CN201711370654 A CN 201711370654A CN 109932926 A CN109932926 A CN 109932926A
- Authority
- CN
- China
- Prior art keywords
- image data
- computing unit
- testing stand
- setting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种用于图像处理系统的试验台,其具有:第一计算单元用于运行具有虚拟物体的环境模型;第二计算单元用于基于虚拟物体的位置计算环境模型的图像投影;以及适配器模块用于处理图像数据并且将其馈入图像处理系统。第一计算单元设置用于从图像处理系统读入基于图像数据计算的控制数据并且在考虑控制数据的情况下将新速度向量配置给虚拟物体。试验台设置用于测量从通过第二计算单元计算图像数据开始直到适配器模块对图像数据的处理结束所经过的时间间隔的长度。第一计算单元设置用于借助该长度估计图像数据的延迟时间、借助该延迟时间求取虚拟物体的外推位置并且将其传输给第二计算单元。本发明还涉及一种用于测试图像处理系统的方法。
Description
技术领域
本发明涉及一种用于图像处理系统的试验台、尤其是用于交通工具的图像处理辅助系统或自动控制装置的试验台。交通工具应被理解为任意的构造用于靠自身的力而运动的装置,例如陆地交通工具、飞行器、船或潜水艇。
背景技术
作为安全关键的电子控制器的研发链和评估链的一部分,硬件在环仿真已经建立多年。在此,控制器原型与模拟器连接,该模拟器借助软件模拟控制器的环境,在此该模拟器例如通过模拟传感器产生用于控制器数据输入端的数据并且将这些数据馈入到所述数据输入端中。反过来,模拟器从控制器的数据输出端读取数据并且在计算所述模拟的下一个时间步长时例如通过模拟执行器来考虑所述数据。这样的模拟器也可以构造为试验台并且除控制器之外还包括其它的物理组件,这些物理组件与控制器配合作用并且同样结合到模拟中,在汽车控制器的情况下,所述物理组件例如是转向系统、电动机或成像传感装置。因此,所述控制器在大部分虚拟的环境中工作并且能在所述环境中无危险地并且可重复地在不同情况下被测试。
因为控制器设置用于控制、调节和监控物理系统,所以该控制器在硬实时中工作。与此相应地,模拟器也必须在硬实时中工作,即,在确定的时间间隔内、例如1ms内必须保证完成所有由控制器需要的数据的计算。
最近汽车工业已研发出多种驾驶辅助系统,这些驾驶辅助系统借助成像传感器在使用不同技术的情况下创建车辆环境的图像(例如雷达图像、激光雷达图像或者基于透镜的光学图像),这些驾驶辅助系统通过控制器读入、使用和解释所述图像,并且这些驾驶辅助系统以所读入的图像为基础干预驾驶行为或者在实验性的自主车辆的情况下甚至与人类驾驶员无关地自主控制所述车辆。示例是基于雷达的自适应速度控制器、行人识别装置或交通指示牌识别装置。
因此,用于这种辅助系统的试验台必须构造用于计算由控制器期待的图像并且将所述图像提供给控制器。在此提出如下问题:图像的计算是非常昂贵的并且相应地需要时间。由存储在模拟软件中的三维环境模型计算成像传感器所感知的二维投影根据当前的现有技术可能完全需要50ms至100ms。这种高延时与上述对试验台实时性的要求是不相符的并且不利地影响模拟结果的有效性。
德国实用新型DE202015104345U1说明一种用于图像处理控制器的试验台,该试验台通过适配器模块来减少用于控制器的图像数据的延迟时间(Latenz),该适配器模块将图像数据在绕过成像传感装置的情况下直接馈入到控制器中并且因此提供缩短的用于图像数据的数据路径。但是,以这种方式不能补偿由于图像数据的计算而产生的延迟时间。
发明内容
在此背景下,本发明的任务是降低由如下延迟时间所导致的不精确性,所述延迟时间在试验台中由于对用于图像处理系统的图像数据的计算而产生。所述任务通过一种具有权利要求1的特征的试验台和通过一种具有权利要求15的特征的方法来解决。有利的设计方案是从属权利要求的技术方案。
实质上,本发明说明一种用于以延迟时间的测量为基础至少部分地补偿该延迟时间的方法,所述延迟时间由于存储在模拟器上的环境模型的时间外推(Extrapolation)而导致。详细地,本发明是一种具有第一计算单元、尤其是处理器(CPU)的试验台,该第一计算单元利用环境模型的模拟软件被编程。该模拟软件至少设置用于为在环境模型中的第一虚拟物体(例如虚拟车辆)优选周期性地且在硬实时中计算第一位置和第一速度向量并且将所述第一位置和所述第一速度向量配置给所述第一虚拟物体。试验台的优选至少包括图形处理器(GPU)的第二计算单元设置用于计算第一图像数据,所述第一图像数据代表环境模型的二维图形的第一投影并且所述第一图像数据尤其是仿效(nachstellen)第一虚拟物体的成像传感器的图像。为此,第二计算单元设置用于周期性地读入第一虚拟物体的第一位置并且基于该位置计算所述第一图像数据。
此外,试验台包括用于将图像处理系统结合到试验台中或模拟中的适配器模块。该适配器设置用于:读入第一图像数据;仿真图像处理系统的第一成像传感装置,以便处理所述第一图像数据;并且将经处理的第一图像数据馈入到图像处理系统中。
因此,如果图像处理系统例如将处理基于透镜的光学相机的图像,则适配器模块将接收并且处理第一图像数据,其中,经处理的第一图像数据相当于如下数据,相机的光学传感器将会把这些数据在通过模拟软件仿效的情况中馈入到图像处理系统中。因此可以这样说,适配器模块在模拟期间作为图像处理系统的成像传感装置的替代物起作用,其中,该适配器模块仿真所述成像传感装置并且该成像系统替代成像传感装置提供按照期待的图像数据。
此外,所述第一计算单元设置用于从图像处理系统中读入以经处理的第一图像数据为基础计算的用于执行机构的控制数据并且在考虑所述控制数据的情况下将新的第一速度向量配置给所述第一虚拟物体。因此,当图像处理系统例如是驾驶辅助系统并且基于识别出的危险情况而输出控制数据以便引入自动的制动动作时,则第一计算单元设置用于利用第一虚拟物体(在该情况下为虚拟车辆)在环境模型中模仿所述制动动作。
为了补偿由于第一图像数据的计算而出现的延迟时间,所述试验台设置用于求取从通过第二计算单元计算第一图像数据开始直到结束通过适配器模块对第一图像数据的处理为止所经过的时间间隔的长度△t。测得的长度△t被存储在存储器地址上、被第一计算单元读取并且被用于估计第一图像数据的延迟时间L。所估计的延迟时间L被第一计算单元或被在该第一计算单元上运行的模拟软件用于在考虑第一虚拟物体的第一位置x(t)、第一虚拟物体的第一速度向量v(t)以及所估计的延迟时间L的情况下求取第一外推位置x(t+L)。
因此,所述第一外推位置x(t+L)是对第一虚拟物体在时刻t+L的未来位置的估计,其中,t为在系统时间中或在模拟中的当前时刻(因为所述模拟在硬实时中进行,所以这具有相同的意义)。第二计算单元此时设置用于:为了计算第一图像数据不读入当前的第一位置x(t),而是读入第一外推位置x(t+L)。因此,第一图像数据的延迟时间至少部分地被补偿,其方式为:第二计算单元在计算第一图像数据时一开始就从模拟的环境模型的未来状态出发。当这样计算的第一图像数据最后被馈入到图像处理系统中时,在理想情况下在第一计算单元上的环境模型也已经达到所述未来状态,从而在图像处理系统中的第一图像数据与环境模型的当前状态匹配并且试验台提供符合实际的数据。
为了求取所述第一外推位置,原则上可以使用用于数值积分的任意方法、例如一阶或更高阶的龙格-库塔法。本发明不保证完全补偿由于第一图像数据的延迟时间而产生的不精确性。因为为了估计所述第一外推位置优选在整个所估计的延迟时间L上进行积分并且L的长度在正常情况下明显大于在环境模型的模拟中的一个时间步长,所以不能期望第一外推位置x(t+L)等于在时刻t+L被配置给虚拟物体的实际位置。此外可能的是,所估计的延迟时间L稍微偏离于第一图像数据的实际延迟时间,因为例如用于计算第一图像数据的计算耗费根据环境模型的状态是可变的。但是,由于所提及的影响而出现的不精确性小于将由第一图像数据的未被补偿的延迟时间引起的不精确性,从而借助本发明至少能实现改进模拟结果。
尤其是,第一虚拟物体可以构造为虚拟交通工具并且图像处理系统可以构造为用于交通工具的自动控制装置或辅助系统。
优选地,第二计算单元构造用于这样计算第一图像数据,使得第一投影模仿第一成像传感装置的视场。为此,通过第二计算单元在如下假设的情况下计算第一图像数据:图像处理系统是第一虚拟物体的图像处理系统并且第一成像传感装置被安装在第一虚拟物体的适当确定的部位上。为了节省计算耗费并且因此使第一图像数据的延迟时间一开始就保持尽可能小,第二计算单元设置用于仅考虑环境模型的如下虚拟物体以便计算第一图像数据,所述虚拟物体在所述假设下处于第一成像传感装置的视场内。在一种可能的设计方案中,所述图像处理系统例如是用于汽车的基于雷达的自适应速度控制器,并且第一成像传感装置与此相应地被认为是雷达系统的一部分,该雷达系统在环境模型中布置在第一虚拟物体(在该情况下为虚拟汽车)的前侧。当雷达系统在技术上仅构造用于识别例如200m的作用范围内的物体时,则仅应该考虑在环境模型中的如下虚拟物体用于计算第一图像数据,所述虚拟物体位于200m的作用范围之内并且位于雷达系统的视锥角(Sichtkegel)之内。
一般地,成像传感装置的视场可理解为由成像传感装置在给定时刻可见的以通过成像传感装置感知的形式的所有物体的整体,并且第二计算单元优选构造用于一开始就仅考虑如下信息用于计算第一图像数据,这些信息能从第一成像传感装置的按照所述定义的视场中被获悉。
对于上述示例例如此外意味着,用于雷达系统的第一图像数据不应包含与在第一投影中可见的虚拟物体的颜色有关的信息并且上述关于颜色的信息在计算第一图像数据时一开始就未被考虑,即使所述关于颜色的信息存在于环境模型中。
在一种实施方案中,这样测量时间间隔的长度△t,即,试验台、尤其是第二计算单元在开始计算第一图像数据时读取试验台的系统时间并且为第一图像数据设置时间戳,所读取的系统时间被存储在该时间戳中。在适配器模块已经处理第一图像数据之后并且在适配器模块将第一图像数据馈入到图像处理系统中之前,适配器模块读取所述时间戳、将存储在该时间戳中的系统时间与当前系统时间进行对比、通过将这两个系统时间相减而求取时间间隔的长度△t并且将时间间隔的所求取的长度△t存储在对于第一计算单元可访问的存储器地址上。第一计算单元设置用于读取时间间隔的所求取的在存储器地址上的长度△t。
在另一种实施方案中,借助数字标识来实现时间测量,试验台、尤其是第一计算单元或第二计算单元为第一图像数据创建该数字标识。该数字标识在计算第一图像数据之前被创建并且连同试验台的第一系统时间一起被传输给适配器模块。在此,第一系统时间是在传输数字标识的时刻的系统时间。在第二计算单元已经计算好第一图像数据之后,该第二计算单元为第二图像数据设置数字标识并且将所述第二图像数据连同数字标识一起传输给适配器模块。所述适配器模块设置用于读取第一图像数据中的数字标识并且借助该数字标识将第一图像数据配置给第一系统时间。在适配器模块已经结束对第一图像数据的处理之后,该适配器模块将试验台的当前系统时间与第一系统时间进行对比,以便求取时间间隔的长度△t并且将该长度△t存储在存储器地址上。
两种测量的前提条件是,试验台的系统时间在该试验台的各组件之间足够快地同步。
有利地,试验台的对于本发明重要的组件分别通过具有实时能力的数据连接进行连接,所述数据连接构造用于流动数据、即构造用于实时传输大数据量的连续流。因此具体地,在第一计算单元与第二计算单元之间设置具有实时能力的第一数据连接,在第二计算单元与适配器模块之间设置具有实时能力的第二数据连接(优选HDMI连接),并且在适配器模块与第一计算单元之间设置具有实时能力的第三数据连接(优选以太网连接)。
特别优选地,所述第一数据连接由试验台的具有实时能力的总线提供。该设计方案就如下情况而言是有利的,即:该设计方案允许将第二计算单元设计为试验台的集成的组成部分并且因此有利地影响延迟时间,因为典型的硬件在环模拟器的内部总线就实时适用性(Echtzeittauglichkeit)、即低延时和低抖动方面被优化。
此外有利地,第二计算单元设置用于可选地除第一成像传感装置之外至少也服务于第二成像传感装置。例如,图像处理系统可以包含立体相机,因而第二计算单元必须计算两个光学图像并且适配器模块相应地必须将两个光学图像馈入到图像处理系统中。在另一种示例中,图像处理系统可以包含多个控制器以及多个成像传感装置。为此,在一种有利的设计方案中,所述第二计算单元设置用于与第一图像数据的计算并行地或在计算第一图像数据之后至少计算第二图像数据,所述第二图像数据代表环境模型的针对图像处理系统的第二成像传感装置的二维图形的第二投影。然后,图像数据的整体优选被打包地传输。为此,第二计算单元构造用于创建数据包,该数据包包含第一图像数据、第二图像数据以及(如果存在)其它图像数据。当时间间隔△t的测量借助时间戳来实现时,所述数据包配设有所述时间戳。适配器模块设置用于:读入该数据包;除了已说明的对第一图像数据的处理之外也通过仿真第二成像传感装置来处理所述二图像数据;并且将经处理的第二图像数据馈入到图像处理系统中。
优选地,所估计的延迟时间L不是一次测出的静态参量,而是第一计算单元设置用于在进行模拟期间动态地匹配所估计的延迟时间L的值。也就是说,试验台设置用于周期性地求取时间间隔的长度△t并且借助第一计算单元将其周期性地读入所述时间间隔的长度,以便在模拟期间将L的值动态地与第一图像数据的当前延迟时间匹配。
在一种简单的实施方案中这样实现这点,即,所述第一计算单元周期性地将所估计的延迟时间L等同于时间间隔的长度△t的当前值、即设定L=△t。在另一种实施方案中,所述第一计算单元设置用于存储在过去测得的多个△t值并且由所述多个△t值计算延迟时间L、尤其是将该延迟时间计算为所述多个△t值的平均值、加权平均值或中间值。
附图说明
接下来借助附图更详细地阐述本发明。其中:
图1示出由现有技术已知的用于图像处理系统的试验台的示意性的且极简化的示图,以及
图2在一种优选的实施方案中示出按照本发明的试验台的示意图。
具体实施方式
图1的示图用于阐明基本的发明构思和通过本发明所解决的问题。该示图概略地绘出具有试验台和作为试验件的图像处理系统UUT的测试场景,该试验台替代地通过模拟计算机SIM示出。该图像处理系统UUT作为示例是一种基于相机的事故助手,该基于相机的事故助手设置用于在车辆中识别危险情况并且引入自动的制动动作。
在模拟器SIM上存储有环境模型MOD。该环境模型MOD是能通过模拟器SIM的第一处理器C1执行的软件,并且该软件设置用于模拟图像处理系统UUT的环境并且模拟用于图像处理系统UUT的测试场景。环境模型MOD包含多个虚拟物体,并且这些虚拟物体的子集是可动的。可动虚拟物体的特征在于,所述可动虚拟物体在环境模型中除(向量值的)位置之外也分别配置有速度向量并且所述可动虚拟物体在环境模型MOD内的位置在模拟的每个时间步长中是可改变的。所示出的环境模型MOD示例性地包含第一虚拟车辆VEH1作为第一虚拟物体以及第二虚拟车辆VEH2作为第二虚拟物体。所示出的测试场景是在十字路口处的事故情况。两个车辆是可动虚拟物体。因此,所述第一虚拟车辆VEH1配置有与时间有关的第一位置x(t)和与时间有关的第一速度向量v(t),而所述第二虚拟车辆VEH2配置有与时间有关的第二位置x'(t)和与时间有关的第二速度向量v'(t)。
因此,环境模型MOD在时刻t的状态能通过状态向量M(t)来描述,该状态向量包含所有虚拟物体的位置坐标并且包含所有可动虚拟物体的速度向量的记录作为记录。
模拟器SIM和图像处理系统UUT共同形成一个模拟的调节回路。模拟器SIM为图像处理系统UUT持续地提供仿真的图像数据SE,图像处理系统UUT将这些图像数据解释为真实的、即由物理成像的传感装置提供的图像数据。基于所述图像数据,图像处理系统UUT将控制数据AC回馈给模拟器并且因此影响环境模型MOD的状态M,其方式为在第一虚拟车辆VEH1上的模拟器模仿物理车辆对控制数据AC的反应。
从开始计算图像数据SE直到所述图像数据SE被馈入到图像处理系统UUT中经过了长度为△t的时间间隔,该时间间隔基本上由于图像数据SE的计算和处理而产生。因此,所述长度△t相当于图像数据的延迟时间。假定所述延迟时间为△t=50ms,则意味着:示例性的事故助手在模拟中延迟了50ms才识别出危险情况并且相应地作出反应。对于所示出的测试场景来说,这样的值是不能接受的,并且模拟结果仅能被有限地使用。
图像数据SE代表第一成像传感装置的视场、即环境模型MOD的二维图形投影,该第一成像传感装置安装在第一虚拟车辆VEH1的部位上。就此而言,图像数据SE可理解为状态向量M(t)的函数D[M(t)]。因此,最后馈入到图像处理系统UUT中的经处理的图像数据由函数D[M(t-△t)]定义。通过代入t→t+△t可直接理解的是,所述延迟时间原则上能被补偿,其方式为:由模拟器SIM将通过函数D[M(t+△t)]描述的未来图像数据SE提供给图像处理系统UUT。然后,馈入到图像处理系统中的图像数据通过函数D[M(t+△t-△t)]=D[M(t)]来描述,即与环境模型MOD的当前状态M(t)匹配。
原则上环境模型MOD的未来状态M(t+△t)不是已知的。但如果延迟时间△t例如通过测量被获知,则该延迟时间通过外推当前状态M(t)在长度△t上至少是可估计的并且模拟的精确性能被改善。
图2的示图示出为此设置的试验台的示意图。该试验台包括主机HST、模拟器SIM以及适配器模块AD,图像处理系统UUT包括用于雷达系统的第一控制器ECU1和用于立体相机的第二控制器ECU2。
模拟器SIM包括具有第一处理器C1的第一计算单元CPU,并且模拟器SIM包括具有第二处理器C2和图形处理器(图形处理单元)C3的第二计算单元GPU。主机HST设置用于借助第五数据连接DL将环境模型MOD存储在所述第一计算单元CPU上,并且第一处理器C1设置用于执行该环境模型(在图1中和在图2中示出的环境模型MOD在下面假定是相同的)。第一计算单元CPU和第二计算单元GPU共同连接到试验台的具有实时能力的第一总线BS上,该第一总线因此在第一计算单元CPU和第二计算单元GPU之间提供第一数据连接。所述第一总线BS在技术上就实时适用性被优化并且因此保证低延迟时间的第一数据连接。
所述第一计算单元CPU设置用于借助第一数据连接BS周期性地将虚拟物体在环境模型中的位置传输给第二计算单元GPU。第二计算单元GPU设置用于:读取所传输的位置并且借助存储在第二计算单元GPU上的渲染软件(Rendering-Software)REN计算第一图像数据、第二图像数据以及第三图像数据作为至少所传输的位置的函数、尤其是第一位置x(t)和第二位置x'(t)的函数。
为此,在所述渲染软件中实现多个着色器。第一着色器计算第一图像数据。第一图像数据代表环境模型MOD的第一图形投影,该第一图形投影模仿安装在第一虚拟车辆VEH1上的雷达传感器的视场。第二着色器计算第二图像数据和第三图像数据。第二图像数据代表环境模型的第二图形投影,并且第三图像数据代表环境模型的第三图形投影。第二图形投影和第三图形投影分别模仿安装在虚拟车辆VEH1上的相机镜组(Kameraoptik)的第一光传感器(Fotosensor)和第二光传感器的视场。为此,所述第二着色器尤其是也构造用于模拟立体相机的透镜系统的镜组。
在传输第一位置x(t)和第二位置x'(t)的同时,第一计算单元CPU通过构造为以太网连接的具有实时能力的第三数据连接ETH传输数字标识以及试验台的第一系统时间并且将该数字标识进一步通过第一数据连接BS传输给第二计算单元GPU。第二计算单元GPU创建数据包,该数据包包含第一图像数据、第二图像数据、第三图像数据以及数字标识。图形处理器C3通过构造为HDMI连接的具有实时能力的第二数据连接HDMI将所述数据包传输给适配器模块AD。
适配器模块AD包括FPGA(现场可编程门阵列)F。三个并行的仿真逻辑在该FPGA F上实现。第一仿真逻辑EM1设置用于:仿真雷达系统的第一成像传感装置、即接收第一图像数据并且这样处理该第一图像数据,使得第一图像数据在处理之后符合由第一控制器ECU1所预期的图像数据。相应地,第二仿真逻辑EM2和第三仿真逻辑EM3设置用于:接收第二图像数据和第三图像数据并且仿真基于透镜的光学立体相机的第二成像传感装置和第三成像传感装置。
经处理的第一图像数据由适配器模块AD这样馈入到第一控制器ECU1中,使得该第一控制器ECU1将所述第一图像数据解释为物理成像的传感装置的真实图像数据。为此需要的技术措施在现有技术中已知并且对于本领域技术人员来说是可获得的。特殊的改进控制器经常为此提供专用接口。
第一控制器ECU1和第二控制器ECU2以经处理的第一图像数据和经处理的第二图像数据为基础计算用于交通工具(具体为车辆)的执行机构的控制信号。所述控制信号通过设置在模拟器SIM之外的第二总线XB、例如CAN总线(所述第二总线XB借助网关与第一总线BS连接)被馈入到第一计算单元CPU中、由第一处理器C1读取并且在计算模拟的后续时间步长时被这样考虑,使得物理车辆对所述控制信号的反应在第一虚拟车辆VEH1上被仿效。
此外,适配器模块AD设置用于借助数字标识将数据包配置给由第一计算单元获得的第一系统时间。具体意味着:适配器模块AD读取由第一计算单元CPU借助第三数据连接ETH传输的数字标识连同第一系统时间;适配器模块附加地读取存储在数据包中的数字标识、将这两个所读取的数字标识进行匹配并且将其识别为相同的并且借助所述匹配将第一系统时间配置给数据包。紧接着在处理至少第一图像数据之后,适配器模块AD将第一系统时间与试验台的当前系统时间进行对比、通过减法求取时间间隔的长度△t并且借助第三数据连接ETH将△t值传输给第一计算单元CPU。优选地,这不是发生一次,而是适配器模块AD周期性地且持续地计算当前的△t值并且将相应当前的△t值持续地传输给第一计算单元CPU。
为了能够实施所述测量,适配器模块需要访问试验台的系统时间。因为适配器模块在所示出的实施例中未被连接到试验台的第一总线BS上,所以例如系统时间可以借助第三数据连接ETH持续地被传输给适配器模块AD,并且适配器模块AD将本地时钟与系统时间同步或者该适配器模块在需要时直接读取通过第三数据连接ETH传输的系统时间。
原则上可省略数字标识。在一种备选的实施方案中,长度△t的测量借助时间戳来实现,第二计算单元GPU为数据包设置该时间戳并且第二计算单元在开始计算第一图像数据之前的时刻将试验台的第一系统时间存储在该时间戳中,其中,适配器模块读取该时间戳中的第一系统时间。
第一计算单元CPU设置用于:读取△t值并且借助△t值估计第一图像数据的延迟时间L。在一种简单的实施方案中,所述估计这样实现,即,第一计算单元CPU为所估计的延迟时间L简单地使用相应当前的△t值。但是,当在图像数据的延迟时间中出现短暂的波动时,该实施方案可能是有问题的。有利地,第一计算单元CPU以多个在过去测得的△t值为基础计算用于所估计延迟时间L的值。例如,第一计算单元CPU可以设置用于:保存例如相应最后100个△t值并且将L的值计算为所保存的△t值的平均值、加权平均值或中间值。
此时这样实现对延迟时间的补偿,即,第一计算单元在使用所估计的延迟时间L的情况下为环境模型中的所有可动虚拟物体或至少为相关可动虚拟物体的选择、即在所示出的实施方案中具体为第一虚拟车辆VEH1和为第二虚拟车辆VEH2计算外推位置。因此,第一计算单元CPU借助第一位置x(t)和第一速度向量v(t)为第一虚拟车辆VEH1计算第一外推位置x(t+L),并且该第一计算单元在使用第二位置x'(t)和第二速度向量v'(t)的情况下为第二虚拟车辆VEH2计算第二外推位置x'(t+L)。所述外推位置的求取例如借助龙格-库塔法、优选欧拉法并且优选借助在整个所估计的延迟时间L上的唯一一个积分步骤来实现。如果所述外推位置与在时刻t+L的实际位置偏差太多,则在较高计算耗费的代价下也可以使用原则上任意的更精确的积分法、例如更高阶的积分法或在延迟时间L的子区间上的多重积分。
第一计算单元CPU将第一外推位置x(t+L)和第二外推位置x'(t+L)取代实际当前的第一位置x(t)和第二位置x'(t)传输给第二计算单元GPU。以相同的方式,取代可能存在的其它可动虚拟物体的、至少这样的已被识别为与在环境模型中建模的场景相关的虚拟物体的位置,始终传输相应的虚拟物体的外推位置。因此,第二计算单元GPU在计算图像数据时一开始就从环境模型MOD的所估计的在经过时间段△t之后的未来状态出发。当这样计算的图像数据最后被馈入到图像处理系统UUT中时,第一计算单元CPU上的模拟已经大致赶上了所述图像数据的该时间超前。由此,图像处理系统UUT中的控制数据更好地与环境模型MOD的当前状态M(t)匹配,这相对于由现有技术已知的类似试验台改进了模拟结果的精确性。
Claims (15)
1.用于图像处理系统(UUT)的试验台,其中,在该试验台中布置有第一计算单元(CPU),该第一计算单元利用环境模型(MOD)的模拟软件被编程,其中,所述模拟软件设置用于:计算第一位置x(t)和第一速度向量v(t)并且将所述第一位置x(t)和所述第一速度向量v(t)配置给在所述环境模型(MOD)中的第一虚拟物体(VEH1),
在所述试验台中布置有第二计算单元(GPU)并且该第二计算单元设置用于:周期性地读入第一虚拟物体(VEH1)在环境模型中的位置并且以至少所读入的位置为基础计算第一图像数据,所述第一图像数据代表环境模型(MOD)的二维图形的第一投影,
在所述试验台中布置有适配器模块(AD)并且该适配器模块设置用于:读入所述第一图像数据;通过仿真所述图像处理系统(UUT)的第一成像传感装置来处理所述第一图像数据;并且将经处理的第一图像数据馈入到图像处理系统(UUT)中,
其中,所述第一计算单元(CPU)设置用于:从图像处理系统(UUT)中读入以经处理的第一图像数据为基础计算的用于执行机构的控制数据并且在考虑所述控制数据的情况下将新的第一速度向量配置给第一虚拟物体(VEH1),
其特征在于,所述试验台设置用于测量从通过第二计算单元(GPU)计算第一图像数据开始直到结束通过适配器模块(AD)对第一图像数据的处理为止所经过的时间间隔的长度△t,
所述第一计算单元(CPU)设置用于:读入所述时间间隔的长度△t并且借助该时间间隔的长度△t估计第一图像数据的延迟时间L,
所述第一计算单元(CPU)设置用于:在考虑第一位置x(t)、第一速度向量v(t)以及所估计的延迟时间L的情况下求取第一虚拟物体的第一外推位置x(t+L),从而该第一外推位置x(t+L)是对第一虚拟物体(VEH1)在时刻t+L的第一位置的估计,
并且所述第二计算单元(GPU)设置用于:读入所述第一外推位置x(t+L)并且以至少所述第一外推位置x(t+L)为基础计算所述第一图像数据。
2.根据权利要求1所述的试验台,其中,该试验台设置用于在硬实时中周期性地计算所述第一位置x(t)和所述第一速度向量v(t)。
3.根据上述权利要求之一所述的试验台,其中,所述第一虚拟物体(VEH1)是虚拟交通工具并且所述图像处理系统(UUT)是用于交通工具的自动控制装置或辅助系统。
4.根据上述权利要求之一所述的试验台,其中,所述第一投影模仿第一成像传感装置的视场。
5.根据上述权利要求之一所述的试验台,其中,所述试验台、尤其是所述第二计算单元(GPU)设置用于为所述第一图像数据设置时间戳,试验台的第一系统时间在开始计算第一图像数据时被存储在该时间戳中,
并且所述适配器模块(AD)设置用于:读取存储在所述时间戳中的第一系统时间并且在结束对第一图像数据的处理之后将该第一系统时间与当前系统时间进行对比,以便求取时间间隔的长度△t并且将该长度△t存储在存储器地址上。
6.根据权利要求1至4之一所述的试验台,其中,所述试验台设置用于:在计算第一图像数据之前创建用于第一图像数据的数字标识;将该数字标识传输给适配器模块;并且在传输数字标识的时刻将试验台的第一系统时间传输给适配器模块(AD);
其中,所述试验台设置用于为第一图像数据设置所述数字标识;
所述适配器模块(AD)设置用于:借助所述数字标识将第一图像数据配置给所述第一系统时间并且在结束对第一图像数据的处理后将试验台的当前系统时间与所述第一系统时间进行对比,以便求取时间间隔的长度△t并且将该长度△t存储在存储器地址上。
7.根据上述权利要求之一所述的试验台,其中,在第一计算单元(CPU)与第二计算单元(GPU)之间设置具有实时能力的第一数据连接(BS),在第二计算单元(GPU)与适配器模块(AD)之间设置具有实时能力的第二数据连接(HDMI)并且在适配器模块(AD)与第一计算单元之间设置具有实时能力的第三数据连接(ETH)。
8.根据权利要求7所述的试验台,其中,所述第一数据连接由试验台的总线(BS)提供。
9.根据上述权利要求之一所述的试验台,其中,所述第二计算单元(GPU)设置用于与第一图像数据的计算并行地或在计算第一图像数据之后至少计算第二图像数据并且用于创建数据包,所述第二图像数据代表环境模型的针对图像处理系统(UUT)的第二成像传感装置的二维图形的第二投影,所述数据包至少包含所述第一图像数据和所述第二图像数据,
其中,所述适配器模块(AD)设置用于:读入数据包;通过仿真图像处理系统(UUT)的第二成像传感装置来处理第二图像数据;并且将经处理的第二图像数据馈入到图像处理系统(UUT)中。
10.根据上述权利要求之一所述的试验台,其中,所述试验台设置用于周期性地求取时间间隔的长度△t,并且所述第一计算单元(CPU)设置用于周期性地读入时间间隔的长度△t。
11.根据权利要求10所述的试验台,其中,所述第一计算单元(CPU)设置用于使所估计的延迟时间L动态地与所述时间间隔△t匹配,其方式为:第一计算单元(CPU)周期性地设定L=△t。
12.根据权利要求10所述的试验台,其中,所述第一计算单元(CPU)设置用于动态地匹配所估计的延迟时间L,其方式为:该第一计算单元从多个在过去测得的△t值中计算用于延迟时间L的值,尤其是第一计算单元(CPU)将延迟时间L计算为所述在过去测得的△t值的平均值、加权平均值或中间值。
13.根据上述权利要求之一所述的试验台,其中,所述第二计算单元(GPU)设置用于可选地计算用于至少两个不同的成像传感装置的第一图像数据,尤其是所述第一图像数据可选地代表以下列表中的至少两个图形投影的二维图形投影:雷达图像、激光雷达图像、光学图像、具有透镜像差的光学图像、具有微光增强的光学图像、红外图像、超声图像。
14.根据上述权利要求之一所述的试验台,其中,所述模拟软件设置用于:计算第二位置x'(t)和第二速度向量v'(t)并且将所述第二位置x'(t)和所述第二速度向量v'(t)配置给在环境模型中的第二虚拟物体(VEH2),
所述第一计算单元设置用于在考虑第二位置x'(t)、第二速度向量v'(t)以及所估计的延迟时间L的情况下求取第二虚拟物体(VEH2)的第二外推位置x'(t+L),
并且所述第二计算单元(GPU)设置用于:读入所述第二外推位置x'(t+L)并且以至少所述第一外推位置x(t+L)和所述第二外推位置x'(t+L)为基础计算所述第一图像数据。
15.用于测试图像处理系统(UUT)的方法,尤其是用于借助根据权利要求1至14之一所述的试验台来测试图像处理系统的方法,其中,试验台的第一计算单元(CPU)利用环境模型的模拟软件被编程,借助该模拟软件在硬实时中周期性地计算第一位置x(t)和第一速度向量v(t)并且将所述第一位置和所述第一速度向量配置给在环境模型中的第一虚拟物体(VEH1),
借助试验台的第二计算单元(GPU)周期性地读入第一虚拟物体(VEH1)在环境模型中的位置并且借助第二计算单元(GPU)以所读入的第一位置x(t)为基础计算第一图像数据,所述第一图像数据代表环境模型的二维图形的第一投影,
借助适配器模块(AD)读入所述第一图像数据并且通过仿真所述图像处理系统(UUT)的第一成像传感装置来处理所述第一图像数据,
借助所述适配器模块(AD)将经处理的图像数据馈入到图像处理系统(UUT)中,
借助所述第一计算单元(CPU):从图像处理系统(UUT)中读入以经处理的第一图像数据为基础计算的用于执行机构的控制数据并且在考虑所述控制数据的情况下将新的第一速度向量配置给所述第一虚拟物体(VEH1),
其特征在于,测量从通过第二计算单元(GPU)计算第一图像数据开始直到结束通过适配器模块(AD)对第一图像数据的处理为止所经过的时间间隔的长度△t,
借助所述时间间隔的长度△t估计第一图像数据的延迟时间L,
在考虑第一位置x(t)、第一速度向量v(t)以及所估计的延迟时间L的情况下求取第一外推位置x(t+L),从而该第一外推位置x(t+L)是对虚拟物体(VEH)在时刻t+L的第一位置的估计,
并且借助第二计算单元(GPU)以所述第一外推位置x(t+L)为基础计算所述第一图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711370654.3A CN109932926A (zh) | 2017-12-19 | 2017-12-19 | 低延时的用于图像处理系统的试验台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711370654.3A CN109932926A (zh) | 2017-12-19 | 2017-12-19 | 低延时的用于图像处理系统的试验台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109932926A true CN109932926A (zh) | 2019-06-25 |
Family
ID=66983288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711370654.3A Pending CN109932926A (zh) | 2017-12-19 | 2017-12-19 | 低延时的用于图像处理系统的试验台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109932926A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101065171A (zh) * | 2004-11-26 | 2007-10-31 | 世嘉股份有限公司 | 信息处理装置、数据处理方法、程序及记录介质 |
CN101568946A (zh) * | 2006-12-04 | 2009-10-28 | 富士通株式会社 | 驾驶模拟评价方法、驾驶模拟评价装置以及计算机程序 |
US8417490B1 (en) * | 2009-05-11 | 2013-04-09 | Eagle Harbor Holdings, Llc | System and method for the configuration of an automotive vehicle with modeled sensors |
CN104364754A (zh) * | 2012-06-12 | 2015-02-18 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
DE202015104345U1 (de) * | 2015-08-18 | 2015-10-26 | Dspace Digital Signal Processing And Control Engineering Gmbh | Adapter zur Einspeisung von Videosignalen in ein Steuergerät |
CN105246755A (zh) * | 2013-05-31 | 2016-01-13 | 日立汽车系统株式会社 | 车辆控制装置 |
CN105518702A (zh) * | 2014-11-12 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 一种对目标物体的检测方法、检测装置以及机器人 |
CN107302845A (zh) * | 2014-09-22 | 2017-10-27 | 爱父爱斯吉尔有限公司 | 利用方向预测的低时延模拟装置及方法、用于该方法的计算机程序 |
-
2017
- 2017-12-19 CN CN201711370654.3A patent/CN109932926A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101065171A (zh) * | 2004-11-26 | 2007-10-31 | 世嘉股份有限公司 | 信息处理装置、数据处理方法、程序及记录介质 |
CN101568946A (zh) * | 2006-12-04 | 2009-10-28 | 富士通株式会社 | 驾驶模拟评价方法、驾驶模拟评价装置以及计算机程序 |
US8417490B1 (en) * | 2009-05-11 | 2013-04-09 | Eagle Harbor Holdings, Llc | System and method for the configuration of an automotive vehicle with modeled sensors |
CN104364754A (zh) * | 2012-06-12 | 2015-02-18 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
CN105246755A (zh) * | 2013-05-31 | 2016-01-13 | 日立汽车系统株式会社 | 车辆控制装置 |
CN107302845A (zh) * | 2014-09-22 | 2017-10-27 | 爱父爱斯吉尔有限公司 | 利用方向预测的低时延模拟装置及方法、用于该方法的计算机程序 |
CN105518702A (zh) * | 2014-11-12 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 一种对目标物体的检测方法、检测装置以及机器人 |
DE202015104345U1 (de) * | 2015-08-18 | 2015-10-26 | Dspace Digital Signal Processing And Control Engineering Gmbh | Adapter zur Einspeisung von Videosignalen in ein Steuergerät |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110456757B (zh) | 一种无人驾驶车辆的整车测试方法及系统 | |
Stellet et al. | Testing of advanced driver assistance towards automated driving: A survey and taxonomy on existing approaches and open questions | |
CN107966693B (zh) | 一种基于深度渲染的车载激光雷达仿真方法 | |
CN108345290B (zh) | 测试至少一个控制装置的至少一个控制装置功能的方法 | |
CN109141929A (zh) | 智能网联汽车仿真测试系统及方法 | |
CN115016323A (zh) | 自动驾驶的仿真测试系统及方法 | |
CN113419518B (zh) | 一种基于vts的vil测试平台 | |
CN113484851B (zh) | 车载激光雷达的仿真测试系统、方法和整车在环测试系统 | |
CN110888416B (zh) | 视觉adas-ecu硬件在环仿真测试系统 | |
US11636684B2 (en) | Behavior model of an environment sensor | |
CN110824912B (zh) | 训练用于生成自动驾驶策略的控制策略模型的方法和装置 | |
Rossmann et al. | Advanced sensor simulation in virtual testbeds: A cost-efficient way to develop and verify space applications | |
US20190152486A1 (en) | Low-latency test bed for an image- processing system | |
Joshi | A novel approach for validating adaptive cruise control (ACC) using two hardware-in-the-loop (HIL) simulation benches | |
CN117193041A (zh) | 一种基于数字孪生的无人集卡在环测试平台 | |
CN109932926A (zh) | 低延时的用于图像处理系统的试验台 | |
Pfeffer et al. | Video injection methods in a real-world vehicle for increasing test efficiency | |
JP6548708B2 (ja) | 画像処理システムのための低レイテンシの試験機 | |
DE102016119538A1 (de) | Latenzarmer Prüfstand für ein bildverarbeitendes System | |
Abraham et al. | Industry-track: Challenges in rebooting autonomy with deep learned perception | |
CN213042144U (zh) | 一种自动驾驶系统的融合测试台架 | |
CN111175055B (zh) | 自动驾驶分布式协同仿真方法、装置以及终端 | |
Piazzoni et al. | Challenges in Virtual Testing of Autonomous Vehicles | |
US20230278589A1 (en) | Autonomous driving sensor simulation | |
KR102295544B1 (ko) | 상용차용 긴급제동 및 차량자세제어 통합 시뮬레이션 시스템과 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190625 |
|
WD01 | Invention patent application deemed withdrawn after publication |