CN107884202A - 用于测试驾驶员辅助系统的方法和装置 - Google Patents

用于测试驾驶员辅助系统的方法和装置 Download PDF

Info

Publication number
CN107884202A
CN107884202A CN201710881361.5A CN201710881361A CN107884202A CN 107884202 A CN107884202 A CN 107884202A CN 201710881361 A CN201710881361 A CN 201710881361A CN 107884202 A CN107884202 A CN 107884202A
Authority
CN
China
Prior art keywords
vehicle
vision sensor
virtual objects
driver assistance
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710881361.5A
Other languages
English (en)
Inventor
尼尔斯·戈伯
托拜厄斯·弗拉茨
弗兰齐斯库斯·鲍尔
萨斯卡·哈斯
塞巴斯蒂安·施陶夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107884202A publication Critical patent/CN107884202A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2304/00—Optimising design; Manufacturing; Testing
    • B60Y2304/09—Testing or calibrating during manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及一种用于测试驾驶员辅助系统的方法和装置。在用于测试车辆中的驾驶员辅助系统的方法中，该车辆具有至少一个视觉传感器，并且驾驶员辅助系统基于由视觉传感器提供的输入数据来发起车辆反应，提供的输入数据使用至少一个虚拟对象(30)进行修改。在这种情况下，该修改可以通过以下方式进行：在由视觉传感器(35)捕获之前使用至少一个虚拟对象(30)来丰富由视觉传感器(35)捕获的图像或由视觉传感器(35)捕获的场景。

Description

用于测试驾驶员辅助系统的方法和装置
技术领域
本发明涉及一种用于测试驾驶员辅助系统的方法和装置。
背景技术
在主动驾驶员辅助系统中，例如车道检测和车道变换警告系统、交通标志识别系统或紧急制动系统，视觉传感器(例如摄像机)用于为相关系统提供输入数据。视觉输入数据又被用于引发车辆的相应反应(例如车辆转向、车辆制动或来自人机界面(HMI)的反馈)的各种算法。
为了测试这种主动驾驶员辅助系统，需要在实际使用条件下操作相应配备的车辆，在这种情况下，尤其需要与真正的道路标记、交通标志和第三方车辆的交互。这导致相应测试程序的相当多的费用和高度的复杂性。仅在测试台上(例如在“硬件在环(hardware-in-the-loop)”测试台中)进行测试证明是不够的，因为整个车辆系统、其与环境(例如在不同的天气条件(例如太阳或雨水)下或在不同路面的情况下)的交互以及与驾驶员的交互必须被考虑，以便对驾驶员辅助系统进行可靠的测试。
在车道偏离辅助的情况下，例如原则上要求在现实世界中的所有可能场景下或在具有所有特殊道路标记的测试轨道上进行测试。
在交通标志识别的情况下，使用前置摄像机捕获速度限制标志，并且识别分别规定的最大速度，从而可以启动车辆的进一步动作。原则上，这种系统必须对所有常规的交通标志进行测试，这可以通过执行全球测试驱动器或使用设置有所有常规交通标志的测试轨道进行。
在紧急制动系统的情况下，检测车辆前方路线上的物体并且车辆的制动器被激活以便避免或至少减少碰撞。这种系统通常使用特定障碍物(例如具有车辆形状的泡沫块)在测试轨道上进行测试，这些障碍物是静态的或(如果可移动物体被实施)难以产生和控制。
US 2015/0149031 A1特别公开了一种用于测试车辆的方法，测试控制单元产生或再现包含虚拟车辆状态和虚拟车辆环境的虚拟世界。在这种情况下，驱动状态执行器通过向实际车辆中引入额外的力或扭矩来产生虚拟世界中的瞬时车辆状态和瞬时车辆环境，结果是实际测试轨道上的实际车辆经历来自虚拟世界的车辆状态和车辆环境。
发明内容
本发明的目的是提供一种用于测试驾驶员辅助系统的方法和装置，其使得以可重复和全面的方式用减少的测试费用来检查驾驶员辅助系统的功能成为可能。
所述目的是通过根据独立权利要求1的特征的方法和通过根据并列权利要求7的特征的装置来实现的。
在用于测试车辆中的驾驶员辅助系统的方法中，车辆具有至少一个视觉传感器，并且驾驶员辅助系统基于由视觉传感器提供的输入数据来发起车辆反应，提供的输入数据是使用至少一个虚拟对象进行修改。在这种情况下，提供的输入数据通过以下方式进行修改：在由视觉传感器捕获之前使用至少一个虚拟对象来丰富由视觉传感器捕获的图像或由视觉传感器捕获的场景。
在本申请的意义上，“驾驶员辅助系统”的名称应被理解为包括车辆安全系统以及车辆信息和信号系统以及舒适系统的事实。特别地，除了车道检测和车道变换警告系统、交通标志识别系统或紧急制动系统之外，同样还包括通过抬头显示器向驾驶员显示例如以摄像机辅助的方式发现的停车位、停车场的入口或类似物的系统。因此，“车辆反应”一词还包括由车辆进行的信息传输(例如交通标志、停放空间等的显示)。
本发明基于这一概念，特别是利用“增强现实”的原理丰富驾驶员辅助系统中使用的一个或多个视觉传感器的视野。为此，可以将合适的装置放置在视觉传感器或摄像机的视野中，特别是为了添加虚拟对象(例如道路标记、交通标志或虚拟车辆)到由摄像机感知或捕获的图像中。
结果是，本发明能够以特别具有成本效益和节省时间的方式检查驾驶员辅助系统，在这种情况下，在相当短的时间内、以较少的人力开支、较低基础设施需求和较低交通要求进行测试是可能的。此外，原则上可以测试无限多种虚拟对象，因为例如在使用泡沫物体时的限制不存在。此外，根据本发明的方法还实现了比在实际车辆环境中的测试期间更加全面和更多样化的与对象的交互。
根据一个实施例，至少一个虚拟对象被放置在视觉传感器的视野中。
根据一个实施例，与实际车辆环境相关的数据被连接到与至少一个虚拟对象有关的数据。
在一个示例性实施例中，车道偏离辅助系统可以在没有现有道路标记的测试轨道上进行测试。在这种情况下，相关车辆的前置摄像机的视野采用虚拟道路标记来丰富。然后，前置摄像机捕获相应地添加的道路标记，其结果是车辆可以相应地对其作出反应。
在另一示例性实施例中，也可以使用根据本发明的方法在测试轨道上测试紧急制动系统。在这种情况下，虚拟对象或障碍物被放置在相应车辆的前置摄像机的视野内。摄像机将捕获相关对象，其结果是车辆相应地作出反应。在这种情况下，可以在相应车辆的前置摄像机的视野中产生并放置可移动和静态障碍物或对象。
本发明还涉及一种用于测试车辆中的驾驶员辅助系统的装置，所述车辆具有至少一个视觉传感器，并且驾驶员辅助系统能够基于由视觉传感器提供的输入数据来发起车辆反应，该装置被配置为执行具有上述特征的方法。关于装置的优点和优选配置，参考上面结合根据本发明的方法的说明。
从描述和从属权利要求可以获取本发明的其它特征。
附图说明
下面将参考附图基于示例性实施例更详细地解释本发明；
图1首先仅以示意图的方式示出了根据本发明的一个实施例的装置的基本部件的概述；以及
图2示出了用于说明当执行根据本发明的方法时的装置的操作方法和可能的信号流的图。
具体实施方式
在这种情况下，假设在图1和图2中指定为“10”的车辆配备有主动驾驶员辅助系统，该主动驾驶员辅助系统可以是例如车道偏离辅助、交通标志识别装置或紧急制动系统。用于该驾驶员辅助系统的输入数据尤其由至少一个视觉传感器35提供，至少一个视觉传感器35的视野在图1中被指定为“20”。
根据本发明的装置的基本要素是合并单元(合并器)50，如图2所示，合并单元50合并或连接至少一个虚拟对象30或描述这样的对象的数据和描述实际车辆环境(“真实世界”)的数据5，并且作为该连接的结果，生成相应地丰富或增强的图像55，该相应地丰富或增强的图像55再提供给视觉传感器或摄像机35。
至少一个虚拟对象30可以是例如虚拟交通标志、虚拟第三方车辆、虚拟车道或任何期望的其他虚拟对象。
基于由视觉传感器35提供的数据来控制主动驾驶员辅助系统60，该驾驶员辅助系统60又产生相应的控制信号(例如用于使车辆10制动、加速和/或转向)并将其发送到车辆10的相应致动器。
在图1和图2中，“40”用于指定用于提供描述至少一个虚拟对象30的数据的装置(例如基于计算机的装置)，提供数据通常通过模拟来执行。“15”用于指定同时向装置40和合并器50(结合描述实际车辆环境或“真实世界”的数据5)提供的当前车辆数据(例如车辆位置、车辆速度和车辆加速度)。
根据本发明，描述至少一个虚拟对象30的数据可以以不同方式连接到描述实际车辆环境(“真实世界”)的数据5。一方面，可以将虚拟对象图像放置在视觉传感器35的视野中，或者可以使用透视显示器或光学合成器。

Claims (7)

1.一种用于测试车辆中的驾驶员辅助系统的方法，所述车辆具有至少一个视觉传感器，以及所述驾驶员辅助系统基于由所述视觉传感器提供的输入数据来发起车辆反应，
其中
所述提供的输入数据使用至少一个虚拟对象(30)进行修改；
所述修改通过以下方式进行：在由所述视觉传感器(35)捕获之前，使用所述至少一个虚拟对象(30)来丰富由所述视觉传感器(35)捕获的图像或由所述视觉传感器(35)捕获的场景。
2.根据权利要求1所述的方法，
其中
所述至少一个虚拟对象(30)被放置在所述视觉传感器(35)的视野(20)中。
3.根据权利要求1或2所述的方法，
其中
与实际车辆环境有关的数据(5)被连接到与所述至少一个虚拟对象(30)相关的数据。
4.根据前述权利要求中任一项所述的方法，
其中
所述至少一个虚拟对象(30)具有虚拟道路标记。
5.根据前述权利要求中任一项所述的方法，
其中
所述至少一个虚拟对象(30)具有虚拟的第三方车辆。
6.根据前述权利要求中任一项所述的方法，
其中
所述至少一个虚拟对象(30)具有虚拟交通标志。
7.一种用于测试车辆中的驾驶员辅助系统的装置，所述车辆具有至少一个视觉传感器，并且所述驾驶员辅助系统能够基于由所述视觉传感器提供的输入数据来发起车辆反应，
其中
所述装置被配置为执行如前述权利要求之一所述的方法。
CN201710881361.5A 2016-09-30 2017-09-26 用于测试驾驶员辅助系统的方法和装置 Pending CN107884202A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016219031.8A DE102016219031B4 (de) 2016-09-30 2016-09-30 Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystems
DE102016219031.8 2016-09-30

Publications (1)

Publication Number Publication Date
CN107884202A true CN107884202A (zh) 2018-04-06

Family

ID=61623628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710881361.5A Pending CN107884202A (zh) 2016-09-30 2017-09-26 用于测试驾驶员辅助系统的方法和装置

Country Status (3)

Country Link
US (1) US10604157B2 (zh)
CN (1) CN107884202A (zh)
DE (1) DE102016219031B4 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836895B1 (en) 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
CN109064829A (zh) * 2018-08-14 2018-12-21 山东省科学院自动化研究所 一种无人驾驶车辆视觉感知能力测试方法及系统
CN112590813B (zh) * 2020-12-09 2022-09-27 禾多科技（北京）有限公司 自动驾驶车辆信息生成方法、装置、电子设备和介质
JP2024501253A (ja) 2020-12-23 2024-01-11 ストーンリッジ エレクトロニクス アーベー カメラミラーシステムのディスプレイカメラ較正
CN113112865B (zh) * 2021-04-13 2021-11-16 哈尔滨工业大学 一种区域化车辆协同预警避险的交互系统及方法
CN115237084A (zh) * 2021-09-07 2022-10-25 广东省智能网联汽车创新中心有限公司 一种中控系统与仪表交互的测试方法、装置及汽车

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004057947B4 (de) * 2004-11-30 2009-10-29 Audi Ag Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
CN101676149A (zh) * 2008-09-16 2010-03-24 本田技研工业株式会社 车辆驾驶辅助装置
CN102473353A (zh) * 2009-07-22 2012-05-23 丰田自动车株式会社 驾驶辅助装置
DE102012008117A1 (de) * 2012-04-25 2013-10-31 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen
DE102013003448A1 (de) * 2013-02-26 2014-08-28 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Vorrichtung und Verfahren zum Testen von Fahrerassistenzsystemen
CN105388021A (zh) * 2015-10-21 2016-03-09 重庆交通大学 Adas虚拟开发与测试系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006060553A1 (de) * 2006-12-21 2008-06-26 Bayerische Motoren Werke Ag Verfahren zur Erprobung eines Fahrerassistenzsystems
AT511131B1 (de) 2012-05-25 2013-09-15 Avl List Gmbh Verfahren zum Testen eines Fahrzeugs oder einer Komponente eines Fahrzeugs
US20160210775A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual sensor testbed
EP3220233B1 (en) * 2016-03-18 2020-11-04 Volvo Car Corporation Method and system for enabling interaction in a test environment
US10054944B2 (en) * 2016-04-01 2018-08-21 Jaguar Land Rover Limited System and method for configuring autonomous vehicle responses based on a driver profile

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004057947B4 (de) * 2004-11-30 2009-10-29 Audi Ag Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
CN101676149A (zh) * 2008-09-16 2010-03-24 本田技研工业株式会社 车辆驾驶辅助装置
CN102473353A (zh) * 2009-07-22 2012-05-23 丰田自动车株式会社 驾驶辅助装置
DE102012008117A1 (de) * 2012-04-25 2013-10-31 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Darstellung eines Kraftfahrzeugumfeldes zum Testen von Fahrerassistenzsystemen
DE102013003448A1 (de) * 2013-02-26 2014-08-28 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Vorrichtung und Verfahren zum Testen von Fahrerassistenzsystemen
CN105388021A (zh) * 2015-10-21 2016-03-09 重庆交通大学 Adas虚拟开发与测试系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康拉德·莱夫: "《BOSCH 汽车工程手册》", 31 January 2016, 北京理工大学出版社 *

Also Published As

Publication number Publication date
DE102016219031A1 (de) 2018-04-05
US10604157B2 (en) 2020-03-31
DE102016219031B4 (de) 2024-04-11
US20180093674A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN107884202A (zh) 用于测试驾驶员辅助系统的方法和装置
JP6775046B2 (ja) 自律車両のためのフォールバック軌道システム
CN112740188B (zh) 使用偏差进行基于日志的模拟
CN105590454B (zh) 一种车辆违规行为举证的方法及其系统
EP3219564B1 (en) Driving prediction with a deep neural network
CN103116399B (zh) 基于推断的交通工具状态提供用户接口体验的方法和装置
Zhou et al. A framework for virtual testing of ADAS
KR100709401B1 (ko) 차선이탈경보시스템용 힐스 장치 및 그의 시험 방법
CN110299003A (zh) 为测试车辆仿真不同的交通状况的方法
WO2014141526A1 (ja) 車両用危険場面再現装置、およびその使用方法
CN102474598A (zh) 车辆周边感知辅助装置
CN104103100A (zh) 驾驶行为分析系统
JP7366253B2 (ja) 自動車による少なくとも運転支援下でのジャンクションの横断のための方法
CN105151044B (zh) 车辆辅助驾驶方法及装置
CN105684039A (zh) 用于驾驶员辅助系统的状况分析
Kim et al. Effects on productivity and safety of map and augmented reality navigation paradigms
JP5825713B2 (ja) 車両用危険場面再現装置
Kibalama et al. AV/ADAS safety-critical testing scenario generation from vehicle crash data
Pfeffer et al. Continuous development of highly automated driving functions with vehicle-in-the-loop using the example of Euro NCAP scenarios
Schwab et al. Consistent test method for assistance systems
Pechinger et al. Roadside infrastructure support for urban automated driving
CN109003335A (zh) 一种基于vr技术的虚拟驾驶感知系统及其场景生成方法
US20150002657A1 (en) Method and apparatus for using vehicle cameras to capture and share digital media
CN107657821A (zh) 用于车辆的电子控制装置和方法
Pechinger et al. Cyclist Safety in Urban Automated Driving-Sub-Microscopic HIL Simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180406