CN108958233B - 一种感知模拟方法和装置 - Google Patents

一种感知模拟方法和装置 Download PDF

Info

Publication number
CN108958233B
CN108958233B CN201810201934.XA CN201810201934A CN108958233B CN 108958233 B CN108958233 B CN 108958233B CN 201810201934 A CN201810201934 A CN 201810201934A CN 108958233 B CN108958233 B CN 108958233B
Authority
CN
China
Prior art keywords
data
perception
sensing
noise
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810201934.XA
Other languages
English (en)
Other versions
CN108958233A (zh
Inventor
孙行
林於菟
赵宇飞
刘浏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Beijing Tusen Weilai Technology Co Ltd
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN108958233A publication Critical patent/CN108958233A/zh
Application granted granted Critical
Publication of CN108958233B publication Critical patent/CN108958233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

本发明公开一种感知模拟方法和装置，用以解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。该方法包括：获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；将模拟感知数据提供给车辆运动规划系统。

Description

一种感知模拟方法和装置
技术领域
本发明涉及智能交通领域，特别涉及一种感知模拟方法和装置。
背景技术
在很多技术领域中都会进行控制模拟操作，也即对现实场景进行模拟，并在模拟的场景中根据模拟的输入数据对一些控制功能进行模拟得到控制结果，以学习训练控制功能、将得到的控制功能应用于现实控制中。
例如，在自动驾驶领域(或称为无人驾驶领域)中，通常会根据感知数据和地图数据对现实环境创建一个虚拟环境，感知数据中包括传感器数据和摄像头数据。在该虚拟环境中，可以模拟自动驾驶车辆的行为，并进行多种控制功能的模拟，例如路线规划模拟、碰撞规避模拟，最后将模拟得到的控制功能应用在实际的自动驾驶车辆中。其中，这些控制功能都是基于虚拟环境中的虚拟的感知数据得到的。
但是在具体的应用中发现，在基于虚拟的感知数据进行控制模拟时，控制模拟结果通常与现实的实际状态不符，模拟结果无法直接应用于实际应用。
也即，在现有技术中存在无法基于虚拟的感知数据进行有效的、高仿真的控制模拟的问题。
发明内容
有鉴于此，本发明提供了一种感知模拟方法和装置，用以解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。
根据本申请的一个方面，提供了一种感知模拟方法，包括：
获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；
将模拟感知数据提供给车辆运动规划系统。
在一些实施例中，该方法还包括：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
在一些实施例中，根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。
在一些实施例中，根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
在一些实施例中，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
在一些实施例中，感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。
根据本申请的一个方面，提供了一种感知模拟装置，包括：一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现：
获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；
将模拟感知数据提供给车辆运动规划系统。
在一些实施例中，处理器执行至少一条机器可执行指令还实现：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；
根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
在一些实施例中，处理器执行至少一条机器可执行指令实现根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。
在一些实施例中，处理器执行至少一条机器可执行指令实现根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
在一些实施例中，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
在一些实施例中，感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。
根据本申请的一个方面，提供了一种感知模拟装置，包括：
获取模块，用于获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
处理模块，用于根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；
输出模块，用于将模拟感知数据提供给车辆运动规划系统。
在一些实施例中，所述装置还包括建模模块，用于预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；
根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
在一些实施例中，建模模块根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。
在一些实施例中，处理模块根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
在一些实施例中，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
在一些实施例中，感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。
根据本申请实施例提供的技术方案，对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟得到的虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制模拟，得到的模拟结果更为有效、保真度更高，使得控制模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1a为本申请实施例提供的感知模拟方法的处理流程图；
图1b为图1a中步骤12的处理流程图；
图2为本申请实施例提供的感知模拟装置的结构框图；
图3为本申请实施例提供的感知模拟装置的另一结构框图；
图4为本申请实施例提供的感知模拟装置的另一结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在现有技术中，对自动驾驶车辆的相关控制功能进行模拟，可以在一个虚拟环境中基于虚拟的感知数据，对车辆的控制功能进行模拟。但是在具体应用中发现，虚拟的感知数据通常都是较为理想、精度较高的数据，基于这样的虚拟感知数据对控制功能进行模拟、并将模拟得到的控制功能应用在现实场景中时，会发现模拟控制的结果通常与现实的实际状态不符、无法直接应用于实际应用。
本申请实施例对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制规划模拟，得到的模拟结果更为有效、保真度更高，使得控制规划模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1a中示出了本申请实施例提供的感知模拟方法的处理流程图，该方法包括如下处理过程：
步骤11、获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据。
其中，虚拟环境是对一个真实的现实环境的数据表达，也即虚拟环境是根据多种数据建立起来的、对一个现实环境的虚拟表达，多种数据通常包括地图数据和感测数据，感测数据中通常包括摄像头数据、传感器数据(例如激光雷达数据、全球定位系统数据、声纳数据、雷达数据，或者类似的数据)。
虚拟感知数据可以是虚拟环境中的一个模拟感测装置输出的感测数据，虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据，根据具体应用场景的需求，还可以包括上述传感器数据中的其它类型数据。
步骤12、根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据。
在一些实施例中，如图1b所示，预先建立模拟感知模型的处理包括如下过程：
步骤121、预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；
其中，所述虚拟环境是该现实环境的数据表达；
历史真实数据(ground truth)至少包括历史的传感器数据、摄像头数据和人工标定数据，历史真实数据是一个现实环境的真实的数据表达；也即，历史真实数据表达了一个现实环境的准确实际的位置和状态，以及该环境中的物体的真实位置和状态，
传感器数据中可以包括以下至少一种：激光雷达数据、全球定位系统数据、声纳数据、雷达数据，或者类似的数据。
感知系统输出数据包括现实感知处理模块对现实感测装置获取的所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头。
感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
传感器噪声至少包括以下之一：传感器的物理约束(例如传感器器件本身的物理范围)、传感器工作范围(例如传感器的配置范围)、传感器工作能力限制；
摄像头噪声至少包括以下之一：摄像头的物理约束(例如摄像头器件本身的物理范围)、摄像头工作范围(摄像头的配置情况)、摄像头工作能力限制；
其中，工作能力限制至少包括以下之一：与工作时间相关的限制(例如与传感器或者摄像头的白天操作模式和夜晚操作模式有关的限制，交通高峰期对摄像头采集图像造成大量遮蔽的限制)、与工作地点相关的限制(例如特定地点对摄像头的遮挡的限制)、与无人驾驶车辆的速度相关的限制(例如过高的车速造成传感器采集数据失真的限制)、与自然环境相关的限制。例如，
感知处理模块的处理噪声至少包括以下之一：
感知数据处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；
感知数据处理模块执行的车辆定位处理中的噪声；
感知数据处理模块执行的车道检测处理中的噪声；
感知数据处理模块执行的物体分类处理中的噪声；
感知数据处理模块执行的物体定位处理中的噪声；
感知数据处理模块中的图像处理模块生成的数据中的错误。
步骤S122、根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
具体可以通过训练神经网络的方法、统计学方法或者机器学习的方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。
可见通过上述步骤，可以建立一种真实无差错的数据也即历史真实数据和具有感知噪声的数据也即感知系统输出数据之间的对应关系，该对应关系通过模拟感知模型来表达。
根据该模拟感知模型和作为输入的虚拟感知数据，就可以得到输出的模拟感知数据，该模拟感知数据具有感知噪声。也即，将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的具有感知噪声的模拟感知数据。
可见在本申请的实施例中，通过建立一种无差错的真实数据和真实世界的感知系统得到的具有感知噪声的感知数据之间的对应关系，并通过模拟感知模型表达该对应关系；在虚拟环境中，对无差错的虚拟感知数据进行处理，通过预先建立的模拟感知模型将虚拟感知数据映射为具有感知噪声的模拟感知数据，能够得到与现实世界的感知系统的输出相类似或等同的感知数据。
本申请实施例模拟得到的感知噪声是模拟的整个感知系统的工作噪声，感知系统包括感测装置和感知处理模块，感知噪声中包括传感器噪声、摄像头噪声、和/或感知处理模块的处理噪声，根据预先建立模拟感知模型时选择的感测数据，感知噪声中还可以包括其它类型的噪声。也即本申请实施例可以模拟整个感知系统、多种感测装置的工作噪声。
可见，本申请实施例能够模拟整个感知系统的、多种类型的感知噪声，相比于现有技术中的虚拟感知数据，包括感知噪声的模拟感知数据能够更加真实地模拟现实的感知系统的工作输出，从而本申请实施例能够在虚拟环境中提供保真度更高的感知数据。
步骤13、将模拟感知数据提供给车辆运动规划系统。
车辆运动规划系统根据包括感知噪声的模拟感知数据进行工作，相比于现有技术中根据虚拟感知数据进行工作，能够基于更接近、等同于现实或者可替代现实的感知数据进行工作，从而能够进行更有效、仿真度更高的控制规划模拟。从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。
基于相同的发明构思，本申请实施例还提供了一种感知模拟装置。
图2示出了本申请实施例提供的感知模拟装置的结构框图，该装置包括一个处理器21和至少一个存储器22，至少一个存储器22中存储有至少一条机器可执行指令，处理器21执行至少一条机器可执行指令实现：
获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；
将模拟感知数据提供给车辆运动规划系统。
在一些实施例中，处理器21执行至少一条机器可执行指令还实现：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
在一些实施例中，处理器21执行至少一条机器可执行指令实现根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。
在一些实施例中，处理器21执行至少一条机器可执行指令实现根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
在本申请的实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。
根据本申请实施例提供的感知模拟装置，对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制规划模拟，得到的模拟结果更为有效、保真度更高，使得控制规划模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。
基于相同的发明构思，本申请实施例还提供了一种感知模拟装置。
图3示出了本申请实施例提供的感知模拟装置的结构示意图，该装置包括：
获取模块31，用于获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
处理模块32，用于根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据；
输出模块33，用于将模拟感知数据提供给车辆运动规划系统。
在一些实施例中，处理模块32根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
在一些实施例中，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。感知处理模块的处理噪声至少包括以下之一：感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；感知处理模块执行的车辆定位处理中的噪声；感知模块执行的车道检测处理中的噪声；感知模块执行的物体分类处理中的噪声；感知处理模块执行的物体定位处理中的噪声；感知处理模块中的图像处理模块生成的数据中的错误。
基于图3所示的装置，本实施例还提供了另一种感知模拟装置，如图4所示，该装置还包括建模模块34。
建模模拟34用于：预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据；其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知系统输出数据中包括感知噪声，感知装置至少包括传感器和摄像头；根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型，模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
在一些实施例中，建模模块34根据历史真实数据和感知系统输出数据建立模型，包括：使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型。
根据本申请实施例提供的感知模拟装置，对一个虚拟环境中的虚拟感知数据进行处理，通过一个预先建立的模拟感知模型以及获取的虚拟感知数据，得到具有感知噪声的模拟感知数据，并将模拟感知数据提供给车辆运动规划系统，相比于现有技术，具有感知噪声的模拟感知数据相比于虚拟感知数据，更能够代表现实世界中实际的感知数据，从而基于本申请实施例提供的模拟感知数据进行控制规划模拟，得到的模拟结果更为有效、保真度更高，使得控制规划模拟的结果更适合于应用实际控制，从而能够解决现有技术中无法基于虚拟感知数据进行有效的、高仿真的控制模拟的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种感知模拟方法，其特征在于，包括：
预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据，其中感知系统输出数据包括感知噪声；使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型；
获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
根据虚拟感知数据和所述模拟感知模型，得到具有感知噪声的模拟感知数据；
将模拟感知数据提供给车辆运动规划系统。
2.根据权利要求1所述的方法，其特征在于，其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知装置至少包括传感器和摄像头；
模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
3.根据权利要求1所述的方法，其特征在于，根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：
将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
4.根据权利要求1所述的方法，其特征在于，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
5.根据权利要求4所述的方法，其特征在于，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；
摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；
其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
6.根据权利要求4所述的方法，其特征在于，感知处理模块的处理噪声至少包括以下之一：
感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；
感知处理模块执行的车辆定位处理中的噪声；
感知模块执行的车道检测处理中的噪声；
感知模块执行的物体分类处理中的噪声；
感知处理模块执行的物体定位处理中的噪声；
感知处理模块中的图像处理模块生成的数据中的错误。
7.一种感知模拟装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令实现：
预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据，其中感知系统输出数据包括感知噪声；使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型；
获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
根据虚拟感知数据和所述模拟感知模型，得到具有感知噪声的模拟感知数据；
将模拟感知数据提供给车辆运动规划系统。
8.根据权利要求7所述的装置，其特征在于，其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知装置至少包括传感器和摄像头；
模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
9.根据权利要求7所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
10.根据权利要求7所述的装置，其特征在于，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
11.根据权利要求10所述的装置，其特征在于，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；
摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；
其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
12.根据权利要求10所述的装置，其特征在于，感知处理模块的处理噪声至少包括以下之一：
感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；
感知处理模块执行的车辆定位处理中的噪声；
感知模块执行的车道检测处理中的噪声；
感知模块执行的物体分类处理中的噪声；
感知处理模块执行的物体定位处理中的噪声；
感知处理模块中的图像处理模块生成的数据中的错误。
13.一种感知模拟装置，其特征在于，包括：
建模模块，用于预先获取一个现实环境的历史真实数据和该现实环境的感知系统输出数据，其中感知系统输出数据包括感知噪声；使用神经网络、统计学方法或者机器学习方法，根据历史真实数据和感知系统输出数据建立模型，得到模拟感知模型；
获取模块，用于获取一个虚拟环境中的虚拟感知数据；虚拟感知数据至少包括虚拟传感器数据和虚拟图像数据；
处理模块，用于根据虚拟感知数据和所述模拟感知模型，得到具有感知噪声的模拟感知数据；
输出模块，用于将模拟感知数据提供给车辆运动规划系统。
14.根据权利要求13所述的装置，其特征在于，其中，所述虚拟环境是该现实环境的数据表达；历史真实数据至少包括历史的传感器数据、摄像头数据和人工标定数据；感知系统输出数据包括现实感知处理模块对现实感测装置获取的对所述现实环境的感测数据进行处理后的输出数据，感知装置至少包括传感器和摄像头；
模拟感知模型中包括输入的历史真实数据和输出的感知系统输出数据的对应关系。
15.根据权利要求13所述的装置，其特征在于，处理模块根据虚拟感知数据和预先建立的模拟感知模型，得到具有感知噪声的模拟感知数据，包括：
将虚拟感知数据作为输入数据输入到模拟感知模型中，得到输出的模拟感知数据。
16.根据权利要求13所述的装置，其特征在于，感知噪声至少包括以下一种：传感器噪声、摄像头噪声、感知处理模块的处理噪声。
17.根据权利要求16所述的装置，其特征在于，传感器噪声至少包括以下之一：传感器的物理约束、传感器工作范围、传感器工作能力限制；
摄像头噪声至少包括以下之一：摄像头的物理约束、摄像头工作范围、摄像头工作能力限制；
其中，工作能力限制至少包括以下之一：与工作时间相关的限制、与工作地点相关的限制、与无人驾驶车辆的速度相关的限制、与自然环境相关的限制。
18.根据权利要求16所述的装置，其特征在于，感知处理模块的处理噪声至少包括以下之一：
感知处理模块执行的物体检测处理中的假阳性物体检测和/或假阴性物体检测；
感知处理模块执行的车辆定位处理中的噪声；
感知模块执行的车道检测处理中的噪声；
感知模块执行的物体分类处理中的噪声；
感知处理模块执行的物体定位处理中的噪声；
感知处理模块中的图像处理模块生成的数据中的错误。
CN201810201934.XA 2017-05-18 2018-03-12 一种感知模拟方法和装置 Active CN108958233B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/598,693 2017-05-18
US15/598,693 US10481044B2 (en) 2017-05-18 2017-05-18 Perception simulation for improved autonomous vehicle control

Publications (2)

Publication Number Publication Date
CN108958233A CN108958233A (zh) 2018-12-07
CN108958233B true CN108958233B (zh) 2021-09-03

Family

ID=64269704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201934.XA Active CN108958233B (zh) 2017-05-18 2018-03-12 一种感知模拟方法和装置

Country Status (2)

Country Link
US (4) US10481044B2 (zh)
CN (1) CN108958233B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643125B (zh) * 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
CN107063713B (zh) * 2017-04-27 2020-03-10 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试方法和装置
US10678247B2 (en) * 2017-08-28 2020-06-09 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10860018B2 (en) * 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
US11620419B2 (en) * 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
EP3769507A4 (en) 2018-03-23 2022-03-30 Netradyne, Inc. MAPPING OF TRAFFIC BOUNDARIES
US11403842B2 (en) * 2018-09-17 2022-08-02 Goodrich Corporation Simulator to simulate target detection and recognition
US11393189B2 (en) * 2018-09-17 2022-07-19 Goodrich Corporation Method to simulate target detection and recognition
GB201912145D0 (en) * 2019-08-23 2019-10-09 Five Ai Ltd Performance testing for robotic systems
DE102019212829A1 (de) * 2019-08-27 2021-03-04 Psa Automobiles Sa Automatisierte Erkennung eines anormalen Verhaltens eines Verkehrsteilnehmers
US11292481B2 (en) 2019-09-11 2022-04-05 GM Global Technology Operations LLC Method and apparatus for multi vehicle sensor suite diagnosis
US11351995B2 (en) 2019-09-27 2022-06-07 Zoox, Inc. Error modeling framework
US11625513B2 (en) 2019-09-27 2023-04-11 Zoox, Inc. Safety analysis framework
US11734473B2 (en) * 2019-09-27 2023-08-22 Zoox, Inc. Perception error models
JP2022550058A (ja) * 2019-09-27 2022-11-30 ズークス インコーポレイテッド 安全性分析フレームワーク
EP4073782A4 (en) * 2019-12-09 2024-01-17 Zoox, Inc. PERCEPTION ERROR MODELS
CN113366440A (zh) 2019-12-20 2021-09-07 百度时代网络技术（北京）有限公司 具有致动延时的动态模型
US12013693B1 (en) * 2019-12-30 2024-06-18 Zoox, Inc. Component verification system
EP4085442A4 (en) * 2019-12-30 2024-01-17 Waymo LLC IDENTIFYING PROXY CALIBRATION TARGETS FOR A VEHICLE FLEET
US11299169B2 (en) * 2020-01-24 2022-04-12 Ford Global Technologies, Llc Vehicle neural network training
US20210339741A1 (en) * 2020-04-30 2021-11-04 Zoox, Inc. Constraining vehicle operation based on uncertainty in perception and/or prediction
US20220227397A1 (en) * 2021-01-19 2022-07-21 Baidu Usa Llc Dynamic model evaluation package for autonomous driving vehicles
US11814070B1 (en) * 2021-09-30 2023-11-14 Zoox, Inc. Simulated driving error models
SE545245C2 (en) * 2021-12-22 2023-06-07 Husqvarna Ab Method for controlling an autonomous robotic tool using a modular autonomy control unit
US20240124016A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Ensemble-based vehicle motion planner

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819954A (zh) * 2012-08-28 2012-12-12 南京大学 交通区域动态地图监控预测系统
CN105426638A (zh) * 2015-12-24 2016-03-23 吉林大学 一种驾驶员行为特性辨识装置
CN105599764A (zh) * 2014-11-12 2016-05-25 现代自动车株式会社 用于自主车辆的行车路线规划装置及方法
CN106250435A (zh) * 2016-07-26 2016-12-21 广东石油化工学院 一种基于移动终端噪声地图的用户场景识别方法
CN106503393A (zh) * 2016-11-15 2017-03-15 浙江大学 一种利用仿真生成样本实现无人车自主行进的方法
CN106529392A (zh) * 2015-09-11 2017-03-22 福特全球技术公司 虚拟驾驶环境中传感器数据生成
CN106599767A (zh) * 2015-10-16 2017-04-26 福特全球技术公司 虚拟环境中的车道边界检测数据生成
CN106598695A (zh) * 2015-10-16 2017-04-26 福特全球技术公司 用于虚拟驾驶环境中的车道边界检测的试验台

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8064643B2 (en) 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
EP2411961B1 (en) 2009-03-26 2012-10-31 TP Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP3588939B1 (en) 2010-10-31 2023-10-18 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
US9251708B2 (en) 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
WO2013004612A1 (en) 2011-07-01 2013-01-10 INSERM (Institut National de la Santé et de la Recherche Médicale) Methods for determining developmental stage of human cumulus cells
WO2013015416A1 (ja) 2011-07-28 2013-01-31 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP6285958B2 (ja) 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) * 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9671243B2 (en) 2013-06-13 2017-06-06 Mobileye Vision Technologies Ltd. Vision augmented navigation
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
CN111027420B (zh) 2013-12-04 2023-10-24 移动眼视力科技有限公司 用于模仿前车的系统和方法
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
US9248832B2 (en) 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
EP3108264A2 (en) 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9098753B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
GB2525900A (en) * 2014-05-07 2015-11-11 Imp Innovations Ltd Method of using a device capable of controlled flight
US9443163B2 (en) 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
EP3152704A2 (en) 2014-06-03 2017-04-12 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) * 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
DE102014211175A1 (de) * 2014-06-11 2015-12-17 Continental Teves Ag & Co. Ohg Verfahren und System zur Initialisierung eines Sensorfusionssystems
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) * 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) * 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
US9592964B2 (en) * 2015-07-23 2017-03-14 Pinc Solutions System and method for determining and controlling status and location of an object
WO2017013875A1 (ja) 2015-07-23 2017-01-26 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
CN106878934B (zh) * 2015-12-10 2020-07-31 阿里巴巴集团控股有限公司 一种电子地图显示方法及装置
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10055675B2 (en) * 2016-06-15 2018-08-21 Ford Global Technologies, Llc Training algorithm for collision avoidance using auditory data
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10254121B2 (en) * 2017-01-23 2019-04-09 Uber Technologies, Inc. Dynamic routing for self-driving vehicles
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10518770B2 (en) * 2017-03-14 2019-12-31 Uatc, Llc Hierarchical motion planning for autonomous vehicles
US10496099B2 (en) * 2017-07-18 2019-12-03 Uatc, Llc Systems and methods for speed limit context awareness
US10746858B2 (en) * 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10782694B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10782693B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10962979B2 (en) * 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
US10860018B2 (en) * 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
US10877476B2 (en) * 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
US10989538B2 (en) * 2017-12-15 2021-04-27 Uatc, Llc IMU data offset compensation for an autonomous vehicle
US11104334B2 (en) * 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US11651244B2 (en) * 2018-10-04 2023-05-16 Here Global B.V. Method and apparatus for predicting sensor error
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
US11506512B2 (en) * 2019-05-22 2022-11-22 TDK Japan Method and system using tightly coupled radar positioning to improve map performance
US11460568B2 (en) * 2019-08-29 2022-10-04 Zoox, Inc. Estimating in-plane velocity from an arbitrary radar return
US11250051B2 (en) * 2019-09-19 2022-02-15 Here Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system
US11351995B2 (en) * 2019-09-27 2022-06-07 Zoox, Inc. Error modeling framework
CN114514412B (zh) * 2019-10-08 2024-06-04 株式会社电装 误差估计装置、误差估计方法、存储介质
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation
WO2021188664A1 (en) * 2020-03-17 2021-09-23 Uatc, Llc Radar validation and calibration
US11982732B2 (en) * 2020-06-09 2024-05-14 Samsung Electronics Co., Ltd. Method and apparatus for processing radar signal by correcting phase distortion
KR20240042663A (ko) * 2021-08-19 2024-04-02 테슬라, 인크. 시뮬레이션 콘텐트를 사용한 비전 기반 시스템 훈련

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819954A (zh) * 2012-08-28 2012-12-12 南京大学 交通区域动态地图监控预测系统
CN105599764A (zh) * 2014-11-12 2016-05-25 现代自动车株式会社 用于自主车辆的行车路线规划装置及方法
CN106529392A (zh) * 2015-09-11 2017-03-22 福特全球技术公司 虚拟驾驶环境中传感器数据生成
CN106599767A (zh) * 2015-10-16 2017-04-26 福特全球技术公司 虚拟环境中的车道边界检测数据生成
CN106598695A (zh) * 2015-10-16 2017-04-26 福特全球技术公司 用于虚拟驾驶环境中的车道边界检测的试验台
CN105426638A (zh) * 2015-12-24 2016-03-23 吉林大学 一种驾驶员行为特性辨识装置
CN106250435A (zh) * 2016-07-26 2016-12-21 广东石油化工学院 一种基于移动终端噪声地图的用户场景识别方法
CN106503393A (zh) * 2016-11-15 2017-03-15 浙江大学 一种利用仿真生成样本实现无人车自主行进的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分层信息数据库的智能车仿真环境感知方法研究;管欣 等;《汽车工程》;20151231;第37卷(第1期);正文第1，3节和图3 *

Also Published As

Publication number Publication date
US10830669B2 (en) 2020-11-10
US20240192089A1 (en) 2024-06-13
CN108958233A (zh) 2018-12-07
US20210080353A1 (en) 2021-03-18
US20200049592A1 (en) 2020-02-13
US11885712B2 (en) 2024-01-30
US10481044B2 (en) 2019-11-19
US20180336297A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN108958233B (zh) 一种感知模拟方法和装置
CN108921200B (zh) 用于对驾驶场景数据进行分类的方法、装置、设备和介质
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
US20200012756A1 (en) Vision simulation system for simulating operations of a movable platform
CN114930401A (zh) 基于点云的三维重建方法、装置和计算机设备
CN109241856A (zh) 一种单目车载视觉系统立体目标检测方法
CN111324945B (zh) 传感器方案确定方法、装置、设备及存储介质
CN109299656B (zh) 一种车载视觉系统场景视深确定方法
CN111339876B (zh) 用于识别场景中各区域类型的方法和装置
US11636684B2 (en) Behavior model of an environment sensor
EP3621041A1 (en) Three-dimensional representation generating system
CN112017236A (zh) 一种基于单目相机计算目标物位置的方法及装置
CN115205586A (zh) 基于知识蒸馏的多自监督任务融合方法、装置及存储介质
CN114689036A (zh) 地图更新方法、自动驾驶方法、电子设备及存储介质
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN113358110A (zh) 机器人障碍物地图的构建方法、装置、机器人及存储介质
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
CN110631586A (zh) 基于视觉slam的地图构建的方法、导航系统及装置
CN115019060A (zh) 目标识别方法、目标识别模型的训练方法及装置
CN109901589B (zh) 移动机器人控制方法和装置
CN113624223A (zh) 一种室内停车场地图构建方法及装置
CN113470067A (zh) 数据处理方法、装置、存储介质和处理器
CN113867147B (zh) 训练及控制方法、装置、计算设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.1, Linkong 2nd Road, Shunyi Park, Zhongguancun Science and Technology Park, Shunyi District, Beijing

Patentee after: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee after: Tucson Ltd.

Address before: 101300 Shunyi District Zhongguancun Science Park, Shunyi Park, No. 1 Linkong Second Road, Shunyi District, Beijing

Patentee before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

Patentee before: TUSIMPLE

CP03 Change of name, title or address