CN115214681A - 借助人工神经网络确定地平面的方法和系统 - Google Patents

借助人工神经网络确定地平面的方法和系统 Download PDF

Info

Publication number
CN115214681A
CN115214681A CN202210310930.1A CN202210310930A CN115214681A CN 115214681 A CN115214681 A CN 115214681A CN 202210310930 A CN202210310930 A CN 202210310930A CN 115214681 A CN115214681 A CN 115214681A
Authority
CN
China
Prior art keywords
information
road
vehicle
distance information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210310930.1A
Other languages
English (en)
Inventor
T·费希纳
S·海因里希
D·克勒克尔
H·G·库尔兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Driving Germany Ltd
Volkswagen AG
Original Assignee
Conti Temic Microelectronic GmbH
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, Volkswagen AG filed Critical Conti Temic Microelectronic GmbH
Publication of CN115214681A publication Critical patent/CN115214681A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4023—Type large-size vehicles, e.g. trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种确定车辆的环境区域中的道路平面的方法，其中所述车辆具有用于采集所述车辆的环境区域的立体图像的立体摄像系统(2)和用于加工所述立体摄像系统(2)提供的图像信息的人工神经网络(3)，所述神经网络(3)确定所述车辆的环境区域的视差信息，基于所述视差信息计算距离信息，所述距离信息包含与所述图像信息上示出的对象距所述立体摄像系统(2)或所述车辆的距离相关的信息，其中从所述距离信息中提取道路距离信息，基于所述道路距离信息确定所述道路平面。

Description

借助人工神经网络确定地平面的方法和系统
技术领域
本发明涉及一种确定车辆的环境区域中的道路平面的方法和系统以及一种具有这种系统的车辆。
背景技术
自动驾驶功能需要能够可靠地检测远距离处的较小障碍物的传感器系统。可以使用激光雷达(LIDAR)系统或立体摄像系统来检测此类障碍物，因为这些系统能够对周围环境进行三维成像。这样就能同时检测障碍物以及自由空间的大小和距离。立体摄像系统的优点在于，其横向分辨率明显高于LIDAR系统，而LIDAR系统则能非常精确地确定距离。
就自动驾驶功能而言，检测道路上的障碍物尤为重要。重要之处特别是在于例如能够辨别是否道路上仅存在可驶过的较小物体，或者是否其为无法驶过的障碍物且因此必须采取紧急制动或避让策略。
为此，重要的是，能够尽可能精确地确定道路上的对象的高度，即使是在距离汽车例如35m或更远的位置处，以便有足够的时间来采取紧急制动或避让策略。
使用LIDAR传感器的问题在于，尽管这些传感器提供了较高的距离分辨率，但从距离车辆约35m之处起，激光束被道路全反射，使得无法再检测道路平面。
先前已知的立体摄像系统的问题在于，其具有较高的信噪比，故而只能不充分地确定道路平面或道路平面上的对象。
发明内容
有鉴于此，本发明的目的是提出一种确定车辆的环境区域中的道路平面的方法，所述方法能够可靠且高精度地确定道路平面。
本发明用以达成上述目的的解决方案在于一种具有独立权利要求1的特征的方法。优选实施方式是从属权利要求的主题。一种用于确定车辆的环境区域中的道路平面的系统是独立权利要求10的主题，一种具有这种系统的车辆是独立权利要求15的主题。
根据第一方面，本发明涉及一种确定车辆的环境区域中的道路平面的方法。所述车辆具有用于采集车辆的环境区域的立体图像的立体摄像系统。所述立体摄像系统具有至少两个设置在车辆上的不同位置处的摄像头。为了提高距离确定的精度，这些摄像头优选地彼此间隔大于0.8m、特别是大于1m的距离。这些摄像头优选地集成在挡风玻璃上或者每个摄像头集成至一个前照灯中。此外，所述车辆具有人工神经网络，所述人工神经网络对立体摄像系统所提供的图像信息进行加工。该神经网络接收摄像头的图像信息并确定这些图像信息的视差信息。这些视差信息特别是表明两个摄像头的图像信息的对应像素间的距离。该距离是由该像素所示出的场景区域的不同视角和由此产生的视差而引起的。基于这些视差信息计算距离信息，所述距离信息包含关于图像信息上示出的对象距立体摄像系统或车辆的距离的信息。一般而言，这些距离信息指示所示出的对象相对于车辆所处的深度。该距离或深度可以与不同的参考点有关，例如与立体摄像系统的参考点或车辆的参考点有关。然后从这些距离信息中提取道路距离信息。这特别是表明，借助信息限制将所有距离信息限制为与道路相关的信息。然而，要注意的是，道路距离信息不必仅包含道路的距离信息，而是还可以包含针对其他对象、特别是非静止对象的距离的信息。
最后，基于这些道路距离信息确定道路平面，其中所述确定也可以表示对道路平面的估计。
所述方法的技术优势在于，通过使用神经网络估计视差，可以确定低噪声的视差信息，进而确定精确的距离信息，这也使得确定距车辆大于35m的距离范围的距离信息成为可能。通过提取道路距离信息并根据这些道路距离信息确定道路平面，可以更好地识别道路上的障碍物。
根据一个示例性实施例，基于通过车辆的驾驶辅助系统的环境模型提供的对象信息从距离信息中提取道路距离信息。车辆的环境模型例如包含通过车载传感器系统进行检测和/或分类和/或由地图提供的对象。这些对象例如可以是车辆、房屋、行人、骑自行车的人等。道路距离信息可以通过从距离信息中去除由环境模型已知的这些对象来提取，使得道路平面的确定不受这些对象的影响。这样就能更精确地确定道路平面。
根据一个示例性实施例，从距离信息中提取道路距离信息，具体方式在于，从立体图像或该立体图像中所包含的距离信息中减去和/或除去从车辆的驾驶辅助系统的环境模型中获得的信息。在此情况下，环境模型的信息又可以是车辆环境中的对象，其包含在该环境模型中。这样就又能实现更精确的道路平面确定。
根据一个示例性实施例，人工神经网络通过图像信息的非线性相关性来补偿因立体摄像系统的两个摄像头相对于彼此的相对运动而产生的校准误差。人工神经网络优选地被训练以从识别出的视差中识别出立体摄像系统的摄像头的校准并对其进行补偿。在训练期间，将从不同视向记录并适当标记的图像序列输送至神经网络，即针对各个像素存在相应视差信息和/或距离信息。这样就能选择神经网络的加权因子，使得识别出的视差与通过训练数据预设的视差之间的误差或通过神经网络确定的距离信息与训练数据的距离信息之间的误差最小化。
根据一个示例性实施例，基于道路平面来检查在车辆的环境区域中的道路上是否存在对象。例如结合道路平面和立体摄像系统所提供的距离信息，确定立体图像中是否存在至少一个相对于道路平面向上突出的区域，进而可以表示对象或障碍物。这样就能基于所检测的道路平面来对道路表面上的对象进行对象识别。
根据一个示例性实施例，基于与道路平面相关的信息来检查道路区域中的对象的尺寸和/或高度。例如，可以通过对象相对于所确定的道路平面向上突出至何种程度来检查对象的高度。可以基于所检测的横向宽度和/或深度(即进入图像平面的尺寸)来确定对象的尺寸。通过该对象的尺寸或高度可以确定是否可以驶过该对象，或者是否必须采取避让策略或紧急制动策略。
根据一个示例性实施例，基于识别到的对象的高度，即该对象相对于道路平面突出至何种程度的几何信息，对对象进行分类。分类例如可以表明对象类型和/或对象尺寸或者可以将该对象标记为可驶过或无法驶过。基于该分类，驾驶辅助系统可以做出与分类相关的决定。
根据一个示例性实施例，基于在车辆行驶期间被记录且标示为与道路相关联的信息的立体图像的信息对人工神经网络进行再训练。这样就能通过在系统持续工作的过程中获得的信息对神经网络进行再训练，进而改进道路平面的估计。
根据一个示例性实施例，人工神经网络提供视差信息并且在独立的计算单元中根据视差信息计算距离信息。借此可以降低神经网络的复杂性。作为替代方案，人工神经网络提供距离信息作为输出信息。借此通过立体摄像系统直接提供距离信息，可以通过驾驶辅助系统直接对这些距离信息进行分析。
根据一个示例性实施例，摄像头具有惯性传感器，用于检测相应摄像头的运动变化。惯性传感器例如可以检测摄像头沿笛卡尔坐标系的三个空间方向的平移运动和围绕笛卡尔坐标系的三个空间轴的旋转运动。这样就能识别相应摄像头的绝对位置或定向变化以及两个摄像头相对彼此的相对位置或定向的变化(外部校准参数)。
根据一个实施例，将摄像头的惯性传感器的信息用于进行神经网络的初始训练。训练数据优选地具有模拟摄像头的位置或定向的变化的惯性传感器信息。这样就能训练神经网络以识别和补偿校准误差。
根据一个示例性实施例，将摄像头的惯性传感器的信息用于在立体摄像系统持续工作的过程中检测摄像头的位置或定向变化，从而补偿立体摄像系统的校准变化。优选地，在在线训练中将摄像头的惯性传感器的信息用于对神经网络的加权因子进行适配，以便使神经网络与校准变化匹配。
根据一个实施例，将传感器所提供的信息用于识别和补偿校准变化。例如，可以将温度传感器的信息用于补偿与温度相关的校准变化。
根据另一方面，本发明涉及一种用于识别车辆的环境区域中的道路平面的系统。所述系统包括用于采集车辆的环境区域的立体图像的立体摄像系统和用于加工所述立体摄像系统提供的图像信息的人工神经网络。神经网络适于确定车辆的环境区域的视差信息。该神经网络或独立于神经网络而设置的计算单元配置为基于视差信息计算距离信息，所述距离信息包含与图像信息上示出的对象距立体摄像系统或车辆的距离相关的信息。此外，神经网络或与独立于神经网络而设置的计算单元配置为从距离信息中提取道路距离信息并根据道路距离信息确定与道路平面相关的信息。
根据一个示例性实施例，所述系统适于接收通过车辆的驾驶辅助系统的环境模型提供的对象信息。此外，所述系统还适于基于所述对象信息从距离信息中提取道路距离信息。车辆的环境模型例如包含通过车载传感器系统进行检测和/或分类以及/或者由地图提供的对象。这些对象例如可以是车辆、房屋、行人、骑自行车的人等。道路距离信息可以通过从距离信息中去除这些由环境模型已知的对象来提取，使得道路平面的确定不受这些对象的影响。这样就能更精确地确定道路平面。
根据一个实施例，所述系统配置为从距离信息中提取道路距离信息，具体方式在于，从立体图像或立体图像中所包含的距离信息中减去和/或除去从车辆的驾驶辅助系统的环境模型中获得的信息。在此情况下，环境模型的信息又可以是车辆环境中的对象，其包含在环境模型中。这样就又能实现更精确的道路平面确定。
根据一个示例性实施例，所述系统配置为基于与道路平面相关的信息来检查在车辆的环境区域中的道路上是否存在对象。
根据一个实施例，所述系统配置为基于与道路平面相关的信息来检查道路区域中的对象的尺寸和/或高度，其中基于识别到的对象的高度，即该对象相对于道路平面突出至何种程度的几何信息，对该对象进行分类。
根据最后一个方面，本发明涉及一种车辆，其包括上述根据示例性实施例中的一个的系统。
在本发明中，术语“大致”、“基本上”或“大约”指的是与精确值的+/-10％、优选地+/-5％的偏差和/或形式为对于功能而言并不重要的变化的偏差。
本发明的改进方案、优点和用途也由示例性实施例的以下描述和附图给出。所描述和/或图示的所有特征原则上都是本发明的主题，无论是单独还是以任意组合的形式，无论这些特征在权利要求中如何概述或如何回溯引用。权利要求的内容也是本说明书的组成部分。
附图说明
下面结合针对示例性实施例的附图对本发明进行详细说明。其中：
图1示例性地示出与用于提供立体图像的人工神经网络耦合的立体摄像系统的示意图；
图2示例性且示意性地示出用于确定道路平面以及用于基于所确定的道路平面来检测道路上的对象的流程图；以及
图3示例性地示出确定或估计道路平面的方法步骤的示意图。
具体实施方式
图1示例性地示出用于确定道路平面的系统1的示意性框图。
该系统具有立体摄像系统2，其包括至少两个摄像头2.1、2.2。立体摄像系统2记录车辆周围环境、特别是沿正向行驶方向位于车辆前方的区域的图像信息作为图像对，即在相同的时间点分别借助第一摄像头2.1记录一个图像并且借助第二摄像头2.2记录一个图像，这两个图像显示的是相同的场景，但却是从不同的视向显示，因为摄像头2.1、2.2布置在车辆中的不同位置处。
摄像头2.1、2.2例如可以安装在车辆的前照灯中。作为替代方案，摄像头2.1、2.2也可以集成至车辆的前部区域或挡风玻璃中。摄像头2.1、2.2彼此之间的距离优选地大于0.5m，以便在尽可能大的基础宽度上实现较高的距离分辨率。
此外，该系统还具有人工神经网络3，人工神经网络适于对立体摄像系统2所提供的图像信息进行加工。人工神经网络3例如可以是深度神经网络，特别是卷积神经网络(CNN:convolutional neural network)。
神经网络3接收立体摄像系统2所提供的图像信息并估计这些图像信息的视差信息。在此情况下，这些视差信息表明图像对的图像信息的各个像素之间的横向偏移量有多大。该横向偏移量是借助像素示出的场景区域距车辆或立体摄像系统2的距离的度量。
神经网络3适于估计视差信息并对因立体摄像系统2的外部参数的变化而产生的校准误差进行补偿。为此，借助已知所有像素与立体摄像系统的距离的训练数据来训练神经网络3并且优化神经网络3以识别视差。
神经网络3使用非线性相关器来确定视差信息。神经网络3接收立体摄像系统2所提供的图像信息并估计这些图像信息的视差信息。在此情况下，这些视差信息表明图像对的图像信息的各个像素之间的横向偏移量有多大。该横向偏移量是借助像素示出的场景区域距车辆或立体摄像系统2的距离的度量。借此可以从这些视差信息中获得距离信息，这些距离信息表明借助像素示出的场景区域距离车辆或立体摄像系统2有多远。这样就能通神经网络3提供立体图像，除了形式为像素相关的色值的二维图像信息之外，这些立体图像还包含每个像素的距离信息。
例如可以在立体摄像系统2的控制设备中对神经网络3进行处理。作为替代方案，也可以在独立于立体摄像系统2而设置的控制设备中操作神经网络3。
神经网络3可以通过训练数据进行训练，即神经网络3的加权因子通过训练阶段进行适配，使得神经网络3提供针对立体摄像系统2所提供的图像信息的视差信息和/或距离信息。
训练数据(也被称为基础事实信息)具有分别借助摄像头2.1、2.2的不同位置和方向示出同一场景的图像对。此外，训练数据还具有针对每个图像像素的距离信息，从而可以基于训练数据确定神经网络3的计算结果与训练数据之间的误差并依次对神经网络3的加权因子进行适配，以便减少误差。
如图2所示，神经网络3所提供的视差信息随后被用于计算距离信息。优选地针对图像信息的每个像素计算距离信息，这些距离信息表明借助该像素示出的场景区域距离车辆或立体摄像系统2有多远。
立体图像包含关于车辆前方的道路区域的信息。道路区域例如也可以涉及车辆前方超过35m的道路区域，该道路区域无法借助雷达传感器或LIDAR传感器进行检测，因为从距离车辆约35m之处起，这些传感器所发出的电磁辐射在道路平面上经历全反射。
借助立体摄像系统2检测道路区域是有利的，因为可以借助立体图像中所包含的距离信息来确定道路平面。然后可以在确定道路平面之后分析立体图像的特定区域是否突出于道路平面。这类突出的区域可以指示位于道路上的对象或障碍物，以便在识别出该对象或障碍物并视情况对其进行分类之后，可以判断该对象或障碍物是否为可驶过的障碍物或者是否必须采取避让策略。
车辆优选地具有提供环境模型的驾驶辅助系统，该环境模型包含车辆环境中的对象。可以通过车辆的任何传感器和/或通过访问地图信息来生成该环境模型。
为了确定道路平面，优选地从立体图像中或者至少从立体图像中所包含的距离信息中去除环境模型中存在的对象。换句话说，通过从立体图像或距离信息中排除环境模型中的对象来提取道路距离信息。由此减少立体图像或距离信息的信息含量，从而可以基于在信息含量方面有所减少的立体图像或距离信息更精确地确定道路平面。
例如可以通过从立体图像或距离信息中减去环境模型信息来从环境模型中移除对象。
道路表面所对应的距离信息优选地涵盖与道路表面相应的区域。
例如可以基于立体图像或距离信息来确定或估计道路平面，具体方式在于，将一平面放置到道路所对应的距离信息上，使得假定道路平面与该道路所对应的距离信息之间的总误差最小化。这样就能确定与立体图像中识别出的道路表面近似的道路平面。
如果从环境模型或立体图像中可以看出道路具有不同高度(例如车行道和人行道)或不同倾斜的路段(例如朝相反的方向侧向倾斜的路段)，则也可以基于多个不同的平面进行道路平面估计，即借助一个以上假定道路平面来近似道路表面。
在确定道路平面之后，可以确定立体图像的向上突出于道路平面的区域。
根据突出区域的尺寸和/或该区域相对于道路平面的高度，可以在分析步骤中确定该区域是否是位于道路上的对象。例如可以预设尺寸或高度阈值，这些阈值规定一个区域必须有多大或多高才会被识别为道路上的对象或障碍物。
此外，可以在识别出对象或障碍物之后对其进行分类。
在识别出对象并视情况对其进行分类之后，可以将针对该对象的信息(例如位置、几何尺寸、对象分类等)容纳在车辆的环境模型中。在此情况下，可以将针对该对象的信息传输至驾驶辅助系统的提供环境模型的控制设备。
从图2中可以看出，可以基于所获得的道路信息通过在线训练对人工神经网络3进行训练。在此情况下，可以连续或间歇地进行在线训练，例如在某些时间点或在某个时间跨度过去之后进行在线训练。
可以将借助立体摄像系统2确定的信息用作训练数据，或者可以借助这些信息对现有的训练数据进行丰富或修改。然后可以基于这些修改后的训练数据来训练神经网络，即基于训练数据对神经网络的神经元或加权因子进行适配。换句话说，借助立体摄像系统2确定的信息用作用于对人工神经网络进行再训练的基础事实数据库。这样就能不断改进地平面识别。
立体摄像系统2的摄像头2.1、2.2可以分别具有惯性传感器。在此情况下，惯性传感器优选地集成至相应的摄像头中。惯性传感器配置为使得可以借助惯性传感器来检测摄像头2.1、2.2的运动变化。各个摄像头2.1、2.2的惯性传感器例如可以检测沿笛卡尔坐标系的三个轴的平移运动变化和围绕这三个轴的旋转运动变化。这样就能随着时间的推移跟踪各个摄像头2.1、2.2的绝对位置或定向，而且还可以确定或追踪这两个摄像头2.1、2.2的相对位置或定向。
基于这些测量数据，可以跟踪立体摄像系统2的外部参数和其他校准参数，例如基础宽度。借此在立体摄像系统2的工作过程中进一步确保高精度的在线校准并且能够与所使用的立体方法无关地计算出高精度的距离信息或密集的深度图。
此外，还可以将摄像头2.1、2.2的惯性传感器的测量数据用于训练神经网络3。可以将惯性传感器的测量值提供给神经网络3作为输入信息，以便可以据此对神经网络的加权因子进行适配，进而可以将距离信息的确定与摄像头2.1、2.2的有所改变的定向进行匹配。
图3示出说明确定道路平面的方法的步骤的框图。
首先，通过立体摄像系统2的摄像头2.1、2.2记录图像信息(S10)。图像信息为图像对，其中图像对的图像在同一时间点记录，确切而言，由第一摄像头2.1记录第一图像，由第二摄像头2.2记录第二图像。
随后，神经网络确定车辆的环境区域的视差信息(S11)。这些视差信息特别是表明图像对的图像中的对应像素间的距离，其中该距离因车辆上的摄像头2.1、2.2的不同位置和由此而产生的视差而产生。
然后，基于这些视差信息来计算距离信息，距离信息包含关于图像信息上示出的对象距立体摄像系统2或车辆的距离的信息(S12)。
随后从距离信息中提取道路距离信息(S13)。这特别是表明，从立体图像或立体图像的距离信息中排除至少部分信息，其中已知这些信息与道路无关。
最后，基于道路距离信息确定道路平面(S14)。这特别是可以通过以下方式实现：寻找一个平面，其在空间中的几何位置选定为使得立体摄像系统2所提供的距离信息具有距该平面的尽可能小的距离。特别地可以通过以下方式确定该平面，根据立体摄像系统2所提供的距离信息与该平面之间的差的总和得出的平均误差最小。
上文已通过实施例对本发明进行了说明。当然，在不脱离权利要求所定义的保护范围的情况下，可以进行多种改变和修改。
附图标记表
1 系统
2 立体摄像系统
2.1、2.2 摄像头
3 人工神经网络

Claims (15)

1.一种确定车辆的环境区域中的道路平面的方法，其中所述车辆具有用于采集所述车辆的环境区域的立体图像的立体摄像系统(2)和用于加工所述立体摄像系统(2)提供的图像信息的人工神经网络(3)，所述神经网络(3)确定所述车辆的环境区域的视差信息，基于所述视差信息计算距离信息，所述距离信息包含与所述图像信息上示出的对象距所述立体摄像系统(2)或所述车辆的距离相关的信息，从所述距离信息中提取道路距离信息，基于所述道路距离信息确定所述道路平面。
2.根据权利要求1所述的方法，其特征在于，基于通过所述车辆的驾驶辅助系统的环境模型提供的对象信息从所述距离信息中提取所述道路距离信息。
3.根据权利要求1或2所述的方法，其特征在于，从所述距离信息中提取所述道路距离信息，具体方式在于，从立体图像或所述立体图像中所包含的距离信息中减去和/或除去从所述车辆的驾驶辅助系统的环境模型中获得的信息。
4.根据上述权利要求中任一项所述的方法，其特征在于，所述人工神经网络(3)通过所述图像信息的非线性相关性来补偿因所述立体摄像系统(2)的两个摄像头(2.1、2.2)相对于彼此的相对运动而产生的校准误差。
5.根据上述权利要求中任一项所述的方法，其特征在于，基于所述道路平面来检查在所述车辆的环境区域中的道路上是否存在对象。
6.根据权利要求5所述的方法，其特征在于，基于与所述道路平面相关的信息来检查道路区域中的对象的尺寸和/或高度。
7.根据权利要求5或6所述的方法，其特征在于，基于识别到的对象的高度，即所述对象相对于所述道路平面突出至何种程度的几何信息，对所述对象进行分类。
8.根据上述权利要求中任一项所述的方法，其特征在于，基于在所述车辆行驶期间被记录且标示为道路所对应的信息的立体图像的信息对所述人工神经网络(3)进行再训练。
9.根据上述权利要求中任一项所述的方法，其特征在于，所述人工神经网络(3)提供所述视差信息并且在独立的计算单元中根据所述视差信息计算所述距离信息，或者所述人工神经网络(3)提供所述距离信息作为输出信息。
10.一种用于识别车辆的环境区域中的道路平面的系统，所述系统包括用于采集所述车辆的环境区域的立体图像的立体摄像系统(2)和用于加工所述立体摄像系统(2)提供的图像信息的人工神经网络(3)，所述神经网络(3)适于确定所述车辆的环境区域的视差信息，其中所述神经网络(3)或独立于所述神经网络(3)而设置的计算单元配置为基于所述视差信息计算距离信息，所述距离信息包含与所述图像信息上示出的对象距所述立体摄像系统(2)或所述车辆的距离相关的信息，所述神经网络(3)或独立于所述神经网络而设置的计算单元配置为从所述距离信息中提取道路距离信息并根据所述道路距离信息确定与所述道路平面相关的信息。
11.根据权利要求10所述的系统，其特征在于，所述系统适于接收通过所述车辆的驾驶辅助系统的环境模型提供的对象信息，并且所述系统适于基于所述对象信息从所述距离信息中提取所述道路距离信息。
12.根据权利要求10或11所述的系统，其特征在于，所述系统配置为从所述距离信息中提取所述道路距离信息，具体方式在于，从立体图像或所述立体图像中所包含的距离信息中减去和/或除去从所述车辆的驾驶辅助系统的环境模型中获得的信息。
13.根据权利要求10至12中任一项所述的系统，其特征在于，所述系统配置为基于与所述道路平面相关的信息来检查在所述车辆的环境区域中的道路上是否存在对象。
14.根据权利要求13所述的系统，其特征在于，所述系统配置为基于与所述道路平面相关的信息来检查所述道路区域中的对象的尺寸和/或高度，其中基于识别到的对象的高度，即所述对象相对于所述道路平面突出至何种程度的几何信息，对所述对象进行分类。
15.一种车辆，其包括根据权利要求10至14中任一项所述的系统。
CN202210310930.1A 2021-03-29 2022-03-28 借助人工神经网络确定地平面的方法和系统 Pending CN115214681A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021107904.7 2021-03-29
DE102021107904.7A DE102021107904A1 (de) 2021-03-29 2021-03-29 Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz

Publications (1)

Publication Number Publication Date
CN115214681A true CN115214681A (zh) 2022-10-21

Family

ID=80933135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210310930.1A Pending CN115214681A (zh) 2021-03-29 2022-03-28 借助人工神经网络确定地平面的方法和系统

Country Status (4)

Country Link
US (1) US20220309776A1 (zh)
EP (1) EP4068223A1 (zh)
CN (1) CN115214681A (zh)
DE (1) DE102021107904A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024099786A1 (en) * 2022-11-11 2024-05-16 Continental Autonomous Mobility Germany GmbH Image processing method and method for predicting collisions

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL126962A (en) * 1998-11-09 1999-12-22 Makor Issues & Rights Ltd Method and system for optimizing transportation route design
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE19945121C2 (de) * 1999-09-21 2001-12-13 Mannesmann Vdo Ag Verfahren zum Navigieren eines Fahrzeugs
CA2568220C (en) * 2004-08-06 2012-10-30 Honda Motor Co., Ltd. Control device for vehicle
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP5188452B2 (ja) * 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
US8712691B2 (en) * 2011-12-19 2014-04-29 Ford Global Technologies Fusion of road geometry model information gathered from disparate sources
DE102012018471A1 (de) 2012-09-19 2013-04-04 Daimler Ag Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
JP6557973B2 (ja) * 2015-01-07 2019-08-14 株式会社リコー 地図生成装置、地図生成方法およびプログラム
DE102015200434A1 (de) 2015-01-14 2016-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Verbesserung der Objekterkennung bei unterschiedlichenBeleuchtungssituationen
EP3382639B1 (en) * 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
KR102507248B1 (ko) * 2015-12-02 2023-03-06 에스케이하이닉스 주식회사 에고모션 추정 시스템 및 방법
US10466714B2 (en) 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
DE102016014783A1 (de) 2016-12-02 2017-07-06 Daimler Ag Verfahren zur Detektion von Objekten
US20180239969A1 (en) * 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
US11200433B2 (en) * 2017-05-03 2021-12-14 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
EP3764060A1 (en) * 2017-06-14 2021-01-13 Mobileye Vision Technologies Ltd. Fusion framework of navigation information for autonomous navigation
JP6985089B2 (ja) * 2017-09-29 2021-12-22 トヨタ自動車株式会社 立体物接地判定装置
GB2568286B (en) * 2017-11-10 2020-06-10 Horiba Mira Ltd Method of computer vision based localisation and navigation and system for performing the same
KR102459853B1 (ko) * 2017-11-23 2022-10-27 삼성전자주식회사 디스패리티 추정 장치 및 방법
US10558868B2 (en) * 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
DE102017131114A1 (de) * 2017-12-22 2019-06-27 S.M.S, Smart Microwave Sensors Gmbh Verfahren und Vorrichtung zum Bestimmen wenigstens eines Parameters eines Objektes
US10872433B2 (en) * 2018-04-18 2020-12-22 Mobileye Vision Technologies Ltd. Vehicle environment modeling with a camera
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
US11009941B2 (en) * 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
EP3887762B1 (en) * 2018-11-26 2024-05-15 Mobileye Vision Technologies Ltd. Lane mapping and navigation
JP7123167B2 (ja) * 2018-12-12 2022-08-22 日立Astemo株式会社 外界認識装置
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
JP7132137B2 (ja) * 2019-01-24 2022-09-06 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、および情報処理方法
JP2020123115A (ja) * 2019-01-30 2020-08-13 セイコーエプソン株式会社 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
JP2020123118A (ja) * 2019-01-30 2020-08-13 セイコーエプソン株式会社 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
US10867402B2 (en) * 2019-03-01 2020-12-15 Here Global B.V. System and method for determining distance to object on road
US11494538B1 (en) * 2019-03-20 2022-11-08 Zoox, Inc. Simulation generation using temporal logic
WO2020188120A1 (en) * 2019-03-21 2020-09-24 Five AI Limited Depth extraction
US11222219B2 (en) * 2019-04-15 2022-01-11 Qualcomm Incorporated Proximate vehicle localization and identification
US20200349391A1 (en) * 2019-04-30 2020-11-05 Shenzhen Sensetime Technology Co., Ltd. Method for training image generation network, electronic device, and storage medium
KR20210050925A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법
DE102019218479A1 (de) * 2019-11-28 2021-06-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
US11270449B2 (en) * 2019-12-31 2022-03-08 Synchronoss Technologies, Inc Method and system for location detection of photographs using topographic techniques
EP4085232A2 (en) * 2020-01-03 2022-11-09 Mobileye Vision Technologies Ltd. Navigation systems and methods for determining object dimensions
US11768085B2 (en) * 2020-03-24 2023-09-26 Mobileye Vision Technologies Ltd. Map tile optimization based on tile connectivity
US11343485B1 (en) * 2020-08-24 2022-05-24 Ambarella International Lp Virtual horizontal stereo camera

Also Published As

Publication number Publication date
EP4068223A1 (de) 2022-10-05
US20220309776A1 (en) 2022-09-29
DE102021107904A1 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
CN108243623B (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
US10949684B2 (en) Vehicle image verification
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US7027615B2 (en) Vision-based highway overhead structure detection system
US10501059B2 (en) Stereo camera device
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US20100104137A1 (en) Clear path detection using patch approach
EP2963634B1 (en) Stereo camera device
KR101714783B1 (ko) Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
CN102806913A (zh) 一种新型的车道线偏离检测方法及装置
KR102283773B1 (ko) 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN105049784A (zh) 用于基于图像的视距估计的方法和设备
CN105825495A (zh) 物体检测装置和物体检测方法
CN110220500B (zh) 一种基于双目相机的无人驾驶用测距方法
JP2006160116A (ja) 車両運動推定装置及び移動体検出装置
KR20160142137A (ko) 움직이는 객체 검출 장치 및 방법
CN115214681A (zh) 借助人工神经网络确定地平面的方法和系统
KR101568745B1 (ko) 적외선 영상 기반의 차량 보조 장치 및 방법
CN116529633A (zh) 用于借助照明装置和光学传感器探测物体的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230710

Address after: Germany Ingolstadt

Applicant after: Continental Autonomous Driving Germany Ltd.

Applicant after: VOLKSWAGEN AG

Address before: Nuremberg, Germany

Applicant before: CONTI TEMIC MICROELECTRONIC GmbH

Applicant before: VOLKSWAGEN AG