CN115195625A - 一种车载感知装置及车辆 - Google Patents

一种车载感知装置及车辆 Download PDF

Info

Publication number
CN115195625A
CN115195625A CN202110390965.6A CN202110390965A CN115195625A CN 115195625 A CN115195625 A CN 115195625A CN 202110390965 A CN202110390965 A CN 202110390965A CN 115195625 A CN115195625 A CN 115195625A
Authority
CN
China
Prior art keywords
vehicle
camera
target object
visual field
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110390965.6A
Other languages
English (en)
Inventor
陈亦伦
李帅君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110390965.6A priority Critical patent/CN115195625A/zh
Priority to EP22787280.1A priority patent/EP4316913A1/en
Priority to BR112023021203A priority patent/BR112023021203A2/pt
Priority to PCT/CN2022/078918 priority patent/WO2022218050A1/zh
Priority to JP2023562600A priority patent/JP2024513963A/ja
Publication of CN115195625A publication Critical patent/CN115195625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种车载感知装置，包括：长距摄像头、中距摄像头以及短距摄像头，长距摄像头、中距摄像头以及短距摄像头均朝向车辆前方，用于采集不同视野范围的图像；其中，中距摄像头为双目摄像头；长距摄像头、中距摄像头以及短距摄像头中，任意两者之间的视野范围部分重合。由此，能够通过长距摄像头、中距摄像头以及短距摄像头分别采集车辆前方的图像，以能对目标物进行检测并提取目标物的视觉特征及位置信息。通过双目摄像头能够采集带有深度信息的深度点云，从而获取目标物的形状及位置信息。对于视野范围重合区域的目标物，通过对两摄像头获取的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。

Description

一种车载感知装置及车辆
技术领域
本发明涉及自动驾驶领域，特别涉及一种车载感知装置及具有车载感知装置的车辆。
背景技术
自动驾驶汽车是一种通过传感器来实现对外界环境的感知，依靠人工智能来辅助驾驶员驾驶车辆，或者在没有驾驶员干预的情况下，安全地实现自动驾驶的智能汽车。
为了能够提高自动驾驶汽车对外界的感知能力，通常都会在车辆上设置摄像头、激光雷达、毫米波雷达、超声波雷达等不同类型的传感器，以实现对车辆周围环境的感知。然而，这种感知方式过于单一，由此造成了在某些特定环境中，不同类型的传感器受到自身特性的限制，无法准确地实现对车辆周围的环境的感知。例如，在夜晚等光线较暗的环境中，车辆在行驶过程中遇到静态障碍物或静止卡车时，很难有效地感知目标物。或者在雨雪或大雾天气，车辆在行驶时同样很难对车辆周围环境实现有效的感知。
发明内容
本申请提供一种车载感知装置，以能够通过多种方式实现对目标物的感知。
为达到上述目的，本申请第一方面提供一种车载感知装置，包括：长距摄像头、中距摄像头以及短距摄像头，长距摄像头、中距摄像头以及短距摄像头均朝向车辆前方，用于采集不同视野范围内的图像；其中，中距摄像头为双目摄像头；长距摄像头、中距摄像头以及短距摄像头中，任意两者之间的视野范围部分重合。由此，能够通过长距摄像头、中距摄像头以及短距摄像头分别采集车辆前方的图像，以能对目标物进行检测并提取目标物的视觉特征及位置信息。通过双目摄像头能够采集带有深度信息的深度点云，从而获取目标物的形状及位置信息。对于视野范围重合区域的目标物，通过对两摄像头获取的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。由此，能够通过多种方式实现对目标物的感知，从而提高了感知能力，实现了鲁棒的目标物感知性能。
作为第一方面的一种可能的实现方式，长距摄像头、中距摄像头以及短距摄像头设置在前挡玻璃上部位置。由此，能够使长距摄像头、中距摄像头以及短距摄像头处于车辆较高的位置，有利于提高长距摄像头、中距摄像头以及短距摄像头的视野范围，以便于对车辆前方进行拍摄。
作为第一方面的一种可能的实现方式，还包括：两个激光雷达，分别设置在车辆前侧两端位置，两激光雷达的部分视野范围重合。由此，能够通过激光雷达对目标物进行激光扫描，以获取目标物的激光点云信息，并提取目标物的特征点，得到特征点的精确位置，从而能够检测目标物的形状及位置。由此可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。同时，激光雷达的视野范围部分重合，可以在重合区域对激光点云进行拼接对齐，以形成统一对齐的激光点云，从而更加便于提取目标物的特征点，以便检测目标物的形状及位置。另外，形成统一对齐的激光点云后，还可以与长距摄像头、中距摄像头以及短距摄像头获取的目标物的形状及位置信息进行融合，从而提高了对目标物感知的精度及感知能力，实现了鲁棒的目标物感知性能。另外，将激光雷达设置在车辆前侧，便于对激光雷达进行隐藏设计，以使激光雷达安装后满足车辆的外观设计要求，以及空气动力学设计要求。
作为第一方面的一种可能的实现方式，还包括：三个激光雷达，均设置在车辆前部；其中，一个激光雷达设置在车辆前侧，另外两个激光雷达设置在所述车辆前部的两侧位置，位于中间的激光雷达分别与位于两侧的激光雷达的视野范围部分重合。由此，能够通过激光雷达对目标物进行激光扫描，以获取目标物的激光点云信息，并提取目标物的特征点，得到特征点的精确位置，从而能够检测目标物的形状及位置。由此可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。同时，激光雷达的视野范围部分重合，可以在重合区域对激光点云进行拼接对齐，以形成统一对齐的激光点云，从而更加便于提取目标物的特征点，以便检测目标物的形状及位置。另外，形成统一对齐的激光点云后，还可以与长距摄像头、中距摄像头以及短距摄像头获取的目标物的形状及位置信息进行融合，从而提高了对目标物的感知精度及感知能力，实现了鲁棒的目标物感知性能。另外，将激光雷达设置在车辆前侧，便于对激光雷达进行隐藏设计，以使激光雷达安装后满足车辆的外观设计要求，以及空气动力学设计要求。
作为第一方面的一种可能的实现方式，还包括：两个侧视摄像头，两侧视摄像头共光心，均朝向车辆侧方设置；其中，靠近车辆前方的侧视摄像头的视野范围偏向车辆前方，靠近车辆后方的侧视摄像头的视野范围偏向车辆后方；两侧视摄像头的视野范围部分重合。由此，通过两侧视摄像头能够分别采集车辆侧方的图像，以能对目标物进行检测并提取目标物的视觉特征及位置信息。同时，共光心的两侧视摄像头背靠背设置，可以方便地对拍摄的图像进行拼接，并且能够在拼接后的图像上直接进行检测，从而获取目标物的视觉特征及位置信息，避免目标物在两侧视摄像头的视野范围过渡时出现漏检的问题。从而提高了感知能力，实现了鲁棒的目标物感知性能。
作为第一方面的一种可能的实现方式，还包括：四个环视摄像头，分别设置在车辆的前后及两侧位置；其中，相邻的两环视摄像头的视野范围部分重合。由此通过四个环视摄像头能够采集车辆前后及两侧的图像，并且在视野范围重合区域进行拼接，以形成360°的全景图像，从而能够减少视野盲区，提高对目标物的感知能力。同时，还能够对全景图像进行检测，以获取目标物的视觉特征及位置信息。由此可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。
作为第一方面的一种可能的实现方式，还包括：六个毫米波雷达，分别设置在车辆的前后及四角位置；其中，相邻两毫米波雷达的视野范围部分重合。由此，可以通过毫米波雷达对车辆周围目标物的位置进行检测，可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。
作为第一方面的一种可能的实现方式，还包括：设置在车辆后部的后视摄像头，用于采集车辆后方的图像。由此，可以通过后视摄像头采集车辆后方的图像，以能对目标物进行检测并提取目标物的视觉特征及位置信息，从而提高了对车辆后方目标物的感知能力，实现了鲁棒的目标物感知性能。
作为第一方面的一种可能的实现方式，还包括：设置在车辆后部的四个超声波雷达；其中，相邻两超声波雷达的视野范围部分重合。由此，可以通过超声波雷达对车辆后方目标物的位置进行检测，可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。
本申请第二方面提供一种车载感知装置，包括：两个侧视摄像头，两侧视摄像头共光心，均朝向车辆侧方设置；其中，靠近车辆前方的侧视摄像头的视野范围偏向车辆前方，靠近车辆后方的侧视摄像头的视野范围偏向车辆后方；两侧视摄像头的视野范围部分重合。由此，通过两侧视摄像头能够分别采集车辆侧方的图像，以能对目标物进行检测并提取目标物的视觉特征及位置信息。对于视野范围重合区域的目标物，通过对两侧视摄像头获取的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。同时，共光心的两侧视摄像头背靠背设置，可以方便地对采集的图像进行拼接，并且能够在拼接后的图像上直接进行检测，从而获取目标物的视觉特征及位置信息，避免目标物在两侧视摄像头的视野范围过渡时出现漏检的问题。由此，能够通过多种方式实现对目标物的感知，从而提高了感知能力，实现了鲁棒的目标物感知性能。
作为第二方面的一种可能的实现方式，靠近车辆后方的所述侧视摄像头的视野范围覆盖车辆本身部分区域。由此，侧视摄像头采集车辆侧方的图像时，能够拍摄到车辆本身，从而避免出现盲区，无法感知该区域的目标物。
作为第二方面的一种可能的实现方式，所述两侧视摄像头的视野范围大于75°。由此，提供了侧视摄像头的视野范围，以保证两侧视摄像头的视野范围拼接后能够得到足够大的视野范围，以保证对位于车辆侧部的目标物进行感知。
作为第二方面的一种可能的实现方式，所述两侧视摄像头的视野范围之和大于或等于150°。由此，提供了两侧视摄像头的视野范围合并后形成的视野范围，从而能够保证合并后的两侧视摄像头的视野范围，能够与前视摄像头的视野范围部分重合，从而避免出现盲区，影响对目标物的感知。
作为第二方面的一种可能的实现方式，还包括：两个激光雷达，分别设置在车辆前侧两端位置，两激光雷达的视野范围部分重合。由此，能够通过激光雷达对目标物进行激光扫描，以获取目标物的激光点云信息，并提取目标物的特征点，得到特征点的精确位置，从而能够检测目标物的形状及位置。由此可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。同时，激光雷达的视野范围部分重合，可以在重合区域对激光点云进行拼接对齐，以形成统一对齐的激光点云，从而更加便于提取目标物的特征点，以便检测目标物的形状及位置。另外，将激光雷达设置在车辆前侧，便于对激光雷达进行隐藏设计，以使激光雷达安装后满足车辆的外观设计要求，以及空气动力学设计要求。
作为第二方面的一种可能的实现方式，还包括：三个激光雷达，均设置在车辆前部；其中，一个激光雷达设置在车辆前侧，另外两个激光雷达设置在所述车辆前部的两侧位置，位于中间的激光雷达分别与位于两端的激光雷达视野范围部分重合。由此，能够通过激光雷达对目标物进行激光扫描，以获取目标物的激光点云信息，并提取目标物的特征点，得到特征点的精确位置，从而能够检测目标物的形状及位置。由此可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。同时，激光雷达的视野范围部分重合，可以在重合区域对激光点云进行拼接对齐，以形成统一对齐的激光点云，从而更加便于提取目标物的特征点，以便检测目标物的形状及位置。另外，将激光雷达设置在车辆前侧，便于对激光雷达进行隐藏设计，以使激光雷达安装后满足车辆的外观设计要求，以及空气动力学设计要求。
作为第二方面的一种可能的实现方式，还包括：四个环视摄像头，分别设置在车辆的前后及两侧位置；其中，相邻的两环视摄像头的视野范围部分重合。由此通过四个环视摄像头能够采集车辆前后及两侧的图像，并且在视野范围重合区域进行拼接，以形成360°的全景图像，从而能够减少视野盲区，提高对目标物的感知能力。同时，还能够对全景图像进行检测，以获取目标物的视觉特征及位置信息。由此可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。
作为第二方面的一种可能的实现方式，还包括：六个毫米波雷达，分别设置在车辆的前后及四角位置；其中，相邻两毫米波雷达的视野范围部分重合。由此，可以通过毫米波雷达对车辆周围目标物的位置进行检测，并防止出现视野盲区。从而可以增加对目标物进行感知的方式，提高感知能力，实现了鲁棒的目标物感知性能。
作为第二方面的一种可能的实现方式，还包括：设置在车辆后部的后视摄像头，用于采集车辆后方的图像。由此可以通过后视摄像头采集车辆后方的图像，以能对目标物进行检测并提取目标物的视觉特征及位置信息，从而提高了对车辆后方目标物的感知能力，实现了鲁棒的目标物感知性能。
作为第二方面的一种可能的实现方式，还包括：设置在车辆后部的四个超声波雷达；其中，相邻两超声波雷达的视野范围部分重合。由此，可以通过超声波雷达对车辆后方目标物的位置进行检测，可以增加对目标物进行感知的方式，从而提高了感知能力，实现了鲁棒的目标物感知性能。
本申请第三方面提供一种车载感知装置，包括：三个激光雷达，均设置在车辆前部；其中，一个激光雷达设置在车辆前侧，另外两个激光雷达设置在所述车辆前部的两侧位置，位于中间的激光雷达分别与位于两端的激光雷达视野范围部分重合。由此，能够通过激光雷达对目标物进行激光扫描，以获取目标物的激光点云信息，并提取目标物的特征点，得到特征点的精确位置，从而能够检测目标物的形状及位置。同时，激光雷达的视野范围部分重合，可以在重合区域对激光点云进行拼接对齐，以形成统一对齐的激光点云，从而更加便于提取目标物的特征点，以便检测目标物的形状及位置。另外，将激光雷达设置在车辆前侧，便于对激光雷达进行隐藏设计，以使激光雷达安装后满足车辆的外观设计要求，以及空气动力学设计要求。
本申请第四方面提供一种车辆，包括本申请第一方面、第二方面或第三方面中车载感知装置的任意一种可能的实现方式。由此，车辆能够如本申请第一方面、第二方面或第三方面所述的方式对目标物进行感知。
本发明的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
以下参照附图来进一步说明本发明的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征，或是额外示出了对于本申请非必要的特征，附图所示的各个特征的组合并不用以限制本申请。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：
图1为本申请实施例提供的车载感知装置应用场景的示意图；
图2为本申请实施例中摄像头在车辆俯视图上的分布示意图；
图3为图2中摄像头在车辆侧面视图上的分布示意图，
图4为图2中摄像头在车辆正面视图上的分布示意图；
图5为图2中的前视摄像头的FOV示意图；
图6a为图2中的两中距摄像头的公共FOV示意图；
图6b为图2中的中距摄像头与短距摄像头的公共FOV示意图；
图6c为图2中的长距摄像头与中距摄像头的公共FOV示意图；
图6d为图2中的长距摄像头与短距摄像头的公共FOV示意图；
图7为图2中侧视摄像头布置位置的局部放大示意图；
图8a为图7中前向摄像头的FOV示意图；
图8b为图7中后向摄像头的FOV示意图；
图8c为前向摄像头与后向摄像头的公共FOV示意图；
图9为图2中前视摄像头与前向摄像头的公共FOV示意图；
图10为另一种侧视摄像头布置位置的局部放大示意图；
图11为图2中环视摄像头的FOV示意图；
图12为图2中侧视摄像头与环视摄像头的公共FOV示意图；
图13为图2中后视摄像头与环视摄像头的公共FOV示意图；
图14为本申请实施例中雷达在车辆俯视图上的分布示意图；
图15为图14中激光雷达的FOV示意图；
图16为图14中激光雷达检测到的激光点云示意图；
图17为本申请实施例中另一种激光雷达在车辆俯视图上的分布示意图；
图18为图17中激光雷达的FOV示意图；
图19为本申请实施例提供的车载感知装置检测车辆前方目标物的示意图；
图20为图14中毫米波雷达的FOV示意图；
图21为图14中超声波雷达的FOV示意图。
附图标记说明
10车辆；20车辆；21货车；22三轮车；30行人；40石头；50井盖；100摄像头；100a-100i公共FOV；110前视摄像头；111长距摄像头；112中距摄像头；113短距摄像头；120后视摄像头；130侧视摄像头；131前向摄像头；132后向摄像头；140环视摄像头；200雷达；200a公共FOV；200b公共FOV；210激光雷达；220毫米波雷达；221长距毫米波雷达；222中距毫米波雷达；230超声波雷达。
具体实施方式
说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件。因此，其应当诠释为指定所提到的所述特征、整体或部件的存在，但并不排除存在或添加一个或更多其它特征、整体或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。
本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。
为了便于理解，以下，对本申请实施例可能出现的术语进行解释。
激光雷达(light detection and ranging，LiDRA)，通过发射激光光束来探测目标，并通过收集反射回来的光束获取激光点云数据。能够捕获目标物基本形状特征及丰富局部细节，具有可靠性及测量精度高等优点，目前被广泛应用在智能设备(例如自动驾驶车辆、机器人、无人机等)环境感知中。
毫米波雷达，指工作频段在毫米波频段的雷达，通过把无线电波(雷达波)发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。毫米波雷达具有体积小、质量轻、空间分辨率高以及穿透雾、烟、灰尘的能力强等优点。
超声波雷达，是一种运用超声波进行感知的雷达。
双目摄像头，具有两摄像头，利用两摄像头的视差信息，形成带有深度信息的深度点云，即双目视觉。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。如有不一致，以本说明书中所说明的含义或者根据本说明书中记载的内容得出的含义为准。另外，本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
随着自动驾驶技术的发展，自动驾驶的智能性、经济性、安全性等方面取得了很大的进步。其中安全性作为自动驾驶或辅助驾驶中的重要标准，成为汽车工业的重点研究方向之一。为了提高自动驾驶或辅助驾驶中车辆的安全性，需要车辆能够在不同的环境下，及时有效地感知车辆周围的路况信息。为此，本申请实施例提供了一种车载感知装置，能够稳定、可靠地感知车辆周围的环境，以提高车辆的安全性能。
图1为本申请实施例提供的车载感知装置应用场景的示意图。如图1所示，车辆10行驶时经常会遇到非常复杂的道路环境，为了保证车辆10的行驶安全，本申请实施例提供了一种车载感知装置，能够通过设置在车辆10前侧、后侧以及左右两侧的摄像头100、雷达200等传感器，共同来感知车辆10周围的路况信息，例如：第三方车辆20、行人30、建筑、公共设施等目标物。这里所述的前侧为面向前方的车体侧面，所述的后侧为面向后方的车体侧面。
图1中的车辆10不应视为对本申请实施例的限制。车辆10可以是燃油汽车、新能源汽车等，还可以是货车、客运客车，SUV(sport utility vehicle，运动型多用途汽车)等不同类型汽车中的任意一种，甚至于车辆10还可以是三轮车、二轮车、火车等载人或者载货的陆地运输装置。
下面，根据传感器的类型，结合附图，对本申请实施例中的车载感知装置进行详细描述。
摄像头100
图2为本申请实施例中摄像头100在车辆10俯视图上的分布示意图；图3为图2中摄像头100在车辆10侧面视图上的分布示意图，图4为图2中摄像头100在车辆10正面视图上的分布示意图。如图2、图3、图4所示，摄像头100包括：用于采集车辆10前方图像的前视摄像头110、用于采集车辆10后方图像的后视摄像头120、用于采集车辆10侧方图像的侧视摄像头130以及用于采集车辆10周围图像的环视摄像头140。通过前视摄像头110、后视摄像头120、侧视摄像头130以及环视摄像头140，能够采集车辆10四周的图像信息，以能够感知目标物的位置信息。
图5为图2中的前视摄像头110的FOV(Field Of View，视野范围)示意图。如图2、图3、图4、图5所示，其中，前视摄像头110的FOV的中心线水平朝向车辆10的前方，以使前视摄像头110能够采集车辆10前方的图像。前视摄像头110可以设置在车辆10的前挡风玻璃内侧，位于前挡风玻璃的上部中间位置，以使前视摄像头110处于较高的位置，从而提升前视摄像头110的FOV，便于前视摄像头110采集图像。前视摄像头110可以包括四个摄像头，分别为一个长距摄像头111，两个中距摄像头112，以及一个短距摄像头113。
长距摄像头111、短距摄像头113与中距摄像头112的FOV、分辨率以及技术规格等各不相同，在一种可能的实施例中，长距摄像头111能够在250m的距离范围内对行人等目标物进行有效的感知，中距摄像头112能够在100m的距离范围对行人等目标物进行有效的感知，短距摄像头113能够在60m的距离范围内对行人等目标物进行有效的感知。
两个中距摄像头112规格相同，形成双目系统，能够采集FOV内的图像，利用两个中距摄像头112的公共FOV100a中所采集的图像的视差信息，可以形成带有深度信息的深度点云，从而能够检测目标物的形状及位置。或者，两中距摄像头112也可以替换为一个一体化的双目摄像头，以能采集图像形成深度点云，检测目标物的形状及位置。
图6a为图2中的两中距摄像头112的公共FOV100a示意图；图6b为图2中的中距摄像头112与短距摄像头113的公共FOV100b示意图；图6c为图2中的长距摄像头111与中距摄像头112的公共FOV100c示意图；图6d为图2中的长距摄像头111与短距摄像头113的公共FOV100d示意图。如图6a、图6b、图6c、图6d所示，长距摄像头111、短距摄像头113以及两中距摄像头112能够分别对FOV内的目标物进行检测并提取目标物的视觉特征及位置信息。长距摄像头111、短距摄像头113以及两中距摄像头112中两两之间的FOV部分区域重合形成公共FOV100a、100b、100c、100d，对于公共FOV100a、100b、100c、100d内的目标物，可以利用两个前视摄像头110检测到的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。
由上述内容可知，前视摄像头110中的长距摄像头111、短距摄像头113与中距摄像头112可以单独获取FOV中目标物的视觉特征及位置信息；还可以对公共FOV100a、100b、100c、100d内的目标物的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息；还可以通过两中距摄像头112形成的双目系统采集的带有深度信息的深度点云，从而获取目标物的形状及位置信息。由此，前视摄像头110能够通过不同的方式实现对目标物的感知，从而能够增强本申请的感知装置的感知能力，提高了感知装置的鲁棒性。
图7为图2中侧视摄像头130布置位置的局部放大示意图。如图2、图3、图4、图7所示，车辆10的左右两侧位置各设置有两个侧视摄像头130，分别为拍摄方向偏向车辆10前方的前向摄像头131，以及拍摄方向偏向车辆10后方的后向摄像头132。前向摄像头131与后向摄像头132可以设置在车辆10左右两侧的前翼子板(前轮周围区域)附近位置，前向摄像头131靠近车辆10前侧，前向摄像头131的FOV的中心线保持水平并偏向车辆10前方，以能够拍摄车辆10侧面偏向前方的图像。后向摄像头132靠近车辆10后侧，后向摄像头132的FOV的中心线保持水平并偏向车辆10后方，以能够拍摄车辆10侧面偏向后方的图像，由此前向摄像头131与后向摄像头132形成背靠背的拍摄方式。前向摄像头131与后向摄像头132的FOV部分重合，形成下述公共FOV100e。前向摄像头131与后向摄像头132形成共光心的侧视摄像头130，即前向摄像头131与后向摄像头132的FOV中心线的交点位置形成有虚拟的光心，从而便于前视摄像头110与后视摄像头120拍摄的图像在公共FOV100e区域能够进行拼接，并形成完整的大于前视摄像头110与后视摄像头120FOV的图像，前向摄像头131与后向摄像头132的FOV角度可以设置为大于75°，并保证拼接完成后能够获得足够大的FOV角度，以保证对车辆侧部的感知范围。拼接完成后的FOV角度大于或等于150°，以使拼接后的FOV足够大，以能够与前视摄像头110的FOV部分重合，以避免出现盲区，影响对目标物的感知。进一步地，拼接形成完整的图像后，还能够在拼接后的图像上直接进行检测，以获取目标物的视觉特征及位置信息，避免目标物在两摄像头100的FOV过渡时出现漏检。
图8a为图7中前向摄像头131的FOV示意图；图8b为图7中后向摄像头132的FOV示意图；图8c为前向摄像头131与后向摄像头132的公共FOV100e示意图。如图8a、图8b、图8c所示，在一种可能的实施例中，前向摄像头131与后向摄像头132的FOV角度可以选择为100°，前向摄像头131的FOV中心线与车辆10前方方向的角度为70°，后向摄像头132的FOV中心线与车辆10后方方向的角度为40°。由此，前向摄像头131与后向摄像头132的FOV之间部分重合，可以形成30°的公共FOV100e。另外，由于后向摄像头132的FOV中心线与车辆后方方向的角度为40°，小于FOV中心线与FOV边界的角度50°，由此后向摄像头132的FOV覆盖车辆本身部分区域，覆盖的角度为10°。由此，能够使后向摄像头132采集车辆侧部图像时，对于车辆后方方向不存在视野盲区。最终，前向摄像头131与后向摄像头132拍摄的图像在公共FOV100e区域进行拼接，能够形成150°的图像。由此，可以通过设置共光心的侧视摄像头130，对车辆10侧部进行图像采集，并且能够在拼接后形成完整的大FOV的图像，从而能够提高侧视摄像头130的检测范围。
图9为图2中前视摄像头110与前向摄像头131的公共FOV100f示意图。如图9所示，前视摄像头110与前向摄像头131的FOV之间部分重合，形成有公共FOV100f，前视摄像头110与前向摄像头131采集的图像能够在公共FOV100f区域进行拼接，从而能够消除前向摄像头131采集车辆10侧部图像时，对于车辆10前方方向出现的视野盲区。另外，前视摄像头110与前向摄像头131能够分别对FOV内的目标物进行检测并提取目标物的视觉特征及位置信息，对于公共FOV100f内的目标物，可以利用前视摄像头110与前向摄像头131检测到的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。
图10为另一种侧视摄像头130布置位置的局部放大示意图。如图10所示，本申请实施例还提供了另一种共光心的侧视摄像头130的布置形式。具体为，前向摄像头131设置在后视镜上，前向摄像头131的FOV的中心线保持水平并偏向车辆10前方，以能够拍摄车辆10侧面偏向前方的图像。后向摄像头132设置在车辆10前翼子板附近位置，后向摄像头132的FOV的中心线保持水平并偏向车辆10后方，以能够拍摄车辆10侧面偏向后方的图像。由此，前向摄像头131位于后向摄像头132的后方，前向摄像头131与后向摄像头132形成背靠背的拍摄方式。前向摄像头131与后向摄像头132形成共光心的侧视摄像头130，即前向摄像头131与后向摄像头132的FOV中心线的交点位置形成虚拟的光心，使前视摄像头110与后视摄像头120拍摄的图像在公共FOV区域能够进行拼接，并形成完整的大于前视摄像头110与后视摄像头120FOV范围的图像。由此，能够在拼接后的图像上直接进行检测，以获取目标物的视觉特征及位置信息，避免目标物在两摄像头100的FOV过渡时出现漏检的问题。
图11为图2中环视摄像头140的FOV示意图。如图2、图3、图4、图11所示，环视摄像头140可以由四个鱼眼摄像头构成，可以分别设置在车辆10前后保险杠的中间位置以及左右后视镜上。环视摄像头140的FOV中心线分别朝向车辆10的前、后、左、右四个方向，以使环视摄像头140能够分别采集车辆10前、后、左、右方向的图像。环视摄像头140的FOV中心线朝向地面偏移一定的角度，可以使环视摄像头140采集的车辆10前、后、左、右的图像更加靠近车辆10本身，从而能够减少车辆10四周图像采集的死角。同时，相邻两环视摄像头140的FOV之间部分重合，形成有公共FOV100g。四个环视摄像头140采集的车辆10前、后、左、右的图像，可以在公共FOV100g区域进行拼接，形成360°的全景图像。
图12为图2中侧视摄像头130与环视摄像头140的公共FOV100h示意图。如图12所示，侧视摄像头130与环视摄像头140能够分别对FOV内的目标物进行检测并提取目标物的视觉特征及位置信息，对于公共FOV100h内的目标物，可以利用侧视摄像头130与环视摄像头140检测到的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。
图13为图2中后视摄像头120与环视摄像头140的公共FOV100i示意图。如图2、图3、图4、图13所示，后视摄像头120可以设置在车辆10的后部中间位置，例如车辆10的鲨鱼鳍或尾翼中间等位置，用于对车辆10的后方进行图像采集。后视摄像头120与车辆10后部的环视摄像头140的FOV之间部分重合，形成公共FOV100i。后视摄像头120与车辆10后部的环视摄像头140能够分别对FOV内的目标物进行检测并提取目标物的视觉特征及位置信息，对于公共FOV100i内的目标物，可以利用后视摄像头120与环视摄像头140检测到的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息。
雷达200
图14为本申请实施例中雷达200在车辆10俯视图上的分布示意图。如图14所示，雷达200包括用于对车辆10前方及两侧进行检测的激光雷达210，用于对车辆10四周进行检测的毫米波雷达220，以及用于对车辆10后方进行检测的超声波雷达230。通过激光雷达210、毫米波雷达220以及超声波雷达230对车辆10四周的目标物进行检测，以能够感知目标物的形状及位置信息。
如图14所示，激光雷达210可以为三个，其中一个激光雷达210设置在车辆10前侧，可以位于前保险杠或格栅的中间或其他位置，用于对车辆10正前方进行检测，另外两个激光雷达210可以设置在车辆10前部的两侧，例如位于保险杠左右角或者车辆10前轮位置的左右翼子板上，用于对车辆10的侧部区域进行检测。这里，车辆10前部为车体前侧和与车体前侧相邻的车体侧面的部分，如前轮前侧的区域、前保险杠的左右角部区域等，车辆10后部为车体后侧和与车体后侧相邻的车体侧面的部分，如后轮后侧的区域、后保险杠的左右角部区域等。由此，可便于对激光雷达进行隐藏设计，以使激光雷达安装后满足车辆的外观设计要求，以及空气动力学设计要求。
在一种可能的实施例中，激光雷达210的安装高度(车辆10空载时激光雷达210的中心距地面的高度)设置为500mm～700mm，当安装高度为500mm时，激光雷达210在水平路面上的测距能力≥20m。左右角的激光雷达210在车辆10上左右对称设置，与中间的激光雷达210的距离＜1500mm。
图15为图14中激光雷达210的FOV示意图；图16为图14中激光雷达210检测到的激光点云示意图。如图15、图16所示，激光雷达210能够对FOV内的目标物进行激光扫描，以获取目标物的激光点云信息，并提取目标物的特征点，得到特征点的精确位置，由此能够检测目标物的形状及位置。三个激光雷达210之间，相邻的两激光雷达210部分FOV重合形成公共FOV200a，由此可以对不同激光雷达210检测到的激光点云进行拼接和对齐，以形成统一对齐的激光点云。由此能够提高激光雷达210的FOV，使激光雷达210检测的FOV大于180°，减少了激光雷达210的盲区，提高了对目标物的感知能力及鲁棒性。同时，还能够避免如现有技术中为了增大激光雷达210的检测范围，将激光雷达210设置在车辆10的顶部，而无法满足车辆10的外观设计要求，以及空气动力学设计要求。
图17为本申请实施例中另一种激光雷达210在车辆10俯视图上的分布示意图；
图18为图17中激光雷达210的FOV示意图。如图17、图18所示，激光雷达210还可以为两个，两个激光雷达210分别设置在车辆10前保险杠的左右角位置，以能对车辆10的前方及侧部区域进行检测。两个激光雷达210部分FOV重合形成公共FOV200b，由此可以对不同激光雷达210检测到的激光点云进行拼接和对齐，以形成统一对齐的激光点云。由此，能够通过两个激光雷达210对车辆10前方及侧方进行激光扫描，能够减少激光雷达210的数量，从而能够降低成本。
进一步地，由于摄像头100与激光雷达210都具有各自的局限性，例如摄像头100对于环境的亮度有一定的要求，夜晚亮度不好时会大大降低摄像头100对目标物的检测性能；激光雷达210由于需要通过激光扫描实现对目标物的检测，在雨雪或大雾等天气，会大大限制激光的传播距离，由此会影响激光雷达210对目标物的检测性能。本申请实施例提供的车载感知装置能够通过前视摄像头110与激光雷达210分别对目标物的形状及位置进行检测，从而提高了本申请的车载感知装置在不同环境下对目标物的感知的鲁棒性。还能够将摄像头100检测到的目标物的位置与激光雷达210检测到的目标物的特征点的精确位置进行对齐融合，从而进一步提高了本申请的车载感知装置对目标物的感知精度，保证了鲁棒的目标物感知性能。能够在夜晚、雨雪天气等条件下，依然能够实现对目标物鲁棒的感知。
图19为本申请实施例提供的车载感知装置检测车辆10前方目标物的示意图。如图19所示，车辆10在道路上行驶时，通过本申请实施例中的车载感知装置，能够对道路上不同距离、位置的目标物进行检测。同时，还能够通过对目标物形状、位置的精确感知，实现对不规则车辆(例如后方有伸出物的货车21、超载的三轮车22等)或者不规则障碍物(行人30、石头40、井盖50)等实现精确的感知。
图20为图14中毫米波雷达220的FOV示意图。如图14、图20所示，毫米波雷达220包括两个长距毫米波雷达221以及四个中距毫米波雷达222。两个长距毫米波雷达221可以设置在车辆10前、后中间位置，例如前、后保险杠的中间位置；四个中距毫米波雷达222设置在车辆10的四角位置，例如前、后保险杠的左右角位置。在一种可能的实施例中，长距毫米波雷达221能够在300m范围内对目标物进行检测，中距毫米波雷达222能够在70m范围内对目标物进行检测。由此，能够通过毫米波雷达220发出的毫米波对车辆10周围的目标物进行检测，从而提高了本申请的车载感知装置对目标物的感知能力。
图21为图14中超声波雷达230的FOV示意图。如图14、图21所示，车辆10的后部在同一水平面上均匀设置有四个超声波雷达230，能够向车辆10后方发出超声波，从而能够对车辆10后方的目标物进行检测，从而提高了本申请的车载感知装置对目标物的感知能力。
综上所述，本申请实施例中的车载感知装置对目标物实现感知的方式包括：
1、通过设置在车辆10四周的不同规格的摄像头100，分别对FOV内的目标物进行检测并提取目标物的视觉特征及位置信息；
2、对于公共FOV100a-100i内的目标物，可以利用两摄像头100检测到的视觉特征与位置信息进行匹配，最终得到目标物位置以及形状的3D信息；
3、通过两中距摄像头112形成的双目系统，获取目标物的带有深度信息的深度点云；
4、通过共光心的前向摄像头131与后向摄像头132分别获取车辆10侧面的图像，对图像进行拼接后，能够直接获取目标物的视觉特征及位置信息；
5、通过四个环视摄像头140采集的车辆10前、后、左、右的图像，拼接后形成360°的全景图像；
6、通过激光雷达210获取目标物的激光点云信息，以检测目标物的形状及位置；
7、相邻两激光雷达210检测到的激光点云进行拼接和对齐，以形成统一对齐的激光点云；
8、将摄像头100检测到的目标物的位置与激光雷达210检测到的目标物的形状及位置进行对齐融合；
9、通过两中距摄像头112形成的双目系统获取的深度点云，与激光雷达210检测到的激光点云进行对齐融合；
10、通过毫米波雷达220对车辆10周围的目标物的位置进行感知；
11、通过超声波雷达230对车辆10后方的目标物的位置进行感知。
由此，本申请实施例中的车载感知装置能够通过多种方式对目标物的位置、形状进行感知，从而保证了鲁棒的目标物感知性能。
注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明的构思的情况下，还可以包括更多其他等效实施例，均属于本发明的保护范畴。

Claims (18)

1.一种车载感知装置，其特征在于，包括：
长距摄像头、中距摄像头以及短距摄像头，所述长距摄像头、所述中距摄像头以及所述短距摄像头均朝向车辆前方，用于采集不同视野范围内的图像；
其中，所述中距摄像头为双目摄像头；所述长距摄像头、所述中距摄像头以及所述短距摄像头中，任意两者之间的视野范围部分重合。
2.根据权利要求1中所述的车载感知装置，其特征在于，
所述长距摄像头、所述中距摄像头以及所述短距摄像头设置在前挡玻璃上部位置。
3.根据权利要求1或2中所述的车载感知装置，其特征在于，还包括：
两个激光雷达，分别设置在车辆前侧两端位置，所述两激光雷达的部分视野范围重合。
4.根据权利要求1或2中所述的车载感知装置，其特征在于，还包括：
三个激光雷达，均设置在车辆前部；
其中，一个所述激光雷达设置在车辆前侧，另外两个所述激光雷达设置在所述车辆前部的两侧位置，位于中间的所述激光雷达分别与位于两端的所述激光雷达的视野范围部分重合。
5.根据权利要求1-4中任一所述的车载感知装置，其特征在于，还包括：
两个侧视摄像头，所述两侧视摄像头共光心，均朝向车辆侧方设置；
其中，靠近车辆前方的所述侧视摄像头的视野范围偏向车辆前方，靠近车辆后方的所述侧视摄像头的视野范围偏向车辆后方；所述两侧视摄像头的视野范围部分重合。
6.根据权利要求1-5中任一所述的车载感知装置，其特征在于，还包括：
四个环视摄像头，分别设置在车辆的前后及两侧位置；
其中，相邻的两所述环视摄像头的视野范围部分重合。
7.根据权利要求1-6中任一所述的车载感知装置，其特征在于，还包括：
六个毫米波雷达，分别设置在车辆的前后及四角位置；
其中，相邻两所述毫米波雷达的视野范围部分重合。
8.根据权利要求1-7中任一所述的车载感知装置，其特征在于，还包括：
设置在车辆后部的后视摄像头，用于采集车辆后方的图像。
9.一种车载感知装置，其特征在于，包括：
两个侧视摄像头，所述两侧视摄像头共光心，均朝向车辆侧方设置；
其中，靠近车辆前方的所述侧视摄像头的视野范围偏向车辆前方，靠近车辆后方的所述侧视摄像头的视野范围偏向车辆后方；所述两侧视摄像头的视野范围部分重合。
10.根据权利要求9中所述的车载感知装置，其特征在于，
靠近车辆后方的所述侧视摄像头的视野范围覆盖车辆本身部分区域。
11.根据权利要求9或10中所述的车载感知装置，其特征在于，
所述两侧视摄像头的视野范围大于75°。
12.根据权利要求11中所述的车载感知装置，其特征在于，
所述两侧视摄像头的视野范围之和大于或等于150°。
13.根据权利要求9-12中任一所述的车载感知装置，其特征在于，还包括：
两个激光雷达，分别设置在车辆前侧两端位置，所述两激光雷达的视野范围部分重合。
14.根据权利要求9-12中任一所述的车载感知装置，其特征在于，还包括：
三个激光雷达，均设置在车辆前部；
其中，一个所述激光雷达设置在车辆前侧，另外两个所述激光雷达设置在所述车辆前部的两侧位置，位于中间的所述激光雷达分别与位于两端的所述激光雷达视野范围部分重合。
15.根据权利要求9-14中任一所述的车载感知装置，其特征在于，还包括：
四个环视摄像头，分别设置在车辆的前后及两侧位置；
其中，相邻的两所述环视摄像头的视野范围部分重合。
16.根据权利要求9-15中任一所述的车载感知装置，其特征在于，还包括：
六个毫米波雷达，分别设置在车辆的前后及四角位置；
其中，相邻两所述毫米波雷达的视野范围部分重合。
17.根据权利要求9-16中任一所述的车载感知装置，其特征在于，还包括：
设置在车辆后部的后视摄像头，用于采集车辆后方的图像。
18.一种车辆，其特征在于，包括：权利要求1-17中任一所述的车载感知装置。
CN202110390965.6A 2021-04-12 2021-04-12 一种车载感知装置及车辆 Pending CN115195625A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110390965.6A CN115195625A (zh) 2021-04-12 2021-04-12 一种车载感知装置及车辆
EP22787280.1A EP4316913A1 (en) 2021-04-12 2022-03-03 Vehicle-mounted sensing apparatus and vehicle
BR112023021203A BR112023021203A2 (pt) 2021-04-12 2022-03-03 Aparelho de detecção montado em veículo e veículo
PCT/CN2022/078918 WO2022218050A1 (zh) 2021-04-12 2022-03-03 一种车载感知装置及车辆
JP2023562600A JP2024513963A (ja) 2021-04-12 2022-03-03 車両搭載検知装置及び車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110390965.6A CN115195625A (zh) 2021-04-12 2021-04-12 一种车载感知装置及车辆

Publications (1)

Publication Number Publication Date
CN115195625A true CN115195625A (zh) 2022-10-18

Family

ID=83570353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110390965.6A Pending CN115195625A (zh) 2021-04-12 2021-04-12 一种车载感知装置及车辆

Country Status (5)

Country Link
EP (1) EP4316913A1 (zh)
JP (1) JP2024513963A (zh)
CN (1) CN115195625A (zh)
BR (1) BR112023021203A2 (zh)
WO (1) WO2022218050A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110412565A (zh) * 2019-08-14 2019-11-05 深圳中集专用车有限公司 传感器系统及自动驾驶车辆
US11076109B2 (en) * 2019-09-16 2021-07-27 Tusimple, Inc. Sensor layout for autonomous vehicles
CN111010532B (zh) * 2019-11-04 2021-03-16 武汉理工大学 一种基于多焦距摄像头组的车载机器视觉系统
CN111147843B (zh) * 2019-12-20 2021-12-17 山东大学 基于长短焦距摄像头组合的尺寸测量方法及系统

Also Published As

Publication number Publication date
JP2024513963A (ja) 2024-03-27
EP4316913A1 (en) 2024-02-07
BR112023021203A2 (pt) 2023-12-19
WO2022218050A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
US11597378B2 (en) Vehicular sensing system for anticipating cut-in by other vehicle
AU2021200258B2 (en) Multiple operating modes to expand dynamic range
CN106909152B (zh) 一种车用环境感知系统及汽车
CN113002396B (zh) 一种用于自动驾驶矿用车辆的环境感知系统及矿用车辆
CN113490863A (zh) 雷达辅助的单个图像三维深度重建
Hu et al. A complete uv-disparity study for stereovision based 3d driving environment analysis
CN109373974A (zh) 一种具备主动探测功能的自动驾驶汽车环境感知系统
US10923829B2 (en) Vehicle-mounted radar deflectors
CN111527745B (zh) 高速图像读出和处理装置、方法
US20220169254A1 (en) Systems and techniques for field-of-view improvements in autonomous trucking systems
JP7324057B2 (ja) 車両用物体検出装置
KR20150104409A (ko) 센서를 이용한 차량 인식 시스템 및 그 방법
CN111736153A (zh) 用于无人驾驶车辆的环境检测系统、方法、设备和介质
CN112020661A (zh) 车底雷达单元
CN111736613A (zh) 智能驾驶控制方法、装置、系统及存储介质
CN214492889U (zh) 一种汽车的环境感知系统及其汽车
CN115195625A (zh) 一种车载感知装置及车辆
CN212623074U (zh) 一种矿车用无人驾驶系统及矿车
CN216956772U (zh) 一种自动驾驶环境监测装置及自动驾驶汽车
US20220108117A1 (en) Vehicular lane marker determination system with lane marker estimation based in part on a lidar sensing system
CN210626653U (zh) 传感器系统及自动驾驶车辆
CN111781601A (zh) 一种矿车用无人驾驶系统及矿车
CN211032395U (zh) 自动驾驶车辆
CN218316532U (zh) 一种带l4级感知元件结构的无人车
CN218702988U (zh) 一种汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination