CN112954281A - 在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云 - Google Patents

在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云 Download PDF

Info

Publication number
CN112954281A
CN112954281A CN202011446448.8A CN202011446448A CN112954281A CN 112954281 A CN112954281 A CN 112954281A CN 202011446448 A CN202011446448 A CN 202011446448A CN 112954281 A CN112954281 A CN 112954281A
Authority
CN
China
Prior art keywords
view
field
polarization
response
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011446448.8A
Other languages
English (en)
Other versions
CN112954281B (zh
Inventor
E.莫德凯
D.列维
E.基松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112954281A publication Critical patent/CN112954281A/zh
Application granted granted Critical
Publication of CN112954281B publication Critical patent/CN112954281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G01S13/9076—Polarimetric features in SAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云。具体地，本发明涉及在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的方法和设备，包括：相机，其配置为捕获用于视场的彩色图像和视场的偏振数据；处理器，其配置为响应于所述彩色图像和偏振数据执行神经网络功能以生成所述视场的深度图；以及车辆控制器，其配置为执行高级驾驶辅助功能并响应于所述深度图来控制车辆运动。

Description

在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云
技术领域
本公开总体涉及对机动车辆控制系统进行编程。更具体地，本公开的各方面涉及用于使用深度神经网络将常规RGB图像与来自偏振相机的偏振数据相结合以生成三维点云以供配备有驾驶辅助系统的车辆使用的系统、方法和装置。
背景技术
现代车辆的操作变得越来越自动化，即能够以越来越少的驾驶员干预提供驾驶控制。车辆自动化已被分类为数字水平，范围为从零(对应于完全人为控制的无自动化)到五(对应于无人为控制的全自动化)。各种高级驾驶员辅助系统(ADAS)比如巡航控制、自适应巡航控制和停车辅助系统对应于较低的自动化水平，而真正的“无人驾驶”车辆则对应较高的自动化水平。
ADAS通常使用诸如激光雷达、雷达和相机之类的传感器来检测并绘制主车辆周围的区域。激光雷达具有有限的空间分辨率，并且需要使用激光对视场的主动照明以允许飞行时间(ToF)测量。此外，由于高成本、庞大的机械结构、机械扫描机构和其他运动部件，最先进的激光雷达面临着产品化挑战。希望克服这些问题，以提供用于ADAS系统以检测和呈现三维点云以供配备有ADAS的机动车辆使用的方法和设备。
在该背景技术部分中公开的以上信息仅用于增强对本发明背景技术的理解，因此其可能包含不构成该国本领域普通技术人员已知的现有技术的信息。
发明内容
本文公开了用于提供自主车辆控制的自主车辆控制系统训练系统和相关控制逻辑、制造这种系统的方法和操作这种系统的方法以及配备有车载控制系统的机动车辆。通过示例而非限制的方式，提出了一种具有车载车辆控制学习和控制系统的汽车。
根据本发明的一方面，提供了一种设备，包括：相机，其配置为捕获用于视场的彩色图像和视场的偏振数据；处理器，其配置为响应于所述彩色图像和偏振数据执行神经网络功能以生成所述视场的深度图；以及车辆控制器，其配置为执行高级驾驶辅助功能并响应于所述深度图来控制车辆运动。
根据本发明的另一方面，其中所述彩色图像包括所述视场的单色绿色图像、所述视场的单色红色图像和所述视场的单色蓝色图像。
根据本发明的另一方面，其中所述偏振数据是响应于四个4×4基本计算单元而生成的，以形成16像素计算单元。
根据本发明的另一方面，其中相机包括在公共滤色器阵列的顶部上实现的偏振器阵列层。
根据本发明的另一方面，其中偏振数据是响应于偏振器阵列层而产生的。
根据本发明的另一方面，其中彩色图像包括RGB光颜色信息。
根据本发明的另一方面，其中偏振数据包括用于视场的图像的线性偏振角和线性偏振度。
根据本发明的另一方面，包括存储器，其配置为从处理器接收深度图并存储深度图。
根据本发明的另一方面，一种由处理器执行的方法包括：从相机接收视场的彩色图像；从偏振相机接收所述视场的偏振数据；响应于所述彩色图像和偏振数据，执行神经网络功能以生成所述视场的深度图；以及响应于所述深度图，执行车辆控制操作以控制车辆。
根据本发明的另一方面，包括生成用于视场的图像的线性偏振角和线性偏振度。
根据本发明的另一方面，包括从激光雷达接收视场的激光雷达深度云，并将深度图与激光雷达深度云进行比较以确认深度图。
根据本发明的另一方面，包括响应于车辆控制操作来控制主车辆的转向。
根据本发明的另一方面，其中深度图由车辆控制器用来执行辅助驾驶算法。
根据本发明的另一方面，其中彩色图像和偏振数据由具有偏振器阵列层和公共滤色器阵列的相机捕获。
根据本发明的另一方面，其中所述彩色图像包括所述视场的单色绿色图像、所述视场的单色红色图像和所述视场的单色蓝色图像。
根据本发明的另一方面，可操作成响应于四像素蓝色计算单元、四像素红色计算单元和四像素绿色计算单元而生成16像素计算单元，并且对于四像素蓝色计算单元、四像素红色计算单元和四像素绿色计算单元中的每个生成至少一个偏振值。
根据本发明的另一方面，包括响应于偏振数据和视场的彩色图像而生成偏振加色框，并且其中，在偏振加色框上执行神经网络功能。
根据本发明的另一方面，其中彩色图像包括RGB光颜色信息。
根据本发明的另一方面，一种用于执行辅助驾驶操作的方法包括：接收第一视场的第一偏振数据；接收第一视场的第一彩色图像；接收第一视场的激光雷达深度点云；响应于第一偏振数据、第一彩色图像和激光雷达深度点云，训练神经网络功能；接收第二视场的第二彩色图像和第二视场的第二偏振数据；响应于第二彩色图像和第二偏振数据，执行神经网络功能以生成第二视场的深度图；以及响应于深度图执行辅助驾驶操作以控制车辆。
根据本发明的另一方面，其中第二彩色图像和第二偏振数据由具有偏振器阵列层和公共滤色器阵列的相机捕获。
当结合附图考虑时，根据优选实施例的以下详细描述，本公开的上述优点以及其他优点和特征将变得显而易见。
附图说明
通过参考结合附图对本发明实施例的以下描述，本发明的上述及其他特征和优点以及实现它们的方式将变得更加明显，并且将更好地理解该系统和方法。
图1示出了根据示例性实施例的在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的数据流概况。
图2a示出了说明用于使用偏振相机生成三维点云的系统的示例性实施方式的框图。
图2b示出了用于使用偏振相机生成三维点云的示例性偏振器阵列层象限。
图3示出了表示根据示例性实施例的在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的系统的框图。
图4示出了表示根据示例性实施例的在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的方法的流程图。
本文阐述的示例说明了本发明的优选实施例，并且这些示例不应以任何方式解释为限制本发明的范围。
具体实施方式
在此描述本公开的实施例。然而，应当理解，所公开的实施例仅是示例，并且其他实施例可以采取各种替代形式。附图不一定按比例绘制；一些特征可能会被放大或最小化以显示特定部件的细节。因此，本文公开的具体结构和功能细节不应解释为限制性的，而仅是代表性的。可以将参考任何一个附图示出和描述的各种特征与在一个或多个其他附图中示出的特征组合以产生未明确示出或描述的实施例。所示特征的组合为典型应用提供了代表性实施例。然而，对于特定的应用或实施方式，可能期望与本公开的教导相一致的特征的各种组合和修改。
图1示意性地示出了在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的操作概况100。在该示例性实施例中，公开了利用一系列常规光颜色信息图像的系统和方法，其中每个图像可以包括红色图像数据101R、绿色图像数据101G和蓝色图像数据101B。使用深度神经网络110将此常规光颜色信息与偏振原始数据105组合，以生成点云图像120。点云图像可以包括从传感器到图像内物体的距离，该距离以周期性方位角和仰角增量确定。偏振原始数据105可以由无源偏振相机捕获，以实现场景的高分辨率深度图像，这可能不需要主动照明和飞行时间测量。示例性系统可以配置成用于将偏振成像与机器学习相结合以进行深度估计，并且可以使用附加传感器来进行深度机器学习模型的自我监督训练。可以通过直接从原始传感器测量中学习来进一步增强深度估计。
除了常规光颜色(RGB)以外，偏振成像相机还可以提供光偏振状态。可以处理光偏振状态以确定成像表面定向的一些信息。当前公开的系统和方法配置为使用偏振相机来生成密集3D点云的实时视频，而不使用主动照明。可以实时地使用深度神经网络来生成3D点云。神经网络可以接收高分辨率偏振+RGB帧，并可以输出‘RGB+深度点云。在另一实施例中，可以使用地面真相训练设备(包括与高分辨率深度成像器(比如密集LiDAR)对准的偏振成像相机、立体相机、结构化光深度成像器或任何其他合适的传感器)在全自动过程中训练神经网络。
现在转到图2a，示出了表示用于使用偏振相机250生成三维点云的系统200的示例性实施方式的图。该系统可以包括偏振相机250，其具有放置在光电二极管上方的焦平面阵列(FPA)上的由纳米线网格图案制成的偏振器阵列层260。偏振器阵列层260可以固有地实现为传感器制造过程的一部分。可替代地，可以设计和制造偏振器阵列层260，然后将其施加到FPA。
为了测量光颜色强度(即红绿蓝(RGB)数据)以及偏振数据，偏振器阵列层260可以在称为RGGB、RG1G2B或拜耳滤色器的公共滤色器阵列(CFA)的顶部实现。在示例性实施例中，使用4×4基本计算单元形成16像素计算单元。4×4基本计算单元可以包括四个2×2不同成角度偏振器Q1、Q2、Q3和Q4，其中2×2不同成角度偏振器Q1、Q2、Q3和Q4中的每个在公共滤色器阵列的RGGB部分之一上实现。
转到图2b，示出了示例性偏振器阵列层象限210，其包括如下四个不同成角度偏振器：0°(I0)、45°(I45)、90°(I90)和135°(I135)。在此示例中，每个2×2块构成四像素计算单元，允许测量三个斯托克斯参数(表示为S0、S1、S2)以及测量线性偏振角(AoLP)和线性偏振度(DoLP)。在此示例中，偏振数据是针对CFA的4种颜色中的每种颜色独立计算的，并且相机输出是具有5个通道的场景图像：RGB、AoLP和DoLP。因此，从每个成角度偏振器I0、I45、I90和I135接收的原始数据用于根据方程组1确定斯托克斯参数S0、S1、S2。
S0＝i0+i90＝i45+i135
S1＝i0-i90
S2＝i45-i135 方程1
反过来，斯托克斯参数用于根据方程2和3生成具有3个通道的视场图像的相机输出：强度、AoLP和DoLP。
Figure BDA0002824830520000051
AoLP＝0.5·atan(S2/S1)∈[0°...180°] 方程3
现在转到图3，示出了表示在配备有驾驶辅助系统的车辆中用于越野路线选择和呈现的系统300的示例性实施方式的框图。系统300可以包括处理器340、偏振相机320、激光雷达322、存储器345、车辆控制器330、节气门控制器355、制动控制器360和转向控制器370。
该系统可操作成使用各种传感器，比如偏振相机320和能够检测和绘制各种外表面、物体和障碍物的激光雷达322。传感器融合算法可用于提供对外部物体的准确检测和跟踪以及适当属性(比如相对速度、加速度等)的计算。相机320可操作成捕获视场(FOV)的图像，该视场可以包括靠近车辆的静态和动态物体。图像处理技术可用于识别和定位FOV内的物体。然后可以将这些物体界定和识别为不希望的驾驶区域，并将其存储在存储器中或添加到用于ADAS的参考地图中。
偏振相机320可操作成捕获靠近配备有ADAS的车辆的视场的一个图像或一系列图像。该系列图像可以用于随时间生成视场的视频等。偏振相机320可操作成无源地收集偏振数据，并且可在公共滤色器阵列上配备有偏振阵列层。在示例性实施例中，偏振相机320可操作成收集用于公共滤色器阵列的四种颜色中的每个的偏振数据。因此，在该示例性实施例中，偏振相机320可为每个图像收集16个不同偏振像素值，以形成4×4 16像素计算单元。在该示例性实施例中，偏振相机320可以针对四种颜色中的每个收集零度、45度、90度和135度值。
激光雷达322可用作主车辆上的传感器，以检测车辆周围的表面和物体，并使用来自物体的反射提供这些物体的范围和定向，物体提供多个扫描点，这些扫描点组合成点群集范围图，其中在传感器的整个视场(FOV)中，每隔1/2°以下提供单独的扫描点。因此，如果在主车辆的前方检测到目标车辆或其他物体，则可能存在返回的多个扫描点，这些扫描点可用于确定目标车辆与主车辆的距离。通过提供扫描返回点群集，可以更容易地检测到具有各种任意形状的物体，比如岩石、原木、汽车、卡车、拖车、自行车、行人、护栏等，其中物体较大和/或离主车辆越近，提供的扫描点越多。
由激光雷达检测到的扫描点可用于生成FOV的三维深度图。根据示例性实施例，由激光雷达322生成的三维深度图可以用作监督传感器设置，以便训练神经网络以响应于来自偏振相机320的颜色和偏振数据生成高分辨率密度点云。
在该示例性实施例中，处理器340可操作成从偏振相机320接收来自公共滤色器阵列的四个颜色象限中的每个的原始偏振数据(I0、I45、I90和I135)。另外，处理器340从偏振相机320接收常规的红、绿和蓝光信息。然后，当接收到数据时，处理器340可操作成将偏振和光信息实时地变换为光和深度云。处理器340可以另外从激光雷达322等接收稀疏点云，以便校准从偏振相机320接收的深度数据和/或响应于偏振相机320数据而训练用于生成深度数据的深度神经网络。
在示例性实施例中，偏振相机320捕获来自靠近车辆的视场的电磁辐射作为每个像素的颜色和偏振数据，并将其耦合到处理器340。从偏振相机320输出的数字化原始数据可以包括七个信息通道，其中三个通道是RGB颜色通道，四个通道是偏振通道。可替代地，一个频道可以是单色频道。处理器340然后可操作成接收激光雷达数据，比如地面真相点或深度图像，以便训练神经网络功能块。由处理器340执行的神经网络功能块可操作成响应于接收到的信息通道生成三维单色或RGB点深度云。然后可以将三维点深度云存储在存储器中，以供车辆控制器330用作ADAS功能的一部分。
在一示例性实施例中，处理器340可采用卷积编码器-解码器以将图像和偏振信息变换为深度图。例如，编码器可以包括多个层，每个层包含各种大小的卷积滤波器、池化块、归一化块和非线性激活函数。每个层的输出是一组特征地图，也称为通道。编码器接收RGB和偏振图像并生成低维表示。解码器反转编码器的操作，并且也包括多个层，每个层包含卷积、池化、归一化和非线性激活函数。编码器中的层与解码器中的相应层之间可能存在连接。在一示例性实施例中，编码器-解码器架构可以类似于用于图像分割的U网卷积网络。网络输入可能包括三个RGB通道和多达四个偏振数据通道。将附加通道与3个RGB通道堆叠是标准过程，并且仅需要修改第一层。网络输出包括代表深度的1通道。该问题可能是“回归”问题，其中“损失”(即预测深度和真实深度之间的差)可以用许多方式定义，比如L1损失、Huber损失(Smooth L1损失)和L2损失。
车辆控制器330可以生成用于耦合到其他车辆系统控制器(比如节气门控制器355、制动控制器360和转向控制器370)的控制信号，以便响应于ADAS算法来控制车辆的操作。车辆控制器可操作成响应于处理器340生成的控制信号通过经由节气门控制器355减小节气门来调节车辆的速度或者经由制动控制器360施加摩擦制动。车辆控制器可操作成响应于处理器340生成的控制信号来调节经由转向控制器370控制车辆转向的车辆方向。
现在转向图4，示出了表示在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云的方法300的示例性实施方式的流程图。在该示例性实施例中，该方法首先操作成响应于请求而启动410驾驶辅助算法。该请求可以由用户界面响应于用户输入而生成，或者可以响应于来自另一ADAS算法等的ADAS请求而生成。例如，该请求可以响应于经由用户界面响应于对激活ADAS算法的用户请求而接收到的对自适应巡航控制操作的请求而生成。在一示例性实施例中，ADAS功能可以正在生成深度点云，以供随后的ADAS功能使用。在该实施例中，可以响应于配备有ADAS的车辆等的操作来启动ADAS功能。
该方法接下来可操作成从偏振相机等接收420偏振数据。偏振相机可以是高分辨率彩色相机，其偏振器阵列层覆盖在滤色器阵列等上。偏振数据可包括多个不同偏振角的幅度值，例如0度、45度、90度和135度。
该方法接下来可操作成从偏振相机等接收430颜色数据。可以分别针对绿色、蓝色和红色中的每个收集颜色数据，并且将其作为单独的单色图像或作为常规的光颜色信息(RGB)图像耦合到处理器。
该方法接下来可操作成执行440神经网络功能，以便响应于偏振数据和颜色数据来近似每个像素的深度，以生成颜色和深度三维点云。可以使用激光雷达生成的深度点云数据或立体图像数据作为监督传感器设置而在多个先前的彩色图像和偏振数据集中训练神经网络功能。该方法可操作成响应于神经网络操作而生成用于视场的颜色和深度三维点云。该方法接下来可操作成响应于颜色和深度三维点云来执行450所请求的ADAS功能。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种设备，包括：
相机，其配置为捕获用于视场的彩色图像和视场的偏振数据；
处理器，其配置为响应于所述彩色图像和偏振数据执行神经网络功能以生成所述视场的深度图；以及
车辆控制器，其配置为执行高级驾驶辅助功能并响应于所述深度图来控制车辆运动。
2.根据权利要求1所述的设备，其中，所述彩色图像包括所述视场的单色绿色图像、所述视场的单色红色图像和所述视场的单色蓝色图像。
3.根据权利要求1所述的设备，其中，所述偏振数据是响应于四个4×4基本计算单元而生成的，以形成16像素计算单元。
4.根据权利要求1所述的设备，其中，所述相机包括在公共滤色器阵列的顶部上实现的偏振器阵列层。
5.根据权利要求1所述的设备，其中，所述偏振数据是响应于偏振器阵列层而生成的。
6.根据权利要求1所述的设备，其中，所述彩色图像包括RGB光颜色信息。
7.根据权利要求1所述的设备，其中，所述偏振数据包括用于所述视场的图像的线性偏振角和线性偏振度。
8.根据权利要求1所述的设备，还包括存储器，其配置成从所述处理器接收所述深度图并存储所述深度图。
9.一种由处理器执行的方法，包括：
从相机接收视场的彩色图像；
从偏振相机接收所述视场的偏振数据；
响应于所述彩色图像和偏振数据，执行神经网络功能以生成所述视场的深度图；以及
响应于所述深度图，执行车辆控制操作以控制车辆。
10.根据权利要求9所述的方法，还包括生成用于所述视场的图像的线性偏振角和线性偏振度。
CN202011446448.8A 2019-12-10 2020-12-09 在车辆中使用偏振相机生成三维点云的设备和方法 Active CN112954281B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/708,690 2019-12-10
US16/708,690 US11127147B2 (en) 2019-12-10 2019-12-10 Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle

Publications (2)

Publication Number Publication Date
CN112954281A true CN112954281A (zh) 2021-06-11
CN112954281B CN112954281B (zh) 2023-04-14

Family

ID=75963151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011446448.8A Active CN112954281B (zh) 2019-12-10 2020-12-09 在车辆中使用偏振相机生成三维点云的设备和方法

Country Status (3)

Country Link
US (1) US11127147B2 (zh)
CN (1) CN112954281B (zh)
DE (1) DE102020129096A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113978365A (zh) * 2021-10-28 2022-01-28 河北雄安五维智联科技有限公司 全向adas+360°全景融合辅助驾驶系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115516283A (zh) * 2020-04-24 2022-12-23 元平台技术有限公司 偏振成像摄像头
US11418762B2 (en) * 2020-09-11 2022-08-16 GM Global Technology Operations LLC Imaging system and method
GB2603951A (en) * 2021-02-22 2022-08-24 Imperial College Innovations Ltd Image Processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
US20160261852A1 (en) * 2013-12-16 2016-09-08 Sony Corporation Image processing device, image processing method, and imaging device
CN107042826A (zh) * 2015-12-29 2017-08-15 法拉第未来公司 基于立体摄相机检测接近车辆的物体的系统和方法
CN109215067A (zh) * 2017-07-03 2019-01-15 百度（美国）有限责任公司 基于cnn和crf模型生成高分辨率3-d点云

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8149268B1 (en) * 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
US11231502B2 (en) * 2011-06-30 2022-01-25 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
US10107904B2 (en) * 2012-09-04 2018-10-23 Fugro N.V. Method and apparatus for mapping and characterizing sea ice from airborne simultaneous dual frequency interferometric synthetic aperture radar (IFSAR) measurements
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
US10466036B2 (en) * 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US11561084B2 (en) * 2017-04-19 2023-01-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications
WO2019023521A1 (en) * 2017-07-28 2019-01-31 Nuro, Inc. AUTOMATED RETAIL STORE ON AUTONOMOUS OR SEMI-AUTONOMOUS VEHICLE
US10598764B2 (en) * 2017-10-30 2020-03-24 Yekutiel Josefsberg Radar target detection and imaging system for autonomous vehicles with ultra-low phase noise frequency synthesizer
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11473970B2 (en) * 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
US10937186B2 (en) * 2018-12-19 2021-03-02 Fca Us Llc Techniques for precisely locating landmarks in monocular camera images with deep learning
US10656272B1 (en) * 2019-04-24 2020-05-19 Aeye, Inc. Ladar system and method with polarized receivers
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
US11257369B2 (en) * 2019-09-26 2022-02-22 GM Global Technology Operations LLC Off road route selection and presentation in a drive assistance system equipped vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160261852A1 (en) * 2013-12-16 2016-09-08 Sony Corporation Image processing device, image processing method, and imaging device
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
CN107042826A (zh) * 2015-12-29 2017-08-15 法拉第未来公司 基于立体摄相机检测接近车辆的物体的系统和方法
CN109215067A (zh) * 2017-07-03 2019-01-15 百度（美国）有限责任公司 基于cnn和crf模型生成高分辨率3-d点云

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113978365A (zh) * 2021-10-28 2022-01-28 河北雄安五维智联科技有限公司 全向adas+360°全景融合辅助驾驶系统及方法

Also Published As

Publication number Publication date
US20210174528A1 (en) 2021-06-10
US11127147B2 (en) 2021-09-21
CN112954281B (zh) 2023-04-14
DE102020129096A1 (de) 2021-06-10

Similar Documents

Publication Publication Date Title
CN112954281B (zh) 在车辆中使用偏振相机生成三维点云的设备和方法
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
CN111436216B (zh) 用于彩色点云生成的方法和系统
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US9940527B2 (en) Driving assist system for vehicle and method thereof
US11535154B2 (en) Method for calibrating a vehicular vision system
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
US8879050B2 (en) Method for dynamically adjusting the operating parameters of a TOF camera according to vehicle speed
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN111627054B (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
US20190095721A1 (en) Nighttime Sensing
EP3438872A1 (en) Method, apparatus and computer program for a vehicle
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN114173066A (zh) 成像系统和方法
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR20210112672A (ko) 객체를 검출하기 위한 프로세서 및 객체 검출 방법
JP2015179066A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2006072757A (ja) 物体検出装置
US20220368873A1 (en) Image sensor, imaging apparatus, and image processing method
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
EP4172936A1 (en) System and methods for thermal imaging
CN115546305A (zh) 一种相机的标定方法及装置
US11893799B2 (en) Computer vision system for object tracking and time-to-collision
US20230394847A1 (en) Image processing system, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant