CN113297895A - 道路标记检测 - Google Patents

道路标记检测 Download PDF

Info

Publication number
CN113297895A
CN113297895A CN202110188080.8A CN202110188080A CN113297895A CN 113297895 A CN113297895 A CN 113297895A CN 202110188080 A CN202110188080 A CN 202110188080A CN 113297895 A CN113297895 A CN 113297895A
Authority
CN
China
Prior art keywords
image
polarized
polarization
vehicle
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110188080.8A
Other languages
English (en)
Inventor
乔恩·斯皮格尔
大卫·迈克尔·赫尔曼
凯尔·B·索伦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113297895A publication Critical patent/CN113297895A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“道路标记检测”。一种处理系统，包括处理器和存储器。所述存储器存储指令，所述指令可由所述处理器执行以从偏振相机传感器接收偏振图像，并基于车辆位置、相机传感器的取向和车辆姿态来识别所接收的图像中的路面。所述存储器存储指令，所述指令用于进行以下操作：当在所述偏振图像中基于从所述偏振图像确定的偏振方向和偏振程度来识别来自所述识别路面的偏振光反射时，从所述偏振图像中去除所述识别的偏振光反射，由此生成更新的偏振图像，包括基于所述识别的偏振光反射生成去马赛克图像，其中在去马赛克时忽略所述识别的偏振光反射；以及基于所述更新的偏振图像来识别包括车道标记的道路特征。

Description

道路标记检测
技术领域
本公开总体上涉及车辆传感器。
背景技术
车辆可以被配备有各种传感器以便检测车辆周围区域中的对象。车辆计算机可以基于从传感器接收的数据来控制各种车辆操作。各种类型的传感器可能会受到车辆周围的环境状况的影响。诸如雨之类的天气状况可能会影响传感器数据。车辆传感器(诸如相机传感器)可能无法检测到例如潮湿道路上的标记和/或其他对象。
发明内容
本文公开了一种包括处理器和存储器的处理系统。所述存储器存储指令，所述指令可由所述处理器执行以：从偏振相机传感器接收偏振图像；基于车辆位置、所述相机传感器的取向和车辆姿态来识别所述接收的图像中的路面；当在所述偏振图像中基于从所述偏振图像确定的偏振方向和偏振程度来识别来自所述识别路面的偏振光反射时，从所述偏振图像中去除所述识别的偏振光反射，由此生成更新的偏振图像，包括基于所述识别的偏振光反射生成去马赛克图像，其中在去马赛克时忽略所述识别的偏振光反射；以及基于所述更新的偏振图像来识别包括车道标记的道路特征。
用于识别所述路面的指令可以包括用于进行以下操作的指令：基于所述车辆位置、所述车辆姿态和所述相机的所述取向来识别所述接收的图像中表示所述路面的多个像素。
所述指令还可以包括用于进行以下操作的指令：确定所述接收的图像中的多个像素的强度；基于所述确定的强度来计算所述接收的图像的直方图；基于所述接收的图像的所述计算的直方图来确定所述接收的图像是过饱和的还是欠饱和的；以及在确定所述接收的偏振图像中存在过饱和与欠饱和中的一者时，修改相机参数并基于所述修改的相机参数来接收第二偏振图像。
用于修改所述相机参数的指令可以包括用于进行以下操作的指令：在确定所述接收的图像欠饱和时增加相机曝光时间。
用于修改所述相机参数的指令可以包括用于进行以下操作的指令：在确定所述接收的图像过饱和时减少相机曝光时间。
所述指令还可以包括用于进行以下操作的指令：进一步基于地图数据来识别所述接收的图像中的所述路面。
所述道路特征可以包括单实线、双实线、单虚线和行人标记中的至少一者。
所述指令还可以包括用于进行以下操作的指令：在确定所述更新的图像的噪声比超过阈值时，(i)忽略所述接收的偏振图像，(ii)接收第二偏振图像，以及(iii)基于更新的第二偏振图像识别所述道路特征。
所述指令还可以包括用于进行以下操作的指令：通过从所述偏振图像中去除所述接收的偏振光反射并基于所述更新的偏振图像中表示的折射光识别所述道路特征来确定来自所述路面的折射光。
所述指令还可以包括用于进行以下操作的指令：基于在多个偏振程度下的所接收的光强度水平来确定偏振图像的斯托克斯参数(Stokes parameter)；基于所述确定的斯托克斯参数来确定所述图像的线性偏振程度；以及基于所述确定的线性偏振程度来确定所述反射光。
用于确定所述反射光的指令可以包括用于进行以下操作的指令：确定所述偏振图像的s波分量和p波分量。
所述指令还可以包括用于进行以下操作的指令：基于检测到的道路特征致动所述车辆。
所述指令还可以包括用于进行以下操作的指令：基于所识别的偏振光反射来检测所述路面上的潮湿区域并更新与所述检测的潮湿区域相对应的图像像素。
本文还公开了一种方法，所述方法包括：从偏振相机传感器接收偏振图像；基于车辆位置、所述相机传感器的取向和车辆姿态来识别所述接收的图像中的路面；当在所述偏振图像中基于从所述偏振图像确定的偏振方向和偏振程度来识别来自所述识别路面的偏振光反射时，从所述偏振图像中去除所述识别的偏振光反射，由此生成更新的偏振图像，包括基于所述识别的偏振光反射生成去马赛克图像，其中在去马赛克时忽略所述识别的偏振光反射；以及基于所述更新的偏振图像来识别包括车道标记的道路特征。
所述方法还可以包括通过基于所述车辆位置、所述车辆姿态和所述相机的所述取向来识别所述接收的图像中表示所述路面的多个像素来识别所述路面。
所述方法还可以包括进一步基于地图数据来识别所述接收的图像中的所述路面。
所述道路特征可以包括单实线、双实线、单虚线和行人标记中的至少一者。
所述方法还可以包括通过从所述偏振图像中去除所述接收的偏振光反射并基于所述更新的偏振图像中表示的折射光识别所述道路特征来确定来自所述路面的折射光。
所述方法还可以包括：基于在多个偏振程度下的所接收的光强度水平来确定偏振图像的斯托克斯参数；基于所述确定的斯托克斯参数来确定所述图像的线性偏振程度；以及基于所述确定的线性偏振程度来确定所述反射光。
所述方法还可以包括基于所识别的偏振光反射来检测所述路面上的潮湿区域并更新与所述检测的潮湿区域相对应的图像像素。
还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。还公开了一种包括计算装置的车辆。
还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令可由计算机处理器执行以执行上述方法步骤中的任一者。
附图说明
图1示出了具有一个或多个偏振相机传感器的车辆。
图2是示出图1的包括用于检测所接收的光偏振的偏振图像感测装置的示例性相机传感器的图式。
图3A至图3B是用于检测道路特征并操作车辆的示例性过程的流程图。
具体实施方式
本文公开了对传感器(诸如图像传感器)的改进，包括改进用于检测道路特征(诸如在潮湿或结冰路面上的车道标记)的技术。路面上的水层可能会改变来自路面的返回信号并降低道路特征检测的准确性。通过去除(或忽略)由路面上的水引起的反射，可以改进道路标记检测。被编程为基于图像数据检测道路特征(诸如车道标记)的车辆计算机的检测潮湿或结冰路面上的道路特征的能力可能受损或缺乏。有利的是，车辆处理系统可以被配置为从偏振相机传感器(例如，前视车辆相机传感器)接收偏振图像，并基于车辆位置、相机传感器的取向和车辆姿态来识别所接收的图像中的路面。然后，所述系统可以在偏振图像中基于从偏振图像确定的偏振方向和偏振程度识别来自所识别的路面(或路面上的水)的偏振光反射。所述处理系统还可以在识别偏振光反射时从偏振图像中去除所识别的偏振光反射，由此生成更新的偏振图像。所述处理系统可以基于所述更新的偏振图像来识别包括车道标记的道路特征。所述车辆处理系统可以被编程为致动车辆致动器(例如，转向致动器)以将车辆保持在车道中，否则所述车辆处理系统可能由于在潮湿或结冰道路上缺乏车道检测而部分受损。在一个示例中，所述处理系统可以被编程为基于车辆位置、相机传感器的取向、车辆姿态以及可能还基于所接收的地图数据来识别所接收的图像中的路面。
图1示出了车辆100。车辆100可以多种方式(例如，利用电动马达和/或内燃发动机)来提供动力。车辆100可以是陆地车辆，诸如小汽车、卡车等。车辆100可以包括处理系统110、一个或多个致动器120、一个或多个传感器130和人机界面(HMI 140)。车辆100可以具有参考点150，例如，几何中心(即，车辆100车身的纵向轴线和横向轴线相交的点)或某个其他指定点。
图1还示出了路面170。路面170可以是柏油表面和/或土路面。车辆100、自行车等可以在路面170上横穿。各种类型的道路特征(诸如车道标记180)可以涂在路面170上和/或以其他方式附连或附接到路面。车道标记180(或道路标记180)可以包括例如涂在路面170上的单实线、双实线、单虚线、行人标记和/或转弯箭头，诸如右转或左转箭头。
处理系统110是车辆100中的一个或多个电子部件的集合，其将第一数据当做输入并基于处理第一数据而提供第二数据作为输出。处理系统110包括(即，电子部件中的一者是)车辆计算机111，并且还可以包括其他电子部件，诸如电子控制模块(ECU)等，以及一个或多个专用电子电路112，即，硬件，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、片上系统(SOC)等。计算机111包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机111执行以用于执行各种操作(包括如本文所公开的操纵)的指令。专用电子电路112是针对特定用途而不是通用装置开发的集成电路。在一个示例中，专用电子电路112包括被制造用于特定操作的ASIC，例如，用于计算传感器130的所接收的图像的直方图的ASIC。在另一个示例中，专用电子电路112包括FPGA，所述FPGA是被制造为可由客户配置的集成电路。通常，在电子设计自动化中使用诸如VHDL(超高速集成电路硬件描述语言)之类的硬件描述语言来描述诸如FPGA和ASIC之类的数字和混合信号系统。例如，ASIC是基于制造前提供的VHDL编程而制造的，而FPGA内部的逻辑部件可以基于例如存储在电连接到FPGA电路的存储器中的VHDL编程来配置。在一些示例中，一个或多个处理器、一个或多个ASIC电路和/或FPGA电路的组合可以包括在芯片封装内部。
在本文档的上下文中，处理系统110被编程为执行指令或函数的声明可能意味着通用处理系统110或ECU(即，包括通用CPU)被编程为执行程序指令。另外或替代地，处理系统110被编程为执行指令或函数可能意味着电子电路112执行基于硬件描述语言编程(诸如VHDL)指定的操作，如上面所讨论的。此外，处理系统110可以被编程为执行一系列或一组步骤，其中由第一计算机或电子电路111、112执行一个或多个第一步骤并且由第二计算机或电子电路111、112执行一个或多个第二步骤。
在一个示例中，处理系统110的专用硬件可以处理从图像传感器接收的图像数据并计算每个图像像素的偏振角和/或偏振程度，而处理系统110的处理器可以被编程为从专用硬件接收数据并通过致动车辆100致动器120来导航车辆100。
处理系统110可以自主模式、半自主模式或非自主模式操作车辆100。出于本公开的目的，自主模式被限定为车辆100的推进、制动和转向中的每一者都由处理系统110控制的一种模式；在半自主模式下，处理系统110控制车辆100的推进、制动和转向中的一者或两者；在非自主模式下，操作员或乘员(即，一个或多个乘员中的一者)控制车辆100的推进、制动和转向。在非自主模式中，处理系统110可以被编程为检测车道标记180。处理系统110可以使用常规技术进行编程，以在确定车辆100正偏离当前车道时输出车道偏离警告。
在一些示例中，在自主模式中，车辆100乘员可以从车辆100HMI 140接收信息，所述信息指示乘员在检测到指定状况时(例如，当检测到用于检测诸如车道标记180之类的道路特征的一个或多个车辆100传感器130发生故障时)重新获得对车辆100推进、制动和/或转向的控制。
处理系统110可以包括编程以操作以下中的一者或多者：车辆100的制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆100的速度和/或加速度)、转向、气候控制、内部灯和/或外部灯等，以及确定处理系统110(而非人类操作员)是否以及何时控制此类操作。另外，处理系统110可以被编程为确定人类操作员是否以及何时控制此类操作。例如，处理系统110可以确定在非自主模式下，人类操作员将控制推进、转向和制动操作。
处理系统110可以包括一个以上的处理器或者例如经由如下面进一步描述的车辆100通信总线通信地耦合到一个以上的处理器，例如，包括在车辆中用于监测和/或控制各种车辆控制器的控制器等，所述各种车辆控制器例如动力传动系统控制器、制动控制器、转向控制器等。处理系统110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可以包括车辆中的总线(诸如控制器局域网(CAN)等)、和/或其他有线和/或无线机构。
经由车辆100网络，处理系统110可以向车辆中的各种装置传输消息和/或从各种装置接收消息，所述各种装置例如致动器120、HMI140等。替代地或另外地，在处理系统110包括多个装置的情况下，车辆100通信网络可用于在本公开中表示为处理系统110的装置之间的通信。如下进一步所讨论，各种电子控制器和/或传感器130可以经由车辆通信网络向处理系统110提供数据。
车辆100的致动器120经由电路、芯片或已知的可根据如适当控制信号致动各种车辆子系统的其他电子和/或机械部件来实施。可使用致动器120来控制车辆100的系统，诸如车辆100的制动、加速度和/或转向。
车辆100的传感器130可以包括已知用于经由车辆通信总线提供数据的多种装置。图1示出了示例性相机传感器130。例如，传感器130可以包括设置在车辆100中和/或车辆100上提供涵盖车辆100内部和外部的至少一些的数据的一个或多个相机传感器130、雷达、红外和/或激光雷达传感器130。所述数据可以由处理系统110通过合适的接口来接收。设置在车辆100中和/或车辆上的相机传感器130可以提供包括对象(诸如车辆100周围的其他车辆)的相对位置、尺寸和形状和/或道路170特征(例如，一个或多个车道标记180)的位置的对象数据。车辆100处理系统110可以接收对象数据和/或车道标记180位置数据，并且至少部分地基于所接收的传感器130数据在自主和/或半自主模式下操作车辆100。
可以相对于坐标系160指定对象数据和/或路面170特征(诸如车道标记180)的位置。坐标系160可以是具有例如根据GPS(全球定位系统)坐标系中的纬度、经度对指定的原点的笛卡尔坐标系。道路特征(诸如车道标记180)的一个或多个位置(即，位置坐标)可以通过(i)数学函数和/或(ii)由坐标集合指定的离散点集合来指定。例如，描述由车道标记180定义的位置集合的数学函数可以是Y＝a+bX+cX2，其中X、Y表示相对于坐标系160的纵向和横向位置坐标。因此，前述函数可以描述例如路面170上的车道标记180的曲率。在另一个示例中，可以提供车道标记180上的多个点的位置坐标；车道标记180可以通过在所提供点之间进行插值而进行更完整描述或逼近。
在本上下文中，相机传感器130的取向是在相机传感器130的视野135中穿过相机传感器130的假想线，例如，相机传感器130镜头的轴线。可以提供相对于诸如刚刚描述的3D坐标系160的取向。
车辆100姿态是车辆100相对于坐标系(例如，坐标系160)指定的侧倾、俯仰和横摆的组合。车辆100的姿态可以基于车辆100的加速、减速、转向、制动和/或装载状况而改变。当相机传感器130附接到车辆100(例如，附接到朝向道路的前挡风玻璃)时，则当车辆100姿态改变时，车辆100相机传感器130的取向可以改变。
车辆100处理系统110可以从车辆100位置传感器130(例如，GPS传感器130)接收车辆100位置数据。车辆100位置坐标包括车辆100参考点150相对于坐标系160(例如，GPS坐标系)的纵向、横向和海拔。
在本上下文中，地图数据指定路面170、建筑物和/或其他固定物理对象(诸如交通标志、桥梁等)的位置坐标。高清晰度(HD)地图可以指定表面(诸如建筑物、桥梁、护栏等的外表面)上的点和/或路面170、植被等上的点的三维(3D)位置坐标。
3D位置坐标可以在具有诸如如上所述的原点的3D笛卡尔坐标系160中指定。例如，路面170上的点的位置坐标可以由X、Y和Z坐标指定。X和Y坐标(即，水平坐标)可以是全球定位系统(GPS)坐标(即，横向坐标和纵向坐标)等，而Z坐标可以指定到位置的垂直分量，即，点距x轴的高度(或海拔)，其表示指定垂直位置(例如，海平面、地平面等)。可以基于从激光雷达传感器130接收的数据生成3D图像，所述激光雷达传感器用光束扫描区域并接收从对象的外表面广播的光束的反射。在本上下文中，区域是地面上方的3D体积，其中底部接触地面并且顶部在地表面上方，例如，在距地面50米处。因此，此3D地图可以包括对象的外表面上的点的位置坐标。
车辆100处理系统110可以被编程为基于从车辆100对象检测传感器130(诸如提供车辆100周围的表面上的点的3D位置坐标的LIDAR传感器130)接收的对象数据以及所接收的HD地图数据来定位车辆100。在本上下文中，定位包括确定车辆100位置坐标和车辆100姿态。
车辆100可以包括HMI 140，所述HMI被配置为显示从车辆100处理系统110接收的信息和/或将例如由车辆100乘员输入的信息发送到车辆100处理系统110。因此，HMI 140可以位于车辆100的内部。在一个示例中，处理系统110可以输出指示车辆100的选定操作模式(例如，自主模式)的信息。
光(或光束)的偏振可以指定偏振程度和偏振方向。另外或替代地，光的偏振可以由斯托克斯参数指定，所述斯托克斯参数包括强度、偏振程度和偏振椭圆的形状参数。在一个以上的方向上均匀振动的光波的分布被称为非偏振光。偏振光波是其中振动全部或部分地在单个平面中发生的光波。将非偏振光转换成偏振光的过程称为偏振。偏振方向被定义为平行于光波的电磁场的方向。偏振方向(即，振动方向)可以以0度与360度之间的角度指定。非偏振光包括具有随机偏振方向的许多光波(或光线)，例如日光、月光、荧光、车辆前照灯的光束等。从潮湿表面(例如，潮湿路面170)反射的光可以包括如下文讨论的偏振光波。
光可以通过穿过偏振滤光器或其他偏振材料来偏振。偏振程度是用于描述电磁波的被偏振部分的量。完全偏振的波的偏振程度(或偏振程度)为100％(即，将光波限制在一个方向上)，而非偏振波的偏振程度为0％(即，相对于光波的振动方向没有限制)。例如，已知激光发射是完全偏振的。部分偏振波可以由偏振分量和非偏振分量的组合来表示，因此具有0％至100％之间的偏振程度。偏振程度被计算为由光波的偏振分量所携带的总功率的一部分。
在本上下文中，偏振图像是从偏振相机传感器130接收的图像。偏振相机传感器130是包括光学和/或电子部件(例如，成像感测装置200，如图2所示)的数码相机，所述数码相机被配置为对偏振光进行滤波并检测所接收的光的偏振。其他滤波方法也可以用于产生偏振图像数据。偏振相机传感器130可以确定所接收的光在各种偏振方向上的偏振程度。光具有诸如亮度(或振幅)、颜色(或波长)、偏振方向和偏振程度的物理性质。例如，非偏振光可以具有在导致“低”偏振程度(即，低于指定阈值)的各个方向上(即，具有不同方向)均匀分布的光波群，并且完全偏振光可以包括具有导致“高”偏振程度(即，高于指定阈值)的一个方向的光波。在本上下文中，“低”偏振程度可以是0％至10％，并且“高”偏振程度可以被定义为90％至100％。这些物理性质中的每一者可以由偏振相机传感器130确定。偏振相机传感器130(例如，使用偏振滤波器阵列(PFA))是能够以快照方式分析光的偏振状态的成像装置。偏振相机传感器130由于它们在纳米加工过程期间引入的光学缺陷而在其响应中表现出空间变化，即，不均匀性。校准由计算成像算法完成，以针对辐射和偏振误差校正数据。
图2示出了示例性偏振相机传感器130。偏振相机传感器130通常包括将所接收的光聚焦在图像感测装置200上的镜头(未示出)。偏振图像感测装置200，诸如CCD或CMOS传感器。偏振图像感测装置200是将光转换成电信号的光电部件。从图像感测装置200输出的图像数据通常包括多个像素，例如，1兆像素。图像感测装置200可以包括多个单独的光电部件210，每个光电部件为每个图像像素生成电信号。由图像感测装置200针对每个图像像素生成的图像数据可以基于图像属性，所述图像属性包括偏振方向(或轴)、偏振程度、强度和/或色彩空间。
为了对检测到的偏振光进行滤波，可以将例如呈膜形式的偏振材料放置在图像感测装置200上和/或可以将其包括在图像感测装置200中。例如，为了产生偏光膜，可以将在相同方向上取向的微小的硫酸碘奎宁微晶嵌入在透明聚合物膜中以防止晶体的迁移和重新取向。作为另一个示例，偏振滤波器阵列(PFA)可以用于产生偏振膜。PFA可以包括金属线栅微结构、液晶、二氧化硅玻璃的波片阵列和/或本质上偏振敏感的检测器。如图2所示，每个光电部件210上的偏振材料都可以被配置为使得具有特定偏振方向(例如，0(零)度、45度、90度、270度)的光穿过偏光膜。在一个示例中，每个光电部件210生成对应于一个或多个图像像素的图像数据。在一个示例中，图像感测装置200的光电部件210可以被布置成使得每组2×2光电部件210包括0(零)度、45度、90度和270度偏光膜中的一者。然后使用已知的去马赛克技术来产生偏振图像，如下文所讨论的。另外或替代地，可以使用其他技术，诸如旋转滤波器、电光滤波器等。
所接收的图像通常包括噪声。噪声水平可以根据环境光条件和/或相机参数(诸如曝光时间、增益等)而变化。图像中的噪声量通常被指定为“噪声比”或“信噪比”(信噪比)。信噪比是与所接收的数据中的噪声水平相比指定期望信号的量度。SNR被指定为信号功率与噪声功率的比率，通常以分贝(dB)表示。比率高于1:1(大于0dB)指示比噪声更多的信号。相机传感器130参数(或相机参数)包括诸如以下的参数：(i)曝光时间，即，基于调整的快门时间，一个或多个光电成像部件210曝光的时间长度，(ii)相机增益，其控制从图像感测装置200接收的图像信号的放大。相机传感器130可以包括图像信号处理器(ISP)，所述图像信号处理器从成像传感器200接收图像数据并执行去马赛克、降噪、调整曝光时间、自动聚焦、自动白平衡、增益控制(例如，自动增益控制)等。
如上面所讨论的，图像感测装置200的光电部件210中的每一者可以检测具有特定偏振方向的光。例如，光电子部件210可以检测偏振方向为90度的光。处理系统110可以被编程为基于光电部件210的输出来生成图像。该过程通常被称为“去马赛克”。在“去马赛克”过程中，处理系统110可以组合从2x2相邻光电传感器210中的每一者接收的图像数据，并且针对4个(四个)光电部件210的集合计算所接收的光的偏振程度、强度和偏振方向，例如，假设从具有90度偏光膜的光电部件210接收的图像部分的偏振程度为45度。换句话说，考虑到像素的相对较小尺寸，可以假设在90度偏振膜上的像素处接收的光具有与在相邻像素处(即，在四个光电部件210的同一集合内)接收的光相同的45度偏振分量。从去马赛克产生的图像可以被称为去马赛克图像。
处理系统110可以被编程为基于从相机传感器130接收的数据来例如针对每个图像像素确定强度、偏振方向和偏振程度。处理系统110可以被编程为基于所接收的图像数据生成偏振图。处理系统110可以确定针对图像的每个像素的亮度集合(例如，以坎德拉为单位指定)、偏振方向(例如，0度至360度)和偏振程度(例如，0至100％)。
例如，处理系统110可以被编程为生成偏振图，所述偏振图包括图像的每个像素的偏振数据集合，诸如表1中所示。因此，偏振图可以指定是否检测到具有四个偏振方向中的每一者的偏振光，并且指定所述偏振方向中的每一者的偏振程度。
Figure BDA0002943956670000131
表1
处理系统110可以被编程为基于从相机传感器130的图像感测装置200接收的图像数据生成偏振图。另外或替代地，相机传感器130可以包括电子部件，所述电子部件生成偏振图并且将偏振图数据输出到处理系统110。因此，处理系统110可以从偏振相机传感器130接收每个像素或像素集合的偏振数据，例如，如表1所示。
光强度(或光度)I是基于光度函数(人眼灵敏度的标准化模型)在每单位立体角上由光源在特定方向上发射的波长加权功率的量度。光强度I的量度单位是坎德拉(cd)。替代地或另外基于从车辆100相机传感器130接收的数据将光强度I指定在0(零)至100％的范围内。可以基于多个偏振滤波器中的每一者的输出来单独地指定由相机传感器130接收的光的强度I。例如，处理系统110可以被编程为针对每个图像像素在多个偏振强度I(0°)、I(45°)、I(90°)、I(135°)中的每一者处确定。例如，强度I(45°)是在通过45度偏振滤波器之后接收的光的强度。换句话说，强度I(45°)指定在具有45度偏振的相应像素处接收的光的一部分的强度。总强度I总指定在任何偏振方向上在相机传感器130处接收的非偏振光和偏振光的强度。
撞击表面(例如，路面170)的光束可以被吸收、漫反射(或折射)和/或反射。漫反射和反射是众所周知的概念。光漫反射是来自表面170的光反射或其他波反射或粒子反射，使得入射在表面170上的光束以许多角度散射而不是如镜面反射的情况下仅以一个角度散射。许多常见材料(例如，混凝土、沥青等)表现出镜面反射和漫反射的混合。撞击潮湿的表面170(例如，路面170的潮湿区域195)和/或结冰的表面的光基本上被反射(即，与干燥条件下的相同表面(更倾向于漫反射光而不是反射光)相比，反射比漫反射更多)。来自潮湿区域195的反射通常被描述为镜面反射，其中入射光被反射到单个出射方向上。通常，来自路面170的水坑190的反射光是偏振的，而来自路面170的干燥区域的漫反射光是基本上非偏振的。如下文所讨论的，这种差异用于增强对由水坑190覆盖的路面170上的道路特征的检测。
由偏振图像的像素表示的总光强度I总可以包括偏振光和非偏振光强度，例如在像素m,n处的光强度I总(m,n)(即，坐标m,n表示相应像素在图像中(例如，原点在图像的左下角的像素坐标系中)的位置)。因此，像素的总强度I总可以被指定为所接收的偏振光强度IR与所接收的漫反射(或非偏振)光强度ID之和，如等式(1)所示。
I总＝ID+IR (1)
图像像素的强度I总的统计分布可以由直方图指定。如通常所理解的，直方图是图像的像素的强度I总的统计表示。换句话说，直方图示出了在图像中发现的不同特定强度I总的量，例如，所述量在0(零)％至100％强度的范围内。例如，ISP可以被配置为计算图像的直方图。另外或替代地，处理系统110可以被编程为计算图像直方图。
图像具有高动态范围(HDR)意味着图像具有来自亮区域和暗区域的足够多细节(例如，强度的统计方差超过阈值)，这有利于图像处理算法。例如，当图像中的像素的最小强度Imin与最大强度Imax之间的差值超过阈值(例如，50％)时，可以确定图像具有高动态范围。图像的最小强度Imin与最大强度Imax之间的差值可以基于环境照明条件和/或相机传感器130参数，诸如曝光时间等。在成像的背景中，如通常理解的，色彩饱和度用于描述图像的强度。“过饱和”图像的平均或均值强度超过过饱和阈值，例如，80％。“欠饱和”图像的平均或均值强度小于欠饱和阈值，例如，30％。基于图像中的每一者的强度I来确定平均或均值强度。可以基于经验方法来确定过饱和阈值和欠饱和阈值。换句话说，可以基于图像处理的结果来确定阈值，其中欠饱和和/或过饱和导致缺乏对道路特征(诸如车道标记180)的检测。
处理系统110可以被编程为确定所接收的图像中的多个像素的光强度I，基于所计算的强度I来计算所接收的图像的直方图，并且基于所接收的图像的所计算的直方图确定所接收的图像是过饱和的还是欠饱和的。处理系统110可以被编程为在确定所接收的偏振图像中的过饱和与欠饱和中的一者时修改相机参数并在修改相机参数之后接收另一偏振图像。如上面所讨论的，相机参数可以是曝光时间、相机增益等。
在一个示例中，处理系统110可以被编程为在确定所接收的图像不饱和时通过增加相机曝光时间来修改相机参数。处理系统110可以被编程为在确定所接收的图像过饱和时通过减少相机曝光时间来修改相机参数。在一个示例中，处理系统110可以被编程为修改相机参数直到所接收的图像不过饱和也不欠饱和为止。另外或替代地，ISP可以被配置为使用自动曝光、自动增益控制等来执行对相机参数的此类修改。
参考等式(2)至(3)，可以根据菲涅耳公式针对反射光确定p波的反射率RP和s波的反射率Rs。p波是具有方向平行于入射平面(垂直于成像传感器200的表面的假想平面，其中光波在假想平面内)的电场的光波。s波是具有垂直于入射平面取向的电场的光波。θ1表示角度与入射角相同的光的反射角。θ2是折射角(未示出)。折射角θ2可以基于反射角θ1和介质的折射率n来确定。在本上下文中，折射率n可以是路面170上的水坑190处的水的理想折射率1.33。
Figure BDA0002943956670000161
Figure BDA0002943956670000162
IRs表示所接收的光的s波的强度，并且IRp表示所接收的光的p波分量的强度。另外，应当注意，IRs和IRp分量也是空气和反射表面层(例如，水坑)的折射率以及反射角θ1的函数。这些值可以基于等式(2)至(3)根据p波和s波差值来确定。
使用偏振程度的基本定义来分析I总与IR之间的关系，我们可以得出以下关系。然后可以例如使用等式(4)来确定在相机传感器130处接收的光的线性偏振程度P总。此外，可以使用等式(5)来确定反射光的偏振程度。
Figure BDA0002943956670000163
Figure BDA0002943956670000164
然后，可以例如根据等式(6)来计算漫反射光的强度ID车辆100处理系统110可以被编程为使用等式(6)基于以下各项来计算漫反射强度ID：强度I(0°)、I(45°)、I(90°)、I(135°)、线性偏振程度P总以及反射光的偏振程度PR。在所引用论文的示例中，反射光的偏振程度PR可以从反射光和折射光的模拟偏振特性获得，其中空气和水的折射率是已知的。此外，PR取决于反射角，所述反射角可以基于车辆传感器(例如，车辆倾斜度)和/或在给定对镜头光学器件的了解的情况下每个像素的存储数据(例如，指示道路倾斜的地图数据)来估计。在本上下文中，相机矩阵或(相机)投影矩阵是3×4矩阵，其描述现实世界中的3D点到图像中的2D点的映射。因此，根据等式(6)，处理系统110可以被编程为基于在多个偏振程度下的所接收的光强度水平来确定偏振图像的斯托克斯参数；确定光的线性偏振程度；以及基于所确定的线性偏振程度来确定反射光。处理系统110可以被编程为通过确定偏振图像的s波分量和p波分量来确定所接收的图像中的反射光。
Figure BDA0002943956670000171
如上面所讨论的，处理系统110可以被编程为基于从相机传感器130接收的图像数据来检测道路特征，诸如车道标记180。此外，如上文所讨论，撞击潮湿或结冰路面170的光可以基本上被反射而不是漫反射。当从路面170上的位置接收的光基本上被反射时，则可能损害对诸如车道标记180之类的道路特征的检测。参考图1，车辆100处理系统110可以被配置为从偏振相机传感器130接收偏振图像，基于车辆100位置、相机传感器130的取向和车辆100姿态来识别所接收的图像中的路面170。另外或替代地，处理系统110可以被编程为基于车辆100位置、相机传感器130的取向、车辆100姿态以及所接收的地图数据来识别所接收的图像中的路面170。处理系统110可以被编程为基于从偏振图像确定的偏振方向和偏振程度在偏振图像中识别来自所识别的路面170的偏振光反射。在识别偏振光反射时，处理系统110然后可以从偏振图像中去除所识别的偏振光反射，由此生成更新的偏振图像。处理系统110然后可以从更新的偏振图像识别包括车道标记180的道路特征。
如上面所讨论的，处理系统110可以被编程为基于HD地图数据、所接收的传感器130数据(例如，LIDAR传感器130、相机传感器130等的数据)来确定车辆100姿态和位置。处理系统110可以进一步基于从车辆100的GPS传感器130接收的数据来确定车辆100的位置。HD地图数据包括路面170上的点的位置坐标。因此，基于所确定的车辆100姿态、车辆100位置、HD地图数据，处理系统110可以估计路面170上在车辆100周围的区域内(例如，在车辆100的100米的半径内)的点的相应位置。另外或替代地，处理系统110可以被编程为使用图像处理技术来检测所接收的图像中的路面170。因此，在至少一些示例中，处理系统110可以被编程为基于车辆100位置、车辆100姿态、所检测的路面170使用图像处理技术(例如，射影变换技术)来确定路面170上的点的位置坐标。
基于相机传感器130的光学性质(例如，焦点、视野135等)，处理系统110可以确定在所接收的相机传感器130图像中表示的表面(例如，道路、景观、标志、建筑物等)上的点的位置坐标。换句话说，处理系统110可以在w乘以h像素图像中确定相对于例如图像的左下角的位置(a,b)处的像素对应于路面170上相对于坐标系160具有位置坐标x,y,z的点。处理系统110可以被编程为通过基于车辆100位置、车辆100姿态和相机传感器130的取向来识别所接收的图像中表示路面170的多个像素来识别路面170。处理系统110可以被编程为基于常规技术或因素(例如，相机传感器130取向、车辆100姿态和传感器130数据)使用常规几何技术来确定真实世界中与图像中的像素相对应的点的位置坐标。在一个示例中，处理系统110可以基于指定路面170边界的HD地图数据来确定相应点是否在路面170上。另外或替代地，处理系统110可以被编程为基于图像处理技术检测所接收的图像中的路面170来确定相应点是否在路面170上。
处理系统110可以被编程为通过从偏振图像中去除所接收的反射光来确定来自路面170的漫反射(或折射)光。然后，处理系统110可以基于在更新的偏振图像(即，在去除所识别的反射光之后的图像)中表示的折射光来识别道路特征，例如，车道标记180。
如上面所讨论的，处理系统110可以被编程为识别与所检测的路面170相对应的多个图像像素。处理系统110可以被编程为使用等式(6)来确定所识别的多个图像像素中的每一者的漫反射光强度ID。
处理系统110可以被编程为通过基于所识别的偏振光反射生成去马赛克图像来更新所接收的图像，而在去马赛克时忽略(或去除)所识别的偏振光反射。处理系统110可以被编程为基于所计算的漫反射光强度ID从与路面170相对应的图像的一部分中去除偏振光反射。例如，处理系统110可以被编程为将与路面170相对应的所识别的多个像素中的每一者的光强度从所测量的总光强度I总(包括反射光和漫反射光两者的光强度)改变为漫反射光强度ID。因此，所生成的去马赛克图像缺少偏振光反射。
在又一示例中，处理系统110可以被编程为在确定例如与路面170上的区域相对应的多个图像像素的反射光强度IR与总光强度I总的比率超过阈值(例如，70％)时确定所述区域是潮湿的。例如，具有大的反射偏振光强度IR的道路像素将被分配有与具有小的反射光强度的道路像素不同的偏振角。与潮湿区域相关联的像素可以被识别，因为它们的偏振角与和路面170的不具有高强度偏振反射的其他部分相关联的像素相比是不同的。处理系统110可以被编程为基于偏振光反射来检测诸如路面170之类的潮湿区域，并且仅更新与路面170上的所检测的潮湿区域相对应的图像像素。因此，在该示例中，处理系统110可以更有效地操作以检测潮湿区域中的道路特征，因为处理系统110仅更新与路面170的潮湿区域相对应的图像像素，而不更新与整个路面170相对应的图像像素。处理系统110可以被编程为检测所接收的图像的每个像素的偏振角。例如，总强度的最大分量将确定被分配给像素的偏振角。与潮湿区域相关联的像素可以被识别，因为它们的偏振角与和道路170的不具有高强度偏振反射的其他部分相关联的像素相比是不同的。因此，处理系统110可以被编程为基于针对图像的每个像素确定的偏振角来识别道路170的潮湿区域。另外或替代地，处理系统110可以被编程为预测车道标记180是否可以被第二车辆(例如，未配备有本文公开的方法的车辆，其可能无法在潮湿区域中检测到车道标记180)识别。在预测第二车辆在潮湿区域中未检测到车道标记180(例如，由于未检测到车道标记180而导致的意外车道偏离)时，处理系统110可以估计第二车辆100的操纵。因此，车辆100处理系统110可以被编程为在预测第二车辆的意外操纵时执行动作，例如通过降低速度、变道等增加距第二车辆的距离。
处理系统110可以被编程为通过使用更新的图像来检测一个或多个道路特征，然后基于所检测的一个或多个道路特征来致动车辆100。处理系统110可以被编程为基于所检测的道路特征来致动车辆100的推进、转向和/或制动。例如，处理系统110可以被编程为基于所检测的车道标记180来致动车辆100转向以将车辆100维持在车道中。
如上面所讨论的，处理系统110可以被编程为确定图像(例如，所更新的偏振图像)的信噪比。在一个示例中，在确定所更新的偏振图像的信噪比小于阈值(例如，20dB)(即，噪声超过可能损害道路特征检测的阈值)时，处理系统110可以被编程为接收多个附加的偏振图像并且更新所接收的偏振图像中的每一者(如上文所讨论的)。此外，处理系统110可以被编程为然后通过基于所接收的多个图像中的每一者中的对应像素的光强度计算平均光强度来计算每个像素的平均光强度I总。换句话说，可以使用多个最近图像上的“移动平均”光强度I总而不是使用单个图像来检测道路特征。这种技术可以减少由图像噪声引起的问题。
图3A至图3B是用于检测道路特征并基于所检测的道路特征操作车辆100的示例性过程300的流程图。车辆100处理系统110可以被编程为执行过程300的框。如上面所讨论的，处理系统110可以包括一个或多个处理器和一个或多个专用硬件部件的组合。在一个示例中，专用硬件(例如，FPGA)可以被配置为执行过程300的一些框，而处理器可以被编程为执行过程300的一些其他框。另外或替代地，过程300的框的操作可以通过处理器和包括在处理系统110中的专用硬件的组合来执行。
参考图3A，过程300开始于框310，其中处理系统110接收地图数据。处理系统110可以被编程为从远程计算机(例如，云计算机)接收HD地图数据，所述HD地图数据包括区域(例如，城市、社区、州等)的表面上的点的3D位置坐标。替代地，如上面所讨论的，过程300可以从框315开始，因此过程300可能缺少框310。
接下来，在框310中，处理系统110从车辆100传感器130接收数据。处理系统110可以被编程为从指向车辆100外部的一个或多个偏振相机传感器130(例如，前视和/或后视)接收的偏振图像数据。处理系统110可以被编程为基于所接收的地图数据和车辆100传感器130数据来定位车辆100(即，确定车辆100位置坐标和车辆100姿态)。另外或替代地，处理系统110可以被编程为基于车辆100姿态、车辆100位置和从偏振相机传感器130接收的数据来定位车辆100。
接下来，在框320中，处理系统110识别所接收的偏振图像中的路面170。处理系统110可以被编程为识别所接收的图像中与路面170上的点相对应的像素。处理系统110可以基于车辆100位置和车辆100姿态使用图像处理技术(例如，射影变换)来识别路面上的点。另外或替代地，处理系统110可以被编程为基于所接收的地图数据(例如，HD地图数据、车辆100姿态和车辆100位置)来识别路面170上的点。
接下来，在判定框325中，处理系统110确定所接收的图像是(i)过饱和的还是欠饱和的或者(ii)没有过饱和也没有不饱和。处理系统110可以被编程为计算所接收的图像的直方图，并且基于所确定的直方图来确定图像是过饱和的还是欠饱和的。如果处理系统110确定所接收的偏振图像是过饱和的或不饱和的，则过程300返回到框315；否则，过程300前进到框330。
在框330中，处理系统110更新所接收的偏振图像。处理系统110可以被编程为通过去除所接收的偏振图像中的偏振光反射来更新偏振图像。如上面所讨论的，处理系统110可以被编程为从图像的多个像素(例如，与路面相对应的像素)中去除偏振光反射，然后通过对所更新的图像像素进行去马赛克来生成更新的图像。
转到图3B，接下来，在判定框340中，处理系统110例如基于所计算的信噪比来确定图像中的噪声水平是否超过指定阈值。如果处理系统110确定噪声水平超过指定阈值，则过程300前进到框345；否则，过程300前进到框355。
在框345中，处理系统110从偏振相机传感器130接收一个或多个附加的偏振图像。如上文所讨论的，处理系统110可以被编程为通过从另外接收的图像中的每一者中去除偏振光反射来更新另外接收的图像。
在框345之后，在框350中，处理系统110计算多个接收和更新的图像的平均值。处理系统110可以被编程为通过基于所接收的多个图像中的每一者中的对应像素的光强度计算平均光强度来计算每个像素的平均光强度I总。
接下来，在可以从判定框340另外到达的框355中，处理系统110将道路特征检测算法(例如，车道标记检测算法)应用于所更新的图像数据。处理系统110可以被编程为使用图像处理技术来检测路面170上的道路特征。处理系统110可以确定车道标记180相对于坐标系160的位置坐标。
接下来，在判定框360中，处理系统110确定是否检测到道路特征，例如，车道标记180。如果处理系统110确定检测到诸如车道标记180之类的道路特征，则过程300前进到框365；否则，过程300结束，或者替代地返回到框310，但是图3A至图3B中未示出。
在框365中，处理系统110基于所检测的道路特征来引起动作。例如，处理系统110可以被编程为基于所检测的车道标记180来致动车辆100转向致动器120以将车辆100保持在车道中，例如车道的左侧和/或右侧。在框365之后，过程300结束，或替代地返回到框310，但是图3A至图3B中未示出。
如本文所讨论的计算装置通常各自包括可由一个或多个计算装置(诸如上文所识别出的那些计算装置)执行并且用于执行上述过程的框或步骤的指令。可根据使用各种编程语言和/或技术创建的计算机程序来编译或解译计算机可执行指令，所述各种编程语言和/或技术单独地或组合地包括但不限于Intercal、JavaTM、C、C++、Visual Basic、JavaScript、Perl、Python、HTML等。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行包括本文所述的过程中的一者或多者的一个或多个过程。可使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。此类介质可采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括动态随机存取存储器(DRAM)，其通常构成主存储器。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或者计算机可读取的任何其他介质。
关于本文所述的介质、过程、系统、方法等，应当理解，尽管已经将此类过程等的步骤描述为按照某个有序序列发生，但是此类过程可在所描述的步骤以本文所述的顺序之外的顺序执行的情况下来实践。还应当理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所述的某些步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例的目的而提供，而决不应当被解释为限制所公开的主题。
因此，应当理解，包括以上描述和附图以及所附权利要求的本公开意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。本发明的范围不应参考以上描述来确定，而应参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总而言之，应当理解，所公开的主题能够进行修改和变化。
根据本发明，提供了一种处理系统，所述处理系统具有处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：从偏振相机传感器接收偏振图像；基于车辆位置、所述相机传感器的取向和车辆姿态来识别所述接收的图像中的路面；当在所述偏振图像中基于从所述偏振图像确定的偏振方向和偏振程度来识别来自所述识别路面的偏振光反射时，从所述偏振图像中去除所述识别的偏振光反射，由此生成更新的偏振图像，包括基于所述识别的偏振光反射生成去马赛克图像，其中在去马赛克时忽略所述识别的偏振光反射；以及基于所述更新的偏振图像来识别包括车道标记的道路特征。
根据一个实施例，用于识别所述路面的指令包括用于进行以下操作的指令：基于所述车辆位置、所述车辆姿态和所述相机的所述取向来识别所述接收的图像中表示所述路面的多个像素。
根据一个实施例，所述指令还包括用于进行以下操作的指令：确定所述接收的图像中的多个像素的强度；基于所述确定的强度来计算所述接收的图像的直方图；基于所述接收的图像的所述计算的直方图来确定所述接收的图像是过饱和的还是欠饱和的；以及在确定所述接收的偏振图像中存在过饱和与欠饱和中的一者时，修改相机参数并基于所述修改的相机参数来接收第二偏振图像。
根据一个实施例，用于修改所述相机参数的指令包括用于进行以下操作的指令：在确定所述接收的图像欠饱和时增加相机曝光时间。
根据一个实施例，用于修改所述相机参数的指令包括用于进行以下操作的指令：在确定所述接收的图像过饱和时减少相机曝光时间。
根据一个实施例，用于识别所述接收的图像中的所述路面的指令是进一步基于地图数据。
根据一个实施例，所述道路特征包括单实线、双实线、单虚线和行人标记中的至少一者。
根据一个实施例，所述指令还包括用于进行以下操作的指令：在确定所述更新的图像的噪声比超过阈值时，(i)忽略所述接收的偏振图像，(ii)接收第二偏振图像，以及(iii)基于更新的第二偏振图像识别所述道路特征。
根据一个实施例，所述指令还包括用于进行以下操作的指令：通过从所述偏振图像中去除所述接收的偏振光反射并基于所述更新的偏振图像中表示的折射光识别所述道路特征来确定来自所述路面的折射光。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于在多个偏振程度下的所接收的光强度水平来确定偏振图像的斯托克斯参数；基于所述确定的斯托克斯参数来确定所述图像的线性偏振程度；以及基于所述确定的线性偏振程度来确定所述反射光。
根据一个实施例，用于确定所述反射光的指令包括用于进行以下操作的指令：确定所述偏振图像的s波分量和p波分量。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于检测到的道路特征致动所述车辆。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于所识别的偏振光反射来检测所述路面上的潮湿区域并更新与所述检测的潮湿区域相对应的图像像素。
根据本发明，一种方法包括：从偏振相机传感器接收偏振图像；基于车辆位置、所述相机传感器的取向和车辆姿态来识别所述接收的图像中的路面；当在所述偏振图像中基于从所述偏振图像确定的偏振方向和偏振程度来识别来自所述识别路面的偏振光反射时，从所述偏振图像中去除所述识别的偏振光反射，由此生成更新的偏振图像，包括基于所述识别的偏振光反射生成去马赛克图像，其中在去马赛克时忽略所述识别的偏振光反射；以及基于所述更新的偏振图像来识别包括车道标记的道路特征。
在本发明的一个方面，所述方法包括通过基于所述车辆位置、所述车辆姿态和所述相机的所述取向来识别所述接收的图像中表示所述路面的多个像素来识别所述路面。
在本发明的一个方面，所述方法包括进一步基于地图数据来识别所述接收的图像中的所述路面。
在本发明的一个方面，所述道路特征包括单实线、双实线、单虚线和行人标记中的至少一者。
在本发明的一个方面，所述方法包括通过从所述偏振图像中去除所述接收的偏振光反射并基于所述更新的偏振图像中表示的折射光识别所述道路特征来确定来自所述路面的折射光。
在本发明的一个方面，所述方法包括：基于在多个偏振程度下的所接收的光强度水平来确定偏振图像的斯托克斯参数；基于所述确定的斯托克斯参数来确定所述图像的线性偏振程度；以及基于所述确定的线性偏振程度来确定所述反射光。
在本发明的一个方面，所述方法包括基于所识别的偏振光反射来检测所述路面上的潮湿区域并更新与所述检测的潮湿区域相对应的图像像素。

Claims (15)

1.一种方法，其包括：
从偏振相机传感器接收偏振图像；
基于车辆位置、所述相机传感器的取向和车辆姿态来识别所述接收的图像中的路面；
当在所述偏振图像中基于从所述偏振图像确定的偏振方向和偏振程度来识别来自所述识别路面的偏振光反射时，从所述偏振图像中去除所述识别的偏振光反射，由此生成更新的偏振图像，包括基于所述识别的偏振光反射生成去马赛克图像，其中在去马赛克时忽略所述识别的偏振光反射；以及
基于所述更新的偏振图像来识别包括车道标记的道路特征。
2.如权利要求1所述的方法，其中识别所述路面还包括基于所述车辆位置、所述车辆姿态和所述相机的所述取向来识别所述接收的图像中表示所述路面的多个像素。
3.如权利要求1所述的方法，其还包括：
确定所述接收的图像中的多个像素的强度；
基于所述确定的强度来计算所述接收的图像的直方图；
基于所述接收的图像的所述计算的直方图来确定所述接收的图像是过饱和的还是欠饱和的；以及
在确定所述接收的偏振图像中存在过饱和与欠饱和中的一者时，修改相机参数并基于所述修改的相机参数来接收第二偏振图像。
4.如权利要求3所述的方法，其中修改所述相机参数还包括在确定所述接收的图像欠饱和时增加相机曝光时间。
5.如权利要求3所述的方法，其中修改所述相机参数还包括在确定所述接收的图像过饱和时减少相机曝光时间。
6.如权利要求1所述的方法，其还包括进一步基于地图数据来识别所述接收的图像中的所述路面。
7.如权利要求1所述的方法，其中所述道路特征包括单实线、双实线、单虚线和行人标记中的至少一者。
8.如权利要求1所述的方法，其还包括在确定所述更新的图像的噪声比超过阈值时，(i)忽略所述接收的偏振图像，(ii)接收第二偏振图像，以及(iii)基于更新的第二偏振图像识别所述道路特征。
9.如权利要求1所述的方法，其还包括通过从所述偏振图像中去除所述接收的偏振光反射并基于所述更新的偏振图像中表示的折射光识别所述道路特征来确定来自所述路面的折射光。
10.如权利要求9所述的方法，其还包括：
基于在多个偏振程度下的所接收的光强度水平来确定所述偏振图像的斯托克斯参数；
基于所述确定的斯托克斯参数来确定所述图像的线性偏振程度；以及
基于所述确定的线性偏振程度来确定所述反射光。
11.如权利要求9所述的方法，其中确定所述反射光还包括确定所述偏振图像的s波分量和p波分量。
12.如权利要求1所述的方法，其还包括基于检测到的道路特征致动所述车辆。
13.如权利要求1所述的方法，其还包括基于所识别的偏振光反射来检测所述路面上的潮湿区域并更新与所述检测的潮湿区域相对应的图像像素。
14.一种计算装置，其被编程为执行如权利要求1至13中任一项所述的方法。
15.一种计算机程序产品，其包括计算机可读介质，所述计算机可读介质存储指令，所述指令能够由计算机处理器执行以执行如权利要求1至13中任一项所述的方法。
CN202110188080.8A 2020-02-24 2021-02-18 道路标记检测 Pending CN113297895A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/798,956 US11367292B2 (en) 2020-02-24 2020-02-24 Road marking detection
US16/798,956 2020-02-24

Publications (1)

Publication Number Publication Date
CN113297895A true CN113297895A (zh) 2021-08-24

Family

ID=77176238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188080.8A Pending CN113297895A (zh) 2020-02-24 2021-02-18 道路标记检测

Country Status (3)

Country Link
US (1) US11367292B2 (zh)
CN (1) CN113297895A (zh)
DE (1) DE102021103777A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019202628A1 (ja) * 2018-04-16 2019-10-24 三菱電機株式会社 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
US11781913B2 (en) * 2020-04-24 2023-10-10 Meta Platforms Technologies, Llc Polarimetric imaging camera
CN115769250A (zh) * 2020-07-15 2023-03-07 安致尔软件公司 用于机动车的视觉系统
US11418762B2 (en) * 2020-09-11 2022-08-16 GM Global Technology Operations LLC Imaging system and method
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
DE102022206404A1 (de) * 2021-07-19 2023-01-19 Robert Bosch Engineering And Business Solutions Private Limited Ein System, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, und ein Verfahren dafür

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2752113B2 (ja) * 1988-11-28 1998-05-18 株式会社デンソー 車両走行位置表示装置
JP2010064531A (ja) * 2008-09-08 2010-03-25 Toyota Central R&D Labs Inc 白線検出装置
DE102009026463A1 (de) 2009-05-26 2010-12-09 Robert Bosch Gmbh Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP6417666B2 (ja) 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
US10395113B2 (en) * 2014-01-22 2019-08-27 Polaris Sensor Technologies, Inc. Polarization-based detection and mapping method and system
WO2016103469A1 (ja) * 2014-12-26 2016-06-30 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
JP6550101B2 (ja) * 2017-07-13 2019-07-24 Ｊｆｅテクノリサーチ株式会社 膜厚測定方法及び膜厚測定装置

Also Published As

Publication number Publication date
US11367292B2 (en) 2022-06-21
US20210264169A1 (en) 2021-08-26
DE102021103777A1 (de) 2021-08-26

Similar Documents

Publication Publication Date Title
US11367292B2 (en) Road marking detection
JP7256920B2 (ja) Ｌｉｄａｒシステム及び方法
US8077921B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
US20240056565A1 (en) Identifying Defects in Optical Detector Systems Based on Extent of Stray Light
CN113673282A (zh) 目标检测方法和装置
CN110032180A (zh) 激光雷达定位
CN105190288B (zh) 用于在白天有雾时确定视距的方法和设备
US10836356B2 (en) Sensor dirtiness detection
CN113985428A (zh) 用于操作交通工具上的LiDAR传感器的方法和系统
US11021159B2 (en) Road surface condition detection
US11619722B2 (en) Vehicle lidar polarization
JP7410932B2 (ja) ライダーセンサーを取り付けられた自動車両のための道路検出の方法
CN113227838A (zh) 车辆用灯具及车辆
US20230134302A1 (en) Vehicle sensor occlusion detection
CN116125356A (zh) 自主载具应用中传感器的校准
US11897384B2 (en) System and method for vehicle lighting-based roadway obstacle notification
CN111458723A (zh) 对象检测
JP7207366B2 (ja) 車載表示システム
WO2022133986A1 (en) Accuracy estimation method and system
JP2022174001A (ja) デプスを推定するためにフィルタ及び機械学習を使用する改善されたカメラシステムのためのシステム及び方法
JP5857528B2 (ja) 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法
CN116878658A (zh) 一种基于透明窗的去散射成像系统
CN117129002A (zh) 一种提高行车安全性的车辆导航系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination