CN102668540B - 成像设备、车载成像系统、路面外观检测方法以及目标检测设备 - Google Patents

成像设备、车载成像系统、路面外观检测方法以及目标检测设备 Download PDF

Info

Publication number
CN102668540B
CN102668540B CN201080058630.4A CN201080058630A CN102668540B CN 102668540 B CN102668540 B CN 102668540B CN 201080058630 A CN201080058630 A CN 201080058630A CN 102668540 B CN102668540 B CN 102668540B
Authority
CN
China
Prior art keywords
polarization
image
line
polarization ratio
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080058630.4A
Other languages
English (en)
Other versions
CN102668540A (zh
Inventor
李雪
横田聪一郎
平井秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN102668540A publication Critical patent/CN102668540A/zh
Application granted granted Critical
Publication of CN102668540B publication Critical patent/CN102668540B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种成像设备，该成像设备包括：安装在车辆上的成像单元，用于获取有车辆正在行驶的道路表面的垂直极化图像和水平极化图像；极化比率图像生成单元，用于基于垂直极化图像和水平极化图像，生成极化比率图像并计算极化比率信息，所述极化比率信息表示极化比率图像的像素的极化比率；以及路边结构检测单元，用于基于极化比率图像的极化比率信息，检测形成于道路表面和/或路边结构上的平面线并将道路表面和/或路边结构进行分割，所述路边结构紧邻所述道路表面并与所述道路表面成一定角度。

Description

成像设备、车载成像系统、路面外观检测方法以及目标检测设备
技术领域
本发明涉及成像设备、包括成像设备的车载成像系统、路面外观检测方法以及目标检测设备
背景技术
存在一种车辆控制系统，利用包括例如车载摄像头等成像系统能够识别路上白线（或黄线）的位置，并控制驾驶来将车辆保持在交通线内，并且由此防止例如由于车辆跨过中心线而导致的碰撞或滑离路面等交通事故。
在这个车辆控制系统内，安装在车辆上的白线识别设备利用CCD摄像机等成像单元获取车辆前面的道路的图像，并且基于对应于具有高亮度水平的白线的图像部分的事实检测白线。例如，对图像执行差分处理和二值化来提取边缘（或者表示边缘的点的序列），并且确定提取的边缘是否是白线。在现有的方法中，对提取的边缘执行线检测技术的霍夫变换来确定白线的位置。
日本专利申请JP2010-64531公开了一种成像系统，该成像系统通过排列在车辆垂直方向上且具有不同极化方向的极化滤波器获取车辆前面区域的图像。甚至当道路表面反射太阳光时，上述公开的图像系统也能稳定地检测白线。
由上述公开的成像系统获取的车辆前面的道路表面的图像包括对应于极化滤波器的多个扫描线区域。成像系统的白线检测单元通过检测扫描线区域来检测道路表面的白线，在扫描线区域内像素的亮度水平大于阈值。
日本专利申请JP11-175702公开了用于稳定地检测例如道路图像的白线的线的白线检测方法而不管运行环境或成像环境。在公开的方法中，获取具有不同曝光水平的两个道路图像。例如，当车辆在隧道中，通过模板匹配技术基于亮度差使用一个具有高曝光水平的道路图像检测白线。
JP11-175702也公开了一种防止将水坑误识别为白线的方法。在此方法中，得到垂直极化图像和水平极化图像，计算垂直极化图像和水平极化图像之间的差异来确定入射光是漫射光还是镜面散射光，并且移除由水坑导致的镜面散射光。
然而，通过上述方法，需要得到两个图像，例如垂直极化图像和水平极化图像。如果在自动传感器系统中使用上述方法，就需要摄像机附加有控制极化滤波器的选择的机制。由此，上述方法增加了传感器系统的成本。
因此，在现有技术中，白线检测设备典型地具有复杂的配置。同样，在现有技术中，日益增加的检测精度增加了图像处理的负载，并且降低图像处理负载就会降低检测的精度。此外，在现有技术中，很难正确地在例如多云天气或隧道内这种进入成像设备的光强度变得不充足的成像环境下，在道路图像中检测例如白线等线。
对于车载成像系统，如何在道路图像中精确地检测白线是一个需要解决的重要问题。然而，在现有的技术中，例如在下面的情况下很难精确地检测白线的位置：
（1）当白线在阴影中
在此情形下，由于白线和道路表面之间的亮度水平的差很小，因此很难提取白线的边缘。
（2）当道路表面背光且反光
在此情形下，由于白线和反射太阳光的道路表面之间的亮度水平的差很小，因此很难提取白线的边缘。
（3）当在下雨或多云天气
在此情形下，由于白线和道路表面之间的亮度水平的差很小，因此很难提取白线的边缘。
（4）下雨以后
在下雨以后，由于道路表面是湿的且反光，以及在道路表面有水坑，因此很难提取白线的边缘。
（5）当在白线外面有道路路肩或沟
道路路肩或沟的边缘被误识别为白线的边缘。
（6）当在道路上有修复的部分
道路的修复部分被误识别为白线的边缘。
为了在道路上安全地驾驶，以及检测例如道路的中心线和边线（也可以包括例如禁止掉头（NOU-TRUN）线等黄线）的白线，需要正确地检测道路边缘，也即道路和与道路表面相邻并倾斜成一定角度的路边结构（例如中心隔离带、边墙、边石、植物或者斜坡）的边界，与道路表面相邻并倾斜成一定角度。
通常来讲，道路表面由沥青构成并具有光反射率，该光反射能力极大地不同于由树脂材料构成的白线的光反射率。因此，能够基于上述的亮度水平检测白线。然而，与道路表面相邻并倾斜成一定角度的边墙等路边结构由混凝土、砖、土或植物等构成，并且通常具有与道路表面相同的光反射率。因此，与白线相比，难于精确地检测路边结构。
特别是在照射光强度不充分的成像环境中（例如在光照或隧道中），更加难于精确地检测路边结构。
甚至使用垂直极化图像和水平极化图像之间的差异的方法，由于该方法也是基于亮度水平的差异的，因此也难于提高检测道路边缘的精度。
为了提高现有技术中基于亮度水平的差异的检测方法的检测精度，需要利用包括多个摄相机的立体光学系统距离检测机制。然而，这会使得设备配置复杂化并增加图像处理的负载。
发明内容
在本发明的一个方面，提供一种成像设备，该成像设备包括：安装在车辆上的成像单元，用于获取有车辆正在行驶的道路表面的垂直极化图像和水平极化图像；极化比率图像生成单元，用于基于垂直极化图像和水平极化图像，生成极化比率图像并计算极化比率信息，所述极化比率信息表示极化比率图像的像素的极化比率；以及路边结构检测单元，用于基于极化比率图像的极化比率信息，检测形成于道路表面和/或路边结构上的平面线并将道路表面和/或路边结构进行分割，所述路边结构紧邻所述道路表面并与所述道路表面成一定角度。
本发明的一个方面提供一种目标检测设备，所述目标检测设备用于获取检测对象在成像区域中的图像，并用于检测与所获取的图像中的检测对象对应的图像区域，所述目标检测设备包括：成像单元，用于接收在从成像区域中的目标反射的光中包括的第一极化光和第二极化光，并获取第一极化光的第一极化图像和第二极化光的第二极化图像，第一极化光和第二极化光具有不同的极化方向；亮度计算单元，用于将第一和第二极化图像中的每一个划分为多个处理区域，并计算表示每个处理区域的第一和第二极化图像的亮度水平的总和的综合亮度水平；极化比率计算单元，用于计算极化比率，所述极化比率表示第一和第二极化图像的亮度水平之间的差异与每个处理区域的综合亮度水平的比率的极化比率；极化比率图像生成单元，用于基于极化比率计算单元计算出的所有处理区域的极化比率来生成极化比率图像；车道线候选点检测单元，用于基于极化比率在道路表面上检测用于划分通车车道的车道线的车道线候选点；道路表面形状估算单元，基于极化比率来估算道路表面的形状；车道线查找区域确定单元，用于基于估算出的道路表面的形状来确定车道线查找区域；以及车道线检测单元，用于基于在所确定的车道线查找区域中的车道线候选点，检测车道线。
附图说明
图1是说明本发明实施例的车载成像系统的配置的方框图；
图2是表示控制处理的流程图；
图3A是说明极化比率图像的图；
图3B是说明图3A的极化比率图像的扫描处理的图；
图4是说明具有不同极化比率的高速公路上的点的图；
图5是说明极化比率和频率之间关系的图表；
图6是说明下雨天气中的采样图像的极化比率的图表；
图7是说明晴天天气中的采样图像的极化比率的图表；
图8是表示检测白线边缘的处理的流程图；
图9是表示检测道路边缘的处理的流程图；
图10是说明用于检测具有两条白线的道路的道路边缘的扫描处理的图；
图11是说明用于检测具有一条白线的道路的道路边缘的扫描处理的图；
图12A和12B是说明利用先前的图像数据来检测没有白线的道路的道路边缘的扫描处理的图；
图13A和13B是说明利用图像中心的极化比率来检测没有白线的道路的道路边缘的扫描处理的图；
图14A和14B是说明利用先前图像数据来检测具有不连续白线的道路的道路边缘的扫描处理的图；
图15A和15B是说明利用图像中心的极化比率来检测白线的端点在中间的道路的道路边缘的扫描处理的图；
图16是说明出现阴影的路面的扫描处理的图；
图17A和17B是用于描述极化比率图像和亮度图像之间比较的差异的摄制图像；
图18A和18B是表示根据仰角和光线方向而变化的极化比率的图；
图19是用于描述照亮道路表面的阴影区域的天空光线与入射角没有相关性；
图20A是极化比率图像以及图20B是背光和反光的道路表面的单一亮度图像；
图21A是极化比率图像以及图21B是多云天气拍摄的单一亮度图像；
图22A是极化比率图像以及图22B是下雨后湿的道路表面的单一亮度图像；
图23A是极化比率图像以及图23B是白线的外面出现边墙的道路的单一亮度图像；
图24A至24D是说明检测车道线的处理；
图25A是极化比率图像以及图25B是车辆前面的道路表面的单一亮度图像；
图26是检测到的车道线的边缘的单一亮度图像；
图27是通过标记处理检测到的道路表面的形状的单一亮度图像；
图28是基于道路表面的宽度和倾斜角确定车道线查找区域的成像图像；
图29是在车道线查找区域内检测到的车道线的边缘上执行霍夫变换而近似的车道线的形状的图像；
图30是说明本发明另一实施例的车载成像系统的配置的方框图；
图31是说明控制处理的流程图；
图32是说明成像单元的示例的图；
图33是说明成像单元的另一个示例的图；
图34是说明成像单元的另一个示例的图；
图35是说明成像单元的另一个示例的图；
图36是说明成像单元的另一个示例的图；
图37是说明成像单元的另一个示例的图；
图38是说明检测车道线的候选点的处理的流程图；
图39是示出由道路表面形成估算单元执行的处理的流程图；
图40是基于道路表面的特性而提取的道路表面的连接分量的二值极化比率图像；
图41是示出确定道路表面条件的处理的流程图。
具体实施方式
本发明的基本技术描述如下。
当光线以一定角度进入两个具有不同折射率的物质之间的表面时，平行于入射平面的P-极化分量的反射率不同于与入射平面垂直的S-极化分量的反射率。P-极化分量在某个角度（布儒斯特（Brewster）角）降低至零并且随后增加。于此同时，S-极化分量单调递增。
由于P-极化分量和S-极化分量具有不同的反射特性，由下面的等式2表示的极化率（极化角、极化差异或极化差异率）也根据入射角和反射系数而变化。
极化率=（P-极化分量-S-极化分量）/（P-极化分量+S-极化分量）
.....等式2
极化率根据反射系数、光源照射到目标的入射角以及目标到摄像机的光的出射角而变化。
通常来讲，道路表面由沥青构成。同时，位于与道路表面相邻并倾斜成一定角度的路边结构由不同于沥青的混凝土、植物或土等构成。同样，例如形成于道路表面的白线等的平面线也由不同于沥青的材料构成。
由于不同材料具有不同反射系数，道路表面的极化比率不同于线或路边结构的极化比率。不同于亮度差异，入射光的强度不会极大地影响极化比率的差异。因此，利用极化比率图像能够检测道路表面和线以及路肩（道路边缘）之间的边界，该边界是路边结构的边缘。
路边结构位于与道路表面相邻并倾斜成一定角度的位置。当物体表面的法线方向不同时，光源到物体的入射角和物体到摄像机的出射角也变得不同。结果，道路表面和相邻区域（路边结构）之间的极化比率变得不同。
这也表示能够检测作为与道路表面的路边结构的边缘（边界）相邻的路肩（道路边缘）。道路表面和路边结构之间由于角度的差异而产生了极化比率的差异，以及由于材料的差异而产生了极化比率的差异，因此该方法尤其提高了检测路边的边缘的精度。
因此，基于材料和角度的差异并使用极化比率图像，能够检测道路表面和线之间的边界以及道路表面和路边结构之间的边界。
如上面的等式2所示，通过对P-极化分量和S-极化分量求和而归一化P-极化分量和S-极化分量之间的差异，从而求得极化比率。因此，甚至在亮度差很小的黑的环境下，使用极化比率图像也能够检测道路边缘。
下面将参照附图描述本发明优选的实施例。
图1是说明本发明实施例的车载成像系统10的配置（硬件配置）的方框图。
安装在车辆上的极化摄像机12作为成像单元使用。极化摄像机12拍摄道路外观的图像（在行驶方向的车辆前面的场景，即，前视图），车辆行驶在该道路上并获取垂直极性分量（以后称为S-分量）、水平极性分量（以后称为P-分量）以及包括S-极化分量和P-极化分量的原始极化图像数据。
获取的水平极性图像数据存储在存储器1中并且获取的垂直极性图像数据存储在存储器2中。
水平极性图像数据和垂直极性图像数据被发送到单一亮度信息处理单元14和极化比率信息处理单元16，其中，单一亮度信息处理单元14作为亮度信息计算单元使用，极化比率信息处理单元16作为极化比率信息产生单元使用。极化比率信息处理单元16产生极化比率图像并基于P-分量和S-分量计算表示极化比率图像的像素的极化比率的极化比率信息。
单一亮度信息处理单元14产生单一亮度图像并基于P-分量和S-分量计算表示产生的单一亮度图像的亮度水平的亮度信息。
极化比率信息处理单元16利用下面的等式1计算表示极化比率的极化比率信息，并且由此获得极化比率信息图像数据。极化比率表示极化分量之间的比率并能够通过下面的等式2计算得到。
极化比率信息处理单元16也通过下面的等式3产生亮度信息图像数据并将其输出。
极化比率=P-极化分量/S极化分量.....(等式1)
极化比率=(P-极化分量-S极化分量)/(P-极化分量+S极化分量)
.....(等式2)
亮度数据=（P-极化分量+S极化分量）.....(等式3)
利用白线检测单元18作为线检测单元使用并基于单一亮度信息处理单元14计算的亮度信息检测道路表面的白线（白线区域）。利用道路边缘检测单元20作为路边结构检测单元使用，并且基于由白线检测单元18获取的白线信息和由极化比率信息处理单元16获取的极化比率信息检测道路边缘。
由白线检测单元18检测的白线和道路边缘检测单元20检测的道路边缘被显示在显示单元22上，该显示单元22可以例如CRT或液晶显示器等驾驶员容易看到的方式实施。由道路边缘检测单元20获取的数据可发送到车辆控制单元24来控制车辆。
存储器1、存储器2、单一亮度信息处理单元14、极化比率信息处理单元16、白线检测单元18以及道路边缘检测单元20组成图像处理单元26。
极化摄像机12、图像处理单元26以及显示单元22组成车载成像系统10。极化射线机12和图像处理单元26组成成像设备11。
在本实施例的车载成像系统10中，极化摄像机12、图像处理单元26以及显示单元22全部都可安装在车辆上。可替代的，仅有极化摄像机12能安装在车辆上，图像处理单元26和显示单元22可安装在远程的位置，由此驾驶员以外的人能够客观地监控车辆的行驶条件。
本实施例的极化摄像机12配置为能够拍摄水平极化图像和垂直极化图像。可替代的，能够单独提供拍摄水平极化图像的摄像机和拍摄垂直极化图像的极化摄像机。
下面参考图2描述车载成像系统10的操作。
由极化摄像机12获取车辆前面的道路表面的水平极化图像（P-分量）、垂直极化图像（S-分量）以及包括P-分量和S-分量的原始极化图像数据。接着，利用上述的等式2和3并基于P-分量、S-分量以及原始极化图像数据获得极化比率信息（极化比率图像）。
基于获得的亮度信息并根据后面描述的方法检测白线的边缘（白线边缘）。在检测到的白线内的像素的极化比率被设置为扫描的参考极化比率。组成极化比率图像的各个像素具有极化比率。道路边缘检测单元20通过光束扫描极化比率信息处理单元16产生的极化比率图像的像素的每个线（扫描线）。扫描线表示在显示器上由电子光束扫描的像素的水平行（从左端到右端）。
沿右向或左向顺序地处理每个扫描线的像素。将作为参考像素的、在相同扫描线上的像素的极化比率与对应的参考极化比率相比较。如果像素的极化比率和参考极化比率之间的差异小于预定的阈值，则处理相同扫描线上的下一个像素。同时，如果差异大于或等于该阈值，则该像素被检测为表示道路边缘的点（道路边缘点）。
在本实施例中，将白线内部的像素（参考像素）的极化比率作为扫描的参考极化比率使用来降低由前面的车辆、路边的树或建筑物等产生的阴影的影响，从而阻止道路边缘的误识别。可替代的，各个扫描线中心的像素（极化图像的中心）的极化比率可作为参考极化比率来检测道路边缘。
当检测白线边缘和道路边缘时，从图像（屏幕）的底端（在这里图像更可靠）到图像的顶端处理（扫描）扫描线（也即，在屏幕的x轴方向或垂直方向）。
在检测到一个屏幕（图像）内表示白线边缘的点（白线边缘点）和表示道路边缘的点（道路边缘点）后，通过形状逼近获得近似于白线边缘点和道路边缘点的曲线。由道路边缘检测单元20获得近似曲线，该道路边缘检测单元20还作为近似曲线获得单元使用。
可使用例如最小二乘法、霍夫变换或模型等式等进行形状逼近。当通过形状逼近获得近似曲线时，将高的权值赋予可靠的白线边缘点和在道路图像的下面部分中检测的道路边缘点。通过该方法，甚至如果在道路图像的上面的部分没有正确地检测白线边缘点和道路边缘点，而只要在道路图像的下面的部分正确地检测白线边缘点和道路边缘点，也能恰当地识别白线和道路边缘。
当实时检测到白线和道路边缘时，如果在一个或多个先前获得的帧或图像（极化图像）中发现相似的白线和相似的道路边缘，则确定检测到的白线和道路边缘时可靠的。基于前一帧中的白线的位置，在下一帧中查找白线边缘和道路边缘并绘制线。如果在图像的五个帧中都没有检测到白线边缘的位置和道路边缘的位置，则再一次从图像的下面部分的扫描线的中心开始查找。检测结果可用于车辆控制或用于给驾驶员以容易看到的方式在显示器上显示白线和道路边缘。
下面将参考图3A和3B描述检测白线和道路边缘的扫描处理。
当检测白线边缘和道路边缘时，在x-轴方向上从图像的底部开始处理（扫描）扫描线BL，图像的底部中的图像是比图像的顶部中的图像的更加可靠的图像。如图3B所示，从每个扫描线的中心CT到图像的右边或左边处理像素，从而在道路表面RF的右侧和左侧检测白线WL和道路边缘RE。在图3A和图3B中，30表示显示表面以及32表示车辆。
下面将参考图4-7描述100个采样图像的极化比率。图4所示为高速公路的道路表面的图像。如图6和图7所示，在下雨天气和晴天，左边道路边缘RE的区域（道路边缘区域）内的极化比率很大地不同于左边白线WL的区域内的极化比率。因此，在道路边缘区域和道路表面区域内的极化比率互不相同。
这使得能够检测由不同于道路表面和与道路表面成一定角度的路边结构的材料构成的线，该道路表面在利用单一亮度图像时是不可测的。
图5是表示在图4的P1（左边道路边缘的点）、P2（在左边白线内部并靠近白线，也即在通车车道左边）、P3（通车车道的中心）以及P4（在右边白线内部并靠近白线，也即在通车车道右边）处的极化比率。
下面将参考图8描述检测白线边缘的处理。
普通的道路包括由沥青组成的黑色部分和在黑色部分上面形成的白线。因此，白线的亮度水平远远大于道路的其他部分的亮度水平，并且可以通过确定道路中大于预定值的亮度水平的部分来检测白线。
如图8所示，基于P-分量和S-分量获得车辆前面的道路表面的图像的亮度信息（亮度水平）。通过单一亮度信息处理单元14产生的亮度图像，白线检测单元18将道路表面的亮度数据和预定亮度阈值进行比较，并且由此检测表示可能是白线边缘候选点（白线候选点）。接着，基于检测到的白线候选点计算白线宽度，并确定计算的白线宽度是否在预定范围内。如果计算的白线宽度在预定范围内，则确定该白线候选点是道路表面上的一对白线边缘。
道路表面的白线和其它部分在图像的上面部分的对比度不同于其在图像的下面部分的对比度。因此，一帧图像在x-轴方向上被分为上部区域（在行驶方向远离车辆的区域）和下部区域（在行驶方向靠近车辆的区域），并且在亮度阈值设置步骤，为上部区域和下部区域设置不同亮度阈值。
下面将参考图9描述道路边缘检测的处理。
如上所述，产生极化比率图像并确定参考极化比率。同时，基于参考极化比率确定阈值。这里，将检测到的白线内的像素的极化比率作为参考极化比率使用。
在每个扫描线中，从白线的内部到图像的左端顺序地处理图像的左侧的像素，并且从白线的内部到图像的右端顺序地处理图像的右侧的像素。将作为参考像素的同一扫描线上的像素的极化比率和对应的参考极化比率比较，并且获得像素的极化比率和参考极化比率之间的差异。
然后，将该差异与阈值相比较。如果差异大于或等于阈值，则白像素被检测为道路边缘点。
下面将参考图10-16详细地描述基于白线信息的检测道路边缘的方法。
图10是说明用于检测具有两条白线WL的道路的道路边缘RE的扫描处理的图。在图10的情况下，各个白线WL内的像素（参考像素）的极化比率作为扫描的参考极化比率使用。从中心到右端和左端顺序地处理每个扫描线上的像素，并且从屏幕的底部到顶部顺序地处理扫描线。计算参考像素的参考极化比率和作为参考像素的同一扫描线上的像素的极化比率之间的差异，并且将差异和预定的阈值进行比较来检测道路边缘（点）。
在图10中（并且也在图11-16中），“x”表示差异小于阈值的像素并且“●”表示差异大于或等于阈值的像素，也即检测为道路边缘点的像素。
图11是说明用于检测具有一条白线WL的道路的道路边缘RE的扫描处理的图。就图11来说，白线WL内的像素（参考像素）的极化比率作为扫描的参考极化比率使用。按照右向和左向顺序处理每个扫描线，并且从屏幕的底部到顶部顺序地处理扫描线。与图10类似，计算参考像素的参考极化比率和作为参考像素的同一扫描线上的每个像素的极化比率之间的差异，并且将差异和预定的阈值进行比较来检测道路边缘（点）。
图12A和12B是说明当没有检测到白线时用于检测道路的道路边缘的扫描处理的图。在图12B所示的当前图像（当前帧）中没有检测到白线时，将在图12A中的前一图像（紧接着的前面帧）中检测到的白线内的像素（在图12B中由点划线表示）的极化比率作为检测道路边缘的参考极化比率使用。
白线区域和在前一图像中检测到的道路边缘区域被存储在区域存储单元50中（参考图1）。道路边缘检测单元20作为查找位置确定单元，在当前帧中确定查找位置，其中基于区域存储单元50中存储的信息查找道路边缘或白线。
图13A和13B是说明当在当前图像和前一图像（紧接着的前面帧）中都没有检测到白线时，用于检测道路的道路边缘的扫描处理的图。在此情况下，将各个扫描线的中心的像素的极化比率作为扫描的参考极化比率使用。从中心到右端和左端顺序处理每个扫描线上的像素，并且从屏幕的底部到顶部顺序地处理扫描线。计算参考像素的参考极化比率和作为参考像素的同一扫描线上的每个像素的极化比率之间的差异，并且将差异和预定的阈值进行比较来检测道路边缘（点）。
图14A和14B是说明检测具有不连续白线的道路的道路边缘的扫描处理的图。当在图14B所示的当前图像（当前帧）中检测到不连续的白线时，在图14A所示的前一图像（紧接着的前面帧）中检测到的白线（图14B中所示的点划线）内的像素的极化比率，作为没有出现白线的当前图像的部分的参考极化比率使用。
图15A和15B是说明检测道路的道路边缘的扫描处理的图，白线在该道路中的中间终止。当在图15B所示的当前图像（当前帧）的中间检测到白线端点时，将在图15A所示的迁移图像（紧接着的前面帧）中检测到的白线内的像素的极化比率，作为参考极化比率使用。当检测到的白线在当前图像（当前帧）的中间终止并且在图15A所示的前一图像（紧接着的前面帧）中没有检测到白线时，将在检测到的白线的延长线（图15B中由点划线示出）中的像素的极化比率，作为没有出现白线的当前图像的部分（扫描线）的参考极化比率使用。
图16是说明出现阴影的路面的扫描处理的图。
在图16中，左边白线WL内部的区域和紧接着左边道路边缘RE的区域都在阴影SD中。
在此情况下，由于阴影SD使得入射光的强度降低，并且道路表面和路边（路边结构）之间的亮度差变小，因此很难基于亮度差检测道路边缘。同时，尽管阴影影响了极化比率，在阴影中的给顶点处的极化比率之间的差异不会改变。
因此，利用在左边白线内部的像素的极化比率作为参考极化比率，能够正确地检测阴影中的道路边缘。
在本实施例中，白线检测单元18基于亮度信息检测白线。可替代地，也能通过道路边缘检测单元20以类似于上述的道路边缘检测方法来检测白线，例如将图像中心的像素的极化比率作为参考极化比率。
在此情况下，可以略去图1中的单一亮度信息处理单元14和白线检测单元18。
接着，将参考成像图像更详细地描述本发明的实施例。
亮度图像的对比度和极化比率图像的对比度根据天气以及道路表面是在太阳下还是在阴影中的不同而不同。同时，亮度图像或极化比率图像是否适合检测白线等线依赖于场景（或者成像环境）。
通过多个试验，发明人发现有些场景不适合亮度图像但适合于极化比率图像，反之亦然，也即，它们是互补的。
在本发明的实施例中，依据场景而使用亮度图像（亮度信息）或极化比率图像（极化比率信息）来精确地检测白线。
下面，描述基于亮度信息不能精确地检测白线的示例性的场景。下面描述的成像图像由安装在车辆上并且配置为在车辆前面拍照的同一个成像设备拍摄而成。
[1.当白线在阴影中]
在此情况下，白线和道路之间的亮度水平的差异很小，因此很难提取白线边缘。
图17A是白线在晴天的阴影中的场景下的极化比率图像，图17B是在相同的场景下的单一亮度图像。很明显，与图17B的单一亮度图像相比，在图17A的极化比率图像中能更加清晰地识别白线。
下面描述亮度图像的对比度和极化比率图像的对比度所不同的原因。
正如我们日常生活中一样明显，白天在太阳下的场景的亮度的对比度较高，并且在阴影下或下雨天、多云天降低照射的场景的亮度的对比度较低。同时，极化比率是不可视的并且为什么极化的对比度会变化是要解释的。
图18B是表示沥青表面的P-极化图像和S-极化图像之间的极化比率的变化，该图像是在实验室中固定摄像机同时按照图18A所示改变光源的位置而拍摄的。在图中，水平轴表示入射角（光源位置）并且垂直轴表示极化比率。摄像机的仰角与水平面成大约10度。根据在每个入射角拍摄的P-极化图像和S-极化图像的中心位置的亮度信息计算极化比率。在图18B中，极化比率表示从P-极化分量（Rp）中减去S-极化分量（Rs）获得的值与S-极化分量和P-极化分量的和的比率。
当P-极化分量大于S-极化分量时，极化比率是正的值。然而，当S-极化分量大于P-极化分量时，极化比率是负的值。
基于图18B所示的结果说明在图17A所示的阴影场景下的图像的极化比率。
照射道路表面和路边结构的光源不是直接的太阳光而是天空光线（从天空来的光线）。在太阳光的情况下，极化比率根据仰角和太阳光的方向而变化。然而，天空光线是从仰角和方向均匀地照射道路表面和路边结构。因此，在天空光线的情况下，如图19所示，极化比率不管入射角度多少都基本上保持恒定值（对应于图18B所示的平均值）。
同时，由于白线通常是由包括散射体的涂层材料制成，因此不论入射角是多少白线的极化比率都接近于零。由此，阴影中的道路表面和白线的极化比率图像具有高的对比度。因而，当阴影区域的亮度图像的对比度较低时，阴影区域的极化比率图像的对比度较高。相应地，优选利用极化比率来检测阴影区域内的白线。
[2.当道路表面是背光和反光时]
在此情况下，由于白线和反射太阳光的道路表面之间的亮度水平的差异很小，因此很难提取白线边缘。
图20A是极化比率图像，图20B是晴天的场景下的单一亮度图像。和图20B的单一亮度图像相比，可以在图20A的极化比率图像中更加清楚地识别白线和道路边缘。
在晴天，尽管太阳下的道路表面由太阳光和天空光线（太阳光是散射光成分）照射，但是太阳光是照射道路表面的主要成分。因此，图18B所示的结果能应用到该条件下。
如图18B所示，当道路表面是背光时极化比率在负方向上增加。当太阳（光源）在照相机后面时，沥青表面的极化比率为零。同时，由于白线通常是由包括散射体的涂层材料制成，因此不论入射角是多少白线的极化比率都接近于零。由此，背光道路表面和白线的极化比率图像具有高的对比度。当背光道路表面和白线是背光时，从道路表面反射的光的强度增加并且亮度图像中的道路表面和白线之间的差异变小。同时，在此情况下极化比率图像的对比度仍然较高。相应地，优选利用极化比率来检测背光道路表面的白线。
[3.当天气是下雨或多云时]
在此情况下，由于白线和道路之间的亮度水平的差异很小，因此很难提取白线边缘。
图21A是极化比率图像，图21B是多云天气的场景下的单一亮度图像。与图21B的单一亮度图像相比，可以在图20A的极化比率图像中更加清楚地识别白线。
与在阴影的场景相似，在下雨天或多云天照射道路表面和白线的光源不是直接的太阳光。由此，在下雨天或多云天道路表面和白线的极化比率图像具有高的对比度。因此当下雨天或多云天的场景下道路表面的亮度图像的对比度低时，下雨天或多云天的场景下的极化比率图像的对比度就高。相应地，优选利用极化比率来检测阴影区域内的白线。
[4.在下雨后]
在下雨后，由于道路湿并反光同时在道路上出现水坑，因此难于提取白线边缘。
当道路潮湿的时候，反射成分增加并且在亮度图像中识别白线变得困难。同时，当道路潮湿的时候，亮度图像整个变暗并且它的对比度变低。此时，对于极化比率图像，能够移除反射成分并获得较底层的道路表面信息。由此，优选利用极化比率来检测湿的道路上的白线（或黄线）。图22A是极化比率图像以及图22B是下雨以后湿的道路表面的单一亮度图像。
[5.当白线外面出现路肩或沟时]
路肩或沟的边缘可被误识别为白线边缘。
如上所述，对于极化比率信息，能够确定材料差异以及物体的角度的差异。例如，对于极化比率图像，能够基于正交镜面反射表面具有相反极化比率的事实而获得角度信息。对于单一极化比率图像来说这是不可能的。
图23A是极化比率图像，图23B是白线的外面出现边墙的道路的单一亮度图像。在图23B的单一亮度图像中，很难分辨白线和边墙。同时，在图23A的极化比率图像中，能够分辨白线和边墙。
[6.当在道路上有修复部分时]
道路的修复部分可能会被误识别为白线。
图18B所示的沥青表面的反射特性依据沥青表面是新的或旧的等沥青表面的条件变化而变化。因此，道路的修复部分的极化比率与其它部分（旧的沥青表面）的极化比率不同。由此，利用极化比率图像使得能够将白线与道路的修复部分区分开并且能够精确地检测白线。
如上所述，在下雨或多云天或在阴影区域中，道路表面不是由直接太阳光照射，亮度图像的对比度变低。此时，即使在这种条件下，极化比率图像的对比度也较高并且不被成像方向所影响。因此，利用这种条件下的极化比率图像能够可靠地检测道路上的目标（例如白线和道路边缘）。优选利用极化比率来检测晴天太阳下的白线，特别是当目标是背光的时候。
同时，当目标是由摄像机后面的光源照射时优选使用单一亮度图像。因此，在本实施例中，根据场景（或成像环境）使用亮度图像（亮度信息）或极化比率图像（极化比率信息）来精确地检测白线。
首先，描述本实例在道路表面检测车道线（例如，白线或黄线）的方法。在本实施例中，利用极化比率图像的边缘图像检测车道线的候选点（车道线候选点），基于极化比率图像估算出的道路表面的形状（宽度和倾斜度）确定车道线查找区域，并且利用车道线查找区域中的车道线候选点检测车道线。
如图24A所示，利用极化比率图像的边缘图像检测道路表面的可能的车道线的边缘。接着，如图24B所示，在极化比率图像上执行标签处理来识别道路表面和路边结构并且由此估算道路表面的形状（宽度和倾斜度）。
接着，如图24C所示，基于估算出的道路表面的宽度和倾斜度确定车道线查找区域。然后，如图24D所示，通过在车道线查找区域上检测到的车道线执行霍夫变化来逼近车道线的形状。
下面利用真实的成像图像描述上述方法的示例性处理。
图25A以及图25B是车辆前面的道路表面的极化比率图像和单一亮度图像。
首先，利用极化比率图像检测可能的车道线边缘。图26示出检测的车道线边缘。
接着，通过在极化比率图像上执行标签处理来估算道路表面的形状（宽度和倾斜度）。图27示出检测的结果。
接着，基于道路表面的宽度和倾斜度（左、右黑线之间的距离和黑线的倾斜度）确定车道线查找区域。图28示出已确定的道路分界线查找区域。
然后，通过在车道线查找区域上检测到的车道线执行霍夫变化来逼近车道线的形状。图29示出结果。
通过如图23B所示的单一亮度图像的处理，左侧的白墙可能被误识别为白线并且当白线和道路表面之间的亮度差较小时难于检测白线边缘。此时，通过参考图25-29所示的上述极化比率图像的处理，能够防止这些问题。
下面参考图30至图35描述本实施例的车载成像系统10。与图1所示的相同的附图标记被分配给图30中对应的成分。
如图30所示，车载成像系统10的图像处理单元26包括存储器1、存储器2、单一亮度信息处理单元14、极化比率信息处理单元16、道路表面形状估算单元34、车道线候选点检测单元36、车道线检测单元40以及区域存储单元50。
极化摄像机12、图像处理单元26以及显示单元22构成车载成像系统10。极化摄像机12和图像处理单元26构成目标检测设备（成像设备）11。
通过极化摄像机（成像单元）12获取车辆前面的道路表面的水平极化分量（P-极化分量）、垂直极化分量（S-极化分量）以及包括P-极化分量和S-极化分量的原始极化图像数据。从P-极化分量、S-极化分量以及原始极化图像数据中获取极化比率信息和单一亮度信息。基于获取的极化比率信息并根据下面描述的方法检测道路表面和白线。
在此实施例中，图像处理单元26也作为条件确定单元、参数阈值确定单元以及目标检测单元使用；并且区域存储单元50也作为形状信息存储单元和检测结果存储单元使用。
参照图30和31描述车载成像系统10的操作。
成像单元（极化摄像机）12包括例如电荷耦合器件（CCD）或互补型金属氧化物半导体（CMOS）等图像传感器（光接收设备），并且获得包括道路表面的场景的百万图素（megapixel）图像等。
成像单元12可以安装在车辆的后视镜上来拍摄车辆前面的道路表面的图像，或者安装在外后视镜来拍摄车辆旁边的道路表面的图像。同时，成像单元12也可以安装在后车门上来拍摄车辆后面的道路表面的图像。
在这个实施例中，成像单元配置为能够获取极化比率图像以及亮度图像。下面描述能获取极化比率图像的成像单元的示例性配置。然而，成像单元12也可有其它合适的配置。
[示例性配置1]
如图32所示，成像单元12包括摄像机60和位于摄像机60前面的可旋转的极化器。成像单元12通过可旋转的极化器拍摄目标62的垂直极化图像和水平极化图像并从垂直极化和水平极化图像中产生极化比率图像。
[示例性配置2]
如图33所示，成像单元12可包括摄像机64，该摄像机64包括能够传输垂直极化光线的极化滤波器并且获取垂直极化图像，该摄像机64包括能够传输水平极化光线的极化滤波器并且获取水平极化图像。
具有上述配置1，由于极化器是旋转的因此在稍有不同的时刻拍摄垂直极化图像和水平极化图像。同时，具有上述配置2，能够在相同的时刻拍摄垂直极化图像和水平极化图像。
[示例性配置3]
成像单元12可包括镜头阵列、极化滤波器阵列和一个光接收设备（图像传感器）。与配置2中将两个摄像机分开使用相比，配置3能够降低成像单元12的尺寸。
更具体地，如图34所示，成像单元12可包括镜头阵列66和图像传感器70，其中该镜头阵列66包括位于相同衬底的多个镜头，滤波器68包括对应于穿过镜头阵列66的镜头的光束的区域，该图像传感器70包括接收穿过对应于滤波器68的区域的光束的区域并生成目标的图像。滤波器68包括至少2个具有正交发送轴的极化区域、一个生成垂直极化图像的图像传感器70以及其它的一个生成水平极化图像的成像区域。
[示例性配置4]
具有这个配置，图像由一个成像透镜（或排列在相同轴上的多个透镜）形成，图像被分为垂直极化图像和水平极化图像，并且由垂直极化图像和水平极化图像生成极化比率图像。
例如，如图35所示，成像单元12可包括发射比率为1:1的半反镜盒、垂直极化滤波器、水平极化滤波器、用于通过垂直极化滤波器获取视野图像的CCD以及用于通过水平极化滤波器获取视野图像的CCD。
尽管配置2能够同时获取垂直极化图像和水平极化图像，但是在获取的图像之间存在视差（parallax）。另一方面，对于配置4，由于垂直极化图像和水平极化图像是通过相同的成像光学系统（镜头）获取的，在获取的图像之间不会有视差。这反过来能够降低检测区域的尺寸并排除补偿视差的需要。
[示例性配置5]
在配置5中，配置4的半反镜被极化光束分解器代替。极化波束分解器是反射水平极化光线和发送垂直极化光线的棱镜。利用该棱镜能排除提供水平极化滤波器和水平极化滤波器的需要，并且由此能够简化光学系统并提高光线使用效率。
[示例性配置6]
如图36所示，成像单元12可包括一个成像透镜72（或排列在相同轴上的多个透镜）和分离滤波器74，其中该分离滤波器74包括仅发送水平极化光线的极化器区域。滤波器74包括具有清晰边界的极化区域并由线栅极化器实现，其中该线栅极化器由精细图案的金属结构或自动复制光子晶体极化器构成。
配置4和5利用半反镜或棱镜将图像分为垂直极化图像和水平极化图像，并且由此需要两个光接收设备。因此，配置4和5增加了光学系统的尺寸以及成像单元12的尺寸。同时，对于配置6，利用作为成像透镜排列在同一轴上的光学系统，能够获取垂直极化图像和水平极化图像。
[示例性配置7]
分离滤波器的极化器区域可以不是和光接收器设备的像素一一对应的。在图37中，正方形的垂直和水平行表示组成光接收单元阵列的光接收单元，以及两种对角条带表示垂直和水平极化滤波器区域。每个滤波器区域具有与一个像素也即一个光接收单元的宽度相对应的宽度。滤波区域之间的边界线具有倾斜角2。也就是说，每个对角条带倾斜是指一个像素在水平方向上的移位相当于两个像素在垂直方向上的移位。将这个特定的滤波排列模式与信号处理相结合，甚至当光接收元件阵列和分离滤波器不是精确地排列的情况下也能产生整体的滤波图像，并且由此能提供低成本的成像设备。
优选地配置上述的成像单元12来获取实时场景的图像。获取的图像被输入成像处理单元26。
极化摄像机12安装在车辆并作为成像单元使用。极化摄像机12拍摄道路的外观（行驶方向上车辆前面的场景）的图像，车辆行驶在所述道路上并且获取垂直极化分量（后面也称为S-极化分量）、水平极化分量（后面也称为P-极化分量）以及包括S-极化分量和P-极化分量的原始极化图像数据。
获取的水平极化图像数据被存储在存储器1中，获取的垂直极化图像数据被存储在存储器2中。水平极化图像数据以及垂直极化图像数据被发送到作为单一亮度信息计算单元的单一亮度信息处理单元14和作为极化比率图像生成单元的极化比率信息处理单元16。极化比率信息处理单元16基于P-分量和S-分量计算极化比率并生成极化比率图像。
单一亮度信息处理单元14基于P-分量和S-分量生成单元亮度图像并且计算代表生成的单一亮度图像的像素的亮度水平的亮度信息。
极化比率信息处理单元16利用上述的等式2计算代表极化比率的极化比率信息，并且由此获得极化比率信息图像数据。
单一亮度信息处理单元14利用上述等式3生成单一亮度图像数据。
图38是表示检测车道线的候选点的处理的流程图。
车道分界线的候选点检测单元36基于极化比率信息检测代表可能的车道线边缘的车道分界线的候选点。车道线可表示分割道路或交通线的任何类型（例如实线、点划线、短划线或重叠线）任何颜色（例如白线或黄线）的线。车道分界线检测单元40基于极化比率信息在道路上检测车道线。
由沥青制成的普通道路的道路表面是黑色的并且白线形成在黑色道路表面。白线的极化比率接近于零。因此，白线的极化比率比道路的其它部分的极化比率足够小，并且通过利用极化比率确定道路的部分是小于或等于预定的值由此能够检测白线。
如图38所示，基于P-极化分量和S-极化分量计算车辆前面的道路表面的图像的极化比率。从图像的中心到右端和左端顺序处理每个扫描线的像素。将像素的极化比率与预定的极化比率阈值相比较来检测车道线候选点。
接着，基于检测到的车道线候选点计算车道线的宽度，并且确定计算出的白线的宽度是否在预定的范围内。如果计算出的白线的宽度在预定的范围内，则将车道线候选点确定为道路表面的白线边缘。在图像的上面部分的道路表面的车道线和其它部分之间的极化比率的对比度不同于图像的下面部分。
因此，一帧图像被分为上部区域和下部区域并且在设置极化比率阈值的步骤，对上部区域和下部区域设置不同的极化比率阈值。
图39是表示由道路表面形状估算单元34执行的处理的流程图。
道路表面形状估算单元34利用极化比率图像估算道路表面的形状。
首先，计算极化比率图像的极化比率并设置极化阈值。
基于极化比率阈值将极化比率图像二值化。通过标签处理研究二值化极化比率图像中的连接分量的特性，并检测具有道路表面特性的连接分量。然后，基于具有道路表面特性的检测的连接分量估算道路表面的形状。
在图40中，左边和右边的黑线表示基于道路表面的形状获得的道路表面区域。
车道线查找区域确定单元38基于道路表面的宽度和倾斜角（坐边和右边黑线之间的距离以及黑线的倾斜角）确定车道线查找区域。
如果在车道线查找区域没有检测到车道线，则降低用于检测车道线边缘点的参数的阈值，并且再次在车道线查找区域内查找车道线边缘点。
车道线检测单元40获取车道线查找区域内通过形状逼近对检测的车道线边缘点的近似曲线。例如，可使用最小二乘法、霍夫变换或模型等式等进行形状逼近。当通过形状逼近获得近似曲线时，将高的权值赋予可靠的白线边缘点和在道路图像（或屏幕）的下面部分中检测的道路边缘点。通过该方法，甚至如果在道路图像的上面的部分没有正确地检测白线边缘点和道路边缘点，而只要在道路图像的下面的部分正确地检测车道线边缘点，也能恰当地识别车道线。
检测结果可用于车辆控制或用于给驾驶员以容易看到的方式在显示器上显示白线和道路边缘。
由此，在本实施例中，基于极化比率图像检测道路表面和车道线候选点，基于检测的车道线候选点和道路表面区域确定车道线候选区域，并且在车道线查找区域内检测车道线。甚至当亮度图像的对比度低时该方法也能够精确地检测白线，由此能够防止将路肩或白墙误识别为白线。
图41是示出确定道路表面条件的处理的流程图。
检测道路表面区域而不是白线的单一亮度图像的像素的亮度水平并将其与预定义亮度阈值进行比较。如果亮度水平小于亮度阈值，则确定道路表面区域是湿的。
如果亮度水平大于或等于亮度阈值，将相同道路表面区域的极化比率图像的像素的极化比率与预定的极化比率阈值相比较。如果极化比率小于极化比率阈值，则确定道路表面区域是湿的。同时，如果极化比率大于或等于极化比率阈值，则确定道路表面区域是干的。可基于试验结果确定亮度阈值和极化比率阈值。
该方法能估算天气并且能估算道路表面是湿的还是干的。研究了不同道路表面情况下的采样极化比率图像和单一亮度图像，并且基于研究的结果根据道路表面情况确定用于二值化的合适参数和参数阈值。
区域存储单元50存储先前检测的车道线和车道线查找区域。当实时检测车道线和车道线查找区域时，如果在一个或多个先前获得的图像中发现相似的车道线和车道线查找区域，则确定车道线和车道线查找区域是可靠的。基于先前帧中车道线查找区域的位置，在下一帧内查找车道线边缘点并获得近似曲线。
如果在图像的5个帧内没有检测到车道线边缘，则从图像的下面部分的扫描线的中心再次开始查找。
如上所述，本发明的一方面能够提供简单配置的成像设备，不管成像环境（例如黑的或亮的、晴天或多云等）如何，该成像设备都能检测白线、道路边缘（路边结构）和道路表面的边界，并给驾驶辅助和车辆控制提供恰当的信息。
本发明的一方面利用从道路表面反射的光的极化比率，能够精确检测道路表面的白线。
根据本发明的一方面，基于道路表面的形状检测白线，道路表面的形状是基于道路表面的极化比率图像估算的。这种方法能防止将路肩或沟误识别为白线。
本发明的实施例提供一种目标检测设备，所述目标检测设备用于获取检测对象在成像区域中的图像，并用于检测与所获取的图像中的检测对象对应的图像区域，所述目标检测设备包括：成像单元，用于接收在从成像区域中的目标反射的光中包括的第一极化光和第二极化光，并获取第一极化光的第一极化图像和第二极化光的第二极化图像，第一极化光和第二极化光具有不同的极化方向；亮度计算单元，用于将第一和第二极化图像中的每一个划分为多个处理区域，并计算表示每个处理区域的第一和第二极化图像的亮度水平的总和的综合亮度水平；极化比率计算单元，用于计算极化比率，所述极化比率表示第一和第二极化图像的亮度水平之间的差异与每个处理区域的综合亮度水平的比率的极化比率；极化比率图像生成单元，用于基于极化比率计算单元计算出的所有处理区域的极化比率来生成极化比率图像；车道线候选点检测单元，用于基于极化比率在道路表面上检测用于划分通车车道的车道线的车道线候选点；道路表面形状估算单元，基于极化比率来估算道路表面的形状；车道线查找区域确定单元，用于基于估算出的道路表面的形状来确定车道线查找区域；以及车道线检测单元，用于基于在所确定的车道线查找区域中的车道线候选点，检测车道线。
车道线查找区域确定单元可基于道路表面形状估算单元估算出的道路表面的倾斜度和宽度来确定车道线查找区域。
当在车道线查找区域内没有检测到车道线时，车道线检测单元降低用于在车道线查找区域中检测车道线的极化比率阈值。
道路表面形状估算单元可基于预定参数的阈值将极化比率图像二值化，对二值化图像执行标签处理以检测具有道路表面特性的连接分量，并基于检测到的连接分量估算道路表面的形状。
目标检测设备还可以包括条件确定单元，用于基于由极化比率计算单元计算出的极化比率中的至少一个极化比率和由亮度计算单元计算出的综合亮度水平确定成像区域的条件；以及参数阈值确定单元，用于根据条件确定单元确定的条件来确定参数的阈值。
参数阈值确定单元可配置为考虑之前为不同条件计算出的极化比率和综合亮度水平中的至少一个，并且基于考虑结果来确定参数的阈值。
目标检测设备也可包括形状信息存储单元，存储表示成像单元先前获取的图像中的检测目标的形状的形状信息。车道线检测单元和道路表面形状估算单元中的每一个可被配置用于检测与检测对象相对应的相邻处理区域，用于确定由检测到的处理区域形成的形状是否与通过形状逼近而存储在形状信息存储单元中的形状之一相似，并用于在由检测到的处理区域形成的形状与存储在形状信息存储单元中的形状之一相似时，将检测到的处理区域确定为检测对象的图像区域。
线检测单元和道路表面形状估算单元中的每一个可被配置用于根据成像距离，将第一极化图像和第二极化图像中的每一个划分为两个或更多个区域，并且在形状逼近中，与赋予在较长成像距离的一个区域中检测到的处理区域的权值相比，将较大的权值赋予在较短成像距离的另一个区域中检测到的处理区域。
目标检测设备进一步包括存储先前检测结果的检测结果存储单元，目标检测设备能进一步配置为也利用存储在检测结果存储单元中的先前检测的结果来检测与检测对象相对应的图像区域。
本发明并不限于特定公开的实施例，能够作出的任何变型和修改均不会脱离本发明的范围。
本申请是基于2009年12月25日提交的日本优先权申请JP2009-295838以及2010年11月12日提交的日本优先权申请JP2010-254213，其整个内容通过参考而引入于此。

Claims (24)

1.一种成像设备，包括：
安装在车辆上的成像单元，用于获取有车辆正在行驶的道路表面的垂直极化图像和水平极化图像；
极化比率图像生成单元，用于基于垂直极化图像和水平极化图像，生成极化比率图像并计算极化比率信息，所述极化比率信息表示极化比率图像的像素的极化比率；以及
路边结构检测单元，用于基于极化比率图像的极化比率信息，检测道路边缘，其特征在于，
所述路边结构检测单元计算每个扫描线上的像素的极化比率与相同扫描线上的参考像素的参考极化比率之间的差异，并将所述差异与预定的阈值进行比较来检测道路边缘。
2.如权利要求1所述的成像设备，其中，所述路边结构检测单元基于每个扫描线的极化比率信息，扫描极化比率图像并检测道路边缘。
3.如权利要求1所述的成像设备，进一步包括
亮度信息计算单元，用于基于垂直极化图像和水平极化图像，生成亮度图像并计算表示亮度图像的像素的亮度水平的亮度信息，及
线检测单元，用于基于计算出的亮度信息来检测线，
其中，路边结构检测单元确定与检测到的线有关的参考像素，将参考像素的极化比率设置为参考极化比率，并基于参考极化比率确定阈值。
4.如权利要求3所述的成像设备，
其中，当没有检测到线时，路边结构检测单元确定与在先前生成的极化比率图像中检测到的线有关的参考像素。
5.如权利要求3所述的成像设备，
其中，当线在车辆行驶方向的中间终止时，路边结构检测单元对于没有出现线的道路表面的区域确定与在先前生成的极化比率图像中检测到的线有关的参考像素。
6.如权利要求5所述的成像设备，
其中，当在先前生成的极化比率图像中检测到的线也在车辆行驶方向的中间终止或在先前生成的极化比率图像中没有检测到线时，路边结构检测单元对于没有出现线的道路表面的区域确定与在车辆的行驶方向的中间终止的线的延长线相关的参考像素。
7.如权利要求3所述的成像设备，其中当没有检测到线时，路边结构检测单元将道路表面的中心的像素的极化比率用作参考极化比率。
8.如权利要求3-7中任一权利要求所述的成像设备，其中，线检测单元将亮度图像沿车辆的行驶方向分为上部区域和下部区域，为上部区域和下部区域设置不同的亮度阈值，并通过将上部区域和下部区域中的每一个中的像素的亮度水平与对应的一个亮度阈值相比较，来检测所述线。
9.如权利要求3-7中任一权利要求所述的成像设备，其中，线检测单元基于亮度信息来检测线候选点，基于检测到的线候选点计算线宽度，并且如果计算出的线宽度在预定范围内时，将线候选点确定为线的边缘。
10.如权利要求1-7中任一权利要求所述的成像设备，其中，路边结构检测单元从极化比率图像的底部到顶部顺序处理极化比率图像的水平扫描线，并且从每个扫描线的中心到极化比率图像的右端和左端扫描每个扫描线，以检测道路边缘。
11.如权利要求3-7中任一权利要求所述的成像设备，其中，线检测单元从亮度图像的底部到顶上部顺序处理亮度图像的水平扫描线，并且从每个扫描线的中心到亮度图像的右侧和左侧的端点扫描每个扫描线，以检测所述线。
12.如权利要求3-7中任一权利要求所述的成像设备，进一步包括：
区域存储单元，用于存储表示线的区域和在前一帧的极化比率图像和亮度图像中检测到的道路边缘的信息；以及
查找位置确定单元，用于确定要基于存储在所述区域存储单元中的信息在当前帧的极化比率图像和亮度图像中查找线和道路边缘的查找位置。
13.如权利要求3所述的成像设备，进一步包括：
近似曲线获取单元，用于通过形状逼近获取线边缘点和道路边缘点的近似曲线，所述线边缘点表示线的边缘，所述道路边缘点表示道路的边缘，其中，
在形状逼近中，近似曲线获取单元将较大的权值赋予在亮度图像和极化比率图像的下部区域中检测到的线边缘点和道路边缘点。
14.一种车载成像系统，包括：
安装在车辆上并用于获取道路表面的图像的如权利要求1至13中任一权利要求所述的成像设备；以及
显示单元，用于显示所获取的图像。
15.一种检测道路表面的外观的方法，包括以下步骤：
获取有车辆正在行驶的道路表面的垂直极化图像和水平极化图像；
基于垂直极化图像和水平极化图像，生成极化比率图像并计算极化比率信息，所述极化比率信息表示极化比率图像的像素的极化比率；以及
基于极化比率图像的极化比率信息，检测道路边缘，其特征在于，
所述检测道路边缘的步骤计算每个扫描线上的像素的极化比率与相同扫描线上的参考像素的参考极化比率之间的差异，并将所述差异与预定的阈值进行比较来检测道路边缘。
16.一种目标检测设备，所述目标检测设备用于获取检测对象在成像区域中的图像，并用于检测与所获取的图像中的检测对象对应的图像区域，所述目标检测设备包括：
成像单元，用于接收在从成像区域中的目标反射的光中包括的第一极化光和第二极化光，并获取第一极化光的第一极化图像和第二极化光的第二极化图像，第一极化光和第二极化光具有不同的极化方向；
亮度计算单元，用于将第一和第二极化图像中的每一个划分为多个处理区域，并计算表示每个处理区域的第一和第二极化图像的亮度水平的总和的综合亮度水平；
极化比率计算单元，用于计算极化比率，所述极化比率表示第一和第二极化图像的亮度水平之间的差异与每个处理区域的综合亮度水平的比率的极化比率；
极化比率图像生成单元，用于基于极化比率计算单元计算出的所有处理区域的极化比率来生成极化比率图像；
车道线候选点检测单元，用于基于极化比率在道路表面上检测用于划分通车车道的车道线的车道线候选点；
道路表面形状估算单元，基于极化比率来估算道路表面的形状；
车道线查找区域确定单元，用于基于估算出的道路表面的形状来确定车道线查找区域；以及
车道线检测单元，用于基于在所确定的车道线查找区域中的车道线候选点，检测车道线。
17.如权利要求16所述的目标检测设备，其中，车道线查找区域确定单元基于道路表面形状估算单元估算出的道路表面的倾斜度和宽度来确定车道线查找区域。
18.如权利要求16所述的目标检测设备，其中，当在车道线查找区域内没有检测到车道线时，车道线检测单元降低用于在车道线查找区域中检测车道线的极化比率阈值。
19.如权利要求16所述的目标检测设备，其中，道路表面形状估算单元基于预定参数的阈值将极化比率图像二值化，对二值化图像执行标签处理以检测具有道路表面特性的连接分量，并基于检测到的连接分量估算道路表面的形状。
20.如权利要求19所述的目标检测设备，进一步包括：
条件确定单元，用于基于由极化比率计算单元计算出的极化比率中的至少一个极化比率和由亮度计算单元计算出的综合亮度水平确定成像区域的条件；以及
参数阈值确定单元，用于根据条件确定单元确定的条件来确定参数的阈值。
21.如权利要求20所述的目标检测设备，其中，参数阈值确定单元考虑之前为不同条件计算出的极化比率和综合亮度水平中的至少一个，并且基于考虑结果来确定参数的阈值。
22.如权利要求16-21中任一权利要求所述的目标检测设备，进一步包括：
形状信息存储单元，用于存储表示成像单元先前获取的图像中的检测对象的形状的形状信息，其中
车道线检测单元和道路表面形状估算单元中的每一个被配置用于检测与检测对象相对应的相邻处理区域，用于确定由检测到的处理区域形成的形状是否与通过形状逼近而存储在形状信息存储单元中的形状之一相似，并用于在由检测到的处理区域形成的形状与存储在形状信息存储单元中的形状之一相似时，将检测到的处理区域确定为检测对象的图像区域。
23.如权利要求22所述的目标检测设备，其中，线检测单元和道路表面形状估算单元中的每一个被配置用于根据成像距离，将第一极化图像和第二极化图像中的每一个划分为两个或更多个区域，并且在形状逼近中，与赋予在较长成像距离的一个区域中检测到的处理区域的权值相比，将较大的权值赋予在较短成像距离的另一个区域中检测到的处理区域。
24.如权利要求16-21中任一权利要求所述的目标检测设备，进一步包括：
检测结果存储单元，用于存储先前检测结果，
其中，目标检测设备被配置为也利用存储在检测结果存储单元中的先前检测的结果来检测与检测对象相对应的图像区域。
CN201080058630.4A 2009-12-25 2010-12-16 成像设备、车载成像系统、路面外观检测方法以及目标检测设备 Expired - Fee Related CN102668540B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009295838 2009-12-25
JP2009-295838 2009-12-25
JP2010254213A JP5664152B2 (ja) 2009-12-25 2010-11-12 撮像装置、車載用撮像システム及び物体識別装置
JP2010-254213 2010-11-12
PCT/JP2010/073263 WO2011078300A1 (en) 2009-12-25 2010-12-16 Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device

Publications (2)

Publication Number Publication Date
CN102668540A CN102668540A (zh) 2012-09-12
CN102668540B true CN102668540B (zh) 2015-12-16

Family

ID=44195825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080058630.4A Expired - Fee Related CN102668540B (zh) 2009-12-25 2010-12-16 成像设备、车载成像系统、路面外观检测方法以及目标检测设备

Country Status (7)

Country Link
US (1) US20120242835A1 (zh)
EP (1) EP2517454A1 (zh)
JP (1) JP5664152B2 (zh)
KR (1) KR101378911B1 (zh)
CN (1) CN102668540B (zh)
BR (1) BR112012016909A2 (zh)
WO (1) WO2011078300A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5668535B2 (ja) * 2011-03-08 2015-02-12 株式会社リコー 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体
JP5786381B2 (ja) * 2011-03-10 2015-09-30 株式会社リコー 路面から入射する光の偏光の像を取得する装置、路面から入射する光の偏光の像を取得する方法、プログラム、及びコンピューター読み取り可能な記録媒体
JP5594246B2 (ja) 2011-07-20 2014-09-24 株式会社デンソー 車線認識装置
JP5817331B2 (ja) * 2011-08-23 2015-11-18 株式会社リコー 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法
JP5857528B2 (ja) * 2011-08-23 2016-02-10 株式会社リコー 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法
JP5950196B2 (ja) * 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
CN102982304B (zh) * 2011-09-07 2016-05-25 株式会社理光 利用偏光图像检测车辆位置的方法和系统
CN102610103A (zh) * 2012-01-13 2012-07-25 深圳市黄河数字技术有限公司 智能压黄线分析识别方法
JP5995140B2 (ja) 2012-01-19 2016-09-21 株式会社リコー 撮像装置及びこれを備えた車両システム並びに画像処理方法
FR2988504B1 (fr) * 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
JP2014006885A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 段差認識装置、段差認識方法及び段差認識用プログラム
JP5792678B2 (ja) * 2012-06-01 2015-10-14 株式会社日本自動車部品総合研究所 車線境界線検出装置およびプログラム
JP2014016981A (ja) * 2012-06-15 2014-01-30 Ricoh Co Ltd 移動面認識装置、移動面認識方法及び移動面認識用プログラム
EP2884311B1 (en) * 2012-08-08 2017-07-19 Nissan Motor Company, Limited Road surface state detection device and road surface state detection method
CN103679121B (zh) * 2012-09-14 2017-04-12 株式会社理光 采用视差图像检测路边的方法及系统
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
US9411072B1 (en) * 2013-03-15 2016-08-09 Exelis, Inc. Real-time adaptive weather surveillance system and method
JP6194604B2 (ja) 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
JP6307800B2 (ja) * 2013-07-02 2018-04-11 日本電気株式会社 レール検査装置および検査方法
KR20150042417A (ko) * 2013-10-11 2015-04-21 주식회사 만도 촬영부를 이용한 차선검출방법 및 차선검출시스템
US9423484B2 (en) * 2013-10-22 2016-08-23 Polaris Sensor Technologies, Inc. Sky polarization and sun sensor system and method
US10962625B2 (en) * 2013-10-22 2021-03-30 Polaris Sensor Technologies, Inc. Celestial positioning system and method
US9141865B2 (en) * 2013-10-28 2015-09-22 Itseez, Inc. Fast single-pass interest operator for text and object detection
CN103617412B (zh) * 2013-10-31 2017-01-18 电子科技大学 实时车道线检测方法
US9156473B2 (en) * 2013-12-04 2015-10-13 Mobileye Vision Technologies Ltd. Multi-threshold reaction zone for autonomous vehicle navigation
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
JP2015115041A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP6476831B2 (ja) 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP6340795B2 (ja) * 2013-12-27 2018-06-13 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP6547292B2 (ja) 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6485078B2 (ja) * 2014-02-18 2019-03-20 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP6528447B2 (ja) 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP6519262B2 (ja) 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP2016001464A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6648411B2 (ja) 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
CN106471333B (zh) * 2014-07-08 2018-01-23 日产自动车株式会社 缺陷检查装置以及生产系统
CN104391266A (zh) * 2014-11-25 2015-03-04 广东电网有限责任公司电力科学研究院 一种基于机器人的电能表外观检测装置
KR20160114992A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 빈피킹 시스템 및 빈피킹 수행 방법
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
ES2929648T3 (es) 2015-04-30 2022-11-30 Sony Group Corp Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
KR101766239B1 (ko) * 2015-07-02 2017-08-08 이승래 도로 표면 상태 인식 장치 및 방법
EP3352134B1 (en) 2015-09-15 2023-10-11 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, image processing method, and program
EP3358369A4 (en) 2015-09-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
WO2017057058A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3382639B1 (en) 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
JP6597792B2 (ja) 2015-11-30 2019-10-30 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6547841B2 (ja) 2015-12-10 2019-07-24 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2017104574A1 (ja) 2015-12-14 2017-06-22 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2017115732A1 (ja) 2015-12-28 2017-07-06 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
JP6587000B2 (ja) 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US9889716B2 (en) 2016-02-03 2018-02-13 Ford Global Technologies, Llc Roadway-crossing-anomaly detection system and method
EP3413267B1 (en) 2016-02-05 2023-06-28 Ricoh Company, Ltd. Object detection device, device control system, objection detection method, and program
EP3416132B1 (en) 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, and image processing method and program
CN105678791B (zh) * 2016-02-24 2018-07-17 西安交通大学 一种基于参数不唯一的车道线检测与跟踪方法
EP3428876A4 (en) 2016-03-10 2019-01-23 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, DEVICE CONTROL SYSTEM, IMAGING DEVICE AND PROGRAM
EP3432291A4 (en) 2016-03-15 2019-03-27 Ricoh Company, Ltd. Image Processing Device, Object Recognition Device, Device Control System, Image Processing Method and Program
US20170270378A1 (en) * 2016-03-16 2017-09-21 Haike Guan Recognition device, recognition method of object, and computer-readable recording medium
WO2017158982A1 (ja) 2016-03-18 2017-09-21 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
JP6368958B2 (ja) * 2016-05-12 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2018082424A (ja) 2016-11-04 2018-05-24 パナソニックＩｐマネジメント株式会社 画像形成装置
JP6807546B2 (ja) 2016-11-15 2021-01-06 パナソニックＩｐマネジメント株式会社 画像形成装置
US10628960B2 (en) 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
JP6769263B2 (ja) * 2016-11-25 2020-10-14 日産自動車株式会社 路面判断方法および路面判断装置
JP7119317B2 (ja) 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP6950170B2 (ja) 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP2018092596A (ja) 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
KR101882683B1 (ko) * 2017-07-13 2018-07-30 한국건설기술연구원 Rtk-gnss를 이용한 도로 차선 위치정보 검출 시스템 및 그 방법
EP3701417A1 (en) 2017-10-27 2020-09-02 3M Innovative Properties Company Optical sensor systems
JP6958279B2 (ja) * 2017-11-20 2021-11-02 トヨタ自動車株式会社 情報処理装置
CN108171702A (zh) * 2018-01-18 2018-06-15 平安科技（深圳）有限公司 易损斑块识别方法、应用服务器及计算机可读存储介质
JPWO2019171565A1 (ja) * 2018-03-09 2021-03-18 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JP7101250B2 (ja) * 2018-09-04 2022-07-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法
US10721458B1 (en) * 2018-12-14 2020-07-21 Ambarella International Lp Stereoscopic distance measurements from a reflecting surface
JP2020106724A (ja) * 2018-12-28 2020-07-09 マクセル株式会社 偏光板付きホルダおよび偏光板付きレンズユニット
JP2020133329A (ja) * 2019-02-22 2020-08-31 株式会社ミツバ 情報表示体、及び、車両の情報取得システム
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
US11367292B2 (en) 2020-02-24 2022-06-21 Ford Global Technologies, Llc Road marking detection
WO2021229943A1 (ja) * 2020-05-14 2021-11-18 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
JP7286691B2 (ja) * 2021-02-19 2023-06-05 本田技研工業株式会社 判定装置、車両制御装置、判定方法、およびプログラム
CN114500771B (zh) * 2022-01-25 2024-01-30 北京经纬恒润科技股份有限公司 车载成像系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610357A (zh) * 2008-06-18 2009-12-23 株式会社理光 摄像装置及路面状态判别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138036A (ja) * 1994-11-11 1996-05-31 Nissan Motor Co Ltd 先行車両認識装置
JP3341664B2 (ja) * 1997-12-15 2002-11-05 トヨタ自動車株式会社 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
JP2003011863A (ja) * 2001-07-04 2003-01-15 Yamaha Motor Co Ltd 自動二輪車
JP2003044863A (ja) * 2001-07-30 2003-02-14 Nissan Motor Co Ltd 仕切線認識装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4157790B2 (ja) 2003-03-31 2008-10-01 名古屋電機工業株式会社 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム
JP4066869B2 (ja) * 2003-04-08 2008-03-26 トヨタ自動車株式会社 車両用画像処理装置
JP2004310625A (ja) * 2003-04-10 2004-11-04 Makoto Kurihara 写真プリントシステム
JP3945494B2 (ja) * 2004-05-11 2007-07-18 トヨタ自動車株式会社 走行レーン認識装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP4390631B2 (ja) * 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP2006058122A (ja) 2004-08-19 2006-03-02 Nagoya Electric Works Co Ltd 路面状態判別方法およびその装置
WO2007077682A1 (ja) * 2005-12-28 2007-07-12 Honda Motor Co., Ltd. 車両及びレーンマーク検出装置
US8244408B2 (en) * 2009-03-09 2012-08-14 GM Global Technology Operations LLC Method to assess risk associated with operating an autonomic vehicle control system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610357A (zh) * 2008-06-18 2009-12-23 株式会社理光 摄像装置及路面状态判别方法

Also Published As

Publication number Publication date
JP5664152B2 (ja) 2015-02-04
KR101378911B1 (ko) 2014-03-31
EP2517454A1 (en) 2012-10-31
JP2011150689A (ja) 2011-08-04
CN102668540A (zh) 2012-09-12
US20120242835A1 (en) 2012-09-27
KR20120085932A (ko) 2012-08-01
WO2011078300A1 (en) 2011-06-30
BR112012016909A2 (pt) 2018-07-03

Similar Documents

Publication Publication Date Title
CN102668540B (zh) 成像设备、车载成像系统、路面外观检测方法以及目标检测设备
CN103080978B (zh) 对象识别装置
US8908038B2 (en) Vehicle detection device and vehicle detection method
US11525906B2 (en) Systems and methods for augmentation of sensor systems and imaging systems with polarization
Bronte et al. Fog detection system based on computer vision techniques
CN102782720B (zh) 对象识别装置、移动主体控制装置及信息提供装置
US8294794B2 (en) Shadow removal in an image captured by a vehicle-based camera for clear path detection
Hautière et al. Mitigation of visibility loss for advanced camera-based driver assistance
US11367292B2 (en) Road marking detection
CN105247847A (zh) 图像处理系统
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
Yoneda et al. Sun-Glare region recognition using Visual explanations for Traffic light detection
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
JP2009059260A (ja) 立体物識別装置および立体物識別方法
Wierzbicki Application of unmanned aerial vehicles in monitoring of communication routes on country areas
Hautière¹ et al. Perception through scattering media for autonomous vehicles
CN116363614A (zh) 一种用于道路探测及偏振成像的装置及方法
CN117129002A (zh) 一种提高行车安全性的车辆导航系统
CN116878658A (zh) 一种基于透明窗的去散射成像系统
CN116912469A (zh) 一种基于透明窗的去散射成像方法
CN118061900A (zh) 车辆灯光的控制方法、装置、电子设备及可读存储介质
Mazurek et al. Utilisation of the light polarization to increase the working range of the video vehicle tracking systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151216

Termination date: 20201216