CN103810720B - 对象地点到达检知装置和方法以及移动设备控制系统 - Google Patents

对象地点到达检知装置和方法以及移动设备控制系统 Download PDF

Info

Publication number
CN103810720B
CN103810720B CN201310565722.7A CN201310565722A CN103810720B CN 103810720 B CN103810720 B CN 103810720B CN 201310565722 A CN201310565722 A CN 201310565722A CN 103810720 B CN103810720 B CN 103810720B
Authority
CN
China
Prior art keywords
object location
parallax
information
curve
approximation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310565722.7A
Other languages
English (en)
Other versions
CN103810720A (zh
Inventor
关海克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103810720A publication Critical patent/CN103810720A/zh
Application granted granted Critical
Publication of CN103810720B publication Critical patent/CN103810720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及对象地点到达检知装置、对象地点到达检知方法以及移动设备控制系统，其目的在于防止视界较差的道路坡度变化地点附近的事故发生。本发明的对象地点到达检知装置根据两个摄像部(110A，110B)拍摄的在道路上移动的车辆前方的摄像图像，检知该车辆是否到达对象地点，其特征在于，具备倾斜状态认知部(143)，用于根据上述摄像图像，输出表示该车辆到达对象地点的信号，该对象地点位于接近车辆前方的道路部分相对于该车辆正在行驶的道路部分的倾斜状态转变为下坡倾斜的下坡变化地点之前。

Description

对象地点到达检知装置和方法以及移动设备控制系统
技术领域
本发明涉及对象地点到达检知装置，该对象地点到达检测装置利用在移动表面移动的车辆或机器人等移动体的前方设置的多个摄像装置拍摄的多张摄像图像，检知该移动体是否到达对象地点。本发明还涉及对象地点到达检知方法以及移动设备控制系统。
背景技术
专利文献1公开了一种道路认知装置，该道路认知装置利用摄像装置拍摄的车辆前方的灰度图像和距离图像(视差图像信息)，计算道路上白线(车道分界线)的立体形状，进而用该白线的立体形状来确定车道的立体形状(车辆行驶方向上的路面凹凸信息)。
当车辆行驶到上坡道的顶点附近(道路从上坡转变为水平或下坡、即坡度发生变化的地点附近)时，驾驶员很难通过目视来观察该地点前方的道路状况(视界不佳)。同样，车辆行驶的道路在即将从水平转向下坡的道路坡度发生变化的地点附近，驾驶员的视界也很差。换言之，在车辆的前方道路相对于该车辆正在行使的道路(车辆正下方的道路)的倾斜状态相对地向下坡倾斜转变的地点附近，驾驶员的前方视界较差。为此，在这种视界较差的地点附近，难以发现车辆行驶方向上出现的其他车辆或行人等障碍物，容易造成驾驶前方急转弯等道路变化认知滞后，发生交通事故。
对此，如果能够在到达上述视界较差地点之前，检知车辆到达，便能够实行例如驾驶员减速警告控制或降低车速等车速调整控制等，从而防止视界较差的上述道路坡度变化地点的交通事故于未然之中。然而，目前并没有可用来检知车辆是否到达道路坡度变化地点附近(对象地点)的设备，因而无法在到达视界较差的道路坡度变化地点之前实行交通事故防范措施。不仅车辆，其他在移动表面上移动的移动体也同样不能在到达视界较差的移动表面坡度变化地点之前实行事故防范措施。
发明内容
鉴于上述背景，本发明完成了以下发明，该发明的目的在于提供一种对象地点到达检知装置和方法以及移动设备控制系统，能够防止在视界较差的移动表面坡度变化地点附近发生事故。
为了达到上述目的，本发明提供一种对象地点到达检知装置，其根据摄像装置拍摄在移动表面移动的移动体的前方所得到的摄像图像，检知该移动体是否到达对象地点，其特征在于，具备对象地点到达信号输出部，用于根据所述摄像图像，输出表示该移动体到达所述对象地点的信号，该对象地点位于下坡变化地点之前，该下坡变化地点是指，该移动体前方的移动表面部分相对于所述移动体正在移动的移动表面部分的倾斜状态转变为下坡倾斜的地点。
本发明效果如下，能够检知移动体到达视界较差的移动表面坡度变化地点附近，在移动体到达该处时，实行驾驶员减速警告控制或降低车速等车速调整控制等，防止视界较差的移动表面坡度变化地点附近的事故发生。
附图说明
图1是本实施方式的车载设备控制系统的结构模式图。
图2是构成上述车载设备控制系统的摄像单元和图像解析单元的结构模块图。
图3是用于说明用位于左右的照相机拍摄时的视差的示意图。
图4是在垂直于光透射方向的方向上观察到的上述摄像单元的摄像部中的滤光器和图象传感器的放大模式图。
图5是用于说明上述滤光器区域分割形态的示意图。
图6是本实施方式的对象地点到达检知处理的功能模块图。
图7是本实施方式的对象地点到达检知处理流程图。
图8中的(a)是一例用于说明视差图像的视差值分布的示意图，(b)是用于说明视差分布地图(V地图)的示意图，视差分布地图表示(a)的视差图像中各行的视差值频率分布。
图9中的(a)和(b)分别是一例用摄像部拍摄的灰度图像即基准图像和比较图像的示意图。
图10是一例用图9所示的基准图像和比较图像计算得到的视差图像的示意图。
图11是对从图10所示视差图像的数据所得到的行视差分布地图上的像素分布进行曲线近似而得到的曲线图。
图12中的(a)是在相对倾斜状态为平坦的情况下从侧面看到的车辆的示意图，(b)显示在(a)情况下一例摄像图像(灰度图像)上的道路区域，(c)是用于说明与(b)对应的行视差分布地图的示意图。
图13中的(a)是在相对倾斜状态为上坡的情况下从侧面看到的车辆的示意图，(b)显示在(a)情况下一例摄像图像(灰度图像)上的道路区域，(c)是用于说明与(b)对应的行视差分布地图(V地图)的示意图。
图14中的(a)是在相对倾斜状态为下坡的情况下从侧面看到的车辆的示意图，(b)显示在(a)情况下一例摄像图像(灰度图像)上的道路区域，(c)是用于说明与(b)对应的行视差分布地图(V地图)的示意图。
图15是本实施方式的倾斜状态认知部的详细功能模块图。
图16是本实施方式中对利用机械学习方法得到的学习数据进行分类得到的分类结果的示意图。
图17是本实施例涉及的一例车载设备控制系统主要部分的硬件结构模块图。
具体实施方式
以下参考附图，说明一例以采用本发明涉及的对象地点到达检知装置的车载设备控制系统作为车辆系统的实施方式。
图1是本实施方式的车载设备控制系统的结构模式图。本车载设备控制系统利用移动体即汽车等车辆100上搭载的摄像装置拍摄的该车辆行驶方向前方区域(摄像区域)的摄像图像数据，来检知该车辆前方道路(移动表面)的相对倾斜状态是否为下坡倾斜。而后根据该检知结果实行各种车载设备的控制。
本实施方式的车载设备控制系统中设有摄像单元101，该摄像单元101拍摄车辆100行使方向上的前方区域。该摄像单元101可以设置在如车辆100前窗105的后视镜(未图示)附近。通过摄像单元101的摄像所得到的各种数据，如摄像图像的数据等，被输入作为图像处理装置的图像解析单元102。图像解析单元102对摄像单元101发送的数据进行解析，用于认知道路区域(可行使区域)，或者认知车辆100前方的行使道路部分相对于车辆100正在行使的道路部分(车辆正下方的道路部分)的倾斜状态(相对倾斜状态)为下坡倾斜。
图像解析单元102的认知结果还被送往驾驶控制单元106。当驾驶控制单元106根据图像解析单元102得出的道路区域(可行使区域)的认知结果，发现车辆100偏离可行驶区域等情况时，实行驾驶助理控制，如向车辆100的驾驶员发出警告，或者控制车辆100的刹车以降低车速等。
图2是摄像单元101和图像解析单元102的结构模块图。摄像单元101作为摄像装置采用立体照相机，该立体照相机具有两个结构相同的摄像部110A和110B，摄像部110A和110B分别具备以下部件：摄像透镜111A和111B；滤光器112A和112B；传感器基板114A和114B，其中包含摄像元件均呈二维设置的图像传感器113A和113B；以及，信号处理部115A和115B，分别将传感器基板114A和114B输出的模拟电信号(图像传感器113A和113B上的受光元件的受光量)转换为数字电信号，用以生成并输出摄像图像数据。本实施方式中，灰度图像数据和视差图像数据由摄像单元101输出。
摄像单元101具备以FPGA(Field－Programmable Gate Array，现场可编程逻辑门阵列)等构成的处理硬件部120。该处理硬件部120具有视差计算部121，该视差计算部121作为视差信息生成部，用于计算摄像部110A和110B各自拍摄的摄像图像之间互相对应的图像部分的视差值，用以从摄像部110A和110B输出的灰度图像数据得到视差图像。
在此，视差值是指以摄像部110A和110B各自拍摄的摄像图像中的一方为基准图像，并以另一方为比较图像，针对摄像区域内的同一地点，计算对应该地点在比较图像上的图像部分和在基准图像上的图像部分之间的差值。基于该视差值，利用三角测量原理，可以计算(摄像元件101)到与该图像部分相对应的摄像区域内同一地点的距离。参见图3可知，左右图像中被摄体301上O点的成像位置与各自的成像中心分别相距Δ1和Δ2，此时设定视差值Δ为Δ＝Δ1+Δ2。
另一方面，图像解析单元102具备存储器130和MPU(Micro Processing Unit，微处理单元)140，存储器130用于保存摄像单元101输出的灰度图像数据和视差图像数据，MPU140内藏实行认知对象的认知处理或视差计算控制等软件。MPU140用保存在存储器130中的灰度图像数据和视差图像数据来实行各种认知处理。
图4是在垂直于光透射方向的方向上观察到的滤光器112A和112B以及图像传感器113A和113B的放大模式图。图像传感器113A和113B采用CCD(Charge Couple Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等的图像传感器，其中的摄像元件(受光元件)使用光电二极管113a。光电二极管113a按照每个像素作二维阵列布置，而且，为了提高光电二极管113a的聚光效率，在入射光电二极管113a的一方分别设置微型透镜113b。用丝焊等方法将图像传感器113A和113B焊在印刷电路板(Printed Wiring Board，PWB)上形成传感器基板114A和114B。
滤光器112A和112B位于图像传感器113A和113B的微型透镜113b一侧表面近旁。如图4所示，本实施方式的滤光器112A和112B是在透明的滤光器基板112a上形成分光滤光层112b构成的滤光器，关于分光滤光层112b的形成，除了分光滤镜以外，还可以使用偏光滤镜等其他滤光镜。上述分光滤光层112b被分割为多个区域，各区域与图像传感器113A和113B上的光电二极管113a相对应。
滤光器112A与图像传感器113A之间、以及滤光器112B与图像传感器113B之间虽然可以设有间隙，但是，将两者紧贴在一起更加便于滤光器112A与图像传感器113A的边界、以及滤光器112B与图像传感器113B的边界保持一致。例如可以用UV粘结剂将滤光器112A和图像传感器113A以及滤光器112B和图像传感器113B粘结起来，还可以在摄像的有效像素范围以外用隔离部件支持，在此状态下用UV粘结或热压的方式将有效像素以外的四周区域连接起来。
图5是用于说明本实施方式涉及的滤光器112A和112B中区域分割形态的示意图。在滤光器112A和112B中存在第一区域和第二区域两种区域，该两种区域均被设置为与图像传感器113A和113B上的某个光电二极管113a相对应。这样，图像传感器113A和113B上各光电二极管113a接受的光量随着接受的光所通过的分光滤光层112b的区域种类而变化，据此获得分光信息。
在本实施方式的滤光器112A和112B中，例如以仅选择让红色波长带的光透射的红色分光区域112r作为第一区域，并以不作波长选择地让光透射的非分光区域112c作为第二区域。如图5所示，滤光器112A和112B中的第一区域和第二区域以棋盘图案(黑白方格纵横交错)分布。据此，可从对应第一区域112r的摄像像素的输出信号中获得红色灰度图像，并从对应第二区域112的摄像像素的输出信号中获得非分光灰度图像，这样，便能够用一次摄像动作，获得对应红色灰度图像和非分光灰度图像两种摄像图像数据。这些摄像图像数据虽然少于其图像像素的数量，而如果需要获得更高分辨率的图像，可以使用公知的图像插值处理。
在本实施方式中，上述非分光的灰度图像数据可用于如车道分界线即白线的检测、车辆前方道路的相对倾斜状态为下坡倾斜的检知等。
在坡度发生变化的道路上，前方道路相对于正在行驶的道路，其坡度为进一步下坡倾斜的道路的视界通常较差。以下以即将到达这类视界较差的道路坡度变化地点之前的地点为对象地点，说明该对象地点的到达检知处理。在本实施方式中视界较差的道路坡度变化地点是指相对倾斜状态为下坡倾斜的地点。
图6是本实施方式的对象地点到达检知处理的功能模块图。图7是本实施方式的对象地点到达检知处理流程图。本实施方式的视差计算部121输入两个摄像部110A和110B拍摄的图像数据，并以其中一方的图像数据为基准图像数据，并以另一方的图像数据为比较图像数据(S1),计算两者间的视差(S2)，进而生成并输出视差图像数据。该视差图像数据用来表示视差图像，用基准图像数据计算得到的各图像部分的视差值Δ所对应的像素值作为各图像部分的像素值，构成视差图像。
具体如下。针对基准图像数据中的某一行，视差计算部121定义以一个注目像素为中心的多个像素(如16像素×1像素)构成的模块。另一方面，在比较图像数据的同一行中，将与上述定义的基准图像数据的模块相同大小的模块的每个像素向横线方向(X方向)移动，计算表示基准图像数据中经过定义的各模块的像素值特征的特征量、与表示比较图像数据中各模块的像素值特征的特征量两者之间的相关值。而后，根据该相关值进行匹配处理，选择比较图像数据的各模块中与基准图像数据中的模块最为相关的模块。而后，计算基准图像数据的模块中的注目像素、与匹配处理中选定的比较图像数据的模块的对应像素之间的位置偏离量，并以该位置偏离量为视差值Δ。在基准图像数据的整个区域或者某一特定区域进行上述视差值Δ计算处理，从而获得视差图像数据。该视差图像数据被送往作为视差直方图信息生成部的视差直方图计算部141。
在匹配处理中，可以使用例如模块内各像素的值(灰度值)作为模块特征量，并可以使用例如基准图像数据模块内的各像素的值(灰度值)与比较图像数据模块内分别对应这些像素的各像素的值(灰度值)之间的绝对差值之和作为相关值，此时，可以认为该和的值为最小的模块最为相关。
取得视差图像数据的视差直方图计算部141用于计算视差图像数据各行的视差值频率分布(S3)。以下举例说明。针对输入的具有图8中(a)所示的视差值分布的视差图像数据，视差直方图计算部141计算并输出每一行视差值频率分布。而后，根据如此得到的各行视差值频率分布信息，获得行视差分布地图(V地图)。行视差分布地图例如如图8的(b)所示的二维正交坐标系，其纵向采用视差图像上的纵向位置(摄像图像的上下位置)y，横向采用视差值Δ，视差图像数据上的各像素分布在该二维正交坐标系上。该视差图像分布地图也可以将持有随着频率而变化的像素值的像素分布在二维正交坐标系上来表示。
图9是一例用摄像部110A和110B拍摄的灰度图像即基准图像(a)和比较图像(b)的图像例示意图。图10是一例用图9所示的基准图像和比较图像计算的视差图像的示意图。在图10所示的视差图像中，各像素值对应于该像素位置上基准图像与比较图像的视差值Δ。该图中以标记A、B、C表示的对象对应于车辆前方的其他车辆的图像部分的视差值Δ。此外，图中的标记RS表示的对象对应于车辆前方的道路区域的视差值Δ。该道路区域RS是以中央分道带或道路落差来划分车道的可供车辆行驶的道路。
在本实施方式中，道路区域认知部142根据视差直方图计算部141输出的各行视差值频率分布信息来认知道路区域RS。具体为，道路区域认知部142首先从视差直方图计算部141取得各行视差值频率分布信息，根据该信息确定行视差分布地图，并对行视差分布地图上的像素分布进行曲线近似处理。与此同时，还可以对行视差分布地图实行孤立杂质去除处理、平滑处理、以及二值化处理。
图11是对在图10所示视差图像的数据所得到的行视差分布地图(V地图)上的像素分布进行曲线近似得到的曲线图。图10所示的视差图像是相对倾斜状态较为平坦的道路的视差图像。为此，对行视差分布地图上的像素分布进行近似得到接近直线的曲线图。由此得到的图11所示的近似曲线(近似直线)中与视差图像下部相对应的行视差分布地图下部中的直线呈现为越到图像上部视差值Δ越小的斜线，换言之，分布于该近似曲线上或附近的像素(视差图像上的像素)是一些在视差图像上的各行之间保持大致相同距离且占有率最高、而且在摄像图像中越往图像上部距离就连续性地离得越远的对象的像素。
在此，由于用搭载于车辆内部的摄像部110A拍摄车辆前方区域，因而该视差图像的内容如图10所示，图像下部的路面区域RS的占有率为最高，而且越到图像上部，道路区域RS的视差值Δ便越小。在同一行(横线)内，构成道路区域RS的像素大致具有相同的视差值Δ。为此，在用视差直方图计算部141输出的各行视差值频度分布信息来确定的、分布于上述行视差分布地图(V地图)上的近似曲线(近似直线)上或近似曲线附近的像素便符合构成道路区域RS的像素所具有的特征。据此，能够高精度地推断出，分布于图11所示的近似曲线上或近似曲线附近的像素即为构成道路区域RS的像素。
如上所述，本实施方式的道路区域认知部142在基于视差直方图计算部141得到的各行视差值频率分布信息算出的行视差分布地图(V地图)上进行曲线近似，并将分布于该近似曲线上或该近似曲线附近的像素作为表示道路的像素，进而将该像素构成的图像区域认作为道路区域RS。如图9的(a)和(b)所示，虽然道路上还存在白线，但是道路区域认知部142认知的道路区域RS包含该白线的图像部分。
道路区域认知部142的认知结果被送往其后的处理部供在各种处理中使用。例如在如车内图像显示装置即监控显示器103上显示用摄像单元101拍摄的该车辆前方的摄像图像时，利用道路区域认知部142的认知结果，实行方便识别道路区域RS的显示处理，如在显示图像上强调显示对应的道路区域RS等。
另一方面，从视差直方图计算部141输出的各行视差值频率分布信息还被送往作为对象地点到达信号输出部的倾斜状态认知部143。倾斜状态认知部143根据视差直方图计算部141输出的各行视差值频率分布信息，首先选出一组符合道路区域RS的像素特征的视差值。具体为，从具有超过设定规定值的频率的视差值Δ中，选出一组符合越到图像上部值越小这一特征的视差值Δ。具有该特征的视差值便为对应于图11所示的近似曲线(近似值线)的视差值。这样，倾斜状态认知部143对行视差分布地图(V地图)上的像素分布进行曲线近似(S4)，而后选定分布于该近似曲线上或该近似曲线附近的像素的视差值Δ(S5)。
而后，倾斜状态认知部143从选定的视差值(对应道路区域RS的视差值)中抽取位于图像最上部的最小视差值Δ0(S6)。该最小视差值Δ0所属的行表示道路区域RS的顶部在摄像图像上的纵向位置(在图像上的高度)。
在如图12的(a)所示的相对倾斜状态为平坦的情况下，摄像图像中的道路区域RS呈现为如图12的(b)所示。基于该摄像图像的行视差分布地图(V地图)的近似曲线如图12的(c)所示，呈直线形状。而在如图13的(a)所示的相对倾斜状态为上坡的情况下，其摄像图像中的道路区域RS呈现为如图13的(b)所示。基于该摄像图像的行视差分布地图(V地图)的近似曲线如图13的(c)所示的曲线。与此相反，在如图14的(a)所示的相对倾斜状态为下坡的情况下，其摄像图像中的道路区域RS呈现为如图14的(b)所示。基于该摄像图像的行视差分布地图(V地图)的近似曲线如图14的(c)所示的曲线。
本实施方式在车辆100到达驾驶员视界变差的地点之前，检知即将到达视界较差的地点，实行防止在该地点发生事故的预防措施。具体来说，在车辆100到达相对倾斜状态即将转变为下坡倾斜的坡度变化地点(图14(a)所示的地点)之前，检知即将到达该坡度变化地点，实行警告控制，警告驾驶员减速，或者实行车速调整控制，让车辆100减速。
对应于道路区域RS的视差值Δ具有越往摄像图像上部其值便越小的特征，根据该特征，无论道路的相对倾斜状态如何变化，其视差值Δ的近似曲线均会呈现如图12(c)或图13(c)或图14(c)的左侧所示的特征。该近似曲线的大致的形态根据道路的相对倾斜状态不同而如图12(c)、图13(c)、图14(c)所示互不相同。具体为，在相对倾斜形态为平坦的地点，近似曲线的特征为直线。在相对倾斜形态为转变为上坡倾斜的地点，近似曲线的特征为斜率逐渐变大(曲率半径逐渐变小)的曲线。在相对倾斜形态转变为下坡倾斜的地点，近似曲线的特征为斜率逐渐变小(曲率半径逐渐变大)的曲线。因而，可以根据上述不同的特征，来判断近似曲线的大致形态，从而检知是否到达相对倾斜状态即将转变为下坡倾斜的下坡变化地点，并输出判断结果(S7、S8)。
以下详细说明用于检知车辆100是否即将到达相对倾斜形态转变为下坡倾斜的下坡变化地点附近的(图14(a)所示地点)的处理内容及控制内容。
在检知车辆100是否即将到达相对倾斜形态转向下坡变化地点附近的(图14(a)所示地点)的检知处理中，如图15所示，可将倾斜状态认知部143的功能分割成道路对应视差值选择部151、对象地点特征量抽取部152、对象地点到达判断部153、特征量学习数据输入部154。
道路对应视差值选择部151用于根据视差直方图计算部141输出的各行视差值频率分布信息，生成用来确定近似曲线的近似曲线信息，该近似曲线即为对上述行视差分布地图(V地图)上的像素分布进行曲线近似得到的近似曲线，而后选择分布于该近似曲线上或该近似曲线附近的像素的视差值。
关于近似曲线信息的生成可以使用各种公知的曲线近似方法，本实施方式采用多项式近似方法，用下式(1)所示的多项式来近似。在此，多项式的次方数n可以适当地在事先的认知实验中设定。
y＝A0+A1Δ+A2Δ2+A3Δ3+...+AnΔn (1)
对于上述多项式的各项系数A0、A1、A2…、An，例如可以用最小二乘法来求得。即用多个地点(yi，Δi)的值，用下式(2)计算，用最小二乘法求出多项式的各项系数。
对象地点特征量抽取部152抽取用来判断车辆100是否到达相对倾斜形态转变为下坡倾斜的下坡变化地点附近(对象地点)的对象地点特征量。本实施方式抽取用多项式近似得到的多项式的系数A0、A1、A2…、An以及上述最小视差值Δ0作为该对象地点特征量。具体为抽取多项式中的系数A2和Δ0作为对象地点特征量。
对象地点到达判断部153用于判断用对象地点特征量抽取部152抽取的对象地点特征量(A2，Δ0)是否满足车辆100到达相对倾斜形态转变为下坡倾斜的下坡变化地点附近(对象地点)时的特征量条件。
具体为预先准备在一或两个以上对象地点拍摄的摄像图像以及在一或两个非对象地点拍摄的摄像图像，分别抽取对这些摄像图像进行上述曲线近似时的多项式系数A0、A1、A2…、An和最小视差值Δ0。本实施方式用如上述得到的学习数据，并通过SVM(SupportVector Machine，支持向量机)的机械学习方法，用对应对象地点的学习数据和不对应对象地点的学习数据，来确定用来对对应对象地点的学习数据和不对应对象地点的学习数据进行适当分类的评价函数。具体如下，用学习数据求出下式(3)表示的评价函数的各项系数k0、k1、k2...kn和最小视差值kΔ。
K＝k0×A0+k1×A1+k2×A2+k3×A3+...+kn×An+kΔ×Δ0 (3)
图16是本实施方式利用机械学习方法对学习数据进行分类的分类结果的示意图。该图是以对象地点特征量的多项式系数A2为纵轴、且以最小视差值kΔ为横轴的二维正交坐标系，该坐标系统显示了学习数据的分布和适当的阀值Kthre。图中，“○”为在对象地点即在接近下坡变化地点之前拍摄的摄像图像的特征量(A2，Δ0)的打点，“×”为在各种非对象地点拍摄的摄像图像的特征量(A2，Δ0)的打点。在此，上述阀Kthre值被保存在倾斜基准信息存储部144中。
对象地点到达判断部153用于在判断对象地点特征量抽取部152抽取的对象地点特征量(A2，Δ0)是否满足特征量条件时，将该对象地点特征量(A2，Δ0)代入上式(3)表示的评价函数，计算评价值K，而后，判断该评价值K是否满足所谓的特征量条件，即是否大于用SVM的机械学习获得并保存在倾斜基准信息存储部144中的阀值Kthre。如果评价值K大于阀值Kthre，判断满足对象地点到达条件，输出表示到达对象地点的判断结果。而如果评价值K为阀值Kthre以下，则判断未满足对象地点到达条件，并输出表示未到达对象地点的判断结果。
在判断是否满足特征量条件的过程中，本实施方式使用了上述多项式中的一个系数A2，但是本发明并不受此限制。例如，还可以用上述多项式中除A2以外的其他系数来判断，判断时使用的多项式中的系数既可以是一个系数，也可以是多个系数。用一个系数判断有利于减少误认，而用多个系数判断，则有利于对复杂形状的认知。因而可根据认知对象来选择用一个系数判断还是用多个系数判断。
如上所述，由倾斜状态认知部143的对象地点到达判断部153输出的表示到达对象地点(接近下坡变化地点之前)的判断结果被送往之后的处理部，供在各种处理中使用。例如，将该判断结果送往车辆驾驶控制单元106，用于各种驾驶助理控制，如车速控制，对车辆100进行减速，或在监控显示器103上显示警告，要求低速行驶。
摄像部110A拍摄的灰度图像数据被送往灰度图像边缘抽取部145。灰度图像边缘抽取部145抽取灰度图像中像素值(灰度)发生规定值以上变化的部位作为边缘部分，并基于该抽取结果生成灰度边缘图像数据。该灰度图像数据为用边缘部分和非边缘部分的二值表示的图像数据。边缘抽取方法可以广泛利用公知方法。灰度图像边缘抽取部145生成的灰度边缘图像数据被送往白线认知处理部149。
白线认知处理部149根据灰度边缘图像数据认知呈现路面上白线的白线图像部。通常白线形成在道路的接近黑色的路面上，因而，灰度图像上的白线图像部分的灰度大于道路上其他部分的灰度，为此，在灰度图像上，灰度差在规定值以上的边缘部为白线边缘部的可能性较大。此外，摄像图像中呈现道路上的白线的白线图像部呈线形，为此，可通过确定以线形连接的边缘部，来高精度地认知白线的边缘部。本实施方式的白线认知处理部149对灰度图像边缘抽取部145抽取的灰度边缘图像数据实行最小二乘法或霍夫变换(Hough变换)等直线近似处理，将获得的近似直线作为白线的边缘部(白线图像部)来认知。
上述白线认知结果被送往之后的处理部，供在各种处理中使用。例如可以在车辆100将要脱离正在行驶的车道等时，实行驾驶助理控制，如向驾驶员发出警告，或者控制方向盘或刹车等。
在白线认知处理中，利用上述道路区域认知部142认知的道路区域RS的认知结果，以道路区域RS内的灰度边缘部为对象进行白线图像部的认知处理，有助于减轻认知处理负担并提高认知精度。
以下说明一例涉及上述车载设备控制系统的硬件结构的实施例。图17是本实施例涉及的一例车载设备控制系统的主要部分的硬件结构模块图。被摄体光通过位于摄像单元101左右用于摄像的光学系统701和702，分别入射CMOS703和704。CMOS703和704将在摄像面上成像的光像转换成电信号，并将该电信号作为模拟图像数据输出。CMOS703和704输出的图像信息通过CDS(Correlated Double Sampling，相关双采样)电路705和706去除其中的杂质成分，并通过A/D转换器707和708转换成数字信号，而后被输出到图像处理电路709和710。图像处理电路709和710使用暂时保存图像数据的SDRAM(Synchronous DRAM，同步动态随机存储器)712。而后实行YCrCb转换处理、以及白平衡控制处理、对比度补偿处理、边缘增强处理、色转换处理等各种图像处理。其中，白平衡控制处理用于调整图像的色浓度，对比度补偿处理用于调整图像信息的对比度。边缘强调处理用于调整图像信息的清晰度，色转换处理用于调整图像信息的配色。
图像信息经过信号处理和图像处理后，经由缩放电路713保存到存储卡714中。缩放电路713用于将图像处理电路709和710输出的图像信息压缩后送往存储卡714，或者将从存储卡714读取的图像信息扩展后输出到图像处理电路709和710中。CPU711通过定时信号发生器718对CMOS703和704、CDS电路705和706、以及A/D转换器707和708进行定时控制。进而，CPU711也通过主线连接并控制图像处理电路709和710、缩放电路713、存储卡714等。
CPU711执行用于实行上述对象地点到达检知处理的对象地点到达检知用程序等各种程序进行各种运算处理。CPU711还通过主线连接ROM(Rea Only Memary，只读存储器)716和RAM(Random Access Memory，随机访问存储器)等。ROM716是用于存放程序等读取专用存储器。RAM717是具有在各种处理过程中利用的工作区域、以及各种数据存放区域等的随机读写存储器。
CPU711执行对象地点到达检知用程序，起到上述视差计算部121、视差直方图计算部141、道路区域认知部142、倾斜状态认知部143、灰度图像边缘抽取部145、白线认知处理部149等功能部的作用。也可以将这些功能部的一部分或全部形成为模块结构。
上述是本发明的一个实施例，本发明以下各形态具有各自独特的效果。
<形态A>
一种对象地点到达检知装置，其根据两个摄像部110A和110B等摄像装置拍摄的在道路(移动表面)上移动的车辆100(移动体)前方的摄像图像，检知该车辆100是否到达对象地点，其特征在于，具备如对象地点到达判断部153等对象地点到达信号输出部，用于根据上述摄像图像，输出表示该车辆到达上述对象地点的信号，该对象地点位于即将到达下坡变化地点之前，该下坡变化地点是指，车辆前方的道路部分相对于该车辆正在行驶的道路部分的倾斜状态转变为下坡倾斜的地点。
利用本形态，能够检知车辆100即将到达视界较差的下坡变化地点，从而在到达该下坡变化地点之前实行警告控制，向驾驶员发出减速警告，或实行车速调节控制，减小车速。其结果为，有助于防止视界较差的下坡变化地点附近的事故发生。
<形态B>
本形态基于上述形态A，其特征在于，进一步具备以下各部：视差信息生成部，如视差计算部12等，用于根据两个摄像部110A和110B等多个摄像装置拍摄的多张摄像图像，生成视差信息；视差直方图信息生成部，如视差直方图计算部141等，用于根据该视差信息，生成视差直方图信息，该视差直方图信息表示纵向分割所述摄像图像而得到的多个行区域各自的视差值Δ的频率分布；以及，近似曲线信息生成部，如道路对应视差值选择部151，根据该视差直方图信息，从具有频率大于预设的规定值的视差值Δ中选择一组符合越到所述摄像图像上部所述视差值越小之特征的视差值Δ，并生成该一组视差值Δ的近似曲线信息，当所述近似曲线信息满足预设的对象地点到达条件时，所述对象地点到达信号输出部输出表示车辆到达对象地点的信号。
本形态基于生成的视差直方图信息，从具有超过规定值的频率的视差值中选定一组符合越到所述摄像图像上部视差值越小之特征的视差值。在此的视差值是指代表属于该视差值附近一定范围的视差值范围的值。如以下将要叙述的，能够以相当高的精确度来推断，与符合上述特征的一组视差值相对应的摄像图像上的像素即是摄像图像中构成车辆前方道路的道路图像区域的像素。为此，可以认为上述选定的一组视差值相当于摄像图像中与道路图像区域相对应的各行区域的视差值。
在此考虑车辆在即将达到下坡变化地点之前的情况，即车辆即将到达相对倾斜状态、即该车辆前方道路的倾斜状态相对于车辆正在行驶的道路部分的倾斜状态将转向下坡倾斜的地点附近时的情况，而此时驾驶员的视界较差。在这种情况下，摄像图像上的行区域中呈现的道路部分比倾斜状态为平坦(相对倾斜状态没有变化)时呈现的道路部分更加遥远。为此，对于与摄像图像上的道路图像区域相对应的同一个行区域的视差值来说，相对倾斜状态为下坡时的视差值小于平坦时的视差值。在相对倾斜状态为平坦时，与摄像图像上的道路图像区域相对应的行区域的视差值随着行区域向摄像图像上方上升而直线性减小。而在相对倾斜状态为下坡倾斜时，道路相对倾斜状态变化缓慢，为此，各行区域的视差值随着行区域向摄像图像上方上升而曲线性减小。据此，能够根据被选定的符合越到摄像图像上部视差值越小之特征的一组视差值的近似曲线，来判断车辆前方道路的相对倾斜状态是否为下坡倾斜，从而在车辆即将到达视界较差的下坡变化地点之前检知这一情况。其结果为，能够在即将到达该下坡变化地点之前实行警告控制，向驾驶员发出减速警告，或实行车速调节控制，减小车速，有助于防止视界较差的下坡变化地点附近的事故发生。
在此，设与车辆正在行驶的道路部分平行的平面向车辆前方延长而得到面为假想延长面，上述相对倾斜状态是指，如果与各行区域对应的道路部分位于该假想延长面上方，则该行区域所对应的道路部分的相对倾斜状态为上坡倾斜，而如果与各行区域对应的道路部分位于该假想延长面下方，则该行区域所对应的道路部分的相对倾斜状态为下坡倾斜。
<形态C>
本形态基于上述形态B，其特征在于，所述对象地点到达信号输出部从所述近似曲线信息中抽取对象地点特征量(A2，Δ0)，并且在该被抽取的对象地点特征量满足预设的特征量条件(K＞Kthre)时，判断满足所述对象地点到达条件，输出表示车辆到达对象地点的信号。
利用本形态，能够简化车辆到达视界较差的下坡变化地点之前进行的判断处理，并且迅速地作出判断。
<形态D>
本形态基于上述形态B或C，其特征在于，所述近似曲线信息用于确定二维正交坐标系中所述被选定的一组视差值Δ的近似曲线，该二维正交坐标系以所述摄像图像的纵向位置y和视差值为坐标轴。
利用本形态，有助于方便生成近似曲线信息。
<形态E>
本形态基于上述形态C，其特征在于，所述近似曲线信息是以多项式表示的近似曲线的信息，所述对象地点到达信号输出部抽取所述近似曲线信息所对应的多项式的系数A2以及所述被选定的一组视差值中最小视差值Δ0作为所述对象地点特征量，当该对象地点特征量(A2，Δ0)满足规定的特征量条件(K＞Kthre)时，判断满足所述规定的对象地点到达条件，输出表示车辆到达对象地点的信号。
利用本形态，能够简化车辆到达视界较差的下坡变化地点之前进行的判断处理，并且迅速地作出判断。
<形态F>
本形态基于上述形态B～E中任意一形态，其特征在于，所述对象地点到达信号输出部用预先拍摄的所述对象地点以及非对象地点的摄像图像作为学习数据，判断所述近似曲线信息是否满足所述对象地点到达条件。
利用本形态，能够合理地判断近似曲线信息是否满足规定的对象地点到达条件。
<形态G>
一种对象地点到达检知方法，其根据设置于在道路(移动表面)上移动的车辆100(移动体)前方的摄像装置拍摄的摄像图像，检知该车辆100是否到达对象地点，其特征在于，具备以下各步骤：视差信息生成步骤，根据两个摄像部110A和110B等多个摄像装置拍摄的多张摄像图像，生成视差信息；视差直方图信息生成步骤，根据该视差信息，生成视差直方图信息，该视差直方图信息表示纵向分割所述摄像图像形成的多个行区域各自的视差值Δ的频率分布；近似曲线信息生成步骤，根据该视差直方图信息，从具有频率大于预设的规定值的视差值Δ中选定一组符合越往所述摄像图像的上部视差值越小之特征的视差值Δ，并生成该一组视差值Δ的近似曲线信息；以及，对象地点到达信号输出步骤，当所述近似曲线信息满足预设的对象地点到达条件时，输出表示车辆到达对象地点的信号。
利用本形态，能够检知车辆100即将到达视界较差的下坡变化地点，从而在到达该下坡变化地点之前实行警告控制，向驾驶员发出减速警告，或实行车速调节控制，减小车速。其结果为，有助于防止视界较差的下坡变化地点的事故发生。
上述对象地点到达检知方法可以编制成供计算机执行的对象地点到达检知用程序。该程序可以保存到CD-ROM等记录媒体中，以记录媒体等状态来颁发销售，或着购买该记录媒体。另外，还可以以规定的送信设备，通过公用电话线或专用线以及其他通信网络，发送附有该计算机应用程序的信号，用以颁发或接收该程序。收发信时，只需要在传送媒体中传送计算机程序中至少一部分便可。换言之，并不需要构成计算机程序的所有数据一时性地存在于传送媒体之上。附有该程序的信号是指以包含计算机应用程序的规定的传送波来实现的计算机数据信号。利用规定的送信设备来发送计算机程序的送信方法中包含以连续发送和间歇发送两种方式来发送构成程序的数据。
<形态H>
一种移动体设备控制系统，其中具备以下各部：信息检知部，用于检知道路(移动表面)上移动的车辆100(移动体)周围的信息；以及，移动体设备控制部，如车辆驾驶控制单元106等，用于根据所述信息检知部输出的检知信号，来控制车辆的方向盘、刹车或该车辆搭载的监控显示器103等规定的设备，该移动体设备控制系统的特征在于，用上述形态A～F中任意一种形态涉及的对象地点到达检知装置作为所述信息检知部。
利用本形态，能够检知车辆100即将到达视界较差的下坡变化地点，从而在到达该下坡变化地点之前实行警告控制，向驾驶员发出减速警告，或实行车速调节控制，减小车速。其结果为，有助于防止在视界较差的下坡变化地点周围发生事故。

Claims (7)

1.一种对象地点到达检知装置，其根据摄像装置拍摄在移动表面移动的移动体的前方所得到的摄像图像，检知该移动体是否到达对象地点，其特征在于，具备以下各部：对象地点到达信号输出部，该对象地点到达信号输出部用于根据所述摄像图像，输出表示该移动体到达所述对象地点的信号，该对象地点位于接近下坡变化地点之前，该下坡变化地点是指，该移动体前方的移动表面部分相对于所述移动体正在移动的移动表面部分的倾斜状态转变为下坡倾斜的地点；视差信息生成部，用于根据多个所述摄像装置拍摄的多张摄像图像，生成视差信息；视差直方图信息生成部，用于根据该视差信息，生成视差直方图信息，该视差直方图信息表示纵向分割所述摄像图像而得到的多个行区域各自的视差值的频率分布；以及，近似曲线信息生成部，用于根据该视差直方图信息，从频率大于预设的规定值的视差值中选择一组符合越到所述摄像图像上部所述视差值越小之特征的视差值，并生成该一组视差值的近似曲线信息，当所述近似曲线信息满足预设的对象地点到达条件时，所述对象地点到达信号输出部输出表示所述移动体到达所述对象地点的信号。
2.根据权利要求1所述的对象地点到达检知装置，其特征在于，所述对象地点到达信号输出部从所述近似曲线信息中抽取对象地点特征量，并且在所抽取的对象地点特征量满足预设的特征量条件时，判断满足所述对象地点到达条件，输出表示所述移动体到达所述对象地点的信号。
3.根据权利要求2所述的对象地点到达检知装置，其特征在于，所述近似曲线信息用于确定二维正交坐标系中所选择的一组视差值的近似曲线，该二维正交坐标系以所述摄像图像的纵向位置和视差值为坐标轴。
4.根据权利要求3所述的对象地点到达检知装置，其特征在于，所述近似曲线信息是以多项式表示的近似曲线的信息，所述对象地点到达信号输出部抽取所述近似曲线信息所对应的多项式的系数以及所选择的一组视差值中的最小视差值作为所述对象地点特征量，当该对象地点特征量满足预设的特征量条件时，判断满足所述对象地点到达条件，输出表示所述移动体到达所述对象地点的信号。
5.根据权利要求2～4中任意一项所述的对象地点到达检知装置，其特征在于，所述对象地点到达信号输出部用预先拍摄的所述对象地点以及非对象地点的摄像图像作为学习数据，判断所述近似曲线信息是否满足所述对象地点到达条件。
6.一种对象地点到达检知方法，其根据摄像装置拍摄在移动表面移动的移动体的前方所得到的摄像图像，检知该移动体是否到达对象地点，该对象地点到达检知方法的特征在于，具备以下各步骤：
视差信息生成步骤，根据多个所述摄像装置拍摄的多张摄像图像，生成视差信息；
视差直方图信息生成步骤，根据该视差信息，生成视差直方图信息，该视差直方图信息表示纵向分割所述摄像图像而得到的多个行区域各自的视差值的频率分布；
近似曲线信息生成步骤，根据该视差直方图信息，从频率大于预设的规定值的视差值中选择一组符合越到所述摄像图像上部所述视差值越小之特征的视差值，并生成该一组视差值的近似曲线信息；以及，
对象地点到达信号输出步骤，当所述近似曲线信息满足预设的对象地点到达条件时，输出表示所述移动体到达所述对象地点的信号，该对象地点位于接近下坡变化地点之前，该下坡变化地点是指，该移动体前方的移动表面部分相对于正在受到所述移动体移动接触的移动表面部分的倾斜状态转变为下坡倾斜的地点。
7.一种移动体设备控制系统，其中具备以下各部：
信息检知部，用于检知移动表面上移动的移动体周围的信息；以及，
移动体设备控制部，用于根据所述信息检知部输出的检知信号，来控制搭载于所述移动体上的规定的设备，
该移动体设备控制系统的特征在于，用权利要求1～5中任意一项所述的对象地点到达检知装置作为所述信息检知部。
CN201310565722.7A 2012-11-13 2013-11-13 对象地点到达检知装置和方法以及移动设备控制系统 Active CN103810720B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-249684 2012-11-13
JP2012249684 2012-11-13
JP2013175175A JP6376429B2 (ja) 2012-11-13 2013-08-27 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
JP2013-175175 2013-08-27

Publications (2)

Publication Number Publication Date
CN103810720A CN103810720A (zh) 2014-05-21
CN103810720B true CN103810720B (zh) 2017-12-01

Family

ID=49619790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310565722.7A Active CN103810720B (zh) 2012-11-13 2013-11-13 对象地点到达检知装置和方法以及移动设备控制系统

Country Status (4)

Country Link
US (1) US9189690B2 (zh)
EP (1) EP2731076A3 (zh)
JP (1) JP6376429B2 (zh)
CN (1) CN103810720B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101655553B1 (ko) * 2014-10-29 2016-09-08 현대자동차주식회사 운전자 보조 장치 및 방법
EP3023907A1 (en) * 2014-11-20 2016-05-25 Autoliv Development AB Gradient detection based on perspective-transformed image
JP6459443B2 (ja) 2014-11-28 2019-01-30 株式会社リコー 検知装置、検知システム、検知方法及びプログラム
JP2016140030A (ja) 2015-01-29 2016-08-04 株式会社リコー 画像処理装置、撮像装置、及び画像処理プログラム
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置
CN105223756B (zh) * 2015-10-06 2018-03-09 瑞声光电科技(常州)有限公司 阵列式镜头模组
JP6728634B2 (ja) 2015-11-04 2020-07-22 株式会社リコー 検知装置、検知方法及びプログラム
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6541590B2 (ja) * 2016-02-03 2019-07-10 クラリオン株式会社 カメラキャリブレーション装置
JP6786635B2 (ja) * 2018-05-15 2020-11-18 株式会社東芝 車両認識装置および車両認識方法
US10676129B2 (en) * 2018-06-25 2020-06-09 Steering Solutions Ip Holding Corporation Driver notification using handwheel actuators in steer-by-wire systems
KR102212229B1 (ko) * 2018-11-07 2021-02-05 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
JP7206172B2 (ja) * 2019-09-19 2023-01-17 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410346A (en) * 1992-03-23 1995-04-25 Fuji Jukogyo Kabushiki Kaisha System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US6477260B1 (en) * 1998-11-02 2002-11-05 Nissan Motor Co., Ltd. Position measuring apparatus using a pair of electronic cameras
US6985619B1 (en) * 1999-09-22 2006-01-10 Fuji Jukogyo Kabushiki Kaisha Distance correcting apparatus of surroundings monitoring system and vanishing point correcting apparatus thereof
US7650217B2 (en) * 2005-06-30 2010-01-19 Hitachi, Ltd. Adaptive cruise control system and navigation system's media with vehicle control information included

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
RU2000128606A (ru) 2000-11-15 2002-10-27 Тойота Дзидося Кабусики Кайся (Jp) Устройство распознавания дорожной поверхности
KR100418763B1 (ko) * 2000-12-28 2004-02-18 현대자동차주식회사 노면경사 측정방법 및 이를 이용한 차량 속도 제어 시스템
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP2007147458A (ja) * 2005-11-28 2007-06-14 Fujitsu Ltd 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP2010018223A (ja) * 2008-07-14 2010-01-28 Mazda Motor Corp 車両用走行路面検出装置
JP5188452B2 (ja) 2009-05-22 2013-04-24 富士重工業株式会社 道路形状認識装置
WO2011014482A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Parking assist system
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5039765B2 (ja) * 2009-09-17 2012-10-03 日立オートモティブシステムズ株式会社 車両制御装置
JP5502448B2 (ja) * 2009-12-17 2014-05-28 富士重工業株式会社 路面形状認識装置
JP5276637B2 (ja) * 2010-09-08 2013-08-28 富士重工業株式会社 車線推定装置
JP5693994B2 (ja) * 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP2012257022A (ja) * 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
JP5352869B2 (ja) * 2011-09-07 2013-11-27 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410346A (en) * 1992-03-23 1995-04-25 Fuji Jukogyo Kabushiki Kaisha System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US6477260B1 (en) * 1998-11-02 2002-11-05 Nissan Motor Co., Ltd. Position measuring apparatus using a pair of electronic cameras
US6985619B1 (en) * 1999-09-22 2006-01-10 Fuji Jukogyo Kabushiki Kaisha Distance correcting apparatus of surroundings monitoring system and vanishing point correcting apparatus thereof
US7650217B2 (en) * 2005-06-30 2010-01-19 Hitachi, Ltd. Adaptive cruise control system and navigation system's media with vehicle control information included

Also Published As

Publication number Publication date
US20140133699A1 (en) 2014-05-15
EP2731076A3 (en) 2016-06-01
JP6376429B2 (ja) 2018-08-22
CN103810720A (zh) 2014-05-21
US9189690B2 (en) 2015-11-17
JP2014115980A (ja) 2014-06-26
EP2731076A2 (en) 2014-05-14

Similar Documents

Publication Publication Date Title
CN103810720B (zh) 对象地点到达检知装置和方法以及移动设备控制系统
CN103455812B (zh) 目标识别系统和目标识别方法
CN103731652B (zh) 移动面分界线认知装置和方法、以及移动体设备控制系统
CN103764448B (zh) 图像处理装置及图像处理方法
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
CN105313782B (zh) 车辆行驶辅助系统及其方法
US20200349366A1 (en) Onboard environment recognition device
CN102646343B (zh) 车辆检测装置
JP4956452B2 (ja) 車両用環境認識装置
JP4876080B2 (ja) 環境認識装置
WO2006121088A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6687039B2 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
JP5260696B2 (ja) エッジ点抽出装置、車線検出装置、およびプログラム
JP6753134B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
CN104952064A (zh) 视差值计算装置、物体识别系统、视差值计算方法
WO2016208198A1 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
CN108470142A (zh) 基于逆透视投影和车道距离约束的车道定位方法
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
JP2022152922A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
CN108460348A (zh) 基于三维模型的道路目标检测方法
CN104488011B (zh) 图像处理设备、成像设备、可移动体及区域设定方法
JP2009134591A (ja) 車色判定装置、車色判定システム及び車色判定方法
CN111260698B (zh) 双目图像特征匹配方法及车载终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant