CN105270263A - 车辆驾驶辅助装置及车辆 - Google Patents

车辆驾驶辅助装置及车辆 Download PDF

Info

Publication number
CN105270263A
CN105270263A CN201510382881.2A CN201510382881A CN105270263A CN 105270263 A CN105270263 A CN 105270263A CN 201510382881 A CN201510382881 A CN 201510382881A CN 105270263 A CN105270263 A CN 105270263A
Authority
CN
China
Prior art keywords
mentioned
state
road surface
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510382881.2A
Other languages
English (en)
Other versions
CN105270263B (zh
Inventor
李韩星
崔铢焕
梁宰赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105270263A publication Critical patent/CN105270263A/zh
Application granted granted Critical
Publication of CN105270263B publication Critical patent/CN105270263B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及车辆驾驶辅助装置及车辆。本发明实施例的车辆驾驶辅助装置包括：立体摄像头；存储器，用于存储将道路面状态区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据；以及处理器，基于从立体摄像头接收的立体图像及上述道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。由此，能够识别道路面状态。

Description

车辆驾驶辅助装置及车辆
技术领域
本发明涉及车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆，更详细地，涉及可识别道路面状态的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆。
背景技术
车辆为搭乘的使用人员向所需的方向进行移动的装置。代表性地，可例举汽车。
另一方面，为了利用车辆的使用人员的便利，正处于设置各种传感器和电子装置等的趋势。尤其，为了使用人员的驾驶的便利，正开发出多种装置。
发明内容
本发明目的在于，提供可识别道路面状态的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆。
用于达成上述目的的本发明实施例的车辆驾驶辅助装置包括：立体摄像头；存储器，用于存储将道路面状态区分为干燥(dry)状态、潮湿(wet)状态、有雪(snow)状态、有冰(ice)状态的道路面数据；以及处理器，基于从立体摄像头接收的立体图像及上述道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，用于达成上述目的的本发明实施例的车辆包括：转向驱动部，用于驱动转向装置；制动器驱动部，用于驱动制动装置；控制部，用于控制转向驱动部及制动器驱动部；立体摄像头；存储器，用于存储将道路面状态区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据；以及处理器，基于从立体摄像头接收的立体图像及道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
本发明一实施例的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆基于从立体摄像头接收的立体图像以及区分为干燥状态、潮湿状态、有雪状态、有冰状态并被存储的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态，从而能够识别道路面状态。
另一方面，通信部可将从立体摄像头的立体图像传送给移动终端或服务器，并从移动终端或服务器接收将道路面状态区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据，由此，能够识别路面状态。
并且，通信部从移动终端或服务器接收时间信息、季节信息、天气信息中的至少一种信息，处理器基于时间信息、季节信息、天气信息中的至少一种信息和道路面数据以及从立体摄像头接收的立体图像，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态，从而能够识别道路面状态。
另一方面，处理器生成并输出车辆的行驶路径或行驶预定路径以及与确定的道路面状态信息相对应的、制动驱动信号及转向驱动信号中的至少一种，从而能够使考虑到道路面状态的车辆稳定地行驶。
另一方面，基于立体图像，当检测对象时，利用立体图像来计算视差，并且基于视差信息，能够检测对象，从而能够缩短数据处理速度等。
附图说明
图1为示出本发明的一实施例的设有立体摄像头的车辆外观的图。
图2为示出附着于图1的车辆的立体摄像头的外观的图。
图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。
图4a至图4b例示图3a至图3b的处理器的内部框图的多种例。
图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。
图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。
图7为图1的车辆的电子控制装置的内部框图的一例。
图8为示出本发明一实施例的车辆驾驶辅助装置的工作方法的顺序图。
图9a至图18为为了说明图8的工作方法而参照的图。
具体实施方式
以下，参照附图对本发明进行详细说明。
对于在以下说明中使用的结构要素的词尾“模块”及“部”仅是考虑本说明书的制作便利性而赋予的词，其本并不赋予特别重要的意义或作用。因此，也能以相互混用的方式使用上述“模块”及“部”。
在本说明书中记述的车辆可为包括汽车、摩托车的概念。以下，以汽车作为主要的车辆进行记述。
另一方面，在本说明书中记述的车辆可为包括具有引擎的车辆、具有引擎和电机的混合动力车辆、具有电机的电动车辆等的概念。以下，以具有引擎的车辆为主进行记述。
另一方面，在本说明书中记述的车辆驾驶辅助装置可以被称为先进驾驶辅助系统(ADAS，AdvancedDriverAssistanceSystems)或先进驾驶辅助装置(ADAA，AdvancedDriverAssistanceApparatus)。以下，对本发明的多种实施例的车辆的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆进行记述。
图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。
参照图，车辆200可包括：轮胎103FR、103FL、103RL…，借助动力源来进行旋转；方向盘150，用于调整车辆200的前进方向；以及立体摄像头195，设置于车辆200的内部。
立体摄像头195可具有多个摄像头，而通过多个摄像头来取得的立体图像可在车辆驾驶辅助装置100(图3)内得到信号处理。
另一方面，附图例示出立体摄像头195具有两个摄像头。
图2为示出附着于图1的车辆的立体摄像头的外观的图。
参照图，立体摄像头模块195可包括：第一摄像头195a，设有第一镜头193a；以及第二摄像头195b，设有第二镜头193b。
另一方面，立体摄像头模块195可包括分别用于遮蔽向第一镜头193a和第二镜头193b入射的光的第一光遮蔽部(lightshield)192a、第二光遮蔽部192b。
图中的立体摄像头模块195可以为能够在顶部或前表面玻璃进行装拆的结构。
具有这种立体摄像头模块195的车辆驾驶辅助装置(图3中的100)可从立体摄像头模块195取得车辆前方的立体图像，基于立体图像来执行视差(disparity)检测，并基于视差信息来执行对至少一个立体图像的对象检测，在完成对象检测之后，继续跟踪对象的移动。
图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。
图3a至图3b的车辆驾驶辅助装置100能够基于计算机视觉(computervision)来对从立体摄像头195接收的立体图像进行信号处理，从而生成与车辆相关的信息。其中，与车辆相关的信息可包括用于直接控制车辆的车辆控制信息或用于引导车辆驾驶人员进行驾驶的车辆驾驶辅助信息。
首先，参照图3a，图3a中的车辆驾驶辅助装置100可包括通信部120、接口部130、存储器140、处理器170、电源供给部190及立体摄像头195。
通信部120能够以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部120能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙(Bluetooth)、WiFiDirect、WiFi、APIX等多种数据通信方式。
通信部120可从移动终端600或服务器500接收天气信息、道路交通情况信息，例如传输协议专家组(TPEG，TransportProtocolExpertGroup)信息。另一方面，可向移动终端600或服务器500传输基于立体图像来从车辆驾驶辅助装置100掌握的实时交通信息。
另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和车辆驾驶辅助装置100能够自动或借助使用人员的应用执行来执行相互配对(pairing)。
接口部130可接收与车辆相关的数据或向外部传输在处理器170中处理或生成的信号。为此，接口部130可借助有线通信或无线通信的方式来与车辆的电子控制单元(ECU)770、音视频导航(AVN，AudioVideoNavigation)装置400、传感部760等执行数据通信。
接口部130科借助与音视频导航装置400之间的数据通信来接收与车辆的行驶相关的图像(map)信息。
另一方面，接口部130可从电子控制单元770或传感部760接收传感器信息。
在此，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。
这种传感器信息可从航向传感器(headingsensor)、偏航传感器(yawsensor)、陀螺传感器(gyrosensor)、定位模块(positionmodule)、车辆前进/后退传感器、车轮传感器(wheelsensor)、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等取得。另一方面，定位模块可包括用于接收GPS信息的GPS模块。
另一方面，在传感器信息中，可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。
存储器140可存储用于处理或控制处理器170的程序等、用于车辆驾驶辅助装置100的整个动作的多种数据。
音频输出部(未图示)将从处理器170接收的电信号转换为音频信号并输出。为此，可设置扬声器等。音频输出部(未图示)可输出与输入部110，即，按钮的工作相对应的声音。
音频输入部(为图示)可接收使用人员的语音信息。为此，可设置麦克风。所接收的语音信息能够变换为电信号来向处理器170传递。
处理器170控制车辆驾驶辅助装置100的各单元的整个动作。
尤其，处理器170执行基于计算机视觉(computervision)的信号处理。由此，处理器170可从立体摄像头195取得车辆前方的立体图像，基于立体图像来执行对车辆前方的视差计算，并基于所计算的视差信息来执行对立体图像中的至少一个的对象检测，在完成对象检测后，继续跟踪对象的移动。
尤其，当进行对象检测时，处理器170可执行车道检测(LD，LaneDetection)、周边车辆检测(VD，VehicleDetection)、行人检测(PD，PedestrianDetection)、灯光检测(BD，BrightspotDetection)、交通标志牌检测(TSR，TrafficSignRecognition)及路面检测等。
并且，处理器170可执行对所检测的周边车辆距离的计算、对所检测的周边车辆的速度的计算及对与所检测的周边车辆之间的速度差的计算等。
另一方面，处理器170可通过通信部120来接收天气信息、道路的交通情况信息，例如，传输协议专家组信息。
另一方面，处理器170可实时掌握基于立体图像来掌握的车辆驾驶辅助装置100中的车辆周边交通情况信息。
另一方面，处理器170可通过接口部130来从音视频导航装置400接收图像信息。
另一方面，处理器170通过接口部130，可从电子控制单元770或传感部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。
电源供给部190可通过处理器170的控制来提供各结构要素的工作所需的电源。尤其，电源供给部190可从车辆的电池等接收电源。
立体摄像头195可包括多个摄像头。以下，如图2等所述，具有两个摄像头。
立体摄像头195以可在车辆200的顶部或前表面玻璃进行装拆，并能包括设有第一镜头193a的第一摄像头195a、设有第二镜头193b的第二摄像头195b。
另一方面，立体摄像头195可包括用于遮蔽分别向第一镜头193a和第二镜头193b入射的光的第一遮蔽部192a、第二遮蔽部192b。
接着，参照图3b，与图3a的车辆驾驶辅助装置100相比，图3b的车辆驾驶辅助装置100还可包括输入部110、显示器180及音频输出部185。以下，仅对输入部110、显示器180及音频输出部185进行记述。
输入部110可具有附着于车辆驾驶辅助装置100，尤其，附着于立体摄像头195的多个按钮或触摸屏。可通过多个按钮或触摸屏来使车辆驾驶辅助装置100的电源开启并工作。除此之外，也可执行多种输入工作。
音频输出部185基于在处理器170中处理的音频信号来向外部输出声音。为此，音频输出部185可包括至少一个扬声器。
显示器180可显示与车辆行驶辅助装置相关的图像。为了表示这种图像，显示器180可包括车辆的内部前表面的辅音群(cluster)或平视显示器(HUD，HeadUpDisplay)。另一方面，在显示器180为平视显示器的情况下，可在车辆200的前表面玻璃设有用于透视图像的透视模块。
图4a至图4b例示图3a至图3b的处理器的内部框图的多种例，图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。
首先，参照图4a，图4a作为处理器170的内部框图的一例，车辆驾驶辅助装置100的处理器170可包括影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用程序部450。
影像预处理部(imagepreprocessor)410从立体摄像头195接收立体图像，来执行预处理(preprocessor)。
具体地，影像预处理部410可执行对立体图像的降低噪音(noisereduction)、整流(rectification)、校准(calibration)、颜色增强(colorenhancement)、颜色空间转变(CSC，colorspaceconversion)、插补(interpolation)、摄像头增益控制(cameragaincontrol)等。与此同时，可取得比在立体摄像头195拍摄的立体图像更鲜明的立体图像。
视差计算部(disparitycalculator)420接收在影像预处理部410中进行信号处理的立体图像，执行对所接收的立体图像的立体匹配(stereomatching)，并取得基于立体匹配的视差图(dispartiymap)。即，可取得对车辆前方的、对立体图像的视差信息。
此时，立体匹配能够以立体图像的像素单位或规定块单位执行。另一方面，视差图可意味着以数值方式呈现立体图像，即，左右图像的时差信息(binocularparallaxinformation)的图。
分割部(segmentationunit)432可基于视差计算部420的视差信息来对立体图像中至少一个执行分割(segment)及聚类(clustering)。
具体地，分割部432可基于视差信息来对立体图像中的至少一个进行背景(background)和前景(foreground)的分离。
例如，在视差图中，可由视差信息将规定值以下的区域作为背景来计算，并除去对应部分。由此，可使前景相对分离。
作为另一例，在视差图中，可由视差信息将规定值以上的区域作为前景来计算，并抽取相应部分。由此，可使前景分离。
像这样，基于立体图像抽取的视差信息为基础来分离前景和背景，由此在之后进行对象检测时，可缩短信号处理速度、信号处理量等。
接着，对象检测部(objectdetector)434可基于分割部432的图像分割来进行对象检测。
即，对象检测部434可基于视差信息来对立体图像中的至少一个进行对象检测。
具体地，对象检测部434可对立体图像中的至少一个进行对象检测。例如，可从通过图像分割来分离的前景进行对象检测。
接着，对象确认部(objectverificationunit)436对被分离的对象进行分类(classify)并确认(verify)。
为此，对象确认部436可使用利用神经式网络(neuralnetwork)的识别法、支持向量机(SVM，SupportVectorMachine)方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图(HOG，HistogramsofOrientedGradients)方法等。
另一方面，对象确认部436可通过比较存储于存储器140的对象和所检测的对象来确认。
例如，对象确认部436可确认位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。
对象跟踪部(objecttrackingunit)440，执行对确认对象的跟踪。例如，可依次确认所取得的立体图像中的对象，计算所确认的对象的移动或移动向量，并基于所计算的移动或移动向量来跟踪对应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。
接着，应用程序部450可基于位于车辆周边的多种对象，例如其他车辆、车道、路面及标志牌等来计算车辆的危险度等。并且，可计算与前方车辆的碰撞可能性、车辆是否滑动等。
并且，应用程序部450能够能够基于所计算的危险度、碰撞可能性或是否滑动等来向使用人员输出用于告知这种信息的消息等作为车辆驾驶辅助信息。并且，能够生成用于控制车辆200的姿势或行驶的控制信号作为车辆控制信号。
图4b为处理器的内部框图的另一例。
参照图，图4b的处理器170与图4a的处理器170相比，在内部结构单元相同，但信号处理顺序不同方面存在差异。以下，仅对差异进行记述。
对象检测部434可接收立体图像，并对立体图像中的至少一个进行对象检测。与图4a不同，可从立体图像直接检测对象，而不是对基于视差信息来分割的图像进行对象检测。
接着，对象确认部436基于分割部432的图像分割及在对象检测部434中检测的对象来对所检测及分离的对象进行分类并确认。
为此，对象确认部436可使用利用神经式网络的识别法、支持向量机方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图方法等。
图5a和图5b为为了基于分别从第一帧区间及第二帧区间取得的立体图像来说明图4a的处理器170的工作方法而参照的图。
首先，参照图5a，在第一帧区间段中，立体摄像头195取得立体图像。
处理器170的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR1a、FR1bm，并对所接收的图像FR1a、RF1b执行立体匹配，来取得视差图520。
视差图520作为对立体图像FR1a、FR1b之间的时差进行等级化的图，视差等级越大，与车辆之间的距离越短，而视差等级越小，与车辆之间的距离越长。
另一方面，在显示这种视差图的情况下，视差等级越大，具有越高的亮度，而视差等级越小，具有越低的亮度。
附图示例出在视差图520中，第一车道528a、第二车道528b、第三车道528c、第四车道528d等分别具有对应的等级，施工区域522、第一前方车辆524、第二前方车辆526分别具有对应的视差等级。
分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR1a、FR1b中的至少一个的分割、对象检测及对象确认。
附图示例出使用视差图520来执行对第二立体图像FR1b的对象检测及确认。
即，在图像530中，第一车道538a、第二车道538b、第三车道538c、第四车道538d、施工区域532、第一前方车辆534及第二前方车辆536可执行对象检测及确认。
接着，参照图5b，在第二帧区间内，立体摄像头195取得立体图像。
处理器170中的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR2a、FR2b，执行对所接收的立体图像FR2a、FR2b的立体匹配，并取得视差图540。
附图示例出在视差图540中，第一车道548a、第二车道548b、第三车道548c、第四车道548d等分别具有对应的等级，施工区域542、第一前方车辆524、第二前方车辆546分别具有对应的视差等级。
分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR2a、FR2b中的至少一个的分割、对象检测及对象确认。
附图示例出使用视差图540来执行对第二立体图像FR2b的对象检测及确认。
即，在图像550中，第一车道558a、第二车道558b、第三车道5358c、第四车道558d、施工区域552、第一前方车辆554级第二前方车辆556可执行对象检测及确认。
另一方面，将图5a和图5b作比较，对象跟踪部440可执行对所确认的对象的跟踪。
具体地，对象跟踪部440可基于在图5a和图5b中确认的各对象的移动或移动向量来跟踪对应对象的移动等。由此，可执行对位于车辆周边的车道、施工区域、第一前方车辆及第二前方车辆等的跟踪。
图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。
首先，图6a为例示出设于车辆的立体摄像头195所拍摄的车辆前方情况的图。尤其，以鸟瞰图(birdeyeview)表示车辆前方的情况。
参照附图可知，从左向右依次具有第一车道642a、第二车道644a、第三车道646a、第四车道648a，在第一车道642a和第二车道644a之间具有施工区域610a，而第一前方车辆620a位于第二车道644a和第三车道646a之间，第二前方车辆630a配置于第三车道646a和第四车道648a之间。
接着，图6b例示了与各种信息一同显示借助车辆驾驶辅助装置来掌握的车辆前方情况。尤其，如图6b的图像可显示于由车辆驾驶辅助装置提供的显示器180或音视频导航装置400。
与图6a不同，图6b例示了基于立体摄像头195所拍摄的图像显示信息。
参照图可知，从左向右依次具有第一车道642b、第二车道644b、第三车道646b、第四车道648b，在第一车道642b和第二车道644b之间具有施工区域610b，而第一前方车辆620b位于第二车道644b和第三车道646b之间，第二前方车辆630b配置于第三车道646b和第四车道648b之间。
车辆辅助装置100可基于立体摄像头195所拍摄的立体图像来进行信号处理，从而确认对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象。并且，可确认第一车道642b、第二车道644b、第三车道646b及第四车道648b。
另一方面，附图例示出为了呈现对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象确认而分别向边缘突出。
另一方面，车辆驾驶辅助装置100可基于立体摄像头195所拍摄的立体图像来计算对施工区域610b、第一前方车辆620b及第二前方车辆630b的距离信息。
附图例示了显示分别与施工区域610b、第一前方车辆620b及第二前方车辆630b对应的已计算的第一距离信息611b、第二距离信息621b及第三距离信息631b。
另一方面，车辆驾驶辅助装置100可从电子控制单元770或传感部760接收有关车辆的传感器信息。尤其，可接收用于表示车辆速度信息、齿轮信息及车辆的旋转角(凹角)发生变化的速度的偏航角速度(yawrate)信息、车辆的角度信息，且能够显示这种信息。
附图例示了在车辆前方图像的上部670显示车辆速度信息672、齿轮信息671及偏航角速度信息673，且例示了在车辆前方图像的下部680显示车辆角度信息682，但可具有多种例。除此之外，可与车辆的角度信息一同显示车辆的幅度信息683、道路的曲率信息681。
另一方面，车辆驾驶辅助装置100可通过通信部120或接口部130来接收车辆行驶中的道路的速度限制信息等。附图例示了显示速度限制信息640b。
车辆驾驶辅助装置100可通过显示器180来显示图6a所示的多种信息，但不同的是，可以在无需额外的显示的情况下，也能存储各种信息。并且，可利用这种信息来利用于多种应用。
图7为图1的车辆的电子空间装置的内部框图的一例。
参照附图，车辆200可具有用于控制车辆的电子控制装置700。电子控制装置700能够与上述车辆驾驶辅助装置100及音视频导航装置400交换数据。
电子控制装置700可包括输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、制动器驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部760、电子控制单元770、显示部780、音频输出部785及电源供给部790。
输入部710可具有配置于车辆200的多个按钮或触摸屏。可通过多个按钮或触摸屏来执行多种输入动作。
通信部720能够以无线方式与移动终端600或服务器500进行数据交换。尤其，通信部720能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙、WiFiDirect、WiFi、APIX等多种数据通信方式。
通信部720可从移动终端600或服务器500接收天气信息、道路的交通情况信息，例如，传输协议专家组信息。
另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和电子控制装置100能够自动或借助使用人员的应用执行来执行相互配对。
存储器740可存储用于进行电子控制单元770的处理或控制的程序等用于电子控制装置700整个动作的多种数据。
灯驱动部751可控制配置于车辆的内外部的灯的开启/关闭。并且，能够控制灯光的强度、方向等。例如，可执行对方向指示灯、制动灯等的控制。
转向驱动部752可对车辆200的转向装置(steeringapparatus)(未图示)执行电子式控制。以此，可变更车辆的前进方向。
制动器驱动部753可对车辆200的制动装置(未图示)执行电子式控制。例如，可通过控制配置于轮胎的制动的动作，来减小车辆200的速度。作为另一例，能够通过使分别配置于左侧轮胎和右侧轮胎的制动的工作不同，来将车辆200的前进方向调整为左侧或右侧。
动力源驱动部754可对车辆200的动力源执行电子式控制。
例如，在基于天然燃料的引擎(未图示)为动力源的情况下，动力源驱动部754可执行对引擎的电子式控制。由此，可控制引擎的输出扭矩等。
作为另一例，在基于电的电机(未图示)为动力源的情况下，动力源驱动部754可执行对电机的控制。由此，可控制电机的转速、扭矩等。
天窗驱动部755可对车辆200的天窗装置(sunroofapparatus)执行电子式控制。例如，可控制天窗的开放或封闭。
悬架驱动部756可对车辆200的悬架装置(suspensionapparatus)(未图示)执行电子式控制。例如，在路面存在弯曲的情况下，可通过控制悬架装置来以降低车辆200的振动的方式控制。
空调驱动部757可对车辆200的空调装置(airconditioner)(未图示)执行电子式控制。例如，在车辆的温度高的情况下，能够以空调装置工作，并使冷气向车辆的内部供给的方式进行控制。
窗驱动部758可对车辆200的悬架装置(windowapparatus)执行电子式控制。例如，可控制对车辆的侧面的左右窗的开放或封闭。
气囊驱动部759可对车辆200的悬架装置(airbagapparatus)执行电子式控制。例如，当遇到危险时，能够以使气囊弹出的方式进行控制。
传感部760感测与车辆100行驶等相关的信号。为此，传感部760可具有航向传感器、偏航传感器、陀螺传感器、定位模块、车辆前进/后退传感器、车轮传感器、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等。
由此，传感部760可取得对车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息及车辆内部湿度信息的感测信号。
另一方面，除此之外，传感部760还可包括加速踏板传感器、压力传感器、引擎转速传感器(enginespeedsensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器及曲轴角度传感器(CAS)等。
电子控制单元770可控制电子控制装置700的各单元的整个动作。
可借助基于输入部710的输入来执行特定工作，或者接收传感器760所感测的信号来向车辆驾驶辅助装置100传输，可从音视频导航装置400接收图像信息，并能控制各种驱动部751、752、753、754、756的动作。
并且，电子控制单元770可从通信部720接收天气信息、道路交通情况信息，例如，传输协议专家组信息。
显示部780可显示与车辆驾驶辅助装置的动作相关的图像。为了显示这种图像，显示部780可包括车辆的内部前表面的辅音群或平视显示器。另一方面，在显示部780为平时显示器的情况下，可包括向车辆200的前表面玻璃投射图像的投射模块。另一方面，显示部780可包括能够用于输入的触摸屏。
音频输出部785将从电子控制单元770接收的电信号变换为音频信号来输出。为此，可具有扬声器等。音频输出部785可输出与输入部710，即，按钮的工作相对应的声音。
电源供给部790可借助电子控制单元770的控制来提供各结构要素的工作所需的电源。尤其，电源供给部790可从车辆的电池等接收电源。
图8为示出本发明一实施例的车辆驾驶辅助装置的工作方法的顺序图，图9a至图18为为了说明图8的工作方法而参照的图。
参照附图，首先，车辆驾驶辅助装置100的处理器170从立体摄像头195接收立体图像(步骤S810)。
如图2所示，车辆驾驶辅助装置100的处理器170通过配置于车辆的立体摄像头195，即，通过第一摄像头195a接收第一图像，并通过第二摄像头195b接收第二图像。
由于第一摄像头195a和第二摄像头195b之间存在距离，因而第一图像和第二图像产生视差(disparity)。
车辆驾驶辅助装置100的处理器170可计算第一图像和第二图像之间的视差，并利用计算出的视差信息来对第一图像和第二图像中的至少一种图像执行分割、对象检测及对象确认。
并且，车辆驾驶辅助装置100的处理器170可对确认到的对象，例如，前方车辆、车道、道路面等执行跟踪。
尤其，车辆驾驶辅助装置100的处理器170可与本发明相关地执行道路面的检测、确认及跟踪。
接着，车辆驾驶辅助装置100的处理器170接收道路面数据(步骤S820)。
道路面数据作为区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据，可以为存储于存储器140的数据。
或者，道路面数据作为区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据，可以为通过通信部120从移动终端600或服务器500接收的数据。
这种道路面数据作为基于从立体摄像头195接收到的立体图像的数据，可以为如上所述的、通过道路面检测、确认及跟踪来分类的道路面数据。
为了将道路面数据确定为干燥状态、潮湿状态、有雪状态、有冰状态，车辆驾驶辅助装置100的处理器170可利用立体图像中的亮度数据。
例如，车辆驾驶辅助装置100的处理器170可基于立体图像中的亮度数据之差，确定为干燥状态、潮湿状态、有雪状态、有冰状态。具体地，有雪状态的亮度最高，亮度可按干燥状态、有冰状态、潮湿状态的顺序降低，可将其分别区分为干燥状态、潮湿状态、有雪状态、有冰状态。
作为另一例，车辆驾驶辅助装置100的处理器170可基于图像中的光度(intensity)和曝光(exposure)，区分为干燥状态、潮湿状态、有雪状态、有冰状态。
图9b例示了基于图像中的光度和曝光，将道路面区分为4个区域的情况。
图9b的各线Cu1、Cu2、Cu3为用于将道路面区分为干燥状态、潮湿状态、有雪状态、有冰状态的曲线，其可作为实验数据被计算出。
参照图9b，可经由第一线Cur1区分作为第一区域area1的潮湿状态，经由第一线Cur1和第二线Cur2区分作为第二区域area2的有冰状态，经由第二线Cur2和第三线Cur3区分作为第三区域area3的干燥状态，并经由第三线Cur区分作为第四区域area4的有雪状态。
其中，光度可与如上所述的图像的亮度相对应。即，可与图像中的各像素的无彩色值相对应。例如，光度值可区分为0至255的等级。
另一方面，曝光与周边亮度变化相对应，周边亮度越暗，曝光值就有可能越大。
另一方面，图9b例示了各线Cu1、Cu2、Cu3为直线的情况，但上述各线Cu1、Cu2、Cu3也可以为曲线。即，根据外部环境，可改变各线的形状。尤其，根据外部环境，可实现各线的数据库化，在特定的外部环境下，可利用与有关外部环境相对应的各线来对道路面执行干燥状态、潮湿状态、有雪状态、有冰状态的区分。
并且，作为另一列，车辆驾驶辅助装置100的处理器170基于将立体图像频率转换的频谱之差，可确定为干燥状态、潮湿状态、有雪状态、有冰状态。具体地，干燥状态的频谱的带宽最宽，带宽可按潮湿状态、有雪状态、有冰状态的顺序变窄，或者，干燥状态的频率增益的大小最大，频率增益可按潮湿状态、有雪状态、有冰状态的顺序变小，基于这种频谱的带宽及频率增益中的至少一种，可分别确定为干燥状态、潮湿状态、有雪状态、有冰状态。
然后，车辆驾驶辅助装置100的处理器170可基于接收到的立体图像和道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态(步骤S830)。
车辆驾驶辅助装置100的处理器170可执行立体图像的视差计算，基于立体图像的视差信息，检测立体图像中的道路面，并基于与检测到的道路面相关的数据和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
为此，车辆驾驶辅助装置100的处理器170可具有路面状态检测部935，上述路面状态检测部935基于与立体图像中的道路面相关的数据和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，车辆驾驶辅助装置100的处理器170可基于与立体图像中的道路面相关的数据中的亮度数据和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，车辆驾驶辅助装置100的处理器170可基于与立体图像中的道路面相关的数据的频谱和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，存储于存储器140的道路面数据可以为具有位置及时间信息的图像数据。
因此，车辆驾驶辅助装置100的处理器170也可将由立体摄像头195实时拍摄的立体图像和存储于存储器140的具有位置及时间信息的图像数据进行比较，由此，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
然后，车辆驾驶辅助装置100的处理器170生成与确定的道路面状态信息相对应的车辆驱动信号(步骤S840)。
其中，车辆驱动信号可包含用于驱动制动装置的制动驱动信号及转向驱动信号中的至少一种信号。
即，车辆驾驶辅助装置100的处理器170可生成并输出与确定的道路面状态信息相对应的制动驱动信号及转向驱动信号中的至少一种信号。
例如，使用人员在将制动器以3等级的大小驱动制动装置的习惯或模式的情况下，处理器170可根据道路面状态向制动器驱动部753输出制动器工作加权信号。
例如，当道路面为干燥状态时，没有额外的加权信号，当道路面为潮湿状态时，加权信号的等级可以为0.2级，当道路面为有雪状态时，加权信号的等级可以为0.5级，当道路面为有冰状态时，加权信号的等级可以为0.8级。
由此，当道路面为干燥状态、潮湿状态、有雪状态、有冰状态时，使用人员即使将制动器通常以3等级的大小驱动制动装置，制动装置的实际工作能够分别以3级、3.2级、3.5级、3.8级工作。因此，能够确保驾驶车辆时的稳定性，并增大使用人员的利用便利性。
与其类似地，处理器170可根据道路面状态向转向驱动部752输出转向装置工作附加信号。
例如，当道路面为干燥状态时，没有额外的附加信号，当道路面为潮湿状态时，以等级1为基准输出-Δ0.2级的附加信号，当道路面为有雪状态时，输出-Δ0.3级的附加信号，当道路面为有冰状态时，输出-Δ0.4级的附加信号。
由此，道路面越滑，即，从干燥状态越向有冰状态，转向装置的工作信号的等级就越小，由此，可防止基于转向装置的工作的打滑。
图9a与图8的工作方法相关地，例示了处理器内部的简要框图。
参照附图，车辆驾驶辅助装置100的处理器170可具有车道检测部910、距离检测部920、速度检测部930、路面状态检测部935及车辆驱动信号生成部940。
车辆驾驶辅助装置100的处理器170可接收地图信息Smp，从立体摄像头195接收立体图像Sim，并从电子控制单元770或传感部760接收车辆行驶信息Scar。
此时，可通过接口部130从音视频导航装置400或存储器140接收地图信息Smp。
另一方面，车辆行驶信息Scar可包含车辆前进方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆倾斜度信息、侧面进入信息、后退信息等。另一方面，车辆行驶信息Scar可以为传感器信息的一部分。
车道检测部910可基于来自立体摄像头195的立体图像执行车道检测。尤其，车道检测部910可基于立体图像的视差检测车道。
类似地，距离检测部920和速度检测部930可基于来自立体摄像头195的立体图像检测前方车辆的距离、速度、右侧后方车辆的距离、速度、左侧后方车辆的距离、速度等。
路面状态检测部935可检测立体图像中的道路面，并基于与检测到的道路面相关的数据和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，路面状态检测部935可基于与立体图像中的道路面相关的数据中的亮度数据和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，路面状态检测部935可基于与立体图像中的道路面相关的数据的频谱和存储于存储器140的道路面数据，将道路面的状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
另一方面，路面状态检测部935可基于与立体图像中的道路面相关的数据的亮度数据及频谱和存储于存储器140的道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
车辆驱动信号生成部940可生成与检测到的路面状态相对应的车辆驱动信号Spco。
即，车辆驱动信号生成部940可生成并输出与确定的道路面状态信息相对应的、制动驱动信号及转向驱动信号中的至少一种信号。
例如，处理器170可根据道路面状态向制动器驱动部753输出制动器工作加权信号。
作为另一列，处理器170可根据道路面状态向转向驱动部752输出转向装置工作附加信号。
输出的车辆驱动信号Spco可直接输入于转向驱动部752或制动器驱动部753，或者经过电子控制单元770输入于转向驱动部752或制动器驱动部753。由此，可执行与检测到的道路面相对应的车辆行驶。
图10为为了说明由处理器170执行道路面状态检测工作的情况的图，图11至图12d为例示根据道路面检测的多种信息显示的图。
首先，图10的(a)部分例示如下内容：包括干燥状态的道路面1210a和前方车辆1220a的图像1110输入于处理器170，基于存储器140中的道路面数据，生成干燥状态信息Pra，与其相对应地，输出表示干燥状态信息Pra的信号Ttca。
当显示器180由平视显示器实现时，如图11的(a)部分所示，可基于这种信号Ttca，向车辆的前面玻璃上的输出区域800输出“道路面状态为干燥状态”信息1210和“请正常行驶”之类的、与道路面状态相对应的驾驶引导信息1215。由此，可增大使用人员的利用便利性。
另一方面，当显示器180为集群300时，如图12a所示，“道路面状态为干燥状态”信息1210可向集群300输出。此外，也可输出如图11a的(a)部分所示的驾驶引导信息1215。由此，可增大使用人员的利用便利性。
然后，图10的(b)部分例示如下内容：包括潮湿状态的道路面1210b和前方车辆1220b的图像1112输入于处理器170，基于存储器140中的道路面数据，生成潮湿状态信息Prb，与其相对应地，输出表示潮湿状态信息Prb的信号Ttcb。
当显示器180由平视显示器实现时，如图11的(b)部分所示，可基于这种信号Ttcb，向车辆的前面玻璃上的输出区域800输出“道路面状态为潮湿状态”信息1220和“请注意雨中行驶”之类的、与道路面状态相对应的驾驶引导信息1225。由此，可增大使用人员的利用便利性。
另一方面，当显示器180为集群300时，如图12b所示，“道路面状态为潮湿状态”信息1220可向集群300输出。此外，也可输出如图11a的(b)部分所示的驾驶引导信息1225。由此，可增大使用人员的利用便利性。
然后，图10的(c)部分例示如下内容：包括有雪状态的道路面1210c和前方车辆1220c的图像1114输入于处理器170，基于存储器140中的道路面数据，生成有雪状态信息Prc，与其相对应地，输出表示有雪状态信息Prc的信号Ttcc。
当显示器180由平视显示器实现时，如图11的(c)部分所示，可基于这种信号Ttcc，向车辆的前面玻璃上的输出区域800输出“道路面状态为有雪状态”信息1230和“请注意雪中行驶”之类的、与道路面状态相对应的驾驶引导信息1235。由此，可增大使用人员的利用便利性。
另一方面，当显示器180为集群300时，如图12c所示，“道路面状态为有雪状态”信息1230可向集群300输出。此外，也可输出如图11a的(c)部分所示的驾驶引导信息1235。由此，可增大使用人员的利用便利性。
然后，图10的(d)部分例示如下内容：包括有冰状态的道路面1210d和前方车辆1220d的图像1115输入于处理器170，基于存储器140中的道路面数据，生成有冰状态信息Prd，与其相对应地，输出表示有冰状态信息Prd的信号Ttcd。
当显示器180由平视显示器实现时，如图11的(d)部分所示，可基于这种信号Ttcd，向车辆的前面玻璃上的输出区域800输出“道路面状态为有冰状态”信息1240和“请注意冰上行驶”之类的、与道路面状态相对应的驾驶引导信息1245。由此，可增大使用人员的利用便利性。
另一方面，当显示器180为集群300时，如图12d所示，“道路面状态为有冰状态”信息1240可向集群300输出。此外，也可输出如图11a的(d)部分所示的驾驶引导信息1245。由此，可增大使用人员的利用便利性。
另一方面，图11至图12d的多种信息除了通过显示器180输出之外，还可通过音频输出部185输出，可均从显示器180和音频输出部185输出。
像这样，可基于实际拍摄的图像，实时掌握道路面状态，并提供相关信息，来增大使用人员的利用便利性。尤其，比从外部得到道路面状态信息，在准确性及迅速性方面产生明显的差异。
图13例示了由处理器170检测道路面状态，并输出基于此的制动器工作信号的情况，图14为例示根据制动器工作信号的制动器工作的图。
图13与图10类似，因而若说明两者的差异，则处理器170可分别基于检测到的各道路面状态信息Pra、Prb、Prc、Prd生成分别相对应的制动器工作信号SBca、SBcb、Sbcc、Sbcd。
此时的制动器工作信号SBca、SBcb、Sbcc、Sncd可以为包含如上所述的制动器工作加权信号的含义。
即，相当于道路面为干燥状态的情况的第一制动器工作信号SBca的等级为3级的情况下，相当于道路面为潮湿状态的情况的第二制动器工作信号SBcd的等级可以为3.2级，相当于道路面为有雪状态的情况的第三制动器工作信号Sbcc的等级可以为3.5级，相当于道路面为有冰状态的情况的第四制动器工作信号Sncd的等级可以为3.8级。
图14例示了根据各制动器工作信号SBca、SBcb、Sbcc、Sncd的车辆200的制动距离。道路面状态均为干燥状态的情况下，第一制动器工作信号SBca时的实际制动距离Dbca最长，第四制动器工作信号Sncd时的实际制动距离Dbcd最短。
像这样，根据与道路面状态相对应的制动器工作信号，可提高车辆行驶时的稳定性。
另一方面，图15为例示与多种制动器工作信号相对应的信息显示的图。
当显示器18由平视显示器实现时，如图15的(a)部分所示，可基于第一制动器工作信号SBca，向车辆的前面玻璃上的输出区域800输出“道路面状态为干燥状态”信息1210和“制动器正常工作”之类的制动器工作状态信息1515。由此，可增大使用人员的利用便利性。
然后，如图15的(b)部分所示，可基于第二制动器工作信号SBcb，输出“道路面状态为潮湿状态”信息1220和“制动器A％加算工作”之类的制动器工作状态信息1525。由此，可增大使用人员的利用便利性。
然后，如图15的(c)部分所示，可基于第三制动器工作信号Sbcc输出“道路面状态为有雪状态”信息1230和“制动器B％加算工作”之类的制动器工作状态信息1535。由此，可增大使用人员的利用便利性。
然后，如图15的(d)部分所示，可基于第四制动器工作信号Sncd输出“道路面状态为有冰状态”信息1240和“制动器C％加算工作”之类的制动器工作状态信息1545。由此，可增大使用人员的利用便利性。
图16表示车辆和服务器或移动终端之间的数据传输的一例。
参照附图，车辆200的处理器170可通过通信部120向移动终端600或服务器500传输图像数据Ssim，并从移动终端600或服务器500接收将道路面状态区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据Spat。
移动终端600或服务器500的接收的图像数据Ssim可以为具有位置及时间信息的图像数据。
另一方面，移动终端600或服务器500可从多个车辆接收具有位置及时间信息的图像数据。并且，移动终端600或服务器500可通过对继续接收的图像数据的学习功能或练习(training)，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态。
尤其，移动终端600或服务器500可基于位置及时间信息，将图像数据分类，并通过对与位置及时间信息相对应的多个图像的学习功能或练习，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
并且，移动终端600或服务器500可向车辆200传输如此区分的路面数据Spat，其结果，车辆200的处理器170可考虑位置及时间信息，来接收区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据Spat。
存储器140可将现有的道路面数据以更新为从移动终端600或服务器500接收到的、区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据Spat的方式存储。
并且，处理器170可基于立体图像和更新的道路面数据Spat，将行驶中的道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
并且，处理器170可利用区分的道路面数据Spat来生成用于显示车辆驱动信号或道路面数据的各种信息等。
并且，处理器170可生成并输出与确定的道路面状态信息相对应的、制动驱动信号及转向驱动信号中的至少一种。
图17表示车辆和服务器或移动终端之间的数据传输的再一例。
参照附图，车辆200的处理器170可通过通信部120从移动终端600或服务器500接收包含时间信息、季节信息、天气信息中的至少一种信息的信息Stim。
并且，车辆200的处理器170可利用接收的信息Stim来区分道路面状态。
具体地，处理器170可基于时间信息、季节信息、天气信息中的至少一种信息和从立体摄像头195接收的立体图像以及道路面数据，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
例如，车辆200的处理器170当接收到下雨天气信息时，跳过道路面状态为干燥状态，可直接判断为道路面状态为潮湿状态、有雪状态、有冰状态中的一种状态。
作为再一例，车辆200的处理器170当接收到摄氏温度为零下的天气信息时，跳过道路面状态为潮湿状态，可直接判断为道路面状态为干燥状态、有雪状态、有冰状态中的一种状态。
作为另一例，车辆200的处理器170搜索符合与存储于存储器140的多种图像数据中、接收的时间信息、季节信息、天气信息等的图像数据，并基于搜索到的图像数据将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
图18表示车辆和服务器或移动终端之间的数据传输的另一例。
参照附图，车辆200的处理器170可通过通信部120向移动终端600或服务器500传输包括车辆的行驶路径或行驶预定路径的路径信息Spath，并从移动终端600或服务器500接收与包括车辆的行驶路径或行驶预定路径的路径信息Spath相对应的、区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据Spat-p。
移动终端600或服务器500的接收的图像数据Ssim可从多个车辆接收路径信息Spath和与其相对应的图像数据。
并且，移动终端600或服务器500可基于从多个从车辆接收的路径信息Spath和与其相对应的图像数据，将与车辆200的路径信息相对应的、道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
尤其，移动终端600或服务器500可基于路径信息，将图像数据分类，并通过对与路径信息相对应的多个图像的学习功能或练习，将道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态。
并且，移动终端600或服务器500可向车辆200传输如此区分的路面数据Spat，其结果，车辆200的处理器170可考虑路径信息，来接收区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据Spath-p。
存储器140将现有的道路面数据以更新为从移动终端600或服务器500接收到的、区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据Spath-p的方式存储。
并且，处理器170可基于立体图像和更新的道路面数据Spath-p，将行驶中的道路面状态确定为干燥状态、潮湿状态、有雪状态、有冰状态中的至少一种状态。
并且，处理器170可利用区分的道路面数据Spath-p来生成用于显示车辆驱动信号或道路面数据的各种信息等。
并且，处理器170可生成并输出与车辆的行驶路径或行驶预定路径以及确定的道路面状态信息相对应的、制动驱动信号及转向驱动信号中的至少一种。
本发明实施例的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆并不以限制性的方式适用如上所述的实施例的结构和方法，而是以能够实现多种变形的方式由各实施例的全部或一部分选择性组合而构成上述实施例。
另一方面，本发明的车辆驾驶辅助装置或车辆的工作方法能够在设置于车辆驾驶辅助装置或车辆的处理器能够读取的记录介质中，以处理器可读的代码体现。处理器可读取的记录介质包括存储有可被处理器读取的数据的所有种类的记录装置。作为处理器可读的记录介质的例，具有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且，也包括如通过网络传输等以载波形态体现的。并且，处理器可读取的记录介质分散于利用网络来连接的电脑系统，能够以分散方式存储处理器可读取的代码并执行。
并且，以上虽然对本发明的优选实施例进行了示出和说明，但本发明并不局限于上述的特定实施例，能够在不脱离发明要求保护范围的本发明要旨的情况下，可由本发明所属技术领域的普通技术人员进行多种变形，而这种变形实施不应从本发明的技术思想或前景中单独理解。

Claims (20)

1.一种车辆驾驶辅助装置，其特征在于，包括：
立体摄像头；
存储器，用于存储将道路面状态区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据；以及
处理器，基于从立体摄像头接收的立体图像及上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
2.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述处理器执行上述立体图像的视差计算，基于上述立体图像的视差信息，检测上述立体图像中的道路面，并基于与检测到的上述道路面相关的数据和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
3.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述处理器包括路面状态检测部，上述路面状态检测部基于与上述立体图像中的道路面相关的数据和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
4.根据权利要求2或3所述的车辆驾驶辅助装置，其特征在于，上述处理器基于与上述立体图像中的道路面相关的数据中的亮度数据和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
5.根据权利要求2或3所述的车辆驾驶辅助装置，其特征在于，上述处理器基于与上述立体图像中的道路面相关的数据的频谱和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
6.根据权利要求1至3中任一项所述的车辆驾驶辅助装置，其特征在于，存储于上述存储器的上述道路面数据为包括位置及时间信息的图像数据。
7.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，
还包括显示器及音频输出部；
上述处理器控制上述显示器及音频输出部中的至少一种输出与所确定的上述道路面状态信息相对应的制动器驱动引导信息、转向驱动引导信息和所确定的上述道路面状态信息中的至少一种信息。
8.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，上述处理器生成并输出与所确定的上述道路面状态信息相对应的制动驱动信号及转向驱动信号中的至少一种信号。
9.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，
还包括与移动终端或服务器交换数据的通信部；
上述通信部将来自上述立体摄像头的立体图像传送给上述移动终端或服务器，并从上述移动终端或服务器接收将上述道路面状态区分为上述干燥状态、潮湿状态、有雪状态、有冰状态的上述道路面数据。
10.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，
还包括与移动终端或服务器交换数据的通信部；
上述通信部从上述移动终端或服务器接收时间信息、季节信息、天气信息中的至少一种信息；
上述处理器基于时间信息、季节信息、天气信息中的至少一种信息和上述道路面数据以及从上述立体摄像头接收的立体图像，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
11.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，
还包括与移动终端或服务器交换数据的通信部；
上述通信部将车辆的行驶路径或行驶预定路径传送给上述移动终端或服务器，并从上述移动终端或服务器接收与上述车辆的行驶路径或行驶预定路径相对应的区分为上述干燥状态、潮湿状态、有雪状态、有冰状态的上述道路面数据。
12.根据权利要求9至10中任一项所述的车辆驾驶辅助装置，其特征在于，上述处理器生成并输出与车辆的行驶路径或行驶预定路径及所确定的上述道路面状态信息相对应的、制动驱动信号及转向驱动信号中的至少一种信号。
13.一种车辆，其特征在于，包括：
转向驱动部，用于驱动转向装置；
制动器驱动部，用于驱动制动装置；
控制部，用于控制上述转向驱动部及制动器驱动部；
立体摄像头；
存储器，用于存储将道路面状态区分为干燥状态、潮湿状态、有雪状态、有冰状态的道路面数据；以及
处理器，基于从上述立体摄像头接收的立体图像及上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
14.根据权利要求13所述的车辆，其特征在于，上述处理器执行上述立体图像的视差计算，基于上述立体图像的视差信息，检测上述立体图像中的道路面，并基于与检测到的上述道路面相关的数据和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
15.根据权利要求14所述的车辆，其特征在于，上述处理器基于与上述立体图像中的道路面相关的数据中的亮度数据和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
16.根据权利要求14所述的车辆，其特征在于，上述处理器基于与上述立体图像中的道路面相关的数据的频谱和存储于上述存储器的上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
17.根据权利要求13所述的车辆，其特征在于，
还包括与移动终端或服务器交换数据的通信部；
上述通信部将来自上述立体摄像头的立体图像传送给上述移动终端或服务器，并从上述移动终端或服务器接收将上述道路面状态区分为上述干燥状态、潮湿状态、有雪状态、有冰状态的上述道路面数据。
18.根据权利要求13所述的车辆，其特征在于，
还包括与移动终端或服务器交换数据的通信部；
上述通信部从上述移动终端或服务器接收时间信息、季节信息、天气信息中的至少一种信息；
上述处理器基于时间信息、季节信息、天气信息中的至少一种信息和从上述立体摄像头接收的立体图像以及上述道路面数据，将上述道路面状态确定为上述干燥状态、潮湿状态、有雪状态、有冰状态中的一种状态。
19.根据权利要求13所述的车辆，其特征在于，
还包括与移动终端或服务器交换数据的通信部；
上述通信部将车辆的行驶路径或行驶预定路径传送给上述移动终端或服务器，并从上述移动终端或服务器接收与上述车辆的行驶路径或行驶预定路径相对应的、区分为上述干燥状态、潮湿状态、有雪状态、有冰状态的上述道路面数据。
20.根据权利要求17至19中任一项所述的车辆，其特征在于，上述处理器生成并输出与车辆的行驶路径或行驶预定路径及确定的上述道路面状态信息相对应的、制动驱动信号及转向驱动信号中的至少一种信号。
CN201510382881.2A 2014-07-02 2015-07-02 车辆驾驶辅助装置及车辆 Expired - Fee Related CN105270263B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0082591 2014-07-02
KR1020140082591A KR101618551B1 (ko) 2014-07-02 2014-07-02 차량 운전 보조 장치 및 이를 구비한 차량

Publications (2)

Publication Number Publication Date
CN105270263A true CN105270263A (zh) 2016-01-27
CN105270263B CN105270263B (zh) 2018-04-17

Family

ID=53510564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510382881.2A Expired - Fee Related CN105270263B (zh) 2014-07-02 2015-07-02 车辆驾驶辅助装置及车辆

Country Status (4)

Country Link
US (1) US9598088B2 (zh)
EP (1) EP2963581A1 (zh)
KR (1) KR101618551B1 (zh)
CN (1) CN105270263B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273785A (zh) * 2016-03-30 2017-10-20 通用汽车环球科技运作有限责任公司 多尺度融合的道路表面状况检测
CN107782413A (zh) * 2016-08-24 2018-03-09 通用汽车环球科技运作有限责任公司 水膜厚度的基于视觉的车载实时估计
WO2018196827A1 (zh) * 2017-04-27 2018-11-01 广州汽车集团股份有限公司 车辆的动力分配控制方法、装置及系统
WO2018196826A1 (zh) * 2017-04-27 2018-11-01 广州汽车集团股份有限公司 车辆的双向传输控制系统
WO2018196828A1 (zh) * 2017-04-27 2018-11-01 广州汽车集团股份有限公司 车辆的动力输出控制方法、装置及系统
WO2019047645A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 信息获取方法和装置
CN109606361A (zh) * 2017-09-25 2019-04-12 本田技研工业株式会社 车辆控制装置
CN111433100A (zh) * 2017-12-07 2020-07-17 日产自动车株式会社 路面状态判定方法以及路面状态判定装置
CN112848916A (zh) * 2019-11-12 2021-05-28 现代自动车株式会社 环保车辆及控制环保车辆的电机转矩的方法
CN113727901A (zh) * 2019-04-05 2021-11-30 沃尔沃卡车集团 用于确定指示支撑车辆的路段的道路能力的参数的方法和控制单元

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014201271A1 (de) * 2014-01-24 2015-07-30 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
US20160221581A1 (en) * 2015-01-29 2016-08-04 GM Global Technology Operations LLC System and method for classifying a road surface
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US9465987B1 (en) * 2015-03-17 2016-10-11 Exelis, Inc. Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
US10417506B2 (en) * 2015-11-19 2019-09-17 The Regents Of The University Of California Embedded surround vision-based driver assistance for safe zone estimation
JP6610376B2 (ja) * 2016-03-25 2019-11-27 日本精機株式会社 表示装置
KR20180061695A (ko) 2016-11-30 2018-06-08 주식회사 만도 휠 검출을 통한 차량 옆면 인식 방법 및 장치
WO2018132605A1 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
KR102237230B1 (ko) * 2017-02-21 2021-04-07 현대자동차주식회사 차량용 도로 상태 추정 시스템 및 그 방법
JP6462752B2 (ja) * 2017-03-30 2019-01-30 株式会社Ｓｕｂａｒｕ 車両用消音装置
DE102017206244A1 (de) * 2017-04-11 2018-10-11 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands
CN107527074B (zh) * 2017-09-05 2020-04-07 百度在线网络技术（北京）有限公司 用于车辆的图像处理方法和装置
US10682953B1 (en) * 2017-09-28 2020-06-16 Evan W. Mills Device providing sensory feedback for vehicle pedal selection
US10435020B2 (en) 2017-12-01 2019-10-08 Robert Bosch Gmbh Lane keeping support on roads covered by snow
KR102375306B1 (ko) * 2018-01-24 2022-03-16 한화디펜스 주식회사 작업 차량에 대한 주행정보 디스플레이 장치 및 방법 그리고 주행속도 제어방법
DE102018206853A1 (de) * 2018-05-03 2019-11-07 Zf Friedrichshafen Ag Verfahren zum Bestimmen einer Beschaffenheit einer Oberfläche einer Fahrbahn
US10706294B2 (en) * 2018-05-03 2020-07-07 Volvo Car Corporation Methods and systems for generating and using a road friction estimate based on camera image signal processing
US10839522B2 (en) 2018-05-11 2020-11-17 Toyota Research Institute, Inc. Adaptive data collecting and processing system and methods
US11138447B2 (en) * 2018-06-01 2021-10-05 Connaught Electronics Ltd. Method for detecting raised pavement markers, computer program product and camera system for a vehicle
KR102452706B1 (ko) * 2018-07-09 2022-10-11 현대자동차주식회사 텔레매틱스 시스템을 이용한 미끄럼 구간 안내 방법 및 이를 위한 텔레매틱스 단말기와 텔레매틱스 서버
US10595176B1 (en) * 2018-09-19 2020-03-17 Denso International America, Inc. Virtual lane lines for connected vehicles
DE102018218733A1 (de) * 2018-10-31 2020-04-30 Robert Bosch Gmbh Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors
DE102018127342B4 (de) * 2018-11-01 2022-09-29 Mercedes-Benz Group AG Verfahren und Vorrichtung zum Betrieb eines Assistenzsystems eines Fahrzeuges
JP6637143B1 (ja) * 2018-11-08 2020-01-29 住友電気工業株式会社 情報提供システム、情報提供方法、及びコンピュータプログラム
JP6791933B2 (ja) * 2018-11-08 2020-11-25 住友電気工業株式会社 情報提供システム、情報提供方法、及びコンピュータプログラム
JP7103201B2 (ja) * 2018-12-20 2022-07-20 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
CN111619343B (zh) * 2019-02-28 2022-02-25 北京新能源汽车股份有限公司 一种抬头显示器模式控制方法、系统、设备及汽车
DE102019208881A1 (de) * 2019-06-19 2020-12-24 Robert Bosch Gmbh Vorrichtung und Verfahren zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
CN110555436A (zh) * 2019-10-10 2019-12-10 深圳市鹏巨术信息技术有限公司 一种adas标靶的选择方法、装置、设备及存储介质
CN110874598B (zh) * 2019-11-05 2022-09-27 西南交通大学 一种基于深度学习的高速公路水痕检测方法
KR102245284B1 (ko) * 2019-12-24 2021-04-28 주식회사 에스더블유엠 도심협력 자율주행차량의 비상제동 장치
EP3926523A1 (en) * 2020-06-19 2021-12-22 Toyota Jidosha Kabushiki Kaisha Surface recognition system
KR102189406B1 (ko) * 2020-07-30 2020-12-14 마스코리아 주식회사 노면 분류 및 알림 시스템
KR102281891B1 (ko) * 2020-10-06 2021-07-23 전남대학교산학협력단 도로 결빙 현상 알림을 제공하는 차량 제어 시스템 및 그것의 제어방법
US11708066B2 (en) * 2021-01-21 2023-07-25 Motional Ad Llc Road surface condition guided decision making and prediction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193347A1 (en) * 2003-03-26 2004-09-30 Fujitsu Ten Limited Vehicle control apparatus, vehicle control method, and computer program
CN101610357A (zh) * 2008-06-18 2009-12-23 株式会社理光 摄像装置及路面状态判别方法
US20120147187A1 (en) * 2010-12-08 2012-06-14 Xue Li Vehicle detection device and vehicle detection method
CN103034862A (zh) * 2012-12-14 2013-04-10 北京诚达交通科技有限公司 基于特征信息分类的道路雨雪状态自动识别方法
CN103134777A (zh) * 2011-12-01 2013-06-05 现代自动车株式会社 用于检测路面特性的装置和方法
WO2013173911A1 (en) * 2012-05-23 2013-11-28 Omer Raqib Road surface condition classification method and system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015015B2 (ja) 1979-06-29 1985-04-17 株式会社 レオ技研 路面水分検知装置
DE19816004A1 (de) 1998-04-09 1999-10-14 Daimler Chrysler Ag Anordnung zur Fahrbahnzustandserkennung
US7265846B2 (en) * 2004-02-03 2007-09-04 Sensors Unlimited, Inc. Methods for detecting ice and liquid water on surfaces
US20080129541A1 (en) * 2006-12-01 2008-06-05 Magna Electronics Black ice detection and warning system
US8306712B2 (en) 2009-03-24 2012-11-06 GM Global Technology Operations LLC Road surface condition identification based on statistical pattern recognition
US8306672B2 (en) * 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
KR101136330B1 (ko) 2009-12-02 2012-04-20 주식회사 래도 노면 상태 판별 장치 및 노면 상태 판별 방법
DE102010008258A1 (de) 2010-02-17 2011-08-18 Conti Temic microelectronic GmbH, 90411 Verfahren zur automatischen Prävention von Aquaplaning
EP2402226B1 (en) 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP5758759B2 (ja) 2011-09-20 2015-08-05 トヨタ自動車株式会社 車両用路面判定装置及び運転支援装置
KR20130141112A (ko) 2012-06-15 2013-12-26 삼성중공업 주식회사 차량의 안전 운전 제어 장치 및 방법
US9110196B2 (en) 2012-09-20 2015-08-18 Google, Inc. Detecting road weather conditions
KR101402089B1 (ko) 2012-11-14 2014-06-02 재단법인대구경북과학기술원 장애물 검출 장치 및 방법
US9139204B1 (en) * 2014-06-12 2015-09-22 GM Global Technology Operations LLC Road surface condition detection with recursive adaptive learning and validation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193347A1 (en) * 2003-03-26 2004-09-30 Fujitsu Ten Limited Vehicle control apparatus, vehicle control method, and computer program
CN101610357A (zh) * 2008-06-18 2009-12-23 株式会社理光 摄像装置及路面状态判别方法
US20120147187A1 (en) * 2010-12-08 2012-06-14 Xue Li Vehicle detection device and vehicle detection method
CN103134777A (zh) * 2011-12-01 2013-06-05 现代自动车株式会社 用于检测路面特性的装置和方法
WO2013173911A1 (en) * 2012-05-23 2013-11-28 Omer Raqib Road surface condition classification method and system
CN103034862A (zh) * 2012-12-14 2013-04-10 北京诚达交通科技有限公司 基于特征信息分类的道路雨雪状态自动识别方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273785A (zh) * 2016-03-30 2017-10-20 通用汽车环球科技运作有限责任公司 多尺度融合的道路表面状况检测
CN107782413A (zh) * 2016-08-24 2018-03-09 通用汽车环球科技运作有限责任公司 水膜厚度的基于视觉的车载实时估计
US11022052B2 (en) 2017-04-27 2021-06-01 Guangzhou Automobile Group Co., Ltd. Vehicle power output control method, apparatus and system
WO2018196827A1 (zh) * 2017-04-27 2018-11-01 广州汽车集团股份有限公司 车辆的动力分配控制方法、装置及系统
WO2018196826A1 (zh) * 2017-04-27 2018-11-01 广州汽车集团股份有限公司 车辆的双向传输控制系统
WO2018196828A1 (zh) * 2017-04-27 2018-11-01 广州汽车集团股份有限公司 车辆的动力输出控制方法、装置及系统
US11318925B2 (en) 2017-04-27 2022-05-03 Guangzhou Automobile Group Co., Ltd. Vehicle power distribution control method, apparatus and system
US11247683B2 (en) 2017-04-27 2022-02-15 Guangzhou Automobile Group Co., Ltd. Bidirectional transmission control system for vehicle
WO2019047645A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 信息获取方法和装置
CN109606361B (zh) * 2017-09-25 2022-03-22 本田技研工业株式会社 车辆控制装置
CN109606361A (zh) * 2017-09-25 2019-04-12 本田技研工业株式会社 车辆控制装置
CN111433100A (zh) * 2017-12-07 2020-07-17 日产自动车株式会社 路面状态判定方法以及路面状态判定装置
CN111433100B (zh) * 2017-12-07 2023-06-23 日产自动车株式会社 路面状态判定方法以及路面状态判定装置
CN113727901A (zh) * 2019-04-05 2021-11-30 沃尔沃卡车集团 用于确定指示支撑车辆的路段的道路能力的参数的方法和控制单元
CN112848916A (zh) * 2019-11-12 2021-05-28 现代自动车株式会社 环保车辆及控制环保车辆的电机转矩的方法
CN112848916B (zh) * 2019-11-12 2024-03-15 现代自动车株式会社 环保车辆及控制环保车辆的电机转矩的方法

Also Published As

Publication number Publication date
KR20160004118A (ko) 2016-01-12
US20160001780A1 (en) 2016-01-07
US9598088B2 (en) 2017-03-21
EP2963581A1 (en) 2016-01-06
KR101618551B1 (ko) 2016-05-09
CN105270263B (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN105270263A (zh) 车辆驾驶辅助装置及车辆
CN105916750B (zh) 车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆
KR102309316B1 (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
EP3708962B1 (en) Display apparatus for vehicle and vehicle
EP3009302B1 (en) Under vehicle image provision apparatus and vehicle including the same
CN106167045B (zh) 驾驶人员辅助装置及其控制方法
EP3032458B1 (en) Driver assistance for a vehicle
KR101850795B1 (ko) 주차 수행 장치 및 차량
CN105270287B (zh) 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆
CN105270179A (zh) 车辆驾驶辅助装置及车辆
EP2955690B1 (en) Around view provision apparatus and vehicle including the same
CN105083122A (zh) 立体摄像头、车辆驾驶辅助装置及车辆
CN105313778A (zh) 摄像头及具有该摄像头的车辆
KR101698781B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101632179B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR20150139368A (ko) 차량 충전 보조장치 및 이를 구비한 차량
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
KR101641491B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101980547B1 (ko) 차량 운전 보조 장치 및 차량
KR20150072942A (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR20170033195A (ko) 차량 운전 보조 장치 및 차량
KR101647728B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR20150074751A (ko) 차량 운전 보조 장치 및 이를 구비한 차량

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417

Termination date: 20210702

CF01 Termination of patent right due to non-payment of annual fee