CN111462527A - 车道识别装置和车道识别方法 - Google Patents

车道识别装置和车道识别方法 Download PDF

Info

Publication number
CN111462527A
CN111462527A CN201910560702.8A CN201910560702A CN111462527A CN 111462527 A CN111462527 A CN 111462527A CN 201910560702 A CN201910560702 A CN 201910560702A CN 111462527 A CN111462527 A CN 111462527A
Authority
CN
China
Prior art keywords
lane
vehicle
lanes
equations
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910560702.8A
Other languages
English (en)
Other versions
CN111462527B (zh
Inventor
闵庚得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN111462527A publication Critical patent/CN111462527A/zh
Application granted granted Critical
Publication of CN111462527B publication Critical patent/CN111462527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及车道识别装置和车道识别方法。车道识别装置包括：摄像机和控制器，所述摄像机配置为拍摄车辆前方的图像；所述控制器配置为从车辆前方的图像中检测车道；基于车道的弯折点生成多个车道方程；并且基于多个车道方程识别车道。

Description

车道识别装置和车道识别方法
相关申请的交叉引用
本申请要求2019年1月21日向韩国知识产权局提交的韩国专利申请No.10-2019-0007656的优先权权益，其全部内容通过引用纳入本文。
技术领域
本发明涉及识别车道的技术。
背景技术
随着车辆中的可用功能变得更加先进，具有各种安全系统的车辆一直在增加。已经开发了各种用于车辆的安全系统，以通过利用各种传感器、视觉系统和激光系统来检测在行驶或停车时发生的事故，从而警告驾驶员事故或控制车辆。这种安全系统包括例如电子稳定程序(electric stability program，ESP)、自适应巡航控制(adaptive cruisecontrol，ACC)、车道保持辅助系统(lane keeping assist system，LKAS)，车道偏离警告系统(lane departure warning system，LDWS)等。
当前可用的安全系统可以识别车道并基于所识别的车道提供诸如车辆间距离保持和车道保持的服务。
例如，开发了传统的车道识别技术，用于通过装载到车辆中的摄像机来拍摄车辆前方的图像，从拍摄的车辆前方的图像中检测车道，对检测到的车道的位置坐标(x，y)集合执行曲线拟合，以将位置坐标(x，y)集合近似为车道的三次方程，并基于三次方程识别车道。近似车道的三次方程为下面的方程1。
[方程1]
y＝c3x3+c2x2+c1x+c0
这里，C0表示车道的横向偏移，C1表示车道的航向角斜率，C2表示车道的曲率，C3表示车道的曲率变化率。车道的横向偏移是指示车道距车辆中心的距离的参数，车道的航向角斜率是指示车道与车辆的行进方向之间的斜率的参数。
这种传统的车道识别技术将实际车道表示为车道的三次方程而不考虑道路上的车道弯曲形成一定角度而不是弯曲为平滑曲线形式的情况(例如，车道以从一点出发的两条直线形成一定角度形式)。这使得实际车道与车道的三次方程(识别出的车道)之间的误差增加，因此，传统技术不能确保驾驶安全性。
发明内容
本发明已经解决了现有技术中产生的上述问题，同时完整地保持了由现有技术所实现的优点。
本发明一方面提供一种车道识别装置和车道识别方法，当道路上的车道弯曲形成一定角度而不是弯曲为平滑曲线的形式时(例如，车道以从一点出发的两条直线形成一定角度形式的情况下)，该装置考虑到在道路上绘制的车道的形式，通过将车道表示为多个三次方程来高精度地识别车道。
本发明要解决的技术问题不限于上述问题，并且本发明所属领域的技术人员从以下描述中将清楚地理解本文未提及的任何其它技术问题。
根据本发明的一个方面，一种车道识别装置可以包括：摄像机和控制器，所述摄像机配置为拍摄车辆前方的图像；所述控制器配置为基于从车辆前方的图像中获得的车道的弯折点来识别车道。
控制器可以配置为：从车辆前方的图像中检测车道，所述图像由摄像机拍摄；基于车道的弯折点生成多个车道方程；基于多个车道方程识别道路上的车道。
控制器可以配置为：将检测到的车道从摄像机坐标系转换为道路坐标系。
控制器可以配置为：在车辆前方的图像中，在最小值点至最大值点的设定区间中检测车道；将检测到的车道近似为车道方程；当车道和车道方程之间的误差大于第一阈值时，检测弯折点。误差可以是由车道和车道方程形成的区域。
控制器可以配置为：在对构成检测到的车道的车道集合以x值的升序执行曲线拟合的过程中，生成车道和车道方程之间的第一误差曲线；在对所述车道集合以x值的降序执行曲线拟合的过程中，生成车道和车道方程之间的第二误差曲线；将第一误差曲线和第二误差曲线相交的点设定为弯折点。
控制器可以配置为：通过对在最小值点至弯折点的区间中的车道集合以x值的升序执行曲线拟合来生成第一车道方程；通过对在最大值点至弯折点的区间中的车道集合以x值的降序执行曲线拟合来生成第二车道方程。
车道识别装置可以进一步包括雷达，其配置为检测前车的位置和相对速度。控制器可以配置为：基于前车的位置和相对速度来计算行驶轨迹；对构成计算的行驶轨迹的集合执行曲线拟合；当所述行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
车道识别装置可以进一步包括通信器，其配置为从行驶轨迹服务器获得车辆当前行驶的道路的行驶轨迹。控制器可以配置为：对构成经由通信器获得的行驶轨迹的集合执行曲线拟合；当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
根据本发明的另一方面，一种车道识别方法可以包括：通过车辆的摄像机拍摄车辆前方的图像；通过车辆的控制器基于从车辆前方的图像获得的车道的弯折点来识别车道。
车道的识别可以包括：从车辆前方的图像中检测车道；基于车道的弯折点生成多个车道方程；基于多个车道方程识别道路上的车道。车道的检测可以包括将检测到的车道从摄像机坐标系转换为道路坐标系。
多个方程的计算可以包括：在车辆前方的图像中，在最小值点至最大值点的设定区间中检测车道；将检测到的车道近似为车道方程；当车道和车道方程之间的误差大于第一阈值时，检测弯折点。优选地，误差是由车道和车道方程形成的区域。
弯折点的检测可以包括：在对构成检测到的车道的车道集合以x值的升序执行曲线拟合的过程中，生成车道和车道方程之间的第一误差曲线；在对所述车道集合以x值的降序执行曲线拟合的过程中，生成车道和车道方程之间的第二误差曲线；将第一误差曲线和第二误差曲线相交的点设定为弯折点。
多个车道方程的计算可以包括：通过对在最小值点至弯折点的区间中的车道集合以x值的升序执行曲线拟合来生成第一车道方程；通过对在最大值点至弯折点的区间中的车道集合以x值的降序执行曲线拟合来生成第二车道方程。
多个方程的计算可以包括：基于前车的位置和相对速度来计算行驶轨迹；对构成计算的行驶轨迹的集合执行曲线拟合；当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
多个方程的计算可以包括：从行驶轨迹服务器获得车辆当前行驶道路的行驶轨迹；对构成行驶轨迹的集合执行曲线拟合；当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
附图说明
通过以下结合附图的详细描述，本发明的以上和其它目的、特征以及优点将更加明显：
图1为示出应用了本发明示例性实施方案的车辆行驶的道路环境的示意图；
图2为示出根据本发明示例性实施方案的车道识别装置的配置的框图；
图3为示出根据本发明示例性实施方案的车道识别装置中将摄像机坐标系转换为道路坐标系的过程的示意图；
图4为示出根据本发明示例性实施方案的车道识别装置中将摄像机坐标系中的图像转换为道路坐标系中的图像的结果的示意图；
图5A、图5B、图5C和图5D为示出根据本发明示例性实施方案的车道识别装置中检测车道上的弯折点的过程的示意图；
图6为示出由根据本发明示例性实施方案的车道识别装置生成的多个车道方程的示意图；
图7为示出根据本发明示例性实施方案的车道识别方法的流程图；以及
图8为示出用于执行根据本发明示例性实施方案的车道识别方法的计算系统的框图。
具体实施方式
下文将参考示例性附图对本发明的示例性实施方案进行详细描述。在将附图标记添加到每个附图的组件时，应当注意，相同或等同的组件即使在其它附图上显示时也用相同的附图标记表示。另外，在描述本发明的实施方案时，将排除公知的特征或功能的详细描述，以便不会不必要地模糊本发明的主旨。
在描述根据本发明实施方案的组件时，可以使用诸如第一、第二、“A”、“B”、(a)、(b)等术语。这些术语仅用于将一个组件与另一个组件区分开，并且这些术语不限制组成组件的性质、顺序或次序。除非另有定义，否则本文使用的所有术语(包括技术或科学术语)具有与本发明所属领域的技术人员通常理解的含义相同的含义。在常用词典中定义的术语应被解释为具有与其在相关技术领域的语境含义相同的含义，并且不应被解释为具有理想化或过于正式的含义，除非本申请中明确定义为具有这样的含义。
图1为示出应用了本发明示例性实施方案的车辆行驶的道路环境的示意图。
图1示出了主车10在道路上行驶，并且前车20在主车10的前方行驶。
车道30可以不以平滑的曲线弯曲，而是在点50处以一定角度弯曲。换句话说，车道30可以具有这样的形式，其中两条直线基于分割点50形成一定角度。作为参考，三次方程精确地表达这样的车道30会存在限制。
在图1中，附图标记40表示护栏、隔离带等道路结构，附图标记11表示装载到主车10中的摄像机的图像拍摄区域，附图标记12表示装载到主车10中的前部雷达的检测区域，附图标记21表示前车20的行驶轨迹。
此外，显示在主车10上的坐标系(x，y)是装载到主车10中的摄像机的坐标系，并且是指示由摄像机拍摄的主车10前方的图像中对象位置的基准。这里，x表示主车10的纵向方向，y表示主车10的横向方向。
图2为示出根据本发明示例性实施方案的车道识别装置的配置的框图。
如图2所示，根据本发明示例性实施方案的车道识别装置200可以包括：存储器210、摄像机220、雷达230、全球定位系统(GPS)接收器240、通信器(例如，收发器)250、控制器260等。基于实施根据本发明示例性实施方案的车道识别装置的方式，各个组件可以彼此组合以形成一个组件，并且基于实施本发明示例性实施方案的方式，一些组件可以省略。
参见各个组件，考虑到在道路上绘制的车道的形态，存储器210可以存储将车道表示为多个三次方程所需的各种逻辑、算法和程序。
此外，存储器210可以存储曲线拟合技术，该技术基于最小二乘法等将实际车道近似为三次方程。
这样的存储器210可以包括至少一种类型的存储介质，例如，闪存型存储器、硬盘型存储器、微型存储器、卡型存储器(例如，安全数字(SD)卡或极限数字(XD)卡)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除PROM(EEPROM)，磁性RAM(MRAM)、磁盘和光盘。
摄像机220可以是装载到车辆中的模块，用于拍摄车辆前方的图像，并且可以具有与图1所示的附图标记11对应的图像拍摄范围。例如，在图4中示出由摄像机220拍摄的车辆前方的图像。
雷达230可以是装载到车辆中的模块，用于检测车辆前方的区域，并且可以具有与图1所示的附图标记12对应的检测区域。这样的雷达230可以检测图1的前车20的位置和相对速度，并且可以检测道路上结构的位置。
另外，雷达230可以用于辅助摄像机220。换句话说，当从由摄像机220拍摄的车辆前方的图像中检测到车道时，可以额外地利用由雷达230获得的数据。
GPS接收器240可以是用于从GPS卫星接收位置信息(坐标)的模块，并且可以用于识别图1的主车10的当前位置。
通信器250可以是用于提供与行驶轨迹服务器300的通信接口的模块，并且可以从行驶轨迹服务器300获得主车10正在行驶的道路的行驶轨迹。在这种情况下，行驶轨迹可以是先前在道路上行驶的车辆的行驶轨迹，或者可以是根据先前在道路上行驶的车辆的行驶轨迹(多个行驶轨迹)导出的最佳行驶轨迹。例如，最佳行驶轨迹可以根据先前在道路上行驶的车辆的移动平均值导出。
这样的通信器250可以具有移动通信模块、无线互联网模块和短程通信模块。
这里，移动通信模块可以通过移动通信网络与行驶轨迹服务器300发送和接收无线信号，该移动通信网络是根据移动通信(例如，全球移动通信系统(GSM)、码分多址(CDMA)、码分多址2000(CDMA2000)、增强型语音数据优化或增强型语音数据(EV-DO)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、高级LTE(LTE-A)等)的技术标准或通信模式建立的。无线信号可以包括语音呼叫信号、视频呼叫信号、或者根据文本/多媒体消息的发送和接收的各种形式的数据。
无线互联网模块可以配置为根据无线互联网技术在通信网络上发送和接收无线信号。无线互联网技术可以是例如，无线局域网(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波互操作性接入(WiMAX)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、长期演进(LTE)、高级LTE(LTE-A)等。
短距离通信模块可以用于短距离通信，并且可以利用蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、无线个域网(ZigBee)、近场通信(NFC)、Wi-Fi、Wi-Fi直连和无线通用串行总线(USB)技术中的至少一种来支持短距离通信。
控制器260可以执行整体控制，使得各个组件正常地执行它们自己的功能。这种控制器260可以以硬件或软件的形式或以其组合的形式来实现。控制器260可以实现为但不限于微处理器，或者可以是电子控制单元(ECU)。
这种控制器260可以考虑到在道路上绘制的车道，将车道近似为多个三次方程，并且可以基于近似的三次方程来执行识别道路上的车道的过程所需的各种控制。
在下文中，将参考图3、图4、图5A至图5D以及图6详细描述控制器260的操作。
图3为示出根据本发明示例性实施方案的车道识别装置中将摄像机坐标系转换为道路坐标系的过程的示意图。
控制器260可以从由摄像机220拍摄的车辆前方的图像中检测车道。检测到的车道可以表示为摄像机坐标系(i，j)集合。
此后，控制器260可以将表示为摄像机坐标系的车道集合转换为道路坐标系(x，y)。
如图3所示，控制器260可以基于焦点将摄像机坐标系(i，j)转换为道路坐标系(x，y)。换句话说，控制器260可以基于下面的方程2执行转换过程。
[方程2]
y(i，j)＝X(j)×tan-1(Ap×(i-Ch))
这里，x表示道路的x坐标值，y表示道路的y坐标值，Ch表示摄像机的水平消失点，i表示摄像机的水平像素，j表示摄像机的竖直像素，Ap表示每个像素的视角。在这种情况下，Ap满足下面的方程3，并且X(j)满足下面的方程4。
[方程3]
Figure BDA0002108186800000081
这里，Fh表示水平视角，Fv表示竖直视角，Ph表示水平分辨率，Pv表示竖直分辨率。
[方程4]
Figure BDA0002108186800000082
这里，Hc表示摄像机的高度，Cv表示摄像机的竖直消失点。
图4为示出根据本发明示例性实施方案的车道识别装置中将摄像机坐标系中的图像转换为道路坐标系中的图像的结果的示意图。
控制器260可以基于上面的方程2将摄像机坐标系中的图像转换为道路坐标系中的图像。在这种情况下，由于在摄像机坐标系的图像中包括车道，所以在转换过程中可以将摄像机坐标系中的车道转换为道路坐标系中的车道。控制器260可以从由摄像机坐标系的图像中检测车道，并且可以仅将检测到的车道转换为道路坐标系中的车道，而不将整个图像转换为道路坐标系中的图像。
此后，控制器260可以执行确定图1的弯折点50是否位于图2的车道30的过程，表示为道路坐标系。
图5A至图5D为示出根据本发明示例性实施方案的车道识别装置中检测车道上的弯折点的过程的示意图。图6为示出由根据本发明示例性实施方案的车道识别装置生成的多个车道方程的示意图。
为了确定是否检测到车道上的弯折点，如图5A所示，图2的控制器260可以执行检测整个误差Ea的过程。换句话说，控制器260可以在dmin到dmax的设定区间中将实际车道310和320近似为车道的三次方程330，而不考虑弯折点50。这里，dmin表示最靠近图1的主车10的距离，dmax表示最远离主车10的距离。
如果在设定区间中将实际车道310和320近似为车道的三次方程330，当车道的三次方程330与实际车道310和320之间的误差Ea大于阈值Eth时，控制器260可以确定出存在弯折点50以执行检测弯折点50的过程。在这种情况下，误差的大小可以表示为由实际车道310和320与车道的三次方程330形成的区域的大小。
此后，如图5B所示，控制器260可以执行将从实际车道310和320检测到的车道集合，在从点dmin至点dmax的方向(箭头)近似为三次方程的过程(曲线拟合)。在该过程中，控制器260可以周期性地计算第一误差Eb。
此外，如图5C所示，控制器260可以执行将从实际车道310和320检测到的车道集合，在从点dmax至点dmin的方向(箭头)近似为三次方程的过程(曲线拟合)。在该过程中，控制器260可以周期性地计算第二误差Ec。
此后，如图5D所示，控制器260可以将周期性计算的第一误差Eb和第二误差Ec表示为曲线图。
控制器260可以检测第一误差曲线和第二误差曲线相交的点dc作为弯折点50。
此后，如图5D所示，控制器260可以在dmin到dc的区间中，在箭头方向510将车道集合310近似为车道的三次方程，并且如图5C所示，控制器260可以在箭头方向520将车道集合320近似为车道的三次方程，以基于弯折点dc生成对应于车道集合310的车道的三次方程313以及对应于车道集合320的车道的三次方程323，如图6所示。
比较图5A和图6，可以看出，图6所示的车道的三次方程313和323更接近实际车道310和320。
控制器260可以基于由图2的摄像机220拍摄的车辆前方的图像以及图2的雷达230的检测结果来检测图1的前车20的行驶轨迹21。由于检测这种行驶轨迹的过程是众所周知或常用的技术，因此将省略其详细描述。
此后，控制器260可以将前车20的行驶轨迹21近似(曲线拟合)为三次方程。近似的三次方程可以是下面的方程5。
[方程5]
y＝p3x3+p2x2+p1x+p0
这里，P0表示行驶轨迹的横向偏移，P1表示行驶轨迹的航向角斜率，P2表示行驶轨迹的曲率，P3表示轨迹的曲率变化率。
此后，当P3大于阈值Eth时，控制器260可以将阈值Eth乘以权重w以将阈值Eth设定为更小的值。在这种情况下，优选的是，权重w是0至1之间的值。
同时，控制器260可以获得车辆当前行驶的道路的行驶轨迹，其是经由图2的通信器250从图2的行驶轨迹服务器300获得的，并且控制器260可以基于所获得的行驶轨迹来设定阈值Eth。在这种情况下，从行驶轨迹服务器300获得的行驶轨迹可以包括关于坐标(x，y)的信息。
图7为示出根据本发明示例性实施方案的车道识别方法的流程图。
在步骤701，图2的摄像机220可以拍摄车辆前方的图像。
在步骤702，图2的控制器260可以从车辆前方的图像中检测车道。换句话说，控制器260可以从车辆前方的图像中检测车道，可以对构成检测到的车道的车道集合(x，y)以x值的升序执行曲线拟合的过程中生成车道与车道方程之间的第一误差曲线，可以对车道集合以x值的降序执行曲线拟合的过程中生成车道与车道方程之间的第二误差曲线，并且可以将第一误差曲线和第二曲线相交的点设定为弯折点dc。
在步骤703，控制器260可以基于车道的弯折点生成多个车道方程。换句话说，控制器260可以对在dmin到dc的区间内的车道集合(x，y)以x值的升序执行曲线拟合，以生成第一车道方程，并且可以对在dmax到dc的区间内的车道集合(x，y)以x值的降序执行曲线拟合，以生成第二车道方程。
在步骤704，控制器260可以基于多个车道方程来识别道路上的车道。
图8为示出用于执行根据本发明示例性实施方案的车道识别方法的计算系统的框图。
参考图8，计算系统1000可以包括：至少一个处理器1100、存储器1300、用户界面输入装置1400、用户界面输出装置1500、存储装置1600和网络接口1700，它们通过总线1200彼此连接。
处理器1100可以是中央处理单元(CPU)或用于处理存储在存储器1300和/或存储装置1600中的指令的半导体器件。存储器1300和存储装置1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括ROM(只读存储器)和RAM(随机存取存储器)。
因而，结合本文公开的实施方案而描述的方法或算法的操作可直接在硬件模块或由处理器1100执行的软件模块中或两者的组合中实现。软件模块可以存在于存储介质(即，存储器1300和/或存储装置1600)上，诸如RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动硬盘、CD-ROM。示例性存储介质可以联接到处理器1100，并且处理器1100可以从存储介质中读取信息并且可以将信息记录在存储介质中。或者，存储介质可以与处理器1100集成。处理器1100和存储介质可以存在于专用集成电路(ASIC)中。ASIC可以存在于用户终端中。在另一种情况下，处理器1100和存储介质可以作为单独的组件存在于用户终端中。
根据本发明示例性实施方案的车道识别装置和车道识别方法当道路上的车道弯曲形成一定角度而不是弯曲为平滑曲线的形式时(例如，车道以从一点出发的两条直线形成一定角度形式的情况下)，考虑到在道路上绘制的车道的形式，通过将车道表示为多个三次方程，可以高精度地识别车道。
在上文中，尽管已经参考示例性实施方案和附图描述了本发明，但是本发明不限于此，本发明所属领域的技术人可以对本发明进行各种修改和改变，而不脱离由所附权利要求所要求保护的本发明的精神和范围。
因此，提供本发明的示例性实施方案是为了解释本发明的精神和范围，而不是限制它们，使得本发明的精神和范围不受这些实施方案的限制。本发明的范围应当基于所附权利要求来进行解释，在等同于权利要求的范围内的所有技术构思应当包括在本发明的范围内。

Claims (20)

1.一种车道识别装置，其包括：
摄像机，其配置为拍摄车辆前方的图像；
控制器，其配置为基于从车辆前方的图像中获得的车道的弯折点来识别车道。
2.根据权利要求1所述的车道识别装置，其中，所述控制器配置为：
从车辆前方的图像中检测车道；
基于车道的弯折点生成多个车道方程；
基于所述多个车道方程识别道路上的车道。
3.根据权利要求2所述的车道识别装置，其中，所述控制器进一步配置为：
将检测到的车道从摄像机坐标系转换为道路坐标系。
4.根据权利要求2所述的车道识别装置，其中，所述控制器进一步配置为：
在车辆前方的图像中，在最靠近车辆的最小距离至最远离车辆的最大距离的设定区间中检测车道；
将检测到的车道近似为车道方程；
当车道和车道方程之间的误差大于第一阈值时，检测弯折点。
5.根据权利要求4所述的车道识别装置，其中，所述误差由车道和车道方程形成。
6.根据权利要求4所述的车道识别装置，其中，所述控制器进一步配置为：
在对构成车道的车道集合以x值的升序执行曲线拟合的过程中，生成车道和车道方程之间的第一误差曲线；
在对所述车道集合以x值的降序执行曲线拟合的过程中，生成车道和车道方程之间的第二误差曲线；
将第一误差曲线和第二误差曲线相交的点设定为弯折点。
7.根据权利要求6所述的车道识别装置，其中，所述控制器进一步配置为：
通过对在最小距离至弯折点的区间中的车道集合以x值的升序执行曲线拟合来生成第一车道方程；
通过对在最大距离至弯折点的区间中的车道集合以x值的降序执行曲线拟合来生成第二车道方程。
8.根据权利要求7所述的车道识别装置，其中，所述控制器配置为：
基于所述第一车道方程和所述第二车道方程来识别车道。
9.根据权利要求4所述的车道识别装置，其进一步包括：
雷达，其配置为检测位于车辆前方的前车的位置和相对速度。
10.根据权利要求9所述的车道识别装置，其中，所述控制器进一步配置为：
基于前车的位置和相对速度来计算行驶轨迹；
对构成所述行驶轨迹的集合执行曲线拟合；
当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
11.根据权利要求4所述的车道识别装置，其进一步包括：
通信器，其配置为从行驶轨迹服务器获得车辆当前行驶的道路的行驶轨迹。
12.根据权利要求11所述的车道识别装置，其中，所述控制器配置为：
对构成经由通信器获得的行驶轨迹的集合执行曲线拟合；
当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
13.一种车道识别方法，其包括：
通过车辆的摄像机拍摄车辆前方的图像；
车辆的控制器基于从车辆前方的图像获得的车道的弯折点来识别车道。
14.根据权利要求13所述的车道识别方法，其中，车道的识别包括：
从图像中检测车道；
基于车道的弯折点生成多个车道方程；
基于所述多个车道方程识别道路上的车道。
15.根据权利要求14所述的车道识别方法，其中，车道的检测包括：
将检测到的车道从摄像机坐标系转换为道路坐标系。
16.根据权利要求14所述的车道识别方法，其中，多个方程的计算包括：
在车辆前方的图像中，在最靠近车辆的最小距离至最远离车辆的最大距离的设定区间中检测车道；
将车道近似为车道方程；
当车道和车道方程之间的误差大于第一阈值时，检测弯折点。
17.根据权利要求16所述的车道识别方法，其中，弯折点的检测包括：
在对构成检测到的车道的车道集合以x值的升序执行曲线拟合的过程中，生成车道和车道方程之间的第一误差曲线；
在对所述车道集合以x值的降序执行曲线拟合的过程中，生成车道和车道方程之间的第二误差曲线；
将第一误差曲线和第二误差曲线相交的点设定为弯折点。
18.根据权利要求17所述的车道识别方法，其中，多个车道方程的计算包括：
通过对在最小距离至弯折点的区间中的车道集合以x值的升序执行曲线拟合来生成第一车道方程；
通过对在最大距离至弯折点的区间中的车道集合以x值的降序执行曲线拟合来生成第二车道方程。
19.根据权利要求16所述的车道识别方法，其中，多个方程的计算进一步包括：
基于前车的位置和相对速度来计算行驶轨迹；
对构成所述行驶轨迹的集合执行曲线拟合；
当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
20.根据权利要求16所述的车道识别方法，其中，多个方程的计算进一步包括：
从行驶轨迹服务器获得车辆当前行驶道路的行驶轨迹；
对构成所述行驶轨迹的集合执行曲线拟合；
当行驶轨迹的曲率变化率大于第二阈值时，减小第一阈值。
CN201910560702.8A 2019-01-21 2019-06-26 车道识别装置和车道识别方法 Active CN111462527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0007656 2019-01-21
KR1020190007656A KR20200090527A (ko) 2019-01-21 2019-01-21 차선 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN111462527A true CN111462527A (zh) 2020-07-28
CN111462527B CN111462527B (zh) 2023-04-18

Family

ID=71608491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910560702.8A Active CN111462527B (zh) 2019-01-21 2019-06-26 车道识别装置和车道识别方法

Country Status (3)

Country Link
US (1) US11164011B2 (zh)
KR (1) KR20200090527A (zh)
CN (1) CN111462527B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538673A (zh) * 2021-06-29 2021-10-22 深圳一清创新科技有限公司 一种车道的生成方法、装置以及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
EP3716138A1 (en) * 2019-03-29 2020-09-30 Zenuity AB Road boundary determination
US11938946B2 (en) * 2019-07-18 2024-03-26 Mitsubishi Electric Corporation Lane shape recognition system and lane shape recognition method
CN113807333B (zh) * 2021-11-19 2022-03-18 智道网联科技(北京)有限公司 用于检测车道线的数据处理方法及存储介质
CN115143996B (zh) * 2022-09-05 2023-01-17 北京智行者科技股份有限公司 定位信息修正方法及电子设备和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722705A (zh) * 2012-06-12 2012-10-10 武汉大学 一种基于ransac算法的多车道线检测方法
CN103262139A (zh) * 2010-12-15 2013-08-21 本田技研工业株式会社 行车道识别装置
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法
CN103786729A (zh) * 2012-10-26 2014-05-14 现代自动车株式会社 车道识别方法和系统
CN103942969A (zh) * 2014-05-12 2014-07-23 哈尔滨工业大学 左转机动车借右侧车道转弯交叉口动态交通信号控制方法
CN103991448A (zh) * 2014-04-01 2014-08-20 财团法人车辆研究测试中心 动态车道线检测系统及方法
DE102014112574A1 (de) * 2014-09-01 2016-03-03 Con4Tech Gmbh Verfahren zur Überwachung der Fahrt eines Fahrzeugs
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
DE102016204430A1 (de) * 2015-03-18 2016-09-22 Honda Motor Co., Ltd. Verkehrszeichenbestimmungsvorrichtung
CN106096525A (zh) * 2016-06-06 2016-11-09 重庆邮电大学 一种复合型车道识别系统及方法
CN106407893A (zh) * 2016-08-29 2017-02-15 东软集团股份有限公司 一种检测车道线的方法、装置和设备
CN107450530A (zh) * 2016-05-23 2017-12-08 本田技研工业株式会社 车辆控制系统以及车辆位置的确定装置、方法及程序产品
CN107730520A (zh) * 2017-09-22 2018-02-23 智车优行科技（北京）有限公司 车道线检测方法及系统
US20180082134A1 (en) * 2016-09-20 2018-03-22 Apple Inc. Traffic direction gesture recognition
US20180225525A1 (en) * 2015-08-04 2018-08-09 Nissan Motor Co., Ltd. Step Detection Device and Step Detection Method
CN108538086A (zh) * 2017-03-06 2018-09-14 福特全球技术公司 辅助驾驶员进行道路车道变更
CN108986502A (zh) * 2017-05-30 2018-12-11 福特全球技术公司 感应回路检测系统和方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
DE102005045017A1 (de) * 2005-09-21 2007-03-22 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs
JP4446204B2 (ja) * 2007-10-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 車両用ナビゲーション装置及び車両用ナビゲーションプログラム
JP4780534B2 (ja) * 2009-01-23 2011-09-28 トヨタ自動車株式会社 道路区画線検出装置
JP5363920B2 (ja) * 2009-08-31 2013-12-11 富士重工業株式会社 車両用白線認識装置
JP4992990B2 (ja) * 2010-02-24 2012-08-08 株式会社デンソー 区画線検出装置
JP5281664B2 (ja) * 2011-02-23 2013-09-04 クラリオン株式会社 車線逸脱警報装置および車線逸脱警報システム
KR101333459B1 (ko) 2012-02-21 2013-11-26 영남대학교 산학협력단 차선 인식 방법 및 장치
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
JP6154213B2 (ja) * 2013-06-28 2017-06-28 株式会社Ｓｏｋｅｎ 路面情報取得装置
KR101558353B1 (ko) * 2013-09-26 2015-10-07 현대자동차 주식회사 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
US9487235B2 (en) * 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
JP2018510373A (ja) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP6553917B2 (ja) * 2015-03-31 2019-07-31 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP6465730B2 (ja) * 2015-04-21 2019-02-06 アルパイン株式会社 電子装置、走行車線識別システムおよび走行車線識別方法
WO2017056249A1 (ja) * 2015-09-30 2017-04-06 日産自動車株式会社 走行制御方法および走行制御装置
JP2017100652A (ja) * 2015-12-04 2017-06-08 株式会社デンソー 走行軌跡生成装置、走行軌跡生成方法
JP6308233B2 (ja) * 2016-02-29 2018-04-11 トヨタ自動車株式会社 車両制御装置及び車両制御方法
US10102435B2 (en) * 2016-08-10 2018-10-16 Omnivision Technologies, Inc. Lane departure warning system and associated methods
KR101866075B1 (ko) * 2016-10-20 2018-06-08 현대자동차주식회사 차선 추정 장치 및 방법
JP7016214B2 (ja) * 2016-11-29 2022-02-04 アルパイン株式会社 走行可能領域設定装置および走行可能領域設定方法
US10000153B1 (en) * 2017-08-31 2018-06-19 Honda Motor Co., Ltd. System for object indication on a vehicle display and method thereof
US11097748B2 (en) * 2018-10-23 2021-08-24 Baidu Usa Llc Two-step reference line smoothing method to mimic human driving behaviors for autonomous driving cars
JP7082940B2 (ja) * 2018-12-17 2022-06-09 本田技研工業株式会社 走行軌道決定処理及び自動運転装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262139A (zh) * 2010-12-15 2013-08-21 本田技研工业株式会社 行车道识别装置
CN102722705A (zh) * 2012-06-12 2012-10-10 武汉大学 一种基于ransac算法的多车道线检测方法
CN103786729A (zh) * 2012-10-26 2014-05-14 现代自动车株式会社 车道识别方法和系统
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法
CN103991448A (zh) * 2014-04-01 2014-08-20 财团法人车辆研究测试中心 动态车道线检测系统及方法
CN103942969A (zh) * 2014-05-12 2014-07-23 哈尔滨工业大学 左转机动车借右侧车道转弯交叉口动态交通信号控制方法
DE102014112574A1 (de) * 2014-09-01 2016-03-03 Con4Tech Gmbh Verfahren zur Überwachung der Fahrt eines Fahrzeugs
DE102016204430A1 (de) * 2015-03-18 2016-09-22 Honda Motor Co., Ltd. Verkehrszeichenbestimmungsvorrichtung
US20180225525A1 (en) * 2015-08-04 2018-08-09 Nissan Motor Co., Ltd. Step Detection Device and Step Detection Method
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
CN107450530A (zh) * 2016-05-23 2017-12-08 本田技研工业株式会社 车辆控制系统以及车辆位置的确定装置、方法及程序产品
CN106096525A (zh) * 2016-06-06 2016-11-09 重庆邮电大学 一种复合型车道识别系统及方法
CN106407893A (zh) * 2016-08-29 2017-02-15 东软集团股份有限公司 一种检测车道线的方法、装置和设备
US20180082134A1 (en) * 2016-09-20 2018-03-22 Apple Inc. Traffic direction gesture recognition
CN108538086A (zh) * 2017-03-06 2018-09-14 福特全球技术公司 辅助驾驶员进行道路车道变更
CN108986502A (zh) * 2017-05-30 2018-12-11 福特全球技术公司 感应回路检测系统和方法
CN107730520A (zh) * 2017-09-22 2018-02-23 智车优行科技（北京）有限公司 车道线检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段建民等: "基于改进SIS算法和顺序RANSAC的车道线检测方法研究", 《计算机测量与控制》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538673A (zh) * 2021-06-29 2021-10-22 深圳一清创新科技有限公司 一种车道的生成方法、装置以及电子设备

Also Published As

Publication number Publication date
KR20200090527A (ko) 2020-07-29
CN111462527B (zh) 2023-04-18
US20200234063A1 (en) 2020-07-23
US11164011B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
CN111462527B (zh) 车道识别装置和车道识别方法
US20200331476A1 (en) Automatic lane change with minimum gap distance
US10198619B1 (en) System and method for evaluating the perception system of an autonomous vehicle
US20240127601A1 (en) Method for detecting vehicle and device for executing the same
CN105667508B (zh) 车辆速度调节
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
EP2889641A1 (en) Image processing apparatus, image processing method, program and image processing system
US11181910B2 (en) Vehicle controller and computer readable storage medium
CN110194162B (zh) 用于基于可用空间信号来检测靠近切入车辆的系统和方法
US20170091565A1 (en) Object detection apparatus, object detection method, and program
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
JP6717240B2 (ja) 物標検出装置
US10482332B2 (en) Pedestrian determining apparatus for determining whether an object is a pedestrian crossing ahead of an own vehicle
US20160188984A1 (en) Lane partition line recognition apparatus
CN112208533A (zh) 车辆控制系统、车辆控制方法及存储介质
CN110053627B (zh) 驾驶评价系统和存储介质
CN111746531A (zh) 车辆控制装置、车辆控制方法、及存储介质
CN113454555A (zh) 用于驾驶策略的轨迹预测
US20190012918A1 (en) Method and device for classifying a parking spot identified with the aid of a distance-based detection method for validity
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
JP2014157489A (ja) 隊列走行制御装置
CN111667719B (zh) 用于控制自动驾驶车辆的速度的设备和方法及存储介质
US11670092B2 (en) Electronic device for controlling driving vehicle and operation method of the electronic device
US20230150495A1 (en) Driving control apparatus and method for vehicle
EP4336467A1 (en) Method and apparatus for modeling object, storage medium, and vehicle control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant