CN104908649A - 标志线检测系统 - Google Patents

标志线检测系统 Download PDF

Info

Publication number
CN104908649A
CN104908649A CN201510103663.0A CN201510103663A CN104908649A CN 104908649 A CN104908649 A CN 104908649A CN 201510103663 A CN201510103663 A CN 201510103663A CN 104908649 A CN104908649 A CN 104908649A
Authority
CN
China
Prior art keywords
line
candidate
markings
centers
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510103663.0A
Other languages
English (en)
Inventor
片冈祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN104908649A publication Critical patent/CN104908649A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

标志线检测系统(1)包括:成像装置(10)、标志线候选检测单元、标志线更正单元、中心线确定单元以及有效性确定单元。标志线候选检测单元检测第一车辆标志线候选和第二车辆标志线候选。标志线更正单元基于第一车辆标志线候选的位置,更正第二车辆标志线候选的位置。当第一车辆标志线候选是有效中心线时,标志线更正单元基于第一车辆标志线候选的位置,执行第二车辆标志线候选的位置的更正。当第一车辆标志线候选不是有效中心线时,标志线更正单元不基于第一车辆标志线候选的位置执行更正。

Description

标志线检测系统
技术领域
本发明涉及一种标志线检测系统,该标志线检测系统检测在车辆的周围的路面上的标志线。
背景技术
日本专利申请公开No.2012-022574(JP2012-022574A)公开了如下技术:从在车辆的左侧和右侧的每一侧上的白线检测区域检测白线候选点的点群,并且基于检测到的点群,计算在车辆的左侧和右侧上的虚拟白线近似线,并且确定两条虚拟白线近似线之间的平行度。如果确定了平行度是低的,则该技术计算两条虚拟白线近似线的每条的近似误差,确定具有更低的近似误差的一条虚拟白线近似线作为正确的虚拟白线近似线,并且确定另一条作为错误辨认的虚拟白线近似线。其后,该技术将在正确确定侧上的虚拟白线近似线偏移到错误辨认侧,将已经偏移的虚拟白线近似线与错误辨认的虚拟白线近似线相比较,而后更正错误辨认的虚拟白线近似线的位置。
根据日本专利申请公开No.2012-022574(JP2012-022574A)具有以下问题:例如,假设主行驶道路和分支到左侧并且引导到出口的分岔路在高速公路上混合。在这种情况下,如果在车辆的左侧上的虚拟白线近似线的近似误差大于在右侧上的虚拟白线近似线的近似误差,则确定在左侧上的虚拟白线近似线是错误辨认的。因此,基于确定为正确的在右侧上的虚拟白线近似线的位置,来更正在左侧上的虚拟白线近似线的位置。这意味着,即使检测到分岔路的白线,该技术也能够检测主行驶道路的白线(标志线),而没有受分岔路的白线影响。然而,如果在车辆的右侧上的白线是虚线或者由于擦痕而不清楚,则在右侧上的虚拟白线近似线的近似误差有时大于在左侧上的虚拟白线近似线的近似误差。在这种情况下,根据日本专利申请公开No.2012-022574(JP2012-022574A)的技术基于作为分岔路的白线的、在左侧上的虚拟白线近似线的位置,来更正在右侧上的虚拟白线近似线的位置,有时不能够正确地检测到主行驶道路的白线(标志线)。
发明内容
本发明提供一种标志线检测系统,其能够精确地检测主行驶道路和分岔路混合的主行驶道路中的车辆的标志线。
根据本发明的一方面的标志线检测系统包括成像装置、标志线候选检测单元、标志线更正单元、中心线确定单元以及有效性确定单元。成像装置被构造成捕捉车辆的周围环境。标志线候选检测单元被构造成基于由所述成像装置捕捉到的成像区域中的图像信息,来检测标志线候选,并且该标志线候选检测单元被构造成基于所述标志线候选来检测用于车辆的行驶车道的标志线候选作为车辆标志线候选。所述车辆标志线候选包括第一车辆标志线候选和第二车辆标志线候选。标志线更正单元被构造成基于所述第一车辆标志线候选的位置来更正所述第二车辆标志线候选的位置。所述车辆位于所述第一车辆标志线候选与所述第二车辆标志线候选之间。中心线确定单元被构造成确定所述第一车辆标志线候选是否是中心线。有效性确定单元被构造成:当所述第一车辆标志线候选由所述中心线确定单元确定为所述中心线时,确定所述第一车辆标志线候选是否为有效中心线。所述有效中心线是分岔路的分岔线没有连接到的中心线,或者是所述分岔线连接到的可能性低的中心线。所述标志线更正单元被构造成:当所述第一车辆标志线候选由所述有效性确定单元确定为所述有效中心线时,基于所述第一车辆标志线候选的所述位置,执行所述第二车辆标志线候选的所述位置的更正。所述标志线更正单元被构造成:当所述第一车辆标志线候选由所述有效性确定单元确定为不是所述有效中心线时,不基于所述第一车辆标志线候选的所述位置,执行所述更正。
如果两条车辆标志线候选的至少一条是中心线,并且该中心线是作为基准线有效的有效中心线,则本发明的该方面的标志线检测系统基于有效中心线的位置,来更正不是有效中心线的车辆标志线候选的位置。在本发明的该方面中,有效中心线对应于第一车辆标志线候选。此外,此处提及的有效中心线(基准线)是指分岔路的分岔线没有连接到的或者分岔线连接到可能性低的线(车辆标志线候选)。因此,该标志线检测系统避免了基于分岔路的分岔线的车辆标志线候选的更正,使得能够正确地检测车辆的行驶车道的标志线。
在本发明的该方面中,标志线更正单元可以被构造成:当第一车辆标志线候选由有效性确定单元确定为不是有效中心线时,基于第二车辆标志线候选更正第一车辆标志线候选的位置。
附图说明
下面将通过参考附图描述发明的示例性实施例的特征、优势、技术以及工业重要性,其中相同的标号表示相同的元件,并且其中:
图1是示出在本发明的实施例中的标志线检测系统的构造的实例的图;
图2是示出正确基准线和错误基准线的图;
图3是示出中心线的实例的图;
图4是示出中心线的实例的图;
图5是示出中心线的实例的图;
图6是示出中心线的实例的图;
图7是示出复合线的图;以及
图8是示出在本发明的实施例中的标志线检测系统的算术处理操作的实例的流程图。
具体实施方式
下面参考附图具体描述本发明的实施例中的标志线检测系统。本发明不限于该实施例。
通过参考图1至图8描述本发明的实施例中的标志线检测系统。
该实施例中的标志线检测系统1基于所获得的车辆的周围信息检测标志线。本发明的实施例中提及的标志线是指诸如在车辆的周围环境的路面上的白线或者黄线这样的车道边界线。在说明书中提及的“黄”线是指由日本道路交通法规定的作为表示禁止车道变更的线。
标志线检测系统1包括获取车辆的周围信息的周围信息获取单元。该周围信息获取单元被构造成获取用于识别路面、路面上的标志线、立体物(其它车辆、建筑物等)、以及背景(天空等)的车辆的周围信息。在该实施例中,成像装置10用作周围信息获取单元。本发明的实施例中的成像装置10被构造成捕捉车辆的周围环境并且获取图像信息作为车辆的周围信息,能够从该图像信息提取用于识别车辆周围的路面、路面上的标志线、立体物以及背景的识别信息。识别信息是指从成像区域中的图像信息提取的亮度值信息。成像装置10捕捉至少在车辆的行驶方向上的图像。
虽然立体照相机(成像装置10)用作本发明的实施例中的周围信息获取单元,然而充当成像装置10的单目照相机也可以用作周围信息获取单元。另外,成像装置10可以是捕捉作为单色图像或者彩色图像的图像信息的装置。
标志线检测系统1包括标志线检测电子控制单元(ECU)20。标志线检测ECU20是在标志线检测系统1中执行算术处理的电子控制装置。标志线检测ECU20包括标志线检测单元。标志线检测ECU20接收由成像装置10捕捉的成像区域上的图像信息。标志线检测ECU20基于成像区域上的图像信息利用标志线检测单元检测标志线。
利用该技术领域中已知的方法从图像信息中检测标志线。例如,标志线检测单元被划分为信息提取单元、边缘点检测单元、边缘段检测单元以及标志线候选检测单元。
信息提取单元从图像信息提取亮度值信息。信息提取单元利用该技术领域中已知的方法计算亮度值信息。例如,本发明的实施例中的信息提取单元基于获取的图像信息计算图像信息的每个坐标或每个区域的亮度值。在计算亮度值信息时,在图像信息中可以在任意点处开始扫描并且可以在任意方向上执行扫描。信息提取单元从成像区域中的整个图像信息提取亮度值信息。
边缘点检测单元基于亮度值信息检测图像信息中的边缘点(亮度从暗变化到亮或者从亮变化到暗的点)。利用该技术领域中已知的方法检测边缘点。
例如,通过使用用于图像信息中的亮度值信息的差分滤波器(例如,索贝尔滤波器),边缘点检测单元计算第一边缘点(上升边缘点)的边缘强度和第二边缘点(下降边缘点)的边缘强度。在第一边缘点处亮度从暗(主要是黑色)变化到亮(主要是白色或者黄色),在第二边缘点处亮度从亮变化到暗。即,边缘点检测单元检测被认为是图像信息中的标志线的边缘点的第一边缘点和第二边缘点。暗部分主要对应于路面上的沥青部分。另一方面,亮部分主要对应于在路面上的标志线。
边缘点检测单元使用与边缘强度相比较的阈值,以排除由于除了标志线之外的、诸如噪声或者路面上的污迹这样的因素而检测到的边缘点。另外,边缘点检测单元从检测到的第一边缘点和第二边缘点中提取每个都形成一对的第一边缘点和第二边缘点,并且通过这样做,排除每个都没有形成一对并且是单独的第一边缘点和第二边缘点,假设这些边缘点是不需要的。一对边缘点是指从一条标志线检测到的一对第一边缘点和第二边缘点。为了确定边缘点是否形成一对,边缘点检测单元使用第一边缘点与第二边缘点之间的宽度以及第一边缘点和第二边缘点上的亮度值信息。
基于如上所述选择的所有第一边缘点和第二边缘点,边缘段检测单元检测以下两种类型的段。一个是由布置成直线形式或者曲线形式的第一边缘点组成的线段(下文中,称为“第一边缘段”),以及另一个是由布置成直线形式或者曲线形式的第二边缘点组成的线段(下文中,称为“第二边缘段”)。利用该技术领域中已知的方法检测边缘段。
例如,边缘段检测单元对所有的第一缘点和第二边缘点进行霍夫变换处理,以检测第一边缘段和第二边缘段。其后,边缘段检测单元对所有检测到的第一边缘段和第二边缘段计算平行度或者距离,并且利用所计算的结果,提取形成一对的第一边缘段和第二边缘段。一对边缘段是指从一条标志线检测到的一组第一边缘段和第二边缘段。形成一对的第一边缘段和第二边缘段表示一条标志线(当标志线是虚线时的每条线)的边界。
标志线候选检测单元基于每个都形成一对的第一边缘段和第二边缘段,检测图像信息中的每条都被认为是标志线(标志线候选)的线。另外,标志线候选检测单元从标志线候选中检测车辆的行驶车道的标志线候选作为车辆标志线候选。利用该技术领域中的已知的方法检测标志线候选和车辆标志线候选。
例如,如果当检测标志线候选时,过去检测到的标志线候选信息不可用,则标志线候选检测单元检测由新检测到的作为一对的第一边缘段和第二边缘段包围的区域,作为标志线候选。在这种情况下,标志线候选检测单元鉴于图像中的第一边缘段和第二边缘段的位置、长度、倾斜,来确定该区域是否为标志线候选。另一方面,如果过去检测到的标志线候选信息可用,则标志线候选检测单元提取与过去检测到的标志线候选信息相似的一对第一边缘段和第二边缘段。其后,标志线候选检测单元检测由第一边缘段和第二边缘段包围的区域作为标志线候选。过去检测到的标志线候选信息是指以下类型的信息中的一种。一种是在当前图像信息的帧之前的帧中检测到的标志线候选或者标志线的信息,以及另一种是当车辆行驶在与过去的路面相同的路面上时检测到的标志线候选或者标志线的信息。
标志线候选检测单元基于图像信息中的车辆的位置和图像信息中的车辆的行驶车道的车道宽度,识别假设车辆的标志线存在的图像信息中的假设的区域,而后选择包括在识别的假设区域中的标志线候选作为车辆标志线候选。另一方面,如果没有在识别的假设区域中检测到标志线候选,则标志线候选检测单元确定没有在识别的假设区域中检测到车辆标志线候选。注意,在车辆的右侧和左侧两侧上、或者仅在车辆的右侧和左侧的一侧上,存在车辆标志线候选。
对于车辆的位置,基于成像装置10的安装位置和成像区域,提前识别图像信息中的车辆的位置或者图像信息的帧外的车辆的位置。相似地,对于车道宽度,根据诸如高速公路或者国道这样的道路类型,值提前存储在标志线检测ECU20的存储单元中。基于由汽车导航系统或者地图信息提供的车辆的位置信息,标志线候选检测单元确定车辆所行驶的道路的类型,并且根据确定的道路的类型读取车道宽度。不仅可以考虑车辆的行驶车道的车辆位置和车道宽度,而且可以考虑行驶方向上的车辆的行驶车道的路面形状来识别假设的区域。在这种情况下应当考虑的路面形状可以使用根据在前述过程中的车辆的标志线的检测结果而获得标志线或者行驶车道的形状信息来确定,或者该路面形状可以使用基于来自汽车导航系统或者地图信息的车辆的位置信息而获得的行驶车道的形状信息来确定。假设的区域可以是提前在图像信息中设定的区域。
基于在车辆的两侧上检测到的两条标志线候选的一条的位置,标志线检测系统1更正车辆的另一标志线候选的位置。更具体地,当检测到两条车辆标志线候选时,标志线检测系统1选择车辆标志线候选的一条作为基准线。在本发明的实施例中,标志线检测ECU20包括标志线更正单元,其更正车辆标志线候选的一条的位置。基于在图像信息中的用作基准线的车辆标志线候选的位置,标志线检测系统1使用标志线更正单元以更正图像信息中的车辆的另一标志线候选的位置。将在后文中详细描述标志线更正单元。此处提及的基准线是指图像信息中的两条车辆标志线候选的一条。当更正两条车辆标志线候选中的一条与实际标志线的位置偏差时,该另一条车辆标志线候选用作为基准。
如图2所示,当主行驶道路中的车辆的行驶车道连接到分岔路时,相关技术中的标志线检测系统错误地将分岔路的标志线识别为基准线。在这种情况下,存在应当被认为是基准线的车辆标志线候选的正确位置被偏离的可能性。例如,当分岔路的标志线是实线,并且同时,应当被辨认为基准线的车辆标志线候选是虚线或者被刮擦时,可能发生这样的情况。
为了解决该问题,该实施例中的标志线检测系统1通过将分岔路的分岔线没有连接到的或者不可能连接到的车辆标志线候选的一条设定为基准线,而避免了车辆标志线候选的错误更正。即,将图像信息中的车辆标志线候选的一条用作基准线,该一条车辆标志线候选作为当更正另一车辆标志线候选与实际标志线的位置偏差时的基准。该车辆标志线候选是分岔路的分岔线没有连接到的或者不可能连接到的标志线。下面描述具体的构造。
在本发明的实施例中,标志线检测ECU20包括中心线确定单元,其确定车辆标志线候选是否是作为用于基准线的候选的中心线。基于是否在车辆的右侧和左侧上都存在车辆标志线候选、且每侧上有一条车辆标志线候选,或者基于是否仅在右侧和左侧中的一侧上存在车辆标志线候选,中心线确定单元确定是否存在中心线。此处提及的中心线不限于将道路划分成车辆的行驶车道与相对车道的中心线。
如果仅在车辆的右侧和左侧的一侧上存在车辆标志线候选,则中心线确定单元确定不存在作为用于基准线的候选的中心线。
另一方面,如果在车辆的右侧和左侧上都存在车辆标志线候选,且每侧上有一条车辆标志线候选,则中心线确定单元认为两条车辆标志线候选的每条是用于中心线的候选。中心线确定单元基于两条中心线候选的线型和位置来从中心线候选识别中心线。
如果中心线候选由连续的边缘段组成,则中心线确定单元确定该中心线候选是实线。如果中心线候选是在车辆的行驶方向上互相隔开的边缘段的集合,则中心线确定单元确定该中心线候选是虚线。另外,中心线确定单元基于亮度值信息确定中心线候选是否是白线或者黄线。当图像信息是单色图像时,能够基于亮度比来确定中心线候选是否为白线或者黄线。如上所述,中心线确定单元确定作为中心线候选的车辆标志线候选的线型。
中心线候选的位置是指中心线候选是否在车辆的右侧或者左侧上。关于位置信息,可以使用当检测车辆标志线候选时已经获取的位置信息。
另外,中心线确定单元可以鉴于中心线候选的可靠性来识别中心线。该可靠性是指用于确定中心线候选是否能够为中心线的指数。例如,即使当中心线候选被认为是虚线时,实中心线候选也可以由于实线中的擦痕而被认为是虚线。由于该原因,中心线确定单元使用可靠性以正确地确定中心线。例如,中心线确定单元可以基于中心线候选中的每条线段的长度或者边缘段之间的间距来计算边缘线的可靠性,以确定中心线候选是否为虚线。
更具体地,中心线候选的一条是实线,并且另一条是虚线,则中心线确定单元识别虚线中心线候选作为中心线。例如,如图3中所示,当车辆行驶在车辆超过其它车辆时必须越过中心线的、在每个方向上具有一个车道的道路上时,相比于在虚线中心线候选侧上,分岔路很可能存在于实线中心线候选侧上。另外,如图4所示,当车辆行驶在每个方向上都具有多个车道的道路上时,相比于在虚线中心线候选侧上,分岔路很可能存在于实线中心线候选侧上。图4示出了在每个方向上具有三个车道的道路的两端处的车道中的车辆C1和C2的中心线。图4中,中心线确定单元识别虚线中心线作为是用于基准线的候选的中心线。
当中心线候选两者都是虚线时,中心线确定单元识别每条中心线候选作为中心线。例如,当车辆行驶在每个方向上都具有三个以上车道的道路上的、即不是最右的车道也不是最左的车道的车道中时,不可能在每个中心线候选侧上存在分岔路。图4示出了在每个方向上都具有三个车道的道路上的中央车道中的车辆C3的中心线。因此,中心线确定单元将两条中心线候选都识别为其每个都是用于基准线的候选的中心线。
当中心线候选的一个是白色实线并且另一个是黄色实线时,中心线确定单元识别黄色实线作为中心线。例如,当车辆行驶在图5所示的禁止超车的道路中时,相比于在黄色实线中心线候选侧上,分岔路更可能存在于白色实线中心线候选侧上。因此,中心线确定单元识别黄色实线中心线候选作为用于基准线的候选的中心线。
当两条中心线候选都是白色实线时,中心线确定单元确定当从车辆观察时每个中心线候选的更外侧是否存在标志线候选。图6示出了在车辆的两侧上的中心线候选都是白色实线的情况。如果在图6所示的车道中的中心线候选的更外侧不存在标志线候选,则可能在该中心线候选侧上存在分岔路。另一方面,如果在中心线候选的外侧存在另一条标志线候选,则不可能在该中心线候选侧上存在分岔路。因此,如果在中心线候选的一条的外侧存在另一条标志线候选,则中心线确定单元将在其外侧存在另一标志线候选的中心线候选识别为作为用于基准线的候选的中心线。另一方面,如果在两条中心线候选的外侧都存在另一标志线候选,则中心线确定单元将该两条中心线候选都识别为作为用于基准线的候选的中心线。
如果由不同的线型的两种线组成的复合线(图7)是中心线候选,则中心线确定单元基于主线的类型而不是辅助线的类型,来确定是该中心线候选为中心线还是相对侧中心线候选为中心线。在本发明的实施例中,实线被当作主线而虚线被当作辅助线。可以根据每个国家的法律适当地规定辅助线和主线。
相比于在另一侧上并且作为中心线候选的车辆标志线候选,由中心线确定单元识别的中心线更不可能连接到分岔路的分岔线。然而,在车道的数量减少并且结果不存在车辆的相邻车道这样的情况下,存在分岔路的分岔线连接到相对侧上的中心线的可能性。为了解决这种情况,本发明的实施例中的标志线检测ECU20包括有效性确定单元,其确定所识别的中心线是否是有效的中心线。有效性确定单元确定所识别的中心线是否是作为基准线有效的中心线。作为基准线有效的中心线是指从车辆的行驶车道分支的分岔路的分岔线没有连接到的中心线,或者这样的分岔线连接到的可能性低的中心线。难以确定分岔线连接到中心线的可能性高或者低。因此,如果不能够明确地确定分岔线连接到中心线,则有效性确定单元可以确定该中心线是分岔线连接到可能性低的有效中心线。相似地,如果能够略微确定分岔路可能连接到中心线,则使得有效性确定单元不能够确定该中心线是分岔线连接到可能性低的有效中心线。
如果中心线确定单元已经识别车辆标志线候选作为中心线,则有效性确定单元确定所识别的中心线是否为有效的中心线。
更具体地,有效性确定单元确定在车辆的行驶方向上是否存在从识别为中心线的车辆标志线候选侧分支的分岔路。执行该确定用于在图像信息中出现的中心线。如果不存在从识别为中心线的车辆标志线候选侧分支的分岔路,则有效性确定单元确定该中心线作为基准线是有效的,并且因此,该中心线是有效的中心线。另一方面,如果存在从识别为中心线的车辆标志线候选侧分支的分岔路,则有效性确定单元确定该中心线作为基准线不是有效的,并且因此该中心线作为基准线不是有效的。能够基于连接到图像信息中确定为中心线的车辆标志线候选的标志线候选的数量的变化,来确定是否存在这样的分岔路。
如果随着车辆行进能够估计存在位于图像信息的帧的外侧并且连接到作为中心线的车辆标志线候选的分岔路,则有效性确定单元可以确定车辆标志线候选不是中心线。即,在上述的情况下,有效性确定单元可以确定该中心线的识别是无效的。上述该估计可以基于来自汽车导航系统和地图信息的车辆的位置信息而做出。优选的是:远处区域不指定为对于分岔路的存在进行估计的区域,随着车辆行进,该分岔路连接到确定为中心线的车辆标志线候选。这是因为,如果车辆标志线候选连接到位于远处的分岔路,则即使此时在此点处该中心线用作有效的中心线(基准线),也能够精确地更正该标志线。由于该原因,期望的是进行估计的区域限于标志线能够精确地更正或者车辆将短时间内到达的附近区域。
标志线更正单元将如上所述确定为有效的有效中心线(车辆标志线候选)设定为基准线,并且基于该有效中心线的位置,更正不是有效中心线的另一车辆标志线候选的位置。另一车辆标志线候选的位置利用本技术领域中的已知方法来更正。标志线更正单元被划分为下文描述的形状估计单元和约束条件计算单元。
在更正车辆标志线候选的位置中,形状估计单元估计用于作为有效中心线(基准线)的车辆标志线候选的参数。用于车辆标志线候选的参数是指诸如曲率、曲率的改变率等这样的形状信息。用于车辆标志线候选的参数利用本技术领域中的已知方法来估计。例如,形状估计单元通过执行适合边缘点群的模型来估计用于车辆标志线候选的参数,该组边缘点群构成作为有效中心线(基准线)的车辆标志线候选。可以使用能够估计该参数的任意模型。
在更正车辆标志线候选的位置中,约束条件计算单元计算用于待更正的车辆的标志线的更正约束条件。在该技术领域中已知的更正约束条件基于用于作为有效中心线(基准线)的车辆标志线候选的参数而计算。更正约束条件的一个实例是用于防止待更正的车辆标志线候选的参数(曲率、曲率的变化率等)超过预定的误差水平。当车辆执行车道偏离防止支撑控制或者车道保持支撑控制时,更正约束条件的另一实例是能够适用的。该另一更正约束条件可以是如下的条件:用于防止车辆的偏航角的误差或者车辆与车辆标志线候选之间的偏移(水平位置)量的误差超过预定的误差水平的条件。
更具体地,当确定了中心线是有效中心线时,形状估计单元估计用于有效中心线(车辆标志线候选)的参数。其后,基于所估计的用于有效的中心线的参数,约束条件计算单元计算用于车辆的另一标志线候选的更正约束条件,该另一标志线候选不是有效中心线(在有效中心线的关于车辆的横向相对侧上的车辆标志线候选)。形状估计单元估计用于不是有效中心线的车辆的另一标志线候选的参数(形状信息),使得在考虑与有效中心线(车辆标志线候选)的平行度的同时,满足更正约束条件。这更正了车辆的另一标志线候选的位置,且结果是更正的标志线候选被检测为车辆的标志线。例如,标志线检测ECU20的输出单元基于用于车辆的另一标志线候选的参数,将不是有效中心线的车辆的另一标志线投影在图像信息上。由于该有效中心线(车辆标志线候选)也同时检测为车辆的标志线,所以输出单元基于用于有效中心线的参数将车辆的标志线投影在图像信息上。
另一方面,当确定了中心线不是有效中心线,有效性确定单元将作为另一中心线的车辆的另一标志线候选(在中心线的关于车辆的横向相对侧上的车辆标志线候选)设定为基准线。即,在这种情况下,作为另一中心线的车辆的另一标志线候选的位置没有基于中心线(确定为不是有效中心线)的位置而更正。也能够将设定基准线的基准线设定单元增加到标志线检测ECU20,使得基准线设定单元设定基准线。此外,有效性确定单元可以被认为是用于将中心线设定为基准线的单元。这意味着有效性确定单元和基准线设定单元可以合成为一个单元中。在这种情况下,形状估计单元估计用于不作为中心线的车辆的另一标志线候选的参数。另外,约束条件计算单元基于用于车辆的另一标志线候选的参数,计算用于识别为中心线的车辆标志线候选的更正约束条件。形状估计单元估计用于识别为中心线的车辆标志线候选的参数(形状信息),使得在考虑与不作为中心线的车辆的另一标志线候选的平行度的同时,使更正约束条件满足。这更正了被识别为中心线的车辆标志线候选的位置,且结果是标志线候选被识别为车辆的标志线。例如,基于被识别为中心线的车辆标志线候选的参数,输出单元将车辆的标志线投影在图像信息上。在这种情况下,不是中心线的车辆的另一标志线候选也检测为车辆的标志线。因此,输出单元基于车辆的另一标志线候选的参数将车辆的标志线投影在图像信息上。
如果确定不存在中心线,则形状估计单元估计用于不是中心线的车辆的另一标志线候选的参数(形状信息)。
如果两条车辆标志线候选都被识别为中心线,则两条车辆标志线候选的一条基于例如可靠性设定为基准线。
下面将通过参考图8中的流程图来描述标志线检测ECU20的算术处理的实例。
标志线检测ECU20接收由成像装置10捕捉的成像区域中的图像信息(步骤ST1)。
边缘点检测单元检测图像信息中的第一边缘点和第二边缘点(步骤ST2)。如上所述,基于由信息提取单元提取的亮度值信息,来检测被认为是图像信息中的标志线的边缘点的第一边缘点和第二边缘点。此时,诸如噪声这样的不必要的边缘点通过边缘强度与阈值之间的对比或者通过边缘点的配对而被移除。
如上所述,边缘段检测单元基于所有的第一边缘点和第二边缘点,检测第一边缘段和第二边缘段(步骤ST3)。此时,如上所述,在第一边缘段和第二边缘段之中形成配对。
标志线候选检测单元基于成对的第一边缘段和第二边缘段,检测图像信息中的标志线候选(步骤ST4)。
标志线更正单元确定是否从标志线候选中检测到车辆标志线候选(步骤ST5)。
如果没有检测到车辆标志线候选,则该标志线不需要更正。因此,如果没有检测到车辆标志线候选,则标志线更正单元立即终止算术处理。
另一方面,如果检测到车辆标志线候选,则标志线更正单元将该处理传递到中心线确定单元。如上所述,中心线确定单元通过确定检测到的车辆标志线候选的任意一个是否是作为用于基准线的候选的中心线,来确定是否存在中心线(步骤ST6)。如果仅在车辆的右侧和左侧的一侧上存在车辆标志线候选,如上所述,则中心线确定单元确定不存在作为用于基准线的候选的中心线。另一方面,如果存在在车辆的右侧和左侧上的车辆标志线候选,且每侧上有一条车辆标志线候选,则中心线确定单元确定两条车辆标志线候选的每条都作为用于中心线的候选,并且从中心线候选识别中心线。
如果检测到中心线,则有效性确定单元确定检测到的中心线作为基准线是否是有效的(步骤ST7)。即,在步骤ST7中,有效性确定单元确定检测到的中心线是否是有效中心线。如上所述执行检测到的中心线是否是有效的。
如果中心线作为基准线是有效的,则形状估计单元估计用于有效中心线(车辆标志线候选)的参数(形状信息)。此外,基于用于有效中心线的参数,约束条件计算单元计算用于车辆的另一标志线候选的更正约束条件,该车辆的另一标志线候选不是有效中心线(在有效中心线的关于车辆的横向相对侧上的车辆标志线候选)(步骤ST9)。
形状估计单元估计用于在有效中心线的相对侧上的车辆标志线候选的参数(形状信息),使得在考虑与有效中心线(车辆标志线候选)的平行度的同时,使更正约束条件满足(步骤ST10)。因此,即使有效中心线(车辆标志线候选)是虚线或者被刮擦,标志线检测系统1的构造也防止了分岔路的分岔线被选择为基准线,使得相对侧上的车辆标志线候选的位置(即,形状)能够根据作为基准线的有效中心线而被更正。
另一方面,如果中心线作为基准线不是有效的,则形状估计单元估计用于不是中心线的车辆的另一标志线候选(在中心线的关于车辆的横向相对侧上的车辆标志线候选)的参数(形状信息)(步骤ST11)。即,在这种情况下,基准线被在中心线的相对侧上的车辆标志线候选替代。约束条件计算单元基于用于车辆的另一标志线候选的参数,计算用于中心线(车辆标志线候选)的更正约束条件(步骤ST12)。
形状估计单元估计用于中心线(车辆标志线候选)的参数(形状信息),使得在考虑与在中心线的相对侧上的车辆标志线候选的平行度的同时,使更正约束条件满足(步骤ST13)。因此,即使在中心线的相对侧上的车辆标志线候选是虚线或者被刮擦,标志线检测系统1的构造也防止了连接到中心线的分岔路的分岔线被选择为基准线,使得中心线的位置(即,形状)能够根据作为基准线的相对侧上的车辆标志线候选而被更正。
如果没有检测到中心线,则形状估计单元估计用于在车辆的左侧或右侧的一侧上存在的车辆标志线候选的参数(形状信息)(步骤ST14)。
如上所述,车辆标志线候选没有基于标志线检测系统1中的分岔路的分岔线而被更正。因此,标志线检测系统1能够正确地检测车辆的行驶车道的标志线。

Claims (4)

1.一种标志线检测系统(1),其特征在于,包括:
成像装置(10),该成像装置(10)被构造成捕捉车辆的周围环境;
标志线候选检测单元,该标志线候选检测单元被构造成基于由所述成像装置捕捉到的成像区域中的图像信息,来检测标志线候选,并且该标志线候选检测单元被构造成基于所述标志线候选,将用于所述车辆的行驶车道的标志线候选检测作为车辆标志线候选,所述车辆标志线候选包括第一车辆标志线候选和第二车辆标志线候选;
标志线更正单元,该标志线更正单元被构造成基于所述第一车辆标志线候选的位置来更正所述第二车辆标志线候选的位置,所述车辆位于所述第一车辆标志线候选与所述第二车辆标志线候选之间;
中心线确定单元,该中心线确定单元被构造成确定所述第一车辆标志线候选是否是中心线;以及
有效性确定单元,该有效性确定单元被构造成当所述第一车辆标志线候选由所述中心线确定单元确定为所述中心线时,确定所述第一车辆标志线候选是否为有效中心线,其中
所述有效中心线是分岔路的分岔线没有连接到的中心线、或者是所述分岔线连接到的可能性低的中心线,
所述标志线更正单元被构造成当所述第一车辆标志线候选由所述有效性确定单元确定为所述有效中心线时,基于所述第一车辆标志线候选的位置来对所述第二车辆标志线候选的位置进行更正,并且
所述标志线更正单元被构造成当所述第一车辆标志线候选由所述有效性确定单元确定为不是所述有效中心线时,不基于所述第一车辆标志线候选的位置来进行所述更正。
2.根据权利要求1所述的标志线检测系统,其中
所述标志线更正单元被构造成当所述第一车辆标志线候选由所述有效性确定单元确定为不是所述有效中心线时,基于所述第二车辆标志线候选的所述位置来更正所述第一车辆标志线候选的所述位置。
3.根据权利要求1或2所述的标志线检测系统,其中
所述分岔线连接到的可能性低的有效中心线是如下中心线:该中心线没有被明确地确定为是所述分岔线连接到的中心线。
4.根据权利要求1或2所述的标志线检测系统,其中
所述标志线候选检测单元、所述标志线更正单元、所述中心线确定单元以及所述有效性确定单元包括在电子控制单元(20)中。
CN201510103663.0A 2014-03-12 2015-03-09 标志线检测系统 Pending CN104908649A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014049193A JP5874770B2 (ja) 2014-03-12 2014-03-12 区画線検出システム
JP2014-049193 2014-03-12

Publications (1)

Publication Number Publication Date
CN104908649A true CN104908649A (zh) 2015-09-16

Family

ID=52780793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510103663.0A Pending CN104908649A (zh) 2014-03-12 2015-03-09 标志线检测系统

Country Status (4)

Country Link
US (1) US9842265B2 (zh)
EP (1) EP2919158A3 (zh)
JP (1) JP5874770B2 (zh)
CN (1) CN104908649A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578046A (zh) * 2017-08-11 2018-01-12 中国人民解放军63653部队 一种基于图像二值化处理的辅助车辆行驶方法
CN108801273A (zh) * 2017-04-28 2018-11-13 高德软件有限公司 一种道路参考线的生成方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6412460B2 (ja) * 2015-04-14 2018-10-24 株式会社Soken 走行路推定装置
US10647319B2 (en) 2016-07-05 2020-05-12 Nissan Motor Co., Ltd. Travel control method and travel control device
CN106203398B (zh) * 2016-07-26 2019-08-13 东软集团股份有限公司 一种检测车道边界的方法、装置和设备
JP6702849B2 (ja) * 2016-12-22 2020-06-03 株式会社Soken 区画線認識装置
JP7354952B2 (ja) * 2020-07-14 2023-10-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム
JP7342832B2 (ja) 2020-09-30 2023-09-12 いすゞ自動車株式会社 走行位置決定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1577834A2 (en) * 2004-03-12 2005-09-21 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
EP1603097A2 (en) * 2004-06-02 2005-12-07 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
EP1605404B1 (en) * 2004-06-02 2010-07-28 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
CN101970273A (zh) * 2008-03-12 2011-02-09 本田技研工业株式会社 车辆行驶辅助装置、车辆、车辆行驶辅助程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3458560B2 (ja) * 1995-09-26 2003-10-20 トヨタ自動車株式会社 車両用白線認識装置及び方法
JP3871772B2 (ja) * 1997-08-07 2007-01-24 本田技研工業株式会社 走行レーン軌道認識装置
JPH11232467A (ja) * 1998-02-18 1999-08-27 Aqueous Reserch:Kk 分岐認識装置及び分岐認識方法
JP3732108B2 (ja) * 2001-04-12 2006-01-05 三菱電機株式会社 車線認識のための画像処理装置並びに画像処理法
JP4053280B2 (ja) * 2001-11-09 2008-02-27 富士重工業株式会社 画像処理装置および画像処理方法
JP4603970B2 (ja) * 2005-12-15 2010-12-22 トヨタ自動車株式会社 道路区画線検出装置
JP5350297B2 (ja) * 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
JP5603687B2 (ja) * 2010-07-15 2014-10-08 富士重工業株式会社 車両用白線認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1577834A2 (en) * 2004-03-12 2005-09-21 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
EP1603097A2 (en) * 2004-06-02 2005-12-07 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
EP1605404B1 (en) * 2004-06-02 2010-07-28 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
CN101970273A (zh) * 2008-03-12 2011-02-09 本田技研工业株式会社 车辆行驶辅助装置、车辆、车辆行驶辅助程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108801273A (zh) * 2017-04-28 2018-11-13 高德软件有限公司 一种道路参考线的生成方法及装置
CN107578046A (zh) * 2017-08-11 2018-01-12 中国人民解放军63653部队 一种基于图像二值化处理的辅助车辆行驶方法
CN107578046B (zh) * 2017-08-11 2021-01-22 中国人民解放军63653部队 一种基于图像二值化处理的辅助车辆行驶方法

Also Published As

Publication number Publication date
US20150262020A1 (en) 2015-09-17
JP5874770B2 (ja) 2016-03-02
EP2919158A2 (en) 2015-09-16
EP2919158A3 (en) 2016-01-20
JP2015172903A (ja) 2015-10-01
US9842265B2 (en) 2017-12-12

Similar Documents

Publication Publication Date Title
CN104908649A (zh) 标志线检测系统
US10445595B2 (en) Barrier and guardrail detection using a single camera
CN104834889B (zh) 标志线检测系统和标志线检测方法
CN105868687B (zh) 行驶路面检测装置和行驶路面检测方法
US10891738B2 (en) Boundary line recognition apparatus and branch road determination apparatus
CN102428385B (zh) 物体探测设备
US20090041337A1 (en) Image processing apparatus and method
US20160012283A1 (en) Stereoscopic Camera Apparatus
US8730325B2 (en) Traveling lane detector
US20170314956A1 (en) Host vehicle position estimation device
US10235579B2 (en) Vanishing point correction apparatus and method
US20190266745A1 (en) Object detection device
US11021149B2 (en) Driving support apparatus
US9835468B2 (en) Entry detection apparatus and entry detection method
CN104508708A (zh) 道路环境识别装置
JP2016170708A (ja) 道路状態判定装置および道路状態判定方法
US20180005073A1 (en) Road recognition apparatus
JP2016018371A (ja) 車載システム、情報処理装置、及びプログラム
JP2010205175A (ja) 車線認識装置及び方法
Espino et al. Rail and turnout detection using gradient information and template matching
US10339394B2 (en) Step detection device and step detection method
KR101595317B1 (ko) 차량의 정밀 측위를 위한 노면 표시 검출 방법 및 그 시스템
CN103456026A (zh) 一种公路地标约束下的地面运动目标检测方法
KR101371875B1 (ko) 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
Lin et al. A robust lane detection and verification method for intelligent vehicles

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150916

WD01 Invention patent application deemed withdrawn after publication