CN113212352A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN113212352A
CN113212352A CN202110097136.9A CN202110097136A CN113212352A CN 113212352 A CN113212352 A CN 113212352A CN 202110097136 A CN202110097136 A CN 202110097136A CN 113212352 A CN113212352 A CN 113212352A
Authority
CN
China
Prior art keywords
edge
line
parking
image processing
parking space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110097136.9A
Other languages
English (en)
Other versions
CN113212352B (zh
Inventor
金子贵之
近藤俊辅
久保田守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020018480A external-priority patent/JP7453008B2/ja
Priority claimed from JP2020027982A external-priority patent/JP7446851B2/ja
Application filed by Faurecia Clarion Electronics Co Ltd filed Critical Faurecia Clarion Electronics Co Ltd
Publication of CN113212352A publication Critical patent/CN113212352A/zh
Application granted granted Critical
Publication of CN113212352B publication Critical patent/CN113212352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0027—Post collision measures, e.g. notifying emergency services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置对描绘于路面的标志进行检测，该图像处理装置具备：对车辆(V)的周围的状况进行摄像的摄像装置；以及从由摄像装置获取到的图像中检测描绘于路面的标志的控制部。在检测到的所述标志间断成多个部分时，控制部将间断的所述多个部分进行连接来作为一个标志。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及图像处理装置以及图像处理方法。
背景技术
在将车辆向给定的停车区划停车时对设为停车目标的停车空间(停车框)进行自动检测来使车辆自动停车的车辆用停车支援装置正在实用化(例如日本特开2014-166834号公报)。在日本特开2014-166834号公报公开的技术中，从由摄像部摄像得到的摄像图像等中检测停车区划线，将以一对停车区划线包围的区域识别为能停车的停车目标位置即停车框。另外，在车辆的行驶时，基于拍摄车辆周边而得到的图像来自动检测对行驶车道(行驶车道)进行区划的车道边界线，从而使车辆自动驾驶的行驶支援装置也正在实用化。
作为这样的检测作为停车区划线、车道边界线等的白线的技术，公开了从拍摄车辆周边得到的图像中检测边缘并基于检测到的边缘来检测白线的白线检测装置、白线检测方法(例如日本特开平8-167023号公报、日本特开2007-179386号公报)。
发明内容
(发明要解决的课题)
在上述现有技术中，由于本车辆、其他车辆、墙壁、围栏等的较大的影子、基于树叶空隙照进的日光、道路照明灯等的光的反射、磨损、障碍物的存在等，有时会检测不到停车区划线等。特别在影子和影子以外的区域，由于停车区划线的亮度、亮度差不同，因此有时会无法适当地检测到停车区划线的边缘。故而，为了提升停车区划线等的检测精度，进而为了提升停车空间、行驶车道的检测精度，期望开发能抑制边缘的误检测、检测不到的技术。
为此，本发明目的在于，提供能高精度地进行停车区划线、车道边界线等、描绘于路面的标志的检测的图像处理装置以及图像处理方法。
(用于解决课题的技术方案)
为了达成上述目的，本发明的图像处理装置具备：控制部，其从由对车辆的周围的状况进行摄像的摄像装置获取到的图像中检测描绘于所述路面的标志。在检测到标志间断成多个部分时，控制部将间断的多个部分进行连接来作为一个标志。
(发明效果)
在本发明的图像处理装置中，能高精度地进行停车区划线、车道边界线等描绘于路面的标志的检测。其结果是，能高精度地进行设置于停车场等的路面的停车框的检测、由车道边界线区划出的行驶车道的检测等。
附图说明
图1是表示应用本发明的第一实施方式所涉及的图像处理装置的停车支援装置的概略构成的框图。
图2是表示第一实施方式所涉及的停车支援装置的摄像装置的配置位置的一例的图。
图3是表示第一实施方式所涉及的图像处理装置的概略构成的功能框图。
图4A是用于说明第一实施方式所涉及的图像处理装置的动作的一例的流程图。
图4B是用于说明边缘连接部的动作的一例的流程图。
图4C是用于说明边缘连接部的动作的一例的流程图。
图5是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，表示车辆和描绘在停车场的路面上的停车区划线的一例。
图6A是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是示意性地表示俯瞰图像以及从俯瞰图像检测到的边缘的图。
图6B是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，表示由于影子而间断的边缘连接的印象。
图7A是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，表示由于影子而间断的停车区划线的边缘。
图7B是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，表示由于树叶空隙照进的日光的影响而检测到的边缘。
图8A是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是在与边缘A为给定距离的范围内提取出的边缘B的概略图。
图8B是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是用于说明2个边缘A、B的端点间的扫描次序的图。
图9A是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是表示短边缘A1与长边缘B1的组的图。
图9B是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是表示长边缘A2与短边缘B2的组的图。
图10A是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是表示长边缘A3与短边缘B3的组的图。
图10B是用于说明第一实施方式所涉及的图像处理装置的动作的一例的图，是表示短边缘A4与长边缘B4的组的图。
图11是表示第二实施方式所涉及的图像处理装置的概略构成的功能框图。
图12是用于说明第二实施方式所涉及的图像处理装置的动作的一例的流程图。
图13A是用于说明第二实施方式所涉及的图像处理装置的动作的一例的图，是示意性地表示俯瞰图像、从俯瞰图像检测到的边缘和停车框的图。
图13B是用于说明第二实施方式所涉及的图像处理装置的动作的一例的图，是示意性地表示适当地校正了端点的边缘和停车框的图。
图14A是用于说明第二实施方式所涉及的图像处理装置的动作的一例的图，是用于说明存在被分断的停车区划线的情况下的校正处理次序的图。
图14B是用于说明第二实施方式所涉及的图像处理装置的动作的一例的图，是用于说明不存在被分断的停车区划线的情况下的校正处理次序的图。
图15是用于说明第二实施方式所涉及的图像处理装置的动作的一例的图，是用于说明存在被分断的停车区划线的情况下的校正处理次序的图。
图16是用于说明第二实施方式所涉及的图像处理装置的动作的一例的图，是用于说明存在被分断的停车区划线的情况下的校正处理次序的图。
具体实施方式
(第一实施方式)
以下基于附图来说明本发明的第一实施方式。此外，以下对停车支援装置进行说明，但应用本发明的第一实施方式所涉及的图像处理装置以及后述的第二实施方式所涉及的图像处理装置的装置并不限定于停车支援装置，还能应用于对在行驶车道行驶的车辆的行驶进行支援的行驶支援装置等中。
如图1所示，停车支援装置1搭载于车辆V(参考图2)，进行停车支援动作。具体而言，停车支援装置1对该车辆V能停车的停车框进行识别。然后停车支援装置1控制该车辆V，使车辆V停车于识别出的停车框。
如图2所示，在车辆V的前后左右具备多个小型相机(摄像装置)。
具体而言，在车辆V的前保险杠或者前格栅，朝向车辆V的前方装备前方相机20a。在车辆V的后保险杠或者后装饰件，朝向车辆V的后方装备后方相机20b。在车辆V的左后视镜，朝向车辆V的左侧方装备左侧方相机20c。在车辆V的右后视镜，朝向车辆V的右侧方装备右侧方相机20d。
在前方相机20a、后方相机20b、左侧方相机20c、右侧方相机20d分别装备能观测大范围的广角镜头、鱼眼镜头，能用4台相机20a～20d对车辆V的周围(在本实施方式中是包含车辆V的周围的路面R的区域)没有遗漏地进行观测。由这些相机20a～20d构成对车辆V的周围的路面R进行摄像的摄像装置。此外，在以下的说明中，在不区分各个相机(摄像装置)20a～20d进行说明的情况下，仅设为相机20来进行说明。
回到图1，停车支援装置1具有前方相机20a、后方相机20b、左侧方相机20c、右侧方相机20d、相机ECU21、导航装置30、车轮速传感器32和转向角传感器33。
相机ECU21将由CPU(Central Processing Unit，中央处理器)、ROM(Read OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、闪速存储器等构成的微电脑作为主体而构成。相机ECU21控制相机20，并使用由相机20探测到的信息来进行俯瞰图像的生成处理、检测停车框的检测处理、判定是否能将车辆V停车于检测到的停车框的判定处理等。
导航装置(显示装置)30具有带图像显示功能的监视器31。导航装置30具有存放路径指引用的地图数据等的存储部。导航装置30基于该地图数据等以及由图示省略的GPS装置等检测到的车辆V的当前位置来进行到由导航装置30的操作者设定的目标地点为止的路径指引。路径指引动作中的各种图像显示于监视器31。
车轮速传感器32是探测车辆V的车轮速的传感器。由车轮速传感器32探测到的探测信息(车轮速)被输入至车辆控制ECU40。
转向角传感器33探测车辆V的转向的转向角。将车辆V以直线前进状态行驶时的转向角设为中立位置(0度)，输出从该中立位置的旋转角度，作为转向角。由转向角传感器33探测到的探测信息(转向角)被输入至车辆控制ECU40。
进而，停车支援装置1具有车辆控制ECU40、转向控制组件50、节流控制组件60和制动控制组件70。
车辆控制ECU40将由CPU(Central Processing Unit，中央处理器)、ROM(ReadOnly Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、闪速存储器等构成的微电脑作为主体而构成。车辆控制ECU40基于从相机ECU21、车轮速传感器32以及转向角传感器33输入的各探测信息来执行对车辆V的停车进行支援的各种处理。
即，例如若驾驶员对图示省略的自动停车开始开关进行接通操作而使停车支援装置1工作，车辆控制ECU40就执行自动停车处理，即，使车辆V自动停车于由相机ECU21判定为能停车的停车框。
转向控制组件50基于由车辆控制ECU40决定的车辆控制信息驱动动力转向致动器51，来控制车辆V的转向角。
节流控制组件60基于由车辆控制ECU40决定的车辆控制信息驱动节流致动器61，来控制车辆V的节流。
制动控制组件70基于由车辆控制ECU40决定的车辆控制信息驱动制动致动器71，来控制车辆V的制动。
此外，相机ECU21、车轮速传感器32以及转向角传感器33与车辆控制ECU40之间通过作为车内LAN(Local Area Network，局域网)的传感器信息CAN(Controller AreaNetwork，控制器局域网)80进行连接(“CAN”是注册商标)。
另外，转向控制组件50、节流控制组件60以及制动控制组件70与车辆控制ECU40之间通过作为车内LAN的车辆信息CAN81进行连接。
在具有以上构成的停车支援装置1中，第一实施方式的图像处理装置100包含相机ECU21。
如图3所示，第一实施方式所涉及的图像处理装置100具有控制部110以及存储部120。控制部110主要由相机ECU21的CPU构成，存储部120主要由相机ECU21的ROM、RAM、闪速存储器等构成。
控制部110进行图像处理装置100整体的控制。此外，控制部110将自动停车处理所需的信息(停车空间、停车框的位置、形状等)发送到车辆控制ECU40。车辆控制ECU40基于由后述的边缘检测部111、边缘连接部112、标志检测部113以及停车框设定部114检测、设定的区划停车空间的停车区划线、停车空间来执行自动停车处理，即，使车辆V自动停车于判定为车辆V能停车的停车框。
车辆控制ECU40基于从控制部110提供的信息、车轮速传感器32以及转向角传感器33(图3中仅图示为传感器)探测到的探测信息来驱动动力转向致动器51、节流致动器61以及制动致动器71(图3中仅图示为致动器)。
控制部110具有以CPU、FPGA等可编程逻辑器件、ASIC等集成电路为代表的运算元件。
在图像处理装置100的存储部120中存放有控制用程序，该控制用程序在图像处理装置100的启动时被控制部110执行，从而图像处理装置100具备图3所示那样的功能构成。特别地，本实施方式的图像处理装置100由于进行后述那样高速的图像处理，因此优选在控制部110中具有能进行高速运算的运算元件例如FPGA等。
如图3所示，控制部110具有边缘检测部111、边缘连接部112、标志检测部113、停车框设定部114以及显示控制部115。此外，在将图像处理装置100以及图像处理方法应用于行驶支援装置以及行驶支援方法的情况下，取代图3的停车框设定部114而设置行驶车道检测部即可。
边缘检测部111基于从对车辆V的周围的路面R进行摄像的相机20输出的图像信号，通过边缘检测来检测作为停车场P等路面R上的标志的停车区划线的边缘。另外，在应用于行驶支援装置时，边缘检测部111检测路面上的车道边界线等标志的边缘。这里所说的标志，是指停车区划线、行驶车道等边界线。所谓停车区划线，是描绘成对主要设于路面R上的停车区域(停车空间)进行区划的边界线(直线)的线。图5示出车辆V、以及描绘在该车辆V要进行停车的停车场P的路面R上的停车区划线200的一例。停车区划线200之间是表征停车区域的停车框201。
另外，在检测行驶车道的情况下，车道边界线描绘成对主要设于路面上的行驶车道(车行道)进行区划的边界线，没有间断的实线(直线或曲线)、或给定长度的线段连续的虚线(直线或曲线)。此外，标志并不限定于停车区划线、行驶车道，例如还能举出表征停车/临时停车禁止区域的斜线、人行横道、轮椅记号等，作为标志。
停车区划线以及车道区划线一般用白线示出，但也有白线以外的例如黄色线等以白以外的颜色的线进行描绘的情况。故而，由边缘检测部111检测的停车区划线、车道边界线并不限定于“白线”，一般将在与路面之间有对比度的边界线检测为停车区划线、车道边界线即可。
边缘检测部111在给定方向(预定方向)上扫描(scan)图像，并检测图像信号中所含的亮度值或颜色的参数信息(例如RGB、RGBA等)比阈值更大变化的像素，将检测到的像素的排列成为给定以上的长度的部分检测为边缘。这里所说的扫描，是指朝向给定方向1个1个地选择像素、在相邻的像素间比较亮度或颜色的参数。检测到的边缘对应于亮度或颜色的参数的变化的方向(倾向)而设定为正边缘或负边缘。
此外，扫描的方向期望设定成与描绘于路面R的停车区划线正交的方向。即，如图5所示，停车区划线200在与车辆V的行进方向(参考图5的箭头)正交的方向延伸时，期望在俯瞰图像G(参考图6A等)上沿着行进方向进行扫描。与之相对，在停车区划线200沿着车辆V的行进方向延伸时，期望在俯瞰图像G上与行进方向正交的方向上扫描。一般而言，由于停车区划线200所延伸的方向是未知的，边缘检测部111期望分别沿着在俯瞰图像G上车辆V的行进方向以及与其正交的方向分2次进行扫描。
在基于亮度值来提取边缘的情况下，边缘检测部111将从亮度低而暗的像素(例如黑的像素)变化为具有比阈值更大的差且亮度高而明亮的像素(例如白的像素)的边缘、也就是相邻的像素的亮度差向正方向变得比给定值大的边缘检测为正边缘(也称作“上升沿边缘”)。该正边缘的检测表示扫描位置从路面R切换成估计为停车区划线200的位置。
另外，边缘检测部111将从亮度高而明亮的像素变化为具有比阈值大的差且亮度低而暗的像素的边缘、也就是相邻的像素的亮度差向负方向变得比给定值大的边缘检测为负边缘(也称作“下降沿边缘”)。该负边缘的检测表示扫描位置从估计为停车区划线200的位置切换成路面R。
与之相对，在基于颜色的参数来提取边缘的情况下，将路面R的颜色的参数与停车区划线200的颜色的参数进行比较。边缘检测部111将向颜色的参数的值变大的方向变化(向负方向变化)的像素的排列检测为负边缘，将向颜色的参数的值变小的方向变化(向正方向变化)的像素的排列检测为正边缘。另外，在与路面相比停车区划线的亮度更低(或颜色的参数大的)的情况下，亮度值、颜色的参数的变化反转。由于不管在哪种情况下，在停车区划线等标志中，都在其两侧缘检测正边缘和负边缘，因此能进行后述的配对的提取。
通过将上述扫描重复多行(line)的量，从而将由在与扫描方向交叉的方向上连续的正边缘构成的线段(像素串)提取为正边缘的线段。进而将由连续的负边缘构成的线段(像素串)提取为负边缘的线段。
图6A示意地示出俯瞰图像G以及从俯瞰图像G检测到的边缘(粗直线和粗虚线)。在图6A的示例中，将俯瞰图像G的X轴(在此是沿着车辆V的行驶方向的方向，是与停车区划线200的延伸方向正交的方向)设定为图中的左右方向，将Y轴(在此停车区划线200的延伸方向)设定为图中的上下方向。边缘检测部111在与车辆V的行驶方向正交的方向的图中从左向右(X轴正方向)扫描俯瞰图像G，来检测正边缘以及负边缘。此外，在图中的从右向左、也就是X轴负方向上扫描像素的情况下，正边缘和负边缘反转。另外，也可以基于图像信号中所含的颜色的参数(例如、RGB、RGBA等)的信息来检测正边缘、负边缘。在此情况下，基于给定的颜色的大小(灰度)的变化来检测这些。
然而，若车辆V的影子等大的影子与停车区划线200重叠，则在俯瞰图像G上检测到边缘时，有时会如图6A所示，一部分停车区划线的边缘在路面R与影子的边界附近间断。这是因为，在未成为影子的向阳部分和成为影子的背阴部分，路面的亮度彼此不同，并且停车区划线的亮度也彼此不同。
故而，在向阳部分和背阴部分，路面与停车区划线的亮度差的值、边缘的角度(方向)被不同地检测出，由于没有连续性，将向阳部分的边缘和背阴部分的边缘检测成不同的边缘。另外，向阳与背阴的边界附近的边缘有时会检测不到。其结果是，停车区划线的边缘被间断地检测出，有时会影响到停车框的检测、车道检测的精度。另外，在用道路照明灯、前照灯等将停车区划线的一部分较强地照明的情况下，在该较强的照明部分和非照明部分，由于图像中的路面、停车区划线的亮度差的值等变得不同，或会产生亮部过曝，因此会引起同样的现象。
为了避免这样的对检测精度的影响，由边缘连接部112进行将间断的边缘彼此连接的处理。在本实施方式中，边缘连接部112检测与由边缘检测部111检测到的多个边缘中的各边缘(该边缘)之间的距离最短的边缘(最接近边缘)，将该边缘和最接近边缘检测为成为连接的候补的边缘的组。另外，所谓该边缘，是指从多个边缘依次一个一个地选择、而成为检测处于给定距离的范围内的其他边缘的对象的边缘。
边缘连接部112对于检测到的各边缘的组，在该边缘与最接近边缘的端点间的距离为阈值以下时，将2个边缘连接而作为一个边缘(以下有时称作“连接边缘”)。边缘连接部112在该边缘与最接近边缘的端点间沿与该边缘所延伸的方向相应的方向进行扫描，判定在该边缘与最接近边缘之间是否含有能判定为标志的信息。在含有能判定为标志的信息的情况下，边缘连接部112将该边缘与最接近边缘进行连接，在判定为不含有的情况下，不将它们进行连接。
更具体地说明本实施方式的边缘连接部112中的处理。在本实施方式中，各边缘的线段的2个端点当中，将在边缘检测中先检测到的端点(Y坐标接近原点一侧)称作“起点”，将后检测到的端点(Y坐标远离原点一侧)称作“终点”。
参考图7A、图7B来说明最接近边缘的检测次序。如图6A以及图7B所示，有时会由于树叶空隙照进的日光等的影响而密集检测到多个边缘(噪声)。若将这样的成为噪声的边缘进行连接，就会将停车区划线以外的线检测成停车区划线，给检测效率、检测精度带来影响。
为了抑制这一情况，边缘连接部112对多个边缘中的各边缘(该边缘)计数处于从该边缘起给定距离的范围内的其他边缘的数量。在计数数目为给定数(阈值)以上时，不将该边缘与其他边缘进行连接。
例如在图7A所示的示例中，若检测处于从正边缘的线段A的终点Ea起给定距离的范围内(图中用圆表示的范围)的其他正边缘，则检测到正边缘的线段B。在此情况下，计数数目成为1个(小于阈值)，正边缘的线段A和正边缘的线段B成为连接候补的边缘的组。此外，在检测到多个(小于阈值)边缘的线段的情况下，与正边缘的线段A之间的距离最短的边缘的线段B成为连接目标的边缘的线段。
与之相对，在由于影子等(建筑物的影子、树叶空隙照进的日光等)而检测到噪声的边缘的情况下，如图7B所示，若对正边缘的线段A’来检索位于从其终点E’起给定距离的范围内的其他边缘，就会检测到大量的边缘，计数数目成为给定数(阈值)以上。在此情况下，判定为该边缘的线段A’也是噪声的一个，不将该边缘的线段A’与其他边缘进行连接。由此，不会将因光的反射、垃圾等导致的噪声的边缘超出意料地进行连接，在之后的过滤等中将噪声去除，能谋求标志的检测效率以及检测精度的提升。
另外，边缘连接部112计算该边缘的线段A、与提取出的处于从该边缘的线段A起给定距离的范围内的边缘的线段B的全部的起点以及终点的距离。参考图8A来说明其计算次序。图8A是该边缘的线段A(以下称作“边缘A”)、和在给定距离的范围内提取出的边缘的线段B(以下称作“边缘B”)的概略图。将边缘A的起点设为Sa，将终点设为Ea，将边缘B的起点设为Sb，将终点设为Eb。
然后，计算包含边缘A的直线L(将边缘A延长而得到的直线)的关系式，基于该关系式、和边缘B的起点Sb以及终点Eb在图像上的位置坐标，来计算直线L与边缘B的起点Sb的距离Ds、以及直线L与边缘B的终点Eb的距离De。判定与该直线L的距离Ds、De是否为给定值(阈值)以下。在判定为超过阈值的情况下，由于该边缘B存在是噪声的可能性，因此丢弃。对于针对该边缘A提取出的全部边缘B，进行以上的距离的计算和判定。
然后，在存在距离Ds、De为给定值(阈值)以下的边缘B的情况下，从满足该条件的边缘B当中提取与边缘A的距离最短的边缘B作为最接近边缘，将其作为与边缘A的连接的候补。
接下来，参考图8B来说明边缘A和与边缘A的距离最短的边缘B(最接近边缘)的组的相互对置的端点间的扫描次序。
沿与边缘A以及边缘B所延伸的方向交叉的方向在边缘A的终点Ea与边缘B的起点Sb之间扫描给定长度的相应的量。通过将该“给定长度”设为停车区划线的宽度的长度(或像素数)+阈值，能更加精度良好地检测间断的部分的停车区划线的边缘。
此时，期望必定扫描包含终点Ea和起点Sb的像素的行。但终点Ea与起点Sb之间不一定需要扫描全部的像素的行，在Y轴方向上以给定间隔扫描多行即可。该扫描中的亮度差、方向的阈值可以比边缘检测部111检测边缘时的亮度差、方向的阈值小。
在通过该扫描检测到亮度的上升沿(正边缘)和下降沿(负边缘)时，判定为检测到能判定为标志的信息。在该图8B中用箭头示出进行扫描的行和方向。另外，将检测到的正边缘用白圆示出，将负边缘用黑圆示出。
在此，在分别包含终点Ea、起点Sb的像素的行以及其他全部的行也检测到亮度的上升沿和下降沿的情况下，判定为检测到停车区划线。此外，在其他行中，即使是1行程度未检测到亮度的上升沿和下降沿的情况，也判定为检测到停车区划线。在所有条件均不满足时，判定为未检测到停车区划线。由此，停车区划线的检测精度得以提升。
然后，在2个边缘的端点间检测到停车区划线且2个边缘间的距离为阈值以下的情况下，将2个边缘进行连接来作为一个边缘(连接边缘)。也就是，在图8B的示例中，在存储部120中存储将边缘A的起点作为连接边缘的起点、且将边缘B的终点作为连接边缘的终点的连接边缘的信息。因而，边缘A和边缘B的信息从存储部120中删除。
与之相对，在2个边缘的端点间未检测到线的边缘、或2个边缘间的距离超过阈值的情况下，由于是从相互不同物体检测到的边缘，本来就是分离的边缘，因此不进行连接。因而，边缘A和边缘B的信息(起点、终点的坐标信息)原样不变地存储到存储部120。
然而，由于连接候补的边缘的组是相同停车区划线的边缘，因此2个边缘所延伸的方向(角度)原则上相同，但有由于拍摄图像的失真校正、向俯瞰图像的变换处理的影响而在角度产生差的情况。若该角度差大，则在将2个边缘连结时，会给停车区划线的检测精度带来影响，因此有不连接为好的情况。
故而，在第一实施方式中，计算被设为连接候补的边缘的组的该边缘与最接近边缘的端点间的距离，判定其距离是否为阈值以下，基于该判定结果来判定是否将两边缘进行连接。两边缘的角度差越大，这些距离越大。
即，边缘连接部112将被设为连接的候补的边缘的组的2个边缘当中的长的边缘设为长边缘，将短的边缘设为短边缘，来计算长边缘所构成的直线的关系式。然后，在满足下记(1)、(2)的条件的任一者时，将长边缘与短边缘进行连接来设为一个边缘。
(1)由长边缘构成的直线与短边缘的起点的距离为第一阈值以下，且该直线与短边缘的终点的距离为第二阈值(其中第一阈值<第二阈值)以下。
(2)长边缘的直线与短边缘的起点的距离为第二阈值以下，且该直线与短边缘的终点的距离为第一阈值以下。
图9A是在短边缘A1与长边缘B1的组中满足上述(1)的条件的情况的示例。将长边缘B1延长而得到的直线(虚线)L1与短边缘A1的起点Sa1的距离D1为第一阈值(严格的阈值)以下，且直线L1与短边缘A1的终点Ea1的距离D1为第二阈值(宽松的阈值)以下。
图9B是在短边缘A2与长边缘B2的组中满足上述(2)的条件的情况的示例。将长边缘B2延长而得到的直线(虚线)L2与短边缘A2的起点Sa2的距离D3为第二阈值(宽松的阈值)以下，且直线L2与短边缘A2的终点Ea2的距离D4为第一阈值(严格的阈值)以下。
另外，由于在将满足上述条件(1)或(2)的2个边缘连接的情况下，更接近实际的停车区划线的端缘的角度，因此本实施方式的边缘连接部112将位于与接近于最接近边缘的端点相反的一侧的该边缘的端点设为一个边缘的起点的坐标。另外，在将该边缘延长而得到的直线和接近于该边缘的与最接近边缘的端点相反的一侧的端点的x坐标的距离为阈值以内时，将最接近边缘的终点设为一个边缘的终点的坐标。与之相对，在将该边缘延长而得到的直线与最接近边缘的终点的x坐标的距离比阈值大时，将从最接近边缘的终点的x坐标起垂直去往将该边缘延长而得到的直线所形成的交点设为一个边缘的终点的坐标。更具体而言，进行以下的处理。
边缘连接部112在(3)长边缘的终点和短边缘的起点对置的情况下，将长边缘的起点的坐标设为连接的一个边缘的起点的坐标。终点的坐标对应于以下的条件而设定。
(3-1)在满足将长边缘延长而得到的直线与短边缘的终点的x坐标的距离(差分)为第三阈值(严格的阈值)以下、且直线与短边缘的终点的距离为第四阈值(宽松的阈值)以下的条件时，将短边缘的终点的坐标设为一个边缘的终点的坐标。
(3-2)在不满足上述(3-1)的条件的情况下，将从短边缘的终点的x坐标起垂直去往直线所形成的交点的坐标设为一个边缘的终点的坐标。
与之相对，在(4)长边缘的起点与短边缘的终点对置的情况下，将长边缘的终点坐标设为一个边缘的终点坐标，将短边缘的起点坐标设为一个边缘的起点坐标。
图10A、图10B示出具体例。图10A是满足上述(3)的条件的具体例。该边缘即边缘A3是长边缘，边缘A3的最接近边缘B3是短边缘。将长边缘A3的起点Sa3的坐标设为(x1，y1)，将终点Ea3的坐标设为(x2，y2)，将短边缘B3的起点Sb3的坐标设为(x3，y3)，将终点Eb3的坐标设为(x4、y4)。长边缘A3的终点Ea3与短边缘B3的起点Sb3对置。在该情况下，将长边缘A3所构成的直线L3与短边缘B3的终点Eb3的X坐标的差分设为m，将直线L3与短边缘B3的终点Eb3的距离设为D5。
将长边缘A3与短边缘B3连接的一个边缘(连接边缘)的起点的坐标成为长边缘A3的起点Sa3的坐标(x3，y3)。另外，在差分m、距离D5满足(3-1)的条件：差分m≤第三阈值、且距离D5≤第四阈值的情况下，短边缘B3的终点Eb3的坐标(x4，y4)成为连接边缘的终点的坐标。与之相对，在(3-2)的情况下，从短边缘B3的终点Eb3起的垂线h与直线L3的交点的坐标(x5，y5)成为连接边缘的终点的坐标，终点的位置被校正。
图10B是满足上述(4)的条件的具体例，该边缘即边缘A4是短边缘，边缘B是长边缘。将短边缘A4的起点Sa4的坐标设为(x6，y6)，将终点Ea4的坐标设为(x7，y7)，将长边缘B4的起点Sb4的坐标设为(x8，y8)，将终点Eb4的坐标设为(x9，y9)。短边缘A4的终点Ea4与长边缘B4(距离最短的边缘)的起点Sb4对置。在该情况下，短边缘A4的起点Sa4的坐标(x6，y6)成为连接边缘的起点的坐标。另外，长边缘B4的终点Eb4的坐标(x9，y9)成为连接边缘的终点的坐标。
如此，对应于该边缘与最接近边缘的长短的差异、长边缘的直线与短边缘的终点的距离，来设定连接边缘的起点和端点的坐标。另外，在任一距离超过阈值时，对连接边缘的终点设定校正过的坐标。由此，能将连接边缘的端点设定至更准确的位置。
通过以上的边缘连接部112的动作来将间断的边缘进行连接。图6B示出通过边缘连接部112将间断的边缘进行连接的印象。
标志检测部113基于由边缘检测部111检测到的边缘以及由边缘连接部112连接的边缘来检测作为标志的停车区划线。更具体而言，首先，提取具有预先确定的基准长度以上的长度且向预先确定的方向(角度)延伸的正边缘的线段以及负边缘的线段。
基准长度例如能设为车辆V的车长相应量(例如5m)的长度，但在停车区划线短的情况下等，设为比车长短的长度。角度设为考虑了车辆V的行驶方向、拍摄图像的相机20的朝向等的角度。在图6A的情况下，由于停车区划线是相对于行驶方向向停车空间大致直角地延伸的直线，因此设为角度＝90°±阈值。
接下来，对提取出的多个正边缘的线段以及负边缘的线段各自的起点以及终点的位置(坐标)进行计算，基于该位置来提取以给定间隔相邻的正边缘的线段和负边缘的线段，判定为是构成停车区划线的边缘的配对。例如在正边缘与负边缘的距离是停车区划线的线宽±阈值的范围内时，将这些判定为配对。与之相对，将比基准长度短的边缘、向垂直方向以外延伸的长的边缘的线段、找不到配对的边缘的线段作为噪声进行丢弃。在图6B所示的示例中，检测停车区划线K1、K2、K3、K4、K5、K6。
停车框设定部114基于由标志检测部113检测到的停车区划线来在路面R上设定停车框以及停车空间，将停车框登记数据121存储到存储部120。
更具体而言，停车框设定部114首先在由标志检测部113检测到的多个停车区划线的正边缘的线段以及负边缘的线段的配对中选择存在构成停车空间的可能性的相邻的(或者相互面对的)2条线。在此选择的2条线是构成将停车空间分隔的一对停车区划线的左右的侧边的线，例如是给定的停车区划线(例如、图6B所示的K3)的负边缘的线段和与其相邻的停车区划线(图6B所示的K4)的正边缘的线段。
然后，停车框设定部114基于各边缘的端点的坐标来计算选择出的2条边缘的线段间的距离(相邻的停车区划线的内侧尺寸)。若计算出的距离为给定范围内(例如停车空间宽度±阈值的范围内)，则将以2条边缘的线段分隔出的区域检测为停车空间。作为停车空间宽度，若是普通汽车、小型货车用的停车空间，则期望2m～3m。若是大型货车、公交车用的停车空间，则期望3.3m以上。
将沿着构成检测到的停车空间的相邻的正边缘的线段和负边缘的线段的线作为长边、将分别连结相邻的两端的线作为短边的矩形的框是停车框201(例如图5)，能估计为其内部是停车空间。
由边缘连接部112高精度地检测边缘，并通过其后的标志检测部113的处理来高精度地进行了停车区划线，因此还能高精度地进行停车框设定部114所执行的停车空间的检测。也就是，由于影子而间断的停车区划线的端点被校正成更准确的位置，也能更准确地检测停车框以及停车空间的形状、位置。
然后，停车框设定部114各自计算构成区划停车空间的停车框201的相邻的正边缘的线段以及负边缘的线段的端点的坐标值，作为停车框登记数据121登记到存储部120。此时，只要将停车框201的至少靠近车辆V一侧的2个端点的坐标值进行登记，就能尽量减少存储容量并确定停车框201，但也可以将4点的坐标值进行登记。另外，还能将停车区划线200的角度(延伸方向)、其他自动停车处理所需的信息加进停车框登记数据121。
另外，停车框设定部114还能进行用于判定是否能将车辆V停车于设定的停车框的判定处理等。例如，在检测到的停车空间中存在其他车辆、障碍物等时，判断为不能停车，不作为停车框登记数据121登记到存储部120。另外，停车框设定部114还能将距车辆V近的停车框、或易于停车的停车框判定为能停车的停车框，作为停车框登记数据121而登记到存储部120。
显示控制部115向导航装置30送出显示控制信号，该显示控制信号用于使由相机20摄像得到的车辆V的周围的路面图像、表示由停车框设定部114检测、估计出的停车框的图像与该路面图像适当重叠或者单独显示于导航装置(显示装置)30的监视器31。
存储部120具有硬盘驱动器等大容量存储介质、ROM、RAM等半导体存储介质等存储介质。在存储部120中临时或非临时地存放控制部110中的用于各种动作时的各种数据。
另外，如前述那样，在存储部120中存放停车框登记数据121、参数数据122。作为参数数据122，能存放边缘检测时的阈值、检测最接近边缘时的边缘间的距离的阈值、边缘的直线和边缘的起点、端点间的各种距离的阈值(第一、第二、第三、第四阈值)、计数数目的阈值、停车区划线、车道边界线等、作为标志的边界线的基准长度、停车空间宽度以及其阈值等。进而能存放边界线的宽度、延伸方向的角度等图像处理装置100所使用的各种参数。另外，还能构成为与使用停车支援装置1的国家、地域、停车空间(停车框)的形状、大小、行驶车道间的距离、车道边界线的形状等对应地存放多个参数，选择适当的参数。
接下来，参考图4A～图4C的流程图来说明第一实施方式所涉及的图像处理装置100的动作的一例。
图4A～图4C的流程图所示的动作通过由驾驶者操作图示省略的自动停车开始开关来进行自动停车开始的指示输入而开始。
在图4A所示的步骤S1中，图像处理装置100的控制部110获取由相机20摄像得到的车辆V的周围的路面R的图像信号。
在步骤S2中，基于通过步骤S1获取到的图像信号，控制部110生成将这些图像信号合成后的信号。步骤S2中合成所生成的信号是用于使像是在车辆V的上方设置相机来俯视正下方那样的图像(俯瞰图像)显示于导航装置30的信号。生成用于显示这样的俯瞰图像的信号的技术是公知的，作为一例，已知日本特开平3-99952号公报、日本特开2003-118522号公报中公开的技术。
图6A、图6B是基于合成所生成的信号的俯瞰图像G的一例。该俯瞰图像G是如下那样的图像：将由相机20a～20d拍摄到的图像分别变换成用于显示从正上方俯视车辆V的俯瞰图像g1、g2、g3、g4的图像信号，将各图像信号合成而生成。在俯瞰图像G的中心部分显示表示从正上方俯视车辆V的状态的图标I。
此外，在步骤S2中，不进行用于显示俯瞰图像G的信号合成作业，或者，还能在接下来的步骤S3中的正边缘和负边缘的提取后进行步骤S2中的信号合成作业。然而，在进行信号合成作业后进行正边缘和负边缘的提取作业更能降低图像处理装置100的处理负担。
在步骤S3(边缘检测工序)中，如前述那样，边缘检测部111在给定方向上扫描步骤S2中合成的俯瞰图像G，基于图像信号的亮度值来检测图像中的正边缘以及负边缘(参考图6A)。
在接下来的步骤S4(边缘连接工序)中，边缘连接部112将间断的边缘彼此连接。参考图4B、图4C的流程图来说明边缘连接部112所进行的边缘连接工序的细节。
在边缘连接工序中，执行图4B所示的步骤S401～S405的提取循环处理，来对由边缘检测部111检测到的多个边缘(边缘A)提取存在于附近(是指“给定距离的范围内”)的边缘B。重复该步骤S401～S405的循环处理，直到对全部边缘A的处理结束。
首先，在步骤S402中，从多个边缘中选择1个边缘，将其设为该边缘(边缘A)。提取以该边缘A的端点为中心处于给定距离的范围内(附近)的边缘(边缘B)。若提取了边缘B，则使边缘数量计数递增。
在步骤S403中，判定是否已提取位于给定距离的范围内(附近)的边缘B，在判定为已提取(边缘数量>0)时(是)，将边缘数量和提取出的边缘B的信息与边缘A的信息对应地登记至存储部120。另一方面，在判定为1个都未提取(边缘数量＝0)时(否)，跳过步骤S404的处理，回到S402，针对下一个边缘A进行处理。
若对全部的边缘A的附近的边缘B的提取处理结束而附近的边缘B的提取循环处理结束，则前进到图4C的步骤S406。然后，执行步骤S406～S416的边缘的连接循环处理，将由于影子、照明等而间断的边缘进行连接。重复该步骤S406～S416的循环处理，直到对全部边缘A与边缘B的组合的处理结束。
首先，在步骤S407中，关于从边缘A与1个以上的边缘B的组合中依序选择的一组组合，判定边缘数量是否为阈值以下。判定为在边缘数量为阈值以下的情况下(是)，噪声少，视作会存在能与边缘A连接的边缘B，前进到步骤S408。
与之相对，在判定为边缘数量超过阈值的情况下(否)，估计为边缘B是树叶空隙照进的日光等所引起的大量的噪声，不将该边缘A作为边缘的连接对象，跳过步骤S408以后的处理。若存在下一个边缘A与边缘B的组合，则回到步骤S407，在不存在的情况下，将边缘的连接循环结束。
在接下来的步骤S408中，计算边缘A的直线与全部的边缘B的起点、终点的距离(参考图8B)。在接下来的步骤S409中，判定是否存在边缘A的直线与边缘B的起点、终点的距离为阈值以下的情形。在判定为存在阈值以下的情形的情况下(是)，前进到步骤S410。与之相对，在判定为不存在阈值以下的情形的情况下(否)，跳过步骤S410以后的处理。若存在下一个边缘A与边缘B的组合，则返回步骤S407，在不存在的情况下，将边缘的连接循环结束。
在步骤S410中，基于步骤S408中计算出的距离来提取与边缘A的距离最短的边缘B。接下来，在步骤S411，对边缘A的终点与边缘B的起点之间进行扫描，检测正边缘以及负边缘(也就是能判定为停车区划线的信息)。在步骤S412中判定为检测到停车区划线的情况下(是)，前进到步骤S413。如前述那样，若通过端点间的扫描检测到正边缘和负边缘，就判定为检测到停车区划线。与之相对，在未检测到停车区划线的情况下，也就是未检测到边缘的情况下(否)，由于边缘A和边缘B是从相互不同物体检测到的边缘，因此应当从连接对象排除，跳过步骤S413以后的处理。若存在下一个边缘A与边缘B的组合，则返回步骤S407，在不存在的情况下，将边缘的连接循环结束。
在步骤S413中，将边缘A和边缘B进行比较，将长的设定为长边缘，将短的设定为短边缘。然后，如参考图9A、图9B说明的那样，计算长边缘的直线的关系式，计算长边缘的直线与短边缘的起点以及终点的距离。
然后，在步骤S414中判定计算出的各个距离是否为阈值以下。更具体而言，判定是否由长边缘构成的直线与短边缘的起点的距离为第一阈值以下且该直线与短边缘的终点的距离为第二阈值(其中第一阈值<第二阈值)以下，或者，判定直线与短边缘的起点的距离是否是第二阈值以下且直线与短边缘的终点的距离是否是第一阈值以下。
在该步骤S414中判定为满足上述任一者的条件的情况下(是)，前进到步骤S415，将长边缘与短边缘进行连接来作为一个边缘(连接边缘)而登记到存储部120。具体而言，如上述使用条件(3)、(4)、图10A、图10B说明的那样，按照条件将一方的边缘的起点作为连接边缘的起点，将另一方的边缘的终点作为连接边缘的终点，将各个位置坐标登记到存储部120。若存在下一个边缘A与边缘B的组合，则返回步骤S407，在不存在的情况下，将边缘的连接循环结束。
与之相对，在步骤S414中判定为上述所有条件都不满足的情况下(否)，跳过步骤S415的处理，不进行边缘的连接。若存在下一个边缘A与边缘B的组合，则返回步骤S407，在不存在的情况下，将边缘的连接循环结束。
通过以上，将由于影子、照明等而间断的边缘适当地连接。另外，在边缘被分断成3部分以上的情况下，也能将这些适当地连接。也就是，若对第1个边缘执行边缘连接处理，就将第1个和第2个边缘连接来生成连接边缘。其后，通过对第3个边缘执行边缘连接处理，来在第3个边缘连接连接边缘，生成新的连接边缘。同样地，不断将第4个以后的边缘和连接边缘连接，被分断成多部分的边缘最终成为一个边缘。
若上述步骤S4的边缘连接工序结束，就返回图4A，前进到接下来的步骤S5。在步骤S5(标志(停车区划线)检测工序)，基于由边缘检测部111检测到的多个正边缘以及负边缘、和由边缘连接部112连接的正边缘以及负边缘，标志检测部113以前述那样的次序来检测作为标志的停车区划线。即，检测具有给定的基准长度以上的长度、以给定间隔相邻的正边缘的线段与负边缘的线段的配对，判定为构成停车区划线的配对。与之相对，由于树叶空隙照进的日光、垃圾等而检测到的噪声的边缘、找不到配对的边缘不作为停车区划线的边缘进行提取，而被丢弃。
接下来，在步骤S6中，标志检测部113将正边缘的线段以及负边缘的线段的起点以及终点的坐标信息作为停车区划线的数据而登记于存储部120。
其后，前进到步骤S7，停车框设定部114基于登记于存储部120的停车区划线(图6B的示例中是停车区划线K1～K6)来以前述那样的次序设定停车框以及停车空间。
在接下来的步骤S8中，停车框设定部114各自计算构成各停车框201的相邻的正边缘的线段以及负边缘的线段的端点的坐标值，作为停车框登记数据121登记到存储部120。在存储部120中可以登记检测到的全部的停车框登记数据121，也可以仅登记适合停车的停车框登记数据121。
通过以上，图像处理装置100所进行的处理结束。将由图像处理装置100检测到的停车框登记数据121送出到车辆控制ECU40，执行支援车辆V的停车的各种处理。
在以上那样构成的第一实施方式所涉及的图像处理装置100中，控制部110从基于从对车辆V的周围的状况进行摄像的摄像装置(相机20)输出的图像信号的图像中检测作为描绘于路面R的标志的停车区划线。控制部110在检测到的标志间断成多个部分时，将间断的多个部分进行连接来作为一个标志。
更具体而言，控制部110的边缘检测部111从拍摄的图像检测多个边缘。边缘连接部112对检测到的多个边缘检测最接近边缘，在该边缘与最接近边缘的端点间的距离为阈值以下时，将2个边缘进行连接来作为一个边缘。将由于影子、照明等而间断的边缘进行连接。然后，基于检测到的多个边缘以及连接的边缘，标志检测部113检测作为标志的停车区划线。由此，各边缘的端点被检测成更准确的位置。另外，边缘所延伸的方向(角度)也能成为更接近真值的值。因此，能提供能高精度进行作为描绘于路面的标志的停车区划线的检测的图像处理装置100以及图像处理方法。
另外，边缘连接部112在该边缘与最接近边缘的端点间沿与该边缘所延伸的方向相应的方向进行扫描，判定在该边缘与最接近边缘之间是否存在能判定为标志的信息。由此，在包含能判定为标志的信息的情况下，将该边缘和最接近边缘进行连接，能将间断的标志可靠地连接，能使标志的端点坐标成为更接近于真值的值。因而能更高精度地检测标志。
另外，边缘连接部112对位于从该边缘起给定距离的范围内的其他边缘的数量进行计数，在计数数目为给定数以上时，不将该边缘与其他边缘进行连接。由此，能将由于影子(建筑物的影子、树叶空隙照进的日光等)、光的反射而检测到的成为噪声的边缘从连接的对象排除，能提升处理效率以及处理精度。
另外，边缘连接部112将位于与靠近最接近边缘的端点相反的一侧的该边缘的端点作为一个边缘的起点的坐标。另外，在将该边缘延长而得到的直线和靠近该边缘的与最接近边缘的端点相反的一侧的端点的x坐标的距离为阈值以内时，将最接近边缘的终点设为一个边缘的终点的坐标。与之相对，在将该边缘延长而得到的直线与最接近边缘的终点的x坐标的距离比阈值大时，将从最接近边缘的终点的x坐标起垂直去往将该边缘延长而得到的直线所形成的交点设为一个边缘的终点的坐标。通过该构成，能更准确地检测一个边缘的端点，并能使一个边缘所延伸的方向更接近实际的标志所延伸的方向，能提升标志的检测精度。
另外，在标志是区划停车空间的停车区划线的情况下，通过设为具备基于由标志检测部113检测到的标志来设定停车框的停车框设定部114的构成，能更高精度地检测停车框。故而，通过将图像处理装置100以及图像处理方法应用于停车支援装置以及停车支援方法，能谋求最终的停车位置的精度的提升，能进行更适当的停车支援。
另外，在标志是区划行驶车道的车道边界线的情况下，通过设为基于由标志检测部113检测到的标志来检测行驶车道的行驶车道检测部的构成，能更高精度地检测行驶车道。故而，能将图像处理装置100以及图像处理方法适合地用在行驶支援装置以及行驶支援方法中，能进行更适当的行驶支援。
(第二实施方式)
以下基于附图来说明本发明的第二实施方式。应用第二实施方式所涉及的图像处理装置的停车支援装置的概略构成、以及停车支援装置的摄像装置的配置位置的一例与应用图1、图2所示的第一实施方式的图像处理装置的停车支援装置的概略构成、以及停车支援装置的摄像装置的配置的一例同样。故而，省略与停车支援装置的构成以及配置相关的详细的说明。
图11是表示第二实施方式所涉及的图像处理装置100的概略构成的功能框图。第二实施方式所涉及的图像处理装置100具有控制部110以及存储部120。控制部110主要由相机ECU21的CPU构成，存储部120主要由相机ECU21的ROM、RAM、闪速存储器等构成。
控制部110进行图像处理装置100整体的控制。此外，控制部110将自动停车处理所需的信息(停车空间、停车框的位置、形状等)发送到该车辆控制ECU40。车辆控制ECU40执行自动停车处理，基于由后述的边缘检测部111、作为标志检测部的停车区划线检测部113’、停车框设定部114以及校正部116检测、设定区划停车空间的停车区划线、停车空间来使该车辆V自动停车于判定为车辆V能停车的停车框。
在图像处理装置100的存储部120中存放图示省略的控制用程序，该控制用程序在图像处理装置100的启动时由控制部110执行，图像处理装置100具备图11所示那样的功能结构。
车辆控制ECU40的处理、控制部110以及存储部120的硬件结构由于与第一实施方式中的这些同样，因此省略说明。
如图11所示，控制部110具有边缘检测部111、停车区划线检测部113’、停车框设定部114、校正部116以及显示控制部115。
边缘检测部111基于从对车辆V的周围的路面R进行摄像的相机20输出的图像信号，通过边缘检测来检测停车场P等路面R上的停车区划线等标志的边缘。边缘检测部111的功能由于与第一实施方式的边缘检测部111同样，因此省略详细的说明。
图13A示意地示出俯瞰图像G以及从俯瞰图像G中检测到的边缘(粗直线和粗虚线)。在图13A的示例中，将俯瞰图像G的X轴(沿着车辆V的行驶方向的与停车区划线200的延伸方向正交的方向)设定为图中的左右方向，将Y轴(停车区划线200的延伸方向)设定为图中的上下方向。
在本实施方式中，将靠近车辆V一侧称作停车框201的“前方”、“前”等，将其相反侧称作“里侧”、“后方”等。并且，将构成停车框的矩形的4个顶点(端点)也就是沿着停车区划线200的停车框的2个侧边的各2个端点当中靠近车辆V一侧的端点称作“起点”，将后方的端点称作“终点”。
停车区划线检测部113’基于由边缘检测部111检测到的边缘来检测作为标志的停车区划线。更具体而言，停车区划线检测部113’对由边缘检测部111检测到的正边缘的线段以及负边缘的线段提取具有预先确定的基准长度以上的长度且向预先确定的方向(角度)延伸的正边缘的线段以及负边缘的线段。与之相对，不提取比基准长度短的边缘、向垂直方向以外延伸的边缘的线段。由此，路面上的光的反射、垃圾、污迹等所引起的噪声的边缘被去除。
在第二实施方式中，基准长度例如能设为车辆V的车长相应量(例如5m)的长度，在停车区划线短的情况下等，也可以设为比车长短的长度。角度也与第一实施方式同样地设为考虑了车辆V的行驶方向、拍摄图像的相机20的朝向等的角度。在图13A的情况下，由于停车区划线是相对于行驶方向向停车空间大致直角延伸的直线，因此设为角度＝90°±阈值。
停车区划线检测部113’计算提取出的多个正边缘的线段以及负边缘的线段各自的起点以及终点的位置(坐标值)，基于该位置来提取以给定间隔相邻的正边缘的线段和负边缘的线段，判定为是构成停车区划线的边缘的配对。例如在正边缘与负边缘的距离是停车区划线的线宽±阈值的范围内时，将这些判定为配对。
在图13A的俯瞰图像G上示意地示出为提取出的基准长度以上且以给定的角度延伸的正边缘的线段Ep(粗实线)和负边缘的线段Em(粗虚线)。在图13A的示例中，在停车区划线(实际是停车区划线图像)K1～K6的两侧缘部分分别提取正边缘的线段Ep1～Ep6与负边缘的线段Em1～Em6的配对。
关于停车区划线K4、K5，通过影子S将边缘的线段分断，除了检测到比基准长度长的正边缘的线段Ep4、Ep5与负边缘的线段Em4、Em5的配对以外，还检测到比基准长度短的正边缘的线段Ep7、Ep8与正边缘的线段Em7、Em8。另外，还有在线段Ep4与Ep7之间等被分断的边缘间进一步检测到其他边缘的情况。这些边缘的线段Ep7、Ep8、Em7、Em8等在是基准长度以下的情况下通过过滤而丢弃。但若是基准长度以上，则有时也会提取为相对于边缘的线段Ep4与Em4的配对、Ep5与Em5的配对而不同的边缘的配对。另外，关于停车区划线K6，提取由于影子S而比实际的停车区划线K6的长度短的正边缘的线段Ep6与负边缘的线段Em6的配对。
这样的现象是由于在未成为影子的向阳部分和成为影子的背阴部分路面的亮度相互不同并且停车区划线的亮度也相互不同而发生的。也就是，由于向阳部分和背阴部分处的路面与停车区划线的亮度差的值、边缘的角度(方向)被不同地检测出，没有连续性，因此有时将向阳部分的边缘和背阴部分的边缘检测为不同的边缘。另外，还有时向阳与背阴的边界附近的边缘成为检测不到。另外，在用道路照明灯、前照灯等将停车区划线的一部分较强照明的情况下，该在强的照明部分和非照明部分，图像中的路面、停车区划线的亮度差的值等变得不同，会出现亮部过曝，因此会引起同样的现象。
由此，以与实际不同长度检测到停车区划线的边缘的长度，或者基于被分断成多部分而检测到的停车区划线来对一个停车空间设定多个停车框，有时给停车框的检测精度带来影响。故而，在本实施方式中，校正部116对构成停车框的停车区划线的端点位置进行校正。在本实施方式中，停车区划线检测部113’检测停车区划线，在停车框设定部114基于检测到的停车区划线而设定停车框后，进行校正部116的校正。
停车框设定部114基于构成由停车区划线检测部113’检测到的停车区划线的边缘的配对来设定停车框。第二实施方式的停车框设定部114的功能由于与第一实施方式的停车框设定部114的功能大致相同，因此省略详细的说明。在第二实施方式中，也是停车框设定部114从多个配对的正边缘的线段以及负边缘的线段中选择存在构成停车空间的可能性的相邻的2条边缘的线段。更具体而言，作为构成将停车空间分隔的一对停车区划线的左右的侧边的线，例如选择图13A所示的停车区划线K1的负边缘的线段Em1、和与其相邻的停车区划线K2的正边缘的线段Ep2。
停车框设定部114将用以给定范围内的距离相邻的正和负2条边缘的线段分隔的区域检测为停车空间。然后在第二实施方式中，停车框设定部114将正边缘的线段的2个端点和负边缘的线段的2个端点作为停车框的4个端点，为了移交到校正部116而将其位置(坐标值)登记在存储部120的工作区。
另外，在第二实施方式中，也与第一实施方式同样地，停车框设定部114还能够进行用于判定是否能将车辆V停车于设定的停车框的判定处理等。
在图13A的示例中，由具有这样的功能的停车框设定部114在各停车区划线K1～K6之间设定3个停车框a1、a2、a3。然而，由于停车区划线K4～K6的边缘被检测得短，在端点位置产生偏离，因此停车框a2、a3不是长方形，变形成梯形或平行四边形而被检测到。
为了将其纠正，校正部116针对由停车框设定部114设定的全部停车框，判定是否在构成停车框的停车区划线所延伸的方向上从离开给定距离的位置起在停车区划线的延长线上有后续的停车区划线。也就是，判定是否在检测到的停车区划线的延长线上(停车区划线的前方)进一步存在停车区划线。在检测到后续的停车区划线时，校正部116将最初检测到的停车区划线和接下来检测到的后续的停车区划线连接而作为一个停车区划线。其后，停车框设定部114基于在该校正部116连接的一个停车区划线来设定(校正)停车框。
更具体说明，校正部116为了判定构成该停车框的停车区划线的边缘是否被影子等分断(即、是否间断)，而判定是否有影子等。为此，以停车区划线检测部113’检测到的停车区划线的端部为基准，校正部116夹着从停车区划线的边缘的端点向给定方向侧(正边缘的情况下是扫描源侧，负边缘的情况下是扫描目标侧)偏置给定量(称作“影子搜索偏置量α”)的位置的像素，来沿着停车区划线所延伸的方向以给定长度(称作“影子搜索长度β”)扫描俯瞰图像G，计算相邻的像素的亮度差。判定扫描的结果是否是相邻的像素的亮度差的绝对值为给定值以上，在为给定值以上的情况下，判定为由于影子、磨损等而停车区划线被分断。在判定为亮度差的绝对值小于给定值的情况下，判定为停车区划线未被分断。此时，只要能识别出在相邻的像素间有亮度差(对比度)即可，因此在以校正部116提取出的停车区划线的端部为基准进行扫描时，用比边缘检测部111检测边缘时的亮度差的阈值更小的阈值来比较亮度差即可，另外，并不需要比较角度(方向)。
在判定为停车区划线被分断时，校正部116判定是否在停车区划线所延伸的方向上有应当与从停车区划线以给定长度(称作“再搜索开始位置偏置量γ”)离开的位置连接的停车区划线。具体而言，在停车区划线所延伸的方向上，从以再搜索开始位置偏置量γ离开的位置向与停车区划线所延伸的方向交叉方向以给定长度(称作“再搜索成功判定长度δ”)扫描俯瞰图像G，来判定是否存在相邻的像素的亮度差在正方向上比给定值大的边缘、与相邻的像素的亮度差在负方向上比给定值大的边缘的配对。在该情况下，也是用比边缘检测部111检测边缘时的亮度差的阈值更小的阈值比较亮度差即可，另外，并不需要比较角度(方向)。
在检测到正和负的边缘的配对的情况下，校正部116判定为检测到应该与该停车区划线连接、且被分断的停车区划线(后续的停车区划线)，继续执行扫描，来检测被分断的停车区划线的端部(端点)。然后，将该停车区划线的边缘的一方的端点、和被分断的停车区划线的边缘的扫描目标侧的端点作为停车框的一方以及另一方的端点，将这些端点的位置(坐标值)登记到工作区，来校正(更新)停车框的信息。停车框设定部114将该该更新后的工作区上的停车框的信息作为停车框登记数据121登记到存储部120。
与之相对，在即使将俯瞰图像G扫描再搜索成功判定长度δ也未检测到上述边缘的配对时，或者在边缘的配对的长度小于δ时，校正部116中止扫描。在此情况下，关于该停车区划线，判定为不存在被分断的停车区划线，校正部116不进行工作区的校正(更新)。其结果是，停车框设定部114将该停车区划线(最初检测到的停车区划线)的边缘的线段的一方以及另一方的端点的位置(坐标值)作为停车框登记数据121登记到存储部120。
影子等的搜索以及被分断的停车区划线的边缘的搜索期望针对构成停车框的相邻的正边缘的线段和负边缘的线段的一方的端点侧和另一方的端点侧来各自执行。由此，能将停车框的4个端点的位置(坐标值)校正成更接近于真值的适当的位置
上述α～δ的值并没有特别限定，能对应于图像处理中所用的函数、检测边缘的手法、进而图像的解析度、拍摄范围、停车场P的环境(建筑物、围栏、照明等的有无、尺寸等)等来设定适宜的值。具体而言，例如、若将影子搜索偏置量α设为5像素，将影子搜索长度β设为15像素，就能适当地判定影子等的有无。
另外，若将再搜索开始位置偏置量γ设为10像素，将再搜索成功判定长度δ设为5像素，则检测到最终长度为15像素以上的被分断的停车区划线，将其与该停车区划线进行连接。与之相对，最终长度小于15像素的被分断的停车区划线不与该停车区划线进行连接而被丢弃。在本实施方式中，图像的100像素相当于3m。因此，在以45cm以上的长度将停车区划线分断时，停车区划线以及停车框的端点被校正，其结果是，长度被适当地校正。与之相对，在分断的长度小于45cm的情况下，停车区划线以及停车框的端点未被校正，长度也未被校正。
但只要停车框的端点的误差为15像素(45cm)以内，就是能在图像处理等中校正的容许范围内的误差，即使是在监视器31的显示图像上显示表示未校正的停车框的记号的情况，也不会给用户带来不协调感，另外，能抑制给停车支援等的影响。在将停车区划线的基准长度设为5m的情况下，γ是10像素＝30cm，再搜索成功判定长度δ是5像素＝15cm，分别是停车区划线的6％、3％的长度。据此，再搜索开始位置偏置量γ是停车区划线的长度的6％以下，通过将再搜索成功判定长度δ设为停车区划线的长度的4％以下，能高精度且高速检测被分断的停车区划线。
图13B示意地示出通过校正部116的校正处理适当地校正了端点的边缘和停车框a2、a3。如该图13B所示，正边缘的线段Ep4、Ep5和负边缘的线段Em4、Em5的起点(距图标I近的一侧)、正边缘的线段Ep6和负边缘的线段Em6的终点(距图标I远的一侧)的位置被适当地校正成更接近于真值的位置。其结果是，停车框a2、a3的端点的位置也被校正成适当的位置，能提升停车框的检测精度。
以下参考图14A～图16来说明校正部116的停车框的校正次序。图14A是用于说明存在被分断的(间断的)停车区划线(后续的停车区划线)的情况下的校正处理次序的图，图14B是用于说明不存在被分断的停车区划线(后续的停车区划线)的情况下的校正处理次序的图。图15、图16是用于说明存在在与图14A不同状态下被分断的停车区划线(后续的停车区划线)的情况下的校正处理次序的图。在这些图中，仿照图13A，将与停车区划线K正交的方向设为X轴，将停车区划线所延伸的方向设为Y轴来进行说明。另外，将被分断的停车区划线的检测目标的端部的图示的停车区划线K的一方的端部设为“前端”，将省略图示的相反侧的端部设为“后端”来进行说明。
图14A表示构成停车框的停车区划线K的前端侧被影子S分断而成为检测不到的示例。在此情况下，为了判定是否被影子S分断，夹着从边缘的线段(在此以负边缘的线段Em为例来进行说明)的端点d向扫描源侧(X轴正方向)以影子搜索偏置量α偏置的位置的像素在负边缘的线段Em所延伸的方向(Y轴负方向)上对图像扫描影子搜索长度β相应量，计算相邻的像素的亮度差。通过该扫描来判定相邻的像素的亮度差的绝对值是否为给定值以上。在该图14A的示例中，由于扫描区域从路面R切换到影子S，因此在该切换的边界，相邻的像素的亮度差的绝对值成为给定值以上。因此，判定为由影子S将停车区划线的边缘分断。
接下来，从从负边缘的线段Em的端点d在其延长线上偏置再搜索开始位置偏置量γ的位置起，在X轴正方向上实施扫描。此时，在X轴方向上，以停车区划线的宽度+阈值的宽度(长度)在Y轴方向上1像素(1行)1像素(1行)地进行扫描。在从偏置位置起扫描再搜索成功判定长度δ相应量而检测到正边缘与负边缘的配对时，判定为有被分断的停车区划线K’。在图14A的示例中，成为影子的部分的正边缘(以黑圆表示)和负边缘(以白圆表示)被以δ以上的长度检测到。另外，该扫描进行到不再检测到正边缘和负边缘为止，也就是，进行至到达被分断的停车区划线K’的前端部为止。然后，停车框设定部114将该被分断的停车区划线K’的负边缘的前端侧的端点作为停车框的一侧边的起点(或终点)，将该停车区划线的后端侧的端点作为停车框的一侧的终点(或起点)，将各自的位置(坐标值)作为停车框登记数据121登记到存储部120。以上的处理对与该负边缘相邻而构成停车框的另一侧的正边缘也执行，从而能适当地校正停车框的4个端点的位置。在以后的示例中也同样。
与之相对，若在如图14B所示未由影子等分断停车区划线K的情况下，以影子搜索偏置量α偏置并扫描影子搜索长度β相应量，则判定为相邻的像素的亮度差的绝对值小于给定值。故而，判定为在该停车区划线K不存在应连接的被分断的停车区划线。停车框设定部114将该停车区划线K的负边缘的起点和终点的位置(坐标值)作为停车框的一侧的起点和终点的位置(停车框登记数据121)而存储到存储部120。
另外，图15、图16表示停车区划线的一部分成为影子而被分断成2部分(间断的)的示例。在此情况下，前端侧的边缘有时会作为噪声被丢弃，或者被检测为不同的停车区划线。另外，在图15、图16所示的示例中，也是通过在从负边缘的线段Em以影子搜索偏置量α偏置的位置扫描影子搜索长度相应量，来判定为在影子S与路面R的边界相邻的像素的亮度差的绝对值为给定值以上。
在图15的示例中，若从自端点d偏置再搜索开始位置偏置量γ的位置起在X轴正方向上实施扫描，则会检测到再搜索成功判定长度δ以上的正边缘和负边缘，检测到被分断的停车区划线K’。在此情况下，停车框设定部114将新检测到的被分断的停车区划线K’的负边缘的端点的位置(坐标值)、和停车区划线K的负边缘的另一方的端点的位置(坐标值)作为停车框的一侧的起点以及终点的位置(停车框登记数据121)而登记到存储部120。
与之相对，在图16的示例中，若从自端点d以再搜索开始位置偏置量γ偏置的位置起在X轴正方向上实施扫描，则会检测到正边缘和负边缘，但检测长度小于再搜索成功判定长度δ。在此情况下，不需要对停车框进行校正，判定为不存在被分断的停车区划线。停车框设定部114将停车区划线K的负边缘的两端点的位置(坐标值)作为停车框的一侧的起点以及终点的位置(停车框登记数据121)而登记到存储部120。
如以上那样，停车框设定部114将构成停车框201的相邻的正边缘的线段以及负边缘的线段的端点的坐标值(在由校正部116校正过的情况下是校正后的坐标值)作为停车框登记数据121登记到存储部120，使得车辆控制ECU等能参考。此时，若将停车框201的至少靠近车辆V一侧的2个端点(起点)的坐标值登记，则能使存储容量尽可能少并能确定停车框201。与之相对，也可以将4个端点(起点以及终点)的坐标值登记，能实现向前停车、向后停车的任一者都适当的停车支援。另外，还能将停车区划线200的角度(延伸方向)、其他自动停车处理所需的信息加进停车框登记数据121，使得能进行更适当的停车支援。
显示控制部115向导航装置30送出显示控制信号，该显示控制信号用于使由相机20摄像得到的车辆V的周围的路面图像、由停车框设定部114设定并由校正部116校正过的表示停车框的图像与该路面图像适当重叠或者单独显示于导航装置(显示装置)30的监视器31。
存储部120具有硬盘驱动器等大容量存储介质、ROM、RAM等半导体存储介质等存储介质。在存储部120临时或非临时存放控制部110中的用于各种动作时的各种数据。
另外，在第二实施方式中，在存储部120也存放停车框登记数据121、参数数据122。作为参数数据122，能存放边缘检测时的阈值、停车区划线的分断的判定、被分断的停车区划线的检测中所用的各种设定值(α～δ)、停车区划线、车道边界线等边界线的基准长度、停车空间宽度以及其阈值等。进而能存放边界线的宽度、延伸方向的角度等图像处理装置100使用的各种参数。另外，还能构成为与使用停车支援装置1的国家、地域、停车空间(停车框)的形状、大小、行驶车道间的距离、车道边界线的形状等对应地存放多个参数，并选择适当的参数。
接下来，参考图12的流程图以及图13A、图13B来说明第二实施方式所涉及的图像处理装置100的动作的一例。
图12是用于说明图像处理装置100的动作的流程图。图12的流程图所示的动作通过由驾驶者操作图示省略的自动停车开始开关来进行自动停车开始的指示输入而开始。
在步骤S11中，图像处理装置100的控制部110获取由相机20摄像得到的车辆V周围的路面R的图像信号。
在步骤S12中，基于通过步骤S11获取到的图像信号，使用前述的公知技术，控制部110生成将这些图像信号合成而生成的信号。步骤S12中合成而生成的信号是用于使导航装置30显示像是在车辆V的上方设置相机而俯视正下方那样的图像(参考图13A等的“俯瞰图像G”)的信号。
此外，在步骤S12中，还能不进行用于显示俯瞰图像G的信号合成作业或者在接下来的步骤S13中的正边缘和负边缘的提取后，进行步骤S12中的图像合成作业。然而，在进行信号合成作业后进行步骤S13的处理更能降低图像处理装置100的处理负担。
在步骤S13(边缘检测工序)中，如前述那样，边缘检测部111对步骤S12中合成的俯瞰图像G在给定方向上进行扫描，基于图像信号中所含的亮度来提取俯瞰图像G中的正边缘以及负边缘。
在接下来的步骤S14中，停车区划线检测部113’对步骤S13中检测到的正边缘以及负边缘如前述那样基于基准长度进行过滤。由此，路面上的光的反射、垃圾、污迹等所引起的成为噪声的短的边缘被丢弃。该过滤虽然还能在接下来的步骤S15的配对的提取后进行，但通过在配对的提取前进行来取出噪声，能使图像处理高速化。在图13A所示的示例中，提取正边缘的线段Ep1～Ep8和负边缘的线段Em1～Em8。
在接下来的步骤S15(停车区划线检测工序：标志检测工序)中，停车区划线检测部113’从步骤S14中检测到的多个边缘的线段提取相邻的正边缘的线段与负边缘的线段的配对。此时，基于俯瞰图像G来计算在路面上相邻的正边缘与负边缘的距离，若该距离为给定的线宽±阈值的范围内，则判定为构成停车区划线的边缘的配对。
在接下来的步骤S16(停车框设定工序)中，停车框设定部114基于步骤S14中判定出的构成停车区划线的边缘的配对来以前述那样的次序设定停车框以及停车空间。设定的停车框的信息(坐标值)临时存储于存储部120。在图13A所示的示例中，如假想线所示那样，停车框a1被适当地设定，停车框a2、a3被变形地设定。
通过接下来的步骤S17～S25的校正的循环处理(校正工序)，校正部116判定构成停车框的停车区划线是否被影子等分断(简单)，在被分断时，将停车框的端点的位置校正成适当的位置。该步骤S17～S25的处理在判定为对步骤S16中设定的全部停车框进行过处理的情况下结束。
首先，在步骤S18中，校正部116获取构成处理对象的停车框的停车区划线的相邻的正边缘的线段和负边缘的线段各自的端点(起点、终点)的位置(坐标值)。在步骤S19中，夹着从停车区划线的各边缘的线段的一方的端点向给定方向侧偏置给定量(α)的位置的像素，在停车区划线(边缘)所延伸的方向上以给定长度(β)扫描图像。
在接下来的步骤S20中，判定扫描的结果是否是相邻的像素的亮度差的绝对值为给定值以上，在为给定值以上的情况下(是)，由于估计为由影子等将停车区划线分断，因此前进到步骤S21。
与之相对，在判定为亮度差的绝对值小于给定值(否)的情况下，估计为没有影子等引起的停车区划线的分断，不需要校正停车框的端点的位置，因此跳过步骤S21～S24，前进到步骤S25。
在步骤S21中，为了搜索被分断的停车区划线，在停车区划线所延伸的方向上，从自停车区划线以给定长度(γ)离开的位置起以给定长度(δ)在与停车区划线正交方向(X轴方向)上扫描俯瞰图像G。
在接下来的步骤S22中，判定扫描的结果是否是检测到给定长度(δ)以上的正边缘的线段和负边缘的线段。在判定为检测到(是)的情况下，也就是在判定为存在被分断的停车区划线的情况下，前进到步骤S22。
与之相对，在步骤S22中判定为未检测到(否)的情况下，也就是在判定为不存在被分断的停车区划线的情况下，由于不需要校正停车框的端点的位置，因此跳过步骤S23～S24，前进到步骤S25。
在步骤S23中，继续执行扫描来检测被分断的停车区划线的端部。接下来，前进到步骤S24，将步骤S16中临时登记在存储部120的工作区中的停车框的一侧边的一方的端点的位置(坐标值)校正成被分断的停车区划线的边缘的端点的位置(坐标值)。
另一方面，在步骤S22中判定为未检测到给定长度(δ)以上的正边缘的线段和负边缘的线段(否)的情况下，由于不需要校正停车框的端点的位置，因此跳过步骤S22～S24，前进到步骤S25。
此外，步骤S18～S24的处理通过至少对构成停车框的相邻的正边缘的线段的起点和负边缘的线段的起点执行，从而能适当地设定停车框的2个起点的位置。更优选地，通过对正边缘以及负边缘的各起点和终点进行步骤S18～S24的处理，从而能适当地设定停车框的4个端点(2个起点和2个终点)的位置。
在步骤S25中，判定是否有下一个要处理的停车框。在有停车框的情况下，回到步骤S17，进行对下一个停车框的处理。在没有要处理的停车框的情况下，将循环结束，并前进到步骤S26。
在步骤S26中，停车框设定部114将临时登记于存储部120的工作区的各停车框的端点(2个起点或4个端点)的位置(坐标值)作为停车框登记数据121登记到存储部120。各停车框的端点的位置通过步骤S18～S25的校正处理而被适当地校正。由此，例如在图13A所示的示例中，以与实际的停车框不同形状设定的停车框a2、a3的端点的位置被适当地校正，被设定成接近于图13B所示实际的停车框的长方形。
然后，登记于存储部120的停车框登记数据121被送出到车辆控制ECU40，执行对车辆V的停车进行支援的各种处理。
在以上那样构成的第二实施方式所涉及的图像处理装置100中，控制部110从基于从对车辆V的周围的状况进行摄像的摄像装置(相机20)输出的图像信号的图像中检测作为描绘于路面R的标志的停车区划线。控制部110在检测到的标志间断成多个时，将间断的多个标志连接而作为一个标志。
更具体而言，控制部110的停车区划线检测部113’(标志检测部)从基于从对车辆V的周围的状况进行摄像的摄像装置输出的图像信号的俯瞰图像G中检测停车区划线(标志)。校正部116基于车区划线所延伸的方向来判定是否从离开给定距离(再搜索开始位置偏置量γ)的位置起在停车区划线的延长线上有后续的停车区划线，在检测到后续的停车区划线时，将最初检测到的停车区划线(K)和接下来检测到的后续的停车区划线(K’)进行连接来作为一个停车区划线。进而，在第二实施方式中，停车框设定部114使用在校正部116连接的一个停车区划线来设定停车框。
以往，由于车辆、墙壁、围栏等比较大的影子、树叶空隙照进的日光、道路照明灯等的光的反射、磨损、障碍物的存在等，有时停车区划线会变得检测不到。特别在影子和影子以外的区域，由于停车区划线的亮度、亮度差不同，因此无法适当地检测停车区划线的边缘，有时停车区划线的一部分变得检测不到，或者停车区划线被分断地检测到。另外，有时会在停车框的端点的位置产生偏离。
与之相对，根据第二实施方式的图像处理装置100，即使是由于影子、光的反射、障碍物的存在、线的磨损、透镜的畸变等的影响而停车区划线变得检测不到或误检测、无法适当地设定停车框的端点的情况，也能将停车框的端点校正成更接近于真值的适当的位置。因此，能提供能高精度地进行停车框的检测的图像处理装置100以及图像处理方法。另外，能提供通过具备该图像处理装置100或图像处理方法而能高精度地进行停车支援的停车支援装置、停车支援方法。
另外，在第二实施方式中，具备边缘检测部111，其在给定方向上扫描俯瞰图像G，检测图像信号中所含的亮度比阈值更大变化的像素，将检测到的所述像素的排列成为给定以上的长度的部分检测为边缘。然后，停车区划线检测部113’基于由边缘检测部111检测到的多个边缘来检测停车区划线。故而，运算速度提升，能更高精度且更高速地检测停车区划线。
另外，校正部116将由停车区划线检测部113’检测到的停车区划线的端部作为基准，沿由停车区划线检测部113’检测到的停车区划线所延伸的方向来计算相邻的像素的亮度差。在计算出的亮度差的绝对值比给定值大的情况下，判定为停车区划线被分断，从在停车区划线所延伸的方向上离开给定长度相应量(再搜索开始位置偏置量γ)的位置起在与停车区划线所延伸的方向正交方向上进行扫描，来判定在停车区划线的延长线上是否有后续的停车区划线。通过该构成，能高效地判定是否有后续的停车区划线，另外，能将停车框的端点的位置校正成更接近于真值的适当的位置，能进一步提升停车框的检测精度。
另外，校正部116以停车区划线检测部113’所检测到的停车区划线的端部为基准进行扫描时的亮度差的阈值期望比边缘检测部111扫描俯瞰图像G时的亮度差的阈值小。由此，能适当地检测影子等的存在，还能精度良好地检测成为影子的停车区划线的边缘。由此，能高精度地检测停车框。
另外，检测后续的停车区划线时的停车区划线所延伸的方向上的给定长度(再搜索开始位置偏置量γ)期望是停车区划线的6％以下的长度，被检测的后续的停车区划线的给定长度(再搜索成功判定长度δ)期望是停车区划线的3％以下的长度。由此，只要停车框的端点的位置的误差处于容许范围内，就能在图像处理等中将误差校正，在超过容许范围的情况下，能通过校正部116适当地校正端点。
以上参考附图详述了本发明的实施方式，但具体的结构并不限于该实施方式以及实施例，不脱离本发明的主旨的程度的设计的变更包含在本发明中。
例如在上述实施方式所涉及的图像处理装置100中，基于图像的亮度、颜色的参数(例如、RGB、RGBA等)的信息的变化的大小以及变化的方向(正方向或负方向)来检测了边缘，但并不限定于这些，也可以基于图像信号中所含的其他信息的变化的大小以及变化的方向来检测边缘。
另外，在上述第二实施方式所涉及的图像处理装置100中，在停车框设定部114基于由停车区划线检测部113’检测到的停车区划线而设定了停车框后，校正部116对设定的停车框校正端点的位置，并将被分断的停车区划线作为一个停车区划线，停车框设定部114使用该一个停车区划线来最终进行停车框的登记。但并不限定于该构成，还能构成为在停车区划线检测部113’检测到停车区划线后，在校正部116对检测到的停车区划线适当地校正端点的位置的基础上，停车框设定部114基于校正后的停车区划线来设定停车框。根据该构成，也能够适当地设定停车框的端点的位置。
(附图标记的说明)
20 相机(摄像装置)
20a 前方相机(摄像装置)
20b 后方相机(摄像装置)
20c 左侧方相机(摄像装置)
20d 右侧方相机(摄像装置)
100 图像处理装置
111 边缘检测部
112 边缘连接部
113 标志检测部
113’ 停车区划线检测部(标志检测部)
114 停车框设定部
116 校正部
200 停车区划线(标志)
201 停车框
A 边缘(该边缘)
B 边缘(距离最短的边缘)
E 终点
G 俯瞰图像(图像)
L 将边缘延长而得到的直线
R 路面
S 起点
V 车辆
d 端点。

Claims (13)

1.一种图像处理装置，对描绘于路面的标志进行检测，所述图像处理装置的特征在于，
具备控制部，该控制部从由对车辆的周围的状况进行摄像的摄像装置获取到的图像中检测描绘于所述路面的标志，
在检测到的所述标志间断成多个部分时，所述控制部将间断的所述多个部分进行连接来作为一个标志。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部具备：
边缘检测部，其将所述图像在给定方向上进行扫描来检测多个边缘；
边缘连接部，其分别检测与所述多个边缘中的各边缘之间的距离最短的最接近边缘，在所述各边缘与所述最接近边缘的端点间的距离为阈值以下时，将这两个边缘进行连接来作为一个边缘；以及
标志检测部，其基于所述多个边缘来检测所述标志。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述边缘检测部在所述多个边缘中的各边缘与所述最接近边缘的端点间沿与所述各边缘所延伸的方向相应的方向进行扫描，来判定是否在所述各边缘与所述最接近边缘之间含有能判定为所述标志的信息。
4.根据权利要求2或3所述的图像处理装置，其特征在于，
所述边缘连接部对位于从所述多个边缘中的各边缘起给定距离的范围内的其他边缘的数量分别进行计数，在计数数目为给定数以上时，不将所述各边缘与所述其他边缘连接。
5.根据权利要求2或3所述的图像处理装置，其特征在于，
所述边缘连接部将位于与靠近所述最接近边缘的端点相反的一侧的所述各边缘的端点作为所述一个边缘的起点的坐标，在将所述各边缘延长而得到的直线和靠近所述各边缘的与所述最接近边缘的端点相反的一侧的端点的x坐标之间的距离为阈值以内时，将所述最接近边缘的终点设定为所述一个边缘的终点的坐标，
在将所述各边缘延长而得到的直线与所述最接近边缘的终点的x坐标之间的距离比阈值大时，所述边缘连接部将从所述最接近边缘的终点的x坐标起垂直去往延长所述各边缘而得到的直线的交点作为所述一个边缘的终点的坐标。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部具备：
标志检测部，其从所述图像中检测所述标志；以及
校正部，
所述校正部判定是否在所述标志的延长线上从离开给定距离的位置起检测到其他标志，
在检测到所述其他标志的情况下，将所述标志与所述其他标志进行连接来作为所述一个标志。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述校正部将所述标志检测部检测到的所述标志的端部作为基准，沿着所述标志所延伸的方向来计算相邻的像素的亮度差，在计算出的所述亮度差的绝对值大于给定值的情况下，判定为所述标志被分断，
在判定为所述标志被分断的情况下，判定是否从离开所述标志所述给定距离的位置起在所述标志的延长线上检测到所述其他标志。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述给定值小于为了检测所述标志而扫描所述图像时的亮度差的阈值。
9.根据权利要求2或3所述的图像处理装置，其特征在于，
所述标志是对停车空间进行区划的停车区划线，
所述图像处理装置具备停车框设定部，所述停车框设定部基于检测到的所述标记来设定停车框。
10.根据权利要求2或3所述的图像处理装置，其特征在于，
所述标志是对行驶车道进行区划的车道边界线，
所述图像处理装置具备行驶车道检测部，所述行驶车道检测部基于检测到的所述标志来检测所述行驶车道。
11.一种图像处理方法，对描绘于路面的标志进行检测，所述图像处理方法的特征在于，包含图像处理工序，
在所述图像处理工序中，
从由对车辆的周围的状况进行摄像的摄像装置获取到的图像中检测描绘于所述路面的标志，
并在检测到的所述标志间断成多个部分时，将间断的所述多个部分进行连接来设定成一个标志。
12.根据权利要求11所述的图像处理方法，其特征在于，
所述图像处理工序包含：
边缘检测工序，将所述图像在给定方向上进行扫描来检测多个边缘；
边缘连接工序，分别检测与所述多个边缘中的各边缘之间的距离最短的最接近边缘，在所述各边缘与所述最接近边缘的端点间的距离为阈值以下时，将这两个边缘进行连接来作为一个边缘；以及
标志检测工序，基于所述多个边缘来检测所述标志。
13.根据权利要求11所述的图像处理方法，其特征在于，
所述图像处理工序包含：
标志检测工序，从所述图像中检测所述标志；以及
校正工序，判定是否从离开检测到的所述标记给定距离的位置起在所述标志的延长线上检测到其他标志，在检测到所述其他标志的情况下，将所述标志与所述其他标志进行连接来作为所述一个标志。
CN202110097136.9A 2020-02-06 2021-01-25 图像处理装置以及图像处理方法 Active CN113212352B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020018480A JP7453008B2 (ja) 2020-02-06 2020-02-06 画像処理装置及び画像処理方法
JP2020-018480 2020-02-06
JP2020-027982 2020-02-21
JP2020027982A JP7446851B2 (ja) 2020-02-21 2020-02-21 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN113212352A true CN113212352A (zh) 2021-08-06
CN113212352B CN113212352B (zh) 2023-05-05

Family

ID=74553695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110097136.9A Active CN113212352B (zh) 2020-02-06 2021-01-25 图像处理装置以及图像处理方法

Country Status (3)

Country Link
US (1) US11610317B2 (zh)
EP (1) EP3862920A1 (zh)
CN (1) CN113212352B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485884A (zh) * 2023-06-28 2023-07-25 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11884263B2 (en) * 2020-08-26 2024-01-30 Ford Global Technologies, Llc Vehicle parking control
JP2022059958A (ja) * 2020-10-02 2022-04-14 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーション装置
US20230031425A1 (en) * 2021-08-02 2023-02-02 DUS Operating Inc, Methodology to estimate slot line direction for parking slot detection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039443A1 (en) * 1997-10-03 2002-04-04 Shizuo Sakamoto Method and device of object detectable and background removal, and storage media for storing program thereof
CN1836266A (zh) * 2003-09-24 2006-09-20 爱信精机株式会社 路面行驶车道检测装置
CN101978392A (zh) * 2008-03-26 2011-02-16 本田技研工业株式会社 车辆用图像处理装置和图像处理程序
US20150125039A1 (en) * 2013-11-04 2015-05-07 Sarmo Technology Inc. Lane departure warning system and method
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles
US20190188497A1 (en) * 2017-12-18 2019-06-20 Denso Corporation Apparatus for identifying line marking on road surface
US20200020104A1 (en) * 2018-07-12 2020-01-16 Here Global B.V. Method, apparatus, and system for constructing a polyline from line segments

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JP3175509B2 (ja) 1994-12-13 2001-06-11 トヨタ自動車株式会社 道路白線検出装置
JP3943363B2 (ja) 2001-10-18 2007-07-11 クラリオン株式会社 駐車支援装置
JP2007179386A (ja) 2005-12-28 2007-07-12 Fujitsu Ten Ltd 白線認識方法及び白線認識装置
JP6094266B2 (ja) 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
WO2014156166A1 (ja) * 2013-03-29 2014-10-02 パナソニック株式会社 駐車支援システムおよび駐車支援方法
KR101541483B1 (ko) * 2014-01-03 2015-08-03 현대모비스(주) 차선 변경 감시 장치 및 그 제어 방법
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
US10867189B2 (en) * 2017-01-04 2020-12-15 Qualcomm Incorporated Systems and methods for lane-marker detection
WO2019168869A1 (en) * 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039443A1 (en) * 1997-10-03 2002-04-04 Shizuo Sakamoto Method and device of object detectable and background removal, and storage media for storing program thereof
CN1836266A (zh) * 2003-09-24 2006-09-20 爱信精机株式会社 路面行驶车道检测装置
CN101978392A (zh) * 2008-03-26 2011-02-16 本田技研工业株式会社 车辆用图像处理装置和图像处理程序
US20150125039A1 (en) * 2013-11-04 2015-05-07 Sarmo Technology Inc. Lane departure warning system and method
US20180189578A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Network Construction Using High Definition Maps for Autonomous Vehicles
US20190188497A1 (en) * 2017-12-18 2019-06-20 Denso Corporation Apparatus for identifying line marking on road surface
US20200020104A1 (en) * 2018-07-12 2020-01-16 Here Global B.V. Method, apparatus, and system for constructing a polyline from line segments

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485884A (zh) * 2023-06-28 2023-07-25 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统
CN116485884B (zh) * 2023-06-28 2023-09-12 四川君安天源精酿啤酒有限公司 基于计算机视觉的精酿啤酒瓶口实时定位方法及系统

Also Published As

Publication number Publication date
CN113212352B (zh) 2023-05-05
US11610317B2 (en) 2023-03-21
EP3862920A1 (en) 2021-08-11
US20210248753A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN113212352B (zh) 图像处理装置以及图像处理方法
JP7229804B2 (ja) 画像処理装置及び画像処理方法
CN111824129B (zh) 图像处理装置及图像处理方法
EP3910542A1 (en) Image processor and image processing method
CN113313935B (zh) 图像处理装置及图像处理方法
JP2008222153A (ja) 合流支援装置
CN111862108A (zh) 图像处理装置及图像处理方法
EP3933684A1 (en) Image based detection of parking space marked by dashed lines
WO2014017104A1 (ja) 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
CN112016381B (zh) 图像处理装置以及图像处理方法
CN113327201A (zh) 图像处理装置及图像处理方法
JP2006344133A (ja) 道路区画線検出装置
JP7446851B2 (ja) 画像処理装置及び画像処理方法
US11749002B2 (en) Lane line recognition apparatus
JP7453008B2 (ja) 画像処理装置及び画像処理方法
JP7446830B2 (ja) 画像処理装置及び画像処理方法
JP2008250871A (ja) 車両運転警告装置
JP2005104401A (ja) 駐車支援装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant