CN113313935B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN113313935B
CN113313935B CN202110198808.5A CN202110198808A CN113313935B CN 113313935 B CN113313935 B CN 113313935B CN 202110198808 A CN202110198808 A CN 202110198808A CN 113313935 B CN113313935 B CN 113313935B
Authority
CN
China
Prior art keywords
line
parking
line segment
edge
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110198808.5A
Other languages
English (en)
Other versions
CN113313935A (zh
Inventor
金子贵之
近藤俊辅
久保田守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faurecia Clarion Electronics Co Ltd filed Critical Faurecia Clarion Electronics Co Ltd
Publication of CN113313935A publication Critical patent/CN113313935A/zh
Application granted granted Critical
Publication of CN113313935B publication Critical patent/CN113313935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种能够高精度地进行停车位线以及停车框的检测的图像处理装置以及图像处理方法。图像处理装置(100)包括：线提取单元(111)，其从基于在预定时刻拍摄车辆(V)周围的摄像装置(20)输出的图像信号的俯视图像(G)提取线；跟踪判定部(112)，其对提取的线是否具备预定条件进行判定；比较单元(114)，其对判定为具备预定条件的所述线和使用所述线提取单元(111)从基于过去的预定时刻摄像的图像信号的俯视图像(G)中提取的线进行相似度以及匹配度的比较；停车位线判定部(115)，其将相似度以及匹配度大于或等于预定值的线判定为停车位线；停车框设定部(116)，其使用判定为停车位线的线设定停车框。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法，其基于来自摄像车辆周围的路面的摄像装置输出的图像信号，对设置在该路面上的停车框进行推断。
背景技术
在预定停车区域进行停放车辆时，已经投入使用有以自动检测停车目标的停车框并实施车辆的自动停放的停车辅助装置(例如，参照专利文献1)。在该专利文献1中公开的技术当中，从由安装于车辆的摄像装置摄像的摄像图像检测停车位线，并基于检测到的停车位线检测能够停车的停车框。此时，基于停车位线的延伸角度和相邻停车位线之间的距离等来判定停车框是否为倾斜停车框、並列停车框、纵向排列停车框之一。
另外，在判定为倾斜停车框的情况时，基于倾斜停车框的连续性来实施判定。即，从预定的停车区域，连续地检测出多个倾斜停车框的情况时，可以看出具有倾斜停车框的停车场。另一方面，在检测到的停车框当中只有一个倾斜停车框的情况时，则有可能将原本是並列停车框或者纵向排列停车框当中的一个错误地检测为倾斜停车框。
现有技术文献
专利文献
专利文献1：日本特开2016－16681号公报
发明内容
发明所要解决的问题
伴随车辆的移动动态地执行停车位线和停车框的检测。因此，根据检测时刻，因其他停放的车辆以及障碍物的存在、或者自身车辆、墙壁、栅栏等的相对较大的阴影、或者穿过树木的阳光、道路照明等引起的光反射等原因，可能会出现不被检测为停车位线的情况，或者将非停车位线的线错误地检测为停车位线的情况。其结果是，倾斜停车框的连续性的判定受到影响或者将並列停车框等错误检测为倾斜停车框，从而会影响停车框的检测。
因此，本发明的目的是提供一种图像处理装置以及图像处理方法，其能够高精度地进行停车位线以及停车框的检测。
用于解决问题的手段
为了达到上述目的，本发明的图像处理装置的特征在于包括：线提取单元，其从基于图像信号的图像提取线，该图像信号从在预定时刻拍摄车辆周围的摄像装置输出；跟踪判定部，其对由所述线提取单元提取的所述线是否具备预定条件进行判定；比较单元，其对由所述跟踪判定部判定为具备预定条件的所述线和使用所述线提取单元从基于过去的预定时刻摄像的图像信号的图像中提取的线进行相似度以及匹配度的比较；停车位线判定部，其基于所述比较单元的比较结果，将所述相似度以及所述匹配度大于或等于预定值的所述线判定为停车位线；停车框设定部，其使用由所述停车位线判定部判定为停车位线的线设定停车框。
发明效果
在这样构成的本发明的图像处理装置中，从在预定时刻摄像的图像提取，并将判定为具备预定条件的线与从在过去的预定时刻摄像的图像提取的线进行比较。其比较的结果，将相似度以及匹配度等于和高于预定的线判定为停车位线。然后，使用判定为停车位线的线来设定停车框。
通过这样的构成，即使出现在受到阴影和其他停放的车辆等的影响而使在根据检测时刻而不能检测停车位线或者错误检测，或者构成停车框的停车位线不被判定为线的情况时，也将该线作为跟踪对象并通过持续的跟踪，从而能够适当地检测以往不能检测的停车框。因此，能够高精度地进行停车位线以及停车框的检测。
附图说明
图1是表示适用本发明的实施方式的图像处理装置的停车辅助装置的概略构成的框图。
图2是表示实施方式的停车辅助装置的摄像装置的配置位置的示例的图。
图3是表示实施方式的图像处理装置的概略构成的功能框图。
图4A是用于说明实施方式的图像处理装置的动作的示例的流程图。
图4B是用于描述跟踪判定部的操作的示例的流程图，(a)是用于线的跟踪判定工序，(b)是用于相似度、匹配度的判定(比较)工序，(c)是用于跟踪信息的追加判定(停车位线判定)工序的流程图。
图5是用于说明实施方式的图像处理装置的动作的示例的图，并且是表示车辆和停车场的路面上描绘的停车位线的示例。
图6是用于说明实施方式的图像处理装置的操作的示例的图，并且是示意性地示出在俯视图像上检测到的边缘和停车框的图。
图7是用于说明实施方式的图像处理装置的操作的示例的图，并且是示意性地示出通过车辆的移动在与图6不同的时刻获取的俯视图像中检测到的边缘以及停车框的图。
图8是用于说明实施方式的图像处理装置的操作的示例的图，并且示意性地示出通过车辆的移动在与图6、图7不同的时刻获取的俯视图像中检测到的边缘以及停车框的图。
图9是用于说明跟踪判定部的操作的示例的图，并且示意性地示出通过车辆的移动在与图6～图8不同的时刻获取的俯视图像中检测到的边缘以及停车框的图。
具体实施方式
(停车辅助装置的概略构成)
以下，基于附图对本发明的实施方式进行说明。图1是示出适用作为本发明的实施方式的图像处理装置的停车辅助装置的概略构成的框图。图2是示出停车辅助装置的摄像装置的配置位置的示例的图。
如图1所示，停车辅助装置1安装在车辆V(参见图2)，进行停车辅助动作。具体而言，停车辅助装置1识别出该车辆V能够停车的停车框。而且，停车辅助装置1对车辆V进行控制，使车辆V停车于已识别出的停车框内。
如图2所示，在车辆V的前后左右具备多个小型照相机(摄像装置)。具体而言，在车辆V的前保险杠或者前格栅上安装有朝向车辆V的前侧的前侧照相机20a。在车辆V的后保险杠或者后装饰条上安装有朝向车辆V的后侧的后侧照相机20b。在车辆V的左后视镜上安装有朝向车辆V的左侧方的左侧方照相机20c。在车辆V的右后视镜上安装有朝向车辆V的右侧方的右侧方照相机20d。
在前侧照相机20a、后侧照相机20b、左侧方照相机20c以及右侧方照相机20d上分别安装有能够观察大范围的广角镜头和鱼眼镜头，并且通过4个照相机20a～20d能够观测包含车辆V的周围的路面的区域。通过这些照相机20a～20d来构成摄像车辆V周围的路面的摄像装置。另外，在下面的描述中，当无区别地对各个照相机(摄像装置)20a～20d进行描述时，将它们简单地描述为照相机20。
返回图1，停车辅助装置1具有：前侧照相机20a，后侧照相机20b，左侧方照相机20c，右侧方照相机20d，照相机ECU21，导航装置30，轮速传感器32以及转向角传感器33。
照相机ECU21的主体由微型计算机构成，该微型计算机由CPU(CentralProcessing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)以及闪速存储器等构成。照相机ECU21对照相机20进行控制，并且使用由照相机20检测到的信息实施以下处理：俯视图像的生成处理；检测停车框的检测处理；对车辆V是否能够停车于已检测到的停车框内进行判定的判定处理等。
导航装置(显示装置)30具备具有图像显示功能的监视器31。导航装置30具有存储有路径导航用的地图数据等的存储部。导航装置30基于该地图数据等以及省略了图示的GPS装置等检测到的车辆V的当前位置，来进行到导航装置30的操作者所设定的目标地点为止的路径导航(路径引导)。路径导航动作中的各种图像被显示于监视器31。
轮速传感器32是检测车辆V的轮速的传感器。在轮速传感器32处检测到的检测信息(轮速)被输入至车辆控制ECU40。
转向角传感器33对车辆V的转向的转向角进行检测。将车辆V直线行驶的状态时的转向角设为中立位置(0度)，并将距该中立位置的旋转角度作为转向角而输出。在转向角传感器33处检测到的检测信息(转向角)被输入至车辆控制ECU40。
进一步，停车辅助装置1具有：车辆控制ECU40，转向控制单元50，节气门控制单元60以及制动控制单元70。
车辆控制ECU40的主体由微型计算机构成，该微型计算机由CPU(CentralProcessing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)以及闪速存储器等构成。车辆控制ECU40基于来自照相机ECU21、轮速传感器32以及转向角传感器33输入的各检测信息，来实施辅助车辆V的停车的各种处理。
也就是说，例如当驾驶员实施开启省略了图示的自动停车开始开关而使停车辅助装置1动作时，车辆控制ECU40执行将车辆V自动停车于由照相机ECU21判定为可停车的停车框的自动停车处理。
转向控制单元50基于由车辆控制ECU40确定的车辆控制信息，来驱动动力转向执行器51并控制车辆V的转向角。
节气门控制单元60基于由车辆控制ECU40确定的车辆控制信息，来驱动节气门执行器61并控制车辆V的风门(节气门开度)。
制动控制单元70基于由车辆控制ECU40确定的车辆控制信息，来驱动制动执行器71并控制车辆V的制动。
另外，照相机ECU21、轮速传感器32以及转向角传感器33和车辆控制ECU40之间通过作为车内LAN(Local Area Network)的传感器信息CAN(Controller Area Network)80来连接(CAN注册商标)。
此外，转向控制单元50、节气门控制单元60以及制动控制单元70和车辆控制ECU40之间通过作为车内LAN的车辆信息CAN81来连接。
在具有以上构成的停车辅助装置1中，本实施方式的图像处理装置100主要由照相机ECU21构成。
(图像处理装置的功能构成)
图3是表示本实施方式的图像处理装置100的概略构成的功能框图。本实施方式的图像处理装置100具有控制部110以及存储部120。控制部110主要由照相机ECU21的CPU构成，存储部120主要由照相机ECU21的ROM、RAM、闪速存储器等构成。
控制部110实施图像处理装置100整体的控制。除此之外，控制部110基于对通过后述的线提取单元111、停车位线检测部112、跟踪判定部113、比较单元114、停车位线判定部115以及停车框设定部116等检测或推断的停车空间进行划分的停车位线或停车空间，向该车辆控制ECU40传送自动停车处理所需的信息(停车空间，停车框的位置，形状等)，该信息使用于车辆控制ECU40执行自动停车处理，以使车辆V自动地停车于判定为车辆V可停车的停车框内。
车辆控制ECU40基于从控制部110提供的信息，以及基于由轮速传感器32和转向角传感器33(在图3中仅示出了传感器)检测出的检测信息，来驱动控制动力转向执行器51、节气门执行器61以及制动执行器71(在图3中仅示出了执行器)。
控制部110具有以CPU、FPGA等的可编程逻辑器件、ASI C等的集成电路为代表的运算源件。
在图像处理装置100的存储部120存储有未图示的控制用程序，在图像处理装置100的启动时通过控制部110执行该控制用程序，使图像处理装置100成为具备如图3所示的功能结构。特别是，通过本实施方式的图像处理装置100实施后述的高速的图像处理，优选具备高速运算可能的运算源件，例如FPGA等。
如图3所示，控制部110具有：线提取单元111，停车位线检测部112，跟踪判定部113，比较单元114，停车位线判定部115，停车框设定部116，车速获取单元117，倾斜停车框判定部118以及显示控制部119。
线提取单元111基于从对车辆V的周围的路面R成像的照相机20输出的图像信号，将通过边缘检测检测出停车场P等的路面R上的停车位线K的边缘，并基于检测出的边缘来提取线。在此所说的停车位线K主要是指划分为用于划分设置在路面R上的停车区域的边界线(直线)的线。图5示出了车辆V和在车辆V想要停车的停车场P的路面R上绘制的停车位线K的示例。停车位线K之间是表示停车框A、B的停车空间。在图5的例中，在停车场P设置有前进停车框群BG和后退停车框群AG，所述后退停车框群AG是指，相对于车辆V的行进方向的停车位线K(K1～K5)的角度θ1小于90[deg]的、基本上是倒车车辆V来实施停车的、从实施所谓的后退停车的停车框A1～A4构成，前进停车框群BG是指，相对于车辆V的行进方向的停车位线K(k1～k5)的角度θ2大于90[deg](相对角度为小于90[deg])的、基本上前进车辆V来实施停车的、从实施所谓的前进停车的停车框B(B1～B4)构成。
此外，图6～图9是示意性地示出将由照相机20拍摄的图像信号合成并生成的俯视图像G和从该俯视图像G检测到的边缘的图。在图6～图9的俯视图像G中，沿着车辆V的行进方向的方向是X轴，与行进方向正交的方向是Y轴。
图6～图9所示的俯视图像G是基于由照相机20a～20d摄像的图像信号，将分别拍摄的车辆V变更为从正上方向下观察的俯视图像g1，g2，g3以及g4，并且是进一步将各俯视图像g1合成并生成的图像。在俯视图像G的中心部分上显示有表示从正上方向下观察车辆V的状態的图标I。
停车位线通常由白线来表示，但是除了白线以外，也存在例如由黄色线等，除了白颜色以外的颜色的线描绘的情况。因此，通过线提取单元111检测的停车位线不限于“白线”，通常情况下，将与路面之间具有对比度的边界线作为停车位线来实施检测即可。
线提取单元111沿预定方向扫描(扫描)俯视图像G，检测出包含于图像信号的亮度或者颜色的参数(例如，RGB，RGBA等)相比阈值具有大的变化的像素，并将检测出的像素的排列成为预定长度以上的部分作为边缘来检测。在此作为扫描是指，沿着预定方向选择一个接一个地选择像素，在相邻的像素之间，比较亮度或者颜色的参数。
另外，期望，扫描方向设定为与在路面R上绘制的停车位线K交叉的方向。也就是说，停车位线K沿与车辆V的行进方向(图5的矢印参照)正交的方向或者与如图5所示的倾斜交叉的方向延伸时，期望沿俯视图像G(参照图6等)上的行进方向(图6等中的X轴方向)进行扫描。与此相比，停车位线K沿车辆V的行进方向延伸时，期望沿与俯视图像G上的行进方向正交的方向(在图6等中的Y轴方向)进行扫描。通常，由于停车位线K所延伸的方向未知，因此，期望线提取单元111分别沿着俯视图像G上的车辆V的行进方向以及与此正交的方向进行2次扫描。
而且，线提取单元111从检测到的多个边缘中，将相邻的像素的亮度差或者颜色的参数差在正方向上大于预定值的边缘作为正边缘(也称为“上升边缘”)来检测，将相邻的像素的亮度差或者颜色的参数差在负方向上大于预定值的边缘作为负边缘(也称为“下降边缘”)来检测。
在此，基于亮度提取边缘的情况时，将从亮度低且暗的像素(例如黑色像素)，变为具有比阈值大的差且亮度高且明亮的像素(例如白色像素)(正方向的变化)的像素的排列作为正边缘而检测。即，表示扫描位置从路面R被切换为推断为停车位线的情况。此外，从亮度高且明亮的像素，变为具有比阈值大的差且亮度低且暗的像素(负方向的变化)的像素的排列作为负边缘而检测。即，表示扫描位置从推断为停车位线的情况被切换为路面R。
与此相比，基于颜色的参数提取边缘的情况时，对路面的颜色的参数和停车位线的颜色的参数进行比较。线提取单元111将颜色的参数的值朝向变大的方向变化(朝负方向变化)的像素的排列作为负边缘而检测，将颜色的参数的值朝向变小的方向变化(朝正方向变化)的像素的排列作为正边缘而检测。此外，停车位线的亮度比路面低的(或者颜色的参数大)情况时，亮度和颜色的参数的变化将反转。不管在何种情况下，在停车位线等的边界线中，为了在其两侧边缘检测正边缘和负边缘，可以提取后述的一对。
线提取单元111通过对多条线(行)重复上述扫描，将在与扫描方向交叉的方向上连续的由正边缘构成的线段(像素的排列，像素列)作为正边缘的线段来检测。此外，将由连续的负边缘构成的线段(像素列)作为负边缘的线段来检测。
此外，线提取单元111根据基准长度按长度对检测到的正边缘的线段以及负边缘的线段进行滤波，并且可以丢弃不满足基准长度的正边缘的线段以及负边缘的线段。此外，除了长度之外，可以根据线段延伸的方向(角度)执行滤波。
线提取单元111计算检测到的正边缘的线段以及负边缘的线段的各个的起点以及终点的位置(坐标)。线提取单元111基于计算的位置，以预定间隔且预定的角度提取相邻的正边缘的线段和负边缘的线段，并将其判定为构成线的一对边缘。另外一方面，将不能够找到一对的边缘的线段和沿预定的角度以外的方向延伸的边缘的线段等作为凌杂而丢弃。
停车位线检测部112基于由线提取单元111检测为线的正边缘的线段和负边缘的线段的一对，来检测停车位线。更具体地，停车位线检测部112从提取的线的边缘的一对中，提取一对具有大于等于预定的基准长度的长度且沿预定的方向(角度)延伸的正边缘的线段以及负边缘的线段的一对。基于起点等的位置来计算提取的正边缘的线段和负边缘的线段的距离，并且当该距离在预定的线宽度±阈值的范围内时，判定为构成停车位线的边缘的一对。停车位线检测部112将判定为一对的正边缘的线段和负边缘的线段的各自的起点以及终点的位置(坐标)作为停车位线数据124被登记(存储)在存储部120的临时存储部123。
停车位线检测时的基准长度例如可以设为车辆V的车长度(例如5m)的长度，在本实施方式中，设为比车长度短的长度。角度是指根据车辆V的行进方向和拍摄图像的照相机20的朝向等来设定的角度。在图6的情况下，由于停车位线是相对于行进方向朝向停车空间倾斜并延伸的直线，因此设为角度＝45°±阈值。
在图6中，示意性地由粗实线表示从在预定的检测时刻获取的俯视图像G检测到的正边缘，由粗虚线表示负边缘。在该俯视图像G中反映了(示出了)后退停车框群AG。以下文中，对由图像处理装置100检测后退停车框A的情况假设并进行说明，并能够适用于前进停车框群BG的前进停车框B的检测。在本图6的例中，车辆V(图标I)的右侧的停车位线K1和K3(实际上是，停车位线K1和K3的图像)的两侧、在X轴方向的扫描源侧上检测出正边缘的线段Ep(Ep1、Ep3)，在扫描前端侧上检测出负边缘的线段Em(Em1、Em3)。由于停车位线K2被停车在停车框A1的其他车辆v1遮盖，因此不能够作为线提取，或者短于基准长度而作为凌杂被丢弃，其结果是，不被检测为停车位线。
此外，假设车辆V在路面R上移动并且在与图6不同的检测时刻(时间)获取了如图7所示的俯视图像G。在此情况下，停车位线K1在图6的检测时刻中被检测为停车位线，但是在图7的时刻中被其他车辆v1遮盖而不被检测为停车位线。此外，停车位线K2在图6的检测时刻未被检测为停车位线，但是在图7的检测时刻被检测为由正边缘的线段Ep2和负边缘的线段Em2构成的停车位线。其结果是，可检测到停车位线K2和停车位线K3之间的停车框A2，但是停车位线K1和停车位线K2之间的停车框A1不被检测。此外，在实施倾斜停车框的判定的情况下，由于不存在作为倾斜停车框的连续性，因此存在停车框A2没有被登记为停车目标并且被丢弃的情况。
为了避免这种问题，通过跟踪判定部113、比较单元114以及停车位线判定部115，对由线提取单元111提取的没有被判定为构成停车框的停车位线的线进行持续跟踪(追踪)，即使该停车位线被其他车辆v1等遮盖并不被检测的情况时，也进行控制，使得可以检测到由被遮盖的停车位线划分的停车框。
因此，跟踪判定部113对在预定的时刻由线提取单元111提取的线是否具备预定条件进行判定，并且将判定为具备预定条件的线作为跟踪对象的线来提取。此外，跟踪判定部113将提取的线的信息存储在存储部120。比较单元114对由跟踪判定部113判定为具备预定条件的线和用线提取单元111从基于过去在预定时刻摄像的图像信号的俯视图像G提取的线的相似度以及匹配度进行比较。根据在停车位线判定部115和比较单元114的比较的结果，将相似度以及匹配度大于或等于预定值的跟踪对象的线判定为停车位线。
以下，对跟踪判定部113、比较单元114、停车位线判定部115的处理的细节进行说明。跟踪判定部113执行以下(1)的处理，比较单元114执行以下(2)的处理，停车位线判定部115执行以下(3)的处理。
(1)线的跟踪判定
(2)相似度，匹配度判定(比较)
(3)跟踪信息的追加判定(停车位线判定)
(1)线的跟踪判定
跟踪判定部113判定是否满足以下条件(线的跟踪判定)，以便提取预定范围的线作为跟踪候補的线。将满足条件的线判定为跟踪对象(追踪对象)，并将该跟踪对象的线的信息(例如，正边缘的线段和负边缘的线段的起点和终点的坐标值)作为跟踪信息数据125登记于存储部120的临时存储部123。
·线的长度是否大于或等于预定的长度(例如，1.5m相当)。
根据该条件，可以排出除了停车位线以外的短的线，并且可以将作为停车位线的具有高确定性的线作为跟踪对象而提取。
·线的角度是否在预定的角度(例如，65～40[deg])的范围内。
根据该条件，能够提取例如构成倾斜停车框的线。
·基于正边缘的线段以及负边缘的线段计算的线的宽度是否在预定的宽度(例如，8[pixel]≒24[cm])以内。
根据该条件，能够吸收由停车位线的宽度的变化、透镜的变形和俯视变换等的停车位线图像的宽度的膨胀/收缩。
·正边缘的线段以及负边缘的线段的角度差是否在预定的角度差(例如，3[deg])以内。
根据该条件，即使两边缘的角度存在一些误差，也能够适当地提取跟踪对象的线。
(2)相似度，匹配度判定(比较)
比较单元114对检测到停车位线和存储在存储部120的跟踪对象的线的跟踪信息数据125，进行“是否相似”的观点和“是否匹配”的观点的两个阶段的判定。通过实施两个阶段的判定，例如，在不同检测时刻，即使倾斜线的角度被检测为具有微小的变化的情况时，不会分别作为跟踪对象的线而登记，被登记为一个跟踪对象的线，能够提高处理精度和处理速度。
[相似度的判定]
比较单元114判定是否满足以下的全部条件，在满足条件的情况时判定为相似，并进行下一步的匹配度的判定。在不满足条件的情况时判定为相似，并且不进行下一步的匹配度的判定。
·跟踪候補的线和跟踪信息数据的正边缘的线段之间的角度差以及负边缘的线段之间的角度差是否在预定的角度差(例如，11[deg])以内。
·跟踪候補的线和跟踪信息数据的正边缘的线段以及负边缘的线段的各自的起点的距离差和终点的距离差是否在预定的距离差(例如，12[p ixel]≒36[cm])以内。
[匹配度的判定]
车辆V的车速在预定值以下(例如，0[km/h])的情况时，不实施匹配度的判定。据此，车辆V的停车期间和以预定值以下的低速行进期间，由于因其他车辆等的立体物引起的线的错误检测，不能将这些作为跟踪对象，因此能够提高处理精度。通过后述的车速获取单元117取得车速。
比较单元114判定是否满足以下全部条件，并在满足条件的情况时判定为匹配，计数检测次数。不满足条件的情况时判定为不匹配，不计数检测次数。
·跟踪候補的线和跟踪信息数据的正边缘的线段之间的角度差以及负边缘的线段之间的角度差是否在预定的角度差(例如，2[deg])以内。
·跟踪候補的线和跟踪信息数据的正边缘的线段以及负边缘的线段的各个起点的距离差和终点的距离差是否在预定的距离差(例如，参考值2[pixel])以内。
(3)跟踪信息的追加判定(停车位线判定)
在满足以下全部条件的情况时，停车位线判定部115将跟踪对象的线的跟踪信息作为停车位线判定为追加对象。为了追加于停车位线检测部112检测到的停车位线，停车位线判定部115将该跟踪对象的线的跟踪信息作为停车位线数据124登记于存储部120。据此，即使跟踪对象的线被其他车辆v1等遮盖而不能被检测的情况时，通过将该跟踪对象的线作为停车位线，能够适当地实施停车框检测。与此相比，当不满足条件的情况时，停车位线判定部115判定为非追加对象，并不登记于停车位线数据124。
·在这次的检测时刻(以下，称为“该循环”。)中跟踪对象的线(跟踪信息)未被检测为停车位线。
通过满足该条件，从而能够避免显示在俯视图像G上的(即，可见而没有遮盖)作为停车位线而检测到的线与跟踪对象的线重复。
·作为跟踪对象的线的检测次数必须在预定次数(例如，1回)以上。
通过满足该条件，能够避免将立体物的边缘检测为跟踪对象的线的错误检测。
·跟踪对象的线的长度(正边缘的线段以及负边缘的线段)必须在预定长度(例如，30[pixel]≒90[cm])以上。
通过满足该条件，能够仅将适合作为停车位线的线追加登记为停车位线。
上述(1)～(3)的描述中提到的长度、角度、距离差、车速等的值(阈值)仅作为示例，不限于这些值。可根据图像分辨率、要停放的车辆的类型(小型车，普通车，大型车)、停车位线的宽度、形状(单线，U字，T字，十字等)等来设定适当的值。如果这些作为参数数据122被登记于存储部120并可更新，则能够根据停车位线的状態和跟踪目的来执行更佳适当的处理。
停车框设定部116基于作为停车位线数据124登记在存储部120的各一对停车位线的正边缘的线段以及负边缘的线段推定停车框，并设定在俯视图像G上。也就是说，停车框设定部116从多个一对的正边缘的线段以及负边缘的线段的当中选择能够构成停车空间的相邻的两条边缘的线段。在此选择的两条边缘的线段是构成分隔停车空间的一对的停车位线的左右两端的线。
而且，停车框设定部116基于各边缘的端点的坐标值计计算选择的两个边缘的线的距离(相邻的停车位线的内部尺寸)，并判定被计算的距离是否在预定范围内。该距离在预定的停车空间宽度±阈值的范围内时，将由两个边缘的线划分的区域检测为停车空间。作为停车空间宽度，用于普通机动车或小型货车的停车空间期望在2m～3m。作为用于大型货车或公共汽车的停车空间期望在3.3m以上。
停车框设定部116将设定的停车框的信息，即，将构成停车框的相互面对的正边缘的线段的端点和负边缘的线段的端点的坐标值作为停车框的起点或者终点的坐标值作为停车框登记数据121登记于存储部120。此时，至少登记停车框的两个起点的坐标值，就能够尽量减轻存储量，并且能够确定停车框，但是也可以登记四个坐标值。此外，能够将停车位线K的角度(延在方向)以及其他自动停车处理所需的信息追加于停车框登记数据121。
此外，停车框设定部116能够实施判定能否在设定的停车框中停放车辆V的判定处理等。例如，当在停车空间存在其他车辆v1和障碍物等时，判定为不能停车，并且能够不作为停车框登记数据121登记于存储部120。此外，停车框设定部116可将靠近车辆V的停车框或者易于停放的停车框判定为能够停车的停车框(能够停放的停车框)，并且能够作为停车框登记数据121存储于存储部120。
车速获取单元117从车辆控制ECU40获取车辆V的车速。车辆控制ECU40例如是从轮速传感器32输入的车轮速变换为车速，发送至车速获取单元117。或者，车速获取单元117可以从车辆控制EC U40获取车轮速，并将该车轮速变换为车速。另外，车速的获取方法不限于本实施例，传感器也不限于轮速传感器32。可以通过除此之外的已知的适当的方法和传感器等获取车速。
倾斜停车框判定部118对由停车框设定部116设定的多个停车框进行是否为倾斜停车框的判定。该判定在相对于车辆V的停车框的边缘的延伸的角度例如在45±5[deg](相对角度)的范围内的情况时，判定为倾斜停车框。或者，连续设定多个停车框，并对各停车框之间的相对角度、正边缘的线段的起点和负边缘的线段的起点的位置等进行比较，当与预定范围内匹配时，判定这些多个停车框为倾斜停车框(倾斜停车框群)。这些是示例，可以通过其他方法判定倾斜停车框。
如果通过倾斜停车框判定部118未判定为倾斜停车框的情况时，由于可能是错误检测，因此不作为停车框来登记。或者，基于停车框的宽度、长度、角度，判定为大致垂直于车辆V延伸的並列停车框或者大致平行于车辆V延伸的纵向排列停车框。
显示控制部119将用于显示在显示器31上的图像的显示控制信号发送至导航装置30，并控制显示器31。具体而言，显示控制部119发送显示控制信号，该显示控制信号用于将由照相机20摄像的车辆V周边的路面图像或者基于合成这些的信号的俯视图像G显示在显示器31。此外，还能够发送显示控制信号，显示控制信号用于将表示由停车框设定部116选择为显示对象的停车框的停车框图像(例如，在图7中由虚线表示停车框A1、A2等)与路面图像或者俯视图像G重叠并显示。
另外，在车辆V行进中每当由照相机20拍摄图像并更新时执行：由线提取单元111的线提取的处理；由停车位线检测部112的停车位线检测处理；由跟踪判定部113的跟踪判定处理；由比较单元114的比较处理；由停车位线判定部115的停车位线判定处理；由停车框设定部116的停车框设定处理；由倾斜停车框判定部118的倾斜停车框判定处理；以及由显示控制部119的表示控制处理。因此，即使由于诸如阴影等或者其他车辆v1、v2等的立体物的遮盖而未检测到停车位线，如果过去已经检测并作为跟踪信息登记，则追加于停车位线，并能够适当地设定停车框。
存储部120具有诸如硬盘驱动器等的大容量存储媒介或ROM、R AM等的半导体存储媒介等的存储媒介。在存储部120临时或者非临时地存储有用于实施控制部110的各种操作时的各种数据。
此外，如上所述，存储部120非临时地登记有停车框登记数据121和参数数据122。停车框登记数据121由车辆控制ECU40等参考。作为参数数据122能够登记阈值、停车位线的基准长度、停车空间宽度以及其阈值等。此外，能够登记图像处理装置100使用的诸如停车位线的宽度以及延伸的方向的角度等的各种参数。此外，根据使用停车辅助装置1的国家、地区、停车空间(停车框)的形状和大小等，来登记多个参数，能够构成选择适当的参数。
此外，在存储部120的临时存储部123中临时等级有停车位线数据124和跟踪信息数据125。如上所述，在停车位线数据124中，针对每个检测到的停车位线登记停车位线的正边缘的线段和负边缘的线段的各自的起点和终点的位置(坐标值)。在跟踪信息数据125中，针对每个检测到的跟踪对象的线登记跟踪对象的线的正边缘的线段和负边缘的线段的各自的起点和终点的位置(坐标值)以及被检测为线的检测次数。
(图像处理装置的操作)
接下来，参照图4A、图4B的流程图，对本实施方式的图像处理装置100的操作的示例进行说明。
图4A、图4B用于说明图像处理装置100的操作的流程图。当驾驶员操作未图示的自动停车开始按钮并输入自动停车开始的指令而开始这些图的流程图所示的操作。
在步骤S1中，图像处理装置100的控制部110获取由照相机20摄像的车辆V周围的路面R的图像信号。
在步骤S2中，基于由步骤S1获取的图像信号，控制部110生成合成这些图像信号的信号。在步骤S2中合成并生成的信号是用于将就好像是在车辆V的上方设置的照相机朝向正下方摄像的方式的图像(参照图6等的“俯视图像G”。)显示在导航装置30的显示器31的信号。生成用于显示这样俯视图像的信号的技术是已知的，作为示例，已知有如日本特开平3－99952号公报或特开2003－118522号公报所公开的技术。显示控制部119将用于在显示器31上显示俯视图像G的显示控制信号发送至导航装置30。据此，驾驶员能够在显示器31上视觉上确认俯视图像G。
另外，在步骤S2中，不实施用于显示俯视图像G的信号合成作业，或者能够在下一个步骤S3中提取正边缘和负边缘后，在步骤S2中实施信号合成作业。但是，通过实施完信号合成作业后实施步骤S3的处理，能够减轻图像处理装置100的处理负担。
在步骤S3(边缘检测工序)中，如上所述，线提取单元111沿预定方向扫描在步骤S2中合成的俯视图像G，并基于包含图像信号的亮度，提取图像中的正边缘以及负边缘。
在图6等所示的例中，线提取单元111朝向X轴正方向扫描俯视图像G，并检测图像中的正(+)边缘以及负(－)边缘。另外，在X轴的负方向上扫描像素的情况时，正边缘和负边缘反转。此外，线提取单元111可以检测基于包含图像信号的颜色的参数(例如，RGB，RGBA等)的信息的正边缘和负边缘。在此情况下，基于预定的颜色的尺寸(灰度)的变化来检测这些。
此外，线提取单元111基于上述的基准长度对检测到的正边缘以及负边缘进行滤波。据此，在路面上的光的反射或者灰尘和污物等引起的凌杂的短的边缘被丢弃。该滤波能够在实施完下一个步骤S4中提取一对之后实施，通过在提取一对之前实施并排出凌杂，能够加快图像处理速度。
在接下来的步骤S4(线提取工序)中，线提取单元111以预定间隔且预定的角度提取相邻的正边缘的线段和负边缘的线段，判定为构成线的边缘的一对。另一方面，找不到该一对的边缘的线段被作为凌杂丢弃。
在接下来的步骤S5(停车位线检测工序)中，停车位线检测部112对在步骤S4中检测的多个边缘的一对是否为构成停车位线的边缘的一对进行判定。停车位线检测部112将判定为一对的正边缘的线段和负边缘的线的各自的起点以及终点的位置(坐标值)作为停车位线数据124登记于存储部120的临时存储部123。
接下来，按照顺序实施步骤S6～S8的处理，但是这些处理能够在实施完步骤S5的处理之后实施，也能够与步骤S5的处理並行实施。
参照图4B(a)，对步骤S6(线的跟踪判定工序)的细节进行说明。如该图4B(a)所示，在线的跟踪判定工序中，跟踪判定部113执行步骤S21～S25的线的跟踪判定的循环处理。当对在步骤S4中提取的所有的线进行完了处理的判定时，该步骤S21～S25的处理结束。
在步骤S21中，跟踪判定部113选择一个要处理(处理对象)的线，在步骤S22中，判定是否满足在上述(1)所示的条件。在满足条件的情况时，跟踪判定部113将该线判定为跟踪对象(步骤S23的判定为YES(是))，进入步骤S24。在不满足条件的情况下，跟踪判定部113将该线判定为非跟踪对象(步骤S23的判定为NO(否))，跳过步骤S24进入步骤S25。
在步骤S24中，跟踪判定部113将判定为跟踪对象的线的信息(正边缘的线段和负边缘的线段的各自的起点和终点的坐标值)作为跟踪信息数据125登记于存储部120的临时存储部123。之后，进入步骤S25。
在步骤S25中，跟踪判定部113判定是否存在下一个要处理的线。当存在要处理的线的情况时，返回步骤S21，选择下一个线，实施步骤S22之后的处理。当不存在要处理的线的情况时，结束循环，返回图4A，进入步骤S7。
参照图4B(b)，对步骤S7(相似度，匹配度判定工序)的细节进行说明。如图4B(b)所示，在相似度、匹配度的判定工序(比较工序)当中，比较单元114执行步骤S31～S38的相似度、匹配度判定的循环处理。步骤S31～S38的处理在判定对步骤S6中提取的所有的跟踪对象的线进行处理完后结束。
在步骤S31中，比较单元114选取一个处理对象的跟踪对象的线，在步骤S32(相似度判定工序)中，判定该跟踪对象的线是否满足上述(2)所列举的相似度的条件。如果满足条件的情况时，比较单元114判定为相似(步骤S33的判定为YES(是))，并进入步骤S34。如果不满足条件的情况时，比较单元114判定为不相似(步骤S33判定为NO(否))，跳过步骤S34～步骤S37，进入步骤S38。
在步骤S34中，判定车辆V是否在移动或者停车，比较单元114对是否满足车速＞0km/h进行判定。比较单元114判定为满足车速＞0km/h(步骤S34的判定为YES(是))，即判定为车辆V在移动时，程序进入步骤S35。比较单元114判定为不满足车速＞0km/h(步骤S34的判定がNO(否))，即判定为车辆V在停止时，不实施匹配度的判定，跳过步骤S35～步骤S37，进入步骤S38。
在步骤S35(匹配度的判定工序)中，比较单元114判定该线是否满足上述(2)所举的匹配度的条件。如果满足条件的情况时，比较单元114判定为匹配(步骤S36的判定为YES(是))，并进入步骤S37。如果不满足条件的情况时，比较单元114判定为不匹配(步骤S36的判定为NO(否))，跳过步骤S37，进入步骤S38。
在步骤S37中，比较单元114将判定为相似度且匹配度的跟踪对象的线的检测次数进行计数并更新跟踪信息数据125，进入步骤S38。
在步骤S38中，比较单元114判定是否存在需要下一个处理的跟踪对象的线。比较单元114判定为存在需要处理的跟踪对象的线的情况时，返回步骤S31，选择下一个跟踪对象的线，进行步骤S32以后的处理。比较单元114判定为不存在需要处理的跟踪对象的线的情况时，结束循环，返回图4A，进入步骤S8。
参照图4B(c)，对步骤S8(跟踪信息的追加判定工序)的细节进行说明。如图4B(c)所示，在跟踪信息的追加判定工序(停车位线判定工序)中，停车位线判定部115执行步骤S41～S46的跟踪信息的追加判定循环处理。在登记于临时存储部123的跟踪信息数据125对所有的跟踪对象的线进行处理完后结束步骤S41～S45的处理。
在步骤S41中，停车位线判定部115从临时存储部123获取处理对象的一个跟踪对象的线的跟踪信息数据125，在步骤S42(追加判定工序)中，判定该跟踪对象的线是否作为停车位线的追加对象。具体而言，停车位线判定部115判定是否满足上述(3)所举的条件，当满足条件的情况时，判定该线为追加对象(步骤S43的判定为YES(是))，进入步骤S44。当不满足条件的情况时，停车位线判定部115判定该线为非追加对象(步骤S43的判定为NO(否))，不作为停车位线来追加，跳过步骤S44，进入步骤S45。
在步骤S44中，停车位线判定部115将跟踪对象的线的跟踪信息(正边缘的线段和负边缘的线段的各自的起点和终点的坐标值)作为停车位线数据124追加登记于存储部120。
在步骤S45中，停车位线判定部115判定是否有下一个要处理的跟踪对象的线。停车位线判定部115判定存在要处理的跟踪对象的线的情况时，返回步骤S41，选择下一个跟踪对象的线，并实施步骤S42以后的处理。停车位线判定部115判定为不存在要处理的跟踪对象的线的情况时，结束循环，返回图4A，进入步骤S9。
在步骤S9(停车框设定工序)中，停车框设定部116基于登记在临时存储部123的停车位线数据124，通过上所述的步骤检测停车框以及停车空间。在临时存储部123中，在步骤S5中由停车位线检测部112检测并登记的停车位线数据124和在步骤S8中由停车位线判定部115追加登记的停车位线数据124被登记。因此，停车框设定部116除了在该循环中检测到停车位线之外，虽然在该循环中由于阴影等而没有被检测到，但是可以基于从过去检测到的跟踪对象的线追加登记的停车位线，能够适当设定停车框。停车框设定部116将设定的停车框的信息(停车框的4个端点的坐标值)临时存储于临时存储部123等。
在接下来的步骤S10(倾斜停车框的判定工序)中，倾斜停车框判定部118通过上述方法判定在步骤S9设定的停车框是否为倾斜停车框。接下来，进入步骤S11，停车框设定部116将在步骤S9设定的停车框(停车空间)的信息作为停车框登记数据121登记于存储部120。具体而言，停车框设定部116将构成停车框并相对的正边缘的线段的端点和负边缘的线段的端点的坐标值作为停车框的起点或者终点的坐标值登记于存储部120。此时，在步骤S10中判定为倾斜停车框的情况时，停车框设定部116将倾斜停车框的信息(例如，角度等)追加登记于停车框登记数据121。此外，多个停车框中，在判定为仅一部分不是倾斜停车框的情况时，由于存在没有被适当地检测为倾斜停车框的可能，因此停车框设定部116不登记该停车框。
除此之外，能够将自动停车处理所需要的信息添加于停车框登记数据121。此外，显示控制部119可以将用于将停车框的图像与俯视图像G重叠并显示的控制信号发送向导航装置30。据此，驾驶员能够在显示器31中视觉确认停车框，并能够适当地确定停车目标。此外，例如，被其他车辆等遮盖而使驾驶员不能够直接视觉识别的停车框也显示在俯视图像G上，能够作为停车目标来设定等，因此能够提高停车辅助性能。
参照图6～图9，对以上的图像处理装置的操作进行具体地说明。首先，在图6所示的检测时刻中，通过步骤S1、S2的处理，基于由来自照相机20的图像信号合成的信号，在显示器31显示俯视图像G。通过实施接下来的步骤S3～S5的处理，检测出由正边缘的线段Ep1和负边缘的线段Em1的一对(以下，简称“边缘Ep1和Em1的一对”等。)构成的停车位线K1和，由边缘Ep3和Em3的一对构成的停车位线K3。与此相比，由于停车位线K2的一部分被其他车辆v1遮盖，因此不会被检测为停车位线。
然后，通过步骤S6的处理，与停车位线K1和停车位线K3相同的线被判定为跟踪对象的线，并作为跟踪信息数据125存储于临时存储部123。虽然进入步骤S7的相似度、匹配度的判定，但是由于停车位线K1和停车位线K3被检测为停车位线并作为跟踪对象的线被提取，因此判定为具有相似度、匹配度，检测次数计数为1次。此外，虽然进入步骤S8的跟踪信息的追加判定，但是由于停车位线K1和停车位线K3在该循环中已经被检测出，因此成为非追加对象，不作为停车位线追加登记。因此，能够防止重复登记。但是，由于停车位线K2没有被检测出，因此在下一个步骤S9中没有检测停车框A1和A2，在步骤S10中也没有被判定为倾斜停车框，在步骤S11中也不实施停车框的登记。
通过车辆V的移动，在图7所示的俯视图像G被取得的检测时刻中，检测出由边缘Ep2以及Em2的一对构成的停车位线K2和由边缘E p3以及Em3的一对构成的停车位线K3。此外，这些被判定为跟踪对象的线，并作为跟踪信息数据125存储于临时存储部123。另一方面，被其他车辆v1遮挡的停车位线K1不会被检测为停车位线，并不被判定为跟踪对象的线。在步骤S7的相似度、匹配度判定中，与停车位线K2和停车位线K3相同的跟踪对象的线被判定为相似度、匹配度，并计数检测次数(停车位线K2为1次，K3为2次)。关于停车位线K1，由于在该循环中不会被检测，因此没有相似度、匹配度，不计数检测次数(保持1次的状态)。
在接下来的步骤S8的追加判定中，停车位线K1在该循环中未检测为停车位线，且，检测次数大于或等于预定值(1次)。因此，对应停车位线K1的跟踪对象的线作为停车位线K1追加登记于临时存储部123。另一方面，停车位线K2、K3在该循环中，被检测为停车位线，因此对应这些的跟踪对象的线成为非登记对象。所以，能够防止重复登记。因此，即使在该循环中停车位线K1未被检测，也被追加于停车位线，在步骤S9中基于停车位线K1、K2、K3，被设定为停车框A1、A2。
类似地，在图8所示的检测时刻中，分别由边缘Ep1和Em1，Ep2和Em2，Ep3和Em3的一对构成的停车位线K1、K2、K3被检测为停车位线，且被判定为跟踪对象的线。另一方面，由于停车位线K4被其他车辆v2遮盖，因此不被检测为停车位线，不被判定为跟踪对象的线。此外，停车位线K1和停车位线K2的检测次数被计数为2次，停车位线K3的检测次数被计数为3次。此外，由于在该循环中检测了停车位线K1、K2、K3，不追加登记为停车位线。因此，基于停车位线K1、K2、K3，被设定为停车框A1、A2。
此外，车辆V进一步移动，在图9所示的检测时刻当中，分别由边缘Ep2和Em2，Ep4和Em4，Ep5和Em5的一对构成的停车位线K2、K4、K5被检测为停车位线，且被判定为跟踪对象的线。另一方面，停车位线K3被其他车辆v2遮盖，不被检测为停车位线，也不被判定为跟踪对象的线。由于停车位线K1、K3在该循环中未被检测，因此没有相似度、匹配度，不计数检测次数。在接下来的追加判定中，由于停车位线K1、K3在该循环中未被检测，且，检测次数大于或等于预定值，因此追加登记于停车位线。另一方面，停车位线K2、K4、K5被检测为停车位线，被判定为跟踪对象的线，并具有相似度、匹配度，计数检测次数，但是由于在该循环中被检测为停车位线，因此成为非追加对象。因此，基于停车位线K2、K3、K4、K5，设定停车框A2、A3、A4。另外，虽然停车位线K1从俯视图像G上消失，但是由于作为停车位线被追加登记，因此在程序上在停车位线K1和K2之间也设定停车框A1。
(图像处理装置的效果)
由如上构成的本实施方式的图像处理装置100中，线提取单元111基于来自在预定时刻拍摄车辆V的周围的照相机20输出的图像信号的俯视图像G提取线。停车位线检测部112基于由线提取单元111提取的线检测停车位线K。跟踪判定部113对由线提取单元111提取的线进行是否具备预定条件的判定。比较单元114对在跟踪判定部113被判定为具备预定条件的线和在使用线提取单元111从基于过去的预定时刻拍摄的图像信号的俯视图像G提取的线的相似度以及匹配度进行比较。停车位线判定部115基于在比较单元114的比较结果，将相似度以及匹配度大于或等于预定值的线判定为停车位线。停车框设定部116使用在停车位线判定部115中判定为停车位线的线来设定停车框。
因此，由于阴影、光反射、其他停放的车辆，障碍物的存在等的影响，使在一部分检测时刻不检测或错误检测成为一对的停车位线，从而即使存在不被判定为构成停车框的停车位线K的线，也可以通过将该线作为跟踪对象的线存储于存储部120并进行跟踪(追踪)，并利用该跟踪对象的线，能够适当地检测以往不能够检测到的停车框。其结果是，能够提供一种图像处理装置100以及图像处理方法，使其能够高精度地实施停车位线K以及停车框的检测。
此外，通过具备该图像处理装置100或者图像处理方法，能够提供能够实施高精度的停车框的检测的停车辅助装置以及停车辅助方法。
此外，在本实施方式中，具备获取车辆V的车速的车速获取单元117。在由车速获取单元117取得的车速小于或者等于预定值的情况时，比较单元114不实施匹配度的判定。据此，能够高精度且高速地实施跟踪信息的判定。其结果是，能够更加高精度且高速地实施停车位线以及停车框的检测。
此外，在本实施方式中具备倾斜停车框判定部118，其判定由停车框设定部116设定的停车框是否为倾斜停车框。据此，检测倾斜停车框，并且能够更加顺畅地实施向倾斜停车框的停车辅助。此外，在本实施方式中，由于通过跟踪线，能够检测被阴影和障碍物等遮挡的停车位线，并高精度地实施停车位线以及停车框的检测，因此倾斜停车框判定部118实施倾斜停车框的判定时的使用信息量增多。因此，能够提高倾斜停车框的判定精度。
此外，在本实施方式中具备显示控制部119，其实施控制，使得表示由停车框设定部116设定的停车框的停车框图像与俯视图像G重叠并显示在显示器31。据此，驾驶员能够在视觉上识别显示器31上的停车框，能够实施更加流畅的停车辅助。
此外，在本实施方式中，线提取单元111沿预定方向扫描俯视图像G，并检测出包含于图像信号的亮度或者颜色的参数变化大于阈值的像素，并将大于或等于预定长度的检测到的上述像素的排列的长度的部分作为边缘来检测，基于边缘提取所述线。据此，能够更加高精度地检测停车位线和跟踪对象的线。
以上，参见附图，详细描述了本发明的实施方式，但是具体的构成不限于本实施方式以及实施例，并且不脱离本发明的主旨范围的设计变更也包含于本发明。
例如，在上述实施方式的图像处理装置100中，基于图像的亮度和颜色的参数(例如，RGB，RGBA等)的信息的变化的尺寸以及变化的方向(正方向或负方向)来检测边缘，但是不限于此，可以基于包含于图像信号的其他信息的变化的尺寸以及变化的方向来检测边缘。
此外，在上述的实施方式的图像处理装置100中，假设了在停车场P设置有倾斜停车框的情况，但是停车框不限于倾斜停车框。通过适当变更参数数据122的停车位线的角度、停车框的宽度等，能够适用相对于车辆V略垂直延伸的並列停车框或者相对于车辆V略平行延伸的纵向排列的停车框，因此即使在这些停车框被阴影等遮盖的情况时，也能够抑制不检测或者错误检测，并能够高精度地检测停车框。
[符号的说明]
20 照相机(摄像装置) 20a 前方照相机(摄像装置)
20b 后方照相机(摄像装置) 20c 左侧方照相机(摄像装置)
20d 右侧方照相机(摄像装置) 31 显示器(表示部)
100 图像处理装置 111 线提取单元
112 停车位线检测部 113 跟踪判定部
114 比较单元 115 停车位线判定部
116 停车框设定部 117 车速获取单元
118 倾斜停车框判定部 119 显示控制部
K 停车位线 G 俯视图像(图像)
V 车辆。

Claims (6)

1.一种图像处理装置（100），其特征在于，包括：
线提取单元（111），其从基于图像信号的图像（G）提取线，该图像信号从在预定时刻拍摄车辆（V）周围的摄像装置（20）输出；
跟踪判定部，其对由所述线提取单元（111）提取的所述线是否具备预定条件进行判定；
比较单元，其对由所述跟踪判定部（113）判定为具备所述预定条件的所述线和使用所述线提取单元（111）从基于过去的预定时刻摄像的图像信号的图像（G）中提取的跟踪对象线进行比较；
停车位线判定部（115），其将被判定为与所述跟踪对象线相似且匹配的所述线判定为停车位线；
停车框设定部（116），其使用由所述停车位线判定部（115）判定为停车位线的线设定停车框，
所述停车框设定部除了所述停车位线之外还基于过去检测到的跟踪对象的所述线来设定所述停车框，
所述预定条件包括：所述线的长度为预定的长度以上；所述线的角度为预定的角度范围内；基于正边缘的线段以及负边缘的线段计算的所述线的宽度为预定的宽度以内；以及，正边缘的线段以及负边缘的线段的角度差为预定的角度差以内，
在所述比较单元中，被判定为具备所述预定条件的所述线在所述线的正边缘的线段和所述跟踪对象线的正边缘的线段的角度差以及所述线的负边缘的线段和所述跟踪对象线的负边缘的线段的角度差为第一预定角度差以内、并且、所述线的所述正边缘的所述线段的起点和所述跟踪对象线的所述正边缘的所述线段的起点的距离差、所述线的所述正边缘的所述线段的终点和所述跟踪对象线的所述正边缘的所述线段的终点的距离差、所述线的所述负边缘的所述线段的起点和所述跟踪对象线的所述负边缘的所述线段的起点的距离差以及所述线的所述负边缘的所述线段的终点和所述跟踪对象线的所述负边缘的所述线段的终点的距离差为第一预定角度差以内时被判定为与所述跟踪对象线相似，
在所述比较单元中，被判定为具备所述预定条件的所述线在所述线的所述正边缘的所述线段和所述跟踪对象线的所述正边缘的所述线段的所述角度差以及所述线的所述负边缘的所述线段和所述跟踪对象线的所述负边缘的所述线段的所述角度差为第二预定角度差以内、并且、所述线的所述正边缘的所述线段的所述起点和所述跟踪对象线的所述正边缘的所述线段的所述起点的距离差、所述线的所述负边缘的所述线段的所述终点和所述跟踪对象线的所述负边缘的所述线段的所述终点的距离差、所述线的所述负边缘的所述线段的所述起点和所述跟踪对象线的所述负边缘的所述线段的所述起点的距离差以及所述线的所述负边缘的所述线段的所述终点和所述跟踪对象线的所述负边缘的所述线段的所述终点的距离差为第二预定角度差以内时被判定为与所述跟踪对象线匹配。
2.根据权利要求1所述的图像处理装置（100），其中，
包括获取所述车辆（V）的车速的车速获取单元（117），当所述车速获取单元获取的所述车速小于或等于预定值的情况时，所述比较单元（114）不进行匹配的判定。
3.根据权利要求1或２所述的图像处理装置（100），其中，
包括倾斜停车框判定部（118），所述倾斜停车框判定部通过相对于所述车辆（Ｖ）的所述停车框的边缘是否为预定的角度范围内或者判定连续设定多个所述停车框来判定所述停车框设定部（116）所设定的所述停车框是否为倾斜停车框。
4.根据权利要求1或２所述的图像处理装置（100），其中，
包括显示控制部（119），所述显示控制部控制表示部（31）使得表示由所述停车框设定部（116）设定的所述停车框的停车框图像与所述图像（G）重叠并显示。
5.根据权利要求1或２所述的图像处理装置（100），其中，
所述线提取单元（111）沿预定方向扫描所述图像（G），在对相邻的像素进行比较时对包含于所述摄像装置（20）所输出的所述图像信号的亮度或者颜色的参数变化大于阈值的像素进行检测，并将检测到的所述像素的排列的长度大于或等于预定长度的部分检测为边缘，提取由所述边缘构成的所述线。
6.一种图像处理方法，其特征在于，包括以下工序：
线提取工序，从基于在预定时刻拍摄车辆（V）周围的摄像装置（20）输出的图像信号的图像中提取线；
跟踪判定工序，对所述线提取工序提取的所述线是否具备预定条件进行判定；
比较工序，对在所述跟踪判定工序被判定为具备所述预定条件的所述线和使用所述线提取工序从基于过去的预定时刻摄像的图像信号的图像（G）中提取的跟踪对象线进行比较；
停车位线判定工序，将被判定为与所述跟踪对象线相似且匹配的所述线判定为停车位线；
停车框设定工序，使用在所述停车位线判定工序中被判定为停车位线的所述线设定停车框，
所述停车框设定工序除了所述停车位线之外还基于过去检测到的跟踪对象的所述线来设定所述停车框，
所述预定条件包括：所述线的长度为预定的长度以上；所述线的角度为预定的角度范围内；基于正边缘的线段以及负边缘的线段计算的所述线的宽度为预定的宽度以内；以及，正边缘的线段以及负边缘的线段的角度差为预定的角度差以内，
在所述比较工序中，被判定为具备所述预定条件的所述线在所述线的正边缘的线段和所述跟踪对象线的正边缘的线段的角度差以及所述线的负边缘的线段和所述跟踪对象线的负边缘的线段的角度差为第一预定角度差以内、并且、所述线的所述正边缘的所述线段的起点和所述跟踪对象线的所述正边缘的所述线段的起点的距离差、所述线的所述正边缘的所述线段的终点和所述跟踪对象线的所述正边缘的所述线段的终点的距离差、所述线的所述负边缘的所述线段的起点和所述跟踪对象线的所述负边缘的所述线段的起点的距离差以及所述线的所述负边缘的所述线段的终点和所述跟踪对象线的所述负边缘的所述线段的终点的距离差为第一预定角度差以内时被判定为与所述跟踪对象线相似，
在所述比较工序中，被判定为具备所述预定条件的所述线在所述线的所述正边缘的所述线段和所述跟踪对象线的所述正边缘的所述线段的所述角度差以及所述线的所述负边缘的所述线段和所述跟踪对象线的所述负边缘的所述线段的所述角度差为第二预定角度差以内、并且、所述线的所述正边缘的所述线段的所述起点和所述跟踪对象线的所述正边缘的所述线段的所述起点的距离差、所述线的所述负边缘的所述线段的所述终点和所述跟踪对象线的所述负边缘的所述线段的所述终点的距离差、所述线的所述负边缘的所述线段的所述起点和所述跟踪对象线的所述负边缘的所述线段的所述起点的距离差以及所述线的所述负边缘的所述线段的所述终点和所述跟踪对象线的所述负边缘的所述线段的所述终点的距离差为第二预定角度差以内时被判定为与所述跟踪对象线匹配。
CN202110198808.5A 2020-02-27 2021-02-22 图像处理装置及图像处理方法 Active CN113313935B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-031993 2020-02-27
JP2020031993 2020-02-27

Publications (2)

Publication Number Publication Date
CN113313935A CN113313935A (zh) 2021-08-27
CN113313935B true CN113313935B (zh) 2023-03-24

Family

ID=74844717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110198808.5A Active CN113313935B (zh) 2020-02-27 2021-02-22 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US11657624B2 (zh)
EP (1) EP3872697B1 (zh)
JP (1) JP7482054B2 (zh)
CN (1) CN113313935B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019211618A1 (de) * 2019-08-02 2021-02-04 Hyundai Motor Company Verfahren und Sitzsteuerungssystem zur automatischen lateralen Umpositionierung eines Kindersitzes auf einem Rücksitz eines Kraftfahrzeugs
US20230031425A1 (en) * 2021-08-02 2023-02-02 DUS Operating Inc, Methodology to estimate slot line direction for parking slot detection
CN118043246A (zh) * 2021-09-29 2024-05-14 株式会社爱信 出库辅助系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JP3943363B2 (ja) 2001-10-18 2007-07-11 クラリオン株式会社 駐車支援装置
DE10216346A1 (de) * 2002-04-13 2003-10-23 Valeo Schalter & Sensoren Gmbh Einparkhilfesystem für Fahrzeuge und Verfahren
JP3977368B2 (ja) * 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
KR100974704B1 (ko) * 2007-04-30 2010-08-06 현대자동차주식회사 자동차의 주차 안내 방법
JP5182545B2 (ja) * 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP6045888B2 (ja) 2012-11-27 2016-12-14 クラリオン株式会社 車載画像処理装置
JP5921715B2 (ja) 2012-11-27 2016-05-24 クラリオン株式会社 車載画像処理装置
US9378425B2 (en) 2012-11-27 2016-06-28 Clarion Co., Ltd. On-vehicle image processing device
JP5981322B2 (ja) 2012-11-27 2016-08-31 クラリオン株式会社 車載画像処理装置
WO2014083827A1 (ja) 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置
KR101449295B1 (ko) 2013-06-04 2014-10-13 현대자동차주식회사 주차구획 추적 장치 및 방법
JP2016016681A (ja) 2014-07-04 2016-02-01 クラリオン株式会社 駐車枠認識装置
JP6248836B2 (ja) 2014-07-10 2017-12-20 株式会社デンソー 運転支援装置
CN105160322B (zh) * 2015-09-07 2018-07-24 北京航空航天大学 基于航拍图像的室外停车场空置停车位识别方法
JP6768275B2 (ja) 2015-09-11 2020-10-14 クラリオン株式会社 車両用駐車区画認識装置
CN106897655A (zh) 2015-12-18 2017-06-27 富士通株式会社 停车位的检测装置、方法以及图像处理设备
CN106373426B (zh) * 2016-09-29 2019-02-12 成都通甲优博科技有限责任公司 基于计算机视觉的停车位及违规占道停车监控方法
JP6677141B2 (ja) * 2016-11-10 2020-04-08 株式会社デンソー 駐車枠認識装置
JP6852556B2 (ja) 2017-05-16 2021-03-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像表示システム、俯瞰映像生成方法およびプログラム
JP2019137182A (ja) 2018-02-08 2019-08-22 株式会社デンソー 検出装置
JP6923746B2 (ja) * 2018-03-30 2021-08-25 日立Astemo株式会社 駐車支援装置
CN109544979A (zh) * 2018-12-28 2019-03-29 北汽福田汽车股份有限公司 停车场及其停车位管理方法与装置

Also Published As

Publication number Publication date
US11657624B2 (en) 2023-05-23
EP3872697A1 (en) 2021-09-01
CN113313935A (zh) 2021-08-27
EP3872697B1 (en) 2023-08-30
JP2021136687A (ja) 2021-09-13
JP7482054B2 (ja) 2024-05-13
US20210271903A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
CN113313935B (zh) 图像处理装置及图像处理方法
CN111563405B (zh) 图像处理装置和图像处理方法
JP3695319B2 (ja) 車両周辺モニタ装置
EP3290301B1 (en) Parking assist device
CN111824129B (zh) 图像处理装置及图像处理方法
EP3708466B1 (en) Parking assistance device and parking assistance method
US10926701B2 (en) Parking assistance method and parking assistance device
CN113212352B (zh) 图像处理装置以及图像处理方法
US11270452B2 (en) Image processing device and image processing method
US20210402987A1 (en) Image processor and image processing method
US11967158B2 (en) Image processor and image processing method
JP6496619B2 (ja) 車両用駐車支援装置
CN113327201A (zh) 图像处理装置及图像处理方法
JP7446851B2 (ja) 画像処理装置及び画像処理方法
JP7446830B2 (ja) 画像処理装置及び画像処理方法
JP7453008B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant