CN113657141A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN113657141A
CN113657141A CN202110513120.1A CN202110513120A CN113657141A CN 113657141 A CN113657141 A CN 113657141A CN 202110513120 A CN202110513120 A CN 202110513120A CN 113657141 A CN113657141 A CN 113657141A
Authority
CN
China
Prior art keywords
parking frame
parking
edge
line
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110513120.1A
Other languages
English (en)
Inventor
金子贵之
羽下阳亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faurecia Clarion Electronics Co Ltd filed Critical Faurecia Clarion Electronics Co Ltd
Publication of CN113657141A publication Critical patent/CN113657141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种能够根据泊车框的属性适当地检测泊车框的图像处理装置以及图像处理方法。图像处理装置(100)具备：标志线检测部(112)，其根据基于对车辆的周围进行拍摄的相机(20)获取到的图像信号的俯瞰图像来检测标志线；泊车框检测部(113)，其基于检测到的标志线，检测泊车框；泊车框内扫描部(115)，其将构成检测出的泊车框的标志线的相对的一对边的一方的端点相互连结的一方的线段以及另一方的端点相互连结的另一方的线段分别以规定比率分割而获取分割点，以通过所获取的一方以及另一方的分割点的方式扫描俯瞰图像来检测边缘；以及判断部(115)，其基于检测到的边缘的状态，判断泊车框的属性。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及基于从对车辆的周围进行拍摄的摄像装置输出的图像信 号来估计泊车框的图像处理装置以及图像处理方法。
背景技术
在将车辆泊车于规定的泊车区域时，自动地检测作为泊车目标的泊车 框，进行车辆的泊车辅助的泊车辅助装置被实用化(例如，参照专利文献 1)。在该专利文献1所公开的技术中，基于由摄像部拍摄到的拍摄图像等 来检测泊车框，并能够执行与检测到的泊车框的形状等特性相应的泊车辅 助。
在先技术文献
专利文献
专利文献1：日本特开2017-21747号公报
发明内容
(发明要解决的课题)
然而，在泊车框中，除了谁都能够泊车的一般的泊车框以外，还有禁 止车辆的进入或驻泊车的泊车禁止区域、轮椅使用者等优先使用的优先泊 车框、用于电动汽车进行充电的电动汽车用泊车框等各种种类。因此，期 望进行与这样的泊车框的种类(属性)对应的适当的泊车辅助。然而，在 现有技术中，没有公开考虑这样的泊车框的属性等来检测泊车框的内容。
因此，本发明的目的在于提供一种能够根据泊车框的属性适当地检测 泊车框的图像处理装置以及图像处理方法。
(用于解决课题的技术方案)
为了实现上述目的，本发明的图像处理装置的特征在于，具备：标志 线检测部，其使用基于拍摄车辆的周围的摄像装置获取到的图像信号的图 像来检测标志线；泊车框检测部，其使用检测到的所述标志线检测泊车框； 泊车框内扫描部，针对构成上述泊车框的上述标志线的相对的一对边的每 一个边，获取以规定的比例分割的分割点，以通过所获取的所述分割点的 方式扫描所述图像来检测边缘；存储部，其对应地存储有边缘的状态和泊车框的属性；以及判断部，其使用检测出的所述边缘的状态、以及与所述 存储部中存储的所述边缘的状态对应的所述泊车框的属性，判断所述泊车 框的属性。
本发明的图像处理方法的特征在于，包括：标志线检测工序，使用基 于拍摄车辆的周围的摄像装置获取到的图像信号的图像来检测标志线；泊 车框检测工序，使用检测到的所述标志线检测泊车框；泊车框内扫描工序， 针对构成所述泊车框的标志线的相对的一对边的每一个，获取以规定的比 例分割的分割点，以通过获取的所述分割点的方式扫描所述图像来检测边 缘；存储工序，将边缘的状态和泊车框的属性对应地存储于存储部；以及判断工序，使用检测出的所述边缘的状态、以及与所述存储部中存储的所 述边缘的状态对应的所述泊车框的属性，判断所述泊车框的属性。
(发明效果)
在这样构成的本发明的图像处理装置中，泊车框内扫描部扫描由泊车 框检测部检测出的泊车框内来检测边缘。使用检测出的边缘的状态和与存 储于存储部的边缘的状态对应的泊车框的属性，由判断部判断泊车框的属 性。因此，能够根据泊车框的属性适当地检测泊车框。
附图说明
图1是表示应用本发明的实施方式的图像处理装置的泊车辅助装置的 概略结构的框图。
图2是表示作为实施方式的泊车辅助装置的摄像装置的配置位置的一 例的图。
图3是表示作为实施方式的图像处理装置的概略结构的功能框图。
图4是用于说明作为实施方式的图像处理装置的动作的一例的流程图。
图5是用于说明作为实施方式的图像处理装置的动作的一例的图，表 示车辆和在泊车场的路面上描绘的标志线以及泊车禁止标记的一个例子。
图6是用于说明作为实施方式的图像处理装置的动作的一例的图，是 示意性地表示在俯瞰图像中检测出的边缘的线段的图。
图7A是用于说明作为实施方式的图像处理装置的动作的一例的图， 是示意性地表示在俯瞰图像中检测出的泊车框的图。
图7B是用于说明作为实施方式的图像处理装置的动作的一例的图， 是示意性地表示在俯瞰图像上重叠了泊车框图标和泊车禁止图标的状态 的图。
图8是用于说明作为实施方式的图像处理装置的动作的一例的图， (a)～(c)分别是表示第一～第三泊车禁止标记的具体例的图。
图9是用于说明作为实施方式的图像处理装置的动作的一例的图，是 用于说明基于泊车框扫描部的泊车框的扫描顺序的图。
图10是用于说明作为实施方式的图像处理装置的动作的一例的图， 是用于说明判断部的泊车禁止标记的判断步骤的图。
图11是用于说明作为实施方式的图像处理装置的动作的一例的图， 是用于说明参数数据的数据结构的说明图。
图12是设置有属性及状态不同的泊车框的泊车场的例子，(a)表示 纵列泊车用且设置有优先泊车框的泊车场的一例，(b)表示纵列泊车用且 设置有电动汽车用泊车框的泊车场的一例，(c)表示并排泊车用气人设置 有泊车禁止区域、优先泊车框的泊车场的一例，(d)表示并列并倾斜泊车 且设置有泊车禁止区域、优先泊车框的泊车场的一例。
具体实施方式
(泊车辅助装置的概略结构)
以下，基于附图对本发明的实施方式进行说明。图1是表示应用本发 明的实施方式的图像处理装置的泊车辅助装置的概略结构的框图。图2是 表示泊车辅助装置的摄像装置的配置位置的一例的图。
如图1所示，泊车辅助装置1搭载于车辆V(参照图2)，进行泊车辅 助动作。具体而言，泊车辅助装置1识别该车辆V能够泊车的泊车框。然 后，泊车辅助装置1控制该车辆V以使车辆V停在识别出的泊车框。
如图2所示，在车辆V的前后左右具备多个小型摄像机(摄像装置)。 具体而言，在车辆V的前保险杠或前格栅，朝向车辆V的前方安装有前 方摄像机20a。在车辆V的后保险杠或后装饰件上，朝向车辆V的后方安 装有后方摄像机20b。在车辆V的左车门后视镜中，朝向车辆V的左侧方 安装有左侧方摄像机20c。在车辆V的右车门后视镜中，朝向车辆V的右 侧方安装有右侧方摄像机20d。
在前方摄像机20a、后方摄像机20b、左侧摄像机20c、右侧摄像机20d 分别安装有能够观测大范围的广角镜头、鱼眼镜头，能够利用4台摄像机 20a～20d无遗漏地观测车辆V的周围的包含路面的区域。通过这些摄像 机20a～20d构成拍摄车辆V的周围的状况(在本实施方式中为车辆V的 周围的路面R)的摄像装置。另外，在以下的说明中，在不区分各个摄像 机(摄像装置)20a～20d而进行说明的情况下，仅作为摄像机20进行说 明。
返回图1，泊车辅助装置1具有前方摄像机20a、后方摄像机20b、左 侧摄像机20c、右侧摄像机20d、摄像机ECU21、导航装置30、车轮速度 传感器32以及转向角传感器33。
摄像机ECU21以由CPU(Central Processing Unit：中央处理器)、ROM (Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随 机存取存储器)、闪存等构成的微型计算机为主体而构成。摄像机ECU21 控制摄像机20，并且使用摄像机20检测到的信息，进行俯瞰图像的生成 处理、检测泊车框的检测处理、判断检测出的泊车框的属性、或判断是否能够将车辆V泊车于检测出的泊车框的判断处理等。
导航装置(显示装置)30具有具有图像显示功能的监视器31。导航装 置30具有存储有路径引导用的地图数据等的存储部。导航装置30基于由 该地图数据等以及省略图示的GPS装置等检测出的车辆V的当前位置， 进行到导航装置30的操作者所设定的目标地点为止的路径引导。路径引 导动作中的各种图像显示于监视器31。
车轮速度传感器32是检测车辆V的车轮速度的传感器。由车轮速度 传感器32检测到的检测信息(车轮速度)被输入到车辆控制ECU40。
转向角传感器33检测车辆V的转向的转向角。将车辆V以直行状态 行驶时的转向角作为中立位置(0度)，将从该中立位置起的旋转角度作为 转向角输出。由转向角传感器33检测到的检测信息(转向角)被输入到车 辆控制ECU40。
此外，泊车辅助装置1具有车辆控制ECU40、转向控制单元50、节 气门控制单元60以及制动控制单元70。
车辆控制ECU40以由CPU(Central Processing Unit：中央处理单元)、 ROM(ReadOnly Memory：只读存储器)、RAM(Random Access Memory： 随机存取存储器)、闪存等构成的微型计算机为主体而构成。车辆控制 ECU40基于从摄像机ECU21、车轮速度传感器32以及转向角传感器33 输入的各检测信息，执行辅助车辆V的泊车的各种处理。
即，例如当驾驶员对省略图示的自动泊车开始开关进行开启操作而使 泊车辅助装置1工作时，车辆控制ECU40执行自动泊车处理，该自动泊 车处理使车辆V自动地泊车于由摄像机ECU21判断为可泊车的泊车框、 或基于摄像机ECU21所检测出的泊车框及其属性而车辆控制ECU40判断 为能够泊车的泊车框。
转向控制单元50基于由车辆控制ECU40决定的车辆控制信息，驱动 动力转向促动器51，控制车辆V的转向角。
节气门控制单元60基于由车辆控制ECU40决定的车辆控制信息来驱 动节气门促动器61，从而控制车辆V的节气门。
制动控制单元70基于由车辆控制ECU40决定的车辆控制信息，驱动 制动促动器71，控制车辆V的制动。
另外，摄像机ECU21、车轮速度传感器32以及转向角传感器33与车 辆控制ECU40之间通过作为车内LAN(Local Area Network：局域网)的 传感器信息CAN(Controller AreaNetwork：控制器域网)80连接(“CAN” 为注册商标)。
另外，转向控制单元50、节气门控制单元60以及制动控制单元70与 车辆控制ECU40之间通过作为车内LAN的车辆信息CAN81连接。
在具有以上结构的泊车辅助装置1中，本实施方式的图像处理装置 100包括摄像机ECU21。
(图像处理装置的功能配置)
图3是表示作为本实施方式的图像处理装置100的概略结构的功能框 图。作为本实施方式的图像处理装置100具有控制部110以及存储部120。 控制部110主要由摄像机ECU21的CPU构成，存储部120主要由摄像机 ECU21的ROM、RAM、闪存等构成。
控制部110进行图像处理装置100整体的控制。此外，控制部110为 了使车辆控制ECU40执行基于由后述的泊车框检测部113检测出的泊车 框、由泊车框内扫描部114以及判断部115检测出的泊车框的属性，使该 车辆V自动地泊车于判断为能够将车辆V泊车的泊车框的自动泊车处理， 对该车辆控制ECU40送出自动泊车处理所需的信息(泊车空间、泊车框的位置信息、属性、形状等)。
车辆控制ECU40基于从控制部110提供的信息，进而基于车轮速度 传感器32以及转向角传感器33(在图3中图示为传感器)检测到的检测 信息，对动力转向促动器51、节气门促动器61以及制动促动器71(在图 3中图示为促动器)进行驱动控制。
控制部110具有以CPU、FPGA等可编程逻辑器件、ASIC等集成电 路为代表的运算元件。
在存储部120中储存(存储)有泊车框登记数据121、参数数据122、 条件数据123。泊车框登记数据121是检测出的泊车框的位置信息、属性、 其他信息。参数数据122是图像处理装置100使用的各种参数。条件数据 123是与用于判断边缘的状态的条件相关的信息，是使边缘的状态与泊车 框的属性对应的信息。
如图11所示，参数数据122包含搜索参数表122a、以及存储在状态 判断参数表122b中的数据。在搜索参数表122a中预先存储有在泊车框内 的扫描时使用的参数t1～t3。t1是边缘检测时的亮度差的阈值，t2是由正 边缘和负边缘构成的线宽的最小值，t3是线宽的最大值。
在状态判断参数表122b中，预先存储有基于边缘的状态判断泊车框 的属性时使用的参数s1～s6。s1是第一泊车禁止标记的线宽差的允许范 围，s2是在第一泊车区禁止标记的搜索线上检测到的线的条数，s3是在第 二泊车禁止标记的搜索线上检测出的线的条数，s4是在第二、第三泊车禁 止标记的搜索线上检测出的线的条数。s5是第一泊车禁止标记的线间隔的 最小值，s6是第二、第三泊车禁止标记的线间隔差的允许范围。在本实施 方式中，这些参数s1～s6存储有适合于纵列泊车用的泊车框的数值，但能 够根据泊车框的泊车方式设定适当的数值。例如，在泊车方式为并排泊车 或倾斜泊车的情况下，能够存储适合于并列泊车框、倾斜泊车框描绘的标 记的边缘的状态的数值。另外，也可以对这些多个泊车方式的每一个存储 参数s1～s6。
除此之外，在存储部120中，作为参数数据122，也可以以能够变更 的方式存储在标志线的边缘的扫描时使用的亮度或颜色的参数的阈值、标 志线的基准长度、泊车空间宽度及其阈值等。并且，也可以将标志线的宽 度、延伸方向的角度等图像处理装置100使用的各种参数以能够变更的方 式存储。另外，也可以构成为，与使用泊车辅助装置1的国家、地域、泊 车空间(泊车框)的形状、大小等对应地存储多个参数，选择适当的参数。
如图11所示，条件数据123包括存储在条件数据表123a中的数据。 在条件数据表123a中，按标记的种类设定与多个条件(线宽差ΔL、线的 条数N、线间隔差ΔW等)有关的条件式。需要说明的是，这些条件式也 可以不作为条件数据123而存储于存储部120，而组装于程序。在图11的 例子中，在条件数据表123a中设定有第一泊车禁止标记、第二泊车禁止标记、第三泊车禁止标记的条件式，但并不限定于这些。也可以预先存储 其他标记(例如，优先泊车标记、充电器引导标记等)的条件式。用于条 件式的参数使用参数数据122的状态判断参数表122b的各参数s1～s6。 因此，不变更条件数据表123a的条件式，仅根据泊车框的状态适当地变 更状态判断参数表122b，就能够将本实施方式的图像处理装置100应用于任意的标记，并且也能够应用于任意的泊车方式的泊车框及其属性的检测。
另外，在存储部120中存储有省略图示的控制用程序。该控制用程序 在图像处理装置100启动时由控制部110执行，图像处理装置100具备图 3所示的功能结构。特别是，本实施方式的图像处理装置100如后述那样 进行高速的图像处理，因此优选具有能够高速运算的运算元件、例如FPGA 等。
如该图3所示，控制部110具有边缘检测部111、标志线检测部112、 泊车框检测部113、泊车框内扫描部114、判断部115、泊车框登记部116 以及显示控制部117。
边缘检测部111基于从拍摄车辆V的周围的路面R的摄像机20输出 的图像信号，通过边缘检测来检测在泊车场P等的路面R上描绘的标志线 200的边缘。这里所说的标志线200主要是作为划分设置于路面R上的泊 车区域的边界线(直线)而描绘的线。在图5中示出了车辆V和描绘在该 车辆V想要进行泊车的泊车场P的路面R上的标志线200的一例。标志线200之间是表示泊车空间的泊车框201。在图5的例子中，标志线200 是表示纵列泊车用的泊车框201的线。另外，在图5中还描绘了表示是泊 车禁止区域的第一泊车禁止标记300。
另外，图6是示意性地表示对由摄像机20拍摄到的图像信号进行合 成而生成的俯瞰图像G、以及从该俯瞰图像G检测出的边缘的图。图6所 示的俯瞰图像G是基于由摄像机20a～20d拍摄到的图像信号，分别将车 辆V变换为从正上方俯视的俯瞰图像g1、g2、g3、g4，进而合成各俯瞰图 像g1～g4而生成的图像。在俯瞰图像G的中心部分显示有表示从正上方俯视车辆V的状态的图标I。
标志线200一般用白线表示，但也存在用白线以外的例如黄色线等白 色以外的颜色的线描绘的情况。因此，由边缘检测部111检测出边缘的标 志线200并不限定于“白线”，一般只要将在与路面R之间具有对比度的边 界线检测为标志线200即可。
边缘检测部111对图像沿规定方向进行扫描(scan)，检测图像信号中 包含的亮度值或颜色的参数信息(例如RGB、RGBA等)比阈值更大变化 的像素，将检测出的像素的排列成为规定以上的长度的部分作为边缘进行 检测。这里所说的扫描是指，朝向规定方向一个一个地选择像素，在相邻 的像素间对亮度或颜色的参数进行比较。根据亮度或颜色的参数的变化的 方向(倾向)，检测出的边缘为正边缘或负边缘。
另外，优选将扫描的方向设定为与描绘在路面R上的标志线200正交 的方向。即，如图5所示，在标志线200在与车辆V的行进方向(参照图 5的箭头)正交的方向上延伸时，优选在俯瞰图像G(参照图6)上沿着车 辆V的行进方向进行扫描。与此相对，在标志线200沿着车辆V的行进 方向延伸时，优选在俯瞰图像G上在与行进方向正交的方向上进行扫描。 一般地，标志线200延伸的方向是未知的，因此边缘检测部111优选在俯 瞰图像G上分别沿着车辆V的行进方向以及与其正交的方向分成2次进 行扫描。
在基于亮度值提取边缘的情况下，边缘检测部111将从亮度低且暗的 像素(例如黑色像素)变化为具有比阈值大的差而亮度高且明亮的像素(例 如白色像素)的边缘、即相邻的像素的亮度差在正方向上大于规定值的边 缘，作为正边缘(也称为“上升边缘”)。该正边缘的检测表示将扫描位置从 路面R的像切换为被估计为标志线200的像的位置。
另外，边缘检测部111检测从亮度高且明亮的像素变化为具有比阈值 大的差而亮度低的暗的像素的边缘、即相邻的像素的亮度差在负方向上大 于规定值的边缘，作为负边缘(也称为“下降边缘”)。该负边缘的检测表示 从扫描位置被估计为标志线200的像的位置切换为路面R的像。
与此相对，在基于颜色的参数提取边缘的情况下，比较路面R的像的 颜色的参数和标志线200的像的颜色的参数。边缘检测部111将在颜色的 参数的值变大的方向上变化(向负方向变化)的像素的排列作为负边缘进 行检测，将在颜色的参数的值变小的方向上变化(向正方向变化)的像素 的排列作为正边缘进行检测。另外，在标志线200的图像的亮度比路面R 的图像低(或者颜色的参数大)的情况下，亮度值、颜色的参数的变化反 转。在任一情况下，在标志线200的像中，在其两侧缘检测到正边缘和负 边缘，因此能够进行后述的对的提取。
通过反复进行多线(行)的上述扫描，提取由在与扫描方向交叉的方 向上连续的正边缘构成的线段(像素列)作为正边缘的线段。进而，提取 由连续的负边缘构成的线段(像素列)作为负边缘的线段。
在图6的例子中，将俯瞰图像G中的沿着车辆V的行驶方向的方向 即与标志线200的延伸方向正交的方向(图6的纸面上下方向)设为X轴， 将标志线200的延伸方向(图5的纸面左右方向)设为Y轴。边缘检测部 111在与车辆V的行驶方向正交的方向即X轴正方向(图中的从下向上) 扫描俯瞰图像G，检测正边缘以及负边缘。另外，在从图中的上到下、即 在X轴负方向上扫描像素的情况下，正边缘和负边缘反转。另外，也可以 基于图像信号所包含的颜色的参数(例如RGB、RGBA等)的信息来检测 正边缘、负边缘。在该情况下，基于规定的颜色的大小(灰度)的变化来 检测这些。
标志线检测部112基于边缘检测部111检测出的边缘来检测标志线。 更详细而言，标志线检测部112针对检测出的正边缘的线段以及负边缘的 线段，提取具有预先决定的基准长度以上的长度且沿预先确定的方向(角 度)延伸的正边缘的线段以及负边缘的线段。与此相对，不提取比基准长 度短的边缘、沿垂直方向以外延伸的边缘的线段。由此，去除路面R上的 光的反射、灰尘、污垢等引起的噪声的边缘。
例如，如图5所示，在划分纵列泊车用的泊车框的标志线200的情况 下，基准长度可以为车辆V的车宽部分(例如2～3m)的长度。另外，在 划分并排泊车用的泊车框的标志线200的情况下，能够设为车辆V的车长 量(例如5m)的长度。此外，根据摄像机20的拍摄范围、拍摄状况，基 准长度也可以设为比车长、车宽短的长度。角度是考虑了车辆V的行驶方 向、拍摄了图像的摄像机20的朝向等的角度。在图5的情况下，标志线 200是相对于行驶方向朝向泊车空间大致直角地延伸的直线，因此角度＝ 90°±阈值。
标志线检测部112计算提取出的多个正边缘的线段和负边缘的线段各 自的起点和终点的位置信息(坐标值)，基于该位置信息，提取以规定间隔 相邻的正边缘的线段和负边缘的线段，判断为构成标志线的边缘的对。例 如，在正边缘与负边缘的距离在标志线的线宽±阈值的范围内时，将它们 判断为对。
在图6的俯瞰图像G上示意性地示出提取出的基准长度以上且以规 定的角度延伸的正边缘的线段Ep(粗实线)和负边缘的线段Em(粗虚线)。 在该图6的例子中，在标志线200的像(以下，称为“标志线像”)K(K1～ K4)的两侧缘部分，分别提取了正边缘的线段Ep和负边缘的线段Em的 对(Ep1和Em1、Ep2和Em2、Ep3和Em3以及Ep4和Em4)。换言之， 由这些边缘的线段的对构成的线被检测为标志线像K1～K4。
泊车框检测部113基于由标志线检测部112检测出的构成标志线像K (K1～K4)的边缘的对，在俯瞰图像G上检测泊车框(泊车空间)。首先， 泊车框检测部113从多个对的正边缘的线段Ep和负边缘的线段Em中， 选择有可能构成泊车空间的相面对的2条边缘(正边缘和负边缘)的线段。 在此选择的2条边缘的线段是构成分隔泊车空间的一对标志线像K的两 侧缘的线。
然后，泊车框检测部113基于各边缘的端点的坐标值计算所选择的2 条边缘的线的距离(相邻的标志线像K的内部尺寸)，并判断计算出的距 离是否在规定范围内。如果该距离在规定的泊车空间宽度±阈值的范围内， 则将由2条边缘的线分隔的区域检测为泊车空间，将包围该泊车空间的框 作为泊车框。作为泊车空间宽度，如果是纵列泊车用且普通汽车、小型货 车用的泊车空间，则优选2m～3m，如果是大型货车或公共汽车用的泊车 空间，则优选10m以上。另外，如果是并排泊车用且普通汽车或小型货车 用的泊车空间，则优选2m～3m，如果是大型货车或公共汽车用的泊车空 间，则优选3.3m以上。
泊车框检测部113将检测到的泊车框的泊车框信息暂时储存(存储) 到临时存储部124中。作为泊车框信息，优选为泊车框的位置信息，例如， 构成泊车框的相对的正边缘的线段Ep和负边缘的线段Em中的至少各自 的起点的坐标值，更优选各自的起点和终点的坐标值，但并不限定于这些。
如图7A的假想线所示，在俯瞰图像G中，在标志线像K2与K3之 间检测出泊车框p1，进而在标志线像K3与K4之间的泊车禁止区域也检 测出泊车框q1。这样，当检测到泊车禁止区域作为泊车框q1时，获取了 该泊车框登记数据121的车辆控制ECU40有时将泊车框q1用于泊车辅 助。
为了避免这种情况，本实施方式的图像处理装置100判断检测出的各 泊车框p1、q1的属性(泊车框、泊车禁止区域等)。即，泊车框内扫描部 114对泊车框内进行扫描来检测边缘，判断部115基于检测到的边缘的状 态，判断泊车框的属性(种类)。
作为泊车框的属性，例如可列举出泊车框、泊车禁止区域、优先泊车 框、电动汽车用泊车框等，但并不限定于这些。泊车框是任意的车辆V(即， 谁都能够)能够利用的泊车框。该泊车框例如如图5的泊车框201那样， 是在由标志线200、包括标志线200的矩形的框分隔的区域(泊车空间) 内没有特殊的标记(泊车框的编号等以外的标记)的显示(涂料)的泊车 框。泊车禁止区域是禁止车辆V的驻泊车、侵入的区域，显示(涂料)有 规定的泊车禁止标记(例如，图5的第一泊车禁止标记300等)。
优先泊车框(有时也称为“障碍者用泊车框”等)是轮椅使用者、身体 的不自由的人、孕妇、老年人等优先泊车的泊车框，显示规定的优先泊车 标记(例如，也称为图12的优先泊车标记330、“障碍者标记”等)。除此 之外，作为优先泊车框，还可以举出显示有用于使轻型汽车优先泊车的轻 机动车优先标记的轻机动车用泊车框、显示有用于使货车优先泊车的货车 优先标记的货车用泊车框等。电动汽车用泊车框是为了电动汽车充电而泊 车的泊车框，显示有表示充电器的所在位置的充电器引导标记(例如图12 的充电器引导标记340)。
在本实施方式中，判断部115判断是泊车禁止区域还是能够泊车的泊 车框作为属性。即，能够泊车的泊车框在不区分任一个车辆V都能够泊车 的泊车框、优先泊车框、电动汽车用泊车框的情况下，仅判断为“泊车框”。
在图8(a)～图8(c)中示出泊车禁止标记的具体例。这些图中所示 的第一～第三泊车禁止标记300、300A、300B由具有以包围泊车禁止区域 的方式设置的2条短边301和2条长边302的矩形状的划分部303、以及 设置在该划分部303内的具有斜线304的斜线部305构成。图8(a)所示 的第一泊车禁止标记300的斜线部305由交叉成所谓的叉(×)状的2条 斜线304构成。图8(b)所示的第二泊车禁止标记300A的斜线部305由 平行配置的多个斜线304构成。图8(c)所示的第三泊车禁止标记300B 的斜线部305由配置成锯齿状(W状)的多个斜线304构成。
在这样的泊车禁止标记300～300B中，在纵列泊车的情况下，2条短 边301作为标志线200发挥作用，在并排泊车的情况下，2条长边302作 为标志线200发挥作用。另外，泊车禁止标记并不限定于这些例子，只要 是用于禁止车辆V的侵入、驻泊车的标记，也可以是其他任意的标记。另 外，在图8(a)～图8(c)的各例中，划分部303为具有2条短边301以 及2条长边302的矩形状，但并不限定于该形状。例如，也存在划分部303 仅由2条短边301构成的情况、仅由2条长边302构成的情况。
以下，对本实施方式中的泊车框内扫描部114以及判断部115的处理 的详细情况进行说明。泊车框内扫描部114为了扫描泊车框内，首先设定 扫描(scan)的线(以下，称为“搜索线”)。参照图9对该搜索线的设定顺 序进行说明。图9表示扫描显示有第一泊车禁止标记的泊车框(泊车禁止 区域)的例子。如该图9所示，泊车框内扫描部114将构成泊车框的相对 的2条标志线像K的相对的边即正边缘的线段Ep和负边缘的线段Em分 别设为一方的线段L1以及另一方的线段L2。泊车框内扫描部114针对一 方以及另一方的线段L1、L2分别获取以规定的比例分割的分割点。在图 9的例子中，泊车框内扫描部114以25％(1/4)的比例对一方以及另一方 的线段L1、L2进行分割，获取位于距线段L1、L2的各端点d1～d4为25％ 的位置的4个分割点，将它们作为搜索点D1～D4。然后，泊车框内扫描 部114计算这些搜索点D1～D4在俯瞰图像G上的位置坐标。
另外，在本实施方式中，将分割时的比例设为25％，但并不限定于此， 能够根据泊车框的矩形的纵横比、泊车禁止标记的种类、摄像机20的拍 摄范围、分辨率等来适当地设定。另外，也可以将该比率作为参数数据122 而变更自如地储存在存储部120中。
而且，泊车框内扫描部114将在与标志线像K交叉的方向上相对的一 方的搜索点D1和D2、另一方的搜索点D3和D4相互连结，设定搜索线 TL1、TL2。在此，将搜索点D1、D3侧作为开始扫描的“起点”，将搜索点 D2、D4侧作为结束扫描的“终点”。另外，虽然也可以将搜索线的条数设 为1条，但通过设为多条而扫描多处，即使在标记的线上有模糊或影子等， 也能够提高边缘的状态的检测精度。并且，如本实施方式那样，通过将搜 索线TL1、TL2的条数设为2条，能够实现边缘的状态的检测精度的提高， 并且能够进行运算效率、鲁棒性优异的边缘的检测。
接着，泊车框内扫描部114沿着设定的搜索线TL1、TL2，从起点朝 向终点扫描(scan)图像，检测出正边缘和负边缘。此时，将相邻的像素 的亮度(或颜色的参数)在正方向上比阈值大变化的部分检测为正边缘， 将相邻的像素的亮度(或颜色的参数)在负方向上比阈值大变化的部分检 测为负边缘。
该阈值在存储部120中作为参数t1存储在参数数据122的搜索参数 表122a中。在本实施方式中，存储有亮度差的阈值的参数t1＝90[pix]，但 并不限定于该数值或亮度差。在图9中，示出了搜索线TL1的扫描图像和 通过扫描检测出的正边缘(+边缘)和负边缘(-边缘)的图像。正边缘和 负边缘之间被估计为标记的线。
接着，泊车框内扫描部114针对检测出的正边缘以及负边缘部分，判 断正边缘与负边缘之间的距离、即被推测为标记的部分的线宽是否作为表 示标记的线而在允许范围内。泊车框内扫描部114在判断为线宽在允许范 围内的情况下，将它们作为有效的边缘，如果在允许范围外，则丢弃这些。 允许范围是从保存在搜索参数表122a中的参数t2到t3之间。在本实施方 式中，设定了t2＝5[pix]、t3＝23[pix]。通过将线宽的允许范围设为5～23[pix]，能够与标记的线宽、形状、俯瞰图像G的失真等无关地适当地检 测标记部分。另外，参数t2、t3并不限定于这些数值，能够适当地设定。
判断部115判断泊车框内扫描部114检测出的正边缘以及负边缘的状 态是否满足条件数据表123a的条件式。参照图9、图10的说明图以及图 11的参数数据的数据结构，对判断步骤的具体例进行说明。
在边缘的状态满足下述条件式(参照图11)的情况下，判断部115判 断为泊车框的属性是显示了第一泊车禁止标记300的泊车禁止区域(参照 图10(a))。
·线宽差ΔL是否是允许范围(ΔL≥s1(6[pix]))。
·线的条数N是否是规定条数(N＝s2(2[条]))。
·线间隔W是否超过最小线间隔(W＞s5(38[pix]))。
线宽差ΔL是在搜索线上检测出的相邻的线彼此的线宽L的差。如图 9所示，线宽L是正边缘与负边缘之间的距离。在图10(a)中，将检测 出的线用四边形包围而示出，但线宽差ΔL例如是第一线的线宽L与第二 线的线宽L之差。线的条数N是在搜索线上检测出的线(斜线)的数量， 如图10(a)所示，在第一泊车禁止标记300的情况下，在搜索线TL1、 TL2上分别检测2个。如图10(a)中箭头所示，线间隔W是相邻的线彼 此的间隔(更具体而言是一方的线的负边缘与另一方的线的正边缘的间 隔)。
在边缘的状态满足下述条件式的情况下，判断部115判断为泊车框的 属性是显示了第二泊车禁止标记300A的泊车禁止区域(参照图10(b))。
·线的条数N是否是规定条数(N＝s2(3[条])或N＝s3(4[条]))。
·线间隔差ΔW是否是允许范围(ΔW＜s6(3[pix]))。
由于第二泊车禁止标记300A具有多个平行的斜线304，因此在搜索 线TL1、TL2上检测的线是多条(3或者4条)。由于斜线304的线间隔大 致为等间隔，因此在搜索线TL1、TL2上检测的线的线间隔W1也大致为 等间隔，线间隔差ΔW也小(小于3[pix])。
在边缘的状态满足下述条件式的情况下，判断部115判断为泊车框的 属性是显示了第三泊车禁止标记300B的泊车禁止区域(参照图10(c))。
·线的条数N是否是规定条数(N＝s4(4[条]))。
·线间隔差ΔW是否是允许范围(ΔW≥s6(3[pix]))。
第二泊车禁止标记300A具有以锯齿状(W状)配置的多个斜线304， 因此在搜索线TL1、TL2上检测的线是多条(4条)。在图像中的搜索线 TL1、TL2上，交替地检测出宽的线间隔W1和窄的线间隔W2，因此相邻 的线间隔彼此的差ΔW比第二泊车禁止标记300A的情况大(3[pix]以上)。
并且，在不满足条件数据表123a的任一条件的情况下，判断部115将 该泊车框的属性判断为是能够泊车车辆V的“泊车框”。因此，与泊车禁止 标记300等不同的标记(例如，优先泊车标记等)的线不满足上述条件， 因此具有该标记的泊车框被判断为“泊车框”。当然，也可以在条件数据表 123a中存储优先泊车标记等其他标记的条件，判断部115判断是否满足这 些条件，并根据判断结果判断泊车框的属性(优先泊车框、电动汽车用泊 车框等)。
在泊车框的属性为“泊车禁止区域”的情况下，判断部115从存储部120 删除泊车框检测部113临时存储于临时存储部124的泊车框信息。另外， 并不限定于该删除处理，作为其他不同的实施方式，除了在存储部120的 泊车框登记数据121的存储区域中存储位置信息等的区域以外，还可以设 置标志区域。而且，判断部115也可以在判断为该泊车框是能够泊车的泊 车框时，将标志区域保持为初始状态(标志关闭)，在判断为该泊车框是泊 车禁止区域时，将标志设为开启。
泊车框登记部116将临时存储在临时存储部124中的泊车框信息作为 泊车框登记数据121登记到存储部120中。存储在该存储部120中的泊车 框登记数据121被发送到车辆控制ECU40，用于泊车辅助。与此相对，由 于在泊车禁止区域中检测出的泊车框信息从临时存储部124中被删除，所 以不存储在存储部120的泊车框登记数据121的存储区域中。因此，能够 抑制车辆控制ECU40将泊车禁止区域识别为泊车框。
另外，在判断部115不删除泊车禁止区域的泊车框信息而将标志区域 的标志设为开启的方式的情况下，泊车框登记部116将参照标志区域而标 志为关闭的泊车框、即能够泊车车辆V的泊车框信息作为泊车框登记数据 121而存储于存储部120。与此相对，在标志为开启的泊车框、即在泊车禁 止区域中检测出的泊车框的情况下，泊车框登记部116不将该泊车框的泊 车框登记数据121存储在存储部120中。另外，作为其他不同的实施方式， 泊车框登记部116也可以登记能够泊车的泊车框和泊车禁止区域的泊车框 这两者的泊车框信息，此时将各泊车框的属性包含在泊车框登记数据121 中并存储在存储部120中。
显示控制部117将用于使监视器31显示图像的显示控制信号送出到 导航装置30，控制监视器31。具体而言，发送用于使监视器31显示由摄 像机20拍摄到的车辆V周边的路面图像或者将它们合成后的俯瞰图像G 的显示控制信号。另外，显示控制部117也可以发送用于使表示由判断部 115判断为泊车框的泊车框的标识符与路面图像或俯瞰图像G重叠显示的 显示控制信号。并且，显示控制部117也可以发送用于使表示泊车禁止区 域的标识符与路面图像或者俯瞰图像G重叠显示的显示控制信号。
图7B示出了在监视器31上显示的俯瞰图像G上重叠了泊车框图标 PI和泊车禁止图标NI作为标识符的例子。通过这些显示，驾驶员能够识 别出泊车辅助装置1检测出泊车框并且识别出泊车禁止区域，对驾驶员赋 予安心感。另外，在本实施方式中，由于删除了泊车禁止区域的泊车框信 息，所以在俯瞰图像G中仅显示泊车框图标PI，不显示泊车禁止图标NI。
(图像处理装置的操作)
接着，按照图4的流程图对本实施方式的图像处理装置100的动作的 一例进行说明。
图4是用于说明图像处理装置100的动作的流程图。图4的流程图所 示的动作通过驾驶员操作省略图示的自动泊车开始开关来进行自动泊车 开始的指示输入而开始。
在步骤S1中，图像处理装置100的控制部110获取由摄像机20拍摄 到的车辆V的周围的图像信号。
在步骤S2中，控制部110基于通过步骤S1获取的图像信号，生成将 这些图像信号合成后的信号。在步骤S2中合成的信号是用于使导航装置 30显示宛如在车辆V的上方设置摄像机而俯视正下方那样的图像(俯瞰 图像G)的信号。生成这样的俯瞰图像的技术是公知的，作为一例，已知 有日本特开平3-99952号公报、日本特开2003-118522号公报所公开的技 术。
另外，也可以在步骤S2中不进行图像合成作业，或者在下一步骤S3 中的正边缘和负边缘的提取之后进行步骤S2中的图像合成作业。然而， 在生成俯瞰图像G之后进行正边缘和负边缘的提取作业的情况下，能够降 低图像处理装置100的处理负担。
在步骤S3(边缘检测工序)中，如上所述，边缘检测部111在规定方 向上扫描在步骤S2中合成的俯瞰图像G，基于图像信号中包含的亮度， 提取图像中的正边缘和负边缘。
在图5所示的例子中，边缘检测部111朝向X轴正方向扫描俯瞰图像 G，检测图像中的正边缘以及负边缘。其结果是，检测到在图6中用粗实 线表示的正边缘的线段Ep(Ep1～Ep4)和用粗虚线表示的负边缘的线段 Em(Em1～Em4)。
在接下来的步骤S4中，边缘检测部111针对在步骤S3中检测出的正 边缘的线段Ep和负边缘的线段Em，如上所述根据基准长度进行滤波。由 此，路面上的光的反射、灰尘、污垢等引起的成为噪声的较短的边缘被废 弃。该滤波也可以在下一步骤S5的对的提取之后进行，但通过在对的提 取之前进行而去除噪声，能够使图像处理高速化。
在接下来的步骤S5(标志线检测工序)中，标志线检测部112从在步 骤S4中检测出的多个边缘的线段中提取相邻的正边缘的线段Ep和负边 缘的线段Em的对。此时，标志线检测部112基于俯瞰图像G计算在路面 上相邻的正边缘的线段Ep和负边缘的线段Em的距离，如果该距离在规 定的线宽±阈值的范围内，则判断为构成标志线的边缘的对。在图6所示的例子中，在Ep1和Em1、Ep2和Em2、Ep3和Em3和Ep4和Em4的对 之间，检测到标志线(标志线像K1～K4)。
在接下来的步骤S6(泊车框检测工序)中，泊车框检测部113基于在 步骤S5中检测出的构成标志线的正边缘的线段Ep和负边缘的线段Em的 对，按照上述那样的顺序检测泊车框以及泊车空间。在图7A所示的例子 中，检测出与实际的泊车框对应的泊车框p1和与泊车禁止区域对应的泊 车框q1。泊车框检测部113将检测到的泊车框的位置信息(边缘的起点和 /或终点的坐标值)作为泊车框信息暂时存储在临时存储部124中。
通过接下来的步骤S7～S14的泊车框循环处理，泊车框内扫描部114 执行对检测到的泊车框内进行扫描来检测边缘的泊车框内扫描工序，判断 部115执行基于边缘的状态来判断泊车框的属性的判断工序。该步骤S7～ S14的处理在判断为对在步骤S6中检测出的所有的泊车框进行了处理的 情况下结束。
首先，在泊车框内扫描工序中，在步骤S8(搜索线设定工序)中，泊 车框内扫描部114如上所述，针对构成处理对象的泊车框的标志线的相对 的正边缘的线段Em和负边缘的线段Ep(线段L1、L2)，分别获取以规定 的比例分割的搜索点(分割点)D1～D4。接着，泊车框内扫描部114将相 向的一方的探索点D1和D2、另一方的探索点D3和D4相互连结，设定 探索线TL1、TL2(参照图9)。
接着，在步骤S9(边缘检测工序)中，泊车框内扫描部114沿着在步 骤S8中设定的搜索线TL1、TL2扫描俯瞰图像G，基于搜索参数表122a 的阈值(t1)、线宽的允许范围(t2～t3)，检测有效的正边缘和负边缘。
在接下来的判断工序中，在步骤S10(边缘的状态比较工序)中，如 上所述，判断部115将在步骤S9中检测出的正边缘以及负边缘的状态与 基于在条件数据表123a中存储的条件数据的边缘的状态进行比较。在步 骤S11中，判断部115基于比较结果判断泊车框的属性。在图7A的例子 中，泊车框p1由于不满足条件而被判断为“泊车框”，泊车框q1被判断为显示了第一泊车区域标记300的“泊车禁止区域”。
在接下来的步骤S12中，判断部115判断泊车框的属性是否为泊车禁 止区域。在判断为是泊车禁止区域时(是)，进入步骤S13，判断部115从 临时存储部124删除该泊车框(在图7A中为泊车框q1)的信息，程序进 入步骤S14。与此相对，在判断为泊车框不是泊车禁止区域时(否)，程序 跳过步骤S13而进入步骤S14。
在步骤S14中，控制部110判断是否存在接下来应该处理的泊车框， 在判断为有泊车框时返回步骤S7，进行针对下一个泊车框的处理。在判断 为没有应处理的泊车框的情况下，结束循环，进入步骤S15。
在步骤S15(泊车框登记工序)中，泊车框登记部116将临时存储部 124中登记的泊车框(泊车空间)的信息登记到存储部120中。具体而言， 泊车框登记部116将构成泊车框的相向的正边缘的线段的端点和负边缘的 线段的端点的坐标值作为泊车框的起点或终点的坐标值，作为泊车框登记 数据121登记到存储部120中。此时，如果登记泊车框的至少2个起点的 坐标值，则既可以尽可能减少存储容量，又能够确定泊车框，但也可以登 记4点的坐标值。在图7A的例子中，仅登记泊车框p1的泊车框信息。另 一方面，在登记泊车框的属性的方式的情况下，泊车框登记部116既可以 将标志信息(即，属性)也包含在泊车框登记数据121中来登记在存储部 120中，也可以将泊车框q1的泊车位信息存储在存储部120中。另外，泊 车框登记部116也可以将标志线200的角度(延伸方向)、其他自动泊车 处理所需的信息添加到泊车框登记数据121中进行登记。
在步骤S16(显示控制工序)中，显示控制部117生成用于使表示登 记于存储部120的泊车框的泊车框图标PI(参照图7B)与俯瞰图像G重 叠显示的显示控制信号。另一方面，在显示表示泊车禁止区域的泊车禁止 图标NI(参照图7B)的方式中，生成还包含泊车禁止图标NI的显示控制 信号。显示控制部117将生成的显示控制信号向导航装置30送出。由此，如图7B所示，将泊车框图标PI(进而，泊车禁止图标NI)重叠于俯瞰图 像G的图像显示于监视器31。
另外，登记在存储部120中的泊车框登记数据121被发送到车辆控制 ECU40，执行辅助车辆V的泊车的各种处理。此时，在将表示泊车禁止区 域的标志信息也包含在泊车框登记数据121中登记的方式的情况下，车辆 控制ECU40通过参照该标志信息，能够进行与属性相应的泊车辅助，例 如将该泊车框从泊车目标去掉或者进行表示泊车禁止的标识符显示等。
(图像处理装置的效果)
在如以上那样构成的本实施方式的图像处理装置100中，标志线检测 部112根据基于拍摄车辆V的周围的摄像装置(摄像机20)获取到的图 像信号的图像(俯瞰图像G)，检测标志线(标志线像K)(标志线检测工 序)。泊车框检测部113基于检测到的标志线，检测泊车框(例如，泊车框 p1、p2)(泊车框检测工序)。泊车框内扫描部114针对构成泊车框的标志线的相对的一对边(一方的线段L1以及另一方的线段L2)的每一个，获 取以规定的比例分割的分割点(搜索点D1～D4)，以通过所获取的分割点 的方式扫描图像来检测边缘(泊车框内扫描工序)。在存储部120中，对应 地存储有边缘的状态和泊车框的属性(存储工序)。然后，判断部115使用 检测出的边缘的状态和与存储于存储部120的边缘的状态对应的泊车框的 属性，判断泊车框的属性(判断工序)。
由此，能够提供能够根据泊车框的属性适当地检测泊车框的图像处理 装置100以及图像处理方法。另外，通过具备该图像处理装置100或者图 像处理方法，能够提供能够进行与泊车框的属性相应的适当的泊车辅助的 泊车辅助装置1以及泊车辅助方法。
另外，在本实施方式中，泊车框内扫描部114将相邻的像素的亮度或 颜色的参数与阈值相比向正方向变化的部分检测为正边缘，将相邻的像素 的亮度或颜色的参数从阈值向负方向变化的部分检测为负边缘。判断部 115将正边缘以及负边缘的状态与针对每个泊车框的属性而预先设定的边 缘的状态进行比较，并基于比较结果来判断属性。由此，图像处理装置100 能够更详细且更适当地判断泊车框的属性。
另外，如果存储部120中存储的边缘的状态和泊车框的属性根据泊车 框的泊车方式(例如，纵列泊车、并排泊车、倾斜泊车等)来设定，则能 够进行与泊车方式相应的适当的属性的判断。另外，在本实施方式中，是 根据属性而显示在泊车框内的标记(例如，泊车禁止标记300～300A)的 基于线的边缘的线的线宽差、条数、线间隔、以及线间隔差的任意一个。 由此，能够更适当地检测描绘在泊车框内的各种标记(例如，泊车禁止标 记、优先泊车标记、充电器引导标记等)，能够扩展属性的变化，并且能够 进行与属性相应的更适当的处理。
另外，如果泊车框的属性是任意的车辆V都能够泊车的泊车框、显示 了泊车禁止标记300～300B的泊车禁止区域、显示了优先泊车标志330的 优先泊车框以及显示了充电器引导标识340的电动汽车用泊车框中的任意 一个，则能够进行适合这些属性的泊车辅助等。例如，如果是泊车禁止区 域，则从泊车目标中排除，如果是优先泊车框，则仅在轮椅使用者等乘车 或驾驶的车辆V的情况下，将该泊车框包含在泊车目标中，如果是电动汽 车用泊车框，则能够仅在车辆V为电动汽车的情况下将该泊车框包含在泊 车目标中。
另外，在上述实施方式的图像处理装置100中，泊车框内扫描部114 针对构成泊车框的标志线的相对的一对边(线段L1、L2)的每一个，获取 多个以规定的比例分割进行分割的分割点(D1～D4)，以通过获取的多个 分割点的方式扫描图像(俯瞰图像G)来检测边缘。由此，即使在标记的 线存在由模糊或影子等引起的中断，也能够高精度地检测边缘的状态，能 够更适当且高精度地进行属性的判断。
另外，本实施方式的图像处理装置100具备以重叠显示图像(俯瞰图 像G)和表示泊车框的属性的标识符(例如，泊车框图标PI、泊车禁止图 标NI)的方式控制显示部(监视器31)的显示控制部117。因此，驾驶员 通过视觉确认监视器31，能够明确地识别泊车框的属性(例如，是能够泊 车的泊车框还是泊车禁止等)。另外，能够将适当地进行了泊车辅助的情况 显示于驾驶员，对驾驶员赋予可靠性、安心感。
以上，参照附图对本发明的实施方式进行了详述，但具体的结构不限 于该实施方式及实施例，不脱离本发明的主旨的程度的设计变更包含在本 发明中。
例如，在上述实施方式中，对纵列泊车框中的能够泊车的泊车框以及 泊车禁止区域的检测的动作进行了说明。与此相对，如上所述，本实施方 式的图像处理装置100也能够应用于泊车禁止区域以外的泊车框的属性的 判断，并且也能够应用于并排泊车或倾斜泊车等纵列泊车以外的泊车方式 的泊车框的属性的判断。图12表示属性及泊车方式不同的泊车框的例子。
图12(a)表示纵列泊车用且设置有优先泊车标志330的优先泊车框 的泊车场的一例。图12(b)表示纵列泊车用且具有描绘有充电器引导标 记340的电动汽车用泊车框的泊车场的一例。另外，图12(c)表示并排 泊车用且具有描绘有第二泊车禁止标记300A的泊车禁止区域、描绘有优 先泊车标记330的优先泊车框的泊车场的一例。图12(d)表示并列且倾斜泊车用且具有描绘有第二泊车禁止标记300A的泊车禁止区域、描绘有 优先泊车标记330的优先泊车框的泊车场的一例。图12(a)～图12(d) 所示的箭头表示泊车框内扫描部114扫描各泊车框时的搜索线和扫描方向。 对搜索线的位置以及条数、通过扫描检测出的边缘的状态进行判断时的条 件等没有特别限定，能够根据泊车框的属性、标记的位置、泊车方式等适 当地设定。
另外，如图12所示，在检测描绘有各种标记的泊车框的情况下，例 如，判断部115在临时存储部124中登记泊车框信息时，在标志区域中设 定与泊车框的属性对应的数据，例如，如果是任意的车辆V都能够泊车的 泊车框，则设定“1”，如果是泊车禁止区域则设定“2”，如果是优先泊车框 则设定“3”，如果是电动汽车用泊车框，则设定“4”等。进而，在泊车禁止 区域的情况下，可以设定区别第一～第三泊车禁止标记300～300B的数值， 在优先泊车框的情况下，也可以设定区分障碍者用泊车框、轻机动车用泊 车框、货车用泊车框的数值。
并且，泊车框登记部116也可以在将泊车框登记数据121登记于存储 部120时，如果泊车框的属性为泊车禁止区域，则不将该泊车框信息登记 于存储部120，或者附加泊车禁止区域的标志信息并存储于存储部120。 另外，在泊车框的属性为优先泊车框或电动汽车用泊车框的情况下，对该 泊车框信息附加与属性对应的标志信息并登记到存储部120中。由此，车 辆控制ECU40能够基于车辆V的状态(普通人驾驶的车辆V、轮椅使用 者等乘车或驾驶的车辆V等)和泊车框的属性，选择作为目标的泊车框， 适当地进行泊车辅助。
另外，在上述实施方式中，基于图像的亮度、颜色的参数(例如RGB、 RGBA等)的信息的变化的大小以及变化的方向(正方向或者负方向)来 检测边缘，但并不限定于这些，也可以基于图像信号所包含的其他信息的 变化的大小以及变化的方向来检测边缘。
(标号说明)
20摄像机(摄像装置) 20a前方摄像机(摄像装置)
20后方摄像机(摄像装置) 20c左侧摄像机(摄像装置)
20右侧摄像机(摄像装置) 100图像处理装置
112标志线检测部 113泊车框检测设定部
114泊车框内扫描部 115判断部
116泊车框登记部 117显示控制部
120存储部 200标志线
D1～D4搜索点(分割点) G俯瞰图像(图像)
L线宽 L1、L2线段(边)
V车辆 W、W1、W2线间隔
ΔL线宽差 ΔW线间隔差。

Claims (10)

1.一种图像处理装置，其特征在于，具备：
标志线检测部，其使用基于拍摄车辆的周围的摄像装置获取到的图像信号的图像来检测标志线；
泊车框检测部，其使用检测到的所述标志线检测泊车框；
泊车框内扫描部，针对构成所述泊车框的所述标志线的相对的一对边的每一个边，获取以规定的比例分割的分割点，以通过所获取的所述分割点的方式扫描所述图像来检测边缘；
存储部，其将边缘的状态与泊车框的属性对应地存储；以及
判断部，其使用检测出的所述边缘的状态、以及与所述存储部中存储的所述边缘的状态对应的所述泊车框的属性，判断所述泊车框的属性。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述存储部中存储的所述边缘的状态和所述泊车框的属性根据所述泊车框的泊车方式来设定。
3.根据权利要求1所述的图像处理装置，其特征在于，
存储于所述存储部的所述边缘的状态是根据所述属性而显示于所述泊车框内的基于标记的线的边缘的线宽差、条数、线间隔以及线间隔差的至少任意一个。
4.根据权利要求2所述的图像处理装置，其特征在于，
存储于所述存储部的所述边缘的状态是根据所述属性而显示于所述泊车框内的基于标记的线的边缘的线宽差、条数、线间隔以及线间隔差的至少任意一个。
5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
所述泊车框的属性是泊车禁止区域、优先泊车框及电动汽车用泊车框中的任意一个。
6.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
所述泊车框内扫描部针对构成所述泊车框的所述标志线的相对的一对边的每一个边，获取多个以规定的比例分割的分割点，以通过获取的多个所述分割点的方式扫描所述图像来检测边缘。
7.根据权利要求5所述的图像处理装置，其特征在于，
所述泊车框内扫描部针对构成所述泊车框的所述标志线的相对的一对边的每一个边，获取多个以规定的比例分割的分割点，以通过获取的多个所述分割点的方式扫描所述图像来检测边缘。
8.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
所述图像处理装置具备显示控制部，该显示控制部控制显示部，以将所述图像与表示所述泊车框的属性的标识符重叠显示。
9.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
所述图像处理装置具备泊车框登记部，该泊车框登记部将所述泊车框检测部检测出的所述泊车框的位置信息和所述判断部判断出的所述属性登记到所述存储部。
10.一种图像处理方法，其特征在于，包括：
标志线检测工序，使用基于拍摄车辆的周围的摄像装置获取到的图像信号的图像来检测标志线；
泊车框检测工序，使用检测到的所述标志线检测泊车框；
泊车框内扫描工序，针对构成所述泊车框的标志线的相对的一对边的每一个，获取以规定的比例分割的分割点，以通过获取的所述分割点的方式扫描所述图像来检测边缘；
存储工序，将边缘的状态和泊车框的属性对应地存储于存储部；以及
判断工序，使用检测出的所述边缘的状态、以及与所述存储部中存储的所述边缘的状态对应的所述泊车框的属性，判断所述泊车框的属性。
CN202110513120.1A 2020-05-12 2021-05-11 图像处理装置以及图像处理方法 Pending CN113657141A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-084007 2020-05-12
JP2020084007A JP2021180382A (ja) 2020-05-12 2020-05-12 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN113657141A true CN113657141A (zh) 2021-11-16

Family

ID=75914346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110513120.1A Pending CN113657141A (zh) 2020-05-12 2021-05-11 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US11967158B2 (zh)
EP (1) EP3910542A1 (zh)
JP (1) JP2021180382A (zh)
CN (1) CN113657141A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229804B2 (ja) * 2019-02-14 2023-02-28 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2023017462A (ja) * 2021-07-26 2023-02-07 株式会社Subaru 駐車支援装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JP2971694B2 (ja) 1993-03-05 1999-11-08 三菱電機株式会社 車線区分ライン認識装置
US6285297B1 (en) * 1999-05-03 2001-09-04 Jay H. Ball Determining the availability of parking spaces
US6483429B1 (en) * 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
JP3943363B2 (ja) 2001-10-18 2007-07-11 クラリオン株式会社 駐車支援装置
JP4207935B2 (ja) 2005-08-19 2009-01-14 トヨタ自動車株式会社 走行路認識装置
JP4940168B2 (ja) * 2008-02-26 2012-05-30 日立オートモティブシステムズ株式会社 駐車スペース認識装置
TWI464085B (zh) * 2011-07-22 2014-12-11 Automotive Res & Testing Ct Parking space detection method
US9418552B2 (en) * 2011-12-14 2016-08-16 Hi-Park Solutions Ltd. Method and system for automatically locating vacant parking places
JP2013154730A (ja) * 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム
KR101438941B1 (ko) * 2012-12-11 2014-11-03 현대자동차주식회사 주차 지원 제어 장치 및 방법
US9330570B2 (en) * 2013-07-05 2016-05-03 Xerox Corporation Image assisted parking space availability searching and reservation method and system
US9323993B2 (en) * 2013-09-05 2016-04-26 Xerox Corporation On-street parking management methods and systems for identifying a vehicle via a camera and mobile communications devices
KR20150028492A (ko) * 2013-09-06 2015-03-16 현대모비스 주식회사 조향 휠 제어 방법 및 이를 위한 시스템
JP6086368B2 (ja) * 2013-10-04 2017-03-01 アイシン精機株式会社 駐車支援装置
US9870707B2 (en) * 2014-06-23 2018-01-16 Hi-Park Solutions Ltd. Method and system for locating vacant parking places
KR101583998B1 (ko) * 2014-10-17 2016-01-19 현대자동차주식회사 주차지원장치 및 방법
US9940524B2 (en) * 2015-04-17 2018-04-10 General Electric Company Identifying and tracking vehicles in motion
JP2017021747A (ja) 2015-07-15 2017-01-26 クラリオン株式会社 車両用駐車支援装置
EP3367367B1 (en) * 2015-10-22 2021-01-27 Nissan Motor Co., Ltd. Parking support method and parking support device
WO2017068701A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車スペース検出方法および装置
BR112018012437B1 (pt) * 2015-12-17 2022-12-13 Nissan Motor Co., Ltd Método e dispositivo de assistência ao estacionamento
US9987983B2 (en) * 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same
KR101979694B1 (ko) * 2016-11-04 2019-05-17 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 그의 제어방법
JP6759143B2 (ja) * 2017-04-07 2020-09-23 クラリオン株式会社 駐車支援装置
CN110730735B (zh) * 2017-07-07 2020-09-22 日产自动车株式会社 泊车辅助方法及泊车辅助装置
JP2019128607A (ja) 2018-01-19 2019-08-01 株式会社デンソーテン 画像処理装置及び画像処理方法
US10839686B2 (en) * 2018-02-15 2020-11-17 Robert Bosch Gmbh System and method for distributed parking area map generation and parking area service using in-vehicle sensors
EP3534295A1 (en) * 2018-03-02 2019-09-04 Parkbob GmbH System and method for identifying parking spaces and parking occupancy based on satellite and/or aerial images
WO2019191002A1 (en) * 2018-03-26 2019-10-03 Nvidia Corporation Object movement behavior learning
JP2019174975A (ja) * 2018-03-27 2019-10-10 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
JP6771517B2 (ja) 2018-09-07 2020-10-21 本田技研工業株式会社 自動駐車装置及び自動駐車方法
JP7203586B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) * 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7122589B2 (ja) * 2018-12-26 2022-08-22 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法、及び、コンピュータプログラム
JP2020166758A (ja) * 2019-03-29 2020-10-08 株式会社デンソーテン 画像処理装置および画像処理方法
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7288793B2 (ja) * 2019-04-25 2023-06-08 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP6990686B2 (ja) * 2019-06-24 2022-01-12 本田技研工業株式会社 駐車支援システム

Also Published As

Publication number Publication date
EP3910542A1 (en) 2021-11-17
US11967158B2 (en) 2024-04-23
JP2021180382A (ja) 2021-11-18
US20210357666A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
CN111563405B (zh) 图像处理装置和图像处理方法
CN113212352B (zh) 图像处理装置以及图像处理方法
CN111824129B (zh) 图像处理装置及图像处理方法
CN113657141A (zh) 图像处理装置以及图像处理方法
CN113313935B (zh) 图像处理装置及图像处理方法
JP2008222153A (ja) 合流支援装置
EP3933684A1 (en) Image based detection of parking space marked by dashed lines
CN111862108B (zh) 图像处理装置及图像处理方法
JP2013116696A (ja) 駐車支援装置
JP2019012309A (ja) 駐車枠検出装置及び駐車枠検出方法
JP5226641B2 (ja) 車両用障害物検出装置
JP7246167B2 (ja) 画像処理装置及び画像処理方法
EP3866059A1 (en) Image processor and image processing method
CN112016381A (zh) 图像处理装置以及图像处理方法
JP7446851B2 (ja) 画像処理装置及び画像処理方法
JP7453008B2 (ja) 画像処理装置及び画像処理方法
JP7446830B2 (ja) 画像処理装置及び画像処理方法
CN117478999A (zh) 一种图像处理方法、装置以及车辆
JP2005079966A (ja) 車両用周囲監視装置および車両用周囲表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination