CN205992300U - 用于提供利用人行横道识别结果的引导信息的电子装置 - Google Patents

用于提供利用人行横道识别结果的引导信息的电子装置 Download PDF

Info

Publication number
CN205992300U
CN205992300U CN201620454996.8U CN201620454996U CN205992300U CN 205992300 U CN205992300 U CN 205992300U CN 201620454996 U CN201620454996 U CN 201620454996U CN 205992300 U CN205992300 U CN 205992300U
Authority
CN
China
Prior art keywords
crossing
vehicle
identification
image
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201620454996.8U
Other languages
English (en)
Inventor
李韩雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Application granted granted Critical
Publication of CN205992300U publication Critical patent/CN205992300U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

揭示了一种利用人行横道识别结果的电子装置。电子装置，包括：显示部，显示画面；识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道；修正部，将所述人行横道识别结果和与所述车辆相关的GPS接收位置的地图数据相比较，根据所述比较结果，修正与所述GPS接收位置相关的地图映射位置；以及控制部，控制所述显示部，以将所述修正的地图映射位置作为所述车辆的当前位置而在所述画面上输出。

Description

用于提供利用人行横道识别结果的引导信息的电子装置
技术领域
本实用新型的实施例涉及一种为了车辆的安全行驶而引导车辆周边情况信息的电子装置。
背景技术
车辆行驶时最重要事项中的一个即是以交通事故的预防为首要地位的安全性。为了安全性，在车辆中安装用于控制车辆自身或控制车辆构成装置的功能的多种辅助装置，且在车辆中安装如安全带和安全气囊等安全装置。并且，当在车辆内配置黑匣子(blackbox)时，从车辆的各种传感器中传送的数据可被存储在黑匣子内。当车辆的事故发生时，在车辆中回收黑匣子且通过分析回收的黑匣子内存储的数据可查明事故的原因。
为了安全的行驶，驾驶人需要迅速识别行驶中位于前方的人和事物以及调整车辆的运行。如导航(navigation)或黑匣子等安装于车辆的电子设备可持续地拍摄车辆的周边。上述电子设备通过使用计算机视觉算法等可在影像内持续监控车辆周边的情况，并且当检测出特定情况时，可向驾驶人通知与被检测出的情况相关的信息。
作为分析在车辆中拍摄的影像之装置的一种示例，在韩国公开专利第10-2007-0082980号(公开日：2007年08月23日)中公开了一种分析通过配置在车辆中的照相机而收集的影像从而在影像内识别客体(例如，车辆号码)的移动式违法车辆管制装置。
实用新型内容
提供了一种基于人行横道识别结果而提供用于引导自身车辆安全行驶之引导信息的电子装置。
提供了一种利用人行横道识别结果而修改与自身车辆相关的地图映射位置的电子装置。
提供了一种根据与人行横道上的行人或前方车辆、信号灯的信号状态等相关的识别结果来区分进而提供引导信息的电子装置。
提供了一种电子装置，包括：显示部，显示画面；识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道；修正部，将所述人行横道识别结果和与所述车辆相关的GPS接收位置的地图数据相比较，根据所述比较结果，修正与所述GPS接收位置相关的地图映射位置；以及控制部，控制所述显示部，以将所述修正的地图映射位置作为所述车辆的当前位置而在所述画面上输出。
提供了一种电子装置，包括：显示部，显示画面；识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道且识别与所述车辆的前方行驶相关的周边情况；以及控制部，根据所述周边情况识别结果，区分与所述人行横道识别结果相关的引导信息，控制所述显示部，以在所述画面上输出。
提供了一种电子装置，包括：显示部，显示画面；识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道且识别与所述车辆的前方行驶相关的周边情况；以及控制部，根据所述人行横道识别结果，区分与所述周边情况识别结果相关的引导信息，控制所述显示部，以在所述画面上输出。
根据本实用新型的实施例，通过识别前方的人行横道而按视听表现出人行横道识别结果，经由人行横道的识别与注意提醒可引导驾驶人的安全驾驶。
根据本实用新型的实施例，通过将人行横道识别结果与地图数据相比较而修改与自身车辆相关的地图映射位置，可最小化导航的地图映射误差而提高与位置引导相关的用户的信任度。
根据本实用新型的实施例，通过提供根据与人行横道上的行人或前方车辆、信号灯的信号状态等相关的识别结果来区分进而提供引导信息，正确且具体告知周边情况进而提醒驾驶人，可保证驾驶人的安全行驶的同时保证人行横道中行人的安全。
附图说明
图1示出本实用新型一个实施例之用于说明电子装置的内部构成的一个示例的框图。
图2至图7是示出根据本实用新型一个实施例之用于说明电子装置可执行的人行横道识别方法的示例图。
图8是示出根据本实用新型一个实施例之用于说明电子装置可执行的行人识别方法的示例图。
图9是根据本实用新型一个实施例之用于说明电子装置可执行的前方车辆识别方法的示例图。
图10至图14是根据本实用新型一个实施例之用于说明电子装置可执行的引导信息提供方法的示例图。
具体实施方式
以下，结合附图对本实用新型的实施例进行详细说明。
本实施例涉及利用照相机影像在影像内来识别人行横道以及在行驶引导环境中活用人行横道识别结果来提供引导信息的电子装置。
根据本实用新型的电子装置电子装置可适用于导航系统，作为一个示例，可适用于搭载增强现实(Augmented Reality)模式的导航系统。本实施例也可通过智能手机(smart phone)、平板电脑(tablet)、可穿戴计算机(wearable computer)等移动终端专用的应用程序而实现。
图1示出本实用新型一个实施例之用于说明电子装置的内部构成的一个示例的框图。
如图1所示，电子装置100作为计算机系统，至少可包括：至少一个处理器(processor)110、内存(memory)120、外围设备接口(peripheral interface)130、输入/输出子系统(I/O subsystem)140、电力线路150和通信线路160。
在图1中，箭头表示能进行计算机系统的构成要素间的通信和数据传送，且其可利用高速串行总线(high-speed serial bus)、并行总线(parallel bus)、存储区域网络(SAN，Storage Area Network)和/或其他适当的通信技术而实现。
内存120可包括操作系统121和行驶引导控制例程122。例如，内存120可包括高速随机存取存储器(high-speed random access memory)、磁盘、静态随机存取存储器(SPAM)、动态随机存取存储器(DRAM)、只读存储器(ROM)、闪存或非挥发性内存。内存120可存储用于操作系统121和行驶引导控制例程122的程序编码，也就是说可包括电子装置100的动作所需的软件模块、指令集架构或其之外的多种数据。此时，处理器110或外围设备接口130等其他控制器与内存120的存取可通过处理器110进行控制。
外围设备接口130可将电子装置100的输入和/或输出外围设备与处理器110和内存120相结合。并且，输入/输出子系统140可将多种输入/输出外围设备与外围设备接口130相结合。根据本实用新型的电子装置100可包括显示画面的显示部(例如，触摸屏)(未图示)以及在车辆的运行中通过拍摄而获取影像的照相机(未图示)，输入/输出子系统140可包括用于将显示部和照相机与外围设备接口130相结合的控制器。并且，输入/输出子系统140可包括显示器、键盘、鼠标、打印机或根据需要用于将各种传感器等外围设备与外围设备接口130相结合的控制器。根据另一侧面，输入/输出外围可不经过输入/输出子系统140而与外围设备接口130相结合。
电力线路150可向终端设备的电路元件的全部或部分供给电力。例如，电力线路150可包括如电力管理系统、电池或交流(AC)之一个以上的电源、充电系统、电源故障检测电路(power failure detection circuit)、电力变换器或逆变器、电力状态标记符或用于电力生成、管理、分配的任意其他电路元件。
通信线路160可利用至少一个外部接口与其他计算机系统进行通信。并且如上所述，根据需要，通信线路140通过包括RF电路来接收发被称为电磁信号(electromagneticsignal)的RF信号，能与其他计算机系统进行通信。
处理器110通过施行存储在内存120中的软件模块或指令集架构可执行用于电子装置100的多种功能且处理数据。也就是说，处理器110通过执行基本的算术、逻辑以及计算机系统的输入/输出演算，可构成为处理计算机程序的命令。处理器110可构成为施行用于识别部111、修正部112和控制部113的程序编码。这种程序编码可存储在如内存120之记录装置中。
识别部111、修正部112和控制部113构成为用于执行下述将要说明的引导信息提供方法。
这种图1的实施例仅是电子装置100的一个示例，电子装置100可具有如下结构或配置：省略图1所示的部分电路元件，或进一步具备图1中未图示之追加的电路元件，或结合两个以上的电路元件。例如，用于移动环境的通信终端的计算机系统除了图1所示的电路元件之外，还可进一步包括触摸屏或传感器等，且在通信线路140中也可包括用于多种通信方式(WiFi、3G、LTE、Bluetooth、NFC、Zigbee等)的RF通信的电路。可包含在电子装置100中的电路元件可由包括一个以上的信号处理或应用程序所特殊化的集成电路的硬件、软件或硬件和软件两者的组合而实现。
上述构成的电子装置100从照相机(未图示)中输入接收影像(以下，称为“照相机影像”)从而可在照相机影像内识别人行横道，且在用于引导自身车辆的安全驾驶的行驶引导环境中以人行横道识别结果为基础可提供多种引导信息。
上述照相机提供拍摄自身车辆前方的影像，作为一个示例，可按一体型构成在适用了电子装置100的车辆用导航中，且为了能拍摄车辆的前方，可装载在导航本体的后面即朝向车辆的前玻璃的位置。作为另一实施例，也可使用能与电子装置100联动的其他系统或作为外部的单独构成而设置的、使用拍摄车辆前方的照相机。
尤其，在本实用新型中为了提供引导安全驾驶的引导信息，可试用(1)识别人行横道的技术，(2)识别人行横道上的行人的技术，(3)识别前方车辆(前车)的技术，以及(4)识别信号灯的交通信号的技术。
首先，针对识别人行横道的技术进行说明。
图2是根据本实用新型一个实施例之示出人行横道识别方法的顺序图。根据本实施例的人行横道识别方法根据通过图1说明的识别部111可进行各个步骤。
在步骤210中，识别部111输入接收照相机影像进而将输入的照相机影像变换为灰色(黑白)影像。照相机影像作为一定尺寸(例如，640x480)的影像，可是如RGB(红绿蓝)影像的彩色影像。
参考图3，第一影像310可显示根据照相机拍摄的彩色影像，第二影像320可显示根据识别部111将彩色影像按灰度进行转换而生成的灰色影像。
彩色影像内的各像素可具有显示像素颜色的颜色值。颜色值可包括红色值、绿色值以及蓝色值。即，彩色影像可是RGB彩色影像。黑白影像内的各像素可具有显示像素明暗的颜色值。颜色值可是0以上n(n是1以上的整数)以下的整数值。例如，当特定的像素显示黑色时，特定像素的颜色值可是0。并且，当特定的像素显示黑色时，特定像素的颜色值可是n。
如此，识别部111通过灰度变换可将照相机影像变换为灰色影像。并且，识别部111为了使灰色影像具有一定的明暗值分布可进行与灰色影像的明暗值相关的平滑化。
道路的一部分如果受到阴影的影响，由于会错误识别前方车辆或与前方车辆的距离，因此为了最小化阴影的影响，在本实施例中可使用能补偿光源的方法。作为一个示例，在补偿照相机拍摄使用的光源后，通过补偿的光源拍摄车辆的前方可获取RGB影像。作为另一个示例，识别部111针对RGB影像，使用光源补偿算法，在补偿RGB影像的光源后，可将补偿的RGB影像变更为灰色影像。另外，由于车辆内部玻璃反射的被拍摄物体的影响，在影像的特定部分中会发生不能识别人行横道的情况。为了改善这种问题并最小化因反射造成的影响，通过在照相机的镜头前端贴付反射抑制盒，可获取补偿的影像。
再参考图2，在步骤220中，识别部111可在灰色影像中设定用于检测出人行横道的关注区域(ROI:Region of Interest)。照相机影像中一部分可显示天空、地平线、或建筑物等人行横道能位于的道路之外的其他区域。当在影像的所有区域中要检测出人行横道而进行尝试时，由于人行横道以外的其他客体被误检测为人行横道的可能性高，因此需要在影像中设定用于检测出人行横道的部分区域。
作为一个示例，识别部111在灰色影像内可设定根据特定条件而决定的关注区域。在此，特定的条件可意味着照相机的设定角度和视野角以及影像的分辨率等。即，识别部111可将影像中一部分设定为关注区域，且可提高影像或影像中一部分。图4示出关注区域提高的影像410以及关注区域提高的影像410中关注区域420。识别部111在关注区域420被设定时，可将关注区域420决定为用于检测出人行横道的检测区域。
作为另一个示例，识别部111在灰色影像内检测出车道线后，以车道线为基准，可设定关注区域。例如，识别部111利用坎尼(Canny)算法在影像内生成检测出边缘(edge)的边缘影像后，通过向边缘影像适用霍夫变换算法，在边缘影像内检测出按直线进行表示的边缘，且将与直线的位置相对应的区域识别为车道线。此时，识别部111通过霍夫变换可检测出边缘影像内包括的一个以上的直线候选，且可将一个以上的直线候选中距离影像的中心的距离为最小的直线候选判断为车道线。并且，识别部111针对多个直线候选中车辆的行驶方向，将具有一定车道线的宽度的直线候选判断为车道线。一般来讲，车道线存在于道路面且具有一定的宽度，从驾驶人的视点来看，并不显示在水平线上，但显示在与车辆的行进方向相对应的线上。因此，识别部111可将与车辆的行进方向相对应的多个直线候选中具有一定宽度的直线候选识别为车道线。并且，识别部111可将多个直线候选中以影像的竖直中心线为基准形成互相对称的直线候选判断为车道线。如此，识别部111基于影像中检测出的车道线设定关注区域。例如，识别部111可将以影像内车道线开始的位置为起点沿y轴方向一定距离的区域设定为关注区域。此时，决定关注区域的条件即车道线开始的位置和一定距离可按车道的宽度和照相机的视野角来推定。
在人行横道中，浮现因影子造成的阴影或用于表示人行横道的油漆会被磨损，且当广告贴纸或纸灯小的物体位于人行横道上时，会遮盖人行横道的模样。并且，在拍摄人行横道的影像内也会存在噪音。考虑到这种问题，识别部111为了除去关注领域内的噪音且正规化人行横道的破损形态，可在关注区域内适用利用四角形要素的关闭影像。使用四角形影像可是人行横道一般性具有黑色或白色的四角形连续形成的形态的起因。根据上述关闭影像显示人行横道的区域可变得更加鲜明。
再参考图2，在步骤230中，识别部111通过针对关注区域的影像分析可在关注区域内检测出人行横道。作为一个示例，识别部111通过向关注区域的水平线适用最小-最大滤波器，可生成关注区域二进制化形成的二元(binary)影像。此时，识别部111通过在二元影像内检测出显示人行横道的图案，可在关注区域内检测出人行横道。
例如，图5示出影像510和影像内的水平线520。并且，在影像510的下端示出显示水平线的颜色值变化的图表530。变化线540示出水平线内各个像素颜色值的变化。当连续的像素的颜色值相对一定时(例如，全部颜色值是接近白色的值或接近黑色的值时)，变化线540中与上述连续的像素相对应的部分具有高的值。相反，当连续的像素的颜色值相对急剧变化时(例如，当由黑色变化为白色时或由白色变化为黑色时)，变化线540中与上述连续的像素相对应的部分具有低的值。因此，变化线540中随着由高的值降为低的值且再次由低的值升为高的值的区间变短，水平线可视为按黑色线和白色线进行明确地区分。但，当实际的人行横道未按黑色和白色进行明确区分时或在拍摄的影像内存在噪音时，水平线也可不按黑色和白色进行明确区分。例如，当在影像内显示人行横道的区域中的一部分存在噪音时，上述噪音在变化线540内可作为异常线550进行显示。噪音可按非黑色或非白色的中间阶段的灰色而显示，且以特定的边界为中心颜色也可不进行鲜明的变化。因此，变化线540中异常线550周围的一部分的值相对缓和地变化，且具有中间阶段的值。对此，相比识别部111直接二进制化水平线内的像素的各个颜色值，在向像素的颜色值适用特定的滤波器后，对适用了滤波器的颜色值进行二进制化在检测出人行横道时可导出更好的结果。
图6作为用于说明最小-最大滤波器适用的示例图，图表600的横向轴示出水平线内的像素。即，横向轴的特定坐标指水平线内的特定像素。图表600的纵向轴显示像素的颜色值。颜色值可是灰度(gray-scale)值。例如，大的值是表示接近于白色的颜色的值，小的值是表示接近于黑色的颜色的值。
识别部111通过向影像的水平线内的各个像素适用最小-最大滤波器，可二进制化各个像素。在此，像素的二进制化意味着像素的颜色值成为第一二进制值或第二二进制值中的一个。“0”(或，真)或“1”(或，假)中的一个可是第一二进制值，另一个可是第二二进制值。水平线的二进制值化意味着水平线内的每个像素被二进制化。识别部111通过使水平线内的每个像素二进制化且使影像(或，设定区域)内的每个水平线二进制化，可使影像(或，设定区域)二进制化。
识别部111以水平线中特定像素610为基准可将一定范围内的像素的颜色值中最小的值设定为与所述的特定像素610相关的最大-最小滤波器的最小值。并且，识别部111以水平线中特定像素610为基准可将一定范围内的像素的颜色值中最大的值设定为与所述的特定像素610相关的最大-最小滤波器的最大值。即，与特定像素610相关的最小-最大滤波器的最小值是以特定像素610为基准在一定范围内像素的颜色值中最小的值，且与特定像素610相关的最小-最大滤波器的最大值是像素的颜色值中最大的值。
在图6中，以特定像素610为基准在一定范围内的像素中具有最大颜色值的像素620和具有最小颜色值的像素630被图示，且像素620的颜色值和像素630的颜色值的平均640走位水平线而图示。在图6中，一定范围包括特定像素610、以特定像素610为中心左侧的三个像素以及以特定像素610为中心右侧的三个像素。所述的一定范围仅是示例。特定像素610可是一定范围的中心，且可是左侧一端或右侧一端。一定范围额长度可是固定的值，也可是动态变更的值。例如，一定范围的长度可是水平线的整体长度的1/n。在此，n可是1以上的实数。并且，一定范围可显示m个像素。在此，m可是1以上的自然数。适当的n的值或m的值根据实验可被决定。例如，识别部111根据实际人行横道之反复的白色区域和黑色区域在影像内按多大尺寸进行显示，可决定n的值或m的值。最小-最大滤波器可将特定像素610的颜色值与特定像素610相关的最大值和最小值的平均值进行比较。最小-最大滤波器根据上述的比较结果可将特定像素610的颜色值的二进制值决定为第一二进制值和第二二进制值中的一个。例如，识别部111当特定像素610的颜色值是平均值以上时，可将特定像素610的颜色值的二进制值决定为第二二进制值，且当特定下像素的颜色值小于平均值时，可将特定像素610的颜色值的二进制值决定为第一二进制值。并且，识别部111可将特定像素610的颜色值表示的第一亮度与平均值表示的第二亮度进行比较。识别部111当第一亮度是第二亮度以上时，将特定像素610的颜色值的二进制值设定为表示白色的二进制值，且当第一亮度小于第二亮度时，将特定像素610的颜色值的二进制值设定为表示黑色的二进制值。
图7是示出用于说明通过适用最小-最大滤波器而生成的图案的示例图。在图7的图表700中，示出了中心线710、显示水平线内的各个像素的颜色值的第一线720、显示与水平线内的各个像素相关的最小-最大滤波器的平均值的第二线730、以及显示水平线内的各个像素的二进制化的颜色值得第三线740。第三线740内的各点具有第一二进制值和第二二进制值中的一个二进制值。第一线720的各点与第三线740内的具有相同坐标的点相对应。第一线720的各点可显示水平线内的各个像素的二进制化的颜色值。第三线740内的各点可显示水平线内的各个像素的二进制化的颜色值。第二线730的各点可显示与水平线内的各个像素相关的最小-最大滤波器的颜色值。第一线720、第二线730和第三线740各个内的点可显示与上述点的水平坐标相对应的像素。点的图表700内的高度可显示对应的像素的颜色值。根据最小-最大滤波器的适用，第一线720的各点中相比第二线730的对应的点而位于更高位置的点，根据二元化，在第三线740内成为具有第二二进制值的点。并且，第一线720的各点中相比第二线730的对应的点而位于更低位置的点，根据二元化，在第三线740内成为具有第一二进制值的点。在第一线720的各点中示出了与参考图5所述的异常点550相对应的异常点750。通过适用最小-最大滤波器，异常点750即使具有相对高的颜色值，但仍具有低于最小-最大滤波器的平均值的值。因此，在第三线740内与异常点750相对应的点具有第一二进制值。结果来讲，第三线740具有由具有一定幅度的第一二进制值与具有一定幅度的第二二进制值周期性反复而形成的波形。将第一二进制值的幅度命名为幅度一，且将第二二进制值的幅度命名为幅度二。并且，识别部111可识别周期性反复的波形的整个大小。
因此，识别部111在二进制化的水平线内可检测出显示人行横道的图案。在此，二进制化的水平线意味着水平线内的各个像素被二进制化。即，二进制化的水平线可是前述的第三线740。所述的图案可具有特定的第一设定值以上的幅度，且可具有按特定第二设定值以上的次数反复的四角波形的形态。在此，幅度可意味着幅度1和幅度2中的一个以上。反复可意味着按连续的第一二进制值与连续的第二二进制值形成的周期的反复。在第三线740中示出周期为六次反复。例如，识别部111在二进制的水平线内当按具有十个以上的第一二进制值得像素和具有十个以上的第二二进制值得像素构成的周期反复四次以上时，所述的二进制化水平线可识别显示人行横道，且检测出人行横道。前述的水平线可是检测区域内的多个水平线。识别部111通过将多个水平线分别二进制化，可生成多个二进制化的水平线，且通过使用多个二进制化的水平线，可在影像内检测出人行横道。在多个的二进制化水平线中，人行横道可作为四角形的黑色模块与白色模块反复的形态而显示。因此，为了检测出人行横道所使用的图案可是按第一二进制值和第二二进制值构成的二维平面图案。图案可具有第三设定值以上的高度和第二设定值以上的宽度，且可具有按第五设定值以上的次数反复的黑色和白色的四角波形的形态。
接着，针对识别人行横道上的行人的技术进行说明。
图8是根据本实用新型一个实施例之示出行人识别方法的顺序图。根据一个实施例的行人识别方法可根据经由图1说明的识别部111执行各个步骤。
在步骤810中，识别部111可按用于行人识别的输入影像输入接收照相机影像。并且，识别部111针对输入影像可初始化用于行人识别的变数。
在步骤820中，识别部111在输入影像中可将行人识别影像设定为用于行人识别的关注区域。在此，行人识别区域可基于意味着能识别行人距离的行人可识别距离而进行设定。作为一个示例，识别部111在三维的实际空间中可将能识别行人的最大距离(例如，30m)按利用H-矩阵(Matrix)从照相机中输入的影像进行透明进而生成行人识别区域。在此，H-矩阵可是按内部参数(intrinsic parameter)与外部参数(extrinsic parameter)构成的3x4矩阵，在此，内部参数可意味着拍摄影像的照相机的内部信息和与误差等信息相关的参数，外部参数可意味着拍摄输入影像的照相机在三维的实际坐标系中从原点起的距离和旋转等信息所相关的参数。例如，内部参数可包括镜头畸变(distortion)、焦点长度(focallength)、图像中心(image center)等，外部参数可包括在三维的实际坐标系中照相机的移动距离、旋转角度等。
在步骤830中，识别部111可在行人识别区域中抽取显示行人的特征矢量。影像内的关注客体判别行人与否的方法多样，代表性的影像特征有方向梯度直方图(HOG，Histogram of Oriented Gradient)、局部二进制模式(LBP，Local Binary Pattern)、Haar-like、尺度不变特征转换(SIFT，Scale Invariant Feature Transform)、以及修改统计变换(Modified Census Transform)等。例如，HOG特征抽取方法将行人识别区域按块(block)进行构成进而在块内按划定的多个单元(cell)进行分割后，在各单元内计算各像素间的倾斜度，通过与倾斜度相关的直方图制成HOG特征矢量。在制成的HOG特征矢量中分析最优势的倾斜度且若分析的最优势的倾斜度具有人的形状，则可判断在该块中存在行人。
在步骤840中，识别部111利用适用了特征矢量的机器运行算法进而在行人识别区域中识别行人。作为一个示例，识别部111利用适用了特征矢量的adaboost算法和支持向量机(SVM，support vector machine)算法进而可检测出行人。如此，作为用于行人识别的方法，可适用学习数据抽取过程。此时，学习数据抽取过程指的是在与要识别的物体相关的数据(positive data)中能代表物体的信息(与周边的亮度差异、边界值的分布等)，即抽取特征矢量进行学习的过程。为了检测出行人，在整个影像中移动预先决定的大小的块，且与预先学习的行人块的特征矢量进行比较。若预先学习的行人块的特征矢量与影像内块的特征矢量类似，则可将其检测为行人。现有大量使用的识别与分类算法即adaboost学习分类方法是在检测出具有行人、车辆、脸之块形状的模样的物体的领域中广泛使用的算法。
并且，识别部111在行人识别区域中针对检测出的行人适用卡尔曼滤波器(kalmanfilter)可追踪行人。卡尔曼滤波器是利用对象系统的概率性模型与测定值来查询系统的状态变数的最佳推定技法。在通过卡尔曼滤波器追踪关注物体之后，在互相接近位置的窗口适用聚类(clustering)技法除去重复的区域进而可适用按一个窗口进行处理的方法。
接着，针对识别前方车辆(前车)的技术进行说明。
图9是根据本实用新型一个实施例之示出前方车辆识别方法的顺序图。根据一个实施例的前方车辆识别方法可根据通过图1说明的识别部111执行每个步骤。
在步骤910中，识别部111输入接收照相机影像进而将输入的照相机影像变换为灰色(黑白)影像。灰色影像变换过程与通过图2和图3说明的步骤210的详细过程相同，因此省略具体的说明。
在步骤920中，识别部111在灰色影像中可设置用于检测出前方车辆的关注区域(ROI)。关注区域设定过程也与通过图2和图4说明的步骤220的详细过程相同，因此省略具体的说明。
在步骤930中，识别部111利用与车辆相关的学习数据可在关注区域中识别前方车辆。为了生成用于前方车辆检测的学习图案，在照相机拍摄的影像中可按正片(positive)影像收集车辆背影显示良好的影像，且按负片(nagative)影像收集与车辆无关的影像。例如，适用adaboost算法可学习按正片影像和负片影像分类的练习数据，且将练习的学习数据按XML文件进行变更后，可将其按用于检测出前方车辆的汽车检测图案进行使用。识别部111在关注区域内适用adaboost算法，在检测出至少一个的车辆候选区域后，通过验证车辆候选区域的过程，可检测出前方车辆。
作为一个示例，识别部111在影像中当为车辆时，根据时间的经过，基于明暗积累值若累积则变亮这一点，可验证车辆候选区域。也就是说，识别部111按车辆候选区域类别算出根据时间的明暗积累值，将明暗积累值超过一定临界值的车辆候选区域判断为前方车辆，若非此类区域，则在车辆候选区域中将其除去。
作为另一个示例，识别部111在一张区域的空间区域中利用与前方车辆的距离比例，可验证车辆候选区域。前方车辆之情形，利用随着车间距离变远而车辆的左右宽度变窄且随着车间距离变近而车辆的左右宽度变宽这一特性即空间性比例特性，可获取根据车辆位置的距离比例的实验值。即，识别部111按车辆候选区域类别分别算出大小比例后，车辆候选区域的大小比例若与根据车辆位置的距离比例的实验值相对应，则可将其判断为前方车辆，若非此类区域，则在车辆候选区域中将其除去。
根据另一个示例，识别部111在关注区域内检测出车道线后，以检测出的车道线为基准，通过与一前方车辆的距离比例可验证车辆候选区域。为此，识别部111在与关注区域相对应的灰色区域适用坎尼算法可获得检测出的边缘影像。并且，识别部111针对边缘影像，适用霍夫变换算法进而可检测出显示直线的边缘，且可将检测出的直线的位置识别为车道线。此时，识别部111在车辆候选区域中选出在车道线位置中的车辆候选区域后，若选出的车辆候选区域的大小比例与根据车辆位置的距离比例的实验值相对应，则将其判断为前方车辆。
作为另一个示例，识别部111在按车辆候选区域检测出的位置中适用先前影像与当前影像的车辆检测频度进而可检测出前方车辆。也就是说，识别部111将车辆候选区域与先前影像相比较，进而可根据车辆候选区域按前方车辆被检测出的检测频度而可判断前方车辆的有无。
并且，识别部111针对检测出的前方车辆适用卡尔曼滤波器，通过前方车辆的追踪可识别出发与否。此时，识别部111通过卡尔曼滤波器追踪前方车辆后，在互相位置靠近的窗口适用聚类技法，可在除去重复区域的同时使用按一个窗口进行处理的方法。
最后，识别信号灯的交通信号的技术如下。
识别部111可识别位于自身车辆前方的信号灯与信号灯的交通信号。作为一个示例，识别部111通过利用用于识别前述人行横道、车道线、行人、前方车辆等的影像分析技术，利用照相机影像可识别出影像内信号灯与信号灯的亮灯状态。信号灯的亮灯状态可区分为用于车辆停车的红色和黄色以及用于车辆行驶开始的绿色信号等。作为另一个示例，识别部111可按识别光的波长的方法识别信号灯的交通信号。例如，识别部111通过感应可视光线区域内的固有波长的传感器可感应信号灯的红色波长信号和蓝色波长信号。在将感应的信号灯的波长信号按固有的数字值进行变换后，通过将变换的数字值与事先定义的波长带区域设定值相比较，可判断信号灯的亮灯状态。比较的结果，若感应的波长信号与65至70的波长带区域相对应，将当前识别的信号灯识别为红色信号，当与45至55波长带区域相对应，则将其判断为绿色信号。
上述虽然针对(1)人行横道识别方法、(2)行人识别方法、(3)前方车辆识别方法、(4)信号灯识别方法说明了具体的实施例，但其并不限定于此，为了在影像中识别或追踪关注客体，可适用广泛被使用的多种算法。
在图1中虽然说明了电子装置100的内部包括识别部111，但其并不局限于此，也可使用按另外构成而构建的影像分析装置中提供引导信息时获取所需的识别结果而进行活用的方法。
在本实施例中，为了提供根据车辆周边情况的引导信息，可使用人行横道识别结果、行人识别结果、前方车辆识别结果、信号灯识别结果中的全部或一部分。此时，在一部分的识别结果中基本上包括人行横道识别结果。
图10是根据本实用新型的一个实施例之示出使用人行横道识别结果的地图映射方法的顺序图。根据一个实施例的地图映射方法根据通过图1说明的修正部112可执行各个步骤。
在本实用新型中利用人行横道识别结果可提供与GPS位置相关的引导信息。
在步骤1010中，修正部112从人行横道识别结果中确认自身车辆的前方是否存有人行横道。
在步骤1020中，修正部112当在自身车辆的前方存在人行横道时，可将该识别结果与导航的实际地图数据信息相比较。作为一个示例，修正部112在导航识别的当前位置的地图数据中判断在临界范围(例如，30m)内是否存在人行横道。
在步骤1030中，修正部112可从人行横道识别结果与地图数据信息的比较结果中判断地图映射修正与否。也就是说，修正部112即使在照相机影像中识别出人行横道，若在按当前自身车辆位置映射的地图数据的临界范围内不存在人行横道，也判断为在当前时点中需要对地图映射进行修正。
在步骤1040中，修正部112利用人行横道识别结果可修正与自身车辆的当前位置相关地图映射位置。以人行横道识别结果为基准针对自身车辆的位置，当接收GPS信号的GPS接收位置超出误差范围时，重新执行与GPS接收位置相关的地图映射。例如，即使修正部112从照相机影像中识别出人行横道，但若地图数据上的临界范围内不存在人行横道，可按与GPS的方向矢量最接近的位置对与自身车辆相关的GPS位置信息进行修正。
当前导航利用GPS在地图上引导自身车辆的当前位置。但，自身车辆位于高楼密集的区域或隧道等阴影地区，根据GPS自身的功能，发生GPS距离误差，从而发生在导航内不能进行正确位置引导的情况。这种GPS距离误差发生大约为30m，但在本实用新型中将人行横道识别结果与导航的地图数据信息相比较可对与GPS位置相关的引导信息进行修正。
图11是根据本实用新型的一个实施例之示出提供与人行横道相关的引导信息的方法的一个示例的顺序图。根据一个实施例之引导信息提供方法根据通过图1说明的控制部113可执行各个步骤。
在本实用新型中利用人行横道识别结果可提供用于引导自身车辆的安全行驶的引导信息。
在步骤1110中，控制部113从人行横道识别结果中可确认在自身车辆的前方是否存在人行横道。
在步骤1120中，控制部113当在自身车辆的前方存在人行横道时，利用基于GPS的位置信息以自身车辆的当前位置为基准可确认是否在已设定的特定区域内或是否是与特定区域临近的人行横道。例如，特定区域可包括儿童保护区域、巴士专用车道区域等。
在步骤1130中，控制部113当前方的人行横道是与已设定的特定区域无关的人行横道时，作为与人行横道相关的一般性引导信息，可控制在前方显示识别出人行横道的信息以及引导人行横道中的注意之信息以在显示部的画面上输出。
在步骤1140中，控制部113当前方的人行横道位于特定区域内或是与特定区域临近的人行横道时，作为与一般性引导信息想区分的更强力的引导信息，可在前方控制显示出识别出人行横道和特性区域之信息以在显示部的画面上输出。尤其，控制部113在前方的人行横道中可在画面上输出临时停车后引导出发的信息(例如，“前方是学校区。敬请在人行横道前停车三秒进而确认周边后再出发”之通知)。
为了在当前特定区域(例如，学校区等)的人行横道中减少事故，可适用视线引导灯、减速带、之字形车道线等多种方法。但这种方法作为视野信息具有驾驶人要直接分析和识别的问题。对此，在本实用新型中为了更有效地辅助驾驶人的判断，将导航的位置信息与照相机影像中分析的人行横道识别信息相融合，当为特定区域的人行横道时，提供停车后出发通知，可引导安全驾驶。
并且，控制部113通过提供在前方显示识别出人行横道的信息之方法，与告知在前方存有人行横道的语音引导一起，可在导航画面上按闪烁或强调等的视野性形态表示出人行横道信息。因此，为了白天和夜间在存有人行横道的地方安全行驶而向驾驶人提醒注意，可导航直接表示出人行横道以及提供注意引导，且通过此在夜间行驶时驾驶人可更容易识别人行横道进而可在人行横道中防因不注意引起的事故为未然。
图12是根据本实用新型一个实施例之示出提供与人行横道相关的引导信息之方法的其他示例的顺序图。根据一个实施例的引导信息提供方法根据通过图1说明的控制部113可执行各个步骤。
在本实用新型中，利用人行横道识别结果和行人识别结果，可提供用于引导安全驾驶的引导信息。
在步骤1210中，控制部113从人行横道识别结果中可确认在自身车辆的前方是否存在人行横道。
在步骤1220中，控制部113当在自身车辆的前方存在人行横道时，从行人识别结果中可确认在人行横道中是否存有行人。
在步骤1230中，控制部113当前方的人行横道不存在行人时，作为与人行横道相关的一般性引导信息，可控制在前方显示识别出人行横道的信息以及引导人行横道中的注意之信息以在显示部的画面上输出。
在步骤1240中，控制部113当在前方的人行横道中存在行人时，作为更强力的引导信息可控制在前方显示识别出人行横道的信息以及示出在人行横道中存有行人的信息以在显示部的画面上输出。尤其，控制部113作为引导与行人相关的强力注意之信息可输出与一般性引导信息相区别形态的引导信息。此时，控制部113若在人行横道中识别出行人，与作为与行人相关的引导信息之强力的警告音一起，可在导航画面上按闪烁或强调等的视野性形态来表示出存有行人。
并且，作为本实用新型的另一个实施例，在步骤1240中，控制部113当在人行横道中检测出行人时，经由能控制车辆的加速/减速以及刹车灯的电子控制单元(ECU，Electronic Control Unit)传送信号，可使车辆刹车或减速。上述ECU也可是本实用新型的处理器110。
进一步，控制部113不仅针对人行横道中识别的驾驶人而且针对自身车辆前方识别的所有行人，可提供引导信息，并且此时也可区分其他道路(例如，行人道路)的行人与人行横道中的行人相关的引导信息从而进行控制以在显示部的画面上输出。作为一个示例，控制部113相比行人道路中的行人针对人行横道中的行人可输出更强力的引导信息。
图13是根据本实用新型一个实施例之示出提供与人行横道相关的引导信息之方法的其他示例的顺序图。根据一个实施例的引导信息提供方法根据通过图1说明的控制部113可执行各个步骤。
在本实用新型中，利用人行横道识别结果和前方车辆识别结果，可提供用于引导自身车辆的安全驾驶的引导信息。
在步骤1310中，控制部113利用自身车辆的当前位置或传感器感应值等可确认自身车辆的停车与否。
在步骤1320中，控制部113当自身车辆当前处于停车状态时，从前方车辆识别结果中可确认出自身车辆的前方前方车辆有无。
在步骤1330中，控制部113根据前方车辆识别结果包括的前方车辆的追踪结果，可确认前方车辆的出发与否。
在步骤1340中，控制部113若识别前方车辆的出发，从人行横道识别结果中可确认在自身车辆的前方是否存在人行横道。
在步骤1350中，控制部113当在自身车辆的前方无人行横道时，通过前方车辆出发通知，作为与前方车辆出发相关的一般性引导信息，可控制以在显示部的画面上输出显示前方车辆出发的信息。
在步骤1360中，控制部113当在自身车辆的前方有人行横道时，解除前方车辆出发通知，或作为更强力的引导信息控制以在显示部的画面上输出在前方显示出识别人行横道的信息。作为一个示例，控制部113当在自身车辆的前方有人行横道时，通过通知解除，即使前方车辆出发，也不提供与前方车辆出发相关的通知。作为另一个示例，控制部113作为引导与人行横道相关的强力注意的信息可输出与一般性引导信息相区分的形态的引导信息。此时，控制部113即使前方车辆出发若在前方识别人行横道，作为与人行横道相关的引导信息，可与强力的警告音一起，在导航画面上以闪烁或强调等的视野性形态表示出存在人行横道。
因此，本实用新型在自身车辆停车的环境下针对前方车辆的出发提供引导信息时，在存有人行横道和不存有人行横道时刻不同表现进而提供两者间的引导信息。这是为了保护自身车辆与前方车辆间的人行横道中行人的安全。
图14是根据本实用新型一个实施例之示出提供与人行横道相关的引导信息之方法的其他示例的顺序图。根据一个实施例的引导信息提供方法根据通过图1说明的控制部113可执行各个步骤。
在本实用新型中，利用人行横道识别结果和信号灯识别结果，可提供用于引导自身车辆的安全驾驶的引导信息。
在步骤1410中，控制部113利用自身车辆的当前位置或传感器感应值等可确认自身车辆的停车与否。
在步骤1420中，控制部113当自身车辆当前处于停车状态时，从信号灯识别结果中可确认出信号灯的信号变更与否。
在步骤1430中，控制部113若识别信号灯的信号变更，可从人行横道识别结果中确认自身车辆的前方是否存在人行横道。
在步骤1440中，控制部113当在自身车辆的前方无人行横道时，通过信号灯变更通知，作为与信号灯变更相关的一般性引导信息，可控制以在显示部的画面上输出显示出信号灯的交通信号变更之信息。
在步骤1450中，控制部113当在自身车辆的前方有人行横道时，作为更强力的引导信息控制以在显示部的画面上输出在前方显示出识别人行横道的信息。尤其，控制部113作为引导与人行横道相关的强力注意的信息可输出与一般性引导信息相区分的形态的引导信息。此时，控制部113即使前方车辆出发若在前方识别人行横道，作为与人行横道相关的引导信息，可与强力的警告音一起，在导航画面上以闪烁或强调等的视野性形态表示出存在人行横道。
更进一步，控制部113以人行横道识别结果和信号灯识别结果为基础，当自身车辆在人行横道前停车后，当在信号灯的信号变更前出发时，可控制以在显示部的画面上输出与不注意相关的警告性引导信息。
因此，本实用新型在自身车辆停车的环境下针对信号灯的信号变更提供引导信息时，在存有人行横道和不存有人行横道时刻不同表现进而提供两者间的引导信息。通过此，向首先与信号灯的交通信号反应的驾驶人提供给强力的通知，以能使人行横道周边的安全驾驶变得更注意。
以包括人行横道的各种识别结果为基础而做出的引导信息，虽然按导航画面上的视觉输出形态进行提供而做了说明，但可按音频广告或次低音等听觉输出形态提供，也可按组合一个以上的输出要素的形态来提供，或者可变输出要素的方式根据周边情况区分进而提供信息。
根据本实用新型实施例的方法可通过多种计算机系统能执行的程序命令形态而实现进而可记录在计算机可读媒介中。并且，根据本实施例的程序可按基于计算机的程序或移动终端专用的应用程序而构成。
如此，根据本实用新型的实施例，通过识别前方的人行横道进而视听性表现出人行横道识别结果，通过人行横道的识别与注意提醒可引导驾驶人的安全驾驶。并且，根据本实用新型的实施例，通过将人行横道识别结果与地图数据进行比较进而修正与自身车辆相关的地图映射位置，可最小化导航的地图映射错误进而提高与位置引导相关的用户信赖度。尤其，根据本实用新型的实施例，根据人行横道上的行人或前方车辆、与信号灯的信号状态相关的识别结果，通过区分进而提供引导信息，可准确并具体告知周边情况，从而可提醒驾驶人并与驾驶人的安全行驶一起，可保证人行横道中的行人安全。
根据本实用新型实施例的方法可通过多种计算机系统能执行的程序命令形态而实现进而可记录在计算机可读媒介中。并且，根据本实施例的程序可按基于计算机的程序或移动终端专用的应用程序而构成。
如上说明的装置可通过硬件构成要素、软件构成要素、和/或硬件构成要素与软件构成要素的组合而实现。例如，实施例中说明的装置和构成要素，例如，如处理器、控制器、算术逻辑单元(ALU，Arithmetic Logic Unit)、数字信号处理器(Digital SignalProcessor)、微型计算机、现场可编程阵列(FPA，Field Programmable Array)、可编程逻辑单元(PLU，Programmable Logic Unit)、微处理器、或可执行命令并应答的其他任意装置，可利用一个以上的法用计算机或特殊目的计算机而实现。处理装置可执行运行系统(OS)和上述运行系统中执行的一个以上的软件应用程序。并且，处理装置与软件的执行相应答，进而可访问、存储、操作、处理和生成数据。为了便于理解，处理装置虽然存在按使用一个而进行说明的情况，但相关技术领域中具有通常知识的人员可知悉处理装置可包括多个处理要素和/或多个类型的处理要素。例如，处理装置可包括多个处理器，或一个处理器与一个控制器。并且也可为如并行处理器(parallel processor)之其他处理构成(processingconfiguration)。
软件可包括计算机程序(computer program)、编码、命令、或其中一个以上的组合，且可按希望进行的操作而构成处理装置，或独立或联合(collectively)命令处理装置。软件和/或数据，根据处理装置被解析或为了向处理装置提供命令或数据，可在任何类型的机器、构成要素、物理装置、虚拟装置(virtual equipment)、计算机存储媒介或装置、或传送的信号波(signal wave)中永久性或临时性地进行具体化(embody)。软件分散在与网络连接的计算机系统中，进而可以分散的方法进行存储或执行。软件和数据可存储在一个以上的计算机可读写记录媒介中。
根据实施例的方法可按通过各种计算机设备能执行的程序命令形态而实现进而可被记录在计算机可读写媒介中。上述计算机可读写媒介可单独或组合包括程序命令、数据文件以及数据结构等。记录在上述媒介中的程序命令可是为了实施例而特别设计构成的或是对计算机软件技术人员来说已为公知而使用的。计算机可读写记录媒介的示例可包括如硬盘、软磁盘和磁带之磁性介质(magnetic media)；如CD-ROM、DVD之光介质(opticalmedia)；如光磁软盘(floptical disk)之磁光介质(magneto-optical media)；以及如ROM、RAM和闪存(flash memory)之为存储并执行程序命令而特别构成的硬件装置。程序命令的示例不仅包括依编程人员编写的机器语言代码而且也包括使用解释器(interpreter)等根据计算机可实行的高级语言代码。上述硬件装置可按为执行实施例的操作而运行作为一个以上的软件模块进行构成，反之也相同。
如上所述，虽然根据实施例所限定的实施例和附图进行了说明，但对本技术领域具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如，根据与说明的技术中所说明的方法相不同的顺序来进行，和/或根据与说明的系统、结构、装置、电路等构成要素所说明的方法相不同的形态进行结合或组合，或根据其他构成要素或均等物进行替换或置换也可达成适当的效果。
因此，其他具体体现、其他实施例以及与权利要求范围相均等的都属于所述的权利要求所保护的范围。

Claims (9)

1.一种电子装置，包括：
显示部，显示画面；
识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道；
修正部，将所述人行横道识别结果和与所述车辆相关的GPS接收位置的地图数据相比较，根据所述比较结果，修正与所述GPS接收位置相关的地图映射位置；以及
控制部，控制所述显示部，以将所述修正的地图映射位置作为所述车辆的当前位置而在所述画面上输出。
2.如权利要求1所述的电子装置，其特征在于，所述修正部，在所述地图数据中以所述GPS接收位置为基准，确认在临界范围内是否存在实际人行横道，且当所述实际人行横道的存在与否与所述人行横道识别结果不一致时，对所述地图映射位置进行修正。
3.一种电子装置，包括：
显示部，显示画面；
识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道且识别与所述车辆的前方行驶相关的周边情况；以及
控制部，根据所述周边情况识别结果，区分与所述人行横道识别结果相关的引导信息，控制所述显示部，以在所述画面上输出。
4.如权利要求3所述的电子装置，其特征在于，所述控制部，以与所述车辆相关的GPS接收位置为基准，判断所述车辆是否位于已设定的特定区域，且根据所述车辆是否位于所述特定区域而不同地输出所述引导信息。
5.如权利要求3所述的电子装置，其特征在于，
所述识别部，识别所述人行横道上的行人，
所述控制部，根据所述行人识别结果不同地输出所述引导信息。
6.一种电子装置，包括：
显示部，显示画面；
识别部，从在车辆的运行中照相机拍摄的影像数据中识别位于所述车辆周围的人行横道且识别与所述车辆的前方行驶相关的周边情况；以及
控制部，根据所述人行横道识别结果，区分与所述周边情况识别结果相关的引导信息，控制所述显示部，以在所述画面上输出。
7.如权利要求6所述的电子装置，其特征在于，所述识别部，识别位于所述车辆前方的前方车辆，
所述控制部，根据所述人行横道识别结果不同地输出与所述前方车辆识别结果相关的引导信息。
8.如权利要求6所述的电子装置，其特征在于，所述识别部，识别位于所述车辆的前方的信号灯，
所述控制部，根据所述人行横道识别结果不同地输出与所述信号灯识别结果相关的引导信息。
9.如权利要求6所述的电子装置，其特征在于，所述识别部，通过分析经由所述照相机拍摄的所述车辆的周围的影像，在所述影像内识别人行横道，
通过在所述影像的水平线适用最小-最大滤波器，在生成所述影像二进制化形成的二进制化影像后，在所述二进制化影像内，通过检测出显示所述人行横道的图案，在所述影像内识别所述人行横道。
CN201620454996.8U 2015-05-22 2016-05-18 用于提供利用人行横道识别结果的引导信息的电子装置 Active CN205992300U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0072119 2015-05-22
KR1020150072119A KR102371587B1 (ko) 2015-05-22 2015-05-22 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
CN205992300U true CN205992300U (zh) 2017-03-01

Family

ID=57324738

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201620454996.8U Active CN205992300U (zh) 2015-05-22 2016-05-18 用于提供利用人行横道识别结果的引导信息的电子装置
CN201910276113.7A Active CN110160536B (zh) 2015-05-22 2016-05-18 利用人行横道识别结果的引导信息提供装置及方法
CN201811219834.6A Active CN109506664B (zh) 2015-05-22 2016-05-18 利用人行横道识别结果的引导信息提供装置及方法
CN201610331093.5A Active CN106169244B (zh) 2015-05-22 2016-05-18 利用人行横道识别结果的引导信息提供装置及方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201910276113.7A Active CN110160536B (zh) 2015-05-22 2016-05-18 利用人行横道识别结果的引导信息提供装置及方法
CN201811219834.6A Active CN109506664B (zh) 2015-05-22 2016-05-18 利用人行横道识别结果的引导信息提供装置及方法
CN201610331093.5A Active CN106169244B (zh) 2015-05-22 2016-05-18 利用人行横道识别结果的引导信息提供装置及方法

Country Status (3)

Country Link
US (2) US9851208B2 (zh)
KR (2) KR102371587B1 (zh)
CN (4) CN205992300U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108569204A (zh) * 2017-03-10 2018-09-25 株式会社斯巴鲁 图像显示装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6780609B1 (en) 1998-10-23 2004-08-24 Genome Therapeutics Corporation High bone mass gene of 1.1q13.3
US9846969B2 (en) 2014-12-01 2017-12-19 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
CN106600955A (zh) * 2015-10-14 2017-04-26 富士通株式会社 检测交通状态的方法、装置和电子设备
US10325163B2 (en) * 2016-11-22 2019-06-18 Ford Global Technologies, Llc Vehicle vision
KR102619326B1 (ko) * 2016-12-01 2024-01-02 주식회사 에이치엘클레무브 이미지 피라미드를 이용한 차량 인식 장치 및 방법
US10198657B2 (en) * 2016-12-12 2019-02-05 National Chung Shan Institute Of Science And Technology All-weather thermal-image pedestrian detection method
DE102017211605A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrerassistenzsystem
CN107733755B (zh) * 2017-09-30 2020-05-26 联想(北京)有限公司 处理方法及其系统和计算系统
CN108776767B (zh) * 2018-04-18 2019-12-17 福州大学 一种有效判别车辆压线及预先提示系统
CN109334566B (zh) * 2018-08-31 2022-01-25 阿波罗智联(北京)科技有限公司 用于提供车外反馈的方法、装置、设备和存储介质
CN109214334B (zh) * 2018-09-03 2020-12-29 百度在线网络技术（北京）有限公司 车道线处理方法和装置
US10915762B1 (en) * 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling
US10991244B2 (en) 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. On-board vehicle stop cause determination system
US11435751B2 (en) 2018-12-28 2022-09-06 Beijing Voyager Technology Co., Ltd. Vehicle-based road obstacle identification system
WO2020139392A1 (en) * 2018-12-28 2020-07-02 Didi Research America, Llc Vehicle-based road obstacle identification system
CN113748448B (zh) * 2018-12-28 2023-03-07 北京航迹科技有限公司 基于车辆的虚拟停止线和让行线检测
US10990105B2 (en) 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. Vehicle-based virtual stop and yield line detection
CN111698459B (zh) * 2019-04-26 2021-07-27 广东邦盛北斗科技股份公司 对象参数实时解析方法
KR102186349B1 (ko) 2020-06-10 2020-12-03 주식회사 월드씨앤에스 Cctv 카메라와 안내방송을 이용한 신호등 없는 횡단보도에서의 보행자 안내 시스템 및 방법
KR102497246B1 (ko) * 2020-12-31 2023-02-07 재단법인 경북아이티융합 산업기술원 특징점을 이용한 차선 검출 장치
CN112800989A (zh) * 2021-02-02 2021-05-14 上海博泰悦臻电子设备制造有限公司 一种检测斑马线的方法及装置
WO2024050320A1 (en) * 2022-08-28 2024-03-07 Fleetmind Seon Solutions Inc. Computer-based tools and techniques for vehicle detection
US20240218613A1 (en) * 2023-01-03 2024-07-04 Crafco, Inc. Systems and methods for identifying paved surface features and estimating repairs

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3471003B2 (ja) * 2000-02-02 2003-11-25 松下電器産業株式会社 交差点表示方法およびその地図表示装置並びに記録媒体
JP3872638B2 (ja) * 2000-08-29 2007-01-24 株式会社日立製作所 クルーズコントロールシステムおよびそれが搭載された車両
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
JP2006177862A (ja) * 2004-12-24 2006-07-06 Aisin Aw Co Ltd ナビゲーション装置
CN101030256B (zh) * 2006-02-28 2010-05-12 东软集团股份有限公司 车辆图像分割方法和装置
US20090105936A1 (en) * 2006-04-20 2009-04-23 Hiroaki Shibasaki Route guidance apparatus, route guidance method, route guidance program and computer-readable recording medium
JP4680131B2 (ja) * 2006-05-29 2011-05-11 トヨタ自動車株式会社 自車位置測定装置
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP4783431B2 (ja) * 2006-09-28 2011-09-28 パイオニア株式会社 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
JP4453046B2 (ja) * 2007-03-30 2010-04-21 アイシン・エィ・ダブリュ株式会社 車両挙動学習装置及び車両挙動学習プログラム
JP4437556B2 (ja) * 2007-03-30 2010-03-24 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP4831434B2 (ja) * 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
US8031062B2 (en) * 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP4614005B2 (ja) * 2009-02-27 2011-01-19 トヨタ自動車株式会社 移動軌跡生成装置
JP5216665B2 (ja) * 2009-03-31 2013-06-19 アイシン・エィ・ダブリュ株式会社 地図データ更新システム及び地図データ更新プログラム、並びにこれを利用したナビゲーション装置及び車両制御装置
US20110130956A1 (en) * 2009-11-30 2011-06-02 Nokia Corporation Method and apparatus for presenting contextually appropriate navigation instructions
US9180908B2 (en) * 2010-11-19 2015-11-10 Magna Electronics Inc. Lane keeping system and lane centering system
JP5569365B2 (ja) * 2010-11-30 2014-08-13 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、及び案内プログラム
CN102670383B (zh) * 2011-03-05 2013-11-06 山东申普交通科技有限公司 基于图像识别技术的全自动可载人导盲车及控制方法
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US9269178B2 (en) * 2012-06-05 2016-02-23 Apple Inc. Virtual camera for 3D maps
CN102693637B (zh) * 2012-06-12 2014-09-03 北京联合大学 十字路口处右转车辆避让行人提示信号灯
US20150141043A1 (en) * 2013-08-23 2015-05-21 Cellepathy Ltd. Corrective navigation instructions
US20150168174A1 (en) * 2012-06-21 2015-06-18 Cellepathy Ltd. Navigation instructions
JP5926645B2 (ja) * 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
KR101338124B1 (ko) * 2012-11-09 2013-12-06 재단법인대구경북과학기술원 스마트 교통 제어 시스템
KR101344034B1 (ko) * 2013-08-21 2013-12-24 주식회사 넥스파시스템 보행자 인식기반 사고방지 시스템 및 그 제어 방법
CN103465857A (zh) * 2013-09-17 2013-12-25 上海羽视澄蓝信息科技有限公司 一种基于手机的汽车主动安全的预警方法
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
CN103700280A (zh) * 2013-12-19 2014-04-02 广西大学 一种智能引导停车场管理系统
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108569204A (zh) * 2017-03-10 2018-09-25 株式会社斯巴鲁 图像显示装置
CN108569204B (zh) * 2017-03-10 2022-11-01 株式会社斯巴鲁 图像显示装置

Also Published As

Publication number Publication date
CN106169244A (zh) 2016-11-30
US10551198B2 (en) 2020-02-04
CN109506664A (zh) 2019-03-22
US20180073877A1 (en) 2018-03-15
CN109506664B (zh) 2022-08-30
CN110160536B (zh) 2024-02-20
KR102371587B1 (ko) 2022-03-07
CN106169244B (zh) 2019-04-30
CN110160536A (zh) 2019-08-23
US9851208B2 (en) 2017-12-26
KR102441085B1 (ko) 2022-09-06
US20160341558A1 (en) 2016-11-24
KR20160137247A (ko) 2016-11-30
KR20220000977A (ko) 2022-01-04

Similar Documents

Publication Publication Date Title
CN205992300U (zh) 用于提供利用人行横道识别结果的引导信息的电子装置
US20210264176A1 (en) Hazard detection from a camera in a scene with moving shadows
Soilán et al. Traffic sign detection in MLS acquired point clouds for geometric and image-based semantic inventory
US8890951B2 (en) Clear path detection with patch smoothing approach
US8634593B2 (en) Pixel-based texture-less clear path detection
US8379928B2 (en) Obstacle detection procedure for motor vehicle
US8611585B2 (en) Clear path detection using patch approach
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8670592B2 (en) Clear path detection using segmentation-based method
Prisacariu et al. Integrating object detection with 3D tracking towards a better driver assistance system
CN112712057B (zh) 交通信号识别方法、装置、电子设备及存储介质
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
EP2549457A1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
CN102997900A (zh) 外界识别方法、装置以及车辆系统
CN111507327B (zh) 一种目标检测方法及装置
JP2020064583A (ja) 車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステム
US20190213427A1 (en) Detection and Validation of Objects from Sequential Images of a Camera
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
CN103854293A (zh) 一种基于特征点匹配的车辆跟踪方法及装置
Chen Road vehicle recognition algorithm in safety assistant driving based on artificial intelligence
Wang et al. Traffic lights detection and recognition based on multi-feature fusion
CN107506739A (zh) 一种夜间前向车辆检测及测距方法
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
CN104931024B (zh) 障碍物检测装置

Legal Events

Date Code Title Description
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210816

Address after: Seoul, South Kerean

Patentee after: Hyundai Motor Co.,Ltd.

Patentee after: Kia Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Patentee before: THINKWARE SYSTEMS Corp.

TR01 Transfer of patent right