CN111292351A - 车辆检测方法及执行其的电子设备 - Google Patents

车辆检测方法及执行其的电子设备 Download PDF

Info

Publication number
CN111292351A
CN111292351A CN201911240329.4A CN201911240329A CN111292351A CN 111292351 A CN111292351 A CN 111292351A CN 201911240329 A CN201911240329 A CN 201911240329A CN 111292351 A CN111292351 A CN 111292351A
Authority
CN
China
Prior art keywords
vehicle
image
detected
search area
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911240329.4A
Other languages
English (en)
Inventor
金信亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Thinkware Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190151276A external-priority patent/KR20200070100A/ko
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Publication of CN111292351A publication Critical patent/CN111292351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明涉及车辆检测方法，本发明包括：接收连续拍摄的前方图像的步骤；在所述前方图像中，基于在之前图像中检测的车辆的位置或车辆区域设定目标图像内所述车辆的搜索区域的步骤；在所述搜索区域中，根据机器学习模型检测所述车辆的步骤；以及根据基于所述机器学习模型的车辆检测结果，利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆的步骤。根据本发明，本发明并不将影像整体用为车辆检测区域，因此，处理速度变快，并且可以不间断地连续呈现由增强现实导航中追踪的前方车辆，从而可以向用户提供稳定的服务。

Description

车辆检测方法及执行其的电子设备
技术领域
本发明涉及车辆检测方法及电子设备。
背景技术
随着互联网的开放及与位置数据有关的法律的整顿，基于位置的服务(LocationBased Service，LBS)相关产业变得活跃。作为基于位置的服务的一个领域，测量安装有设备的车辆等的当前位置或者向目的地引导移动路线的车辆用导航相关产业变得活跃，与此同时，在发生事故或事件的情况下，为了掌握事故发生原因，记录车辆的运行影像的车辆用黑匣子产业也变得活跃，安装有车辆用数码录影机(Digital Video Recorder)或仪表板摄像头(Dashboard camera)的车辆逐渐增多。
最近，除路线引导和拍摄行驶影像的主要功能之外，开发了以多种影像处理技术为基础用于辅助驾驶人员的行驶应用技术，具体而言，开发及适用了对通过设置于车辆的多种传感器获取的影像进行分析并检测影像内的多个对象来判断与行驶有关的信息并向驾驶人员提供先进的驾驶人员辅助系统(ADAS，Advanced Driver Assistance System)。
在先进驾驶辅助系统的情况下，按多种情况，向驾驶人员提供引导信息，作为其中的一个，开发并适用了以识别前方的车辆并维持与前方车辆的适当安全距离的方式提供引导信息的前方车辆碰撞警告系统(FVCWS，Forward Vehicle collision warning system)。
例如，前方车辆碰撞警告系统可预先把握在自己的车辆运行过程中，与前方车辆的距离变成规定距离以内而存在碰撞危险性、在自己的车辆维持当前速度的情况下，存在与前方车辆碰撞的可能性或者因前方车辆导致的突出因素而发生事故的情况来提供与所述情况有关的讲稿信息。并且，开发了除与前方车辆的碰撞之外，在等待信号或停车状态下，如提醒车辆的出发的功能，以前方车辆的识别为前提，向驾驶人员提供行驶引导信息的技术。
因此，为了提高这种技术的准确度，需要从所拍摄的行驶影像准确地检测前方车辆。
发明内容
本发明的目的在于，提供稳定且准确地检测前方车辆的方法。进而，本发明的目的在于，提供可以通过所检测的前方车辆支援安全驾驶的电子设备及电子设备的前方碰撞引导方法。
用于解决所述技术问题的本发明一实施例车辆检测方法包括：接收连续拍摄的前方图像的步骤；在所述前方图像中基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内所述车辆的搜索区域的步骤；在所述搜索区域中根据机器学习模型来检测所述车辆的步骤；以及根据基于所述机器学习模型的车辆检测结果并利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆的步骤。
优选地，所述搜索区域以在所述之前图像中检测的车辆区域为基准扩大设定。
优选地，所述搜索区域根据所述检测的车辆的大小扩大设定。
优选地，在所述追踪步骤中，从在所述之前图像中检测的车辆区域中提取所述车辆的特征点来追踪所述车辆。
优选地，在基于所述机器学习模型的车辆检测失败或者所检测的车辆的可靠性为基准以下的情况下，利用所提取的所述车辆的特征点来在所述目标图像追踪所述车辆的位置。
优选地，在所述追踪步骤中，与所述检测步骤的车辆检测并行追踪所述车辆，在基于所述检测步骤的机器学习模型的车辆检测成功或所检测的车辆的可靠性为基准以上的情况下，结束所述车辆的追踪。
优选地，所述车辆检测方法还包括根据预先确定的用户界面显示所述检测或所述追踪的车辆的步骤。
优选地，在所述显示步骤中，根据预先确定的用户界面显示基于所述车辆的前方碰撞相关提醒。
优选地，所述检测步骤还包括从多个之前图像获取所述车辆的特征点的移动向量，以所述移动向量和所述搜索区域为基础来生成修改搜索区域的步骤，所述车辆检测方法包括在所述修改搜索区域中根据机器学习模型来检测所述车辆的步骤。
优选地，所述移动向量以表现多个之前图像各自的所述车辆的特征点的多个位置的关系为基础生成。
优选地，所述修改搜索区域的中心位置以所述搜索区域的中心位置和所述移动向量为基础确定，所述修改搜索区域的宽度以所述移动向量的方向或大小为基础确定。
用于解决所述技术问题的本发明一实施例车辆检测装置包括：影像输入部，用于接收连续拍摄的前方图像；区域设定部，在所述前方图像中，基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内所述车辆的搜索区域；车辆检测部，根据机器学习模型，在所述搜索区域中检测所述车辆；以及车辆追踪部，根据基于所述机器学习模型的车辆检测结果，利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆。
优选地，所述搜索区域以在所述之前图像中检测的车辆区域为基准扩大设定。
优选地，所述搜索区域根据所述检测的车辆的大小扩大设定。
优选地，所述车辆追踪部从在所述之前图像中检测的车辆区域中提取所述车辆的特征点来追踪所述车辆。
优选地，在基于所述机器学习模型的车辆检测失败或者所检测的车辆的可靠性为基准以下的情况下，所述车辆追踪部利用所提取的所述车辆的特征点来在所述目标图像追踪所述车辆的位置。
优选地，所述车辆追踪部与所述检测步骤的车辆检测并行追踪所述车辆，在基于所述检测步骤的机器学习模型的车辆检测成功或所检测的车辆的可靠性为基准以上的情况下，结束所述车辆的追踪。
优选地，所述车辆检测装置还包括根据预先确定的用户界面显示所述检测的或所述追踪的车辆的输出部。
优选地，所述输出部根据预先确定的用户界面显示基于所述车辆的前方碰撞相关提醒。
用于解决所述技术问题的本发明一实施例车辆碰撞警告方法包括：接收连续拍摄的前方图像的步骤；在所述前方图像中基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内所述车辆的搜索区域的步骤；在所述搜索区域中根据机器学习模型来检测所述车辆的步骤；根据基于所述机器学习模型的车辆检测结果并利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆的步骤；以及根据与所述检测或追踪的车辆的距离及相对速度判断碰撞可能性的步骤。
本发明的问题的解决方案并不局限于所述解决方案，本发明所属技术领域的普通技术人员可以明确理解未提及的解决方案能够从本说明书及附图导出。
发明效果
根据本发明，本发明并不将影像整体用为车辆检测区域，因此，处理速度变快，并且可以不间断地连续呈现由增强现实导航中追踪的前方车辆，从而可以向用户提供稳定的服务。
并且，可适用于智能型驾驶人员辅助系统(Advanced Driving AssistanceSystem)的前方车辆碰撞警告系统，提高利用所学习的车辆信息来检测前方车辆的基于机器学习的车辆检测及追踪的处理速度。
附图说明
图1为示出本发明一实施例的电子设备的框图。
图2为示出本发明一实施例的车辆检测方法的流程图。
图3至图4c为更加详细地示出本发明一实施例的车辆检测方法的流程图。
图5至图7为示出本发明一实施例的适应性搜索区域的设定的例示图。
图8为示出在本发明一实施例的车辆检测方法中的基于机器学习模型的车辆检测和基于特征点提取的车辆追踪的例示图。
图9为示出本发明一实施例的系统的框图。
图10为用于说明与本发明一实施例的系统相连接的系统网络的图。
图11a及图11b为示出本发明一实施例的系统的前方碰撞警告引导画面的图。
图12为示出在本发明一实施例的系统不具有拍摄部的情况下的体现形态的图。
图13为示出在本发明一实施例的系统具有拍摄部的情况下的体现形态的图。
图14为示出利用本发明一实施例的平视显示器(HUD，Head-Up Display)的体现形态的图。
图15为示出本发明一实施例的自动行驶车辆的结构的框图。
图16为示出本发明一实施例的控制装置的细节结构的框图。
具体实施方式
以下的内容仅例示发明的原理。因此，本发明所属技术领域的普通技术人员可以发明虽并未在说明书中明确说明或示出但体现发明的原理且包含在发明的概念中的多种装置。并且，在本说明书中列举的所有条件部术语及实施例仅用于明确理解本发明的概念，而并不局限于如上所述的特别列举的实施例及状态。
所述目的、特征及优点通过与附图有关的以下的详细说明将变得更加明确，由此，本发明所属技术领域的普通技术人员可以轻松实施本发明的技术思想。
并且，在说明本发明的过程中，在判断对于与本发明有关的公知技术的具体说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。以下，参照附图，详细说明本发明的优选实施例。
本发明的所述目的、特征及优点通过与附图有关的以下的详细说明将变得更加明确。只是，本发明具有多种变更，并可具有多种实施例，以下，在附图中例示特定实施例并对其进行详细说明。在整个说明书中，相同的附图标记表示相同的结构要素。并且，在对于与本发明有关的公知功能或结构的具体说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。
以下，参照附图，详细说明与本发明有关的电子设备及服务器的结构。对于在以下的说明中所使用的结构要素的词尾“模块”及“部”仅考虑说明书制定的简单性而赋予或者混用，其自身并不具有相互区别的含义或作用。
在本说明书中所使用的电子设备可以包括手机、智能手机(smart phone)、笔记本电脑(notebook computer)、数字广播终端、个人数据助理(PDA，Personal DigitalAssistant)、便携式多媒体播放器(PMP，Portable Multi-media Player)、导航终端等。以下，为了说明的便利，将所述电子设备假设为导航终端来进行说明。
交通相关影像为从用户设备及其他装置(例如，CCTV等)收集的交通影像，可以为道路拥堵信息、路面状态信息、事故信息、道路事故信息等的静止影像、视频的影像数据。
以下，参照附图，详细说明本发明。
参照图1，说明本发明一实施例电子设备10。
图1为本发明一实施例的电子设备10的框图。
在本实施例中，电子设备10可包括影像输入部12、区域设定部14、车辆检测部16及车辆追踪部18。
影像输入部12接收在车辆的行驶过程中拍摄的影像。
影像输入部12可以接收通过设置于电子设备10的摄像头模块直接拍摄的前方图像。或者从外部的至少一个摄像头(未图示)可以直接接收与车辆行驶有关的影像。例如，在电子设备10以车辆的导航装置动作的情况下，影像输入部12接收在车辆的黑匣子装置拍摄的影像。
具体而言，在本实施例中，影像输入部12获取的影像可以为连续拍摄的视频。即，可按预先确定的每秒帧的比例输入多个前方图像。并且，在此情况下，接收前方图像的帧比例可通过车辆的速度、周边环境的天气等多种条件变更。
区域设定部14基于在所述前方图像中的之前图像中检测的车辆的位置或车辆区域来设定目标图像内的所述车辆的搜索区域。
区域设定部14代替以由后述的车辆检测部16输入的前方图像的整体为对象搜索车辆，预先设定有可能存在车辆的区域，并可以在所设定的区域内检测车辆。
具体而言，区域设定部14可以利用在之前图像中检测的车辆的信息。
通常，在按每秒30帧的比例输入影像的情况下，即使考虑车辆的速度，只要前方车辆的移动不明显，以存在于之前图像的位置为基准，在规定区域内依然存在前方车辆。
因此，区域设定部14以在之前图像中检测的车辆的位置为基准来设定检测下一个图像的车辆的候补区域。
并且，可利用所检测的车辆的区域设定候补区域。
具体而言，在本实施例中，通过所检测的车辆的区域把握前方车辆的大小，以大小为基准扩展宽度和高度来设定搜索区域。
车辆检测部16根据机器学习(Machine Learning)模型在设定的搜索区域检测车辆。
具体而言，为了提高车辆检测的处理速度，通过生成适应性检测区域的方法确定Haar算法并通过学习方法检测车辆，检测之后，扩展所检测的车辆的区域来用在下一个图像的检测区域。
在本实施例中，在用为学习方法的Haar算法中，特定特点(feature)为明暗差，由此，在图像中，利用区域和区域的亮度差来找出特征，在本实施例中，学习车辆的特征亮度差并基于此找出特点来检测前方车辆。
在本实施例中，除haar之外，在用于前方车辆的检测的学习所利用的算法可以利用多种影像处理方法，可以利用梯度方向直方图(HOG，Histogram of Oriented Gradient)和局部位模式(LBP，Local Bit Pattern)特征点提取方法。并且，学习算法可以适用Adaboost和支持向量机(SVM，Support Vector Machine)算法。
只是，本实施例的检测方法为了弥补仅通过基于机器学习的检测追踪车辆的情况下有可能发生的问题，当未检测时，通过基于特征点(Feature Point)的车辆追踪，可以不间断地连续检测车辆。
因此，在目标图像的设定搜索区域内，在车辆追踪部18的车辆检测失败的情况下，在之前前方图像或之前前方图像的车辆区域提取特征点并利用光流追踪车辆区域。
在此情况下，在本实施例中，参照图8，车辆检测部16追踪车辆追踪部18的车辆区域并持续进行基于机器学习的车辆检测。
即，若车辆检测成功，则车辆追踪部18的追踪过程将会停止，通过检测的车辆区域设定适应性搜索区域并继续执行车辆检测。
并且，车辆追踪部18利用光流来追踪前方车辆的移动。
以下，参照图2至图4，更加详细说明本发明一实施例的车辆检测方法。
图2为示出本实施例的车辆检测方法的流程图。
参照图2，影像输入部接收连续拍摄的前方图像(S10)。
影像输入部12按确定的帧比例接收通过摄像头模块拍摄的前方图像。
例如，可以连续接收按每秒30帧的比例拍摄的前方图像，在设定接收影像的帧比例的情况下，按设定的帧比例接收拍摄的前方图像。
在连续输入的前方图像中，区域设定部14基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内的所述车辆的搜索区域(S20)。
在本实施例中，之前图像可以为所输入的前方图像中的至少一个图像，可以包括单一图像和多个图像。
并且，目标图像可以为在所输入的前方图像中作为对象的提取对象的图像。
在本实施例中，若在之前图像中检测车辆，则区域设定部14基于车辆的位置或识别成车辆的区域来设定搜索区域，在此情况下，可以将设定的搜索区域适用于目标图像。
具体而言，参照图3，若输入前方图像，则区域设定部14可以优先确认是否存在适应性搜索区域(S22)。
在对于之前的前方图像的车辆检测成功的情况下，区域设定部14根据在之前的前方图像中检测的车辆的信息适应性扩展搜索区域来生成搜索区域，可以从下一个目标前方图像设定搜索车辆的区域。
因此，确认适应性搜索区域的存在与否(S22)，在存在的情况下，可以设定为用于车辆的检测的区域(S24)。
若设定搜索区域，则车辆检测部16根据机器学习模型在搜索区域中检测车辆(S30)。
参照图3，在检测车辆的步骤(S30)中，在前方图像的搜索区域内检测车辆。根据机器学习模型学习前方车辆的图像信息，在搜索去内检测检测与此相对应的对象并将对象识别成前方车辆。
并且，在本实施例中，当设定用于检测车辆的候补区域时，可以利用所检测的车道线来设定所述候补区域(S23)。即，在本实施例中，当在前方图像设定用于检测车辆的候补区域时，将基于通过所述区域的范围检测的车道线的前进车道设定为检测对象区域，由此，可以有效且迅速地检测车辆。
与车辆相比，车道线呈简单且规定的形状，因此，可以更加简单地在图像内被检测，车辆检测部16可利用所检测的车道线来检测车辆(S30)。
在本实施例中，被检测的车辆可以将前方车辆作为目标，因此，可以利用车道线，以使当前车辆可以将行驶中的车道内的车辆检测为前方车辆。
通常，在检测的车道内存在车辆，因此，区域设定部14可以将搜索区域的设定确定为前进车道内。
进而，在本实施例中，适应性搜索区域可以适应性考虑车辆的大小来扩大设定，因此，为了判断车辆的大小而可考虑车道线与车辆的比例。
车道线的宽度可根据一般道路的基准预先规格化来确定，以此，在所确定的车道线的宽度中，可通过车辆的宽度的比例来判断车辆的种类并基于此用于搜索区域的设定。
在不存在预先生成的适应性搜索区域的情况下，车辆检测部16在没有设定搜索区域的情况下，可根据机器学习模型从前方图像检测车辆。
例如，在用于激活本实施例的前方车辆的检测功能的情况下，在最初激活时间点未生成之前的搜索区域，因此，可以利用整个前方图像来检测前方车辆。
或者，如上所述，可利用前方图像内的车道线的信息来限定搜索区域的一部分，从而用于最初前方车辆的检测。
或者，以前方图像的消失点为基准识别道路区域并在对应区域内检测前方车辆。
并且，在不存在搜索区域且从最初的的前方图像检测车辆的情况下，从整个图像区分背景区域和道路区域，对道路区域优先检测车辆行驶的行驶车道线，并将位于车道内的对象检测为前方车辆。
在车辆检测部16从最初的前方图像检测车辆的情况下，区域设定部14利用以在之前图像中检测的车辆为基准生成的适应性搜索区域来设定检测车辆的目标图像的搜索区域。
进而，在本实施例中，车辆检测部16可判断是否检测车辆。
即，即使存在搜索区域，也有可能发生因其他光学因素、周边环境的变化、或其他误差而未检测车辆的情况下。
因此，在本实施例中，在车辆检测方法中，在未检测到前方车辆的情况下，可通过追踪车辆来连续检测车辆。
前方车辆的检测可以执行用于辅助如前方碰撞情况的安全驾驶的功能，若即使存在前方车辆，也因前方车辆的检测失败而错误识别成前方不存在车辆，则可以向用户提供错误运行信息，因此，本实施例的车辆检测方法为了提高功能的稳定性而提出在未检测到车辆的情况下，可根据机器学习模型辅助检测车辆的方法。
参照图4a，更加详细地说明本发明，在检测车辆的步骤(S30中)，确认前方车辆的检测是否成功(S32)，在成功检测的情况下，通过所检测的车辆的信息适应性生成搜索区域(S34)。
但是，在车辆的检测通过机器学习模型失败的情况下，附加的车辆追踪部18利用车辆特征点继续追踪车辆。
因此，在追踪步骤(S40)中，在基于机器学习模型的车辆检测失败的情况下，车辆追踪部18可以从之前提取的车辆的图像优先确定是否存在特征点(S42)。
在本实施例中，特征点可以为由具有光学特征的图像的一个像素或多个像素构成的一区域。例如，可以从最近检测的前方车辆的图像，将具有基准值以上的亮度或具有与周边对象比较区分的特征值的区域用为特征点。
并且，特征点可以被设定为在连续输入的前方图像的车辆区域中变化少的值。
即，车辆追踪部18可以将与周边的其他对象区分且在车辆内的特定值的变化少的区域设定为特征点。
在预先设定满足以上条件的特征点的情况下，利用特征点的光流(Optical Flow)来追踪车辆区域(S44)。
在不存在预先设定的特征点的情况下，在之前前方图像的适应性搜索区域内提取特征点(S46)，根据后续输入的前方图像内的光流，追踪在之前图像中提取的特征点来识别车辆(S44)。
以上，所述车辆的检测或追踪过程可以根据前方图像的连续输入(S10)反复执行。
在本实施例中，车辆追踪部18对检测的车辆的可靠性与基准值进行比较，可以判断在车辆的检测失败的情况。即，即使通过机器学习模型检测车辆，与之前车辆的图像进行比较，在可靠性低的情况下，可以利用特征点追踪车辆。
在本实施例中，可靠性为用于确定是否执行车辆追踪部18的车辆追踪的基准，车辆追踪部18判断由车辆检测部16在影像中检测的对象是否为车辆来确定是否执行车辆的追踪。
例如，与对预先确定的车辆判断基准(例如，对象的大小、形状、颜色或与之前图像内的对象的相同度等)比较由车辆检测部16检测的图像内的对象是否为前方车辆来将与基准相同程度判断为识别的对象的可靠性。因此，例如，在所检测的对象的可靠性小于50％的情况下，车辆追踪部18判断为车辆的检测失败并执行车辆的追踪。
并且，在本实施例中，车辆检测部16直接判断在图像内检测的对象的可靠性。因此，车辆检测部16判断对于所检测对象的车辆的可靠性，在基准以下的情况下，判断为车辆检测失败或向车辆追踪部18传递结果来执行基于车辆追踪部18的车辆追踪。
只是，在本实施例的车辆检测方法中，在检测车辆的步骤(S30)中失败检测，从而执行利用特征点的车辆追踪步骤(S40)，车辆检测步骤(S30)的基于机器学习模型的车辆的检测将持续执行。
即，在本实施例中，车辆检测方法以基于机器学习模型的车辆检测执行为基准设定，在基于机器学习模型的车辆检测失败的情况下，为了持续识别前方车辆的移动而执行附加执行基于光流的车辆追踪。
因此，在执行基于持续机器学习模型的车辆检测的过程中，在车辆检测失败的情况下，追加执行基于光流的车辆追踪，在基于机器学习模型的车辆检测成功的情况下，停止基于光流的车辆追踪，仅执行基于机器学习模型的车辆检测动作。
并且，在本实施例中，当车辆检测步骤(S30)与追踪车辆的步骤(S40)一同执行时，可以利用车辆的追踪结果。
即，在检测车辆的步骤(S30)中，当为了提高车辆检测的成功率而设定适应性搜索区域时，可以利用在车辆的追踪过程中判断的特征点的信息。
具体而言，在车辆检测步骤(S30)中，可以从多个之前图像获取所述车辆的特征点的移动向量。
即，区域设定部14通过移动向量计算光流并可以在之前图像生成的适应性搜索区域反映移动向量。
因此，在区域设定步骤(S20)中，以所述移动向量和所述搜索区域为基础生成修改搜索区域。具体而言，根据移动向量的大小和方向确定搜索区域的扩展值并生成修改搜索区域。
之后，在检测车辆的步骤(S30)中，在修改搜索区域内，根据机器学习模型执行车辆检测并进一步提高车辆的检测概率。
追加地，在本实施例中，在检测车辆的步骤(S30)中，在根据机器学习模型检测车辆的情况下，可以利用根据车辆的大小或与前方车辆的距离特性分离学习的分类器。
具体而言，为了提高基于机器学习的车辆检测性能，可以使用将保存车辆的图像的数据库分为一般车辆和大型车辆来学习后形成的分类器。
并且，追加地，为了提高近距离车辆检测，可以使用仅学习尾灯侧的图像的分类器，而并非使用学习车辆整体图像的分类器。
参照图4b，在本实施例中，可以学习3种分类器。
例如，第一分类器16a可以利用第一车辆图像12a学习。
具体而言，第一车辆图像12a为一般车辆的图像，第一分类器16a利用一般车辆的图像来执行及其学习，并提高对于一般车辆的分类性能。
第二分类器16b可以利用第二车辆图像12b来学习。
在此情况下，与第一车辆图像12a不同，第二车辆图像12b为如大型车辆的公交或铲车的后方图像。
因此，通过第二车辆图像12b学习的第二分类器16b可以提高对于大型车辆的分类性能。
追加地，第三分类器16c可以考虑基于与前方车辆的距离的特征来单独学习，而并非通过车辆的大小学习。
即，对位于近距离的车辆获取的第三车辆图像12c仅可包括与一部分区域有关的信息，而并非为与如第一车辆图像12a和第二车辆图像12b整个车辆的图像有关的信息。
因此，在本实施例中，可将仅包含一部分区域的额外的图像利用为学习图像来使第三分类器16c进行学习。
通过以上的过程，利用根据基于各个车辆的大小或与前方车辆的距离的的图像特征个别学习的分类器来更加准确地检测车辆。
具体而言，参照图4c，更加详细说明车辆的检测方法。
在所述检测车辆的步骤(S30)中，在利用机器学习的分类器来执行检测的情况下，可以依次利用个别学习的多个分类器。
因此，首先，执行基于第一分类器的检测(S1000)。
确认检测结果(S1010)，在通过根据第一车辆图像学习的第一分类器检测第一车辆的情况下，检测得到了成功，因此，检测车辆的步骤(S30)将会停止(S5000)。
但是，在未检测到第一车辆的情况下，执行基于第二分类器的检测(S2000)。
确认检测结果(S2010)，在根据第二车辆图像学习的第二分类器检测车辆的情况下，检测得到了成功，因此，检测车辆的步骤(S30)将会停止(S5000)。但是，在通过第二分类器也无法检测到第二车辆的情况下，通过第三分类器执行检测(S3000)。
最终，在通过第三分类器检测车辆的情况下(S3010)，检测得到了成功，因此，检测位于近距离的第三车辆的步骤(S3010)将会停止(S5000)。
在通过第三分类器无法检测到车辆的情况下，检测失败(S4000)，因此，在追踪车辆的步骤(S40)中，可以执行基于特征点的车辆追踪过程。
并且，在以上的实施例中，依次执行基于各个分类器检测过程，根据可并列处理的情况，同时向分类器输入，汇集分类结果来生成最优的检测结果。
或者，如第三分类器，在位于近距离的车辆的情况下，根据安全要求，需要进行优先检测，因此，优先执行基于第三分类器的检测。
以下，参照图5至图8，更加具体说明本实施例的适应性搜索区域的设定。
图5为示出从根据本发明一实施例输入的前方图像1000检测车辆的图。
参照图5，车辆检测部16可以从输入的前方图像1000检测车辆1200。在本实施例中，可以在适应性搜索区域检测车辆，或者如上所述，在不存在作为最初的前方图像生成的搜索区域的情况下，可以从整个前方图像检测车辆。
例如，在激活车辆的检测功能的最初时间点的情况下，未设定适应性搜索区域，因此，可以在整个影像中检测判断为前方车辆的对象。
并且，如上所述，车辆检测部16可以利用道路内车道线信息1105更加轻松地检测前方车辆。
在以上的过程中，若检测到车辆，则车辆检测部16可以计算判断为车辆的对象1200的宽度w和高度h。区域设定部14可以利用计算的宽度和高度来设定适应性搜索区域。
参照图6，在本实施例中，区域设定部根据在之前图像中判断为存在车辆1200的区域1100中的车辆的高度和宽度值扩展搜索区域来在前方图像内1000适应性生成搜索区域1300。
在本实施例中，将向4个方向扩展宽度的一半w/2及高度的一半h/2的区域设定为适应性搜索区域。
区域设定部14考虑到帧比例，在连续输入的图像内，假设只要车辆没有急剧的速度变化，车辆将位于扩展的适应性搜索区域内并以此设定适应性搜索区域。
例如，若从影像输入部12接收的图像为每秒30帧，则只要前方车辆的移动并不过大，则将会包含在之前图像的区域范围内。
因此，若在前方车辆第一次出现的影像中检测车辆，则根据所检测的车辆宽度或高度设定扩展的搜索区域，所述区域被指定为在下一个连续影像中用于检测车辆的搜索影像。若继续反复执行所述过程，则搜索区域根据所检测的车辆的大小或位置适应性改变。
在本实施例中设定的适应性搜索区域以车辆的大小为基准，可以利用所输入的图像的帧比例来确定大小，此外，可以附加考虑车辆的速度、车辆的行驶方向等的信息。
例如，在与前方车辆的速差极大的情况下，可以进一步扩大适应性搜索区域，在车辆转弯或旋转的情况下，可以放大搜索区域。
进而，在本实施例中，在适应性搜索区域中，在弯道为规定曲率以上的急剧弯道的情况下，有可能发生将旁边车道线的车辆识别成前方车辆的情况，因此，与适应性搜索区域一同使用车道线检测结果来将位于当前车道内的车辆准确地识别成前方车辆。
以上，如图7所示，若根据存在车辆1200的区域1100设定适应性搜索区域1300，则车辆检测部16可以在所输入的前方图像1000的一部分区域内检测车辆。
若对用于图5的最初前方车辆检测的前方图像的搜索区域与图7的前方图像搜索区域进行比较，则图7设定有可能存在前方车辆的候补区域1300，仅在设定范围内根据机器学习模型执行车辆的检测，因此，可以更加迅速且准确地检测前方车辆。
相反，如上所述，在前方图像设定的搜索区域内，在车辆检测失败的情况下，在之前车辆区域提取特征点并利用光流追踪车辆区域，同时进行基于机器学习的车辆检测。
若利用机器学习模型在前方图像内再次检测车辆，则利用特征点的车辆追踪将会停止，在搜索区域中的车辆检测将继续执行。
参照图8，根据机器学习模型连续设定适应性搜索区域并检测车辆，在前方图像中未检测到车辆的时间点一同执行基于特征点提取的车辆追踪过程(82)。
以上本实施例的车辆检测方法并不将整个影像用为车辆检测区域，因此，处理速度将变得迅速，并且可以不间断地连续表示在增强现实导航中追踪的前方车辆，从而可以向用户提供稳定的服务。
另一方面，所述电子设备10体现为先进驾驶辅助系统(ADAS，Advanced DriverAssistance System)或用于自动行驶的系统100的一模块来执行路线引导及车辆碰撞警告系统(FVCWS，Forward Vehicle collision warning system)。对此，参照图9至图10，更加具体地进行说明。
图9为示出本发明一实施例的系统的框图。参照图9，系统100包括存储部110、输入部120、输出部130、弯道引导部140、增强现实提供部160、控制部170、通信部180、感测部190及电源部195的全部或一部分。
其中，系统100可以为如向车辆的驾驶人员提供驾驶相关引导的智能手机、平板电脑、笔记本电脑、个人数据助理(PDA，personal digital assistant)、便携式多媒体播放器(PMP，portable multimedia player)、智能玻璃、工程玻璃、导航(navigation)、作为车辆用影像拍摄装置的数码录影机、车载行车记录仪或车载录像机等的多种装置并可设置于车辆。
驾驶相关引导可以包括如路线引导、车道线脱离引导、车道线维持引导、前方车辆出发引导、信号灯变更引导、前方车辆碰撞防止引导、车道变更引导、车道引导、弯道引导等用于辅助车辆驾驶人员的驾驶的多种引导。
其中，路线引导可以包括：增强现实路线引导，在拍摄运行中的车辆的前方的影像结合如用户的位置、方向等的各种信息来执行路线引导；以及二维或三维路线引导，在二维(2D，2-Dimensional)或三维(3D，3-Dimensional)的地图数据结合用户的位置、方向等的各种信息来执行路线引导。
不仅如此，路线引导可以包括通过在航空地图数据结合如用户的位置、方向等的各种信息来执行路线引导的航空地图路线引导。其中，路线引导包括用户搭乘车辆进行驾驶的情况和用户行走或跑步移动的情况下的路线引导。
并且，车道线脱离引导用于引导行驶中的车辆是否脱离车道线。
并且，车道线维持引导用于引导车辆回到原本行驶的车道。
并且，前方车辆出发引导用于引导位于停车的车辆前方的车辆是否出发。
并且，信号灯变更引导用于引导位于停车的车辆的前方的信号灯是否变更信号。作为一例，若在表示停止信号的红色信号灯的状态下变为表示出发信号的绿色信号灯，则对其进行引导。
并且，若与位于停车或行驶中的车辆的前方的车辆的距离为规定距离以内，则前方车辆碰撞警告引导用于引导与前方车辆的碰撞。
具体而言，在本实施例中，通过机器学习模型或特征点提取计算所识别的前方车辆与当前车辆的距离并执行基于此的碰撞防止引导。
并且，车道变更引导是为了向目的地进行引导而从车辆所在的车道向其他车道变更的引导。在本实施例中，可以附加执行当车道变更引导时变更的车道的前方是否存在车辆并提供基于此的变更一道。
并且，车道引导可用于引导当前车辆所在的车道。
并且，弯道引导可用于引导在规定时间之后车辆行驶的道路为弯道。
如上所述，可以提供多种引导的如车辆的前方图像的驾驶相关影像可以通过设置于车辆的摄像头或智能手机的摄像头拍摄。其中，摄像头可为与设置于车辆的系统100形成为一体来拍摄车辆的前方的摄像头。
作为另一例，摄像头可为与系统100单独设置于车辆来拍摄车辆的前方。在此情况下，摄像头可为朝向车辆的前方设置的额外的车辆用影像拍摄装置，系统100可以与单独设置的车辆用影像拍摄装置通过有线、无线通信接收拍摄影像，或者若向系统插入用于存储车辆用影像拍摄装置的拍摄影像的存储介质，则系统100可以接收拍摄影像。
以下，以所述内容为基础，更加详细说明本发明一实施例的系统100。
存储部110用于存储系统100的动作所需要的多种数据及应用。尤其，存储部110可以存储系统100的动作所需要的数据，例如，操作系统、路线搜索应用、地图数据等。并且，存储部110可以存储通过系统100的动作生成的数据，例如，搜索的路线数据、接收的影像等。
所述存储部110可体现为如随机存取存储器(RAM，Random Access Memory)、闪存、只读存储器(ROM，Read Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable ROM)、电子可擦除可编程只读存储器(EEPROM，Electronically Erasableand Programmable ROM)、寄存器、硬盘、可移动磁盘、存储卡、全球用户身份模块(USIM，Universal Subscriber Identity Module)等的内置型存储器件，也可体现为如USB存储器等的可拆装型存储器件。
输入部120具有将从系统100的外部的物理输入变换为电信号的功能。其中，输入部120可以包括用户输入部121和麦克风部123的全部或一部分。
用户输入部121可以接收如触摸、推送动作等的用户输入。其中，用户输入部121可以利用多种按钮形态、接收触摸输入的触摸传感器、接收接近移动的接近传感器中的至少一个来体现。
麦克风部123可以接收用户的语音及车辆的内外部发生的音响。
输出部130向用户以影像和/或语音输出系统100的数据的装置。其中，输出部130可以包括显示部131和音频输出部133的全部或一部分。
显示部131为向用户输出可以视觉识别的数据的装置。显示部131可以为设置于系统100的壳体前部面的显示部。并且，显示部131与系统100形成为一体，可以输出视觉识别数据，如平视显示器(Head Up Display)，与系统100单独设置而可以输出视觉识别数据。
音频输出部133是输出系统100听觉性识别的数据的装置。音频输出部133可以体现为将向系统100的用户提醒的数据以声音表现的扬声器。
弯道引导部140可以执行所述弯道引导装置10的功能。具体而言，弯道引导部140获取与车辆行驶的道路相对应的链接信息，在未来时间点确定车辆的链接中的位置，利用确定的位置及基准时间点的车辆速度，判断在规定时间之后车辆将要行驶的弯道区域的危险度。
增强现实提供部160可以提供增强现实视觉模式。其中，增强现实为在装有用户实际观看的现实世界的画面视觉性重叠附加信息(例如，表示兴趣点(Point Of Interest，POI)的图形元素、引导弯道的图形元素及用于帮助驾驶人员的安全驾驶的多种附加信息等)来提供的方法。
所述增强现实提供部160可以包括校准部、三维空间生成部、对象生成部、匹配部的全部或一部分。
校准部可以执行从摄像头拍摄的拍摄影像推定与摄像头相对应的摄像头参数的校准(Calibration)。其中，摄像头参数为作为表示实际空间与照片匹配的关系的信息的构成摄像头矩阵的参数，可以包括摄像头外部参数(extrinsic parameters)、摄像头内部参数(intrinsic parameters)。
三维空间生成部以从摄像头拍摄的拍摄影像为基础生成虚拟三维空间。具体而言，三维空间生成部将校准部推定的摄像头参数适用于二维拍摄影像来生成虚拟三维空间。
对象生成部可生成用于在增强现实进行引导的对象，例如，路线引导对象、前方碰撞警告引导对象、车道变更引导对象、车道线脱离引导对象、弯道引导对象等。
匹配部可以在由三维空间生成部生成的虚拟三维空间匹配由对象生成部生成的对象。具体而言，匹配部可以确定在对象生成部生成的对象的虚拟三维空间中的位置，可以在确定的位置执行对象的匹配。
另一方面，通信部180用于使系统100与其他设备进行通信。通信部180可以包括位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189的全部或一部分。
位置数据部181为通过全球导航卫星系统(GNSS，Global Navigation SatelliteSystem)获取位置数据的装置。全球导航卫星系统为利用从人工卫星接收的电波信号来计算接收终端的位置的导航系统。作为全球导航卫星系统的具体例，根据其操作主体，可以为全球定位系统(GPS，Global Positioning System)、伽利略(Galileo)、全球轨道导航卫星系统(GLONASS，Global Orbiting Navigational Satellite System)、指南针(COMPASS)、印度区域导航卫星系统(IRNSS，Indian Regional Navigational Satellite System)、准天顶卫星系统(QZSS，Quasi-Zenith Satellite System)等。本发明一实施例的系统100的位置数据部181可以通过接收使用系统100的区域进行服务的全球导航卫星系统信号来获取位置数据。或者，除全球导航卫星系统之外，位置数据部181可以通过与基站无线访问无线访问接入点(AP，Access Point)的通信获取位置数据。
无线网络部183连接无线网络来获取或发送数据。无线网络部183可通过执行无线局域网(WLAN，Wireless LAN)、无线宽带(Wibro，Wireless broadband)、全球微波接入互操作性(Wimax，World interoperability for microwave access)、高速下行链路分组接入(HSDPA，High Speed Downlink Packet Access)的无线数据收发的多种通讯协议连接网络。
广播收发部185通过各种广播系统收发广播信号。可通过广播收发部185收发的广播系统可以为地面数字多媒体广播(DMBT，Digital Multimedia BroadcastingTerrestrial)、数字多媒体广播卫星(DMBS，Digital Multimedia BroadcastingSatellite)、仅媒体转发链接(MediaFLO，Media Forward Link Only)、手持数字视频广播(DVBH，Digital Video Broadcast Handheld)、地面数字广播综合业务(ISDBT，IntegratedServices Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可以包含交通数据、生活数据等。
移动通信部186可以根据第三代(3G，3rd Generation)、第三代合作伙伴计划(3GPP，3rd Generation Partnership Project)、长期演进(LTE，Long Term Evolution)等的多种移动通信规格连接移动网络来进行语音及数据通信。
近距离通信部187为用于近距离通信的装置。如上所述，近距离通信部187可以通过蓝牙(Bluetooth)、射频识别(RFID，Radio Frequency Identification)、红外线通信(IrDA，Infrared Data Association)、超宽带(UWB，Ultra WideBand)、紫蜂(ZigBee)、近场通信(NFC，Near Field Communication)、无线保真(Wi-Fi，Wireless-Fidelity)等进行通信。
有线通信部189为可以使系统100与其他设备有线连接的接口设备。有线通信部189可以为通过USB端口进行通信的USB模块。
如上所述，通信部180可利用位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个来与其他设备进行通信。
作为一例，在系统100不包括摄像头功能的情况下，可以利用近距离通信部187、有线通信部189中的至少一个来接收在如数码摄像机(Digital Video Recorder)、汽车行车记录仪(Car dash cam)或车载视频录像机(Car video recorder)的车辆用影像拍摄装置中拍摄的影像。
作为另一例，在与多个设备进行通信的情况下，一个通过近距离通信部187进行通信，另一个通过有线通信部119进行通信。
感测部190为可以检测系统100的当前状态的装置。感测部190可以包括运动感测部191和光感测部193的全部或一部分。
运动感测部191可以检测系统100的三维空间上的运动。运动感测部191可以包括三轴地磁传感器及三轴加速度传感器。将通过运动感测部191获取的运动数据与通过位置数据部181获取的位置数据相结合来更加准确地计算附着系统100的车辆的轨迹。
光感测部193为测量系统100的周边照度(illuminance)的装置。可利用通过光感测部193获取的照度数据来使显示部131的亮度与周边亮度相对应。
电源部195为供应系统100的动作或与系统100相连接的其他设备的动作而所需的电源的装置。电源部195可为从内置于系统100的电池或车辆等的外部电源接收电源的装置。并且，电源部195根据接收电源的形态体现为有线通信模块119或者体现为无线接收的装置。
控制部170控制系统100的整体动作。具体而言，控制部170可以控制存储部110、输入部120、输出部130、弯道引导部140、增强现实提供部160、通信部180、感测部190、电源部195的全部或一部分。
尤其，控制部170可以获取与之后车辆行驶的道路相对应的链接信息。其中，可以从用于引导目的地为止的路线的路线引导数据获取。
作为一例，若输入部120输入目的地信息，则控制部170可以利用预先存储于存储部110的地图数据来生成至目的地的路线引导数据。或者，若通过输入部120输入目的地信息，则控制部170可以向服务器传送包含当前位置信息、目的地信息中的至少一种的路线引导请求。而且，根据所述路线引导请求，可以从服务器接收路线引导数据。在此情况下，控制部170可以从所述路线引导数据获取与车辆行驶的道路相对应的链接信息。
并且，若控制部170以车辆的实时位置信息为基础生成车辆的行驶预期路线信息，则可基于此获取链接信息。
另一方面，控制部170可以提供本发明一实施例的前方车辆碰撞警告引导信息。即，从输入的前方图像检测前方车辆，并可提供基于与所检测的前方车辆的距离、当前车辆及前方车辆的速度的引导信息。在此情况下，控制部170还可以执行在所述图1至图4的判断过程中附加计算距离和相对速度的步骤。
即，考虑与所输入的前方图像内的车辆的距离变化和帧比例来计算前方车辆的相对速度并与当前车辆的速度进行比较来生成前方碰撞警告引导信息。
控制部170可以控制输出部130，以根据判断结果输出减速必要信息。并且，控制部170为了具体减速而计算必要的加速度信息。
在本实施例中，在当前时间t中用于减速的必要加速度(Areq(t))可以利用前方车辆(VTV)的加速度(ATV)、前方车辆(VTV)与行驶车辆(VSV)之间的状态速度(Vr(t)，Vr(t)＝VTV(t)-VSV(t))及前方车辆与行驶车辆之间的距离(Xc(t))来计算(参照数学式)。
数学式
Figure BDA0002306042190000211
进而，与前方车辆的距离还可以考虑驾驶人员为了减速而控制制动器所需要的反应时间内的行驶距离(Xr(t))来计算。
并且，在本实施例中，除行驶车辆的车道内前方车辆之外，在向行驶车道线变更车道线的前方车辆(cut-in vehicle)的情况下，控制部考虑行驶车辆与前方车辆的侧面距离来确定是否计算用于前方碰撞的警告的加速度。
具体而言，在检测到变更车道线的前方车辆的情况下，对行驶车辆的车辆宽度与两车辆的中心线之间的侧面距离进行比较来确定是否计算必要加速度。
根据通过以上的过程计算的必要加速度，控制部170可以按步骤控制输出部130。
在必要加速度为第一等级的情况下，控制部170可以控制输出部130，以输出第一减速引导。其中，第一等级为向用户提醒需要减速的状态的数值。
在此情况下，表示需要减速的数值可以考虑行驶车辆与前方车辆的距离、车辆的速度、车道线的数量来计算。
在必要加速度为第二等级的情况下，控制部170可以控制输出部130，以输出第二减速引导。其中，第二等级为表示用户需要进一步进行减少的状态的数值。
在必要加速度小于第一等级或行驶车辆的速度小于基准速度的情况下，控制部170可以控制输出部130，以输出减速引导。
并且，控制部170将必要加速度区分为3步骤以上并向用户提供符合各个步骤的情况的减速引导。
并且，控制部170判断比前方车辆的碰撞警告更优先的条件，即使超出确定的等级，也不会输出减速引导。
具体而言，在前方车辆改变车道线的情况、发生路线的再搜索的情况及分支后，在车道发生事件的情况，将其作为优先条件考虑。
另一方面，这种减速引导可以在增强现实画面内执行。具体而言，增强现实提供部160可以生成前方车辆碰撞警告引导对象，并将其与虚拟三维空间进行匹配来生成增强现实画面，控制部170可以控制显示部131，以显示所述所述生成的增强现实画面。
图10为用于说明与本发明一实施例的系统链接的系统网络的图。参照图10，本发明一实施例的系统100可以由如导航、车辆用影像拍摄装置、智能手机或其他车辆用增强现实界面提供装置等的设置于车辆的各种装置体现，可以与多种通信网及其他电子设备61、62、63、64链接。
并且，系统100可以根据从人造卫星20接收的电波信号来与CPG模块建立联动并计算当前位置及当前时段。
各个人造卫星20可以发送频带不同的L带频率。系统100以从各个人造卫星20发送的L带频率到达系统100为止所需要的时间为基础计算当前位置。
另一方面，系统100可以通过通信部180与控制站40(ACR)、基站50(RAS)连接，通过无线访问无线访问接入点(AP，Access Point)等与网络30无线连接。若系统100与网络30连接，则也与网络30连接的其他电子设备61、62间接连接来交换数据。
另一方面，系统100可以通过具有通信功能的其他设备63与网络30间接连接。例如，在系统100不具有可以与网络30连接的模块的情况下，可通过近距离通信模块等来与具有通信功能的其他设备63进行通信。
图11a及图11b为示出本发明一实施例的系统的前方车辆碰撞警告画面的图。参照图11a及图11b，系统100可以生成表示前方车辆碰撞的危险度的引导对象，并可通过增强现实输出所生成的引导对象1001、1003。
其中，引导对象1001、1003可以为引导用户需要注意的状态的对象。即，前方车辆碰撞警告引导可以为用于提醒车辆有可能发生前方碰撞情况的注意(attention)引导。并且，参照图11b，在本实施例中，路线引导对象1002体现为纹理(texture)图像并可通过增强现实表现。由此，驾驶人员可以轻松识别自己车辆行驶的道路。
并且，系统100可通过语音输出引导对象1001、1003。也可以通过触觉单元输出。
图12为示出本发明一实施例的系统不具有拍摄部的情况下的体现形态的图。参照图12，与车辆用系统100单独形成的车辆用影像拍摄装置200可通过有线、无线通信方式构成本发明一实施例的系统。
车辆用系统100可以包括设置于壳体191的前部面的显示部131、用户输入部121及麦克风123。
车辆用影像拍摄装置200可包括摄像头222、麦克风224及附着部281。
图13为示出本发明一实施例的系统具有拍摄部的情况下的体现形态的图。参照图13，在系统100包括拍摄部150的情况下，系统100的拍摄部150拍摄车辆的前方，并使用户识别系统100的显示部分。由此，可以体现本发明一实施例的系统。
图14为示出利用本发明一实施例的平视显示器(Head-Up Display)的体现形态的图。参照图14，平视显示器可通过与其他设备的有线、无线通信在平视显示器上显示增强现实引导画面。
作为一例，增强现实可通过利用车辆前玻璃的平视显示器或利用额外的影像输出装置的影像重叠等提供，如上所述，增强现实提供部160可以生成在增强现实影像或玻璃重叠的界面图像等。由此，可体现增强现实导航或车辆信息娱乐系统等。
另一方面，所述本发明的多种实施例的前方车辆碰撞警告引导方法以程序体现来向服务器设备提供。由此，各个装置与存储程序的服务器设备连接来下载所述程序。
另一方面，作为另一实施例，本发明的前方车辆检测方法或前方碰撞警告引导方法可以由自动行驶车辆2000的控制装置2100内的模块构成。即，控制装置2100的存储器2122和处理器2124将本发明的前方车辆检测方法或前方碰撞警告引导方法以软件形式体现。
以下，参照图15，更加详细地说明本发明。
图15为示出本发明一实施例自动行驶车辆2000的结构的框图。
参照图15，本实施例的自动行驶车辆2000可包括控制装置2100、感测模块2004a、2004b、2004c、2004d、引擎2006及用户界面2008。
在本实施例中，控制装置2100可包括控制器2120、传感器2110、无线通信装置2130、激光雷达2140及摄像头模块2150，所述控制器2120包括存储器2122和处理器2124。
在本实施例中，控制器2120由车辆的制造公司制造或者在制造后，为了追加行驶的功能而追加构成。本发明可包括通过当制造时构成的控制器2120的更新持续执行附加功能的结构。
控制器2120可以向车辆内的传感器2110、引擎2006、用户界面2008、无线通信装置2130、激光雷达2140及摄像头模块2150传递控制信号。并且，虽然未图示，但也可以向与车辆的行驶有关的加速装置、制动系统、转向装置、导航装置传递控制信号。
在本实施例中，控制器2120可以对引擎2006进行控制，例如，自动行驶车辆2000检测行驶中的道路的限速并控制引擎2006，以防止行驶速度超过限速，并可以控制引擎2006，以在不超过限速的范围内加速自动行驶车辆2000的行驶速度。并且，若感测模块2004a、2004b、2004c、2004d检测车辆的外部环境并向传感器2110传递，则控制器2120接收所述检测结果来生成对引擎2006或转向装置(未图示)进行控制的信号来控制车辆的行驶。
在车辆的前方存在其他车辆或障碍物的情况下，控制器2120可以对引擎2006或制动系统进行控制，以使行驶车辆减速，除速度之外，可以控制轨迹、运行路线、转向角度。控制器2120可以根据车辆的行驶车道线、行驶信号等其他外部环境的识别信息来生成需要的控制信号并对车辆的行驶进行控制。
控制器2120除生成自我控制信号之外，与周边车辆或中央服务器进行通信，并通过所接收的信息传送用于控制周边装置的指令，由此可以控制车辆的行驶。
并且，在摄像头模块2150的位置改变或拍摄角度改变的情况下，控制器2120很难根据本实施例准确地识别车辆或车道线，因此，为了防止所述现象，以执行摄像头模块2150的校准(calibration)的方式生成控制信号。因此，在本实施例中，控制器2120可以通过摄像头模块2150发生校准控制信号，由此，通过随着自动行驶车辆2000的移动发生的振动或冲击等，即使摄像头模块2150的安装位置改变，也可以持续维持摄像头模块2150的正常安装位置、方向、拍摄角度等。在预先存储的摄像头模块2120的最初安装位置、方向、拍摄角度信息和在自动行驶车辆2000的行驶过程中测量的摄像头模块2120的最初安装位置、方向、拍摄角度信息等变为临界值以上的情况下，控制器2120可以发生控制信号，以执行摄像头模块2120的校准。
在本实施例中，控制器2120可以包括存储器2122及处理器2124。处理器2124可以根据控制器2120的控制信号执行存储于存储器2122的软件。具体而言，控制器2120在存储器2122存储用于执行本发明的车道线显示方法或车道线脱离引导方法的数据及指令，指令为了体现在此揭示的一个以上的方法而可通过处理器2124执行。
在此情况下，存储器2122可存储于能够在非易失性处理器2124中执行的记录介质。存储器2122可通过适当的内外部装置存储软件和数据。存储器2122可以为随机存取存储器(RAM，random access memory)、只读存储器(ROM，read only memory)、硬盘及与软件保护器相连接的存储器2122装置。
存储器2122至少可以存储操作系统(OS，Operating system)、用户应用、可执行指令。存储器2122也可以存储应用数据、排列数据结构。
处理器2124为微处理器或适当的电子处理器，也可以为控制器、微控制器或状态机。
处理器2124可以通过计算装置的组合体现，计算装置可以由数字信号处理器、微处理器或这些的适当组合构成。
并且，在本实施例中，控制装置2100可通过一个以上的传感器2110监测自动行驶车辆2000的内外部的特征并检测状态。
传感器2110可以由一个以上的感测模块2004构成，感测模块2004根据监测目的体现在自动行驶车辆2000的特定位置。可位于自动行驶车辆2000的下部、后端、前端、上端或侧端，也可以位于车辆的内部部件或轮胎等。
由此，感测模块2004可以检测作为车辆的内部信息的引擎2006、轮胎、转向角度、速度、车辆的重量等与行驶有关的信息。并且，一个以上的感测模块2004可以由加速度传感器2110、陀螺仪、图像传感器2110、雷达、超声波传感器、激光雷达传感器等，并可检测自动行驶车辆2000的移动信息。
感测模块2004可以接收与作为外部信息的自动行驶车辆2000所在的道路的状态信息、周边车辆信息及天气等外部环境状态有关的特定数据，也可以检测车辆的参数。所检测的信息可以根据暂时性长久目的存储于存储器2122。
在本实施例中，传感器2110可以一同收集用于收集在自动行驶车辆2000的内部或外部发生的信息的多个感测模块2004的信息。
控制装置2100还可包括无线通信装置2130。
无线通信装置2130用于体现自动行驶车辆2000之间的无线通信。例如，可以使用户的手机、其他无线通信装置2130、其他车辆、中央装置(交通控制装置)、服务器等与自动行驶车辆2000进行通信。无线通信装置2130可以根据连接无线协议收发无线信号。连接无线协议可以为无线保真(Wi-Fi)、蓝牙(Bluetooth)、长期演进(Long-Term Evolution，LTE)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、移动通信全球系统(Global Systems for MobileCommunications，GSM)，但并不局限于此。
并且，在本实施例中，自动行驶车辆2000可以通过无线通信装置2130实现车辆之间的通信。即，无线通信装置2130可以通过车辆对车辆(V2V)之间的通信(vehicle-to-vehicle communication)与道路上的其他车辆及其他多个车辆执行通信。自动行驶车辆2000可通过车辆之间的通信收发如行驶警告、交通信息的信息，也可以向其他车辆请求信息或者从其他车辆接收信息。例如，无线通信装置2130可通过专用短距离通信(DSRC，dedicated short-range communication)装置或蜂窝车对车通信(C-V2V，Celluar-V2V)装置执行车对车通信。并且，除车辆之间的通信之外，可以通过无线通信装置2130还执行车辆与其他事物(例如，步行者所携带的电子设备等)之间的通信(V2X，Vehicle to Everythingcommunication)。
并且，控制装置2100可包括激光雷达装置2140。激光雷达装置2140可通过激光雷达传感器，利用感测的数据来探索自动行驶车辆2000周边的对象。激光雷达装置2140向控制器2120传送探索的信息，控制器2120可根据探索信息使自动行驶车辆2000进行运行。例如，在探索信息中存在低速行驶的前方车辆的情况下，控制器2120可以发出指令通过引擎2006降低车辆的速度。可根据车辆进入的弯道的曲率来减低进入速度。
控制装置2100还可包括摄像头模块2150。控制器2120可以从由摄像头模块2150拍摄的外部图像提取对象信息，并使控制器2120对所述信息进行处理。
并且，控制装置2100还可包括用于识别外部环境的图像装置。除激光雷达之外2140之外，可以利用雷达、GPS装置、行驶距离测量装置(Odometry)及其他计算机视觉装置，根据需要，这些装置选择性地进行工作来实现更加精密的检测。
自动行驶车辆2000还可包括用于所述控制装置2100的用户的输入的用户界面2008。用户界面2008可通过适当的相互作用使用户输入信息。例如，可体现为触摸屏、键盘、操作按钮等。用户界面2008向控制器2120传送输入指令，控制器2120可以响应于输入或指令执行车辆的控制动作。
并且，用户界面2008作为自动行驶车辆2000外部装置，可通过无线通信装置2130与自动行驶车辆2000进行通信。例如，用户界面2008可以与手机、平板电脑或其他计算机装置建立联动。
进而，在本实施例中说明了自动行驶车辆2000包括引擎2006的情况，但还可包括其他类型的推进系统。例如，车辆可通过电能运行，也可以通过氢能或组合这些的混合系统运行。因此，控制器2120包括基于自动行驶车辆2000的推进系统的推进机制，可以向各个推进机制的结构提供所述控制信号。
以下，参照图16，更加详细说明执行本发明实施例的的前方车辆检测方法或前方碰撞警告引导方法的控制装置2100的细节结构。
控制装置2100包括处理器2124。处理器2124可以为常用单一多重芯微处理器、专用微处理器、微控制器、可编程门阵列等。处理器可以被称为中央处理装置(CPU)。并且，在本实施例中，处理器2124可以组合多个处理器使用。
控制装置2100还包括存储器2122。存储器2122可以为存储电子信息的任意电子零件。除单一存储器之外，存储器2122还可包括多个存储器2122的组合。
用于执行本发明的前方车辆检测方法或前方碰撞警告引导方法的数据及指令语2122a可存储于存储器2122。当处理器2124执行多个指令语2122a时，指令语2122a和用于执行指令的数据2122b的全部或一部分可以装载于2124a、2124b处理器2124。
控制装置2100可以包括用于收发信号的发射机2130a、接收机2130b或收发器2130c。一个以上的天线2132a、2132b可以与发射机2130a、接收机2130b或各个收发器2130c电连接，可以追加包括多个天线。
控制装置2100还可以包括数字信号处理器2170(DSP)。车辆可通过数字信号处理器2170更加迅速地处理数字信号。
控制装置2100还可以包括通信接口2180。通信接口2180可以包括用于与其他装置的控制装置2100相连接的一个以上的端口和/或通信模块。通信接口2180可以与用户的控制装置2100相互作用。
控制装置2100的多种结构可通过一个以上的总线2190相连接，总线2190可以包括电力总线、控制信号总线、状态信号总线、数据总线等。根据处理器2124的控制，多个结构可通过总线2190相互传递信息并执行目的功能。
以上说明的装置可以通过硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合体现。例如，在实施例中说明的装置及结构要素可以利用如处理器、控制器、算术逻辑单元(ALU，arithmetic logic unit)、数据信号处理器(digital signalprocessor)、微计算机、现场可编程门阵列(FPGA，field programmable gate array)、可编程逻辑单元(PLU，programmable logic unit)、微处理器或可以执行并响应指令(instruction)的其他装置的一个以上的常用计算机或特殊目的计算机来体现。
处理装置可以执行操作系统(OS)及在操作系统上执行的一个以上的软件应用。并且，处理装置响应软件的执行，可以接近、存储、操作、处理及生成数据。为了便于理解，存在使用一个处理装置的情况，但本发明所属技术领域的普通技术人员可以知道处理装置可包括多个处理要素(processing element)和/或多种类型的处理要素。例如，处理装置可以包括多个处理器或一个处理器及一个控制器。并且，也可以为如并行处理器(parallelprocessor)的其他处理结构(processing configuration)。
软件可以包括计算机程序(computer program)、代码(code)、指令(instruction)或这些中的一种以上的组合，以按需要工作的方式构成处理装置或对独立或结合性(collectively)处理装置下达指令。软件和/或数据为了通过处理装置解释或者向处理装置提供指令或数据，一种类型的机器、结构要素(component)、物理装置、虚拟装置(virtualequipment)、计算机存储介质或装置或者可以在所传送的信号波(signal wave)永久或临时具体化(embody)。软件分散在通过网络连接的计算机系统，可通过所分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质。
根据实施例的方法可体现为通过多种计算机执行的程序指令形态来存储于计算机可读介质。所述计算机可读介质可以单独或组合包括程序指令、数据文件、数据结构等。记录在所述介质的程序指令为了实施例而特别设计并构成，也可以是计算机软件领域的普通技术人员公知使用的程序指令。作为计算机可读记录介质的例，包括硬盘、软盘及磁盘等磁介质(magnetic media)、CD-ROM、DVD等光记录介质(optical media)、光软盘(flopticaldisk)等磁光介质(magneto-optical media)及ROM、RAM、闪存等的存储程序指令并执行的特别构成的硬件装置。作为程序指令的例，包括如通过编译器形成的机器代码和通过解释器等来通过计算机执行的高级语言代码。所述硬件装置为了执行实施例的动作而作为一个以上的软件模块动作，反之亦然。
以上的说明仅用于例示性地说明本发明的技术思想，只要是本发明所属技术领域的普通技术人员，在不变更本发明的本质特性的范围内可以进行多种修改、变更及置换。
因此，本发明所揭示的实施例及附图用于说明本发明，而并非用于限定本发明的技术思想，本发明的技术思想的范围并不局限于这种实施例及附图。本发明的保护范围通过以下的发明要求保护范围解释，与此等同范围内的所有技术思想均属于本发明的范围。

Claims (24)

1.一种车辆检测方法，其特征在于，包括：
接收连续拍摄的前方图像的步骤；
在所述前方图像中基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内所述车辆的搜索区域的步骤；
在所述搜索区域中根据机器学习模型来检测所述车辆的步骤；以及
根据基于所述机器学习模型的车辆检测结果并利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆的步骤。
2.根据权利要求1所述的车辆检测方法，其特征在于，所述搜索区域以在所述之前图像中检测的车辆区域为基准扩大设定。
3.根据权利要求2所述的车辆检测方法，其特征在于，所述搜索区域根据所述检测的车辆的大小扩大设定。
4.根据权利要求1所述的车辆检测方法，其特征在于，在所述追踪步骤中，从在所述之前图像中检测的车辆区域中提取所述车辆的特征点来追踪所述车辆。
5.根据权利要求1所述的车辆检测方法，其特征在于，在基于所述机器学习模型的车辆检测失败或者所检测的车辆的可靠性为基准以下的情况下，利用所提取的所述车辆的特征点来在所述目标图像追踪所述车辆的位置。
6.根据权利要求1所述的车辆检测方法，其特征在于，在所述追踪步骤中，与所述检测步骤的车辆检测并行追踪所述车辆，在基于所述检测步骤的机器学习模型的车辆检测成功或所检测的车辆的可靠性为基准以上的情况下，结束所述车辆的追踪。
7.根据权利要求1所述的车辆检测方法，其特征在于，所述车辆检测方法还包括根据预先确定的用户界面显示所述检测或所述追踪的车辆的步骤。
8.根据权利要求7所述的车辆检测方法，其特征在于，在所述显示步骤中，根据预先确定的用户界面显示基于所述车辆的前方碰撞相关提醒。
9.根据权利要求1所述的车辆检测方法，其特征在于，
所述检测步骤还包括从多个之前图像获取所述车辆的特征点的移动向量，以所述移动向量和所述搜索区域为基础来生成修改搜索区域的步骤，
所述车辆检测方法包括在所述修改搜索区域中根据机器学习模型来检测所述车辆的步骤。
10.根据权利要求9所述的车辆检测方法，其特征在于，所述移动向量以表现多个之前图像各自的所述车辆的特征点的多个位置的关系为基础生成。
11.根据权利要求9所述的车辆检测方法，其特征在于，
所述修改搜索区域的中心位置以所述搜索区域的中心位置和所述移动向量为基础确定，
所述修改搜索区域的宽度以所述移动向量的方向或大小为基础确定。
12.一种车辆检测装置，其特征在于，包括：
影像输入部，用于接收连续拍摄的前方图像；
区域设定部，在所述前方图像中，基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内所述车辆的搜索区域；
车辆检测部，根据机器学习模型，在所述搜索区域中检测所述车辆；以及
车辆追踪部，根据基于所述机器学习模型的车辆检测结果，利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆。
13.根据权利要求12所述的车辆检测装置，其特征在于，所述搜索区域以在所述之前图像中检测的车辆区域为基准扩大设定。
14.根据权利要求13所述的车辆检测装置，其特征在于，所述搜索区域根据所述检测的车辆的大小扩大设定。
15.根据权利要求12所述的车辆检测装置，其特征在于，所述车辆追踪部从在所述之前图像中检测的车辆区域中提取所述车辆的特征点来追踪所述车辆。
16.根据权利要求12所述的车辆检测装置，其特征在于，在基于所述机器学习模型的车辆检测失败或者所检测的车辆的可靠性为基准以下的情况下，所述车辆追踪部利用所提取的所述车辆的特征点来在所述目标图像追踪所述车辆的位置。
17.根据权利要求12所述的车辆检测装置，其特征在于，所述车辆追踪部与所述检测部的车辆检测并行追踪所述车辆，在基于所述检测部的机器学习模型的车辆检测成功或所检测的车辆的可靠性为基准以上的情况下，结束所述车辆的追踪。
18.根据权利要求12所述的车辆检测装置，其特征在于，所述车辆检测装置还包括根据预先确定的用户界面显示所述检测的或所述追踪的车辆的输出部。
19.根据权利要求17所述的车辆检测装置，其特征在于，所述输出部根据预先确定的用户界面显示基于所述车辆的前方碰撞相关提醒。
20.一种车辆碰撞警告方法，其特征在于，包括：
接收连续拍摄的前方图像的步骤；
在所述前方图像中基于在之前图像中检测的车辆的位置或车辆区域来设定目标图像内所述车辆的搜索区域的步骤；
在所述搜索区域中根据机器学习模型来检测所述车辆的步骤；
根据基于所述机器学习模型的车辆检测结果并利用在所述之前图像中提取的车辆的特征点来在所述目标图像追踪所述车辆的步骤；以及
根据与所述检测或追踪的车辆的距离及相对速度判断碰撞可能性的步骤。
21.一种计算机可读记录介质，其特征在于，存储用于执行权利要求1至11中任一项所述的车辆检测方法的程序。
22.一种程序，其特征在于，存储在用于执行权利要求1至11中任一项所述的车辆检测方法的计算机可读记录介质。
23.一种计算机可读记录介质，存储用于执行权利要求20所述的车辆碰撞警告方法的程序。
24.一种程序，其特征在于，存储在用于执行权利要求20所述的车辆碰撞警告方法的计算机可读记录介质。
CN201911240329.4A 2018-12-07 2019-12-06 车辆检测方法及执行其的电子设备 Pending CN111292351A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0156746 2018-12-07
KR20180156746 2018-12-07
KR10-2019-0151276 2019-11-22
KR1020190151276A KR20200070100A (ko) 2018-12-07 2019-11-22 차량 검출 방법 및 이를 수행하는 전자 기기

Publications (1)

Publication Number Publication Date
CN111292351A true CN111292351A (zh) 2020-06-16

Family

ID=68834995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240329.4A Pending CN111292351A (zh) 2018-12-07 2019-12-06 车辆检测方法及执行其的电子设备

Country Status (3)

Country Link
US (3) US11475576B2 (zh)
EP (1) EP3663978A1 (zh)
CN (1) CN111292351A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3403146A4 (en) * 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
KR102622169B1 (ko) * 2018-12-06 2024-01-08 팅크웨어(주) 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US11475576B2 (en) * 2018-12-07 2022-10-18 Thinkware Corporation Method for detecting vehicle and device for executing the same
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems
US20230104858A1 (en) * 2020-03-19 2023-04-06 Nec Corporation Image generation apparatus, image generation method, and non-transitory computer-readable medium
EP4165476A1 (en) 2020-07-01 2023-04-19 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
US20210110552A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve driver-assistance vision systems using object detection based on motion vectors
JP2022172928A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
US11308316B1 (en) * 2021-09-02 2022-04-19 Invision Ai, Inc. Road side vehicle occupancy detection system
US20230174103A1 (en) * 2021-12-02 2023-06-08 May Mobility, Inc. Method and system for feasibility-based operation of an autonomous agent
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2161677A1 (fr) * 2008-08-29 2010-03-10 Valeo Vision Procédé de détection d'un objet cible pour véhicule automobile
WO2013178224A1 (de) * 2012-06-01 2013-12-05 Continental Safety Engineering International Gmbh Verfahren und vorrichtung zur objektdetektion
JP2014048702A (ja) * 2012-08-29 2014-03-17 Honda Elesys Co Ltd 画像認識装置、画像認識方法、及び画像認識プログラム
JP2014191664A (ja) * 2013-03-27 2014-10-06 Fujitsu Ltd 車両追跡プログラム、画像送信プログラム、サーバ装置、情報処理装置および車両追跡方法
DE102015207055A1 (de) * 2014-04-25 2015-10-29 Xerox Corp. Verfahren und System zur Handhabung einer Teilverdeckung bei der Fahrzeugverfolgung mittels eines Modells für verformbare Teile
CN105270287A (zh) * 2014-05-28 2016-01-27 Lg电子株式会社 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆
CN107380164A (zh) * 2016-07-07 2017-11-24 小蚁科技（香港）有限公司 基于计算机视觉的驾驶员辅助系统和支持系统
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764808B2 (en) 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
US9373033B2 (en) * 2012-03-13 2016-06-21 Massachusetts Institute Of Technology Assisted surveillance of vehicles-of-interest
DE102013022050A1 (de) * 2013-12-23 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
US9779331B2 (en) 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
JP6569385B2 (ja) * 2015-08-20 2019-09-04 株式会社Ｊｖｃケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
US10332276B2 (en) * 2016-05-24 2019-06-25 International Business Machines Corporation Predicting a chromatic identity of an existing recipe and modifying the existing recipe to meet a desired set of colors by replacing existing elements of the recipe
KR20230017365A (ko) 2016-06-27 2023-02-03 모빌아이 비젼 테크놀로지스 엘티디. 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US11475576B2 (en) * 2018-12-07 2022-10-18 Thinkware Corporation Method for detecting vehicle and device for executing the same
US10963753B2 (en) * 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
US11610078B2 (en) * 2019-06-28 2023-03-21 Zoox, Inc. Low variance region detection for improved high variance region detection using machine learning
KR20220037531A (ko) * 2020-09-17 2022-03-25 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2161677A1 (fr) * 2008-08-29 2010-03-10 Valeo Vision Procédé de détection d'un objet cible pour véhicule automobile
WO2013178224A1 (de) * 2012-06-01 2013-12-05 Continental Safety Engineering International Gmbh Verfahren und vorrichtung zur objektdetektion
EP2856205A1 (de) * 2012-06-01 2015-04-08 Continental Safety Engineering International GmbH Verfahren und vorrichtung zur objektdetektion
JP2014048702A (ja) * 2012-08-29 2014-03-17 Honda Elesys Co Ltd 画像認識装置、画像認識方法、及び画像認識プログラム
JP2014191664A (ja) * 2013-03-27 2014-10-06 Fujitsu Ltd 車両追跡プログラム、画像送信プログラム、サーバ装置、情報処理装置および車両追跡方法
DE102015207055A1 (de) * 2014-04-25 2015-10-29 Xerox Corp. Verfahren und System zur Handhabung einer Teilverdeckung bei der Fahrzeugverfolgung mittels eines Modells für verformbare Teile
CN105270287A (zh) * 2014-05-28 2016-01-27 Lg电子株式会社 车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆
CN107380164A (zh) * 2016-07-07 2017-11-24 小蚁科技（香港）有限公司 基于计算机视觉的驾驶员辅助系统和支持系统
CN108182393A (zh) * 2017-12-22 2018-06-19 上海信耀电子有限公司 一种汽车及其应用的前车跟踪方法及系统

Also Published As

Publication number Publication date
US11475576B2 (en) 2022-10-18
US20230005163A1 (en) 2023-01-05
EP3663978A1 (en) 2020-06-10
US11881030B2 (en) 2024-01-23
US20240127601A1 (en) 2024-04-18
US20200184654A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US11881030B2 (en) Method for detecting vehicle and device for executing the same
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
US11531354B2 (en) Image processing apparatus and image processing method
US10753757B2 (en) Information processing apparatus and information processing method
US11814063B2 (en) Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
US11680813B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
US11227493B2 (en) Road speed limit identification method, road speed limit identification apparatus, electronic apparatus, computer program, and computer readable recording medium
US11587435B2 (en) Method for guiding path by extracting guiding information in lane and electronic device for executing the method
US11727693B2 (en) Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
US20230273033A1 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法
KR20210104199A (ko) 자율주행 차량 및 그 제어 방법
KR20210146891A (ko) 정보 처리 장치 및 정보 처리 방법
KR20200070101A (ko) 차선 표시 방법 및 이를 수행하는 전자 기기
CN112567427A (zh) 图像处理装置、图像处理方法和程序
CN115115822A (zh) 车端图像处理方法、装置、车辆、存储介质及芯片
CN116964591A (zh) 信息处理装置、信息处理系统、信息处理方法和记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination