CN107845290A - 交叉路口警报方法、处理系统、交叉路口警报系统及车辆 - Google Patents

交叉路口警报方法、处理系统、交叉路口警报系统及车辆 Download PDF

Info

Publication number
CN107845290A
CN107845290A CN201710190150.7A CN201710190150A CN107845290A CN 107845290 A CN107845290 A CN 107845290A CN 201710190150 A CN201710190150 A CN 201710190150A CN 107845290 A CN107845290 A CN 107845290A
Authority
CN
China
Prior art keywords
motion vector
end point
alarm
vehicle
junction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710190150.7A
Other languages
English (en)
Other versions
CN107845290B (zh
Inventor
G·斯潘皮纳托
S·卡尔蒂
N·I·瓜尔内里
A·R·布鲁纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics SRL
Original Assignee
STMicroelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics SRL filed Critical STMicroelectronics SRL
Publication of CN107845290A publication Critical patent/CN107845290A/zh
Application granted granted Critical
Publication of CN107845290B publication Critical patent/CN107845290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Road Signs Or Road Markings (AREA)

Abstract

公开了交叉路口警报方法、处理系统、交叉路口警报系统及车辆。交叉路口警报方法包括以下步骤：接收来自安装在车辆上的相机的图像序列；处理该图像序列以便生成光流数据，该光流数据包括与该图像序列中的对应特征相关联的运动向量列表；分析该光流数据以便通过计算穿过位于道路中的向量的直线的所有交叉点的平均点来计算消失点；考虑该消失点和先前帧的边界框列表来计算水平滤波子集并且从该光流中滤波出水平运动向量；对该光流子集进行聚类并且生成边界框列表以检索场景中的移动对象，其中，该列表被发送至警报生成设备；以及生成输出视频，该输出视频示出该检测到的移动对象被边界框包围的输入场景。

Description

交叉路口警报方法、处理系统、交叉路口警报系统及车辆
技术领域
本公开涉及一种高级交叉路口警报(CTA)方法以及相应的交叉路口警报系统。
交叉路口警报(CTA)方法是汽车高级驾驶员辅助系统(ADAS)的重要特征。交叉路口警报(CTA)系统被设计成用于在检测到侵入车辆的情况下警告驾驶员。
背景技术
近十年来，汽车公司已经在与自动驾驶员辅助系统(ADAS)的许多方面相关的创新中进行了大量投资。由于对汽车智能系统的关注日益渐增，已经在新硬件和软件设备方面做出了许多努力。
例如，现代汽车出于不同目的可以使用后置、前置和/或侧置相机。一些最流行的应用是例如：交叉路口警报(CTA)、车道偏离警示(LDW)、碰撞避免(CA)以及盲点检测(BSD)。
不同的高级驾驶员辅助系统(ADAS)解决方案在不同的道路场景中可能是有利地。例如，交叉路口警报(CTA)可能在其他车辆可以穿过道路的城市道路环境中是有用的。相反，车道偏离警示(LDW)或盲点检测(BSD)可能在车辆达到高速并且驾驶员的短暂注意力分散就能导致事故的高速公路上是有用的。
因此，目前将大范围的高级技术引入到汽车生产中，就与高级驾驶员辅助系统(ADAS)的许多方面相关的创新而言进行了大量投资。
如之前所述，高级驾驶员辅助系统(ADAS)是车辆控制系统，该车辆控制系统使用环境传感器(例如，像雷达、激光、视觉、图像相机)通过辅助驾驶员对潜在危险的交通情况进行识别和作出反应来提高交通安全。
不同类型的智能车辆辅助系统可以用作驾驶员信息系统，如：
-高级路线导航系统，如在2012年第12届控制、自动化与系统国际会议(ICCAS)，S.Jeong(S.郑)、T.Kim(T.金姆)、J.Lee(J.李)、S.Lee(S.李)和J.Lee(J.李)的“Designanalysis of precision Navigation System(精确导航系统的设计分析)”中所描述的一种系统；
-驾驶员警示系统，如在2014年工程与技术进步国际会议，T.Aung(T.昂)和M.H.Zaw(M.H.梭)的“Video Based Lane Departure Warning System(基于视频的车道偏离警示系统)”中所描述的车道偏离警示(LDW)系统；
-碰撞避免(CA)，其示例在2015年计算机与通信工程创新研究国际期刊，A.Choudhary(A.乔杜里)、Y.Moon(Y.莫恩)和R.Nawkhare(R.那卡哈尔)的“Design andImplementation of Wireless Security System in Vehicle(车辆中无线安全系统的设计与实现)”中被公开；
-盲点检测(BSD)，如2012年车辆技术国际期刊，B.F.Wu(B.F.吴)、C.C.Kao(C.C.高岛)、Y.F.Li(Y.F.利)和M.Y.Tsai(M.Y.蔡)的“A Real-Time Embedded Blind Spot SafetyAssistance System(实时嵌入式盲点安全辅助系统)”中所描述的解决方案；以及
-干预系统，如自适应巡航控制(ACC)，其示例在2012年第17届自动化方法和模型及机器人(MMAR)国际会议，P.Shakouri(P.沙库里)、J.Czeczot和A.Ordys的“AdaptiveCruise Control System using Balance-Based Adaptive Control technique(利用基于均衡的自适应控制技术的自适应巡航控制系统)”中被描述。
特别地，驾驶员警示系统主动地警示处于潜在危险的驾驶员，允许驾驶员采取适当的纠正动作以便减轻或完全避免危险事件。
在这些系统中，除安全援助以外，交叉路口警报(CTA)是用于减少驾驶员所感受到的压力的重要系统，即，如2010年新英格兰大学交通中心白皮书，B.Reimer(B.雷蒙)、B.Mehler(B.梅勒)和J.F.Coughlin(科格林)的文献“An Evaluation of DriverReactions to New Vehicle Parking Assist Technologies Developed to ReduceDriver Stress(对研发用于减少驾驶员压力的新车辆泊车辅助技术的驾驶员反应进行评估)”中所公开的。
所有这些系统被设计成用于例如利用声学警示信号声音来警告驾驶员侵入车辆的存在。这种警示在不同情况中可能是有用的，如返回停车场所和/或缓慢地到达/离开交通信号灯或交叉路口。
交叉路口警报(CTA)系统的物理限制在于传感器无法揭示场景中的障碍物或车辆，因此在这种情况下无法正常工作。
交叉路口警报(CTA)系统需要用于实时处理所收集信息的高效算法和方法。安装在车辆上的距离传感器可以提供一种用于解决该问题的实用解决方案。
通常，出于这一目的，已经提出雷达传感器以及雷达和图像传感器，如例如在2014年US 2014/0015693A1，T.Komoguchi(T.川口)、T.Kawasaki(T.川崎)和Y.Takahashi(Y.高桥)的文献“Rear cross traffic alert device(后部交叉路口警报设备)”中以及2011年US 2011/0133917A1，S.Zeng(S.曾)的“Cross traffic collision alert system(交叉路口碰撞警报系统)”中所描述的。
这些已知系统实现了良好的性能，但它们过于昂贵以至于无法进入汽车大众市场。
此外，解决该问题的有趣的方法是数据融合技术，其结合来自若干传感器的信息以便提供环境的完整视图。
另外，还提出了不同的表现良好的方法，像如例如在2014年第17届信息融合(融合)国际会议，J.Thomanek(J.托马内克)和G.Wanielik的文献“A new pixel-based fusionframework to enhance object detection in automotive applications(用于增强汽车应用中的对象检测的新型基于像素的融合框架)”中所描述的图像红外线与可见光传感器、如在2008年US 2008/0306666A1，S.Zeng(S.曾)、J.A.Salinger(J.A.塞林格)和P.V.V.Ganesan(P.V.V.加内桑)的“Method and apparatus for rear cross trafficcollision avoidance(后部交叉路口碰撞避免的方法和装置)”中所公开的对象检测传感器(雷达或相机)以及车辆内置传感器(例如，用于方向盘和速度计)，等。
遗憾的是，这些成本较低的系统并非如此廉价以至于适合于潜在的汽车大众市场。
由于感到对真正低成本的系统的需要，已经将注意力仅集中到单个低成本图像相机上。
在本领域中，已经提出了基于单个低成本图像相机的不同方法：
-基于直方图反向投影的道路平面分段，基于视频的饱和度及值信道，如2014年IEEE车辆电子与安全国际会议(ICVES)，R.Tan(R.谭)的“A safety concept for camerabased ADAS based on multicore MCU(基于多核MCU的基于相机的ADAS的安全概念)”中所描述的；
-基于视频的车辆的大小和位置，如在2004年IEEE智能车辆研讨会上E.Dagan(E.达甘)、O.Mano(O.马诺)、G.P.Stein(G.P.斯坦)和A.Shashua(A.沙苏哈)的“Forwardcollision warning with a single camera(利用单个相机的前向碰撞警示)”中所描述的；
-基于Haar和Adboost的车辆检测以及相机校准，如在2010年IEEE智能车辆研讨会上J.Cui(J.崔)、F.Liu(F.刘)、Z.Li(Z.李)和Z.Jia(Z.贾)的“Vehicle LocalisationUsing a Single Camera(使用单个相机的车辆定位)”中所描述的；
-利用基于对称的方法的贝叶斯分类器和阴影检测，如在2015年IEEE消费电子产品国际会议-台湾(ICCE-TW)上Y.Jheng、Y.Yen(Y.延)和T.Sun(T.孙)的“A symmetry-basedforward vehicle detection and collision warning system on Android smartphone(安卓智能电话上基于对称的前向车辆检测和碰撞警示系统)”中所描述的；
-类Haar特征和Adaboost分类器以及具有方向梯度直方图(HOG)特征的支持向量机(SVM)分类器，如在2014年IEEE机器人与仿生学(ROBIO)国际会议上Y.Deng(Y.邓)、H.Liang(H.梁)、Z.Wang(Z.王)和J.Huang(J.黄)的“An integrated forward collisionwarning system based on monocular vision(基于单目视觉的集成前向碰撞警示系统)”中所公开的；
-SVM分类器，如在2013年第56届IEEE电路与系统国际中西方研讨会(MWSCAS)上E.Salari(E.萨拉里)和D.Ouyang(D.欧阳)的“Camera-based Forward Collision andlane departure warning systems using SVM(使用SVM的基于相机的前向碰撞和车道偏离警示系统)”中所公开的，等。
在系统层级，这些方法通常是基于图像传感器与图像处理器的组合，如例如2010年US 2010/0201508A1，C.A.Green(C.A.格林)和U.H.Balbale(U.H.巴贝拉)的“Crosstraffic alert system for a vehicle,and related alert display method(用于车辆的交叉路口警报系统以及相关的警报显示方法)”中所描述的，并且通常是基于具有多核(微控制器单元)MCU的引擎控制单元(ECU)，如2012年第8届信号图像技术与基于互联网的系统(SITIS)的国际会议，V.Balisavira(V.巴里塞维亚)和V.K.Pandey(V.K.潘迪)的“Real-time Object Detection by Road Plane Segmentation Technique for ADAS(通过道路平面分段用于ADAS的实时对象检测)”以集中加工图像数据。
所引用的现有技术的主要缺点是至少需要外部图像处理器来对图像数据进行大量计算并且需要车辆内置传感器(档位状态、车辆速度)来简化这些结果。
发明内容
考虑到上述情况，本公开的各个实施例的目标是提供用于低成本交叉路口警报方法和系统的解决方案。
交叉路口警报方法被设计成用于在检测到侵入车辆的情况下警告驾驶员。
这种方法在不同情况中是有效的，如返回停车场所和/或缓慢地到达/离开交通灯或交叉路口。
许多汽车公司(如，沃尔沃(Volvo)、丰田(Toyota)、福特(Ford)等)已经针对高端市场实现了这一方法。
本公开的目的是关注低成本交叉路口警报系统以满足汽车大众市场。
根据一个或多个实施例，通过一种具有以下权利要求书中具体阐述的特征的交叉路口警报方法来实现以上目标中的一个或多个目标。
特别地，针对该交叉路口警报方法所提出的解决方案是基于低成本相机的并且整体上基于光流(OF)数据的处理。
该方法仅利用光流(OF)数据达到了高性能。
权利要求书是在此提供的公开的技术教导的整体部分。
在一个或多个实施例中，该方法进一步包括以下步骤：
-根据取向对光流进行滤波，并且仅选择位于道路上的运动向量以便形成缩减集；
-将每一帧的消失点计算为由属于该缩减集的运动向量的方向生成的线之间的所有交叉点的平均位置；
-校验消失点并且估计消失点VP在当前帧中的位置；
-如果当前帧的消失点(VP)位置属于网格的中间区域，则将该网格覆盖在图像上；以及
-计算相对于随后帧的有效消失点位置之间的算术介质。
此外，在一个或多个实施例中，计算水平滤波子集包括以下步骤：
-校验BB并且将之前计算的边界框列表以内的运动向量(MV)维持在该子集中；
-执行水平校验，其中，校验之前计算的边界框列表以外的运动向量，并且滤波出水平运动向量MV，并且如果该运动向量被认为是水平的，则维持在该子集中，否则将其丢弃。
附图说明
现在将参照附图对本公开的实施例进行描述，这些实施例仅以非限制性示例的方式提供，并且其中：
-图1示出了根据本公开用于交叉路口警报的系统的实施例；
-图2示出了根据本公开的交叉路口警报方法步骤的实施例；
-图3和图4示出了图2的方法步骤的一些细节的可能的实现方式的示例；
-图5和图6示出了图4的步骤的一些细节的可能实现方式的示例；
-图7A、图7B、图8A、图8B、图9A和图9B分别是聚类步骤和CTA系统的输出的示例。
具体实施方式
在以下描述中，给出了很多特定细节，以提供对实施例的全面理解。在没有一个或几个特定细节或者利用其他方法、部件、材料等的情况下，可以实践这些实施例。在另一个实例中，没有详细示出或描述众所周知的结构、材料或操作，以避免混淆这些实施例的方面。
贯穿本说明书所提到的“一个实施例”或“实施例”是指与该实施例相关联地描述的具体特征、结构或特性被包括在至少一个实施例中。因此，贯穿本说明书，短语“在一个实施例中”或“在实施例中”在各种场合中的出现并不一定都是指相同的实施例。另外，具体特征、结构或特性可以以任何合适的方式组合在一个或多个实施例中。
本文中所提供的标题仅为了方便而非解释实施例的范围或含义。
特别地，交叉路口警报(CTA)系统能够检测到从左侧或从右侧移动到车辆行驶路径中的车辆。
采集周围区域图像的相机被假设为不仅静止在车辆上(例如，停置在交通灯处或在道路交叉口)，而且还缓慢移动(例如，在停车场区中)。
由于越来越多的公司生产具有硬件实现光流(OF)分析的图像处理器，如在2004年电路与系统国际研讨会(ISCAS)2004会报，A.A.Stocker(A.A.施托克尔)和R.J.Douglas(R.J.道格拉斯)的“Analog integrated 2-D optical flow sensor with programmablepixels(具有可编程像素的模拟集成2-D光流传感器)”中所公开的，在此所描述的交叉路口警报(CTA)系统可以直接在图像相机内部的图像信号处理器(ISP)中工作，避免使引擎控制单元(ECU)过载并且避免传输整个图像流，而无需具有外部图像处理器。
其允许获得具有较低额外计算工作量的实时交叉路口警报(CTA)系统，从而提供良好的性能。
图1示出了用于低成本交叉路口警报(CTA)系统的可能的解决方案。
如之前所提到的，交叉路口警报(CTA)系统可以直接在相机的图像信号处理器(ISP)中工作，而无需具有外部图像处理器。
在所考虑的示例中，生成图像IMG的至少一个图像相机10被放置在车辆(比如，汽车、卡车或摩托车)上。图像相机10被放置在车辆上并且被配置成用于监测相对于该车辆的前方、后方和/或侧方道路情况。
图像相机10包括处理模块20(例如，用于交叉路口警报分析和警报生成的系统)，该处理模块被适配成用于分析道路情况并且在某些情形下对驾驶员产生警报。
因此，典型的检测系统可以包括相机10、处理模块20以及警报设备30，比如，视觉显示器、声学元件和/或触觉致动器。
因此，给予驾驶员的警报可以是不同类型的。例如，警报设备可以包括音频元件32、显示器元件34和/或触觉致动器36。
特别地，触觉或动觉通信通过将力、震动或运动施加到用户来再创造触摸感，并且特别地是在车辆的方向盘上。
在本公开的各个实施例中，警报可以是声音、视觉和触觉警报之和或其混合。
在所考虑的实施例中，例如，交叉路口警报(CTA)系统生成输出视频，该输出视频示出所检测到的车辆或移动对象被边界框包围的输入场景(参见例如图7A)。
特别地，交叉路口警报(CTA)处理模块20整体上基于光流(OF)，例如，运动向量(MV)的集合指示当前帧中的特征与前一帧中的相同特征相比的运动。
例如通过处理模块20在相机10的图像信号处理器(ISP)内部直接计算光流(OF)，以确保实时处理。
更确切些，交叉路口警报(CTA)系统仅使用从传感器/ISP可获得的光流(OF)(例如，通过新的设备传感器STV0991)。
此外，传感器设备STV0991是具有用于视频分析的硬件加速器(即，光流与线路检测器)的图像信号处理器，该图像信号处理器与嵌入式视频编码器并行工作。基于500MHzARM的CPU、H264视频编码器以及较小渲染引擎使实时应用成为可能。交叉路口警报(CTA)过程利用其嵌入式视频分析HW加速器在STV0991CPU上运行。特别地，仅使用该光流。
此外，如之前所提到的，交叉路口警报(CTA)系统不需要图像内容，从而允许减少功耗和处理器需求，因为它可以直接在低资源系统中(即，直接在相机10的图像信号处理器(ISP)中)工作。
这可以避免使引擎控制单元(ECU)过载并且避免在该系统的不同模块之间传输整个图像流。
处理模块20包括第一模块22，该第一模块被配置成用于分析由相机10提供的图像IMG，以便生成光流数据OF。例如，在各个实施例中，光流数据OF包括运动向量(MV)的集合/列表，该运动向量指示当前图像/帧中的对应特征与先前图像/帧相比的运动。在硬件中计算光流数据OF，由此允许例如以30fps进行实时处理。
通常，光流数据OF的计算，特别是运动向量的计算在本领域内是众所周知的，在此没必要进行更详细的描述。
在所考虑的实施例中，交叉路口警报(CTA)处理模块20接收已经由模块22估计的光流数据OF(例如，运动向量MV)。
在如图2中所例示的一个或多个实施例中，处理模块20执行交叉路口警报(CTA)过程的以下步骤，这些步骤可以包括：
-在模块24中计算消失点VP，该消失点起始于由模块22估计的光流数据OF；这一步骤在输入端中接受光流数据OF，并且计算消失点VP，例如，穿过缩放向量(位于道路中的向量)的直线的所有交叉点的平均点；
-在模块26中计算水平滤波子集OF’；将在模块24中计算的消失点VP与先前帧(在输入端中接收作为反馈反应)的边界框BB列表考虑在内，从总光流OF滤波出水平运动向量MV，从而获得光流OF的子集，称为OF’子集；
-在聚类模块28中，对光流子集OF’进行聚类并且生成被发送到警报生成设备30的边界框BB列表；从取自光流OF的子集OF’，检索场景中的移动对象，假设相机固定，并且获得BB列表作为输出。
更详细地，在以下子段落中，将详细描述前述步骤。
首先，处理模块20使用模块消失点24来计算消失点VP。
对于场景理解最有用的信息之一是消失点VP的位置。从理论点的角度来讲，场景中的消失点VP位置只有在理想情况下与该图像的中心重叠：道路完全平坦(没有坡并且没有弯曲)，前置相机被放置成相对于地面是水平的(没有倾斜角度)并且相对于主汽车轴是垂直的(没有摇摄角度)。
真实情况(这是针对所提出的应用的目标场景)呈示不同于零的相机校准参数(例如，倾斜角度和摇摄角度)，并且最主要地，主汽车穿过可能具有斜坡和弯曲的道路。
因此，在真实环境中，消失点VP位置不与图像的中心重合并且由于这个原因而被估计。
在一个或多个实施例中，消失点VP位置是重要的，不仅因为界定了场景的视野，而且因为它有助于在下一个水平滤波子块中选择潜在地属于十字路口车辆的运动向量MV。
在一个或多个实施例中，仅使用该OF来计算消失点VP。
图3中例示了该过程的一些或全部处理步骤。这些步骤可以被综合成如下：
·在步骤240中，在缩小滤波模块240中对由模块24在输入端中接收到的光流OF进行滤波；根据取向，仅选择并收集位于道路上的运动向量MV以便构成由OF”表示的缩减集；
·在步骤242中，将每一帧的消失点VP计算为由属于该缩减集OF”的运动向量MV的方向生成的线之间的所有交叉点的平均位置；这一步骤242的输出为消失点VP；参见例如1998年US5777690A，N.Takeda(N.武田)和M.Watanabe(M.渡边)的文献“Device and methodfor detection of moving obstacles(用于检测移动障碍物的设备和方法)”；
·在步骤244中，校验消失点VP；只要其通过了特定校验，则在当前帧中估计的消失点VP位置就将有助于消失点VP的瞬时位置估计；如果当前帧的消失点VP位置属于网格的中间区域，则将3×3的网格覆盖在该图像上，然后其将用于瞬时平均值，否则其将在步骤248中被丢弃；
·在步骤246中，经验证的消失点VP的位置被提交给瞬时平均值；计算相对于随后帧的有效消失点VP位置之间的算术介质；参见例如2015年DE102014209137A1，M.M.Siebeneicher(M.西巴尼查)、A.Fietz(A.菲茨)、A.Haja(A.赫迦)、D.Liebehenschel和C.的文献“Method and apparatus for calibration of acamera system of a motor vehicle(用于校准机动车辆的相机系统的方法和装置)”；由于缩小集OF”中存在离群值，所以随后的消失点VP位置可以稍微有所不同；瞬时方法允许将这些差异平滑化，以保证更可靠且更稳定的消失点VP点。将瞬时消失点VP位置初始化到图像平面的中心，并且在几帧(大约10帧)内到达其稳定位置。
此外，处理模块20使用水平滤波模块26以及在输入端中接收光流OF和消失点VP来计算子集OF’。另外，在输入端中还接收由聚类模块28生成的边界框BB列表作为反馈反应。
为了令随后的聚类步骤28正确地工作，由于其仅与稳定的相机一起工作，因此重要的是去除与车辆移动方向相同的运动向量MV，从而滤波出水平运动向量MV。
因此，处理模块20被配置成用于基于先前帧的边界框BB列表、消失点VP以及运动向量MV的取向来应用滤波。
特别地，如图4中所指示的，水平滤波模块26根据以下步骤起作用：
·BB校验步骤260：保存之前计算的边界框BB列表以内的运动向量MV，并且将其维持在子集OF’中，以避免在下一个聚类步骤28中消除真正的聚类；当然，假设场景中的恒定速度，这些运动向量MV可以被运动补偿；在场景左侧向左移动的车辆(以及在场景右侧向右移动的车辆)中的运动向量MV可以轻易地与待消除运动向量MV混淆；引入BB校验步骤260，使得克服该问题，假设在场景左侧向左移动的车辆(以及在场景右侧向右移动的车辆)已经预先在场景中从场景的相反侧开始移动并且然后预先通过聚类步骤28被标识；
·水平校验步骤262：校验之前计算的边界框BB列表以外的运动向量MV，并且滤波出水平运动向量MV；
如果运动向量被认为是水平的，则维持在子集OF’中，否则将其丢弃。如果两个条件都满足，则保留向量，即，被认为是水平的；
1)其取向位于水平取向(零或180度)附近，如图5中所表示的；在示例中，该角度是θ＝ρ＝10度；以及
2)运动向量MV的取向与在消失点VP上平移的运动向量MV的取向之间的取向差异克服了评估动态阈值TH，如在图6中所表示的；这一动态阈值TH可以被评估为位于所考虑的运动向量MV附近的最大取向与最小取向之间的差异的百分比；特别地，针对每个运动向量MV，所考虑的邻域在两个方向上被设置为±1。
特别地，聚类模块28接收来自水平滤波模块26的子集OF’并且计算边界框BB列表。
更确切些，聚类是将信息集进行分组的任务，其方式使得相同组(称为聚类)中的信息相比其他组中的那些信息彼此更相似。
在这一应用中，重要的是标识横向接近被监测车辆的移动汽车，该被监测车辆上安装有交叉路口警报(CTA)系统。
如之前所提到的，在模块28中应用的聚类步骤仅基于来自于之前的水平滤波步骤26的光流分析。例如，在一个或多个实施例中，可以实现聚类步骤28，如在2015年意大利专利局的申请号102015000082886，G.Spampinato(G.斯潘皮纳托)、A.Bruna(A.布鲁纳)、V.D’Alto的文献“A clustering method and system,corresponding apparatus andcomputer program product(聚类方法和系统、相应的装置以及计算机程序产品)”中所公开的。
已经利用不同的场景和不同分辨率的不同相机(都是线性的和鱼眼镜头)执行了许多测试，获得了非常好的视觉效果。
针对实时测试，申请人已经使用意法半导体设备STV0991，该设备的使用说明可以在互联网网站上找到：http://www.st.com/web/catalog/mmc/FM132/SC51/PF255756
此设备是图像处理器，该图像处理器不仅具有用于从拜耳(Bayer)图像来重构图像的经典流水线，而且它嵌入光流，该光流可以直接用作交叉路口警报方法的输入。
在此图像处理器中，存在嵌入式ARM Cortex-R4CPU@500MHz，因此该方法可以直接加载在其上，无需外部主处理器，使得芯片中具有完整的解决方案来测试交叉路口警报方法的“现场”行为。
在图7A和图7B中示出了具有鱼眼相机的后部交叉路口警报CTA的示例。在后部交叉路口警报CTA的情况中，相机安装在车辆的背部，并且在这种情况下车辆正在退出停车场所。
由于相机安装在移动的汽车中并且地面上的线在移动，所以图7A中所表示的仅聚类步骤28的输出示出了地面上的错误边界框BB。相反，由于它们被正确地标识并且通过水平滤波步骤26被去除，利用图7B中所表示的提出的交叉路口警报CTA方法，错误的边界框BB被去除。
此外，图8A和图8B中示出了利用线性相机缓慢到达交叉路口的另一示例。
在这种情况下，该相机安装在车辆的前面，并且该车辆正在接近交叉路口。图8A中所表示的仅聚类步骤28的输出示出了地面上的、树叶上的以及道路标志中的错误边界框BB。
相反，利用图8B中所表示的提出的交叉路口警报CTA方法，所有错误的边界框BB都被去除，留下两个十字路口汽车的边界框BB。
另外，图9A和图9B中示出了利用线性相机缓慢离开交叉路口的另一示例。
在这种情况下，该相机安装在车辆的前面，并且该车辆正在离开交叉路口。图9A中所表示的仅聚类步骤28的输出示出了地面上的以及树叶上的错误边界框BB。
相反，利用图9B中所表示的提出的交叉路口警报CTA方法，所有错误的边界框BB都被去除，留下十字路口汽车的边界框BB。
已经在场景的代表性数据集上实验性地测试了所提出的解决方案，在准确度方面获得了有效结果。特别地，已经利用不同场景和不同相机执行了许多测试，获得了非常好的视觉效果。例如，已经测试了线性和鱼眼镜头以及不同相机和分辨率。
已经研发了具有以下特性的非常可靠且低成本的交叉路口警报CTA方法：
-是非常简单的技术；
-低功耗；
-无需外部图像处理器；
-无需附加存储器；以及
-所提出的方法非常灵活，因此可以与任何算法一起用于光流OF、消失点VP计算以及聚类操作。
特别地，在2.3GHz处理器(如ARM Cortex-A15)上针对VGA序列的计算时间是大约800帧/秒。
该系统是确定性的，即，相同的输入总是产生相同的输出。
所有交叉路口警报CTA处理都在相机的ISP内部，并且此外，解决方案可检测性可以用于：
-专门(ad-hoc)输入/输出刺激，
-具有随机的小/中度噪声的测试序列，
-具有多个十字路口对象的测试序列。
当然，在不损害本发明的原理的情况下，如所附权利要求所限定的，相对于在此描述和图解说明的内容，因此在不脱离本发明的范围的前提下，构造的细节和实施例可以是各种各样的。

Claims (8)

1.一种用于交叉路口警报的方法，所述方法包括以下步骤：
-接收来自安装在车辆上的相机(10)的图像序列(IMG)；
-处理(20)所述图像序列(IMG)以便生成光流数据(OF)，所述光流数据包括与所述图像序列(IMG)中的对应特征相关联的运动向量列表；
-分析所述光流数据(OF)以便通过计算穿过位于道路中的向量的直线的所有交叉点的平均点来计算(24)消失点(VP)；
-考虑所述消失点(VP)和先前帧的边界框(BB)列表来计算(26)水平滤波子集(OF’)并且从所述光流(OF)中滤波出水平运动向量；
-对所述光流子集(OF’)进行聚类(28)并且生成边界框(BB)列表以检索场景中的移动对象，其中，所述列表被发送至警报生成设备(30)；以及
-生成输出视频，所述输出视频示出所述检测到的移动对象被边界框(BB)包围的输入场景。
2.根据权利要求1所述的用于交叉路口警报的方法，所述方法包括以下步骤：
-根据取向对所述光流(OF)进行滤波(240)，并且仅选择位于所述道路上的所述运动向量(MV)以便形成缩减集(OF”)；
-将每一帧的消失点(VP)计算(242)为由属于所述缩减集(OF”)的运动向量(MV)的方向生成的线之间的所有交叉点的平均位置；
-校验(244)所述消失点(VP)并且估计所述消失点VP在所述当前帧中的位置；
-如果所述当前帧的所述消失点(VP)位置属于网格的中间区域，则将所述网格覆盖在所述图像上；以及
-计算(246)相对于随后帧的有效消失点VP位置之间的算术介质。
3.根据权利要求1或权利要求2所述的用于交叉路口警报的方法，其中，计算(26)所述水平滤波子集(OF’)包括以下步骤：
-校验所述BB(260)并且将所述之前计算的边界框(BB)列表以内的所述运动向量(MV)维持在所述子集(OF’)中；
-执行水平校验(262)，其中，校验所述之前计算的边界框(BB)列表以外的所述运动向量(MV)，并且滤波出所述水平运动向量MV，并且如果所述运动向量(MV)被认为是水平的，则维持在所述子集(OF’)中，否则将其丢弃。
4.根据权利要求3所述的用于交叉路口警报的方法，其中，如果两个条件都满足，则认为运动向量(MV)是水平的：
-所述运动向量(MV)的取向位于水平取向附近；以及
-所述运动向量(MV)取向与在消失点(VP)上平移的运动向量(MV)的取向之间的取向差异克服了评估动态阈值(TH)。
5.根据权利要求4所述的用于交叉路口警报的方法，其中，所述动态阈值(TH)可以被评估为位于所考虑的运动向量(MV)附近的最大取向与最小取向之间的差异的百分比，并且具体地，针对每个运动向量(MV)，所考虑的邻域在两个方向上被设置为±1。
6.一种处理系统，所述处理系统被配置成用于执行根据以上权利要求中任一项所述的方法。
7.一种交叉路口警报系统，包括相机(10)、警报生成设备(30)以及根据权利要求6所述的处理系统。
8.一种车辆，包括根据权利要求7所述的交叉路口警报系统。
CN201710190150.7A 2016-09-21 2017-03-27 交叉路口警报方法、处理系统、交叉路口警报系统及车辆 Active CN107845290B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT102016000094858A IT201600094858A1 (it) 2016-09-21 2016-09-21 Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
IT102016000094858 2016-09-21

Publications (2)

Publication Number Publication Date
CN107845290A true CN107845290A (zh) 2018-03-27
CN107845290B CN107845290B (zh) 2021-07-27

Family

ID=57796883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710190150.7A Active CN107845290B (zh) 2016-09-21 2017-03-27 交叉路口警报方法、处理系统、交叉路口警报系统及车辆

Country Status (4)

Country Link
US (1) US10242272B2 (zh)
EP (1) EP3299994A1 (zh)
CN (1) CN107845290B (zh)
IT (1) IT201600094858A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112292286A (zh) * 2018-06-13 2021-01-29 里德视觉有限公司 骑乘者辅助系统和方法
CN115082701A (zh) * 2022-08-16 2022-09-20 山东高速集团有限公司创新研究院 一种基于双摄像头的多水线交叉识别定位方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930120B2 (ja) * 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
KR20200016627A (ko) * 2018-08-07 2020-02-17 삼성전자주식회사 자체 운동 추정 방법 및 장치
US11315256B2 (en) * 2018-12-06 2022-04-26 Microsoft Technology Licensing, Llc Detecting motion in video using motion vectors
KR20210073313A (ko) * 2019-12-10 2021-06-18 팅크웨어(주) 주행 관련 안내 서비스를 제공하는 차량용 단말 장치, 서비스 제공 서버, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
GB2598082A (en) * 2020-07-08 2022-02-23 Continental Automotive Gmbh Road mirror detection system and method
JP7416348B1 (ja) 2022-03-11 2024-01-17 三菱電機株式会社 移動方向判定装置、移動方向判定方法、及び移動方向判定プログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04118360A (ja) * 1990-09-06 1992-04-20 Daido Signal Co Ltd 踏切障害物検知装置
JPH08329398A (ja) * 1995-05-30 1996-12-13 Nissan Motor Co Ltd 走行路検出装置
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2005228195A (ja) * 2004-02-16 2005-08-25 Nissan Motor Co Ltd 障害物検知装置
US7346191B2 (en) * 2004-07-13 2008-03-18 Nissan Motor Co., Ltd. Moving obstacle detecting device
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法
CN102157072A (zh) * 2011-03-29 2011-08-17 北京航空航天大学 基于车路协同的交叉口车辆合流诱导装置及其诱导方法
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车系统株式会社 摄像装置
CN102592454A (zh) * 2012-02-29 2012-07-18 北京航空航天大学 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
CN103942560A (zh) * 2014-01-24 2014-07-23 北京理工大学 一种智能交通监控系统中的高分辨率视频车辆检测方法
DE102014209137A1 (de) * 2014-05-14 2015-11-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
WO2005024754A1 (ja) * 2003-09-02 2005-03-17 Fujitsu Limited 車載用画像処理装置
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
US20080306666A1 (en) 2007-06-05 2008-12-11 Gm Global Technology Operations, Inc. Method and apparatus for rear cross traffic collision avoidance
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US20100201508A1 (en) 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
US8232872B2 (en) 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
WO2013046246A1 (ja) 2011-09-26 2013-04-04 トヨタ自動車株式会社 後側方接近警報装置
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US9460354B2 (en) * 2012-11-09 2016-10-04 Analog Devices Global Object detection
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
EP4187523A1 (en) * 2014-05-14 2023-05-31 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04118360A (ja) * 1990-09-06 1992-04-20 Daido Signal Co Ltd 踏切障害物検知装置
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
JPH08329398A (ja) * 1995-05-30 1996-12-13 Nissan Motor Co Ltd 走行路検出装置
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2005228195A (ja) * 2004-02-16 2005-08-25 Nissan Motor Co Ltd 障害物検知装置
US7346191B2 (en) * 2004-07-13 2008-03-18 Nissan Motor Co., Ltd. Moving obstacle detecting device
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车系统株式会社 摄像装置
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法
CN102157072A (zh) * 2011-03-29 2011-08-17 北京航空航天大学 基于车路协同的交叉口车辆合流诱导装置及其诱导方法
CN102592454A (zh) * 2012-02-29 2012-07-18 北京航空航天大学 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
CN103942560A (zh) * 2014-01-24 2014-07-23 北京理工大学 一种智能交通监控系统中的高分辨率视频车辆检测方法
DE102014209137A1 (de) * 2014-05-14 2015-11-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GILDAS LEFAIX ET AL.: "Motion-based Obstacle Detection and Tracking for Car Driving Assistance", 《IEEE》 *
IKURO SATO ET AL.: "Crossing Obstacle Detection with a Vehicle-Mounted Camera", 《IEEE》 *
KOICHIRO YAMAGUCHI ET AL.: "Moving Obstacle Detection using Monocular Vision", 《IEEE》 *
孙季丰 等: "基于特征点光流和卡尔曼滤波的运动车辆跟踪", 《华南理工大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112292286A (zh) * 2018-06-13 2021-01-29 里德视觉有限公司 骑乘者辅助系统和方法
CN115082701A (zh) * 2022-08-16 2022-09-20 山东高速集团有限公司创新研究院 一种基于双摄像头的多水线交叉识别定位方法

Also Published As

Publication number Publication date
IT201600094858A1 (it) 2018-03-21
US10242272B2 (en) 2019-03-26
EP3299994A1 (en) 2018-03-28
CN107845290B (zh) 2021-07-27
US20180082132A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN107845290A (zh) 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
US20210365750A1 (en) Systems and methods for estimating future paths
US10452931B2 (en) Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
CN107845104B (zh) 一种检测超车车辆的方法、相关处理系统、超车车辆检测系统以及车辆
Park et al. In‐vehicle AR‐HUD system to provide driving‐safety information
McCall et al. Video-based lane estimation and tracking for driver assistance: survey, system, and evaluation
US9619719B2 (en) Systems and methods for detecting traffic signs
US10402665B2 (en) Systems and methods for detecting traffic signs
Dueholm et al. Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
WO2018149539A1 (en) A method and apparatus for estimating a range of a moving object
Poostchi et al. Semantic depth map fusion for moving vehicle detection in aerial video
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
JP2022161066A (ja) 表示制御システム、表示制御方法及びプログラム
Hanizam et al. Motion Estimation on Homogenous Surface for Around View Monitoring System
Sakai et al. Experiment of safety drive in an intersection by visual assistances based on HIR system
Spampinato et al. Optical Flow Based System for Cross Traffic Alert
Rezaei et al. Vision-based driver-assistance systems
Saha et al. Interpreting Scope of Predictive Analytics in Advanced Driving Assistant System
Jhong et al. Efficient Lane Detection based on Feature Aggregation for Advanced Driver Assistance Systems
Hasn et al. Collision Avoidance by Identifying Risks for Detected Objects in Autonomous Vehicles
Ingale et al. Lane Recognition Technique Using Hough Transform
Gorobetz et al. Simulation of Computer Vision Based Sensor System for Autonomous Transport

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant