CN112829677A - 处理从车辆收到的报告的方法和系统 - Google Patents

处理从车辆收到的报告的方法和系统 Download PDF

Info

Publication number
CN112829677A
CN112829677A CN202110225771.0A CN202110225771A CN112829677A CN 112829677 A CN112829677 A CN 112829677A CN 202110225771 A CN202110225771 A CN 202110225771A CN 112829677 A CN112829677 A CN 112829677A
Authority
CN
China
Prior art keywords
vehicle
report
camera
navigation system
stationary object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110225771.0A
Other languages
English (en)
Inventor
Y.埃利马莱赫
G.斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of CN112829677A publication Critical patent/CN112829677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

本公开提供了用于处理从车辆收到的报告的方法和系统。方法包括从第一车辆的第一导航系统接收第一报告，第一报告是响应于在检测到第一车辆的环境中的第一危险后发出的警报而生成的，其包括检测到的第一危险的第一位置和第一时间，第一位置是基于对第一导航系统收集的图像数据的分析而确定的；从第二车辆的第二导航系统接收第二报告，第二报告是响应于在检测到第二车辆的环境中的第二危险后发出的警报而生成的，第二报告包括检测到的第二危险的第二位置和第二时间；分析第一报告和第二报告，以确定其标识相关的危险；将第一报告和第二报告整合成综合报告；以及处理综合报告，以识别相关的危险的根本原因和促成因素。

Description

处理从车辆收到的报告的方法和系统
本申请是申请日为2016年5月18日、申请号为201680014477.2(国际申请号为PCT/US2016/033026)、发明名称为“用于车辆的检测和警告潜在碰撞的安全系统”的发明专利申请的分案申请。
本申请要求于2015年5月18日提交的美国临时申请No.62/162,838以及于2015年12月1日提交的美国临时申请No.62/261,759的优先权。本申请还要求于2015年6月29日提交的英国申请号GB1511316.0的优先权。所有上述申请的全部内容通过引用并入本文。
技术领域
本公开涉及一种用于车辆的检测和警告与车辆行驶路径中的对象的潜在碰撞的安全系统，作为驾驶员辅助系统的一部分。
背景技术
驾驶员辅助系统(DAS)典型地包括车道偏离警告(LDW)、自动远光灯控制(AHC)、行人识别、前向碰撞警告(FCW)和行人检测。车辆检测、行人检测和交通标志识别算法可以共享共同的通用结构：初始候选检测，其后是该初始候选的更多的计算密集型分类。还可以使用各种运动恢复结构(structure-from-motion)算法来执行障碍物检测。
车道偏离警告(LDW)系统被设计为在无意的车道偏离的情况下发出警告。该警告是当车辆穿过或即将穿过车道标记时发出的。驾驶员意图是基于转弯信号的使用、方向盘角度的变化、车辆速度和制动器的激活来确定的。
交通标志识别(TSR)模块典型地被设计为检测在高速公路、乡村道路和城市环境中的限速标志和解除限速标志。优选地，检测部分遮挡的、轻微扭曲和旋转的交通标志。实施交通标志识别(TSR)的系统可以或应该忽略以下标志：卡车/公共汽车上的标志、出口道路号码、最低速度标志和嵌入式标志。关注于限速标志的交通标志识别(TSR)模块可以不具有特定的检测范围要求，因为限速标志仅需要在限速标志离开图像之前被检测。
前向碰撞警告(FCW)系统和车间时距(headway)距离监测的核心技术是车辆检测。典型的前向碰撞警告(FCW)算法的关键组成部分是离单个摄像机的距离的估计、以及从接触/碰撞时间(time-to-contact/collision，TTC)的尺度变化的估计，例如美国专利No.7,113,867中所公开的。
“运动恢复结构”(SfM)是指用于恢复已被投影到摄像机的后焦平面上的场景的三维信息的方法。从SfM算法导出的结构信息可以采用一组投影矩阵、每图像帧一个投影矩阵、表示图像平面中特定的二维点与其对应的三维点之间的关系的形式。SfM算法依赖于从图像帧到图像帧地跟踪特定图像特征，以确定关于场景的结构信息。
发明内容
本文公开的各种系统和方法可由可安装在车辆中以提供车辆附近的对象检测的系统执行。所述系统包括可操作地附接到处理器的摄像机。所述摄像机外部安装于车辆的后部。摄像机的视场沿车辆的侧面基本上在车辆行驶的前进方向上。从所述摄像机捕捉多个图像帧。可以输入所述车辆的偏航，或者可以从所述图像帧计算所述偏航。响应于所述车辆的所述偏航，选择图像帧的相应部分。处理所述图像帧从而以检测所述图像帧的所选部分中的对象。通过处理所述图像帧、或者处理来自陀螺仪装置、转弯信号、转向角和附接到车辆的转向柱的传感器的输入，所述偏航是可测量或可确定的。在测量到所述偏航的绝对值的增加时，处理图像帧的更大区域以增加有效的水平视场，以及从而在从车辆的侧面测量的更宽的水平角上检测障碍。
对于安装在车辆右侧的摄像机，当车辆向右转时，处理图像帧的更大区域以增加有效的水平视场，以及在从车辆的右侧测量的更宽的水平角上检测障碍。
对于安装在车辆左侧的摄像机，当车辆左转时，处理图像帧的更大区域以增加有效的水平视场，以及在从车辆的左侧测量的更宽的水平角上检测障碍。可以确定所述对象是移动障碍物以及验证所述对象将处于车辆的预计路径中，以确定车辆与所述移动障碍物的潜在碰撞。向驾驶员警告所述车辆与所述移动障碍物的潜在碰撞。所述警告可以以可听警告发声和/或以可视警告显示。该警告可以从安装有观看移动障碍物的摄像机的车辆的侧面发出。该对象可以是骑自行车者、骑摩托车者、车辆、行人、骑玩具车的儿童，推婴儿车的人和轮椅使用者。另一个驾驶员辅助系统：车道检测、结构屏障识别和/或交通标志识别可以用来识别静止对象，并且如果在车辆紧邻处检测到的所有对象都是静止对象，则可以抑制对驾驶员的警告。所述静止对象可以包括结构屏障、车道标记、交通标志、树木、墙壁和/或杆。
本公开的另一方面提供了一种处理从车辆收到的报告的方法，其包括：从第一车辆的第一导航系统接收第一报告，其中，第一报告是由第一导航系统响应于在基于对第一导航系统收集的图像数据的分析而检测到第一车辆的环境中的第一危险后发出的警报而生成的，并且其中，第一报告包括检测到的第一危险的第一位置和与检测到的第一危险相关联的第一时间，并且第一位置是由第一导航系统至少部分地基于对第一导航系统收集的图像数据的分析而确定的；从第二车辆的第二导航系统接收第二报告，其中，第二报告是由第二导航系统响应于在基于对第二导航系统收集的图像数据的分析而检测到第二车辆的环境中的第二危险后发出的警报而生成的，并且其中，第二报告包括检测到的第二危险的第二位置和与检测到的第二危险相关联的第二时间；分析第一报告和第二报告，以确定第一报告和第二报告标识相关的危险；将第一报告和第二报告整合成综合报告；以及处理综合报告，以识别所述相关的危险的根本原因和促成因素。
本公开的另一方面提供了一种用于处理从车辆接收的报告的系统，所述系统包括服务器，所述服务器能够操作为：从第一车辆的第一导航系统接收第一报告，其中，第一报告是由第一导航系统响应于在基于对第一导航系统收集的图像数据的分析而检测到第一车辆的环境中的第一危险后发出的警报而生成的，并且其中，第一报告包括检测到的第一危险的第一位置和与检测到的第一危险相关联的第一时间，并且第一位置是由第一导航系统至少部分地基于对第一导航系统收集的图像数据的分析而确定的；从第二车辆的第二导航系统接收第二报告，其中，第二报告是由第二导航系统响应于在基于对第二导航系统收集的图像数据的分析而检测到第二车辆的环境中的第二危险后发出的警报而生成的，并且其中，第二报告包括检测到的第二危险的第二位置和与检测到的第二危险相关联的第二时间；分析第一报告和第二报告，以确定第一报告和第二报告标识相关的危险；将第一报告和第二报告整合成综合报告；以及处理综合报告，以识别所述相关的危险的根本原因和促成因素。
附图说明
本文仅通过示例的方式参考附图来描述所公开的实施例，其中：
图1A和1B分别示出了根据所公开的实施例的一个方面的车辆的侧视图和俯视图。
图2A示出了根据所公开的实施例的一个方面的系统的框图。
图2B示出了根据所公开的实施例的特征的车辆内部的视图。
图3示出了根据所公开的实施例的一个方面的方法的流程图。
图4A和4B示出了根据所公开的实施例的一个方面的道路场景情境图。
图5A示出了根据所公开的实施例的特征的来自车辆内部的驾驶员的前视图。
图5B、5C、5D和5E示出了根据所公开的实施例的特征的中央警告显示器的示例。
图5F示出了根据所公开的实施例的特征的右和/或左警告显示器。
图6示出了根据所公开的实施例的方面的方法的流程图。
当结合附图考虑时，从以下详细描述中，上述和/或其它方面将变得显而易见。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出，其中相同的附图标记始终表示相同的元件。下面参考附图描述实施例。
通过介绍的方式，众所周知，公共汽车或重型车辆的驾驶员在车辆紧邻处具有有限的可见度。特别地，将前窗与公共汽车的侧面分隔的支柱会部分地阻碍驾驶员的视野。此外，驾驶员在车辆的侧面处具有有限的视场，其可以通过布置侧视镜部分地得以补偿。如此一来，驾驶员可能不知道潜在障碍物，例如，移动进入不易由驾驶员看到的“盲点”的骑自行车者、行人。所公开的实施例可以当移动障碍物侵入(encroach)车辆侧面时，特别是在转弯时，向驾驶员提供警告，以避免未看到的移动障碍物与车辆侧面之间的碰撞。根据所公开的实施例的特征，当车辆转弯时，图像帧中感兴趣的区域和从公共汽车侧面测量的有效水平视场或感兴趣的角度发生变化。当车辆右转时，在右侧的感兴趣的角度增加，以及当公共汽车在转弯之后直线行驶时，水平的感兴趣的角度再次减小。所述系统被配置为处理图像帧并且检测图像帧的感兴趣的区域中的潜在障碍物。当车辆直线行驶时，减小感兴趣的区域对于在公共汽车直线行驶时减少对驾驶员的假肯定(false positive)警告是重要的，并且与在转弯期间相比碰撞的可能性较小。
从公共汽车站的公共汽车的驾驶员通常更加注意他/她正试图并入的交通车道，例如在美国的公共汽车左边，在英国的公共汽车的右边，而不是可能与人行道相邻的任何障碍物。如果行人、骑自行车者或骑玩具车的儿童意外地从人行道驶入公共汽车的路径，则可能会导致人身伤害或死亡。类似地，当通过后视镜观看迎面而来(oncoming)的车辆时，公共汽车的驾驶员可能不会意识到移动进入公共汽车前方的行人或骑自行车者。因此，根据所公开的实施例的另一特征，对驾驶员的可听和/或可视警告，来使他注意到他或她否则将不会意识到的公共汽车路径附近的识别出的障碍物。
在一些实施例中，可以实施所公开的系统和方法以导航自动驾驶车辆。如贯穿本公开中所使用的，术语“自动驾驶车辆”是指能够在没有驾驶员输入的情况下实施至少一个导航变化的车辆。“导航变化”是指车辆的转向、制动或加速中的一个或多个的变化。为自动驾驶，车辆不需要完全自动(例如，没有驾驶员或没有驾驶员输入的完全操作)。而是，自动驾驶车辆包括能够在某些时间段期间在驾驶员控制下操作，以及在其他时间段期间没有驾驶员控制操作的那些车辆。自动驾驶车辆还可以包括仅控制车辆导航的某些方面的车辆，诸如转向(例如，在车辆道路约束之间保持车辆路线)，而可以将其他方面留给驾驶员(例如，制动)。在某些情况下，自动驾驶车辆可以处理车辆的制动、速度控制和/或转向的一些或所有方面。
现在参考附图1A和1B，附图1A和1B分别示出根据所公开的实施例的一个方面的车辆18的侧视图和俯视图。车辆18可以是公共交通巴士、校车、长途客车、重型货车(HGV)或乘用车辆(例如小汽车，诸如轿车)。在一些实施例中，车辆18可以比典型的车辆更长(例如，诸如加长轿车、卡车等)。靠近车辆18后部分别在车辆18的左右两侧安装有两个摄像机12R和12L。安装摄像机12R和12L，使得摄像机12R和12L各自的视场一般包含车辆18行驶的前进方向，如虚线所示。摄像机12C被示出安装在车辆18的前部，其视场一般以车辆18行驶的前进方向为中心，如虚线所示。显示笛卡尔坐标轴X、Y、Z。Z轴是沿车辆18的长度的长水平轴。Y轴是车辆18的垂直轴。围绕Y轴的旋转定义了车辆18和/或摄像机12的偏航。偏航由车辆18的转向机构控制。X轴沿车辆18的宽度是水平的。
现在还参考图2A，图2A示出了系统16的框图，所述系统16包括摄像机12，示出所公开的实施例的各种特征的摄像机12C、12R或12L之一。系统16的不同示例可被附接到左摄像机12L、右摄像机12R和中央摄像机12C，为简洁起见，所述摄像机未单独示出。处理器14从摄像机12接收并处理图像帧15。存储装置或存储器20双向连接到处理器14。存储器20可用来存储本领域已知的基于摄像机的驾驶员辅助系统(DAS)的算法，其提供行人和/或其他基于分类的对象(例如自行车、摩托车)检测/识别和/或一般障碍物检测/识别。示出了来自处理器14的输出被附接到显示器32。示出了来自偏航传感器的对处理器14的输入。系统16可以安装在如图1A和1B所示的车辆18中的多个位置中。替代地，多个摄像机12(例如侧面摄像机12R和12L以及中央摄像机12C)可以分别连接到单个处理器14，并且分别提供多组图像帧给单个处理器14。
现在参考图2B，图2B示出根据所公开的实施例的特征的来自车辆18内部的视图30。视图30示出了当驾驶员36在操作车辆18时该驾驶员36的背面。驾驶员36的左侧是显示器32L，用来向驾驶员36提供检测和/或识别出的对左摄像机12L可见的对象、以及识别所述对象是否可能与车辆18发生碰撞的可视和/或可听警告。所述对象的所述检测/识别由处理由摄像机12L/12R捕捉的图像帧15L/15R的处理器14L/14R之一提供。
在一些实施例中，作为向驾驶员36提供警告的替代方案，系统16可改为使车辆(例如，车辆18)采取行动。例如，系统16可以分析收集的数据以确定车辆(例如，车辆18)是否应该采取某种行动，然后在没有人为干预的情况下自动采取所确定的行动。例如，响应于识别出对象与车辆可能发生碰撞，系统16可以自动控制车辆的制动、加速和/或转向(例如，通过将控制信号发送到油门调节系统、制动系统和转向系统中的一个或多个)。在其他实施例中，系统16可以向驾驶员提供可视和/或可听警告，并且使车辆采取行动。
类似地，驾驶员36的右侧是显示器32R，其用来向驾驶员36提供与驾驶员36右侧的对象的潜在碰撞的可能的警告和/或使车辆采取行动，诸如自动控制车辆的制动、加速和/或转向(例如，通过将控制信号发送到油门调节系统、制动系统和转向系统中的一个或多个)。在驾驶员36的前方视野是显示器32C，其提供在由摄像机12C捕捉的图像帧15C中在驾驶员36前方可能检测到对象的可视和/或可听通知。显示器32L、32C和32R被定位为向驾驶员36提供显示，驾驶员36在驾驶车辆18时跟随驾驶员36的视野。例如，当驾驶员36直线向前驾驶时，显示器33C定位在他/她的总体视野中，而如果左或右转弯，显示器33L和33R分别定位于他/她的总体视野中。
现在还参考图3，图3示出根据所公开的实施例的一个方面的方法301的流程图，所述方法使用系统16，该系统16包括安装在如图1A和1B中所示的车辆18上的多个摄像机12C、12R和12L。摄像机12R、12L和12C分别独立地提供图像帧15R、15L和15C，图像帧15R、15L和15C分别由处理器14C、14L和14R捕捉(步骤303)。可以将偏航信息4输入(步骤305)到处理器14C、14L和14R中。偏航信息4可以从以下的任何或其组合导出：偏航传感器(例如，陀螺仪装置)、经由车辆18的CAN总线对转弯信号或方向盘角度的变化的使用、或附接到车辆18的转向柱的提供当车辆18左转或右转时的转向柱角位置/速度的测量的传感器。偏航信息4可以替代地或另外地从在图像帧15中处理图像运动而导出。例如，在一些实施例中，通过分析至少两个图像帧可以导出偏航信息4。所述分析可以包括在至少两个图像帧中识别对象并且确定该对象已经偏移或移动了位置。该确定可以比较例如该对象相对于至少两个图像帧的中心点或边缘的位置。
在步骤307中，处理器响应于偏航信息4来设置图像帧15中感兴趣的区域。例如，如果车辆18正在向右转，则处理器14R被配置为使用图像帧15R的更宽的部分(标称地在水平图像坐标中)，用于随后的检测和分类(步骤309)。如果车辆18正在向左转，则处理器14L被配置为使用图像帧15L的更宽的部分，用于随后的检测和分类(步骤309)。如果车辆18正在直线行驶，则处理器14R和14L被配置为使用更窄的部分(在水平图像坐标中)。在判定块309中，存储在存储器20R/20L中和/或包含在处理器14C/14R/14L的电路中的算法被用来检测和/或识别障碍物，诸如行人、摩托车、自行车和一般障碍物，其图像至少部分地在响应于偏航信息的感兴趣的区域中。如果检测和/或识别到这样的对象，则警告驾驶员36(步骤313)。否则，方法301继续多个图像帧的捕捉(步骤303)。有利的是，响应于偏航信息(步骤307)来设置图像帧15R/15L中感兴趣的区域(步骤307)，以减少车辆18附近的假肯定对象检测/分类，并且避免当不预期在感兴趣的区域中进行目标检测/分类时(判定框309)频繁地警告驾驶员36(步骤313)。
在一些实施例中，除了使用偏航信息之外或作为使用偏航信息的替代方案，系统16可以至少基于存储在本地或远程数据库中的信息来确定使用一个或多个图像帧的一部分(例如，更宽或更窄的部分)。例如，存储信息可以包括在特定区域或位置的先前导航上所收集的信息。该信息可以包括具有诸如行人的可能障碍物的区域，并且该信息可以指定在这些区域中要使用的图像帧的部分。在一些实施例中，可以基于所存储的地图数据和/或基于经由GPS数据确定的车辆的位置来选择用于随后的检测和分类的图像帧的部分。例如，基于车辆的位置，系统16可以确定使用一个或多个图像帧的某一部分用于随后的检测和分类。
现在参考附图4A和4B，附图4A和4B分别示出根据所公开的实施例的方面的道路场景情境40a和40b。在图4A中，以示例的方式示出配备有摄像机12R的车辆18在直路上行驶。示出对象54a和54b，所述对象可以是在自行车道中行驶的自行车者。从摄像机12R射出的虚线示出了水平有效视场的范围。在水平有效视场之外，尽管对象54a和54b的图像可以由摄像机12R成像，但是算法309并不检测/分类对象54a和54b。对象54b可被车辆18的右前支柱部分地遮挡。然而，由于车辆18直线行驶，几乎没有机会与例如在自行车道中静止的或者也在直线行驶的对象54a和54b碰撞。
可以使用来自右摄像机12R的图像帧，通过使用运动恢复结构(SfM)算法来确定诸如结构屏障86的静止对象的存在。SfM可以从静止结构屏障86恢复三维信息。在不存在诸如移动或静止障碍物54a/54b的其它障碍物的情况下，静止屏障86的存在抑制警告驾驶员36以避免不必要的假肯定警告。
在结构屏障86可以是人行道的情况下，可以通过使用SfM算法来发出肯定警告。车辆18在邻近人行道的交叉路口转弯，例如从最右边的车道右转，即使右前轮没有开上人行道，也可能会侵入人行道。站在拐角处的行人可能会被撞。如果公共汽车或卡车转弯过急，那么如果在人行道上检测到行人则会发出警告。通过SfM算法的检测和分类可以指示交叉路口的人行道的曲率。如果车辆18在交叉路口处进行右转，则可以增加响应于偏航信息的图像帧15R中的感兴趣的区域(步骤307)，来警告驾驶员36当前的右转具有车辆18侧面侵入人行道的潜在可能。
现在还参考示出路线情境40b的附图4B。车辆18被示出在右曲线上转弯，以及检测和分类算法309被配置为使用由摄像机12R射出的虚线所示的更宽的水平角度。更宽的水平角对应于图像帧15的水平图像坐标中更宽的图像部分。再次示出了障碍物54a和54b。障碍物54b可能被车辆18的右前支柱部分地遮挡。如果车辆18右转，则并不清楚例如骑自行车者54b的移动障碍物是否打算在交叉路口附近直线行驶，或者骑自行车者54b打算与车辆18并行右转。即使骑自行车者54b打算右转，道路状况可能如此：骑自行车者54b可能在右转期间无意地滑向车辆18。在这种情况下，在右摄像机12R的有效视场中检测/识别到自行车者可以引起警告(图3，步骤313)。
在判定块309中，可以响应于偏航信息，使用存储在存储器20C/20R/20L中和/或包含在处理器14C/14R/14L的电路中的算法来检测和/或识别障碍物。如果检测和/或识别到对象，则警告驾驶员36(步骤313)。
现在参考附图5A，附图5A示出根据所公开的实施例的特征的来自车辆18内部的驾驶员的前视图50。车辆18可以配备有多个系统16(图2A)，每个系统具有由来自摄像机12的处理器14捕捉的图像帧15。处理器14处理图像帧15并识别或检测可能与车辆18碰撞的障碍物。
警报显示器32L示出于车辆18的方向盘的左侧。警报显示器32L连接到处理器14L的输出，该处理器14L从摄像机12L捕捉图像帧15L。处理器14L的警报输出可以由显示器32L显示，以向车辆18的驾驶员36提供警告。所述警告可以是在左摄像机12L的视场内由处理器14L识别到的障碍物，其中所述障碍物与车辆18可能碰撞。在车辆18的右侧，可以是连接到处理器14R的输出的另一显示器32R。处理器14R的警报输出可以由显示器32R显示，以向车辆18的驾驶员36提供可视警告。所述警告可由在右摄像机12R的视场内由处理器14R识别到的障碍物引起，其中所述障碍物与车辆18可能碰撞。
警报显示器32C示出于车辆18的仪表板上方的挡风玻璃底部的中心。处理器14C处理从中央摄像机12C捕捉的图像帧15C，并识别车辆18会与其可能在碰撞路线上碰撞的障碍物。处理器14C的输出连接到显示器32C以向车辆18的驾驶员36提供警告。处理器14C的警告输出可以由显示器32C可视地显示。警告可能是由处理器14C识别到的对于中央摄像机12C可见的障碍物。
以矩形框标记示出三个识别到的对象，两个识别到的对象是骑自行车者，另一个障碍物是行人。由于三个识别的对象在车辆18的前方，取决于摄像机12L、12R、12C中的哪个观看到识别出的障碍物，可以在显示器32R、32L和/或32C的一个或多个上发声出和/或显示出适当的警告。类似地，可听警告的发声取决于哪个摄像机观看到识别出的障碍物。如果识别的障碍物在车辆18的右侧，则位于驾驶员右侧的扬声器或蜂鸣器可以发出警告声音，所述扬声器或蜂鸣器可选地与右显示器32R搭配在壳体中。类似地，如果识别的障碍物在车辆18的左侧，则位于驾驶员左侧的扬声器或蜂鸣器可以发出警告声音，所述扬声器或蜂鸣器可选地与左显示器32L搭配在壳体中。如果识别到的障碍物被识别为车辆18的前方和中心，则位于驾驶员附近的扬声器或蜂鸣器可以发出警告声音，所述扬声器或蜂鸣器可选地与中心显示器32C搭配在壳体中。
现在参考附图5B、5C、5D和5E，附图5B、5C、5D和5E根据所公开的实施例的特征更详细地示出显示器32C的示例。图5B、5C、5D和5E示出了可以从显示器32C可视地显示的四种可能的警告。
参考图5B，显示器32C向车辆18的驾驶员36提供与以任何速度移动的汽车、卡车或摩托车即将追尾碰撞的警告。所述警告由闪烁红色的圆圈部分中的车辆图标54示出，例如和/或伴随有可听警告。如果与行人即将碰撞，行人图标52可类似地闪烁红色和/或伴随有可听警告。与行人即将碰撞的警告可仅在适合于车辆18正在行驶的区域的限速下激活，也即，例如在存在行人的建筑区域内。
参考图5C，显示器32C提供伴随有显示为0.8秒的随后时间的车间时距(headway)警告。本文使用的术语“车间时距”定义为到达车辆18前方障碍物的当前位置的时间间隔，并且其可以通过将到障碍物的距离除以车辆18的行驶速度来计算。如果车间时距以秒为单位下降到预定值以下，可向驾驶员36显示可见和/或可听警告。
如果障碍物是前方车辆或迎面而来的车辆，则可以使用车辆图标54向驾驶员发出警报和/或与车间时距的显示一起的可听警告。
参考图5D，显示器32C提供在显示器32C的圆圈部分中由虚线示出的车道偏离警告(LDW)。在图5D的情况下，虚线位于圆圈的右侧，以向驾驶员36指示车辆18未使用转弯信号而已经在右侧上偏离了车道。类似地，可以用位于显示器32C的圆圈部分的左侧的虚线来警告车道的左手侧上的偏离。车道偏离警告可以以虚线闪烁和/或伴随有可听警告来显示。当车辆18行驶快于阈值速度时，可激活车道偏离警告(LDW)。如果道路是城市道路、高速公路或乡村道路，可区别地激活LDW。例如，在具有公共汽车站和行人的城市道路中，车辆18会经常越过车道标记，并且可区别地激活或抑制车道偏离警告。
现在参考图5E，如果驾驶员36超过标示限速，则显示器32C提供可视和/或可听警告。在这种情况下，标示限速的示例在显示器32C上示出为20英里每小时或20公里每小时。
现在参考附图5F，附图5F根据所公开的实施例的特征更详细地示出了显示器30L/30R。在显示器30L/30R上提供的警告是作为处理器14L/14R识别的障碍物的结果。根据以下描述，处理器14L/14R处理由摄像机12L/12R捕捉的图像帧15L/15R，并且可从处理器14L/14R发出警告，以及在相应的显示器32L/32R上显示警告。
显示器30L/30R包括行人图标52。闪烁或纯黄色显示的行人图标52可以警告正在左转或右转车辆18的驾驶员36与障碍物的潜在碰撞。所述闪烁或纯黄色显示的行人图标52指示驾驶员36行人或骑自行车者在附近，但不在车辆18的碰撞轨迹内。然而，分别在显示器30L/30R上的闪烁或纯红色显示的行人图标52和/或可听声音，可以警告车辆18的驾驶员36当车辆18在左转或右转时有行人或骑自行车者在车辆18的碰撞轨迹内。
现在参考图6，根据所公开的实施例的方面的方法601的流程图。在以下讨论中，参考摄像机12L、处理器14L和显示器32L。然而，以下方法步骤类似于其他的系统16：摄像机12R、12C；处理器14R、14C；以及显示器32R、32C。方法601可以由系统16中的每一个并行执行。在步骤603中，处理由处理器14L从摄像机12L捕捉的若干图像帧15，以使在步骤605中候选图像被检测和/或识别为摄像机12L的视场中的障碍物。在步骤607中，做出在步骤605中检测和/或识别出的障碍物是否在车辆18的行驶轨迹中使得车辆18有可能与障碍物碰撞的判定。如果车辆18的行驶轨迹有可能与障碍物碰撞，则经由显示器32L向车辆18的驾驶员36提供可视和/或可听警告(步骤609)。
替代地，如上所述，在一些实施例中，作为向驾驶员36提供警告的替代方案，系统16可以改为使车辆(例如，车辆18)采取行动。例如，系统16可以分析收集的数据以确定车辆(例如，车辆18)是否应该采取某种行动，然后在没有人为干预的情况下自动采取所确定的行动。例如，响应于识别出对象可能与车辆碰撞，系统16可以自动控制车辆的制动、加速和/或转向(例如，通过将控制信号发送到油门调节系统、制动系统和转向系统中的一个或多个)。在其他实施例中，系统16可以向驾驶员提供可视和/或可听警告并且使车辆采取行动。
许多车辆都有盲点，这阻碍了车辆操作人员注意车辆周围某些区域的危险的能力。在密集的城市环境中，包括例如行人和骑自行车者在内的易受伤害道路使用者(VRU)经常与车辆共享道路，盲点以及操作人员无法在其盲点中检测到VRU是一个严重问题，而这会导致严重的结果。对于诸如卡车(或载货汽车)和公共交通车辆的大型车辆的驾驶者，盲点可能是一个特别严重的问题，特别是在城市环境中。
相应的，在其他实施例中，所公开的系统和方法响应于识别出盲点的潜在风险而选择一个或多个图像帧的至少一部分。所公开的系统和方法然后可以处理一个或多个图像帧的所选部分，以检测例如图像帧的所选部分中的对象。此外，在一些实施例中，如下所述，可以基于其中潜在盲点和/或相关联的危险基于例如由系统在特定位置的先前驾驶员中收集的数据(例如，基于如下面更详细地讨论的报告)而已知的区域，来选择图像帧的部分。更进一步地，在一些实施例中，一个或多个图像帧的至少一部分的选择可以基于车辆的偏航率和收集的数据(例如，报告等)。
例如，在一些实施例中，所公开的系统和方法可以被配置为检测VRU。可选地，系统和方法可以被配置为检测VRU同时忽略无生命对象。在一些实施例中，系统可以包括主摄像机和一个或多个从属摄像机。所述主摄像机可以配置为除了检测VRU之外，还向操作员提供高级驾驶员辅助系统(可以在处理器上实现)。所述从属摄像机可以被配置为接收来自主摄像机输入，并能够监视车辆周围的一个或多个盲点。处理器可以处理来自一个或多个摄像机的图像，并检测盲点中的潜在危险。可选地，所述处理器可以被配置为在盲运动区域中检测到危险时发出警报。可选地，所述处理器可以被配置为响应于在车辆的盲点中检测到危险而启动在车辆中或车辆的系统之一中的操作。
例如，所述系统(例如，系统16)可以包括摄像机控制单元，其被配置为调整安装在车辆上或车辆中的至少一个摄像机的有效覆盖范围，并且其用于监视车辆周围的某个区域。更进一步地，举例来说，摄像机控制单元可以被配置为调整至少一个摄像机的有效视场。在又一示例中，摄像机控制单元能够被配置为旋转所述至少一个摄像机，以使根据需要在所期望的方向上调整其视场。可选地，所述摄像机控制单元可以在主摄像机中实施，并且所述主摄像机可以被配置为控制和调整至少一个从属摄像机。根据另一示例，所述主摄像机可以被配置为控制从属摄像机的检测角度，使得它们被配置为在车辆周围的特定区域(例如，有效FOV)中检测VRU。在一些实施例中，所述系统可以包括一个、两个、三个、四个或更多个摄像机。为了方便起见，并且以非限制性示例的方式，在以下描述中，所述系统的摄像机有时被称为“摄像机阵列”。处理器可以被配置为根据所述处理器应用的或即将应用于摄像机阵列中的第二摄像机的相应的调整，来控制摄像机阵列中的第一摄像机。在另一示例中，摄像机阵列中的两个或多个摄像机可以被协同地并且一致地调整。可选地，可以结合动态变化的位置或车辆相关的一个或多个盲点的投影位置来执行摄像机的调整。
在一些实施例中，所公开的系统和方法可以显示由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报的地图。术语“智能摄像机”是指捕捉图像、视频序列或环境的摄像机、以及处理图像以提供关于出现在图像中的对象的信息的一个或多个处理器(以及可能的其它计算机硬件)。各种智能摄像机是已知的并且用于驾驶员辅助系统和自动驾驶车辆系统中。根据当前公开的主题的示例，所述方法能够包括：接收由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报的多个报告并将其存储，所述多个报告中的每一个包括至少一个位置信息，其中该位置信息是由智能摄像机检测到的相应的危险和/或由一个或多个车载智能摄像机发出的相应的警报的全局坐标中的位置；接收显示参数，并根据所述显示参数在由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报的地图上提供指示。在另一示例中，所述方法能够包括基于显示参数，根据显示参数来将由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报的两个或多个报告整合。
更进一步举例来说，显示参数可以是感兴趣的区域，该感兴趣的区域指示要在显示屏上给用户显示地图的哪个部分。进一步举例来说，由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报的地图上的指示是在感兴趣的区域内检测到的危险和/或发出的警报的指示。进一步举例来说，可以动态地调整感兴趣区域，并且检测到的危险和/或发出的警报的显示也可以动态地并且分别地改变。例如，显示参数可以是地图的比例。在另外的例子中，由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报可以根据地图的比例进行整合。因此，例如，当地图的比例相对较大时，来自相对大的区域的检测到的危险和/或发出的警报可被组合，并且整合的检测到的危险和/或发出的警报的相应指示可以在地图上在一位置中被显示，例如该位置是所有检测到的危险和/或发出的警报的中心位置，而当地图的比例相对较小时，来自相对小的区域的检测到的危险和/或发出的警报被组合，并且整合的检测到的危险和/或发出的警报的指示在地图上被显示。应当理解，该特征能够使检测到的危险和/或发出的警报的至少一个位置方面能够动态地显示。因此，例如，用户能够从整个大都市区域的地图开始，查看检测到的危险和/或发出的警报的总体布局，并且通过放大，用户能够逐渐地(虽然也可以是非逐渐的方式)了解在单个位置触发了大量警报的特定区域。
例如，当对于单个位置或对于特定区域报告了多个检测到的危险和/或发出的警报时，可以在地图的相应位置处显示指示，并且该指示能够与所报告的检测到的危险和/或发出的警报的数量或密度相关联。在另一示例中，该指示也可以与检测到的危险和/或发出的警报的严重性相关联。在另外的示例中，可以例如由用户设置阈值或者能够提供预定义的阈值，以与相应的检测到的危险和/或发出警报相关联地在地图上显示不同类型或不同信息时来阐明条件。在另外的示例中，地图上的指示可以涉及报告的检测到的危险和/或发出的警报，也可以与每个检测到的危险和/或发出的警报的相应类型相关联。在另一个示例中，检测到的危险和/或发出的警报可以整合在一起。在另外的示例中，可以根据相同类型的检测到的危险和/或发出的警报的数量，来更新显示多个事件或报告(例如，检测到的危险和/或发出的警报的总数)的计数器，所述检测到的危险和/或发出的警报与地图中的某个位置或区域相关联。与计数器相关联的区域的大小以及可选地所述区域的位置，可以与地图的比例或者与地图中所示的区域相关联。在数字地图中，可以动态地调整比例和参考的区域，并且随着比例的变化，检测到的危险和/或发出的警报的显示也是如此。
在一些实施例中，所公开的系统和方法可以生成由智能摄像机检测到的危险和/或由车载智能摄像机发出的警报的签名。如上所述，一个或多个摄像机和至少一个处理器可以安装在车辆上。处理器可以处理来自摄像机的图像并且检测车辆周围的危险，这可以触发车辆或车辆系统之一中的警报和/或操作。例如，处理器可以被配置为发出与在车辆邻近检测到的危险相关的报告。处理器可以使报告被传送到后端服务器，或者所述处理器可以本地存储所述报告(例如，在车载的存储器中)，并且所述后端服务器可以被配置为“调出”这样的报告。可选地，报告可以包括危险的位置、和当检测到危险或当与危险相关联的事故发生的时间(例如，当事故被车载摄像机捕捉时)。可选地，报告可以包括关于检测到的危险的类型的信息。除了危险指示类型之外，或作为危险指示类型的替代方案，所述报告可以包括与检测到的危险相关联的一个或多个图像，包括触发了警报的事故或潜在事故的图像、或道路和/或周围的环境和基础设施的操作图像、以及关于被用来捕捉图像的摄像机的可能的信息。
在一些实施例中，所述服务器可以被配置为处理来自车载智能摄像机的传入报告。可选地，所述服务器可以被配置为识别相关的报告，例如与公共或与相关的安全隐患相关联的报告，并且所述服务器可以生成针对某个安全隐患的签名。每个签名可以与安全隐患的一个或多个报告相关联。此外，例如，所公开的系统和方法可以识别与由安装在车辆上的智能摄像机检测到的危险相关联的类似的安全隐患。在一个示例中，匹配算法可以用于确定当比较两个不同数据组时，该两个不同数据组是否产生在预定阈值或范围内的结果。因此，例如，当在第一组报告中触发了危险检测和/或报告的对象的区域或点相对于车辆所位于的某一位置或某一组位置与在第二组报告中相应的位置或区域等同或足够接近(根据一些近似阈值)时，可以推断在第一组报告与第二组报告之间的安全隐患的相似性的指示。
在另一示例中，可以使用图像处理、几何表示，原理图等来确定相似性，使得例如当两个环境具有等同或足够接近(根据某种相似性阈值)的布局时确定相似性。所述布局可以是街道的总体布局，或者甚至仅是单个对象的位置。例如，在相对大量的危险被检测到的或警报被发出的一个位置的情况下，可以确定人行道上的某个标志阻碍了路线经过所述标志的公共汽车的视线、以及穿过所述标志附近的街道的行人的视线。这种不当的标志导致了大量的危险检测或警报。所述报告指示了检测到了危险或发出了警报的相对于车辆的点、以及相对于公共汽车的无生命对象的位置、或者在该特定示例中的标志。有时候，在不同位置(例如不同的街道、不同的城市、甚至不同的国家)处的类似的情况导致了类似的危险检测或警报模式，并且报告可能已经指示了无生命对象位于相对于车辆的相似的位置。
在一些实施例中，系统可以包括能够存储多个安全隐患条目的存储器，其中每个安全隐患条目包括签名。每个签名可以包括表征潜在安全隐患的结构化数据。所述系统还可以包括处理器，其被配置为接收第一安全隐患条目，从所述第一安全隐患条目提取第一签名，并且基于所述第一签名生成搜索词条(search query)。根据一个示例，所述搜索词条可以包括基于所述第一签名中的至少第一数据项的至少一个可接受范围，以及处理器可以被配置为从存储器检索至少包括至少在预定范围内的第二数据项的至少第二签名。在另一示例中，所述处理器可以被配置为检索在所述可接受范围内的任何签名。
在一些实施例中，所公开的系统和方法可以基于与第一安全隐患相关联的签名和与第二安全隐患相关联的签名之间的相似性，来选择和/或建议对第一安全隐患的反应，其中对所述第一安全隐患所建议的反应是应用于所述第二安全隐患的反应。所述反应可以是模拟或虚拟的反应、或为试图减轻或消除危险而采取的实际的物理措施。
所述系统能够包括例如存储器和处理器。所述存储器可以保留安全隐患条目。可选地，所述安全隐患条目可以包括由车载智能摄像机报告的检测到的危险和/或发出的警报的签名。例如，签名可以与多个危险检测和/或与多个发出的警报相关联，其中多个检测到的危险和/或发出的警报被确定为与彼此相关联。与所述签名相关联的多个危险检测和/或多个发出的警报可以来源于多个车辆(每个车辆都具有车载智能摄像机)。例如，与某一签名相关联的检测到的危险和/或发出的警报可以是已被确定为与特定原因或与多个相关原因相关联的危险或警报。可选地，一些或全部数据可以被结构化，使得其能够被搜索、评估、与来自其他安全隐患条目(例如，组合的、比较的等)的数据共同处理。
进一步举例来说，所述安全隐患条目可以与特定反应或与相关反应相关联。可选地，安全隐患条目可以与单个反应相关联，或者在一些情况下，以及根据当前公开的主题的一些示例，安全隐患条目可以与多于一个的反应(例如，与两个、三个或更多个的反应)相关联。可选地，反应数据可以被结构化，使得其能够被搜索、评估、与来自其他安全隐患条目(例如，组合的，比较的等)的数据共同处理。所述反应数据可以与在道路和/或其周围中进行的变化有关。可选地，与反应数据相关联地，可以存储潜在反应的功效的指示、以及可能的其它影响和折衷的指示，诸如：假设任何停车区域被取消以提供该反应、假设拥塞增加作为结果、假设新的危险发生或现有的危险加剧(以及可能地在多大程度上)、等等。
可选地，可以处理报告以确定促成安全隐患的根本原因或多个原因和/或促成因素或情形。在另一个示例中，可以由用户手动提供有促成安全的根本原因或多个原因和/或促成因素或情形。例如，处理器能够被配置为基于来自车载智能摄像机的报告的处理，来提供结构化签名。根据当前公开的主题的示例，反应报告也可以存储在存储器中。反应报告可以与一个或多个安全隐患相关联。在一个示例中，所述反应报告可以与某个安全隐患签名相关联，并且因此其签名匹配或足够相似于与反应报告相关联的签名的任何安全隐患条目，可成为与所述反应报告相关联的。
举例来说，通过提供有待解决的安全隐患的签名，可以基于其签名与一个或多个先前解决的安全隐患的签名之间的相似性，来提供或选择所述有待解决的安全隐患的解决方案。术语“先前解决的”的使用不应被解释为将本公开中示例约束为在解决潜在问题中是必然成功的解决方案，并且在许多情况下所述解决方案可以部分地成功，并且在其他情况下可能存在对于给定解决方案的折衷，并且在各种情况下所述折衷可能或多或少地具有吸引力甚至是不可接受的，并且实际上在这里公开的主题的某些示例中，可以对于给定的签名返回多于一个的解决方案，并且处理器可以被配置为从对于给定签名返回的多个解决方案中选择提供基于折衷的一个或多个解决方案、或者选择与主体未解决的安全隐患的相应签名相关联的一个或多个约束不相矛盾的一个或多个解决方案。
可以通过可安装在车辆中的系统来执行各种方法，以提供在车辆附近的对象检测。所述系统包括可操作地附接到一个或多个处理器的多个摄像机。右摄像机外部安装于车辆后部的右侧处或朝向车辆后部的右侧，和/或左摄像机外部安装于车辆后部的右侧处或朝向车辆后部的右侧。所述摄像机的视场基本上处于车辆行驶的前进方向。右警告装置可安装在车辆上于驾驶员的右侧，而左警告装置可安装在车辆上于驾驶员的左侧。右警告装置和左侧警告装置可连接到一个或多个处理器。
可以从所述摄像机捕捉多个图像帧。可以处理图像帧以检测在图像帧的一部分中的移动对象。可以确定，车辆与移动对象的潜在碰撞具有大于阈值的可能性，并且响应于与所述移动对象的潜在碰撞的所述可能性，可以通过发出可听警告或者显示视觉警告来向车辆的驾驶员发出警告。当通过所述右摄像机查看到检测到的对象时，警告会从安装在车辆上于驾驶员右侧的右警告装置发出，而当通过左摄像机观看到检测到的对象时，警告会从安装在车辆上于驾驶员左侧的左警告装置发出。
所述系统还可以包括安装在驾驶员前方的中央摄像机和连接到所述中央摄像机的中央处理器、以及连接到所述中央处理器的前向警告装置，该前向警告装置必要时在车辆的前进方向上警告与移动障碍物即将发生的碰撞。
所述系统还可以包括使用安装的其他驾驶员辅助系统，诸如车道检测、结构屏障识别和/或交通标志识别来识别静止对象。如果其他驾驶员辅助系统确定在车辆附近检测到的所有对象是静止对象，则可以抑制对驾驶员的任何警告。
本文提供了用于使用可安装在车辆上的系统以提供在车辆附近的对象检测的各种方法。所述系统包括可操作地附接到处理器的摄像机。所述摄像机安装在车辆的后部。所述摄像机的视场沿车辆的侧面基本上在车辆行驶的前进方向上。从所述摄像机捕捉多个图像帧。在车辆转弯时检测交叉路口。如果车辆在交叉路口处转弯过急，则在交叉路口处由车辆确定在人行道上车辆的潜在侵入。通过使用随着图像帧的时间处理图像运动的运动恢复结构算法，检测在交叉路口处的人行道的路肩的轮廓，可以在交叉路口处检测到人行道的路肩的轮廓。在人行道上可以检测到障碍物，例如对象或行人。如果公共汽车被确定为侵入人行道，则可以发出警告，和/或者如果公共汽车被确定为不侵入人行道，则可以禁止警告。
术语“人行道”和“路面”在本文中可互换使用。术语“对象和障碍物”在本文中可互换使用。本文在车辆的后部的上下文中使用的术语“后部”，是指靠近公共汽车的背部或后部乘客门的车辆后半部分。术语“右”和“左”是从面向驾驶车辆的前方的驾驶员的视角而言的(实质上在车辆的前进方向上)。本文所用的术语“对应的”是指被发现是相同对象点的不同图像帧中的匹配图像点。本文使用不定冠词“一”和“一个”，诸如“一个处理器”、“一个摄像机”、“一个图像帧”具有“一个或多个”的意思，即“一个或多个处理器”、“一个或多个摄像机”或“一个或多个图像帧”。
虽然已经示出并描述了示例性实施例，应当理解，这些示例并不是限制性的。相反，应当理解，可以对这些实施例进行改变，其范围由权利要求及其等同物限定。

Claims (40)

1.一种用于处理从车辆收到的报告的方法，所述方法包括：
从第一车辆的第一导航系统接收第一报告，其中，所述第一报告是由第一导航系统在基于对第一导航系统收集的图像数据的分析而检测到第一车辆的环境中的第一静止对象和第一非静止对象后生成的；
从第二车辆的第二导航系统接收第二报告，其中，所述第二报告是由第二导航系统在基于对第二导航系统收集的图像数据的分析而检测到第二车辆的环境中的第二静止对象和第二非静止对象后生成的；
分析第一报告和第二报告，以确定第一报告和第二报告标识相关的对象；
将第一报告和第二报告整合成综合报告；以及
处理所述综合报告，以识别与所述相关的对象相关联的根本原因和促成因素。
2.根据权利要求1所述的方法，所述方法还包括：
基于对所述综合报告的处理，提供结构化签名以识别所述根本原因和促成因素。
3.根据权利要求2所述的方法，所述方法还包括：
基于对所述综合报告的处理，将与所述结构化签名相关联的反应报告存储在存储器中。
4.根据权利要求1所述的方法，其中，所述根本原因被识别为与特定原因或与多个相关的原因相关联。
5.根据权利要求1所述的方法，其中，处理后的报告包括与检测到的对象相关联的一个或多个捕获图像。
6.根据权利要求1所述的方法，其中，所述第一静止对象和第二静止对象各自包括以下中的至少一个：结构屏障、车道标记、交通标志、树木、墙壁或杆。
7.根据权利要求1所述的方法，其中，所述第一非静止对象和第二非静止对象各自包括以下中的至少一个：骑自行车者、骑摩托车者、车辆、行人、骑玩具车的儿童或轮椅使用者。
8.根据权利要求1所述的方法，其中，所述第一报告包括第一静止对象和第一非静止对象的第一位置。
9.根据权利要求8所述的方法，其中，所述第一位置是由第一导航系统至少部分地基于对第一导航系统收集的图像数据的分析而确定的。
10.根据权利要求9所述的方法，其中，所述第一位置进一步基于与在检测到第一静止对象和第一非静止对象后发出的警报的位置相关联的GPS信号而被确定。
11.根据权利要求1所述的方法，其中，所述第二报告包括第二静止对象和第二非静止对象的第二位置。
12.根据权利要求11所述的方法，其中，所述第二位置是由第二导航系统至少部分地基于对第二导航系统收集的图像数据的分析而确定的。
13.根据权利要求12所述的方法，其中，所述第二位置进一步基于与在检测到第二静止对象和第二非静止对象后发出的警报的位置相关联的GPS信号而被确定。
14.根据权利要求1所述的方法，其中，确定第一报告和第二报告标识相关的对象包括：确定第一车辆的环境和第二车辆的环境具有相关的布局。
15.根据权利要求14所述的方法，其中，确定第一车辆的环境和第二车辆的环境具有相关的布局包括：将第一环境的布局和第二环境的布局之间的差异与阈值进行比较。
16.根据权利要求15所述的方法，其中，第一环境的布局是基于第二静止对象的位置而确定的，且第二环境的布局是基于第二静止对象的位置而确定的。
17.一种用于处理从车辆接收的报告的系统，所述系统包括服务器，所述服务器能够操作为：
从第一车辆的第一导航系统接收第一报告，其中，所述第一报告是由第一导航系统在基于对第一导航系统收集的图像数据的分析而检测到第一车辆的环境中的第一静止对象和第一非静止对象后生成的；
从第二车辆的第二导航系统接收第二报告，其中，所述第二报告是由第二导航系统在基于对第二导航系统收集的图像数据的分析而检测到第二车辆的环境中的第二静止对象和第二非静止对象后生成的；
分析第一报告和第二报告，以确定第一报告和第二报告标识相关的对象；
将第一报告和第二报告整合成综合报告；以及
处理所述综合报告，以识别与所述相关的对象相关联的根本原因和促成因素。
18.根据权利要求17所述的系统，其中，所述第一静止对象和第二静止对象各自包括以下中的至少一个：结构屏障、车道标记、交通标志、树木、墙壁或杆。
19.根据权利要求17所述的系统，其中，所述第一非静止对象和第二非静止对象各自包括以下中的至少一个：骑自行车者、骑摩托车者、车辆、行人、骑玩具车的儿童或轮椅使用者。
20.根据权利要求17所述的系统，其中，确定第一报告和第二报告标识相关的对象包括：确定第一车辆的环境和第二车辆的环境具有相关的布局。
21.一种由驾驶员辅助系统执行的方法，所述系统能够安装在车辆(18)中以提供车辆附近的对象检测，所述系统包括可操作地附接到处理器(14)的摄像机(12L,12C,12R)，其中，所述摄像机(12L,12C,12R)外部安装于所述车辆(18)的后部，其中，所述车辆是卡车、重型货车、加长轿车或诸如公共汽车的公共交通车辆，并且其中，所述摄像机的视场基本上沿所述车辆的侧面在所述车辆行驶的前进方向上，所述方法包括：
用所述摄像机(12L,12C,12R)捕捉(303)多个图像帧(15L,15C,15R)；
使用偏航传感器确定(305)所述车辆的偏航率；
基于对收集到的指示潜在盲点的数据并且基于所述车辆的偏航率，选择(307)所述图像帧的相应部分；以及
处理(309)所述图像帧的所选择的部分以检测对象(54a,54b)。
22.根据权利要求21所述的方法，其中所述偏航率进一步根据来自至少一个装置的输入而确定，所述至少一个装置从由以下构成的一组装置中选择：处理所述图像帧的所述摄像机、陀螺仪装置、转弯信号、以及附接到车辆的转向柱的传感器。
23.根据权利要求21所述的方法，所述方法还包括：
在测量到偏航的绝对值增加时，处理所述图像帧(15)的更大区域从而增加有效的水平视场，以在从所述车辆(18)的侧面测量的更宽的水平角上检测障碍。
24.根据权利要求21所述的方法，其中，所述摄像机(12R)外部安装于所述车辆(18)的右侧，所述方法还包括：
在车辆右转时，处理所述图像帧(15R)的更大区域从而增加有效的水平视场，以在从所述车辆(18)的右侧测量的更宽的水平角上检测障碍。
25.根据权利要求21所述的方法，其中，所述摄像机(12L)外部安装于所述车辆(18)的左侧，所述方法还包括：
在车辆左转时，处理所述图像帧(15L)的更大区域从而增加有效的水平视场，以在从所述车辆的左侧测量的更宽的水平角上检测障碍。
26.根据权利要求21所述的方法，还包括：
确定所述对象(54a,54b)为移动障碍物；
验证所述对象将处于所述车辆的预计路径中，从而确定所述车辆(18)与所述移动障碍物的潜在碰撞；以及
向所述车辆(18)的驾驶员警告(313)与所述移动障碍物的所述潜在碰撞。
27.根据权利要求26所述的方法，其中，所述警告从由以下构成的组中选择：发出可听警告和显示可视警告。
28.根据权利要求27所述的方法，还包括：
从安装有查看所述移动障碍物的摄像机的车辆(18)的侧面发出所述警告。
29.根据权利要求21所述的方法，其中，所述对象(54a,54b)从由以下构成的一组对象中选择：骑自行车者、骑摩托车者、车辆、行人、骑玩具车的儿童、推婴儿车的人以及轮椅使用者。
30.根据权利要求21所述的方法，还包括：
使用另一驾驶员辅助系统来识别静止对象，所述另一驾驶员辅助系统从由以下构成的组中选择：车道检测、结构屏障识别、交通标志识别；以及
如果在所述车辆紧邻处检测到的所有对象都是静止对象，则使得抑制对驾驶员的警告。
31.一种驾驶员辅助系统，所述系统能够安装在车辆(18)中以提供车辆附近的对象检测，所述系统包括可操作地附接到处理器(14)的摄像机(12L,12C,12R)，其中，所述摄像机外部安装于所述车辆(18)的后部，其中，所述车辆是卡车、重型货车、加长轿车或诸如公共汽车的公共交通车辆，并且其中，所述摄像机的视场基本上沿所述车辆的侧面在所述车辆行驶的前进方向上，所述系统能够操作为：
用所述摄像机捕捉(303)多个图像帧(15L,15C,15R)；
使用偏航传感器确定(305)所述车辆(18)的偏航率；
基于对收集到的指示潜在盲点的数据并且基于所述车辆的偏航率，选择(307)所述图像帧的相应部分；以及
处理(309)所述图像帧的所选择的部分以检测对象(54a,54b)。
32.根据权利要求31所述的系统，其中，所述偏航率进一步响应于至少一个装置而确定，所述至少一个装置从由以下构成的一组装置中选择：处理所述图像帧的所述摄像机、陀螺仪装置、转弯信号、以及附接到车辆的转向柱的传感器。
33.根据权利要求31所述的系统，还能够操作为：
在测量到偏航的绝对值增加时，处理所述图像帧(15L,15C,15R)的更大区域从而增加有效的水平视场，以在从所述车辆(18)的侧面测量的更宽的水平角上检测障碍。
34.根据权利要求31所述的系统，其中，所述摄像机(12R)外部安装于所述车辆的右侧，所述系统还能够操作为：
在车辆右转时，处理所述图像帧(15R)的更大区域从而增加有效的水平视场，以在从所述车辆(18)的右侧测量的更宽的水平角上检测障碍。
35.根据权利要求31所述的系统，其中，所述摄像机(12L)外部安装于所述车辆的左侧，所述系统还能够操作为：
在车辆左转时，处理所述图像帧(15L)的更大区域从而增加有效的水平视场，以在从所述车辆(18)的左侧测量的更宽的水平角上检测障碍。
36.根据权利要求31所述的系统，还能够操作为：
确定所述对象(54a,54b)为移动障碍物；
验证所述对象将处于所述车辆(18)的预计路径中，从而确定所述车辆与所述移动障碍物的潜在碰撞；以及
向所述车辆的驾驶员警告(313)与所述移动障碍物的所述潜在碰撞。
37.根据权利要求36所述的系统，其中，所述警告从由以下构成的组中选择：发出可听警告和显示可视警告。
38.根据权利要求37所述的系统，还能够操作为：
从安装有查看所述移动障碍物的摄像机的车辆(18)的侧面发出所述警告。
39.根据权利要求31所述的系统，其中，所述对象(54a,54b)从由以下构成的一组对象中选择：骑自行车者、骑摩托车者、车辆、行人、骑玩具车的儿童、推婴儿车的人以及轮椅使用者。
40.根据权利要求31所述的系统，还能够操作为：
使用另一驾驶员辅助系统来识别静止对象，所述另一驾驶员辅助系统从由以下构成的组中选择：车道检测、结构屏障识别、交通标志识别；以及
如果在所述车辆(18)紧邻处检测到的所有对象都是静止对象，则抑制对驾驶员的警告。
CN202110225771.0A 2015-05-18 2016-05-18 处理从车辆收到的报告的方法和系统 Pending CN112829677A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562162838P 2015-05-18 2015-05-18
US62/162,838 2015-05-18
GB1511316.0A GB2538572B (en) 2015-05-18 2015-06-29 Safety system for a vehicle to detect and warn of a potential collision
GB1511316.0 2015-06-29
US201562261759P 2015-12-01 2015-12-01
US62/261,759 2015-12-01
CN201680014477.2A CN107428288B (zh) 2015-05-18 2016-05-18 用于车辆的检测和警告潜在碰撞的安全系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680014477.2A Division CN107428288B (zh) 2015-05-18 2016-05-18 用于车辆的检测和警告潜在碰撞的安全系统

Publications (1)

Publication Number Publication Date
CN112829677A true CN112829677A (zh) 2021-05-25

Family

ID=53872318

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110225841.2A Active CN112829678B (zh) 2015-05-18 2016-05-18 用于处理从车辆收到的报告的方法和系统
CN201680014477.2A Active CN107428288B (zh) 2015-05-18 2016-05-18 用于车辆的检测和警告潜在碰撞的安全系统
CN202110225771.0A Pending CN112829677A (zh) 2015-05-18 2016-05-18 处理从车辆收到的报告的方法和系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110225841.2A Active CN112829678B (zh) 2015-05-18 2016-05-18 用于处理从车辆收到的报告的方法和系统
CN201680014477.2A Active CN107428288B (zh) 2015-05-18 2016-05-18 用于车辆的检测和警告潜在碰撞的安全系统

Country Status (5)

Country Link
US (5) US10127464B2 (zh)
EP (3) EP4270355A3 (zh)
CN (3) CN112829678B (zh)
GB (2) GB2538572B (zh)
WO (1) WO2016187270A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155218A1 (en) * 2022-02-16 2023-08-24 Hong Kong Applied Science and Technology Research Institute Company Limited A system and a method for reducing false alerts in a road management system

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2530564A (en) * 2014-09-26 2016-03-30 Ibm Danger zone warning system
GB2538572B (en) 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
JP6690702B2 (ja) * 2016-03-11 2020-04-28 日本電気株式会社 異常走行検出装置、異常走行検出方法とそのプログラム
US20170327038A1 (en) * 2016-05-10 2017-11-16 Razmik Karabed Image process based, dynamically adjusting vehicle surveillance system for intersection traffic
US20170327035A1 (en) * 2016-05-10 2017-11-16 Ford Global Technologies, Llc Methods and systems for beyond-the-horizon threat indication for vehicles
US9998606B2 (en) * 2016-06-10 2018-06-12 Glen A. Norris Methods and apparatus to assist listeners in distinguishing between electronically generated binaural sound and physical environment sound
DE102016215249B4 (de) * 2016-08-16 2022-03-31 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Unterstützen eines Fahrerassistenzsystems in einem Kraftfahrzeug
KR101976425B1 (ko) * 2016-09-22 2019-05-09 엘지전자 주식회사 차량 운전 보조 장치
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
US10936884B2 (en) * 2017-01-23 2021-03-02 Magna Electronics Inc. Vehicle vision system with object detection failsafe
US10546499B2 (en) * 2017-02-01 2020-01-28 Toyota Research Institute, Inc. Systems and methods for notifying an occupant of a cause for a deviation in a vehicle
WO2018170074A1 (en) * 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
JP6852534B2 (ja) * 2017-04-12 2021-03-31 アイシン精機株式会社 障害物検知報知装置、方法及びプログラム
JP6639437B2 (ja) * 2017-04-20 2020-02-05 株式会社Ｓｕｂａｒｕ 情報提示装置
US10366473B2 (en) * 2017-05-23 2019-07-30 Toyota Jidosha Kabushiki Kaisha Providing traffic mirror content to a driver
DE102018100758A1 (de) * 2018-01-15 2019-07-18 Jungheinrich Aktiengesellschaft Verfahren zur Steuerung eines Flurförderzeugs sowie ein System aus einer übergeordneten Steuereinheit und einem Fluförderzeug
CN108082083B (zh) * 2018-01-16 2019-11-01 京东方科技集团股份有限公司 一种被遮挡对象的显示方法和显示系统以及车载防撞系统
JP7080091B2 (ja) * 2018-04-02 2022-06-03 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7117881B2 (ja) * 2018-04-02 2022-08-15 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10678249B2 (en) 2018-04-20 2020-06-09 Honda Motor Co., Ltd. System and method for controlling a vehicle at an uncontrolled intersection with curb detection
EP3576007B1 (en) * 2018-05-28 2023-09-20 Aptiv Technologies Limited Method for validation of obstacle candidate
US10930001B2 (en) 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
CN108932587B (zh) * 2018-06-29 2021-09-21 大连民族大学 二维世界坐标系的俯视行人风险量化系统
CN109109742A (zh) * 2018-08-22 2019-01-01 上海视虹智能科技有限公司 防碰撞报警及控制系统和方法
US10611372B2 (en) * 2018-09-06 2020-04-07 Zebra Technologies Corporation Dual-mode data capture system for collision detection and object dimensioning
WO2020091088A1 (ko) * 2018-10-29 2020-05-07 엘지전자 주식회사 V2x 통신을 위한 장치 및 방법
EP3666594B1 (en) * 2018-12-12 2022-08-10 Ningbo Geely Automobile Research & Development Co. Ltd. System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
CN109703538B (zh) * 2019-01-15 2020-09-11 中国人民解放军陆军工程大学 一种公交车驾驶区域入侵安全保障装置
JP6764138B2 (ja) * 2019-03-28 2020-09-30 日本電気株式会社 管理方法、管理装置、プログラム
DE102019205365A1 (de) * 2019-04-12 2020-10-15 Volkswagen Aktiengesellschaft Kraftfahrzeug und Verfahren zur Kollisionsvermeidung
CN110610143B (zh) * 2019-08-27 2023-05-12 汇纳科技股份有限公司 多任务联合训练的人群计数网络方法、系统、介质及终端
KR20210026248A (ko) * 2019-08-29 2021-03-10 현대자동차주식회사 차량 사고 통보 장치, 그를 포함한 시스템 및 그 방법
US11512972B2 (en) * 2019-10-04 2022-11-29 Naver Corporation System and method for communicating possible travel paths through head scanning and sound modulation
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
US11074460B1 (en) * 2020-04-02 2021-07-27 Security Systems, L.L.C. Graphical management system for interactive environment monitoring
CN111860224A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 图像处理的方法、装置、电子设备和计算机可读存储介质
CN114572275A (zh) * 2020-12-02 2022-06-03 晋城三赢精密电子有限公司 车辆行车辅助方法、车载装置、车辆及存储介质
CN115214632A (zh) * 2021-03-31 2022-10-21 南宁富联富桂精密工业有限公司 车辆盲区的防碰撞方法、电子设备及计算机存储介质
JP2022161066A (ja) * 2021-04-08 2022-10-21 トヨタ自動車株式会社 表示制御システム、表示制御方法及びプログラム
EP4197838A1 (en) * 2021-12-20 2023-06-21 Toyota Jidosha Kabushiki Kaisha Method and system for assisting a driver of a road vehicle
US20230222898A1 (en) * 2022-01-11 2023-07-13 Ford Global Technologies, Llc Vehicle pose optimization for sensor monitoring

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001029513A1 (de) * 1999-10-16 2001-04-26 Bayerische Motoren Werke Aktiengesellschaft Kameravorrichtung für fahrzeuge
US20060184297A1 (en) * 2004-12-23 2006-08-17 Higgins-Luthman Michael J Object detection system for vehicle
JP2006227811A (ja) * 2005-02-16 2006-08-31 Denso Corp 運転支援装置
CN101553389A (zh) * 2006-10-24 2009-10-07 沃尔沃拉斯特瓦格纳公司 偏航检测系统
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
US20100295707A1 (en) * 2009-05-19 2010-11-25 Brian Bennie System and method for lane departure warning
CN102782740A (zh) * 2010-03-01 2012-11-14 本田技研工业株式会社 车辆周围监测装置
EP2528049A1 (en) * 2011-05-23 2012-11-28 Robert Bosch GmbH Method and a device for detecting safety critical objects to a vehicle using navigation data
CN103465909A (zh) * 2012-06-05 2013-12-25 现代摩比斯株式会社 车道偏离警报系统以及其方法
US20140111647A1 (en) * 2011-05-03 2014-04-24 Alon Atsmon Automatic image content analysis method and system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292111B1 (en) * 1999-03-01 2001-09-18 Yazaki Corporation Vehicle-applied rear-and-side monitoring system and vehicle-applied rear-and-side monitoring and alarming system
US7113867B1 (en) 2000-11-26 2006-09-26 Mobileye Technologies Limited System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images
JP2003123196A (ja) * 2001-10-10 2003-04-25 Denso Corp 車両の周辺監視装置及びプログラム
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6838981B2 (en) 2003-03-28 2005-01-04 Visteon Global Technologies, Inc. Stopped object filtering for side object detection system
WO2005024754A1 (ja) * 2003-09-02 2005-03-17 Fujitsu Limited 車載用画像処理装置
DE602005007006D1 (de) 2004-04-08 2008-07-03 Mobileye Technologies Ltd Kollisionswarnsystem
GB2436916B (en) * 2006-03-29 2008-09-24 John Turnbull Warning System
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
US9848114B2 (en) * 2009-12-07 2017-12-19 Cobra Electronics Corporation Vehicle camera system
DE102010032411A1 (de) * 2010-07-27 2012-02-02 Hans Dominik Vorrichtung zur Überwachung der seitlichen und rückwärtigen Umgebung eines Fahrzeugs
US8700434B1 (en) * 2011-03-24 2014-04-15 Louis H. DeLong System and method for analyzing and comparing data and using analyzed data to identify liability sources
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
JP5690688B2 (ja) * 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法，装置，および車両システム
US20140062725A1 (en) * 2012-08-28 2014-03-06 Commercial Vehicle Group, Inc. Surface detection and indicator
US20150260614A1 (en) * 2012-10-19 2015-09-17 Roadroid Ab Method and system for monitoring road conditions
TW201416997A (zh) * 2012-10-19 2014-05-01 Nanoplus Technology Inc 行車影像辨識裝置及其方法
US20140160295A1 (en) * 2012-12-06 2014-06-12 Honda Motor Co., Ltd. Road condition detection
EP2752348A1 (en) * 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Adaptive emergency brake and steer assist system based on driver focus
DE102013001324A1 (de) * 2013-01-26 2013-12-12 Audi Ag Verfahren zum Betreiben eines PreCrash-Seitencrash-Schutzsystems und Fahrzeug mit PreCrash-Seitencrash-Schutzsystem
CN104325934A (zh) * 2013-07-22 2015-02-04 昆达电脑科技(昆山)有限公司 行车安全距离提醒装置及其实现方法
KR101751362B1 (ko) * 2013-08-23 2017-06-27 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
US20150065036A1 (en) * 2013-08-30 2015-03-05 Nokia Corporation Near field communications for traffic and hazard mapping
CN203753005U (zh) * 2013-11-19 2014-08-06 浙江吉利汽车研究院有限公司 一种车道偏离预警装置
CN103661190B (zh) * 2014-01-07 2017-12-01 江苏新安电器有限公司 大型汽车转弯时的侧防撞装置及侧防撞方法
US9948898B2 (en) * 2014-08-22 2018-04-17 Verizon Patent And Licensing Inc. Using aerial imaging to provide supplemental information about a location
GB2538572B (en) * 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
US10042635B2 (en) * 2015-06-16 2018-08-07 Lear Corporation Method for wireless remote updating vehicle software

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001029513A1 (de) * 1999-10-16 2001-04-26 Bayerische Motoren Werke Aktiengesellschaft Kameravorrichtung für fahrzeuge
US20060184297A1 (en) * 2004-12-23 2006-08-17 Higgins-Luthman Michael J Object detection system for vehicle
JP2006227811A (ja) * 2005-02-16 2006-08-31 Denso Corp 運転支援装置
CN101553389A (zh) * 2006-10-24 2009-10-07 沃尔沃拉斯特瓦格纳公司 偏航检测系统
CN101549648A (zh) * 2008-03-31 2009-10-07 现代自动车株式会社 用于警告驾驶员存在目标物体的警报系统
US20100295707A1 (en) * 2009-05-19 2010-11-25 Brian Bennie System and method for lane departure warning
CN102782740A (zh) * 2010-03-01 2012-11-14 本田技研工业株式会社 车辆周围监测装置
US20140111647A1 (en) * 2011-05-03 2014-04-24 Alon Atsmon Automatic image content analysis method and system
EP2528049A1 (en) * 2011-05-23 2012-11-28 Robert Bosch GmbH Method and a device for detecting safety critical objects to a vehicle using navigation data
CN103465909A (zh) * 2012-06-05 2013-12-25 现代摩比斯株式会社 车道偏离警报系统以及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155218A1 (en) * 2022-02-16 2023-08-24 Hong Kong Applied Science and Technology Research Institute Company Limited A system and a method for reducing false alerts in a road management system

Also Published As

Publication number Publication date
US10127464B2 (en) 2018-11-13
US20190073544A1 (en) 2019-03-07
US20160342850A1 (en) 2016-11-24
GB201818058D0 (en) 2018-12-19
CN107428288A (zh) 2017-12-01
US11080538B2 (en) 2021-08-03
EP3298604A1 (en) 2018-03-28
EP3298604B1 (en) 2022-11-30
US20200285868A1 (en) 2020-09-10
GB2538572B (en) 2018-12-19
EP4216188A1 (en) 2023-07-26
CN107428288B (zh) 2021-03-19
US20210357665A1 (en) 2021-11-18
US10699138B2 (en) 2020-06-30
GB201511316D0 (en) 2015-08-12
US20240062655A1 (en) 2024-02-22
US11538254B2 (en) 2022-12-27
CN112829678B (zh) 2021-11-02
WO2016187270A1 (en) 2016-11-24
EP4270355A2 (en) 2023-11-01
GB2538572A (en) 2016-11-23
EP4270355A3 (en) 2024-01-03
CN112829678A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US11538254B2 (en) Safety system for a vehicle to detect and warn of a potential collision
EP3338266B1 (en) Method, control unit and system for avoiding collision with vulnerable road users
JP7397807B2 (ja) ライダー支援システム及び方法
JP4967015B2 (ja) 安全運転支援装置
US9524643B2 (en) Orientation sensitive traffic collision warning system
JP2009271766A (ja) 自動車用障害物検知装置
JP5888339B2 (ja) 表示制御装置
ES2603002T3 (es) Sistema de asistencia al conductor para vehículos, en particular vehículos industriales
CN113442917B (zh) 用于宿主机动车辆的警告系统
KR20210127267A (ko) 차량 및 그 제어방법
CN112758013A (zh) 车辆的显示装置和显示方法
JP2021175630A (ja) 運転支援装置
CN114428498A (zh) 在自主车辆的靠边停车和下客期间增强乘客的意识
JP5003473B2 (ja) 注意喚起装置
US20230064724A1 (en) Danger notification method, danger notification device, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination