CN108082042A - 钻车缝的摩托车的检测 - Google Patents

钻车缝的摩托车的检测 Download PDF

Info

Publication number
CN108082042A
CN108082042A CN201711144412.2A CN201711144412A CN108082042A CN 108082042 A CN108082042 A CN 108082042A CN 201711144412 A CN201711144412 A CN 201711144412A CN 108082042 A CN108082042 A CN 108082042A
Authority
CN
China
Prior art keywords
image
gray level
level image
vehicle
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711144412.2A
Other languages
English (en)
Other versions
CN108082042B (zh
Inventor
尚特·托凯蒂恩
修纳克·阿塔韦尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108082042A publication Critical patent/CN108082042A/zh
Application granted granted Critical
Publication of CN108082042B publication Critical patent/CN108082042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

控制器从视场中具有车道间区域的后置摄像机接收图像。图像的所关注区域被识别为对应于车道间区域。将所关注区域转换成具有急剧降低的亮度级数的灰度图像。确定每幅图像的灰度图像相对于先前图像的灰度图像之间的差异图像。如果差异图像中的非零像素超过阈值并且输入图像的差异图像中的非零像素的面积随时间增加,则将确定存在钻车缝的车辆并且可生成警告和/或可制止自主变道。

Description

钻车缝的摩托车的检测
技术领域
本发明涉及执行障碍物检测,例如用于自主车辆中。
背景技术
在许多拥堵的城市地区,像加利福尼亚州的旧金山或者英国的伦敦,摩托车驾驶员通常通过在车道之间行驶来超过车流中缓慢的或停止的车辆(即钻车缝(lane-splitting))。因为相邻车辆中的驾驶员难以检测到这种行为,特别是当车道合并时,所以这是一种非常危险的驾驶行为。即使对于未来可能内置360度感测系统的自主车辆,要识别像以高得多的相对速度变道的摩托车这种快速移动的对象也是有挑战性的。因此,这个困难将会对整套感测套件和算法提出挑战。进一步带来的问题是对象或车辆挡住感测系统。
本文中公开的系统和方法提供了用于感测钻车缝的摩托车驾驶员或其他车辆的改进方法。
发明内容
根据本发明的一方面,提供一种方法,包括通过车辆控制器执行以下操作:
将第一图像转换成第一灰度图像以及将第二图像转换成第二灰度图像,第一灰度图像和第二灰度图像具有第一亮度级数,第一亮度级数小于第一图像和第二图像的第二亮度级数的10%;以及
确定第一灰度图像和第二灰度图像之间的差异指示移动对象。
根据本发明的一个实施例,方法进一步包括:
通过车辆控制器从后置摄像机接收第一图像和第二图像,后置摄像机安装于车辆并且在后置摄像机的视场中具有车辆的车道间区域。
根据本发明的一个实施例,将第一图像转换成第一灰度图像以及将第二图像转换成第二灰度图像包括:仅处理第一图像和第二图像内的包括车道间区域的所关注区域。
根据本发明的一个实施例,第二亮度级数至少为256,并且第一亮度级数小于10。
根据本发明的一个实施例,第二亮度级数至少为255,并且第一亮度级数为三。
根据本发明的一个实施例,方法进一步包括:
通过车辆控制器从安装于车辆的后置摄像机接收第一图像和第二图像作为随着时间的推移的一系列图像的一部分;
其中第一图像自第二图像偏移0.3秒到0.35秒之间。
根据本发明的一个实施例,方法进一步包括:
通过车辆控制器从安装于车辆的后置摄像机接收第一图像和第二图像作为随着时间的推移的一系列图像的一部分;
其中第一图像在系列中自第二图像偏移16帧到24帧之间。
根据本发明的一个实施例,方法进一步包括确定第一灰度图像和第二灰度图像之间的差异指示快速移动对象包括:
生成作为第一灰度图像的所关注区域和第二灰度图像的所关注区域之间的差异的差异图像;以及
确定差异图像的非零像素数超过阈值。
根据本发明的一个实施例,确定第一灰度图像和第二灰度图像之间的差异指示快速移动对象包括:
生成作为第一灰度图像的所关注区域和第二灰度图像的所关注区域之间的差异的第一差异图像;以及
将第三图像转换成第三灰度图像;
在生成第一差异图像之后,生成第二差异图像,第二差异图像为第一灰度图像、第二灰度图像以及不同灰度图像的至少其中之一与第三灰度图像的所关注区域之间的差异;
确定(a)第二差异图像中的第二非零像素数大于第一差异图像中的第一非零像素数,以及(b)第一差异图像和第二差异图像的至少其中之一中的非零像素数满足大小阈值。
根据本发明的一个实施例,方法进一步包括:
响应于确定第一灰度图像和第二灰度图像之间的差异指示快速移动对象而通过控制器执行以下操作的至少其中一项:
生成用户可感知的警告;以及
制止一次或多次变道。
根据本发明的一方面,提供一种车辆,包括:
车身;
安装于车身的一台或多台后置摄像机;
安装于车辆中的控制器,控制器编程为执行以下操作:
从一台或多台后置摄像机接收第一图像;
在第一图像之后从一台或多台后置摄像机接收第二图像;
将第一图像转换成第一灰度图像;
将第二图像转换成第二灰度图像,第一灰度图像和第二灰度图像具有第一亮度级数,第一亮度级数小于第一图像和第二图像的第二亮度级数的10%;以及
确定第一灰度图像和第二灰度图像之间的差异指示移动对象。
根据本发明的一个实施例,一台或多台后置摄像机在后置摄像机的视场中具有车辆的车道间区域。
根据本发明的一个实施例,控制器进一步编程为:通过仅处理第一图像和第二图像内的所关注区域来将第一图像转换成第一灰度图像以及将第二图像转换成第二灰度图像,所关注区域包括车道间区域。
根据本发明的一个实施例,第二亮度级数至少为255,并且第一亮度级数小于10。
根据本发明的一个实施例,第二亮度级数至少为255,并且第一亮度级数为三。
根据本发明的一个实施例,控制器进一步编程为:
接收第一图像和第二图像作为随着时间的推移的一系列图像的一部分;
其中第一图像自第二图像偏移0.3秒到0.35秒之间。
根据本发明的一个实施例,控制器进一步编程为:
接收第一图像和第二图像作为随着时间的推移的一系列图像的一部分;
其中第一图像在系列中自第二图像偏移16帧到24帧之间。
根据本发明的一个实施例,控制器进一步编程为:
生成作为第一灰度图像的所关注区域和第二灰度图像的所关注区域之间的差异的差异图像;以及
如果差异图像的非零像素数超过阈值,则确定第一灰度图像和第二灰度图像指示移动对象。
根据本发明的一个实施例,控制器进一步编程为对于包括第一图像和第二图像的一系列图像进行以下操作:
将每幅图像转换成当前灰度图像;
通过比较当前灰度图像和一系列图像的先前图像的灰度图像来生成差异图像;
确定差异图像中的非零像素的量;
如果差异图像中的非零像素的量大于一系列图像中的先前图像的差异图像中的非零像素数,则确定第一灰度图像和第二灰度图像指示移动。
根据本发明的一个实施例,车辆的控制器进一步编程为:
如果第一灰度图像和第二灰度图像之间的差异指示快速移动对象,则执行以下操作的至少其中一项:
生成用户可感知的警告;以及
制止一次或多次变道。
附图说明
将参考附图中所示的具体实施例来描述上面简述的本发明的更详细说明,以便将容易理解本发明的优点。要理解的是,这些附图仅描绘了本发明的典型实施例,因此不应视为对本发明范围的限制,将通过使用附图额外具体并且详细地描述和解释本发明,附图中:
图1为用于实现本发明的实施例的系统的示意性框图;
图2为适合于实现根据本发明实施例的方法的示例计算装置的示意性框图;
图3为示出了包括钻车缝的摩托车驾驶员的车流中的自主车辆的示意图;
图4为根据本发明实施例的用于检测钻车缝的摩托车驾驶员的方法的流程图;
图5A示出了包括钻车缝的摩托车驾驶员的原始图像;
图5B示出了根据本发明实施例的原始图像的灰度图版本;以及
图6A至图6C为示出了根据本发明实施例的钻车缝的摩托车的识别的图像。
具体实施方式
参考图1,系统100可包括容置在车辆内的控制器102。车辆可包括本领域中已知的任何车辆。车辆可具有本领域中已知的任何车辆的所有结构和特征,这些结构和特征包括车轮、连接到车轮的传动系、连接到传动系的发动机、转向系统、制动系统以及包含在车辆中的本领域中已知的其他系统。
如在本文中更详细讨论的,控制器102可执行自主导航和避免碰撞。特别是,如下面关于图3至图6C更详细讨论的,可分析图像数据和/或其他传感器数据以识别可能钻车缝的车辆。
控制器102可从一个或多个成像装置104接收一个或多个图像流。例如,一个或多个摄像机可安装于车辆并且输出控制器102接收到的图像流。控制器102可从一个或多个传感器106接收一个或多个数据流。例如,控制器可连接到安装于车辆的一个或多个其他传感器106。传感器可包括雷达(RADAR)、激光雷达(LIDAR)、声纳(SONAR)等。
防撞模块108可包括钻车缝模块110a。钻车缝模块110a可包括提取从成像装置104接收到的图像中的所关注区域的裁剪模块112a。钻车缝模块110a可包括将来自成像装置104的图像或者图像的所关注区域处理成简化形式的灰度模块112b。钻车缝模块110a可包括识别灰度模块112b输出的简化图像中的潜在钻车缝的车辆的识别模块112c。下面参照图3至图6C更详细地描述钻车缝模块110a的操作。
防撞模块108可进一步包括障碍物识别模块110b、碰撞预测模块110c以及决策模块110d。障碍物识别模块110b分析一个或多个图像流并且识别潜在障碍物,潜在障碍物包括人、动物、车辆、建筑物、路缘以及其他对象和结构。特别是,障碍物识别模块110b可识别图像流中的车辆图像。
碰撞预测模块110c基于车辆当前轨迹或当前计划路径来预测哪些障碍物有可能与车辆发生碰撞。决策模块110d可做出停止、加速、转弯等决策,以便避开障碍物。碰撞预测模块110c预测潜在碰撞的方式以及决策模块110d采取行动以避免潜在碰撞的方式可根据自主车辆领域中已知的任何方法或系统。
决策模块110d可通过致动控制车辆的方向和速度的一个或多个致动器114来控制车辆的轨迹。例如,致动器114可包括转向器致动器116a、加速器致动器116b以及制动器致动器116c。致动器116a至116c的配置可根据自主车辆领域中已知的这种致动器的任何实施方式。
应该注意的是,虽然本文中所述的方法被描述用于自主车辆中,但是人类驾驶的车辆仍然可受益于本文中所述的钻车缝的车辆的识别。
图2为示出了示例计算装置200的框图。计算装置200可用来执行各种程序(例如本文中所讨论的那些程序)。控制器102可具有计算装置200的一些或全部属性。
计算装置200包括全部连接到总线212的一个或多个处理器202、一个或多个存储器204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210以及显示装置230。处理器202包括执行存储在存储器204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202还可包括各种类型的计算机可读介质(例如高速缓冲存储器)。
存储器204包括各种计算机可读介质,该计算机可读介质例如为易失性存储器(例如,随机存取存储器(random access memory,RAM)214)和/或非易失性存储器(例如,只读存储器(read-only memory,ROM)216)。存储器204还可包括可重写ROM(例如闪速存储器)。
大容量存储装置208包括各种计算机可读介质(例如磁带、磁盘、光盘、固态存储器(例如,闪速存储器)等)。如图2中所示,特定的大容量存储装置为硬盘驱动器224。各种驱动器也可包含在大容量存储装置208中以能够实现从各种计算机可读介质读取和/或写入到各种计算机可读介质。大容量存储装置208包括可移除介质226和/或不可移除介质。
I/O装置210包括允许数据和/或其他信息被输入到计算装置200或者从计算装置200调取数据和/或其他信息的各种装置。示例的I/O装置210包括光标控制装置、键盘、小键盘、麦克风、监视器或者其他显示装置、扬声器、网络接口卡、调制解调器、透镜、电荷耦合元件(Charge-Coupled Device,CCD)或者其他图像捕捉装置等。
显示装置230包括可将信息显示给计算装置200的一位或多位用户的任何类型的装置。显示装置230的示例包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其他系统、装置或者计算环境进行交互的各种接口。示例的接口206包括任意数量的不同网络接口220,该网络接口220例如为到局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线网络以及互联网的接口。其他接口包括用户界面218和外围设备接口222。接口206还可包括一个或多个外围接口(例如用于定位装置(鼠标、触控板等)、键盘等的接口)。
总线212允许处理器202、存储器204、接口206、大容量存储装置208、I/O装置210以及显示装置230互相通信,也允许其与连接到总线212的其他装置或者部件进行通信。总线212表示几种类型的总线结构的一种或多种(例如,系统总线、外设部件互连(PeripheralComponent Interconnect,PCI)总线、IEEE 1394总线、USB(Universal Serial Bus,通用串行总线)总线等)。
为了举例说明的目的,程序和其他可执行程序部件在本文中显示为独立的框,尽管应当理解的是这样的程序和部件可能在不同时间驻留在计算装置200的不同存储部件中并且由处理器202来执行。可供选择地,本文中所述的系统和程序可在硬件或者硬件、软件和/或固件的组合中实现。例如,一个或多个专用集成电路(application specificintegrated circuit,ASIC)可编程为执行本文中所述的一个或多个系统和程序。
现在转到图3,多车道车流中的车辆300a-300f可在车道之间的分界线302的任一侧的车道中行驶。摩托车驾驶员304可能在车道之间(例如在分界线302上或附近)(在下文中称为“车道间区域”)行驶。摩托车驾驶员304通常会比其他车辆300a-300f行驶得更快并且几乎没有时间作出反应。而且,在车辆300a-300f正在缓慢移动的情况下,车辆300a-300f之间的间隔会很小,因此每辆车后方的可视性会受到限制。
在图3中,车辆300a包括容置在其中的控制器102以及安装在其上的成像装置104。如图所示,成像装置104可包括一个或多个后置摄像机104a、104b。摄像机104a、104b可安装于车辆300a的侧面(例如,车辆的后面板、车辆的后门或前门、车辆的行李厢上、车辆的车顶、车辆的尾灯总成中或者在某个其他位置)。摄像机104a、104b可具有相对于车辆300a的纵向轴线(从前到后)成一个角度(例如,1度到10度)以便确保车道间区域处于每台摄像机的视场中的光轴。
参考图4,所示方法400可由控制器102执行,以便增强对相对于摩托车驾驶员和其他钻车缝的车辆的碰撞的避免。例如,所示方法400可由防撞模块108及其钻车缝模块110a来执行。
方法400可包括从摄像机104a、104b接收402例如一连串图像帧形式的图像数据。图像流可为根据本领域中已知的任何视频编码和传输协议的视频信号的形式。可供选择地,每个图像流可仅为按照其中一台摄像机104a、104b拍摄图像的顺序接收到的根据本领域中已知的任何图像格式的一系列单独图像。
方法400可包括从图像帧中提取404所关注区域。钻车缝的车辆在摄像机104a、104b的视场中的可能位置会特别有限。因此,对于给定车辆和摄像机104a、104b的给定安装位置,用于识别潜在钻车缝的车辆的所关注区域可在各种可能的场景中通过实验来识别。
在使用时,然后可处理在步骤402接收到的图像,以便从该所关注区域提取像素数据以供根据方法400的后续步骤进行处理或者以其他方式使方法400的后续处理局限于该所关注区域。
方法400可包括将每个图像帧中的所关注区域转换406成灰度图。这可包括对整个图像帧进行转换或者仅对所关注区域进行转换。
原始图像帧可为彩色图像或者可能已经为灰度图像。在任一种情况下,步骤406可包括将每个图像帧中的所关注区域转换成具有急剧降低的级数(例如,小于10%,优选小于5%,更优选小于2%)的灰度图像。例如,对于具有可能为256个亮度级的图像帧,步骤406可包括将所关注区域中的像素转换成10个、优选小于5个以及更优选仅3个级别(例如,黑色、灰色以及白色)的其中之一。
例如,256个亮度级可分成高区域(255-170)、中间区域(169-85)以及低区域(85-0)。可为具有高区域中的亮度的像素分配高级别(例如,白色),可为具有中间区域中的亮度的像素分配中等级别(例如,灰色),以及可为具有低区域中的亮度的像素分配低级别(例如,黑色)。在该示例中,可能的亮度的范围可为实质上大小相等的范围(例如,在1%之内)。然而,在其他实施例中,这些区域可为大小不等的区域。
在输入图像帧为彩色图像的情况下,可首先将这些彩色图像转换成常规灰度图像(例如,256或更高的亮度),然后将常规灰度图像转换成具有急剧降低的亮度级数的灰度图像。
方法400可进一步包括从先前图像帧(“参考图像”)的所关注灰度区域减去408一个图像帧(“当前图像”)的所关注灰度区域。可接收402图像数据作为随着时间的推移的一系列图像帧。参考图像可为该系列中前面紧接着的图像帧或者可在该系列中偏离当前图像。例如,参考图像可对应于0.1至0.5秒的偏移,优选0.3至0.35秒的偏移。例如,以60Hz的帧速率,1/3秒的偏移将包括回退20帧以调取参考帧。参考图像可在从当前图像回退的10到30帧之间,优选在回退的16到24帧之间。
然后可将当前图像和参考图像的所关注区域相减以获得差异图像。差异图像中的任何非零像素表示当前图像和参考图像之间的差异。由于在步骤406的转换,因噪声或者图像之间的缓慢变化引起的差异量将减小,并且只有显著的变化会导致非零像素。显著的变化表明快速移动,这有助于检测可能比周围车流移动得快得多的钻车缝的车辆。
方法400可包括评估410差异图像是否满足面积阈值(例如,差异图像中的非零像素的数量或百分比是否超过了阈值数量或百分比)。
例如,可确定410差异图像中的像素的至少5%到15%的像素数为满足面积阈值。在一些实施例中,阈值可根据光照条件而变化(例如,随着环境光照水平的降低而减小)。当天黑时,只有前照灯是可见的,使得将以发现410差异图像中的较小数量的非零像素为满足阈值条件。
方法400可进一步包括确定412非零像素的面积是否正在增长。当钻车缝的车辆正在接近时,该面积将随着其占据摄像机104a、104b的较大部分视场而增长。
例如,如果在时间上向前移动经过一系列输入图像帧时至少N个连续输入帧的差异图像中的非零像素的面积增加,则可确定412增长足够了。例如,N可为从1至10,优选从5至10。
在一些实施例中,发现412是否满足增长阈值可取决于超过一些最小增长(例如,彼此偏移一个或多个(例如,从1至10)中间帧的连续图像帧或输入图像帧的差异图像中的非零像素的数量增长至少1%到5%这样的增长)的增长量。
如果发现步骤410和步骤412两个步骤的条件均得到满足,则可采取各种动作。动作可包括以可听见的音调、闪烁的灯光、显示屏幕上的文本或图像消息或者其他人类可感知的警告的形式生成414对车辆驾驶员的警告。生成414警告可包括向周围的车辆发送警告。
动作可包括将潜在钻车缝的车辆添加416到潜在障碍物的集合。潜在障碍物的集合可包括利用成像装置104或者采用本领域中已知的任何算法的任何其他传感器106检测到的其他障碍物。然后,控制器102可避免相对于障碍物集合的碰撞,该障碍物集合可包括根据步骤402至步骤412识别出的可能钻车缝的摩托车。
动作可包括通过控制器102制止418变道、执行较少的变道、在变道之前长时间发出信号、更缓慢地执行变道或者与未检测到可能钻车缝的摩托车时不同地以其他方式驾驶。一旦不再检测到钻车缝的车辆,则可停止步骤418的动作。
参考图5A,原始图像帧或原始图像的灰度图转换可如图所示。一经降低到急剧降低的灰度级数,图像即可如图5B中所示仅为三个级别(白色、灰色以及黑色)。
图6A和图6B示出了拍摄自钻车缝的摩托车的不同图像帧的所关注区域的三级灰度版本。图6C示出了图6A和图6B的图像之间的差异。显而易见地,钻车缝的摩托车清楚地突显为图6C中的图像的非零(白色)区域。很容易识别和评估非零像素以确定是否存在快速移动的车辆。
在以上公开中,已参考构成本发明一部分的附图,并且在附图中通过举例说明的方式示出了可实践本发明的具体实施方式。应该理解的是,可利用其他实施方式,并且在不脱离本发明的范围的情况下可做出结构变化。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所述的实施例可包括特定特征、结构或者特点,但是每个实施例可不必包括该特定特征、结构或者特点。而且,这种措词未必指的是相同的实施例。进一步地,当与实施例有关地描述特定特征、结构或者特点时,主张的是,不论是否做出明确的描述,影响与其他实施例有关的该特征、结构或者特点是在本领域技术人员的认知内。
本文中所公开的系统、装置以及方法的实施方式可包括或者利用包括计算机硬件的专用或者通用计算机,比如,像本文中所讨论的,该计算机硬件为例如一个或多个处理器和系统存储器。本发明范围内的实施方式还可包括用于携带或者存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。该计算机可读介质可为能够由通用或者专用计算机系统来存取的任何可用的介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质为传输介质。因此,通过举例并且不受限制的方式,本发明的实施方式可包括至少两种明显不同类型的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(Random-Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,EEPROM)、光盘只读存储器(Compact Disc Read-OnlyMemory,CD-ROM)、固态驱动器(Solid State Drive,“SSD”)(例如,基于随机存取存储器)、闪速存储器、相变存储器(Phase-Change Memory,“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或者其他磁性存储装置,或者能够用来存储计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取的任何其他介质。
本文中所公开的装置、系统以及方法的实施方式可通过计算机网络进行通信。“网络”定义为能够实现电子数据在计算机系统和/或模块和/或其他电子装置之间进行传输的一条或多条数据链路。当通过网络或者另外的通信连接(硬连线、无线或者硬连线或无线的结合)向计算机传递或者提供信息时,该计算机将该连接适当地视为传输介质。传输介质可包括网络和/或数据链路,其能够用来携带计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取。以上所述的组合也应该包含在计算机可读介质的范围内。
计算机可执行指令包括例如当在处理器执行时使通用计算机、专用计算机或者专用处理装置执行某个功能或者功能组的指令和数据。计算机可执行指令可为例如二进制数、中间格式指令(例如汇编语言)乃至源代码。尽管以特定于结构特征和/或方法动作的语言描述了本发明的主题,但是应该理解的是,所附权利要求中限定的主题未必受限于上文描述的所述特征或者动作。相反,所述特征和动作被公开为实施权利要求的示例形式。
本领域的技术人员将领会的是,可在具有多种计算机系统配置的网络计算环境中实践本发明,该计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或者可编程的消费电子产品、网络个人计算机(Personal Computer,PC)、小型计算机、大型计算机、移动电话、个人数字助理(Personal Digital Assistant,PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。还可在分布式系统环境中实践本发明,在该分布式系统环境中,经由网络(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)连接起来的本地和远程计算机系统都执行任务。在分布式系统环境中,程序模块可位于本地和远程存储装置中。
进一步地,在适当的情况下,本文中所述的功能可在硬件、软件、固件、数字部件或者模拟部件的一个或多个中执行。例如,一个或多个专用集成电路(application specificintegrated circuit,ASIC)可编程为实现本文中所述的一个或多个系统和程序。某些术语在说明书和权利要求书中始终用来指特定的系统部件。如本领域的技术人员将领会的,可用不同的名称指称部件。本文并非意在区分名称不同而不是功能不同的部件。
应该注意的是,上文所讨论的传感器实施例可包括用来执行其至少一部分功能的计算机硬件、软件、固件或其任意组合。例如,传感器可包括配置成在一个或多个处理器中执行的计算机代码,并且可包括由该计算机代码控制的硬件逻辑/电气电路。本文中提供这些示例装置的目的是为了举例说明,而非意在做出限制。如相关技术领域的技术人员将已知的,本发明的实施例可在更多类型的装置中实现。
本发明的至少一些实施例是针对包括存储在任何计算机可用介质上的这种逻辑(例如,以软件的形式)的计算机程序产品。当在一个或多个数据处理装置中执行时,这种软件使装置像本文中描述的那样运行。
虽然上文已描述了本发明的各种实施例,但是应该理解的是,这些实施例只是通过示例的方式来呈现,而并非是限制性的。对相关技术领域的技术人员而言,将显而易见的是,在不脱离本发明的精神和范围的情况下,能够对本发明做出各种形式和细节上的改变。因此,本发明的广度和范围不应该受到上述任何示范性实施例的限制,而是应该只根据如下权利要求及其等同范围来限定。呈现前文的描述是为了阐述和说明。其并非意在穷举或者将本发明限制成所公开的确切形式。根据上文的教导可做出很多修改和变化。进一步地,应该注意的是,可通过期望用来形成本发明额外的混合实施方式的任何组合来使用任何或者所有前述替代实施方式。
在不脱离本发明的精神或本质特征的情况下,本发明可体现为其他具体形式。所述实施例在各个方面均仅视为说明性的而不是限制性的。因此,本发明的范围由所附权利要求来表示,而不是由前文的描述来表示。在权利要求的等同含义和范围内的所有变化都将包含在其范围内。

Claims (15)

1.一种方法,包括通过车辆控制器执行以下操作:
将第一图像转换成第一灰度图像以及将第二图像转换成第二灰度图像,所述第一灰度图像和所述第二灰度图像具有第一亮度级数,所述第一亮度级数小于所述第一图像和所述第二图像的第二亮度级数的10%;以及
确定所述第一灰度图像和所述第二灰度图像之间的差异指示移动对象。
2.根据权利要求1所述的方法,进一步包括:
通过所述车辆控制器从后置摄像机接收所述第一图像和所述第二图像,所述后置摄像机安装于车辆并且在所述后置摄像机的视场中具有所述车辆的车道间区域;
其中将所述第一图像转换成所述第一灰度图像以及将所述第二图像转换成所述第二灰度图像包括:仅处理所述第一图像和所述第二图像内的包括所述车道间区域的所关注区域。
3.根据权利要求1所述的方法,其中所述第一亮度级数至少为255,并且所述第二亮度级数为三。
4.根据权利要求1所述的方法,进一步包括:
通过所述车辆控制器从安装于车辆的后置摄像机接收所述第一图像和所述第二图像作为随着时间的推移的一系列图像的一部分;
其中所述第一图像自所述第二图像偏移0.3秒到0.35秒之间。
5.根据权利要求1所述的方法,进一步包括:
通过所述车辆控制器从安装于车辆的后置摄像机接收所述第一图像和所述第二图像作为随着时间的推移的一系列图像;
其中所述第一图像在所述系列中自所述第二图像偏移16帧到24帧之间。
6.根据权利要求1所述的方法,进一步包括确定所述第一灰度图像和所述第二灰度图像之间的所述差异指示快速移动对象,确定所述第一灰度图像和所述第二灰度图像之间的所述差异指示所述快速移动对象包括:
生成作为所述第一灰度图像的所关注区域和所述第二灰度图像的所关注区域之间的差异的差异图像;以及
确定所述差异图像的非零像素数超过阈值。
7.根据权利要求1所述的方法,其中确定所述第一灰度图像和所述第二灰度图像之间的所述差异指示快速移动对象包括:
生成作为所述第一灰度图像的所关注区域和所述第二灰度图像的所关注区域之间的差异的第一差异图像;以及
将第三图像转换成第三灰度图像;
在生成所述第一差异图像之后,生成第二差异图像,所述第二差异图像为所述第一灰度图像、所述第二灰度图像以及不同灰度图像的至少其中之一与所述第三灰度图像的所关注区域之间的差异;
确定(a)所述第二差异图像中的第二非零像素数大于所述第一差异图像中的第一非零像素数,以及(b)所述第一差异图像和所述第二差异图像的至少其中之一中的非零像素数满足大小阈值。
8.根据权利要求1所述的方法,进一步包括:
响应于确定所述第一灰度图像和所述第二灰度图像之间的所述差异指示快速移动对象而通过所述控制器执行以下操作的至少其中一项:
生成用户可感知的警告;以及
制止一次或多次变道。
9.一种车辆,包括:
车身;
安装于所述车身的一台或多台后置摄像机;
安装于所述车辆中的控制器,所述控制器编程为执行以下操作:
从所述一台或多台后置摄像机接收第一图像;
在所述第一图像之后从所述一台或多台后置摄像机接收第二图像;
将所述第一图像转换成第一灰度图像;
将所述第二图像转换成第二灰度图像,所述第一灰度图像和所述第二灰度图像具有第一亮度级数,所述第一亮度级数小于所述第一图像和所述第二图像的第二亮度级数的10%;以及
确定所述第一灰度图像和所述第二灰度图像之间的差异指示移动对象。
10.根据权利要求9所述的车辆,其中所述一台或多台后置摄像机在所述后置摄像机的视场中具有所述车辆的车道间区域;
其中所述控制器进一步编程为:通过仅处理所述第一图像和所述第二图像内的所关注区域来将所述第一图像转换成所述第一灰度图像以及将所述第二图像转换成所述第二灰度图像,所关注区域包括所述车道间区域。
11.根据权利要求9所述的车辆,其中所述第一亮度级数至少为255,并且所述第二亮度级数为三。
12.根据权利要求9所述的车辆,其中所述控制器执行以下操作的其中一项:
(a)所述控制器进一步编程为:
接收所述第一图像和所述第二图像作为随着时间的推移的一系列图像的一部分;
其中所述第一图像自所述第二图像偏移0.3秒到0.35秒之间;以及
(b)所述控制器进一步编程为:
接收所述第一图像和所述第二图像作为随着时间的推移的一系列图像的一部分;
其中所述第一图像在所述系列中自所述第二图像偏移16帧到24帧之间。
13.根据权利要求9所述的车辆,其中所述控制器进一步编程为:
生成作为所述第一灰度图像的所关注区域和所述第二灰度图像的所关注区域之间的差异的差异图像;以及
如果所述差异图像的非零像素数超过阈值,则确定所述第一灰度图像和所述第二灰度图像指示移动对象。
14.根据权利要求9所述的车辆,其中所述控制器进一步编程为对于包括所述第一图像和所述第二图像的一系列图像进行以下操作:
将每幅图像转换成当前灰度图像;
通过比较所述当前灰度图像和所述一系列图像的先前图像的灰度图像来生成差异图像;
确定所述差异图像中的非零像素的量;
如果所述差异图像中的所述非零像素的量大于所述一系列图像中的先前图像的所述差异图像中的非零像素数,则确定所述第一灰度图像和所述第二灰度图像指示移动。
15.根据权利要求9所述的车辆,其中所述车辆的控制器进一步编程为:
如果所述第一灰度图像和所述第二灰度图像之间的所述差异指示快速移动对象,则执行以下操作的至少其中一项:
生成用户可感知的警告;以及
制止一次或多次变道。
CN201711144412.2A 2016-11-23 2017-11-17 钻车缝的摩托车的检测 Active CN108082042B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/360,856 2016-11-23
US15/360,856 US10311314B2 (en) 2016-11-23 2016-11-23 Detection of lane-splitting motorcycles

Publications (2)

Publication Number Publication Date
CN108082042A true CN108082042A (zh) 2018-05-29
CN108082042B CN108082042B (zh) 2023-01-24

Family

ID=60805499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711144412.2A Active CN108082042B (zh) 2016-11-23 2017-11-17 钻车缝的摩托车的检测

Country Status (6)

Country Link
US (1) US10311314B2 (zh)
CN (1) CN108082042B (zh)
DE (1) DE102017127493A1 (zh)
GB (1) GB2561639A (zh)
MX (1) MX2017014885A (zh)
RU (1) RU2017134493A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586331B1 (ko) * 2018-11-19 2023-10-06 현대자동차 주식회사 차선유지 성능 검사 시스템 및 그 방법
AU2019100431B4 (en) * 2019-04-24 2019-07-18 Brett, Jon MR Improved video-based rear-view mirror system for vehicles including motorcycles
CN116884236B (zh) * 2023-06-26 2024-04-16 中关村科学城城市大脑股份有限公司 交通流量采集设备和交通流量采集方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307136A (en) * 1991-10-22 1994-04-26 Fuji Jukogyo Kabushiki Kaisha Distance detection system for vehicles
US5731832A (en) * 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
CN103150543A (zh) * 2011-07-26 2013-06-12 哈曼(中国)投资有限公司 障碍物检测系统
US20140133736A1 (en) * 2012-11-09 2014-05-15 Taiwan Semiconductor Manufacturing Company, Ltd. System and method for defect analysis of a substrate

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
JPH0973529A (ja) 1995-07-05 1997-03-18 Suzuki Motor Corp 二輪車監視装置
JP2000020686A (ja) 1998-06-30 2000-01-21 Yazaki Corp 車両用後側方監視装置
US6184781B1 (en) 1999-02-02 2001-02-06 Intel Corporation Rear looking vision system
JP3760068B2 (ja) 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
JP3756452B2 (ja) 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
DE10301468B4 (de) 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
KR101078474B1 (ko) 2006-06-08 2011-10-31 후지쯔 가부시끼가이샤 오염 검출 장치
US7762704B2 (en) * 2008-11-19 2010-07-27 Bryter Technologies LLC Optimized distribution of light extraction from an edge lit light source
EP2578464B1 (en) 2011-10-06 2014-03-19 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
KR101326943B1 (ko) 2012-06-29 2013-11-11 엘지이노텍 주식회사 추월차량 경고 시스템 및 추월차량 경고 방법
US10055694B2 (en) 2012-08-07 2018-08-21 Hitachi, Ltd. Use-assisting tool for autonomous mobile device, operation management center, operation system, and autonomous mobile device
DE102013001332B4 (de) 2013-01-26 2017-08-10 Audi Ag Verfahren zur Erfassung des Verschmutzungsgrades eines Fahrzeugs
US9488982B2 (en) 2013-02-03 2016-11-08 Michael H Gurin Systems for a shared vehicle
JP5818857B2 (ja) 2013-10-24 2015-11-18 キヤノン株式会社 情報処理装置およびその制御方法
US10133927B2 (en) 2014-11-14 2018-11-20 Sony Corporation Method and system for processing video content
CA2985854C (en) 2015-04-23 2023-10-17 Bd Kiestra B.V. A method and system for automated microbial colony counting from streaked sample on plated media
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10040432B2 (en) 2016-01-26 2018-08-07 GM Global Technology Operations LLC Systems and methods for promoting cleanliness of a vehicle
KR101717613B1 (ko) * 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5307136A (en) * 1991-10-22 1994-04-26 Fuji Jukogyo Kabushiki Kaisha Distance detection system for vehicles
US5731832A (en) * 1996-11-05 1998-03-24 Prescient Systems Apparatus and method for detecting motion in a video signal
CN103150543A (zh) * 2011-07-26 2013-06-12 哈曼(中国)投资有限公司 障碍物检测系统
US20140133736A1 (en) * 2012-11-09 2014-05-15 Taiwan Semiconductor Manufacturing Company, Ltd. System and method for defect analysis of a substrate

Also Published As

Publication number Publication date
US10311314B2 (en) 2019-06-04
MX2017014885A (es) 2018-10-04
DE102017127493A1 (de) 2018-05-24
RU2017134493A (ru) 2019-04-05
CN108082042B (zh) 2023-01-24
GB2561639A (en) 2018-10-24
GB201719003D0 (en) 2018-01-03
US20180144200A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US11584379B2 (en) System and method for learning naturalistic driving behavior based on vehicle dynamic data
US11260872B2 (en) System and method for utilizing a temporal recurrent network for online action detection
US10902279B2 (en) Training saliency
US10068140B2 (en) System and method for estimating vehicular motion based on monocular video data
CN108388834A (zh) 利用循环神经网络和级联特征映射的对象检测
CN109624990B (zh) 用于基于关键帧的自主车辆操作的系统及计算机实现方法
CN108334081A (zh) 用于对象检测的循环深度卷积神经网络
US10521677B2 (en) Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
CN108345838A (zh) 利用模拟图像训练自动交通灯检测模型
US11370446B2 (en) System and method for learning and predicting naturalistic driving behavior
US11845464B2 (en) Driver behavior risk assessment and pedestrian awareness
US11587329B2 (en) Method and apparatus for predicting intent of vulnerable road users
WO2020226696A1 (en) System and method of generating a video dataset with varying fatigue levels by transfer learning
US11577757B2 (en) System and method for future forecasting using action priors
US11150656B2 (en) Autonomous vehicle decision making
CN108136958A (zh) 促进摩托车钻车缝
CN108082042A (zh) 钻车缝的摩托车的检测
US20210082283A1 (en) Systems and methods for providing future object localization
CN115376095A (zh) 用于在驾驶场景中完成联合风险定位和推理的系统和方法
US20220324490A1 (en) System and method for providing an rnn-based human trust model
Fekri et al. A Forward Collision Warning System Using Deep Reinforcement Learning
Rahman Implementation of ADAS and Autonomy on UNLV Campus
Sivasankar et al. Vehicle Door Safety System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant