CN107031624A - 钻车缝摩托车的检测 - Google Patents

钻车缝摩托车的检测 Download PDF

Info

Publication number
CN107031624A
CN107031624A CN201610901959.1A CN201610901959A CN107031624A CN 107031624 A CN107031624 A CN 107031624A CN 201610901959 A CN201610901959 A CN 201610901959A CN 107031624 A CN107031624 A CN 107031624A
Authority
CN
China
Prior art keywords
image
motorcycle
controller
audio streams
sound characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610901959.1A
Other languages
English (en)
Other versions
CN107031624B (zh
Inventor
吉内什·J·杰恩
哈珀丽特辛格·班瓦伊特
韩正圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107031624A publication Critical patent/CN107031624A/zh
Application granted granted Critical
Publication of CN107031624B publication Critical patent/CN107031624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种用于自主车辆的控制器接收来自一个或多个麦克风的音频流和来自一个或多个摄像机的一个或多个图像流。该音频流被处理以识别潜在对应于摩托车的声音特征。该视频流也同样被处理以识别具有对应于摩托车的运动和/或视觉属性的图像对象。将声音特征和图像对象相关联。如果识别出声音特征和图像对象的关联性，则潜在钻车缝摩托车可以被确定为接近。可以采取措施以避免与钻车缝摩托车碰撞，例如避免变道、发信令更长时间、或更加缓慢地执行变道。

Description

钻车缝摩托车的检测
技术领域
本发明涉及在自主车辆中执行障碍物避让。
背景技术
在像加利福尼亚州旧金山、英国伦敦之类的许多拥堵的市区，骑摩托车的人常常通过在车道之间行驶——即钻车缝(lane-splitting)——来超越车流中缓慢或停止的车辆。这是非常危险的驾驶行为，因为相邻车辆的驾驶员很难察觉到这样的行为，特别是当并道时。甚至对于可能已内置360度感测系统的未来的自主车辆，识别快速移动的对象——像以非常快的相对速度变道的摩托车——将是具有挑战性的。这种困难因此对整体感测程序组和算法呈现挑战。对象或车辆挡住感测系统是另外的问题。
本文所公开的系统和方法提供了用于感测钻车缝的骑摩托车的人的改进的方法。
发明内容
根据本发明，提供一种用于自主车辆的控制器，该控制器包含：
一个或多个处理设备，该一个或多个处理设备被编程以：
接收一个或多个图像流；
接收一个或多个音频流；
识别一个或多个图像流中的多个车辆图像；
识别一个或多个音频流中的多个声音特征；以及
通过将多个车辆图像与多个声音特征相关联来识别潜在钻车缝摩托车。
根据本发明的一个实施例，其中一个或多个处理设备被进一步编程以接收来自下列中的一个或多个的环境信息：一个或多个摄像机、雷达传感器、激光雷达传感器和声纳传感器。
根据本发明的一个实施例，其中一个或多个处理设备被进一步编程以：
响应于识别出潜在钻车缝摩托车，避免使自主车辆进行变道。
根据本发明的一个实施例，其中一个或多个处理设备被进一步编程以：
识别一个或多个音频流中的一个或多个声音特征，该一个或多个声音特征具有摩托车特有的声音模式；
识别多个车辆图像中的摩托车特有的图像模式；
尝试将一个或多个声音特征与一个或多个图像模式相关联；
如果一个或多个声音特征和一个或多个图像模式相关联，则增加潜在钻车缝摩托车是潜在障碍物的置信得分。
根据本发明的一个实施例，其中一个或多个处理设备被编程以通过将一个或多个声音特征和一个或多个图像模式输入到机器学习算法来尝试将一个或多个声音特征与一个或多个图像模式相关联。
根据本发明的一个实施例，其中一个或多个处理设备被进一步编程为识别多个车辆图像中的摩托车特有的图像模式包含识别多个车辆图像中呈现摩托车特有的运动的对象。
根据本发明的一个实施例，其中一个或多个处理设备被进一步编程以通过对一个或多个音频流进行滤波以获得包括一个或多个声音特征的滤波信号来识别一个或多个声音特征。
根据本发明的一个实施例，进一步包含连接到其的麦克风阵列，该麦克风阵列被配置为生成一个或多个音频流。
根据本发明的一个实施例，该控制器进一步包含连接的至少一个麦克风，至少一个麦克风被配置为生成一个或多个音频流，至少一个麦克风位于自主车辆的车舱内。
根据本发明的一个实施例，该控制器进一步包含一个或多个摄像机，该一个或多个摄像机被配置为生成一个或多个图像流，一个或多个摄像机被连接到自主车辆并且相对于自主车辆向后定向。
根据本发明，提供一种防撞方法，该防撞方法包含：
由自主车辆的控制器接收一个或多个图像流；
由控制器接收一个或多个音频流；
由控制器识别一个或多个图像流中的多个车辆图像；
由控制器识别一个或多个音频流中的多个声音特征；以及
通过将多个车辆图像与多个声音特征相关联来由控制器识别潜在钻车缝摩托车。
根据本发明的一个实施例，该方法进一步包含：
由控制器识别多个车辆图像中的一组潜在障碍物，该组潜在障碍物包括潜在钻车缝摩托车；
由控制器评估自主车辆与该组潜在障碍物之间的可能的碰撞；以及
由控制器激活自主车辆的转向致动器、加速器致动器、制动致动器中的至少一个以有效地避免与该组潜在障碍物碰撞。
根据本发明的一个实施例，该方法进一步包含：
响应于识别出潜在钻车缝摩托车，由控制器避免使自主车辆进行变道。
根据本发明的一个实施例，该方法进一步包含：
(a)由控制器识别一个或多个音频流中的一个或多个声音特征，一个或多个声音特征具有摩托车特有的声音模式；
(b)由控制器识别多个车辆图像中的摩托车特有的图像模式；
(c)由控制器尝试将一个或多个声音特征与一个或多个图像模式相关联；
响应于(c)的尝试成功，由控制器增加潜在钻车缝摩托车是潜在障碍物的置信得分。
根据本发明的一个实施例，其中尝试将一个或多个声音特征与一个或多个图像模式相关联包含将一个或多个声音特征和一个或多个图像模式输入到机器学习算法。
根据本发明的一个实施例，其中识别多个车辆图像中的摩托车特有的图像模式包含识别多个车辆图像中呈现摩托车特有的运动的对象。
根据本发明的一个实施例，其中识别一个或多个声音特征包含对一个或多个音频流进行滤波以获得包括一个或多个声音特征的滤波信号。
根据本发明的一个实施例，其中接收一个或多个音频流包含接收来自麦克风阵列的一个或多个音频流。
根据本发明的一个实施例，其中接收一个或多个音频流包含接收来自连接的至少一个麦克风的一个或多个音频流，至少一个麦克风位于自主车辆的车舱内。
根据本发明的一个实施例，其中接收一个或多个图像流包含接收来自一个或多个摄像机的一个或多个图像流，一个或多个摄像机被连接到自主车辆并且相对于自主车辆向后定向。
附图说明
为了使本发明的优点将容易被理解，上面简要描述的本发明的更具体的说明将通过参考在附图中示出的具体实施例来呈现。要理解的是，这些附图仅描绘本发明的典型实施例，并且因此不被认为是对其范围的限制，本发明将通过使用附图来描述和说明其附加特征和细节，在附图中：
图1是用于实施本发明的实施例的系统的示意性框图；
图2是适用于实施根据本发明的实施例的方法的示例计算设备的示意性框图；
图3是示出包括钻车缝的骑摩托车的人的车流中的自主车辆的示意图；以及
图4是根据本发明的实施例用于检测钻车缝的骑摩托车的人的方法的过程流程图。
具体实施方式
将容易理解的是，本发明的部件，如本文的附图中总体上描述和示出的，可以被设置和设计成各种不同的配置。因此，本发明的实施例的以下更详细的说明，如附图中所表示的，并非意在和权利要求一样限制本发明的范围，而仅仅是根据本发明的当前预期的实施例的某些示例的代表。通过参考附图，当前描述的实施例将被最好地理解，附图中相同的部件始终由相同的附图标记来指代。
根据本发明的实施例可以被体现为装置、方法或计算机程序产品。因此，本发明可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)、或组合所有总体上在此可以被称为“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本发明可以采取体现在任何有形表达介质中的计算机程序产品的形式，任何有形表达介质具有体现在介质中的计算机可用程序代码。
一个或多个计算机可用或计算机可读介质的任意组合可以被利用。例如，计算机可读介质可以包括下列中的一个或多个：便携式计算机磁盘、硬盘、随机存取存储器(RAM)设备、只读存储器(ROM)设备、可擦除可编程只读存储器(EPROM或闪速存储器)设备、便携式光盘只读存储器(CDROM)、光存储设备和磁存储设备。在所选择的实施例中，计算机可读介质可以包含任何非易失性介质，非易失性介质可以包含、存储、传达、传播或运送指令执行系统、装置或设备使用或与其相关的程序。
用于执行本发明的操作的计算机程序代码可以被写成一个或多个编程语言的任意组合，包括诸如Java、Smalltalk、C++或诸如此类的面向对象的程序设计语言和诸如“C”编程语言或类似的编程语言的常规程序化编程语言。程序代码可以完全在计算机系统上作为独立的软件包、在独立的硬件单元上、部分在与计算机隔开一定距离的远程计算机上、或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络——包括局域网(LAN)或广域网(WAN)——被连接到计算机，或可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
本发明以下参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程示意图和/或框图进行描述。应当理解的是，流程示意图和/或框图中的每一个框以及流程示意图和/或框图中的框的组合可以由计算机程序指令或代码来实施。这些计算机程序指令可以被提供给通用计算机、专用计算机或者其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的手段。
这些计算机程序指令也可以被存储在非易失性计算机可读介质中，非易失性计算机可读介质可以指导计算机或其它可编程数据处理装置以特定方式起作用，使得存储在计算机可读介质中的指令产生制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令手段。
计算机程序指令也可以被加载到计算机或其它可编程数据处理装置上以使一系列操作步骤在计算机或其他可编程装置上执行以产生计算机实现的过程以便在计算机或其它可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的过程。
参照图1，控制器102可以被容纳在车辆内。车辆可以包括本领域中已知的任何车辆。车辆可以具有本领域中已知的任何车辆的所有结构和特征，包括车轮、连接到车轮的传动系统、连接到传动系统的发动机、转向系统、制动系统、以及被包括在车辆中的本领域中已知的其它系统。
如本文更详细地讨论的，控制器102可以执行自主导航和防撞(collisionavoidance)。特别是，图像数据和音频数据可以被分析以识别可能钻车缝的摩托车，如以下参照图3和4更详细地讨论的。
控制器102可以接收来自一个或多个成像设备104的一个或多个图像流(imagestream)。例如，一个或多个摄像机可以被安装到车辆上并且输出由控制器102接收的图像流。控制器102可以接收来自一个或多个麦克风106的一个或多个音频流(audio stream)。例如，一个或多个麦克风或麦克风阵列可以被安装到车辆上并且输出由控制器102接收的音频流。麦克风106可以包括定向麦克风(directional microphone)，该定向麦克风具有随角度变化的灵敏度。
控制器102可以执行防撞模块108，防撞模块108接收图像流和音频流并且识别可能的障碍物并且采取措施以避开它们。在本文所公开的实施例中，仅图像和音频数据被用于执行防撞。然而，检测障碍物的其他传感器也可以被使用，例如雷达(RADAR)、激光雷达(LIDAR)、声纳(SONAR)以及诸如此类。
防撞模块108可以包括钻车缝模块110a。钻车缝模块110a可以包括音频预处理模块112a，该音频预处理模块112a被编程以处理一个或多个音频流以便识别可能对应于摩托车的特征。钻车缝模块110a可以包括图像预处理模块112b，该图像预处理模块112b被编程以处理一个或多个图像流以便识别可能对应于摩托车、骑摩托车的人或摩托车特有的行驶模式的图像、动作、行为或其他视觉线索。钻车缝模块110a可以进一步包括关联模块112c，关联模块112c接收由音频预处理模块112a识别的音频特征和由图像预处理模块112b识别的视觉线索，并且估计下列中的部分或全部：接近自主车辆的骑摩托车的人的存在、骑摩托车的人是否钻车缝、以及骑摩托车的人的位置。钻车缝模块110a的模块112a-112c的功能以下参照图4的方法400进行更详细地描述。
防撞模块108可以进一步包括障碍物识别模块110b、碰撞预测模块110c和判定模块110d。障碍物识别模块110b分析一个或多个图像流并且识别潜在障碍物，包括人、动物、车辆、建筑物、路缘以及其它对象和结构。特别是，障碍物识别模块110b可以识别图像流中的车辆图像。
碰撞预测模块110c基于障碍物当前的轨迹或当前预期的路径来预测哪些障碍物图像有可能与车辆碰撞。判定模块110d可以做出停车、加速、转弯等决定，以便避开障碍物。碰撞预测模块110c预测潜在碰撞的方式和判定模块110d采取措施以避免潜在碰撞的方式可以是根据自主车辆的领域中已知的任何方法或系统。
判定模块110d可以通过致动控制车辆的方向和速度的一个或多个致动器114来控制车辆的轨迹。例如，致动器114可以包括转向致动器116a、加速器致动器116b和制动致动器116c。致动器116a-116c的配置可以是根据自主车辆的领域中已知的这样的致动器的任何实施方式。
图2是示出示例计算设备200的框图。计算设备200可以被用于执行各种程序，例如本文所讨论的那些。控制器102可以具有计算设备200的部分或全部属性。
计算设备200包括一个或多个处理器202、一个或多个存储器设备204、一个或多个接口206、一个或多个大容量存储设备208、一个或多个输入/输出(I/O)设备210和显示设备230，所有这些都连接到总线212。处理器202包括一个或多个处理器或控制器，一个或多个处理器或控制器执行存储在存储器设备204和/或大容量存储设备208中的指令。处理器202还可以包括各种类型的计算机可读介质，例如高速缓冲存储器。
存储器设备204包括各种计算机可读介质，例如易失性存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216)。存储器设备204还可以包括可重写ROM，例如闪速存储器。
大容量存储设备208包括各种计算机可读介质，例如磁带、磁盘、光盘、固态存储器(例如，闪速存储器)等等。如图2所示，特定的大容量存储设备是硬盘驱动器224。各种驱动器还可以被包括在大容量存储设备208中以能够从各种计算机可读介质中读取和/或写入到各种计算机可读介质中。大容量存储设备208包括可移动介质226和/或不可移动介质。
I/O设备210包括允许数据和/或其它信息被输入到计算设备200或从计算设备200中检索的各种设备。示例I/O设备210包括光标控制设备、键盘(keyboard)、小键盘(keypad)、麦克风、监视器或其它显示设备、扬声器、网络接口卡、调制解调器、透镜、电荷耦合器件(CCD)或其他图像捕获设备以及诸如此类。
显示设备230包括能够将信息显示给计算设备200的一个或多个用户的任何类型的设备。显示设备230的示例包括监视器、显示终端、视频投影设备以及诸如此类。
接口206包括允许计算设备200与其他系统、设备或计算环境进行交互的各种接口。示例接口206包括任意数目的不同的网络接口220，例如与局域网(LAN)、广域网(WAN)、无线网络以及互联网的接口。其他接口包括用户接口218和外围设备接口222。接口206还可以包括一个或多个外围接口，例如用于定点设备(鼠标、轨迹板等)、键盘以及诸如此类的接口。
总线212允许处理器202、存储器设备204、接口206、大容量存储设备208、I/O设备210以及显示设备230彼此通信以及与连接到总线212的其他设备或部件通信。总线212表示若干类型的总线结构中的一个或多个，例如系统总线、外围部件互连(PCI)总线、IEEE 1394总线、通用串行总线(USB)等等。
为了说明的目的，程序和其他可执行程序部件在本文中被示为离散的框，然而可以理解的是，这样的程序和部件可以在不同的时间驻留在计算设备200的不同的存储部件中，并且由处理器202执行。可替代地，本文所描述的系统和程序可以被实施为硬件、或硬件、软件和/或固件的组合。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文所描述的系统和程序中的一个或多个。
现在转向图3，多车道车流中的车辆300a-300f可以在车道之间的分界线302的任一侧上的车道中行驶。骑摩托车的人304可能在车道之间——例如，在分界线302上或分界线302周围——行驶。骑摩托车的人304通常将比其他车辆300a-300f更快地行驶并且几乎没有提供反应的时间。此外，在车辆300a-300f缓慢移动的情况下，它们之间的间隙可能很小并且每一辆车辆后方的能见度可能会由此受到限制。
在图3中，车辆300a包括容纳在其中的控制器102、以及安装在控制器102上的成像设备104和麦克风106。如图所示，成像设备104可以包括后置摄像机(rear facing camera)104a，例如常规备份摄像机。前置摄像机(forward facing camera)104b可以被安装到车辆300a上。示出的实施例进一步包括安装到车辆300a的两侧的侧向摄像机104c、104d，例如靠近侧视镜(side mirror)的前门或被安装到侧视镜本身。侧向摄像机104c、104d可以具有相对于车辆300a的纵向轴线(从前到后)成角度的光轴线以便提供更广阔的视野。
麦克风106可以被安装到车辆的后部。所示的每一个麦克风106可以是单个的麦克风或麦克风阵列。麦克风106可以是对从有限的角度范围内发出的声音敏感的定向麦克风。示出的麦克风106位于车辆300a的相对侧以便能够估计检测到的声音发出的方向。在一些实施例中，麦克风106可以包括位于车辆的车舱内的麦克风，例如被用于检测语音命令或启用免提电话呼叫的麦克风。
参照图4，所示的方法400可以由控制器102执行以便提供相对于骑摩托车的人的增强的防撞。例如，所示的方法400可以由其防撞模块108和钻车缝模块110a来执行。
方法400可以包括接收音频数据402，例如以来自一个或多个麦克风106的音频流的形式。音频流可以是模拟或数字流，并且可以被滤波或以其他方式处理以去除噪音。方法400可以包括接收图像数据404，例如以来自一个或多个摄像机104的图像流的形式。图像流可以是以根据本领域中已知的任何视频编码和传输协议的视频信号的形式。可替代地，每一个图像流可以仅仅是按顺序接收到的根据本领域中已知的任何图像格式的一系列单个图像，它们是由摄像机104之一拍摄到的。
方法400可以包括识别音频数据中的特征406。特别是，音频流可以在时域(timedomain)或频域(frequency domain)内被滤波、分析、和以其他方式处理以识别或突出有可能由摩托车产生的摩托车特有的音频特征。音频特征可以是包括有可能由摩托车产生的声音——特别是发动机噪音——的短段或长段音频信号。识别音频信号中的特征406可以包括在时域和频域中的一个或两个内对音频信号进行滤波，使得滤波的输出为有可能由摩托车发出的声音。例如，摩托车(和摩托车发动机)可以具有特征频带。因此，音频流可以被带通滤波或以其它方式滤波，使得仅保留在该频带范围内的声音。在许多情况下，摩托车的声音将连同来自其他车辆的发动机和道路噪音一起被检测到，导致低信噪比(SNR)。然而，在给定摩托车的与众不同的音频特性的情况下，对应于摩托车的音频特征可以在步骤406中被分离出来。
方法400可以进一步包括识别图像数据中的对象——特别是车辆——408。例如，识别对象408可以包括执行图像识别以识别摩托车或骑摩托车的人的图像。识别对象408可以包括在时域和空间域(spatial domain)中的一个或两个内对图像流执行视频滤波。例如，图像流可以被分析以识别快速移动的对象。特别是，当钻车缝发生时，车辆可以以与其他四(或更多)轮车辆相同的速度——即，缓慢地——移动。在这样的情况下，骑摩托车的人很可能进行钻车缝并且将有可能比其他车辆更快地行驶。因此，图像流被分析以识别快速移动的对象。例如，识别对象408可以包括识别相对于车辆300a以超过某个阈值的速度移动的一组对象。识别对象408可以包括识别在特定方向——即，平行于车辆300a的纵向轴线(从前到后)——上以超过某个阈值的相对速度移动的对象。
方法400可以进一步包括将在步骤406、408识别的音频特征和图像对象相关联410。例如，在多个音频流中识别的特征可以被分析以确定特征的来源的方向。例如，相同的特征可以在不同时间和强度通过多个麦克风来检测。在同一时间从同一来源发出的多个音频流中的特征可以通过以下来确定：确定特征是高度相关联的，例如，两个特征的相关性函数超过某个阈值。方向可以从检测到高度相关的特征的麦克风106之间的已知间隔距离来确定。
特征的来源的方向可以被关联到在步骤408中识别的对象的位置，即，位于距特征的方向某个阈值角度区域内的对象可以被认为是与该特征相关联。在步骤410的关联可以包括执行时间关联。例如，可以确定的是，检测到音频特征的时间段是否对应于检测到找到图像对象的图像的时间段。因此，将音频特征和图像对象相关联可以包括识别时间和空间相关联中的一个或两个的成对音频特征和图像对象。例如，时间相关联的音频特征和图像对象可以具有随着它们之间的空间相关性的程度而增加的得分，即，与音频特征的来源的方向的接近程度对应于图像对象的位置。在得分超过某个阈值的情况下，音频特征和图像对象可以被认为是相关联的并且因此很可能对应于摩托车。
在一些实施例中，将音频特征和图像对象相关联410可以使用机器学习算法来执行。例如，模型可以通过由麦克风106和摄像机104的阵列检测来自具有类似于车辆300a的相对位置的摩托车的声音来训练，其中摩托车的速度和位置是已知的。该模型然后可以使用机器学习技术以将使用麦克风106和摄像机104检测到的特征和图像对象与摩托车的存在和/或摩托车的位置联系起来而进行训练。
将音频特征和图像对象相关联然后可以包括将它们输入到模型中，模型随后将输出音频特征和图像对象是否对应于摩托车和/或对应于音频特征和图像对象的摩托车的可能位置。
如果发现关联步骤410指示摩托车很接近412，则将可能钻车缝摩托车加入到一组潜在障碍物中414。该组潜在障碍物可以包括使用成像设备104或任何其它传感器使用本领域中已知的任何算法检测到的其他障碍物。
方法400可以包括相对于障碍物组执行防撞416，该障碍物组可以包括根据步骤406-412所识别的可能的钻车缝摩托车。在障碍物组包括可能钻车缝摩托车的情况下，执行防撞可以包括执行更少的变道、在变道之前发信令更长时间、更缓慢地执行变道、或以不同于当没有检测到可能钻车缝摩托车时的其他方式行驶。
在不脱离其精神或本质特征的前提下，本发明可以被体现为其它特定形式。所描述的实施例在所有方面都被认为仅是说明性的，而不是限制性的。因此，本发明的范围由所附权利要求而不是由前面描述来指示。在权利要求的含义和等效范围内的所有变化都被包括在其范围之内。

Claims (20)

1.一种用于自主车辆的控制器，所述控制器包含：
一个或多个处理设备，所述一个或多个处理设备被编程以：
接收一个或多个图像流；
接收一个或多个音频流；
识别所述一个或多个图像流中的多个车辆图像；
识别所述一个或多个音频流中的多个声音特征；以及
通过将所述多个车辆图像与所述多个声音特征相关联来识别潜在钻车缝摩托车。
2.根据权利要求1所述的控制器，其中所述一个或多个处理设备被进一步编程以接收来自下列中的一个或多个的环境信息：一个或多个摄像机、雷达传感器、激光雷达传感器和声纳传感器。
3.根据权利要求2所述的控制器，其中所述一个或多个处理设备被进一步编程以：
响应于识别出所述潜在钻车缝摩托车，避免使所述自主车辆进行变道。
4.根据权利要求1所述的控制器，其中所述一个或多个处理设备被进一步编程以：
识别所述一个或多个音频流中的一个或多个声音特征，所述一个或多个声音特征具有摩托车特有的声音模式；
识别所述多个车辆图像中的摩托车特有的图像模式；
尝试将所述一个或多个声音特征与所述一个或多个图像模式相关联；
如果所述一个或多个声音特征和所述一个或多个图像模式相关联，则增加所述潜在钻车缝摩托车是潜在障碍物的置信得分。
5.根据权利要求4所述的控制器，其中所述一个或多个处理设备被编程以通过将所述一个或多个声音特征和所述一个或多个图像模式输入到机器学习算法来尝试将所述一个或多个声音特征与所述一个或多个图像模式相关联。
6.根据权利要求5所述的控制器，其中所述一个或多个处理设备被进一步编程以识别所述多个车辆图像中的摩托车特有的图像模式包含识别所述多个车辆图像中呈现摩托车特有的运动的对象。
7.根据权利要求5所述的控制器，其中所述一个或多个处理设备被进一步编程以通过对所述一个或多个音频流进行滤波以获得包括所述一个或多个声音特征的滤波信号来识别所述一个或多个声音特征。
8.根据权利要求1所述的控制器，进一步包含连接到其的麦克风阵列，所述麦克风阵列被配置为生成所述一个或多个音频流。
9.根据权利要求1所述的控制器，进一步包含连接的至少一个麦克风，所述至少一个麦克风被配置为生成所述一个或多个音频流，所述至少一个麦克风位于所述自主车辆的车舱内。
10.根据权利要求1所述的控制器，进一步包含一个或多个摄像机，所述一个或多个摄像机被配置为生成所述一个或多个图像流，所述一个或多个摄像机被连接到所述自主车辆并且相对于所述自主车辆向后定向。
11.一种防撞方法，所述防撞方法包含：
由自主车辆的控制器接收一个或多个图像流；
由所述控制器接收一个或多个音频流；
由所述控制器识别所述一个或多个图像流中的多个车辆图像；
由所述控制器识别所述一个或多个音频流中的多个声音特征；以及
通过将所述多个车辆图像与所述多个声音特征相关联来由所述控制器识别潜在钻车缝摩托车。
12.根据权利要求11所述的方法，进一步包含：
由所述控制器识别所述多个车辆图像中的一组潜在障碍物，该组潜在障碍物包括所述潜在钻车缝摩托车；
由所述控制器评估所述自主车辆与该组潜在障碍物之间的可能的碰撞；以及
由所述控制器激活所述自主车辆的转向致动器、加速器致动器、制动致动器中的至少一个以有效地避免与该组潜在障碍物碰撞。
13.根据权利要求12所述的方法，进一步包含：
响应于识别出所述潜在钻车缝摩托车，由所述控制器避免使所述自主车辆进行变道。
14.根据权利要求11所述的方法，进一步包含：
(a)由所述控制器识别所述一个或多个音频流中的一个或多个声音特征，所述一个或多个声音特征具有摩托车特有的声音模式；
(b)由所述控制器识别所述多个车辆图像中的摩托车特有的图像模式；
(c)由所述控制器尝试将所述一个或多个声音特征与所述一个或多个图像模式相关联；
响应于(c)的所述尝试成功，由所述控制器增加所述潜在钻车缝摩托车是潜在障碍物的置信得分。
15.根据权利要求14所述的方法，其中尝试将所述一个或多个声音特征与所述一个或多个图像模式相关联包含将所述一个或多个声音特征和所述一个或多个图像模式输入到机器学习算法。
16.根据权利要求15所述的方法，其中识别所述多个车辆图像中的摩托车特有的图像模式包含识别所述多个车辆图像中呈现摩托车特有的运动的对象。
17.根据权利要求15所述的方法，其中识别所述一个或多个声音特征包含对所述一个或多个音频流进行滤波以获得包括所述一个或多个声音特征的滤波信号。
18.根据权利要求11所述的方法，其中接收所述一个或多个音频流包含接收来自麦克风阵列的所述一个或多个音频流。
19.根据权利要求11所述的方法，其中接收所述一个或多个音频流包含接收来自连接的至少一个麦克风的所述一个或多个音频流，所述至少一个麦克风位于所述自主车辆的车舱内。
20.根据权利要求11所述的方法，其中接收所述一个或多个图像流包含接收来自一个或多个摄像机的所述一个或多个图像流，所述一个或多个摄像机被连接到所述自主车辆并且相对于所述自主车辆向后定向。
CN201610901959.1A 2015-10-22 2016-10-17 钻车缝摩托车的检测 Active CN107031624B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/920,369 US9598076B1 (en) 2015-10-22 2015-10-22 Detection of lane-splitting motorcycles
US14/920,369 2015-10-22

Publications (2)

Publication Number Publication Date
CN107031624A true CN107031624A (zh) 2017-08-11
CN107031624B CN107031624B (zh) 2021-10-15

Family

ID=57738231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610901959.1A Active CN107031624B (zh) 2015-10-22 2016-10-17 钻车缝摩托车的检测

Country Status (6)

Country Link
US (1) US9598076B1 (zh)
CN (1) CN107031624B (zh)
DE (1) DE102016119138A1 (zh)
GB (1) GB2545312A (zh)
MX (1) MX2016013846A (zh)
RU (1) RU2016140343A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472973A (zh) * 2018-03-19 2019-03-15 国网浙江桐乡市供电有限公司 一种基于声音辨识的实时交通展示方法及系统
CN111542463A (zh) * 2017-12-28 2020-08-14 株式会社电装 驾驶支援装置
US11718138B2 (en) 2020-01-16 2023-08-08 Honda Motor Co., Ltd. Motorcycle

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698404B2 (en) * 2015-10-20 2020-06-30 Ford Global Technologies, Llc Facilitating lane-splitting by motorcycles
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
DE112016006479T5 (de) * 2016-03-21 2018-11-08 Ford Global Technologies, Llc Verbreitung von warnungen bezüglich verkehrsereignissen
GB2567600B (en) 2016-08-29 2022-05-04 Groove X Inc Autonomously acting robot that recognizes direction of sound source
DE102017206856A1 (de) * 2017-04-24 2018-10-25 Osram Gmbh Einrichtung, Fahrzeug und Verfahren
CN107607931B (zh) * 2017-08-07 2020-06-05 哈尔滨工业大学 一种激光雷达回波图像处理方法
US11758111B2 (en) * 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
US11106211B2 (en) * 2018-04-02 2021-08-31 Sony Group Corporation Vision-based sample-efficient reinforcement learning framework for autonomous driving
US10752242B2 (en) * 2018-11-19 2020-08-25 GM Global Technology Operations LLC System and method for control of an autonomous vehicle
CN110155064B (zh) * 2019-04-22 2020-12-18 江苏大学 基于声音信号的特种车辆行驶车道识别与自车变道决策系统及方法
US20210072371A1 (en) * 2019-09-11 2021-03-11 Continental Automotive Systems, Inc. Audio recognition of traffic participants
CN112339760A (zh) * 2020-11-06 2021-02-09 广州小鹏汽车科技有限公司 车辆行驶控制方法、控制装置、车辆和可读存储介质
DE102021211515A1 (de) 2021-10-13 2023-04-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
US20230123912A1 (en) * 2021-10-14 2023-04-20 Tusimple, Inc. Systems and methods for operating an autonomous vehicle
CN114926422B (zh) * 2022-05-11 2023-07-04 西南交通大学 一种上下车客流量检测方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479525A (zh) * 2002-06-27 2004-03-03 全向摄像机与话筒阵列的集成设计
CN1764828A (zh) * 2003-01-30 2006-04-26 应用计算机科学促进协会 摄录物体声学图像的方法和装置以及相应的计算机程序和相应的计算机可读存储介质
CN101479728A (zh) * 2006-06-28 2009-07-08 微软公司 视觉以及多维搜索
CN101501564A (zh) * 2006-08-03 2009-08-05 国际商业机器公司 具有组合视频和音频识别的视频监视系统和方法
CN102682765A (zh) * 2012-04-27 2012-09-19 中咨泰克交通工程集团有限公司 高速公路音频车辆检测装置及其方法
CN103253263A (zh) * 2012-02-17 2013-08-21 现代摩比斯株式会社 障碍物检测及碰撞报警装置及其方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
CN103914698A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种基于视频的道路障碍物识别分类方法
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN204196777U (zh) * 2014-10-30 2015-03-11 长城汽车股份有限公司 驾驶路况识别控制系统及车辆
CN104620126A (zh) * 2012-09-12 2015-05-13 卢卡斯汽车股份有限公司 用于操作机动车辆用环境监控系统的方法
CN204368073U (zh) * 2015-01-15 2015-06-03 山东理工大学 一种汽车防追尾及防刮擦装置
CN104916289A (zh) * 2015-06-12 2015-09-16 哈尔滨工业大学 行车噪声环境下快速声学事件的检测方法
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209221B2 (en) 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
JPH08202999A (ja) 1995-01-25 1996-08-09 Honda Motor Co Ltd 車両用周囲状況監視装置
JP3990836B2 (ja) 1999-03-01 2007-10-17 矢崎総業株式会社 車両用周辺監視装置
JP2001233150A (ja) 2000-02-22 2001-08-28 Yazaki Corp 車両用危険判断装置及び、車両用周辺監視装置
JP5310760B2 (ja) 2011-03-04 2013-10-09 トヨタ自動車株式会社 接近車両検出装置
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
US9368028B2 (en) * 2011-12-01 2016-06-14 Microsoft Technology Licensing, Llc Determining threats based on information from road-based devices in a transportation-related context
US9179232B2 (en) * 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US9207095B2 (en) * 2013-03-15 2015-12-08 Harman International Industries, Incorporated Integrated navigation and collision avoidance systems
US9020696B2 (en) * 2013-06-25 2015-04-28 Create Electronic Optical Co., Ltd. Event data recorder having traffic monitoring and warning function within safe range
US9452754B2 (en) * 2013-12-04 2016-09-27 Mobileye Vision Technologies Ltd. Systems and methods for detecting and responding to traffic laterally encroaching upon a vehicle

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479525A (zh) * 2002-06-27 2004-03-03 全向摄像机与话筒阵列的集成设计
CN1764828A (zh) * 2003-01-30 2006-04-26 应用计算机科学促进协会 摄录物体声学图像的方法和装置以及相应的计算机程序和相应的计算机可读存储介质
CN101479728A (zh) * 2006-06-28 2009-07-08 微软公司 视觉以及多维搜索
CN101501564A (zh) * 2006-08-03 2009-08-05 国际商业机器公司 具有组合视频和音频识别的视频监视系统和方法
CN103253263A (zh) * 2012-02-17 2013-08-21 现代摩比斯株式会社 障碍物检测及碰撞报警装置及其方法
CN102682765A (zh) * 2012-04-27 2012-09-19 中咨泰克交通工程集团有限公司 高速公路音频车辆检测装置及其方法
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
CN104620126A (zh) * 2012-09-12 2015-05-13 卢卡斯汽车股份有限公司 用于操作机动车辆用环境监控系统的方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN103914698A (zh) * 2014-03-27 2014-07-09 北京科技大学 一种基于视频的道路障碍物识别分类方法
CN204196777U (zh) * 2014-10-30 2015-03-11 长城汽车股份有限公司 驾驶路况识别控制系统及车辆
CN104361276A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种多模态生物特征身份认证方法及系统
CN204368073U (zh) * 2015-01-15 2015-06-03 山东理工大学 一种汽车防追尾及防刮擦装置
CN104916289A (zh) * 2015-06-12 2015-09-16 哈尔滨工业大学 行车噪声环境下快速声学事件的检测方法
CN104951775A (zh) * 2015-07-15 2015-09-30 攀钢集团攀枝花钢钒有限公司 基于视频技术的铁路道口防护区域安全智能识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111542463A (zh) * 2017-12-28 2020-08-14 株式会社电装 驾驶支援装置
CN109472973A (zh) * 2018-03-19 2019-03-15 国网浙江桐乡市供电有限公司 一种基于声音辨识的实时交通展示方法及系统
CN109472973B (zh) * 2018-03-19 2021-01-19 国网浙江桐乡市供电有限公司 一种基于声音辨识的实时交通展示方法
US11718138B2 (en) 2020-01-16 2023-08-08 Honda Motor Co., Ltd. Motorcycle

Also Published As

Publication number Publication date
MX2016013846A (es) 2017-04-21
US9598076B1 (en) 2017-03-21
DE102016119138A1 (de) 2017-04-27
GB2545312A (en) 2017-06-14
CN107031624B (zh) 2021-10-15
GB201617843D0 (en) 2016-12-07
RU2016140343A (ru) 2018-04-13

Similar Documents

Publication Publication Date Title
CN107031624A (zh) 钻车缝摩托车的检测
JP6724986B2 (ja) 自動運転車のためのホーンの適応検出および適用のための方法およびシステム
CN107031628B (zh) 使用听觉数据的碰撞规避
KR102027646B1 (ko) 트래픽 사운드 데이터를 처리하여 운전자 보조를 제공하기 위한 시스템 및 방법
CN107031622B (zh) 用于碰撞避免的训练算法
US9996080B2 (en) Collision avoidance using auditory data
US20180272992A1 (en) Systems and methods for surveillance of a vehicle using camera images
CN103309356B (zh) 车载机器人
CN108345838A (zh) 利用模拟图像训练自动交通灯检测模型
CN103249626B (zh) 用于辅助车辆的驾驶员的方法
JP6741582B2 (ja) 車両の事故データメモリーへのカメラの画像データを保存するための方法
CN104875681A (zh) 一种基于应用场景进行车载摄像头动态控制的方法
CN108136958A (zh) 促进摩托车钻车缝
US9607230B2 (en) Mobile object control apparatus and target object detecting apparatus
US20190228305A1 (en) Vehicle system for identifying and localizing non-automobile road users by means of sound
CN108073893A (zh) 使用距离数据检测植物
JP2006295676A (ja) 移動体用撮像装置
CN113799785A (zh) 用于驾驶员和乘客的车载声学监控系统
CN112498341B (zh) 基于路况的紧急制动方法、装置及计算机可读存储介质
JP5013175B2 (ja) 走行制御装置および方法、プログラム、並びに記録媒体
US20230007914A1 (en) Safety device and method for avoidance of dooring injuries
US11180080B2 (en) Door opening aid systems and methods
WO2019123570A1 (ja) 駐車位置決定装置及び駐車位置決定プログラム
JP7487460B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラム
US20230162609A1 (en) Reporting device, vehicle, and reporting control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant