CN104620259A - 使用音频/视觉线索的车辆安全系统 - Google Patents

使用音频/视觉线索的车辆安全系统 Download PDF

Info

Publication number
CN104620259A
CN104620259A CN201380047098.XA CN201380047098A CN104620259A CN 104620259 A CN104620259 A CN 104620259A CN 201380047098 A CN201380047098 A CN 201380047098A CN 104620259 A CN104620259 A CN 104620259A
Authority
CN
China
Prior art keywords
data
audio frequency
operate
module
visual cues
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380047098.XA
Other languages
English (en)
Other versions
CN104620259B (zh
Inventor
A.巴卢
M.马洛特拉
R.拉孔迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Ltd
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104620259A publication Critical patent/CN104620259A/zh
Application granted granted Critical
Publication of CN104620259B publication Critical patent/CN104620259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/0406Accessories for helmets
    • A42B3/042Optical devices
    • A42B3/0426Rear view devices or the like

Abstract

一种系统可包括一个或多个数据模块,其可操作以接收、处理和传输与来自用户的周围事物的一个或多个音频和/或视觉线索相关联的数据。所述系统还可包括一个或多个相机以及一个或多个麦克风,其通信地耦合至所述一个或多个数据模块,其中所述一个或多个相机以及所述一个或多个麦克风可操作以:分别记录所述一个或多个音频和/或视觉线索;以及分别将与所述一个或多个音频和/或视觉线索相关联的所述数据传输至所述一个或多个数据模块。而且,所述系统可包括一个或多个扬声器,其由从所述一个或多个数据模块接收的音频信号驱动。

Description

使用音频/视觉线索的车辆安全系统
技术领域
本发明涉及车辆安全系统,包含使用音频/视觉线索的摩托车安全系统
发明背景
在美国,每年可存在数百万起车辆事故。这些事故中的几万起可以是致命的。这些致命的事故中的多数是摩托车事故,其比不涉及摩托车的事故具有更大的致命率。
发明概要
一种系统可包括一个或多个数据模块,其可操作以接收、处理和传输与来自用户的周围事物的一个或多个音频和/或视觉线索相关联的数据。所述系统还可包括一个或多个相机以及一个或多个麦克风,其通信地耦合至所述一个或多个数据模块。所述一个或多个相机以及所述一个或多个麦克风可操作以:分别记录所述一个或多个音频和/或视觉线索;以及分别将与所述一个或多个音频和/或视觉线索相关联的所述数据传输至所述一个或多个数据模块。而且,所述系统可包括一个或多个扬声器,其可操作以从所述一个或多个数据模块接收与所述一个或多个音频和/或视觉线索相关联的已处理的数据。另外,所述系统可包括附接部分,其可操作以将所述系统的方面附接至所述用户的车辆或用具(例如,头盔),以使所述用户警惕所述记录的音频和/或视觉线索。
在解释以下图式和详细描述后,其它系统、设备、特征和优点对本领域技术人员可以是或可变得显而易见。希望所有此类额外系统、方法、特征和优点包含在此描述内,在本发明的范围内,且受所附权利要求书保护。
附图简述
参看以下图式和描述可较好地理解车辆安全系统(也称作VSS)。图式中的组件未必按比例绘制,而是将重点放在说明本发明的原理上。此外,在图式中,相似的参考数字指示所有不同视图中的对应部件。
图1展示实施例VSS的实施例方面,其包含实施例摩托车头盔的俯视透视图,所述摩托车头盔包含用于记录后视图和侧视图的相机。
图2说明实施例VSS的实施例方面的框图。
图3说明VSS(例如,图2的VSS)的实施例声音处理模块和实施例麦克风的框图。
图4说明VSS(例如,图2的VSS)的实施例视频/图像处理模块和实施例相机的框图。
具体实施方式
应理解,实现方式的实施例的以下描述被给出以仅用于说明的目的而不应按限制性意义进行。图式中展示的功能块、模块或单元中的实施例的分割不应理解为指示这些功能块、模块或单元必须实现为物理上分离的单元。所展示或描述的功能块、模块或单元可实现为分离的单元、电路、芯片、功能、模块或电路元件。一个或多个功能块或单元也可在共同的电路、芯片、电路元件或单元中实现。
本文中描述的是一种车辆安全系统(也称作VSS),其向用户(例如,车辆的用户)提供关于用户和/或车辆的周围事物(例如,车辆侧面或后方的驾驶或骑行情况)的感觉信息。举例来说,经由音频和/或视觉传感器(例如,麦克风和/或相机),VSS可使用户警惕正在接近的车辆或其它物体(例如,对车辆和/或用户可以是有危害的物体)。在一方面,用户可经由VSS的扬声器接收音频娱乐节目,直到VSS检测到正在接近的有危害的或紧急的驾驶情况(例如,分别是正在接近的超速行驶的小汽车或正在接近的应急车辆)并使用户警惕为止。另外,警惕可用于除了增强安全性之外的其它目的,例如提供某一位置或位置类型、约会、时间或日期、天气情况等等的通知。用户可通过触觉或语音输入与VSS交互以选择、管理或控制感觉信息。如本文中所使用,术语“感觉信息”包含音频、视频、警惕等等。
VSS可包含信息系统,例如结合车辆或结合车辆的用户的衣服和/或用具使用的信息系统。举例来说,VSS可附接至车辆或与车辆相关联的车辆信息系统或与所述车辆或车辆信息系统集成。而且,VSS可嵌入或紧固至用户的衣服和/或用具。举例来说,VSS可与头盔(例如,自行车头盔、摩托车头盔(例如,图1的摩托车头盔100)或任何其它类型的车辆头盔)组合。VSS还可与其它类型的头罩(例如,帽子、带子或用于运动或建筑的头盔,其在本文中将被统称作“头盔”)组合。
VSS可包含一个或多个相机(例如,图1的相机104和106)、一个或多个麦克风(例如,图3的麦克风302);一个或多个扬声器;以及一个或多个控制和数据模块,其用于接收、处理与来自用户的和/或车辆的周围事物的音频和/或视觉线索相关联的数据且将数据发送至VSS的用户。VSS可包含作为音频/视觉输出系统的一部分,可以是独立系统,或可与音频/视觉输出系统通信。
一个或多个相机可以是任何类型的图像传感器,例如低分辨率摄像机。举例来说,图像传感器的分辨率可以是公共中间格式(CIF)352x288至双重CIF(DCIF)528x384。一个或多个相机可按任何方式布置以记录车辆或车辆的用户的侧视图和后视图。举例来说,一个或多个相机可分别从车辆、头盔和/或其它类型的用户衣服和/或用具面向外地布置在车辆、头盔和/或任何其它类型的用户衣服和/或用具的一个或多个侧面或背面区域上。而且,一个或多个相机可经布置以使得其视图重叠。在此状况下,一个或多个相机可操作以大体上记录完整的后视图和侧视图。
一个或多个麦克风可按任何方式布置以最佳地接收VSS周围的声音。举例来说,麦克风可分别从车辆、头盔和/或其它类型的用户衣服和/或用具面向外地布置在车辆、头盔和/或任何其它类型的用户衣服和/或用具的一个或多个侧面或背面区域上。而且,一个或多个麦克风可经布置以使得其声音接收场或指向性图案重叠。麦克风可以是全向的或单向的,且可经布置以提供噪音消除、波束形成和/或增强可听的声音的检测的任何其它功能性。此些实施例布置可增强一个或多个麦克风对来自周围环境的一个或多个声音信号的接收。
音频/视觉输出系统可包括汽车音响主机、放大器、显示装置、用户界面和向用户提供音频或视觉输出的任何其它组件。音频/视觉输出装置的功能性可包含系统的用户界面控制、导航、音频均衡、无线通信、车辆状态和诊断,以及与车辆有关的任何其它操作功能性。音频/视觉输出系统还可包括用音频信号驱动一个或多个扬声器以输出可听的声音的能力。
由VSS驱动的一个或多个扬声器可以或可不包含作为车辆上所包含的音频/视觉系统的部分。因此,VSS可直接地或间接地驱动一个或多个扬声器,或可将信号提供至音频/视觉系统以驱动一个或多个扬声器。扬声器可按任何方式布置以向使用VSS的车辆的用户提供可听的音频信号。举例来说,一个或多个扬声器可布置在车辆和/或头盔的一个或多个正面、侧面或背面区域上,且可面向用户。一个或多个扬声器可附接至、紧固至(例如,紧固在口袋中)或嵌入在车辆和/或头盔的上述区域中。
一个或多个控制和数据模块可包含声音处理模块(例如,图2的声音处理模块202)、视频/图像处理模块(例如,图2的视频/图像处理模块204)、地理位置处理模块(例如,图2的地理位置处理模块206)以及一个或多个控制模块(例如,图2的优先权分配器/检测模块208和媒体控制模块210)。
声音处理模块可包含可产生与安全性有关的信息(包含安全得分或等级)的子模块。声音处理模块还可包含可从一个或多个声音信号中选择性地滤除噪音(例如,背景或环境噪音)的子模块,例如至少一个滤波器(例如,图3的滤波器304)。声音处理模块还可包含可选择性地对可听的声音滤波以用于检测一个或多个声音信号中的警告声音(例如,车辆警报器或喇叭)的一个或多个子模块,例如一个或多个滤波器(例如,图3的滤波器306和308)。而且,声音处理模块可包含可确定一个或多个声音信号起源的方向或位置的子模块(例如,图3的方向处理模块310)。在一个实施例中,其中VSS中不止只有一个麦克风,可获得方向性音频线索。
声音处理模块中的可产生与安全性有关的信息的子模块可至少部分基于一个或多个经滤波的声音信号产生安全得分或等级。在一个实施例中,一个或多个经滤波的声音信号可能已被滤波以得到警告声音和/或已由相应的上述滤波器和/或子模块中的一者或多者滤除噪音。
声音处理模块还可包含可分别确定声音且/或对声音分类的图案和/或声音分类器(例如,图3的图案和/或声音分类器312)。图案和/或声音分类器可确定一个或多个经滤波或未滤波的声音信号且/或将其分类为存储在数据库(例如,图3的声音向量数据库管理系统(DBMS)314)中的预定声音。声音的识别可基于识别所检测的声波和声音向量数据库中的声音向量的类似的特性,例如匹配频率特性、脉冲响应特性或任何其它声音相关参数。实施例分类可包含车辆引擎、喇叭和/或警报器的声音。
类似于声音处理模块,视频/图像处理模块可包含可产生与安全性有关的信息(包含安全得分或等级)的子模块。而且,视频/图像处理模块还可包含用于对一个或多个视频/图像信号滤波的类似子模块。
而且,视频/图像处理模块可包含包含图像辨识能力的子模块,图像辨识能力可确定视频记录中所记录的物体。举例来说,人工智能、图像映射技术或某一其它形式的图像辨识可识别车辆和/或车辆类型(例如,自行车、摩托车、小汽车和卡车)。在一个实施例中,这些确定也可由声音处理模块或结合声音处理模块进行。举例来说,图3的车辆分类器模块316可根据所接收的声音信号、所接收的图像或所接收的声音信号与图像信号的组合来确定车辆类型。
图像辨识还可确定物体的属性,例如物体是活动的还是无生命的、物体的大小、其相对于VSS的用户的位置,以及其行为(例如,见图4的模块404至408)。举例来说,图像辨识可能够确定正在接近用户的超速行驶的车辆(例如,来自用户后方的超速行驶的车辆)和鲁莽地驾驶的车辆(例如,在通行中突然转向和/或迂回行进的车辆)。在一个实施例中,可通过比较正在接近的物体与道路上的无生命的物体(例如,路障和/或车道标线)来确定正在接近的物体的速度和水平移动(例如,正在接近的车辆的速度和突然转向和/或迂回行进)。而且,虚拟的或投影的物体(例如,投影线)可辅助此些确定。
另外,视频/图像处理模块可充当用于声音处理模块的假警报检测器,且反过来也一样。举例来说,声音处理模块可识别正在接近的应急车辆(例如,通过检测逐渐变得更大声的警报器)。然而,在一些情形中,看起来可能是正在接近的应急车辆的可能是正在接近的车辆的引擎或消声器声音,或由例如建筑物或隧道等平坦表面反射/扩散的可听的声音。视频/图像处理模块可检测此误算。举例来说,视频/图像处理模块可能够区分应急车辆(例如,警车、消防车、拖车或医疗车辆)与非应急车辆。视频/图像处理模块可通过(例如)检测应急车辆上的应急灯来进行区分。
另外,在某些情形中,经选定以被检测的正在接近的车辆(例如,应急车辆或鲁莽地驾驶的车辆)可在由声音处理模块可检测到之前由视频/图像处理模块可检测到,或反过来也一样。可通过地理位置处理模块跟踪和/或识别使用VSS的用户的位置,使得VSS意识到用户的情形。借助用户的此识别,VSS可取决于情形而分别激活(例如,上电或通电)和/或去激活(例如,下电或断电)声音处理模块和/或视频/图像处理模块。举例来说,当周围的环境噪音条件在预定阈值以下时(例如,在具有较低噪音级的当地道路上),VSS可对视频/图像处理模块下电或断电;而当周围的环境噪音条件在预定阈值以上时(例如,在具有较高噪音级的高速公路或超速干道上),可对视频/图像处理模块上电或通电。为了增强对用户的位置的确定,地理位置处理模块可包含全球定位系统(GPS)或与GPS一起操作。
另外,例如优先权分配器/检测模块等控制模块可将优先值分配给声音处理模块和/或视频/图像处理模块的一个或多个安全得分或排名。举例来说,相应的优先值(分别是P1和P2)可分配给声音和视频/图像处理模块的安全得分(分别是S(t)和V(t))。而且,这些相应的优先值可基于另一得分,例如来自地理位置处理模块的安全得分(G(t))。相应得分与优先值的乘积的总和可等于总安全等级(T)。简短地说,P1S(t)+P2V(t)=T。
其中T小于最小主安全得分的阈值(其可针对道路情况进行调整),安全性危害旗标可由优先权分配器/检测模块触发。此安全性危害旗标接着可直接地或通过VSS的媒体控制单元传递至扬声器。
S(t)和V(t)可随时间而变,且可以是实时得分。举例来说,得分可相对于高速声音记录和视频/图像记录时间来确定。在此实施例中,得分可在几纳秒内确定和/或更新。
在将旗标传递到媒体控制单元的情况下,用户感知的音频媒体可静音或减弱到静音。在一个实施例中,音频媒体的音量可相对于可能的有危害的或应急车辆与用户之间的距离而降低。随着有危害的或应急车辆接近危险区(距用户预定的危险距离),媒体可减弱。一旦车辆处于危险区中,媒体可完全静音。
关于图1,描绘的是实施例VSS的实施例方面,其包含实施例摩托车头盔100的俯视透视图,摩托车头盔100包含用于记录相对于VSS的用户的后视图和侧视图的VSS的相机104和106。还描绘了相机104和106的视图的相应中心线104a和106a、相应边界104b、104c、106b和106c,以及相应视角104d和106d。在图1中,视图重叠108,使得VSS可记录连续的后视图和侧视图。类似地,麦克风可按类似方式,或按记录周围可听的声音的任何其它配置放置。
关于图2,描绘的是实施例VSS 200的实施例方面。如所描绘,VSS 200包含声音处理模块和一个或多个麦克风202、视频/图像处理模块和一个或多个相机204(例如,图1的相机104和106)、地理位置处理模块和GPS 206、优先权分配器/检测模块208、媒体控制模块210、汽车音响主机212(其可驱动例如头戴受话器或一个或多个扬声器等换能器),以及通信地耦合VSS 200的上述描绘的方面的控制总线214。还描绘了与网络216以无线方式通信地耦合的地理位置处理模块和GPS 206。网络216可以是GPS卫星网络、电信网络等等。
还展示了声音处理模块和视频/图像处理模块可与VSS 200的其它元件(例如,优先权分配器/检测模块208)分别传送S(t)和V(t)。另外,图2描绘VSS(200)的其它元件,例如优先权分配器/检测模块208将S’(t)和V’(t)传送回至声音处理模块和视频/图像处理模块;其中S’(t)和V’(t)表示由S(t)和V(t)起始的控制回路的相应反馈信号。在接收到S’(t)和V’(t)后,可至少部分基于S’(t)和V’(t)来相应地调整S(t)和V(t)。S’(t)可(例如)表示环境噪音的指示。V’(t)可(例如)提供自动对焦、自动对比度等等中使用的信号。
另外,反馈信号可提供可用以控制麦克风的灵敏度或相机的分辨率的信息。举例来说,在警惕持续发生的情况下,优先权分配器可将分辨率改变到较高层次以用于验证。在此状况和其它状况下,反馈信号可以是用于麦克风或相机的参数的自动重新配置的旗标,例如自动对焦、自动对比度等等。
图3说明声音处理模块202和一个或多个实施例麦克风302的框图。还展示了声音处理模块202内部和外部的一个或多个相关信号的流程。
如所展示,声音信号可由麦克风302记录。接着声音信号中的无关的背景或环境噪音由噪音滤波器304进行滤波。接下来,经滤波的信号被传送至带通滤波器306和/或方向处理模块310。方向处理模块310可确定产生声音信号的元素的物体的位置,或者或另外地,可确定声音所来自的方向。另外,在通过带通滤波器306之后,经滤波的声音信号可通过带分辨率滤波器308。在一个实施例中,滤波器306和308可增强声音信号的清晰度和/或放大声音信号的所要分量。
来自带分辨率滤波器308和方向处理模块310的声音信号和/或声音信号的分量可由通信地耦合至声音向量数据库管理系统314的图案和/或声音分类器312识别和分类。在此分类过程之后,分量可在车辆分类器316处按车辆类型进一步分类。
关于VSS的在声音处理模块202外部的部分,如所描绘,方向处理模块310可将方向信息传送至优先权分配器/检测模块208。而且,车辆分类器316和/或图案和/或声音分类器312可将声音信号分类信息传送至优先权分配器/检测模块208。另外,车辆分类器316可从视频/图像处理模块204接收车辆分类信息。
图4说明视频/图像处理模块204和一个或多个实施例相机402(例如,图1的相机104和106)的框图。还展示了视频/图像处理模块204内部和外部的一个或多个相关信号的流程。
如所描绘,视频/图像信号可由相机402记录。根据这些视频/图像信号,轨迹/车道检测和场景检测模块404可检测与正在接近的物体的速度和水平移动相关联的数据。接着计算模块406可根据轨迹/车道检测和场景检测模块404处检测到的数据来确定正在接近的物体的速度和水平移动。接下来,相关模块408可使此信息与和对应的物体分类(例如,车辆分类)和/或来自声音处理模块202的声音信号相关联的信息相关。
关于VSS的在视频/图像处理模块外部的部分,如所描绘,轨迹/车道检测和场景检测模块404可将速度和水平移动数据传送至汽车音响主机212和/或媒体控制模块210。而且,计算模块406可从网络216、地理位置处理模块206和/或GPS 206接收用户的和正在接近的物体的位置信息。另外,相关模块408可将相关的数据传送至优先权分配器/检测模块208。
关于优先权分配器/检测模块(或仅优先权分配器),此模块可将优先权分配给信号V(t)和S(t)且确定输出和这些信号是否有效。举例来说,在驾驶员正在高速公路上驾驶的情况下,V(t)将被给予较大优先权,例如相对于S(t)的30%优先权是70%优先权。在高速公路上,可预期驾驶员自己的引擎噪音可干扰来自其它车辆的声音信号。而在较低速度下,S(t)可因为相反的理由而比V(t)具有优先权。而且,分配器/检测模块可从其它模块(例如,地理位置模块)接收信息以加强其优先权确定。
一般来说,VSS、任何模块、界面或VSS的其它方面,或结合VSS操作的任何其它装置或系统可包括各种的一个或多个计算装置中的部件、部分或全部。计算装置的部件、部分或全部可包含可经执行以使计算装置的部件、部分或全部执行所公开的过程或基于计算机的功能中的任一者或多者的指令集。计算装置的部件、部分或全部可作为独立装置操作或可(例如)使用网络连接至其它计算机系统或外围装置。计算装置的部件、部分或全部可使用提供语音、音频、视频或数据通信的电子装置实现。
计算装置的部件、部分或全部还可包含处理器,例如中央处理单元(CPU)、一个或多个数字信号处理器,或不同的或相同的处理器的某一组合。处理器可以是多种系统中的组件。处理器可以是一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、其组合,或用于分析和处理数据的其它现在已知的或稍后开发的装置。处理器可实现软件程序,例如手动地产生或编程的代码。
术语“模块”可经定义以包含多个可执行模块。模块可包含软件、硬件、固件,或可由处理器执行的其某一组合。软件模块可包含存储在存储器或可由处理器执行的另一存储器装置中的指令。硬件模块可包含可执行、被指导或控制以用于供处理器执行的各种装置、组件、电路、门、电路板等等。
计算装置的部件、部分或全部还可包含可经由总线通信的存储器。存储器可以是主存储器、静态存储器或动态存储器。存储器可包含计算机可读存储媒体,例如各种类型的易失性和非易失性存储媒体,包含随机存取存储器、只读存储器、可编程只读存储器、电可编程只读存储器、电可抹除只读存储器、快闪存储器、磁带或磁盘、光学媒体等等。而且,存储器可包含用于处理器的快取或随机存取存储器。或者,存储器可与处理器分离,例如处理器的快取存储器、系统存储器或其它存储器。存储器可以是用于存储数据的外部存储装置或数据库。实施例包含硬盘驱动器、压缩光盘(“CD”)、数字视频光盘(“DVD”)、存储卡、记忆棒、软盘、通用串行总线(“USB”)存储器装置,或操作以存储数据的任何其它装置。存储器可操作以存储可由处理器执行的指令。
图式中说明的或所描述的模块、功能、动作或任务可由执行存储在存储器中的指令的编程的处理器执行。模块、功能、动作或任务可独立于特定类型的指令集、存储媒体、处理器或处理策略,且可由单独地或组合地操作的软件、硬件、集成电路、固件、微代码等等执行。处理策略可包含多处理、多任务、并行处理等等。
计算机可读媒体或机器可读媒体可包含任何非暂时性存储器装置,其包含或存储软件以供或结合指令可执行系统、设备或装置使用。机器可读媒体可以是电子、磁性、光学、电磁、红外线或半导体系统、设备或装置。实施例可包含便携式磁盘或光盘、例如随机存取存储器“RAM”等易失性存储器、只读存储器“ROM”,或可抹除可编程只读存储器“EPROM”或快闪存储器。机器可读存储器还可包含其上存储软件的非暂时性有形媒体。软件可以电子方式存储为图像或按另一格式(例如,通过光学扫描)存储,接着被编译或解译或以其它方式处理。
计算装置的部件、部分或全部还可包含经配置以允许用户与VSS的组件中的任一者交互的输入装置。输入装置可包含用于接收语音输入或触觉输入(例如,在小键盘上按压键)的硬件和/或软件。
计算装置的部件、部分或全部还可包含用于经由网络传送语音、视频、音频、图像或任何其它数据的通信接口或端口。此接口或端口可连接至可连接计算装置的任何或所有部件或部分的总线。
术语“计算机可读媒体”可包含单一存储媒体或多存储媒体,例如集中式或分布式数据库,或存储一个或多个指令集的相关联的快取存储器和服务器。术语“计算机可读媒体”还可包含能够存储、编码或携带指令集以供处理器执行或使计算机系统执行所公开的方法或操作中的任一者或多者的任何媒体。“计算机可读媒体”可以是非暂时性的,且可以是有形的。
在替代实施例中,专用硬件实现方式(例如,专用集成电路、可编程逻辑阵列和其它硬件装置)可经建构以实现VSS的各种方面。所描述的一个或多个实施例可使用两个或多个特定的互连的硬件模块或装置借助相关的控制和数据信号或作为专用集成电路的部分来实现功能,控制和数据信号可传送于模块之间且通过模块。VSS可涵盖软件、固件和硬件实现方式。
所描述的VSS可由软件程序实现,软件程序可由计算机系统执行。实现方式可包含分布式处理、组件/物体分布式处理和并行处理。或者,虚拟计算机系统处理可经建构以实现VSS的各种方面。
为了阐明待决的权利要求书中的使用且因此向公众提供通知,除非申请人相反地明确地断言,否则短语“<A>、<B>、……和<N>中的至少一者”或“<A>、<B>、……<N>,或其组合中的至少一者”由申请人在最广泛意义上定义,从而取代上文或下文中的任何其它隐含的定义,以指选自包括A、B、……和N的群组的一个或多个元件,也就是说,包含单独的或与其它元件中的一者或多者组合的任何一个元件的元件A、B、……或N中的一者或多者的任何组合,其它元件还可组合地包含未列出的额外元件。
尽管已描述本发明的各种实施方案,但对于本领域技术人员可显而易见的是,更多实施方案和实现方式可能在本发明的范围内。举例来说,以上描述的许多呈现了本发明的被车辆环视系统利用的方面;然而,其它类型的环视系统也可利用本发明的这些方面和其它方面。因此,本发明不应受限制,除非按照所附权利要求书及其等效物。

Claims (15)

1.一种系统,其包括:
一个或多个数据模块,其可操作以接收、处理和传输与来自用户的周围事物的一个或多个音频或视觉线索相关联的数据;
一个或多个相机以及一个或多个麦克风,其通信地耦合至所述一个或多个数据模块,其中所述一个或多个相机以及所述一个或多个麦克风可操作以:
分别记录所述一个或多个音频或视觉线索;以及
分别将与所述一个或多个音频或视觉线索相关联的所述数据传输至所述一个或多个数据模块;以及
一个或多个扬声器,其可操作以从所述一个或多个数据模块接收与所述一个或多个音频或视觉线索相关联的已处理的数据。
2.如权利要求1所述的系统,其中所述一个或多个相机包含至少一个低分辨率摄像机。
3.如权利要求1或2所述的系统,其中所述一个或多个相机可操作以记录所述用户的侧视图和后视图。
4.如权利要求1至3中任一项所述的系统,其中所述一个或多个相机的一个或多个视图重叠。
5.如权利要求1至4中任一项所述的系统,其中所述一个或多个麦克风的一个或多个声音接收场重叠。
6.如权利要求1至5中任一项所述的系统,其中所述一个或多个扬声器、所述一个或多个麦克风以及所述一个或多个相机附接至、紧固至或嵌入在所述用户的车辆、头盔或其它类型的用具的一个或多个正面、侧面或背面区域。
7.如权利要求1至6中任一项所述的系统,其中所述一个或多个数据模块包含声音处理模块、图像处理模块、地理位置处理模块以及一个或多个控制模块。
8.如权利要求7所述的系统,其中所述一个或多个控制模块包含媒体控制模块。
9.如权利要求7或8所述的系统,其中所述声音和所述图像处理模块包含可操作以从与一个或多个音频或视觉线索相关联的所述数据产生包含安全得分的安全信息的相应子模块。
10.如权利要求7至9中任一项所述的系统,其中所述声音处理模块包含可操作以从与所述一个或多个音频线索相关联的所述数据选择性地滤除包含背景或环境噪音的噪音的子模块。
11.如权利要求7至10中任一项所述的系统,其中所述声音处理模块包含可操作以从与所述一个或多个音频线索相关联的所述数据选择性地针对包含车辆警报器或喇叭的警告数据进行过滤的子模块。
12.如权利要求7至11中任一项所述的系统,其中所述声音和所述图像处理模块包含可操作以确定所述一个或多个音频或视觉线索的源或所述源的位置中的一者或多者的相应子模块。
13.如权利要求7至12中任一项所述的系统,其中所述声音和所述图像处理模块包含可操作以对与所述一个或多个音频或视觉线索相关联的所述已处理的数据的相应方面分类的相应图案分类器。
14.一种头罩,其包括:
一个或多个数据模块,其可操作以接收、处理和传输与来自所述头罩的周围事物的音频和视觉线索相关联的数据;
一个或多个相机以及一个或多个麦克风,其通信地耦合至所述一个或多个数据模块,其中所述一个或多个相机以及所述一个或多个麦克风可操作以:
分别记录所述音频和视觉线索;以及
将与所述音频和视觉线索相关联的所述数据传输至所述一个或多个数据模块;以及
一个或多个扬声器,其可操作以从所述一个或多个数据模块接收与所述音频和视觉线索相关联的已处理的数据。
15.一种用于使摩托车的用户警惕的设备,其包括:
附接部分,其可操作以将所述设备附接至所述用户的所述摩托车或用具;
一个或多个电路,其包括处理器和存储装置,其中所述存储装置包含处理器可执行指令,所述处理器可执行指令可操作以接收、处理和传输与所述设备的侧面或后方周围事物的音频或视觉线索相关联的数据;
一个或多个相机以及一个或多个麦克风,其通信地耦合至所述一个或多个电路,其中所述一个或多个相机以及所述一个或多个麦克风可操作以:
分别记录所述音频或视觉线索;以及
将与所述音频或视觉线索相关联的所述数据传输至所述一个或多个电路;以及
一个或多个扬声器,其可操作以从所述一个或多个电路接收与所述音频或视觉线索相关联的已处理的数据。
CN201380047098.XA 2012-09-10 2013-09-06 使用音频/视觉线索的车辆安全系统 Active CN104620259B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/608,722 2012-09-10
US13/608,722 US9417838B2 (en) 2012-09-10 2012-09-10 Vehicle safety system using audio/visual cues
PCT/US2013/058486 WO2014039805A1 (en) 2012-09-10 2013-09-06 Vehicle safety system using audio/visual cues

Publications (2)

Publication Number Publication Date
CN104620259A true CN104620259A (zh) 2015-05-13
CN104620259B CN104620259B (zh) 2019-01-15

Family

ID=49305074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047098.XA Active CN104620259B (zh) 2012-09-10 2013-09-06 使用音频/视觉线索的车辆安全系统

Country Status (5)

Country Link
US (1) US9417838B2 (zh)
EP (1) EP2893488B1 (zh)
JP (1) JP6389179B2 (zh)
CN (1) CN104620259B (zh)
WO (1) WO2014039805A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107031628A (zh) * 2015-10-27 2017-08-11 福特全球技术公司 使用听觉数据的碰撞规避
CN107128304A (zh) * 2016-02-26 2017-09-05 福特全球技术公司 使用听觉数据的碰撞避免
CN109426481A (zh) * 2017-08-29 2019-03-05 通用汽车环球科技运作有限责任公司 基于驾驶员头盔使用的音频控制系统和方法
CN110022427A (zh) * 2019-05-22 2019-07-16 乐山师范学院 汽车使用智能辅助系统
CN112633182A (zh) * 2020-12-25 2021-04-09 广州文远知行科技有限公司 一种车辆状态检测方法、装置、设备和存储介质
CN114968428A (zh) * 2021-02-20 2022-08-30 上海博泰悦臻网络技术服务有限公司 虚拟角色的静默模式设定方法、系统、介质及装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2521274B (en) * 2013-12-11 2018-07-04 Continental automotive systems inc Emergency vehicle detection with digital image sensor
US9576208B2 (en) 2013-12-11 2017-02-21 Continental Automotive Systems, Inc. Emergency vehicle detection with digital image sensor
DE102014207666A1 (de) * 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Autonomes Fahren bei einer Gefahrensituation
US20150365743A1 (en) * 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
US9800983B2 (en) 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
US10506838B2 (en) * 2014-11-28 2019-12-17 Eric S. TAMMAM Augmented audio enhanced perception system
US20160355126A1 (en) * 2015-06-05 2016-12-08 Strategic Technology Group LLC Helmet with integrated camera and safety light system including same
ITUB20152855A1 (it) * 2015-08-04 2017-02-04 Andrea Manco Dispositivo per segnalare il sopraggiungere di veicoli di emergenza.
CN105430462A (zh) * 2015-11-30 2016-03-23 四川诚品电子商务有限公司 一种切换车载电视视频的方法
US20170158117A1 (en) * 2015-12-08 2017-06-08 Denso International America, Inc. Methods and Systems for Alerting Drivers of Hazards
EP3389023B1 (en) * 2015-12-11 2021-12-08 Yamaha Hatsudoki Kabushiki Kaisha Device for presenting an onomatopoeia pertaining to results of evaluating a surrounding environment and method for presenting an onomatopoeia
GB2550620B (en) * 2016-05-26 2020-07-29 Michael Child John A camera apparatus
US11244564B2 (en) 2017-01-26 2022-02-08 Magna Electronics Inc. Vehicle acoustic-based emergency vehicle detection
IT201800010591A1 (it) * 2018-11-26 2020-05-26 Basicnet S P A Sistema integrato di sicurezza attiva per individui a rischio di incidente stradale
US11866063B2 (en) 2020-01-10 2024-01-09 Magna Electronics Inc. Communication system and method
CN112489363A (zh) * 2020-12-04 2021-03-12 广东美她实业投资有限公司 基于智能无线耳机的后方来车预警方法、设备及存储介质
US20230139105A1 (en) * 2021-11-02 2023-05-04 Lightspeed Aviation, Inc. Circumaural ear cushion/seal

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251032A2 (en) * 2001-04-20 2002-10-23 Fuji Jukogyo Kabushiki Kaisha Apparatus and method of recognizing vehicle travelling behind
US20040226079A1 (en) * 2002-08-09 2004-11-18 Rainey Margaret A. Helmet having audio features
EP1727131A2 (en) * 2005-05-26 2006-11-29 Yamaha Hatsudoki Kabushiki Kaisha Noise cancellation helmet, motor vehicle system including the noise cancellation helmet and method of canceling noise in helmet
US20060277666A1 (en) * 2005-05-26 2006-12-14 Gertsch Jeffrey H Electronic helmet
US20080085679A1 (en) * 2006-09-01 2008-04-10 David Fettig Wireless portable radio vehicle communication system
GB2446724A (en) * 2007-02-19 2008-08-20 Jason White Cameras mounted on Cycle of Rider for Road Traffic Monitoring
US20090109292A1 (en) * 2007-10-31 2009-04-30 Motocam 360 Multidirectional video capture assembly
CN101753743A (zh) * 2009-12-23 2010-06-23 中国安全生产科学研究院 一种重大事故移动监测和指挥平台系统及其工作方法
US20120076317A1 (en) * 2010-09-23 2012-03-29 Lsi Corporation Media player system with anti-voice operated switch

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5746318U (zh) * 1980-08-28 1982-03-15
JP2763685B2 (ja) * 1991-02-28 1998-06-11 株式会社ケンウッド 緊急車両位置表示装置
JP3197203B2 (ja) * 1996-01-29 2001-08-13 三菱重工業株式会社 指向性集音装置および音源探査装置
JPH11306494A (ja) * 1998-04-15 1999-11-05 Matsushita Electric Ind Co Ltd 接近報知システム
JP4459144B2 (ja) * 2005-09-26 2010-04-28 アルパイン株式会社 車両用画像表示装置
JP2009211397A (ja) * 2008-03-04 2009-09-17 Toyota Infotechnology Center Co Ltd 無線通信方法及び車両通信システム
US8995670B2 (en) * 2011-04-29 2015-03-31 Dell Products L.P. Systems and methods for local and remote recording, monitoring, control and/or analysis of sounds generated in information handling system environments
US9064152B2 (en) * 2011-12-01 2015-06-23 Elwha Llc Vehicular threat detection based on image analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1251032A2 (en) * 2001-04-20 2002-10-23 Fuji Jukogyo Kabushiki Kaisha Apparatus and method of recognizing vehicle travelling behind
US20040226079A1 (en) * 2002-08-09 2004-11-18 Rainey Margaret A. Helmet having audio features
EP1727131A2 (en) * 2005-05-26 2006-11-29 Yamaha Hatsudoki Kabushiki Kaisha Noise cancellation helmet, motor vehicle system including the noise cancellation helmet and method of canceling noise in helmet
US20060277666A1 (en) * 2005-05-26 2006-12-14 Gertsch Jeffrey H Electronic helmet
US20080085679A1 (en) * 2006-09-01 2008-04-10 David Fettig Wireless portable radio vehicle communication system
GB2446724A (en) * 2007-02-19 2008-08-20 Jason White Cameras mounted on Cycle of Rider for Road Traffic Monitoring
US20090109292A1 (en) * 2007-10-31 2009-04-30 Motocam 360 Multidirectional video capture assembly
CN101753743A (zh) * 2009-12-23 2010-06-23 中国安全生产科学研究院 一种重大事故移动监测和指挥平台系统及其工作方法
US20120076317A1 (en) * 2010-09-23 2012-03-29 Lsi Corporation Media player system with anti-voice operated switch

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107031628A (zh) * 2015-10-27 2017-08-11 福特全球技术公司 使用听觉数据的碰撞规避
CN107031628B (zh) * 2015-10-27 2022-05-10 福特全球技术公司 使用听觉数据的碰撞规避
CN107128304A (zh) * 2016-02-26 2017-09-05 福特全球技术公司 使用听觉数据的碰撞避免
CN109426481A (zh) * 2017-08-29 2019-03-05 通用汽车环球科技运作有限责任公司 基于驾驶员头盔使用的音频控制系统和方法
CN110022427A (zh) * 2019-05-22 2019-07-16 乐山师范学院 汽车使用智能辅助系统
CN112633182A (zh) * 2020-12-25 2021-04-09 广州文远知行科技有限公司 一种车辆状态检测方法、装置、设备和存储介质
CN114968428A (zh) * 2021-02-20 2022-08-30 上海博泰悦臻网络技术服务有限公司 虚拟角色的静默模式设定方法、系统、介质及装置

Also Published As

Publication number Publication date
JP6389179B2 (ja) 2018-09-12
US20140071280A1 (en) 2014-03-13
US9417838B2 (en) 2016-08-16
EP2893488B1 (en) 2020-10-28
JP2015535972A (ja) 2015-12-17
EP2893488A1 (en) 2015-07-15
CN104620259B (zh) 2019-01-15
WO2014039805A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
CN104620259A (zh) 使用音频/视觉线索的车辆安全系统
US10351148B2 (en) System and method for sound direction detection in a vehicle
US9870764B2 (en) Using external sounds to alert vehicle occupants of external events and mask in-car conversations
EP3947045A1 (en) Safety for vehicle users
KR101050897B1 (ko) 차량용 데이터기록 시스템의 무선마이크로폰유니트
US9481459B2 (en) Apparatus and method employing autonomous vehicles to reduce risk
US20110092249A1 (en) Portable blind aid device
KR102134583B1 (ko) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
US10217354B1 (en) Move over slow drivers cell phone technology
US9571057B2 (en) Altering audio signals
CN105894728A (zh) 一种危险报警方法及移动设备
US8704893B2 (en) Ambient presentation of surveillance data
JP2020087218A (ja) 車両及び乗客輸送システム
CN112542052A (zh) 用于警告未受保护的交通参与者的方法
US20220116709A1 (en) Method, apparatus, and computer-readable storage medium for providing three-dimensional stereo sound
CN111147738A (zh) 警用车载全景慧眼系统、装置、电子设备及介质
JP2020132073A (ja) 車両用防犯システム及び車両用防犯装置
US11146759B1 (en) Vehicle camera system
KR20230025738A (ko) 차량 내의 물체 검출
KR20140068312A (ko) 차량 블랙박스와 연동한 교통사고 정보 관리 방법 및 이를 위한 장치
CN109360410B (zh) 车辆协调方法、装置、车辆和介质
KR102255429B1 (ko) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
JP2022101447A (ja) システム等
KR20190040658A (ko) 위법운전 자동 촬영, 분석, 신소 및 전송 시스템
KR20160063937A (ko) 보행자 안전 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant