CN107967917A - 通过神经网络机器学习的车辆周围音频分类 - Google Patents

通过神经网络机器学习的车辆周围音频分类 Download PDF

Info

Publication number
CN107967917A
CN107967917A CN201710976026.3A CN201710976026A CN107967917A CN 107967917 A CN107967917 A CN 107967917A CN 201710976026 A CN201710976026 A CN 201710976026A CN 107967917 A CN107967917 A CN 107967917A
Authority
CN
China
Prior art keywords
vehicle
sound
audio file
network
mel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710976026.3A
Other languages
English (en)
Other versions
CN107967917B (zh
Inventor
伊桑·格罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107967917A publication Critical patent/CN107967917A/zh
Application granted granted Critical
Publication of CN107967917B publication Critical patent/CN107967917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1004—Alarm systems characterised by the type of sensor, e.g. current sensing means
    • B60R25/1009—Sonic sensors; Signal treatment therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J5/00—Doors
    • B60J5/04—Doors arranged at the vehicle sides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1001—Alarm systems associated with another car fitting or mechanism, e.g. door lock or knob, pedals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/302—Detection related to theft or to other events relevant to anti-theft systems using recording means, e.g. black box
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013—Alarm systems characterised by the type of warning signal, e.g. visual, audible
    • B60R2025/1016—Remote signals alerting owner or authorities, e.g. radio signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range

Abstract

本公开描述了通过神经网络机器学习检测和分类车辆周围的声音的方法和设备。方法包含音频识别系统，该音频识别系统可以确定声音的起源是在车辆的里面或外面并且把声音分类为比如成人、儿童或动物声音这样的不同类别。音频识别系统可以与在车辆内部和周围的多个传感器通信以获取车辆的状况的信息。基于声音和车辆的状况的信息，音频识别系统可以确定乘员或车辆是否处于风险中并且发送警告消息或发出警报信号。

Description

通过神经网络机器学习的车辆周围音频分类
技术领域
本公开总体上涉及关于机动车辆的声音检测和分类，以及更具体地涉及通过神经网络机器学习的声音分类。
背景技术
移动的机动车辆里面的乘员的安全性在购买机动车辆的决定中是重要的考虑因素。有许多关于对事故情况下移动的机动车辆里面的乘员的保护或以预防措施的形式的技术进步和创新。特别是当年幼的乘员独自留在停放车辆里面时，停放车辆里面的乘员的安全性对安全系统的智能赋予独特的挑战。父母可能没有意识到在无人看管的车辆中留下婴儿、学步的儿童或幼儿园儿童的危险。车辆里面的温度在热天在很短的时间内可以显著地升高并且儿童的体温可能比成人更快地升高。如果车辆中的安全系统具有识别乘员是年幼的并且车辆处于可以对年幼乘员造成伤害的状况的智能并且当这样的情况发生时该安全系统主动地发出警报信号或通知车辆的所有者，则可以提高年幼乘员的安全性。
发明内容
根据本发明的一个方面提供一种方法，该方法包含：
从一个或多个麦克风接收听觉信息；
从一个或多个传感器接收车辆的一个或多个状况的车辆信息；
基于车辆信息和听觉信息来确定车辆是否处于盗窃的风险中或车辆的乘员是否处于危险的风险中；以及
一经确定乘员或车辆处于风险中就触发一个或多个措施。
根据本发明的一实施例，其中从一个或多个麦克风接收听觉信息包含基于第一神经网络和第二神经网络的信息来确定乘员是否在车辆里面。
根据本发明的一实施例，其中基于第一神经网络和第二神经网络的信息来确定乘员是否在车辆里面通过执行包含以下的操作：
检测在车辆内部和周围的多个声音；
把声音记录到多个音频文件中；
基于第一神经网络的信息来确定声音起源于车辆的里面还是外面；以及
基于第二神经网络的信息把声音分类为多个类别。
根据本发明的一实施例，其中检测在车辆内部和周围的声音包含通过关闭车辆或通过按发动机停止按钮、钥匙没有插入点火钥匙孔中、以及车辆的一个或多个车门被锁定来发起声音的检测。
根据本发明的一实施例，其中确定声音起源于车辆的里面还是外面包含通过第一神经网络的音频文件的机器学习。
根据本发明的一实施例，其中把声音分类为多个类别包含通过第二神经网络的音频文件的机器学习。
根据本发明的一实施例，其中通过第一神经网络的音频文件的机器学习包含：
通过计算每一个音频文件的各自梅尔频率倒谱系数集而用梅尔频率倒谱算法来处理音频文件；以及
通过第一神经网络来处理梅尔频率倒谱系数以获悉各自音频文件的特性集。
根据本发明的一实施例，其中处理音频文件包含以梅尔刻度执行音频文件的对数和线性傅立叶变换。
根据本发明的一实施例，其中通过第二神经网络的音频文件的机器学习包含：
通过计算每一个音频文件的各自梅尔频率倒谱系数集而用梅尔频率倒谱算法来处理音频文件；以及
通过第二神经网络来处理梅尔频率倒谱系数以获悉各自音频文件的特性集。
根据本发明的一实施例，其中处理音频文件包含以梅尔刻度执行音频文件的对数和线性傅立叶变换。
根据本发明的一实施例，其中车辆的一个或多个状况包含以下中的一个或多个：
钥匙没有插入点火钥匙孔中；
钥匙没有在车辆里面；
车辆被抬起；
车辆在运转中；
车辆的一个或多个车门被锁定；以及
车辆里面的温度达到或超过阈值温度。
根据本发明的一实施例，其中一个或多个措施包含发送一个或多个警告消息、发出一个或多个警报信号、解锁车辆的一个或多个车门、或其组合。
根据本发明的另一方面提供一种作为车辆的音频识别系统实施的设备，该设备包含：
配置为检测多个声音的一个或多个麦克风；
配置为监测车辆的一个或多个状况的一个或多个传感器；
配置为存储声音的原始数据和从声音记录的多个音频文件的存储器；
配置为执行操作的处理器，该操作包含：
在存储器中把声音记录为音频文件；
通过计算每一个音频文件的各自梅尔频率倒谱系数集而用梅尔频率倒谱算法来处理音频文件；以及
从传感器接收车辆的一个或多个状况的信息；
包含具有第一节点集的至少第一隐藏层的第一神经网络；以及
包含具有第二节点集的至少第二隐藏层的第二神经网络。
根据本发明的一实施例，其中，处理器配置为在处理音频文件时，以梅尔刻度执行音频文件的对数操作和线性傅立叶变换。
根据本发明的一实施例，其中第一神经网络配置为执行包含以下的操作：
处理梅尔频率倒谱系数以获悉从声音记录的各自音频文件的特性集；以及
确定声音起源于车辆的里面还是外面。
根据本发明的一实施例，其中第二神经网络配置为执行包含以下的操作：
处理梅尔频率倒谱系数以获悉从声音记录的各自音频文件的特性集；以及
把声音分类为多个类别。
根据本发明的一实施例，其中车辆的一个或多个状况包含以下中的一个或多个：
钥匙没有插入点火钥匙孔中；
钥匙没有在车辆里面；
车辆被抬起；
车辆在运转中；
车辆的一个或多个车门被锁定；以及
车辆里面的温度达到或超过阈值温度。
根据本发明的一实施例，其中，处理器进一步地配置为执行包含以下的操作：
基于第一神经网络和第二神经网络的信息来确定乘员是否在车辆里面；
基于车辆的一个或多个状况的信息以及第一神经网络和第二神经网络的信息来确定车辆是否处于盗窃的风险中或乘员是否处于危险的风险中；以及
一经确定乘员或车辆处于风险中就触发一个或多个措施。
根据本发明的一实施例，设备进一步地包含：
配置为将关于将要由车辆的多个部件执行的多个措施的多个指令传输至车辆的多个部件的通信装置，
其中，处理器配置为在触发一个或多个措施时，通过通信装置向车辆的一个或多个部件提供一个或多个指令。
根据本发明的一实施例，其中一个或多个措施包含发送一个或多个警告消息、发出一个或多个警报信号、解锁车辆的一个或多个车门、或其组合。
附图说明
参考下面的附图描述本公开的非限制性且非详尽的实施例，其中除非另有规定，贯穿各个附图的相同的附图标记指的是相同的部分。
图1是描述示例场景的示意图，在该示例场景中可以利用根据本公开的音频识别系统；
图2是描述另一示例场景的示意图，在该示例场景中可以利用根据本公开的音频识别系统；
图3是描述根据本公开的实施例的音频识别系统的示例设备的框图；
图4是描述根据本公开的实施例的检测和分类车辆里面或外面的声音的示例程序的流程图；
图5是描述根据本公开的实施例的计算梅尔频率倒谱系数的示例程序的流程图；
图6是描述根据本公开的实施例的确定乘员或车辆是否处于风险中的示例程序的流程图。
具体实施方式
在下面的描述中，参考形成其一部分的附图，并且在附图中通过说明本公开可以实践的具体示例性实施例来显示。足够详细地描述这些实施例以使本领域技术人员能够实践在此公开的构思，并且将要理解的是在不背离本公开的范围的情况下可以对各种公开的实施例进行修改，并且可以利用其他实施例。因此，下面的详细描述不以限制的意义理解。
本公开描述安装在车辆中的音频识别系统，该音频识别系统可以确定车辆里面或外面的声音的起源并且基于声音的分类和车辆的状况来执行响应措施。
在根据本公开的各种实施例中，音频识别系统可以确定车辆周围的声音的起源(例如，来自车辆里面还是外面)并且通过神经网络机器学习来分类声音。音频识别系统可以与车辆传感器通信以获取车辆的状况。基于声音和车辆的状况，音频识别系统可以确定发送警告消息还是提供警报信号(例如，闪烁警报灯和/或汽车喇叭声)。
图1说明示例场景100，在该示例场景100中，可以利用根据本公开的音频识别系统110。场景100是当确定车辆120处于故意破坏或盗窃的风险中时在警告车辆120的所有者和旁观者时可以如何使用本公开的音频识别系统110的说明性示例。音频识别系统110可以检测和记录车辆120周围的声音(例如，机器的声音)。音频识别系统110也可以使用机器学习神经网络来训练，因此能够根据声音来自车辆120的里面还是外面来确定声音的起源。音频识别系统110可以具有在车辆120的内部和周围的传感器以监测车辆120的状况。基于声音的信息(车辆120的里面或外面)和车辆120的状况，音频识别系统110可以确定车辆120是否处于故意破坏或盗窃的风险中。
图1显示为说明性示例，车辆120外面的窃贼140试图顶起车辆120并且试图偷窃车辆120的车轮。操作千斤顶的声音可以被音频识别系统110检测和记录，如附图标记130所示。音频识别系统可以进一步地确定操作千斤顶的声音是起源于车辆120的外面，如附图标记132所示。车辆120的状况可以被车辆120的内部和周围的传感器监测，如附图标记134所示。能够感测倾斜的角度的传感器(比如ViperTM 507M倾斜运动传感器)在车门锁定时可以检测到车辆120被抬起。音频识别系统110通过神经网络机器学习处理从130、132和134获取的信息，如图1中的框150所示。基于框150的信息(例如，车辆120倾斜或另外以一种方式或另一种方式移动、车门锁定以及车辆120外面的声音)，音频识别系统110可以确定车辆120处于盗窃的风险中，如框160所示。相应地，音频识别系统110可以继续进行或另外导致警告消息(附图标记174)发送至车辆120的所有者的移动电话180(或等效装置)以及警报信号的激活。警报信号可以是闪烁前照灯(附图标记172)和汽车喇叭声(附图标记170)的组合。闪烁前照灯172和汽车喇叭声170可以引起旁观者的注意以检查车辆120或导致窃贼140停止盗窃和/或逃跑。
作为另一示例，音频识别系统110可以用从车辆120外面检测到的随机声音来获悉车辆120在运转中。车辆120可以在山上沿着路边停放并且伴随手制动器被部署。在发生手制动器失效的情况下，车辆120可以向下滑动至街道的较低部分。与示例场景100相似，音频识别系统110可以基于声音(指示没有乘员的外面的声音)的信息和车辆120的状况(在车门锁定并且没有钥匙插入点火钥匙孔中的情况下在运转中)来确定车辆120处于风险中并且发送相应的警告消息和/或警报信号(例如，以闪烁前照灯和汽车喇叭声的组合的方式)以防止旁观者的伤害。
图2说明另一示例场景200，在该示例场景200中，可以利用根据本公开的音频识别系统210。场景200是当确定车辆220里面的乘员处于危险的风险中时在警告车辆220的所有者和旁观者时可以如何使用本公开的音频识别系统210的说明性示例。音频识别系统210可以检测和记录车辆220中的声音(例如，婴儿或动物的声音)。音频识别系统210也可以使用机器学习神经网络来训练，因此能够根据声音来自车辆220的里面还是外面来确定声音的起源并且将声音识别到分类的类别中。类别可以包括例如但不限于成人、儿童和动物的声音。音频识别系统210可以具有在车辆220内部和周围的传感器以监测车辆220的状况。基于声音的信息(车辆220的里面或外面，以及声音类别)和车辆220的状况，音频识别系统210可以确定车辆220里面是否有乘员以及乘员——如果确定在车辆220里面——是否处于危险的风险中。
图2说明根据本公开的实施例的当音频识别系统210确定年幼乘员240可能独自留在车辆220里面时可能发生的情况。年幼乘员240(例如，婴儿)——当独自留在封闭车辆220中时——可能遭受高温并且例如通过哭泣发出不舒服的声音。音频识别系统210可以检测和记录婴儿哭泣的声音，如附图标记230所示。音频识别系统210可以首先确定声音起源于车辆220的里面(附图标记232)，并且可以把声音分类为“婴儿或儿童”(附图标记234)。这时候，音频识别系统210可以确定乘员240可能在车辆220里面。音频识别系统210可以具有在车辆220内部和周围的传感器以监测车辆220的状况，如附图标记236所示。音频识别系统210通过神经网络机器学习来处理从230、232、234和236获取的信息，如图2中的框250所示。与比如车辆220里面的温度和车门锁定这样的从内置传感器接收到的信息相结合，音频识别系统210可以确定乘员240可能处于危险中，如框260所示。一旦音频识别系统210确定乘员240可能处于危险的风险中，音频识别系统210就可以执行包括发送警告消息(附图标记276)至车辆220的所有者的移动电话280(或等效装置)和/或警报信号(例如，如附图标记274所示的闪烁前照灯和如附图标记272所示的汽车喇叭声的组合)的一系列措施。音频识别系统210可以进一步继续进行解锁车辆220的车门(附图标记270)以提高乘员240的存活机会。靠近车辆220的旁观者可以注意到闪烁前照灯274和/或汽车喇叭声272的警报信号，并且可以在没有打破车窗的情况下容易地拯救乘员240，打破车窗可能需要大量的体力或适当的工具以进入车辆220中。
作为场景200的替代示例，猫(或其他动物)可能独自留在车辆220里面。音频识别系统210可以确定猫的声音起源于车辆220的里面。音频识别系统210可以进一步地把声音分类为“动物的声音”。车辆220的状况可以被传感器监测并且传输至音频识别系统210。一旦车辆220的状况达到比如超过猫的100华氏度的高温这样的危险水平，音频识别系统210就可以确定该猫处于危险的风险中并且可以执行与上面提到的那些相似的一系列措施以试图要拯救该猫。
随着近年来由锂离子电池驱动的电子装置越来越普遍，对旅行者来说给车辆里面的锂离子电池充电是不可避免的。在某些情况下，锂离子电池在充电期间可能爆炸，因此给车辆里面的锂离子电池充电可能有在电池的爆炸之后着火的危险。在某些实施例中，可以利用音频识别系统210来减轻在发生电池爆炸的情况下损坏的程度。爆炸的声音当在车辆220里面时就可以被检测到并且被分类为“爆炸声或爆炸”。与上面提到的那些相似的紧急措施可以被音频识别系统210采取以警告车辆220的所有者，而不管车辆状况。如果车辆220的所有者及时地返回至车辆220以扑灭火，则在发生起火的情况下可以控制随后发生的损坏。
图3说明根据本公开的实施例的音频识别系统300的示例设备。音频识别系统300可以执行与在此描述的技术、方法和系统有关的各种功能，包括上面关于场景100和场景200描述的那些技术、方法和系统以及下面关于程序400、500和600描述的那些技术、方法和系统。音频识别系统300可以安装在、装配在、连接至或另外实施在场景100中的机动车辆120和场景200中的机动车辆220中以实现根据本公开的各种实施例。因此，音频识别系统300可以是音频识别系统110和音频识别系统210中的每一个的示例实施方式。音频识别系统300至少可以包括图3中说明的部件中的一些。
在某些实施例中，音频识别系统300可以包括至少一个麦克风。为了说明性目的但不限于，至少一个麦克风在图3中显示为一个或多个麦克风320(1)-320(N)，其中N是大于或等于1的正整数。一个或多个麦克风320(1)-320(N)可以包括放大器以提高检测声音的信噪比。一个或多个麦克风320(1)-320(N)中的每一个可以安装在或嵌入在车辆的不同位置中。在某些实施例中，一个或多个麦克风320(1)-320(N)中的至少一个可以安装在或嵌入在车辆里面的位置中。在某些实施例中，一个或多个麦克风320(1)-320(N)中的至少一个可以安装在或嵌入在车辆外面的位置中。
在某些实施例中，音频识别系统300可以包括通信装置330。通信装置330可以配置为从车辆里面的一个或多个部件接收数据和/或发送指令至车辆里面的该一个或多个部件。通信装置330可以配置为根据任何适当的无线和/或有线标准、规范和/或协议无线地和/或通过电线通信。
在某些实施例中，音频识别系统300可以包括配置为存储声音的原始数据342、各种类型的音频文件的数据库344、以及在其中的一个或多个软件程序346的存储装置340。例如，存储装置340可以存储配置为将记录的和/或实况声音转换为音频文件的软件程序。
在某些实施例中，音频识别系统300可以包括通信地连接的处理器310以处理从一个或多个麦克风320(1)-320(N)接收的声音数据。处理器310也可以连接至存储装置340以访问存储在其中的数据并且执行存储在其中的任何固件和/或软件程序。处理器310可以配置为将从一个或多个麦克风320(1)-320(N)接收到的声音数据在存储器340中存储为声音的原始数据342。在某些实施例中，AudacityTM可以与福特汽车的Ford SyncTM(福特车载多媒体通讯娱乐系统)麦克风一起使用以将声音记录为音频文件。音频文件可以被处理器310处理以计算梅尔频率倒谱系数。处理器310可以确定每个声音的起源是起源于车辆的里面还是外面并且基于神经网络学习把声音分类为不同的类别。类别至少可以包括例如但不限于成人、儿童和动物声音。
在某些实施例中，音频识别系统300可以包括至少一个传感器。为了说明性目的但不限于，至少一个传感器在图3中显示为一个或多个传感器325(1)-325(M)，其中M是大于或等于1的正整数。一个或多个传感器325(1)-325(M)中的每一个可以内置在、安装在或另外嵌入在车辆中以监测关于车辆的各自状况或参数。例如，一个或多个传感器325(1)-325(M)可以配置为监测比如例如但不限于钥匙是否插入点火钥匙孔中、钥匙是否在车辆里面、车辆是否被抬起、车辆是否在运转中、车辆的一个或多个车门是锁定的还是解锁的、以及车辆里面的温度达到或超过阈值温度这样的状况。
在某些实施例中，处理器310可以配置为直接和/或通过通信装置330从一个或多个传感器325(1)-325(M)接收车辆的状况。车辆的状况——为了说明性目的但不限于——可以包括钥匙没有插入点火钥匙孔中、钥匙没有在车辆里面、车辆被抬起、车辆在运转中、所有车门被锁定、以及车辆里面的温度达到或超过阈值温度。处理器310可以确定乘员或车辆是否处于危险或盗窃的风险中，并且可以通过通信装置330提供一个或多个指令至用于指令执行的车辆的一个或多个部件。车辆的一个或多个部件可以根据指令执行措施。措施可以包括例如但不限于发送一个或多个警告消息至车辆的所有者的电话、闪烁前照灯、汽车喇叭声、解锁车门、或者两个或两个以上上述措施的组合。
在某些实施例中，音频识别系统300可以包括第一神经网络350和第二神经网络360。第一神经网络350可以用在大致20-20000赫兹的人类听觉可感知的范围内的在车辆的里面或者外面播放的声音集来训练。因为在车辆的外面播放的一些声音频率可能被车辆的结构(例如，车门、车窗、挡风玻璃和车身)挡住，所以在车辆里面播放的声音可以产生与在车辆外面播放的声音不同的梅尔频率倒谱系数(在声音的功率谱的直接余弦变换之后的合成频谱的振幅，在程序500部分中提供细节)。第二神经网络360可以用不同类别的若干声音集来训练，该声音至少可以包括成人、儿童和动物声音。在某些实施例中，类别可以包括如在示例场景100和示例场景200中描述的比如婴儿哭泣和电池爆炸这样的关于乘员或车辆的安全性的声音。第一神经网络350和第二神经网络360可以包括一个输入层、至少一个隐藏层和一个输出层。隐藏层从前一层(例如输入层)接收数据并且在发送该数据至下一层(例如输出层)之前修改该数据。隐藏层由具有与每个输入有关的权重因子的节点(或神经元)和每个节点的偏差因子组成。在整个学习周期中通过适当地调整隐藏层中的每个节点的权重因子和偏差因子，神经网络可以被训练为为给定类型的输入报告正确的输出(是或否)。隐藏层可以包括不同数量的节点(或神经元)，这取决于任务的复杂性。由于与确定给定声音是否播放或另外起源于车辆的里面或外面相比分类声音的更大复杂性，所以第二神经网络360可以在隐藏层中包括比第一神经网络350更多的节点。在某些实施例中，MATLABTM(矩阵实验室)的模式识别工具“nrptool”可以用于建立比如第一神经网络350和第二神经网络360这样的神经网络。在某些实施例中，第一神经网络350可以在隐藏层中具有多个节点(例如，10个节点或20个节点)，并且第二神经网络360可以在隐藏层中具有更多的节点(例如，100个节点)以实现与第一神经网络350可比较的学习周期(因为分类声音的任务可能比确定声音的起源更复杂，因此更多节点可以帮助加速学习过程的收敛性)。
图4说明根据本公开的示例程序400。程序400可以用于训练神经网络以实现根据本公开的声音分类和识别。程序400可以包括如比如410、420、430和440这样的框所示的一个或多个操作、措施或功能。虽然说明为离散框，但程序400的各个框可以被分成附加框、组合为更少的框或删去，这取决于所需的实施，并且可以以与图4中显示的顺序不同的顺序执行或另外执行。程序400可以在场景100和/或场景200中实施，并且可以通过音频识别系统300实施。为了说明性目的但不限于程序400的范围，当被音频识别系统300实施时，程序400的下面描述在场景200的背景下提供。程序400可以从框410开始。
在410，程序400可以包含音频识别系统300的处理器310根据是否发起声音记录过程来获取车辆220的状况。当车辆220的状况保证需要记录声音时，可以通过处理器310发起声音记录过程，该声音记录过程可以由音频识别系统300限定。音频识别系统300通过在车辆220的内部和周围的一个或多个传感器325(1)-325(M)来监测车辆220的状况，并且一旦满足车辆220的例如钥匙没有插入点火钥匙孔中并且车门锁定这样的状况，该音频识别系统300就可以开始声音检测和记录过程。程序400可以从410前进至420。
在420，程序400可以包含处理器310和软件程序346将从一个或多个麦克风320(1)-320(N)接收到的声音记录到音频文件中。一个或多个麦克风320(1)-320(N)的位置可以分布在车辆220的内部和周围。不同的声音集可以提供用于第一神经网络350和/或第二神经网络360的神经网络学习的训练、验证和测试目的。在某些实施例中，不同的声音集可以包含用来自车辆220里面或外面的频率范围20-20K赫兹播放的扬声器。在另一实施例中，声音集可以包括成人谈话、儿童笑声或哭声、狗吠叫或猫喵叫。根据记录的不同声音的音频文件可以在存储器340中存在于音频数据库344中以用于进一步处理。程序400可以从420前进至430。
在430，程序400可以包含处理器310和第一神经网络350确定每一个记录的声音来自车辆220的里面还是外面。用来自车辆220的里面或外面的频率范围20-20K赫兹播放的扬声器可以作为训练声音集提供给第一神经网络350。处理器310可以对音频文件集执行傅立叶变换并且分别计算梅尔频率倒谱系数来作为至第一神经网络350的输入。预定百分比的音频文件可以分别被分配用于训练、验证和测试。在某些实施例中，用于训练、验证和测试的音频文件的百分比可以分别是70％、15％和15％。可以通过把梅尔频率倒谱系数当作输入并且调整每个节点的权重和偏差因子以获取指定的输出来训练第一神经网络350。外面声音和车辆220的尺寸之间的干涉现象可以导致外面声音的频谱中某些频率缺失并且甚至当里面/外面声音两者来自同一来源时可以产生与里面声音相比不同的梅尔频率倒谱系数。外面声音的振幅可以进一步地被车辆自身阻尼。在某些实施例中，第一神经网络350可以包括多个节点(例如，10个节点或20个节点)并且可以根据反向传播算法来调整权重和偏差因子。如上所述配置的第一网络神经网络350可以对声音起源(车辆220的里面或外面)的确定达到具有均方误差小于0.2％的精确度。程序400可以从430前进至440。
在440，程序400可以包含处理器310和第二神经网络360把记录的声音分类为若干类别。包括成人谈话、儿童笑声或哭声、狗吠叫或猫喵叫以及其他人造和/或自然声音的不同的声音集可以作为训练声音集提供给第二神经网络360。处理器310可以对音频文件集执行傅立叶变换并且分别计算梅尔频率倒谱系数以作为至第二神经网络360的输入。预定百分比的音频文件可以分别分配用于训练、验证和测试。在某些实施例中，用于训练、验证和测试的音频文件的百分比分别是40％、30％和30％。第二神经网络360可以把梅尔频率倒谱系数当作输入并且调整每个节点的权重和偏差因子以获取指定的输出。在某些实施例中，第二神经网络360可以包括多个节点(例如，100个节点)并且可以根据反向传播算法来调整权重和偏差因子。如上所述配置的第二网络神经网络360可以对声音类别(成人、儿童或动物声音)的分类达到具有均方误差小于0.2％的精确度。
图5说明根据本公开的计算梅尔频率倒谱系数的示例程序500。程序500可以用于将作为输入的音频文件的特性传输至神经网络以用于机器学习的目的。程序500可以包括如比如510、520、530、540和550这样的框所示的一个或多个操作、措施或功能。虽然说明为离散框，但程序500的各个框可以被分成附加框、组合为更少的框或删去，这取决于所需的实施，并且可以以与图5中显示的顺序不同的顺序执行或另外执行。程序500可以在场景100和/或场景200中并且通过处理器310实施。为了说明性目的但不限于程序500的范围，当被音频识别系统300的处理器310实施时，程序500的下面描述在场景200的背景下提供。程序500可以从框510开始。
在510，程序500可以包含处理器310把声音记录至音频文件中以用于进一步处理。每一个音频文件可以包括可以表示谈话、解说背景、婴儿哭声、动物声音、汽车经过、或飞机飞过的声音的段。音频文件可以看作是数学上随时间变化的振幅。程序500可以从510前进至520。
在520，程序500可以包含处理器310将来自随时间变化的振幅的音频文件转换为随频率变化的振幅。在数学语言中，可以通过处理器310对记录的音频文件执行傅立叶变换。程序500可以从520前进至530。
在530，程序500可以包含处理器310将一组梅尔滤波器应用于傅立叶变换的音频文件并且将水平线性频率轴转换为梅尔刻度。梅尔刻度是由彼此距离相等的听众判断的音高的感知刻度。当与线性刻度相比时，梅尔刻度更接近地代表人类听觉，因为人类听觉非线性地分解声音。在某些实施例中，十三个梅尔滤波器可以用于过滤。每个梅尔滤波器可以是三角形的并且中心在不同的梅尔频率达到峰值。在梅尔过滤之后产生的频谱可以被称为梅尔频率谱。程序500可以从530前进至540。
在540，程序500可以包含处理器310对梅尔频率谱执行对数运算。程序500可以从540前进至550。
在550，程序500可以包含处理器310将离散余弦变换应用于梅尔频率谱的对数。离散余弦变换的结果是与使用的梅尔滤波器的数量有关的梅尔频率倒谱系数集。在某些实施例中，作为程序500的结果可以获取十三个梅尔频率倒谱系数。
图6说明根据本公开的确定乘员或车辆是否处于风险中的示例程序600。程序600可以包括如比如610、620、630和640这样的框所示的一个或多个操作、措施或功能。虽然说明为离散框，但程序600的各个框可以被分成附加框、组合为更少的框或删去，这取决于所需的实施，并且可以以与图6中显示的顺序不同的顺序执行或另外执行。程序600可以在场景100和/或场景200中并且通过处理器310实施。为了说明性目的但不限于程序600的范围，当被音频识别系统300实施时，程序600的下面描述可以在场景200的背景下提供。程序600可以从框610开始。
在610，程序600可以包含处理器310从一个或多个麦克风320(1)-320(N)接收听觉信息。此外，程序600也可以包含第一神经网络350和第二神经网络360基于从一个或多个麦克风320(1)-320(N)接收到的声音来确定乘员是否在车辆220里面。第一神经网络350可以确定声音来自车辆220的里面还是外面。第二神经网络360可以把声音分类为属于成人、儿童还是动物。如果通过第一神经网络350确定声音来自车辆的里面并且通过第二神经网络360分类为成人声音、儿童声音或动物声音，那么音频识别系统300可以确定乘员(无论是人类还是动物)可能在车辆220里面。程序600可以从610前进至620。
在620，程序600可以包含处理器310例如通过通信装置330从一个或多个传感器325(1)-325(M)接收车辆220的一个或多个状况的车辆信息。在某些实施例中，车辆220的状况可以包括例如但不限于钥匙没有插入点火钥匙孔中、钥匙没有在车辆220里面、车辆220被抬起、车辆220在运转中、车辆220的车门锁定、或车辆220里面的温度达到或超过阈值温度。在此列出的车辆220的状况用于说明性目的并且不应该认为限制本公开的范围。程序600可以从620前进至630。
在630，程序600可以包含处理器310确定车辆220的乘员是否处于危险的风险中或车辆220是否处于盗窃的风险中。车辆220的状况和来自第一和第二神经网络350和360的信息的组合可以足够确定车辆220里面的乘员是否处于危险的风险中。例如，具有高于100华氏度的温度的车辆220里面的乘员哭声(通过第一神经网络350确定是里面的声音并且哭声通过第二神经网络360识别为儿童声音)。作为另一示例，来自车辆220的里面的大的爆炸声可以指示电子装置的电池爆炸和车辆220的火灾隐患。程序600可以从630前进至640。
在640，程序600可以包含处理器310一经确定乘员或车辆220处于风险中就触发一个或多个措施。在某些实施例中，处理器310可以通过通信装置330给车辆220的一个或多个部件提供指令以执行一系列响应措施。例如，一旦乘员被识别为处于危险的风险中，一系列警告消息就可以通过无线可传输部件发送至车辆220的所有者。是否呼叫911可以由车辆220的所有者决定，这取决于他/她相对于车辆220的位置的接近度。可以部署闪烁前照灯和汽车喇叭声以引起旁观者的注意。处理器310可以进一步地向车辆的解锁车门发出指令用于提高乘员的存活机会。
在上述公开中，已经参考形成其一部分的附图，并且在附图中通过说明本公开可以实践的具体实施方式来显示。理解的是在不背离本公开的范围的情况下可以利用其他实施方式并且可以做出结构变化。说明书中提到的“一个实施例”、“实施例”、“示例实施例”等，指示描述的实施例可以包括特定的特征、结构或特性，但每个实施例可能不一定包括特定的特征、结构或特性。此外，这样的短语不一定指的是同一实施例。此外，当针对实施例描述特定的特征、结构或特性时，认为影响与其他实施例有关的这样的特征、结构或特性是在本领域技术人员的知识范围内的而不论是否明确地描述。
在此公开的系统、设备、装置和方法的实施可以包含或利用包括如在此讨论的比如例如一个或多个处理器和系统存储器这样的计算机硬件的专用或通用计算机。在本公开的范围内的实施也可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可获得的介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，通过示例但不限于，本公开的实施可以包含至少两个明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(带电可擦可编程只读存储器)、CD-ROM(紧凑型光盘只读存储器)、固态硬盘(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储器、磁盘存储器或其他磁存储装置、或可以用于以计算机可执行指令或数据结构形式存储所需的程序代码方法并且可以被通用或专用计算机访问的任何其他介质。
在此公开的装置、系统和方法的实施可以通过计算机网络通信。“网络”被定义为实现计算机系统和/或模块和/或其他电子装置之间的电子数据的传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬连线、无线、或者硬连线或无线的任意组合)传输或提供至计算机时，计算机适当地把连接看作传输介质。传输介质可以包括网络和/或数据链路，该传输介质可以用于以计算机可执行指令或数据结构的形式携带所需的程序代码方法并且可以被通用或专用计算机访问。上面的组合也应该包括在计算机可读介质的范围内。
计算机可执行指令包含例如指令和数据，该指令和数据当在处理器上执行时，使通用计算机、专用计算机或专用处理装置执行某一功能或一组功能。计算机可执行指令可以是例如二进制、比如汇编语言这样的中间格式指令、或甚至源代码。虽然已经针对结构特征和/或方法论行为用语言描述了主题，但要理解的是在附属权利要求中限定的主题不一定限于上面描述的描述的特征或行为。相反，描述的特征和行为作为实施权利要求的示例形式进行公开。
本领域技术人员将领会的是本公开可以用许多类型的计算机系统配置在网络计算环境中实践，包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器的或可编程的消费性电子产品、网络个人计算机、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、呼叫器、路由器、转换器、各种存储装置等。本公开也可以在分布式系统环境中实践，在该分布式系统环境中，通过网络连接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的任意组合)的本地和远程计算机系统两者执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
此外，在适当的时候，在此描述的功能可以以下中的一个或多个中执行：硬件、软件、固件、数字元件或模拟元件。例如，一个或多个专用集成电路(ASIC)可以编程为执行在此描述的系统和程序中的一个或多个。某些术语在整个描述和权利要求中使用以指出特定的系统部件。如同本领域技术人员将领会的是，可以通过不同的名字指出部件。本文件不旨在区分部件在名字方面不同，而不是在功能方面。
应该注意的是，上面讨论的传感器实施例可以包含计算机硬件、软件、固件、或其任意组合以至少执行它们功能的一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在此提供用于说明的目的，并且不旨在限制。本公开的实施例可以在如将被相关领域的技术人员已知的更多类型的装置中实施。
至少本公开的某些实施例已经指向包含存储在任何计算机可用介质上的这样的逻辑(例如，以软件的形式)的计算机程序产品。这样的软件——当在一个或多个数据处理装置中执行时——使装置如在此描述地操作。
虽然已经在上面描述了本公开的各种实施例，但应该理解的是它们已经仅通过示例并且不限于示例而提出。将对相关领域技术人员显而易见的是，在不背离本公开的精神和范围的情况下可以在其中做出形式和细节方面的各种变化。因此，本公开的广度和范围不应该受到任何上述示例性实施例的限制，但仅应该根据下面的权利要求和它们的等效意义限定。上述描述已经为了说明和描述的目的而呈现。不旨在是详尽的或将本公开限制于公开的精确形式。根据上述教导，许多修改和变化是可能的。此外，应该注意的是，上述替代实施中的任何或全部可以以所需的任何组合使用以形成本公开的附加混合实施。

Claims (15)

1.一种方法，所述方法包含：
从一个或多个麦克风接收听觉信息；
从一个或多个传感器接收车辆的一个或多个状况的车辆信息；
基于所述车辆信息和所述听觉信息来确定所述车辆是否处于盗窃的风险中或所述车辆的乘员是否处于危险的风险中；以及
一经确定所述乘员或所述车辆处于风险中就触发一个或多个措施。
2.根据权利要求1所述的方法，其中所述从所述一个或多个麦克风接收所述听觉信息包含基于第一神经网络和第二神经网络的信息来确定所述乘员是否在所述车辆里面。
3.根据权利要求2所述的方法，其中基于所述第一神经网络和所述第二神经网络的信息来确定所述乘员是否在所述车辆里面通过执行包含以下的操作：
检测在所述车辆内部和周围的多个声音；
把所述声音记录到多个音频文件中；
基于所述第一神经网络的信息来确定所述声音起源于所述车辆的里面还是外面；以及
基于所述第二神经网络的信息把所述声音分类为多个类别。
4.根据权利要求3所述的方法，其中所述检测在所述车辆内部和周围的所述声音包含通过关闭所述车辆或通过按发动机停止按钮、钥匙没有插入点火钥匙孔中、以及所述车辆的一个或多个车门被锁定来发起所述声音的检测。
5.根据权利要求3所述的方法，其中所述确定所述声音起源于所述车辆的里面还是外面包含通过所述第一神经网络的所述音频文件的机器学习。
6.根据权利要求3所述的方法，其中把所述声音分类为多个类别包含通过所述第二神经网络的所述音频文件的机器学习。
7.根据权利要求5所述的方法，其中通过所述第一神经网络的所述音频文件的所述机器学习包含：
通过计算每一个所述音频文件的各自梅尔频率倒谱系数集而用梅尔频率倒谱算法来处理所述音频文件；以及
通过所述第一神经网络来处理所述梅尔频率倒谱系数以获悉各自音频文件的特性集，
其中所述处理所述音频文件包含以梅尔刻度执行所述音频文件的对数和线性傅立叶变换。
8.根据权利要求5所述的方法，其中通过所述第二神经网络的所述音频文件的所述机器学习包含：
通过计算每一个所述音频文件的各自梅尔频率倒谱系数集而用梅尔频率倒谱算法来处理所述音频文件；以及
通过所述第二神经网络来处理所述梅尔频率倒谱系数以获悉各自音频文件的特性集，
其中所述处理所述音频文件包含以梅尔刻度执行所述音频文件的对数和线性傅立叶变换。
9.根据权利要求1所述的方法，其中所述一个或多个措施包含发送一个或多个警告消息、发出一个或多个警报信号、解锁所述车辆的一个或多个车门、或其组合，并且其中所述车辆的所述一个或多个状况包含以下中的一个或多个：
钥匙没有插入点火钥匙孔中；
钥匙没有在所述车辆里面；
所述车辆被抬起；
所述车辆在运转中；
所述车辆的一个或多个车门被锁定；以及
所述车辆里面的温度达到或超过阈值温度。
10.一种作为车辆的音频识别系统实施的设备，所述设备包含：
配置为检测多个声音的一个或多个麦克风；
配置为监测所述车辆的一个或多个状况的一个或多个传感器；
配置为存储所述声音的原始数据和从所述声音记录的多个音频文件的存储器；
配置为执行操作的处理器，所述操作包含：
在所述存储器中把所述声音记录为所述音频文件；
通过计算每一个所述音频文件的各自梅尔频率倒谱系数集而用梅尔频率倒谱算法来处理所述音频文件；以及
从所述传感器接收所述车辆的所述一个或多个状况的信息；
包含具有第一节点集的至少第一隐藏层的第一神经网络；以及
包含具有第二节点集的至少第二隐藏层的第二神经网络。
11.根据权利要求10所述的设备，其中，所述处理器配置为在所述处理所述音频文件时，以梅尔刻度执行所述音频文件的对数操作和线性傅立叶变换。
12.根据权利要求10所述的设备，其中所述第一神经网络配置为执行包含以下的操作：
处理所述梅尔频率倒谱系数以获悉从所述声音记录的各自音频文件的特性集；以及
确定所述声音起源于所述车辆的里面还是外面。
13.根据权利要求10所述的设备，其中所述第二神经网络配置为执行包含以下的操作：
处理所述梅尔频率倒谱系数以获悉从所述声音记录的各自音频文件的特性集；以及
把所述声音分类为多个类别。
14.根据权利要求10所述的设备，其中所述车辆的所述一个或多个状况包含以下中的一个或多个：
钥匙没有插入点火钥匙孔中；
钥匙没有在所述车辆里面；
所述车辆被抬起；
所述车辆在运转中；
所述车辆的一个或多个车门被锁定；以及
所述车辆里面的温度达到或超过阈值温度。
15.根据权利要求10所述的设备，其中，所述处理器进一步地配置为执行包含以下的操作：
基于所述第一神经网络和所述第二神经网络的信息来确定乘员是否在所述车辆里面；
基于所述车辆的所述一个或多个状况的信息以及所述第一神经网络和所述第二神经网络的信息来确定所述车辆是否处于盗窃的风险中或所述乘员是否处于危险的风险中；以及
一经确定所述乘员或所述车辆处于风险中就触发一个或多个措施，
其中所述设备进一步地包含通信装置，所述通信装置配置为将关于将要由所述车辆的多个部件执行的多个措施的多个指令传输至所述车辆的所述多个部件，
其中，所述处理器配置为在触发所述一个或多个措施时，通过所述通信装置向所述车辆的一个或多个部件提供一个或多个指令，并且
其中所述一个或多个措施包含发送一个或多个警告消息、发出一个或多个警报信号、解锁所述车辆的一个或多个车门、或其组合。
CN201710976026.3A 2016-10-19 2017-10-19 通过神经网络机器学习的车辆周围音频分类 Active CN107967917B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/298,077 2016-10-19
US15/298,077 US10276187B2 (en) 2016-10-19 2016-10-19 Vehicle ambient audio classification via neural network machine learning

Publications (2)

Publication Number Publication Date
CN107967917A true CN107967917A (zh) 2018-04-27
CN107967917B CN107967917B (zh) 2023-06-20

Family

ID=60326673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710976026.3A Active CN107967917B (zh) 2016-10-19 2017-10-19 通过神经网络机器学习的车辆周围音频分类

Country Status (6)

Country Link
US (2) US10276187B2 (zh)
CN (1) CN107967917B (zh)
DE (1) DE102017124291A1 (zh)
GB (1) GB2556687A (zh)
MX (1) MX2017013379A (zh)
RU (1) RU2017134281A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166593A (zh) * 2018-08-17 2019-01-08 腾讯音乐娱乐科技（深圳）有限公司 音频数据处理方法、装置及存储介质
CN109171644A (zh) * 2018-06-22 2019-01-11 平安科技（深圳）有限公司 基于声音识别的健康管理方法、装置、计算机设备和存储介质
CN109192202A (zh) * 2018-09-21 2019-01-11 平安科技（深圳）有限公司 语音安全识别方法、装置、计算机设备及存储介质
CN109784318A (zh) * 2019-03-13 2019-05-21 西北工业大学 基于神经网络的Link16数据链信号的识别方法
CN110176248A (zh) * 2019-05-23 2019-08-27 广西交通科学研究院有限公司 道路声音识别方法、系统、计算机设备及可读存储介质
CN110189769A (zh) * 2019-05-23 2019-08-30 复钧智能科技(苏州)有限公司 基于多个卷积神经网络模型结合的异常声音检测方法
CN110633576A (zh) * 2018-06-22 2019-12-31 顶级公司 数据处理
CN111016778A (zh) * 2018-10-09 2020-04-17 通用汽车环球科技运作有限责任公司 用于外部麦克风的防风件
CN112489631A (zh) * 2019-08-21 2021-03-12 美光科技公司 控制音频内容到车厢中的递送的系统、方法和设备
CN113792596A (zh) * 2021-08-10 2021-12-14 广东省科学院智能制造研究所 一种基于预处理集成学习的声学分类方法及系统
CN114407832A (zh) * 2022-01-24 2022-04-29 中国第一汽车股份有限公司 一种用于车身防刮防盗的监控方法、车身控制器及车辆
CN115139983A (zh) * 2021-03-30 2022-10-04 上海博泰悦臻网络技术服务有限公司 信息提示的方法、设备及存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038717B (zh) * 2014-06-26 2017-11-24 北京小鱼在家科技有限公司 一种智能录制系统
US9869560B2 (en) 2015-07-31 2018-01-16 International Business Machines Corporation Self-driving vehicle's response to a proximate emergency vehicle
US9944291B2 (en) 2015-10-27 2018-04-17 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US10607293B2 (en) 2015-10-30 2020-03-31 International Business Machines Corporation Automated insurance toggling for self-driving vehicles
US10685391B2 (en) 2016-05-24 2020-06-16 International Business Machines Corporation Directing movement of a self-driving vehicle based on sales activity
US10643256B2 (en) 2016-09-16 2020-05-05 International Business Machines Corporation Configuring a self-driving vehicle for charitable donations pickup and delivery
US10363893B2 (en) * 2017-01-05 2019-07-30 International Business Machines Corporation Self-driving vehicle contextual lock control system
US11120817B2 (en) * 2017-08-25 2021-09-14 David Tuk Wai LEONG Sound recognition apparatus
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
US10997975B2 (en) * 2018-02-20 2021-05-04 Dsp Group Ltd. Enhanced vehicle key
US20190279100A1 (en) * 2018-03-09 2019-09-12 Lattice Semiconductor Corporation Low latency interrupt alerts for artificial neural network systems and methods
JP6610693B2 (ja) * 2018-03-20 2019-11-27 株式会社Ｊｖｃケンウッド 車両用撮像記録装置、車両用撮像制御方法及びプログラム
DE102018211758A1 (de) * 2018-05-07 2019-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zur akustischen überwachung eines überwachungsbereichs
US10922833B2 (en) * 2018-05-15 2021-02-16 Apical Ltd. Image processing
US10832672B2 (en) * 2018-07-13 2020-11-10 International Business Machines Corporation Smart speaker system with cognitive sound analysis and response
US10832673B2 (en) 2018-07-13 2020-11-10 International Business Machines Corporation Smart speaker device with cognitive sound analysis and response
DE102018214420A1 (de) * 2018-08-27 2020-02-27 Zf Friedrichshafen Ag Fahrerassistenzsystem
CN109398230A (zh) * 2018-08-30 2019-03-01 杨子午 乘客个人安全防护方法及系统
JP6702390B2 (ja) * 2018-10-09 2020-06-03 トヨタ自動車株式会社 車両用駆動装置の制御装置、車載電子制御ユニット、学習済みモデル、機械学習システム、車両用駆動装置の制御方法、電子制御ユニットの製造方法及び出力パラメータ算出装置
IT201800009289A1 (it) * 2018-10-09 2020-04-09 Giuseppe Guida Un apparato acustico per monitorare e rilevare la presenza di un soggetto all'interno di un autoveicolo
US10988110B1 (en) * 2018-11-14 2021-04-27 Waymo Llc Safety considerations for self-driving vehicles
DE102018222780A1 (de) * 2018-12-21 2020-06-25 Forschungsgesellschaft Kraftfahrwesen Mbh Aachen (Fka) Kalibrierung eines Fahrzeugmikrophons
CN109606260B (zh) * 2018-12-26 2020-12-11 北京蓦然认知科技有限公司 一种车外声音提示的方法及装置
GB2581331B (en) 2019-02-05 2021-06-02 Ford Global Tech Llc A method and system for vehicle protection
JP2020140401A (ja) * 2019-02-27 2020-09-03 株式会社Ｊｖｃケンウッド 異常監視システム、及び、異常監視方法
IT201900003875A1 (it) * 2019-03-18 2020-09-18 Ask Ind Spa Sistema per monitorare una scena acustica all'esterno di un veicolo.
DE102019204209A1 (de) * 2019-03-27 2020-10-01 Robert Bosch Gmbh Verfahren und System zum Bestimmen eines Funktionsstatus eines Mikrofons
CN110598735B (zh) * 2019-08-05 2022-07-08 深圳市海雀科技有限公司 一种访客信息提醒方法及装置
US11225214B2 (en) * 2019-08-06 2022-01-18 Ford Global Technologies, Llc Window striker
US20210049480A1 (en) * 2019-08-12 2021-02-18 Micron Technology, Inc. Predictive maintenance of automotive battery
DE102019212789A1 (de) * 2019-08-27 2021-03-04 Zf Friedrichshafen Ag Verfahren zum Erkennen eines Explosionsgeräusches in einer Umgebung eines Fahrzeugs
DE102019213818A1 (de) * 2019-09-11 2021-03-11 Zf Friedrichshafen Ag Detektieren von akustischen Betriebsmitteln eines Bahnübergangs
CN111863029A (zh) * 2019-09-19 2020-10-30 北京嘀嘀无限科技发展有限公司 一种基于音频的事件检测方法和系统
DE102019216628A1 (de) * 2019-10-29 2021-04-29 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Schließzustands einer Fahrzeugtür
KR20210050812A (ko) * 2019-10-29 2021-05-10 현대자동차주식회사 차량 및 차량의 제어방법
DE102019218069A1 (de) * 2019-11-22 2021-05-27 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Erkennen und Klassifizieren eines Unfallgegners
US11664044B2 (en) * 2019-11-25 2023-05-30 Qualcomm Incorporated Sound event detection learning
KR20220116434A (ko) * 2020-01-02 2022-08-23 젠텍스 코포레이션 차량 내 레이더 기반 모니터링
EP3872779A1 (en) 2020-02-27 2021-09-01 Axis AB Method, software, and device for training an alarm system to classify audio of an event
US11862189B2 (en) * 2020-04-01 2024-01-02 Qualcomm Incorporated Method and apparatus for target sound detection
CN113744431B (zh) * 2020-05-14 2024-04-09 大富科技(安徽)股份有限公司 一种共享单车车锁控制装置、方法、设备及介质
US11667265B2 (en) * 2020-07-14 2023-06-06 Micron Technology, Inc. Activating a security mode for a vehicle based on driver identification
US11436864B2 (en) 2020-07-14 2022-09-06 Micron Technology, Inc. Driver recognition to control vehicle systems
US11620895B2 (en) * 2020-08-05 2023-04-04 Allstate Insurance Company Systems and methods for disturbance detection and identification based on disturbance analysis
US20220178324A1 (en) * 2020-12-09 2022-06-09 Transportation Ip Holdings, Llc Systems and methods for diagnosing equipment
US11766919B2 (en) * 2021-01-28 2023-09-26 Caterpillar Inc. System and method of climate control in unmanned machine
CN113256925A (zh) * 2021-05-08 2021-08-13 浙江宏海智能科技有限公司 一种智能楼宇入侵报警方法、系统及其存储介质
FR3124146A1 (fr) * 2021-06-16 2022-12-23 Digitall Paris Systeme pour prevenir un vol de vehicule, notamment automobile et procede de mise en œuvre d’un tel systeme
US11919475B2 (en) * 2021-06-22 2024-03-05 GM Global Technology Operations LLC Methods and systems to detect vehicle theft events
DE102021126088A1 (de) 2021-10-07 2023-04-13 Pierburg Gmbh Insassenanwesenheits-Detektionssystem für ein Fahrzeug und Verfahren zur Detektion der Anwesenheit von Insassen in einem Fahrzeug
CN114420163B (zh) * 2022-01-18 2023-04-07 小米汽车科技有限公司 声音识别方法、装置、存储介质、电子设备及车辆
DE102022210557A1 (de) 2022-10-06 2024-04-11 Volkswagen Aktiengesellschaft Verfahren zur Vandalismuserkennung an einem Fahrzeug

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145516A1 (en) * 2001-04-06 2002-10-10 Moskowitz Paul Andrew System and method for detection and notification of dangerous environmental situations in a vehicle
US20040188164A1 (en) * 2003-03-26 2004-09-30 Fujitsu Ten Limited Vehicle anti theft system, vehicle anti theft method, and computer program
CN1889172A (zh) * 2005-06-28 2007-01-03 松下电器产业株式会社 可增加和修正声音类别的声音分类系统及方法
US20110074565A1 (en) * 2009-09-28 2011-03-31 Ford Global Technologies, Llc Method and apparatus for in-vehicle presence detection and driver alerting
JP2011247950A (ja) * 2010-05-24 2011-12-08 National Institute Of Advanced Industrial & Technology 信号特徴抽出装置および信号特徴抽出方法
US20150215716A1 (en) * 2014-01-28 2015-07-30 Cambridge Silicon Radio Limited Audio based system and method for in-vehicle context classification
CN104952449A (zh) * 2015-01-09 2015-09-30 珠海高凌技术有限公司 环境噪声声源识别方法及装置
CN105083221A (zh) * 2015-09-29 2015-11-25 宇龙计算机通信科技(深圳)有限公司 一种基于权限处理的用车控制方法、装置及车载设备
CN105329199A (zh) * 2015-10-23 2016-02-17 苏文辉 一种应用于车辆的儿童看护方法及装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381065A (en) * 1992-04-08 1995-01-10 Jones; Thomas Vehicle window and lock securement
US5576972A (en) * 1992-05-08 1996-11-19 Harrison; Dana C. Intelligent area monitoring system
IT1275766B1 (it) * 1994-07-16 1997-10-17 Kiekert Ag Procedimento per il controllo dell'abitacolo in un autoveicolo
IT1275549B (it) 1994-07-16 1997-08-07 Kiekert Ag Procedimento per la sorveglianza dello spazio interno di un veicolo
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US6028537A (en) * 1996-06-14 2000-02-22 Prince Corporation Vehicle communication and remote control system
US5780937A (en) * 1997-02-10 1998-07-14 Kong; Yu Wei Safety management system for a motor vehicle
US6718239B2 (en) * 1998-02-09 2004-04-06 I-Witness, Inc. Vehicle event data recorder including validation of output
EP1039313A1 (en) * 1999-03-17 2000-09-27 Valeo Services Limited Intrusion detection process and device
US6630884B1 (en) * 2000-06-12 2003-10-07 Lucent Technologies Inc. Surveillance system for vehicles that captures visual or audio data
US9015071B2 (en) * 2000-09-08 2015-04-21 Intelligent Technologies International, Inc. Asset monitoring using the internet
WO2012125726A1 (en) * 2011-03-14 2012-09-20 Intelligent Technologies International, Inc. Cargo theft prevention system and method
US8410945B2 (en) * 2002-06-11 2013-04-02 Intelligent Technologies International, Inc Atmospheric monitoring
US9082237B2 (en) * 2002-06-11 2015-07-14 Intelligent Technologies International, Inc. Vehicle access and security based on biometrics
US20030233233A1 (en) * 2002-06-13 2003-12-18 Industrial Technology Research Institute Speech recognition involving a neural network
US7302339B2 (en) * 2003-07-21 2007-11-27 Justin Gray Hazard countermeasure system and method for vehicles
US7620546B2 (en) * 2004-03-23 2009-11-17 Qnx Software Systems (Wavemakers), Inc. Isolating speech signals utilizing neural networks
US7355508B2 (en) * 2004-05-21 2008-04-08 International Electronic Machines Corp. System and method for monitoring an area
US7353088B2 (en) * 2004-10-25 2008-04-01 Ford Global Technologies, Llc System and method for detecting presence of a human in a vehicle
JP2006199204A (ja) * 2005-01-21 2006-08-03 Sanyo Electric Co Ltd ドライブレコーダ及びドライブレコーダの制御方法
TWI297486B (en) 2006-09-29 2008-06-01 Univ Nat Chiao Tung Intelligent classification of sound signals with applicaation and method
WO2008055306A1 (en) 2006-11-09 2008-05-15 Curtin University Of Technology Machine learning system for graffiti deterrence
JP2009122946A (ja) * 2007-11-14 2009-06-04 Fujitsu Ten Ltd 情報記憶装置
US20090273673A1 (en) * 2008-05-01 2009-11-05 Worley Iii John R Personal vehicle surveillance system
ES2386673T3 (es) * 2008-07-03 2012-08-24 Mobiter Dicta Oy Procedimiento y dispositivo de conversión de voz
US20120004933A1 (en) * 2010-02-09 2012-01-05 At&T Mobility Ii Llc System And Method For The Collection And Monitoring Of Vehicle Data
US20110281562A1 (en) * 2010-05-14 2011-11-17 General Motors Llc Providing customized in-vehicle services using a vehicle telematics unit
US20120050021A1 (en) 2010-08-27 2012-03-01 Ford Global Technologies, Llc Method and Apparatus for In-Vehicle Presence Detection and Driver Alerting
US8847750B1 (en) 2011-06-30 2014-09-30 Universal Lighting Technologies, Inc. Network of dual technology occupancy sensors and associated lighting control method
US9000906B2 (en) * 2011-08-22 2015-04-07 Alissa Marie Chavez Vicinity motion detector-based occupant detection and notification system
US9154893B1 (en) 2011-12-28 2015-10-06 Intelligent Technologies International, Inc. Sound sensing techniques
JP2015089697A (ja) 2013-11-05 2015-05-11 トヨタ自動車株式会社 車両用音声認識装置
US9275136B1 (en) * 2013-12-03 2016-03-01 Google Inc. Method for siren detection based on audio samples
US9870697B2 (en) * 2013-12-17 2018-01-16 At&T Mobility Ii Llc Method, computer-readable storage device and apparatus for providing a collaborative standalone area monitor
US9610893B2 (en) 2015-03-18 2017-04-04 Car1St Technologies, Llc Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications
US9452732B1 (en) * 2015-03-30 2016-09-27 Ford Global Technologies, Llc Vehicle key off load reduction via off-board sensor
US9840166B2 (en) * 2015-04-13 2017-12-12 Verizon Patent And Licensing Inc. Determining the number of people in a vehicle
US10407022B2 (en) * 2016-01-10 2019-09-10 Traffilog Ltd Car theft prevention using long range wide area network
US11157798B2 (en) * 2016-02-12 2021-10-26 Brainchip, Inc. Intelligent autonomous feature extraction system using two hardware spiking neutral networks with spike timing dependent plasticity
KR101759143B1 (ko) * 2016-03-10 2017-07-18 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
DE112017001830B4 (de) * 2016-05-06 2024-02-22 Robert Bosch Gmbh Sprachverbesserung und audioereignisdetektion für eine umgebung mit nichtstationären geräuschen
US10580407B1 (en) * 2017-12-08 2020-03-03 Amazon Technologies, Inc. State detection and responses for electronic devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145516A1 (en) * 2001-04-06 2002-10-10 Moskowitz Paul Andrew System and method for detection and notification of dangerous environmental situations in a vehicle
US20040188164A1 (en) * 2003-03-26 2004-09-30 Fujitsu Ten Limited Vehicle anti theft system, vehicle anti theft method, and computer program
CN1889172A (zh) * 2005-06-28 2007-01-03 松下电器产业株式会社 可增加和修正声音类别的声音分类系统及方法
US20110074565A1 (en) * 2009-09-28 2011-03-31 Ford Global Technologies, Llc Method and apparatus for in-vehicle presence detection and driver alerting
JP2011247950A (ja) * 2010-05-24 2011-12-08 National Institute Of Advanced Industrial & Technology 信号特徴抽出装置および信号特徴抽出方法
US20150215716A1 (en) * 2014-01-28 2015-07-30 Cambridge Silicon Radio Limited Audio based system and method for in-vehicle context classification
CN104952449A (zh) * 2015-01-09 2015-09-30 珠海高凌技术有限公司 环境噪声声源识别方法及装置
CN105083221A (zh) * 2015-09-29 2015-11-25 宇龙计算机通信科技(深圳)有限公司 一种基于权限处理的用车控制方法、装置及车载设备
CN105329199A (zh) * 2015-10-23 2016-02-17 苏文辉 一种应用于车辆的儿童看护方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633576A (zh) * 2018-06-22 2019-12-31 顶级公司 数据处理
CN109171644A (zh) * 2018-06-22 2019-01-11 平安科技（深圳）有限公司 基于声音识别的健康管理方法、装置、计算机设备和存储介质
CN109166593A (zh) * 2018-08-17 2019-01-08 腾讯音乐娱乐科技（深圳）有限公司 音频数据处理方法、装置及存储介质
CN109192202A (zh) * 2018-09-21 2019-01-11 平安科技（深圳）有限公司 语音安全识别方法、装置、计算机设备及存储介质
CN111016778A (zh) * 2018-10-09 2020-04-17 通用汽车环球科技运作有限责任公司 用于外部麦克风的防风件
CN109784318A (zh) * 2019-03-13 2019-05-21 西北工业大学 基于神经网络的Link16数据链信号的识别方法
CN110189769A (zh) * 2019-05-23 2019-08-30 复钧智能科技(苏州)有限公司 基于多个卷积神经网络模型结合的异常声音检测方法
CN110176248A (zh) * 2019-05-23 2019-08-27 广西交通科学研究院有限公司 道路声音识别方法、系统、计算机设备及可读存储介质
CN112489631A (zh) * 2019-08-21 2021-03-12 美光科技公司 控制音频内容到车厢中的递送的系统、方法和设备
CN115139983A (zh) * 2021-03-30 2022-10-04 上海博泰悦臻网络技术服务有限公司 信息提示的方法、设备及存储介质
CN115139983B (zh) * 2021-03-30 2024-01-05 上海博泰悦臻网络技术服务有限公司 信息提示的方法、设备及存储介质
CN113792596A (zh) * 2021-08-10 2021-12-14 广东省科学院智能制造研究所 一种基于预处理集成学习的声学分类方法及系统
CN114407832A (zh) * 2022-01-24 2022-04-29 中国第一汽车股份有限公司 一种用于车身防刮防盗的监控方法、车身控制器及车辆

Also Published As

Publication number Publication date
GB201716601D0 (en) 2017-11-22
US20190259410A1 (en) 2019-08-22
US10276187B2 (en) 2019-04-30
RU2017134281A (ru) 2019-04-03
DE102017124291A1 (de) 2018-04-19
CN107967917B (zh) 2023-06-20
GB2556687A (en) 2018-06-06
US20180108369A1 (en) 2018-04-19
MX2017013379A (es) 2018-09-27
US10885930B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
CN107967917A (zh) 通过神经网络机器学习的车辆周围音频分类
EP1817760B1 (en) Occupant detection system for vehicle
CN102139651B (zh) 警告负责方在车辆的客室中存在乘客的系统
CN105635244B (zh) 用于生物特征数据收集和分发的方法和设备
CN107423869A (zh) 一种基于交通历史记录限制驾驶权限的系统
US9676325B1 (en) Method, device and system for detecting the presence of an unattended child left in a vehicle
Xu et al. ER: Early recognition of inattentive driving leveraging audio devices on smartphones
CN112071309B (zh) 网约车安全监测装置及系统
CN105034940B (zh) 一种车辆报警的方法和装置
CN104183148B (zh) 一种基于模式识别技术的智能停车系统及方法
CN106251860A (zh) 面向安防领域的无监督的新颖性音频事件检测方法及系统
Tabi Fouda et al. Events detection and recognition by the fiber vibration system based on power spectrum estimation
WO2009028937A1 (en) Method and apparatus for detection of specific input signal contributions
CN107948932A (zh) 基于定位数据的防丢失监测系统及其方法
CN106482776A (zh) 一种车内安全检测方法及系统
Rahim et al. Moving vehicle noise classification using backpropagation algorithm
CN105847268A (zh) 车辆远程控制方法、装置、系统及车辆遥控器
CN106599876A (zh) 一种基于生物特征识别的信息处理方法及装置
Kumar et al. Vehicle accident sub-classification modeling using stacked generalization: A multisensor fusion approach
CN205725833U (zh) 车辆远程控制装置、系统及车辆遥控器
KR102421158B1 (ko) 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템
CN114463928A (zh) 一种智能报警方法和系统
Dibazar et al. Intelligent recognition of acoustic and vibration threats for security breach detection, close proximity danger identification, and perimeter protection
Kurihara et al. Development of sensing device to detect persons hiding in a car
KR102433246B1 (ko) 음성에 기초한 어린이의 감정 컨디션 검출 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant