CN108973855B - 用于车道偏离预警的方法和装置 - Google Patents

用于车道偏离预警的方法和装置 Download PDF

Info

Publication number
CN108973855B
CN108973855B CN201810797897.3A CN201810797897A CN108973855B CN 108973855 B CN108973855 B CN 108973855B CN 201810797897 A CN201810797897 A CN 201810797897A CN 108973855 B CN108973855 B CN 108973855B
Authority
CN
China
Prior art keywords
vehicle
sound
signal
turn signal
lane departure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810797897.3A
Other languages
English (en)
Other versions
CN108973855A (zh
Inventor
朱长宝
贾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Horizon Robotics Technology Co Ltd
Original Assignee
Nanjing Horizon Robotics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Horizon Robotics Technology Co Ltd filed Critical Nanjing Horizon Robotics Technology Co Ltd
Priority to CN201810797897.3A priority Critical patent/CN108973855B/zh
Publication of CN108973855A publication Critical patent/CN108973855A/zh
Application granted granted Critical
Publication of CN108973855B publication Critical patent/CN108973855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种用于车道偏离预警的方法和装置，该方法包括：在检测到车辆处于预定状态的情况下录制车辆的内部的声音；从所录制的声音中提取转向灯声音信号；基于所提取的提取转向灯声音信号获得经增强的转向灯声音信号；以及使用经增强的转向灯声音信号调整转向灯信号参数。经调整的转向灯信号参数被用于在检测到车辆偏离预定车道的情况下确定是否进行车道偏离预警提示。通过该方法，能够在车辆内部的转向灯开启的情况下不给出车道偏离预警提示，从而提升用户体验。

Description

用于车道偏离预警的方法和装置
技术领域
本公开总体上涉及车辆自动驾驶的技术领域，并且具体地涉及一种用于车道偏离预警的方法和装置。
背景技术
车道偏离预警系统通常被设计为在车道偏离时发出警告。然而，通常的车道偏离预警系统即使在车辆内部的转向灯被开启时，例如在驾驶者在转向或其他情况下有意地开启转向灯或双闪灯时，也会在车道偏离时发出警告，由此对驾驶者造成困惑或干扰，使得用户体验不好。
另外，对于后装设备而言，往往无法直接获取来自车辆自身的硬件信号并根据硬件信号来判断转向灯或双闪灯是否被开启。如果通过重新布线或额外连线将后装设备与车辆的相应控制/分析部件相连，则需要额外成本并带来一些安全隐患。
因此，期望一种用户体验好且使用方便的车道偏离预警系统。
发明内容
一方面，本公开提供了一种用于车道偏离预警的方法，该方法(下文中还称为第一方法)可以包括：在检测到车辆处于预定状态的情况下录制车辆的内部的车内声音；从所录制的车内声音中提取转向灯声音信号；基于所提取的提取转向灯声音信号获得经增强的转向灯声音信号；以及使用经增强的转向灯声音信号调整转向灯信号参数。经调整的转向灯信号参数被用于在检测到车辆偏离预定车道的情况下确定是否进行车道偏离预警提示。
另一方面，本公开还提供了另一种用于车道偏离预警的方法，该方法(下文中还称为第二方法)可以包括：在检测到车辆偏离预定车道的情况下实时地录制车辆的内部的声音信号；根据车辆的内部的转向灯的方位增强所录制的声音信号；根据经增强的声音信号的声音特征以及通过先述的第一方法获得的经调整的转向灯信号参数，检测声音信号是否包括转向灯的声音；以及根据关于声音信号和转向灯的声音的检测结果决定是否进行车道偏离预警提示。
另一方面，本公开还提供了一种用于车道偏离预警的装置，该装置可以包括麦克风阵列、摄像头、一个或多个处理器以及扬声器。麦克风阵列可以被配置为实时地录制车辆内部的声音。摄像头可以被配置为实时地拍摄至少车辆前方的一个或多个帧的图像。一个或多个处理器可以被配置为在启动时至少执行前述的第二方法的步骤。扬声器可以被配置为在一个或多个处理器的控制下发出车道偏离预警提示音。
另一方面，本公开还提供了一种计算机可读取的非临时性存储介质，在其上存储有程序指令，其中，程序指令在被执行时执行前述的第一方法和/或第二方法的步骤。
根据本公开的实施例的方法和装置在通常的车道偏离预警系统中的图像识别的基础上结合声音识别和处理，使得能够在车辆内部的转向灯开启的情况下不给出车道偏离预警提示，从而极大地提升用户体验。
附图说明
图1示出根据本公开的实施例的用于车道偏离预警的示例方法100的流程图的示例。
图2示出根据本公开的实施例的用于车道偏离预警的示例方法200的流程图的示例。
图3示出根据本公开的实施例的用于车道偏离预警的示例装置300的框图。
具体实施方式
下面结合附图描述根据本公开的实施例的用于车道偏离预警的方法和装置的示例。
如图1所示，根据本公开的实施例的示例方法100可以开始于步骤S110，以录制车辆内部的车内声音。
在一个实施例中，在步骤S110中，可以在检测到车辆处于预定状态的情况下录制车辆的内部的车内声音。
根据不同的实施例，预定状态可以包括任何应当或被建议开启转向灯或双闪灯的场景或状态，例如根据交通法规规定的应当开启转向灯或双闪灯(相当于同时开启左、右转向灯)的场景或状态。根据不同的实施例，预定状态可以包括但不限于车辆位于转弯车道、车辆位于路口、车辆转弯或掉头、车辆变更车道、车辆位于应急车道、车辆起步、车辆靠边停车、车辆超车中的一个或多个。
在一个实施例中，可以通过摄像头(例如，前置摄像头)实时地拍摄车辆前方的一个或多个帧的图像，然后根据所拍摄的一个或多个帧的图像检测车辆是否处于预定状态。
根据不同的实施例，可以采用任何适当的图像/视频识别和预测算法或模型(例如，深度学习网络、卷积学习网络等)，根据所拍摄的一个或多个帧的图像检测车辆是否处于预定状态。然而，本公开不局限于特定的图像/视频识别和预测算法或模型。
然后，示例方法100可以继续到步骤S120，以便从在步骤S110中录制的车内声音中提取转向灯声音信号。
在一个实施例中，可以提取在步骤S110中录制的车内声音的声音特征，包括但不限于基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个。
然后，可以根据所提取的车内声音的声音特征和车内噪声参数获得车辆的内部的噪声信号。该过程可以形式化地表示为：
SN＝N(F|θN) (1)
其中，SN表示车辆的内部的噪声信号，N表示噪声信号模型，F表示所提取的车内声音的声音特征，θN表示车内噪声参数(即，N的模型参数)。
根据不同的实施例，上述等式(1)中的N可以基于不同的噪声信号模型来实现或者对应于不同的噪声信号模型，例如高斯混合模型、深度神经网络、长短期记忆网络、卷积神经网络、循环神经网络等，或者可以基于结合了不同的噪声信号模型的混合模型来实现。例如，如果N基于卷积神经网络，则θN可以是卷积神经网络的网络参数，例如该卷积神经网络N的各个卷积层的卷积核的数量、与各个层的各个卷积核相对应的张量值等。例如，如果N基于高斯混合模型，则θN可以是高斯混合模型N的参数，例如包括方差、均值、权值等不同的方面。
应当理解，本公开不局限于任何特定的噪声信号模型，也不局限于任何特定的车内噪声参数。可以根据设计或需要而采用任何适当的噪声信号模型作为上述等式(1)中的N，并且可以相应地确定或知道车内噪声参数θN的形式、格式、初始值等。
在一个实施例中，示例方法100还可以包括训练上述等式(1)中的N或者调整车内噪声参数θN。
例如，在车辆处于停止或低速的状态下调整车内噪声参数θN。例如，可以根据设计或需要来设计相应的速度阈值，例如10km/h、20km/h、40km/h等，并且例如当车辆的当前行驶速度小于或等于该阈值时确定车辆处于低速状态。
另外，可以通过例如前置摄像头拍摄车辆前方的一个或多个帧，然后通过任何适当的图像/视频识别和预测算法或模型(例如，深度学习网络、卷积学习网络等)，根据所拍摄的一个或多个帧的图像检测车辆是否处于停止或低速状态。由此，根据本公开的实施例的方法至少能够用于后装设备，即，在无法例如基于控制器局域网络(CAN)协议直接或间接地获得来自车辆自身的硬件信号并根据这些硬件信号判断车辆的各种状态的情况下也能够适用根据本公开的实施例的方法。
在检测到车辆处于停止或低速的状态的情况下，可以录制车辆内部的一个或多个训练用的车内声音。然后，可以提取每个训练用的车内声音的声音特征，包括但不限于基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个。然后，可以根据所提取的每个训练用的车内声音的声音特征训练上述等式(1)中的N，即调整车内噪声参数θN。
在一个实施例中，可以先录制一段训练用的车内声音，然后基于该段训练用的车内声音训练车内噪声模型或者调整车内噪声参数；然后，针对经过一次训练的车内噪声模型或者经过一次调整的车内噪声参数，可以再录制另一段训练用的车内声音，然后基于该另一段训练用的车内声音继续训练车内噪声模型或者调整车内噪声参数；如此反复，直到满足预定的训练终止条件或调整终止条件为止，例如至少针对一个或多个训练集，车内噪声模型收敛，或者使用调整后的车内噪声参数所能够获得的结果的正确率达到指定目标值，等等。
在一个实施例中，这样的车内噪声模型N的调整或者车内噪声参数θN的调整可以是事先进行的。在另外的实施例中，车内噪声模型N的调整或者车内噪声参数θN的调整也可以是在线进行的。
在另外的实施例中，车内噪声参数θN的调整还可以包括事先调整和在线调整两者。例如，可以通过事先调整(这样的事先调整可以是人工完成的，也可以是自动完成的，还可以是人工和自动相结合完成的)确定车内噪声参数在实际应用前的初始值；然后，在实际应用过程中，可以在检测到车辆处于停止或低速的状态的情况下，根据录制车辆内部的一个或多个车内声音作为训练用的声音，并根据这些声音的声音特征进一步地调整车内噪声参数。
在包括在线训练或在线调整的情况下，针对车内噪声参数的调整还可以包括将调整的建议和/或调整的结果反馈给例如驾驶者，并由驾驶者决定是否接收调整。
应当理解，本公开不局限于任何特定的车内噪声模型及其训练方式或者任何特定的车内噪声参数及其调整方式。
在根据所提取的车内声音的声音特征和车内噪声参数获得车辆的内部的噪声信号之后，可以从在步骤S110中录制的车内声音中去除所获得的车辆的内部的噪声信号，以便从提取出转向灯声音信号。
然后，示例方法100可以继续到步骤S130，以对在步骤S120中提取出的转向灯声音信号进行增强。
在一个实施例中，可以根据转向灯声音信号确定车辆的转向灯的方位(即，发出转向灯声音信号的声源)，然后根据所确定的转向灯的方位增强转向灯声音信号。
例如，可以利用盲源分离或独立分量分析技术来根据转向灯声音信号确定车辆的转向灯的方位，然后可以利用波束形成技术，根据所确定的转向灯的方位增强转向灯声音信号。在另外的示例中，也可以配合车内的摄像头(例如，能够拍摄到车辆的方向盘和操纵面板的摄像头)拍摄的图像来确定车辆的转向灯的方位。
然后，示例方法100可以继续到步骤S140，以使用在步骤S130中获得的经增强的转向灯声音信号调整转向灯信号参数。
在一个实施例中，可以提取经增强的转向灯声音信号的声音特征，包括但不限于基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个；然后，可以根据所提取的经增强的转向灯声音信号的声音特征调整转向灯信号参数。
然后，经调整的转向灯信号参数可以被用于在检测到车辆偏离预定车道的情况下确定是否进行车道偏离预警提示。该过程可以形式化地表示为：
B＝S(F’|θS) (2)
其中，F’表示所提取的经增强的转向灯声音信号的声音特征；S表示转向灯信号模型；θN表示转向灯信号参数，即S的模型参数；B表示S的判断结果，例如指示转向灯是否被开启或者在步骤S110中所录制的车内声音是否包括转向灯声音。
根据不同的实施例，上述等式(2)中的S可以基于不同的声音信号处理模型来实现或者对应于不同的声音信号处理模型，例如高斯混合模型、深度神经网络、长短期记忆网络、卷积神经网络、循环神经网络等，或者可以基于结合了不同的声音信号处理模型的混合模型来实现。例如，如果S基于卷积神经网络，则θS可以是卷积神经网络的网络参数，例如该卷积神经网络S的各个卷积层的卷积核的数量、与各个层的各个卷积核相对应的张量值等。例如，如果S基于高斯混合模型，则θS可以是高斯混合模型S的参数，例如方差、均值、权值等。
这样，步骤S140中的调整转向灯信号参数θS也可以被描述为根据所提取的经增强的转向灯声音信号的声音特征训练转向灯信号模型S。
在另外的实施例中，示例方法100可以包括步骤S110、S120、S130和S140的至少一次迭代，换句话说，可以使用包括多个录制声音来迭代地调整向灯信号参数θS或者迭代地训练转向灯信号模型S，直到满足预定的训练终止条件或调整终止条件为止，例如模型开始收敛等。
本公开不局限于任何特定的声音信号处理模型，也不局限于任何特定的转向灯信号参数。可以根据设计或需要而采用任何适当的声音信号处理模型作为上述等式(2)中的S，并且可以相应地确定或知道转向灯信号参数θS的形式、格式、初始值等。另外，本公开也不局限于任何特定的模型训练方式或者参数调整方式。
图1所示的示例方法100侧重于转向灯信号参数的调整，或者说，侧重于用于确定指示转向灯是否被开启或者判断所录制的车内声音是否包括转向灯声音的转向灯信号模型的训练，而图2示出的示例方示200侧重于根据经过调整的转向灯信号参数或者经过训练的转向灯信号模型而作出车道偏离预警提示决策。
如图2所示，示例方法200可以开始于步骤S210，以便在检测到车辆偏离预定车道的情况下实时地录制车辆的内部的声音信号。
在一个实施例中，类似于示例方法100中关于车辆状态的检测，可以通过摄像头(例如，前置摄像头)实时地拍摄车辆前方的一个或多个帧的图像，然后根据所拍摄的一个或多个帧的图像检测车辆是否偏离预定车道。本公开不局限于任何特定的检测车辆是否偏离预定车道的方式或技术。
然后，在步骤S220中，可以采用与示例方法100的步骤S130中的类似的方式来增强在步骤S210中实时录制的声音信号。例如，可以根据车辆的内部的转向灯的方位增强声音信号，其中，转向灯的方位可以是在先前的训练过程(示例方法100)中获得并记录下来的，也可以是通过盲源分离、独立分量分析等技术根据声音信号而获得的。在一个实施例中，可以根据车辆的内部的转向灯的方位，通过波束成形来增强声音信号
然后，在步骤S230中，可以根据在步骤S220中增强的声音信号的声音特征以及通过示例方法100获得的经调整的转向灯信号参数或者经训练的转向灯信号模型，检测声音信号是否包括转向灯的声音。
在一个实施例中，步骤S230可以包括提取在步骤S210中实时录制的声音信号的声音特征或者在步骤S220中增强的声音信号的声音特征。在另外的实施例中，可以在单独的步骤中提取在步骤S210中实时录制的声音信号的声音特征或者在步骤S220中增强的声音信号的声音特征。
根据不同的实施例，所提取的声音特征可以包括但不限于基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个。
然后，示例方法200可以继续到步骤S240以进行车道偏离预警提示决策，包括根据关于声音信号和转向灯的声音的检测结果决定是否进行车道偏离预警提示。
在一个实施例中，可以在确定声音信号包括转向灯的声音的情况下禁用车道偏离预警提示，而在声音信号不包括转向灯的声音的情况下正常启用车道偏离预警提示。
如上所述，在一个实施例中，示例方法100和200可以分别单独使用。例如，可以事先通过示例方法100获得调整好的转向灯信号参数或训练好的转向灯信号模型，然后在实际的应用中通过示例方法200直接使用调整好的转向灯信号参数或训练好的转向灯信号模型检测声音信号是否包括转向灯的声音。
在另外的实施例中，示例方法200还可以包括示例方法100中的步骤S120、S130和S140，这可以被视为将示例方法100和200两者结合在一起，从而实现转向灯信号参数的在线调整或在线训练。
例如，可以在确定车辆处于停止或低速的状态下，录制车内声音并根据所录制的声音在线地训练/调整车内噪声参数；在确定车辆处于诸如转弯或掉头等预定状态的情况下，可以先录制车内声音，然后执行示例方法200的步骤S220至S240，然后再执行示例方法100的步骤S120至S140。
在另外的示例中，在确定车辆处于诸如转弯或掉头等预定状态的情况下，可以先录制车内声音，然后根据示例方法100中的相应步骤在线地调整转向灯信号参数，然后再执行示例方法200的步骤S220至S240。
在另外的示例中，每当确定车辆处于诸如转弯或掉头等预定状态时，可以使示例方法200中的步骤与示例方法100中的步骤并行地执行，并根据需要和设计要求决定在步骤S240中使用调整前的转向灯信号参数还是调整后的转向灯信号参数。
在将示例方法100和200相结合的不同的实施例中，也可以包括步骤S110，即，除了可以将步骤S110和S210合并成一个步骤之外，也可以仍保持两个独立的步骤，并根据需要录制两次车内声音。
另外，根据不同的实施例，在将示例方法100和200相结合的情况下，示例方法100和200中的各个步骤的执行次序不局限于上述示例。
另外，在一个实施例中，可以在一个或多个计算机可读取的非临时性存储介质上存储能够执行示例方法100和/或200的各个步骤的程序指令，使得这样的非临时性存储介质能够在被计算机或其他计算装置(例如处理器)读取时提供相应的程序指令，并使得计算机或其他计算装置能够根据所读取的程序指令执行相应的操作。根据不同的实施例，程序指令能够以诸如源代码、二进制代码、中间代码等各种形式或各种形式的不同组合而实施或存储在非临时性存储介质上。
通过根据本公开的实施例的方法，能够在车辆内部的转向灯开启的情况下不给出车道偏离预警提示，从而能够极大地提升用户体验。
另外，根据本公开的实施例的方法根据实时录制的车内声音来判断转向灯是否开启，而不必依赖于例如基于控制器局域网络(CAN)协议的来自车辆自身的硬件信号，因此能够方便有效地用于后装设备，并具有很高的灵活性和通用性。
图3示出根据本公开的实施例的用于车道偏离预警的示例装置300的框图。如图3所示，示例装置300可以包括麦克风阵列310、摄像头320、一个或多个处理器330和扬声器340。
麦克风阵列310可以被配置为实时地录制车辆内部的声音。本公开不局限于麦克风阵列310中的麦克风的特定结构和数量。
在一个实施例中，示例装置300还可以包括用于回声消除、降噪等处理的电路，以便对由麦克风阵列310采集到的声音信号进行回声消除、降噪等。在另外的实施例中，示例装置300还可以包括能够记录声音信号或音频文件的存储器。
摄像头320可以被配置为实时地拍摄至少车辆前方的一个或多个帧的图像。根据不同的实施例，摄像头320的数量可以是一个或多个。在包括多个摄像头320的情况下，例如，可以设置用于实时地拍摄至少车辆前方的一个或多个帧的图像的前置摄像头以及用于拍摄车内场景的一个或多个帧的图像的车内摄像头。本公开不局限于摄像头320的特定结构和数量。
一个或多个处理器330可以被配置为在启动时至少执行示例方法100和/或200的步骤。另外，一个或多个处理器330还可以被配置为例如控制针对来自麦克风阵列310的声音信号执行盲源分离等处理，或者针对来自摄像头320的一个或多个帧的图像执行图像/视频检测/预测等处理。根据不同的实施例，一个或多个处理器330可以包括诸如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等通用的处理器，也可以包括例如用于执行卷积神经网络、高斯混合模型等模型中的运算的专用的片上芯片或处理器阵列。例如，在基于卷积神经网络执行图像/视频检测/预测等处理的情况下，一个或多个处理器330可以包括乘加器阵列。本公开不局限于一个或多个处理器330的特定结构、指令集和数量等。
扬声器340可以被配置为在一个或多个处理器330的控制下发出车道偏离预警提示音。在另外的实施例中，扬声器340还可以被配置为在一个或多个处理器330的控制下发出其他需要提示给驾驶者的声音信息。本公开不局限于扬声器340的特定结构和数量等。
在另外的实施例中，示例装置300还可以包括诸如控制面板、显示器、I/O接口、存储器、网络接口等其他部件，以便与驾驶者或者车辆或者其他装置进行信息/数据交互。
例如，存储器可以包括各种形式的计算机可读写存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)、高速缓冲存储器(cache)、片上存储器等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪速存储器等。可读写存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件、或者任意以上的组合。在一个实施例中，存储器可以存储用于指示一个或多个处理器330执行根据本公开的实施例的方法的步骤的程序指令。
应当理解，图3所示的装置300仅是示例性的，而非限制性的。根据本公开的实施例的装置可以具有其他部件和/或结构。
根据本公开的实施例的装置可以作为后装装置安装在车辆内部，并且可以不必与车辆自身的部件连接或者依赖于例如基于控制器局域网络(CAN)协议的来自车辆自身的硬件信号，因此具有很高的灵活性和通用性。另外，根据本公开的实施例的装置能够在车辆内部的转向灯开启的情况下不给出车道偏离预警提示，从而能够提升用户体验。
贯穿说明书和权利要求书，除非上下文清楚地另有要求，否则措词“包括”、“包含”等应当以与排他性或穷尽性的意义相反的包括性的意义来解释，也就是说，应当以“包括但不限于”的意义来解释。另外，措词“在本文中”、“上文”、“下文”以及相似含义的措词在本申请中使用时应当指作为整体的本申请，而不是本申请的任何具体部分。在上下文允许时，在使用单数或复数的以上描述中的措词也可以分别包括复数或单数。关于在提及两个或多个项目的列表时的措词“或”，该措词涵盖该措词的以下解释中的全部：列表中的任何项目，列表中的所有项目，以及列表中的项目的任何组合。另外，措词“第一”、“第二”等旨在用于区分，而不是用于强调次序或重要程度。
虽然已经描述了本公开的一些实施例，但是这些实施例仅作为示例而呈现，而不打算限制本公开的范围。实际上，在本文中所描述的方法和系统可以采用多种其他形式来实施。另外，可以在不脱离本公开的范围的情况下，在本文中所描述的方法和装置的形式上做出各种省略、替换和改变。

Claims (15)

1.一种用于车道偏离预警的方法，包括：
在检测到车辆处于预定状态的情况下录制所述车辆的内部的第一车内声音；
从所述第一车内声音中提取转向灯声音信号；
根据车辆的内部的转向灯的方位，通过波束成形来增强所述转向灯声音信号；以及
使用经增强的转向灯声音信号调整转向灯信号参数，经调整的转向灯信号参数被用于在检测到所述车辆偏离预定车道的情况下确定是否进行车道偏离预警提示。
2.根据权利要求1所述的方法，其中，所述预定状态包括所述车辆位于转弯车道、所述车辆位于路口、所述车辆转弯或掉头、所述车辆变更车道、所述车辆位于应急车道、所述车辆起步、所述车辆靠边停车、所述车辆超车中的一个或多个。
3.根据权利要求1所述的方法，其中，提取所述转向灯声音信号包括：
提取所述第一车内声音的第一声音特征；
根据所述第一声音特征和车内噪声参数获得所述车辆的内部的噪声信号；以及
从所述第一车内声音中去除所述噪声信号。
4.根据权利要求3所述的方法，其中，所述第一声音特征包括基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个。
5.根据权利要求3所述的方法，还包括：
在所述车辆处于停止或低速的状态下录制所述车辆的内部的一个或多个第二车内声音；
提取每个第二车内声音的第二声音特征；以及
根据所提取的每个第二声音特征调整所述车内噪声参数。
6.根据权利要求5所述的方法，其中，每个第二声音特征包括基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个。
7.根据权利要求1所述的方法，其中，获得经增强的转向灯声音信号包括：
根据所述转向灯声音信号确定所述车辆的转向灯的方位；以及
根据所确定的转向灯的方位增强所述转向灯声音信号。
8.根据权利要求7所述的方法，其中，增强所述转向灯声音信号包括：
根据所确定的转向灯的方位，通过波束形成增强所述转向灯声音信号。
9.根据权利要求1所述的方法，其中，调整所述转向灯信号参数包括：
提取经增强的转向灯声音信号的声音特征；以及
根据所提取的经增强的转向灯声音信号的声音特征调整所述转向灯信号参数。
10.根据权利要求9所述的方法，其中，经增强的转向灯声音信号的声音特征包括基因频率、共振峰、梅尔倒谱系数、线性预测系数和短时能量中的一个或多个。
11.根据权利要求1至10中的任一项所述的方法，还包括：
实时地拍摄所述车辆前方的一个或多个帧的图像；以及
根据所拍摄的一个或多个帧的图像检测所述车辆是否处于所述预定状态。
12.一种用于车道偏离预警的方法，包括：
在检测到车辆偏离预定车道的情况下实时地录制所述车辆的内部的声音信号；
根据所述车辆的内部的转向灯的方位增强所述声音信号；
根据经增强的声音信号的声音特征以及通过根据权利要求1至11中的任一项所述的方法获得的经调整的转向灯信号参数，检测所述声音信号是否包括所述转向灯的声音；以及
根据关于所述声音信号和所述转向灯的声音的检测结果决定是否进行车道偏离预警提示。
13.根据权利要求12所述的方法，其中，在所述声音信号包括所述转向灯的声音的情况下禁用所述车道偏离预警提示。
14.一种用于车道偏离预警的装置，包括：
麦克风阵列，被配置为实时地录制车辆内部的声音；
摄像头，被配置为实时地拍摄至少所述车辆前方的一个或多个帧的图像；
一个或多个处理器，被配置为在启动时至少执行根据权利要求1至13中的任一项所述的方法；以及
扬声器，被配置为在所述一个或多个处理器的控制下发出车道偏离预警提示音。
15.一种计算机可读取的非临时性存储介质，在其上存储有程序指令，所述程序指令在被执行时执行根据权利要求1至13中的任一项所述的方法。
CN201810797897.3A 2018-07-19 2018-07-19 用于车道偏离预警的方法和装置 Active CN108973855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810797897.3A CN108973855B (zh) 2018-07-19 2018-07-19 用于车道偏离预警的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810797897.3A CN108973855B (zh) 2018-07-19 2018-07-19 用于车道偏离预警的方法和装置

Publications (2)

Publication Number Publication Date
CN108973855A CN108973855A (zh) 2018-12-11
CN108973855B true CN108973855B (zh) 2020-11-24

Family

ID=64548469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810797897.3A Active CN108973855B (zh) 2018-07-19 2018-07-19 用于车道偏离预警的方法和装置

Country Status (1)

Country Link
CN (1) CN108973855B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109910739A (zh) * 2018-12-21 2019-06-21 嘉兴智驾科技有限公司 一种通过声音识别判断智能驾驶报警的方法
CN109767627B (zh) * 2019-03-12 2020-10-13 福建工程学院 一种交通违章智能语音抓拍方法和系统
CN117789487B (zh) * 2024-02-28 2024-05-17 广州市声讯电子科技股份有限公司 基于强声预警设备的隧道车辆通行管控方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101966838B (zh) * 2010-09-10 2012-10-03 奇瑞汽车股份有限公司 一种车道偏离警示系统
CN103832357B (zh) * 2012-11-23 2017-10-13 深圳华一汽车科技有限公司 一种基于机器视觉的车道偏离警告系统及方法
CN105620477B (zh) * 2014-10-28 2018-06-29 奇瑞汽车股份有限公司 一种车辆的车道偏离预警控制方法
KR101698585B1 (ko) * 2015-05-11 2017-01-20 주식회사 경신 능동형 차량 출발 알림 시스템 및 그 제어방법
CN108053837A (zh) * 2017-12-28 2018-05-18 深圳市保千里电子有限公司 一种汽车转向灯声音信号识别的方法和系统

Also Published As

Publication number Publication date
CN108973855A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108973855B (zh) 用于车道偏离预警的方法和装置
US11072344B2 (en) Exploiting acoustic and lexical properties of phonemes to recognize valence from speech
US9899025B2 (en) Speech recognition system adaptation based on non-acoustic attributes and face selection based on mouth motion using pixel intensities
CN112435684B (zh) 语音分离方法、装置、计算机设备和存储介质
JP7525460B2 (ja) オーディオデータおよび画像データに基づいて人の発声を解析するコンピューティングデバイスおよび発声処理方法、ならびにプログラム
US10676096B2 (en) System and method for sensing road surface condition
CN111033611A (zh) 使嘴部图像与输入指令关联的系统和方法
KR20240024313A (ko) 자율 주행을 위한 데이터 파이프 라인 및 딥 러닝 시스템
GB2545544A (en) Collision avoidance using auditory data
US20170248955A1 (en) Collision avoidance using auditory data
CN110706700A (zh) 一种车内骚扰预防报警方法及装置、服务器、存储介质
CN113366549A (zh) 声源识别方法及装置
US20210134317A1 (en) Authority vehicle detection
JP2020042786A (ja) 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体
Kiktova et al. Comparison of different feature types for acoustic event detection system
Ivanko et al. RUSAVIC Corpus: Russian audio-visual speech in cars
US11021147B2 (en) Vehicles and methods for determining objects of driver focus
Ivanko et al. DAVIS: Driver's Audio-Visual Speech recognition.
Bahrami et al. Acoustic feature analysis for wet and dry road surface classification using two-stream CNN
DE102019213697B4 (de) Verfahren zum Erkennen einer Annäherung und/oder Entfernung eines Einsatzfahrzeugs relativ zu einem Fahrzeug
US20170270782A1 (en) Event detecting method and electronic system applying the event detecting method and related accessory
CN113504891B (zh) 一种音量调节方法、装置、设备以及存储介质
KR102306608B1 (ko) 음성을 인식하기 위한 방법 및 장치
CN116324659A (zh) 自主载具的紧急警笛检测
Wijnker et al. Hear-and-avoid for UAVs using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant