CN109061655B - 一种智能驾驶车辆全声频感知系统及其智能控制方法 - Google Patents

一种智能驾驶车辆全声频感知系统及其智能控制方法 Download PDF

Info

Publication number
CN109061655B
CN109061655B CN201810555205.4A CN201810555205A CN109061655B CN 109061655 B CN109061655 B CN 109061655B CN 201810555205 A CN201810555205 A CN 201810555205A CN 109061655 B CN109061655 B CN 109061655B
Authority
CN
China
Prior art keywords
sound
decision
data
full
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810555205.4A
Other languages
English (en)
Other versions
CN109061655A (zh
Inventor
李涛
张昌凡
冯江华
龙永红
何静
赵凯辉
刘建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN201810555205.4A priority Critical patent/CN109061655B/zh
Publication of CN109061655A publication Critical patent/CN109061655A/zh
Application granted granted Critical
Publication of CN109061655B publication Critical patent/CN109061655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及智能驾驶技术领域,公开了一种智能驾驶车辆全声频感知系统及智能控制方法。系统包括声音传感器、超声回波传感器、声电转换器、扬声器、超声波发生器、电声发生器、全声频特征识别与分类器以及全声频数据融合与决策器。声电转换器,分别与所述声音传感器和超声回波传感器连接,全声频特征识别与分类器和声电转换器连接,全声频数据融合与决策器和全声频特征识别与分类器连接,扬声器、超声波发生器分别与电声发生器连接。本发明解决了常规车辆智能驾驶感知系统无法听见和理解其他车辆行驶或行人行进意图的缺陷,具有在有障碍物遮挡的视觉盲区感知及识别目标的能力。

Description

一种智能驾驶车辆全声频感知系统及其智能控制方法
技术领域
本发明涉及智能驾驶技术领域,更具体地,涉及一种智能驾驶车辆全声频感知系统及其智能控制方法。
背景技术
传统的无人驾驶系统的感知系统主要是依赖于毫米波雷达、激光雷达、摄像机等装置,可以认为是视觉系统,其目的都是建立起图像云图,形成目标的多维方位信息,并基于该信息,形成各种自动或自主控制方法。
如公开号为CN106527427A的发明专利申请,公开了一种基于高速公路的自动驾驶感知系统,车辆行驶环境采用完全采用视觉系统。基于该方法,虽然建立空间-车辆的耦合关系,但是对于真正的模拟人类驾驶来说,仅有视觉信息,并非构成了全部驾驶逻辑关系,还有听觉信息也是构成驾驶状态逻辑判断的重要依据。现有技术中同一空间位置的人或者车辆,可能发出不同警告声音或鸣笛声音,示意对方自己行驶意图,并由对象人或车辆应该及时作出正确反应,修改自己原来驾驶策略;如果没有这些声学信息,驾驶策略逻辑构成将是不完整的,因为同一空间位置可能存在直行、停车、转向、减速等众多驾驶策略。现有技术仅有空间位置信息而无声音信息,则智能(无人)驾驶系统类似于人类仅有视觉而无听觉,仅能通过视觉得知当前周围环境状态,而无法预判周围环境的变化趋势,其活动安全性必然受到限制,并且特别是在一些视觉盲区,无法获知全部环境信息。
现有技术中,语义识别技术在移动通讯的人机对话领域中已经有了应用。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷,提供一种能理解其他车辆行驶或行人行进的意图,有效避免视觉盲区带来的安全问题的智能驾驶车辆全声频感知系统。
为解决上述技术问题,本发明的技术方案如下:
提供一种智能驾驶车辆全声频感知系统,包括
声音传感器,用来采集空间范围内人耳所能感受的所有声波信号;
超声回波传感器,用来采集经由物体反射回来的特定超声波信号,并解析其携带的车辆自身身份信息的超声波信号;
声电转换器,分别与所述声音传感器和超声回波传感器连接,将所述声音传感器产生的声音信号、超声回波传感器产生的超声波信号转换成电信号;
全声频特征识别与分类器,与声电转换器连接,将声电转换器输入的电信号进行分类,提取其包含的超声回波定位信息和声音特征,并进行声音信息识别,获取不同路况信息和其他车行驶信息;
全声频数据融合与决策器,与全声频特征识别与分类器连接,根据其输入信号进行数据融合、逻辑分析和智能决策,并将决策信息传输至全声频特征识别与分类器;
电声发生器,与全声频特征识别与分类器相连,接收全声频特征识别与分类器传输的声音控制信号和超声波控制信号,对应转换为声音小信号和调制了车辆身份信息的超声波小信号;
扬声器,与电声发生器连接,接收其产生的声音小信号,进行放大处理,发出人耳能感知到声波信号;
超声波发生器,与电声发生器连接,接收其产生的超声波小信号,经过放大后发出特定频率且携带车辆身份信息的超声波信号。
本方案中,分别通过声音传感器和超声回波传感器进行车辆周围声频信息及超声定位信息的采集,采集的信息通过声电转换器转换成全声频特征识别与分类器可识别的信号后,进行信号的特征提取识别与分类,将分类的数据进行数据融合分析,得到行驶决策,将决策信息发送到执行机构执行,反馈的全声频控制信息经过信号转换后,经扬声器和超声波发生器发送出来。
进一步地,为了提高安全可靠性,所述声音传感器设有至少2个,所述超声回波传感器至少设有2个,所述声电转换器为多通道输入输出声电转换器,所述电声发生器为多通道输入输出电声发生器。
本发明的另一目的在于,提供一种上述智能驾驶车辆全声频感知系统的智能控制方法,具体包括步骤:
S11.发射超声回波信号并接收超声回波信号,
S12.根据接收的超声回波信号计算时间间隔、空间位置数据,得到车辆驾驶初级决策数据;
S13.发射声音信号并接收声音信号;
S14.根据接收的声音信号识别时间间隔内的声音信息数据,得到车辆驾驶次级决策数据;
S15.判断初级决策和次级决策是否一致,若一致执行决策,若不一致,则返回到步骤S13。
进一步地,所述步骤S12中的初级决策数据和步骤S14中的次级决策数据通过划分成冗余数据和互补数据来计算;其中,将声音传感器和超声回波传感器获得的二维数据分别记为A类、B类,采集不同时刻的声音传感器获得的数据记为A1、A2…An,采集不同时刻的超声回波传感器的获得数据记为B1、B2、…Bn;集合A和集合B中数据重叠部分的记为冗余数据,集合A和集合B中数据不重叠部分的记为互补数据。
进一步地,在步骤S14之后,执行步骤S15之前,还包括以下步骤:
判断前次的次级决策和本次的次级决策数是否一致;
若一致则执行步骤S15,否则,执行计算前次次级决策数据的置信概率和本次次级决策数据置信概率,并获取高置信概率的次级决策;
计算初级决策数据的置信概率并判断是否为最优决策;
判断次级决策的置信概率是否高于初级决策的置信概率,若是,则执行次级决策,否则执行初级决策;
进一步地,置信概率及最优决策计算方法具体为:
令置信概率PZ=1-α=P(θ1≤θ≤θ2),则1-α表示在置信区间(θ12)上估计正确的概率;
被检测的数据均方响应<υ2>=θ的概率密度为
Figure GDA0003789603010000031
则有置信区间(θ12)内的置信概率
Figure GDA0003789603010000032
又Pa(s,s′)=P(s′|s,a)表示在某一状态s和执行动作a,则到达下一状态s′的概率;
马尔可夫最优决策过程可表示为π:S→A,π为最优决策,S表示有限状态空间,A为决策空间;任意状态S下产生的行为表示为a=π(s),那么最优决策是在可能状态s和s′间不断迭代,直到衰减叠加的积累(期望)激励Vi+1(s)收敛:
Figure GDA0003789603010000041
进一步地,无论计算置信概率或最优决策结果为何,初级决策或次级决策一旦触发安全优先原则,即与车辆安全性相抵触时,只执行保证车辆运行安全的决策。
进一步地,通过增加声音传感器和超声回波传感器的数量提高数据的置信概率。
进一步地,所述步骤S11中,通过声波发生器发送超声波信号,通过超声回波传感器接收超声波信号,通过声音传感器接收声音信号,扬声器发出声音信号。
与现有技术相比,本发明的有益效果如下。
本发明将全声频特征识别技术应用到了交通领域,以声音及超声信号的采集和识别装置为基础,实现车辆定位、道路感知及驾驶逻辑判断,解决了常规车辆智能驾驶感知系统在识别能力上的缺陷,具体地,
(1)提升了视觉盲区的信息获取能力;如有障碍物遮挡时,本全声频感知系统能够通过全声频感知及识别目标,并提前确认对方行驶意图的能力;消除传统智能驾驶感知系统检测到物体时由于车辆惯性已不能及时作出驾驶动作造成的安全隐患。
(2)相对于传统的智能驾驶感知系统,本发明的全声频感知系统解决了常规车辆智能驾驶感知系统无法听见和理解其他车辆行驶或行人行进意图的缺陷;能够与周围环境建立互动,不仅仅是获取当前周围环境的状态,而且能够获取周围环境变化的趋势。通过感知变化趋势,能够及时对自身运行状态进行协调。
附图说明
图1为实施例1车辆智能驾驶全声频感知系统结构示意图。
图2为实施例2多通道车辆智能驾驶全声频感知系统结构示意图。
图3为实施例3设置有全声频感知系统的车辆智能驾驶系统结构示意图。
图4为数据空间与分类、特征提取预处理示意图。
图5为实施例1全声频感知系统数据融合方法示意图。
图6为实施例2全声频感知系统数据融合方法示意图。
图7为实施例1全声频感知系统控制原理示意图。
图8为实施例1数据融合决策处理流程示意图。
图9为实施例3车辆智能驾驶系统控制原理示意图。
图10为实施例4数据融合决策处理流程示意图。
图11为实施例4安装示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明的具体含义。下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,本实施例提供一种智能驾驶车辆全声频感知系统,以下简称全声频感知系统,包括声音传感器、超声回波传感器、声电转换器、扬声器、超声波发生器、电声发生器、全声频特征识别与分类器以及全声频数据融合与决策器。
声音传感器用来采集空间范围内人耳所能感受的所有声波信号;超声回波传感器用来采集经由物体反射回来的特定超声波信号,并解析其携带的车辆身份信息的超声波信号;声音传感器和超声回波传感器分别与声电转换器连接。
声电转换器将所述声音传感器产生的声音信号、超声回波传感器产生的超声波信号转换成电信号;声电转换器至少包含二个通道,声电转换器将经由通道一的声音传感器所采集到的人耳所能感受的所有声波信号转换为电信号一;声电转换器将经过通道二的由超声回波传感器所采集的特定超声波信号转换为电信号二;声电转换器和全声频特征识别与分类器相连接,并将这些电信号一和电信号二传输到全声频特征识别与分类器。
全声频特征识别与分类器将声电转换器输入的电信号进行分类,提取其包含的超声回波定位信息和声音特征,并进行声音信息识别,获取不同路况信息和其他车行驶信息。具体地,对输入的电信号一和电信号二分类;电信号一是多源异构的宽频信号,全声频特征识别与分类器对其包含声音特征提取,并进行声音信息识别,获取不同路况信息、其他车行驶信息以及其他车辆周围信息等;电信号二反映的特定的超声波回声信号,经由全声频特征识别与分类器进行分析、计算获取本车的地理空间信息以及探测到的本车与障碍物之间的距离信息等。
全声频特征识别与分类器和全声频数据融合与决策器相连接,将获得的路况信息、其他车辆行驶信息、地理空间信息、障碍物距离信息等传输到全声频数据融合与决策器中,并获取全声频数据融合与决策器的返回控制信息;全声频特征识别与分类器对返回全声频控制信息分类,分别生成声音控制信号和超声波控制信号传输给电声发生器。
全声频数据融合与决策器对从全声频特征识别与分类器接收到的路况信息数据、其他车辆行驶信息数据、地理空间信息数据、障碍物距离信息数据,进行数据融合、逻辑分析和智能决策;然后将决策后的车辆控制信息传输到车辆中央数据处理和控制单元,并接收该单元的返回车辆控制信息;全声频数据融合与决策器根据返回车辆控制信息,产生返回全声频控制信息并输出给全声频特征识别与分类器。
电声发生器接收到全声频特征识别与分类器传输的声音控制信号和超声波控制信号后,对应转换为声音小信号和超声波小信号并分别输出给扬声器和超声波发生器;电声发生器在超声波小信号中调制了车辆身份信息。
电声发生器输出与扬声器和超声波发生器相连接。扬声器接收到电声发生器产生的声音小信号,经过放大后发出人耳能感知到声波信号,可以理解该声波可以表现为鸣笛或者转向、前进、倒车、制动等语言告警声音。超声波发生器接收到电声发生器产生的超声波小信号,经过放大后发出特定频率且携带车辆身份信息的超声波信号。
其中,作为本发明全声频感知系统控制方法的一个具体实施方式,全声频特征识别与分类器的信息预处理如图4所示,将声音传感器和超声回波传感器不同类别获得的数据分别记为A类、B类;将不同时刻的声音传感器获得的数据记为A1、A2…An;将不同时刻的超声回波传感器的获得数据记为B1、B2、…Bn。可以理解的是,同类数据可以将一个多维数据空间,等效为多个二维数据的叠加。如图4所示,全声频特征识别与分类器对超声回波传感器和声音传感器数据进行分类预处理。通过随时间产生的多个声音数据集合、多个超声波数据集合,声音传感器和超声回波传感器可以记录车辆和道路状态的时-空信息,这些信息构成了关于车辆运动数据和属性的空间。
全声频数据融合与决策器的数据融合如图5所示,将An区域和Bn区域中数据重叠部分、An区域和An+1区域中数据重叠部分、Bn区域和Bn+1区域中数据重叠部分记为冗余数据(如图5中阴影区域),不重叠部分记为互补数据。冗余数据一种高可靠性的数据,互补数据是一种较低可靠性的数据;冲突数据,是一种特殊的互补数据。
冗余数据和互补数据均为全声频数据融合与决策器的决策数据的原始数据。显然获取的原始数据越多,越容易得到可靠、最优的决策。
如图7所示,本实施例声音传感器和超声回波传感器进行车辆周围全声频信息的采集,采集的信息通过声电转换器转换成全声频特征识别与分类器可识别的信号后,进行信号的特征提取识别与分类,将分类的数据进行数据融合分析,得到行驶决策,决策信息发送到执行机构执行,并发出全声频控制信号,经过信号分类、转换后,全声频信息经扬声器和超声波发生器发送出来。
这里全声频是指目标信号频段涵盖了整个声频范围和特定超声波频率范围。
如图8所示,本实施例全声频感知系统的控制方法,包括以下步骤:
启动循环,配置初始信息;
S11.发射超声回波信号并接收超声回波信号;
S12.根据接收的超声回波信号计算时间间隔、空间位置数据,得到车辆驾驶初级决策数据;
S13.发射声音信号并接收声音信号;
S14.根据接收的声音信号识别时间间隔内的声音强度的换算距离信息和语音信息数据,得到车辆驾驶次级决策数据;可以理解,循环启动后,步骤S11和步骤S13先后顺序是相对的;
判断是否是第一次获得次级驾驶数据;若是则直接执行步骤S15,否则判断前次的次级决策和本次的次级决策数是否一致;若前次的次级决策和本次的次级决策数一致则执行步骤S15,否则,执行计算前次次级决策数据的置信概率和本次次级决策数据置信概率,并比较以获取高置信概率的次级决策;
计算初级决策数据的置信概率并判断是否为最优决策;
判断次级决策的置信概率是否高于初级决策的置信概率,若是,则执行次级决策,否则执行初级决策,从而实现最优决策。
其中,置信概率及最优决策的计算主要过程如下所述。
令置信概率PZ=1-α=P(θ1≤θ≤θ2),则1-α表示在置信区间(θ12)上估计正确的概率;
被检测的数据均方响应<υ2>=θ的概率密度为
Figure GDA0003789603010000081
则有置信区间(θ12)内的置信概率
Figure GDA0003789603010000082
又Pa(s,s′)=P(s′|s,a)表示在某一状态s和执行动作a,则到达下一状态s′的概率;
马尔可夫最优决策过程可表示为π:S→A,π为最优决策,S表示有限状态空间,A为决策空间;任意状态S下产生的行为表示为a=π(s),那么最优决策是在可能状态s和s′间不断迭代,直到衰减叠加的积累(期望)激励Vi+1(s)收敛:
Figure GDA0003789603010000083
S15.判断初级决策和次级决策是否一致,若一致执行决策,若不一致,则返回到步骤S13。
执行决策后,返回配置初始位置,并写入新的信息。
本实施例的全声频感知系统采用声音及超声波二重定位,以及声音信号采集识别的结构,通过全声频感知系统的数据融合和决策方法,创造性地在交通领域,应用了语音特征识别技术,识别车辆周围发出的语义信息,进一步提高了无人驾驶的智能化。
本实施例的全声频感知系统主要用于智能驾驶车辆,当然,实际上,也可以应用于其他交通工具。
实施例2
如图2所示,本实施例与实施例1的不同之处在于,声音传感器设有m个,超声回波传感器设有m个,扬声器设有m个,超声波发生器设有m个;相应地,声电转换器设有多通道输入和输出,电声发生器设有多通道输入和输出,其中m为大于2的整数。
需要说明的是,本实施例中声音传感器、超声回波传感器、扬声器、超声波发生器均设有多个,且数量相同,当然,在实际应用中也可以根据具体需求各自增减并设置成不同数量。
本实施例增加传感器的数量,可以提高数据的置信度。如图6所示,例如声音传感器1、声音传感器2、声音传感器m在不同时刻获得数据分别为A11、A12、A1m,A21、A22、A2m,An1、An2、Anm,超声回波传感器1、超声回波传感器2、声音传感器m获得数据分别为B11、B12、B1m,B21、B22、B2m,B31、B32、B3m。同理,若增加传感器类别,标记方法是类似的。
采用多类型多数量的传感器,增加冗余数据和互补数据,为进一步进行可靠的行驶决策提供了依据。本实施例声电转换器和声音传感器、超声回波传感器之间存在多通道输入和输出,即声电转换器可以与多个声音传感器和多个超声回波传感器相连接,以提高全声频信号的采集精度和完整性,进一步提高采集数据的置信度;电声发生器和扬声器、超声波发生器之间存在多通道输入输出,使对方车辆能够更好地接收本车辆发出的声音讯息。
实施例3
如图3所示,本实施例提供了一种智能驾驶车辆控制系统,包括了实施例2中的全声频感知系统,还包括其他感知系统,具体为分别与智能驾驶车辆的中央数据处理与控制单元连接的GIS-T地理交通系统、机器视觉系统、激光雷达系统、毫米波雷达系统,以及车辆运行反馈单元,所述车辆运行反馈单元与各执行控制器连接,检测执行控制器的实际工作状态,并将状态信息反馈至中央数据处理与控制单元。
智能驾驶车辆全声频感知系统与车辆的中央数据处理与控制单元相连接,实现双方的信息交互;全声频感知系统向中央数据处理与控制单元发送车辆控制信息,同时接收中央数据处理与控制单元发送的返回车辆控制信息。
同理,各型其他感知系统,如GIS-T地理交通系统、机器视觉系统、激光雷达系统、毫米波雷达系统也与中央数据处理与控制单元相连接,实现双方的信息交互;其他感知系统向中央数据处理与控制单元发送车辆控制信息,同时接收中央数据处理与控制单元发送的返回车辆控制信息。全声频感知系统发送的车辆控制信息送和其他感知系统发送的车辆控制信息呈现结构上呈现冗余和互补。
可以理解的是,其他感知系统还可以是以上列举外的其他类型,在此不一一列尽。
本实施例的智能车辆驾驶系统控制方法包括以下步骤:
S1.全声频感知系统进行全声频感知和信息处理;
S2.判断全声频感知系统与其他感知系统信息输出信息是否一致;若一致,则执行步骤S4,否则,执行步骤S3;
S3.中央数据处理与控制单元对所有感知系统的信息进行卡尔曼滤波和梯度下降计算,判断何者为真;若全声频感知系统的信息为真,则继续执行步骤S4,否则返回步骤S1;
S4.中央数据处理与控制单元将全声频感知系统发送的车辆控制信息发送给各个车辆控制器,由各个控制器控制动作执行。
具体地,全声频感知系统发送的车辆控制信息送和其他感知系统发送的车辆控制信息均由中央数据处理与控制单元进行驾驶逻辑判断,在一个逻辑循环中,若全声频感知系统和其他感知系统提供信息一致,则认定为真,继续执行;若两者提供的信息不一致,则由交由中央数据处理与控制单元进行卡尔曼滤波和随机梯度下降计算,判断何者为真;若全声频感知系统提供的信息为真,则将继续执行,否则为假。
不同感知系统获取的数据融合采用卡尔曼滤波,例如,将感知系统1获得数据作为参考,将感知系统2获取的数据作为估计步长,依据上一个状态值,估计出下一个状态值可能性分布。
假设k时刻的最佳估计值为
Figure GDA0003789603010000101
协方差矩阵为Pk,由两个独立的维度去估计系统状态:
预测值:
Figure GDA0003789603010000102
测量值:(μ1,∑1)=(z′k,Rk)
重叠区域为:
Figure GDA0003789603010000103
Figure GDA0003789603010000104
又卡尔曼增益表示为:
Figure GDA0003789603010000105
可得:
Figure GDA0003789603010000106
P′k=Pk-K′HkPk
Figure GDA0003789603010000107
通过迭代,得到每个状态的更新步骤
Figure GDA0003789603010000111
是最佳估计值,由此,实现不同感知系统的数据融合及控制状态的判断。由于在机器学习过程中,泛化需要巨大的训练集,计算十分耗时。因此采用随机梯度下降(SGD)作为在人工智能、机器学习中应用的优化方法:
将训练集截取为m个样本{x(1),...,x(m)}的独立同分布的小批量,其中样本x(i)对应目标为y(i)
梯度估计为
Figure GDA0003789603010000112
更新为
Figure GDA0003789603010000113
其中,初始参数为θ,学习率为ε,第k步迭代的学习率为εk;由此,可加速机器学习的训练过程中计算的收敛速度。
中央数据处理与控制单元处理各种数据和控制信息,进行驾驶逻辑判断,且分别与全声频感知系统、其他感知系统、各种车辆控制器、车辆运行反馈单元相连接;中央数据处理与控制单元的对接收到全声频感知系统发送的车辆控制信息进行逻辑判断,若逻辑为真,则将该车辆控制信息继续发送给各种车辆控制器,由车辆控制器发送命令对应的各种执行机构,由执行机构负责执行加速、制动、转向、变速箱及车身稳定等车辆运行动作;若为假,则不再继续执行,并将返回信息给全声频感知系统,要求其继续侦听。
车辆运行反馈单元与对应的各种执行控制器相连接,并检测执行器的实际工作状态,并将采集到执行器的工作状态信息反馈给中央数据处理与控制单元;中央数据处理与控制单元在接收反馈信息后,进行数据处理和逻辑判断,输出车辆返回信息到对应的全声频感知系统和其他感知系统。
以下以两辆分别装有全声频感知系统的无人驾驶车辆为例。
如图9所示,车辆1和车辆2分别从两个方向驶向路口,由于有障碍物遮挡,车辆1和车辆2均处于彼此的视觉盲区。当车辆1和车辆2彼此的声音探测区b1和声音探测区b2存在交叉,和/或彼此的超声波探测区a1和超声波探测区a2存在交叉,车辆1的全声频感知系统发出的超声波信号,获取车辆2的空间定位信息,并且检测车辆2的声音信号;声音信号包括鸣笛系统发出的告警信息和扬声器告知的语音运动信息,例如直行、左转、右转、制动、加速、减速等,动态调整车辆1的运动状态,并将自己的运动信息以声音形式反馈给车辆2。在车辆的中央控制单元中预存有可供扬声器发出的线路语音信息,例如“正在直行”、“即将左转”等。
例如,车辆1计划直行,同时检测到车辆2空间信息,并获知车辆2计划直行,车辆1数据分析、决策后,采取减速策略待车辆2先通过路口,并将行驶策略告知车辆2;车辆2获取车辆1的空间信息和告知的行驶策略,综合分析、决策后采取加速策略通过路口,并再度将行驶策略告知车辆1。
本实施例从多方面改进来提高无人驾驶车辆控制系统的可靠性:
在系统层面上,1、采用了车辆全声频感知系统,通过采集装置的冗余设置,从数据来源进行把控;2、通过控制逻辑的优化,实现了最优决策;
在整体控制方法上,1、采用全声频感知系统和其他感知系统数据相互交互的方式,判断全声频感知系统感知的准确度;2、采用了卡尔曼滤波和随机梯度下降进行各感知系统的数据融合,方法更加简洁和结果更加精准。
本实施例的智能车辆驾驶系统,能够通过听觉来感知周围环境,并且能通过全声频实现与周围环境进行信息交互,特别是在视觉盲区也能够感知车辆周围信息,能够提前获知对方车辆或行人的行驶路线,安全系数高。本实施例通过捕捉周围行人、车辆等环境的声学信息,有助于提升安全无人驾驶的逻辑性和合理性;同时通过己方声学装置发出驾驶信息,有利于其他车辆和行人的识别,从而提升整个大交通系统的安全性。本实施例提高了“无人驾驶”的智能化程度,除了“视觉”外,还具备“听觉”,实现了“有人驾驶”的效果。
实施例4
如图10所示,本实施例与实施例1的不同之处在于,步骤S14中,无论计算置信概率或最优决策结果为何,初级决策或次级决策一旦触发安全优先原则,即与车辆安全性相抵触时,只执行保证车辆运行安全的决策。
如图11所示,在具体应用中,声音传感器11、声音传感器12可以设置在车头、车尾处,超声回波传感器21、超声回波传感器22可以设置在车头、车尾处,扬声器41、扬声器42可以设置在车头、车尾处;超声波发生器30可以设置在车顶处。当然,这只是其中一种安装方式的示意,可以理解的是,其他安装方式也可以。在此,不一一列举。
本实施例进一步优化了控制逻辑,提高了车辆运行安全的可靠性。
附图中相同或相似的标号对应相同或相似的部件;附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制。显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种智能驾驶车辆全声频感知系统,其特征在于,包括
声音传感器,用来采集空间范围内人耳所能感受的所有声波信号;
超声回波传感器,用来采集经由物体反射回来的特定超声波信号,并解析其携带的车辆自身身份信息的超声波信号;
声电转换器,分别与所述声音传感器和超声回波传感器连接,将所述声音传感器产生的声音信号、超声回波传感器产生的超声波信号转换成电信号;
全声频特征识别与分类器,与声电转换器连接,将声电转换器输入的电信号进行分类,提取其包含的超声回波定位信息和声音特征,并进行声音信息识别,获取不同路况信息和其他车行驶信息;
全声频数据融合与决策器,与全声频特征识别与分类器连接,根据其输入信号进行数据融合、逻辑分析和智能决策,并将决策信息传输至全声频特征识别与分类器;
电声发生器,与全声频特征识别与分类器相连,接收全声频特征识别与分类器传输的声音控制信号和超声波控制信号,对应转换为声音小信号和调制了车辆身份信息的超声波小信号;
扬声器,与电声发生器连接,接收其产生的声音小信号,进行放大处理,发出人耳能感知到声波信号;
超声波发生器,与电声发生器连接,接收其产生的超声波小信号,经过放大后发出特定频率且携带车辆身份信息的超声波信号。
2.根据权利要求1所述的智能驾驶车辆全声频感知系统,其特征在于,所述声音传感器设有至少2个,所述超声回波传感器至少设有2个,所述声电转换器为多通道输入输出声电转换器,所述电声发生器为多通道输入输出电声发生器。
3.一种应用了权利要求1或2所述智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,具体包括步骤
S11.发射超声回波信号并接收超声回波信号,
S12.根据接收的超声回波信号计算时间间隔、空间位置数据,得到车辆驾驶初级决策数据;
S13.发射声音信号并接收声音信号;
S14.根据接收的声音信号识别时间间隔内的声音强度的换算距离信息和语音信息数据,得到车辆驾驶次级决策数据;
S15.判断初级决策和次级决策是否一致,若一致,执行决策,若不一致,则返回到步骤S13。
4.根据权利要求3所述的智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,所述步骤S12中的初级决策数据和步骤S14中的次级决策数据通过划分成冗余数据和互补数据来计算;其中,将声音传感器和超声回波传感器获得的二维数据分别记为A类、B类,采集不同时刻的声音传感器获得的数据记为A1、A2…An,采集不同时刻的超声回波传感器的获得数据记为B1、B2、…Bn;集合A和集合B中数据重叠部分的记为冗余数据,集合A和集合B中数据不重叠部分的记为互补数据。
5.根据权利要求3所述的智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,在步骤S14之后,执行步骤S15之前,还包括以下步骤:
判断前次的次级决策和本次的次级决策数是否一致,若一致则执行步骤S15,否则,执行计算前次次级决策数据的置信概率和本次次级决策数据置信概率,并获取高置信概率的次级决策;
计算初级决策数据的置信概率并判断是否为最优决策;
判断次级决策的置信概率是否高于初级决策的置信概率,若是,则执行次级决策,否则执行初级决策。
6.根据权利要求5所述的智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,置信概率及最优决策计算方法具体为:
令置信概率PZ=1-α=P(θ1≤θ≤θ2),则1-α表示在置信区间(θ12)上估计正确的概率;
被检测的数据均方响应<υ2>=θ的概率密度为
Figure FDA0003739452150000021
则有置信区间(θ12)内的置信概率
Figure FDA0003739452150000022
又Pa(s,s′)=P(s′|s,a)表示在某一状态s和执行动作a,则到达下一状态s′的概率;
马尔可夫最优决策过程可表示为π:S→A,π为最优决策,S表示有限状态空间,A为决策空间;任意状态S下产生的行为表示为a=π(s),那么最优决策是在可能状态s和s′间不断迭代,直到衰减叠加的积累(期望)激励Vi+1(s)收敛:
Figure FDA0003739452150000031
7.根据权利要求6所述的智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,无论计算置信概率或最优决策结果为何,初级决策或次级决策一旦触发安全优先原则,即与车辆安全性相抵触时,只执行保证车辆运行安全的决策。
8.根据权利要求6所述的智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,通过增加声音传感器和超声回波传感器的数量提高数据的置信概率。
9.根据权利要求7或8所述的智能驾驶车辆全声频感知系统的智能控制方法,其特征在于,所述步骤S11中,通过声波发生器发送超声波信号,通过超声回波传感器接收超声波信号,通过声音传感器接收声音信号,扬声器发出声音信号。
CN201810555205.4A 2018-06-01 2018-06-01 一种智能驾驶车辆全声频感知系统及其智能控制方法 Active CN109061655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810555205.4A CN109061655B (zh) 2018-06-01 2018-06-01 一种智能驾驶车辆全声频感知系统及其智能控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810555205.4A CN109061655B (zh) 2018-06-01 2018-06-01 一种智能驾驶车辆全声频感知系统及其智能控制方法

Publications (2)

Publication Number Publication Date
CN109061655A CN109061655A (zh) 2018-12-21
CN109061655B true CN109061655B (zh) 2022-09-06

Family

ID=64819883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810555205.4A Active CN109061655B (zh) 2018-06-01 2018-06-01 一种智能驾驶车辆全声频感知系统及其智能控制方法

Country Status (1)

Country Link
CN (1) CN109061655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110155064B (zh) * 2019-04-22 2020-12-18 江苏大学 基于声音信号的特种车辆行驶车道识别与自车变道决策系统及方法
EP3745157B1 (en) * 2019-05-31 2023-11-29 Aptiv Technologies Limited Method for detecting non-visible vehicles and system thereof

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635224A (zh) * 2013-11-06 2015-05-20 成都艺创科技有限公司 一种新型车距语音提示器的集成电路
CN105938657A (zh) * 2016-06-27 2016-09-14 常州加美科技有限公司 一种无人驾驶车辆的听觉感知与智能决策系统
CN106054200A (zh) * 2016-06-24 2016-10-26 南京奇蛙智能科技有限公司 一种可防声干扰的超声波距离传感器及其测距方法
CN106597363A (zh) * 2016-10-27 2017-04-26 中国传媒大学 一种室内wlan环境下的行人定位方法
CN106796291A (zh) * 2014-10-22 2017-05-31 株式会社电装 车载用物体判别装置
CN106772397A (zh) * 2016-12-14 2017-05-31 深圳市歌美迪电子技术发展有限公司 车辆数据处理方法和车辆雷达系统
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN107660271A (zh) * 2015-04-27 2018-02-02 法雷奥开关和传感器有限责任公司 用于使用超声波传感器识别道路状态的传感器组件,驾驶员辅助系统,机动车辆和相关方法
CN107755230A (zh) * 2017-11-16 2018-03-06 中国计量大学 声场可控的大功率超声换能器
CN107850667A (zh) * 2015-07-14 2018-03-27 驾驶管理系统公司 使用rf无线信号及超声波信号检测电话的位置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104635224A (zh) * 2013-11-06 2015-05-20 成都艺创科技有限公司 一种新型车距语音提示器的集成电路
CN106796291A (zh) * 2014-10-22 2017-05-31 株式会社电装 车载用物体判别装置
CN107660271A (zh) * 2015-04-27 2018-02-02 法雷奥开关和传感器有限责任公司 用于使用超声波传感器识别道路状态的传感器组件,驾驶员辅助系统,机动车辆和相关方法
CN107850667A (zh) * 2015-07-14 2018-03-27 驾驶管理系统公司 使用rf无线信号及超声波信号检测电话的位置
CN106054200A (zh) * 2016-06-24 2016-10-26 南京奇蛙智能科技有限公司 一种可防声干扰的超声波距离传感器及其测距方法
CN105938657A (zh) * 2016-06-27 2016-09-14 常州加美科技有限公司 一种无人驾驶车辆的听觉感知与智能决策系统
CN106597363A (zh) * 2016-10-27 2017-04-26 中国传媒大学 一种室内wlan环境下的行人定位方法
CN106772397A (zh) * 2016-12-14 2017-05-31 深圳市歌美迪电子技术发展有限公司 车辆数据处理方法和车辆雷达系统
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN107755230A (zh) * 2017-11-16 2018-03-06 中国计量大学 声场可控的大功率超声换能器

Also Published As

Publication number Publication date
CN109061655A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN108725452B (zh) 一种基于全声频感知的无人驾驶车辆控制系统及控制方法
CN107527092B (zh) 使用听觉数据训练用于碰撞躲避的算法
CN106826846B (zh) 基于异常声音和图像事件驱动的智能服务机器人及方法
CN113176537A (zh) 警笛信号的检测和分类以及警笛信号源的定位
KR102710789B1 (ko) 후방 차량의 시각화 정보 제공 장치 및 방법
US12007474B2 (en) Autonomous vehicle operation using acoustic modalities
JP7540338B2 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
US20220155400A1 (en) Microphone Array for Sound Source Detection and Location
KR101748405B1 (ko) 스마트펜스를 이용한 자율주행차를 위한 운행정보 제공 시스템
CN109061655B (zh) 一种智能驾驶车辆全声频感知系统及其智能控制方法
CN107176123A (zh) 声音检测信息提供方法、车辆周围声音检测装置及车辆
King et al. Audio-visual based non-line-of-sight sound source localization: A feasibility study
CN113311857A (zh) 一种基于无人机的环境感知与避障系统及方法
WO2021108991A1 (zh) 控制方法、装置和可移动平台
Nava et al. Learning visual localization of a quadrotor using its noise as self-supervision
Walden et al. Improving the environmental perception of autonomous vehicles using deep learning-based audio classification
CN113763717A (zh) 一种车辆的识别方法、装置、计算机设备和存储介质
Jin et al. Acoussist: An acoustic assisting tool for people with visual impairments to cross uncontrolled streets
CN110706496A (zh) 基于声学的环境感知方法及系统
KR20210061115A (ko) 인공지능형 로봇 디바이스의 음성 인식 방법
US20220272448A1 (en) Enabling environmental sound recognition in intelligent vehicles
KR20240035003A (ko) 점진적 머신 러닝 기법을 이용한 cnn 기반 음원 인식 시스템 및 방법
CN111352128B (zh) 一种基于融合点云的多传感器融合感知方法与系统
Fujimori et al. Localization of flying bats from multichannel audio signals by estimating location map with convolutional neural networks
CN113393687A (zh) 驾驶辅助装置、驾驶辅助方法、车辆和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant