CN109086287B - 用于选择自主车辆中的音景选择的系统和方法 - Google Patents

用于选择自主车辆中的音景选择的系统和方法 Download PDF

Info

Publication number
CN109086287B
CN109086287B CN201810567381.XA CN201810567381A CN109086287B CN 109086287 B CN109086287 B CN 109086287B CN 201810567381 A CN201810567381 A CN 201810567381A CN 109086287 B CN109086287 B CN 109086287B
Authority
CN
China
Prior art keywords
vehicle
soundscape
occupant
parameters
mood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810567381.XA
Other languages
English (en)
Other versions
CN109086287A (zh
Inventor
F·C·瓦列里
S·M·赖利
E·蒂泽凯尔-汉考克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109086287A publication Critical patent/CN109086287A/zh
Application granted granted Critical
Publication of CN109086287B publication Critical patent/CN109086287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供用于控制车辆的系统和方法。车辆中的音景选择的方法包括：从设置在车辆内部的传感器接收多个生物特征参数，以及基于该生物特征参数确定车辆内部的乘员的心情。该方法还包括利用包括处理器的音景确定模块，响应于乘员的心情选择音景，并基于所选音景向车辆提供一组车辆参数。

Description

用于选择自主车辆中的音景选择的系统和方法
技术领域
本公开一般涉及自主车辆，并且更具体地涉及用于选择这种车辆中的内部音景的系统和方法。
背景技术
自主车辆是能够以很少或不需要用户输入进行导航的车辆，这通过使用传感设备(诸如，雷达、激光雷达、图像传感器)来实现。自主车辆还使用来自全球定位系统(GPS)技术、导航系统、车辆间通信、车辆间基础设施技术和/或线控驱动系统的信息来导航车辆。
尽管近年来自主车辆取得了显著进步，但这些车辆在许多方面仍有待改进。例如，当前已知的自主车辆通常不为乘员提供改变整体声音环境(即，“音景”)的能力。
因此，期望提供用于选择自主车辆中的内部音景的系统和方法。此外，从以下结合附图和前面的技术领域及背景技术进行的详细说明和所附权利要求中可以更清楚地了解本发明的其它期望的特点和特征。
发明内容
提供用于控制自主车辆的系统和方法。在一个实施例中，车辆中的音景选择的方法包括：从设置在车辆内部的传感器接收多个生物特征参数，以及基于该生物特征参数确定车辆内部的乘员的心情。该方法还包括：利用包括处理器的音景确定模块，响应于乘员的心情选择音景，并且基于所选音景向车辆提供一组车辆参数。
在一个实施例中，自主车辆包括设置在自主车辆内部的一个或多个传感器，其中传感器被配置为观察自主车辆内部的乘员，并产生与其相关联的多个生物特征参数。自主车辆还包括：包括处理器的心情确定模块和包括处理器的音景确定模块，该心情确定模块被配置为确定车辆内部的乘员的心情，该音景确定模块被配置为响应于乘员的心情选择音景，并且基于所选音景向车辆提供一组车辆参数。
附图说明
以下将结合附图来描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
图1是示出根据各个实施例的具有驾驶模式选择系统的自主车辆的功能框图；
图2是示出根据各个实施例的具有如图1所示的一个或多个自主车辆的运输系统的功能框图；
图3是示出根据各个实施例的与自主车辆相关联的自主驾驶系统(ADS)的功能框图；
图4是示出根据各个实施例的自主车辆的音景选择系统的数据流图；以及
图5是根据各个实施例的自主车辆的概念性内部视图；以及
图6是示出根据各个实施例的用于控制自主车辆的控制方法的流程图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并不意图限制应用和用途。此外，不意图受到在前述技术领域、背景技术、发明内容或以下具体实施方式中呈现的任何表达或暗示的理论的约束。如这里所使用的，术语“模块”是指单独地或以任何组合的任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备，包括但不限于：特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或群组的)和存储器、组合逻辑电路和/或提供上述功能的其它合适的组件。
在此可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应该理解的是，可通过配置为执行特定功能的任意数量的硬件、软件和/或固件来实现这些块组件。例如，本公开的实施例可采用各种集成电路组件(例如，存储器元件、数字信号处理元件、逻辑元件、查询表等)，它们可以在一个或多个微处理器或者其它控制设备的控制下执行各种功能。另外，本领域技术人员将会理解，可以结合任何数量的系统来实践本公开的实施例，并且这里描述的系统仅仅是本公开的示例性实施例。
为了简洁起见，在这里可不再详细描述涉及音频处理、面部识别、信号处理、数据传输、信令、控制、机器学习、图像分析和系统的其它功能方面(以及该系统的独立操作组件)的传统技术。此外，在此包含的各个图中所示的连线意在表示各个元件间的示例性功能关系和/或物理联接。应该注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
参考图1，根据各个实施例，总体上示出为100的音景选择系统与车辆10相关联。通常，音景选择系统100被配置为修改车辆参数，以根据一个或多个乘员的心情向其提供一组内部声音条件(或“音景”)。在一些实施例中，选择音景以消解乘员的激动的心情(例如，为正经历高度焦虑的乘员提供舒缓音乐并降低发动机噪音)。在其他实施例中，选择音景以增强乘员的激动的心情(例如，当乘员担心按时到达目的地时，提供更响亮的音乐和/或更激进的动力传动系、发动机和变速器设置)。
如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并且基本上包围车辆10的组件。车身14和底盘12可共同地形成车架。每个车轮16-18都在靠近车身14的相应角落处可旋转地联接到底盘12上。
在各种实施例中，车辆10是自主车辆，并且驾驶模式选择系统100被并入到自主车辆10(以下称为自主车辆10)中。例如，自主车辆10是自动控制以将乘员从一个位置运送到另一个位置的车辆。在所示实施例中将车辆10描绘为乘用车，但应该理解，也可以使用包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、海运船、飞机等的任何其它车辆。
在示例性实施例中，自主车辆10对应于汽车工程师协会(SAE)的自动驾驶等级的“J3016”标准分类下的四级或五级自动化系统。使用该术语，四级系统表示“高度自动化”，指的是即使驾驶员对干预请求没有做出适当响应，自主驾驶系统也执行动态驾驶任务的所有方面的驾驶模式。另一方面，五级系统表示“全自动化”，指的是自主驾驶系统在所有可由驾驶员管理的道路和环境条件下执行动态驾驶任务的所有方面的驾驶模式。然而，应当理解，根据本主题的实施例不限于任何特定的分类或自动化类别的标题。此外，根据本实施例的驾驶模式选择系统可以与利用导航系统的任何自主车辆结合使用，以提供路线引导。
如图所示，自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、电机，诸如，牵引马达、和/或燃料电池推进系统。传动系统22配置成根据可选速比将来自推进系统20的动力传递到车轮16和18。根据各个实施例，传动系统22可以包括步长比自动变速器、无级变速器或其它合适的变速器。
制动系统26配置成向车轮16和18提供制动转矩。在各种实施例中，制动系统26可包括摩擦制动器、线制动器、再生制动系统(例如，电机)和/或其它合适的制动系统。
转向系统24影响车轮16和/或18的位置。尽管为了说明的目的，将其描绘为包括方向盘25，但是在本公开范围内考虑的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a-40n。感测装置40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其它传感器。在一些实施例中，感测装置40a-40n包括能够观察车辆的乘员并对他们各自的心情(例如，使用训练的神经网络或本领域已知的其它此类分类模型)进行分类的一个或多个传感器。这样的感测设备40a-40n可以包括：例如，红外摄像机、光学摄像机、音频麦克风、大脑活动传感器等。
致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，诸如，但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，自主车辆10还可以包括图1中未示出的内部和/或外部车辆特征，诸如，各种门、后备箱以及车厢特征，诸如，空气、音乐、照明、触摸屏显示组件(诸如，与导航系统结合使用的那些)等。
数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义的地图。在各种实施例中，所定义的地图可以由远程系统预定义并且从远程系统获得(参考图2进一步详细描述)。例如，所定义的地图可以由远程系统组装并且传送(以无线方式和/或以有线方式)到自主车辆10，并且存储在数据存储装置32中。路线信息还可以存储在数据设备32内-即，一组道路段(在地理上与一个或多个所定义的地图相关联)，其一起定义了用户可能从起始位置(例如，用户的当前位置)行进到目标位置的路线。可以理解的是，数据存储设备32可以是控制器34的一部分并且与控制器34分开，或者是控制器34的一部分并且是单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、其任何组合、或者用于执行指令的通常的任何设备。例如，计算机可读存储设备或介质46可以包括在只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是可用于在处理器44断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储设备或介质46可以使用许多已知存储器设备中的任何一个来实现，诸如，PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或任何能够存储数据(其中一些代表由控制器34用于控制自主车辆10的可执行指令)的其它电、磁、光学或组合存储设备。
该指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。这些指令在由处理器44执行时接收并处理来自传感器系统28的信号、执行用于自动控制自主车辆10的组件的逻辑、计算、方法和/或算法，并生成传送给致动器系统30的控制信号，以基于该逻辑、计算、方法和/或算法自动控制自主车辆10的组件。尽管在图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任何数量的控制器34，其通过任何合适的通信介质或通信介质的组合进行通信并协作，以处理传感器信号、执行逻辑、计算、方法和/或算法，以生成控制信号来自动控制自主车辆10的特征。在一个实施例中，如下面详细讨论的那样，控制器34配置为允许乘员基于乘员偏好、车辆状态和乘员状态来选择驾驶模式。
通信系统36被配置为与其它实体48(诸如但不限于：其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程运输系统和/或用户设备(关于图2更详细地描述))无线地传送信息。在示例性实施例中，通信系统36是被配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信的无线通信系统。然而，附加或替代通信方法(诸如，专用短程通信(DSRC)信道)也被认为在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短距离至中距离无线通信信道，以及相应的一套协议和标准。
现在参考图2，在各种实施例中，关于图1描述的自主车辆10可以适用于在特定地理区域(例如，城市、学校或商业园区、购物中心、游乐园、活动中心等)中的出租车或班车系统的场景，或可仅由远程系统进行管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统(或简称为“远程运输系统”)52，其与关于图1所描述的一个或多个自主车辆10a-10n相关联。在各种实施例中，操作环境50(其全部或一部分可对应于图1中所示的实体48)还包括一个或多个用户设备54，其经由通信网络56与自主车辆10和/或远程运输系统52通信。
通信网络56根据需要在由操作环境50支持的设备、系统和组件之间支持通信(例如，通过有形通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波系统60，诸如，蜂窝电话系统，其包括多个发射塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及连接无线载波系统60与陆地通信系统所需的其它网络组件。每个发射塔包括发送和接收天线以及基站，来自不同发射塔的基站直接或通过中间设备(诸如，基站控制器)连接到MSC。无线载波系统60可以实现任何合适的通信技术，包括：例如，数字技术，诸如，CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或新兴的无线技术。其它发射塔/基站/MSC设置是可能的，并且可以与无线载波系统60一起使用。例如，基站和发射塔可以位于同一地点，或者它们可以彼此远离，每个基站可以负责单个发射塔或者单个基站可以服务各种发射塔，或者各种基站可以联接到单个MSC，仅举几种可能的设置。
除了包括无线载波系统60之外，可以包括卫星通信系统64形式的第二无线载波系统，以提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发送站接收、打包上传、然后发送到卫星，卫星将节目广播给用户。双向通信可以包括例如使用卫星来中继车辆10和站之间的电话通信的卫星电话服务。卫星电话可以作为无线载波系统60的补充或者代替无线载波系统60使用。
还可以包括陆地通信系统62，其是连接到一个或多个陆线电话的传统陆基电信网络，并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可以包括公共交换电话网络(PSTN)(诸如，用于提供硬连线电话、分组交换数据通信)和因特网基础设施。陆地通信系统62的一个或多个部分可以通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如，无线局域网(WLAN))或者提供宽带无线接入(BWA)的网络、或其任何组合来实现。此外，远程运输系统52不需要经由陆地通信系统62连接，而是可以包括无线电话设备，从而其可以直接与无线网络(诸如，无线载波系统60)通信。
尽管在图2中仅示出了一个用户设备54，但是操作环境50的实施例可以支持任意数量的用户设备54，包括由一个人拥有、操作或以其它方式使用的多个用户设备54。由操作环境50支持的每个用户设备54可以使用任何合适的硬件平台来实现。就此而言，用户设备54可以以任何常见形式的因素(包括但不限于：台式计算机、移动计算机(例如，平板电脑、膝上型计算机或上网本计算机)、智能手机、视频游戏设备、数字媒体播放器、家庭娱乐设备的组件、数码相机或摄像机、可穿戴计算设备(例如，智能手表、智能眼镜、智能服装)等来实现。由操作环境50支持的每个用户设备54被实现为具有执行在此描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实现的或基于计算机的设备。例如，用户设备54包括可编程设备形式的微处理器，该微处理器包括存储在内部存储器结构中的一个或多个指令，并被应用来接收二进制输入以创建二进制输出。在一些实施例中，用户设备54包括能够接收GPS卫星信号并且基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户设备54包括蜂窝通信功能，使得设备使用一个或多个蜂窝通信协议在通信网络56上执行语音和/或数据通信，如在此所讨论的。在各种实施例中，用户设备54包括可视显示器，诸如，触摸屏图形显示器或其它显示器。
远程运输系统52包括一个或多个后端服务器系统(未示出)，其可以是基于云的、基于网络的，或驻留在由远程运输系统52服务的特定校园或地理位置处。远程运输系统52可以由现场顾问、自动顾问、人工智能系统或其组合来管理。远程运输系统52可以与用户设备54和自主车辆10a-10n通信，以安排乘车、派遣自主车辆10a-10n等。在各种实施例中，远程运输系统52存储帐户信息，诸如，订户认证信息、车辆标识符、简档记录、生物特征数据、行为模式和其它相关的订户信息。
根据典型的使用情况工作流程，远程运输系统52的注册用户可以通过用户设备54创建乘车请求。乘车请求通常将指示乘员希望的乘车位置(或当前GPS位置)、期望的目的地位置(其可以识别预定义的车辆停靠站和/或用户指定的乘员目的地)以及乘车时间。远程运输系统52接收乘车请求、处理该请求、并且分派自主车辆10a-10n中的选定的一个(当并且如果有一个可用时)在指定的接取地点和适当的时间接取乘员。运输系统52还可以生成并向用户设备54发送适当配置的确认消息或通知，以让乘员知道车辆正在途中。
可以理解的是，本文公开的主题向基于被认为是标准或基准自主车辆10和/或自主车辆的远程运输系统52提供某些增强特征和功能。为此，基于一个或多个自主车辆的远程运输系统可以被修改、增强或以其它方式补充，以提供下面更详细描述的附加特征。
根据各个实施例，控制器34实施如图3所示的自主驾驶系统(ADS)70。即，利用控制器34(例如，处理器44和计算机可读存储装置46)的合适的软件和/或硬件组件来提供与车辆10结合使用的自主驾驶系统70。
在各种实施例中，自主驾驶系统70的指令可以由功能或系统组织。例如，如图3所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78和车辆控制系统80。如可以理解的，在各种实施例中，由于本公开不限于本示例，因此可以将指令组织成任何数量的系统(例如，组合、进一步划分等)。
在各种实施例中，传感器融合系统74合成并处理传感器数据，并且预测车辆10的环境的物体和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可并入来自多个传感器的信息，包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器。
定位系统76处理传感器数据以及其它数据，以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道、车辆航向、速度等的精确位置)。引导系统78处理传感器数据以及其它数据，以确定车辆10遵循的路径。车辆控制系统80根据确定的路径产生用于控制车辆10的控制信号。
在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如，特征检测/分类、障碍抵消、路线穿越、绘图、传感器集成、地面实况确定等。
如上简要提及的，图1中的音景选择系统100被配置为修改车辆参数，以基于一个或多个乘员的心情向乘员提供音景。在一些实施例中，选择音景以抵消乘员的明显心情；在其他实施例中，选择音景以增强乘员的明显心情。
现在参考图4，示例性音景选择系统400通常包括乘员心情确定模块(或简称为“模块”)430，其基于生物特征参数410和(在一些实施例中)车辆场景参数420产生指示AV 10内部的一个或多个乘员的心情的输出431。然后，输出431被音景确定模块440用于选择一组车辆参数441，其被设计为基于心情输出431在AV 10内产生所选音景。
如本文所使用的，术语“音景”是指AV 10内部的整体音频状态，如其可能由一个或多个乘员经历的那样。因此，音景可以包括道路噪声、由AV 10的音频系统播放的音乐或其它内容、由一个或多个乘员说出的对话、发动机噪声、变速器噪声、交通声音、天气相关声音等。
可以使用任何方便的数据结构来表示特定的音景及其对应的期望车辆参数(441)，并且可以指定宽范围的车辆参数的值或设定点。在一个实施例中，使用关联阵列表示每个音景，其中每个列举的音景与车辆参数的n元组及其期望的设置相关联。在没有限制的情况下，这样的车辆参数可以包括：例如，变速器换档点、最大加速/减速率、变矩器离合器滑动、排气噪音、道路噪音、发动机悬置率、有源噪音消除、悬架柔软度、发动机校准调节、轮胎压力、汽缸停用、路线选择、媒体内容、媒体音量等。
生物特征参数410通常包括可用于分类乘员的心情的参数(和/或参数值)。在一些实施例中，例如，生物特征参数410包括：面部表情(例如，如通过卷积神经网络技术所确定的)401、语音语调402(例如，响亮、柔和的等)、口头话语内容403(例如，亵渎、与痛苦或恼怒有关的关键词等)、体温404、手势405(例如，愤怒的手部动作等)以及眼睛特征406(例如，扩张的瞳孔等)。基于用一系列传感器观察人类来确定这些参数在本领域中是公知的，无需在此进行描述。
车辆场景参数420通常包括可用于表征车辆乘员体验的非生物特征的、车辆相关因素的参数(和/或参数值)。这样的车辆场景参数420可以包括：例如，导航状态407-即，AV10是否落后于到达由乘员建立的目的地的期望时间。参数420还可以包括交通状况408(例如，拥堵、走走停停，自由移动等)和天气状况409(例如，雪、雨、阴天、晴朗，阳光等)。
模块420和440可以以各种方式实现，范围从相对简单的决策树到通过监督、无监督或强化学习训练的机器学习模型。为此目可以使用的各种机器学习技术包括：例如，人工神经网络(ANN)、随机森林分类器、贝叶斯分类器(例如，朴素贝叶斯)、主成分分析(PCA)、支持向量机、线性判别分析等。
在一个实施例中，例如，模块430被实施为通过监督学习训练的人工神经网络。也就是说，可以将基于经验确定的生物特征参数的训练集(例如，基于对驾驶实际车辆的测试对象的观察)用作人造神经网络的输入，而自我报告的心情值被用作输出。然后可以使用标准的反向传播技术来产生模块430的训练模型。
在一个实施例中，音景确定模块440被实施为查找表或决策树，其基于对由模块430确定的当前心情431的“最佳拟合”来选择预定音景和相关车辆参数。在一些实施例中，AV 10提供允许乘员配置或以其它方式定制模块440的合适的用户界面。例如，乘员可能更喜欢模块440从不选择包括嘈杂音乐或永不停用噪声消除的音景。在一些实施例中，在接合车辆参数441之前向用户呈现合适的用户界面，以便确认乘员希望改变车辆参数。在一些实施例中，当选择音景时，与位于驾驶员座位内(而非一些其它乘员)的乘员相对应的生物特征参数410优先于其它生物特征参数410。
通常，将理解，根据本公开的系统100的各种实施例可以包括嵌入在控制器34内的任何数量的子模块。如可以理解的那样，图4中所示的子模块可以被组合和/或进一步划分，以类似地确定心情和选择音景。可以从传感器系统28、从与自主车辆10相关联的其它控制模块(未示出)、从通信系统36接收系统100的输入，和/或由图1的控制器34内的其它子模块(未示出)确定/建模。
图5以简化形式描绘了示例性车辆10的内部520，该示例性车辆10包括乘员501，显示出为坐在前排驾驶员座位中。还在图5中示出各种传感器511和512(其可以是传感器系统28的一部分)，其被配置为观察乘员501以及可能位于车辆10的内部520内的任何其它乘员。应该理解，可以在任何方便的位置使用任何数量的传感器，并且所示实施例并非意在限制。
传感器511、512可以包括现在已知或以后开发的任何类型的传感器。通常，基于产生图4的生物特征参数410的能力来选择传感器511、512。就此而言，传感器511、512可以是红外传感器、光学传感器、音频麦克风或能够产生指示乘员501的心情的图像或定量度量的任何其它类别的传感器。由传感器511、512产生的数据和/或信号可以由中间子模块(未示出)处理，以产生期望的生物特征参数410。例如，面部表情参数401和姿态参数405可以由先前训练的卷积神经网络模型产生，如本领域所公知的那样，其将图像或图像序列作为其输入，并产生输出，诸如，对应于列举的心情的整数值(例如，1＝冷静”，2＝加重”，3＝极度加重”等)。
就此而言，如本文所使用的，术语“心情”(如其与图4的输出431有关)是指从这些状态的任何方便的分类中选择的状态的任何表示。这些状态的数量和类型可能会有所不同，取决于设计考虑因素和所需粒度。例如，状态可以选自所谓的Plutchick情感轮，其可以根据需要被划分(例如，分成连续的子区域)以产生一组可能的心情，其也可以与量词参数组合(例如，以捕捉乘员显示该情绪的程度，诸如，0.0-1.0范围内的实数)。类似地，如本领域中已知的，也可以使用更简单的基于Lovheim立方体的状态表示来确定适当的心情。然而，应该理解的是，这些分类法仅作为示例提供，并且可能的实施例的范围不限于此。
现在参考图6，并继续参考图1-5，所示流程图提供了可以由系统100根据本公开执行的控制方法600。如根据本公开可以理解的，该方法内的操作顺序不限于如图6所示的顺序执行，而是可以按照适用的并根据本发明以一个或多个变化的顺序来执行。在各种实施例中，方法600可被安排为基于一个或多个预定事件运行，和/或可在自主车辆10的工作期间连续运行。
首先，在601处，假定基于乘员501请求的目的地建立自主车辆路径。基于地图数据等确定这样的路径在本领域中是公知的，并且在此不需要详细描述。
随后，在602处，生物特征参数410和车辆场景参数420由模块430接收。即，假设这样的情景：在正常工作期间，乘员501已经进入期望的目的地并且坐在AV 10内，传感器512、511观察乘员501(例如，通过面部表情401、体温404、姿势405、眼睛特征406等)。
基于这些参数410(在一些实施例中，以及车辆场景参数420)，模块430确定(在603处)乘员501的心情431(例如，“愤怒”、“平静”、“无聊”等)。如本文所述，心情431可以以任意数量的方式来表示，并且可以从任何便利的相关状态集合(即，该心情可能适于经由适当的音景改变或增强)中选择。
最后，在604处，基于所确定的心情431来选择车辆参数441，以实现期望的音景。就此而言，可以选择所选音景和对应的车辆参数441以抵消所确定的心情431(例如，通过产生安静的音景来使愤怒的乘员冷静)，或者可以选择以增大或放大所确定的状态(例如，通过选择响亮而积极的音乐来陪伴明显渴望更快地到达他或她的目的地的乘员)。
尽管在前面的详细描述中已经呈现了至少一个示例性实施例，但应该理解的是存在大量的变化。还应该理解的是，一个或多个示例性实施例仅是示例，并不意图以任何方式限制本公开的范围、适用性或配置。而是，前面的详细描述将为本领域技术人员提供用于实现一个或多个示例性实施例的便利途径。应该理解的是，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和设置进行各种改变。

Claims (10)

1.一种车辆中的音景选择的方法，所述方法包括：
从设置在所述车辆内部的一个或多个传感器接收多个生物特征参数；
使用人工神经网络基于所述生物特征参数确定所述车辆内部的乘员的心情；
利用包括处理器的音景确定模块，使用决策树响应于所述乘员的所述心情选择音景；和
基于所选音景向所述车辆提供一组车辆参数。
2.根据权利要求1所述的方法，还包括接收多个车辆场景参数，以及响应于所述乘员的所述心情和所述车辆场景参数来选择所述音景。
3.根据权利要求2所述的方法，其中，所述车辆场景参数包括所述车辆可能沿着车辆路径行进至由所述乘员选择的目的地的估计时间。
4.根据权利要求1所述的方法，其中，接收多个生物特征参数包括：从设置在所述车辆内部的光学相机、红外相机、脑波活动传感器和音频麦克风中的至少一个接收多个生物特征参数。
5.根据权利要求1所述的方法，其中，所述一组车辆参数包括：变速器换档点、最大加速率、变矩器离合器滑移、排气噪音、道路噪音、发动机悬置率、有源噪音消除、汽缸停用、轮胎压力、悬架调整和音频媒体选择。
6.根据权利要求1所述的方法，其中，选择所述音景以提升所述乘员的心情。
7.根据权利要求1所述的方法，其中，选择所述音景以消解所述乘员的心情。
8.一种自主车辆，包括：
一个或多个传感器，其设置在所述自主车辆内部，所述一个或多个传感器被配置成观察所述自主车辆内部的乘员，并产生与其相关联的多个生物特征参数；
包括处理器的心情确定模块，其被配置为使用人工神经网络确定所述车辆内部的乘员的心情；和
包括处理器的音景确定模块，其被配置为使用决策树响应于所述乘员的所述心情来选择音景，并且基于所选音景向所述车辆提供一组车辆参数。
9.根据权利要求8所述的自主车辆，还包括：在所述音景确定模块处接收多个车辆场景参数，并且响应于所述乘员的所述心情和所述车辆场景参数来选择所述音景。
10.根据权利要求9所述的自主车辆，其中，所述车辆场景参数包括：所述车辆可能沿车辆路径行进到由所述乘员选择的目的地的估计时间。
CN201810567381.XA 2017-06-14 2018-06-05 用于选择自主车辆中的音景选择的系统和方法 Active CN109086287B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/622,652 US10474423B2 (en) 2017-06-14 2017-06-14 Systems and methods for soundscape selection in autonomous vehicles
US15/622652 2017-06-14

Publications (2)

Publication Number Publication Date
CN109086287A CN109086287A (zh) 2018-12-25
CN109086287B true CN109086287B (zh) 2022-05-03

Family

ID=64457275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810567381.XA Active CN109086287B (zh) 2017-06-14 2018-06-05 用于选择自主车辆中的音景选择的系统和方法

Country Status (3)

Country Link
US (1) US10474423B2 (zh)
CN (1) CN109086287B (zh)
DE (1) DE102018114039A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019196073A (ja) * 2018-05-09 2019-11-14 トヨタ紡織株式会社 乗物乗員の活性化度合適正化システム
CN108875633B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
US10746112B2 (en) * 2018-10-18 2020-08-18 Ford Global Technologies, Llc Method and system for NVH control
US11170240B2 (en) 2019-01-04 2021-11-09 Cerence Operating Company Interaction system and method
US10960838B2 (en) 2019-01-30 2021-03-30 Cobalt Industries Inc. Multi-sensor data fusion for automotive systems
US10967873B2 (en) 2019-01-30 2021-04-06 Cobalt Industries Inc. Systems and methods for verifying and monitoring driver physical attention
KR20210051054A (ko) * 2019-10-29 2021-05-10 현대자동차주식회사 뇌파 신호를 이용한 모빌리티 탑승자의 승차감 판단 장치
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11128925B1 (en) * 2020-02-28 2021-09-21 Nxp Usa, Inc. Media presentation system using audience and audio feedback for playback level control
CN113619512A (zh) * 2021-08-02 2021-11-09 岚图汽车科技有限公司 利用发动机演奏音乐的方法、控制器、系统、介质及设备
CN113919549A (zh) * 2021-08-31 2022-01-11 震兑工业智能科技有限公司 一种船舶滑失率预测系统
WO2023211385A1 (en) * 2022-04-27 2023-11-02 Nanyang Technological University Soundscape augmentation system and method of forming the same
US20240025416A1 (en) * 2022-07-21 2024-01-25 Volvo Car Corporation In-vehicle soundscape and melody generation system and method using continuously interpreted spatial contextualized information

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006015332A1 (de) * 2005-04-04 2006-11-16 Denso Corp., Kariya Gastservice-System für Fahrzeugnutzer
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
CN102499699B (zh) * 2011-11-10 2014-06-04 东北大学 基于脑电信号的车载嵌入式路怒驾驶状态检测装置及方法
US9073555B2 (en) * 2012-01-26 2015-07-07 GM Global Technology Operations LLC Controlling operation of a vehicle based on parameters learned during driver's operation of another vehicle
US9679568B1 (en) 2012-06-01 2017-06-13 Google Inc. Training a dialog system using user feedback
US20150313475A1 (en) * 2012-11-27 2015-11-05 Faurecia Automotive Seating, Llc Vehicle seat with integrated sensors
KR101427926B1 (ko) * 2012-12-13 2014-08-08 현대자동차 주식회사 차량의 음악 추천 시스템 및 그 방법
WO2014097305A1 (en) * 2012-12-23 2014-06-26 Orpak Systems Ltd Method and system for retrieving vehicular parameters from a vehicle data bus
KR101570430B1 (ko) * 2014-08-11 2015-11-20 엘지전자 주식회사 웨어러블 디바이스 및 그것의 동작 방법
US20160089954A1 (en) * 2014-09-30 2016-03-31 Continental Automotive Systems Inc. System and method for setting an environmental condition in or around a vehicle in response to a determined mood
CN105975605B (zh) * 2015-06-06 2018-01-19 叶泽洲 从互联网处获取音乐文件的搜索平台
CN205168317U (zh) * 2015-09-30 2016-04-20 上汽通用汽车有限公司 一种可根据情绪调节灯光的汽车内灯系统
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
CN105304081A (zh) * 2015-11-09 2016-02-03 上海语知义信息技术有限公司 一种智能家居的语音播报系统及语音播报方法
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN106447184B (zh) * 2016-09-21 2019-04-05 中国人民解放军国防科学技术大学 基于多传感器测量与神经网络学习的无人机操作员状态评估方法
US10792462B2 (en) * 2017-06-05 2020-10-06 International Business Machines Corporation Context-sensitive soundscape generation

Also Published As

Publication number Publication date
DE102018114039A1 (de) 2018-12-20
CN109086287A (zh) 2018-12-25
US20180364966A1 (en) 2018-12-20
US10474423B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
CN109086287B (zh) 用于选择自主车辆中的音景选择的系统和方法
US20180335776A1 (en) Systems and methods for selecting driving modes in autonomous vehicles
US10391961B2 (en) Systems and methods for implementing driving modes in autonomous vehicles
CN108802761B (zh) 用于激光雷达点云异常的方法和系统
US20190332109A1 (en) Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
CN109017782B (zh) 个性化的自主车辆乘坐特性
CN110758399B (zh) 用于预测实体行为的系统和方法
CN111098862A (zh) 用于预测传感器信息的系统和方法
US20190072978A1 (en) Methods and systems for generating realtime map information
US20190026588A1 (en) Classification methods and systems
US20180093671A1 (en) Systems and methods for adjusting speed for an upcoming lane change in autonomous vehicles
CN109284764B (zh) 用于自主车辆中对象分类的系统和方法
US10246102B2 (en) Systems and methods for implementing user preferences for vehicles
US20190126934A1 (en) Methods and systems foir remotely controlling comfort settting(s) within a vehicle
CN109841080B (zh) 用于交通对象的检测、分类及地理定位的系统和方法
US20180024239A1 (en) Systems and methods for radar localization in autonomous vehicles
US20180024569A1 (en) Systems and methods for radar localization in autonomous vehicles
CN110929912A (zh) 用于预测对象行为的系统和方法
US20200103902A1 (en) Comfortable ride for autonomous vehicles
CN109131276B (zh) 用于自主车辆中的制动系统的接触式传感器组件
CN112389454A (zh) 自动驾驶/主动安全车辆中的感知系统的错误隔离
CN114368392A (zh) 自主训练驾驶员的方法和系统
US20230069363A1 (en) Methods and systems for dynamic fleet prioritization management
CN114719874A (zh) 用于在自主车辆中将导航路线转化为行为决策的系统和方法
US20240053166A1 (en) Methods and systems for generating lane line and road edge data using empiracal path distributions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant