CN117425586A - 声音体验发生器 - Google Patents

声音体验发生器 Download PDF

Info

Publication number
CN117425586A
CN117425586A CN202280040263.8A CN202280040263A CN117425586A CN 117425586 A CN117425586 A CN 117425586A CN 202280040263 A CN202280040263 A CN 202280040263A CN 117425586 A CN117425586 A CN 117425586A
Authority
CN
China
Prior art keywords
vehicle
data
parameter data
sound
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040263.8A
Other languages
English (en)
Inventor
G·施米勒尔
W·豪迈尔
Y-J·肖
H·F·齐默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority claimed from PCT/EP2022/070207 external-priority patent/WO2023011911A1/en
Publication of CN117425586A publication Critical patent/CN117425586A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/371—Gensound equipment, i.e. synthesizing sounds produced by man-made devices, e.g. machines
    • G10H2250/381—Road, i.e. sounds which are part of a road, street or urban traffic soundscape, e.g. automobiles, bikes, trucks, traffic, vehicle horns, collisions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

使用便携式计算设备为车辆音频系统生成音频数据。在便携式计算设备处从车辆接收车辆参数数据。根据车辆参数数据生成声音参数数据。基于声音参数数据使用合成器生成音频数据。所生成的音频数据从便携式计算设备发送到车辆音频系统。

Description

声音体验发生器
相关申请的交叉引用
本申请根据35U.S.C.§119要求2021年8月5日提交的美国临时申请No.63/229,859的优先权，该申请的全部公开内容通过引用明确并入本文中。
背景技术
电池驱动的电动车辆(BEV)以及混合动力电动车辆(HEV)可能在很大程度上依赖电马达来推进。与内燃发动机相比，电马达可以基本上更高效地运行；以更少的热量、振动和噪音平稳地将动力传递到车轮。另一方面，基于内燃发动机(ICE)的车辆、特别是基于高性能内燃发动机(ICE)的车辆可能产生共振声音，该声音旨在引起驾驶的快感和兴奋感。虽然现代的BEV和HEV可以提供与其基于ICE的同类车辆相当的性能，但是有些人可能觉得驾驶体验平淡无奇。
车辆的声音可能是独特的，以与造型或标志相同的方式传达品牌标识。由车辆产生的特有声音可以被视为其个性的一部分，向其乘员传达运行条件，同时向其他人提醒车辆的存在。
基于ICE的车辆产生的声音可能存在于车辆内部和外部两者。在低速行驶时，基于ICE的车辆的外部声音可以传达车辆的存在；例如，行人可能在看到车辆之前就听到车辆的声音。行人和骑自行车的人避免由于与车辆碰撞造成的伤害的能力可能在很大程度上取决于车辆是否可以被容易地检测和识别。出于这个原因，欧盟和美国国家公路交通安全管理局(NHTSA)两者都制定了法规，该法规要求混合动力车辆和电动车辆在行驶时发出最低水平的“机动车”声音。在更高的速度下，流动的空气生成的噪音可能主导车内声音。例如，与基于ICE的车辆相比，BEV可能具有优势，因为车辆内部生成的声音可能不一定与车辆外部为满足安全要求而人为生成的声音相关。
因此，由车辆产生的声音可能有助于增强驾驶体验，强化品牌标识，并提高共享道路的其他人的安全性。
发明内容
按照本主题的实施例，一种使用便携式计算设备生成音频数据的方法可以包括以下步骤：在便携式计算设备处从车辆接收车辆参数数据；使用所述便携式计算设备从所述车辆参数数据生成声音参数数据；使用所述便携式计算设备基于所述声音参数数据生成所述音频数据；以及将所述音频数据从所述便携式计算设备发送到所述车辆。声音参数数据可以符合MIDI协议和/或开放式声音控制协议。车辆参数数据可以包括车辆传感器数据，车辆传感器数据包括以下中的一个或多个：加速踏板角度、车辆速度、当前道路负荷、发动机或马达速度、转向角、全球定位系统(GPS)坐标、麦克风数据或诸如控制器局域网(CAN)总线数据之类的任何现场总线数据。从其转换车辆参数数据的声音参数数据可以包括以下中的一个或多个：音调、音量、声道、乐器、效果、声音位置、音符开、音符关、采样或循环。
在一种扩展中，所述方法还可以包括将所述车辆参数数据与GPS坐标数据、地图数据、季节、时间、日期或环境亮度数据中的一个或多个相组合。
在进一步的扩展中，所述方法可以包括基于所述车辆参数数据选择一个或多个编排的声音场景和/或音轨。所述方法还可以包括组合多个所选编排的声音场景和/或音轨以生成编排的音频声音。
在另一种扩展中，所述方法可以包括基于所述车辆参数数据判定车辆乘员正在说话、车辆正在以自主模式运行和/或车辆正在利用巡航控制，并且作为响应，停用音频数据的生成和/或发送。
在一种扩展中，所述方法还可以包括基于多个车辆参数数据确定第一车辆传感器值的导数，并基于所确定的第一车辆传感器值的导数来预测未来的第二车辆传感器值。所述车辆参数数据可以指示车辆发动机或马达速度的变化，并且作为响应，所述所生成的声音参数数据可以包括音调的对应变化。
按照本主题的实施例，一种使用便携式计算设备在车辆内输出音频的方法可以包括以下步骤：聚合来自所述车辆的一个或多个车辆传感器的车辆特定参数数据；预处理所述车辆特定参数数据以生成通用车辆参数数据；将所述通用车辆参数数据发送到所述便携式计算设备；基于所述通用车辆参数数据从所述便携式计算设备接收音频数据；以及使用置于所述车辆内的音频重放设备输出接收到的音频数据。所述车辆特定参数数据可以包括车辆传感器数据，所述车辆传感器数据包括以下中的一个或多个：加速踏板角度、车辆速度、当前道路负荷、发动机或马达速度、转向角、GPS坐标、麦克风数据或诸如控制器局域网(CAN)总线数据之类的现场总线数据。
在一种扩展中，所述方法还可以包括将所述车辆参数数据与GPS坐标数据、地图数据、季节、时间、日期或环境亮度数据中的一个或多个相组合。
在进一步的扩展中，接收到的音频数据可以包括多个音频流，并且所述多个音频流中的每个音频流可以基于经由所述便携式计算设备提供的选择针对车辆的乘员进行个性化。
按照本主题的实施例，一种非临时性计算机可读介质可以包括当由计算设备执行时可操作以执行上述任何方法的指令。
当结合附图考虑时，根据一个或多个优选实施例的以下详细描述，本发明的其他目的、优点和新颖特征将变得明显。
附图说明
图1是按照本主题的实施例的声音系统的框图概览。
图2是按照本主题的实施例的当与具有内燃发动机的车辆一起使用时的声音系统的框图概览。
图3是按照本主题的实施例的当与电动车辆一起使用时的声音系统的框图概览。
图4是按照本主题的实施例的示例性用户设备。
具体实施方式
本主题可以充分利用车辆运行数据、事件数据和/或驾驶员输入来生成对应的一个或多个声音作为响应。所生成的声音在类型和格式上可能有很大差异，比如再现的汽车发动机声音、虚构的车辆声音、持续时间短的基于事件的声音和叮当声，甚至是连续的音乐原声。所生成的声音可以反映车辆在诸如加速、减速、制动、转弯、怠速、换档、巡航之类的驾驶状况下的性能，和/或对应于特定事件比如升高或降低车窗。所生成的声音可以随着车辆驾驶模式(比如运动、经济、舒适、自主、半自主)的选择而变化。可替选地或另外地，声音可以由用户的外部便携式计算设备响应于驾驶员的输入和车辆运行条件而生成。声音可以经由车辆现有的音频系统组件、耳机或连接到用户移动设备的其他外部扬声器输出，以提供情感丰富的驾驶体验。
使用用户的外部设备生成声音可以提供各种优势。例如，一些车辆可能几乎不具有或根本不具有或根本不具有生成如本文中所描述的一系列声音的能力。使用外部设备可以允许用户永久且灵活地升级声音处理硬件和软件、存储装置存储容量和/或声音库、声音场景和数据集，而不受限于车辆的固定声音处理硬件(如果有的话)。另外，在用户的外部设备中进行声音生成可以从车辆硬件基础设施卸载声音生成和相关联的处理，并且允许用户在他或她转向使用其他车辆时享受所提供的声音。以这种方式，声音生成能力随着用户“旅行”。与本主题一起使用的车辆可以是基于ICE的车辆、电动车辆、混合动力车辆等。在一些实施例中，车辆可以是为单个用户设计的和/或是人力驱动的，比如轮椅、摩托车、自行车、踏板车、滑板等。在主题车辆缺乏它自己的音频系统的情况下，用户的便携式计算设备也可以进行通过另一个连接的音频再现设备(比如内部扬声器、耳机、听筒等)输出声音的功能。
图1图解说明按照本主题的实施例的声音系统100的框图概览。车辆105可以包括用于与用户设备110通信的各种硬件和软件组件。车辆105可以包括以信号的形式向车辆105的微处理器提供数据的许多车辆传感器145。车辆传感器145可以可通信地耦接以测量车辆、乘员和位置参数。在实施例中，车辆传感器数据125可以包括车辆数据，所述车辆数据包括车辆加速踏板角度、速度、当前道路负荷(维持给定速度的瞬时扭矩要求)、发动机或马达速度、转向角、GPS位置、GPS时间/日期、额外乘员和任何其他可用参数、比如在现场总线(例如，控制器局域网(CAN总线))上传送的那些车辆参数。车辆传感器数据125还可以包括从内部和外部相机或其他传感器获得的数据，包括面部识别数据和/或感测到的手势。麦克风还可以提供车辆传感器数据125，所述车辆传感器数据可以用于判定乘员是否正在说话、用于推断乘员的情绪和/或用于判定乘客是否正在提供口头命令。
车辆应用115可以收集车辆传感器数据125并将其发送到用户设备110而不进行处理或者至少不实质性地处理车辆传感器数据125，而是例如如后所述仅仅格式化数据。以这种方式，车辆传感器数据125可以被理解为以相对“原始”的格式提供，这可以取决于每辆车辆的特定特性、乘员的数量和驾驶员的行为。车辆传感器数据125的实质性处理可以改为主要由用户设备110的处理器进行。
在实施例中，车辆应用115可以进行车辆传感器数据125的预处理，例如以限制传感器值的范围、将车辆传感器数据归一化、排除不相关的车辆传感器数据、组合车辆传感器数据、外推额外的车辆传感器数据、概括车辆传感器数据、离散化车辆传感器数据和/或将车辆传感器数据125转化成备选格式。在一个示例中，车辆105可以是具有多个电马达和多个转速表传感器的BEV，这些电马达和转速表传感器被耦接以从每一个提供多个转速表信号。车辆应用115可以在预处理期间将多个转速表传感器信号组合成单个转速表传感器信号，然后可以将其视为通用的和/或非特定于BEV的。预处理可以用于产生统一的输入数据，而不考虑特定的车辆传感器数据范围(即马达功率、车辆重量、额外的游动(nomadic)重量、可能改变在方向盘角度与前轮和后轮上的实际角度之间的比例的辅助系统等)。以这种方式预处理车辆传感器数据125可以降低数据路径中的后续模块的算法复杂性，所述后续模块包括应用120、数据映射/归一化模块135和声音合成器140。例如，如果一辆车的速度范围在0至160英里/小时(MPH)之间，而另一辆车(能力较弱)的速度范围在0至130MPH之间，则预处理可以将这两个范围归一化为0.0至1.0，其中“1.0”对应于一辆车的160MPH和另一辆车的130MPH。以这种方式，由车辆应用115进行的预处理可以将车辆传感器数据125标准化或通用化，因为它可以将大量不同的、车辆特定的传感器数据125预处理成用于应用120的具有统一的、有限的、非特定的和/或更简单的格式的输入车辆传感器数据。由车辆应用115进行的预处理可以移除或修改可以可预见地用于具体识别车辆乘员、车辆105和/或车辆位置的GPS坐标、位置特定数据、乘员简档数据、历史驾驶数据和用户数据。预处理后的输入数据可以随后由应用120、数据映射/归一化模块135和声音合成器140中的每一个进行操作，而不考虑车辆特定的传感器特性。
可以结合附加滤波以增加信噪比，以基于车辆105内的位置以及传感器如何附接到车辆系统来从车辆传感器数据125提取附加信息；即结构传递噪声。由于车辆中的不同车辆传感器145可以具有不同的采样率，因此可以将车辆传感器数据125的采样率重新采样为接收模块所预期的采样率；所述接收模块即应用120、数据映射/归一化模块135和声音合成器140。在一个示例中，车辆传感器数据125可以包括可以通过组合GPS坐标和/或其他地图数据而被合成为更高等级的数据的车辆位置。可以利用GPS坐标和/或地图数据以生成广泛的地理分类，比如海边、城市、乡村或山区，这些地理分类可用于影响编排的声音“场景”和音轨的选择，这将在后面描述。所述更高等级的数据还可以通过将该数据与当前季节、一天中的时间和环境亮度合成来进一步细化，这也可以用于影响编排的声音场景和音轨的选择。
用户设备110例如可以是移动计算设备，比如智能电话、平板电脑、个人数字助理(PDA)等。用户设备110可以包括处理器和存储器，所述存储器包含当被执行时实现应用120的指令。应用120可以进行数据映射/归一化135例程，该例程映射和/或归一化从车辆105接收到的处理后的车辆传感器数据。数据映射/归一化模块135可以包括准备从车辆105接收到的数据和/或更高等级的数据并将其路由到声音合成器140的输入的例程。数据映射/归一化模块135的例程还可以将特定车辆数据和/或更高等级的数据归一化为声音合成器140的一个或多个所选音轨的多个声音参数数据，包括预定频率(音调)、音量(速度)、声道(音轨)、乐器、效果、位置(中心、左、右、前、后)、音符开(例如，开始降B)、音符关(例如，结束降B)、采样、循环等。
在一个示例中，由车辆105的转速表传感器确定的车辆马达速度可以被转换成或用于生成声音参数数据，所述声音参数数据相对于车辆马达速度相应地调整音乐编曲的音调和音量，其中与更低的马达速度相比，更高的马达速度可以对应于更高的音调和更高的音量。在另一个示例中，GPS坐标数据可以表明车辆正在行驶在驾驶员左侧邻近海洋的高速公路上。GPS坐标数据可以被转换为包括指定通过左侧声音位置(例如，左前车辆扬声器)重放的“海浪”音效循环的声音参数数据。
从车辆数据转换的声音参数数据和相关联的音轨可随后输入到声音合成器140。音轨可以直接由特定车辆数据或更高等级的数据控制，并且所有这些受控音轨的总和可以由声音合成器140利用来生成编排的音频声音。编排的声音随后可以被提供给音频系统130。在实施例中，数据映射/归一化模块135可以将从车辆105接收到的数据映射到MIDI和/或开放式声音控制协议消息。应意识到的是，由数据映射/归一化模块135产生的声音参数数据可以不是音频信号，而是指定声音合成器140可以使用以生成可以使用传统音频设备再现的音频数据的参数的数据；所述传统音频设备例如是扬声器、耳机等。
声音合成器140可以是基于软件和/或硬件的合成器，其能够解释MIDI和/或开放式声音控制协议消息以生成音频数据作为响应，所述音频数据可以使用音频系统130或其他乘员音频重放设备来再现。声音合成器140可以包括编排模块，所述编排模块可以包括插件式系统，其中编排的不同声音场景可以被加载、卸载，并且可以经由应用更新或基于云的API来远程更新。编排的场景可以包括一组乐器、声音、效果和循环。例如，编排的场景可以是乐器/声音的关于它们在声学房间中的位置以及它们对定义的刺激(例如车辆数据)的行为的作曲。这些编排的场景可由艺术家、程序员、声音设计师、作曲家等“手工”作曲，但也可能结合机器学习。例如，具有车辆传感器数据125的反馈回路可用于推断用户与所选编排场景之间的偏好匹配，以进一步改善用户体验。这也可以与基于云的API结合用于联合机器学习。所映射和归一化的数据可以被输入到声音合成器140。基于所映射和归一化的数据，例如声音合成器140可以使用数字声音模块来生成音频数据。所生成的音频数据可以随后使用用户设备110的发送组件而被发送到车辆105。在用户设备110是智能电话的情况下，发送组件可以是例如天线和RF收发器。在接收到音频数据时，车辆应用115可以将音频数据传递到音频系统130，以经由车辆105的一个或多个扬声器或其他乘员音频重放设备进行重放。
在实施例中，车辆105可以容纳多个乘员，并且车辆105的每个乘员可以经由耳机、本地化扬声器、移动计算设备的扬声器、智能电话等提供他或她自己的本地化音频系统。本文中使用的本地化音频应当理解为意味着乘员听到针对乘员所个性化的并且以使得至少以比可以提供给其他乘员的本地化音频更大的音量和清晰度被听到的方式发出的音频流。具有本地化音频系统的车辆105的每个乘员可以使用他或她的个人用户设备110来选择音频偏好或主题。优选地，当乘员是他/她自己的本地化音频的接收者时，他/她将根本听不到提供给其他乘员的本地化音频流，反之亦然。可替选地或另外地，例如，车辆可被配置为经由头枕中的扬声器和检测占用的传感器向一个或多个乘员提供本地化音频。声音可以根据乘员的个人偏好来部署；例如，如果驾驶员想要体验“运动模式”的发动机声音，另一名乘员仍然可以同时体验“安静模式”发动机声音，或者总之完全不同的声音、例如交响序曲。
图2图解说明按照本主题的实施例的声音系统200的框图概览。图2的声音系统200可以与声音系统100类似地运行，但有以下区别。在图2中，车辆105可以由内燃发动机机(ICE)推动。车辆105的车辆传感器数据125可以经由车载数据通信总线、比如控制器局域网(CAN)总线发送到车载诊断(OBD)无线局域网(WLAN)收发器215，该收发器可以利用WLAN数据链路255将车辆传感器数据125发送到用户设备110。由于声音系统200可能不像图1的声音系统100中那样包括车辆应用115，因此原始车辆传感器数据125的类似形式的预处理可以使用应用120来进行，以类似地限制传感器值的范围、将数据归一化、排除不相关的数据、概括数据、离散化数据和/或将数据转化为备选格式。用户设备110可以经由通用串行总线(USB)链路250(或类似链路)连接到车辆105的音频系统130，通过所述USB链路(或类似链路)可以发送由声音合成器140生成的音频数据。
图3图解说明按照本主题的实施例的声音系统300的框图概览。图3的声音系统300可以与声音系统100类似地运行，但有以下区别。在图3中，车辆105可以是电池驱动的电动车辆(BEV)，它可以直接访问主机单元315。主机单元315可以执行车载应用(本地主机单元应用)以检索和/或接收车辆传感器数据125。如在声音系统100中一样，主机单元315可以进行原始车辆传感器数据125的预处理，以类似地限制传感器值的范围、将数据归一化、排除不相关的数据、概括数据、离散化数据、和/或将数据转化成备选格式。一旦被接收，车辆传感器数据125就可以经由WLAN数据链路255无线发送到用户设备110。用户设备110可以处理车辆传感器数据125以生成音频数据，该音频数据可以类似地使用WLAN数据链路255而被发送到车辆105的主机单元315。主机单元315可以经由USB(或类似的)链路250将由用户设备110的声音合成器140生成的音频数据发送到音频系统130。
在声音系统100/200/300中的任何一个中，声音可以由声音合成器140生成，以伴随或覆盖各种基于车辆的事件或状况。例如，车辆105的加速可导致由音频系统130基于由应用120生成的音频数据输出对应的声音。在另一个示例中，升高或降低车窗、锁上车门和/或调整座椅可导致输出所选的声音。应用120触发由声音合成器140生成对应声音的能力可取决于是否可以基于来自车辆、驾驶员和/或乘员的可用数据来获得或预测触发条件。作为检测或预测触发事件的结果，应用120还可以禁用声音生成。例如，使用车辆105的内部相机和/或麦克风，应用120可以检测到车辆乘员正在说话，并导致暂时停用声音合成器140生成预期声音。可替选地或另外地，当前播放的由声音合成器140生成的声音可以基于检测到车辆乘员正在说话而突然终止。类似地，检测到巡航控制、自主或半自主模式的激活可能导致声音合成器140生成声音被暂停，因为用户可能不希望在此期间参与驾驶体验。
可能期望减少车辆105和用户设备110之间的数据交换的持续时间、或者至少是表观持续时间。几乎没有或没有感知到的延迟地经由音频系统130输出所生成的声音可以传达车辆105由于其运行而正在生成声音的错觉。为了避免在车辆105的运行条件或事件与经由音频系统130正在输出的对应声音之间的“静寂时间(dead time)”或感知到的延迟，可以利用预测算法来补偿信号传播时间。预测算法可以利用函数的导数(例如加速踏板速度和加速度，而不是由对应的加速踏板角度传感器检测到的加速踏板角度的增量)来估计踏板的未来状态、未来的马达/发动机速度或未来的车辆速度。预测算法可以类似地应用于任何车辆传感器145或其他感测到的车辆特定数据。使用机器学习算法和其他人工智能技术，可以学习用户行为并随着时间的推移改进这些预测算法。例如，可以结合反馈回路，其中基于机器学习模型的所生成的预测输出来不断改进和重新训练机器学习模型。使用预测算法，经由音频系统130输出的声音可以显得立即对车辆运行条件、事件和/或驾驶员输入作出反应，这可以创建声音正在由车辆105而不是用户设备110生成的更真实的印象。
在实施例中，用户设备110可以是便携式计算设备，比如智能电话、个人数字助理(PDA)、笔记本电脑、膝上型计算机、平板计算机、手持游戏机等。逻辑块115、120、135和/或140中的每一个都可以等效地使用电路、硬件、固件、包含可使用处理器或处理设备执行的指令的软件和/或每一个的组合来实现，以进行(一个或多个)功能或(一个或多个)动作和/或从其他逻辑、方法和/或系统引起功能或动作。逻辑可以包括软件控制的微处理器、离散逻辑(例如逻辑门)、模拟电路、数字电路、微控制器、程控逻辑器件(例如，ASIC、FPGA)、包含计算机可执行指令的存储设备等。
车辆105可以具备计算能力，比如微处理器，该微处理器可以耦接到包含指令的存储器，所述指令当由微处理器执行时实现车辆应用115。在实施例中，微处理器可以被包括在一个电子控制单元(ECU)或多个电子控制单元内，所述电子控制单元可以用于控制各种车辆系统和子系统以及聚合从车辆传感器145获得的车辆传感器数据125。除了微处理器和存储器之外，所述一个或多个ECU可以使用一个或多个计算设备来实现，所述计算设备具有输入/输出(I/O)接口、网络接口、非易失性存储装置等，如关于图4进一步所描述。
当前公开的主题的实施例可以在各种组件和网络架构中实现并与各种组件和网络架构一起使用。图4是图解说明适合于实现可以实现本主题的用户设备110和/或车辆105的计算机处理结构的几个组件的示例框图。计算设备20例如可以是嵌入式系统、电子控制单元、诸如智能电话、平板电脑之类的移动计算设备。计算设备20可以包括总线21，所述总线互连计算设备20的主要组件，比如中央处理单元(CPU)24，诸如随机存取存储器(RAM)、只读存储器(ROM)、闪速RAM之类的存储器27，诸如显示屏之类的用户显示器22，可以包括一个或多个控制器和相关联的用户输入设备(比如键盘、鼠标、触摸屏等)的I/O接口26，诸如硬盘驱动器、闪速存储装置之类的固定存储器23，可操作以控制并接收光盘、闪存存储器等的可移动介质组件25，以及可操作以经由适当的网络连接与一个或多个远程设备通信的网络接口29。
考虑到车辆105的处理能力，总线21可以是布置在车辆105内的控制器局域网(CAN总线)，并且互连车辆105内的多个电子控制单元。可替选地或附加地，总线21可以经由适当的总线接口直接或间接地连接到车辆总线、比如CAN总线，所述总线接口根据需要转换两者之间的通信。总线21可以允许在CPU 24和一个或多个存储器组件(所述存储器组件可包括RAM、ROM和其他存储器)以及车辆组件(所述车辆组件包括电子控制单元、车辆传感器145、致动器、伺服机构等)之间的数据通信，如前所述。CPU 24可以与另外的组件组合以形成微控制器。通常，RAM是将操作系统和应用程序加载到其中的主存储器。ROM或闪存存储器组件可以包含引导代码或基本输入输出系统(BIOS)等代码，所述基本输入输出系统控制诸如与外围组件的交互之类的基本硬件操作。驻留在计算设备20上的应用通常存储在非临时性计算机可读介质上并经由非临时性计算机可读介质访问，所述非临时性计算机可读介质比如是硬盘驱动器(例如，固定存储装置23)、光盘驱动器、闪存驱动器或其他浮栅型存储器、软盘或其他存储介质。
固定存储装置23可以与计算设备20集成，或者可以是分离的并通过其他接口访问。网络接口29可以经由有线或无线连接提供到远程服务器的直接连接。网络接口29可以使用本领域技术人员易于理解的任何合适的技术和协议来提供此类连接，包括数字蜂窝电话、Wi-Fi、近场等。例如，网络接口29可以允许计算设备经由一个或多个本地网络、广域网络或其他通信网络与其他计算机或车辆通信，如下进一步详细所描述。
许多其他设备或组件(未示出)可以以类似的方式连接。相反，实践本公开不需要图4中所示的所有组件都存在。所述组件可以以与所示方式不同的方式互连。诸如图4中所示的计算设备20的操作在本领域中是容易已知的从而不在本申请中详细讨论。实现本公开的代码可以存储在非临时性计算机可读存储介质中(比如存储器27、固定存储装置23、可移动介质25中的一个或多个)或者存储在远程存储位置。
更一般地，当前公开的主题的各个实施例可以包括计算机实现的处理和用于实践这些处理的装置，或者以计算机实现的处理和用于实践这些处理的设备的形式来实施。实施例还可以以具有计算机程序代码的计算机程序产品的形式来实施，所述计算机程序代码包含实施在非临时性介质和/或有形介质(比如软盘、CD-ROM、硬盘驱动器、USB(通用串行总线)驱动器、浮栅半导体存储器或任何其他非临时性机器可读存储介质)中的指令，使得当计算机程序代码被加载到计算机中并由计算机执行时，计算机成为用于实践所公开主题的实施例的装置。实施例还可以以计算机程序代码的形式来实施，例如无论是存储在存储介质中、加载到计算机中和/或由计算机执行，还是通过一些传输介质(比如通过电线或电缆、通过光纤或经由电磁辐射)传输，使得当计算机程序代码被加载到计算机中并由计算机执行时，计算机成为用于实践所公开主题的实施例的装置。当在通用微处理器上实现时，计算机程序代码段配置所述微处理器以创建特定的逻辑电路。
贯穿本文对“一个实施例”、“某些实施例”和“实施例”或类似用语的引用意味着结合该实施例描述的特征、结构或特性包括在本主题的至少一个实施例中。因此，此类短语的出现或在贯穿本说明书的各个地方的出现不一定都指同一实施例。此外，来自任何数量的所公开实施例的特征、结构或特性可以以任何合适的方式相组合而不受限制。
上述公开内容仅仅是为了举例说明本发明而提出的并不旨在是限制性的。由于本领域的技术人员可以想到结合本发明的精神和实质的对所公开实施例的修改，因此本发明应被解释为包括所附权利要求及其等效物的范围内的所有内容。

Claims (24)

1.一种使用便携式计算设备生成音频数据的方法，包括：
在便携式计算设备处从车辆接收车辆参数数据；
使用所述便携式计算设备从所述车辆参数数据生成声音参数数据；
使用所述便携式计算设备基于所述声音参数数据生成音频数据；以及
将所述音频数据从所述便携式计算设备发送到所述车辆。
2.按照权利要求1所述的方法，其中
所述声音参数数据符合MIDI协议和/或开放式声音控制协议。
3.按照权利要求1所述的方法，其中
所述车辆参数数据包括车辆传感器数据，所述车辆传感器数据包括以下中的一个或多个：
加速踏板角度；
车速；
当前道路负荷；
发动机或马达速度；
转向角；
GPS坐标；
麦克风数据；或
现场总线数据。
4.按照权利要求1所述的方法，其中
从其转换车辆参数数据的声音参数数据包括以下中的一个或多个：
音调；
音量；
声道；
乐器；
效果；
声音位置；
音符开；
音符关；
采样；或
循环。
5.按照权利要求1所述的方法，还包括：
将所述车辆参数数据与GPS坐标数据、地图数据、季节、时间、日期或环境亮度数据中的一个或多个相组合。
6.按照权利要求1所述的方法，还包括：
基于所述车辆参数数据选择一个或多个编排的声音场景和/或音轨。
7.按照权利要求6所述的方法，还包括：
组合多个所选编排的声音场景和/或音轨以生成编排的音频声音。
8.按照权利要求1所述的方法，还包括：
基于所述车辆参数数据判定车辆乘员正在说话、所述车辆正在以自主模式运行和/或所述车辆正在利用巡航控制；并且
作为响应，停用所述音频数据的生成和/或发送。
9.按照权利要求1所述的方法，还包括：
基于多个车辆参数数据确定第一车辆传感器值的导数；并且
基于所确定的第一车辆传感器值的导数来预测未来的第二车辆传感器值。
10.按照权利要求1所述的方法，其中
所述车辆参数数据指示车辆发动机或马达速度的变化；并且
作为响应，所生成的声音参数数据包括音调的对应变化。
11.一种包括指令的非临时性计算机可读介质，所述指令当由便携式计算设备执行时可操作以便：
在所述便携式计算设备处从车辆接收车辆参数数据；
使用所述便携式计算设备从所述车辆参数数据生成声音参数数据；
使用所述便携式计算设备基于所述声音参数数据生成音频数据；以及
将所述音频数据从所述便携式计算设备发送到所述车辆。
12.按照权利要求11所述的介质，其中
所述声音参数数据符合MIDI协议和/或开放式声音控制协议。
13.按照权利要求11所述的介质，其中
所述车辆参数数据包括车辆传感器数据，所述车辆传感器数据包括以下中的一个或多个：
加速踏板角度；
车速；
当前道路负荷；
发动机或马达速度；
转向角；
GPS坐标；
麦克风数据；或
现场总线数据。
14.按照权利要求11所述的介质，其中
从其转换车辆参数数据的声音参数数据包括以下中的一个或多个：
音调；
音量；
声道；
乐器；
效果；
声音位置；
音符开；
音符关；
采样；或
循环。
15.按照权利要求11所述的介质，还包括指令，所述指令当由所述便携式计算设备执行时可操作以便：
将所述车辆参数数据与GPS坐标数据、地图数据、季节、时间、日期或环境亮度数据中的一个或多个相组合。
16.按照权利要求11所述的介质，还包括指令，所述指令当由所述便携式计算设备执行时可操作以便：
基于所述车辆参数数据选择一个或多个编排的声音场景和/或音轨。
17.按照权利要求16所述的介质，还包括指令，所述指令当由所述便携式计算设备执行时可操作以便：
组合多个所选编排的声音场景和/或音轨以生成编排的音频声音。
18.按照权利要求11所述的介质，还包括指令，所述指令当由所述便携式计算设备执行时可操作以便：
基于所述车辆参数数据判定车辆乘员正在说话、所述车辆正在以自主模式运行和/或所述车辆正在利用巡航控制；并且
作为响应，停用所述音频数据的生成和/或发送。
19.按照权利要求11所述的介质，还包括指令，所述指令当由所述便携式计算设备执行时可操作以便：
基于多个车辆参数数据确定第一车辆传感器值的导数；并且
基于所确定的第一车辆传感器值的导数来预测未来的第二车辆传感器值。
20.按照权利要求11所述的介质，其中
所述车辆参数数据指示车辆发动机或马达速度的变化；并且
作为响应，所生成的声音参数数据包括音调的对应变化。
21.一种使用便携式计算设备在车辆内输出音频的方法，包括：
聚合来自所述车辆的一个或多个车辆传感器的车辆特定参数数据；
预处理所述车辆特定参数数据以生成通用车辆参数数据；
将所述通用车辆参数数据发送到所述便携式计算设备；
基于所述通用车辆参数数据从所述便携式计算设备接收音频数据；以及
使用设置在所述车辆内的音频重放设备输出接收到的音频数据。
22.按照权利要求21所述的方法，其中
所述车辆特定参数数据包括车辆传感器数据，所述车辆传感器数据包括以下中的一个或多个：
加速踏板角度；
车速；
当前道路负荷；
发动机或马达速度；
转向角；
GPS坐标；
麦克风数据；或
现场总线数据。
23.按照权利要求21所述的方法，还包括：
将所述车辆参数数据与GPS坐标数据、地图数据、季节、时间、日期或环境亮度数据中的一个或多个相组合。
24.按照权利要求21所述的方法，其中
接收到的音频数据包括多个音频流；并且
基于经由所述便携式计算设备提供的选择针对车辆的乘员对所述多个音频流中的每个音频流进行个性化。
CN202280040263.8A 2021-08-05 2022-07-19 声音体验发生器 Pending CN117425586A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163229859P 2021-08-05 2021-08-05
US63/229,859 2021-08-05
US17/452,870 2021-10-29
US17/452,870 US11537358B1 (en) 2021-08-05 2021-10-29 Sound experience generator
PCT/EP2022/070207 WO2023011911A1 (en) 2021-08-05 2022-07-19 Sound experience generator

Publications (1)

Publication Number Publication Date
CN117425586A true CN117425586A (zh) 2024-01-19

Family

ID=84689502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040263.8A Pending CN117425586A (zh) 2021-08-05 2022-07-19 声音体验发生器

Country Status (2)

Country Link
US (1) US11537358B1 (zh)
CN (1) CN117425586A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7421725B2 (ja) * 2020-01-21 2024-01-25 マツダ株式会社 車両用音生成装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018215841A2 (en) * 2017-05-24 2018-11-29 Gogoro Inc. Systems for generating audio signals and associated methods
KR20210003806A (ko) * 2018-05-31 2021-01-12 하만인터내셔날인더스트리스인코포레이티드 정상 상태 차량 음향 합성을 위한 시스템 및 방법
KR102644371B1 (ko) * 2018-12-06 2024-03-07 현대자동차주식회사 Ev차량 드라이빙 사운드 제어장치 및 제어방법
JP7281706B2 (ja) * 2019-03-27 2023-05-26 パナソニックＩｐマネジメント株式会社 音処理装置、車両および音処理方法
JP7446753B2 (ja) * 2019-09-30 2024-03-11 ラピスセミコンダクタ株式会社 音出力装置、通信コントローラ及び音生成器
JP7421725B2 (ja) * 2020-01-21 2024-01-25 マツダ株式会社 車両用音生成装置
KR20210134124A (ko) * 2020-04-29 2021-11-09 현대자동차주식회사 차량 제어 장치 및 방법
KR20220000655A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 주행음 라이브러리, 주행음 라이브러리 생성 장치 및 주행음 라이브러리를 포함하는 차량
KR20220085062A (ko) * 2020-12-14 2022-06-22 현대자동차주식회사 전기자동차의 가상 후연소 사운드 재생 방법

Also Published As

Publication number Publication date
US11537358B1 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
US10170111B2 (en) Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior
US10347121B2 (en) Pedestrian warning system providing adjustable acoustic indications
US11485231B2 (en) Systems and methods for providing nature sounds
US20200307644A1 (en) Control system for vehicle, notification method for vehicle, and medium
JP2000001142A (ja) 車両用エンジン模擬音発生装置
WO2023274361A1 (zh) 一种发声装置的控制方法、发声系统以及车辆
CN117425586A (zh) 声音体验发生器
CN110366852B (zh) 信息处理设备、信息处理方法和记录介质
JP2007161056A (ja) 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US20210345043A1 (en) Systems and methods for external environment sensing and rendering
KR20180062672A (ko) 출력사운드 자동조절이 가능한 자동차 클러스터
KR20210003215A (ko) 차량용 오디오 장치 및 차량용 오디오 장치를 작동시키기 위한 방법
WO2023011911A1 (en) Sound experience generator
KR20210151089A (ko) 차량 시스템의 음성 제어
JP2019129441A (ja) 楽曲提供システム及び楽曲提供方法
KR20220159646A (ko) 진동 발생 장치 및 그를 가지는 차량
WO2018234848A1 (en) AFFECTIVE SOUND AMPLIFICATION FOR AUTOMOTIVE APPLICATIONS
CN109640228B (zh) 一种数据处理方法及电子设备
JP2021046154A (ja) 車両制御計画生成装置及び車両の制御装置
US20230294662A1 (en) Apparatus and method for generating virtual sound
US20230186893A1 (en) Apparatus and method for controlling vehicle sound
EP4339024A1 (en) Lighting system control method, lighting system and vehicle
US11671754B2 (en) Vehicle and method for controlling thereof
KR102053200B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
CN115709721A (zh) 驾驶辅助方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination