CN116262476A - 用于控制车辆声音的装置和方法 - Google Patents

用于控制车辆声音的装置和方法 Download PDF

Info

Publication number
CN116262476A
CN116262476A CN202210645182.2A CN202210645182A CN116262476A CN 116262476 A CN116262476 A CN 116262476A CN 202210645182 A CN202210645182 A CN 202210645182A CN 116262476 A CN116262476 A CN 116262476A
Authority
CN
China
Prior art keywords
sound
vehicle
volume
processing device
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210645182.2A
Other languages
English (en)
Inventor
金璂畅
朴东喆
尹明焕
金星镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
SNU R&DB Foundation
Kia Corp
Original Assignee
Hyundai Motor Co
SNU R&DB Foundation
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, SNU R&DB Foundation, Kia Corp filed Critical Hyundai Motor Co
Publication of CN116262476A publication Critical patent/CN116262476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0012—Feedforward or open loop systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50—Miscellaneous
    • G10K2210/51—Improving tonal quality, e.g. mimicking sports cars
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

提供了一种用于控制车辆声音的装置和方法。该装置包括：检测设备，检测驾驶信息和驾驶模式设置信息；和处理设备，与检测设备电连接。处理设备基于驾驶信息或驾驶模式设置信息中的至少一个来确定驾驶员的情绪状态，根据驾驶员的情绪状态确定声音概念，并且根据声音概念控制车辆声音。

Description

用于控制车辆声音的装置和方法
技术领域
本公开涉及一种用于控制车辆声音的装置和方法。
背景技术
现代人在他们的日常生活中承受着很多压力。当这种压力积累时，它可能会表现为身体的心理或生理症状。因此，人们对于在日常生活中合适地管理压力的管理方法越来越感兴趣。因此，对能够帮助人们管理他们的压力的内容的需求有所增加。
发明内容
本公开的一方面提供了用于控制车辆声音的装置和方法，以基于驾驶信息和驾驶员情绪信息主动地调节声音的音量、音调和声像。
本公开要解决的技术问题不限于上述问题，并且本公开所属领域的技术人员通过以下描述将清楚地理解本文未提及的任何其它技术问题。
根据本公开的一方面，用于控制车辆声音的装置可以包括：检测设备，检测驾驶信息和驾驶模式设置信息；和处理设备，与检测设备电连接。处理设备可以基于驾驶信息或驾驶模式设置信息中的至少一个来确定驾驶员的情绪状态，可以根据驾驶员的情绪状态确定声音概念，并且可以根据声音概念控制车辆声音。
声音概念可以基于驾驶员情绪建模合适地建立为例如，一种、两种、三种或更多种类型。在某些方面，声音概念可以基于驾驶员情绪建模合适地建立为三种类型。
车辆声音可以包括例如警告声音和虚拟声音。
处理设备可以基于车辆环境信息合适地控制车辆声音的音量，可以基于声音概念控制车辆声音的音调，并且可以根据基于车辆声音的频率的激振力来控制车辆声音的声像。
处理设备可以合适地包括：前馈计算器，计算根据声音概念的音量校正值和根据车辆环境信息的音量校正值；和音量控制设备，包括控制阀，该控制阀通过反映音量校正值来确定车辆声音的音量调节值。控制阀可以根据车辆声音与背景噪声之间的声压差合适地调节车辆声音的音量。
控制阀可以根据先前存储的每个车辆等级的音量权重信息来最终合适地校正音量调节值。
处理设备可以对车辆声音合适地执行音高控制、增益控制、加速器踏板位置传感器(APS)控制、频率滤波、Shepard层控制或音量调节中的至少一个。
处理设备可以合适地合成车辆声音的声源的低频激励、中频激励和/或高频激励并且可以合适地线性化所合成的低频激励、中频激励和/或高频激励。
处理设备可以基于车辆声音适当地生成触觉信号。
根据本公开的另一方面，用于控制车辆声音的方法可以包括接收驾驶信息和驾驶模式设置信息，基于驾驶信息或驾驶模式设置信息中的至少一个来确定驾驶员的情绪状态，根据驾驶员的情绪状态确定声音概念，并且根据声音概念控制车辆声音。这种方法可以合适地包括例如与检测设备电连接的处理设备的使用。
声音概念可以基于驾驶员情绪建模合适地建立为例如，一种、两种、三种或更多种类型。在某些方面，声音概念可以基于驾驶员情绪建模合适地建立为三种类型。
车辆声音可以合适地包括警告声音和/或虚拟声音，或其它声音。
控制车辆声音可以合适地包括：基于车辆环境信息来控制车辆声音的音量，基于声音概念来控制车辆声音的音调，以及根据基于车辆声音的频率的激振力来控制车辆声音的声像。
控制车辆声音的音量可以合适地包括：由前馈计算器计算根据声音概念的音量校正值和根据车辆环境信息的音量校正值，以及由控制阀通过反映音量校正值来确定车辆声音的音量调节值。
控制车辆声音的音量还可以合适地包括：由控制阀根据车辆声音与背景噪声之间的声压差来调节车辆声音的音量。
控制车辆声音的音量还可以合适地包括：由控制阀根据先前存储的每个车辆类别的音量权重信息来最终校正音量调节值。
控制车辆声音的音调可以合适地包括：对车辆声音执行音高控制、增益控制、加速器踏板位置传感器(APS)控制、频率滤波、Shepard层控制或音量调节中的至少一个。
控制车辆声音的声像可以合适地包括：合成车辆声音的声源的低频激励、中频激励和/或高频激励，并且线性化所合成的低频激励、中频激励和/或高频激励。
控制车辆声音可以合适地包括：基于车辆声音生成触觉信号。
还提供了包括如本文所公开的装置和/或方法的车辆(包括客车、卡车或其它车辆)。
附图说明
本公开的上述和其它目的、特征和优点将从以下结合附图的详细描述中变得更加明显。
图1是示出根据本公开的实施例的用于控制车辆声音的装置的配置的框图；
图2是示出根据本公开的实施例的音量控制设备的框图；
图3是示出根据本公开的实施例的基于驾驶员情绪建模的声音设计示例的图；
图4A和图4B是示出根据本公开的实施例的声像控制的图；
图5是示出根据本公开的实施例的根据声像控制的声音变化的图；
图6是示出根据本公开的实施例的用于控制车辆声音的方法的流程图；以及
图7是示出根据本公开的实施例的用于执行用于控制车辆声音的方法的计算系统的框图。
具体实施方式
在下文中，将参照示例性附图详细描述本公开的一些实施例。在附图中，将始终使用相同的附图标记来表示相同或等同的元件。此外，将排除对众所周知的特征或功能的详细描述，以免不必要地模糊本公开的主旨。
可以理解的是，如本文所用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如乘用车(包括运动型多功能车(SUV))、公共汽车、卡车、各种商用车辆、水运工具(包括各种船只和船舶)、飞机等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其它替代燃料车辆(例如，从石油以外的资源所获得的燃料)。如本文所提及的，混合动力车辆是具有两个或更多动力源的车辆，例如，汽油动力和电动车辆。
本文使用的术语仅出于描述特定实施例的目的，并不旨在限制本公开。如本文所用，单数形式“一个”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解的是，术语“包括”和/或“包含”当在本说明书中使用时，指定了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其组合。如本文所用，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。在整个说明书中，除非有相反的明确描述，否则词语“包括”和变体(例如“包含”)将被理解为暗示包含所述元件而不是排除任何其它元件。此外，说明书中所描述的术语“单元”和“模块”是指用于处理至少一个功能和操作的单元，并且可以通过硬件部件或软件部件及其组合来实现。
此外，本公开的控制逻辑可以体现为包含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读介质也可以分布在网络耦合计算机系统中，从而计算机可读介质以分布式方式(例如，通过远程信息处理服务器或控制器域网(CAN))存储和执行。
在描述根据本公开的实施例的部件时，可以使用例如，第一、第二、“A”、“B”、(a)、(b)等术语。这些术语仅旨在将一个部件与另一个部件区分开来，并且这些术语并不限制组成部件的性质或顺序。此外，除非另外定义，否则本文使用的所有术语(包括技术或科学术语)具有与本公开所属领域的技术人员通常理解的含义相同的含义。这种术语作为在通用词典中定义的术语应被解释为具有与相关领域的上下文含义相同的含义，并且不应被解释为具有理想的或过于正式的含义，除非在本申请中明确定义为具有这种含义。
图1是示出根据本公开的实施例的用于控制车辆声音的装置的配置的框图。
用于控制车辆声音的装置100可以安装在电气化(electrification)车辆和/或自动驾驶车辆(例如，电动车辆(EV)、插电式混合动力电动车辆(PHEV)和/或混合动力电动车辆(HEV))上。用于控制车辆声音的装置100可以基于驾驶信息或驾驶模式设置信息中的至少一个来调整和输出车辆声音的音量、音调(tone)或声像中的至少一个。车辆声音可以包括警告声音(例如，启动和关闭声音、电池放电警告声音、电池电量不足警告声音和/或未系安全带警告声音)和/或虚拟声音(例如，用于行人安全的虚拟发动机声音、根据实际车辆驾驶环境中的慢速加速和快速加速的加速声音和/或考虑自动巡航控制的恒速声音)。
如图1所示，用于控制车辆声音的装置100可以包括检测设备110、通信设备120、存储器130、用户接口140、声音输出设备150、振动输出设备160、处理设备170等。
检测设备110可以检测驾驶员的驾驶信息、驾驶模式设置信息和环境信息(即，车辆内部环境信息和/或车辆外部环境信息)。检测设备110可以使用安装在车辆上的传感器和/或电子控制单元(ECU)检测驾驶信息(例如，车速、电动机每分钟转数(RPM)、加速器踏板开度、加速器踏板响应性、车道偏离、车辆碰撞和/或车辆间距离)。麦克风、照相机(或图像传感器)、距离传感器、轮速传感器、高级驾驶员辅助系统(ADAS)传感器、3轴加速度计、惯性测量单元(IMU)等可以用作传感器。ECU可以是电动机控制单元(MCU)、车辆控制单元(VCU)等。
通信设备120可以辅助用于控制车辆声音的装置100以与安装在车辆上的ECU和/或外部电子设备(例如，终端、服务器等)进行通信。通信设备120可以包括无线通信电路(例如，蜂窝通信电路、短程无线通信电路和/或全球导航卫星系统(GNSS)通信电路)、有线通信电路(例如，局域网(LAN)通信电路和/或电力线通信电路)、车辆通信电路(例如，控制器区域网(CAN)通信电路、局域网互连网络(LIN)通信电路和以太网通信电路)等。
存储器130可以存储情绪识别模型、声音设计算法、音量设置算法、音量控制逻辑、音调控制逻辑、声像控制逻辑等。基于驾驶员情绪建模和噪声权重的每个车辆类别的声音音量(或水平)可以以前馈方式来校正并应用于音量设置算法。此外，存储器130可以存储车辆声音(例如，警告声音和虚拟声音)，并且可以存储顺序表(order table)、各种设置信息等。
存储器130可以是存储由处理设备170执行的指令的非暂时性存储介质。存储器130可以包括存储介质(例如，随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦可编程ROM(EEPROM)、可擦可编程ROM(EPROM)、硬盘驱动器(HDD)、固态硬盘(SSD)、嵌入式多媒体卡(eMMC)和/或通用闪存存储(UFS))中的至少一种。
用户接口140可以辅助用于控制车辆声音的装置100以与用户交互。用户接口140可以根据用户的操作生成数据，并且可以根据处理设备170的指令输出视觉信息、触觉信号等。例如，用户接口140可以生成用于根据用户输入来选择和设置驾驶模式的数据(或信号)，并且可以输出指示驾驶模式的设置完成的信息。用户接口140可以包括输入和输出设备(例如，键盘、辅助键盘、按钮、开关、触摸板、麦克风、触摸屏、显示器和/或扬声器)中的至少一个。
声音输出设备150可以向车辆的内部和/或外部输出可听信号(即，车辆声音(或治疗声音))。声音输出设备150可以包括数字信号处理器(DSP)、微处理器等。声音输出设备150可以将车辆声音输出到安装在车辆内部的扬声器。此外，声音输出设备150可以将车辆声音输出到安装在车辆外部的扬声器(外部放大器)。
振动输出设备160可以控制振动器输出触觉信号。振动器可以安装在方向盘、座椅的坐垫、靠背、腿垫等中，并且多个振动器可以安装在不同的位置。振动输出设备160可以在处理设备170的控制下调整振动强度、振动方向、振动频率、振动量等。
处理设备170可以与各个部件110至160电连接。处理设备170可以使用驾驶信息来识别用户(例如，驾驶员等)的情绪状态，并且可以根据所识别的用户的情绪状态来调节车辆声音的音量、音调或声像中的至少一个。由处理设备170调节的车辆声音可以作为治疗声音提供给用户。处理设备170可以包括处理设备(例如，专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微控制器和/或微处理器)中的至少一种。
处理设备170可以从检测设备110接收驾驶信息、驾驶模式设置信息、车辆环境信息(例如，内部环境信息和外部环境信息)等。驾驶模式可以分为ECO(经济)模式、COMFORT(舒适)模式、SPORTS(运动)模式、SMART(智能)模式(或个性化设置模式)等。
处理设备170可以基于驾驶信息来确定驾驶员的情绪状态。处理设备170可以使用用户模型(persona)技术来导出驾驶员情绪。处理设备170可以根据驾驶员的情绪状态来确定声音概念。换言之，处理设备170可以使用驾驶者情绪建模来建立三种类型的声音概念。基于驾驶员情感建模的声音概念可以分为文雅的(cultured)声音或和声(harmony sound)概念、娱乐声音或有趣的驾驶声音概念、可适应的声音或情境感知声音概念等。文雅的声音或和声概念可能更喜欢具有中低音和高品质的感觉的舒适柔和的和谐的声音。娱乐声音或有趣的驾驶声音概念可能更喜欢有趣的未来派声音。可适应的声音或情境感知声音概念可能更喜欢根据用户心情而变化的声音。处理设备170可以基于从检测设备110接收的驾驶信息来选择基于驾驶员情绪建模的三种类型的声音概念中的一种。
处理设备170可以基于驾驶员的驾驶模式设置信息来选择基于驾驶员情绪建模的三种类型的声音概念中的一种作为默认概念(或默认值)。换言之，当驾驶员选择了驾驶模式时，处理设备170可以确定与所选择的驾驶模式对应的基于驾驶员情绪建模的声音概念。例如，当驾驶员选择了ECO模式时，处理设备170可以确定驾驶员更喜欢安静状况，以将声音概念确定为典型声音或默认声音，使得车辆可以在安静状况下行驶。当驾驶员选择了COMFORT模式时，处理设备170可以将文雅的声音或和声概念确定为声音概念。当驾驶员选择了SPORTS模式时，处理设备170可以将娱乐声音或有趣的驾驶声音确定为声音概念。当驾驶员选择了SMART模式时，处理设备170可以将用于通过个性化设置提供根据用户情绪而改变的声音的可适应的声音或情境感知声音确定为声音概念。
处理设备170可以基于所确定的声音概念提供基于车辆环境信息的情绪关怀解决方案。换言之，处理设备170可以基于所确定的声音概念规定根据车辆环境信息的治疗声音和振动。情绪关怀解决方案的验证可以通过由虚拟现实(VR)模拟器和实际车辆环境驾驶评估所进行的情绪评估和比较来执行。
此外，处理设备170可以根据声音设计方法来优化车辆声音的音量、音调和声像。处理设备170可以使用音量控制逻辑、音调控制逻辑和/或声像控制逻辑来调节车辆声音的音量、音调或声像中的至少一个，以生成治疗声音。处理设备170可以播放和输出生成的治疗声音。此时，处理设备170可以基于车辆环境信息来调节振动。
处理设备170可以在文雅的声音或和声或娱乐声音或有趣的驾驶声音中，基于用户的音量、音调和/或声像调节值、主机(head unit)信号和/或驾驶信息来调节车辆声音。主机信号可以是从主机提供的车辆环境信息(例如，内部环境信息和/或外部环境信息)。
处理设备170可以根据音量控制逻辑来控制车辆声音的音量。处理设备170可以计算根据基于驾驶员情绪建模的声音概念的音量校正值和根据车辆环境信息的音量校正值。处理设备170可以使用前馈计算和控制阀确定车辆声音的音量校正值。
处理设备170可以使用音调控制逻辑来控制车辆声音的音调。处理设备170可以生成适合于驾驶情况(或驾驶环境)的虚拟声音。处理设备170可以基于预定的声音设计信息来调节和生成虚拟声音。处理设备170可以对车辆声音执行音高(pitch)控制、增益控制、加速器踏板位置传感器(APS)控制、频率滤波、Shepard层控制、音量调节等。音高控制是调节车辆声音的音高的功能，这是用于音量指导(volume guide)的第一步。音高控制是通过根据RPM调节音高速率(pitch rate)和颗粒水平(grain level)来在虚拟环境中辅助执行车辆声音设计的功能。增益控制是改变音调和调节阻力(resistance)的功能，这是用于基于心理声学的听觉评估的第二步。APS控制是调节加速器踏板开度的功能，这是用于根据实际车辆的恒定速度或加速驾驶状况的声音设计的第三步。频率滤波可以调节声音的回放频带。Shepard层控制是生成第二声源并且伴随地调节声源的调节区域的功能，这可以通过波形音频格式(WAV)设置来存储和校正声源。
处理设备170可以根据声像控制逻辑来控制车辆声音的声像。处理设备170可以合成车辆声音的声源的低频激励、中频激励和高频激励。处理设备170可以线性化所合成的低频激励、中频激励和高频激励。
图2是示出根据本公开的实施例的音量控制设备的框图。图3是示出根据本公开的实施例的基于驾驶员情绪建模的声音设计示例的图。
音量控制设备200可以关于车辆的内部环境和/或外部环境(在下文中称为“内部/外部环境”)调节声音音量(或幅值)。这种音量控制设备200可以包括测量设备210、前馈计算器220、控制阀230和处理(process)240。
测量设备210可以测量车辆的内部环境信息和/或外部环境信息。测量设备210可以将测得的内部环境信息和/或测得的外部环境信息(或测得的内部/外部环境信息)传送到前馈计算器220和处理240。
前馈计算器220可以基于设定值和由测量设备210测得的测量值来计算音量校正值。此处，设定值可以是基于驾驶员情绪建模的预定声音类型(或声音概念)。前馈计算器220可以根据基于驾驶员情绪建模的声音类型来计算音量校正值。例如，当声音概念被设置为文雅的声音或和声时，前馈计算器220可以计算+3dB的音量校正值，用于将默认音量调节为文雅的声音或和声音量。当声音概念被设置为娱乐声音或有趣的驾驶声音时，前馈计算器220可以计算+7dB的音量校正值，用于将默认音量调节为娱乐声音音量。前馈计算器220可以根据内部/外部环境信息来计算音量校正值。例如，前馈计算器220可以将±5dB至10dB添加到环境噪声音量以计算车辆音量。前馈计算器220可以将计算出的音量校正值传送到控制阀230。
控制阀230可以接收根据内部/外部环境信息在多个阶段调节的车辆声音的声压。当车辆声音与背景噪声(例如，手机等的音量)之间的声压差小于或等于预定基准值(例如，3dB至5dB)时，控制阀230可以不调整车辆声音的声压。换言之，当车辆声音与背景噪声之间的声压差小于或等于基准值时，控制阀230可以将控制阀230的状态设置为关闭。当车辆声音与背景噪声之间的声压差大于基准值时，控制阀230可以基于虚拟声音与背景噪声之间的声压以预定基准值为单位调节声压，以增加或减小车辆声音的音量。
作为另一示例，当从测量设备210接收到指示行人危险的信号时，控制阀230可以将虚拟声音的音量增大预定音量。测量设备210可以通过传感器等确定行人是否危险。
作为另一示例，控制阀230可以分析通过照相机获得的图像，以确定车辆行驶的地方是乡村还是市中心，并且可以根据确定的结果校正车辆声音的音量。例如，当车辆在乡村外行驶时，控制阀230可以以预定速率减小车辆声音的音量。当车辆在市中心行驶时，控制阀230可以以预定速率增加车辆声音的音量。
作为另一示例，控制阀230可以根据行驶速度(例如，怠速、低速、高速和/或加速)校正车辆声音的音量。例如，当驾驶类型是怠速或低速时，控制阀230可以以预定单位减小车辆声音的音量。此外，当驾驶类型是高速或加速时，控制阀230可以以预定单位(或以预定速率)增加车辆声音的音量。
作为另一示例，控制阀230可以关于先前存储的每个车辆等级的音量权重信息来最终校正调节值。例如，当车辆等级为中型时，控制阀230可以将与车辆等级对应的音量权重(例如，+15dB)添加到基准音量(例如，65dB)，以计算最终音量。
处理240可以是控制目标，其可以是放大设备(例如，放大器)。处理240可以基于从控制阀230输入的音量调节值来调节车辆声音的音量。
例如，当根据驾驶类型的加速器踏板开度和扭矩波动值被输入到音量控制设备200时，可以参考先前存储的顺序表来确定目标声音音量。前馈计算器220可以基于由测量设备210测得的车辆的内部/外部环境信息来计算音量校正值。控制阀230可以基于目标声音音量和音量校正值来调节音量调节值。处理240可以基于从控制阀230输入的音量调节值来控制虚拟声音的音量。参照图3，当声音概念是文雅的声音或和声概念，娱乐声音或有趣驾驶声音概念，以及可适应的声音或情境感知声音概念中的每一个时，音量控制设备200如曲线图310、曲线图320和曲线图330那样校正音量。根据本实施例，因为音量是关于背景噪声的音量校正的，而不使用现有的降噪技术，所以无论内部/外部环境如何，都可以提供相同音量的声音。
图4A和图4B是示出根据本公开的实施例的声像控制的图。图5是示出根据本公开的实施例的根据声像控制的声音变化的图。
图1的处理设备170可以使用声像控制逻辑来控制车辆声音的声像。首先，处理设备170可以根据声像控制逻辑来合成声源。如图4A所示，处理设备170可以合成低频激励、中频激励和高频激励。接下来，处理设备170可以线性化所合成的声源。如图4B所示，处理设备170可以线性化所合成的声源以广泛地实现驾驶员感受到的声像。参照图5，原始声音感觉就像声像集中在一个地方。然而，根据本公开的实施例的声像控制声音可以被实现为丰富而生动的声音。
图6是示出根据本公开的实施例的用于控制车辆声音的方法的流程图。
参照图6，在S100中，图1中的用于控制车辆声音的装置100的处理设备170可以接收驾驶信息和驾驶模式设置信息。驾驶模式可以分为ECO模式、COMFORT模式、SPORTS模式、SMART模式(或个性化设置模式)等。处理设备170可以通过图1的检测设备110获得驾驶信息(例如，车速、电动机每分钟转数(RPM)、加速器踏板开度、加速器踏板响应性、车道偏离、车辆碰撞和/或车辆间距离)。
在S110中，处理设备170可以基于驾驶信息和驾驶模式设置信息中的至少一个来确定驾驶员的情绪状态。处理设备170可以使用用户模型技术来导出驾驶员情绪。
在S120中，处理设备170可以基于驾驶员的情绪状态来确定声音概念。处理设备170可以使用驾驶员情绪建模来选择三种类型的声音概念中的一种。基于驾驶员情感建模的声音概念可以分为文雅的声音或和声概念、娱乐声音或有趣的驾驶声音概念、可适应的声音或情境感知声音概念等。当驾驶员选择了驾驶模式时，处理设备170可以确定与所选择的驾驶模式对应的基于驾驶员情绪建模的声音概念。处理设备170可以基于驾驶模式设置信息来确定声音概念。例如，当驾驶模式被设置为ECO模式时，处理设备170可以确定驾驶员更喜欢安静状况，以将声音概念确定为典型声音或默认声音，使得车辆可以在安静状况下行驶。当驾驶模式被设置为COMFORT模式时，处理设备170可以将文雅的声音或和声概念确定为声音概念。当驾驶模式被设置为SPORTS模式时，处理设备170可以将娱乐声音或有趣的驾驶声音概念确定为声音概念。当驾驶模式被设置为SMART模式时，处理设备170可以将可适应的声音或情境感知声音概念确定为声音概念。
在S130中，处理设备170可以依据声音概念调节车辆声音。处理设备170可以使用音量控制逻辑、音调控制逻辑和/或声像控制逻辑来控制车辆声音的音量、音调和/或声像。
图7是示出根据本公开的实施例的用于执行用于控制车辆声音的方法的计算系统的框图。
参照图7，计算系统1000可以包括至少一个处理器1100、内存(memory)1300、用户接口输入设备1400、用户接口输出设备1500、存储器(storage)1600和网络接口1700，这些通过总线1200相互连接。
处理器1100可以是处理存储在内存1300和/或存储器1600中的指令的中央处理单元(CPU)或半导体设备。内存1300和存储器1600可以包括各种类型的易失性或非易失性存储介质。例如，内存1300可以包括只读存储器(ROM)1310和随机存取存储器(RAM)1320。
因此，结合本文公开的实施例描述的方法或算法的操作可以直接体现在由处理器1100执行的硬件或软件模块中，或者体现在其组合中。软件模块可以驻留在例如，RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、移动硬盘和CD-ROM的存储介质(即，内存1300和/或存储器1600)上。示例性存储介质可以耦合到处理器1100。处理器1100可以从存储介质中读出信息并且可以在存储介质中写入信息。替换地，存储介质可以与处理器1100集成。处理器1100和存储介质可以驻留在专用集成电路(ASIC)中。ASIC可以驻留在用户终端内。在另一种情况下，处理器1100和存储介质可以作为单独的部件驻留在用户终端中。
根据本公开的实施例，用于控制车辆声音的装置可以基于驾驶信息和驾驶员情绪信息主动地调节声音的音量、音调和声像，从而提供驾驶员定制的声音。
此外，根据本公开的实施例，用于控制车辆声音的装置可以根据用户的情绪变化来调节和提供声音的音量、音调和声像，从而使用户可以放松。
在上文中，尽管已经参考示例性实施例和附图描述了本公开，但是本公开不限于此，本公开所属领域的技术人员可以在不背离所附权利要求中要求保护的本公开的精神和范围的情况下对本公开进行各种修改和变形。因此，本公开的实施例并不旨在限制本公开的技术精神，而是仅用于说明的目的。本公开的范围应以所附权利要求为基础进行解释，所有与权利要求等同的范围内的技术思想均应包含在本公开的范围内。

Claims (20)

1.一种用于控制车辆声音的装置，所述装置包括：
检测设备，被配置为：检测驾驶信息和驾驶模式设置信息；和
处理设备，与所述检测设备电连接，
其中，所述处理设备基于所述驾驶信息或所述驾驶模式设置信息中的至少一个来确定驾驶员的情绪状态，根据所述驾驶员的情绪状态确定声音概念，并且根据所述声音概念控制车辆声音。
2.根据权利要求1所述的装置，其中，所述声音概念基于驾驶员情绪建模建立为三种类型。
3.根据权利要求1所述的装置，其中，所述车辆声音包括警告声音和虚拟声音。
4.根据权利要求1所述的装置，其中，所述处理设备基于车辆环境信息控制所述车辆声音的音量，基于所述声音概念控制所述车辆声音的音调，并且考虑根据所述车辆声音的频率的激振力来控制所述车辆声音的声像。
5.根据权利要求4所述的装置，其中，所述处理设备包括：
前馈计算器，被配置为：计算根据所述声音概念的音量校正值和根据所述车辆环境信息的音量校正值；和
音量控制设备，包括控制阀，所述控制阀被配置为：通过反映所述音量校正值来确定所述车辆声音的音量调节值。
6.根据权利要求5所述的装置，其中，所述控制阀考虑所述车辆声音与背景噪声之间的声压差来调节所述车辆声音的音量。
7.根据权利要求5所述的装置，其中，所述控制阀考虑先前存储的每个车辆等级的音量权重信息来最终校正所述音量调节值。
8.根据权利要求4所述的装置，其中，所述处理设备对所述车辆声音执行音高控制、增益控制、加速器踏板位置传感器(APS)控制、频率滤波、Shepard层控制或音量调节中的至少一个。
9.根据权利要求4所述的装置，其中，所述处理设备合成所述车辆的声源的低频激励、中频激励和高频激励，并且线性化所合成的低频激励、中频激励和高频激励。
10.根据权利要求1所述的装置，其中，所述处理设备基于所述车辆声音生成触觉信号。
11.一种用于控制车辆声音的方法，所述方法包括以下步骤：
接收驾驶信息和驾驶模式设置信息；
基于所述驾驶信息或驾驶模式设置信息中的至少一个来确定驾驶员的情绪状态；
根据所述驾驶员的情绪状态确定声音概念；以及
根据所述声音概念控制车辆声音。
12.根据权利要求11所述的方法，其中，所述声音概念基于驾驶员情绪建模建立为三种类型。
13.根据权利要求11所述的方法，其中，所述车辆声音包括警告声音和虚拟声音。
14.根据权利要求11所述的方法，其中，控制所述车辆声音的步骤包括：
基于车辆环境信息来控制所述车辆声音的音量；
基于所述声音概念来控制所述车辆声音的音调；以及
考虑根据所述车辆声音的频率的激振力来控制所述车辆声音的声像。
15.根据权利要求14所述的方法，其中，控制所述车辆声音的音量的步骤包括：
由前馈计算器计算根据所述声音概念的音量校正值和根据所述车辆环境信息的音量校正值；以及
由控制阀通过反映所述音量校正值来确定所述车辆声音的音量调节值。
16.根据权利要求15所述的方法，还包括以下步骤：
由所述控制阀考虑所述车辆声音与背景噪声之间的声压差来调节所述车辆声音的音量。
17.根据权利要求15所述的方法，还包括以下步骤：
由所述控制阀考虑先前存储的每个车辆等级的音量权重信息来最终校正所述音量调节值。
18.根据权利要求14所述的方法，其中，控制所述车辆声音的音调的步骤包括：
对所述车辆声音执行音高控制、增益控制、加速器踏板位置传感器(APS)控制、频率滤波、Shepard层控制或音量调节中的至少一个。
19.根据权利要求14所述的方法，其中，控制所述车辆声音的声像的步骤包括：
合成所述车辆的声源的低频激励、中频激励和高频激励；以及
线性化所合成的低频激励、中频激励和高频激励。
20.根据权利要求11所述的方法，其中，控制所述车辆声音的步骤包括：
基于所述车辆声音生成触觉信号。
CN202210645182.2A 2021-12-14 2022-06-09 用于控制车辆声音的装置和方法 Pending CN116262476A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210178959A KR20230090051A (ko) 2021-12-14 2021-12-14 차량 사운드 제어 장치 및 방법
KR10-2021-0178959 2021-12-14

Publications (1)

Publication Number Publication Date
CN116262476A true CN116262476A (zh) 2023-06-16

Family

ID=86498519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210645182.2A Pending CN116262476A (zh) 2021-12-14 2022-06-09 用于控制车辆声音的装置和方法

Country Status (4)

Country Link
US (1) US20230186893A1 (zh)
KR (1) KR20230090051A (zh)
CN (1) CN116262476A (zh)
DE (1) DE102022205867A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236968B1 (en) * 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US6792339B2 (en) * 2002-02-19 2004-09-14 International Business Machines Corporation Artificial passenger with condition sensors
EP2857276B1 (en) * 2013-08-20 2018-12-12 Harman International Industries, Incorporated Driver assistance system
KR101703923B1 (ko) 2015-07-28 2017-02-09 재단법인대구경북과학기술원 가상 현실 기반의 개인 맞춤용 캡슐형 힐링 장치
JP6358212B2 (ja) * 2015-09-17 2018-07-18 トヨタ自動車株式会社 車両用覚醒制御システム
US20170267251A1 (en) * 2016-03-15 2017-09-21 Palo Alto Research Center Incorporated System And Method For Providing Context-Specific Vehicular Driver Interactions
JP6281590B2 (ja) * 2016-03-31 2018-02-21 マツダ株式会社 車両用効果音発生装置
US10068620B1 (en) * 2017-06-20 2018-09-04 Lp-Research Inc. Affective sound augmentation for automotive applications
KR102020598B1 (ko) 2018-12-11 2019-09-10 전자부품연구원 생체신호 센서 기반 정신질환 진단 및 치유를 위한 바이오피드백 시스템
KR102131391B1 (ko) 2018-12-18 2020-07-09 주식회사 지엔아이씨티 스트레스 완화 시스템
KR20220152829A (ko) * 2021-05-10 2022-11-17 현대자동차주식회사 차량 사운드 기반 감성 케어 장치 및 방법

Also Published As

Publication number Publication date
DE102022205867A1 (de) 2023-06-15
KR20230090051A (ko) 2023-06-21
US20230186893A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
US10929652B2 (en) Information providing device and information providing method
US11608085B2 (en) Automatic driving control device
US20180204570A1 (en) Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior
US11190155B2 (en) Learning auxiliary feature preferences and controlling the auxiliary devices based thereon
CN108885868A (zh) 车用效果声发生装置
JP2000181500A (ja) 音声認識装置及びエ―ジェント装置
JP2008153743A (ja) 車内会話補助装置
CN116080504A (zh) 车辆座椅控制装置和方法
CN108885867B (zh) 车用效果声发生装置
JP2002351488A (ja) ノイズキャンセル装置および車載システム
JP2019129441A (ja) 楽曲提供システム及び楽曲提供方法
US11537358B1 (en) Sound experience generator
US20230186893A1 (en) Apparatus and method for controlling vehicle sound
US11919446B2 (en) Apparatus and method for generating sound of electric vehicle
CN115303179A (zh) 车辆的主动式声浪设计调节装置及其方法
US20230294662A1 (en) Apparatus and method for generating virtual sound
US20230146799A1 (en) Sound generation apparatus of electrification vehicle and method thereof
US20240343261A1 (en) Applications of shepard tone in vehicle sound design
US20240190443A1 (en) Apparatus and method for providing vehicle sound
US12012039B2 (en) Apparatus and method for generating sound of electrification vehicle
US20230191954A1 (en) Apparatus and method for controlling vehicle seat
WO2023011911A1 (en) Sound experience generator
CN114731344A (zh) 用于运行车辆的方法、装置、计算机程序和计算机可读的存储介质
JP2022165339A (ja) エージェント装置
CN118749060A (zh) 用于测试具有声音传感器的驾驶员辅助系统的试验台系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination