CN110310514A - 对听力受损的驾驶员的支持 - Google Patents

对听力受损的驾驶员的支持 Download PDF

Info

Publication number
CN110310514A
CN110310514A CN201910188165.9A CN201910188165A CN110310514A CN 110310514 A CN110310514 A CN 110310514A CN 201910188165 A CN201910188165 A CN 201910188165A CN 110310514 A CN110310514 A CN 110310514A
Authority
CN
China
Prior art keywords
vehicle
assessment device
hearing impaired
driver
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910188165.9A
Other languages
English (en)
Inventor
卢卡斯·汉松
安德烈娅·洛伊
安雅·彼得里希
德博拉·洛维松
朱利安·菲耶雷斯
弗洛里安·阿德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zf Frederick Harfin Co Ltd
ZF Friedrichshafen AG
Original Assignee
Zf Frederick Harfin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zf Frederick Harfin Co Ltd filed Critical Zf Frederick Harfin Co Ltd
Publication of CN110310514A publication Critical patent/CN110310514A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Transportation (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及对听力受损的驾驶员的支持。该支持以一种对听力受损的驾驶员(2)进行支持的用于车辆(1)的评估装置(10)来实现,该评估装置包括第一输入接口(11),以便获得至少一个周边噪声,其中,评估装置(10)实施成依赖于周边噪声地确定噪声源相对于车辆(1)的至少一个定位,依赖于车辆(1)相对于噪声源的运动地预先确定危险情况,以及针对危险情况产生信号,并且评估装置还包括第一输出接口(12),其实施成输出由听力受损的驾驶员(2)感知到的信号,以便支持驾驶员(2)对危险情况做出反应。本发明还涉及一种用于支持听力受损的驾驶员(2)的支持系统(20)、方法和计算机程序产品(30)。

Description

对听力受损的驾驶员的支持
技术领域
本发明涉及一种根据权利要求1的对听力受损的驾驶员进行支持的用于车辆的评估装置。本发明还涉及一种根据权利要求8的用于听力受损的驾驶员的支持系统。本发明还涉及一种根据权利要求10的根据本发明的支持系统的用途。此外,本发明涉及一种根据权利要求11的用于在驾驶车辆期间对听力受损的驾驶员进行支持的方法。本发明还涉及一种根据权利要求15的用于对听力受损的驾驶员进行支持的计算机程序产品。
背景技术
听力受损的人在没有其他辅助的情况下不得驾驶车辆,特别是公路车辆。由于听力受损,存在如下危险,即感知不到周边噪声,特别是交通相关的、与危险情况相关联的周边噪声,例如车辆喇叭声、救援和急救车辆的专用信号音调和除汽车之外的交通参与者的声音。因此,听力受损者在感知道路交通中的交通危险方面受到限制。
尽管由现有技术中已知有用于听力障碍者的听力辅助器件,例如助听器。然而在德国,为了获得驾驶执照,听力受损者必须递交证明材料,例如耳鼻喉科医生证实了其交通安全性的鉴定结果。在其他国家,要求更具限制性。即使听力受损者获得驾驶执照,也存在他未感知到所有周边噪声的风险。
发明内容
本发明的任务在于,在感知周边噪声方面对听力受损的驾驶员进行支持,以便可以对危险情况做出反应。
该任务通过具有权利要求1的特征的对听力受损的驾驶员进行支持的用于车辆的评估装置来解决。该任务还通过具有权利要求8的用于听力受损的驾驶员的支持系统来解决。该任务借助根据权利要求10的根据本发明的支持系统的用途来解决。此外,该任务通过具有权利要求11的特征的用于在驾驶车辆期间对听力受损的驾驶员进行支持的方法来解决。该任务还借助具有权利要求15的特征的用于对听力受损的驾驶员进行支持的计算机程序产品来解决。
从属权利要求中给出了改进方案和有利设计方案。
根据本发明的对听力受损的驾驶员进行支持的用于车辆的评估装置包括第一输入接口,以便获得至少一个周边噪声。评估装置实施成依赖于周边噪声地确定噪声源相对于车辆的至少一个定位。此外,评估装置实施成依赖于车辆相对于噪声源的运动地预先确定危险情况并且针对危险情况产生信号。评估装置还包括第一输出接口,该第一输出接口实施成输出由听力受损的驾驶员感知到的信号,以便支持驾驶员对危险情况做出反应。
评估装置是处理输入的信息并且输出由该处理产生的结果的设备。特别地,评估装置是电子电路,例如中央处理单元。
车辆特别是陆地车辆。
听力受损是指人的声学感知受到削弱。听力受损包括针对确定的声强的削弱和关于确定的频率范围的削弱。听力受损的程度是
·听力障碍,即听力损失在声强方面基本上是50分贝,
·重听力障碍,限定为听力损失超过基本上90分贝的声强,和
·失去听觉或耳聋,即听力损失超过120分贝的声强。
接口是在至少两个功能单元之间的装置,在该装置上要么仅单向地要么双向地交换逻辑量例如数据或物理量例如电信号。交换可以模拟地进行或数字地进行。交换也可以有线地进行或无线地进行。
周边噪声是来自车辆的周边的噪声。交通噪声,例如车辆喇叭声、救援和急救车辆的专用信号音调和除汽车之外的交通参与者的声音,都是交通噪声。噪声是能由人和/或传感器,例如声音传感器,特别是麦克风,感知的声音事件。车辆的周边是如下空间范围,在该范围之内,空间中的物体可以对车辆起作用并且影响车辆的状况。简而言之,周边是以车辆为中点的一个圆。该圆的半径依赖于各自的情况。
危险情况例如是,在高速公路的超车道上有车辆接近听力受损的驾驶员的车辆。在这种情况下,典型的周边噪声是接近的车辆的喇叭噪声。听力受损的驾驶员的车辆可能也位于超车道或者变换到快车道上。如果听力受损的驾驶员没有在视觉上观察他的车辆的后方,他就不能识别出与接近的车辆碰撞的危险情况,这是因为他由于听力受损而没有听到喇叭噪声。然而,评估装置检测到喇叭噪声并且在听力受损者的车辆相对于喇叭噪声的定位的运动方面对喇叭噪声进行评估。评估装置输出能被听力受损者感知的信号,以便使他意识到危险情况。作为反应,听力受损者可以变换车道或者在他的车道上继续行驶。因此,避免了碰撞的危险情况。危险情况不仅是在其中针对听力受损的驾驶员来说出现危险的情况。危险情况也是在其中听力受损的驾驶员产生针对第三方的危险的情况
利用根据本发明的评估装置,可以检测和评估能以非视觉的方式感知的信息。这些信息,优选地与能以视觉方式感知的信息相结合,改善了对当前的车辆的周边的感知。这对听力受损的驾驶员是特别有利的。评估装置在声学感知方面支持听力受损者。没有评估装置,听力受损者的声学感知是受限的。
优选地,评估装置实施为执行计算机程序。计算机程序包括软件代码区段,以便依赖于周边噪声地确定噪声源相对于车辆的至少一个定位,以便依赖于车辆相对于噪声源的运动地预先确定危险情况并且以便针对危险情况产生信号。
软件是针对程序和所属的数据的统称。硬件是对软件的补充。硬件是指处理数据的系统的机械和电子的设备。
根据本发明的优选实施例,第一输入接口是通向能布置在车辆上的至少一个麦克风的接口。也就是说,第一输入接口是音频接口。优选地,第一输入接口是通向四个能布置在车辆上的麦克风的接口,其中,特别优选的是,第一麦克风布置在车辆的靠前的区域中,第二麦克风布置在车辆的靠后的区域中,第三麦克风布置在车辆的第一侧向区域中并且第四麦克风布置在车辆的第二侧向区域中。
能布置在车辆上的麦克风是适用于汽车应用的麦克风,也就是说特别是相应地具有耐候性和功能可靠性。优选地,这些麦克风具有对周边噪声敏感的滤波器和/或放大器。通过在车辆的每一侧(即前、后、左和右)上布置麦克风,有利地从相对于车辆的所有方向检测周边噪声。优选地,各个麦克风是定向麦克风。
优选地,第一输出接口是输出用于视觉感知和/或触觉感知的信号的接口,优选地是应用接口。
应用接口(英语中被称为人机接口)是利用其使得人与机器建立联系的部位或操作。在车辆中,应用接口特别是仪表板、中控台、换挡杆、方向盘和/或油门踏板。挡风玻璃还可以用于显示并且因此用于以视觉方式感知信息,并且因此被用作应用接口。通常,驾驶员在直视的情况下看到的区域被用于显示信息,在英语中该区域也被称为平视显示器。还可以想到挡风玻璃的整个面被用作应用接口。优选地,使用增强现实(英语中也称为AR)技术来显示信息。
例如,借助第一输出接口,将由评估装置检测到且评估的接近的消防车的警笛的噪声在平视显示器中以视觉方式显示为红色的圆形的闪光灯优选是以火焰符号的方式。也就是说,信号是红色的圆形的闪光灯,它以针对听力受损者能感知的方式将警笛的周边噪声信号化。听不到警笛的噪声的听力受损的驾驶员于是从这个显示中识别出消防车正在接近。在平视显示器中,也可以显示与接近的消防车的减小的距离。
同时,例如可以提高方向盘的温度。这种温度升高由碰触方向盘的听力受损者基于利用其触觉实现的表面敏感性,即触觉式地,感知到。听力受损者直观地将温度升高与火联系起来。此外,可以通过方向盘的振动感知到接近的车辆的喇叭噪声。
对周边噪声的视觉感知和/或触觉感知对于耳聋的驾驶员是特别有利的。
特别地,对于听力障碍者有利的是,根据本发明的另一实施方式,第一输出接口是输出用于声学感知的信号的接口。因此,听力受损者可以听到他在车辆之内无法在声学上感知的周边噪声。按照简单方式,信号是周边噪声的声强的放大。
根据本发明的有利的改进方案,计算机程序是人工神经网络,其被训练成针对危险情况产生信号。评估装置实施成向人工神经网络前馈至少一个周边噪声。
人工神经网络是在电子电路上实施且在人脑的神经网络的模型上编程的算法。人工神经网络的功能单元是人工神经元,其输出通常被评估为激活功能的值并且经由输入加上系统误差,即所谓的偏差的加权的和来得到。通过以不同的加权因子和/或激活功能测试多个预先确定的输入,类似人脑那样训练人工神经网络。借助预先确定的输入训练人工神经网络被称为机器学习。机器学习的一个子集是深度学习,即所谓的深层学习,在其中使用一系列分等级的神经元层,即所谓的隐藏层,以便执行机器学习的过程。具有多个隐藏层的人工神经网络是深度神经网络。人工神经网络的例子是感知器、卷积或递归的神经网络。利用加权因子评价神经元之间的连接。前馈,在英语中被称为前向传播,意味着将信息馈送到人工神经网络的输入层中,传递到随后的层并且在输出层中输出。反馈,在英语中被称为反向传播,意味着将信息输入到输出层中并且在输入层中输出。通过将来自输出层的误差连续反馈到各自先前的层并且直到输入层中,获得了各自的层的误差。误差是加权因子的函数。通过在训练阶段中使误差最小化,改变了加权因子。由此,在重新馈送时实现了接近于期望的输出。在作者为Michael A.Nielsen的2015年由Deter Press出版的《NeuralNetworks and Deep Learning》中详细描述了反馈。
经训练的人工神经网络具有有目的地对新信息做出反应的优点。经训练的人工神经网络知晓周边噪声的含义和与之相关的危险情况。例如,如果检测到紧急警报为周边噪声,则经训练的人工神经网络了解到急救车辆位于周边。
优选地,评估装置包括第二输出接口,以便向车辆控制装置输出信号来至少部分自动化地控制车辆。
车辆控制装置调节车辆的纵向和/或横向控制。车辆的半自动化的控制使得支持驾驶员对危险情况做出反应得到改进,特别是在留有很少反应时间的情况下。
在本发明的特别优选的改进方案中,评估装置包括第二输入接口,以便获得至少一个环境检测传感器的数据。评估装置实施成在对车辆的周边的感知方面将至少一个环境检测传感器的数据与至少一个周边噪声相结合。
环境检测传感器例如是照相机、光学雷达和/或雷达传感器。利用环境检测传感器,驾驶员辅助系统感知车辆的周边。通过将周边噪声与环境检测传感器的数据结合,获得了经改进的周边模型。如果例如评估装置经由第一输入接口获得警报的噪声并且经由第二输入接口获得接近的消防车的照相机图像,那么就经由第一输出接口将由评估装置产生的信号作为具有图像文字说明的消防车图像来输出,其中,图像文字说明了警报的声响序列,例如嗒-嘀-嗒-嗒。
根据本发明的用于听力受损的驾驶员的支持系统包括至少一个能布置在车辆上的麦克风,用以检测至少一个周边噪声。此外,支持系统包括根据本发明的评估装置。此外,支持系统包括车辆的应用装置。评估装置的第一输入接口获得由麦克风检测到的周边噪声。评估装置的第一输出接口向应用装置输出信号,以便支持驾驶员对危险情况做出反应。
应用装置是仪表板、中控台、换挡杆、方向盘、油门踏板和/或挡风玻璃。
支持系统具有根据本发明的评估装置的优点。因此,本发明提供了一个总系统,以便在驾驶车辆时对听力受损的驾驶员进行支持。
有利地,应用装置是显示装置(优选是信息娱乐系统和/或平视显示器)、触控装置(优选是方向盘和/或油门踏板)和/或音频装置(优选是扬声器和/或扬声器系统)。由此,支持系统包括使得能以视觉、触觉和听觉方式感知周边噪声的机构。耳聋的驾驶员受益于视觉感知和/或触觉感知。有听力障碍的驾驶员受益于声学感知。
根据本发明,还涉及根据本发明的支持系统在车辆中的用途。因此,在车辆中得到了根据本发明的支持系统的优点。
根据本发明的用于在驾驶车辆期间对听力受损的驾驶员进行支持的方法包括以下方法步骤:
·从车辆的周边获得至少一个周边噪声,
·依赖于周边噪声地确定噪声源相对于车辆的至少一个定位,
·依赖于车辆相对于噪声源的运动地预先确定危险情况,
·针对危险情况产成信号,
·输出由听力受损的驾驶员感知到的信号,以便支持驾驶员对危险情况做出反应。
该方法帮助听力受损的驾驶员感知周边噪声并且支持他们对危险情况做出反应。
有利地,依赖于周边噪声地确定噪声源相对于车辆的运动方向。例如,可以根据周边噪声的频率的多普勒频移来确定运动方向。确定运动方向改善了对危险情况做出反应。特别地,通过知晓靠近的噪声源的运动方向可以有针对性地避开该噪声源。
优选地,将信号输出至车辆控制装置并且车辆控制装置至少部分自动化地控制车辆。特别地,在其中仅留有很少反应时间的危险情况下,通过车辆的半自动化的控制使得支持驾驶员对危险情况做出反应得到改进。
优选地,根据本发明的评估装置或根据本发明的支持系统用于执行该方法。
根据本发明的用于支持听力受损的驾驶员的计算机程序产品实施成被加载到计算机的存储器中。该计算机程序产品包括软件代码区段,当计算机程序产品在计算机上运行时,利用该软件代码区段执行根据本发明的方法的步骤。
计算机程序产品通常包括一系列指令,通过这些指令在加载程序时使硬件执行导致确定的技术结果的确定的方法。如果程序被使用在计算机上,该计算机程序产品引起如下的技术效果,即依赖于周边噪声地产生信号,以便借助信号使周边噪声能被听力受损的人感知到。
存储器是用于保护数据的媒介。
利用本发明,使周边噪声,特别是相关的交通噪声,能被听力受损的驾驶员感知到,以便避免危险情况。
附图说明
结合附图详细阐述了本发明。其中:
图1示出具有根据本发明的评估装置的实施例的车辆的示意图;
图2示出根据本发明的支持系统的实施例的示意图;
图3示出根据本发明的计算机程序产品的实施例的示意图;
图4示出根据本发明的方法的示意性流程。
在附图中,相同的附图标记表示相同或至少功能相似的部件。
具体实施方式
图1示出了车辆1。车辆1是乘用车。车辆由耳聋的驾驶员2驾驶。在车辆1的每一侧上分别布置有麦克风。麦克风是定向麦克风并且适用于汽车应用。特别是,麦克风在功能安全性方面具有耐候性和可靠性。第一麦克风11a布置在车辆1的靠前的区域中,以便检测来自前方的周边噪声。第二麦克风11b布置在车辆1的靠后的区域中,以便检测来自后方的周边噪声。第三麦克风11c布置在车辆1的左侧的区域中,以便检测来自左侧的周边噪声。第四麦克风11d布置在车辆1的右侧的区域中,以便检测来自右侧的周边噪声。
麦克风11a、11b、11c和11d将检测到的周边噪声传输到评估装置10的第一输入接口11。第一输入接口11是音频接口。
评估装置10是实施计算机程序的处理器。评估装置10可以是车辆1的中央控制平台或整合到车辆1的中央控制平台中。计算机程序具有人工神经网络的架构。人工神经网络被训练成:在输入检测到的周边噪声时,借助信号将噪声源的类型和基于该噪声源的关于车辆1的可能的危险情况输出。经由第一输出接口12,信号以对于耳聋的驾驶员2来说能感知的形式输出,例如通过平视显示器可视地输出。
评估装置10包括第二输入接口14。经由第二输入接口14,将配置为驾驶员辅助系统的摄像机的环境检测传感器15的数据读入到评估装置10中。经训练的人工神经网络将所检测到的周边噪声与环境检测传感器15的图像数据相结合。由此,将通过环境检测传感器15对环境的可视化检测与通过麦克风11a、11b、11c和11d对环境的声学检测进行组合。这种组合或结合导致改善的对环境的感官式感知,因为现在评估视觉信息和非视觉信息。
此外,评估装置10包括第二输出接口13。第二输出接口与车辆控制装置3连接。由评估装置10产生的信号经由第二输出接口13、转发到车辆控制装置3。因此,可以依赖于周边噪声地由车辆控制装置3控制车辆1。
支持系统20在图2中示出。支持系统20包括第一麦克风11a、具有第一输入接口11和第一输出接口12的评估装置10以及应用装置16。应用装置16是方向盘。借助支持系统20,耳聋的驾驶员2借助于他的触觉经由应用装置16感知周边噪声。
图3示出了在计算机32的存储器31中实施的计算机程序产品30。当计算机32运行时,计算机程序产品实施图4中所示的方法的步骤V1到V5a。计算机32优选地是车辆的中央控制平台,其除了评估声学信息之外还评估来自驾驶员辅助系统的环境检测传感器的信息,并且优选地向人工神经网络馈送这些信息。
在图4中所示的第一方法步骤V1中,例如利用其中一个麦克风11a、11b、11c或11d从车辆1的周边获得至少一个周边噪声。在方法步骤V2a中,依赖于周边噪声地确定噪声源相对于车辆1的位置。在方法步骤V2b中,依赖于周边噪声地确定噪声源相对于车辆1的运动方向。从定位和运动方向出发,在方法步骤V3中预先确定危险情况。在方法步骤V4中,依赖于危险情况地产生针对危险情况的信号。利用评估装置10实施的计算机程序来实施步骤V2a至V4。随后,在步骤V5a中,输出由耳聋的驾驶员2感知到的信号,以便支持驾驶员2对危险情况做出反应。输出借助第一输出接口12来实现。在可以与方法步骤V5a在时间上并行地进行的方法步骤V5b中,将信号输出到车辆控制装置。车辆控制装置部分自动化地控制车辆1。
附图标记列表
1 车辆
2 驾驶员
3 车辆控制装置
10 评估装置
11 第一输入接口
11a 第一麦克风
11b 第二麦克风
11c 第三麦克风
11d 第四麦克风
12 第一输出接口
13 第二输出接口
14 第二输入接口
15 环境检测传感器
16 应用装置
20 支持系统
30 计算机程序产品
31 存储器
32 电脑
V1-V5b 步骤

Claims (15)

1.一种对听力受损的驾驶员(2)进行支持的用于车辆(1)的评估装置(10)包括:
·第一输入接口(11),以便获得至少一个周边噪声,
·其中,所述评估装置(10)实施成
·依赖于周边噪声地确定噪声源相对于车辆(1)的至少一个定位,
·依赖于车辆(1)相对于噪声源的运动地预先确定危险情况并且
·针对危险情况产生信号,
·第一输出接口(12),所述第一输出接口实施成输出由听力受损的驾驶员(2)感知到的信号,以便支持驾驶员(2)对危险情况做出反应。
2.根据权利要求1所述的评估装置(10),其中,所述第一输入接口(11)是通向能布置在车辆(1)上的至少一个麦克风(11a、11b、11c、11d)的接口,优选地是通向四个能布置在车辆(1)上的麦克风(11a、11b、11c、11d)的接口,其中,特别优选的是,第一麦克风(11a)布置在车辆(1)的靠前的区域中,第二麦克风(11b)布置在车辆(1)的靠后的区域中,第三麦克风(11c)布置在车辆(1)的第一侧向区域中并且第四麦克风(11d)布置在车辆(1)的第二侧向区域中。
3.根据权利要求1或2所述的评估装置(10),其中,所述第一输出接口(12)是输出用于视觉感知和/或触觉感知的信号的接口,优选地是应用接口。
4.根据权利要求1或2所述的评估装置(10),其中,所述第一输出接口(12)是输出用于声学感知的信号的接口。
5.根据前述权利要求中任一项所述的评估装置(10),其中,计算机程序是被训练成针对危险情况产生信号的人工神经网络,并且所述评估装置(10)实施成向所述人工神经网络前馈至少一个周边噪声。
6.根据前述权利要求中任一项所述的评估装置(10),其中,所述评估装置(10)包括第二输出接口(13),以便向车辆控制装置(3)输出信号用以至少部分自动化地控制车辆(1)。
7.根据前述权利要求中任一项所述的评估装置(10),其中,所述评估装置(10)包括第二输入接口,以便获得至少一个环境检测传感器(15)的数据,并且其中,所述评估装置(10)实施成在对车辆(1)的周边的感知方面将至少一个环境检测传感器(15)的数据与至少一个周边噪声相结合。
8.一种用于听力受损的驾驶员(2)的支持系统(20)包括
·至少一个能布置在车辆(1)上的麦克风(11a、11b、11c、11d),用以检测至少一个周边噪声,
·根据权利要求1至7中任一项所述的评估装置,
·车辆(1)的应用装置(16),
·其中,第一输入接口(11)获得由所述麦克风(11a、11b、11c、11d)检测到的周边噪声,
并且
·所述第一输出接口(12)向所述应用装置(16)输出信号,以便支持驾驶员(2)对危险情况做出反应。
9.根据权利要求8所述的支持系统(20),其中,所述应用装置(16)是显示装置,优选是信息娱乐系统和/或平视显示器、触控装置,优选是方向盘和/或油门踏板、和/或音频装置,优选是扬声器和/或扬声器系统。
10.根据权利要求8或9所述的支持系统在车辆(1)中的用途。
11.一种用于在驾驶车辆(1)期间对听力受损的驾驶员(2)进行支持的方法包括以下方法步骤:
·从车辆(1)的周边获得至少一个周边噪声(V1),
·依赖于周边噪声地确定噪声源相对于车辆(1)的至少一个定位(V2a),
·依赖于车辆(1)相对于噪声源的运动地预先确定危险情况(V3),
·针对危险情况产成信号(V4),
·输出由听力受损的驾驶员(2)感知到的信号,以便支持驾驶员(2)对危险情况做出反应(V5a)。
12.根据权利要求11所述的方法,其中,依赖于周边噪声地确定噪声源相对于车辆(1)的运动方向(V2b)。
13.根据权利要求11或12所述的方法,其中,将信号输出至车辆控制装置(3)并且所述车辆控制装置(3)至少部分自动化地控制车辆(1)(V5b)。
14.根据权利要求11至13中任一项所述的方法,其中,使用根据权利要求1至7中任一项所述的评估装置(10)或根据权利要求8或9所述的支持系统(20)来执行所述方法。
15.一种用于对听力受损的驾驶员(2)进行支持的计算机程序产品(30),所述计算机程序产品实施成被加载到计算机(32)的存储器(31)中,并且所述计算机程序产品包括软件代码区段,当所述计算机程序产品(30)在所述计算机(32)上运行时,利用所述软件代码区段执行根据权利要求11至13中任一项所述的方法的步骤。
CN201910188165.9A 2018-03-20 2019-03-13 对听力受损的驾驶员的支持 Pending CN110310514A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018204258.6 2018-03-20
DE102018204258.6A DE102018204258B3 (de) 2018-03-20 2018-03-20 Unterstützung eines hörgeschädigten Fahrzeugführers

Publications (1)

Publication Number Publication Date
CN110310514A true CN110310514A (zh) 2019-10-08

Family

ID=65493857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910188165.9A Pending CN110310514A (zh) 2018-03-20 2019-03-13 对听力受损的驾驶员的支持

Country Status (4)

Country Link
US (1) US20190291639A1 (zh)
EP (1) EP3547283A1 (zh)
CN (1) CN110310514A (zh)
DE (1) DE102018204258B3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115762572A (zh) * 2022-11-18 2023-03-07 昆山适途模型科技有限公司 一种用于汽车车内噪音模型的评估方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648479B (zh) * 2019-09-19 2021-09-07 江苏科技大学 一种辅助驾驶用腕带式行人预警装置
DE102019214999A1 (de) * 2019-09-30 2021-04-01 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Unterstützungssignals und/oder eines Ansteuerungssignals für ein zumindest teilautomatisiertes Fahrzeug
GB2591756A (en) * 2020-02-05 2021-08-11 Daimler Ag A method for warning a user of a motor vehicle after detecting a motor vehicle with special authorization, as well as detection device
US11794770B1 (en) 2022-06-15 2023-10-24 Ford Global Technologies, Llc Systems and methods for hearing impaired drivers
EP4400350A3 (fr) * 2022-10-11 2024-08-07 Pimas Orthopedie Dispositif d'aide à la conduite

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007050724A (ja) * 2005-08-16 2007-03-01 Yamaha Corp 車外警告音報知装置
JP2013037625A (ja) * 2011-08-10 2013-02-21 Clarion Co Ltd 緊急車両報知装置、緊急車両報知方法
KR20140019652A (ko) * 2012-08-07 2014-02-17 현대자동차주식회사 자동차용 워닝 시스템
US20150036832A1 (en) * 2011-01-12 2015-02-05 Personics Holdings Inc. Automotive constant signal-to-noise ratio system for enhanced situation awareness
US20150203030A1 (en) * 2012-08-29 2015-07-23 Continental Automotive Gmbh Multi-Sensory Attention Alert System
WO2017074381A1 (en) * 2015-10-29 2017-05-04 Ford Global Technologies, Llc In-vehicle haptic output
CN107031628A (zh) * 2015-10-27 2017-08-11 福特全球技术公司 使用听觉数据的碰撞规避

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999031637A1 (en) * 1997-12-18 1999-06-24 Sentec Corporation Emergency vehicle alert system
US7936885B2 (en) 2005-12-06 2011-05-03 At&T Intellectual Property I, Lp Audio/video reproducing systems, methods and computer program products that modify audio/video electrical signals in response to specific sounds/images
US7872574B2 (en) 2006-02-01 2011-01-18 Innovation Specialists, Llc Sensory enhancement systems and methods in personal electronic devices
US8319620B2 (en) * 2008-06-19 2012-11-27 Personics Holdings Inc. Ambient situation awareness system and method for vehicles
US20130070928A1 (en) 2011-09-21 2013-03-21 Daniel P. W. Ellis Methods, systems, and media for mobile audio event recognition
US20140310379A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
US8493198B1 (en) 2012-07-11 2013-07-23 Google Inc. Vehicle and mobile device traffic hazard warning techniques
GB2514267A (en) * 2014-05-21 2014-11-19 Daimler Ag Smart Honking
WO2017023313A1 (en) * 2015-08-05 2017-02-09 Ford Global Technologies, Llc System and method for sound direction detection in a vehicle
US20180137756A1 (en) 2016-11-17 2018-05-17 Ford Global Technologies, Llc Detecting and responding to emergency vehicles in a roadway

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007050724A (ja) * 2005-08-16 2007-03-01 Yamaha Corp 車外警告音報知装置
US20150036832A1 (en) * 2011-01-12 2015-02-05 Personics Holdings Inc. Automotive constant signal-to-noise ratio system for enhanced situation awareness
JP2013037625A (ja) * 2011-08-10 2013-02-21 Clarion Co Ltd 緊急車両報知装置、緊急車両報知方法
KR20140019652A (ko) * 2012-08-07 2014-02-17 현대자동차주식회사 자동차용 워닝 시스템
US20150203030A1 (en) * 2012-08-29 2015-07-23 Continental Automotive Gmbh Multi-Sensory Attention Alert System
CN107031628A (zh) * 2015-10-27 2017-08-11 福特全球技术公司 使用听觉数据的碰撞规避
WO2017074381A1 (en) * 2015-10-29 2017-05-04 Ford Global Technologies, Llc In-vehicle haptic output

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115762572A (zh) * 2022-11-18 2023-03-07 昆山适途模型科技有限公司 一种用于汽车车内噪音模型的评估方法及系统
CN115762572B (zh) * 2022-11-18 2024-01-02 昆山适途模型科技有限公司 一种用于汽车车内噪音模型的评估方法及系统

Also Published As

Publication number Publication date
US20190291639A1 (en) 2019-09-26
EP3547283A1 (de) 2019-10-02
DE102018204258B3 (de) 2019-05-29

Similar Documents

Publication Publication Date Title
CN110310514A (zh) 对听力受损的驾驶员的支持
US20190225147A1 (en) Detection of hazard sounds
CN107852179A (zh) 用于车辆中声音方向检测的系统和方法
CN106240491B (zh) 用于向车辆乘客提供警报的系统
CN108058663B (zh) 车辆声音处理系统
US5979586A (en) Vehicle collision warning system
US7916039B2 (en) System for conveying audio information with a spatial characteristic to a vehicle occupant
US9718400B2 (en) Multi-sensory attention alert system
US7274287B2 (en) Warning and information system for a vehicle
CN110663042B (zh) 交通参与者朝着自动化驾驶的车辆的方向的通信流
JP2006190193A (ja) 車両用警報装置
CN113016016A (zh) 信息提示控制装置、信息提示装置和信息提示控制方法、以及程序和记录介质
CN112166048A (zh) 用于交通工具的音频设备和操作用于交通工具的音频设备的方法
JP2001255890A (ja) 音声制御するための装置および方法
CN115699123A (zh) 用于测试车辆的驾驶员辅助系统的系统
JP2000149167A (ja) 警報装置
CN114495888A (zh) 车辆及其控制方法
JP2023184778A (ja) 車両表示システム及び車両表示方法
KR20120062215A (ko) 운전자를 위한 차량의 후측방 경보장치
US20190281402A1 (en) Testing of directional hearing as used in active driver assistance systems
JP2009286328A (ja) 障害物認知支援装置
CN110626350A (zh) 基于3d声场的侧后方盲点车辆识别防碰撞预警系统及方法
DE102023002174B3 (de) Verfahren zum Kalibrieren eines fahrzeugintegrierten binauralen 3D-Audiosystems und Fahrzeug
JPH06294866A (ja) 車両の経路誘導装置
CN118749060A (zh) 用于测试具有声音传感器的驾驶员辅助系统的试验台系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191008

WD01 Invention patent application deemed withdrawn after publication