CN105075289B - 用于改进特定声音对用户的可听度的装置和方法 - Google Patents
用于改进特定声音对用户的可听度的装置和方法 Download PDFInfo
- Publication number
- CN105075289B CN105075289B CN201480014040.XA CN201480014040A CN105075289B CN 105075289 B CN105075289 B CN 105075289B CN 201480014040 A CN201480014040 A CN 201480014040A CN 105075289 B CN105075289 B CN 105075289B
- Authority
- CN
- China
- Prior art keywords
- target sound
- equipment
- sound
- yield value
- source signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008447 perception Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 65
- 239000002131 composite material Substances 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010977 unit operation Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000001766 physiological effect Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
- G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
- G08B29/28—Self-calibration, e.g. compensating for environmental drift or ageing of components by changing the gain of an amplifier
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/007—Monitoring arrangements; Testing arrangements for public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
Abstract
本发明提供了一种操作设备来生成对所述设备的用户而言可听的目标声音的方法,所述方法包括:测量在所述设备被定位于其中的环境中的背景噪声;使用感知响度模型来基于所测量的背景噪声,预测所述目标声音对所述设备的所述用户的可听度;使用所述感知响度模型的输出来确定增益值,所述增益值要被应用到用于生成所述目标声音的源信号以便提供所述目标声音对所述用户的至少期望的可听度的水平;将所确定的增益值应用到所述源信号,以产生经修改的源信号;并且使用所述经修改的源信号来生成所述目标声音。
Description
技术领域
本发明涉及生成特定的或预先确定的声音例如警报的装置,并且尤其涉及这样的装置和操作所述装置的方法:所述装置生成特定的或预先确定的声音,使得所述声音关于所述装置和用户被定位于其中的环境中的任何背景噪声对于所述装置的用户而言可听。
背景技术
如果特定状况或事件发生,则在医院的重症监护病房中使用的许多医学设备提供声学(可听)警报。一个或多个医学设备通常被布置在患者的床的附近,并且被提供用于监测患者的一个或多个生理特性(例如,心率、血压、呼吸率、血氧水平等),和/或用于提供对患者的一些处置,例如,控制静脉药物的施予、辅助患者的呼吸等。导致被触发的警报的特定状况能够涉及,例如,患者的生理特性的异常值或者设备的特定操作状态或错误状态。
由这些设备发出的警报主要针对在医院中的医疗保健工作人员的注意力,并且服务于对工作人员成员进行声学警报以将他们的注意力引导到设备并采取任何适当的或所需的动作。尽管针对特定医学设备的警报声音水平可以能够是由终端用户(医疗保健工作人员)设置到特定水平,但是这些水平在安装期间被设置之后将通常保持固定,这意味着警报声音以固定的绝对声音功率水平被播放。该水平将已经被设置地足够高,以有希望地保证医疗保健工作人员将被警报,尽管在其中医学设备正在被使用的环境中的背景噪声潜在地相当高(例如,如果许多工作人员成员正在同时说话,和/或如果有许多嘈杂的医学设备被使用,所述医学设备本身可以发出警报)。然而,这意味当有低背景噪声水平时,例如在夜间时,警报能够比必要的响亮得多。由于其提高听觉注意力的功能,这些声音也十分适于唤醒在睡眠期间的患者,导致片断性睡眠,关于声音的意义的焦虑,或者当警报不是作用长时间周期时导致仅烦恼。
由于在任何一个时间处在这样的环境中(尤其是在重症监护病房中)生成的个体声学警报的数量能够是非常高的,这些声音能够在许多情况下有助于针对医疗保健工作人员以及附近的患者的高度紧张情况。已经发现,这样的紧张超负荷能够导致工作人员患上“警报疲劳”,其中,工作人员成员不再能够适当地对警报进行反应,并且在一些情况下,能够导致工作人员成员完全忽略警报。
因此,有对生成特定的或预先确定的声音(例如警报)的装置以及操作所述装置的方法的需要,所述装置和方法降低了警报声音对上面概述的患者和医疗保健工作人员的潜在的消极影响,同时确保警报声音保持高度可听,而没有不必要地响亮。
发明内容
为了提供关于背景噪声的可听目标声音,根据本发明的第一方面,提供了一种操作设备来生成对所述设备的用户而言可听的目标声音的方法,所述方法包括:测量在所述设备被定位于其中的环境中的背景噪声;使用感知响度模型来基于所测量的背景噪声,预测所述目标声音对所述设备的用户的可听度;使用所述感知响度模型的输出来确定增益值,所述增益值要被应用到用于生成所述目标声音的源信号,以便提供所述目标声音对所述用户的至少期望的可听度的水平;将所确定的增益值应用到所述源信号,以产生经修改的源信号;并且使用所述经修改的源信号来生成所述目标声音。
优选地,使用所述感知响度模型的步骤包括依据所测量的背景噪声来计算所述目标声音的响度的度量。响度的度量优选地是部分响度、感知到的响度或者信号-背景噪声比。
优选地,所述感知响度模型用于预测所述目标声音在其处变得对所述用户而言可听的第一阈值,并且用于预测所述目标声音对所述用户的所述可听度如何随着所述目标声音的音量增加而增加。
优选地,使用所述感知响度模型的所述输出的步骤包括使用所述目标声音对所述用户的所述可听度如何随着所述目标声音的音量增加而增加的预测,来确定针对所述目标声音所要求的水平或者音量,以便达到针对所述目标声音的至少期望的可听度的水平。
优选地,使用所述感知响度模型的所述输出的步骤还包括确定适合于针对所述目标声音所要求的所确定的水平或音量的所述增益值。
在一些实施例中,使用所述感知响度模型的所述输出来确定增益值的步骤包括使用查找表和所测量的背景噪声,所述查找表提供所述目标声音的所预测的可听度所要求的所述增益值。
在一些实施例中,使用感知响度模型来预测所述目标声音的可听度的步骤包括评估针对特定的增益值和所测量的背景噪声,所述目标声音有多可听。
在其他实施例中,使用所述感知响度模型的所述输出来确定增益值的步骤包括:使用所述感知响度模型的所述输出,来确定要被应用到所述源信号的初始增益值,所述初始增益值造成零的感知到的响度;并且将所述初始增益值外推为具有高于零的感知到的响度的增益值。
在一些实施例中,使用感知响度模型来预测所述目标声音的可听度的步骤包括:使用所述感知响度模型根据所测量的背景噪声和通过将针对所述目标声音的所述源信号添加到所测量的背景噪声形成的复合信号,来计算所述目标声音的感知到的响度。
在特定实施例中,在增益值在使用所述感知响度模型的所述输出来确定增益值的步骤中被确定之后,使用感知响度模型的步骤被重复,并且其中,当使用感知响度模型的步骤被重复时,通过将所述增益值应用到针对所述目标声音的所述源信号以产生中间经修改的信号,并且将所述中间经修改的信号添加到所测量的背景噪声,来形成所述复合信号。
在一些实施例中,所述方法还包括对所述源信号进行预处理以便考虑在所述设备的扬声器与被提供在所述设备中的用于测量所述背景噪声的单元之间的声学路径。
在优选实施例中,在所述方法当所述设备已经正在生成所述目标声音时被执行的情况下,测量所述设备被定位于其中的所述环境中的所述背景噪声的步骤包括:测量所述设备被定位于其中的所述环境中的声音;并且从所测量的声音过滤或减去针对所述目标声音的所述源信号,以给出所测量的背景噪声。该实施例防止由所述设备生成的所述目标声音形成所述背景噪声的部分。
在优选实施例中,测量在所述设备被定位于其中的所述环境中的所述背景噪声的步骤还包括:测量所述设备被定位于其中的所述环境中的声音;处理所测量的声音,以识别由其他设备所生成的目标声音;并且在由其他设备生成的目标声音在所测量的声音中被识别的情况下,处理所测量的声音,以移除由其他设备生成的所述目标声音,从而给出所测量的背景噪声。该实施例防止正在由根据本发明的其他设备生成的目标声音(例如,警报)被包括在所述背景噪声中,这因此防止这些目标声音的存在和由所述环境中的当前设备生成的目标声音导致通过所述设备中的每个的目标声音的相互放大。
在一些实施例中,处理所测量的声音以识别由其他设备生成的目标声音的步骤包括使用声音分类器来识别特定目标声音。
在其他实施例中,所述方法还包括接收来自一个或多个其他设备的指示特定声音是否正在被生成的信号的步骤;其中,所接收的信号用在处理所测量的声音以识别由其他设备生成的目标声音的步骤中。
根据本发明的第二方面,提供了一种包括实现在其中的计算机可读代码的计算机程序产品,其中,所述计算机可读代码被配置为使得,在由合适的计算机或处理单元运行时,令所述计算机或处理单元执行上面描述的方法。
根据本发明的第三方面,提供了一种用于在生成对所述设备的用户而言可听的目标声音中使用的设备,所述设备包括:麦克风,其用于测量在所述设备被定位于其中的环境中的背景噪声;处理单元,其被配置为使用感知响度模型来基于所测量的背景噪声预测所述目标声音对所述设备的用户的可听度;使用所述感知响度模型的输出来确定增益值,所述增益值要被应用到用于生成所述目标声音的源信号以便提供所述目标声音对所述用户的至少期望的可听度的水平;将所确定的增益值应用到所述源信号以产生经修改的源信号,并且使用所述经修改的源信号来生成所述目标声音;以及扬声器,其用于使用所述经修改的源信号来生成所述目标声音。
设备的实施例还被预期为其中处理单元被配置为执行上面描述的实施例和实现方式中的任意中的方法。
在实施例中,所述设备包括用于监测或者检测患者的生理参数或特性的传感器。所述处理单元处理所述生理参数或者特性的所监测或者检测的值,并且根据其来生成所述源信号。在又一个实施例中,所述设备是患者监测器,其提供取决于患者的所监测的生理参数的对护理者的警报。
附图说明
为了更好地理解本发明,并且为了更清楚地示出其如何能够被实现,现在将仅通过范例的方式来参考附图,在附图中:
图1是根据本发明的实施例的装置的方框图;
图2是图示操作图1的装置的方法的流程图;
图3是图示根据一般化的实施例的由处理单元执行的主要处理步骤的方框图;
图4是图示根据第一具体实施例的由处理单元执行的主要处理步骤的方框图;
图5是图示根据第二具体实施例的由处理单元执行的主要处理步骤的方框图;并且
图6是图示根据另一个实施例的由处理单元执行的主要处理步骤的方框图。
具体实施方式
尽管下面参考采取医学设备的形式的装置来描述本发明,所述医学设备用在监测或处置患者中,并且在关于患者或医学设备的警报状况被检测的情况下生成警报声音,但是将意识到,生成根据本发明的特定的或预先确定的声音(在本文中也被称为“目标声音”)而使得其在嘈杂的环境中是高度可听的但是没有不必要的响亮的技术能够被应用到生成声音的许多其他类型的电子设备,例如,便携式音乐和视频播放器、移动通讯设备,警报闹钟、电视机、计算机等。
图1示出了根据本发明的采取医学设备的形式的装置2的实施例。将意识到,图1仅示出设备2的可用于图示本发明的部件,而在实践中,设备2将包括额外的部件。
设备2包括至少一个传感器4,所述至少一个传感器4用于监测患者的一个或多个生理特性和/或用于监测医学设备2的操作(适当地取决于医学设备的目的)。所述设备还包括处理单元6,所述处理单元6连接到所述至少一个传感器4并且控制设备2的操作。扬声器或可听警报单元8被提供,其连接到处理单元6并且用于响应于由传感器4和处理单元6检测到的警报状况来生成特定的或者预先确定的声音(例如,警报)。
设备2还包括一个或多个麦克风10,所述一个或多个麦克风连接到处理单元6,并且用于测量在设备2周围的声音水平。在该实施例中,在设备2是医学设备并且当警报被生成时相关用户(即,警报旨在对其进行警报的医疗保健工作人员成员)将不必定位为紧邻设备2(例如,它们可以在设备2被定位于其中的房间内的其他处)时,将意识到,(一个或多个)麦克风10能够被放置在所述房间中,使得其能够提供在用户能够被定位于其中的位置处的房间中的总体背景噪声的好的或者现实的度量。在一些情况下,(一个或多个)麦克风10能够被挂在房间的天花板上。
存储器模块12被提供,其连接到处理单元6,并且用于存储音频数据或信号(例如,采取波形的形式),所述音频数据或信号用于生成特定的或预先确定的声音。存储器模块12也能够用于存储计算机可读代码,所述计算机可读代码包含针对用于执行根据本发明的处理算法的处理单元6和/或由(一个或多个)麦克风10所测量的背景声音或噪声的指令。
简要地,本发明提供,在设备2的周围的环境中的背景声音水平或噪声由(一个或多个)麦克风10来进行测量,并且然后感知响度模型由处理单元6来使用,以确定目标声音(例如,警报)应当在其处由扬声器8生成的水平或音量,以便目标声音具有对设备2的用户(例如,在医学设备2的情况下,医疗保健工作人员)的至少预先定义的可听度的水平。处理单元6例如可以通过计算部分响度(即,当特定背景噪声存在时的声音的响度的度量)、信号-背景噪声比或本领域技术人员已知的任何等价或类似的度量,来将可听度确定为感知响度模型的部分。
由处理单元6运行的感知响度模型对(人)听觉系统的性质进行建模,并且预测在背景声音或噪声b(例如,由麦克风10测量的背景噪声)的存在的情况下目标声音a(例如,警报)对于用户而言是否将可听。感知响度模型预测目标声音在其处变得对于用户而言可听的第一阈值(即,水平或音量)。该阈值也被已知为“检测”阈值并且对应于具有零可听度的目标声音。
由处理单元6使用的感知响度模型还预测目标声音的可听度如何随着声音的音量增而增加。合适的模型由以下文章提出:Moore B.C.J.,Glasberg B.R.&Baer T.的A modelfor the prediction of thresholds,loudness,and partial loudness.,J.AudioEng.Soc.,45(4)、224-240,(1997),并且本领域的技术人员将意识到能够用在实施本发明中的其他感知响度模型。然后,根据本发明,处理单元6使用该预测的结果来确定针对目标声音所要求的水平或音量,以便达到针对目标声音的至少期望的可听度的水平。该确定的水平或音量被转变为要被应用到用于生成目标声音的信号的增益值,使得目标声音由扬声器8利用所要求的可听度生成。
图2图示了操作根据本发明的实施例的装置的方法,并且图3是图示在一般化的实施例中的由处理单元6执行的主要处理步骤的方框图。图4、5和6示出了根据本发明的具体优选实施例的由处理单元6执行的主要处理步骤。
在方法的第一步骤,步骤101中,在设备2被定位于其中的环境中的背景噪声被测量。如上面指出的,该测量由(一个或多个)麦克风10来执行,并且(一个或多个)麦克风10的输出能够存储在存储器模块12中,以用于通过处理单元6的随后的分析。在一些实施例中,(一个或多个)麦克风10能够用于连续地测量环境中的声音水平,但在其他实施例中,仅当目标声音要被生成时(例如,当警报要在警报状况由传感器4检测到之后被生成时),能够激活(一个或多个)麦克风10。
然后,在步骤103中,测量的背景噪声(图3中的20)与针对目标声音的源信号24(例如,用于生成警报的波形)一起被输入到感知响度模型22。源信号24(例如,警报信号)可以被预处理,以考虑扬声器8与麦克风10之间的声学路径,从而确保与所测量的背景噪声的声学路径等价。如上所述,感知响度模型22依据当声音的音量增加时的测量的背景噪声20,来预测目标声音对设备2的用户的可听度。
在步骤105中,模型的输出用于确定要被应用到源信号24的增益或幅度因子,以便提供针对用户的目标声音的至少期望的可听度的水平(步骤105)。在一些实施例中,使用查找表26来确定所要求的增益因子/值28。查表26可以被设计为使得对于给定的背景噪声水平和由模型22提供的给定的可听度度量,所述表提供了所要求的增益因子/值28。
增益值28然后由处理单元6在步骤107中应用到源信号24以产生经修改的源信号,并且然后在步骤109中,经修改的源信号由扬声器8用于生成具有期望的可听度的目标声音。
将意识到,在一些情况下,图2的方法可以在医学设备2已经正在生成警报声音时(或者在另一类型的电子设备2正在生成目标声音,例如音乐或其他音频之处),被执行。这意味着,设备2在目标声音正在被生成时连续监测背景噪声水平,并且能够响应于背景噪声水平的变化而调节目标声音的音量。
在该情况下,为了避免由扬声器8生成的目标声音被认为是背景音景(即,背景噪声)的部分,来自(一个或多个)麦克风10的信号由处理单元6进行预处理,以移除目标声音。即,处理单元6从(一个或多个)麦克风10接收测量的信号以及针对目标声音的源信号,并且使用自适应滤波器(例如,均衡器)来从麦克风信号过滤或减去目标声音,以留下对背景噪声进行估计的信号。对背景噪声的估计然后与感知响度模型一起由处理单元6用于预测目标声音对用户的可听度,如上面在步骤103中描述的。
还将意识到,如果设备2正用于根据本发明的其他设备2存在于其中的环境中,则在每个这些设备中的本发明的操作能够导致由设备2中的每个生成的目标声音(警报声音)的相互放大。因此,处理单元6能够预处理从(一个或多个)麦克风10接收的信号,以便移除由其他设备2生成的目标声音(警报声音)。处理单元6能够以各种方式来实现此。
在一个实施例中,处理单元6能够使用能够识别信号中的特定目标声音(例如,警报声音)的声音分类器,来处理来自(一个或多个)麦克风10的信号。一旦被识别,这些信号就能够由处理单元6从背景音景过滤出。
在另一个实施例中,例如在设备2能够与其他设备2(使用线或无线地)互连时,处理单元6能够从其它设备2接收特定目标声音(例如,警报)正在被生成和/或针对特定目标声音的源信号的指示,并且处理单元6能够使用该信息来过滤出来自从(一个或多个)麦克风10接收的信号的由其他设备2生成的目标声音(例如,警报)。
如上面指出的,图4、5和6示出根据本发明的具体优选实施例的由处理单元6执行的主要处理步骤。在图4和5的实施例中,处理单元6使用感知响度模型来评估针对特定增益因子和背景噪声水平20目标声音将如何可听。尤其是,处理单元6使用所述模型来根据背景噪声20和由背景噪声20和目标声音源信号24形成的复合信号二者,来计算目标声音的感知到的响度(也被已知为部分响度)。在这些实施例中,使用确定的增益值生成的目标声音将是清楚可听的,意味着其水平清楚地高于在可听度的阈值(即,检测阈值)处的水平。
在图6的实施例中,处理单元6将感知响度模型用在计算针对对应于可听度阈值的目标声音的增益值中(即,处理单元6发现造成从该模型输出的感知到的响度/可听度为零的初始增益值),并且然后将该初始增益值外推为具有高于零的感知到的响度并且将保证可听度的增益值。
因此,在图4的被称为双路径分析器的实施例中,处理单元6使用测量的背景噪声20运行第一感知响度模型30,来预测目标(警报)声音的可听度(其中,测量的背景噪声20已经被预处理以移除由设备2或其他设备2生成的任何目标声音信号)。
(经预处理的)测量的背景噪声20也使用求和方框32而与音频源信号24组合表示目标声音,以提供表示具有增加的目标声音的背景音景的复合信号,并且该复合信号被输入到预测目标声音关于复合信号的可听度的第二感知响度模型34。第二感知响度模型34与第一感知响度模型30相同或者相似。处理单元6使用二者感知响度模型30、34的输出,来确定来自查找表36的实现可听度的至少指定的水平所要求的增益值28,并且使用增益值28来生成具有所要求的可听度的目标声音。查找表36类似于上面描述的查找表26。
图5所示的实施例是基于图4所示的实施例的,但增益值计算的过程被扩展并且被实现为递归的。此处,针对目标声音的增益值28不但从模型计算和对查找表36的使用被预测,而且其用于递归地计算背景噪声20加目标声音24与应用的新的增益值28的组合的感知到的响度。为了提供该功能,从查找表36获得的增益值28与音频源信号24在乘法方框38中相乘,以形成表示具有当前增益的目标声音的中间修改的信号,并且该方框38的输出被输入到求和方框32。因此,第二感知响度模型34依据表示背景音景加中间修改的信号的复合信号,来预测目标声音的可听度。
该反馈回路运行,直到第二感知响度模型34的输出指示针对目标声音的所要求的可听度将被实现为止。尽管相比于图4中的实施例,该实施例可能更慢地计算所要求的增益值28,但是其可能产生针对增益值的更准确的结果。
在一些实施例中,尤其是在设备2是医学设备时,其可以是设备2能够生成针对多个不同原因的警报的情况,其中,这些警报传达具有不同优先级的警报。例如,采取心率监测器的形式的医学设备2当测量的心率超过阈值时可以生成第一警报,并且当测量的心率落在低于另一阈值时可以生成第二更高优先性的警报。在该情况下,每个警报“原因”具有各自的期望的可听度的水平,所述可听度的水平链接到处理单元6能够考虑在图2的方法中的警报的优先性,以生成具有比低优先性警报更高的可听度的高优先性警报。
在本发明的又一实施例中,处理单元6能够使用模型22、30或34来预测当附近患者正在睡眠时警报声音将多么可能唤醒所述患者,并且来相应地调节所确定的增益值。在该情况下,设备2可以被提供有用于建立患者是否正在睡眠和/或患者的睡眠阶段的特定单元。合适的单元能够包括允许确定患者的当前状态的体动记录仪传感器、多导睡眠图传感器或者视觉传感器(例如,相机)。
应意识到,其中目标声音(尤其是警报声音)的相互放大被避免的上述实施例也能够被应用到不使用感知响度模型来预测目标声音的可听度的设备。在这些设备中,在生成针对目标声音所要求的音量或水平可以直接从背景噪声水平来确定时,背景噪声信号能够如上面描述地被预处理,以移除由其他设备生成的警报声音。
尽管上面已经参考单个设备2描述了本发明,但是将意识到,包含如上所述的处理单元6的设备能够被提供,所述设备用于控制警报信号和由特定的房间或环境中的多个设备2发出的其他声音的音量。
在该情况下,为了准备向多个设备2的集中的任何给定的警报提供适当的增益值,处理单元6能够使用关于不同设备2的信息(例如,它们的各自的警报波形、它们被发出的频率、它们的持续时间等),来有效地预处理所测量的背景噪声,并且然后当针对特定设备2的警报要被生成时检索适当的增益值。
图6所示的具体实施例图示了用于管理多个声音生成设备2的由处理单元6执行的处理步骤(然而将意识到,图6所示的核心处理布置能够被应用到如上面的在图4和5中的单个设备2)。该实施例在结构上类似于图5所示的实施例,然而在该实施例中,处理单元6具有对警报声音数据库40(例如,存储在存储模块12中)的访问,所述警报声音数据库存储关于各种警报声音生成设备的信息(例如警报声音的频率、持续时间等),并且提供到第二感知响度模型34的输入,继而确定针对设备2或者个体警报中的每个的增益值,以便目标(警报)声音可听。这些增益值被存储在查找表42中。处理单元6能够间歇地分析当前背景噪声水平,并且如需要地更新查找表42。当特定设备2需要生成警报时,请求信号44将在处理单元6处被接收,并且针对该设备2的适当的增益值从查找表42被检索,并由处理单元6输出到设备2。
因此,提供了生成特定的或预先确定的声音,例如警报的装置以及操作所述装置的方法,其降低了声音对用户的潜在的消极影响,同时确保声音保持高度可听,而没有不必要地响亮。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是说明性或示范性的,而非限制性的;本发明不限于所公开的实施例。
本领域技术人员通过研究附图、公开内容以及权利要求书,在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。在权利要求书中,词语“包括”不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以完成权利要求书中所记载的若干个项目的功能。尽管在互不相同的从属权利要求中记载特定措施,但是这并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在适合的介质上,例如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质,但是计算机程序也可以以其他形式分布,例如经由因特网或其他的有线或无线的电信系统分布。权利要求书中的任何附图标记都不应被解释为对范围的限制。
Claims (14)
1.一种操作设备来生成对所述设备的用户而言可听的目标声音的方法,所述方法包括:
-测量在所述设备被定位于其中的环境中的背景噪声;
-使用感知响度模型来预测在存在所测量的背景噪声的情况下所述目标声音对所述设备的所述用户的可听度;
-使用所述感知响度模型的输出来确定增益值,所述增益值要被应用到用于生成所述目标声音的源信号以便提供所述目标声音对所述用户的至少期望的可听度的水平;
-将所确定的增益值应用到所述源信号,以产生经修改的源信号;并且
-使用所述经修改的源信号来生成所述目标声音;其中,所述感知响度模型用于预测所述目标声音在其处变得对所述用户而言可听的第一阈值,并且用于预测所述目标声音对所述用户的所述可听度如何随着所述目标声音的音量增加而增加。
2.如权利要求1所述的方法,其中,使用所述感知响度模型的所述输出的步骤包括使用对所述目标声音对所述用户的所述可听度如何随着所述目标声音的音量增加而增加的所述预测来确定针对所述目标声音所要求的水平或音量,以便达到针对所述目标声音的至少期望的可听度的水平。
3.如权利要求2所述的方法,其中,使用所述感知响度模型的所述输出的步骤还包括确定适合于针对所述目标声音所要求的所确定的水平或音量的所述增益值。
4.如前述权利要求1所述的方法,其中,使用感知响度模型来预测所述目标声音的所述可听度的步骤包括评估针对特定的增益值和所测量的背景噪声,所述目标声音将有多可听。
5.如权利要求1所述的方法,其中,使用所述感知响度模型的所述输出来确定增益值的步骤包括:
-使用所述感知响度模型的所述输出,来确定要被应用到所述源信号的初始增益值,所述初始增益值造成感知到的响度为零;并且
-将所述初始增益值外推为具有高于零的感知到的响度的增益值。
6.如权利要求4或5所述的方法,其中,使用感知响度模型来预测所述目标声音的所述可听度的步骤包括:使用所述感知响度模型根据所测量的背景噪声和通过将针对所述目标声音的所述源信号增加到所测量的背景噪声而形成的复合信号,来计算所述目标声音的感知到的响度。
7.如权利要求6所述的方法,其中,当增益值在使用所述感知响度模型的所述输出来确定增益值的步骤中被确定之后,使用感知响度模型的步骤被重复,并且
其中,当使用感知响度模型的步骤被重复时,通过将所述增益值应用到针对所述目标声音的所述源信号以产生中间经修改的信号并且将所述中间经修改的信号添加到所测量的背景噪声,来形成所述复合信号。
8.如权利要求1-5中的任一项所述的方法,还包括对所述源信号进行预处理以便考虑在所述设备的扬声器与被提供在所述设备中的用于测量所述背景噪声的单元之间的声学路径。
9.如权利要求1-5中的任一项所述的方法,其中,在所述方法当所述设备已经正在生成所述目标声音时被执行的情况下,测量所述设备被定位于其中的所述环境中的所述背景噪声的步骤包括:
-测量所述设备被定位于其中的所述环境中的声音;并且
-从所测量的声音过滤或减去针对所述目标声音的所述源信号,以给出所测量的背景噪声。
10.如权利要求1-5中的任一项所述的方法,其中,测量在所述设备被定位于其中的所述环境中的所述背景噪声的步骤还包括:
-测量所述设备被定位于其中的所述环境中的声音;
-处理所测量的声音,以识别由其他设备所生成的目标声音;并且
-在由其他设备生成的目标声音在所测量的声音中被识别的情况下,处理所测量的声音,以移除由其他设备生成的所述目标声音,从而给出所测量的背景噪声。
11.一种计算机存储介质,包括实现在其中的计算机可读代码,其中,所述计算机可读代码被配置为使得,在由合适的计算机或处理单元运行时,令所述计算机或所述处理单元执行如权利要求1-10中的任一项所述的方法。
12.一种用于在生成对设备的用户而言可听的目标声音中使用的所述设备,所述设备包括:
-麦克风,其用于测量在所述设备被定位于其中的环境中的背景噪声;
-处理单元,其被配置为:
-使用感知响度模型来预测在存在所测量的背景噪声的情况下所述目标声音对所述设备的所述用户的可听度;
-使用所述感知响度模型的输出来确定增益值,所述增益值要被应用到用于生成所述目标声音的源信号,以便提供所述目标声音对所述用户的至少期望的可听度的水平;
-将所确定的增益值应用到所述源信号,以产生经修改的源信号;并且
-使用所述经修改的源信号来生成所述目标声音;
其中,所述感知响度模型用于预测所述目标声音在其处变得对所述用户而言可听的第一阈值,并且用于预测所述目标声音对所述用户的所述可听度如何随着所述目标声音的音量增加而增加;以及
-扬声器,其用于使用所述经修改的源信号来生成所述目标声音。
13.根据权利要求12所述的设备,还包括用于监测患者的生理参数的传感器,所述处理单元被配置为根据所监测的生理参数来生成所述源信号。
14.一种用于检测生理参数并且控制警报的医学仪器或系统,包括根据权利要求12或13所述的设备。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361778729P | 2013-03-13 | 2013-03-13 | |
US61/778,729 | 2013-03-13 | ||
EP13162514.7A EP2787746A1 (en) | 2013-04-05 | 2013-04-05 | Apparatus and method for improving the audibility of specific sounds to a user |
EP13162514.7 | 2013-04-05 | ||
PCT/EP2014/054757 WO2014140053A1 (en) | 2013-03-13 | 2014-03-12 | Apparatus and method for improving the audibility of specific sounds to a user |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105075289A CN105075289A (zh) | 2015-11-18 |
CN105075289B true CN105075289B (zh) | 2018-10-16 |
Family
ID=48045318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480014040.XA Active CN105075289B (zh) | 2013-03-13 | 2014-03-12 | 用于改进特定声音对用户的可听度的装置和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9799210B2 (zh) |
EP (2) | EP2787746A1 (zh) |
JP (1) | JP6297609B2 (zh) |
CN (1) | CN105075289B (zh) |
BR (1) | BR112015022131A2 (zh) |
RU (1) | RU2670182C2 (zh) |
WO (1) | WO2014140053A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2775463A1 (en) | 2013-03-06 | 2014-09-10 | Koninklijke Philips N.V. | Systems and methods for reducing the impact of alarm sounds on patients |
US9814817B2 (en) * | 2015-03-27 | 2017-11-14 | Fresenius Medical Care Holdings, Inc. | Adjusting sound on a medical device |
US11016721B2 (en) * | 2016-06-14 | 2021-05-25 | Dolby Laboratories Licensing Corporation | Media-compensated pass-through and mode-switching |
US20170372697A1 (en) * | 2016-06-22 | 2017-12-28 | Elwha Llc | Systems and methods for rule-based user control of audio rendering |
US10339911B2 (en) | 2016-11-01 | 2019-07-02 | Stryker Corporation | Person support apparatuses with noise cancellation |
US10980687B2 (en) | 2017-07-19 | 2021-04-20 | Stryker Corporation | Techniques for generating auditory and haptic output with a vibrational panel of a patient support apparatus |
CN108271100A (zh) * | 2017-12-13 | 2018-07-10 | 胡跃进 | Uhf接收机高放通道底噪增益的提高方法 |
CN108235164B (zh) * | 2017-12-13 | 2020-09-15 | 安克创新科技股份有限公司 | 一种麦克风颈环耳机 |
WO2019178809A1 (zh) * | 2018-03-22 | 2019-09-26 | 华为技术有限公司 | 一种调节音量的方法和电子设备 |
US11127413B2 (en) | 2019-07-09 | 2021-09-21 | Blackberry Limited | Audio alert audibility estimation method and system |
CN111083137B (zh) * | 2019-12-12 | 2022-07-05 | 青岛海尔科技有限公司 | 物联网终端设备状态调整的方法、装置及操作系统 |
US11417306B2 (en) * | 2020-12-31 | 2022-08-16 | Bose Corporation | Systems and methods for engine harmonic cancellation |
CN113190207A (zh) * | 2021-04-26 | 2021-07-30 | 北京小米移动软件有限公司 | 信息处理方法、装置、电子设备及存储介质 |
CN113707133B (zh) * | 2021-10-28 | 2022-02-18 | 南京南大电子智慧型服务机器人研究院有限公司 | 一种基于声环境感知的服务机器人语音输出增益获取方法 |
CN115884040A (zh) * | 2022-09-08 | 2023-03-31 | 中山市悦辰电子实业有限公司 | 一种自适应环境自动调节睡眠音响系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290769A (zh) * | 2008-06-06 | 2008-10-22 | 清华大学 | 噪声环境语音识别中的信号动态增益放大方法 |
CN101578848A (zh) * | 2006-12-29 | 2009-11-11 | 摩托罗拉公司 | 用于自适应铃声产生的方法和设备 |
CN101882918A (zh) * | 2009-05-07 | 2010-11-10 | 财团法人工业技术研究院 | 自动增益控制方法及装置 |
CN102160358A (zh) * | 2008-09-19 | 2011-08-17 | 杜比实验室特许公司 | 小蜂窝无线网络中的客户设备的上游信号处理 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2029141A (en) | 1978-08-26 | 1980-03-12 | Viva Co | Gain control arrangements |
FR2529727B1 (fr) | 1982-06-30 | 1989-03-24 | Radiotechnique | Dispositif de reglage automatique du niveau sonore d'une source de sons utiles en fonction du bruit ambiant |
US5077799A (en) | 1989-01-13 | 1991-12-31 | Brian Cotton | Automatic volume control circuit |
KR930007376B1 (ko) | 1991-07-19 | 1993-08-09 | 삼성전자 주식회사 | 음향레벨 자동 조절장치 |
DE10308483A1 (de) * | 2003-02-26 | 2004-09-09 | Siemens Audiologische Technik Gmbh | Verfahren zur automatischen Verstärkungseinstellung in einem Hörhilfegerät sowie Hörhilfegerät |
JP4185866B2 (ja) * | 2004-01-14 | 2008-11-26 | 富士通株式会社 | 音響信号処理装置および音響信号処理方法 |
US7245226B1 (en) * | 2004-09-08 | 2007-07-17 | Longwood Corporation | Integrated microprocessor controlled alarm |
EP1968439A4 (en) * | 2005-12-23 | 2010-05-26 | Univ Queensland | SONIFIZATION OF THE AWARENESS OF A PATIENT |
ATE441920T1 (de) * | 2006-04-04 | 2009-09-15 | Dolby Lab Licensing Corp | Lautstärkemessung von tonsignalen und änderung im mdct-bereich |
RU2426180C2 (ru) * | 2006-04-04 | 2011-08-10 | Долби Лэборетериз Лайсенсинг Корпорейшн | Расчет и регулировка воспринимаемой громкости и/или воспринимаемого спектрального баланса звукового сигнала |
US8018328B2 (en) | 2007-09-12 | 2011-09-13 | Personics Holdings Inc. | Adaptive audio content generation system |
ES2401327T3 (es) * | 2008-01-21 | 2013-04-18 | Koninklijke Philips Electronics N.V. | Control de una alarma en un instrumento médico |
EP2088802B1 (en) * | 2008-02-07 | 2013-07-10 | Oticon A/S | Method of estimating weighting function of audio signals in a hearing aid |
US8335324B2 (en) | 2008-12-24 | 2012-12-18 | Fortemedia, Inc. | Method and apparatus for automatic volume adjustment |
KR101676393B1 (ko) * | 2009-06-02 | 2016-11-29 | 코닌클리케 필립스 엔.브이. | 어쿠스틱 다중―채널 캔슬레이션 |
US8457321B2 (en) * | 2010-06-10 | 2013-06-04 | Nxp B.V. | Adaptive audio output |
TWI487388B (zh) | 2010-08-11 | 2015-06-01 | Wistron Corp | 音量控制方法及具有自動音量調整功能的電子裝置 |
US8897840B1 (en) * | 2011-05-17 | 2014-11-25 | Sprint Spectrum L.P. | Generating a wireless device ringtone |
US10080090B2 (en) | 2011-10-17 | 2018-09-18 | Koninklijke Philips N.V. | Medical feedback system based on sound analysis in a medical environment |
CN103874462B (zh) | 2011-10-17 | 2016-04-20 | 皇家飞利浦有限公司 | 基于医疗环境中的声音分析的医疗监测系统 |
EP2775463A1 (en) | 2013-03-06 | 2014-09-10 | Koninklijke Philips N.V. | Systems and methods for reducing the impact of alarm sounds on patients |
-
2013
- 2013-04-05 EP EP13162514.7A patent/EP2787746A1/en not_active Withdrawn
-
2014
- 2014-03-12 US US14/769,122 patent/US9799210B2/en active Active
- 2014-03-12 EP EP14711191.8A patent/EP2974371A1/en not_active Withdrawn
- 2014-03-12 CN CN201480014040.XA patent/CN105075289B/zh active Active
- 2014-03-12 RU RU2015143509A patent/RU2670182C2/ru active
- 2014-03-12 JP JP2015562099A patent/JP6297609B2/ja active Active
- 2014-03-12 WO PCT/EP2014/054757 patent/WO2014140053A1/en active Application Filing
- 2014-03-12 BR BR112015022131A patent/BR112015022131A2/pt not_active Application Discontinuation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101578848A (zh) * | 2006-12-29 | 2009-11-11 | 摩托罗拉公司 | 用于自适应铃声产生的方法和设备 |
CN101290769A (zh) * | 2008-06-06 | 2008-10-22 | 清华大学 | 噪声环境语音识别中的信号动态增益放大方法 |
CN102160358A (zh) * | 2008-09-19 | 2011-08-17 | 杜比实验室特许公司 | 小蜂窝无线网络中的客户设备的上游信号处理 |
CN101882918A (zh) * | 2009-05-07 | 2010-11-10 | 财团法人工业技术研究院 | 自动增益控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2014140053A1 (en) | 2014-09-18 |
JP2016510198A (ja) | 2016-04-04 |
US9799210B2 (en) | 2017-10-24 |
EP2974371A1 (en) | 2016-01-20 |
EP2787746A1 (en) | 2014-10-08 |
RU2015143509A3 (zh) | 2018-03-13 |
RU2015143509A (ru) | 2017-04-19 |
US20160005308A1 (en) | 2016-01-07 |
RU2670182C2 (ru) | 2018-10-18 |
JP6297609B2 (ja) | 2018-03-20 |
CN105075289A (zh) | 2015-11-18 |
BR112015022131A2 (pt) | 2017-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105075289B (zh) | 用于改进特定声音对用户的可听度的装置和方法 | |
JP6367937B2 (ja) | 音響アラーム検出及び妥当性検証のための装置及び方法 | |
US9418665B2 (en) | Method for controlling device and device control system | |
JP2020532028A (ja) | ベイピングおよびいじめを識別するためのシステムおよび方法 | |
JP5233342B2 (ja) | 睡眠時無呼吸検出プログラム、睡眠時無呼吸検出装置および睡眠時無呼吸検出方法 | |
JP6158815B2 (ja) | 医療環境における音分析に基づくメディカルフィードバックシステム | |
US20150342519A1 (en) | System and method for diagnosing medical condition | |
CN110558946B (zh) | 一种记录用户异常睡眠状态的方法及睡眠仪 | |
US20180064404A1 (en) | System and Method for Correcting Sleep Aberrations | |
US11282492B2 (en) | Smart-safe masking and alerting system | |
JP7065460B2 (ja) | 異変通知システムおよび異変通知方法 | |
KR20170082951A (ko) | 환자 객담을 확인할 수 있는 환자 감시 장치 | |
US20220295192A1 (en) | System comprising a computer program, hearing device, and stress evaluation device | |
JP6980270B2 (ja) | 背景騒音下における対象音の近似官能評価方法および背景騒音下における対象音の近似官能評価システム | |
US11547366B2 (en) | Methods and apparatus for determining biological effects of environmental sounds | |
CN107111921A (zh) | 用于有效的可听警报设置的方法和设备 | |
US20220313089A1 (en) | Ear-worn devices for tracking exposure to hearing degrading conditions | |
KR101705572B1 (ko) | 화재경보방법 및 화재경보장치 | |
JP2014078147A (ja) | 放火威嚇装置および放火威嚇方法 | |
JP2019017844A (ja) | 呼吸音処理装置、呼吸音処理方法、及び、コンピュータプログラム | |
KR20170124334A (ko) | 환자의 적절한 진정 상태를 유지 및 관리하는 알고리즘이 내재된 환자 모니터링 시스템 및 이를 이용한 모니터링 방법 | |
JP2010205110A (ja) | 健康管理システムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |