CN108235208A - 用于运行助听器设备的方法 - Google Patents

用于运行助听器设备的方法 Download PDF

Info

Publication number
CN108235208A
CN108235208A CN201711339493.1A CN201711339493A CN108235208A CN 108235208 A CN108235208 A CN 108235208A CN 201711339493 A CN201711339493 A CN 201711339493A CN 108235208 A CN108235208 A CN 108235208A
Authority
CN
China
Prior art keywords
signal
phasing
useful
hearing aid
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711339493.1A
Other languages
English (en)
Inventor
H.卡姆卡尔-帕西
M.卢格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of CN108235208A publication Critical patent/CN108235208A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/405Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/61Aspects relating to mechanical or electronic switches or control elements, e.g. functioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及一种用于运行助听器设备(2)的方法(1),所述助听器设备包括至少一个第一输入转换器(10)和第二输入转换器(12),其中,第一输入转换器(10)根据环境的声音信号(14)产生第一输入信号(16)并且第二输入转换器(12)根据声音信号(14)产生第二输入信号(18),其中,第一信号源(22)与第一方向(26)相关联,其中,根据第一输入信号(16)和第二输入信号(18)形成在第一方向(26)上对齐的第一定向信号(30),并且其中,对第一定向信号(30)的至少信号部分(34)检查在种类方面预先给定的有用信号源(6)的有用信号的存在。

Description

用于运行助听器设备的方法
技术领域
本发明涉及一种用于运行助听器设备的方法,所述助听器设备包括至少一个第一输入转换器和第二输入转换器,其中,第一输入转换器根据环境的声音信号产生第一输入信号,并且第二输入转换器根据所述声音信号产生第二输入信号,并且其中,根据第一输入信号和第二输入信号形成指向第一方向的第一定向信号。
背景技术
在助听器设备的应用中,对交谈情形的处理是核心问题之一。这首先由于如下事实,即,助听器设备的用户通常在个人交谈中获得重要信息。因此,仅仅为了尽可能可靠地传输信息的目的,对语音的理解对于助听器设备的用户已经赋予了重要的意义。但是另一方面,对语音的理解通常恰恰受到如下影响,即,一般的交谈情形与高比例的背景噪声和干扰噪声叠加,例如在多个交谈对象不是仅仅有序地先后发表意见的交谈情况下,或在其他人群方面的交谈对噪声水平的提高作出贡献的封闭的房间里进行交谈(所谓的“鸡尾酒会”听觉情形)的情况下就是这样。
为了改善对交谈对象的信号的语音理解,在现代的助听器设备中通常使用定向麦克风算法,通过所述算法使窄的方向特征、例如定向锥角指向交谈对象的方向。这样的定向锥角作为关于助听器设备的输入信号的滤波器,使得交谈对象的语音信号放大,而来源于其他方向的噪声得到显著抑制。
对于助听器设备的用户的交谈对象相对于用户处于运动中的听觉情形,用于改善语音理解的迄今为止的算法(其借助方向特征减弱背景噪声)在正常情况下是不够的,因为相应的方向特征必须连续地匹配于交谈对象的变化的位置,而这恰恰在运动的交谈对象不是用户附近的唯一说话者,由此对交谈对象的位置的识别由于另外的说话者的存在而明显变得困难时导致复杂化。此外,在此,不仅运动的交谈对象的位置的确定具有高的计算复杂性,而且由于在助听器设备中有限的可供使用的资源,对于运动的说话者,对背景噪声的特定于说话者的抑制的鲁棒性也是极大的问题,即,在算法不充分鲁棒的情况下,运动的说话对象的位置可能丢失并且不再能进行满意的噪声抑制。在此,更糟糕的是,交谈对象的语音信号的信噪比(signal to nosie ratio,SNR)越低,借助使背景噪声减弱的方向特征对语音质量的改善变得越重要。而低的SNR恰恰在采集运动的交谈对象的位置时或在尝试借助方向特征采集运动的交谈对象时导致问题。
然而,所述问题在此不仅局限于交谈对象的交谈份额,而且通常总是可能在要跟踪处于与用户相对运动中的本身已知或可以识别的这种声音源,也就是例如公园中的宠物或道路交通中的机动的道路使用者时,对于助听器设备的用户出现。
DE 10 2013 215 131 A1对于助听器设备提到了根据至少两个麦克风信号形成定向信号,采集定向信号中采用的声音信号,以及评估声音信号例如是否是语音、音乐、噪声等。
发明内容
因此,本发明的任务是,对于助听器设备,提供一种方法,其允许在存在多个信号源或明显的背景噪声的情况下以尽可能简单和节约资源的方式定位预先给定的有用信号源。
所提到的任务按照本发明通过用于运行助听器设备的方法来解决,所述助听器设备包括至少一个第一输入转换器和第二输入转换器,其中,第一输入转换器根据环境的声音信号产生第一输入信号,并且第二输入转换器根据所述声音信号产生第二输入信号,其中,第一信号源与第一方向相关联,其中,根据第一输入信号和第二输入信号形成指向第一方向的第一定向信号,并且其中,至少检查第一定向信号的信号部分是否存在来自关于种类预先给定的有用信号源的有用信号。在下面的描述中阐述有利的和部分本身视为具有创造性的构造。
作为输入转换器,在此一般包括声-电转换器,其构造为,根据声音信号产生相应的电信号,也就是例如麦克风。定向信号在此理解为如下信号,所述信号对于特定的角范围内的参考声音源的参考声音具有特别高的灵敏度,并且在参考信号源布置在给定的角范围外的情况下,关于参考声音具有明显降低的灵敏度。特别地,在此,定向信号可以在给定的中心角度下关于参考声音具有最大灵敏度,其中,随着与中心角度的角距离增大,相对于参考声音的灵敏度降低。
按照种类预先给定的有用信号源特别地包括可以根据所产生的有用信号的信号部分的谱特征预先给定和/或识别的有用信号源,也就是例如特定说话者,其语音信号可以在助听器设备中根据其谱特征以及根据格式的分布与其他可能的说话者的语音信号区分。
至少检查第一定向信号的信号部分是否存在有用信号,在此一方面使得可以通过第一定向信号改善信噪比。第一定向信号在此可以借助合适地取向的方向特征形成,使得基本上仅第一信号源的信号部分进入第一定向信号中,并且相应地其他信号源的声音,例如参与该听觉情形的另外的有用信号源的声音或干扰噪声源的声音,明显得到抑制。由此,与第一信号源相应的信号部分可以相对于背景噪声得到显著放大,而在此不影响信号部分的谱特征。
通过第一定向信号对信噪比的这种改善,现在另一方面使得可以明显更鲁棒地确定有用信号,或者改善具有按照其种类预先给定的有用信号源的第一信号源的识别。这种标识特别是借助第一定向信号中的信号部分的呈现的谱特征与按照其种类定义有用信号源或通过有用信号源预先给定的参考值的比较来进行,也就是说,现在,由于第一定向信号中明显更小的噪声分量而更鲁棒并且更不易受背景噪声中的波动影响,因为其对于有用信号源的存在的确定在很大程度上被减弱。特别地,在此,第一定向信号可以具有其最大灵敏度的方向从助听器设备的用户的正面方向偏离的方向特征,从而为执行该方法,第一信号源特别地可以在用户的前半球中取任意角位置。
优选地,在第一定向信号中存在有用信号的情况下,借助第一输入信号和第二输入信号确定有用信号源的位置,并且在确定有用信号源的位置改变的情况下,使第一定向信号指向改变后的有用信号源的位置的方向。特别地,这可以如下进行,即,在第一定向信号中存在有用信号的情况下,利用第一信号源识别有用信号源,由此将第一方向与作为位置的有用信号源相关联。如果此时确定第一定向信号的信号水平发生改变,则由此可以推断有用信号源的位置或角位置发生改变,从而重新确定第一方向。这可以根据第一定向信号中的信号水平的走向动态地进行,或者以预先给定的时间间隔周期性地进行。由此使得可以根据对于助听器设备来说已知的参数在空间中跟踪相对于用户运动的按照种类已知的有用信号源,并且相应地使定向信号持续地指向有用信号源,以改善信号质量和信噪比。
有利地,在第一定向信号中存在有用信号的情况下持续更新有用信号源的位置。此外,优选地,在这种情况下,还持续更新第一定向信号的取向。特别地,由此可以实现第一定向信号的取向的更新(所述更新由于高的计算开销而导致助听器设备的功率消耗提高)仅对于在第一定向信号中存在有用信号的情况执行,从而由此可以节省电池电力。
按照本发明,为了至少检查第一定向信号的信号部分是否存在有用信号,预先给定有用信号源的谱特征参量,其中,确定在第一定向信号中包含与谱特征参量兼容的信号分量的概率值,并且在概率值超过预先给定的第一边界值的情况下推断出存在有用信号。特别地,这可以通过高斯混合模型(Gauβsches Mischungs-Modell,GMM)的对数似然比测试(log-likelihood-quotiententest,LLR)进行,其中,特征参量通过梅尔频率倒谱系数(Mel-Frequenz-Cepstrum-Koeffizienten,MFCC)或者通过GMM超向量-支持向量机(GMM-Supervektoren-Support vector machine)来确定或近似。
因为有用信号源按照其种类是预先给定的,因此这意味着,一方面对于第一定向信号的检查,可以采用对于有用信号源特别是关于与其他信号源的区别具有代表性的谱特征参量。另一方面,此时,根据第一定向信号的实际信号部分,通过合适的比较方法,确定相关信号分量来自于有用信号源的概率值。这在相应的信号分量由于其谱特征而与有用信号不兼容时可以被排除。在第一定向信号和预先给定的有用信号的信号分量的谱参数越来越一致或兼容的情况下,概率值相应地增大,从而在概率值的预先给定的边界值以上,可以假定信号部分实际上来自于期望的有用信号源。概率值在此特别地可以取决于听觉情形或噪声水平。
有利地,在此,在助听器设备投入运行前,将谱特征参量存储在助听器设备的数据库中。投入运行在此包括首次投入运行以及与助听器设备的中间关闭相关的较长的运行暂停之后的投入运行。存储在此特别地可以在助听器设备音响师对助听器设备进行预设和/或调整时进行。为此,作为预设的有用信号源,可以选择用户的最频繁的交谈对象,用户相应地提供所述交谈对象的多个声音样本。声音样本在此特别地可以通过外部设备、如智能电话,或通过助听器设备本身记录,所述助听器设备优选借助外部设备、诸如遥控器或智能电话专门指示。
合适地,助听器设备的用户在运行时通过用户输入来识别有用信号源的有用信号,并且根据第一定向信号来确定谱特征参数并且存储在数据库中。在此,识别可以在助听器设备的连续运行中进行,用户输入特别地可以通过遥控器或智能电话进行。这是特别有利的,因为在进行预设时,通常不是所有可能的相关有用信号源的特征参量都是已知的,由此用户可以容易地在相应的数据库中加入由于当前的听觉情形而与用户刚好相关的新的有用信号源。
优选地,在助听器设备的运行中,将第一信号源的信号识别为有用信号,并且将第一信号源预先给定为有用信号源,其中,根据第一定向信号确定有用信号源的谱特征参量。特别地,在此,根据信号水平的时间平均值进行将第一信号源的信号识别为有用信号。这意味着,例如在交谈情形中,将交谈对象的交谈份额的一贯高的、长时间保持或反复的信号水平,识别为新的、刚好相关的有用信号,并且相应地确定其声音和语音的谱特征参量并且相应地存储,以在后面进行比较。这使得可以全自动地采集有用信号源的谱特征参量,在此无需用户为采集本身付出特别的注意力。
合适地,根据第一定向信号形成输出信号,其由助听器设备的至少一个输出转换器转换为声音信号。作为输出转换器,一般包括电-声转换器,其构造为,根据电信号产生相应的声音信号,例如扬声器或用于骨传导的声音发生器。根据第一定向信号形成输出信号特别是应当理解为,在对于助听器设备特定的信号处理中,将第一定向信号直接作为输入参量使用,其中,输出信号表示对于助听器设备特定的信号处理产生的信号。由此,在第一定向信号中特别地关于信号源包含的时间-空间信息,进入助听器设备的用户可以听见的声音信号中,从而由于借助第一定向信号跟踪信号源的实际运动,可以给用户带来特别真实的听觉感受。
在另一个有利构造中,预先给定特定说话者作为有用信号源,并且预先给定说话者的人声信号作为有用信号。正是对于说话者作为有用信号源的情况,可以特别有利地应用本方法,因为一方面可以根据对于声音和对于语音具有代表性的多个谱参数识别特定的语音信号,另一方面在热烈的交谈情形中交谈对象有时可能处于运动中,这可以通过此处提出的通过第一定向信号跟踪交谈对象来补偿,以改善对语音信号的理解。
有利地,在此对于特定说话者的语音信号,预先给定个性化的校正参数,其中,在第一定向信号中存在特定说话者的语音信号的情况下,根据个性化的校正参数校正第一定向信号和/或进入输出信号中的中间信号。在此,以有利的方式利用如下事实:一方面特定说话者可以根据对于其声音具有代表性的谱参数,通过助听器设备通过所提出的方法来识别和定位,另一方面可以有针对性地放大其语音信号,例如方式是,对于较弱地突出的格式等,可以特别地放大相应的频率。
特别优选地,特定说话者的个性化的校正参数在助听器设备投入运行之前存储在助听器设备的数据库中,和/或根据第一定向信号和用户输入确定并且存储在数据库中。投入运行在此包括首次投入使用以及在较长的、与助听器设备的中间关闭有关的运行暂停之后的投入运行。用户输入在此可以特别地通过遥控器或智能电话进行。正是在投入使用之前进行预设的过程中存储数据时,可以特别精确地与用户的可能的听力丧失协调地调整特定说话者的相应的校正参数,从而在助听器设备上为此所需的存储空间可以得到优化。根据用户输入存储校正参数具有如下优点,即,用户可以独自在任意环境下进行存储。
证明为有利的是,至少将第一定向信号的信号部分传输到外部单元,其中,在外部单元中检查第一定向信号的信号部分是否存在关于种类预先给定的有用信号源的有用信号,并且其中,将对第一定向信号的检查的结果传输到助听器设备。这可以实现,特别是通过比较相应的谱参数识别或验证有用信号源所需的计算密集的步骤,可以在助听器设备外部在性能更高的处理器上执行,从而助听器设备的处理器仅需要针对助听器设备通常的操作来构造,这些操作还包括定向信号的形成。
有利地,第一定向信号被变换到时-频域中,和/或对第一定向信号的各个时间段在时域和/或时-频域中根据信噪比进行检查,其中,为了检查是否存在有用信号,仅考虑具有超过预先给定的第二边界值的信噪比的时间段。由此忽略对于第一定向信号的检查而言本来不具有足够高的信号质量的信号部分,由此总体上可以节省计算性能。
在一种有利的构造中,根据第一输入信号和第二输入信号确定第一方向,以用于进行关联。根据信号源的特性和听力情形的种类,例如根据助听器设备的用户在通常情况下其视线处于有用信号源中的一个的方向上的假设,空间方向与信号源的关联例如也可以通过预设来进行,从而可以预先给定正面方向作为第一方向。然而,这对于许多听力情形是不合适的。由此证明具有优点的是,根据本来提供的第一输入信号和第二输入信号来定位第一信号源。第一方向的确定在此特别地可以近似地进行,例如以在多个角范围上扫描的形式。
合适地,在此,根据第一输入信号和第二输入信号形成多个取决于角度的方向特征,其分别具有固定的中心角度和给定的角扩展,其中,检查各个方向特征中的信号部分是否存在第一信号源的信号,并且其中,将相应的中心角度作为第一方向与在特定的方向特征中确定的第一信号源相关联。这允许特别精确和相对于背景噪声鲁棒地定位第一信号源,因为为此不使用容易被干扰的运行时间测量或相位测量,并且对于第一信号源可以根据呈现的信号(第一输入信号和第二输入信号)预先给定第一方向,为此不需要可能不对应于实际听力情形的另外的假设,例如正面定位等。
有利地,在此,关于其相应的中心角度相邻的两个方向特征的角距离,与半个角扩展对应。特别地,每两个相邻的方向特征具有相同的角扩展。对于灵敏度在中心角度的方向上最大并且随着中心角度的角距离增大而减小的各个方向特征通过定向锥角形成的情况,这特别地意味着,对于每个单个方向特征,可以给出一个角度,对于所述角度,关于测试信号的灵敏度以特定因子相对于中心角度处的最大值下降例如6dB或10dB。这样的角度此时与作为半个角扩展的相应的方向特征相关联,并且相邻的方向特征的中心角度相应地作为该角度的两倍的值来选择。对于作为各个方向特征分别选择切口形状的灵敏度衰减(其中,在中心角度处具有最小值)的情况,可以适用相应的内容,其中,对于角扩展的定义,替代灵敏度相对于中心角度处的最大值的衰减,考虑灵敏度相对于中心角度处的最小值的提高。由此,对于期望的、宽的角度范围,可以实现各个方向特征的最大程度上完整的覆盖,同时由于直至相应的下一个中心角度的各个方向特征的重叠,有用信号源总是可以与至少一个方向特征清楚地相关联,其中,由于重叠,两个相邻的中心角度之间的角位置也是可分辨的。
在此,证明为有利的是,分别通过切口形状的灵敏度特征预先给定各个方向特征,其通过至少两个条件来确定,从而通过至少两个条件分别确定灵敏度特征的中心角度和角扩展,并且其中,分别根据灵敏度特征的相对衰减,检查各个方向特征中的信号部分是否存在第一信号源的信号。
切口形状的灵敏度特征在此理解为如下的方向特征,所述方向特征关于具有给定音量的测试信号在中心角度处具有灵敏度的最大衰减,其中,灵敏度随着与中心角度的角距离的增大而增大。灵敏度的该增大的程度于是依据与中心角度的角距离定义角扩展。如果信号源位于这样的方向特征的中心角度的方向上,或者在与中心角度紧邻的角度分辨的范围内,也就是在灵敏度特征的“切口”内,则有用信号的信号部分通过方向特征被明显衰减,而来自位于所述方向特征的中心角度周围的角扩展外部的其他信号源的信号部分被尽可能保持。此时,可以考虑这一点,以确定信号源在相应的方向特征的区域中的存在。
证明为有利的还有,第二信号源与第二方向相关联,其中,根据第一输入信号和第二输入信号形成指向第二方向的第二定向信号,并且其中,根据第一定向信号和第二定向信号形成输出信号,其由助听器设备的至少一个输出转换器转换为声音信号。
根据第一定向信号和根据第二定向信号形成输出信号,允许对于由第一信号源产生的第一信号和对于由第二信号源产生的第二信号改善信噪比,方式是,特别地来源于第一信号源和第二信号源之间的角度区域的干扰噪声,既可以通过第一定向信号也可以通过第二定向信号被相应地抑制,由此没有明显地输入到输出信号中。特别地,当用户处于与多于一个的交谈对象的交谈中,其中,至少一个交谈对象处于运动中,并且交谈与背景噪声叠加时,由此对于助听器设备的用户,关于进入到第一输入信号和第二输入信号中的环境噪声,输出信号的质量得到改善。交谈对象于是与第一或第二方向相关联,并且第一或第二定向信号指向相应的说话者,从而说话者的语音份额通过相关的定向信号相对于环境噪声被放大。此外,通过第一定向信号和第二定向信号指向相应的说话者,实现了用户无需通过头部运动来跟踪交谈对象的语音活动,以便因此例如能够通过固定地预先给定的方向特征保持语音理解的改善。
优选地,在此,第一定向信号和第二定向信号作为叠加、特别优选地作为线性叠加,进入输出信号中。特别地,这意味着,在此,可以对第一定向信号和第二定向信号进行对于助听器设备特定的信号处理,并且根据相应地得到的信号通过线性叠加形成输出信号,或者线性叠加的第一定向信号和第二定向信号进入对于助听器设备特定的信号处理中,并且通过信号处理形成输出信号。正是对于两个或多个有用信号源,指向有用信号源的定向信号的线性叠加特别好地对应于现实的听力情形,在所述现实的听力情形中对第一有用信号和第二有用信号也进行线性叠加,并且为了改善信号质量,通过助听器设备针对用户从得到的声音信号中去除背景噪声。
特别优选地,在此,对于线性叠加,分别对于第一定向信号和对于第二定向信号按照频带确定线性因子。特别地也就是说,线性叠加可以在不同的频带中对第一定向信号和第二定向信号设置不同的权重。由此可以考虑第一有用信号源和第二有用信号源之间的可能的谱差别,从而例如在仅两个有用信号源中的一个具有重要的信号部分的频带中,指向有用信号源的定向信号的相应的权重更大。特别地在第一或第二有用信号源分别是交谈对象的情况中,由此也可以一起考虑交谈对象的声音的特征谱状况。
合适地,在此,至少检查第二定向信号的信号部分是否存在有用信号,其中,在叠加中根据第二定向信号中有用信号的存在相对于第一定向信号对第二定向信号进行加权。例如可以在交谈情形中确定第二说话者在附近,其交谈份额,与当例如第二信号源通过局部化的背景噪声、例如播放音乐的扬声器给出时相比,以更高的权重进入输出信号中。在后一种情况下,为了进行适当的空间感知,也将相应的音乐在正确的空间角度区域中记录到输出信号中,然而在进行加权时相应地相对于背景音乐优选明显将说话者优先。
本发明还涉及一种助听器设备、特别是双耳助听器设备,包括至少一个用于根据环境的声音信号产生第一输入信号的第一输入转换器、用于根据所述声音信号产生第二输入信号的第二输入转换器以及构造为用于执行前面描述的方法步骤的信号处理单元。对于方法和其扩展提到的优点在此可以合适地转用到助听器设备。
附图说明
以下参考附图详细解释本发明的实施例。在此,
图1示意性地示出了通过助听器设备的定向信号跟踪预先给定的运动的说话者的方法的流程。
具体实施方式
图1示意性地示出了用于运行助听器设备2的方法1的流程。助听器设备2的用户4处于与特定说话者6的交谈中,所述说话者相对于用户2处于运动中,例如不时在房间中来回走动,其中,另一个交谈对象8参加交谈,其偶尔发表交谈份额,并且交谈还与背景噪声重叠。
助听器设备2具有第一输入转换器10和第二输入转换器12,其分别构造为麦克风。第一输入转换器10根据输入的环境的声音信号14产生第一输入信号16,第二输入转换器12根据输入的声音信号14产生第二输入信号18。在定位步骤20中,此时,首先确定主要的信号源相对于用户4的正面方向位于哪个方向上。这例如可以通过如下进行,即,根据第一和第二输入信号16、18,形成多个方向特征,其相应地指向另一个中心角度,也就是在那里具有灵敏度的最大值或最小值。然后,根据相应的方向特征的信号部分,形成声学特征参量,并且将不同角度下的声学特征参量互相进行比较,然后由此可以确定信号源的存在。
如果方向特征例如分别构造为切口形状的,则可以使用(在需要时关于合适的时间窗求平均的)最大水平作为特征参量。如果对于特定的定向信号,最大水平超过边界值,则此时估计在相应的方向(所述方向然后在定位步骤的角度分辨的范围内等同于方向特征的中心角)上存在信号源。如果方向特征例如分别具有切口形状的灵敏度走向,使得在中心角处呈现灵敏度的最小值,则可以使用关于总水平归一化了的水平作为特征参量。此时,根据水平通过方向特征的衰减来确定信号源在方向特征中的存在,因为作为归一化因子的总水平不受灵敏度的最小值影响,并且信号源在中心角的区域内通过方向特征衰减。
在本情况中,将特定说话者6确定为第一信号源22,并且将另一个交谈对象8确定为第二信号源24。为特定说话者6分配如下方向特征的方向作为第一方向26,对于该方向特征,声学特征参量是极值。类似的内容适用于第二方向28,所述第二方向被分配给另一个交谈对象8。
此时,形成分别具有窄的切口形状的方向特征的指向第一方向26的第一定向信号30以及指向第二方向28的第二定向信号32,以便从背景噪声中突显第一或第二信号源22、24的信号。在已经根据切口形状的方向特征执行了定位步骤20的情况下,可以简单地形成或继续使用具有定位了第一以及第二信号源22、24的相应的方向特征的定向信号,作为第一以及第二定向信号30、32。
现在,分别将第一定向信号30和第二定向信号32转换到时-频域TFD中,然后分别在时-频域TFD中检查第一和第二定向信号30、32的信号部分的信噪比SNR。仅使用信噪比SNR低于预先给定的边界值的信号分量34。此时,根据由第一定向信号30导出的信号分量34形成特征数据36的向量。特征数据36在此使得可以使其与之前存储的、关于特定说话者6的声音的谱特征参量38相关。这例如可以通过概率模型来进行,概率模型根据特征数据36与特定说话者6的谱特征参量38的兼容性,确定第一信号源22通过特定说话者6给出的概率值40。如果概率值40高于预先确定的边界值,则第一信号源22被识别为特定说话者6。对于助听器设备2中的另外的用户特定的信号处理42,例如根据用户4的听力图(Audiogramm)提高特定频带中的水平,此时可以直接考虑第一定向信号30。信号处理42的输出信号44此时由在本情况中通过扬声器形成的至少一个输出转换器46转换为用户4可听见的声音信号48。
信号处理42在此特别地也可以包括通过对于特定说话者6个性化的校正参数50的、说话者特定的校正,其中,可以在由第一定向信号30导出的中间信号中,根据特定说话者6的声音的已知的谱参数,特别地强调例如重要的共振峰(Formanten)处的特定的频率范围,以改善语音理解。
如果特定说话者6被定位在第一方向26上,则可以周期性地重复定位步骤20,以便因此可以通过第一定向信号30跟踪特定说话者6。通过特征数据36和谱特征参量38进行控制,在此确保在第一方向26重新取向时,第一定向信号30继续保持指向特定说话者6。如果不能验证这一点,也就是如果第一定向信号30重新指向的信号源的声音信号与特定说话者6的谱特征参量38不兼容,则可以通过在定位步骤20中重新开始和随后的后续步骤,查找特定说话者6的当前位置,并且作为查找到的第一信号源22对其进行验证。由此第一定向信号30可以持续跟踪特定说话者6,从而其语音份额可以通过第一定向信号30相对于背景噪声被放大。通过比较谱特征参量38与特征数据38,可以确保第一定向信号持续指向特定说话者6,而例如不指向另一个交谈对象8。
尽管通过优选实施例详细示出和描述了本发明,但是本发明不受这些实施例限制。专业人员可以从中导出其他变形,而不脱离本发明的保护范围。
附图标记列表
1 方法
2 助听器设备
4 用户
6 特定说话者
8 另一个交谈对象
10 第一输入转换器
12 第二输入转换器
14 输入的(环境的)声音信号
16 第一输入信号
18 第二输入信号
20 定位步骤
22 第一信号源
24 第二信号源
26 第一方向
28 第二方向
30 第一定向信号
32 第二定向信号
34 信号分量
36 特征数据
38 谱特征参量
40 概率值
42 信号处理
44 输出信号
46 输出转换器
48 声音信号
50 个性化的校正参数
TFD 时-频域
SNR 信噪比

Claims (19)

1.一种用于运行助听器设备(2)的方法(1),所述助听器设备至少包括第一输入转换器(10)和第二输入转换器(12),其中,第一输入转换器(10)根据环境的声音信号(14)产生第一输入信号(16),并且第二输入转换器(12)根据所述声音信号(14)产生第二输入信号(18),
其中,第一信号源(22)与第一方向(26)相关联,
其中,根据第一输入信号(16)和第二输入信号(18)形成在第一方向(26)上对齐的第一定向信号(30),
其中,关于来自在种类方面预定的有用信号源(6)的有用信号的存在,至少对第一定向信号(30)的信号部分(34)进行检查,
其中,对于关于有用信号的存在至少对第一定向信号(30)的信号部分(34)的检查,预先给定有用信号源(6)的谱特征参量(38),和
其中,确定在第一定向信号(30)中包含与谱特征参量(38)兼容的信号分量的概率值(40),并且在概率值(40)超过预先给定的第一边界值时,推断出存在有用信号。
2.根据权利要求1所述的方法(1),
其中,在第一定向信号(30)中存在有用信号的情况下,根据第一输入信号(16)和第二输入信号(16)确定有用信号源(6)的位置,并且在确定有用信号源(6)的位置改变的情况下,将第一定向信号(30)在有用信号源(6)的改变后的位置的方向上对齐。
3.根据权利要求1或权利要求2所述的方法(1),
其中,在第一定向信号(30)中存在有用信号的情况下,持续更新有用信号源(6)的位置。
4.根据上述权利要求中任一项所述的方法(1),
其中,谱特征参量(38)在助听器设备(2)投入运行之前存储在助听器设备(2)的数据库中。
5.根据权利要求1至3中任一项所述的方法(1),
其中,助听器设备(2)的用户(4)在运行中通过用户输入识别有用信号源(6)的有用信号,并且根据第一定向信号(30)确定谱特征参量(38)并且存储在数据库中。
6.根据权利要求1至3中任一项所述的方法(1),
其中,在助听器设备(2)的运行中,将第一信号源(22)的信号识别为有用信号,并且将第一信号源(22)预先给定为有用信号源(6),并且
其中,根据第一定向信号(30)确定有用信号源(6)的谱特征参量(38)。
7.根据上述权利要求中任一项所述的方法(1),
其中,根据第一定向信号(30)形成输出信号(44),所述输出信号由助听器设备(2)的至少一个输出转换器(46)转换为声音信号(48)。
8.根据上述权利要求中任一项所述的方法(1),
其中,预先给定特定说话者作为有用信号源(6),并且预先给定所述说话者的人的语音信号作为有用信号。
9.根据权利要求8与权利要求7所述的方法(1),
其中,对于特定说话者的语音信号,预先给定个性化的校正参数(50),并且
其中,在第一定向信号(30)中存在特定说话者的语音信号的情况下,根据个性化的校正参数(50)校正第一定向信号(30)和/或进入输出信号(46)中的中间信号。
10.根据权利要求9所述的方法(1),
其中,用于特定说话者的个性化的校正参数(50)在助听器设备(2)投入运行之前存储在助听器设备(2)的数据库中,和/或根据第一定向信号(30)和用户输入确定并且存储在数据库中。
11.根据上述权利要求中任一项所述的方法(1),
其中,至少第一定向信号(30)的信号部分被传输到外部单元,
其中,在外部单元中关于来自在种类方面预先给定的有用信号源(6)的有用信号的存在,对第一定向信号(30)的信号部分进行检查,并且
其中,对第一定向信号(30)的检查的结果被传输到助听器设备。
12.根据上述权利要求中任一项所述的方法(1),
其中,第一定向信号(30)被转换到时-频域(TFD)中,和/或在时域和/或时-频域(TFD)中,关于信噪比(SNR)对第一定向信号(30)的各个时间段进行检查,并且
其中,为了检查有用信号的存在,仅考虑具有超过预先给定的第二边界值的信噪比(SNR)的时间段。
13.根据上述权利要求中任一项所述的方法(1),
其中,根据第一输入信号(16)和第二输入信号(18)确定第一方向(26),用于进行关联。
14.根据权利要求13所述的方法(1),
其中,根据第一输入信号(16)和第二输入信号(18)形成分别具有固定的中心角度和给定的角扩展的多个取决于角度的方向特征,
其中,关于第一信号源(22)的信号的存在,对各个方向特征中的信号部分进行检查,并且
其中,将在特定的方向特征中确定的第一信号源(22)与作为第一方向(26)的相应的中心角度相关联。
15.根据权利要求14所述的方法(1),
其中,各个方向特征分别通过切口形状的灵敏度特征预先给定,所述灵敏度特征通过至少两个条件确定,从而通过至少两个条件分别确定灵敏度特征的中心角度和角扩展,并且其中,分别根据灵敏度特征的相对衰减,关于第一信号源(22)的信号的存在,对各个方向特征中的信号部分进行检查。
16.根据上述权利要求中任一项所述的方法(1),
其中,第二信号源(24)与第二方向(28)相关联,
其中,根据第一输入信号(16)和第二输入信号(18)形成在第二方向(28)上对齐的第二定向信号(32),并且
其中,根据第一定向信号(30)和第二定向信号(32)形成输出信号(44),其由助听器设备(2)的至少一个输出转换器(46)转换为声音信号(48)。
17.根据权利要求16所述的方法(1),
其中,第一定向信号(30)和第二定向信号(32)作为叠加进入输出信号(44)中。
18.根据权利要求17所述的方法(1),
其中,关于有用信号的存在,至少对第二定向信号(32)的信号部分进行检查,并且
其中,根据在第二定向信号(32)中有用信号的存在,在叠加中相对于第一定向信号(30)对第二定向信号(32)进行加权。
19.一种助听器设备(2),特别是双耳助听器,至少包括用于根据环境的声音信号(14)产生第一输入信号(16)的第一输入转换器(10)、用于根据所述声音信号(14)产生第二输入信号(18)的第二输入转换器(12)以及构造为用于执行根据上述权利要求中任一项所述的方法(1)的信号处理单元。
CN201711339493.1A 2016-12-15 2017-12-14 用于运行助听器设备的方法 Pending CN108235208A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016225204.6 2016-12-15
DE102016225204.6A DE102016225204B4 (de) 2016-12-15 2016-12-15 Verfahren zum Betrieb eines Hörgerätes

Publications (1)

Publication Number Publication Date
CN108235208A true CN108235208A (zh) 2018-06-29

Family

ID=60244952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711339493.1A Pending CN108235208A (zh) 2016-12-15 2017-12-14 用于运行助听器设备的方法

Country Status (6)

Country Link
US (1) US10547956B2 (zh)
EP (1) EP3337187A1 (zh)
JP (1) JP6612310B2 (zh)
CN (1) CN108235208A (zh)
AU (1) AU2017261490B2 (zh)
DE (1) DE102016225204B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351365A (zh) * 2019-08-08 2021-02-09 西万拓私人有限公司 用于听力设备的定向信号处理方法
CN113825076A (zh) * 2020-06-18 2021-12-21 西万拓私人有限公司 用于包括听力装置的听力系统的与方向相关抑制噪声的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019201879B3 (de) * 2019-02-13 2020-06-04 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems und Hörsystem
DE102019219567A1 (de) 2019-12-13 2021-06-17 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems und Hörsystem
DE102021210098A1 (de) 2021-09-13 2023-03-16 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts
DE102022201706B3 (de) 2022-02-18 2023-03-30 Sivantos Pte. Ltd. Verfahren zum Betrieb eines binauralen Hörvorrichtungssystems und binaurales Hörvorrichtungssystem

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1575043A (zh) * 2003-06-20 2005-02-02 西门子测听技术有限责任公司 助听器运行方法及具有可调方向特性麦克风系统的助听器
EP1691576A2 (en) * 2006-01-12 2006-08-16 Phonak AG Method to adjust a hearing system, method to operate the hearing system and a hearing system
CN101617245A (zh) * 2007-10-01 2009-12-30 松下电器产业株式会社 声源方向检测装置
CN103026738A (zh) * 2010-07-15 2013-04-03 唯听助听器公司 助听器系统中信号处理的方法和助听器系统
DE102013215131A1 (de) * 2013-08-01 2015-02-05 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verfolgung einer Schallquelle
CN105407440A (zh) * 2014-09-05 2016-03-16 伯纳方股份公司 包括定向系统的听力装置
CN105430587A (zh) * 2014-09-17 2016-03-23 奥迪康有限公司 包括gsc波束形成器的听力装置
CN105491494A (zh) * 2014-06-23 2016-04-13 Gn瑞声达A/S 在双耳助听器系统中的全方位感知
DE102015212609A1 (de) * 2015-07-06 2016-09-22 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57148413A (en) * 1981-03-10 1982-09-13 Matsushita Electric Ind Co Ltd Sound absorbing device
JP3269669B2 (ja) * 1992-09-24 2002-03-25 株式会社日立製作所 聴覚補償装置
AU2001221399A1 (en) 2001-01-05 2001-04-24 Phonak Ag Method for determining a current acoustic environment, use of said method and a hearing-aid
DK1359787T3 (en) * 2002-04-25 2015-04-20 Gn Resound As Fitting method and hearing prosthesis which is based on signal to noise ratio loss of data
JP4928382B2 (ja) * 2007-08-10 2012-05-09 日本電信電話株式会社 特定方向収音装置、特定方向収音方法、特定方向収音プログラム、記録媒体
WO2010146857A1 (ja) * 2009-06-17 2010-12-23 パナソニック株式会社 補聴装置
JP5272920B2 (ja) * 2009-06-23 2013-08-28 富士通株式会社 信号処理装置、信号処理方法、および信号処理プログラム
JP5831963B1 (ja) * 2015-04-07 2015-12-16 井上 時子 音源方向追従システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1575043A (zh) * 2003-06-20 2005-02-02 西门子测听技术有限责任公司 助听器运行方法及具有可调方向特性麦克风系统的助听器
EP1691576A2 (en) * 2006-01-12 2006-08-16 Phonak AG Method to adjust a hearing system, method to operate the hearing system and a hearing system
CN101617245A (zh) * 2007-10-01 2009-12-30 松下电器产业株式会社 声源方向检测装置
CN103026738A (zh) * 2010-07-15 2013-04-03 唯听助听器公司 助听器系统中信号处理的方法和助听器系统
DE102013215131A1 (de) * 2013-08-01 2015-02-05 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verfolgung einer Schallquelle
CN105491494A (zh) * 2014-06-23 2016-04-13 Gn瑞声达A/S 在双耳助听器系统中的全方位感知
CN105407440A (zh) * 2014-09-05 2016-03-16 伯纳方股份公司 包括定向系统的听力装置
CN105430587A (zh) * 2014-09-17 2016-03-23 奥迪康有限公司 包括gsc波束形成器的听力装置
DE102015212609A1 (de) * 2015-07-06 2016-09-22 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351365A (zh) * 2019-08-08 2021-02-09 西万拓私人有限公司 用于听力设备的定向信号处理方法
CN112351365B (zh) * 2019-08-08 2023-02-24 西万拓私人有限公司 用于听力设备的定向信号处理方法
CN113825076A (zh) * 2020-06-18 2021-12-21 西万拓私人有限公司 用于包括听力装置的听力系统的与方向相关抑制噪声的方法

Also Published As

Publication number Publication date
JP2018098796A (ja) 2018-06-21
DE102016225204A1 (de) 2018-06-21
JP6612310B2 (ja) 2019-11-27
US10547956B2 (en) 2020-01-28
AU2017261490A1 (en) 2018-07-05
US20180176698A1 (en) 2018-06-21
DE102016225204B4 (de) 2021-10-21
AU2017261490B2 (en) 2019-03-14
EP3337187A1 (de) 2018-06-20

Similar Documents

Publication Publication Date Title
CN108235208A (zh) 用于运行助听器设备的方法
CN110503969B (zh) 一种音频数据处理方法、装置及存储介质
US11569789B2 (en) Compensation for ambient sound signals to facilitate adjustment of an audio volume
CN110214351B (zh) 记录的媒体热词触发抑制
CN104902418B (zh) 用于估计目标和噪声谱方差的多传声器方法
US8300801B2 (en) System and method for telephone based noise cancellation
CN108235181B (zh) 在音频处理装置中降噪的方法
CN107910011A (zh) 一种语音降噪方法、装置、服务器及存储介质
CN106782584A (zh) 音频信号处理设备、方法和电子设备
CN107872762A (zh) 话音活动检测单元及包括话音活动检测单元的听力装置
US20070055513A1 (en) Method, medium, and system masking audio signals using voice formant information
AU6769600A (en) Method for enhancement of acoustic signal in noise
CN109660928A (zh) 包括用于影响处理算法的语音可懂度估计器的听力装置
WO2022151657A1 (zh) 降噪方法、装置、音频设备和计算机可读存储介质
CN112767908B (zh) 基于关键声音识别的主动降噪方法、电子设备及存储介质
CN106507258A (zh) 包括基于信号能量再分配的反馈抵消系统的听力装置
CN108335700A (zh) 语音调节方法、装置、语音交互设备及存储介质
CN107124647A (zh) 一种全景视频录制时自动生成字幕文件的方法及装置
CN108172237A (zh) 语音通话数据处理方法、装置、存储介质及移动终端
CN102282865A (zh) 用于电子系统的声学语音活动检测(avad)
US20230254650A1 (en) System and method for enhancing speech of target speaker from audio signal in an ear-worn device using voice signatures
CN108540660A (zh) 语音信号处理方法和装置、可读存储介质、终端
CN115775564B (zh) 音频处理方法、装置、存储介质及智能眼镜
CN114464184B (zh) 语音识别的方法、设备和存储介质
CN109920433A (zh) 嘈杂环境下电子设备的语音唤醒方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180629

WD01 Invention patent application deemed withdrawn after publication