CN111226445A - 用于假体辅助通信的先进辅助设备 - Google Patents
用于假体辅助通信的先进辅助设备 Download PDFInfo
- Publication number
- CN111226445A CN111226445A CN201880068125.4A CN201880068125A CN111226445A CN 111226445 A CN111226445 A CN 111226445A CN 201880068125 A CN201880068125 A CN 201880068125A CN 111226445 A CN111226445 A CN 111226445A
- Authority
- CN
- China
- Prior art keywords
- prosthesis
- sensory
- recipient
- indication
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/67—Implantable hearing aids or parts thereof not covered by H04R25/606
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/558—Remote control, e.g. of amplification, frequency
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Prostheses (AREA)
Abstract
本发明提供了一种系统,其包括信号输入、处理器和信号输出,其中所述处理器被配置成基于所述信号输入的输入而生成与关于感觉假体的接受者的数据有关的指令,并且所述信号输出被配置成输出指示所述指令的数据。
Description
相关申请的交叉引用
本申请要求发明人为澳大利亚麦考瑞大学的Kenneth OPLINGER于2017年10月23日提交的名称为“ADVANCED ASSISTANCE FOR PROSTHESIS ASSISTED COMMMUNICATION(用于假体辅助通信的先进辅助设备)”的美国临时申请号62/575,567的优先权,该申请的全部内容以引用的方式整体并入本文中。
背景技术
听力损失可能由许多不同原因造成,通常为两种类型:传导型和感觉神经型。感觉神经型听力损失是由于耳蜗中的毛细胞不存在或破坏造成的,这些毛细胞将声音信号转换成神经脉冲。各种听力假体可商购获得以向患有感觉神经型听力损失的个体提供感知声音的能力。听力假体的一个实例是耳蜗植入物。
当例如听骨链或耳道损伤阻碍了向耳蜗中的毛细胞提供声音的正常机械路径时,就发生传导型听力损失。患有传导型听力损失的个体可能保留某种形式的残余听力,因为耳蜗中的毛细胞可能未受到损伤。
患有听力损失的个体通常接受声学助听器。常规助听器依赖于将声学信号传输到耳蜗的空气传导原理。具体地,助听器通常使用定位在接受者的耳道中或外耳上的布置来放大由接受者的外耳接收到的声音。这种放大的声音到达耳蜗,引起外淋巴的运动并刺激听神经。传导型听力损失的案例通常借助于骨传导助听器进行处理。与常规的助听器相比,这些装置使用联接到颅骨的机械致动器以施加放大的声音。
与主要依靠空气传导原理的助听器相比,通常称为耳蜗植入物的某些类型的听力假体将接收到的声音转换为电刺激。电刺激被施加到耳蜗,这使得感知所接收的声音。
许多装置,例如与接受者相接的医疗装置,具有结构和/或功能特征,其中在调整个别接受者的此类特征方面存在实用价值。针对特定需求或特定需要或接受者的特定特征,量身定制或定制或以其它方式调整与接受者相接或另外由接受者使用的装置的过程通常称为适配。在对个别接受者适配这些方面具有实用价值的一类医疗装置是上述的耳蜗植入物。也就是说,存在其它类型的医疗装置,例如其它类型的听力假体,其中,在将这些医疗装置适配到接受者时存在实用价值。
存在增强或以其他方式提供感觉刺激的其他类型的医疗装置,例如仅作为实例而不作为限制,如视网膜植入物的视觉假体。这些装置(听力、视觉等)在本文中将统称为感觉假体或感觉医疗装置。一些此类感觉假体的一些实施例包括一个或多个感觉刺激诱发现象捕获设备,例如仅作为实例而不作为限制,麦克风或摄像头等。注意,感觉刺激诱发现象并不要求该现象诱发所有人的刺激(例如,无论该现象是否能够被例如盲人看到或聋人听到,该现象都存在)。
发明内容
根据一个示例性实施例,一种系统,包括:信号输入套件;处理器;以及信号输出,其中所述处理器被配置成基于所述信号输入的输入而生成与关于感觉假体的接受者的数据有关的指令,并且所述信号输出被配置成输出指示所述指令的数据。
根据另一示例性实施例,一种方法,包括:在两个或更多个人之间的互动期间捕获感觉输入,其中一个人正在使用感觉假体以至少增强感觉能力;处理所捕获的感觉输入以识别对所述互动中的一个或多个人的指示,使得使用所述感觉假体的人能够具有对未来感觉输入的增强的感觉或充分的感觉中的至少一者;以及对所述一个或多个人输出所述指示。
根据另一示例性的实施例,一种组件,包括:装置,所述装置被配置成接收指示所捕获的感觉刺激现象的输入,并提供关于所捕获的感觉刺激现象的输出,所述输出增强人们来自未来感觉刺激现象的人的未来感觉输入。
根据另一示例性的实施例,一种装置,包括:假体,所述假体被配置成与也包括指示器的远程感觉诱发现象捕获装置一起操作,其中,所述假体被配置成向所述远程装置提供与由所述假体和/或所述远程装置捕获的所捕获的感觉刺激诱发现象有关的输入,使得所述远程装置通过所述指示器提供与所述现象有关的指示。
根据另一示例性实施例,一种便携式电子装置,包括:视觉指示器装置;以及无线通信装置;其中所述便携式电子装置被配置成以交互格式显示指令,所述指令是使在所述视觉指示器的视距中的人采取行动以增强感觉假体的接受者的未来感觉输入。
根据另一示例性实施例,一种方法,包括:使听力受损人员参与对话;使用第一电子装置以在某个时间点捕获对话的声音的至少一部分;使用第一电子装置和/或第二电子装置分析所捕获的声音;以及在对话期间基于所述分析向对话的一方人工提供与所捕获的声音有关的信息,以增强在随后时间点对话的方面。
根据另一示例性实施例中,一种管理对话的方法,包括:利用便携式电子装置;以电子方式分析在对话期间捕获的声音;并且基于所述分析,向所述对话的参与者人工提供与参与者如何说话以改进对话有关的指示器,其中,对话的至少一个参与者正使用听力假体来听声音。
附图说明
下文参考附图描述实施例,其中:
图1是可适用本文详述的教导中的至少一些的示例性听力假体的透视图;
图2A和图2B呈现了包括听力假体和呈便携式手持装置形式的远程装置的示例性系统;
图3呈现了包括听力假体和呈智能手表形式的远程装置的示例性系统;
图4呈现了详细说明听力假体的黑盒与远程装置的黑盒之间的通信的示例性功能布置;
图5呈现了示例性系统的功能表示;
图6呈现了另一示例性系统的功能表示;以及
图7-13呈现了根据示例性方法的示例性算法。
具体实施方式
图1是植入到接受者中的被称作耳蜗植入物100的耳蜗植入物的透视图,本文中详述的一些实施例和/或其变型适用于所述耳蜗植入物。在一些实施例中,耳蜗植入物100是系统10的一部分,其可以包括外部部件,如下文将详细描述的。另外,注意,本文中详述的教导还适用于其它类型的听力假体,例如仅作为实例而不作为限制,骨传导装置(经皮、有源经皮和/或无源经皮)、直接声学耳蜗刺激器、中耳植入物以及常规助听器等。实际上,要注意的是,本文中详述的教导还适用于所称的多模式装置。在示例性实施例中,这些多模式装置将电刺激和声学刺激两者施加到接受者(有时称为电声刺激器)。在示例性实施例中,这些多模式装置经由电听力和骨传导听力唤起听力感知。因此,本文中关于这些类型的听力假体中的一种的任何公开内容对应于这些类型的听力假体中的另一种或用于该事宜的任何医疗装置的公开内容,除非另外指明,或者除非其公开内容与基于当前技术状态的给定装置不兼容。因此,在至少一些实施例中,本文中详述的教导适用于部分可植入和/或完全可植入医疗装置,其向接受者、患者或其它使用者提供广泛范围的治疗益处,包括具有植入式麦克风的听力植入物、听觉脑刺激器、起搏器、视觉假体(例如,仿生眼)、传感器、药物递送系统、除颤器、功能性电刺激装置、导管等。
鉴于以上内容,要理解,本文中详述的至少一些实施例和/或其变型针对身体穿戴的感觉补充医疗装置(例如,图1的听力假体,其补充听觉,即使在所有自然听力能力已丧失的情况下)。要注意的是,一些感觉补充医疗装置的至少一些示例性实施例涉及诸如常规助听器的装置,其在已保留一些自然听力能力的情况下补充听力感知,并且涉及视觉假体(两者都适用于保留一些自然视觉能力的接受者以及不保留任何自然视觉能力的接受者)。因此,本文中详述的教导适用于任何类型的感觉补充医疗装置,本文中详述的教导能够以实用方式用于所述装置。就这一点而言,短语“感觉补充医疗装置”指用于向接受者提供感觉的任何装置,而不管适用的自然感知是否仅部分受损或完全受损。
接受者具有外耳101、中耳105和内耳107。外耳101、中耳105和内耳107的部件在下文描述,然后描述耳蜗植入物100。
在功能齐全的耳中,外耳101包括耳廓110和耳道102。声压或声波103由耳廓110收集并经通道进入并通过耳道102。跨越耳道102的远端设置了响应于声波103而振动的鼓膜104。该振动通过中耳105的三块骨骼联接到椭圆窗或卵圆窗112,所述三块骨骼统称为听小骨106,并包括锤骨108、砧骨109和镫骨111。中耳105的骨骼108、109和111用来过滤并放大声波103,从而使得椭圆窗112铰接或响应于鼓膜104的振动而振动。此振动在耳蜗140内建立外淋巴的流体运动波。这种流体运动继而激活耳蜗140内部的微小毛细胞(未示出)。毛细胞的激活使得生成合适的神经脉冲并通过螺旋神经节细胞(未示出)和听神经114传输到脑部(也未示出),在脑部中,它们被感知为声音。
如图所示,耳蜗植入物100包括暂时或永久地植入接受者中的一个或多个部件。图1中示出了具有外部装置142的耳蜗植入物100,所述外部装置为系统10的一部分(连同耳蜗植入物100),其如下文所述被配置成向耳蜗植入物提供电力,其中植入的耳蜗植入物包括电池,所述电池由从外部装置142提供的电力充电。
在图1的说明性布置中,外部装置142可包括设置在耳后(BTE)单元126中的电源(未示出)。外部装置142还包括被称为外部能量传递组件的经皮能量传递链路的部件。经皮能量传递链路用于将电力和/或数据传递到耳蜗植入物100。各种类型的能量传递,例如红外(IR)、电磁、电容性和电感性传递,可用于将电力和/或数据从外部装置142传递到耳蜗植入物100。在图1的说明性实施例中,外部能量传递组件包括外部线圈130,其形成电感性射频(RF)通信链路的一部分。外部线圈130通常是由多匝电绝缘的单股或多股铂丝或金丝组成的线天线线圈。外部装置142还包括定位在外部线圈130的线匝内的磁体(未示出)。应了解,图1中所示的外部装置仅仅是说明性的,并且其他外部装置可以与本发明的实施例一起使用。
耳蜗植入物100包括内部能量传递组件132,其可定位在邻近接受者的耳廓110的颞骨的凹部中。如下详述,内部能量传递组件132是经皮能量传递链路的部件,并从外部装置142接收电力和/或数据。在说明性的实施例中,能量传递链路包括电感RF链路,且内部能量传递组件132包括初级内部线圈136。内部线圈136通常是由多匝电绝缘的单股或多股铂丝或金丝组成的线天线线圈。
耳蜗植入物100还包括主要可植入部件120和细长电极组件118。在一些实施例中,内部能量传递组件132和主要可植入部件120紧密密封在生物相容性壳体内。在一些实施例中,主要可植入部件120包括可植入麦克风组件(未示出)和声音处理单元(未示出),以将由内部能量传递组件132中的可植入麦克风接收的声音信号转换成数据信号。也就是说,在一些替代性实施例中,可植入麦克风组件可以位于(例如,通过单独的可植入部件和主要可植入部件120之间的引线等)与主要可植入部件120信号通信的单独可植入部件(例如,其具有自己的壳体组件等)中。在至少一些实施例中,本文中详述的教导和/或其变型可以与任何类型的可植入麦克风布置一起使用。
主要可植入部件120还包括刺激器单元(也未示出),所述刺激器单元基于数据信号生成电刺激信号。电刺激信号经由细长电极组件118递送至接受者。
细长电极组件118具有连接到主要可植入部件120的近端和植入耳蜗140中的远端。电极组件118从主要可植入部件120通过乳突骨119延伸至耳蜗140。在一些实施例中,电极组件118可以至少植入基底区域116中,并且有时植入得更深。例如,电极组件118可朝向耳蜗140的顶端(被称为耳蜗尖134)延伸。在某些情况下,电极组件118可以通过耳蜗开窗122插入到耳蜗140中。在其他情况下,耳蜗开窗可以通过圆窗121、卵圆窗112、岬123或通过耳蜗140的顶回147形成。
电极组件118包括电极148的沿着其长度设置的纵向对准且向远侧延伸的阵列146。如所指出的,刺激器单元生成刺激信号,所述刺激信号由电极148施加到耳蜗140,从而刺激听神经114。
图2A和图2B描绘了根据示例性实施例的示例性系统210,其包括:听力假体100,其在示例性实施例中对应于上文详述的耳蜗植入物100;和便携式手持装置240。图2B的实施例具有与听力假体100的无线链路230,而图2A中所描绘的替代实施例没有此类链路。在示例性实施例中,听力假体100是植入接受者99中的植入物(如在功能上由图2A/2B中的虚线框100所示)。在示例性实施例中(如图2B所示),系统210被配置成使得耳蜗植入物100和便携式手持装置240(例如,便携式蜂窝电话,例如仅作为实例而不作为限制,智能手机,如该词语通常使用的)具有关系。仅作为实例而不作为限制,在示例性实施例中,所述关系是智能手机通过无线链路230用作假体100的远程装置的能力。替代地或除此之外,所述关系是仅将由智能手机的麦克风捕获的音频信号流传输到听力假体,以便听力假体可基于该音频流唤起听力感知(如将详述的,存在其它关系)。在一些实施例中,便携式手持装置240仅扩展听力假体系统,但不是听力假体系统的控制装置。也就是说,在一些实施例中,两个装置之间存在不同的关系。相反,例如,可同时使用两个装置来实现实用价值,如下文将描述的。两个装置相对于彼此完全自主地工作,尽管在一些这样的示例性实施例中,装置中的一个或两个可以“意识到”一个或两个装置正与另一个装置同时被使用。下面将描述这一点的一些附加细节。要清楚,在一些实施例中,远程装置无法用来主动调整假体100,但这不排除远程装置向接受者提供提示的能力,所述提示指示可对于接受者调整听力假体100具有实用价值。在一些实施例中,在一个或多个或所有装置的操作期间存在装置之间的配对,并且此配对被一个或多个或所有装置识别。
要注意,尽管本文中详述的实施例将通常根据耳蜗植入物的使用来描述,但是替代实施例可用于其它类型的听力假体,诸如仅作为实例而不作为限制,骨传导装置(经皮、有源经皮和/或无源经皮)、直接声学耳蜗植入物(DACI)和常规助听器。因此,本文中关于这些类型的听力假体中的一种的任何公开内容对应于这些类型的听力假体中的另一种或用于该事宜的任何其它假体医疗装置的公开内容,除非另外指明,或者除非其公开内容基于当前技术状态与给定听力假体不兼容。
图3描绘了根据示例性实施例的示例性系统211,其包括听力假体100(在示例性实施例中,其对应于上文详述的耳蜗植入物100)和具有与听力假体100的可选无线链路230的便携式装置241,其中此处便携式装置241是智能手表。在示例性实施例中,听力假体100是植入到接受者99中的植入物(如在功能上由图2A和图2B中的虚线框100表示)。在示例性实施例中,系统211被配置成使得耳蜗植入物100和智能手表的实施例中的便携式装置241可具有关系。仅作为实例而不作为限制,在示例性实施例中,所述关系是智能手表241通过无线链路230用作假体100的远程麦克风和/或假体的控件的能力。然而,如上文关于智能手机详述的实施例的情况,在一些实施例中,不存在任何关系。要清楚,本文中智能手机的特征的任何公开内容可以对应于智能手表的特征的公开内容,和/或反之亦然,除非另外指出,假设技术能实现的话。还要注意,虽然图2A、图2B和图3的实施例是根据远程装置是多用途智能便携式装置呈现的,但是在一些实施例中,远程装置是专用于实现本文中详述的教导的装置。还要注意,如下文将详述的,在一些实施例中,前述装置中的一个或多个或全部可在给定系统中同时使用和/或用作系统的另一部件的替代品。
要清楚,在示例性实施例中,本文中详述的教导可以全部或部分地由被配置成执行本文中详述的教导的多用途智能便携式装置执行。在一些示例性实施例中,存在多用途智能便携式装置,诸如上文在图2A、图2B和图3中描述的那些,其包括互动显示屏,所述互动显示屏可以是自2017年7月4日起可商购获得的AppleTM(例如,iPhone 6TM)或三星(例如,Galaxy S7TM)的智能手机上的触摸屏。在示例性实施例中,多用途智能便携式装置是身体穿戴装置,例如仅作为实例而不作为限制,关于图3的实施例是智能手表,其包括底座。在一些实施例中,此底座可以是塑料和/或金属底座,其支撑这些示例性部件,诸如:可在其上呈现图像(例如,文本、图片、图形等)的LCD屏幕,其中,在一些实施例中,LCD屏幕可以是触摸屏;一个或多个麦克风(例如,1、2、3、4、5、6、7、8、9、10或更多个麦克风);一个或多个扬声器(例如,1、2、3、4、5个扬声器)和/或一个或多个振动器,包括致动器和其配重(如果使用);中央处理单元(CPU),其可以是计算机芯片或计算机处理器等;一个或多个印刷电路板;附接表带的凸耳;RF发射器、RF接收器(例如,Wi-Fi和/或蓝牙发射器/接收器系统)等。注意,在至少一些示例性实施例中,身体穿戴装置241对应于Apple WatchTM系列1或系列2,其自2017年7月4日起可在美国商购获得。在示例性实施例中,身体穿戴装置241对应于Samsung GalaxyGearTMGear 2,其自2017年7月4日起可在美国商购获得。在示例性实施例中,前述底座承载在刚刚详述的三星和/或苹果装置中可得的一个或多个所有部件。注意,在至少一些示例性实施例中,底座是单个整体式部件,而在其它实施例中,底座是相对于彼此集成的部件的组件。要注意,身体穿戴装置可包括两个或更多个底座。要注意,在多用途智能便携式装置为身体穿戴装置的情况下,互动显示屏可对应于前述智能手表的显示屏。
在此实施例的至少一些示例性实施例中,多用途智能便携式装置还包括无线通信套件。在示例性实施例中,无线通信套件包括FM/RF接收器和/或发射器,或IR接收器和/或发射器等。在示例性实施例中,无线通信套件基于蓝牙技术,并且包括兼容蓝牙的装置,例如蓝牙收发器。因此,在一些示例性实施例中,多用途智能便携式装置被配置成与听力假体进行信号通信(RF通信,但在一些其它实施例中,IR和/或有线通信),以及执行从其接收信号或向其发送信号中的至少一者。
在至少一些示例性实施例中,多用途智能便携式装置还包括操作系统,该操作系统可以包括处理器和存储器,以及软件和/或固件和/或硬件以执行本文中详述的一个或多个教导。
在至少一些示例性实施例中,多用途智能便携式装置(其可以是或可以不是智能手机,并且因此可以具有或可以不具有便携式蜂窝电话套件)被配置成分析指示所捕获声音的信号输入并提供关于所捕获声音的输出。在示例性实施例中,输入是所捕获的声音,所捕获的声音可以通过多用途智能便携式装置的麦克风或与多用途智能便携式装置进行有线通信的其他麦克风捕获。在示例性实施例中,输入是来自假体的信号,该信号基于由假体的麦克风捕获的环境声音。仅作为实例而不作为限制,BTE装置的麦克风126可捕获声音,并且BTE装置可经由RF发射器/收发器输出无线信号,所述无线信号将由多用途智能便携式装置的RF接收器接收,所述信号对应于指示所捕获的声音的信号输入。对此的结论是,在示例性实施例中,一种组件,包括装置,所述装置被配置成接收指示所捕获的感觉刺激现象的输入,并提供关于所捕获的感觉刺激现象的输出,其增强来自未来感觉刺激现象的人的未来感觉输入,此组件对应于智能手机、具有被编程为执行本文中详述的教导的计算机可读介质的个人计算机、专用消费电子产品等。另外,此组件的一些实施例包括麦克风部件,所述麦克风部件与听力假体无线通信/被配置成与听力假体进行这种通信。实际上,在示例性实施例中,所述组件是被改造为或以其它方式具有诸如与本文中关于远离听力假体的装置(例如,仅作为实例而不作为限制,图5或图6的装置)详述的那些一样的扩展能力。麦克风可以是被配置成接收指示所捕获的感觉刺激现象的输入的装置,并且在其他实施例中,可以是与无线接收器/收发器组合的专用远程麦克风,其接收来自听力假体的指示所捕获的感觉刺激现象的信号。该组件可包括处理器,该处理器分析该输入,无论该输入是来自麦克风还是来自假体(或在一些实施例中,来自两者),并且形成关于所捕获的感觉刺激现象的输出,该输出基于分析来增强来自未来感觉刺激现象的人的未来感觉输入。
在示例性实施例中,多用途智能便携式装置包括前述装置和系统,并且另外被配置成执行本文中详述的方法以便分析指示所捕获的声音的信号输入。
在一些情况下,将在本文中使用短语“有害地影响另一声音的听力感知”或其变型。这意味着声音使得实际上很难听到另一声音。这与环境中存在的一般声音相反。举例来说,风噪声可能对另一声音造成有害影响,但仅在一些情况下,例如取决于风吹得有多快。例如,每小时一千米的微风可能对另一声音没有有害影响,而22.7千米的微风几乎肯定将对另一声音造成有害影响。
简而言之,如下文将看到的,在一些实施例中,多用途智能便携式装置被配置成与听力假体(例如,上文详述的假体100)进行信号通信,并且关于所捕获的声音的输出是到听力假体以调整其设置,通知接受者调整其设置,或通知接受者装置所位于的周围环境的特征中的至少一者的信号。就这一点而言,在示例性实施例中,对话的一方(此对话的情景可在下文描述)可以将控制命令输入到多用途智能便携式装置中,其将调整听力假体的设置,例如,调整音量或增益等,和/或基于分析,多用途智能便携式装置可以被配置成自动地输出所述信号,从而得调整假体的设置。更进一步,多用途装置可被配置成通知接受者调整其设置,其中接受者可通过其输入套件手动地调整听力假体,例如通过按压按钮或转动BTE装置上的旋钮。更进一步,所述装置可被配置成通知接受者装置所位于的周围环境的特征,例如向接受者指示周围环境含有对感兴趣声音(例如,与接受者交谈的人的声音)有害的背景噪声。
在所述装置被配置成控制听力假体的示例性实施例中,在至少一些示例性实施例中,所述装置被配置成在显示屏上显示控制设置以基于对信号的分析控制听力假体,使得接受者可基于输出调整听力假体。仅作为实例而不作为限制,在分析确定了所接收的信号中存在过多背景噪声的示例性实施例中,听力假体在显示屏上自动呈现用于波束成形的控件。接受者可使用其手指输入所需的控制输入以调整波束成形,使得听力假体的麦克风(例如,BTE装置上的麦克风)对扬声器波束成形/退出全向服务。在示例性实施例中,仅作为实例而不作为限制,如果分析确定了说话者说话声音不够大,在示例性实施例中,多用途智能便携式装置可以自动调出音量控制,并将其显示在屏幕上,使得接受者可以增加假体的音量。还要注意,在此情景的示例性实施例中,可以出现的音量控制可以是限于某些频率,例如与语音相关联的频率的音量控制。
要简要指出的是,在一些示例性实施例中,多用途智能便携式装置可利用学习算法,所述学习算法可随时间推移学习哪种类型的声音或哪些类型的语音或哪些动作或另外哪些情景对其他声音造成有害影响。在一些实施例中,这是通过使用机器学习算法进行的,可使用远程处理器执行所述机器学习算法,可通过互联网周期性地访问所述远程处理器以便更新所述算法和智能便携式装置,而在其他实施例中,这可以通过接受者的简单输入进行,所述简单输入向多用途智能便携式装置指示应当忽略或以其它方式不看重给定情景。就后者而言,由于发生了许多情况,其中,特定的情景导致装置产生输出,然后接受者随后输入应当忽略所述情景或另外不采取任何动作,因此多用途智能便携式装置将学会此情景不应导致向对话的一个或多个说话者进行指示。相反地,反之亦然:在示例性实施例中,多用途智能便携式装置可以学会给定情景是应导致所述装置提供指示的情景,而在学习之前,在发生给定情景时没有提供任何指示。
要简单地指出的是,在一些实施例中,智能手表代表任何身体穿戴装置,其可以具有关于智能手表的全部或部分的实用性。因此,在示例性实施例中,本文公开的任何智能手表对应于另一种类型的身体穿戴装置的公开内容,该另一种类型的身体穿戴装置诸如颈部上的挂件、被构造成戴在人的手指上的戒指等。在示例性实施例中,智能手表的底座安装在颈链中,其中不存在腕带。在实施例中,底座是改造底座,以在触觉上和/或视觉上与戴在颈部的挂件等一致。
在示例性实施例中,系统210/211被配置成使得便携式电子装置能够在便携式电子装置处复制听力假体100的给定输入装置(例如,输入装置是单独地或与另一输入装置(诸如,LED)结合的按钮(诸如,下推按钮、旋钮)、热敏垫等)的功能。仅作为实例而不作为限制,输入装置可以是BTE装置246上的旋钮,其由接受者调整以增加或减少由听力假体100唤起的所产生听力感知的所感知音量。此旋钮的功能因此是控制或至少调整由接受者感知的所感知音量或与假体的输出相关的音量(在一些实施例中,关于装置和/或接受者可量化和/或可限制的任何音量现象可以是调整音量)。在示例性实施例中,听力假体被配置成使得便携式电子装置具有此功能。更进一步,在示例性实施例中,例如导致听力假体的处理器打开和关闭、改变听力假体的映射和/或启动和/或停止流传输的那些功能的功能存在于便携式电子装置中。也就是说,在一些实施例中,系统210/211没有被配置成使得便携式电子装置能够复制听力假体100的给定输入装置的功能,如上文所示。
在示例性实施例中,听力假体100通过例如BTE 126或离耳声音处理器上的麦克风,或者通过与其进行信号通信的远程麦克风捕获声音,并且在该实施例中将数据传输到远程装置240,所述数据在此示例性实施例中可以对应于通过链路230的麦克风的原始输出信号。离耳(OTE)声音处理器从耳道在9点钟位置与12点钟位置之间保持抵靠接受者的皮肤(例如,在10岁以上的人中,大约在10、10:30或11点钟位置,与其距离大于2英寸且小于5英寸,满足此类人的至少50百分比)。这由图4在功能上示出,图4描绘了黑盒格式的听力假体100和远程装置240/241,其中,输入3144对应于到假体100的麦克风的输入。
远程装置240/241通过链路230(如果存在的话)接收信号,并以实用方式处理数据,下面将描述其中的一些细节。然而,简单来说,在示例性实施例中,远程装置处理数据以评估由假体100的麦克风捕获的声音,并且自动确定是否应当对假体或者关于可增强递送给接受者的听力感知的更一般特征做出改变。在一些实施例中,远程装置被配置成指示应该做出哪些改变。在示例性实施例中,做出此改变,且听力假体100因此以相比没有做出此改变的情况更具实用价值的方式通过对接受者的组织的输出3246唤起听力感知(其中在听力假体100为耳蜗植入物的情况下,输出3246对应于电刺激,而在骨传导装置等的情况下,输出3246对应于振动)。
鉴于以上内容,在示例性实施例中,有一种系统,例如系统210/211。然而,在示例性实施例中,所述系统也可以限于假体100或远程装置240/241中的一个或另一个。
图5以黑盒格式描绘了盒542,所述盒可对应于假体100或远程装置240/241。也就是说,盒542也可以在功能上表示两个部件,适当时分叉。在示例性实施例中,所述系统包括声音信号输入套件,仅作为实例而不作为限制,该声音信号输入套件可以包括麦克风以及在一些实施例中假体100的相关电路,仅作为实例而不作为限制,在示例性实施例中,所述相关电路可以包括放大器等,并且在一些情况下,还包括模拟和/或数字信号处理器。而且,在一些实施例中,声音信号输入可以对应于来自BTE上的麦克风126和/或远程装置240/241的麦克风的输入。在图5中,声音输入套件通过元件543以黑盒格式表示,其中箭头544在功能上表示穿过周围环境到声音输入套件543的声音输入。在示例性实施例中,声音输入套件543包括麦克风。也就是说,在感觉刺激诱发现象是诱发视觉感知的现象(例如,现象是光)的实施例中,元件543是包括摄像头的光输入套件。要清楚,本文中麦克风等的任何公开内容对应于感觉刺激诱发现象捕获装置是另一类装置(例如,摄像头)或任何其它现象捕获装置(例如,捕获香味等的装置)的替代性实施例的公开内容。还要注意,本文中关于听力假体的任何公开内容对应于假体是另一类型的感觉假体(例如,视觉假体、触觉诱发假体、气味诱发假体等)的替代性实施例的公开内容。因此,在一些示例性实施例中,关于箭头544,箭头544表示诱发接受者中的感觉刺激的任何现象。此外,虽然本文中详述的教导大体上专注于对话和声音,但要理解,本文中的任何此类公开内容对应于在替代性实施例中的公开内容,在所述替代性实施例中,对话替代地是只由视觉假体辅助的接受者能够看到的人的聚集,并且本文中详述的教导用来最终增强视觉假体的接受者的视觉感知。因此,装置543的(一个或多个)下游装置被配置成评估该输入(无论其相关形式如何),或以其它方式与该输入一同作用,并提供伴随利用本文中详述的教导的输出以增强视觉体验。
所述系统还可包括处理器,其由图5中的处理器545在功能上示出。在示例性实施例中,处理器545被配置成:分析声音信号输入套件的输出,所述输出基于由声音信号输入套件543接收的信号,由从盒543发出的指向图5中右方的箭头548表示;并且输出使所述系统输出指示与关于听力假体的接受者的数据有关的指令的信号,所述输出由箭头546表示(在下面将更加详细地描述与关于听力假体的接受者的数据有关的指令)。在示例性实施例中,输出546提供给假体和/或远程装置中的任一者或两者。在示例性实施例中,如图6中所见,装置中的一个还包括输出套件549,该输出套件549输出信号541。在示例性实施例中,输出套件549是在其上呈现指示指令的文本的显示器。在示例性实施例中,输出套件549是与永久性文本相关联的LED,该文本对应于指令的文本,其中LED的照亮或者替代地取消引起在特定装置的可视地点的人的注意,在特定装置的可视地点的人可阅读与LED相关联的特定文本。也就是说,在示例性实施例中,LED仅仅是LED,其含义事先已为接收者所知。在示例性实施例中,LED可以将颜色从例如红色变成蓝色至绿色,每种不同的颜色代表不同的指令。
应注意,在至少一些示例性实施例中,前述显示器或前述指示器可与远程麦克风或任何其它远程感觉刺激诱发现象捕获装置(例如,用于视觉假体的远程摄像头等)共同定位。例如,在至少一些示例性实施例中,可以为上述LED提供远程麦克风。这样,提供组合装置,其提供远程感觉刺激诱发现象捕获以及本文中详述的指示。本文中关于将信息提供至对话的一方或多方的装置或系统的任何公开内容也对应于与捕获感觉刺激诱发现象的装置组合的装置的公开内容,且反之亦然,除非另外指明或另外本领域不能实现。
简要指出的是,在至少一些示例性实施例中,箭头548可表示听力假体与远程便携式装置之间的链接。也就是说,图5的示意图以功能术语呈现,以对应于图5中所描绘的全部对应于图2A和图2B的两个装置中的仅一个装置的情况以及与图5相关联的部件分布在这两个装置之间的实施例。
在示例性实施例中,处理器545可以是由软件或固件等支持的标准微处理器,其被编程为评估从声音输入套件543接收的信号。仅作为实例而不作为限制,在示例性实施例中,微处理器可以访问查找表等,举例来说,所述查找表具有与给定声音信号的频谱分析相关联的数据,并且可以比较输入信号的特征,并且将这些特征与查找表中的特征进行比较,并通过查找表中与这些特征相关联的有关数据,对输入信号做出确定,并因此做出与声音544有关的确定。在示例性实施例中,处理器是声音分析器的处理器。声音分析器可以基于FFT或基于另一操作原理。声音分析器可以是智能手机等上可得的标准声音分析器。声音分析器可以是标准音频分析器。处理器可以是声波分析器的一部分。此外,应特别指出的是,虽然图5的实施例呈现了处理器545为听力假体的装置中的一个或便携式电子装置的一部分,但应注意,在一些示例性实施例中,处理器可在这两种装置的远处。仅作为实例而不作为限制,在示例性实施例中,系统210和/或211的装置中的一个或两个可以经由蓝牙技术或其它RF信号通信系统与远程服务器进行信号通信,所述远程服务器经由例如互联网等链接到远程处理器。通过互联网将信号548提供到此远程处理器,在此对信号进行分析,并且接着通过互联网可以将指示与关于听力假体的接受者的数据有关的指令的信号提供给讨论的装置,使得装置可输出该信号。还要注意,在示例性实施例中,从远程处理器接收的信息可以仅仅是分析的结果,其中处理器可以分析此分析的结果,并且识别指令并输出此指令。要注意,如本文中所使用的术语“处理器”可对应于链接在一起的多个过程以及单个处理器。
鉴于以上内容,可以看出,在示例性实施例中,有一种系统,其包括信号输入、处理器和信号输出。在该示例性实施例中,处理器被配置成基于信号输入的输入生成与关于感觉假体的接受者的数据有关的指令,并且信号输出被配置成输出指示所述指令的数据。指示所述指令的数据可以是指示本文中详述的指令中的任一个的数据。此实施例可以被修改或扩展或以其他方式改变,以包括本文中详述的任何教导和/或其变型。在这些实施例的一些中,所述处理器被配置成分析与接受者有关的数据,并且确定说话的某个人是否以增强感觉假体的接受者的感觉感知的方式提供感觉输入。在这些实施例的一些中,所述系统被配置成将所述指令提供至除了所述感觉假体的接受者之外的某个人,这个人是提供由所述系统捕获的感觉输入的一群人中的一部分。
还考虑上文并考虑图4,可以看出,在示例性实施例中,一种装置,包括假体(例如100),其被配置成与也包括指示器的远程感觉诱发现象捕获装置(例如,240/241)一起操作,其中,假体被配置成将与由假体和/或远程装置捕获的所捕获感觉刺激诱发现象有关的输入提供至远程装置,使得远程装置通过指示器提供与该现象有关的指示。如下文将详细描述的,在假体是听力假体的一些实施例中,远程装置是与听力假体一起使用的远程麦克风设备,与智能手机或智能手表相对。远程麦克风具有扩展能力,以执行刚刚提到的功能特征。在一些实施例中,可以使用能够使指示器增强来自未来感觉刺激现象的未来感觉输入的任何布置,所述指示器被配置成提供关于所捕获的感觉刺激现象的指示,不管所述布置是以远程麦克风、智能手机还是具有该功能(在一些实施例中,只具有本文中的功能中的一个或多个或全部,没有更多功能)的专用消费电子产品的形式等。因此,一些实施例包括与假体相接的装置,该假体被配置成分析所捕获的现象并(例如,经由假体的机载处理器)形成远程装置的输入,其中输入是命令指示器指示指示器的视距内的一个或多个人应当采取影响来自未来感觉刺激现象的未来感觉输入的动作。
在示例性实施例中,所述系统包括语音分析器,例如仅作为实例而不作为限制,被配置成执行光谱测量和/或光谱分析测量和/或持续时间测量和/或基频测量的语音分析器。仅作为实例而不作为限制,这可对应于计算机的处理器,其被配置成执行SIL LanguageTechnology Speech AnalyzerTM(SIL语言技术语音分析仪TM)程序。就这一点而言,程序可以被加载到系统的存储器上,并且处理器可以被配置成访问该程序以分析或另外评估语音。在替代性实施例中,语音分析器可以得自Rose Medical,该程序设计可以被加载到系统的存储器中。
在示例性实施例中,所述系统包括音频分析器,其可以分析以下参数中的一个或多个:谐波、噪声、增益、水平、互调失真、频率响应、信号的相对相位等。要注意的是,上述声音分析器和/或语音分析器还可分析前述参数中的一个或多个。在一些实施例中,音频分析器被配置成形成时域信息,从而识别随时间变化的瞬时幅值。在一些实施例中,音频分析器被配置成测量互调失真和/或相位。在示例性实施例中,音频分析器被配置成测量信噪比和/或总谐波失真加噪声。
要清楚,在一些示例性实施例中,处理器被配置成访问软件、固件和/或硬件,所述软件、固件和/或硬件被“编程”或以其它方式被配置成执行前述分析中的一个或多个。仅作为实例而不作为限制,所述系统可包括呈电路形式的硬件,所述电路被配置成使得能够实现上文和/或下文详述的分析,此电路的输出由处理器接收,使得处理器可利用该输出执行本文中详述的教导。在一些实施例中,处理器利用模拟电路和/或数字信号处理和/或FFT。在示例性实施例中,分析器引擎被配置成提供AC/DC电压表的值(峰值和RMS)的高精度实施,分析器引擎包括高通和/或低通和/或加权滤波器,分析器引擎可包括带通和/或陷波滤波器和/或频率计数器,所有这些都被布置成对进入信号执行分析以便评估该信号并识别其某些特性,该特性与预定情景或另外预定指令和/或预定指示相关,这将在下文更详细地描述。还要注意,在基于数字化的系统中,所述系统被配置成利用基于FFT的计算实施信号分析,且在此方面,处理器被配置成执行基于FFT的计算。
注意,以上指令是机器告诉人执行某些动作的指令,与单纯的建议相反,后者是指示(其是指令的一种)。
要注意,虽然已根据对应于假体、智能手机或智能手表中的一者或两者或全部的黑盒542描述了上述的实施例,但是要注意,黑盒542可对应于另一类装置,例如,仅作为实例而不作为限制,局限于并仅专用于执行本文中详述的方法和/或以其它方式实现本文中详述的功能且不实现别的功能的装置。仅作为实例而不作为限制,盒542可以是金属或塑料盒,其支撑麦克风和/或RF接收器和/或线路输入插孔(例如,其可以被钩到麦克风),其中包括前述的处理器,并包括被配置成输出前述指令的输出套件,该输出可以对应于扬声器,可以对应于具有与之相关联的永久性文本的LCD、LED,可以对应于输出插孔,其可以钩到扬声器或电视等。
上述系统可对于向对话的一个或多个成员提供指示具有实用价值,为对话的一部分的某个人可以不同方式说话以增强穿戴听力假体的人的听力感知。就这一点而言,前述的“与关于听力假体的接受者的数据有关的指令”使得与听力假体的接受者有关的数据是接受者能够用假体听到声音的程度,因此,指令可以是对于对话的一方以可改善听力的特定方式起作用的指令,因此是与数据有关的指令。
在示例性实施例中,处理器被配置成分析从声音信号输入套件接收的信号,并且确定说话的人是否以增强听力假体的接受者的听力感知的方式说话。仅作为实例而不作为限制,在示例性实施例中,处理器可评估与时间测量相关的输出的音量(振幅),并据此推断说话者经常讲话的方式不像其他情况那样实用。因此,基于此评估,处理器可确定说话者是否正朝着麦克风说话,并且因此确定说话者是否以增强具有听力假体的接受者的听力感知的方式说话。注意,确定说话者是否以增强听力感知的方式说话包括确定说话者正在这样说话,确定说话者并不这样说话和/或确定此两者。也就是说,确定说话者是否正朝着麦克风说话包括确定说话者是否正朝着麦克风说话,确定说话者没有朝着麦克风说话和/或确定此两者。
可以在说话者正在这样说话并且处理器确定说话者并不这样说话之间存在基线的情况下确定说话者是否以增强听力感知的方式说话。可以在说话者不这样说话并且处理器确定说话者这样说话之间存在基线的情况下确定说话者是否以增强听力感知的方式说话。与先前段落中的教导一致,确定说话者是否以增强听力感知的方式说话可以两种方式进行。
在示例性实施例中,所述系统被配置成使得如果说话者以增强接受者的听力感知的方式说话,则可以输出或可以不输出第二信号。仅作为实例而不作为限制,如果系统的基线是所述系统仅在说话者正以增强听力感知的方式说话的情况下提供指令,这是第二信号将被输出的唯一时间,该输出可导致所述系统向说话者输出指令以继续以其一直说话的方式说话(例如,绿色LED将被点亮)。在具有此类基线的此类系统中,如果说话者不以增强听力感知的方式说话(例如,绿色LED将不会被点亮),那么将不会输出第二信号。相反地,如果系统的基线是所述系统仅在说话者不以增强听力感知的方式说话的情况下(这包括说话者可以与其正在说话的方式不同的方式说话,所述不同的方式相对于说话者当前说话的方式增强听力感知的情景)提供指令,则将会输出第二信号,并且这可能导致系统将与其说话方式不同的方式说话的指令输出到说话者(例如,红色LED将会被点亮)。在具有此类基线的此类系统中,如果说话者以增强听力感知的方式说话(例如,红色LED将不会被点亮),那么将不会输出第二信号。也就是说,在不存在真实基线但系统在两个场景中输出指令的示例性实施例中,可输出第二信号,导致系统提供指令以保持相同方式说话(例如,绿色LED被点亮),并且随后第二信号将被输出,导致所述系统将以不同方式说话的指令提供至说话者(例如,红色LED被点亮)。
由处理器基于第一信号分析的确定说话的人是否以增强接受者的听力感知的方式说话的此类情景可包括使用相对分析,例如分析说话者是否可以和/或不可以更大声或更轻柔、更缓慢或更快速、更深沉(Darth Vader)或不太深沉等地说话。
注意,在一些实施例中,上文描述的系统可以对于向对话的一个或多个成员提供以下指示具有实用价值:太多的说话者同时说话和/或太多太多的说话者密集地说话,说话者以彼此在时间上紧密接近的方式说话。这可以对应于这种情景,相对于一个或多个说话者不与一个或多个其它说话者同时说话和/或一个或多个说话者不以与一个或多个其它说话者在时间上紧密接近的方式说话的情况,接受者管理或以其它方式理解由假体捕获的声音的含义更加困难。在示例性实施例中,所述系统可以被配置成提供输出,所述输出指示太多人以彼此在时间上紧密接近的方式说话的指示。所述指示可以是这种情况的一般指示,和/或可以是一群说话者中的一个或多个特定说话者正在引起“问题”的指示。在示例性实施例中,所述系统可以向一群说话者或一个或多个个别说话者输出指令,所述一个或多个个别说话者总计总数小于所有个别说话者,以避免以与其它说话者在时间上太紧密接近的方式说话。
注意,在示例性实施例中,可以使用处理器程序执行关于说话的这个人是否是具有听力假体的人的上述识别,以接收上文详述的各种数据并分析该数据以做出识别。可以使用if-then-else算法进行识别。
在示例性实施例中,所述系统被配置成向听力假体的接受者提供指令。仅作为实例而不作为限制,所述系统可以向接受者提供更大声或更轻柔、更缓慢或更快速、更深沉或较不深沉等地说话的指令。这些指令可以是对接受者的文本指令,例如,在系统的LCD上呈现的文本,这些指令可以是基于符号的(向上箭头指示更大声地说话,向下箭头指示更轻柔地说话,向左箭头指示更缓慢,向右箭头指示更快速等),这些指令可以是光/文本相关的,或者可以仅仅是类似相关联的,其中,在使用系统之前,接受者理解某些光的含义。仅作为实例而不作为限制,可以向系统提供指令手册,其中接受者阅读指令手册,并记忆三种或四种或五种或六种不同的LED颜色和/或其位置的含义等,并且因此当一种光颜色和/或光位置被照亮时,这将对接受者具有意义。接受者可能是唯一了解系统的输出的人,这种情况是系统被配置成向听力假体的接受者提供指令的示例性实施例。
替代性地和/或除此之外,系统被配置成向除了听力假体的接受者之外的对话的一部分的人员提供指令。就这一点而言,可以使用上文的前述方式中的任何一种或全部以提供指令。注意,在一些示例性实施例中,所述系统被配置成仅向非接受者提供指令,而在其他实施例中,所述系统被配置成仅向接受者提供指令,而在其他实施例中,所述系统被配置成向接受者和非接受者都提供指令。因为本文中详述的系统的一些实施例被配置成仅向非接受者提供指令,所以所述系统可被配置成识别说话的人是否是没有听力假体的人。在示例性实施例中,这可以通过上文关于所述系统被配置成识别说话的人是否是具有听力假体的人的实施例详述的前述方式中的一个或多个来完成。注意,在至少一些示例性实施例中,所述系统可识别说话的人是否是具有听力假体的人以及说话的人是否是没有听力假体的人这两者。
对于确定说话者是否是具有听力假的说话者具有实用价值。在示例性实施例中,所述系统可以被配置成仅基于听力假体的语音来形成指令,所述指令可以明确地仅针对接受者。仅作为实例而不作为限制,在示例性实施例中,所述系统可以被配置成离散系统,其仅向接受者提供指令,所述指令以对对话中的其它说话者透明或另外接受者的对话中的说话者未观察到/不可观察/不可察觉的方式提供。就这一点而言,在示例性实施例中,所述系统可以使得所述系统被配置成向接受者输出触觉和/或听觉指示,所述触觉和/或听觉指示只可能被其他说话者注意到或者另外可能难以被其他说话者注意。仅作为实例而不作为限制,例如在所述系统包括BTE装置的情况下,BTE装置可包括会振动的振动装置,该振动被传递到接受者的皮肤,从而向接受者提供接受者应当以不同方式说话另外以不同方式做事的指令。
还要注意,此触觉系统可在智能手机中实现。仅作为实例而不作为限制,在示例性使用情景中,接受者拿着智能手机,所述智能手机包括图5的部件中的一个或多个,并且智能手机振动器可振动,并且因为接受者正拿着智能手机,所以接受者将感测到这些振动,而可能其它人都感测不到。
在示例性实施例中,例如,在所述系统被配置成诱发听觉指示的情况下,假体可以被配置成在接受者中自动地诱发指示指令的听力感知,所述指令例如更大声说话或更缓慢说话等。取决于听力假体的类型,此指令可能无法被其它接受者听到,例如仅作为实例而不作为限制,在利用耳蜗植入物诱发听力感知的情况下。
仍然关于该系统被配置成确定谁是说话者的实施例,在所述系统被配置成确定说话者是除了听力假体的接受者之外的说话者的示例性实施例中,所述系统可以被配置成仅基于非接受者的语音提供指令。在示例性实施例中,所述系统可以在BTE装置中实现,该BTE装置具有围绕接受者的耳部的前面延伸的耳钩。在示例性实施例中,BTE装置可以包括一个或多个LED,在一些实施例中,所述LED可改变不同的颜色。在示例性实施例中,在对话期间,可以不同颜色照亮LED和/或可以照亮不同LED,从而向非接受者说话者提供指令。因为说话者在说话时通常会看着对方的脸,所以说话者能够看到接受者的耳钩,并且因此能够以相对不分心的方式看到这些视觉线索。就这一点而言,在示例性实施例中,接受者可能不知道假体正向说话者提供指令,诸如因为LED不在接收者的视场内。这可关于避免接受者的自我意识具有实用价值。在示例性实施例中,在对话开始时,接受者可向非接受者说话者解释各种指示器的含义,因此非接受者说话者可以在对话期间获得这些线索。这对于人频繁地与相同人说话的情景可以具有实用价值,这在后工业化世界的许多情景中都会发生。就这一点而言,至少有一些人将会随着时间推移至少基于重复学习指示器的含义,并且将能够更好地与接受者交谈。
如上所述,在一些实施例中,所述系统可以被配置成分析所接收的信号以形成与麦克风放置有关的数据。在一些实施例中,正用于捕获声音的麦克风是听力假体上的麦克风,诸如,BTE装置上的麦克风126。在一些实施例中,正用于捕获声音的麦克风是远程麦克风。在一些情况下,麦克风可以是智能手机的麦克风。在其他情况下,麦克风是与听力假体无线通信(例如,RF无线通信)的专用远程麦克风。在一些情况下,所述系统被配置成使得声音处理器可依赖于来自多个麦克风,例如本文中详述的任何两个或更多个麦克风的输入。在示例性实施例中,系统的声音处理器可以比较同时来自多个不同来源的声音输入,并且基于确定一个信号比其它信号具有更多实用价值而利用前者和/或利用两个信号来创建具有来自信号的最佳特征的混合信号(例如,针对某些频率利用一个信号并针对其它频率利用其它信号)。两个处理器可能依赖同时来自多个不同来源的声音输入之间的比较。在示例性实施例中,所述系统可以被配置成使得处理器处理基于与麦克风放置有关的统计数据的算法,并且处理器可以利用这些算法基于所接收的信号来确定麦克风可以被定向或以其他方式放置在不同的位置以改善接受者的听力感知。在一些情况下,确定接受者应将远程麦克风放置得更靠近说话者和/或应朝说话者和/或远离接受者旋转麦克风。
鉴于以上内容,在示例性实施例中,所述系统被配置成分析所接收的信号以形成与至少麦克风放置有关的数据,并且输出信号导致系统提供麦克风的指示。该指示可以对应于上文详述的经修改以指示与麦克风放置和/或麦克风取向有关的指令的任何指示。可利用不同颜色的LED,可以利用箭头指示要采取的动作/应该采取的动作。在一些实施例中,利用假体向接受者提供音频信号。在至少一些示例性实施例中,这些指令呈现在智能手机和/或智能手表的屏幕上。关于一些此类实施例,与上文一致,可以看出,系统可以包括听力假体和智能装置,所述智能装置包括远离听力假体的互动显示屏。所述系统可以被配置成在其上显示指令。也就是说,在一些实施例中,所述系统还被配置成在交互显示屏上显示听力假体的一个或多个控件。虽然一些实施例不包括此类功能,但在一些其他实施例中,智能装置被配置成使得接受者能够在其中输入控件以控制听力假体。仅作为实例而不作为限制,在示例性实施例中,智能手机的触摸屏可以包括用于音量控制、增益控制、噪声消除系统控制等的图形。
鉴于以上内容,可以看出,在示例性实施例中,一种便携式电子装置,诸如智能手机、智能手表或扩展式远程麦克风设备,或专用消费电子装置,包括视觉指示器装置和无线通信装置,其中便携式电子装置被配置成以交互格式显示指令,该指令针对在视觉指示器的视距中的人,以采取行动来增强感觉假体的接受者的未来感觉输入。这种交互格式可以是接受者从其假体和/或通过其智能手机或智能手表等或能够实现本文中的教导的任何其它方式向其提供输入的结果。这种交互式格式可以是对话的另一成员(例如,通过其智能手机/手表等)提供此类输入的结果。
还要注意,在至少一些示例性实施例中,可由系统提供指示接受者应使用一个或多个附加麦克风或另外不使用当前正使用的一个或多个麦克风,以便增强接受者的听力感知。
鉴于以上内容,要理解,在至少一些示例性实施例中,所述系统被配置成向接受者提供关于如何指向麦克风/应当以哪种方式指向麦克风和/或将麦克风放置在何处的指令,所有这些都基于分析。对于这种情况可能具有实用价值,因为系统肯定地会告诉接受者该做什么。同样,在一些实施例中,所述系统可以被配置成自动地唤起听力感知,所述听力感知不能被除了提供此类指令的接受者之外的任何其他人听到。
还要注意,在一些实施例中,指令可以针对接受者,以调整给定麦克风的灵敏度和/或应使用那一个麦克风而不是另一个。例如,在示例性实施例中,所述系统基于所述分析可以确定对于是假体的一部分的麦克风,例如,BTE装置上的麦克风,远程麦克风不提供同样多的实用价值。所述系统可以指示接受者使用哪个麦克风。另外,在至少一些示例性实施例中,所述系统可以自动进行调整,然后提示接受者或使用者或者与调整相关联或以其他方式受调整影响的其他方确认这些变化。也就是说,在实施例中,所述系统可提示“警告”其正计划对系统执行更改或另外调整,除非提供覆盖。
鉴于以上内容,可以理解,至少一些示例性实施例包括方法。为此目的,图6呈现了根据示例性实施例的方法-方法600的示例性流程图。方法600包括方法动作610,其包括在两个或更多个人之间的对话期间捕获声音,其中一个人正使用听力假体以至少增强听力。仅作为实例而不作为限制,听力假体可为耳蜗植入物,或中耳植入物或骨传导植入装置,或在一些实施例中可为常规声学助听器。方法600还包括方法动作620,其包括处理所捕获的声音,以识别对对话中的参与者的指示,使得使用听力假体的人能够更好地听到。此类动作可对应于上文中详述的任何动作或可以使得使用听力假体的人能够更好地听到的任何其它动作。这些指示可以预先编程到处理器或上文详述的系统或任何其他装置中。所述指示可存在于系统的存储器中存储的查找表上,其中,前述的处理器被配置成访问此查找表。在示例性实施例中,处理器将所捕获的声音的一个或多个特征与查找表中的一个或多个数据点进行比较,并且如果这两者之间存在相关性,则选择此数据点的指示器。方法600还包括方法动作630,该方法动作包括向两个或更多个人中的一个或多个输出指示。向两个或更多个人中的一个或多个输出指示的动作可对应于上文中详述的任何输出或对于实施本文中详述的教导可具有实用价值的任何其它方式。
与上文详述的教导一致,可执行方法行动630,使得指示是对除了使用听力假体的人之外的对话参与者的指令。仍然与上文详述的教导一致,可执行动作630以使得指示是对使用听力假体的接受者的指示。在一些情况下,执行方法动作630以排除对话的一方或多方,例如仅作为实例而不作为限制,使得除了接受者之外的人不接收指令或者使得除了接受者之外的人是唯一接收指令的人。更进一步地,在指令被提供给除了接受者之外的人的实施例中,例如,通过只照亮能够被一些人而不被其它人看到的LED,或者通过向仅一些人的智能手机提供文本消息等,可将不是接受者的一个或多个人从一群非接受者人中排除。
还有,在至少一些示例性实施例中,执行方法动作630,从而向对话的所有成员提供指示。在示例性实施例中,执行方法动作630,使得所有人看到指示,其中,所述指示是视觉指示器。在一些示例性实施例中,以分散对话的一个或多个说话者的注意力和/或不通知对话的一个或多个说话者(例如,仅作为实例而不作为限制,听力假体的接受者或与接受者说话的说话者)的方式执行方法动作630。要清楚,在一些实施例中,向对话的所有方提供指示,而在其它实施例中,仅向其中的一些人(例如,仅说话者、仅具有听力假体的人、仅除了听力假体之外的人,包括所有这些人等)提供所述指示。在一些实施例中,所述指示分散对话的所有方的注意力,而在其他实施例中,所述指示仅分散了一方或多方(例如,仅说话者、仅具有听力假体的人、仅除了听力假体之外的人,包括所有这些人等)的注意力。
注意,方法600的变型在图13中呈现,方法1300包括方法动作1310,所述方法动作包括在两个或更多个人之间的交互期间捕获感觉输入的动作,所述两个或更多个人中的一个人正使用感觉假体以至少增强感觉能力,这与上文的教导一致。方法1300还包括处理所捕获的感觉输入以识别对互动中的一个或多个人的指示,使得使用感觉假体的人能够具有对未来感觉输入的增强的感觉或充分的感觉中的至少一者,如框1320中所见。未来感觉输入可以是产生与方法动作1310相关联的原始感觉输入的同一对话的一部分。方法1300还包括方法动作1330,其包括为一个或多个人输出指示。可根据本文中的任何教导来实施方法1300。
在示例性实施例中,如上所述,方法动作630的指示是指令指示。在示例性实施例中,这可以是对除了使用听力假体的人之外的对话中的参与者的指令。在示例性实施例中,这可以是对除了使用听力假体的人之外的对话中的人以不同方式说话的指令。与上文详述的系统的自动性质保持一致,在此示例性实施例中,该指令不是由利用听力假体的人直接提示的。也就是说,在至少一些示例性实施例中,接受者没有输入该指令的提示。这并不是说,接受者没有激活系统,只是不是直接提示。所有自动系统必须以某种方式或另一种方式由人激活,以便执行自动操作。注意,在至少一些示例性实施例中,对话的任何一方不直接提示该指令。还要注意,在某些其他实施例中,对话的任何一方也不间接提示该指令。
还要注意,在一些替代实施例中,指示器实际上由听力假体的接受者直接提示。在此示例性实施例中,这对于接受者想控制指示但不想(例如,通过说“听不到你说话”或“你能大点声说话吗”)公然地中断对话的情景可具有实用价值。在该示例性实施例中,接受者具有对系统进行控制以基于手动输入输出指示的能力。
在示例性实施例中,所述系统被配置成以便使得接受者能够全部或部分地覆盖所述系统,或者在所有其它均相等时将提供此指示的情景中以其它方式防止提供指示中的一个或多个或全部。在示例性实施例中,本文中详述的任何装置可以设有输入套件,或者另外可以被配置成接收来自接受者的输入,并且被配置成基于所接收的输入,覆盖系统的一个或多个或所有特征,或者以其他方式覆盖系统的一个或多个或所有活动,例如防止指示器中的一个或多个被指示。在示例性实施例中,接受者的智能手机和/或接受者的智能手表可以用作输入套件以用于覆盖目的。因此,在一些实施例中,一种如本文详述的系统,其中其部件中的至少一个(假体、远程装置等)被配置成使假体的接受者能够覆盖和/或调整一个或多个指示。
简而言之,注意,一些实施例包括假体,所述假体被配置成调整与本文中详述的指示器无关的远程装置的功能。作为示例,远程麦克风的特征,或者甚至智能手机或智能手表的特征。
另外,注意,在至少一些示例性实施例中,所述系统的专用装置的远程显示器可以部分地或全部地复制到或另外以修改的方式呈现在智能手机和/或智能手表屏幕上,所述修改的方式仍提供由远程显示器提供的信息中的至少一些。在示例性实施例中,这可以用于控制目的以控制本文中详述的系统和/或子系统的一个或多个或全部。
要清楚,在至少一些示例性实施例中,本文中详述的一些或全部教导涉及使听力假体穿戴者免于必须公然中断或另外插入其有听力困难的对话中的系统和方法。同样,在至少一些示例性实施例中,可以关于在显示器上或以其他方式通过与一个或多个远程麦克风相关联的装置提供信息来实施所述教导。还可以使用可以被操作或另外可以放置在假体的接受者的抓握范围内的任何其他装置,例如智能手机等。另外,注意,任何这样的装置(包括前述的远程麦克风)可以被组合或以其它方式包括可以实现对与系统相关联的装置中的一个或多个进行控制的控制部件,其中,在一些实施例中,所述控制可以使得接受者能够覆盖或以其他方式最小化通过实现本文中详述的教导提供的信息。
在示例性实施例中,对话的所有方都了解关于本文中详述的教导的内容。相反,在另一个示例性实施例中,只有接受者才了解系统正在被使用并且另外知道正在发生之事。在这些实施例中的一个或两个中,本文中详述的教导可为接受者提供反馈。反馈可指示是接受者正遇到问题和/或是装置正引起问题(在每种情况下,装置应当被更改,例如,音量控制应被调整和/或噪声消除系统应被接合或断开等)。
也就是说,可以使用其他离散检测器,例如仅作为实例而不作为限制,接受者只是轻敲或以其他方式触碰其智能手机和/或智能手表的屏幕。仅作为实例而不作为限制,智能手机屏幕与智能手表屏幕可分成两个或四个(或更多个)部分,这些部分可在屏幕上可见或不可见,其中,接受者可以在不看手机的情况下谨慎地轻敲这些部分中的一个,使得智能手机可向系统发送信号以输出指示器,所述指示器将被接受者接收,例如,智能手机可以与BTE装置进行信号通信,并且接受者轻敲的屏幕区域导致LED以特定颜色照亮,说话者知道该指示对其意味着什么。此构思还可延伸到智能手表等。还要注意,在一些情况下,与被轻触的位置相反,可以是轻触的次数控制指示的类型(一次轻触表示更大声说话,并且因此面向说话者的耳钩上的LED亮红色,两次轻触表示更缓慢说话,并且因此面向说话者的耳钩上的LED亮黄色等)。
注意,在一些实施例中,方法动作630使得指示是指令信息,如上文所指出。相反,在一些示例性实施例中,所述指示是非指令信息。仅作为实例而不作为限制,指令信息可以对应于要做某事的肯定命令,而非指令信息可以对应于仅提供与给定情景有关的信息。仅作为实例而不作为限制,所述指示可以是说话者说话声音太低或太快。更进一步,仅作为实例而不作为限制,所述指示可以是麦克风放置未被优化或者另外麦克风可以被移动到更好的位置。例如,所述指示可以是可以将麦克风转动20°以更好地捕获麦克风右边的说话者的语音。如果麦克风左边的说话者也在说话,而说话者可能希望至少与其它说话者同样地听到声音,或者另外以不如左边的说话者清楚的方式说话,则接受者可能希望或可能不希望调整麦克风位置以更好地捕获麦克风右边的说话者的语音,并且因此保证麦克风的定位,使得其相比右边的说话者的语音更好地捕获左边的说话者的语音。
为进一步扩展上文教导中的一些教导,并且提供使用上文教导中的一些的特定实例,要注意,在示例性实施例中,所述系统可利用不同指示器来将语音与麦克风放置相关联。在一些实施例中,可能在完全相同的时间提供三个单独的指令。(注意,在一些实施例中,可同时提供多于三个单独的指令,或者可同时提供两个单独的指令。)在示例性实施例中,文本屏幕可同时提供两个或三个或四个更多的指令。
关于背景噪声,在示例性实施例中,这涉及与关于听力假体的接受者的数据有关的指令。就这一点而言,在示例性实施例中,如果所述系统确定背景噪声干扰假体的声音处理,那么所述系统可提供指示接受者应移动到存在较少背景噪声的区域的指令。指令可以由所述系统提供,指示接受者或其他人应该移除给定噪声,关闭正在产生噪声的装置的电流等。在示例性实施例中,所述系统可以被配置成提供指令,所述指令是应该停用一个或多个麦克风和/或应当调整一个或多个麦克风的灵敏度,和/或应该调整来自一个或多个麦克风的输出放大以适应或以其他方式考虑噪声。更进一步地,在示例性实施例中,所述系统可以被配置成在所述系统确定背景噪声干扰假体的声音处理的情况下自动地停用或以其他方式对一个或多个麦克风进行前述调整中的一个或多个。
注意,关于与涉及听力假体的接受者的数据有关的指令,例如,对假体的无线系统的潜在的电磁干扰,可设想许多其它情景。
因此,在示例性实施例中,方法动作630的指示表明周围环境中的一个或多个特征对使用听力假体的人的最佳听力感知有害。这种指示包括隐式指示,例如可采取某些动作来解决有害情况,即使未具体识别出有害情况。仅作为实例而不作为限制,指示可对应于“降低背景噪声可帮助你听到”的说明。
在一些示例性实施例中,方法动作630的指示表明远离听力假体的声音捕获设备(例如,仅作为实例而不作为限制,远程麦克风,无论其是否是专用远程麦克风,和/或为便携式消费电子产品(例如,智能手表或智能手机)的一部分的远程麦克风)的灵敏度可以被调整和/或另一声音捕获设备可用来改善使用听力假体的人的听力。仅作为实例而不作为限制,关于后者,这可包括指示接受者应当使用与听力假体无线通信或另外可放置成与听力假体无线通信的远程麦克风,而不是使用假体的专用麦克风,诸如BTE装置上的麦克风。在示例性实施例中,再次关于后者,这可以包括命令一方或多方对智能手机或智能手表的麦克风说话的指示,该智能手机或智能手表与听力假体进行信号通信。
关于前者,在接受者使用远离听力假体的声音捕获设备的同时,可提供此类指示。关于以下情景可提供此类指示:接受者正在使用专用远程麦克风,例如,在接受者已经将远程麦克风递给说话者中的一个和/或已经将远程麦克风放置在靠近说话者的桌子上时,使得声音捕获设备可更好地捕获说话者的声音。
与上文详述的至少一些示例性实施例一致,关于所捕获的声音的输出可以是存在有害地影响另一声音的听觉感知的噪声源的指示。仅作为实例而不作为限制,多用途智能便携式装置可配有存储器,所述存储器包括指示不同噪声的声谱的数据,不同噪声是例如仅作为实例而不作为限制,摩托车发动机快速运转、吹叶机、手提钻等,所述声音先前已被识别为可能对另一声音造成有害影响的声音。在示例性实施例中,多用途智能便携式装置被配置成将传入声音与指示声谱的数据进行比较,所述声谱可位于查找表等上,并且对存在具有有害影响的声音做出确定。例如,可以对已被识别为具有有害影响的声音这样分类,并且多用途智能便携式装置使用的算法被配置成在传入声音与目录声音之间相关时输出指示。
与上文详述的教导一致,从多用途智能便携式装置输出的关于所捕获的声音的输出可以是视觉指示器。这可以是智能便携式装置的显示器上的视觉指示,其可以指示在显示器的视距内的人(例如,能够看到显示器的对话的任何一方,其在例如智能便携式装置被放置在桌面上的情景中可以是对话中的所有人)应当采取行动,在显示器的视距中的人正以实用方式行动(例如,显示器可指示说话者应当继续以其一直说话或另外当前说话的方式说话),或周围环境的特性中的至少一者。
注意,一些实施例可以双分、三分或四分显示器,使得指示器在能够被阅读的取向多次再现或另外由相对于彼此成角度地远离的两个或更多个人评估。仅作为实例而不作为限制,在两个人坐在彼此相对180°的桌子边的情景中,接受者可将智能便携式装置放在桌子上双方都能看到显示器的位置处。智能便携式装置可以具有例如呈其上的应用程序的形式的编程,其能够使接受者激活对话应用程序,所述对话应用程序执行本文中详述的一个或多个方法,并且双分屏幕使得屏幕的顶部(例如,屏幕的远离接受者的部分)呈现相对接受者上下颠倒但相对接受者正对其说话的人右侧向上的字符,而屏幕的底部(例如,屏幕的最靠近接受者的部分)呈现相对接受者右侧向上但相对接受者正对其说话的人上下颠倒的字符。因此,在示例性实施例中,例如仅作为实例而不作为限制,其中多用途智能便携式装置提供周围环境的特性的视觉指示器,词语“音乐大声”可同时以右侧向上和上下颠倒的方式显示在屏幕上,以便接受者和接受者与其说话的人可阅读这些词语(此示例性情景用系统执行,所述系统被配置成使用前述声音分析器或其它技术识别音乐,并确定音乐是否相对大声,例如,音量可能对语音的听力感知的唤起有有害影响)。
还要注意,上述示例性实施例可以以更简化的方式执行,例如在屏幕被分成两个或三个或四个或五个或六个或更多个部分(例如,正方形饼形图),并且根据给定情景用红色或黄色或绿色光照射各个部分的情况下。例如,在例如耳蜗植入物的使用者正与其他五个玩家玩扑克(赢钱的扑克),所有人围绕圆桌通常等间距的情景中,智能手机可在屏幕上五个不同部分或六个不同部分(如果多用途智能便携式装置还继续被用于分析接受者的语音)上显示,每个部分通常指向给定玩家或另外与给定玩家对准。在一个给定情景中,每个人都以实用方式说话,所有五个或六个不同部分都将被绿色照亮。如果其中一个说话者说话很快,并且多用途智能便携式装置确定是这种情况,那么屏幕的该部分可变成黄色,而所有其他部分将保持绿色。更进一步地,如果其他人以非常柔和的方式讲话,那么该其他部分也可以变成红色,而所有其它部分(比如黄色部分)保持绿色。
当然,上文中详述的实施例已经涉及在与利用听力假体的人对话的过程中使用多用途智能便携式装置的情景。就这一点而言,在至少一些示例性实施例中,多用途智能便携式装置被配置成接收指示利用听力假体的人的存在的输入,其至少在便携式装置的视野内和/或智能语音距离内存在。在示例性实施例中,所述装置被配置成向该人指示其是否正以特定的实用方式和/或不以特定的实用方式说话。
图7示出了示例性方法-方法700的示例性算法。方法700包括方法动作710,其包括听力受损的人参与对话的动作。在示例性实施例中,听力受损的人是利用听力假体的人。方法700还包括方法动作720,其包括利用第一电子装置在一个时间点捕获对话的至少一部分。在示例性实施例中,这可以对应于使用BTE装置上或OTE声音处理器等上的麦克风。在另一个示例性实施例中,这可以对应于利用特定于假体的远程麦克风。在另一个示例性实施例中,这可以对应于利用智能手表或智能手机的麦克风或者包括麦克风的另一类型的消费电子装置。方法700还包括方法动作730,其包括使用第一电子装置和/或第二电子装置分析所捕获的声音。在示例性实施例中,诸如在利用假体进行分析的情况下,所述假体被配置成执行上文详述的一个或多个方法动作,假体中的处理器执行方法动作730,并且如果曾使用假体执行方法动作720以捕获声音,则使用第一装置执行方法730。然而,如果由假体捕获的所捕获的声音以无线方式提供至例如多用途智能便携式装置,例如,智能手机,并且智能手机分析所捕获的声音,则使用第二电子装置执行方法动作730。因此,在示例性实施例中,第一电子装置是由听力受损的人佩戴的听力假体,并且使用第二电子装置执行分析所捕获的声音的动作,其中第二电子装置是便携式智能装置。在此示例性的实施例中,第一电子装置基于所捕获的声音向第二电子装置提供无线信号(例如,BTE装置或听力假体的其他部分向智能手机提供RF信号,该RF信号基于所捕获的声音),并且第二电子装置在分析方法动作730的动作中分析信号(例如,利用智能手机的机载处理器根据上文详述的教导来分析信号是其变型)。
更进一步,在示例性实施例中,所捕获的声音可以是由例如便携式智能装置的麦克风捕获的声音,并且因此第一电子装置可以是便携式智能装置。在任何情况下,方法700还包括方法动作740,其包括在对话期间基于所述分析将信息人工提供至与所捕获的声音有关的对话的一方。人工提供,意味着这是由人等不以自然方式执行的。相反,通过人工方式提供信息,例如经由如上详述的BTE装置上的指示器,或智能手机或智能手表等的显示屏上的基于文本的消息。
在示例性实施例中,向对话方提供的信息可以是上文详述的信息中的任何一个和其变型。
在方法700的示例性实施例中,方法动作740包括根据分析的特定结果使用远离一方的远程装置向所述方提供视觉指示器。在示例性实施例中,所述装置可以例如是智能手机,其位于桌子上。在示例性实施例中,所述装置可以例如是已经从接受者或另一方的手腕摘下并放置在桌子上的智能手表,在另一示例性实施例中,所述装置可以是执行方法700的专用装置,该装置除了执行本文中详述的教导和/或其变型之外不执行其它操作。相反,在示例性实施例中,方法动作740包括使用由一方穿戴和/或持有的装置向所述方提供视觉指示。
在前述的示例性实施例中,举例来说,这可以利用智能手表或BTE上的LED指示器来执行。关于后者,这可以利用保持在接受者的手中的智能手机或智能手表来执行。因此,在第一电子装置可以是BTE装置并且第二电子装置可以是智能手机的示例性实施例中,在至少一些示例性实施例中,方法动作740包括利用第二电子装置(智能手机)向对话方人工提供信息,并且在一些情况下,方法动作740包括在对话期间基于分析将与所捕获的声音有关的信息人工提供至对话的一方,以增强在随后时间点对话的方面。
在示例性实施例中,第一电子装置是由听力受损的人佩戴的听力假体,且利用不同于第一电子装置的第二电子装置执行方法动作730,例如仅作为实例而不作为限制,所述第二电子装置为通过服务器与假体进行信号通信的便携式智能手机或远程处理器,该服务器可以通过蓝牙系统与假体进行信号通信。仅作为实例而不作为限制,在此示例性实施例的示例性实施例中,存在通过第一电子装置(例如,在此实例中,听力假体)和/或通过第二电子装置(例如,智能手机和/或服务器处理器组合)向第三电子装置提供无线信号的附加动作,命令第三电子装置执行将信息人工提供至对话方的动作(执行方法740)。仅作为实例而不作为限制,第三电子装置可以是智能手表或不同于第一和第二电子装置的一些其他附件。注意,在第一电子装置提供无线信号的示例性实施例中,在以下示例性实施例中可以是这种情况:远程服务器与听力假体进行信号通信,并且听力假体接收分析的结果,然后将信号提供至第三电子装置,所述信号导致该第三电子装置提供指示。相反,在处理由智能手机执行的示例性实施例中,智能手机与智能手表之间的共生关系可以依赖于使智能手表执行方法动作740。
在例如第一电子装置是由听力受损的人佩戴的听力假体的一些实施例中,分析所捕获的声音的动作是使用第一电子装置执行的。同样,在示例性实施例中,人工提供信息至对话的一方的动作是由第一电子装置执行的,所有这些与上文听力假体包括指示器的详述的实施例一致。因此,在该示例性实施例中,对话的一方可以是除了听力假体的接受者之外的人。也就是说,在至少一些示例性实施例中,根据上文详述的教导,对话的一方可以是具有听力假体的人。更进一步地,动作740在具有听力假体的人与没有听力假体的人之间并不相互排斥:可以与方法动作740同时执行一方法动作,使得信息可以到达两个人或两类人,其中,例如,在对话中存在超过一个没有听力假体的人。
在方法700的至少一些示例性实施例中,方法动作740的信息是特定于非对话有关的声音的信息。仅作为实例而不作为限制,所述信息可以关于背景声音或风噪声等。所述信息可以指示存在相当大的背景噪声和/或存在相当大的风噪声等。
上文中详述的实施例大体上专注于仅一个部件提供信息/提供指令,注意,在一些示例性实施例中,可存在包括两个或更多个此类部件的系统。在示例性实施例中,仅作为实例而不作为限制,假体和多用途智能便携式装置两者都可以提供指示器/指令/信息。还要注意,在一些实施例中,还可以存在多个多用途智能便携式装置(以下就此进行更多描述)。在一些示例性实施例中,可以存在假体、一个或多个多用途智能便携式装置,以及一个或多个非多用途智能便携式装置,诸如专用于执行这里的一个或多个方法动作而不执行其它的装置。还要注意,在至少一些示例性实施例中,可存在多个听力假体,其中一个假体可以与远程装置和假体之间的通信相同或另外类似的方式与其它假体通信。在一些情况下,所述系统中的装置中的一个或多个或全部同时或以时间间隔的方式提供相同指示器。在一些情况下,所述系统中的装置中的一个或多个或全部同时或以时间间隔的方式提供不同指示器。在某些情况下,由单独部件提供的这些指示器直接和/或仅提供给作为对话一方的特定人。仅作为实例而不作为限制,在示例性实施例中,在参与对话之前和/或在对话期间,对话的一方或多方将应用程序下载到他们的多用途智能便携式装置上,该应用程序能够实现本文中详述的一个或多个或所有方法动作。在示例性实施例中,例如,作为实例,这些装置可以被配置简短的信息屏幕请求,其询问多用途智能便携式装置的持有者或所有者是具有听力假体的人还是对听力假体的说话者等。在示例性实施例中,应用程序可以使得由对话的一方(其没有听力假体)所有或另外拥有的多用途智能便携式装置被放置成与听力假体和/或与正被具有假体的人使用的多用途智能便携式装置进行信号通信,使得由没有听力假体的一方所有或另外拥有的多用途智能便携式装置可执行本文中的一个或多个方法动作。仅作为实例而不作为限制,在例如使用由具有假体的人拥有或另外所有的装置执行分析所捕获的声音的动作的示例性实施例中,第一和/或第二电子装置可将无线信号提供至第三电子装置,使得该装置输出所述信息,第三电子装置是由没有听力假体的人所有或另外拥有的便携式装置。也就是说,在示例性实施例中,由没有听力假体的人拥有的便携式电子装置可独立于其他部件操作,正如关于由接受者拥有的多用途智能便携式装置或由接受者拥有的任何其它装置的情况一样。因此,在示例性实施例中,可以存在这样的情景,其中两个或更多个单独的智能手机和/或两个或更多个单独的智能手表根据本文中详述的教导独立地将信息提供至其相应的所有者/过程源。
图8示出了示例性方法-方法800的示例性流程图,该方法是管理对话的方法,其包括方法动作810和820。在方法800中,方法动作810包括利用便携式电子装置,以电子方式分析在对话期间捕获的声音。方法动作820包括将与参与者的说话方式有关的指示器人工提供至对话中的接受者。方法动作820的一个要求是此动作基于方法动作810的分析。方法动作820的另一个要求是与本文中的教导一致,进行此动作以改善对话。
也就是说,替代地和/或除此之外,在示例性实施例中,方法动作810可包括利用假体来分析在对话期间捕获的声音。在示例性实施例中,对于假体具有超出可能与远程装置相关联的附加“信息”或能力的一些实施例可具有实用价值。相对于如果不利用假体来执行方法动作810的情况,这样可以使得能够进一步细化指示器的类型,或者甚至是否应当在对话中将指示器提供至接受者。仅作为实例而不作为限制,假体可配有声音分类器或可对输入和/或输出进行分类的其它类型的装置。更进一步地,在示例性实施例中,假体可以被配置成获得或以其他方式接收指示情境感知的输入。在示例性实施例中,假体可以被配置成确定接受者是否正以与一个或多个远程装置配对的方式利用假体。此外,在示例性实施例中,对于与假体和其它部件之间的通信方案相关联的原因的一些实施例,可具有实用价值。仅作为实例而不作为限制,在示例性实施例中,假体可以与远程麦克风/微型麦克风进行信号通信。至少在一些使用情景中,这与例如智能手机或智能手表形成对比。假体还可以用于在执行与图8相关联的方法动作的一个或多个或全部的同时直接调整远程麦克风。鉴于以上内容,在一些实施例中,本文中详述的假体和其它被配置成自动确定其与远程装置配对,并且由于所述确定而开始向远程装置提供输入。
还要注意,在至少一些示例性实施例中,所述系统被配置成分析接受者的状态,或者以其他方式通过潜在变量推断接受者的状态,或者以其他方式简单地接收指示接受者的状态的信息(诸如,通过来自接受者的直接输入)并基于接受者的状态采取动作。仅作为实例而不作为限制,接受者的状态可以是接受者正在说话,或者作为实例,接受者故意地试图不注意特定的对话。基于接受者的状态采取的动作可以是相对于另外情况,改变指令或甚至取消指令或以其他方式激活指令的动作。例如,如果所述系统“识别”出接受者没有真的关注对话(例如,接受者按下指示接受者并不关心对话中的人在说什么的按钮),对接受者和/或对各方和对话的指令的数目或指令的等级可能相对减小(如果不消除),原因是说什么并不重要。相反,如果所述系统识别出接受者正试图相对密切地关注对话,则指令的数目和/或类型和/或等级可能相对于另外情况增加。因此,在示例性实施例中,所述系统被配置成以对于对话中的特定动态集具有实用价值的方式驱动信息向各方的显示/驱动向各方的指示,与只是将每个对话当作系统应当以标准方式反应的通用事件相对。
还要注意,在至少一些示例性实施例中,本文中详述的系统可以是复杂的,因为系统实际上可识别环境的特定特征。仅作为实例而不作为限制,系统可确定其是特定电视,例如,应以某种方式被调整以增强对话。此外,在示例性实施例中,系统可以被配置成对环境中的该特定特征提供特定调整。例如,该指令可以关闭电视。也就是说,在示例性实施例中,指令可以是将电视的音量调整特定量。
此外,在至少一些示例性实施例中,系统可被配置成实际控制环境中的某些特征。例如,经由物联网,系统的一部分能够与环境中的电视、无线电等通信,并自动对其作出调整。替代地和/或除此之外,在示例性实施例中,所述系统可以被配置成与环境中的此类其他设备通信,并且提示设备对其使用者显示其应当调整该设备的指示,或者至少询问使用者是否介意调整该设备,所有这些都致力于根据本文详述的教导来增强对话。
图9示出了示例性方法-方法900的示例性流程图。方法900包括方法动作910,其包括由参与者使用方法800的听力假体向对话的另一参与者宣布可提供指示器,并由使用听力假体的参与者向对话的另一参与者解释指示器的含义。仅作为实例而不作为限制,在示例性实施例中,在参与对话的实质之前,听力假体的接受者出示多用途智能便携式装置,或远离将用于提供指示器的听力假体和/或指向或另外识别假体上的指示器(例如,面向说话者的耳钩上的LED)的其它装置。在进行此操作时或进行此操作之后或进行此操作之前,接受者解释将出现什么指示器,这些指示器的含义,和/或在出现这些指示器时说话的人可以做什么或另外应当做什么或不应当做什么。当然,方法900包括方法动作920,其包括执行方法800。同样,与本文中详述的所有方法一样,方法动作的顺序不是特定的,除非另有说明。就这一点而言,在示例性实施例中,可至少部分地在方法动作910之前执行方法动作810。仅作为实例而不作为限制,两个人可以参与对话,然后接受者可能感到疲劳,然后可以实施本文详述的教导,以减少或以其他方式减轻这种疲劳的影响。更进一步地,仅作为实例而不作为限制,两个人可参与对话,然后接受者可能意识到与其说话的人正以接受者主观和/或客观不期望的方式(例如,以统计上不期望的方式)说话,并且因此可以通过执行方法动作910呈现本文中详述的构思,并接着继续对话。
在示例性实施例中,方法动作820包括由便携式装置提供视觉指示器,并且视觉指示器可以是指示参与者以不满意的方式说话的第一光。在示例性实施例中,上面详述的算法和其变型可以用来确定应当给出该指示。
在示例性实施例中,在提供第一光的动作之后,存在捕获和分析在对话期间捕获的声音并且提供呈第二不同类型光的形式的视觉指示器的动作,所述第二不同类型光指示参与者以令人满意的方式说话。注意,在一些实施例中,此光的物理结构是对应于第一光的相同光,但此光可以具有不同特征,例如,不同颜色,此光可以是稳定的,而之前的光可以突然点亮或突然熄灭等。也就是说,在一些实施例中,此光可以完全是不同的物理结构,例如完全不同的LED。在一些实施例中,指示器可以指示说话者正以一种实用的令人满意的方式说话,和/或可以简单地指示说话者以更好的方式说话,并且接受者可以更好地说话。仅作为实例而不作为限制,第一光可以是红色,第二光可以是黄色。可以提供第三后续光,其为绿色以指示说话者比其先前说得更好。
图10示出了另一示例性方法-方法1000的示例性流程图。方法1000包括方法动作1010,其包括执行方法800。方法1000还包括方法动作1020,其包括利用便携式电子装置以电子方式第二次分析在对话期间捕获的声音。在此实施例中,从第一次在方法800中捕获声音的时间进展之后执行方法动作1020。在示例性实施例中,可使用时间触发器触发方法动作1020。仅作为实例而不作为限制,在示例性实施例中,系统可被配置成从先前分析所捕获的声音的一、二、三、四、五、六、七、八、九、10、11、12、13、14、15、20、25、30、35、40、45、50、55或60秒内执行方法动作1020。也就是说,所述分析可以连续地发生。更进一步地,所述分析可以是这样的:所述分析需要捕获从上一次捕获声音起的时间周期的一部分或全部的声音,并对该捕获的声音中的一些或全部执行分析。在一些实施例中,用于执行分析的算法对在时间上更远离之前捕获的声音的所捕获的声音加权,以便考虑说话者自上一次指示起已调整其说话的可能性,其中,说话者可能已经更好地调整其说话更远离上一指示器和/或其上一次捕获声音。
方法1000还包括方法动作1030,其包括向对话中的参与者人工提供第二随后指示器。在示例性实施例中,方法动作1030的要求是其基于方法动作1020的第二次分析来完成。此外,在示例性实施例中,方法动作1030的要求是指示器是参与者正以不同方式说话的指示器。也就是说,在至少一些示例性实施例中,在方法动作1020与1030之间存在方法动作,其可包括执行方法动作1030的衍生动作,除了指示器是参与者应当基于动作1020的分析改进其说话之外。在示例性实施例中,在此动作之后,方法1000可以包括执行方法动作1020的衍生动作,所述方法动作可能需要利用便携式电子装置,第三次对在对话期间捕获的声音执行分析,其中,在此之后,如果确定该人现在正以不同地方式说话,则方法进行到方法行动1030。
鉴于方法1000的上述变型,要理解,在至少一些示例性实施例中,可以反复地执行方法1000的变型,并且关于指示器那些方法的结果可以基于分析的结果每次都不同。就这一点而言,图11呈现了示例性方法-方法1000的示例性流程图,该方法包括方法动作1110,所述方法动作包括对于N值等于1,执行方法800。方法1000还包括方法动作1020,其包括利用便携式电子装置以电子方式N+1次分析在对话期间捕获的声音,如果N是第一次,则N+1次可与第二次相关,如果N是第二次,则N+1次是第三次等。方法1100还包括方法动作1130,其包括基于N+1次分析在第N个指示器之后可能向对话中的参与者人工提供参与者正以特定方式说话的第N+1个指示器。就这一点而言,注意,在此方法动作中出现词语“可能”。在一些实施例中,例如在系统仅在参与者不以实用方式说话时提供指示器的情况下,方法动作1130可导致以不同方式说话的此类指示或指令,而在此类实施例中,如果此人以实用方式说话,则所述系统将不提供指示器。也就是说,在一些实施例中,诸如在所述系统为所有或大多数情况提供指示器时,例如,当说话者以实用方式说话时,可以提供此类指示。在任何情况下,在方法动作1130中,存在设置N等于N+1的动作,并且因此将N递增到下一值。然后,所述方法返回到方法动作1120,其中对于新的N值,执行方法动作1120,接着再次针对此新的N值执行方法动作1130,以此类推,直到系统被关闭。
要清楚,与上文详述的教导一致,前述方法动作的指示器可以是参与者可以以不同方式说话以改善对话的指示器。与上文详述的教导一致,指示器可以是一个或多个参与者说话太轻柔或说话太快的指示器。在示例性实施例中,可利用附加指示器和/或更少指示器,且在一些实施例中,可同时存在多个指示器。
图12呈现了示例性方法-方法1200的示例性流程图,该方法包括方法动作1210,所述方法动作包括执行方法800。方法1200还包括方法动作1220,其包括以下动作:基于(方法800的)分析和/或对随后所捕获的声音的随后分析(例如,与方法1000或方法1100相关联的情景),向对话的参与者人工提供存在与参与者的语音分离的对对话有害的现象的指示器。仅作为实例而不作为限制,此类方法动作伴随上文详述的与背景噪声有关的实施例。在此示例性实施例的至少一些示例性实施例(方法1200的实施例)中,对对话中的参与者的存在对对话有害的现象的指示器是一个或多个环境噪声或有缺陷的麦克风放置的指示器。
注意,至少一些示例性实施例包括这样的算法,其基于对接受者在使用讨论的特定听力假体时可能难以理解的词语的统计分析。仅作为实例而不作为限制,可以关于通常使用耳蜗植入物的人经常难以理解的词语,或更具体地关于参与所述方法或另外使用本文中详述的系统的特定接受者,创建或另外获得统计数据库。仅作为实例而不作为限制,由对话的语音的系统执行的分析可包括某些词语的识别,这些词语将触发指示器和/或一组指令,例如,更缓慢地说话,更清楚地发音,吃东西不说话或杯子挡着脸时不说话(这可基于对语音的不同部分的分析,例如,指示由于碰撞玻璃或流体(诸如杯子中的流体)的语音产生的声波的回声)-还要注意,在至少一些示例性实施例中,所述系统被配置成使用可评估说话者的动作的视觉图像,该视觉图像可被自动地分析以确定说话者正在移动,或者另外相对于捕获声音的听力假体以不太实用的方式定位其自身)等。
要指出的是,在一些实施例中,所述系统可以被配置成指示某人停止谈话,无论是接受者还是为谈话的一方的某人。更进一步地,在示例性实施例中,所述系统可以被配置成指示对话的一方或多方(无论可能是谁)通知其他人应当停止谈话,该其他人不是对话的一方。
还要注意,在一些示例性实施例中,由所述系统提供的指示可以仅仅是对接受者和/或在周围声音环境中进行的对话的另一方的指示。仅作为实例而不作为限制,所述系统可以被配置成分析声音并向接受者指示声音的某些特征,例如存在中等水平的背景噪声,对你说话的人正在清楚地说话,存在风噪声,存在低水平的背景机器噪声(中央风扇)等。还要注意,所述系统可以提供关于环境的指示以及指令。
在至少一些示例性实施例中,可以利用对对话的一方或多方的任何类型的指示。在示例性实施例中,提供了触觉反馈。在示例性实施例中,提供了音频指示器。虽然上文中详述的实施例已涉及仅由假体提供并且仅可由其接受者听到的音频指示器,但在一些替代实施例中,音频指示器可以被所有方听到,或者音频指示器可以仅被没有假体的对话的一方或多方听到。
要清楚,在至少一些示例性实施例中,本文中的方法、系统和装置中的一些或全部是完全彻底地基于对话的。仅作为实例而不作为限制,与本文中详述的方法相关联的任何一个或多个或所有方法动作都可以完全基于对话。也就是说,评估/分析和指令完全基于对话,不基于其它别的(在一些实施例中)。
注意,本文中的公开内容包括由某些装置和/或系统执行的分析。要注意的是,本文中分析的任何公开内容还对应于基于由另一个装置执行的分析来执行动作的实施例的公开内容。仅作为实例而不作为限制,本文中分析某一特征并随后基于分析反应的装置的任何公开内容还对应于从已执行分析的装置接收输入的装置,其中该装置作用于该输入。另外,相反情况也适用。本文中基于输入行动的装置的任何公开内容还对应于可以分析数据并根据该分析行动的装置。
应注意,本文中指令的任何公开内容还对应于用信息更换指令一词的实施例的公开内容,反之亦然。
应注意,本文中替代布置和/或替代动作的任何公开内容对应于组合原始布置/原始动作与替代布置/替代动作的公开内容。
应注意,本文中详述的任何方法动作还对应于装置和/或系统的公开内容,所述装置和/或系统被配置成执行与本文中详述的相关联的方法动作中的一个或多个或全部。在示例性实施例中,此装置和/或系统被配置成以自动方式执行一个或多个或所有方法动作。也就是说,在替代实施例中,装置和/或系统被配置成在被人提示之后执行所述方法动作中的一个或多个或全部。还要注意,本文中详述的装置和/或系统的任何公开内容对应于制造和/或使用该装置和/或系统的方法,包括根据本文中详述的功能使用该装置的方法。
应注意,实施例包括在其上记录计算机程序的非暂时性计算机可读介质,所述计算机程序用于执行本文中详述的方法动作中的一个或多个或任一个。实际上,在示例性实施例中,非暂时性计算机可读介质上存储了计算机程序,其用于执行本文中详述的任何方法动作的至少一部分。
在示例性实施例中,一种方法,包括:听力受损的人参与对话;使用第一电子装置以某个时间点捕获对话的声音的至少一部分;使用第一电子装置和/或第二电子装置分析所捕获的声音;以及在对话期间基于所述分析向对话的一方人工提供与所捕获的声音有关的信息以增强在随后时间点对话的方面。在示例性实施例中,如上文和/或下文所述的方法,其中人工提供信息的动作包括根据分析的特定结果使用远离一方的装置向所述一方提供视觉指示。在示例性实施例中,如上文和/或下文所述的方法,其中,人工提供信息的动作包括向使用由所述一方穿戴和/或持有的装置向所述一方提供视觉指示。在示例性实施例中,如上文和/或下文所述的方法,其中,所述第一电子装置是便携式智能装置,并且分析动作和提供动作由所述第一电子装置执行。
在示例性实施例中,如上文和/或下文所述的方法,其中,所述信息是特定于非对话有关的声音的信息。在示例性实施例中,如上文和/或下文所述的方法,其中,所述第一电子装置是由听力受损的人穿戴的听力假体,使用所述第二电子装置执行分析所捕获的声音的动作,其中,所述第二电子装置是便携式智能装置,所述第一电子装置基于所捕获的声音向所述第二电子装置提供无线信号,并且所述第二电子装置在所述分析动作中分析所述信号,向所述对话的一方人工提供信息的动作包括利用所述第二电子装置。
在示例性实施例中,如上文和/或下文所述的方法,其中,所述第一电子装置是由听力受损的人穿戴的听力假体,使用第二电子装置执行分析所捕获的声音的动作,并且所述第二电子装置和/或所述第一电子装置向第三电子装置提供无线信号,命令所述第三电子装置执行向对话的一方人工提供信息的动作。在示例性实施例中,如上文和/或下文所述的方法,其中,所述第一电子装置是由听力受损的人穿戴的听力假体,使用所述第一电子装置执行分析所捕获的声音的动作,由所述第一电子装置执行向所述对话的一方人工提供信息的动作,所述对话的一方是除了所述听力假体的接受者之外的人。
在示例性实施例中,一种管理对话的方法,包括:利用便携式电子装置;以电子方式分析在对话期间捕获的声音;以及基于所述分析,向所述对话的参与者人工提供与参与者如何说话以改进对话有关的指示器,其中,对话的至少一个参与者正使用听力假体来听声音。在示例性实施例中,如上文和/或下文所述的方法,还包括以下动作:由使用所述听力假体的参与者向所述对话的另一参与者宣布可提供所述指示器;以及由使用所述听力假体的参与者向所述对话的另一参与者解释指示器的含义。在示例性实施例中,如上文和/或下文所述的方法,其中,人工提供所述指示器的动作包括由所述便携式装置提供视觉指示器;所述视觉指示器是指示参与者正以不令人满意的方式说话的第一光。
在示例性实施例中,如上文和/或下文所述的方法,还包括在提供所述第一光之后,捕获和分析在所述对话期间捕获的声音并且提供呈第二不同类型光的形式的视觉指示器的动作,所述第二不同类型的光指示参与者正以令人满意的方式说话。在示例性实施例中,如上文和/或下文所述的方法,还包括:利用便携式电子装置;以电子方式第二次分析在所述对话期间捕获的声音;以及基于第二次分析,向所述对话的参与者人工提供参与者正以不同方式说话的第二随后指示器。在示例性实施例中,如上文和/或下文所述的方法,其中,所述指示器是所述参与者能够以不同方式说话以改进所述对话的指示器。在示例性实施例中,如上文和/或下文所述的方法,还包括基于所述分析和/或对随后捕获的声音的随后分析,向所述对话的参与者人工提供存在与所述参与者的语音分离的对对话有害的现象的指示器。
在示例性实施例中,如上文和/或下文所述的方法,其中,向所述对话的参与者指示存在对所述对话有害的现象的指示器是一个或多个环境噪声或有缺陷的麦克风放置的指示器。
还要注意,本文中详述的装置和/或系统的任何公开内容还对应于另外提供该装置和/或系统的公开内容。
还应注意,本文中详述的任何实施例的任何元件都可与本文中详述的任何实施例的任何其他元件组合,除非这样说明,只要技术能实现这些。还应注意,在至少一些示例性实施例中,本文中详述的实施例的任何一个或多个元件可在示例性实施例中明确排除。也就是说,在至少一些示例性实施例中,存在明确不具有本文中详述的元件中的一个或多个的实施例。
虽然已在上文描述了本发明的各种实施例,但应当理解,他们仅以实例的方式呈现而非限制。对于相关领域的技术人员来说显而易见的是,在不脱离本发明的精神和范围的情况下,可以在其中进行形式和细节的各种变化。
Claims (47)
1.一种系统,包括:
信号输入;
处理器;以及
信号输出,其中
所述处理器被配置成基于所述信号输入的输入生成与关于感觉假体的接受者的数据有关的指令,并且
所述信号输出被配置成输出指示所述指令的数据。
2.根据权利要求1所述的系统,其中:
所述处理器被配置成分析与所述接受者有关的数据,并且确定说话的人是否正以增强所述感觉假体的接受者的感觉感知的方式提供感觉输入。
3.根据权利要求2所述的系统,其中:
所述系统被配置成识别所述说话的人是否是具有所述感觉假体的人。
4.根据权利要求3所述的系统,其中:
所述系统被配置成将所述指令提供给所述感觉假体的接受者。
5.根据权利要求3所述的系统,其中:
所述系统被配置成将所述指令提供给除了所述感觉假体的接受者之外的某个人,这个人是提供由所述系统捕获的感觉输入的一群人中的一部分。
6.根据权利要求1所述的系统,其中:
所述信号输入与麦克风进行信号通信。
7.根据权利要求1所述的系统,其中:
所述系统被配置成诱发视觉、听觉或触觉指示中的至少一个,作为指示指令的输出。
8.根据权利要求1所述的系统,其中:
所述系统包括听力假体和智能装置,所述智能装置包括远离所述听力假体的互动显示屏;并且
所述系统被配置成在所述互动显示屏上显示所述听力假体的一个或多个控件。
9.一种方法,包括:
在两个或更多个人之间的互动期间捕获感觉输入,其中一个人正在使用感觉假体以至少增强感觉能力;
处理所捕获的感觉输入以识别对所述互动中的一个或多个人的指示,使得使用所述感觉假体的人能够具有对未来感觉输入的增强的感觉或充分的感觉中的至少一者;以及
输出所述对一个或多个人的指示。
10.根据权利要求9所述的方法,其中:
所述指示是对除了使用所述听力假体的人之外的对话的参与者的指令。
11.根据权利要求9所述的方法,其中:
所述指示是非指令信息。
12.根据权利要求9所述的方法,其中:
所述指示是视觉指示器。
13.根据权利要求9所述的方法,其中:
所述指示表明一个或多个参与者正在适当地说话。
14.根据权利要求9所述的方法,其中:
所述指示是对一个或多个参与者以不同方式说话的指令。
15.根据权利要求9所述的方法,其中:
所述指示表明周围环境中的一个或多个特征对使用所述感觉假体的人的最佳感觉感知是有害的。
16.根据权利要求9所述的方法,其中:
所述指示是由对话的所有参与者接收的指示。
17.根据权利要求9所述的方法,其中:
所述指示是干扰所述对话的视觉指示器。
18.根据权利要求9所述的方法,其中:
所述感觉假体是听力假体;并且
所述指示是远离所述听力假体的声音捕获设备的灵敏度能够被调整和/或另一声音捕获设备能够用于改进使用所述听力假体的人的听力的指示。
19.根据权利要求9所述的方法,其中:
所述指示是对除了使用所述听力假体的人之外的对话的参与者以不同方式说话的指令;并且
所述指令不由使用所述听力假体的人直接提示。
20.一种组件,包括:
装置,所述装置被配置成接收指示所捕获的感觉刺激现象的输入,并且提供关于所捕获的感觉刺激现象的输出,所述输出增强来自未来感觉刺激现象的人的未来感觉输入。
21.根据权利要求20所述的组件,其中:
所捕获的感觉刺激现象是对话的声音;并且
所述未来感觉刺激现象是所述对话的未来部分。
22.根据权利要求20所述的组件,其中:
所述输出是应当由人采取行动以改善所述未来感觉输入的指示。
23.根据权利要求20所述的组件装置,其中:
所述装置被配置成与感觉假体进行信号通信,以及从其接收信号或向其发送信号中的至少一者。
24.根据权利要求20所述的组件,其中:
所述装置被配置成与感觉假体进行信号通信;
关于所捕获的现象的输出是到所述感觉假体以调整其设置、通知接受者调整其设置、或通知所述接受者所述装置所位于的周围环境的特征中至少一者的信号。
25.根据权利要求20所述的组件,其中:
关于所捕获的现象的输出是通过显示器指示以下中的至少一者的视觉指示器:在所述显示器的视距内的人应当采取行动,在所述显示器的视距内的人正以实用方式行动,或周围环境的特性。
26.根据权利要求20所述的组件,其中:
所述装置被配置成接收指示使用感觉假体的人存在的输入;并且
所述装置被配置成向所述人指示其以给定的实用方式说话和/或其不以给定的实用方式说话。
27.根据权利要求20所述的组件,其中:
所述装置被配置成控制感觉假体;
所述装置被配置成基于对所述信号的分析而在显示屏上显示控制所述感觉假体的控制设置,使得所述接受者能够基于所述输出调整所述感觉假体。
28.根据权利要求20所述的组件,其中:
所述组件包括互动显示器;和
无线通信装置;并且
所述装置被配置成通过所述互动显示器提供所述输出。
29.一种装置,包括:
假体,所述假体被配置成与也包括指示器的远程感觉诱发现象捕获装置一起操作,其中,所述假体被配置成向远程装置提供与由所述假体和/或所述远程装置捕获的所捕获的感觉刺激诱发现象有关的输入,使得所述远程装置通过所述指示器提供与所述现象有关的指示。
30.根据权利要求29所述的装置,其中:
所述假体是听力假体;并且
所述远程装置是远程麦克风。
31.根据权利要求29所述的装置,其中:
所述假体被配置成与所述远程装置无线通信。
32.根据权利要求28所述的装置,其中:
所述指示器是视觉指示器,并且由所述指示器提供的指示是视觉指示。
33.根据权利要求29所述的装置,其中:
所述指示器被配置成提供关于所捕获的感觉刺激现象的指示,以增强来自未来感觉刺激现象的未来感觉输入。
34.根据权利要求29所述的装置,其中:
所述指示是存在对来自未来感觉刺激现象的未来感觉输入有害的现象的指示。
35.根据权利要求29所述的装置,其中:
所述假体被配置成分析所捕获的现象并且形成到所述远程装置的输入,其中所述输入是这样的输入,其命令所述指示器指示所述指示器的视距内的一个或多个人应当采取行动影响来自未来感觉刺激现象的未来感觉输入。
36.根据权利要求29所述的装置,其中:
所述假体被配置成使所述假体的接受者能够覆盖和/或调整所述指示。
37.根据权利要求29所述的装置,其中:
所述假体被配置成调整与所述指示器无关的所述远程装置的功能。
38.根据权利要求29所述的装置,其中:
所述假体被配置成自动确定其与所述远程装置配对,并且由于所述确定而开始向所述远程装置提供所述输入。
39.一种便携式电子装置,包括:
视觉指示器装置;以及
无线通信装置,其中
所述便携式电子装置被配置成以交互格式显示指令,所述指令是使所述视觉指示器的视距中的人采取行动以增强感觉假体的接受者的未来感觉输入。
40.根据权利要求39所述的便携式电子装置,其中:
所述便携式电子装置是智能手机。
41.根据权利要求39所述的便携式电子装置,其中:
所述指令是转动正在接收不期望噪声的麦克风或调整所述麦克风的输出中的至少一者的指令。
42.根据权利要求39所述的便携式电子装置,其中:
所述指令是以不同方式说话的指令。
43.根据权利要求39所述的便携式电子装置,其中:
所述便携式电子装置被配置成与听力假体进行信号通信,以及从其接收信号或向其发送信号中的至少一者。
44.根据权利要求39所述的便携式电子装置,其中:
所述便携式电子装置被配置成分析指示所捕获的声音的输入并且识别将在显示器上显示的指令。
45.根据权利要求39所述的便携式电子装置,其中:
所述便携式电子装置是听力假体。
46.根据权利要求39所述的便携式电子装置,其中:
所述便携式电子装置被配置成自动识别其与听力假体配对,并且由于所述识别的结果而自动地显示所述指令。
47.根据权利要求39所述的便携式电子装置,其中:
所述便携式电子装置被配置成评估其中一个人是所述感觉假体的接受者的多个人之间的对话,并且基于确定所述感觉假体的接受者相对于另外情况对提高理解所述对话的能力不感兴趣,相对于另外情况阻止显示所述指令和/或减少指令的数目。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762575567P | 2017-10-23 | 2017-10-23 | |
US62/575,567 | 2017-10-23 | ||
PCT/IB2018/058217 WO2019082060A1 (en) | 2017-10-23 | 2018-10-22 | ADVANCED ASSISTANCE FOR PROSTHETIC ASSISTED COMMUNICATION |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111226445A true CN111226445A (zh) | 2020-06-02 |
Family
ID=66246845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880068125.4A Pending CN111226445A (zh) | 2017-10-23 | 2018-10-22 | 用于假体辅助通信的先进辅助设备 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11405733B2 (zh) |
EP (1) | EP3701729A4 (zh) |
CN (1) | CN111226445A (zh) |
WO (1) | WO2019082060A1 (zh) |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050086058A1 (en) * | 2000-03-03 | 2005-04-21 | Lemeson Medical, Education & Research | System and method for enhancing speech intelligibility for the hearing impaired |
US20070027676A1 (en) * | 2005-04-13 | 2007-02-01 | Cochlear Limited | Recording and retrieval of sound data in a hearing prosthesis |
US20080144867A1 (en) * | 2006-12-14 | 2008-06-19 | Siemens Audiologische Technik Gmbh | Method for side definition during adjustment of hearing aids |
WO2009127014A1 (en) * | 2008-04-17 | 2009-10-22 | Cochlear Limited | Sound processor for a medical implant |
CA2911612A1 (en) * | 2012-04-11 | 2013-10-11 | Apple Inc. | Audio device with a voice coil channel and a separately amplified telecoil channel |
US20130343585A1 (en) * | 2012-06-20 | 2013-12-26 | Broadcom Corporation | Multisensor hearing assist device for health |
US20140146987A1 (en) * | 2012-11-23 | 2014-05-29 | Oticon A/S | Listening device comprising an interface to signal communication quality and/or wearer load to wearer and/or surroundings |
US20140336448A1 (en) * | 2013-05-13 | 2014-11-13 | Rami Banna | Method and System for Use of Hearing Prosthesis for Linguistic Evaluation |
US20150119635A1 (en) * | 2013-10-25 | 2015-04-30 | Johan Gustafsson | Alternate stimulation strategies for perception of speech |
CN105072552A (zh) * | 2006-12-21 | 2015-11-18 | Gn瑞声达A/S | 具有用户接口的听力设备 |
US20150341729A1 (en) * | 2014-05-23 | 2015-11-26 | Werner Meskens | System and Method for Providing a Notification of Device Orientation |
CN105376684A (zh) * | 2014-08-07 | 2016-03-02 | 奥迪康有限公司 | 包括植入部分的具有改善的信号处理的助听系统 |
US20160088406A1 (en) * | 2014-09-19 | 2016-03-24 | Yves Wernaers | Configuration of Hearing Prosthesis Sound Processor Based on Visual Interaction with External Device |
US20160144178A1 (en) * | 2014-11-21 | 2016-05-26 | Martin Evert Gustaf Hillbratt | Systems and methods for non-obtrusive adjustment of auditory prostheses |
US20160331964A1 (en) * | 2015-05-14 | 2016-11-17 | Cochlear Limited | Functionality migration |
US20170064463A1 (en) * | 2015-08-26 | 2017-03-02 | Bose Corporation | Hearing Assistance |
CN106797519A (zh) * | 2014-10-02 | 2017-05-31 | 索诺瓦公司 | 在自组织网络和对应系统中在用户之间提供听力辅助的方法 |
US20170165487A1 (en) * | 2005-04-29 | 2017-06-15 | Christopher van den Honert | Focused stimulation in a medical stimulation device |
EP3188507A1 (en) * | 2015-12-30 | 2017-07-05 | GN Resound A/S | A head-wearable hearing device |
CN206452547U (zh) * | 2016-12-26 | 2017-08-29 | 重庆金康特智能穿戴技术研究院有限公司 | 具有助听器功能的智能穿戴设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU775802B2 (en) | 2000-01-13 | 2004-08-19 | Phonak Ag | Hearing aid remote control and a hearing aid with a remote control of this type |
DE102005010625A1 (de) | 2005-03-08 | 2006-09-14 | Phonak Ag | Fernsteuerung für ein Hörgerät |
US7639828B2 (en) * | 2005-12-23 | 2009-12-29 | Phonak Ag | Wireless hearing system and method for monitoring the same |
KR100977525B1 (ko) | 2008-04-11 | 2010-08-23 | 주식회사 뉴로바이오시스 | 적외선 통신 방식의 귓속형 인공 와우 장치 |
EP2521377A1 (en) * | 2011-05-06 | 2012-11-07 | Jacoti BVBA | Personal communication device with hearing support and method for providing the same |
US20140135871A1 (en) | 2012-11-15 | 2014-05-15 | Werner Meskens | External Unit of an Implanted Medical Device |
EP2840807A1 (en) * | 2013-08-19 | 2015-02-25 | Oticon A/s | External microphone array and hearing aid using it |
WO2015183263A1 (en) | 2014-05-28 | 2015-12-03 | Advanced Bionics Ag | Auditory prosthesis system including sound processor apparatus with position sensor |
EP3202161B1 (en) | 2014-09-30 | 2021-11-10 | Cochlear Limited | User interfaces of a hearing device |
KR101585793B1 (ko) | 2014-09-30 | 2016-01-15 | 정금필 | 스마트 보청기 |
EP3057340B1 (en) * | 2015-02-13 | 2019-05-22 | Oticon A/s | A partner microphone unit and a hearing system comprising a partner microphone unit |
US10543371B2 (en) | 2015-06-30 | 2020-01-28 | Cochlear Limited | Systems and methods for alerting auditory prosthesis recipient |
US10575108B2 (en) * | 2015-08-24 | 2020-02-25 | Cochlear Limited | Prosthesis functionality control and data presentation |
-
2018
- 2018-10-22 US US16/758,539 patent/US11405733B2/en active Active
- 2018-10-22 CN CN201880068125.4A patent/CN111226445A/zh active Pending
- 2018-10-22 WO PCT/IB2018/058217 patent/WO2019082060A1/en unknown
- 2018-10-22 EP EP18869629.8A patent/EP3701729A4/en active Pending
-
2022
- 2022-07-31 US US17/878,029 patent/US20220369050A1/en active Pending
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050086058A1 (en) * | 2000-03-03 | 2005-04-21 | Lemeson Medical, Education & Research | System and method for enhancing speech intelligibility for the hearing impaired |
US20070027676A1 (en) * | 2005-04-13 | 2007-02-01 | Cochlear Limited | Recording and retrieval of sound data in a hearing prosthesis |
US20170165487A1 (en) * | 2005-04-29 | 2017-06-15 | Christopher van den Honert | Focused stimulation in a medical stimulation device |
US20080144867A1 (en) * | 2006-12-14 | 2008-06-19 | Siemens Audiologische Technik Gmbh | Method for side definition during adjustment of hearing aids |
CN105072552A (zh) * | 2006-12-21 | 2015-11-18 | Gn瑞声达A/S | 具有用户接口的听力设备 |
WO2009127014A1 (en) * | 2008-04-17 | 2009-10-22 | Cochlear Limited | Sound processor for a medical implant |
CA2911612A1 (en) * | 2012-04-11 | 2013-10-11 | Apple Inc. | Audio device with a voice coil channel and a separately amplified telecoil channel |
US20130343585A1 (en) * | 2012-06-20 | 2013-12-26 | Broadcom Corporation | Multisensor hearing assist device for health |
CN103945315A (zh) * | 2012-11-23 | 2014-07-23 | 奥迪康有限公司 | 包括信号通信质量和/或佩戴者负荷及佩戴者和/或环境接口的听音装置 |
US20140146987A1 (en) * | 2012-11-23 | 2014-05-29 | Oticon A/S | Listening device comprising an interface to signal communication quality and/or wearer load to wearer and/or surroundings |
US20140336448A1 (en) * | 2013-05-13 | 2014-11-13 | Rami Banna | Method and System for Use of Hearing Prosthesis for Linguistic Evaluation |
US20150119635A1 (en) * | 2013-10-25 | 2015-04-30 | Johan Gustafsson | Alternate stimulation strategies for perception of speech |
US20150341729A1 (en) * | 2014-05-23 | 2015-11-26 | Werner Meskens | System and Method for Providing a Notification of Device Orientation |
CN105376684A (zh) * | 2014-08-07 | 2016-03-02 | 奥迪康有限公司 | 包括植入部分的具有改善的信号处理的助听系统 |
US20160088406A1 (en) * | 2014-09-19 | 2016-03-24 | Yves Wernaers | Configuration of Hearing Prosthesis Sound Processor Based on Visual Interaction with External Device |
CN106797519A (zh) * | 2014-10-02 | 2017-05-31 | 索诺瓦公司 | 在自组织网络和对应系统中在用户之间提供听力辅助的方法 |
US20160144178A1 (en) * | 2014-11-21 | 2016-05-26 | Martin Evert Gustaf Hillbratt | Systems and methods for non-obtrusive adjustment of auditory prostheses |
US20160331964A1 (en) * | 2015-05-14 | 2016-11-17 | Cochlear Limited | Functionality migration |
US20170064463A1 (en) * | 2015-08-26 | 2017-03-02 | Bose Corporation | Hearing Assistance |
EP3188507A1 (en) * | 2015-12-30 | 2017-07-05 | GN Resound A/S | A head-wearable hearing device |
CN206452547U (zh) * | 2016-12-26 | 2017-08-29 | 重庆金康特智能穿戴技术研究院有限公司 | 具有助听器功能的智能穿戴设备 |
Non-Patent Citations (3)
Title |
---|
NIKOLAI BISGAARD;冯定香;苏俊;: "欧洲助听器验配指南" * |
曾伟浩: "《数字助听器听觉场景是被和自动增益控制算法研究及实现》", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
苏路: "聋儿单侧植入 人工耳蜗对侧佩戴助听器后言语识别率研究" * |
Also Published As
Publication number | Publication date |
---|---|
US20200344560A1 (en) | 2020-10-29 |
US20220369050A1 (en) | 2022-11-17 |
WO2019082060A1 (en) | 2019-05-02 |
EP3701729A4 (en) | 2021-12-22 |
EP3701729A1 (en) | 2020-09-02 |
US11405733B2 (en) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11917375B2 (en) | Prosthesis functionality control and data presentation | |
US20220295196A1 (en) | Advanced artificial sound hearing training | |
US20160366527A1 (en) | Hearing device comprising a signal generator for masking tinnitus | |
US10003895B2 (en) | Selective environmental classification synchronization | |
US20240179479A1 (en) | Audio training | |
EP3930346A1 (en) | A hearing aid comprising an own voice conversation tracker | |
AU2010347009B2 (en) | Method for training speech recognition, and training device | |
CN113164746A (zh) | 动态虚拟听力建模 | |
US20200296523A1 (en) | Acoustic spot identification | |
US20220369050A1 (en) | Advanced assistance for prosthesis assisted communication | |
US11969556B2 (en) | Therapeutic sound through bone conduction | |
CN116171181A (zh) | 新型耳鸣管理技术 | |
WO2020260942A1 (en) | Assessing responses to sensory events and performing treatment actions based thereon | |
US11902746B2 (en) | Ear level auditory system | |
US20230269013A1 (en) | Broadcast selection | |
US20230300508A1 (en) | Wireless earphone | |
WO2023119076A1 (en) | Tinnitus remediation with speech perception awareness | |
Kaplan | Technology for Aural |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |