CN113498006B - 用于运行听力系统的方法和听力系统 - Google Patents

用于运行听力系统的方法和听力系统 Download PDF

Info

Publication number
CN113498006B
CN113498006B CN202110356193.4A CN202110356193A CN113498006B CN 113498006 B CN113498006 B CN 113498006B CN 202110356193 A CN202110356193 A CN 202110356193A CN 113498006 B CN113498006 B CN 113498006B
Authority
CN
China
Prior art keywords
sub
information
environment
hearing device
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110356193.4A
Other languages
English (en)
Other versions
CN113498006A (zh
Inventor
J.皮希尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sivantos Pte Ltd
Original Assignee
Sivantos Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sivantos Pte Ltd filed Critical Sivantos Pte Ltd
Publication of CN113498006A publication Critical patent/CN113498006A/zh
Application granted granted Critical
Publication of CN113498006B publication Critical patent/CN113498006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/609—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of circuitry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange

Abstract

本发明涉及一种用于运行听力系统(2)的方法，其中，听力系统具有由用户(N)佩戴的听力装置(4)，其中，听力系统具有附加装置(6)，附加装置具有照相机(8)，借助照相机记录当前环境(U)的实时图像(E)，其中，附加装置具有屏幕(10)，在屏幕上输出实时图像，使得在屏幕上显示环境(U)，其中，听力装置向附加装置传送信息(I)，该信息与环境(U)的子区域(T)相关联，并且因此是关于子区域的信息，其中，还在屏幕上显示信息，方式是，生成图像元素(B)并将其与实时图像叠加，使得用户(N)可以识别到，信息与环境的哪个子区域相关联。此外，本发明还涉及一种听力系统和一种计算机程序产品。

Description

用于运行听力系统的方法和听力系统
技术领域
本发明涉及一种用于运行听力系统的方法和一种相应的听力系统。
背景技术
听力系统具有由用户佩戴在耳朵上或耳朵内的听力装置。听力装置借助一个或多个麦克风接收来自环境的声音，并在此产生电输入信号，该电输入信号通过听力装置的听筒再次被转换为声音，并将其输出给用户。借助信号处理器将电输入信号处理为针对听筒的电输出信号，以使听觉体验和对声音的感知适应用户的个人需求。通常，听力装置用于为听力损伤的用户提供保障，即补偿用户的听力缺失。于是，信号处理器对电输入信号进行处理，以补偿听力缺失。此外，听力系统通常具有附加装置，该附加装置与听力装置相连，以便交换数据。
例如，EP 3 120 578 B1中描述了一种具有推荐引擎的系统，该推荐引擎可以通过移动设备与助听器设备进行通信。
EP 2 928 214A1中描述了一种双耳听力辅助系统，其具有两个听力辅助装置和能够与听力辅助装置进行通信的用户界面。
US 9,669,296 B1描述了一种用于提供具有平行现实的游戏的方法。其中描述了一种用于将现实世界中的活动与基于位置的平行游戏现实关联起来的系统和方法。
US 9,539,498 B1描述了一种用于将现实世界中的动作映射到具有平行游戏现实的虚拟世界的方法。虚拟世界的体验会受到现实世界中的行动的影响。
发明内容
在这个背景下，本发明要解决的技术问题是，改进听力系统的运行，并且使其对于用户尽可能直观地实施。听力系统、特别是听力装置的运行对于用户来说应当尽可能低开销。
根据本发明，上述技术问题通过具有根据本发明的特征的方法、通过具有根据本发明的特征的听力系统以及通过具有根据本发明的特征的计算机程序产品来解决。有利的设计方案、扩展和变型是也是本发明的内容。此外，上述技术问题特别是分别独立地通过听力装置和通过附加装置来解决，听力装置和附加装置分别被设计为用于执行该方法。结合该方法的实施也比照地适用于听力系统、计算机程序产品、听力装置和附加装置，反之亦然。就下面描述的方法的方法步骤而言，听力系统、听力装置和附加系统的有利的设计方案特别是通过将其设计为用于实施这些方法步骤中的一个或多个来产生的。
该方法用于运行听力系统。听力系统具有由用户佩戴的听力装置。此外，该听力系统还具有附加装置，该附加装置具有照相机，借助该照相机记录当前环境的实时图像。附加装置具有屏幕，在该屏幕上输出实时图像，以便在该屏幕上特别是实时地显示环境。因此，该方法尤其还用于运行听力装置和附加装置。环境是真实的并且因此是一种现实，实时图像就是这种现实的图像。
特别地，本发明的核心是，通过将环境与听力装置的信息、即数据关联起来，在附加装置上生成增强现实(augmented reality)。为此，听力装置向附加装置传送信息，该信息与环境的子区域相关联，并且因此是关于该子区域的信息。然后，在屏幕上显示该信息，方式是，生成图像元素并将其与实时图像叠加，使得用户可以识别到，该信息与环境的哪个子区域相关联。因此，听力装置的信息作为虚拟图像投射到真实环境的图像中。由此产生以下优点，即在屏幕上为用户清楚地阐明了环境与听力装置的信息之间的关系，并且用户可以特别直观地了解听力装置的运行。
“关联”特别是被理解为，信息描述了子区域或其中的对象的特征或方面，或者描述了听力装置的用于与子区域或其中的对象交互的设置。换言之，该信息通常是环境信息或听力装置信息，并且特别是表明，听力装置对来自环境的子区域的声音信号如何进行评价(环境信息)或如何进行处理(听力装置信息)。信息例如是听力装置的运行参数的具体值并且因此是听力装置信息；或者是环境的子区域的特征的值，具体地是来自该子区域的声音信号的值，并且因此是环境信息。
然而，信息的具体实施方式首先并不重要，更重要的是，信息以特定的方式在屏幕上显示，即不是简单地作为不参照环境的纯数据，而是作为叠加，使得实时图像中的信息在视觉上被分配到与信息相关联的那个环境子区域。为此，将信息转化为图像元素以进行显示，该图像元素与实时图像叠加，从而在屏幕上显示出增强现实，其中实时图像是现实，而图像元素、即信息是这个现实的扩展。在这个意义上，实时图像是真实的，因为其元素是由照相机采集的，而图像元素是虚拟的，因为该图像元素不是由照相机采集的，而是附加生成的，优选地是由附加装置的控制单元生成的。
环境通常被划分为多个子区域，使得实时图像也相应地被划分为多个图像部分，其中每个图像部分表示一个子区域，反之亦然。相应的子区域例如是被对象、例如人所占据的空间区域，或者是角区域或立体角区域，例如环境从用户开始被划分为多个角区域，或者子区域是环境的以其他方式至少部分限定的区域。子区域相对于其余环境的准确划界特别是取决于信息的类型。
适合地，图像元素是指向子区域或在子区域内或子区域处指示的标记，例如符号、图标、箭头、十字、圆、线等。替换地，图像元素是子区域内或子区域处的文字元素；围绕子区域的框架；围绕子区域的边框；实时图像的示出子区域的那个部分的着色、透明度、图像清晰度或对比度；或者是用于标记子区域的线条。前面提到的实施方式的组合也是合适的。图像元素的具体的实施方式特别是取决于所显示的信息的类型。
特别地，本发明的出发点是观察到，听力装置通常具有一个或多个操作元件，借助这些操作元件，用户可以调节听力装置的一个或多个运行参数。这种运行参数的例子是听力装置的放大系数、用于空间聚焦的听力装置的定向麦克风的取向或定向波瓣的宽度等。操作元件的例子是开关、按钮、旋钮和拨动开关。替换地或附加地，可以通过单独的附加装置，例如借助智能手机来调节运行参数。
特别地，本发明的另一个出发点是观察到，为了演示听力装置及其在运行中的功能范围，例如在产品介绍的框架中使用所谓的演示应用程序，以便为潜在的用户演示听力装置在不同情况下的运行。
由于听力装置的尺寸，通过听力装置本身上的操作元件来设置运行参数通常只能有限地实现并且还不一定是直观的，因为改变的效果并不能直接看到。对用户的反馈，即在当前时间点如何设置一个或多个运行参数，也只能有限地实现，并且对于用户来说也不一定是舒适或能够理解的。
相比于听力装置上的操作元件，用于设置运行参数的附加装置提供了更高的舒适度和改进的范围，并且还通过显示屏提供更广泛的反馈。特别是在智能手机作为附加装置的情况下，借助在附加装置上运行的计算机程序产品、例如应用程序，有利地可以实现对听力装置的运行的改进的设置和监控。例如，附加装置在屏幕上指示，听力装置的多个运行程序中的哪个被激活，或者可以实现对运行参数、例如空间焦点的设置，并且由此还可以以简单的方式实现对听力装置的功能范围的演示。
但是，这里的缺点在于，还是缺少与实际环境的关系。听力装置在运行中的设置和特性没有与用户的环境直接关联，并且听力装置在运行中与环境的交互对于用户来说不能被容易地识别到。换言之，用户必须总是采取一定的思考努力，以将所进行的设置以及其效果与实际环境关联起来。例如，虽然为用户在附加装置上指示，听力装置的定向波瓣以例如相对于视线方向的特定角度取向，但是该信息与环境并不直接相关，从而对于用户来说并不能识别到是涉及到环境中的哪个子区域。
在此，现在有利地还实际地，即通过屏幕上的增强现实为用户指示出信息与环境的子区域的关联。在此，该信息被有利地指示并与实时图像、即实际环境的图像叠加，使得用户可以直接并直观地、即特别是不需要任何思考努力就能识别到该信息与环境之间是什么关系。
优选地，听力装置用于为听力损伤用户提供保障。为此，听力装置具有至少一个麦克风，其从环境中接收声音并产生电输入信号。该电输入信号被馈送给听力装置的信号处理器以进行修改。信号处理器优选地是控制单元的一部分。修改特别是根据用户的个体听力图进行，该听力图与听力装置相关联，从而对用户的个体听力缺失进行补偿。信号处理器输出电输出信号作为结果，然后通过听力装置的听筒再次将该电输出信号转换为声音，并输出给用户。
优选地，听力装置是具有两个独立装置的双耳听力装置，独立装置分别具有至少一个麦克风和听筒，并且被用户佩戴在头部的不同侧面，即一个佩戴在左耳处或左耳中，一个佩戴在右耳处或在右耳中。除了这种双耳听力装置，如下的实施方式也是可能的和合适的，其中听力装置具有如前面描述的两个独立装置，然而其中只有一个具有听筒，而另一个不具有听筒。
附加装置优选地是将照相机和屏幕结合在一起的单个装置。在合适的实施方式中，附加装置为此是智能手机。然而替换地，附加装置具有照相机和屏幕作为两个单独的装置的实施方式也是合适的。
为了传输信息，听力装置和附加装置分别具有用于数据传输的接口、例如蓝牙接口，并且通过这些接口相互连接或耦合。然后在数据传输中，至少将信息从听力装置传输到附加装置。
有利地，确定听力装置和附加装置彼此之间的相对位置，以便能够以这种方式特别准确地再现信息与子区域的关联。例如，借助合适的传感器、例如陀螺仪、磁场传感器、加速度传感器或GPS系统，来确定听力装置和附加装置的各自的位置，并且在此基础上确定相对位置。为了改善准确性，适当地，例如借助合适的传感器、例如加速度传感器，来测量听力装置和附加装置的各自的取向。然而，原则上，在没有附加的测量的条件下估计相对位置的实施方式也是合适的。例如，简单地假定，照相机与用户的视线方向一致地进行取向和/或用户的位置与照相机的位置等同。替换地，例如，对于智能手机作为附加装置的情况假定，用户将智能手机保持在其前方小于10厘米的距离处并且大致保持与眼睛水平，从而假定，附加装置例如在视线方向上位于听力装置前方20厘米并且照相机在视线方向上取向。对于听力装置，假定其佩戴在用户的一只耳朵或两只耳朵中或上。
在有利的实施方式中，信息是在子区域中存在声源。听力装置识别到声源的存在，并且将其传送给附加装置，以在实时图像中进行显示。在实时图像中，图像元素然后标记子区域，以在该子区域中指示声源的存在。由此，用户可以在屏幕上直接识别到，听力装置在环境中的哪里识别到了声源。听力装置如何识别声源目前并不重要。为了识别声源，听力装置适宜地具有相应设计的分析单元，例如作为听力装置的控制单元的一部分。
适宜地，听力装置不仅识别到声源的单纯存在，而且还能识别到声源的位置、特别是声源相对于听力装置的位置，即声源所在的子区域。适宜地，还将该位置传送给附加装置，使得附加装置在实时图像中的相应位置处指示存在。用于显示在特定子区域内存在声源的图像元素例如是箭头或框架。
附加地，听力装置还适宜地确定声源的类别，即声源是什么类型的。为此，听力装置具有例如分类器，例如作为控制单元的一部分。麦克风的输入信号被馈送给分类器，并在那里进行分类。类别是适宜地在实时图像的相应位置处所指示的信息。符号或文字元素特别适合于显示声源的类别。
在合适的实施方式中，声源是用户的对话伙伴，并且借助图像元素在实时图像中标记对话伙伴本身。换言之，声源有被听力装置识别为“对话伙伴”的类别，并且然后由附加装置进行指示。由此用户可以通过屏幕立即识别到，听力装置在环境中的哪里识别到对话伙伴。
在有利的实施方式中，在实时图像中指示出声源相对于用户的视线方向所处的角度。例如，角度被显示为两条线的对或箭头，一条是视线方向，另一条是从用户到声源的方向。替换地或附加地，角度简单地作为数字在声源附近进行指示，使得对于用户来说，该角度尽可能明确地与该声源相关联。
在有利的实施方式中，信息是子区域的信噪比，简称SNR。听力装置测量子区域中的SNR，例如借助作为控制单元的一部分的分析单元。然后，SNR作为信息被传送给附加装置以在实时图像中进行显示。然后，图像元素指示SNR，更准确地说是指示针对子区域的SNR。相应地，适宜地分别独立地针对多个不同的子区域测量SNR，并且由此可以说在屏幕上为实时图像叠加SNR图，从而用户可以直接针对环境的相应子区域读出SNR。
在有利的实施方式中，信息指示，是否针对子区域激活了听力装置的噪声抑制。噪声抑制例如是听力装置的控制单元的一部分，并且被设计为，其在激活状态下抑制输入信号中的噪声。特别地，可以对一个或多个子区域选择性地激活噪声抑制，从而可以在不同程度上抑制不同的子区域和处于其中的噪声源。现在，图像元素指示，是否针对相应的子区域激活了噪声抑制。
在适宜的实施方式中，信息不仅指示了，是否针对子区域激活了噪声抑制，而且还更精确地指示了，噪声抑制以何种强度对子区域的噪声进行抑制。为此，例如衰减系数作为文字元素在实时图像中进行显示。
在有利的实施方式中，图像元素是被染色的或透明的平面或者两者都有，其在实时图像中与子区域叠加，以便依据信息染色地或透明地或以这两种方式显示该子区域。离散的显示是合适的，例如方式是，在阈值以上进行染色，而在阈值以下不进行染色；或者连续的显示也是合适的，其中例如以取决于信息的具体值的颜色强度进行染色。例如，环境中SNR低的子区域在屏幕中被染成绿色，SNR高的子区域被染成红色。特别地，在对实时图像的整个平面染色时，为了确保后面的实时图像的最佳的可识别性，透明的图像元素是适宜的。“透明”特别是被理解为透明度<100％。
上面描述的实施方式主要涉及作为环境信息的信息，即作为环境的特征的信息，并且该信息是由听力装置通过分析环境中的声音信号确定的。对于听力装置信息，首先不一定需要这种对环境的分析，而是这种信息的显示旨在向用户阐明听力装置相对于环境的特性。听力装置信息的显示对于被设计为定向听筒并且为此具有麦克风的听力装置是特别有利的，该麦克风被设计为定向麦克风，以便将来自特定方向、即来自特定子区域的声音信号相对于来自其他方向、即来自其他子区域的声音信号突出。
在有利的实施方式中，听力装置可以在非定向运行模式与定向运行模式之间切换。在定向运行模式中，图像元素指示将环境的哪个子区域相对于其余环境突出。反之，在非定向运行模式中，则不显示任何图像元素，或者图像元素指示没有环境的子区域被突出。由此，在屏幕上，用户可以直接识别到，听力装置是处于非定向运行模式(也就是：全向运行)还是处于定向运行模式(也就是：定向运行，例如单向或多向运行)。在后一种情况下，用户也可以直接识别到，定向麦克风对准哪个子区域或哪些子区域。
在有利的实施方式中，听力装置具有麦克风，该麦克风被设计为定向麦克风，其具有至少一个定向波瓣，定向波瓣对准子区域并将其覆盖，从而来自该子区域的声音信号相对于来自其他子区域的声音信号被突出。信息是定向波瓣的尺寸、优选地是其宽度，或者是定向波瓣的取向、优选地是其方向，或者两者都有。图像元素表示定向波瓣，并且由此在实时图像中指示，环境的哪个子区域被定向波瓣覆盖，并相应地将来自哪个子区域的声音信号强调。图像元素优选地是定向波瓣的视觉代表，具有相应的尺寸和/或取向。然而，例如简单的线条或其他表示也是合适的。由于用户在实际环境中看不到定向波瓣，因此以这种方式通过屏幕向用户提供了定向波瓣以及其在环境中的位置的直观显示，使得用户直接且无需进一步努力就能够识别到，定向波瓣相对于环境具有何种尺寸和/或取向，并且相应地能够识别到，涉及到环境中的哪些子区域以及其中可能涉及到哪些声源。
优选地，附加装置的屏幕同时还被设计为输入装置，借助输入装置可以设置听力装置的一个或多个运行参数。以这种方式，也实现了特别直观的操作，以该操作可以以简单的方式设置听力装置。根据实时图像和叠加在上面的信息，用户可以直接识别到相应设置的效果。例如，用户可以在实时图像中直接设置定向波瓣的尺寸或取向或这两者。
同样地，如下实施方式也是合适的，其中，除了作为输入装置的屏幕，替换地或附加地，附加装置或听力装置具有一个或多个操作元件，以设置听力装置的一个或多个运行参数。然后，有利地用户可以直接在屏幕上识别到借助这些操作元件进行设置的效果。
如下的实施方式也是有利的，其中将化身与实时图像叠加，以便在其中指示用户在环境中的位置。因此，化身是用户在屏幕上的虚拟表现，并且由此将用户定位在增强现实中。如果用户和照相机位于屏幕的不同面，则化身的定位尤其仅是一个近似值，如果附加装置足够接近听力装置，例如在小于0.5米的距离内，这通常是足够的。
在有利的实施方式中，听力装置接收来自环境的声音信号，并且作为在附加设备上激活的演示的输入信号。演示例如用于阐明或解释听力装置的功能，或实现利用听力装置在环境中的训练或听力训练。例如，如下实施方式是合适的，其中在演示的框架中为用户提供任务，他或她要解决这个任务，例如通过自己的行为和/或借助相应地使用或操作听力装置。示例性的演示为用户提供任务，即主持两个人之间的对话，使得他们在对话时在容忍度内具有平等的对话份额。例如，对于听力训练，为用户提供任务，即在环境中找出特定的声音情况、例如对话，或特定的声音类型、例如鸟、人或现场音乐。
根据本发明的听力系统被设计为用于执行如前面描述的方法。优选地，听力系统为此具有控制单元。在控制单元中，特别是通过编程技术或电路技术或其组合来实现该方法。例如，控制单元为此被设计为微处理器或ASIC或其组合。控制单元适宜地被分配到听力装置和附加装置上。原则上，上面描述的方法步骤在很大程度上可以任意地分配到附加装置和听力装置上。
根据本发明的计算机程序产品包含可执行的程序，该程序在安装到如上面描述的听力系统上时或之后，自动执行如上面描述的方法。该程序可以安装在听力装置上也可以安装在附加装置上或者在两者上都安装。计算机程序产品是用于安装在附加装置上的应用程序的实施方式是特别适合的。附加装置借助应用程序接收听力装置的信息，并据此生成合适的图像元素，然后将该图像元素与来自照相机的实时图像叠加，以在屏幕上显示增强现实。
附图说明
下面参照附图更详细地解释实施例。在附图中分别示意性地：
图1示出了用户和听力系统，
图2示出了根据图1的听力系统，
图3示出了根据2的听力系统的、具有增强的实时图像的附加装置，
图4至图10分别示出了根据图3的、具有增强的实时图像的变型的附加装置。
具体实施方式
下面参照附图描述用于运行听力系统2的方法和这种听力系统2。图1中示出了听力系统2的实施例。听力系统2具有由用户N佩戴的听力装置4，例如如图2中所示。此外，听力系统2具有附加装置6，该附加装置6具有照相机8，借助照相机8记录当前环境U的实时图像E。附加装置6具有屏幕10，在屏幕10上输出实时图像E，使得在屏幕10上显示环境U。在图2中，从正面示出了附加装置6，因此可以看到屏幕10，而照相机8位于附加装置6的背面，因此没有示出。
在此，听力装置4用于为听力损伤的用户N提供保障。为此，听力装置4具有至少一个麦克风12，其从环境U中接收声音并产生电输入信号。该电输入信号被馈送到听力装置4的未详细示出的信号处理器以进行修正。在此，信号处理器是听力装置2的控制单元14的一部分。信号处理器输出电输出信号作为结果，然后通过听力装置4的听筒16再次将该电输出信号转换为声音，并将其输出给用户N。在此，听力装置4甚至是双耳听力装置，如能够在图1中看到地其有两个独立装置，其分别具有至少一个麦克风12和至少一个听筒16，并且由用户N佩戴在头部的不同侧面，即一个佩戴在左耳处或左耳中，一个佩戴在右耳处或右耳中。
在此，附加装置6是将照相机8和屏幕10组合在一起的单个装置。为此，附加装置6尤其是智能手机。在未示出的替换方案中，附加装置6具有照相机8和屏幕10作为两个独立的装置。
为了传输信息，听力装置4和附加装置6分别具有用于数据传输的接口18、例如蓝牙接口，并通过这些接口18相互连接或耦合。然后在数据传输中，至少将信息从听力装置4传输到附加装置6。例如从两个独立装置分别向附加装置6进行数据传输，或者如图2中所示，从一个独立装置传输到另一个独立装置，并且从后者汇集地传输到附加装置6。然而，信息I不一定来源于两个独立装置，而是根据信息I的类型，也可能仅由其中一个独立装置产生。
在所示的实施例中，通过将环境U与来自听力装置4的信息I、即数据关联，在附加装置6上生成增强现实(augmented reality)。为此，听力装置4向附加装置6传送信息I，信息I与环境U的子区域T相关联，并且因此是关于该子区域T的信息I。然后在屏幕10上显示信息I，方式是，生成图像元素B并将其与实时图像E叠加，使得用户N可以识别到，信息I与环境U的哪个子区域T相关联。因此，来自听力装置4的信息I作为虚拟图像被投射到真实环境U的图像中。由此，在显示屏幕10上向用户N阐明了环境U与来自听力装置4的信息I之间的关系，并且进一步为用户N提供了直观了解听力装置4运行的可能。
在此，信息I通常描述了子区域T或其中的对象的特征或方面，或听力装置4与子区域T或其中的对象交互的设置。因此，信息I是环境信息或听力装置信息，并且表明，听力装置4对来自环境U的子区域T的声音信号如何进行评价(环境信息)或如何进行处理(听力装置信息)。信息I例如是听力装置4的运行参数的具体值并且因此是听力装置信息；或者是环境U的子区域T的特征的值，具体地是来自该子区域T的声音信号的值并且因此是环境信息。
信息I以特定的方式在显示屏幕10上显示，即不是简单地作为不参照环境U的纯数据，而是作为叠加，使得实时图像E中的信息I在视觉上被分配到与信息I相关联的那个环境U子区域T中。为此，将信息I转化为图像元素B以进行显示，该图像元素与实时图像E叠加，从而在屏幕10上显示出增强现实，其中实时图像E是现实，而图像元素B、即信息I是这个现实的扩展。在这个意义上，实时图像E是真实的，因为其元素是由照相机8采集的，而图像元素B是虚拟的，因为其不是由照相机采集的，而是附加生成的，在此是由附加装置6的控制单元20生成的。
环境U通常被划分为多个子区域T，使得实时图像E也相应地被划分为多个图像部分，其中每个图像部分表示一个子区域T，反之亦然，从而在附图中，为了简单起见，也将图像部分标记为子区域T。相应的子区域T例如是被对象、例如人所占据的空间区域，或者是角区域或立体角区域，例如环境U从用户N开始被划分为多个角区域，或者子区域T是环境U的以其他方式至少部分限定的区域。子区域T相对于其余环境U的准确划界特别是取决于信息I的类型。
图像元素B例如是指向子区域T或在子区域T内或子区域T处指示的标记，例如符号、图标、箭头、十字、圆、线等。替换地，图像元素B是子区域T内或子区域T处的文字元素；围绕子区域T的框架；围绕子区域T的边框；实时图像E的示出子区域T的那个部分的着色、透明度、图像清晰度或对比度；或者是用于标记子区域T的线条。前面提到的实施方式的组合也是可能的以及合适的。附图中示出了图像元素B的不同示例。
在可能的实施方式中，确定听力装置4和附加装置6彼此之间的相对位置，以便能够以这种方式特别准确地再现信息I与子区域T的关联。然而，原则上，在没有附加的测量的条件下估计相对位置的实施方式也是可以的。例如，对于智能手机作为附加装置6的情况假定，如图2所示，用户N将智能手机保持在其前方小于10厘米的距离处并且大致保持与眼睛水平，从而假定，附加装置6例如在视线方向R上位于听力装置4前方20厘米。同样如图2所示，对于听力装置4，假定其佩戴在用户N的一只耳朵或两只耳朵上。
图3中示出了一个实施方式，其中信息I是在子区域T中存在声源22。听力装置4识别到声源22的存在，并且将其传送给附加装置6，以在实时图像E中进行显示。在实时图像中，图像元素B然后标记子区域E，以在该子区域中指示声源22的存在。由此，用户N可以在屏幕B上直接识别到，听力装置4在环境U中的哪里识别到了声源22。在图3的实施例中，听力装置4附加地还识别声源相对于听力装置4的位置，即声源22所在的子区域T。还将该位置传送给附加装置6，使得附加装置在实时图像E中的相应位置处指示存在。在图3中，用于显示声源22存在的图像元素B例如是围绕声源22的框架。
附加地，在图3的实施例中，听力装置4还确定声源22的类别，即声源22是什么类型的。为此，听力装置4具有例如未详细示出的分类器，例如作为控制单元14的一部分。类别是在实时图像E的相应位置处所指示的信息。为了显示声源22的类别，在图3中使用文字元素作为图像元素B，其在此明确地指示了类别“讲话者”(即对话伙伴)，并且将其布置在框架中，使得可以识别到该类别属于标记的声源22。
在图3中，声源22具体地是用户N的对话伙伴，并且借助多个图像元素B在实时图像E中标记用户N的对话伙伴本身。由此，通过屏幕10，用户N可以立即识别到，听力装置4在环境U中的哪里识别到对话伙伴。附加地，在图3中，在实时图像E中还利用另外的图像元素B来指示声源22相对于用户N的视线方向R所处的角度。在此，作为图像元素B，角度简单地作为数字在声源22附近进行指示，使得对于用户N来说，该角度尽可能明确地与该声源22相关联。替换地或附加地，在另外的实施方式中，角度被显示为两条线的对或箭头，一条是视线方向R，另一条是从用户N到声源22的方向，例如参见图6。
在图4所示的实施方式中，信息I是子区域T的信噪比，简称SNR。听力装置4测量子区域中的SNR，例如借助作为控制单元14的一部分的分析单元。然后，SNR作为信息I被传送给附加装置6以在实时图像E中进行显示。然后，图像元素B指示SNR，更准确地说是指示针对子区域T的SNR。相应地，分别独立地针对多个不同的子区域T测量SNR，并且由此可以说在屏幕10上为实时图像E叠加SNR图，从而用户N可以直接针对环境U的相应子区域T读出SNR。在图4中可以识别到子区域T，其是通过具有边框的平面作为图像元素B来标记的。在子区域T中存在对象，在此示例地是车辆，这在子区域T中导致比其余环境U中低的SNR。
图5中示出了一个实施方式，其中信息I指示，是否针对子区域T激活了听力装置4的噪声抑制24。噪声抑制在此是听力装置4的控制单元14的一部分，并且被设计为，其在激活状态下抑制输入信号中的噪声。可以对一个或多个子区域T选择性地激活噪声抑制24，从而可以在不同程度上抑制不同的子区域T和处于其中的噪声源。现在，图像元素B指示，是否针对相应的子区域T激活了噪声抑制。在未明确示出的实施方式中，信息I不仅指示了，是否针对子区域T激活了噪声抑制24，而且还更精确地指示了，噪声抑制24以何种强度对子区域T的噪声进行抑制。
在可能的实施方式中，图像元素B是被染色的或透明的平面或者两者都有，其在实时图像E中与子区域T叠加，以便依据信息I染色地或透明地或以这两种方式显示该子区域。例如，在图4中，环境U中SNR低的子区域T在屏幕10中被染成绿色，SNR高的子区域T被染成红色，由此具有车辆的子区域T相应地被染成红色，而实时图像E的其余部分被染成绿色。特别地，在对实时图像E的整个平面染色时，为了确保后面的实时图像E的最佳的可识别性，透明的图像元素B是适宜的。例如，在图5中，显示是离散的，使得激活了噪声抑制的那些子区域T与图像元素B叠加，图像元素B在此是在图5中显示为阴影线的颜色。反之，没有激活噪声抑制的那个子区域T不与图像元素B叠加。
目前描述的实施方式主要涉及作为环境信息的信息I，即作为环境U的特征的信息，并且该信息是由听力装置4通过分析环境U中的声音信号确定的。对于听力装置信息，首先不一定需要这种对环境U的分析，而是对这种信息I的显示旨在向用户N阐明听力装置4相对于环境U的特性。下面描述的是，在听力装置4被设计为定向听筒并且为此具有麦克风12的情况下的听力装置信息的显示，麦克风12被设计为定向麦克风，以便将来自特定方向、即来自特定子区域T的声音信号相对于来自其他方向、即来自其他子区域T的声音信号突出。
在图6和图7的实施例中，听力装置4可以在非定向运行模式与定向运行模式之间切换。图6示出了，在定向运行模式中，图像元素B指示将环境U的哪个子区域T相对于其余环境U突出。反之，在非定向运行模式中，则不显示任何图像元素，或者如图7中所示，图像元素B指示没有环境U的子区域7被突出。在屏幕10上，用户N可以直接识别到，听力装置4是处于非定向运行模式(也就是：全向运行)还是处于定向运行模式(也就是：定向运行，例如单向或多向运行)。在后一种情况下，用户N也可以直接识别到，定向麦克风对准哪个子区域T或哪些子区域T。
在一个实施方式中，听力装置4具有麦克风12，该麦克风具有至少一个定向波瓣，定向波瓣对准子区域T并将其覆盖，从而来自该子区域T的声音信号相对于来自其他子区域T的声音信号被突出。信息I例如是定向波瓣的尺寸A1、在此是其宽度，或者是定向波瓣的取向A2、在此是其方向。如图8和图9所示，图像元素B表示定向波瓣，并且由此在实时图像E中指示，环境U的哪个子区域T被定向波瓣覆盖，并相应地将来自哪个子区域T的声音信号强调。图像元素B在此是定向波瓣的视觉代表。然而，例如如图6所示的简单的线条或其他表示也是合适的。由于用户N在实际环境U中看不到定向波瓣，因此以这种方式通过屏幕10向用户N提供了定向波瓣以及其在环境U中的位置的直观显示，使得用户N直接且无需进一步努力就能够识别到，定向波瓣相对于环境具有何种尺寸和/或取向，并且相应地能够识别到涉及到环境U中的哪些子区域T以及其中可能涉及到哪些声源。
在图8和图9中，附加装置6的屏幕10同时还被设计为输入装置，借助输入装置可以设置听力装置4的一个或多个运行参数。根据实时图像E和叠加在上面的信息I，用户N可以直接识别到相应设置的效果。因此，在图8和图9中，用户N可以在实时图像E中直接设置定向波瓣的尺寸A1和取向A2，使得用户例如可以简单地将图8中在视线方向R上取向的波瓣取向到如图9中所示的另外的方向上。
在未明确示出的实施方式中，除了作为输入装置的屏幕10，替换地或附加地，附加装置6和/或听力装置4具有一个或多个操作元件，以设置听力装置4的一个或多个运行参数。然后，用户N可以直接在屏幕10上识别到借助这些操作元件进行设置的效果。
图10中示出了如下实施方式，其中将化身26与实时图像E叠加，以便在其中指示用户N在环境U中的位置。因此，化身26是用户N在屏幕10上的虚拟表现，并且由此将用户N定位在增强现实中。由于在所示情况下，用户N和照相机8位于屏幕10的不同面，因此化身26的定位仅是一个近似值，然而，由于附加装置6足够接近听力装置4，所以这已经足够了。
在未明确示出的实施方式中，听力装置4借助至少一个麦克风12接收来自环境U的声音信号，并作为输入信号用于在附加装置6上激活的演示。
所示的听力系统2被设计为用于执行如上面描述的方法。为此，听力系统2具有控制单元，如图1所示，该控制单元被分配到听力装置4和附加装置6上，并由其控制单元14、20构成。原则上，上面描述的方法步骤在很大程度上可以任意地分配到附加装置6和听力装置4上。
结合附图描述的方案也如所示的各种实施方式那样原则上是相互独立的，从而进一步的实施方式和实施例是由所描述的方案的其他组合产生的。
附图标记列表
2 听力系统
4 听力装置
6 附加装置
8 照相机
10 屏幕
12 麦克风
14 (听力装置的)控制单元
16 听筒
18 接口
20 (附加装置的)控制单元
22 声源
24 噪声抑制
26 化身
A1 尺寸
A2 取向
B 图像元素
E 实时图像
I 信息
N 用户
R 视线方向
T 子区域
U 环境

Claims (13)

1.一种用于运行听力系统(2)的方法，
-其中，所述听力系统(2)具有由用户(N)佩戴的听力装置(4)，
-其中，所述听力系统(2)具有附加装置(6)，所述附加装置具有照相机(8)，借助所述照相机(8)记录当前环境(U)的实时图像(E)，
-其中，所述附加装置(6)具有屏幕(10)，在所述屏幕(10)上为所述用户(N)显示所述当前环境(U)的实时图像(E)，
-其中，所述听力装置(4)向所述附加装置(6)传送信息(I)，所述信息(I)与环境(U)的子区域(T)相关联，并且因此是关于所述子区域(T)的信息(I)，
-其中，将所述信息(I)转化为图像元素(B)并将其与实时图像(E)叠加，使得所述用户(N)本人能够在所述屏幕(10)上看到所述图像元素(B)和所述实时图像(E)叠加，并且用户(N)能够识别到，所述信息(I)与环境(U)的哪个子区域(T)相关联。
2.根据权利要求1所述的方法，
其中，所述信息(I)是在子区域(T)中存在声源(22)，
其中，所述听力装置(4)识别到所述声源(22)的存在，
其中，在所述实时图像(E)中，所述图像元素(B)标记子区域(T)，以在所述子区域中指示所述声源(22)的存在。
3.根据权利要求2所述的方法，
其中，所述声源(22)是用户(N)的对话伙伴，并且借助所述图像元素(B)在所述实时图像(E)中标记对话伙伴本身。
4.根据权利要求2所述的方法，
其中，在所述实时图像(E)中指示所述声源(22)相对于用户(N)的视线方向(R)所处的角度。
5.根据权利要求1至4中任一项所述的方法，
其中，所述信息(I)是子区域(T)的信噪比，
其中，所述听力装置(4)测量子区域(T)的信噪比，
其中，所述图像元素(B)指示信噪比。
6.根据权利要求1至4中任一项所述的方法，
其中，所述信息(I)指示，是否针对子区域(T)激活了听力装置(4)的噪声抑制(24)，从而图像元素(B)指示，是否针对子区域(T)激活了噪声抑制(24)。
7.根据权利要求1至4中任一项所述的方法，
其中，所述图像元素(B)是被染色的平面或者透明的平面或者两者都有，其在所述实时图像(E)中与子区域(T)叠加，以便依据所述信息(I)染色地或透明地或以这两种方式显示所述子区域。
8.根据权利要求1至4中任一项所述的方法，
其中，所述听力装置(4)能够在非定向运行模式与定向运行模式之间切换，
其中，在所述定向运行模式中，所述图像元素(B)指示，将环境(U)的哪个子区域(T)相对于其余环境突出，
其中，在所述非定向运行模式中，不显示所述图像元素(B)，或者所述图像元素(B)指示，没有环境(U)的子区域(T)被突出。
9.根据权利要求1至4中任一项所述的方法，
其中，所述听力装置(4)具有麦克风(12)，所述麦克风被设计为具有至少一个定向波瓣的定向麦克风，所述定向波瓣对准子区域(T)并覆盖该子区域(T)，
其中，所述信息(I)是定向波瓣的尺寸(A1)或取向(A2)，或两者都有，
其中，所述图像元素(B)表示定向波瓣，并且由此在所述实时图像(E)中指示，环境(U)的哪个子区域(T)被定向波瓣覆盖。
10.根据权利要求1至4中任一项所述的方法，
其中，所述屏幕(10)同时被设计为输入装置，借助所述输入装置能够设置所述听力装置(4)的一个或多个运行参数。
11.根据权利要求1至4中任一项所述的方法，
其中，化身(26)与所述实时图像(E)叠加，以在其中指示用户(N)在环境(U)中的位置。
12.根据权利要求1至4中任一项所述的方法，
其中，所述听力装置(4)接收来自环境(U)的声音信号，并作为输入信号用于在附加装置(6)上激活的演示。
13.一种听力系统(2)，其被设计为用于执行根据权利要求1至12中任一项所述的方法。
CN202110356193.4A 2020-04-02 2021-04-01 用于运行听力系统的方法和听力系统 Active CN113498006B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020204332.9A DE102020204332B4 (de) 2020-04-02 2020-04-02 Verfahren zum Betrieb eines Hörsystems sowie Hörsystem
DE102020204332.9 2020-04-02

Publications (2)

Publication Number Publication Date
CN113498006A CN113498006A (zh) 2021-10-12
CN113498006B true CN113498006B (zh) 2023-08-15

Family

ID=74732677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110356193.4A Active CN113498006B (zh) 2020-04-02 2021-04-01 用于运行听力系统的方法和听力系统

Country Status (4)

Country Link
US (1) US11418898B2 (zh)
EP (1) EP3890357A1 (zh)
CN (1) CN113498006B (zh)
DE (1) DE102020204332B4 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930350A1 (en) * 2020-06-25 2021-12-29 Sonova AG Method for adjusting a hearing aid device and system for carrying out the method
CN116156402B (zh) * 2023-04-20 2023-07-21 深圳市英唐数码科技有限公司 基于环境状态监测的助听设备智能响应方法、系统及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113785A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置
CN104240096A (zh) * 2014-08-27 2014-12-24 小米科技有限责任公司 信息显示方法及装置、电子设备
CN105182934A (zh) * 2015-08-31 2015-12-23 中国科学院工程热物理研究所 一种交互式工业现场无线调试辅助系统
EP3054706A2 (en) * 2015-02-09 2016-08-10 Oticon A/s A binaural hearing system and a hearing device comprising a beamformer unit
CN107577995A (zh) * 2017-08-21 2018-01-12 西安万像电子科技有限公司 图像数据的处理方法及装置
CN208063408U (zh) * 2017-12-21 2018-11-06 北京达佳互联信息技术有限公司 3d立体影像耳机装置
CN110166917A (zh) * 2018-02-16 2019-08-23 西万拓私人有限公司 用于调整听力系统的参数的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
US9539498B1 (en) 2012-07-31 2017-01-10 Niantic, Inc. Mapping real world actions to a virtual world associated with a location-based game
US9669296B1 (en) 2012-07-31 2017-06-06 Niantic, Inc. Linking real world activities with a parallel reality game
WO2015143151A1 (en) 2014-03-19 2015-09-24 Bose Corporation Crowd sourced recommendations for hearing assistance devices
EP2928210A1 (en) 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
EP2930944A1 (en) 2014-04-07 2015-10-14 Oticon A/s Hearing aid comprising a flexible connection member
KR101808852B1 (ko) * 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
US10409548B2 (en) * 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
EP3868128A2 (en) * 2018-10-15 2021-08-25 Orcam Technologies Ltd. Hearing aid systems and methods
DE102019201456B3 (de) * 2019-02-05 2020-07-23 Sivantos Pte. Ltd. Verfahren für eine individualisierte Signalverarbeitung eines Audiosignals eines Hörgerätes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113785A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置
CN104240096A (zh) * 2014-08-27 2014-12-24 小米科技有限责任公司 信息显示方法及装置、电子设备
EP3054706A2 (en) * 2015-02-09 2016-08-10 Oticon A/s A binaural hearing system and a hearing device comprising a beamformer unit
CN105182934A (zh) * 2015-08-31 2015-12-23 中国科学院工程热物理研究所 一种交互式工业现场无线调试辅助系统
CN107577995A (zh) * 2017-08-21 2018-01-12 西安万像电子科技有限公司 图像数据的处理方法及装置
CN208063408U (zh) * 2017-12-21 2018-11-06 北京达佳互联信息技术有限公司 3d立体影像耳机装置
CN110166917A (zh) * 2018-02-16 2019-08-23 西万拓私人有限公司 用于调整听力系统的参数的方法

Also Published As

Publication number Publication date
US11418898B2 (en) 2022-08-16
DE102020204332B4 (de) 2022-05-12
CN113498006A (zh) 2021-10-12
US20210314711A1 (en) 2021-10-07
DE102020204332A1 (de) 2021-10-07
EP3890357A1 (de) 2021-10-06

Similar Documents

Publication Publication Date Title
CN106030692B (zh) 显示控制装置、显示控制方法及计算机程序
CN107683497B (zh) 信息处理设备、信息处理方法及程序
CN113498006B (zh) 用于运行听力系统的方法和听力系统
US20170308266A1 (en) Image display apparatus and image display method
US20200202161A1 (en) Information processing apparatus, information processing method, and program
KR20220005564A (ko) 복수의 헤드셋들 간의 오디오 공간화 및 강화
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
JP2015149633A (ja) 撮像装置および方法
WO2013191120A1 (ja) 画像処理装置、方法、プログラム、および記録媒体
US11943602B1 (en) Systems and methods for spatial update latency compensation for head-tracked audio
CN111886564A (zh) 信息处理装置、信息处理方法和程序
US11776503B2 (en) Generating display data based on modified ambient light luminance values
CN110998666A (zh) 信息处理装置、信息处理方法以及程序
US11605396B2 (en) Image processing system and method
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20230040347A (ko) 개별화된 사운드 프로파일들을 사용하는 오디오 시스템
CN109144264A (zh) 显示界面调整方法、装置、穿戴式设备及存储介质
US20210327453A1 (en) Audio visual correspondence based signal augmentation
WO2021142242A1 (en) Systems, and programs for visualization of auditory signals
US11955099B2 (en) Color correction based on perceptual criteria and ambient light chromaticity
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20190133591A (ko) 조리개 장치, 카메라, 및 이를 구비하는 단말기
KR20200031098A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20210281232A1 (en) Personalized equalization of audio output based on ambient noise detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant