CN115151858A - 可集成于眼镜框的助听系统 - Google Patents

可集成于眼镜框的助听系统 Download PDF

Info

Publication number
CN115151858A
CN115151858A CN202180015157.XA CN202180015157A CN115151858A CN 115151858 A CN115151858 A CN 115151858A CN 202180015157 A CN202180015157 A CN 202180015157A CN 115151858 A CN115151858 A CN 115151858A
Authority
CN
China
Prior art keywords
beamforming
eyeglass frame
microphones
sound source
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180015157.XA
Other languages
English (en)
Inventor
T·艾于斯塔
H·茨瓦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tk&h Holdings Co ltd
Original Assignee
Tk&h Holdings Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tk&h Holdings Co ltd filed Critical Tk&h Holdings Co ltd
Publication of CN115151858A publication Critical patent/CN115151858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/06—Hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Optical Communication System (AREA)
  • Eyeglasses (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种眼镜框系统，所述眼镜框系统包括与适配的空气耳塞无线通信的至少两个麦克风。助听系统配置有与面部轮廓检测处理程序通信的视频摄像机，所述面部轮廓检测处理程序与音频处理系统一起执行各个麦克风的波束赋形，从而改善来自识别的面部轮廓方向的音频声音的接收。

Description

可集成于眼镜框的助听系统
技术领域
本发明涉及一种包括助听系统的眼镜框，其中，眼镜框至少包括集成的麦克风和提供麦克风波束赋形的数字信号处理器，其中，助听系统与可插入人耳中的耳塞无线通信。
背景技术
本发明涉及眼镜框，所述眼镜框用作支撑提供有利于助听系统的功能和数据的不同传感器的支撑框架。现代集成电路技术在相应电路的小尺寸晶圆上提供更高的复杂性和功能，以实现传感器和嵌入式计算机系统的集成，所述嵌入式计算机系统包括在根据本发明的眼镜框中的至少一个SOC(片上系统)和至少一个DSP(数字信号处理器)。LINUX操作系统支持许多SOC系统，并且支持不同类型的传感器和DSP电路的LINUX设备驱动也是可得到的。
发明内容
本发明的一个方面是一种软件应用，所述软件应用配置助听系统的计算机控制设备以执行不同的助听器功能，例如麦克风波束赋形。
这种波束赋形可以在嵌入式DSP中在嵌入式SOC系统中运行的程序的控制下完成，并且可以将波束赋形被配置为在例如相对于眼镜框的前侧的不同方向上。这种波束赋形的改变还可以包括改变波束赋形波瓣的宽度。相对于方向和/或波束宽度改变波束赋形波瓣可以被配置为依据来自在例如SOC系统的控制下的、在嵌入眼镜框中的例如陀螺仪设备的传感器输出而自动发生。根据本发明的眼镜框的用户也可以通过同样嵌入在眼镜框内的嵌入式手势检测系统可检测到的手势来改变波束赋形波瓣。
其他类型的传感器(例如，具有数个轴的陀螺仪传感器、距离测量传感器等)可以被嵌入到眼镜框中，并且这种传感器输出可以是SOC系统可以被配置为做出应该进行例如麦克风波束赋形时机的决策回路的一部分。
在现有技术中存在用于助听系统的不同解决方案的示例。例如，文献JP 6514599B2公开了一种眼镜框，其支撑位于眼镜框的前侧的定向麦克风。在相应的左右眼镜臂上设置全向麦克风。左右眼镜臂上还设置扬声器。
此外，左眼镜臂上还有触摸感应传感器。当触摸所述触摸传感器时，定向麦克风被启动，音频信号被传输到扬声器。
文献CA 2559844C公开了一种提供声学通信的系统和方法。根据该公开的教导，眼镜框(10)包括用于检测用户(21)的语音信号的至少一个定向麦克风(13、15、16)，以及用于将信号传输到电子设备(30)的通信装置(12)，使得可以根据用户来适配至少一个麦克风(13、15、16)的方向依赖性。定向麦克风可以被特别实施为麦克风阵列和/或根据MEMS技术实施。
文献US 6690807 B1公开了一种听力辅助设备(1)，其包括安装在眼镜框(2)的臂端上的听力模块(3)，所述模块被设计成将眼镜框支撑在用户的耳朵上。听力模块还具有成型部分(5)，所述成型部分延伸到耳道中而不关闭耳道并且包括模块的声音出口孔(6)。这些模块包括语音频谱频率响应和线性动力学以提高语音清晰度。这使得提供一种补偿轻度听力损失的助听设备成为可以，所述设备可以容易且经济地制造，使用起来更舒适，并且乍一看不被观察者视为助听器。
文献EP 3496417公开了一种适用于导航系统的听力系统，以及一种执行导航的方法。系统随着时间的推移使用具有多个不同传感器(如距离测量传感器、磁场传感器等)的眼镜框来生成代表用户周围当前环境的数据。所述系统还被配置为相对于一个或多个声源定位系统的用户。例如，可以以在与系统通信的移动电话中可视化的地图的形式提供局部无线电场和磁干扰的地图。麦克风的波束赋形可以朝向在地图中定位和选择的声源。
发明目的
特别地，可以将本发明的一个目的视为提供一种助听系统，所述助听系统包括具有音频处理能力的眼镜框，以提供依据朝向声源的方向和距离以及声源的宽度、例如一群人的波束赋形。
本发明的另一个目的是提供现有技术的替代方案。
概括
因此，在本发明的第一方面旨在通过提供一种可集成在眼镜框中的助听系统来实现上述目的和若干其他目的，所述眼镜框包括位于眼镜框的前侧表面上的至少一个麦克风阵列、距离测量传感器、陀螺仪传感器，其中，由配置的片上系统(SoC)控制的数字信号处理器(DSP)依据相应传感器输出信号提供至少一个波束赋形波瓣，
-其中，相对于配置的麦克风阵列限定到声源的波束赋形波瓣方向，
-其中，基于到声源的距离限定波束赋形波瓣宽度，
-其中，由陀螺仪传感器在波束波瓣的限定方向上检测到的相对角度改变触发SoC系统上传参数改变到DSP中，以根据检测到的角度改变来修改波束赋形宽度，或
-其中，由距离测量传感器检测到的与声源的测量距离的相对改变触发SoC系统上传参数改变，以根据当到声源的距离改变时声源大小的透视增加或减小来修改波束赋形宽度。
附图说明
现在将参照附图更详细地描述根据本发明的助听系统。附图示出了本发明的实施方式的示例并且不应被解释为限于落入所附权利要求范围内的其他可能的实施方式。此外，实施方式的各个示例可以各自与任何其他实施方式的示例组合。
图1示出了根据本发明的助听系统的示例。
图2示出了本发明的实施方式的示例的前视图。
图3示出了图2中示出的实施方式的示例的进一步细节。
图4示出了根据本发明的麦克风波束赋形的示例。
图5示出了根据本发明的麦克风波束赋形算法的示例。
图6示出了根据本发明的用户界面的示例。
图7示出了根据本发明的用户界面的另一个示例。
图8示出了根据本发明的麦克风波束赋形的示例。
图9示出了根据本发明的麦克风波束赋形的示例的进一步细节。
图10示出了根据本发明的麦克风波束赋形的另一个示例。
图11示出了视频帧的示例。
图12示出了根据本发明的面部检测的示例。
图13示出了根据本发明的面部检测的进一步细节。
图14示出了相对于视频摄像机记录的不同人头位置。
图15示出了根据本发明的硬件配置的示例。
具体实施方式
尽管已经结合特定实施方式描述了本发明，但不应将其解释为以任何方式限制于本示例。本发明的范围由所附权利要求书规定。在权利要求的上下文中，术语“包括”或“包含”不排除其他可能的元件或步骤。此外，提及诸如“一”或“一个”等引用不应被解释为排除复数。权利要求中关于附图中指示的元件的附图标记的使用也不应被解释为限制本发明的范围。此外，不同权利要求中提及的各个特征可以有利地组合，并且在不同权利要求中提及这些特征不排除特征的组合是不可能的和有利的。
根据本发明的眼镜框可以被具有部分听力损失的人使用，但他们的眼睛不一定有额外的问题。在这种情况下，眼镜框只是支撑结构，可以简化例如嵌入眼镜框的麦克风的波束赋形。根据本发明的一个方面，可插入的耳塞可以与眼镜框无线通信。
声学信号的波束赋形是一种信号处理技术，用于增强来自一个或多个方向的声学信号，同时抑制来自其他方向的声学噪音和声学干扰。这种波束赋形是已知的。通常使用全向麦克风或排列成阵列结构、例如线性阵列的定向麦克风。使用不同的麦克风阵列配置以及全向麦克风以及定向麦克风或两种类型的麦克风的组合都在本发明的范围内。
在嵌入式SOC系统中运行的程序的控制下，可以使用嵌入式DSP完成这种波束赋形。
其他类型的传感器(例如，陀螺仪传感器、距离测量传感器等)可以嵌入到眼镜框中，并且这种传感器输出可以是SOC系统可以被配置为做出应该进行例如麦克风波束赋形时机的决策回路的一部分。
如果患有部分听力损失的人另外还有视力问题，则根据本发明的眼镜框可以包括嵌入式视频摄像机，所述摄像机可以被配置为增强眼镜框的穿戴者的视觉感知。嵌入式视频系统和麦克风可配置为检测常见物体(例如，街道上的垃圾箱、靠近的汽车、鸟鸣等)的轮廓，而SOC系统可配置为经由眼镜框的穿戴者的耳道中的可插入的耳塞向眼镜框的穿戴者传达指示各个物体的可听语音消息。这种识别不同物体的可能性也可以用在一些波束赋形场景中，以例如从鸟鸣和到鸟儿的方向识别鸟儿。然后，可以例如基于当眼镜框例如转向鸟儿的方向时识别到的陀螺仪传感器读数、或者通过使用麦克风阵列来识别方向，来在那个方向上进行波束赋形。
在本发明的实施方式的示例中，眼镜框被配置为例如经由WIFI通信提供与智能手机的通信。存在可以提供根据本发明的眼镜框的增强功能的应用程序的示例。例如，有一个名为“WHATBIRD”的应用程序，它可以基于录制的鸟鸣来识别鸟儿的名字。更多信息请访问www.whatbird.no。这是一种情况的示例，其中视力问题的解决方案提供了可能的听力问题的解决方案，反之亦然。
本发明提供了一种助听系统，所述助听系统包括眼镜框，所述眼镜框具有从眼镜框中的选定数量的嵌入式麦克风接收音频信号的至少一个嵌入式数字信号处理器(DSP)，并且DSP被配置为提供如麦克风波束赋形的不同音频信号处理步骤和如调整嵌入式麦克风的麦克风放大系数等的通用控制。眼镜框被配置为将音频信号从DSP无线传达到适配的耳塞，所述耳塞可插入眼镜框的穿戴者的耳道中。
麦克风波束赋形放大来自相对于配置的麦克风阵列的特定位置(或声源方向)的声音信号，同时来自其他方向或相邻声源的声音信号被静音或衰减。这种可能性帮助穿戴者使用本发明的实施方式的示例过滤掉穿戴者不感兴趣的竞争声源。这可以帮助具有部分听力损失的人在竞争声源被衰减时更清晰地听到例如来自人的语音。
在本发明的实施方式的示例中，眼镜框可以包括位于眼镜框前侧的第一组麦克风、位于眼镜框的两个臂中的第一臂上的第二组麦克风、以及位于眼镜框的两个臂中的第二臂上的第三组麦克风。
每个相应组的麦克风可以被配置为由麦克风波束赋形理论已知的宽边阵列(Broadside Array)，或来自第一组和第二组麦克风的选定数量的麦克风、或来自第一组和第三组麦克风的选定数量的麦克风可以例如排列成端射阵列(Endfire Array)。
然而，波束赋形还依据部分听力损失者所处的场景类型。上面的波束赋形示例指示了这种情况，其中例如对话是在两个人之间，或者在一个人和一只鸟儿之间。另一种类型的场景可能是当一个有部分听力损失的人正在与例如至少两个其他人一起参加会议时。
因此，可能存在的问题是如何增加例如波束赋形波瓣的宽度以覆盖多个一个声源，即，如在会议的这个示例中。
另一种场景可能是部分听力损失的人在街道上行走时存在大量噪音，这些噪音会掩盖其他人试图对部分听力损失的人说话的声音。
然而，过滤掉来自例如接近患有部分听力损失的人的汽车的噪音可能是危险的，因为这种过滤可以掩盖与接近的汽车相关的可能危险。因此，可能存在的问题是如何区分声源，并在不排除某些其他声源的情况下，提供朝向特定声源的波束赋形。其他类型的传感器可以嵌入在本发明的眼镜框内，例如可以检测接近的物体，例如汽车、自行车、摩托车等。
当在如乡村中的村庄的景观中散步、在山中或森林等中散步时，也会出现类似的场景。
因此，可能需要在不同的嵌入式麦克风组之间布置一个以上的空间波束赋形波瓣。此外，可能需要检测声音的可能来源。
另一种场景可能是坐在火车上与坐在前面的人交谈时。根据本发明的波束赋形可以是准确的，从而能够与用户面前的人进行良好的听觉接触。这种锐利的波束赋形也有一个缺点。如果用户需要弯腰，例如寻找从用户手中掉下来的一些文件、寻找用户的票等，此操作可能需要一些时间。在此间隔期间，用户的尖锐波束赋形将向下指向地板，并且听觉接触会丢失或严重减轻。
因此，麦克风波束赋形可能依据穿戴根据本发明的眼镜框系统的头部的移动。嵌入式陀螺仪传感器可用于检测此类移动，所述系统可适用于在检测到此类移动的情况下，修改麦克风波束赋形波瓣以覆盖坐在前面的人和向下到地板两者。当检测到头部向上移动时，可以再次启动原始波束赋形波瓣。根据本发明，麦克风波束赋形应该考虑眼镜框方位的改变。
图1示出了根据本发明的助听系统的典型配置。示出了眼镜框10，其中眼镜臂的覆盖物被移除。眼镜臂内部有可编程电子器件，如DSP电路、蓝牙通信接口、如SOC芯片(片上系统)的控制器等。电池和其他必要的逻辑/电子器件也嵌入眼镜臂中，也可能嵌入在固定眼镜的眼镜框前部内部。嵌入在眼镜框内部的DSP电路可以嵌入在两个眼镜臂内，即，左右手侧眼镜框，从而可以使用两个DSP电路。在这种情况下，两个DSP电路中的一个通常配置为主设备，而另一个DSP电路配置为从设备，即，由主设备控制。主DSP设备与可插入人类耳道的耳塞55(或入耳式耳机)进行无线通信。
当一个耳塞55插入左耳的耳道，另一个耳塞55插入右耳时，左手侧眼镜臂中的DSP可以与左耳道内的耳塞无线通信，而右手侧眼镜臂中的DSP与右耳中的耳塞55通信。通信将在主DSP设备的控制下，但这种配置允许不同的声音同时传输到双耳。该特征将为用户提供声音环境，所述声音环境代表在用户的相应左手侧和右手侧上的声源。左眼镜臂和右眼镜臂上的麦克风阵列可用于此目的。
如果患有部分听力损失的人另外还有视力问题，则根据本发明的眼镜框可以包括嵌入式视频摄像机，所述摄像机可以被配置为增强眼镜框穿戴者的视觉感知。嵌入式视频系统和麦克风可配置为检测常见物体(例如，街道上的垃圾箱、靠近的汽车、鸟鸣等)的轮廓，而SOC系统可配置为经由眼镜框的穿戴者耳道中的可插入的耳塞向眼镜框的穿戴者传达指示各个物体的可听语音消息。这种识别不同物体的可能性也可以用在一些波束赋形场景中，以例如从鸟鸣和到相对于例如眼镜框的前侧的鸟儿的方向识别鸟儿。然后，可以例如基于陀螺仪传感器读数，在那个方向上进行波束赋形。
在本发明的实施方式的示例中，眼镜框被配置为例如经由WIFI通信提供与智能手机的通信。存在可以提供根据本发明的眼镜框的增强功能的应用程序的示例。例如，有一个名为“WHATBIRD”的应用程序，它可以基于录制的鸟鸣来识别鸟儿的名字。更多信息请访问www.whatbird.no。这是一种情况的示例，其中视力问题的解决方案提供了可能的听力问题的解决方案，反之亦然。
如上所述，移动电话56也可以是助听系统的一部分。在图1和图6中，示出了移动电话中用作均衡器的应用程序，它将用户指定的设置传达到眼镜框10，其中，例如SOC电路指示或重新编程DSP电路以采用所请求的、提交给耳塞55的音频信号的频率改变。
参考图2，示出了眼镜框10的正面12。在眼镜正面12的上部上，配置有四个数字全向麦克风13a、13b、13c、13d，其相对于眼镜框的正面朝向前方。麦克风可以排列成宽边麦克风阵列。此外，在位于鼻梁上方的眼镜框前部嵌入了视频摄像机15。在眼镜框正面的每个角落中，靠近眼镜臂的连接处，在一个角落中有微波换能器11，并且在相反定位的角落中有微波麦克风14。由微波换能器11发射的微波可以被例如人脸反射并被微波麦克风14接收。通过测量在微波发射到检测到微波之间经过的时间跨度，眼镜框面向的、例如到人脸的距离可以计算。
例如依据DSP电路的麦克风输入的设计方式、是数字或模拟等，图2所示示例中使用的数字全向麦克风可以由其他类型的麦克风代替。此外，全向麦克风可以由定向麦克风代替，或者麦克风是全向麦克风和定向麦克风的混合体。麦克风的选择会影响系统可以用来计算要上传到DSP电路的相应参数的波束赋形算法，从而使得DSP能够根据设计的波束赋形波瓣来操纵相应的麦克风输出。在本公开中说明的示例中，使用了全向麦克风。
图3示出了眼镜臂19的配置示例。在图3的示例中，排列了六个全向麦克风13e、13f、13g、13h、13i、13j，它们可以排列成麦克风宽边阵列。此外，还有微波换能器11a和微波麦克风14a，二者可用于测量到在眼镜臂所面对的一侧上的、在眼镜框的穿戴者紧邻附近的靠近的人或物体的距离。除了作为六个麦克风13e、13f、13g、13h、13i、13j的麦克风波束赋形的一部分之外，距离测量还可以是嵌入根据本发明的眼镜框内部的社交距离蜂鸣器应用的一部分。
在眼镜框的前部中和在眼镜框的臂上的各个麦克风在用于波束赋形算法时可以配置成具有不同特性的不同麦克风阵列。眼镜框周围的至少一些麦克风可以被分组到不同的阵列中，这些阵列可以用于独立地支持不同的波束赋形波瓣，或者各个阵列中的一些麦克风组可以被配置为一起操作。
在眼镜臂19的端部处有可拆卸部分16，所述可拆卸部分被配置为支撑用于根据本发明的眼镜框内的电子器件的电池。为其他类型的传感器提供支撑也在本发明的范围内，其他类型的传感器如例如可以定位在可拆卸部分16中的微型雷达系统(或多普勒频移检测器)，其中，雷达可以被配置为警告从根据本发明的眼镜框的穿戴者的身后靠近的物体，如汽车。
图3还示出了眼镜臂表面的区域18，所述区域可以包括手势检测传感器，使得根据本发明的眼镜框的穿戴者能够例如通过使用手指移动穿过具有不同可检测移动模式的传感器表面，与眼镜框的配置系统交互。
此外，还有可选区域17，可用于支持其他类型的传感器。
在本发明的范围内的是，在根据本发明的眼镜框10中，眼镜臂19可以更换。例如，当眼镜框需要升级时，例如当需要其他类型的传感器时，或者当系统的新版本可用时，可以这样做。
眼镜框前部的内部的嵌入式电子器件可以通过现有技术中已知的柔性或可弯曲印刷电路板连接到嵌入在眼镜臂中的电子器件。
图4是麦克风波束赋形的示图。示出了波束赋形的极坐标图。示意图A中圆的中心是麦克风阵列，如图2所示的眼镜框前部上的麦克风阵列。波束赋形指向特定的人20，并且麦克风波束赋形波瓣21指向特定的人20。根据本发明的眼镜框10的穿戴者可以随时将焦点转移到另一个人23上，如示意图B所示。波束赋形22与示意图A中的波束赋形类似。当从示意图A的情况转移焦点至示意图B所示的情况时，穿戴眼镜框的用户正将他的头从示意图A中的人20转向示意图B中的人23。然而，无需改变这两种情况之间的波束赋形，因为波束赋形是相对于在眼镜框前部上的麦克风阵列的。
然而，眼镜框的穿戴者可能也可选地希望从他的头部一侧听得更好。在眼镜框10的臂19的实施方式的示例中示出的麦克风13e、13f、13g、13h、13i和13j可以是在眼镜框前部和眼镜框的臂两者上的、形成麦克风波束赋形波瓣21、22的麦克风阵列的一部分。然后，波束赋形可以从眼镜框的前部以及从眼镜框的侧部捕获语音。这种设置可以经由手势检测传达到眼镜系统。
提供分段空间波束赋形也在本发明的范围内。参考上面讨论的示例，在眼镜框10的前侧12上的麦克风13a、13b、13c、13d可用于限定在视线方向上指向前方的第一波束赋形波瓣，而在眼镜框10的臂19上的麦克风13e、13f、13g、13h、13i、13j用于形成指向例如垂直于在眼镜框的臂上的全向麦克风阵列的方向的第二波束赋形波瓣。同样在本发明的范围内的是，第二波束赋形波瓣可以指向其他方向，例如在视线方向上向前，或与视线方向相反，从而能够从来自眼镜框的侧部、从眼镜框的前部或从眼镜框的后部更好地听到声音。
还在本发明的范围内的是，通过位于眼镜框的与支持第二波束赋形波瓣的臂相反的臂上的麦克风阵列限定第三波束赋形波瓣。
参考图7，示出了启用麦克风波束赋形的图形界面的图示，其使得眼镜框的穿戴者能够以图形方式改变麦克风波束赋形。例如，Analog Devices是一家DSP电路供应商，其还为此类应用程序提供访问应用程序的DSP电路中的一些的图形界面。总之，这种波束赋形由嵌入在眼镜框10内部的SOC系统中运行的应用程序控制。任何DSP电路、包括来自AnalogDevices的DSP电路都具有通用编程实用程序，从而能够开发提供例如麦克风波束赋形的专用算法。
这种波束赋形是现有技术中的已知技术。制造麦克风波束赋形时可能存在的已知困难的一个示例是称为混叠(aliasing)的现象。参考图6，示出了根据本发明的应用的示例。移动电话中的均衡器接口与集成到眼镜框的眼镜臂中的DSP进行通信，可以帮助用户补偿与某些频率范围相关的部分听力损失。当这种频率改变时，与波束赋形相关的混叠问题可能会被放大。
图5以图形方式示出了A.McCowan在论文“Robust Speech Recognition usingMicrophone Arrays”(博士论文，昆士兰科技大学，澳大利亚，2001)中公开的麦克风波束赋形算法的示例。使用这种架构，来自麦克风13a、13b、13c、13d、3e、13f、13g、13h、13i等的麦克风输出以不同的模式相加。
在覆盖宽带信号时，可以将阵列实施为一系列子阵列，这些子阵列本身就是具有均匀间距的线性麦克风阵列。这些麦克风子阵列旨在为给定频率范围提供所需的响应特性。
这种架构的一个方面是，当频率增加时，需要更小的麦克风阵列长度来保持恒定的波束宽度。此外，为确保跨越不同频带的旁瓣电平保持相同，每个子阵列中的元件数量应保持相同。子阵列通常以嵌套方式实施，使得任何给定的传感器可以用在多于一个子阵列中。通过应用带通滤波器将每个麦克风子阵列限制在不同的频率范围内，并且通过重新组合带限麦克风子阵列的输出来形成整个麦克风宽带阵列输出。由于这种可能性，可以组合如上面参考图6所讨论的均衡器。各个带通滤波器的频率可以适应均衡器设置。
如上所述，视频摄像机15可以嵌入根据本发明的眼镜框的前侧12。图8示出了麦克风阵列37的侧视图，其在中间区段包括视频摄像机(未示出)。摄像机在距麦克风阵列37的距离39处看到面部28。所述距离被示出为到经过面部28的前部的平面。面部41的高度限定了侧线38和40的斜率，二者与代表面部高度的平面一起构成平面中的三角形，但它是三维的锥形，即，代表在收听面部28时所需的波束赋形的锥形。
这在图9中示出，其中，波束赋形波瓣43被布置在图8的三角形内。图9也示出一些旁瓣，其可以通过适当选择用于图6所示算法的参数而被消除或减小。
波束赋形波瓣43具有周边42，所述周边42适合于在由线38、40和41限定的三角形内。参考图8，当距离39减小时，如在波束赋形阵列37中的视频摄像机15所拍到的透视图如视频摄像机所拍到地按比例增加高度41。当距离39增加时，摄像机15所拍到的透视图将如视频摄像机所拍到地按比例减小高度41。
因此，测量从麦克风阵列到声源(或物体)的距离和声源(或物体)的高度(或宽度)可以作为限定如图9所示的波束赋形波瓣43、即波束赋形波瓣的宽度的基础。
图10示出了参加者围坐在桌子旁的会议的典型场景。人B戴着根据本发明的眼镜框10。视频摄像机15和视频图像处理可以检测到人C、D、E和F在摄像机的视场内。人A也参加了会议，但是在摄像机15的视场之外。在由人B支撑的眼镜框10的右手侧眼镜臂19上有如上所述的麦克风阵列。也可以利用相应的微波装置11a和14a进行距离测量。因此，基于位于面向人A的眼镜臂19上的麦克风阵列的波束赋形是可能的。这可以在眼镜框的两侧进行。因此，眼镜框配置有三个不同指向的波束赋形波瓣。
在本发明的实施方式的示例中，陀螺仪传感器可以是眼镜框系统的一部分。当陀螺仪传感器检测到如上所讨论的头部方向改变时，可以改变波瓣的宽度，从而增加包括所有人B、C、D、E、F和G在内的波瓣。另一种可能性是听力辅助系统配置有仅一个窄波束赋形波瓣。这种波瓣几何形状可以允许眼镜框的穿戴者在穿戴者将他的头一次转向相应的人B、C、D、E、F和G时保持相同的波瓣，从而对于每个人都具有良好的听力质量。
但是，在多人会议中，可能需要能够差不多同时听到每个人的声音。
上面讨论的波束赋形波瓣宽度的增加可能不是围绕波瓣的中心线对称地进行。例如，如果陀螺仪检测到眼镜框向右移动，则可以使波瓣的左侧相对于人的位置保持稳定，同时将波瓣的右侧增大，就好像波瓣的右侧跟随转动的眼镜框的移动一样。如果眼镜框朝向此过程的起点向后转动，则波瓣的右侧可以再次跟随头部向后移动。这可以通过使用陀螺仪读数来控制波束赋形波瓣的形状和宽度来实现。
图11示出了视频帧，其包括头部26，它直接面向例如位于眼镜框10的前部12上的视频摄像机15。眼镜框10将视频信号传达到视频处理器或实施为在例如SOC计算机系统中运行的视频处理程序。视频处理程序被配置为提供面部检测。这个处理过程不同于人脸识别。人脸检测的目的是确保视频帧中的是人脸，而不需要知道人的身份。文献中有数个关于人脸检测算法的程序。然而，本发明的一方面是尽可能降低功耗，这需要使用更简单的算法。
根据本发明的一个方面，可以通过使用源自例如光学字符识别技术的技术来简化面部检测。例如，参考图12，头部26的图像的像素版本将具有围绕面部轮廓28的区域，所述面部轮廓可以用OCR技术中已知的边缘检测来检测。如果面部轮廓28是黑白图像或相邻像素之间的颜色改变，则将在围绕轮廓的相邻像素之间留下明显的灰度级改变。颜色或灰度等级的这种改变指示轮廓28。不需要准确地检测整个轮廓28，只需检测一部分，从而可以在面部图像上施加圆27。不需要高精度。当圆就位时，可以将坐标系施加到图像上，如图13所示。在由水平线29和垂直线30形成的正方形或矩形在面部图像上形成正方形，这简化了搜索可以识别这是不是人脸的生物特征信息。从面部识别系统中，关于各眼睛之间的相对位置以及各眼睛与嘴之间的距离的生物特征信息应该在已知范围内。其他特征可以是鼻梁的相对位置、嘴唇的轮廓、耳朵、下巴等。
然而，当识别人是检测的物体时使用这些特征。在本发明的范围内，眼睛位置的识别是检测图像是否为人的关键。额外的确认可以是通过添加嘴的检测和嘴相对于眼睛的位置。根据本发明的面部检测的目的绝不是检测人的身份，只是检测它是人脸。
参考图13，矩形36位于面部图像上由正方形的位置和指示人的眼睛最有可能位于圆27内的位置的生物特征数据的通用知识所给定的位置。矩形36被制成大于眼睛尺寸的生物特征已知范围。矩形36的目的是指示应该在哪里执行眼睛瞳孔的模式搜索或模板搜索。代表眼睛模板的模板被定位，眼睛模板意味着具有不同灰度颜色的圆形中心的椭圆形物体。通过在位于矩形36左侧部分内的图像上滑动这种模板，可以建立眼睛的识别。可以对位于右手侧的眼睛进行相同的程序。在某些情况下，这可能是对人头部轮廓28的充分检测。然而，在人脸图像中搜索嘴巴也在本发明的范围内。矩形33可以位于生物特征数据告诉嘴的位置正常的位置的上方。然后，可以通过指示上唇和下唇的模板匹配来在矩形33的中心部分进行搜索。然后，可以将相应的距离32和34用作定眼镜的眼镜框前
图像像素和模板像素之间的匹配可以通过简单的相关性分析来完成。相关性的低分表示没有相似性，而高分表示相似性的概率较高。这个过程也可以通过示例图像来训练算法。
如果面部检测算法的结果是不确定的，即在高分或低分之间，系统可以被配置为通过配置的语音通信向插入到眼镜框的穿戴者耳朵中的耳塞55询问眼镜框的用户，以例如通过执行可以由例如位于眼镜臂19上的手势传感器18识别的限定手势来确认这是人脸。
即使穿戴根据本发明的眼镜框的人可以看到人并且可以通过由手势传感器18检测到的配置手势告诉系统这一点，但是本发明的一个方面是朝向穿戴者的面部正在显示两只眼睛。
此外，由微波传感器11和14执行的范围确认，即到面部的距离低于某个限定的限制，例如10米，将提供一定程度的确定性，即检测到的人实际上能够与眼镜框的穿戴者交谈，并且由于检测到两只眼睛，因此该人可能正在朝穿戴眼镜框的人的方向看。
否则，眼镜框的穿戴者可能会在未经他人同意的情况下使用眼镜框的波束赋形能力来窥探或收听他人的谈话。因此，在本发明的范围内，仅允许麦克风波束赋形朝向可能正在参与对话的人，即在有限距离内看向眼镜框的穿戴者的人。
然而，在本发明的实施方式的一些示例中，穿戴根据本发明的眼镜框系统的人除了听力问题之外还具有有限的视觉视力，嵌入式视频处理器可以被配置为基于下载的各个人的图片提供一组不同的人的人脸识别，所述系统被配置为发送包括各个识别的人的姓名的语音消息。这些人可能是近亲和/或朋友、同事等。
图14示出了相对于视频摄像机的视场的不同头部位置的示例。只有图11的图像E满足上述标准，即显示两只眼睛朝向摄像机。图像D和F可能以较低的概率被识别，并可能触发系统要求确认。由于所讨论的一个或多个人正在移开视线，因此对确认的响应应该是“否”，或者眼镜框的穿戴者确认他想与这个人交谈。
图8示出了波束赋形的示例如何开始，例如检测到距眼镜框10上的麦克风阵列37一距离39处的人脸28。人脸的高度41通常大于人脸的宽度，因此用于限定以麦克风阵列中心为原点的圆锥体，圆锥体的侧线38和40在平面透视图中构成一个三角形。由于距离39可以是可变的，即人可能站在距眼镜框一米或距眼镜框十米的位置，因此面部41的高度将因透视方面作为距离39的函数而有所不同。距离面部越远，高度41就越小。但是，例如，在一米距离处的已知标准高度或平均高度之间的关系可以很容易地用于计算十米距离处面部高度的透视减小。因此，计算正确三角形的尺寸是可能的。当这完成时，应该由DSP执行波束赋形并且应该计算和处理如图13所示的波束赋形波瓣42。沿距离线39的波瓣42的长度不代表对麦克风阵列37可能在波束赋形波瓣42内清楚地听到的任何形式的限制。波束赋形图是极坐标图。然而，声音的放大也是波束赋形的一部分，并且可以自动调整到例如DSP中的限定限制，或者由眼镜框的穿戴者例如通过由手势传感器18检测到的手势控制来手动调整。
系统应该能够处理许多不同形状的麦克风波束赋形波瓣。一个方面是如上所述基于距离等计算特定波瓣。但是，这可能需要电池供电，应尽可能将其保存在眼镜框中。因此，在本发明的范围内的是，具有限定不同波束赋形波瓣的预先计算的参数，预先计算的参数可以在每当需要这种预先计算的波瓣时就被上传到DSP。这种麦克风波束赋形波瓣的其他部分还可以在运行时被修改。例如，可以通过改变有限数量的参数而不影响其他参数来调整波束赋形波瓣的宽度。这种能力依据在本发明的实施方式的示例中使用的DSP的类型。
上述不同场景的示例需要可以例如通过与特定DSP电路一起提供的仿真程序或配置程序来预先计算的一些标准波束赋形波瓣。然而，如上所述，还需要自动地或由于用户输入(例如，特定手势的检测)来修改波束赋形波瓣。
例如，通过增加宽度来适配波束赋形波瓣可以连接到陀螺仪读数，所述陀螺仪读数指示头部的角移动程度，从而导致增加或减小波束赋形波瓣宽度。
本发明的一个方面是到/离物体的角度改变或距离改变的每个测量值都相对于支撑相应麦克风阵列的眼镜框本身。因此，当波束赋形波瓣由于陀螺仪读数而增加时，角度增加可以是添加到由DSP电路中的波束赋形最初设置的波束赋形波瓣方向的相对值。因此，可能具有例如对于每度改变，与限定的相对角度增加或减小相关联的相应DSP设置的表格。这种表格可以存储在SoC电路的存储器中，当陀螺仪检测到方向改变、角度增加或减小时，可以使用改变值来获取接近角度改变、可以由SoC系统上传到DSP的DSP设置表。
相对于眼镜框的正面的“零”方向可以由眼镜框的用户经由限定的手势或经由与眼镜框通信的移动电话随时设置。
由于与如鸟儿或人等物体的距离改变而导致的波束赋形波瓣的改变也可以与不同的波束赋形波瓣宽度相关联。例如，停留在特定距离的人需要特定尺寸的波束赋形波瓣宽度。由于人向眼镜框移动时的透视增加，因此应对应增加波束宽度以覆盖移动中的人的面部。当人离开时，应减小波束宽度。由于实际原因，这些改变当然是有限的。站在眼镜框正前面的人不需要被波束赋形波瓣覆盖。当人站在离眼镜框远的地方时，可以将最小波束赋形波瓣宽度限定为默认宽度。然而，所有这些改变都与眼镜框的位置有关，即，例如，如果眼镜框的穿戴者远离另一个人、以及该人也离开了，则距离会增加。
因此，不同的相对距离改变可以与存储在表格中的不同波束赋形波瓣相关联。当由距离测量传感器检测到某个距离改变时，所述距离改变的值是相对值，SoC系统可以配置为获取与最接近的预先计算的距离改变相对应的特定表格，并将这些值上传到DSP。
“零”距离可以由用户使用例如手势输入初始化系统来设置。
依据相应的麦克风阵列配置利用检测到的角度改变和/或距离改变也在本发明的范围内。可以依据使用的阵列配置制作不同的表格。距离测量传感器也可以嵌入眼镜框的眼镜臂上。因此，在眼镜框的每一侧上限定的波束赋形波瓣的波束赋形也可以相对于眼镜框的角度改变以及到物体的距离的改变而被修改。
视频帧内物体的透视增加/减小的另一方面是可以检测物体的移动方向。相应的距离测量传感器也可以用于检测物体的移动方向。如果以固定频率重复这种距离测量，则可以测量距离的改变率，并且可以测量物体的速度。从而可以确定朝向或远离眼镜框的速度和方向。例如，这可用于警告物体(如汽车)高速靠近。向耳朵发出的语音信息会促使眼镜框的穿戴者转过头来查看正在靠近的东西。对于视力下降的人来说，这是一个重要的问题。
距离和距离改变测量的另一个应用可以是实现社交距离蜂鸣器。如果物体在例如2米范围内靠近，社交距离蜂鸣器应用程序可以触发语音消息并发出警告。
在本发明的范围内的是，提供眼镜框的用户可以从中选择的不同场景的选择以使听力情况适应他的需要。例如，“人像模式”包括一次检测一张面部，并为每个检测到的面部执行优化的麦克风波束赋形，但仅适用于距眼镜框限定范围内的面部。另一种模式可以是“风景模式”，其中麦克风收听整个环境，例如识别如上所述的鸟儿。
这种专门的模式可以从更通用的模式中启动。例如，“风景模式”可以被配置为聆听鸟鸣，并且当根据本发明的眼镜框的穿戴者将他的头转向像鸟儿一样的声源时，可以启动专门的“鸟鸣”模式。
还可以将助听系统配置为对从声源接收的可听声音进行一些分析，并且基于声波中的频率分量，可以将声音表征为来自人类等。助听系统可以被配置为使用来自波束赋形指向的声源的可听声音来计算声源是人说话、马达、火车或其他类型的声源的概率系数。
根据本发明的实施方式的示例，限定用户规范设置的用户配置文件可以是执行不同听力模式的一部分。
图15示出了根据本发明的眼镜框系统的实施方式的示例，所述眼镜框系统包括嵌入在如图1所示的眼镜框内的功能数字电路和功能块。
例如，数字麦克风13可以是可以连接到音频信号处理器54的TDK ICS-41251类型，例如可以接收来自8个数字麦克风的音频输入的Analog Devices ADAU1787类型。如上所述，在眼镜框中有两个DSP设备，每个眼镜框中有一个，并且在实施方式的示例中，嵌入在一个眼镜臂中的六个麦克风将连接到嵌入在同一臂中的DSP 54。此外，嵌入在眼镜框前部的四个麦克风中的两个可以由同一个DSP 54控制。另一个眼镜臂可以控制另一个眼镜框中的六个麦克风加上眼镜框前部的所述四个麦克风中的剩余两个麦克风。有关TDK ICS-41251麦克风的信息可在下述中找到https://www.invensense.com/products/digital/ics-41351/。
ADAU1787 DSP电路具有波束赋形功能，其在以下链接中公开https://www.analog.com/en/products/adau1787.html#product-overview。
模拟设备还提供用户应用程序，经由图形用户界面促进波束赋形。这种图形用户界面也可用作可安装在移动电话56中的应用程序。
此外，ADAU1787是完全可编程的DSP器件，其使得能够支持在用户配置文件中限定的不同用户可选选项和/或如上所述的不同助听器模式。这种功能性改变也可以由手势检测系统检测到的特定手势启动，所述手势检测系统也可以是本发明的助听系统的一部分，此外，在SoC系统中执行的程序也是本发明的助听系统的一部分。
控制各个数字功能系统块的控制器44可以是表示为SOC(片上系统)类型的电路，其是包括计算机系统的功能部件的集成电路。SoC44的使用使得开发配置本发明的眼镜框系统的操作方面的软件变得更加简单。开发和运行时间可以在Linux等操作系统的监督下完成。现有技术具有可用于本发明的实施方式的示例中的若干SOC系统示例。此外，用于不同设备的设备驱动可用于Linux实施。
具有提供面部检测能力的视频摄像机15的视频系统例如可以是B5T-007001。参见链接https://omronfs.omron.com/en_US/ecb/products/pdf/en-b5t.pdf。
视频系统15可以包括摄像机15a和视频SOC 15b，其被配置为运行上述面部检测算法。
可以在本发明的实施方式中使用的多普勒频移雷达系统可以例如是Seeeddoppler radar MW0582TR11。参见链接https://www.seeedstudio.com/MW0581TR11-5-8GHz-Microwave-Doppler-Radar-Motion-Sensor-p-4366.html。
图15进一步示出了系统可以包括加速度计51。加速度计51的功能方面例如是检测手指在眼镜框上的触摸。众所周知，这种触摸会产生由麦克风拾取的噪音，并且系统会在系统中产生尖锐的噪音。根据本发明的实施方式的示例，加速度计检测可以导致麦克风或系统的任何其他合适的电子部件的短暂静音。在实施方式的一些示例中，眼镜框可以配置有一些推动按钮41。这些按钮41的启动将导致短暂静音，以阻止来自按钮动作的噪音到达插入到本发明的助听系统的穿戴者中的耳塞55。
图15所示的示例性实施方式还可以支持手势控制。可以使用的手势系统48的示例是手势传感器PAJ7620U，它可以识别9种不同的手势。手势传感器可以定位在眼镜框10中，例如在眼镜框的前部或如图3中所公开的眼镜臂中。然后，可以检测手部移动，从而导致检测到可能与特定命令或动作相关联的特定手势，SOC系统44被配置为响应特定命令或动作。
在本发明实施方式的示例中，SoC系统44被配置为向插入本发明的眼镜框的穿戴者的耳朵中的耳塞55发送语音消息。例如，菜单选择和如何进行的指令例如可以作为语音消息传送。
参考以上讨论，每当手指触摸眼镜框时，加速度计就会触发音频流的静音。当触摸是菜单选择手势的一部分时，当手指从传感器表面抬起时，静音结束。
图15所示的系统还可以包括陀螺仪传感器50。有数种已知的陀螺仪传感器可以用在本发明的实施方式的示例中。
在本发明的实施方式的示例中，SOC系统44被配置为识别由陀螺仪50给出的视线方向的罗盘方向。然后，SOC系统44被配置为指示音频DSP 54在眼镜框10前面在罗盘方向中执行波束赋形。以这种方式，波束赋形被引导到眼镜框10的穿戴者正在看的方向。
根据本发明的眼镜框10的无线通信系统可以遵循例如蓝牙标准。参考图15，蓝牙天线45通过RF滤波器部分46与SOC 44通信。
也在本发明的范围内的是，可以使用其他通信标准。
也在本发明的范围内是，使用包括设备地址的通信标准，即来自眼镜框10的无线信号可以包括用于右耳内的耳塞55的第一特定地址和用于左耳内的耳塞55的第二特定地址。然后，可以将不同的信息发送到各个不同的耳朵。例如，如果其中一个眼镜框上的微波设备14a、11a检测到右侧有靠近的物体，则SOC 44可以被配置为向位于眼镜框的穿戴者的右耳内的耳塞55发送警告。例如，这可以是靠近的汽车的警告。例如，检测靠近物体的距离改变率可以用于检测汽车正在靠近并且可以触发靠近的汽车的警告。
交通雷达或多普勒频移雷达49也可以嵌入根据本发明的眼镜框中。
可能的地址机制还可以停止由接近彼此站立的两个人使用的两个眼镜框10之间的无线互通。这可以停止例如在相应眼镜框中的麦克风波束赋形的失准。
本发明的一个方面是使用在SoC系统中运行的程序来根据不同的听力场景来控制波束赋形波瓣。可以通过如图3所示的手势控制器18检测到的手势或通过如图1所示的连接的移动电话来改变或选择特定的听力场景。波束赋形波瓣由相对于麦克风阵列表面或者例如眼镜框的前侧的方向所限定，因为眼镜框的前侧支撑麦克风阵列。同样的情况也适用于布置在眼镜臂上的麦克风阵列。也可以将在眼镜框的前侧上的麦克风和在眼镜框上的麦克风组合起来。任何这种麦克风阵列都将面向感兴趣的声源。用户可以选择朝向声源的波束赋形波瓣方向，例如，当用户将他的头转向感兴趣的声源而后选此作为波束赋形波瓣方向时。当陀螺仪传感器在眼镜框面向正前方的情况下初始化为例如0°的相对角度时，可以从陀螺仪传感器读出相对于眼镜框表面的相对角度方向。
在计算波束赋形波瓣时，至少有两个重要因素是相关的。一个当然是方向，但是与宽波束赋形波瓣相比，对于窄波束赋形波瓣的过滤效果而言，波束赋形波瓣宽度也很重要。即使波束赋形波瓣由此被设计为从单个人那里拾取语音，该场景对于如上所述的眼镜框的穿戴者来说可能会改变。波束宽度方向可以与麦克风波瓣内面向声源的特定麦克风相关联，并且这些麦克风可以设置为例如在DSP电路中的前置放大器中具有增加的放大系数。到声源的距离还可以帮助限定这样的波束赋形波瓣宽度，所述波束赋形波瓣宽度适配于声源大小相对于眼镜框和声源之间的距离改变的透视相对改变。因此，通常，
-相对于配置的麦克风阵列的前侧限定波束赋形波瓣方向，
-基于到声源的距离限定波束赋形波瓣宽度，
-陀螺仪传感器在波束波瓣的限定方向上检测到的相对角度改变触发SoC系统将参数改变上传到DSP中，以根据检测到的角度改变修改波束赋形宽度，或
-由距离测量传感器检测到的到声源的测量距离的相对改变触发SoC系统上传参数改变，以根据检测到的距离改变来修改波束赋形宽度。
应当注意，系统允许用户根据上面限定的规则冻结由系统识别的任何设置，并且还可以再次启动系统以根据选择的场景主动提供优化的波束赋形波瓣。这些动作可以经由手势检测或经由连接的移动电话来完成。

Claims (21)

1.一种可集成在眼镜框中的助听系统，其包括在眼镜框的前侧表面上的至少一个麦克风阵列、距离测量传感器、陀螺仪传感器，其中，由配置的片上系统(SoC)控制的数字信号处理器(DSP)依据相应的传感器输出信号提供至少一个波束赋形波瓣，
其中，相对于配置的麦克风阵列限定到声源的波束赋形波瓣方向，
其中，基于到声源的距离限定波束赋形波瓣宽度，
其中，由陀螺仪传感器在波束波瓣的限定方向上检测到的相对角度改变触发SoC系统将参数改变上传到DSP中，以根据检测到的角度改变来修改波束赋形宽度，或
其中，由距离测量传感器检测到的到声源的测量距离的相对改变触发SoC系统上传参数改变，以根据当到声源的距离改变时声源大小的透视增加或减小来修改波束赋形宽度。
2.根据权利要求1所述的系统，其中，波束赋形波瓣方向由用户在朝用户感兴趣的声源方向看时设置。
3.根据权利要求1所述的系统，其中，配置的助听系统通过在与陀螺仪传感器检测到的眼镜框方位的第一改变相关的方向上移动波束赋形波瓣的相应侧曲线中的一个来修改所限定的波束赋形波瓣的波束宽度。
4.根据权利要求3所述的系统，其中，当检测到眼镜框方位的第二改变与检测到的第一改变相反时，配置的助听系统将波束宽度修改回在检测到眼镜框方位的第一改变之前原始设置的波束赋形波瓣宽度。
5.根据权利要求1所述的系统，其中，相应检测到的相对距离改变与眼镜框面向的声源的轮廓大小的透视增大或减小相关。
6.根据权利要求1所述的系统，其中，配置的助听系统调整至少一个麦克风的放大系数，其中，放大系数的向上或向下调整与到声源的测量距离的增加或减小成比例。
7.根据权利要求1所述的系统，其中，配置的助听系统使用来自波束赋形所指向的声源的可听声音来计算如果所述声源是人类说话、马达、火车或其他类型的声源的概率系数。
8.根据权利要求1所述的系统，其中，眼镜框包括嵌入在眼镜框的前部中的视频摄像机。
9.根据权利要求8所述的系统，其中，与视频摄像机通信的配置的嵌入式视频处理器测量视频处理器已经检测到的声源轮廓的垂直和水平高度正面向眼镜框的前部，其中，声源的垂直或水平高度在限定波束赋形波瓣宽度时使用。
10.根据权利要求9所述的系统，其中，仅当轮廓图像包括被识别为人眼的至少两个物体时，配置的嵌入式视频处理器才检测位于视场中的人脸轮廓。
11.根据权利要求9所述的系统，其中，视频处理器被配置为识别位于摄像机的视场中的多个人脸，其中，SoC系统配置覆盖所识别的所述多个人脸的波束赋形波瓣。
12.根据权利要求10所述的系统，其中，仅当在检测到的人脸轮廓内识别出两只人眼并且到检测到的人脸的测量距离小于限定距离时，配置的助听系统才执行波束赋形。
13.根据权利要求1所述的系统，其中，多个麦克风是数字全向麦克风，并且
-所述多个数字全向麦克风中的第一组全向麦克风作为线性麦克风阵列布置在眼镜框的前部上，和/或
-所述多个数字全向麦克风中的第二组全向麦克风作为线性麦克风阵列布置在眼镜框的右手侧眼镜臂上，和/或
-所述多个数字全向麦克风中的第三组全向麦克风作为线性麦克风阵列布置在眼镜框的左手侧眼镜臂上，
-助听系统被配置为基于由第一组全向麦克风、和/或第二组全向麦克风的、和/或第三组全向麦克风、或来自第一组、第二组和第三组全向麦克风中的全向麦克风的任何其他组合所形成的相应麦克风阵列来提供波束赋形。
14.根据权利要求13所述的系统，其中，基于来自第一组麦克风、第二组麦克风和第三组麦克风的相应麦克风阵列的波束赋形彼此独立地被限定。
15.根据权利要求14所述的系统，其中，来自麦克风组中的至少两个的至少一些麦克风用于形成一个麦克风阵列。
16.根据权利要求13所述的系统，其中，第一组、第二组和第三组全向麦克风被布置为宽边阵列。
17.根据权利要求13所述的系统，其中，来自第一组全向麦克风中的全向麦克风与来自第二组和/或第三组全向麦克风中的选定数量的全向麦克风相组合，并且所述麦克风被配置为端射阵列。
18.根据权利要求1所述的系统，其中，眼镜框的至少一个臂包括手势检测传感器。
19.根据权利要求1所述的系统，其中，一组预先计算的波束赋形波瓣被存储在SoC系统中，并且限定相应一个预先计算的波束赋形波瓣的参数设置在配置的SOC系统的控制下被下载到DSP。
20.根据权利要求9所述的系统，其中，配置的嵌入式视频处理器基于下载的各个人的图片提供一组不同人的面部识别，其中，所述系统被配置为向无线耳塞发送包括相应所识别到的人的姓名的语音消息。
21.根据权利要求1所述的系统，其中，助听系统被配置为将预先录制的语音消息发送到可插入的耳塞，从而向眼镜框的穿戴者提供信息和/或指令。
CN202180015157.XA 2020-02-17 2021-02-16 可集成于眼镜框的助听系统 Pending CN115151858A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
NO20200205 2020-02-17
NO20200205 2020-02-17
NO20200878 2020-08-05
NO20200878 2020-08-05
PCT/EP2021/053731 WO2021165238A1 (en) 2020-02-17 2021-02-16 Hearing aid system integrable in an eyeglass frame

Publications (1)

Publication Number Publication Date
CN115151858A true CN115151858A (zh) 2022-10-04

Family

ID=74672286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180015157.XA Pending CN115151858A (zh) 2020-02-17 2021-02-16 可集成于眼镜框的助听系统

Country Status (9)

Country Link
US (1) US20230108217A1 (zh)
EP (1) EP4107578A1 (zh)
JP (1) JP2023514462A (zh)
KR (1) KR20220143704A (zh)
CN (1) CN115151858A (zh)
AU (1) AU2021222800A1 (zh)
BR (1) BR112022016283A2 (zh)
CA (1) CA3171396A1 (zh)
WO (1) WO2021165238A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4009322A3 (en) * 2020-09-17 2022-06-15 Orcam Technologies Ltd. Systems and methods for selectively attenuating a voice

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5673299A (en) 1979-11-19 1981-06-17 Hitachi Ltd Controler for lpg fuel supply plant
ES2182424T3 (es) 1999-04-20 2003-03-01 Kochler Erika Un aparato de ayuda auditiva.
RU2404531C2 (ru) 2004-03-31 2010-11-20 Свисском Аг Оправа очков с интегрированным акустическим коммуникационным устройством для связи с мобильным радиоаппаратом и соответствующий способ
US9848260B2 (en) * 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device
EP3496417A3 (en) * 2017-12-06 2019-08-07 Oticon A/s Hearing system adapted for navigation and method therefor

Also Published As

Publication number Publication date
BR112022016283A2 (pt) 2022-10-04
EP4107578A1 (en) 2022-12-28
WO2021165238A1 (en) 2021-08-26
AU2021222800A1 (en) 2022-09-15
CA3171396A1 (en) 2021-08-26
US20230108217A1 (en) 2023-04-06
KR20220143704A (ko) 2022-10-25
JP2023514462A (ja) 2023-04-05

Similar Documents

Publication Publication Date Title
JP6747538B2 (ja) 情報処理装置
US10873825B2 (en) Audio spatialization and reinforcement between multiple headsets
JP5606543B2 (ja) 自動操作型指向性ラウドスピーカおよびその作動方法
US11076215B2 (en) Electronic device including speaker and microphone
JP2017521902A (ja) 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード
US20180295462A1 (en) Shoulder-mounted robotic speakers
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
CN113692750A (zh) 使用声音场景分析和波束形成的声传递函数个性化
US11445288B2 (en) Artificial-reality devices with display-mounted transducers for audio playback
JP2022542747A (ja) ヒアスルーオーディオシステムのためのイヤプラグアセンブリ
CN109932054B (zh) 可穿戴式声学检测识别系统
US10747311B2 (en) Sound collecting device and sound collecting device set
CN115151858A (zh) 可集成于眼镜框的助听系统
EA045491B1 (ru) Слуховой аппарат, интегрируемый в оправу очков
US11967335B2 (en) Foveated beamforming for augmented reality devices and wearables
US20230140204A1 (en) Method and device for recording sound of electronic device using earphones
US11838652B2 (en) Method for storing image and electronic device supporting the same
US20240098409A1 (en) Head-worn computing device with microphone beam steering
WO2023195048A1 (ja) 音声拡張現実オブジェクト再生装置、情報端末システム
KR20230012207A (ko) 영상 저장 방법 및 이를 지원하는 전자 장치
CN117784012A (zh) 基于声波定位的检测方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination