CN111429928A - 具收音场景切换功能的助听系统 - Google Patents
具收音场景切换功能的助听系统 Download PDFInfo
- Publication number
- CN111429928A CN111429928A CN201911233217.6A CN201911233217A CN111429928A CN 111429928 A CN111429928 A CN 111429928A CN 201911233217 A CN201911233217 A CN 201911233217A CN 111429928 A CN111429928 A CN 111429928A
- Authority
- CN
- China
- Prior art keywords
- scene
- sound
- radio
- image
- reception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 title claims abstract description 30
- 230000005236 sound signal Effects 0.000 claims abstract description 47
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 5
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- Computational Linguistics (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuits Of Receivers In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种具收音场景切换功能的助听系统，包含影像撷取器、麦克风数组单元、收音控制装置及声音输出器。收音控制装置可接收分析影像撷取器取得之视野影像而判断出相符的场景影像文本，并根据所述场景影像文本对应之收音策略，控制启动麦克风数组单元进行收音，并由声音输出器输出处理后声音信号。透过收音控制装置可分析所述视野影像以筛选出相符的场景影像文本与收音策略的设计，可使启动之收音策略更切合用户所处环境的收音场景类型，是一种相当创新的创作。
Description
技术领域
本发明涉及一种助听器，特别是涉及一种可切换收音场景的助听系统。
背景技术
目前助听器可利用声音信号特性不同，有效的区分语音(speech)及噪音(noise)，而将噪音信号滤除，且可通过方向性麦克风的设计，降低来自使用者后方及侧面的声音信号，然而日常生活环境中的声音来源型态多变，来自使用者前方的声音信号中，除了谈话对象的语音外，可能仍然充斥着其他人的讲话声，且其中大多数语音信号是使用者不想听的，例如菜市场场合、餐厅场合、演讲场合与会议场合等环境的讲话者声音来源多变且不同，但是现有麦克风的音频处理芯片并无法进行这些声音场景的辨识以调整采用适合的麦克风策略，只具有简单分析音讯以决定开启全向性收音或方向性收音的简单功能，所以使用上仍存在许多不便。
虽然较先进的助听器可通过双耳通信与波束成型的技术定位声音的方向，但是面对前方有多个语言信号时，通常无法得知哪个方向的语音信号是大脑要的，所以只能保留使用者最正面的较强语言信号，以致于在面临一对二讲话、一对三讲话，或者是使用者前方有很多人在讲话的场面时，经常无法顺利取得所需的语音信号。
发明内容
本发明的目的在于提供一种具收音场景切换功能而能改善先前技术之至少一个缺点的助听系统。
本发明具收音场景切换功能的助听系统，适用于供用户配戴使用。所述助听系统包含可撷取所述用户前方之视野影像的影像撷取器、麦克风数组单元、信号连接于所述影像撷取器与所述麦克风数组单元的收音控制装置，及至少一个信号连接于所述收音控制装置的声音输出器。所述麦克风数组单元包括多个相间隔之麦克风，每一麦克风可被单独控制启动以撷取得到声音信号。所述收音控制装置包括场景分析模块、收音策略控制模块，及音讯处理模块。所述场景分析模块内建有多个分别代表多种场景环境的场景影像文本，可分析所述视野影像以得到至少一个相对应的场景影像文本，所述收音策略控制模块内建有多个分别对应所述场景影像文本的收音策略，会根据所述场景分析模块分析得到之所述至少一场景影像文本启动对应之收音策略，而控制启动特定数量的麦克风进行收音，所述音讯处理模块内建有多个分别对应所述收音策略的音频处理模式，会以对应之音频处理模式接收处理被启动之所有麦克风撷取的声音信号以得到处理后声音信号。所述至少一声音输出器可将所述处理后声音信号输出以供所述用户聆听。
本发明所述的具收音场景切换功能的助听系统，还包含信号连接于所述收音控制装置的显示设备，所述场景分析模块可根据所述场景影像文本分析所述视野影像，以得到每一场景影像文本与所述视野影像的相符程度，且会将相符程度大于预定值的每一场景影像文本传送至所述显示设备显示以供选择，所述收音策略控制模块会根据被选择之所述场景影像文本启动对应之收音策略，而控制启动特定数量的麦克风进行收音。
本发明所述的具收音场景切换功能的助听系统，所述场景分析模块内建有可供选择启动的手动场景模式与自动场景模式，于启动所述手动场景模式时，会控制所述显示设备显示全部场景影像文本以供选择，于启动所述自动场景模式时，会根据所述场景影像文本分析所述视野影像，且会将相符程度大于所述预定值的多个场景影像文本传送至所述显示设备显示以供选择。
本发明所述的具收音场景切换功能的助听系统，所述收音控制装置还包括启动控制模块，所述启动控制模块会控制启动至少一个麦克风进行收音以得到所述声音信号，且会触发所述音讯处理模块分析所述声音信号是否存在语音，所述启动控制模块会于所述音讯处理模块分析所述声音信号存在语音时，控制启动所述影像撷取器，并触发启动所述场景分析模块。
本发明所述的具收音场景切换功能的助听系统，还包含可供配戴于所述用户身上的载具，所述影像撷取器与所述麦克风数组单元的麦克风设置于所述载具。
本发明所述的具收音场景切换功能的助听系统，所述载具为眼镜，且具有位于所述用户眼前的镜片，所述显示设备是安装在所述载具，且可通过微投影技术将所述场景影像文本与该视野影像投射成像于所述镜片以供选择。
本发明所述的具收音场景切换功能的助听系统，所述载具为眼镜，所述显示设备为安装在所述载具而位于所述用户眼前的透明液晶显示设备。
本发明所述的具收音场景切换功能的助听系统，所述显示设备包括遥控模块及触控显示模块，所述遥控模块内建有可被启动的场景收音模式，所述遥控模块启动所述场景收音模式时，会控制所述触控显示模块显示所述场景影像文本以供点选，且会对应被点选之所述场景影像文本产生并传送场景点选信号至所述收音控制装置，所述收音策略控制模块会被所述场景点选信号触发而启动对应之收音策略。
本发明所述的具收音场景切换功能的助听系统，所述收音控制装置还包括方位收音控制模块，所述遥控模块内建有可被切换启动的所述场景收音模式与方位收音模式，所述遥控模块切换启动所述方位收音模式时，会控制所述触控显示模块同步显示所述视野影像以供点选，且会根据被点选之影像区域于所述视野影像中的方位，对应产生并传送方位点选信号至所述收音控制装置，所述方位收音控制模块会被所述方位点选信号触发，而控制启动特定数量与设置位置的麦克风进行收音，所述音讯处模块会以波束成形方法对所述麦克风撷取之声音信号进行过滤处理，以过滤得到对应所述方位点选信号代表之所述视野影像中的方位的处理后声音信号。
本发明的功效在于：通过该收音控制装置内建有所述场景影像文本与所述收音策略的设计，以及通过分析该视野影像以筛选出相符的场景影像文本的设计，可更准确识别出该用户所处环境的收音场景类型，而启动适合的收音策略，是一种相当创新的创作。
附图说明
本发明的其他的特征及功效，将于参照图式的实施方式中清楚地呈现，其中：
图1是本发明具收音场景切换功能的助听系统的一个实施例的架构示意图；及
图2是该实施例的功能方块图。
具体实施方式
在本发明被详细描述前，应当注意在以下的说明内容中，类似的组件是以相同的编号来表示。
参阅图1、2，本发明具收音场景切换功能的助听系统200的实施例，包含一个用于供一位用户配戴的载具3、整合设置于该载具3的一个影像撷取器4、一个麦克风数组单元5、一个收音控制装置6与两个声音输出器7，及一个显示设备8，该收音控制装置6信号连接于该影像撷取器4、该麦克风数组单元5与所述声音输出器7。该显示设备8可设计成能供持用之手机或平板样式，或者是能供穿戴、吊挂于身上之手环、手表或项链形式，且是通过有线通信技术及/或无线通信技术信号连接于该收音控制装置6。由于无线通信技术类型众多且非本发明改良重点，因此不再详述。
在本实施例中，该载具3是设计成眼镜型式，可供该用户配戴于头部，具有一个位于用户双眼前方且安装有镜片32的前载体31，及两个分别安装于该前载体31左右两侧并供配挂于双耳之镜脚状的侧载体33。
该影像撷取器4安装于该前载体31之中间区段处，可撷取用户前方视野的影像而得到一个视野影像。
该麦克风数组单元5包括多个麦克风51，所述麦克风51左右间隔地设置于该前载体31，以及前后间隔地设置于所述侧载体33。每一麦克风51可被启动感测周遭声音而得到一个声音信号。
该收音控制装置6包括一个启动控制模块61、一个场景分析模块62、一个收音策略控制模块63、一个方位收音控制模块64，及一个音讯处理模块65。
该启动控制模块61会控制启动其中一个麦克风51进行收音以得到一个声音信号，且会控制该音讯处理模块65分析该声音信号是否存在语音成分，并会于该音讯处理模块65分析该声音信号存在语音成分时，触发该影像撷取器4开始进行影像撷取，以及控制该场景分析模块62开始接收分析该视野影像。
该场景分析模块62内建有多个场景影像文本，且内建有可供选择启动的一个手动场景模式621与一个自动场景模式622。所述场景影像文本是根据各种场合环境影像中可能存在之人物数量、每一人物相对用户之面向、距离、方位与移动/运动方式，以及所存在的各种景物影像等参数，以分类模型通过特定分类算法对上述各种参数进行分类辨识学习所建立。
所述场合环境影像例如但是不限于演讲/上课场合、会议场合、户外/公园绿地场合、派对场合、菜市场场合、超市/便利商店场合、市区街道场合、乘车场合与银行柜台场合等，所述景物影像例如但是不限于会议桌、白板、黑板、讲桌、投影机/投影布幕、树木/植栽/绿地、天空、走道、各种交通工具、货架、收款机等。所述分类算法例如但是不限于深度学习(deep beliefnetwork)、复杂判定树算法(Complex tree)、余弦最近邻近算法(consine k-nearest neighbors，Cosine KNN)、卷积式类神经网络算法(convolutional neuralnetwork，CNN)，及二次函数支持向量机算法(Quadratic support vector machine，Quadratic SVM)等。由于各类分类算法根据各种场合环境影像训练建立所述场景影像文本的方式众多，且有其特定模式，因此不再详述。
该场景分析模块62于启动该手动场景模式621时，会控制该显示设备8显示出全部场景影像文本以供用户选择。于启动该自动场景模式622时，会先通过计算机视觉分析技术分析出该视野影像所存在之各种景物影像种类，并根据该各种景物影像种类以特定之分类算法进行该视野影像的分类演算，而得到每一场景影像文本与该视野影像的相符程度，并筛选出相符程度达到一个预定值以上的多个场景影像文本，且对应筛选出之所述场景影像文本产生并传送一个场景比对结果至该显示设备8，控制该显示设备8显示出其筛选得到之所有场景影像文本以供选择。
该收音策略控制模块63内建有多个收音策略，所述收音策略为控制启动所述麦克风51进行收音的方法，例如控制启动哪一个麦克风51以进行全向性收音，或控制启动特定几个麦克风51以相配合进行方向性收音等。该收音策略控制模块63会被该显示设备8针对某一场景影像文本所传送的一个场景点选信号触发，而选择启动对应该场景影像文本的收音策略，进而控制启动特定之麦克风51进行收音。
该方位收音控制模块64会被该显示设备8针对该视野影像中之某一影像区域所传送的一个方位点选信号触发，而根据该影像区域于该视野影像中的方位，启动特定位置与数量的麦克风51以相配合产生数组式麦克风收音功能。
该音讯处理模块65内建有多个分别对应所述收音策略的音频处理模式，会根据该收音策略控制模块63启动之该收音策略，以对应之音频处理模式对该麦克风数组单元5收音得到之声音信号进行音频处理，所述音频处理内容例如但是不限于进行仿真/数字转换、降噪处理与语音提取处理等，会自该声音信号中将不需要之噪音降噪滤除，并将语音信号过滤放大输出，以得到具有较佳信噪比(signal-to-noise ratio)的处理后声音信号，并经由所述声音输出器7输出该处理后声音信号。此外，该音讯处理模块65会于该方位收音控制模块64被触发启动，而启动特定位置与数量的麦克风51以相配合产生数组式麦克风收音功能时，除了会对声音信号进行仿真/数字转换与降噪处理外，还会配合以波束成形方法对该声音信号进行过滤处理，以及进行语音提取处理，借以过滤得到一个对应该方位点选信号代表之该视野影像中的方位的处理后声音信号。
由于该音讯处理模块65对声音信号进行降噪过滤处理与语音提取处理，以及以波束成形方法过滤出特定方位之声音信号都是现有技术，且方法相当多，也非本发明之改良重点，因此不再详述。
该显示设备8包括一个遥控模块81，及一个触控显示模块82。该遥控模块81内建有可被切换启动的一个场景收音模式811与一个方位收音模式812。该遥控模块81启动该场景收音模式811时，会被该收音控制装置6的场景分析模块62触发，而控制该触控显示模块82显示出全部场景影像文本以供点选，或者是显示出该场景比对结果对应之所述场景影像文本以供点选。且该遥控模块81会于其中一个场景影像文本被点选时，对应产生并传送该场景点选信号至该收音控制装置6。
该遥控模块81启动该方位收音模式812时，会控制该触控显示模块82同步接收显示该影像撷取器4撷取之该视野影像，且会于该触控显示模块82显示之该视野影像的其中一个影像区域被点选时，对应产生并传送该方位点选信号至该收音控制装置6。
本发明助听系统200使用时，用户是将该载具3配戴于头部，并将所述声音输出器7安装于双耳，且持用该显示设备8。系统启动后，该影像撷取器4不会立刻启动影像撷取功能，该收音控制装置6会先控制启动一个麦克风51以进行全向性收音，并于分析收音得到之声音信号中存在语音信号时，才控制启动该影像撷取器4进行该视野影像之撷取。该收音控制装置6会分析出与该视野影像相符程度达预定值以上的一个或多个场景影像文本，并进一步比对出每一场景影像文本对应之该收音策略。
当该显示设备8启动该场景收音模式811，且该收音控制装置6之该场景分析模块62启动该手动场景模式621时，该收音控制装置6会控制该显示设备8显示出所有场景影像文本以供选择。当该场景分析模块62启动该自动场景模式622时，该收音控制装置6会将筛选出之所有场景影像文本传送至该显示设备8显示。此时，该用户可根据现场情况，操作该显示设备8以点选最符合需求的场景影像文本，而对应回传一个场景点选信号至该收音控制装置6，该收音控制装置6会根据该场景点选信号启动对应的收音策略，而控制启动特定位置与数量的麦克风51开始进行收音，并对被启动之所有麦克风51取得之声音信号进行语音提取处理，且将该处理后声音信号传送至所述声音输出器7输出，以供该用户聆听。
当该显示设备8启动该方位收音模式812时，该收音控制装置6会将该影像撷取器4撷取得到之该视野影像同步传送至该显示设备8。此时，用户可操作该显示设备8以点选该视野影像中预定聆听之的影像区域，该显示设备8会对应回传一个方位点选信号至该收音控制装置6。该收音控制装置6会根据该方位点选信号对应之方位，控制启动特定位置与数量的麦克风51，并通过波束成形方法过滤出对应方位之声音信号，并对该声音信号进行语音提取处理，然后将该处理后声音信号传送至所述声音输出器7输出，以供该用户聆听。
在本实施例中，该收音控制装置6是整合设置在该载具3，并通过无线通信技术与该用户手持的该显示设备8信号连接，但是实施时，在本发明之另一实施态样中，可不将该收音控制装置6设置在该载具3，而是改为整合设置在该显示设备8，可借此降低该载具3所设置之电子组件数量，而相对减轻配戴重量。
而在本发明之另一实施态样中，该显示设备8也可改为具有微投影功能的装置，并整合设置在该载具3，且可对该载具3之该镜片32进行微投影，而于该镜片32显示出所述场景影像文本与该视野影像，以供该用户通过视觉控制或其它输入构件来点选所述场景影像文本与点选该视野影像之影像区域。而在本发明之再另一实施态样中，该显示设备8也可改为透明液晶显示设备，并安装在该载具3而位于该用户眼前，用于作为眼镜形式之该载具的镜片使用。
再者，实施时，在本发明之其它实施态样中，该显示设备8非为必要，该收音控制装置6可分析该视野影像以取得相符程度最高的该场景影像文本，并直接启动对应之收音策略以控制该麦克风数组单元5进行收音，不需再通过该显示设备8进行点选。
综上所述，通过该收音控制装置6内建有多种场景影像文本与多个分别对应所述场景影像文本之收音策略的设计，以及可通过分析该影像撷取器4取得之该视野影像，而筛选出相符持程度达特定值以上的场景影像文本以供用户选择的设计，可更准确识别出该用户所处环境的收音场景类型，且用户也可通过操作该显示设备8的方式自行选择最适合的场景影像文本。此外，用户也可通过选择启动该显示设备8之方位收音模式812，通过直接点选该显示设备8显示之该视野影像中的某一影像区域的方式，控制该收音控制装置6以波束成形技术对该视野影像中之特定方位进行收音，相当方便。因此，本发明具收音场景切换功能的助听系统200确实是一种相当创新的创作，确实能达成本发明的目的。
以上所述者，只为本发明的实施例而已，当不能以此限定本发明实施的范围，凡是依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，都仍属本发明的范围。
Claims (9)
1.一种具收音场景切换功能的助听系统，适用于供用户配戴使用，并包含可撷取所述用户前方之视野影像的影像撷取器、麦克风数组单元，及至少一个声音输出器，所述麦克风数组单元包括多个相间隔之麦克风，每一麦克风可被单独控制启动以撷取得到声音信号，其特征在于：所述助听系统还包含收音控制装置，所述收音控制装置信号连接于所述影像撷取器、所述麦克风与所述声音输出器，包括场景分析模块、收音策略控制模块，及音讯处理模块，所述场景分析模块内建有多个分别代表多种场景环境的场景影像文本，可分析所述视野影像以得到至少一个相对应的场景影像文本，所述收音策略控制模块内建有多个分别对应所述场景影像文本的收音策略，会根据所述场景分析模块分析得到之所述至少一场景影像文本启动对应之收音策略，而控制启动特定数量的麦克风进行收音，所述音讯处理模块内建有多个分别对应所述收音策略的音频处理模式，会以对应之音频处理模式接收处理被启动之所有麦克风撷取的声音信号以得到处理后声音信号，并经由所述声音输出器输出所述处理后声音信号以供所述用户聆听。
2.根据权利要求1所述的具收音场景切换功能的助听系统，其特征在于：还包含信号连接于所述收音控制装置的显示设备，所述场景分析模块可根据所述场景影像文本分析所述视野影像，以得到每一场景影像文本与所述视野影像的相符程度，且会将相符程度大于预定值的每一场景影像文本传送至所述显示设备显示以供选择，所述收音策略控制模块会根据被选择之所述场景影像文本启动对应之收音策略，而控制启动特定数量的麦克风进行收音。
3.根据权利要求2所述的具收音场景切换功能的助听系统，其特征在于：所述场景分析模块内建有可供选择启动的手动场景模式与自动场景模式，于启动所述手动场景模式时，会控制所述显示设备显示全部场景影像文本以供选择，于启动所述自动场景模式时，会根据所述场景影像文本分析所述视野影像，且会将相符程度大于所述预定值的多个场景影像文本传送至所述显示设备显示以供选择。
4.根据权利要求2或3所述的具收音场景切换功能的助听系统，其特征在于：所述收音控制装置还包括启动控制模块，所述启动控制模块会控制启动至少一个麦克风进行收音以得到所述声音信号，且会触发所述音讯处理模块分析所述声音信号是否存在语音，所述启动控制模块会于所述音讯处理模块分析所述声音信号存在语音时，控制启动所述影像撷取器，并触发启动所述场景分析模块。
5.根据权利要求2或3所述的具收音场景切换功能的助听系统，其特征在于：还包含可供配戴于所述用户身上的载具，所述影像撷取器与所述麦克风数组单元的麦克风设置于所述载具。
6.根据权利要求5所述的具收音场景切换功能的助听系统，其特征在于：所述载具为眼镜，且具有位于所述用户眼前的镜片，所述显示设备安装在所述载具，且可通过微投影技术将所述场景影像文本与该视野影像投射成像于所述镜片以供选择。
7.根据权利要求5所述的具收音场景切换功能的助听系统，其特征在于：所述载具为眼镜，所述显示设备为安装在所述载具而位于所述用户眼前的透明液晶显示设备。
8.根据权利要求5所述的具收音场景切换功能的助听系统，其特征在于：所述显示设备包括遥控模块及触控显示模块，所述遥控模块内建有可被启动的场景收音模式，所述遥控模块启动所述场景收音模式时，会控制所述触控显示模块显示所述场景影像文本以供点选，且会对应被点选之所述场景影像文本产生并传送场景点选信号至所述收音控制装置，所述收音策略控制模块会被所述场景点选信号触发而启动对应之收音策略。
9.根据权利要求8所述的具收音场景切换功能的助听系统，其特征在于：所述收音控制装置还包括方位收音控制模块，所述遥控模块内建有可被切换启动的所述场景收音模式与方位收音模式，所述遥控模块切换启动所述方位收音模式时，会控制所述触控显示模块同步显示所述视野影像以供点选，且会根据被点选之影像区域于所述视野影像中的方位，对应产生并传送方位点选信号至所述收音控制装置，所述方位收音控制模块会被所述方位点选信号触发，而控制启动特定数量与设置位置的麦克风进行收音，所述音讯处模块会以波束成形方法对所述麦克风撷取之声音信号进行过滤处理，以过滤得到对应所述方位点选信号代表之所述视野影像中的方位的处理后声音信号。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108100992 | 2019-01-10 | ||
| TW108100992A TWI768175B (zh) | 2019-01-10 | 2019-01-10 | 具收音場景切換功能的助聽系統 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111429928A true CN111429928A (zh) | 2020-07-17 |
Family
ID=71517150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911233217.6A Pending CN111429928A (zh) | 2019-01-10 | 2019-12-05 | 具收音场景切换功能的助听系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10827260B2 (zh) |
| JP (1) | JP2020113981A (zh) |
| CN (1) | CN111429928A (zh) |
| TW (1) | TWI768175B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023001195A1 (zh) * | 2021-07-22 | 2023-01-26 | 所乐思(深圳)科技有限公司 | 智能眼镜及其控制方法和系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234871A1 (ko) * | 2021-05-04 | 2022-11-10 | 엘지전자 주식회사 | 음장 제어 장치 및 방법 |
| CN114615609B (zh) * | 2022-03-15 | 2024-01-30 | 深圳市昂思科技有限公司 | 助听器控制方法、助听器设备、装置、设备和计算机介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1229518A1 (en) * | 2001-01-31 | 2002-08-07 | Alcatel | Speech recognition system, and terminal, and system unit, and method |
| EP1375084A1 (en) * | 2001-03-09 | 2004-01-02 | Japan Science and Technology Corporation | Robot audiovisual system |
| CN104735598A (zh) * | 2013-12-18 | 2015-06-24 | 刘璟锋 | 助听系统与助听系统的语音撷取方法 |
| CN104982041A (zh) * | 2013-02-15 | 2015-10-14 | 三星电子株式会社 | 用于控制助听器的便携式终端及其方法 |
| CN105532017A (zh) * | 2013-03-12 | 2016-04-27 | 谷歌技术控股有限责任公司 | 用于波束形成以获得语音和噪声信号的装置和方法 |
| US20160277850A1 (en) * | 2015-03-18 | 2016-09-22 | Lenovo (Singapore) Pte. Ltd. | Presentation of audio based on source |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9153195B2 (en) * | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
| US10282057B1 (en) * | 2014-07-29 | 2019-05-07 | Google Llc | Image editing on a wearable device |
| JP6290827B2 (ja) * | 2015-06-05 | 2018-03-07 | リウ チン フォンＣｈｉｎｇ−Ｆｅｎｇ ＬＩＵ | オーディオ信号を処理する方法及び補聴器システム |
| CA2927046A1 (en) * | 2016-04-12 | 2017-10-12 | 11 Motion Pictures Limited | Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing |
| US10484568B2 (en) * | 2016-10-26 | 2019-11-19 | Orcam Technologies Ltd. | Providing a social media recommendation based on data captured by a wearable device |
| US10362270B2 (en) * | 2016-12-12 | 2019-07-23 | Dolby Laboratories Licensing Corporation | Multimodal spatial registration of devices for congruent multimedia communications |
| US10410086B2 (en) * | 2017-05-30 | 2019-09-10 | Google Llc | Systems and methods of person recognition in video streams |
| US10452923B2 (en) * | 2017-11-28 | 2019-10-22 | Visual Semantics, Inc. | Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation |
-
2019
- 2019-01-10 TW TW108100992A patent/TWI768175B/zh active
- 2019-12-05 CN CN201911233217.6A patent/CN111429928A/zh active Pending
-
2020
- 2020-01-06 US US16/734,671 patent/US10827260B2/en active Active
- 2020-01-08 JP JP2020001123A patent/JP2020113981A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1229518A1 (en) * | 2001-01-31 | 2002-08-07 | Alcatel | Speech recognition system, and terminal, and system unit, and method |
| EP1375084A1 (en) * | 2001-03-09 | 2004-01-02 | Japan Science and Technology Corporation | Robot audiovisual system |
| CN104982041A (zh) * | 2013-02-15 | 2015-10-14 | 三星电子株式会社 | 用于控制助听器的便携式终端及其方法 |
| CN105532017A (zh) * | 2013-03-12 | 2016-04-27 | 谷歌技术控股有限责任公司 | 用于波束形成以获得语音和噪声信号的装置和方法 |
| CN104735598A (zh) * | 2013-12-18 | 2015-06-24 | 刘璟锋 | 助听系统与助听系统的语音撷取方法 |
| US20160277850A1 (en) * | 2015-03-18 | 2016-09-22 | Lenovo (Singapore) Pte. Ltd. | Presentation of audio based on source |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023001195A1 (zh) * | 2021-07-22 | 2023-01-26 | 所乐思(深圳)科技有限公司 | 智能眼镜及其控制方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200228894A1 (en) | 2020-07-16 |
| JP2020113981A (ja) | 2020-07-27 |
| US10827260B2 (en) | 2020-11-03 |
| TWI768175B (zh) | 2022-06-21 |
| TW202027520A (zh) | 2020-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2887697B1 (en) | Method of audio signal processing and hearing aid system for implementing the same | |
| CN111429928A (zh) | 具收音场景切换功能的助听系统 | |
| JP6094190B2 (ja) | 情報処理装置および記録媒体 | |
| US20230045237A1 (en) | Wearable apparatus for active substitution | |
| US10499156B2 (en) | Method and device of optimizing sound signal | |
| US20170303052A1 (en) | Wearable auditory feedback device | |
| US20190028817A1 (en) | System and method for a directional speaker selection | |
| KR20170067682A (ko) | 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터 | |
| WO2022199500A1 (zh) | 一种模型训练方法、场景识别方法及相关设备 | |
| JP6290827B2 (ja) | オーディオ信号を処理する方法及び補聴器システム | |
| US20200227067A1 (en) | Communication aid system | |
| DK1848245T3 (da) | Høreapparat med kildeadskillelse og tilsvarende fremgangsmåde | |
| TW200411627A (en) | Robottic vision-audition system | |
| WO2019119290A1 (zh) | 提示信息确定方法、装置、电子设备和计算机程序产品 | |
| EP1705911A1 (en) | Video conference system | |
| CN111128180A (zh) | 一种听力障碍者的辅助对话系统 | |
| CN112995846A (zh) | 注意力集中辅助系统 | |
| JP2021197658A (ja) | 収音装置、収音システム及び収音方法 | |
| US20240177588A1 (en) | Hearing aiding apparatus integrating image-acoustics positioning, omnidirectional acoustic reception, and warning | |
| JP2019096220A (ja) | 文字情報提供装置および方法 | |
| EP4178220A1 (en) | Voice-input device | |
| US20240064420A1 (en) | Cameras for multiple views | |
| CN116913328A (zh) | 音频处理方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200717 |