CN111343554A - 一种视觉与语音结合的助听方法及系统 - Google Patents

一种视觉与语音结合的助听方法及系统 Download PDF

Info

Publication number
CN111343554A
CN111343554A CN202010137115.0A CN202010137115A CN111343554A CN 111343554 A CN111343554 A CN 111343554A CN 202010137115 A CN202010137115 A CN 202010137115A CN 111343554 A CN111343554 A CN 111343554A
Authority
CN
China
Prior art keywords
information
wearer
processing module
hearing aid
voice information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010137115.0A
Other languages
English (en)
Inventor
林峰
黄明飞
姚宏贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Open Intelligent Machine Shanghai Co ltd
Original Assignee
Open Intelligent Machine Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Open Intelligent Machine Shanghai Co ltd filed Critical Open Intelligent Machine Shanghai Co ltd
Priority to CN202010137115.0A priority Critical patent/CN111343554A/zh
Publication of CN111343554A publication Critical patent/CN111343554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/04—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception comprising pocket amplifiers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Abstract

本发明涉及一种助听技术领域，尤其涉及一种视觉与语音结合的助听方法及系统：S1，采用第一采集模块收集助听装置的佩戴者周围环境的语音信息；S2，采用第二采集模块获取佩戴者前方的图像信息；S3，处理模块判断佩戴者周围的说话人所在的方位信息；S4，处理模块对语音信息进行增强处理并进行语音识别，以获取与语音信息对应的文字内容；S5，采用助听装置接收语音信息，放大后播放给佩戴者；以及采用可视模块接收并显示文字内容，用于辅助佩戴者理解语音信息。有益效果在于：本发明中通过语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流，并通过唇语识别来纠正传统的语音识别的错误，提高了在复杂环境下的语音识别的识别率。

Description

一种视觉与语音结合的助听方法及系统
技术领域
本发明涉及一种助听技术领域，尤其涉及一种视觉与语音结合的助听方法及系统。
背景技术
听力障碍严重影响患者的生活，还可能会引发重度失眠、认知衰退、抑郁等极为严重的心理问题。据统计，全球65岁以上的老年人，约有1/3的人存在耳聋或者听力障碍。
助听器对于听力损失者的听力改善可以起到一定的辅助作用，并且对听力损失的恢复也有极大的帮助。但是目前的助听器在嘈杂环境中，很难准确地判断与佩戴者对话的目标，与此同时助听器只能单方面的增大目标和其他语音信号，给佩戴者带来很强的不适感，如何帮助听力障碍患者更好的与其他人交流成为亟待解决问题。
发明内容
针对现有技术中出现的上述问题，现提供一种视觉与语音结合的助听方法及系统，其具体技术方案如下：
本发明中涉及一种视觉与语音结合的助听方法，其中，所述助听方法包括以下步骤：
步骤S1，采用一第一采集模块收集一助听装置的佩戴者周围环境的语音信息，并将所述语音信息发送至一处理模块；
步骤S2，采用一第二采集模块获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块；
步骤S3，所述处理模块根据接收到的所述语音信息和所述图像信息，判断所述佩戴者周围的说话人所在的方位信息；
步骤S4，所述处理模块对根据所述步骤S3中输出的所述方位信息所对应的所述语音信息进行增强处理，并对增强后的所述语音信息进行语音识别，以获取与所述语音信息对应的文字内容；
步骤S5，采用所述助听装置接收所述步骤S4中输出的增强后的所述语音信息，放大后播放给所述佩戴者；以及
采用一可视模块接收并显示所述步骤S4中输出的所述文字内容，用于辅助所述佩戴者理解所述语音信息。
优选的，所述第一采集模块采用多路麦克风实现。
优选的，所述步骤S3包括：
步骤S31，所述处理模块根据接收到的所述语音信息判断所述语音信息的声源的位置；
步骤S32，所述处理模块根据接收到的所述图像信息判断所述佩戴者的前方是否存在所述说话人，
若是，则转向步骤S33；
若否，则转向步骤S35；
步骤S33，所述处理模块根据所述图像信息判断所述佩戴者的前方是否存在多个所述说话人：
若是，则转向步骤S34；
若否，则根据所述图像信息确定并输出所述说话人的所述方位信息，随后转向所述步骤S4；
步骤S34，所述处理模块根据所述图像信息，确定并输出位于所述佩戴者的前方的中轴线上且距离所述佩戴者最近的所述说话人的所述方位信息，随后转向所述步骤S4；
步骤S35，所述处理模块根据所述语音信息和所述图像信息综合确定并输出所述说话人的方位信息，随后转向所述步骤S4。
优选的，当接收到的所述语音信息具有多个声源时，所述步骤S4中，对所述语音信息进行增强的方法包括：
增强对应于所述说话人的所述方位信息的所述语音信息，并对其余的所述语音信息进行噪声抑制处理。
优选的，在执行所述步骤S3后，还包括一唇语识别的过程，具体包括：
步骤A1，所述处理模块根据所述图像信息，处理得到所述说话人的嘴部动作；
步骤A2，所述处理模块根据一预先训练形成的唇语识别模型，对所述嘴部动作进行识别，并输出相应的唇语识别结果；
则所述步骤S4中，所述处理模块对所述语音信息进行语音识别时，采用所述唇语识别结果对所述语音信息的识别结果进行辅助纠正。
一种视觉与语音结合的助听系统，其中，采用如上述任一所述视觉与语音结合的助听方法，所述助听系统包括：
一第一采集模块，所述第一采集模块包括多路麦克风，用以获取所述佩戴者周围环境的语音信息；
一第二采集模块，所述第二采集模块用以获取所述佩戴者前方的图像信息；
一处理模块，所述处理模块分别与所述第一采集模块、所述第二采集模块信号连接，用以处理获取的所述语音信息和所述图像信息；
一助听装置，所述助听装置与所述处理模块信号连接，用以接收增强后的所述语音信息，放大后播放给所述佩戴者；
一可视模块，所述可视模块与所述处理模块信号连接，用以显示与所述语音信息对应的文字内容。
优选的，所述第二采集模块包括一摄像头，所述摄像头与所述处理模块信号连接，获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块。
优选的，所述助听装置为一助听器，所述助听器放置于所述佩戴者耳部，与所述处理模块信号连接。
本发明的有益效果在于：本发明中通过语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流，并通过唇语识别来纠正传统的语音识别的错误，提高了在复杂环境下的语音识别的识别率，更好地帮助听力障碍患者与其他人交流。
附图说明
图1为本发明一种视觉与语音结合的助听方法的步骤流程图；
图2为本发明一种视觉与语音结合的助听方法的步骤S3的步骤流程图；
图3为本发明一种视觉与语音结合的助听方法的步骤S3后的唇语识别的步骤流程图；
图4为本发明一种视觉与语音结合的助听系统的原理框图；
本发明说明书附图标记：
第一采集模块1；助听装置2；处理模块3；第二采集模块4；可视模块5。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
针对现有技术中出现的上述问题，现提供一种视觉与语音结合的助听方法及系统，其具体技术方案如下：
本发明中涉及一种视觉与语音结合的助听方法，其中，助听方法包括以下步骤：
步骤S1，采用一第一采集模块1收集一助听装置2的佩戴者周围环境的语音信息，并将语音信息发送至一处理模块3；
步骤S2，采用一第二采集模块4获取佩戴者前方的图像信息，并将图像信息发送至处理模块3；
步骤S3，处理模块3根据接收到的语音信息和图像信息，判断佩戴者周围的说话人所在的方位信息；
步骤S4，处理模块3对根据步骤S3中输出的方位信息所对应的语音信息进行增强处理，并对增强后的语音信息进行语音识别，以获取与语音信息对应的文字内容；
步骤S5，采用助听装置2接收步骤S4中输出的增强后的语音信息，放大后播放给佩戴者；以及
采用一可视模块5接收并显示步骤S4中输出的文字内容，用于辅助佩戴者理解语音信息。
在本发明中提供一种视觉与语音结合的助听方法，如图1所示，该助听方法包括：第一，使用第一采集模块1收集助听装置2的佩戴者周围环境的语音信息，并且将语音信息发送至处理模块3；第二，使用第二采集模块4获取佩戴者前方的图像信息，并将图像信息发送至处理模块3；第三，处理模块3根据接收到的语音信息和图像信息，来判断并输出佩戴者周围的说话人所在的方位信息；第四，处理模块3对根据输出的方位信息所对应的语音信息进行增强处理，并对增强后的语音信息进行语音识别，以获取与语音信息对应的文字内容；最后，利用助听装置2接收第四中输出的增强后的语音信息，放大后播放给佩戴者；与此同时，采用一可视模块5接收并显示输出的文字内容，用于辅助佩戴者理解语音信息，这样利用语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流，提高了在复杂环境下的语音识别的识别率，更好地帮助听力障碍患者与其他人交流。
在一种较优的实施例中，第一采集模块1采用多路麦克风实现。
在该实施例中，第一采集模块1通过多路麦克风来采集助听装置2的佩戴者周围环境的语音信息，并将语音信息发送至处理模块3中进行处理。
在一种较优的实施例中，步骤S3包括：
步骤S31，处理模块3根据接收到的语音信息判断语音信息的声源的位置；
步骤S32，处理模块3根据接收到的图像信息判断佩戴者的前方是否存在说话人，
若是，则转向步骤S33；
若否，则转向步骤S35；
步骤S33，处理模块3根据图像信息判断佩戴者的前方是否存在多个说话人；
若是，则转向步骤S34；
若否，则根据图像信息确定并输出说话人的方位信息，随后转向步骤S4；
步骤S34，处理模块3根据图像信息，确定并输出位于佩戴者的前方的中轴线上且距离佩戴者最近的说话人的方位信息，随后转向步骤S4；
步骤S35，处理模块3根据语音信息和图像信息综合确定并输出说话人的方位信息，随后转向步骤S4。
在该实施例中，如图2所示，在处理模块3根据接收到的语音信息和图像信息，来判断并输出佩戴者周围的说话人所在的方位信息的过程还包括：首先，利用处理模块3根据接收到的语音信息判断语音信息的声源的位置；
其次，处理模块3根据接收到的图像信息判断佩戴者的前方是否存在说话人，
若佩戴者的前方存在说话人，则处理模块3再根据图像信息判断佩戴者的前方是否存在多个说话人，
若佩戴者的前方是多个说话人说话，则处理模块3根据图像信息，确定并输出位于佩戴者的前方的中轴线上且距离佩戴者最近的说话人的方位信息；
若佩戴者的前方不是多个说话人说话，则根据图像信息确定并输出说话人的方位信息；
若佩戴者的前方不存在说话人，处理模块3根据语音信息和图像信息综合确定并输出说话人的方位信息。
在一种较优的实施例中，当接收到的语音信息具有多个声源时，步骤S4中，当接收到的语音信息具有多个声源时：
增强对应于说话人的方位信息的语音信息，并对其余的语音信息进行噪声抑制处理。
在该实施例中，当接收到的语音信息具有多个声源时，判断识别说话人的方向，根据声源的方向，使用麦克风阵列语音信息处理方法选择性地增强该声源方向上的语音信息；并利用噪声抑制算法对其余的语音信息进行噪声抑制处理。
在一种较优的实施例中，在执行步骤S3后，还包括一唇语识别的过程，具体包括：
步骤A1，处理模块3根据图像信息，处理得到说话人的嘴部动作；
步骤A2，处理模块3根据一预先训练形成的唇语识别模型，对嘴部动作进行识别，并输出相应的唇语识别结果；
则步骤S4中，处理模块3对语音信息进行语音识别时，采用唇语识别结果对语音信息的识别结果进行辅助纠正。
在该实施例中，如图3所示，唇语识别的过程包括：首先，处理模块3根据图像信息，处理得到说话人的嘴部动作；其次，处理模块3根据一预先训练形成的唇语识别模型，对嘴部动作进行识别，并输出相应的唇语识别结果；最后，处理模块3对语音信息进行语音识别时，采用唇语识别结果对语音信息的识别结果进行辅助纠正；这样通过唇语识别来纠正传统的语音识别的错误，提高了在复杂环境下的语音识别的识别率，更好地帮助听力障碍患者与其他人交流。
一种视觉与语音结合的助听系统，其中，采用如上述任一视觉与语音结合的助听方法，助听系统包括：
一第一采集模块1，第一采集模包括多路麦克风，用以获取佩戴者周围环境的语音信息；
一第二采集模块4，第二采集模块4用以获取佩戴者前方的图像信息；
一处理模块3，处理模块3分别与第一采集模块1、第二采集模块4信号连接，用以处理获取的语音信息和图像信息；
一助听装置2，助听装置2与处理模块3信号连接，用以接收增强后的语音信息，放大后播放给佩戴者；
一可视模块5，可视模块5与处理模块3信号连接，用以显示与语音信息对应的文字内容。
在本发明中，提供一种视觉与语音结合的助听系统，如图4所示，该助听系统应用于上述的视觉与语音结合的助听方法，包括：第一采集模块1、第二采集模块4、助听装置2、处理模块3和可视模块5，其中，处理模块3分别与第一采集模块1、第二采集模块4信号连接，用以处理获取的语音信息和图像信息；第一采集模块1通过多路麦克风收集助听装置2的佩戴者周围环境的语音信息，这样简单方便，易于操作；可视模块5与处理模块3信号连接，用以显示与语音信息对应的文字内容；本发明通过语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流。
在一种较优的实施例中，第二采集模块4包括一摄像头，摄像头与处理模块3信号连接，获取佩戴者前方的图像信息，并将图像信息发送至处理模块3。
在本实施中，第二采集模块4通过摄像头获取佩戴者前方的图像信息，并将图像信息发送至处理模块3，这样简单方便，易于操作。
在一种较优的实施例中，助听装置2为一助听器，助听器放置于所述佩戴者耳部，与处理模块3信号连接。
本发明的有益效果在于：本发明中通过语音识别、图像识别和文字显示三者结合的方式来帮助听力障碍患者正常交流，并通过唇语识别来纠正传统的语音识别的错误，提高了在复杂环境下的语音识别的识别率，更好地帮助听力障碍患者与其他人交流。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种视觉与语音结合的助听方法，其特征在于，所述助听方法包括：
步骤S1，采用一第一采集模块收集一助听装置的佩戴者周围环境的语音信息，并将所述语音信息发送至一处理模块；
步骤S2，采用一第二采集模块获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块；
步骤S3，所述处理模块根据接收到的所述语音信息和所述图像信息，判断所述佩戴者周围的说话人所在的方位信息；
步骤S4，所述处理模块对根据所述步骤S3中输出的所述方位信息所对应的所述语音信息进行增强处理，并对增强后的所述语音信息进行语音识别，以获取与所述语音信息对应的文字内容；
步骤S5，采用所述助听装置接收所述步骤S4中输出的增强后的所述语音信息，放大后播放给所述佩戴者；以及
采用一可视模块接收并显示所述步骤S4中输出的所述文字内容，用于辅助所述佩戴者理解所述语音信息。
2.根据权利要求1所述视觉与语音结合的助听方法，其特征在于，所述第一采集模块采用多路麦克风实现。
3.根据权利要求1所述视觉与语音结合的助听方法，其特征在于，所述步骤S3包括：
步骤S31，所述处理模块根据接收到的所述语音信息判断所述语音信息的声源的位置；
步骤S32，所述处理模块根据接收到的所述图像信息判断所述佩戴者的前方是否存在所述说话人，
若是，则转向步骤S33；
若否，则转向步骤S35；
步骤S33，所述处理模块根据所述图像信息判断所述佩戴者的前方是否存在多个所述说话人，
若是，则转向步骤S34；
若否，则根据所述图像信息确定并输出所述说话人的所述方位信息，随后转向所述步骤S4；
步骤S34，所述处理模块根据所述图像信息，确定并输出位于所述佩戴者的前方的中轴线上且距离所述佩戴者最近的所述说话人的所述方位信息，随后转向所述步骤S4；
步骤S35，所述处理模块根据所述语音信息和所述图像信息综合确定并输出所述说话人的方位信息，随后转向所述步骤S4。
4.根据权利要求1所述的视觉与语音结合的助听方法，其特征在于，当接收到的所述语音信息具有多个声源时，所述步骤S4中，对所述语音信息进行增强的方法包括：
增强对应于所述说话人的所述方位信息的所述语音信息，并对其余的所述语音信息进行噪声抑制处理。
5.根据权利要求1所述的视觉与语音结合的助听方法，其特征在于，在执行所述步骤S3后，还包括一唇语识别的过程，具体包括：
步骤A1，所述处理模块根据所述图像信息，处理得到所述说话人的嘴部动作；
步骤A2，所述处理模块根据一预先训练形成的唇语识别模型，对所述嘴部动作进行识别，并输出相应的唇语识别结果；
则所述步骤S4中，所述处理模块对所述语音信息进行语音识别时，采用所述唇语识别结果对所述语音信息的识别结果进行辅助纠正。
6.一种视觉与语音结合的助听系统，其特征在于，采用如上述权利要求1-5任一所述视觉与语音结合的助听方法，所述助听系统包括：
一第一采集模块，所述第一采集模块包括多路麦克风，用以获取所述佩戴者周围环境的语音信息；
一第二采集模块，所述第二采集模块用以获取所述佩戴者前方的图像信息；
一处理模块，所述处理模块分别与所述第一采集模块、所述第二采集模块信号连接，用以处理获取的所述语音信息和所述图像信息；
一助听装置，所述助听装置与所述处理模块信号连接，用以接收增强后的所述语音信息，放大后播放给所述佩戴者；
一可视模块，所述可视模块与所述处理模块信号连接，用以显示与所述语音信息对应的文字内容。
7.根据权利要求6所述视觉与语音结合的助听系统，其特征在于，所述第二采集模块包括一摄像头，所述摄像头与所述处理模块信号连接，获取所述佩戴者前方的图像信息，并将所述图像信息发送至所述处理模块。
8.根据权利要求6所述视觉与语音结合的助听系统，其特征在于，所述助听装置为一助听器，所述助听器放置于所述佩戴者耳部，与所述处理模块信号连接。
CN202010137115.0A 2020-03-02 2020-03-02 一种视觉与语音结合的助听方法及系统 Pending CN111343554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137115.0A CN111343554A (zh) 2020-03-02 2020-03-02 一种视觉与语音结合的助听方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137115.0A CN111343554A (zh) 2020-03-02 2020-03-02 一种视觉与语音结合的助听方法及系统

Publications (1)

Publication Number Publication Date
CN111343554A true CN111343554A (zh) 2020-06-26

Family

ID=71186010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137115.0A Pending CN111343554A (zh) 2020-03-02 2020-03-02 一种视觉与语音结合的助听方法及系统

Country Status (1)

Country Link
CN (1) CN111343554A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816182A (zh) * 2020-07-27 2020-10-23 上海又为智能科技有限公司 助听语音识别方法、装置及助听设备
CN112786052A (zh) * 2020-12-30 2021-05-11 科大讯飞股份有限公司 语音识别方法、电子设备和存储装置
CN112820274A (zh) * 2021-01-08 2021-05-18 上海仙剑文化传媒股份有限公司 一种语音信息识别校正方法和系统
CN112908334A (zh) * 2021-01-31 2021-06-04 云知声智能科技股份有限公司 一种基于定向拾音的助听方法、装置及设备
CN114694390A (zh) * 2020-12-30 2022-07-01 广东小天才科技有限公司 交通指示灯切换时间的判断方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049077A (zh) * 2011-10-14 2013-04-17 鸿富锦精密工业（深圳）有限公司 声音反馈装置及其工作方法
CN104735598A (zh) * 2013-12-18 2015-06-24 刘璟锋 助听系统与助听系统的语音撷取方法
CN106157957A (zh) * 2015-04-28 2016-11-23 中兴通讯股份有限公司 语音识别方法、装置及用户设备
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
US20170359650A1 (en) * 2016-06-14 2017-12-14 Orcam Technologies Ltd. Systems and methods for directing audio output of a wearable apparatus
CN207612422U (zh) * 2017-12-07 2018-07-13 杭州蓝斯特科技有限公司 一种可视化助听装置
CN108877407A (zh) * 2018-06-11 2018-11-23 北京佳珥医学科技有限公司 用于辅助交流的方法、装置和系统及增强现实眼镜
CN109951784A (zh) * 2017-12-05 2019-06-28 大北欧听力公司 具有智能引导的听力装置和方法
US20190215632A1 (en) * 2018-01-05 2019-07-11 Gaudi Audio Lab, Inc. Binaural audio signal processing method and apparatus for determining rendering method according to position of listener and object
CN110351631A (zh) * 2019-07-11 2019-10-18 京东方科技集团股份有限公司 聋哑人交流设备及其使用方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049077A (zh) * 2011-10-14 2013-04-17 鸿富锦精密工业（深圳）有限公司 声音反馈装置及其工作方法
CN104735598A (zh) * 2013-12-18 2015-06-24 刘璟锋 助听系统与助听系统的语音撷取方法
CN106157957A (zh) * 2015-04-28 2016-11-23 中兴通讯股份有限公司 语音识别方法、装置及用户设备
US20170359650A1 (en) * 2016-06-14 2017-12-14 Orcam Technologies Ltd. Systems and methods for directing audio output of a wearable apparatus
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN109951784A (zh) * 2017-12-05 2019-06-28 大北欧听力公司 具有智能引导的听力装置和方法
CN207612422U (zh) * 2017-12-07 2018-07-13 杭州蓝斯特科技有限公司 一种可视化助听装置
US20190215632A1 (en) * 2018-01-05 2019-07-11 Gaudi Audio Lab, Inc. Binaural audio signal processing method and apparatus for determining rendering method according to position of listener and object
CN108877407A (zh) * 2018-06-11 2018-11-23 北京佳珥医学科技有限公司 用于辅助交流的方法、装置和系统及增强现实眼镜
CN110351631A (zh) * 2019-07-11 2019-10-18 京东方科技集团股份有限公司 聋哑人交流设备及其使用方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷江华: "听障学生唇读语音识别视听通道效应的实验研究", 《心理科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816182A (zh) * 2020-07-27 2020-10-23 上海又为智能科技有限公司 助听语音识别方法、装置及助听设备
CN112786052A (zh) * 2020-12-30 2021-05-11 科大讯飞股份有限公司 语音识别方法、电子设备和存储装置
CN114694390A (zh) * 2020-12-30 2022-07-01 广东小天才科技有限公司 交通指示灯切换时间的判断方法及系统
CN112820274A (zh) * 2021-01-08 2021-05-18 上海仙剑文化传媒股份有限公司 一种语音信息识别校正方法和系统
CN112820274B (zh) * 2021-01-08 2021-09-28 上海仙剑文化传媒股份有限公司 一种语音信息识别校正方法和系统
CN112908334A (zh) * 2021-01-31 2021-06-04 云知声智能科技股份有限公司 一种基于定向拾音的助听方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111343554A (zh) 一种视觉与语音结合的助听方法及系统
EP3038383A1 (en) Hearing device with image capture capabilities
KR101421046B1 (ko) 안경 및 그 제어방법
US11528568B1 (en) Assisted hearing aid with synthetic substitution
EP2704452B1 (en) Binaural enhancement of tone language for hearing assistance devices
US20080086309A1 (en) Method for operating a hearing aid, and hearing aid
US10251000B2 (en) Hearing assistant device for informing about state of wearer
US11689869B2 (en) Hearing device configured to utilize non-audio information to process audio signals
US20240096343A1 (en) Voice quality enhancement method and related device
CN111435574A (zh) 用于重度听障者的沟通辅具系统
US11589173B2 (en) Hearing aid comprising a record and replay function
WO2020142679A1 (en) Audio signal processing for automatic transcription using ear-wearable device
US10225670B2 (en) Method for operating a hearing system as well as a hearing system
CN113038322A (zh) 一种以听觉增强环境感知的方法与装置
US20080175423A1 (en) Adjusting a hearing apparatus to a speech signal
US20080205677A1 (en) Hearing apparatus with interference signal separation and corresponding method
CN112995873B (zh) 用于运行听力系统的方法和听力系统
CN110798789A (zh) 助听器及其使用方法
CN209951556U (zh) 一种听力辅助康复系统
CN113259824A (zh) 一种实时多通道数字助听器降噪方法和系统
US10587963B2 (en) Apparatus and method to compensate for asymmetrical hearing loss
US11929071B2 (en) Hearing device system and method for operating same
CN117095591A (zh) 视听辅助方法、系统、装置、电子设备及存储介质
JP2019056893A (ja) 会話装置
CN111816182A (zh) 助听语音识别方法、装置及助听设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626