CN110351631A - 聋哑人交流设备及其使用方法 - Google Patents

聋哑人交流设备及其使用方法 Download PDF

Info

Publication number
CN110351631A
CN110351631A CN201910626073.4A CN201910626073A CN110351631A CN 110351631 A CN110351631 A CN 110351631A CN 201910626073 A CN201910626073 A CN 201910626073A CN 110351631 A CN110351631 A CN 110351631A
Authority
CN
China
Prior art keywords
deaf
mute
image
user
eyes image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910626073.4A
Other languages
English (en)
Inventor
姚丙义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910626073.4A priority Critical patent/CN110351631A/zh
Publication of CN110351631A publication Critical patent/CN110351631A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • G10L15/25Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/247Telephone sets including user guidance or feature selection means facilitating their use
    • H04M1/2474Telephone terminals specially adapted for disabled people
    • H04M1/2475Telephone terminals specially adapted for disabled people for a hearing impaired user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurosurgery (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Eyeglasses (AREA)

Abstract

本发明公开了一种聋哑人交流设备及其使用方法,涉及智能设备技术领域,达到了在保证行车安全的前提下,满足聋哑人驾驶员在驾驶过程中的交流需求的目的。本发明的主要技术方案为:包括:拾音助听器,用于采集声音信息并辅助用户获取所述声音信息;唇部图像采集装置,用于采集用户的唇部图像;控制模块,所述控制模块用于接收并处理所述唇部图像,能够识别所述唇部图像以产生对应的语音信号。

Description

聋哑人交流设备及其使用方法
技术领域
本发明涉及智能设备技术领域,尤其涉及一种聋哑人交流设备及其使用方法。
背景技术
聋哑人由于其自身固有的生理缺陷,由于不具备听力和说话的能力,无法通过语言与人沟通和交流,在日常生活中带来很大的不便,尤其是在驾驶车辆方面,容易出现安全隐患。
聋哑人在驾车时需要佩戴助听设备辅助驾驶,保证行车的安全性,但无法实现实时交流功能,无法满足聋哑人一些情况下必要的交流需要,为聋哑人带来很大不便。聋哑人日常可以借助外部设备实现交流,但在使用中需要双手进行触控操作或手语动作,而聋哑人驾驶员在驾驶过程中,双手无法脱离方向盘,若采用现有的设备进行交流,则会产生了不必要的动作和风险,影响聋哑人的驾驶安全性。
发明内容
有鉴于此,本发明实施例提供一种聋哑人交流设备及其使用方法,主要目的是在保证行车安全的前提下,满足聋哑人驾驶员在驾驶过程中的交流需求。
为达到上述目的,本发明主要提供如下技术方案:
一方面,本发明实施例提供了一种聋哑人交流设备,该聋哑人交流设备包括:
拾音助听器,用于采集声音信息并辅助用户获取所述声音信息;
唇部图像采集装置,用于采集用户的唇部图像;
控制模块,所述控制模块用于接收并处理所述唇部图像,能够识别所述唇部图像以产生对应的语音信号。
可选的,所述拾音助听器包括拾音结构和助听结构;其中,所述助听结构包括声音放大器和声音处理器,所述声音处理器用于将所述声音信息转化为用户可获取的预设信号。
可选的,还包括:眼部图像采集装置,所述眼部图像采集装置设置在所述眼镜本体上,用于采集用户的第一眼部图像;所述控制模块还用于接收并处理所述第一眼部图像,以根据所述第一眼部图像产生对应的拨号信息并发送至通讯端;其中,所述第一眼部图像为按预设频率及预设次数的眨眼图像。
可选的,还包括:警示装置,用于产生警示信号;所述眼部图像采集装置用于采集用户的所述第一眼部图像和第二眼部图像;所述控制模块还用于接收和处理所述第二眼部图像,并根据所述第二眼部图像控制所述警示装置产生所述警示信号;其中,所述第二眼部图像为预设时长的闭目图像。
可选的,所述警示装置包括振动器,所述警示信号包括振动信号。
可选的,所述警示装置包括警示灯,所述警示信号包括提示光信号。
可选的,还包括:眼镜本体,所述拾音助听器、所述唇部图像采集装置、所述眼部图像采集装置及所述警示装置均设置在所述眼镜本体上。
可选的,还包括:定位模块,所述定位模块设置在所述眼镜本体上,且与外部终端电性连接。
另一方面,本发明实施例还提供一种聋哑人交流设备的使用方法,该聋哑人交流设备的使用方法包括:
拾音助听器获取声音信息并辅助用户获取所述声音信息;
唇部图像采集装置采集用户的唇部图像;
控制模块获取所述唇部图像,并对所述唇部图像进行识别并转译产生对应的语音信号。
可选的,还包括:眼部图像采集装置采集用户的第一眼部图像;所述控制模块获取所述第一眼部图像,并根据所述第一眼部图像产生对应的拨号信息并发送至通讯端;其中,所述第一眼部图像为按预设频率及预设次数的眨眼图像。
可选的,还包括:所述眼部图像采集装置采集用户的第二眼部图像;所述控制模块获取所述第二眼部图像,并根据所述第二眼部图像控制警示装置产生警示信号;其中,所述第二眼部图像为预设时长的闭目图像。
本发明实施例提出的一种聋哑人交流设备及其使用方法,通过拾音助听器可以采集声音信息并辅助用户获取声音信息,唇部图像采集装置能够采集用户的唇部图像,拾音助听器能够其采集的声音信息进行转换,转化为用户可以获取的预设信号,使聋哑用户可以获得该预设信号对应的声音信息,可以实现聋哑人用户可以获取与其交流者的声音信息,在聋哑人需要做出回复时,通过唇部图像采集装置记录聋哑人在做出唇语时唇部的图像,控制模块可以对聋哑人用户的唇部图像进行处理以获取对应的语音信号,使交流者可以听到该语音信号,实现了聋哑人正常的沟通交流需求,且在交流的过程中,不需要聋哑人的双手进行辅助交流或操作,可以满足聋哑人在驾驶时双手不离开方向盘的要求,保证聋哑人驾驶员的精力集中,专注于驾驶,提高聋哑人驾驶员的驾驶安全性。
附图说明
图1为本发明实施例一提供的一种聋哑人交流设备的结构示意图;
图2为本发明实施例一提供的一种聋哑人交流设备的另一视角的结构示意图;
图3为本发明实施例一提供的一种聋哑人交流设备的另一视角的结构示意图;
图4为本发明实施例一提供的一种聋哑人交流设备的另一视角的结构示意图;
图5为本发明实施例一提供的一种聋哑人交流设备的另一视角的结构示意图;
图6为本发明实施例二提供的一种聋哑人交流设备的使用方法的流程示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的聋哑人交流设备及其使用方法,其具体实施方式、结构、特征及其功效,详细说明如后。
实施例一
如图1-图5所示,本发明的实施例一提出一种聋哑人交流设备,包括:
拾音助听器2,用于采集声音信息并辅助用户获取声音信息;唇部图像采集装置3,用于采集用户的唇部图像;控制模块4,控制模块4用于接收并处理唇部图像,并识别唇部图像以产生对应的语音信号。
本发明实施例一提出的聋哑人交流设备,可以辅助聋哑人进行交流使用,尤其适用于聋哑人驾车时使用,可以满足聋哑人在驾驶过程中的沟通需求,且不需要通过双手来辅助沟通,以保证驾车的安全性。
其中,拾音助听器2和唇部图像采集装置3的结合,用于辅助聋哑人进行交流使用,拾音助听器2能够辅助聋哑人获取声音信息,唇部图像采集装置3用于采集用户的唇部图像,拾音助听器2和唇部图像采集装置3可以集成设置在用于聋哑人佩戴的设备上,以便聋哑人进行携带和驾驶时使用,例如:可以提供一个眼镜本体1,该眼镜本体1可以设置为与现有技术中的眼镜相同的结构,即眼镜本体1可以包括镜片、设置在镜片外部的镜框,镜框可以包括鼻托、镜腿等结构,拾音助听器2可以设置在该眼镜本体1的至少一个镜腿的尾端,唇部图像采集装置3可以通过支架等结构与该眼镜本体1连接,便于采集聋哑人用户的唇部图像。眼镜本体1的镜片可以是驾驶专用镜片或近视镜片、太阳镜片等,为满足驾驶佩戴需求,镜片还可以选用具有过滤强光及路灯光晕效果的材质制成,具体的可以根据使用者需求进行设置,镜框的材质也可根据需求进行设定,此处不做具体限制。当然,
控制模块4用于信号的接收、处理并可发出相应的控制指令,具体的,控制模块4可以包括存储单元、信号接收单元、信号处理单元、信号发送单元等;控制模块4可以设置在眼睛本体1的框架上,例如:可以设置在眼镜本体1的其中一个镜腿上(如图1所示),或镜片边缘的框架上。
拾音助听器2用于采集用户周遭的声音信息并辅助用户获取声音信息,该声音信息可以包括语音信息及非语音信息,具体的,语音信息可以为与用户交流者的声音等,非语音信息可以包括汽车鸣笛声、车辆发动机的声音、鸟鸣声、其他噪声等;拾音助听器2具有拾音和助听的功能,可以包括集成设置的拾音结构和助听结构,其中,拾音结构可以设置为拾音器,拾音器上可以设置开关,在用户佩戴上述的眼镜本体1后开启该开关,拾音器即可开始收集声音信息;助听结构可以辅助聋哑人获取声音信息,具体的辅助聋哑人获取声音信息的方法可以是多种多样的,例如:可以将助听结构设置包括声音处理器,这里的声音处理器的功能可参考现有技术中的人工耳蜗,这里的人工耳蜗的结构可参考现有技术,此处不再赘述,人工耳蜗能够将声音信息转换为一定编码形式的电信号,通过植入体内的电极系统直接兴奋听神经来恢复、提高及重建聋人的听觉功能,使聋哑人获取声音信息。拾音助听器2的设置位置可以是眼镜本体1的镜腿的尾端,可以与用户的耳朵的位置相对应,拾音助听器2的数量可以是一个,设置在任意一个镜腿上,或拾音助听器2的数量也可以是两个,可以分别设置在两个镜腿的尾端;具体的,当设置两个拾音助听器2时,可以在两个拾音助听器2的上部之间连接弧形的支撑连接条5,可以提高佩戴的稳定性,防止掉落,此时可以仅设置一个镜腿,如图1所示,可以在保证用户佩戴眼镜本体1的稳定牢靠性的同时,简化眼镜本体1的结构,由于眼镜本体1上需要设置多种器件,通过该支撑连接条5进行固定,可以减轻用户耳部承受的重力,从而提高用户佩戴眼镜本体1的舒适性,进一步的,还可将该支撑连接条5设置为可调节结构,可以根据不同使用者的头围大小进行调节,可提高眼镜本体1的适应性和实用性。
唇部图像采集装置3用于采集用户的唇部图像,聋哑人虽然不能发出声音,但聋哑人可以做出其想要表达的语言对应的唇语,可以通过唇部图像采集装置3记录聋哑人在做出唇语时唇部的图像,并通过控制模块4的处理以获取对应的语音信号,控制模块4的处理过程可以为:在控制模块4接收到唇部图像后,控制模块4的信号处理单元可以对唇部图像进行识别,控制模块4的存储单元可以预先存储唇语相关的信息、图像、数据等,以便信号处理单元的处理过程进行识别和匹配,在识别处理后可以获得该唇部图像对应的语音信号,控制模块4的信号发送单元可以将该语音信号发送至具有播放功能的播放端,以便与聋哑人沟通者获得该语音信息,便于沟通过程的进行,例如:该播放端可以是设置在眼镜本体上的播放器,或还可以是车载的播放器,此外,该播放端还可以是通讯端,例如可以是用户的手机,以便辅助聋哑人进行通话;具体的,唇部图像采集装置3可以设置为摄像头,摄像头具有拍摄功能便于用户唇部图像的记录;为达到采集唇部图像的目的,如图1所示,唇部图像采集装置3可以通过支架6与眼镜本体1连接,与眼镜本体1具体的连接位置是与眼镜本体1上的拾音助听器2底部连接,可以使唇部图像采集装置3的位置可以与用户的唇部相对应,该支架6可以是具有可调节的支架6,即可以实现唇部图像采集装置3的位置的调节,以便在不同用户使用眼镜本体1时,均可以保证唇部图像采集装置3的位置能够与用户的唇部位置相对应。
本发明的实施例一提出一种聋哑人交流设备,通过拾音助听器可以采集声音信息并辅助用户获取声音信息,唇部图像采集装置能够采集用户的唇部图像,拾音助听器能够其采集的声音信息进行转换,转化为用户可以获取的预设信号,使聋哑用户可以获得该预设信号对应的声音信息,可以实现聋哑人用户可以获取与其交流者的声音信息,在聋哑人需要做出回复时,通过唇部图像采集装置记录聋哑人在做出唇语时唇部的图像,控制模块可以对聋哑人用户的唇部图像进行处理以获取对应的语音信号,使交流者可以听到该语音信号,实现了聋哑人正常的沟通交流需求,且在交流的过程中,不需要聋哑人的双手进行辅助交流或操作,可以满足聋哑人在驾驶时双手不离开方向盘的要求,保证聋哑人驾驶员的精力集中,专注于驾驶,提高聋哑人驾驶员的驾驶安全性。
具体的,拾音助听器2可以包括拾音结构和助听结构;其中,助听单元包括声音放大器和声音处理器,声音处理器用于将声音信息转化为用户可获取的预设信号。拾音助听器2具有拾音和助听的功能,可以包括集成为一体设置的拾音结构和助听结构,其中,拾音结构可以设置为拾音器,拾音器上可以设置开关,在用户佩戴眼镜本体1后开启该开关,拾音器即可开始收集声音信息。助听结构能够接收拾音结构采集的声音信息,且可以辅助聋哑人获取声音信息;具体的,助听结构可以包括声音放大器和声音处理器,声音放大器用于将声音信号进行扩大,声音处理器可以对声音信息进行处理,将声音信息转化为用户可获取的预设信号,本实施例一提出的聋哑人交流设备,可以辅助聋哑人进行交流使用,则该预设信号可以为聋哑人可以接受的信号,例如:可以是文字信号,可以另设显示屏来显示文字信号,聋哑人可以通过阅读文字来获取与其交流者的语音内容,可以满足聋哑人的日常交流需求;当本实施例一提出的聋哑人交流设备用于聋哑人驾驶车辆时使用时,为避免分散聋哑人驾驶员视觉的注意力,避免影响驾驶安全性,优选的,预设信号可以为电信号,此时声音处理器可参考现有技术中的人工耳蜗能够将声音信息转换为一定编码形式的电信号,通过植入体内的电极系统直接兴奋听神经来恢复、提高及重建聋人的听觉功能,使聋哑人获取声音信息,且不会影响聋哑人驾驶员的正常驾驶,减小对聋哑人驾驶员的干扰;或,还可以将预设信号设置为脑电波信号,具体的,实施例一提出的一种聋哑人交流设备还可以包括:脑电波发送模块,脑电波发送模块用于接收预设信号,并将预设信号作用至用户脑部使其获取声音信息。人的思维活动都会由神经元发出电脉冲信号,外界的声音经过拾音助听器2的拾音结构采集后将该电磁信号发送至助听结构,助听结构的声音处理器的处理过程为将该语音信号对应的电磁信号转换成神经元能够“听”懂的脑电波信号并发生至脑电波发送模块,脑电波发送模块接收该脑电波信号后,能够发送至用户的脑部,这样聋哑人也可以“听”到声音了,即聋哑人可以获取上述的语音信号,且可以减小在驾驶车辆的过程中对聋哑人驾驶员的干扰,保证驾驶的安全性。
具体的,上述的声音处理器还可以包括声音过滤功能,可以起到对声音信息的识别和过滤的作用,上述的拾音助听器2采集的声音信息可以包括语音信息及非语音信息,具体的,语音信息可以为与用户交流者的声音等,非语音信息可以包括汽车鸣笛声、车辆发动机的声音、鸟鸣声、其他噪声等,声音处理器能够对拾音助听器2采集的声音信息进行转换,可以设置为仅对语音信息进行转换,可以避免其余杂音对聋哑人驾驶员的干扰,即声音处理器接受到声音信息后,可以利用声音过滤功能对声音信息进行识别和过滤,若该声音信息为非语音信息,则将该声音信息过滤掉,若该声音信息为语音信息,则将该声音信息转化为预设信号,当然,声音处理器还可以对非语音信息进行处理转换,例如:可以对非语音信息中的汽车鸣笛声进行转换,以便用户获得鸣笛信号。
为进一步提高聋哑人驾驶车辆行驶的安全性,在聋哑人需要进行拨号通话时,聋哑人交流设备可实现辅助拨号,无需聋哑人驾驶员手动进行操作拨号的功能,具体的,如图1-图4所示,实施例一提出的一种聋哑人交流设备还包括:眼部图像采集装置7,眼部图像采集装置7可以设置在眼镜本体1上,用于采集用户的第一眼部图像;控制模块4还用于接收并处理第一眼部图像,以根据第一眼部图像产生对应的拨号信息并发送至通讯端。眼部图像采集装置7可以设置为摄像头,其设置位置可以是眼镜本体1的框架上,具体位置可保证该摄像头能够对用户的眼部进行拍摄即可。控制模块4可以与通信端电性连接,这里的通讯端可以是用户的手机,还可以在眼镜本体1上设置通讯天线8(如图1所示),便于进行交互连接。控制模块4的存储单元可以预先存储第一眼部图像及与其对应的通信联系人信息,拨号通话功能可以适用于紧急情况使用,所以上述的通信联系人可以是一个或者两个、少数的紧急联系人,控制模块4存储每个通信联系人对应的通信联系人第一眼部图像,在眼部图像采集装置7采集到的用户的第一眼部图像后,控制模块4接收并处理该第一眼部图像,处理的过程可以包括:将接收到的第一眼部图像与控制模块4的存储单元预先存储的第一眼部图像及通信联系人信息进行匹配,匹配后,则通过控制模块4发出对应通信联系人的拨号信息至通信端,通信端可以对该通信联系人进行自动拨号,聋哑人驾驶员即可与该通信联系人进行通话,通话过程可以通过上述的拾音助听器2和唇部图像采集装置3辅助进行沟通交流,可以避免聋哑人驾驶员在直接使用使用手机或其他通讯端进行拨号通话时,分散驾驶员的注意力,及影响驾驶员操控方向盘的平稳和准确性的情况发生,可以提高聋哑人驾驶员的驾驶安全,及满足聋哑人驾驶员的紧急通话需求。其中,第一眼部图像可以为按预设频率及预设次数的眨眼图像,例如:与第一联系人对应的第一眼部图像为以每秒一次的频率连续眨眼2次,与第二联系人对应的第一眼部图像为以每秒一次的频率连续眨眼3次等,当然不限于此,具体可根据实际情况进行具体设定。
为避免出现驾驶员疲劳驾驶造成的事故或其他危险情况,具体的,实施例一提出的一种聋哑人交流设备还包括:警示装置,用于产生警示信号;眼部图像采集装置7用于采集用户的第一眼部图像和第二眼部图像;控制模块4还用于接收和处理第二眼部图像,并根据第二眼部图像控制警示装置产生警示信号。警示装置用于在驾驶员疲劳驾驶的状态下进行警示,提高驾驶员的注意力,警示装置可以设置在眼镜本体1上,由于聋哑人驾驶员存在听力和发声障碍,所以警示装置应设置为聋哑人驾驶员可接收到的警示信号,例如:可以将警示信号设置为光信号,进一步的可以设置为闪烁的光信号,可以提高聋哑人驾驶员的注意力,避免出现疲劳驾驶的情况。眼部图像采集装置7还可以采集第二眼部图像,眼部图像采集装置7可以设置为摄像头,其设置位置可以是眼镜本体1的框架上,具体位置可保证该摄像头能够对用户的眼部进行拍摄即可;第二眼部图像为用户处于疲劳驾驶状态时的眼部图像,具体的,第二眼部图像可以为预设时长的闭目图像,例如:第二眼部图像可以为用户的眼镜处于闭合状态3s以上的图像。控制模块4在接收第二眼部图像后,可以根据第二眼部图像控制警示装置产生警示信号,以起到警示用户,提高用户驾驶注意力的作用。进一步的,每次的警示信号的持续时间可以设置为3s、5s等,在进行一定时长的预警作用后,即可自动停止本次预警。眼部图像采集装置7的图像采集过程可以是实时、持续的对用户的眼部进行拍摄,眼部图像采集装置7的内部可以包括处理器,处理器可以仅将满足预设条件的第一眼部图像和第二眼部图像发送至控制模块,以便控制模块进行接收、处理及后续的控制过程。
上述的警示装置有多种具体的设置形式,且警示装置可以包含有多个警示单元,以提供多种警示方式来提高驾驶员的注意力,具体的,如图2、图3所示,警示装置可以包括振动器9,振动器9可以设置在用户可感测其振动的位置上,例如:振动器9可以设置在上述的眼镜本体1的至少一个鼻托上。由于聋哑人驾驶员存在听力和发声障碍,可以将警示信号设置为聋哑人驾驶员可感受到的信号,例如:警示信号可以包括有振动信号。当聋哑人驾驶员在驾驶的过程中,出现疲劳的状况,眼部图像采集装置7采集到的第二眼部图像,控制模块4接收到第二眼部图像后可以控制振动器9发出振动信号,振动器9则开始发出振动,振动器9可以为现有技术中的振动器,其设置的位置可以在眼镜本体1上能够与用户接触的位置,优选的,振动器9可以设置在眼镜本体1的其中一个鼻托的上,或者可以设置在两个鼻托之间;还可以设置两个振动单元,分别设置在眼镜本体1的两个鼻托上,即使聋哑人驾驶员存在听力障碍和发声障碍,也能即刻感受到振动的信号,能够有效的起到警示提醒的作用,警示聋哑人驾驶员安全驾驶。
具体的,警示装置还可以包括警示灯,由于聋哑人驾驶员存在听力和发声障碍,可以将警示信号设置为聋哑人驾驶员可见的信号,例如:警示信号可以包括光信号,进一步的,还可以是闪烁的光信号。当聋哑人驾驶员在驾驶的过程中,出现疲劳的状况,眼部图像采集装置7采集到的第二眼部图像,控制模块4接收到第二眼部图像后可以控制警示灯发出提示光信号;警示灯应设置在聋哑人驾驶员的视线可观测的范围内,例如:警示灯可以集成设置在上述的通讯天线8的顶端,或还设置在眼镜本体1的其中一个镜腿的前端,即靠近镜片的一端,且可以设置在镜腿上靠近用户眼镜的一侧。
此外,如图1-图3及图5所示,警示装置还可以包括音频播放器10,音频播放器10可以设置在眼镜本体1上,具体设置位置可以使如附图1所示的眼镜本体1的框架的拐角处位置上。由于聋哑人驾驶员存在听觉障碍,音频播放器播放器10所播放的声音信息可以通过上述的拾音助听器2进行采集且辅助聋哑人获取该声音信息;音频播放器播放器10的音频内容可以是警示音、音乐或其他声音信息,可以根据用户去求进行具体设置;进一步的,警示信号还可以包括提示音信号。
实施例一提出的一种聋哑人交流设备还包括:定位模块,定位模块设置在眼镜本体1上,且与外部终端电性连接。定位模块起到可定位方便查找的作用,如手机的GPS定位模块,定位模块可以设置在眼镜本体1的任意位置上,例如:定位模块可以设置在眼镜本体1的镜腿上,对应的,还可以在眼镜本体1上设置通讯天线8(如图1所示),便于进行交互连接,定位模块可以与外部终端进行连接,例如:定位模块可以与用户自己的手机进行连接,方便用户在使用前查找眼镜本体1的位置,此外,定位模块还可以与用户的家人的手机连接,尤其在聋哑人用户外出驾驶车辆的过程中,其家人可以通过获取眼镜本体1的位置来获取聋哑人用户的位置,便于聋哑人驾驶员的家人及时获取其驾驶的位置信息,可以不需沟通即获得聋哑人驾驶员的实时位置信息,提高装置的实用性和用户体验。
实施例二
如图6所示,本发明的实施例二提出一种聋哑人交流设备及其使用方法的使用方法,包括:
S1:拾音助听器2获取声音信息并辅助用户获取声音信息;
S2:唇部图像采集装置3采集用户的唇部图像;
S3:控制模块4获取唇部图像,并对唇部图像进行识别并转译产生对应的语音信号。
其中,上述的拾音助听器2和唇部图像采集装置3可以设置在眼镜本体1上,眼镜本体1可以设置为与现有技术中的眼镜相同的结构,其佩戴方法也与目前所使用到的眼镜的佩戴方式相同。在用户佩戴眼镜本体1后,可以通过开关开启拾音助听器2,拾音助听器2即可进行声音信息的采集获取,在乘客或其他交流者与聋哑人驾驶员进行交流时,拾音助听器2能够采集交流者的语音信息并辅助用户获取声音信息,聋哑人驾驶员可以获取交流者发出的语音信息所包含的内容;在聋哑人需要做出回复时,控制模块4可以对聋哑人用户的唇部图像进行处理以获取对应的语音信号,使交流者可以听到该语音信号,实现了聋哑人正常的沟通交流需求。
本发明的实施例二提出一种聋哑人交流设备的使用方法,通过拾音助听器可以采集声音信息并辅助用户获取声音信息,唇部图像采集装置能够采集用户的唇部图像,拾音助听器能够采集声音信息并将其转化为用户可以获取的预设信号,使聋哑用户可以获得该预设信号对应的声音信息,可以实现聋哑人用户可以获取与其交流者的声音信息,在聋哑人需要做出回复时,通过唇部图像采集装置记录聋哑人在做出唇语时唇部的图像,控制模块可以对聋哑人用户的唇部图像进行处理以获取对应的语音信号,使交流者可以听到该语音信号,实现了聋哑人正常的沟通交流需求,且在交流的过程中,不需要聋哑人的双手进行辅助交流或操作,可以满足聋哑人在驾驶时双手不离开方向盘的要求,保证聋哑人驾驶员的精力集中,专注于驾驶,提高聋哑人驾驶员的驾驶安全性。
本实施例二提出一种聋哑人交流设备的使用方法还包括:眼部图像采集装置7采集用户的第一眼部图像;控制模块4获取第一眼部图像,并根据所述第一眼部图像产生对应的拨号信息并发送至通讯端;其中,所述第一眼部图像为按预设频率及预设次数的眨眼图像,眼部图像采集装置7可以设置为摄像头。控制模块4可以与通信端电性连接,这里的通讯端可以是用户的手机。在眼部图像采集装置7采集到的用户的第一眼部图像后,控制模块4接收并处理该第一眼部图像,处理的过程可以包括:将接收到的第一眼部图像与控制模块4的存储单元预先存储的第一眼部图像及通信联系人信息进行匹配,匹配后,则通过控制模块4发出对应通信联系人的拨号信息至通信端,通信端可以对该通信联系人进行自动拨号,聋哑人驾驶员即可与该通信联系人进行通话。
本实施例二提出一种聋哑人交流设备的使用方法还包括:眼部图像采集装置7采集用户的第二眼部图像;控制模块4获取第二眼部图像,并根据第二眼部图像控制警示装置产生警示信号;其中,第二眼部图像为预设时长的闭目图像。具体的,眼部图像采集装置7还可以采集第二眼部图像,眼部图像采集装置7可以设置为摄像头,第二眼部图像为用户处于疲劳驾驶状态时的眼部图像,具体的,第二眼部图像可以为预设时长的闭目图像。控制模块4在接收第二眼部图像后,可以根据第二眼部图像控制警示装置产生警示信号,以起到警示用户,提高用户驾驶注意力的作用。警示装置有多种具体的设置形式,且警示装置可以包含有多个警示单元,以提供多种警示方式来提高驾驶员的注意力。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种聋哑人交流设备,其特征在于,包括:
拾音助听器,用于采集声音信息并辅助用户获取所述声音信息;
唇部图像采集装置,用于采集用户的唇部图像;
控制模块,所述控制模块用于接收并处理所述唇部图像,并识别所述唇部图像以产生对应的语音信号。
2.根据权利要求1所述的聋哑人交流设备,其特征在于,
所述拾音助听器包括拾音结构和助听结构;
其中,所述助听结构包括声音放大器和声音处理器,所述声音处理器用于将所述声音信息转化为用户可获取的预设信号。
3.根据权利要求1所述的聋哑人交流设备,其特征在于,还包括:
眼部图像采集装置,用于采集用户的第一眼部图像;
所述控制模块还用于接收并处理所述第一眼部图像,以根据所述第一眼部图像产生对应的拨号信息并发送至通讯端;
其中,所述第一眼部图像为按预设频率及预设次数的眨眼图像。
4.根据权利要求3所述的聋哑人交流设备,其特征在于,还包括:
警示装置,用于产生警示信号;
所述眼部图像采集装置用于采集用户的所述第一眼部图像和第二眼部图像;
所述控制模块还用于接收和处理所述第二眼部图像,并根据所述第二眼部图像控制所述警示装置产生所述警示信号;
其中,所述第二眼部图像为预设时长的闭目图像。
5.根据权利要求4所述的聋哑人交流设备,其特征在于,
所述警示装置包括振动器,所述警示信号包括振动信号。
6.根据权利要求4所述的聋哑人交流设备,其特征在于,
所述警示装置包括警示灯,所述警示信号包括光信号。
7.根据权利要求4所述的眼镜,其特征在于,还包括:
眼镜本体,所述拾音助听器、所述唇部图像采集装置、所述眼部图像采集装置及所述警示装置均设置在所述眼镜本体上。
8.根据权利要求5所述的聋哑人交流设备,其特征在于,还包括:
定位模块,所述定位模块设置在所述眼镜本体上,且与外部终端电性连接。
9.一种聋哑人交流设备的使用方法,其特征在于,包括:
拾音助听器获取声音信息并辅助用户获取所述声音信息;
唇部图像采集装置采集用户的唇部图像;
控制模块获取所述唇部图像,并对所述唇部图像进行识别并转译产生对应的语音信号。
10.根据权利要求9所述的聋哑人交流设备的使用方法,其特征在于,还包括:
眼部图像采集装置采集用户的第一眼部图像;
所述控制模块获取所述第一眼部图像,并根据所述第一眼部图像产生对应的拨号信息并发送至通讯端;
其中,所述第一眼部图像为按预设频率及预设次数的眨眼图像。
11.根据权利要求10所述的聋哑人交流设备的使用方法,其特征在于,还包括:
所述眼部图像采集装置采集用户的第二眼部图像;
所述控制模块获取所述第二眼部图像,并根据所述第二眼部图像控制警示装置产生警示信号;
其中,所述第二眼部图像为预设时长的闭目图像。
CN201910626073.4A 2019-07-11 2019-07-11 聋哑人交流设备及其使用方法 Pending CN110351631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910626073.4A CN110351631A (zh) 2019-07-11 2019-07-11 聋哑人交流设备及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910626073.4A CN110351631A (zh) 2019-07-11 2019-07-11 聋哑人交流设备及其使用方法

Publications (1)

Publication Number Publication Date
CN110351631A true CN110351631A (zh) 2019-10-18

Family

ID=68175086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910626073.4A Pending CN110351631A (zh) 2019-07-11 2019-07-11 聋哑人交流设备及其使用方法

Country Status (1)

Country Link
CN (1) CN110351631A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868501A (zh) * 2019-11-13 2020-03-06 刘峰刚 一种基于语音识别的防欺诈方法及防欺诈助听器
CN111343554A (zh) * 2020-03-02 2020-06-26 开放智能机器(上海)有限公司 一种视觉与语音结合的助听方法及系统
CN112908334A (zh) * 2021-01-31 2021-06-04 云知声智能科技股份有限公司 一种基于定向拾音的助听方法、装置及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4580133A (en) * 1982-05-14 1986-04-01 Canon Kabushiki Kaisha Display device
CN2072398U (zh) * 1990-07-31 1991-03-06 崔彦杰 聋哑人声音传感器
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
CN1556496A (zh) * 2003-12-31 2004-12-22 天津大学 唇形识别发声器
US7289767B2 (en) * 2004-01-16 2007-10-30 Chia Song Lai Wireless communication glasses
CN202996127U (zh) * 2012-11-28 2013-06-12 蔡思强 聋哑人交流帽
CN103646587A (zh) * 2013-12-05 2014-03-19 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
CN104348938A (zh) * 2013-07-23 2015-02-11 深圳市赛格导航科技股份有限公司 一种车载终端眼球识别自动拨号系统及方法
CN104732723A (zh) * 2013-12-20 2015-06-24 西安发威电子科技有限公司 一种疲劳驾驶检测装置
CN105976675A (zh) * 2016-05-17 2016-09-28 福建万亿店中店电子商务有限责任公司 聋哑人与人的智能信息交流装置及其交流方法
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN108319912A (zh) * 2018-01-30 2018-07-24 歌尔科技有限公司 一种唇语识别方法、装置、系统和智能眼镜
CN108702580A (zh) * 2016-02-19 2018-10-23 微软技术许可有限责任公司 具有自动语音转录的听力辅助
CN108831472A (zh) * 2018-06-27 2018-11-16 中山大学肿瘤防治中心 一种基于唇语识别的人工智能发声系统及发声方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4580133A (en) * 1982-05-14 1986-04-01 Canon Kabushiki Kaisha Display device
CN2072398U (zh) * 1990-07-31 1991-03-06 崔彦杰 聋哑人声音传感器
US6240392B1 (en) * 1996-08-29 2001-05-29 Hanan Butnaru Communication device and method for deaf and mute persons
CN1556496A (zh) * 2003-12-31 2004-12-22 天津大学 唇形识别发声器
US7289767B2 (en) * 2004-01-16 2007-10-30 Chia Song Lai Wireless communication glasses
CN202996127U (zh) * 2012-11-28 2013-06-12 蔡思强 聋哑人交流帽
CN104348938A (zh) * 2013-07-23 2015-02-11 深圳市赛格导航科技股份有限公司 一种车载终端眼球识别自动拨号系统及方法
CN103646587A (zh) * 2013-12-05 2014-03-19 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
CN104732723A (zh) * 2013-12-20 2015-06-24 西安发威电子科技有限公司 一种疲劳驾驶检测装置
CN108702580A (zh) * 2016-02-19 2018-10-23 微软技术许可有限责任公司 具有自动语音转录的听力辅助
CN105976675A (zh) * 2016-05-17 2016-09-28 福建万亿店中店电子商务有限责任公司 聋哑人与人的智能信息交流装置及其交流方法
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN108319912A (zh) * 2018-01-30 2018-07-24 歌尔科技有限公司 一种唇语识别方法、装置、系统和智能眼镜
CN108831472A (zh) * 2018-06-27 2018-11-16 中山大学肿瘤防治中心 一种基于唇语识别的人工智能发声系统及发声方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高文: "基于多模式接口技术的聋人与正常人交流系统", 《计算机学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868501A (zh) * 2019-11-13 2020-03-06 刘峰刚 一种基于语音识别的防欺诈方法及防欺诈助听器
CN111343554A (zh) * 2020-03-02 2020-06-26 开放智能机器(上海)有限公司 一种视觉与语音结合的助听方法及系统
CN112908334A (zh) * 2021-01-31 2021-06-04 云知声智能科技股份有限公司 一种基于定向拾音的助听方法、装置及设备

Similar Documents

Publication Publication Date Title
CN110351631A (zh) 聋哑人交流设备及其使用方法
US9105261B2 (en) Sound outputting device
CN207612422U (zh) 一种可视化助听装置
CN201035260Y (zh) 整合骨传导技术的眼镜
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
US20130343584A1 (en) Hearing assist device with external operational support
WO2016167878A1 (en) Hearing assistance systems configured to enhance wearer's ability to communicate with other individuals
JP2012510218A (ja) 蝶形骨伝導の通信装置及び/或いは補聴装置
KR101906551B1 (ko) 실시간 중계 및 송출 시스템
US20150133716A1 (en) Hearing devices based on the plasticity of the brain
KR101421046B1 (ko) 안경 및 그 제어방법
JP2004205839A (ja) 補聴器具
US20230066760A1 (en) Functionality migration
CN111768787A (zh) 一种多功能辅助视听的方法及系统
TWM579809U (zh) Communication aid system for severely hearing impaired
CN108538153A (zh) 音频转换设备
CN105992117A (zh) 耳膜助听器
CN212460195U (zh) 智能眼镜
CN208654462U (zh) 可拆换连体镜腿骨传导眼镜
JP2000325389A (ja) 視覚補助装置
CN208334804U (zh) 镜架结构及眼镜
CN215730426U (zh) 一种智能交流辅助眼镜
CN208334802U (zh) 镜片结构及眼镜
CN211403141U (zh) 一种具有助听结构的老年人手表
CN215183066U (zh) 一种音频采集与识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018