CN109920309A - 手语转换方法、装置、存储介质和终端 - Google Patents
手语转换方法、装置、存储介质和终端 Download PDFInfo
- Publication number
- CN109920309A CN109920309A CN201910040766.5A CN201910040766A CN109920309A CN 109920309 A CN109920309 A CN 109920309A CN 201910040766 A CN201910040766 A CN 201910040766A CN 109920309 A CN109920309 A CN 109920309A
- Authority
- CN
- China
- Prior art keywords
- sign language
- gesture
- language gesture
- basic
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种手语转换方法、装置、存储介质和终端,所述手语转换方法包括:获取用户输入的测试手语手势;将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;根据所述个性化手势模型,将待识别的手语手势转化为语音和/或文字。本发明通过获取所述测试手语手势,并结合基本手语手势建立用户的个性化手势模型,可提高手语手势识别的准确率,并提高手语手势的识别速度,提高了手语转换的容错率。
Description
技术领域
本发明涉及计算机技术领域,具体而言,本发明涉及一种手语转换方法、装置、存储介质和终端。
背景技术
我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首,已超过两千万人,他们无法像正常人一样交流沟通,从而造成了他们工作、学习、娱乐、就医、维权等生活状态的不便与混乱,甚至面临生存危机。现有的一些图像识别技术,虽然可以识别部分手语手势,并将手语手势转化为对应的文字,从而使得聋哑人可以与正常人交流,但由于用户的手型、手语动作、摄像头的识别角度等误差,使得手语识别的错误率较高,不便于交流。
发明内容
本发明针对现有方式的缺点,提出一种手语转换方法、装置、存储介质和终端,用以解决现有技术中手语识别错误率高的问题。
本发明提出的手语转换方法,包括:
获取用户输入的测试手语手势;
将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;
根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;
根据所述个性化手势模型,将待识别的手语手势转化为语音和/或文字。
优选地,所述将所述测试手语手势与手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势,包括:
根据所述测试手语手势的轮廓,提取若干个局部轮廓特征;
将所述若干个局部轮廓特征与手语库中的基本手语手势对应的局部轮廓特征进行比对;
根据与所述测试手语手势的局部轮廓特征相符合的数量,将所述基本手语手势进行排序,将排序靠前的预设数量的基本手语手势显示至用户界面;
获取用户从所述用户界面中选择的基本手语手势,将该选择的基本手语手势作为识别出的基本手语手势。
优选地,所述根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型,包括:
比对所述测试手语手势与所述识别出的基本手语手势,确定所述测试手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的差值;
根据所述基本手语手势和所述每一个局部轮廓特征的差值,建立用户的个性化手势模型。
优选地,所述根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型,包括:
获取用户输入的用于验证所述识别出的基本手语手势的验证手语手势;
根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型。
优选地,所述根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型,包括:
比对所述测试手语手势与所述识别出的基本手语手势,确定所述测试手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的第一差值;
比对所述验证手语手势与所述识别出的基本手语手势,确定所述验证手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的第二差值;
根据所述基本手语手势、所述第一差值和第二差值,建立用户的个性化手势模型。
优选地,所述根据所述个性化手势模型,将待识别的手语手势转化为语音或文字,包括:
获取待识别的手语手势;
判断基本手语库中是否有与待识别的手语手势一致的基本手语手势;
若有,则根据与待识别的手语手势一致的基本手语手势,将待识别的手语手势转化为语音或文字;
若没有,则判断个性化手势模型库中是否有与待识别的手语手势一致的个性化手势模型;若有,则根据与待识别的手语手势一致的个性化手势模型,将待识别的手语手势转化为语音或文字。
优选地,所述判断个性化手势模型库中是否有与待识别的手语手势一致的个性化手势模型之后,还包括:
若个性化手势模型库中没有与待识别的手语手势一致的个性化手势模型,则从所述待识别的手语手势中提取若干个局部轮廓特征;
将所述若干个局部轮廓特征与所述个性化手势模型库中的个性化手势模型对应的局部轮廓特征进行比对;
根据所述局部轮廓特征相符合的数量,将所述个性化手势模型进行排序,将排序靠前的预设数量的个性化手势模型对应的基本手语手势显示至用户界面;
获取用户从所述用户界面中选择的基本手语手势,根据选择的基本手语手势,将待识别的手语手势转化为语音和/或文字。
本发明还提出一种手语转换装置,该装置包括:
测试手势获取模块,用于获取用户输入的测试手语手势;
测试手势识别模块,用于将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;
模型建立模块,用于根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;
手势转化模块,用于根据所述个性化手势模型,将待识别的手语手势转化为语音或文字。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任意一项所述的手语转换方法。
本发明还提出一种终端,所述终端包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现前述任意一项所述的手语转换方法。
进一步地,
本发明具有以下有益效果:
1、本发明通过获取所述测试手语手势,并结合基本手语手势建立用户的个性化手势模型,可提高手语手势识别的准确率,并提高手语手势的识别速度,优化了手语手势识别的容错率,方便了用户使用,提高了用户体验。
2、本发明还可根据所述基本手语手势、验证手语手势和测试手语手势的每一个局部轮廓特征,建立用户的个性化手势模型,进一步提高了个性化手势模型对待识别的手语手势的容错率。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明手语转换方法第一实施例的流程示意图;
图2为本发明一种手语手势实施例的示意图;
图3为本发明另一种手语手势实施例的示意图;
图4为本发明终端实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式,这里使用的“第一”、“第二”仅用于区别同一技术特征,并不对该技术特征的顺序和数量等加以限定。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
在本发明的各实施例中,手语是用手势比量动作,根据手势的变化模拟形象或者音节以构成的一定意思或词语,它是具有听力障碍和言语障碍的人用于交流的一种手的语言,是有声语言的重要辅助工具,也是聋哑人的主要交流工具。在世界上的部分国家,聋哑人所使用的手语有所差异,但大部分基本手语手势具有相同或类似的含义,例如中国实施的《国家通用手语常用词表》中的基本手语手势;故,可先将所述基本手语手势存储于基本手语库中,并同时存储与每一个基本手语手势相对应的文字和/或语音。当终端接收到待识别的手语手势时,即可将该待识别的手语手势与基本手语库中的基本手语手势进行比对,以查找到与该待识别的手语手势相符合的基本手语手势,并根据该基本手语手势所对应的文字和/或语音,将待识别的手语手势转化为相对应的文字或语音,从而使得不懂手语的人能够理解手语的含义。
在实际应用中,由于聋哑人之间的个体化差异、摄像头采集的手语角度等问题,可能导致用户输入的待识别手语手势可能并不与基本手语库中的基本手语手势一致。为了解决该问题,本发明提出一种手语转换方法,以提高手语识别的准确率。如图1所示的第一实施例,包括如下步骤:
步骤S10:获取用户输入的测试手语手势;
步骤S20:将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;
步骤S30:根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;
步骤S40:根据所述个性化手势模型,将待识别的手语手势转化为语音和/或文字。
其中,每个步骤具体如下:
步骤S10:获取用户输入的测试手语手势。
用户输入的测试手语手势可通过摄像头实时采集,亦可通过视频文件进行采集。由于手语的主要表达部位为手部,并通过用户的上半身予以配合,故摄像头的采集角度可以用户的上半身为主;若通过视频文件进行采集,则视频文件中必须包括角度合适的手部动作以及必要的其它身体部位的辅助动作。为了避免所述测试手语手势的采集角度引起的识别错误或无法识别,本发明所采用的终端优选地具有可采集用户动作的摄像头,以在手语手势识别出现异常时,用户可通过调整手语手势的采集角度进行修正。
当终端具有显示装置时,获取的测试手语手势可展示于终端的显示装置上,以使用户及时查看手语手势的效果。根据中国的《国家通用手语常用词表》中记载的手语手势,所述测试手语手势可为一个静态的动作,亦可为一个动态的动作。例如图2所示的静态动作,为表示字母“H”的手语手势,例如图3所示的动态动作,为表示字母“爱”的手语手势,其具体的动态过程为:左手伸拇指,右手轻轻抚摸左手拇指背。
步骤S20:将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势。
在获取用户输入的测试手语手势之前,可将常用的基本手语手势存入终端或服务器中,形成基本手语库;例如可录制所述《国家通用手语常用词表》中的基本手语手势,并进行编码和压缩,形成基本手语库。所述获取用户输入的测试手语手势之后,再将所述测试手语手势与基本手语库中的基本手语手势进行比对。由于录制所述基本手语手势的个体特征与获取的所述测试手语手势的个体特征之间存在差异,以及录制设备与录制条件等差异,所述测试手语手势与所述基本手语手势之间一般存在差异。故,本实施例将基本手语库中的、与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势。该识别出的基本手语手势可显示于用户终端上,以使用户确认识别是否正确。故在显示所述识别出的基本手语手势之后,还可接收用户输入的确认指令或重新识别指令,以便用户确认识别出的基本手语手势是否正确。
步骤S30:根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型。
当识别出的基本手语手势正确时,则所述测试手语手势与所述识别出的基本手语手势虽然存在差异,但指向同一个手语含义,故可根据这两种手语手势建立用户的个性化手势模型,以提高后续手语手势识别的准确率和识别速度。例如,当用户为手指修长的成年人时,其个性化手势模型将具有较长的手指模型特征,使得后续对同一用户或类似用户的手语手势的识别速度更高,且识别更准确;而当用户为手指短粗的孩童时,其个性化手势模型将具有短粗的手指模型特性,从而使得后续对具有相同或类似特征的用户的手语手势识别也更快。本步骤可通过所述测试手语手势与所述识别出的基本手语手势建立个性化手势模型,从而提高后续的手语手势识别速度;而且,通过所述个性化手势模型,本发明可将多种类似的手语动作关联至同一基本手语手势,以使得所述个性化手势模型可兼容更多差别较为细微的手语手势,从而提高基本手语手势的容错率。
步骤S40:根据所述个性化手势模型,将待识别的手语手势转化为语音和/或文字。
建立所述个性化手势模型之后,即可通过所述个性化手势模型识别多种手语手势;当用户通过摄像装置或视频文件输入待识别的手语手势时,所述个性化手势模型可减少识别失败的概率,从而减少用户在识别失败之后重复输入手语手势的次数。识别所述待识别的手语手势之后,可在终端显示所述待识别的手语手势对应的基本手语手势,也可同时显示所述待识别的手语手势,以使得用户方便判断输入的手语手势是否识别正确;同时,还可将识别出的手语手势转化为对应的语音和/或文字,以使不懂手语手势的用户知晓手语手势的含义,从而促进聋哑人与非聋哑人之间的交流。
本发明通过获取所述测试手语手势,并结合基本手语手势建立用户的个性化手势模型,可提高手语手势识别的准确率,并提高手语手势的识别速度,优化了具有差异的手语手势的识别容错率,方便了用户使用,提高了用户体验。
在本发明的一个实施例中,所述将所述测试手语手势与手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势,包括:
根据所述测试手语手势的轮廓,提取若干个局部轮廓特征;
将所述若干个局部轮廓特征与手语库中的基本手语手势对应的局部轮廓特征进行比对;
根据与所述测试手语手势的局部轮廓特征相符合的数量,将所述基本手语手势进行排序,将排序靠前的预设数量的基本手语手势显示至用户界面;
获取用户从所述用户界面中选择的基本手语手势,将该选择的基本手语手势作为识别出的基本手语手势。
由于手势识别的误差,所述测试手语手势可能与多个基本手语手势部分相似,本实施例通过提取所述测试手语手势的轮廓的局部轮廓特征,并将所述若干个局部轮廓特征与手语库中的基本手语手势对应的局部轮廓特征进行比对,以提高所述测试手语手势的识别概率。由于手语手势表达方式有限的特点,不同的手语手势中可能包括相同的局部轮廓特征;故,根据所述若干个局部轮廓特征,可能对应于多个不同的基本手语手势;每个基本手语手势中的部分局部轮廓特征可能与提取的所述局部轮廓特征相同或相似,故可再根据与所述测试手语手势的局部轮廓特征相符合的数量,将所述基本手语手势进行排序,以将与所述测试手语手势的轮廓最符合的基本手语手势作为识别出的基本手语手势。
为减少自动识别的出错概率,可将排序靠前的预设数量的基本手语手势显示至用户界面,以供用户选择,并将用户从所述用户界面中选择的基本手语手势作为识别出的基本手语手势。若用户不从所述用户界面中选择的基本手语手势,则可直接将排序在最前面的一个基本手语手势作为识别出的基本手语手势。
本实施例通过所述测试手语手势的轮廓的若干个局部轮廓特征,确定与所述测试手语手势最符合的所述基本手语手势,提高了测试手语手势的识别概率,有利于建立与用户的个性化特征相符的个性化手势模型,从而优化所述个性化手势模型。
在本发明的另一实施例中,所述根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型,包括:
比对所述测试手语手势与所述识别出的基本手语手势,确定所述测试手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的差值;
根据所述基本手语手势和所述每一个局部轮廓特征的差值,建立用户的个性化手势模型。
每一个手语手势的识别主要依赖于每一个所述局部轮廓特征的识别,本实施例可根据所述差值建立用户的个性化手势模型,从而提高对每一个局部轮廓特征识别的容错率,减少因用户手型或手势差异而引起的识别差错。
在本发明的又一实施例中,所述根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型,包括:
获取用户输入的用于验证所述识别出的基本手语手势的验证手语手势;
根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型。
将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势之后,所述测试手语手势可以作为一种具有用户个性化特征的手势。为进一步提高识别用户个性化手势的目的,本实施例在识别出基本手语手势之后,还可继续获取用户输入的用于验证所述识别出的基本手语手势的验证手语手势,以获取更多的用户个性化手势,建立容错性能更好的个性化手势模型。
例如,本发明在将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势之后,还可提示用户继续输入一次验证手语手势,以用于验证识别出的基本手语手势;若用户输入的验证手语手势与上一次识别出的基本手语手势相符,则验证成功;本实施例根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型;若用户输入的验证手语手势与上一次识别出的基本手语手势不相符,则验证失败,可提示用户重新输入验证手语手势,只至验证成功或达到预设的最高验证次数。
为提高建立个性化手势模型的速度,在部分实施例中,亦可设置选项,以供用户选择是否需要输入验证手语手势,或在输入验证手语手势的过程中设置取消输入验证手语手势的选项。本实施例中获取所述验证手语手势的次数可预先设置,或根据用户的操作选项确定,在此不再赘述。
在上一实施例,所述根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型,包括:
比对所述测试手语手势与所述识别出的基本手语手势,确定所述测试手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的第一差值;
比对所述验证手语手势与所述识别出的基本手语手势,确定所述验证手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的第二差值;
根据所述基本手语手势、所述第一差值和第二差值,建立用户的个性化手势模型。
本实施例可将识别出的基本手语手势的每一个局部轮廓特征,分别与所述验证手语手势、所述测试手语手势的每一个局部轮廓特征进行比对,相比于仅根据所述第一差值建立个性化手势模型,本实施例可获取更多用户的个性化手势,以建立识别准确率更高的个性化手势模型。
在本发明的另一实施例中,所述根据所述个性化手势模型,将待识别的手语手势转化为语音或文字,包括:
获取待识别的手语手势;
判断基本手语库中是否有与待识别的手语手势一致的基本手语手势;
若有,则根据与待识别的手语手势一致的基本手语手势,将待识别的手语手势转化为语音或文字;
若没有,则判断个性化手势模型库中是否有与待识别的手语手势一致的个性化手势模型;若有,则根据与待识别的手语手势一致的个性化手势模型,将待识别的手语手势转化为语音或文字。
本实施例先将待识别的手语手势与基本手语库中的基本手语手势进行比对,可提高手语手势的识别速度;当比对结果中没有与待识别的手语手势一致的基本手语手势时,再将待识别的手语手势与个性化手势模型库中的个性化手势模型进行比对,可提高不标准的手语手势的识别概率。本实施例既兼顾了手语手势的识别速度,又提高了手语手势识别的准确率。
进一步地,所述判断个性化手势模型库中是否有与待识别的手语手势一致的个性化手势模型之后,还包括:
若个性化手势模型库中没有与待识别的手语手势一致的个性化手势模型,则从所述待识别的手语手势中提取若干个局部轮廓特征;
将所述若干个局部轮廓特征与所述个性化手势模型库中的个性化手势模型对应的局部轮廓特征进行比对;
根据所述局部轮廓特征相符合的数量,将所述个性化手势模型进行排序,将排序靠前的预设数量的个性化手势模型对应的基本手语手势显示至用户界面;
获取用户从所述用户界面中选择的基本手语手势,根据选择的基本手语手势,将待识别的手语手势转化为语音和/或文字。
本实施例可在个性化手势模型库中没有与待识别的手语手势一致的个性化手势模型的情况下,列出与待识别的手语手势相似的多个基本手语手势供用户选择,从而通过用户进一步输入的选择而提高识别概率,并根据用户选择的基本手语手势,将待识别的手语手势转化为语音和/或文字。
将待识别的手语手势转化为语音和/或文字,具体可根据用户需求,或终端的音频模块、显示模块等情况设置。在本发明中,可针对每一个基本手语手势设置对应的语音数据和文字数据,以适应更多应用场景。
本发明还提出一种手语转换装置,所述装置包括:
测试手势获取模块,用于获取用户输入的测试手语手势;
测试手势识别模块,用于将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;
模型建立模块,用于根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;
手势转化模块,用于根据所述个性化手势模型,将待识别的手语手势转化为语音或文字。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任意一项所述的手语转换方法。其中,所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable ProgrammableRead-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSableProgrammable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器,磁盘或光盘等。
本发明实施例还提供一种终端,所述终端包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任意一项所述的手语转换方法。
如图3所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、服务器等任意终端设备,以终端为手机为例:
图3示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图3,手机包括:射频(Radio Frequency,RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity,Wi-Fi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图3中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图3对手机的各个构成部件进行具体的介绍:
RF电路1510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1580处理;另外,将设计上行的数据发送给基站。通常,RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频识别应用程序等)等;存储数据区可存储根据手机的使用所创建的数据(比如预设手语手势数据等)等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1580,并能接收处理器1580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531,输入单元1530还可以包括其他输入设备1532。具体地,其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。进一步的,触控面板1531可覆盖显示面板1541,当触控面板1531检测到在其上或附近的触摸操作后,传送给处理器1580以确定触摸事件的类型,随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图3中,触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1560、扬声器1561,传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声纹信号输出;另一方面,传声器1562将收集的声纹信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出处理器1580处理后,经RF电路1510以发送给比如另一手机,或者将音频数据输出至存储器1520以便进一步处理。
Wi-Fi属于短距离无线传输技术,手机通过Wi-Fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图3示出了Wi-Fi模块1570,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。
手机还包括给各个部件供电的电源1590(比如电池),优选的,电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
应该理解的是,在本发明各实施例中的各功能单元可集成在一个处理模块中,也可以各个单元单独物理存在,也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种手语转换方法,其特征在于,包括:
获取用户输入的测试手语手势;
将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;
根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;
根据所述个性化手势模型,将待识别的手语手势转化为语音和/或文字。
2.根据权利要求1所述的方法,其特征在于,所述将所述测试手语手势与手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势,包括:
根据所述测试手语手势的轮廓,提取若干个局部轮廓特征;
将所述若干个局部轮廓特征与手语库中的基本手语手势对应的局部轮廓特征进行比对;
根据与所述测试手语手势的局部轮廓特征相符合的数量,将所述基本手语手势进行排序,将排序靠前的预设数量的基本手语手势显示至用户界面;
获取用户从所述用户界面中选择的基本手语手势,将该选择的基本手语手势作为识别出的基本手语手势。
3.根据权利要求2所述的方法,其特征在于,所述根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型,包括:
比对所述测试手语手势与所述识别出的基本手语手势,确定所述测试手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的差值;
根据所述基本手语手势和所述每一个局部轮廓特征的差值,建立用户的个性化手势模型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型,包括:
获取用户输入的用于验证所述识别出的基本手语手势的验证手语手势;
根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述测试手语手势、所述识别出的基本手语手势和所述验证手语手势,建立用户的个性化手势模型,包括:
比对所述测试手语手势与所述识别出的基本手语手势,确定所述测试手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的第一差值;
比对所述验证手语手势与所述识别出的基本手语手势,确定所述验证手语手势与所述识别出的基本手语手势中每一个局部轮廓特征的第二差值;
根据所述基本手语手势、所述第一差值和第二差值,建立用户的个性化手势模型。
6.根据权利要求1所述的方法,其特征在于,所述根据所述个性化手势模型,将待识别的手语手势转化为语音或文字,包括:
获取待识别的手语手势;
判断基本手语库中是否有与待识别的手语手势一致的基本手语手势;
若有,则根据与待识别的手语手势一致的基本手语手势,将待识别的手语手势转化为语音或文字;
若没有,则判断个性化手势模型库中是否有与待识别的手语手势一致的个性化手势模型;若有,则根据与待识别的手语手势一致的个性化手势模型,将待识别的手语手势转化为语音或文字。
7.根据权利要求6所述的方法,其特征在于,所述判断个性化手势模型库中是否有与待识别的手语手势一致的个性化手势模型之后,还包括:
若个性化手势模型库中没有与待识别的手语手势一致的个性化手势模型,则从所述待识别的手语手势中提取若干个局部轮廓特征;
将所述若干个局部轮廓特征与所述个性化手势模型库中的个性化手势模型对应的局部轮廓特征进行比对;
根据所述局部轮廓特征相符合的数量,将所述个性化手势模型进行排序,将排序靠前的预设数量的个性化手势模型对应的基本手语手势显示至用户界面;
获取用户从所述用户界面中选择的基本手语手势,根据选择的基本手语手势,将待识别的手语手势转化为语音和/或文字。
8.一种手语转换装置,其特征在于,包括:
测试手势获取模块,用于获取用户输入的测试手语手势;
测试手势识别模块,用于将所述测试手语手势与基本手语库中的基本手语手势进行比对,将与所述测试手语手势最接近的基本手语手势作为识别出的基本手语手势;
模型建立模块,用于根据所述测试手语手势与所述识别出的基本手语手势,建立用户的个性化手势模型;
手势转化模块,用于根据所述个性化手势模型,将待识别的手语手势转化为语音或文字。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任意一项所述的手语转换方法。
10.一种终端,其特征在于,所述终端包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的手语转换方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910040766.5A CN109920309B (zh) | 2019-01-16 | 2019-01-16 | 手语转换方法、装置、存储介质和终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910040766.5A CN109920309B (zh) | 2019-01-16 | 2019-01-16 | 手语转换方法、装置、存储介质和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109920309A true CN109920309A (zh) | 2019-06-21 |
CN109920309B CN109920309B (zh) | 2023-02-03 |
Family
ID=66960385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910040766.5A Active CN109920309B (zh) | 2019-01-16 | 2019-01-16 | 手语转换方法、装置、存储介质和终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109920309B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110202592A (zh) * | 2019-07-02 | 2019-09-06 | 江苏博子岛智能产业技术研究院有限公司 | 一种ai移动式医疗服务机器人 |
CN110737332A (zh) * | 2019-09-24 | 2020-01-31 | 深圳市联谛信息无障碍有限责任公司 | 一种手势沟通方法和服务器 |
CN111354246A (zh) * | 2020-01-16 | 2020-06-30 | 浙江工业大学 | 一种用于帮助聋哑人交流的系统及方法 |
CN111461005A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种手势识别方法、装置、计算机设备以及存储介质 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0585098A2 (en) * | 1992-08-24 | 1994-03-02 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
CN101751202A (zh) * | 2008-12-17 | 2010-06-23 | 爱思开电讯投资(中国)有限公司 | 一种基于环境信息进行文字关联输入的方法和装置 |
CN102236986A (zh) * | 2010-05-06 | 2011-11-09 | 鸿富锦精密工业(深圳)有限公司 | 手语翻译系统、手语翻译装置及手语翻译方法 |
CN103995665A (zh) * | 2014-04-14 | 2014-08-20 | 深圳市汇顶科技股份有限公司 | 移动终端及其在待机状态进入应用程序的实现方法、系统 |
US20150049017A1 (en) * | 2012-08-16 | 2015-02-19 | Amazon Technologies, Inc. | Gesture recognition for device input |
CN105100482A (zh) * | 2015-07-30 | 2015-11-25 | 努比亚技术有限公司 | 一种实现手语识别的移动终端、系统及其通话实现方法 |
CN105549890A (zh) * | 2015-12-29 | 2016-05-04 | 清华大学 | 一维手写文字输入设备和一维手写文字输入方法 |
CN205412196U (zh) * | 2013-02-07 | 2016-08-03 | 马卡里 | 一种真人rpg技能发动系统 |
CN106683677A (zh) * | 2015-11-06 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
CN107533366A (zh) * | 2015-04-20 | 2018-01-02 | 三菱电机株式会社 | 信息显示装置和信息显示方法 |
CN107609047A (zh) * | 2017-08-18 | 2018-01-19 | 广东小天才科技有限公司 | 应用推荐方法、装置、移动设备及存储介质 |
CN107844759A (zh) * | 2017-10-24 | 2018-03-27 | 努比亚技术有限公司 | 一种手势识别方法、终端及存储介质 |
CN108268835A (zh) * | 2017-12-28 | 2018-07-10 | 努比亚技术有限公司 | 手语翻译方法、移动终端及计算机可读存储介质 |
CN108536302A (zh) * | 2018-04-17 | 2018-09-14 | 中国矿业大学 | 一种基于人体手势和语音的教学方法及系统 |
CN108846378A (zh) * | 2018-07-03 | 2018-11-20 | 百度在线网络技术(北京)有限公司 | 手语识别处理方法及装置 |
CN109063624A (zh) * | 2018-07-26 | 2018-12-21 | 深圳市漫牛医疗有限公司 | 信息处理方法、系统、电子设备和计算机可读存储介质 |
-
2019
- 2019-01-16 CN CN201910040766.5A patent/CN109920309B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0585098A2 (en) * | 1992-08-24 | 1994-03-02 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
CN101751202A (zh) * | 2008-12-17 | 2010-06-23 | 爱思开电讯投资(中国)有限公司 | 一种基于环境信息进行文字关联输入的方法和装置 |
CN102236986A (zh) * | 2010-05-06 | 2011-11-09 | 鸿富锦精密工业(深圳)有限公司 | 手语翻译系统、手语翻译装置及手语翻译方法 |
US20150049017A1 (en) * | 2012-08-16 | 2015-02-19 | Amazon Technologies, Inc. | Gesture recognition for device input |
CN205412196U (zh) * | 2013-02-07 | 2016-08-03 | 马卡里 | 一种真人rpg技能发动系统 |
CN103995665A (zh) * | 2014-04-14 | 2014-08-20 | 深圳市汇顶科技股份有限公司 | 移动终端及其在待机状态进入应用程序的实现方法、系统 |
CN107533366A (zh) * | 2015-04-20 | 2018-01-02 | 三菱电机株式会社 | 信息显示装置和信息显示方法 |
CN105100482A (zh) * | 2015-07-30 | 2015-11-25 | 努比亚技术有限公司 | 一种实现手语识别的移动终端、系统及其通话实现方法 |
CN106683677A (zh) * | 2015-11-06 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 语音识别方法及装置 |
CN105549890A (zh) * | 2015-12-29 | 2016-05-04 | 清华大学 | 一维手写文字输入设备和一维手写文字输入方法 |
CN107609047A (zh) * | 2017-08-18 | 2018-01-19 | 广东小天才科技有限公司 | 应用推荐方法、装置、移动设备及存储介质 |
CN107844759A (zh) * | 2017-10-24 | 2018-03-27 | 努比亚技术有限公司 | 一种手势识别方法、终端及存储介质 |
CN108268835A (zh) * | 2017-12-28 | 2018-07-10 | 努比亚技术有限公司 | 手语翻译方法、移动终端及计算机可读存储介质 |
CN108536302A (zh) * | 2018-04-17 | 2018-09-14 | 中国矿业大学 | 一种基于人体手势和语音的教学方法及系统 |
CN108846378A (zh) * | 2018-07-03 | 2018-11-20 | 百度在线网络技术(北京)有限公司 | 手语识别处理方法及装置 |
CN109063624A (zh) * | 2018-07-26 | 2018-12-21 | 深圳市漫牛医疗有限公司 | 信息处理方法、系统、电子设备和计算机可读存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110202592A (zh) * | 2019-07-02 | 2019-09-06 | 江苏博子岛智能产业技术研究院有限公司 | 一种ai移动式医疗服务机器人 |
CN110737332A (zh) * | 2019-09-24 | 2020-01-31 | 深圳市联谛信息无障碍有限责任公司 | 一种手势沟通方法和服务器 |
CN111354246A (zh) * | 2020-01-16 | 2020-06-30 | 浙江工业大学 | 一种用于帮助聋哑人交流的系统及方法 |
CN111461005A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种手势识别方法、装置、计算机设备以及存储介质 |
CN111461005B (zh) * | 2020-03-31 | 2023-11-28 | 腾讯科技(深圳)有限公司 | 一种手势识别方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109920309B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10956771B2 (en) | Image recognition method, terminal, and storage medium | |
EP4064276A1 (en) | Method and device for speech recognition, terminal and storage medium | |
CN109920309A (zh) | 手语转换方法、装置、存储介质和终端 | |
CN108364644A (zh) | 一种语音交互方法、终端及计算机可读介质 | |
CN104852885B (zh) | 一种进行验证码验证的方法、装置和系统 | |
CN106203235B (zh) | 活体鉴别方法和装置 | |
CN104123937A (zh) | 提醒设置方法、装置和系统 | |
CN106445596B (zh) | 一种设置项的管理方法及装置 | |
WO2015043443A1 (en) | Information storage method and apparatus, and communication terminal | |
CN104965642B (zh) | 下拉列表生成方法及装置 | |
US9921735B2 (en) | Apparatuses and methods for inputting a uniform resource locator | |
CN112820299B (zh) | 声纹识别模型训练方法、装置及相关设备 | |
CN109189258A (zh) | 记录笔记的方法及装置 | |
WO2018161540A1 (zh) | 指纹注册方法及相关产品 | |
CN109543014B (zh) | 人机对话方法、装置、终端及服务器 | |
US20210157415A1 (en) | Text input method and terminal | |
CN112230877A (zh) | 一种语音操作方法、装置、存储介质及电子设备 | |
CN103279272A (zh) | 一种在电子装置中启动应用程序的方法及装置 | |
CN106486119B (zh) | 一种识别语音信息的方法和装置 | |
CN108810274A (zh) | 应用辅助功能的启动方法、装置、存储介质和终端 | |
CN108874281A (zh) | 一种应用程序启动方法及终端设备 | |
CN109062643A (zh) | 一种显示界面调整方法、装置及终端 | |
CN107632985B (zh) | 网页预加载方法及装置 | |
CN110392158A (zh) | 一种消息处理方法、装置以及终端设备 | |
CN109274814B (zh) | 一种消息提示方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |