CN110009973A - 基于手语的实时互译方法、装置、设备及存储介质 - Google Patents

基于手语的实时互译方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110009973A
CN110009973A CN201910293198.XA CN201910293198A CN110009973A CN 110009973 A CN110009973 A CN 110009973A CN 201910293198 A CN201910293198 A CN 201910293198A CN 110009973 A CN110009973 A CN 110009973A
Authority
CN
China
Prior art keywords
information
sign language
language
real
corresponding relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910293198.XA
Other languages
English (en)
Inventor
熊鹏航
李美宏
周文奇
邱轶琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Ham Technology Co Ltd
Original Assignee
Wuhan Ham Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Ham Technology Co Ltd filed Critical Wuhan Ham Technology Co Ltd
Priority to CN201910293198.XA priority Critical patent/CN110009973A/zh
Publication of CN110009973A publication Critical patent/CN110009973A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于手语的实时互译方法、装置、设备及存储介质，所述方法包括：获取待处理声音信息；调用手语语言库，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找对应的目标手语信息；将所述目标手语信息采用第一预设方式进行展示；在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；将所述参考文字信息采用第二预设方式进行展示。本发明实现在线实时互译，提高语言障碍人士交流的便利性。

Description

基于手语的实时互译方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于手语的实时互译方法、装置、设备及存储介质。
背景技术
目前，有语言障碍人士基于图像识别的手势识别技术和翻译机与无语言障碍人士进行交流，并且无语言障碍人士对有语言障碍人士进行交流时常常无法进行翻译，借助类似于讯飞语言翻译机的设备将文字转化成声音数据输出给无语言障碍人士听到，但是有语言障碍人士对有语言障碍人士进行交流时常常无法实时进行翻译。
发明内容
本发明的主要目的在于提出一种基于手语的实时互译方法、装置、设备及存储介质，旨在解决在语言障碍人士无法更便利的进行交流的技术问题，让语言障碍人士从此可以融入广大社会群体，为其创造无障碍生活环境。
为实现上述目的，本发明提供一种基于手语的实时互译方法，所述基于手语的实时互译方法包括以下步骤：
获取待处理声音信息；
调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；
根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；
将所述目标手语信息采用第一预设方式进行展示；
在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；
根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；
将所述参考文字信息采用第二预设方式进行展示。
优选地，所述第一预设方式为增强现实的方式，所述第二预设方式为文字或者声音的方式。
优选地，所述调用手语语言库之前，所述方法还包括：
获取所述历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；
根据所述第一对应关系和第二对应关系建立所述手语语言库。
优选地，所述在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息，包括：
在获取到展示的目标手语信息时，调用数据手套，向所述数据手套发送手语信息获取指令，以使所述数据手套在接收所述手语信息获取指令时采集所述待处理手语信息，并将所述待处理手语信息进行反馈。
优选地，所述将所述参考文字信息采用第二预设方式进行展示，包括：
获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示。
优选地，所述获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示，包括：
获取目标展示方式信息，在所述目标展示方式信息为文字展示时，将所述参考文字信息采用文字的方式进行展示。
优选地，所述获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示，包括：
获取目标展示方式信息，在所述目标展示方式信息为声音展示时，根据所述第一对应关系查找所述参考文字信息对应的目标声音信息，将所述目标声音信息进行播放。
此外，为实现上述目的，本发明还提出一种基于手语的实时互译装置，所述基于手语的实时互译装置包括：
获取模块，用于获取待处理声音信息；
调用模块，用于调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；
第一查找模块，用于根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；
第一展示模块，用于将所述目标手语信息采用第一预设方式进行展示；
接收模块，用于在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；
第二查找模块，用于根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；
第二展示模块，用于将所述参考文字信息采用第二预设方式进行展示。
此外，为实现上述目的，本发明还提出一种基于手语的实时互译设备，所述基于手语的实时互译设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于手语的实时互译程序，所述基于手语的实时互译程序配置为实现如上所述的基于手语的实时互译方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于手语的实时互译程序，所述基于手语的实时互译程序被处理器执行时实现如上文所述的基于手语的实时互译方法的步骤。
本发明提出的基于手语的实时互译方法，通过获取待处理声音信息；调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；将所述目标手语信息采用第一预设方式进行展示；在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；将所述参考文字信息采用第二预设方式进行展示，从而通过手语语言库可将声音信息转化为手语信息，并将手语信息转化为文字信息，进而通过预设方式进行展示，实现在线实时互译，提高语言障碍人士交流的便利性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于手语的实时互译设备结构示意图；
图2为本发明基于手语的实时互译方法第一实施例的流程示意图；
图3为本发明基于手语的实时互译方法一实施例的声音信息转化为手语信息的流程示意图；
图4为本发明基于手语的实时互译方法一实施例的手语信息转化为声音信息的流程示意图；
图5为本发明基于手语的实时互译方法第二实施例的流程示意图；
图6为本发明基于手语的实时互译方法第三实施例的流程示意图；
图7为本发明基于手语的实时互译装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于手语的实时互译设备结构示意图。
如图1所示，该基于手语的实时互译设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对基于手语的实时互译设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于手语的实时互译程序。
在图1所示的基于手语的实时互译设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的基于手语的实时互译程序，并执行本发明实施例提供的基于手语的实时互译的实施方法。
基于上述硬件结构，提出本发明基于手语的实时互译方法实施例。
参照图2，图2为本发明基于手语的实时互译方法第一实施例的流程示意图。
在第一实施例中，所述基于手语的实时互译方法包括以下步骤：
步骤S10，获取待处理声音信息。
需要说明的是，本实施例的执行主体为基于手语的实时互译设备，例如有声增强现实技术(Augmented Reality，AR)眼镜，还可为其他设备，本实施例对此不作限制，在本实施例中，以有声AR眼镜例进行说明。
在本实施例中，有语言障碍人士佩戴有所述有声AR眼镜，所述有声AR眼镜具有声音采集功能，通过所述声音采集功能可获取待处理声音信息，例如无语言障碍人士向有语言障碍人士发出的声音信息。
为了提高采集声音信息的准确性，可通过有声AR眼镜判断当前处于预设范围内的人发出的声音信息，其中，所述预设范围为距离有语言障碍人士最近的人发出的声音信息，从而避免将无关的旁边人士的噪声进行处理。
步骤S20，调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系。
可以理解的是，所述手语语言库相比较于传统的语言库可实现更多的翻译功能，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，通过所述第一对应关系可实现声音数据与文字数据的互译，以及历史文字信息与历史手语信息的第二对应关系，通过所述第二对应关系可实现文字数据与手语数据的互译。
步骤S30，根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息。
在具体实现中，可预先设置第一对应关系和第二对应关系的标签信息，通过所述标签信息实现对第一对应关系和第二对应关系的识别，在获取声音信息时，可在关系映射表中查找与所述声音信息对应的标签信息，通过所述标签信息查找所述第一对应关系，相应的，在获取文字信息时，可在关系映射表中查找与所述文字信息对应的标签信息，通过所述标签信息查找所述第二对应关系，从而提高信息处理的准确性。
步骤S40，将所述目标手语信息采用第一预设方式进行展示。
需要说明的是，所述第一预设方式为AR展示的方式，将所述目标手语信息采用AR方式进行展示，利用有声AR眼镜将声音转化为语言障碍人士可以看到的手势动作直接显示在AR眼镜上，给语言障碍人士更清晰直观高效的沟通便捷性。而不是像传统的需要到翻译机的显示屏上看转化出来的文字，有语言障碍人士可以不必需要在大型带摄像头的翻译体系附近，语言障碍人士的活动范围得到最大限度的扩展。
在本实施例中，在有语言障碍人士佩戴的有声AR眼镜采集到声音信息时，可将所述声音信息转化为手语信息，并将所述手语信息通过有声AR眼镜进行AR展示，方便有语言障碍人士进行查看。
如图3所示的声音信息转化为手语信息的流程示意图，无语言障碍人士对语言障碍人士讲话，声音被有声AR眼镜获取，在手语语言库的协助下将声音转为文字，同样在手语语言库的协助下将文字转化为手势数据，手势数据控制有声AR眼镜镜片中显示的人物3D模型做相应的手语手势来表达无语言障碍人士所要表达的意思。
步骤S50，在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息。
可以理解的是，所述反馈手语信息为通过数据手套采集的，在获取无语言障碍人士的声音信息时，可通过数据手套进行语言反馈，从而实现实时的语言交流。
在具体实现中，在获取无语言障碍人士的声音信息时，将所述声音信息通过有声AR眼镜展示给有语言障碍人士进行查看，在进行反馈时，通过数据手套采集有语言障碍人士的反馈手语信息，从而实现实时互译。
步骤S60，根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息。
需要说明的是，在获取手语信息时，可通过手语信息与文字信息的第一对应关系，将手语信息转化为文字信息，从而实现手语信息与文字信息的翻译。
步骤S70，将所述参考文字信息采用第二预设方式进行展示。
可以理解的是，所述第二预设方式为文字或者声音的方式，由于在有语言障碍人士在进行反馈信息的展示时，可通过文字或者声音的方式进行展示，如果对方也为有语言障碍人士，则可通过文字的方式进行展示，如果对方也为无语言障碍人士，则可通过声音的方式进行展示，从而提高信息展示的灵活性。
如图4所示的手语信息转化为声音信息的流程示意图，有语言障碍人士戴上数据手套和有声AR眼镜或其他显示终端，在数据手套的帮助下将手语翻译成文字，其中手语翻译成文字借助的是手语语言库，然后再在手语语言库的协助下将文字读出来通过有声AR眼镜上的扬声器将声音发出来让无语言障碍人士听到。
在本实施例中，有声AR眼镜让无语言障碍人士听到语言障碍人士要表达的意思的同时，可将反馈信息让无语言障碍人士看到或听到。
本实施例通过上述方案，通过获取待处理声音信息；调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；将所述目标手语信息采用第一预设方式进行展示；在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；将所述参考文字信息采用第二预设方式进行展示，从而通过手语语言库可将声音信息转化为手语信息，并将手语信息转化为文字信息，进而通过预设方式进行展示，实现在线实时互译，提高语言障碍人士交流的便利性。
在一实施例中，如图5所示，基于第一实施例提出本发明基于手语的实时互译方法第二实施例，所述步骤S20之前，所述方法还包括：
步骤S201，获取所述历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系。
需要说明的是，为了建立手语语言库，可通过获取所述历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系，通过所述第一对应关系和第二对应关系建立所述手语语言库。
在具体实现中，可通过所述手语语言库实现声音信息与文字信息的互译以及文字信息与手语信息的互译，从而可通过有声AR眼镜实现全方位的手语与自然语言实时互译全方位的手语与自然语言实时互译。
步骤S202，根据所述第一对应关系和第二对应关系建立所述手语语言库。
可以理解的是，所述手语语言库为包含声音信息与文字信息以及文字信息与手语信息的对应关系，从而可通过手语语言库获取声音信息与文字信息、声音信息与手语信息以及文字信息与手语信息的翻译信息，实现基于手语的实时互译，从而通过手语语言库提高互译的准确性。
本实施例提供的方案，通过获取所述历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系，通过所述第一对应关系和第二对应关系建立所述手语语言库，从而是实现全方位的手语与自然语言实时互译全方位的手语与自然语言实时互译。
在一实施例中，如图6所示，基于第一实施例或第二实施例提出本发明基于手语的实时互译方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤S50，包括：
步骤S501，在获取到展示的目标手语信息时，调用数据手套，向所述数据手套发送手语信息获取指令，以使所述数据手套在接收所述手语信息获取指令时采集所述待处理手语信息，并将所述待处理手语信息进行反馈。
可以理解的是，一般情况下获取语言障碍人士手语手势时采用的是基于图像处理技术的手势识别，基于该技术的手势识别需要用大量的手势图片来做人工智能深度学习的训练，训练效率非常低，并且训练出来的模型精准度不够，很难于真实手语进行匹配。另外，基于图像识别的手语识别技术过分依赖于摄像头，在摄像头探测不到的范围内该体系就无法正常运作。此外，如果手在做手语手势的过程中有左右手相互遮挡的情况时摄像头是很难分辨手语语义的。并且当摄像头摆放角度发生变化时，探测到的手语手势会出现较大误差，而本实施例可通过穿戴型手势识别数据手套可以全方位立体获取手语手势数据，精度高，数据获取速率高，手势转化为文字效率高，且不会因为遮挡，光线强弱等外在因素导致手势数据误差大。
在本实施例中，通过数据手套采集有语言障碍人士的手势数据精度更高，并且结合手臂动作捕捉设备后手语获取更加准确，手语获取不再受制于摄像头之类的外部设备，从而提高数据采集的精度。
在一实施例中，所述步骤S70，包括：
步骤S701，获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示。
在本实施例中，基于数据手套和翻译机的技术是用手套将手势截取出来，转化成文字，然后借助类似于讯飞语言翻译机的设备将文字转化成音频输出给无语言障碍人士听到，但是此类体系无法解决语言障碍人士无法听到正常人士说的话的问题，有时候语言障碍人士一般也是听力障碍人士，在面对此类问题时，可根据实际情况采用目标展示方式进行灵活的信息展示。
在具体实现中，可通过有语言障碍人士在有声AR眼镜设置的目标展示方式，所述目标展示方式可为声音的展示方式还可为文字的展示方式，默认为声音的展示方式，从而提高信息展示的灵活性。
在一实施例中，所述步骤S701，包括：
获取目标展示方式信息，在所述目标展示方式信息为文字展示时，将所述参考文字信息采用文字的方式进行展示。
在本实施例中，在所述目标展示方式信息为文字展示时，将所述参考文字信息通过有声AR眼镜的显示屏直接进行展示，从而实现与有听力障碍人士进行互动。
在一实施例中，所述步骤S701，包括：
获取目标展示方式信息，在所述目标展示方式信息为声音展示时，根据所述第一对应关系查找所述参考文字信息对应的目标声音信息，将所述目标声音信息进行播放。
在本实施例中，在所述目标展示方式信息为声音展示时，将文字信息转换为声音信息，并将所述声音信息通过有声AR眼镜进行播放，从而提高信息展示的效率。
本实施例提供的方案，通过有语言障碍人士在有声AR眼镜设置的目标展示方式，所述目标展示方式可为声音的展示方式还可为文字的展示方式，可根据用户需求进行灵活配置，从而提高信息展示的灵活性。
本发明进一步提供一种基于手语的实时互译装置。
参照图7，图7为本发明基于手语的实时互译装置第一实施例的功能模块示意图。
本发明基于手语的实时互译装置第一实施例中，该基于手语的实时互译装置包括：
获取模块10，用于获取待处理声音信息。
在本实施例中，有语言障碍人士佩戴有所述有声AR眼镜，所述有声AR眼镜具有声音采集功能，通过所述声音采集功能可获取待处理声音信息，例如无语言障碍人士向有语言障碍人士发出的声音信息。
为了提高采集声音信息的准确性，可通过有声AR眼镜判断当前处于预设范围内的人发出的声音信息，其中，所述预设范围为距离有语言障碍人士最近的人发出的声音信息，从而避免将无关的旁边人士的噪声进行处理。
调用模块20，用于调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系。
可以理解的是，所述手语语言库相比较于传统的语言库可实现更多的翻译功能，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，通过所述第一对应关系可实现声音数据与文字数据的互译，以及历史文字信息与历史手语信息的第二对应关系，通过所述第二对应关系可实现文字数据与手语数据的互译。
第一查找模块30，用于根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息。
在具体实现中，可预先设置第一对应关系和第二对应关系的标签信息，通过所述标签信息实现对第一对应关系和第二对应关系的识别，在获取声音信息时，可在关系映射表中查找与所述声音信息对应的标签信息，通过所述标签信息查找所述第一对应关系，相应的，在获取文字信息时，可在关系映射表中查找与所述文字信息对应的标签信息，通过所述标签信息查找所述第二对应关系，从而提高信息处理的准确性。
第一展示模块40，用于将所述目标手语信息采用第一预设方式进行展示。
需要说明的是，所述第一预设方式为AR展示的方式，将所述目标手语信息采用AR方式进行展示，利用有声AR眼镜将声音转化为语言障碍人士可以看到的手势动作直接显示在AR眼镜上，给语言障碍人士更清晰直观高效的沟通便捷性。而不是像传统的需要到翻译机的显示屏上看转化出来的文字，有语言障碍人士可以不必需要在大型带摄像头的翻译体系附近，语言障碍人士的活动范围得到最大限度的扩展。
在本实施例中，在有语言障碍人士佩戴的有声AR眼镜采集到声音信息时，可将所述声音信息转化为手语信息，并将所述手语信息通过有声AR眼镜进行AR展示，方便有语言障碍人士进行查看。
如图3所示的声音信息转化为手语信息的流程示意图，无语言障碍人士对语言障碍人士讲话，声音被有声AR眼镜获取，在手语语言库的协助下将声音转为文字，同样在手语语言库的协助下将文字转化为手势数据，手势数据控制有声AR眼镜镜片中显示的人物3D模型做相应的手语手势来表达无语言障碍人士所要表达的意思。
接收模块50，用于在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息。
可以理解的是，所述反馈手语信息为通过数据手套采集的，在获取无语言障碍人士的声音信息时，可通过数据手套进行语言反馈，从而实现实时的语言交流。
在具体实现中，在获取无语言障碍人士的声音信息时，将所述声音信息通过有声AR眼镜展示给有语言障碍人士进行查看，在进行反馈时，通过数据手套采集有语言障碍人士的反馈手语信息，从而实现实时互译。
第二查找模块60，用于根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息。
需要说明的是，在获取手语信息时，可通过手语信息与文字信息的第一对应关系，将手语信息转化为文字信息，从而实现手语信息与文字信息的翻译。
第二展示模块70，用于将所述参考文字信息采用第二预设方式进行展示。
可以理解的是，所述第二预设方式为文字或者声音的方式，由于在有语言障碍人士在进行反馈信息的展示时，可通过文字或者声音的方式进行展示，如果对方也为有语言障碍人士，则可通过文字的方式进行展示，如果对方也为无语言障碍人士，则可通过声音的方式进行展示，从而提高信息展示的灵活性。
如图4所示的手语信息转化为声音信息的流程示意图，有语言障碍人士戴上数据手套和有声AR眼镜或其他显示终端，在数据手套的帮助下将手语翻译成文字，其中手语翻译成文字借助的是手语语言库，然后再在手语语言库的协助下将文字读出来通过有声AR眼镜上的扬声器将声音发出来让无语言障碍人士听到。
在本实施例中，有声AR眼镜让无语言障碍人士听到语言障碍人士要表达的意思的同时，可将反馈信息让无语言障碍人士看到或听到。
本实施例通过上述方案，通过获取待处理声音信息；调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；将所述目标手语信息采用第一预设方式进行展示；在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；将所述参考文字信息采用第二预设方式进行展示，从而通过手语语言库可将声音信息转化为手语信息，并将手语信息转化为文字信息，进而通过预设方式进行展示，实现在线实时互译，提高语言障碍人士交流的便利性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于手语的实时互译程序，所述基于手语的实时互译程序被处理器执行如上文所述的基于手语的实时互译方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能终端设备(可以是手机，计算机，终端设备，空调器，或者网络终端设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于手语的实时互译方法，其特征在于，所述基于手语的实时互译方法包括：
获取待处理声音信息；
调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；
根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；
将所述目标手语信息采用第一预设方式进行展示；
在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；
根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；
将所述参考文字信息采用第二预设方式进行展示。
2.如权利要求1所述的基于手语的实时互译方法，其特征在于，所述第一预设方式为增强现实的方式，所述第二预设方式为文字或者声音的方式。
3.如权利要求1所述的基于手语的实时互译方法，其特征在于，所述调用手语语言库之前，所述方法还包括：
获取所述历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；
根据所述第一对应关系和第二对应关系建立所述手语语言库。
4.如权利要求1至3中任一项所述的基于手语的实时互译方法，其特征在于，所述在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息，包括：
在获取到展示的目标手语信息时，调用数据手套，向所述数据手套发送手语信息获取指令，以使所述数据手套在接收所述手语信息获取指令时采集所述待处理手语信息，并将所述待处理手语信息进行反馈。
5.如权利要求1至3中任一项所述的基于手语的实时互译方法，其特征在于，所述将所述参考文字信息采用第二预设方式进行展示，包括：
获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示。
6.如权利要求5所述的基于手语的实时互译方法，其特征在于，所述获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示，包括：
获取目标展示方式信息，在所述目标展示方式信息为文字展示时，将所述参考文字信息采用文字的方式进行展示。
7.如权利要求5所述的基于手语的实时互译方法，其特征在于，所述获取目标展示方式信息，将所述参考文字信息采用所述目标展示方式信息进行展示，包括：
获取目标展示方式信息，在所述目标展示方式信息为声音展示时，根据所述第一对应关系查找所述参考文字信息对应的目标声音信息，将所述目标声音信息进行播放。
8.一种基于手语的实时互译装置，其特征在于，所述基于手语的实时互译装置包括：
获取模块，用于获取待处理声音信息；
调用模块，用于调用手语语言库，其中，所述手语语言库包括历史声音信息与历史文字信息的第一对应关系，以及历史文字信息与历史手语信息的第二对应关系；
第一查找模块，用于根据所述第一对应关系查找所述待处理声音信息对应的待处理文字信息，并根据所述第二对应关系查找所述待处理文字信息对应的目标手语信息；
第一展示模块，用于将所述目标手语信息采用第一预设方式进行展示；
接收模块，用于在获取到展示的目标手语信息时，接收所述目标手语信息的反馈手语信息；
第二查找模块，用于根据所述第一对应关系查找所述反馈手语信息对应的参考文字信息；
第二展示模块，用于将所述参考文字信息采用第二预设方式进行展示。
9.一种基于手语的实时互译设备，其特征在于，所述基于手语的实时互译设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于手语的实时互译程序，所述基于手语的实时互译程序配置为实现如权利要求1至7中任一项所述的基于手语的实时互译方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于手语的实时互译程序，所述基于手语的实时互译程序被处理器执行时实现如权利要求1至7中任一项所述的基于手语的实时互译方法的步骤。
CN201910293198.XA 2019-04-15 2019-04-15 基于手语的实时互译方法、装置、设备及存储介质 Pending CN110009973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910293198.XA CN110009973A (zh) 2019-04-15 2019-04-15 基于手语的实时互译方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910293198.XA CN110009973A (zh) 2019-04-15 2019-04-15 基于手语的实时互译方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110009973A true CN110009973A (zh) 2019-07-12

Family

ID=67171322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910293198.XA Pending CN110009973A (zh) 2019-04-15 2019-04-15 基于手语的实时互译方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110009973A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877189A (zh) * 2010-05-31 2010-11-03 张红光 从汉语文本到手语机译方法
US20100316978A1 (en) * 2009-06-09 2010-12-16 James David Goode Mobile, wireless, hands-free visual/verbal trans-language communication system (acronym:V2V XLC System)
CN106981238A (zh) * 2017-03-20 2017-07-25 南昌大学 一种基于计算机视觉的手语交流装置
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN107741976A (zh) * 2017-10-16 2018-02-27 泰康保险集团股份有限公司 智能应答方法、装置、介质和电子设备
CN207216921U (zh) * 2017-03-28 2018-04-10 西安电子科技大学 一种聋哑人与正常人双向交流的穿戴式设备
CN108629241A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种数据处理方法和数据处理设备
CN108766434A (zh) * 2018-05-11 2018-11-06 东北大学 一种手语识别翻译系统及方法
CN208255530U (zh) * 2018-01-19 2018-12-18 郭磊 智能颈戴设备
CN109446876A (zh) * 2018-08-31 2019-03-08 百度在线网络技术（北京）有限公司 手语信息处理方法、装置、电子设备和可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316978A1 (en) * 2009-06-09 2010-12-16 James David Goode Mobile, wireless, hands-free visual/verbal trans-language communication system (acronym:V2V XLC System)
CN101877189A (zh) * 2010-05-31 2010-11-03 张红光 从汉语文本到手语机译方法
CN107223277A (zh) * 2016-12-16 2017-09-29 深圳前海达闼云端智能科技有限公司 一种聋哑人辅助方法、装置以及电子设备
CN106981238A (zh) * 2017-03-20 2017-07-25 南昌大学 一种基于计算机视觉的手语交流装置
CN108629241A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种数据处理方法和数据处理设备
CN207216921U (zh) * 2017-03-28 2018-04-10 西安电子科技大学 一种聋哑人与正常人双向交流的穿戴式设备
CN107741976A (zh) * 2017-10-16 2018-02-27 泰康保险集团股份有限公司 智能应答方法、装置、介质和电子设备
CN208255530U (zh) * 2018-01-19 2018-12-18 郭磊 智能颈戴设备
CN108766434A (zh) * 2018-05-11 2018-11-06 东北大学 一种手语识别翻译系统及方法
CN109446876A (zh) * 2018-08-31 2019-03-08 百度在线网络技术（北京）有限公司 手语信息处理方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN110046238B (zh) 对话交互方法、图形用户界面、终端设备以及网络设备
CN107728780A (zh) 一种基于虚拟机器人的人机交互方法及装置
CN103544724A (zh) 一种利用增强现实与卡片识别技术在移动智能终端实现虚拟动漫角色的系统及方法
CN107294837A (zh) 采用虚拟机器人进行对话交互的方法和系统
WO2021083125A1 (zh) 通话控制方法及相关产品
CN104980345A (zh) 一种即时通信应用中群组消息的显示方法和装置
CN104468959A (zh) 移动终端通话过程中显示图像的方法、装置及移动终端
CN108959274A (zh) 一种应用程序的翻译方法及服务器
CN106875939A (zh) 对大范围波动的汉语方言语音识别处理方法及智能机器人
CN107734160A (zh) 一种基于智能手机的语言互助方法
CN104144108A (zh) 一种消息响应方法、装置及系统
CN106203235A (zh) 活体鉴别方法和装置
CN114401431A (zh) 一种虚拟人讲解视频生成方法及相关装置
CN111563151A (zh) 一种信息采集的方法、会话配置的方法、装置及存储介质
CN110825164A (zh) 基于儿童专用穿戴智能设备的交互方法及系统
CN103026697A (zh) 业务服务器装置、业务提供方法、业务提供程序
CN108021556A (zh) 用于获取信息的方法及装置
CN107479906A (zh) 基于Cordova的跨平台在线教育移动终端
CN207718803U (zh) 多信源语音区分识别系统
CN112819440B (zh) 一种全过程工程咨询决策支撑方法及系统
CN110009973A (zh) 基于手语的实时互译方法、装置、设备及存储介质
CN108986191B (zh) 人物动作的生成方法、装置及终端设备
CN110955331A (zh) 一种基于计算机虚拟界面的人机交互系统
CN110111795A (zh) 一种语音处理方法及终端设备
CN112231023A (zh) 一种信息显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712

RJ01 Rejection of invention patent application after publication