CN110555329A - 一种手语翻译的方法、终端以及存储介质 - Google Patents

一种手语翻译的方法、终端以及存储介质 Download PDF

Info

Publication number
CN110555329A
CN110555329A CN201810395927.8A CN201810395927A CN110555329A CN 110555329 A CN110555329 A CN 110555329A CN 201810395927 A CN201810395927 A CN 201810395927A CN 110555329 A CN110555329 A CN 110555329A
Authority
CN
China
Prior art keywords
information
user
voice
terminal
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810395927.8A
Other languages
English (en)
Inventor
欧国维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou European Force Robot Co Ltd
Original Assignee
Suzhou European Force Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou European Force Robot Co Ltd filed Critical Suzhou European Force Robot Co Ltd
Priority to CN201810395927.8A priority Critical patent/CN110555329A/zh
Publication of CN110555329A publication Critical patent/CN110555329A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种手语翻译的方法，其特征在于，包括：获取终端当前的场景信息，并根据所述场景信息确定终端当前的场景；获取第一用户的第一手语信息；提取所述第一手语信息的特征，将所述第一手语信息的特征与所述场景对应的第一数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息，并将所述第一语音信息提供给第二用户；获取所述第二用户的第二语音信息；提取所述第二语音信息的特征，将所述第二语音信息的特征与所述场景对应的第二数据库进行匹配，将所述语音信息翻译成为第二手语信息，并将所述第二手语信息以图像画面的形式提供给所述第一用户。本发明实施例还提供一种终端以及存储介质，能够提升手语交流过程的效果。

Description

一种手语翻译的方法、终端以及存储介质
技术领域
本发明属于手语翻译技术领域，特别涉及一种手语翻译的方法、终端以及存储介质。
背景技术
手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定意思或词语，其作为听力障碍的人(即聋哑人，以下简称为听障人)之间、听障人与健全人(即听、说能力正常的人)之间互相交流的一种手的语言，是听障人主要的交际工具。由于手语的动作较多且遵循一定的规则、需要经过系统的学习才能掌握，大多数健全人可能会理解少数手语的意思，或者完全不明白，因此听障人与健全人之间常出现交流不顺畅、甚至没有任何交流，势必会伤害听障人的感情，影响健全人与听障人的团结。
发明内容
有鉴于此，本发明实施例提供了一种手语翻译的方法、终端以及存储介质。
本发明实施例提供一种手语翻译的方法，其特征在于，所述方法包括：
获取终端当前的场景信息，并根据所述场景信息确定终端当前的场景；
获取第一用户的第一手语信息；
提取所述第一手语信息的特征，将所述第一手语信息的特征与所述场景对应的第一数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息，并将所述第一语音信息提供给第二用户；
获取所述第二用户的第二语音信息；
提取所述第二语音信息的特征，将所述第二语音信息的特征与所述场景对应的第二数据库进行匹配，将所述语音信息翻译成为第二手语信息，并将所述第二手语信息以图像画面的形式提供给所述第一用户。
本发明实施例还提供了一种终端，其特征在于，包括：
处理器，用于存储所述处理器可执行指令的存储器；
其中所述处理器用于调用所述存储器中存储的指令，使终端执行本发明实施例的任一方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当在终端上运行时，使得终端执行如权利要求1-8所述的任一方法。
本发明实施例提供的一种手语翻译的方法、终端以及存储介质，能够提升手语交流过程的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的手语翻译的场景结构示意图；
图2是本发明实施例提供的手语翻译方法的一种流程示意图；
图3是本发明实施例提供的手语翻译方法的另一种流程示意图；
图4是本发明实施例提供的手语翻译方法的另一种流程示意图；
图5是本发明实施例提供的手语翻译方法的另一种流程示意图；
图6是本发明实施例提供的手语翻译方法的另一种流程示意图；
图7是本发明实施例提供的手语翻译方法的另一种流程示意图；
图8是本发明实施例提供的终端界面操作的操作示意图；
图9是本发明实施例提供的终端结构框架示意图。
具体实施方式
本发明实施例公开描述的终端、方法以及存储介质的各种实施例，用于对交互过程中的手语以及语音进行翻译，以方便聋哑人与正常人之间的交流。
在下面的说明书以及图1-9中将描述一些细节，以便于本领域的技术人员了解本发明实施例的理解。在其他实例中，通常与本发明实施例的终端和/或装置，例如智能手机、移动电话、手持设备、消费电子设备、计算机硬件、软件以及网络系统等相关的已知结构、材质、操作和/或系统，将不再下面的实施例中详细描述，以避免不必要的模糊本技术的各个实施例的描述。然而，本领域技术人员应当知道，本技术能够在不包含本文所述的一个或多个细节的情况下得以实施，或者在具有其他结构、方法、组件等等情况得以实施。
以下使用的术语应当以它最宽泛合理的方式来解释，即便该术语与本技术实施例的某些示例的细节描述一起使用。事实上，某些术语可能甚至会在下文中被强调；然而，旨在以任何限制性方式解释的任何术语将在具体实施例部分被明确限定如此。
附图描述了本技术的实施例，但并不在于限制其保护范围。所描述的各种原件的尺寸不一定按照比例绘制，这些各种元件可能是任意放大的以提高其可识别性。当组件的细节对完整理解如何制作，并使用本发明是不必要的时候，附图中的这些细节可能是抽象的以排除这些细节，例如组件的位置以及这些组件之间的某些精确连接。
在附图中，相同的附图标记识别为相同的元件，或至少大体相似的元件。为了利于一些特殊元件的讨论，一些附图标记的最重要的一个或多个数字指的是该元件首次被引入附图的标号。
本发明实施例的“第一”、“第二”等术语，仅为区别相关技术特征，不表示先后顺序。
为了说明本发明实施例所述的技术方案，下面通过具体实施例来进行说明。
图1是本发明实施例的终端工作的一种场景示意图，本发明实施例提供的手语翻译方法应用于正常人与聋哑人之间的沟通。
本发明实施例的场景包括有第一用户，即使用手语进行交流的用户；以及第二用户，即通过语音进行交流的用户。一种示例性的方案是，第二用户通过终端来获取第一用户表达的手语信息，并将手语信息在终端本地或者是发送至云端，在云端进行转化成为语音信息，提供给第二用户。同时，第一用户也可以通过终端来获取第二用户的语音信息，然后将语音信息在终端本地或者发送至云端，在云端转化为手语信息，提供给第一用户。
本发明实施例的终端包括但不限于是智能手机、平板电脑、移动电话、手持设备、消费电子设备等电子装置。
如图2所示，是本发明实施例提供的一种手语翻译方法的一种流程示意图，具体内容如下所述：
210获取第一用户的第一手语信息，其中所述第一手语信息中包括第一手势动作以及所述第一手势动作的第一表达信息。
本发明实施例的第一用户为通过手语进行交流的用户，第一手语信息为终端获取的第一用户表达的信息，其中第一手语信息包括有第一手势动作以及第一手势动作的第一表达信息。第一手势动作，即第一用户通过身体(例如肢体)表现出来的动作，例如手或者手指等第一用户表现出来的动作(例如手指弯曲或者手掌张开等动作)；第一手势动作的第一表达信息为手势动作表现出来的情绪和/或情感信息，具体的包括但不限于是动作的节奏、幅度、快慢等信息。
一种示例性的实施方案是本发明实施例的终端包括有摄像装置，所述终端可以通过摄像装置拍摄图像或者视频。通过终端的摄像装置来拍摄第一用户在进行表达过程中的第一手语信息。
另一种示例性的实施方案是，通过设置在第一用户身上的动作捕捉传感器，来捕捉所述第一用户的第一手语信息。其中所述动作捕捉传感器将所述第一用户的第一手语信息通过网络发送至终端。
220将所述手势动作与手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息；并根据所述第一手势动作的第一表达信息，确定所述第一语音信息的第一语调；根据所述第一语调来调整第一语音信息的语调，并将调整语调后的第一语音信息提供给第二用户。
本发明实施例的终端将第一手语信息中的手势动作发送至云端，在云端将所述手势动作与手语数据库进行匹配，以确定所述手势动作对应的信息，并将所述手势动作对应的信息转化为第一语音信息；或者终端将第一手语信息中的手势动作与终端本地的手语数据库进行匹配，以确定所述手势动作对应的信息，并将所述手势动作对应的信息转化为第一语音信息。所述手语数据库为手语与语音对应关系的数据库，例如各个手势动作对应的词或者是手语表达对应的句子等。
根据所述第一手势动作的第一表达信息，具体的，根据第一手势动作的节奏、幅度、快慢等信息，确定所述第一语音信息中对应的词的第一语调，其中所述语调为语音的高低、快慢、长短、轻重中的一种或者几种组合。例如，当第一用户的第一手语信息中的手势动作表现的幅度比较大，对应的第一语音的词的音调也比较高；如果是第一手语信息中手势动作的节奏比较快，对应的第一语音信息中的词的语速也比较快等。
根据所述第一语调来对应调整相对应的第一语音信息的语调，并将最终确定的第一语音信息提供给第二用户。具体的，可以是通过终端的麦克将所述第一语音消息放给第二用户或者是将第一语音消息发送给所述第二用户的终端上。
230获取第二用户的第二语音信息，其中所述第二语音信息中包括有语音信号以及第二语调。
本发明实施例的第二用户为通过语音进行交流的用户。第二用户发出的语音消息为第二语音消息，其中所述第二语音消息中包括有语音信号以及第二语调。所述语音信号为所述终端接收到的第二用户在表达第二语音消息时获取到的信号，第二语调为第二语音消息对应的语音的高低、快慢、长短、轻重中的一种或者几种组合。
240将所述语音信号与语音数据库进行匹配，以将所述第二语音信息翻译成为第二手语信息的第二手势动作；根据所述第二语音信息中的第二语调来确定所述第二手语信息中的第二手势动作的第二表达信息；根据所述第二表达信息来调整第二手语信息中手势动作的表达形式，并将调整表达后的第二手语信息提供给第一用户。
本发明实施例的语音数据库为语音与对应的手语动作对应关系的数据库。终端将第二语音消息中的语音信号与对应的语音数据库进行匹配，确定语音对应的手势动作；或者终端将第二语音消息发送至云端，通过云端的语音数据库进行匹配，确定所述语音对应的手势动作，以将第二语音消息转化为第二手语信息。其中第二手语信息为通过手语画面展现出来的信息，具体可以通过手语图像或者是手语动画展现出来的信息。
同时根据第二语调，来确定相对应的手势动作对应的第二表达信息，其中第二表达信息包括但不限于是所述手势动作对应的节奏、幅度、快慢等。例如，当第二语音消息中的一个句子的表达语速比较快时，对应的语音的语速也比较快；类似的，当第二语音消息中的第一个词的音量比较高，对应的手语动作的幅度也比较大。
根据第二语音消息中的第二语调，来对应调整对应的第二手语信息中的对应手势动作的第二表达信息。并将最终确定的第二手语信息提供给第一用户，具体的可以发送给第一用户或者是直接在终端显示屏幕上显示第二手语信息。
如图3所示，是本发明实施例提供的手语翻译方法的另一种流程示意图，具体实施方案如下所述：
310获取终端当前的场景信息，并根据当前的场景信息确定所述第一用户以及第二用户的交互场景。
为保证在翻译过程中的用词更加符合当前的交互场景，提前通过终端来确定所述第一用户以及第二用户的交互场景。
一种示例性的实施方案是，通过终端当前的位置来确定交互场景。如图4所示，具体实施方案如下所述：
410获取终端当前的位置信息。
通过终端GPS(全球定位系统)或者是终端当前连接的网络(WiFi网络)等，可以确定终端当前的位置。
420根据所述终端当前的位置信息，来确定所述第一用户以及第二用户的交互场景。
根据终端当前的位置，可以确定第一用户以及第二用户的交互场景，例如当前的位置在商场时，则第一用户以及第二用户的交互很可能是跟购物相关；当前的位置是在旅游景点，则第一用户以及第二用户的交互很可能跟旅游(跟当前的景点)相关。
另一种示例性的实施方案是，通过获取第一用户或者第二用户中至少一个的身份信息，来确定相对应的交互场景。
510获取第一用户以及第二用户中至少一个的身份信息。
具体的，可以根据第一用户或者是第二用户注册的信息，例如在注册本发明实施例的手语翻译方法对应的软件时提供的注册信息。或者是通过第一用户或者第二用户在交互过程中的用词来表示出来的身份信息，例如称呼中包括有“老师”则很可能是师生关系。
520根据所述第一用户以及第二用户中至少一个的身份信息，确定所述第一用户以及第二用户的交互场景。
根据第一用户以及第二用户中至少一个的身份信息，可以对应的确定所述第一用户以及第二用户的交互场景。
320获取第一用户的第一手语信息，其中所述第一手语信息中包括第一手势动作以及所述第一手势动作的第一表达信息。
330根据所述交互场景，确定所述交互场景下对应的手语数据库；将所述手势动作与所述交互场景下对应的手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息；并根据所述第一手势动作的第一表达信息，确定所述第一语音信息的第一语调；根据所述第一语调来调整第一语音信息的语调，并将调整语调后的第一语音信息提供给第二用户。
本发明实施例可以预先建立不同场景下对应的手语数据库，例如开会场景下的手语数据库、旅游场景下的手语数据库等等。根据不同的场景来调用不同的手语数据库，来针对性的对第一手语信息进行转化。通过这种方式，可以更准确的将第一用户的手语信息通过第一语音来表达出来。其他为描述部分，参见图2所述的技术内容，在此不再赘述。
340获取第二用户的第二语音信息，其中所述第二语音信息中包括有语音信号以及第二语调。
350根据所述交互场景，确定所述交互场景下对应的语音数据库；将所述述语音信号与所述交互场景下对应的语音数据库进行匹配，以将所述第二语音信息翻译成为第二手语信息的第二手势动作；根据所述第二语音信息中的第二语调来确定所述第二手语信息中的第二手势动作的第二表达信息；根据所述第二表达信息来调整第二手语信息中手势动作的表达形式，并将调整表达后的第二手语信息提供给第一用户。
本发明实施例可以预先建立不同场景下对应的语音数据库，例如开会场景下的手语数据库、旅游场景下的语音数据库等等。根据不同的场景来调用不同的语音数据库，来针对性的对第二语音信息进行转化为第二手语信息。通过这种方式，可以更准确的将第二用户的语音信息通过第二手语来表达出来。其他为描述部分，参见图2所述的技术内容，在此不再赘述。
本发明实施例的方案，还可以将第一用户的第一手语信息先翻译成为文字信息，然后再将文字信息翻译成为语音信息。如图6所示，具体实施方案如下所述：
610将所述手势动作与所述场景对应的手语数据库进行匹配。
620根据匹配结果，所述第一手语信息翻译成为对应的文本信息，其中所述文字信息包括有至少两个可能性最高的可选文本信息。
在手势动作与对应的文本进行匹配的过程中，一个手势动作可能会对应到多个词，一部分的词在表达的过程中，可能不能够完整或者准确的表达第一用户的信息。因此，将与第一手语信息中的手势动作对应的多个词或者句子，特别是可能性最高的词或者句子，显示在终端的显示屏幕上。如图8所示的，显示有第一手语信息对应的两个可能的文本信息。
630检测第一用户针对所述可选文本信息的选择操作，将第一用户选择的可选文本信息翻译成为第一语音信息。
第一用户可以对显示的文本信息进行选择操作，具体的操作包括但不限于是对触控屏的点击、滑动、双击、长按等等操作中的一种或者多种。终端将所述第一用户选择的文本信息翻译成为对应的第一语音信息，以提供给第二用户。
进一步的，终端还可以将所述用户选择的可选文本信息以及第一手语信息发送至服务器，以更新所述第一数据库的匹配关系。通过这种逐步更新的方案，可以提高后续翻译的准确性。
710获取终端当前的场景信息，并根据当前的场景信息确定所述第一用户以及第二用户的交互场景。
721获取第一用户的第一手语信息，其中所述第一手语信息中包括第一手势动作以及所述第一手势动作的第一表达信息。
731在获取第一用户的第一手语信息时，停止获取所述第二用户的第二语音信息。
当终端捕捉到第一用户正在表达第一手语信息时，这个时候，可以停止用户获取第二语音信息，例如关闭终端的麦克，可以节省终端的功耗。
741将所述手势动作与手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息；并根据所述第一手势动作的第一表达信息，确定所述第一语音信息的第一语调；根据所述第一语调来调整第一语音信息的语调，并将调整语调后的第一语音信息提供给第二用户。
或者
722获取第二用户的第二语音信息，其中所述第二语音信息中包括有语音信号以及第二语调。
732在获取述第二用户的第二语音信息时，停止获取第一用户的第一手语信息。
当终端捕捉到第二用户在说话(即发出第二语音消息的时候)，停止通过摄像头或者是动作捕捉传感器来获取第一用户的手语信息，例如关闭摄像头，来降低终端的功耗。
742将所述语音信号与语音数据库进行匹配，以将所述第二语音信息翻译成为第二手语信息的第二手势动作；根据所述第二语音信息中的第二语调来确定所述第二手语信息中的第二手势动作的第二表达信息；根据所述第二表达信息来调整第二手语信息中手势动作的表达形式，并将调整表达后的第二手语信息提供给第一用户。
其它未描述部分，参见图2所述的技术内容，在此不再赘述。
本发明实施例还提供了一种终端，其中所述终端包括处理器以及用于存储所述处理器可执行指令的存储器；其中所述处理器用于调用所述存储器中存储的指令，使终端执行上述实施例所述的任一方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当在终端上运行时，使终端执行上述实施例所述的任一方法。
图为实施本技术的一种终端100的结构框架示意图。该终端100可以包括但不限于是移动电话、智能手机、便携式电子设备、平板电脑、MP3、MP4、笔记本、超极本、个人数字助理(PDA)、音乐播放器、机顶盒、遥控器、电子书、智能可穿戴设备(例如智能眼镜、智能手表等)等电子设备。
本发明实施例的终端100可以包括有图1所示的所有部件或者装置，也可以缺少其中一部分的部件或者装置。如图1所示，终端100可以包括有处理器910、GPS(全球定位系统)920，电源装,9300、输入装置940、输出装置950、存储器960、通信组件970。
处理器910可以包括一个或多个处理器，例如处理器910可以包括一个或多个中央处理器，或者包括一个中央处理器和一个图形处理器。当处理器910包括多个处理器时，这多个处理器可以集成在同一块芯片上，也可以是各自为独立的芯片。一个处理器可以包括一个或者多个处理核。
GPS 920通过定位卫星，来确定终端当前的位置。
电源装置930为终端提供电能，可以为电池或者连接到电源网络的插头等装置。
输入装置940可以对终端输入信息，具体的可以包括但不限于是摄像头941，用于拍摄图像和/或视频，并且将拍摄到的图像和/或视频输入给所述终端100；触控板942来输入相应的指令，例如可以是输入相应的字符、图标等操作；其他输入装置，例如麦克、扫描组件等，在此不再赘述。
输出装置950用来输出终端的信号，例如耳机951可以用来输出语音消息；显示屏952可以用来输出对应的图像信息。
存储器960存储计算机程序，该计算机程序包括操作系统程序9622，应用程序9621等。处理器910用于读取存储器960中的计算机程序，然后执行计算机程序定义的方法，例如处理器910读取操作系统程序9622从而在终端上运行操作系统以实现操作系统的各种功能，或读取一种或多种应用程序9621从而在终端上运行应用。
存储器960还存储有除计算机程序之外的其他数据9623，其他数据9623可以包括操作系统9622或应用程序9621被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据，例如，进程运行时产生的数据。
存储器960一般包括内存961和外存962。内存961可以为随机存储器(RAM)，只读存储器(ROM)，以及高速缓存(CACHE)等。本发明实施例的存储空间可以包括闪存(flash)、硬盘、光盘、USB盘、软盘或磁带机等。计算机程序通常被存储在外存962上，处理器960在执行处理前会将计算机程序从外存加载到内存961。
通信组件970用于使终端与待检测终端建立通信连接，具体的通信组件可以包括有天线，用于与待检测终端建立无线连接，具体的可以包括但不限于是WiFi(WirelessFidelity，基于IEEE 802.11b标准的无线局域网)、蓝牙(Bluetooth)、NFC(Near FieldCommunication)、3G、4G或者5G等运营商网络连接等。通信组件970可以包括有天线971，用来发射射频信号；USB接口，用来连接数据线。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例是示意性的，例如，所述模块或单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种手语翻译的方法，其特征在于，所述方法包括：
获取第一用户的第一手语信息，其中所述第一手语信息中包括第一手势动作以及所述第一手势动作的第一表达信息；
将所述手势动作与手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息；并根据所述第一手势动作的第一表达信息，确定所述第一语音信息的第一语调；根据所述第一语调来调整第一语音信息的语调，并将调整语调后的第一语音信息提供给第二用户；
获取第二用户的第二语音信息，其中所述第二语音信息中包括有语音信号以及第二语调；
将所述语音信号与语音数据库进行匹配，以将所述第二语音信息翻译成为第二手语信息的第二手势动作；根据所述第二语音信息中的第二语调来确定所述第二手语信息中的第二手势动作的第二表达信息；根据所述第二表达信息来调整第二手语信息中手势动作的表达形式，并将调整表达后的第二手语信息提供给第一用户。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取终端当前的场景信息，并根据当前的场景信息确定所述第一用户以及第二用户的交互场景；
所述将所述手势动作与手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息包括：
根据所述交互场景，确定所述交互场景下对应的手语数据库；
将所述手势动作与所述交互场景下对应的手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息；
所述将所述语音信号与语音数据库进行匹配，以将所述第二语音信息翻译成为第二手语信息的第二手势动作包括：
根据所述交互场景，确定所述交互场景下对应的语音数据库；
将所述述语音信号与所述交互场景下对应的语音数据库进行匹配，以将所述第二语音信息翻译成为第二手语信息的第二手势动作。
3.如权利要求2所述的方法，其特征在于，所述获取终端当前的场景信息，并根据当前的场景信息确定所述第一用户以及第二用户的交互场景包括：
获取终端当前的位置信息；
根据所述终端当前的位置信息，来确定所述第一用户以及第二用户的交互场景。
4.如权利要求2所述的方法，其特征在于，所述获取终端当前的场景信息，并根据当前的场景信息确定所述第一用户以及第二用户的交互场景包括：
获取第一用户以及第二用户中至少一个的身份信息；
根据所述第一用户以及第二用户中至少一个的身份信息，确定所述第一用户以及第二用户的交互场景。
5.如权利要求1所述的方法，其特征在于，所述语调为语音的高低、快慢、长短、轻重中的一种或者几种组合。
6.如权利要求2所述的方法，其特征在于，所述将所述手势动作与手语数据库进行匹配，以将所述第一手语信息翻译成为第一语音信息包括：
将所述手势动作与所述场景对应的手语数据库进行匹配；
根据匹配结果，所述第一手语信息翻译成为对应的文本信息，其中所述文字信息包括有至少两个可能性最高的可选文本信息；
检测第一用户针对所述可选文本信息的选择操作，将第一用户选择的可选文本信息翻译成为第一语音信息。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
将所述用户选择的可选文本信息以及第一手语信息发送至服务器，以更新所述第一数据库的匹配关系。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
在获取第一用户的第一手语信息时，停止获取所述第二用户的第二语音信息；
或者在获取述第二用户的第二语音信息时，停止获取第一用户的第一手语信息。
9.一种终端，其特征在于，包括：
处理器，用于存储所述处理器可执行指令的存储器；
其中所述处理器用于调用所述存储器中存储的指令，使终端执行如权利要求1-8所述的任一方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当在终端上运行时，使得终端执行如权利要求1-8所述的任一方法。
CN201810395927.8A 2018-05-31 2018-05-31 一种手语翻译的方法、终端以及存储介质 Pending CN110555329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810395927.8A CN110555329A (zh) 2018-05-31 2018-05-31 一种手语翻译的方法、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810395927.8A CN110555329A (zh) 2018-05-31 2018-05-31 一种手语翻译的方法、终端以及存储介质

Publications (1)

Publication Number Publication Date
CN110555329A true CN110555329A (zh) 2019-12-10

Family

ID=68733622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810395927.8A Pending CN110555329A (zh) 2018-05-31 2018-05-31 一种手语翻译的方法、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN110555329A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668463A (zh) * 2020-12-25 2021-04-16 株洲手之声信息科技有限公司 一种基于场景识别的中文手语翻译方法及系统
CN113220912A (zh) * 2021-04-07 2021-08-06 深圳市宝尔爱迪科技有限公司 一种交互辅助方法、装置及计算机可读存储介质
CN113780013A (zh) * 2021-07-30 2021-12-10 阿里巴巴（中国）有限公司 一种翻译方法、设备和可读介质
CN113851029A (zh) * 2021-07-30 2021-12-28 阿里巴巴达摩院(杭州)科技有限公司 一种无障碍通信方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984496A (zh) * 2012-12-21 2013-03-20 华为技术有限公司 视频会议中的视音频信息的处理方法、装置及系统
CN105118356A (zh) * 2015-09-28 2015-12-02 王超 一种手语语音转换方法及装置
CN105868282A (zh) * 2016-03-23 2016-08-17 乐视致新电子科技（天津）有限公司 聋哑人进行信息交流的方法、装置及智能终端
KR20160109708A (ko) * 2015-03-12 2016-09-21 주식회사 디지털스케치 수화 번역기, 시스템 및 방법
CN107146622A (zh) * 2017-06-16 2017-09-08 合肥美的智能科技有限公司 冰箱、语音交互系统、方法、计算机设备、可读存储介质
CN107704530A (zh) * 2017-09-19 2018-02-16 百度在线网络技术（北京）有限公司 语音设备交互方法、装置及设备
CN107832286A (zh) * 2017-09-11 2018-03-23 远光软件股份有限公司 智能交互方法、设备及存储介质
CN107846516A (zh) * 2017-11-10 2018-03-27 维沃移动通信有限公司 一种通话场景提示方法及移动终端
CN108062212A (zh) * 2016-11-08 2018-05-22 沈阳美行科技有限公司 一种基于场景的语音操作方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984496A (zh) * 2012-12-21 2013-03-20 华为技术有限公司 视频会议中的视音频信息的处理方法、装置及系统
KR20160109708A (ko) * 2015-03-12 2016-09-21 주식회사 디지털스케치 수화 번역기, 시스템 및 방법
CN105118356A (zh) * 2015-09-28 2015-12-02 王超 一种手语语音转换方法及装置
CN105868282A (zh) * 2016-03-23 2016-08-17 乐视致新电子科技（天津）有限公司 聋哑人进行信息交流的方法、装置及智能终端
CN108062212A (zh) * 2016-11-08 2018-05-22 沈阳美行科技有限公司 一种基于场景的语音操作方法及装置
CN107146622A (zh) * 2017-06-16 2017-09-08 合肥美的智能科技有限公司 冰箱、语音交互系统、方法、计算机设备、可读存储介质
CN107832286A (zh) * 2017-09-11 2018-03-23 远光软件股份有限公司 智能交互方法、设备及存储介质
CN107704530A (zh) * 2017-09-19 2018-02-16 百度在线网络技术（北京）有限公司 语音设备交互方法、装置及设备
CN107846516A (zh) * 2017-11-10 2018-03-27 维沃移动通信有限公司 一种通话场景提示方法及移动终端

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668463A (zh) * 2020-12-25 2021-04-16 株洲手之声信息科技有限公司 一种基于场景识别的中文手语翻译方法及系统
CN112668463B (zh) * 2020-12-25 2022-12-02 株洲手之声信息科技有限公司 一种基于场景识别的中文手语翻译方法及系统
CN113220912A (zh) * 2021-04-07 2021-08-06 深圳市宝尔爱迪科技有限公司 一种交互辅助方法、装置及计算机可读存储介质
CN113780013A (zh) * 2021-07-30 2021-12-10 阿里巴巴（中国）有限公司 一种翻译方法、设备和可读介质
CN113851029A (zh) * 2021-07-30 2021-12-28 阿里巴巴达摩院(杭州)科技有限公司 一种无障碍通信方法和装置
CN113851029B (zh) * 2021-07-30 2023-09-05 阿里巴巴达摩院(杭州)科技有限公司 一种无障碍通信方法和装置

Similar Documents

Publication Publication Date Title
CN110288077B (zh) 一种基于人工智能的合成说话表情的方法和相关装置
US9613618B2 (en) Apparatus and method for recognizing voice and text
CN108496220B (zh) 电子设备及其语音识别方法
JP2021515322A (ja) 翻訳モデルのトレーニング方法、語句翻訳の方法、機器、記憶媒体及びコンピュータプログラム
CN112331193B (zh) 语音交互方法及相关装置
CN112154431B (zh) 一种人机交互的方法及电子设备
US20220214894A1 (en) Command execution method, apparatus, and device
CN110263131B (zh) 回复信息生成方法、装置及存储介质
CN111564152B (zh) 语音转换方法、装置、电子设备及存储介质
CN110555329A (zh) 一种手语翻译的方法、终端以及存储介质
CN111967224A (zh) 对话文本的处理方法、装置、电子设备及存储介质
CN110931000B (zh) 语音识别的方法和装置
CN106203235B (zh) 活体鉴别方法和装置
CN113168227A (zh) 执行电子装置的功能的方法以及使用该方法的电子装置
US11537360B2 (en) System for processing user utterance and control method of same
CN111524501A (zh) 语音播放方法、装置、计算机设备及计算机可读存储介质
CN108922531B (zh) 槽位识别方法、装置、电子设备及存储介质
CN112116904B (zh) 语音转换方法、装置、设备及存储介质
CN111160047A (zh) 一种数据处理方法、装置和用于数据处理的装置
CN110827825A (zh) 语音识别文本的标点预测方法、系统、终端及存储介质
WO2021088790A1 (zh) 用于目标设备的显示样式调整方法和装置
CN111739517A (zh) 语音识别方法、装置、计算机设备及介质
CN111339737A (zh) 实体链接方法、装置、设备及存储介质
CN113836946A (zh) 训练评分模型的方法、装置、终端及存储介质
WO2023000891A1 (zh) 一种数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication