CN114580448B - 一种手语翻译方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种手语翻译方法、装置、电子设备及存储介质，涉及人工智能领域，具体涉及深度学习、智能客服等领域。具体实现方案为：获取目标源句子的精炼需求信息；根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度。本公开能够提高手语翻译的灵活性。

Description

一种手语翻译方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能领域，具体涉及深度学习、智能客服等领域，具体公开了一种手语翻译方法、装置、电子设备及存储介质。

背景技术

手语(sign language)是用手势比量动作，根据手势的变化模拟形象或者音节以构成的一定意思或词语。手语根据听障人士的交际需要产生，已经成为听障人士交际和交流思想的一种手的语言，它是“有声语言的重要辅助工具”，而对于听障人士来说，它则是主要的交际工具。

手语翻译用于将口语翻译成手语。如何进行手语翻译是业内重要问题。

发明内容

本公开提供了一种手语翻译方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种手语翻译方法，该方法包括：

获取目标源句子的精炼需求信息；

根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度。

根据本公开的一方面，提供了一种手语翻译装置，该装置包括：

精炼需求模块，用于获取目标源句子的精炼需求信息；

手语翻译模块，用于根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的手语翻译方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的手语翻译方法。

根据本公开的技术，提高了手语翻译的灵活性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种手语翻译方法的流程图；

图2a是根据本公开实施例提供的另一种手语翻译方法的流程图；

图2b是根据本公开实施例提供的一种手语翻译过程的示意图；

图2c是相关技术中提供的一种手语翻译过程的示意图；

图3a是根据本公开实施例提供的又一种手语翻译方法的流程图；

图3b是根据本公开实施例提供的一种手语翻译模型的网络结构示意图；

图4是根据本公开实施例提供的又一种手语翻译方法的流程图；

图5是根据本公开实施例提供的又一种手语翻译方法的流程图；

图6是根据本公开实施例提供的一种手语翻译装置的结构示意图；

图7是用来实现本公开实施例的手语翻译方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开实施例提供的一种手语翻译方法的流程图，本公开实施例适用于将自然语言中的源句子翻译成手语句子的情况。该方法可以由手语翻译装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载手语翻译功能的电子设备中。如图1所示，本实施例的手语翻译方法可以包括：

S101，获取目标源句子的精炼需求信息；

S102，根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度。

在本公开实施例中，源句子为自然语言交互过程中使用的句子。手语句子为由手语词组成的手语词序列，每个手语词关联有至少一个手语动作，可采用手语词关联的手语动作，将手语句子转换为手语手势。手语句子与源句子可属于相同语种。本公开实施例对源句子、手语句子所属的自然语言语种不做具体限定，例如可为中文、英文等使用范围较广的通用语种，也可为蒙古语、藏语等使用范围较少的小语种。以源句子为中文为例，手语句子可为中文手语词组成的手语词序列。目标源句子为待翻译源句子，目标手语句子为待翻译源句子的手语翻译结果。

其中，精炼需求信息为手语翻译过程中需要的精炼程度描述信息，精炼程度用于表征目标手语句子对目标源句子的提炼、浓缩程度，可根据目标手语句子的第一句子长度和目标源句子的第二句子长度确定，例如可将第一句子长度占第二句子长度的比例值作为精炼程度。

在本公开实施例中，手语翻译可支持不同精炼程度。可选的，支持预设的精炼程度区间，即提供预设的精炼程度区间供翻译需求方使用。具体的，翻译需求方可从预设的精炼程度区间中选择需要的目标精炼程度，并生成包括目标精炼程度的精炼需求信息。

具体的，翻译需求方可提供多条源句子，采用精炼程度区间中的不同精炼程度分别对多条源句子进行手语翻译得到手语翻译结果，供翻译需求方根据不同精炼程度对应的手语翻译结果选择目标精炼程度。目标精炼程度还可支持灵活地设置、调控。在翻译过程中，翻译需求方可更新精炼程度，且根据新的精炼程度生成新的精炼需求信息。

在一种可选实施方式中，所述精炼需求信息根据手语翻译场景确定。手语翻译场景可为线上场景或离线场景，线上场景的精炼程度可高于离线场景的精炼程度。线上场景对手语翻译的实时性要求较高，通过提高精炼程度，能够减少手语句子长度，从而提高手语翻译效率。

具体的，翻译需求方确定目标精炼程度，根据目标精炼程度生成精炼需求信息。手语翻译模块获取待翻译的目标源句子，并获取精炼需求信息，且采用与精炼需求信息中目标精炼程度匹配的目标翻译策略对目标源句子进行手语翻译，得到目标手语句子。其中，目标手语句子用于生成手势动作，可通过数字人展示目标手语句子中手语词所关联的手势动作。通过根据翻译需求方的精炼需求信息对目标源句子进行手语翻译，实现了精炼程度可控的手语翻译，能够满足翻译需求方对精炼程度的个性化需求，提高手语翻译的灵活性。

本公开实施例提供的技术方案，通过获取目标源句子的精炼需求信息，根据精炼需求信息选择翻译策略，并采用选择的翻译策略对目标源句子进行手语翻译，实现了精炼程度可控的手语翻译，提高了手语翻译的灵活性。

图2a是根据本公开实施例提供的另一种手语翻译方法的流程图；本实施例是在上述实施例的基础上提出的一种可选方案，可基于手语翻译模型进行手语翻译。参见图2a，本实施例提供的手语翻译方法包括：

S201，获取目标源句子的精炼需求信息；

S202，基于备选精炼等级和备选精炼控制码之间的关联关系，根据所述精炼需求信息中的目标精炼等级确定目标精炼控制码；

S203，将所述目标精炼控制码和所述目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度。

在本公开实施例中，手语翻译模型可支持至少两个备选精炼等级，各备选精炼等级的精炼程度不同，例如可根据精度程度由低到高，依次提供多个备选精炼等级，对备选精炼等级的数量不做具体限定。其中，备选精炼控制码可为备选精炼等级的ID（Identitydocument，标识号）序列化结果，用于对备选精炼等级进行唯一性标识，例如可将备选精炼等级的等级编号作为关联的备选精炼控制码。

其中，手语翻译模型可以基于神经网络训练得到，备选精炼等级、以及备选精炼等级和备选精炼控制码之间的关联关系可通过对手语翻译模型进行模型训练和模型测试得到。在本公开实施例中，可从精炼需求信息中提取目标精炼等级，将目标精炼等级，与备选精炼等级和备选精炼控制码之间的关联关系进行匹配，选择与目标精炼等级关联的备选精炼控制码作为目标精炼控制码。

图2b是根据本公开实施例提供的一种手语翻译过程的示意图，参考图2b，将目标精炼控制码和目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子。其中，手语翻译模型为基于神经网络实现的精炼程度可控的手语翻译模型。由于手语翻译模型的目标精炼等级灵活可控，即该手语翻译模型为支持不同备选精炼等级的通用手语翻译模型，相比于为各备选精炼等级分别训练专用手语翻译模型，通用手语翻译模型能够学习多种备选精炼等级的数据，增强了模型的泛化能力，还能够节约算力、节约存储空间等系统资源。并且，该手语翻译模型为端到端的翻译模型，相比于相关技术中包括压缩模块和翻译模块的多阶段翻译模型（参考图2c），还能够避免新增阶段引入新误差，导致翻译结果可懂度降低等问题，即端到端的网络模型还能够提高手语翻译结果的可懂度。

本公开实施例提供的技术方案，基于神经网络实现了精炼程度可控的通用手语翻译模型，能够节约资源。并且，端到端的手语翻译模型还能够提高手语翻译结果的可懂度，即实现了兼顾精炼程度和可懂度的手语翻译。

图3a是根据本公开实施例提供的又一种手语翻译方法的流程图；本实施例是在上述实施例的基础上提出的一种可选方案。参见图3a，本实施例提供的手语翻译方法包括：

S301，训练手语翻译模型；

S302，获取目标源句子的精炼需求信息；

S303，基于备选精炼等级和备选精炼控制码之间的关联关系，根据所述精炼需求信息中的目标精炼等级确定目标精炼控制码；

S304，将所述目标精炼控制码和所述目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度；手语翻译模型的确定可包括：根据训练句子对中的训练源句子和训练手语句子，从至少两个可选精炼控制码中选择所述训练句子对所属的可选精炼控制码；其中，所述至少两个可选精炼控制码根据至少两个训练句子对确定；将所述训练源句子和所属的可选精炼控制码输入待训练的手语翻译模型，得到输出的中间手语句子；根据所述中间手语句子和所述训练手语句子，对所述手语翻译模型中待训练的网络参数进行更新。

在本公开实施例中，训练句子对中包括训练源句子和训练手语句子，训练句子对可通过数据标注得到，数据标注符合自然手语规则和手语精炼规则。自然手语规则用于使标注的训练手语句子符合自然手语语序特征，例如手语中动词、否定词后置等手语语序特征；手语精炼规则用于对训练源句子的修饰成分进行精简，保留训练源句子的主要语义，使得训练手语句子精炼但不影响语义传达。具体的，可通过包括手语老师和听障人士的手语实际使用者进行标注，得到兼顾手语语序特征，且覆盖不同精炼程度的训练手语句子。

在本公开实施例中，可通过对至少两个训练句子对中的训练源句子和训练手语句子进行分析，得到至少两个可选精炼控制码。可选精炼控制码用于对手语翻译模型进行训练，而备选精炼控制码用于采用经训练的手语翻译模型进行手语预测。后续可通过对经训练的手语翻译模型进行测试评估，并根据测试评估结果从可选精炼控制码中筛选得到备选精炼控制码，即备选精炼控制码集合属于可选精炼控制码集合的子集。

针对任一训练句子对，可根据该训练句子对中的训练源句子和训练手语句子，确定该训练句子对所属的可选精炼控制码。并且，该训练句子对中的训练源句子和该训练句子对所属的可选精炼控制码输入待训练的手语翻译模型，得到输出的中间手语句子，并根据中间手语句子和该训练句子对中的训练手语句子构建损失函数，基于损失函数对手语翻译模型中待训练的网络参数进行更新。采用训练句子对进行模型训练，得到了基于神经网络的精炼程度可控的手语翻译模型，能够兼顾后续手语翻译的精炼程度和可懂度。

参考图3b，手语翻译模型可以包括输入层、编码层、解码层和输出层。在模型训练过程中，可根据训练句子对中的训练源句子和训练手语句子确定训练句子对的可选精炼控制码，将训练源句子和可选精炼控制码输入输入层。可选的，将可选精炼控制码拼接到训练源句子处理结果的固定位置，例如拼接到首部得到拼接数据。通过输入层对拼接数据做Embedding（嵌入式）得到嵌入表示。编码器和解码器基于注意力机制，对嵌入表示进行语义的抽取和表征。手语翻译模型中的编码器或解码器可级联多层。输出层对解码结果计算概率分布，并根据计算的概率分布得到中间手语句子。本公开实施例对手语翻译模型的网络结构不做具体限定，例如可以基于Transformer（变形模型）的网络结构实现。

本公开实施例提供的技术方案，基于神经网络训练得到精炼程度可调控的手语翻译模型，使手语翻译模型能够兼顾精炼程度和手语的可懂度，提高了手语翻译质量。

在一种可选实施方式中，所述可选精炼控制码的确定包括：分别确定至少两个训练句子对的字符数压缩比和手语词数压缩比；对所述字符数压缩比进行聚类得到至少两个可选字符压缩区间，并对所述手语词数压缩比进行聚类，得到至少两个可选手语压缩区间；对所述可选字符压缩区间和所述可选手语压缩区间进行组合得到区间组合，并根据所述区间组合中所述可选字符压缩区间的第一区间编号和所述可选手语压缩区间的第二区间编号生成所述可选精炼控制码。

在本公开实施例中，字符数压缩比和手语词数压缩比均用于表征手语的精炼程度。其中，字符数压缩比从手语翻译模型可识别的字符角度表征手语的精炼程度，即从模型层面表征手语的精炼程度；手语词数压缩比从语义角度表征手语的精炼程度，即从手语应用层面表征手语的精炼程度。

具体的，根据各训练句子对中的训练源句子和训练手语句子，分别确定各训练句子对的字符数压缩比和手语词数压缩比。对各字符数压缩比进行聚类得到至少两个可选字符压缩区间，对各手语词数压缩比进行聚类得到至少两个可选手语压缩区间；并且，对各可选字符压缩区间和各可选手语压缩区间进行组合得到区间组合，每个区间组合中可包括一个可选字符压缩区间和一个可选手语词数压缩区间。针对每一区间组合，可将该区间组合中可选字符压缩区间的第一区间编号和可选手语压缩区间的第二区间编号进行拼接，得到可选精炼控制码。若任一区间组合包括第i个可选字符压缩区间和第j个可选手语压缩区间，则该区间组合对应的可选精炼控制码为ij。也就是说，可选精炼控制码的数量与区间组合的数量相同，均等于可选字符压缩区间的第一区间数量和可选手语压缩区间的第二区间数量之积。

本公开实施例对可选字符压缩区间和可选手语压缩区间的区间数量、区间取值范围不做具体限定。参考下表，以5个可选字符压缩区间和5个可选手语压缩区间，相同区间编号的可选字符压缩区间和可选手语压缩区间的取值范围相同为例，可得到25种区间组合，即得到25种可选精炼控制码。通过引入字符数压缩比和手语词数压缩比表征手语的精炼程度，并根据训练句子对的字符数压缩比和手语词数压缩比构建可选精炼控制码，便于在手语翻译模型中引入精炼程度，为实现基于神经网络的精炼程度可调控的手语翻译模型奠定基础。

在一种可选实施方式中，所述分别确定至少两个训练句子对的字符数压缩比和手语词数压缩比，包括：分别对所述训练句子对中的训练源句子和训练手语句子进行字符化，得到所述训练源句子中的训练源字符和所述训练手语句子中的训练手语字符；对所述训练手语句子进行手语词检测，得到所述训练手语句子中的手语词；对所述训练源句子进行分词，得到所述训练源句子中的源词语；将所述训练手语字符的数量与所述训练源字符的数量之间的第一比例值，作为所述训练句子对的字符数压缩比；将所述手语词的数量与所述源词语的数量之间的第二比例值，作为所述训练句子对的手语词数压缩比。

其中，训练源字符、训练手语字符均为具有语义的字符元素（token），可通过分别对训练源句子和训练手语句子进行字符化（tokenization）得到，字符化可为分字、分词或词条（word piece）。单个手语词关联有至少一个手势动作，源词语为自然语言语种中的词语，属于自然语言语种的词表。以中文为例，源词语可以为中文字、中文词或中文词条。

具体的，可分别对训练句子对中的训练源句子和训练手语句子进行字符化，得到训练源句子中的训练源字符，训练手语句子中的训练手语字符。还可确定训练源句子中的源词语，训练手语句子中的手语词。并且，可通过如下公式，确定训练句子对的字符数压缩比和手语词数压缩比：

字符数压缩比=训练手语句子中训练手语字符的数量/训练源句子中训练源字符的数量；

手语词数压缩比=训练手语句子中手语词的数量/训练源句子中源词语的数量。

通过引入面向模型的字符数压缩比和面向应用的手语数压缩比表征手语的精炼程度，使得手语翻译模型可从模型层面和应用层面分别引入精炼程度，从而手语翻译模型能够学习模型层面和应用层面的精炼程度数据，增强了手语翻译模型的泛化能力。

图4是根据本公开实施例提供的又一种手语翻译方法的流程图；本实施例是在上述实施例的基础上提出的一种可选方案。参见图4，本实施例提供的手语翻译方法包括：

S401、对经训练的手语翻译模型进行模型测试，得到备选精炼等级和备选精炼控制码之间的关联关系；

S402、获取目标源句子的精炼需求信息；

S403，基于备选精炼等级和备选精炼控制码之间的关联关系，根据所述精炼需求信息中的目标精炼等级确定目标精炼控制码；

S404，将所述目标精炼控制码和所述目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度；关联关系的确定可包括：将可选精炼控制码和测试源句子输入经训练的手语翻译模型，得到模型输出的测试手语句子；其中，所述可选精炼控制码根据至少两个训练句子对确定；根据所述测试源句子和所述测试手语句子对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码；从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

在本公开实施例中，可根据至少两个训练句子对中的训练源句子和训练手语句子，分别确定各训练句子对的字符数压缩比和手语词数压缩比；并根据各训练句子对的字符数压缩比和手语数压缩比确定可选精炼控制码。其中，可选精炼控制码的数量可以为M，M为自然数。对可选精炼控制码的确定过程不再赘述。

在本公开实施例中，可提供有K个测试源句子，K为自然数。具体的，针对每一可选精炼控制码，可将该可选精炼控制码和第i个测试源句子输入经训练的手语翻译模型，得到第i个测试手语句，其中，i为小于K的自然数。也就是说，每个可选精炼控制码均可得到K个测试句子对。

在本公开实施例中，还根据测试句子对对可选精炼控制码进行等级划分，得到N个备选精炼等级，以及属于备选精炼等级的至少一个可选精炼控制码，其中备选精炼等级的数量小于可选精炼控制码的数量。若任一备选精炼等级关联有唯一的可选精炼控制码，可直接将唯一的可选精炼控制码作为该备选精炼等级关联的备选精炼控制码；若任一备选精炼等级关联有至少两个可选精炼控制码，则可从至少两个可选精炼控制码中选择一个作为该备选精炼等级关联的备选精炼控制码。通过对可选精炼控制码进行等级划分，能够缩小备选精炼等级数量，从而简化精炼度控制，提高手语翻译的便捷性。

在一种可选实施方式中，所述从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码，包括：获取与所述至少一个可选精炼控制码关联的测试手语句子，并确定关联的测试手语句子的可懂度；根据所述可懂度，从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

其中，可懂度可称为语言清晰度（speech intelligibility），听者通过手语句子能听懂源句子的百分率。在备选精炼等级关联有至少两个可选精炼控制码的情况下，可分别获取各可选精炼控制码关联的测试手语句子，并确定测试手语句子的可懂度，且将可懂度最优的可选精炼度控制码作为备选精炼控制码。本公开实施例对测试手语句子的可懂度确定方式不做具体限定，可人工确定，也可通过Bleu(Bilingual evaluation understudy，双语评估)得到。通过根据测试手语句子的可懂度，对属于备选精炼等级的至少两个可选精炼控制码进行筛选，得到备选精炼控制码，使得备选精炼控制码能够兼顾精炼程度和可懂度，从而达到兼具精炼程度和可懂度的手语翻译效果。

本公开实施例提供的技术方案，通过对经训练的手语翻译模型进行测试评估，得到备选精炼等级和备选精炼控制码之间的关联关系，为采用关联关系进行手语预测奠定基础，能够提高手语翻译质量。

在一种可选实施方式中，所述根据所述测试源句子和所述测试手语句子对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码，包括：根据所述测试源句子和所述测试手语句子，确定测试句子对的字符数压缩比和手语词数压缩比；根据所述测试句子对的字符数压缩比和/或手语词数压缩比，对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

具体的，针对每一可选精炼控制码，分别确定关联的K个测试句子对的字符数压缩比和手语词数压缩比，并采用字符数压缩比或手语数压缩比对可选精炼控制码进行等级划分。以采用手语数压缩比进行等级划分为例，可将K个测试句子对的手语词数压缩比的均值，作为可选精炼控制码的手语词数压缩比，并根据可选精炼控制码的手语词数压缩比所属的手语压缩区间确定可选精炼控制码所属的备选精炼等级，例如一个手语压缩区间可对应一个备选精炼等级。仍以1-5个手语压缩区间的取值范围分别为[0, 0.2)、[0.2, 0.4)、[0.4, 0.6)、[0.6, 0.8)、[0.8,∞)为例，若任一可选精炼控制码的手语词数压缩比为0.5，则该可选精炼控制码属于第三个备选精炼等级。本公开实施例也可以采用字符数压缩比作为等级划分依据，与采用手语词数压缩比作为等级划分依据的处理过程类型，不再赘述。通过将应用层的手语词数压缩比作为等级划分依据，使关联关系符合手语翻译的应用场景需求，能够进一步提高手语翻译的质量。

在一种可选实施方式中，根据所述测试句子对的字符数压缩比和手语词数压缩比，对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码，包括：确定所述测试句子对的字符数压缩比和所述手语词数压缩比之间的乘积；根据所述乘积对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

在本公开实施例中，还可以结合字符数压缩比和手语词数压缩比，作为备选精炼等级的划分依据。具体的，针对每一可选精炼控制码，确定K个测试句子对的字符数压缩比的均值和手语词数压缩比的均值，并确定两个均值的乘积。对各可选精炼控制码关联的乘积进行取值区间划分，得到多个乘积取值区间，一个乘积取值区间可对应一个备选精炼等级。将乘积取值属于备选精炼等级的可选精炼控制码，作为属于备选精炼等级的可选精炼控制码。通过结合字符数压缩比和手语词数压缩比进行等级划分，使得备选精炼等级能够兼顾字符数压缩比和手语词数压缩比，即能够保持手语翻译模型的性能。

图5是根据本公开实施例提供的又一种手语翻译方法的流程图；本实施例是在上述实施例的基础上提出的一种可选方案。参见图5，本实施例提供的手语翻译方法包括：

S501、对手语翻译模型进行模型训练；

S502、对经训练的手语翻译模型进行模型测试，得到备选精炼等级和备选精炼控制码之间的关联关系；

S503、获取待翻译的目标源句子；

S504、基于备选精炼等级和备选精炼控制码之间的关联关系，通过经训练的手语翻译模型对所述目标源句子进行预测。

在模型训练阶段，获取多个训练句子对，训练句子对包括训练源句子和训练手语句子。分别对训练源句子和训练手语句子进行字符化处理得到训练源句子中的训练源字符和训练手语句子中的训练手语字符；对训练源句子进行分词得到训练源句子中的源词语；对训练手语句子进行手语词检测，得到训练手语句子中的手语词；

通过如下公式，确定训练句子对的字符数压缩比和手语词数压缩比：

字符数压缩比=训练手语句子中的训练手语字符的数量/训练源句子中的训练源字符的数量；

手语词数压缩比=训练手语句子中的手语词的数量/训练源句子中的源词语的数量。

分别对各训练句子对的字符数压缩比和手语词数压缩比进行聚类，得到至少两个可选字符压缩区间和至少两个可选手语压缩区间。针对每一训练句子对，确定该训练句子对的字符数压缩比所属的可选字符压缩区间i，以及确定该训练句子对的手语词数压缩比所属的可选手语压缩区间j，且将ij作为该训练句子对所属的可选精炼控制码。将该训练句子对中的训练源句子和该可选精炼控制码输入待训练的手语翻译模型，得到中间手语句子，根据该训练句子对中的训练手语句子和中间手语句子更新手语翻译模型中的待训练参数。

在模型测试阶段，将每一可选精炼控制码和K个测试源句子依次输入经训练的手语翻译模型，得到K个测试手语句子，即得到K个测试句子对；分别确定K个测试句子对的字符数压缩比的均值和手语词数压缩比的均值；并根据字符数压缩比的均值和手语词数压缩比的均值对可选精炼控制码进行等级划分，得到备选精炼等级，以及属于备选精炼等级的至少一个可选精炼控制码。并且，确定各可选精炼控制码对应的测试手语的可懂度，将可懂度最大的可选精炼控制码作为与备选精炼等级关联的备选精炼控制码，即得到备选精炼等级和备选精炼控制码之间的关联关系。

在预测阶段，可获取翻译需求方的精炼需求信息，并根据精炼需求信息中的目标精炼等级，选择目标精炼控制码；将目标精炼控制码和待翻译的目标源句子输入经训练的手语翻译模型，得到目标手语句子。

本公开实施例提供的技术方案，基于神经网络训练得到精炼程度可调控的手语翻译模型，能够满足不同场景的定制需要；并且端到端的手语翻译模型，能够减少翻译误差，提高手语翻译质量。

图6是根据本公开实施例提供的一种手语翻译装置的结构示意图。本公开实施例适用于将自然语言中的源句子翻译成手语句子的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的手语翻译方法。如图6所示，该手语翻译装置600包括：

精炼需求模块610，用于获取目标源句子的精炼需求信息；

手语翻译模块620，用于根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；

其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度。

在一种可选实施方式中，所述手语翻译模块620包括：

目标控制码子模块，用于基于备选精炼等级和备选精炼控制码之间的关联关系，根据所述精炼需求信息中的目标精炼等级确定目标精炼控制码；

手语翻译子模块，用于将所述目标精炼控制码和所述目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子。

在一种可选实施方式中，该手语翻译装置600还包括模型训练模块，所述模型训练模块包括：

控制码选择子模块，用于根据训练句子对中的训练源句子和训练手语句子，从至少两个可选精炼控制码中选择所述训练句子对所属的可选精炼控制码；其中，所述至少两个可选精炼控制码根据至少两个训练句子对确定；

模型手语子模块，用于将所述训练源句子和所属的可选精炼控制码输入待训练的手语翻译模型，得到输出的中间手语句子；

网络参数更新单元，用于根据所述中间手语句子和所述训练手语句子，对所述手语翻译模型中待训练的网络参数进行更新。

在一种可选实施方式中，该手语翻译装置600还包括关联关系确定模块，所述关联关系确定模块包括：

测试句子模块，用于将可选精炼控制码和测试源句子输入经训练的手语翻译模型，得到模型输出的测试手语句子；其中，所述可选精炼控制码根据至少两个训练句子对确定；

等级划分子模块，用于根据所述测试源句子和所述测试手语句子对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码；

控制码选择子模块，用于从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

在一种可选实施方式中，所述等级划分子模块包括：

测试压缩比单元，用于根据所述测试源句子和所述测试手语句子，确定测试句子对的字符数压缩比和手语词数压缩比；

等级划分单元，用于根据所述测试句子对的字符数压缩比和/或手语词数压缩比，对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

在一种可选实施方式中，所述等级划分单元包括：

乘积子单元，用于确定所述测试句子对的字符数压缩比和所述手语词数压缩比之间的乘积；

等级划分子单元，用于根据所述乘积对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

在一种可选实施方式中，所述控制码选择子模块包括：

可懂度单元，用于获取与所述至少一个可选精炼控制码关联的测试手语句子，并确定关联的测试手语句子的可懂度；

控制码选择单元，用于根据所述可懂度，从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

在一种可选实施方式中，该手语翻译装置600还包括可选控制码模块，所述可选控制码模块包括：

训练压缩比子模块，用于分别确定至少两个训练句子对的字符数压缩比和手语词数压缩比；

压缩比聚类子模块，用于对所述字符数压缩比进行聚类得到至少两个可选字符压缩区间，并对所述手语词数压缩比进行聚类，得到至少两个可选手语压缩区间；

区间组合子模块，用于对所述可选字符压缩区间和所述可选手语压缩区间进行组合得到区间组合，并根据所述区间组合中所述可选字符压缩区间的第一区间编号和所述可选手语压缩区间的第二区间编号生成所述可选精炼控制码。

在一种可选实施方式中，所述训练压缩比子模块包括：

字符化单元，用于分别对所述训练句子对中的训练源句子和训练手语句子进行字符化，得到所述训练源句子中的训练源字符和所述训练手语句子中的训练手语字符；

手语词单元，用于对所述训练手语句子进行手语词检测，得到所述训练手语句子中的手语词；

源词语单元，用于对所述训练源句子进行分词，得到所述训练源句子中的源词语；

字符数压缩比单元，用于将所述训练手语字符的数量与所述训练源字符的数量之间的第一比例值，作为所述训练句子对的字符数压缩比；

手语词数压缩比单元，用于将所述手语词的数量与所述源词语的数量之间的第二比例值，作为所述训练句子对的手语词数压缩比。

本公开实施例所提供的手语翻译装置可执行本公开任意实施例所提供的手语翻译方法，具备执行手语翻译方法相应的功能模块和有益效果。

本公开的技术方案中，所涉及的场景图像数据和场景点云数据的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如手语翻译方法。例如，在一些实施例中，手语翻译方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的手语翻译方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行手语翻译方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程手语翻译装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算（cloud computing），指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种手语翻译方法，包括：

获取目标源句子的精炼需求信息；

根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度；

所述根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子，包括：

基于备选精炼等级和备选精炼控制码之间的关联关系，根据所述精炼需求信息中的目标精炼等级确定目标精炼控制码；

将所述目标精炼控制码和所述目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子；

其中，所述手语翻译模型的确定包括：

根据训练句子对中的训练源句子和训练手语句子，从至少两个可选精炼控制码中选择所述训练句子对所属的可选精炼控制码；其中，所述至少两个可选精炼控制码根据至少两个训练句子对的字符数压缩比和手语词数压缩比确定；

将所述训练源句子和所属的可选精炼控制码输入待训练的手语翻译模型，得到输出的中间手语句子；

根据所述中间手语句子和所述训练手语句子，对所述手语翻译模型中待训练的网络参数进行更新。

2.根据权利要求1所述的方法，其中，所述关联关系的确定包括：

将可选精炼控制码和测试源句子输入经训练的手语翻译模型，得到模型输出的测试手语句子；其中，所述可选精炼控制码根据至少两个训练句子对确定；

根据所述测试源句子和所述测试手语句子对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码；

从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

3.根据权利要求2所述的方法，其中，所述根据所述测试源句子和所述测试手语句子对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码，包括：

根据所述测试源句子和所述测试手语句子，确定测试句子对的字符数压缩比和手语词数压缩比；

根据所述测试句子对的字符数压缩比和/或手语词数压缩比，对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

4.根据权利要求3所述的方法，其中，根据所述测试句子对的字符数压缩比和手语词数压缩比，对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码，包括：

确定所述测试句子对的字符数压缩比和所述手语词数压缩比之间的乘积；

根据所述乘积对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

5.根据权利要求2所述的方法，其中，所述从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码，包括：

获取与所述至少一个可选精炼控制码关联的测试手语句子，并确定关联的测试手语句子的可懂度；

根据所述可懂度，从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

6.根据权利要求2-5中任一项所述的方法，其中，所述可选精炼控制码的确定包括：

分别确定至少两个训练句子对的字符数压缩比和手语词数压缩比；

对所述字符数压缩比进行聚类得到至少两个可选字符压缩区间，并对所述手语词数压缩比进行聚类，得到至少两个可选手语压缩区间；

对所述可选字符压缩区间和所述可选手语压缩区间进行组合得到区间组合，并根据所述区间组合中所述可选字符压缩区间的第一区间编号和所述可选手语压缩区间的第二区间编号生成所述可选精炼控制码。

7.根据权利要求6所述的方法，其中，所述分别确定至少两个训练句子对的字符数压缩比和手语词数压缩比，包括：

分别对所述训练句子对中的训练源句子和训练手语句子进行字符化，得到所述训练源句子中的训练源字符和所述训练手语句子中的训练手语字符；

对所述训练手语句子进行手语词检测，得到所述训练手语句子中的手语词；

对所述训练源句子进行分词，得到所述训练源句子中的源词语；

将所述训练手语字符的数量与所述训练源字符的数量之间的第一比例值，作为所述训练句子对的字符数压缩比；

将所述手语词的数量与所述源词语的数量之间的第二比例值，作为所述训练句子对的手语词数压缩比。

8.一种手语翻译装置，包括：

精炼需求模块，用于获取目标源句子的精炼需求信息；

手语翻译模块，用于根据所述精炼需求信息对所述目标源句子进行手语翻译，得到目标手语句子；其中，所述精炼需求信息用于表征所述目标手语句子对所述目标源句子的精炼程度；

其中，所述手语翻译模块包括：

目标控制码子模块，用于基于备选精炼等级和备选精炼控制码之间的关联关系，根据所述精炼需求信息中的目标精炼等级确定目标精炼控制码；

手语翻译子模块，用于将所述目标精炼控制码和所述目标源句子输入经训练的手语翻译模型，得到模型输出的目标手语句子；

所述装置还包括模型训练模块，所述模型训练模块包括：

控制码选择子模块，用于根据训练句子对中的训练源句子和训练手语句子，从至少两个可选精炼控制码中选择所述训练句子对所属的可选精炼控制码；其中，所述至少两个可选精炼控制码根据至少两个训练句子对的字符数压缩比和手语词数压缩比确定；

模型手语子模块，用于将所述训练源句子和所属的可选精炼控制码输入待训练的手语翻译模型，得到输出的中间手语句子；

网络参数更新单元，用于根据所述中间手语句子和所述训练手语句子，对所述手语翻译模型中待训练的网络参数进行更新。

9.根据权利要求8所述的装置，所述装置还包括关联关系确定模块，所述关联关系确定模块包括：

测试句子模块，用于将可选精炼控制码和测试源句子输入经训练的手语翻译模型，得到模型输出的测试手语句子；其中，所述可选精炼控制码根据至少两个训练句子对确定；

等级划分子模块，用于根据所述测试源句子和所述测试手语句子对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码；

控制码选择子模块，用于从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

10.根据权利要求9所述的装置，其中，所述等级划分子模块包括：

测试压缩比单元，用于根据所述测试源句子和所述测试手语句子，确定测试句子对的字符数压缩比和手语词数压缩比；

等级划分单元，用于根据所述测试句子对的字符数压缩比和/或手语词数压缩比，对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

11.根据权利要求10所述的装置，其中，所述等级划分单元包括：

乘积子单元，用于确定所述测试句子对的字符数压缩比和所述手语词数压缩比之间的乘积；

等级划分子单元，用于根据所述乘积对所述可选精炼控制码进行等级划分，得到备选精炼等级和属于所述备选精炼等级的至少一个可选精炼控制码。

12.根据权利要求9所述的装置，其中，所述控制码选择子模块包括：

可懂度单元，用于获取与所述至少一个可选精炼控制码关联的测试手语句子，并确定关联的测试手语句子的可懂度；

控制码选择单元，用于根据所述可懂度，从所述至少一个可选精炼控制码中选择与所述备选精炼等级关联的备选精炼控制码。

13.根据权利要求8-12中任一项所述的装置，其中，所述装置还包括可选控制码模块，所述可选控制码模块包括：

训练压缩比子模块，用于分别确定至少两个训练句子对的字符数压缩比和手语词数压缩比；

压缩比聚类子模块，用于对所述字符数压缩比进行聚类得到至少两个可选字符压缩区间，并对所述手语词数压缩比进行聚类，得到至少两个可选手语压缩区间；

区间组合子模块，用于对所述可选字符压缩区间和所述可选手语压缩区间进行组合得到区间组合，并根据所述区间组合中所述可选字符压缩区间的第一区间编号和所述可选手语压缩区间的第二区间编号生成所述可选精炼控制码。

14.根据权利要求13所述的装置，其中，所述训练压缩比子模块包括：

字符化单元，用于分别对所述训练句子对中的训练源句子和训练手语句子进行字符化，得到所述训练源句子中的训练源字符和所述训练手语句子中的训练手语字符；

手语词单元，用于对所述训练手语句子进行手语词检测，得到所述训练手语句子中的手语词；

源词语单元，用于对所述训练源句子进行分词，得到所述训练源句子中的源词语；

字符数压缩比单元，用于将所述训练手语字符的数量与所述训练源字符的数量之间的第一比例值，作为所述训练句子对的字符数压缩比；

手语词数压缩比单元，用于将所述手语词的数量与所述源词语的数量之间的第二比例值，作为所述训练句子对的手语词数压缩比。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的手语翻译方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的手语翻译方法。

Images