CN111144138A - 一种同声传译方法及装置、存储介质 - Google Patents

一种同声传译方法及装置、存储介质 Download PDF

Info

Publication number
CN111144138A
CN111144138A CN201911304002.9A CN201911304002A CN111144138A CN 111144138 A CN111144138 A CN 111144138A CN 201911304002 A CN201911304002 A CN 201911304002A CN 111144138 A CN111144138 A CN 111144138A
Authority
CN
China
Prior art keywords
target
data
simultaneously transmitted
simultaneous interpretation
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911304002.9A
Other languages
English (en)
Inventor
郝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911304002.9A priority Critical patent/CN111144138A/zh
Publication of CN111144138A publication Critical patent/CN111144138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例提供了一种同声传译方法及装置、存储介质，该方法包括：获取待同传语音数据；对待同传语音数据进行语音识别，得到待同传语音数据对应的待同传文本数据；将待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。

Description

一种同声传译方法及装置、存储介质
技术领域
本申请涉及语音处理技术领域，尤其涉及一种同声传译方法及装置、存储介质。
背景技术
同声传译是指在讲话人讲话的同时将讲话人的语言翻译成不同的语言，同声传译装置的面世，提升了同声传译的效率和准确度；具体地，同声传译装置先采集讲话人的语音，之后，利用翻译模型将采集到的语音翻译成目标语种的语音进行播放，实现了同声传译的智能化。
然而，失聪人士的耳部存在缺陷，使得现有的同声传译装置无法针对失聪人士，导致同声传译的方式单一且智能性低。
发明内容
本申请实施例提供一种同声传译方法及装置、存储介质，能够丰富同声传译的方式、提高同声传译的智能性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种同声传译方法，所述方法包括：
获取待同传语音数据；
对所述待同传语音数据进行语音识别，得到所述待同传语音数据对应的待同传文本数据；
将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。
在上述方法中，当所述目标触觉感知信息为盲文字符时，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
确定所述目标语种类型对应的音节类型和所述音节类型对应的预设文本与音节对应关系；
从所述预设文本与音节对应关系中，依次查找所述待同传文本数据对应的待同传音节；
根据音节类型与盲文字符对应关系，将所述待同传音节转换成盲文字符。
在上述方法中，当所述目标触觉感知信息为触控频率数据时，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
确定所述目标语种类型对应的文本与触控频率对应关系；
从所述文本与触控频率对应关系中，依次查找所述待同传文本数据对应的所述触控频率数据。
在上述方法中，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息之后，所述方法还包括：
输出所述目标触觉感知信息。
在上述方法中，当目标触觉感知信息为盲文字符时，所述输出所述目标触觉感知信息，包括：
确定所述盲文字符对应的点阵，并产生所述点阵对应的控制信号；
在所述控制信号的驱动下，利用驱动电机突出所述点阵。
在上述方法中，当所述目标触觉感知信息为触控频率数据时，所述输出所述目标触觉感知信息，包括：
确定每个触控频率数据之间的间隔时间，并在所述间隔时间到达时，控制振动部件按照所述触控频率数据对应的触控频率振动。
在上述方法中，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
确定所述待同传文本数据的初始语种类型；
当所述初始语种类型与所述目标语种类型不匹配时，将所述待同传文本数据翻译成所述目标语种类型的语种翻译结果；
将所述语种翻译结果翻译成所述目标触觉感知信息。
在上述方法中，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
当所述待同传文本数据的初始语种类型与所述目标语种类型匹配时，将所述待同传文本数据翻译成所述目标触觉感知信息。
本申请实施例提供一种同声传译装置，所述装置包括：
语音获取模块，用于获取待同传语音数据；
语音识别模块，用于对所述待同传语音数据进行语音识别，得到所述待同传语音数据对应的待同传文本数据；
机器翻译模块，用于将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。
在上述装置中，当所述目标触觉感知信息为盲文字符时，所述装置还包括：确定模块和查找模块；
所述确定模块，用于确定所述目标语种类型对应的音节类型和所述音节类型对应的预设文本与音节对应关系；
所述查找模块，用于从所述预设文本与音节对应关系中，依次查找所述待同传文本数据对应的待同传音节；
所述机器翻译模块，还用于根据音节类型与盲文字符对应关系，将所述待同传音节转换成盲文字符。
在上述装置中，当所述目标触觉感知信息为触控频率数据时，
所述确定模块，还用于确定所述目标语种类型对应的文本与触控频率对应关系；
所述查找模块，还用于从所述文本与触控频率对应关系中，依次查找所述待同传文本数据对应的所述触控频率数据。
在上述装置中，所述装置还包括：输出模块；
所述输出模块，用于输出所述目标触觉感知信息。
在上述装置中，当目标触觉感知信息为盲文字符时，
所述确定模块，还用于确定所述盲文字符对应的点阵，并产生所述点阵对应的控制信号；
所述输出模块，用于在所述控制信号的驱动下，利用驱动电机突出所述点阵。
在上述装置中，当所述目标触觉感知信息为触控频率数据时，
所述确定模块，还用于确定每个触控频率数据之间的间隔时间；
所述输出模块，还用于在所述间隔时间到达时，控制振动部件按照所述触控频率数据对应的触控频率振动。
在上述装置中，所述同声传译装置还包括：语种翻译模块；
所述确定模块，还用于确定所述待同传文本数据的初始语种类型；
所述语种翻译模块，用于当所述初始语种类型与所述目标语种类型不匹配时，将所述待同传文本数据翻译成所述目标语种类型的语种翻译结果；
所述机器翻译模块，还用于将所述语种翻译结果翻译成所述目标触觉感知信息。
在上述装置中，所述机器翻译模块，还用于当所述待同传文本数据的初始语种类型与所述目标语种类型匹配时，将所述待同传文本数据翻译成所述目标触觉感知信息。
所述语种翻译模块，还用于利用预设语种翻译模型，将所述待同传文本数据翻译成所述语种翻译结果，所述预设语种翻译模型根据初始语种类型的训练文本和目标语种类型的训练文本训练得到。
本申请实施例提供一种电子设备，所述电子设备包括处理器和存储器；
所述处理器，配置为执行所述存储器中存储的同声传译程序，以实现上述任一项所述的同声传译方法。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述的同声传译方法。
本申请实施例提供了一种同声传译方法及装置、存储介质，该方法包括：获取待同传语音数据；对待同传语音数据进行语音识别，得到待同传语音数据对应的待同传文本数据；将待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。采用上述方法实现方案，同声传译装置在获取到待同传语音数据之后，先将该待同传语音数据转换成待同传文本数据，之后，将待同传文本数据翻译成目标语种类型的目标触觉感知信息，并输出该目标触觉感知信息，能够使得失聪人士通过触摸该目标触觉感知信息，获取到待同传语音数据，由此同声传译装置可以面向失聪人士，丰富了同声传译的方式、并提高了同声传译的智能性。
附图说明
图1为本申请实施例提供的一种同声传译方法的流程图；
图2为本申请实施例提供的一种示例性的同声传译方法应用的系统架构示意图；
图3为本申请实施例提供的一种示例性的同声传译装置的结构组成图；
图4为本申请实施例提供的一种同声传译装置将语音数据转换成中文盲文的流程图；
图5为本申请实施例提供的一种同声传译装置的结构示意图一；
图6为本申请实施例提供的一种同声传译装置的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
实施例一
本申请实施例提供一种同声传译方法，通过同声传译装置实现。图1为本申请实施例提供的一种同声传译方法的流程示意图一。如图1所示，同声传译方法主要包括以下步骤：
S101、获取待同传语音数据。
本申请实施例提供的一种同声传译方法适用于同声传译装置将会议内容、公共社交内容、公共服务内容等语音数据同声传译成盲文的场景下。
图2为相关技术中同声传译方法应用的系统架构示意图；如图2所示，所述系统可包括：机器同传服务端、语音处理服务器、观众移动端、个人电脑(PC，Personal Computer)客户端、显示屏幕。
实际应用中，演讲者可以通过PC客户端进行会议演讲，在进行会议演讲的过程中，PC客户端采集演讲者的语音数据，将采集的语音数据发送给机器同传服务端，所述机器同传服务端通过语音处理服务器对语音数据进行识别，得到识别结果(所述识别结果可以是与语音数据相同语种的识别文本，也可以是对所述识别文本进行翻译后得到的其它语种的翻译文本)；机器同传服务端可以将识别结果发送给PC客户端，由PC客户端将识别结果投屏到显示屏幕上；还可以将识别结果发送给观众移动端(具体依据用户所需的语种，对应发送相应语种的识别结果)，为用户展示识别结果，从而实现将演讲者的演讲内容翻译成用户需要的语种并进行展示。
需要说明的是，进行同声传译的机器同传服务端可以为服务器，也可以为具有同声传译相关功能的终端，本申请实施例不做具体的限定。
本申请实施例中，对于同声传译装置将待同传语音数据转换成盲文的场景，同声传译装置具体的结构图如图3所示，该同声传译装置由声音采集模块、语音识别模块、机器翻译模块、盲文转换模块和盲文显示模块五个模块组成，其中，声音采集模块用于通过话筒采集用户的声音信号，将该声音信号转换成电流信号进行编码，并将编码后的待同传数据传输至语音识别模块、语音识别模块用于使用预先经过大量训练集训练出的模型，将待同传语音数据转换成对应的初始语种类型的待同传文本数据、机器翻译模块用于使用同样预先经过大量训练集训练出的模型，将待同传文本数据翻译成目标语种对应的文本、盲文转换模块用于将文本转换成盲文显示模块可以解读的盲文字符、盲文显示模块用于输出并显示翻译完成的盲文字符。对于机器翻译模块来说，当待同传文本数据的原语种与目标语种匹配时，可跳过该机器翻译模块，直接进行盲文转换。
需要说明的是，在本申请的实施例中，待同传语音数据可以为需要进行语音翻译的任何语音，例如，在应用场景中实时采集到的语音。此外，待同传语音数据可以为任意类型语言的语音。具体的待同传语音数据本申请实施例不作限定。
在一种实施例中，同声传译装置的声音采集模块中设置有语音采集装置，该语音采集装置可以为话筒，声音采集模块通过话筒采集声音信号，并将采集到的声音信号转换成电流信号，同声传译装置将电流信号进行编码后得到待同传语音数据。
在另一种实施例中，同声传译装置从语音库中直接获取声音信号，并将采集到的声音信号转换成电流信号，同声传译装置将电流信号进行编码后得到待同传语音数据。
具体地，同声传译装置获取声音信号的方式可根据实际情况进行选择，本申请实施例不做具体的限定。
S102、对待同传语音数据进行语音识别，得到待同传语音数据对应的待同传文本数据。
当同声传译装置获取到待同传语音数据之后，同声传译装置对待同传语音数据进行语音识别，得到待同传语音数据对应的待同传文本数据。
本申请实施例中，同声传译装置的声音采集模块在获取到待同传语音数据之后，将待同传语音数据传输至语音识别模块，语音识别模块对待同传语音数据进行语音识别，得到待同传语音数据对应的待同传文本数据。
本申请实施例中，同声传译装置预先建立预设语音识别模型，具体的，同声传译装置预先获取训练集，该训练集中包括标准语音数据与其对应的标准文本数据，同声传译装置将标准语音数据输入预设训练模型中，得到文本输出结果，之后基于文本输出结果和标准语音数据对应的标准文本数据，对预设训练模型进行训练，得到预设语音识别模型，进一步地，同声传译装置的语音识别模型在每进行一轮语音识别操作之后，将该轮语音识别的输入和输出输入预设语音识别模型中，对预设语音识别模型进行学习，能够进一步地提高预设语音识别模型的实时性和准确性。
本申请实施例中，同声传译装置的语音识别模块利用预设语音识别模型，将待同传语音数据转换为待同传文本数据，其中，预设语音识别模型根据标准语音数据与对应的标准文本数据训练得到。即同声传译装置的语音识别模块将待同传语音数据输入预设语音识别模型中，输入待同传语音数据对应的待同传文本数据。
示例性的，待同传语音数据为英文语音，当同声传译装置获取到英文语音时，同声传译装置将英文语音输入预设语音识别模型中，得到英文语音对应的英文文本。
S103、将待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。
当同声传译装置得到待同传语音数据对应的待同传文本数据之后，同声传译装置将待同传文本数据翻译成目标语种类型的目标触觉感知信息，以完成同声传译的过程。
本申请实施例中，同声传译装置确定待同传文本数据的初始语种类型；同声传译装置将初始语种类型和目标语种类型进行比较，当初始语种类型与目标语种类型不匹配时，表征待同传文本数据对应的语种与目标语种不相同，同声传译装置需要对待同传文本数据进行语种翻译，此时，同声传译装置的机器翻译模块将待同传文本数据翻译成目标语种类型的语种翻译结果；之后同声传译装置的盲文转换模块将语种翻译结果翻译成目标触觉感知信息。
本申请实施例中，当同声传译装置判断出待同传文本数据的初始语种类型与目标语种类型匹配时，表征同声传译装置无需对待同传文本数据进行语种翻译，此时，同声传译装置的盲文转换模块直接将待同传文本数据翻译成目标触觉感知信息。
具体的，同声传译装置的机器翻译模块将待同传文本数据翻译成目标语种类型的语种翻译结果的具体过程为：机器翻译模块利用预设语种翻译模型，将待同传文本数据翻译成语种翻译结果，其中，预设语种翻译模型根据初始语种类型的训练文本和目标语种类型的训练文本训练得到。
需要说明的是，同声传译装置预先建立预设语种翻译模型，具体的，同声传译装置获取训练集，该训练集中包括初始语种类型的训练文本和目标语种类型的训练文本，同声传译装置将初始语种类型的训练文本输入预设训练模型中，得到文本输出结果，之后基于文本输出结果和目标语种类型的训练文本，对于预设训练模型进行训练，得到预设语种翻译模型，进一步地，同声传译装置的机器翻译模块在每进行一轮语种翻译之后，将该轮语种翻译的输入和输出输入预设语种翻译模型中，对预设语种翻译模型进行学习，能够进一步地提高预设语种翻译模型的实时性和准确性。
可选的，语种类型包括：英文、中文、法文等不同地区的语种，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
示例性的，设置目标语种类型为中文，在同声传译采集到英文语音时，同声传译装置根据中英翻译模型，将英文语音转换成英文文本，并将英文文本翻译成中文文本，其中，中英翻译模型是预先根据标准英文文本和对应的标准中文翻译文本训练得到的。
本申请实施例中，触觉感知信息可以为盲文和通过不同的触控频率表征文本的触控频率数据等需要通过触觉进行感知的信息，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
在一种可选的实施例中，当目标触觉感知信息为盲文字符时，同声传译装置确定目标语种类型对应的音节类型和音节类型对应的预设文本与音节对应关系；之后，同声传译装置从预设文本与音节对应关系中，依次查找待同传文本数据对应的待同传音节；并根据音节类型与盲文字符对应关系，将待同传音节转换成盲文字符。
示例性的，当目标语种类型为中文，目标触觉感知信息为盲文字符时，由于中文盲文是基于一个字符表示一个声母或者一个韵母的方式进行排序的，故，同声传译装置的机器翻译模块先根据中文与中文音节对应关系，将待同传文本数据转换成中文音节，之后，同声传译装置根据中文音节与盲文字符对应关系，将中文音节转换成盲文字符。
在另一种可选的实施例中，当目标触觉感知信息为触控频率数据时，同声传译装置确定目标语种类型对应的文本与触控频率对应关系；并从文本与触控频率对应关系中，依次查找待同传文本数据对应的触控频率数据。
示例性的，当目标语种类型为中文时，同声传译装置获取中文文字与触控频率的对应关系，之后，从中文文本与触控频率的对应关系中，依次查找中文文本中的文字对应的触控频率数据，得到中文文本对应的触控频率数据集合。
本申请实施例中，在同声传译装置将待同传文本数据翻译成目标语种类型的目标触觉感知信息之后，同声传译装置按照目标触觉感知信息对应的预设触觉感知输出方式，输出目标触觉感知信息。
需要说明的是，不同的触觉感知信息对应有不同的预设触觉感知输出方式，同声传译装置可利用目标触觉感知信息对应的预设触觉感知输出方式，输入目标触觉感知信息，具体的预设触觉感知输出方式可以根据实际得到的目标触觉感知信息的类型进行选择，本申请实施例不做具体的限定。
具体的，当目标触觉感知信息为盲文字符时，同声传译装置确定盲文字符对应的点阵，并产生点阵对应的控制信号；之后，同声传译装置的盲文显示模块在控制信号的驱动下，利用驱动电机突出点阵。
本申请实施例中，驱动电机在纸张、盲文显示面板等平坦表面上突出点阵，视障人士通过触摸平坦表面，感受平坦表面的点阵进而读出盲文字符。
具体的，当目标触觉感知信息为触控频率数据时，同声传译装置确定每个触控频率数据之间的间隔时间，并在间隔时间到达时，控制振动部件按照所述触控频率数据对应的触控频率振动，视障人士通过感知振动部件在间隔时间内的振动频率进而读出待同传文本数据。
可以理解的是，同声传译装置在获取到待同传语音数据之后，先将该待同传语音数据转换成待同传文本数据，之后，将待同传文本数据翻译成目标语种类型的目标触觉感知信息，并输出该目标触觉感知信息，能够使得失聪人士通过触摸该目标触觉感知信息，获取到待同传语音数据，由此同声传译装置可以面向失聪人士，丰富了同声传译的方式、并提高了同声传译的智能性。
实施例二
基于上述实施例一，本申请实施例具体提供一种同声传译方法，应用于同声传译装置语音数据转换成中文盲文的场景下，具体的同声传译方法的执行步骤如图4所示，该方法可以包括：
S201、同声传译装置获取待同传语音数据。
本申请实施例中，同声传译装置具体的结构图如图3所示，该同声传译装置由声音采集模块、语音识别模块、机器翻译模块、盲文转换模块和盲文显示模块五个模块组成。
在一种实施例中，同声传译装置的声音采集模块中设置有语音采集装置，该语音采集装置可以为话筒，声音采集模块通过话筒采集声音信号，并将采集到的声音信号转换成电流信号，同声传译装置将电流信号进行编码后得到待同传语音数据。
在另一种实施例中，同声传译装置从语音库中直接获取声音信号，声音采集模块将采集到的声音信号转换成电流信号，并将电流信号进行编码后得到待同传语音数据。
具体的，同声传译装置获取声音信号的方式可根据实际情况进行选择，本申请实施例不做具体的限定。
S202、同声传译装置利用预设语音识别模型，将待同传语音数据转换为待同传文本数据，预设语音识别模型根据标准语音数据与对应的标准文本数据训练得到。
当同声传译装置获取到待同传语音数据之后，同声传译装置利用预设语音识别模型，将待同传语音数据转换为待同传文本数据。
本申请实施例中，同声传译装置的语音识别模块将待同传语音数据输入预设语音识别模型中，输出待同传文本数据，其中，预设语音识别模型的创建过程为：同声传译装置预先获取训练集，该训练集中包括标准语音数据与其对应的标准文本数据，同声传译装置将标准语音数据输入预设训练模型中，得到文本输出结果，之后基于文本输出结果和标准语音数据对应的标准文本数据，对预设训练模型进行训练，得到预设语音识别模型，进一步地，同声传译装置的语音识别模型在每进行一轮语音识别操作之后，将该轮语音识别的输入和输出输入预设语音识别模型中，对预设语音识别模型进行学习，能够进一步地提高预设语音识别模型的实时性和准确性。
S203、同声传译装置确定待同传文本数据的初始语种类型。
当同声传译装置将待同传语音数据转换成待同传文本数据之后，同声传译装置确定待同传文本数据的初始语种类型。
本申请实施例中，语种类型包括：英文、中文、法文等不同地区的语种，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
S204、当初始语种类型不是中文时，同声传译装置利用预设语种翻译模型，将待同传文本数据翻译成中文文本，预设语种翻译模型根据初始语种类型的训练文本和目标语种类型的训练文本训练得到。
当同声传译装置确定出待同传文本数据的初始语种类型之后，同声传译装置就要将待同传译数据的初始语种类型与中文类型进行匹配了，当同声传译装置判断出初始语种类型不是中文时，同声传译装置利用预设语种翻译模型，将待同传文本数据翻译成中文文本。
本申请实施例中，同声传译装置的机器翻译模块利用预设语种翻译模型，将待同传文本数据翻译成中文文本，其中，预设语种翻译模型根据初始语种类型的训练文本和目标语种类型的训练文本训练得到。
需要说明的是，同声传译装置预先建立预设语种翻译模型，具体的，同声传译装置获取训练集，该训练集中包括初始语种类型的训练文本和中文训练文本，同声传译装置将初始语种类型的训练文本输入预设训练模型中，得到文本输出结果，之后基于文本输出结果和中文训练文本，对于预设训练模型进行训练，得到预设语种翻译模型，进一步地，同声传译装置的机器翻译模块在每进行一轮语种翻译之后，将该轮语种翻译的输入和输出输入预设语种翻译模型中，对预设语种翻译模型进行学习，能够进一步地提高预设语种翻译模型的实时性和准确性。
示例性的，在同声传译采集到英文语音时，同声传译装置根据中英翻译模型，将英文语音转换成英文文本，并将英文文本翻译成中文文本，其中，中英翻译模型是预先根据标准英文文本和对应的标准中文翻译文本训练得到的。
S205、同声传译装置将语种翻译结果转换成音节。
当同声传译装置将待同传文本数据翻译成语种翻译结果之后，同声传译装置将语种翻译结果转换成音节。
本申请实施例中，由于中文盲文是基于一个字符表示一个声母或者一个韵母的方式进行排序的，故，同声传译装置的盲文转换模块从中文文本与音节对应关系中，查找中文文本对应的音节。
S206、当待同传文本数据的初始语种类型为中文时，同声传译装置将待同传文本数据转换成音节。
当同声传译装置确定出待同传文本数据的初始语种类型之后，同声传译装置就要将待同传译数据的初始语种类型与中文类型进行匹配了，当同声传译装置判断出初始语种类型为中文时，同声传译装置将待同传文本数据转换成音节。
本申请实施例中，同声传译装置的盲文转换模块将待同传文本数据转换成音节。
需要说明的是，S204-S205和S206为S203之后、S207之前的两个并列的步骤，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
S207、同声传译装置将音节转换成盲文字符。
当同声传译装置将待同传文本数据或者语种翻译结果转换成音节之后，同声传译装置将音节转换成盲文字符。
本申请实施例中，同声传译装置的盲文转换模块将音节转换成盲文字符。
S208、同声传译装置确定盲文字符对应的点阵，并产生点阵对应的控制信号。
当同声传译装置将音节转换成盲文字符之后，同声传译装置确定盲文字符对应的点阵，并产生点阵对应的控制信号。
S209、在控制信号的驱动下，同声传译装置利用驱动电机突出点阵。
当同声传译装置确定出盲文字符对应的点阵，并产生点阵对应的控制信号之后，同声传译装置在控制信号的驱动下，利用驱动电机突出点阵。
本申请实施例中，同声传译装置的盲文显示模块控制信号的驱动下，驱动电机在纸张、盲文显示面板等平坦表面上突出点阵，视障人士通过触摸平坦表面，感受平坦表面的点阵进而读出盲文字符。
本申请实施例中，在服务器实现盲文显示的场景下，服务器端产生控制信号，并将该控制信号传输至驱动电机，以控制驱动电机在控制信号的驱动下突出点阵；
本申请实施例中，在终端实现盲文显示的场景下，该终端可以支持大量的翻译处理且终端内部设置有驱动电机，终端产生驱动信号之后，直接控制自身的驱动电机在驱动信号的驱动下突出点阵。
可以理解的是，同声传译装置在获取到待同传语音数据之后，先将该待同传语音数据转换成待同传文本数据，之后，将待同传文本数据翻译成目标语种类型的目标触觉感知信息，并输出该目标触觉感知信息，能够使得失聪人士通过触摸该目标触觉感知信息，获取到待同传语音数据，由此同声传译装置可以面向失聪人士，丰富了同声传译的方式、并提高了同声传译的智能性。
实施例三
本申请实施例提供一种同声传译装置1，如图5所示，该同声传译装置1可以包括：
语音获取模块10，用于获取待同传语音数据；
语音识别模块11，用于对所述待同传语音数据进行语音识别，得到所述待同传语音数据对应的待同传文本数据；
机器翻译模块12，用于将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。
可选的，当所述目标触觉感知信息为盲文字符时，所述装置还包括：确定模块和查找模块；
所述确定模块，用于确定所述目标语种类型对应的音节类型和所述音节类型对应的预设文本与音节对应关系；
所述查找模块，用于从所述预设文本与音节对应关系中，依次查找所述待同传文本数据对应的待同传音节；
所述机器翻译模块，还用于根据音节类型与盲文字符对应关系，将所述待同传音节转换成盲文字符。
可选的，当所述目标触觉感知信息为触控频率数据时，
所述确定模块，还用于确定所述目标语种类型对应的文本与触控频率对应关系；
所述查找模块，还用于从所述文本与触控频率对应关系中，依次查找所述待同传文本数据对应的所述触控频率数据。
可选的，所述装置还包括：输出模块；
所述输出模块，用于输出所述目标触觉感知信息。
可选的，当目标触觉感知信息为盲文字符时，
所述确定模块，还用于确定所述盲文字符对应的点阵，并产生所述点阵对应的控制信号；
所述输出模块，用于在所述控制信号的驱动下，利用驱动电机突出所述点阵。
可选的，当所述目标触觉感知信息为触控频率数据时，
所述确定模块，还用于确定每个触控频率数据之间的间隔时间；
所述输出模块，还用于在所述间隔时间到达时，控制振动部件按照所述触控频率数据对应的触控频率振动。
可选的，所述同声传译装置还包括：语种翻译模块；
所述确定模块，还用于确定所述待同传文本数据的初始语种类型；
所述语种翻译模块，用于当所述初始语种类型与所述目标语种类型不匹配时，将所述待同传文本数据翻译成所述目标语种类型的语种翻译结果；
所述机器翻译模块，还用于将所述语种翻译结果翻译成所述目标触觉感知信息。
可选的，所述机器翻译模块，还用于当所述待同传文本数据的初始语种类型与所述目标语种类型匹配时，将所述待同传文本数据翻译成所述目标触觉感知信息。
所述语种翻译模块，还用于利用预设语种翻译模型，将所述待同传文本数据翻译成所述语种翻译结果，所述预设语种翻译模型根据初始语种类型的训练文本和目标语种类型的训练文本训练得到。
本申请实施例提供的一种同声传译装置，获取待同传语音数据；对待同传语音数据进行语音识别，得到待同传语音数据对应的待同传文本数据；将待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。由此可见，本实施例提出的同声传译装置，同声传译装置在获取到待同传语音数据之后，先将该待同传语音数据转换成待同传文本数据，之后，将待同传文本数据翻译成目标语种类型的目标触觉感知信息，并输出该目标触觉感知信息，能够使得失聪人士通过触摸该目标触觉感知信息，获取到待同传语音数据，由此同声传译装置可以面向失聪人士，丰富了同声传译的方式、并提高了同声传译的智能性。
图6为本申请实施例提供的一种电子设备的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图6所示，本实施例的电子设备包括：处理器13、存储器14及通信总线15。
在具体的实施例的过程中，上述语音获取模块10、语音识别模块11、机器翻译模块12、确定模块、语种翻译模块和输出模块可由位于电子设备上的处理器13实现，上述处理器13可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像分割装置(DSPD，DigitalSignal Processing Device)、可编程逻辑图像分割装置(PLD，Programmable LogicDevice)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线15用于实现处理器13和存储器14之间的连接通信；上述处理器13执行存储器14中存储的运行程序时实现如实施例一和实施例二所述的同声传译方法。
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于同声传译装置中，该计算机程序实现如实施例一和实施例二所述的同声传译方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (11)

1.一种同声传译方法，其特征在于，所述方法包括：
获取待同传语音数据；
对所述待同传语音数据进行语音识别，得到所述待同传语音数据对应的待同传文本数据；
将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。
2.根据权利要求1所述的方法，其特征在于，当所述目标触觉感知信息为盲文字符时，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
确定所述目标语种类型对应的音节类型和所述音节类型对应的预设文本与音节对应关系；
从所述预设文本与音节对应关系中，依次查找所述待同传文本数据对应的待同传音节；
根据音节类型与盲文字符对应关系，将所述待同传音节转换成盲文字符。
3.根据权利要求1所述的方法，其特征在于，当所述目标触觉感知信息为触控频率数据时，所述触控频率数据为通过触控频率表征对应文本的数据，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
确定所述目标语种类型对应的文本与触控频率对应关系；
从所述文本与触控频率对应关系中，依次查找所述待同传文本数据对应的所述触控频率数据。
4.根据权利要求1所述的方法，其特征在于，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息之后，所述方法还包括：
输出所述目标触觉感知信息。
5.根据权利要求4所述的方法，其特征在于，当目标触觉感知信息为盲文字符时，所述输出所述目标触觉感知信息，包括：
确定所述盲文字符对应的点阵，并产生所述点阵对应的控制信号；
在所述控制信号的驱动下，利用驱动电机突出所述点阵。
6.根据权利要求4所述的方法，其特征在于，当所述目标触觉感知信息为触控频率数据时，所述输出所述目标触觉感知信息，包括：
确定每个触控频率数据之间的间隔时间，并在所述间隔时间到达时，控制振动部件按照所述触控频率数据对应的触控频率振动。
7.根据权利要求1所述的方法，其特征在于，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
确定所述待同传文本数据的初始语种类型；
当所述初始语种类型与所述目标语种类型不匹配时，将所述待同传文本数据翻译成所述目标语种类型的语种翻译结果；
将所述语种翻译结果翻译成所述目标触觉感知信息。
8.根据权利要求1所述的方法，其特征在于，所述将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，包括：
当所述待同传文本数据的初始语种类型与所述目标语种类型匹配时，将所述待同传文本数据翻译成所述目标触觉感知信息。
9.一种同声传译装置，其特征在于，所述装置包括：
语音获取模块，用于获取待同传语音数据；
语音识别模块，用于对所述待同传语音数据进行语音识别，得到所述待同传语音数据对应的待同传文本数据；
机器翻译模块，用于将所述待同传文本数据翻译成目标语种类型的目标触觉感知信息，完成同声传译的过程。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；
所述处理器，配置为执行所述存储器中存储的同声传译程序，以实现权利要求1至8任一项所述的同声传译方法。
11.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的同声传译方法。
CN201911304002.9A 2019-12-17 2019-12-17 一种同声传译方法及装置、存储介质 Pending CN111144138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911304002.9A CN111144138A (zh) 2019-12-17 2019-12-17 一种同声传译方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911304002.9A CN111144138A (zh) 2019-12-17 2019-12-17 一种同声传译方法及装置、存储介质

Publications (1)

Publication Number Publication Date
CN111144138A true CN111144138A (zh) 2020-05-12

Family

ID=70518668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911304002.9A Pending CN111144138A (zh) 2019-12-17 2019-12-17 一种同声传译方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN111144138A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667828A (zh) * 2020-05-28 2020-09-15 北京百度网讯科技有限公司 语音识别方法和装置、电子设备和存储介质
CN112233649A (zh) * 2020-10-15 2021-01-15 安徽听见科技有限公司 机器同声传译输出音频动态合成方法、装置以及设备
CN112929633A (zh) * 2021-02-07 2021-06-08 北京有竹居网络技术有限公司 一种同声传译接收设备及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1110421A (zh) * 1994-12-30 1995-10-18 黄思源 一种新的盲文出版、阅读方法及阅读装置
WO2001042875A2 (en) * 1999-12-02 2001-06-14 Mci Worldcom, Inc. Language translation voice telephony
CN1591414A (zh) * 2004-06-03 2005-03-09 华建电子有限责任公司 一种汉语到盲文的自动翻译转换方法
US20070133770A1 (en) * 2005-12-12 2007-06-14 Bellsouth Intellectual Property Corporation Caller identification through non-textual output
CN201532762U (zh) * 2009-06-04 2010-07-21 成都信息工程学院 个人专用同声传译装置
US20100299150A1 (en) * 2009-05-22 2010-11-25 Fein Gene S Language Translation System
JP2011180403A (ja) * 2010-03-02 2011-09-15 Seiko Epson Corp 点字表示装置
CN104778876A (zh) * 2015-04-15 2015-07-15 王博 一种显示盲文的方法及显示装置
US20150350451A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
CN105528939A (zh) * 2016-01-20 2016-04-27 上海交通大学 一种汉语盲文摸读装置
CN206584618U (zh) * 2017-03-10 2017-10-24 张寻政 一种多功能盲文学习机
CN107562196A (zh) * 2017-08-22 2018-01-09 浙江传媒学院 一种单向滑动手势触感盲文摸读系统和方法
WO2018124564A1 (ko) * 2016-12-28 2018-07-05 고려대학교 산학협력단 진동점자시스템 및 터치스크린 기반 진동점자 구현방법
CN109448698A (zh) * 2018-10-17 2019-03-08 深圳壹账通智能科技有限公司 同声传译方法、装置、计算机设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1110421A (zh) * 1994-12-30 1995-10-18 黄思源 一种新的盲文出版、阅读方法及阅读装置
WO2001042875A2 (en) * 1999-12-02 2001-06-14 Mci Worldcom, Inc. Language translation voice telephony
CN1591414A (zh) * 2004-06-03 2005-03-09 华建电子有限责任公司 一种汉语到盲文的自动翻译转换方法
US20070133770A1 (en) * 2005-12-12 2007-06-14 Bellsouth Intellectual Property Corporation Caller identification through non-textual output
US20100299150A1 (en) * 2009-05-22 2010-11-25 Fein Gene S Language Translation System
CN201532762U (zh) * 2009-06-04 2010-07-21 成都信息工程学院 个人专用同声传译装置
JP2011180403A (ja) * 2010-03-02 2011-09-15 Seiko Epson Corp 点字表示装置
US20150350451A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
CN104778876A (zh) * 2015-04-15 2015-07-15 王博 一种显示盲文的方法及显示装置
CN105528939A (zh) * 2016-01-20 2016-04-27 上海交通大学 一种汉语盲文摸读装置
WO2018124564A1 (ko) * 2016-12-28 2018-07-05 고려대학교 산학협력단 진동점자시스템 및 터치스크린 기반 진동점자 구현방법
CN206584618U (zh) * 2017-03-10 2017-10-24 张寻政 一种多功能盲文学习机
CN107562196A (zh) * 2017-08-22 2018-01-09 浙江传媒学院 一种单向滑动手势触感盲文摸读系统和方法
CN109448698A (zh) * 2018-10-17 2019-03-08 深圳壹账通智能科技有限公司 同声传译方法、装置、计算机设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667828A (zh) * 2020-05-28 2020-09-15 北京百度网讯科技有限公司 语音识别方法和装置、电子设备和存储介质
CN111667828B (zh) * 2020-05-28 2021-09-21 北京百度网讯科技有限公司 语音识别方法和装置、电子设备和存储介质
US11756529B2 (en) 2020-05-28 2023-09-12 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for speech recognition, and storage medium
CN112233649A (zh) * 2020-10-15 2021-01-15 安徽听见科技有限公司 机器同声传译输出音频动态合成方法、装置以及设备
CN112233649B (zh) * 2020-10-15 2024-04-30 安徽听见科技有限公司 机器同声传译输出音频动态合成方法、装置以及设备
CN112929633A (zh) * 2021-02-07 2021-06-08 北京有竹居网络技术有限公司 一种同声传译接收设备及方法

Similar Documents

Publication Publication Date Title
CN110444196B (zh) 基于同声传译的数据处理方法、装置、系统和存储介质
WO2021022992A1 (zh) 对话生成模型的训练方法、对话生成方法、装置及介质
CN108847214B (zh) 语音处理方法、客户端、装置、终端、服务器和存储介质
CN112099628A (zh) 基于人工智能的vr互动方法、装置、计算机设备及介质
CN111144138A (zh) 一种同声传译方法及装置、存储介质
CN111933115B (zh) 语音识别方法、装置、设备以及存储介质
CN110493123B (zh) 即时通讯方法、装置、设备及存储介质
CN113689879B (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
WO2018186416A1 (ja) 翻訳処理方法、翻訳処理プログラム、及び、記録媒体
CN109166409B (zh) 一种手语转换方法及装置
CN113793398A (zh) 基于语音交互的绘画方法与装置、存储介质和电子设备
WO2022196880A1 (ko) 아바타에 기초한 인터랙션 서비스 방법 및 장치
CN104853257A (zh) 字幕显示方法和装置
CN113901189A (zh) 一种数字人交互方法、装置、电子设备及存储介质
CN113763925B (zh) 语音识别方法、装置、计算机设备及存储介质
JP5856708B1 (ja) 翻訳システム及びサーバ
CN114064943A (zh) 会议管理方法、装置、存储介质及电子设备
KR102462685B1 (ko) 웹툰 제작 보조 장치
KR20220140304A (ko) 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법
CN110111640B (zh) 练字学习方法、练字笔及终端设备
CN109333539B (zh) 机器人及其控制方法、装置和存储介质
Gopinath et al. Development of Speech and Text to Braille Script Converter for Blind and Deaf People
CN111754996A (zh) 基于语音模拟遥控器的控制方法、装置及电子设备
CN115758107B (zh) 触觉信号传输方法及装置、存储介质及电子设备
Nandyal et al. Raspberrypi based assistive communication system for deaf, dumb and blind person

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512

RJ01 Rejection of invention patent application after publication