CN111009234B

CN111009234B - 语音转换方法、装置和设备

Info

Publication number: CN111009234B
Application number: CN201911353476.2A
Authority: CN
Inventors: 朴元日; 骆坚
Original assignee: Shanghai Jinsheng Electronic Technology Co ltd
Current assignee: Shanghai Jinsheng Electronic Technology Co ltd
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2023-06-02
Anticipated expiration: 2039-12-25
Also published as: CN111009234A

Abstract

本发明涉及一种语音转换方法、装置和设备，通过获取语音信息，根据语音信息，确定语音信息对应的语系，在预设的语系库中确定与语系对应的转换规则，其中，转换规则包括发音规则和振动规则，按照发音规则拆解语音信息中每个字符对应的语系音标信息，基于振动规则，确定语系音标信息对应的振动信息，控制与听力障碍者皮肤接触的振动设备按照振动信息进行振动，以将振动信息传递给听力障碍者，听力障碍者根据感受到的振动信息，再结合振动规则和发音规则便可以确定语音信息的内容，实现了将他人的语音信息转化为听力障碍者能够感触的振动信息，日常交流中也可以进行发音训练，有效提高了听力障碍者与外界沟通的能力。

Description

语音转换方法、装置和设备

技术领域

本发明涉及语音转换技术领域，具体涉及一种语音转换方法、装置和设备。

背景技术

听力障碍已成为是我国常见的致残性感觉障碍疾病之一，听力障碍者与正常人对话交流时存在较大障碍，听力障碍者需要使用辅助手段满足信息交流需求。目前听力障碍者包括具有一定听觉能力的听力障碍者和没有听觉能力的听力障碍者，具有一定听觉能力的听力障碍者可以通过佩戴人工耳蜗等助听设备改善，而没有听觉能力的听力障碍者可以通过别人打手语或者文字转换设备，以理解对话者的意图。

大部分听力障碍者声带并没有受损，如果长时间通过观看文字或者打手语了解对话者的意图，不使用发音规则，可能会忘记如何进行发音，无法正确表达出自己的意思，逐渐降低与外界沟通的能力。

发明内容

有鉴于此，本发明的目的在于提供一种语音转换方法、装置和设备，可克服目前听力障碍者长时间通过观看文字或者打手语了解对话者的意图，不使用发音规则，可能会忘记如何进行发音，无法正确表达出自己的意思，逐渐降低与外界沟通的能力的问题。

为实现以上目的，本发明采用如下技术方案：

一种语音转换方法，包括：

获取语音信息；

根据所述语音信息，确定所述语音信息对应的语系；

在预设的语系库中确定与所述语系对应的转换规则，其中，所述转换规则包括发音规则和振动规则；

按照所述发音规则拆解所述语音信息中每个字符对应的语系音标信息；

基于所述振动规则，确定所述语系音标信息对应的振动信息；

控制与听力障碍者皮肤接触的振动设备按照所述振动信息进行振动，以将所述振动信息传递给所述听力障碍者。

进一步地，以上所述的语音转换方法，所述振动规则包括语系振动规则和音标振动规则；

所述基于所述振动规则，确定所述语系音标信息对应的振动信息，包括：

根据所述语系振动规则，确定所述振动信息中的语系振动信息，以及，根据所述音标振动规则，确定所述振动信息中的音标振动信息。

进一步地，以上所述的语音转换方法，所述发音规则包括所述语系中汉语语系对应的拼音规则；

所述按照所述发音规则拆解所述语音信息中每个字符对应的语系音标信息，包括：

将所述语音信息转换为文字信息；

提取所述文字信息中每个所述字符的拼音信息；

按照所述拼音规则，拆解所述拼音信息中的声母、韵母和音调作为所述语系音标信息。

进一步地，以上所述的语音转换方法，所述获取语音信息，包括：

获取终端设备发送的语音数字信号；

将所述语音数字信号转换为所述语音信息。

进一步地，以上所述的语音转换方法，所述获取语音信息，还包括：

通过麦克风获取对话者发出的语音信息。

本发明还提供了一种语音转换装置，包括：获取模块、确定模块、拆解模块和振动模块；

所述获取模块，用于获取语音信息；

所述确定模块，用于根据所述语音信息，确定所述语音信息对应的语系；在预设的语系库中确定与所述语系对应的转换规则，其中，所述转换规则包括发音规则和振动规则；

所述拆解模块，用于按照所述发音规则拆解所述语音信息中每个字符对应的语系音标信息；

所述确定模块，还用于基于所述振动规则，确定所述语系音标信息对应的振动信息；

所述振动模块，用于控制与听力障碍者皮肤接触的振动设备按照所述振动信息进行振动，以将所述振动信息传递给所述听力障碍者。

进一步地，以上所述的语音转换装置，所述振动规则包括语系振动规则和音标振动规则；

所述确定模块，具体用于根据所述语系振动规则，确定所述振动信息中的语系振动信息，以及，根据所述音标振动规则，确定所述振动信息中的音标振动信息。

进一步地，以上所述的语音转换装置，所述发音规则包括所述语系中汉语语系对应的拼音规则；

所述拆解模块，具体用于将所述语音信息转换为文字信息；提取所述语音信息中每个所述字符的拼音信息；按照所述拼音规则，拆解所述拼音信息中的声母、韵母和音调作为所述语系音标信息。

进一步地，以上所述的语音转换装置，所述获取模块，具体用于获取终端设备发送的语音数字信号；将所述语音数字信号转换为所述语音信息。

本发明还提供了一种语音转换设备，包括处理器和存储器；

所述处理器与所述存储器相连接：

所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储所述程序，所述程序至少用于执行以上任一项所述的语音转换方法。

本发明的语音转换方法、装置和设备，通过获取语音信息，根据语音信息，确定语音信息对应的语系，在预设的语系库中确定与语系对应的转换规则，其中，转换规则包括发音规则和振动规则，按照发音规则拆解语音信息中每个字符对应的语系音标信息，基于振动规则，确定语系音标信息对应的振动信息，控制与听力障碍者皮肤接触的振动设备按照振动信息进行振动，以将振动信息传递给听力障碍者，听力障碍者根据感受到的振动信息，再结合振动规则和发音规则便可以确定语音信息的内容，实现了将他人的语音信息转化为听力障碍者能够感触的振动信息，而且在理解语音信息的内容的过程中能够利用语音信息的发音规则，日常交流中也可以进行发音训练，有效提高了听力障碍者与外界沟通的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明语音转换方法实施例的流程图；

图2是本发明编码在手掌上的位置示意图；

图3是本发明语音转换装置实施例的结构图；

图4是本发明语音转换设备实施例的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1是本发明语音转换方法实施例的流程图。如图1所示，本实施例的语音转换方法具体可以包括如下步骤：

S100、获取语音信息；

本实施例中，可以先获取语音信息。具体地，可以通过麦克风获取对话者发出的语音信息，还可以通过下述步骤获取手机、电脑等终端设备的语音信息：

(1)获取终端设备发送的语音数字信号；

(2)将语音数字信号转换为所述语音信息。

具体地，可以通过无线网络连接或者数据线连接等方式，获取手机、电脑等终端设备发送的语音数字信号，将语音数字信号转换为语音信息，进而实现“听书”“听语音”“听电话”等。

S101、根据语音信息，确定语音信息对应的语系；

地球上存在着数量众多的语系，例如汉语、英语、法语以及阿拉伯语等等。不同种类的语系对应着不同的发音规则，汉语发音是通过汉语拼音，而英语则是通过音标进行发音。本实施例中，可以根据获取到的语音信息，确定该语音信息所对应的语系。

S102、在预设的语系库中确定与语系对应的转换规则；

本实施例中，预先设置有语系库，不同的语系库对应不同的转换规则，其中，转换规则包括发音规则和振动规则。汉语和英语是全球使用量最大的两大语系，因此本实施例的语系库中可以包括汉语转换规则和英语转换规则。

S103、按照转换规则中的发音规则拆解语音信息中每个字符对应的语系音标信息；

获取到发音规则后，可以根据发音规则拆解语音信息中每个字符对应的语系音标信息。在一种具体地实施方式中，语系为汉语，那么发音规则对应为汉语语系对应的拼音规则，可以具体按照下述步骤进行拆解：

(1)将语音信息转换为文字信息；

(2)提取文字信息中每个字符的拼音信息；

(3)按照拼音规则拆解拼音信息中的声母、韵母和音调作为语系音标信息。

具体地，若获取到的语音信息为“我很喜欢你”，可以先将语音信息转换为文字信息，再提取文字信息中每个字符的拼音信息，提取出的拼音信息为“wǒhěn xǐhuān nǐ”。进一步对其进行拆解，可以得到的语系音标信息为“w o三声；h en三声；x i三声；h u an一声；n i三声”。其中，本实施例优选利用语音识别技术把中文语音转化为汉字。例如，讯飞语音识别技术，不仅识别的正确率高，而且支持多种方言。本实施例可以通过专用APP通过讯飞语音识别技术把语音信息转换为文字信息。

S104、基于转换规则中的振动规则，确定语系音标信息对应的振动信息；

可以根据振动规则，来确定语系音标信息对应的振动信息。本实施例中，振动规则包括语系振动规则和音标振动规则，可以通过下述步骤确定振动信息：

根据语系振动规则，确定振动信息中的语系振动信息，以及，根据音标振动规则，确定振动信息中的音标振动信息。

听力障碍者可以预先了解并熟悉振动规则。因此，本实施例中可以根据语系振动信息提醒听力障碍者语音信息的语系，以使听力障碍者可以确定与该语系对应的发音规则和振动规则，根据音标振动信息以及与该语系对应的发音规则和振动规则来对感知到的振动信息进行分析，进而确定振动信息对应的内容。本实施例中优选包括汉语语系和英语语系两大语系，因此可以设置两种不同的语系振动规则，以区分语系振动信息。

而无论是汉语语系和英语语系，均包含数十种发音元素，较为复杂，可以根据听力障碍者的实际情况来设置对应的振动规则，本实施例并不做限定。为了进一步说明音标振动信息的确定方式，本实施例以汉语语系为例，对其进行说明，需要注意的是，听力障碍者手部的触觉较常人灵敏，本实施例以振动听力障碍者手部(左手)为例进行说明。

图2是本发明编码在手掌上的位置示意图。本实施例中，音标振动信息分为长短信号。长信号表示声母，短信号表示韵母。手指或身体某部位通过不同位置的触碰与长短，感知信号传递的声母及韵母。一长一短的触碰将表示声母及韵母的组合，也就是一个汉字的发音。

23个声母的表示方式：12个不同位置的长信号对应12个声母。另11个声母以两个长信号表示。其中，表1是声母的编码表，声母的编码规则可以参考表1和图2。

24个韵母的表示方式：12个不同位置的短信号对应12个韵母。另12个韵母以两个短信号表示。其中，表2是韵母的编码表，韵母的编码规则可以参考表2和图2。

本实施例中，长信号优选触碰时间0.5s，短信号优选触碰时间0.2S，其中，信号间隔为0.3s。

b

3

p

4

m

5

f

6

d

7

t

8

n

9

l

10

g

11

k

12

h

13

j

14

q

3+14

x

4+14

zh

5+14

ch

6+14

sh

7+14

r

8+14

z

9+14

c

10+14

s

11+14

y

12+14

w

13+14

表1

a

3

o

4

e

5

i

6

u

7

ü

8

ai

9

ei

10

ui

11

ao

12

ou

13

iu

14

ie

3+13

üe

4+13

er

5+13

an

6+13

en

7+13

in

8+13

un

9+13

ün

10+13

ang

3+14

eng

4+14

ing

5+14

ong

6+14

表2

声调的表达方式：通过图2大拇指部分两个手指节1与2所接收的信号长短变化感知声调变化。一声优选1长2长，二声优选1长2短，三声优选1短2长，四声优选1短2短。

根据上述震动规则，可以确定语系音标信息“w o三声；h en三声；x i三声；h u an一声；n i三声”对应的音标振动信息为：13+14(长)-4(短)-1(短)2(长)；13(长)-7+13(短)-1(短)2(长)；4+14(长)-6(短)-1(短)2(长)；13(长)-7(短)-6+13(短)-1(长)2(长)；9(长)-6(短)-1(短)2(长)。

S105、控制与听力障碍者皮肤接触的振动设备按照振动信息进行振动。

本实施例中，可以按照图2所示的位置示意图，根据上述实施例中的语系振动信息和音标振动信息控制振动设备进行振动，以将振动信息传递给听力障碍者。听力障碍者可以预先了解并熟悉振动规则，进而可以得到声音信息中的主要内容。其中，振动设备可以是带有振动模组的手套或者带有振动模组的握杆，本实施例不做限定。

本实施例的语音转换方法，通过获取语音信息，根据语音信息，确定语音信息对应的语系，在预设的语系库中确定与语系对应的转换规则，其中，转换规则包括发音规则和振动规则，按照发音规则拆解语音信息中每个字符对应的语系音标信息，基于振动规则，确定语系音标信息对应的振动信息，控制与听力障碍者皮肤接触的振动设备按照振动信息进行振动，以将振动信息传递给听力障碍者，听力障碍者根据感受到的振动信息，再结合振动规则和发音规则便可以确定语音信息的内容，实现了将他人的语音信息转化为听力障碍者能够感触的振动信息，而且在理解语音信息的内容的过程中能够利用语音信息的发音规则，日常交流中也可以进行发音训练，有效提高了听力障碍者与外界沟通的能力。

为了更全面，对应于本发明实施例提供的语音转换方法，本申请还提供了语音转换装置。图3是本发明语音转换装置实施例的结构图，如图3所示，本发明的语音转换装置可以包括获取模块10、确定模块11、拆解模块12和振动模块13；

获取模块10，用于获取语音信息；

确定模块11，用于根据语音信息，确定语音信息对应的语系；在预设的语系库中确定与语系对应的转换规则，其中，转换规则包括发音规则和振动规则；

拆解模块12，用于按照发音规则拆解语音信息中每个字符对应的语系音标信息；

确定模块11，还用于基于振动规则，确定语系音标信息对应的振动信息；

振动模块13，用于控制与听力障碍者皮肤接触的振动设备按照振动信息进行振动，以将振动信息传递给听力障碍者。

本实施例的振动规则包括语系振动规则和音标振动规则；

确定模块11，具体用于根据语系振动规则，确定振动信息中的语系振动信息，以及，根据音标振动规则，确定振动信息中的音标振动信息。

本实施例的发音规则包括语系中汉语语系对应的拼音规则；

拆解模块12，具体用于将语音信息转换为文字信息，提取文字信息中每个字符的拼音信息；按照拼音规则，拆解拼音信息中的声母、韵母和音调作为语系音标信息；

获取模块10，具体用于获取终端设备发送的语音数字信号；将语音数字信号转换为语音信息。

获取模块10，具体还用于通过麦克风获取对话者发出的语音信息。

本实施例的语音转换装置，通过获取模块10获取语音信息，确定模块11根据语音信息，确定语音信息对应的语系，在预设的语系库中确定与语系对应的转换规则，其中，转换规则包括发音规则和振动规则，拆解模块12按照发音规则拆解语音信息中每个字符对应的语系音标信息，确定模块11基于振动规则，确定语系音标信息对应的振动信息，振动模块13控制与听力障碍者皮肤接触的振动设备按照振动信息进行振动，以将振动信息传递给听力障碍者，听力障碍者根据感受到的振动信息，再结合振动规则和发音规则便可以确定语音信息的内容，实现了将他人的语音信息转化为听力障碍者能够感触的振动信息，而且在理解语音信息的内容的过程中能够利用语音信息的发音规则，日常交流中也可以进行发音训练，有效提高了听力障碍者与外界沟通的能力。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

为了更全面，对应于本发明实施例提供的语音转换方法，本申请还提供了语音转换设备。

图4是本发明语音转换设备实施例的结构图，如图4所示，本实施例的语音转换设备，包括处理器21和存储器22；处理器21与存储器22相连接：处理器21，用于调用并执行存储器22中存储的程序；存储器22，用于存储程序，程序至少用于执行上述实施例的语音转换方法。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种语音转换方法，其特征在于，包括：

获取语音信息；

根据所述语音信息，确定所述语音信息对应的语系；

控制与听力障碍者皮肤接触的振动设备按照所述振动信息进行振动，以将所述振动信息传递给所述听力障碍者；

所述振动规则包括语系振动规则和音标振动规则；

根据所述语系振动规则，确定所述振动信息中的语系振动信息，以及，根据所述音标振动规则，确定所述振动信息中的音标振动信息；

所述发音规则包括所述语系中汉语语系对应的拼音规则；

将所述语音信息转换为文字信息；

提取所述文字信息中每个所述字符的拼音信息；

按照所述拼音规则，拆解所述拼音信息中的声母、韵母和音调作为所述语系音标信息；

长信号表示声母，短信号表示韵母，手指通过不同位置的触碰与长短，感知信号传递的声母及韵母，一长一短的触碰将表示声母及韵母的组合，也就是一个汉字的发音；

通过大拇指部分两个手指节1与2所接收的信号长短变化感知声调变化，一声优选1长2长，二声优选1长2短，三声优选1短2长，四声优选1短2短。

2.根据权利要求1所述的语音转换方法，其特征在于，所述获取语音信息，包括：

获取终端设备发送的语音数字信号；

将所述语音数字信号转换为所述语音信息。

3.根据权利要求1所述的语音转换方法，其特征在于，所述获取语音信息，还包括：

通过麦克风获取对话者发出的语音信息。

4.一种语音转换装置，其特征在于，包括：获取模块、确定模块、拆解模块和振动模块；

所述获取模块，用于获取语音信息；

所述振动模块，用于控制与听力障碍者皮肤接触的振动设备按照所述振动信息进行振动，以将所述振动信息传递给所述听力障碍者；

所述振动规则包括语系振动规则和音标振动规则；

所述确定模块，具体用于根据所述语系振动规则，确定所述振动信息中的语系振动信息，以及，根据所述音标振动规则，确定所述振动信息中的音标振动信息；

所述发音规则包括所述语系中汉语语系对应的拼音规则；

所述拆解模块，具体用于将所述语音信息转换为文字信息；提取所述语音信息中每个所述字符的拼音信息；按照所述拼音规则，拆解所述拼音信息中的声母、韵母和音调作为所述语系音标信息；

5.根据权利要求4所述的语音转换装置，其特征在于，所述获取模块，具体用于获取终端设备发送的语音数字信号；将所述语音数字信号转换为所述语音信息。

6.一种语音转换设备，其特征在于，包括处理器和存储器；

所述处理器与所述存储器相连接：

所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储所述程序，所述程序至少用于执行权利要求1-3任一项所述的语音转换方法。