CN1845037A - 一种语音代码方法及其输入器和感知器 - Google Patents

Abstract

本发明涉及一种语音代码方法及其输入器和感知器，该语音代码中包含了音节码，音节时间和音节节奏，音节码中有声母码、韵母码、声调和儿化音码、副语言学信息码。为了能让使用者通过肢体动作如说话一样快速的表达自己的思想，本发明从人的肢体动作中选出能同时表达音节码中所有信息的动作，编成肢体动作代码与音节码对应。使用者通过输入器做一个肢体动作就能表达声母、韵母、声调、情感等多个信息。聋哑人将这种语音代码输入到语音合成设备可更自然的与他人交流，语音代码输入到文字处理设备就能完成文字输入，盲人通过语音代码输入器用语音代码对计算机进行操作。通过此语音代码的感知器，使用者不通过看和听就能感知语音代码。

Description

一种语音代码方法及其输入器和感知器

技术领域：

本发明涉及一种语音代码方法及其输入器和感知器，尤其指用肢体动作代码来表示音节信息、且包含有音节时间和音节节奏的语音代码及其输入器，以及通过电刺激来感知语音代码的感知器。

背景技术：

1.对于语音代码方法及输入器如：专利申请号为97105923.3《语音数字编码的方法及其聋哑键盘》，采用了键盘这种顺序输入的设备，当输入一个语音代码的时候要敲击声母代码、韵母代码、和声调代码、一个字音需要多个动作来完成，这使字音与字音之间停顿时间不自然。再如专利申请号为：00101404.8《代码式口语语音输出系统》也采取了用多次敲打键盘输入一个代码的方案，并且所采用的编码方案是：“将常用口语按使用频率选出1000个常用字、词、短语，按类别编码为0、1、2、3……到999”，这种编码方案和字、词、短语没有必然的对应关系，使得记忆和学习很困难。采用键盘这种输入器的缺点在于携带比较麻烦，输入是一种顺序的方式。

2.对于聋哑人接收语音代码这个问题，大部分都采用了显示器这种常见的方法，但显示器有局限性，使用者要看着显示器时才知道信息内容，当没有注意显示器时就不能接收信息。专利申请号为92230980.9《聋哑声感器》，当外界有声音的时候这种设备能为使用者提供电刺激信号，但这种刺激信号含义单一不能用于交流，当然采用人造耳蜗直接解决聋哑人的听力问题是最好的方法，但价格极为昂贵，普及又是个问题。

本发明要解决几个技术问题：

人的语音信息很复杂，在汉语中一个汉字是一个音节，一个音节由声母、韵母和声调确定，这个音节还受到情感、发音的轻重等副语言学信息的影响。说话时一个音节的发音时间和音节与音节之间的节奏都是非常重要的信息。想通过输入代码的方法，并且用说话类似的节奏驱动语音合成设备产生自然的发音，输入代码的时间和节奏就很重要了。

1.要同时向语音合成设备输入声母、韵母和声调、情感、发音的轻重等信息，还要强调输入的时间和节奏，就必须采用并列式输入，即人们做一个肢体动作时通过能识别这个动作的设备同时将多个信息输出。因此从人复杂的肢体动作中选出能同时表达声母、韵母和声调、情感、发音轻重等信息，并且设备也容易识别的肢体动作就是解决问题的关键，把做一个肢体动作的时间与音节时间相对应，动作与动作之间的时间对应发音时的音节节奏。一旦这个问题解决，向文字处理设备输入文字的问题也就解决了。

2.需要一种输入器，人们在做这些特定动作时能识别这些动作，要求这种输入器应当尽量简单，使得它便于普及。

3.在接受语音代码时不仅仅局限于利用显示器，最好能让使用者不通过看和听感知语音代码，这样可以让聋哑人使用时更加方便，也能给正常人增加一个接受语音信息的渠道。

发明内容：

本发明的语音代码由音节码、音节时间、音节节奏组成，音节码包含有：声母码、韵母码、声调和儿化音码、副语言学信息码，其中副语言学信息码包括有副语言学中如情感、语气轻重等信息，结合具体的语音合成设备可以得到更加具体的定义。由于手指是肢体动作中最灵活的，所以采用手指动作与最复杂的声母码和韵母码对应。手指动作代码是这样规定的：

一只手五个手指中任意一个手指指尖是否与其它物体产生接触或按压，这定义为一个手指动作，用不同的手指来做这个动作共有五个。

一只手五个手指中任意两个手指指尖是否与其它物体产生接触或按压，这定义为一个手指动作，用不同的手指来做这个动作共有十个。

一只手五个手指中任意三个手指指尖是否与其它物体产生接触或按压，这定义为一个手指动作，用不同的手指来做这个动作共有十个。

一只手五个手指中任意四个手指指尖是否与其它物体产生接触或按压，这定义为一个手指动作，用不同的手指来做这个动作共有五个。

五个手指指尖全部与其它物体产生接触或按压的动作为一个动作。

五个手指指尖全部没有与其它物体产生接触或按压的动作为一个动作。

手指动作共计三十二个，用三十二个不同数字表示，这些数字就是手指动作代码。用什么数字没有要求，只要是唯一的对应关系就行，如果采用一个五位的二进制数字表示会比较方便。这三十二个手指的动作是最简单的手指动作，通过改变手指触及位置，能衍生出非常多的手指动作。比如：拇指接触食指的不同关节部位，拇指动作至少又能增加两个，这样就使得总的手指动作数量达到了六十四个，同理其它手指改变触及位置，每增加一个不同的触及位置手指动作数量就增加十六个。为了便于描述，本发明以手指的三十二个基础动作为代表。

由于手指、腕关节、肘关节动作是可以同时完成的，所以声调和儿化音码、副语言学信息码采用腕关节动作、肘关节动作来对应。腕关节分为向手背方向弯曲、不弯曲、向手心方向弯曲三个状态，两只手的腕关节动作代码就用九个数字来表示。手腕还可以向小指对应的手掌边缘方向以及拇指对应手掌边缘的方向弯曲，为了便于描述本发明的手腕弯曲方向只分为向手背或手心方向弯曲。对于手掌的动作，只要区别拇指和小指下对应的两块肌肉部位是否与其它物体接触或按压，这样一只手手掌动作就有四个状态，两只手手掌动作代码就用十六个不同的数字表示。肘关节是否与其它物体接触有两个状态，两只手的肘关节动作代码用四个数字表示。肘关节的弯曲角度用θ表示。语音信息中以类别区分的信息，如：声调和儿化音码，用不同的动作相对应。程度区分的信息，如：语气的轻重、情绪的程度，用关节的弯曲角度相对应。

语音代码的输入器要将肢体动作识别出来并转换为相应代码。为了能识别手指动作，在手指的指尖部位安装上能识别手指是否与其它物体接触或按压的感应器，最简单的方法是在指尖部位安装按钮。为了能将按钮更好固定在指尖部位，采用将按钮和数据线安装在手套中是一个好的方法，当然做个套环或类似结构固定也是可以的。手掌动作与手指动作的识别方法类似，在手掌相应部位安装上按钮。对于腕关节动作，手腕部位安装一个角度感应装置。当然在实际应用中腕部弯曲角度要测定还是有一定困难，所以只须判断腕关节向哪个方向弯曲就可以了。肘关节中的按压动作通过按钮来识别，肘关节的弯曲角度也是通过安装于肘关节的角度感应装置来解决。通常情况下使用者全部安装所有动作感应装置是不可取的，如果将腕关节动作状态与语音的声调相对应，那么由手指动作和腕关节动作感应装置构成输入器基本型，肘关节和手掌动作感应装置作为可选的装置。

对于代码的感知器，只要能同时感知声母码、韵母码和声调码就能理解代码。声母码、韵母码通过分别安装在十个手指部位的电刺激装置来感知。对于声调的感知只要再添加两个电刺激装置就能表示四个声调信息，但比较可取的方法是在手背和手心部位各加一个，共四个电刺激装置。这样电刺激位置与手腕弯曲状态相对应更容易记忆。

一旦建立了这种快速的语音代码输入方式，不仅仅可以解决聋哑人说话的问题，计算机的操作模式也增加了一种方式。我们通常采用鼠标操作计算机，因为输入一个命令控制计算机很麻烦，即使是精通五笔输入的人打字也觉得比说话更累，这是因为一个汉字往往需要敲击多次键盘才能输入。有了准确的语音代码，使快速的向计算机输入准确的操作命令成为可能，早期DOS下采用命令控制机器很麻烦，是因为计算机对命令的识别是机械的，随着计算机性能的提高，命令式控制可以提供模糊识别，智能识别的功能，利用语音代码方式使人与计算机的交互更加人性化。比如：输入语音代码shàngwǎng(上网)这个语音代码直接驱动计算机进入上网的模式，此时再输入wǎngyì(网易)，立刻就进入了163。在文档输入时想输入一个符号“∑”常规操作要到特殊符号栏里寻找，因为键盘上没有这个符号。通过语音代码输入：xigema，(假设定义没有声调就是输入符号)“∑”就快速的输入了。不仅如此语音代码可以不用记忆快捷键就能直接运行藏在深处的命令，例如：

输入语音代码mìnglìng(命令)xuánzhuàn(旋转)，计算机就进行相应的操作。特别在游戏中，很多操作都隐藏在菜单里，因为游戏不可能将快捷键全部设计在键盘上，快捷键记忆很麻烦，通过语音代码的直接驱动，将会使得游戏和软件操作更加方便。

目前盲人计算机缺乏一种好的交互方式，如果将操作系统进一步的开发，利用语音代码方式可以帮助盲人更好的使用计算机。

附图说明：

图1是初始动作示意图。

图2是腕关节动作示意图一。

图3是腕关节动作示意图二。

图4是肘关节动作示意图。

图5输入器、感知器、外接设备框图。

图6是使用者输入时的一个典型动作示意图。

1手指动作感应装置、2腕关节动作感应装置、3手掌动作感应装置、4肘关节动作感应装置、5语音代码处理装置、6语音代码输入器、7声韵母感应装置、8声调感应装置、9语音代码感知器、10语音合成设备、11文字处理设备、12显示器、13手掌、14腕关节、15肘关节、16鱼际、17小鱼际

具体实施方式：

用一个五位的二进制数字表示手指动作代码，用第一位表示拇指、第二位为食指、第三位为中指、第四位为无名指、第五位为小指。1表示按压手指，0表示悬空。例如：10010表示小指和食指按压，其余手指悬空。表1A是三十二个手指动作代码。

00000	00001	00010	00011
				00100	00101	00110	00111
01000	01001	01010	01011
				01100	01101	01110	01111
10000	10001	10010	10011
				10100	10101	10110	10111
11000	11001	11010	11011
				11100	11101	11110	11111

               表1A

为了将手指动作代码与语音中的声母和韵母相对应，采取了两个步骤：

从一只手的三十二个手指动作代码中取一个动作代码至少表示一个声母，直到对应所有声母，互补声母g与J、k与q、h与x对应一个手指动作代码或分别对应一个手指动作代码；

取另一只手三十二个手指动作代码中的一个动作代码至少表示一个韵母，直到对应所有韵母，互补韵母ü与uai、ia与ua、o与uo、üe与uei(ui)、uan与üan、uen(un)与ün、iang与uang、ong与iong、in与uai对应一个手指动作代码或分别对应一个手指动作代码。

根据以上的方法，从左手手指动作代码中选出21个对应声母，其中左手的11100对应er，韵母共有35个，有几对互补的韵母只对应一个手指动作代码。见表1B。(下画线的手指动作代码表示做起来相对困难)

序编号	左手指法	对应声母	右手指法	对应韵母
					1	00001	b	00001	ei
2	00010	p	00010	u
					3	00100	m	00100	ū     uai
4	01000	f	01000	ai
					5	10000	d	10000	ia     ua
6	00011	t	00011	o      uo
					7	00101	l	00101	e
8	01001	n	01001	ie
					9	10001	g	10001	úe(ue)uei(ui)
10	00110	k	00110	a
					11	01010	h	01010	i
12	10010	j	10010	ao
					13	11001	q	11001	ong    iong
14	10100	预留	10100	预留
					15	11000	x	11000	ou
16	00111	zh	00111	iou(iu)
					17	01011	ch	01011	an
18	10011	sh	10011	ian
					19	01101	r	01101	uan    ūan
20	10101	预留	10101	预留
					21	01100	z	01100	en
22	01110	c	01110	in
					23	10110		10110	预留
24	11010	s	11010	uen(un)ūn
					25	11100	er	11100	ang
26	01111	w	01111	iang   uang
					27	10111	预留	10111	预留
28	11011	预留	11011	eng
					29	11101	预留	11101	ing
30	11110	y	11110	ueng
					31	11111	预留	11111	iao
32	00000	预留	00000	预留

                          表1B

声调和儿化音码、副语言学信息码采用腕关节动作代码、肘关节动作代码来对应。为了方便描述腕关节动作代码，先定义初始动作，双手成掌形，掌心相对，双手手臂抬平与肩同宽，如图1，初始动作腕关节14的弯曲状态用000表示，弯曲角度θ＝0。手掌向手背方向弯曲了α度角如图2，此时把腕关节14的弯曲状态用100表示，弯曲角度θ＝α。如果手掌向手心方向弯曲了α如图3，此时腕关节14的弯曲状态用001表示，弯曲角度θ＝α。对于右手腕关节14来说，沿手背方向弯曲了α，状态就是100，θ＝α。沿手心方向弯曲了α，状态就是001，θ＝α。初始动作是为了描述的方便才假设的，腕关节动作代码是针对自身坐标而言的。无论人处于任何姿势，无论左右手，只要手掌向手背方向弯曲了α度角，腕关节14的动作代码就是100，θ＝α，只要手掌向手心方向弯曲了α度角，腕关节14的动作代码就是001，θ＝α。手掌动作代码的定义，手掌13的表面拇指下的肌肉突起部分医学上称为鱼际16，小指下的肌肉突起部分称为小鱼际17。当手掌的鱼际16或小鱼际17与其它物体产生接触或按压时用1表示，否则用0表示。这样手掌有四个动作状态，00表示鱼际16和小鱼际17都悬空、10表示鱼际16接触或按压而小鱼际17悬空、01表示小鱼际17接触或按压而鱼际16悬空、11表示两个都接触或按压。

肘关节动作代码的定义，用按压状态，弯曲角度来描述。肘关节15部位与其它物体产生按压用1表示，否则用0表示。肘关节15如图4，弯曲了β度角，用θ＝β表示。当然肘关节动作代码也是以自身坐标为参考的。

有了定义好的腕关节动作代码、手掌动作代码和肘关节动作代码后，只要将这些动作代码与音节码中的声调和儿化音码、副语言学信息码相对应即可，手掌动作代码作为预留。这些对应关系不是特定的，表2是将腕关节动作代码与声调对应一个举例

编号	腕关节动作状态码		弯曲角度θ		对应的语音编码信息
						1	100左手	000右手	α左手	0右手	语音中声调：阴平
2	001左手	000右手	α左手	0右手	语音中声调：阳平
						3	000左手	100右手	0左手	α右手	语音中声调：上声
4	000左手	001右手	0左手	α右手	语音中声调：去声
						5	000左手	000右手	0左手	0右手	语音中声调：轻声
6	100左手	100右手	α左手	α右手	语音中声调：阴平结尾儿化音
						7	001左手	001右手	α左手	α右手	语音中声调：阳平结尾儿化音
8	001左手	100右手	α左手	α右手	语音中声调：上声结尾儿化音
						9	100左手	001右手	α左手	α右手	语音中声调：去声结尾儿化音

                              表2

表2中，θ等于零很困难，如：可用θ≤5°表示θ＝0。

在语音编码中的声母码、韵母码以及声调确定后，用肘关节动作代码表示语音中的情感和语气轻重。表3是肘关节动作代码与副语言学信息码对应的一个举例：

编号	肘关节动作代码的接触状态		对应语音信息	肘关节动作代码的弯曲角度左手	对应语音信息	肘关节动作代码的弯曲角度右手	对应语音信息
								1	1左手	0右手	忧伤的	β左手	忧伤程度	β右手	语气轻重
2	0左手	1右手	喜悦的	β左手	喜悦程度
						3	1左手	1右手	愤怒的	β左手	愤怒程度
4	0左手	0右手	正常的	β左手	预留

                                        表3

当结合特定语音合成设备时，肢体动作代码表达的语音信息类型、含义都可以调整和变化。向语音合成设备输入语音代码时，语音代码中声母码、韵母码、声调是必须的，儿化音码、语气轻重、情感类别等语音的副语言学信息码作为可选的部分。

用语音代码以输入中英文为目的时，语音代码中的音节时间、音节节奏都舍弃，音节码中也只需要声母码、韵母码、声调码。对于英文字母输入时，只要将表1B，对应英文字母即可，并用右手的一些指法对应一些常见的操作。见表4：

顺序编号	左手指法	对应字母	对应声母	右手指法	对应韵母	对应字母或功能
							1	00001	b	b	00001	ei	空格
2	00010	p	p	00010	u	u
							3	00100	m	m	00100	ü   uai	v
4	01000	f	f	01000	ai
							5	10000	d	d	10000	ia   ua	回车
6	00011	t	t	00011	o    uo	o
							7	00101	l	l	00101	e	e
8	01001	n	n	01001	ie	英文大写字母锁定
							9	10001	g	g	10001	üe  uei(ui)	数字输入锁定
10	00110	k	k	00110	a	a
							11	01010	h	h	01010	i	i
12	10010	j	j	10010	ao
							13	11001	q	q	11001	ong  iong
14	10100		预留	10100	预留
							15	11000	x	x	11000	ou
16	00111	u	zh	00111	iou(iu)
							17	01011	v	ch	01011	an
18	10011	o	sh	10011	ian
							19	01101	r	r	01101	uan  üan
20	10101		预留	10101	预留
							21	01100	z	z	01100	en
22	01110	c	c	01110	in	常用符号循环切换
							23	10110			10110	预留
24	11010	s	s	11010	uen(un)ün
							25	11100	e	er	11100	ang	切换中英文输入模式
26	01111	w	w	01111	iang uang
							27	10111		预留	10111	预留
28	11011	a	预留	11011	eng
							29	11101	i	预留	11101	ing	逗号
30	11110	y	y	11110	ueng	回退键
							31	11111		预留	11111	iao	句号
32	00000		预留	00000	预留

                            表4

在中文输入时，双手的手指动作代码和腕关节动作代码确定了声母、韵母、和声调，同音字将以选择框形式出现，在选择框出现时，每个手指定义为一到十的选择，需要哪个字按下相应的手指即可，由于右手小指已经定义为回车，所以将选择第十项定义为左右手小指同时按下，如表5所示。

按压的手指名称	左小指	左无名指	左中指	左食指	左拇指	右拇指	右食指	右中指	右无名指	右小指和左小指
											对应选择号	1	2	3	4	5	6	7	8	9	0

                                表5

由于同音字很少超过十个，两个动作即可完成汉字的输入。在出现选择框时，可用手腕动作的弯曲状态代码来实现上下移动选择或翻页，然后通过右手小指按下(回车)选择，下面在表6中列举了几个字母和汉字的输入代码：

文字内容	读音	声调	左手手指动作代码	右手手指动作代码	腕关节动作代码
						W			01111
A				00110
						天	tian	一	00011	10011	100  000
下	xia	四	11000	10000	000  001
						…	…	…	…	…	…

                                表6

当然词组输入也是可以的，普通的拼音输入法要配合空格键使用，是因为拼音是多次输入完成的，通过当输入00111 11001 100000、11000 01110 100000即zhōng、xīn后，将出现选择框1中心2忠心3衷心，按下左手小指就输入了“中心”。由于轻声字在汉字输入中几乎没有，输入符号名称的轻声字音就作为符号输入，见表7。如果有重名的符号，就在选择框中选择即可。当输入数字时只要按数字锁定键，每个手指定义为一到十数字如表5，就可输入数字了。

标点	读音	读音	左手动作代码	右手动作代码	腕关节动作代码
						！	感叹号	gan	10001	01011	000  000
？	问号	wen	01111	01100	000  000
						《》	书名号	shu	10011	00010	000  000
∑	西格玛	xi	11000	01010	000  000
						*	星号	xing	11000	01010	000  000
％	百分号	bai	00001	01000	000  000
						…	…	…	…	…	…

                       表7

如图5，是输入器、感知器与外围设备之间工作框图。其中语音代码输入器6由手指动作感应装置1、腕关节动作感应装置2、手掌动作感应装置3、肘关节动作感应装置4、语音代码处理装置5构成。语音代码感知器9由声韵母感应装置7、声调感应装置8组成。手指动作感应装置1由分别安装于指尖部位的十个按钮组成，腕关节动作感应装置2由安装在腕关节的角度感应器组成。手掌动作感应装置3由分别安装在鱼际16和小鱼际17的按钮组成。肘关节动作感应装置4由安装于肘关节部位的按钮和角度感应器组成。声韵母感应装置由分别安装于十个手指部位的电刺激器组成，声调感应装置由分别安装于手背和手心位置的电刺激器组成。如图6是使用者的一个典型的输入动作。通过手指动作感应装置1得到手指动作代码：左手11001、右手11101、手腕代码，左手100、θ＝α_左，右手000、θ＝0，手掌动作代码是0000，肘关节动作代码左手0、θ＝β_左，右手0、θ＝β_右，根据表1B、表2、表3，语音代码处理装置5将语音代码输入到语音合成设备10驱动发音装置读出语音。语音代码处理装置5可以将代码输入到文字处理设备11完成文字输入，代码还可以以拼音的形式输入到显示器12。语音代码处理系统13将语音代码记录并保存，当需要时可以将记录的语音代码回放出来，这个过程通过计算机不难实现。同时语音代码输入到语音代码感知器9，当传来代码11001 11101 100000，左手手指动作代码11001表示声母q，右手手指动作代码11101表示韵母ing，腕关节动作代码100000表示一声，此时感知器向左手小指、无名指、拇指、手背部位产生一个电刺激，同时对右手小指、无名指、拇指产生一个电刺激，从而让使用者了解“qīng”这个音节。

Claims (7)

1.一种语音代码方法，代码由音节码、音节时间和音节节奏构成，每个音节码中有声母码、韵母码、声调和儿化音码、副语言学信息码，其特征是：

(1)每个音节码中声母码、韵母码、声调和儿化音码、副语言学信息码是并列关系，用一组能同时完成的肢体动作代码分别表示，向语音或文字处理设备输入一个音节码的声母码、韵母码、声调和儿化音码、副语言学信息码是不分先后同时完成的；

(2)输入每个音节码肢体动作所用时间就是音节时间；

(3)输入每个音节码肢体动作与肢体动作之间的时间就是音节节奏。

2.根据权利要求1所述的语音代码方法，其特征在于从一只手的手指动作代码中取一个动作代码表示一个声母，互补声母g与J、k与q、h与x对应一个或分别对应一个手指动作代码，直到所有声母都对应这只手的手指动作代码；取另一只手手指动作代码中的一个动作代码表示一个韵母，互补韵母ü与uai、ia与ua、o与uo、üe与uei(ui)、uan与üan、uen(un)与ün、iang与uang、ong与iong、in与uai对应一个或分别对应一个手指动作代码，直到所有韵母都对应这只手的手指动作代码。

3.根据权利要求1所述的语音代码方法，其特征在于用碗关节动作代码、手掌动作代码和肘关节动作代码与声调和儿化音码、副语言学信息码相对应。

4.一种用于输入权利要求1所述语音代码输入器(6)，其特征是从碗关节动作感应装置(2)、手掌动作感应装置(3)和肘关节动作感应装置(4)中至少选一个与手指动作感应装置(1)和语音代码处理装置(5)组成。

5.根据权利要求4所述的代码输入器，其所述手指动作感应装置(1)至少包含用于感应手指指尖是否与其它物体接触或按压的十个感应器。

6.一种用于感知权利要求1所述语音代码感知器(9)，其特征是由声韵母感应装置(7)和声调感应装置(8)、语音代码处理装置(5)组成。

7.根据权利要求6所述的代码感知器，其特征是所述声韵母感应装置(7)至少由十个分别安装于手指部位的电刺激器组成。

Images