CN103853709A

CN103853709A - 计算机汉语有声影像资料自动加注中外文字幕的方法

Info

Publication number: CN103853709A
Application number: CN201210522696.5A
Authority: CN
Inventors: 苗玉水
Original assignee: Shanghai Nenggan Epc System Network Co Ltd
Current assignee: QINGHAI HANLA INFORMATION TECHNOLOGY CO., LTD.
Priority date: 2012-12-08
Filing date: 2012-12-08
Publication date: 2014-06-11

Abstract

本技术方案是一种计算机汉语有声影像资料自动加注中外文字幕的方法，属于计算机系统声音和图像数据处理技术领域。在将汉语语音影像资料转变成加注中外文字幕的影像资料时，将汉语有声语言的信号提取出来传给汉语语音识别模块并识别成汉语语音码或汉字，再通过机器翻译模块翻译成指定的外文，再将它们单独或中外文对照文本字幕传输给传统的视频画面字幕叠加机，将字幕信息叠加在视频画面上，并与相同同步信号的视频画面合成在一起储存或同步输出。本技术方案可以使整个汉语信息可以在纯ASCII系统的计算机中进行处理，可以方便外国观众通过中国汉语影视资料学汉语。

Description

计算机汉语有声影像资料自动加注中外文字幕的方法

技术领域

本技术方案属于嵌入式或非嵌入式计算机系统声音和图像数据处理技术领域，以下叙述中将嵌入式和非嵌入式计算机系统统称为计算机系统。

背景技术

目前市面上的汉语有声影像资料的汉字或外文或其对照字幕叠加，一般通过人工方式将汉语有声影像资料中的汉语转换成汉字或外文，再交给视频画面或影像画面字幕叠加机将表达汉语意思的汉字或外文或汉字与外文对照字幕叠加在视频画面或影像画面上，由于存在大量的汉语有声影像资料，这种影像资料包括电视录像和电影等各种格式储存的有声影像资料，因此，如果单靠采用人工转换的方式会很费工费时，而且随着计算机数字有声影像处理技术的出现，越来越需要有一种能根据汉语语音自动转换成表达汉语信息的字符和外文以及它们的对照并加注字幕到同步对应的影像资料画面上去的技术出现，而且这种能自动根据汉语转换成汉语和外文及其它们对照字幕的技术，不但能在带汉字系统的计算机系统中运行，还能再不带汉字系统只带128个字符的ASCII码系统的以美国为代表的西方国家的计算机系统中运行，以满足世界互联网的日益广泛的运用和云计算、物联网、世界各地出现的汉语热，以及中西文化交流越来越频繁的新形势的需要。

发明内容

本技术方案的提出就是为了解决上述出现这些问题。具体来说本技术方案通过采用以下的计算机汉语有声影像资料自动加注中外文字幕的方法来解决上述出现的问题：

在将汉语语音影像资料通过计算机自动在影像资料中加注字幕时, 首先通过现有计算机软件做好影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记, 这里的同步信号标记可以采用现有的制作视频画面或影像画面与音频同步时间戳标记技术来完成,以上以下均同。然后将带同步信号标记的有声语言的音频信号提取出来传给计算机中的汉语语音识别模块，汉语语音识别模块将汉语语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码,再通过机器翻译模块将上述汉语语音码翻译成用26个拉丁字母表示的与对应汉语语音码句子具有相同同步信号标记的指定的外文, 再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给传统的视频画面或影像画面字幕叠加机，根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,并进行储存或同步输出。

上述所述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。

由于本技术方案采用26个拉丁字母表示的汉语语音码来表达汉语信息，且当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，这样就保证了汉语信息的表达连标点符号在内都与ASCII码完全一致，也即与ASCII码100%兼容，这样上述各种汉语信息处理模块，由于处理的汉语信息是用与ASCII码完全一致的汉语语音码来表示的，这样就使得这些模块可以在ASCII码系统的计算机中运行，由于组成整个系统的模块可以在ASCII码系统的计算机中运行，因此，整个系统可以在ASCII码系统的计算机中运行。

有了本技术方案以后，汉语信息可以在汉字内码系统和非汉字内码系统的ASCII内码系统的计算机信息系统中畅通无阻地进行传输和处理，而且随着世界互联网的日益广泛的运用和云计算、物联网以及世界各地汉语热的出现，使得外国观众能够更方便地通过中国的影视资料学汉语,从而使汉语能够更广更好地传播到世界各地，促进中国文化走向世界。

除了汉语以汉语语音码的形式输出外，本技术方案所述的汉语语音码需要时，在汉字系统的计算机中可以通过汉字转换模块转换成汉字, 并且汉语语音码或汉字能够单独或者汉语语音码、汉字、汉语拼音，意义一致的外文两两对照显示、储存、输出。

具体实施方式

下面结合实施例对本发明的具体实施方式作进一步的说明。

（一）本技术方案所采用的汉语语音码的每一音节声、韵、调的编码方法采用以下的方法：

注：括号内的符号均为《汉语拼音方案》中的汉语拼音符号，以下简称为汉语拼音符号，不带括号的字母为本方案所采用的汉语语音码的每一音节声、韵、调的编码符号，以下将下列对照表简称为码表；

1、声码的编码符号采用与汉语拼音方案基本一致的声母的字母符号，比如采用下面这种声码的编码形式：

b：（b） p : （p） m：（m） f：（f） d：（d） t：（t）

n：（n） l：（l） g：（g） k：（k） h：（h）

j: （zh），（j） q：（ch），（q） x：（sh），（x） r：（r）

z：（z） c：（c） s：（s） y：（y） w：（w）

2、汉语拼音介母（ü）采用26个拉丁字母中的一个字母表示，比如采用下面这种介码的编码形式：

i：（i） u：（u） y：（ü）

3、韵码的编码，对单韵母除（ü）采用26个拉丁字母中的一个字母表示外，其它采用与汉语拼音相同的字母符号，汉语拼音的复合韵母只要是采用辅音字母来编码都是可以的，比如采用下面的这种字母符号来对汉语拼音的韵母进行编码：

a：（a） o：（o） e：（e） i：（i） u：（u） y：（ü）

k：（ao） c：（ai） s :（an） x：（ou） w：（ei） n：（en）

z：（ua） l：（uo） b：（ang） d：（ong） p：（eng）

q：（ing） g：（ng） er：（er）

r：（i） [ 只与（zh）、（ch）、(sh）相拼]

4、调码的编码除采用一个汉语不用的辅音字母v表示汉语拼音的上声（∨）外，其它采用元音字母来表示汉语的声调，比如采用下面的字母来对汉语拼音的声调进行编码：

a : （－）阴平 e：（/）阳平 v：（∨）上声 u：（\）去声 o：（不标）轻声

（二）利用上述编码的汉语语音码汉语信息表示采用如下的方法：

以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码，同一个单词的多个音节不用空格隔开连写，单词与单词之间的编码用空格隔开，当汉语信息表示处于汉语语音码状态时，其六种点号，七种标号和一个移行号采用与英文相同的形式；

这里由于将独立运用的汉字看作单音节词，因此，本发明所采用的汉字编码的方法和汉语单词音节编码的方法相同，在本发明中采用单词音节编码按词连写后得到单词编码，我们将由若干个单词组成的一组词称为词组，本发明所采用词组的编码同汉语句子的编码相同，由于单词可以表示词组和汉语句子，因此在本发明中所采用的词组的编码和汉语句子的编码都可以通过单词的编码实现，而不需要对词组和汉语句子另外制定一套专门的编码，一般在整句整篇以词为单位表示汉语信息时，在理解时一般不需要进行同音字词的选择，原则上听起来不会产生歧义的句子，用编码表达时也不会产生歧义。

下面以一句含有汉语语音句子的影像资料为例来说明本技术方案的具体实现步骤

一．首先通过现有计算机软件做好影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记,然后将带同步信号标记的汉语有声语言的音频信号提取出来传给计算机中的汉语语音识别模块，汉语语音识别模块将汉语普通话语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码,这里的同步信号标记可以采用现有的制作视频画面或影像画面与音频同步时间戳来标记。

当采用汉语语音码汉语语音识别模块来进行汉语语音识别时，该汉语语音识别模块将汉语音节作为识别的基元，通过查找预先储存在计算机系统中的汉语音节语音模板和汉语语音音节码对照表，匹配后识别出相应的汉语音节语音码，语音连续输入时便得到连续的汉语音节语音码串，对上述得到汉语音节语音码串通过查词库的方式进行按词切分，对多种单词切分，可以依据汉语词法句法上下文联系及统计规律等手段进行判别后再进行单词切分，对切分出的单词采取同一单词的音节与音节之间连写，词与词之间空格的方式表示。

下面例举用本发明方法对汉语语音进行汉语语音码识别的例子：

1．汉语语音转换成汉语语音码：

比如：我们提取到影像资料中下面一句句子的汉语语音：

“我们每天使用拉丁文。”

（1）通过查找预先储存在计算机系统中的汉语音节语音模板和汉语语音音节码对照表，匹配后识别出相应的汉语音节语音码串：

Wov mno mwv tisa xrv ydu laa dqa wnv .（音节与音节之间有空格）

或wovmnomwvtisaxrvydulaadqawnv. （音节与音节之间无空格）

(熟练后mno中的轻音符o在不引起混音时可以省略,以上以下均同。)

为了让大家看清楚这里将表示声调的字母加了下划线，语音码中的声调字母同时具隔音节作用，实际语音码中声调无下划线，熟练汉语语音码后声调兼隔音节符能够方便区分出来。

这样便完成了一个系统的复杂性与系统的词库规模性无关的纯语音识别过程。

（2）将语音码串进行单词切分，最终完成以词为单位的语音码转换。

通过查找预先储存在计算机系统中的分好词的汉语语音码单词词库，将同一个单词的多个音节连写，词与词之间用空格隔开便得到以下我们最终需要的汉语语音码：

Wovmno mwvtisa xrvydu laadqawnv.

二．调用汉语语音码与外文双向转换模块，再将得到的汉语语音码表示的汉语信息转换成以英文为主的外文。

(注:以上以下文中出现的与汉语语音码对照的汉字是为了方便理解汉语语音码的含义,实际在纯ASCII码系统运行中并不出现, 以上以下均同)

比如将上面得到的汉语语音码表示的汉语信息：

wovmno mwvtisa xrvydu laadqawnv .

调用汉语语音码与英文为主的外语双向翻页模块得到以下翻译转换步骤:

a)查预先储存在计算机系统中的标注单词词性的汉语词典建立单词词性串：（句中括号内的部分是词性，以下均同）

wovmno（人称代词1）+ mwvtisa（时间名词1）+ xrvydu（动词1）+ laadqawnv（名词2）.

我们（人称代词1） + 每天（时间名词1） +使用（动词1） + 拉丁文（名词2）。

b)根据上面得到的句子词性串查预先储存在计算机系统中的表得到预先储存在表中的汉语句型：

（词性和该词所作的句子成分串组成句型，以下均同）

wovmno（人称代词1作主语）+ mwvtisa （时间名词1作时间状语）+ xrvydu（动词1作谓语）+ laadqawnv （名词2作宾语）

我们（人称代词1作主语） + 每天（时间名词1作时间状语） + 使用（动词1作谓语）+ 拉丁文（名词2作宾语）

c)根据上面得到的汉语句型查表得到预先储存在表中的对应的英语句型：

wovmno（人称代词1作主语）+ xrvydu （动词1作谓语）+ laadqawnv（名词2作宾语）+ mwvtisa（时间名词1作时间状语）

我们（人称代词1作主语） +使用（动词1作谓语） + 拉丁文（名词2作宾语）+ 每天（时间名词1作时间状语）

此时查预先储存在计算机系统中的汉英词库进行单词或词组意思的转换，并按此句型顺序输出便完成汉语翻译成英语的转换，为了表明此机器翻译过程的可双向性，我们再作下面进一步的变换：

d)根据上面得到英语句型查表得到预先储存在表中的与对应的英语单词或词组词性相一致的词性串：（该词性串也可从得到的目标语言句型中提取得到，以下均同）

wovmno（人称代词1）+ xrvydu（动词1）+ laadqawnv（名词2）+ mwvtisa（时间名词1）.

我们（人称代词1） + 使用（动词1） + 拉丁文（名词2） + 每天（时间名词1）。

e)查预先储存在计算机系统中的汉英词库进行单词或词组意思的转换并按上面所得到的英语句型的顺序输出：

we（人称代词1） use（动词1） latin（名词2） every day（时间名词1）.

we use latin every day.

这样便完成了汉语翻译成以英文为主的外文的转换。再将上述得到的带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给传统的视频画面或影像画面字幕叠加机，根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上，并进行储存或输出。

三．更进一步在得到汉语语音码后，汉语语音码需要时可以通过汉语语音码汉字转换模块转换成汉字,此时整个系统必须运行在汉字系统的计算机中, 汉语语音码或汉字能够单独或者汉语语音码、汉字、汉语拼音，意义一致的外文两两对照显示、储存、输出,此时整个系统必须运行在汉字系统的计算机中。

通过调用汉语语音码汉字双向转换模块计算机通过以下步骤将汉语语音码转换成汉字：

通过分别查找汉语语音码与以词为单位的汉字和汉语拼音对照表可以方便地将汉语语音码转换成汉字和汉语拼音，比如：

wovmno 通过查声码、介码、韵码、调码和汉语拼音对照表或根据该对照表生成的汉语语音码音节或单词和拼音音节或单词对照表得到wǒmen，再通过wǒmen查找到以词为单位的汉字，当以单词为单位的语音码通过以单词为单位的汉语拼音与以单词为单位的汉字建立对应关系后，一旦需要以单词为单位的语音码可以不再需要通过以单词为单位的汉语拼音，直接与以单词为单位的汉字建立对应关系并实行相应的转换。比如： wovmno 可以转换为wǒmen，再通过wǒmen可以转换成 “我们”，这样wovmno和“我们”便直接建立了对应关系，需要时可以不通过汉语拼音wǒmen进行转换，而直接在wovmno和“我们”之间实现双向可逆转换。

遇同音词时，可以依据汉语词法句法上下文联系及统计规律等手段进行判别后进行以词为单位的汉字选定。比如：ysvlune 上装满了邮包。ysvlune上装满了原油。结合上下文的联系可以知道：前面一句中的“ysvlune”代表邮轮，后面一句中的“ysvlune” 代表油轮，这两句话分别会转换成“邮轮上装满了邮包”和“油轮上装满了原油”。对其它单词情况也依次类推。

上述双向可逆转换的结果既可以单独显示也可以对照显示，比如：

原句：“我们每天使用汉语拉丁文。”用本发明方法计算机可以可逆地转换为以下几种形式：

1.“Wǒmen měitiān shǐyòng lādīngwěn。”

2.“wovmno mwvtisa xrvydu laadqawnv.”

3.“Wǒmen měitiān shǐyòng lādīngwěn。”

我们每天使用拉丁文。

4.“wovmno mwvtisa xrvydu laadqawnv.”

我们每天使用拉丁文。

5. “Wǒmen měitiān shǐyòng lādīngwěn。”

“wovmno mwvtisa xrvydu laadqawnv.”

为了让外国人或中国少数民族更方面地了解汉语的含义和学习汉语，也可以在每个对照的单词中插入相应的外语单词或少数民族文字，比如在下面的单词中加入相应的英语单词作中文意思的注解：

“wovmno Wǒmen mwvtisa měitiān xrvydu shǐyòng laadqawnv lādīngwěn 。”

我们 We 每天every day 使用 use 拉丁文Latine。

用上述方法，通过现有的视频画面或影像画面与字符信号叠加技术将汉语语音及其对应中外文字幕实现了同步对应的视频画面或影像画面合成叠加储存或输出。

依次类推，用上述方法，我们还可以实现汉语对其它外语对应字幕的同步对应视频画面或影像画面合成叠加储存或输出。这里就不一一累述。

Claims

1.一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是: 在将汉语语音影像资料通过计算机自动在影像资料中加注字幕时, 首先通过现有计算机软件做好影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记,然后将带同步信号标记的有声语言的音频信号提取出来传给计算机中的汉语语音识别模块，汉语语音识别模块将汉语语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码,再通过机器翻译模块将上述汉语语音码翻译成用26个拉丁字母表示的与对应汉语语音码句子具有相同同步信号标记的指定的外文, 再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机，根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,并进行储存或同步输出。

2.如权利要求1所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是:所述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。

3.如权利要求1或2所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是:所述的汉语语音码是声母全部用辅音拉丁字母表示，用于表示汉语信息的语音码的声母除了（zh）、（ch）、（sh）的声母分别用j、q、x三个辅音拉丁字母表示外，其余的声母用与汉语拼音相同符号的辅音拉丁字母表示，汉语拼音的（zhi）、（chi）、（shi）分别用语音码的jr、qr、xr表示，汉语拼音的（er）用语音码的er来表示，jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位输入。

4.如权利要求1或2所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是: 所述的汉语语音码用26个字母中的一个字母表示原来汉语拼音单韵母和介母中的（ü），其余单韵母和介母的编码采用与汉语拼音单韵母和介母相同的符号。

5.如权利要求1或2所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法，其特征是:所述的汉语语音码用y来表示原来汉语拼音单韵母和介母中的（ü）。

6.如权利要求1或2所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是:所述的汉语语音码除了部分带有介母的复合韵母外，其余的复合韵母的韵码用辅音字母表示。

7.如权利要求6所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是:所述的汉语语音码用拉丁字母k、 c、s 、x、w、 n、 z、 l、 b、d、p、q、g（无声母韵母）分别表示汉语拼音的（ao）、（ai）、（an）、（ou）、（ei）、（en）、（ua）、（uo）、（ang）、（ong）、（eng）、（ing）、（ng）。

8.如权利要求1或2所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是: 所述的汉语语音码其调码用四个元音字母和一个汉语不用的字母v表示，用拉丁字母a、e、v、u、o分别表示汉语拼音的阴平（－）、阳平e：（/）、上声v：（∨）、去声u：（\）、轻声o（不标）。

9.如权利要求1或2所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是: 所述的汉语语音码需要时，在汉字系统的计算机中可以通过汉字转换模块转换成汉字,汉语语音码或汉字能够单独或者汉语语音码、汉字、汉语拼音，意义一致的外文两两对照显示、储存、输出。

10.如权利要求1所述的一种计算机汉语有声影像资料自动加注中外文字幕的方法,其特征是: 所述的同步信号标记可以采用现有的制作视频画面或影像画面与音频同步时间戳标记技术来完成。