CN103297709A - 汉语有声影像资料加注汉语字幕的装置 - Google Patents

Abstract

本技术方案是一种汉语有声影像资料加注汉语字幕的装置,属于计算机系统声音和图像数据处理技术领域。本技术方案的装置包括：音视频同步信号标记模块1、有声语言音频信号提取模块2、汉语语音识别模块3、视频画面或影像画面字幕叠加机模块4，以上模块按照信息处理的流程依次串联而成。有了本技术方案的装置可以使整个汉语信息可以在纯ASCII系统的计算机中进行处理，能够更方便地利用西方先进的西文软硬件资源来处理汉语字幕和图像叠加的技术问题，大大提高了汉语有声影像资料计算机信息处理的效率。

Description

汉语有声影像资料加注汉语字幕的装置

技术领域

本技术方案属于嵌入式或非嵌入式计算机系统声音和图像数据处理技术领域，以下叙述中将嵌入式和非嵌入式计算机系统统称为计算机系统。

背景技术

目前市面上的汉语有声影像资料的汉字字幕叠加,一般通过人工方式将汉语有声影像资料中的汉语转换成汉字，再交给视频画面或影像画面字幕叠加机将表达汉语意思的汉字字幕叠加在视频画面或影像画面上，由于存在大量的没有汉字字幕的汉语有声影像资料，因此，采用人工转换汉字字幕的方式费工费时，而且随着数字有声影像技术的出现，特别是计算机系统用于处理视频影像资料的技术出现，越来越需要有一种能自动根据汉语语音转换成汉语字幕的技术出现，而且这种能自动根据汉语语音转换成汉语字幕的技术不但能在带汉字系统的计算机系统中运行，还能在不带汉字系统而只带128个字符的ASCII码系统的以美国为代表的西方国家的计算机系统中运行，以满足世界互联网的日益广泛的运用和云计算、物联网以及世界各地汉语热出现的新形势的需要。

发明内容

本技术方案的提出就是为了解决上述出现这些问题。具体来说本技术方案通过采用以下的汉语有声影像资料加注汉语字幕的装置来解决上述出现的问题：

本技术方案的装置包括：音视频同步信号标记模块1、有声语言音频信号提取模块2、汉语语音识别模块3、视频画面或影像画面字幕叠加机模块4，以上模块按照信息处理的流程依次串联而成。

本技术方案的装置工作时按如下步骤进行: 首先通过传统计算机软件的音视频同步信号标记模块1，做好影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记,然后将带同步信号标记的有声语言的音频信号通过有声语言音频信号提取模块2提取出来，传给计算机中的汉语语音识别模块3，汉语语音识别模块将汉语语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码或汉字, 再将上述带同步信号标记的汉语语音码字幕或汉字字幕或它们对照文本字幕传输给传统的视频画面或影像画面字幕叠加机模块4，根据汉语语音码字幕或汉字字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,并与具有相同同步信号标记的带字幕的视频画面或影像画面合成在一起储存或同步输出。 

上述的音视频同步信号标记模块1可以采用现有的制作视频画面或影像画面与音频同步时间戳标记技术来完成。

上述的汉语语音码需要时，在汉字系统的计算机中可以通过汉语语音识别模块3内含的汉字转换模块转换成汉字,汉语语音码或汉字能够单独或者汉语语音码、汉字、汉语拼音，意义一致的外文两两对照显示、储存、输出。

上述所述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。

由于本技术方案采用26个拉丁字母表示的汉语语音码来表达汉语信息，且当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，这样就保证了汉语信息的表达连标点符号在内都与ASCII码完全一致，也即与ASCII码100%兼容，这样上述汉语语音识别模块，由于处理的汉语信息是用与ASCII码完全一致的汉语语音码来表示的，这样就使得该模块可以在ASCII码系统的计算机中运行，因此，确保了汉语有声影像资料加注汉语字幕的装置可以在ASCII码系统的计算机中运行，上述问题得以解决。

有了本技术方案以后，就能通过计算机自动根据汉语语音转换成汉语字幕大大提高了有声影像信息处理的效率，而且这种能自动根据汉语语音转换成汉语字幕的技术不但能在带汉字系统的计算机系统中运行，而且还能再不带汉字系统只带128个字符的ASCII码系统的以美国为代表的西方国家的计算机系统中运行，这样能够更方便地利用西方先进的西文软硬件资源来处理汉语字幕和图像叠加的技术问题。

附图说明

图1是本发明汉语有声影像资料加注汉语字幕的装置示意图。

具体实施方式

下面结合实施例对本发明的具体实施方式作进一步的说明。

（一）本技术方案所采用的汉语语音码的每一音节声、韵、调的编码方法采用以下的方法：

注：破折号“—”后的符号均为汉语拼音符号，破折号“—”前的字母为所采用的汉语每一音节声、韵、调的编码,以下均同，以下将下列对照表简称为码表。

这里值得指出的是：在用键盘键入汉语语音码及汉语语音码语句的标点符号时，组成汉语语音码编码的26个拉丁字母与西文标准键盘的26个字母键完全一一相同对应，汉语语音码语句的标点符号键与西文标准键盘的标点符号键也一一相同对应，输入汉语语音码字母和标点符号时，只需要击打西文标准键盘的相应的相同键位即可。

1、声码的编码符号采用与汉语拼音方案基本一致的声母的字母符号，比如采用下面这种声码的编码形式：

b—b  ;      p—p   ;     m—m  ;    f—f  ;   d—d  ;    t—t   ;

n—n  ;      l—l    ;    g—g    ;  k—k   ;  h—h   ;

j—zh， j ;  q—ch，q  ;  x—sh，x  ;r—r   ;

z—z    ;    c—c    ;    s—s    ;  y—y  ;    w—w   。

2、汉语拼音介母（ü）采用26个拉丁字母中的一个字母表示，比如采用下面这种介码的编码形式：

i—i   ;   u—u  ;   y—ü   。

3、韵码的编码，对单韵母除（ü）采用26个拉丁字母中的一个字母表示外，其它采用与汉语拼音相同的字母符号，汉语拼音的复合韵母可以采用《汉语拼音方案》相同的形式，也可以采用一个辅音字母来编码，比如采用下面的这种字母符号来对汉语拼音的韵母进行编码：

a—a  ;   o—o   ;    e—e    ;    i—i    ;    u—u   ;   y—ü  ;

k—ao ;   c— ai  ;   s—an  ;     x—ou ;      w—ei  ;   n—en  ; 

z—ua  ;  l—uo  ;    b—ang  ;    d—ong   ;   p—eng  ；

q—ing  ; g—ng   ;   er—er   ;

r—i  ;  “i只与汉语拼音声母zh、ch、sh相拼时，汉语拼音的i用语音码的编码r代表”。即：汉语拼音的zhi、chi、shi分别用语音码的jr、qr、xr代表。jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位输入。

4、调码的编码除采用一个汉语不用的辅音字母v表示汉语拼音的上声（∨）外，其它采用元音字母来表示汉语的声调，比如采用下面的字母来对汉语拼音的声调进行编码： 

a—  — ，阴平 ;  e— / ，阳平 ;   v— ∨ ，上声 ;   u—\ ，去声 ;

o—  拼音不标轻声调号， 轻声 。

（二）利用上述编码的汉语语音码汉语信息表示采用如下的方法：

以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码，同一个单词的多个音节不用空格隔开连写，单词与单词之间的编码用空格隔开，当汉语信息表示处于汉语语音码状态时，其六种点号，七种标号和一个移行号采用与英文相同的形式；

这里由于将独立运用的汉字看作单音节词，因此，本发明所采用的汉字编码的方法和汉语单词音节编码的方法相同，在本发明中采用单词音节编码按词连写后得到单词编码，我们将由若干个单词组成的一组词称为词组，本发明所采用词组的编码同汉语句子的编码相同，由于单词可以表示词组和汉语句子，因此在本发明中所采用的词组的编码和汉语句子的编码都可以通过单词的编码实现，而不需要对词组和汉语句子另外制定一套专门的编码，一般在整句整篇以词为单位表示汉语信息时，在理解时一般不需要进行同音字词的选择，原则上听起来不会产生歧义的句子，用编码表达时也不会产生歧义。

下面以一句含有汉语语音句子的影像资料为例来说明本技术方案的具体实现步骤：

在将汉语语音影像资料转变成汉语文字并加注汉语字幕的影像资料时, 首先通过传统计算机软件的音视频同步信号标记模块1，做好影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记, 音视频同步信号标记模块1制作同步信号标记可以采用现有的制作视频画面或影像画面与音频同步时间戳标记的技术进行。当汉语语音影像资料中汉语语音和影像画面已经有了可以利用的同步信号标记，可以直接利用该同步信号标记，可以不再利用同步信号标记模块1做新的同步信号标记。

然后将带同步信号标记的有声语言的音频信号通过有声语言音频信号提取模块2提取出来，提取方法可以直接按系统储存的有声语言音频数字信号提取，也可以将有声语言音频信号通过D/A数模转换装置将系统储存的有声语言音频数字信号转换成模拟信号再提取出来，更原始的方法是有声语言音频信号通过喇叭播放有声语言的声音的方式提取出来，这里就不一一枚举。

提取出来的有声语言音频信号传给计算机中的汉语语音识别模块3，汉语语音识别模块将汉语语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码。

当采用汉语语音码汉语语音识别模块3来进行汉语语音识别时，该汉语语音识别模块将汉语音节作为识别的基元，通过查找预先储存在计算机系统中的汉语音节语音模板和汉语语音音节码对照表，匹配后识别出相应的汉语音节语音码，语音连续输入时便得到连续的汉语音节语音码串，对上述得到汉语音节语音码串通过查词库的方式进行按词切分，对多种单词切分，可以依据汉语词法句法上下文联系及统计规律等手段进行判别后再进行单词切分，对切分出的单词采取同一单词的音节与音节之间连写，词与词之间空格的方式表示。

下面例举用本发明方法对汉语语音进行汉语语音码识别的例子：

汉语语音转换成汉语语音码：

比如：我们提取影像资料中的下列汉语句子的汉语语音：

“我们每天使用拉丁文 。” 

（1）通过查找预先储存在计算机系统中的汉语音节语音模板和汉语语音音节码对照表，匹配后识别出相应的汉语音节语音码串：

Wov mno  mwv tisa  xrv ydu laa dqa wnv  .（音节与音节之间有空格）

或wovmnomwvtisaxrvydulaadqawnv.  （音节与音节之间无空格）

(熟练后mno中的轻音符o在不引起混音时可以省略,以上以下均同。)

 [0024] 这样便完成了一个系统的复杂性与系统的词库规模性无关的纯语音识别过程。

（2）将语音码串进行单词切分，最终完成以词为单位的语音码转换。

通过查找预先储存在计算机系统中的分好词的汉语语音码单词词库，将同一个单词的多个音节连写，词与词之间用空格隔开便得到以下我们最终需要的汉语语音码：

Wovmno   mwvtisa   xrvydu   laadqawnv.

再将上述带同步信号标记的汉语语音码字幕传输给传统的视频画面或影像画面字幕叠加机模块(4)，根据汉语语音码字幕与视频画面或影像画面同步信号标记的对应关系将汉语字幕信息叠加在视频画面或影像画面上。

这样我们采用上述方法实现了将汉语语音影像资料转变成加注汉语字幕的影像资料。

更进一步在得到汉语语音码后，汉语语音码需要时可以通过汉语语音码汉字转换模块转换成汉字,该汉语语音码汉字转换模块可以内含在汉语与外语双向机器翻译模块4中，此时整个系统必须运行在汉字系统的计算机中, 汉语语音码或汉字能够单独或者汉语语音码与汉字、汉语拼音，意义一致的外文对照显示、储存、输出,此时整个系统必须运行在汉字系统的计算机中。

通过调用汉语语音码汉字双向转换模块计算机通过以下步骤将汉语语音码转换成汉字：

通过分别查找汉语语音码与以词为单位的汉字和汉语拼音对照表可以方便地将汉语语音码转换成汉字和汉语拼音，比如：

wovmno 通过查声码、介码、韵码、调码和汉语拼音对照表或根据该对照表生成的汉语语音码音节或单词和拼音音节或单词对照表得到wǒmen，再通过wǒmen查找到以词为单位的汉字，当以单词为单位的语音码通过以单词为单位的汉语拼音与以单词为单位的汉字建立对应关系后，一旦需要以单词为单位的语音码可以不再需要通过以单词为单位的汉语拼音，直接与以单词为单位的汉字建立对应关系并实行相应的转换。比如： wovmno 可以转换为wǒmen，再通过wǒmen可以转换成 “我们”，这样wovmno和“我们”便直接建立了对应关系，需要时可以不通过汉语拼音wǒmen进行转换，而直接在wovmno和“我们”之间实现双向可逆转换。

遇同音词时，可以依据汉语词法句法上下文联系及统计规律等手段进行判别后进行以词为单位的汉字选定。比如：ysvlune 上装满了邮包。ysvlune上装满了原油。结合上下文的联系可以知道：前面一句中的“ysvlune”代表邮轮，后面一句中的“ysvlune” 代表油轮，这两句话分别会转换成“邮轮上装满了邮包”和“油轮上装满了原油”。对其它单词情况也依次类推。

上述双向可逆转换的结果既可以单独显示也可以对照显示，比如：

原句：“我们每天使用汉语拉丁文。”用本发明方法计算机可以可逆地转换为以下几种形式：

1.“Wǒmen   měitiān    shǐyòng         lādīngwěn。”

2.“wovmno   mwvtisa      xrvydu            laadqawnv.”

3.“Wǒmen   měitiān   shǐyòng    lādīngwěn。”

       我们      每天       使用          拉丁文。

 

4.“wovmno   mwvtisa   xrvydu     laadqawnv.”

      我们       每天      使用         拉丁文。

 

5. “Wǒmen       měitiān      shǐyòng       lādīngwěn。”

    “wovmno      mwvtisa       xrvydu          laadqawnv.”

为了让外国人或中国少数民族更方面地了解汉语的含义和学习汉语，也可以在每个对照的单词中插入相应的外语单词或少数民族文字，比如在下面的单词中加入相应的英语单词作中文意思的注解：

“wovmno Wǒmen  mwvtisa měitiān  xrvydu shǐyòng  laadqawnv lādīngwěn 。”

我们   We        每天every day         使用  use          拉丁文Latine。

用上述方法，计算机对汉语语音及其对应的汉语文字幕实现了转换，这里的汉语文字包括汉字、汉语拼音以及汉语语音码。 

最后通过将上述汉语语音识别模块所识别得到的与汉语语音相同同步时间戳的汉语语音码或汉字字幕或汉语拼音字幕，传输给传统的视频画面或影像画面字幕叠加机，根据汉语语音码或汉字字幕与视频画面或影像画面时间戳的对应关系将字幕信息叠加在视频画面或影像画面上，便实现了汉语有声影像资料加注汉语字幕的目的。

Claims (10)

1.一种汉语有声影像资料加注汉语字幕的装置,其特征是该装置包括：音视频同步信号标记模块(1)、有声语言音频信号提取模块(2)、汉语语音识别模块(3)、视频画面或影像画面字幕叠加机模块(4)，以上模块按照信息处理的流程依次串联而成。

2.如权利要求1所述的汉语有声影像资料加注汉语字幕的装置, 所述装置工作时按如下步骤进行: 首先通过传统计算机软件的音视频同步信号标记模块(1)，做好影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记,然后将带同步信号标记的有声语言的音频信号通过有声语言音频信号提取模块(2)提取出来，传给计算机中的汉语语音识别模块(3)，汉语语音识别模块将汉语语音识别成带与所识别的汉语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码或汉字, 再将上述带同步信号标记的汉语语音码字幕或汉字字幕或它们对照文本字幕传输给传统的视频画面或影像画面字幕叠加机模块(4)，根据汉语语音码字幕或汉字字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,并与具有相同同步信号标记的带字幕的视频画面或影像画面合成在一起储存或同步输出。

3.如权利要求1所述的汉语有声影像资料加注汉语字幕的装置,其特征是: 所述的音视频同步信号标记模块(1)可以采用现有的制作视频画面或影像画面与音频同步时间戳标记技术来完成。

4.如权利要求2所述的汉语有声影像资料加注汉语字幕的装置,其特征是:所述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。

5.如权利要求4所述的汉语有声影像资料加注汉语字幕的装置,其特征是:所述的汉语语音码是声母全部用辅音拉丁字母表示，用于表示汉语信息的语音码的声母除了（zh）、（ch）、（sh）的声母分别用j、q、x三个辅音拉丁字母表示外，其余的声母用与汉语拼音相同符号的辅音拉丁字母表示，汉语拼音的（zhi）、（chi）、（shi）分别用语音码的jr、qr、xr表示，汉语拼音的（er）用语音码的er来表示，jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位输入。

6.如权利要求4所述的汉语有声影像资料加注汉语字幕的装置,其特征是: 所述的汉语语音码用26个字母中的一个字母y表示原来汉语拼音单韵母和介母中的（ü），其余单韵母和介母的编码采用与汉语拼音单韵母和介母相同的符号。

7.如权利要求4所述的汉语有声影像资料加注汉语字幕的装置,其特征是:所述的汉语语音码除了部分带有介母的复合韵母外，其余的复合韵母的韵码用辅音字母表示。

8.如权利要求7所述的汉语有声影像资料加注汉语字幕的装置,其特征是:所述的汉语语音码用拉丁字母k、 c、s 、x、w、 n、 z、 l、 b、d、p、q、g（无声母韵母）分别表示汉语拼音的（ao）、（ai）、（an）、（ou）、（ei）、（en）、（ua）、（uo）、（ang）、（ong）、（eng）、（ing）、（ng）。

9.如权利要求4所述的汉语有声影像资料加注汉语字幕的装置,其特征是: 所述的汉语语音码其调码用四个元音字母和一个汉语不用的字母v表示，用拉丁字母a、e、v、u、o分别表示汉语拼音的阴平（－）、阳平e：（/）、上声v：（∨）、去声u：（\）、轻声o（不标）。

10.如权利要求2所述的汉语有声影像资料加注汉语字幕的装置,其特征是: 所述的汉语语音码需要时，在汉字系统的计算机中可以通过汉语语音识别模块(3)内含的汉字转换模块转换成汉字,汉语语音码或汉字能够单独或者汉语语音码、汉字、汉语拼音，意义一致的外文两两对照显示、储存、输出。