CN101727766B - 基于虚拟人的手语新闻播报方法 - Google Patents

Abstract

本发明提供一种基于虚拟人的手语新闻播报方法，其包括以下步骤：S1对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

Description

基于虚拟人的手语新闻播报方法

技术领域

本发明涉及一种控制方法，特别是一种可以应用于电视节目双语播报的基于虚拟人的手语新闻播报方法。

背景技术

1998年日立公司成功开发了一个用于手语CAI的二维、三维动画软件，其中收集了手语单词4000多个，是目前较大型的手语教学软件。

2001挪威的东英格利亚大学、德国的汉堡大学等多个学术团体及公司的联合研究，开发出了ViSiCAST系统。该系统使用了运动捕获技术来捕捉运动数据，实现了从语音到英国手语的转换，目前已经应用到邮局等公共场所及网络上。

2004年Vcom3D公司开发了一套3D虚拟人的手语编辑软件，可以通过手语和脸部表情在互联网上和其他人交流。

2009年中国科学院计算技术研究所研发成功了“视频虚拟人手语编辑系统”，并将其应用在广播电视系统中。

但是现有的技术中都存在以下的问题：

1)虚拟人动作平滑与拟合问题

手语表达过程是一个连续手势姿态的变化过程。在手语合成系统中手语表达运动过程的描述与控制是建立在一系列称为关键帧的离散的特征姿态的基础上的，对关键帧进行插值从而生成连续的手势动作。然而对关键帧的选取以及差值算法的应用不当都会造成手势动作的变形，造成手语表意不准确。

(2)手语帧序列的优化问题

手语是一种通过手及手臂的运动来表达意思的特殊语言，与自然语言相比其在表意速度上存在着较大的差异。要将手语表达系统应用到电视新闻、天气预报、赛事解说等电视节目中，实现实时的手语翻译，如何对手语帧序列进行优化，在不影响表意的基础上，保证手语表述内容与播报画面内容在时间上的同步是一项重要技术。

发明内容

本发明为了克服上述现有技术的不足，本发明提供一种效果好的基于虚拟人的手语新闻播报方法。

本发明解决其技术问题所采用的技术方案是：提供一种基于虚拟人的手语新闻播报方法，其包括以下步骤：S1对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

本发明解决进一步技术问题的方案是：所述的步骤S1中，采用H-Anim标准对虚拟人进行建模。

本发明解决进一步技术问题的方案是：根据对H-Anim标准虚拟人关节层次结构的分析以及人体上肢关节自由度的约束，计算出虚拟人每个肢体的位置和方向。

本发明解决进一步技术问题的方案是：对帧向量进行简化包括以下步骤：a基于手指远指关节与其近指关节间的运动关联性，在帧向量中去掉除拇指之外的其余四指中表示关节的自由度，每只手中共计4个；b基于除拇指之外其余四指的指掌关节在屈曲方向的运动关联性，在帧向量中去掉中指及无名指中表示指关节的自由度以及指掌关节中表示屈曲方向的自由度，每只手中共计4个；c基于拇指腕掌关节与拇指指掌关节的运动关联性，在帧向量中去掉拇指中表示关节的自由度，每只手1个。

本发明解决进一步技术问题的方案是：所述的计算帧权值包括以下步骤：(1)在句子的起始处和末尾处增加两个虚拟帧，其帧向量分别与原句子首帧和末帧的帧向量相同；

(2)定义δ_(i-1，i)为第i帧与第i-1帧之间的变化量，其计算公式如下：

${\mathrm{\δ}}_{(i-1,i)}=\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^i-G_{{\mathrm{\θ}}_j}^{i-1})}^2$

其中保证句子的首帧和末帧不会在优化过程中被丢掉，规定若δ_(i-1，i)的值为0，则令δ_(i-1，i)＝∞；

(3)最后得出帧的权值计算公式：

$Q_i={\mathrm{\δ}}_{(i-1,i)}+{\mathrm{\δ}}_{(i,i+1)}=\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_i}^i-G_{{\mathrm{\θ}}_i}^{i-1})}^2+\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_i}^{i+1}-G_{{\mathrm{\θ}}_i}^i)}^2$

其中Q_i为帧的权值，G为虚拟人手势姿态的向量。

本发明解决进一步技术问题的方案是：所述的步骤S3中，采用微软公司的Directshow平台对视频流进行处理。

本发明解决进一步技术问题的方案是：视频叠加就是要将视频中的每一幅图像中满足一定条件的那部分像素丢弃，然后把剩余部分的图像叠加到目标视频图像中去。

本发明解决进一步技术问题的方案是：所述的步骤S3中，采用根据像素的RGB值实现视频的叠加算法。

相较于现有技术，本发明的基于虚拟人的手语新闻播报方法通过分析手及手臂的关节链结构及运动特点，采用H-Anim1.1对虚拟人建模，并实现了关节角向量到虚拟人特定手势姿态的映射。在此基础上，运用Hermite插值算法对关节角向量进行插值计算，在驱动虚拟人各手势姿态间的平滑过渡的同时实现了对其运动速度的有效控制，对手语新闻播报过程中手语与声音同步的问题进行了分析，针对手语表达速度较慢的特点，以个帧之间的相对变化量为筛选依据的帧序列优化策略，并在根据手指关节运动过程中存在的约束关系，对原有的帧向量表示法进行了简化，给出了帧的相对变化量的计算方法，从而实现了基于语句的帧序列的优化方法，基本解决了手语新闻播报过程中手语与声音的同步问题。

附图说明

图1是本发明的基于虚拟人的手语新闻播报方法的原理模块示意图。

图2是本发明的基于虚拟人的手语新闻播报方法的人体模型层析结构示意图。

图3是本发明的基于虚拟人的手语新闻播报方法的扩充后的句子帧序列示意图

具体实施方式

本发明的基于虚拟人的手语新闻播报方法可以应用于电视节目双语播报、计算机辅助哑语教学、手语彩信、聋哑人辅助终端设备、电子指示牌、电子广告以及数字互动娱乐等诸多领域，其应用有助于改善和提高聋哑人的生活学习和工作条件，为他们供更好的服务。

本发明提供一种基于虚拟人的手语新闻播报方法，其包括以下步骤：

S1对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列。在此基础上，运用Hermite插值算法对关节角向量进行插值计算，在驱动虚拟人各手势姿态间的平滑过渡的同时实现了对其运动速度的有效控制。

人的身体包括很多段，这些段由关节相连。要使虚拟人动起来，就需要获得关节并且改变关节的角度，并且还必须知道关节角度的限制和段的质量。本发明的基于虚拟人的手语新闻播报方法采用H-Anim(HumanoidAnimation)标准对虚拟人进行建模。H-Anim中使用三类结点(Node)表示一个虚拟人体模型：人体重心(Humanoin)、人体关节(Joint)和人体骨骼段(Segment)，并把整个人体分成1个人体重心、77个关节和47个骨骼段。另外，还使用VRML(Virtual Reality Modeling Language)中的几何模型表示方法定义了每个肢体(即骨骼段)的几何模型。每个骨骼段(Segment)的位置都在其所在的关节坐标系中定义，而每个几何模型依附于相应的骨骼段，这些元素一起表示了一个完整的虚拟人模型，H-Anim中人体模型结构如图2所示。

根据对H-Anim1.1标准虚拟人关节层次结构的分析以及人体上肢关节自由度的约束知道，一个虚拟人共有47个关节96个自由度。只要确定这96个自由度的角度值，应用运动学的方法，就可以计算出虚拟人每个肢体的位置和方向，由此唯一确定虚拟人的一个姿态，手语是人体上肢运动，手语运动是人体运动在人体上肢关节上的投影。因此，显示手语(即将手语映射到虚拟人姿态)时，用0值填充非上肢关节角度后，即可将一个手语运动表示扩充为一个完整的人体运动表示。

通过对手及手臂抽象模型的分析，可以得出，一只手臂从肩关节到远端指关节共有28个自由度。其中肩关节有3个自由度，肘关节有2个自由度，腕关节有2个自由度，各手指关节共有21个自由度。这样，两只手共用56个自由度表示。因此，一个手势可以用一个56元向量表示，一个手语运动则可以用一个从时间到手势集合的向量函数表示：

$G\left(t\right)=G_{[{\mathrm{\θ}}_1,{\mathrm{\θ}}_2,...{\mathrm{\θ}}_{56}]}\left(t\right)$

向量各维度具体含义如下表所示：

表1手势静态姿势向量(一只手)

针对上述线性插值中存在的问题，系统使用Hermite基函数的插值样条加以改进。一段Hermite样条插值两个端点及两个端点出的切矢量。给定四个控制矢量P0，P1，P2，P3，其中P2为点P0的切矢量，P3为点P1的切矢量，则有着四个矢量决定的三次Hermite样条曲线段为：

$Q\left(u\right)=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}{P}_i{b}_i\left(u\right)---\left(1\right)$

其中b0(u)，b1(u)，b2(u)，b3(u)为Hermite基函数：

b₀(u)＝2u³-3u²+1

b₁(u)＝-2u³+3u²

b₂(u)＝u³-2u²+u

b₃(u)＝u³-u²

容易验证，Q(0)＝P₀，Q(1)＝P₁，Q′(0)＝P₂，Q′(1)＝P₃。通过改变切向的大小，可以调整曲线的形状。

只要确定了非极值点处的关键帧的速度即可确定整条曲线。对于非极值点的速度，由公式(2)确定，其中λ为权值，在缺省时为1。

${\mathrm{\ω}}_i=\mathrm{\λ}\left(\frac{{\mathrm{\θ}}_{i+1}-{\mathrm{\θ}}_{i-1}}{t_{i+1}-t_{i-1}}\right)---\left(2\right)$

很容易得到，插值的曲线函数为：

$\mathrm{\θ}\left(t\right)={\mathrm{\θ}}_i{b}_0\left(\frac{t-t_i}{t_{i+1}-t_i}\right)+{\mathrm{\θ}}_{i+1}{b}_1\left(\frac{t-t_i}{t_{i+1}-t_i}\right)+{\mathrm{\ω}}_i{b}_2\left(\frac{t-t_i}{t_{i+1}-t_i}\right)+{\mathrm{\ω}}_{i+1}{b}_3\left(\frac{t-t_i}{t_{i+1}-t_i}\right)t\∈[t_i,t_{i+1}]---\left(3\right)$

本方法的基于虚拟人的手语新闻播报方法选用的Hermite插值方法基本解决了对关节运动速度实现控制的要求。

S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化。针对手语表达速度较慢的特点。本方法的基于虚拟人的手语新闻播报方法提出了以个帧之间的相对变化量为筛选依据的帧序列优化策略，并在根据手指关节运动过程中存在的约束关系，对原有的帧向量表示法进行了简化，给出了帧的相对变化量的计算方法，从而实现了基于语句的帧序列的优化方法，基本解决了手语新闻播报过程中手语与声音的同步问题。

手语是一种通过手及手臂的运动来表达意思的特殊语言，与自然语言相比其在表意速度上存在着较大的差异。要将手语表达系统应用到电视新闻、天气预报、赛事解说等电视节目中，实现实时的手语翻译，为保证手语表述内容与播报画面内容在时间上的同步首先要解决的问题就是解决速度上的差异。针对手语表意速度较慢的特点，方法提出了以个手语帧之间的相对变化量为筛选依据的帧序列优化策略，并在根据手指关节运动过程中存在的约束关系，对原有的帧向量表示法进行了简化，给出了帧的相对变化量的计算方法，基本解决了手语新闻播报过程中手语与声音不同步的问题。

由以上的分析可知，用一个56维的关节角向量可以精确的控制虚拟人的手势姿态，然而在求解帧与帧之间相对变化量的计算中，不需要对手势姿态进行精确的定位。下面将通过对手指关节运动关联性的分析，对该向量进行化简，基于人体机构学的分析，手指关节在运动过程中存在以下关联约束关系：

1)人的手指，若想活动远指关节DIP，则必然要利用与其相邻的近指关节PIP，否则手指活动不自然。因此，在不施加外部约束的情况下，PIP关节与DIP关节旋转角度间具有线性化的约束关系，用公式可表示为：

θ_DIP(T)＝(2/3)θ_PIP(T)    (4)

2)除拇指以外的其余四指中，一个手指的屈曲运动受手掌中手指间韧带的伴随拉力约束，这种屈曲运动也会同样引起相邻手指的屈曲运动。同样，一个手指的伸展运动也会受到其他手指的屈曲运动的阻碍。经过对《中国手语》中手语词的手指形态的分析，不难发现中指的运动一般跟随食指的运动，无名指的运动一般跟随小拇指运动。

3)对于拇指，它的很大一部分运动与手掌运动关联，且其运动时不与其它手指发生相互约束关系，可以单独列出其拇指腕掌关节CM与拇指掌指关节MP之间的约束关系，如下式所示：

${\mathrm{\θ}}_{\mathrm{MP}}\left(T\right)=2({\mathrm{\θ}}_{\mathrm{CM}}^x\left(T\right)-30)---\left(5\right)$

根据以上对手指关节的运动关联性的分析，本发明的基于虚拟人的手语新闻播报方法在求解相邻帧的相对变化量的计算中对帧相量进行如下简化：

1)基于手指远指关节DIP与其近指关节PIP间的运动关联性，在帧向量中去掉除拇指之外的其余四指中表示DIP关节的自由度(每只手中共计4个)。

2)基于除拇指之外其余四指的指掌关节在屈曲方向的运动关联性，在帧向量中去掉中指及无名指中表示PIP关节的自由度以及指掌关节中表示屈曲方向的自由度(每只手中共计4个)。

3)基于拇指腕掌关节CM与拇指指掌关节MP的运动关联性，在帧向量中去掉拇指中表示MP关节的自由度(每只手1个)。

通过上述约定，可以把原来用来表示一个特定虚拟人手势姿态的56维自由度向量简化为38维向量

$G_{[{\mathrm{\θ}}_1,{\mathrm{\θ}}_2,...,{\mathrm{\θ}}_{38}]}$

其中每个关节所占维数及旋转方向如表2所示：

本发明的基于虚拟人的手语新闻播报方法定义帧的权值为该帧在所在句子帧序列中相对于其前后相邻两帧的变化程度，用Q_i表示。选取句子作为同步的基准单位，设句子中原有帧数为n，根据对帧的选取策略的约定，可以通过以下步骤实现帧权值的计算：

(1)首先为保证句子的首帧和末帧不会在优化过程中被丢掉，本方法在句子的起始处和末尾处增加两个虚拟帧，其帧向量分别与原句子首帧和末帧的帧向量相同，如图3所示；

(2)定义δ_(i-1，i)为第i帧与第i-1帧之间的变化量，其计算公式如下：

${\mathrm{\δ}}_{(i-1,i)}=\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^i-G_{{\mathrm{\θ}}_j}^{i-1})}^2---\left(6\right)$

其中保证句子的首帧和末帧不会在优化过程中被丢掉，规定若δ_(i-1，i)的值为0，则令δ_(i-1，i)＝∞。

(3)最后得出帧的权值计算公式：

$Q_i={\mathrm{\δ}}_{(i-1,i)}+{\mathrm{\δ}}_{(i,i+1)}=\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^i-G_{{\mathrm{\θ}}_j}^{i-1})}^2+\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^{i+1}-G_{{\mathrm{\θ}}_j}^i)}^2---\left(9\right)$

对于手语语句表达过程中的其他帧，一般认为在运动过程中若一帧相对于与其相邻两帧的变化程度较小，那么该帧在整个运动过程中的对手势姿态特征的表述能力较弱，在运动速度较快时可以被舍去。

S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

本发明的基于虚拟人的手语新闻播报方法采用微软公司的Directshow平台对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

视频是由一帧一帧连续的图像组成的。视频叠加就是要将视频中的每一幅图像中满足一定条件的那部分像素丢弃，然后把剩余部分的图像叠加到目标视频图像中去。

实现视频叠加的方法有很多种，常见的有根据像素的RGB值、亮度值、Alpha值、色调等。本发明的基于虚拟人的手语新闻播报方法采用根据像素的RGB值实现视频的叠加算法。一个典型的视频叠加过程可描述为：扫描主视频图像，将指针定位到需要叠加的位置；逐一扫面叠加图像的像素值，如果是底色像素(用黑色作为底色)则跳过，如果不是则用该像素值替换主视频图像中对应位置的像素值；直到整幅图像扫面完毕。将视频中的每一幅图像重复上述的叠加过程即可实现视频的实时叠加。另外，如果叠加图像是通过摄像机在纯色背景下实地拍下来的，那么像素值会有一定的误差，此时在叠加算法中要考虑一定的冗余量。

本发明的基于虚拟人的手语新闻播报方法实现了RGB565\RGB32两种格式的视频叠加算法，其效率对比如表3所示。

表3视频叠加算法的效率比较

本发明的基于虚拟人的手语新闻播报方法通过分析手及手臂的关节链结构及运动特点，采用H-Anim1.1对虚拟人建模，并实现了关节角向量到虚拟人特定手势姿态的映射。在此基础上，运用Hermite插值算法对关节角向量进行插值计算，在驱动虚拟人各手势姿态间的平滑过渡的同时实现了对其运动速度的有效控制，对手语新闻播报过程中手语与声音同步的问题进行了分析，针对手语表达速度较慢的特点，以个帧之间的相对变化量为筛选依据的帧序列优化策略，并在根据手指关节运动过程中存在的约束关系，对原有的帧向量表示法进行了简化，给出了帧的相对变化量的计算方法，从而实现了基于语句的帧序列的优化方法，基本解决了手语新闻播报过程中手语与声音的同步问题。

Claims (3)

1.一种基于虚拟人的手语新闻播报方法，其包括以下步骤：S1采用H-Anim标准对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报；

对帧向量进行简化包括以下步骤：a基于手指远指关节DIP与其近指关节PIP间的运动关联性，在帧向量中去掉除拇指之外的其余四指中表示DIP关节的自由度，每只手中共计4个；b基于除拇指之外其余四指的指掌关节在屈曲方向的运动关联性，在帧向量中去掉中指及无名指中表示PIP指关节的自由度以及指掌关节中表示屈曲方向的自由度，每只手中共计4个；c基于拇指腕掌关节CM与拇指指掌关节MP的运动关联性，在帧向量中去掉拇指中表示MP关节的自由度，每只手1个；

所述的计算帧权值包括以下步骤：(1)在句子的起始处和末尾处增加两个虚拟帧，其帧向量分别与原句子首帧和末帧的帧向量相同；

(2)定义δ_(i-1，i)为第i帧与第i-1帧之间的变化量，其计算公式如下：

${\mathrm{\δ}}_{(i-1,i)}=\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^i-G_{{\mathrm{\θ}}_j})}^2$

其中保证句子的首帧和末帧不会在优化过程中被丢掉，规定若δ_(i-1，i)的值为0，则令δ_(i-1，i)＝∞；

(3)最后得出帧的权值计算公式：

$Q_i={\mathrm{\δ}}_{(i-1,i)}+{\mathrm{\δ}}_{(i,i+1)}=\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^i-G_{{\mathrm{\θ}}_j}^{i-1})}^2+\underset{j=1}{\overset{38}{\mathrm{\Σ}}}{(G_{{\mathrm{\θ}}_j}^{i+1}-G_{{\mathrm{\θ}}_j}^i)}^2$

其中Q_i为帧的权值，G为虚拟人手势姿态的向量，θ为自由度向量。

2.根据权利要求1所述的基于虚拟人的手语新闻播报方法，其特征在于：根据对H-Anim标准虚拟人关节层次结构的分析以及人体上肢关节自由度的约束，计算出虚拟人每个肢体的位置和方向。

3.根据权利要求1所述的基于虚拟人的手语新闻播报方法，其特征在于：所述的步骤S3中，采用微软公司的Directshow平台对视频流进行处理。

Images