CN103136780A

CN103136780A - 基于关键帧的手语语流音变动画合成方法

Info

Publication number: CN103136780A
Application number: CN 201310085417
Authority: CN
Inventors: 孔德慧; 李烁; 王立春
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2013-03-18
Filing date: 2013-03-18
Publication date: 2013-06-05

Abstract

本发明公开了一种基于关键帧的手语语流音变动画合成方法，包括：接收需要表达的文本并将所述文本拆分成至少一个词根；使用所述若干个词根作为索引在手语运动数据库中检索对应的手语运动数据；对检索出的所述手语运动数据进行解析，得到手形数据和手位置数据，并对所述手形数据和手位置数据所对应的关键帧进行修改，从而将语流音变效果加入所述手形数据和手位置数据所对应的关键帧中；将带有语流音变效果的所述手形数据和手位置数据所对应的关键帧以及普通关键帧进行插值处理得到连续的手语动画。本发明通过在手语动画中表现语流音变现象，提高了手语动画的真实感。

Description

基于关键帧的手语语流音变动画合成方法

技术领域

本发明属于手语运用技术领域，尤其是涉及一种基于关键帧的手语语流音变动画合成方法。

背景技术

聋人交流主要使用手语，手语动画合成的目的就是通过计算机合成的虚拟人来演示手语，为聋人创建一个信息平台。

其中，语流音变是一种语言现象，在手语中表现为相邻的手势互相影响，从而使手势的姿态相对于标准姿态发生变化。这种变化使得在上下文中出现的手势姿态与单独出现时有明显差异。语流音变现象是手语表达过程中的一个重要特点，它体现了真实的手语表达与简单的手势连接之间的区别。在手语动画中表现语流音变，可以提高手语动画的真实感和可懂度，使虚拟人的动作更加自然，更加接近真人。

目前的手语合成系统已经能够有效地传递绝大部分沟通内容，但对于虚拟人动作的细节和行为方式与真人的吻合却缺乏有效的表达。虚拟人的动作与真人比较显得生硬，缺乏连贯性和真实感。

因此，如何在手语动画中表现语流音变现象，提高手语动画的真实感便成为亟待解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于关键帧的手语语流音变动画合成方法，以解决如何在手语动画中表现语流音变现象，提高手语动画的真实感等问题。

为解决上述技术问题，本发明提供了一种基于关键帧的手语语流音变动画合成方法，包括：

接收需要表达的文本并将所述文本拆分成至少一个词根；

使用所述若干个词根作为索引在手语运动数据库中检索对应的手语运动数据；

对检索出的所述手语运动数据进行解析，得到手形数据和手位置数据，并对所述手形数据和手位置数据所对应的关键帧进行修改，从而将语流音变效果加入所述手形数据和手位置数据所对应的关键帧中；

将带有语流音变效果的所述手形数据和手位置数据所对应的关键帧以及普通关键帧进行插值处理得到连续的手语动画。

进一步地，对所述手形数据及手位置数据所对应的关键帧进行修改，进一步包括：

对检索出的所述手语运动数据进行解析，得到手形数据及手位置数据，并对所述手形进行相似性度量；

对解析得到的所述手形数据和手位置数据的关键帧进行修改，从而将语流音变效果加入所述手形数据和手位置数据所对应的关键帧中；

对运动数据中的普通关键帧进行修改。

进一步地，所述关键帧插值处理，进一步采用基于最优控制原理的插值方法。

进一步地，所述关键帧中存储的信息为运动过程中的每个关键姿态中上肢各关节的自由度旋转角度。

进一步地，所述相似性度量进一步通过手形间的距离和预置阈值比较进行判断。

进一步地，所述手形间的距离进一步由自由度上的旋转角度及各个自由度的权值确定。

进一步地，对解析得到的所述手形数据的关键帧的修改，进一步由速度调节参数和整体调节参数确定。

进一步地，对解析得到的所述手位置数据的关键帧的修改，进一步由影响权因子确定。

与现有技术相比，本发明所述的基于关键帧的手语语流音变动画合成方法不仅能增强手语动画的真实感和表现力，丰富表现元素，同时还会提高到手语动画的可懂度，具有重要意义。

附图说明

图1为本发明实施例所述的一种基于关键帧的手语语流音变动画合成方法流程图。

图2为图1所示方法流程中第三步骤的具体展开方法流程图。

图3为本发明实施例所述的方法中S_AB>TH时系数e随速度调节参数变化的图形。

图4为本发明实施例所述的方法中S_AB>TH时系数e随手形之间距离S_AB变化的图形。

图5为本发明实施例所述的方法中S_AB>TH时系数e随速度调节参数和手形之间距离S_AB变化的三维图形。

图6为本发明实施例所述的方法中S_AB<TL时系数e随速度调节参数变化的图形。

图7为本发明实施例所述的方法中S_AB<TL时系数e随手形之间距离S_AB变化的图形。

图8为本发明实施例所述的方法中S_AB<TL时系数e随速度调节参数和手形之间距离S_AB变化的三维图形。

图9为本发明实施例所述的方法中影响权因子随速度调节参数变化的图形。

具体实施方式

以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。

如图1所示，为本发明实施例所述的一种基于关键帧的手语语流音变动画合成方法，包括如下步骤：

步骤101，接收需要表达的文本并将所述文本拆分成若干个词根；

其中，接收需要表达的文本并将所述文本拆分成若干个词根主要是通过服务器或计算机来完成，在本发明该实施例中是通过自然语言处理系统来完成，该系统可以是具有语言处理功能的装置或设备，将输入的文本拆分成至少一个词根；所述词根具体为可以构成词的可重复使用的不可再分的单元。如，手语词“我们”可以由词根“我”加“大家”得到。

步骤102，使用所述若干个词根作为索引在手语运动数据库中检索对应的手语运动数据。

该步骤102所述的手语运动数据库中存储的是手语运动数据。这里需要说明下是人的关节可以分别绕多个相互垂直的轴旋转，每一种旋转是一个自由度。我们使用的虚拟人模型肩关节有3个自由度、肘关节2个、腕关节2个、各手指共有25个，即两条手臂共有64个自由度。当这些自由度的旋转角度确定以后，人体上肢的一个姿态就确定了。每个词根所对应的手语运动数据包含若干个关键帧，帧中存储的是在运动过程中的每个关键姿态中上肢各关节的自由度旋转角度。

步骤103，对检索出的所述手语运动数据进行解析，得到手形数据和手位置数据，并对所述手形数据和手位置数据所对应的关键帧进行修改，从而将语流音变效果加入所述手形数据和手位置数据所对应的关键帧中。

其中，该步骤103中，所述手语运动数据中不对应手形和手位置的其它关键帧称为普通关键帧。

所述的手形数据对应于手语表达中的手形，所述手形在手语中的变化分为两种：同化和异化。当两个手形的姿态相差比较大时，手形之间会产生同化现象，目的是使手形的转换更方便，手语语流更加流畅和连贯。当两个手形的姿态非常接近的时候，手形之间会产生异化现象，目的是使这两个手形的姿态产生较明显的差异，使它们在手语语流中比较容易分辨出来，从而保证语义的正确表达。

所述的手位置数据对应于手语表达中的手所在位置，所述手所在位置是指手作为一个整体所处的位置，可以分为中性位置和非中性位置。所谓中性位置，是打手势者身前与胸部齐平的一块区域。在手语语流中，中性位置的手势会跟随非中性位置的手势产生位置上的偏移，这类偏移可以使语流更流畅，姿态转换的代价更小，但并不影响手语阅读者对语义的理解。产生上述现象的原因是非中性位置的手势对于位置一般有明确的要求，比如指向五官，或者与身体某一部分接触，如果这个位置发生了变化，则会使手势的含义发生改变。而中性位置手势一般对位置的要求不严格，位置产生一定的变化并不影响对手势的理解，因此当手势顺次出现时，为了使手语表达更加连贯，中性位置手势的位置会跟随非中性位置手势发生偏移。

语流音变现象的显著程度和手语表达的速度有密切关系，具体来说，语流音变的程度会随着手语表达速度的加快而变得越来越显著。

步骤104，将带有语流音变效果的所述手形数据和手位置数据所对应的关键帧以及所述普通关键帧进行插值处理得出连续的手语动画。

该步骤104所述的关键帧插值处理采用基于最优控制原理的插值方法，以产生连贯的动画效果，通过所述基于最优控制原理的插值方法可以使姿态转换过程中的急动（急动定义为某个随时间变化的量对时间的三阶导数，反映了物理量变化过程的稳定性）达到最小值。

需要说明的是，所述最优控制原理指的是：人类神经系统具有高度的冗余性，因此人可以以多种方式来完成相同目的的运动。但是，在自然状态下，人倾向于以某种固定的方式来完成特定的运动。这可以归结为神经系统在进化过程中逐渐演变出的对人体运动的优化控制机制，优化控制的目的是使某类目标函数达到最小。

在人体运动中，急动与人体的舒适度有关，当运动的急动较大时，人会感到不适。神经生理学研究表明，人倾向于按照最优控制的原则来规划和执行自身运动，从而使关节旋转角度的急动在运动过程中达到最小。

在本实施例中，设虚拟人在第k自由度上的旋转角度为θ_k(t)，t为时间。第k自由度角度变化过程中的急动可以用θ_k(t)对时间t的三阶导数来表示。令θ_k(t_e)和θ_k(t_f)表示位于时间点t_e和t_f上的两个相邻的关键帧，其间的过渡帧θ_k(t)，t∈[t_e,t_f]的值将由插值得到。为了使急动最小，应使用可以使

达到最小值的θ_k(t)作为插值公式。求解θ_k(t)是一个最优控制问题，可以用最优控制的理论和方法求解。

具体地步骤103还可以为如下内容（如图2所示）：

步骤1031，对检索出的所述手语运动数据进行解析，得到手形数据及手位置数据（即在某一个词根的关键帧中解析出代表该词根所包含的手形或手位置的关键帧），并对所述手形进行相似性度量。

以手形数据为例，可以将一个词根包含的手形的数量预先写入手语运动数据中，假设为h个（对于每一个手语词根，根据《中国手语》教材中对该词根的动作介绍，能够得出该词根包含了几个手形），在对该词根中的手形进行解析时，只要读出h的值，并找出h个符合要求的关键帧（所谓符合要求是指在该关键帧中，所有手掌关节自由度的速度的绝对值之和比较小，即整个手的形状到达了一个比较稳定的状态），也就找到了该词根所包含的h个手形。

在本实施例中，可以通过如下过程得到h个手形：可用i表示关键帧的编号，k表示手掌自由度的编号，那么在第i关键帧中，第k自由度上旋转角度的变化速度可以用左差商和右差商的线性插值来表示（其中“差商”定义为第k自由度在两个相邻关键帧中的值之差除以这两个关键帧之间的时间间隔）。若第i关键帧左右两侧角度值的变化趋势相反，则左差商和右差商的正负号相反，第i关键帧接近稳定点，取其速度为0；若第i关键帧左右两侧角度值的变化趋势相同，则左差商和右差商的正负号也相同。此时，若第i、i+1关键帧之间的时间间隔比第i-1、i关键帧之间的时间间隔大，则右差商将得到一个较小的权值，左差商将得到一个较大的权值；反之，则右差商的权值较大，而左差商的权值较小。这样处理是因为当两个关键帧之间的时间间隔较小时，角度值的变化趋势发生较大变化的可能性较小，所以给予相应的差商以较大的权。

而对于一个词根的第一个和最后一个关键帧，要进行特殊对待，即，求速度时只考虑属于本词根一侧的运动数据，而不考虑属于前一个和后一个词根的运动数据。这样做是因为，对于另一组相邻的运动数据（即，属于另一个词根的关键帧），角度值在邻接处往往有剧烈变化，从而不具有运动相关性（运动相关性是指：一般情况下，同一个手语词根的运动数据中，相邻的关键帧之间，各自由度旋转角度的差别不大，这种特性即为帧与帧之间的运动相关性）。

当处理一个词根时，对于每一个关键帧i，计算所有手掌关节自由度的速度绝对值之和，并将这些值存入一个数组，再对数组按照升序排序，最后将所述数组的前h个元素所对应的关键帧输出。这些关键帧就代表了该词根所包含的h个手形。

之后，以所述手形之间的距离来衡量所述手形之间的相似度。在计算距离时，只选择部分具有较强信息传递能力的自由度（通常是10个），并分别赋予相应的权值。在此，为方便说明，以S_AB表示手形A与手形B之间的距离，该距离可由手形A、B在十个自由度上的旋转角度以及各自由度对应的权值计算得到。

在得出S_AB后，需要两个预置阈值TH和TL（TH和TL的确定方法是：令多个受测者对大量典型手形进行相似性或差别性判断，然后计算这些手形的距离，取最典型的值作为TH和TL的值）进行判断两个手形相似与否：若S_AB>TH，则认为A、B两个手形差异较大，在语流中将发生同化作用；若S_AB<TL，则认为A、B两个手形极为相似，在语流中将发生异化作用；当S_AB介于它们之间，认为A、B两个手形不会产生相互影响。

手位置数据的解析与手形相似，但手位置决定于肩关节和肘关节，其中肩关节有3个自由度，肘关节有2个自由度，因此当这5个自由度的速度绝对值之和较小时，手就到达了一个稳定的位置。

步骤1032，对解析得到的所述手形数据和手位置数据的关键帧进行修改。

对于手形数据关键帧的修改：由于所述手形存在相似和差异较大的情况，故所述手形会产生异化和同化现象，因此需要根据语流音变现象的规律对所述手形数据的关键帧进行修改（对于相似的手形，要增加它们之间的距离，即，合成异化现象；对于差异大的手形，要减少它们之间的距离，即，合成同化现象）。

在本实施例中，可以通过如下过程实现对所述手形数据和手位置数据的关键帧的修改：考虑到手形之间距离的变化应该均匀地反映到每一个手掌的关节自由度上，故现以d表示两个手形之间的距离（d的值可由两个手形中各自由度的旋转角度和相应的权值计算得到），对d值的改变可以看作用一个系数e乘以d，将得到的值作为新的d值，即e·d→d。其中，e的取值由速度调节参数F和整体调节参数α计算得到，其中当F增大时，动画中手语表达的速度变慢，反之变快；α∈[0,1]，当它变大时，语流音变的整体表现程度将更为明显，因此，e对d的修改程度随α的增大而加强。

如图3至5所示为e的一种设计方案，当S_AB>TH，即，手形A和B差异较大时，随着表达速度的加快和手形差别的增加，e将会趋近于(1-α)，从而弱化两个手形之间的显著差别。在手语动画中，α取值在0.5附近时，动画效果最真实。

如图6至8所示为e的另一种设计方案，当S_AB<TL，即，手形A和B很相似时，随着表达速度的加快和手形相似性的增加，e将会趋近于(1+α)，从而强化两个相似手形之间的差别；当表达速度非常快时（对应较小的F值），e的值会下降。这是因为当手语语流达到很高的速度时，为了满足速度的需要，相似手形之间的异化作用会被抑制。

手形距离被系数e修改后，会反映在每一个手掌自由度上，则每个手掌自由度的旋转角度都会发生变化。在手形关键帧中，在每个自由度的角度值上加上各自的变化量，就完成了对手形关键帧的修改。

对于手位置数据关键帧的修改：手所处的位置决定于肩关节和肘关节的旋转，因此，对于位置关键帧的修改，修改的自由度是肩关节的3个自由度和肘关节的2个自由度。因此，手的位置可以由5维向量[k₁,k₂,k₃,k₄,k₅]^T来表示，其中k₁，k₂，k₃是肩关节三个自由度的角度值，k₄，k₅是肘关节两个自由度的角度值。非中性位置可表示为[k_1H,k_2H,k_3H,k_4H,k_5H]^T，中性位置可表示为[k_1N,k_2N,k_3N,k_4N,k_5N]^T。由于中性位置的手势在位置上会受到非中性位置手势的影响，所以修改后的手的位置可以表示为中性位置和非中性位置的加权和。

如图9所示为一种权因子c的设计方案，所述手位置受到影响权因子c的影响：手语速度较慢时，c的值趋于0，从而非中性位置的影响较小；手语速度较快时，c的值趋于α，从而非中性位置的影响变大。

步骤1033，对普通关键帧进行修改。

所述词根的运动数据中只有少数关键帧代表手形或位置，对代表手形或位置的关键帧进行修改以后，需运用运动偏移映射方法对普通关键帧进行修改，从而保证整段手语运动数据的连续性。所述普通关键帧中，被修改的自由度包括：手掌上的各自由度的值（对应手形）、肩关节三个自由度和肘关节两个自由度的值（对应手所在位置）。

在本实施例中，对于普通关键帧，手掌各自由度的变化量由该帧之前和之后的两个手形关键帧的变化量线性插值得到；肩关节和肘关节各自由度的变化量由该帧之前和之后的两个位置关键帧的变化量线性插值得到。

与现有技术相比，本发明所述的基于关键帧的手语语流音变动画合成方法不仅能增强手语动画的表现力，丰富表现元素，同时还会提高到手语动画的可懂度，具有重要意义。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种基于关键帧的手语语流音变动画合成方法，其特征在于，包括：

接收需要表达的文本并将所述文本拆分成至少一个词根；

2.如权利要求1所述的基于关键帧的手语语流音变动画合成方法，其特征在于，对所述手形数据及手位置数据所对应的关键帧进行修改，进一步包括：

对运动数据中的普通关键帧进行修改。

3.如权利要求1所述的基于关键帧的手语语流音变动画合成方法，其特征在于，所述关键帧插值处理，进一步采用基于最优控制原理的插值方法。

4.如权利要求1或2中任一所述的基于关键帧的手语语流音变动画合成方法，其特征在于，所述关键帧中存储的信息为运动过程中的每个关键姿态中上肢各关节的自由度旋转角度。

5.如权利要求2所述的基于关键帧的手语语流音变动画合成方法，其特征在于，所述相似性度量进一步通过手形间的距离和预置阈值比较进行判断。

6.如权利要求5所述的基于关键帧的手语语流音变动画合成方法，其特征在于，所述手形间的距离进一步由自由度上的旋转角度及各个自由度的权值确定。

7.如权利要求2所述的基于关键帧的手语语流音变动画合成方法，其特征在于，对解析得到的所述手形数据的关键帧的修改，进一步由速度调节参数和整体调节参数确定。

8.如权利要求2所述的基于关键帧的手语语流音变动画合成方法，其特征在于，对解析得到的所述手位置数据的关键帧的修改，进一步由影响权因子确定。