CN102737397A - 基于运动偏移映射的有韵律头部运动合成方法 - Google Patents

Abstract

本发明公开了一种基于运动偏移映射的有韵律头部运动合成方法，包括：将需要被处理的自然文本输入到手语标记语言系统中，该手语标记语言系统解析产生被处理的自然文本的内容信息、韵律标记和韵律结构；设置一个参数和相对应的取值，读取手语标记语言系统中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整，读取参数的取值，运用运动偏移映射方法对被处理的自然文本的内容信息相对应的词的手势数据进行处理，得到改变幅度后的运动信息；对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构，得到该自然文本的手语动画演示信息。本发明不仅能增强手语动画的真实感，还会提高手语动画的可懂度。

Description

基于运动偏移映射的有韵律头部运动合成方法

技术领域

本发明属于手语运用技术领域，尤其是涉及一种基于运动偏移映射的有韵律头部运动合成方法。

背景技术

手语作为一种视觉语言，通过手、头、面部以及身体等多种模式协同表达。在不同的上下文环境中手势表达效果也不尽相同，通常体现在幅度，速度，节奏等韵律特征中。为了合成逼真的虚拟人动画，运用基于真实人体运动的捕捉技术可以解决该问题，但缺点是如果想产生一个相对于原始捕获数据稍加变化的运动就要重新再经历一次运动捕获的过程，工作量巨大因此不适用于实时的虚拟人动画。如何在原始运动数据基础上合成逼真、富有表现力的手语动画，各国学者做了相关的研究工作，方法主要可以分为两大类，内容如下：

一类是基于规则的，通过进行语言学分析以及上下文分析，依靠心理学家的经验知识，建立起语义动作的规则集，这些规则对应于虚拟人不同情境下的动作表达或者某一模式的行为方式。通过在系统中提供从文本语义到参数模型的控制，从而实现合成富有真实感的虚拟人动作。例如K.Perlin的虚拟人动画改进技术使用高层脚本及工具实现富有真实感的动画，系统可以让动画制作人员创建规则集并合成不同情境下的动作表达，从而完成交流。麻省理工学院（Massachusetts Institute of Technology）的行为表情动画工具系统(The BehaviorExpression Animation Toolkit，BEAT)提供工具使得用户可以根据需求加入他们想要的规则，当输入文本后，通过标记语言的解析和制定的规则集，从而实现富有真实感的虚拟人运动表达。利用基于规则的方法，可以在工具辅助交互的前提下，实现富有表现力的虚拟人动画。但是利用规则法，只是实现规则集中定义的语义动作，并未产生新的动作片段，因此无法实现从文本自动生成虚拟人的各种行为，具有一定的局限性。

另一类是基于学习控制的，从大量真实数据中学习到真实人的行为运动规律，再运用于虚拟人的运动控制中。Unuma等人提出通过对一个人的实际运动行为数据做傅里叶展开变换，使用一定的分析方法从中获取基本运动因子和性质因子。通过在频率域对性质因子进行相关处理，可以使得这一运动行为产生丰富的变化效果。Diane等人提出了通过使用一系列运动参数来建立一个效果模型(Effort Model)，实现基于两个关键点的手臂运动。她的运动控制理论产生了可以通过语义对运动效果控制的效果，在传统的关键帧动画和逆动力学技术的基础上，提供了新颖的定义和编辑动画的能力。通过学习控制方法可以很好的学习真实行为的规律。

但是上述的方法都是针对手语表达中手势韵律方面的研究，而针对头部如何能提高手语表达的真实感及运动规律的研究则较少，如何利用头部提高手语表达的真实感便成为亟待解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于运动偏移映射的有韵律头部运动合成方法，以解决如何利用头部提高手语表达的真实感等问题。

为解决上述技术问题，本发明提供了一种基于运动偏移映射的有韵律头部运动合成方法，包括：

将需要被处理的自然文本输入到手语标记语言系统中，该手语标记语言系统解析产生被处理的自然文本的内容信息、韵律标记和韵律结构；

设置一个参数和相对应的取值，读取所述手语标记语言系统中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整，然后读取所述参数的取值，运用所述手语标记语言系统中的运动偏移映射方法对所述被处理的自然文本的内容信息相对应的词的手势数据进行处理，得到改变幅度后的运动信息；

对所述改变幅度后的运动信息配合所述被处理的自然文本的韵律结构，得到该自然文本的手语动画演示信息。

进一步地，其中，所述手语标记语言系统为中国手语标记语言系统（CSLML，Chinese Sign Language Markup Language）。

进一步地，其中，所述被处理的自然文本的内容信息为被处理的自然文本的手语词。

进一步地，其中，所述韵律标记为所述被处理的自然文本的内容信息中某个名词的强度信息。

进一步地，其中，所述强度信息为包括强调，节奏，情感的强度信息。

进一步地，其中，所述韵律结构为所述被处理的自然文本的内容信息中包含头部、表情、口型的手语表达模式。

进一步地，其中，所述参数的相对应的取值范围在0至1之间。

与现有技术相比，本发明所述的基于运动偏移映射的有韵律头部运动合成方法不仅能增强手语动画的真实感，同时还会提高到手语动画的可懂度，具有重要意义。

附图说明

图1为本发明实施例所述的一种基于运动偏移映射的有韵律头部运动合成方法流程图。

图2为本发明实施例所述的方法中通过动态时间规整方法期望改变的两帧图形。

图3为本发明实施例所述的方法中通过动态时间规整方法直接变化后的两帧图形。

图4为本发明实施例所述的方法中运用运动偏移映射方法对所述被处理的自然文本的内容信息进行处理前的图形。

图5为本发明实施例所述的方法中运用运动偏移映射方法对所述被处理的自然文本的内容信息进行处理后的图形。

图6为本发明实施例所述的方法中“拒绝”一词头部Y方向自由度在amp=0和amp=1的运动曲线图。

图7为本发明实施例所述的方法中“拒绝”一词动态时间规整后的运动曲线图。

图8为本发明实施例所述的方法中“拒绝”一词经运动偏移映射后的运动曲线图。

具体实施方式

以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。

由于在手语表达中受韵律的影响，头部运动会产生幅度的变化，因此结合利用头部提高手语表达的真实感成为本发明的创新点之一。

如图1所示，为本发明实施例所述的一种基于运动偏移映射的有韵律头部运动合成方法，包括如下步骤：

步骤101，将需要被处理的自然文本输入到手语标记语言系统中，该手语标记语言系统产生被处理的自然文本的内容信息、韵律结构、韵律标记。

该步骤101中所述的手语标记语言系统在本实施例中采用的是中国手语标记语言系统（CSLML，Chinese Sign Language Markup Language），该中国手语标记语言系统采用XML的语法结构，可以方便地编辑、处理与规范化需要被处理的自然文本。

具体地，中国手语标记语言系统可以将输入的自然文本解析成三部分：自然文本的内容信息、韵律结构、韵律标记；其中，自然文本的内容信息就是将被处理的自然文本中句子解析为基本手语词；韵律结构就是手语表达的多个模式，包含头部，表情，口型等模式；韵律标记就是在某个名词上的强度的韵律信息，包括强调，节奏，情感等的强度信息；即韵律标记在不同规则的手语标记语言系统的映射下可实现手语韵律的多样化表达。

例如，对所述被处理的自然文本的内容信息“她坚定地拒绝了他的示爱”进行解析，并得到相应的韵律标记“她/坚定/拒绝/他/示爱”（主要是通过CSLML得到这句话相应的韵律标记（如否定，情感状态，疑问语气等等，在本例中为强调状态，amp=0.8），同时得到相应的韵律结构信息（如高兴的表情，疑问时眉毛上扬，口型等手语表达的多个模式，例如本例中会附加厌恶、生气的表情））。

步骤102，设置一个参数amp和相对应的取值，读取所述手语标记语言系统中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整，然后读取所述参数amp的取值，运用所述手语标记语言系统中的运动偏移映射方法对所述被处理的自然文本的内容信息相对应的词的手势数据进行处理，得到改变幅度后的运动信息。

该步骤102的目的是对需要被处理的自然文本能够合成任意幅度的具有头部运动的信息。所述运动偏移映射方法是现有技术中运动编辑与合成常见的一种技术，在保留原始运动细节的基础上对运动合成片段进行修改，从而生成逼真的运动片段。

在步骤101中以自然文本例如“她坚定地拒绝了他的示爱”通过文本解析就可以得到“她/坚定/拒绝/他/示爱”这样一个解析后的文本，以其中“拒绝”为例，在现有的手语标记语言系统中，该“拒绝”所对应的参数amp相对应的取值为amp∈[0，1]，即中性状态（amp=0）和强调最大状态（amp=1）的包含头部关节的手势数据。这里需要说明下是手势数据以一系列关键帧构成，其中每一个关键帧包含手语动画虚拟人37个关节的68个自由度数据。这里为保证参数amp相对应的取值更标准，更符合聋人的习惯，在设置时可以通过聋校教师进行该参数amp相对应的取值采集，同时为保证参数amp相对应的取值的可用性和通用性，每个词采集三遍。

具体地步骤102为：

步骤1021，如图6所示，读取所述手语标记语言系统中数据库里面该自然文本的内容信息中“拒绝”一词amp=0（实线部分）和amp=1（虚线部分）两种状态下的手势数据，然后对amp=0和amp=1两种状态下头部关节Y自由度（因为是摇头动作）通过动态时间规整方法进行时间对齐（如图7所示），如图2（期望改变的两帧）和3（直接变化后的结果）所示（目的是得到两组在波峰/波谷出现的时间相同的数据（头部关节Y自由度），以便后面可以用运动偏移映射方法改变幅度）。

步骤1022，如图8所示，运用运动偏移映射方法对所述被处理的自然文本的内容信息“拒绝”相对应的词的手势数据进行处理，得到改变幅度后的运动信息。即如图4所示（运动偏移映射方法前），分别读入amp=0和amp=1的两组关键帧数据，针对头部关节Y自由度的数据，为了合成任意幅度，我们希望在原始运动（amp=0的数据）的基础上添加一个新的运动，这个新运动和幅度参数amp（本实施例中amp=0.8或0.4，强调语境，虚线线段部分）相关，通过运动偏移映射方法产生新运动，即是对两个关键帧的相应帧数据的变化进行插值，本实施例是通过对每两个关键帧的变化都进行线性插值，并与幅度参数amp相乘，最后加上原始运动就可以得到相应amp（本实施例中amp=0.8）的运动数据（运动信息），如图5所示（运用运动偏移映射方法后的结果）。

步骤103，对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构，得到该自然文本的手语动画演示信息。

具体地步骤103，对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构（如其他模式、表情、眉毛、口型等），最终得到该自然文本的手语动画演示信息。

与现有技术相比，手语中头部的运动对传达语义有重要的作用，本发明所述方法将其应用运用进来，可以实现强调的头动韵律表达，能够有效的提高手语动画的可懂度及真实感。

总之，通过上述实施例当输入自然文本如“拒绝”后，根据本发明所述方法对该自然文本进行解析，并得到相应的韵律标记（强调语境，amp=0.8），韵律结构（其他模式，表情，眉毛，口型等），接下来读取相应词的数据，由于强调语境下两组数据在波峰/波谷出现的时间和振幅不同，不可以直接用运动偏移映射改变幅度，因此先对头部关节自由度进行动态时间规整，规整得到时间对齐的数据，接下来对需要改变幅度的关节自由度，读取其两组amp=0和amp=1状态下的数据，运用运动偏移映射方法，在原始运动上生成一个与幅度相关的新运动，可以得到改变幅度后的运动数据（运动信息）。对改变幅度后的运动信息配合所述被处理的自然文本的韵律结构，得到该自然文本的手语动画演示信息。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于运动偏移映射的有韵律头部运动合成方法，其特征在于，包括：

将需要被处理的自然文本输入到手语标记语言系统中，该手语标记语言系统解析产生被处理的自然文本的内容信息、韵律标记和韵律结构；

设置一个参数和相对应的取值，读取所述手语标记语言系统中数据库里面该自然文本的内容信息相对应的词的手势数据并进行对头部关节自由度的动态时间规整，然后读取所述参数的取值，运用所述手语标记语言系统中的运动偏移映射方法对所述被处理的自然文本的内容信息相对应的词的手势数据进行处理，得到改变幅度后的运动信息；

对所述改变幅度后的运动信息配合所述被处理的自然文本的韵律结构，得到该自然文本的手语动画演示信息。

2.如权利要求1所述的基于运动偏移映射的有韵律头部运动合成方法，其特征在于，所述手语标记语言系统为中国手语标记语言系统（CSLML，ChineseSign Language Markup Language）。

3.如权利要求1所述的基于运动偏移映射的有韵律头部运动合成方法，其特征在于，所述被处理的自然文本的内容信息为被处理的自然文本的手语词。

4.如权利要求3所述的基于运动偏移映射的有韵律头部运动合成方法，其特征在于，所述韵律标记为所述被处理的自然文本的内容信息中某个名词的强度信息。

5.如权利要求4所述的基于运动偏移映射的有韵律头部运动合成方法，其特征在于，所述强度信息为包括强调，节奏，情感的强度信息。

6.如权利要求5所述的基于运动偏移映射的有韵律头部运动合成方法，其特征在于，所述韵律结构为所述被处理的自然文本的内容信息中包含头部、表情、口型的手语表达模式。

7.如权利要求1所述的基于运动偏移映射的有韵律头部运动合成方法，其特征在于，所述参数的相对应的取值范围在0至1之间。

Images