CN102157006B - 生成能够与图像进行交互的角色的动态效果的方法和装置 - Google Patents

Abstract

提供了一种用于根据背景图像的特征生成能够与背景图像交互的角色的运动效果的方法，包括：提取背景图像的特征；根据提取的背景图像的特征确定在背景中拥有运动效果的角色；识别包括用户输入的外部信号；根据背景图像的特征和识别的外部信号确定角色的运动；以及再现用于执行背景图像中的角色的运动的动画。

Description

生成能够与图像进行交互的角色的动态效果的方法和装置

技术领域

本发明一般地涉及动画编辑，更具体地，涉及用于根据图像的特征生成图像中的角色(character)的动态效果的方法和装置。

背景技术

利用当前由移动设备提供的基于flash的动画编辑器，如果用户希望在图像中包括角色以便提供运动效果，则用户可选择背景图像和角色，并可使用触摸屏输入一个或多个预定运动或路径，沿着该一个或多个预定运动或路径用户可直接地移动角色，以便对角色的运动进行设置。

上述角色动画编辑功能在以下方面不够方便：用户必须选择适合于背景的角色，必须输入多个用于移动角色的运动路径，并且角色动画编辑功能仅可提供少量预定的有限运动效果。另外，当角色动画被存储时，在下述方面存在缺点：因为动画总是重复相同运动效果，所以用户总是仅被允许观看相同的运动效果。

当在移动设备中编辑动画时，如果在编辑方面不熟练的用户使用相较于个人电脑的屏幕非常小的触摸屏来编辑适合于背景图像的角色的运动，则在移动设备中的编辑是不准确的。因此，如果用户通过移动设备的触摸屏直接地画角色的运动路线，则在角色的运动看起来自然方面存在局限性。

发明内容

因此，进行了本发明以解决现有技术中存在的上述问题，并且本发明提供了一种用于通过分析图像的特征来自动地生成输入图像中角色的动态效果的方法和装置。

根据本发明的一方面，提供了一种用于根据背景图像的特征生成能够与背景图像交互的角色的运动效果的方法，所述方法包括：提取背景图像的特征；根据提取的背景图像的特征，确定在背景图像中拥有运动效果的角色；识别包括用户输入的外部信号；根据背景图像的特征和识别的外部信号，确定角色的运动；再现用于执行背景图像中的角色的运动的动画。

所述方法还可包括：如果当动画正在被再现时识别出外部信号，则根据外部信号生成和再现角色的运动。

所述方法还包括存储所再现的动画。

根据本发明的另一方面，提供一种用于根据背景图像的特征生成能够与背景图像交互的角色的运动效果的装置，所述装置包括：输入装置，用于接收用户输入；存储器，用于存储背景图像和多个角色信息项；控制单元，用于提取背景图像的特征、根据提取的背景图像的特征确定在背景图像中拥有运动效果的角色、识别包括用户输入的外部信号、并根据背景图像的特征和识别的外部信号确定角色的运动；以及输出单元，用于根据确定的角色的运动再现用于执行背景图像中的角色的运动的动画。

附图说明

从如下结合附图的详细说明中，本发明的上述和其他方面、特征和优点将变得更加清楚，其中：

图1示出了根据本发明实施例的根据图像的特征生成能够与背景交互的角色的动态效果的装置的配置；

图2示出了根据本发明实施例的根据图像的特征生成能够与背景交互的角色的动态效果的装置中的图像解释单元的配置；

图3示出了根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候输入图像的例子；

图4示出了根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候从图3的图像提取的空间特征的例子；

图5示出了根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候图像的特征的解释的例子；

图6示出了根据本发明实施例的在根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候指示角色的文件格式的例子；

图7示出了根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候根据图3的图像的空间特征生成的角色动态效果的例子；以及

图8是示出了根据本发明实施例的根据图像的特征生成能够与背景交互的角色的动态效果的处理的流程图。

具体实施方式

以下，将参照附图描述本发明的实施例。在下文中，在下面的描述中提供的各种各样的定义仅是为了帮助对本发明的一般理解，对本领域技术人员显而易见的是，可不使用这样的定义来实现本发明。此外，在本发明的下面描述中，当会使本发明的主题不清楚时，将省略对合并于此的公知功能和配置的详细说明。

本发明提供一种用于通过分析输入图像的特征来自动生成图像中的角色的动态效果的方法和装置。在本发明中，术语“角色，character”指的是在背景图像中通过图形或图片表示并执行预定动作(运动)的对象。

图1示出了根据本发明实施例的根据图像的特征生成能够与背景交互的角色的动态效果的装置的配置。

根据图像的特征生成能够与背景交互的角色的动态效果的装置包括：输入单元110、输出单元130、存储单元150、发送单元140和控制单元120。

输入单元110可被实现为触摸屏、触摸输入板、小键盘等等，并且接收用户输入。根据本发明的实施例，输入单元110接收用于选择显示在背景图像上的角色的输入，其中当生成包括在背景图像中的角色的动态效果时，输入单元110可接收用于该角色的反应的用户输入。

存储单元150存储操作该装置需要的信息项。根据本发明的实施例，存储单元150存储多个角色信息项以及先前输入的背景图像，其中，在根据图像特征生成拥有角色的动态效果的最终动画的时候，存储单元150可存储根据用户选择生成的最终动画。

控制单元120包括图像解释单元121、角色推荐单元122，外部信号识别单元123、角色动作确定单元124、角色用户选择单元125和执行单元(渲染单元)126。

图像解释单元121分析输入图像并执行对图像的解释。当提供相机单元(未示出)时，输入图像可以是由相机单元拍摄的图像或先前存储在装置中的图像。

图像解释单元121提取输入图像的特征并发送给角色推荐单元122和角色动作确定单元124，下面将进行描述。图2示出了根据本发明实施例的根据图像的特征生成能够与背景交互的角色的动态效果的装置中的图像解释单元的配置。如图2所示，图像解释单元121可以包括：边缘提取单元1211，用于提取输入图像的边缘；分割单元1212，用于分割图像；以及图像种类分类单元1213，用于确定分割图像的种类。

因此，为了提取背景图像的特征，图1的图像解释单元121通过边缘提取单元1211提取背景图像的边缘信息、通过分割单元1212根据提取的边缘信息分割背景图像区域、并通过图像种类分类单元1213对分割的区域的种类进行分类。

图3示出根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候，输入图像的例子。如果输入如图3所示的图像，则图像解释单元121使用边缘提取单元1211通过边缘图信息的解释获得用于角色的运动空间的信息。图4示出根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候，从图3的图像提取的空间特征的例子。图4中示了出从图3的图像中提取边缘的理想结果。

然而，因为通过相机输入的图像包括大量边缘信息项，并且输入图像中的空间是有限的，所以必须通过分割单元1212执行区域的分割来简化图像区域。此时，可根据由边缘提取单元1211提取的边缘信息项来执行分割。结果，有可能按输入图像中的复杂性的比例、在存在于提取的背景图像中的各种各样的区域之中，提取比较大的区域或具有很强的边缘信息项的区域。

此外，图像解释单元121可以通过图像种类分类单元1213，在输入图像的主要区域内的各种各样的特征信息项的基础上，对分割后的区域进行分类。

图5示出了根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候，图像的特征的解释的例子。本发明在存储单元150中创建数据库并存储特征信息项，并且通过将标识的感兴趣区域与图像的特征信息项进行比较来对感兴趣区域的种类进行分类。也就是说，本发明分割输入图像的区域，并根据区域的特征(诸如区域的颜色、区域的边缘的形状等等)对分割后的区域的种类进行分类。例如，参照图5，作为例子，根据区域的特征，上部区域可被分类为天空，并且下部区域可被分类为海洋。用于分类区域的一般特征可以是由用户预置为可由图像解释单元121解释的图像范围的广泛概念的信息项，或者是包括在基于图像的特征数据库内的信息项，所述基于图像的特征数据库是在先前定义的特征的基础上创建的。

为了对分割后的区域的种类进行分类，图像种类分类单元1213通过将根据多个区域的种类预先存储的特征与当前区域的特征进行比较来确定当前区域的种类。

角色推荐单元122在通过图像解释单元121获得的图像的特征信息项的基础上确定并推荐适合于背景图像的角色。图6示出了根据本发明实施例的在根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候，指示角色的文件格式的例子。如图6所示，用于单个角色的信息项以预先指定的格式存储在存储单元150中。同时，当在装置中提供相机(未示出)时，可使用由用户直接拍摄的图像或存储的图像来生成角色。此外，有可能使用这些图像生成能够示出角色的运动效果的动画并向角色信息项存储该动画。

参照图6，定义角色的通常运动的角色动作信息包括用于运动、停止、简单运动、背景边界反应的设置值。

定义角色的反应事件的角色动作信息包括作为外部事件的用于加速、触摸、轻击方向(tapdirection)、特定时刻、特定天气和相机输入的设置值，并且包括作为内部的角色间事件的用于角色间碰撞、角色接近反应、在不同角色之间的碰撞以及在预定位置和角色之间的碰撞的设置值。

定义在角色的反应事件发生之后的角色的运动的角色事件动作效果信息包括用于运动、固定、简单运动、沿着边界、边界角度运动、生成任意位置、出现一会儿然后消失以及透明效果运动的设置值。

角色应该具有上述设置值中的一个或多个设定值，其中，如果对一个角色选择了两个或更多设定值，则该角色可在选择的设定值之中任意地选择一个并且可以根据该选定的设定值动作。

如上所述的角色信息项允许用户通过诸如因特网之类的通信网络下载已生成的角色或者直接生成角色。

当设置将被包括在背景图像中的一个或多个角色时，虽然用户可直接选择一个或多个预定角色，但是角色推荐单元122可在通过图像解释单元121提取的该图像的特征信息的基础上确定并推荐适合于背景图像的角色，并向用户提供该角色。例如，如果在提取的背景图像中存在具有用于边缘的信息的区域，则角色推荐单元122可示出可沿着边缘运动的角色，并且如果确定在背景图像的空间中存在天空，则角色推荐单元122可给出有关天空的角色。可同时选择两个或更多角色并将其显示在单个背景图像上。

外部信号识别单元123使用可通过配备的传感器等获得的各种各样的信号向角色动作确定单元124发送将稍后描述的有意义的信息项。

例如，外部信号可包括用户输入，并且外部信号可以是由各种各样的传感器(诸如接触式传感器、重量传感器、速度传感器、照明传感器、麦克风和相机之类)感测的信息项、气象信息、时间信息、消息接收和电子邮件接收生成的信号，其中，外部信号被转换为可由应用识别的消息、事件、通知、通告等等，并随后被传送到角色动作确定单元124。此外，外部信号识别单元123也可改变除角色信息之外的背景的信息。在这种情况下，图像解释单元121可处理由此引起的背景的效果。例如，如果在时间信息基础上确定现在是夜间，或者在气象信息基础上确定正在下雪，则可以以这样的方式向背景图像提供动画效果：背景被改变为黑夜背景或降雪背景。

角色动作确定单元124在从背景图像提取的特征、角色的特征和输入信号的基础上确定图像中包括的角色的动作。总之，根据背景图像的特征自主地确定角色的运动。例如，如果背景图像包含许多具有高度复杂的方向性和弱强度的边缘，则角色的动作变慢、活动半径被限制，并且角色冲撞和乱闯，从而增加了与邻近部分的碰撞。

此外，如果背景图像包含许多具有低复杂方向性和强强度的边缘，则角色执行从该角色与背景碰撞的部分所反映的动作。此外，可设置角色使其位于背景图像中相对宽的区域中，并且可设置角色以执行适合于角色处于的区域的特征的动作。

图7示出了根据本发明实施例的在执行用于根据图像的特征生成能够与背景交互的角色的动态效果的处理的时候，根据图3的图像的空间特征生成的角色的动态效果的例子。例如，如图7所示，以这种方式提供动态效果：处于空中区域的蝴蝶角色飞来飞去。另外，如果船角色位于海洋区域，则可将角色设置为根据海平线的边界(边缘)信息运动。

此外，角色根据从外部信号识别单元123发送的外部信号来反应。例如，如果当角色运动时发送用户触摸输入，则可取决于触摸输入坐标来改变角色的运动。例如，角色可走向或远离触摸输入坐标。虽然可由用户对每个角色详细设置这样的角色动作，但是基本上根据取决于背景和外部信号而确定的常规设置的信息来设置角色动作。例如，如果存在如图7所示的蝴蝶角色，则角色可在背景图像的空间中的预定区域的边缘内运动，并且角色也可响应于用户的触摸输入而运动。

通过应用随机函数来执行用于确定每个角色的运动的计算，从而根据本发明的实施例的动画每次向用户提供不同的角色运动效果。也就是说，每当生成运动时，在区域内的任意点处对确定角色的运动空间的方法、选择角色的运动空间的方法以及开始位置进行确定。用户不可能实际上指定相同的开始位置，即使相同的角色在相同的图像中运动，每当生成相同的运动效果时也从不生成相同的动画。

如果角色对从外部信号识别单元123发送的信息作出反应，例如，如果当正在执行角色动画时接收到文本消息，则可通过诸如角色的闪烁之类的效果通知用户接收到文本消息，并且也可以按照如下方式执行设置：当角色被触摸时，显示特定信息。

最终，执行单元126通过画角色的效果和运动来向输出单元发送生成的动画图像，其中由角色动作确定单元124在背景上确定所述效果和运动。

输出单元130可被实现为触摸屏、LCD等等，并且输出图像。在本发明的实施例中，输出单元130由显示单元通过渲染拥有对于背景和一个角色或多个角色的运动效果的动画来输出视觉结果。当输出最终动画时，可再现声音或生成诸如振动的效果。

发送单元140将具有根据相应图像的特征和感测信号的运动效果的生成的最终动画向外部发送。

控制单元120随后根据背景图像和一个或多个外部信号的特征生成包括用于角色的运动效果的最终动画，其中所述控制单元120可将最终动画存储在存储单元150中或将最终动画发送给外部目标。存储的表格(form)参考用于由终端支持的格式的用户简档(userprofile)来生成支持的类型格式。支持的文件格式包括用于提供动画的游戏图片格式，诸如ShockWaveFlash(SWF)、动画图形交换格式(GIF)、运动图像专家组(MPEG)和H.264，并且如果存储设备不具有用于再现动画的动画观看器，则可以以普通的图像格式-联合图像专家组(JPEG)格式来存储文件格式。另外，可通过检查存储的容量来选择合适的存储格式。因为动画GIF通常在图像会被丢失或其容量会增加方面具有缺陷，所以可取决于存储容量来选择存储格式。

此外，在生成动画的时候，所述控制单元120确定用于运动角色的初始参数，并且当动画正在被再现时，控制单元120致使(render)用于运动角色的参数被改变，并且根据改变后的参数致使角色的动作或运动轨迹被改变和被输出。也就是说，在动画正在被再现的同时、当识别出外部信号时，控制单元120根据该外部信号生成并再次再现角色的运动。

图8是示出根据本发明实施例的根据图像的特征生成能够与背景交互的角色的动态效果的处理的流程图。

参照图8，根据生成用于角色的运动效果的处理，在步骤805中，控制单元120的图像解释单元121解释输入的背景图像。在这种情况下，可检测背景图像的边缘、根据图像的复杂性对图像进行分割、或者在预先存储在数据库中的信息的基础上确定从图像分割的区域的种类。

然后，在步骤810中，控制单元120的角色推荐单元122根据由图像解释单元121解释的图像的特征来确定所推荐的角色，并通过显示单元向用户提供所推荐的角色。在这种情况下，可推荐两个或更多角色。然后，在步骤815中，用户确定是否选择所推荐的角色。如果用户选择所推荐的角色、或当推荐了多个角色时选择所推荐的角色中的一个角色，则处理进行到步骤820，在该步骤中设置所选择的推荐角色使其被包括在背景图像中。

如果在步骤815中用户不选择所推荐的角色，则用户可从角色列表中自由地选择另一角色，并且处理进行到步骤825，在该步骤中设置由用户选择的角色使其被包括在背景图像中。

在步骤830，由配备在动画生成装置中的一个或多个传感器识别信号。在步骤835，图1的角色动作确定单元124在步骤805中解释的背景图像的角色、选择的角色的特征和识别的外部信号的基础上确定角色的动作。

在步骤840中，图1的执行单元126执行在步骤830中确定的角色的动作，并渲染背景和角色，从而执行动画。

在步骤845中，确定是否存储具有角色的运动效果的动画。如果在步骤845中确定不存储动画，则处理进行到步骤830，在该步骤中信号识别处于准备状态并且重复用于确定角色动作的处理。如果在步骤845确定存储动画，则处理进行到步骤850，其中以预置格式存储动画，随后处理进行到步骤855。在步骤855，确定是否应该终止处理，其中，如果确定不应该终止处理，则处理进行到步骤830，如果确定应该终止处理，则终止全部处理。

根据本发明，可解释图像、照片或图片以用于动画效果，推荐合适的角色，并且自动生成角色的运动效果，由此本发明允许用户容易和有效地制做动画。

另外，根据本发明，每当制做内容时，可生成具有不同动画效果的内容，而不是具有相同效果的内容，以便每当用户再现和观看生成的内容时用户接收不同的印象，并且可以按照能够像诸如移动电话或智能电话之类的移动通信设备的背景图像那样被发送的格式来生成内容，由此可向用户提供各种各样的动画内容。

根据本发明，利用角色，将生动的动画效果给予静止图像或简单运动图片，由此通过角色的自主动作、角色间交互、根据背景的角色改变以及角色和用户之间的交互可唤起用户的情绪。

此外，使用通过图像识别、图像特征的理解和角色的人工智能的组合的动画生成方法，可提供新颖的用户应用。

虽然已经参照本发明的特定实施例示出和描述本发明，但是本领域技术人员应该理解，可在形式和细节方面进行各种改变而不脱离由所附权利要求及其等同物限定的本发明的精神和范围。

Claims (15)

1.一种用于根据背景图像的特征生成能够与背景图像交互的角色的运动效果的方法，所述方法包括：

提取所述背景图像的特征，其中，所述特征包括背景图像的边缘信息；

根据提取的该背景图像的特征，确定在该背景图像中拥有运动效果的角色的至少一个；

识别包括用户输入的外部信号，以用于选择所确定的至少一个角色中的角色；

根据所述背景图像的特征和识别的外部信号，确定所述选择的角色的运动；

再现用于执行所述背景图像中的角色的运动的动画。

2.如权利要求1所述的方法，还包括：

如果当正在再现动画时识别出外部信号，则根据所述外部信号生成和再现角色的运动。

3.如权利要求1所述的方法，其中，提取所述背景图像的特征包括：

提取该背景图像的边缘信息；

根据所提取的边缘信息分割背景图像；以及

对分割后的区域的种类进行分类。

4.如权利要求3所述的方法，其中，在对所述分割后的区域的种类的分类中，通过预先将根据多个区域的种类存储的特征与相应区域的当前特征进行比较，来确定相应区域的种类。

5.如权利要求4所述的方法，其中，在根据提取的所述背景图像的特征来确定该背景图像中拥有运动效果的角色中，如果存在根据背景图像的区域的种类预先定义的角色，则将预先定义的角色确定为拥有运动效果的角色。

6.如权利要求1所述的方法，其中，所述外部信号是从下述中的至少一个输入的信号：接触式传感器、重量传感器、加速度传感器、照明传感器、麦克风和相机，或者是由于气象信息、时间信息、电文接收和电子邮件接收中的至少一个所生成的信号。

7.如权利要求1所述的方法，其中，根据所述背景图像的特征和识别的外部信号确定角色的运动包括：

根据存储在依照背景图像的特征以及所识别的外部信号的角色信息中的角色的通常运动信息，来确定角色的运动；以及

当生成至少一个事件时，确定执行用于存储在所述角色信息中的事件的至少一个反应信息项，其中，存储在所述角色信息中的角色根据外部信号对所述事件作出反应。

8.如权利要求1所述的方法，还包括：

存储所再现的动画。

9.一种用于根据背景图像的特征生成能够与背景图像交互的角色的运动效果的装置，所述装置包括：

输入装置，接收用户输入；

存储器，存储所述背景图像和多个角色信息项；

控制单元，用于提取背景图像的特征，其中，所述特征包括背景图像的边缘信息，根据所提取的背景图像的特征确定在背景图像中拥有运动效果的角色，识别包括用户输入的外部信号，并根据所述背景图像的特征以及所识别的外部信号来确定角色的运动；以及

输出单元，用于根据所确定的角色的运动来再现用于执行所述背景图像中的角色的运动的动画。

10.如权利要求9所述的装置，其中，如果当动画正在被再现时识别出外部信号，则所述控制单元根据外部信号生成并再现角色的运动。

11.如权利要求9所述的装置，其中，当提取背景图像的特征时，所述控制单元提取所述背景图像的边缘信息，根据所提取的边缘信息分割该背景图像、并且对分割后的区域的种类进行分类，以及

其中，对分割后的区域的种类进行分类包括：通过预先将根据两个或更多区域的种类存储的特征与相应区域的当前特征进行比较，来确定该相应区域的种类。

12.如权利要求11所述的装置，其中，根据所提取的背景图像的特征确定在所述背景图像中拥有运动效果的角色包括：

如果存在根据所述背景图像的区域的种类预先定义的角色，则将预先定义的角色确定为拥有运动效果的角色。

13.如权利要求9所述的装置，其中，所述外部信号是从下述中的至少一个输入的信号：接触式传感器、重量传感器、加速度传感器、照明传感器、麦克风和相机，或者是由于气象信息、时间信息、电文接收和电子邮件接收中的至少一个所生成的信号。

14.如权利要求9所述的装置，其中，根据所述背景图像的特征以及所识别的外部信号确定角色的运动包括：

根据存储在依照所述背景图像的特征以及所识别的外部信号的角色信息中的角色的通常运动信息来确定角色的运动；以及

当生成至少一个事件时，确定执行用于存储在所述角色信息中的事件的至少一个反应信息项，其中，存储在该角色信息中的角色根据外部信号对所述事件作出反应。

15.如权利要求9所述的装置，其中，所述控制单元将再现的动画存储在存储单元中。