CN102364470A - 一种基于图像序列的三维动画检索方法 - Google Patents

一种基于图像序列的三维动画检索方法 Download PDF

Info

Publication number
CN102364470A
CN102364470A CN2011103115605A CN201110311560A CN102364470A CN 102364470 A CN102364470 A CN 102364470A CN 2011103115605 A CN2011103115605 A CN 2011103115605A CN 201110311560 A CN201110311560 A CN 201110311560A CN 102364470 A CN102364470 A CN 102364470A
Authority
CN
China
Prior art keywords
model
animation
frame
image
img
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103115605A
Other languages
English (en)
Other versions
CN102364470B (zh
Inventor
肖秦琨
罗艺闯
高嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN 201110311560 priority Critical patent/CN102364470B/zh
Publication of CN102364470A publication Critical patent/CN102364470A/zh
Application granted granted Critical
Publication of CN102364470B publication Critical patent/CN102364470B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种三维动画检索方法，首先对三维动画（3dmax动画）数据库进行处理，从模型动画中采样m帧，在每一帧中设置
Figure 2011103115605100004DEST_PATH_IMAGE002
,
Figure 2011103115605100004DEST_PATH_IMAGE004
,…
Figure 2011103115605100004DEST_PATH_IMAGE008
共n个摄像机，摄像机位于正n面体的各个顶点，从各个视角来拍摄模型，得到n个视角的图像n幅图像，然后运用主成分分析法对得到的n幅图像进行融合，最终用得到的融合图像来代表模型一帧的图像；其次，对得到经融合的m帧图像提取光流描述子，并对得到的数据取均值，最终用x方向和y方向的速度来描述整个模型动画；最后运用描述两个向量相似度的度量作为检索的依据，并将得到的数据进行排序，输出检索动画结果。

Description

一种基于图像序列的三维动画检索方法
技术领域：
本发明属于多媒体信息检索领域，特别是一种基于图像序列的三维模型动画检索方法。
背景技术：
三维模型动画检索是多媒体信息检索领域的热点问题，特别是三维动画影视和游戏的发展，具有广阔的应用前景，国内外许多机构正致力于这一方面的研究。近年来3D影视的兴起，需要为所建动画角色添加一系列的动画，这会耗费大量时间，人们就需要一种快速有效的模型动画检索方法。在国外公开的文献中，Jackie Assa. “Human Motion Retrieval from Hand-Draw Sketch”In ” IEEE Trans Vis Comput Graph. 2011 Mar 2 ”，提出了人基于运动轨迹的动作识别方法，关于现行的三维模型动画检索机制，总体来说分为2大类：基于特定对象的比对时间帧的检索方法，和基于特定对象的比对轨迹的检索方法。
    但上述检索方法有几点不足：
   （1）逐帧比较容易受到诸如速度快慢因素的影响，影响最终检索效果，就是基于动态时间弯曲法，虽然克服了速度因素，但该方法是检索最优路径，需要添加带宽约束，不同的约束检索效果不同，而且这种检索方法是基于局部特征的运动比对，缺少整体特征的描述，从而影响检索结果；再者对于数据处理需要大量的存储空间，数据检索也会耗费大量时间。
   （2）两种方法都是基于特定对象的，是在对象已知的情况下进行检索，而实际中需要对各种模型动画进行检索。因此现有技术存在着适用范围窄的问题。
    下面对与本发明有关的技术进行简单介绍：
   （1）主成分分析法：它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化，可以有效地找出数据中最主要的元素和结构，去除噪声和冗余，将复杂数据降维，揭示隐藏在背后的简单结构，具有广泛应用，本发明中用来进行图像数据的融合。
   （2）光流法：光流是空间运动物体在成像面上的像素运动的瞬时速度，利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的运动，目前，光流计算大致分为三类：基于匹配的、频域的和梯度的方法，本发明中用的是基于区域匹配的计算方法。
发明内容：
本发明要提供一种基于图像序列的三维模型动画检索方法，以克服现有技术存在的容易受到起始动作的影响、耗费时间多和适用范围窄的问题。
为了克服现有技术存在的问题，本发明提供的技术方案是：一种基于图像序列的三维动画检索方法，依次包括下述步骤：
一、服务器端三维模型的图像阵列的获取：在三维模型动画数据库中设置n个摄像机，编写脚本使得模型成正n面体分布，使模型处于摄像机中心，并使得每个摄像头视轴线指向模型质心，获得模型各个视角图像，组成图像阵列；
二、服务器端获取每一帧模型图像：对每个模型的每一帧的n幅图像组成的图形阵列
Figure 2011103115605100002DEST_PATH_IMAGE001
，用主成分分析法（PCA）进行图像融合，从而得到一帧的模型图像
Figure 2011103115605100002DEST_PATH_IMAGE002
；
三、在服务器端生成特征数据库：
   （1）将得到的每一帧模型图像组成图像序列 ，然后对图像序列的第一帧和第二帧提取光流光流特征，接着对第二帧和第三帧提取光流特征，以此类推直至最后一帧；
   （2）对得到的每个模型动画的光流描述取均值，得到的结果作为整个模型动画的描述，从而生成特征数据库；
四、在服务器端生成客户端提供的图像序列的特征：将客户端图像序列，按照特征数据库生成的方法，来生成客户端图像序列动画的特征描述；
五、服务器端返回给客户端检索得到的模型动画：将得到的客户端动画特征与特征数据库中的特征进行比较，用用Fleet and Jepson提出的角误差测量方法作为量度，取其中误差较小的作为返回动画的索引并返回给客户检索结果。
上述的步骤三（1）中，具体包括以下步骤：
   （a）运用运动中基于区域的匹配方法来描述物体的运动，首先建立运动模型：
Figure 2011103115605100002DEST_PATH_IMAGE004
   （b）提出假设：a.图像中点的亮度是不变的；b.临近点以相同速度移动
   （c）由第一个假设，可得H(x)=0，找到使误差最小的向量
Figure 2011103115605100002DEST_PATH_IMAGE005
，计算为
Figure 2011103115605100002DEST_PATH_IMAGE006
   （d）为消除噪声影响，考虑第二个假设，可得:
Figure 2011103115605100002DEST_PATH_IMAGE009
       根据相关方法实现平方误差最小化，解得动画光流描述。
本发明与现有技术相比的优点在于：
   （1）克服了动态时间弯曲法适用于较短动画检索的缺点，不依赖于动画序列的长短；由于动态时间弯曲随着动画序列的增加，距离矩阵也在增加，而再在距离矩阵之上找寻比较路径，无疑增加了算法的复杂度，而本发明运用PCA融合算法，将所有特征降维，大大减小了对于存储空间的要求，也加快了算法运行速度；
   （2）可用于非静态的、突变动作模型的检索，而相对于以往的检索方法(如欧式距离、动态时间弯曲等)，这些检索算法是基于静态、平稳的运动模型这个假设之上的，也就是马尔科夫过程，无法解决动作突变等情况；
   （3）可以充分利用模型的多视角信息进行模型的识别；先前提到的检索算法，是针对某个特定对象动作过程的检索，就是说检索算法中并没有包含识别的过程，本发明中通过在多视角图像中提取模型特征，来进行目标的识别；
   （4）可以进行整体动作的检索，也可比对具体某个动作的获取；该算法依用户输入图像序列而定，如果输入较少的图像序列，也就是某个动作（如踢腿），那么就可以进行特定动作的检索，如果输入较多的图像序列（如跳舞），即可进行整个动作过程的检索。
附图说明：        
图1是本发明的整体框架；       
图2为本发明方法步骤（1）的流程图；
       图3为本发明方法步骤（2）（3）的流程图；
       图4为根据本发明方法步骤（1）所做结果显示；
    图5为根据本发明方法步骤（2）所做结果显示；
    图6~图7为根据本发明方法步骤（3）所做结果显示；
       图8为本发明方法的检索效果（用PR曲线来描述）；
具体实施方式：
下面将结合附图及具体实施例对本发明进行详细的说明。
参见图1~图3，本发明提供的一种基于图像序列的三维动画检索方法，依次包括下述步骤：
一、服务器端对三维模型动画数据库中的每一帧模型进行n个视角的采样，获取三维模型的图像阵列：参见图1~图2，共有num个模型动画，分别在各个三维模型动画中设置n个摄像机，编写脚本使得模型成正n面体分布，使模型处于摄像机中心，并使得每个摄像头视轴线指向模型质心，获得模型各个视角图像，组成图像阵列，所得结果如图4所示；
二、服务器端将获得的图像阵列用主成分分析法进行图像融合，获得每一帧模型图像：参见图2，对每个模型的每一帧的n幅图像组成的图形阵列
Figure 352108DEST_PATH_IMAGE001
，用主成分分析法（PCA）进行图像融合，从而得到一帧的模型图像
Figure 206932DEST_PATH_IMAGE002
，所得结果如图5所示；
三、服务器端对每个模型的图像序列提取光流描述子，生成三维模型动画的特征数据库（参见图1~图2）：
   （1）将得到的每一帧模型图像组成图像序列
Figure 986669DEST_PATH_IMAGE003
，然后对图像序列的第一帧和第二帧提取光流光流特征，接着对第二帧和第三帧提取光流特征，以此类推直至最后一帧，所得结果如图6所示，具体的步骤如下：
   （a）运用运动中基于区域的匹配方法来描述物体的运动，首先建立运动模型：
Figure 319561DEST_PATH_IMAGE004
   （b）提出假设：a.图像中点的亮度是不变的；b.临近点以相同速度移动
   （c）由第一个假设，可得H(x)=0，找到使误差最小的向量
Figure 133933DEST_PATH_IMAGE005
，计算为
Figure 885290DEST_PATH_IMAGE006
   （d）为消除噪声影响，考虑第二个假设，可得:
    根据相关方法实现平方误差最小化，解得动画光流描述。
   （2）对得到的每个模型动画的光流描述取均值，得到的结果作为整个模型动画的描述，从而生成特征数据库，所得结果如图7所示；
四、服务器端计算客户端提供的图像序列的特征：参见图3，对客户端图像序列进行PCA图像融合之后，提取图像序列动画的光流描述子，作为客户模型动画的特征描述；
五、服务器端将获得的特征与数据库特征库进行比对，并返回给客户端相应的模型动画（参见图1、图3）：将得到的客户端动画特征与特征数据库中的特征进行比较，用用Fleet and Jepson提出的角误差测量方法作为量度，取其中误差较小的作为返回动画的索引并返回客户检索结果，就对于检索精度，可用返回结果来验证，参见图8。

Claims (2)

1.一种基于图像序列的三维动画检索方法，依次包括下述步骤：
一、服务器端三维模型的图像阵列的获取：在三维模型动画数据库中设置n个摄像机，编写脚本使得模型成正n面体分布，使模型处于摄像机中心，并使得每个摄像头视轴线指向模型质心，获得模型各个视角图像，组成图像阵列；
二、服务器端获取每一帧模型图像：对每个模型的每一帧的n幅图像组成的图形阵列                                                ，用主成分分析法（PCA）进行图像融合，从而得到一帧的模型图像
Figure 2011103115605100001DEST_PATH_IMAGE002
；
三、在服务器端生成特征数据库：
（1）将得到的每一帧模型图像组成图像序列
Figure 187736DEST_PATH_IMAGE003
，然后对图像序列的第一帧和第二帧提取光流光流特征，接着对第二帧和第三帧提取光流特征，以此类推直至最后一帧；
（2）对得到的每个模型动画的光流描述取均值，得到的结果作为整个模型动画的描述，从而生成特征数据库；
四、在服务器端生成客户端提供的图像序列的特征：将客户端图像序列，按照特征数据库生成的方法，来生成客户端图像序列动画的特征描述；
五、服务器端返回给客户端检索得到的模型动画：将得到的客户端动画特征与特征数据库中的特征进行比较，用用Fleet and Jepson提出的角误差测量方法作为量度，取其中误差较小的作为返回动画的索引并返回给客户检索结果。
2.根据权利要求1所述的方法，其特征在于：所述的步骤三（1）中，具体包括以下步骤：
   （a）运用运动中基于区域的匹配方法来描述物体的运动，首先建立运动模型：
    （b）提出假设：a.图像中点的亮度是不变的；b.临近点以相同速度移动
    （c）由第一个假设，可得H(x)=0，找到使误差最小的向量
Figure 905156DEST_PATH_IMAGE005
，计算为
Figure 2011103115605100001DEST_PATH_IMAGE006
    （d）为消除噪声影响，考虑第二个假设，可得:
Figure 2011103115605100001DEST_PATH_IMAGE008
       根据相关方法实现平方误差最小化，解得动画光流描述。
CN 201110311560 2011-10-14 2011-10-14 一种基于图像序列的三维动画检索方法 Expired - Fee Related CN102364470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110311560 CN102364470B (zh) 2011-10-14 2011-10-14 一种基于图像序列的三维动画检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110311560 CN102364470B (zh) 2011-10-14 2011-10-14 一种基于图像序列的三维动画检索方法

Publications (2)

Publication Number Publication Date
CN102364470A true CN102364470A (zh) 2012-02-29
CN102364470B CN102364470B (zh) 2013-05-15

Family

ID=45691036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110311560 Expired - Fee Related CN102364470B (zh) 2011-10-14 2011-10-14 一种基于图像序列的三维动画检索方法

Country Status (1)

Country Link
CN (1) CN102364470B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462365A (zh) * 2014-12-08 2015-03-25 天津大学 一种基于概率模型的多视角目标检索方法
CN109446363A (zh) * 2018-10-22 2019-03-08 镇江悦乐网络科技有限公司 一种基于三维cg动画的快速检索方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
CN101382934A (zh) * 2007-09-06 2009-03-11 华为技术有限公司 多媒体模型检索方法、装置及系统
US20100066860A1 (en) * 2007-08-24 2010-03-18 Sony Corporation Image processing device, dynamic image reproduction device, and processing method and program in them
CN101976461A (zh) * 2010-10-25 2011-02-16 北京理工大学 一种新的户外增强现实无标跟踪注册算法
CN102004795A (zh) * 2010-12-08 2011-04-06 中国科学院自动化研究所 一种手语检索的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100066860A1 (en) * 2007-08-24 2010-03-18 Sony Corporation Image processing device, dynamic image reproduction device, and processing method and program in them
CN101382934A (zh) * 2007-09-06 2009-03-11 华为技术有限公司 多媒体模型检索方法、装置及系统
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
CN101976461A (zh) * 2010-10-25 2011-02-16 北京理工大学 一种新的户外增强现实无标跟踪注册算法
CN102004795A (zh) * 2010-12-08 2011-04-06 中国科学院自动化研究所 一种手语检索的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖秦琨 等: "基于相关反馈学习的三维目标检索算法", 《系统工程与电子技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462365A (zh) * 2014-12-08 2015-03-25 天津大学 一种基于概率模型的多视角目标检索方法
CN109446363A (zh) * 2018-10-22 2019-03-08 镇江悦乐网络科技有限公司 一种基于三维cg动画的快速检索方法

Also Published As

Publication number Publication date
CN102364470B (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
Wang et al. Dense trajectories and motion boundary descriptors for action recognition
Senst et al. Crowd violence detection using global motion-compensated lagrangian features and scale-sensitive video-level representation
CN103593464B (zh) 基于视觉特征的视频指纹检测及视频序列匹配方法及系统
Elhayek et al. MARCOnI—ConvNet-based MARker-less motion capture in outdoor and indoor scenes
Chen et al. City-scale landmark identification on mobile devices
Guo et al. Action recognition from video using feature covariance matrices
Holte et al. 3D human action recognition for multi-view camera systems
Choi et al. Depth analogy: Data-driven approach for single image depth estimation using gradient samples
Singh et al. Human activity recognition in video benchmarks: A survey
Chun et al. Human action recognition using histogram of motion intensity and direction from multiple views
Da Silva et al. Human action recognition in videos based on spatiotemporal features and bag-of-poses
Yi et al. Motion keypoint trajectory and covariance descriptor for human action recognition
Liang et al. 3D human action recognition using a single depth feature and locality-constrained affine subspace coding
Chu et al. Housecraft: Building houses from rental ads and street views
Li et al. Occlusion aware unsupervised learning of optical flow from video
CN102364470B (zh) 一种基于图像序列的三维动画检索方法
Liu et al. Energy-based global ternary image for action recognition using sole depth sequences
Tran et al. An effective fusion scheme of spatio-temporal features for human action recognition in RGB-D video
Barhoumi Detection of highly articulated moving objects by using co-segmentation with application to athletic video sequences
Mizher et al. Action key frames extraction using l1-norm and accumulative optical flow for compact video shot summarisation
Nie et al. Effective 3D object detection based on detector and tracker
Liu et al. Better dense trajectories by motion in videos
Li et al. Spatiotemporal interest point detector exploiting appearance and motion-variation information
Hu et al. Video driven pedestrian visualization with characteristic appearances
Bhutta et al. Selective subtraction for handheld cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130515

Termination date: 20131014