CN109829960A - 一种vr动漫系统交互方法 - Google Patents
一种vr动漫系统交互方法 Download PDFInfo
- Publication number
- CN109829960A CN109829960A CN201910060154.2A CN201910060154A CN109829960A CN 109829960 A CN109829960 A CN 109829960A CN 201910060154 A CN201910060154 A CN 201910060154A CN 109829960 A CN109829960 A CN 109829960A
- Authority
- CN
- China
- Prior art keywords
- module
- human
- animation
- video camera
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种VR动漫系统交互方法，该方法中的VR动漫交互系统包括图片接收模块、存储模块、摄像定位模块、特征提取模块、立体建模模块、匹配模块、检测调整模块、移动终端；本发明通过摄像机对人体进行拍摄，通过摄像定位模块对摄像机的位置进行定位，构建完整的三维空间，通过特征提取模块对人体关节点进行标记提取坐标，通过立体建模模块对人体关节点进行连线，并且通过匹配模块对坐标进行匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，简单方便，而且计算量小、速度快，而且精度高，匹配效果好；同时还设置了检测调整模块，便于对人体移动状况进行实时分析并作出快速判断，避免交互出现混乱和中断，适应能力强。
Description
技术领域
本发明涉及动漫系统交互技术领域，尤其涉及一种VR动漫系统交互方法。
背景技术
随着计算机技术的快速发展，虚拟现实(Virtual Reality，简称VR)技术越来越普及,虚拟现实VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机处理器生成一种模拟环境，也是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，能够使用户沉浸到该环境中，虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官，传感设备是指三维交互设备。
基于虚拟现实技术的实景空间以下简称虚拟实景空间，是基于实景图像的虚拟信息系统，它利用照相机采集的离散图像或摄像机采集的连续视频作为基础数据，运用IBR技术，将这些孤立的图像按照时间和空间的关联生成全景图，建立起具有空间操纵能力的虚拟环境，虚拟实景空间不同于传统的以GBR技术为基础构造的虚拟空间，主要体现在虚拟空间的建立(以场景的真实图像为基础)和操纵(交互导航设计结合观察视点的变换)，而这由虚拟实景空间的特点所决定。目前，VR技术被广泛应用于影视、虚拟现实游戏、绘画等场景下,现有的VR动漫交互时一般计算量大、速度慢，而且精度较差，难以匹配。
发明内容
本发明的目的在于提供一种VR动漫系统交互方法，通过摄像机对人体进行拍摄，通过摄像定位模块对不同角度拍摄的不同图片之间的相关点进行匹配并对摄像机的位置进行定位，从而构建完整的三维空间，通过特征提取模块对图片上人体关节点进行标记，并提取关节点坐标，通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成模拟人体骨架，并且通过匹配模块对人体关节坐标和移动终端中的动漫角色的关节坐标相匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，进行同步运动，从而使操作者能够与动漫角色进行交互，简单方便，而且计算量小、速度快，而且精度高，匹配效果好；同时还设置了检测调整模块，便于对人体移动状况进行实时分析并作出快速判断，从而重新快速对人体骨架进行模拟，避免交互出现中断，适应能力强。
本发明的目的可以通过以下技术方案实现：
一种VR动漫系统交互方法，该方法中的VR动漫交互系统包括图片接收模块、存储模块、摄像定位模块、特征提取模块、立体建模模块、匹配模块、检测调整模块、移动终端；所述图片接收模块通过摄像机对人体进行拍摄并获取人体的多角度图片；所述存储模块用于对图片进行存储；所述摄像定位模块用于对摄像机进行位置定位；所述特征提取模块用于对不同图片中相关点的特征进行提取并进行计算；所述立体建模模块用于人体的三维虚拟模型；所述匹配模块用于将人体的虚拟模型与动漫角色进行匹配；所述检测调整模块用于检测人体是否移动并对移动后的三维虚拟模型数据进行调整，重新确立正确的三维虚拟模型；所述移动终端显示需要交互的动漫角色；该方法具体包括以下步骤：
步骤一：人站立在摄像机前，图片接收模块通过移动摄像机并对人体进行拍摄，摄像机拍摄的图片传输到存储模块进行存储；
步骤二：摄像机进行拍摄时通过摄像定位模块对不同角度拍摄的不同图片之间的相关点进行匹配并对摄像机的位置进行定位，并获取摄像机的内外参数进行立体成像，并求出外部参数，构建完整的三维空间；
步骤三：特征提取模块对摄像机拍摄的不同图片的人体关节点进行标记，并提取关节点坐标；
步骤四：通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成模拟人体骨架；
步骤五：通过匹配模块对人体关节坐标和移动终端中的动漫角色的关节坐标相匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，进行同步运动；
步骤六：人体移动时，通过检测调整模块计算出人体关节坐标和移动终端中的动漫角色的坐标之间的距离和角度改变差值，重新进行调整，确定实时的模拟人体骨架。
进一步在于，所述摄像定位模块对摄像机的定位采用两部标定法，首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解。
进一步在于，所述特征提取模块标记的人体关节的个数有t个，所述特征提取模块记录模拟人体骨架关节点的各个关节坐标以及与模拟人体骨架关节点相对应的动漫角色的关节坐标，并计算出模拟人体骨架关节点与动漫角色的关节坐标的固定差值。
进一步在于，所述检测调整模块的具体工作步骤为：
检测调整模块检测到模拟人体骨架关节点的所有关节点都发生移动，则判断人体发生移动，并将信号传输给图片接收模块，并通过立体建模模块重新建立模拟人体骨架，记录新的模拟人体骨架关节坐标和模拟人体骨架关节点与动漫角色的关节坐标的固定差值；
检测调整模块检测到模拟人体骨架关节点的部分关节点发生移动，则判断为人体部分肢体正常活动，动漫角色做出相应的动作。
进一步在于，所述特征提取模块提取人体关节点前对摄像机拍摄的图像进行预处理，不仅可以消除图像中存在一系列的噪声源，通过此处理可显著改进图像质量，使图像中特征点更加突出。
本发明的有益效果：
本发明通过摄像机对人体进行拍摄，通过摄像定位模块对不同角度拍摄的不同图片之间的相关点进行匹配并对摄像机的位置进行定位，从而构建完整的三维空间，通过特征提取模块对图片上人体关节点进行标记，并提取关节点坐标，通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成模拟人体骨架，并且通过匹配模块对人体关节坐标和移动终端中的动漫角色的关节坐标相匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，进行同步运动，从而使操作者能够与动漫角色进行交互，简单方便，而且该方法计算量小、速度快，同时精度高，匹配效果好；同时还设置了检测调整模块，便于对人体移动状况进行实时分析并作出快速判断，从而重新快速对人体骨架进行模拟，避免交互出现中断，适应能力强。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明一种VR动漫系统交互方法的模块图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种VR动漫系统交互方法，该方法中的VR动漫交互系统包括图片接收模块、存储模块、摄像定位模块、特征提取模块、立体建模模块、匹配模块、检测调整模块、移动终端；所述图片接收模块通过摄像机对人体进行拍摄并获取人体的多角度图片；所述存储模块用于对图片进行存储；所述摄像定位模块用于对摄像机进行位置定位；所述特征提取模块用于对不同图片中相关点的特征进行提取并进行计算；所述立体建模模块用于人体的三维虚拟模型；所述匹配模块用于将人体的虚拟模型与动漫角色进行匹配；所述检测调整模块用于检测人体是否移动并对移动后的三维虚拟模型数据进行调整，重新确立正确的三维虚拟模型；所述移动终端显示需要交互的动漫角色；该方法具体包括以下步骤：
步骤一：人站立在摄像机前，图片接收模块通过移动摄像机并对人体进行拍摄，摄像机拍摄的图片传输到存储模块进行存储；
步骤二：摄像机进行拍摄时通过摄像定位模块对不同角度拍摄的不同图片之间的相关点进行匹配并对摄像机的位置进行定位，并获取摄像机的内外参数进行立体成像，并求出外部参数，从而构建完整的三维空间；
步骤三：特征提取模块对摄像机拍摄的不同图片的人体关节点进行标记，并提取关节点坐标；
步骤四：通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成模拟人体骨架；
步骤五：通过匹配模块对人体关节坐标和移动终端中的动漫角色的关节坐标相匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，进行同步运动；
步骤六：人体移动时，通过检测调整模块计算出人体关节坐标和移动终端中的动漫角色的坐标之间的距离和角度改变差值，重新进行调整，确定实时的模拟人体骨架。
所述摄像定位模块对摄像机的定位采用两部标定法，首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解。
摄像定位模块对对摄像机的位置进行定位时，采用图像立体匹配的方式，通过匹配摄像机拍摄的图片中的对应特征，并输出视差图，差值是指左右图像上的相同特征在x坐标上的差值，通过立体匹配，对两个不同的摄像机视图的3D点进行匹配，当图片中的特征出现在双目摄像机的重叠视图内的可视区域中时，该特征被列入计算范围，通过测量得到场景中物体的大小或者摄像机的物理坐标，然后通过两个不同摄像机视图中的匹配点之间的三角测量视差值来求取深度值。
所述特征提取模块标记的人体关节的个数有t个，坐标分别为(Xa1,Ya1,Za1)、(Xa2,Ya2,Za2)...(Xat,Yat,Zat),与模拟人体骨架关节点相对应的动漫角色的关节坐标为(Xb1,Yb1,Zb1)、(Xb2,Yb2,Zb2)...(Xbt,Ybt,Zbt)，模拟人体骨架关节点与动漫角色的关节坐标的固定差值为(Xb1-Xa1,Yb1-Ya1,Zb1-Za1)、(Xb2-Xa2,Yb2-Ya2,Zb2-Za2)...(Xbt-Xat,Ybt-Yat,Zbt-Zat)。
检测调整模块检测到模拟人体骨架关节点的所有关节点与动漫角色的关节坐标的固定差值发生改变，则判断人体发生移动，并将信号传输给图片接收模块；图片接收模块通过移动摄像机重新对人体的各个角度进行拍摄，摄像定位模块不同图片之间的相关点进行重新匹配并对摄像机的位置进行定位，并获取摄像机的内外参数进行立体成像，求出外部参数，重新构建完整的三维空间；特征提取模块对摄像机拍摄的不同图片的人体关节点重新进行标记，并提取新的关节点坐标，通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成新的模拟人体骨架；模拟人体骨架关节坐标为(Xc1,Yc1,Zc1)、(Xc2,Yc2,Zc2)...(Xct,Yct,Zct),模拟人体骨架关节点与动漫角色的关节坐标的固定差值为(Xb1-Xc1,Yb1-Yc1,Zb1-Zc1)、(Xb2-Xc2,Yb2-Yc2,Zb2-Zc2)...(Xbt-Xct,Ybt-Yct,Zbt-Zct)。
检测调整模块检测到模拟人体骨架关节点与动漫角色的关节坐标的部分固定差值发生移动，则判断为人体部分肢体正常活动，动漫角色做出相应的动作。
所述特征提取模块提取人体关节点前对摄像机拍摄的图像进行预处理，包括数字图像处理的基本操作，如去噪、边缘提取、直方图处理等、建立图像的匹配模板以及对图像进行某种变换等操作，不仅可以消除图像中存在一系列的噪声源，通过此处理可显著改进图像质量，使图像中特征点更加突出。
本发明通过摄像机对人体进行拍摄，通过摄像定位模块对不同角度拍摄的不同图片之间的相关点进行匹配并对摄像机的位置进行定位，从而构建完整的三维空间，通过特征提取模块对图片上人体关节点进行标记，并提取关节点坐标，通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成模拟人体骨架，并且通过匹配模块对人体关节坐标和移动终端中的动漫角色的关节坐标相匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，进行同步运动，从而使操作者能够与动漫角色进行交互，简单方便，而且该方法计算量小、速度快，同时精度高，匹配效果好；同时还设置了检测调整模块，便于对人体移动状况进行实时分析并作出快速判断，从而重新快速对人体骨架进行模拟，避免交互出现中断，适应能力强。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.一种VR动漫系统交互方法，其特征在于，该方法中的VR动漫交互系统包括图片接收模块、存储模块、摄像定位模块、特征提取模块、立体建模模块、匹配模块、检测调整模块、移动终端；所述图片接收模块通过摄像机对人体进行拍摄并获取人体的多角度图片；所述存储模块用于对图片进行存储；所述摄像定位模块用于对摄像机进行位置定位；所述特征提取模块用于对不同图片中相关点的特征进行提取并进行计算；所述立体建模模块用于人体的三维虚拟模型；所述匹配模块用于将人体的虚拟模型与动漫角色进行匹配；所述检测调整模块用于检测人体是否移动并对移动后的三维虚拟模型数据进行调整，重新确立正确的三维虚拟模型；所述移动终端显示需要交互的动漫角色；该方法具体包括以下步骤：
步骤一：人站立在摄像机前，图片接收模块通过移动摄像机并对人体进行拍摄，摄像机拍摄的图片传输到存储模块进行存储；
步骤二：摄像机进行拍摄时通过摄像定位模块对不同角度拍摄的不同图片之间的相关点进行匹配并对摄像机的位置进行定位，并获取摄像机的内外参数进行立体成像，并求出外部参数，构建完整的三维空间；
步骤三：特征提取模块对摄像机拍摄的不同图片的人体关节点进行标记，并提取关节点坐标；
步骤四：通过立体建模模块对特征提取模块计算出的坐标进行连接，并将各个人体关节点进行连线，形成模拟人体骨架；
步骤五：通过匹配模块对人体关节坐标和移动终端中的动漫角色的关节坐标相匹配，使模拟人体骨架与动漫角色的躯干相对应并建立联系，进行同步运动；
步骤六：人体移动时，通过检测调整模块计算出人体关节坐标和移动终端中的动漫角色的坐标之间的距离和角度改变差值，重新进行调整，确定实时的模拟人体骨架。
2.根据权利要求1所述的一种VR动漫系统交互方法，其特征在于，所述摄像定位模块对摄像机的定位采用两部标定法，首先采用透视短阵变换的方法求解线性系统的摄像机参数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解。
3.根据权利要求1所述的一种VR动漫系统交互方法，其特征在于，所述特征提取模块标记的人体关节的个数有t个，所述特征提取模块记录模拟人体骨架关节点的各个关节坐标以及与模拟人体骨架关节点相对应的动漫角色的关节坐标，并计算出模拟人体骨架关节点与动漫角色的关节坐标的固定差值。
4.根据权利要求1所述的一种VR动漫系统交互方法，其特征在于，所述检测调整模块的具体工作步骤为：
检测调整模块检测到模拟人体骨架关节点的所有关节点都发生移动，则判断人体发生移动，并将信号传输给图片接收模块，并通过立体建模模块重新建立模拟人体骨架，记录新的模拟人体骨架关节坐标和模拟人体骨架关节点与动漫角色的关节坐标的固定差值；
检测调整模块检测到模拟人体骨架关节点的部分关节点发生移动，则判断为人体部分肢体正常活动，动漫角色做出相应的动作。
5.根据权利要求1所述的一种VR动漫系统交互方法，其特征在于，所述特征提取模块提取人体关节点前对摄像机拍摄的图像进行预处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910060154.2A CN109829960A (zh) | 2019-01-22 | 2019-01-22 | 一种vr动漫系统交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910060154.2A CN109829960A (zh) | 2019-01-22 | 2019-01-22 | 一种vr动漫系统交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109829960A true CN109829960A (zh) | 2019-05-31 |
Family
ID=66861879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910060154.2A Withdrawn CN109829960A (zh) | 2019-01-22 | 2019-01-22 | 一种vr动漫系统交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829960A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966068A (zh) * | 2020-08-27 | 2020-11-20 | 上海电机系统节能工程技术研究中心有限公司 | 电机产线增强现实监控方法、装置、电子设备及存储介质 |
| CN112784622A (zh) * | 2019-11-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
-
2019
- 2019-01-22 CN CN201910060154.2A patent/CN109829960A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784622A (zh) * | 2019-11-01 | 2021-05-11 | 北京字节跳动网络技术有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
| CN112784622B (zh) * | 2019-11-01 | 2023-07-25 | 抖音视界有限公司 | 图像的处理方法、装置、电子设备及存储介质 |
| CN111966068A (zh) * | 2020-08-27 | 2020-11-20 | 上海电机系统节能工程技术研究中心有限公司 | 电机产线增强现实监控方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504671B (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
| CN113012282B (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN102647606B (zh) | 立体影像处理器、立体影像互动系统及立体影像显示方法 | |
| JP5791433B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
| CN106066701B (zh) | 一种ar和vr数据处理设备与方法 | |
| CN107016704A (zh) | 一种基于增强现实的虚拟现实实现方法 | |
| TW201835723A (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
| KR20150082379A (ko) | 단안 시각 slam 을 위한 고속 초기화 | |
| JP2012058968A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| CN107185245B (zh) | 一种基于slam技术的虚实同步显示方法及系统 | |
| CN109242950A (zh) | 多人紧密交互场景下的多视角人体动态三维重建方法 | |
| KR102671707B1 (ko) | 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN114401414A (zh) | 沉浸式直播的信息显示方法及系统、信息推送方法 | |
| CN108564653A (zh) | 基于多Kinect的人体骨架追踪系统及方法 | |
| CN107862718A (zh) | 4d全息视频捕捉方法 | |
| CN109829960A (zh) | 一种vr动漫系统交互方法 | |
| CN107864372A (zh) | 立体拍照方法、装置及终端 | |
| JP6775669B2 (ja) | 情報処理装置 | |
| CN111435550A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 | |
| JP2002032788A (ja) | 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体 | |
| CN109840948B (zh) | 基于增强现实的目标物体的投放方法和装置 | |
| JP6168597B2 (ja) | 情報端末装置 | |
| CN113240811A (zh) | 三维人脸模型创建方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190531 |