CN110211222A - 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 - Google Patents
一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 Download PDFInfo
- Publication number
- CN110211222A CN110211222A CN201910377456.2A CN201910377456A CN110211222A CN 110211222 A CN110211222 A CN 110211222A CN 201910377456 A CN201910377456 A CN 201910377456A CN 110211222 A CN110211222 A CN 110211222A
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- body image
- immersion
- tourist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007654 immersion Methods 0.000 title claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 46
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims abstract description 18
- 238000004088 simulation Methods 0.000 claims abstract description 14
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 230000007613 environmental effect Effects 0.000 claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 230000037237 body shape Effects 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000001815 facial effect Effects 0.000 claims 1
- 230000000717 retained effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000086550 Dinosauria Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/14—Travel agencies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种AR沉浸式旅游导览方法，包括：识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；将所述合成的三维人体形象通过AR设备显示出来；本发明还公开了一种AR沉浸式旅游导览装置；本发明利用AR技术合成历史人物三维景象并进行呈现，解决旅游景点中的历史场景无法重现给游客的技术问题，实现游客在参观旅游景点时能重现历史场景，增加游客体验；通过增加语音识别和动作互动功能，进一步提高游客的体验感；通过捕捉当期环境中游客的动作识别运动轨迹并进行显示，再进一步提高游客的体验感。
Description
技术领域
本发明涉及视觉处理技术领域，尤其涉及一种AR沉浸式旅游导览方法、装置、存储介质及终端设备。
背景技术
现在的旅游景点，特别是一些文化古迹，历史场景难以重现，体验和所看到的皆是几千年以后的场景，光凭文字导览或导游的讲解，难以想象古人的场景，体验效果也不好。
发明内容
本发明提供了一种AR沉浸式旅游导览方法、装置、存储介质及终端设备，以解决旅游景点中的历史场景无法重现给游客的技术问题，从而利用AR技术合成历史人物三维景象并进行呈现，进而实现游客在参观旅游景点时能重现历史场景，增加游客体验。
为了解决上述技术问题，本发明实施例提供了一种AR沉浸式旅游导览方法，包括：
识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；
根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；
将所述合成的三维人体形象通过AR设备显示出来。
作为优选方案，所述根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象，包括：
通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3D人体形状；
对所述3D人体形状进行一致形态评估，保留与所述需要构建的人体形象保持一致的所述3D人体形状；
对一致形态的偏离进行每一帧的优化，得到逐帧形态并计算所述3D人体形状的纹理图。
作为优选方案，所述通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3D人体形状，包括：
拟合SMPL模型和2D检测，估计每一帧的初始人体形状和3D姿势；
基于拟合结果，将每一帧中的轮廓点与人体模型中的3D点结合起来，根据每个投影光线的对应3D模型点的反向变形模型，变换投影光线；
所有帧的拟合结果进行处理，得到了一个以标准姿势展示的人体形状。
作为优选方案，还包括：
采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令。
作为优选方案，还包括：
采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应。
作为优选方案，还包括：
实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。
作为优选方案，所述运动学算法包括：IK逆向运动学算法和FK正向运动学算法。
本发明实施例还提供了一种AR沉浸式旅游导览装置，包括：
识别判断模块，用于识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；
3D人体合成模块，用于根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；
显示模块，用于将所述合成的三维人体形象通过AR设备显示出来；
还包括：
语音识别模块，用于采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令；
动作互动模块，用于采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应；
运动轨迹模块，用于实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述任一项所述的AR沉浸式旅游导览方法。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述任一项所述的AR沉浸式旅游导览方法。
相比于现有技术，本发明实施例具有如下有益效果：
本发明利用AR技术合成历史人物三维景象并进行呈现，解决旅游景点中的历史场景无法重现给游客的技术问题，实现游客在参观旅游景点时能重现历史场景，增加游客体验；
通过增加语音识别和动作互动功能，进一步提高游客的体验感；
通过捕捉当期环境中游客的动作识别运动轨迹并进行显示，再进一步提高游客的体验感。
附图说明
图1：为本发明实施例中的AR沉浸式旅游导览方法流程示意图；
图2：为本发明实施例中的AR沉浸式旅游导览装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，本发明优选实施例提供了一种AR沉浸式旅游导览方法，包括：
S1，识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；
S2，根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；
S3，将所述合成的三维人体形象通过AR设备显示出来。
在本实施例中，所述根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象，包括：
S21，通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3D人体形状；
S22，对所述3D人体形状进行一致形态评估，保留与所述需要构建的人体形象保持一致的所述3D人体形状；
S23，对一致形态的偏离进行每一帧的优化，得到逐帧形态并计算所述3D人体形状的纹理图。
在本实施例中，所述通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3D人体形状，包括：
S211，拟合SMPL模型和2D检测，估计每一帧的初始人体形状和3D姿势；
S212，基于拟合结果，将每一帧中的轮廓点与人体模型中的3D点结合起来，根据每个投影光线的对应3D模型点的反向变形模型，变换投影光线；
S213，所有帧的拟合结果进行处理，得到了一个以标准姿势展示的人体形状。
在本实施例中，还包括：
S4，采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令。
在本实施例中，还包括：
S5，采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应。
在本实施例中，还包括：
S6，实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。
在本实施例中，所述运动学算法包括：IK逆向运动学算法和FK正向运动学算法。
请参照图2，相应地，本发明优选实施例还提供了一种AR沉浸式旅游导览装置，包括：
识别判断模块，用于识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；
3D人体合成模块，用于根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；
显示模块，用于将所述合成的三维人体形象通过AR设备显示出来；
还包括：
语音识别模块，用于采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令；
动作互动模块，用于采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应；
运动轨迹模块，用于实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。
下面结合具体实施例，对本发明进行详细说明。
3D人体扫描技术，是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。包含三个步骤：(1)姿势重建；(2)一致形态评估；(3)帧精炼和纹理图生成。
采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线可以约束出一个3D人体形状。首先拟合SMPL模型和2D检测，估计每一帧的初始人体形状和3D姿势。基于拟合结果，将每一帧中的轮廓点与人体模型中的3D点结合起来，根据每个投影光线的对应3D模型点的反向变形模型，变换投影光线；处理所有帧的拟合结果后，就得到了一个“可视外壳”，即以标准姿势展示的人体形状。
采用基于SMPL高效优化单个位移面的方法，一次性拟合所有帧，这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频(这样我们可以从各个侧面看到这个人)中提取出准确的3D人体模型(包括头发和衣服)。
最后，为了计算纹理和捕捉时间演化细节，第三步中将对一致形态的偏离进行每一帧的优化，从而给出精炼的逐帧形态，以此计算纹理图。
语音识别技术是将计算机接收、识别和理解语音信号转变为相应的文本文件或者命令的技术。它是一门涉及到语音语言学、信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能的交叉学科。在语音识别系统的帮助下，即使用户不懂电脑或者无法使用电脑，都可以通过语音识别系统对电脑进行操作。
互动系统是对游客说出的语音指令和捕捉的动作做出相应的反应，调用其预装的软件对特定的指令或动作做出反应，比如AR播放视频，AR叠加图片。
动作捕捉的实质就是要测量、跟踪并且记录物体在空间中的运动轨迹。大多数运动捕捉设备一般由传感器(固定在物体上的追踪装置)向信号捕捉设备(例如高分辨率的红外相机)提供位置信息，信号捕捉设备再将捕获的位移等信息通过数据传输设备传输到计算机，然后通过对应的数据处理软件进行计算和处理，最后才能在系统中做可视化的回放或者记录。这个过程的核心在于信号捕捉与最后的数据计算处理，以人的动作为例，当前的主流算法都是通过IK(逆向运动学,Inverse Kinematics)和FK(正向运动学，ForwardKinematics)进行计算，FK可以比较自然地实现运动状态，IK可以用在程序中实时生成骨骼模型的关键帧，这样就可以使角色根据外界环境实时的作出动作的反应看起来更加真实。
本文采用光学式运动捕捉，他是通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。
典型的光学式运动捕捉系统通常使用6～8个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"Marker"，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。
如果在表演者的脸部表情关键点贴上Marker，则可以实现表情捕捉，大部分表情捕捉都采用光学式。
有些光学运动捕捉系统不依靠Marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。研究人员正在研究不依靠Marker而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计将很快投入实用。
光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。Marker数量可根据实际应用购置添加，便于系统扩充。
通过本发明技术，可以带上AR眼镜，实现把历史场景和人物再现，比如游览在秦始皇的古迹中。利用AR技术，合成一个3D立体的秦始皇人像，让秦始皇站在你面前处理国事。在游览李白的故居中，利用AR技术，合成一个3D立体的人体，让李白在你面前吟诗作对。在恐龙化石考古景点，可以模拟恐龙在你身边。对3D人物配置一套语音识别和互动系统(目前这样的系统市场上已经有了，智能家居，智能机器人等等)，让他可以回答一些常见的问题，与游客语音互动。甚至还可以捕捉游客的动作，进行简单的动作互动。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的AR沉浸式旅游导览方法。
本发明实施例还提供了一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一实施例所述的AR沉浸式旅游导览方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序、计算机程序)，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-ProgrammableGate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器也可以是任何常规的处理器，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(SmartMedia Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，上述终端设备仅仅是示例，并不构成对终端设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种AR沉浸式旅游导览方法，其特征在于，包括：
识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；
根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；
将所述合成的三维人体形象通过AR设备显示出来。
2.如权利要求1所述的AR沉浸式旅游导览方法，其特征在于，所述根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象，包括：
通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3D人体形状；
对所述3D人体形状进行一致形态评估，保留与所述需要构建的人体形象保持一致的所述3D人体形状；
对一致形态的偏离进行每一帧的优化，得到逐帧形态并计算所述3D人体形状的纹理图。
3.如权利要求2所述的AR沉浸式旅游导览方法，其特征在于，所述通过标准可视化外壳技术从多个视角捕捉静态的所述需要构建的人体形象，控制光线穿过图像轮廓点约束出3D人体形状，包括：
拟合SMPL模型和2D检测，估计每一帧的初始人体形状和3D姿势；
基于拟合结果，将每一帧中的轮廓点与人体模型中的3D点结合起来，根据每个投影光线的对应3D模型点的反向变形模型，变换投影光线；
所有帧的拟合结果进行处理，得到了一个以标准姿势展示的人体形状。
4.如权利要求1所述的AR沉浸式旅游导览方法，其特征在于，还包括：
采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令。
5.如权利要求1所述的AR沉浸式旅游导览方法，其特征在于，还包括：
采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应。
6.如权利要求1所述的AR沉浸式旅游导览方法，其特征在于，还包括：
实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。
7.如权利要求6所述的AR沉浸式旅游导览方法，其特征在于，所述运动学算法包括：I K逆向运动学算法和FK正向运动学算法。
8.一种AR沉浸式旅游导览装置，其特征在于，包括：
识别判断模块，用于识别并判断当前环境类型，并根据所述环境类型按预设规则选取需要构建的人体形象；
3D人体合成模块，用于根据所述需要构建的人体形象通过3D人体扫描技术进行三维模拟人体表面轮廓的非接触自动测量，合成三维人体形象；
显示模块，用于将所述合成的三维人体形象通过AR设备显示出来；
还包括：
语音识别模块，用于采集并识别语音信息数据，对所述识别的语音信息数据进行提取转化为动作指令，并控制所述三维人体形象执行所述动作指令；
动作互动模块，用于采集图像并识别图像中的动作行为，对所述识别的动作行为进行提取转化为动作指令，并根据预设的动作指令规则控制所述三维人体形象执行相应的动作反应；
运动轨迹模块，用于实时采集当前环境中人物的动作运动轨迹，根据运动学算法对所述动作运动轨迹进行模拟计算出当前环境中人物的三维图形，进行显示。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的AR沉浸式旅游导览方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的AR沉浸式旅游导览方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910377456.2A CN110211222B (zh) | 2019-05-07 | 2019-05-07 | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910377456.2A CN110211222B (zh) | 2019-05-07 | 2019-05-07 | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110211222A true CN110211222A (zh) | 2019-09-06 |
| CN110211222B CN110211222B (zh) | 2023-08-01 |
Family
ID=67785532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910377456.2A Active CN110211222B (zh) | 2019-05-07 | 2019-05-07 | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211222B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110784818A (zh) * | 2019-11-06 | 2020-02-11 | 上海音乐学院 | 一种基于智能终端的声音导览交互式系统 |
| CN111131904A (zh) * | 2019-12-31 | 2020-05-08 | 维沃移动通信有限公司 | 视频播放方法及头戴电子设备 |
| CN114327055A (zh) * | 2021-12-23 | 2022-04-12 | 佩林(北京)科技有限公司 | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 |
| US20220254116A1 (en) | 2021-02-09 | 2022-08-11 | Beijing Zitiao Network Technology Co., Ltd. | Display method based on augmented reality, device, storage medium and program product |
| CN115966119A (zh) * | 2022-12-28 | 2023-04-14 | 广州市昱德信息科技有限公司 | 基于vr技术的模拟旅游训练方法、系统、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US7663648B1 (en) * | 1999-11-12 | 2010-02-16 | My Virtual Model Inc. | System and method for displaying selected garments on a computer-simulated mannequin |
| CN103761758A (zh) * | 2013-12-27 | 2014-04-30 | 一派视觉（北京）数字科技有限公司 | 一种旅游虚拟人物照相方法及系统 |
| CN107481304A (zh) * | 2017-07-31 | 2017-12-15 | 广东欧珀移动通信有限公司 | 在游戏场景中构建虚拟形象的方法及其装置 |
| CN108961396A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 三维场景的生成方法、装置及终端设备 |
| CN109597481A (zh) * | 2018-11-16 | 2019-04-09 | Oppo广东移动通信有限公司 | Ar虚拟人物绘制方法、装置、移动终端及存储介质 |
| CN109636831A (zh) * | 2018-12-19 | 2019-04-16 | 安徽大学 | 一种估计三维人体姿态及手部信息的方法 |
-
2019
- 2019-05-07 CN CN201910377456.2A patent/CN110211222B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US7663648B1 (en) * | 1999-11-12 | 2010-02-16 | My Virtual Model Inc. | System and method for displaying selected garments on a computer-simulated mannequin |
| CN103761758A (zh) * | 2013-12-27 | 2014-04-30 | 一派视觉（北京）数字科技有限公司 | 一种旅游虚拟人物照相方法及系统 |
| CN107481304A (zh) * | 2017-07-31 | 2017-12-15 | 广东欧珀移动通信有限公司 | 在游戏场景中构建虚拟形象的方法及其装置 |
| CN108961396A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 三维场景的生成方法、装置及终端设备 |
| CN109597481A (zh) * | 2018-11-16 | 2019-04-09 | Oppo广东移动通信有限公司 | Ar虚拟人物绘制方法、装置、移动终端及存储介质 |
| CN109636831A (zh) * | 2018-12-19 | 2019-04-16 | 安徽大学 | 一种估计三维人体姿态及手部信息的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴逸云等: "基于AR应用的土家族文化旅游产品体系研究――以长阳土家族自治县为例", 《湖北大学学报(自然科学版)》 * |
| 马伟晶: "再现式:还原与解读历史――历史纪录片《楚国八百年》赏析", 《新闻传播》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110784818A (zh) * | 2019-11-06 | 2020-02-11 | 上海音乐学院 | 一种基于智能终端的声音导览交互式系统 |
| CN111131904A (zh) * | 2019-12-31 | 2020-05-08 | 维沃移动通信有限公司 | 视频播放方法及头戴电子设备 |
| CN111131904B (zh) * | 2019-12-31 | 2022-03-22 | 维沃移动通信有限公司 | 视频播放方法及头戴电子设备 |
| US20220254116A1 (en) | 2021-02-09 | 2022-08-11 | Beijing Zitiao Network Technology Co., Ltd. | Display method based on augmented reality, device, storage medium and program product |
| US11763533B2 (en) | 2021-02-09 | 2023-09-19 | Beijing Zitiao Network Technology Co., Ltd. | Display method based on augmented reality, device, storage medium and program product |
| CN114327055A (zh) * | 2021-12-23 | 2022-04-12 | 佩林(北京)科技有限公司 | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 |
| CN115966119A (zh) * | 2022-12-28 | 2023-04-14 | 广州市昱德信息科技有限公司 | 基于vr技术的模拟旅游训练方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110211222B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Joo et al. | Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction | |
| CN111126272B (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| Zanfir et al. | Monocular 3d pose and shape estimation of multiple people in natural scenes-the importance of multiple scene constraints | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| CN110211222A (zh) | 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备 | |
| KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
| CN104732203B (zh) | 一种基于视频信息的情绪识别与跟踪方法 | |
| CN110516620A (zh) | 目标跟踪方法、装置、存储介质及电子设备 | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN103578135A (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法 | |
| Bashirov et al. | Real-time rgbd-based extended body pose estimation | |
| CN113449570A (zh) | 图像处理方法和装置 | |
| CN203630822U (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统 | |
| CN113709543A (zh) | 基于虚拟现实的视频处理方法、装置、电子设备和介质 | |
| Kowalski et al. | Holoface: Augmenting human-to-human interactions on hololens | |
| CN113506377A (zh) | 一种基于虚拟漫游技术的教学培训方法 | |
| Lin et al. | Extracting 3D facial animation parameters from multiview video clips | |
| CN115151944A (zh) | 从单目相机的全骨骼3d姿态恢复 | |
| Xia et al. | Cascaded 3d full-body pose regression from single depth image at 100 fps | |
| CN116485953A (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| Jiang et al. | Observation-oriented silhouette-aware fast full body tracking with Kinect | |
| Kanis et al. | Improvements in 3D hand pose estimation using synthetic data | |
| Cuevas-Velasquez et al. | SimpleEgo: Predicting Probabilistic Body Pose from Egocentric Cameras | |
| CN115994944A (zh) | 三维关键点预测方法、训练方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |