CN110045821A - 一种面向虚拟演播厅的增强现实交互方法 - Google Patents

一种面向虚拟演播厅的增强现实交互方法 Download PDF

Info

Publication number
CN110045821A
CN110045821A CN201910184587.9A CN201910184587A CN110045821A CN 110045821 A CN110045821 A CN 110045821A CN 201910184587 A CN201910184587 A CN 201910184587A CN 110045821 A CN110045821 A CN 110045821A
Authority
CN
China
Prior art keywords
image
personage
depth
kinect
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910184587.9A
Other languages
English (en)
Inventor
丁珩珂
刘泽华
王毅刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910184587.9A priority Critical patent/CN110045821A/zh
Publication of CN110045821A publication Critical patent/CN110045821A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种面向虚拟演播厅的增强现实交互方法。本发明包括如下步骤：(1)对Kinect捕获到的彩色图像进行人物分割与背景滤色处理；(2)对步骤(1)中的处理图像进行先腐蚀再膨胀的消影处理；(3)将所得图像作为动态纹理赋给已构建好的虚拟演播厅中的一个平面；(4)依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置。依据对手部关节的识别，设计出多种手势，结合手部三维坐标，实现在空间中的多种交互判断。本发明通过利用Kinect，仅需要简单的手势操作用户就能够实现便携且内容丰富的增强现实交互体验，虚实结合度高，互动性强，数据处理速度快。

Description

一种面向虚拟演播厅的增强现实交互方法
技术领域
本发明属于人机交互领域，具体涉及一种面向虚拟演播厅的增强现实交互方法。
背景技术
增强现实被广泛应用于游戏制作、医疗卫生、电视转播等领域。它通过对现实与虚拟场景进行缝合，使得用户能够实时地达到超越现实的感官体验。但是，增强现实中的交互行为，通常需要设置一系列的触发点，随着交互行为的增多与复杂交互的出现，触发设置变得更加困难，最终会极大地降低用户体验。尤其在电视转播领域，困难的交互与单调的交互效果常常会降低演播质量，影响收视效果。
目前，通常采用预先设定触发时间与轨迹，或是点选按钮等方式进行增强现实交互。由于这种方法对技术要求低、场景构造快速且简单，所以被广泛应用于电视转播与医疗卫生。但是，这种方法却无法满足用户日益增长的交互需求，用户需要非常多且复杂的交互行为来丰富交互内容，而该方法会导致用户操作复杂，降低用户体验。
为此，本发明提出一种面向虚拟演播厅的增强现实交互方法。本发明通过使用微软Kinect设备，构建虚拟的电视演播厅，分割提取人体轮廓、追踪人体关节点与获得捕获场景深度信息以设计更丰富的交互行为，提升交互场景与现实场景的融合度。本方法广泛适用于游戏制作、医疗卫生与电视转播，场景虚实结合度高，互动性强，数据处理快，可以提高大大提升用户体验度，降低交互操作复杂度。
发明内容
针对现有技术所存在的上述技术缺陷，本发明提供了一种面向虚拟演播厅的增强现实交互方法，构建出虚拟的电视演播厅并利用微软的Kinect设备获取更多的人体信息，场景虚实结合度高，交互行为丰富，交互操作简单。
一种面向虚拟演播厅的增强现实交互方法，包括如下步骤：
步骤(1)对Kinect捕获到的彩色图像进行人物分割与背景滤色处理；
步骤(2)对步骤(1)处理后的彩色图像进行先腐蚀再膨胀的消影处理；
步骤(3)将所得图像作为动态纹理赋给已构建好的虚拟演播厅中的一个平面；
步骤(4)依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置。依据对手部关节的识别，设计有多种手势，结合手部三维坐标，实现在空间中的多种交互判断。
所述的步骤(1)中，对Kinect捕获到的彩色图像进行人物分割与背景滤色处理，具体包括如下步骤：
1-1.依据Kinect的人物识别功能粗略地对其捕获到的彩色图像进行分割；
1-2.在真实场景下设置纯色幕布，依据幕布颜色对分割后的彩色图像进行滤色处理，获取滤色图像；
所述的步骤(2)中，对步骤(1)中处理后的彩色图像进行先腐蚀再膨胀的消影处理，具体包括如下步骤：
2-1.对滤色图像进行腐蚀处理，获取腐蚀处理；腐蚀单元大小为n*n，其中n为待处理图像行列最小值的0.5％；
2-2.对腐蚀图像进行膨胀处理，获取膨胀图像；膨胀单元大小为0.5n*0.5n。
所述的步骤(3)中，将所得膨胀图像作为动态纹理赋给已构建好的虚拟演播厅中的一个平面，具体包括如下步骤：
3-1.构造用户体验的虚拟演播厅交互空间，具体包括交互模型、人物平面与交互空间模型；
3-2.将膨胀图像转换为纹理，清除上一帧人物平面的纹理，并将此帧纹理进行覆盖。
所述的步骤(4)中，依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置。依据对手部关节的识别，设计有多种手势，结合手部三维坐标，实现在空间中的多种交互判断，具体包括如下步骤：
4-1.从Kinect读取到的人体关节点平面二维坐标，每一个人体存在25个关节点，
4-2.从Kinect读取深度图像获取深度数据，将深度图像获取的深度数据结合步骤4-1中所得到的人体关节点平面二维坐标，获取关节点深度值；
4-3.定义人物平面深度标记点为人体头部，人物平面于虚拟空间中的深度定位与人体头部深度值成正相关，从而实现人物在虚拟空间中的深度定位；
4-4.利用人体左右手共10个关节点平面二维坐标，设计多种交互手势，设置空间交互模型的触发三维坐标；具体的人的左右手共有10个关节点，左右手各5个；关节图有关节点的二维坐标，深度图有对应关节点的深度坐标，从而组成每个关节点的三维坐标，对一个交互物体设置一个触发的区间后，手伸到指定触发的区间位置，并且做出相应的手势，从而能够对空间模型进行交互。
4-5.结合手腕关节点的三维坐标与手部各关节点组成的手势，实现在空间中的多种交互判断。
本发明有益效果如下：
本发明通过使用微软Kinect设备，构建虚拟演播厅，分割提取人体轮廓、追踪人体关节点与获得捕获场景深度信息以设计更丰富的交互行为，提升交互场景与现实场景的融合度，大幅减少数据计算量。本方法广泛适用于游戏制作、医疗卫生与电视转播，可以提高大大提升用户体验度，降低交互操作复杂度。
附图说明
图1为本发明增强现实交互方法的步骤流程示意图；
图2(a)为Kinect骨骼关节分布图；
图2(b)为手势设计示例图；
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的增强现实交互方法进行详细说明。
如图1所示，一种面向虚拟演播厅的增强现实交互方法，包括如下步骤：
步骤(1)对Kinect捕获到的彩色图像进行人物分割与背景滤色处理；
所述的步骤(1)中，对Kinect捕获到的彩色图像进行人物分割与背景滤色处理，具体包括如下步骤：
1-1.依据Kinect的人物识别功能粗略地对其捕获到的彩色图像进行分割，
1-2.在真实场景下设置纯色幕布，依据幕布颜色对分割后的图像进行滤色处理。
步骤(2)对步骤(1)中的处理图像进行先腐蚀再膨胀的消影处理；
所述的步骤(2)中，对步骤(1)中的处理图像进行先腐蚀再膨胀的消影处理，具体包括如下步骤：
2-1.对滤色图像进行腐蚀处理，一般地，选择腐蚀单元大小为n*n(n为待处理图像行列最小值的0.5％)，
2-2.对腐蚀后的图像进行膨胀处理，一般地，选择膨胀大院大小为0.5n*0.5n。
步骤(3)将所得图像作为动态纹理赋给已设置好的交互空间中的一个平面；
所述的步骤(3)中，将所得图像作为动态纹理赋给已设置好的交互空间中的一个平面，具体包括如下步骤：
3-1.构造用户体验的虚拟演播厅交互空间，具体包括交互模型、人物平面与交互空间模型，
3-2.将图像转换为纹理，清除上一帧人物平面的纹理，并将此帧纹理进行覆盖。
步骤(4)依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置。依据对手部关节的识别，设计出多种手势，结合手部三维坐标，实现在空间中的多种交互判断，如图2(b)所示；
所述的步骤(4)中，依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置。依据对手部关节的识别，设计出多种手势，结合手部三维坐标，实现在空间中的多种交互判断，具体包括如下步骤：
4-1.从Kinect读取到的人体关节点平面二维坐标，每一个人体存在25个关节点，分布如图2(a)所示；
4-2.从Kinect读取深度图像获取深度数据，将深度图像获取的深度数据结合步骤4-1中所得到的人体关节点平面二维坐标，获取关节点深度值；
4-3.定义人物平面深度标记点为人体头部，人物平面于虚拟空间中的深度定位与人体头部深度值成正相关，从而实现人物在虚拟空间中的深度定位；
4-4.利用人体左右手共10个关节点平面二维坐标，设计多种交互手势，设置空间交互模型的触发三维坐标；具体的人的左右手共有10个关节点，左右手各5个；关节图有关节点的二维坐标，深度图有对应关节点的深度坐标，从而组成每个关节点的三维坐标，对一个交互物体设置一个触发的区间后，手伸到指定触发的区间位置，并且做出相应的手势，从而能够对空间模型进行交互。
4-5.结合手腕关节点的三维坐标与手部各关节点组成的手势，实现在空间中的多种交互判断。

Claims (4)

1.一种面向虚拟演播厅的增强现实交互方法，其特征在于包括如下步骤：
步骤(1)对Kinect捕获到的彩色图像进行人物分割与背景滤色处理；
步骤(2)对步骤(1)处理后的彩色图像进行先腐蚀再膨胀的消影处理；
步骤(3)将所得图像作为动态纹理赋给已构建好的虚拟演播厅中的一个平面；
步骤(4)依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置；依据对手部关节的识别，设计有多种手势，结合手部三维坐标，实现在空间中的多种交互判断；
所述的步骤(1)中，对Kinect捕获到的彩色图像进行人物分割与背景滤色处理，具体包括如下步骤：
1-1.依据Kinect的人物识别功能粗略地对其捕获到的彩色图像进行分割；
1-2.在真实场景下设置纯色幕布，依据幕布颜色对分割后的彩色图像进行滤色处理，获取滤色图像。
2.根据权利要求1所述的一种面向虚拟演播厅的增强现实交互方法，其特征在于所述的步骤(2)中，对步骤(1)中处理后的彩色图像进行先腐蚀再膨胀的消影处理，具体包括如下步骤：
2-1.对滤色图像进行腐蚀处理，获取腐蚀处理；腐蚀单元大小为n*n，其中n为待处理图像行列最小值的0.5％；
2-2.对腐蚀图像进行膨胀处理，获取膨胀图像；膨胀单元大小为0.5n*0.5n。
3.根据权利要求2所述的一种面向虚拟演播厅的增强现实交互方法，其特征在于所述的步骤(3)中，将所得膨胀图像作为动态纹理赋给已构建好的虚拟演播厅中的一个平面，具体包括如下步骤：
3-1.构造用户体验的虚拟演播厅交互空间，具体包括交互模型、人物平面与交互空间模型；
3-2.将膨胀图像转换为纹理，清除上一帧人物平面的纹理，并将此帧纹理进行覆盖。
4.根据权利要求3所述的一种面向虚拟演播厅的增强现实交互方法，其特征在于所述的步骤(4)中，依据Kinect对捕获场景中的人物骨架识别，结合Kinect捕获的深度图像，从而定位空间中人物的深度位置；依据对手部关节的识别，设计有多种手势，结合手部三维坐标，实现在空间中的多种交互判断，具体包括如下步骤：
4-1.从Kinect读取到的人体关节点平面二维坐标，每一个人体存在25个关节点，
4-2.从Kinect读取深度图像获取深度数据，将深度图像获取的深度数据结合步骤4-1中所得到的人体关节点平面二维坐标，获取关节点深度值；
4-3.定义人物平面深度标记点为人体头部，人物平面于虚拟空间中的深度定位与人体头部深度值成正相关，从而实现人物在虚拟空间中的深度定位；
4-4.利用人体左右手共10个关节点平面二维坐标，设计多种交互手势，设置空间交互模型的触发三维坐标；具体的人的左右手共有10个关节点，左右手各5个；关节图有关节点的二维坐标，深度图有对应关节点的深度坐标，从而组成每个关节点的三维坐标，对一个交互物体设置一个触发的区间后，手伸到指定触发的区间位置，并且做出相应的手势，从而能够对空间模型进行交互；
4-5.结合手腕关节点的三维坐标与手部各关节点组成的手势，实现在空间中的多种交互判断。
CN201910184587.9A 2019-03-12 2019-03-12 一种面向虚拟演播厅的增强现实交互方法 Withdrawn CN110045821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910184587.9A CN110045821A (zh) 2019-03-12 2019-03-12 一种面向虚拟演播厅的增强现实交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184587.9A CN110045821A (zh) 2019-03-12 2019-03-12 一种面向虚拟演播厅的增强现实交互方法

Publications (1)

Publication Number Publication Date
CN110045821A true CN110045821A (zh) 2019-07-23

Family

ID=67274732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184587.9A Withdrawn CN110045821A (zh) 2019-03-12 2019-03-12 一种面向虚拟演播厅的增强现实交互方法

Country Status (1)

Country Link
CN (1) CN110045821A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913577A (zh) * 2020-07-31 2020-11-10 武汉木子弓数字科技有限公司 一种基于Kinect的三维空间交互方法
CN114840079A (zh) * 2022-04-27 2022-08-02 西南交通大学 一种基于手势识别的高铁模拟驾驶动作虚实交互方法
CN115273636A (zh) * 2021-04-29 2022-11-01 北京华录新媒信息技术有限公司 一种裸眼3d沉浸式体验系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747196A (zh) * 2013-12-31 2014-04-23 北京理工大学 一种基于Kinect传感器的投影方法
CN204392397U (zh) * 2014-11-06 2015-06-10 优比交互(北京)科技有限公司 一种便携式虚拟演播室装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747196A (zh) * 2013-12-31 2014-04-23 北京理工大学 一种基于Kinect传感器的投影方法
CN204392397U (zh) * 2014-11-06 2015-06-10 优比交互(北京)科技有限公司 一种便携式虚拟演播室装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李茜等: "基于Kinect骨骼追踪技术的机器人运动系统的设计与实现", 《计算机与数字工程》 *
樊景超等: "基于Kinect的农业虚拟教学研究", 《安徽农业科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913577A (zh) * 2020-07-31 2020-11-10 武汉木子弓数字科技有限公司 一种基于Kinect的三维空间交互方法
CN115273636A (zh) * 2021-04-29 2022-11-01 北京华录新媒信息技术有限公司 一种裸眼3d沉浸式体验系统
CN114840079A (zh) * 2022-04-27 2022-08-02 西南交通大学 一种基于手势识别的高铁模拟驾驶动作虚实交互方法
CN114840079B (zh) * 2022-04-27 2023-03-10 西南交通大学 一种基于手势识别的高铁模拟驾驶动作虚实交互方法

Similar Documents

Publication Publication Date Title
US20200404247A1 (en) System for and method of social interaction using user-selectable novel views
Achenbach et al. Fast generation of realistic virtual humans
JP5145444B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
CN110045821A (zh) 一种面向虚拟演播厅的增强现实交互方法
CN113298858A (zh) 一种虚拟形象的动作生成方法、装置、终端以及存储介质
CN105843386A (zh) 一种商场虚拟试衣系统
US20200151962A1 (en) Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements
CN105959718A (zh) 一种视频直播中实时互动的方法及装置
JP2004537082A (ja) 仮想現実環境における実時間バーチャル・ビューポイント
CN109671141B (zh) 图像的渲染方法和装置、存储介质、电子装置
CN105959595A (zh) 一种虚拟现实实时交互中虚拟对现实自主响应方法
US11423627B2 (en) Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN107274491A (zh) 一种三维场景的空间操控虚拟实现方法
CN102576463A (zh) 用于移除图像的背景的系统和方法
CN104656893B (zh) 一种信息物理空间的远程交互式操控系统及方法
CN110060350A (zh) 一种基于vr技术的建筑设计方法
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
Gao et al. Real-time visual representations for mobile mixed reality remote collaboration
CN107895161B (zh) 基于视频数据的实时姿态识别方法及装置、计算设备
CN108134945B (zh) Ar业务处理方法、装置及终端
US20220398816A1 (en) Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements
Nguyen et al. Real-time 3D human capture system for mixed-reality art and entertainment
CN116437137B (zh) 直播处理方法、装置、电子设备及存储介质
CN113112612A (zh) 一种真实人物与混合现实动态叠加的定位方法及系统
CN107995481B (zh) 一种混合现实的显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190723

WW01 Invention patent application withdrawn after publication