CN106814848A - 四面全息互动系统及方法 - Google Patents

Abstract

本发明实施例公开了一种四面全息互动系统及方法，所述系统包括：前后左右4面投影膜，4面投影膜均朝外或朝内与水平面呈45度角倾斜；4面分别水平设在4面投影膜外侧对应位置，且显示面面对投影膜的投影显示面；4台分别设在4面投影膜外侧对应位置，采集观众动作数据的摄影机；及与摄影机连接，根据采集的所述数据控制投影显示面播放的视频内容的处理控制端。本发明实施例通过采用处理控制端识别摄影机采集的动作数据，并根据数据控制虚拟成像的内容，解决了功能单一、缺少互动的技术问题，进而达到虚拟成像能够与观众进行互动的技术效果，从而满足了人们多样性、创新性和互动性的需求。

Description

四面全息互动系统及方法

技术领域

本发明涉及全息投影技术领域，尤其涉及一种四面全息互动系统及方法。

背景技术

随着全息投影技术的问世，全息投影技术已经被广泛地应用到橱窗展示、舞台表演等领域。

然而，现有单面全息投影功能单一，缺少互动，无法满足人们多样性、创新性和互动性的需求。

发明内容

本发明实施例所要解决的技术问题在于，提供一种四面全息互动系统及方法，以使能够满足人们多样性、创新性和互动性的需求。

为了解决上述技术问题，本发明实施例提出了一种四面全息互动系统，包括：前后左右4面投影膜，4面投影膜均朝外或朝内与水平面呈45度角倾斜；4面分别水平设在4面投影膜外侧对应位置，且显示面面对投影膜的投影显示面；4台分别设在4面投影膜外侧对应位置，采集观众动作数据的摄影机；及与摄影机连接，根据采集的所述数据控制投影显示面播放的视频内容的处理控制端。

相应地，本发明实施例还提供一种四面全息互动方法，采用上述的四面全息互动系统，所述方法还包括：

采集步骤：通过摄影机采集观众的动作数据；

识别步骤：识别所述动作数据，并根据所述动作数据计算产生骨骼数据；

驱动步骤：根据所述骨骼数据驱动视频中角色的骨骼，使角色的动作与观众的动作保持一致；及

发送投影步骤：将所述视频发送至对应的投影显示面播放，并投影成像。

本发明实施例通过提出一种四面全息互动系统及方法，所述系统包括投影膜、投影显示面、摄影机及处理控制端，通过采用处理控制端识别摄影机采集的动作数据，并根据数据控制虚拟成像的内容，解决了功能单一、缺少互动的技术问题，进而达到虚拟成像能够与观众进行互动的技术效果，从而满足了人们多样性、创新性和互动性的需求。

附图说明

图1是本发明的四面全息互动系统一种实施例的结构示意图。

图2是本发明的四面全息互动系统另一种实施例的结构示意图。

图3是本发明实施例的四面全息互动系统一个角度的结构示意图。

图4是本发明实施例的四面全息互动方法流程示意图。

附图标号说明

投影膜1

投影显示面2

投影机21

摄影机3

防护栏4

采集步骤S1

识别步骤S2

驱动步骤S3

发送投影步骤S4。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

本发明实施例中若有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

请参照图1～图3，本发明实施例的四面全息互动系统主要包括投影膜1、投影显示面2、摄影机3及处理控制端(图未示出)。

投影膜1共有前后左右4面，如图1所示，均朝外与水平面呈45度角倾斜，或者如图2所示，均朝内与水平面呈45度角倾斜。优选地，4面投影膜1均为等腰梯形状，且4面投影膜1依次连接呈四棱台状。

投影显示面2共有4面，分别水平设在4面投影膜1外侧对应位置，且播放显示面面对投影膜1。优选地，投影显示面2与对应的等腰梯形投影膜1的短边相交。投影显示面2播放的画面通过投影膜1虚拟成像。4面投影膜1可独立成像，也可同步成像。例如，独立成像时，4个观众站分别前后左右4个面，每个观众所看到的画面及影视角色不一样，4个观众所做的动作不一样，所对应的影视角色的动作也不一样；同步成像时，4个面成像的画面不一样，影视角色一样，利用光的干涉及衍射原理，4个面成像的影视角色为360度立体成像的影视角色，前面的观众看到的是影视角色的前面，左边的观众看到的是影视角色的左边，右边的观众看到的是影视角色的右边，后面的观众看到的是影视角色的后面。本发明实施例通过利用投影显示面2投影在投影膜1上虚拟成像，成像画面为立体画面，可增强互动项目的幻真效果，也可增强互动性。

摄影机3共有4台，分别设在4面投影膜1外侧对应位置，采集观众动作数据。优选地，摄影机3为采集观众动作、语音数据的3D体感摄影机。

处理控制端与摄影机3连接，根据采集的所述数据控制投影显示面2播放的视频内容。优选地，处理控制端为电脑端，通过网络或者有线或者无线与摄影机3及投影显示面2连接。此外，成像内容还包括操作控制界面，摄影机3采集观众的操作动作(如点击、滑动等手势)，处理控制端对观众的操作动作指令进行识别，实现观众对视频内容的切换等自定义设置，进一步增加四面全息互动系统的互动性。

作为一种实施方式，四面全息互动系统还包括设在外围，防护观众碰到损坏投影膜1及投影显示面2的防护栏4。

作为一种实施方式，投影显示面2为配有投影机21的背投幕、LED屏幕及液晶显示屏中的一种或多种。优选地，投影显示面2为配有投影机21的背投幕，投影机21设在背投幕的背面，背投幕的正面为播放显示面，正面面对投影膜1。

作为一种实施方式，四面全息互动系统还包括4面与处理控制端电连接，分别设在4面投影膜1外侧对应位置的扬声器。3D体感摄影机采集观众的语音数据，处理控制端对语音数据进行识别，并根据语音数据控制扬声器播放相应的互动语音。

作为一种实施方式，投影膜1为镀铝膜。

本发明实施例的四面全息互动方法，采用上述的四面全息互动系统，如图4所示，四面全息互动方法包括：

采集步骤S1：通过摄影机3采集观众的动作数据；

识别步骤S2：识别所述动作数据，并根据所述动作数据计算产生骨骼数据；

驱动步骤S3：根据所述骨骼数据驱动视频中角色的骨骼，使角色的动作与观众的动作保持一致；及

发送投影步骤S4：将所述视频发送至对应的投影显示面2播放，并投影到投影膜1成像。

其中，发送投影步骤S4包括同步投影子步骤或独立投影子步骤。

同步投影子步骤：将所述角色的前后左右4个角度的视频分别发送至对应的4面投影显示面2进行播放，同步投影成像。同步投影成像时，4个面成像的画面不一样，影视角色一样，利用光的干涉及衍射原理，4个面成像的影视角色为360度立体成像的影视角色，前面的观众看到的是影视角色的前面，左边的观众看到的是影视角色的左边，右边的观众看到的是影视角色的右边，后面的观众看到的是影视角色的后面。

独立投影子步骤：将不同角色的视频发送至对应的投影显示面2进行播放，独立投影成像。独立投影成像时，4个观众站分别前后左右4个面，每个观众所看到的画面及影视角色不一样，4个观众所做的动作不一样，所对应的影视角色的动作也不一样。

识别步骤S2包括操作指令识别子步骤：识别所述动作数据中的切换投影视频内容的动作指令，并根据动作指令切换视频。其中，操作指令识别子步骤采用如下方法进行识别：

步骤1：录入标准的操作动作指令的骨骼数据信息形成数据库；

步骤2：将根据采集观众的动作指令数据计算产生的骨骼数据采用齐次坐标系统对三维骨骼坐标点进行几何转换，三维骨骼坐标点的几何转换公式如下：

其中，v表示初始的骨骼坐标点，v'表示转换后的骨骼坐标点，x、y、z分别表示骨骼点的三维坐标点，T表示平移变换矩阵，d表示平移的位移；

步骤3：分别从标准的操作动作指令的骨骼数据及计算出的观众的动作指令骨骼数据中提取出头、肩、手、腿部位提取n个骨骼点，n为整数，设标准动作骨架为A，提取的骨骼点集合为P_A＝{a₁,a₂,a₃…a_n}，观众动作骨架为B，提取的骨骼点集合为P_B＝{b₁,b₂,b₃…b_n}，则P_A和P_B对应骨骼点欧氏距离差的平均值为：

步骤4：依据所提出的骨骼点集合，计算出相邻骨骼间形成的角度值，设标准动作的角度值集合为θ_A＝{α₁,α₂,α₃…α_n-1}，观众动作的角度值集合为θ_B＝{β₁,β₂,β₃…β_n-1}，则两者骨架间对应角度的差值平均值为：

步骤5：通过比较归一化后的标准动作骨架与观众动作骨架的欧氏距离差平均值和角度差平均值，来识别观众的动作。

本发明实施例的工作原理为：观众做出游戏动作，安装在观众前上方的摄影机3捕捉其动作，传输到处理控制端(电脑端)，处理控制端(电脑端)识别并产生骨骼数据，并由此驱动播放视频中影视角色的骨骼，使影视角色的动作与观众的动作实时保持一致，通过投影机21把影视角色投射到背投幕上，背投幕上的画面通过镀铝膜虚拟成像，使观众能看到空气中呈现出与自己互动的虚拟影视角色。

另外，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (10)

1.一种四面全息互动系统，其特征在于，所述系统包括前后左右4面投影膜，4面投影膜均朝外或朝内与水平面呈45度角倾斜；4面分别水平设在4面投影膜外侧对应位置，且显示面面对投影膜的投影显示面；4台分别设在4面投影膜外侧对应位置，采集观众动作数据的摄影机；及与摄影机连接，根据采集的所述数据控制投影显示面播放的视频内容的处理控制端。

2.如权利要求1所述的四面全息互动系统，其特征在于，所述投影显示面为配有投影机的背投幕、LED屏幕及液晶显示屏中的一种或多种。

3.如权利要求1所述的四面全息互动系统，其特征在于，所述4面投影膜呈四棱台状。

4.如权利要求3所述的四面全息互动系统，其特征在于，所述投影显示面与对应四棱台的等腰梯形投影膜的短边相交。

5.如权利要求1所述的四面全息互动系统，其特征在于，所述摄影机为采集观众语音数据的3D体感摄影机，所述系统还包括4面与处理控制端电连接，分别设在4面投影膜外侧对应位置的扬声器。

6.如权利要求1-5任一项所述的四面全息互动系统，其特征在于，所述投影膜为镀铝膜。

7.一种四面全息互动方法，其特征在于，采用如权利要求1-5任一项所述的四面全息互动系统，所述方法还包括：

采集步骤：通过摄影机采集观众的动作数据；

识别步骤：识别所述动作数据，并根据所述动作数据计算产生骨骼数据；

驱动步骤：根据所述骨骼数据驱动视频中角色的骨骼，使角色的动作与观众的动作保持一致；及

发送投影步骤：将所述视频发送至对应的投影显示面播放，并投影成像。

8.如权利要求7所述的四面全息互动方法，其特征在于，所述发送投影步骤还包括：

同步投影子步骤：将所述角色的前后左右4个角度的视频分别发送至对应的4面投影显示面进行播放，同步投影成像；或

独立投影子步骤：将不同角色的视频发送至对应的投影显示面进行播放，独立投影成像。

9.如权利要求7所述的四面全息互动方法，其特征在于，所述识别步骤还包括：

操作指令识别子步骤：识别所述动作数据中的切换投影视频内容的动作指令，并根据动作指令切换视频。

10.如权利要求9所述的四面全息互动方法，其特征在于，所述操作指令识别子步骤采用如下方法进行识别：

步骤1：录入标准的操作动作指令的骨骼数据信息形成数据库；

步骤2：将根据采集观众的动作指令数据计算产生的骨骼数据采用齐次坐标系统对三维骨骼坐标点进行几何转换，三维骨骼坐标点的几何转换公式如下：

$v^{\′}=v+d=\left[\begin{array}{cccc}1& 0& 0& dx\\ 0& 1& 0& dy\\ 0& 0& 1& dz\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]={\[x+dx,y+dy,z+dz,1\]}^T,$

其中，v表示初始的骨骼坐标点，v'表示转换后的骨骼坐标点，x、y、z分别表示骨骼点的三维坐标点，T表示平移变换矩阵，d表示平移的位移；

步骤3：分别从标准的操作动作指令的骨骼数据及计算出的观众的动作指令骨骼数据中提取出头、肩、手、腿部位提取n个骨骼点，n为整数，设标准动作骨架为A，提取的骨骼点集合为P_A＝{a₁,a₂,a₃...a_n}，观众动作骨架为B，提取的骨骼点集合为P_B＝{b₁,b₂,b₃...b_n}，则P_A和P_B对应骨骼点欧氏距离差的平均值为：

$d_{jo\mathrm{int}}=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|\right|a_i-b_i\left|\right|;$

步骤4：依据所提出的骨骼点集合，计算出相邻骨骼间形成的角度值，设标准动作的角度值集合为θ_A＝{α₁,α₂,α₃...α_n-1}，观众动作的角度值集合为θ_B＝{β₁,β₂,β₃...β_n-1}，则两者骨架间对应角度的差值平均值为：

$d_{angle}=\frac{1}{n-1}\underset{k=1}{\overset{n-1}{\Σ}}|{\mathrm{\α}}_k-{\mathrm{\β}}_k|;$

步骤5：通过比较归一化后的标准动作骨架与观众动作骨架的欧氏距离差平均值和角度差平均值，来识别观众的动作。