CN103399631A - 一种面向本地群体的非接触式自然人机交互技术及系统 - Google Patents

Abstract

本发明公开一种不需要人手动控制，采用非接触的方式来控制系统的一种技术；系统通过感应人的语言和动作来进行反馈，从而达到自我反馈控制。在虚拟现实领域，控制系统通过感应人在某个空间中的活动，自动感应人的行为，从而转换播放画面，达到在一个虚拟的世界里体验真实的旅游的效果。本发明多以环幕或者球幕的形式提供高清晰的画面质量，给人以身临其境的感觉，使人有超乎想象的沉浸感。

Description

一种面向本地群体的非接触式自然人机交互技术及系统

技术领域

本发明涉及虚拟现实领域，特别是涉及到多投影机的图像拼接与融合、人机交互以及人工智能方面。

背景技术

随着经济生活水平的提高，人们对像迪士尼乐园、环球影城这样的娱乐场所的消费需求越来越高，虚拟现实早已不限于游戏领域，在国外已经成为人们日常生活的必需品。

当前在许多大型场馆中多人虚拟现实系统前景广阔。以大型游乐园为例，过山车、激流冲浪等设备是它们的传统核心设备。现在国际上的顶级主题公园如环球影城、迪斯尼乐园已经普遍装备基于异形大屏幕、运动平台和被动立体数字视频的虚拟现实游乐系统。而国内现在主要还处在传统机械式游乐设备和标准的4D影院阶段，少量的高端虚拟现实游乐设备主要依赖国外进口。

要进一步提高娱乐系统的体验感，其核心在于提升用户的沉浸感和带入感。现有的顶级大型数字游乐系统虽然有了很多精巧的创意，但是都还是被动式的，在整个游戏的进程中用户没有办法交互，视频也是事先录制的，而事实上交互可以带来强烈的参与感，用户体验将大不一样。

全自动的反馈系统，主动根据人的需求来调节画面的转变，极大提升的人的沉浸感。足不出户，自助旅游的以前很难处在想象阶段的活动即将成为现实。视频控制系统控制投影机播放不同方位的想象，形成超大的环幕效果，视野范围大提升了真实感。同时用户可以在环幕里面活动，感应系统可以接收人的行为，从而反馈到控制系统，通知系统来调整图像的播放顺序。

大规模高沉浸感虚拟空间系统的环境较为封闭，使用投影仪数量规模庞大，投影屏幕尺寸巨大、形状复杂。传统色彩一致性校正技术主要针对一般多投影融合显示系统，无法适应大规模虚拟空间构建的要求。

课题申请者已经建立了一种针对带有异形、多重投影重叠区域的多投影融合显示系统的快速、实用的亮度一致性校正和边缘融合方法。该方法借助GPU硬件并行计算来快速求解一个建立在精确几何标定结果上的关于投影屏幕上亮度分布一致性的非线性最优化问题：

其中， 

为第

个投影仪对应的几何标定网格， 

为第

个投影仪亮度分布函数，

为亮度一致性目标函数。

 

在建立精确描述投影仪-屏幕系统色彩分布数学模型的基础上，借助投影仪色彩差异理论和高动态范围成像技术的帮助，拟构建基于普通摄像头的大规模投影区域色彩测量技术。该技术可快速、自主完成所有投影像素色彩信息的测量，从而形成数字相机色彩空间下关于投影仪亮度一致性非线性最优化方程（1）和色度值一致性线性方程组（2）。

               （2）

其中

为每个投影仪像素在数字相机色彩空间下的色度坐标， 

是待求解的每个投影仪的色度校正矩阵。

在GPU并行计算的协助下，可以完成联立非线性优化方程（1）和（2）的迭代快速求解，从而得到可实时校正投影画面的融合模版和色度校正矩阵阵列，形成适合任意规模投影机群和任意尺度、形状投影屏幕的投影画面色彩测量、差异补偿和异形重叠区域边缘融合技术。

发明内容

本发明要解决的技术问题是提供大规规模的虚拟感官系统（包括软件系统和硬件装置），给用户超乎想象的真实感和沉浸感，让用户足不出户就可以体验超真实的视觉景观效果，同时也可以方便地与用户进行交互，让室内自助旅游成为可行。

针对多人本地协同的虚拟现实情境，研究以虚拟化为接口的非接触式自然人机交互技术。重点研究并解决多人实时运动跟踪问题，精确获取群组中各个体的位置和特殊部位运动数据，构建非接触式、自然、高效的人机交互通道。

在多人本地协同情况下，一方面需要支持数十人规模的群体交互，并兼顾到交互的实时性、用户体验的自然性；另一方面考虑到大型游乐设备的场地规模较大，我们拟采用标注点的方法通过光学捕获技术来获取自然人的运动，并驱动虚拟情境中相应的虚拟化身，从而构建非接触式人机交互通道。研究框架如下图4所示。

其中核心研究内容包括：多人标注点数据的在线标注技术、多人标注点数据的丢失点在线恢复技术两个部分。除这两部分外，光学跟踪采用成熟设备，角度计算采用现有基于四元数的关节角度计算方法。

实现面向群体的非接触式自然人机交互技术。具体技术步骤包括：光学跟踪、多人标注点数据的在线标注、多人标注点数据的丢失点在线恢复技术和角度计算四个步骤（如图5所示）。其中，光学跟踪采用成熟设备，角度计算采用现有基于四元数的关节角度计算方法。

针对多人标注点数据的在线标注问题，本项目提出了一种基于柔性图匹配模型的标志点在线标注算法，算法能够准确的标注包含鬼点和丢失标记点的运动捕获点集序列。

首次引入图匹配理论来求解运动捕获标志点在线标注问题，将标志点标注问题转化为一个组合优化问题，通过计算匹配代价的最小值得到标注结果。区别于已有的图匹配技术，利用筛选出的候选点，我们将边匹配代价有效的融入了点匹配代价中，能在计算匹配代价的同时考虑点以及与该点相连的边构成的局部几何结构，借助匈牙利算法我们可以快速计算这一柔性图匹配模型的全局最优匹配，克服了已有的方法只能求得近似解的缺陷。

本发明向本地群体的非接触式自然人机交互技术及系统，包括：播放控制系统，20多台分别播放图像的主机和投影机，行为反馈系统。各主机中包含各种预先通过建模切片处理的各种图像，在适当的位置通过主机和投影仪播放出来，重合的地方通过图像的拼接和图像融合等技术达到无缝拼接的效果，给人一个逼真的全景效果。

整个全景的视野事先是在环幕（可以是多种形状如球形、半球形、1/4球、方形等）中，投影机播放的片子的经过校正的，达到了无缝拼接的效果，投影机的亮度都是经过校正，避免出现在两个投影机重合的地方出现过亮。

当前很多数字娱乐系统除了视觉以外，也注意声、光、运动、气味等多感官的体验控制，但是实际系统使用中，往往会有体验不同步的问题。控制系统负责控制播放程序在各台分控的主机上播放事先切好的图像，控制各个主机之间的图像和声音的同步，这一点至关重要。

运动反馈系统反应人的动作后，如自助旅游系统，例如系统中播放武侯祠内旅游景点是，系统把用户初始设置一个位置，用户如果在环幕中想左右5m，这个动作会被运动反馈系统通过传感器捕捉，这样反馈系统会通知控制播放系统调整播放的响应的图像，同时也调整播放的速率，达到模拟真实在武侯祠中旅游的效果。用户通过这种反馈控制的交互方式，很好的实现了互动，大大提升了体验感和沉浸感。

本发明中系统正是由于有大型环幕的存在，用户面对大视野时，提升了真实度，环幕的图像拼接是事先用程序控制设置好的。通过针对多人本地环境的交互技术的研究，为群体之间以及群体与虚拟角色之间的交互提供一种自然的模式，即通过手势、身体动作等就可以完成多人之间，真实角色与虚拟角色之间的交互任务。

附图说明    

图1是整个交互系统各个部分之间的相互关系的框架图。

图2是各台主机的连接关系示意图。

图3是整个系统图像的融合、校正等核心步骤的流程图。

图4是以虚拟化身为接口的非接触式人机交互框架图。

图5 基于柔性图匹配模型的标志点在线标注算法流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步的说明。

本发明的核心思想是大规模的环幕提供高清的画质效果，实现画面、声音、和运动感应的同步，用户的行为和控制系统的及时反馈画面改变。从而达到模拟现实世界的效果，大大提升用户的体验感和沉浸感。

首先找一个大型的封闭的环境（可以是球形、半球或者其他形状），周围安装好晶体管等各种感应装置，通过传感器与控制系统连接，用于反馈人的行为,同时控制系统连接各图像播放的分控主机。环幕的材质最好是灰白色，经过测试灰白色的材质的反光效果较好，投影机投射上去的亮度也是最好。投影机选用那种可编程的投影机，配置要求比较高。在这个封闭的环境内，人的参与和互动尤其重要，如图4，普通人各种行为，通过光学跟踪等方式，获取标志点，同时实时渲染产生人的画面和图像。例如人蹲下，光感应系统反馈会将信息传给控制系统，控制系统会通过改变画面来反应视点和视角变化，这样人就仿佛处在一个真实的场景中。

在各主机中如图2（主机组成的渲染农场），存放有不同方位事先切好的图像，这些图像是根据事先拍摄或者建模产生的片源，编程可以实现各个方位的角度控制和图像播放的拼接、融合。如果是城市效果模拟、或者飞行模拟，可以以逼真的方式加入多种效果，如可以加入光照、云、雾，各种恶劣天气的模拟，我们已经是实现了模拟航母舰载机的飞行。整个飞行过程中包括飞机在航母上起飞、在云中穿行、敌机追踪、返航等行为，真正模拟了飞行，对于飞行员的训练等提供了很大的价值。和一般的虚拟现实系统不同的是，同时本发明实现了及时反馈和画面的更新。切图程序利用做好的模型，切割出能在各个主机上播放的图像，播放的时候一个控制图像同步的软件，保证各主机之间彼此同步，以及主机的画面的与声音同步。各部分软件系统主要采用C++编程语言、Opengl等可视化工具来实现的，各部分采用了经典的图像配准算法。

播放模块中设置近20多台主机，主机的配置要求达到能支持实时渲染的目的。整个系统需要获取投影机的亮度参数，利用网格进行图像的亮度校正，在两个投影机投射的重叠区域进行校正（如图3），从而降低了图像的亮度，最后达到了无缝拼接，就像一张超大分辨率的全景相片在播放。投影机记过校正成功之后，不许移动投影机，然后把之前说的片源放在个分控主机，分控主机控制系统统一调度播放。控制系统存储了各分控主机的局域网IP地址，可以访问并执行播放程序，选择播放不同的片源。这种智能控制是有控制系统来进行的调度实现的，可以模拟旅游景点旅游过程，如给用户在地图中一个初始位置，开始漫游之后，用户向前走动3m，同时感应装置能感应用户的走动，周围的画面收到控制系统的控制，改变环幕上的画面，改变成向前3m之后的画面。画面的播放按照预先设定的规则，例如设置各主机播放画面的帧率为30帧/s，所有主机都设置成30帧/s，这样做到画面播放的同步。

在服务器上安装控制软件，服务器用来调度各种资源，可以访问各主机，修改各主机出现的bug。同时可以控制投影仪的打开和关闭，灯光的打开与关闭，控制感应装置的开关。投影机直接投影到空间的幕（可以是白色墙壁等）上，然后放置所有投影机，打开投影机运用图3所示步骤做亮度、色彩等校正，然后制作片源并测试，这样通过之后，大型的环幕效果就出来了。然后就是安装各种感应装置，感应人的走动的方向和距离，链接好个连接线以及主机，在服务器，控制端都安装上预设的软件，最后就是测试系统参数、并运行。

Claims (10)

1.一种在虚拟现实领域中面向本地群体的非接触式自然人机交互技术，其主要特征在于，包括：超大规模的环幕提供高清的画质提升人体验感；

支持群体交换，自动感应人的行为，从而反馈控制周围的画面的变化；

自动感应人的行为活动，不需要手动控制，提供智能画面播放；

包含控制系统、感应系统和画面播放三个核心部分；

足不出户就可体验超真实的自助旅游效果。

2.根据权利要求1所述，这种面向本地群体的非接触式自然人机交互技术，其特征在于包括大规模的环幕、多台投影机、全景的图形切片、后台控制系统、人的行为反馈系统、反馈控制系统。

3.根据权利要求1所述，这种面向本地群体的非接触式自然人机交互技术展示，其特征主要在于提供给用户以超真实的视觉感受，提供自动的反馈用户的行为，达到和真实的旅游一样的效果。

4.根据权利要求1所述，感应系统可以感应人的行为，系统的参与者是普通用户。

5.根据权利要求1所述，整个系统在一个封闭的环境里面，提升沉浸感。

6.根据权利要求1所述，播放的片源可以是事先渲染完成的，也可以支持实时渲染。

7.根据权利要求3所述，本系统的感应控制模块儿感应人的行为（向前走、向左拐等）自动反馈到控制系统，从而控制投影机播放不同的图片序列，达到和真实的旅游一样的效果。

8. 根据权利要求1所述，感应系统可以安放在地面或者整个环幕上面, 整个系统的特点还包括用户可以利用PC或者平板电脑来控制实现漫游。

9. 根据权利要求1所述，环幕里利用网格子来实现多投影的校正、融合和无缝拼接技术，融合精度能达到不高于0.5个像素。

10. 本技术的核心囊括了所有的投影反射介质（包括不同的形状的投影幕，不同的颜色和材料），都属于权利范围之内。

Images