CN104777907B - 一种用于群体人机交互的系统 - Google Patents

Abstract

本发明提供了一种用于群体人机交互的系统，包括：数据采集装置和交互控制装置，其中，所述数据采集装置，包括至少两类分布式布置的传感器，用于采集关于人机交互的原始信息，其中，第一类传感器用于采集所述用户的动作信息，第二类传感器用于采集带有用户身份标注的信息；所述交互控制装置，用于接收来自所述数据采集装置的所述原始信息，并按照用户身份对其进行分类以获取相应用户的交互控制信息，进而获得相应的交互控制指令。本发明的技术方案可以在群体交互的情况下，进行大范围、多种类的数据采集；实现多人同步定位和对复杂用户指令的准确识别；根据不同用户的指令对呈现的内容实时地做出改变。

Description

一种用于群体人机交互的系统

技术领域

本发明涉及虚拟现实和人机交互技术领域，具体地说，本发明涉及一种用于群体人机交互的系统。

背景技术

近些年来虚拟现实和人机交互技术得到了较快发展，各类结合使用这两种技术为人类提供便利的系统层出不穷。此类技术在科普教育，军事指挥，游戏娱乐等领域得到了广泛应用。

虽然此类系统具有逼真效果和高沉浸性的优点,但在涉及群体交互的场合，目前其体验者大多只能以观看电影的形式作为被动的接受者进行体验，而不能够参与其中。在很多应用中，如果所有的体验者都能与系统进行互动，体验者之间可以进行竞争或合作，将可以衍生出更有趣或更有意义的应用，比如，在一些儿童互动科普教育的人机互动应用中，如果可以让儿童更乐意参与其中，将会给其留下的更深刻的印象或记忆，达到更好的应用效果。因此，如果在此类系统中加入群体交互，除了会让体验者有身临其境的体验外，还能让他们之间以及他们与系统之间建立互动的通道，显著提高观众参与的积极性和系统的应用范围。但是，目前可以与用户互动的人机交互系统或设备多面向于单人或少数几人在小范围内进行使用，比如，leapmotion，kinect等，或者只能对简单的群体行为进行响应，无法分别响应来自不同用户的交互指令(比如中国专利CN103533445B)，已经不能满足虚拟现实系统中进行自然群体交互的互动需要。

目前，现有技术的主要问题在于：采用单一且高度集成化的数据采集装置，使得数据采集的范围相对较小，限制了交互的参与人数，而且在群体交互情况下，由于数据量大，信号存在干扰、时延等因素，无法实现多人同步定位和对复杂用户指令的识别，以及无法分别响应来自不同用户的交互指令。

发明内容

本发明的目的是提供一种能够克服上述技术问题的解决方案。

本发明提供了一种用于群体人机交互的系统，包括：数据采集装置和交互控制装置，其中，所述数据采集装置，包括至少两类分布式布置的传感器，用于采集关于人机交互的原始信息，其中，第一类传感器用于采集所述用户的动作信息，第二类传感器用于采集带有用户身份标注的信息；所述交互控制装置，用于接收来自所述数据采集装置的所述原始信息，并按照用户身份对其进行分类以获取相应用户的交互控制信息，进而获得相应的交互控制指令。

优选地，所述数据采集装置还包括：第三类传感器，用于采集带有用户身份标注的所述用户的动作信息。

优选地，所述数据采集装置还包括：同步器，用于接收并同步来自全部或部分所述传感器的数据。

优选地，所述交互控制装置包括：用户区分模块和指令识别模块，其中，所述用户区分模块，用于根据来自不同类传感器的原始信息之中的同种参数对所述原始信息进行分类，将相应的信息与与之对应的所述用户相关联，形成用户信息；所述指令识别模块，用于根据所述用户信息中的交互控制信息，获取与其对应的交互控制指令。

优选地，所述交互控制装置还包括用户定位模块，用于根据所述用户信息确定各个用户相对于指定坐标系的空间位置。

优选地，所述交互控制装置还包括：数据有效性判断模块，用于从所述用户信息中的交互控制信息中区分出有效的交互控制信息和无效的交互控制信息；以及所述指令识别模块，用于根据所述用户信息中的有效的交互控制信息，获取与其对应的交互控制指令。

优选地，所述交互控制装置还包括：数据预处理模块，用于对来自数据采集装置的所述原始信息进行噪点处理。

优选地，所述系统还包括：显示装置，用于接收来自所述交互控制装置的所述交互控制指令，并根据所述交互控制指令完成对相应图像的呈现。

优选地，所述显示装置包括：渲染模块和显示模块，其中，所述渲染模块，用于根据预设的所述交互控制指令和不同的渲染任务之间的映射关系，根据其接收到的来自所述交互控制装置的所述交互控制指令，执行对应的渲染任务；所述显示模块，用于根据所述渲染模块渲染完成的内容完成对相应图像的呈现。

与现有技术相比，本发明提出的技术方案具有以下优点：可以在群体交互的情况下，进行大范围、多种类的数据采集，增加允许参与交互的用户数量；实现多人同步定位和对复杂的用户指令中的有效用户指令的准确识别；根据不同用户的指令对呈现的内容实时地做出改变。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图不构成对于本发明的限制。

图1是根据本发明的实施例的系统结构的示意图；

图2是根据本发明的实施例的数据采集装置的示意图；

图3是根据本发明的实施例的交互控制装置的示意图；

图4是根据本发明的实施例的数据有效性判断的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步地描述。

图1示出了根据本发明的实施例的系统结构示意图。如图1所示，根据本发明的一个实施例，群体交互系统100包括，数据采集装置102、交互控制装置104和显示装置110。其中，数据采集装置102用于采集关于人机交互的原始信息；交互控制装置104用于接收、处理，并分析来自数据采集装置102的原始信息，尤其是其中的用户身份关系，从中获取用户发出的交互控制指令，其中，所述用户身份关系包括相应的信息与与之对应的用户之间的关系，以及各个用户之间的相对位置关系；显示装置110用于接收来自交互控制装置104的交互控制指令，并根据所述指令完成对相应图像的显示。

如图2所示，根据本发明的一个实施例，数据采集装置102包括数据处理模块202、同步器204、光学传感器群206、加速度传感器群212，以及压力传感器或传感器群214(以下简称压力传感器214)。

光学传感器群206包括多组光学传感器。优选地，所述光学传感器是智能光学摄像机。多组智能光学摄像机通过支架架设至预定位置以使群体交互空间中的任意一点在至少两个智能光学摄像机的检测覆盖范围内。所述架设完成之后，通过离线或在线相机标定技术对所述智能光学摄像机进行相机标定。所述标定完成之后，多组智能光学摄像机同时从不同角度采集同一群体交互空间的图像信息，进而采用图像识别技术从获得的图像信息中采集不带有用户标注信息的用户的特定肢体部位的位置信息。以用户的手部为例，每个智能光学摄像机通过图像识别技术对其单独获取到的图像信息中的用户的手部进行识别，将识别后得到带有时间戳参数t的数据发送给同步器204。同步器204将来自不同的智能光学摄像机的数据，根据其中的时间戳参数t进行分组和对齐，以消除不同传感器之间的时延以及数据丢帧对数据的不良影响，进而有效提高数据采集的效果。同步器204的实现属于现有技术，可以通过软件编程实现，也可以是一个独立的用于数据同步的硬件设备，故其技术细节在此不予赘述。同步器204对所述数据进行上述处理之后将其发送给数据处理模块202。数据处理模块202通过计算同步后来自不同的智能光学摄像机的图像识别结果之间的差异性进而确定群体交互空间中的相应手部的三维空间位置信息(x,y,z,t)，并将该信息发送给交互控制装置104。所述位置信息为用户的手部上的某一点，优选地，可以为用户手部的中心点。优选地，在用户持有标志物的情况下，所述位置信息为所述标志物的空间位置信息。所述位置信息中的x，y，z为用户的手部相对于指定原点的空间位置，t为当前时刻的时间戳。由于现有的智能摄像机系统均对所述相机定标和对于识别对象的三维空间位置的确定方法进行了封装，这两处所涉及的计算方法属于现有技术，故在此其不再赘述。在同一时间段内，光学传感器群206采集到的手部的位置信息(x,y,z,t)可能有一组到多组，是不带有用户标记的手部的运动轨迹信息。根据本发明的一个实施例，在适当的条件下，可以使用红外深度传感器部分或全部替代所述光学传感器。

加速度传感器群212包括多个或者多组加速度传感器。加速度传感器群212用于采集带有用户标注信息的用户的特定肢体部位的加速度信息(m,a,t)，其中m为用户序号，a为加速度，t为当前时间的时间戳。以用户的手部为例，所述加速度传感器由用户手持。在同一时刻，加速度传感器群212采集到的用户的手部的加速度信息(m,a,t)可能有一个到多个，分别是与参与交互的不同用户一一对应的的手部运动的加速度信息。如图2所示，加速度传感器群212直接将其采集到的上述原始数据发送给数据处理模块202。数据处理模块202接收该数据，并将其发送给交互控制装置104。

压力传感器214类似于地毯的形式平铺并布满于群体交互空间的区域内，使该区域成为压力传感器214的检测区域。压力传感器214根据用户首次进入该检测区域中时的初始位置标注用户信息，跟踪并记录用户活动过程，得到连续的用户活动轨迹。压力传感器214采集到的是带有用户信息标注的用户位置信息(m,x’,y’,t)，其中m为用户序号，x’，y’为用户相对于指定原点的平面位置，t为当前时间的时间戳。在同一时刻，压力传感器214采集到的用户位置信息(m,x’,y’,t)可能有一个到多个，分别是参与交互的不同用户在所述检测区域中当前时刻所处的位置的信息。如图2所示，压力传感器214直接将其采集到的上述原始数据发送给数据处理模块202。数据处理模块202接收该数据，并将其发送给交互控制装置104。

通过分布式布置的多组传感器，可以有效扩大数据采集的范围，进而满足多人同时参与人机交互的要求。通过使用多种传感器，可以采集关于人机交互的多方面的信息，以使群体交互系统100能够更加准确地对用户发出的相对复杂的交互控制信息进行识别，提高群体交互的自然性。

图3示出了根据本发明的实施例的交互控制装置的示意图。如图3所示，根据本发明的一个实施例，交互控制装置104包括用户区分模块302、用户定位模块304、数据有效性判断模块306和指令识别模块308。

根据本发明的一个实施例，用户区分模块302结合来自加速度传感器群212和光学传感器群206的信息完成对所述原始数据的用户区分。为叙述方便，仍以传感器以用户的手部作为其采集数据所针对的用户的特定肢体部位为例。用户区分模块302根据光学传感器群206采集到的手部的空间位置信息(x,y,z,t)计算出该手部运动的加速度。具体而言，假设光学传感器每秒采集用户数据的帧数为N，则相邻两帧的手部空间位置数据对应的时间间隔为1/N。假设根据所述空间位置信息计算得到的相邻两帧(第i-1帧与第i帧)的距离为s_i。进而得到第i帧采集点的速度v_i＝s_i/(1/N)，同理，v_i-1＝s_i-1/(1/N)，进而得到第i帧采集点的加速度A_i＝(v_i-v_i-1)/(1/N)。依此算法，在一段确定的时间长度内(比如需要用户以手部发出交互控制信息的时间段)，对于某一个用户的一只手来说，用户区分模块302通过计算该时间段内光学传感器群206采集到的该手部的运动轨迹中的相应时刻的加速度，进而获得一组加速度值。之后，用户区分模块302根据时间戳参数信息，从加速度传感器群212采集到的数据中筛选出相同时间段的每个用户的加速度数据，并将每个用户在该时间段的加速度值与前述由来自光学传感器群206的数据计算得到的加速度值进行比较，进而将其中在允许的误差范围内与所述来自光学传感器群206的该组加速值一致的来自加速度传感器群212的加速度数据(m,a,t)对应的用户序号m标注到该时间段对应的运动轨迹的数据(x,y,z,t)上，进而获得关联后的用户数据(m,x,y,z,t)。从而完成对所述原始数据的用户区分。通过在光学传感器群206对用户的动作的采集的数据的基础上，结合能够准确对用户身份进行标注的加速度传感器群212的数据，进而对单独使用光学传感器获得的数据，形成了良好的补充，进而大大减少由于数据量大、信号干扰等因素而可能出现的难以区分用户的情况。用户定位模块304根据所述关联后的用户数据(m,x,y,z,t)以及来自光学传感器群206的指定坐标系的信息确定在相应时刻各用户相对于所述指定坐标系的空间位置。

根据本发明的一个实施例，用户区分模块302根据来自压力传感器214和光学传感器群206的信息完成对所述原始数据的用户区分。为叙述方便，仍以光学传感器群206以用户的手部作为其采集数据所针对的用户的特定肢体部位为例。用户区分模块302首先分别获取压力传感器214与光学传感器群206采集数据时指定的坐标系的相关参数，进而将压力传感器214所采集数据的坐标系通过平移变换变换为光学传感器群206所采集数据的坐标系。然后，用户区分模块302计算同一时刻光学传感器群206的采集点与与变换后的压力传感器214的采集点之间的距离差，将相应的光学传感器群206的数据(x,y,z,t)标注为距离其最近的压力传感器214的坐标变换前的原数据(m,x’,y’)所对应的用户m，进而得到关联后的用户数据(m,x,y,z,t)，从而完成对所述原始数据的用户区分。用户区分模块302的具体计算过程如下，例如，假设参与交互的用户为5人，下面是在某时刻的光学传感器数据和已经过坐标变换后的压力传感器数据。假设坐标系为(x,y,z)。

光学传感器数据结构为o_i＝(x_i,y_i,z_i,t)

o₁＝(1,1.1,2,50) o₂＝(1,2.9,1.7,50) o₃＝(2,0.9,1.6,50)

o₄＝(2,2,2,50) o₅＝(1,2.1,1.8,50)

压力传感器数据结构为p_j＝(m_j,x_j,y_j,t)

p₁＝(1,1,1,50) p₂＝(2,1,2,50) p₃＝(3,1,3,50)

p₄＝(4,2,1,50) p₅＝(5,2,2,50)

由以上数据可知，所有数据的时间戳信息均为50，通过计算并比较光学传感器数据中的点(x_i,y_i)与压力传感器数据中的点(x_j,y_j)的任意两者之间的距离差即可根据相应结果所对应的点o_i和p_j得知o₁与p₁距离最小，o₂与p₃距离最小，o₃与p₄距离最小，o₄与p₅距离最小，o₅与p₂距离最小。进而对光学传感器数据添加相应的用户标注以完成用户区分，进而得到用户数据：o₁＝(1,1,1.1,2,50),o₂＝(3,1,2.9,1.7,50),o₃＝(4,2,0.9,1.6,50),o₄＝(5,2,2,2,50),o₅＝(2,1,2.1,1.8,50)。

通过在光学传感器群206对用户的动作的采集的数据的基础上，结合能够准确对用户身份进行标注的压力传感器214的数据，进而对单独使用光学传感器获得的数据，形成了良好的补充，进而大大减少由于数据量大、信号干扰等因素而可能出现的难以区分用户的情况。

用户定位模块304根据所述关联后的用户数据(m,x,y,z,t)以及所述光学传感器群206采集数据时的指定坐标系的信息确定在相应时刻各用户相对于该指定坐标系的空间位置。

数据有效性判断模块306用于根据预设的条件，从用户数据包含的交互控制信息中区分出有效的交互控制信息和无效的交互控制信息，并将无效的交互控制信息从用户数据中剔除。仍以所述交互控制信息为用户做出的手部动作(即手势)的情况为例，如图4所示，数据有效性判断模块306首先根据所述用户数据中手部动作的运动轨迹计算出相应位置的运动速度(相关的计算方法和步骤与前述用户区分模块302计算采集点的速度的方法类似，在此不再赘述)，进而判断出其中的停顿点，即速度值为零的采集点，并以所述停顿点持续出现一段预定的时间(比如5-15帧)为标准将连续的手部动作数据划分为相应的数据段，进而形成单独的手势数据。之后，数据有效性判断模块306综合预先建立的有效手势模型和阈值模型进行判断，即将划分后的单独的手势数据分别代入所述的有效手势模型和阈值模型进行计算。当在阈值模型中进行计算的结果小于有效手势模型的结果时将相应的手势数据识别为有效手势(即有效的交互控制信息)，否则判断相应的手势为冗余手势(即无效的交互控制信息)，且对其进行拒识。所述阈值模型是对所述冗余手势建立的，在原始隐马尔可夫模型的基础上综合所有有效手势的隐马尔可夫模型建立的一个遍历模型。所述阈值模型的隐状态由所有有效手势模型的状态组成。所述阈值模型中包含所有有效手势模型的隐状态路径，同时每个有效手势模型的隐状态可以转移到其他有效手势模型的隐状态。其中，假设所述冗余手势是有效手势模型内各隐状态的组合。冗余手势在所述阈值模型中求得的概率或相似度大于各个有效手势在所述阈值模型中求得的概率或相似度。优选地，阈值模型中的相关参数设定如表1所示，其中，d为特征值的种类数，B矩阵为有效手势模型的状态转移概率矩阵，G为有效手势模型的个数。

表1

参数	含义	取值
			NTM	状态数目	各个手势隐状态数目和
MTM	每个状态可能的观察值数目	d
			ATM	与时间无关的状态转移概率矩阵	1/NTM
BTM	给定状态下，观察值概率分布	拼合各个手势模型的B矩阵
			πTM	初始状态空间的概率分布	各模型初始状态概率分布/G

此处的阈值模型还可以采用其他能够达到相似效果的现有技术实现，比如采用条件随机场模型实现。

指令识别模块308用于根据预设的对应关系，对被保留的有效的交互控制信息通过，诸如，模版匹配、建立统计学模型等现有方法识别出与其对应的交互控制指令。比如交互控制信息为用户做出的手势的情况下，指令识别模块308根据通过机器学习的方式针对有效手势进行训练而事先建立的训练模型，通过将区分出的有效手势带入所述训练模型完成识别出与之对应的交互控制指令的操作。不同的有效交互控制信息与特定的交互控制指令之间具有映射关系。所述交互控制信息可以包括用户的动作信息。所述交互控制指令可以包括预设的能够被计算机执行的程序、命令或代码。

根据本发明的一个实施例，交互控制模块104还包括数据预处理模块(未在图3中示出)，用于对来自数据采集装置102的原始数据进行噪点处理，进而减少数据采集时信号干扰等因素对后续数据处理的影响。所述噪点处理属于现有技术，可以基于模式识别领域离群点检测和处理的方法来实现。

根据本发明的一个实施例，群体交互系统100还包括图像存储装置(未在图1中示出)用于保存图像数据112，并将图像数据112发送给显示装置110。根据本发明的另一个实施例，图像数据112也可以保存于独立于群体交互系统100的外部存储设备中，通过该外部存储设备与群体交互系统100之间的数据通信，将图像数据112提供给显示装置110。

进一步地，根据本发明的一个实施例，图像数据112包括若干预制影片。显示装置110依据预设的所述交互控制指令与所述预设影片之间的映射关系，根据其接收到的来自交互控制装置104的交互控制指令，选择并呈现对应的预制影片。

进一步地，根据本发明的另一个实施例，图像数据112包括若干预制的场景文件。显示装置110包括渲染模块和显示模块(均未在图1中示出)。所述渲染模块用于依据预设的所述交互控制指令和不同的渲染任务之间的映射关系，根据其接收到的来自交互控制装置104的交互控制指令，结合对应的所述预制的场景文件，执行对应的渲染任务。所述渲染模块可以包括并行的渲染服务器集群。所述显示模块用于将所述渲染模块渲染完成的内容呈现给参与交互的用户。

根据本发明的一个实施例，所述显示装置110可以包括下述显示设备中一个或其组合：影院大屏幕、球幕、环幕等投影显示设备，以及台式机/笔记本显示器、手机/平板电脑屏幕、虚拟现实头盔/眼镜、广告屏幕等显示设备，或者其他任何适于完成对于群体交互系统100需要呈现给参与交互的用户的图像的呈现的显示设备。

应用上述实施例所述的群体交互系统，可以在群体交互的情况下，通过大范围、多种类的数据采集，增加允许参与交互的用户数量；实现多人同步定位和对复杂用户指令中的有效用户指令的准确识别，并根据不同用户的指令对呈现的内容实时地做出改变。

以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围。任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所作的等同变化、修改与结合，均应属于本发明保护的范围。

Claims (9)

1.一种用于群体人机交互的系统，其特征在于，所述系统包括：数据采集装置和交互控制装置，其中，

所述数据采集装置，包括至少两类分布式布置的传感器，用于采集关于人机交互的原始信息，其中，第一类传感器用于采集用户的动作信息，第二类传感器用于采集带有用户身份标注的信息；

所述交互控制装置，用于接收来自所述数据采集装置的所述原始信息，并按照用户身份对其进行分类以获取相应用户的交互控制信息，进而获得相应的交互控制指令；

其中，所述交互控制装置包括：用户区分模块和指令识别模块，

所述用户区分模块，用于根据来自所述第一类传感器的信息以及来自所述第二类传感器的信息之间的关联关系，将所述原始信息与与之对应的用户相关联，形成用户信息；

所述指令识别模块，用于根据所述用户信息中的交互控制信息，获取与其对应的交互控制指令。

2.根据权利要求1所述的系统，其中，所述第一类传感器为光学传感器，用于采集不带有用户标注信息的用户的特定肢体部位的位置信息；

所述第二类传感器为加速度传感器，用于采集带有用户标注信息的用户的特定肢体部位的加速度信息；

所述用户区分模块用于根据所述第一类传感器采集到的信息计算加速度值并将计算获得的加速度值与所述第二类传感器采集到的信息进行比较，获得关联后的用户数据。

3.根据权利要求1所述的系统，其中，第一类传感器为光学传感器，用于采集不带有用户标注信息的用户的特定肢体部位的位置信息；

所述第二类传感器为压力传感器，用于采集带有用户信息标注的用户位置信息；

所述用户区分模块用于对所述第一类传感器采集到的信息或者对所述第二类传感器采集到的信息进行坐标系的平移变换，使得在变换后所述第一类传感器采集到的信息与所述第二类传感器采集到的信息处于同一坐标系内，在同一坐标系内比较所述第一类传感器采集到的信息与所述第二类传感器采集到的信息，获得关联后的用户数据。

4.根据权利要求2或3所述的系统，其特征在于，所述数据采集装置还包括：

同步器，用于接收并同步来自全部或部分所述传感器的数据。

5.根据权利要求4所述的系统，其特征在于，所述交互控制装置还包括用户定位模块，用于根据所述用户信息确定各个用户相对于指定坐标系的空间位置。

6.根据权利要求4所述的系统，其特征在于，所述交互控制装置还包括：

数据有效性判断模块，用于从所述用户信息中的交互控制信息中区分出有效的交互控制信息和无效的交互控制信息；以及

所述指令识别模块，用于根据所述用户信息中的有效的交互控制信息，获取与其对应的交互控制指令。

7.根据权利要求2或3所述的系统，其特征在于，所述交互控制装置还包括：

数据预处理模块，用于对来自数据采集装置的所述原始信息进行噪点处理。

8.根据权利要求2或3所述的系统，其特征在于，所述系统还包括：

显示装置，用于接收来自所述交互控制装置的所述交互控制指令，并根据所述交互控制指令完成对相应图像的呈现。

9.根据权利要求8所述的系统，其特征在于，所述显示装置包括：渲染模块和显示模块，其中，

所述渲染模块，用于根据预设的所述交互控制指令和不同的渲染任务之间的映射关系，根据其接收到的来自所述交互控制装置的所述交互控制指令，执行对应的渲染任务；

所述显示模块，用于根据所述渲染模块渲染完成的内容完成对相应图像的呈现。