CN105205317A - 一种用于反映至少两个参与者的协作程度的方法以及设备 - Google Patents

Abstract

本发明公开了一种用于反映至少两个参与者的协作程度的方法以及设备。其中，所述方法包括：采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。本发明通过同步采集至少两个参与者在同一交互情景下的脑电数据，并根据所采集的脑电数据计算至少两个参与者的脑电协同性指标以反映至少两个参与者的协作程度，从而能够对参与者之间的交互情况进行客观和精确的评价。

Description

一种用于反映至少两个参与者的协作程度的方法以及设备

技术领域

本发明涉及人机交互技术领域，具体地，涉及一种用于反映至少两个参与者的协作程度的方法以及设备。

背景技术

人机交互技术是指通过计算机的输入设备和输出设备，以有效的方式实现人与计算机信息交流的技术。传统的人机交互技术中，人主要通过运动系统与计算机进行信息交互。近年来，新兴的人机交互技术开展关注通过人体生理信号传感器以心电、皮电、脑电等方式获取人体生理信号，从而更全面地得到来自人的信息。到目前为止，基于生理信号的人机交互技术大多关注单人情景下的人机交互方法，比如通过生理信号获取人的注意力、情绪体验等指标，用于辅助已有人机交互系统或作为全新的控制维度。在基于生理信号的人机交互技术中的脑机交互技术则通过直接解读人脑思维活动所产生的脑电波来判断人的思维活动状态，是当前人机交互领域的关注热点，已在单人情景的体验、游戏、教育等人机交互实例中得到应用。

然而，基于生理信号的多人情景下人机交互方法的研究开发还较少，鲜有系统性实用方法的公开报道。虽然如此，多人情景下的人机交互方法有着广泛的应用前景。大量的体验或游戏项目都涉及多位参与者之间的协作或竞争，对这些参与者的生理信号进行实时采集和分析处理有助于设计科学性更强、体验性更好的人机交互系统。在更专业的心理咨询应用领域中，团体心理辅导项目已经对实时获取所有参与者的生理信号提出了迫切的需求。这些生理数据可以帮助心理辅导专家更好地以及更及时地调整辅导方法和策略，从而实现更优化的心理辅导方案。

发明内容

本发明的目的是提供一种用于反映至少两个参与者的协作程度的方法以及设备。其中，所述方法通过同步采集至少两个参与者在同一交互情景下的脑电数据，并根据所采集的脑电数据计算至少两个参与者的脑电协同性指标以反映至少两个参与者的协作程度，从而能够对参与者之间的交互情况进行客观和精确的评价。

为了实现上述目的，本发明提供一种用于反映至少两个参与者的协作程度的方法。所述方法包括：采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。

优选地，所述方法还包括：在采集每一个参与者在同一交互情境下的脑电数据的同时，向所述脑电数据增加所述时间戳信息。

优选地，所述方法还包括：通过硬件方式或软件方式向所述脑电数据增加所述时间戳信息。

优选地，所述脑电数据包括至少一个电极的数据，所述方法还包括：使用多元相关分析方法求取相同采集时间的脑电数据所对应的所述至少一个电极的数据的线性组合权重系数。

优选地，所述方法还包括：根据相同采集时间的脑电数据中的每两者及其对应的所述至少一个电极的数据的线性组合权重系数计算得到每两个参与者的脑电协同性可能指标组。

优选地，所述方法还包括：根据以下公式一计算每两位参与者的脑电协同性指标：

${r_{ij}}^{ALL}=a_1*{r_{ij}}^1+a_2*{r_{ij}}^2+\mathrm{...}+a_K*{r_{ij}}^K$ 公式一

其中，r_ij ^ALL为所述每两位参与者的脑电协同性指标，a₁、a₂…a_K为加权组合系数，r_ij ¹、r_ij ²…r_ij ^K分别为所述脑电协同性可能指标组中的元素。

优选地，所述方法还包括：以具体的人机交互情景的行为学交互指标为因变量建立多元回归方程以通过学习得到所述加权组合系数。

相应地，本发明还提供一种用于反映至少两个参与者的协作程度的设备。所述设备包括：至少两个脑电采集装置，分别用于采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；计算装置，与所述至少两个脑电采集装置连接，用于：根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。

优选地，所述设备还包括：人机交互界面，与所述计算装置连接，用于接收所述计算装置反馈的所述每两个参与者的脑电协同性指标和所述至少两个参与者的的脑电协同性指标，并显示所述每两个参与者的脑电协同性指标和所述至少两个参与者的的脑电协同性指标。

优选地，所述至少两个脑电采集装置中的每一者包括至少一个电极。

通过上述技术方案，采集每一个参与者在同一交互情景下的脑电数据，根据脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据，并根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标以及根据每两个参与者的脑电协同性指标计算至少两个参与者的脑电协同性指标以反映至少两个参与者的协作程度，从而能够对参与者之间的交互情况进行客观和精确的评价。

附图说明

图1是本发明提供的用于反映至少两个参与者的协作程度的方法的流程图；以及

图2是本发明提供的用于反映至少两个参与者的协作程度的设备的结构示意图。

附图标记说明

10脑电采集装置20计算装置30人机交互界面

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在基于生理信号的人机交互技术中的脑机交互技术在多人情景中同样有广泛的应用前景。通过同时分析多个参与者的脑电波，从而能够对参与者之间的交互情况进行更加客观和精确的评价。这一应用前景得到最近认知神经科学研究成果的支持。人类大脑有很强的社交属性，每时每刻都在解读自我、环境以及与自我发生交互的其他个体的行为和行为意图。因此，在同一交互情景下的参与者之间脑神经活动存在必然的协同性，这一协同性的强弱取决于各个参与者主观上对该交互情景解读的相似性，而该主观相似性与参与者之间的协作或合作意愿有密切关系。当各参与者之间密切协作时，他们对交互情境的解读将更加一致，从而对应更高的多人脑电协同性。基于此，本发明特提供一种用于反映至少两个参与者的协作程度的方法。

图1是本发明提供的用于反映至少两个参与者的协作程度的方法的流程图。如图1所示，本发明提供的用于反映至少两个参与者的协作程度的方法包括：在步骤S101中，采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据。在步骤S102中，根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据。具体地，在采集每一个参与者在同一交互情境下的脑电数据的同时，向所述脑电数据增加所述时间戳信息。至少两个参与者的脑电数据的同步采集是至少两个参与者的脑电协同性的关联强度分析的基础。人脑神经电活动具有快速时变的特性，脑电信号的采样率一般要求500赫兹或者更高。因此，至少两个参与者的脑电协同性的关联强度分析要求来自至少一位参与者的脑电信号之间的采集时间误差不超过2毫秒(对应500赫兹)。为满足这个要求，通过硬件方式或软件方式向所述脑电数据增加所述时间戳信息，即来自每个参与者的每一次采集的脑电数据均包含脑电数据采集时间的信息(时间戳信息)。更为具体地，在脑电采集硬件设备支持对所采集的脑电数据增加高精度时间戳的情况下，则通过硬件方式完成时间标记。之后，根据这些时间标记进行简单的软件处理以汇总相同采集时间的脑电数据。在脑电采集硬件设备不支持对所采集的脑电数据增加高精度时间戳的情况下，则通过软件的方式完成时间标记，具体实施的步骤包括：1)设计单一软件，并实现单一软件对至少一个脑电采集硬件设备的操作；2)通过软件指令的方式同时启动所有脑电采集硬件设备；3)设定脑电采集硬件设备以硬件允许的最高频率向软件发送脑电数据包；4)用至少一个线程分别处理来自至少一个脑电采集硬件设备的脑电数据；5)对接收的脑电数据标记软件时间戳；6)汇总相同采集时间的脑电数据。

在步骤S103中，根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标。每两个参与者的脑电协同性指标的计算是反映至少两个参与者的协作程度的基础。认知神经科学研究进展表明，大脑的腹内侧前额叶和镜像神经元系统是负责人类交互行为的关键脑区。因此，脑电采集硬件设备包括至少一个处于关键脑区的电极。在具体的实施方式中，所述至少一个电极的位置分别对应10-20国际标准电极位置中的Fz、F3、F4、Cz、C3、C4或它们的邻近位置。不同的脑电采集硬件设备可支持的电极数量不同，具体的电极数量根据具体的脑电采集硬件设备而确定。通过分析每个脑电采集硬件设备的这些电极采集到的数据所组成的多维时间序列之间的协同变化关系可对每两个参与者之间的协作程度进行定量评价。具体地，根据具体的交互情景对指标实时性输出的要求，选择最短1秒的时间长度作为数据分析计算的基本时间单位。待分析计算的脑电数据来自N位参与者。记参与者i的脑电数据为EEG_i，则该脑电数据为M×(T×fs)的二维数据矩阵。其中，M为脑电采集硬件设备的电极数量，T为脑电数据的有效采集时间，fs为脑电采集硬件设备的采样率，脑电数据包括至少一个电极的数据。使用多元相关分析方法求取相同采集时间的脑电数据所对应的所述至少一个电极的数据的线性组合权重系数。根据相同采集时间的脑电数据中的每两者及其对应的所述至少一个电极的数据的线性组合权重系数计算得到每两个参与者的脑电协同性可能指标组。例如，求解下述最优化计算式

r_ij ¹＝max_wi,wjcorr(w_i ^T*EEG_i,w_j ^T*EEG_j)

可计算得到线性组合权重系数对应的相关系数r_ij ¹。相关系数r_ij ¹为脑电协同性可能指标组中的一个元素，也即每两个参与者的脑电协同性的可能指标之一。其中，EEG_i为参与者i的脑电数据，EEG_j为参与者j的脑电数据，w_i为参与者i的脑电数据所对应的至少一个电极的数据的线性组合权重系数所构成的矩阵，w_j为参与者j的脑电数据所对应的至少一个电极的数据的线性组合权重系数所构成的矩阵，^T表示矩阵转置操作，corr()表示进行一元相关计算。考虑到参与者的个体差异，这里允许每个参与者的脑电数据所对应的至少一个电极的数据的线性组合权重系数不同。上述计算中所涉及的脑电数据均来自于未滤波的脑电信号。

对每位参与者的脑电信号进行滤波能够得到δ频带的脑电信号(1-3Hz)、θ频带的脑电信号(4-8Hz)、α频带的脑电信号(8-13Hz)、β频带的脑电信号(14-30Hz)、γ频带的脑电信号(30-50Hz)以及对应频带的脑电信号的能量。将每两位参与者的δ频带的脑电信号进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ²，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的θ频带的脑电信号进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ³，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的α频带的脑电信号进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ⁴，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的β频带的脑电信号进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ⁵，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的γ频带的脑电信号进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ⁶，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的δ频带的脑电信号的能量进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ⁷，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的θ频带的脑电信号的能量进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ⁸，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的α频带的脑电信号的能量进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ⁹，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的β频带的脑电信号的能量进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ¹⁰，也即每两个参与者的脑电协同性的可能指标之一。将每两位参与者的γ频带的脑电信号的能量进行与上述类似的计算可得到脑电协同性可能指标组中的一个元素r_ij ¹¹，也即每两个参与者的脑电协同性的可能指标之一。藉此，能够得到一系列的脑电协同性可能指标。所述一系列的脑电协同性可能指标构成每两个参与者的脑电协同性可能指标组，记为r_ij ¹、…、r_ij ^K，K为可能指标的总个数。

在具体的实施方式中，根据以下公式一计算每两位参与者的脑电协同性指标：

${r_{ij}}^{ALL}=a_1*{r_{ij}}^1+a_2*{r_{ij}}^2+\mathrm{...}+a_K*{r_{ij}}^K$ 公式一

其中，r_ij ^ALL为所述每两位参与者的脑电协同性指标，a₁、a₂…a_K为加权组合系数，r_ij ¹、r_ij ²…r_ij ^K分别为所述脑电协同性可能指标组中的元素。

其中，以具体的人机交互情景的行为学交互指标为因变量建立多元回归方程以通过学习得到所述加权组合系数。行为学交互指标可以为体验或游戏中的某可体现每两个参与者协作程度的主观评分或客观评分，或心理辅导中来自心理辅导师的评分。为完成可靠的学习，至少需要有10*K个有效数据进行学习以得到组合加权系数。

在步骤S104中，在得到每两个参与者的脑电协同性指标后，求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。所述至少两个参与者的脑电协同性指标从脑神经活动的角度反映了至少两个参与者的协作程度。以上分析计算可以基于较短时间段内的脑电数据开展，从而能够实时地向参与者及人机交互系统呈现每两位参与者的脑电协同性指标以及至少两个参与者的脑电协同性指标，并实时地反映每两个参与者以及至少两个参与者的脑神经活动协同变化情况。在具体的应用中，在得到至少两个参与者的脑电协同性指标后，需要将这一指标以及每两个参与者的脑电协同性指标反馈到人机交互界面，并根据实际交互情境的需求及限制条件，通过视觉、听觉、触觉等感知觉方式将这一指标以及每两个参与者的脑电协同性指标反馈给各位参与者，引导参与者实时调整自己的思维活动状态。

相应地，本发明还提供一种用于反映至少两个参与者的协作程度的设备。图2是本发明提供的用于反映至少两个参与者的协作程度的设备的结构示意图。如图2所示，本发明提供的用于反映至少两个参与者的协作程度的设备包括：至少两个脑电采集装置10，分别用于采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；计算装置20，与所述至少两个脑电采集装置10连接，用于：根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。

在具体的实施方式中，所述至少两个脑电采集装置10中的每一者包括至少一个电极。每位参与者采用相同的脑电采集装置进行数据采集，数据采样率不小于100赫兹，至少一个电极的电极位置包括但不限于Fz,F3,F4,Cz,C3,C4(基于国际10-20电极位置命名规则)。

在具体的应用中，所述设备还包括：人机交互界面30，与所述计算装置20连接，用于接收所述计算装置反馈的所述每两个参与者的脑电协同性指标和所述至少两个参与者的的脑电协同性指标，并显示所述每两个参与者的脑电协同性指标和所述至少两个参与者的的脑电协同性指标。

本发明通过同步采集每一个参与者在同一交互环境的脑电数据，并计算每个参与者的脑电数据之间的相互协同关系，实现通过参与者的脑神经活动协同关系的强弱反映参与者两两之间的协作程度以及所有参与者所构成团队的协作程度，并将此协作程度指标实时反馈给参与者或人机交互系统。本发明可用于面向团队的体验、游戏、及团体心理辅导项目。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种用于反映至少两个参与者的协作程度的方法，其特征在于，所述方法包括：

采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；

根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；

根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及

求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。

2.根据权利要求1所述的用于反映至少两个参与者的协作程度的方法，其特征在于，所述方法还包括：

在采集每一个参与者在同一交互情境下的脑电数据的同时，向所述脑电数据增加所述时间戳信息。

3.根据权利要求2所述的用于反映至少两个参与者的协作程度的方法，其特征在于，所述方法还包括：

通过硬件方式或软件方式向所述脑电数据增加所述时间戳信息。

4.根据权利要求1所述的用于反映至少两个参与者的协作程度的方法，其特征在于，所述脑电数据包括至少一个电极的数据，所述方法还包括：

使用多元相关分析方法求取相同采集时间的脑电数据所对应的所述至少一个电极的数据的线性组合权重系数。

5.根据权利要求4所述的用于反映至少两个参与者的协作程度的方法，其特征在于，所述方法还包括：

根据相同采集时间的脑电数据中的每两者及其对应的所述至少一个电极的数据的线性组合权重系数计算得到每两个参与者的脑电协同性可能指标组。

6.根据权利要求5所述的用于反映至少两个参与者的协作程度的方法，其特征在于，所述方法还包括：

根据以下公式一计算每两位参与者的脑电协同性指标：

r_ij ^ALL＝a₁*r_ij ¹+a₂*r_ij ²+…+a_K*r_ij ^K公式一

其中，r_ij ^ALL为所述每两位参与者的脑电协同性指标，a₁、a₂…a_K为加权组合系数，r_ij ¹、r_ij ²…r_ij ^K分别为所述脑电协同性可能指标组中的元素。

7.根据权利要求6所述的用于反映至少两个参与者的协作程度的方法，其特征在于，所述方法还包括：

以具体的人机交互情景的行为学交互指标为因变量建立多元回归方程以通过学习得到所述加权组合系数。

8.一种用于反映至少两个参与者的协作程度的设备，其特征在于，所述设备包括：

至少两个脑电采集装置，分别用于采集所述至少两个参与者中的每一者在同一交互情景下的脑电数据；

计算装置，与所述至少两个脑电采集装置连接，用于：

根据所述脑电数据所包含的时间戳信息汇总相同采集时间的脑电数据；

根据相同采集时间的脑电数据中的每两者计算每两个参与者的脑电协同性指标；以及

求取所述脑电协同性指标的平均值以得到所述至少两个参与者的脑电协同性指标，从而反映所述至少两个参与者的协作程度。

9.根据权利要求8所述的用于反映至少两个参与者的协作程度的设备，其特征在于，所述设备还包括：

人机交互界面，与所述计算装置连接，用于接收所述计算装置反馈的所述每两个参与者的脑电协同性指标和所述至少两个参与者的的脑电协同性指标，并显示所述每两个参与者的脑电协同性指标和所述至少两个参与者的的脑电协同性指标。

10.根据权利要求9所述的用于反映至少两个参与者的协作程度的设备，其特征在于，所述至少两个脑电采集装置中的每一者包括至少一个电极。