CN104793743A - 一种虚拟社交系统及其控制方法 - Google Patents

Abstract

本发明公开了一种虚拟社交系统及其控制方法，该虚拟社交系统至少包括传感交互设备、第一数据处理装置、第二数据处理装置以及服务器；传感交互设备包括：传感器组件、信号处理装置及本体；第一数据处理装置包括处理模块以及第一通信模块；第二数据处理装置包括应用系统以及第二通信模块；服务器包括：接收模块以及分析单元。实施本发明的有益效果是，通过服务器分析出于虚拟社交场所的用户的心情变化，实时不加掩饰的将人的心理变化在虚拟社交中反映出来，增强用户虚拟交往中心理变化的真实性。

Description

一种虚拟社交系统及其控制方法

技术领域

本发明涉及虚拟现实、增强现实技术领域，尤其涉及一种虚拟社交系统及其控制方法。

背景技术

目前，市面上的社交工具还不能做到多种自然交互方式有机地融合，一般通过PC电脑看屏幕，或通过QQ等传统社交工具，不真实，反应慢，无法做到沉浸式的虚拟社交，根据脑电波、心电图将人的喜怒哀乐在虚拟现实社交中实时反映出来。

发明内容

本发明的目的在于提供一种虚拟社交系统及其控制方法，解决社交工具无法做到沉浸式的虚拟社交，无法根据脑电波、心电图将人的喜怒哀乐在虚拟现实社交中实时反映出来的问题。

本发明的技术方案实现如下：

本发明的一个目的在于提供一种虚拟社交系统，至少包括传感交互设备、第一数据处理装置、第二数据处理装置以及服务器；

所述传感交互设备包括：

用于采集佩戴者的瞳孔、语音、心率以及脑电信号的传感器组件；

用于将所述传感器组件所采集到的信号进行数字化处理并将其发送至所述第一数据处理装置的信号处理装置，所述信号处理装置电性连接于所述传感器组件；以及

与所述佩戴者身体任一部位匹配的本体，其中，所述传感器组件以及所述信号处理装置均设置于所述本体之中；

所述第一数据处理装置包括：

用于接收信号经过数字化处理所得佩戴者信息的处理模块，所述处理模块通信连接于所述传感交互设备；以及

用于通信连接于所述服务器以发送所述佩戴者信息的第一通信模块，所述第一通信模块通信连接于所述处理模块；

所述服务器包括：

连接模块，所述连接模块通信连接于所述第一通信模块及第二通信模块；

用于依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化并反馈至所述第二数据处理装置的分析单元，所述分析单元通信连接于所述接收模块；

所述第二数据处理装置包括：

用于在虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化的应用系统；

用于接收所反馈的所述佩戴者的心理变化的所述第二通信模块，所述第二通信模块通信连接与所述应用系统。

在本发明所述的虚拟社交系统中，所述传感器组件包括：

用于采集所述佩戴者的瞳孔信息的瞳孔感应器；

用于采集所述佩戴者的语音的声音传感器；

用于采集所述佩戴者的心率信号的心率传感器；

用于采集所述佩戴者的脑电信号的脑电传感器。

在本发明所述的虚拟社交系统中，所述瞳孔感应器为双路传感器或单路传感器。

在本发明所述的虚拟社交系统中，所述信号处理装置包括：

瞳孔信号调理模块，其电性连接于所述瞳孔感应器；

声音信号调理模块，其电性连接于所述声音传感器；

心率信号调理模块，其电性连接于所述心率传感器；

脑电信号调理模块，其电性连接于所述脑电传感器；

USB集线器，其分别电性连接于所述瞳孔信号调理模块、所述声音信号调理模块、所述心率信号调理模块以及所述脑电信号调理模块。

在本发明所述的虚拟社交系统中，所述处理模块包括瞳孔信号处理模块、声音信号处理模块、心率信号处理模块以及脑电信号处理模块。

在本发明所述的虚拟社交系统中，所述分析单元包括：

用于识别瞳孔信息的瞳孔识别模块；

用于识别语音信息的语音识别模块；

用于识别心率信息的心率识别模块；

用于识别脑电信息的脑电识别模块；

信号分析模块，其分别通信连接于所述瞳孔识别模块、所述语音识别模块、所述心率识别模块以及所述脑电识别模块。

在本发明所述的虚拟社交系统中，所述应用系统包括：

虚拟模块，用于设置虚拟社交场所；

显示模块，用于在所述虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化。

另一方面，提供一种虚拟社交系统的控制方法，提供上述虚拟社交系统，包括以下步骤：

S1、传感交互设备采集佩戴者的瞳孔、语音、心率以及脑电信号，对其进行数字化处理，并发送至第一数据处理装置；

S2、所述第一数据处理装置对信号数字化处理后的信息发送给所述服务器；

S3、所述服务器依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化并反馈至第二数据处理装置；

S4、所述第二数据处理装置于虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化。

在本发明所述的控制方法中，所述步骤S3包括以下子步骤：

S31、所述服务器从多个预设的终端收集瞳孔、语音、心率以及脑电信号；

S32、依据所收集的瞳孔、语音、心率以及脑电信号设置所述分析规则；

S33、依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化；

S34、所述服务器将所述心理变化反馈回所述第二数据处理装置。

在本发明所述的控制方法中，所述步骤S4包括以下子步骤：

S41、所述第二数据处理装置设置虚拟社交场所；

S42、于虚拟社交场所中依据所反馈的信息对所述佩戴者的社交对象显示其心理变化。

因此，本发明的有益效果是，通过服务器分析出于虚拟社交场所的用户的心情变化，实时不加掩饰的将人的心理变化在虚拟社交中反映出来，增强用户虚拟交往中心理变化的真实性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明提供的一种虚拟社交系统的结构方框图；

图2为本发明提供的一种虚拟社交系统的控制方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，以下将对照附图详细说明本发明的具体实施方式。应当理解，以下说明仅为本发明实施例的具体阐述，不应以此限制本发明的保护范围。

本发明提供一种虚拟社交系统及其控制方法，其目的在于，集成了多种如瞳孔、声音、图像和生理传感器，通过融合所述众多传感器信息，实现在虚拟社交中展现心理变化的真实性，为构建虚拟现实、增强现实环境提供更好的支撑。进一步实现手势、语音、头部运动姿态、心率、脑电等多种自然交互方式的实时融合。虚拟社交是社交网络，是人与人之间联系起来，现实中的社交可以假象为社区间人际交流，扩大人际交往，信息交流的方式。虚拟社交通过现代的计算机手段，实现不同地区人们的交流。本发明所涉及的虚拟社交可以是在线聊天工具，也可以是具有虚拟聊天场景的社交场所。

参见图1，图1为本发明提供的一种虚拟社交系统的结构方框图，至少包括传感交互设备1、第一数据处理装置2、第二数据处理装置4以及服务器3；

所述传感交互设备1包括：

用于采集佩戴者的瞳孔、语音、心率以及脑电信号的传感器组件11；用于将所述传感器组件11所采集到的信号进行数字化处理并将其发送至所述第一数据处理装置2的信号处理装置12，所述信号处理装置12电性连接于所述传感器组件11；以及与所述佩戴者身体任一部位匹配的本体，其中，所述传感器组件11以及所述信号处理装置12均设置于所述本体之中；

所述第一数据处理装置2包括：

用于接收信号经过数字化处理所得佩戴者信息的处理模块21，所述处理模块21通信连接于所述传感交互设备1；以及用于通信连接于所述服务器3以发送所述佩戴者信息的第一通信模块22，所述第一通信模块22通信连接于所述处理模块21；

所述服务器3包括：

连接模块31，所述连接模块31通信连接于所述第一通信模块22及第二通信模块42；用于依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化并反馈至所述第二数据处理装置4的分析单元32，所述分析单元32通信连接于所述接收模块；

所述第二数据处理装置4包括：

用于在虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化的应用系统41；用于接收所反馈的所述佩戴者的心理变化的所述第二通信模块42，所述第二通信模块42通信连接与所述应用系统41。

以上虚拟社交系统的工作流程参见图2，图2提供一种虚拟社交系统的控制方法，该控制方法采用上述虚拟社交系统，包括以下步骤：

S1、传感交互设备1采集佩戴者的瞳孔、语音、心率以及脑电信号，对其进行数字化处理，并发送至第一数据处理装置2；

S2、所述第一数据处理装置2对信号数字化处理后的信息发送给所述服务器3；

S3、所述服务器3依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化并反馈至第二数据处理装置4；所述步骤S3包括以下子步骤：

S31、所述服务器3从多个预设的终端收集瞳孔、语音、心率以及脑电信号；即可以收集过往使用者的瞳孔、语音、心率以及脑电信号的历史数据。

S32、依据所收集的瞳孔、语音、心率以及脑电信号设置所述分析规则；

其中，心率分析是一种量测连续心跳速率变化程度的方法。其计算方式主要是分析借由心电图或脉搏量测所得到的心跳与心跳间隔的时间序列。心脏除了本身的节律性放电引发的跳动之外，也受到自律神经系统(AutonomicNervous System，ANS)所调控。

语音分析是指通过语音识别等核心技术将非结构化的语音信息转换为结构化的索引，实现对海量录音文件、音频文件的的知识挖掘和快速检索。

瞳孔分析主要为虹膜识别，即通过对比虹膜图像特征之间的相似性来确定人们的身份。虹膜识别技术的过程一般来说包含如下四个步骤：

1)虹膜图像获取

使用特定的摄像器材对人的整个眼部进行拍摄，并将拍摄到的图像传输给虹膜识别系统的图像预处理软件。

2)图像预处理

对获取到的虹膜图像进行如下处理，使其满足提取虹膜特征的需求。

虹膜定位：确定内圆、外圆和二次曲线在图像中的位置。其中，内圆为虹膜与瞳孔的边界，外圆为虹膜与巩膜的边界，二次曲线为虹膜与上下眼皮的边界。

虹膜图像归一化：将图像中的虹膜大小，调整到识别系统设置的固定尺寸。

图像增强：针对归一化后的图像，进行亮度、对比度和平滑度等处理，提高图像中虹膜信息的识别率。

3)特征提取

采用特定的算法从虹膜图像中提取出虹膜识别所需的特征点，并对其进行编码。

4)特征匹配

将特征提取得到的特征编码与数据库中的虹膜图像特征编码逐一匹配，判断是否为相同虹膜，从而达到身份识别的目的。

而脑电分析规则可采用以下方法：

1、频域分析

功率谱分析是EEG信号处理最常用工具，源于傅氏变换，它的前提是平稳随机信号，对非平衡随机信号而言，不同时刻的谱分析结果是不同的。目前常用的方法之一是以短时间断数据的傅氏变换为基础的周期法，具体做法是把实际淮信号在时域上分段，并看作是准平稳的，每段取傅氏变换后的幅频特性平方再乘以适当的窗函数，作为该信号的功率谱估计，但此法频率分辨率差，存在边瓣泄漏，谱估计方差大等问题。

脑电信号(EEG)是非平稳随机信号，它的频域特性的正确表达及精度，相位信息的提取，瞬态波形分析是当前EEG信号处理研究中的热点问题。然而由于谱分析方法存在的共同问题是估计的方差特性不好，而且估计值沿频率轴的起伏比较剧烈，数据越长，这种现象越严重。所以提出了参数模型谱估计方法，该方法对数据处理能得到高分辨率的谱分析结果，从而为EEG信号频域特征的提取提供新的有效手段，特别是在动态特性分析中显示优越性。

2、时域分析

直接从时域提取特征是最早发展起来的方法，因为它直观性强，物理意义比较明确，因此仍有不少脑电图医生或技师使用。过去的EEG分析主要靠肉眼观察，这可以看作是人工时域分析。时域分析主要用来直接提取波形特征，如过零截点分析、直方图分析、方差分析、相关分析、峰值检测及波形参数分析、相干平均、波形识别等等。

时频分析脑电信号是一种时变的、非平稳信号，不同时刻有不同的频率成分，而单纯的时、频分析方法通过傅氏变换联系起来，它们的截然分开是以信号的频率时不变特性或统计特性平稳为前提的。但由于时域和频域分辨率的“不确定性原理”，不可能在时域和频域同时获得较高的分辨率。而且在EEG中有许多病变都是以瞬态形式表现的，只有把时间和频率结合起来进行处理，才能取得更好的结果。可以说信号的时-频表示法为脑电信号处理提供了非常好的前景。目前应用的较为广泛的方法有维格纳-费利分布(Wigner-VilleDistribution，WD)和小波变换，匹配跟踪方法目前也已用于睡眠纺锤波的分析。

3、人工神经网络(ANN)分析

神经网络是由大量处理单元广泛互连而成的网络。它反映了人脑功能的基本特性，是人脑的某种抽象、简化与模拟。网络的信息处理由神经元之间的相互作用来实现；知识与信息的存储表现为网络元件互连间分布式的物理联系；网络的学习和识别决定于各神经元连接权系数的动态演化过程。神经网络可用作自发脑电(EEG)分析，分析的目的是为了检测EEG尖波和癫痫发作，输入方式可以使用原始信号模型和特征参数模型。目前有利用小波变换和人工神经网络相结合的方法来检测EEG信号中的棘波和尖波成分。利用小波变换(WT)对基于ANN的EEG棘波检测系统的输入进行预处理，从而在不减少信号的信息内容和降低检测性能的前提下减少ANN的输入规模。

S33、依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化；

S34、所述服务器3将所述心理变化反馈回所述第二数据处理装置4。

S4、所述第二数据处理装置4于虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化。所述步骤S4包括以下子步骤：

S41、所述第二数据处理装置4设置虚拟社交场所；

S42、于虚拟社交场所中依据所反馈的信息对所述佩戴者的社交对象显示其心理变化。

例如，在虚拟社交中，在虚拟空间，通过虚拟现实视觉终端，即眼睛看到的是一个个真实感觉的虚拟人，传感交互设备1将采集的各项生理数据同步实时整合到这个虚拟人身上，在虚拟空间的虚拟“朋友”，或者对方看到的虚拟“我”，心跳加快、瞳孔放大、大脑活动频繁、音调变化异常等，即“我”或“朋友(对方)”直观的看到的变化，实时展现真实的自我。

其中，所述传感器组件11包括：

用于采集所述佩戴者的瞳孔信息的瞳孔感应器111；传统的瞳孔感应算法通常需在头部稳定或光线明亮的情况下进行，较难在自然条件下对多姿态头部运动时的人眼进行跟踪。针对该问题，采用基于Kinect传感器的瞳孔定位算法，使用三维主动表观模型(AAM)对眼轮廓匹配得到眼部特征点，粗定位分割出眼睛，再对瞳孔进行精确定位。

用于采集所述佩戴者的语音的声音传感器112；声音传感器112的作用相当于一个话筒(麦克风)。它用来接收声波，显示声音的振动图象。

用于采集所述佩戴者的心率信号的心率传感器113；心率传感器113可采用脉搏传感器，脉搏传感器主要应用在医疗设备下，用来检测类似心率的，一般常见的类型主要是以光电为主，有分立式和一体式两种，发射部份有采用可见光或红外的。

用于采集所述佩戴者的脑电信号的脑电传感器114。脑电传感器114为能感受大脑皮质电位波形并转换成可用输出信号的传感器。

优选地，所述瞳孔感应器111为双路传感器或单路传感器，双路分为两路感应器以感测使用者左眼及右眼的瞳孔信号，单路传感器则通过单个传感器感测使用者双眼的瞳孔信号，双路传感器的优点在于感应准确率高，单路传感器的优点在于成本低。

此外，所述信号处理装置12包括：瞳孔信号调理模块121，其电性连接于所述瞳孔感应器111；声音信号调理模块122，其电性连接于所述声音传感器112；心率信号调理模块123，其电性连接于所述心率传感器113；脑电信号调理模块124，其电性连接于所述脑电传感器114；该部分的调理模块主要是对相应的信号进行信号调理：就是信号处理电路，把模拟信号变换为用于数据采集、控制过程、执行计算显示读出或其他目的的数字信号。模拟传感器可测量很多物理量，如温度、压力、光强等...但由于传感器信号不能直接转换为数字数据，这是因为传感器输出是相当小的电压、电流或电阻变化，因此，在变换为数字信号之前必须进行调理。调理就是放大，缓冲或定标模拟信号等，使其适合于模数转换器(ADC)的输入。然后，ADC对模拟信号进行数字化，并把数字信号送到处理器或其他数字器件，以便用于系统的数据处理。

USB集线器125，其分别电性连接于所述瞳孔信号调理模块121、所述声音信号调理模块122、所述心率信号调理模块123以及所述脑电信号调理模块124。USB集线器125即USB Hub，一种可以将一个USB接口扩展为多个(通常为4个)，并可以使这些接口同时使用的装置。

同时，所述处理模块21包括瞳孔信号处理模块211、声音信号处理模块212、心率信号处理模块213以及脑电信号处理模块214。以上处理模块可以采用驱动电路(Drive Circuit)实现，驱动电路位于主电路和控制电路之间，用来对控制电路的信号进行放大的中间电路(即放大控制电路的信号使其能够驱动功率晶体管)。

如图1所示，所述分析单元32包括：用于识别瞳孔信息的瞳孔识别模块321；用于识别语音信息的语音识别模块322；用于识别心率信息的心率识别模块323；用于识别脑电信息的脑电识别模块324；信号分析模块325，其分别通信连接于所述瞳孔识别模块321、所述语音识别模块322、所述心率识别模块323以及所述脑电识别模块324。信号分析模块325依据预设的分析规则分析所述佩戴者信息(即瞳孔识别模块321、语音识别模块322、心率识别模块323以及脑电识别模块324所识别的信息)以得出佩戴者的心理变化。

为了更好地应用在虚拟社交场所，所述应用系统41包括：

虚拟模块411，用于设置虚拟社交场所；该虚拟场所可以是聊天工具，也可以是具有虚拟场景的聊天场所。

显示模块412，用于在所述虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化。若在聊天工具中，显示模块412则在聊天对话框显示对方的心理，若在虚拟聊天场景中，则可将该显示模块安装于佩戴者所见范围内。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种虚拟社交系统，其特征在于，至少包括传感交互设备、第一数据处理装置、第二数据处理装置以及服务器；

所述传感交互设备包括：

用于采集佩戴者的瞳孔、语音、心率以及脑电信号的传感器组件；

用于将所述传感器组件所采集到的信号进行数字化处理并将其发送至所述第一数据处理装置的信号处理装置，所述信号处理装置电性连接于所述传感器组件；以及

与所述佩戴者身体任一部位匹配的本体，其中，所述传感器组件以及所述信号处理装置均设置于所述本体之中；

所述第一数据处理装置包括：

用于接收信号经过数字化处理所得佩戴者信息的处理模块，所述处理模块通信连接于所述传感交互设备；以及

用于通信连接于所述服务器以发送所述佩戴者信息的第一通信模块，所述第一通信模块通信连接于所述处理模块；

所述服务器包括：

连接模块，所述连接模块通信连接于所述第一通信模块及第二通信模块；

用于依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化并反馈至所述第二数据处理装置的分析单元，所述分析单元通信连接于所述接收模块；

所述第二数据处理装置包括：

用于在虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化的应用系统；

用于接收所反馈的所述佩戴者的心理变化的所述第二通信模块，所述第二通信模块通信连接与所述应用系统。

2.根据权利要求1所述的虚拟社交系统，其特征在于，所述传感器组件包括：

用于采集所述佩戴者的瞳孔信息的瞳孔感应器；

用于采集所述佩戴者的语音的声音传感器；

用于采集所述佩戴者的心率信号的心率传感器；

用于采集所述佩戴者的脑电信号的脑电传感器。

3.根据权利要求2所述的虚拟社交系统，其特征在于，所述瞳孔感应器为双路传感器或单路传感器。

4.根据权利要求1所述的虚拟社交系统，其特征在于，所述信号处理装置包括：

瞳孔信号调理模块，其电性连接于所述瞳孔感应器；

声音信号调理模块，其电性连接于所述声音传感器；

心率信号调理模块，其电性连接于所述心率传感器；

脑电信号调理模块，其电性连接于所述脑电传感器；

USB集线器，其分别电性连接于所述瞳孔信号调理模块、所述声音信号调理模块、所述心率信号调理模块以及所述脑电信号调理模块。

5.根据权利要求1所述的虚拟社交系统，其特征在于，所述处理模块包括瞳孔信号处理模块、声音信号处理模块、心率信号处理模块以及脑电信号处理模块。

6.根据权利要求1所述的虚拟社交系统，其特征在于，所述分析单元包括：

用于识别瞳孔信息的瞳孔识别模块；

用于识别语音信息的语音识别模块；

用于识别心率信息的心率识别模块；

用于识别脑电信息的脑电识别模块；

信号分析模块，其分别通信连接于所述瞳孔识别模块、所述语音识别模块、所述心率识别模块以及所述脑电识别模块。

7.根据权利要求1所述的虚拟社交系统，其特征在于，所述应用系统包括：

虚拟模块，用于设置虚拟社交场所；

显示模块，用于在所述虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化。

8.一种虚拟社交系统的控制方法，提供如权利要求1所述的虚拟社交系统，其特征在于，包括以下步骤：

S1、传感交互设备采集佩戴者的瞳孔、语音、心率以及脑电信号，对其进行数字化处理，并发送至第一数据处理装置；

S2、所述第一数据处理装置对信号数字化处理后的信息发送给所述服务器；

S3、所述服务器依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化并反馈至第二数据处理装置；

S4、所述第二数据处理装置于虚拟社交场所中将所述佩戴者生成一虚拟人以对其社交对象显示其心理变化。

9.根据权利要求8所述的控制方法，其特征在于，所述步骤S3包括以下子步骤：

S31、所述服务器从多个预设的终端收集瞳孔、语音、心率以及脑电信号；

S32、依据所收集的瞳孔、语音、心率以及脑电信号设置所述分析规则；

S33、依据预设的分析规则分析所述佩戴者信息以得出佩戴者的心理变化；

S34、所述服务器将所述心理变化反馈回所述第二数据处理装置。

10.根据权利要求8所述的控制方法，其特征在于，所述步骤S4包括以下子步骤：

S41、所述第二数据处理装置设置虚拟社交场所；

S42、于虚拟社交场所中依据所反馈的信息对所述佩戴者的社交对象显示其心理变化。