CN104615243A - 一种头戴式多通道交互系统及多通道交互方法 - Google Patents

Abstract

本发明公开了一种头戴式多通道交互系统及多通道交互方法，头戴式多通道交互系统包括头戴式交互设备以及数据处理系统；头戴式交互设备包括传感器组件、信号处理装置、输出装置以及本体；数据处理系统包括输入驱动模块、多通道处理单元、应用系统以及输出驱动模块。实施本发明的有益效果是，实现手势、语音、头部运动姿态、心率、脑电等多种自然交互方式的实时融合，集成沉浸式3D立体显示与声音，提升虚拟现实和增强现实的交互体验效果，并可根据生理感知实现对所述佩戴者的健康关怀。

Description

一种头戴式多通道交互系统及多通道交互方法

技术领域

本发明涉及虚拟现实、增强现实和多通道交互技术领域，尤其涉及一种头戴式多通道交互系统及多通道交互方法。

背景技术

本发明涉及虚拟现实、增强现实、多通道人机交互等诸多技术领域，目前，虚拟现实(VR)和增强现实(AR)掀起新热潮，众多厂商推出沉浸式虚拟现实头盔、手机眼镜盒子、头盔式立体播放器等。虚拟现实头戴式装备也开始融合自然交互技术，并将向多通道智能交互发展，多通道自然交互未来将会占据桌面、膝上、掌上系统。

目前，市面上的头戴式产品还不能做到多种自然交互方式有机地融合，大多只能集成其中的一种或者两种交互方式，本发明旨在提供一种有机融合多种交互方式的头戴式多通道交互系统及多通道交互方法。

发明内容

本发明的目的在于提供一种头戴式多通道交互系统及多通道交互方法，解决头戴式系统中多种自然交互方式的实时融合问题，实现增强现实、虚拟现实多通道自然交互。

本发明的技术方案实现如下：

本发明的一个目的在于提供一种头戴式多通道交互系统，包括头戴式交互设备以及数据处理系统；

所述头戴式交互设备包括：

用于采集佩戴者的运动姿态、手势、语音、心率以及脑电信号的传感器组件；

用于将所述传感器组件所采集到的信号进行数字化处理的信号处理装置，所述信号处理装置电性连接于所述传感器组件；

用于输出声音及图像的输出装置；以及

与所述佩戴者头部匹配的本体，其中，所述传感器组件、所述信号处理装置以及所述输出装置均设置于所述本体之中；

所述数据处理系统包括：

用于接收信号经过数字化处理所得信息的输入驱动模块，所述输入驱动模块通信连接于所述信号处理装置；

用于识别所述输入驱动模块所接收的信息并将其融合为多通道交互信息的多通道处理单元，所述多通道处理单元通信连接于所述输入驱动模块；

用于接收所述多通道交互信息进行多通道交互的应用系统，应用系统响应多通道交互信息生成交互输出信息，所述应用系统通信连接至所述多通道处理单元；以及

用于把应用系统的交互输出信息输出至所述输出装置的输出驱动模块，所述输出驱动模块通信连接于所述输出装置。

在本发明所述的头戴式多通道交互系统中，所述传感器组件包括：

用于采集所述佩戴者的运动姿态的运动姿态传感器；

用于采集所述佩戴者的手势图像的图像传感器；

用于采集所述佩戴者的语音的声音传感器；

用于采集所述佩戴者的心率信号的心率传感器；

用于采集所述佩戴者的脑电信号的脑电传感器。

在本发明所述的头戴式多通道交互系统中，所述图像传感器为双路传感器或单路传感器。

在本发明所述的头戴式多通道交互系统中，所述信号处理装置包括：

用于对所述运动姿态信号进行数字化处理的第一数字化处理模块，其电性连接于所述运动姿态传感器；

图像同步模块，其电性连接于所述图像传感器；

图像处理模块，其电性连接于所述图像同步模块；

高速USB接口，其电性连接于所述图像处理模块；

声音信号调理模块，其电性连接于所述声音传感器；

心率信号调理模块，其电性连接于所述心率传感器；

脑电信号调理模块，其电性连接于所述脑电传感器；

第二数字化处理模块，其分别电性连接于所述声音信号调理模块、所述心率信号调理模块以及所述脑电信号调理模块；

USB集线器，其分别电性连接于所述第一数字化处理模块、所述高速USB接口以及所述第二数字化处理模块。

在本发明所述的头戴式多通道交互系统中，所述输入驱动模块包括运动输入驱动模块、图像输入驱动模块、声音输入驱动模块、脑电输入驱动模块以及心率输入驱动模块。

在本发明所述的头戴式多通道交互系统中，所述多通道处理单元包括：

运动识别模块，其通信连接于所述运动输入驱动模块；

手势识别模块，其通信连接于所述图像输入驱动模块；

语音识别模块，其通信连接于所述声音输入驱动模块；

脑电识别模块，其通信连接于所述脑电输入驱动模块；

心率识别模块，其通信连接于所述心率输入驱动模块；

多通道融合模块，其分别通信连接于所述运动识别模块、所述手势识别模块、所述语音识别模块、所述脑电识别模块、所述心率识别模块以及所述应用系统。

在本发明所述的头戴式多通道交互系统中，所述输出驱动模块包括：

显示输出驱动模块，其通信连接于所述应用系统；

声音输出驱动模块，其通信连接于所述应用系统。

在本发明所述的头戴式多通道交互系统中，所述输出装置包括：

视频接口，其通信连接于所述显示输出驱动模块；

显示器，其电性连接于所述视频接口，并设置于所述本体中与所述佩戴者眼睛相对应的位置；

音频接口，其通信连接于所述声音输出驱动模块；

耳机，其电性连接于所述音频接口。

另一方面，提供一种多通道交互方法，该方法采用如上所述的头戴式多通道交互系统，包括以下步骤：

S1、头戴式交互设备采集佩戴者的运动姿态、手势、语音、心率以及脑电信号，对其进行数字化处理，并发送至数据处理系统；

S2、所述数据处理系统的多通道处理单元对信号数字化处理后的信息进行识别和融合处理，将其融合后的多通道交互信息传递给应用系统，所述应用系统接收所述多通道交互信息进行多通道交互响应处理，并生成交互输出信息，通过输出驱动模块输出至所述头戴式交互设备；

S3、所述头戴式交互设备接收应用系统生成的交互输出信息，输出声音及图像。

在本发明所述的多通道交互方法中，所述步骤S2包括以下子步骤：

S21、多通道处理单元对所述佩戴者的运动姿态、手势、语音、心率以及脑电信号数字化后的信息进行识别处理，得到各个通道的交互信息；

S22、将识别到的运动姿态、手势、声音、心率以及脑电各个通道的交互信息融合，得到的融合后的语义一致的多通道交互信息；其中，依据心率以及脑电信号按照预设生理模型分析所述佩戴者的生理状态，并依据所述生理状态生成提示信息，将所述提示信息融合至所述多通道交互信息；

S23、基于多通道融合模块的多通道交互控制机制，所述应用系统对所述多通道交互信息进行多通道交互响应处理，生成交互输出信息并发送至所述头戴式交互设备。

因此，本发明的有益效果是，实现手势、语音、头部运动姿态、心率、脑电等多种自然交互方式的实时融合，集成沉浸式3D立体显示与声音，提升虚拟现实和增强现实的交互体验效果，并可根据生理感知实现对所述佩戴者的健康关怀。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明提供的一种头戴式多通道交互系统的结构方框图；

图2为本发明第一实施例提供的图像传感器的结构示意图；

图3为本发明第二实施例提供的图像传感器的结构示意图；

图4为本发明第一实施例提供的显示器的结构示意图；

图5为本发明第二实施例提供的显示器的结构示意图；

图6为本发明第三实施例提供的显示器的结构示意图；

图7为本发明实施例提供的本体的外观示意图；

图8为本发明提供的一种多通道交互方法的流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，以下将对照附图详细说明本发明的具体实施方式。应当理解，以下说明仅为本发明实施例的具体阐述，不应以此限制本发明的保护范围。

本发明提供一种头戴式多通道交互系统100及多通道交互方法，其目的在于，集成了多种如声音、图像、运动和生理传感器，通过融合所述众多传感器信息，实现多通道自然人机交互控制，并与沉浸式立体显示、声音集成，构建虚拟现实、增强现实环境。

参见图1，图1为本发明提供的一种头戴式多通道交互系统100的结构方框图，该头戴式多通道交互系统100，包括头戴式交互设备1以及数据处理系统2；

所述头戴式交互设备1包括传感器组件11、信号处理装置12、输出装置13以及本体14。其中：

传感器组件11用于接收佩戴者的运动姿态、手势、语音、心率以及脑电信号；用户佩戴头戴式设备，做出手势、发出语音命令或者头部动作均可被感应到。所述传感器组件11包括：

运动姿态传感器111用于接收所述佩戴者的运动姿态信号；运动姿态传感器111主要由陀螺仪、加速度检测仪、电子罗盘、控制单元构成，其感应佩戴者头部的运动信号。头部的运动被传感器感知，运动感测数据传递到数据处理系统2经过分析处理得到运动参数。

图像传感器112用于采集手势图像。

图2为本发明第一实施例提供的图像传感器112的结构示意图，图2是所述图像传感器112的一种实施方案，采用双路图像采集加红外增强，由左路图像传感器112A、右路图像传感器112B和一组红外灯112C、112D、112E组成。

图3为本发明第二实施例提供的图像传感器112的结构示意图，图3是所述图像传感器112的另一种实施方案，采用单路图像采集加深度信息采集，由图像子传感器112F、深度传感器112G组成。

从以上两个实施例可以看出，所述图像传感器112包括视觉图像传感器，可选的深度传感器，以及可选的红外光照增强组件，可选件用于提高手势识别的效率和精度。

声音传感器113用于采集所述佩戴者语音信号；声音传感器113可设置于临近佩戴者嘴部的位置。声音传感器113采集语音信号，经过数字化处理后传到数据处理系统2进行识别处理，得到语音指令。

心率传感器114用于采集所述佩戴者心率信号。

脑电传感器115用于采集所述佩戴者脑电信号。

心率传感器114及脑电传感器115同为生理传感器，其可设置于临近佩戴者脑部的位置。生理传感数据也会传递到数据处理系统2进行分析处理得到心率和脑电对应的特征参数。

信号处理装置12用于将所述传感器组件11所接收的信号进行数字化处理，所述信号处理装置12电性连接于所述传感器组件11；所述信号处理装置12包括：

第一数字化处理模块121用于对所述运动姿态信号进行数字化处理，其电性连接于所述运动姿态传感器111；

图像同步模块122，其电性连接于所述图像传感器112；

图像处理模块123，其电性连接于所述图像同步模块122；

高速USB接口124，其电性连接于所述图像处理模块123；

声音信号调理模块125，其电性连接于所述声音传感器113；

心率信号调理模块126，其电性连接于所述心率传感器114；

脑电信号调理模块127，其电性连接于所述脑电传感器115；

第二数字化处理模块128，其分别电性连接于所述声音信号调理模块125、所述心率信号调理模块126以及所述脑电信号调理模块127；

USB集线器129，其分别电性连接于所述第一数字化处理模块121、所述高速USB接口124以及所述第二数字化处理模块128。USB集线器129与数据处理单元2通信连接的一种实施方案是采用有线USB，另一种实施方案是采用无线USB。

输出装置13用于输出声音及图像；所述输出装置13包括：

视频接口131，其通信连接于所述显示输出驱动模块241；视频接口131与显示输出驱动241的通信连接实施方案可采用有线连接，也可采用无线连接，通信协议可采用HDMI协议。

显示器132，其电性连接于所述视频接口131，并设置于所述本体14中与所述佩戴者眼睛相对应的位置。

图4为本发明第一实施例提供的显示器132的结构示意图，图4是显示器132的一种实施方案，采用单屏、双视镜、立体图像左右格式，在屏幕的左右分别显示立体图像的左右眼图像。

图5为本发明第二实施例提供的显示器132的结构示意图，图5是显示器132的另一种实施方案，采用分离的双屏、双视镜、立体图像左右格式，在左右屏幕分别显示立体图像的左右眼图像。

图6为本发明第三实施例提供的显示器132的结构示意图，图6是显示器132的一种增强现实实施方案，采用透明显示屏加双路投影器，让佩戴者既可以看到周围的真实环境，又能够看到投影器投射到屏幕上的虚拟物体，形成增强现实体验。

音频接口133，其通信连接于所述声音输出驱动模块242；音频接口133与声音输出驱动242的通信连接实施方案可采用有线连接，也可采用无线连接。

耳机134，其电性连接于所述音频接口133。耳机134的一种实施方案是采用普通的耳塞或扣在耳朵外面的耳机。耳机134的另一种实施方案是采用骨传导耳机。

与所述佩戴者头部匹配的本体14，其中，所述传感器组件11、所述信号处理装置12以及所述输出装置13均设置于所述本体14之中。该本体14的一个实施例参见图7，图7为本发明实施例提供的本体的外观示意图，本体14可佩戴于佩戴者头部。

所述数据处理系统2包括输入驱动模块21、多通道处理单元22、应用系统23以及输出驱动模块24，其中：

输入驱动模块21用于接收信号经过数字化处理所得的信息，所述输入驱动模块21通信连接于所述信号处理装置12；所述输入驱动模块21包括运动输入驱动模块211、图像输入驱动模块212、声音输入驱动模块213、脑电输入驱动模块214以及心率输入驱动模块215。

多通道处理单元22用于识别所述输入驱动模块所接收的信息并将其融合为多通道交互信息，所述多通道处理单元22通信连接于所述输入驱动模块21；所述多通道处理单元22包括：

运动识别模块221，其通信连接于所述运动输入驱动模块211；

手势识别模块222，其通信连接于所述图像输入驱动模块212；

语音识别模块223，其通信连接于所述声音输入驱动模块213；

脑电识别模块224，其通信连接于所述脑电输入驱动模块214；

心率识别模块225，其通信连接于所述心率输入驱动模块215；

多通道融合模块226，其分别通信连接于所述运动识别模块221、所述手势识别模块222、所述声音识别模块223、所述脑电识别模块224、所述心率识别模块225以及所述应用系统23。所有传感数据识别得到的命令和参数进行融合加工，得到融合后的多通道交互信息，该信息传递给应用系统23。

应用系统23用于接收所述多通道交互信息进行多通道交互响应处理，生成交互输出信息，所述应用系统23通信连接至所述多通道处理单元22；应用系统23是基于多通道处理单元的多通道交互控制机制开发的任意应用；应用系统交互输出的图像、文字和声音通过输出驱动模块24相对应的接口传送到头戴式交互设备1的显示器132和耳机134。即应用系统23响应融合后的多通道交互信息，生成新的显示画面和声音，传递到头戴式交互设备1上。

输出驱动模块24用于把应用系统的交互输出信息输出至所述输出装置13，所述输出驱动模块24通信连接于所述输出装置13。所述输出驱动模块24包括：

显示输出驱动模块241，其通信连接于所述应用系统23；

声音输出驱动模块242，其通信连接于所述应用系统23。

本发明提供的头戴式交互系统100，实现多传感器集成、多通道人机自然交互，达到超强的体验效果。手势、语音、运动姿态、脑电和心率信号都成为交互要素，并与沉浸式3D显示融为一体。佩戴者可以手势、语音、脑电发出交互指令进行主动交互，另一方面，系统可以通过传感器感知人体头部运动姿态改变、脑电信号变化、心率信号变化，并主动做出响应，实现隐性交互；系统响应佩戴者的主动交互和隐性交互，把交互输出以沉浸式3D立体显示和声音形式呈现；同时，系统根据生理感知，可以主动给佩戴者以健康关怀；形成一种具有人文温情的多通道自然交互环境。

参见图8，图8为本发明提供的一种多通道交互方法的流程图，该方法采用如上所述的头戴式多通道交互系统100，包括以下步骤：

S1、头戴式交互设备1采集佩戴者的运动姿态、手势、语音、心率以及脑电信号，对其进行数字化处理，并发送至数据处理系统2；

S2、所述数据处理系统2的多通道处理单元22对信号数字化处理后的信息进行识别与融合处理，将融合后的多通道交互信息传递给应用系统23，所述应用系统23接收所述多通道交互信息进行多通道交互响应处理，并生成交互输出信息，通过输出驱动模块24输出至所述头戴式交互设备1；所述步骤S2包括以下子步骤：

S21、多通道处理单元22对所述佩戴者的运动姿态、手势、语音、心率以及脑电信号数字化后的信息进行识别处理，得到各个通道的交互信息；；

S22、将识别得到的运动姿态、手势、声音、心率以及脑电等各个通道的交互信息融合，得到融合后的语义一致的多通道交互信息；其中，依据心率以及脑电信号按照预设生理模型分析所述佩戴者的生理状态，并依据所述生理状态生成提示信息，将所述提示信息融合至所述多通道交互信息；

S23、基于多通道融合模块的多通道交互控制机制，所述应用系统23对所述多通道交互信息进行多通道交互响应处理，生成交互输出信息并发送至所述头戴式交互设备1。

S3、所述头戴式交互设备1接收应用系统生成的交互输出信息，输出声音及图像。。

综上所述，本发明提供的头戴式交互系统100及交互方法具有以下有益效果：

(1)多传感器信息实时融合：实现图像、声音、运动体感、生理感知等多种可穿戴式传感器的信息融合，集成多种人机交互通道。

(2)多通道实时交互：融合手势、语音、体态、生理感知等多种自然交互方式与沉浸式3D立体显示与声音的多通道实时交互系统，实现多通道自然交互、更好的虚拟现实与增强现实体验。

(3)主动健康关怀：基于心率传感和脑电传感，实时感知生理状态，主动给予健康关怀提醒。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种头戴式多通道交互系统，其特征在于，包括头戴式交互设备以及数据处理系统；

所述头戴式交互设备包括：

用于采集佩戴者的运动姿态、手势、语音、心率以及脑电信号的传感器组件；

用于将所述传感器组件所采集到的信号进行数字化处理的信号处理装置，所述信号处理装置电性连接于所述传感器组件；

用于输出声音及图像的输出装置；以及

与所述佩戴者头部匹配的本体，其中，所述传感器组件、所述信号处理装置以及所述输出装置均设置于所述本体之中；

所述数据处理系统包括：

用于接收信号经过数字化处理所得信息的输入驱动模块，所述输入驱动模块通信连接于所述信号处理装置；

用于识别所述输入驱动模块所接收的信息并将其融合为多通道交互信息的多通道处理单元，所述多通道处理单元通信连接于所述输入驱动模块；

用于接收所述多通道交互信息进行多通道交互的应用系统，应用系统响应多通道交互信息生成交互输出信息，所述应用系统通信连接至所述多通道处理单元；以及

用于把应用系统的交互输出信息输出至所述输出装置的输出驱动模块，所述输出驱动模块通信连接于所述输出装置。

2.根据权利要求1所述的头戴式多通道交互系统，其特征在于，所述传感器组件包括：

用于采集所述佩戴者的运动姿态的运动姿态传感器；

用于采集所述佩戴者的手势图像的图像传感器；

用于采集所述佩戴者的语音的声音传感器；

用于采集所述佩戴者的心率信号的心率传感器；

用于采集所述佩戴者的脑电信号的脑电传感器。

3.根据权利要求2所述的头戴式多通道交互系统，其特征在于，所述图像传感器为双路传感器或单路传感器。

4.根据权利要求2或3所述的头戴式多通道交互系统，其特征在于，所述信号处理装置包括：

用于对所述运动姿态信号进行数字化处理的第一数字化处理模块，其电性连接于所述运动姿态传感器；

图像同步模块，其电性连接于所述图像传感器；

图像处理模块，其电性连接于所述图像同步模块；

高速USB接口，其电性连接于所述图像处理模块；

声音信号调理模块，其电性连接于所述声音传感器；

心率信号调理模块，其电性连接于所述心率传感器；

脑电信号调理模块，其电性连接于所述脑电传感器；

第二数字化处理模块，其分别电性连接于所述声音信号调理模块、所述心率信号调理模块以及所述脑电信号调理模块；

USB集线器，其分别电性连接于所述第一数字化处理模块、所述高速USB接口以及所述第二数字化处理模块。

5.根据权利要求4所述的头戴式多通道交互系统，其特征在于，所述输入驱动模块包括运动输入驱动模块、图像输入驱动模块、声音输入驱动模块、脑电输入驱动模块以及心率输入驱动模块。

6.根据权利要求5所述的头戴式多通道交互系统，其特征在于，所述多通道处理单元包括：

运动识别模块，其通信连接于所述运动输入驱动模块；

手势识别模块，其通信连接于所述图像输入驱动模块；

语音识别模块，其通信连接于所述声音输入驱动模块；

脑电识别模块，其通信连接于所述脑电输入驱动模块；

心率识别模块，其通信连接于所述心率输入驱动模块；

多通道融合模块，其分别通信连接于所述运动识别模块、所述手势识别模块、所述语音识别模块、所述脑电识别模块、所述心率识别模块以及所述应用系统。

7.根据权利要求6所述的头戴式多通道交互系统，其特征在于，所述输出驱动模块包括：

显示输出驱动模块，其通信连接于所述应用系统；

声音输出驱动模块，其通信连接于所述应用系统。

8.根据权利要求7所述的头戴式多通道交互系统，其特征在于，所述输出装置包括：

视频接口，其通信连接于所述显示输出驱动模块；

显示器，其电性连接于所述视频接口，并设置于所述本体中与所述佩戴者眼睛相对应的位置；

音频接口，其通信连接于所述声音输出驱动模块；

耳机，其电性连接于所述音频接口。

9.一种多通道交互方法，提供如权利要求1所述的头戴式多通道交互系统，其特征在于，包括以下步骤：

S1、头戴式交互设备采集佩戴者的运动姿态、手势、语音、心率以及脑电信号，对其进行数字化处理，并发送至数据处理系统；

S2、所述数据处理系统的多通道处理单元对信号数字化处理后的信息进行识别和融合处理，将融合后的多通道交互信息传递给应用系统，所述应用系统接收所述多通道交互信息进行多通道交互响应处理，并生成交互输出信息，通过输出驱动模块输出至所述头戴式交互设备；

S3、所述头戴式交互设备接收应用系统生成的交互输出信息，输出声音及图像。

10.根据权利要求9所述的多通道交互方法，其特征在于，所述步骤S2包括以下子步骤：

S21、多通道处理单元对所述佩戴者的运动姿态、手势、语音、心率以及脑电信号数字化处理后的信息进行识别处理，得到各个通道的交互信息；

S22、将识别到的运动姿态、手势、语音、心率以及脑电各个通道的交互信息融合，得到融合后的语义一致的多通道交互信息；其中，依据心率以及脑电信号按照预设生理模型分析所述佩戴者的生理状态，并依据所述生理状态生成提示信息，将所述提示信息融合至所述交互信号；

S23、基于多通道融合模块的多通道交互控制机制，所述应用系统对所述多通道交互信息进行多通道交互响应处理，生成交互输出信息并发送至所述头戴式交互设备。