CN110134250A - 人机互动信号处理方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种人机互动信号处理方法、设备及计算机可读存储介质，该方法包括：从云服务器中获取预先建立的公共模型，并获取用户的历史互动记录；基于所述公共模型和所述历史互动记录构造复合处理模型；通过信号采集设备采集用户当前的实时互动信号；通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果。本发明可根据用户的历史互动记录对公共模型进行适应性调整，得到更符合用户真实情况的复合处理模型；再通过该复合处理模型对用户的实时互动信号进行处理，从而提高了信号处理结果的准确性，进而有利于提高人机互动的效率和准确性。

Description

人机互动信号处理方法、设备及计算机可读存储介质

技术领域

本发明涉及电子技术领域，尤其涉及一种人机互动信号处理方法、设备及计算机可读存储介质。

背景技术

人机互动指用户利用脑电信号和/或肌电信号与设备(或装置)进行互动，例如包括但是不限于用户通过佩戴使用采集和分析脑电信号的设备和系统获得自己的专注度/放松度信息，用户通过佩戴使用采集和分析肌电信号的设备和系统控制假肢，外骨骼设备，飞行器、汽车模型等。

在人机互动的过程中，需要对用户输入的信号进行相应处理，从而获得将输入信息的信息，以根据该信息进行相应控制；但对于目前大多数人机互动的系统中，信号处理所遵循的规则(或模型)对所有用户都是一样的，即针对不同的用户都使用同一套信号处理规则(或模型)进行信号处理，这就没有考虑到不同用户在同一互动意图下的信号差异性，降低了信号处理结果的准确性，不利于不同用户获得最优的信号处理效果，进而影响了人机互动效果。

发明内容

本发明的主要目的在于提供一种人机互动信号处理方法、设备及计算机可读存储介质，旨在解决现有人机互动信号处理方法没有考虑到不同用户在同一互动意图下的信号差异性，降低了信号处理结果的准确性的技术问题。

为实现上述目的，本发明实施例提供一种人机互动信号处理方法，所述人机互动信号处理方法包括：

从云服务器中获取预先建立的公共模型，并从本地获取用户的历史互动记录；

基于所述公共模型和所述历史互动记录构造复合处理模型；

通过信号采集设备采集用户当前的实时互动信号；

通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果。

可选地，所述基于所述预设公共模型和所述用户的历史互动记录构造复核处理模型的步骤还包括：

通过所述历史互动记录对所述公共模型进行增量训练，得到复合处理模型。

可选地，所述基于所述预设公共模型和所述用户的历史互动记录构造复核处理模型的步骤包括：

基于所述历史互动记录建立对应的私有模型；

根据所述公共模型和所述第一私有模型构造得到复合处理模型，所述复合处理模型包括仲裁器；

所述将通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果的步骤包括：

分别将所述实时互动信号输入所述公共模型和所述私有模型，得到对应的公共模型输出和私有模型输出；

通过所述仲裁器对所述公共模型输出和所述私有模型输出进行仲裁处理，得到信号处理结果。

可选地，所述实时互动信号包括脑电波信号，所述通过信号采集设备采集用户当前的实时互动信号的步骤包括：

通过所述信号采集设备检测所述用户的目标阻抗，并判断所述目标阻抗是否小于第一预设门限值；

若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号。

可选地，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

实时检测所述用户在信号采集过程的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户在信号采集过程的目标阻抗大于或等于所述第一预设门限值，则暂停信号采集，并进行设备调整提示；

在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

可选地，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

对采集到的脑电波信号进行检测，以判断所述采集到的脑电波信号的信号幅值度是否小于第二预设门限值、或判断所述采集到的脑电波信号的信号模式是否符合预设模式；

若所述采集到的脑电波信号的信号幅值度小于所述第二预设门限值、或所述采集到的脑电波信号的信号模式不符合所述预设模式，则暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

可选地，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

每间隔预设周期暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第二预设门限值时，继续进行信号采集。

可选地，所述通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果的步骤之后还包括：

将所述实时互动信号和所述信号处理结果上传至所述云服务器，以供所述云服务器通过所述实时互动信号和所述信号处理结果对所述公共模型进行更新。

此外，为实现上述目的，本发明实施例还提供一种人机互动信号处理设备，所述人机互动信号处理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的人机互动信号处理程序，其中所述人机互动信号处理程序被所述处理器执行时，实现如上述的人机互动信号处理方法的步骤。

此外，为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人机互动信号处理程序，其中所述人机互动信号处理程序被处理器执行时，实现如上述的人机互动信号处理方法的步骤。

本发明可根据用户的历史互动记录对公共模型进行适应性调整，从而考虑到不同用户在同一互动意图下的信号差异性，得到更符合用户真实情况的复合处理模型；再通过该复合处理模型对用户的实时互动信号进行处理，从而提高了信号处理结果的准确性，进而有利于提高人机互动的效率和准确性。

附图说明

图1为本发明实施例方案中涉及的人机互动信号处理设备的硬件结构示意图；

图2为本发明人机互动信号处理方法第一实施例的流程示意图；

图3为本实施例中的第一处理示意图；

图4为本实施例中的第二处理示意图；

图5为本实施例中的第三处理示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例涉及的人机互动信号处理方法主要应用于人机互动信号处理设备，该人机互动信号处理设备可以是移动终端、个人计算机(personal computer，PC)、笔记本电脑等具有数据处理功能的设备。

参照图1，图1为本发明实施例方案中涉及的人机互动信号处理设备的硬件结构示意图。本发明实施例中，该人机互动信号处理设备可以包括处理器1001(例如中央处理器Central Processing Unit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random access memory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及人机互动信号处理程序。在图1中，网络通信模块可用于连接云服务器，与云服务器进行数据通信；而处理器1001可以调用存储器1005中存储的人机互动信号处理程序，并实现以下步骤：

从云服务器中获取预先建立的公共模型，并从本地获取用户的历史互动记录；

基于所述公共模型和所述历史互动记录构造复合处理模型；

通过信号采集设备采集用户当前的实时互动信号；

通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果。

进一步的，所述基于所述预设公共模型和所述用户的历史互动记录构造复核处理模型的步骤还包括：

通过所述历史互动记录对所述公共模型进行增量训练，得到复合处理模型。

进一步的，所述基于所述预设公共模型和所述用户的历史互动记录构造复核处理模型的步骤包括：

基于所述历史互动记录建立对应的私有模型；

根据所述公共模型和所述第一私有模型构造得到复合处理模型，所述复合处理模型包括仲裁器；

所述将通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果的步骤包括：

分别将所述实时互动信号输入所述公共模型和所述私有模型，得到对应的公共模型输出和私有模型输出；

通过所述仲裁器对所述公共模型输出和所述私有模型输出进行仲裁处理，得到信号处理结果。

进一步的，所述实时互动信号包括脑电波信号，所述通过信号采集设备采集用户当前的实时互动信号的步骤包括：

通过所述信号采集设备检测所述用户的目标阻抗，并判断所述目标阻抗是否小于第一预设门限值；

若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号。

进一步的，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

实时检测所述用户在信号采集过程的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户在信号采集过程的目标阻抗大于或等于所述第一预设门限值，则暂停信号采集，并进行设备调整提示；

在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

进一步的，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

对采集到的脑电波信号进行检测，以判断所述采集到的脑电波信号的信号幅值度是否小于第二预设门限值、或判断所述采集到的脑电波信号的信号模式是否符合预设模式；

若所述采集到的脑电波信号的信号幅值度小于所述第二预设门限值、或所述采集到的脑电波信号的信号模式不符合所述预设模式，则暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

进一步的，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

每间隔预设周期暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第二预设门限值时，继续进行信号采集。

进一步的，所述通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果的步骤之后还包括：

将所述实时互动信号和所述信号处理结果上传至所述云服务器，以供所述云服务器通过所述实时互动信号和所述信号处理结果对所述公共模型进行更新。

本发明实施例提供了一种人机互动信号处理方法。

参照图2，图2为本发明人机互动信号处理方法第一实施例的流程示意图。

本实施例中，所述人机互动信号处理方法包括以下步骤：

步骤S10，从云服务中获取预先建立的公共模型，并从本地获取用户的历史互动记录；

在人机互动的过程中，需要对用户输入的信号进行相应处理，从而获得将输入信号中蕴含的信息，以根据该信息进行相应控制；但对于目前大多数人机互动的系统中，信号处理所遵循的规则(或模型)对所有用户都是一样的，即针对不同的用户都使用同一套信号处理规则(或模型)进行信号处理，这就没有考虑到不同用户在同一互动意图下的信号差异性，降低了信号处理结果的准确性，不利于不同用户获得最优的信号处理效果，进而影响了人机互动效果。对此，本实施例提出一种人机互动信号处理方法，可根据用户的历史互动记录对公共模型进行适应性调整，从而考虑到不同用户在同一互动意图下的信号差异性，得到更符合用户真实情况的复合处理模型；再通过该复合处理模型对用户的实时互动信号进行处理，从而提高了信号处理结果的准确性，进而有利于提高人机互动的效率和准确性。

本实施例中的人机互动信号处理方法是由人机互动信号处理设备实现的，该人机互动信号设备可以是移动终端(如手机、掌上电脑、平板电脑等)、个人计算机(personalcomputer，PC)、笔记本电脑等具有数据处理功能的设备；为描述方便，该人机互动信号处理设备在本实施例的后续描述中以“终端设备”进行描述说明。

本实施例中，终端设备可与云服务器进行网络连接，并从云服务器下载获取预先建立好的公共模型。该公共模型可用于对采集到的互动信号进行分析处理，得到相应的处理结果，例如确定用户的专注度/放松度、控制外骨骼等；其中该互动信号可以包括脑电信号、肌电信号等，而脑电信号又包括β波、α波、θ波、δ波、γ波等。对于该公共模型的建立，可以是根据事先确定的规则建立，又或者通过机器学习的方式建立。

具体的，当根据事先确定的规则建立公共模型时，对于处理脑电信号的公共模型，可以事先确定规则，根据脑波信号或者脑波信号计算后的结果是否满足该规则来确定一种或多种输入的刺激源(或信号)是否符合场景要求，并在符合某一场景要求时得出相应结果，如检测α波/β波的数值(α波与β波的比值)，该数值越大则表示信号采集对象(测试对象)越放松，然后可将该数值与一预设门限值比较，当该数值大于该预设门限值，则可认为信号采集对象处于放松状态，而对于该预设门限值则可以是由相关人员根据经验确定，或是预先收集若干用户上传的公众数据、然后对这些公众数据进行聚类分析(如K-means等方式)后确定；对于处理肌电信号的公共模型，也可以是根据根据一种或多种肌电信号单独的功率谱或是多种波的功率谱来判断信号采集对象的状态(或互动意图)。

当通过机器学习的方式建立公共模型时，可以是预先收集若干用户的公众数据(包括自行采集或者从网上下载)，该公众数据包括互动信号或信号功率谱，和/或相关的用户信息(年龄，性别)以及这些公众数据对应场景(或状态、互动意图)的标注信息，然后以这些公众数据为公共样本，采用监督学习的方式进行模型训练，得到对应的公共模型；其中对于自行采集的公众数据的标注信息则可以是通过问卷调查(问卷调查可以是使用量表的形式在采集信号时候进行)或者是观察(如观察用户的肢体运动方向等)等方式获得。

本实施例中，终端设备在获取公共模型的同时，还将要获取终端设备的使用用户的历史互动记录，该历史互动记录包括该用户曾经发出的互动信号、以及这些互动信号对应场景(或状态、互动意图)的标注信息，这些历史互动记录一般是通过信号采集采集设备或终端设备进行采集并存储在本地，在一定程度上反映了用户的互动习惯和个体互动特征；而在获取这些历史互动记录时，即是从本地设备获取(读取)用户的历史互动记录。当然在实际中，不同的用户可以建立各自的账号，这些账号中记录有各用户的相关历史互动记录；当用户使用一台新的终端设备时，可以在新的终端设备登录自己的账号，从而将账号中记录有各用户的相关历史互动记录下载到新的终端设备中，无需重新进行收集。

步骤S20，基于所述公共模型和所述历史互动记录构造复合处理模型；

本实施例中，在得到公共模型和历史互动记录时，终端设备将会基于公共模型和历史互动记录构造复合处理模型。对于该复合处理模型，可认为是基于用户的个体特征对公共模型进行适应调整，得到更符合用户真实情况的新模型的过程。对于该复合处理模型的构造，可以是通过多种方式实现，例如可以是通过历史互动记录对公共模型进行增量训练，得到一个新的私人模型，这个新的私人模型可称为复合处理模型；又例如，终端设备本地可以设置有相关的模型规则或人工智能引擎，然后以历史互动记录作为样本、根据该模型构建规则或人工智能引擎以规则或机器学习的方式独立构造一个私人模型，该私人模型与公有模型可认为是相互独立的，该私人模型与公有模型以双模型的方式组成一个整体模型，该整体模型可称为复合处理模型。

可选地，所述步骤S20包括：

通过所述历史互动记录对所述公共模型进行增量训练，得到复合处理模型。

本实施例中，复合处理模型的构造可以是通过历史互动记录对公共模型进行增量训练，得到一个新的私人模型，这个新的私人模型可称为复合处理模型。增量训练是指一个学习系统不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识，也即每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新；而对于增量训练，可以是通过多种方式(算法)实现的。例如，可以是通过自组织增量学习神经网络的方式进行增量训练；自组织增量学习神经网络(SOINN)是一种基于竞争学习的两层神经网络，SOINN的增量性使得它能够发现数据流中出现的新模式并进行学习，同时不影响之前学习的结果，因此SOINN能够作为一种通用的学习算法应用于各类非监督学习问题中；SOINN是两层结构(不包括输入层)的竞争性神经网络，它以自组织的方式对输入数据进行在线聚类和拓扑表示，第1层网络接受原始数据的输入，以在线的方式自适应地生成原型神经元来表示输入数据，第2层网络则根据第1层网络的结果估计出原始数据的类间距离与类内距离，并以此作为参数，把第1层生成的神经元作为输入再运行一次SOINN算法，以稳定学习结果。又例如，还可以是通过情景记忆马尔可夫决策过程的方式进行增量训练；情景记忆马尔可夫决策过程EM-MDP准确来说是一套完整的人工智能方案(简化版)，这个框架中包括对情景的认知、增量学习、短期与长期记忆模型，本实施例中可以侧重于在框架中的增量学习部分；该框架基于自适应共振理论(ART)与稀疏分布记忆(SDM)的思想实现对情景记忆序列的增量式学习。相比SOINN网络每次最多只能有一个输出节点，该方法具有环境适应性好的优点。又例如，还可以是结合深度学习的方式进行增量训练，通过使用新数据(历史互动记录)、或者使用新数据与旧类中的样本(公众数据)相对应的小样本集在旧样本训练的机器模型(公共模型)上继续训练，得到新的模型(复合处理模型)。

通过上述增量训练(学习)的方式构造复合处理模型，不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新，从而基于用户的个体特征对公共模型进行适应调整，得到更符合用户真实情况的新模型。

可选地，所述步骤S20还包括：

基于所述历史互动记录建立对应的私有模型；

本实施例中还可以是独立构造一个私人模型，然后将私人模型与公有模型以双模型的方式组合成一个整体的复合处理模型。具体的，终端设备本地可以设置有相关的模型规则或人工智能引擎，然后以历史互动记录作为样本、根据该模型构建规则或人工智能引擎以规则或机器学习的方式独立构造一个私人模型。其中，对于该用于构造私人模型的模型规则或人工智能引擎，可以是与服务器构造公共模型所用的模型规则或人工智能引擎相同，也即私人模型和公共模型的构造方法可以是相同的，但两者所用的样本不同，因此私人模型和公共模型两者的实际处理逻辑具有一定的区别。

可选地，所述步骤S20还包括：

基于所述历史互动记录获取调查问卷信息。问卷调查可以是使用量表的形式在采集信号时候进行。

根据所述公共模型和所述私有模型构造得到复合处理模型，所述复合处理模型包括仲裁器。

在得到私有模型时，由于公共模型和私有模型属于两个相对独立的模型，因此终端设备还需要将两者进行整合(关联)，得到一个整体性的复合处理模型。具体的，该复合处理模型，对于一个输入信号仅会得到一个输出结果，而由于复合处理模型包括了两个子模型(即公共模型和私有模型)，当将一个输入信号分别输入至两个子模型(即公共模型和私有模型)时，会分别得到两个子模型输出(可分别称为公共模型输出和私有模型输出)，此时复合处理模型需要对两个子模型输出进行整合处理，得到一个最终的信号处理结果；而对于该用于对两个子模型输出进行整合处理的功能模块，为描述方便，可称为仲裁器，该仲裁器的仲裁逻辑(子模型输出的整合规则)可以是根据实际情况进行设置。例如，两个子模型输出结果可以是某一场景(或意图、状态等)，也可以是某一场景(或意图、状态等)以及相关概率的方式，当两个子模型输出为同一结果时，仲裁器的可以将该场景确定为最后的信号处理结果；当两个子模型输出为不同结果时，仲裁器将将概率较大的结果确定为最后的信号处理结果。又或者设置一个个人训练数据数量门限，例如100。个人训练数据数量在门限以内的时候，完全以公共模型为输出，超过门限以后，设置本地双模型权重，根据每次输出结果之后的主观量表进行反馈，如果主观量表跟输出方向一致且落在同一区间，就保持权重，如果没落在同一区间，由于私有数据是个人习惯数据集，理论上应该接近主观量表，所以在不同区间的时候，就增大一点私有模型的权重。当然在实际中，仲裁器的仲裁逻辑还可以设置为其它形式。

通过上述独立构造一个私人模型，可在不受公众数据影响的情况下构造得到一个新模型，然后将私人模型与公有模型以双模型的方式组合成一个整体的复合处理模型用于信号处理，既考虑了公众数据的一般性，又考虑用户自身数据的个体差异性，有利于得到更符合用户真实情况的新模型。

步骤S30，通过信号采集设备采集用户当前的实时互动信号；

本实施例中，在得到复合处理模型时，即可通过该复合处理模型处理用户的实时互动信号。具体的，终端设备可以外接信号采集设备，并通过该信号采集设备采集用户当前的实时互动信号；其中，该外接的信号采集设备可以是多种形式的，例如可以是通过头箍来采集脑电信号，通过臂环或腿环采集肌电信号等，还可以其它的可穿戴设备。当然，终端设备也可以集成信号采集功能，然后通过该信号采集功能进行信号采集(也即终端设备和信号采集设备属于同一个设备)。

步骤S40，通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果。

本实施例中，终端设备在采集得到用户当前的实时互动信号时，可以先对该实时互动信号进行相应预处理，例如，实时互动信号包括脑电/肌电信号，终端设备在得到该脑电/肌电信号时，可以先对该脑电/肌电信号进行降噪和/或滤波的预处理。在预处理完成时，终端设备再将预处理后的实时互动信号输入至复合处理模型，通过复合处理模型对实时互动信号进行处理，获得对应的信号处理结果。

其中，当通过增量学习的方式构造复合处理模型时，可以是将该实时互动信号输入复合处理模型(即增量训练后的公共模型)，然后获得对应的信号处理结果。而当独立构造一个私人模型、然后将私人模型与公有模型以双模型的方式组合成一个整体的复合处理模型时，上述通过所述复合处理模型对所述实时互动信号进行处理的过程，可以是终端设备分别将实时互动信号分别输入至公共模型和私人模型，由公共模型和私人模型分别对实时互动信号进行处理，得到对应的公共模型输出和私人模型输出，然后通过仲裁器对公共模型输出和私有模型输出进行仲裁处理，得到信号处理结果。该信号处理结果可以包括用户的意图和/或状态，其中意图又包括肢体的运动方向和动作模式，状态包括用户是否清醒/放松/注意力集中等。进一步，终端设备还可以与其它设备进行连接，在得到该信号处理结果时，将根据该信号处理结果对其它设备进行控制，例如根据该信号处理结果控制假肢，外骨骼、飞行器、汽车模型等。

进一步的，终端设备在完成对实时互动信号的处理时，还可将该实时互动信号用于公共模型的更新。具体的，所述步骤S40之后，还包括：

将所述实时互动信号和所述信号处理结果上传至云服务器，以供所述云服务器通过所述实时互动信号和所述信号处理结果对所述公共模型进行更新。

本实施例中，终端设备在完成对实时互动信号的处理时，可用将该实时互动信号和信号处理结果上传至云服务器中，以供云服务器通过实时互动信号和信号处理结果对公共模型进行更新。换而言之，云服务器可以收集多个终端设备的实际使用数据(包括了用户互动信号和这些用户互动信号对应的判断结果和/或用户信息)，然后使用这些实际使用数据进行更新。当然，在实际中可以只使用这些实际使用数据中的一部分进行更新，例如这些实际使用数据可以按照用户信息进行分类，然后使用用户数量最多的一类进行更新。当然也可以用所有的实际使用数据来更新公共模型。而具体更新的过程可以使用新的数据和老的数据重新一起训练一个新的公共模型，或者采用新的数据在老的公共模型上进行增量训练。而在云服务器对公共模型进行更新后，终端设备还可以重新从云服务器中下载更新后的公共模型，然后基于该更新后的公共模型构造一个新的复合处理模型。通过上述将实时互动信号和信号处理结果上传至云服务器以更新公共模型，实现了模型的不断迭代优化，有利于获得更符合用户实际使用需求的模型，进而有利于提高信号处理结果的准确性。当然，本实施例中也可以通过类似的方式对私人模型进行更新，具体过程与上述过程类似，此处不再赘述。

再进一步的，本实施例整体的处理过程可参照图3，图3为本实施例中的第一处理示意图，云服务器根据人工智能引擎(或规则)、利用预先收集和形成的数据库建立公共模型，终端设备从云服务器中下载该公共模型；并对其进行适应性优化，作为自身的综合处理模块一部分；然后通过相关设备采集用户的互动信号(脑电/肌电信号)后输入终端设备，终端设备通过预处理模块对其进行处理后，通过综合处理模块(复合处理模型)进行处理，得到最终结果；同时，将本次处理过程的相关数据上传云服务器，以供云服务器更新公共模型；当然，终端设备也可对自身的相关模型(私人模型)进行更新。还可以参照图4，图4为本实施例中的第二处理示意图，与图3相比，细化了终端设备内部的综合处理模块(复合处理模型)；先从云服务器下载该公共模型，然后通过本地人工智能引擎对公共模型进行增量训练(或其它调整)，得到私有模型(复合处理模型)，再通过该私有模型对实时采集的信号进行处理，得到最终结果。还可以参照图5，图5本实施例中的第三处理示意图，与图3相比，细化了终端设备内部的综合处理模块(复合处理模型)；先从云服务器下载该公共模型，同时通过本地人工智能引擎(或规则)独立训练一个私人模型(公共模型和私人模型可整体视为一个复合处理模型)，当预处理信号后，分别通过公共模型和私人模型进行处理，并通过仲裁器对两个结果进行仲裁处理后得到最终结果。

本实施例中，获取预先建立的公共模型和用户的历史互动记录；基于所述公共模型和所述历史互动记录构造复合处理模型；通过信号采集设备采集用户当前的实时互动信号；通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果。通过以上方式，本实施例可根据用户的历史互动记录对公共模型进行适应性调整，从而考虑到不同用户在同一互动意图下的信号差异性，得到更符合用户真实情况的复合处理模型；再通过该复合处理模型对用户的实时互动信号进行处理，从而提高了信号处理结果的准确性，进而有利于提高人机互动的效率和准确性。

基于上述图2所示实施例，提出本发明人机互动信号处理方法第二实施例。

本实施例与图2所示实施例相比，所述实时互动信号包括脑电波信号，所述步骤S30包括：

a.通过所述信号采集设备检测所述用户的目标阻抗，并判断所述目标阻抗是否小于第一预设门限值；

本实施例中所采集的用户的实时互动信号包括用户的脑电波信号。在采集脑电波信号时，人体可以视为一段导体，采集脑电脑信号的过程可能会因此影响采集的效率和采集信号的准确性。对此，本实施例中可通过阻抗测量的方式来确定采集当前的环境、进而确定是否进行脑电波信号的采集。具体的，首先可通过信号采集设备检测用户的目标阻抗，并判断该目标阻抗是否小于第一预设门限值。其中该信号采集设备可以是头箍，也可以是其它设备；而对于该第一预设门限值，则可以根据实际情况进行设置。

b.若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号。

本实施例中，若用户的目标阻抗小于第一预设门限值，则可认为当前不影响脑电波信号的正常采集，此时即可通过信号采集设备采集用户的脑电波信号。而若用户的目标阻抗大于或等于第一预设门限值，则可认为当前会对脑电波信号的正常采集造成不利影响；此时终端设备可进行相应提示，以提示用户检查信号采集设备的佩戴或使用，并在检测到用户的目标阻抗小于第一预设门限值时进行信号采集。通过上述先检测目标阻抗再采集信号的方式，有利于提高信号采集的效率和采集到的信号精度，进而提高后续信号处理结果的准确性。

进一步的，考虑到信号采集过程中也可能会出现用户的目标阻抗升高从而影响脑电波信号的正常采集，对此，还可以是在对采集过程中用户的目标阻抗进行检测，并在检测到目标阻抗大于或等于第一预设门限值时及时进行提示。

可选地，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

c1，实时检测所述用户在信号采集过程的目标阻抗是否大于或等于所述第一预设门限值；

本实施例中，在检测目标阻抗小于第一预设门限值，则可通过信号采集设备采集所述用户的脑电波信号；此时，如果信号采集设备能够支持同时进行信号采集和阻抗检测，则可通过信号采集设备在信号采集过程中实时检测用户的目标阻抗，并判断用户在信号采集过程中的目标阻抗是否大于或等于第一预设门限值。

c2，若所述用户在信号采集过程的目标阻抗大于或等于所述第一预设门限值，则暂停信号采集，并进行设备调整提示；

若用户在信号采集过程的目标阻抗小于第一预设门限值，则可保持信号的采集；而若用户在信号采集过程的目标阻抗大于或等于第一预设门限值，则可认为此时信号采集会受到不利影响。此时可暂停进行信号采集，并进行设备调整提示、以提示用户检查和调整信号采集设备的佩戴(或使用方式)。例如可以终端设备是以振动的方式进行提示、又或者是语音提示、又或者是在显示屏中显示相应文字信息等。

c3，在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

在进行设备调整提示时，终端设备也会通过信号采集设备实时检测用户的目标阻抗，并判断该目标阻抗是否小于第一预设门限值。若检测到用户在进行设备调整后的目标阻抗小于第一预设门限值时，则可认为当前的目标阻抗满足信号采集的要求，此时可通过信号采集设备继续进行信号采集。通过以上在检测过程中实时检测目标阻抗，并在检测到目标阻抗可能会影响正常信号采集时及时进行提示，有利于保证信号采集的正常进行，也有利于提高采集到的信号精度。

可选地，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

d1，对采集到的脑电波信号进行检测，以判断所述采集到的脑电波信号的信号幅值度是否小于第二预设门限值、或判断所述采集到的脑电波信号的信号模式是否符合预设模式；

本实施例中，在检测目标阻抗小于第一预设门限值，则可通过信号采集设备采集所述用户的脑电波信号；此时，如果信号采集设备若不支持同时进行信号采集和阻抗检测，则可在信号采集过程中根据采集到的信号特征来判断是否需要进行阻抗检测。具体的，在进行信号采集过程中，还可用对采集到的脑电波信号进行检测，以判断采集到的脑电波信号的信号幅值度是否小于第二预设门限值、或判断所述采集到的脑电波信号的信号模式是否符合预设模式。其中，该信号幅值度可以是β波的信号幅值或者功率谱幅值，也可以是α波的幅值或者功率谱幅值；而该第二预设门限值则可根据实际情况进行设置；若该信号幅值度小于第二预设门限值，则可认为此时有可能信号采集的过程不正常，而若该信号幅值度大于或等于第二预设门限值，则可认为此时信号采集的过程正常。而对于脑电波的信号模式，也可以通过多种方式表征，例如本实施例中可以是以β/α(β与α的比值)表示，而该预设模式则可认为是β/α表现为光滑的尖峰；在信号采集过程中，若检测到β/α没有一个光滑的尖峰而是多个小峰，则可认为此时有可能信号采集的过程不正常，若检测到β/α有光滑的尖峰，则可认为此时信号采集的过程正常。

d2，若所述采集到的脑电波信号的信号幅值度小于所述第二预设门限值、或所述采集到的脑电波信号的信号模式不符合所述预设模式，则暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

本实施例中在判定采集到的脑电波信号的信号幅值度大于或等于第二预设门限值、且所述采集到的脑电波信号的信号模式符合预设模式时，可认为此时信号采集的过程正常，此时可保持信号的采集。而在判定采集到的脑电波信号的信号幅值度小于第二预设门限值、或所述采集到的脑电波信号的信号模式不符合预设模式时，可认为此时有可能信号采集的过程不正常；此时将暂停信号采集，并检测用户当前的目标阻抗是否大于或等于第一预设门限值；若用户当前的目标阻抗小于第一预设门限值，则可继续进行信号采集；而若用户当前的目标阻抗大于或等于第一预设门限值，则可认为此时信号采集会受到不利影响。

d3，若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集；

若用户当前的目标阻抗小于第一预设门限值，则可继续进行信号采集。而若检测到用户当前的目标阻抗大于或等于第一预设门限值，可认为此时信号采集会受到不利影响；此时将进行设备调整提示、以提示用户检查和调整信号采集设备的佩戴(或使用方式)。例如可以终端设备是以振动的方式进行提示、又或者是语音提示、又或者是在显示屏中显示相应文字信息等。在进行设备调整提示时，终端设备也会通过信号采集设备实时检测用户进行设备调整后的目标阻抗，并判断用户进行设备调整后的目标阻抗是否小于第一预设门限值；若检测到用户在进行设备调整后的目标阻抗小于第一预设门限值时，则可认为当前的目标阻抗满足信号采集的要求，此时可通过信号采集设备继续进行信号采集。通过以上将信号特征与目标阻抗结合的方式来检测信号采集过程是正常，并在检测到信号采集过程异常时及时进行提示，有利于保证信号采集的正常进行，也有利于提高采集到的信号精度。

可选地，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

e1，每间隔预设周期暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

本实施例中，在检测目标阻抗小于第一预设门限值，则可通过信号采集设备采集所述用户的脑电波信号；此时，如果信号采集设备若不支持同时进行信号采集和阻抗检测，则可在信号采集过程中轮流进行信号采集和阻抗检测。具体的，在开始进行信号采集后，每间隔预设周期会暂停信号采集，并检测用户当前的目标阻抗是否大于或等于第一预设门限值；例如在1分钟内，前59秒进行信号采集，第60秒时暂停信号采集，并检测用户当前的目标阻抗是否大于或等于第一预设门限值。

e2，若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第二预设门限值时，继续进行信号采集。

若检测到用户当前的目标阻抗小于第一预设门限值，则可继续进行信号采集；而在间隔预设周期后再次暂停信号采集，并再次进行目标阻抗检测，依此循环。而若检测到用户当前的目标阻抗大于或等于第一预设门限值，则可认为此时信号采集会受到不利影响。此时可暂停进行信号采集，并进行设备调整提示、以提示用户检查和调整信号采集设备的佩戴(或使用方式)。例如可以终端设备是以振动的方式进行提示、又或者是语音提示、又或者是在显示屏中显示相应文字信息等。在进行设备调整提示时，终端设备也会通过信号采集设备实时检测用户的目标阻抗，并判断该目标阻抗是否小于第一预设门限值。若检测到用户在进行设备调整后的目标阻抗小于第一预设门限值时，则可认为当前的目标阻抗满足信号采集的要求，此时可通过信号采集设备继续进行信号采集，并在间隔预设周期后再次暂停信号采集，并再次进行目标阻抗检测。通过以上在检测过程中轮流进行信号采集和阻抗检测，可及时发现信号采集过程中的异常情况并进行提示，有利于保证信号采集的正常进行，也有利于提高采集到的信号精度。值得说明的是，在实际应用中，实时互动信号包括肌电信号，而在采集肌电信号时，也可以采用上述采集脑电波信号类似的方式，即先测量阻抗，当阻抗不足以影响信号采集时开始进行采集，然后在信号过程中根据设备性能的不同采用不同的方式检测阻抗，并在检测到阻抗会影响信号采集时及时提示用户检查和调整设备的佩戴。

此外，本发明实施例还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有人机互动信号处理程序，其中所述人机互动信号处理程序被处理器执行时，实现如上述的人机互动信号处理方法的步骤。

其中，人机互动信号处理程序被执行时所实现的方法可参照本发明人机互动信号处理方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人机互动信号处理方法，其特征在于，所述人机互动信号处理方法包括：

从云服务器中获取预先建立的公共模型，并从本地获取用户的历史互动记录；

基于所述公共模型和所述历史互动记录构造复合处理模型；

通过信号采集设备采集用户当前的实时互动信号；

通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果。

2.如权利要求1所述的人机互动信号处理方法，其特征在于，所述基于所述预设公共模型和所述用户的历史互动记录构造复核处理模型的步骤还包括：

通过所述历史互动记录对所述公共模型进行增量训练，得到复合处理模型。

3.如权利要求1所述的人机互动信号处理方法，其特征在于，所述基于所述预设公共模型和所述用户的历史互动记录构造复核处理模型的步骤包括：

基于所述历史互动记录建立对应的私有模型；

根据所述公共模型和所述第一私有模型构造得到复合处理模型，所述复合处理模型包括仲裁器；

所述将通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果的步骤包括：

分别将所述实时互动信号输入所述公共模型和所述私有模型，得到对应的公共模型输出和私有模型输出；

通过所述仲裁器对所述公共模型输出和所述私有模型输出进行仲裁处理，得到信号处理结果。

4.如权利要求1所述的人机互动信号处理方法，其特征在于，所述实时互动信号包括脑电波信号，所述通过信号采集设备采集用户当前的实时互动信号的步骤包括：

通过所述信号采集设备检测所述用户的目标阻抗，并判断所述目标阻抗是否小于第一预设门限值；

若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号。

5.如权利要求4所述的人机互动信号处理方法，其特征在于，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

实时检测所述用户在信号采集过程的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户在信号采集过程的目标阻抗大于或等于所述第一预设门限值，则暂停信号采集，并进行设备调整提示；

在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

6.如权利要求4所述的人机互动信号处理方法，其特征在于，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

对采集到的脑电波信号进行检测，以判断所述采集到的脑电波信号的信号幅值度是否小于第二预设门限值、或判断所述采集到的脑电波信号的信号模式是否符合预设模式；

若所述采集到的脑电波信号的信号幅值度小于所述第二预设门限值、或所述采集到的脑电波信号的信号模式不符合所述预设模式，则暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第一预设门限值时，继续进行信号采集。

7.如权利要求4所述的人机互动信号处理方法，其特征在于，所述若所述目标阻抗小于所述第一预设门限值，则通过所述信号采集设备采集所述用户的脑电波信号的步骤之后，还包括：

每间隔预设周期暂停信号采集，并检测所述用户当前的目标阻抗是否大于或等于所述第一预设门限值；

若所述用户当前的目标阻抗大于或等于所述第一预设门限值，则进行设备调整提示，并在检测到所述用户进行设备调整后的目标阻抗小于所述第二预设门限值时，继续进行信号采集。

8.如权利要求1至7中任一项所述的人机互动信号处理方法，其特征在于，所述通过所述复合处理模型对所述实时互动信号进行处理，获得对应的信号处理结果的步骤之后还包括：

将所述实时互动信号和所述信号处理结果上传至所述云服务器，以供所述云服务器通过所述实时互动信号和所述信号处理结果对所述公共模型进行更新。

9.一种人机互动信号处理设备，其特征在于，所述人机互动信号处理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的人机互动信号处理程序，其中所述人机互动信号处理程序被所述处理器执行时，实现如权利要求1至7中任一项所述的人机互动信号处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人机互动信号处理程序，其中所述人机互动信号处理程序被处理器执行时，实现如权利要求1至7中任一项所述的人机互动信号处理方法的步骤。