CN106447184A - 基于多传感器测量与神经网络学习的无人机操作员状态评估方法 - Google Patents

Abstract

本发明提出了一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，建立与上述传感器特征与语义之间的映射关系，从而估计出操作员的决策等级。该方法便于更加直观地掌握操作员的实时状态，估计操作员当前是否适合该任务，以及对任务可做出相应的调整。由于采用了神经网络的学习方法，可建立不同操作员的特征空间，因此，适用于具有不同熟练程度的各种层次的无人机操作员。

Description

基于多传感器测量与神经网络学习的无人机操作员状态评估 方法

技术领域

本发明涉及无人机系统技术领域，具体涉及一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法。

背景技术

随着无人机自动化程度的提高，操作员对无人机的控制由低级的基于行为的控制转变为高级的基于知识的控制，这种基于知识的控制就是监督控制。在监督控制中，飞行控制是由系统自动完成的，操作员主要是负责高层的任务管理和载荷管理。传统指挥控制一架无人机经常需要多个操作员，监督控制则使得单个操作员控制多架无人机成为可能，一方面平台自动化程度的提高为这种转变提供了技术支持，另一方面网络中心战要求平台间的交互为这种转变提供了动力。在执行任务过程中地面站操作员仍然拥有操纵飞机的最终决定权，无人机系统仍属于人在回路的系统，其作战使用离不开人的指挥控制，大量的显示信息及控制需求使地面站操作员的工作负荷和操作难度增大容易导致误判和误操作。

公开号为101868284A的专利文献提出一种用于基于传感器测量来提供交互性的方法及系统，是一种用于客人的传感器测量来向体验场所的客人提供交互性的系统。公开号为105082150A的专利文献，公开了一种基于用户情绪及意图识别的机器人人机交互方法，利用生物信号、面部表情以及利用语音交互实现人机交互，主要用于老人和小孩等使用者。公开号为105292476A的专利文献公开了一种无人机的控制方法及系统，利用脑电波判断无人机操作员大脑是否清醒。

因此，从多传感器测量角度，研究无人机操作人员工作状态，为更好的监督控制多无人机系统提供依据。

发明内容

本发明提出了一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法。多传感器主要包括测量操作员姿态、面部表情、眼动跟踪、体温，心率的传感器，以及人脑意念的传感器。利用这些传感器获取操作员状态信息，构建多维特征空间样本库。根据不同操作员的样本，用神经网络进行训练和学习，建立与上述传感器特征与语义之间的映射关系，从而估计出操作员的决策等级。该方法适用于具有不同熟练程度的各种层次的无人机操作员，可以更加直观的掌握操作员的实时状态，估计操作员当前是否适合该任务，以及对任务可做出相应的调整。

一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，包括以下步骤：

步骤一：传感器测量

利用温度传感器检测操作员的体温，用于监测操作员不同情绪变化下的体温分布情况。利用心率传感器检测操作员的心率，用于监测操作员不同状态如兴奋、疲劳状态下的心率变化。利用人体动作、姿态检测的深度图像传感器检测操作员的姿态行为，用于监测操作员不同行为状态下的姿态变化。利用面部表情的可见光图像传感器检测操作员的面部表情，根据面部表情的变化检测操作员的心情状态。利用眼动仪传感器检测人的眼睛关注度，以及根据眼睛的闭合情况检测眼睛疲劳状态。利用人脑意念传感器检测操作员是否注意力集中。

步骤二、利用上述传感器获取的操作员状态信息，构建多维特征空间样本库；根据不同操作员的样本，设计相应的神经网络训练学习感知器，建立与上述传感器特征与语义之间的映射关系。

1)首先构建多维的特征空间样本库

人脑意念和眼动跟踪可以输出操作员的关注度，体温和面部表情可以输出操作员的心情，姿态可以判断操作员的肢体行为，心率、眼动跟踪以及姿态可以输出操作员的疲劳度。

基于上述状态信息确定操作员状态特征输入矢量X(人脑意念x₁，眼动跟踪x₂，体温x₃，面部表情x₄，姿态x₅，心率x₆)。

同时，确定操作员状态特征目标矢量T(关注度T₁，心情T₂，肢体行为T₃，疲劳度T₄)。

2)设计相应的神经网络训练学习感知器

①确定输入矢量X，目标矢量T，并由此确定各矢量的维数，r为输入矢量P的维数，r＝6；s为目标矢量T的维数，s＝4；确定网络结构大小的神经元节点数目q＝4⁴。

其数学模型可表示为

Y为神经元输出，f为神经元非线性激励函数，X＝(x₁,x₂,...,x₆)为神经元输入，W＝(ω₁,ω₂,...,ω₆)为权矢量，其中包含多个权值，θ为神经元激活阈值。

②参数初始化，赋给权矢量W在(-1,1)的随机非零初始值，给出最大训练循环次数。

③网络表达式：根据输入矢量X以及跟新权矢量W，计算网络输出矢量Y。

④检查：检查输出矢量Y与目标矢量T是否相同，如果是，或已达最大循环次数，训练结束，否则转入⑤。

⑤学习，根据下式所示，感知器的学习规则调整权矢量W，并返回③。

W＝W+EP^T

θ＝θ+E

此处E为误差矢量，E＝T-Y。

3)最后建立与上述传感器特征与语义之间的映射关系：

首先对状态模型进行语义量化；

选择很多对形容词用于建立操作员状态模型形容词集，形容词集如表1所示：

表1

1、悲伤的–快乐的	5、轻松的–压抑的
		2、疲劳的–平静的	6、注意力集中的–分散的
3、焦虑的–中性的	7、低头的–抬头的
		4、紧张的–放松的	8、清晰的–模糊的

针对表1中的各个形容词队，如“疲劳的–平静的”，将其分为四个等级进行评价，其评价可以是重度疲劳，轻微疲劳，良好，非常良好，分别对应的边界条件为t₄₃，t₄₂，t₄₁，当疲劳度T₄大于操作员设定的阈值时T₄＞t₄₃，操作员重度疲劳，当T₄小于操作员设定的阈值时T₄＜t₄₁，操作员状态非常良好；同样的，将其他各形容词队分别将其分为四个等级进行评价。

然后建立状态空间；

首先获得各测试用户对某一状态m的第n对形容词的评价量化值，再对某一状态m的第n对形容词量化值求平均，获得一维矩阵Y_m＝[y_m1,y_m2,...,y_mn]，并按照公式进行标准化，得到矩阵X_m；

式中

设E为公共因子矩阵，Z为载荷矩阵，其中

式中，公共因子矩阵E的第m行e_m＝(e_m1,e_m2,...,e_mn)对每一操作用状态m在状态空间的坐标，载荷矩阵Z的第n行Z_n＝(Z_n1,Z_n2,...,Z_nk)对应形容词n在K维空间的坐标。

再设U为独特因子，D作为独特因子的权值，为对获得的矩阵X按公式做因子分析：

X＝EZ'+UD

通过以上步骤，将原先的N维操作员的状态空间降至K维，形成K维的正交状态空间，建立形容词与操作员向量的映射。

步骤三：构建语义组合构建的树形结构，给出操作员的状态评估，估计操作员当前是否适合该任务，以及对无人机任务控制站任务可做出相应的调整。

构建语义组合构建的树形结构，从叶子节点开始，按照树所表示的节点层次关系，从底层叶子节点开始逐层向上进行有序的组合，最终得到整个句子的语义表示。然后根据上述的语义量化，操作员关注度T₁，心情T₂，肢体行为T₃，疲劳度T₄，采用D-S证据决策，操作员的状态评估为Q：

λ_i为各种状态的权值系数，其中λ₁*T₁+λ₂*T₂+λ₃*T₃+λ₄*T＜1；

最后给出操作员的状态评估，估计操作员当前是否适合该任务，以及对控制站任务可做出相应的调整。当Q大于操作员设定的阈值时Q＞Q₁时，操作员不适合该任务，控制站自动处理该任务，并且提醒操作员该休息下；当Q₀＜Q＜Q₁时，操作员只适合部分该任务，控制站自动处理该任务，然后提示操作员确认该任务；当Q＜Q₀时，操作员适合该任务，控制站把该任务全权交给操作员。

本发明提出了一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，建立与上述传感器特征与语义之间的映射关系，从而估计出操作员的决策等级。该方法便于更加直观地掌握操作员的实时状态，估计操作员当前是否适合该任务，以及对任务可做出相应的调整。由于采用了神经网络的学习方法，可建立不同操作员的特征空间，因此，适用于具有不同熟练程度的各种层次的无人机操作员。

附图说明

图1为本发明的流程图，

图2为各个传感器输出操作员的各种状态，

图3为神经网络结构图，

图4句子组合关系树状层次图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

本发明旨在提供一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，建立与上述传感器特征与语义之间的映射关系，从而估计出操作员的决策等级。该方法便于更加直观地掌握操作员的实时状态，估计操作员当前是否适合该任务，以及对任务可做出相应的调整。由于采用了神经网络的学习方法，可建立不同操作员的特征空间，因此，适用于具有不同熟练程度的各种层次的无人机操作员。下面结合附图，说明本方法的具体实施方式。

如图1所示为本发明的流程图。无人机操作员状态特征提取主要通过多种传感器检测无人机操作员的各种状态信号。传感器包括用于操作员体温检测的温度传感器，用于监测操作员心率的心率传感器，用于操作员人体动作、姿态检测的深度图像传感器，用于检测操作员面部表情的可见光图像传感器，用于操作员眼睛关注度和眼睛疲劳检测的眼动仪传感器，以及用于操作员人脑意念检测的人脑意念传感器。

操作员的体温检测可以检测不同情绪变化下的体温；心率传感器检测人的心率变换，如在兴奋、疲劳状态下人的心率不同；人体动作、姿态检测传感器检测姿态行为，处于不同状态的人，表现的姿态上也有可能不一样；面部表情的传感器可以检测操作员心情状态，比如开心，愤怒等；眼睛关注度传感器检测人的关注度，也可以检测疲劳状态；人脑意念传感器主要检测操作员是否注意力集中。

通过上述多种传感器获得这些特征量化后，根据不同操作员的样本，在基于神经网络的学习方法上进行训练，建立与上述传感器特征与语义之间的映射关系，该映射关系主要是利用训练中的数据库、知识库、规则库转化的数值符号和语义概念合成，利用这些特征量化值作为特征输入，通过语义输出操作员各种状态，估计该状态下的操作员适合该任务的等级。最后无人机任务控制站系统以语义的方式反馈回操作员，使得操作员更加直观的掌握实时的状态信息。

1)首先构建多维的特征空间样本库

图2为各个传感器输出操作员的各种状态，其中根据人脑意念和眼动跟踪可以输出操作员的关注度，体温和面部表情可以输出操作员的心情，姿态可以判断操作员的肢体行为，心率、眼动跟踪以及姿态可以输出操作员的疲劳度。然后根据这些状态输出操作员的状态负载等级，最后根据负载等级无人机任务控制站提示因该给予操作员的任务等级。

因此，基于上述状态信息确定操作员状态特征输入矢量X(人脑意念x₁，眼动跟踪x₂，体温x₃，面部表情x₄，姿态x₅，心率x₆)，操作员状态特征目标矢量T(关注度T₁，心情T₂，肢体行为T₃，疲劳度T₄)。

语义网是如何把特征向量构建神经网络的语义基础，如图3所示为神经网络结构图，语义网是基于有向图描述事物、概念、属性、动作、状态及其之间的关联关系的知识表示模式。在上文中获得的目标图像特征，用语义网理论加以描述，分析目标图像特征信息与其内容之间的内在关联关系。建立目标图像知识表示模式，为神经网络学习图像语义提供支持。神经网络信息存储分布在连接权值上，使网络局部输入信息的不准确并不会影响网络输出的正确性，具有较高的容错性和鲁棒性。每个神经元根据接收输入信息独立运算，输入下层处理，具有并行处理信息能力。神经网络将信息处理和信息存储分离，反映了网络对信息的记忆联想能力。

2)设计相应的神经网络训练学习感知器

①确定输入矢量X，目标矢量T，并由此确定各矢量的维数，r为输入矢量P的维数，r＝6；s为目标矢量T的维数，s＝4；确定网络结构大小的神经元节点数目q＝4⁴。

其数学模型可表示为

Y为神经元输出，f为神经元非线性激励函数，X＝(x₁,x₂,...,x₆)为神经元输入，W＝(ω₁,ω₂,...,ω₆)为权矢量，其中包含多个权值，θ为神经元激活阈值。

②参数初始化，赋给权矢量W在(-1,1)的随机非零初始值，给出最大训练循环次数。

③网络表达式：根据输入矢量X以及跟新权矢量W，计算网络输出矢量Y。

④检查：检查输出矢量Y与目标矢量T是否相同，如果是，或已达最大循环次数，训练结束，否则转入⑤。

⑤学习，根据下式所示，感知器的学习规则调整权矢量W，并返回③。

W＝W+EP^T

θ＝θ+E

此处E为误差矢量，E＝T-Y。

3)最后建立与上述传感器特征与语义之间的映射关系.

操作员各种状态模型建立。操作员各种状态模型的建立主要包括两步，一是对状态模型进行语义量化，二是建立状态空间。选择很多对形容词用于建立操作员状态模型形容词集，形容词对如表1所示：

表1形容词集

1、悲伤的–快乐的	5、轻松的–压抑的
		2、疲劳的–平静的	6、注意力集中的–分散的
3、焦虑的–中性的	7、低头的–抬头的
		4、紧张的–放松的	8、清晰的–模糊的

针对表1中的各个形容词队，如“疲劳的–平静的”，将其分为四个等级进行评价，其评价可以是重度疲劳，轻微疲劳，良好，非常良好，分别对应的边界条件为t₄₃，t₄₂，t₄₁，当疲劳度T₄大于操作员设定的阈值时T₄＞t₄₃，操作员重度疲劳，当T₄小于操作员设定的阈值时T₄＜t₄₁，操作员状态非常良好。同样的，将其他各形容词队分别将其分为多个等级进行评价。如将关注度T₁分为高度集中、集中、关注度低、没关注四个等级，分别对应的边界条件为t₁₃，t₁₂，t₁₁，当关注度T₁大于操作员设定的阈值时T₁＞t₁₃，操作员没关注，当T₁小于操作员设定的阈值时T₁＜t₁₁，操作员高度集中。同理可将心情T₂分为中性、厌恶、愤怒三个等级，将肢体行为T₃分为直视、低头、换动三个等级。

然后建立状态空间：首先获得各测试用户对某一状态m的第n对形容词的评价量化值，再对某一状态m的第n对形容词量化值求平均，获得一维矩阵Y_m＝[y_m1,y_m2,...,y_mn]，并按照公式进行标准化，得到矩阵X_m；

式中

设E为公共因子矩阵，Z为载荷矩阵，其中

式中，公共因子矩阵E的第m行e_m＝(e_m1,e_m2,...,e_mn)对每一操作用状态m在状态空间的坐标，载荷矩阵Z的第n行Z_n＝(Z_n1,Z_n2,...,Z_nk)对应形容词n在K维空间的坐标；

再设U为独特因子，D作为独特因子的权值，为对获得的矩阵X按公式做因子分析：

X＝EZ'+UD

通过以上步骤，将原先的N维操作员的状态空间降至K维，形成K维的正交状态空间，建立形容词与操作员向量的映射。

语义组合构建，由于语义组合构建需要使用到文本不同成分之间的语义表达的组合关系，故需要把上述工具分析得到的结果按照分析器定义的依存关系次序进行变换，就可以得到整个句子的组合关系树状层级图，如图4所示。按照图4所示的树状结构，从叶子节点开始，按照树所表示的节点层次关系，从底层叶子节点开始逐层向上进行有序的组合，最终得到整个句子的语义表示。文中对上图树中两个子节点进行组合。然后根据语义组合构建的树形结构，利用神经网络学习的结果填充不同类型的语义词，最后给出操作员的状态评估，估计操作员当前是否适合该任务，以及对任务可做出相应的调整。采用D-S证据决策，操作员的状态评估为Q。

λ_i为各种状态的权值系数，其中λ₁*T₁+λ₂*T₂+λ₃*T₃+λ₄*T＜1。

最后给出操作员的状态评估，估计操作员当前是否适合该任务，以及对控制站任务可做出相应的调整。当Q大于操作员设定的阈值时Q＞Q₁时，操作员不适合该任务，控制站自动处理该任务，并且提醒操作员该休息下。当Q₀＜Q＜Q₁时，操作员只适合部分该任务，控制站自动处理该任务，然后提示操作员确认该任务。当Q＜Q₀时，操作员适合该任务，控制站把该任务全权交给操作员。

对不同时刻下无人机操作员的状态进行检测，检测疲劳、心情、表情、关注度以及行为，建立特征矩阵X，然后根据语义组合已经构建的语义网络采用神经网络学习方法，构建语义学习的结果。当操作员操作时间越长时，操作员的状态会变的不好，最后根据所有操作员的状态利用D-S证据决策对数据的融合估计操作员是否适合该任务或者操作。该语义学习的结果如表2所示。可以看出，操作员连续工作的时间越长，精神状态越差，当操作员连续工作1小时左右，操作员就不太适合该任务的操作，或者需要更换其他的任务，或者休息。

表2神经网络语义学习不同时刻的无人机操作员状态

Claims (3)

1.一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，其特征在于，包括以下步骤：

步骤一：传感器测量

利用温度传感器检测操作员的体温，用于监测操作员不同情绪变化下的体温分布情况；利用心率传感器检测操作员的心率，用于监测操作员不同状态如兴奋、疲劳状态下的心率变化；利用人体动作、姿态检测的深度图像传感器检测操作员的姿态行为，用于监测操作员不同行为状态下的姿态变化；利用面部表情的可见光图像传感器检测操作员的面部表情，根据面部表情的变化检测操作员的心情状态；利用眼动仪传感器检测人的眼睛关注度，以及根据眼睛的闭合情况检测眼睛疲劳状态；利用人脑意念传感器检测操作员是否注意力集中；

步骤二、利用上述传感器获取的操作员状态信息，构建多维特征空间样本库；根据不同操作员的样本，设计相应的神经网络训练学习感知器，建立与上述传感器特征与语义之间的映射关系；

步骤三：构建语义组合构建的树形结构，给出操作员的状态评估，估计操作员当前是否适合该任务，以及对无人机任务控制站任务可做出相应的调整。

2.根据权利要求1所述的基于多传感器测量与神经网络学习的无人机操作员状态评估方法，其特征在于，步骤二包括以下步骤：

1)首先构建多维的特征空间样本库

人脑意念和眼动跟踪可以输出操作员的关注度，体温和面部表情可以输出操作员的心情，姿态可以判断操作员的肢体行为，心率、眼动跟踪以及姿态可以输出操作员的疲劳度；

基于上述状态信息确定操作员状态特征输入矢量X(人脑意念x₁，眼动跟踪x₂，体温x₃，面部表情x₄，姿态x₅，心率x₆)，

同时，确定操作员状态特征目标矢量T(关注度T₁，心情T₂，肢体行为T₃，疲劳度T₄)；

2)设计相应的神经网络训练学习感知器

①确定输入矢量X，目标矢量T，并由此确定各矢量的维数，r为输入矢量P的维数，r＝6；s为目标矢量T的维数，s＝4；确定网络结构大小的神经元节点数目q＝4⁴；

其数学模型可表示为

$Y=f\left(\underset{i=1}{\overset{n}{\Σ}}\right({\mathrm{\ω}}_i,\mathrm{...}{x}_i)-\mathrm{\θ})$

Y为神经元输出，f为神经元非线性激励函数，X＝(x₁,x₂,...,x₆)为神经元输入，W＝(ω₁,ω₂,...,ω₆)为权矢量，其中包含多个权值，θ为神经元激活阈值；

②参数初始化，赋给权矢量W在(-1,1)的随机非零初始值，给出最大训练循环次数；

③网络表达式：根据输入矢量X以及跟新权矢量W，计算网络输出矢量Y；

④检查：检查输出矢量Y与目标矢量T是否相同，如果是，或已达最大循环次数，训练结束，否则转入⑤；

⑤学习，根据下式所示，感知器的学习规则调整权矢量W，并返回③；

W＝W+EP^T

θ＝θ+E

此处E为误差矢量，E＝T-Y；

3)最后建立与上述传感器特征与语义之间的映射关系：

首先对状态模型进行语义量化；

选择很多对形容词用于建立操作员状态模型形容词集，形容词集如表1所示：

表1

1、悲伤的–快乐的 5、轻松的–压抑的 2、疲劳的–平静的 6、注意力集中的–分散的 3、焦虑的–中性的 7、低头的–抬头的 4、紧张的–放松的 8、清晰的–模糊的

针对表1中的各个形容词队，如“疲劳的–平静的”，将其分为四个等级进行评价，其评价可以是重度疲劳，轻微疲劳，良好，非常良好，分别对应的边界条件为t₄₃，t₄₂，t₄₁，当疲劳度T₄大于操作员设定的阈值时T₄＞t₄₃，操作员重度疲劳，当T₄小于操作员设定的阈值时T₄＜t₄₁，操作员状态非常良好；同样的，将其他各形容词队分别将其分为四个等级进行评价；

然后建立状态空间；

首先获得各测试用户对某一状态m的第n对形容词的评价量化值，再对某一状态m的第n对形容词量化值求平均，获得一维矩阵Y_m＝[y_m1,y_m2,...,y_mn]，并按照公式进行标准化，得到矩阵X_m；

$x_{mn}=\frac{y_{mn}-{\stackrel{\‾}{y}}_n}{s_n}$

式中

设E为公共因子矩阵，Z为载荷矩阵，其中

$\begin{array}{cc}Z=\left(\begin{array}{ccc}{z}_{11}& ...& z_{1k}\\ & ...& \\ z_{N1}& ...& z_{Nk}\end{array}\right)& E=\left(\begin{array}{ccc}{e}_{11}& ...& e_{1k}\\ & ...& \\ e_{M1}& ...& e_{Mk}\end{array}\right)\end{array}$

式中，公共因子矩阵E的第m行e_m＝(e_m1,e_m2,...,e_mn)对每一操作用状态m在状态空间的坐标，载荷矩阵Z的第n行Z_n＝(Z_n1,Z_n2,...,Z_nk)对应形容词n在K维空间的坐标；

再设U为独特因子，D作为独特因子的权值，为对获得的矩阵X按公式做因子分析：

X＝EZ'+UD

通过以上步骤，将原先的N维操作员的状态空间降至K维，形成K维的正交状态空间，建立形容词与操作员向量的映射。

3.根据权利要求2所述的基于多传感器测量与神经网络学习的无人机操作员状态评估方法，其特征在于，步骤三包括以下步骤：

构建语义组合构建的树形结构，从叶子节点开始，按照树所表示的节点层次关系，从底层叶子节点开始逐层向上进行有序的组合，最终得到整个句子的语义表示；然后根据上述的语义量化，操作员关注度T₁，心情T₂，肢体行为T₃，疲劳度T₄，采用D-S证据决策，操作员的状态评估为Q：

$Q=\frac{{\mathrm{\λ}}_1*T_1+{\mathrm{\λ}}_2*T_2+{\mathrm{\λ}}_3*T_3+{\mathrm{\λ}}_4*T_4}{1-{\mathrm{\λ}}_1*T_1+{\mathrm{\λ}}_2*T_2+{\mathrm{\λ}}_3*T_3+{\mathrm{\λ}}_4*T_4}$

λ_i为各种状态的权值系数，其中λ₁*T₁+λ₂*T₂+λ₃*T₃+λ₄*T＜1；

最后给出操作员的状态评估，估计操作员当前是否适合该任务，以及对控制站任务可做出相应的调整：当Q大于操作员设定的阈值时Q＞Q₁时，操作员不适合该任务，控制站自动处理该任务，并且提醒操作员该休息下；当Q₀＜Q＜Q₁时，操作员只适合部分该任务，控制站自动处理该任务，然后提示操作员确认该任务；当Q＜Q₀时，操作员适合该任务，控制站把该任务全权交给操作员。