CN113433874B - 一种基于5g的无人艇综合控制管理系统 - Google Patents

Abstract

本发明包括了一种基于5G的无人艇综合控制管理系统与方法，其中基于5G的无人艇综合控制管理系统包括采用5G通讯相互连接的无人艇、大数据处理平台以及客户端；大数据处理平台包括相互电联接的数据采集模块、数据存储模块、数据处理模块、算法库模块以及数据服务模块；数据处理模块包括设备故障信息诊断模块以及人脸语音情感分析模块；人脸语音情感分析模块通过数据存储模块获取当前用户人脸信息和/或语音信息，并根据人脸信息和/或语音信息分析出当前用户的使用状态，最终根据当前用户的使用状态发出无人艇的控制指令，无人艇根据控制指令作出相应的设备状态调节，大大提高了无人艇使用的安全性以及提高了无人艇管理的智能程度。

Description

一种基于5G的无人艇综合控制管理系统

技术领域

本发明涉及无人艇技术领域，特别是一种基于5G的无人艇综合控制管理系统。

背景技术

无人水面艇(unmanned surface vessel，简称USV)，是一种无人操作的水面舰艇。主要用于执行危险以及不适于有人船只执行的任务。可以执行海域的日常巡逻、侦察、搜索、探测等任务，具有优秀的使用前景。而目前无人艇控制是通过网络将用客户端的控制信号发送至无人艇进行遥控。在针对某些作业时，用户需要长时间使用客户端遥控无人艇，在长时间作业后，用户往往出现疲劳，无法有效控制无人艇。

另外传统的无人艇设备故障诊断技术单纯依靠专家分析故障机理及其相关的监测参数，虽然目前具有对无人艇设备故障自动诊断的技术，但目前自动诊断在实施时其数据传输主要有以下几种传输方式：2.4G传输技术、WIFI以及4G传输技术。传统的2.4G传输技术和WIFI受限于传输距离过短，不适用于远距离监控的无人艇管理系统。而4G传输技术则受限于其传输带宽，无法传输当前庞大的数据，以及受限于其数据传输速度，无法进行及时数据传输，当无人艇控制管理平台在处理多无人艇同时访问请求时，往往会出现数据拥塞，请求延迟过大等问题，虽然无人艇并非真实有人在机械内实现驾驶，但是也需要有人在远程控制无人艇实现转向、前行等动作，而长时间的远程驾驶容易导致驾驶员疲惫，从而放松对无人艇的控制，最终导致无人艇出现事故的发生。

随着大数据，人工智能等技术的迅猛发展，无人艇发展的技术也随之提升。与之一同需要提升的是无人艇的数据处理能力，对于视频传输的质量要求，以及无人艇的自我控制，故能够实现根据驾驶员的状态实现自我控制的无人艇综合控制管理平台亟待出现。

发明内容

针对上述缺陷，本发明的目的在于提出一种基于5G的无人艇综合控制管理系统。

为达此目的，本发明采用以下技术方案：

一种基于5G的无人艇综合控制管理系统，包括采用5G通讯相互连接的无人艇、大数据处理平台以及客户端；

所述大数据处理平台包括相互电联接的数据采集模块、数据存储模块、数据处理模块、算法库模块以及数据服务模块；

所述客户端与所述数据服务模块电联接，所述客户端包括Web客户端以及手机客户端，所述客户端用于显示所述大数据处理平台内的内容与对大数据处理平台发送控制指令；

所述无人艇与所述数据采集模块以及数据处理模块电联接；

所述数据处理模块包括设备故障信息诊断模块以及人脸语音情感分析模块；

所述设备故障信息诊断模块根据所述数据存储模块内的数据判断当前无人艇内是否出现故障，并将故障信息发送至所述数据服务模块；

人脸语音情感分析模块通过数据存储模块获取当前用户人脸信息和/或语音信息，并根据人脸信息和/或语音信息分析出当前用户的使用状态，最终根据当前用户的使用状态发出无人艇的控制指令，无人艇根据所述控制指令作出相应的设备状态调节。

优选的，所述数据采集模块包括视频采集模块以及设备数据采集模块，所述视频采集模块使用5G通讯技术对无人艇的视频传输数据进行采集，所述视频采集模块还用于采集客户端的当前用户的人脸信息和/或语音信息，并将收集的信息发送至数据存储模块；

所述设备数据采集模块使用物联网对无人艇中的各个设备部件进行数据采集以及传输，并将收集的信息发送至数据存储模块。

优选的，所述数据存储模块包括数据库模块以及分布式信息中间件；

所述数据库模块使用分布式非关系型数据库redis对所述数据采集模块所采集的数据进行存储，其中所述数据库模块内还设置有布式式缓存。

优选的，所述数据处理模块还包括：视频数据处理模块、实时查询模块；

所述算法库模块包括机器学习模块以及深度学习模块；

所述机器学习模块和深度学习模块用于更新所述数据处理模块内的算法。

优选的，所述数据服务模块包括数实时据查询模块、视频直播模块、故障诊断模块以及语音控制模块。

所述系统执行如下方法：

步骤A：客户端通过5G通讯或订阅-发布机制连接大数据处理平台和无人艇；

步骤B：客户端获取当前用户的人脸信息和/或语音信息，并将人脸信息和/或语音信息发送至大数据处理平台；

步骤C：所述大数据处理平台分别提取人脸信息和/或语音信息内包含的人脸情感特征和语音情感特征，对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，所述大数据处理平台根据情感类型的不同，对所述无人艇发送对应的控制指令。

优选的，所述步骤C中提取语音信息中的语音情感特征包括以下步骤：

步骤C1：将语音信息输入至语音情感特征提取模型得出语音情感特征，其中语音情感特征提取模型的训练过程如下：

将语音信息转化为梅尔频谱；将梅尔频谱发送至具有提取语音情感特征的AlexNet内，提取梅尔频谱内包含的语音情感特征；

所述步骤C中提取人脸信息中的人脸情感特征包括以下步骤：

步骤C2：获取现有的表情数据集中训练情感表示模型中的表情先验知识，通过表情先验知识训练本文模型，得到人脸情感特征提取模型；

其中训练所述本文模型的过程如下：输入48×48灰度的原始图片，在本文模型的每个卷积层内设置64个卷积核，卷积核大小为5×5，步长值为1，边缘填充两个0因素；每个池化层的单元大小、步长、补充单位个数都设置成将原始图片的长和宽都缩减一半；

步骤C3：将人脸信息输入至人脸情感特征提取模型内，获取人脸情感特征。

优选的，所述步骤C中对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，包括以下步骤：

步骤C4：在人脸情感特征提取模型中的卷积层对每一帧图片提取2304个人脸情感特征，在语音情感特征提取模型中对0.04s内的声音数据提取1280个语音情感特征，使用视觉与语音联合模型在这两种不同类型的特征量拼接起来，并传递给两个含有256个单元的长短期记忆层以及输出维度为2的全连接层，来拟合一个图像声音序列所对应的Arousal与Valence值，并通过Arousal与Valence的组合得到情感类型。

优选的，所述步骤A前，还需要判断当前数据的请求量是否大于阈值，若是，则使用订阅-发布机制连接大数据处理平台和无人艇，若否，则采用5G通讯连接大数据处理平台和无人艇。

优选的，在步骤A与步骤C之间，还需对无人艇进行设备故障诊断，其设备故障诊断步骤如下：

收集无人艇各个部件传感器的设备信息，将设备信息发送至检测模型，所述检测模型分析得出当前无人艇的设备故障信息；

其中检测模型的训练步骤如下：

将无人艇故障的位置标签化处理；

将模型训练数据输入至检测模型中的输入层，所述输入层对训练数据进行预处理以及按照4∶1的比例将预处理后的设备信息分成训练集和测试集，训练集和测试集中包括[x1，x2，.......，x11，x12]^t，其中X1～X12为无人艇内12个设备的设备信息，t代表时间；

将训练集和测试集输入至LSTM隐藏层进行网络训练，其中所述LSTM隐藏层训练方法如下：将t-1时刻的X1～X12代入进激活函数tanh(x)中，求算得出输入值z；

其所述输入值z计算公式如下：z＝tanh(W[x^t，h_t-1])；

其中

tanh(x)是激活函数，x^t为t时刻无人艇的输入，h^t-1是t-1时刻中Cell中存储的信息，即为t-1时刻的X1～X12；

使用输入门、遗忘门、输出门的门控对输入值z进约束，求出输出值a；

所述输入门、遗忘门、输出门的约束公式如下：

Zi＝σ(W[x^t，h^t-1])，Zf＝σ(W[x^t，h^t-1])，Zo＝σ(W[x^t，h^t-1])，其中

Zi，Zf，Zo分别是输入门、遗忘门、输出门的门控，所述输入门、遗忘门、输出门的门控的取值范围为0～1；

将输出值a输入至注意力模型内，求出内容向量C_j，其中所述C_j为注意力权重与所有编码器隐藏状态的加权和，其计算公式如下

a_ij为相应注意权，h_i为编码器隐藏状态；

将输出值a输入至全连接层获取一个6维的向量故障分类标签，然后将向量故障分类标签与无人艇故障的位置标签进行匹配对应，然后使用Sigmoid函数将每个向量故障分类标签的概率收敛至0～1之间，所述Sigmoid函数如下：

h(xⁱ)＝Sigmoid(aⁱ)，其中aⁱ表示故障分类标签，h(xⁱ)表示故障分类标收敛后的输出结果；

收集无人艇的实际故障数据，并使用实际故障数据约束收敛后的输出结果，然后通过梯度下降的方法进行更新LSTM网络的w权值，直至代价函数趋于稳定；

其具体实际故障数据约束的代价函数为：

其中m为样本的总数、yⁱ为6维的故障分类标签；

其更新w权值的公式如下：

其中k为学习率、θJ(w，b)为对b的偏导，其中b为偏置值。本技术方案的有益效果：1.技术方案使用基于语音与表情特征的情感分析技术，使用端到端的神经网络进行训练，当无人艇使用者发生意外情况时，可以根据无人艇使用者的情绪变化来实现无人艇航速控制功能，大大提高了无人艇使用的安全性以及提高了无人艇管理的智能程度。

2.本专利使用融入注意力机制的LSTM神经网络训练出的模型对无人艇可能出现的故障进行预测，从而实现无人艇设备故障诊断的功能，大大提高了无人艇使用的安全性以及提高了无人艇管理的智能程度。

附图说明

图1是无人艇综合控制管理系统中的大数据处理平台的架构图；

图2是无人艇综合控制管理系统的结构示意图；

图3是5G通讯中SDN网络结构

图4是无人艇综合控制管理方法中的订阅-发布机制结构图。

图5是无人艇综合控制管理方法中无人艇故障位置标签化的示意图；

图6是无人艇综合控制管理方法中的检测模型示意图；

图7是无人艇综合控制管理方法中LSTM隐藏层的示意图；

图8是无人艇综合控制管理方法中注意力模型的示意图；

图9是无人艇综合控制管理方法中Arousal与Valence的组合示意图；

图10是无人艇综合控制管理方法中情感类型与控制指令关系图；

图11是无人艇综合控制管理方法中人脸情感特征提取流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1～11所示，一种基于5G的无人艇综合控制管理系统包括采用5G通讯相互连接的无人艇、大数据处理平台以及客户端；

所述大数据处理平台包括相互电联接的数据采集模块、数据存储模块、数据处理模块、算法库模块以及数据服务模块；

所述客户端与所述数据服务模块电联接，所述客户端包括Web客户端以及手机客户端，所述客户端用于显示所述大数据处理平台内的内容与对大数据处理平台发送控制指令；

所述无人艇与所述数据采集模块以及数据处理模块电联接；

所述数据处理模块包括设备故障信息诊断模块以及人脸语音情感分析模块；

所述设备故障信息诊断模块根据所述数据存储模块内的数据判断当前无人艇内是否出现故障，并将故障信息发送至所述数据服务模块；

人脸语音情感分析模块通过数据存储模块获取当前用户人脸信息和/或语音信息，并根据人脸信息和/或语音信息分析出当前用户的使用状态，最终根据当前用户的使用状态发出无人艇的控制指令，无人艇根据所述控制指令作出相应的设备状态调节。

由于现有的通讯技术限制，导致数据传输存在一定的滞后性，导致设备故障的自动诊断以及根据使用者当前状态来实施无人艇的自动控制都无法实现。但是目前5G通讯技术的崛起，利用5G通讯技术具有较大的传输带宽，传输时延低等特点，实现无人艇的综合管理控制。

本技术方案是基于5G通讯传输的技术上实现的，所述无人艇、大数据处理平台以及客户端之间均通过5G通讯连接。在大数据处理平台可以为设置于云端服务器的平台，也可以设置于无人艇上，由于5G通讯的优点，当客户端传输过来的控制指令可以经过大数据处理平台处理转化为无人艇的控制指令并控制无人艇的运作，在此时的数据传输延迟较低，能够实现更加复杂数据处理以及控制，确保了无人艇能够实现更加全面的综合控制管理。

而在大数据处理平台上设置有设备故障信息诊断模块以及人脸语音情感分析模块，所述设备故障信息诊断模块能够收集无人艇上各个设备传感器的设备信息，并通过内设置的算法模型对设备信息进行分析处理，自动判断无人艇的部分零件当前是否存在故障，而处理后的结果可以通过5G通讯传输至客户端，待用户自行判断是否需要维修。基于5G的无人艇综合控制平台对比传统的无人艇平台优势在于能够在相同时间能传输更多的数据；能够处理海量的数据；在无人艇发生故障时实现故障检测功能。

所述人脸语音情感分析模块可以获取调用客户端的录入设备，如摄像头、录音器等，收取当前用户的人脸信息和/或语音信息，所述人脸语音情感分析模块内设有的算法模型可以对当前用户的人脸信息和/或语音信息进行特征提取，在根据两人脸信息特征和语音信息特征进行综合判断，判断当前用户的情感，并根据不同的情感向无人艇发送相对应的控制信号，当大规模的无人艇访问时能够做出及时的反应；低时延的视频传输，如当前用户出现惊慌的情感下进行强制制动的功能。大大提高了无人艇控制的安全性能。

优选的，所述数据采集模块包括视频采集模块以及设备数据采集模块，所述视频采集模块使用5G通讯技术对无人艇的视频传输数据进行采集，所述视频采集模块还用于采集客户端的当前用户的人脸信息和/或语音信息，并将收集的信息发送至数据存储模块；

所述设备数据采集模块使用物联网对无人艇中的各个设备部件进行数据采集以及传输，并将收集的信息发送至数据存储模块。

优选的，所述数据存储模块包括数据库模块以及分布式信息中间件；

所述数据库模块使用分布式非关系型数据库redis对所述数据采集模块所采集的数据进行存储，其中所述数据库模块内还设置有布式式缓存。

使用非关系型数据库存储的优点是使用键值对存储数据，数据没有耦合性，容易拓展；无需经过sql层的解释，读写性能提高。同时也加入了分布式式缓存，通过缓存的使用能够有效加速读写，优化用户的体验。另一方面，加入缓存能够降低访问数据库的次数，减少i/o的次数，提高数据响应的数据。

优选的，所述数据处理模块还包括：视频数据处理模块、实时查询模块；

所述算法库模块包括机器学习模块以及深度学习模块；

所述机器学习模块和深度学习模块用于更新所述数据处理模块内的算法。

本技术方案中设置有算法库模块，所述算法库模块内的机器学习模块以及深度学习模块能够在训练是不断收集数据进行锻炼，并更新人脸语音情感分析模块和设备故障信息诊断模块内的算法模型，提高了模型识别的精准度。

优选的，所述数据服务模块包括数实时据查询模块、视频直播模块、故障诊断模块以及语音控制模块。

所述数据服务模块主要与客户端连接，大数据处理平台内处理的输出结果都会显示于数据服务模块上，用户可以通过客户端或者数据服务模块上任意模块的信息，大大方便了用户信息的获取以及获取信息的速度。

所述系统执行如下方法：

步骤A：客户端通过5G通讯或订阅-发布机制连接大数据处理平台和无人艇；

步骤B：客户端获取当前用户的人脸信息和/或语音信息，并将人脸信息和/或语音信息发送至大数据处理平台；

步骤C：所述大数据处理平台分别提取人脸信息和/或语音信息内包含的人脸情感特征和语音情感特征，对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，所述大数据处理平台根据情感类型的不同，对所述无人艇发送对应的控制指令。

优选的，所述步骤C中提取语音信息中的语音情感特征包括以下步骤：

步骤C1：将语音信息输入至语音情感特征提取模型得出语音情感特征，其中语音情感特征提取模型的训练过程如下：

将语音信息转化为梅尔频谱；将梅尔频谱发送至具有提取语音情感特征的A1exNet内，提取梅尔频谱内包含的语音情感特征；

具体的，转化梅尔频谱的相关程序可以先行写入语音情感判断模块内，在使用时可以直接通过调用python的api接口直接对语音信息进行转化，大大提高了转化的效率。梅尔频谱就是一般的频谱图加上梅尔滤波函数，这一步是为提高对实际频率的敏感程度。

AlexNet比传统卷积神经网络好的方面在于，AlexNet使用了深度神经网络的技术方法。比如，采用了relu作为非线性激活函数，能够使用DropOut防止过拟合，从而提高语音情感特征提取模型的准确率。具体的，所述具有AlexNet的语音情感特征提取模型设置于数据库模块中的深度学习模块内，不断对具有AlexNet的提取语音情感特征模进行训练，提高语音情感特提取的精准度。

无人艇控制平台的语音特征提取将会使用BLSTM网络加上注意力机制进行数据收敛，相比交于BLSTM神经网络，本专利在此特征提取中加入了注意力机制，更好的保存一些情感关键帧，从而提高语音特征的关键性。

所述步骤C中提取人脸信息中的人脸情感特征包括以下步骤：

步骤C2：获取现有的表情数据集中训练情感表示模型中的表情先验知识，通过表情先验知识训练本文模型，得到人脸情感特征提取模型；

其中训练所述本文模型的过程如下：输入48×48灰度的原始图片，在本文模型的每个卷积层内设置64个卷积核，卷积核大小为5×5，步长值为1，边缘填充两个0因素；每个池化层的单元大小、步长、补充单位个数都设置成将原始图片的长和宽都缩减一半；

步骤C3：将人脸信息输入至人脸情感特征提取模型内，获取人脸情感特征。

输入数据经过最后一个池化层并由二维数据变换成一维数据后，其特征维度为2304，提取的特征会依次传递给两个全连接，批量正则化和dropout层，输出的维度分别为256与128最后，数据经过维度为7的全连接层与softmax函数，输出模型预测的七种表情的概率，本专利将其中本文模型训练的卷积部分保留下来作为特征提取器，将卷积网络的输出作为特征，并将这些图像特征传给两个含有256个单元的长短期记忆层以及分类器来预测一段图像序列上的结构，如上图11所示。

优选的，所述步骤C中对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，包括以下步骤：

步骤C4：在人脸情感特征提取模型中的卷积层对每一帧图片提取2304个人脸情感特征，在语音情感特征提取模型中对0.04s内的声音数据提取1280个语音情感特征，使用视觉与语音联合模型在这两种不同类型的特征量拼接起来，并传递给两个含有256个单元的长短期记忆层以及输出维度为2的全连接层，来拟合一个图像声音序列所对应的Arousal与Valence值，并通过Arousal与Valence的组合得到情感类型。

所述Arousal与Valence的组合如下图9所示，通过图9能够无轻易得出当前用户的情感大致在那一个范围内，在本技术方案的一个实施例中设置有5个情感类型以及相对应的控制指令，如下图10所示，当无人艇控制平台判断出的情感为紧张(Tense)的使用，无人艇将会中控将会做出对应的控制指令，发动机将会停止工作，无人艇船舵将会模仿大型轮船使用的蛇航制动法，左右相互交替偏航0～5度，发出的无人艇螺旋桨的停止指令。此时无人艇处于紧急制动的状态。

当无人艇控制平台判断出的情感类型为放松(Relax)，平静(Clam)的时候，此时无人艇中控平台发出指令，各设备保持正常的工作状态。无人艇此时为保持航速的状态。

当无人艇控制平台判断的情感类型为低落(Depressed)，此时无人艇为强减速状态，此时无人艇螺旋桨叶转速变慢，无人艇船舵使用左右相互交替偏航0～5度。

当无人艇控制平台判断的情感类型为疲惫(Tired)，此时无人艇为弱减速状态，此时无人艇螺旋桨叶转速变慢，无人艇船舵正常工作，发动机也为正常工作。

当无人艇控制平台判断的情感类型为激动(Excited)，满意(Delighted)的时候。此时无人艇船舵与发动机正常工作。发动机螺旋桨叶加速工作，此时无人艇处于加速工作。

通过无人艇控制平台，无人艇能够根据使用者的情绪变化进行无人艇的速度控制，以及紧急情况下能够对无人艇实现紧急制动功能。

优选的，所述步骤A前，还需要判断当前数据的请求量是否大于阈值，若是，则使用订阅-发布机制连接大数据处理平台和无人艇，若否，则采用5G通讯连接大数据处理平台和无人艇。

该无人艇控制平台的通信方式主要有两种：

第一种通讯方式使用5g通讯技术：

无人艇的数据需要及时发送到大数据处理平台进行分析和处理，传统的数据传输方式2.4G传输方式以及WIFI传输方式距离过短，不适合管理远距离的智能电网系统，而4G移动网络带宽不适合传输大量的数据，4G网络传输速度相对与5G移动网络比较慢，故不能够满足数据显示的实时性。本专利对传输的各类数据进行归类，利用5G通信技术，采用基于SDN的网络切片技术方案的传输优势，显式对数据进行分类传输，以满足不同类型数据对传输的要求，提高传输效率。

传统的通信传输方式往往是数据平面与控制平面混合在一起，这会导致，用户比较难以控制网络切片的资源分配。而采用SDN(软件定义网络)的方式，如图3所示，将控制平台与数据平台分隔出来，从而使得管理员更加方便控制网络切片的分配。

5G通讯的传输方案如下：

针对低时延要求的数据，如无人机的控制指令数据，采用5G uRLLC切片网络进行传输，实现紧急情况下对智能电网系统的及时修复。

针对一些无需急用的数据，例如，电网系统的范围等，采用5G mMTC切片网络进行传输。

针对高带宽要求的数据，如4K高清视频，采用5G eMBB切片网络进行传输，实现巡检画面的实时传输，满足线路缺陷分析对图像的高清晰度要求。

第二种通讯方式则是使用订阅-发布机制，如图4所示，当每个无人艇同时从大数据处理中心中获取本身的故障处理服务和指令控制服务时，同一时间请求的数量过大的话会导致服务器的压力过高，这时需要引入订阅-发布机制。先把每一个无人艇请求的信息放到队列当中，发布者可以同时处理同一个消息，大大提高效率。同时每一个无人艇都订阅这两个服务。与此同时，故障处理服务和指令控制服务把处理好的信息发布到队列当中，每个订阅服务的无人艇都能收到数据。这样的方式能够有效减少服务器的压力，能够起到削峰降耦的作用。

优选的，在步骤A与步骤C之间，还需对无人艇进行设备故障诊断，其设备故障诊断步骤如下：

收集无人艇各个部件传感器的设备信息，将设备信息发送至检测模型，所述检测模型分析得出当前无人艇的设备故障信息；

其中检测模型的训练步骤如下：

如图5所示：将无人艇故障的位置标签化处理；

将模型训练数据输入至检测模型中的输入层，所述输入层对训练数据进行预处理以及按照4：1的比例将预处理后的设备信息分成训练集和测试集，训练集和测试集中包括[x1，x2，.......，x11，x12]^t，其中X1～X12为无人艇内12个设备的设备信息，t代表时间，其中预处理为将训练数据进行特征二元化，把数值类型数据转为布尔值的属性；

将训练集和测试集输入至LSTM隐藏层进行网络训练，其中所述LSTM隐藏层训练方法如下：将t-1时刻的X1～X12代入进激活函数tanh(x)中，求算得出输入值z；

其所述输入值z计算公式如下：z＝tanh(W[x^t，h_t-1])；

其中

tanh(x)是激活函数，x^t为t时刻无人艇的输入，h^t-1是t-1时刻中Cell中存储的信息，即为t-1时刻的X1～X12；

使用输入门、遗忘门、输出门的门控对输入值z进约束，求出输出值a；

所述输入门、遗忘门、输出门的约束公式如下：

Zi＝σ(W[x^t，h^t-1])，Zf＝σ(W[x^t，h^t-1])，Zo＝σ(W[x^t，h^t-1])，其中

Zi，Zf，Zo分别是输入门、遗忘门、输出门的门控，所述输入门、遗忘门、输出门的门控的取值范围为0～1；

将输出值a输入至注意力模型内，求出内容向量C_j，其中所述C_j为注意力权重与所有编码器隐藏状态的加权和，其计算公式如下

a_ij为相应注意权，h_i为编码器隐藏状态；

将输出值a输入至全连接层获取一个6维的向量故障分类标签，然后将向量故障分类标签与无人艇故障的位置标签进行匹配对应，然后使用Sigmoid函数将每个向量故障分类标签的概率收敛至0～1之间，所述Sigmoid函数如下：

h(xⁱ)＝Sigmoid(aⁱ)，其中aⁱ表示故障分类标签，h(xⁱ)表示故障分类标收敛后的输出结果；

收集无人艇的实际故障数据，并使用实际故障数据约束收敛后的输出结果，然后通过梯度下降的方法进行更新LSTM网络的w权值，直至代价函数趋于稳定；

其实际故障数据约束的代价函数为：

其中m为样本的总数、yⁱ为6维的故障分类标签，(xⁱ)表示输出层输出的结果，h(xⁱ)为(xⁱ)经过sigmoid()函数得出的概率；

其更新w权值的公式如下：

其中k为学习率、θJ(w，b)为对b的偏导，其中b为偏置值。

该训练模型的方法优点是，能够通过lstm的方法，大大降低在训练过程中出现梯度消失的现象。与此同时，使用注意力模型的加入能够使该模型中每个输入特征的联系。整个模型的优点是很大程度上降低梯度消失出现的机率，同时能够加快模型的收敛速度，更快分析出故障结果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于5G的无人艇综合控制管理系统，其特征在于：包括采用5G通讯相互连接的无人艇、大数据处理平台以及客户端；

所述大数据处理平台包括相互电联接的数据采集模块、数据存储模块、数据处理模块、算法库模块以及数据服务模块；

所述客户端与所述数据服务模块电联接，所述客户端包括Web客户端以及手机客户端，所述客户端用于显示所述大数据处理平台内的内容与对大数据处理平台发送控制指令；

所述无人艇与所述数据采集模块以及数据处理模块电联接；

所述数据处理模块包括设备故障信息诊断模块以及人脸语音情感分析模块；

所述设备故障信息诊断模块根据所述数据存储模块内的数据判断当前无人艇内是否出现故障，并将故障信息发送至所述数据服务模块；

人脸语音情感分析模块通过数据存储模块获取当前用户人脸信息和/或语音信息，并根据人脸信息和/或语音信息分析出当前用户的使用状态，最终根据当前用户的使用状态发出无人艇的控制指令，无人艇根据所述控制指令作出相应的设备状态调节；

其中所述系统执行如下操作方法：

步骤A：客户端通过5G通讯或订阅-发布机制连接大数据处理平台和无人艇；

步骤B：客户端获取当前用户的人脸信息和/或语音信息，并将人脸信息和/或语音信息发送至大数据处理平台；

步骤C：所述大数据处理平台分别提取人脸信息和/或语音信息内包含的人脸情感特征和语音情感特征，对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，所述大数据处理平台根据情感类型的不同，对所述无人艇发送对应的控制指令；

所述步骤C中提取语音信息中的语音情感特征包括以下步骤：

步骤C1：将语音信息输入至语音情感特征提取模型得出语音情感特征，其中语音情感特征提取模型的训练过程如下：

将语音信息转化为梅尔频谱；将梅尔频谱发送至具有提取语音情感特征的AlexNet内，提取梅尔频谱内包含的语音情感特征；

所述步骤C中提取人脸信息中的人脸情感特征包括以下步骤：

步骤C2：获取现有的表情数据集中训练情感表示模型中的表情先验知识，通过表情先验知识训练本文模型，得到人脸情感特征提取模型；

其中训练所述本文模型的过程如下：输入48×48灰度的原始图片，在本文模型的每个卷积层内设置64个卷积核，卷积核大小为5×5，步长值为1，边缘填充两个0因素；每个池化层的单元大小、步长、补充单位个数都设置成将原始图片的长和宽都缩减一半；

步骤C3：将人脸信息输入至人脸情感特征提取模型内，获取人脸情感特征；

所述步骤C中对人脸情感特征和语音情感特征进行融合获取当前使用用户的情感类型，包括以下步骤：

步骤C4：在人脸情感特征提取模型中的卷积层对每一帧图片提取2304个人脸情感特征，在语音情感特征提取模型中对0.04s内的声音数据提取1280个语音情感特征，使用视觉与语音联合模型在这两种不同类型的特征量拼接起来，并传递给两个含有256个单元的长短期记忆层以及输出维度为2的全连接层，来拟合一个图像声音序列所对应的Arousal与Valence值，并通过Arousal与Valence的组合得到情感类型；

所述步骤A前，还需要判断当前数据的请求量是否大于阈值，若是，则使用订阅-发布机制连接大数据处理平台和无人艇，若否，则采用5G通讯连接大数据处理平台和无人艇；

在步骤A与步骤C之间，还需对无人艇进行设备故障诊断，其设备故障诊断步骤如下：

收集无人艇各个部件传感器的设备信息，将设备信息发送至检测模型，所述检测模型分析得出当前无人艇的设备故障信息；

其中检测模型的训练步骤如下：

将无人艇故障的位置标签化处理；

将模型训练数据输入至检测模型中的输入层，所述输入层对训练数据进行预处理以及按照4∶1的比例将预处理后的设备信息分成训练集和测试集，训练集和测试集中包括[x1，x2，.......，x11，x12]^t，其中X1～X12为无人艇内12个设备的设备信息，t代表时间；

将训练集和测试集输入至LSTM隐藏层进行网络训练，其中所述LSTM隐藏层训练方法如下：将t-1时刻的X1～X12代入进激活函数tanh(x)中，求算得出输入值z；

其所述输入值z计算公式如下：z＝tanh(W[xt，h_t-1])；

其中

tanh(x)是激活函数，x^t为t时刻无人艇的输入，h^t-1是t-1时刻中Cell中存储的信息，即为t-1时刻的X1～X12；

使用输入门、遗忘门、输出门的门控对输入值z进约束，求出输出值a；

所述输入门、遗忘门、输出门的约束公式如下：

Zi＝σ(W[x^t，h^t-1])，Zf＝σ(W[x^t，h^t-1])，zo＝σ(W[x^t，h^t-1])，其中

Zi，Zf，Zo分别是输入门、遗忘门、输出门的门控，所述输入门、遗忘门、输出门的门控的取值范围为0～1；

将输出值a输入至注意力模型内，求出内容向量C_j，其中所述C_j为注意力权重与所有编码器隐藏状态的加权和，其计算公式如下

a_ij为相应注意权，h_i为编码器隐藏状态，t代表时间，i为自然整数；

将输出值a输入至全连接层获取一个6维的向量故障分类标签，然后将向量故障分类标签与无人艇故障的位置标签进行匹配对应，然后使用Sigmoid函数将每个向量故障分类标签的概率收敛至0～1之间，所述Sigmoid函数如下：

h(xⁱ)＝Sigmoid(aⁱ)，其中aⁱ表示故障分类标签，h(xⁱ)表示故障分类标签收敛后的输出结果；

收集无人艇的实际故障数据，并使用实际故障数据约束收敛后的输出结果，然后通过梯度下降的方法进行更新LSTM网络的w权值，直至代价函数趋于稳定；

其实际故障数据约束的代价函数为：

其中m为样本的总数、yⁱ为6维的故障分类标签，(xⁱ)表示输出层输出的结果，hq(xⁱ)为(xⁱ)经过sigmoid()函数得出的概率；

其更新w权值的公式如下：

其中k为学习率、θJ(w，b)为对b的偏导，其中b为偏置值。

2.根据权利要求1所述的一种基于5G的无人艇综合控制管理系统，其特征在于：

所述数据采集模块包括视频采集模块以及设备数据采集模块，所述视频采集模块使用5G通讯技术对无人艇的视频传输数据进行采集，所述视频采集模块还用于采集客户端的当前用户的人脸信息和/或语音信息，并将收集的信息发送至数据存储模块；

所述设备数据采集模块使用物联网对无人艇中的各个设备部件进行数据采集以及传输，并将收集的信息发送至数据存储模块。

3.根据权利要求1所述的一种基于5G的无人艇综合控制管理系统，其特征在于：

所述数据存储模块包括数据库模块以及分布式信息中间件；

所述数据库模块使用分布式非关系型数据库redis对所述数据采集模块所采集的数据进行存储，其中所述数据库模块内还设置有分布式缓存；

所述分布式信息中间件用于将算法库模块的算法发布至服务器云端。

4.根据权利要求1所述的一种基于5G的无人艇综合控制管理系统，其特征在于：

所述数据处理模块还包括：视频数据处理模块、实时查询模块；

所述算法库模块包括机器学习模块以及深度学习模块；

所述机器学习模块和深度学习模块用于更新所述数据处理模块内的算法。

5.根据权利要求1所述的一种基于5G的无人艇综合控制管理系统，其特征在于：所述数据服务模块包括数据实时查询模块、视频直播模块、故障诊断模块以及语音控制模块，

所述数据实时查询模块用于客户端实时查询无人艇的设备信息、运行状态；

所述视频直播模块用于通过5G通讯技术将无人艇获取的实时画面发送至客户端；

所述故障诊断模块用于接收设备故障信息诊断模块的诊断结果并将诊断结果发送至客户端；

所述语音控制模块用于接收客户端的语音指令，并将语音指令转化为控制指令控制无人艇运作。

Images