CN112867022B - 一种基于融合无线网络的云边协同环境感知方法及系统 - Google Patents

Abstract

本发明提供一种基于融合无线网络的云边协同环境感知方法，主要涉及无线智能环境感知，利用多种无线信号进行通信的同时，对各种无线信号进行融合，以充分发挥不同无线信号的优势，实现复杂环境下的高精度、定量化以及泛在化的智能感知，为实现智能监控与智慧生活提供一种新的技术方案；本发明还提供一种基于融合无线网络的云边协同环境感知系统，在融合网络架构和融合信号及特征的基础上，利用融合网络环境下，云边协同的思想，在保证隐私及安全的情况下，将大量用户设备的海量感知数据实时采集上传至云端，利用云端强大的计算资源，经大数据分析及挖掘算法，实现高精度的智能环境感知。

Description

一种基于融合无线网络的云边协同环境感知方法及系统

技术领域

本发明属于无线通信技术与模式识别技术领域，尤其涉及一种基于融合无线网络的云边协同环境感知方法及系统。

背景技术

近年来，无线智能感知逐渐成为工业界、学术界的关注焦点。无线感知不受光线或视距等因素的限制，无需携带复杂设备，可实现非接触式感知。从军事领域到医疗领域，从智慧城市到智慧家庭，从娱乐生活的虚拟现实到人机交互，无线智能感知都将成为不可或缺的技术。

具体的，军事领域中陆、海、空目标的探测及入侵检测；医疗领域的健康监护、智能诊断；智能生活中的远程控制、个性化应用；这些都是无线智能感知重要应用领域。利用无线信号对兴趣目标进行智能感知对各个领域的发展具有重要意义。

目前，现有的研究主要依赖于单一的无线信号源。主要包括雷达信号(超宽带、毫米波、连续调频波)、WiFi信号、卫星信号、电视广播信号、移动通信信号等外辐射源信号。根据感知环境目标的不同，无线感知可分为室内、外环境目标感知。在陆海空环境下，利用外辐射源信号对船舶、飞机、车辆等目标的智能感知一直备受关注并取得了丰硕的成果。利用广播、电视、卫星等外部辐射源，对空中目标，包括隐身飞机或巡航导弹等目标的微弱反射信号进行相干检测，估计目标反射信号的到达方向、到达时间和多普勒频移等参数，并以此来跟踪、识别目标。在国内，哈尔滨工业大学科研团队基于北斗导航卫星研究飞行器探测方法。海军工程大学利用GPS卫星信号全天候、全球实时覆盖的特点，研究以GPS卫星信号为辐射源，实现对空中目标的探测。西安电子科技大学研究机载双基地雷达远程空中动目标探测方法。利用雷达信号、通信卫星信号实现舰船识别也取得一定的进展。在室内感知方面，由于WiFi信号的普适性，基于WiFi信号的感知技术引起了学者的广泛关注。近年来，WiFi接入点部署数量的不断增多，2021年将达到5.426亿个。利用普遍存在的基建设备实现生活中的目标识别智能感知，提高了人们生活的便捷性。WiFi在智能感知领域具有广泛的运用。主要的研究应用领域包括智能家居远程监控、跌倒检测、健康监护、入侵检测、定位以及其它行为识别。

这些应用均称为基于无线信号的环境感知。以室内环境为例，环境的变化包括环境原静止物品的陈设发生变化，也包括环境中人的状态发生变化。这些变化都会对无线信号的传输产生影响，使无线信号发生折射、发射、散射等。从而，在信号接收端接收到的信号，是经过多径叠加的且包含了丰富的环境变化信息的信号。信号中含有丰富的粗粒度的人体姿态信息，人体位置信息，人体行为习惯信息，以及细粒度的人体生命体征信息，如呼吸、心跳等信息。学者充分利用信号处理和模式识别技术的优势解决智能环境感知中存在的问题。目前，各个应用场景已经取得了丰硕的成果。

未来无论室外还是室内环境都将存在大量的通信节点。室外环境中的卫星通信设备、移动通信设备、广播电视设备；室内环境中大量的物联网智能通信节点，包括路由器、智能网关、智能手持终端设备、智能家电、智能机器人等。这些不同的设备、不同的终端，都配备相应的通信模块，通过单一或多种通信方式实现信令和数据的传输。

因此，可以充分利用丰富的无线信号源和设备实现异构无线网络下的融合环境感知，在保证未来无线通信需求的同时，实现对复杂多变环境与目标的高精度、细粒度、自适应的感知与识别。

目前，基于单一无线信号的智能感知技术在取得丰硕成果的同时，也存在着很多的技术性难题和挑战，使其无法从科学研究走向产业化应用。单一无线信号对于复杂环境下表征目标特征的能力有限，从而感知能力有限。

具体的，感知目标的定量分析(细粒度)极具挑战，很难精确地识别目标的微小活动、连续活动。现有感知方法不能自适应的感知目标的变化。例如，当感知目标的位置、朝向、活动方式发生变化时，感知效果急剧下降。当感知环境复杂，有多个运动目标存在，很难将感知目标与背景分离，由此导致目标识别精度的下降。

不同的无线信号存在各自的特点和优势，每类无线信号都有适合各自特性的特定场景。对于不同目标和环境的感知，不同无线信号都有不同粒度和尺度的感知能力。因此单一信号源的很难实现复杂环境下的高精度、定量化以及泛在化(自适应)的智能感知。

发明内容

为解决上述问题，本发明提供一种基于融合无线网络的云边协同环境感知方法及系统，利用融合的无线通信网络实现环境感知，并针对海量接收终端、边缘通信节点上传的海量数据，利用云边协同原理实现高精度、低时延的环境感知。

一种基于融合无线网络的云边协同环境感知方法，包括以下步骤：

S1：采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

S2：选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；

S3：将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

S4：将所述融合后信号的特征或融合后的特征输入训练好的感知模型，得到感兴趣目标的所属类别、所处位置以及所处状态，实现环境的感知。

进一步地，所述无线信号的类别包括2.4GHz、5GHz以及60GHz频段的WiFi信号、UWB超宽带脉冲信号、5G毫米波通信信号。

进一步地，步骤S3中所述对各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征具体为：

拼接各感知信号，得到一维向量，完成信号融合；

对一维向量进行特征提取，得到融合后信号的时域、频域、时频域特征或者深度高维特征；

或者：

将各感知信号进行时频变换，得到各感知信号对应的时频图，并将各时频图组合为多通道图像，完成信号融合，其中，一个时频图作为一个图像通道；

采用深度学习理论对多通道图像进行特征提取，得到融合后信号的深度高维特征。

进一步地，步骤S3中所述对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征具体为：

提取各感知信号时域、频域、时频域特征或者深度高维特征；

采用贝叶斯决策理论或稀疏表示理论对提取出来的时域、频域、时频域特征或者深度高维特征进行特征融合，得到融合后的特征。

进一步地，所述感知模型的训练方法为：将待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征作为输入，各感兴趣目标实际的所属类别、所处位置以及所处状态作为输出，对感知模型进行训练；同时，根据感知模型预测的各感兴趣目标的所属类别、所处位置以及所处状态与各感兴趣目标实际的所属类别、所处位置以及所处状态之间对应的损失函数对感知模型进行优化，得到最终的感知模型；

其中，待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征的获取方法为：

步骤1、采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

步骤2、选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；同时，获取当前出现的感兴趣目标实际的所属类别、所处位置以及所处状态；

步骤3、将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

步骤4、重复步骤1～步骤3，直到得到设定数量的感兴趣目标对应的融合后信号的特征或融合后的特征。

进一步地，如果所述融合后信号的特征或融合后的特征为时域、频域、时频域特征，则所述感知模型为支持向量机、决策树、随机森林或最近邻；

如果所述融合后信号的特征或融合后的特征为深度高维特征，则所述感知模型为softmax。

一种基于融合无线网络的云边协同环境感知系统，包括云端、边缘端以及不同的采集终端；其中，所述云端用于存储环境感知的预训练模型，并将所述预训练模型下发给边缘端；

所述不同的采集终端用于采集待感知环境中不同类别的无线信号，并将采集到的无线信号发送给边缘端；

所述边缘端用于将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；然后选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号，并上传到云端；

所述云端用于将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；最后，云端将融合后信号的特征或融合后的特征下发到边缘端；

所述边缘端用于根据接收到的融合后信号的特征或融合后的特征重新对自身存储的预训练模型进行训练，得到最终的环境感知模型；

所述不同的采集终端重新采集待感知环境中不同类别的无线信号，边缘端再根据重新采集的无线信号得到感兴趣时间段的多种感知信号，再由云端根据重新得到的感兴趣时间段的多种感知信号获取对应的融合后信号的特征或融合后的特征；

所述边缘端将重新获取融合后信号的特征或融合后的特征输入最终的环境感知模型，得到感兴趣目标的所属类别、所处位置以及所处状态，实现环境的感知。

进一步地，所述云端还用于训练所述预训练模型，且所述预训练模型的训练方法为：将待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征作为输入，各感兴趣目标实际的所属类别、所处位置以及所处状态作为输出，对预训练模型进行训练；同时，根据预训练模型预测的各感兴趣目标的所属类别、所处位置以及所处状态与各感兴趣目标实际的所属类别、所处位置以及所处状态之间对应的损失函数对预训练模型进行优化，得到最终的预训练模型；

其中，待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征的获取方法为：

步骤1、采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

步骤2、选取其中一种感知信号作为粗感知信号，并根据粗感知信号的子载波的相关性或粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；同时，获取当前出现的感兴趣目标实际的所属类别、所处位置以及所处状态；

步骤3、将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

步骤4、重复步骤1～步骤3，直到得到设定数量的感兴趣目标对应的融合后信号的特征或融合后的特征。

进一步地，所述云端还用于根据融合后信号的数据量和待感知环境的复杂度，训练并生成不同复杂度和不同类别的感知子模型，其中，所述感知子模型包括类别子模型、位置子模型以及状态子模型。

有益效果：

1、本发明提供一种基于融合无线网络的云边协同环境感知方法，主要涉及无线智能环境感知，利用多种无线信号进行通信的同时，对各种无线信号进行融合，以充分发挥不同无线信号的优势，实现复杂环境下的高精度、定量化以及泛在化的智能感知，为实现智能监控与智慧生活提供一种新的技术方案。

2、本发明提供一种基于融合无线网络的云边协同环境感知系统，在融合网络架构和融合信号及特征的基础上，利用融合网络环境下，云边协同的思想，在保证隐私及安全的情况下，将大量用户设备的海量感知数据实时采集上传至云端，利用云端强大的计算资源，经大数据分析及挖掘算法，实现高精度的智能环境感知；同时，将信号融合等简化模型部署在边缘端，实现轻量级的简化模型的实时更新，低时延目标感知；因此，本发明基于融合网络产生的海量数据在云端与边缘端实现协同感知，能够达到高精度、定量化、泛在化、低时延感知的目的。

附图说明

图1为本发明提供的一种基于融合无线网络的云边协同环境感知方法的流程图；

图2为本发明提供的一种基于融合无线网络的云边协同环境感知系统的原理框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

实施例一

由于复杂环境中无法实现高精度、细粒度、自适应的感知，本发明提供一种无线通信环境中高精度、细粒度、自适应的环境感知方案。如图1所示，一种基于融合无线网络的云边协同环境感知方法，包括以下步骤：

S1：采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号。

可选地，以室内环境感知为例，在未来室内环境中存在大量的WiFi、蓝牙、移动蜂窝、ZigBee、LoRa、UWB等通信节点，组成异构的无线通信网络。环境的变化，如人体的活动，室内物品的摆放方式等，都会对无线信号的传输产生影响。使信号传输发生折射、反射、散射等。满足所述室内通信节点的通信协议的信号由接收设备接收，受所述环境和所述目标影响，携带所述环境及目标的特征信息。根据不同的应用场景和所述信号的不同的感知能力，同时选取几类信号分别进行粗感知和细感知。

S2：选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号。

需要说明的是，WiFi信号覆盖范围广泛，传输距离相对较远，可工作在2.4GHz、5GHz、60GHz频段，可获取信道状态信息，能提取丰富特征信息；UWB超宽带脉冲信号，时间间隔极短，有很强的抗干扰能力，占用带宽很宽，功率谱密度极小，能够有效的对目标进行精确定位和感知；5G毫米波通信信号具有很宽的带宽，有极高的分辨率和灵敏度；蓝牙、ZigBee和LoRa信号由于休眠性质，不能连续感知。其中，若采用WiFi信号作为粗感知信号，还可以根据WiFi信号信号的子载波的相关性判断待感知环境中是否出现感兴趣目标。

因此，对于室内环境感知，根据不同信号的特点，可采用2.4GHz或5GHz WiFi信号进行环境粗粒度检测(粗感知)，当判断环境中存在兴趣目标后，再利用60GHz WiFi、UWB、5G毫米波通信信号进行融合细粒度感知(细感知)。

S3：将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征。

可选的，时域、频域或时频域特征可以为幅值，均值，方差，偏度，峰度，经傅里叶变换、小波变换、短时傅里叶变换、希尔伯特变换后提取的信号特征等。

下面对应给出对各感知信号先进行信号融合再进行特征提取的两种实现方式：

第一种：拼接各感知信号，得到一维向量，完成信号融合；对一维向量进行特征提取，得到融合后信号的时域、频域、时频域特征或者深度高维特征。

第二种：将各感知信号进行时频变换，得到各感知信号对应的时频图，并将各时频图组合为多通道图像，完成信号融合，其中，一个时频图作为一个图像通道；采用深度学习理论对多通道图像进行特征提取，得到融合后信号的深度高维特征。

下面对应给出对各感知信号先进行特征提取再进行特征融合的实现方式：

提取各感知信号时域、频域、时频域特征或者深度高维特征；采用贝叶斯决策理论或稀疏表示理论对提取出来的时域、频域、时频域特征或者深度高维特征进行特征融合，得到融合后的特征。

S4：将融合后信号的时域、频域或时频域特征输入训练好的感知模型，得到感兴趣目标的所属类别、所处位置以及所处状态，实现环境的感知。

进一步地，所述感知模型的训练方法为：将待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征作为输入，各感兴趣目标实际的所属类别、所处位置以及所处状态作为输出，对感知模型进行训练；同时，根据感知模型预测的各感兴趣目标的所属类别、所处位置以及所处状态与各感兴趣目标实际的所属类别、所处位置以及所处状态之间对应的损失函数对感知模型进行优化，得到最终的感知模型。

可选的，如果所述融合后信号的特征或融合后的特征为时域、频域、时频域特征，则所述感知模型为支持向量机、决策树、随机森林或最近邻；如果所述融合后信号的特征或融合后的特征为深度高维特征，则所述感知模型为softmax。也就是说，本发明利用所述融合后信号的时域、频域或时频域特征训练感知模型，根据损失函数不断优化模型参数。得到最佳模型，用于后续感知。其中，损失函数为实际类别与预测类别的差异，或者实际数值与预测数值的差异相关的函数。选择使得损失函数最小的模型参数。在预测新的环境样本时，将新样本通过上述步骤S1～S3后输入训练好的感知模型，输出的结果即为预测的类别或数值，作为环境感知的结果。例如，分类模型输出动作行为的类别，预测模型输出目标连续的位置。

进一步地，待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征的获取方法为：

步骤1、采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

步骤2、选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；同时，获取当前出现的感兴趣目标实际的所属类别、所处位置以及所处状态；

步骤3、将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

步骤4、重复步骤1～步骤3，直到得到设定数量的感兴趣目标对应的融合后信号的特征或融合后的特征。

由此可见，由于不同的无线信号存在各自的特点和优势，每类无线信号都有适合各自特性的特定场景。对于不同目标和环境的感知，不同无线信号都有不同粒度和尺度的感知能力。单一终端节点、单一信号源很难捕捉多变的、细粒度的目标信息，难以实现目标从定性到定量的环境感知。因此，本发明利用多种信号实现融合感知可以充分发挥不同信号的优势，实现复杂环境下的高精度、定量化以及泛在化的智能感知。

实施例二

未来无论室外还是室内环境都将存在海量的通信节点。本发明有效利用海量通信节点所拥有的海量数据进行环境的感知。以室内环境中的智慧家庭为例，单一家庭的行为及环境数据有限，而模型的训练需要有大量多样性丰富的数据支撑。只有这样才能获得高性能、泛化能力强的模型。因此，本发明利用不同家庭的环境数据，组成多样性丰富的样本库。利用大数据挖掘技术，挖掘不同行为和环境的特征，并将其泛化到不同的应用场景。

感知涉及的海量通信节点和海量数据，但是通信节点的计算能力有限，无法对大规模数据进行分析。因此，本发明提出利用云边协同的思想实现环境感知。具体的，如图2所示，其为本实施例中所述云边协同感知框架，所述框架主要包含采集终端，边缘端和云端三个部分。其中，所述云端用于存储环境感知的预训练模型，并将所述预训练模型下发给边缘端。

所述不同的采集终端用于采集待感知环境中不同类别的无线信号，并将采集到的无线信号发送给边缘端。

需要说明的是，由于各个信号的传输协议不同，频段带宽也不相同，各终端接收设备将不同信号分别接收、采样。或者，也可以采用同时满足多种通信协议的同一个接收端对信号进行接收。然后，分布广泛的海量终端将采集的信号上传至所属的具有计算功能的边缘节点。

所述边缘端用于将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；然后选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号，并上传到云端。

也就是说，边缘端负责将从终端采集的多种信号进行预处理，并在时间上对齐，利用粗粒度检测信号进行兴趣信号检测，然后对细粒度检测信号进行信号级的融合；海量边缘节点将上述有效融合信号传输至云端，存储至云端数据库。

所述云端用于将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；最后，云端将融合后信号的特征或融合后的特征下发到边缘端。

所述边缘端用于根据接收到的融合后信号的特征或融合后的特征重新对自身存储的预训练模型进行训练，得到最终的环境感知模型。

所述不同的采集终端重新采集待感知环境中不同类别的无线信号，边缘端再根据重新采集的无线信号得到感兴趣时间段的多种感知信号，再由云端根据重新得到的感兴趣时间段的多种感知信号获取对应的融合后信号的特征或融合后的特征。

所述边缘端将重新获取融合后信号的特征或融合后的特征输入最终的环境感知模型，得到感兴趣目标的所属类别、所处位置以及所处状态，实现环境的感知。

需要说明的是，在信号融合和海量数据的基础上，云端服务器根据任务需求对信号特征提取和特征融合，结合模式识别和数据挖掘技术，迭代训练适用于不同场景、不同感知复杂度的模型，例如：类别子模型、位置子模型以及状态子模型；此外，本发明还可以利用数据的实时性，不断更新模型以抵抗环境的变化，减小环境变化对感知的不利影响。云端根据不同的任务选择不同的模型，将训练好的模型下发至边缘端节点，轻量级感知模型存储至边缘端。根据边缘端的个性化应用场景，小范围的更新边缘模型，实现环境感知。

进一步地，所述云端还用于训练所述预训练模型，且所述预训练模型的训练方法为：将待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征作为输入，各感兴趣目标实际的所属类别、所处位置以及所处状态作为输出，对预训练模型进行训练；同时，根据预训练模型预测的各感兴趣目标的所属类别、所处位置以及所处状态与各感兴趣目标实际的所属类别、所处位置以及所处状态之间对应的损失函数对预训练模型进行优化，得到最终的预训练模型；

其中，待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征的获取方法为：

步骤1、采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

步骤2、选取其中一种感知信号作为粗感知信号，并根据粗感知信号的子载波的相关性或粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；同时，获取当前出现的感兴趣目标实际的所属类别、所处位置以及所处状态；

步骤3、将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

步骤4、重复步骤1～步骤3，直到得到设定数量的感兴趣目标对应的融合后信号的特征或融合后的特征。

由此可见，由于无线环境下的智能感知环境复杂多变，而且多变环境下的样本数量极少，大量样本的收集耗时耗力，也不可能遍历所有情况；本发明基于融合无线网络(信号)的云边协同环境感知方案通过多种信号的融合感知和海量数据的挖掘信息实现高精度、细粒度、自适应的环境感知。不同信号具有不同的特点和优势，不同无线信号具有不同粒度和尺度的感知能力。此外，多终端节点提供的良好的空间感知能力，从而，本发明可以实现优于单一节点的感知性能。而海量节点产生的多样性数据以及多样性特征可以有效增加模型的鲁棒性，使得模型具有更好的泛化性能，可实现自适应环境变化的感知。云边协同感知将复杂计算在云端实现，边缘端只需更新轻量级的模型，由此可实现低时延的实时环境感知。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于融合无线网络的云边协同环境感知方法，其特征在于，包括以下步骤：

S1：采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

S2：选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；

S3：将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

S4：将所述融合后信号的特征或融合后的特征输入训练好的感知模型，得到感兴趣目标的所属类别、所处位置以及所处状态，实现环境的感知；

所述无线信号的类别包括2.4GHz、5GHz以及60GHz频段的WiFi信号、UWB超宽带脉冲信号、5G毫米波通信信号；

步骤S3中所述对各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征具体为：

拼接各感知信号，得到一维向量，完成信号融合；

对一维向量进行特征提取，得到融合后信号的时域、频域、时频域特征或者深度高维特征；

或者：

将各感知信号进行时频变换，得到各感知信号对应的时频图，并将各时频图组合为多通道图像，完成信号融合，其中，一个时频图作为一个图像通道；

采用深度学习理论对多通道图像进行特征提取，得到融合后信号的深度高维特征。

2.如权利要求1所述的一种基于融合无线网络的云边协同环境感知方法，其特征在于，步骤S3中所述对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征具体为：

提取各感知信号时域、频域、时频域特征或者深度高维特征；

采用贝叶斯决策理论或稀疏表示理论对提取出来的时域、频域、时频域特征或者深度高维特征进行特征融合，得到融合后的特征。

3.如权利要求1所述的一种基于融合无线网络的云边协同环境感知方法，其特征在于，所述感知模型的训练方法为：将待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征作为输入，各感兴趣目标实际的所属类别、所处位置以及所处状态作为输出，对感知模型进行训练；同时，根据感知模型预测的各感兴趣目标的所属类别、所处位置以及所处状态与各感兴趣目标实际的所属类别、所处位置以及所处状态之间对应的损失函数对感知模型进行优化，得到最终的感知模型；

其中，待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征的获取方法为：

步骤1、采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

步骤2、选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；同时，获取当前出现的感兴趣目标实际的所属类别、所处位置以及所处状态；

步骤3、将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

步骤4、重复步骤1～步骤3，直到得到设定数量的感兴趣目标对应的融合后信号的特征或融合后的特征。

4.如权利要求1所述的一种基于融合无线网络的云边协同环境感知方法，其特征在于，如果所述融合后信号的特征或融合后的特征为时域、频域、时频域特征，则所述感知模型为支持向量机、决策树、随机森林或最近邻；

如果所述融合后信号的特征或融合后的特征为深度高维特征，则所述感知模型为softmax。

5.一种基于融合无线网络的云边协同环境感知系统，其特征在于，包括云端、边缘端以及不同的采集终端；其中，所述云端用于存储环境感知的预训练模型，并将所述预训练模型下发给边缘端；

所述不同的采集终端用于采集待感知环境中不同类别的无线信号，并将采集到的无线信号发送给边缘端；

所述边缘端用于将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；然后选取其中一种感知信号作为粗感知信号，并根据粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号，并上传到云端；

所述云端用于将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；最后，云端将融合后信号的特征或融合后的特征下发到边缘端；

所述边缘端用于根据接收到的融合后信号的特征或融合后的特征重新对自身存储的预训练模型进行训练，得到最终的环境感知模型；

所述不同的采集终端重新采集待感知环境中不同类别的无线信号，边缘端再根据重新采集的无线信号得到感兴趣时间段的多种感知信号，再由云端根据重新得到的感兴趣时间段的多种感知信号获取对应的融合后信号的特征或融合后的特征；

所述边缘端将重新获取融合后信号的特征或融合后的特征输入最终的环境感知模型，得到感兴趣目标的所属类别、所处位置以及所处状态，实现环境的感知；

所述无线信号的类别包括2.4GHz、5GHz以及60GHz频段的WiFi信号、UWB超宽带脉冲信号、5G毫米波通信信号；

所述对各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征具体为：

拼接各感知信号，得到一维向量，完成信号融合；

对一维向量进行特征提取，得到融合后信号的时域、频域、时频域特征或者深度高维特征；

或者：

将各感知信号进行时频变换，得到各感知信号对应的时频图，并将各时频图组合为多通道图像，完成信号融合，其中，一个时频图作为一个图像通道；

采用深度学习理论对多通道图像进行特征提取，得到融合后信号的深度高维特征；

所述的一种基于融合无线网络的云边协同环境感知系统，其特征在于，所述云端还用于根据融合后信号的数据量和待感知环境的复杂度，训练并生成不同复杂度和不同类别的感知子模型，其中，所述感知子模型包括类别子模型、位置子模型以及状态子模型。

6.如权利要求5所述的一种基于融合无线网络的云边协同环境感知系统，其特征在于，所述云端还用于训练所述预训练模型，且所述预训练模型的训练方法为：将待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征作为输入，各感兴趣目标实际的所属类别、所处位置以及所处状态作为输出，对预训练模型进行训练；同时，根据预训练模型预测的各感兴趣目标的所属类别、所处位置以及所处状态与各感兴趣目标实际的所属类别、所处位置以及所处状态之间对应的损失函数对预训练模型进行优化，得到最终的预训练模型；

其中，待感知环境中不同感兴趣目标对应的融合后信号的特征或融合后的特征的获取方法为：

步骤1、采集待感知环境中不同类别的无线信号作为感知信号，并将各类别的感知信号在时间上进行对齐，得到同一时段的多种感知信号；

步骤2、选取其中一种感知信号作为粗感知信号，并根据粗感知信号的子载波的相关性或粗感知信号的幅值变化判断待感知环境中是否出现感兴趣目标，若为是，则根据感兴趣目标出现的时刻，从所述同一时段的多种感知信号中提取出感兴趣时间段的多种感知信号；同时，获取当前出现的感兴趣目标实际的所属类别、所处位置以及所处状态；

步骤3、将各类别下的感兴趣时间段的多种感知信号进行信号融合，对融合之后的信号进行特征提取，得到融合后信号的特征；或者，对各类别下的感兴趣时间段的多种感知信号分别进行特征提取，然后对提取出来的特征进行融合，得到融合后的特征；

步骤4、重复步骤1～步骤3，直到得到设定数量的感兴趣目标对应的融合后信号的特征或融合后的特征。

Images