CN108429589A - 光谱分析方法及多节点光谱协同分析方法 - Google Patents

光谱分析方法及多节点光谱协同分析方法 Download PDF

Info

Publication number
CN108429589A
CN108429589A CN201810081812.1A CN201810081812A CN108429589A CN 108429589 A CN108429589 A CN 108429589A CN 201810081812 A CN201810081812 A CN 201810081812A CN 108429589 A CN108429589 A CN 108429589A
Authority
CN
China
Prior art keywords
light source
optical signal
spectroscopic data
data
light path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810081812.1A
Other languages
English (en)
Other versions
CN108429589B (zh
Inventor
郑小平
李*龙
李龙
华楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810081812.1A priority Critical patent/CN108429589B/zh
Publication of CN108429589A publication Critical patent/CN108429589A/zh
Application granted granted Critical
Publication of CN108429589B publication Critical patent/CN108429589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/80Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water
    • H04B10/85Protection from unauthorised access, e.g. eavesdrop protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/07Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
    • H04B10/075Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
    • H04B10/079Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
    • H04B10/0793Network aspects, e.g. central monitoring of transmission parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/07Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
    • H04B10/075Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
    • H04B10/079Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
    • H04B10/0795Performance monitoring; Measurement of transmission parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Optical Communication System (AREA)

Abstract

本发明公开了一种光谱分析方法及多节点协同光谱分析方法,其中,光谱分析方法先通过基于人工智能技术的光源分类模型识别光源之后,再将光信号的基本参数和预存在光谱识别数据库中光源的相关业务信息进行比对验证,验证通过后识别出的光源才为合法光源,相应地,节点所传输的光信号为合法信号,实现了更加有效地甄别合法信号和非法信号,以及提升了光网络的安全性。此外,还通过基于人工智能技术的光路径分类模型识别光路径,光路径分类模型是通过采用海量的训练数据训练得到的,光路径识别效果更好。

Description

光谱分析方法及多节点光谱协同分析方法
技术领域
本发明涉及光网络技术领域,尤其涉及一种光谱分析方法及多节点光谱协同分析方法。
背景技术
光网络自身特性使其具有多种物理层的安全隐患,面临如窃听、串扰攻击、信息篡改等多种威胁,在攻击的过程中会引入异于的网络合法信号的非法信号,但现有技术无法实现对光网络物理层对非法信号入侵或物理层攻击的感知和识别,技术迫切需要突破。传统的光网络物理层安全防护大多通过信号的强度、时域特征等物理层参数来判断和监测攻击,但对于非法信号入侵类攻击方式,目前尚无有效手段对物理层非法信号入侵实现感知和识别,更无法在多元复杂的安全威胁环境下提供系统性的安全防护解决方案。
发明内容
本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
为此,本发明的第一个目的在于提出的光谱分析方法,先通过基于人工智能技术的光源分类模型识别光源之后,再将光信号的基本参数和预存在光谱识别数据库中光源的相关业务信息进行比对验证,验证通过后识别出的光源才为合法光源,相应地,节点所传输的光信号为合法信号,实现了更加有效地甄别合法信号和非法信号,以及提升了光网络的安全性。此外,还通过基于人工智能技术的光路径分类模型识别光路径,光路径分类模型是通过采用海量的训练数据训练得到的,光路径识别效果更好。
为此,本发明的第二个目的在于提出的多节点协同光谱分析方法。
为了实现上述目的,本发明第一方面实施例的光谱分析方法,包括:
采集光网络中预设节点处所传输的光信号的待测光谱数据,并提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量;
对所述待测光谱数据向量进行预处理以及提取所述待测光谱数据向量的基本参数;
将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识,以及在所述光源标识包括合法光源标识时,从光谱识别数据库获取所述合法光源标识的相关业务信息,并验证所述合法光源标识的相关业务信息中是否存在所述待测光谱数据向量的基本参数,若验证结果为存在,确定光信号的光源认证通过;
或者,获取光源的原始光谱数据并进行预处理,以及根据预处理后的原始光谱数据和预处理后的待测光谱数据向量获取光路径传输矩阵,并将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识。
如上所述的方法,还包括:
接收光网络中所采集到的历史光谱数据,对所述历史光谱数据进行预处理以获取历史光谱数据向量,并将属于同一光源的历史光谱数据向量添加同一合法光源标识;
将部分的添加合法光源标识后的历史光谱数据向量作为训练数据集中的样本数据,形成训练数据集,以及将剩余的添加合法光源标识后的历史光谱数据向量作为阈值计算数据集中的样本数据,形成阈值计算数据集;
采用支持向量机算法对所述训练数据集进行训练,将不同合法光源标识的样本数据在高维数据空间中映射,寻找分类界面对所述不同合法光源标识的样本数据进行划分,完成光源分类模型的构建;
将阈值计算数据集输入到所述光源分类模型中进行分析,获取损失参数矩阵;
根据所述损失参数矩阵设置识别阈值。
如上所述的方法,所述将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识,包括:
将所述预处理后的待测光谱数据向量导入光源分类模型中,确定待测光谱数据向量对应的损失参数矩阵;
确定待测光谱数据向量对应的损失参数矩阵的每一行中的最大值;
判断所述各行中的最大值是否大于识别阈值,若大于,将各行中的最大值在损失参数矩阵中的列号作为合法光源标识并输出,若小于,输出所述光信号的非法光源标识。
如上所述的方法,所述将阈值计算数据集输入到所述光源分类模型中进行分析,获取损失参数矩阵,包括:
将所述阈值计算数据集的第k类合法光源的第j个样本数据点乘光源分类模型的第n个分类界面,得到点积skjn
确定所述阈值计算数据集的第k类合法光源的第j个样本数据被第n个分类界面作用所得到的分类结果ykjn,其中,ykjn的取值为-1、1中的任一数值;
根据以下公式:
得到第k类合法光源的第j个样本数据对应第n个分类界面的损失参数gkjn
根据以下公式
获取损失参数矩阵的第j行第k列的元素;其中,所述损失参数矩阵包括M×K个元素,N为所述阈值计算数据集的样本量,K为合法光源的类别总数。
如上所述的方法,所述根据所述损失参数矩阵设置识别阈值,包括:
取所述损失参数矩阵每一行中的最大值,形成向量LarLoss;
确定向量LarLoss中的最小值,以及计算向量LarLoss的标准差;
根据以下公式:
Threshold=min(LarLoss)-εσ
设置识别阈值Threshold,其中,ε为经验值。
如上所述的方法,在所述采集光网络中预设节点处所传输的光信号的待测光谱数据之前,还包括:
获取已知光源的已知光源标识,以及采集已知光源所发出的光谱数据并进行预处理;
将所述预处理后的已知光源所发出的光谱数据导入光源分类模型中进行光源识别,输出所述已知光源的识别光源标识,以及根据所述已知光源标识和识别光源标识确定识别准确率;
根据识别准确率调整采集光信号的分辨率。
如上所述的方法,还包括:分别获取光源的原始光谱数据和光网络的历史光谱数据并分别进行预处理,以及根据预处理后的原始光谱数据和预处理后的历史光谱数据获取历史光路径传输矩阵,并将属于同一路径的历史光路径传输矩阵添加同一光路径标识;
将所述添加光路径标识后的历史光路径传输矩阵作为训练数据集中的样本数据,形成训练数据集;
采用支持向量机算法对所述训练数据集进行训练,将不同光路径标识的样本数据在高维数据空间中映射,寻找分类界面对所述不同光路径标识的样本数据进行划分,完成光路径分类模型的构建。
如上所述的方法,所述将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识,包括:
将所述光路径传输矩阵导入光路径分类模型中,确定所述光路径传输矩阵对应的损失参数矩阵;
确定所述损失参数矩阵的各行中的最大值,将各行中的最大值在损失参数矩阵中的列号作为所述光信号的光路径标识并输出。
为了实现上述目的,本发明第二方面实施例的多节点协同光谱分析方法,包括:
至少在光网络中的每个节点上分别设置一个光谱感知采集单元,所述光谱感知采集单元采集相对应节点所传输的光信号的待测光谱数据,和提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量;
协同分析处理中心,接收各个光谱感知采集单元所采集的光谱数据,将各个光谱感知采集单元所采集的光谱数据作为训练数据集中的样本数据,基于所述训练数据集训练光源分类模型,并将所述光源分类模型分发至网络中所有光谱特征分析模块;
至少在光网络中的每个节点上分别设置一个光谱特征分析模块,所述光谱特征分析模块,接收并预处理相对应的光谱感知采集单元的所述待测光谱数据向量以及提取所述待测光谱数据向量的基本参数并将所提取的基本参数存储至光谱识别数据库中;
所述光谱特征分析模块,将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出光信号的光源标识,以及在所述光源标识为合法光源标识时,解析所述合法光源标识以提取所述合法光源标识对应的基本参数,并验证所述合法光源标识对应的基本参数与所述光谱识别数据库中的所述光信号的基本参数是否一致,若验证结果为一致,确定光信号的光源认证通过;
所述光谱特征分析模块,将自身光信号的光源认证结果泛洪至其他各个光谱特征分析模块,以及接收其他各个光谱特征分析模块所泛洪的其他光信号的光源认证结果,并根据所述自身光信号的光源认证结果和其他光信号的光源认证结果确定光路径;
或者,各个所述光谱特征分析模块将各个光信号的光源认证结果上报至协同分析处理中心;
所述协同分析处理中心根据各个光信号的光源认证结果确定光路径。
如上所述的方法,所述根据所述自身光信号的光源认证结果和其他光信号的光源认证结果确定光路径,包括:
分别解析自身光信号的光源认证结果和其他光信号的光源认证结果,确定属于同一光源的光信号所经过的各个节点,将各个节点进行连接形成所述光路径;
或者,所述协同分析处理中心根据各个光信号的光源认证结果确定光路径,包括:
分别解析各个光信号的光源认证结果,确定属于同一光源的光信号所经过的各个节点,将各个节点进行连接形成所述光路径。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1为本发明一实施例的光谱分析方法的流程示意图;
图2为本发明另一实施例的光谱分析方法的流程示意图;
图3为本发明又一实施例的光谱分析方法的流程示意图;
图4为本发明再一实施例的光谱分析方法的流程示意图;
图5为本发明一实施例的多节点协同光谱分析方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的光谱分析方法及多节点协同光谱分析方法。
图1为本发明一实施例的光谱分析方法的流程示意图。如图1所示,该方法包括以下步骤:
S101、采集光网络中预设节点处所传输的光信号的待测光谱数据和提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量,执行步骤S102。
具体地,光网络的节点可以理解为光网络中的光交换节点,包括光发射机(激光光源)、光接收机、光放大器等,本实施例中的预设节点可以是光网络中的任一节点。光源发出的光信号经链路传输至各个节点中,在光网络中,可能不止一个光源,相应地,节点所发出的光信号可能对应不同的光源。
在本实施例中,可以对需要进行光谱分析的节点安装光谱感知采集单元,利用光谱感知采集单元采集节点的所发出光信号的相关信息。光谱感知采集单元可以理解为可以对光信号进行光谱分析的仪器,例如,光谱感知采集单元可以是光谱分析仪。
具体地,采集预设节点所发出的光信号的光谱数据,同时提取光信号的基本参数。在本实施例中,基本参数可以是采集光信号的光端口、波长编号、光纤编号、模式编号、纤芯编号、采集单元的ID(identity,身份标识号)、采集单元的位置信息、采集时间,但并不以此为限。需要说明的是,采集单元可以理解为用来对节点进行光谱分析的诸如光谱分析仪等光谱感知采集单元。
在本实施例中,在采集到光信号的光谱数据和提取到光信号的基本参数之后,将光信号的光谱数据和基本参数整合成光信号对应的待测光谱数据向量。举例来说,将诸如采集光信号的光端口、波长编号、光纤编号、模式编号、纤芯编号、采集单元的ID、采集单元的位置信息、采集时间等基本信息,添加在待测光谱数据的标记位,形成待测数据向量。
需要说明的是,步骤S102-步骤S104可以由本地的光谱特征分析单元执行,也可以由集中式的全网统一的光谱特征分析处理单元,但并不以此为限。举例来说,光网络中设置了多个分布式的光谱特征分析处理单元,各个光谱特征分析处理单元可以在本地对所采集到的光谱数据进行分析处理;或者是,光网络中设置了集中式的全网统一的光谱特征分析处理单元,用来对各个节点所采集到的光谱数据进行分析处理。
S102、对所述待测光谱数据向量进行预处理以及提取所述待测光谱数据向量的基本参数,执行步骤S103或执行步骤S104。
在本实施例中,对待测光谱数据向量可以进行如下的数据预处理:将待测光谱数据向量经过映射矩阵进行映射,得到映射后的待测光谱数据向量。例如,映射矩阵可以是线性归一化操作对应的矩阵,采用线性归一化操作对应的矩阵对待测光谱数据向量进行映射时,将光谱功率最大值映射为1,将光谱功率最小值映射为0,将光谱功率的其余值按比例进行线性缩放,得到归一化的待测光谱数据向量。
在本实施例中,对待测光谱数据向量的标志位数据进行提取。具体地,标志位数据为诸如采集光信号的光端口、波长编号、光纤编号、模式编号、纤芯编号、采集单元的ID、采集单元的位置信息、采集时间等基本信息。这些基本信息用来和光源识别时进行对比验证。
S103、将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识,以及在所述光源标识包括合法光源标识时,从光谱识别数据库获取所述合法光源标识的相关业务信息,并验证所述合法光源标识的相关业务信息是否存在所述待测光谱数据向量的基本参数,若验证结果为存在,确定光信号的光源认证通过。
在本实施例中,事先基于人工智能技术构建了光源分类模型,光源分类模型是通过采用海量的训练数据训练得到的,且训练数据均对应合法光源,这样光源分类模型就可以对多个的光源进行识别并识别出光源标识,被光源分类模型识别出的光源为合法光源,未被光源分类模型识别出的光源为非法光源。举例来说,光源分类模型可以识别的合法光源的类别总数为K,相应地,光源分类模型输出的光源标识为1、2、……K,其中,K为正整数;当光源分类模型的识别结果为非法光源时,光源分类模型输出的光源标识为-1。需要指出的是,光源标识的定义并不限于举例说明,只要能表征出光源的类别就行。
需要指出的是,事先构建了光谱识别数据库,光谱识别数据库存储了光源的相关业务信息、光源标识、以及光源标识和光源标识的相关业务信息的对应关系。根据光源标识查询光谱识别数据库就可以获取到相对应的光源标识的相关业务信息。
光源发出的光信号可以经过不同的光路径到达不同的节点,合法光源的目的节点是事先设定好的,相对应地,与合法光源相关的节点的相关信息是可以获知的,在此,整合与合法光源相关的节点的相关信息形成光源标识的相关业务信息。举例来说,合法光源经过的节点为10个,收集这10个节点的诸如采集光信号的光端口、波长编号、光纤编号、模式编号、纤芯编号、采集单元的ID、采集单元的位置信息、采集时间等基本信息,形成该合法光源的相关业务信息。
在本实施例中,先由光源分类模型识别节点的光信号来自于哪个光源,接着根据识别到的光源标识查询光谱识别数据库获取该识别到的光源的相关业务信息,再接着,比对光源的相关业务信息和当前节点的光信号对应的基本参数,判断光源的相关业务信息中是否存在当前节点的光信号对应的基本参数,若判断结果为存在,说明该节点为事先许可用来传输光源的节点,反之,说明该节点为事先未被许可的用来传输光源的节点。
本实施例先通过光源分类模型识别光源之后,再将光信号的基本参数和预存在光谱识别数据库中光源的相关业务信息进行比对验证,验证通过后识别出的光源才为合法光源,相应地,节点所传输的光信号为合法信号,实现了更加有效地甄别合法信号和非法信号,以及提升了光网络的安全性。
S104、获取光源的原始光谱数据并进行预处理,以及根据预处理后的原始光谱数据和预处理后的待测光谱数据向量获取光路径传输矩阵,并将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识。
具体地,可以利用光谱分析仪等采集光源的原始光谱数据,再利用光谱特征分析单元对所获取的光源的原始光谱数据进行诸如用均值中心化、标准化、归一化、平滑、导数、正交信号校正等常用的光谱预处理方法处理光源的原始光谱数据。
在本实施例中,可以由光谱特征分析单元分析预处理后的原始光谱数据和预处理后的待测光谱数据向量的差异,得到光路径传输矩阵。举例来说,将预处理后的原始光谱数据转化为列向量A,预处理后的待测光谱数据向量记为列向量B,光路径传输矩阵记为Q,其中,A=Q×B,Q=A×B',B'为B的转置矩阵。
在本实施例中,事先基于人工智能技术构建了光路径分类模型,光路径分类模型是通过采用海量的训练数据训练得到的,且训练数据均对应已知的光路径,这样光路径分类模型就可以对光路径进行识别并识别出光路径标识。
本发明实施例提供的光谱分析方法,先通过基于人工智能技术的光源分类模型识别光源之后,再将光信号的基本参数和预存在光谱识别数据库中光源的相关业务信息进行比对验证,验证通过后识别出的光源才为合法光源,相应地,节点所传输的光信号为合法信号,实现了更加有效地甄别合法信号和非法信号,以及提升了光网络的安全性。此外,还通过基于人工智能技术的光路径分类模型识别光路径,光路径分类模型是通过采用海量的训练数据训练得到的,光路径识别效果更好。
图2为本发明另一实施例的光谱分析方法的流程示意图。本实施例主要是上述实施例中的光源分类模型的训练阶段进行说明。需要指出的是,光源分类模型可以由本地的光谱特征分析单元训练历史光谱数据得到,也可以由集中式的全网统一的光谱特征分析处理单元训练历史光谱数据得到,也可以是本地的光谱特征分析单元和集中式的全网统一的光谱特征分析处理单元协调训练历史光谱数据得到,但并不以此为限。
如图2所示,该方法包括以下步骤:
S201、接收光网络中所采集到的历史光谱数据,对所述历史光谱数据进行预处理以获取历史光谱数据向量,并将属于同一光源的历史光谱数据向量添加同一合法光源标识。
具体地,光网络中存在多个光源和多个节点,不同光源的光信号会经链路可能会到达不同的节点,也可能会到达相同的节点。在本实施例中,先收集到的历史光谱数据进行预处理,接着,将属于同一光源的历史光谱数据向量添加同一合法光源标识,以使来自于相同的光源的历史光谱数据聚类在一起。本实施例通过对历史光谱数据按光源类别进行聚类,当利用聚类的历史光谱数据训练光源分类模型,可以使光源分类模型具有更好地分类效果,实现对光信号的光源更准确的识别。
在本实施例中,对历史光谱数据向量也可以进行如下的数据预处理:将历史光谱数据向量经过映射矩阵进行映射,得到映射后的历史光谱数据向量。例如,映射矩阵可以是线性归一化操作对应的矩阵,采用线性归一化操作对应的矩阵对历史光谱数据向量进行映射时,将光谱功率最大值映射为1,将光谱功率最小值映射为0,将光谱功率的其余值按比例进行线性缩放,得到归一化的历史光谱数据向量。
S202、将部分的添加合法光源标识后的历史光谱数据向量作为训练数据集中的样本数据,形成训练数据集,以及将剩余的添加合法光源标识后的历史光谱数据向量作为阈值计算数据集中的样本数据,形成阈值计算数据集。
具体地,在光源分类模型的训练阶段,主要有两大任务,一是利用训练数据集构建光源分类模型,二是当得到光源分类模型后,利用若干的新的样本数据输入到光源分类模型中进行分析,计算每一新的样本数据的损失参数,得到损失参数矩阵,根据损失参数矩阵设置识别阈值。
因此,本实施例对收集到的全部的添加合法光源标识后的历史光谱数据向量进行选取,选取部分的添加合法光源标识后的历史光谱数据向量作为训练光源分类模型的训练数据集,剩余的部分作为阈值计算数据集,用来设置识别阈值。
S203、采用支持向量机算法对所述训练数据集进行训练,将不同合法光源标识的样本数据在高维数据空间中映射,寻找分类界面对所述不同合法光源标识的样本数据进行划分,完成光源分类模型的构建。
具体地,在机器学习中,支持向量机(Support Vector Machine,SVM)是与相关的学习算法有关的监督学习模型,可以分析数据、识别模式,用于分类和回归分析,其在解决非线性、高维模式识别中表现出许多特有的优势。支持向量机的基本原理为:在高维的数据空间中找到一系列的二元分类界面,然后把高维数据空间分成不同的部分,这样,每类数据就分成不同的类别,实现了数据分类。关于支持向量机算法的更多介绍,可以参见现有技术,在此不再赘述。
在本实施例中,将支持向量机与光源分类进行结合,利用支持向量机的分类优势,实现更为准确地识别光源的类别,进而有利于光网络甄别非法信号和合法信号。
具体地,根据支持向量机的原理,被分类界面作用的不同合法光源标识的样本数据会被划分到高维数据空间中的不同部分,被分类界面作用的同一合法光源标识的样本数据会被划分到高维数据空间中的相同部分,分类完成后就完成了光源分类模型的构建,该光源分类模型可以用来识别光信号的光源类别。
S204、将阈值计算数据集输入到光源分类模型中进行分析,获取损失参数矩阵。
在一种可能的实现方式中,步骤S204的具体实现方式包括以下步骤:
S41、将所述阈值计算数据集的第k类合法光源的第j个样本数据点乘光源分类模型的第n个分类界面,得到点积skjn
具体地,光源分类模型中的分类界面的数目N与合法光源的类别总数K有关。例如,N的取值为但并不以此为限。
举例来说,阈值计算数据集包括10种合法光源,则k在1至10的中的正整数中取值。各个合法光源的光信号传输到不同的节点上,这样对于每个合法光源的样本数据就会存在若干个,举例来说,第k类合法光源的样本量为10个,则j在1至10的中的正整数中取值。对训练好的光源分类模型来说,其共有45个分类界面,则n在1至45的中的正整数中取值。那么,第k类合法光源的第j个样本数据点乘光源分类模型的各个分类界面,会得到45个点积。
S42、确定所述阈值计算数据集的第k类合法光源的第j个样本数据被第n个分类界面作用所得到的分类结果ykjn,其中,ykjn的取值为-1、1中的任一数值。
具体地,对ykjn来说,其-1取值代表负样本,其1取值代表正样本,可以理解为被分类界面区分的结果,负样本可以理解为不属于当前类别,正样本可以理解为属于当前类别。
S43、根据以下公式:
得到第k类合法光源的第j个样本数据对应第n个分类界面的损失参数gkjn
需要指出的是,公式(1)表示的是:比较1-ykjnskjn和0的数值大小,将数值较大的除以2,得到第k类合法光源的第j个样本数据对应第n个分类界面的损失参数gkjn
需要指出的是,每个损失参数是一个长度为K的向量,K为合法光源的类别总数。向量中的每个值均为非负值。
需要指出的是,ykjn、skjn、gkjn对应的下标k代表第k类合法光源,j代表第j个样本数据,n代表第n个分类界面。
S44、根据以下公式
获取损失参数矩阵的第j行第k列的元素;其中,所述损失参数矩阵包括M×K个元素,M为所述阈值计算数据集的样本量,K为合法光源的类别总数。
具体地,MLoss(j,k)代表损失参数矩阵的第j行第k列的元素,根据公式(2)可以计算出损失参数矩阵中的各个元素。其中,M为正整数,j在1至M中的正整数中取值,K为正整数,k在1至K中的正整数中取值。
需要指出的是,对于第j个样本数据,在第k类分类时,有一系列的分类界面共N个,对应第n个分类界面时的二元损失参数是gkjn,对N个二元损失参数求和,就是得到对于第j个样本数据,在第k类分类时的损失参数n在1至N中取值。
S205、根据所述损失参数矩阵设置识别阈值。
在一种可能的实现方式中,步骤S205的具体实现方式包括以下步骤:
S51、取所述损失参数矩阵每一行中的最大值,形成向量LarLoss。
举例来说,损失参数矩阵包括M×K个元素,其中,M为10,K为10。对第j行,分别有NLoss(j,k1)、NLoss(j,k2)、NLoss(j,kk)各个损失参数,第j行为第1行至第10行中的任一行,k1、k2……kk依次取值为1、2……10。
根据以下公式:
LarLoss(j)=max(NLoss(j,k1),NLoss(j,k2),…,NLoss(j,kK)) (3)
求取损失参数矩阵第j行中的最大值。
需要指出的是,公式(3)表示的是,从NLoss(j,k1)、NLoss(j,k2)、NLoss(j,kK)共K个损失参数中,选出第j行中的最大值LarLoss(j)。根据公式(3)可以计算出损失参数矩阵中的各行中的最大值。需要指出的是,损失参数矩阵包括M×K个元素,即损失参数矩阵的行数为M行,依次选出各行的最大值,则所形成的向量LarLoss包括M个损失参数。
S52、确定向量LarLoss中的最小值min(LarLoss),以及计算向量LarLoss的标准差σ。
举例来说,向量LarLoss包括M个损失参数,比较M个损失参数的大小,求取值最小的损失参数为min(LarLoss)。标准差的计算参见现有技术,在此不再赘述。
S53、根据以下公式:
Threshold=min(LarLoss)-εσ (4)
设置识别阈值Threshold,其中,ε为经验值。ε的取值根据实际需要设定,例如,ε的取值为3。
在本实施例中,将支持向量机与光源分类进行结合,利用支持向量机的分类优势,实现更为准确地识别光源的类别,进而有利于光网络甄别非法信号和合法信号。
以下对光源分类模型的分析处理阶段进行说明。在图1所示的光谱分析方法中,步骤S103中“将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识”的具体实现方式为:
S31、将所述预处理后的待测光谱数据向量导入光源分类模型中,确定待测光谱数据向量对应的损失参数矩阵。
在利用光源分类模型进行光源识别的分析处理阶段,“确定待测光谱数据向量对应的损失参数矩阵”可以参见光源分类模型的训练阶段“如何获取损失参数矩阵”,即步骤S31的具体实现方式可以参见步骤S204的实现方式,在此不再赘述。
S32、确定待测光谱数据向量对应的损失参数矩阵的每一行中的最大值。
S33、判断所述各行中的最大值是否大于识别阈值,若大于,将各行中的最大值在损失参数矩阵中的列号作为合法光源标识并输出,若小于,输出所述光信号的非法光源标识。
需要指出的是,识别阈值是在训练阶段得到识别阈值Threshold。举例来说,光源分类模型输出的光源标识为1、2、……K,其中,K为正整数;当光源分类模型的识别结果为非法光源时,光源分类模型输出的非法光源标识为-1。
图3为本发明又一实施例的光谱分析方法的流程示意图。在图1所示的光谱分析方法的基础上,在采集光信号的光谱数据之前,事先选取合适的分辨率来采集光信号的光谱数据。
如图3所示,该方法包括以下步骤:
S301、获取已知光源的已知光源标识,以及采集已知光源所发出的光谱数据并进行预处理。
具体地,在光网络中,设置了若干个的光谱感知采集单元,光谱感知采集单元用来采集节点的所传输的光信号的光谱数据。在需要识别光信号的光源是否合法之前,先需要调整光谱感知采集单元的分辨率,进而保证所采集的光谱数据的准确性,降低计算光谱数据的复杂度和难度。在本实施例中,步骤S301可由光网络中的光谱感知采集单元执行,光网络若分布了多个光谱感知采集单元,则需要一一对各个光谱感知采集单元的分辨率进行调整。
在本实施例中,对采集已知光源所发出的光谱数据可以进行如下的预处理:首先,将已知光源所发出的光谱数据转换成已知光谱数据向量。接着,将已知光谱数据向量经过映射矩阵进行映射,得到映射后的已知光谱数据向量。例如,映射矩阵可以是线性归一化操作对应的矩阵,采用线性归一化操作对应的矩阵对已知光谱数据向量进行映射时,将光谱功率最大值映射为1,将光谱功率最小值映射为0,将光谱功率的其余值按比例进行线性缩放,得到归一化的已知光谱数据向量。
S302、将所述预处理后的已知光源所发出的光谱数据导入光源分类模型中进行光源识别,输出所述已知光源的识别光源标识,以及根据所述已知光源标识和识别光源标识确定识别准确率。
具体地,步骤S302可以由本地的光谱特征分析单元执行,也可以由集中式的全网统一的光谱特征分析处理单元,但并不以此为限。举例来说,光网络中设置了多个分布式的光谱特征分析处理单元,各个光谱特征分析处理单元可以在本地对所采集到的光谱数据进行分析处理;或者是,光网络中设置了集中式的全网统一的光谱特征分析处理单元,用来对各个节点所采集到的光谱数据进行分析处理。
在本实施例中,光源分类模型具有很好地分类效果,实现对光信号的光源的准确的识别。由于事先时知晓了已知光源,再利用光源分类模型识别已知光源的类别,根据已知光源和识别出的光源来计算识别准确率。如果准确率比较低,说明光谱感知采集单元的分辨率未调整好,所采集到光谱数据有些失真,导致光源分类模型识别偏差,反之,如果准确率比较高,说明光谱感知采集单元的分辨率已调整好,所采集到光谱数据符合实际,光源分类模型识别效果好。
S303、根据识别准确率调整采集光信号的分辨率。
具体地,步骤S303可由光网络中的光谱感知采集单元执行,光谱感知采集单元调整到合适的分辨率之后,再进行采集待测光谱数据。
本实施例在需要识别光信号的光源是否合法之前,调整采集光信号的分辨率,进而保证所采集的光谱数据的准确性,降低计算光谱数据的复杂度和难度。
在步骤S303之后,再执行步骤S101至步骤S104。
S101、采集光网络中预设节点处所传输的光信号的待测光谱数据和提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量,执行步骤S102。
S102、对所述待测光谱数据向量进行预处理以及提取所述待测光谱数据向量的基本参数,执行步骤S103或执行步骤S104。
S103、将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识,以及在所述光源标识包括合法光源标识时,从光谱识别数据库获取所述合法光源标识的相关业务信息,并验证所述合法光源标识的相关业务信息是否存在所述待测光谱数据向量的基本参数,若验证结果为存在,确定光信号的光源认证通过。
S104、获取光源的原始光谱数据并进行预处理,以及根据预处理后的原始光谱数据和预处理后的待测光谱数据向量获取光路径传输矩阵,并将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识。
本实施例所提供的光谱分析方法,在通过光源分类模型识别光源之前,调整采集光信号的分辨率,进而保证所采集的光谱数据的准确性,降低计算光谱数据的复杂度和难度,有利于提升光源分类模型或光路径分类模型的识别效果。
图4为本发明再一实施例的光谱分析方法的流程示意图。本实施例主要是上述实施例中的光路径分类模型的训练阶段进行说明。需要指出的是,光路径分类模型可以由本地的光谱特征分析单元训练历史光路径传输矩阵得到,也可以由集中式的全网统一的光谱特征分析处理单元训练历史光路径传输矩阵得到,也可以是本地的光谱特征分析单元和集中式的全网统一的光谱特征分析处理单元协调训练历史光路径传输矩阵得到,但并不以此为限。
如图4所示,该方法包括以下步骤:
S401、分别获取光源的原始光谱数据和光网络的历史光谱数据并分别进行预处理,以及根据预处理后的原始光谱数据和预处理后的历史光谱数据获取历史光路径传输矩阵,并将属于同一路径的历史光路径传输矩阵添加同一光路径标识。
具体地,可以利用光谱分析仪等采集光源的原始光谱数据,再利用光谱特征分析单元对所获取的光源的原始光谱数据进行诸如用均值中心化、标准化、归一化、平滑、导数、正交信号校正等常用的光谱预处理方法处理光源的原始光谱数据。
具体地,对来自光网络中的历史光谱数据,可以向将历史光谱数据转换成历史光谱数据,再对历史光谱数据向量也可以进行如下的数据预处理:将历史光谱数据向量经过映射矩阵进行映射,得到映射后的历史光谱数据向量。例如,映射矩阵可以是线性归一化操作对应的矩阵,采用线性归一化操作对应的矩阵对历史光谱数据向量进行映射时,将光谱功率最大值映射为1,将光谱功率最小值映射为0,将光谱功率的其余值按比例进行线性缩放,得到归一化的历史光谱数据向量。
在本实施例中,可以由光谱特征分析单元分析预处理后的原始光谱数据和预处理后的历史光谱数据的差异,得到光路径传输矩阵;接着,将属于同一路径的历史光路径传输矩阵添加同一光路径标识,以使来自于同一光路径标识的历史光路径传输矩阵聚类在一起。
S402、将所述添加光路径标识后的历史光路径传输矩阵作为训练数据集中的样本数据,形成训练数据集。
S403、采用支持向量机算法对所述训练数据集进行训练,将不同光路径标识的样本数据在高维数据空间中映射,寻找分类界面对所述不同光路径标识的样本数据进行划分,完成光路径分类模型的构建。
在本实施例中,将支持向量机与光路径分类进行结合,利用支持向量机的分类优势,实现更为准确地确定光路径。
具体地,根据支持向量机的原理,被分类界面作用的不同光路径标识的样本数据会被划分到高维数据空间中的不同部分,被分类界面作用的同一光路径标识的样本数据会被划分到高维数据空间中的相同部分,分类完成后就完了光路径分类模型的构建,该光路径分类模型可以用来确定光路径。
以下对光源分类模型的分析处理阶段进行说明。在图1所示的光谱分析方法中,步骤S104中“将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识”的具体实现方式为:
S1、将所述光路径传输矩阵导入光路径分类模型中,确定所述光路径传输矩阵对应的损失参数矩阵。
具体地,首先,光路径传输矩阵中的第l类光路径的第i个数据点乘光路径分类模型的第h个分类界面,得到点积slih
其次,确定第l类光路径的第i个数据被第h个分类界面作用所得到的分类结果ylih,其中,ylih的取值为-1、1中的任一数值。
具体地,对ylih来说,其-1取值代表负样本,其1取值代表正样本,可以理解为被分类界面区分的结果,负样本可以理解为不属于当前类别,正样本可以理解为属于当前类别。
再次,根据以下公式:
得到第l类光路径的第i个数据对应第h个分类界面的损失参数glih
需要指出的是,公式(4)表示的是:比较1-ylihslih和0的数值大小,将数值较大的除以2,得到第l类光路径的第i个数据对应第h个分类界面的损失参数glih
需要指出的是,每个损失参数是一个长度为L的向量,L为光路径类别数,向量每个元素均为非负值。
需要指出的是,ylih、slih、glih对应的下标l代表第l类光路径,i代表第i个数据,h代表第h个分类界面。
最后,根据以下公式:
获取光路径传输矩阵对应的损失参数矩阵的第i行第l列的元素。其中,光路径传输矩阵对应的损失参数矩阵包括P×L个元素,P为待测光路径传输矩阵的个数,L为光路径类别数。
需要指出的是,对于第i个数据,在第l类分类时,有一系列的分类界面共H个,对应第h个分类界面时的二元损失参数是glih,对H个二元损失参数求和,就是得到对于第i个数据,在第l类分类时的损失参数
S2、确定所述损失参数矩阵的各行中的最大值,将各行中的最大值在损失参数矩阵中的列号作为所述光信号的光路径标识并输出。
举例来说,光路径分类模型输出的光路径标识为1、2、……L,其中,L为光路径类别数,每一光路径标识对应一条光路径。
图5为本发明一实施例的多节点协同光谱分析方法的流程示意图。该方法的执行主体为多节点协同光谱分析系统,多节点协同光谱分析系统包括至少一个光谱感知采集单元、至少一个光谱特征分析单元、协同分析处理中心,其中,各个光谱感知采集单元与相应的光谱特征分析单元连接,各个光谱特征分析单元均与协同分析处理中心连接。
如图5所示,该方法包括以下步骤:
S501、至少在光网络中的每个节点上分别设置一个光谱感知采集单元,所述光谱感知采集单元采集相对应节点所传输的光信号的待测光谱数据,和提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量,执行步骤S502。
举例来说,在光网络中采用了分布式光谱感知技术,具体地,若干个光谱感知采集单元设置在光网络中,每个光谱感知采集单元采集相应节点的光谱数据。
需要指出的是,步骤S501的具体实现方式可以参见步骤S101的具体实现方式,在此不再赘述。
S502、协同分析处理中心,接收各个光谱感知采集单元所采集的光谱数据,将各个光谱感知采集单元所采集的光谱数据作为训练数据集中的样本数据,基于所述训练数据集训练光源分类模型,并将所述光源分类模型分发至网络中所有光谱特征分析单元,执行步骤S503。
具体地,协同分析处理中心为光网络提供统一的集中处理能力。分布在多个节点的光谱感知采集单元分别对该各个节点的光谱数据进行采集,并集中汇总到协同分析处理中心,
协同分析处理中心利用各个节点的光谱数据创建基于人工智能技术的光源分类模型。在本实施例中,协同分析处理中心可以收集更多的节点的光谱数据,所建立的光源分类模型的识别精度更高。将识别精度更高的光源分类模型分发至各个光谱特征分析单元,以使各个光谱特征分析单元有效的甄别非法信号和合法信号。
关于步骤S502中如何创建基于人工智能技术的光源分类模型,可以参见图2所示的实施例中的训练光源分类模型的具体实现方式,在此不再赘述。
S503、至少在光网络中的每个节点上分别设置一个光谱特征分析单元,所述光谱特征分析单元,接收并预处理相对应的光谱感知采集单元的所述待测光谱数据向量以及提取所述待测光谱数据向量的基本参数并将所提取的基本参数存储至光谱识别数据库中,执行步骤S504。
举例来说,在光网络中采用了分布式光谱特征分析技术,具体地,若干个光谱特征分析单元设置在光网络中,每个光谱特征分析单元可以同时分析处理多个节点的光谱数据,也可以一个光谱特征分析单元分析处理一个节点的光谱数据,在此不做限制。
关于步骤S503的具体实现方式,可以参见图1所示的实施例中的步骤S102的具体实现方式,在此不再赘述。
S504、所述光谱特征分析单元,将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出光信号的光源标识,以及在所述光源标识为合法光源标识时,解析所述合法光源标识以提取所述合法光源标识对应的基本参数,并验证所述合法光源标识对应的基本参数与所述光谱识别数据库中的所述光信号的基本参数是否一致,若验证结果为一致,确定光信号的光源认证通过,执行步骤S505或步骤S506。
关于步骤S504的具体实现方式,可以参见图1所示的实施例中的步骤S103的具体实现方式,在此不再赘述。
以下是对多节点协同光谱分析系统如何确定光路径进行说明。步骤S505对应的是由本地的光谱特征分析单元确定光路径。步骤S506-步骤S507对应的是由协同分析处理中心确定光路径。
S505、所述光谱特征分析单元,将自身光信号的光源认证结果泛洪至其他各个光谱特征分析单元,以及接收其他各个光谱特征分析单元所泛洪的其他光信号的光源认证结果,并根据所述自身光信号的光源认证结果和其他光信号的光源认证结果确定光路径。
具体地,分布在光网络中的各个光谱特征分析单元均将自身分析处理得到的光信号的光源认证结果发送出去,每个光谱特征分析单元均接收其他的光谱特征分析单元所发送的光信号的光源认证结果。举例来说,在光网络中,分布着3个光谱特征分析单元,分别为光谱特征分析单元1、光谱特征分析单元2、光谱特征分析单元3。光谱特征分析单元1会将自身分析处理得到的光信号的光源认证结果发送给光谱特征分析单元2、光谱特征分析单元3,同时光谱特征分析单元1也会接收光谱特征分析单元2、光谱特征分析单元3所发送的光信号的光源认证结果。对光谱特征分析单元1来说,来自于自身分析处理得到的光信号的光源认证结果为自身光信号的光源认证结果,来自于其他的光谱特征分析单元的光信号的光源认证结果为其他光信号的光源认证结果。
在一种可能的实现方式中,“根据所述自身光信号的光源认证结果和其他光信号的光源认证结果确定光路径”的具体实现方式为:分别解析自身光信号的光源认证结果和其他光信号的光源认证结果,确定属于同一光源的光信号所经过的各个节点,将各个节点进行连接形成所述光路径。
举例来说,光谱特征分析单元1分析得到的光信号的光源认证结果为光源A、光源B;光谱特征分析单元2分析得到的光信号的光源认证结果为光源A、光源C;光谱特征分析单元3分析得到的光信号的光源认证结果为光源B、光源C。在构建光网络时,光谱特征分析单元1、光谱特征分析单元2、光谱特征分析单元3分布在光网络中的位置是确定的,光谱特征分析单元1、光谱特征分析单元2、光谱特征分析单元3分别所对应的节点也是确定的,当确定光谱特征分析单元1和光谱特征分析单元2的光源认证结果均有光源A,也就确定了光源A发出的光信号所经过的节点,光源A发出的光信号所经过的节点连接起来,就形成了光源A对应的光路径。同样地,当确定光谱特征分析单元1和光谱特征分析单元3的光源认证结果均有光源B,也就确定了光源B发出的光信号所经过的节点,光源B发出的光信号所经过的节点连接起来,就形成了光源B对应的光路径。同样地,当确定光谱特征分析单元2和光谱特征分析单元3的光源认证结果均有光源C,也就确定了光源C发出的光信号所经过的节点,光源C发出的光信号所经过的节点连接起来,就形成了光源C对应的光路径。
S506、各个所述光谱特征分析单元将各个光信号的光源认证结果上报至协同分析处理中心,步骤S507;
S507、所述协同分析处理中心根据各个光信号的光源认证结果确定光路径。
具体地,协同分析处理中心为光网络提供统一的集中处理能力,由协同分析处理中心集中分析各个光源对应的光路径。
在一种可能的实现方式中,步骤S507的具体实现方式为:分别解析各个光信号的光源认证结果,确定属于同一光源的光信号所经过的各个节点,将各个节点进行连接形成所述光路径。
举例来说,光谱特征分析单元1分析得到的光信号的光源认证结果为光源A、光源B;光谱特征分析单元2分析得到的光信号的光源认证结果为光源A、光源C;光谱特征分析单元3分析得到的光信号的光源认证结果为光源B、光源C。在构建光网络时,光谱特征分析单元1、光谱特征分析单元2、光谱特征分析单元3分布在光网络中的位置是确定的,光谱特征分析单元1、光谱特征分析单元2、光谱特征分析单元3分别所对应的节点也是确定的,当确定光谱特征分析单元1和光谱特征分析单元2的光源认证结果均有光源A,也就确定了光源A发出的光信号所经过的节点,光源A发出的光信号所经过的节点连接起来,就形成了光源A对应的光路径。同样地,当确定光谱特征分析单元1和光谱特征分析单元3的光源认证结果均有光源B,也就确定了光源B发出的光信号所经过的节点,光源B发出的光信号所经过的节点连接起来,就形成了光源B对应的光路径。同样地,当确定光谱特征分析单元2和光谱特征分析单元3的光源认证结果均有光源C,也就确定了光源C发出的光信号所经过的节点,光源C发出的光信号所经过的节点连接起来,就形成了光源C对应的光路径。
本发明实施例提供的多节点协同光谱分析方法,通过将分布在光网络中的各个光谱感知采集单元所采集的光网络中若干节点的光谱数据上传至协同分析处理中心;由协同分析处理中心创建用于识别光源的光源分类模型并分发至分布在光网络中的各个光谱特征分析单元;光谱特征分析单元利用光源分类模型进行光源识别,各个光谱特征分析单元利用自身的光信号的光源认证结果与其他的光源认证结果进行协同分析处理,确定同一光源的光信号所经过的各个节点并得到该光源的光路径,或者,各个光谱特征分析单元将自身的光信号的光源认证结果上传至协同分析处理中心,由协同分析处理中心对各个光信号的光源认证结果进行协同分析处理,确定同一光源的光信号所经过的各个节点并得到该光源的光路径。该方法利用协同分析处理中心可以收集更多的节点的光谱数据,所建立的光源分类模型的识别精度更高,将识别精度更高的光源分类模型分发至各个光谱特征分析单元,以使各个光谱特征分析单元有效的甄别非法信号和合法信号。同时,对各个光信号的光源认证结果进行协同分析处理,更为准确地确定的光源的光路径。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种光谱分析方法,其特征在于,包括:
采集光网络中预设节点处所传输的光信号的待测光谱数据,并提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量;
对所述待测光谱数据向量进行预处理以及提取所述待测光谱数据向量的基本参数;
将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识,以及在所述光源标识包括合法光源标识时,从光谱识别数据库获取所述合法光源标识的相关业务信息,并验证所述合法光源标识的相关业务信息中是否存在所述待测光谱数据向量的基本参数,若验证结果为存在,确定光信号的光源认证通过;
或者,获取光源的原始光谱数据并进行预处理,以及根据预处理后的原始光谱数据和预处理后的待测光谱数据向量获取光路径传输矩阵,并将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识。
2.如权利要求1所述的方法,其特征在于,还包括:
接收光网络中所采集到的历史光谱数据,对所述历史光谱数据进行预处理以获取历史光谱数据向量,并将属于同一光源的历史光谱数据向量添加同一合法光源标识;
将部分的添加合法光源标识后的历史光谱数据向量作为训练数据集中的样本数据,形成训练数据集,以及将剩余的添加合法光源标识后的历史光谱数据向量作为阈值计算数据集中的样本数据,形成阈值计算数据集;
采用支持向量机算法对所述训练数据集进行训练,将不同合法光源标识的样本数据在高维数据空间中映射,寻找分类界面对所述不同合法光源标识的样本数据进行划分,完成光源分类模型的构建;
将阈值计算数据集输入到所述光源分类模型中进行分析,获取损失参数矩阵;
根据所述损失参数矩阵设置识别阈值。
3.如权利要求1所述的方法,其特征在于,所述将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出所述光信号的光源标识,包括:
将所述预处理后的待测光谱数据向量导入光源分类模型中,确定待测光谱数据向量对应的损失参数矩阵;
确定待测光谱数据向量对应的损失参数矩阵的每一行中的最大值;
判断所述各行中的最大值是否大于识别阈值,若大于,将各行中的最大值在损失参数矩阵中的列号作为合法光源标识并输出,若小于,输出所述光信号的非法光源标识。
4.如权利要求2所述的方法,其特征在于,所述将阈值计算数据集输入到所述光源分类模型中进行分析,获取损失参数矩阵,包括:
将所述阈值计算数据集的第k类合法光源的第j个样本数据点乘光源分类模型的第n个分类界面,得到点积skjn
确定所述阈值计算数据集的第k类合法光源的第j个样本数据被第n个分类界面作用所得到的分类结果ykjn,其中,ykjn的取值为-1、1中的任一数值;
根据以下公式:
得到第k类合法光源的第j个样本数据对应第n个分类界面的损失参数gkjn
根据以下公式
获取损失参数矩阵的第j行第k列的元素;其中,所述损失参数矩阵包括M×K个元素,N为所述阈值计算数据集的样本量,K为合法光源的类别总数。
5.如权利要求2所述的方法,其特征在于,所述根据所述损失参数矩阵设置识别阈值,包括:
取所述损失参数矩阵每一行中的最大值,形成向量LarLoss;
确定向量LarLoss中的最小值,以及计算向量LarLoss的标准差;
根据以下公式:
Threshold=min(LarLoss)-εσ
设置识别阈值Threshold,其中,ε为经验值。
6.如权利要求1所述的方法,其特征在于,在所述采集光网络中预设节点处所传输的光信号的待测光谱数据之前,还包括:
获取已知光源的已知光源标识,以及采集已知光源所发出的光谱数据并进行预处理;
将所述预处理后的已知光源所发出的光谱数据导入光源分类模型中进行光源识别,输出所述已知光源的识别光源标识,以及根据所述已知光源标识和识别光源标识确定识别准确率;
根据识别准确率调整采集光信号的分辨率。
7.如权利要求1所述的方法,其特征在于,还包括:
分别获取光源的原始光谱数据和光网络的历史光谱数据并分别进行预处理,以及根据预处理后的原始光谱数据和预处理后的历史光谱数据获取历史光路径传输矩阵,并将属于同一路径的历史光路径传输矩阵添加同一光路径标识;
将所述添加光路径标识后的历史光路径传输矩阵作为训练数据集中的样本数据,形成训练数据集;
采用支持向量机算法对所述训练数据集进行训练,将不同光路径标识的样本数据在高维数据空间中映射,寻找分类界面对所述不同光路径标识的样本数据进行划分,完成光路径分类模型的构建。
8.如权利要求7所述的方法,其特征在于,所述将所述光路径传输矩阵导入光路径分类模型中进行光路径识别,输出所述光信号的光路径标识,包括:
将所述光路径传输矩阵导入光路径分类模型中,确定所述光路径传输矩阵对应的损失参数矩阵;
确定所述损失参数矩阵的各行中的最大值,将各行中的最大值在损失参数矩阵中的列号作为所述光信号的光路径标识并输出。
9.一种多节点协同光谱分析方法,其特征在于,包括:
至少在光网络中的每个节点上分别设置一个光谱感知采集单元,所述光谱感知采集单元采集相对应节点所传输的光信号的待测光谱数据,和提取所述光信号的基本参数,以及根据所述待测光谱数据和所述基本参数构建所述光信号对应的待测光谱数据向量;
协同分析处理中心,接收各个光谱感知采集单元所采集的光谱数据,将各个光谱感知采集单元所采集的光谱数据作为训练数据集中的样本数据,基于所述训练数据集训练光源分类模型,并将所述光源分类模型分发至网络中所有光谱特征分析模块;
至少在光网络中的每个节点上分别设置一个光谱特征分析模块,所述光谱特征分析模块,接收并预处理相对应的光谱感知采集单元的所述待测光谱数据向量以及提取所述待测光谱数据向量的基本参数并将所提取的基本参数存储至光谱识别数据库中;
所述光谱特征分析模块,将所述预处理后的待测光谱数据向量导入光源分类模型中进行光源识别,输出光信号的光源标识,以及在所述光源标识为合法光源标识时,解析所述合法光源标识以提取所述合法光源标识对应的基本参数,并验证所述合法光源标识对应的基本参数与所述光谱识别数据库中的所述光信号的基本参数是否一致,若验证结果为一致,确定光信号的光源认证通过;
所述光谱特征分析模块,将自身光信号的光源认证结果泛洪至其他各个光谱特征分析模块,以及接收其他各个光谱特征分析模块所泛洪的其他光信号的光源认证结果,并根据所述自身光信号的光源认证结果和其他光信号的光源认证结果确定光路径;
或者,各个所述光谱特征分析模块将各个光信号的光源认证结果上报至协同分析处理中心;
所述协同分析处理中心根据各个光信号的光源认证结果确定光路径。
10.如权利要求9所述的方法,其特征在于,所述根据所述自身光信号的光源认证结果和其他光信号的光源认证结果确定光路径,包括:
分别解析自身光信号的光源认证结果和其他光信号的光源认证结果,确定属于同一光源的光信号所经过的各个节点,将各个节点进行连接形成所述光路径;
或者,所述协同分析处理中心根据各个光信号的光源认证结果确定光路径,包括:
分别解析各个光信号的光源认证结果,确定属于同一光源的光信号所经过的各个节点,将各个节点进行连接形成所述光路径。
CN201810081812.1A 2018-01-29 2018-01-29 基于光谱分析的光网络的光源及光路径识别方法 Active CN108429589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810081812.1A CN108429589B (zh) 2018-01-29 2018-01-29 基于光谱分析的光网络的光源及光路径识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810081812.1A CN108429589B (zh) 2018-01-29 2018-01-29 基于光谱分析的光网络的光源及光路径识别方法

Publications (2)

Publication Number Publication Date
CN108429589A true CN108429589A (zh) 2018-08-21
CN108429589B CN108429589B (zh) 2020-02-07

Family

ID=63156040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810081812.1A Active CN108429589B (zh) 2018-01-29 2018-01-29 基于光谱分析的光网络的光源及光路径识别方法

Country Status (1)

Country Link
CN (1) CN108429589B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908148A (zh) * 2023-09-12 2023-10-20 中国科学技术大学 一种基于复杂度分析的光谱检测控制系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02202149A (ja) * 1989-01-30 1990-08-10 Nec Corp 光中継器
CN1435018A (zh) * 1999-12-17 2003-08-06 康宁O.T.I股份公司 锁定光信号波长的方法和装置
US20090010641A1 (en) * 2006-02-21 2009-01-08 Congqi Li Method and apparatus for loading, detecting, and monitoring channel-associated optical signals
CN104463247A (zh) * 2014-12-09 2015-03-25 山东大学 一种高光谱图像分类中光谱向量互相关特征的抽取方法
CN107014756A (zh) * 2017-04-17 2017-08-04 成都曙光光纤网络有限责任公司 一种光谱测试系统光源设计方法
CN107622502A (zh) * 2017-07-28 2018-01-23 南京航空航天大学 复杂光照条件下视觉导引系统的路径提取与识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02202149A (ja) * 1989-01-30 1990-08-10 Nec Corp 光中継器
CN1435018A (zh) * 1999-12-17 2003-08-06 康宁O.T.I股份公司 锁定光信号波长的方法和装置
US20090010641A1 (en) * 2006-02-21 2009-01-08 Congqi Li Method and apparatus for loading, detecting, and monitoring channel-associated optical signals
CN104463247A (zh) * 2014-12-09 2015-03-25 山东大学 一种高光谱图像分类中光谱向量互相关特征的抽取方法
CN107014756A (zh) * 2017-04-17 2017-08-04 成都曙光光纤网络有限责任公司 一种光谱测试系统光源设计方法
CN107622502A (zh) * 2017-07-28 2018-01-23 南京航空航天大学 复杂光照条件下视觉导引系统的路径提取与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANLONG LI,ETAL.: "Light Source and Trail Recognition via Optical Spectrum Feature Analysis for Optical Network Security", 《IEEE COMMUNICATIONS LETTERS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116908148A (zh) * 2023-09-12 2023-10-20 中国科学技术大学 一种基于复杂度分析的光谱检测控制系统及方法
CN116908148B (zh) * 2023-09-12 2024-01-09 中国科学技术大学 一种基于复杂度分析的光谱检测控制系统及方法

Also Published As

Publication number Publication date
CN108429589B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN111027378B (zh) 行人重识别的方法、装置、终端及存储介质
Demir et al. Batch-mode active-learning methods for the interactive classification of remote sensing images
CN107808139B (zh) 一种基于深度学习的实时监控威胁分析方法及系统
CN105184319B (zh) 光纤周界入侵信号的识别方法、装置及周界入侵报警系统
CN110245496A (zh) 一种源代码漏洞检测方法及检测器和其训练方法及系统
CN110019074B (zh) 访问路径的分析方法、装置、设备及介质
CN108985361A (zh) 一种基于深度学习的恶意流量检测实现方法和装置
CN110213287A (zh) 一种基于集成机器学习算法的双模式入侵检测装置
CN112491796B (zh) 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法
CN103577838A (zh) 一种人脸识别方法和装置
CN111915437B (zh) 基于rnn的反洗钱模型的训练方法、装置、设备及介质
CN106650605B (zh) 一种基于机器学习的Morse信号自动检测译码方法
CN107368856A (zh) 恶意软件的聚类方法及装置、计算机装置及可读存储介质
CN108229485A (zh) 用于测试用户界面的方法和装置
CN107360152A (zh) 一种基于语义分析的Web威胁感知系统
CN108664538A (zh) 一种输变电设备疑似家族性缺陷的自动辨识方法及系统
CN109919135A (zh) 基于深度学习的行为检测方法、装置
CN107895171A (zh) 一种基于k均值与深度置信网络的入侵检测方法
CN110830489A (zh) 基于内容抽象表示的对抗式欺诈网站检测方法及系统
Fan et al. An interactive visual analytics approach for network anomaly detection through smart labeling
CN110516748A (zh) 业务处理方法、装置、介质及电子设备
CN112926045A (zh) 一种基于逻辑回归模型的群控设备识别方法
CN111614576A (zh) 一种基于小波分析和支持向量机的网络数据流量识别方法及系统
CN105590089A (zh) 一种人脸识别方法及装置
CN116976318A (zh) 基于深度学习和模型推理的电网倒闸操作票智能审核系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant