CN110399970B - 小波卷积小波神经网络及情报分析方法与系统 - Google Patents

小波卷积小波神经网络及情报分析方法与系统 Download PDF

Info

Publication number
CN110399970B
CN110399970B CN201910377383.7A CN201910377383A CN110399970B CN 110399970 B CN110399970 B CN 110399970B CN 201910377383 A CN201910377383 A CN 201910377383A CN 110399970 B CN110399970 B CN 110399970B
Authority
CN
China
Prior art keywords
layer
network
calculation
output
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910377383.7A
Other languages
English (en)
Other versions
CN110399970A (zh
Inventor
刘经纬
左芳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CAPITAL UNIVERSITY OF ECONOMICS AND BUSINESS
Original Assignee
CAPITAL UNIVERSITY OF ECONOMICS AND BUSINESS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CAPITAL UNIVERSITY OF ECONOMICS AND BUSINESS filed Critical CAPITAL UNIVERSITY OF ECONOMICS AND BUSINESS
Priority to CN201910377383.7A priority Critical patent/CN110399970B/zh
Publication of CN110399970A publication Critical patent/CN110399970A/zh
Application granted granted Critical
Publication of CN110399970B publication Critical patent/CN110399970B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提出了小波卷积小波神经网络及情报分析方法与系统，小波卷积小波神经网络及情报分析方法(1000)，包括情报处理流程(100)、全段前向计算流程(200)、wCwNN训练计算流程(300)；可以应用到模式识别、拟合预测、智慧城市、智能警务安防和智能交管领域。该方法包括情报处理、全段网络前向计算、全段网络训练计算流程。该系统包括不受控系统、前端情报板、网络安全与交换设备、海量情报服务器、高性能情报分析器、情报监察控制器。该方法与系统应用时可以通过物联网采集不受控系统大数据信息，快速完成训练，高精度完成智能计算，实现高性能智能系统。

Description

小波卷积小波神经网络及情报分析方法与系统
技术领域
本发明提出了一种小波卷积小波神经网络及情报分析方法与系统，可以应用到模式识别、拟合预测、智慧城市、智能警务安防和智能交管领域。
背景技术
“大智移云”新工科新时代，大数据、人工智能、移动互联网、物联网、互联网、云计算技术飞速发展。以深度学习为代表的人工智能方法与技术向人类提出了挑战：计算机在围棋和电子竞技领域先后战胜了人类。
卷积神经网络CNN是经典的深度学习算法，在图像识别领域取得了举世瞩目的公认的成就。小波分析被称为数学显微镜，在信号分析领域具有极强的辨识能力。
发明内容
本发明的目的在于：(1)使深度学习的速度更快、精度更高。(2)实现对世界中大数据进行采集、存储、智能分析、监视和控制。(3)解决安防、交管、维稳、智慧城市领域的需求。
本发明提出了一种新方法，将CNN和小波分析技术深度结合，使其具有更快速度和更高精度的神经网络，即小波卷积小波神经网网络，简写为：wCwNN。同时，本发明提出了一种新系统，应用wCwNN方法，可以通过物联网采集不受控系统大数据信息，快速完成训练，高精度完成智能计算，实现高性能智能系统。
为了实现上述目的，本发明采取了如下技术方案：
1、小波卷积小波神经网络及情报分析方法与系统，小波卷积小波神经网络及情报分析方法(1000)参见图1，包括情报处理流程(100)、全段前向计算流程(200)、wCwNN训练计算流程(300)，其中wCwNN是小波卷积小波神经网络的英文首字母缩写；基于小波卷积小波神经网络及情报分析方法的系统(2000) 参见图2，包括：不受控系统(6)、前端情报板(1)、网络安全与交换设备(2)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)；
1.1小波卷积小波神经网络及情报分析方法(1000)，其特征在于：
1.1.1、情报处理流程(100)，其特征在于：由以下步骤构成：
步骤101——情报处理流程(100)开始：前端情报板(1)和海量情报服务器(3)启动并进行通讯；如果通讯正常，则进入步骤102，如果通讯异常，则在前端情报板(1)和海量情报服务器(3)中报警；之后进入步骤102；
步骤102——情报采集：前端情报板(1)通过视频图像采集装置(1.6)对监控场景(6.1)进行图像采集，发送给海量情报服务器(3)；前端情报板(1) 或海量情报服务器(3)对互联网(6.2)进行文本信息抓取，发送给海量情报服务器(3)；之后进入步骤103；
步骤103——情报存储：海量情报服务器(3)接收来自前端情报板(1)采集的图像信息并存储；海量情报服务器(3)接收来自前端情报板(1)和海量情报服务器(3)抓取的文本信息并存储；之后进入步骤104；
步骤104——特征提取：该步骤104能够跳过；该步骤104是通过人脸检测算法将人脸照片区域图像裁剪为新的图片信息；该步骤104是通过自然语言特征提取算法将文本信息映射为特征向量；之后进入步骤105；
步骤105——wCwNN参数设置，步骤105是整个方法的核心步骤，定义了程序和wCwNN网络的关键参数；
以下wCwNN涉及到的所有权值、参数、神经元结点的值将存放在wCwNN 模块的寄存器中，wCwNN神经网络的输入是采集的信息，神经网络的输出是采集信息经过计算的结果和分类标签；下列各公式表示本发明系统将上述采集信息的输入，按照上述权值、参数在上述神经元结点中进行计算，计算的结果为上述输出和分类标签；神经网络各层节点的物理意义是本系统对采集信息的理解信息；
步骤105.1——网络结构参数设置：
105.1.1前段网络、后段网络及各层的相关定义：wCwNN网络分为前段网络和后段网络，前段网络为卷积池化网络，其中卷积层的激活函数为小波尺度变换函数，后段网络为小波神经网络；
wCwNN网络前段网络(卷积池化网络)第1层为样本的输入层，第2层为第1个卷积层，第3层为第1个池化层，第4层为第2个卷积层，第5层为第2 个池化层，以此类推；
wCwNN后段网络(小波神经网络wNN)最后一层(第-1层)为wNN输出层，倒数第2层(第-2层)开始至倒数第h-1层(第-(h-1)层)是wNN隐含层，倒数第h层(第-h层)是wNN输入层；倒数第h+1层(第-(h+1)层)是wCwNN 网络前段网络(卷积池化网络)的最后一层；
105.1.2卷积层输入输出定义：
如果第l层是wCwNN前段网络的卷积层，具有featurel个卷积核即输出特征数，该卷积层的输入维度为sizeNetl，经过卷积计算后输出维度为sizeOl，则经过featurel个卷积核的卷积计算后，将会产生featurel个特征，每个特征的维度为sizeOl；如果定义该层卷积核的大小为sizeCl×sizeCl，则卷积计算后产生的featurel个特征中的每个特征的维度sizeOl的计算公式为：
sizeOl＝(sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1) (1)
105.1.3池化层输入输出定义：
如果第l层是wCwNN前段网络的池化层，该池化层的层池化窗大小为 sizePl×sizePl，该层输入维度为sizeNetl；则经过池化计算后的输出维度 sizeOl的计算公式为：
Figure RE-GDA0002201692200000031
105.1.4后段网络wNN网络相关定义：
如果第l层是wCwNN后段网络(小波神经网络wNN)的第1层(输入层)，则第l+1层为小波神经网络的第2层(隐含层)，第l+2层为小波神经网络的第3层(输出层)；则wCwNN的后段网络wNN的结构参数如下：
定义在时刻t(第t次训练计算中)，第l层第i个神经元的输入是
Figure RE-GDA0002201692200000032
经过激活函数计算后，该第i个神经元的输出是
Figure RE-GDA0002201692200000033
根据上述定义：如果wNN输入层一共有M个神经元，每个神经元的输入为：
Figure RE-GDA0002201692200000034
则输出为：
Figure RE-GDA0002201692200000035
如果wNN隐含层一共有Q个神经元，每个神经元的输入为：
Figure RE-GDA0002201692200000036
则输出为：
Figure RE-GDA0002201692200000037
如果wNN输出层一共有L个神经元则每个神经元的输入为：
Figure RE-GDA0002201692200000038
则每个神经元的输出为
Figure RE-GDA0002201692200000039
定义wNN的输入层与隐含层各神经元之间的连接权值矩阵
Figure RE-GDA00022016922000000310
隐含层与输出层各神经元之间的连接权值矩阵
Figure RE-GDA00022016922000000311
隐含层神经元的活化函数尺度变换参数矩阵为aj(t)和bj(t)；其中i＝1，2，…，M，j＝1，2，…，Q，k＝1，2，…，L；
i、j、k表示各层神经网络神经元的编号，因为各神经元都是存放在数组里，因此i、j、k也表示存放神经元取值的数组的列号，也就是神经网络的维度编号，神经网络输入层神经元编号对应着样本数据输入的维度编号，神经网络输出层神经元编号对应着样本数据标签值的维度编号；
步骤105.2——网络权值初始化设置：
如果第l层是wCwNN前段网络的卷积层，则初始化尺度变换参数为
Figure RE-GDA0002201692200000041
和
Figure RE-GDA0002201692200000042
第l层与第l-1层之间的卷积核为
Figure RE-GDA0002201692200000043
其中l＝1，3，5，…，n，此处的n表示最后一个卷积层的层号；
如果第l层是wCwNN后段网络wNN的隐含层，则初始化尺度变换参数为 Aj和Bj，则第l层与第l-1层之间的连接权值为
Figure RE-GDA0002201692200000044
第l+1层与第l层之间的连接权值为
Figure RE-GDA0002201692200000045
生成的神经网络权值与参数并保存：各权值和尺度变换参数均可初始化为RandomFloatBetween(0，1)，其中RandomFloatBetween(0，1)表示随机产生的 (0，1)区间内的随机小数；
保存上述随机生成的各权值和参数
Figure RE-GDA0002201692200000046
阼为训练流程的初始化参数；
步骤105.3——训练程序参数初始化：
初始化wCwNN前段网络的学习率为AlphaWC，wCwNN后段网络的学习率为AlphaWNN，学习率决定每个训练时刻t，参数调整量作用于参数变化量的百分比，取值范围为：(0，1]；
初始化wCwNN后段网络的惯性系数为LA，惯性系数决定上一个训练时刻 t-1，各参数取值保持不变的比例，取值范围为：(0，1]；
初始化每个训练时刻t，投入训练的样本数量为BATCHSIZE个，如果样本总数量为1000，则BATCHSIZE取5或者10，即总样本数量的
Figure RE-GDA0002201692200000047
初始化训练的最大周期次数为LOOP_MAX，则训练开始后，训练时刻t的取值范围为1≤t≤LOOP_MAX；
初始化目标差为ERROR_TARGET，表示经过多个训练周期，误差如果下降到小于ERROR_TARGET，则训练达到目标而停止；
步骤106——处理流程选择：如果选择训练，则跳转至步骤130；如果选择分析，则跳转至步骤120；如果选择结束，则跳转至步骤190；
步骤130——训练：进入wCwNN训练流程(300)进行机器学习，结束后进入步骤131；
步骤131——训练结果保存：将训练(300)结果进行保存，用于分析(120)；之后跳转至步骤106，重新进行处理流程选择；
步骤120——分析：进入wCwNN前向计算流程(200)进行前向计算，计算得到结果后进入步骤121；
步骤121——分析结果监控：将步骤120的分析结果发送到情报监察控制器 (5)的进行显示；之后跳转至步骤106，重新进行处理流程选择；
步骤190——结束：情报处理流程(100)结束。
1.1.2、wCwNN前向计算流程(200)，其特征在于：由以下步骤构成：
步骤201——wCwNN前向计算流程(200)开始；该流程的输入为：
(1)单个样本数据的输入：表示为X1(t)，位于wCwNN第一层(第l＝1 层)，由M个元素构成，也可以表示为
Figure RE-GDA0002201692200000051
wCwNN的第一层神经元的输入与输出相同，且与单个样本数据的输入相对应，表示为O1(t)，也可以表示为
Figure RE-GDA0002201692200000052
j表示神经元结点的编号；
(2)与上述单个样本数据的输入对应的标签值：表示为Y-1(t)，位于wCwNN 最后一层(第l＝-1层)，标签值的维度为L，也能够写为
Figure RE-GDA0002201692200000053
k表示样本的标签的维度编号；
步骤202——初始化计算：
读取wCwNN前段网络卷积层的卷积核参数
Figure RE-GDA0002201692200000054
小波变换中的平移因了
Figure RE-GDA0002201692200000055
伸缩因子
Figure RE-GDA0002201692200000056
其中l＝1，3，5，，…，n，此处的n表示最后一个卷积层的层号；
读取wCwNN后段网络输入层与隐含层之间的连接权值
Figure RE-GDA0002201692200000061
隐含层尺度变换参数aj(t)＝Aj和bj(t)＝Bj，隐含层与输出层之间的连接权值
Figure RE-GDA0002201692200000062
步骤203——卷积计算：按照wCwNN前段网络的层的顺序从前向后计算每一层的输出；
如果第l层是卷积层，则该层进行卷积计算，卷积计算的公式如下：
netl(t)＝Convolution(Ol-1(t)，wcl(t)) (3)
其中函数z＝Convolution(x，y)的功能是卷积计算(Convolution Calculation)：以y为卷积核，将数组x进行卷积计算，得到的结果是z；netl(t)为第l层卷积计算的结果，wcl(t)是第l层的卷积核，Ol-1(t)是第l-1层的输出(第l层的输入)；
上述，卷积计算的数学公式为：
如果矩阵x是a×b的矩阵，卷积核y是c×d的矩阵，通常情况下a＝b、 c＝d、a＞c(例如：a＝b＝sizeNetl，c＝d＝sizeCl)，则卷积计算结果z＝ Convolution(x，y)计算中，z矩阵中m行n列的点的计算公式为：
Figure RE-GDA0002201692200000063
其中m＝1，2，…，a-c+1，n＝1，2，…，b-d+1，即卷积层的输出的维度为 (sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)
步骤104——激活计算：
将卷积计算的结果netl(t)经过激活函数计算，得到第l层的输出Ol(t)如下：
Ol(t)＝Ψwc(netl(t)) (5)
其中激活函数Ψwc(x)的定义如下：在t时刻第l层第j个神经元经过激活函数后的输出
Figure RE-GDA0002201692200000064
的计算公式为：
Figure RE-GDA0002201692200000071
其中，
Figure RE-GDA0002201692200000072
表示在t时刻第l层卷积层的第j个神经元的卷积计算结果(未激活)，
Figure RE-GDA0002201692200000073
和
Figure RE-GDA0002201692200000074
表示第l层尺度变换参数acl(t)和bcl(t)中第j个神经元的尺度变换参数；Ψwc(x)表示卷积层激活函数，是：
Figure RE-GDA0002201692200000075
Ψwc(x)的导数表示为：
Figure RE-GDA0002201692200000076
步骤105——池化计算：
如果第l层是池化层，则该层进行池化计算，池化计算的公式如下：
Ol(t)＝Convolution(Ol-1(t)，valuePl) (9)
其中函数z＝Convolution(x，y)是卷积计算(同上)，池化计算也是一种卷积计算(卷积核每个点的取值相同)：y为池化窗(卷积核)，第l层池化窗的尺寸为sizePl，将数组x进行池化计算，得到的结果是z；Ol(t)为第l层卷积计算的结果，valuePl是第l层的池化窗每个元素的值，Ol-1(t)是第l-1层(前一个卷积层经过激活函数后)的输出，也就是第l层(池化层)的输入；池化窗 valuePl中每一个值(池化窗每个第i行第j列的元素都相等)计算公式如下：
Figure RE-GDA0002201692200000077
步骤106——判断前段网络计算是否结束：前段网络可能是多个卷积池化层，因此确保每个卷积池化层都按照步骤103至步骤105进行计算后，再进入步骤 107；
步骤107——后段网络即小波神经网络前向计算：
wNN输入层的输入和输出相同，即：
Figure RE-GDA0002201692200000078
wNN隐含层的输入
Figure RE-GDA0002201692200000079
的计算公式如下：
Figure RE-GDA0002201692200000081
wNN隐含层的输出
Figure RE-GDA0002201692200000082
的计算公式如下：
Figure RE-GDA0002201692200000083
其中Ψab(x)为小波函数，即隐含层神经元的活化函数，aj(t)、bj(t)为t时刻小波函数尺度变换参数，即隐含层神经元的活化函数尺度变换参数。取满足框架条件的小波函数Ψa，b(x)如下：
Figure RE-GDA0002201692200000084
Ψab(x)的导数表示为：
Figure RE-GDA0002201692200000085
wNN输出层的输入
Figure RE-GDA0002201692200000086
的计算公式如下：
Figure RE-GDA0002201692200000087
wNN输出层的输出
Figure RE-GDA0002201692200000088
的计算公式如下：
Figure RE-GDA0002201692200000089
其中g(x)为输出层神经元的活化函数取非负的Sigmoid函数，如下式：
Figure RE-GDA00022016922000000810
步骤108——分类结果计算：前向计算的分类结果计算公式如下：
Figure RE-GDA00022016922000000811
t时刻本次前向计算的样本的输入为O1(t)，labelO3(t)为本次前向计算的样本分类编号，
Figure RE-GDA00022016922000000812
为该样本的前向计算结果的第k个维度分量，
Figure RE-GDA00022016922000000813
可以作为本次前向计算的样本的输入O1(t)对应的标签值，k＝1，2，…，L，k表示样本的标签的维度编号，也就是输出层神经元的位置号；
Figure RE-GDA00022016922000000814
表示 wNN样本经过前向计算后，得到的输出层的每个输出与样本标签中每个维度的差，其中k＝1，2，...，L，k表示输出层神经元的位置号，L表示输出层神经元结点的总数，
Figure RE-GDA0002201692200000091
表示输出层第k个输出与标签值第k个维度的数值最接近，即使
Figure RE-GDA0002201692200000092
取值达到最小时的k；
步骤190——结束：wCwNN全段网络前向计算结束；该流程的输出为：样本x(i，j)经过前向计算后，得到的wNN输出层的输出
Figure RE-GDA0002201692200000093
以及对应的分类编号labelO3(t)；
1.1.3、wCwNN训练计算流程(300)，其特征在于：由以下步骤构成：
步骤301——wCwNN训练计算流程(300)开始；该流程的输入为全体训练样本数据：
定义全体训练样本的输入为alIXn(j)，简写为allXn：allXn(j)表示第n个训练样本的输入，n＝1，2，…，N，n代表训练样本的编号，一共有N个样本；每个样本的输入的维度用j表示，其中j＝1，2，…，M，每个样本的输入有M个维度；
定义全体训练样本的标签(目标值)为allYn(j)，简写为allYn：allYn(j)表示第n个训练样本的标签(目标值)，n＝1，2，…，N，n代表训练样本的编号，一共有N个样本；每个样本的标签的维度用j表示，j＝1，2，…，K，每个样本的标签有 K个维度；
定义第n个训练样本samplen：由第n个训练样本的输入alIXn和第n个标签allYn构成；
定义全体训练样本为sampleALL，由所有的samplen构成，其中n＝1，2，…，N， n代表训练样本的编号，一共有N个训练样本构成全体训练样本sampleALL；
步骤302——初始化计算：在本步骤之前，已经进行了wCwNN参数设置(已经执行过步骤105)；设定当前训练次数计数器的时刻t＝1；
步骤302.1——训练样本数据归一化：
归一化的计算公式如下：
Figure RE-GDA0002201692200000094
其中k代表训练样本的编号，一共有N个样本；每个样本的输入的维度用j 表示，其中j＝1，2，…，M，每个样本一共有M个维度；
Figure RE-GDA0002201692200000101
其中k＝1，2，…，N，k代表训练样本的编号，一共有N个样本；每个样本的标签的维度用j表示，j＝1，2，…，K，每个样本的标签有K个维度；
其中，max(Vk(j))函数的功能是返回Vk(j)中所有元素取值的最大值， min(Vk(j))函数的功能是返回Vk(j)二维数组中所有素取取值的最小值；
步骤303——判断训练次数是否达上限：
当前训练次数计数器t是否达到上限LOOP_MAX，如果t≤LOOP_MAX，则跳转步骤304，开始第t次训练，否则t＞LOOP_MAX跳转步骤321保存权值参数并保存训练次数误差，准备结束第t次训练；
步骤304——全段网络前向计算：
步骤304.1随机挑选BATCHSIZE个训练样本分别进行前向计算，准备用于 wCwNN权值和参数调整：
训练过程的关键是对神经网络各参数进行调整，调整算法需要对单个样本进行前向计算，前向计算的结果与标签值之前可以计算误差，根据误差进行误差的反向传播计算，根据反向传播的误差计算神经网络参数的调整量，上述过程都是针对单个样本进行的，为了提升效率，第t次训练中，一次处理BATCHSIZE个样本，其中前向计算步骤如下：
定义参加第t次训练的样本组合为sampleBATCH(t)：在第t次训练时，首先在全体训练样本sampleALL中，随机挑选BATCHSIZE个样本，构成一个训练样本组合sampleBATCH(t)，在第t次训练中这些随机选出的样本都参加训练；
定义训练样本组合sampleBATCH(t)，其中第n个样本的输入为Xn(t)：其中n＝1，2，…，BATCHSIZE，k代表训练样本的编号，一共有BATCHSIZE个；
定义训练样本组合sampleBATCH(t)，其中第n个样本的标签为Yn(t)：其中n＝1，2，…，BATCHSIZE，n代表训练样本的编号，一共有BATCHSIZE个；
将训练样本组合sampleBATCH(t)中的每一个样本Xn(t)，n＝1，2，…，BATCHSIZE，分别作为前向计算流程200的输入参数O1(t)，分别送入前向计算流程200，前向计算流程200的输出为wCwNN最后一层的输出
Figure RE-GDA0002201692200000102
步骤304.2将全体训练样本进行前向计算，准备用于计算总体误差：
训练过程中需要根据已经达成的训练效果(全体训练样本的总误差)判定算法是否可以结束，全体训练样本的总误差是全体样本的标签值和前向计算的结果的差的函数，计算方法如下：
定义全体训练样本中的每个样本的输入为alIXn，n＝1，2，…，N，分别作为前向计算流程200的输入参数O1(t)，分别送入前向计算流程200，前向计算流程 200的输出为每个样本的前向计算结果
Figure RE-GDA0002201692200000111
步骤305——总误差计算：
根据步骤301wCwNN训练计算流程(300)开始中的定义，全体训练样本的标签(目标值)为allYn，allYn与训练次数t无关；根据步骤304.2全体训练样本的前向计算，可以得到在时刻t第n个训练样本输入的前向计算结果为
Figure RE-GDA0002201692200000112
则第t次训练中，样本的总误差L(t)，计算公式如下：
Figure RE-GDA0002201692200000113
步骤306——判断误差是否达标：
如果第t次训练中，L(t)<ERROR-TARGET，即达到目标误差的要求，则跳转至步骤321保存权值参数并保存训练次数误差，准备结束训练；否则转至步骤307误差反向传播计算，准备更新权值，产生新的总误差进行算法终止判定，本步骤判定算法不结束，因此训练次数t更新为：t＝t+1；
步骤307——误差反向传播计算：
定义
Figure RE-GDA0002201692200000114
表示wCwNN后段网络各层的输出误差：其中
Figure RE-GDA0002201692200000115
表示在t时刻wNN输入层神经元i的输出误差，用
Figure RE-GDA0002201692200000116
表示wNN隐藏层神经元j未经过激活函数的输出误差，用
Figure RE-GDA0002201692200000117
表示wNN隐藏层神经元j经过激活函数的输出误差，用
Figure RE-GDA0002201692200000118
表示wNN输出层神经元k的输出误差；
步骤307.1——wCwNN后段网络误差反向传播：
wNN输出层输出误差计算如下：
Figure RE-GDA0002201692200000119
Figure RE-GDA00022016922000001110
表示wNN输出层第k个神经元的输出误差，k表示神经元的编号，输出层一共有L个神经元，
Figure RE-GDA00022016922000001111
是一个维数为L×1的矩阵；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA0002201692200000121
用一个维度为L×BATCHSIZE的矩阵表示；
wNN隐藏层输出误差计算如下：
Figure RE-GDA0002201692200000122
Figure RE-GDA0002201692200000123
表示wNN隐含层第j个神经元经过激活函数后的输出误差，j表示隐含层神经元的编号，隐含层一共有Q个神经元，即
Figure RE-GDA0002201692200000124
是一个维数为Q×1的矩阵；
Figure RE-GDA0002201692200000125
表示隐含层与输出层各神经元之间的连接权值矩阵，矩阵维度为Q× L；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA0002201692200000126
用一个维度为Q× BATCHSIZE的矩阵表示；
wNN隐藏层未经过激活函数的输出误差如下：
Figure RE-GDA0002201692200000127
Figure RE-GDA0002201692200000128
表示wNN隐藏层神经元j未经过激活函数的输出误差，j表示隐含层神经元的编号，隐含层一共有Q个神经元；当BATCHSIZE个样本同时计算时，
Figure RE-GDA0002201692200000129
表示为一个维数为BATCHSIZE×Q的矩阵：Ψ′a，b代表wNN隐含层的激活函数的导数，经过
Figure RE-GDA00022016922000001210
计算后的矩阵维度为BATCHSIZE×Q，表示 BATCHSIZE个样本反向传播计算过程中，隐藏层第j个神经元在未经激活函数之前的导数；
wNN输入层第i个神经元的输出误差计算如下：
Figure RE-GDA00022016922000001211
Figure RE-GDA00022016922000001212
表示wNN输入层第i个神经元的输出误差，i表示输入层神经元的编号，wNN输入层一共有M个神经元；
Figure RE-GDA00022016922000001213
表示输入层与隐含层各神经元之间的连接权值矩阵，矩阵维度为Q×M；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA00022016922000001214
表示为一个维数为BATCHSIZE×M的矩阵；
步骤307.2——卷积(池化)计算后的输出误差计算：
如果前段网络最后一层是第l层，第l层有两种情况：
情况一：如果第l层是池化层，池化层没有激活函数，池化计算(池化计算也是一种卷积计算)后的输出误差为：
Figure RE-GDA0002201692200000131
情况二：如果第l层是卷积层，卷积计算之后还要进行激活函数计算，从而产生卷积层的输出，作为第l+1层的输入，上述激活函数之后的输出误差为：
Figure RE-GDA0002201692200000132
而激活函数之前(卷积层的卷积计算后)的输出误差的计算公式为：
Figure RE-GDA0002201692200000133
Figure RE-GDA0002201692200000134
是前向计算中得到的第l层卷积和激活函数计算后的输出，其中i＝ 1，2...，M；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA0002201692200000135
BATCHSIZE 个
Figure RE-GDA0002201692200000136
和BATCHSIZE个
Figure RE-GDA0002201692200000137
分别用一个维度为M×BATCHSIZE的矩阵表示；
情况1和情况2计算的结果
Figure RE-GDA0002201692200000138
是卷积(池化)计算之后的输出误差。
对于前段网络的最后一层(第l＝-1wC层)：对于每一个样本，
Figure RE-GDA0002201692200000139
都是一个1×M的矩阵，对应后段网络的输入维度1×M；但是前段网络的输出的数据结构应该是sizeOl×sizeOl×featurel，l＝-1wC，其中featurel，l＝- 1wC表示前段网络最后一层的特征数，sizeOl×sizeOl，l＝-1wC表示前段网络最后一层的每个特征对应的输出矩阵，前段网络最后一层的输出与后段网络第一层的输入的对应关系是：sizeOl×sizeOl×featurel＝1×M，l＝-1wC；因此需要将1×M的数据结构映射回sizeOl×sizeOl×featurel，l＝-1wC的数据结构：
使用j表示前段网络的最后一层的特征编号，则j＝1，2...，featurel，l＝- 1wC，使用m、n表示第j个特征输出误差的行号和列号，则m＝ 1，2...，sizeOl，n＝1，2...，sizeOl，l＝-1wC；则第j个特征第m行、第n列的输出误差映射公式为：
Figure RE-GDA00022016922000001310
l＝-1wC
步骤307.3——wCwNN前段网络误差反向传播：
wCwNN前段网络的第l＝1层为样本的输入层，第l＝2层为第1个卷积层，第l＝3层为第1个池化层，第l＝4层为第2个卷积层，第l＝5层为第2 个池化层，以此类推，通常情况下l≥3；
如果第l层是卷积层，用变量
Figure RE-GDA0002201692200000141
表示第l层的第j个特征的输出误差，则
Figure RE-GDA0002201692200000142
表示卷积层的后一层(池化层)的第i个特征的输出误差；i＝1，2，...，sizel+1，i表示池化层各特征的编号，第l+1层有featurel+1个特征；
如果第l层是池化层，用变量
Figure RE-GDA0002201692200000143
表示第l层的第i个特征的输出误差，则用变量
Figure RE-GDA0002201692200000144
表示池化层的后一层(卷积层)的第j个特征的输出误差，j＝ 1，2，...，featurel+1，j表示卷积层各特征的编号，第l+1层有featurel+1个特征；
步骤307.3.1——池化层的误差反向传播：
池化层的误差反向传播是指：根据池化层(第l+1层)的输出误差
Figure RE-GDA0002201692200000145
计算前一个卷积层(第l层)经过激活函数前的输出误差
Figure RE-GDA0002201692200000146
计算公式为：
Figure RE-GDA0002201692200000147
Figure RE-GDA0002201692200000148
表示第j个特征的误差，
Figure RE-GDA0002201692200000149
表示第j个特征的输入值，
Figure RE-GDA00022016922000001410
与
Figure RE-GDA00022016922000001411
表示第j个特征的小波变换平移因子与伸缩因子；j表示各特征的编号，第l层有featurel个特征，
Figure RE-GDA00022016922000001412
为池化层第i个特征的输出误差，i表示池化层各特征的编号，第l+1层有featurel+1个特征；Ψ′wc(x)为激活函数导数函数；poolExpand(x) 表示池化层扩展，作用是将池化层(第l+1层)每一个点的输出误差扩展成为 sizePl+1×sizePl+1个输出误差；
Figure RE-GDA00022016922000001413
表示扩展后的误差，计算公式如下，其中int(x)函数，表示对x向下取整；
Figure RE-GDA00022016922000001414
Figure RE-GDA00022016922000001415
步骤307.3.2——卷积层的卷积计算的误差反向传播计算
卷积层的卷积计算的误差反向传播是指：根据卷积层(第l+1层)的卷积计算的输出误差
Figure RE-GDA0002201692200000151
计算卷积层的输入误差
Figure RE-GDA0002201692200000152
也是池化层(第l层)的输出误差，该误差
Figure RE-GDA0002201692200000153
的计算公式为：
Figure RE-GDA0002201692200000154
Figure RE-GDA0002201692200000155
表示池化层第i个特征的输出误差，
Figure RE-GDA0002201692200000156
表示池化层的后一层卷积层的第j 个特征未经过激活函数前的输出误差，
Figure RE-GDA0002201692200000157
表示第l层的第i个特征向第l+ 1层的第j个特征进行卷积计算的卷积窗(连接权值)，j表示第l+1层各特征的编号，第l+1层有featurel+1个特征，i表示第l层池化层各特征的编号，第 l层池化层有featurel个特征；
当BATCHSIZE个样本同时计算时，该步骤依靠反卷积完成，计算公式为：
Figure RE-GDA0002201692200000158
函数Rotate(x)的功能是把矩阵x翻转180度：如果原矩阵x是a×b的矩阵，通常情况下a＝b，则翻转过程如下：
Figure RE-GDA0002201692200000159
函数z＝Convolution2(x，y)的功能是反卷积计算(一种扩展的卷积计算)：以y为卷积核，将矩阵x进行卷积计算，得到的结果是z，计算方式如下所示：
Figure RE-GDA00022016922000001510
步骤308——网络权值与参数的调整计算：
步骤308.1——权值与参数的求导计算：
步骤308.1.1——前段网络的权值与参数的求导计算：
如果第l层是卷积层，则该层权值与参数的导数方法如下：
卷积核(第l-1层第i个特征的输出向第l层第j个特征的输出的卷积计算用到的卷积核)
Figure RE-GDA0002201692200000161
的求导计算公式如下：
Figure RE-GDA0002201692200000162
Figure RE-GDA0002201692200000163
表示第l-1层的第i个特征未经过激活函数的输出值，
Figure RE-GDA0002201692200000164
表示第l 层的第j个特征输出误差值；j表示卷积层各特征的编号，第l层有featurel个特征，i表示池化层各特征的编号，第l-1层有featurel-1个特征；
Figure RE-GDA0002201692200000165
是第l层的第j个特征的小波变换参数
Figure RE-GDA0002201692200000166
的导数，计算公式如下：
Figure RE-GDA0002201692200000167
Figure RE-GDA0002201692200000168
其中，
Figure RE-GDA0002201692200000169
表示第l层的第j个特征输出误差值，
Figure RE-GDA00022016922000001610
表示第l层的第j个特征未经过激活函数的输出值，
Figure RE-GDA00022016922000001611
表示第l层的第j个特征的平移因子，
Figure RE-GDA00022016922000001612
表示第l层的第j个特征的伸缩因子；
当BATCHSIZE个样本同时计算
Figure RE-GDA00022016922000001613
时：
Figure RE-GDA00022016922000001614
的维度为(sizeNetl- sizeCl+1)×(sizeNetl-sizeCl+1)×featurel，
Figure RE-GDA00022016922000001615
的维度为1× featurel，
Figure RE-GDA00022016922000001616
表示特征j的误差除以特征j的
Figure RE-GDA00022016922000001617
参数，结果维度为 (sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)×featurel；将各特征的 BATCHSIZE个样本误差相加，得到特征j的误差和，将除以BATCHSIZE得到平均误差，维度为1×featurel；
当BATCHSIZE个样本同时计算
Figure RE-GDA00022016922000001618
时：
Figure RE-GDA00022016922000001619
的维度与
Figure RE-GDA00022016922000001620
相同，
Figure RE-GDA00022016922000001621
求解过程同
Figure RE-GDA00022016922000001622
步骤308.1.2——后段网络的权值与参数的求导计算：
后段网络的权值的导数的计算公式如下：
Figure RE-GDA0002201692200000171
Figure RE-GDA0002201692200000172
Figure RE-GDA0002201692200000173
Figure RE-GDA0002201692200000174
当BATCHSIZE个样本同时计算daj(t)时：
Figure RE-GDA0002201692200000175
的维度为Q×BATCHSIZE，
Figure RE-GDA0002201692200000176
的维度为Q×BATCHSIZE，上述
Figure RE-GDA0002201692200000177
计算结果的维度同样为Q×BATCHSIZE，代表样本的第j个隐藏层神经元的计算值，
Figure RE-GDA0002201692200000178
与
Figure RE-GDA0002201692200000179
的结果进行矩阵的点乘计算；所述矩阵的点乘：矩阵各个对应元素相乘；矩阵的乘法：矩阵a的第n行乘以矩阵b的第n列，各个元素对应相乘然后求和作为第n个元素的值)，计算结果的维度为Q×BATCHSIZE，代表样本的第j个隐含层神经元参数aj(t)的导数；把BATCHSIZE个样本的导数相加，再除以BATCHSIZE，即得到第j个隐含层神经元参数aj(t)的平均导数；
当BATCHSIZE个样本同时计算dbj(t)时：
Figure RE-GDA00022016922000001710
的维度为Q×BATCHSIZE， aj(t)的维度为1×Q，
Figure RE-GDA00022016922000001711
表示样本的第j个神经元bj(t)的导数，把上述 BATCHSIZE个样本的导数相加，再除以BATCHSIZE，即可得到第j个隐含层神经元参数bj(t)的平均导数；
步骤308.2——wCwNN的权值与参数的更新计算：
如果第l层是前段网络的卷积层，则权值更新如下：
Figure RE-GDA00022016922000001712
Figure RE-GDA00022016922000001713
Figure RE-GDA00022016922000001714
如果当前层是后段网络wNN，则权值更新如下：
Figure RE-GDA0002201692200000181
Figure RE-GDA0002201692200000182
aj(t+1)＝aj(t)-AlphaWNN×daj(t)+LA×aj(t) (49)
bj(t+1)＝bj(t)-AlphaWNN×dbj(t)+LA×bj(t) (50)
步骤321——保存wCwNN权值与参数：
保存wCwNN前段网络卷积层的卷积核参数
Figure RE-GDA0002201692200000183
小波变换中的平移因子
Figure RE-GDA0002201692200000184
伸缩因子
Figure RE-GDA0002201692200000185
其中l＝1，3，...，n，此处的n表示最后一个卷积层的层号；
保存wCwNN后段网络输入层与隐含层之间的连接权值
Figure RE-GDA0002201692200000186
隐含层尺度变换参数Aj＝aj(t)和Bj＝bj(t)，隐含层与输出层之间的连接权值
Figure RE-GDA0002201692200000187
步骤390——wCwNN训练结束。
1.2、基于小波卷积小波神经网络及情报分析系统(2000)，其特征在于：
1.2.0不受控系统(6)包括：监控场景(6.1)和互联网(6.2)，监控场景(6.1) 和互联网(6.2)中的大数据信息，将会被基于小波卷积小波神经网络及情报分析方法的系统(2000)采集；
1.2.1前端情报板(1)包括：嵌入式计算机(1.1)、嵌入式操作系统(1.2)、 USB接口(1.3)、网络接口(1.4)、显示器接口(1.5)、视频图像采集装置(1.6)、输入设备(1.7)、显示器(1.8)、wCwNN模块(1.9)和无线路由器(1.10)；
1.2.1.1嵌入式计算机(1.1)是微型计算机、嵌入式开发版或单片机，通过螺丝固定在前端情报板(1)上，用于运行操作系统和程序；
1.2.1.2嵌入式操作系统(1.2)是计算机操作系统和用于嵌入式设备的操作系统，安装在嵌入式计算机(1.1)中，用于运行程序；
1.2.1.3 USB接口(1.3)是嵌入式计算机(1.1)的USB接口，或者是嵌入式计算机(1.1)扩展出来的USB接口，用于连接外部USB接入设备；
1.2.1.4网络接口(1.4)是嵌入式计算机(1.1)的网络接口，或者是嵌入式计算机(1.1)扩展出来的网络接口，用于连接外部网络设备、接入网络、接入互联网(6.2)；
1.2.1.5显示器接口(1.5)是嵌入式计算机(1.1)的显示接口，或者是嵌入式计算机(1.1)扩展出来的显示接口，用于连接外部显示设备；
1.2.1.6视频图像采集装置(1.6)可以是摄像装置，也可以是传感器，通过数据线或数据线配合转换器与USB接口(1.3)连接，用于采集来自监控场景(6.1) 的大数据信息；
1.2.1.7输入设备(1.7)是键盘，或者是按键、身份认证输入设备，通过数据线或数据线配合转换器与USB接口(1.3)连接，用于输入信息；
1.2.1.8显示器(1.8)或者是带有触摸功能的显示器或带有触摸功能的投影仪，显示器(1.8)通过数据线和显示器接口(1.5)连接，用于显示信息；
1.2.1.9wCwNN模块(1.9)是运行于嵌入式计算机(1.1)的软件，或者是独立于嵌入式计算机(1.1)的计算机，通过网络数据交换的方法与嵌入式计算机(1.1)、海量情报服务器(3)进行数据通讯交互，实现驱动前端情报板(1) 各模块工作、信息发送服务器以及接受服务器信息；
1.2.1.10无线路由器(1.10)可以是放入SIM卡的无线路由器，也可以是普通路由器；无线路由器(1.10)的网口通过网线与网络接口(1.4)连接，如果嵌入式计算机(1.1)本身具有WiFi网络接入功能，则能够直接与无线路由器(1.10) 通过WiFi连接；无线路由器(1.10)通过SIM卡对应的移动互联网络接入互联网(6.2)，也能够通过与互联网(6.2)中的网络交换传输设备连接，实现接入互联网(6.2)；
1.2.2网络安全与交换设备(2)包括网络安全设备(2.1)和网络数据交换设备(2.2)，通过网线相连接，实现数据交换；网络安全设备(2.1)通过网线接入互联网(6.2)，进而与前端情报板(1)可以通讯，通讯过程可以进行链路加密和数据加密；网络数据交换设备(2.2)通过网线与海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)相连接，从而实现网络安全与交换设备(2)的作用：实现前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)之间的数据安全与交换；
1.2.3海量情报服务器(3)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、高性能情报分析器(4)、情报监察控制器(5)进行网络数据交换；海量情报服务器(3)的主要作用是储存情报信息，海量情报服务器(3)的次要作用和前端情报板(1)的作用之一一样，实现网络文本信息的采集功能；
1.2.4高性能情报分析器(4)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、海量情报服务器(3)、情报监察控制器(5)进行网络数据交换；高性能情报分析器(4)的作用是对海量情报服务器(3)中存取的信息进行分析，实现wCwNN主要算法流程；
1.2.5情报监察控制器(5)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器；情报监察控制器(5)的作用是显示前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)的信息和状态给管理员，将管理员下达的各种控制指令和信息发送给前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)。
本发明与现有技术相比的优势：
1)发明的wCwNN方法比现有方法具有更快的训练速度、更高的精度；
2)发明的wCwNN及情报分析方法与系统实现了：物联网对大数据信息的采集、互联网数据的交互、物联网和移动互联网终端的监控、大数据信息的云存储、wCwNN方法对样本数据的学习与智能分析，以及虚拟现实技术对系统中上述各节点的总集成。实现了大型智能系统更加直观、便利、高智能的监视与控制。
附图说明
图1小波卷积小波神经网络及情报分析方法流程图。
图2小波卷积小波神经网络及情报分析方法与系统架构图。
具体实施方式
下面结合图1图2详细说明本实施例，后描述方法：
1.基于小波卷积小波神经网络及情报分析方法的系统(2000)，实施例参见图2，包括：不受控系统(6)、前端情报板(1)、网络安全与交换设备(2)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)；
1.1前端情报板(1)包括：嵌入式计算机(1.1)、嵌入式操作系统(1.2)、USB接口(1.3)、网络接口(1.4)、显示器接口(1.5)、视频图像采集装置(1.6)、输入设备(1.7)、显示器(1.8)、wCwNN模块(1.9)、无线路由器(1.10)；
1.1.1嵌入式计算机(1.1)可以是微型计算机、嵌入式开发版、单片机，通过螺丝固定在前端情报板(1)上，用于运行操作系统和程序；【在本实施例中】嵌入式计算机(1.1)采用微软Surface 3袖珍计算机；
1.1.2嵌入式操作系统(1.2)可以是计算机操作系统和用于嵌入式设备的操作系统，安装在嵌入式计算机(1.1)中，用于运行程序；【在本实施例中】嵌入式操作系统(1.2)采用Windows 10操作系统；
1.1.3USB接口(1.3)可以是嵌入式计算机(1.1)的USB接口，也可是嵌入式计算机(1.1)扩展出来的USB接口，用于连接外部USB接入设备；【在本实施例中】USB接口(1.3)采用“绿联USB扩展网口+USB接口转换器”，扩展为多个USB接口；
1.1.4网络接口(1.4)可以是嵌入式计算机(1.1)的网络接口，也可是嵌入式计算机(1.1)扩展出来的网络接口，用于连接外部网络设备、接入网络、接入互联网(6.2)；【在本实施例中】网络接口(1.4)采用“绿联USB扩展网口+USB 接口转换器”，扩展为网线接口；
1.1.5显示器接口(1.5)可以是嵌入式计算机(1.1)的显示接口，也可是嵌入式计算机(1.1)扩展出来的显示接口，用于连接外部显示设备；【在本实施例中】显示器接口(1.5)采用“绿联Mini DP扩展VGA接口转换器”，将Surface 3的Mini DP接口扩展为VGA接口；
1.1.6视频图像采集装置(1.6)可以是摄像装置，也可以是传感器，通过数据线或数据线配合转换器与USB接口(1.3)连接，用于采集来自监控场景(6.1) 的大数据信息；【在本实施例中】视频图像采集装置(1.6)采用“罗技C270 USB 摄像头”；
1.1.7输入设备(1.7)可以是键盘，也可以是按键、身份认证输入设备，通过数据线或数据线配合转换器与USB接口(1.3)连接，用于输入信息；【在本实施例中】输入设备(1.7)采用“罗技K380键盘与罗技MXAnywhere鼠标”；
1.1.8显示器(1.8)可以是显示器、带有触摸功能的显示器、投影仪，通过数据线和显示器接口(1.5)连接，用于显示信息；【在本实施例中】显示器(1.8) 采用DELL P2418HT触摸屏显示器，P2418HT的VGA接口采用VGA视频线与由Surface 3的Mini DP接口扩展出来的VGA接口相连，P2418HT的上行USB 接口通过USB数据线与由Surface 3的USB接口扩展出来的USB接口相连；
1.1.9wCwNN模块(1.9)可以运行于嵌入式计算机(1.1)的软件，也可以是独立于嵌入式计算机(1.1)的计算机，通过网络数据交换的方法与嵌入式计算机(1.1)、海量情报服务器(3)进行数据通讯交互，实现驱动前端情报板(1) 各模块工作、信息发送服务器、接受服务器信息。【在本实施例中】wCwNN模块(1.9)是运行了wCwNN算法的控制程序，运行在Windows 10中；
1.1.10无线路由器(1.10)可以是放入SIM卡的无线路由器，也可以是普通路由器；无线路由器(1.10)的网口通过网线与网络接口(1.4)连接，如果嵌入式计算机(1.1)本身具有WiFi网络接入功能，则可以直接与无线路由器(1.10) 通过WiFi连接；无线路由器(1.10)通过SIM卡对应的移动互联网络接入互联网(6.2)，也可以通过与互联网(6.2)中的网络交换传输设备连接，实现接入互联网(6.2)；【在本实施例中】无线路由器(1.10)采用华为B315s-936无线三网通路由器，该设备自带多个网线接口和WiFi接入功能，可以放入SIM卡，实现计算机通过网线或WiFi接入移动互联网；
1.2网络安全与交换设备(2)包括网络安全设备(2.1)和网络数据交换设备(2.2)，通过网线相连接，实现数据交换；网络安全设备(2.1)通过网线接入互联网(6.2)，进而与前端情报板(1)可以通讯，通讯过程可以进行链路加密和数据加密；网络数据交换设备(2.2)通过网线与海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)相连接，从而实现网络安全与交换设备(2)的作用：实现前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)之间的数据安全与交换；【在本实施例中】网络安全设备(2.1)采用华为USG6101企业级千兆防火墙，上联通过网线接入互联网，下联通过网线与下联交换机连接；网络数据交换设备(2.2)采用华为S1700-24GR 企业级千兆交换机，上联通过网线与防火墙连接，下联通过网线与内网各服务器连接；
1.3海量情报服务器(3)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、高性能情报分析器(4)、情报监察控制器(5)进行网络数据交换；海量情报服务器(3)的主要作用是储存情报信息，海量情报服务器(3)的次要作用和前端情报板(1)的作用之一一样，实现网络文本信息的采集功能；【在本实施例中】海量情报服务器(3)采用DELL R630服务器，CPU 是英特尔至强E5-2600-V3，内存为16Gx2，硬盘为2Tx4，操作系统为Windows 2018；
1.4高性能情报分析器(4)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、海量情报服务器(3)、情报监察控制器(5)进行网络数据交换；高性能情报分析器(4)的作用是对海量情报服务器(3)中存取的信息进行分析，实现wCwNN主要算法流程；【在本实施例中】高性能情报分析器(4)采用DELL R630服务器，CPU是英特尔至强E5-2600-V3，内存为16Gx2，硬盘为2Tx4，操作系统为Windows 2018；
1.5情报监察控制器(5)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器；情报监察控制器(5)的作用是显示前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)的信息和状态给管理员，将管理员下达的各种控制指令和信息发送给前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)。【在本实施例中】情报监察控制器(5)采用DELL R630服务器，CPU 是英特尔至强E5-2600-V3，内存为16Gx2，硬盘为2Tx4，操作系统为Windows 2018；
1.6不受控系统(6)包括：监控场景(6.1)和互联网(6.2)，监控场景(6.1) 和互联网(6.2)中的大数据信息，将会被基于小波卷积小波神经网络及情报分析方法的系统(2000)采集；【在本实施例中】监控场景(6.1)是首都机场T3 航站楼高速公路收费站、互联网(6.2)是Internet互联网公网；
2.小波卷积小波神经网络及情报分析方法(1000)参见图1，包括情报处理流程(100)、全段前向计算流程(200)、wCwNN训练计算流程(300)，其中 wCwNN是小波卷积小波神经网络的英文首字母缩写；
2.1、情报处理流程(100)由以下步骤构成：
步骤101——情报处理流程(100)开始：前端情报板(1)和海量情报服务器(3)启动并进行通讯；如果通讯正常，则进入步骤102，如果通讯异常，则在前端情报板(1)和海量情报服务器(3)中报警；之后进入步骤102；【在本实施例中】在本事实例中wCwNN模块(1.9)运行的wCwNN程序，首先访问海量情报服务器(3)DELL R630服务器的数据库，如果能够读到数据，则确认工作正常，写入最新访问时间Ttest，否则将自身异常状态位设置为1，当情报监察控制器(5)DELL R630服务器访问海量情报服务器(3)DELL R630服务器的数据库，发现前端情报板(1)更新时间Ttest超时，则会报警；
步骤102——情报采集：前端情报板(1)通过视频图像采集装置(1.6)对监控场景(6.1)进行图像采集，发送给海量情报服务器(3)；前端情报板(1) 或海量情报服务器(3)对互联网(6.2)进行文本信息抓取，发送给海量情报服务器(3)；之后进入步骤103；【在本实施例中】前端情报板(1)Surface 3通过摄像头采集的图像信息，前端情报板(1)Surface 3和海量情报服务器(3)DELL R630服务器访问海量情报服务器从互联网中抓取的文本信息；
步骤103——情报存储：海量情报服务器(3)接收来自前端情报板(1)采集的图像信息并存储；海量情报服务器(3)接收来自前端情报板(1)和海量情报服务器(3)抓取的文本信息并存储；之后进入步骤104；【在本实施例中】前端情报板(1)Surface 3通过摄像头采集的图像信息，以及前端情报板(1)Surface 3与海量情报服务器(3)DELL R630服务器从互联网中抓取的文本信息，都会通过Internet网络传回海量情报服务器(3)DELL R630服务器，采用Hadoop与 Hive进行存储；
步骤104——特征提取：该步骤可以跳过；该步骤可以是通过人脸检测算法将人脸照片区域图像裁剪为新的图片信息；该步骤可以是通过自然语言特征提取算法将文本信息映射为特征向量；之后进入步骤105；【在本实施例中】高性能情报分析器(4)采用领域内公知的图像处理方法，将图像信息转换为28x28＝784 个点的二维数组向量，采用word2vector函数将文本信息映射为784x1＝784的一维数组向量；
步骤105——wCwNN参数设置，该步骤是整个方法的核心步骤，定义了程序和wCwNN网络的关键参数：
以下wCwNN涉及到的所有权值、参数、神经元结点的值将存放在wCwNN 模块的寄存器中，wCwNN神经网络的输入是采集的信息，神经网络的输出是采集信息经过计算的结果和分类标签；下列各公式表示本发明系统将上述采集信息的输入，按照上述权值、参数在上述神经元结点中进行计算，计算的结果为上述输出和分类标签；神经网络各层节点的物理意义是本系统对采集信息的理解信息；
步骤105.1——网络结构参数设置：
105.1.1前段网络、后段网络及各层的相关定义：
wCwNN网络分为前段网络和后段网络，前段网络为卷积池化网络，其中卷积层的激活函数为小波尺度变换函数，后段网络为小波神经网络；
wCwNN网络前段网络(卷积池化网络)第1层为样本的输入层，第2层为第1个卷积层，第3层为第1个池化层，第4层为第2个卷积层，第5层为第2 个池化层，以此类推；
wCwNN后段网络(小波神经网络wNN)最后一层(第-1层)为wNN输出层，倒数第2层(第-2层)开始至倒数第h-1层(第-h+1层)是wNN隐含层，倒数第h层(第-h层)是wNN输入层；倒数第h+1层(第-h-1层)是wCwNN 网络前段网络(卷积池化网络)的最后一层；
【在本实施例中】前段网络(卷积池化网络)为5层，第1层为样本的输入层，第2层为第1个卷积层，第3层为第1个池化层，第4层为第2个卷积层，第5层为第2个池化层；后段网络(小波神经网络wNN)为3层，wNN第1层 (wCwNN的-3层)为wNN输入层，wNN第2层(wCwNN的-2层)是wNN 隐含层，wNN第3层(wCwNN的-1层)是wNN输出层；
105.1.2卷积层输入输出定义：
如果第l层是wCwNN前段网络的卷积层，具有featurel个卷积核(输出特征数)，该层的输入维度为sizeNetl，经过卷积计算后输出维度为sizeOl，则经过 featurel个卷积核的卷积计算后，将会产生featurel个特征，每个特征的维度为 sizeOl；如果定义该层卷积核的大小为sizeCl×sizeCl，则卷积计算后产生的 featurel个特征中的每个特征的维度sizeOl的计算公式为：
sizeOl＝(sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1) (51)
【在本实施例中】第1个卷积层(l＝2)的特征数为feature2＝6，卷积核的尺寸为sizeC2＝5；第2个卷积层(l＝4)的特征数为feature4＝12，卷积核的尺寸为sizeC4＝5；
105.1.3池化层输入输出定义：
如果第l层是wCwNN前段网络的池化层，该层的层池化窗大小为sizePl× sizePl，该层输入维度为sizeNetl；则经过池化计算后的输出维度sizeOl的计算公式为：
Figure RE-GDA0002201692200000261
【在本实施例中】第1个卷积层(l＝3)的特征数为feature3＝feature2＝6，池化窗的尺寸为sizeP3＝2；第2个卷积层(l＝5)的特征数为feature5＝ feature4＝12，池化窗的尺寸为sizeP5＝2；
105.1.4后段网络wNN网络相关定义：
如果第l层是wCwNN后段网络(小波神经网络wNN)的第1层(输入层)，则第l+1层为小波神经网络的第2层(隐含层)，第l+2层为小波神经网络的第3层(输出层)；则wCwNN的后段网络wNN的结构参数如下：
定义在时刻t(第t次训练计算中)，第l层第i个神经元的输入是
Figure RE-GDA0002201692200000262
经过激活函数计算后，该神经元的输出是
Figure RE-GDA0002201692200000263
根据上述定义：如果wNN输入层一共有M个神经元，每个神经元的输入为：
Figure RE-GDA0002201692200000264
则输出为：
Figure RE-GDA0002201692200000265
如果wNN隐含层一共有Q个神经元，每个神经元的输入为：
Figure RE-GDA0002201692200000266
则输出为：
Figure RE-GDA0002201692200000267
Figure RE-GDA0002201692200000268
如果wNN输出层一共有L个神经元则每个神经元的输入为：
Figure RE-GDA0002201692200000269
则每个神经元的输出为
Figure RE-GDA00022016922000002610
【在本实施例中】根据上述参数设定，wCwNN第一层的节点数是28×＝ 28＝784个点；经过第一次卷积后，变为6个特征，每个特征的点数24×24＝576个点；经过第一次池化后，上述6个特征中每个特征的点数是12×12＝144；经过第二次卷积后，变为12个特征，每个特征的点数是8×8＝64个点；经过第二次池化后，上述12个特征，每个特征的点数是4×4＝16；则后段wNN 神经网络输入层的节点数是M＝1×192＝1×16×12＝192个点，wNN神经网络隐含层的节点数是Q＝1×10＝10个点，wNN神经网络输出层的节点数是L＝1×1＝1个点；
定义wNN的输入层与隐含层各神经元之间的连接权值矩阵
Figure RE-GDA0002201692200000271
隐含层与输出层各神经元之间的连接权值矩阵
Figure RE-GDA0002201692200000272
隐含层神经元的活化函数尺度变换参数矩阵为aj(t)和bj(t)；其中i＝1，2，…，M，j＝1，2，…，Q，k＝1，2，…，L；
i、j、k表示各层神经网络神经元的编号，因为各神经元都是存放在数组里，因此i、j、k也表示存放神经元取值的数组的列号，也就是神经网络的维度编号，神经网络输入层神经元编号对应着样本数据输入的维度编号，神经网络输出层神经元编号对应着样本数据标签值的维度编号；
步骤105.2——网络权值初始化设置：
如果第l层是wCwNN前段网络的卷积层，则初始化尺度变换参数为
Figure RE-GDA0002201692200000273
和
Figure RE-GDA0002201692200000274
第l层与第l-1层之间的卷积核为
Figure RE-GDA0002201692200000275
其中l＝1，3，5，...，n，此处的n表示最后一个卷积层的层号；
如果第l层是wCwNN后段网络wNN的隐含层，则初始化尺度变换参数为 Aj和Bj，则第l层与第l-1层之间的连接权值为
Figure RE-GDA0002201692200000276
第l+1层与第l层之间的连接权值为
Figure RE-GDA0002201692200000277
生成的神经网络权值与参数并保存：上述各权值和尺度变换参数均可初始化为RandomFloatBetween(0，1)，其中RandomFloatBetween(0，1)表示随机产生的 (0，1)区间内的随机小数；
保存上述随机生成的各权值和参数
Figure RE-GDA0002201692200000278
作为训练流程的初始化参数；
【在本实施例中】上述所有权值和参数全部初始化为随机产生的(0，1)区间内的随机小数；
步骤105.3——训练程序参数初始化：
初始化wCwNN前段网络的学习率为AlphaWC，wCwNN后段网络的学习率为AlphaWNN，学习率决定每个训练时刻t，参数调整量作用于参数变化量的百分比，一般取值范围为：(0，1]；【在本实施例中】初始化AlphaWC＝0.5， AlphaWNN＝0.5；
初始化wCwNN后段网络的惯性系数为LA，惯性系数决定上一个训练时刻 t-1，各参数取值保持不变的比例，一般取值范围为：(0，1]；【在本实施例中】初始化LA＝0.5；
初始化在每个训练周期t，投入训练的样本数量为BATCHSIZE个，如果样本总数量为1000，则BATCHSIZE一般取5或者10，即总样本数量的
Figure RE-GDA0002201692200000281
【在本实施例中】初始化BATCHSIZE＝10；
初始化训练的最大周期次数为LOOP_MAX，则训练开始后，训练时刻t的取值范围为1≤t≤LOOP_MAX；【在本实施例中】初始化LOOP_MAX＝10000；
初始化目标差为ERROR_TARGET，表示经过多个训练周期，系统的误差如果下降到小于ERROR_TARGET，则训练达到目标而停止；【在本实施例中】初始化ERROR_TARGET＝0.001；
步骤106——处理流程选择：如果选择训练，则跳转至步骤130；如果选择分析，则跳转至步骤120；如果选择结束，则跳转至步骤190；
步骤130——训练：进入wCwNN训练流程(300)进行机器学习，结束后进入步骤131；
【在本实施例中】训练流程的输入是60000张图片和对应的60000个标签；每张图片由28x28个点构成，作为wCwNN神经网络的输入；每个标签是分类编号，取值范围是区间[1，10]内的整数；训练前wCwNN的各权值和参数
Figure RE-GDA0002201692200000282
Figure RE-GDA0002201692200000283
采用随机数进行初始化，训练后保存wCwNN的各权值和参数
Figure RE-GDA0002201692200000284
作为训练流程的输出；
步骤131——训练结果保存：将训练(300)结果进行保存，用于分析(120)；之后跳转至步骤106，重新进行处理流程选择；
步骤120——分析：进入wCwNN前向计算流程(200)进行前向计算，计算得到结果后进入步骤121；
【在本实施例中】分析流程的输入是1张待分类的图片；该图片由28x28 个点构成，作为wCwNN神经网络的输入；分析前首先加载训练好的wCwNN 权值与参数
Figure RE-GDA0002201692200000291
分析的预期结果是上输入片的分类编号，即分析流程的输出；
步骤121——分析结果监控：将步骤120的分析结果发送到情报监察控制器 (5)的进行显示；之后跳转至步骤106，重新进行处理流程选择；
步骤190——结束：情报处理流程(100)结束。
2.2、wCwNN前向计算流程(200)，其特征在于：由以下步骤构成：
步骤201——wCwNN前向计算流程(200)开始；该流程的输入为：
(1)单个样本数据的输入：表示为X1(t)，位于wCwNN第一层(第l＝1 层)，由M个元素构成，也可以表示为
Figure RE-GDA0002201692200000292
wCwNN的第一层神经元的输入与输出相同，且与单个样本数据的输入相对应，表示为O1(t)，也可以表示为
Figure RE-GDA0002201692200000293
j表示神经元结点的编号；
(2)与上述单个样本数据的输入对应的标签值：表示为Y-1(t)，位于wCwNN 最后一层(第l＝-1层)，标签值的维度为L，也可以写为
Figure RE-GDA0002201692200000294
k表示样本的标签的维度编号；
步骤202——初始化计算：
读取wCwNN前段网络卷积层的卷积核参数
Figure RE-GDA0002201692200000295
小波变换中的平移因了
Figure RE-GDA0002201692200000296
伸缩因了
Figure RE-GDA0002201692200000297
其中l＝1，3，...，n，此处的n表示最后一个卷积层的层号；
读取wCwNN后段网络输入层与隐含层之间的连接权值
Figure RE-GDA0002201692200000298
隐含层尺度变换参数aj(t)＝Aj和bj(t)＝Bj，隐含层与输出层之间的连接权值
Figure RE-GDA0002201692200000299
步骤203——卷积计算：按照wCwNN前段网络的层的顺序从前向后计算每一层的输出；
如果第l层是卷积层，则该层进行卷积计算，卷积计算的公式如下：
netl(t)＝Convolution(Ol-1(t)，wcl(t)) (53)
其中函数z＝Convolution(x，y)的功能是卷积计算(Convolution Calculation)：以y为卷积核，将数组x进行卷积计算，得到的结果是z；netl(t)为第l层卷积计算的结果，wcl(t)是第l层的卷积核，Ol-1(t)是第l-1层的输出(第l层的输入)；
上述卷积计算的数学公式为：
如果矩阵x是a×b的矩阵，卷积核y是c×d的矩阵，通常情况下a＝b、 c＝d、a＞c(例如：a＝b＝sizeNetl，c＝d＝sizeCl)，则卷积计算结果z＝ Convolution(x，y)计算中，z矩阵中m行n列的点的计算公式为：
Figure RE-GDA0002201692200000301
其中m＝1，2，…，a-c+1，n＝1，2，…，b-d+1，即卷积层的输出的维度为 (sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)
步骤104——激活计算：
将卷积计算的结果netl(t)经过激活函数计算，得到第l层的输出Ol(t)如下：
Ol(t)＝Ψwc(netl(t)) (55)
其中激活函数Ψwc(x)的定义如下：在t时刻第l层第j个神经元经过激活函数后的输出
Figure RE-GDA0002201692200000302
的计算公式为：
Figure RE-GDA0002201692200000303
其中，
Figure RE-GDA0002201692200000304
表示在t时刻第l层(卷积层)第j个神经元的卷积计算结果 (未激活)，
Figure RE-GDA0002201692200000305
和
Figure RE-GDA0002201692200000306
表示上文定义的第l层尺度变换参数acl(t)和bcl(t) 中第j个神经元的尺度变换参数；Ψwc(x)表示卷积层激活函数，可以是：
Figure RE-GDA0002201692200000307
Ψwc(x)的导数可以表示为：
Figure RE-GDA0002201692200000311
步骤105——池化计算：
如果第l层是池化层，则该层进行池化计算，池化计算的公式如下：
Ol(t)＝Convolution(Ol-1(t)，valuePl) (59)
其中函数z＝Convolution(x，y)是卷积计算(同上)，池化计算也是一种卷积计算(卷积核每个点的取值相同)：y为池化窗(卷积核)，第l层池化窗的尺寸为sizePl，将数组x进行池化计算，得到的结果是z；Ol(t)为第l层卷积计算的结果，valuePl是第l层的池化窗每个元素的值，Ol-1(t)是第l-1层(前一个卷积层经过激活函数后)的输出，也就是第l层(池化层)的输入；池化窗 valuePl中每一个值(池化窗每个第i行第j列的元素都相等)计算公式如下：
Figure RE-GDA0002201692200000312
步骤106——判断前段网络计算是否结束：前段网络可能是多个卷积池化层，因此确保每个卷积池化层都按照步骤103至步骤105进行计算后，再进入步骤 107；
步骤107——后段网络(小波神经网络)前向计算：
wNN输入层的输入和输出相同，即：
Figure RE-GDA0002201692200000313
wNN隐含层的输入
Figure RE-GDA0002201692200000314
的计算公式如下：
Figure RE-GDA0002201692200000315
wNN隐含层的输出
Figure RE-GDA0002201692200000316
的计算公式如下：
Figure RE-GDA0002201692200000317
其中Ψab(x)为小波函数，即隐含层神经元的活化函数，aj(t)、bj(t)为t时刻小波函数尺度变换参数，即隐含层神经元的活化函数尺度变换参数。取满足框架条件的小波函数Ψa，b(x)如下：
Figure RE-GDA0002201692200000321
Ψab(x)的导数可以表示为：
Figure RE-GDA0002201692200000322
wNN输出层的输入
Figure RE-GDA0002201692200000323
的计算公式如下：
Figure RE-GDA0002201692200000324
wNN输出层的输出
Figure RE-GDA0002201692200000325
的计算公式如下：
Figure RE-GDA0002201692200000326
其中g(x)为输出层神经元的活化函数取非负的Sigmoid函数，如下式：
Figure RE-GDA0002201692200000327
步骤108——分类结果计算：前向计算的分类结果计算公式如下：
Figure RE-GDA0002201692200000328
t时刻本次前向计算的样本的输入为O1(t)，labelO3(t)为本次前向计算的样本分类编号，
Figure RE-GDA0002201692200000329
为该样本的前向计算结果的第k个维度分量，
Figure RE-GDA00022016922000003210
可以作为本次前向计算的样本的输入O1(t)对应的标签值，k＝1，2，…，L，k表示样本的标签的维度编号；
Figure RE-GDA00022016922000003211
表示wNN样本经过前向计算后，得到的输出层的每个输出与样本标签中每个维度的差，其中k＝1，2，...，L，k表示输出层神经元的位置号，L表示输出层神经元结点的总数，
Figure RE-GDA00022016922000003212
Figure RE-GDA00022016922000003213
表示输出层第k个输出与标签值第k个维度的数值最接近，即使
Figure RE-GDA00022016922000003214
取值达到最小时的k；
步骤190——结束：wCwNN全段网络前向计算结束；该流程的输出为：样本x(i，j)经过前向计算后，得到的wNN输出层的输出
Figure RE-GDA00022016922000003215
以及对应的分类编号labelO3(t)；
2.3、wCwNN训练计算流程(300)，其特征在于：由以下步骤构成：
步骤301——wCwNN训练计算流程(300)开始；该流程的输入为全体训练样本数据：
定义全体训练样本的输入为allXn(j)，简写为allXn：allXn(j)表示第n个训练样本的输入，n＝1，2，…，N，k代表训练样本的编号，一共有N个样本；每个样本的输入的维度用j表示，其中j＝1，2，…，M，每个样本的输入有M个维度；
定义全体训练样本的标签(目标值)为allYn(j)，简写为allYn：allYn(j)表示第n个训练样本的标签(目标值)，n＝1，2，…，N，n代表训练样本的编号，一共有N个样本；每个样本的标签的维度用j表示，j＝1，2，…，K，每个样本的标签有 K个维度；
定义第n个训练样本samplen：由第n个训练样本的输入allXn和第n个标签allYn构成；
定义全体训练样本为sampleALL，由所有的samplen构成，其中n＝1，2，…，N， n代表训练样本的编号，一共有N个训练样本构成全体训练样本sampIeALL；
步骤302——初始化计算：在本步骤之前，已经进行了wCwNN参数设置(已经执行过步骤105)；设定当前训练次数计数器t＝1；
步骤302.1——训练样本数据归一化：
根据上述定义，归一化的计算公式如下：
Figure RE-GDA0002201692200000331
其中k代表训练样本的编号，一共有N个样本；每个样本的输入的维度用j 表示，其中j＝1，2，…，M，每个样本一共有M个维度；
Figure RE-GDA0002201692200000332
其中k＝1，2，…，N，k代表训练样本的编号，一共有N个样本；每个样本的标签的维度用j表示，j＝1，2，…，K，每个样本的标签有K个维度；
其中max(Vk(j))函数的功能是返回Vk(j)中所有元素取值的最大值， min(Vk(j))函数的功能是返回Vk(j)二维数组中所有素取取值的最小值；
步骤303——判断训练次数是否达上限：
当前训练次数计数器t是否达到上限LOOP_MAX，如果t≤LOOP_MAX，则跳转步骤304，开始第t次训练，否则(t＞LOOP_MAX)跳转步骤321保存权值参数并保存训练次数误差，准备结束第t次训练；
步骤304——全段网络前向计算：
步骤304.1随机挑选BATCHSIZE个训练样本分别进行前向计算，准备用于 wCwNN权值和参数调整：
训练过程的关键是对神经网络各参数进行调整，调整算法需要对单个样本进行前向计算，前向计算的结果与标签值之前可以计算误差，根据误差进行误差的反向传播计算，根据反向传播的误差计算神经网络参数的调整量，上述过程都是针对单个样本进行的，为了提升效率，第t次训练中，一次处理BATCHSIZE个样本，其中前向计算步骤如下：
定义参加第t次训练的样本组合为sampleBATCH(t)：在第t次训练时，首先在全体训练样本sampleALL中，随机挑选BATCHSIZE个样本，构成一个训练样本组合sampleBATCH(t)，在第t次训练中这些随机选出的样本都参加训练；
定义训练样本组合sampleBATCH(t)，其中第n个样本的输入为Xn(t)：其中n＝1，2，…，BATCHSIZE，k代表训练样本的编号，一共有BATCHSIZE个；
定义训练样本组合sampleBATCH(t)，其中第n个样本的标签为Yn(t)：其中n＝1，2，…，BATCHSIZE，n代表训练样本的编号，一共有BATCHSIZE个；
将训练样本组合sampleBATCH(t)中的每一个样本Xn(t)，n＝ 1，2，…，BATCHSIZE，分别作为前向计算流程200的输入参数O1(t)，分别送入前向计算流程200，前向计算流程200的输出为wCwNN最后一层的输出
Figure RE-GDA0002201692200000341
步骤304.2将全体训练样本进行前向计算，准备用于计算总体误差：
训练过程中需要根据已经达成的训练效果(全体训练样本的总误差)判定算法是否可以结束，全体训练样本的总误差是全体样本的标签值和前向计算的结果的差的函数，计算方法如下：
定义全体训练样本中的每个样本的输入为allXn，n＝1，2，…，N，分别作为前向计算流程200的输入参数O1(t)，分别送入前向计算流程200，前向计算流程 200的输出为每个样本的前向计算结果
Figure RE-GDA0002201692200000342
步骤305——总误差计算：
根据步骤301wCwNN训练计算流程(300)开始中的定义，全体训练样本的标签(目标值)为allYn，allYn与训练次数t无关；根据步骤304.2全体训练样本的前向计算，可以得到在时刻t第n个训练样本输入的前向计算结果为
Figure RE-GDA0002201692200000351
则第t次训练中，样本的总误差L(t)，计算公式如下：
Figure RE-GDA0002201692200000352
步骤306——判断误差是否达标：
如果第t次训练中，L(t)<ERROR_TARGET，即达到目标误差的要求，则跳转至步骤321保存权值参数并保存训练次数误差，准备结束训练；否则转至步骤307误差反向传播计算，准备更新权值，产生新的总误差进行算法终止判定，本步骤判定算法不结束，因此训练次数t更新为：t＝t+1；
步骤307——误差反向传播计算：
定义
Figure RE-GDA0002201692200000353
表示wCwNN后段网络各层的输出误差：其中
Figure RE-GDA0002201692200000354
表示在t时刻wNN输入层神经元i的输出误差，用
Figure RE-GDA0002201692200000355
表示wNN隐藏层神经元j未经过激活函数的输出误差，用
Figure RE-GDA0002201692200000356
表示wNN隐藏层神经元j经过激活函数的输出误差，用
Figure RE-GDA0002201692200000357
表示wNN输出层神经元k的输出误差；
步骤307.1——wCwNN后段网络误差反向传播：
wNN输出层输出误差计算如下：
Figure RE-GDA0002201692200000358
Figure RE-GDA0002201692200000359
表示wNN输出层第k个神经元的输出误差，k表示神经元的编号，输出层一共有L个神经元，
Figure RE-GDA00022016922000003510
是一个维数为L×1的矩阵；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA00022016922000003511
用一个维度为L×BATCHSIZE的矩阵表示；
wNN隐藏层输出误差计算如下：
Figure RE-GDA00022016922000003512
Figure RE-GDA00022016922000003513
表示wNN隐含层第j个神经元经过激活函数后的输出误差，j表示隐含层神经元的编号，隐含层一共有Q个神经元，即
Figure RE-GDA00022016922000003514
是一个维数为Q×1的矩阵；
Figure RE-GDA00022016922000003515
表示隐含层与输出层各神经元之间的连接权值矩阵，矩阵维度为Q× L；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA00022016922000003516
用一个维度为Q×BATCHSIZE的矩阵表示；
wNN隐藏层未经过激活函数的输出误差如下：
Figure RE-GDA0002201692200000361
Figure RE-GDA0002201692200000362
表示wNN隐藏层神经元j未经过激活函数的输出误差，j表示隐含层神经元的编号，隐含层一共有Q个神经元；当BATCHSIZE个样本同时计算时，
Figure RE-GDA0002201692200000363
表示为一个维数为BATCHSIZE×Q的矩阵：Ψ′a，b代表wNN隐含层的激活函数的导数，经过
Figure RE-GDA0002201692200000364
计算后的矩阵维度为BATCHSIZE×Q，表示 BATCHSIZE个样本反向传播计算过程中，隐藏层第j个神经元在未经激活函数之前的导数；
wNN输入层第i个神经元的输出误差计算如下：
Figure RE-GDA0002201692200000365
Figure RE-GDA0002201692200000366
表示wNN输入层第i个神经元的输出误差，i表示输入层神经元的编号，wNN输入层一共有M个神经元；
Figure RE-GDA0002201692200000367
表示输入层与隐含层各神经元之间的连接权值矩阵，矩阵维度为Q×M；当BATCHSIZE个样本同时计算时， BATCHSIZE个
Figure RE-GDA0002201692200000368
表示为一个维数为BATCHSIZE×M的矩阵；
步骤307.2——卷积(池化)计算后的输出误差计算：
如果前段网络最后一层是第l层，第l层有两种情况：
情况一：如果第l层是池化层，池化层没有激活函数，池化计算(池化计算也是一种卷积计算)后的输出误差为：
Figure RE-GDA0002201692200000369
情况二：如果第l层是卷积层，卷积计算之后还要进行激活函数计算，从而产生卷积层的输出，作为第l+1层的输入，上述激活函数之后的输出误差为：
Figure RE-GDA00022016922000003610
而激活函数之前(卷积层的卷积计算后)的输出误差的计算公式为：
Figure RE-GDA00022016922000003611
Figure RE-GDA00022016922000003612
是前向计算中得到的第l层卷积和激活函数计算后的输出，其中i＝1，2...，M；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure RE-GDA0002201692200000371
BATCHSIZE 个
Figure RE-GDA0002201692200000372
和BATCHSIZE个
Figure RE-GDA0002201692200000373
分别用一个维度为M×BATCHSIZE的矩阵表示；
情况一和情况二计算的结果
Figure RE-GDA0002201692200000374
是卷积(池化)计算之后的输出误差。
对于前段网络的最后一层(第l＝-1wC层)：对于每一个样本，
Figure RE-GDA0002201692200000375
部是一个1×M的矩阵，对应后段网络的输入维度1×M；但是前段网络的输出的数据结构应该是sizeOl×sizeOl×featurel，l＝-1wC，其中featurel，l＝- 1wC表示前段网络最后一层的特征数，sizeOl×sizeOl，l＝-1wC表示前段网络最后一层的每个特征对应的输出矩阵，前段网络最后一层的输出与后段网络第一层的输入的对应关系是：sizeOl×sizeOl×featurel＝1×M，l＝-1wC；因此需要将1×M的数据结构映射回sizeOl×sizeOl×featurel，l＝-1wC的数据结构：
使用j表示前段网络的最后一层的特征编号，则j＝1，2...，featurel，l＝- 1wC，使用m、n表示第j个特征输出误差的行号和列号，则m＝ 1，2...，sizeOl，n＝1，2...，sizeOl，l＝-1wC；则第j个特征第m行、第n列的输出误差映射公式为：
Figure RE-GDA0002201692200000376
步骤307.3——wCwNN前段网络误差反向传播：
wCwNN前段网络的第l＝1层为样本的输入层，第l＝2层为第1个卷积层，第l＝3层为第1个池化层，第l＝4层为第2个卷积层，第l＝5层为第2 个池化层，以此类推，通常情况下l≥3；
如果第l层是卷积层，用变量
Figure RE-GDA0002201692200000377
表示第l层的第j个特征的输出误差，则
Figure RE-GDA0002201692200000378
表示卷积层的后一层(池化层)的第i个特征的输出误差；i＝1，2，...，sizel+1，i表示池化层各特征的编号，第l+1层有featurel+1个特征；
如果第l层是池化层，用变量
Figure RE-GDA0002201692200000379
表示第l层的第i个特征的输出误差，则用变量
Figure RE-GDA0002201692200000381
表示池化层的后一层(卷积层)的第j个特征的输出误差，j＝ 1，2，...，featurel+1，j表示卷积层各特征的编号，第l+1层有featurel+1个特征；
步骤307.3.1——池化层的误差反向传播：
池化层的误差反向传播是指：根据池化层(第l+1层)的输出误差
Figure RE-GDA0002201692200000382
计算前一个卷积层(第l层)经过激活函数前的输出误差
Figure RE-GDA0002201692200000383
计算公式为：
Figure RE-GDA0002201692200000384
Figure RE-GDA0002201692200000385
表示第j个特征的误差，
Figure RE-GDA0002201692200000386
表示第j个特征的输入值，
Figure RE-GDA0002201692200000387
与
Figure RE-GDA0002201692200000388
表示第j个特征的小波变换平移因子与伸缩因子；j表示各特征的编号，第l层有featurel个特征，
Figure RE-GDA0002201692200000389
为池化层第i个特征的输出误差，i表示池化层各特征的编号，第l+1层有featurel+1个特征；Ψ′wc(x)为激活函数导数函数；poolExpand(x) 表示池化层扩展，作用是将池化层(第l+1层)每一个点的输出误差扩展成为 sizePl+1×sizePl+1个输出误差；
Figure RE-GDA00022016922000003810
表示扩展后的误差，计算公式如下，其中int(x)函数，表示对x向下取整；
Figure RE-GDA00022016922000003811
Figure RE-GDA00022016922000003812
步骤307.3.2——卷积层的卷积计算的误差反向传播计算
卷积层的卷积计算的误差反向传播是指：根据卷积层(第l+1层)的卷积计算的输出误差
Figure RE-GDA00022016922000003813
计算卷积层的输入误差
Figure RE-GDA00022016922000003814
也是池化层(第l层)的输出误差，该误差
Figure RE-GDA00022016922000003815
的计算公式为：
Figure RE-GDA00022016922000003816
Figure RE-GDA00022016922000003817
表示池化层第i个特征的输出误差，
Figure RE-GDA00022016922000003818
表示池化层的后一层卷积层的第j 个特征未经过激活函数前的输出误差，
Figure RE-GDA00022016922000003819
表示第l层的第i个特征向第l+ 1层的第j个特征进行卷积计算的卷积窗(连接权值)，j表示第l+1层各特征的编号，第l+1层有featurel +1个特征，i表示第l层池化层各特征的编号，第 l层池化层有featarel个特征；
当BATCHSIZE个样本同时计算时，该步骤依靠反卷积完成，计算公式为：
Figure RE-GDA0002201692200000391
函数Rotate(x)的功能是把矩阵x翻转180度：如果原矩阵x是a×b的矩阵，通常情况下a＝b，则翻转过程如下：
Figure RE-GDA0002201692200000392
函数z＝Convolution2(x，y)的功能是反卷积计算(一种扩展的卷积计算)：以y为卷积核，将矩阵x进行卷积计算，得到的结果是z，计算方式如下所示：
Figure RE-GDA0002201692200000393
步骤308——网络权值与参数的调整计算：
步骤308.1——权值与参数的求导计算：
步骤308.1.1——前段网络的权值与参数的求导计算：
如果第l层是卷积层，则该层权值与参数的导数方法如下：
卷积核(第l-1层第i个特征的输出向第l层第j个特征的输出的卷积计算用到的卷积核)
Figure RE-GDA0002201692200000394
的求导计算公式如下：
Figure RE-GDA0002201692200000395
Figure RE-GDA0002201692200000396
表示第l-1层的第i个特征未经过激活函数的输出值，
Figure RE-GDA0002201692200000397
表示第l 层的第j个特征输出误差值；j表示卷积层各特征的编号，第l层有featurel个特征，i表示池化层各特征的编号，第l-1层有featurel-1个特征；
Figure RE-GDA0002201692200000398
是第l层的第j个特征的小波变换参数
Figure RE-GDA0002201692200000399
的导数，计算公式如下：
Figure RE-GDA0002201692200000401
Figure RE-GDA0002201692200000402
其中，
Figure RE-GDA0002201692200000403
表示第l层的第j个特征输出误差值，
Figure RE-GDA0002201692200000404
表示第l层的第j个特征未经过激活函数的输出值，
Figure RE-GDA0002201692200000405
表示第l层的第j个特征的平移因子，
Figure RE-GDA0002201692200000406
表示第l层的第j个特征的伸缩因子；
当BATCHSIZE个样本同时计算
Figure RE-GDA0002201692200000407
时：
Figure RE-GDA0002201692200000408
的维度为(sizeNetl- sizeCl+1)×(sizeNetl-sizeCl+1)×featurel，
Figure RE-GDA0002201692200000409
的维度为1× featurel，
Figure RE-GDA00022016922000004010
表示特征j的误差除以特征j的
Figure RE-GDA00022016922000004011
参数，结果维度为 (sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)×featurel；将各特征的 BATCHSIZE个样本误差相加，得到特征j的误差和，将除以BATCHSIZE得到平均误差，维度为1×featurel；
当BATCHSIZE个样本同时计算
Figure RE-GDA00022016922000004012
时：
Figure RE-GDA00022016922000004013
的维度与
Figure RE-GDA00022016922000004014
相同，
Figure RE-GDA00022016922000004015
求解过程同
Figure RE-GDA00022016922000004016
步骤308.1.2——后段网络的权值与参数的求导计算：
后段网络的权值的导数的计算公式如下：
Figure RE-GDA00022016922000004017
Figure RE-GDA00022016922000004018
Figure RE-GDA00022016922000004019
Figure RE-GDA00022016922000004020
当BATCHSIZE个样本同时计算daj(t)时：
Figure RE-GDA00022016922000004021
的维度为Q×BATCHSIZE，
Figure RE-GDA0002201692200000411
的维度为Q×BATCHSIZE，上述
Figure RE-GDA0002201692200000412
计算结果的维度同样为Q×BATCHSIZE，代表样本的第j个隐藏层神经元的计算值，
Figure RE-GDA0002201692200000413
与
Figure RE-GDA0002201692200000414
的结果进行点乘计算(矩阵的点乘：矩阵各个对应元素相乘；矩阵的乘法：矩阵 a的第n行乘以矩阵b的第n列，各个元素对应相乘然后求和作为第n个元素的值)，计算结果的维度为Q×BATCHSIZE，代表样本的第j个隐含层神经元参数 aj(t)的导数；把上述BATCHSIZE个样本的导数相加，再除以BATCHSIZE，即可得到第j个隐含层神经元参数aj(t)的平均导数；
当BATCHSIZE个样本同时计算dbj(t)时：
Figure RE-GDA0002201692200000415
的维度为Q×BATCHSIZE， aj(t)的维度为1×Q，
Figure RE-GDA0002201692200000416
表示样本的第j个神经元bj(t)的导数，把上述 BATCHSIZE个样本的导数相加，再除以BATCHSIZE，即可得到第j个隐含层神经元参数bj(t)的平均导数；
步骤308.2——wCwNN的权值与参数的更新计算：
如果第l层是前段网络的卷积层，则权值更新如下：
Figure RE-GDA0002201692200000417
Figure RE-GDA0002201692200000418
Figure RE-GDA0002201692200000419
如果当前层是后段网络wNN，则权值更新如下：
Figure RE-GDA00022016922000004110
Figure RE-GDA00022016922000004111
aj(t+1)＝aj(t)-AlphaWNN×daj(t)+LA×aj(t) (99)
bj(t+1)＝bj(t)-AlphaWNN×dbj(t)+LA×bj(t) (100)
步骤321——保存wCwNN权值与参数：
保存wCwNN前段网络卷积层的卷积核参数
Figure RE-GDA00022016922000004112
小波变换中的平移因了
Figure RE-GDA00022016922000004113
伸缩因了
Figure RE-GDA00022016922000004114
其中l＝1，3，...，n，此处的n表示最后一个卷积层的层号；
保存wCwNN后段网络输入层与隐含层之间的连接权值
Figure RE-GDA0002201692200000421
隐含层尺度变换参数Aj＝aj(t)和Bj＝bj(t)，隐含层与输出层之间的连接权值
Figure RE-GDA0002201692200000422
步骤390——wCwNN训练结束。

Claims (3)

1.小波卷积小波神经网络及情报分析方法，其特征在于：小波卷积小波神经网络及情报分析方法(1000)，包括情报处理流程(100)、全段前向计算流程(200)、wCwNN训练计算流程(300)，其中wCwNN是小波卷积小波神经网络的英文首字母缩写；
小波卷积小波神经网络及情报分析方法(1000)，情报处理流程(100)，由以下步骤构成：
步骤101——情报处理流程(100)开始：前端情报板(1)和海量情报服务器(3)启动并进行通讯；如果通讯正常，则进入步骤102，如果通讯异常，则在前端情报板(1)和海量情报服务器(3)中报警；之后进入步骤102；
步骤102——情报采集：前端情报板(1)通过视频图像采集装置(1.6)对监控场景(6.1)进行图像采集，发送给海量情报服务器(3)；前端情报板(1)或海量情报服务器(3)对互联网(6.2)进行文本信息抓取，发送给海量情报服务器(3)；之后进入步骤103；
步骤103——情报存储：海量情报服务器(3)接收来自前端情报板(1)采集的图像信息并存储；海量情报服务器(3)接收来自前端情报板(1)和海量情报服务器(3)抓取的文本信息并存储；之后进入步骤104；
步骤104——特征提取：该步骤104能够跳过；该步骤104是通过人脸检测算法将人脸照片区域图像裁剪为新的图片信息；该步骤104是通过自然语言特征提取算法将文本信息映射为特征向量；之后进入步骤105；
步骤105——wCwNN参数设置，步骤105是整个方法的核心步骤，定义了程序和wCwNN网络的关键参数；
以下wCwNN涉及到的所有权值、参数、神经元结点的值将存放在wCwNN模块的寄存器中，wCwNN神经网络的输入是采集的信息，神经网络的输出是采集信息经过计算的结果和分类标签；
步骤105.1——网络结构参数设置：
105.1.1前段网络、后段网络及各层的相关定义：wCwNN网络分为前段网络和后段网络，前段网络为卷积池化网络，其中卷积层的激活函数为小波尺度变换函数，后段网络为小波神经网络；
wCwNN网络前段网络第1层为样本的输入层，第2层为第1个卷积层，第3层为第1个池化层，第4层为第2个卷积层，第5层为第2个池化层，以此类推；
wCwNN后段网络最后一层为wNN输出层，倒数第2层开始至倒数第h-1层是wNN隐含层，倒数第h层是wNN输入层；倒数第h+1层是wCwNN网络前段网络的最后一层；
105.1.2卷积层输入输出定义：
如果第l层是wCwNN前段网络的卷积层，具有featurel个卷积核即输出特征数，该卷积层的输入维度为sizeNetl，经过卷积计算后输出维度为sizeOl，则经过featurel个卷积核的卷积计算后，将会产生featurel个特征，每个特征的维度为sizeOl；如果定义该层卷积核的大小为sizeCl×sizeCl，则卷积计算后产生的featurel个特征中的每个特征的维度sizeOl的计算公式为：
sizeOl＝(sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1) (1)
105.1.3池化层输入输出定义：
如果第l层是wCwNN前段网络的池化层，该池化层的层池化窗大小为sizePl×sizePl，该层输入维度为sizeNetl；则经过池化计算后的输出维度sizeOl的计算公式为：
Figure FDA0003222061320000021
105.1.4后段网络wNN网络相关定义：
如果第l层是wCwNN后段网络的第1层，则第l+1层为小波神经网络的第2层，第l+2层为小波神经网络的第3层；则wCwNN的后段网络wNN的结构参数如下：
定义在时刻t，第l层第i个神经元的输入是
Figure FDA0003222061320000022
经过激活函数计算后，该第i个神经元的输出是
Figure FDA0003222061320000023
根据上述定义：如果wNN输入层一共有M个神经元，每个神经元的输入为：
Figure FDA0003222061320000024
则输出为：
Figure FDA0003222061320000025
如果wNN隐含层一共有Q个神经元，每个神经元的输入为：
Figure FDA0003222061320000026
则输出为：
Figure FDA0003222061320000027
如果wNN输出层一共有L个神经元则每个神经元的输入为：
Figure FDA0003222061320000028
则每个神经元的输出为
Figure FDA0003222061320000029
定义wNN的输入层与隐含层各神经元之间的连接权值矩阵
Figure FDA0003222061320000031
隐含层与输出层各神经元之间的连接权值矩阵
Figure FDA0003222061320000032
隐含层神经元的活化函数尺度变换参数矩阵为aj(t)和bj(t)；其中i＝1，2，...，M，j＝1，2，...，Q，k＝1，2，...，L；
i、j、k表示各层神经网络神经元的编号，因为各神经元都是存放在数组里，因此i、j、k也表示存放神经元取值的数组的列号，也就是神经网络的维度编号，神经网络输入层神经元编号对应着样本数据输入的维度编号，神经网络输出层神经元编号对应着样本数据标签值的维度编号；
步骤105.2——网络权值初始化设置：
如果第l层是wCwNN前段网络的卷积层，则初始化尺度变换参数为
Figure FDA0003222061320000033
和
Figure FDA0003222061320000034
第l层与第l-1层之间的卷积核为
Figure FDA0003222061320000035
其中l＝1，3，5，...，n，此处的n表示最后一个卷积层的层号；
如果第l层是wCwNN后段网络wNN的隐含层，则初始化尺度变换参数为Aj和Bj，则第l层与第l-1层之间的连接权值为
Figure FDA0003222061320000036
第l+1层与第l层之间的连接权值为
Figure FDA0003222061320000037
生成的神经网络权值与参数并保存：各权值和尺度变换参数均可初始化为RandomFloatBetween(0，1)，其中RandomFloatBetween(0，1)表示随机产生的(0，1)区间内的随机小数；
保存上述随机生成的各权值和参数
Figure FDA0003222061320000038
作为训练流程的初始化参数；
步骤105.3——训练程序参数初始化：
初始化wCwNN前段网络的学习率为AlphaWC，wCwNN后段网络的学习率为AlphaWNN，学习率决定每个训练时刻t，参数调整量作用于参数变化量的百分比，取值范围为：(0，1]；
初始化wCwNN后段网络的惯性系数为LA，惯性系数决定上一个训练时刻t-1，各参数取值保持不变的比例，取值范围为：(0，1]；
初始化每个训练时刻t，投入训练样本数量为BATCHSIZE个，BATCHSIZE 的值为总样本数量的
Figure FDA0003222061320000041
如果样本总数量为1000，则BATACHSIZE取10；
初始化训练的最大周期次数为LOOP_MAX，则训练开始后，训练时刻t的取值范围为1≤t≤LOOP_MAX；
初始化目标差为ERROR_TARGET，表示经过多个训练周期，误差如果下降到小于ERROR_TARGET，则训练达到目标而停止；
步骤106——处理流程选择：如果选择训练，则跳转至步骤130；如果选择分析，则跳转至步骤120；如果选择结束，则跳转至步骤190；
步骤130——训练：进入wCwNN训练流程(300)进行机器学习，结束后进入步骤131；
步骤131——训练结果保存：将训练(300)结果进行保存，用于分析(120)；之后跳转至步骤106，重新进行处理流程选择；
步骤120——分析：进入wCwNN前向计算流程(200)进行前向计算，计算得到结果后进入步骤121；
步骤121——分析结果监控：将步骤120的分析结果发送到情报监察控制器(5)的进行显示；之后跳转至步骤106，重新进行处理流程选择；
步骤190——结束：情报处理流程(100)结束；
wCwNN前向计算流程(200)，由以下步骤构成：
步骤201——wCwNN前向计算流程(200)开始；该流程的输入为：
(1)单个样本数据的输入：表示为X1(t)，位于wCwNN第一层，由M个元素构成，表示为
Figure FDA0003222061320000042
wCwNN的第一层神经元的输入与输出相同，且与单个样本数据的输入相对应，表示为O1(t)，也可以表示为
Figure FDA0003222061320000043
Figure FDA0003222061320000044
j表示神经元结点的编号；
(2)与上述单个样本数据的输入对应的标签值：表示为Y-1(t)，位于wCwNN最后一层，标签值的维度为L，也能够写为
Figure FDA0003222061320000045
k表示样本的标签的维度编号；
步骤202——初始化计算：
读取wCwNN前段网络卷积层的卷积核参数
Figure FDA0003222061320000046
小波变换中的平移因子
Figure FDA0003222061320000051
伸缩因子
Figure FDA0003222061320000052
其中l＝1，3，5，...，n，此处的n表示最后一个卷积层的层号；
读取wCwNN后段网络输入层与隐含层之间的连接权值
Figure FDA0003222061320000053
隐含层尺度变换参数aj(t)＝Aj和bj(t)＝Bj，隐含层与输出层之间的连接权值
Figure FDA0003222061320000054
步骤203——卷积计算：按照wCwNN前段网络的层的顺序从前向后计算每一层的输出；
如果第l层是卷积层，则该层进行卷积计算，卷积计算的公式如下：
netl(t)＝Convolution(Ol-1(t)，wcl(t)) (3)
其中函数z＝Convolution(x，y)的功能是卷积计算：以y为卷积核，将数组x进行卷积计算，得到的结果是z；netl(t)为第l层卷积计算的结果，wcl(t)是第l层的卷积核，Ol-1(t)是第l-1层的输出；
如果矩阵x是a×b的矩阵，卷积核y是c×d的矩阵， a＝b、c＝d、a＞c，则卷积计算结果z＝Convolution(x，y)计算中，z矩阵中m行n列的点的计算公式为：
Figure FDA0003222061320000055
其中m＝1，2，…，a-c+1，n＝1，2，…，b-d+1，即卷积层的输出的维度为(sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)
步骤204——激活计算：
将卷积计算的结果netl(t)经过激活函数计算，得到第l层的输出Ol(t)如下：
Ol(t)＝Ψwc(netl(t)) (5)
其中激活函数Ψwc(x)的定义如下：在t时刻第l层第j个神经元经过激活函数后的输出
Figure FDA0003222061320000056
的计算公式为：
Figure FDA0003222061320000057
其中，
Figure FDA0003222061320000058
表示在t时刻第l层卷积层的第j个神经元的卷积计算结果，
Figure FDA0003222061320000059
和
Figure FDA0003222061320000061
表示第l层尺度变换参数acl(t)和bcl(t)中第j个神经元的尺度变换参数；Ψwc(x)表示卷积层激活函数，是：
Figure FDA0003222061320000062
Ψwc(x)的导数表示为：
Figure FDA0003222061320000063
步骤205——池化计算：
如果第l层是池化层，则该层进行池化计算，池化计算的公式如下：
Ol(t)＝Convolution(Ol-1(t)，valuePl) (9)
其中函数z＝Convolution(x，y)是卷积计算，池化计算也是一种卷积计算：y为池化窗，第l层池化窗的尺寸为sizePl，将数组x进行池化计算，得到的结果是z；Ol(t)为第l层卷积计算的结果，valuePl是第l层的池化窗每个元素的值，Ol-1(t)是第l-1层的输出，也就是第l层的输入；池化窗valuePl中每一个值计算公式如下：
Figure FDA0003222061320000064
步骤206——判断前段网络计算是否结束：前段网络可能是多个卷积池化层，因此确保每个卷积池化层都按照步骤103至步骤105进行计算后，再进入步骤107；
步骤207——后段网络即小波神经网络前向计算：
wNN输入层的输入和输出相同，即：
Figure FDA0003222061320000065
wNN隐含层的输入
Figure FDA0003222061320000066
的计算公式如下：
Figure FDA0003222061320000067
wNN隐含层的输出
Figure FDA0003222061320000068
的计算公式如下：
Figure FDA0003222061320000069
其中Ψab(x)为小波函数，即隐含层神经元的活化函数，aj(t)、bj(t)为t时刻小波函数尺度变换参数，即隐含层神经元的活化函数尺度变换参数；取满足框架条件的小波函数Ψab(x)如下：
Figure FDA0003222061320000071
Ψab(x)的导数表示为：
Figure FDA0003222061320000072
wNN输出层的输入
Figure FDA0003222061320000073
的计算公式如下：
Figure FDA0003222061320000074
wNN输出层的输出
Figure FDA0003222061320000075
的计算公式如下：
Figure FDA0003222061320000076
其中g(x)为输出层神经元的活化函数取非负的Sigmoid函数，如下式：
Figure FDA0003222061320000077
步骤208——分类结果计算：前向计算的分类结果计算公式如下：
Figure FDA0003222061320000078
t时刻本次前向计算的样本的输入为O1(t)，labelO3(t)为本次前向计算的样本分类编号，
Figure FDA0003222061320000079
为该样本的前向计算结果的第k个维度分量，
Figure FDA00032220613200000710
作为本次前向计算的样本的输入O1(t)对应的标签值，k＝1，2，…，L，k表示样本的标签的维度编号，也就是输出层神经元的位置号；
Figure FDA00032220613200000711
表示wNN样本经过前向计算后，得到的输出层的每个输出与样本标签中每个维度的差，其中k＝1，2，...，L，k表示输出层神经元的位置号，L表示输出层神经元结点的总数，
Figure FDA00032220613200000712
表示输出层第k个输出与标签值第k个维度的数值最接近，即使
Figure FDA00032220613200000713
取值达到最小时的k；
步骤190——结束：wCwNN全段网络前向计算结束；该流程的输出为：样本x(i，j)经过前向计算后，得到的wNN输出层的输出
Figure FDA00032220613200000714
以及对应的分类编号labelO3(t)；
wCwNN训练计算流程(300)，由以下步骤构成，
步骤301——wCwNN训练计算流程(300)开始；该流程的输入为全体训练样本数据：
定义全体训练样本的输入为allXn(j)，简写为allXn：allXn(j)表示第n个训练样本的输入，n＝1，2，…，N，n代表训练样本的编号，一共有N个样本；每个样本的输入的维度用j表示，其中j＝1，2，…，M，每个样本的输入有M个维度；
定义全体训练样本的标签为allYn(j)，简写为allYn：allYn(j)表示第n个训练样本的标签，n＝1，2，…，N，n代表训练样本的编号，一共有N个样本；每个样本的标签的维度用j表示，j＝1，2，…，K，每个样本的标签有K个维度；
定义第n个训练样本samplen：由第n个训练样本的输入allXn和第n个标签allYn构成；
定义全体训练样本为sampleALL，由所有的samplen构成，其中n＝1，2，…，N，n代表训练样本的编号，一共有N个训练样本构成全体训练样本sampleALL；
步骤302——初始化计算：在本步骤之前，已经进行了wCwNN参数设置；设定当前训练次数计数器的时刻t＝1；
步骤302.1——训练样本数据归一化：
归一化的计算公式如下：
Figure FDA0003222061320000081
其中k代表训练样本的编号，一共有N个样本；每个样本的输入的维度用j表示，其中j＝1，2，…，M，每个样本一共有M个维度；
Figure FDA0003222061320000082
其中k＝1，2，…，N，k代表训练样本的编号，一共有N个样本；每个样本的标签的维度用j表示，j＝1，2，…，K，每个样本的标签有K个维度；
其中，max(Vk(j))函数的功能是返回Vk(j)中所有元素取值的最大值，min(Vk(j))函数的功能是返回Vk(j)二维数组中所有素取取值的最小值；
步骤303——判断训练次数是否达上限：
当前训练次数计数器t是否达到上限LOOP_MAX，如果t≤LOOP_MAX，则跳转步骤304，开始第t次训练，否则t＞LOOP_MAX跳转步骤321保存权值参数并保存训练次数误差，准备结束第t次训练；
步骤304——全段网络前向计算：
步骤304.1随机挑选BATCHSIZE个训练样本分别进行前向计算，准备用于wCwNN权值和参数调整：
训练过程的关键是对神经网络各参数进行调整，调整算法需要对单个样本进行前向计算，前向计算的结果与标签值之前可以计算误差，根据误差进行误差的反向传播计算，根据反向传播的误差计算神经网络参数的调整量，过程都是针对单个样本进行的，第t次训练中，一次处理BATCHSIZE个样本，其中前向计算步骤如下：
定义参加第t次训练的样本组合为sampleBATCH(t)：在第t次训练时，首先在全体训练样本sampleALL中，随机挑选BATCHSIZE个样本，构成一个训练样本组合sampleBATCH(t)，在第t次训练中这些随机选出的样本都参加训练；
定义训练样本组合sampleBATCH(t)，其中第n个样本的输入为Xn(t)：其中n＝1，2，…，BATCHSIZE，k代表训练样本的编号，一共有BATCHSIZE个；
定义训练样本组合sampleBATCH(t)，其中第n个样本的标签为Yn(t)：其中n＝1，2，…，BATCHSIZE，n代表训练样本的编号，一共有BATCHSIZE个；
将训练样本组合sampleBATCH(t)中的每一个样本Xn(t)，n＝1，2，…，BATCHSIZE，分别作为前向计算流程200的输入参数O1(t)，分别送入前向计算流程200，前向计算流程200的输出为wCwNN最后一层的输出
Figure FDA0003222061320000091
步骤304.2将全体训练样本进行前向计算，准备用于计算总体误差：
训练过程中需要根据已经达成的训练效果判定算法是否可以结束，全体训练样本的总误差是全体样本的标签值和前向计算的结果的差的函数，计算方法如下：
定义全体训练样本中的每个样本的输入为allXn，n＝1，2，…，N，分别作为前向计算流程200的输入参数O1(t)，分别送入前向计算流程200，前向计算流程200的输出为每个样本的前向计算结果
Figure FDA0003222061320000092
步骤305——总误差计算：
根据步骤301wCwNN训练计算流程(300)开始中的定义，全体训练样本的标签为allYn，allYn与训练次数t无关；根据步骤304.2全体训练样本的前向计算，得到在时刻t第n个训练样本输入的前向计算结果为
Figure FDA0003222061320000101
则第t次训练中，样本的总误差L(t)，计算公式如下：
Figure FDA0003222061320000102
步骤306——判断误差是否达标：
如果第t次训练中，L(t)＜ERROR_TARGET，即达到目标误差的要求，则跳转至步骤321保存权值参数并保存训练次数误差，准备结束训练；否则转至步骤307误差反向传播计算，准备更新权值，产生新的总误差进行算法终止判定，本步骤判定算法不结束，因此训练次数t更新为：t＝t+1；
步骤307——误差反向传播计算：
定义
Figure FDA0003222061320000103
表示wCwNN后段网络各层的输出误差：其中
Figure FDA0003222061320000104
表示在t时刻wNN输入层神经元i的输出误差，用
Figure FDA0003222061320000105
表示wNN隐藏层神经元j未经过激活函数的输出误差，用
Figure FDA0003222061320000106
表示wNN隐藏层神经元j经过激活函数的输出误差，用
Figure FDA0003222061320000107
表示wNN输出层神经元k的输出误差；
步骤307.1——wCwNN后段网络误差反向传播：
wNN输出层输出误差计算如下：
Figure FDA0003222061320000108
Figure FDA0003222061320000109
表示wNN输出层第k个神经元的输出误差，k表示神经元的编号，输出层一共有L个神经元，
Figure FDA00032220613200001010
是一个维数为L×1的矩阵；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure FDA00032220613200001011
用一个维度为L×BATCHSIZE的矩阵表示；
wNN隐藏层输出误差计算如下：
Figure FDA00032220613200001012
Figure FDA00032220613200001013
表示wNN隐含层第j个神经元经过激活函数后的输出误差，j表示隐含层神经元的编号，隐含层一共有Q个神经元，即
Figure FDA00032220613200001014
是一个维数为Q×1的矩阵；
Figure FDA00032220613200001015
表示隐含层与输出层各神经元之间的连接权值矩阵，矩阵维度为Q×L；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure FDA0003222061320000111
用一个维度为Q×BATCHSIZE的矩阵表示；
wNN隐藏层未经过激活函数的输出误差如下：
Figure FDA0003222061320000112
Figure FDA0003222061320000113
表示wNN隐藏层神经元j未经过激活函数的输出误差，j表示隐含层神经元的编号，隐含层一共有Q个神经元；当BATCHSIZE个样本同时计算时，
Figure FDA0003222061320000114
表示为一个维数为BATCHSIZE×Q的矩阵：Ψ′a，b代表wNN隐含层的激活函数的导数，经过
Figure FDA0003222061320000115
计算后的矩阵维度为BATCHSIZE×Q，表示BATCHSIZE个样本反向传播计算过程中，隐藏层第j个神经元在未经激活函数之前的导数；
wNN输入层第i个神经元的输出误差计算如下：
Figure FDA0003222061320000116
Figure FDA0003222061320000117
表示wNN输入层第i个神经元的输出误差，i表示输入层神经元的编号，wNN输入层一共有M个神经元；
Figure FDA0003222061320000118
表示输入层与隐含层各神经元之间的连接权值矩阵，矩阵维度为Q×M；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure FDA00032220613200001112
表示为一个维数为BATCHSIZE×M的矩阵；
步骤307.2——卷积计算后的输出误差计算：
如果前段网络最后一层是第l层，第l层有两种情况：
情况一：如果第l层是池化层，池化层没有激活函数，池化计算后的输出误差为：
Figure FDA0003222061320000119
情况二：如果第l层是卷积层，卷积计算之后还要进行激活函数计算，从而产生卷积层的输出，作为第l+1层的输入，上述激活函数之后的输出误差为：
Figure FDA00032220613200001110
而激活函数之前，卷积层的卷积计算后，输出误差的计算公式为：
Figure FDA00032220613200001111
Figure FDA0003222061320000121
是前向计算中得到的第l层卷积和激活函数计算后的输出，其中i＝1，2...，M；当BATCHSIZE个样本同时计算时，BATCHSIZE个
Figure FDA0003222061320000122
BATCHSIZE个
Figure FDA0003222061320000123
和BATCHSIZE个
Figure FDA0003222061320000124
分别用一个维度为M×BATCHSIZE的矩阵表示；
情况1和情况2计算的结果
Figure FDA0003222061320000125
是卷积计算之后的输出误差；
对于前段网络的最后一层：对于每一个样本，
Figure FDA0003222061320000126
部是一个1×M的矩阵，对应后段网络的输入维度1×M；但是前段网络的输出的数据结构应该是sizeOl×sizeOl×featurel，l＝-1wC，其中featurel，l＝-1wC表示前段网络最后一层的特征数，sizeOl×sizeOl，l＝-1wC表示前段网络最后一层的每个特征对应的输出矩阵，前段网络最后一层的输出与后段网络第一层的输入的对应关系是：sizeOl×sizeOl×featurel＝1×M，l＝-1wC；因此需要将1×M的数据结构映射回sizeOl×sizeOl×featurel，l＝-1wC的数据结构：
使用j表示前段网络的最后一层的特征编号，则j＝1，2...，featurel，l＝-1wC，使用m、n表示第j个特征输出误差的行号和列号，则m＝1，2...，sizeOl，n＝1，2...，sizeOl，l＝-1wC；则第j个特征第m行、第n列的输出误差映射公式为：
Figure FDA0003222061320000127
步骤307.3——wCwNN前段网络误差反向传播：
wCwNN前段网络的第l＝1层为样本的输入层，第l＝2层为第1个卷积层，第l＝3层为第1个池化层，第l＝4层为第2个卷积层，第l＝5层为第2个池化层，以此类推，l≥3；
如果第l层是卷积层，用变量
Figure FDA0003222061320000128
表示第l层的第j个特征的输出误差，则
Figure FDA0003222061320000129
表示卷积层的后一层的第i个特征的输出误差；i＝1，2，...，sizel+1，i表示池化层各特征的编号，第l+1层有featurel+1个特征；
如果第l层是池化层，用变量
Figure FDA00032220613200001210
表示第l层的第i个特征的输出误差，则用变量
Figure FDA00032220613200001211
表示池化层的后一层的第j个特征的输出误差，j＝1，2，...，featurel+1，j表示卷积层各特征的编号，第l+1层有featurel+1个特征；
步骤307.3.1——池化层的误差反向传播：
池化层的误差反向传播是指：根据池化层的输出误差
Figure FDA0003222061320000131
计算前一个卷积层经过激活函数前的输出误差
Figure FDA0003222061320000132
计算公式为：
Figure FDA0003222061320000133
Figure FDA0003222061320000134
表示第j个特征的误差，
Figure FDA0003222061320000135
表示第j个特征的输入值，
Figure FDA0003222061320000136
与
Figure FDA0003222061320000137
表示第j个特征的小波变换平移因子与伸缩因子；j表示各特征的编号，第l层有featurel个特征，
Figure FDA0003222061320000138
为池化层第i个特征的输出误差，i表示池化层各特征的编号，第l+1层有featurel+1个特征；Ψ′wc(x)为激活函数导数函数；poolExpand(x)表示池化层扩展，作用是将池化层每一个点的输出误差扩展成为sizePl+1×sizePl+1个输出误差；
Figure FDA0003222061320000139
表示扩展后的误差，计算公式如下，其中int(x)函数，表示对x向下取整；
Figure FDA00032220613200001310
Figure FDA00032220613200001311
步骤307.3.2——卷积层的卷积计算的误差反向传播计算
卷积层的卷积计算的误差反向传播是指：根据卷积层的卷积计算的输出误差
Figure FDA00032220613200001312
计算卷积层的输入误差
Figure FDA00032220613200001313
Figure FDA00032220613200001314
也是池化层的输出误差，该误差
Figure FDA00032220613200001315
的计算公式为：
Figure FDA00032220613200001316
Figure FDA00032220613200001317
表示池化层第i个特征的输出误差，
Figure FDA00032220613200001318
表示池化层的后一层卷积层的第j个特征未经过激活函数前的输出误差，
Figure FDA00032220613200001319
表示第l层的第i个特征向第l+1层的第j个特征进行卷积计算的卷积窗，j表示第l+1层各特征的编号，第l+1层有featurel+1个特征，i表示第l层池化层各特征的编号，第l层池化层有featurel个特征；
当BATCHSIZE个样本同时计算时，该步骤依靠反卷积完成，计算公式为：
Figure FDA0003222061320000141
函数Rotate(x)的功能是把矩阵x翻转180度：如果原矩阵x是a×b的矩阵， a＝b，则翻转过程如下：
Figure FDA0003222061320000142
函数z＝Convolution2(x，y)的功能是反卷积计算：以y为卷积核，将矩阵x进行卷积计算，得到的结果是z，计算方式如下所示：
Figure FDA0003222061320000143
步骤308——网络权值与参数的调整计算：
步骤308.1——权值与参数的求导计算：
步骤308.1.1——前段网络的权值与参数的求导计算：
如果第l层是卷积层，则该层权值与参数的导数方法如下：
卷积核
Figure FDA0003222061320000144
的求导计算公式如下：
Figure FDA0003222061320000145
Figure FDA0003222061320000146
表示第l-1层的第i个特征未经过激活函数的输出值，
Figure FDA0003222061320000147
表示第l层的第j个特征输出误差值；j表示卷积层各特征的编号，第l层有featurel个特征，i表示池化层各特征的编号，第l-1层有featurel-1个特征；
Figure FDA0003222061320000148
是第l层的第j个特征的小波变换参数
Figure FDA0003222061320000149
的导数，计算公式如下：
Figure FDA00032220613200001410
Figure FDA0003222061320000151
其中，
Figure FDA0003222061320000152
表示第l层的第j个特征输出误差值，
Figure FDA0003222061320000153
表示第l层的第j个特征未经过激活函数的输出值，
Figure FDA0003222061320000154
表示第l层的第j个特征的平移因子，
Figure FDA0003222061320000155
表示第l层的第j个特征的伸缩因子；
当BATCHSIZE个样本同时计算
Figure FDA0003222061320000156
时：
Figure FDA0003222061320000157
的维度为(sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)×featurel，
Figure FDA0003222061320000158
的维度为1×featurel，
Figure FDA0003222061320000159
表示特征j的误差除以特征j的
Figure FDA00032220613200001510
参数，结果维度为(sizeNetl-sizeCl+1)×(sizeNetl-sizeCl+1)×featurel；将各特征的BATCHSIZE个样本误差相加，得到特征j的误差和，将除以BATCHSIZE得到平均误差，维度为1×featurel；
当BATCHSIZE个样本同时计算
Figure FDA00032220613200001511
时：
Figure FDA00032220613200001512
的维度与
Figure FDA00032220613200001513
相同，
Figure FDA00032220613200001514
求解过程同
Figure FDA00032220613200001515
步骤308.1.2——后段网络的权值与参数的求导计算：
后段网络的权值的导数的计算公式如下：
Figure FDA00032220613200001516
Figure FDA00032220613200001524
Figure FDA00032220613200001517
Figure FDA00032220613200001518
当BATCHSIZE个样本同时计算daj(t)时：
Figure FDA00032220613200001519
的维度为Q×BATCHSIZE，
Figure FDA00032220613200001520
的维度为Q×BATCHSIZE，
Figure FDA00032220613200001521
计算结果的维度同样为Q×BATCHSIZE，代表样本的第j个隐藏层神经元的计算值，
Figure FDA00032220613200001522
与
Figure FDA00032220613200001523
的结果进行矩阵的点乘计算；所述矩阵的点乘：矩阵各个对应元素相乘；矩阵的乘法：矩阵a的第n行乘以矩阵b的第n列，各个元素对应相乘然后求和作为第n个元素的值，计算结果的维度为Q×BATCHSIZE，代表样本的第j个隐含层神经元参数aj(t)的导数；把BATCHSIZE个样本的导数相加，再除以BATCHSIZE，即得到第j个隐含层神经元参数aj(t)的平均导数；
当BATCHSIZE个样本同时计算dbj(t)时：
Figure FDA0003222061320000161
的维度为Q×BATCHSIZE，aj(t)的维度为1×Q，
Figure FDA0003222061320000162
表示样本的第j个神经元bj(t)的导数，把上述BATCHSIZE个样本的导数相加，再除以BATCHSIZE，即可得到第j个隐含层神经元参数bj(t)的平均导数；
步骤308.2——wCwNN的权值与参数的更新计算：
如果第l层是前段网络的卷积层，则权值更新如下：
Figure FDA0003222061320000163
Figure FDA0003222061320000164
Figure FDA0003222061320000165
如果当前层是后段网络wNN，则权值更新如下：
Figure FDA0003222061320000166
Figure FDA0003222061320000167
aj(t+1)＝aj(t)-AlphaWNN×daj(t)+LA×aj(t) (49)
bj(t+1)＝bj(t)-AlphaWNN×dbj(t)+LA×bj(t) (50)
步骤321——保存wCwNN权值与参数：
保存wCwNN前段网络卷积层的卷积核参数
Figure FDA0003222061320000168
小波变换中的平移因子
Figure FDA0003222061320000169
伸缩因子
Figure FDA00032220613200001610
其中l＝1，3，...，n，此处的n表示最后一个卷积层的层号；
保存wCwNN后段网络输入层与隐含层之间的连接权值
Figure FDA00032220613200001611
隐含层尺度变换参数Aj＝aj(t)和Bj＝bj(t)，隐含层与输出层之间的连接权值
Figure FDA0003222061320000171
步骤390——wCwNN训练结束。
2.基于小波卷积小波神经网络及情报分析系统，利用权利要求1所述方法实现，其特征在于：
1.2.0不受控系统(6)包括：监控场景(6.1)和互联网(6.2)，监控场景(6.1)和互联网(6.2)中的大数据信息，将会被基于小波卷积小波神经网络及情报分析方法的系统(2000)采集；
1.2.1前端情报板(1)包括：嵌入式计算机(1.1)、嵌入式操作系统(1.2)、USB接口(1.3)、网络接口(1.4)、显示器接口(1.5)、视频图像采集装置(1.6)、输入设备(1.7)、显示器(1.8)、wCwNN模块(1.9)和无线路由器(1.10)；
1.2.2网络安全与交换设备(2)包括网络安全设备(2.1)和网络数据交换设备(2.2)，通过网线相连接，实现数据交换；网络安全设备(2.1)通过网线接入互联网(6.2)，进而与前端情报板(1)可以通讯，通讯过程可以进行链路加密和数据加密；网络数据交换设备(2.2)通过网线与海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)相连接，从而实现网络安全与交换设备(2)的作用：实现前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器(5)之间的数据安全与交换；
1.2.3海量情报服务器(3)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、高性能情报分析器(4)、情报监察控制器(5)进行网络数据交换；海量情报服务器(3)的作用是储存情报信息，海量情报服务器(3)的次要作用和前端情报板(1)的作用之一一样，实现网络文本信息的采集功能；
1.2.4高性能情报分析器(4)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、海量情报服务器(3)、情报监察控制器(5)进行网络数据交换；高性能情报分析器(4)的作用是对海量情报服务器(3)中存取的信息进行分析，实现wCwNN算法流程；
1.2.5情报监察控制器(5)通过网线与网络安全与交换设备(2)连接，从而可以与前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)、情报监察控制器；情报监察控制器(5)的作用是显示前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)的信息和状态给管理员，将管理员下达的各种控制指令和信息发送给前端情报板(1)、海量情报服务器(3)、高性能情报分析器(4)。
3.根据权利要求2所述的基于小波卷积小波神经网络及情报分析系统，其特征在于：
1.2.1.1嵌入式计算机(1.1)是微型计算机、嵌入式开发版或单片机，通过螺丝固定在前端情报板(1)上，用于运行操作系统和程序；
1.2.1.2嵌入式操作系统(1.2)是计算机操作系统和用于嵌入式设备的操作系统，安装在嵌入式计算机(1.1)中，用于运行程序；
1.2.1.3 USB接口(1.3)是嵌入式计算机(1.1)的USB接口，或者是嵌入式计算机(1.1)扩展出来的USB接口，用于连接外部USB接入设备；
1.2.1.4网络接口(1.4)是嵌入式计算机(1.1)的网络接口，或者是嵌入式计算机(1.1)扩展出来的网络接口，用于连接外部网络设备、接入网络、接入互联网(6.2)；
1.2.1.5显示器接口(1.5)是嵌入式计算机(1.1)的显示接口，或者是嵌入式计算机(1.1)扩展出来的显示接口，用于连接外部显示设备；
1.2.1.6视频图像采集装置(1.6)是摄像装置，或者是传感器，通过数据线或数据线配合转换器与USB接口(1.3)连接，用于采集来自监控场景(6.1)的大数据信息；
1.2.1.7输入设备(1.7)是键盘，或者是按键、身份认证输入设备，通过数据线或数据线配合转换器与USB接口(1.3)连接，用于输入信息；
1.2.1.8显示器(1.8)或者是带有触摸功能的显示器或带有触摸功能的投影仪，显示器(1.8)通过数据线和显示器接口(1.5)连接，用于显示信息；
1.2.1.9 wCwNN模块(1.9)是运行于嵌入式计算机(1.1)的软件，或者是独立于嵌入式计算机(1.1)的计算机，通过网络数据交换的方法与嵌入式计算机(1.1)、海量情报服务器(3)进行数据通讯交互，实现驱动前端情报板(1)各模块工作、信息发送服务器以及接受服务器信息；
1.2.1.10无线路由器(1.10)是放入SIM卡的无线路由器，或者是普通路由器；无线路由器(1.10)的网口通过网线与网络接口(1.4)连接，如果嵌入式计算机(1.1)本身具有WiFi网络接入功能，则能够直接与无线路由器(1.10)通过WiFi连接；无线路由器(1.10)通过SIM卡对应的移动互联网络接入互联网(6.2)，也能够通过与互联网(6.2)中的网络交换传输设备连接，实现接入互联网(6.2)。
CN201910377383.7A 2019-05-05 2019-05-05 小波卷积小波神经网络及情报分析方法与系统 Expired - Fee Related CN110399970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910377383.7A CN110399970B (zh) 2019-05-05 2019-05-05 小波卷积小波神经网络及情报分析方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910377383.7A CN110399970B (zh) 2019-05-05 2019-05-05 小波卷积小波神经网络及情报分析方法与系统

Publications (2)

Publication Number Publication Date
CN110399970A CN110399970A (zh) 2019-11-01
CN110399970B true CN110399970B (zh) 2021-10-01

Family

ID=68322911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910377383.7A Expired - Fee Related CN110399970B (zh) 2019-05-05 2019-05-05 小波卷积小波神经网络及情报分析方法与系统

Country Status (1)

Country Link
CN (1) CN110399970B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752144B (zh) * 2020-05-18 2023-06-06 首都经济贸易大学 循环涟漪纹波预测方法与智能控制系统
CN112070211B (zh) * 2020-08-21 2024-04-05 北京科技大学 基于计算卸载机制的图像识别方法
CN114594706A (zh) * 2022-02-07 2022-06-07 安徽聚源水利科技液压坝制造有限公司 一种网络控制合页坝及智能控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202119467U (zh) * 2011-05-12 2012-01-18 北京工业大学 自适应小波神经网络异常检测故障诊断分类系统
CN102902203A (zh) * 2012-09-26 2013-01-30 北京工业大学 时间序列预测与智能控制结合的参数在线整定方法与系统
CN106960063A (zh) * 2017-04-20 2017-07-18 广州优亚信息技术有限公司 一种针对招商引资领域的互联网情报抓取和推荐系统
CN107239446A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络与注意力机制的情报关系提取方法
CN107704426A (zh) * 2017-08-25 2018-02-16 南京邮电大学 基于扩展小波神经网络模型的水位预测方法
CN108764454A (zh) * 2018-04-28 2018-11-06 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110077484A1 (en) * 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202119467U (zh) * 2011-05-12 2012-01-18 北京工业大学 自适应小波神经网络异常检测故障诊断分类系统
CN102902203A (zh) * 2012-09-26 2013-01-30 北京工业大学 时间序列预测与智能控制结合的参数在线整定方法与系统
CN106960063A (zh) * 2017-04-20 2017-07-18 广州优亚信息技术有限公司 一种针对招商引资领域的互联网情报抓取和推荐系统
CN107239446A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络与注意力机制的情报关系提取方法
CN107704426A (zh) * 2017-08-25 2018-02-16 南京邮电大学 基于扩展小波神经网络模型的水位预测方法
CN108764454A (zh) * 2018-04-28 2018-11-06 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控系统集成有限公司 一种人工智能预警系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Dpw-sdnet:Dual pixel-wavelet domain deep cnns for soft decoding of jpeg-compressed images;Honggang Chen等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;20181217;824-833 *
Wavelet Convolutional Neural Networks;Shin Fujieda等;《arXiv:1805.08620v1》;20180520;1-10 *
基于自然语言处理和图计算的情报分析研究;杨明川等;《电信技术》;20170625;6-8 *
时间序列预测小波神经网络在线整定控制;刘经纬等;《控制工程》;20160820;第23卷(第8期);1283-1290 *
高精度自适应小波神经网络人工智能方法探索;刘经纬等;《计算机科学与探索》;20160428;第10卷(第8期);1122-1132 *

Also Published As

Publication number Publication date
CN110399970A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
US20230028237A1 (en) Method and apparatus for training image processing model
CN109902546B (zh) 人脸识别方法、装置及计算机可读介质
CN106683048B (zh) 一种图像超分辨率方法及设备
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN110956111A (zh) 人工智能cnn、lstm神经网络步态识别系统
CN110399970B (zh) 小波卷积小波神经网络及情报分析方法与系统
US20220215259A1 (en) Neural network training method, data processing method, and related apparatus
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
US20220222918A1 (en) Image retrieval method and apparatus, storage medium, and device
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN111666919B (zh) 一种对象识别方法、装置、计算机设备和存储介质
CN107909104A (zh) 一种图片的人脸聚类方法、装置及存储介质
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN112560967B (zh) 一种多源遥感图像分类方法、存储介质及计算设备
CN111259738A (zh) 人脸识别模型构建方法、人脸识别方法及相关装置
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN109871762B (zh) 一种人脸识别模型的评价方法和装置
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN109766873A (zh) 一种混合可变形卷积的行人再识别方法
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111898703A (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN108229432A (zh) 人脸标定方法及装置
CN114663769B (zh) 一种基于YOLO v5的水果识别方法
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211001