CN107563220A - 一种基于计算机的大数据分析控制系统及控制方法 - Google Patents
一种基于计算机的大数据分析控制系统及控制方法 Download PDFInfo
- Publication number
- CN107563220A CN107563220A CN201710757189.2A CN201710757189A CN107563220A CN 107563220 A CN107563220 A CN 107563220A CN 201710757189 A CN201710757189 A CN 201710757189A CN 107563220 A CN107563220 A CN 107563220A
- Authority
- CN
- China
- Prior art keywords
- mrow
- data
- msub
- mfrac
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明属于大数据分析领域，公开了一种基于计算机的大数据分析控制系统及控制方法，所述基于计算机的大数据分析控制系统包括：数据采集模块，数据计算模块，数据存储模块，数据提取与分析模块，数据服务模块。本发明提升了大数据存储的安全性，通过将不同类别的存储数据与相应的存储安全策略进行关联，如将银行卡的证书类文件直接设置为只读操作或加密操作；如对一般的多媒体文件可设置为通常的读写操作；如对文本文件可设置为加密操作，以防止信息泄露；同时用户可根据自身的个性化需要将每种类别的存储数据设置对应的存储安全策略。
Description
技术领域
本发明属于大数据分析领域，尤其涉及一种基于计算机的大数据分析控制系统及控制方法。
背景技术
随着我国经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域也而临大数据问题，亚需各种有针对性和经济有效的解决方案，快速提升我国在大数据领域的整体实力和国际竞争力。大数据时代来临，工业界是技术争霸的主战场。全球大数据产业界针对大数据特有的海量、非结构化、关系复杂、动态时变等特性以及不断涌现的各种新型应用需求，围绕海量复杂数据的存储、管理、整合、处理、分析、展现、应用等主要环节，已经形成了新的大数据产业体系。
综上所述，现有技术存在的问题是：大数据存储的海量的数据，数据的安全性存在风险，安全性不能满足需求。
发明内容
针对现有技术存在的问题，本发明提供了基于计算机的大数据分析控制系统及控制方法，
本发明是这样实现的，一种基于计算机的大数据分析控制系统，所述基于计算机的大数据分析控制系统包括：数据采集模块，数据计算模块，数据存储模块，数据提取与分析模块，数据服务模块；
数据采集模块：通过RFID射频数据，传感器数据，社交网络数据，移动互联网数据等方式获得各种类型的结构化，半结构化及非结构化的海量数据；
所述数据采集模块利用regress函数作多元线性回归分析方法包括：
对于自变量x1，x2，x3…xp和因变量y的n次独立观测，y关于x1，x2，x3…xp的p重广义线性回归模型公式：
数据计算模块：用于批量计算首先进行数据的存储，然后再对存储的静态数据进行集中计算；
所述数据计算模块的数据聚合方法的步骤如下：
步骤一，在面积为S＝LL的部署区域内，随机分布N个同构的无线传感器节点，sink节点位于部署区域之外，节点处理整个无线传感器网络内收集到的数据；
步骤二，非均匀成簇
sink节点位于部署区域的上方；首先部署区域X轴划分为S个泳道，所有泳道有相同的宽度w，并且每个泳道的长度与部署区域的长度相等；用从1到s作为泳道的ID，最左端的泳道的ID为1，然后每个泳道沿着y轴划分为多个矩形网格，每个泳道中的每个网格都被定义一个水平，最下端的网格的水平为1，每个网格和每个泳道有相同的宽度w；每个泳道中网格的个数、长度与泳道到sink的距离有关；通过设置网格的长度来调整网格的大小；针对不同的泳道，距离sink越远的泳道含有的网格数目越小；针对同一泳道，距离sink越远的网格的长度越大；假设A中含有S个元素，第k个元素表示在第k个泳道中网格的数目；每个网格用一个数组(i，j)作为ID，表示第i个泳道有水平j；定义S个数组表示网格的长度，第v个数组Hv表示第v个泳道中网格的长度，并且Hv的第w个元素hvw表示网格(v，w)的长度；网格(i，j)的边界为：
o_x+(i-1)×w＜x≤o_x+i×w
非均匀网格划分好之后进行成簇阶段；算法分为很多轮进行，在每轮中选取每个网格中剩余能量最大的节点作为簇首节点，其余节点根据就近原则加入簇，然后再进行数据聚合；
步骤三，格拉布斯预处理
传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：
根据顺序统计原理，计算格拉布斯统计量：
给定显著性水平(α＝0.05)之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合；
步骤四，自适应聚合算法
通过迭代得到各个节点测量数据的无偏估计值，求取各个传感器节点的测量数据值与估计值之间的欧式距离，以归一化的欧式距离作为自适应加权融和的权值；选用簇中的传感器节点采集到的数据的最大值与最小值的平均值作为中心数据；
某个簇中有个传感器节点，用维列向量D＝(d1,d2,…,dn)表示相应节点的测量值，通过计算各个节点数据与中心数据的欧式距离反应不同节点数据与中心数据之间的偏差大小，其中li的计算公式为：
根据欧式距离自适应设定相应的权值大小，距离越大权值越小，距离越小权值越大；
其中wi为相应的权值；
数据存储模块：通过列存储、粗粒度索引多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑；
数据提取与分析模块：用于进行数据提取转化加载；
数据服务模块：通过web应用服务器和OpenAPI服务器以web调用和OpenAPI调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用提供的大数据存储、管理及挖掘服务；
所述终端的极限容量计算方法如下：
利用Laguerre多项式计算得到：
其中，m＝min(Nt,Nr)；
n＝max(Nt,Nr)；
为次数为k的Laguerre多项式；
如果令λ＝n/m，推导出如下归一化后的信道容量表示式；
其中，
在快速瑞利衰落的情况下，令m＝n＝Nt＝Nr，则v1＝0，v2＝4；
渐进信道容量为：
利用不等式：
log2(1+x)≥log2(x)；
式简化为：
本发明的另一目的在于提供一种所述基于计算机的大数据分析控制系统的控制方法，所述控制方法包括以下步骤：
步骤一：采集数据源；
步骤二：对需求数据信息进行提取与深度检测分析；
步骤三：对获取需求信息数据进行存储；
步骤四：提供数据服务；
通过web应用服务器和OpenAPI服务器以web调用和OpenAPI调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用其提供的大数据存储、管理及挖掘服务。
进一步，所述对需求数据信息进行提取与深度检测分析方法包括以下步骤：
第一步，、获取应用对信息的需求；
第二步、将应用的信息需求转换为网络数据收集的策略；
第三步、根据上述策略从网络中得到相应的数据；
第四步、根据收集的数据建立数据库，起到衔接深度包检测技术和大数据分析技术的作用；
第五步、基于所述数据库，利用联机分析技术和数据挖掘技术，得到应用需要的信息；
第六步、将得到的信息提交应用实体使用。
进一步，所述对获取需求信息数据进行存储方法包括以下步骤：
(1)数据存储装置设置每种类别的存储数据对应的存储安全策略，用户可根据自身的个性化需要将每种类别的存储数据设置对应的存储安全策略；
(2)数据存储装置获取数据存储指令，数据存储指令是指用户对某类存储数据进行存储操作的指令；随后数据存储装置根据该数据存储指令获取存储数据的类别；存储数据的类别包括多媒体文件、文本文件、可执行文件、加密文件以及证书类文件中至少一个；
(3)数据存储装置根据获取的存储数据的类别，获取存储数据的存储安全策略；存储安全策略包括读写操作、只读操作以及加密操作中至少一个。
本发明的优点及积极效果为：提升大数据存储的安全性，通过将不同类别的存储数据与相应的存储安全策略进行关联，如将银行卡的证书类文件直接设置为只读操作或加密操作；如对一般的多媒体文件可设置为通常的读写操作；如对文本文件可设置为加密操作，以防止信息泄露；同时用户可根据自身的个性化需要将每种类别的存储数据设置对应的存储安全策略。
附图说明
图1是本发明实施提供的基于计算机的大数据分析控制系统结构示意图。
图2是本发明实施提供的基于计算机的大数据分析控制方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的基于计算机的大数据分析控制系统包括：数据采集模块1，数据计算模块2，数据存储模块3，数据提取与分析模块4，数据服务模块5。
数据采集模块1：通过RFID射频数据，传感器数据，社交网络数据，移动互联网数据等方式获得各种类型的结构化，半结构化及非结构化的海量数据。
数据计算模块2：大数据计算主要有批量计算和流式计算两种形态；批量计算首先进行数据的存储，然后再对存储的静态数据进行集中计算；Hadoop是典型的大数据批量计算架构，由HDFS分布式文件系统负责静态数据的存储，并通过MapReduce将计算逻辑分配到各数据节点进行数据计算和价值发现。流式计算中，无法确定数据的到来时刻和到来顺序，也无法将全部数据存储起来；因此，不再进行流式数据的存储，而是当流动的数据到来后在内存中直接进行数据的实时计算。
数据存储模块3：是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统；有三种存储技术：第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用SharedNothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑。第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大。第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。
数据提取与分析模块4：是数据仓库基础构架，用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在大规模数据的机制。
数据服务模块5：通过web应用服务器和Open API服务器以web调用和OpenAPI调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用其提供的大数据存储、管理及挖掘服务。
所述数据采集模块利用regress函数作多元线性回归分析方法包括：
对于自变量x1，x2，x3…xp和因变量y的n次独立观测，y关于x1，x2，x3…xp的p重广义线性回归模型公式：
所述数据计算模块的数据聚合方法的步骤如下：
步骤一，在面积为S＝LL的部署区域内，随机分布N个同构的无线传感器节点，sink节点位于部署区域之外，节点处理整个无线传感器网络内收集到的数据；
步骤二，非均匀成簇
sink节点位于部署区域的上方；首先部署区域X轴划分为S个泳道，所有泳道有相同的宽度w，并且每个泳道的长度与部署区域的长度相等；用从1到s作为泳道的ID，最左端的泳道的ID为1，然后每个泳道沿着y轴划分为多个矩形网格，每个泳道中的每个网格都被定义一个水平，最下端的网格的水平为1，每个网格和每个泳道有相同的宽度w；每个泳道中网格的个数、长度与泳道到sink的距离有关；通过设置网格的长度来调整网格的大小；针对不同的泳道，距离sink越远的泳道含有的网格数目越小；针对同一泳道，距离sink越远的网格的长度越大；假设A中含有S个元素，第k个元素表示在第k个泳道中网格的数目；每个网格用一个数组(i，j)作为ID，表示第i个泳道有水平j；定义S个数组表示网格的长度，第v个数组Hv表示第v个泳道中网格的长度，并且Hv的第w个元素hvw表示网格(v，w)的长度；网格(i，j)的边界为：
o_x+(i-1)×w＜x≤o_x+i×w
非均匀网格划分好之后进行成簇阶段；算法分为很多轮进行，在每轮中选取每个网格中剩余能量最大的节点作为簇首节点，其余节点根据就近原则加入簇，然后再进行数据聚合；
步骤三，格拉布斯预处理
传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：
根据顺序统计原理，计算格拉布斯统计量：
给定显著性水平(α＝0.05)之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合；
步骤四，自适应聚合算法
通过迭代得到各个节点测量数据的无偏估计值，求取各个传感器节点的测量数据值与估计值之间的欧式距离，以归一化的欧式距离作为自适应加权融和的权值；选用簇中的传感器节点采集到的数据的最大值与最小值的平均值作为中心数据；
某个簇中有个传感器节点，用维列向量D＝(d1,d2,…,dn)表示相应节点的测量值，通过计算各个节点数据与中心数据的欧式距离反应不同节点数据与中心数据之间的偏差大小，其中li的计算公式为：
根据欧式距离自适应设定相应的权值大小，距离越大权值越小，距离越小权值越大；
其中wi为相应的权值。
所述终端的极限容量计算方法如下：
利用Laguerre多项式计算得到：
其中，m＝min(Nt,Nr)；
n＝max(Nt,Nr)；
为次数为k的Laguerre多项式；
如果令λ＝n/m，推导出如下归一化后的信道容量表示式；
其中，
在快速瑞利衰落的情况下，令m＝n＝Nt＝Nr，则v1＝0，v2＝4；
渐进信道容量为：
利用不等式：
log2(1+x)≥log2(x)；
式简化为：
本发明实施例提供的基于计算机的大数据分析控制系统及控制方法包括以下步骤：
步骤S1：采集数据源；
步骤S2：对需求数据信息进行提取与深度检测分析；
S201、获取应用对信息的需求；
S202、将应用的信息需求转换为网络数据收集的策略；
S203、根据上述策略从网络中得到相应的数据；
S204、根据步骤S203收集的数据建立数据库，起到衔接深度包检测技术和大数据分析技术的作用；
S205、基于所述数据库，利用联机分析技术和数据挖掘技术，得到应用需要的信息；
S206、将步骤S205得到的信息提交应用实体使用。
步骤S3：对获取需求信息数据进行存储
S301：数据存储装置设置每种类别的存储数据对应的存储安全策略。由于不同类别的存储数据对于用户而言的存储安全性可能是不同的，有的用户的文本文件中的信息很重要，用户可能会将文本文件对应的存储安全策略设置为加密操作；有的用户的文本文件中的信息可能是一般的小说，用户则会将文本文件对应的存储安全策略设置为读写操作。这里用户可根据自身的个性化需要将每种类别的存储数据设置对应的存储安全策略。
S302：数据存储装置获取数据存储指令，该数据存储指令是指用户对某类存储数据进行存储操作的指令。随后数据存储装置根据该数据存储指令获取存储数据的类别。这里存储数据的类别包括但不限于多媒体文件、文本文件、可执行文件、加密文件以及证书类文件中至少一个。
S303：数据存储装置根据步骤S302获取的存储数据的类别，获取该存储数据的存储安全策略。该存储安全策略包括但不限于读写操作、只读操作以及加密操作中至少一个。这里将不同类别的存储数据与相应的存储安全策略进行关联，如将银行卡的证书类文件直接设置为只读操作或加密操作；如对一般的多媒体文件可设置为通常的读写操作；如对文本文件可设置为加密操作，以防止信息泄露。
步骤S4：提供数据服务
通过web应用服务器和Open API服务器以web调用和Open API调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用其提供的大数据存储、管理及挖掘服务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于计算机的大数据分析控制系统，其特征在于，所述基于计算机的大数据分析控制系统包括：数据采集模块，数据计算模块，数据存储模块，数据提取与分析模块，数据服务模块；
数据采集模块：通过RFID射频数据，传感器数据，社交网络数据，移动互联网数据等方式获得各种类型的结构化，半结构化及非结构化的海量数据；
所述数据采集模块利用regress函数作多元线性回归分析方法包括：
对于自变量x1，x2，x3…xp和因变量y的n次独立观测，y关于x1，x2，x3…xp的p重广义线性回归模型公式：
数据计算模块：用于批量计算首先进行数据的存储，然后再对存储的静态数据进行集中计算；
所述数据计算模块的数据聚合方法的步骤如下：
步骤一，在面积为S＝LL的部署区域内，随机分布N个同构的无线传感器节点，sink节点位于部署区域之外，节点处理整个无线传感器网络内收集到的数据；
步骤二，非均匀成簇
sink节点位于部署区域的上方；首先部署区域X轴划分为S个泳道，所有泳道有相同的宽度w，并且每个泳道的长度与部署区域的长度相等；用从1到s作为泳道的ID，最左端的泳道的ID为1，然后每个泳道沿着y轴划分为多个矩形网格，每个泳道中的每个网格都被定义一个水平，最下端的网格的水平为1，每个网格和每个泳道有相同的宽度w；每个泳道中网格的个数、长度与泳道到sink的距离有关；通过设置网格的长度来调整网格的大小；针对不同的泳道，距离sink越远的泳道含有的网格数目越小；针对同一泳道，距离sink越远的网格的长度越大；假设A中含有S个元素，第k个元素表示在第k个泳道中网格的数目；每个网格用一个数组(i，j)作为ID，表示第i个泳道有水平j；定义S个数组表示网格的长度，第v个数组Hv表示第v个泳道中网格的长度，并且Hv的第w个元素hvw表示网格(v，w)的长度；网格(i，j)的边界为：
o_x+(i-1)×w＜x≤o_x+i×w
<mrow>
<mi>o</mi>
<mo>_</mo>
<mi>y</mi>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>&le;</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msub>
<mi>h</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo><</mo>
<mi>y</mi>
<mo>&le;</mo>
<mi>o</mi>
<mo>_</mo>
<mi>y</mi>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>&le;</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msub>
<mi>h</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
</mrow>
非均匀网格划分好之后进行成簇阶段；算法分为很多轮进行，在每轮中选取每个网格中剩余能量最大的节点作为簇首节点，其余节点根据就近原则加入簇，然后再进行数据聚合；
步骤三，格拉布斯预处理
传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：
vi＝xi-x0，
根据顺序统计原理，计算格拉布斯统计量：
<mrow>
<msub>
<mi>g</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
</mrow>
<mi>&delta;</mi>
</mfrac>
<mo>;</mo>
</mrow>
给定显著性水平(α＝0.05)之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合；
步骤四，自适应聚合算法
通过迭代得到各个节点测量数据的无偏估计值，求取各个传感器节点的测量数据值与估计值之间的欧式距离，以归一化的欧式距离作为自适应加权融和的权值；选用簇中的传感器节点采集到的数据的最大值与最小值的平均值作为中心数据；
某个簇中有个传感器节点，用维列向量D＝(d1,d2,…,dn)表示相应节点的测量值，通过计算各个节点数据与中心数据的欧式距离反应不同节点数据与中心数据之间的偏差大小，其中li的计算公式为：
<mrow>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msqrt>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</msqrt>
<mo>;</mo>
</mrow>
根据欧式距离自适应设定相应的权值大小，距离越大权值越小，距离越小权值越大；
<mrow>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>/</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>/</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mn>1</mn>
<mo>/</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中wi为相应的权值；
数据存储模块：通过列存储、粗粒度索引多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑；
数据提取与分析模块：用于进行数据提取转化加载；
数据服务模块：通过web应用服务器和Open API服务器以web调用和Open API调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用提供的大数据存储、管理及挖掘服务；
所述终端的极限容量计算方法如下：
利用Laguerre多项式计算得到：
<mrow>
<mi>C</mi>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<mn>0</mn>
<mi>&infin;</mi>
</msubsup>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mi>t</mi>
</msub>
</mfrac>
<mi>&xi;</mi>
<mi>&lambda;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mfrac>
<mrow>
<mi>k</mi>
<mo>!</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>+</mo>
<mi>n</mi>
<mo>+</mo>
<mi>m</mi>
<mo>)</mo>
<mo>!</mo>
</mrow>
</mfrac>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>L</mi>
<mi>k</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>m</mi>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<msup>
<mi>&lambda;</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mi>m</mi>
</mrow>
</msup>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>&lambda;</mi>
</mrow>
</msup>
<mi>d</mi>
<mi>&lambda;</mi>
<mo>;</mo>
</mrow>
其中，m＝min(Nt,Nr)；
n＝max(Nt,Nr)；
为次数为k的Laguerre多项式；
如果令λ＝n/m，推导出如下归一化后的信道容量表示式；
<mrow>
<munder>
<mrow>
<mi>l</mi>
<mi>i</mi>
<mi>m</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>&RightArrow;</mo>
<mi>&infin;</mi>
</mrow>
</munder>
<mfrac>
<mi>C</mi>
<mi>m</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<mi>&pi;</mi>
</mrow>
</mfrac>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mfrac>
<mrow>
<mi>m</mi>
<mi>&xi;</mi>
</mrow>
<msub>
<mi>N</mi>
<mi>t</mi>
</msub>
</mfrac>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msqrt>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
<mi>v</mi>
</mfrac>
<mo>-</mo>
<mn>1</mn>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mi>v</mi>
</mfrac>
<mo>)</mo>
</mrow>
</msqrt>
<mi>d</mi>
<mi>v</mi>
<mo>;</mo>
</mrow>
其中，
<mrow>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msqrt>
<mi>&tau;</mi>
</msqrt>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>;</mo>
</mrow>
在快速瑞利衰落的情况下，令m＝n＝Nt＝Nr，则v1＝0，v2＝4；
渐进信道容量为：
<mrow>
<munder>
<mrow>
<mi>l</mi>
<mi>i</mi>
<mi>m</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>&RightArrow;</mo>
<mi>&infin;</mi>
</mrow>
</munder>
<mfrac>
<mi>C</mi>
<mi>n</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>&pi;</mi>
</mfrac>
<msubsup>
<mo>&Integral;</mo>
<mn>0</mn>
<mn>4</mn>
</msubsup>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mi>&xi;</mi>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msqrt>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>v</mi>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>4</mn>
</mfrac>
<mo>)</mo>
</mrow>
</msqrt>
<mi>d</mi>
<mi>v</mi>
<mo>;</mo>
</mrow>
利用不等式：
log2(1+x)≥log2(x)；
式简化为：
<mrow>
<munder>
<mrow>
<mi>l</mi>
<mi>i</mi>
<mi>m</mi>
</mrow>
<mrow>
<mi>n</mi>
<mo>&RightArrow;</mo>
<mi>&infin;</mi>
</mrow>
</munder>
<mfrac>
<mi>C</mi>
<mi>n</mi>
</mfrac>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>&pi;</mi>
</mfrac>
<msubsup>
<mo>&Integral;</mo>
<mn>0</mn>
<mn>4</mn>
</msubsup>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>&xi;</mi>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msqrt>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>v</mi>
</mfrac>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>4</mn>
</mfrac>
<mo>)</mo>
</mrow>
</msqrt>
<mi>d</mi>
<mi>v</mi>
<mo>&GreaterEqual;</mo>
<msub>
<mi>log</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>&xi;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mn>1.</mn>
</mrow>
2.一种如权利要求1所述基于计算机的大数据分析控制系统的控制方法，其特征在于，所述控制方法包括以下步骤：
步骤一：采集数据源；
步骤二：对需求数据信息进行提取与深度检测分析；
步骤三：对获取需求信息数据进行存储；
步骤四：提供数据服务；
通过web应用服务器和OpenAPI服务器以web调用和OpenAPI调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用其提供的大数据存储、管理及挖掘服务。
3.如权利要求2所述的控制方法，其特征在于，所述对需求数据信息进行提取与深度检测分析方法包括以下步骤：
第一步，、获取应用对信息的需求；
第二步、将应用的信息需求转换为网络数据收集的策略；
第三步、根据上述策略从网络中得到相应的数据；
第四步、根据收集的数据建立数据库，起到衔接深度包检测技术和大数据分析技术的作用；
第五步、基于所述数据库，利用联机分析技术和数据挖掘技术，得到应用需要的信息；
第六步、将得到的信息提交应用实体使用。
4.如权利要求2所述的控制方法，其特征在于，所述对获取需求信息数据进行存储方法包括以下步骤：
(1)数据存储装置设置每种类别的存储数据对应的存储安全策略，用户可根据自身的个性化需要将每种类别的存储数据设置对应的存储安全策略；
(2)数据存储装置获取数据存储指令，数据存储指令是指用户对某类存储数据进行存储操作的指令；随后数据存储装置根据该数据存储指令获取存储数据的类别；存储数据的类别包括多媒体文件、文本文件、可执行文件、加密文件以及证书类文件中至少一个；
(3)数据存储装置根据获取的存储数据的类别，获取存储数据的存储安全策略；存储安全策略包括读写操作、只读操作以及加密操作中至少一个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710757189.2A CN107563220A (zh) | 2017-08-29 | 2017-08-29 | 一种基于计算机的大数据分析控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710757189.2A CN107563220A (zh) | 2017-08-29 | 2017-08-29 | 一种基于计算机的大数据分析控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107563220A true CN107563220A (zh) | 2018-01-09 |
Family
ID=60977513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710757189.2A Pending CN107563220A (zh) | 2017-08-29 | 2017-08-29 | 一种基于计算机的大数据分析控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563220A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108597266A (zh) * | 2018-04-20 | 2018-09-28 | 新乡医学院 | 一种英语语言学习教学装置 |
| CN109302382A (zh) * | 2018-08-29 | 2019-02-01 | 山东超越数控电子股份有限公司 | 一种多元异构存储服务管理平台的构建方法及系统 |
| CN109753592A (zh) * | 2018-12-22 | 2019-05-14 | 汤新红 | 一种基于大数据的信息流存储系统及其存储方法 |
| CN110535816A (zh) * | 2018-05-24 | 2019-12-03 | 广东技术师范学院 | 一种数据信息安全传输方法 |
| CN111597174A (zh) * | 2020-04-24 | 2020-08-28 | 重庆科技学院 | 一种分布式数据统计处理系统、方法、存储介质、终端 |
| CN112464739A (zh) * | 2020-11-05 | 2021-03-09 | 福建天泉教育科技有限公司 | 一种文档文本易读性评测的方法及终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6327595B1 (en) * | 1998-03-24 | 2001-12-04 | Entrust Technologies Limited | Apparatus for securing and accessing data elements within a database |
| CN104618997A (zh) * | 2015-01-28 | 2015-05-13 | 西安电子科技大学 | 一种基于非均匀网格的数据聚合方法 |
| CN105354234A (zh) * | 2015-10-09 | 2016-02-24 | 武汉烽火网络有限责任公司 | 基于深度包检测的网络实时大数据系统及大数据分析方法 |
| CN106096441A (zh) * | 2016-06-08 | 2016-11-09 | 深圳市星辰帷幄信息技术有限公司 | 数据存储方法及数据存储装置 |
| CN106302681A (zh) * | 2016-08-06 | 2017-01-04 | 内蒙古大学 | 一种基于物联网的数据显示服务器系统 |
| CN106686006A (zh) * | 2017-03-01 | 2017-05-17 | 湖南财政经济学院 | 一种基于互联网网络安全的大数据实施控制系统 |
-
2017
- 2017-08-29 CN CN201710757189.2A patent/CN107563220A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6327595B1 (en) * | 1998-03-24 | 2001-12-04 | Entrust Technologies Limited | Apparatus for securing and accessing data elements within a database |
| CN104618997A (zh) * | 2015-01-28 | 2015-05-13 | 西安电子科技大学 | 一种基于非均匀网格的数据聚合方法 |
| CN105354234A (zh) * | 2015-10-09 | 2016-02-24 | 武汉烽火网络有限责任公司 | 基于深度包检测的网络实时大数据系统及大数据分析方法 |
| CN106096441A (zh) * | 2016-06-08 | 2016-11-09 | 深圳市星辰帷幄信息技术有限公司 | 数据存储方法及数据存储装置 |
| CN106302681A (zh) * | 2016-08-06 | 2017-01-04 | 内蒙古大学 | 一种基于物联网的数据显示服务器系统 |
| CN106686006A (zh) * | 2017-03-01 | 2017-05-17 | 湖南财政经济学院 | 一种基于互联网网络安全的大数据实施控制系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108597266A (zh) * | 2018-04-20 | 2018-09-28 | 新乡医学院 | 一种英语语言学习教学装置 |
| CN110535816A (zh) * | 2018-05-24 | 2019-12-03 | 广东技术师范学院 | 一种数据信息安全传输方法 |
| CN109302382A (zh) * | 2018-08-29 | 2019-02-01 | 山东超越数控电子股份有限公司 | 一种多元异构存储服务管理平台的构建方法及系统 |
| CN109753592A (zh) * | 2018-12-22 | 2019-05-14 | 汤新红 | 一种基于大数据的信息流存储系统及其存储方法 |
| CN111597174A (zh) * | 2020-04-24 | 2020-08-28 | 重庆科技学院 | 一种分布式数据统计处理系统、方法、存储介质、终端 |
| CN112464739A (zh) * | 2020-11-05 | 2021-03-09 | 福建天泉教育科技有限公司 | 一种文档文本易读性评测的方法及终端 |
| CN112464739B (zh) * | 2020-11-05 | 2023-05-23 | 福建天泉教育科技有限公司 | 一种文档文本易读性评测的方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563220A (zh) | 一种基于计算机的大数据分析控制系统及控制方法 | |
| Liu et al. | Deep anomaly detection for time-series data in industrial IoT: A communication-efficient on-device federated learning approach | |
| Zhao et al. | A novel intrusion detection method based on lightweight neural network for internet of things | |
| Feng et al. | Anomaly detection in ad-hoc networks based on deep learning model: A plug and play device | |
| Li et al. | Anomaly intrusion detection method based on k-means clustering algorithm with particle swarm optimization | |
| Chen et al. | Differentially private transit data publication: a case study on the montreal transportation system | |
| Wang et al. | VOS: A new outlier detection model using virtual graph | |
| Taha et al. | SIIMCO: A forensic investigation tool for identifying the influential members of a criminal organization | |
| Xie et al. | Accurate recovery of missing network measurement data with localized tensor completion | |
| CN105224872A (zh) | 一种基于神经网络聚类的用户异常行为检测方法 | |
| Li et al. | Intelligent anti-money laundering solution based upon novel community detection in massive transaction networks on spark | |
| CN107517201A (zh) | 一种基于时序移除的网络脆弱性辨识方法 | |
| CN112001415A (zh) | 一种基于对抗网络的位置差分隐私保护方法 | |
| Li et al. | Evolutionary community discovery in dynamic social networks via resistance distance | |
| Wan et al. | ACOMCD: A multiple cluster detection algorithm based on the spatial scan statistic and ant colony optimization | |
| He et al. | An efficient solution to detect common topologies in money launderings based on coupling and connection | |
| CN105721467A (zh) | 社交网络Sybil群体检测方法 | |
| CN111125747B (zh) | 一种商务网站用户的商品浏览隐私保护方法及系统 | |
| Liu et al. | Fast community discovery and its evolution tracking in time-evolving social networks | |
| CN117272195A (zh) | 基于图卷积注意力网络的区块链异常节点检测方法及系统 | |
| CN104462480B (zh) | 基于典型性的评论大数据挖掘方法 | |
| CN115965466A (zh) | 一种基于子图对比的以太坊账户身份推理方法及系统 | |
| CN107194002B (zh) | 移动应用影响力评估方法和装置 | |
| Zhao et al. | A multidimensional scaling localisation algorithm based on bacterial foraging optimisation | |
| Liu et al. | Crowd intelligence evolution based on complex network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |
|
| RJ01 | Rejection of invention patent application after publication |