CN107404529A - 一种基于网络云的大数据分析系统及方法 - Google Patents

一种基于网络云的大数据分析系统及方法 Download PDF

Info

Publication number
CN107404529A
CN107404529A CN201710619821.7A CN201710619821A CN107404529A CN 107404529 A CN107404529 A CN 107404529A CN 201710619821 A CN201710619821 A CN 201710619821A CN 107404529 A CN107404529 A CN 107404529A
Authority
CN
China
Prior art keywords
data
clouds
data analysis
sensor node
soc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710619821.7A
Other languages
English (en)
Inventor
李南江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuo Mdt Infotech Ltd
Original Assignee
Chengdu Shuo Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuo Mdt Infotech Ltd filed Critical Chengdu Shuo Mdt Infotech Ltd
Priority to CN201710619821.7A priority Critical patent/CN107404529A/zh
Publication of CN107404529A publication Critical patent/CN107404529A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提出一种基于网络云的大数据分析系统及方法，涉及计算机技术领域。其特征在于，所述云端包括：云端数据存储单元，用于存储云端的数据信息；云端数据传输单元，用于连接本地端和云端的数据传输；云端数据分析单元，用于对云端存储的数据信息进行大数据分析；所述本低端均包括：本低端数据传输单元，用于存储本地端的数据信息；本低端数据传输单元，用于连接本地端和云端的数据传输；本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析。提升了数据分析的速度和数据采集的精度，提升了数据提取的实时性和降低了系统的复杂度。

Description

一种基于网络云的大数据分析系统及方法
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种基于网络云的大数据分析系统及方法。
背景技术
在网络数据规模不断加大的今天，数据的处理分析与提取是决定数据应用的最主要因素之一，在现代信息处理中，经常会在同一个区域部署同构冗余节点，由于实时采集数据的不均一和不均匀性，这种冗余节点是为了弥补实际采集过程中的不均一和不均匀性，因此是有必要存在的。但是又由于这种冗余节点的存在，在实际的数据计算和分析的过程中，CPU的计算量往往会随着冗余节点的增加而成指数增加，严重阻碍了数据采集的精度以及数据分析的速度，对数据的提取存在着滞后效应，这在实际应用中是影响数据分析处理的主要缺陷之一。
人们为了保持数据采集的完整性，对于冗余节点的处理来说是不能直接砍掉的，因此为了进一步提高计算处理分析的速度，开发使用了系统级芯片，即SoC来提高计算分析的速度，SoC系统由于系统运行功率低，运算速度快，系统的集成度很高，但是目前的SoC系统采用同构运算结构，导致SoC系统在使用和开发上存在着使用瓶颈，具体包括，设计复杂度增加、Time-to-Market因素和开发成本。
发明内容
本发明的目的在于提供一种基于网络云的大数据分析系统，提升了数据分析的速度和数据采集的精度，提升了数据提取的实时性和降低了系统的复杂度。
本发明的另一目的在于提供一种基于网络云的大数据分析方法，具有相应效果。
为了实现上述目的，本发明实施例采用的技术方案如下：
一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；
所述云端包括：
云端数据存储单元，用于存储云端的数据信息；
云端数据传输单元，用于连接本地端和云端的数据传输；
云端数据分析单元，用于对云端存储的数据信息进行大数据分析；
所述本低端均包括：
本低端数据传输单元，用于存储本地端的数据信息；
本低端数据传输单元，用于连接本地端和云端的数据传输；
本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析；
进一步的，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。
进一步的，所述WSN系统包括：传感器节点、路由器、数据平滑传感器节点、和父节点；所述传感器节点信号连接于路由器；所述路由器信号连接于数据平滑传感器节点；所述数据平滑传感器节点信号连接于父节点；所述父节点信号连接于所述网关。
进一步的，所述SOC异构系统采用虚拟化控制流和细化数据流的方法，以中断控制和片间消息同步等嵌入式的控制流来实现同构数据的异构化处理；所述ARM系统对SOC异构系统中数据流语句的执行顺序进行控制。
一种基于网络云的大数据分析方法，其特征在于，所述方法包括：
步骤1：传感器节点进行实时数据采集，经路由器将采集到的数据信息发送给数据平滑传感器节点；
步骤2：数据平滑传感器节点对接收到的数据信息进行一致性检测和三次指数平滑；获得传感器节点的最优权重i在t时刻的最优估计值Xi(t)，然后把平滑后的数据发送到父节点，采用幂均方算子完成最终的数据融合，将融合后的数据经网关发送给SOC异构系统；各传感器的最优权重i根据传感器节点数据之间的支持程度由支持度函数给出；
步骤3：所述ARM系统对该模型的四个芯片,ChipO、Chip1、Chip2和Chip3进行初始化；
步骤4：所述SOC异构系统对接收到的数据信息通过分层调用硬件类的成员函数,完成对原NCS算法面向对象的功能分解和逐层求精。
进一步的，所述ARM系统对模型的四个芯片进行初始化的方法为：计算NCS算法中的初始化参数，为程序后面的相位计算做准备；运算任务由各芯片计算集群中的协处理器来承担，通过自顶向下逐层调用的方法,实现对系统软件初始化部分的模拟和执行顺序控制。
进一步的，所述父节点在进行数据融合时，同时加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送确认时间片，而不选择在数据串通时间片内收到分片包后立即发送确认时间片。
采用上述技术方法，本发明实现的有益效果是：
1、提升了数据分析的速度：本发明数据分析加速系统中，采用异构SoC系统的多层调用来实现对融合数据的定量判别和提取处理，以完成对原NCS算法面向对象的功能分解和组成求精，实现数据采集融合和快速分析。能够有效降低数据处理的滞后性和成本，具有很强的实用价值。
2、提升了数据分析的精度：本发明的数据分析加速系统中，在数据融合过程中，加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送ACK时间片，而不选择在数据串通时间片内收到分片包后立即回发ACK。提升了最终结果的准确性。
3、降低了系统的复杂度：利用ARM系统对数据流语句的执行顺序进行控制，降低了SOC系统的复杂度，进一步的降低了系统的成本。。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种基于网络云的大数据分析系统及方法的系统结构示意图。
图2示出了本发明实施例提供的一种基于网络云的大数据分析系统及方法的WSN系统结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；
所述云端包括：
云端数据存储单元，用于存储云端的数据信息；
云端数据传输单元，用于连接本地端和云端的数据传输；
云端数据分析单元，用于对云端存储的数据信息进行大数据分析；
所述本低端均包括：
本低端数据传输单元，用于存储本地端的数据信息；
本低端数据传输单元，用于连接本地端和云端的数据传输；
本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析；
进一步的，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。
进一步的，所述WSN系统包括：传感器节点、路由器、数据平滑传感器节点、和父节点；所述传感器节点信号连接于路由器；所述路由器信号连接于数据平滑传感器节点；所述数据平滑传感器节点信号连接于父节点；所述父节点信号连接于所述网关。
进一步的，所述SOC异构系统采用虚拟化控制流和细化数据流的方法，以中断控制和片间消息同步等嵌入式的控制流来实现同构数据的异构化处理；所述ARM系统对SOC异构系统中数据流语句的执行顺序进行控制。
一种基于网络云的大数据分析方法，其特征在于，所述方法包括：
步骤1：传感器节点进行实时数据采集，经路由器将采集到的数据信息发送给数据平滑传感器节点；
步骤2：数据平滑传感器节点对接收到的数据信息进行一致性检测和三次指数平滑；获得传感器节点的最优权重i在t时刻的最优估计值Xi(t)，然后把平滑后的数据发送到父节点，采用幂均方算子完成最终的数据融合，将融合后的数据经网关发送给SOC异构系统；各传感器的最优权重i根据传感器节点数据之间的支持程度由支持度函数给出；
步骤3：所述ARM系统对该模型的四个芯片,ChipO、Chip1、Chip2和Chip3进行初始化；
步骤4：所述SOC异构系统对接收到的数据信息通过分层调用硬件类的成员函数,完成对原NCS算法面向对象的功能分解和逐层求精。
进一步的，所述ARM系统对模型的四个芯片进行初始化的方法为：计算NCS算法中的初始化参数，为程序后面的相位计算做准备；运算任务由各芯片计算集群中的协处理器来承担，通过自顶向下逐层调用的方法,实现对系统软件初始化部分的模拟和执行顺序控制。
进一步的，所述父节点在进行数据融合时，同时加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送确认时间片，而不选择在数据串通时间片内收到分片包后立即发送确认时间片。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段或代码的一部分，所述单元、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能单元可以集成在一起形成一个独立的部分，也可以是各个单元单独存在，也可以两个或两个以上单元集成形成一个独立的部分。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Onl8 Memor8)、随机存取存储器(RAM，Random Access Memor8)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (7)

1.一种基于网络云的大数据分析系统，其特征在于，所述系统包括：云端和若干个本地端；
所述云端包括：
云端数据存储单元，用于存储云端的数据信息；
云端数据传输单元，用于连接本地端和云端的数据传输；
云端数据分析单元，用于对云端存储的数据信息进行大数据分析；
所述本低端均包括：
本低端数据传输单元，用于存储本地端的数据信息；
本低端数据传输单元，用于连接本地端和云端的数据传输；
本低端数据分析单元，用于对本地端存储的数据信息进行大数据分析。
2.如权利要求1所述的网络云的大数据分析系统，其特征在于，所述云端数据分析单元包括：WSN系统、网关、SOC异构系统、ARM系统和结果提取系统；所述WSN系统信号连接于网关；所述网关信号连接于SOC异构系统；所述SOC异构系统分别信号连接于ARM系统和结果提取系统。
3.如权利要求2所述的网络云的大数据分析系统，其特征在于，所述WSN系统包括：传感器节点、路由器、数据平滑传感器节点、和父节点；所述传感器节点信号连接于路由器；所述路由器信号连接于数据平滑传感器节点；所述数据平滑传感器节点信号连接于父节点；所述父节点信号连接于所述网关。
4.如权利要求3所述的网络云的大数据分析系统，其特征在于，所述SOC异构系统采用虚拟化控制流和细化数据流的方法，以中断控制和片间消息同步等嵌入式的控制流来实现同构数据的异构化处理；所述ARM系统对SOC异构系统中数据流语句的执行顺序进行控制。
5.一种基于权利要求1至4之一所述的基于网络云的大数据分析系统的大数据分析方法，其特征在于，所述方法包括：
步骤1：传感器节点进行实时数据采集，经路由器将采集到的数据信息发送给数据平滑传感器节点；
步骤2：数据平滑传感器节点对接收到的数据信息进行一致性检测和三次指数平滑；获得传感器节点的最优权重i在t时刻的最优估计值Xi(t)，然后把平滑后的数据发送到父节点，采用幂均方算子完成最终的数据融合，将融合后的数据经网关发送给SOC异构系统；各传感器的最优权重i根据传感器节点数据之间的支持程度由支持度函数给出；
步骤3：所述ARM系统对该模型的四个芯片,ChipO、Chip1、Chip2和Chip3进行初始化；
步骤4：所述SOC异构系统对接收到的数据信息通过分层调用硬件类的成员函数,完成对原NCS算法面向对象的功能分解和逐层求精。
6.如权利要求5所述的基于网络云的大数据分析方法，其特征在于，所述ARM系统对模型的四个芯片进行初始化的方法为：计算NCS算法中的初始化参数，为程序后面的相位计算做准备；运算任务由各芯片计算集群中的协处理器来承担，通过自顶向下逐层调用的方法,实现对系统软件初始化部分的模拟和执行顺序控制。
7.如权利要求6所述的基于网络云的大数据分析方法，其特征在于，所述父节点在进行数据融合时，同时加入补偿因子减少数据叠加和缺失而产生的非正常因素影响，在数据串通时间片与数据融合时间片之间独立设置发送确认时间片，而不选择在数据串通时间片内收到分片包后立即发送确认时间片。
CN201710619821.7A 2017-07-26 2017-07-26 一种基于网络云的大数据分析系统及方法 Pending CN107404529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710619821.7A CN107404529A (zh) 2017-07-26 2017-07-26 一种基于网络云的大数据分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710619821.7A CN107404529A (zh) 2017-07-26 2017-07-26 一种基于网络云的大数据分析系统及方法

Publications (1)

Publication Number Publication Date
CN107404529A true CN107404529A (zh) 2017-11-28

Family

ID=60401540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710619821.7A Pending CN107404529A (zh) 2017-07-26 2017-07-26 一种基于网络云的大数据分析系统及方法

Country Status (1)

Country Link
CN (1) CN107404529A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210713A (ja) * 2014-04-28 2015-11-24 大樹 谷口 ドライブレコーダおよびこれを用いたクラウド型道路情報等運用システム
CN105590281A (zh) * 2015-12-29 2016-05-18 南京邮电大学 一种用于教育大数据处理的系统及方法
CN106341277A (zh) * 2016-11-07 2017-01-18 四川靓固科技集团有限公司 一种基于数据融合和soc异构运算的数据分析加速系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210713A (ja) * 2014-04-28 2015-11-24 大樹 谷口 ドライブレコーダおよびこれを用いたクラウド型道路情報等運用システム
CN105590281A (zh) * 2015-12-29 2016-05-18 南京邮电大学 一种用于教育大数据处理的系统及方法
CN106341277A (zh) * 2016-11-07 2017-01-18 四川靓固科技集团有限公司 一种基于数据融合和soc异构运算的数据分析加速系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN109814552B (zh) * 2018-12-28 2024-05-24 阿波罗智能技术(北京)有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
US12022237B2 (en) 2018-12-28 2024-06-25 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Vehicle-mounted control unit, and method and apparatus for FPGA based automatic driving of vehicle

Similar Documents

Publication Publication Date Title
CN105224606B (zh) 一种用户标识的处理方法及装置
CN108664893A (zh) 一种人脸检测方法及存储介质
CN107909107A (zh) 纤维检测方法、装置及电子设备
CN101876934B (zh) 一种用于对输入数据进行采样的方法和系统
CN106651373A (zh) 一种混合欺诈交易检测分类器建立方法及装置
CN109842563A (zh) 内容分发网络流量调度方法、装置和计算机可读存储介质
CN109858528A (zh) 推荐系统训练方法、装置、计算机设备及存储介质
CN104182278B (zh) 一种判定计算机硬件资源繁忙程度的方法和装置
CN104008420A (zh) 一种基于自动编码机的分布式离群点检测方法及系统
CN104899228A (zh) 一种发布网页资源的方法及装置
EP4209959A1 (en) Target identification method and apparatus, and electronic device
CN106407749A (zh) 寻找样本的染色体突变位点的分析方法和分析装置
CN110458096A (zh) 一种基于深度学习的大规模商品识别方法
CN105975486A (zh) 信息推荐方法及装置
CN109495291A (zh) 调用异常的定位方法、装置和服务器
CN103544325A (zh) 用于网页页面点击分布的数据处理方法和装置
CN106156170B (zh) 舆情分析方法及装置
CN109376151A (zh) 数据分库处理方法、系统、装置和存储介质
CN107633421A (zh) 一种市场预测数据的处理方法及装置
CN114529945A (zh) 一种情感识别方法、装置、设备及存储介质
CN107404529A (zh) 一种基于网络云的大数据分析系统及方法
CN106055665A (zh) 基于异常值剔除的情境感知Web服务推荐方法和系统
CN110213123A (zh) 一种流量监控方法、装置及设备
CN110321475A (zh) 数据列表的排序方法、装置、设备及存储介质
CN101634939A (zh) 一种快速寻址装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128