CN112235394A - 一种智能音响后台数据采集系统 - Google Patents

一种智能音响后台数据采集系统 Download PDF

Info

Publication number
CN112235394A
CN112235394A CN202011089432.6A CN202011089432A CN112235394A CN 112235394 A CN112235394 A CN 112235394A CN 202011089432 A CN202011089432 A CN 202011089432A CN 112235394 A CN112235394 A CN 112235394A
Authority
CN
China
Prior art keywords
data
map
program
acquisition system
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011089432.6A
Other languages
English (en)
Inventor
杨子忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bilipu Electronics Co ltd
Original Assignee
Guangzhou Bilipu Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Bilipu Electronics Co ltd filed Critical Guangzhou Bilipu Electronics Co ltd
Priority to CN202011089432.6A priority Critical patent/CN112235394A/zh
Publication of CN112235394A publication Critical patent/CN112235394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种智能音响后台数据采集系统,包括数据自动化采集模块,通过局域网或互联网通讯模式与后台数据接收服务器连接将多个音响设备连接;大数据分析模块,将后台数据采集系统采集的数据经过导入和预处理、统计和分析、数据深度挖掘;数据库模块,按照数据结构来组织、存储和管理经过分析后的数据,用户可以对文件中的数据进行新增、截取、更新、删除。本智能音响后台数据采集系统可以实时监测联网音响设备的动态变化,并通过大数据分析,快速地得到准确的数据,避免了在数据采集中数据缺失,提高数据采集的效率和精确度。

Description

一种智能音响后台数据采集系统
技术领域
本发明涉及音响数据处理技术领域,具体涉及一种智能音响后台数据采集系统。
背景技术
音响设备大多无法建立通讯都是单机使用,无法联网,无法后台监测,也无法进行后台操作音箱设备,管理麻烦远远不能满足物联网时代的发展需求。但是随着物联网技术的发展和普及,现有技术中已经可以实现将各种不同的音响进行连接,并进行后台管理,但是对于大部分用户,音响设备数据获取一直是个令人烦恼得事情,不但难以测量或无法测量,而且工作量大又繁琐,同时又不能保证数据的准确性,使得音响设备数据的采集工作很困难,无法为音响的互联工作提供更好的参考、分析。
发明内容
针对现有技术的不足,本发明提供了一种智能音响后台数据采集系统,可以实时监测联网音响设备的动态变化,并通过大数据分析,快速地得到准确的数据,避免了在数据采集中数据缺失,提高数据采集的效率和精确度。
本发明提供的是一种智能音响后台数据采集系统,包括:
数据自动化采集模块,通过局域网或互联网通讯模式与后台数据接收服务器连接将多个音响设备连接,各音响设备参数数据在udp/ip网络协议下加密无线远传至后台数据采集系统,实现各个设备的数据实时监测,完成数据自动化采集;
大数据分析模块,将后台数据采集系统采集的数据经过导入和预处理、统计和分析、数据深度挖掘后,并配合基本算法、排序算法和检索算法,得到分析处理后的数据,将分析得到的数据储存到数据库;
数据库模块,按照数据结构来组织、存储和管理经过分析后的数据,用户可以对文件中的数据进行新增、截取、更新、删除。
优选的,所述大数据分析模块具体按照如下步骤进行数据分析:
S1、数据导入和预处理,对采集后的数据进行来源勘测,获取相应的信息流数据,将信息流数据进行整合,对目标函数进行定位操作,集中定位信息,及时记录并存储数据,设置相应的传导中心对收集数据进行传导操作,对经过处理的数据进行集合;
S2、数据统计和分析,将集合后数据比作整体全局数据,采用Map Reduce分布式编程模型对数据进行分类操作,管理分类后的数据信息,辅助过滤算法,将符合算法要求的数据进行算法添加操作,并计算出相关的操作结果,锁定数据模型,并对数据信息进行系统抽取,抽选出符合系统要求的过滤数据,对其进行二次过滤操作,得出过滤结果,对二次过滤过程进行图像设置,进行数据预测,以数据聚类为基础,将处理步骤进行划分,同时将数据收集至中心整合系统中保存;
S3、数据深度挖掘,利用聚类分析算法对信息数据的关键特征进行提取,结合数据关联性进行要求分析,把握数据间的联系规则,构建数据传导与更新系统,将收集的数据同时存储至数据库,并在其中标记系统数据,按照标记的记号进行数据属性划分,根据属性之间的关联比值,切换系统构造与数据分析性能,整合数据信息。
优选的,所述步骤S2中采用Map Reduce分布式编程模型对数据进行分类操作的具体步骤如下:
S21、用户提交Map Reduce程序,Map Reduce首先将输个入文件划分为m个数据分片,然后复制Map Reduce程序副本到集群上的所有节点上;
S22、程序副本中包含一个master程序,其余的为worker程序,Master节点的程序为主控程序,用于分配map或者reduce任务到其他的worker程序上;
S23、分配得到map任务的程序读取一个被分配的输入数据分片,从输入的数据分片中解析出key或者value值,然后将此key或者value值传递到用户自定义的map函数,Map处理后生成中间key值,缓存到内存中;
S24、每个map任务生成的中间key值会通过函数分成R块,然后写到本地磁盘上,中间结果通过本地磁盘传输给主控节点;
S25、Reduce程序会将中间的key值以及对应的中间的value值发送给自己用户的reduce函数,当map和reduce任务完成后,用户程序被唤醒,Map Reduce回到用户程序调用处。
优选的,所述步骤S3中,整合后的数据信息采取阈值处理方式,匹配处置数据信息与数据库,并进行数据预警与决策研究。
本发明的有益效果在于:本智能音响后台数据采集系统可以通过云端服务器实时监测音响设备的动态变化,将动态变化的数据传递云端数据接收器,数据接收器把得到的数据分批分发给数据分析服务器,在数据采集系统给定的任务下,经由大数据分析,配合恰当的算法,得到多种统计数据,经过系统整合后把分析的结果存放在数据库里。音响后台数据采集系统24h无间断在线运行,实时监测联网设备的动态变化,并基于大数据分析技术,快速地得到准确的数据,避免了在数据采集中数据缺失,影响数据的精确度,同时提高数据采集的效率和精确度。
附图说明
图1为本发明的架构图。
图2为本发明中大数据分析模块的数据分析流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本发明的保护范围。
实施例:一种智能音响后台数据采集系统。
参照图1至图2所示,一种智能音响后台数据采集系统,包括:
数据自动化采集模块,音响设备可通过局域网或互联网通讯模式与后台数据接收服务器连接,音响设备参数数据(包括设备采集到的温湿度,电流电压等数据)在udp/ip网络协议下加密无线远传至后台数据采集系统,实现各个设备的数据实时监测,完成数据自动化采集,避免了传统的人工采集的繁琐与低效;
大数据分析模块,音响后台数据采集系统采集的数据经过导入和预处理、统计和分析、数据深度挖掘等若干个大数据分析步骤,配合合适的算法(例如:基本算法、排序算法、检索算法等),得到类型多、价值高得数据,将分析得到的数据储存到数据库,完成大数据分析,具体步骤包括:
S1、数据导入和预处理,对采集后的数据进行来源勘测,获取相应的信息流数据,将信息流数据进行整合,对目标函数进行定位操作,集中定位信息,及时记录并存储数据,设置相应的传导中心对收集数据进行传导操作,对经过处理的数据进行集合;
S2、数据统计和分析,将集合后数据比作整体全局数据,采用Map Reduce分布式编程模型对数据进行分类操作,管理分类后的数据信息,辅助过滤算法,将符合算法要求的数据进行算法添加操作,并计算出相关的操作结果,锁定数据模型,并对数据信息进行系统抽取,抽选出符合系统要求的过滤数据,对其进行二次过滤操作,得出过滤结果,对二次过滤过程进行图像设置,进行数据预测,以数据聚类为基础,将处理步骤进行划分,同时将数据收集至中心整合系统中保存;大数据分析模块具体按照如下步骤进行数据分析:
S1、数据导入和预处理,对采集后的数据进行来源勘测,获取相应的信息流数据,将信息流数据进行整合,对目标函数进行定位操作,集中定位信息,及时记录并存储数据,设置相应的传导中心对收集数据进行传导操作,对经过处理的数据进行集合;
S2、数据统计和分析,将集合后数据比作整体全局数据,采用Map Reduce分布式编程模型对数据进行分类操作,管理分类后的数据信息,辅助过滤算法,将符合算法要求的数据进行算法添加操作,并计算出相关的操作结果,锁定数据模型,并对数据信息进行系统抽取,抽选出符合系统要求的过滤数据,对其进行二次过滤操作,得出过滤结果,对二次过滤过程进行图像设置,进行数据预测,以数据聚类为基础,将处理步骤进行划分,同时将数据收集至中心整合系统中保存;
其中,Map Reduce是当前比较常用的分布式编程模型,它提供了两个接口函数map和reduce。函数map功能由用户自己定义,并且以<key,value>对的形式输出:map(k1,v1)→list(k2,v2),然后系统将map输出的具有相同key值的value收集起来,以<key,list(value)>的形式把具有相同key值的键值对发送给同一个reduce函数进行处理,该过程为数据shuffle,最终reduce函数以<key,value>的形式输出:reduce(k2,list(v2))→list(k3,v3)。Map Reduce执行任务时,首先将map的输入数据分割成M个数据块的集合,map任务被分布到多台机器上并行处理。Reduce也就被分布到多台机器上执行。采用Map Reduce分布式编程模型对数据进行分类操作的具体步骤如下:
S21、用户提交Map Reduce程序,Map Reduce首先将输个入文件划分为m个数据分片,然后复制Map Reduce程序副本到集群上的所有节点上;
S22、程序副本中包含一个master程序,其余的为worker程序,Master节点的程序为主控程序,用于分配map或者reduce任务到其他的worker程序上;
S23、分配得到map任务的程序读取一个被分配的输入数据分片,从输入的数据分片中解析出key或者value值,然后将此key或者value值传递到用户自定义的map函数,Map处理后生成中间key值,缓存到内存中;
S24、每个map任务生成的中间key值会通过函数分成R块,然后写到本地磁盘上,中间结果通过本地磁盘传输给主控节点;
S25、Reduce程序会将中间的key值以及对应的中间的value值发送给自己用户的reduce函数,当map和reduce任务完成后,用户程序被唤醒,Map Reduce回到用户程序调用处
S3、数据深度挖掘,利用聚类分析算法对信息数据的关键特征进行提取,结合数据关联性进行要求分析,把握数据间的联系规则,构建数据传导与更新系统,将收集的数据同时存储至数据库,并在其中标记系统数据,按照标记的记号进行数据属性划分,根据属性之间的关联比值,切换系统构造与数据分析性能,整合数据信息,整合后的数据信息采取阈值处理方式,匹配处置数据信息与数据库,并进行数据预警与决策研究;
数据库模块,按照数据结构来组织、存储和管理经过分析后的数据,用户可以对文件中的数据进行新增、截取、更新、删除。
本智能音响后台数据采集系统可以通过云端服务器实时监测音响设备的动态变化,将动态变化的数据传递云端数据接收器,数据接收器把得到的数据分批分发给数据分析服务器,在数据采集系统给定的任务下,经由大数据分析,配合恰当的算法,得到多种统计数据,经过系统整合后把分析的结果存放在数据库里。音响后台数据采集系统24h无间断在线运行,实时监测联网设备的动态变化,并基于大数据分析技术,快速地得到准确的数据,避免了在数据采集中数据缺失,影响数据的精确度,同时提高数据采集的效率和精确度。
以上所述为本发明的较佳实施例而已,但本发明不应局限于该实施例和附图所公开的内容,所以凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。

Claims (4)

1.一种智能音响后台数据采集系统,其特征在于包括:
数据自动化采集模块,通过局域网或互联网通讯模式与后台数据接收服务器连接将多个音响设备连接,各音响设备参数数据在tcp/ip网络协议下加密无线远传至后台数据采集系统,实现各个设备的数据实时监测,完成数据自动化采集;
大数据分析模块,将后台数据采集系统采集的数据经过导入和预处理、统计和分析、数据深度挖掘后,并配合基本算法、排序算法和检索算法,得到分析处理后的数据,将分析得到的数据储存到数据库;
数据库模块,按照数据结构来组织、存储和管理经过分析后的数据,用户可以对文件中的数据进行新增、截取、更新、删除。
2.根据权利要求1所述的智能音响后台数据采集系统,其特征在于:所述大数据分析模块具体按照如下步骤进行数据分析:
S1、数据导入和预处理,对采集后的数据进行来源勘测,获取相应的信息流数据,将信息流数据进行整合,对目标函数进行定位操作,集中定位信息,及时记录并存储数据,设置相应的传导中心对收集数据进行传导操作,对经过处理的数据进行集合;
S2、数据统计和分析,将集合后数据比作整体全局数据,采用Map Reduce分布式编程模型对数据进行分类操作,管理分类后的数据信息,辅助过滤算法,将符合算法要求的数据进行算法添加操作,并计算出相关的操作结果,锁定数据模型,并对数据信息进行系统抽取,抽选出符合系统要求的过滤数据,对其进行二次过滤操作,得出过滤结果,对二次过滤过程进行图像设置,进行数据预测,以数据聚类为基础,将处理步骤进行划分,同时将数据收集至中心整合系统中保存;
S3、数据深度挖掘,利用聚类分析算法对信息数据的关键特征进行提取,结合数据关联性进行要求分析,把握数据间的联系规则,构建数据传导与更新系统,将收集的数据同时存储至数据库,并在其中标记系统数据,按照标记的记号进行数据属性划分,根据属性之间的关联比值,切换系统构造与数据分析性能,整合数据信息。
3.根据权利要求2所述的智能音响后台数据采集系统,其特征在于:所述步骤S2中采用MapReduce分布式编程模型对数据进行分类操作的具体步骤如下:
S21、用户提交Map Reduce程序,Map Reduce首先将输个入文件划分为m个数据分片,然后复制Map Reduce程序副本到集群上的所有节点上;
S22、程序副本中包含一个master程序,其余的为worker程序,Master节点的程序为主控程序,用于分配map或者reduce任务到其他的worker程序上;
S23、分配得到map任务的程序读取一个被分配的输入数据分片,从输入的数据分片中解析出key或者value值,然后将此key或者value值传递到用户自定义的map函数,Map处理后生成中间key值,缓存到内存中;
S24、每个map任务生成的中间key值会通过函数分成R块,然后写到本地磁盘上,中间结果通过本地磁盘传输给主控节点;
S25、Reduce程序会将中间的key值以及对应的中间的value值发送给自己用户的reduce函数,当map和reduce任务完成后,用户程序被唤醒,Map Reduce回到用户程序调用处。
4.根据权利要求2所述的智能音响后台数据采集系统,其特征在于:所述步骤S3中,整合后的数据信息采取阈值处理方式,匹配处置数据信息与数据库,并进行数据预警与决策研究。
CN202011089432.6A 2020-10-13 2020-10-13 一种智能音响后台数据采集系统 Pending CN112235394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011089432.6A CN112235394A (zh) 2020-10-13 2020-10-13 一种智能音响后台数据采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011089432.6A CN112235394A (zh) 2020-10-13 2020-10-13 一种智能音响后台数据采集系统

Publications (1)

Publication Number Publication Date
CN112235394A true CN112235394A (zh) 2021-01-15

Family

ID=74112425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011089432.6A Pending CN112235394A (zh) 2020-10-13 2020-10-13 一种智能音响后台数据采集系统

Country Status (1)

Country Link
CN (1) CN112235394A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143398A1 (en) * 2005-12-16 2007-06-21 Jean Graham Central work-product management system for coordinated collaboration with remote users
CN104881581A (zh) * 2015-05-28 2015-09-02 成都艺辰德迅科技有限公司 物联网数据高效分析方法
CN106791670A (zh) * 2016-12-29 2017-05-31 宁夏中科嘉业新能源研究院(有限公司) 用于光伏电站的智能安全预警监控系统
CN107942695A (zh) * 2017-12-04 2018-04-20 北京贞宇科技有限公司 情感智能音响系统
CN110097249A (zh) * 2019-03-19 2019-08-06 厦门交保通达信息科技有限公司 一种公交客流监测分析系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143398A1 (en) * 2005-12-16 2007-06-21 Jean Graham Central work-product management system for coordinated collaboration with remote users
CN104881581A (zh) * 2015-05-28 2015-09-02 成都艺辰德迅科技有限公司 物联网数据高效分析方法
CN106791670A (zh) * 2016-12-29 2017-05-31 宁夏中科嘉业新能源研究院(有限公司) 用于光伏电站的智能安全预警监控系统
CN107942695A (zh) * 2017-12-04 2018-04-20 北京贞宇科技有限公司 情感智能音响系统
CN110097249A (zh) * 2019-03-19 2019-08-06 厦门交保通达信息科技有限公司 一种公交客流监测分析系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尹旭熙: "基于大数据分析技术的多源监控信息挖掘方法研究", 《电子设计工程》 *
李珏等: "大数据分析在用电采集数据分析与智能监测系统的设计与实现", 《电气应用》 *

Similar Documents

Publication Publication Date Title
RU2394262C2 (ru) Система конфигурирования устройств и способ предотвращения нестандартной ситуации на производственном предприятии
CN111525698B (zh) 低压配电网数据自动化接入方法、装置和系统
CN106777093B (zh) 基于空间时序数据流应用的Skyline查询系统
CN111953669B (zh) 适用于SDN的Tor流量溯源与应用类型识别方法和系统
CN106708989B (zh) 基于空间时序数据流应用的Skyline查询方法
CN108399221B (zh) 基于大数据关联分析的室内电气设备分类识别方法与系统
CN116129366A (zh) 基于数字孪生的园区监测方法及相关装置
CN107918629B (zh) 一种告警故障的关联方法和装置
CN111090643B (zh) 一种基于数据分析系统下的海量用电数据挖掘方法
WO2020147286A1 (zh) 一种边缘端的嵌入式时间序列决策树分类方法及系统
CN114596061B (zh) 一种基于大数据的项目数据管理方法及系统
US20150188879A1 (en) Apparatus for grouping servers, a method for grouping servers and a recording medium
WO2022048050A1 (zh) 一种大数据信息采集系统及使用方法
CN111125450A (zh) 一种多层拓扑网络资源对象的管理方法
CN111368060B (zh) 对话机器人的自学习方法、装置、系统、电子设备及介质
CN112671551B (zh) 一种基于事件关联的网络流量预测方法及系统
CN113726558A (zh) 基于随机森林算法的网络设备流量预测系统
CN115861655B (zh) 一种基于施工大数据的ai辅助决策和管理优化服务系统
CN112235394A (zh) 一种智能音响后台数据采集系统
CN112288317A (zh) 一种基于多源异构数据治理的工业大数据分析平台和方法
CN114078269A (zh) 一种人脸图像聚类方法、装置、服务器和存储介质
US11836637B2 (en) Construction method of human-object-space interaction model based on knowledge graph
CN115379308B (zh) 一种基于卫星远程通信的物联网设备数据采集系统
CN108875030B (zh) 一种基于层次化综合质量指标QoX的上下文不确定性消除系统及其工作方法
CN111858530B (zh) 一种基于海量日志的实时关联分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115