CN110489467A - 易迭代的数据采集方法及相关产品 - Google Patents

易迭代的数据采集方法及相关产品 Download PDF

Info

Publication number
CN110489467A
CN110489467A CN201910601309.9A CN201910601309A CN110489467A CN 110489467 A CN110489467 A CN 110489467A CN 201910601309 A CN201910601309 A CN 201910601309A CN 110489467 A CN110489467 A CN 110489467A
Authority
CN
China
Prior art keywords
data
terminal
configuration information
information
interface module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910601309.9A
Other languages
English (en)
Inventor
邓鹏�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiuzhou Electric Appliance Co Ltd
Original Assignee
Shenzhen Jiuzhou Electric Appliance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiuzhou Electric Appliance Co Ltd filed Critical Shenzhen Jiuzhou Electric Appliance Co Ltd
Priority to CN201910601309.9A priority Critical patent/CN110489467A/zh
Publication of CN110489467A publication Critical patent/CN110489467A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/76Adapting program code to run in a different environment; Porting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例公开了一种大数据的采集方法,所述方法包括如下步骤:前端通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;终端的数据接口模块发送配置信息到前端;前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;前端接收终端发送的需要接收的数据的配置范围;终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;前端接收终端采集的数据并保存到该数据库。本申请提供的方案提高了用户的体验度。本申请提供的技术方案具有易于迭代的优点。

Description

易迭代的数据采集方法及相关产品
技术领域
本申请涉及大数据以及通信技术领域,具体涉及一种易迭代的数据采集方法及相关产品。
背景技术
随着大数据统计和数据挖掘技术的发展,通过数据技术延伸出各种利于人们的方式方法,让人们的生活更加的便利更加智能。比如借助于大数据技术分析用户行为,进行商品推荐和针对性广告投放,比如利用工业大数据提升制造业水平,包括产品故障诊断与预测、分析工艺流程、改进生产工艺,优化生产过程能耗、工业供应链分析与优化、生产计划与排程等等。
所有的数据挖掘和统计都有一个最基本的基础,就是数据采集。目前大部分数据采集的方式,比较原始和定制化,一旦发生数据采集的变化很有可能需要改变终端的软件固件以及前端的软件,这样对于已经生产的终端产品和前端服务器均产生很大影响。比如说目前终端收集的信息是a,b,c,d;前端会对a,b,c,d的数据保存在相应数据库。但是现在数据挖掘技术提高了,能收集的信息多了,终端能收集的信息有a,b,c,d,e,f,g。这样终端需要改软件接口,同时前端也需要重新配置相应的数据存储修改软件,增加e,f,g等数据的保存处理。
现有的数据采集方法不利于迭代,无法满足现有的大数据对频繁迭代的需求。
发明内容
本申请实施例提供了一种易迭代的数据采集方法及相关产品,能够实现频繁迭代。
第一方面,本申请实施例提供一种大数据的采集方法,所述方法应用于数据采集系统,所述数据采集系统包括:终端以及前端,所述终端包括:数据收集模块以及数据接口模块;所述方法包括如下步骤:
前端通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;
终端的数据接口模块发送配置信息到前端;
前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
前端接收终端发送的需要接收的数据的配置范围;
终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;
前端接收终端采集的数据并保存到该数据库。
可选的,所述方法还包括:
前端向所述终端发送过滤配置,所述终端将所述大数据信息依据所述过滤配置执行过滤步骤得到过滤后的信息,将过滤后的信息上报给所述前端,所述前端将过滤后的信息保存到该数据库。
第二方面,提供一种大数据的前端实现方法,所述方法应用于前端,所述方法包括如下步骤:
前端与终端实现握手实现认证;
前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
前端接收终端发送的需要接收的数据的配置范围,前端接收终端采集的数据并保存到该数据库。
第三方面,提供一种大数据的终端采集方法,所述方法应用于终端,所述终端包括:数据收集模块以及数据接口模块;所述方法包括如下步骤:
终端的数据收集模块调用该数据接口的初始化接口实现握手,数据接口模块内部与前端进行认证,并进行数据安全方面的保护;
终端的数据接口模块发送配置信息到前端;
终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;
终端将数据信息上报到前端。
可选的,所述方法还包括:
终端的数据接口模块接收前端发送的过滤配置,终端的数据接口模块依据该过滤配置的策略对该数据信息进行过滤后,将过滤后的数据信息上报到前端。
第四方面,提供一种大数据的采集系统,所述系统终端以及前端,所述终端包括:数据收集模块以及数据接口模块;
所述前端,用于通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;
所述终端的数据接口模块,用于发送配置信息到前端;
所述前端,还用于接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;接收终端发送的需要接收的数据的配置范围;
所述终端的数据收集模块,还用于调用数据接口模块向前端上报收集的大数据信息;
所述前端,还用于接收终端采集的数据并保存到该数据库。
可选的,
所述前端,还用于向所述终端发送过滤配置;
所述终端,还用于将所述大数据信息依据所述过滤配置执行过滤步骤得到过滤后的信息,将过滤后的信息上报给所述前端,所述前端将过滤后的信息保存到该数据库。
第五方面,提供一种前端,所述前端包括:
认证单元,用于与终端实现握手实现认证;
收发单元,用于接收终端发送的配置信息;
处理单元,用于保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
所述收发单元,还用于接收终端发送的需要接收的数据的配置范围,接收终端采集的数据并保存到该数据库。
第六方面,提供一种终端,所述终端包括:数据收集模块以及数据接口模块;
数据收集模块,用于调用该数据接口的初始化接口实现握手,数据接口模块内部与前端进行认证,并进行数据安全方面的保护;
数据接口模块,用于发送配置信息到前端;
数据收集模块,还用于调用数据接口模块向前端上报收集的大数据信息;
所述数据接口模块,还用于将数据信息上报到前端。
第七方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一、二、三方面中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一、二、三方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请提供的技术方案将终端的数据收集软件抽取为两大模块部分,一个是接口模块,负责与前端交换的模块,同时提供配置初始化和数据上传的接口给数据收集模块调用;数据收集模块负责将接口模块配置初始化,同时将需要的数据调用接口模块进行上传。前端模块根据终端模块上传的配置,创建相关数据表存储到数据库中。在这样的方案之下,发现新的数据可以收集的时候,仅仅需要修改的是数据收集的模块的这个应用模块的配置和相关数据的上传,接口模块和前端的数据保存模块完全不需要改动。这样大大利于数据收集的软件更新换代,同时利于快速迭代数据收集软件,而不需要修改前端和终端的大固件。能够做到前端和终端的可配置且兼容的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种系统的结构示意图;
图2是本申请实施例提供的一种大数据的前端实现方法的流程示意图;
图3是本申请实施例提供的一种大数据的终端采集方法的流程示意图;
图4是本申请实施例提供的一种大数据的采集方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的终端可以包括各种具有无线通信功能的设备,例如:手持设备(例如智能手机或平板电脑)、智能穿戴设备(例如智能手环、智能手表等具有无线通信功能的穿戴设备)、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminaldevice)等等。
参阅图1,图1为本申请提供的一种数据采集系统,如图1所示,该数据采集系统包括终端以及前端,该终端与前端连接,如图1所示,该终端包括:数据收集模块以及数据接口模块。
其中,数据接口模块,用于负责与前端交换的模块,同时提供配置初始化和数据上传的接口给数据收集模块调用;
数据收集模块,用于负责将接口模块配置初始化,同时将需要的数据调用接口模块进行上传。
本申请的技术方案将终端分成两个单独的模块,主要是为了让整个数据收集系统更具备移植性。以一个实例来说明,数据接口模块在迭代时,可以完全不需要修改,即在大数据的迭代时,无需对硬件接口进行更新迭代,只需要其他想使用这套数据收集的厂家开发数据应用上发对应配置和数据就可以了,即对数据收集模块的软件进行迭代更新即可,而软件更新迭代非常方便,可以直接采用远程更新迭代的方式实现,从而实现了易迭代,让新的数据收集项目的开发时间大大缩短。
参阅图2,图2提供了一种大数据的前端实现方法,该方法由如图1所示的前端设备执行,该方法如图2所示,包括如下步骤:
步骤S201、前端与终端实现握手,实现认证过程。
上述步骤S201中的认证过程中需要携带前端与终端之间的安全协议,此安全协议可以保证数据上传的安全性,并且防止数据上传被截取或破解。
步骤S202、前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库。
步骤S202中的上传的配置和历史配置一样,则不需要更新数据库的表,若配置中有新的数据,则确定为新的配置信息,则在数据库创建与该配置信息对应的新的表,记录新的数据。这样有利于后续数据统计时候去索引不同的数据。
步骤S203、前端接收终端发送的需要接收的数据的配置范围。
上述步骤S203的这样能够让终端只提交目前前端感兴趣的大数据,同时可以减少前端服务器接收数据的压力。一般来说前端配置会接收终端能上发的所有数据,利于数据的收集和保存,为了后续的数据挖掘提供更多的数据。
步骤S204、前端接收终端采集的数据并保存到该数据库。
本申请提供的技术方案实现了对前端的迭代更新,更利于该数据库对大数据的收集,提高了厂家的可配置性,并且上述方法能够实现对大数据的系统频繁的迭代。
参阅图3,图3提供了一种大数据的终端采集方法,该方法由如图1所示的终端执行,该方法如图3所示,包括如下步骤:
步骤S301、终端的数据收集模块调用该数据接口的初始化接口实现握手,数据接口模块内部与前端进行认证,并进行数据安全方面的保护;
步骤S302、终端的数据接口模块发送配置信息到前端;
步骤S303、终端的数据接口模块接收前端发送的过滤配置;
步骤S304、终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;
步骤S305、终端的数据接口模块依据该过滤配置的策略对该数据信息进行过滤后,将过滤后的数据信息上报到前端。
本申请提供的技术方案将终端的数据收集软件抽取为两大模块部分,一个是接口模块,负责与前端交换的模块,同时提供配置初始化和数据上传的接口给数据收集模块调用;数据收集模块负责将接口模块配置初始化,同时将需要的数据调用接口模块进行上传。前端模块根据终端模块上传的配置,创建相关数据表存储到数据库中。在这样的方案之下,发现新的数据可以收集的时候,仅仅需要修改的是数据收集的模块的这个应用模块的配置和相关数据的上传,接口模块和前端的数据保存模块完全不需要改动。这样大大利于数据收集的软件更新换代,同时利于快速迭代数据收集软件,而不需要修改前端和终端的大固件。能够做到前端和终端的可配置且兼容的效果。
参阅图4,图4提供了一种大数据的采集方法,该方法由如图1所示的数据采集系统执行,该方法如图4所示,包括如下步骤:
步骤S401、前端通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;
步骤S402、终端的数据接口模块发送配置信息到前端;
步骤S403、前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
步骤S404、前端接收终端发送的需要接收的数据的配置范围,并向终端发送过滤配置;
步骤S405、终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;
步骤S406、终端的数据接口模块依据该过滤配置的策略对该数据信息进行过滤后,将过滤后的数据信息上报到前端;
步骤S407、前端接收终端采集的数据并保存到该数据库。
本申请提供的技术方案将终端的数据收集软件抽取为两大模块部分,一个是接口模块,负责与前端交换的模块,同时提供配置初始化和数据上传的接口给数据收集模块调用;数据收集模块负责将接口模块配置初始化,同时将需要的数据调用接口模块进行上传。前端模块根据终端模块上传的配置,创建相关数据表存储到数据库中。在这样的方案之下,发现新的数据可以收集的时候,仅仅需要修改的是数据收集的模块的这个应用模块的配置和相关数据的上传,接口模块和前端的数据保存模块完全不需要改动。这样大大利于数据收集的软件更新换代,同时利于快速迭代数据收集软件,而不需要修改前端和终端的大固件。能够做到前端和终端的可配置且兼容的效果。
本申请提供一种大数据的采集系统,所述系统终端以及前端,所述终端包括:数据收集模块以及数据接口模块;
所述前端,用于通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;
所述终端的数据接口模块,用于发送配置信息到前端;
所述前端,还用于接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;接收终端发送的需要接收的数据的配置范围;
所述终端的数据收集模块,还用于调用数据接口模块向前端上报收集的大数据信息;
所述前端,还用于接收终端采集的数据并保存到该数据库。
可选的,
所述前端,还用于向所述终端发送过滤配置;
所述终端,还用于将所述大数据信息依据所述过滤配置执行过滤步骤得到过滤后的信息,将过滤后的信息上报给所述前端,所述前端将过滤后的信息保存到该数据库。
本申请提供一种前端,所述前端包括:
认证单元,用于与终端实现握手实现认证;
收发单元,用于接收终端发送的配置信息;
处理单元,用于保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
所述收发单元,还用于接收终端发送的需要接收的数据的配置范围,接收终端采集的数据并保存到该数据库。
本申请提供一种终端,所述终端包括:数据收集模块以及数据接口模块;
数据收集模块,用于调用该数据接口的初始化接口实现握手,数据接口模块内部与前端进行认证,并进行数据安全方面的保护;
数据接口模块,用于发送配置信息到前端;
数据收集模块,还用于调用数据接口模块向前端上报收集的大数据信息;
所述数据接口模块,还用于将数据信息上报到前端。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种大数据的采集方法,其特征在于,所述方法应用于数据采集系统,所述数据采集系统包括:终端以及前端,所述终端包括:数据收集模块以及数据接口模块;所述方法包括如下步骤:
前端通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;
终端的数据接口模块发送配置信息到前端;
前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
前端接收终端发送的需要接收的数据的配置范围;
终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;
前端接收终端采集的数据并保存到该数据库。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
前端向所述终端发送过滤配置,所述终端将所述大数据信息依据所述过滤配置执行过滤步骤得到过滤后的信息,将过滤后的信息上报给所述前端,所述前端将过滤后的信息保存到该数据库。
3.一种大数据的前端实现方法,其特征在于,所述方法应用于前端,所述方法包括如下步骤:
前端与终端实现握手实现认证;
前端接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
前端接收终端发送的需要接收的数据的配置范围,前端接收终端采集的数据并保存到该数据库。
4.一种大数据的终端采集方法,其特征在于,所述方法应用于终端,所述终端包括:数据收集模块以及数据接口模块;所述方法包括如下步骤:
终端的数据收集模块调用该数据接口的初始化接口实现握手,数据接口模块内部与前端进行认证,并进行数据安全方面的保护;
终端的数据接口模块发送配置信息到前端;
终端的数据收集模块调用数据接口模块向前端上报收集的大数据信息;
终端将数据信息上报到前端。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
终端的数据接口模块接收前端发送的过滤配置,终端的数据接口模块依据该过滤配置的策略对该数据信息进行过滤后,将过滤后的数据信息上报到前端。
6.一种大数据的采集系统,其特征在于,所述系统终端以及前端,所述终端包括:数据收集模块以及数据接口模块;
所述前端,用于通过该数据接口的初始化接口与该终端的数据收集模块实现握手,数据接口模块内部与前端执行认证;
所述终端的数据接口模块,用于发送配置信息到前端;
所述前端,还用于接收终端发送的配置信息,并保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;接收终端发送的需要接收的数据的配置范围;
所述终端的数据收集模块,还用于调用数据接口模块向前端上报收集的大数据信息;
所述前端,还用于接收终端采集的数据并保存到该数据库。
7.根据权利要求6所述的系统,其特征在于,
所述前端,还用于向所述终端发送过滤配置;
所述终端,还用于将所述大数据信息依据所述过滤配置执行过滤步骤得到过滤后的信息,将过滤后的信息上报给所述前端,所述前端将过滤后的信息保存到该数据库。
8.一种前端,其特征在于,所述前端包括:
认证单元,用于与终端实现握手实现认证;
收发单元,用于接收终端发送的配置信息;
处理单元,用于保存该配置信息,如该配置信息为新的配置信息,则创建与该新的配置信息匹配的数据表的数据库;
所述收发单元,还用于接收终端发送的需要接收的数据的配置范围,接收终端采集的数据并保存到该数据库。
9.一种终端,其特征在于,所述终端包括:数据收集模块以及数据接口模块;
数据收集模块,用于调用该数据接口的初始化接口实现握手,数据接口模块内部与前端进行认证,并进行数据安全方面的保护;
数据接口模块,用于发送配置信息到前端;
数据收集模块,还用于调用数据接口模块向前端上报收集的大数据信息;
所述数据接口模块,还用于将数据信息上报到前端。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201910601309.9A 2019-07-03 2019-07-03 易迭代的数据采集方法及相关产品 Pending CN110489467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910601309.9A CN110489467A (zh) 2019-07-03 2019-07-03 易迭代的数据采集方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910601309.9A CN110489467A (zh) 2019-07-03 2019-07-03 易迭代的数据采集方法及相关产品

Publications (1)

Publication Number Publication Date
CN110489467A true CN110489467A (zh) 2019-11-22

Family

ID=68546775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910601309.9A Pending CN110489467A (zh) 2019-07-03 2019-07-03 易迭代的数据采集方法及相关产品

Country Status (1)

Country Link
CN (1) CN110489467A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128381A1 (en) * 2002-12-19 2004-07-01 Microsoft Corporation Extensible device data gathering
CN1852355A (zh) * 2005-10-17 2006-10-25 华为技术有限公司 一种收集用户通信特征信息的方法和装置
CN102722514A (zh) * 2011-12-30 2012-10-10 新奥特(北京)视频技术有限公司 一种远程动态创建数据库的方法
CN107506438A (zh) * 2017-08-23 2017-12-22 福建星瑞格软件有限公司 一种用于物联网的数据处理存储方法以及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128381A1 (en) * 2002-12-19 2004-07-01 Microsoft Corporation Extensible device data gathering
CN1852355A (zh) * 2005-10-17 2006-10-25 华为技术有限公司 一种收集用户通信特征信息的方法和装置
CN102722514A (zh) * 2011-12-30 2012-10-10 新奥特(北京)视频技术有限公司 一种远程动态创建数据库的方法
CN107506438A (zh) * 2017-08-23 2017-12-22 福建星瑞格软件有限公司 一种用于物联网的数据处理存储方法以及装置

Similar Documents

Publication Publication Date Title
CN106101169A (zh) 一种终端及数据上报方法
CN103985165A (zh) 一种基于移动终端、语音及人脸识别的考勤方法及装置
CN103731853B (zh) 双卡移动通讯设备的云识别方法、设备和系统
CN105722249A (zh) 一种切换连接的方法、装置以及终端
CN104602274A (zh) 一种动态识别终端品牌和终端类型的方法及系统
CN108399203A (zh) 基于大数据平台的数据筛选系统
CN208940010U (zh) 一种内外网同步系统
CN110489467A (zh) 易迭代的数据采集方法及相关产品
CN103037355A (zh) 移动终端通讯录的远程更新方法及号码簿管理服务器
CN105472101A (zh) 远程求助的方法、主控移动智能终端和受控移动智能终端
CN105653207B (zh) 一种闪存接口信息的实时解析方法和系统
CN106331987A (zh) 基于接触的数据传输方法及终端
CN106453775B (zh) 一种基于通讯录的信息查询方法、系统及装置
CN104571502A (zh) 一种信息处理方法及穿戴式电子设备
CN109246282A (zh) 通话信息的存储方法及装置、存储介质、电子装置
CN107426066A (zh) 一种虚拟化警情信息汇集管理装置及方法
CN103702457A (zh) 无线接入设备及业务运营系统
CN106469168B (zh) 数据集成系统中多类型数据处理的方法及装置
CN103701666A (zh) 深度包检测方法及系统
CN105635399A (zh) 一种添加联系人的方法和系统
CN103383658A (zh) 记忆移动终端操作的方法和服务器
CN103023931A (zh) 用户终端的内容共享方法、系统及用户终端、共享服务器
CN107484146B (zh) 小区重选的方法、移动终端及计算机可读存储介质
CN109151029A (zh) 电梯广告终端远程维修方法及相关产品
CN110457043A (zh) 基于React的页面处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122