CN107040608A - 一种数据处理方法及系统 - Google Patents

一种数据处理方法及系统 Download PDF

Info

Publication number
CN107040608A
CN107040608A CN201710358795.7A CN201710358795A CN107040608A CN 107040608 A CN107040608 A CN 107040608A CN 201710358795 A CN201710358795 A CN 201710358795A CN 107040608 A CN107040608 A CN 107040608A
Authority
CN
China
Prior art keywords
data
latest
data processing
type
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710358795.7A
Other languages
English (en)
Inventor
张长响
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Qi Yun Software Ltd By Share Ltd
Original Assignee
Ningbo Qi Yun Software Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Qi Yun Software Ltd By Share Ltd filed Critical Ningbo Qi Yun Software Ltd By Share Ltd
Priority to CN201710358795.7A priority Critical patent/CN107040608A/zh
Publication of CN107040608A publication Critical patent/CN107040608A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明适用于数据处理领域,提供了一种数据处理方法及系统,系统包括:采集装置,用于获取数据源的最新数据数量,根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集;数据调度装置,用于根据数据类型与数据处理装置的对应关系,将最新数据发送到对应的数据处理装置中;多个数据处理装置,用于根据预设的数据处理方式对最新数据进行处理。本发明实施例提供的数据处理系统,通过数据调度装置将根据采集装置采集到的最新数据发送给数据处理装置,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实施本发明,能够提高数据处理效率,方便用户对数据进行集中管理与共享。

Description

一种数据处理方法及系统
技术领域
本发明属于数据处理领域,尤其涉及一种数据处理方法及系统。
背景技术
随着科学技术的飞速发展,各个领域应用的数据量也越来越繁杂和庞大,例如在气象领域,有温度、湿度、气压、风速、风向等基本气象数据。因此,需要对这些数据进行收集和处理,以便应用到各个领域中来便利人们的生活。
然而,在对现有技术的研究与实践中,本发明的发明人发现,现有技术存在以下问题:现有的数据有来自于其他部门共享的excel、word等文件,有来自于本部门各种业务系统产生的Oracal、MySQL等数据库数据,有来自于多种探测设备自动生成的文件格式的文件,气象数据比较分散且多种多样,导致数据采集以及处理效率低。
发明内容
本发明实施例提供一种数据处理方法及系统,旨在解决现有技术中存在气象数据比较分散且多种多样,需要采用不同的设备进行采集和处理,导致数据处理效率低的问题。
本发明实施例是这样实现的,一种数据处理系统,包括:
数据采集装置,用于获取数据源的最新数据数量,根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集,其中,数据源的类型包括数据库服务器以及文件服务器;
数据调度装置,用于根据数据类型与数据处理装置的对应关系,将最新数据发送到对应的数据处理装置中;
多个数据处理装置,用于根据预设的数据处理方式对最新数据进行处理,其中,预设的处理方式包括规整运算以及数据统计;
数据调度装置,还用于根据数据中心的订阅内容,将与订阅内容对应的处理后的数据发送给数据中心。
本发明实施例还提供一种数据处理方法,包括:
采集装置获取数据源的最新数据数量,根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集,其中,数据源的类型包括数据库服务器以及文件服务器;
数据调度装置根据数据类型与数据处理装置的对应关系,将最新数据发送到对应的数据处理装置中;
数据处理装置根据预设的数据处理方式对最新数据最新处理,其中,预设的处理方式包括规整运算以及数据统计;
数据调度装置根据数据中心的订阅内容,将与订阅内容对应的处理后的数据发送给数据中心。
本发明实施例提供的数据处理方法及系统,通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集后,再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实现了不同类型数据的并行采集,以及不同类型数据的分发处理,并根据不同用户的订阅需要将数据发送给不同的数据中心,提高数据处理效率。
附图说明
图1是本发明实施例提供的数据处理系统的应用环境图;
图2是本发明实施例提供的数据处理系统的结构示意图;
图3是本发明另一实施例提供的数据处理系统的结构示意图;
图4是本发明另一实施例提供的数据处理系统的结构示意图;
图5是本发明实施例提供的数据处理方法的实现流程图;
图6是本发明另一实施例提供的数据处理方法的实现流程图;
图7是本发明另一实施例提供的数据处理方法的实现流程图;
图8是本发明另一实施例提供的数据处理方法的时序图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供的数据处理系统,通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集后,再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实现了不同类型数据的并行采集及分发处理,提高数据处理效率,方便用户对数据进行集中管理与共享。
图1示出了本发明实施例提供的数据处理系统的应用环境图,数据处理系统从数据源获取数据处理后发送到对应的数据中心。
在本发明实施例中,数据源可以是数据库服务器,也可以是文件服务器等,数据源的数量可以是1个,也可以是多个,具体不做限定。
作为本发明的一个实施例,数据中心根据不同订阅者的要求,将数据处理系统处理后的数据发送给对应的订阅者。可以理解,订阅者的数量不做限定,即系统可以同时满足多个订阅者的订阅要求,并将处理后的数据传输给订阅者。
在本发明实施例中,数据处理系统可以应用于多种环境中,如海洋气象、办公数据中心、政府资料部门等。以下,以数据处理系统应用于海洋环境为例,进行具体说明。
图2示出了本发明实施例提供的一种数据处理系统的结构示意图,为了便于说明,仅示出了与本发明实施例有关的部分。数据处理系统100包括:
数据采集装置110,用于获取数据源的最新数据数量,根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集,其中,数据源的类型包括数据库服务器以及文件服务器。
在本发明实施例中,数据库服务器包括数据库数据,例如可为Oracal数据库数据、MySQL数据库数据等;文件服务器包括文件数据,例如Word文档、WPS文件、Excel表格等文件;还包括多种探测设备如气象探测设备自动生成的预设文件格式的文件等。
在本发明实施例中,数据采集方式包括以下方式的其中之一或其任意组合:根据预设的每次采集的数量确定采集的次数;根据数据源的限制确定采集的任务数;当数据类型为数据库数据时,若最新数据存在自增主键,则首先按数据增量方式进行采集;当数据类型为文件数据时,根据文件修改的时间进行采集。
在本发明实施例中,自主增键指数据库的记录的编号是从预设的序号开始排序的,每增加一条记录,则增加一个序号。例如,每条记录从1开始编号,然后,增加一条记录,则编号为2。因此,若存在自增主键,可以根据数据的编号按顺序进行采集,即数据增量方式进行采集。
在本发明实施例中,预设的每次采集的数量可以是8000条,当然可以理解,在其他实施例中,预设的每次采集数量还可以是5000条、6000条、9000条、10000条等,具体根据用户需要调整,不做限定。
在本发明实施例中,根据数据源的限制可以是数据库服务器资源的限制,文件服务器资源的限制等;采集的任务数可以是50个、也可以是40个、60个、80个、100个等等,数据采集时,待前面的任务完成后,再补充一个任务进来,直到任务没有为止,保证同时采集的任务在控制的范围内,具体根据数据源的限制确定采集的任务数,在此不做限定。
在本发明实施例中,当数据类型为数据库数据时,若最新数据存在自主增键,则首先按数据增量方式进行采集中的数据增量是指上次数据采集后数据库新产生的数据量,例如上次采集时数据库中的数据量为3万条,现有的数据库中的数据量为4万条,则新产生的数据量为1万条,在其他实施例中,新产生的数据量还可以是2万条、5000条,具体不做限定。
在本发明实施例中,当数据类型为文件数据时,根据文件修改的时间进行采集可以是当文件数据存在被修改的情形时,可以对距离采集时间24小时内的修改数据进行采集,当然,在其他实施例中,也可以对距离采集时间48小时内、72小时内的修改数据进行采集,或者对上次采集之后的修改数据进行采集,具体不做限定。
在本发明实施例中,数据采集装置的工作流程如下:首先通过配置系统,配置各种数据源,采集装置获取数据源及规则,对采集系统初始化,开启规定数量的最大线程数,例如最大线程数为10个,去寻找数据源。采集装置挑选最新的数据,如果没有就返回,如果有就返回数据数量,采集装置根据返回数据的数量决定采集何种方式去把所有数据采集回来。
作为本发明实施例的一个实际应用,例如在对海洋气象数据的温度数据进行采集时,当数据类型为数据库数据时,若最新数据存在自增主键,则首先按数据增量方式进行采集。例如上次数据采集时数据库的数据量为30万条,现有数据库的数据量为50万条,则新产生的数据量为20万条,则对这新产生的20万条温度数据进行采集;将每次采集的数据量设置为8000条,根据预设的每次采集的数量8000条确定采集的次数为25次,直到将所有新产生的温度数据采集完毕。本发明实施例提供的数据采集装置,通过多线程技术并行同时采集不同的数据,并根据不同数据类型采用不同的采集方式,能够从海量的数据中挑出不同类型数据的最新数据,实现了数据的同时驱动与分发。
作为本发明实施例的另一个实际应用,例如在对海洋气象数据的气压数据进行采集时,当数据类型为文件数据时,根据文件修改的时间进行采集。例如对距离采集时间3日内的10万条修改数据进行采集,将每次采集的数据量设置为5000条,根据预设的每次采集的数量5000条确定采集的次数为20次,直到将所有距离采集时间3日内的修改数据采集完毕。本发明实施例提供的数据采集装置,通过多线程技术并行同时采集不同的数据,并根据不同数据类型采用不同的采集方式,能够从大量的数据中挑出不同类型数据的最新数据,实现数据的同时驱动与分发。
当然,可以理解,数据采集方式不限于上述两种情形,既可以是单一的数据采集方式,也可以是多种数据采集方式的组合,具体根据用户需要调整,不做限定。
数据调度装置120,用于根据数据类型与数据处理装置的对应关系,将最新数据发送到对应的数据处理装置中。
在本发明实施例中,数据类型可以根据数据源类型确定,例如,数据源为数据库服务器的数据类型为数据库数据,数据源类型为文件服务器为文件数据,当然,也可以根据数据自身的性质或者需要处理的方式确定数据的类型,例如,来自内网的数据为内网数据类型,外网的数据为外网数据类型,实时产生的数据为实时数据类型,湿度数据类型,温度数据类型等,具体不做限定。
在本发明实施例中,由于每个数据类型的处理方式都可能不一样,因此,预先设置了数据类型与数据处理装置的对应关系,数据处理装置可以根据设置的要处理的数据类型设置数据处理方式。例如,当数据类型为WPS表格文件时,对应的数据处理方式可以为统计表格文件的数据总和,还可以是统计不同日期同一时间的表格文件数据差值等。因此,当接收到最新数据后,判断数据的类型,找到数据类型对应的数据处理装置,进而将该最新数据发送到数据处理装置中。
多个数据处理装置130,用于根据预设的数据处理方式对最新数据进行处理。
作为本发明的一个实施例,预设的处理方式可以为规整运算、剔除数据,数据统计或者数据预测等,数据预测为根据现有的采集数据对未来一段时间的数据进行预测。
在本发明实施例中,规整运算是指对采集到的数据进行统一标准、统一格式的运算方式,包括:日期处理、数字运算、字符转换等,例如在气象数据采集中,温度参数规整为含有一位小数的原始数据,降雨量参数统一为120个字符的格式等。
作为本发明的一个实施例,为了减少数据处理装置的数量以及配置流程,数据处理系统还可以外接插件,若数据的处理方式过于复杂或者特殊,或者处理处理系统中没有相应的处理装置,则调度装置可以在判断数据的处理方式过于复杂或者特殊后,或者处理系统中没有相应的处理装置后,根据设置将该数据调度到专门的外接插件进行处理。
在本发明实施例中,数据调度装置120,还用于根据数据中心的订阅内容,将与订阅内容对应的处理后的数据发送给数据中心。
在本发明实施例中,数据中心用于在internet(互联网)网络基础设施上传递、加速、展示、计算、存储数据信息,数据中心可以根据实际的需求订阅经过处理后的数据。例如,数据中心X订阅了A市以及B市的当天天气数据,则在数据处理完毕后,获取与A市以及B市的温度,气压,以及未来的天气预测情况发送到数据中心X。
作为本发明的一个实际应用,当对采集的数据进行处理时,例如对气象数据中的温度数据进行处理时,首先配置系统对需要进行处理的数据进行配置,然后根据预设的配置来判断需要对数据进行哪些处理,例如需要将温度数据统一为含一位小数的数据信息,则首先对采集的数据进行统计,然后进行数字运算或者字符转换,例如未经处理的温度数据为25.61摄氏度、30.12摄氏度,处理后的数据分别转换为25.6摄氏度、30.1摄氏度,最后将经过处理的温度数据返回给数据调度装置120。数据调度装置将最终数据分发给已订阅过的中心数据仓库,例如数据库或者文件库等数据中心。通过数据类型与数据处理装置的对应关系,对采集到的数据进行规整运算或者数据统计,使得数据可以按需依次进入不同的管道进行加工处理,提高数据处理效率,实现了数据的集中管理与共享。
作为本发明的一个实施例,可以预先设置预测模型,预设的数据处理方式还可以是根据获取的最新数据以及预设的预测模型对未来的数据趋势进行预测。通过预设的数据处理方式与数据类型的对应关系,系统不但可以对采集到的不同类型的数据进行对应的实时统计处理,还可以根据采集到的不同类型的数据对未来数据趋势进行预测,系统更智能化,满足不同用户需求。
本发明实施例提供的数据处理系统,通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集后,再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实现了不同类型数据的并行采集,以及不同类型数据的分发处理,提高数据处理效率,方便用户对数据进行集中管理与共享。
图3示出了一种数据处理系统包括监控装置的结构示意图,其与图2示出的一种数据处理装置的结构示意图相似,不同之处在于,数据处理装置200还包括:
监控装置210,用于当接收到监控请求时,对数据处理装置的数据异常情况进行实时监控。
在本发明实施例中,数据处理装置130可以在当接收到处理数据时,向数据监控装置210发送监控请求,以使监控装置可以实时监控数据同时节省监控资源。
在本发明实施例中,当数据采集的状态出现变化或者在采集过程中出现了异常情况,通过数据处理装置130向监控装置210发送监控请求,监控装置210的监控程序接收到监控请求后对数据采集状态开始监控,并通过Web Socket技术(即通常称的“握手协议”)以及Tcp协议(传输控制协议)连接后台的数据采集装置,使得数据采集的情况能够实时的反映在监控页面,例如当风速超过20米/秒时、降雨量达到50毫米以上时视为数据采集出现异常,当然,可以理解,在其他实施例中,还可以是当风速超过21米/秒、25米/秒、30米/秒等、当降雨量达到51毫米以上、55毫米以上、56毫米以上等属于数据出现异常的情况,将异常情况反映在Web页面上并在页面上实时的展示出来,且通过语音、短信、振动、邮件等方式向用户报警。
作为本发明的一个实际应用,当对海洋气象数据中的风速数据的采集状态进行监控时,出现了风速超过20米/秒的情况,则此时数据处理装置130向监控装置210发送监控请求,监控装置210的监控程序接收到监控请求后对风速数据采集状态开始监控,并将风速数据采集的情况实时的反映在计算机的Web页面,当然,可以理解,在其他实施例中,还可以反应在移动智能终端的显示界面上,如手机的显示界面,具体不做限定;且通过语音、短信、振动、邮件等方式向用户报警。通过监控装置210试试监控数据采集情况,能够及时干预数据采集出现问题的环节,提高工作效率。
作为本发明的另一个实际应用,当对海洋气象数据中的风速数据的采集状态进行监控时,出现了降雨量超过50毫米的情况,则此时数据处理装置130向监控装置210发送监控请求,监控装置210的监控程序接收到监控请求后对风速数据采集状态开始监控,并将风速数据采集的情况实时的反映在计算机的Web页面,当然,可以理解,在其他实施例中,还可以反应在移动智能终端的显示界面上,如手机的显示界面,具体不做限定;且通过语音、短信、振动、邮件等方式向用户报警。通过监控装置210试试监控数据采集情况,能够及时干预数据采集出现问题的环节,提高工作效率。
本发明实施例提供的数据处理系统,能够同时并行采集各种类型的数据并将数据分发到多个中心数据仓库,通过底层接口,实现实时监控数据采集的状态,对于超过规定时间没有采集到的数据,系统能够自动进行预警和报警,提高数据采集的准确性,进而提高工作效率。
图3示出了一种数据处理系统包括解析装置的结构示意图,其与图2示出的一种数据处理装置的结构示意图相似,不同之处在于,数据处理装置300还包括:
数据解析装置310,用于对采集装置采集的数据进行解析。
在本发明实施例中,数据调度装置120,用于根据数据类型与数据处理装置的对应关系,将解析后的最新数据发送到对应的数据处理装置中。
在本发明实施例中,预先设置了需要进行解析的数据,因此如果采集装置110采集到的数据需要解析,则通过数据调度装置120将数据发往数据解析装置310进行数据解析。此外,数据调度装置120是用于对数据解析装置310、数据采集装置110等进行控制,以便整个系统有序的运行。通过数据调度装置120将各个装置有机结合,而数据采集装置110仅负责采集数据,数据采集完成后,由数据调度装置120将需要解析的数据发送给数据解析装置310。数据解析装置310利用反射技术调用相应的解析程序来解析数据。数据解析完成后,数据解析装置310将解析后的数据返回给数据调度装置120。
在本发明实施例中,每一种数据类型都有其对应的解析的方式,因此可以针对该解析方式写一个插件,然后存储到数据处理系统中,当需要对数据进行解析时,采集中心可以根据数据的类型以及预先配置的解析方式的其中之一或其组合利用反射技术查找到这个插件,然后利用插件中的解析方式解析数据。
在本发明实施例中,数据解析是指将采集的数据解析成数据处理装置可以处理的数据。例如,有些采集的数据是以二进制的方式存在的,而数据处理装置能够处理的数据是十进制的,则需要调用数据解析装置将数据解析为十进制数据。或者,有些数据是利用一定的编码方式编码的,则需要调用解析程序进行解析。又譬如,有些采集的语句需要按照一定的规则解析出其中的含义再处理,则需要调用相应的解析程序进行解析。例如,调用分词解析程序对语句进行分词,以解析语句含义。利用数据解析装置提前对数据进行解析,能够避免数据处理装置在数据处理的过程中,当遇到不能处理的数据导致数据处理过程中断的情况发生,同时又避免了数据处理装置在数据处理过程中还需要对数据进行解析,导致处理时间长,不能充分利用数据处理装置的数据处理功能的情况发生,因此能够提高数据处理效率。
作为本发明的一个实际应用,例如气象的风向数据的数据类型为文件数据,且数据大小超过50M,则数据采集完成后,需要数据解析装置310对文件进行解压缩的数据解析,则数据解析装置310利用反射技术调用相应的解析程序来解析风向数据,解析完成后,将解析后的数据返回到数据调度120,实现数据的集中管理与同时分发,操作十分便捷。
本发明实施例提供的数据处理系统,通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集后,再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实现了不同类型数据的并行采集,以及不同类型数据的分发处理,并根据不同用户的订阅需要将数据发送给不同的数据中心,提高数据处理效率,实现数据的集中管理与共享;同时,通过监控装置对数据处理装置的数据异常情况进行实时监控,能够及时干预出现问题的环节,提高数据采集的准确性;此外,当采集到的数据需要解析时,通过数据解析装置对数据采集装置采集的数据进行解析,以便数据处理装置能够识别数据,使得数据可以按需依次进入不同的管道进行加工处理。
图5示出了本发明实施例提供的一种数据处理方法的实现流程图的,为了便于说明,仅示出了与本发明实施例有关的部分,详述如下:
在步骤S401中,获取数据源的最新数据数量,根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集,其中,数据源的类型包括数据库服务器以及文件服务器。
在本发明实施例中,数据库服务器包括数据库数据,例如可为Oracal数据库数据、MySQL数据库数据等;文件服务器包括文件数据,例如Word文档、WPS文件、Excel表格等文件;还包括多种探测设备如气象探测设备自动生成的预设文件格式的文件等。
在本发明实施例中,数据采集方式包括以下方式的其中之一或其任意组合:根据预设的每次采集的数量确定采集的次数;根据数据源的限制确定采集的任务数;当数据类型为数据库数据时,若最新数据存在自增主键,则首先按数据增量方式进行采集;当数据类型为文件数据时,根据文件修改的时间进行采集。
在本发明实施例中,预设的每次采集的数量可以是8000条,当然可以理解,在其他实施例中,预设的每次采集数量还可以是5000条、6000条、9000条、10000条等,具体根据用户需要调整,不做限定。
在本发明实施例中,根据数据源的限制可以是数据库服务器资源的限制,文件服务器资源的限制等;采集的任务数可以是50个、也可以是40个、60个、80个、100个等等,数据采集时,待前面的任务完成后,再补充一个任务进来,直到任务没有为止,保证同时采集的任务在控制的范围内,具体根据数据源的限制确定采集的任务数,在此不做限定。
在本发明实施例中,当数据类型为数据库数据时,若最新数据存在自主增键,则首先按数据增量方式进行采集中的数据增量是指上次数据采集后数据库新产生的数据量,例如上次采集时数据库中的数据量为3万条,现有的数据库中的数据量为4万条,则新产生的数据量为1万条,在其他实施例中,新产生的数据量还可以是2万条、5000条,具体不做限定。
在本发明实施例中,当数据类型为文件数据时,根据文件修改的时间进行采集可以是当文件数据存在被修改的情形时,可以对距离采集时间24小时内的修改数据进行采集,当然,在其他实施例中,也可以对距离采集时间48小时内、72小时内的修改数据进行采集,或者对上次采集之后的修改数据进行采集,具体不做限定。
在本发明实施例中,数据采集装置的工作流程如下:首先通过配置系统,配置各种数据源,采集装置获取数据源及规则,对采集系统初始化,开启规定数量的最大线程数,例如最大线程数为10个,去寻找数据源。采集装置挑选最新的数据,如果没有就返回,如果有就返回数据数量,采集装置根据返回数据的数量决定采集何种方式去把所有数据采集回来。
作为本发明实施例的一个实际应用,例如在对海洋气象数据的温度数据进行采集时,当数据类型为数据库数据时,若最新数据存在自增主键,则首先按数据增量方式进行采集。例如上次数据采集时数据库的数据量为30万条,现有数据库的数据量为50万条,则新产生的数据量为20万条,则对这新产生的20万条温度数据进行采集;将每次采集的数据量设置为8000条,根据预设的每次采集的数量8000条确定采集的次数为25次,直到将所有新产生的温度数据采集完毕。本发明实施例提供的数据采集装置,通过多线程技术并行同时采集不同的数据,并根据不同数据类型采用不同的采集方式,能够从海量的数据中挑出不同类型数据的最新数据,实现了数据的同时驱动与分发。
作为本发明实施例的另一个实际应用,例如在对海洋气象数据的气压数据进行采集时,当数据类型为文件数据时,根据文件修改的时间进行采集。例如对距离采集时间3日内的10万条修改数据进行采集,将每次采集的数据量设置为5000条,根据预设的每次采集的数量5000条确定采集的次数为20次,直到将所有距离采集时间3日内的修改数据采集完毕。本发明实施例提供的数据采集装置,通过多线程技术并行同时采集不同的数据,并根据不同数据类型采用不同的采集方式,能够从大量的数据中挑出不同类型数据的最新数据,实现数据的同时驱动与分发。
当然,可以理解,数据采集方式不限于上述两种情形,既可以是单一的数据采集方式,也可以是多种数据采集方式的组合,具体根据用户需要调整,不做限定。
在步骤S402中,数据调度装置120根据数据类型与数据处理装置130的对应关系,将最新数据发送到对应的数据处理装置130中。
在本发明实施例中,数据类型可以根据数据源类型确定,例如,数据源为数据库服务器的数据类型为数据库数据,数据源类型为文件服务器为文件数据,当然,也可以根据数据自身的性质或者需要处理的方式确定数据的类型,例如,来自内网的数据为内网数据类型,外网的数据为外网数据类型,实时产生的数据为实时数据类型,湿度数据类型,温度数据类型等。
在本发明实施例中,由于每个数据类型的处理方式都可能不一样,因此,预先设置了数据类型与数据处理装置的对应关系,数据处理装置可以根据设置的要处理的数据类型设置数据处理方式。例如,当数据类型为WPS表格文件时,对应的数据处理方式可以为统计表格文件的数据总和,还可以是统计不同日期同一时间的表格文件数据差值等因此,当接收到最新数据后,判断数据的类型,找到数据类型对应的数据处理装置,进而将该最新数据发送到数据处理装置中。
在步骤S403中,多个数据处理装置130根据预设的数据处理方式对最新数据进行处理,其中,预设的处理方式包括规整运算以及数据统计。
在本发明实施例中,规整运算是指对采集到的数据进行统一标准、统一格式的运算方式,包括:日期处理、数字运算、字符转换等,例如在气象数据采集中,温度参数规整为含有一位小数的原始数据,降雨量参数统一为120个字符的格式等。
作为本发明的一个实施例,为了减少数据处理装置的数量以及配置流程,数据处理方法还可以通过外接插件进行数据处理,若数据的处理方式过于复杂或者特殊,或者处理方法中没有相应的处理装置,则调度装置可以在判断数据的处理方式过于复杂或者特殊后,或者处理方法中没有相应的处理装置后,根据设置将该数据调度到专门的外接插件进行处理。
在本发明实施例中,数据调度装置120,还用于根据数据中心的订阅内容,将与订阅内容对应的处理后的数据发送给数据中心。
在本发明实施例中,数据中心用于用来在internet(互联网)网络基础设施上传递、加速、展示、计算、存储数据信息,数据中心可以根据实际的需求订阅经过处理后的数据。例如,数据中心X订阅了A市以及B市的当天天气数据,则在数据处理完毕后,获取与A市以及B市的温度,气压,以及未来的天气预测情况发送到数据中心X。
作为本发明的一个实际应用,当对采集的数据进行处理时,例如对气象数据中的温度数据进行处理时,首先配置系统对需要进行处理的数据进行配置,然后根据预设的配置来判断需要对数据进行哪些处理,例如需要将温度数据统一为含一位小数的数据信息,则首先对采集的数据进行统计,然后进行数字运算或者字符转换,例如未经处理的温度数据为25.61摄氏度、30.12摄氏度,处理后的数据分别转换为25.6摄氏度、30.1摄氏度,最后将经过处理的温度数据返回给数据调度装置120。数据调度装置将最终数据分发给已订阅过的数据仓库,例如数据库或者文件库。通过数据类型与数据处理装置的对应关系,对采集到的数据进行规整运算或者数据统计,使得数据可以按需依次进入不同的管道进行加工处理,提高数据处理效率,实现了数据的集中管理与共享。
作为本发明的一个实施例,可以预先设置预测模型,预设的数据处理方式还可以是根据获取的最新数据以及预设的预测模型对未来的数据趋势进行预测。通过预设的数据处理方式与数据类型的对应关系,系统不但可以对采集到的不同类型的数据进行对应的实时统计处理,还可以根据采集到的不同类型的数据对未来数据趋势进行预测,系统更智能化,满足不同用户需求。
本发明实施例提供的数据处理系统,通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集后,再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实现了不同类型数据的并行采集,提高数据处理效率,以及不同类型数据的分发处理,方便用户对数据进行集中管理与共享。
图6示出了一种数据处理方法包括监控装置的实现流程图,其与图4示出的一种数据处理方法的实现流程图相似,不同之处在于,在步骤S403之后还包括:
在步骤S501中,监控装置210用于当接收到监控请求时,对数据处理装置的数据异常情况进行实时监控。
在本发明实施例中,数据处理装置130可以在当接收到处理数据时,向数据监控装置210发送监控请求,以使监控装置可以实时监控数据同时节省监控资源。
在本发明实施例中,当数据采集的状态出现变化或者在采集过程中出现了异常情况,通过数据处理装置130向监控装置210发送监控请求,监控装置210的监控程序接收到监控请求后对数据采集状态开始监控,并通过Web cocket技术(即通常称的“握手协议”)以及Tcp协议(传输控制协议)连接后台的数据采集装置,使得数据采集的情况能够实时的反映在监控页面,例如当风速超过20米/秒时、降雨量达到50毫米以上时视为数据采集出现异常,当然,可以理解,在其他实施例中,还可以是当风速超过21米/秒、25米/秒、30米/秒等、当降雨量达到51毫米以上、55毫米以上、56毫米以上等属于数据出现异常的情况,将异常情况反映在Web页面上并在页面上实时的展示出来,且通过语音、短信、振动、邮件等方式向用户报警。
作为本发明的一个实际应用,当对海洋气象数据中的风速数据的采集状态进行监控时,出现了风速超过20米/秒的情况,则此时数据处理装置130向监控装置210发送监控请求,监控装置210的监控程序接收到监控请求后对风速数据采集状态开始监控,并将风速数据采集的情况实时的反映在计算机的Web页面,当然,可以理解,在其他实施例中,还可以反应在移动智能终端的显示界面上,如手机的显示界面,具体不做限定;且通过语音、短信、振动、邮件等方式向用户报警。通过监控装置210试试监控数据采集情况,能够及时干预数据采集出现问题的环节,提高工作效率。
作为本发明的另一个实际应用,当对海洋气象数据中的风速数据的采集状态进行监控时,出现了降雨量超过50毫米的情况,则此时数据处理装置130向监控装置210发送监控请求,监控装置210的监控程序接收到监控请求后对风速数据采集状态开始监控,并将风速数据采集的情况实时的反映在计算机的Web页面,当然,可以理解,在其他实施例中,还可以反应在移动智能终端的显示界面上,如手机的显示界面,具体不做限定;且通过语音、短信、振动、邮件等方式向用户报警。通过监控装置210试试监控数据采集情况,能够及时干预数据采集出现问题的环节,提高工作效率。
本发明实施例提供的数据处理系统,能够同时并行采集各种类型的数据并将数据分发到多个中心数据仓库,通过底层接口,实现实时监控数据采集的状态,对于超过规定时间没有采集到的数据,系统能够自动进行预警和报警,提高数据采集的准确性,进而提高工作效率。
图7示出了一种数据处理方法包括解析装置的实现流程图,其与图4示出的一种数据处理方法的实现流程图相似,不同之处在于,在步骤S401和步骤S403之间,还包括:
在步骤S601中,数据解析装置310用于对采集装置采集的数据进行解析。
在本发明实施例中,数据调度装置120,用于根据数据类型与数据处理装置的对应关系,将解析后的最新数据发送到对应的数据处理装置中。
在本发明实施例中,预先设置了需要进行解析的数据,因此如果采集装置110采集到的数据需要解析,则通过数据调度装置120将数据发往数据解析装置310进行数据解析。此外,数据调度装置120是用于对数据解析装置310、数据采集装置110等进行控制,以便整个系统有序的运行。通过数据调度装置120将各个装置有机结合,而数据采集装置110仅负责采集数据,数据采集完成后,由数据调度装置120将需要解析的数据发送给数据解析装置310。数据解析装置310利用反射技术调用相应的解析程序来解析数据。数据解析完成后,数据解析装置310将解析后的数据返回给数据调度装置120。
在本发明实施例中,每一种数据类型都有其对应的解析的方式,因此可以针对该解析方式写一个插件,然后将该插件中的解析方式加入到数据处理方法中,当需要对数据进行解析时,采集中心可以根据数据的类型以及预先配置的解析方式的其中之一或其组合利用反射技术查找到这个插件,然后利用插件中的解析方式解析数据。
在本发明实施例中,数据解析是指将采集的数据解析成数据处理装置可以处理的数据。例如,有些采集的数据是以二进制的方式存在的,而数据处理装置能够处理的数据是十进制的,则需要调用数据解析装置将数据解析为十进制数据。或者,有些数据是利用一定的编码方式编码的,则需要调用解析程序进行解析。又譬如,有些采集的语句需要按照一定的规则解析出其中的含义再处理,则需要调用相应的解析程序进行解析。例如,调用分词解析程序对语句进行分词,以解析语句含义。利用数据解析装置提前对数据进行解析,能够避免数据处理装置在数据处理的过程中,当遇到不能处理的数据导致数据处理过程中断的情况发生,同时又避免了数据处理装置在数据处理过程中还需要对数据进行解析,导致处理时间长,不能充分利用数据处理装置的数据处理功能的情况发生,因此能够提高数据处理效率。
作为本发明的一个实际应用,例如气象的风向数据的数据类型为文件数据,且数据大小超过50M,则数据采集完成后,需要数据解析装置310对文件进行解压缩的数据解析,则数据解析装置310利用反射技术调用相应的解析程序来解析风向数据,解析完成后,将解析后的数据返回到数据调度120,实现数据的集中管理与同时分发,操作十分便捷。
作为本发明实施例的一个实际应用,参见图8,示出了本发明实施例提供的一种数据处理方法及系统的时序图,详述如下:
例如对海洋气象数据的降雨量进行采集时,首先,数据采集装置获取数据源的最新数据数量,其中,数据源类型包括数据库服务器以及文件服务器,根据数据库以及最新数据数量,获取对应的数据采集方式。例如当最新降雨量数据量为7000条时,数据采集装置一次性将所有数据采集回来;然后,通过数据解析装置对数据采集装置采集的降雨量数据进行解析,以便数据处理装置能够识别降雨量数据;再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置对采集到的降雨量数据进行统计、数字运算或者字符转换等操作后,将其转换为均为整数的降雨量数据;同时通过监控装置对数据处理装置的降雨量数据的异常情况进行实时监控,及时干预出现问题的环节;最后将经过处理的降雨量数据返回给数据调度装置,数据调度装置根据用户的订阅内容将数据发送到数据中心,实现数据的共享。
本领域普通技术人员可以理解:实现上述方法实施例的步骤或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可存储介质中,该程序在执行时,执行包括上述方法实施例的步骤,而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供的数据处理方法,通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式,并根据数据采集方式对最新数据进行采集后,再由数据调度装置根据数据类型与数据处理装置的对应关系,将采集到的最新数据发送到对应的数据处理装置中,数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心,实现了不同类型数据的并行采集,以及不同类型数据的分发处理,并根据不同用户的订阅需要将数据发送给不同的数据中心,提高数据处理效率,实现数据的集中管理与共享;同时,通过监控装置对数据处理装置的数据异常情况进行实时监控,能够及时干预出现问题的环节,提高数据采集的准确性;此外,当采集到的数据需要解析时,通过数据解析装置对数据采集装置采集的数据进行解析,以便数据处理装置能够识别数据,使得数据可以按需依次进入不同的管道进行加工处理。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据处理系统,其特征在于,所述数据处理系统包括:
数据采集装置,用于获取数据源的最新数据数量,根据所述数据源的类型以及所述最新数据数量获取对应的数据采集方式,并根据所述数据采集方式对最新数据进行采集,其中,所述数据源的类型包括数据库服务器以及文件服务器;
数据调度装置,用于根据数据类型与数据处理装置的对应关系,将所述最新数据发送到对应的所述数据处理装置中;
多个数据处理装置,用于根据预设的数据处理方式对所述最新数据进行处理,其中,所述预设的处理方式包括规整运算以及数据统计;
数据调度装置,还用于根据数据中心的订阅内容,将与所述订阅内容对应的处理后的数据发送给所述数据中心。
2.如权利要求1的系统,其特征在于,所述数据处理装置还用于当接收到数据时,向数据监控装置发送监控请求,所述数据处理系统还包括:
所述数据监控装置,用于当接收到所述数据处理装置的监控请求时,对所述数据处理装置的数据异常情况进行实时监控。
3.如权利要求1的系统,其特征在于,所述根据所述数据源的类型以及所述所述最新数据数量获取对应的数据采集方式包括以下方式的其中之一或其任意组合:
根据预设的每次采集的数量确定采集的次数;
根据数据源的限制确定采集的任务数;
当所述数据类型为数据库数据时,若所述最新数据存在自增主键,则首先按数据增量方式进行采集;
当所述数据类型为文件数据时,根据文件修改的时间进行采集。
4.如权利要求1的系统,其特征在于,所述数据处理系统还包括:
数据解析装置,用于对所述采集装置采集的数据进行解析;
所述数据调度装置,用于根据数据类型与数据处理装置的对应关系,将所述解析后的最新数据发送到对应的数据处理装置中。
5.一种数据处理方法,其特征在于,所述数据处理方法包括:
采集装置获取数据源的最新数据数量,根据所述数据源的类型以及所述最新数据数量获取对应的数据采集方式,并根据所述数据采集方式对所述最新数据进行采集,其中,所述数据源的类型包括数据库服务器以及文件服务器;
数据调度装置根据数据类型与数据处理装置的对应关系,将所述最新数据发送到对应的数据处理装置中;
多个数据处理装置根据预设的数据处理方式对所述最新数据进行处理,其中,所述预设的处理方式包括规整运算以及数据统计;
所述数据调度装置根据数据中心的订阅内容,将与所述订阅内容对应的所述处理后的数据发送给所述数据中心。
6.如权利要求5的方法,其特征在于,当所述数据处理装置接收到数据时,所述数据处理装置向数据监控装置发送监控请求,所述数据处理方法还包括:
当所述数据监控装置接收到所述监控请求时,所述数据监控装置对所述处理处理装置的数据异常情况进行实时监控。
7.如权利要求5的方法,其特征在于,所述根据所述数据源的类型以及所述最新数据数量获取对应的数据采集方式包括以下方式的其中之一或其任意组合:
根据预设的每次采集的数量确定采集的次数;
根据数据源的限制确定采集的任务数;
当所述数据类型为数据库数据时,若所述最新数据存在自增主键,则首先按数据增量方式进行采集;
当所述数据类型为文件数据时,根据文件修改的时间进行采集。
8.如权利要求5的方法,其特征在于,所述数据处理方法还包括:
数据解析装置对所述采集装置采集的数据进行解析;
所述数据调度装置根据数据类型与数据处理装置的对应关系,将所述解析后的最新数据发送到对应的数据处理装置中。
CN201710358795.7A 2017-05-19 2017-05-19 一种数据处理方法及系统 Pending CN107040608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710358795.7A CN107040608A (zh) 2017-05-19 2017-05-19 一种数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710358795.7A CN107040608A (zh) 2017-05-19 2017-05-19 一种数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN107040608A true CN107040608A (zh) 2017-08-11

Family

ID=59539272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710358795.7A Pending CN107040608A (zh) 2017-05-19 2017-05-19 一种数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN107040608A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228908A (zh) * 2018-02-09 2018-06-29 中国银行股份有限公司 一种数据抽取方法及装置
CN108334542A (zh) * 2017-12-22 2018-07-27 山东浪潮云服务信息科技有限公司 一种数据析取方法及装置
CN108334651A (zh) * 2018-02-08 2018-07-27 北京小米移动软件有限公司 收集用户端数据实现预设需求的方法、装置及存储介质
CN108846025A (zh) * 2018-05-24 2018-11-20 上海钢联电子商务股份有限公司 一种数据爬取方法和系统
WO2019223599A1 (zh) * 2018-05-25 2019-11-28 杭州海康威视数字技术股份有限公司 数据采集系统、方法、节点设备及存储介质
CN110750510A (zh) * 2019-10-16 2020-02-04 浪潮云信息技术有限公司 一种物联网数据处理系统及方法
CN110909064A (zh) * 2019-12-05 2020-03-24 北京明略软件系统有限公司 一种基于数据库的数据采集方法及装置
CN111427903A (zh) * 2020-03-27 2020-07-17 四川虹美智能科技有限公司 日志信息采集方法及装置
CN111555897A (zh) * 2019-11-25 2020-08-18 江苏艾佳家居用品有限公司 一种基于客户输入行为的tcp报文半包粘包智能处理方法
CN112017323A (zh) * 2019-05-30 2020-12-01 深圳市优必选科技有限公司 一种巡检报警方法、装置、可读存储介质及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701973A (zh) * 2009-11-18 2010-05-05 北京普源精电科技有限公司 数据采集装置及其数据采集方法
CN103581132A (zh) * 2012-07-31 2014-02-12 蒋亮 一种新网媒同步的方法和系统
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法
CN104636318A (zh) * 2015-02-15 2015-05-20 杭州邦盛金融信息技术有限公司 一种大数据方差标准差的分布式或增量计算方法
CN106447163A (zh) * 2016-08-29 2017-02-22 安徽美图信息科技有限公司 一种基于精细化逻辑分类技术的数据质量自动检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701973A (zh) * 2009-11-18 2010-05-05 北京普源精电科技有限公司 数据采集装置及其数据采集方法
CN103581132A (zh) * 2012-07-31 2014-02-12 蒋亮 一种新网媒同步的方法和系统
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集系统及方法
CN104636318A (zh) * 2015-02-15 2015-05-20 杭州邦盛金融信息技术有限公司 一种大数据方差标准差的分布式或增量计算方法
CN106447163A (zh) * 2016-08-29 2017-02-22 安徽美图信息科技有限公司 一种基于精细化逻辑分类技术的数据质量自动检测系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334542A (zh) * 2017-12-22 2018-07-27 山东浪潮云服务信息科技有限公司 一种数据析取方法及装置
CN108334651A (zh) * 2018-02-08 2018-07-27 北京小米移动软件有限公司 收集用户端数据实现预设需求的方法、装置及存储介质
CN108334651B (zh) * 2018-02-08 2021-10-01 北京小米移动软件有限公司 收集用户端数据实现预设需求的方法、装置及存储介质
CN108228908A (zh) * 2018-02-09 2018-06-29 中国银行股份有限公司 一种数据抽取方法及装置
CN108228908B (zh) * 2018-02-09 2021-11-12 中国银行股份有限公司 一种数据抽取方法及装置
CN108846025A (zh) * 2018-05-24 2018-11-20 上海钢联电子商务股份有限公司 一种数据爬取方法和系统
WO2019223599A1 (zh) * 2018-05-25 2019-11-28 杭州海康威视数字技术股份有限公司 数据采集系统、方法、节点设备及存储介质
CN112017323A (zh) * 2019-05-30 2020-12-01 深圳市优必选科技有限公司 一种巡检报警方法、装置、可读存储介质及终端设备
CN112017323B (zh) * 2019-05-30 2024-08-02 深圳市优必选科技有限公司 一种巡检报警方法、装置、可读存储介质及终端设备
CN110750510A (zh) * 2019-10-16 2020-02-04 浪潮云信息技术有限公司 一种物联网数据处理系统及方法
CN111555897A (zh) * 2019-11-25 2020-08-18 江苏艾佳家居用品有限公司 一种基于客户输入行为的tcp报文半包粘包智能处理方法
CN110909064A (zh) * 2019-12-05 2020-03-24 北京明略软件系统有限公司 一种基于数据库的数据采集方法及装置
CN111427903A (zh) * 2020-03-27 2020-07-17 四川虹美智能科技有限公司 日志信息采集方法及装置
CN111427903B (zh) * 2020-03-27 2023-04-21 四川虹美智能科技有限公司 日志信息采集方法及装置

Similar Documents

Publication Publication Date Title
CN107040608A (zh) 一种数据处理方法及系统
CN108874640B (zh) 一种集群性能的评估方法和装置
CA2756198C (en) Digital analytics system
CN109144817A (zh) 一种日志数据监控系统及方法
CN106940677A (zh) 一种应用日志数据告警方法及装置
CN109471783B (zh) 预测任务运行参数的方法和装置
CN103761309A (zh) 一种运营数据处理方法及系统
CN113505993B (zh) 分拨中心管理方法、装置、设备及存储介质
CN110347694B (zh) 一种基于物联网的设备监控方法、装置及系统
CN109684180A (zh) 用于输出信息的方法和装置
CN112867989A (zh) 基于流的组成以及监视服务器系统和方法
CN116664019B (zh) 智慧燃气数据时效性管理方法、物联网系统、装置及介质
CN108628669A (zh) 一种调度机器学习算法任务的方法和装置
CN110275815A (zh) 一种系统异常告警处理方法及装置
CN114070718B (zh) 一种告警方法、装置和存储介质
CN112534399A (zh) 基于语义的物联网设备数据处理相关应用程序安装方法及装置
CN111210539B (zh) 一种动力蓄电池数据分析系统
CN116843395A (zh) 一种业务系统的告警分级方法、装置、设备及存储介质
Zhou et al. A Data‐Secured Intelligent IoT System for Agricultural Environment Monitoring
CN110245120A (zh) 流式计算系统及流式计算系统的日志数据处理方法
CN114756376A (zh) 一种跨领域多业务资源自动适配维护平台
CN111582408B (zh) 数据处理方法、数据处理装置、存储介质和电子设备
CN114531377A (zh) 流程工业设备数据的流量控制方法、系统、设备及介质
CN112561593A (zh) 积分发放控制方法及其装置、设备、介质
CN111949246A (zh) 新能源电力行业应用的创建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170811