CN106708914A - 数据处理服务器及其数据处理方法 - Google Patents
数据处理服务器及其数据处理方法 Download PDFInfo
- Publication number
- CN106708914A CN106708914A CN201510895243.0A CN201510895243A CN106708914A CN 106708914 A CN106708914 A CN 106708914A CN 201510895243 A CN201510895243 A CN 201510895243A CN 106708914 A CN106708914 A CN 106708914A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- instant
- weighting
- delayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000003111 delayed effect Effects 0.000 claims description 88
- 230000010354 integration Effects 0.000 claims description 27
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 claims description 21
- 238000007405 data analysis Methods 0.000 claims description 20
- 238000012517 data analytics Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 14
- 241001269238 Data Species 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000005314 correlation function Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据处理服务器及其数据处理方法。数据处理服务器包含数据库、非即时数据处理模块以及即时数据处理模块。数据库记录第一数据处理函数。非即时数据处理模块用以接收数据串流,并根据第一数据处理函数分析数据串流,以产生至少一第一数据权重。即时数据处理模块用以接收数据串流,并根据第一数据处理函数以及至少一第一数据权重更新即时数据处理组态。即时数据处理模块根据即时数据处理组态分析数据串流,以产生即时数据输出。
Description
【技术领域】
本发明关于一种数据处理服务器及其数据处理方法。更具体而言,本发明是关于一种大数据(Big Data)的数据处理服务器及其数据处理方法。
【背景技术】
已知的数据处理方式,由于其数据量较小,因此,使用者仍可通过一般电脑,于合理的条件下完成数据的分析,并获得想要的输出。然随着科技发展,使用者通过电脑及网络得以使用的数据量已呈现巨幅的成长,因此,若以已知的数据处理方式,使用者将难以即时且有效率地获得期望的输出。据此,大数据(Big Data)的数据处理方式因此发展,其中,大数据的数据处理方式目前可分为批次处理以及即时处理。
具体而言,批次处理的大数据数据处理方式,主要是针对大数据量的档案先行分拆,并以非即时的方式进行数据处理,惟此种方式仍有输出延迟过大以及运算复杂的缺点。另一方面,即时处理的大数据数据处理方式,主要是直接针对大数据量的档案进行处理并产生输出,惟此种方式将有结果不够准确的疑虑,且若短时间内突发事件的数据占总体数据量比例过小,亦无法针对突发事件做出准确的判断。
针对前述大数据处理方式的缺点,目前已有技术针对批次处理的结果以及即时处理的结果进行整合输出,以提升其准确度,惟在此种操作方式中,整合输出的结果仍须等待批次处理的结果,且即时数据的处理方法仍须根据之前定义的逻辑与流程检测及判断固定事件的数据,因此,数据处理的即时性仍有明显不足。
有鉴于此,如何改良前述已知大数据的数据处理的缺点,同时提升数据输出的即时性以及准确性,乃为业界亟需努力的目标。
【发明内容】
本发明的主要目的是提供一种数据处理服务器,包含数据库、非即时数据处理模块以及即时数据处理模块。数据库用以记录第一数据处理函数。非即时数据处理模块用以:接收数据串流;根据第一数据处理函数分析数据串流,以产生至少一第一数据权重;以及将该至少一第一数据权重储存于该数据库。即时数据处理模块用以:接收数据串流;自数据库撷取第一数据处理函数以及至少一第一数据权重;根据第一数据处理函数以及至少一第一数据权重更新即时数据处理组态,其中,即时数据处理组态包含第一数据处理函数以及至少一第一数据权重;以及根据即时数据处理组态分析数据串流,以产生即时数据输出。
为完成前述目的,本发明又提供一种用于数据处理服务器的数据处理方法。数据处理服务器包含数据库、非即时数据处理模块以及即时数据处理模块。数据库用以记录第一数据处理函数。数据处理方法包含:(a)令非即时数据处理模块接收数据串流;(b)令非即时数据处理模块根据第一数据处理函数分析数据串流,以产生至少一第一数据权重;(c)令非即时数据处理模块将至少一第一数据权重储存于数据库;(d)令即时数据处理模块接收数据串流;(e)令即时数据处理模块自数据库撷取第一数据处理函数以及至少一第一数据权重;(f)令即时数据处理模块根据第一数据处理函数以及至少一第一数据权重更新即时数据处理组态,其中,即时数据处理组态包含第一数据处理函数以及至少一第一数据权重;(g)令即时数据处理模块根据即时数据处理组态分析数据串流,以产生即时数据输出。
参阅图式及随后描述的实施方式后,所属技术领域具有通常知识者可更了解本发明的技术手段及具体实施态样。
【附图说明】
图1A是本发明第一实施例的数据处理服务器的示意图;
图1B是本发明第一实施例的数据处理服务器处理数据的示意图;
图2A是本发明第二实施例的数据处理服务器的示意图;
图2B是本发明第二实施例的数据处理服务器处理数据的示意图;
图3A是本发明第三实施例的数据处理服务器的示意图;
图3B是本发明第三实施例的数据处理服务器处理数据的示意图;
图3C是本发明第三实施例的数据处理服务器处理数据的另一示意图;
图4A是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的例示图;
图4B是本发明第四实施例的数据串流于数据处理服务器中进行非即时数据处理的例示图;
图4C是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的另一例示图;
图4D是本发明第四实施例的数据串流于数据处理服务器中进行非即时数据处理的另一例示图;
图4E是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的另一例示图;
图5是本发明第五实施例的数据处理方法的流程图;以及
图6是本发明第六实施例的数据处理方法的流程图。
【符号说明】
1、2、3 数据处理服务器
11 数据库
13 非即时数据处理模块
130 非即时数据输出
131 非即时数据接收单元
133 非即时数据分析单元
15 即时数据处理模块
150 即时数据处理组态
151 即时数据接收单元
152 即时数据输出
153 即时数据分析单元
17 数据整合模块
170 整合数据输出
9 数据源
90 数据串流
F1、F2、f1~f5 数据处理函数
W1、W2 数据权重
【具体实施方式】
以下将通过本发明的实施例来阐释本发明。然而,该多个实施例并非用以限制本发明需在如实施例所述的任何环境、应用程序或方式方能实施。因此,以下实施例的说明仅在于阐释本发明,而非用以限制本发明。在以下实施例及图式中,与本发明非直接相关的元件已省略而未绘示,且绘示于图式中的各元件之间的尺寸关系仅为便于理解,而非用以限制为实际的实施比例。
请先参考图1A~1B。图1A是本发明第一实施例的一数据处理服务器1的示意图,图1B是本发明第一实施例的数据处理服务器1处理数据的示意图。数据处理服务器1包含一数据库11、一非即时数据处理模块13以及一即时数据处理模块15。数据库11记录一第一数据处理函数F1。非即时数据处理模块13具有一非即时数据接收单元131以及一非即时数据分析单元133。即时数据处理模块15具有一即时数据接收单元151以及一即时数据分析单元153。元件间处理数据的互动流程将于下文中进一步阐述。
具体而言,如图所示,数据处理服务器1自一数据源9接收一数据串流90。接着,就非即时数据处理模块13的角度观的,非即时数据接收单元131先接收数据串流90,而非即时数据分析单元133便根据数据库11里所记录的第一数据处理函数F1分析数据串流90,以产生与数据串流90相关的至少一第一数据权重W1。随后,非即时数据分析单元133将至少一第一数据权重W1储存于数据库11中。
另一方面,以即时数据处理模块15的角度观的,其主要是利用一即时数据处理组态150处理即时数据,同时,即时数据处理模块15亦可确认数据库11中是否有更新之内容可使用。详言之,即时数据处理模块15利用即时数据接收单元151接收数据串流90,同时,即时数据分析单元153自数据库11撷取非即时数据处理模块13更新的第一数据处理函数F1以及至少一第一数据权重W1。
随后,即时数据分析单元153便可根据第一数据处理函数F1以及至少一第一数据权重W1更新即时数据处理组态150,使即时数据处理组态150新增第一数据处理函数F1以及至少一第一数据权重W1的利用。最后,即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生一即时数据输出152。如此一来,由于即时数据处理组态150已通过第一数据处理函数F1以及至少一第一数据权重W1更新,因此,即时数据分析单元153于利用即时处理组态150分析数据串流90时,所产生的即时数据输出152除了具备原有的即时性外,同时可具有非即时数据的高可靠性。
请参考图2A~2B。图2A是本发明第二实施例的一数据处理服务器2的示意图,图2B是本发明第二实施例的数据处理服务器2处理数据的示意图。其中,第二实施例与第一实施例的架构相似,因此符号相同的元件功能亦同,于此不再赘述。而第二实施例主要是说明利用一数据整合模块17进行数据整合的过程。
类似地,如图所示,数据处理服务器2自数据源9接收数据串流90。接着,就非即时数据处理模块13的角度观的,非即时数据接收单元131先接收数据串流90,而非即时数据分析单元133便根据数据库11里所记录的第一数据处理函数F1分析数据串流90,以产生与数据串流90相关的至少一第一数据权重W1。随后,非即时数据分析单元133根据第一数据处理函数F1以及至少一第一数据权重W1分析数据串流90,以产生一非即时数据输出130,同时将至少一第一数据权重W1储存于数据库11中。
另一方面,以即时数据处理模块15的角度观的,其主要是利用一即时数据处理组态150处理即时数据,同时,即时数据处理模块15亦可确认数据库11中是否有更新之内容可使用。详言之,即时数据处理模块15利用即时数据接收单元151接收数据串流90,同时,即时数据分析单元153自数据库11撷取非即时数据处理模块13更新的第一数据处理函数F1以及至少一第一数据权重W1。
随后,即时数据分析单元153便可根据第一数据处理函数F1以及至少一第一数据权重W1更新即时数据处理组态150,使即时数据处理组态150新增第一数据处理函数F1以及至少一第一数据权重W1的利用。而即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生即时数据输出152。
须特别说明,第二实施例中,非即时数据输出130以及即时数据输出152皆会输出至数据整合模块17中,换言之,数据整合模块17撷取非即时数据输出130以及即时数据输出152,并据以决定一整合数据输出170。如此一来,使用者除了可分别查询非即时数据输出130以及即时数据输出152外,亦可查询整合后的数据。
请先参考图3A,其是本发明第三实施例的一数据处理服务器3的示意图。其中,第三实施例与前述实施例的架构相似,因此符号相同的元件功能亦同,于此不再赘述。而第三实施例的数据库11更记录一第二数据处理函数F2,其主要是更详细说明多数据处理函数的应用。
具体而言,如图所示,数据处理服务器3自数据源9接收数据串流90。接着,就非即时数据处理模块13的角度观的,非即时数据接收单元131先接收数据串流90,而非即时数据分析单元133便根据数据库11里所记录的第一数据处理函数F1分析数据串流90,以产生与数据串流90相关的至少一第一数据权重W1。同时,于第三实施例中,非即时数据分析单元133亦根据数据库11里所记录的第二数据处理函数F2分析数据串流90,以产生与数据串流90相关的至少一第二数据权重W2。随后,非即时数据分析单元133将至少一第一数据权重W1以及至少一第二数据权重W2储存于数据库11中。
另一方面,以即时数据处理模块15的角度观的,其主要是利用即时数据处理组态150处理即时数据,同时,即时数据处理模块15亦可确认数据库11中是否有更新之内容可使用。详言之,即时数据处理模块15利用即时数据接收单元151接收数据串流90,同时,即时数据分析单元153自数据库11撷取相关的函数及其数据权重。
请参考图3B,其是本发明第三实施例的数据处理服务器3处理数据的示意图。更进一步来说,当第一数据函数F1以及至少一第一数据权重W1与所欲输出的数据的相关性较高,且第二数据函数F2以及至少一第二数据权重W2与所欲输出的数据的相关性较低时,即时数据分析单元153仅自数据库11撷取非即时数据处理模块13更新的第一数据处理函数F1以及至少一第一数据权重W1。
随后,同样地,即时数据分析单元153便可根据第一数据处理函数F1以及至少一第一数据权重W1更新即时数据处理组态150,使即时数据处理组态150新增第一数据处理函数F1以及至少一第一数据权重W1的利用。最后,即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生一即时数据输出152。
请参考图3C,其是本发明第三实施例的数据处理服务器3处理数据的另一示意图。更详细来说,当第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2与所欲输出的数据的相关性皆有高度关联时,即时数据分析单元153自数据库11撷取非即时数据处理模块13更新的第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2。
随后,即时数据分析单元153便可根据第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2更新即时数据处理组态150,使即时数据处理组态150新增第一数据函数F1、第二数据函数F2、至少一第一数据权重W1以及至少一第二数据权重W2的利用。最后,即时数据分析单元153利用更新后的即时处理组态150分析数据串流90,并产生即时数据输出152。
须特别说明,如图所示,第三实施例的数据处理服务器3亦可具有数据整合模块17,其同样用于撷取非即时数据输出130以及即时数据输出152,并据以决定整合数据输出170。由于其操作方式与前述实施例相同,与此不再赘述。
另须强调,由于数据串流90的数据格式可为具有多种不同栏位的数据态样,因此,前述实施例中,至少一第一数据权重W1主要是对应于数据串流90的至少一第一数据栏位(未绘示),至少一第二数据权重W2主要是对应于数据串流90的至少一第二数据栏位(未绘示),以下将通过范例作出进一步的说明。
举例来说,请参考图4A,其是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的例示图。如图所示,数据串流主要包含:驾驶、车型、行驶路径、车速以及塞车状态等栏位,此时,数据处理服务器的即时数据处理模块主要是根据车速以及道路的数据处理组态(如前述实施例的即时数据处理组态)进行数据串流的处理。接着,当使用者欲通过数据处理服务器获得路径W-->P的所需时间时,即时数据处理模块主要是针对数据串流的车速以及道路进行分析,并进一步得到路径W-->P需50分钟的时间输出。
另一方面,由于数据处理服务器的数据库中存有其他可处理数据串流的函数(如前述实施例的第一数据处理函数以及第二数据处理函数),非即时数据处理模块便可通过相关函数判断对应栏位数据的权重值,使即时数据处理模块得据以调整数据处理组态。
请一并参考图4B,其是本发明第四实施例的数据串流于数据处理服务器中进行非即时数据处理的例示图。详言之,当非即时数据处理模块接收数据串流时,其主要可根据数据库中储存的各种函数(如车型、车速、道路、驾驶以及塞车程度)对数据串流进行分析,并针对不同的函数产生相应的权重值。
如图所示,当数据串流经过车型函数f1时,便可获得权重值BMW、Benz、Audi。当数据串流经过车速函数f2时,便可得到权重值60、50、70。当数据串流经过道路函数f3时,便可获得权重值W、X、Y、Z、Q、P。当数据串流经过驾驶函数f4时,便可获得权重值A、B、C。当数据串流经过塞车程度函数f5时,便可获得权重值红、黄、绿。其中,红表示严重塞车,黄表示普通塞车,绿表示顺畅。随后,非即时数据处理模块便可据以产生路径W-->P需40分钟的时间输出。
接着,非即时数据处理模块将前述函数关系以及权重值储存至数据库。如此一来,即时数据处理模块便可进一步利用数据库更新的函数关系以及权重值。请同时参考图4C,其是本发明第四实施例的数据串流于数据处理服务器中进行即时数据处理的另一例示图。
具体而言,即时数据处理模块可进一步判断所需的函数,并据以更新即时数据处理组态。更进一步来说,如图所示,由于即时数据处理模块根据塞车程度的函数及其权重值,判断其为影响行车时间的主要因素之一,因此,即时数据处理模块便将塞车程度的函数及其权重值新增至即时数据处理组态中。
如此一来,由于即时数据处理模块已通过非即时数据处理模块储存于数据库中的函数关系及权重值,针对即时数据处理组态进行更新,并新增直接影响行车时间的塞车程度函数及其权重值,因此,当即时数据处理模块进一步针对数据串流进行处理时,便可以即时的状态下,得到更为精准的路径W-->P所需时间小于40分钟的时间输出。
另需特别说明,函数的顺序并非固定,非实时数据处理模块以及实时数据处理模块可透过不同函数顺序,针对数据进行优化处理。请一并参考图4D,其是本发明第四实施例的数据串流于数据处理服务器中进行非实时数据处理的另一例示图。
具体而言,当非实时数据处理模块接收数据串流时,其主要可根据数据库中储存的各种函数(同样如车型、车速、道路、驾驶以及塞车程度),以不同的函数顺序对数据串流进行分析,并据以针对不同的函数产生相应的权重值。
如图所示,当资料串流经过车型函数f1时,便可获得权重值BMW、Benz、Audi。接着,非实时数据处理模块于另一数据串流处理过程中,可将道路函数f3的处理顺序排至车速函数f2前,此时,资料串流先经过道路函数f3时,由于道路判断的优先权先于车速优先权,因此,可得到不一样的权重值W、X、Y、Z、Q、P、M。
需特别说明,相较于先前范例,此处的道路函数f3判断的结果新增权重值M。详言之,道路权重值M是为限速40之道路,因此,于先前范例中,由于车速函数f2优先于道路函数f3判断,且其判断出的车速权重值皆为50以上(即60、50、70),则后续数据串流经由道路函数f3便不会产生车速50以下的道路权重值(及道路权重值M限速40的道路)。
据此,于本范例中,当数据串流经过车速函数f2时,可得到权重值60、50、70、40。接着,类似地,当数据串流经过驾驶函数f4时,便可获得权重值A、B、C。当数据串流经过塞车程度函数f5时,便可获得权重值红、黄、绿。其中,红表示严重塞车,黄表示普通塞车,绿表示顺畅。随后,非实时数据处理模块便可据以产生路径W-->P需35分钟的时间输出。
接着,非实时数据处理模块将前述函数关系以及权重值储存至数据库。如此一来,实时数据处理模块便可进一步利用数据库更新的函数关系以及权重值。请同时参考图4E,其是本发明第四实施例的数据串流于数据处理服务器中进行实时数据处理的另一例示图。
同样地,实时数据处理模块可进一步判断所需的函数,并据以更新实时数据处理组态。更进一步来说,如图所示,由于实时数据处理模块根据塞车程度函数及其权重值,判断其为影响行车时间的主要因素之一,因此,实时数据处理模块便将塞车程度的函数及其权重值新增至实时数据处理组态中。同时,在道路函数优于车速函数可得更佳输出的状况下,调动实时数据处理组态中的函数顺序。
如此一来,由于实时数据处理模块已透过非实时数据处理模块储存于数据库中的函数关系及权重值,针对实时数据处理组态进行更新,并:(1)调整函数关系;及(2)新增直接影响行车时间的塞车程度函数及其权重值。因此,当实时数据处理模块进一步针对数据串流进行处理时,便可以实时的状态下,得到更为精准的路径W-->P所需时间小于35分钟的时间输出。
须特别说明,前述的数据处理服务器主要是用于处理大数据数据,惟其并非用以限制本发明的实施环境。另外,本发明技术主要是着重于:即时数据处理模块利用非即时数据处理模块的回馈更新即时数据处理组态,使得即时数据处理模块得通过更新后的即时数据处理组态获得更精准的输出,而本领域技术人员应可通过前揭内容,轻易理解相关的数据处理方式以及函数的利用,因此不再赘述。
再者,前述实施例的数据处理模块(如非即时数据处理模块以及即时资处理模块的数据接收单元以及数据分析单元、数据整合模块)可以为相关输出输入(I/O)接口以及处理器(Processor)等硬件电路构成,本领域技术人员应可轻易通过前述内容理解其架构,惟其并非用以限制本发明的实施态样。
本发明的第五实施例是为数据处理方法,其流程图请参考图5。第五实施例的方法是用于一数据处理服务器(例如前述实施例的数据处理服务器),包含一数据库、一非即时数据处理模块以及一即时数据处理模块。数据库用以记录一第一数据处理函数。第五实施例的详细步骤如下所述。
首先,以非即时数据处理模块角度观的,执行步骤501,令非即时数据处理模块接收一数据串流。接着,执行步骤502,令非即时数据处理模块根据第一数据处理函数分析数据串流,以产生至少一第一数据权重。执行步骤503,令非即时数据处理模块将至少一第一数据权重储存于数据库。
另一方面,以即时数据处理模块角度观的。执行步骤504,令即时数据处理模块接收数据串流。执行步骤505,令即时数据处理模块自数据库撷取第一数据处理函数以及至少一第一数据权重。
执行步骤506,令即时数据处理模块根据第一数据处理函数以及至少一第一数据权重更新一即时数据处理组态。其中,即时数据处理组态包含第一数据处理函数以及至少一第一数据权重。最后,执行步骤507,令即时数据处理模块根据即时数据处理组态分析数据串流,以产生一即时数据输出。
须特别说明,于第五实施例的其他实施态样中,数据处理服务器可进一步包含一数据整合模块,而非即时数据处理模块可于步骤502后,根据第一数据处理函数以及至少一第一数据权重分析数据串流,以产生一非即时数据输出。如此一来,数据整合模块便可于步骤507后,撷取即时数据输出以及非即时数据输出,并据以决定一整合数据输出。
本发明的第六实施例是为数据处理方法,其流程图请参考图6。第六实施例的方法是用于一数据处理服务器(例如前述实施例的数据处理服务器),包含一数据库、一非即时数据处理模块以及一即时数据处理模块。数据库用以记录一第一数据处理函数以及一第二数据处理函数。第六实施例的详细步骤如下所述。
首先,以非即时数据处理模块角度观的,执行步骤601,令非即时数据处理模块接收一数据串流。接着,执行步骤602,令非即时数据处理模块根据第一数据处理函数分析数据串流,以产生至少一第一数据权重。执行步骤603,令非即时数据处理模块根据第二数据处理函数分析数据串流,以产生至少一第二数据权重。执行步骤604,令非即时数据处理模块将至少一第一数据权重以及至少一第二数据权重储存于数据库。
另一方面,以即时数据处理模块角度观的。执行步骤605,令即时数据处理模块接收数据串流。执行步骤606,令即时数据处理模块自数据库撷取第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重。
执行步骤607,令即时数据处理模块根据第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重更新一即时数据处理组态,其中,即时数据处理组态至少包含第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重。最后,执行步骤608,令即时数据处理模块根据即时数据处理组态分析数据串流,以产生一即时数据输出。
同样地,须特别说明,于第六实施例的其他实施态样中,数据处理服务器可进一步包含一数据整合模块,而非即时数据处理模块可于步骤603后,根据第一数据处理函数、第二数据处理函数、至少一第一数据权重以及至少一第二数据权重分析数据串流,以产生一非即时数据输出。如此,数据整合模块便可于步骤608后,撷取即时数据输出以及非即时数据输出,并据以决定一整合数据输出。
综合上述,本发明的数据处理服务器及其数据处理方法,主要是由即时数据处理模块利用非即时数据处理模块的回馈,更新即时数据处理组态,使得即时数据处理模块得通过更新后的即时数据处理组态获得更精准的输出,如此一来,便可提升数据输出的准确性,同时维持数据输出的即时性。
惟上述实施例仅为例示性说明本发明的实施态样,以及阐释本发明的技术特征,并非用来限制本发明的保护范畴。任何熟悉此技艺的人士可轻易完成的改变或均等性的安排均属于本发明所主张的范围,本发明的权利保护范围应以申请专利范围为准。
Claims (14)
1.一种数据处理服务器,包含:
一数据库,用以记录一第一数据处理函数;
一非即时数据处理模块,具有:
一非即时数据接收单元,用以接收一数据串流;以及
一非即时数据分析单元,用以:
根据该第一数据处理函数分析该数据串流,以产生至少一第一数据权重;
将该至少一第一数据权重储存于该数据库;
一即时数据处理模块,具有:
一即时数据接收单元,用以接收该数据串流;以及
一即时数据分析单元,用以:
自该数据库撷取该第一数据处理函数以及该至少一第一数据权重;
根据该第一数据处理函数以及该至少一第一数据权重更新一即时数据处理组态,其中,该即时数据处理组态包含该第一数据处理函数以及该至少一第一数据权重;
根据该即时数据处理组态分析该数据串流,以产生一即时数据输出。
2.如权利要求1所述的数据处理服务器,更包含一数据整合模块,其特征在于,该非即时数据分析单元更用以:
根据该第一数据处理函数以及该至少一第一数据权重分析该数据串流,以产生一非即时数据输出;
其中,该数据整合模块用以:
撷取该即时数据输出以及该非即时数据输出;
根据该即时数据输出以及该非即时数据输出决定一整合数据输出。
3.如权利要求1所述的数据处理服务器,其特征在于,该数据库更用以记录一第二数据处理函数,该非即时数据分析单元更用以:
根据该第二数据处理函数分析该数据串流,以产生至少一第二数据权重;
将该至少一第二数据权重储存于该数据库。
4.如权利要求3所述的数据处理服务器,更包含一数据整合模块,其特征在于,该非即时数据分析单元更用以:
根据该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重分析该数据串流,以产生一非即时数据输出;
其中,该数据整合模块用以:
撷取该即时数据输出以及该非即时数据输出;
根据该即时数据输出以及该非即时数据输出决定一整合数据输出。
5.如权利要求3所述的数据处理服务器,其特征在于,该即时数据分析单元更用以:
自该数据库撷取该第二数据处理函数以及该至少一第二数据权重;
根据该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重更新该即时数据处理组态,其中,该即时数据处理组态包含该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重;
根据该即时数据处理组态分析该数据串流,以产生该即时数据输出。
6.如权利要求5所述的数据处理服务器,更包含一数据整合模块,其特征在于,该非即时数据分析单元更用以:
根据该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重分析该数据串流,以产生一非即时数据输出;
其中,该数据整合模块用以:
撷取该即时数据输出以及该非即时数据输出;
根据该即时数据输出以及该非即时数据输出决定一整合数据输出。
7.如权利要求1所述的数据处理服务器,其特征在于,该至少一第一数据权重是对应于该数据串流的至少一第一数据栏位。
8.如权利要求3所述的数据处理服务器,其特征在于,该至少一第一数据权重是对应于该数据串流的至少一第一数据栏位,该至少一第二数据权重是对应于该数据串流的至少一第二数据栏位。
9.一种用于一数据处理服务器的数据处理方法,该数据处理服务器包含一数据库、一非即时数据处理模块以及一即时数据处理模块,该数据库用以记录一第一数据处理函数,该数据处理方法包含:
(a)令该非即时数据处理模块接收一数据串流;
(b)令该非即时数据处理模块根据该第一数据处理函数分析该数据串流,以产生至少一第一数据权重;
(c)令该非即时数据处理模块将该至少一第一数据权重储存于该数据库;
(d)令该即时数据处理模块接收该数据串流;
(e)令该即时数据处理模块自该数据库撷取该第一数据处理函数以及该至少一第一数据权重;
(f)令该即时数据处理模块根据该第一数据处理函数以及该至少一第一数据权重更新一即时数据处理组态,其中,该即时数据处理组态包含该第一数据处理函数以及该至少一第一数据权重;
(g)令该即时数据处理模块根据该即时数据处理组态分析该数据串流,以产生一即时数据输出。
10.如权利要求9所述的数据处理方法,其特征在于,该数据处理服务器更包含一数据整合模块,步骤(b)后更包含:
(b1)令该非即时数据处理模块根据该第一数据处理函数以及该至少一第一数据权重分析该数据串流,以产生一非即时数据输出;
其中,步骤(g)后更包含:
(h)令该数据整合模块撷取该即时数据输出以及该非即时数据输出;
(i)令该数据整合模块根据该即时数据输出以及该非即时数据输出决定一整合数据输出。
11.如权利要求9所述的数据处理方法,其特征在于,该数据库更用以记录一第二数据处理函数,步骤(b)后更包含:
(b1)令该非即时数据处理模块根据该第二数据处理函数分析该数据串流,以产生至少一第二数据权重;
其中,步骤(c)更包含:
(c1)令该非即时数据处理模块将该至少一第一数据权重以及该至少一第二数据权重储存于该数据库。
12.如权利要求11所述的数据处理方法,其特征在于,该数据处理服务器更包含一数据整合模块,步骤(b1)后更包含:
(b2)令该非即时数据处理模块根据该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重分析该数据串流,以产生一非即时数据输出;
其中,步骤(g)后更包含:
(h)令该数据整合模块撷取该即时数据输出以及该非即时数据输出;
(i)令该数据整合模块根据该即时数据输出以及该非即时数据输出决定一整合数据输出。
13.如权利要求11所述的数据处理方法,其特征在于,步骤(e)更包含:
(e1)令该即时数据处理模块自该数据库撷取该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重;
其中,步骤(f)更包含:
(f1)令该即时数据处理模块根据该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重更新该即时数据处理组态,其中,该即时数据处理组态包含该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重。
14.如权利要求13所述的数据处理方法,其特征在于,该数据处理服务器更包含一数据整合模块,步骤(b1)后更包含:
(b2)令该非即时数据处理模块根据该第一数据处理函数、该第二数据处理函数、该至少一第一数据权重以及该至少一第二数据权重分析该数据串流,以产生一非即时数据输出;
其中,步骤(g)后更包含:
(h)令该数据整合模块撷取该即时数据输出以及该非即时数据输出;
(i)令该数据整合模块根据该即时数据输出以及该非即时数据输出决定一整合数据输出。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW104138045 | 2015-11-18 | ||
TW104138045A TW201719454A (zh) | 2015-11-18 | 2015-11-18 | 資料處理伺服器及其資料處理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106708914A true CN106708914A (zh) | 2017-05-24 |
Family
ID=58691066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510895243.0A Pending CN106708914A (zh) | 2015-11-18 | 2015-12-08 | 数据处理服务器及其数据处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170139922A1 (zh) |
CN (1) | CN106708914A (zh) |
TW (1) | TW201719454A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109742810A (zh) * | 2019-01-11 | 2019-05-10 | 北京京运通科技股份有限公司 | 风电集中监控管理系统及管理方法 |
CN110174139B (zh) * | 2019-06-06 | 2021-03-12 | 交通运输部公路科学研究所 | 足尺环道道路内部应力、应变响应数据获取方法及其系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1476702A (zh) * | 2000-11-24 | 2004-02-18 | 通过交换式数据网络、特别是以太网并行传输实时和非实时临界数据的系统和方法 | |
CN103646111A (zh) * | 2013-12-25 | 2014-03-19 | 普元信息技术股份有限公司 | 大数据环境下实现实时数据关联的系统及方法 |
US8769576B2 (en) * | 2011-04-01 | 2014-07-01 | Mixaroo, Inc. | System and method for real-time processing, storage, indexing, and delivery of segmented video |
CN104361088A (zh) * | 2014-11-17 | 2015-02-18 | 国电南京自动化股份有限公司 | Scada系统基于实时权重分析的拥塞数据处理方法 |
CN104794003A (zh) * | 2015-02-04 | 2015-07-22 | 汉鼎信息科技股份有限公司 | 一种整合实时和非实时模式的大数据分析系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8842007B2 (en) * | 2012-08-31 | 2014-09-23 | Thuuz, Inc. | Generating alerts for live performances |
US10902468B2 (en) * | 2014-06-23 | 2021-01-26 | Board Of Regents, The University Of Texas System | Real-time, stream data information integration and analytics system |
-
2015
- 2015-11-18 TW TW104138045A patent/TW201719454A/zh unknown
- 2015-12-08 US US14/962,912 patent/US20170139922A1/en not_active Abandoned
- 2015-12-08 CN CN201510895243.0A patent/CN106708914A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1476702A (zh) * | 2000-11-24 | 2004-02-18 | 通过交换式数据网络、特别是以太网并行传输实时和非实时临界数据的系统和方法 | |
US8769576B2 (en) * | 2011-04-01 | 2014-07-01 | Mixaroo, Inc. | System and method for real-time processing, storage, indexing, and delivery of segmented video |
CN103646111A (zh) * | 2013-12-25 | 2014-03-19 | 普元信息技术股份有限公司 | 大数据环境下实现实时数据关联的系统及方法 |
CN104361088A (zh) * | 2014-11-17 | 2015-02-18 | 国电南京自动化股份有限公司 | Scada系统基于实时权重分析的拥塞数据处理方法 |
CN104794003A (zh) * | 2015-02-04 | 2015-07-22 | 汉鼎信息科技股份有限公司 | 一种整合实时和非实时模式的大数据分析系统 |
Also Published As
Publication number | Publication date |
---|---|
US20170139922A1 (en) | 2017-05-18 |
TW201719454A (zh) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016101628A1 (zh) | 一种数据建模中的数据处理方法及装置 | |
DE102018128581A1 (de) | Erkennung und klassifikfation von schadsoftware unter verwendung eines künstlichen neuronalen netzes | |
CN116209963A (zh) | 故障诊断及解决方案推荐方法、设备、系统和存储介质 | |
CN106951925A (zh) | 数据处理方法、装置、服务器及系统 | |
CN110147367B (zh) | 一种温度缺失数据填补方法、系统及电子设备 | |
CN107844769B (zh) | 一种复杂场景下的车辆检测方法及系统 | |
CN104156565A (zh) | 基于离线can总线数据的系统状态分析方法及分析装置 | |
CN113505936A (zh) | 项目审批结果的预测方法、装置、设备及存储介质 | |
CN112860676B (zh) | 应用于大数据挖掘和业务分析的数据清洗方法及云服务器 | |
CN103020645A (zh) | 一种垃圾图片识别方法和系统 | |
CN112134862A (zh) | 基于机器学习的粗细粒度混合网络异常检测方法及装置 | |
CN111046283A (zh) | 特征选择方法、装置、设备及存储介质 | |
CN111353377A (zh) | 一种基于深度学习的电梯乘客数检测方法 | |
CN106708914A (zh) | 数据处理服务器及其数据处理方法 | |
CN117220920A (zh) | 基于人工智能的防火墙策略管理方法 | |
CN115576834A (zh) | 支撑故障还原的软件测试复用方法、系统、终端及介质 | |
CN112488043B (zh) | 一种基于边缘智能的无人机车辆目标检测方法 | |
CN110232130A (zh) | 元数据管理谱系生成方法、装置、计算机设备和存储介质 | |
CN117217020A (zh) | 一种基于数字孪生的工业模型构建方法及系统 | |
CN110320802B (zh) | 基于数据可视化的复杂系统信号时序识别方法 | |
CN115379308B (zh) | 一种基于卫星远程通信的物联网设备数据采集系统 | |
CN112527573A (zh) | 一种接口测试方法、装置及存储介质 | |
CN115883424A (zh) | 一种高速骨干网间流量数据预测方法及系统 | |
CN116311492A (zh) | 一种基于深度相机和轮廓提取的手势识别方法及系统 | |
CN114067169A (zh) | 一种基于卷积神经网络的拉曼光谱分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170524 |
|
WD01 | Invention patent application deemed withdrawn after publication |