CN105678090A - 数据处理方法和系统 - Google Patents

数据处理方法和系统 Download PDF

Info

Publication number
CN105678090A
CN105678090A CN201610031218.2A CN201610031218A CN105678090A CN 105678090 A CN105678090 A CN 105678090A CN 201610031218 A CN201610031218 A CN 201610031218A CN 105678090 A CN105678090 A CN 105678090A
Authority
CN
China
Prior art keywords
data
processing module
currently processed
data processing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610031218.2A
Other languages
English (en)
Inventor
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN201610031218.2A priority Critical patent/CN105678090A/zh
Publication of CN105678090A publication Critical patent/CN105678090A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明提出一种数据处理方法和系统,该数据处理方法包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对读取的所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;匹配得到符合待检测模式的数据,缓存符合待检测模式的数据,且在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据;将所述新产生的待定数据作为下一时间周期的待处理的数据。该方法能够提高处理结果的准确性。

Description

数据处理方法和系统
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法和系统。
背景技术
随着计算机和互联网技术的快速发展,会产生大量数据。在一些场景下需要对产生的数据进行存储和处理,以发现规律,并指导之后的运营。例如:电商每天产生的交易记录在凌晨开始分析,第二天早上决策者需要看到分析结果,以便做出正确的决策。
通常对数据进行处理时,数据是连续产生的,但处理却是离散的。相关技术中,是将连续的数据切成段,对每一段独立地进行处理,每个时间周期内仅处理当前时间周期的数据。但是,这种方式会导致处理结果不准确。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种数据处理方法,该方法可以提高处理结果的准确性。
本发明的另一个目的在于提出一种数据处理系统。
为达到上述目的,本发明第一方面实施例提出的数据处理方法,包括:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
本发明第一方面实施例提出的数据处理方法,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性。
为达到上述目的,本发明第二方面实施例提出的数据处理系统,包括:数据处理装置,所述数据处理装置包括:获取模块,用于获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;匹配模块,用于对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;缓存模块,用于在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;第一确定模块,用于在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
本发明第二方面实施例提出的数据处理系统,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的数据处理方法的流程示意图;
图2是本发明实施例中待定数据的产生和处理的示意图;
图3是本发明实施例中数据处理模块进行数据处理的流程示意图;
图4是本发明实施例中数据处理模块中的状态机的示意图;
图5是本发明另一实施例提出的数据处理方法的流程示意图;
图6是图5对应的系统结构示意图;
图7是本发明另一实施例提出的数据处理系统的结构示意图;
图8是本发明另一实施例提出的数据处理系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的数据处理方法的流程示意图。参见图1,该方法包括:
S11:获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据。
本实施例以离散处理为例,因此,在进行数据处理时是以每个时间周期为单位进行处理。
每个时间周期例如是一天。
以时间周期是一天为例,假设当前时间周期是今天,已结束时间周期包括昨天以及昨天之前的时间。以已结束时间周期是昨天为例,则在今天进行处理时,可以获取昨天产生的待定数据以及今天的数据。
本实施例以连续性数据为例,连续性数据是指在不同的时间周期内进行连续记录的数据。以已结束时间周期是上一时间周期为例,例如,参见图2,对应当前时间周期和上一时间周期,记录的数据21是连续性的。
待定数据是指未得到确定状态的数据。例如,以计算车辆超速时长为例,由于在没有遇到不超速的数据之前,不能确定超速时长,因此,如果昨天记录的数据(时间点及时间点上的车速采样)包括(T1,V1)、(T2,V2)、…(Tn,Vn),假设在昨天最后记录的数据(Tn,Vn)内都没有遇到不超速的车速,则(T1,V1)、(T2,V2)、…(Tn,Vn)属于待定数据。参见图2,上一时间周期中可能存在部分数据是待定数据22。
S12:对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配。
本实施例中,以进行数据处理的模块称为数据处理模块,且数据处理模块接收数据调度模块发送的数据为例。
因此,数据处理模块可以具体采用如下方式获取当前处理的数据:数据处理模块接收数据调度模块发送的当前处理的数据,其中,所述数据调度模块根据当前处理的数据流的标识,从存储模块中读取与当前处理的数据流的标识对应的数据作为当前处理的数据。
例如,在计算车辆超速时长时,可以对应每个车辆计算对应的车辆超速时长。此时,可以对应每个车辆分配一个数据流的标识,同一车辆的数据具有相同的数据流的标识,不同车辆的数据具有不同的数据流的标识。在存储模块中,可以对应存储数据流的标识与数据。假设当前要计算车辆A的车辆超速时长,则数据调度模块可以根据车辆A的数据流的标识从存储模块中读取到车辆A的数据,并将读取的数据发送给数据处理模块,由数据处理模块进行处理,以得到车辆A的车辆超速时长。
数据调度模块在发送数据时,可以根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块。例如,当前处理的数据是待定数据时,确定待定数据对应的数据处理模块,或者,当前处理的数据是当前时间周期的数据,将每个数据处理模块确定为对应的数据处理模块。
另外,数据调度模块可以根据每条当前处理的数据的产生时间,依次将每条当前处理的数据发送给对应的数据处理模块。
数据处理模块在处理数据时,不区分上一时间周期的待定数据还是当前时间周期的数据,当数据处理模块接收到数据调度模块发送的数据后,就按照数据处理模块自身的处理逻辑进行处理。
例如,参见图2,当前时间周期内,可以对上一时间周期内产生的待定数据22以及当前时间周期的数据23,进行数据处理。
数据处理模块在自身的处理逻辑进行处理时,例如是将当前处理的数据与预设的待检测模式进行匹配。
其中,待检测模式可以根据需要设置,例如,在需要检测车辆超速时长时,可以将待检测模式设置为超速的速度阈值。
当获取到当前处理的数据时,可以将当前处理的数据中的车速与设置的速度阈值进行比较,得到匹配结果。例如,如果当前处理的数据中的车速大于或等于速度阈值,则得到的匹配结果是当前处理的数据是符合待检测模式的数据,如果当前处理的数据中的车速小于速度阈值,则得到的匹配结果是当前处理的数据是不符合待检测模式的数据。
当然,可以理解的是,上述的待检测模式只是一种示例,还可以用于其他场景的检测,例如,待检测模块是设置的字符串,接收的当前处理的数据也是字符串,通过匹配接收的字符串与设置的字符串,以确定是否检测到设置的字符串。
S13:在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据。
例如,匹配得到包括超速的数据时,则缓存包括超速的数据。
S14:在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
例如,在当前时间周期结果,没有匹配得到不超速的数据,则将缓存中保存的包括超速的数据确定为当前时间周期新产生的待定数据,并作为下一时间周期的待定数据。
另一方面,该方法还可以包括:
在当前时间周期结束之前,匹配得到不符合待检测模式的数据时,根据当前处理的数据确定匹配结果,并保存匹配结果。
例如,在当前时间周期结束之前,匹配得到不超速的数据,则将当前时间周期已处理的超速和不超速的数据确定为匹配结果,并保存匹配结果。匹配结果也可以称为当前时间周期的处理结果。在得到当前时间周期的处理结果后,该处理结果可以作为其他处理逻辑的基础,以计算其他处理逻辑需要的参数,例如,根据超速和不超速的数据计算超速时长等。
在每个时间周期内对已结束时间周期的待定数据或当前时间周期的数据进行数据处理之后,可以得到当前时间周期的处理结果和/或当前时间周期新产生的待定数据。
例如,参见图2,上一时间周期内进行数据处理后可以得到上一时间周期产生的处理结果24,当前时间周期内进行数据处理后得到当前时间周期产生的处理结果25。
另外,根据实际情况,还可以得到待定数据。
例如,参见图2,上一时间周期内可以得到上一时间周期产生的待定数据22,当前时间周期内经过数据处理后,还可以得到当前时间周期产生的待定数据26。
数据处理模块在数据处理时,可以按照自身的处理逻辑处理接收的数据,不区分上一时间周期的待定数据和当前时间周期的数据。
其中,数据处理模块在处理时可以根据状态机进行处理。
参见图3,数据处理模块进行数据处理的流程可以包括:
S31:数据处理模块在接收到用于指示初始化的第一指令后,对预先配置的状态机进行初始化。
可选的,第一指令及后续的第二指令和第三指令等都是数据调度模块发送给数据处理模块的,数据调度模块产生并发送这些指令的具体流程可以参见后续描述。
参见图4,为数据处理模块中预先配置的状态机的示意图,第一指令例如用data_begin表示为例。
数据处理模块可以根据data_begin,从暂停状态迁移为初始状态(init)。
S32:数据处理模块根据在接收到用于指示数据处理的第二指令后,开始进行数据处理,将接收的当前处理的数据与预设的待检测模式进行匹配,并根据匹配结果从初始态迁移到当前状态,所述当前状态包括:正常状态或判定状态。
其中,第二指令和当前处理的数据都是数据调度模块发送给数据处理模块的。
匹配结果包括:当前处理的数据是符合待检测模式的数据,或者,不符合待检测模式的数据。
例如,待检测模式是车辆超速时长,则符合待检测模式的数据是车速超速的数据,不符合待检测模式的数据是车速不超速的数据。
如图4所示,用data_proc(data_n)表示不符合待检测模式的数据,用data_proc(data_p)表示符合待检测模式的数据。
当匹配结果是:当前处理的数据是不符合待检测模式的数据时,状态机从初始态迁移到正常状态(normal),表明没有匹配到待检测模式。
当匹配结果是:当前处理的数据是符合待检测模式的数据时,状态机从初始态迁移到判定状态(panding),表明正在匹配待检测模式。在判定状态下,需要缓存所有符合待检测模式的数据(data_p)。当收到不符合待检测模式的数据(data_proc(data_n))后,清空缓存。
S33:数据处理模块在所述当前状态是判定状态时,缓存符合待检测模式的当前处理的数据,并在获取到用于指示结束数据处理的第三指令时,将缓存的数据作为当前时间周期新产生的待定数据。
参见图4,第三指令可以用data_end表示,则如图4所示,如果当前状态是判定状态,且接收到data_end后,可以将判定状态对应的缓存中的数据确定为当前时间周期新产生的待定数据,并输出到用于保存待定数据的模块中。
例如,参见图4,从判定状态迁移到保存待定数据状态(savepandingdata),表明匹配没有完成,但数据处理结束,保存缓存数据,即没有匹配完的待定数据。
S34:数据处理模块在所述当前状态是判定状态,且接收到不符合待检测模式的数据后,匹配出待检测模式,保存匹配结果。
如图4所示,如果在判定状态时接收到不符合待检测模式的数据(data_proc(data_n)),则状态机从判定状态迁移到保存结果数据状态(Saveresultdata),表明匹配出待检测模式,保存匹配结果。
其中,匹配结果可以包括所有已处理的不符合待检测模式的数据和符合待检测模式的数据,以便在后续的业务逻辑可以根据匹配结果计算需要的参数,例如,根据不超速之前的所有超速数据可以计算出超速时长。
可以理解的是,对于其他情况下的状态之间的转移可以参见图4,在此不再赘述。
本实施例中,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性。
图5是本发明另一实施例提出的数据处理方法的流程示意图,图6是图5对应的系统结构示意图。
本实施例以系统包括多个数据处理模块为例。每个数据处理模块可以完成一种功能的数据处理,例如,一个数据处理模块用于计算超速时长,另一个数据处理模块用于计费等。
参见图6,本实施例对应的系统可以包括:数据调度模块61、数据处理模块62(为了简化图6中只标识出了一个数据处理模块)、用于保存待定数据的第一存储模块63、用于保存每个时间周期的数据的第二存储模块64。由数据调度模块61获取数据并发送给数据处理模块62,由数据处理模块62进行数据处理。
在需要进行数据处理时,数据调度模块61可以从第一存储模块63中获取待定数据,并发送给数据处理模块62进行处理。
本实施例中,不同数据处理模块产生的待定数据可以统一存储到第一存储模块63中,为了将某个数据处理模块产生的待定数据发送给相应的数据处理模块,可以在存储待定数据时,对应待定数据设置产生该待定数据的数据处理模块的标识信息,标识信息例如是唯一编号,从而数据调度模块61获取待定数据后,可以根据唯一编号确定对应的数据处理模块62并发送给对应的数据处理模块62进行处理。
数据处理模块62在处理完待定数据后,数据调度模块61可以从第二存储模块64中获取当前时间周期的数据并发送给每个数据处理模块62进行处理。
数据处理模块62在接收到数据调度模块61发送的数据后,可以依据自身的处理逻辑进行数据处理。
参见图5,本实施例的方法包括:
S501:数据调度模块在当前时间周期的数据处理开始时,调用每个数据处理模块的第一接口,产生第一指令,所述第一指令用于指示每个数据处理模块进行数据处理的初始化。
第一指令例如用data_begin表示。
S502:数据处理模块根据第一指令进行初始化。
数据处理模块根据data_begin调用执行的流程可以参见上述状态机的相关描述。
S503:数据调度模块从用于存储待定数据的第一存储模块中读取待定数据,所述待定数据中包含产生所述待定数据的数据处理模块的标识信息。
例如,在某个时间周期内,数据处理模块在产生待定数据后,在保存待定数据时还可以在待定数据中包含数据处理模块的标识信息。
S504:数据调度模块调用每个数据处理模块的第四接口,产生第四指令,所述第四指令用于指示每个数据处理模块将自身的标识信息发送给数据调度模块。
例如,第四指令用getid调用表示,数据调度模块通过调用getid调用对应的接口,可以产生getid调用指令,数据处理模块在接收到getid调用指令后,可以将自身的标识信息发送给数据调度模块。
S505:数据调度模块根据待定数据中包含的标识信息及接收的每个数据处理模块发送的标识信息,确定与待定数据对应的数据处理模块。
例如,数据调度模块获取的待定数据中包含第一数据处理模块的标识信息,则可以确定对应的数据处理模块是第一数据处理模块。
S506:数据调度模块将所述待定数据发送给对应的数据处理模块。
例如,将获取的待定数据发送给第一数据处理模块。
S507:数据调度模块调用所述待定数据对应的数据处理模块的第二接口,产生第二指令,所述第二指令用于指示所述对应的数据处理模块对所述待定数据进行数据处理。
第二指令例如用data_proc表示。
S508:数据处理模块对所述待定数据进行数据处理。
数据处理模块在接收到data_proc后,可以根据状态机对接收的数据进行处理,具体流程可以参见上述相关实施例,在此不再赘述。
另外,不同的数据处理模块在进行数据处理后,可以相互独立的并行处理。
S509:数据调度模块在数据处理模块处理完待定数据后,从用于存储记录的数据的第二存储模块中读取当前时间周期的数据。
S510:数据调度模块将每个数据处理模块作为对应的数据处理模块,将读取的所述当前时间周期的数据分别发送给每个数据处理模块。
例如,数据调度模块从第二存储模块中获取当前时间周期的数据后,将该数据分别发送给每个数据处理模块。
S511:数据调度模块调用所述对应的数据处理模块的第二接口,产生第二指令,所述第二指令用于指示所述对应的数据处理模块对接收的数据进行数据处理。
第二指令例如用data_proc表示。
S512:数据处理模块对接收的当前时间周期的数据进行数据处理。
数据处理模块可以根据状态机对接收的数据进行处理,具体流程可以参见上述相关实施例,在此不再赘述。
另外,不同的数据处理模块在进行数据处理后,可以相互独立的并行处理。
S513:数据调度模块在当前时间周期的数据处理结束时,调用每个数据处理模块的第三接口,产生第三指令,所述第三指令用于指示每个数据处理模块结束数据处理。
第三指令例如用data_end表示。
数据处理模块根据data_end执行的流程可以参见上述状态机的相关描述。
本实施例中,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性进一步的,本实施例的数据处理模块在处理数据时,可以不区分已结束时间周期的待定数据和当前时间周期的数据,按照自身的处理逻辑进行即可,从而使数据处理模块在处理数据时,不必关心数据断点带来的影响,使其专注于数据的处理逻辑,简化了数据处理模块的复杂度。
图7是本发明另一实施例提出的数据处理系统的结构示意图,该系统包括:数据处理装置71,所述数据处理装置71包括:获取模块711、匹配模块712、缓存模块713和第一确定模块714。
获取模块711,用于获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;
可选的,所述获取模块711具体用于:
接收数据调度模块发送的当前处理的数据,其中,所述数据调度模块根据当前处理的数据流的标识,从存储模块中读取与当前处理的数据流的标识对应的数据作为当前处理的数据。
匹配模块712,用于对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配。
缓存模块713,用于在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据。
第一确定模块714,用于在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
一些实施例中,参见图8,所述数据处理装置71还包括:
第二确定模块715,用于在当前时间周期结束之前,匹配得到不符合待检测模式的数据时,根据当前处理的数据确定匹配结果,并保存匹配结果。
一些实施例中,参见图8,该系统还包括:数据调度装置72,所述数据调度装置72用于:
在当前时间周期的数据处理开始时,调用每个数据处理模块的第一接口,产生第一指令,所述第一指令用于指示每个数据处理模块进行数据处理的初始化;
根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块;
调用所述对应的数据处理模块的第二接口,产生第二指令,所述第二指令用于指示所述对应的数据处理模块对所述当前处理的数据进行数据处理;
在当前时间周期的数据处理结束时,调用每个数据处理模块的第三接口,产生第三指令,所述第三指令用于指示每个数据处理模块结束数据处理。
可选的,当所述当前处理的数据是所述待定数据时,所述数据调度装置72用于根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块,包括:
数据调度模块从用于存储待定数据的第一存储模块中读取待定数据,所述待定数据中包含产生所述待定数据的数据处理模块的标识信息;
数据调度模块调用每个数据处理模块的第四接口,产生第四指令,所述第四指令用于指示每个数据处理模块将自身的标识信息发送给数据调度模块;
数据调度模块根据待定数据中包含的标识信息及接收的每个数据处理模块发送的标识信息,确定与待定数据对应的数据处理模块;
数据调度模块将所述待定数据发送给对应的数据处理模块。
可选的,当所述当前处理的数据是所述当前时间周期的数据时,所述数据调度装置72用于根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块,包括:
数据调度模块从用于存储记录的数据的第二存储模块中读取当前时间周期的数据;
数据调度模块将每个数据处理模块作为对应的数据处理模块,将读取的所述当前时间周期的数据分别发送给每个数据处理模块。
可选的,当所述当前处理的数据是多条时,所述数据调度装置72用于将所述当前处理的数据发送给对应的数据处理模块,包括:
根据每条当前处理的数据的产生时间,依次将每条当前处理的数据发送给对应的数据处理模块。
上述模块的具体功能可以参见方法实施例中的相关描述,在此不再赘述。
本实施例中,通过获取已结束时间周期产生的待定数据,可以在当前时间周期内进行数据处理时,将当前时间周期与已结束时间周期进行结合,切断的信息又被连接起来,从而可以使用完整的数据进行处理,提高处理结果的准确性进一步的,本实施例的数据处理模块在处理数据时,可以不区分已结束时间周期的待定数据和当前时间周期的数据,按照自身的处理逻辑进行即可,从而使数据处理模块在处理数据时,不必关心数据断点带来的影响,使其专注于数据的处理逻辑,简化了数据处理模块的复杂度。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;
对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;
在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;
在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
2.根据权利要求1所述的方法,其特征在于,还包括:
在当前时间周期结束之前,匹配得到不符合待检测模式的数据时,根据当前处理的数据确定匹配结果,并保存匹配结果。
3.根据权利要求1所述的方法,其特征在于,所述获取当前处理的数据,包括:
接收数据调度模块发送的当前处理的数据,其中,所述数据调度模块根据当前处理的数据流的标识,从存储模块中读取与当前处理的数据流的标识对应的数据作为当前处理的数据。
4.根据权利要求1所述的方法,其特征在于,还包括:
数据调度模块在当前时间周期的数据处理开始时,调用每个数据处理模块的第一接口,产生第一指令,所述第一指令用于指示每个数据处理模块进行数据处理的初始化;
数据调度模块根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块;
数据调度模块调用所述对应的数据处理模块的第二接口,产生第二指令,所述第二指令用于指示所述对应的数据处理模块对所述当前处理的数据进行数据处理;
数据调度模块在当前时间周期的数据处理结束时,调用每个数据处理模块的第三接口,产生第三指令,所述第三指令用于指示每个数据处理模块结束数据处理。
5.根据权利要求4所述的方法,其特征在于,当所述当前处理的数据是所述待定数据时,所述数据调度模块根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块,包括:
数据调度模块从用于存储待定数据的第一存储模块中读取待定数据,所述待定数据中包含产生所述待定数据的数据处理模块的标识信息;
数据调度模块调用每个数据处理模块的第四接口,产生第四指令,所述第四指令用于指示每个数据处理模块将自身的标识信息发送给数据调度模块;
数据调度模块根据待定数据中包含的标识信息及接收的每个数据处理模块发送的标识信息,确定与待定数据对应的数据处理模块;
数据调度模块将所述待定数据发送给对应的数据处理模块。
6.根据权利要求4所述的方法,其特征在于,当所述当前处理的数据是所述当前时间周期的数据时,所述数据调度模块根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块,包括:
数据调度模块从用于存储记录的数据的第二存储模块中读取当前时间周期的数据;
数据调度模块将每个数据处理模块作为对应的数据处理模块,将读取的所述当前时间周期的数据分别发送给每个数据处理模块。
7.根据权利要求4所述的方法,其特征在于,当所述当前处理的数据是多条时,所述将所述当前处理的数据发送给对应的数据处理模块,包括:
根据每条当前处理的数据的产生时间,依次将每条当前处理的数据发送给对应的数据处理模块。
8.一种数据处理系统,其特征在于,包括:数据处理装置,所述数据处理装置包括:
获取模块,用于获取当前处理的数据,所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据,其中,所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;
匹配模块,用于对所述当前处理的数据进行数据处理,将所述当前处理的数据与预设的待检测模式进行匹配;
缓存模块,用于在匹配得到符合待检测模式的数据时,缓存符合待检测模式的数据;
第一确定模块,用于在当前时间周期结束时,没有匹配得到不符合待检测模式的数据,将缓存中的数据确定为当前时间周期的新产生的待定数据,并将所述新产生的待定数据作为下一时间周期的待处理的数据。
9.根据权利要求8所述的系统,其特征在于,所述数据处理装置还包括:
第二确定模块,用于在当前时间周期结束之前,匹配得到不符合待检测模式的数据时,根据当前处理的数据确定匹配结果,并保存匹配结果。
10.根据权利要求8所述的系统,其特征在于,还包括:数据调度装置,所述数据调度装置用于:
在当前时间周期的数据处理开始时,调用每个数据处理模块的第一接口,产生第一指令,所述第一指令用于指示每个数据处理模块进行数据处理的初始化;
根据当前处理的数据确定对应的数据处理模块,将所述当前处理的数据发送给对应的数据处理模块;
调用所述对应的数据处理模块的第二接口,产生第二指令,所述第二指令用于指示所述对应的数据处理模块对所述当前处理的数据进行数据处理;
在当前时间周期的数据处理结束时,调用每个数据处理模块的第三接口,产生第三指令,所述第三指令用于指示每个数据处理模块结束数据处理。
CN201610031218.2A 2016-01-15 2016-01-15 数据处理方法和系统 Pending CN105678090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610031218.2A CN105678090A (zh) 2016-01-15 2016-01-15 数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610031218.2A CN105678090A (zh) 2016-01-15 2016-01-15 数据处理方法和系统

Publications (1)

Publication Number Publication Date
CN105678090A true CN105678090A (zh) 2016-06-15

Family

ID=56301207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610031218.2A Pending CN105678090A (zh) 2016-01-15 2016-01-15 数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN105678090A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209738A (ja) * 2000-01-26 2001-08-03 Hitachi Ltd ワークフローシステムにおける処理時間表示方法および処理期限設定方法
CN1848736A (zh) * 2005-04-15 2006-10-18 中兴通讯股份有限公司 一种通信系统中字符串定位方法
CN101022619A (zh) * 2007-03-15 2007-08-22 魏新成 手机待机状态输入字母字符串后进行即时在线搜索操作
CN101165681A (zh) * 2006-10-17 2008-04-23 中兴通讯股份有限公司 一种通信系统中字符串匹配信息的处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209738A (ja) * 2000-01-26 2001-08-03 Hitachi Ltd ワークフローシステムにおける処理時間表示方法および処理期限設定方法
CN1848736A (zh) * 2005-04-15 2006-10-18 中兴通讯股份有限公司 一种通信系统中字符串定位方法
CN101165681A (zh) * 2006-10-17 2008-04-23 中兴通讯股份有限公司 一种通信系统中字符串匹配信息的处理方法
CN101022619A (zh) * 2007-03-15 2007-08-22 魏新成 手机待机状态输入字母字符串后进行即时在线搜索操作

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LJIANHUI: "《查找文本文件中的关键字》", 《HTTP://BLOG.CSDN.NET/LJIANHUI/ARTICLE/DETAILS/17386827》 *

Similar Documents

Publication Publication Date Title
CN107423278B (zh) 评价要素的识别方法、装置及系统
CN111126622A (zh) 一种数据异常检测方法与装置
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN110399800B (zh) 基于深度学习vgg16框架的车牌检测方法及系统、存储介质
CN110363220B (zh) 行为类别检测方法、装置、电子设备和计算机可读介质
CN104573652A (zh) 确定人脸图像中人脸的身份标识的方法、装置和终端
CN110795595A (zh) 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN113822254B (zh) 一种模型训练方法及相关装置
CN114898466B (zh) 一种面向智慧工厂的视频动作识别方法及系统
CN106356077B (zh) 一种笑声检测方法及装置
CN103617004A (zh) 一种对分布式文件系统进行读写基准测试的工具及方法
CN112561960A (zh) 一种基于轨迹相似性度量学习的多目标跟踪重定位方法
CN112926621A (zh) 数据标注方法、装置、电子设备及存储介质
CN102855635A (zh) 确定人体动作周期及识别人体动作的方法和装置
CN105739882A (zh) 用于字符识别的计算机可读记录介质、方法及设备
CN109522451B (zh) 重复视频检测方法和装置
Fu et al. A CNN-RNN neural network join long short-term memory for crowd counting and density estimation
CN113674318A (zh) 一种目标跟踪方法、装置及设备
CN116776157A (zh) 支持模态增加的模型学习方法及其装置
Liu et al. A novel method for temporal action localization and recognition in untrimmed video based on time series segmentation
CN105678090A (zh) 数据处理方法和系统
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
CN116079498A (zh) 一种刀具异常信号的识别方法
CN115713112A (zh) 基于空间拓扑和身份聚合的目标域数据的多目标跟踪方法
CN109447235A (zh) 基于神经网络的进给系统模型训练和预测方法及其系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615

RJ01 Rejection of invention patent application after publication