CN111241072B - 一种判断数据段连续性的方法及其系统 - Google Patents
一种判断数据段连续性的方法及其系统 Download PDFInfo
- Publication number
- CN111241072B CN111241072B CN201811443865.XA CN201811443865A CN111241072B CN 111241072 B CN111241072 B CN 111241072B CN 201811443865 A CN201811443865 A CN 201811443865A CN 111241072 B CN111241072 B CN 111241072B
- Authority
- CN
- China
- Prior art keywords
- data
- segment
- data segments
- continuity
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及到一种判断数据段连续性的方法及其系统。该种判断数据段连续性的方法包括：将获取的多条数据段按获取时间顺序进行排序；判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；若时间差值小于或等于预设时间值，则判定所述两条数据段连续；若时间差值大于预设时间值，则判定所述两条数据段不连续。本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及到一种判断数据段连续性的方法及其系统。
背景技术
随着互联网技术在各行业的不断普及和应用，企业工作流程中各环节产生的业务数据规模迅速扩展。管理者对基于业务数据形成报表管理、事件告警、行为审计的需求日趋强烈。随着大数据技术的发展，为基于业务数据的集中收集和关联分析提供了技术基础。通过业务数据的关联分析技术，可以快速对业务数据进行审计、事件告警，定位问题出现的相关原始信息。
传统方法中机器故障由客户发现机器异常后反馈给客服人员，再由售后维修，对机器故障数据没有进行较好的利用，一般情况下，利用spark流处理对机器返回的故障数据进行处理与分析。Spark流处理，Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batchsize(如1秒)分成一段一段的数据(Discretized Stream)，每一段数据都转换成Spark中的RDD，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。
然而在使用spark流处理进行数据分析时，常常会遇到对满足连续的一段数据进行分析，然而spark流处理并未直接提供相关的函数或方法去定位这样连续的数据段，且无法对连续的数据段进行分析与处理。
发明内容
为解决上述无法对连续的数据段进行分析与处理的问题，本发明提供一种判断数据段连续性的方法及其系统。
为实现上述目的，本发明采用的技术方案如下：一种判断数据段连续性的方法，所述方法包括：将获取的多条数据段按获取时间顺序进行排序；判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；若时间差值小于或等于预设时间值，则判定所述两条数据段连续；若时间差值大于预设时间值，则判定所述两条数据段不连续。
进一步的，若相邻两条数据段连续，则将两条数据段合并成新数据段。
进一步的，将前一条数据段的段首作为新数据段的段首。
进一步的，将后一条数据段的段尾作为新数据段的段尾。
进一步的，判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段。
进一步的，对得到的若干条互不连续的数据段进行编号。
进一步的，所述编号以获取时间的顺序进行排序。
本发明还包括一种判断数据段连续性的系统，所述系统包括：获取模块，用于获取需进行定位处理的多条数据段；排序模块，用于对获取的多条数据段按获取时间顺序进行排序；判断模块，用于判断相邻两条数据段是否连续。
进一步的，所述系统还包括合并模块，所述合并模块用于将判断为连续的两条数据段合并为新数据段。
进一步的，所述系统还包括编号模块，所述编号模块用于对得到的若干条互不连续的数据段以获取时间的顺序进行排序编号。
由上述对本发明的描述可知，与现有技术相比，本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题，本发明还提供了一种判断数据段连续性的系统，该系统可较好的实现对数据段连续性的判断。
附图说明
图1为本发明实施例中判断数据段连续性的方法的步骤流程图；
图2为本发明实施例中判断数据段连续性的系统的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1-2所示，一种判断数据段连续性的方法，所述方法包括：
将获取的多条数据段按获取时间顺序进行排序；
判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；
若时间差值小于或等于预设时间值，则判定所述两条数据段连续，其中，预设时间值优选为1小时，但不限于此，可根据实际情况进行调整，并且，若相邻两条数据段连续，则将两条数据段合并成新数据段，将前一条数据段的段首作为新数据段的段首，将后一条数据段的段尾作为新数据段的段尾；
若时间差值大于预设时间值，则判定所述两条数据段不连续，其中，预设时间值优选为1小时，但不限于此，可根据实际情况进行调整。
按照上述步骤依次判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段，对得到的若干条互不连续的数据段进行编号，所述编号以获取时间的顺序进行排序，编号即为数据段的段ID，段ID作为数据段的唯一标识，处在相同数据段的数据是满足连续性的，并且满足连续性的数据有相同的段ID，处在不同数据段的数据是不满足连续性的，并且不满足连续性的数据有不同的段ID，这样就将获取的所有数据段根据是否连续，分成了若干段且将每段区分了出来。
本发明还包括一种判断数据段连续性的系统1，所述系统1包括：
获取模块11，所述获取模块11用于获取需进行定位处理的多条数据段；
排序模块12，所述排序模块12用于对获取的多条数据段按获取时间顺序进行排序；
判断模块13，所述判断模块13用于判断相邻两条数据段是否连续；
合并模块14，所述合并模块14用于将判断为连续的两条数据段合并为新数据段；
编号模块15，所述编号模块15用于对得到的若干条互不连续的数据段以获取时间的顺序进行排序编号。
本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题，本发明还提供了一种判断数据段连续性的系统1，该系统1可较好的实现对数据段连续性的判断。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。
Claims (2)
1.一种判断数据段连续性的方法，用于Spark流处理进行数据分析，其特征在于，所述方法包括：
将获取的多条数据段按获取时间顺序进行排序；
判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；
若时间差值小于或等于预设时间值，则判定所述两条数据段连续，若相邻两条数据段连续，则将两条数据段合并成新数据段，以进行Spark流处理；
若时间差值大于预设时间值，则判定所述两条数据段不连续；
将前一条数据段的段首作为新数据段的段首，将后一条数据段的段尾作为新数据段的段尾，判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段，对得到的若干条互不连续的数据段进行编号，所述编号以获取时间的顺序进行排序，编号即为数据段的段ID，段ID作为数据段的唯一标识，处在相同数据段的数据是满足连续性的，并且满足连续性的数据有相同的段ID，处在不同数据段的数据是不满足连续性的，并且不满足连续性的数据有不同的段ID；
所述数据为机器故障数据。
2.一种判断数据段连续性的系统，其用于权利要求1所述的判断数据段连续性的方法，其特征在于，所述系统包括：
获取模块，用于获取需进行定位处理的多条数据段；
排序模块，用于对获取的多条数据段按获取时间顺序进行排序；
判断模块，用于判断相邻两条数据段是否连续；
合并模块，用于将判断为连续的两条数据段合并为新数据段，以进行Spark流处理；将前一条数据段的段首作为新数据段的段首，将后一条数据段的段尾作为新数据段的段尾，判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段；
编号模块，用于对得到的若干条互不连续的数据段进行编号，所述编号以获取时间的顺序进行排序，编号即为数据段的段ID，段ID作为数据段的唯一标识，处在相同数据段的数据是满足连续性的，并且满足连续性的数据有相同的段ID，处在不同数据段的数据是不满足连续性的，并且不满足连续性的数据有不同的段ID；
所述数据为机器故障数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811443865.XA CN111241072B (zh) | 2018-11-29 | 2018-11-29 | 一种判断数据段连续性的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811443865.XA CN111241072B (zh) | 2018-11-29 | 2018-11-29 | 一种判断数据段连续性的方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241072A CN111241072A (zh) | 2020-06-05 |
| CN111241072B true CN111241072B (zh) | 2023-07-18 |
Family
ID=70870162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811443865.XA Active CN111241072B (zh) | 2018-11-29 | 2018-11-29 | 一种判断数据段连续性的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241072B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286969B (zh) * | 2020-10-29 | 2024-03-15 | 广州汽车集团股份有限公司 | 低频数据连续性确定方法和装置 |
| CN112361554B (zh) * | 2020-11-06 | 2021-11-16 | 珠海格力电器股份有限公司 | 一种空调器的控制方法、装置及空调器 |
| CN114244885A (zh) * | 2021-11-23 | 2022-03-25 | 泰斗微电子科技有限公司 | 船舶航行数据传输方法、装置及终端设备 |
| CN116795196B (zh) * | 2023-08-25 | 2023-11-17 | 深圳市德航智能技术有限公司 | 一种加固手持平板电脑超长待机的实现方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106411927A (zh) * | 2016-10-28 | 2017-02-15 | 北京奇虎科技有限公司 | 一种监控录像方法和装置 |
| CN107241398A (zh) * | 2017-05-24 | 2017-10-10 | 中广热点云科技有限公司 | 一种基于内容分发网络的视频下载方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101291453B (zh) * | 2007-04-17 | 2012-08-08 | 华为技术有限公司 | 一种实现会话的语音连续性的方法及装置 |
| CN101321070B (zh) * | 2008-07-16 | 2011-08-24 | 中兴通讯股份有限公司 | 一种可疑用户的监控系统及方法 |
| CN103077186B (zh) * | 2012-12-19 | 2015-11-25 | 北京奇虎科技有限公司 | 一种断层数据处理装置和方法 |
| CN107889046A (zh) * | 2016-09-26 | 2018-04-06 | 千寻位置网络有限公司 | 基于高精定位的位置监控方法及其装置 |
| CN108073602A (zh) * | 2016-11-11 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 处理业务数据段的方法以及装置 |
-
2018
- 2018-11-29 CN CN201811443865.XA patent/CN111241072B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106411927A (zh) * | 2016-10-28 | 2017-02-15 | 北京奇虎科技有限公司 | 一种监控录像方法和装置 |
| CN107241398A (zh) * | 2017-05-24 | 2017-10-10 | 中广热点云科技有限公司 | 一种基于内容分发网络的视频下载方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111241072A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241072B (zh) | 一种判断数据段连续性的方法及其系统 | |
| CN108156037B (zh) | 告警关联分析方法、装置、设备及介质 | |
| US20090182794A1 (en) | Error management apparatus | |
| CN106209405B (zh) | 故障诊断方法及装置 | |
| US20060282189A1 (en) | Manufacturing control apparatus, manufacturing control method, and computer product | |
| CN107967323B (zh) | 基于大数据进行异常出行车辆分析的方法及系统 | |
| CN110471945B (zh) | 活跃数据的处理方法、系统、计算机设备和存储介质 | |
| CN114726654B (zh) | 应对云计算网络攻击的数据分析方法及服务器 | |
| CN114880312B (zh) | 一种可柔性设置的应用系统业务数据稽核方法 | |
| CN114429256A (zh) | 数据监测方法、装置、电子设备及存储介质 | |
| CN106575254B (zh) | 日志分析装置、日志分析系统、日志分析方法及存储介质 | |
| CN114924990A (zh) | 一种异常场景测试方法及电子设备 | |
| GB2509601A (en) | Determining an abnormal module, which is common to a number of data processing jobs, using the time taken for different jobs | |
| CN112363891B (zh) | 一种基于细粒度事件和KPIs分析的异常原因获得方法 | |
| CN105138612A (zh) | 数据一致性差异原因的分析和定位的方法及系统 | |
| CN110705967A (zh) | 一种协查协办智能运行系统及方法 | |
| CN115314424B (zh) | 一种快速检测网络信号方法及装置 | |
| WO2019138073A1 (en) | Method for monitoring devices in a network, computerized system and application program interface | |
| CN112363893B (zh) | 时序指标异常检测方法、设备及装置 | |
| CN112507008B (zh) | 基于动态接口服务的数据信息资源共享系统和方法 | |
| US20120323616A1 (en) | Methods and systems for determining downtime drivers | |
| CN114331688A (zh) | 一种银行柜面系统业务批量运行状态检测方法及装置 | |
| CN113051307A (zh) | 告警信号的分析方法、设备、存储介质及装置 | |
| US20060253426A1 (en) | Identifying duplicate entries in a historical database | |
| CN113572628A (zh) | 数据关联方法、装置、计算设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |