CN111241072A - 一种判断数据段连续性的方法及其系统 - Google Patents

一种判断数据段连续性的方法及其系统 Download PDF

Info

Publication number
CN111241072A
CN111241072A CN201811443865.XA CN201811443865A CN111241072A CN 111241072 A CN111241072 A CN 111241072A CN 201811443865 A CN201811443865 A CN 201811443865A CN 111241072 A CN111241072 A CN 111241072A
Authority
CN
China
Prior art keywords
data segments
segment
data
continuity
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811443865.XA
Other languages
English (en)
Other versions
CN111241072B (zh
Inventor
余伟
彭睿
吕新颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201811443865.XA priority Critical patent/CN111241072B/zh
Publication of CN111241072A publication Critical patent/CN111241072A/zh
Application granted granted Critical
Publication of CN111241072B publication Critical patent/CN111241072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及数据处理技术领域，具体涉及到一种判断数据段连续性的方法及其系统。该种判断数据段连续性的方法包括：将获取的多条数据段按获取时间顺序进行排序；判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；若时间差值小于或等于预设时间值，则判定所述两条数据段连续；若时间差值大于预设时间值，则判定所述两条数据段不连续。本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题。

Description

一种判断数据段连续性的方法及其系统
技术领域
本发明涉及数据处理技术领域，具体涉及到一种判断数据段连续性的方法及其系统。
背景技术
随着互联网技术在各行业的不断普及和应用，企业工作流程中各环节产生的业务数据规模迅速扩展。管理者对基于业务数据形成报表管理、事件告警、行为审计的需求日趋强烈。随着大数据技术的发展，为基于业务数据的集中收集和关联分析提供了技术基础。通过业务数据的关联分析技术，可以快速对业务数据进行审计、事件告警，定位问题出现的相关原始信息。
传统方法中机器故障由客户发现机器异常后反馈给客服人员，再由售后维修，对机器故障数据没有进行较好的利用，一般情况下，利用spark流处理对机器返回的故障数据进行处理与分析。Spark流处理，Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batchsize(如1秒)分成一段一段的数据(Discretized Stream)，每一段数据都转换成Spark中的RDD，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。
然而在使用spark流处理进行数据分析时，常常会遇到对满足连续的一段数据进行分析，然而spark流处理并未直接提供相关的函数或方法去定位这样连续的数据段，且无法对连续的数据段进行分析与处理。
发明内容
为解决上述无法对连续的数据段进行分析与处理的问题，本发明提供一种判断数据段连续性的方法及其系统。
为实现上述目的，本发明采用的技术方案如下：一种判断数据段连续性的方法，所述方法包括：将获取的多条数据段按获取时间顺序进行排序；判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；若时间差值小于或等于预设时间值，则判定所述两条数据段连续；若时间差值大于预设时间值，则判定所述两条数据段不连续。
进一步的，若相邻两条数据段连续，则将两条数据段合并成新数据段。
进一步的，将前一条数据段的段首作为新数据段的段首。
进一步的，将后一条数据段的段尾作为新数据段的段尾。
进一步的，判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段。
进一步的，对得到的若干条互不连续的数据段进行编号。
进一步的，所述编号以获取时间的顺序进行排序。
本发明还包括一种判断数据段连续性的系统，所述系统包括：获取模块，用于获取需进行定位处理的多条数据段；排序模块，用于对获取的多条数据段按获取时间顺序进行排序；判断模块，用于判断相邻两条数据段是否连续。
进一步的，所述系统还包括合并模块，所述合并模块用于将判断为连续的两条数据段合并为新数据段。
进一步的，所述系统还包括编号模块，所述编号模块用于对得到的若干条互不连续的数据段以获取时间的顺序进行排序编号。
由上述对本发明的描述可知，与现有技术相比，本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题，本发明还提供了一种判断数据段连续性的系统，该系统可较好的实现对数据段连续性的判断。
附图说明
图1为本发明实施例中判断数据段连续性的方法的步骤流程图；
图2为本发明实施例中判断数据段连续性的系统的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1-2所示，一种判断数据段连续性的方法，所述方法包括：
将获取的多条数据段按获取时间顺序进行排序；
判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；
若时间差值小于或等于预设时间值，则判定所述两条数据段连续，其中，预设时间值优选为1小时，但不限于此，可根据实际情况进行调整，并且，若相邻两条数据段连续，则将两条数据段合并成新数据段，将前一条数据段的段首作为新数据段的段首，将后一条数据段的段尾作为新数据段的段尾；
若时间差值大于预设时间值，则判定所述两条数据段不连续，其中，预设时间值优选为1小时，但不限于此，可根据实际情况进行调整。
按照上述步骤依次判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段，对得到的若干条互不连续的数据段进行编号，所述编号以获取时间的顺序进行排序，编号即为数据段的段ID，段ID作为数据段的唯一标识，处在相同数据段的数据是满足连续性的，并且满足连续性的数据有相同的段ID，处在不同数据段的数据是不满足连续性的，并且不满足连续性的数据有不同的段ID，这样就将获取的所有数据段根据是否连续，分成了若干段且将每段区分了出来。
本发明还包括一种判断数据段连续性的系统1，所述系统1包括：
获取模块11，所述获取模块11用于获取需进行定位处理的多条数据段；
排序模块12，所述排序模块12用于对获取的多条数据段按获取时间顺序进行排序；
判断模块13，所述判断模块13用于判断相邻两条数据段是否连续；
合并模块14，所述合并模块14用于将判断为连续的两条数据段合并为新数据段；
编号模块15，所述编号模块15用于对得到的若干条互不连续的数据段以获取时间的顺序进行排序编号。
本发明的判断数据段连续性的方法先将获取的多条数据段按获取时间顺序进行排序，通过计算相邻两条数据段的时间间隔，以判断相邻两条数据段是否连续，解决了现有技术无法对连续的数据段进行分析与处理的问题，本发明还提供了一种判断数据段连续性的系统1，该系统1可较好的实现对数据段连续性的判断。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (10)

1.一种判断数据段连续性的方法，其特征在于，所述方法包括：
将获取的多条数据段按获取时间顺序进行排序；
判断相邻两条数据段是否连续，计算前一条数据段的段尾时间与后一条数据段的段首时间的时间差值；
若时间差值小于或等于预设时间值，则判定所述两条数据段连续；
若时间差值大于预设时间值，则判定所述两条数据段不连续。
2.根据权利要求1所述的判断数据段连续性的方法，其特征在于：若相邻两条数据段连续，则将两条数据段合并成新数据段。
3.根据权利要求2所述的判断数据段连续性的方法，其特征在于：将前一条数据段的段首作为新数据段的段首。
4.根据权利要求2所述的判断数据段连续性的方法，其特征在于：将后一条数据段的段尾作为新数据段的段尾。
5.根据权利要求1所述的判断数据段连续性的方法，其特征在于：判断获取的所有数据段之间的连续性，得到若干条互不连续的数据段。
6.根据权利要求5所述的判断数据段连续性的方法，其特征在于：对得到的若干条互不连续的数据段进行编号。
7.根据权利要求6所述的判断数据段连续性的方法，其特征在于：所述编号以获取时间的顺序进行排序。
8.一种判断数据段连续性的系统，其特征在于，所述系统包括：
获取模块，用于获取需进行定位处理的多条数据段；
排序模块，用于对获取的多条数据段按获取时间顺序进行排序；
判断模块，用于判断相邻两条数据段是否连续。
9.根据权利要求8所述的判断数据段连续性的系统，其特征在于：还包括合并模块，所述合并模块用于将判断为连续的两条数据段合并为新数据段。
10.根据权利要求8所述的判断数据段连续性的系统，其特征在于：还包括编号模块，所述编号模块用于对得到的若干条互不连续的数据段以获取时间的顺序进行排序编号。
CN201811443865.XA 2018-11-29 2018-11-29 一种判断数据段连续性的方法及其系统 Active CN111241072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811443865.XA CN111241072B (zh) 2018-11-29 2018-11-29 一种判断数据段连续性的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811443865.XA CN111241072B (zh) 2018-11-29 2018-11-29 一种判断数据段连续性的方法及其系统

Publications (2)

Publication Number Publication Date
CN111241072A true CN111241072A (zh) 2020-06-05
CN111241072B CN111241072B (zh) 2023-07-18

Family

ID=70870162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811443865.XA Active CN111241072B (zh) 2018-11-29 2018-11-29 一种判断数据段连续性的方法及其系统

Country Status (1)

Country Link
CN (1) CN111241072B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286969A (zh) * 2020-10-29 2021-01-29 广州汽车集团股份有限公司 低频数据连续性确定方法和装置
CN112361554A (zh) * 2020-11-06 2021-02-12 珠海格力电器股份有限公司 一种空调器的控制方法、装置及空调器
CN114244885A (zh) * 2021-11-23 2022-03-25 泰斗微电子科技有限公司 船舶航行数据传输方法、装置及终端设备
CN116795196A (zh) * 2023-08-25 2023-09-22 深圳市德航智能技术有限公司 一种加固手持平板电脑超长待机的实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291453A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 一种实现会话的语音连续性的方法及装置
CN101321070A (zh) * 2008-07-16 2008-12-10 中兴通讯股份有限公司 一种可疑用户的监控系统及方法
CN103077186A (zh) * 2012-12-19 2013-05-01 北京奇虎科技有限公司 一种断层数据处理装置和方法
CN106411927A (zh) * 2016-10-28 2017-02-15 北京奇虎科技有限公司 一种监控录像方法和装置
CN107241398A (zh) * 2017-05-24 2017-10-10 中广热点云科技有限公司 一种基于内容分发网络的视频下载方法
CN107889046A (zh) * 2016-09-26 2018-04-06 千寻位置网络有限公司 基于高精定位的位置监控方法及其装置
CN108073602A (zh) * 2016-11-11 2018-05-25 北京京东尚科信息技术有限公司 处理业务数据段的方法以及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291453A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 一种实现会话的语音连续性的方法及装置
CN101321070A (zh) * 2008-07-16 2008-12-10 中兴通讯股份有限公司 一种可疑用户的监控系统及方法
CN103077186A (zh) * 2012-12-19 2013-05-01 北京奇虎科技有限公司 一种断层数据处理装置和方法
CN107889046A (zh) * 2016-09-26 2018-04-06 千寻位置网络有限公司 基于高精定位的位置监控方法及其装置
CN106411927A (zh) * 2016-10-28 2017-02-15 北京奇虎科技有限公司 一种监控录像方法和装置
CN108073602A (zh) * 2016-11-11 2018-05-25 北京京东尚科信息技术有限公司 处理业务数据段的方法以及装置
CN107241398A (zh) * 2017-05-24 2017-10-10 中广热点云科技有限公司 一种基于内容分发网络的视频下载方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286969A (zh) * 2020-10-29 2021-01-29 广州汽车集团股份有限公司 低频数据连续性确定方法和装置
CN112286969B (zh) * 2020-10-29 2024-03-15 广州汽车集团股份有限公司 低频数据连续性确定方法和装置
CN112361554A (zh) * 2020-11-06 2021-02-12 珠海格力电器股份有限公司 一种空调器的控制方法、装置及空调器
CN112361554B (zh) * 2020-11-06 2021-11-16 珠海格力电器股份有限公司 一种空调器的控制方法、装置及空调器
CN114244885A (zh) * 2021-11-23 2022-03-25 泰斗微电子科技有限公司 船舶航行数据传输方法、装置及终端设备
CN116795196A (zh) * 2023-08-25 2023-09-22 深圳市德航智能技术有限公司 一种加固手持平板电脑超长待机的实现方法
CN116795196B (zh) * 2023-08-25 2023-11-17 深圳市德航智能技术有限公司 一种加固手持平板电脑超长待机的实现方法

Also Published As

Publication number Publication date
CN111241072B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111241072B (zh) 一种判断数据段连续性的方法及其系统
CN107967323B (zh) 基于大数据进行异常出行车辆分析的方法及系统
CN107423202B (zh) 事件解析装置、事件解析系统、事件解析方法及事件解析程序
US20090182794A1 (en) Error management apparatus
US20060282189A1 (en) Manufacturing control apparatus, manufacturing control method, and computer product
CN106708738B (zh) 一种软件测试缺陷预测方法及系统
CN106681299A (zh) 事件解析装置、事件解析系统、事件解析方法及事件解析程序
CN110471945B (zh) 活跃数据的处理方法、系统、计算机设备和存储介质
CN109857784A (zh) 一种大数据统计分析系统
CN114880312B (zh) 一种可柔性设置的应用系统业务数据稽核方法
CN112363891B (zh) 一种基于细粒度事件和KPIs分析的异常原因获得方法
CN113723555A (zh) 异常数据的检测方法及装置、存储介质、终端
US11255716B2 (en) Analysis support apparatus, analysis support method, and a computer-readable medium containing an analysis support program
CN115658443B (zh) 一种日志过滤方法及装置
CN115314424B (zh) 一种快速检测网络信号方法及装置
CN114743384B (zh) 报警方法及装置
CN114969169A (zh) 签收数据监控方法、装置、设备及存储介质
US11290384B2 (en) Access origin classification apparatus, access origin classification method and program
US20120323616A1 (en) Methods and systems for determining downtime drivers
CN115129927B (zh) 一种监控视频流回溯方法、电子设备及存储介质
CN117150097B (zh) 一种执法检查清单自动匹配方法
CN117194083B (zh) 基于因果推断的流程时间异常根因追溯分析方法与系统
De La Torre et al. Dimensionality Reduction and Clustering by Yield Signatures to Identify Candidates for Failure Analysis
CN117851184A (zh) 一种基于机器学习的告警分级系统和方法
CN106470205B (zh) 一种安全配置变更检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant