CN110019932A - 数据处理的方法及装置 - Google Patents

数据处理的方法及装置 Download PDF

Info

Publication number
CN110019932A
CN110019932A CN201711047289.2A CN201711047289A CN110019932A CN 110019932 A CN110019932 A CN 110019932A CN 201711047289 A CN201711047289 A CN 201711047289A CN 110019932 A CN110019932 A CN 110019932A
Authority
CN
China
Prior art keywords
time
target data
sub
period
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711047289.2A
Other languages
English (en)
Inventor
陈焕君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201711047289.2A priority Critical patent/CN110019932A/zh
Publication of CN110019932A publication Critical patent/CN110019932A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种数据处理的方法及装置,涉及视频处理技术领域,能够解决现有技术中查找指定时间段内数据的过程中,因需要复制数据而造成占用存储空间大的问题。本发明的方法包括:按照预设时间粒度将待统计的时间段划分为多个子时间段;分别将子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;分别将待统计的目标数据的开始时间和结束时间换算成在特定时间单位下的取值;根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与换算后的子时间段进行匹配,获得在子时间段内生成的目标数据。本发明主要适用于统计收视数据的场景中。

Description

数据处理的方法及装置
技术领域
本发明涉及视频处理技术领域,特别是涉及一种数据处理的方法及装置。
背景技术
随着互联网技术的发展,视频技术越来越成熟广泛。对于观众而言,人们可以通过电视机、手机、电脑等设备观看直播、点播内容,从中获得很多知识和乐趣;对于节目组而言,则需要定期统计视频的收视率、点击率等收视指标,以便根据收视指标统计结果调整视频内容,以吸引更多观众。
在视频播放过程中,会生成一条条与播放相关的数据,每条数据都含有与之对应的开始时间和结束时间。不同的收视统计需求可能对应不同的时间粒度,因此需要先从待统计的所有数据中查询出指定时间粒度下的数据,才可以进行后续收视统计工作。目前,为了查找出与某个时间粒度相关的数据,需要先将待统计的时间段基于时间粒度划分为多个子时间段,然后分别将各条数据对应到相应的子时间段上;当某条数据属于不同的子时间段(即跨多个子时间段而生成)时,需要将该条数据复制多份,使得这些相同的数据分别对应不同的子时间段;当某条数据是跨天数据而待统计的时间段又不是跨天时,需要将该条数据复制成至少两份,使得这些相同数据分别对应不同日期下的时间段。例如,当时间粒度是15分钟时,基于时间粒度划分得出的子时间段包括2017年10月1日10:15:00-2017年10月1日10:29:59、2017年10月1日10:30:00-2017年10月1日10:44:59,某条数据的开始时间和结束时间分别是2017年10月1日10:25:01、2017年10月1日10:36:00,则需要将该条数据复制成2份,使得一份数据对应时间段2017年10月1日10:15:00-2017年10月1日10:29:59,另一份数据对应时间段2017年10月1日10:30:00-2017年10月1日10:44:59。然而,当待统计的数据越来越多时,将数据复制成多份,则会占用大量存储空间。
发明内容
有鉴于此,本发明提供的一种数据处理的方法及装置,其目的在于解决现有技术中查找指定时间段内数据的过程中,因需要复制数据而造成占用存储空间大的问题。
为了解决上述问题,本发明主要提供如下技术方案:
一方面,本发明提供了一种数据处理的方法,所述方法包括:
按照预设时间粒度将待统计的时间段划分为多个子时间段;
分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
另一方面,本发明还提供了一种数据处理的装置,所述装置包括:
划分单元,用于按照预设时间粒度将待统计的时间段划分为多个子时间段;
换算单元,用于分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
所述换算单元还用于分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
匹配单元,用于根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
为了实现上述目的,根据本发明的另一方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如上所述的数据处理的方法。
为了实现上述目的,根据本发明的另一方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行如上所述的数据处理的方法。
借由上述技术方案,本发明提供的技术方案至少具有下列优点:
本发明提供的数据处理的方法及装置,能够在按照预设时间粒度将待统计的时间段划分为多个子时间段后,直接通过时间匹配的方式来查找与各个子时间段匹配的目标数据,而无需对目标数据本身做任何修改,即无需复制目标数据,从而使得待统计的目标数据的数据量不会增加,不会再占用多余的存储空间。此外,在将子时间段与目标数据的时间段进行匹配之前,先将两个时间段的开始时间和结束时间换算成在特定时间单位下的取值,使得时间段变为一个简单的由常量组成的范围,而不再是复杂的由时分秒组成的时间范围,从而使得时间段的匹配效率大大提高,进而使得查找指定时间段下目标数据的效率大大提高。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据处理的方法的流程图;
图2示出了本发明实施例提供的另一种数据处理的方法的流程图;
图3示出了本发明实施例提供的一种数据处理的装置的组成框图;
图4示出了本发明实施例提供的另一种数据处理的装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种数据处理的方法,如图1所示,所述方法主要包括:
101、按照预设时间粒度将待统计的时间段划分为多个子时间段。
其中,待统计的时间段可以为跨天时间段,为同天时间段(即非跨天时间段),其中跨天时间段是指开始时间和结束时间分别属于不同日期的时间段。例如某时间段为2017年10月1日18:18:18--2017年10月2日05:05:05,则由于该时间段的开始时间的日期是2017年10月1日,结束时间的日期是2017年10月2日,两个日期不同,因此该时间段是跨天时间段。预设时间粒度包括X秒、Y分钟、Z小时、M周、N月、P年等各种时间长度。例如当预设时间粒度是1小时、待统计的时间段是2017年10月1日00:00:00--2017年10月2日05:00:00时,需要将该时间段划分为多个时间长度为1小时的子时间段,包括2017年10月1日00:00:00-2017年10月1日00:59:59、2017年10月1日01:00:00-2017年10月1日01:59:59等等。
102、分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段。
为了提高后续时间匹配的效率(即步骤104的执行效率),可以由时分秒表示的时间点换算成由一个单一的时间单位表示的时间点,即将每个子时间段的开始时间和结束时间分别换算成特定时间单位下的取值。其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位。例如,当预设时间粒度是15分钟时,特定时间单位为分,也可以为秒。又如,当子时间段的原始表达方式是01:15:00-01:29:59时,则可以将该时间段的表达方式修改为4500秒-5399秒,或者75分-89分。
另外,将子时间段的开始时间和结束时间换算成在特定时间单位下的取值的具体实现方式可以为根据换算公式进行运算,也可以是根据提前换算好的一个换算表进行查找。具体详见图2所示实施例中步骤102的详解。
103、分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值。
本步骤进行时间换算的具体实现方式与上述步骤102相同,在此不再赘述。另外,本发明实施例对步骤103与上述步骤102的执行顺序不做限定,可以是先执行步骤102,再执行步骤103,也可以是先执行步骤103,再执行步骤102,也可以启动两个线程同时执行步骤102和步骤103。
104、根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
在获得各个目标数据的时间段和各个子时间段在特定时间单位下的表达方式后,可以根据预设时间匹配条件,分别将每个目标数据的时间段与每个子时间段进行时间匹配,若匹配成功,则将该目标数据确定为在该子时间段内生成的数据,若匹配失败,则确定该目标数据不是在该子时间段内生成的数据。需要说明的是,在时间段内生成的目标数据不仅包括完全在该时间段内生成的目标数据,还包括部分在该时间段内生成的目标数据;也就是说,只要该目标数据的时间段与该子时间段存在交集,就确定该目标数据是在该时间段内生成的数据。
本发明实施例提供的数据处理的方法,能够在按照预设时间粒度将待统计的时间段划分为多个子时间段后,直接通过时间匹配的方式来查找与各个子时间段匹配的目标数据,而无需对目标数据本身做任何修改,即无需复制目标数据,从而使得待统计的目标数据的数据量不会增加,不会再占用多余的存储空间。此外,在将子时间段与目标数据的时间段进行匹配之前,先将两个时间段的开始时间和结束时间换算成在特定时间单位下的取值,使得时间段变为一个简单的由常量组成的范围,而不再是复杂的由时分秒组成的时间范围,从而使得时间段的匹配效率大大提高,进而使得查找指定时间段下目标数据的效率大大提高。
进一步的,依据图1所示的方法,本发明的另一个实施例还提供了一种数据处理的方法,如图2所示,该方法主要包括:
201、按照预设时间粒度将待统计的时间段划分为多个子时间段。
本步骤的具体实现方式与上述步骤101的具体实现方式相同,在此不再赘述。
202、分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段。
上述步骤102中提及,时间换算的具体实现方式至少有两种,一种是直接计算,另一种是直接查询已换算好的表格。下面分别针对这两种实现方式进行介绍:
(一)直接计算
根据预设单位换算公式,分别计算所述子时间段的开始时间和结束时间在所述特定时间单位下的取值。
若特定时间单位是小时,则预设单位换算公式是X:Y:Z在小时下取值是X;若特定单位是分钟,则预设单位换算公式是X:Y:Z在分钟下取值是X*60+Y;若特定单位是秒,则预设单位换算公式是X:Y:Z在秒下取值是X*3600+Y*60+Z。
(二)表格查询
从预先建立的时间常量表中分别查找所述子时间段的开始时间和结束时间在所述特定时间单位下的取值;其中,所述时间常量表中存储有特定周期内各个时间点和所述各个时间点在不同时间单位下的取值。其中,特定周期可以是传统意义上的24小时,也可以是专门定义的一个非24小时的周期。但无论该特定周期的长短如何,该特定周期的含义都是:以多个时间点进行周期循环时的周期。例如,若多个时间点按如下顺序进行:时间点1、时间点2、时间点3、时间点4、时间点1、时间点2、时间点3、时间点4…,则特定周期是由时间点1、时间点2、时间点3、时间点4组成的长度。又如,若时间点按如下顺序进行:00:00:00、00:00:01、00:00:02…23:59:59、00:00:00、00:00:01、00:00:02…23:59:59,则特定周期是24小时。
例如时间常量表的具体内容可以如表1所示,其中第一列的时间点分别与第二列至第四列的值相对应。
表1
时间点 小时key 分钟key 秒key
00:00:00 0 0 0
00:00:01 0 0 1
23:59:59 23 1439 86399
203、判断所述目标数据是否为跨天数据以及所述待统计的时间段是否为跨天时间段。
其中,上述步骤101中提及跨天时间段是指开始时间和结束时间分别属于不同日期的时间段;跨天数据是指一条数据的开始时间和结束时间分别属于不同的日期,也就是说,若一条数据的时间段是跨天时间段,那么该数据就是跨天数据。
判断目标数据是否为跨天数据以及待统计的时间段是否为跨天时间的具体实现方式可以为:判断开始时间的日期是否小于结束时间的日期,若开始时间的日期小于结束时间的日期,则该时间段就是跨天时间,该时间段对应的目标数据是跨天数据,否则不跨天;或者直接判断开始时间的日期和结束时间的日期是否相同,若不相同,则该时间段就是跨天时间,该时间段对应的目标数据是跨天数据,否则不跨天。
204、若所述目标数据是跨天数据,且所述待统计的时间段不是跨天时间段,则将所述目标数据的开始时间修改为与所述待统计的时间段同一日期中第一个时间点,或者将所述目标数据的结束时间修改为与所述待统计的时间段同一日期中最后一个时间点;否则,不修改时间。
当待统计的时间段不是跨天时间段时,则将待统计的时间段拆分成的每个子时间段的开始时间都小于结束时间,且属于同一日期。此时,若目标数据是跨天数据,则该目标数据的开始时间和结束时间分别属于不同的日期,且往往是开始时间的数值大于结束时间的数值。因此在时间匹配时会将该目标数据遗漏掉,为了避免发生这种情况,可以先将该目标数据修改为非跨天数据,再进行单位换算和时间匹配操作。例如,待统计的时间段的日期是2017年10月1日,某目标数据的开始时间是2017年10月1日23:20:00,结束时间是2017年10月2日02:15:41,则需要将该目标数据的结束时间修改为2017年10月1日23:59:59。
此外,为了防止后续使用这些目标数据时,因时间问题造成误差,在查找出与各个子时间段匹配的目标数据后,可以将目标数据的时间段修改为原始的时间段(即原始的开始时间和原始的结束时间组成的时间段),即若修改了开始时间,则将开始时间再修改为原始的开始时间,若修改了结束时间,则将结束时间再修改为原始的结束时间。例如,上一自然段中将目标数据的结束时间由2017年10月1日02:15:41修改为2017年10月2日23:59:59,那么为了防止后续对该目标数据进行处理时因时间问题造成误差,则在将该目标数据统计完后,可以将结束时间由2017年10月1日23:59:59恢复为原始的结束时间2017年10月2日02:15:41,即将时间段由2017年10月1日23:20:00--2017年10月1日23:59:59恢复为2017年10月1日23:20:00--2017年10月2日02:15:41。
205、分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值。
206、根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
由于上述步骤104中提及在时间段内生成的目标数据不仅包括完全在该时间段内生成的目标数据,还包括部分在该时间段内生成的目标数据,所以为了获得在子时间段内生成的目标数据,可以将预设时间匹配条件设置为子时间段的开始时间小于或者等于目标数据的结束时间,且子时间段的结束时间大于或者等于目标数据的开始时间。由此,本步骤的具体实现方式可以为:判断所述换算后的子时间段的开始时间是否小于或者等于所述换算后的目标数据的结束时间,以及所述换算后的子时间段的结束时间是否大于或者等于所述换算后的目标数据的开始时间;若所述换算后的子时间段的开始时间小于或者等于所述换算后的目标数据的结束时间,且所述换算后的子时间段的结束时间大于或者等于所述换算后的目标数据的开始时间,则将所述目标数据确定为在所述子时间段内生成的数据。
本发明实施例提供的数据处理的方法,不仅能够节省存储空间、提高查询效率,当遇到跨天数据时,通过将目标数据的开始时间修改为与待统计的时间段同一日期中第一个时间点,或者将目标数据的结束时间修改为与待统计的时间段同一日期中最后一个时间点,来防止发生时间匹配过程中可能遗漏数据的问题。
进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一种数据处理的装置,如图3所示,所述装置主要包括:
划分单元31,用于按照预设时间粒度将待统计的时间段划分为多个子时间段;
换算单元32,用于分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
所述换算单元32还用于分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
匹配单元33,用于根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
可选的,如图4所示,所述换算单元32包括:
查找模块321,用于从预先建立的时间常量表中分别查找所述子时间段的开始时间和结束时间在所述特定时间单位下的取值,其中,所述时间常量表中存储有特定周期内各个时间点和所述各个时间点在不同时间单位下的取值;
计算模块322,用于根据预设单位换算公式,分别计算所述子时间段的开始时间和结束时间在所述特定时间单位下的取值。
可选的,如图4所示,所述装置还包括:
判断单元34,用于在分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值之前,判断所述目标数据是否为跨天数据以及所述待统计的时间段是否为跨天时间段;
修改单元35,用于当所述目标数据是跨天数据,且所述待统计的时间段不是跨天时间段时,将所述目标数据的开始时间修改为与所述待统计的时间段同一日期中第一个时间点,或者将所述目标数据的结束时间修改为与所述待统计的时间段同一日期中最后一个时间点;否则,不修改时间。
可选的,所述修改单元35还用于在查找出与各个子时间段匹配的目标数据后,将目标数据的时间段修改为原始的时间段。
可选的,如图4所示,确定单元33包括:
判断模块331,用于判断所述换算后的子时间段的开始时间是否小于或者等于所述换算后的目标数据的结束时间,以及所述换算后的子时间段的结束时间是否大于或者等于所述换算后的目标数据的开始时间;
确定模块332,用于当所述换算后的子时间段的开始时间小于或者等于所述换算后的目标数据的结束时间,且所述换算后的子时间段的结束时间大于或者等于所述换算后的目标数据的开始时间时,将所述目标数据确定为在所述子时间段内生成的数据。
本发明实施例提供的数据处理的装置,能够在按照预设时间粒度将待统计的时间段划分为多个子时间段后,直接通过时间匹配的方式来查找与各个子时间段匹配的目标数据,而无需对目标数据本身做任何修改,即无需复制目标数据,从而使得待统计的目标数据的数据量不会增加,不会再占用多余的存储空间。此外,在将子时间段与目标数据的时间段进行匹配之前,先将两个时间段的开始时间和结束时间换算成在特定时间单位下的取值,使得时间段变为一个简单的由常量组成的范围,而不再是复杂的由时分秒组成的时间范围,从而使得时间段的匹配效率大大提高,进而使得查找指定时间段下目标数据的效率大大提高。
所述数据处理的装置包括处理器和存储介质,上述划分单元、换算单元、确定单元等均作为程序单元存储在存储介质中,由处理器执行存储在存储介质中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储介质中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来节省存储空间。
存储介质可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,在所述程序运行时控制所述存储介质所在设备执行该程序被处理器执行时实现数据处理的方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据处理的方法。
本发明实施例提供了一种设备,设备包括处理器、存储介质及存储在存储介质上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
按照预设时间粒度将待统计的时间段划分为多个子时间段;
分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
可选的,分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值包括:
从预先建立的时间常量表中分别查找所述子时间段的开始时间和结束时间在所述特定时间单位下的取值,其中,所述时间常量表中存储有特定周期内各个时间点和所述各个时间点在不同时间单位下的取值;或者,
根据预设单位换算公式,分别计算所述子时间段的开始时间和结束时间在所述特定时间单位下的取值。
可选的,在分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值之前,所述方法还包括:
判断所述目标数据是否为跨天数据以及所述待统计的时间段是否为跨天时间段;
若所述目标数据是跨天数据,且所述待统计的时间段不是跨天时间段,则将所述目标数据的开始时间修改为与所述待统计的时间段同一日期中第一个时间点,或者将所述目标数据的结束时间修改为与所述待统计的时间段同一日期中最后一个时间点;否则,不修改时间。
可选的,所述方法还包括:
在查找出与各个子时间段匹配的目标数据后,将目标数据的时间段修改为原始的时间段。
可选的,根据预设时间匹配条件,将由目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据包括:
判断所述换算后的子时间段的开始时间是否小于或者等于所述换算后的目标数据的结束时间,以及所述换算后的子时间段的结束时间是否大于或者等于所述换算后的目标数据的开始时间;
若所述换算后的子时间段的开始时间小于或者等于所述换算后的目标数据的结束时间,且所述换算后的子时间段的结束时间大于或者等于所述换算后的目标数据的开始时间,则将所述目标数据确定为在所述子时间段内生成的数据。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:
按照预设时间粒度将待统计的时间段划分为多个子时间段;
分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据处理的方法,其特征在于,所述方法包括:
按照预设时间粒度将待统计的时间段划分为多个子时间段;
分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
2.根据权利要求1所述的方法,其特征在于,分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值包括:
从预先建立的时间常量表中分别查找所述子时间段的开始时间和结束时间在所述特定时间单位下的取值,其中,所述时间常量表中存储有特定周期内各个时间点和所述各个时间点在不同时间单位下的取值;或者,
根据预设单位换算公式,分别计算所述子时间段的开始时间和结束时间在所述特定时间单位下的取值。
3.根据权利要求2所述的方法,其特征在于,在分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值之前,所述方法还包括:
判断所述目标数据是否为跨天数据以及所述待统计的时间段是否为跨天时间段;
若所述目标数据是跨天数据,且所述待统计的时间段不是跨天时间段,则将所述目标数据的开始时间修改为与所述待统计的时间段同一日期中第一个时间点,或者将所述目标数据的结束时间修改为与所述待统计的时间段同一日期中最后一个时间点;否则,不修改时间。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在查找出与各个子时间段匹配的目标数据后,将目标数据的时间段修改为原始的时间段。
5.根据权利要求1至4中任一项所述的方法,其特征在于,根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据包括:
判断所述换算后的子时间段的开始时间是否小于或者等于所述换算后的目标数据的结束时间,以及所述换算后的子时间段的结束时间是否大于或者等于所述换算后的目标数据的开始时间;
若所述换算后的子时间段的开始时间小于或者等于所述换算后的目标数据的结束时间,且所述换算后的子时间段的结束时间大于或者等于所述换算后的目标数据的开始时间,则将所述目标数据确定为在所述子时间段内生成的数据。
6.一种数据处理的装置,其特征在于,所述装置包括:
划分单元,用于按照预设时间粒度将待统计的时间段划分为多个子时间段;
换算单元,用于分别将所述子时间段的开始时间和结束时间换算成在特定时间单位下的取值,获得换算后的子时间段;其中,所述特定时间单位包括与所述预设时间粒度的时间单位相同的时间单位,或者比所述预设时间粒度的时间单位精度更高的时间单位;
所述换算单元还用于分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值;
匹配单元,用于根据预设时间匹配条件,将换算后的目标数据的开始时间和结束时间所确定的时间段与所述换算后的子时间段进行匹配,获得在所述子时间段内生成的目标数据。
7.根据权利要求6所述的装置,其特征在于,所述换算单元包括:
查找模块,用于从预先建立的时间常量表中分别查找所述子时间段的开始时间和结束时间在所述特定时间单位下的取值,其中,所述时间常量表中存储有特定周期内各个时间点和所述各个时间点在不同时间单位下的取值;
计算模块,用于根据预设单位换算公式,分别计算所述子时间段的开始时间和结束时间在所述特定时间单位下的取值。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
判断单元,用于在分别将待统计的目标数据的开始时间和结束时间换算成在所述特定时间单位下的取值之前,判断所述目标数据是否为跨天数据以及所述待统计的时间段是否为跨天时间段;
修改单元,用于当所述目标数据是跨天数据,且所述待统计的时间段不是跨天时间段时,将所述目标数据的开始时间修改为与所述待统计的时间段同一日期中第一个时间点,或者将所述目标数据的结束时间修改为与所述待统计的时间段同一日期中最后一个时间点;否则,不修改时间。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求5中任意一项所述的数据处理的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至权利要求5中任意一项所述的数据处理的方法。
CN201711047289.2A 2017-10-31 2017-10-31 数据处理的方法及装置 Pending CN110019932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711047289.2A CN110019932A (zh) 2017-10-31 2017-10-31 数据处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711047289.2A CN110019932A (zh) 2017-10-31 2017-10-31 数据处理的方法及装置

Publications (1)

Publication Number Publication Date
CN110019932A true CN110019932A (zh) 2019-07-16

Family

ID=67186716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711047289.2A Pending CN110019932A (zh) 2017-10-31 2017-10-31 数据处理的方法及装置

Country Status (1)

Country Link
CN (1) CN110019932A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990387A (zh) * 2019-11-29 2020-04-10 广东电网有限责任公司 一种电能计量设备停电记录错误处理方法及装置
CN112417230A (zh) * 2020-11-30 2021-02-26 中国民航信息网络股份有限公司 一种运价数据处理方法、装置及电子设备
CN112734147A (zh) * 2019-10-28 2021-04-30 北京京东乾石科技有限公司 设备评估管理的方法和装置
CN114329066A (zh) * 2021-12-27 2022-04-12 广东履安实业有限公司 录像数据处理方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355686A (zh) * 2008-09-24 2009-01-28 中辉世纪传媒发展有限公司 收视率统计方法和系统
CN103733195A (zh) * 2011-07-08 2014-04-16 起元技术有限责任公司 管理用于基于范围的搜索的数据的存储
US20150256835A1 (en) * 2014-03-05 2015-09-10 Nec Corporation Video analysis apparatus, monitoring system, and video analysis method
CN106126486A (zh) * 2016-06-30 2016-11-16 童晓冲 时间信息编码方法、编码值检索方法、解码方法与装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355686A (zh) * 2008-09-24 2009-01-28 中辉世纪传媒发展有限公司 收视率统计方法和系统
CN103733195A (zh) * 2011-07-08 2014-04-16 起元技术有限责任公司 管理用于基于范围的搜索的数据的存储
US20150256835A1 (en) * 2014-03-05 2015-09-10 Nec Corporation Video analysis apparatus, monitoring system, and video analysis method
CN106126486A (zh) * 2016-06-30 2016-11-16 童晓冲 时间信息编码方法、编码值检索方法、解码方法与装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734147A (zh) * 2019-10-28 2021-04-30 北京京东乾石科技有限公司 设备评估管理的方法和装置
CN110990387A (zh) * 2019-11-29 2020-04-10 广东电网有限责任公司 一种电能计量设备停电记录错误处理方法及装置
CN110990387B (zh) * 2019-11-29 2024-02-27 广东电网有限责任公司 一种电能计量设备停电记录错误处理方法及装置
CN112417230A (zh) * 2020-11-30 2021-02-26 中国民航信息网络股份有限公司 一种运价数据处理方法、装置及电子设备
CN112417230B (zh) * 2020-11-30 2024-01-30 中国民航信息网络股份有限公司 一种运价数据处理方法、装置及电子设备
CN114329066A (zh) * 2021-12-27 2022-04-12 广东履安实业有限公司 录像数据处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109739929B (zh) 数据同步方法、装置及系统
CN107450979B (zh) 一种区块链共识方法及装置
CN106970921B (zh) 一种数据迁移方法及装置
US10255108B2 (en) Parallel execution of blockchain transactions
CN110019932A (zh) 数据处理的方法及装置
CN110413634B (zh) 数据查询方法、系统、装置及计算机可读存储介质
CN107391527B (zh) 一种基于区块链的数据处理方法及设备
CN107577697B (zh) 一种数据处理方法、装置及设备
CN106649828B (zh) 一种数据查询方法及系统
CN111181569A (zh) 一种时序数据的压缩方法、装置以及设备
CN108073687B (zh) 随机游走、基于集群的随机游走方法、装置以及设备
CN106648839B (zh) 数据处理的方法和装置
CN107451204B (zh) 一种数据查询方法、装置及设备
CN111061758A (zh) 数据存储方法、装置及存储介质
CN110716813A (zh) 数据流处理方法、装置、可读存储介质及处理器
CN108073595B (zh) 一种在olap数据库实现数据更新和快照的方法及装置
CN111857981A (zh) 一种数据处理方法以及装置
CN108427675B (zh) 构建索引的方法及设备
CN110083602B (zh) 一种基于hive表的数据存储及数据处理的方法及装置
CN109446271B (zh) 一种数据同步方法、装置、设备及介质
CN117492670A (zh) 日志打印序列的确定方法、装置及电子设备
CN108764021B (zh) 一种作弊视频识别方法和装置
CN110019975B (zh) 随机游走、基于集群的随机游走方法、装置以及设备
CN107562533B (zh) 一种数据加载处理方法及装置
CN108984572B (zh) 网站信息推送方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication