CN104462089A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明提供一种数据处理方法和装置，所述方法包括获取原始数据；对原始数据进行分类，得到至少一个数据集合；利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。本发明能根据用户的需求对原始数据进行排版，使目标文件以用户想要的样式展示出来，具有展示效果良好和用户体验度高的特点；再者，因为对原始数据进行了分类，在用户想要浏览或者修改任一数据集合时，可以轻易的找出对应的数据集合，从而节约用户对数据的查询时间，方便用户的使用。

Description

一种数据处理方法和装置

技术领域

本发明涉及数据领域，特别涉及一种数据处理方法和装置。

背景技术

互联网中有各种的图文数据源，互联网中的图文数据源包括了用户的微博，博客和个人空间等等。现有的图文数据源通常以web页面的形式在网页上展示，供用户浏览。

现有技术的不足之处在于，用户在浏览微博或者博客等图文数据源的web网页时，当用户使用的终端屏幕不能装下全部想要浏览的内容时，需要用户不断地滚动鼠标或者拖拽web网页边缘的滑块，才能将想看的内容完整的进行浏览，操作繁琐，并不能达到良好的展示效果和用户体验；而且，在用户想要修改图文数据源中的某些数据时，因为数据量比较庞大，因此需要很长时间才能上找到想要修改的数据，这给用户的使用带来了不便。

发明内容

为克服上述缺陷，本发明提供一种数据处理方法和装置。

第一方面，本发明提供一种数据处理方法，包括：

获取原始数据；

对原始数据进行分类，得到至少一个数据集合；

利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。

优选的，所述至少一个数据集合存储于能够并发操作的数据库中，所述利用文件模板对每一个数据集合中的数据分别进行排版操作的步骤中，针对每一个数据集合中的数据分别进行的排版操作为并行排版操作。

优选的，所述方法还包括：

在得到所述至少一个数据集合后，为每一个数据集合建立索引；

在接收到查询请求后，确定所述查询请求中携带的索引对应的第一数据集合；

输出所述第一数据集合对应的第一目标文件。

优选的，所述方法还包括：

根据用户的修改请求，确定待修改的第二目标文件对应的数据变化信息；

根据所述数据变化信息修改所述第二目标文件对应的第二数据集合中的数据；

利用文件模板对所述第二数据集合中的修改后的数据进行排版操作，得到更新后的第二目标文件。

优选的，所述利用文件模板对数据集合中的数据进行排版操作具体包括：

根据文件模板中的排版格式信息确定所述数据集合中的不同类型的数据的尺寸信息；

根据文件模板的尺寸和所述不同类型的数据的尺寸信息进行排版操作，得到由一个或多个页面组成的所述第一目标文件；

当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

优选的，所述原始数据为微博数据，所述对原始数据进行分类的步骤具体包括：

将获取的所述微博数据按照时间排序；

根据预设的时间段，对所述微博数据进行分类操作，得到至少一个数据集合。

第二方面，本发明提供一种数据处理装置，包括：

获取模块，用于获取原始数据；

第一处理模块，用于对原始数据进行分类，得到至少一个数据集合；

第二处理模块，用于利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。

优选的，所述至少一个数据集合存储于能够并发操作的数据库中，在所述第二处理模块中，针对每一个数据集合中的数据分别进行的排版操作为并行排版操作。

优选的，所述装置还包括：

索引模块，用于在得到所述至少一个数据集合后，为每一个数据集合建立索引；

查询模块，用于在接收到查询请求后，确定所述查询请求中携带的索引对应的第一数据集合；

输出模块，用于输出所述第一数据集合对应的第一目标文件。

优选的，所述装置还包括：

请求模块，用于根据用户的修改请求，确定待修改的第二目标文件对应的数据变化信息；

修改模块，用于根据所述数据变化信息修改所述第二目标文件对应的第二数据集合中的数据；

第三处理模块，用于利用文件模板对所述第二数据集合中的修改后的数据进行排版操作，得到更新后的第二目标文件。

优选的，所述第二处理模块具体用于：

根据文件模板中的排版格式信息确定所述数据集合中的不同类型的数据的尺寸信息；

根据文件模板的尺寸和所述不同类型的数据的尺寸信息进行排版操作，得到由一个或多个页面组成的所述第一目标文件；

当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

优选的，所述原始数据为微博数据，所述第一处理模块具体包括：

排序单元，用于将获取的所述微博数据按照时间排序；

处理单元，用于根据预设的时间段，对所述微博数据进行分类操作，得到至少一个数据集合。

本发明实施例提供的数据处理方法和装置，通过对原始数据进行分类，得到至少一个数据集合；利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件，可以使图文数据按照预设的文件模板的方式展示在用户终端的屏幕上，用户仅需要很简单的操作就可以浏览原始数据的全部内容；而且，还能根据用户的需求对原始数据进行排版，使第一目标文件以用户想要的样式展示出来，具有展示效果良好和用户体验度高的特点；再者，因为对原始数据进行了分类，在用户想要浏览或者修改任一数据集合时，可以轻易的找出对应的数据集合，从而节约用户对数据的查询时间，方便用户的使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1表示数据处理方法的一实施例流程图。

图2表示数据处理方法的另一实施例流程图。

图3表示数据处理装置的实施例结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

数据处理方法实施例的流程图如图1所示，所述方法包括如下步骤：

步骤100.获取原始数据；

步骤101.对原始数据进行分类，得到至少一个数据集合；

步骤102.利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。

通过上述操作，能根据用户的需求对原始数据进行排版，而且对原始数据进行了分类，在用户想要浏览或者修改任一数据集合时，可以轻易的找出对应的数据集合，从而节约用户对数据的查询时间，方便用户的使用。

进一步地，所述至少一个数据集合存储于能够并发操作的数据库中，所述利用文件模板对每一个数据集合中的数据分别进行排版操作的步骤中，针对每一个数据集合中的数据分别进行的排版操作为并行排版操作。

在现有的对于数据的排版操作中，一般采用串行排版操作的方式，在将一个数据集合排版完成后，才对下一个数据集合进行排版操作，如果需要排版的数据集合数量较多，会造成浪费大量的时间并长时间占用系统资源的问题，例如在对10个数据集合采用串行排版操作排版时，总共需要100秒的时间；而本申请采用并行排版操作对可同时对多个数据集合进行排版；例如，在对10个数据集合采用并行排版操作排版时，在系统资源允许的情况下，30秒甚至更少的时间就可以完成10个数据集合的排版操作。那么久解决了现有采用串行排版操作产生的问题，可以在同一时间段内对每一个数据集合中的数据分别进行排版操作，大大提高排版的效率。

当然，在本实施例中，如果需要排版的数据集合的数量较少，比如只有3个，那么也可以采用串行排版操作的方式对数据集合进行排版。

优选地，所述数据库为redis数据库。

进一步地，所述数据处理方法还包括：

在得到所述至少一个数据集合后，为每一个数据集合建立索引；

在接收到查询请求后，确定所述查询请求中携带的索引对应的第一数据集合；

输出所述第一数据集合对应的第一目标文件。

现有的用户在浏览显示的数据时，如果只想浏览或修改其中的某部分数据时，需要在全部数据中查找，所以花费的查找时间较长，而本实施例中，通过对每一个数据集合建立索引，在用户对数据进行查找时，通过索引就可以找到想要浏览或修改的数据，方便用户的使用，提高了用户的使用体验。

进一步地，所述数据处理方法还包括：

根据用户的修改请求，确定待修改的第二目标文件对应的数据变化信息；

根据所述数据变化信息修改所述第二目标文件对应的第二数据集合中的数据；

利用文件模板对所述第二数据集合中的修改后的数据进行排版操作，得到更新后的第二目标文件。

用户可以根据自己的喜好对已生成目标文件的数据进行修改，满足了用户的个性化需求，进一步提高了用户的使用体验。

通过上述实施例提供的方法，能根据用户的需求对原始数据进行排版，使目标文件以用户想要的样式展示出来，具有展示效果良好和用户体验度高的特点；还对原始数据进行了分类，在用户想要浏览或者修改任一数据集合时，可以轻易的找出对应的数据集合，从而节约用户对数据的查询时间，方便用户的使用。

具体地，利用文件模板对数据集合中的数据进行排版操作具体包括：

根据文件模板中的排版格式信息确定所述数据集合中的不同类型的数据的尺寸信息；

根据文件模板的尺寸和所述不同类型的数据的尺寸信息进行排版操作，得到由一个或多个页面组成的所述第一目标文件；

当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

进一步地，所述不同类型的数据的尺寸信息包括：图片的尺寸信息和文字的尺寸信息；

具体地，利用文件模板对数据集合中的数据进行排版操作步骤的具体过程如下：

预先设定所述文件模板的尺寸；

将数据集合中的图片缩放到预定的第一宽度；

获取缩放后所述图片的第一高度；

根据预先设置的所述文字的字号和字体，得到文字的第二宽度和第二高度；

根据所述文件模板的尺寸、所述图片的第一高度和所述文字的第二高度，计算在所述文件模板的尺寸下能够排版的图片和文字数量，得到一计算结果；

根据得到的所述计算结果，对所述各数据集合的数据进行排版；

得到由一个或多个页面组成的所述第一目标文件，当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

可选的，在得到由多个页面组成的所述第一目标文件后，统计所述第一目标文件的分页页数；

将所述各数据块对应的分页页数反馈到所述索引表中。

通过上述的操作，在对数据的排版过程中，可以根据文字和图片的实际情况，调整每个页面包括的文字和图片数量，具有应用灵活和使用方便的特点。

在本实施例中，所述数据集合是图文混合的数据；也可以是小说等以文字排版为主的数据或者是图片集等以图片排版为主的数据。

当然，上述是以图文混合的数据为例进行了对排版操作进行了说明，对于其他的排版方式同样适用，在此不一一举例说明。

可选的，所述原始数据为微博数据，所述对原始数据进行分类的步骤具体包括：

将获取的所述微博数据按照时间排序；

根据预设的时间段，对所述微博数据进行分类操作，得到至少一个数据集合；

所述预设的时间段包括：年、季度、月和日中的至少一个，每一个数据集合对应于一个时间段。

微博数据、博客数据或者个人空间等以发布时间为主的数据，所以，按照预设的时间段对数据进行分类；而像小说数据以发布章节为主的数据，可以按照预设的章节分段对数据进行分类；而就像财经、时事等以发布类别为主的数据，可以按照发布的类别对数据进行分类。

上述是以微博数据为例对分类操作进行了说明，对于其他的分类方式同样适用，在此不一一举例说明。

所述数据处理方法的另一实施例如图2所示，以微博数据为例，对数据处理方法作进一步描述。

对微博数据的处理过程包括：

a.获取微博数据，按照时间的顺序对所述微博数据进行排序，并以月份为单位将所述微博数据分为多个数据集合；

b.按照获取的多个数据集合，建立一份索引，每个数据集合对应的索引包含对应的月份名称和存储的位置；以并行排版的方式对每一个月份对应的数据集合进行排版，排版时预先设定所述排版样式的尺寸，将图片进行缩放到指定的宽度，并获取缩放后的第一高度，针对文字的内容，计算出文字占用的第二高度，通过预先设定的排版样式的尺寸、图片的第一高度和文字的第二高度就能计算出每个排版样式尺寸下能够排下的图片和文字，从而对数据集合进行排版操作，得到由一个或多个页面组成的所述第一目标文件，当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示；

c.根据建立的索引就可以查询到各月份分别对应的数据集合；输出所述数据集合对应的第一目标文件；

d.当用户需要修改某个月份对应的数据集合中的数据时，将会根据索引找到这个月份对应的数据集合，并对查找的数据集合中的数据进行修改，最后根据所述排版样式对这个月份的数据集合进行重新排版。

可选的，步骤b的对数据集合的排版过程中：所述排版样式尺寸为1024×768像素，图片的宽度是规定的170像素，将得到的数据集合中的多个图片的宽度统一缩放到170像素，可以得到各图片对应的第一高度，文字统一选用微软雅黑字体，字号为11号，所以文字的尺寸是11.2×17，所以得到代表文字的第二高度17像素；通过预先设定的排版样式的尺寸1024×768像素、图片的第一高度和文字的第二高度17像素就能计算出每个排版样式尺寸下能够排下的图片和文字，从而对数据集合进行排版操作；所述第一目标文件以分页的方式显示时，所述微博数据在web网页上就以书本的形式展示出来。

通过上述方式，以书本的形式在web页面中展示微博数据，避免了现有的用户需不断地滚动鼠标或者拖拽web网页边缘的滑块，才能将想看的内容完整的进行浏览的缺陷，只需用户轻点鼠标，就能浏览全部的微博内容，具有展示效果良好和用户体验度高的特点。

基于上述描述，本实施例提供的数据处理方法，通过对原始数据进行分类，得到至少一个数据集合；利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件，可以使图文数据按照预设的文件模板的方式展示在用户终端的屏幕上，用户仅需要很简单的操作就可以浏览原始数据的全部内容；而且，还能根据用户的需求对原始数据进行排版，使第一目标文件以用户想要的样式展示出来，具有展示效果良好和用户体验度高的特点；再者，因为对原始数据进行了分类，在用户想要浏览或者修改任一数据集合时，可以轻易的找出对应的数据集合，从而节约用户对数据的查询时间，方便用户的使用。

图3为本发明终端的数据处理装置的实施例结构示意图，如图3所示，所述装置包括：

获取模块10，用于获取原始数据；

第一处理模块20，用于对原始数据进行分类，得到至少一个数据集合；

第二处理模块30，用于利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。

进一步地，所述至少一个数据集合存储于能够并发操作的数据库中，在所述第二处理模块中，针对每一个数据集合中的数据分别进行的排版操作为并行排版操作。

进一步地，所述装置还包括：

索引模块，用于在得到所述至少一个数据集合后，为每一个数据集合建立索引；

查询模块，用于在接收到查询请求后，确定所述查询请求中携带的索引对应的第一数据集合；

输出模块，用于输出所述第一数据集合对应的第一目标文件。

进一步地，所述装置还包括：

请求模块，用于根据用户的修改请求，确定待修改的第二目标文件对应的数据变化信息；

修改模块，用于根据所述数据变化信息修改所述第二目标文件对应的第二数据集合中的数据；

第三处理模块，用于利用文件模板对所述第二数据集合中的修改后的数据进行排版操作，得到更新后的第二目标文件。

可选地，所述第二处理模块具体用于：

根据文件模板中的排版格式信息确定所述数据集合中的不同类型的数据的尺寸信息；

根据文件模板的尺寸和所述不同类型的数据的尺寸信息进行排版操作，得到由一个或多个页面组成的所述第一目标文件；

当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

可选地，所述原始数据为微博数据，所述第一处理模块具体包括：

排序单元，用于将获取的所述微博数据按照时间排序；

处理单元，用于根据预设的时间段，对所述微博数据进行分类操作，得到至少一个数据集合。

本实施例中提供的装置的功能和处理流程，可以参见上面提供的数据处理方法的实施例的流程，此处不再赘述。

基于上述描述，本实施例提供的数据处理装置，通过对原始数据进行分类，得到至少一个数据集合；利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件，可以使图文数据按照预设的文件模板的方式展示在用户终端的屏幕上，用户仅需要很简单的操作就可以浏览原始数据的全部内容；而且，还能根据用户的需求对原始数据进行排版，使第一目标文件以用户想要的样式展示出来，具有展示效果良好和用户体验度高的特点；再者，因为对原始数据进行了分类，在用户想要浏览或者修改任一数据集合时，可以轻易的找出对应的数据集合，从而节约用户对数据的查询时间，方便用户的使用。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种数据处理方法，其特征在于，包括：

获取原始数据；

对原始数据进行分类，得到至少一个数据集合；

利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。

2.根据权利要求1所述的数据处理方法，其特征在于，所述至少一个数据集合存储于能够并发操作的数据库中，所述利用文件模板对每一个数据集合中的数据分别进行排版操作的步骤中，针对每一个数据集合中的数据分别进行的排版操作为并行排版操作。

3.根据权利要求1所述的数据处理方法，其特征在于，还包括：

在得到所述至少一个数据集合后，为每一个数据集合建立索引；

在接收到查询请求后，确定所述查询请求中携带的索引对应的第一数据集合；

输出所述第一数据集合对应的第一目标文件。

4.根据权利要求1所述的数据处理方法，其特征在于，还包括：

根据用户的修改请求，确定待修改的第二目标文件对应的数据变化信息；

根据所述数据变化信息修改所述第二目标文件对应的第二数据集合中的数据；

利用文件模板对所述第二数据集合中的修改后的数据进行排版操作，得到更新后的第二目标文件。

5.根据权利要求1所述的数据处理方法，其特征在于，利用文件模板对数据集合中的数据进行排版操作具体包括：

根据文件模板中的排版格式信息确定所述数据集合中的不同类型的数据的尺寸信息；

根据文件模板的尺寸和所述不同类型的数据的尺寸信息进行排版操作，得到由一个或多个页面组成的所述第一目标文件；

当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

6.根据权利要求1或3所述的数据处理方法，其特征在于，所述原始数据为微博数据，所述对原始数据进行分类的步骤具体包括：

将获取的所述微博数据按照时间排序；

根据预设的时间段，对所述微博数据进行分类操作，得到至少一个数据集合。

7.一种数据处理装置，其特征在于，包括：

获取模块，用于获取原始数据；

第一处理模块，用于对原始数据进行分类，得到至少一个数据集合；

第二处理模块，用于利用文件模板对数据集合中的数据进行排版操作，得到与所述至少一个数据集合一一对应的可供用户浏览的第一目标文件。

8.根据权利要求7所述的数据处理装置，其特征在于，所述至少一个数据集合存储于能够并发操作的数据库中，在所述第二处理模块中，针对每一个数据集合中的数据分别进行的排版操作为并行排版操作。

9.根据权利要求7所述的数据处理装置，其特征在于，还包括：

索引模块，用于在得到所述至少一个数据集合后，为每一个数据集合建立索引；

查询模块，用于在接收到查询请求后，确定所述查询请求中携带的索引对应的第一数据集合；

输出模块，用于输出所述第一数据集合对应的第一目标文件。

10.根据权利要求7所述的数据处理装置，其特征在于，还包括：

请求模块，用于根据用户的修改请求，确定待修改的第二目标文件对应的数据变化信息；

修改模块，用于根据所述数据变化信息修改所述第二目标文件对应的第二数据集合中的数据；

第三处理模块，用于利用文件模板对所述第二数据集合中的修改后的数据进行排版操作，得到更新后的第二目标文件。

11.根据权利要求7所述的数据处理装置，其特征在于，所述第二处理模块具体用于：

根据文件模板中的排版格式信息确定所述数据集合中的不同类型的数据的尺寸信息；

根据文件模板的尺寸和所述不同类型的数据的尺寸信息进行排版操作，得到由一个或多个页面组成的所述第一目标文件；

当所述第一目标文件由多个页面组成时，所述第一目标文件以分页的方式显示。

12.根据权利要求7或9所述的数据处理装置，其特征在于，所述原始数据为微博数据，所述第一处理模块具体包括：

排序单元，用于将获取的所述微博数据按照时间排序；

处理单元，用于根据预设的时间段，对所述微博数据进行分类操作，得到至少一个数据集合。