CN110955696A

CN110955696A - 数据读取方法、装置、设备和存储介质

Info

Publication number: CN110955696A
Application number: CN201911097803.2A
Authority: CN
Inventors: 窦海勇
Original assignee: China Economic Information Service Co ltd
Current assignee: China Economic Information Service Co ltd
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2020-04-03
Anticipated expiration: 2039-11-12
Also published as: CN110955696B

Abstract

本申请涉及一种数据读取方法，包括：在首次由资讯数据库中读取数据时，基于资讯数据库中的数据排列顺序，按照所要读取的数据条数由资讯数据库中读取数据；在第n次由资讯数据库中读取数据时，获取当前接收到的数据读取指令，并根据数据读取指令，对资讯数据库中的数据进行临时排序，得到第n‑1次所读取的最后一条数据的临时排序编号；其中，n的取值大于1；根据第n‑1次所读取的最后一条数据的临时排序编号，由资讯数据库中读取数据读取指令中所指定条数的数据。相较于相关技术中仅通过各数据的发布时间和唯一标识(ID)进行数据的读取方式，有效提高了数据读取的完整性和准确率。

Description

数据读取方法、装置、设备和存储介质

技术领域

本公开涉及信息数据管理技术领域，尤其涉及一种数据读取方法、装置、设备和存储介质。

背景技术

资讯数据库是存放资讯数据的数据库，其特点是数据量大，更新频繁，实时有数据入库。资讯业务系统展示资讯数据时一般都是按照发布时间倒序方式滚动展示。基于此，由资讯数据库中读取数据时，通常会根据数据的发布时间以及数据的唯一标识进行数据的读取。但是，当存在唯一ID标识与发布时间不能同向增减的数据时，就会出现数据丢失、数据重复、数据发布时间错乱等问题，导致数据读取的准确性偏低。

发明内容

有鉴于此，本公开提出了一种数据读取方法，可以有效提高数据读取的准确性。

根据本公开的一方面，提供了一种数据读取方法，包括：

在首次由资讯数据库中读取数据时，基于所述资讯数据库中的数据排列顺序，按照所要读取的数据条数由所述资讯数据库中读取数据；

其中，所述资讯数据库中的数据排列顺序为：按照各数据的发布时间倒序排序，对于发布时间相同的多条数据按照各数据的标识号倒序排序；

在第n次由所述资讯数据库中读取数据时，获取当前接收到的数据读取指令，并根据所述数据读取指令，对所述资讯数据库中的数据进行临时排序，得到第n-1次所读取的最后一条数据的临时排序编号；其中，n的取值大于1；

根据所述第n-1次所读取的最后一条数据的临时排序编号，由所述资讯数据库中读取所述数据读取指令中所指定条数的数据。

在一种可能的实现方式中，根据所述数据读取指令，对所述资讯数据库中的数据进行临时排序，包括：

获取所述第n-1次所读取的最后一条数据的发布时间，由所述资讯数据库中提取出第一数据组；其中，所述第一数据组中包括发布时间大于或等于所述第n-1次所读取的最后一条数据的发布时间的数据；

根据所述第一数据组中的各条数据的发布时间和标识号，对所述第一数据组中的各条数据进行临时排序，得到所述第n-1次所读取的最后一条数据的临时排序编号。

在一种可能的实现方式中，根据所述第n-1次所读取的最后一条数据的临时排序编号，由所述资讯数据库中读取所述数据读取指令中所指定条数的数据，包括：

根据所述第n-1次所读取的最后一条数据的临时排序编号以及当前接收到的所述数据读取指令中的指定条数，确定当前数据读取范围；

由所述当前数据读取范围内读取相应的数据。

在一种可能的实现方式中，根据第n-1次所读取的最后一条数据的临时排序编号以及当前接收到的所述数据读取指令中的指定条数，确定当前数据读取范围，包括：

对第n-1次所读取的最后一条数据的临时排序编号与所述指定条数进行求和运算，并根据求和运算结果确定所述当前数据读取范围。

在一种可能的实现方式中，根据所述数据读取指令，对所述资讯数据库中的数据进行临时排序时，通过引入SQL变量标识各数据的所述临时排序编号；

其中，所述临时排序编号随各数据的发布时间的减小而逐渐增加。

根据本公开的一方面，本申请还提供了一种数据读取装置，包括：第一读取模块、临时排序模块和第二读取模块；

所述第一读取模块，被配置为在首次由资讯数据库中读取数据时，基于所述资讯数据库中的数据排列顺序，按照所要读取的数据条数由所述资讯数据库中读取数据；

所述临时排序模块，被配置为在第n次由所述资讯数据库中读取数据时，获取当前接收到的数据读取指令，并根据所述数据读取指令，对所述资讯数据库中的数据进行临时排序，得到第n-1次所读取的最后一条数据的临时排序编号；n的取值大于1；

所述第二读取模块，被配置为根据所述第n-1次所读取的最后一条数据的临时排序编号，由所述资讯数据库中读取所述数据读取指令中所指定条数的数据。

在一种可能的实现方式中，所述临时排序模块包括数据组提取子模块、临时排序子模块；

所述数据组提取子模块，被配置为获取所述第n-1次所读取的最后一条数据的发布时间，由所述资讯数据库中提取出第一数据组；其中，所述第一数据组中包括发布时间大于或等于所述第n-1次所读取的最后一条数据的发布时间的数据；

所述临时排序子模块，被配置为根据所述第一数据组中的各条数据的发布时间和标识号，对所述第一数据组中的各条数据进行临时排序，得到所述第n-1次所读取的最后一条数据的临时排序编号。

在一种可能的实现方式中，所述第二读取模块包括读取范围确定子模块和数据读取子模块；

所述读取范围确定子模块，被配置为根据所述第n-1次所读取的最后一条数据的临时排序编号以及当前接收到的所述数据读取指令中的指定条数，确定当前数据读取范围；

所述数据读取子模块，被配置为由所述当前数据读取范围内读取相应的数据。

根据本申请的另一方面，还提供了一种数据读取设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

本申请的数据读取方法，通过在非首次读取资讯数据库中的数据时，对资讯数据库中的数据进行临时排序编号，来实现资讯数据库中的数据以及数据的排列顺序的更新。进而再由更新后的资讯数据库中根据前一次已读取到的最后一条数据的临时排序编号进行数据的读取。其中，在对资讯数据库中的数据进行临时排序时，每条数据的临时排序编号均为唯一的，并且临时排序编号随着数据的发布时间的减小而严格增加，从而有效避免了数据的唯一标识(即，ID)与发布时间不能同向增减时数据丢失的问题。相较于相关技术中仅通过各数据的发布时间和唯一标识(ID)进行数据的读取方式，有效提高了数据读取的完整性和准确率。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出本申请的数据读取方法的流程图；

图2示出本申请的数据读取方法的一具体实施例的流程示意图；

图3示出本申请的数据读取装置的框图；

图4示出本申请的数据读取设备的结构框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

首先，需要指出的是，本申请的数据读取方法为一种从资讯数据库中按发布时间倒序滚动读取数据的方法。其中，本领域技术人员可以理解的是，资讯数据库中每条资讯数据都有一个唯一的ID标识。使用MySQL作为资讯数据库，资讯数据库的名称可以为newsdb，存放资讯数据的表名称为news，存放资讯数据的表中资讯数据的唯一ID标识字段名称为id，发布时间字段名称为pubtime，标题、摘要、详文、作者字段名称可以自由定义。其中，为了排序的唯一性，在按发布时间倒序排序资讯数据时，当多条资讯数据发布时间相同时，再按资讯数据的ID标识倒序排序。其中，需要进一步说明的是，本申请中的排序均为按发布时间倒序排序，在发布时间相同时再按ID标识倒序排序。

图1示出根据本公开一实施例的数据读取方法的流程图。如图1所示，本申请的数据读取方法包括：步骤S100，在首次由资讯数据库中读取数据时，基于资讯数据库中的数据排列顺序，按照所要读取的数据条数由资讯数据库中读取数据。其中，根据前面所述，资讯数据库中的数据排列顺序为：按照各数据的发布时间倒序排序，对于发布时间相同的多条数据按照各数据的标识号倒序排序。也就是说，在由资讯数据库中进行首次数据读取时，可以直接按照资讯数据库中的各条数据的排列顺序由前到后读取所需要的条数的数据即可。

步骤S200，在第n次由资讯数据库中读取数据时，获取当前接收到的数据读取指令，并根据数据读取指令，对资讯数据库中的数据进行临时排序，得到第n-1次读取到的最后一条数据的临时排序编号。其中，n的取值大于1。

也就是说，在由资讯数据库中进行第二次及以后的数据读取时，通过对资讯数据库中的数据进行临时排序，来实现资讯数据库中的数据以及数据排列顺序的更新以获取当前次读取数据的前一次已读取的最后一条数据的临时排序编号。此处，还需要指出的是，在本申请的数据读取方法中，对资讯数据库中的数据进行临时排序时，临时排序标号随着各条数据的发布时间的减小而逐渐增加。也就是说，发布时间越晚的数据，其所对应的临时排序编号的值越小。即，发布时间越晚的数据所对应的临时排序编号越靠前。

进而再通过步骤S300，根据获取到的第n-1次读取到的最后一条数据的临时排序编号，由资讯数据库中读取数据读取指令中所指定条数的数据。

由此，本申请的数据读取方法，通过在非首次读取资讯数据库中的数据时，对资讯数据库中的数据进行临时排序编号，来实现资讯数据库中的数据以及数据的排列顺序的更新。进而再由更新后的资讯数据库中根据前一次已读取到的最后一条数据的临时排序编号进行数据的读取。其中，在对资讯数据库中的数据进行临时排序时，每条数据的临时排序编号均为唯一的，并且临时排序编号随着数据的发布时间的减小而严格增加，从而有效避免了数据的唯一标识(即，ID)与发布时间不能同向增减时数据丢失的问题。相较于相关技术中仅通过各数据的发布时间和唯一标识(ID)进行数据的读取方式，有效提高了数据读取的完整性和准确率。

其中，在一种可能的实现方式中，根据数据读取指令，对资讯数据库中的数据进行临时排序时，可以通过引入SQL变量标识资讯数据库中的各数据的临时排序编号来实现。

举例来说，通过引入SQL变量，由SQL变量来标识数据的临时排序编号时，可以采用SQL语句：select(@i:＝@i+1)xuhao,news.*from news,(select@i:＝0)xuhao order bypubtime desc,id desc；来实现。其中，xuhao为临时排序编号的输出名称。通过采用该语句即可实现对资讯数据库中当前存储的所有数据进行临时排序编号，进而再由各数据的临时排序编号中提取出前一次(即，第n-1次)读取到的最后一条数据的临时排序编号即可。

进一步地，由于本申请中为资讯数据库中的数据进行临时排序编号的目的是为了获取第n-1次(即，第n次读取数据的前一次)已读取的最后一条数据的临时排序编号，为了优化排序方式，减少对资讯数据库中的数据排序时间，降低内存消耗，在根据接收到的数据读取指令对资讯数据库中的数据进行临时排序时，还可以仅针对部分数据进行排序。

其中，由于已读取的最后一条数据在所有数据中的临时排序编号与在发布时间大于或等于其发布时间的数据中的临时排序编号相同，因此在确定需要进行临时排序的数据对象时，可以根据第n-1次已读取的最后一条数据的发布时间确定临时排序的数据对象。

即，首先获取第n-1次所读取的最后一条数据的发布时间，由资讯数据库中提取出第一数据组。其中，需要指出的是，所提取出的第一数据组中包括发布时间大于或等于第n-1次所读取的最后一条数据的发布时间的数据。此处，本领域技术人员可以理解的是，第一数据组中的数据自然也就包括第n-1次所读取的最后一条数据。

进而，再根据第一数据组中的各条数据的发布时间和标识号，对第一数据组中的各条数据进行临时排序，得到第n-1次所读取的最后一条数据的临时排序编号。

具体的，基于前面所述的实施例，在采用SQL语句实现上述排序方式时，可以对前面所述的SQL语句进行优化，如：select(@i:＝@i+1)xuhao,news.*from news,(select@i:＝0)xuhao where pubtime>＝(select pubtime from news where id＝last_id)orderby pubtime desc,id desc；通过采用该语句进行部分数据的临时排序，既可以获取到第n-1次读取到的最后一条数据的临时排序编号，还有效减少了数据运算量，从而降低了数据运算所占用的内存。

通过上述任一种方式获取第n-1次读取到的最后一条数据的临时排序编号后，即可通过步骤S300，根据第n-1次读取到的最后一条数据的临时排序编号，由资讯数据库中读取数据读取指令中所指定条数的数据。

需要指出的是，在一种可能的实现方式中，为了更进一步地减小数据运算量，提高数据读取的效率，由资讯数据库中读取数据读取指令中所指定条数的数据时，可以首先确定数据的读取范围。即，确定当前数据读取范围。在确定当前数据读取范围后，再由所确定的当前数据读取范围内进行数据的读取。

通过首先确定出数据的读取范围，进而再在确定的当前数据读取范围内进行指定条数的读取，有效缩小了数据搜索的范围，从而也就有效减少了数据的搜索时间，避免了在资讯数据库中所有数据中进行搜索读取所导致的时间成本的浪费现象。

其中，在确定当前数据读取范围时，可以根据第n-1次所读取的最后一条数据的临时排序编号以及当前接收到的数据读取指令中的指令条数，确定当前数据读取范围。具体的，可以通过对第n-1次所读取到的最后一条数据的临时排序编号与数据读取指令中的指定条数进行求和运算，进而再根据求和运算结果确定当前数据读取范围。

如：通过对当前接收到的数据读取指令进行解析得到数据读取指令中规定的当前所要读取数据条数numn(即，指定条数)，并根据前面任一方式获取到第n-1次读取到的最后一条数据的临时排序编号m，对指定条数与第n-1次读取到的最后一条数据的临时排序编号进行求和运算，得到相应的求和结果：numn+m。进而再根据该求和结果numn+m确定当前数据读取范围。

其中，需要指出的是，在一种可能的实现方式中，所计算出来的求和结果为当前数据读取范围的最大值。即，在计算得到相应的求和结果后，即可在临时排序编号大于或等于1，且临时排序编号小于或等于该求和结果的数据中进行指定条数的数据的读取。

更进一步地，在上述确定当前数据读取范围时，由于需要获取第n-1次读取到的最后一条数据的临时排序编号，在获取第n-1次读取到的最后一条数据的临时排序编号时，可以在获取到当前接收到的数据读取指令的同时，获取第n-1次读取到的最后一条数据的标识号(即，唯一标识ID)，进而再基于获取到的标识号由对资讯数据库中的临时排序结果中提取出该条数据的临时排序编号。

为更清楚地说明本申请的数据读取方法，以下以引入SQL变量标识各数据的临时排序编号，并通过MySQL语句来实现数据读取为例进行更加详细地说明。

参阅图2，首先由资讯数据库中进行首次数据读取。其中，第一次读取数据时需要的参数包括：要读取数据的条数num1，读取时只需读取排序的前num1条数据即可，SQL语句：select*from news order by pubtime desc,id desc limit num1。

进而进行数据的非首次读取。即，进行第二次及以后(即，第n次)的数据读取。其中，在第n次读取数据时需要的参数包括：要读取数据的条数numn(数据读取指令中的指定条数)、第n-1次已读取的最后一条数据的id值last_id。

其中，参阅图2，在非首次数据读取时，读取过程分为以下几个步骤：

首先，为资讯数据进行临时排序编号。在本实施例中，为了对资讯数据进行临时排序编号，引入SQL变量，并将临时排序编号的输出名称命名为xuhao。根据前面所述，为资讯数据进行临时排序编号的目的是获得第n-1次已读取的最后一条数据的临时排序编号，考虑到第n-1次已读取的最后一条数据在所有数据中的临时排序编号与在发布时间大于或等于其发布时间的数据中的临时排序编号相同的事实，SQL语句可以为：select(@i:＝@i+1)xuhao,news.*from news,(select@i:＝0)xuhao where pubtime>＝(select pubtimefrom news where id＝last_id)order by pubtime desc,id desc；

然后，获取已读取的最后一条数据的临时排序编号。即，从上一步骤中得到的资讯数据的临时排序编号结果中获取已读取的最后一条数据的临时排序编号。其中，SQL语句可以与上一步骤的SQL语句进行合并，最终SQL语句为：select n.xuhao from(select(@i:＝@i+1)xuhao,news.*from news,(select@i:＝0)xuhao where pubtime>＝(select pubtimefrom news where id＝last_id)order by pubtime desc,id desc)n where n.id＝last_id；将该SQL的结果即已读取的最后一条数据的临时排序编号记为last_xuhao。

最后，再根据已读取的最后一条数据的临时排序编号读取numn条数据。其中，从前一步骤中得知已读取的最后一条数据的临时排序编号为last_xuhao，将继续滚动读取numn条数据，考虑到此时从全部数据中滚动读取numn条数据与从排序的前num_temp＝last_xuhao+numn条数据中滚动读取numn条数据结果相同的事实，SQL语句写为：select n.*from(select(@i:＝@i+1)xuhao,news.*from news,(SELECT@i:＝0)xuhao order by pubtimedesc,id desc limit num_temp)n where n.xuhao>last_xuhao。

由此，采用本申请的数据读取方法由资讯数据库中按照发布时间倒序排序，在多条数据发布时间相同时再按唯一ID标识倒序排序的排序规则滚动读取数据时，通过引入SQL变量来标识数据的临时排序编号，并根据当前次读取数据的前一次已读取到的最后一条数据的临时排序编号来控制数据的滚动读取，首次读取时直接按照排序从前往后的顺序从第一条数据开始读取要求读取条数的数据，非首次读取时由SQL变量标识数据的临时排序编号，并从临时排序编号大于前一次已读取的最后一条数据的临时排序编号的数据中的临时排序编号最小的数据开始，按照临时排序编号从小到大的顺序读取指定条数的数据。由于临时排序编号随着数据的发布时间的减小而严格增加，所以可以保证滚动读取的数据不重复，不丢失，数据发布时间不错乱。最终有效提高了读取数据的完整性和准确性。

相应的，基于前面任一所述的数据读取方法，本申请还提供了一种数据读取装置。由于本申请提供的数据读取装置的工作原理与本申请提供的数据读取方法的原理相同或相似，因此重复之处不再赘述。

参阅图3，本申请提供的数据读取装置100包括第一读取模块110、临时排序模块120和第二读取模块130。其中，第一读取模块110，被配置为在首次由资讯数据库中读取数据时，基于资讯数据库中的数据排列顺序，按照所要读取的数据条数由资讯数据库中读取数据。其中，资讯数据库中的数据排列顺序为：按照各数据的发布时间倒序排序，对于发布时间相同的多条数据按照各数据的标识号倒序排序。临时排序模块120，被配置为在第n次由资讯数据库中读取数据时，获取当前接收到的数据读取指令，并根据数据读取指令，对资讯数据库中的数据进行临时排序，得到第n-1次所读取的最后一条数据的临时排序编号；n的取值大于1。第二读取模块130，被配置为根据第n-1次所读取的最后一条数据的临时排序编号，由资讯数据库中读取数据读取指令中所指定条数的数据。

在一种可能的实现方式中，临时排序模块120包括数据组提取子模块、临时排序子模块。其中，数据组提取子模块，被配置为获取第n-1次所读取的最后一条数据的发布时间，由资讯数据库中提取出第一数据组；其中，第一数据组中包括发布时间大于或等于第n-1次所读取的最后一条数据的发布时间的数据。临时排序子模块，被配置为根据第一数据组中的各条数据的发布时间和标识号，对第一数据组中的各条数据进行临时排序，得到第n-1次所读取的最后一条数据的临时排序编号。

在一种可能的实现方式中，第二读取模块130包括读取范围确定子模块和数据读取子模块。读取范围确定子模块，被配置为根据第n-1次所读取的最后一条数据的临时排序编号以及当前接收到的数据读取指令中的指定条数，确定当前数据读取范围。数据读取子模块，被配置为由当前数据读取范围内读取相应的数据。

更进一步地，根据本公开的另一方面，还提供了一种数据读取设备200。参阅图4，本公开实施例数据读取设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的数据读取方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的数据读取设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的数据读取方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行数据读取设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的数据读取方法。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种数据读取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述数据读取指令，对所述资讯数据库中的数据进行临时排序，包括：

3.根据权利要求1所述的方法，其特征在于，根据所述第n-1次所读取的最后一条数据的临时排序编号，由所述资讯数据库中读取所述数据读取指令中所指定条数的数据，包括：

由所述当前数据读取范围内读取相应的数据。

4.根据权利要求3所述的方法，其特征在于，根据第n-1次所读取的最后一条数据的临时排序编号以及当前接收到的所述数据读取指令中的指定条数，确定当前数据读取范围，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述数据读取指令，对所述资讯数据库中的数据进行临时排序时，通过引入SQL变量标识各数据的所述临时排序编号；

6.一种数据读取装置，其特征在于，包括：第一读取模块、临时排序模块和第二读取模块；

7.根据权利要求6所述的装置，其特征在于，所述临时排序模块包括数据组提取子模块、临时排序子模块；

8.根据权利要求6所述的装置，其特征在于，所述第二读取模块包括读取范围确定子模块和数据读取子模块；

9.一种数据读取设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至5任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5任意一项所述的方法。