CN109299164B - 一种数据查询方法、计算机可读存储介质及终端设备 - Google Patents
一种数据查询方法、计算机可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN109299164B CN109299164B CN201811018227.3A CN201811018227A CN109299164B CN 109299164 B CN109299164 B CN 109299164B CN 201811018227 A CN201811018227 A CN 201811018227A CN 109299164 B CN109299164 B CN 109299164B
- Authority
- CN
- China
- Prior art keywords
- reading
- preset
- information
- time
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000004590 computer program Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请适用于通信技术领域,提供了一种数据查询方法、计算机可读存储介质及终端设备,包括:按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录;对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中;在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。有效提高了应用程序中资讯的阅读数据的更新速度,提高了查询的效率,保证了用户能够及时了解阅读数据。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种数据查询方法、计算机可读存储介质及终端设备。
背景技术
在金融保险等行业,业务员经常在微信等经营类APP(Application,应用程序)中发布行业资讯、产品推荐等内容,以便其他人进行阅读和分享。为便于业务员了解内容的分享阅读数,通常APP内会展示内容的阅读分享数。但是由于每日新增阅读分享数很大,现有技术难以实现实时查询,导致业务员不能及时了解内容的分享情况。
发明内容
有鉴于此,本申请实施例提供了一种数据查询方法、计算机可读存储介质及终端设备,以解决现有技术中应用程序中资讯的阅读数据更新滞后、用户无法及时了解阅读数量的问题。
本发明实施例的第一方面,提供了一种数据查询方法,可以包括:
按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数;
对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中;
在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
本发明实施例的第二方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数;
对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中;
在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
本发明实施例的第三方面,提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数;
对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中;
在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
本申请实施例与现有技术相比存在的有益效果是:
本申请实施例中的数据查询方法能够实时获取阅读记录,并实时对获取的阅读记录进行业务逻辑处理得到结果数据,有效提高了应用程序中资讯的阅读数据的更新速度;另外,将结果数据存储到第一预设数据库中,在用户需要查询阅读数据时,直接从第一预设数据库中查找相应的结果数据,提高了查询的效率,保证了用户能够及时了解阅读数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据查询方法的实现流程示意图;
图2是本申请实施例提供的对阅读记录进行业务逻辑处理的实现流程示意图;
图3是本申请又一实施例提供的数据查询方法的实现流程示意图;
图4是本申请实施例提供的数据查询装置的示意图;
图5是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
图1是本申请实施例提供的数据查询方法的实现流程示意图,如图所示,所述方法可以包括以下步骤:
步骤S101,按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数。
在实际应用中,预设规则中的预设时间可以人为预先设置,可以设置为足够短的时间,以保证能够实时获取阅读记录。示例性的,预设规则为每个1s获取100条阅读记录。
其中,所述阅读记录为:由预设应用的前端推送到预设服务器中,并由预设服务器推送到所述预设消息系统中的阅读记录。
所述预设消息系统为Kafka。
所述预设服务器为ActiveMQ。
在实际应用中,用户通过预设应用将资讯发布到预设应用的前端,其他用户通过预设应用的前端阅读和分析资讯。在用户进行阅读或分享时,预设应用的前端会将阅读记录推送到预设服务器ActiveMQ,ActiveMQ将阅读记录推送到预设消息系统Kafka中。
其中,ActiveMQ与预设应用的前端对接,暂存阅读记录。ActiveMQ是消息队列,主要作用是消除高并发访问高发,加快网站的响应速度。在不使用消息队列的情况下,用户的请求数据直接写入数据库,在高并发的情况下,会对数据库造成巨大的压力,同时也使得系统响应延迟加剧。在使用队列后,用户的请求发给队列后立即返回,再由消息队列的消费者进程从消息队列中获取数据,异步写入数据库。由于消息队列的服务处理速度远快于数据库,因此用户的响应延迟可得到有效改善。
Kafka是一种高吞吐量的分布式发布订阅消息系统。Kafka主要用途是数据集成,或者说是流数据集成,以Pub/Sub形式的消息总线形式提供。但是,Kafka不仅仅是一套传统的消息总线,本质上Kafka是分布式的流数据平台,因以下特性而著名:提供Pub/Sub方式的海量消息处理,以高容错的方式存储海量数据流,保证数据流的顺序。
因此,通过预设服务器ActiveMQ和预设消息系统Kafka来获取阅读记录,能够保证数据的实时性,且不会对预设应用的服务器造成太大的压力。
步骤S102,对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中。
其中,所述第一预设数据库为Hbase。
在实际应用中,查询服务器创建业务逻辑处理任务spark,业务逻辑处理任务spark从Kafka中实时获取阅读记录,并对该阅读记录进行业务逻辑处理,将处理得到的结果数据存储到Hbase中。Spark与Kafka对接,其是专为大规模数据处理而设计的快速通用的计算引擎。利用spark能够实时快速地对阅读记录进行处理。Hbase与spark对接,保存处理后的结果数据,并与查询系统对接,供查询系统调取结果数据。Hbase是一个分布式的、面向列的开源数据库,其优点在于,可以实现高性能的并发读写操作,同时Hbase还会对数据进行透明的切分,这样使得存储本身具有了水平伸缩性。
其中,所述阅读记录包括:
资讯的编号、所述资讯的发布者名称、所述资讯的阅读时间。
参见图2,图2是本申请实施例提供的对阅读记录进行业务逻辑处理的实现流程示意图。如图所示,在本申请实施例中,步骤S102中对所述阅读记录进行业务逻辑处理,包括:
步骤S201,分别统计所述阅读记录中每个所述资讯的编号对应的阅读次数,并将该阅读次数记为所述资讯的编号对应的实时阅读次数。
步骤S202,获取所述资讯的编号对应的历史阅读次数,并将所述实时阅读次数加上所述历史阅读次数得到所述资讯的编号对应的更新后的历史阅读次数。
步骤S203,将所述资讯的编号、所述资讯的发布者名称和所述更新后的历史阅读次数作为所述结果数据。
在实际应用中,历史阅读次数为对上一次阅读记录进行业务逻辑处理后得到的阅读次数。资讯的编号用于区分不同的资讯,也便于资讯的查找。计算某个资讯的编号对应的更新后的历史阅读次数,即计算某个资讯对应的阅读次数的总和。
示例性的,某个资讯的编号为A,资讯A的发布者为张三,资讯A的历史阅读次数为50,本次获取的阅读记录中,资讯A对应的阅读次数为20,即资讯A的实时阅读次数为20。将实时阅读次数加上历史阅读次数等于更新后的历史阅读次数为70,将A、张三、70作为结果数据。这样,当获取结果数据时,就可以很清楚地知道张三发布了资讯A,资讯A目前的阅读次数为70。需要说明的是,上述只是个示例,并不对资讯的编号的形式等做具体限定。
在本申请实施例中,在将该阅读次数记为所述资讯的编号对应的实时阅读次数之后,还包括:
根据预设有效阅读时间、每条阅读记录中所述资讯的阅读时间,分别判断每条阅读记录是否为有效阅读记录。
若所述资讯的阅读时间大于或等于所述有效阅读时间,则将当前阅读记录标记为有效阅读记录。
若所述资讯的阅读时间小于所述有效阅读时间,则将当前阅读记录标记为无效阅读记录。
分别统计每个所述资讯的编号对应的有效阅读量,并将所述有效阅读量除以所述实时阅读次数得到所述资讯的编号对应的实时阅读率,所述有效阅读量为所述有效阅读记录的条数。
将所述资讯的编号、所述资讯的发布者名称、所述更新后的历史阅读次数以及所述实时阅读率作为所述结果数据。
在实际应用中,有些用户只是打开了预设应用前端的资讯浏览页面,但是并未仔细阅读该资讯,这时,对应的阅读记录中阅读时间会较短。预先设定预设有效阅读时间,以此为阈值来判断阅读记录中的有效阅读记录,并进一步计算实时阅读率。随着阅读记录的实时获取,实时阅读率也在实时更新。这样,用户通过实时阅读率可以对资讯内容的价值做初步评估。
步骤S103,在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
其中,所述查询请求包括:
查询标识符、资讯的编号、资讯的发布者名称。
所述查询标识符包括以下任一项:第一预设标识符和第二预设标识符。
在本申请实施例中,所述在所述第一预设数据库中查找与所述查询请求对应的结果数据,包括:
若所述查询请求中的查询标识符为所述第一预设标识符,则在所述第一预设数据库中查找包含有所述资讯的编号的结果数据。
若所述查询请求中的查询标识符为所述第二预设标识符,则在所述第一预设数据库中查找包含有所述资讯的发布者名称的结果数据。
在实际应用中,用户可以查看某一条资讯的结果数据,也可以查看某个用户发布的所有资讯的结果数据。通过查询标识符,来区分用户的查询请求,即确定用户需要查询某条资讯的结果数据,还是需要查询某个用户发布的所有资讯的结果数据。
示例性的,假设第一预设标识符为1,第二预设标识符为2。若查询请求为1+A+张三,则在第一预设数据库中查找包含资讯的编号A的结果数据;若查询请求为2+A+张三,则在第一预设数据库中查找包含资讯的发布者名称“张三”的结果数据。
本申请实施例中的数据查询方法能够实时获取阅读记录,并实时对获取的阅读记录进行业务逻辑处理得到结果数据,有效提高了应用程序中资讯的阅读数据的更新速度;另外,将结果数据存储到第一预设数据库中,在用户需要查询阅读数据时,直接从第一预设数据库中查找相应的结果数据,提高了查询的效率,保证了用户能够及时了解阅读数据。
图3是本申请又一实施例提供的数据查询方法的实现流程示意图,如图所示,所述方法可以包括以下步骤:
步骤S301,按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数。
步骤S301与步骤S101相同,具体可参见步骤S101中的描述。
步骤S302,将所述阅读记录作为历史阅读记录存储到第二预设数据库中。
其中,所述第二预设数据库为Hive数据表。Hive用于存储和备份阅读记录。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表。
步骤S303,对所述阅读记录进行业务逻辑处理,并判断所述业务逻辑处理是否成功。
步骤S303中对所述阅读记录进行业务逻辑处理的过程,请参见步骤S102中的描述,此处不再赘述。
步骤S304,若所述业务逻辑处理成功,则将处理得到的结果数据存储到第一预设数据库中。
步骤S305,若所述业务逻辑处理失败,则从所述第二预设数据库中获取历史阅读记录,并对所述历史阅读记录进行业务逻辑处理,将处理得到的结果数据存储到第一预设数据库中。
步骤S306,在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
本申请实施例通过将阅读记录进行备份,当对阅读记录的业务逻辑处理不成功时,重新对备份的阅读记录进行业务逻辑处理,避免了数据的丢失,提高了数据的安全性,并有效保证了查询结果的实时性和有效性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的数据查询装置的示意图,为了便于说明,仅示出与本申请实施例相关的部分。
图4所示的数据查询装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元,也可以作为独立的挂件集成到所述终端设备中,还可以作为独立的终端设备存在。
本申请实施例中的数据查询装置对应于上文实施例所述的一种数据查询方法,所述数据查询装置4包括:
获取单元41,用于按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数。
处理单元42,用于对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中。
查找单元43,用于在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
其中,所述阅读记录包括:
资讯的编号、所述资讯的发布者名称、所述资讯的阅读时间。
可选的,所述处理单元42包括:
统计模块,用于分别统计所述阅读记录中每个所述资讯的编号对应的阅读次数,并将该阅读次数记为所述资讯的编号对应的实时阅读次数。
更新模块,用于获取所述资讯的编号对应的历史阅读次数,并将所述实时阅读次数加上所述历史阅读次数得到所述资讯的编号对应的更新后的历史阅读次数。
第一记录模块,用于将所述资讯的编号、所述资讯的发布者名称和所述更新后的历史阅读次数作为所述结果数据。
可选的,所述处理单元42还包括:
判断模块,用于在将该阅读次数记为所述资讯的编号对应的实时阅读次数之后,根据预设有效阅读时间、每条阅读记录中所述资讯的阅读时间,分别判断每条阅读记录是否为有效阅读记录。
第一标记模块,用于若所述资讯的阅读时间大于或等于所述有效阅读时间,则将当前阅读记录标记为有效阅读记录。
第二标记模块,用于若所述资讯的阅读时间小于所述有效阅读时间,则将当前阅读记录标记为无效阅读记录。
计算模块,用于分别统计每个所述资讯的编号对应的有效阅读量,并将所述有效阅读量除以所述实时阅读次数得到所述资讯的编号对应的实时阅读率,所述有效阅读量为所述有效阅读记录的条数。
第二记录模块,用于将所述资讯的编号、所述资讯的发布者名称、所述更新后的历史阅读次数以及所述实时阅读率作为所述结果数据。
其中,所述查询请求包括:
查询标识符、资讯的编号、资讯的发布者名称。
所述查询标识符包括以下任一项:第一预设标识符和第二预设标识符。
可选的,所述查询单元43包括:
第一查找模块,用于若所述查询请求中的查询标识符为所述第一预设标识符,则在所述第一预设数据库中查找包含有所述资讯的编号的结果数据。
第二查找模块,用于若所述查询请求中的查询标识符为所述第二预设标识符,则在所述第一预设数据库中查找包含有所述资讯的发布者名称的结果数据。
可选的,所述装置4还包括:
第一存储单元,用于在按照预设规则从预设消息系统中获取阅读记录之后,将所述阅读记录作为历史阅读记录存储到第二预设数据库中。
判断单元,用于在对所述阅读记录进行业务逻辑处理之后,判断所述业务逻辑处理是否成功。
第二存储单元,用于若所述业务逻辑处理成功,则将处理得到的结果数据存储到第一预设数据库中。
第三存储单元,用于若所述业务逻辑处理失败,则从所述第二预设数据库中获取历史阅读记录,并对所述历史阅读记录进行业务逻辑处理,将处理得到的结果数据存储到第一预设数据库中。
其中,所述阅读记录为:由预设应用的前端推送到预设服务器中,并由预设服务器推送到所述预设消息系统中的阅读记录。
所述预设消息系统为Kafka。
所述预设服务器为ActiveMQ。
所述第一预设数据库为Hbase。
所述第二预设数据库为Hive数据表。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图5是本申请实施例提供的终端设备的示意图。如图5所示,该实施例的终端设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个数据查询方法实施例中的步骤,例如图1所示的步骤S101至S103。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块41至43的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。例如,所述计算机程序52可以被分割成获取单元、处理单元、查找单元,各单元具体功能如下:
获取单元,用于按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数。
处理单元,用于对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中。
查找单元,用于在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户。
其中,所述阅读记录包括:
资讯的编号、所述资讯的发布者名称、所述资讯的阅读时间。
可选的,所述处理单元包括:
统计模块,用于分别统计所述阅读记录中每个所述资讯的编号对应的阅读次数,并将该阅读次数记为所述资讯的编号对应的实时阅读次数。
更新模块,用于获取所述资讯的编号对应的历史阅读次数,并将所述实时阅读次数加上所述历史阅读次数得到所述资讯的编号对应的更新后的历史阅读次数。
第一记录模块,用于将所述资讯的编号、所述资讯的发布者名称和所述更新后的历史阅读次数作为所述结果数据。
可选的,所述处理单元还包括:
判断模块,用于在将该阅读次数记为所述资讯的编号对应的实时阅读次数之后,根据预设有效阅读时间、每条阅读记录中所述资讯的阅读时间,分别判断每条阅读记录是否为有效阅读记录。
第一标记模块,用于若所述资讯的阅读时间大于或等于所述有效阅读时间,则将当前阅读记录标记为有效阅读记录。
第二标记模块,用于若所述资讯的阅读时间小于所述有效阅读时间,则将当前阅读记录标记为无效阅读记录。
计算模块,用于分别统计每个所述资讯的编号对应的有效阅读量,并将所述有效阅读量除以所述实时阅读次数得到所述资讯的编号对应的实时阅读率,所述有效阅读量为所述有效阅读记录的条数。
第二记录模块,用于将所述资讯的编号、所述资讯的发布者名称、所述更新后的历史阅读次数以及所述实时阅读率作为所述结果数据。
其中,所述查询请求包括:
查询标识符、资讯的编号、资讯的发布者名称。
所述查询标识符包括以下任一项:第一预设标识符和第二预设标识符。
可选的,所述查询单元包括:
第一查找模块,用于若所述查询请求中的查询标识符为所述第一预设标识符,则在所述第一预设数据库中查找包含有所述资讯的编号的结果数据。
第二查找模块,用于若所述查询请求中的查询标识符为所述第二预设标识符,则在所述第一预设数据库中查找包含有所述资讯的发布者名称的结果数据。
可选的,所述装置还包括:
第一存储单元,用于在按照预设规则从预设消息系统中获取阅读记录之后,将所述阅读记录作为历史阅读记录存储到第二预设数据库中。
判断单元,用于在对所述阅读记录进行业务逻辑处理之后,判断所述业务逻辑处理是否成功。
第二存储单元,用于若所述业务逻辑处理成功,则将处理得到的结果数据存储到第一预设数据库中。
第三存储单元,用于若所述业务逻辑处理失败,则从所述第二预设数据库中获取历史阅读记录,并对所述历史阅读记录进行业务逻辑处理,将处理得到的结果数据存储到第一预设数据库中。
其中,所述阅读记录为:由预设应用的前端推送到预设服务器中,并由预设服务器推送到所述预设消息系统中的阅读记录。
所述预设消息系统为Kafka。
所述预设服务器为ActiveMQ。
所述第一预设数据库为Hbase。
所述第二预设数据库为Hive数据表。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端设备5的示例,并不构成对终端设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元,例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备,例如所述终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种数据查询方法,其特征在于,包括:
按照预设规则从预设消息系统中实时获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数;其中,所述阅读记录包括:资讯的编号、所述资讯的发布者名称、所述资讯的阅读时间;
对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中;
在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户;
所述对所述阅读记录进行业务逻辑处理,包括:分别统计所述阅读记录中每个所述资讯的编号对应的阅读次数,并将该阅读次数记为所述资讯的编号对应的实时阅读次数;
在所述将该阅读次数记为所述资讯的编号对应的实时阅读次数之后,还包括:
根据预设有效阅读时间、每条阅读记录中所述资讯的阅读时间,分别判断每条阅读记录是否为有效阅读记录;若所述资讯的阅读时间大于或等于所述有效阅读时间,则将当前阅读记录标记为有效阅读记录;若所述资讯的阅读时间小于所述有效阅读时间,则将当前阅读记录标记为无效阅读记录;
所述阅读记录为:由预设应用的前端推送到预设服务器中,并由预设服务器推送到所述预设消息系统中的阅读记录;所述预设消息系统为Kafka;所述预设服务器为ActiveMQ;
所述查询请求包括:查询标识符、资讯的编号、资讯的发布者名称;
所述查询标识符包括以下任一项:第一预设标识符和第二预设标识符;
所述在所述第一预设数据库中查找与所述查询请求对应的结果数据,包括:
若所述查询请求中的查询标识符为所述第一预设标识符,则在所述第一预设数据库中查找包含有所述资讯的编号的结果数据;
若所述查询请求中的查询标识符为所述第二预设标识符,则在所述第一预设数据库中查找包含有所述资讯的发布者名称的结果数据。
2.如权利要求1所述的数据查询方法,其特征在于,所述对所述阅读记录进行业务逻辑处理,还包括:
获取所述资讯的编号对应的历史阅读次数,并将所述实时阅读次数加上所述历史阅读次数得到所述资讯的编号对应的更新后的历史阅读次数;
将所述资讯的编号、所述资讯的发布者名称和所述更新后的历史阅读次数作为所述结果数据。
3.如权利要求2所述的数据查询方法,其特征在于,在将该阅读次数记为所述资讯的编号对应的实时阅读次数之后,还包括:
分别统计每个所述资讯的编号对应的有效阅读量,并将所述有效阅读量除以所述实时阅读次数得到所述资讯的编号对应的实时阅读率,所述有效阅读量为所述有效阅读记录的条数;
将所述资讯的编号、所述资讯的发布者名称、所述更新后的历史阅读次数以及所述实时阅读率作为所述结果数据。
4.如权利要求1所述的数据查询方法,其特征在于,在按照预设规则从预设消息系统中获取阅读记录之后,还包括:
将所述阅读记录作为历史阅读记录存储到第二预设数据库中;
在对所述阅读记录进行业务逻辑处理之后,还包括:
判断所述业务逻辑处理是否成功;
若所述业务逻辑处理成功,则将处理得到的结果数据存储到第一预设数据库中;
若所述业务逻辑处理失败,则从所述第二预设数据库中获取历史阅读记录,并对所述历史阅读记录进行业务逻辑处理,将处理得到的结果数据存储到第一预设数据库中。
5.如权利要求4所述的数据查询方法,其特征在于,所述第一预设数据库为Hbase;
所述第二预设数据库为Hive数据表。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述数据查询方法的步骤。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如下步骤:
按照预设规则从预设消息系统中获取阅读记录,所述预设规则为每隔预设时间获取N条阅读记录,所述N为大于或等于1的自然数;其中,所述阅读记录包括:资讯的编号、所述资讯的发布者名称、所述资讯的阅读时间;
对所述阅读记录进行业务逻辑处理,并将处理得到的结果数据存储到第一预设数据库中;
在获取到用户的查询请求后,在所述第一预设数据库中查找与所述查询请求对应的结果数据,并将该结果数据显示给用户;
所述对所述阅读记录进行业务逻辑处理,包括:分别统计所述阅读记录中每个所述资讯的编号对应的阅读次数,并将该阅读次数记为所述资讯的编号对应的实时阅读次数;
在所述将该阅读次数记为所述资讯的编号对应的实时阅读次数之后,还包括:
根据预设有效阅读时间、每条阅读记录中所述资讯的阅读时间,分别判断每条阅读记录是否为有效阅读记录;若所述资讯的阅读时间大于或等于所述有效阅读时间,则将当前阅读记录标记为有效阅读记录;若所述资讯的阅读时间小于所述有效阅读时间,则将当前阅读记录标记为无效阅读记录;
所述阅读记录为:由预设应用的前端推送到预设服务器中,并由预设服务器推送到所述预设消息系统中的阅读记录;所述预设消息系统为Kafka;所述预设服务器为ActiveMQ;
所述查询请求包括:查询标识符、资讯的编号、资讯的发布者名称;
所述查询标识符包括以下任一项:第一预设标识符和第二预设标识符;
所述在所述第一预设数据库中查找与所述查询请求对应的结果数据,包括:
若所述查询请求中的查询标识符为所述第一预设标识符,则在所述第一预设数据库中查找包含有所述资讯的编号的结果数据;
若所述查询请求中的查询标识符为所述第二预设标识符,则在所述第一预设数据库中查找包含有所述资讯的发布者名称的结果数据。
8.如权利要求7所述的终端设备,其特征在于,所述对所述阅读记录进行业务逻辑处理,还包括:
获取所述资讯的编号对应的历史阅读次数,并将所述实时阅读次数加上所述历史阅读次数得到所述资讯的编号对应的更新后的历史阅读次数;
将所述资讯的编号、所述资讯的发布者名称和所述更新后的历史阅读次数作为所述结果数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811018227.3A CN109299164B (zh) | 2018-09-03 | 2018-09-03 | 一种数据查询方法、计算机可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811018227.3A CN109299164B (zh) | 2018-09-03 | 2018-09-03 | 一种数据查询方法、计算机可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109299164A CN109299164A (zh) | 2019-02-01 |
CN109299164B true CN109299164B (zh) | 2024-05-17 |
Family
ID=65165998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811018227.3A Active CN109299164B (zh) | 2018-09-03 | 2018-09-03 | 一种数据查询方法、计算机可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109299164B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109992695B (zh) * | 2019-04-10 | 2021-08-27 | 北京奇艺世纪科技有限公司 | 一种视频信息查询方法及装置 |
CN110222100B (zh) * | 2019-04-26 | 2023-04-07 | 广州明珞装备股份有限公司 | 基于大数据显示工艺时序图的处理方法、系统及存储介质 |
CN110245155A (zh) * | 2019-05-21 | 2019-09-17 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机可读存储介质及终端设备 |
CN110362631B (zh) * | 2019-07-22 | 2023-01-06 | 创新先进技术有限公司 | 一种同步数据的方法和系统 |
CN110442598A (zh) * | 2019-07-22 | 2019-11-12 | 阿里巴巴集团控股有限公司 | 一种数据查询方法和装置 |
CN110659328B (zh) * | 2019-08-30 | 2022-04-29 | 中国人民财产保险股份有限公司 | 数据查询方法、装置、设备及计算机可读存储介质 |
CN110955696B (zh) * | 2019-11-12 | 2022-10-14 | 中国经济信息社有限公司 | 数据读取方法、装置、设备和存储介质 |
CN111177250A (zh) * | 2019-12-31 | 2020-05-19 | 华泰证券股份有限公司 | 一种异常交易监测方法、系统及存储介质 |
CN111367953A (zh) * | 2020-03-30 | 2020-07-03 | 中国建设银行股份有限公司 | 一种资讯数据的流式处理方法及装置 |
CN111651471B (zh) * | 2020-04-30 | 2023-02-03 | 中国平安财产保险股份有限公司 | 目标数据查询方法、装置、电子设备及存储介质 |
CN113821708A (zh) * | 2020-06-19 | 2021-12-21 | 广东美的厨房电器制造有限公司 | 烹饪信息的获取方法、获取装置、终端和存储介质 |
CN114416817A (zh) * | 2021-12-21 | 2022-04-29 | 北京镁伽科技有限公司 | 用于处理数据的方法、装置、设备、系统及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1832393A (zh) * | 2005-03-10 | 2006-09-13 | 华为技术有限公司 | 基于数字版权管理系统的数字内容传播方法 |
CN101389082A (zh) * | 2008-10-07 | 2009-03-18 | 华为技术有限公司 | 消息传播方法和系统 |
EP2402870A2 (en) * | 2010-06-30 | 2012-01-04 | LG Electronics Inc. | Method for managing usage history of e-book and terminal performing the method |
CN104077291A (zh) * | 2013-03-27 | 2014-10-01 | 腾讯科技(深圳)有限公司 | 用户生成内容访问次数的发布方法、客户端及系统 |
CN105844498A (zh) * | 2016-04-22 | 2016-08-10 | 无锡牵手信息技术有限公司 | 基于互联网的业务推广系统 |
CN106713120A (zh) * | 2016-12-23 | 2017-05-24 | 广州帷策智能科技有限公司 | 微信公众号图文消息增粉效应监测方法及装置 |
CN106899426A (zh) * | 2016-06-30 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 用户访问数量统计方法及其系统 |
CN108234293A (zh) * | 2017-12-28 | 2018-06-29 | 广东欧珀移动通信有限公司 | 表情管理方法、表情管理装置及智能终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495420B2 (en) * | 2013-05-22 | 2016-11-15 | International Business Machines Corporation | Distributed feature collection and correlation engine |
-
2018
- 2018-09-03 CN CN201811018227.3A patent/CN109299164B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1832393A (zh) * | 2005-03-10 | 2006-09-13 | 华为技术有限公司 | 基于数字版权管理系统的数字内容传播方法 |
CN101389082A (zh) * | 2008-10-07 | 2009-03-18 | 华为技术有限公司 | 消息传播方法和系统 |
EP2402870A2 (en) * | 2010-06-30 | 2012-01-04 | LG Electronics Inc. | Method for managing usage history of e-book and terminal performing the method |
CN104077291A (zh) * | 2013-03-27 | 2014-10-01 | 腾讯科技(深圳)有限公司 | 用户生成内容访问次数的发布方法、客户端及系统 |
CN105844498A (zh) * | 2016-04-22 | 2016-08-10 | 无锡牵手信息技术有限公司 | 基于互联网的业务推广系统 |
CN106899426A (zh) * | 2016-06-30 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 用户访问数量统计方法及其系统 |
CN106713120A (zh) * | 2016-12-23 | 2017-05-24 | 广州帷策智能科技有限公司 | 微信公众号图文消息增粉效应监测方法及装置 |
CN108234293A (zh) * | 2017-12-28 | 2018-06-29 | 广东欧珀移动通信有限公司 | 表情管理方法、表情管理装置及智能终端 |
Non-Patent Citations (1)
Title |
---|
基于微信订阅号的期刊阅览统计系统设计;陈崇辉;;现代电子技术;20170115;第40卷(第02期);第125-132段 * |
Also Published As
Publication number | Publication date |
---|---|
CN109299164A (zh) | 2019-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109299164B (zh) | 一种数据查询方法、计算机可读存储介质及终端设备 | |
WO2020233374A1 (zh) | 一种业务平台缓存策略的测试方法及装置 | |
CN109873904B (zh) | 消息推送的用户消息状态上报处理方法、装置及存储介质 | |
CN101158954B (zh) | 一种在计算机存储中识别重复数据的方法 | |
CN111352902A (zh) | 日志处理方法、装置、终端设备及存储介质 | |
CN109977684B (zh) | 一种数据传输方法、装置及终端设备 | |
WO2015050567A1 (en) | System and method for performing set operations with defined sketch accuracy distribution | |
CN110888981B (zh) | 基于标题的文档聚类方法、装置、终端设备及介质 | |
CN108628898B (zh) | 数据入库的方法、装置和设备 | |
CN110825731A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
CN112163412A (zh) | 数据校验方法、装置、电子设备及存储介质 | |
CN111258819A (zh) | MySQL数据库备份文件的数据获取方法、装置和系统 | |
CN108268503B (zh) | 一种数据库的存储、查询方法及装置 | |
CN114374392A (zh) | 一种数据压缩存储方法、装置、终端设备及可读存储介质 | |
CN109450963B (zh) | 消息推送方法及终端设备 | |
CN111930890A (zh) | 信息发送方法、装置、终端设备及存储介质 | |
CN111832319B (zh) | 一种预警语音播报的方法和装置 | |
US20220083507A1 (en) | Trust chain for official data and documents | |
CN114417102A (zh) | 文本去重方法、装置和电子设备 | |
CN113626516A (zh) | 数据增量同步方法和系统 | |
CN113419792A (zh) | 一种事件处理方法、装置、终端设备和存储介质 | |
CN111198900A (zh) | 工业控制网络的数据缓存方法、装置、终端设备及介质 | |
CN113590322A (zh) | 一种数据处理方法和装置 | |
CN109522211B (zh) | 接口参数传递方法、装置、电子设备及存储介质 | |
CN113032820A (zh) | 文件存储方法、访问方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |