CN110097113A - 一种监控展示信息投放系统工作状态的方法、装置及系统 - Google Patents
一种监控展示信息投放系统工作状态的方法、装置及系统 Download PDFInfo
- Publication number
- CN110097113A CN110097113A CN201910345317.1A CN201910345317A CN110097113A CN 110097113 A CN110097113 A CN 110097113A CN 201910345317 A CN201910345317 A CN 201910345317A CN 110097113 A CN110097113 A CN 110097113A
- Authority
- CN
- China
- Prior art keywords
- message identification
- displaying
- log
- similarity
- showing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种监控展示信息投放系统工作状态的方法、装置及系统，属于计算机技术领域，所述方法包括：获取各业务服务器生成的投放日志，投放日志包括添加有新功能的业务服务器生成的第一投放日志，未添加新功能的业务服务器生成的第二投放日志；确定第一投放日志对应的第一特征向量、以及第二投放日志对应的第二特征向量，第一特征向量由展示信息标识集合包含的各展示信息标识在第一投放日志中的出现次数构成，展示信息标识集合根据第一投放日志和第二投放日志确定；计算第一特征向量和第二特征向量的相似度；如果相似度小于预设的相似度阈值，则发送预设的告警指令。采用本申请，能够提高展示信息投放系统工作状态监控的准确率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种监控展示信息投放系统工作状态的方法、装置及系统。
背景技术
业务服务器可以通过展示信息投放系统，接收客户端的展示请求，展示请求可以携带有展示信息的属性标识，然后，业务服务器可以在预先存储的展示信息目录中，确定包含展示请求携带的属性标识的多个展示信息，再将多个展示信息返回至客户端以展示给用户。其中，展示信息目录中存储有多个展示信息、以及每个展示信息对应的展示信息标识，展示信息包括待展示的信息、展示信息的属性标识。属性标识可以是用户使用的视频平台的标识，也可以是用户所属的地域的标识。
现有技术中，展示信息投放系统添加新功能后，需要对展示信息投放系统的工作状态进行监控，新功能可以是业务服务器通过展示信息投放系统，对返回给客户端的展示信息进行筛选时的筛选方式。可以通过监控展示信息投放系统某一指标的数值，并和预先存储的阈值进行比较，根据比较结果判断添加了新功能的展示信息投放系统工作是否正常，目前监控的指标包括QPS(query per second，每秒请求数)、响应时间比例指标(即响应时间分别在10ms/20ms/50ms/100ms以下的展示请求数占总展示请求数的百分比)、展示信息投放系统进程状态以及进程个数等。
然而，多个指标相应的阈值由工作人员根据经验设定，无法进行科学的量化，导致基于指标进行展示信息投放系统工作状态的监控时，准确率低。
发明内容
本申请实施例的目的在于提供一种监控展示信息投放系统工作状态的方法、装置及系统，以实现提高展示信息投放系统工作状态监控的准确率。具体技术方案如下：
第一方面，提供了一种监控展示信息投放系统工作状态的方法，所述方法包括：
获取各业务服务器生成的投放日志，其中，所述各业务服务器包括添加有新功能的第一业务服务器、未添加新功能的第二业务服务器，第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识；
确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由所述第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，所述第二特征向量由所述第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；
计算所述第一特征向量和所述第二特征向量的相似度；
如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
可选的，所述获取各业务服务器生成的投放日志包括：
通过各业务服务器接收展示请求，所述展示请求携带有展示信息的属性标识；
从预先存储的展示信息目录中，确定包含所述属性标识的展示信息的展示信息标识，得到第一展示信息标识集合；
在预先存储的投放日志中，存储所述展示请求的接收时间和所述第一展示信息标识集合的对应关系。
可选的，所述得到第一展示信息标识集合之后，还包括：
按照预设的筛选条件对所述第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合，所述筛选条件包括所述第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值；
在预先存储的投放日志中，存储所述展示请求的接收时间和所述第二展示信息标识集合的对应关系；
将所述第二展示信息标识集合对应的展示信息发送至客户端。
可选的，所述确定所述第一投放日志对应的第一特征向量包括：
在所述第一投放日志中，确定所述展示请求的接收时间在预设处理周期内的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
确定所述展示信息标识集合包含的不同展示信息标识的个数，并确定所述不同展示信息标识出现的次数；
根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，所述第一投放日志还包括展示信息的属性标识，所述确定所述第一投放日志对应的第一特征向量包括：
在所述第一投放日志中确定所述展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
确定所述展示信息标识集合包含的不同展示信息标识个数，以及所述不同展示信息标识出现的次数；
根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，如果所述相似度小于预设的相似度阈值，所述方法还包括：
依次选取所述第一特征向量对应的多个展示信息标识，作为目标展示信息标识；
在所述第一特征向量和所述第二特征向量中，删除所述目标展示信息标识出现的次数，得到第三特征向量和第四特征向量；
计算所述第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系；
基于所述目标展示信息标识与目标相似度的对应关系，确定使得所述相似度小于预设的相似度阈值的异常展示信息；
所述发送预设的告警指令包括：
发送预设的告警指令，所述告警指令携带有所述异常展示信息、所述相似度、以及所述相似度阈值。
可选的，所述相似度为余弦相似度。
可选的，所述方法还包括：
按照预设的处理周期，计算所述第一特征向量和所述第二特征向量的相似度，得到处理周期与相似度的对应关系；
基于所述处理周期与所述相似度的对应关系，确定相似度随时间的变化曲线，以实时显示所述展示信息投放系统的工作状态。
第二方面，提供了一种展示信息投放系统，所述展示信息投放系统包括第一业务服务器、第二业务服务器、以及存储服务器，其中：
所述第一业务服务器，用于接收展示请求，并生成第一投放日志，其中，所述第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，所述第一业务服务器为添加有新功能的业务服务器；
所述第二业务服务器，用于接收展示请求，并生成第二投放日志，其中，所述第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识，所述第二业务服务器为未添加新功能的业务服务器；
所述存储服务器，用于获取所述第一投放日志和所述第二投放日志；确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由所述第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，所述第二特征向量由所述第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；计算所述第一特征向量和所述第二特征向量的相似度；如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
第三方面，提供了一种监控展示信息投放系统工作状态的装置，所述装置包括：
获取模块，用于获取各业务服务器生成的投放日志，其中，所述各业务服务器包括添加有新功能的第一业务服务器、未添加新功能的第二业务服务器，第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识；
第一确定模块，用于确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由所述第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，所述第二特征向量由所述第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；
第一计算模块，用于计算所述第一特征向量和所述第二特征向量的相似度；
第一发送模块，用于如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
可选的，所述获取模块包括：
接收子模块，用于通过各业务服务器接收展示请求，所述展示请求携带有展示信息的属性标识；
第一确定子模块，用于从预先存储的展示信息目录中，确定包含所述属性标识的展示信息的展示信息标识，得到第一展示信息标识集合；
存储子模块，用于在预先存储的投放日志中，存储所述展示请求的接收时间和所述第一展示信息标识集合的对应关系。
可选的，所述装置还包括：
筛选模块，用于按照预设的筛选条件对所述第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合，所述筛选条件包括所述第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值；
存储模块，用于在预先存储的投放日志中，存储所述展示请求的接收时间和所述第二展示信息标识集合的对应关系；
第二发送模块，用于将所述第二展示信息标识集合对应的展示信息发送至客户端。
可选的，所述第一确定模块包括：
第二确定子模块，用于在所述第一投放日志中，确定所述展示请求的接收时间在预设处理周期内的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
第三确定子模块，用于确定所述展示信息标识集合包含的不同展示信息标识的个数，并确定所述不同展示信息标识出现的次数；
第四确定子模块，用于根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，所述第一投放日志还包括展示信息的属性标识，所述第一确定模块包括：
第五确定子模块，用于在所述第一投放日志中确定所述展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
第六确定子模块，用于确定所述展示信息标识集合包含的不同展示信息标识个数，以及所述不同展示信息标识出现的次数；
第七确定子模块，用于根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，所述装置还包括：
选择模块，用于依次选取所述第一特征向量对应的多个展示信息标识，作为目标展示信息标识；
删除模块，用于在所述第一特征向量和所述第二特征向量中，删除所述目标展示信息标识出现的次数，得到第三特征向量和第四特征向量；
第二计算模块，用于计算所述第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系；
第二确定模块，用于基于所述目标展示信息标识与目标相似度的对应关系，确定使得所述相似度小于预设的相似度阈值的异常展示信息；
所述第一发送模块，还用于发送预设的告警指令，所述告警指令携带有所述异常展示信息、所述相似度、以及所述相似度阈值。
可选的，所述相似度为余弦相似度。
可选的，所述装置还包括：
所述第一计算模块，还用于按照预设的处理周期，计算所述第一特征向量和所述第二特征向量的相似度，得到处理周期与相似度的对应关系；
所述第一确定模块，还用于基于所述处理周期与所述相似度的对应关系，确定相似度随时间的变化曲线，以实时显示所述展示信息投放系统的工作状态。
第四方面，提供了一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一第一方面所述的方法步骤。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一第一方面所述的方法步骤。
本申请实施例提供的一种监控展示信息投放系统工作状态的方法、装置及系统，通过添加有新功能的第一业务服务器，和未添加新功能的第二业务服务器接收展示请求，并生成相应的第一投放日志和第二投放日志；然后，分别基于第一投放日志确定第一特征向量，基于第二投放日志确定第二特征向量；之后，再计算第一特征向量与第二特征向量的相似度，通过相似度与预设的相似度阈值的比较结果，确定展示信息投放系统的工作状态是否存在异常，能够提高展示信息投放系统工作状态监控的准确率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种监控展示信息投放系统工作状态的方法的方法流程图；
图2为本申请实施例提供的一种监控展示信息投放系统工作状态的方法的方法流程图；
图3为本申请实施例提供的一种监控展示信息投放系统工作状态的方法的方法流程图；
图4为本申请实施例提供的一种监控展示信息投放系统工作状态的方法的方法流程图；
图5为本申请实施例提供的一种相似度随时间变化的变化曲线示例图；
图6为本申请实施例提供的一种监控展示信息投放系统工作状态的装置的结构示意图；
图7为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种监控展示信息投放系统工作状态的方法，该方法应用于服务器，服务器可以是存储服务器，也可以是业务服务器，本申请实施例以该方法应用于存储服务器为例进行介绍。存储服务器和业务服务器中可以预先设置有展示信息投放系统。业务服务器可以与客户端保持通信连接，以通过展示信息投放系统接收客户端发送的展示请求，然后，业务服务器可以确定展示请求对应的展示信息，再将展示信息发送至客户端。客户端可以是手机、电脑等电子设备，展示信息可以是某一产品的宣传视频，也可以是某一活动的宣传信息。例如，展示信息可以是“戏骨云集，智斗登场，11月29日一起头脑风暴”。
展示信息投放系统添加新功能后，业务服务器可以通过添加有新功能的展示信息投放系统，对返回给客户端的展示信息进行限定。例如，新功能可以是按照显示时机筛选展示信息，显示时机例如播放视频之前显示展示信息、当播放视频的时长到达预设播放时长时显示展示信息、以及在视频播放结束之前显示展示信息。
展示信息投放系统添加新功能后，存储服务器需要对展示信息投放系统的工作状态进行监控，以确定增加了新功能的展示信息投放系统可以正常运行，避免返回给客户端的展示信息与展示请求不匹配。
在对添加有新功能的展示信息投放系统进行监控之前，存储服务器可以通过展示信息投放系统，在业务服务器中确定添加有新功能的业务服务器为第一业务服务器，以及未添加新功能的服务器为第二业务服务器。
在一种可行的实现方式中，第一业务服务器包含的业务服务器的个数可以小于第二业务服务器包含的业务服务器的个数。相应的，第一业务服务器响应的展示请求的个数也小于第二业务服务器响应的展示请求的个数，也即在小部分流量上线新功能。由此可以实现基于小部分流量，监控添加有新功能的展示信息投放系统工作状态。
如图1所示，一种监控展示信息投放系统工作状态的方法的具体处理流程包括：
步骤101，获取各业务服务器生成的投放日志。
其中，投放日志可以包括展示请求的接收时间、展示请求对应的展示信息的展示信息标识、以及生成该投放日志的业务服务器的标识，为了便于区分，第一业务服务器生成的投放日志可称为第一投放日志，第二业务服务器生成的投放日志可称为第二投放日志。
在实施中，第一业务服务器可以接收展示请求，基于展示请求确定展示信息、以及展示信息的展示信息标识，然后，第一业务服务器可以基于该展示信息标识生成第一投放日志。
第二业务服务器生成第二投放日志的过程与之类似不再赘述。
各业务服务器基于展示信息的展示信息标识，生成投放日志的具体过程后续会进行详细说明。
在一种可行的实现方式中，在展示信息投放系统的运行过程中，存储服务器可以获取各业务服务器生成的投放日志，也即获取第一业务服务器生成的第一投放日志，第二业务服务器生成的第二投放日志，并在本地对应存储第一投放日志和第二投放日志。
在另一种可行的实现方式，在展示信息投放系统的运行过程中，存储服务器可以通过第一业务服务器或第二业务服务器，获取第一业务服务器生成的第一投放日志，第二业务服务器生成的第二投放日志，并在第一业务服务器或第二业务服务器的本地对应存储第一投放日志和第二投放日志。
在本地对应存储第一投放日志和第二投放日志的具体过程后续会进行详细说明。
可选的，存储服务器、第一业务服务器、第二业务服务器可以实时获取投放日志，也可以按照预设的处理周期，获取投放日志，本申请实施例不作具体限定。
步骤102，确定第一投放日志对应的第一特征向量、以及第二投放日志对应的第二特征向量。
其中，存储服务器可以根据第一投放日志和第二投放日志包含的展示信息标识，确定展示信息标识集合。第一特征向量由展示信息标识集合包含的各展示信息标识，在第一投放日志的出现次数构成；第二特征向量由展示信息标识集合包含的各展示信息标识，在第二投放日志的出现次数构成。
在实施中，存储服务器可以根据第一投放日志包含的展示信息标识，确定第一投放日志对应的展示信息标识集合(为了与展示信息标识集合区分，将第一投放日志对应的展示信息标识集合称为第三展示信息标识集合)，以及第三展示信息标识集合中各展示信息标识的出现次数。类似的，存储服务器可以根据第二投放日志包含的展示信息标识，确定第二投放日志对应的第四展示信息标识集合，以及第四展示信息标识集合中各展示信息标识的出现次数。
然后，存储服务器可以根据第三展示信息标识集合，和第四展示信息标识集合包含的展示信息标识，确定展示信息标识集合。之后，存储服务器可以将展示信息标识集合包含的展示信息标识的个数作为向量维度，展示信息标识集合包含的各展示信息标识，在第一投放日志的出现次数作为相应的向量元素，构成第一特征向量。第二特征向量的生成过程与之类似不再赘述。
例如，存储服务器根据第一投放日志，确定第一投放日志包含的4个展示信息标识为A、B、C、D，相应的展现信息标识出现的次数为3、4、5、4，即第三展示信息标识集合为[A，B，C，D]。存储服务器根据第二投放日志，确定第二投放日志包含的3个展示信息标识为A、B、E，相应的展现信息标识出现的次数为5、3、3，即第四展示信息标识集合为[A，B，E]。
存储服务器可以根据第三展示信息标识集合[A，B，C，D]，和第四展示信息标识集合[A，B，E]包含的展示信息标识，确定展示信息标识集合为[A，B，C，D，E]。存储服务器可以将展示信息标识集合包含的展示信息标识的个数5作为向量维度。然后，存储服务器可以将展示信息标识集合包含的各展示信息标识在第一投放日志的出现次数作为相应的向量元素，构成第一特征向量[3，4，5，4，0]，存储服务器可以将展示信息标识集合包含的各展示信息标识在第二投放日志的出现次数作为相应的向量元素，构成第二特征向量[5，3，0，0，3]。
步骤103，计算第一特征向量和第二特征向量的相似度。
在实施中，服务器可以计算第一特征向量和第二特征向量的相似度。
可选的，相似度为余弦相似度。
在实施中，第一特征向量和第二特征向量的相似度可以是余弦相似度，第一特征向量和第二特征向量的相似度还可以是欧式距离相似度、以及Pearson(皮尔逊)相关系数。本申请实施例不作具体限定。
本申请实施例提供了一种计算第一特征向量和第二特征向量的余弦相似度的计算公式，具体如下：
其中，A为第一特征向量，B为第二特征向量，n为向量维数，cosθ为A和B的余弦相似度。
步骤104，如果相似度小于预设的相似度阈值，则发送预设的告警指令。
在实施中，存储服务器中可以预先设置有相似度阈值，当相似度为余弦相似度时，相似度阈值可以是1。
存储服务器可以将计算得到的相似度与相似度阈值进行比较，如果相似度小于预设的相似度阈值，存储服务器可以发送预设的告警指令，以提示添加有新功能的展示信息投放系统的运行存在问题。如果相似度大于或等于预设的相似度阈值，在该处理周期内存储服务器可以不作后续处理。
存储服务器可以在每次展示信息投放系统出现异常(即相似度小于相似度阈值)时，发送预设的告警指令，存储服务器也可以在出现异常的次数达到预设的告警次数阈值时，再发送预设的告警指令。
本申请实施例中，添加有新功能的第一业务服务器，和未添加新功能的第二业务服务器接收展示请求，并生成相应的第一投放日志和第二投放日志；然后，存储服务器分别基于第一投放日志确定第一特征向量，基于第二投放日志确定第二特征向量。之后，再计算第一特征向量与第二特征向量的相似度，通过比较相似度与预设的相似度阈值，确定添加有新功能的展示信息投放系统是否存在问题。由于将可以科学量化的相似度作为监控的指标，并基于相似度判断工作状态，所以能够提高展示信息投放系统工作状态监控的准确率。
可选的，本申请实施例提供了一种业务服务器基于展示信息的展示信息标识生成投放日志的实现方式，如图2所示，具体处理过程如下：
步骤201，通过各业务服务器接收展示请求。
其中，展示请求携带有展示信息的属性标识。属性标识可以是用户使用的视频平台的标识，也可以是用户所属的地域的标识。属性标识还可以包括客户端版本号、播放器类型、以及用户等级标识中的一种或多种。
在实施中，存储服务器可以通过第一业务服务器和第二业务服务器接收展示请求，并记录展示请求的接收时间。
步骤202，从预先存储的展示信息目录中，确定包含属性标识的展示信息的展示信息标识，得到第一展示信息标识集合。
在实施中，业务服务器中可以预先存储有展示信息目录，展示信息目录包括多个展示信息、每个展示信息对应的展示信息标识，以及每个展示信息对应的属性标识。
针对展示请求携带的展示信息的属性标识，第一业务服务器可以在获取该属性标识后，在预先存储的展示信息目录中，确定该属性标识对应的展示信息，以及展示信息的展示信息标识，然后，第一业务服务器可以根据确定出的展示信息标识生成第一展示信息标识集合。
步骤203，在预先存储的投放日志中，存储展示请求的接收时间和第一展示信息标识集合的对应关系。
在实施中，第一业务服务器可以在确定第一展示信息标识集合后，在预先存储的第一投放日志中增加展示请求的接收时间与展示请求对应的第一展示信息标识集合的表项，以存储展示请求的接收时间和第一展示信息标识集合的对应关系。
在一种可行的实现方式中，第一业务服务器还可以在第一投放日志中存储第一业务服务器的标识，如表1所示，本申请实施例提供了一种投放日志的记录方式，其中，A为第一业务服务器的标识，9:02为展示请求的接收时间，id1-id2-id3为第一展示信息标识集合。
表1
| 业务服务器的标识 | 展示请求的接收时间 | 展示信息标识集合 |
| A | 9:02 | id1-id2-id3 |
第一业务服务器可以将第一展示信息标识集合对应的展示信息发送至客户端，以使客户端在预设的显示页面显示接收到的展示信息。
第二业务服务器的处理过程与之类似，此处不再赘述，由此，可以得到第二投放日志。
本申请实施例中，业务服务器根据展示请求携带的属性标识，从展示信息目录中，确定该属性标识对应的展示信息，能够实现基于展示请求的流量属性和用户属性，从展示信息目录中确定匹配展示请求的展示信息。同时，基于确定出的展示信息的展示信息标识生成投放日志，能够记录该业务服务器对展示请求的应答情况，便于后续扩展投放日志中存储的信息的信息种类，以使存储服务器可以基于扩展信息种类的投放日志确定出具有更多维度的特征向量，并进一步基于具有更多维度的特征向量计算相似度，实现提高展示信息投放系统监控维度的多样性和准确率。
可选的，业务服务器从展示信息目录中，确定包含属性标识的展示信息后，还可以基于预设的筛选条件对包含属性标识的展示信息进一步筛选，以确定返回给客户端的展示信息。
本申请实施例还提供了一种各业务服务器基于包含属性标识的展示信息，生成投放日志的实现方式，如图3所示，具体处理过程如下：
步骤301，按照预设的筛选条件对第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合。
其中，业务服务器中可以预先设置有筛选条件，筛选条件包括第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值。展示信息目录中还可以对应存储有预设处理周期内该展示信息的展示频次，针对每个展示信息，业务服务器可以在将该展示信息返回至客户端后，更新该展示信息的展示频次。
在实施中，第一业务服务器可以按照预设的筛选条件对第一展示信息标识集合对应的展示信息进行筛选，得到满足筛选条件的多个展示信息，以及展示信息的展示信息标识，从而得到第二展示信息标识集合。
例如，第一业务服务器可以针对第一展示信息标识集合对应的展示信息，依次确定展示频次小于预设的展示频次阈值的展示信息，然后，将得到的展示信息的展示信息标识作为集合元素，确定第二展示信息标识集合。
步骤302，在预先存储的投放日志中，存储展示请求的接收时间和第二展示信息标识集合的对应关系。
在实施中，第一业务服务器可以在确定第二展示信息标识集合后，在第一投放日志中增加展示请求的接收时间与展示请求对应的第二展示信息标识集合的表项，以存储展示请求的接收时间和第二展示信息标识集合的对应关系。
在一种可行的实现方式中，第一业务服务器还可以在存储展示请求的接收时间和第二展示信息标识集合的对应关系时，存储表项类型。表项类型包括召回和展示，召回用于表示该表项中存储的展示信息标识集合，为第一业务服务器基于展示请求携带的属性标识确定的第一展示信息标识集合。展示用于表示该表项中存储的展示信息标识集合，为第一业务服务器基于筛选条件和第一展示信息标识集合确定的第二展示信息标识集合。相应的，在步骤203中，第一业务服务器可以在第一投放日志中，对应存储表项类型、展示请求的接收时间、以及第一展示信息标识集合的对应关系。
如表2所示，为本申请实施例提供的一种投放日志的记录方式：
表2
其中，表项类型为召回，表示id1-id2-id3为第一展示信息标识集合，表项类型为展示，表示id1-id3为第二展示信息标识集合。
第二业务服务器的处理过程与之类似，此处不再赘述。由此，可以得到第二投放日志。
步骤303，将第二展示信息标识集合对应的展示信息发送至客户端。
在实施中，第一业务服务器可以将第二展示信息标识集合对应的展示信息发送至客户端，以使客户端在预设的显示页面显示接收到的展示信息。
本申请实施例中，业务服务器按照筛选条件对第一展示信息标识集合进行筛选，可以实现对发送给客户端的展示信息进行展示频次控制、曝光总量控制、以及平滑控制等筛选处理，满足展示信息提供者的多种展示需求。同时，在投放日志中存储第一展示信息标识集合，以及筛选出的第二展示信息标识集合，使得可以基于投放日志中展示信息标识集合的类别，计算不同类别对应的相似度，为监控展示信息投放系统的运行状态提供更多的参考数据，有利于提高展示信息投放系统监控的准确率。
可选的，存储服务器确定第一投放日志对应的第一特征向量，以及第二投放日志对应的第二特征向量的方式是多种多样的，本申请实施例提供了一种确定第一投放日志对应的第一特征向量的方式，如图4所示，该方式的具体处理过程如下：
步骤401，在第一投放日志中，确定展示请求的接收时间在预设处理周期内的展示信息标识集合。
其中，展示信息标识集合为第一展示信息标识集合或第二展示信息标识集合。
在实施中，存储服务器可以按照预设的时间间隔，确定多个处理周期，然后，存储服务器可以针对每个处理周期，在第一投放日志中确定展示请求的接收时间属于该处理周期的表项。之后，存储服务器可以在该表项中获取展示信息标识集合，由此，可以确定展示请求的接收时间在预设处理周期内的展示信息标识集合。
例如，时间间隔可以是5分钟，存储服务器可以在9点钟开始对展示信息投放系统工作状态监控进行监控，处理周期可以是9:00-9:05、9:05-9:10。针对处理周期9:00-9:05，存储服务器可以在第一投放日志中，确定展示请求的接收时间属于9:00-9:05的表项，并在该表项中获取展示信息标识集合，作为展示请求的接收时间属于9:00-9:05的展示信息标识集合。
步骤402，确定展示信息标识集合包含的不同展示信息标识的个数，并确定不同展示信息标识出现的次数。
在实施中，存储服务器可以针对展示信息标识集合包含的多个展示信息标识，确定展示信息标识集合包含的不同展示信息标识，得到第一投放日志对应的第三展示信息标识集合、以及第三展示信息标识集合中各展示信息标识的出现次数。
类似的，存储服务器可以通过第二业务服务器，确定该处理周期内第二投放日志对应的第四展示信息标识集合，以及第四展示信息标识集合中各展示信息标识的出现次数。
然后，存储服务器可以根据第三展示信息标识集合，和第四展示信息标识集合包含的展示信息标识，确定展示信息标识集合、展示信息标识集合包含的不同展示信息标识的个数。
步骤403，根据不同展示信息标识的个数、展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
在实施中，存储服务器可以将展示信息标识集合包含的展示信息标识的个数作为向量维度，展示信息标识集合包含的各展示信息标识，在第一投放日志的出现次数作为相应的向量元素，构成第一特征向量。
可选的，服务器可以在第一投放日志中，对应存储展示请求的接收时间、展示信息标识集合、以及展示信息的属性标识，此时，服务器还可以通过以下方式确定第一投放日志对应的第一特征向量：
步骤一，在第一投放日志中确定展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合。
其中，展示信息标识集合为第一展示信息标识集合或第二展示信息标识集合。
在实施中，服务器可以在第一投放日志中，确定展示请求的接收时间在当前预设处理周期内，且具有相同属性标识的展示信息标识集合。
如表3所示，为本申请实施例提供的一种投放日志的记录方式，其中，投放日志中存储的属性标识为地域标识“华北”。
表3
步骤二，确定展示信息标识集合包含的不同展示信息标识个数，以及不同展示信息标识出现的次数。
在实施中，此步骤的具体处理过程与步骤402相同。
步骤三，根据不同展示信息标识的个数、展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
在实施中，此步骤的具体处理过程与步骤403相同。
本申请实施例中，存储服务器在投放日志中，对应存储筛选条件对应的属性标识，能够实现在投放日志中记录更多的投放信息。投放信息包括播放器类型、客户端类型、客户端版本号、客户端所属平台等。这样，存储服务器可以针对不同的筛选条件，基于该筛选条件对应的属性标识确定第一特征向量和第二特征向量，并计算第一特征向量和第二特征向量的相似度，可以为监控展示信息投放系统的运行状态提供更多的参考数据，从而提高展示信息投放系统监控的准确率。
本申请实施例中，存储服务器可以是ES(ElasticSearch，弹性搜索)存储服务器，ES存储服务器从业务服务器中获取投放日志，并在本地进行存储的方式是多种多样的。在一种可行的实现方式中，ES存储服务器可以直接存储第一投放日志和第二投放日志。在另一种可行的实现方式中，ES存储服务器可以基于第一投放日志和第二投放日志，生成目标投放日志。ES存储服务器可以将第一投放日志和第二投放日志中的表项按照展示请求的接收时间，以预设聚合时间段为单位进行聚合，得到目标投放日志，预设聚合时间段可以是1分钟，目标投放日志包括表项与接收时间段的对应关系。
为了便于区分目标投放日志中的第一投放日志和第二投放日志的表项，ES存储服务器可以在目标投放日志中，分别为第一投放日志和第二投放日志创建两个索引，然后，将第一投放日志或第二投放日志中的表项按照展示请求的接收时间，以1分钟为单位对表项进行聚合。之后，ES存储服务器可以存储索引、接收时间段、以及表项的对应关系。
例如，ES存储服务器获取投放日志后，可以针对每条表项，根据该表项所属的投放日志确定目标索引，并确定该表项包含的展示请求的接收时间所属的接收时间段，然后，将该表项存储到目标索引对应的接收时间段中。这样，能够实现将第一投放日志和第二投放日志中的表项按照展示请求的接收时间，以预设聚合时间段为单位进行聚合。
如表4所示，为本申请实施例提供的一种目标投放日志的记录方式的示例，其中索引A对应于第一投放日志中的表项，索引B对应于第二投放日志中的表项。
表4
ES存储服务器基于目标投放日志计算相似度的过程可以是：当处理周期为9:00-9:05、表项类型为展示时，在目标投放日志中确定索引为A，表项类型为展示，且接收时间段属于9:00-9:05的第一表项，并获取第一表项包含的展示信息标识集合id1-id3。类似的，ES存储服务器可以确定索引为B，表项类型为展示，且接收时间段属于9:00-9:05的第二表项，并获取第二表项包含的展示信息标识集合id1-id3。
然后，ES存储服务器可以确定展示信息标识集合为[id1 id3]，第一特征向量为[11]，第二特征向量为[1 1]，第一特征向量和第二特征向量之间的相似度为1。之后，ES存储服务器可以将该处理周期对应的相似度，存储在预设的结果索引中。
可选的，当相似度小于预设的相似度阈值时，存储服务器可以通过多种方式发送预设的告警指令，以提示展示信息投放系统工作状态存在异常，本申请实施例提供了一种存储服务器发送告警指令的方式，包括：
步骤1、依次选取第一特征向量对应的多个展示信息标识，作为目标展示信息标识。
在实施中，存储服务器可以针对第一特征向量对应的多个展示信息标识，依次选取某一展示信息标识作为目标展示信息标识。
步骤2、在第一特征向量和第二特征向量中，删除目标展示信息标识出现的次数，得到第三特征向量和第四特征向量。
在实施中，存储服务器可以在第一特征向量中，删除目标展示信息标识出现的次数，得到第三特征向量；类似的，存储服务器可以在第二特征向量中，删除目标展示信息标识出现的次数，得到第四特征向量。
存储服务器可以通过将第一特征向量中，该目标展示信息标识对应的向量元素设置为0的方式，删除目标展示信息标识出现的次数；存储服务器也可以在第一特征向量中删除目标展示信息标识对应的向量维度，将得到的减少了向量维度的向量作为第三特征向量。
步骤3、计算第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系。
在实施中，存储服务器可以计算第三特征向量和第四特征向量的相似度，得到目标相似度，由此，存储服务器可以得到第一特征向量对应的多个展示信息标识的目标相似度，也即目标展示信息标识与目标相似度的对应关系。
步骤4、基于目标展示信息标识与目标相似度的对应关系，确定使得相似度小于预设的相似度阈值的异常展示信息。
在实施中，存储服务器可以基于目标展示信息标识与目标相似度的对应关系，对目标相似度进行排序，得到目标相似度排列顺序，存储服务器可以基于该目标相似度排列顺序，确定使得相似度小于预设的相似度阈值的异常展示信息。
例如，存储服务器可以基于目标相似度排列顺序，确定目标相似度的最小值，并将该最小值对应的目标展示信息标识的展示信息作为异常展示信息。
在一种可行的实现方式中，存储服务器也可以计算每个目标相似度与相似度阈值的相似度差值，得到多个目标相似度对应的相似度差值，并对多个目标相似度对应的相似度差值进行排序，得到相似度差值排列顺序。存储服务器可以基于该相似度差值排列顺序，确定使得相似度小于预设的相似度阈值的异常展示信息。
本申请实施例中，异常展示信息的个数可以是一个，也可以是多个，本申请实施例不作具体限定。
步骤5、发送预设的告警指令。
其中，告警指令携带有异常展示信息、相似度、以及相似度阈值。
在实施中，存储服务器可以基于确定出的异常展示信息、相似度阈值、以及相似度，确定告警指令，并发送预设的告警指令。
在一种可行的实现方式中，存储服务器可以通过发送邮件的方式提示展示信息投放系统工作状态存在异常，邮件内容为异常展示信息、相似度、以及相似度阈值。
本申请实施例中，当基于第一特征向量和第二特征向量确定出的相似度小于相似度阈值时，存储服务器可以确定异常展示信息，并发送携带有异常展示信息的告警指令，以提醒工作人员展示信息投放系统存在异常，并为工作人员提供参考数据，便于问题的定位与排查，使得工作人员能够及时采取规避措施，避免存在问题的新功能全部上线之后造成损失。
可选的，存储服务器还可以显示各处理周期对应的相似度，以实现对展示信息投放系统工作状态的监控，具体的处理流程如下：
步骤A、按照预设的处理周期，计算第一特征向量和第二特征向量的相似度，得到处理周期与相似度的对应关系。
在实施中，存储服务器可以按照预设的处理周期，确定该处理周期对应的第一特征向量和第二特征向量，然后，计算第一特征向量和第二特征向量的相似度，得到该处理周期对应的相似度。由此，存储服务器可以得到多个处理周期对应相似度，也即处理周期与相似度的对应关系。
本申请实施例中，存储服务器可以通过预设的influxdb(流入)数据库存储处理周期与相似度的对应关系。
步骤B、基于处理周期与相似度的对应关系，确定相似度随时间的变化曲线，以实时显示展示信息投放系统的工作状态。
在实施中，存储服务器可以基于处理周期与相似度的对应关系，生成相似度随时间的变化曲线。
在一种可行的实现方式中，存储服务器可以通过预设的Grafana(格拉法纳)算法，基于处理周期与相似度的对应关系，确定相似度随时间的变化曲线。
如图5所示，为本申请实施例提供的一种相似度随时间变化的变化曲线示例图，其中，变化曲线的横坐标为时间，纵坐标为相似度。
本申请实施例中，存储服务器确定处理周期与相似度的对应关系，生成并显示相似度随时间的变化曲线，使得工作人员可以更加直观的了解展示信息投放系统的工作状态，便于对展示信息投放系统进行监控。
本申请实施例还提供了一种展示信息投放系统，展示信息投放系统包括第一业务服务器、第二业务服务器、以及存储服务器，其中：
第一业务服务器，用于接收展示请求，并生成第一投放日志，其中，第一投放日志包括第一业务服务器基于展示请求确定出的展示信息标识，第一业务服务器为添加有新功能的服务器；
第二业务服务器，用于接收展示请求，并生成第二投放日志，其中，第二投放日志包括第二业务服务器基于展示请求确定出的展示信息标识，第二业务服务器为未添加新功能的服务器；
存储服务器，用于获取第一投放日志和第二投放日志；确定第一投放日志对应的第一特征向量、以及第二投放日志对应的第二特征向量，第一特征向量由第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，第二特征向量由第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；计算第一特征向量和第二特征向量的相似度；如果相似度小于预设的相似度阈值，则发送预设的告警指令。
本申请实施例提供的一种监控展示信息投放系统工作状态的系统，通过添加有新功能的第一业务服务器，和未添加新功能的第二业务服务器接收展示请求，并生成相应的第一投放日志和第二投放日志；然后，分别基于第一投放日志确定第一特征向量，基于第二投放日志确定第二特征向量；之后，再计算第一特征向量与第二特征向量的相似度，通过相似度与预设的相似度阈值的比较结果，确定展示信息投放系统的工作状态是否存在异常，能够提高展示信息投放系统工作状态监控的准确率。
本申请实施例还提供了一种监控展示信息投放系统工作状态的装置，如图6所示，所述装置包括：
获取模块610，用于获取各业务服务器生成的投放日志，其中，所述各业务服务器包括添加有新功能的第一业务服务器、未添加新功能的第二业务服务器，第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识；
第一确定模块620，用于确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由所述第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，所述第二特征向量由所述第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；
第一计算模块630，用于计算所述第一特征向量和所述第二特征向量的相似度；
第一发送模块640，用于如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
可选的，所述获取模块包括：
接收子模块，用于通过各业务服务器接收展示请求，所述展示请求携带有展示信息的属性标识；
第一确定子模块，用于从预先存储的展示信息目录中，确定包含所述属性标识的展示信息的展示信息标识，得到第一展示信息标识集合；
存储子模块，用于在预先存储的投放日志中，存储所述展示请求的接收时间和所述第一展示信息标识集合的对应关系。
可选的，所述装置还包括：
筛选模块，用于按照预设的筛选条件对所述第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合，所述筛选条件包括所述第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值；
存储模块，用于在预先存储的投放日志中，存储所述展示请求的接收时间和所述第二展示信息标识集合的对应关系；
第二发送模块，用于将所述第二展示信息标识集合对应的展示信息发送至客户端。
可选的，所述第一确定模块包括：
第二确定子模块，用于在所述第一投放日志中，确定所述展示请求的接收时间在预设处理周期内的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
第三确定子模块，用于确定所述展示信息标识集合包含的不同展示信息标识的个数，并确定所述不同展示信息标识出现的次数；
第四确定子模块，用于根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，所述第一投放日志还包括展示信息的属性标识，所述第一确定模块包括：
第五确定子模块，用于在所述第一投放日志中确定所述展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
第六确定子模块，用于确定所述展示信息标识集合包含的不同展示信息标识个数，以及所述不同展示信息标识出现的次数；
第七确定子模块，用于根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，所述装置还包括：
选择模块，用于依次选取所述第一特征向量对应的多个展示信息标识，作为目标展示信息标识；
删除模块，用于在所述第一特征向量和所述第二特征向量中，删除所述目标展示信息标识出现的次数，得到第三特征向量和第四特征向量；
第二计算模块，用于计算所述第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系；
第二确定模块，用于基于所述目标展示信息标识与目标相似度的对应关系，确定使得所述相似度小于预设的相似度阈值的异常展示信息；
所述第一发送模块，还用于发送预设的告警指令，所述告警指令携带有所述异常展示信息、所述相似度、以及所述相似度阈值。
可选的，所述相似度为余弦相似度。
可选的，所述装置还包括：
所述第一计算模块，还用于按照预设的处理周期，计算所述第一特征向量和所述第二特征向量的相似度，得到处理周期与相似度的对应关系；
所述第一确定模块，还用于基于所述处理周期与所述相似度的对应关系，确定相似度随时间的变化曲线，以实时显示所述展示信息投放系统的工作状态。
本申请实施例提供的一种监控展示信息投放系统工作状态的装置，通过添加有新功能的第一业务服务器，和未添加新功能的第二业务服务器接收展示请求，并生成相应的第一投放日志和第二投放日志；然后，分别基于第一投放日志确定第一特征向量，基于第二投放日志确定第二特征向量；之后，再计算第一特征向量与第二特征向量的相似度，通过相似度与预设的相似度阈值的比较结果，确定展示信息投放系统的工作状态是否存在异常，能够提高展示信息投放系统工作状态监控的准确率。
本申请实施例还提供了一种服务器，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取各业务服务器生成的投放日志，其中，所述各业务服务器包括添加有新功能的第一业务服务器、未添加新功能的第二业务服务器，第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识；
确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由所述第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，所述第二特征向量由所述第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；
计算所述第一特征向量和所述第二特征向量的相似度；
如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
可选的，所述获取各业务服务器生成的投放日志包括：
通过各业务服务器接收展示请求，所述展示请求携带有展示信息的属性标识；
从预先存储的展示信息目录中，确定包含所述属性标识的展示信息的展示信息标识，得到第一展示信息标识集合；
在预先存储的投放日志中，存储所述展示请求的接收时间和所述第一展示信息标识集合的对应关系。
可选的，所述得到第一展示信息标识集合之后，还包括：
按照预设的筛选条件对所述第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合，所述筛选条件包括所述第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值；
在预先存储的投放日志中，存储所述展示请求的接收时间和所述第二展示信息标识集合的对应关系；
将所述第二展示信息标识集合对应的展示信息发送至客户端。
可选的，所述确定所述第一投放日志对应的第一特征向量包括：
在所述第一投放日志中，确定所述展示请求的接收时间在预设处理周期内的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
确定所述展示信息标识集合包含的不同展示信息标识的个数，并确定所述不同展示信息标识出现的次数；
根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，所述第一投放日志还包括展示信息的属性标识，所述确定所述第一投放日志对应的第一特征向量包括：
在所述第一投放日志中确定所述展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
确定所述展示信息标识集合包含的不同展示信息标识个数，以及所述不同展示信息标识出现的次数；
根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
可选的，如果所述相似度小于预设的相似度阈值，所述方法还包括：
依次选取所述第一特征向量对应的多个展示信息标识，作为目标展示信息标识；
在所述第一特征向量和所述第二特征向量中，删除所述目标展示信息标识出现的次数，得到第三特征向量和第四特征向量；
计算所述第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系；
基于所述目标展示信息标识与目标相似度的对应关系，确定使得所述相似度小于预设的相似度阈值的异常展示信息；
所述发送预设的告警指令包括：
发送预设的告警指令，所述告警指令携带有所述异常展示信息、所述相似度、以及所述相似度阈值。
可选的，所述相似度为余弦相似度。
可选的，所述方法还包括：
按照预设的处理周期，计算所述第一特征向量和所述第二特征向量的相似度，得到处理周期与相似度的对应关系；
基于所述处理周期与所述相似度的对应关系，确定相似度随时间的变化曲线，以实时显示所述展示信息投放系统的工作状态。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一监控展示信息投放系统工作状态的方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一监控展示信息投放系统工作状态的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本申请实施例提供的一种监控展示信息投放系统工作状态的方法、装置及系统，通过添加有新功能的第一业务服务器，和未添加新功能的第二业务服务器接收展示请求，并生成相应的第一投放日志和第二投放日志；然后，分别基于第一投放日志确定第一特征向量，基于第二投放日志确定第二特征向量；之后，再计算第一特征向量与第二特征向量的相似度，通过相似度与预设的相似度阈值的比较结果，确定展示信息投放系统的工作状态是否存在异常，能够提高展示信息投放系统工作状态监控的准确率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (19)
1.一种监控展示信息投放系统工作状态的方法，其特征在于，所述方法包括：
获取各业务服务器生成的投放日志，其中，所述各业务服务器包括添加有新功能的第一业务服务器、未添加新功能的第二业务服务器，第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识；
确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由展示信息标识集合包含的各展示信息标识在所述第一投放日志中的出现次数构成，所述第二特征向量由展示信息标识集合包含的各展示信息标识在所述第二投放日志中的出现次数构成，所述展示信息标识集合根据所述第一投放日志和所述第二投放日志确定；
计算所述第一特征向量和所述第二特征向量的相似度；
如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
2.根据权利要求1所述的方法，其特征在于，所述获取各业务服务器生成的投放日志包括：
通过各业务服务器接收展示请求，所述展示请求携带有展示信息的属性标识；
从预先存储的展示信息目录中，确定包含所述属性标识的展示信息的展示信息标识，得到第一展示信息标识集合；
在预先存储的投放日志中，存储所述展示请求的接收时间和所述第一展示信息标识集合的对应关系。
3.根据权利要求2所述的方法，其特征在于，所述得到第一展示信息标识集合之后，还包括：
按照预设的筛选条件对所述第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合，所述筛选条件包括所述第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值；
在预先存储的投放日志中，存储所述展示请求的接收时间和所述第二展示信息标识集合的对应关系；
将所述第二展示信息标识集合对应的展示信息发送至客户端。
4.根据权利要求3所述的方法，其特征在于，所述确定所述第一投放日志对应的第一特征向量包括：
在所述第一投放日志中，确定所述展示请求的接收时间在预设处理周期内的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
确定所述展示信息标识集合包含的不同展示信息标识的个数，并确定所述不同展示信息标识出现的次数；
根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
5.据权利要求3所述的方法，其特征在于，所述第一投放日志还包括展示信息的属性标识，所述确定所述第一投放日志对应的第一特征向量包括：
在所述第一投放日志中确定所述展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
确定所述展示信息标识集合包含的不同展示信息标识个数，以及所述不同展示信息标识出现的次数；
根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
6.根据权利要求1所述的方法，其特征在于，如果所述相似度小于预设的相似度阈值，所述方法还包括：
依次选取所述第一特征向量对应的多个展示信息标识，作为目标展示信息标识；
在所述第一特征向量和所述第二特征向量中，删除所述目标展示信息标识出现的次数，得到第三特征向量和第四特征向量；
计算所述第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系；
基于所述目标展示信息标识与目标相似度的对应关系，确定使得所述相似度小于预设的相似度阈值的异常展示信息；
所述发送预设的报警指令包括：
发送预设的告警指令，所述告警指令携带有所述异常展示信息、所述相似度、以及所述相似度阈值。
7.根据权利要求1所述的方法，其特征在于，所述相似度为余弦相似度。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设的处理周期，计算所述第一特征向量和所述第二特征向量的相似度，得到处理周期与相似度的对应关系；
基于所述处理周期与所述相似度的对应关系，确定相似度随时间的变化曲线，以实时显示所述展示信息投放系统的工作状态。
9.一种展示信息投放系统，其特征在于，所述展示信息投放系统包括第一业务服务器、第二业务服务器、以及存储服务器，其中：
所述第一业务服务器，用于接收展示请求，并生成第一投放日志，其中，所述第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，所述第一业务服务器为添加有新功能的业务服务器；
所述第二业务服务器，用于接收展示请求，并生成第二投放日志，其中，所述第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识，所述第二业务服务器为未添加新功能的业务服务器；
所述存储服务器，用于获取所述第一投放日志和所述第二投放日志；确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由展示信息标识集合包含的各展示信息标识在所述第一投放日志中的出现次数构成，所述第二特征向量由展示信息标识集合包含的各展示信息标识在所述第二投放日志中的出现次数构成，所述展示信息标识集合根据所述第一投放日志和所述第二投放日志确定；计算所述第一特征向量和所述第二特征向量的相似度；如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
10.一种监控展示信息投放系统工作状态的装置，其特征在于，所述装置包括：
获取模块，用于获取各业务服务器生成的投放日志，其中，所述各业务服务器包括添加有新功能的第一业务服务器、未添加新功能的第二业务服务器，第一投放日志包括所述第一业务服务器基于展示请求确定出的展示信息标识，第二投放日志包括所述第二业务服务器基于展示请求确定出的展示信息标识；
第一确定模块，用于确定所述第一投放日志对应的第一特征向量、以及所述第二投放日志对应的第二特征向量，所述第一特征向量由所述第一投放日志中的展示信息标识、以及各展示信息标识的出现次数构成，所述第二特征向量由所述第二投放日志中的展示信息标识、以及各展示信息标识出现次数构成；
第一计算模块，用于计算所述第一特征向量和所述第二特征向量的相似度；
第一发送模块，用于如果所述相似度小于预设的相似度阈值，则发送预设的告警指令。
11.根据权利要求10所述的装置，其特征在于，所述获取模块包括：
接收子模块，用于通过各业务服务器接收展示请求，所述展示请求携带有展示信息的属性标识；
第一确定子模块，用于从预先存储的展示信息目录中，确定包含所述属性标识的展示信息的展示信息标识，得到第一展示信息标识集合；
存储子模块，用于在预先存储的投放日志中，存储所述展示请求的接收时间和所述第一展示信息标识集合的对应关系。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
筛选模块，用于按照预设的筛选条件对所述第一展示信息标识集合对应的展示信息进行筛选，得到第二展示信息标识集合，所述筛选条件包括所述第一展示信息标识集合对应的展示信息的展示频次小于预设的展示频次阈值；
存储模块，用于在预先存储的投放日志中，存储所述展示请求的接收时间和所述第二展示信息标识集合的对应关系；
第二发送模块，用于将所述第二展示信息标识集合对应的展示信息发送至客户端。
13.根据权利要求12所述的装置，其特征在于，所述第一确定模块包括：
第二确定子模块，用于在所述第一投放日志中，确定所述展示请求的接收时间在预设处理周期内的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
第三确定子模块，用于确定所述展示信息标识集合包含的不同展示信息标识的个数，并确定所述不同展示信息标识出现的次数；
第四确定子模块，用于根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
14.据权利要求12所述的装置，其特征在于，所述第一投放日志还包括展示信息的属性标识，所述第一确定模块包括：
第五确定子模块，用于在所述第一投放日志中确定所述展示请求的接收时间在预设处理周期内，且具有相同属性标识的展示信息标识集合，所述展示信息标识集合为所述第一展示信息标识集合或所述第二展示信息标识集合；
第六确定子模块，用于确定所述展示信息标识集合包含的不同展示信息标识个数，以及所述不同展示信息标识出现的次数；
第七确定子模块，用于根据所述不同展示信息标识的个数、所述展示信息标识的出现次数，确定向量维度和向量元素，构成第一特征向量。
15.根据权利要求10所述的装置，其特征在于，所述装置还包括：
选择模块，用于依次选取所述第一特征向量对应的多个展示信息标识，作为目标展示信息标识；
删除模块，用于在所述第一特征向量和所述第二特征向量中，删除所述目标展示信息标识出现的次数，得到第三特征向量和第四特征向量；
第二计算模块，用于计算所述第三特征向量和第四特征向量的目标相似度，得到目标展示信息标识与目标相似度的对应关系；
第二确定模块，用于基于所述目标展示信息标识与目标相似度的对应关系，确定使得所述相似度小于预设的相似度阈值的异常展示信息；
所述第一发送模块，还用于发送预设的告警指令，所述告警指令携带有所述异常展示信息、所述相似度、以及所述相似度阈值。
16.根据权利要求10所述的装置，其特征在于，所述相似度为余弦相似度。
17.根据权利要求10所述的装置，其特征在于，所述装置还包括：
所述第一计算模块，还用于按照预设的处理周期，计算所述第一特征向量和所述第二特征向量的相似度，得到处理周期与相似度的对应关系；
所述第一确定模块，还用于基于所述处理周期与所述相似度的对应关系，确定相似度随时间的变化曲线，以实时显示所述展示信息投放系统的工作状态。
18.一种服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345317.1A CN110097113B (zh) | 2019-04-26 | 2019-04-26 | 一种监控展示信息投放系统工作状态的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910345317.1A CN110097113B (zh) | 2019-04-26 | 2019-04-26 | 一种监控展示信息投放系统工作状态的方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110097113A true CN110097113A (zh) | 2019-08-06 |
| CN110097113B CN110097113B (zh) | 2021-03-26 |
Family
ID=67446059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910345317.1A Active CN110097113B (zh) | 2019-04-26 | 2019-04-26 | 一种监控展示信息投放系统工作状态的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110097113B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837604A (zh) * | 2019-10-16 | 2020-02-25 | 贝壳技术有限公司 | 基于住房监控平台的数据分析方法及装置 |
| CN111257684A (zh) * | 2020-04-01 | 2020-06-09 | 浙江人民电器有限公司 | 一种电弧故障检测的方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2066143A1 (en) * | 2007-11-29 | 2009-06-03 | Nokia Siemens Networks Oy | Radio cell performance monitoring and/or control based on user equipment positioning data and radio quality parameters |
| US20120254445A1 (en) * | 2011-04-04 | 2012-10-04 | Hitachi, Ltd. | Control method for virtual machine and management computer |
| CN102819580A (zh) * | 2012-07-25 | 2012-12-12 | 广州翼锋信息科技有限公司 | 互联网第三方媒体网站广告监控方法及系统 |
| CN103440320A (zh) * | 2013-08-30 | 2013-12-11 | 王勇 | 一种信息投放系统 |
| CN105976202A (zh) * | 2016-04-29 | 2016-09-28 | 合网络技术（北京）有限公司 | 一种广告投放的监控方法及装置 |
| CN106709051A (zh) * | 2017-01-06 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 一种比对信息展示的方法、设备及系统 |
| CN106815115A (zh) * | 2017-01-13 | 2017-06-09 | 郑州云海信息技术有限公司 | 一种服务器运行状态监控系统 |
| CN108665314A (zh) * | 2018-05-11 | 2018-10-16 | 广州至真信息科技有限公司 | 一种广告投放系统及广告投放的方法 |
| CN108897664A (zh) * | 2018-06-28 | 2018-11-27 | 北京九章云极科技有限公司 | 一种信息展示方法及系统 |
| CN109145183A (zh) * | 2017-06-19 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 推送待展示信息的方法及装置 |
| CN109191183A (zh) * | 2018-08-10 | 2019-01-11 | 宜人恒业科技发展（北京）有限公司 | 一种基于大数据的广告投放动态调整系统 |
| CN109325790A (zh) * | 2017-07-31 | 2019-02-12 | 合网络技术（北京）有限公司 | 广告投放的监控方法及装置 |
| CN109388527A (zh) * | 2017-08-08 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 一种确认操作合法性的方法、数据处理方法、装置及设备 |
-
2019
- 2019-04-26 CN CN201910345317.1A patent/CN110097113B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2066143A1 (en) * | 2007-11-29 | 2009-06-03 | Nokia Siemens Networks Oy | Radio cell performance monitoring and/or control based on user equipment positioning data and radio quality parameters |
| US20120254445A1 (en) * | 2011-04-04 | 2012-10-04 | Hitachi, Ltd. | Control method for virtual machine and management computer |
| CN102819580A (zh) * | 2012-07-25 | 2012-12-12 | 广州翼锋信息科技有限公司 | 互联网第三方媒体网站广告监控方法及系统 |
| CN103440320A (zh) * | 2013-08-30 | 2013-12-11 | 王勇 | 一种信息投放系统 |
| CN105976202A (zh) * | 2016-04-29 | 2016-09-28 | 合网络技术（北京）有限公司 | 一种广告投放的监控方法及装置 |
| CN106709051A (zh) * | 2017-01-06 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 一种比对信息展示的方法、设备及系统 |
| CN106815115A (zh) * | 2017-01-13 | 2017-06-09 | 郑州云海信息技术有限公司 | 一种服务器运行状态监控系统 |
| CN109145183A (zh) * | 2017-06-19 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 推送待展示信息的方法及装置 |
| CN109325790A (zh) * | 2017-07-31 | 2019-02-12 | 合网络技术（北京）有限公司 | 广告投放的监控方法及装置 |
| CN109388527A (zh) * | 2017-08-08 | 2019-02-26 | 阿里巴巴集团控股有限公司 | 一种确认操作合法性的方法、数据处理方法、装置及设备 |
| CN108665314A (zh) * | 2018-05-11 | 2018-10-16 | 广州至真信息科技有限公司 | 一种广告投放系统及广告投放的方法 |
| CN108897664A (zh) * | 2018-06-28 | 2018-11-27 | 北京九章云极科技有限公司 | 一种信息展示方法及系统 |
| CN109191183A (zh) * | 2018-08-10 | 2019-01-11 | 宜人恒业科技发展（北京）有限公司 | 一种基于大数据的广告投放动态调整系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张曦予: ""基于微博的定向广告投放系统的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837604A (zh) * | 2019-10-16 | 2020-02-25 | 贝壳技术有限公司 | 基于住房监控平台的数据分析方法及装置 |
| CN111257684A (zh) * | 2020-04-01 | 2020-06-09 | 浙江人民电器有限公司 | 一种电弧故障检测的方法及系统 |
| CN111257684B (zh) * | 2020-04-01 | 2022-08-12 | 浙江人民电器有限公司 | 一种电弧故障检测的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110097113B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105630977B (zh) | 应用程序推荐方法、装置及系统 | |
| CN102999562B (zh) | 路由查询结果 | |
| CN108573268A (zh) | 图像识别方法和装置、图像处理方法和装置及存储介质 | |
| CN108345601A (zh) | 搜索结果排序方法及装置 | |
| US20200160385A1 (en) | Delivering advertisements based on user sentiment and learned behavior | |
| CN104598502A (zh) | 获取播放视频中背景音乐信息的方法、装置及系统 | |
| CN106779825A (zh) | 一种物品推荐方法、装置及电子设备 | |
| CN109508405B (zh) | 一种推荐视频的确定方法、装置、电子设备及存储介质 | |
| CN110018920A (zh) | 一种页面展示异常的检测方法、装置及设备 | |
| CN106649066A (zh) | 一种应用中待监控控件的推荐方法及推荐服务器 | |
| CN110097113A (zh) | 一种监控展示信息投放系统工作状态的方法、装置及系统 | |
| CN107315825A (zh) | 一种索引更新系统、方法及装置 | |
| CN110390584A (zh) | 一种异常用户的识别方法、识别装置及可读存储介质 | |
| CN107391737A (zh) | 基于人工智能的图形商标可注册性判断的方法及装置 | |
| CN104750832A (zh) | 信息投放方法、装置和系统 | |
| CN109241084A (zh) | 数据的查询方法、终端设备及介质 | |
| CN109726280A (zh) | 一种针对同名学者的排歧方法及装置 | |
| CN109729433A (zh) | 一种视频播放评估方法及装置 | |
| CN108388512A (zh) | 数据处理方法和服务器 | |
| CN108305181A (zh) | 社交影响力确定、信息投放方法及装置、设备及存储介质 | |
| CN105183295A (zh) | 一种应用图标的归类方法及终端 | |
| CN108460073A (zh) | 群组推荐方法、存储介质和服务器 | |
| CN106991425B (zh) | 商品交易质量的检测方法和装置 | |
| CN108154024A (zh) | 一种数据检索方法、装置及电子设备 | |
| CN108897592A (zh) | 一种软件展示方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |