CN110769034A - 推荐系统策略迭代方法、装置及存储介质、服务器 - Google Patents
推荐系统策略迭代方法、装置及存储介质、服务器 Download PDFInfo
- Publication number
- CN110769034A CN110769034A CN201910894018.3A CN201910894018A CN110769034A CN 110769034 A CN110769034 A CN 110769034A CN 201910894018 A CN201910894018 A CN 201910894018A CN 110769034 A CN110769034 A CN 110769034A
- Authority
- CN
- China
- Prior art keywords
- access request
- layer
- user
- determining
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000003860 storage Methods 0.000 title claims description 12
- 238000002474 experimental method Methods 0.000 claims abstract description 74
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000004140 cleaning Methods 0.000 claims abstract description 18
- 230000015654 memory Effects 0.000 claims description 28
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013486 operation strategy Methods 0.000 abstract description 8
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000003012 network analysis Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 44
- 230000000694 effects Effects 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据分析、关系网络分析、智能推荐技术领域，本申请实施例提供的一种推荐系统策略迭代方法，包括：获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，并确定所述访问请求对应用户执行的abtest实验层；基于各所述实验层的Hash算法确定各实验层内各有效访问请求执行的业务策略；统计各业务策略的执行数据，确定各实验层的最优执行策略，将最优执行策略确定为对应实验层的业务执行策略。在本申请中通过对用户请求流量清洗以及abtest用户请求进行测试的执行阈值进行动态调整，在保证abtest进行测试速度时，使得数据结果更为精准，实现了快速对推荐系统运行策略的迭代更新，优化系统的运行过程，提高用户访问过程中的流畅性能和体验感。
Description
技术领域
本发明涉及数据分析、关系网络分析、智能推荐技术领域，具体涉及一种推荐系统策略迭代方法、装置及存储介质、服务器。
背景技术
ABtest是一种新兴的网页优化方法，可用于增加转化率、注册率等网页指标，已逐渐成为网站优化的主流方法。ABtest本质上是个分离式组间实验，进行ABtest首先需要建立一个测试页面(定义为B页面)，这个页面可能在标题字体、背景颜色、布局设置或者措辞等方面与原有页面(定义为A页面)有所不同，然后将这A页面、B页面以随机的方式同时推送给所有浏览用户，再统计通过A页面到达网站内页的用户占的百分比是多少，通过B页面到达内页的用户占的百分比是多少。假设A的是6％，B的是20％，那么说明新页面是得到用户喜欢的。如果对20％的结果还不满意，还可继续修改新页面，直到这个转化率不能够再提高为止。可见，ABtest是一个科学的统计方法，可清晰的掌握页面设计的用户接受度。
目前推荐系统策略迭代方法的算法多且麻烦，在推荐系统策略迭代过程中不能够获取到实时的数据，需要根据历史访问记录进行系统策略的更新，使得算法的验证过程不具备时效性；且现有流量控制和实时效果统计以及算法的验证过程通常是分别进行，不能够及时关联在一起，进而导致得到的系统策略不能够精准地体现用户的实际体验效果。
发明内容
为克服以上技术问题，特别是不能够及时获取到实时数据以及系统策略不能够精准地体现用户的实际体验效果的问题，特提出以下技术方案：
本发明实施例提供的一种推荐系统策略迭代方法，包括：
获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；
基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；
统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。
可选地，所述获取用户的访问请求之前，包括：
获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；
获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。
可选地，所述获取用户的访问请求之前，包括:
依据当前执行时段，确定在该执行时间段内所述当前abtest访问请求置信阈值。
可选地，所述根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，包括：
获取所述有效访问请求的访问ID信息，通过预设的Hash算法计算出所述访问ID信息对应的所述子层。
可选地，所述基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略之后，包括：
依据所述有效访问请求获取用于执行所述有效访问请求的所述子层的标识号，将所述标识号与所述有效访问请求进行关联。
可选地，统计各所述子层内各所述业务策略的执行数据，包括：
获取所述有效访问请求在所述子层内执行过程中的记录信息，基于所述记录信息中的所述标识号确定所述业务策略的执行数据。
本申请实施例还提供了一种推荐系统策略迭代装置，包括：
清洗模块，用于获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；
运算模块，用于基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；
统计模块，用于统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。
可选地，还包括：
历史置信阈值获取模块，用于获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；
调整模块，用于获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现任一技术方案所述的推荐系统策略迭代方法。
本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据任一技术方案所述的推荐系统策略迭代方法的步骤。
本发明与现有技术相比，具有以下有益效果：
1、本申请实施例提供的一种推荐系统策略迭代方法，包括：获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。在本申请中通过ABtest实验推荐系统中推荐策略的优劣，在该过程中通过对用户请求流量清洗以及abtest用户请求进行测试的执行阈值进行动态调整，在保证abtest进行测试速度时，同时使得abtest得出的数据结果更为精准，以便于及时快速对推荐系统运行策略的迭代更新，优化系统的运行过程，提高用户访问过程中的流畅性能和体验感以及用户对推荐产品的满意度。
2、本申请实施例提供的一种推荐系统策略迭代方法，所述获取用户的访问请求之前，包括：获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。在数据不定的情况下，将历史用户请求置信阈值作为当前次测试的用户请求置信阈值，同时实时对用户请求量进行统计，在有效用户请求量超过置信阈值较少时，则不对用户请求置信阈值调整，若该有效用户请求量在可以对用户请求置信阈值进行调整的范围内时，则对用户当前用于abtest的用户请求量阈值进行调整，在保证业务执行策略效果获得计算速度的基础上，保证整个数据的准确定性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明推荐系统策略迭代方法的典型实施例中一种实施方式的流程示意图；
图2为本发明推荐系统策略迭代装置的典型实施例的结构示意图；
图3为本发明服务器的一实施例结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
本申请实施例提供的一种推荐系统策略迭代方法，在其中一种实施方式中，如图1所示，包括：S100、S200、S300。
S100：获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；
S200：基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；
S300：统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。
在本申请提供的技术方案中，为了获得推荐系统实时效果统计，进而便于调整或者迭代系统的运行策略，获取用户的访问请求流量，便于依据该访问请求流量中的用户信息实现对流量的控制，包括流量打散，或者对用户流量进行分流。在此过程中，清除流量噪声，使得用于abtest的流量更具有代表和准确性；虽然abtest可以对推荐策略进行测试，但是在商业竞争中，包括了很多爬虫流量以及垃圾流量，如将该部分流量加入abtest进行测试，影响了业务策略测试结果的精准性，不能够通过真正的用户访问请求流量确定目前推荐系统给的策略的优劣性，进而需要对用户访问请求进行清洗，清洗后也降低了访问请求流量，同时也提高了abtest测试速率。相应的，在本申请提供的技术方案中，由于部分用户身份和/或终端的限制，导致其不能够进行相应的测试，进而需要对有效的用户访问请求配置该访问请求应进行abtest实验的实验层，在该过程中，用户有效访问请求中携带有用户信息、终端信息等，进而根据用户信息和/或终端信息确定用户访问请求需进行实验的实验层(子层)，即在该实验层中执行相应的业务执行策略等。具体的，一个用户的有效访问请求可以配置前述召回层、排序层、规则层、展示层中的任意一个或者多个实验层中的业务执行策略，即一个用户有效访问请求可能被配置了多个实验途径。在用户有效访问请求配置到对应的实验层之后，不同实验层内可能包括了多个业务执行策略，为了能够使得每个策略都被执行，以便于确定最优执行策略，进而可以得到推荐商品的最优策略，以使得得到的策略能够提高用户曝光率、点击率、购买率等，本申请提供的技术方案中，可设置能够整合每个实验层Hash算法的HashManager(Hash算法管理器)，HashManager包含至少一个Hash算法，其中一个用于计算用户访问请求需要被配置的实验层，剩余其他的用于Hash计算用户访问请求在被配置的实验层内应执行的业务策略。进一步地，在本申请中，配置实验层和配置业务策略的hash的算法可以为同一个算法，在确定用户访问请求被配置的实验层之后，还可以对该hash算法的参数进行修改，以使得该算法能够用于计算用户访问请求被配置执行的业务策略，其中，各实验层配置业务策略的参数与其实验层是相互关联的。同时，为了便于后期数据的统计，在进行实验分层时，同样采用哈希算法对用户有效访问请求进行分流，为了保证了不同层之间的实验正交性，避免前一个实验层中的用户有效访问请求影响后期实验层中业务执行策略的结果，需要对用户有效访问请求进行再一次的打散，且每一个实验层中可能包括多个执行策略且执行策略个数可能不同，进而从一个实验进入到下一个实验层时，同样也需要对该份流量打散，即采用各层中对应的哈希算法对访问请求进行重新计算，确定该份流量中每个请求需要执行的业务策略，通过前述过程可以更为细致的记录实验层内各执行策略的效果数据，同时使得实验结果数据更为精准。为了能够体现出一个实验层内的执行效果，在本申请的统计过程中是统计各实验层单份请求流量的执行数据，且一份流量中包含了多个访问请求，进而便于通过统计的执行数据确定用户在对应实验层内执行状况，即各实验层内不同业务执行策略导致的曝光、点击、购买量。进一步地，当用户访问请求被配置执行多个实验层中的业务执行策略时，还可以对每一实验层中的有效访问请求进行再次检测清洗，避免遗漏掉未被清洗掉的爬虫流量或者垃圾流量影响之后实验层的执行结果，使得最后体现实验效果的数据更为精准。
结合后文可知，为了实现执行数据的统计，在本技术方案中，基于各实验层内对应的标识号实现执行数据的统计，由于标识号是和用户请求关联的，因此，当用户在推荐的商品进行相应的操作时，该操作就会与标识号进行相应的记录，进而在进行数据统计时，则可以基于标识号确定用户执行的操作，以及通过该标识号确定用户请求执行的实验层以及该实验内执行的策略。其中，执行数据包括：曝光、点击、购买等信息。通过统计的前述信息确定各实验层执行策略的优劣，以便于确定推荐系统能够选取较优的策略获得更优的商品推荐方法。
示例性，如前所述，由于标识号与用户请求是相关联的，在某一用户请求在召回层执行策略A时，当用户点击某一商品时，则该点击对应请求的相关信息则会与标识号以关联关系存储起来，在统计执行数据时，则根据与用户点击相对应的请求的相关信息与标识号之间的关联关系确定该用户请求被分配在召回层执行策略A，则该执行策略A执行数据中，点击项目的量+1。相应的，召回层其他策略(如C、B)以及其他实验层的相关策略都通过前述的方法进行执行数据的统计，由于各实验层被分配请求的算法以及被分配执行各策略的算法不同，导致其对应的标识号也不同，且是与执行策略以及执行实验层相关联的，进而可以通过统计各实验层内执行数据，并通过对比各实验层内不同执行策略的执行数据的量确定各层内最优执行策略。
综合前述过程中，各层中流量分配方法以及流量的重新打散过程的计算方法不同，保证了不同层之间实验的正交性，也使得通过统计数据得到的各层中各执行策略的效果更具有说服力，相互之间的依赖度低，使得统计出的每一层数据更客观，降低了各个层之间数据之间的影响，即减少了数据误差影响因素，使得得到结果更为准确。
可选地，所述获取用户的访问请求之前，包括：
获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；
获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。
在进行测试之前，为了保证测试的效果以及快速地确定业务执行策略的效果，需要估算需要进行测试的用户请求置信阈值，避免过大的数据影响业务执行策略效果获得的速度，在数据不定的情况下，将历史用户请求置信阈值作为当前次测试的用户请求置信阈值，通过前述过程确定了当前用户请求置信阈值之后，则实时对用户请求量进行统计，在有效用户请求量超过置信阈值较少时，则不对用户请求置信阈值调整，若该有效用户请求量在可以对用户请求置信阈值进行调整的范围内时，则对用户当前用于abtest的用户请求量阈值进行调整，在保证业务执行策略效果获得计算速度的基础上，保证整个数据的准确定性。
可选地，所述获取用户的访问请求之前，包括:
依据当前执行时段，确定在该执行时间段内所述当前abtest访问请求置信阈值。
为了保证数据的实时性，在不同的时间段用户流量具有不定性，例如凌晨用户流量较低，进而可以将该时间段内abtest用户访问请求置信阈值调低，避免在用户访问请求不够时，不能够将用户流量分到对应的实验层，也就不能够实现业务执行策略的测试，或者得到业务执行策略数据不够准确。
可选地，所述根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，包括：
获取所述有效访问请求的访问ID信息，通过预设的Hash算法计算出所述访问ID信息对应的所述子层。
每个用户访问请求到分流节点都会带有相应的ID信息(例如cookieid)，通过预设的hash算法计算出访问id信息对应的abtest层，即将传入值(一个cookie id，String类型)传入HashManager，先转换为一个对应的int类型数值，再通过预设的Hash算法，对所述int类型数值与ABTest实验层进行求余运算，将得到的数值作为所述用户访问请求对应的ABTest实验层，例如召回层1、排序层2、规则层3、展示层4，通过hash计算得到某一用户id信息对应的整数为1，由此得到用户访问请求对应召回层，则将所述访问请求分流到召回层，在在召回层执行该访问请求的逻辑。
在一种实施方式中，一个访问请求所在的请求流量内还可能被配置了召回层、排序层、规则层、展示层中多个，当被配置了一个以上的实验层时，则该份流量中的访问请求的逻辑则需要执行前述被配置的所有实验层。
可选地，所述基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略之后，包括：
依据所述有效访问请求获取用于执行所述有效访问请求的所述子层的标识号，将所述标识号与所述有效访问请求进行关联。
结合前述过程，为了能够通过abtest实现系统策略的迭代，在确定了业务系统以及系统运行策略之后，为了能够实时的统计系统策略的优劣，即进行实时效果数据的统计，在本技术方案中，推荐主体服务便请求ABTest实验平台以获得该请求对应的召回号、排序号、规则号和展示号等实验参数，之后将前述的实验参数与访问请求进行关联，进而可以在用户访问过程中，即访问请求在各实验层的执行过程中，记录各实验层中各执行策略的执行效果，同时还可以依据标识号对访问请求进行实验分层，并将分层后的请求发送到对应的实验层，使得不同的实验层可以执行不同的用户的访问请求，实现请求流量的重新打散，保证了不同层之间的实验正交性，进而可以更为细致的记录实验层内各执行策略的效果数据，同时使得实验结果数据更为精准。可选地，在将标识号与有效访问请求进行关联之后，比如，使用业务策略在所述子层内处理所述请求，反馈该有效访问请求执行所述业务策略之后的执行数据；可选地，根据关联的标识号，所述子层接收所述有效访问请求，并处理所述有效访问请求。将标识号与访问请求进行关联之后，则可以基于标识号快速地对访问请求进行处理，同时还可以基于该标识号确定业务策略的执行数据，并将该数据反馈给终端或者数据收集端，进而可以更为快速和方便执行数据的统计。
可选地，统计各所述子层内各所述业务策略的执行数据，包括：
获取所述有效访问请求在所述子层内执行过程中的记录信息，基于所述记录信息中的所述标识号确定所述业务策略的执行数据。
该步骤之前包括：将所述访问请求运行过程中的记录信息记录在数据库中；之后包括：从数据库中获取所述访问请求运行过程中的记录信息。
在一种实施方式中，从客户端的埋点日志中获取所述访问请求在实验层内执行过程中的记录信息。结合前述过程中，为了实现实验结果统计，进而确定不同实验层策略对应的实验效果，以便于确定最优的业务执行策略，实现业务执行策略的迭代，获取所述访问请求运行过程中的记录信息，基于所述记录信息中的标识号(实验参数)确定业务执行策略的实验结果，其中，记录信息来源于如前所述的后台数据库或者客户端的埋点日志。记录信息中包括了实验参数，由于是在访问过程实现的实验参数记录，进而则可以依据实验参数确定业务执行策略的执行效果，通过该方法使得执行策略迭代具有更好的时效性，进而可以基于实验参数的实验结果反过来进行流量的控制。
在一种实施方式中，该过程之后包括：展示各业务系统中各实验层内业务执行策略的执行数据；该步骤之后，包括：响应于操作人员的策略运行操作，确定各所述实验层内的业务执行策略。
在确定了每一个实验层的运行结果之后，统计同一实验层中不同业务执行策略的结果，并将不同业务执行策略的运行结果进行对比，确定各实验层的业务执行策略，或者确定不同类型用户的业务执行策略。在一种实施方式中，还可以将各实验层各业务执行策略的运行结果进行关联展示，进而便于操作人员手动确定各实验层的业务执行策略。
在一种实施方式中，该过程之后包括：获取预设白名单中的用户信息，基于白名单中的用户信息向该用户信息对应的用户推荐通过所述业务执行策略得到推荐商品。
在前述的基础上确定了最优的系统运行策略时，则可以进行灰度发布，例如建立用户白名单，则可以向白名单的用户推荐通过所述业务执行策略得到推荐商品，进而使得优质用户可以更快地享受到更优地商品推荐服务，提高用户的体验。
本发明实施例还提供了一种推荐系统策略迭代装置，在其中一种实施方式中，如图2所示，包括：清洗模块100、运算模块200、统计模块300：
清洗模块100，用于获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；
运算模块200，用于基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；
统计模块300，用于统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。
进一步地，如图2所示，本发明实施例中提供的一种推荐系统策略迭代方法装置还包括：历史置信阈值获取模块101，用于获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；调整模块102，用于获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。置信阈值确定模块103，用于依据当前执行时段，确定在该执行时间段内所述当前abtest访问请求置信阈值。实验层确定单元110，用于获取所述有效访问请求的访问ID信息，通过预设的Hash算法计算出所述访问ID信息对应的abtest实验层。关联模块410，用于依据所述有效访问请求获取用于执行所述有效访问请求的所述子层的标识号，将所述标识号与所述有效访问请求进行关联。执行数据确定单元310，用于获取所述有效访问请求在所述子层内执行过程中的记录信息，基于所述记录信息中的所述标识号确定所述业务策略的执行数据。
本发明实施例提供的一种推荐系统策略迭代方法装置可以实现上述推荐系统策略迭代方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现任一项技术方案所述的推荐系统策略迭代方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质，可实现上述推荐系统策略迭代方法的实施例，在本申请中通过ABtest实验推荐系统中推荐策略的优劣，在该过程中通过对用户请求流量清洗以及abtest用户请求进行测试的执行阈值进行动态调整，在保证abtest进行测试速度时，同时使得abtest得出的数据结果更为精准，以便于及时快速对推荐系统运行策略的迭代更新，优化系统的运行过程，提高用户访问过程中的流畅性能和体验感以及用户对推荐产品的满意度；本申请实施例提供的一种推荐系统策略迭代方法，包括：获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。在本申请提供的技术方案中，为了获得推荐系统实时效果统计，进而便于调整或者迭代系统的运行策略，获取用户的访问请求流量，便于依据该访问请求流量中的用户信息实现对流量的控制，包括流量打散，或者对用户流量进行分流。在此过程中，清除流量噪声，使得用于abtest的流量更具有代表和准确性，同时也提高了abtest测试速率。具体的，一个用户的有效访问请求可以配置前述召回层、排序层、规则层、展示层中的任意一个或者多个实验层中的业务执行策略，即一个用户有效访问请求可能被配置了多个实验途径。在用户有效访问请求配置到对应的实验层之后，不同实验层内可能包括了多个业务执行策略，为了能够使得每个策略都被执行，以便于确定最优执行策略，进而可以得到推荐商品的最优策略，设置每个实验层的HashManager(Hash算法管理器)，HashManager包含一个Hash算法，通过各层之内的Hash算法确定用户访问请求应执行的业务策略，对用户有效访问请求进行分流，为了保证了不同层之间的实验正交性，避免前一个实验层中的用户有效访问请求影响后期实验层中业务执行策略的结果，使得实验结果数据更为精准。为了能够体现出一个实验层内的执行效果，在本申请的统计过程中是统计各实验层单份请求流量的执行数据，且一份流量中包含了多个访问请求，进而便于通过统计的执行数据确定用户在对应实验层内执行状况。综合前述过程中，各层中流量分配方法以及流量的重新打散过程的计算方法不同，保证了不同层之间实验的正交性，也使得通过统计数据得到的各层中各执行策略的效果更具有说服力，相互之间的依赖度低，使得统计出的每一层数据更客观，降低了各个层之间数据之间的影响，即减少了数据误差影响因素，使得得到结果更为准确。
此外，在又一种实施例中，本发明还提供一种服务器，如图3所示，所述服务器处理器503、存储器505、输入单元507以及显示单元509等器件。本领域技术人员可以理解，图3示出的结构器件并不构成对所有服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器505可用于存储应用程序501以及各功能模块，处理器503运行存储在存储器505的应用程序501，从而执行设备的各种功能应用以及数据处理。存储器505可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器505只作为例子而非作为限定。
输入单元507用于接收信号的输入，以及用户输入的个人信息和相关的身体状况信息。输入单元507可包括触控面板以及其它输入设备。触控面板可收集客户在其上或附近的触摸操作(比如客户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元509可用于显示客户输入的信息或提供给客户的信息以及计算机设备的各种菜单。显示单元509可采用液晶显示器、有机发光二极管等形式。处理器503是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器503内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。图3中所示的一个或多个处理器503能够执行、实现图2中所示的清洗模块100的功能、运算模块200的功能、统计模块300的功能、历史置信阈值获取模块101的功能、调整模块102的功能、置信阈值确定模块103的功能、实验层确定单元110的功能、关联模块410的功能、执行数据确定单元310的功能。
在一种实施方式中，所述服务器包括一个或多个处理器503，以及一个或多个存储器505，一个或多个应用程序501，其中所述一个或多个应用程序501被存储在存储器505中并被配置为由所述一个或多个处理器503执行，所述一个或多个应用程序301配置用于执行以上实施例所述的推荐系统策略迭代方法。
本发明实施例提供的一种服务器，可实现上述推荐系统策略迭代方法的实施例，在本申请中通过ABtest实验推荐系统中推荐策略的优劣，在该过程中通过对用户请求流量清洗以及abtest用户请求进行测试的执行阈值进行动态调整，在保证abtest进行测试速度时，同时使得abtest得出的数据结果更为精准，以便于及时快速对推荐系统运行策略的迭代更新，优化系统的运行过程，提高用户访问过程中的流畅性能和体验感以及用户对推荐产品的满意度；本申请实施例提供的一种推荐系统策略迭代方法，包括：获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。在本申请提供的技术方案中，为了获得推荐系统实时效果统计，进而便于调整或者迭代系统的运行策略，获取用户的访问请求流量，便于依据该访问请求流量中的用户信息实现对流量的控制，包括流量打散，或者对用户流量进行分流。在此过程中，清除流量噪声，使得用于abtest的流量更具有代表和准确性，同时也提高了abtest测试速率。具体的，一个用户的有效访问请求可以配置前述召回层、排序层、规则层、展示层中的任意一个或者多个实验层中的业务执行策略，即一个用户有效访问请求可能被配置了多个实验途径。在用户有效访问请求配置到对应的实验层之后，不同实验层内可能包括了多个业务执行策略，为了能够使得每个策略都被执行，以便于确定最优执行策略，进而可以得到推荐商品的最优策略，设置每个实验层的HashManager(Hash算法管理器)，HashManager包含一个Hash算法，通过各层之内的Hash算法确定用户访问请求应执行的业务策略，对用户有效访问请求进行分流，为了保证了不同层之间的实验正交性，避免前一个实验层中的用户有效访问请求影响后期实验层中业务执行策略的结果，使得实验结果数据更为精准。为了能够体现出一个实验层内的执行效果，在本申请的统计过程中是统计各实验层单份请求流量的执行数据，且一份流量中包含了多个访问请求，进而便于通过统计的执行数据确定用户在对应实验层内执行状况。综合前述过程中，各层中流量分配方法以及流量的重新打散过程的计算方法不同，保证了不同层之间实验的正交性，也使得通过统计数据得到的各层中各执行策略的效果更具有说服力，相互之间的依赖度低，使得统计出的每一层数据更客观，降低了各个层之间数据之间的影响，即减少了数据误差影响因素，使得得到结果更为准确。
本发明实施例提供的服务器可以实现上述提供的推荐系统策略迭代方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种推荐系统策略迭代方法，其特征在于，包括：
获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；
基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；
统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。
2.根据权利要求1所述的推荐系统策略迭代方法，其特征在于，所述获取用户的访问请求之前，包括：
获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；
获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。
3.根据权利要求2所述的推荐系统策略迭代方法，其特征在于，所述获取用户的访问请求之前，包括：
依据当前执行时段，确定在该执行时间段内所述当前abtest访问请求置信阈值。
4.根据权利要求1至3任一项所述的推荐系统策略迭代方法，其特征在于，所述根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，包括：
获取所述有效访问请求的访问ID信息，通过预设的Hash算法计算出所述访问ID信息对应的所述子层。
5.根据权利要求1至3任一项所述的推荐系统策略迭代方法，其特征在于，所述基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略之后，包括：
依据所述有效访问请求获取用于执行所述有效访问请求的所述子层的标识号，将所述标识号与所述有效访问请求进行关联。
6.根据权利要求5所述的推荐系统策略迭代方法，其特征在于，所述统计各所述子层内各所述业务策略的执行数据，包括：
获取所述有效访问请求在所述子层内执行过程中的记录信息，基于所述记录信息中的所述标识号确定所述业务策略的执行数据。
7.一种推荐系统策略迭代装置，其特征在于，包括：
清洗模块，用于获取用户的访问请求，对所述访问请求进行清洗，确定有效访问请求，根据所述有效访问请求确定所述访问请求对应用户执行的abtest实验层的子层，所述子层包括召回层、排序层、规则层、展示层；
运算模块，用于基于所述abtest实验层的子层的hash算法确定各所述子层内各所述有效访问请求执行的业务策略；
统计模块，用于统计各所述子层内各所述业务策略的执行数据，确定各所述子层的最优执行策略，将所述最优执行策略确定为对应子层的业务执行策略。
8.根据权利要求7所述的推荐系统策略迭代装置，其特征在于，还包括：
历史置信阈值获取模块，用于获取历史abtest访问请求置信阈值，依据所述历史访问请求置信阈值确定当前abtest测试访问请求量；
调整模块，用于获取当前有效用户请求量，当所述当前有效用户请求量位于预设置信阈值调整值之内，基于当前有效用户请求量和历史abtest用户请求置信阈值动态调整当前abtest测试用户请求量。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1至6任一项所述的推荐系统策略迭代方法。
10.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据权利要求1至6任一项所述的推荐系统策略迭代方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910894018.3A CN110769034B (zh) | 2019-09-20 | 2019-09-20 | 推荐系统策略迭代方法、装置及存储介质、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910894018.3A CN110769034B (zh) | 2019-09-20 | 2019-09-20 | 推荐系统策略迭代方法、装置及存储介质、服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110769034A true CN110769034A (zh) | 2020-02-07 |
| CN110769034B CN110769034B (zh) | 2024-02-09 |
Family
ID=69330704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910894018.3A Active CN110769034B (zh) | 2019-09-20 | 2019-09-20 | 推荐系统策略迭代方法、装置及存储介质、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110769034B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966908A (zh) * | 2020-08-25 | 2020-11-20 | 贝壳技术有限公司 | 推荐系统和方法、电子设备和计算机可读存储介质 |
| CN113158497A (zh) * | 2021-05-26 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 在线服务实验方法、装置、计算机设备和存储介质 |
| CN113704624A (zh) * | 2021-08-31 | 2021-11-26 | 中国平安人寿保险股份有限公司 | 基于用户分流的策略推荐方法、装置、设备及介质 |
| CN113761327A (zh) * | 2020-06-18 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 推荐策略的调度方法、设备以及存储介质 |
| CN115567455A (zh) * | 2022-09-23 | 2023-01-03 | 平安科技（深圳）有限公司 | 一种访问流量切换方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105610654A (zh) * | 2016-03-02 | 2016-05-25 | 合一网络技术(北京)有限公司 | 一种服务器、策略在线测试的方法及系统 |
| CN108491267A (zh) * | 2018-03-13 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108536570A (zh) * | 2018-03-28 | 2018-09-14 | 口碑(上海)信息技术有限公司 | 数据直播间灰度压测的方法、装置及系统 |
| CN108763458A (zh) * | 2018-05-28 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 内容特征查询方法、装置、计算机设备及存储介质 |
| CN109739757A (zh) * | 2018-12-28 | 2019-05-10 | 微梦创科网络科技（中国）有限公司 | 一种ab测试方法及装置 |
| CN110162693A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种信息推荐的方法以及服务器 |
-
2019
- 2019-09-20 CN CN201910894018.3A patent/CN110769034B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105610654A (zh) * | 2016-03-02 | 2016-05-25 | 合一网络技术(北京)有限公司 | 一种服务器、策略在线测试的方法及系统 |
| CN108491267A (zh) * | 2018-03-13 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108536570A (zh) * | 2018-03-28 | 2018-09-14 | 口碑(上海)信息技术有限公司 | 数据直播间灰度压测的方法、装置及系统 |
| CN108763458A (zh) * | 2018-05-28 | 2018-11-06 | 腾讯科技（深圳）有限公司 | 内容特征查询方法、装置、计算机设备及存储介质 |
| CN109739757A (zh) * | 2018-12-28 | 2019-05-10 | 微梦创科网络科技（中国）有限公司 | 一种ab测试方法及装置 |
| CN110162693A (zh) * | 2019-03-04 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种信息推荐的方法以及服务器 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761327A (zh) * | 2020-06-18 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 推荐策略的调度方法、设备以及存储介质 |
| CN111966908A (zh) * | 2020-08-25 | 2020-11-20 | 贝壳技术有限公司 | 推荐系统和方法、电子设备和计算机可读存储介质 |
| CN113158497A (zh) * | 2021-05-26 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 在线服务实验方法、装置、计算机设备和存储介质 |
| CN113704624A (zh) * | 2021-08-31 | 2021-11-26 | 中国平安人寿保险股份有限公司 | 基于用户分流的策略推荐方法、装置、设备及介质 |
| CN113704624B (zh) * | 2021-08-31 | 2023-08-22 | 中国平安人寿保险股份有限公司 | 基于用户分流的策略推荐方法、装置、设备及介质 |
| CN115567455A (zh) * | 2022-09-23 | 2023-01-03 | 平安科技（深圳）有限公司 | 一种访问流量切换方法、装置、计算机设备及存储介质 |
| CN115567455B (zh) * | 2022-09-23 | 2024-05-07 | 平安科技（深圳）有限公司 | 一种访问流量切换方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110769034B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110769034A (zh) | 推荐系统策略迭代方法、装置及存储介质、服务器 | |
| US10534845B2 (en) | System and method for optimizing electronic document layouts | |
| US9690815B2 (en) | Systems, methods, and apparatuses for implementing data upload, processing, and predictive query API exposure | |
| US11715144B2 (en) | Dynamic ranking of recommendation pairings | |
| CN110991875B (zh) | 一种平台用户质量评估系统 | |
| US7519566B2 (en) | Method and apparatus for automatically and continuously updating prediction models in real time based on data mining | |
| US20050197889A1 (en) | Method and apparatus for comparison over time of prediction model characteristics | |
| US20050195966A1 (en) | Method and apparatus for optimizing the results produced by a prediction model | |
| US11373232B2 (en) | Dynamic ranking of recommendation pairings | |
| CN108257027A (zh) | 保单数据审核方法、装置、计算机设备及存储介质 | |
| US20130290324A1 (en) | Categorizing and ranking travel-related database query results | |
| CN109636490A (zh) | 广告转化率的实时预测方法、广告评价方法与系统 | |
| CN110910201B (zh) | 信息推荐的控制方法、装置、计算机设备及存储介质 | |
| JP2018536937A (ja) | プッシュ情報粗選択ソーティングの方法、デバイス、およびコンピュータ記憶媒体 | |
| WO2023000491A1 (zh) | 一种应用推荐方法、装置、设备及计算机可读存储介质 | |
| US20120158950A1 (en) | Method and a system for managing a website using profile key patterns | |
| US20100179927A1 (en) | Rating risk of proposed system changes | |
| CN112184046A (zh) | 广告业务用户价值评估方法、装置、设备及存储介质 | |
| CN109558544A (zh) | 排序方法及装置、服务器和存储介质 | |
| CN108805332B (zh) | 一种特征评估方法和装置 | |
| CN110264276A (zh) | 确定推送用户群的方法、装置、设备及存储介质 | |
| US20230316303A1 (en) | Method and system for event prediction using spatio-temporally sampled data | |
| CN114782123A (zh) | 一种信用评估方法及系统 | |
| US12007995B2 (en) | Query generation from event-based pattern matching | |
| CN110472192B (zh) | 评价指标提取方法、装置、存储介质和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |