CN110781217B - 排序数据的处理方法、装置及存储介质、服务器 - Google Patents
排序数据的处理方法、装置及存储介质、服务器 Download PDFInfo
- Publication number
- CN110781217B CN110781217B CN201910894036.1A CN201910894036A CN110781217B CN 110781217 B CN110781217 B CN 110781217B CN 201910894036 A CN201910894036 A CN 201910894036A CN 110781217 B CN110781217 B CN 110781217B
- Authority
- CN
- China
- Prior art keywords
- recommended
- parameters
- ordering
- sorting
- parameter data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012163 sequencing technique Methods 0.000 claims abstract description 57
- 230000015654 memory Effects 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 55
- 230000008569 process Effects 0.000 abstract description 44
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000003012 network analysis Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 23
- 230000006399 behavior Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据分析、关系网络分析、智能推荐技术领域,本申请实施例提供的一种排序数据的处理方法,包括:获取用户信息以及商品信息,对用户信息和商品信息进行转码,得到推荐排序参数,将推荐排序参数缓存到redis中,形成批处理的推荐排序参数数据集;从redis中获取并切分该批处理的推荐排序参数数据集,形成若干子推荐排序参数数据集;建立各线程与各子推荐排序参数数据集的关联关系,通过线程请求数据流服务器分别计算各子推荐排序参数数据集中的推荐排序参数进行计算,并对商品进行排序。通过对数据提前转码并缓存,减少精排过程中数据计算过程,并加快了数据读取速率;对数据切分之后,能合理分配各线程处理数据的量,均衡各线程的网络开销。
Description
技术领域
本发明涉及数据分析、关系网络分析、智能推荐技术领域,具体涉及一种排序数据的处理方法、装置及存储介质、服务器。
背景技术
推荐系统为对用户的基本属性、购买能力、行为特征或者用户使用过的内容等特征进行计算,进而形成可以向用户推荐商品、服务、应用程序等消息的系统。推荐系统在对特征计算过程中包括粗排和精排,粗排即为粗排序,在在粗排动执行过程时,常常称为召回,召回可以理解为向用户粗选一批待推荐的商品。在召回的基础上加一层点击率预估的排序模型,即对粗选的一批待推荐模型商品进行点击率计算,基于商品点击率对待推荐商品进行排序,即为精排,该动作执行过程常常称为排序。目前,推荐系统做商品推荐精排的时候,请求方会将用户信息和召回的商品信息,转化成模型输入的格式,然后作为一个batch发送给Tensorflow serving(数据流服务器)。而随着互联网技术的发展,使得batch(批处理)的数据量比较大,进而使得参数打包、传输网络开销和模型计算都比较耗时长。另外,推荐系统是一个高并发低延时的特点,需要从海量的数据中获取针对性的数据进行计算,当推荐系统每次进行精排计算都花费较长的时间,而系统的处理能力又具有上限时,会导致整个推荐系统的处理能力下降,即数据的吞吐量降低,不能够实时地对用户信息和商品信息进行计算,得到较优商品排序序列,使得用户不能够很好地使用到系统推荐的商品,进而降低用户使用应用程序的体验。
发明内容
为克服以上技术问题,特别是对召回数据处理过程中参数打包、传输网络开销和排序模型计算耗时长,导致整个推荐系统处理能力下降的问题,特提出以下技术方案:
本申请实施例提供的一种排序数据的处理方法,包括:
获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;
从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;
建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。
可选地,所述从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集,包括:
从redis数据库中获取所述批处理的推荐排序参数数据集,依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集。
可选地,所述依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,包括:
获取同一商品对应用户信息和商品信息的推荐排序参数数量;
依据所述推荐排序参数数量和预设规则确定所述同一商品的推荐排序参数复杂等级;其中,所述预设规则表示所述推荐排序参数数量与推荐排序参数复杂等级之间的映射关系。
可选地,所述对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集,包括:
获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数;
将所述推荐排序参数复杂等级相同的所述商品的推荐排序参数切分为一个子推荐排序参数数据集,基于不同的所述推荐排序参数复杂等级形成若干子推荐排序参数数据集。
可选地,所述获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数之前,包括:
获取所述推荐排序参数数据集中同一商品的推荐排序参数,将不同商品的推荐排序参数的类型数量进行对比,依据所述不同商品的推荐排序参数的类型数量确定所述不同商品的推荐排序参数的相似度。
可选地,所述依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,包括:
把推荐排序参数复杂等级相同的所述商品的推荐排序参数切分到同一所述子推荐排序参数数据集中。
可选地,所述通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序,包括:
通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中各商品的排序标识;
统计各所述子推荐排序参数数据集中各商品的排序标识,形成各商品的排序结果,其中,所述排序标识标记各商品的排序秩序;
依据所述排序结果对各商品进行排序。
本申请实施例还提供了一种排序数据的处理装置,包括:
获取模块,用于获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;
切分模块,用于从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;
排序模块,用于建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。
可选地,所述切分模块,包括:
第一切分单元,用于从redis数据库中获取所述批处理的推荐排序参数数据集,依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集。
可选地,所述第一切分单元,包括:
第二切分单元,用于获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数,将推荐排序参数数量在预设数量阈值之内的所述商品的推荐排序参数切分为一个子推荐排序参数数据集。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现任一技术方案所述的排序数据的处理方法。
本发明实施例还提供了一种服务器,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行根据任一技术方案所述的排序数据的处理方法的步骤。
本发明与现有技术相比,具有以下有益效果:
1、本申请实施例提供的一种排序数据的处理方法,包括:获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序,通过对数据(用户信息和商品信息)进行转码预处理并缓存到redis中,进而降低了精排过程中精排计算模型读取数据的时长,使得计算模型形成的数据可以直接用于计算,加快了模型读取的速率;将原有的大批量的数据切分为多个小数据集,合理的分配各个线程处理数据的量,均衡了每一个线程的网络开销,避免某一线程处理数据量较大,导致的数据处理速度下降的问题。
2、本申请实施例提供的一种排序数据的处理方法,所述从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集,包括:从redis数据库中获取所述批处理的推荐排序参数数据集,依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集。通过该过程使得等级越高的子推荐排序参数数据集中包含更少量商品信息和用户信息的推荐排序参数,等级越低的子推荐排序参数数据集中包含较多商品信息和用户信息的推荐排序参数,进而可以平衡各个线程的数据处理量,降低了网路数据的开销时长,即提高整个系统的并发计算效率。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明排序数据的处理方法的典型实施例中一种实施方式的流程示意图;
图2为本发明排序数据的处理装置的典型实施例的结构示意图;
图3为本发明服务器的一实施例结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解,本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念,是业内技术人员所公知的相同概念,是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定,这种命名本身不受编程语言种类、级别,也不受其赖以运行的操作系统或平台所限制。理所当然地,此类概念也不受任何形式的终端所限制。
本申请实施例提供的一种排序数据的处理方法,在其中一种实施方式中,如图1所示,包括:S100、S200、S300。
S100:获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;
S200:从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;
S300:建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。
本申请提供的实施例主要应用于商品的推荐排序系统中,进一地,应用于召回过程之后的精排过程,以便于排序出来的商品更符合用户的喜好,且排序后的商品具有与用户特征相对应的特征,以提高商品的曝光、点击率等。为了在用户终端页面显示相应的商品,且商品能够按照用户的喜好行为特征等用户信息进行排序展示,以提高商品曝光、点击率,在进行推荐排序计算过程中,获取用户信息和商品信息,并对用户信息和商品信息进行转码计算,其中某类商品对应用户信息包括购买该商品的用户的喜好、浏览该商品用户的喜好、用户性别、用户年龄、用户名称、用户来源等,商品信息包括:商品来源、商品的具体特征等,在该过程中,依据排序模型需要使用的参数,从用户信息和商品信息中提取必要的商品信息和用户信息进行转码,使得用户信息和商品信息转换成能够被排序模型计算的商品的推荐排序参数,进而在后期进行推荐排序结果计算时,可以直接调用推荐排序参数数据集中的数据计算对应用户终端页面的商品排序的秩序。进而减少了排序计算的中间环节,提高排序计算的速率。相应的,为了提高推荐排序计算的速率,将计算出的推荐排序参数缓存到redis中,结合rediskey-value存储系统的特性,将推荐排序参数缓存在redis中形成推荐排序参数数据集,进而加快了后续推荐排序参数的读取速度,进而加快推荐排序参数计算速率。
在本申请提供的一种实施方式中,通过使用spark将实时计算的商品和用户信息存入到redis,在redis中key对应的是每个文件的path(路径);value对应的是文件的内容。在调用深度学习模型(即排序模型)对推荐排序参数进行计算之前,会以约定的key格式去redis获取对应的信息。相应的,在优选的实施例中,商品信息的key格式为:lbdp-aip-rt:itemFeature:itemId:itemType(lbdp-aip-rt:项目的名称,便于管理;itemFeature:商品特征标示;itemId:具体item的ID;itemType:具体item的类型);用户信息的key格式为:lbdp-aip-rt_rec:nrt_feature:user:phoneNo(nrt_feature:用户特征标识;user:用户名称;phoneNo:用户终端来源标识码)。Redis本身是一个key-value的缓存中间件,里面存的key都是不会重复的,具体的,保证商品信息的key不重复,即保证itemId和itemType每个商品是不会重复的。相应的,同一项目对应用户信息中用户名称和用户终端来源标识码不重复。结合前述过程中,商品信息和用户信息获取过程为基于key格式从redis中找到与key格式相对应的value,由于value对应的是文件的内容,则基于根据value读取value中的推荐排序参数。
为了使得商品和用户具有一定关联性,使得排序计算过程中,能够快速地形成用户信息和商品信息,将同一项目的用户信息和商品信息以关联关系进行存储,进而通过key将对应的格式将spar将实时计算的商品和用户信息结果存储到对应路径的redis文件路径中之后,在获取商品信息和用户信息时,可以直接基于商品信息或者用户信息的key路径获取到对应的用户信息或者商品信息,实现了数据的快速查询,提高了数据查询速率,进而也可以提高整个服务器数据的吞吐量。具体的,由于key对应的内容较少,且在redis中可以对不同用户信息的进行分类存储,如优先级的用户具有相应的key区域,进而在从redis中获取优先级用户的用户信息时,则在redis中优先级用户对应的key区域(该区域即为推荐排序参数数据集)中获取对应的用户信息,提高了数据获取的速率,同时也便于对redis中的数据进行管理。相应的,可以根据用户的优先级,确定该用户信息对应商品信息中item类型,例如与高级用户关联的商品信息的ID具有分配对应的字段,进而使得同一项目,相同商品的key存储于redis中对应的区域,形成对应商品的推荐排序参数数据集,避免从过多用户信息中筛选出对应的用户信息,提高了推荐排序参数数据集中数据获取效率。在一种实施方式中,在进行推荐排序参数数据集切分过程中,设定召回数据集的大小为N,切分每份子数据集的大小,比如n=50。如果召回的数据集N<50,则最终数据集为1份,大小为N。如果N>=50,则数据集为N/n+1份。比如召回集有90个,就有两份数据集,其中一份为50个,另一份为40个。
基于redis存储系统的特性,从redis中获取批处理的所述推荐排序参数,并通过batch(批处理)将推荐排序参数切分为多个较小的数据集,得到子推荐排序参数数据集,进而在排序参数计算过程中,可以采用多线程并行的方式进行数据的计算,即各线程分别请求数据流服务器调用推荐排序模型,通过该推荐排序模型分别计算各值推荐排序参数数据集中的推荐排序,得到推荐排序结果。在该过程中,由于子推荐排序参数形成数据集中的数据量较少,可以减少各个线程的数据计算量,加快了批数据处理速率,使得可以通过并发的方式显著提升服务器的计算效率。为了能够形成排序结果,需要对子推荐排序参数进行精算,由于采用的多线程并行方式进行数据的处理,将子推荐排序参数数据集与各个线程进行关联,进而在数据进行计算时,各个线程可以基于两者之间的关联关系快速地获取到相应子推荐排序参数,进一步加快各个线程获取推荐排序参数的效率,进而加快数据处理速度。
可选地,所述从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集,包括:
从redis数据库中获取所述批处理的推荐排序参数数据集,依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集。
可选地,所述依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,包括:
获取同一商品对应用户信息和商品信息的推荐排序参数数量;
依据所述推荐排序参数数量和预设规则确定所述同一商品的推荐排序参数复杂等级;其中,所述预设规则表示所述推荐排序参数数量与推荐排序参数复杂等级之间的映射关系。
由于部分商品的商品信息或者用户信息不够全面,进而使得形成的参数较少,服务器对该部分推荐排序参数进行计算的计算量较小,而相对参数较多的数据,其计算量较大,由于多个线程是并行处理,为了能够均衡后期各个线程的数据处理量,避免多线程运行时卡顿,降低计算速度,本申请在前述的基础上,还提供了一种推荐排序参数数据集切分方法,将推荐排序参数数据集中,商品信息和用户信息对应的推荐排序参数量较大的子推荐排序参数中划分少量的商品信息和用户信息对应的推荐排序参数。商品信息和用户信息对应的推荐排序参数量较小的子推荐排序参数中划分较多量的商品信息和用户信息对应的推荐排序参数,进而在多线程并行处理时,可以均衡各个线程的数据处理量,提高整个服务器的数据处理速度。相应的,可以根据用户信息和商品信息确定各个推荐排序参数复杂等级,即用户信息和商品信息越详细,则推荐排序参数的复杂等级越高,相应的其在计算过程中的处理量将会更大,进而可以更为细分复杂等级,使得等级越高的子推荐排序参数数据集中包含更少量商品信息和用户信息的推荐排序参数,等级越低的子推荐排序参数数据集中包含较多商品信息和用户信息的推荐排序参数,进而可以平衡各个线程的数据处理量,降低了网路数据的开销时长,即提高整个系统的并发计算效率。其中,预设规则表示所述推荐排序参数数量与推荐排序参数复杂等级之间的映射关系,即在数据库中存储有推荐排序参数数量(同一个商品推荐排序参数的总数量)与推荐排序参数复杂等级以映射关系关联,如复杂等级分为1、2、3个等级,其中等级1包括0-3个推荐排序参数、等级2包括4-6个推荐排序参数、等级3包括7-10个推荐排序参数,在一件商品A的推荐排序参数的数量为3时,则根据推荐排序参数数量与预设的推荐排序参数复杂等级的映射关系,能够确定商品A的推荐排序参数的复杂等级为等级3。在一种实施方式中,进一步地,所述依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,包括:把推荐排序参数复杂等级相同的所述商品的推荐排序参数切分到同一所述子推荐排序参数数据集中。其中参数复杂等级包括参数的数量(数量越多则等级预告)、参数的组成元素等,其中参数的组成元素如:参数中包括由公式表示的元素,其中该公式计算过程复杂,则其对应的复杂等级较高,如公式中包括多种高等函数,如求和函数、积分函数、无穷级数等中的任意一种或者多种。复杂等级相同则如:参数数量在同一范围内(如都在1-10内),同时参数组成元素均为同类型的初等函数/参数组成元素由同类型的高等函数组成/参数组成元素中包含高等函数的数量相同。
可选地,所述对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集,包括:
获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数;
将所述推荐排序参数复杂等级相同的所述商品的推荐排序参数切分为一个子推荐排序参数数据集,基于不同的所述推荐排序参数复杂等级形成若干子推荐排序参数数据集。
在一种实施方式中,为了提高后续数据处理的精度,即将推荐排序参数较为齐全且类型相似度在预设阈值(如70%-100%)切分到同一份子推荐排序参数数据集中,而部分数据集中推荐排序参数总量不够齐全,但是在能够进行相似度确定的数量阈值范围内时,则基于类型相似度在预设阈值(如70%-100%)中商品的商品信息将该类推荐排序参数组合在一份数据集中,即为了能够更好地进行切分,在获取了预设相似度阈值之内的推荐排序参数之后,为了能够使得各线程中的推荐排序参数计算量更为均衡,将不同商品同一复杂等级之内的推荐排序参数分配到同一个子推荐排序参数中。结合前述示例,在不同商品的推荐排序参数相似度在预设相似度阈值之内时,且不同商品的推荐排序参数的数量在预设数量范围内,子推荐排序参数数据集中。如不同商品A、商品B的推荐排序参数的相似度Y均在相似度阈值X-Z之间,且商品A推荐排序参数的数量为4,商品B的推荐排序参数数量为6,即商品A和商品B的推荐排序参数复杂等级均位于等级2中,则将商品A和商品B的推荐排序参数切分到同一个子推荐排序参数数据集中,另外,各子推荐排序参数的参数总量是有限制值的,通过前述过程则,使得同一个子推荐排序参数中类型和数量相近,也使得不同子推荐排序参数中的参数总量接近或者相等,均衡各线程对子推荐排序参数数据集中参数计算量,同时也使得同一子推荐排序参数数据集中参数的计算过程较为一致,避免由于类型和数量的不一致使得数据流服务器需要对同一线程的计算模型进行多次变换,进而提高了推荐排序参数的计算效率。
可选地,所述获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数之前,包括:
获取所述推荐排序参数数据集中同一商品的推荐排序参数,将不同商品的推荐排序参数的类型数量进行对比,依据所述不同商品的推荐排序参数的类型数量确定所述不同商品的推荐排序参数的相似度。
为了均衡各线程的数据处理量以及为了提高后续数据处理的精度,在本申请提供的一种实施方式中,将推荐排序参数相似度在预设相似度阈值之内的商品的推荐排序参数分流到一个线程中,以便于采用相同的计算过程对不同商品的推荐排序参数进行计算,避免数据流服务器重新对线程中数据进行判断,以便对不能提供模型中需要的推荐排序参数进行省略计算,以提高服务器的计算效率。相应的,获取推荐排序参数数据集中同一商品的推荐排序参数,将不同商品的推荐排序参数的类型数量进行对比。示例性的,假设推荐排序参数不同类型数量0-10,分别对应相似度为100%-0,如不同商品的推荐排序参数不同类型数量为3,则不同商品的推荐排序参数相似度为70%,商品1推荐排序参数的类型包括“A、B、C、D、E、F、G”,商品2推荐排序参数的类型包括“A、B、C、D、E、H、I、J”,通过对比发现,两商品的推荐排序参数类型不同的数量为3,其相似度为70%。结合前文所述,假设预设值了不同商品的推荐排序参数相似度大于等于70%时,则能够将该不同商品的推荐排序参数分配到一个子推荐排序参数数据集中。
通过前述过程,使得每一份子推荐排序参数数据集中推荐排序参数的数量尽可能的平衡,再通过并行线程进行排序计算时,实现没个线程中数据集中的推荐排序参数的数量差距较小,进而实现了并行线程中各个数据的数据处理量,对同一项批次或者同一项目商品的推荐排序结果时间较为一致,缩短各线程得到推荐排序参数的时间差。
如前所述,为了保证各个商品的推荐排序结果更为准确,且同时能够均衡各个线程的网络数据开销,在本申请提供的一种实施方式中,所述子推荐排序参数数据集中推荐排序参数数量不大于预设阈值,且同一商品的推荐排序参数位于同一所述子推荐排序参数数据集中。
可选地,所述通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序,包括:
通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中各商品的排序标识;
统计各所述子推荐排序参数数据集中各商品的排序标识,形成各商品的排序结果,其中,所述排序标识标记各商品的排序秩序;
依据所述排序结果对各商品进行排序。
在本申请提供的一种实施例中,为了快速形成各个商品的推荐排序的结果,结合前述可知,通过并行的线程向Tensorflow serving(数据流服务器)发送请求,以使得数据流服务器能够调用排序模型分别对各子推荐排序参数数据集中的数据进行计算,相应的,各子推荐排序参数数据集中的同一商品的推荐排序参数通过排序模型计算之后,得到的是该商品的排序标识,该排序标识用于表示商品的排序秩序,进而在数据流服务器统计汇总所有各商品排序标识,并依据该标识进行排序,之后,将排序后的商品在对应的用户终端页面进行展示,使得排序后的商品能够更符合用户行为特征和喜好,提高用户体验,在通过排序模型进行计算的过程中,同一件商品的推荐排序参数需一次全部或部分用于该商品排序的计算。在前述过程中,为了实现对商品的排序,相应的预设有排序规则,进而才能基于排序标识对商品进行快速排序并展示,避免商品在终端进行凌乱展示,具体的,如排序标识为1、2、3……等数字时,可以预设排序规则为1对应的商品排在第一位,2对应的商品排在第2位,3对应的商品排在第3位,后续数字按此规则依次排序。
在一种实施方式中,步骤S100中还包括:依据所述用户信息确定用户的重要等级;将相同重要等级用户对应的商品推荐排序参数确定为同一批处理的推荐排序参数。步骤S300中还包括:将高等级用户对应的子推荐排序参数优先通过所述数据流服务器进行计算,形成所述排序标识。在一种实施方式中,步骤S100中还包括:依据所述用户信息和所述商品信息,确定类型在预设相似度阈值之内的商品,将预设相似度阈值内商品对应的推荐排序参数确定为同一批处理的推荐排序参数。结合前述过程,为了使得高级的用户可以优选享受到前述精排计算结果,可以基于用户等级将相同重要等级用户对应商品推荐排序参数确定为同一批处理的推荐排序参数,进而在后续进行计算过程中,提高对高等级用户数据的处理效率,实现数据处理过程合理调度。相应的,为了加快服务器对数据处理效率,相似的商品,其对应的参数相差较少,计算过程相似,进而可以将具有一定相似度的商品划分到同一批处理的推荐排序参数数据集中,进而服务器可以根据相似或者相同计算过程对同一批数据进行快速处理,避免服务器多次对精排计算模型转换使其符合对应的参数,同样的提高了数据处理效率。
本发明实施例还提供了一种排序数据的处理装置,在其中一种实施方式中,如图2所示,包括:获取模块100、切分模块200、排序模块300:
获取模块100,用于获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;
切分模块200,用于从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;
排序模块300,用于建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。
进一步地,如图2所示,本发明实施例中提供的一种排序数据的处理装置还包括:第一切分单元210,用于从redis数据库中获取所述批处理的推荐排序参数数据集,依据所述用户信息和商品信息确定各商品的推荐排序参数复杂等级,依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集。第一获取单元211,用于获取同一商品对应用户信息和商品信息的推荐排序参数数量;对比单元212,用于依据所述推荐排序参数数量和预设规则确定所述同一商品的推荐排序参数复杂等级;其中,所述预设规则表示所述推荐排序参数数量与推荐排序参数复杂等级之间的映射关系。第二获取单元213,用于获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数;第二切分单元214,用于将所述推荐排序参数复杂等级相同的所述商品的推荐排序参数切分为一个子推荐排序参数数据集,基于不同的所述推荐排序参数复杂等级形成若干子推荐排序参数数据集。相似度确定单元201,用于获取所述推荐排序参数数据集中同一商品的推荐排序参数,将不同商品的推荐排序参数的类型数量进行对比,依据所述不同商品的推荐排序参数的类型数量确定所述不同商品的推荐排序参数的相似度。第三切分单元215,用于把推荐排序参数复杂等级相同的所述商品的推荐排序参数切分到同一所述子推荐排序参数数据集中;排序标识形成单元310,用于通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中各商品的排序标识;统计单元320,用于统计各所述子推荐排序参数数据集中各商品的排序标识,形成各商品的排序结果,其中,所述排序标识标记各商品的排序秩序;排序单元330,用于依据所述排序结果对各商品进行排序。
本发明实施例提供的一种排序数据的处理装置可以实现上述排序数据的处理方法的实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
本发明实施例提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现任一项技术方案所述的排序数据的处理方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质,可实现上述排序数据的处理方法的实施例,在本申请中通过对数据(用户信息和商品信息)进行预处理并缓存到redis中,进而降低了精排过程中精排计算模型读取数据的时长,使得计算模型形成的数据可以直接用于计算,加快了模型读取的速率;将原有的大批量的数据切分为多个小数据集,合理的分配各个线程处理数据的量,均衡了每一个线程的网络开销,避免某一线程处理数据量较大,导致的数据处理速度下降的问题;本申请实施例提供的一种排序数据的处理方法,包括:获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。本申请提供的实施例主要应用于商品的推荐排序系统中,进一地,应用于召回过程之后的精排过程,以便于排序出来的商品更符合用户的喜好,且排序后的商品具有与用户特征相对应的特征,以提高商品的曝光、点击率等。为了在用户终端页面显示相应的商品,且商品能够按照用户的喜好行为特征等用户信息进行排序展示,以提高商品曝光、点击率,在进行推荐排序计算过程中,获取用户信息和商品信息,并对用户信息和商品信息进行转码计算,其中某类商品对应用户信息包括购买该商品的用户的喜好、浏览该商品用户的喜好、用户性别、用户年龄、用户名称、用户来源等,商品信息包括:商品来源、商品的具体特征等,在该过程中,依据排序模型需要使用的参数,从用户信息和商品信息中提取必要的商品信息和用户信息进行转码,使得用户信息和商品信息转换成能够被排序模型计算的商品的推荐排序参数,进而在后期进行推荐排序结果计算时,可以直接调用推荐排序参数数据集中的数据计算对应用户终端页面的商品排序的秩序。进而减少了排序计算的中间环节,提高排序计算的速率。相应的,为了提高推荐排序计算的速率,将计算出的推荐排序参数缓存到redis中,结合rediskey-value存储系统的特性,将推荐排序参数缓存在redis中形成推荐排序参数数据集,进而加快了后续推荐排序参数的读取速度,进而加快推荐排序参数计算速率。基于redis存储系统的特性,从redis中获取批处理的所述推荐排序参数,并通过batch(批处理)将推荐排序参数切分为多个较小的数据集,采用多线程并行的方式进行数据的计算,即各线程分别请求数据流服务器调用推荐排序模型,通过该推荐排序模型分别计算各值推荐排序参数数据集中的推荐排序,得到推荐排序结果。在该过程中,由于子推荐排序参数形成数据集中的数据量较少,可以减少各个线程的数据计算量,加快了批数据处理速率,使得可以通过并发的方式显著提升服务器的计算效率。
此外,在又一种实施例中,本发明还提供一种服务器,如图3所示,所述服务器处理器503、存储器505、输入单元507以及显示单元509等器件。本领域技术人员可以理解,图3示出的结构器件并不构成对所有服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件。存储器505可用于存储应用程序501以及各功能模块,处理器503运行存储在存储器505的应用程序501,从而执行设备的各种功能应用以及数据处理。存储器505可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器505只作为例子而非作为限定。
输入单元507用于接收信号的输入,以及用户输入的用户信息和商品信息以及预设规则、参数模型等。输入单元507可包括触控面板以及其它输入设备。触控面板可收集客户在其上或附近的触摸操作(比如客户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元509可用于显示客户输入的信息或提供给客户的信息以及计算机设备的各种菜单。显示单元509可采用液晶显示器、有机发光二极管等形式。处理器503是计算机设备的控制中心,利用各种接口和线路连接整个电脑的各个部分,通过运行或执行存储在存储器503内的软件程序和/或模块,以及调用存储在存储器内的数据,执行各种功能和处理数据。图3中所示的一个或多个处理器503能够执行、实现图2中所示的获取模块100的功能、切分模块200的功能、排序模块300的功能、第一切分单元210的功能、第一获取单元211的功能、对比单元212的功能、第二获取单元213的功能、第二切分单元214的功能、相似度确定单元201的功能、第三切分单元215的功能、排序标识形成单元310的功能、统计单元320的功能、排序单元330的功能。
在一种实施方式中,所述服务器包括一个或多个处理器503,以及一个或多个存储器505,一个或多个应用程序501,其中所述一个或多个应用程序501被存储在存储器505中并被配置为由所述一个或多个处理器503执行,所述一个或多个应用程序301配置用于执行以上实施例所述的排序数据的处理方法。
本发明实施例提供的一种服务器,可实现上述排序数据的处理方法的实施例,在本申请中通过对数据(用户信息和商品信息)进行预处理并缓存到redis中,进而降低了精排过程中精排计算模型读取数据的时长,使得计算模型形成的数据可以直接用于计算,加快了模型读取的速率;将原有的大批量的数据切分为多个小数据集,合理的分配各个线程处理数据的量,均衡了每一个线程的网络开销,避免某一线程处理数据量较大,导致的数据处理速度下降的问题;本申请实施例提供的一种排序数据的处理方法,包括:获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。本申请提供的实施例主要应用于商品的推荐排序系统中,进一地,应用于召回过程之后的精排过程,以便于排序出来的商品更符合用户的喜好,且排序后的商品具有与用户特征相对应的特征,以提高商品的曝光、点击率等。为了在用户终端页面显示相应的商品,且商品能够按照用户的喜好行为特征等用户信息进行排序展示,以提高商品曝光、点击率,在进行推荐排序计算过程中,获取用户信息和商品信息,并对用户信息和商品信息进行转码计算,其中某类商品对应用户信息包括购买该商品的用户的喜好、浏览该商品用户的喜好、用户性别、用户年龄、用户名称、用户来源等,商品信息包括:商品来源、商品的具体特征等,在该过程中,依据排序模型需要使用的参数,从用户信息和商品信息中提取必要的商品信息和用户信息进行转码,使得用户信息和商品信息转换成能够被排序模型计算的商品的推荐排序参数,进而在后期进行推荐排序结果计算时,可以直接调用推荐排序参数数据集中的数据计算对应用户终端页面的商品排序的秩序。进而减少了排序计算的中间环节,提高排序计算的速率。相应的,为了提高推荐排序计算的速率,将计算出的推荐排序参数缓存到redis中,结合rediskey-value存储系统的特性,将推荐排序参数缓存在redis中形成推荐排序参数数据集,进而加快了后续推荐排序参数的读取速度,进而加快推荐排序参数计算速率。基于redis存储系统的特性,从redis中获取批处理的所述推荐排序参数,并通过batch(批处理)将推荐排序参数切分为多个较小的数据集,采用多线程并行的方式进行数据的计算,即各线程分别请求数据流服务器调用推荐排序模型,通过该推荐排序模型分别计算各值推荐排序参数数据集中的推荐排序,得到推荐排序结果。在该过程中,由于子推荐排序参数形成数据集中的数据量较少,可以减少各个线程的数据计算量,加快了批数据处理速率,使得可以通过并发的方式显著提升服务器的计算效率。
本发明实施例提供的服务器可以实现上述提供的排序数据的处理方法的实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种排序数据的处理方法,其特征在于,包括:
获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;
从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集,包括:从redis数据库中获取所述批处理的推荐排序参数数据集,获取同一商品对应用户信息和商品信息的推荐排序参数数量;依据所述推荐排序参数数量和预设规则确定所述同一商品的推荐排序参数复杂等级;其中,所述预设规则表示所述推荐排序参数数量与推荐排序参数复杂等级之间的映射关系,依据所述推荐排序参数复杂等级,获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数;将所述推荐排序参数复杂等级相同的所述商品的推荐排序参数切分为一个子推荐排序参数数据集,基于不同的所述推荐排序参数复杂等级形成若干子推荐排序参数数据集;
建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序,包括:通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中各商品的排序标识;统计各所述子推荐排序参数数据集中各商品的排序标识,形成各商品的排序结果,其中,所述排序标识标记各商品的排序秩序;依据所述排序结果对各商品进行排序。
2.根据权利要求1所述的排序数据的处理方法,其特征在于,所述获取所述批处理的推荐排序参数数据集中相似度在预设相似度阈值之内的商品的推荐排序参数之前,包括:
获取所述推荐排序参数数据集中同一商品的推荐排序参数,将不同商品的推荐排序参数的类型数量进行对比,依据所述不同商品的推荐排序参数的类型数量确定所述不同商品的推荐排序参数的相似度。
3.根据权利要求1所述的排序数据的处理方法,其特征在于,所述依据所述推荐排序参数复杂等级,对所述批处理的推荐排序参数数据集进行切分,包括:
把推荐排序参数复杂等级相同的所述商品的推荐排序参数切分到同一所述子推荐排序参数数据集中。
4.一种排序数据的处理装置,其特征在于,用于实现权利要求1-3中任一项所述的方法,所述装置包括:
获取模块,用于获取用户信息以及商品信息,对所述用户信息和商品信息进行转码,得到推荐排序参数,将所述推荐排序参数缓存到redis数据库中,形成批处理的推荐排序参数数据集;
切分模块,用于从redis数据库中获取所述批处理的推荐排序参数数据集,并将所述批处理的推荐排序参数数据集进行切分,形成若干子推荐排序参数数据集;
排序模块,用于建立各线程与各所述子推荐排序参数数据集的关联关系,通过各所述线程请求数据流服务器对关联的各所述子推荐排序参数数据集中的推荐排序参数进行计算,得到各所述子推荐排序参数数据集中推荐排序参数的排序结果,依据所述排序结果对商品进行排序。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现权利要求1至3任一项所述的排序数据的处理方法。
6.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行根据权利要求1至3任一项所述的排序数据的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910894036.1A CN110781217B (zh) | 2019-09-20 | 2019-09-20 | 排序数据的处理方法、装置及存储介质、服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910894036.1A CN110781217B (zh) | 2019-09-20 | 2019-09-20 | 排序数据的处理方法、装置及存储介质、服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110781217A CN110781217A (zh) | 2020-02-11 |
CN110781217B true CN110781217B (zh) | 2023-11-24 |
Family
ID=69384289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910894036.1A Active CN110781217B (zh) | 2019-09-20 | 2019-09-20 | 排序数据的处理方法、装置及存储介质、服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110781217B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113961792A (zh) * | 2020-07-15 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 一种资源推荐系统、方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208073A (zh) * | 2012-01-17 | 2013-07-17 | 阿里巴巴集团控股有限公司 | 获得推荐商品信息及提供商品信息的方法、装置 |
CN104794146A (zh) * | 2014-12-22 | 2015-07-22 | 广州唯品会信息科技有限公司 | 商品实时筛选和排序的方法和装置 |
CN107679151A (zh) * | 2017-09-26 | 2018-02-09 | 深圳智慧园区信息技术有限公司 | 一种基于ela大数据驾驶舱系统的数据处理方法 |
CN108960945A (zh) * | 2017-05-18 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 商品推荐方法和装置 |
CN110221817A (zh) * | 2019-06-17 | 2019-09-10 | 北京酷我科技有限公司 | 一种数据召回模块及推荐系统 |
-
2019
- 2019-09-20 CN CN201910894036.1A patent/CN110781217B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208073A (zh) * | 2012-01-17 | 2013-07-17 | 阿里巴巴集团控股有限公司 | 获得推荐商品信息及提供商品信息的方法、装置 |
CN104794146A (zh) * | 2014-12-22 | 2015-07-22 | 广州唯品会信息科技有限公司 | 商品实时筛选和排序的方法和装置 |
CN108960945A (zh) * | 2017-05-18 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 商品推荐方法和装置 |
CN107679151A (zh) * | 2017-09-26 | 2018-02-09 | 深圳智慧园区信息技术有限公司 | 一种基于ela大数据驾驶舱系统的数据处理方法 |
CN110221817A (zh) * | 2019-06-17 | 2019-09-10 | 北京酷我科技有限公司 | 一种数据召回模块及推荐系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110781217A (zh) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11526653B1 (en) | System and method for optimizing electronic document layouts | |
US10963541B2 (en) | Systems, methods, and apparatuses for implementing a related command with a predictive query interface | |
US9390142B2 (en) | Guided predictive analysis with the use of templates | |
US8356026B2 (en) | Predictive data caching | |
CN102483745B (zh) | 共同选择图像分类 | |
US10229210B2 (en) | Search query task management for search system tuning | |
US11481810B2 (en) | Generating and utilizing machine-learning models to create target audiences with customized auto-tunable reach and accuracy | |
US11109085B2 (en) | Utilizing one hash permutation and populated-value-slot-based densification for generating audience segment trait recommendations | |
CN109300041A (zh) | 理财策略推荐方法、电子装置及可读存储介质 | |
CN111159563A (zh) | 用户兴趣点信息的确定方法、装置、设备及存储介质 | |
US11720565B2 (en) | Automated query predicate selectivity prediction using machine learning models | |
CN113282630A (zh) | 基于接口切换的数据查询方法及装置 | |
CN110781217B (zh) | 排序数据的处理方法、装置及存储介质、服务器 | |
US11741101B2 (en) | Estimating execution time for batch queries | |
CN113094444A (zh) | 数据处理方法、数据处理装置、计算机设备和介质 | |
US11182833B2 (en) | Estimating annual cost reduction when pricing information technology (IT) service deals | |
CN116304303B (zh) | 一种基于知识图谱的资产推荐方法及系统 | |
CN114021739B (zh) | 业务处理、业务处理模型训练方法、装置及电子设备 | |
US10755324B2 (en) | Selecting peer deals for information technology (IT) service deals | |
Ben-Shimon | Anytime algorithms for top-N recommenders | |
CN114090871A (zh) | 内容推荐方法、装置、电子设备及计算机可读存储介质 | |
CN117171216A (zh) | 产品查找方法、装置、计算机设备及介质 | |
US9275480B2 (en) | Encoding of line pattern representation | |
CN115017341A (zh) | 用户标签处理方法、装置及电子设备 | |
CN116737999A (zh) | 一种数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |