CN107066558A - 基于人工智能的引导项推荐方法及装置、设备与可读介质 - Google Patents
基于人工智能的引导项推荐方法及装置、设备与可读介质 Download PDFInfo
- Publication number
- CN107066558A CN107066558A CN201710192670.1A CN201710192670A CN107066558A CN 107066558 A CN107066558 A CN 107066558A CN 201710192670 A CN201710192670 A CN 201710192670A CN 107066558 A CN107066558 A CN 107066558A
- Authority
- CN
- China
- Prior art keywords
- boot entry
- training
- boot
- candidate
- income
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于人工智能的引导项推荐方法及装置、设备与可读介质。所述方法包括：获取当前查询词以及所述当前查询词对应的多个候选引导项；根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值；所述引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项。与现有技术中仅考虑查询词的单轮点击率相比，本发明的技术方案，能够提高引导项的推荐效率，丰富引导项的推荐效果。
Description
【技术领域】
本发明涉及计算机应用技术领域，尤其涉及一种基于人工智能的引导项推荐方法及装置、设备与可读介质。
【背景技术】
人工智能(Artificial Intelligence；AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
在搜索产品、智能聊天产品等场景中，引导项推荐是一个非常重要的功能，起到了澄清搜索项、激发用户兴趣、引导用户更深入获取信息等作用。引导项推荐通常存在展现位置有限的问题，所以对于引导项的排序显得尤为重要。
现有技术中，对于候选引导项的挖掘，主要是通过对用户的行为进行挖掘，例如用户搜索“周杰伦”之后搜索“周杰伦演唱会”，那么“周杰伦演唱会”就是“周杰伦”的一个候选引导项，根据这样的方式，对于一个搜索的query(查询词)，可以得到大量的候选引导项。接着需要对候选引导项进行排序，常见的对候选引导项排序的方法是根据query和引导项的特征以及展现点击信息，训练评分模型对query的各引导项做点击数预估；并结合query，对每一个候选引导项进行评分，按照分数从高到低对候选引导项进行排序，并向用户展现得分高的引导项。
但是按照上述方式推荐的候选引导项仅考虑了每一个候选引导项单轮的点击数情况，但实际应用中存在如下情况：例如某query的引导项A的点击率比引导项B的点击率高，但是点击引导项B后所对应的引导项的点击率比点击引导项A后对应的引导项的点击率高非常多，那么引导项B的总体收益会更大的；如果按照现有的仅仅考虑单轮点击数结果的话，更倾向于把引导项A排在前面，从而导致引导项推荐的效果较差。
【发明内容】
本发明提供了一种基于人工智能的引导项推荐方法及装置、设备与可读介质，用于提高引导项推荐效率，丰富引导项的推荐效果。
本发明提供一种基于人工智能的引导项推荐方法，所述方法包括：
获取当前查询词以及所述当前查询词对应的多个候选引导项；
根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值；所述引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；
根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项。
进一步可选地，如上所述的方法中，根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值之前，还包括：
从历史日志中的多个会话数据中挖掘数组训练数组；
采用各组所述训练数组训练所述引导项收益评分模型，从而确定所述引导项收益评分模型。
进一步可选地，如上所述的方法中，各组所述训练数组包括第一训练查询词、所述第一训练查询词对应的第一训练引导项、所述第一训练引导项的点击状态、若所述第一训练引导项被继续点击时看作为第二训练查询词以及所述第二训练查询词对应的第二训练引导项组成的五元组。
进一步可选地，如上所述的方法中，从历史日志中的多个会话数据中挖掘数组训练数组，具体包括：
对所述历史日志中的各所述会话数据中的文本进行不同粒度的分词处理，得到多个分词组成的分词序列；
从多个所述分词序列中挖掘各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项；
根据各所述会话数据中的文本挖掘各组所述训练数组中的所述第一训练引导项的点击状态。
进一步可选地，如上所述的方法中，采用各组所述训练数组训练所述引导项收益评分模型，从而确定所述引导项收益评分模型，具体包括：
将各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项根据词表转换为对应的标识；
依次将转换为标识后的各组所述训练数组输入至所述引导项收益评分模型中，由所述引导项收益评分模型根据转换为标识后的各组所述训练数组获取对应的最小化收益损失，并调整所述引导项收益评分模型的参数，使得所述最小化收益损失收敛，确定所述引导项收益评分模型的参数，从而确定所述引导项收益评分模型。
进一步可选地，如上所述的方法中，根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项，具体包括：
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；根据所述候选引导项序列中的多个所述候选引导项的排序，向所述用户推荐所述多个候选引导项；或者
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；从所述候选引导项序列中获取收益分值最高的前N个所述候选引导项；向所述用户推荐前N个所述候选引导项；其中所述N为正整数。
本发明提供一种基于人工智能的引导项推荐装置，所述装置包括：
获取模块，用于获取当前查询词以及所述当前查询词对应的多个候选引导项；
预测模块，用于根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值；所述引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；
推荐模块，用于根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项。
进一步可选地，如上所述的装置中，还包括：
挖掘模块，用于从历史日志中的多个会话数据中挖掘数组训练数组；
训练模块，用于采用各组所述训练数组训练所述引导项收益评分模型，从而确定所述引导项收益评分模型。
进一步可选地，如上所述的装置中，各组所述训练数组包括第一训练查询词、所述第一训练查询词对应的第一训练引导项、所述第一训练引导项的点击状态、若所述第一训练引导项被继续点击时看作为第二训练查询词以及所述第二训练查询词对应的第二训练引导项组成的五元组。
进一步可选地，如上所述的装置中，所述挖掘模块，具体用于：
对所述历史日志中的各所述会话数据中的文本进行不同粒度的分词处理，得到多个分词组成的分词序列；
从多个所述分词序列中挖掘各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项；
根据各所述会话数据中的文本挖掘各组所述训练数组中的所述第一训练引导项的点击状态。
进一步可选地，如上所述的装置中，所述训练模块，具体用于：
将各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项根据词表转换为对应的标识；
依次将转换为标识后的各组所述训练数组输入至所述引导项收益评分模型中，由所述引导项收益评分模型根据转换为标识后的各组所述训练数组获取对应的最小化收益损失，并调整所述引导项收益评分模型的参数，使得所述最小化收益损失收敛，确定所述引导项收益评分模型的参数，从而确定所述引导项收益评分模型。
进一步可选地，如上所述的装置中，所述推荐模块，具体用于：
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；根据所述候选引导项序列中的多个所述候选引导项的排序，向所述用户推荐所述多个候选引导项；或者
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；从所述候选引导项序列中获取收益分值最高的前N个所述候选引导项；向所述用户推荐前N个所述候选引导项；其中所述N为正整数。
本发明还提供一种计算机设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于人工智能的引导项推荐方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于人工智能的引导项推荐方法。
本发明的基于人工智能的引导项推荐方法及装置、设备与可读介质，通过获取当前查询词以及当前查询词对应的多个候选引导项；根据当前查询词、对应的各候选引导项以及预先训练的引导项收益评分模型，分别预测当前查询词的各候选引导项的收益分值；其中引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；并根据当前查询词的各候选引导项的收益分值的高低，向用户推荐引导项。本发明的技术方案，所采用的引导项收益评分模型是根据多轮点击训练得到的，可以综合考虑每一个候选引导项多轮点击的收益，因此，该引导项收益评分模型能够准确预测当前查询词对应的每一个候选引导项的收益分值，从而可以根据当前查询词的各候选引导项的收益分值的高低，准确地向用户推荐引导项。与现有技术中仅考虑查询词的单轮点击率相比，本发明的技术方案，能够提高引导项的推荐效率，丰富引导项的推荐效果。
【附图说明】
图1为本发明的基于人工智能的引导项推荐方法实施例的流程图。
图2为本发明的引导项收益评分模型的网络结构图。
图3为本发明的基于人工智能的引导项推荐装置实施例一的结构图。
图4为本发明的基于人工智能的引导项推荐装置实施例二的结构图。
图5为本发明的计算机设备实施例的结构图。
图6为本发明提供的一种计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的基于人工智能的引导项推荐方法实施例的流程图。如图1所示，本实施例的基于人工智能的引导项推荐方法，具体可以包括如下步骤：
100、获取当前查询词以及当前查询词对应的多个候选引导项；
本实施例的基于人工智能的引导项推荐方法的执行主体为基于人工智能的引导项推荐装置，该基于人工智能的引导项推荐装置可以为一电子的实体装置，也可以为采用软件集成的装置。
本实施例的基于人工智能的引导项推荐方法可以应用于搜索产品或者智能聊天产品等场景中。在搜索产品中，用户可以输入查询词即query；然后搜索产品根据该query可以计算对应的可以选择的多个候选引导项。本实施例的当前query的多个候选引导项的获取可以对历史日志中该query相关的访问日志进行统计分析得到。在智能聊天产品中，由机器人根据用户输入的query为用户提供多个候选引导项，以激发用户兴趣、引导用户更深入获取信息。同理，该候选引导项也可以根据智能聊天产品的历史访问记录中该query相关的访问日志进行统计分析得到。
101、根据当前查询词、对应的各候选引导项以及预先训练的引导项收益评分模型，分别预测当前查询词的各候选引导项的收益分值；其中引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；
本实施例中，预先训练的引导项收益评分模型是根据训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到，也就是说，该引导项收益评分模型在训练时，不是像现有技术那样，仅考虑单轮点击的情况，仅预测每个候选引导项的预估点击数，以便于后续根据每个候选引导项的预估点击数，选择向用户推荐预估点击数较高的候选引导项；而是根据每个训练查询词对应的训练引导项进行多轮点击训练得到。本实施例中的多轮点击训练的过程中的对应的查询词序列可以表示为：训练查询词-训练引导项1-训练引导项2-训练引导项3-…….，或者训练查询词-训练引导项a-训练引导项b-训练引导项c-…….等等。即当用户输入训练查询词，然后在多个结果中点击训练引导项1，再从多个结果中点击训练引导项2，依次类推。或者当用户输入训练查询词，然后在多个结果中点击训练引导项a，再从多个结果中点击训练引导项b，依次类推。多轮点击训练的过程中，不是考虑训练引导项1和训练引导项a的预估点击数，因为，有时候训练引导项1的点击数大于训练引导项a，但训练引导项1之后点击的训练引导项2的点击数远远小于训练引导项a之后点击的训练引导项b的点击数，即训练引导项1带来的收益是小于训练引导项a带来的收益。因此，本实施例通过使用训练词库中的各训练查询词进行多轮点击训练，使得训练得到的引导项收益评分模型，可以考虑每个query对应的后续多轮点击的候选引导项的点击率，从而可以准确预测query对应的每一个候选引导项的收益分值。因此，本实施例中，将当前query以及对应的候选引导项输入值该引导项收益评分模型，该引导项收益评分模型便可以输出该当前query的该候选引导项对应的收益分值。对于多个候选引导项中的每一个候选引导项，均可以采用类似的方式获取每一个候选引导项的收益分值。需要说明的是，本实施例的引导项收益评分模型还可以加入排序算法，此时可以同时输入该当前查询词的多个候选引导项，该引导项收益评分模型在预测出每一个候选引导项对应的收益分值之后，还可以按照收益分值的高低对多个候选引导项进行排序；此时需要引导项收益评分模型将预测的每个候选引导项的收益分值和对应的候选引导项都输出。
102、根据当前查询词的各候选引导项的收益分值的高低，向用户推荐引导项。
根据上述步骤获取的多个候选引导项中的每个候选引导项的收益分值，便可以根据当前查询词的各候选引导项的收益分值的高低，向用户推荐引导项。
例如，当引导项收益评分模型不对多个候选引导项排序时，此时该步骤102“根据当前查询词的各候选引导项的收益分值的高低，向用户推荐引导项”，具体可以包括如下两种方式：
第一种方式为向用户推荐步骤100获取的所有候选引导项。例如该方式，具体可以包括如下步骤：
(a1)根据当前查询词的各候选引导项的收益分值的高低，对多个候选引导项进行排序，生成候选引导项序列；
(a2)根据候选引导项序列中的多个候选引导项的排序，向用户推荐多个候选引导项。
该种方式中，由于步骤101已经得到当前查询词的各候选引导项的收益分值，然后根据当前查询词的各候选引导项的收益分值的高低，可以对多个候选引导项进行排序，生成候选引导项序列；即该候选引导项序列中，收益分值高的候选引导项排在前面，而收益分值低的候选引导项排在后面。然后根据候选引导项序列中的多个候选引导项的排序，向用户推荐多个候选引导项，即收益分值高的候选引导项处于推荐的靠前的位置，而收益分值低的候选引导项处于推荐的靠后的位置。
第二种方式为向用户推荐步骤100获取的部分候选引导项，如其中的N个候选引导项，其中N为正整数，具体可以为1个、2个或者其他数量个。例如第二种方式，具体可以包括如下步骤：
(b1)根据当前查询词的各候选引导项的收益分值的高低，对多个候选引导项进行排序，生成候选引导项序列；
(b2)从候选引导项序列中获取收益分值最高的前N个候选引导项；向用户推荐前N个候选引导项。
其中步骤(b1)的实现方式与上述步骤(a1)相同，详细可以参考上述步骤(a1)的实现，在此不再赘述。然后该种方式中，可以从候选引导项序列中获取收益分值最高的前N个候选引导项。例如在某些场景下，仅需要推荐一个候选引导项时，可以从候选引导项序列中获取第一个候选引导项，即收益分值最高的候选引导项，然后推荐给用户。或者在有些场景下，需要向用户推荐3个或者5个候选引导项时，均可以从候选引导项序列中获取前3个或者前5个，推荐给用户。
本实施例的基于人工智能的引导项推荐方法，通过获取当前查询词以及当前查询词对应的多个候选引导项；根据当前查询词、对应的各候选引导项以及预先训练的引导项收益评分模型，分别预测当前查询词的各候选引导项的收益分值；其中引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；并根据当前查询词的各候选引导项的收益分值的高低，向用户推荐引导项。本实施例的技术方案，所采用的引导项收益评分模型是根据多轮点击训练得到的，可以综合考虑每一个候选引导项多轮点击的收益，因此，该引导项收益评分模型能够准确预测当前查询词对应的每一个候选引导项的收益分值，从而可以根据当前查询词的各候选引导项的收益分值的高低，准确地向用户推荐引导项。与现有技术中仅考虑查询词的单轮点击率相比，本实施例的技术方案，能够提高引导项的推荐效率，丰富引导项的推荐效果。
进一步可选地，在上述实施例的技术方案的基础上，在步骤101“根据当前查询词、对应的各候选引导项以及预先训练的引导项收益评分模型，分别预测当前查询词的各候选引导项的收益分值”之前，还可以包括如下步骤：
(c1)从历史日志中的多个会话数据中挖掘数组训练数组；
(c2)采用各组训练数组训练引导项收益评分模型，从而确定引导项收益评分模型。
例如，本实施例的各组训练数组包括第一训练查询词、第一训练查询词对应的第一训练引导项、第一训练引导项的点击状态、若第一训练引导项被继续点击时看作为第二训练查询词以及第二训练查询词对应的第二训练引导项组成的五元组。也就是说，各组训练数组中第二训练查询词都等于第一训练引导项；其中第一训练引导项的点击状态可以标识为reward，当用户点击该第一训练引导项，该reward的值为1，否则该reward的值为0。由于本实施例中的第一训练查询词、第一训练引导项以及第一训练引导项被点击之后的第二训练引导项是一个连续访问过程中的出现连续点击情况。因此可以通过对历史日志中的多个会话(session)数据进行挖掘，挖掘多个五元组，作为训练数组。例如，当一个session中可以挖掘出来如下一个访问序列：query1-query2-query3-query4-query5；其中query2-query5可以为query1之后连续点击的候选引导项。此时可以根据query2的点击状态，生成第一训练查询词为query1、第一训练引导项为query2以及第二训练引导项为query3的五元组；还可以根据query3的点击状态，生成第一训练查询词为query2、第一训练引导项为query3以及第二训练引导项为query4的五元组；还可以根据query4的点击状态，生成第一训练查询词为query3、第一训练引导项为query4以及第二训练引导项为query5的五元组。也就是说历史日志中的一个session数据也可以挖掘出多个五元组的训练数组。对多个session数据进行挖掘，可以挖掘出多组训练数组，每组训练数组均包括一个五元组。
本实施例中使用五元组作为训练数组是考虑增强学习中常用的SARSA(State-Action-Reward-State-Action)算法，其中当前状态st执行下一动作at的收益Q值的更新取决于当前状态st，agent选择的动作at，执行动作后得到的收益rt+1及到达的下一状态st+1，以及新状态下agent会选择的下一动作at+1。Q值的更新公式可以表示为如下：
Q(st，at)←Q(st，at)+α[rt+1+γQ(st+1，at+1)-Q(st，at)]
其中Q(st，at)表示当前状态st执行下一动作at的收益；Q(st+1，at+1)表示当前状态st+1执行下一动作at+1的收益；α为学习率，rt+1为执行动作at后得到的收益，即reward，定义为用户是否点击该引导项，点击则reward为1，否则为0。γ为衰减因子。
在引导项推荐的场景下，State定义为当前query或者结合上下文信息的query，Action为候选引导项。本实施例的引导项收益评分模型可以为SARSA算法结合深度神经网络(Deep Neural Networks；DNN)模型对Q值进行建模得来，因此可以命名为神经网络-深度增强学习(Neural Networks-Reinforcement Learning；NN-RL)模型。
例如，从日志中离线挖掘用户的session数据，可以得到如下面的五元组形式的训练数组：
(query1,hint1,clicked,query2,hint2)
其相当于SARSA五元组(st，at,rt+1，st+1，at+1)。用户输入query1，query1触发引导项，如果用户点击了hint1，则clicked为1，否则为0。query2相当于由hint1作为query，触发引导项，hint2为其中一个。query1为当前State，触发的引导项为可执行的候选动作Actions，如果点击某引导项，则该Action获得的reward为1，否则为0。执行Action进入nextState，此时，该引导项作为query触发新一轮的引导项。例如，从日志中可以离线挖掘出如下的五元组示例：
(小花仙，小花仙游戏，1，小花仙游戏，小花仙游戏大全)
(小花仙，小花仙游戏，1，小花仙游戏，小花仙手机版在线玩)
(小花仙，小花仙大电影，0，小花仙大电影，花精灵王里谁最漂亮)
(小花仙，小花仙大电影，0，小花仙大电影，小花仙配乐)
进一步可选地，上述实施例中的步骤(c1)“从历史日志中的多个会话数据中挖掘数组训练数组”，具体可以包括如下步骤：
(d1)对历史日志中的各会话数据中的文本进行不同粒度的分词处理，得到多个分词组成的分词序列；
(d2)从多个分词序列中挖掘各组训练数组中的第一训练查询词、第一训练引导项以及第二训练引导项；
(d3)根据各会话数据中的文本挖掘各组训练数组中的第一训练引导项的点击状态。
根据上述描述，可以得知，本实施例的引导项收益评分模型中的SARSA算法可处理连续State、连续Action，获取五元组的训练数组时，可以先对日志的session数据的文本进行不同粒度的分词，以获取第一训练查询词query以及对应的第一候选引导项以及第一训练引导项被点击之后的第二训练引导项。具体的分词的粒度的大小可以根据候选引导项所需要的分词的粒度的大小来控制。其中第一训练引导项的点击状态也可以从各会话数据中的文本中挖掘出。这样根据五元组的表示形式，可以得到挖掘的作为训练数组的五元组为：
(第一训练查询词、第一训练引导项、第一训练引导项的点击状态、第二训练查询词、第二训练引导项)
其中第二训练查询词等于第一训练引导项。
进一步可选地，上述实施例中的步骤(c2)“采用各组训练数组训练引导项收益评分模型，从而确定引导项收益评分模型”，具体可以包括如下步骤：
(e1)将各组训练数组中的第一训练查询词、第一训练引导项以及第二训练引导项根据词表转换为对应的标识；
(e2)依次将转换为标识后的各组训练数组输入至引导项收益评分模型中，由引导项收益评分模型根据转换为标识后的各组训练数组获取对应的最小化收益损失，并调整引导项收益评分模型的参数，使得最小化收益损失收敛，确定引导项收益评分模型的参数，从而确定引导项收益评分模型。
在训练之前，根据词表将五元组中的每个词语映射成一组数字表示的标识如id，这里的词表是指词语和对应的标识id之间的一个映射表，根据该映射表，可以将词语映射成一个标识id。在训练之前，对五元组中的query和引导项进行分词，根据分词结果便可以生成词表，每一个词语对应一个标识id，一个query或引导项分词后包括多个词语，即一组标识id。这样，在训练的时候，输入至引导项收益评分模型中的这些五元组都不是文本形式的query或者引导项，而是这些文本形式的词语的标识id。
在训练过程中，首先将id表示之后的第一组训练数组的五元组输入至引导项收益评分模型中，此时模型中的各个参数包括学习率α以及衰减因子γ等等都采用预先设置的参数初始值来计算，训练时，该引导项收益评分模型输出最小化收益损失，可以采用如下公式表示：
Loss＝((rt+1+γ*Q(st+1，at+1))-Q(st，at))2
其中Loss为当前状态st+1执行下一动作at+1的收益，与当前状态st执行下一动作at的收益之间的最小化收益损失值。然后调整引导项收益评分模型的参数，使得最小化收益损失Loss逐渐收敛，然后继续输入第二组训练数组的五元组，引导项收益评分模型会再输出一个最小化收益损失值，然后以此类推，再次调整引导项收益评分模型的参数，再次输入下一组训练数组的五元组，再次调整调整引导项收益评分模型的参数，再次输入下下一组训练数组的五元组，直到使用所有的训练数组对该引导项收益评分模型训练，最终使得引导项收益评分模型输出的最小化收益损失Loss收敛，此时引导项收益评分模型的参数便为训练得到的引导项收益评分模型的参数，这样，引导项收益评分模型训练完成，引导项收益评分模型确定。后续在使用时，可以直接向该训练好的引导项收益评分模型中输入当前查询词以及对应的候选引导项，该引导项收益评分模型便可以输出该当前查询词的候选引导项的收益分值。
本实施例中，在训练引导项收益评分模型时，可以挖掘出5000以上或者上万或者更多的训练数组，训练时采用的训练数组的组数越多，训练引导项收益评分模型时，确定的引导项收益评分模型的参数越准确，后续根据引导项收益评分模型的预计的当前查询词的候选引导项的收益分值便越准确。
图2为本发明的引导项收益评分模型的网络结构图。如图2所示，本实施例的引导项收益评分模型是基于NN-RL模型训练得来的。
如图2所示，该引导项收益评分模型的网络结构中可以包括如下几层：
(1)输入层：该引导项收益评分模型需要输入五元组State、Action、Reward、NextState和Next Action。其中State和Action均可为连续表示，在本应用场景中，输入的为query和引导项的分词结果对应的id。
(2)BOW层：State和Action都经过一个嵌入(embedding)层，将词或者id映射到一个多维空间中，变成一个词向量。embedding层可随机初始化，亦可使用已训练好的wordembedding进行热启，引导项收益评分模型在训练过程中可顺便优化得到新的wordembedding。然后经过BOW层，BOW层不考虑词的位置信息，直接将词向量进行累加。
(3)隐含层(Hidden Layer)：隐含层可以为一层或多层，例如可设为softsignlayer和fully connected layer。
(4)DOT层(Layer)：计算两个向量的点积，得到的值可作为State和Action对应的Q值，将Q值作为排序的依据，Q值越大，意味着后续收益可能越大，则排在前面。引导项收益评分模型的预测query的候选引导项的收益分值到DOT层得到Q值即可。也就是说，该引导项收益评分模型可以同时对query以及多个候选引导项进行收益分值的计算，同时还可以按照大小对收益排序。
(5)TD Error层(Layer)：将Temporal Difference Error作为引导项收益评分模型需要最小化的收益损失Loss，可使用Square Loss进行计算。该TD Error Layer仅在引导项收益评分模型的训练过程中使用到。训练时TD Error Layer可以输出该最小化的收益损失Loss，供用户查看训练过程中最小化的收益损失Loss的收敛过程；或者也可以不输出，由引导项收益评分模型自身检测最小化的收益损失Loss的收敛过程。
另外，需要说明的是，在上述实施例的技术方案的基础上，本实施例的引导项收益评分模型还可以考虑上下文信息，此时可以将前文的query和当前的query一起作为State即可，实现原理同上述实施例的记载，在此不再赘述。
本实施例的基于人工智能的引导项推荐方法，通过采用上述方式训练的引导项收益评分模型是根据多轮点击训练得到的，可以综合考虑每一个候选引导项多轮点击的收益，因此，该引导项收益评分模型能够准确预测当前查询词对应的每一个候选引导项的收益分值，从而可以根据当前查询词的各候选引导项的收益分值的高低，准确地向用户推荐引导项。与现有技术中仅考虑查询词的单轮点击率相比，本实施例的技术方案，能够提高引导项的推荐效率，丰富引导项的推荐效果。
图3为本发明的基于人工智能的引导项推荐装置实施例一的结构图。如图3所示，本实施例的基于人工智能的引导项推荐装置，具体可以包括：获取模块10、预测模块11和推荐模块12。
其中获取模块10用于获取当前查询词以及当前查询词对应的多个候选引导项；预测模块11用于根据获取模块10获取的当前查询词、对应的各候选引导项以及预先训练的引导项收益评分模型，分别预测当前查询词的各候选引导项的收益分值；引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；推荐模块12用于根据预测模块11预测的当前查询词的各候选引导项的收益分值的高低，向用户推荐引导项。
本实施例的基于人工智能的引导项推荐装置，通过采用上述模块实现引导项的推荐的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图4为本发明的基于人工智能的引导项推荐装置实施例二的结构图。如图4所示，本实施例的基于人工智能的引导项推荐装置，在上述图3所示实施例的技术方案的基础上，进一步还可以包括如下技术方案。
如图4所示，本实施例的基于人工智能的引导项推荐装置中，还包括：
挖掘模块13用于从历史日志中的多个会话数据中挖掘数组训练数组；
训练模块14用于采用各组训练数组训练引导项收益评分模型，从而确定引导项收益评分模型。
此时对应地，预测模块11用于根据获取模块10获取的当前查询词、对应的各候选引导项以及训练模块14预先训练的引导项收益评分模型，分别预测当前查询词的各候选引导项的收益分值。
进一步可选地，本实施例的基于人工智能的引导项推荐装置中，各组训练数组包括第一训练查询词、第一训练查询词对应的第一训练引导项、第一训练引导项的点击状态、若第一训练引导项被继续点击时看作为第二训练查询词以及第二训练查询词对应的第二训练引导项组成的五元组。
进一步可选地，本实施例的基于人工智能的引导项推荐装置中，挖掘模块13具体用于：
对历史日志中的各会话数据中的文本进行不同粒度的分词处理，得到多个分词组成的分词序列；
从多个分词序列中挖掘各组训练数组中的第一训练查询词、第一训练引导项以及第二训练引导项；
根据各会话数据中的文本挖掘各组训练数组中的第一训练引导项的点击状态。
进一步可选地，本实施例的基于人工智能的引导项推荐装置中，训练模块14具体用于：
将各组训练数组中的第一训练查询词、第一训练引导项以及第二训练引导项根据词表转换为对应的标识；
依次将转换为标识后的各组训练数组输入至引导项收益评分模型中，由引导项收益评分模型根据转换为标识后的各组训练数组获取对应的最小化收益损失，并调整引导项收益评分模型的参数，使得最小化收益损失收敛，确定引导项收益评分模型的参数，从而确定引导项收益评分模型。
进一步可选地，本实施例的基于人工智能的引导项推荐装置中，推荐模块12具体用于：
根据当前查询词的各候选引导项的收益分值的高低，对多个候选引导项进行排序，生成候选引导项序列；根据候选引导项序列中的多个候选引导项的排序，向用户推荐多个候选引导项；或者
根据当前查询词的各候选引导项的收益分值的高低，对多个候选引导项进行排序，生成候选引导项序列；从候选引导项序列中获取收益分值最高的前N个候选引导项；向用户推荐前N个候选引导项；其中N为正整数。
本实施例的基于人工智能的引导项推荐装置，通过采用上述模块实现引导项的推荐的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图5为本发明的计算机设备实施例的结构图。如图5所示，本实施例的计算机设备，包括：一个或多个处理器30，以及存储器40，存储器40用于存储一个或多个程序，当存储器40中存储的一个或多个程序被一个或多个处理器30执行，使得一个或多个处理器30实现如上实施例的基于人工智能的引导项推荐方法。图5所示实施例中以包括多个处理器30为例。
例如，图6为本发明提供的一种计算机设备的示例图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图6显示的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图4各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图4各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的基于人工智能的引导项推荐方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的基于人工智能的引导项推荐方法。
本实施例的计算机可读介质可以包括上述图6所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种基于人工智能的引导项推荐方法，其特征在于，所述方法包括：
获取当前查询词以及所述当前查询词对应的多个候选引导项；
根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值；所述引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；
根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项。
2.根据权利要求1所述的方法，其特征在于，根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值之前，所述方法还包括：
从历史日志中的多个会话数据中挖掘数组训练数组；
采用各组所述训练数组训练所述引导项收益评分模型，从而确定所述引导项收益评分模型。
3.根据权利要求2所述的方法，其特征在于，各组所述训练数组包括第一训练查询词、所述第一训练查询词对应的第一训练引导项、所述第一训练引导项的点击状态、若所述第一训练引导项被继续点击时看作为第二训练查询词以及所述第二训练查询词对应的第二训练引导项组成的五元组。
4.根据权利要求3所述的方法，其特征在于，从历史日志中的多个会话数据中挖掘数组训练数组，具体包括：
对所述历史日志中的各所述会话数据中的文本进行不同粒度的分词处理，得到多个分词组成的分词序列；
从多个所述分词序列中挖掘各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项；
根据各所述会话数据中的文本挖掘各组所述训练数组中的所述第一训练引导项的点击状态。
5.根据权利要求3或者4所述的方法，其特征在于，采用各组所述训练数组训练所述引导项收益评分模型，从而确定所述引导项收益评分模型，具体包括：
将各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项根据词表转换为对应的标识；
依次将转换为标识后的各组所述训练数组输入至所述引导项收益评分模型中，由所述引导项收益评分模型根据转换为标识后的各组所述训练数组获取对应的最小化收益损失，并调整所述引导项收益评分模型的参数，使得所述最小化收益损失收敛，确定所述引导项收益评分模型的参数，从而确定所述引导项收益评分模型。
6.根据权利要求1-4任一所述的方法，其特征在于，根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项，具体包括：
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；根据所述候选引导项序列中的多个所述候选引导项的排序，向所述用户推荐所述多个候选引导项；或者
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；从所述候选引导项序列中获取收益分值最高的前N个所述候选引导项；向所述用户推荐前N个所述候选引导项；其中所述N为正整数。
7.一种基于人工智能的引导项推荐装置，其特征在于，所述装置包括：
获取模块，用于获取当前查询词以及所述当前查询词对应的多个候选引导项；
预测模块，用于根据所述当前查询词、对应的各所述候选引导项以及预先训练的引导项收益评分模型，分别预测所述当前查询词的各所述候选引导项的收益分值；所述引导项收益评分模型是对训练词库中的各训练查询词对应的训练引导项进行多轮点击训练得到；
推荐模块，用于根据所述当前查询词的各所述候选引导项的收益分值的高低，向用户推荐引导项。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
挖掘模块，用于从历史日志中的多个会话数据中挖掘数组训练数组；
训练模块，用于采用各组所述训练数组训练所述引导项收益评分模型，从而确定所述引导项收益评分模型。
9.根据权利要求8所述的装置，其特征在于，各组所述训练数组包括第一训练查询词、所述第一训练查询词对应的第一训练引导项、所述第一训练引导项的点击状态、若所述第一训练引导项被继续点击时看作为第二训练查询词以及所述第二训练查询词对应的第二训练引导项组成的五元组。
10.根据权利要求9所述的装置，其特征在于，所述挖掘模块，具体用于：
对所述历史日志中的各所述会话数据中的文本进行不同粒度的分词处理，得到多个分词组成的分词序列；
从多个所述分词序列中挖掘各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项；
根据各所述会话数据中的文本挖掘各组所述训练数组中的所述第一训练引导项的点击状态。
11.根据权利要求9或者10所述的装置，其特征在于，所述训练模块，具体用于：
将各组所述训练数组中的所述第一训练查询词、所述第一训练引导项以及所述第二训练引导项根据词表转换为对应的标识；
依次将转换为标识后的各组所述训练数组输入至所述引导项收益评分模型中，由所述引导项收益评分模型根据转换为标识后的各组所述训练数组获取对应的最小化收益损失，并调整所述引导项收益评分模型的参数，使得所述最小化收益损失收敛，确定所述引导项收益评分模型的参数，从而确定所述引导项收益评分模型。
12.根据权利要求7-10任一所述的装置，其特征在于，所述推荐模块，具体用于：
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；根据所述候选引导项序列中的多个所述候选引导项的排序，向所述用户推荐所述多个候选引导项；或者
根据所述当前查询词的各所述候选引导项的收益分值的高低，对多个所述候选引导项进行排序，生成候选引导项序列；从所述候选引导项序列中获取收益分值最高的前N个所述候选引导项；向所述用户推荐前N个所述候选引导项；其中所述N为正整数。
13.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710192670.1A CN107066558A (zh) | 2017-03-28 | 2017-03-28 | 基于人工智能的引导项推荐方法及装置、设备与可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710192670.1A CN107066558A (zh) | 2017-03-28 | 2017-03-28 | 基于人工智能的引导项推荐方法及装置、设备与可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107066558A true CN107066558A (zh) | 2017-08-18 |
Family
ID=59621004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710192670.1A Pending CN107066558A (zh) | 2017-03-28 | 2017-03-28 | 基于人工智能的引导项推荐方法及装置、设备与可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066558A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090218A (zh) * | 2017-12-29 | 2018-05-29 | 北京百度网讯科技有限公司 | 基于深度强化学习的对话系统生成方法和装置 |
| CN108170749A (zh) * | 2017-12-21 | 2018-06-15 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
| CN108389314A (zh) * | 2018-02-08 | 2018-08-10 | 康美药业股份有限公司 | 一种售药机及其药品库存管理方法、存储介质 |
| CN108446378A (zh) * | 2018-03-16 | 2018-08-24 | 蜜芽宝贝（北京）网络科技有限公司 | 基于用户搜索的方法、系统及计算机存储介质 |
| CN108804603A (zh) * | 2018-05-29 | 2018-11-13 | 北京灵智优诺科技有限公司 | 人机书面对话方法及系统、服务器、介质 |
| CN109063934A (zh) * | 2018-09-27 | 2018-12-21 | 北京百度网讯科技有限公司 | 基于人工智能的组合优化结果获取方法、设备及可读介质 |
| CN110519013A (zh) * | 2019-08-30 | 2019-11-29 | 西安科技大学 | 一种基于强化学习的水声通信自适应调制方法 |
| CN110941268A (zh) * | 2019-11-20 | 2020-03-31 | 苏州大学 | 一种基于Sarsa安全模型的无人自动小车的控制方法 |
| US11847695B2 (en) * | 2018-04-03 | 2023-12-19 | Global Mobility Service Inc. | Credit screening support system, vehicle-mounted device, vehicle, server, credit screening support method, credit screening support program, and storage medium |
| WO2024045501A1 (zh) * | 2022-08-30 | 2024-03-07 | 海尔优家智能科技（北京）有限公司 | 推荐信息的确定方法和装置、存储介质及电子装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012106A1 (en) * | 2002-07-31 | 2004-02-05 | Bea Systems, Inc. | System and method for reinforcement learning and memory management |
| CN103729351A (zh) * | 2012-10-10 | 2014-04-16 | 阿里巴巴集团控股有限公司 | 查询词推荐方法及装置 |
| CN106294618A (zh) * | 2016-08-01 | 2017-01-04 | 北京百度网讯科技有限公司 | 搜索方法及装置 |
-
2017
- 2017-03-28 CN CN201710192670.1A patent/CN107066558A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012106A1 (en) * | 2002-07-31 | 2004-02-05 | Bea Systems, Inc. | System and method for reinforcement learning and memory management |
| CN103729351A (zh) * | 2012-10-10 | 2014-04-16 | 阿里巴巴集团控股有限公司 | 查询词推荐方法及装置 |
| CN106294618A (zh) * | 2016-08-01 | 2017-01-04 | 北京百度网讯科技有限公司 | 搜索方法及装置 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170749B (zh) * | 2017-12-21 | 2021-06-11 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
| CN108170749A (zh) * | 2017-12-21 | 2018-06-15 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
| CN108090218A (zh) * | 2017-12-29 | 2018-05-29 | 北京百度网讯科技有限公司 | 基于深度强化学习的对话系统生成方法和装置 |
| CN108389314A (zh) * | 2018-02-08 | 2018-08-10 | 康美药业股份有限公司 | 一种售药机及其药品库存管理方法、存储介质 |
| CN108389314B (zh) * | 2018-02-08 | 2021-07-13 | 康美药业股份有限公司 | 一种售药机及其药品库存管理方法、存储介质 |
| CN108446378B (zh) * | 2018-03-16 | 2022-04-12 | 蜜芽宝贝（北京）网络科技有限公司 | 基于用户搜索的方法、系统及计算机存储介质 |
| CN108446378A (zh) * | 2018-03-16 | 2018-08-24 | 蜜芽宝贝（北京）网络科技有限公司 | 基于用户搜索的方法、系统及计算机存储介质 |
| US11847695B2 (en) * | 2018-04-03 | 2023-12-19 | Global Mobility Service Inc. | Credit screening support system, vehicle-mounted device, vehicle, server, credit screening support method, credit screening support program, and storage medium |
| CN108804603A (zh) * | 2018-05-29 | 2018-11-13 | 北京灵智优诺科技有限公司 | 人机书面对话方法及系统、服务器、介质 |
| CN108804603B (zh) * | 2018-05-29 | 2021-07-23 | 北京灵智优诺科技有限公司 | 人机书面对话方法及系统、服务器、介质 |
| CN109063934A (zh) * | 2018-09-27 | 2018-12-21 | 北京百度网讯科技有限公司 | 基于人工智能的组合优化结果获取方法、设备及可读介质 |
| CN109063934B (zh) * | 2018-09-27 | 2022-05-03 | 北京百度网讯科技有限公司 | 基于人工智能的组合优化结果获取方法、设备及可读介质 |
| CN110519013A (zh) * | 2019-08-30 | 2019-11-29 | 西安科技大学 | 一种基于强化学习的水声通信自适应调制方法 |
| CN110519013B (zh) * | 2019-08-30 | 2022-02-01 | 西安科技大学 | 一种基于强化学习的水声通信自适应调制方法 |
| CN110941268A (zh) * | 2019-11-20 | 2020-03-31 | 苏州大学 | 一种基于Sarsa安全模型的无人自动小车的控制方法 |
| WO2024045501A1 (zh) * | 2022-08-30 | 2024-03-07 | 海尔优家智能科技（北京）有限公司 | 推荐信息的确定方法和装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066558A (zh) | 基于人工智能的引导项推荐方法及装置、设备与可读介质 | |
| CN103049792B (zh) | 深层神经网络的辨别预训练 | |
| CN113628294B (zh) | 一种面向跨模态通信系统的图像重建方法及装置 | |
| CN108091328A (zh) | 基于人工智能的语音识别纠错方法、装置及可读介质 | |
| CN109949797A (zh) | 一种训练语料的生成方法、装置、设备及存储介质 | |
| CN109871532A (zh) | 文本主题提取方法、装置及存储介质 | |
| CN107423398A (zh) | 交互方法、装置、存储介质和计算机设备 | |
| CN107832299A (zh) | 基于人工智能的标题的改写处理方法、装置及可读介质 | |
| CN107832432A (zh) | 一种搜索结果排序方法、装置、服务器和存储介质 | |
| CN109271493A (zh) | 一种语言文本处理方法、装置和存储介质 | |
| CN109766557A (zh) | 一种情感分析方法、装置、存储介质及终端设备 | |
| CN107193805A (zh) | 基于人工智能的文章价值评估方法、装置及存储介质 | |
| CN108170749A (zh) | 基于人工智能的对话方法、装置及计算机可读介质 | |
| CN108648020A (zh) | 用户行为量化方法、系统、设备及存储介质 | |
| Cao et al. | Analyzing the noise robustness of deep neural networks | |
| CN107766506A (zh) | 一种基于层次化注意力机制的多轮对话模型构建方法 | |
| CN108052499A (zh) | 基于人工智能的文本纠错方法、装置及计算机可读介质 | |
| CN110991290B (zh) | 基于语义指导与记忆机制的视频描述方法 | |
| CN107193962A (zh) | 一种互联网推广信息的智能配图方法及装置 | |
| CN107507028A (zh) | 用户偏好确定方法、装置、设备及存储介质 | |
| CN107391549A (zh) | 基于人工智能的新闻召回方法、装置、设备及存储介质 | |
| CN107133209A (zh) | 基于人工智能的评论生成方法及装置、设备与可读介质 | |
| CN110032630A (zh) | 话术推荐设备、方法及模型训练设备 | |
| CN113486190B (zh) | 一种融合实体图像信息和实体类别信息的多模态知识表示方法 | |
| CN110096711A (zh) | 序列全局关注和局部动态关注的自然语言语义匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |
|
| RJ01 | Rejection of invention patent application after publication |