CN108287901A - 用于生成信息的方法和装置 - Google Patents
用于生成信息的方法和装置 Download PDFInfo
- Publication number
- CN108287901A CN108287901A CN201810067940.0A CN201810067940A CN108287901A CN 108287901 A CN108287901 A CN 108287901A CN 201810067940 A CN201810067940 A CN 201810067940A CN 108287901 A CN108287901 A CN 108287901A
- Authority
- CN
- China
- Prior art keywords
- search
- word
- information
- user identifier
- search term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3322—Query formulation using system suggestions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了用于生成信息的方法和装置。该方法的一具体实施方式包括:获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;对至少一条搜索信息进行切词,得到至少一个搜索词;对于至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词,其中,意图词典用于表征搜索词数字签名和意图词之间的对应关系;对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。该实施方式能够提高在实时搜索过程中识别用户的意图的速度。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于生成信息的方法和装置。
背景技术
现有基于搜索词意图识别和提取方法也有很多,从实施阶段来讲分为以下几种:
(1)离线分析法。将一天的各个机房的全量数据全部汇总后,做数据处理,生成各个用户的全部行为,然后再基于意图词库分析用户的意图识别。
(2)实时分析法。将用户的搜索词日志流式的做数据的过滤、清晰、归一化等,并存储到用户数据库中。业务方再实时的从数据库中获取到用户最近一段时间的搜索词,然后基于这些搜索词再做意图识别和提取,从而挖掘出用户最近的兴趣点。
发明内容
本申请实施例提出了用于生成信息的方法和装置。
第一方面,本申请实施例提供了一种用于生成信息的方法,包括:获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;对至少一条搜索信息进行切词,得到至少一个搜索词;对于至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词,其中,意图词典用于表征搜索词数字签名和意图词之间的对应关系;对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
在一些实施例中,该方法还包括:将各用户标识与意图词序列关联存储。
在一些实施例中,该方法还包括:响应于接收到包括目标用户标识的查询请求,查询是否已经存储了目标用户标识对应的意图词序列;若已经存储,则输出目标用户标识对应的意图词序列。
在一些实施例中,查询请求包括搜索信息;以及该方法还包括:若没有存储,则对查询请求中的搜索信息进行切词,得到搜索词集合;对于搜索词集合中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词;输出根据查询请求查询出的意图词与查询请求中的目标用户标识;根据查询请求查询出的意图词与查询请求中的目标用户标识关联存储。
在一些实施例中,该方法还包括:若已经存储,响应于接收到目标用户标识对应的意图词,将接收到的目标用户标识对应的意图词合并存储到已经存储的目标用户标识对应的意图词序列中。
在一些实施例中,获取包括至少一个用户标识和至少一条搜索信息的检索日志,包括:实时采集至少一个用户访问搜索引擎时产生的、包括至少一条检索信息的检索日志,其中,检索信息包括用户标识和搜索信息;对至少一条检索信息进行数据清洗;从经数据清洗后的至少一条检索信息中删除与预定的过滤词集合匹配的检索信息;对于删除后的至少一条检索信息中的每条检索信息,从该检索信息中解析出用户标识和与该用户标识对应的搜索信息;从各用户标识对应的搜索信息中提取搜索词序列;将解析出的各用户标识和提取出的搜索词序列关联存储。
第二方面,本申请实施例提供了一种用于生成信息的装置,包括:获取单元,配置用于获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;切词单元,配置用于对至少一条搜索信息进行切词,得到至少一个搜索词;查询单元,配置用对于至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词,其中,意图词典用于表征搜索词数字签名和意图词之间的对应关系;组成单元,配置用于对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
在一些实施例中,该装置还包括存储单元,配置用于:将各用户标识与意图词序列关联存储。
在一些实施例中,该装置还包括输出单元,配置用于:响应于接收到包括目标用户标识的查询请求,查询是否已经存储了目标用户标识对应的意图词序列;若已经存储,则输出目标用户标识对应的意图词序列。
在一些实施例中,查询请求包括搜索信息;以及查询单元进一步配置用于:若没有存储,则对查询请求中的搜索信息进行切词,得到搜索词集合;对于搜索词集合中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词,其中,意图词典用于表征搜索词数字签名和意图词之间的对应关系;输出根据查询请求查询出的意图词与查询请求中的目标用户标识;根据查询请求查询出的意图词与查询请求中的目标用户标识关联存储。
在一些实施例中,存储单元进一步配置用于:若已经存储,响应于接收到目标用户标识对应的意图词,将接收到的目标用户标识对应的意图词合并存储到已经存储的目标用户标识对应的意图词序列中。
在一些实施例中,获取单元进一步配置用于:实时采集至少一个用户访问搜索引擎时产生的、包括至少一条检索信息的检索日志,其中,检索信息包括用户标识和搜索信息;对至少一条检索信息进行数据清洗;从经数据清洗后的至少一条检索信息中删除与预定的过滤词集合匹配的检索信息;对于删除后的至少一条检索信息中的每条检索信息,从该检索信息中解析出用户标识和与该用户标识对应的搜索信息;从各用户标识对应的搜索信息中提取搜索词序列;将解析出的各用户标识和提取出的搜索词序列关联存储。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一的方法。
本申请实施例提供的用于生成信息的方法和装置,通过检索日志提取搜索词,然后通过搜索词查询意图词典得到意图词,最后生成各用户标识对应的意图词序列。从而能够提高在实时搜索过程中识别用户的意图的速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于生成信息的方法的一个实施例的流程图;
图3是根据本申请的用于生成信息的方法的一个应用场景的示意图;
图4是根据本申请的用于生成信息的方法的又一个实施例的流程图;
图5是根据本申请的用于生成信息的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于生成信息的方法或用于生成信息的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持信息搜索的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的搜索结果提供支持的后台搜索服务器。后台搜索服务器可以对接收到的搜索请求等数据进行分析等处理,并将处理结果(例如意图词)反馈给终端设备。
需要说明的是,本申请实施例所提供的用于生成信息的方法一般由服务器105执行,相应地,用于生成信息的装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的用于生成信息的方法的一个实施例的流程200。该用于生成信息的方法,包括以下步骤:
步骤201,获取包括至少一个用户标识和至少一条搜索信息的检索日志。
在本实施例中,用于生成信息的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从日志服务器获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应。用户访问搜索引擎产生的检索日志实时采集并传输,可以利用开源的卡夫卡(Kafka)系统进行数据的流式传输。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
在本实施例的一些可选的实现方式中,获取包括至少一个用户标识和至少一条搜索信息的检索日志,包括:实时采集至少一个用户访问搜索引擎时产生的、包括至少一条检索信息的检索日志,其中,检索信息包括用户标识和搜索信息;对至少一条检索信息进行数据清洗;从经数据清洗后的至少一条检索信息中删除与预定的过滤词集合匹配的检索信息;对于删除后的至少一条检索信息中的每条检索信息,从该检索信息中解析出用户标识和与该用户标识对应的搜索信息;从各用户标识对应的搜索信息中提取搜索词序列;将解析出的各用户标识和提取出的搜索词序列关联存储。
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。过滤词集合中包括一些敏感词,用于检测用户的搜索信息中是否包含非法的信息。如果经数据清洗后的检索信息中包含过滤词集合中的过滤词,则认为该检索信息与过滤词集合匹配,需要将该检索信息删除不再进行后续的切词等处理。检索信息是按预定格式生成的,可按预定格式从中解析出用户标识和与该用户标识对应的搜索信息。然后将搜索信息切词后提取出关键词作为搜索词。关键词指的是有实际意义的词,而不是例如“什么”、“的”、“地”、“得”等没有实际意义的词。将解析出的各用户标识和搜索词序列关联存储之后,用户可通过用户标识查询搜索词序列。可利用用户标识对应的搜索词序列对该用户进行信息推荐。
步骤202,对至少一条搜索信息进行切词,得到至少一个搜索词。
在本实施例中,切词是指将一个搜索信息切分成一个一个单独的词。搜索信息中可以包括中文也可包括外文,或者是中外文组合。可以先对搜索信息进行识别,提取出中文,然后基于字符串匹配的分词方法这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配;按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配;按照是否与词性标注过程相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。对于外文,如果是英文等以空格为词语分隔的语言,直接用空格切词。对于日语等不能以空格直接分词的语言,将外文字符串翻译成中文后,再按照中文切词方式进行切词,得到至少一个中文搜索词。
在数据的流式传输的过程中,对用户的搜索信息进行实时意图词的识别和提取,可以利用Storm系统。主要的过程是先对搜索信息进行切词,对切完的词进行意图词的识别和提取,并将识别的意图词传给用户存储数据库。Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了其它批处理系统所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL(用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)等领域。Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。
步骤203,对于至少一个搜索词中的每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词。
在本实施例中,意图词典可以用于表征搜索词数字签名搜索词和意图词之间的对应关系。意图是指用户进行搜索时的目的,可用于挖掘用户的兴趣点,可以利用意图词来表征用户的意图。首先构建搜索词与意图词的对应关系表,再将搜索词与意图词的对应关系表中的搜索词转换成搜索词数字签名生成意图词典。
搜索词与意图词的对应关系表可以通过对大量用户的搜索记录、搜索引擎的推荐信息和用户对推荐信息的点击记录进行统计分析所构建。搜索词与意图词的对应关系表的构建过程如下所示:对于输入搜索词的每个用户,该用户输入搜索词后,搜索引擎按照常规推荐算法根据搜索词生成推荐信息并向该用户的终端发送包括推荐信息的网页组合。统计网页组合中各个网页被所有用户点击的次数。计算各个推荐信息对应的网页的点击次数在上述网页组合的总点击次数中所占的点击比例,将大于预设阈值的点击比例对应的推荐信息作为相应搜索词的意图词,并将各个搜索词与意图词关联存储生成搜索词与意图词的对应关系表。例如,大量用户输入过“北京天气”,搜索引擎推荐的信息中包括“天气预报”、“雾霾”等,但被点击的网页中只有包括推荐信息“天气预报”的网页的点击比例超过了预设阈值,则认为北京天气对应的意图词是天气预报。在搜索词与意图词的对应关系表构建过程中,将“北京天气”作为搜索词,将“天气预报”作为意图词存储到搜索词与意图词的对应关系表中。
搜索词数字签名的生成过程如下所示:将一种hash算法(例如压缩函数)应用于搜索词,生成一个散列值,然后使用私钥将散列值转换为数字签名,例如将字符串类型(string)的搜索词变成整数类型(例如,uint64)的搜索词数字签名。将搜索词与意图词的对应关系表中的搜索词通过hash算法转换成搜索词数字签名,生成意图词典,如下表所示。
搜索词数字签名 | 意图词 |
1 | 贷款 |
2 | 骑车 |
表1
表1给出了意图词典中搜索词数字签名和意图词的映射关系,一个搜索词对应的意图词通过搜索词的数字签名查询,索引使用搜索词的数字签名,索引值为意图词,使用哈希表的好处是查找时候可以O(1)的时间复杂度可以查到对应的意图词。
hash也称为“散列”或“哈希”,就是把任意长度的输入,通过散列算法,变换成固定长度的输出,该输出就是散列值。hash表是散列函数的一个主要应用,使用散列表能够快速的按照关键字查找数据记录。(注意:关键字不是像在加密中所使用的那样是秘密的,但它们都是用来“解锁”或者访问数据的。)例如,在英语字典中的关键字是英文单词,和它们相关的记录包含这些单词的定义。在这种情况下,散列函数必须把按照字母顺序排列的字符串映射到为散列表的内部数组所创建的索引上。散列表散列函数的几乎不可能/不切实际的理想是把每个关键字映射到唯一的索引上(参考完美散列),因为这样能够保证直接访问表中的每一个数据。
步骤204,对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
在本实施例中,对相同的用户标识的数据进行组装,最终的结构是一个用户标识对应该用户标识的意图词序列。同一个搜索可能有多个意图词,打个比方,搜索“A汽车和B汽车哪个好”,这个的意图词可能就是A、B、汽车。大部分情况同一个搜索确定出一个意图词。可选的,可将各用户标识对应的意图词序列输出。输出可包括向用户的终端推送,也可包括输出到硬盘进行存储。
在本实施例的一些可选的实现方式中,该方法还包括:将各用户标识与意图词序列关联存储。存储到MySQL(关系型数据库管理系统)等数据库中。可将用户标识对应的意图词序列和搜索词序列存储在一个数据库中。访问该数据库时即可获取用户意图词序列直接用历史意图词序列作为信息推荐的参考。也可用历史意图词序列结合当前的搜索词进行信息推荐。
继续参见图3,图3是根据本实施例的用于生成信息的方法的应用场景的一个示意图。在图3的应用场景中,用户通过终端访问搜索引擎时输入搜索信息,搜索引擎接收到终端发送的各用户标识和搜索信息后按照预定格式生成检索日志。服务器从搜索引擎获取到检索日志301后,对搜索信息进行切词得到至少一个搜索词。再通过哈希算法将该搜索词转换成搜索词数字签名,从预设的意图词典中查询搜索词数字签名对应的意图词,按用户标识组成用户标识对应的意图词序列302。
本申请的上述实施例提供的方法通过将用户的搜索信息与意图词相关联,能够提高在实时搜索过程中识别用户的意图的速度。
进一步参考图4,其示出了用于生成信息的方法的又一个实施例的流程400。该用于生成信息的方法的流程400,包括以下步骤:
步骤401,获取包括至少一个用户标识和至少一条搜索信息的检索日志。
步骤402,对至少一条搜索信息进行切词,得到至少一个搜索词。
步骤403,对于至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词。
步骤404,对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
步骤401-步骤404与步骤201-204基本相同,因此不再赘述。
步骤405,将各用户标识与意图词序列关联存储。
在本实施例中,将各用户标识与意图词序列关联存储到MySQL(关系型数据库管理系统)等数据库中。可将用户标识对应的意图词序列和搜索词序列存储在一个数据库中。访问该数据库时即可获取用户意图词序列直接用历史意图词序列作为信息推荐的参考。也可用历史意图词序列结合当前的搜索词进行信息推荐。
步骤406,响应于接收到包括目标用户标识的查询请求,查询是否已经存储了目标用户标识对应的意图词序列。
在本实施例中,用户标识有多个,查询请求所包括的用户标识即为目标用户标识。由于步骤405已经将各用户标识与意图词序列关联存储。因此可通过用户标识查询其对应的意图词序列。即在数据库中通过用户标识进行匹配查找。查询请求可以是通过如图1中所示的终端设备101、102、103发送的。也可以是其它服务器发送的。
在本实施例的一些可选的实现方式中,查询请求包括搜索信息;以及该方法还包括:若没有存储,则对查询请求中的搜索信息进行切词,得到搜索词集合;对于搜索词集合中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将查询请求对应的搜索词数字签名作为索引从预设的意图词典查询意图词;输出根据查询请求查询出的意图词与查询请求中的目标用户标识;根据查询请求查询出的意图词与查询请求中的目标用户标识关联存储。如果查询不到历史意图词,则根据当前的搜索信息生成当前的意图词。意图词的生成方法与步骤202-203相同。意图词典可以表征搜索词与意图词之间直接映射的关系。意图词典也可以表征哈希表形式的将搜索词转换成哈希签名后作为索引与意图词进行映射的关系。
在本实施例的一些可选的实现方式中,该方法还包括:若已经存储,响应于接收到目标用户标识对应的意图词,将接收到的目标用户标识对应的意图词合并存储到已经存储的目标用户标识对应的意图词序列中。目标用户标识对应的意图词可以通过步骤202-203确定。也可通过背景技术提到的实时分析法等确定用户当前搜索的意图从而获得当前的意图词,。将当前的意图词与历史意图合并存储。
步骤407,若已经存储,则输出目标用户标识对应的意图词序列。
在本实施例中,如果在数据库中通过用户标识进行匹配查找到目标用户标识对应的意图词序列,则输出目标用户标识对应的意图词序列。在用户终端登录到搜索引擎时,将该用户的用户标识作为目标用户标识,用户终端可向服务器发送包括该目标用户标识查询请求。服务器将查询到的目标用户标识对应的意图词序列返回给用户终端,以相关推荐的方式呈现,用户点击意图词序列对应的链接即可进入按用户意图推荐的网页。
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于生成信息的方法的流程400突出了查询用户的意图词的步骤。由此,本实施例描述的方案可以在查询历史意图词时生成当前意图词,从而实现更全面的意图词查询。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于生成信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于生成信息的装置500包括:获取单元501、切词单元502、查询单元503和组成单元504,其中,获取单元501配置用于获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;切词单元502配置用于对至少一条搜索信息进行切词,得到至少一个搜索词;查询单元503配置用于对于至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词,其中,意图词典用于表征搜索词数字签名和意图词之间的对应关系;组成单元504配置用于对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
在本实施例中,用于生成信息的装置500的获取单元501、切词单元502、查询单元503和组成单元504的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204。
在本实施例的一些可选的实现方式中,装置500还包括存储单元(未示出),配置用于:将各用户标识与意图词序列关联存储。
在本实施例的一些可选的实现方式中,装置500还包括输出单元(未示出),配置用于:响应于接收到包括目标用户标识的查询请求,查询是否已经存储了目标用户标识对应的意图词序列;若已经存储,则输出目标用户标识对应的意图词序列。
在本实施例的一些可选的实现方式中,查询请求包括搜索信息;以及查询单元503进一步配置用于:若没有存储,则对查询请求中的搜索信息进行切词,得到搜索词集合;对于搜索词集合中的每个搜索词,从预设的意图词典中查询该搜索词对应的意图词;输出根据查询请求查询出的意图词与查询请求中的目标用户标识;根据查询请求查询出的意图词与查询请求中的目标用户标识关联存储。
在本实施例的一些可选的实现方式中,存储单元进一步配置用于:若已经存储,响应于接收到目标用户标识对应的意图词,将接收到的目标用户标识对应的意图词合并存储到已经存储的目标用户标识对应的意图词序列中。
在本实施例的一些可选的实现方式中,获取单元501进一步配置用于:实时采集至少一个用户访问搜索引擎时产生的、包括至少一条检索信息的检索日志,其中,检索信息包括用户标识和搜索信息;对至少一条检索信息进行数据清洗;从经数据清洗后的至少一条检索信息中删除与预定的过滤词集合匹配的检索信息;对于删除后的至少一条检索信息中的每条检索信息,从该检索信息中解析出用户标识和与该用户标识对应的搜索信息;从各用户标识对应的搜索信息中提取搜索词序列;将解析出的各用户标识和提取出的搜索词序列关联存储。
下面参考图6,其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、切词单元、查询单元和组成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取包括至少一个用户标识和至少一条搜索信息的检索日志的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;对至少一条搜索信息进行切词,得到至少一个搜索词;对于至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将搜索词数字签名作为索引从预设的意图词典查询意图词,其中,意图词典用于表征搜索词数字签名和意图词之间的对应关系;对于至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种用于生成信息的方法,包括:
获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;
对所述至少一条搜索信息进行切词,得到至少一个搜索词;
对于所述至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将所述搜索词数字签名作为索引从预设的意图词典查询意图词,其中,所述意图词典用于表征搜索词数字签名和意图词之间的对应关系;
对于所述至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
2.根据权利要求1所述的方法,其中,所述方法还包括:
将各用户标识与意图词序列关联存储。
3.根据权利要求2所述的方法,其中,所述方法还包括:
响应于接收到包括目标用户标识的查询请求,查询是否已经存储了所述目标用户标识对应的意图词序列;
若已经存储,则输出所述目标用户标识对应的意图词序列。
4.根据权利要求3所述的方法,其中,所述查询请求包括搜索信息;以及
所述方法还包括:
若没有存储,则对所述查询请求中的搜索信息进行切词,得到搜索词集合;
对于所述搜索词集合中的每个搜索词,通过哈希算法将该搜索词转换成针对所述查询请求的搜索词数字签名,以及将所述针对所述查询请求的搜索词数字签名作为索引从预设的意图词典查询意图词;
输出根据所述查询请求查询出的意图词与所述查询请求中的目标用户标识;
根据所述查询请求查询出的意图词与所述查询请求中的目标用户标识关联存储。
5.根据权利要求3所述的方法,其中,所述方法还包括:
若已经存储,响应于接收到所述目标用户标识对应的意图词,将接收到的目标用户标识对应的意图词合并存储到已经存储的所述目标用户标识对应的意图词序列中。
6.根据权利要求1所述的方法,其中,所述获取包括至少一个用户标识和至少一条搜索信息的检索日志,包括:
实时采集至少一个用户访问搜索引擎时产生的、包括至少一条检索信息的检索日志,其中,检索信息包括用户标识和搜索信息;
对所述至少一条检索信息进行数据清洗;
从经数据清洗后的至少一条检索信息中删除与预定的过滤词集合匹配的检索信息;
对于删除后的至少一条检索信息中的每条检索信息,从该检索信息中解析出用户标识和与该用户标识对应的搜索信息;
从各用户标识对应的搜索信息中提取搜索词序列;
将解析出的各用户标识和提取出的搜索词序列关联存储。
7.一种用于生成信息的装置,包括:
获取单元,配置用于获取包括至少一个用户标识和至少一条搜索信息的检索日志,其中,搜索信息与用户标识对应;
切词单元,配置用于对所述至少一条搜索信息进行切词,得到至少一个搜索词;
查询单元,配置用于对于所述至少一个搜索词中每个搜索词,通过哈希算法将该搜索词转换成搜索词数字签名,以及将所述搜索词数字签名作为索引从预设的意图词典查询意图词,其中,所述意图词典用于表征搜索词数字签名和意图词之间的对应关系;
组成单元,配置用于对于所述至少一个用户标识中的每个用户标识,将根据该用户标识对应的搜索信息查询到的至少一个意图词组成该用户标识对应的意图词序列。
8.根据权利要求7所述的装置,其中,所述装置还包括存储单元,配置用于:
将各用户标识与意图词序列关联存储。
9.根据权利要求8所述的装置,其中,所述装置还包括输出单元,配置用于:
响应于接收到包括目标用户标识的查询请求,查询是否已经存储了所述目标用户标识对应的意图词序列;
若已经存储,则输出所述目标用户标识对应的意图词序列。
10.根据权利要求9所述的装置,其中,所述查询请求包括搜索信息;以及
所述查询单元进一步配置用于:
若没有存储,则对所述查询请求中的搜索信息进行切词,得到搜索词集合;
对于所述搜索词集合中的每个搜索词,通过哈希算法将该搜索词转换成针对所述查询请求的搜索词数字签名,以及将所述针对所述查询请求的搜索词数字签名作为索引从预设的意图词典查询意图词;
输出根据所述查询请求查询出的意图词与所述查询请求中的目标用户标识;
根据所述查询请求查询出的意图词与所述查询请求中的目标用户标识关联存储。
11.根据权利要求9所述的装置,其中,所述存储单元进一步配置用于:
若已经存储,响应于接收到所述目标用户标识对应的意图词,将接收到的目标用户标识对应的意图词合并存储到已经存储的所述目标用户标识对应的意图词序列中。
12.根据权利要求7所述的装置,其中,所述获取单元进一步配置用于:
实时采集至少一个用户访问搜索引擎时产生的、包括至少一条检索信息的检索日志,其中,检索信息包括用户标识和搜索信息;
对所述至少一条检索信息进行数据清洗;
从经数据清洗后的至少一条检索信息中删除与预定的过滤词集合匹配的检索信息;
对于删除后的至少一条检索信息中的每条检索信息,从该检索信息中解析出用户标识和与该用户标识对应的搜索信息;
从各用户标识对应的搜索信息中提取搜索词序列;
将解析出的各用户标识和提取出的搜索词序列关联存储。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810067940.0A CN108287901A (zh) | 2018-01-24 | 2018-01-24 | 用于生成信息的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810067940.0A CN108287901A (zh) | 2018-01-24 | 2018-01-24 | 用于生成信息的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108287901A true CN108287901A (zh) | 2018-07-17 |
Family
ID=62835676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810067940.0A Pending CN108287901A (zh) | 2018-01-24 | 2018-01-24 | 用于生成信息的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108287901A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162535A (zh) * | 2019-03-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 用于执行个性化的搜索方法、装置、设备以及存储介质 |
CN110674365A (zh) * | 2019-09-06 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种搜索方法、装置、设备及存储介质 |
CN111581228A (zh) * | 2019-02-15 | 2020-08-25 | 北京无限光场科技有限公司 | 更正搜索条件的搜索方法、装置、存储介质及电子设备 |
CN111694932A (zh) * | 2019-03-13 | 2020-09-22 | 百度在线网络技术(北京)有限公司 | 对话方法和装置 |
CN111783440A (zh) * | 2020-07-02 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 意图识别方法、装置、可读介质及电子设备 |
CN111782935A (zh) * | 2020-05-12 | 2020-10-16 | 北京三快在线科技有限公司 | 一种信息推荐方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010076130A1 (en) * | 2008-12-30 | 2010-07-08 | International Business Machines Corporation | Search engine service utilizing hash algorithms |
CN102184234A (zh) * | 2011-05-13 | 2011-09-14 | 百度在线网络技术(北京)有限公司 | 用于查询、增加、更新或删除信息处理规则的方法和设备 |
CN102722558A (zh) * | 2012-05-29 | 2012-10-10 | 百度在线网络技术(北京)有限公司 | 一种为用户推荐提问的方法和装置 |
CN107092642A (zh) * | 2017-03-06 | 2017-08-25 | 广州神马移动信息科技有限公司 | 一种信息搜索方法、设备、客户端设备及服务器 |
-
2018
- 2018-01-24 CN CN201810067940.0A patent/CN108287901A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010076130A1 (en) * | 2008-12-30 | 2010-07-08 | International Business Machines Corporation | Search engine service utilizing hash algorithms |
CN102184234A (zh) * | 2011-05-13 | 2011-09-14 | 百度在线网络技术(北京)有限公司 | 用于查询、增加、更新或删除信息处理规则的方法和设备 |
CN102722558A (zh) * | 2012-05-29 | 2012-10-10 | 百度在线网络技术(北京)有限公司 | 一种为用户推荐提问的方法和装置 |
CN107092642A (zh) * | 2017-03-06 | 2017-08-25 | 广州神马移动信息科技有限公司 | 一种信息搜索方法、设备、客户端设备及服务器 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111581228A (zh) * | 2019-02-15 | 2020-08-25 | 北京无限光场科技有限公司 | 更正搜索条件的搜索方法、装置、存储介质及电子设备 |
CN111694932A (zh) * | 2019-03-13 | 2020-09-22 | 百度在线网络技术(北京)有限公司 | 对话方法和装置 |
CN110162535A (zh) * | 2019-03-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 用于执行个性化的搜索方法、装置、设备以及存储介质 |
CN110162535B (zh) * | 2019-03-26 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 用于执行个性化的搜索方法、装置、设备以及存储介质 |
CN110674365A (zh) * | 2019-09-06 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种搜索方法、装置、设备及存储介质 |
CN111782935A (zh) * | 2020-05-12 | 2020-10-16 | 北京三快在线科技有限公司 | 一种信息推荐方法、装置、电子设备及存储介质 |
CN111783440A (zh) * | 2020-07-02 | 2020-10-16 | 北京字节跳动网络技术有限公司 | 意图识别方法、装置、可读介质及电子设备 |
CN111783440B (zh) * | 2020-07-02 | 2024-04-26 | 北京字节跳动网络技术有限公司 | 意图识别方法、装置、可读介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108287901A (zh) | 用于生成信息的方法和装置 | |
US8131684B2 (en) | Adaptive archive data management | |
CN108090351B (zh) | 用于处理请求消息的方法和装置 | |
US11775767B1 (en) | Systems and methods for automated iterative population of responses using artificial intelligence | |
CN109582691A (zh) | 用于控制数据查询的方法和装置 | |
CN107145485B (zh) | 用于压缩主题模型的方法和装置 | |
US20210357461A1 (en) | Method, apparatus and storage medium for searching blockchain data | |
CN111008321A (zh) | 基于逻辑回归推荐方法、装置、计算设备、可读存储介质 | |
CN112100396A (zh) | 一种数据处理方法和装置 | |
CN109409419A (zh) | 用于处理数据的方法和装置 | |
CN111314063A (zh) | 一种基于物联网大数据信息管理方法、系统及装置 | |
TW202334839A (zh) | 用於問題回答過程的上下文澄清和消歧 | |
CN113326381A (zh) | 基于动态本体的语义和知识图谱分析方法、平台及设备 | |
CN113377876B (zh) | 基于Domino平台的数据分库处理方法、装置及平台 | |
CN114416733A (zh) | 数据检索的处理方法、装置、电子设备及存储介质 | |
US9984108B2 (en) | Database joins using uncertain criteria | |
EP4216076B1 (en) | Method and apparatus of processing an observation information, electronic device and storage medium | |
CN117093619A (zh) | 一种规则引擎处理方法、装置、电子设备及存储介质 | |
CN111563107A (zh) | 信息推荐的方法、装置、电子设备和存储介质 | |
CN109086438A (zh) | 用于查询信息的方法和装置 | |
CN115510116A (zh) | 数据目录构建方法、装置、介质及设备 | |
CN115496057A (zh) | 一种产品技术资料管理方法、装置、设备及介质 | |
CN113780827A (zh) | 一种物品筛选方法、装置、电子设备及计算机可读介质 | |
US20160306802A1 (en) | Method and server for providing contents service | |
CN114765599A (zh) | 子域名采集方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180717 |