CN114722299A - 搜索推荐方法、装置及电子设备 - Google Patents

搜索推荐方法、装置及电子设备 Download PDF

Info

Publication number
CN114722299A
CN114722299A CN202210499216.1A CN202210499216A CN114722299A CN 114722299 A CN114722299 A CN 114722299A CN 202210499216 A CN202210499216 A CN 202210499216A CN 114722299 A CN114722299 A CN 114722299A
Authority
CN
China
Prior art keywords
search information
target
search
intention
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210499216.1A
Other languages
English (en)
Inventor
吕洪亚
谭云飞
刘晓庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN202210499216.1A priority Critical patent/CN114722299A/zh
Publication of CN114722299A publication Critical patent/CN114722299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种搜索推荐方法、装置及电子设备,涉及人工智能技术领域,具体涉及智能搜索、深度学习技术领域。具体实现方案为:获取用户输入的第一搜索信息;基于第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项;基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图;基于所述意图识别结果向所述用户进行信息推荐。

Description

搜索推荐方法、装置及电子设备
技术领域
本公开涉及人工智能技术领域,尤其涉及智能搜索、深度学习技术领域,具体涉及一种搜索推荐方法、装置及电子设备。
背景技术
随着科技的不断进步,搜索引擎已成为人们生活中必不可少的部分。用户可以在搜索引擎上输入内容,相应的,搜索引擎可以根据用户输入的内容,搜索出该内容对应的信息。
目前,文本分类广泛应用于电商领域的意图识别,以对搜索引擎上用户输入的内容进行意图识别,如识别出用户输入的内容是否存在面向用户企业服务tob的搜索意图,并基于搜索意图向用户进行信息推荐。
通常,意图识别方式为:通过文本分类模型提取用户输入内容的语义特征,基于该语义特征进行文本分类,以识别出该内容的搜索意图。
发明内容
本公开提供了一种搜索推荐方法、装置及电子设备。
根据本公开的第一方面,提供了一种搜索推荐方法,包括:
获取用户输入的第一搜索信息;
基于所述第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项;
基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图;
基于所述意图识别结果向所述用户进行信息推荐。
根据本公开的第二方面,提供了一种搜索推荐装置,包括:
获取模块,用于获取用户输入的第一搜索信息;
特征处理模块,用于基于所述第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项;
意图识别模块,用于基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图;
信息推荐模块,用于基于所述意图识别结果向所述用户进行信息推荐。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面中的任一项方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行第一方面中的任一项方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现第一方面中的任一项方法。
根据本公开的技术解决了针对用户输入的内容进行信息推荐的效果比较差的问题,提高了对用户输入的内容进行tob意图的识别效果,从而提高了信息推荐的效果。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的搜索推荐方法的流程示意图;
图2是一具体示例中阿拉丁意图识别的流程示意图;
图3是根据本公开第二实施例的搜索推荐装置的结构示意图;
图4是用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
第一实施例
如图1所示,本公开提供一种搜索推荐方法,包括如下步骤:
步骤S101:获取用户输入的第一搜索信息。
本实施例中,搜索推荐方法涉及人工智能技术领域,尤其涉及智能搜索、深度学习技术领域,其可以广泛应用于搜索场景下。本公开实施例的搜索推荐方法,可以由本公开实施例的搜索推荐装置执行。本公开实施例的搜索推荐装置可以配置在任意电子设备中,以执行本公开实施例的搜索推荐方法。
本实施例可以应用于搜索平台,该搜索平台可以包括搜索引擎和搜索推荐装置,用户可以在搜索引擎上输入内容,搜索引擎可以得到用户输入的内容,并将其发送给搜索推荐装置。相应的,搜索推荐装置可以接收到搜索引擎发送的内容,该内容即为第一搜索信息,称之为query。
第一搜索信息可以为用户实时输入的query,也可以为用户输入的历史query,搜索推荐装置在获取到query的情况下,可以对query进行面向企业用户服务tob的意图识别,并基于意图识别结果向用户推荐搜索结果,具体可以基于意图识别结果向用户的搜索引擎发送该query的搜索结果。
步骤S102:基于所述第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项。
面向企业用户服务可以称之为tob,tob相对于toc,其区别在于面向的用户不同,对于tob,其通常面向的是群体,如社区、团体或单位等,而对于toc,其通常面向的是个人。
目标意图可以为tob意图,其中,tob意图也可以称之为阿拉丁意图,其可以包括tob商品采购或批发(如包子机采购),tob商贸服务(如包子机清洗),tob商务寻址(如包子机采购地址)等方面的意图。该步骤的目的即是构建用于tob意图识别的特征,以基于该特征能够精准地识别用户关于tob方面的意图。
其中,用于tob意图识别的特征可以包括第一特征和第二特征。第一特征可以为阿拉丁意图识别的语义特征,其用于表征第一搜索信息是否存在目标意图的概率,即第一特征可以包括第一搜索信息存在目标意图的概率和不存在目标意图的概率,维度可以为2维。
可以使用深度学习模型,基于第一搜索信息进行特征处理,得到第一特征,具体可以将第一搜索信息输入至深度学习模型进行意图识别,将深度学习模型输出的置信度为0.8-0.9,且表征第一搜索信息是否存在目标意图的概率作为第一特征,维度为2维。
为了契合阿拉丁意图识别的场景,深度学习模型可以选择采用搜索引擎上用户输入的语料进行训练得到的ernie模型,将ernie模型进行文本分类输出的表征第一搜索信息是否存在目标意图的概率作为第一特征,其置信度为0.8-0.9,维度为2维。
第二特征可以包括第一搜索信息的第一属性特征和/或第一搜索信息的第一搜索结果的第二属性特征。第一属性特征可以用于表征第一搜索信息的属性,其可以包括第一搜索信息的内容特征、分类特征、类目特征、文本特征等。第一搜索信息的内容特征、分类特征、类目特征、文本特征等可以分别使用不同的深度学习模型,基于第一搜索信息进行特征处理得到。
第二属性特征可以用于表征第一搜索结果的属性,可以称之为自然结果特征。可以获取第一搜索信息的自然结果中评分排序在前的二十条自然结果,使用tob站点判别模型和tob站点字典,判断并统计前二十条自然结果中有多少个tob站点。判断tob站点是否与toc商品相关。判断tob站点对应的商品是否是品牌。其中,自然结果特征可以包括前二十条自然结果中有多少个tob站点、tob站点是否与toc商品相关、tob站点对应的商品是否是品牌等特征。
并且,可以将前十条自然结果的文本标题,分别进行阿拉丁即tob内容和tob意图识别判断,统计前十条自然结果为tob的数量。获取第一搜索信息的自然结果中评分排序在前的十条自然结果(带广告),判断投放广告的公司是tob公司的数量,以及统计自然结果搜索和点击的频率。其中,自然结果特征还可以包括前十条自然结果(带广告)中投放广告的公司是tob公司的数量、自然结果搜索和点击的频率等特征。自然结果特征置信度可以为0.8-0.9,维度可以为10维。
需要说明的是,tob内容和tob意图均与tob相关,tob内容可以包括tob商品的内容、tob商贸服务的内容、tob商务寻址的内容等,比如,query“包子机重量”涉及的是tob商品的内容,query“包子机清洗服务怎么样”涉及的是tob商贸服务的内容,query“包子机哪里卖的比较好”涉及的是tob商务寻址的内容。
步骤S103:基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图。
该步骤中,可以将第一特征作为主要特征,而第二特征作为辅助特征,对第一搜索信息进行意图识别,得到意图识别结果。其中,意图识别结果可以包括两种情况,第一种情况为第一搜索信息存在目标意图,第二种情况为第一搜索信息不存在目标意图。
可以使用深度学习模型,基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,深度学习模型可以为xgboost模型,即可以将ernie模型作为意图识别的前验模型,得到第一特征,该第一特征作为意图识别的主要特征,将xgboost模型作为意图识别的后验模型,在第二特征的辅助下,对第一搜索信息进行意图识别。具体可以将前验模型输出的第一特征和第二特征拼接后输入至xgboost模型,或者将前验模型输出的第一特征和第二特征分别输入至xgboost模型,相应的,xgboost模型可以基于第一特征和第二特征进行文本分类,得到意图识别结果。其中,xgboost模型可以为用于识别阿拉丁意图即tob意图的文本分类模型。
步骤S104:基于所述意图识别结果向所述用户进行信息推荐。
该步骤中,其信息推荐的方式可以包括两种,第一种可以为针对query的线上实时推荐,即用户在搜索引擎上输入query,相应的,可以在搜索推荐装置获取该query的情况下,基于该query的意图识别结果,向用户返回对应的搜索结果。比如,在该query的意图识别结果表征第一搜索信息存在目标意图的情况下,向用户返回该query对应的面向企业服务相关的搜索结果。
第二种可以为针对用户推荐,即可以统计用户输入的历史query的意图识别结果,以挖掘潜在的tob用户,在确定该用户大概率为tob用户的情况下,向该用户推荐该用户对应的面向企业服务相关的搜索结果。
其中,面向企业服务相关的搜索结果可以用阿拉丁卡表示,该阿拉丁卡可以与面向企业用户服务的入口链接关联,也就是说,当用户点击该阿拉丁卡时,可以通过搜索信息匹配的面向企业用户服务的入口链接,跳转至相应的面向企业用户服务的页面。比如,当query为包子机采购时,该query匹配的面向企业服务相关的搜索结果可以为一张阿拉丁卡,其关联用于采购包子机的页面入口链接。
本实施例中,通过基于第一搜索信息进行特征处理,得到第一特征和第二特征,将深度学习模型如xgboost模型作为意图识别的后验模型,在第二特征的辅助下,结合第一特征和第二特征进行第一搜索信息的意图识别,从而可以提高第一搜索信息的意图识别的准确性,进而可以提高信息推荐的准确性,提高用户体验。
并且,当第二特征包括第一搜索信息的第一搜索结果的第二属性特征时,通过引入自然结果特征,可以解决相似语义在用于识别阿拉丁意图的文本分类模型中难以区分的问题,同时也能够提高阿拉丁内容和tob意图的识别效果。
可选的,所述步骤S104具体包括:
在所述意图识别结果表征所述第一搜索信息存在所述目标意图的情况下,向所述用户推荐所述第一搜索信息在所述目标意图下的第一目标搜索结果,所述第一目标搜索结果与所述第一搜索信息匹配的面向企业用户服务的入口链接关联。
本实施方式为针对query的线上实时推荐,在query即第一搜索信息的意图识别结果表征该query存在目标意图时,可以向用户推荐该query在目标意图下的第一目标搜索结果,且该第一目标搜索结果的评分使得该搜索结果可以在搜索引擎上靠前显示。
而在query的意图识别结果表征该query不存在目标意图时,可以不向用户推荐第一目标搜索结果,或者信息推荐时,第一目标搜索结果的评分较低,使得第一目标搜索结果在搜索引擎上靠后显示。
其中,第一目标搜索结果可以为第一搜索信息在目标意图下的搜索结果,比如,query为包子机采购,则第一目标搜索结果可以为与包子机采购相关的阿拉丁卡,而第一搜索信息匹配的面向企业用户服务的入口链接可以指的是包子机采购相关的tob页面的入口链接。
本实施方式中,通过在所述意图识别结果表征所述第一搜索信息存在所述目标意图的情况下,向所述用户推荐所述第一搜索信息在所述目标意图下的第一目标搜索结果,所述第一目标搜索结果与所述第一搜索信息匹配的面向企业用户服务的入口链接关联。如此可以实现针对query的线上实时tob推荐。
可选的,所述步骤S104具体包括:
统计所述用户输入的历史搜索信息对应的意图识别结果中目标意图识别结果所占的比例,所述历史搜索信息包括所述第一搜索信息,所述目标意图识别结果表征所述历史搜索信息存在所述目标意图;
在所述比例为目标比例的情况下,向所述用户推荐第二目标搜索结果,所述目标比例大于或等于第一预设阈值,所述第二目标搜索结果与所述历史搜索信息匹配的面向企业用户服务的入口链接关联。
本实施方式为针对用户推荐,具体可以聚合每个用户输入的历史搜索信息,并对该用户的每个历史搜索信息,分别按照本实施例的方式进行意图识别,得到每个历史搜索信息的意图识别结果,之后统计得到的该用户输入的历史搜索信息的意图识别结果中目标意图识别结果所占的比例,以挖掘出潜在的tob用户。
在所述比例为目标比例的情况下,可以确定该用户为tob用户,相应可以向该用户推荐第二目标搜索结果。其中,目标比例可以大于或等于第一预设阈值,第一预设阈值可以根据实际情况进行设置,这里不进行具体限定。
其中,第二目标搜索结果可以为历史搜索信息在目标意图下的搜索结果,其可以与所述历史搜索信息匹配的面向企业用户服务的入口链接关联,历史搜索信息匹配的面向企业用户服务的入口链接可以为用户历史搜索次数比较多的tob页面的入口链接,或者可以为用户历史搜索的tob商品以及类似tob商品页面的入口链接。
本实施方式中,通过统计所述用户输入的历史搜索信息对应的意图识别结果中目标意图识别结果所占的比例,所述历史搜索信息包括所述第一搜索信息,所述目标意图识别结果表征所述历史搜索信息存在所述目标意图;在所述比例为目标比例的情况下,向所述用户推荐第二目标搜索结果,所述目标比例大于或等于第一预设阈值,所述第二目标搜索结果与所述历史搜索信息匹配的面向企业用户服务的入口链接关联。如此,可以实现针对用户的tob推荐。
可选的,所述第一属性特征包括以下至少一项:
所述第一搜索信息的内容特征,所述内容特征用于表征所述第一搜索信息是否属于与面向企业用户服务相关的内容的概率;
所述第一搜索信息的分类特征,所述分类特征用于表征所述第一搜索信息是否属于面向企业用户服务的分类的概率;
所述第一搜索信息的第一类目特征,所述第一类目特征用于表征所述第一搜索信息属于预先定义的与面向企业用户服务相关的各类目的概率分布;
所述第一搜索信息的第二类目特征,所述第二类目特征用于表征所述第一搜索信息属于预先定义的各搜索类目的概率分布;
所述第一搜索信息的核心词特征,所述核心词特征用于表征所述第一搜索信息是否包括目标核心词,且在包括目标核心词的情况下,所述核心词特征还用于表征所述目标核心词属于面向企业用户服务的各类目的概率分布和/或所述目标核心词的长度,所述目标核心词为与面向企业用户服务相关的核心词;
所述第一搜索信息的第一文本特征,所述第一文本特征用于表征所述第一搜索信息的文本内容的属性。
本实施方式中,第一搜索信息的内容特征可以用于阿拉丁内容的意图识别,阿拉丁内容为阿拉丁的内容版,即是否是tob商品内容,tob商贸服务内容,tob商务寻址内容,比如,包子机重量是tob商品内容,包子机清洗服务怎么样是tob商贸服务内容,包子机哪里卖的比较好是tob商务寻址的内容。这是模型比较难以学习的样本,因此需要通过阿拉丁内容的意图识别进行判别,将其作为辅助特征进行query的阿拉丁意图识别,以区分query是具备阿拉丁意图,还是其是阿拉丁内容。
为了提取关于阿拉丁的内容特征,可以使用深度学习模型如阿拉丁内容的文本分类模型,将第一搜索信息输入至阿拉丁内容的文本分类模型进行文本分类,将其输出的概率作为内容特征。其模型的置信度为0.6-0.7,维度为2维,分别为query是阿拉丁内容的概率和不是阿拉丁内容的概率。
第一搜索信息的分类特征可以用于tob分类的识别,即query是与tob相关的分类,还是与tob不相关的分类。其中,具备阿拉丁意图的query以及为阿拉丁内容的query均是与tob相关的分类。
由于在整个样本空间上,tob样本占比较大,tob样本包括阿拉丁意图和阿拉丁内容的样本,训练比较容易,因此,可以构建tob意图识别模型,将第一搜索信息输入至tob意图识别模型进行tob分类的识别,将其输出的概率作为分类特征,其模型的置信度为0.7,维度可以为2维,分别为query是tob分类的概率和不是tob分类的概率。该分类特征作为辅助特征进行query的阿拉丁意图识别,可以更进一步缩小阿拉丁意图识别的范围。
第一搜索信息的第一类目特征可以用于tob类目的识别,tob类目包括机械设备、五金机电、食品饮料等。如果query的类目是五金机电的概率比较大,那极有可能属于阿拉丁意图范畴。因此,在进行阿拉丁意图识别时,可以将query的类目是否为tob类目作为参考,具体可以将第一搜索信息输入至tob类目识别模型进行tob类目的识别,将tob类目识别模型输出的概率分布作为第一类目特征,其模型的置信度是0.6-0.8,维度可以为20维,分别为query为预先定义的各tob类目的概率。
第一搜索信息的第二类目特征可以用于预先定义的搜索类目的识别,在搜索引擎上,可以预先定义搜索类目,包括包括生活情感、生产制造等,如果query的类目是生产制造的概率比较大,那极有可能属于阿拉丁。因此,在进行阿拉丁意图识别时,可以将query的类目是否为预先定义的搜索类目作为参考,由于搜索类目识别模型可以通过query的自然结果进行训练得到,在一定程度上对阿拉丁意图的识别效果有所提升。具体可以将第一搜索信息输入至搜索类目识别模型进行搜索类目的识别,将搜索类目识别模型输出的概率分布作为第二类目特征,其置信度可以为0.8,维度为23维,分别为query为预先定义的各搜索类目的概率。
第一搜索信息的核心词特征用于表征第一搜索信息的核心词属性。从直观上讲,如果query的文本内容中核心词是关于tob的,那么query极大概率是关于tob的,这样可以进一步缩小阿拉丁意图识别的范围,因此,可以构建核心词相关特征,将其作为辅助特征进行阿拉丁意图的识别。
为了构建核心词特征,可以通过对tob站点的商品标题、描述词进行标注,以训练出tob核心词提取模型,其准确率有90%以上,其置信度是0.8-0.9。可以使用tob核心词提取模型从query的文本内容中提取出tob核心词,将query的文本内容中是否包含tob核心词作为核心词特征的一部分,如果query的文本内容中包含tob核心词,其tob核心词的长度、tob核心词属于tob类目的概率也应该作为核心词特征的一部分,维度一共为23维。其中,将tob核心词的长度作为核心词特征的一部分,可以缓解核心词提取不全的问题。
第一搜索信息的第一文本特征可以用于表征所述第一搜索信息的文本内容的属性。为了充分挖掘query文本自身的信息,可以对query的文本内容进行分词,其中,query的文本内容是否包含动词以及名词,对阿拉丁意图的识别有一定的帮助,比如,tob商贸服务包括清洗。因此,可以统计query文本的长度,文本分词的个数,文本名词的个数,文本动词的个数,文本中纯中文的个数等特征,将这些特征作为第一文本特征,其置信度可以为0.5-0.6,维度为10维。
以下综合上述特征对query的阿拉丁意图的识别流程进行详细说明。
图2是一具体示例中阿拉丁意图识别的流程示意图,如图2所示,获取query,将query进行数据清洗后,使用深度学习模型分别构建阿拉丁意图识别的特征,可以使用ernie模型构建阿拉丁意图识别的语义特征即第一特征,第一特征用于表征第一搜索信息是否存在阿拉丁意图的概率。可以使用阿拉丁内容的文本分类模型构建阿拉丁内容识别的内容特征即第一搜索信息的内容特征,该内容特征用于表征第一搜索信息是否为阿拉丁内容的概率。可以使用tob意图识别模型构建第一搜索信息的分类特征,该分类特征用于表征第一搜索信息是否为tob分类。可以使用tob类目识别模型构建第一搜索信息的第一类目特征,以及使用搜索类目识别模型构建第一搜索信息的第二类目特征。使用核心词提取模型构建第一搜索信息的核心词特征。以及构建第一搜索信息的文本特征和第一搜索结果的文本特征,文本特征可以包括是否包含批发、是否包含品牌、是否包含电话、文本长度、是否包含人名、是否包含疑问词、句子是否合理、是否包含英文等。
将上述特征输入至xgboost模型进行阿拉丁意图的识别,输出意图识别结果。
本实施方式中,第一特征通过结合第一搜索信息的内容特征、分类特征、第一类目特征、第二类目特征、核心词特征和第一文本特征进行阿拉丁意图的识别,如此可以进一步提高阿拉丁意图识别的准确性。
可选的,所述步骤S103具体包括:
将所述第一特征和所述第二特征进行拼接,得到目标特征;
将所述目标特征输入至第一模型进行意图识别,得到意图识别结果。
本实施方式中,可以将第一模型(第一模型可以为xgboost模型)作为后验模型,在拼接第一特征和第二特征得到目标特征的基础上,将目标特征输入至第一模型进行阿拉丁意图的识别,如此可以实现对query的阿拉丁意图识别,且提高阿拉丁意图识别的效果。
可选的,所述步骤S102具体包括:
将所述第一搜索信息输入至第二模型进行意图识别,得到所述第一特征;
其中,所述第二模型基于目标训练数据集训练得到,所述目标训练数据集中近似语义的不同样本的语义特征之间的距离小于第二预设阈值。
本实施方式中,可以使用第二模型作为前验模型进行第一搜索信息的阿拉丁意图的识别,第二模型可以为ernie模型,第二模型基于目标训练数据集训练得到,目标训练数据集中近似语义的不同样本的语义特征之间的距离小于第二预设阈值。其中,第二预设阈值可以根据实际情况进行设置,通常设置的比较少,以保证目标训练数据集中近似语义的不同样本的语义特征之间的距离相近。
在进行ernie模型的训练时,要使得原本相似语义在语义空间距离很远,是很困难的。比如说,苹果是符合阿拉丁意图识别的标准,然而对于小苹果来说,经过自然结果判断后,并不属于阿拉丁意图范畴,因为小苹果的自然结果是关于歌曲,影视之类的。
因此,在xgboost模型作为后验模型,以保证阿拉丁意图识别的准确性的基础上,可以适当降低ernie模型的学习难度。为了降低ernie模型的学习难度,使相似语义尽可能在语义空间距离相近,可以重新构建一个新的训练集即目标训练数据集进行训练。不经过结合自然结果的后验判断,从直观上重新标注额外一份数据集,得到目标训练数据集,供ernie模型进行训练。这样,可以降低ernie模型的训练难度。
并且,还可以在原本阿拉丁意图的训练数据集的基础上,结合目标训练数据集,通过增量式训练,对ernie模型进行训练,从而可以进一步提高ernie模型的模型训练效果。
第二实施例
如图3所示,本公开提供一种搜索推荐装置300,包括:
获取模块301,用于获取用户输入的第一搜索信息;
特征处理模块302,用于基于所述第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项;
意图识别模块303,用于基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图;
信息推荐模块304,用于基于所述意图识别结果向所述用户进行信息推荐。
可选的,所述信息推荐模块304包括:
第一推荐单元,用于在所述意图识别结果表征所述第一搜索信息存在所述目标意图的情况下,向所述用户推荐所述第一搜索信息在所述目标意图下的第一目标搜索结果,所述第一目标搜索结果与所述第一搜索信息匹配的面向企业用户服务的入口链接关联。
可选的,所述信息推荐模块304包括:
统计单元,用于统计所述用户输入的历史搜索信息对应的意图识别结果中目标意图识别结果所占的比例,所述历史搜索信息包括所述第一搜索信息,所述目标意图识别结果表征所述历史搜索信息存在所述目标意图;
第二推荐单元,用于在所述比例为目标比例的情况下,向所述用户推荐第二目标搜索结果,所述目标比例大于或等于第一预设阈值,所述第二目标搜索结果与所述历史搜索信息匹配的面向企业用户服务的入口链接关联。
可选的,所述第一属性特征包括以下至少一项:
所述第一搜索信息的内容特征,所述内容特征用于表征所述第一搜索信息是否属于与面向企业用户服务相关的内容的概率;
所述第一搜索信息的分类特征,所述分类特征用于表征所述第一搜索信息是否属于面向企业用户服务的分类的概率;
所述第一搜索信息的第一类目特征,所述第一类目特征用于表征所述第一搜索信息属于预先定义的与面向企业用户服务相关的各类目的概率分布;
所述第一搜索信息的第二类目特征,所述第二类目特征用于表征所述第一搜索信息属于预先定义的各搜索类目的概率分布;
所述第一搜索信息的核心词特征,所述核心词特征用于表征所述第一搜索信息是否包括目标核心词,且在包括目标核心词的情况下,所述核心词特征还用于表征所述目标核心词属于面向企业用户服务的各类目的概率分布和/或所述目标核心词的长度,所述目标核心词为与面向企业用户服务相关的核心词;
所述第一搜索信息的第一文本特征,所述第一文本特征用于表征所述第一搜索信息的文本内容的属性。
可选的,所述意图识别模块303,具体用于:
将所述第一特征和所述第二特征进行拼接,得到目标特征;
将所述目标特征输入至第一模型进行意图识别,得到意图识别结果。
可选的,所述特征处理模块302包括:
识别单元,用于将所述第一搜索信息输入至第二模型进行意图识别,得到所述第一特征;
其中,所述第二模型基于目标训练数据集训练得到,所述目标训练数据集中近似语义的不同样本的语义特征之间的距离小于第二预设阈值。
本公开提供的搜索推荐装置300能够实现搜索推荐方法实施例实现的各个过程,且能够达到相同的有益效果,为避免重复,这里不再赘述。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图4示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示,设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM 403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405,包括:输入单元406,例如键盘、鼠标等;输出单元407,例如各种类型的显示器、扬声器等;存储单元408,例如磁盘、光盘等;以及通信单元409,例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理,例如搜索推荐方法。例如,在一些实施例中,搜索推荐方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时,可以执行上文描述的搜索推荐方法的一个或多个步骤。备选地,在其他实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行搜索推荐方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (15)

1.一种搜索推荐方法,包括:
获取用户输入的第一搜索信息;
基于所述第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项;
基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图;
基于所述意图识别结果向所述用户进行信息推荐。
2.根据权利要求1所述的方法,其中,所述基于所述意图识别结果向所述用户进行信息推荐,包括:
在所述意图识别结果表征所述第一搜索信息存在所述目标意图的情况下,向所述用户推荐所述第一搜索信息在所述目标意图下的第一目标搜索结果,所述第一目标搜索结果与所述第一搜索信息匹配的面向企业用户服务的入口链接关联。
3.根据权利要求1所述的方法,其中,所述基于所述意图识别结果向所述用户进行信息推荐,包括:
统计所述用户输入的历史搜索信息对应的意图识别结果中目标意图识别结果所占的比例,所述历史搜索信息包括所述第一搜索信息,所述目标意图识别结果表征所述历史搜索信息存在所述目标意图;
在所述比例为目标比例的情况下,向所述用户推荐第二目标搜索结果,所述目标比例大于或等于第一预设阈值,所述第二目标搜索结果与所述历史搜索信息匹配的面向企业用户服务的入口链接关联。
4.根据权利要求1所述的方法,其中,所述第一属性特征包括以下至少一项:
所述第一搜索信息的内容特征,所述内容特征用于表征所述第一搜索信息是否属于与面向企业用户服务相关的内容的概率;
所述第一搜索信息的分类特征,所述分类特征用于表征所述第一搜索信息是否属于面向企业用户服务的分类的概率;
所述第一搜索信息的第一类目特征,所述第一类目特征用于表征所述第一搜索信息属于预先定义的与面向企业用户服务相关的各类目的概率分布;
所述第一搜索信息的第二类目特征,所述第二类目特征用于表征所述第一搜索信息属于预先定义的各搜索类目的概率分布;
所述第一搜索信息的核心词特征,所述核心词特征用于表征所述第一搜索信息是否包括目标核心词,且在包括目标核心词的情况下,所述核心词特征还用于表征所述目标核心词属于面向企业用户服务的各类目的概率分布和/或所述目标核心词的长度,所述目标核心词为与面向企业用户服务相关的核心词;
所述第一搜索信息的第一文本特征,所述第一文本特征用于表征所述第一搜索信息的文本内容的属性。
5.根据权利要求1所述的方法,其中,所述基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,包括:
将所述第一特征和所述第二特征进行拼接,得到目标特征;
将所述目标特征输入至第一模型进行意图识别,得到意图识别结果。
6.根据权利要求1所述的方法,其中,所述基于所述第一搜索信息进行特征处理,得到第一特征,包括:
将所述第一搜索信息输入至第二模型进行意图识别,得到所述第一特征;
其中,所述第二模型基于目标训练数据集训练得到,所述目标训练数据集中近似语义的不同样本的语义特征之间的距离小于第二预设阈值。
7.一种搜索推荐装置,包括:
获取模块,用于获取用户输入的第一搜索信息;
特征处理模块,用于基于所述第一搜索信息进行特征处理,得到第一特征和第二特征,所述第一特征用于表征所述第一搜索信息是否存在目标意图的概率,所述目标意图为面向企业用户服务的搜索意图,所述第二特征包括所述第一搜索信息的第一属性特征、所述第一搜索信息的第一搜索结果的第二属性特征中的至少一项;
意图识别模块,用于基于所述第一特征和所述第二特征,对所述第一搜索信息进行意图识别,得到意图识别结果,所述意图识别结果用于表征所述第一搜索信息是否存在所述目标意图;
信息推荐模块,用于基于所述意图识别结果向所述用户进行信息推荐。
8.根据权利要求7所述的装置,其中,所述信息推荐模块包括:
第一推荐单元,用于在所述意图识别结果表征所述第一搜索信息存在所述目标意图的情况下,向所述用户推荐所述第一搜索信息在所述目标意图下的第一目标搜索结果,所述第一目标搜索结果与所述第一搜索信息匹配的面向企业用户服务的入口链接关联。
9.根据权利要求7所述的装置,其中,所述信息推荐模块包括:
统计单元,用于统计所述用户输入的历史搜索信息对应的意图识别结果中目标意图识别结果所占的比例,所述历史搜索信息包括所述第一搜索信息,所述目标意图识别结果表征所述历史搜索信息存在所述目标意图;
第二推荐单元,用于在所述比例为目标比例的情况下,向所述用户推荐第二目标搜索结果,所述目标比例大于或等于第一预设阈值,所述第二目标搜索结果与所述历史搜索信息匹配的面向企业用户服务的入口链接关联。
10.根据权利要求7所述的装置,其中,所述第一属性特征包括以下至少一项:
所述第一搜索信息的内容特征,所述内容特征用于表征所述第一搜索信息是否属于与面向企业用户服务相关的内容的概率;
所述第一搜索信息的分类特征,所述分类特征用于表征所述第一搜索信息是否属于面向企业用户服务的分类的概率;
所述第一搜索信息的第一类目特征,所述第一类目特征用于表征所述第一搜索信息属于预先定义的与面向企业用户服务相关的各类目的概率分布;
所述第一搜索信息的第二类目特征,所述第二类目特征用于表征所述第一搜索信息属于预先定义的各搜索类目的概率分布;
所述第一搜索信息的核心词特征,所述核心词特征用于表征所述第一搜索信息是否包括目标核心词,且在包括目标核心词的情况下,所述核心词特征还用于表征所述目标核心词属于面向企业用户服务的各类目的概率分布和/或所述目标核心词的长度,所述目标核心词为与面向企业用户服务相关的核心词;
所述第一搜索信息的第一文本特征,所述第一文本特征用于表征所述第一搜索信息的文本内容的属性。
11.根据权利要求7所述的装置,其中,所述意图识别模块,具体用于:
将所述第一特征和所述第二特征进行拼接,得到目标特征;
将所述目标特征输入至第一模型进行意图识别,得到意图识别结果。
12.根据权利要求7所述的装置,其中,所述特征处理模块包括:
识别单元,用于将所述第一搜索信息输入至第二模型进行意图识别,得到所述第一特征;
其中,所述第二模型基于目标训练数据集训练得到,所述目标训练数据集中近似语义的不同样本的语义特征之间的距离小于第二预设阈值。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
CN202210499216.1A 2022-05-09 2022-05-09 搜索推荐方法、装置及电子设备 Pending CN114722299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210499216.1A CN114722299A (zh) 2022-05-09 2022-05-09 搜索推荐方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210499216.1A CN114722299A (zh) 2022-05-09 2022-05-09 搜索推荐方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114722299A true CN114722299A (zh) 2022-07-08

Family

ID=82231758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499216.1A Pending CN114722299A (zh) 2022-05-09 2022-05-09 搜索推荐方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114722299A (zh)

Similar Documents

Publication Publication Date Title
CN108536852B (zh) 问答交互方法和装置、计算机设备及计算机可读存储介质
JP6022056B2 (ja) 検索結果の生成
CN107544988B (zh) 一种获取舆情数据的方法和装置
CN110263248A (zh) 一种信息推送方法、装置、存储介质和服务器
CN109582788A (zh) 垃圾评论训练、识别方法、装置、设备及可读存储介质
CN111782793A (zh) 智能客服处理方法和系统及设备
CN112182348A (zh) 语义匹配判定方法、装置、电子设备、计算机可读介质
CN113051380A (zh) 信息生成方法、装置、电子设备和存储介质
CN115470313A (zh) 信息检索及模型训练方法、装置、设备和存储介质
CN113392920B (zh) 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN113191145B (zh) 关键词的处理方法、装置、电子设备和介质
CN113806660A (zh) 数据评估方法、训练方法、装置、电子设备以及存储介质
CN111737607B (zh) 数据处理方法、装置、电子设备以及存储介质
CN112926308A (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN116662495A (zh) 问答处理方法、训练问答处理模型的方法及装置
CN111144122A (zh) 评价处理方法、装置和计算机系统及介质
CN114610914A (zh) 一种信息处理方法、装置及电子设备
CN114048315A (zh) 确定文档标签的方法、装置、电子设备和存储介质
CN114722299A (zh) 搜索推荐方法、装置及电子设备
CN113239273A (zh) 用于生成文本的方法、装置、设备以及存储介质
CN113722487A (zh) 用户情感分析方法、装置、设备及存储介质
CN113392218A (zh) 文本质量评估模型的训练方法和确定文本质量的方法
CN113792230A (zh) 服务链接方法、装置、电子设备和存储介质
CN113326438A (zh) 信息查询方法、装置、电子设备以及存储介质
CN117454004A (zh) 样本数据生成方法、模型训练方法、搜索结果确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination