CN110516127B - 多需求搜索请求的划分方法、装置、电子设备及存储介质 - Google Patents
多需求搜索请求的划分方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110516127B CN110516127B CN201910807114.XA CN201910807114A CN110516127B CN 110516127 B CN110516127 B CN 110516127B CN 201910807114 A CN201910807114 A CN 201910807114A CN 110516127 B CN110516127 B CN 110516127B
- Authority
- CN
- China
- Prior art keywords
- demand
- search request
- search
- model
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了多需求搜索请求的划分方法、装置、电子设备及存储设备,涉及搜索领域。具体实现方案为:接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;将所述多需求搜索请求输入预先设置的解析模型,利用所述解析模型的输出结果确定至少两个单需求搜索请求,每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。本申请能够划分出多需求搜索请求中包含的多个搜索需求,便于得到较佳的搜索结果。
Description
技术领域
本申请涉及一种计算机领域,尤其涉及一种搜索领域。
背景技术
多需求搜索请求(query)是包含至少两个搜索需求或搜索意图的搜索请求。例如,以下句子为一个多需求搜索请求:
“搜一下一劳永逸的近义词和反义词”。
在上述多需求搜索请求中,包含了2个搜索需求,即:1)一劳永逸的近义词;2)一劳永逸的反义词。
现有的搜索技术无法准确地划分出多需求搜索请求中包含的多个搜索需求,导致搜索结果较差。
发明内容
本申请实施例提出一种多需求搜索请求的划分方法及装置、以及一种解析模型训练方法及装置,以至少解决现有技术中的以上技术问题。
第一方面,本申请实施例提供了一种多需求搜索请求的划分方法,包括:
接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
将所述多需求搜索请求输入预先设置的解析模型;
利用所述解析模型的输出结果确定至少两个单需求搜索请求,每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
在一种实施方式中,还包括:
展示所述至少两个单需求搜索请求;
接收对所述单需求搜索请求的搜索指令;
根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
在一种实施方式中,所述解析模型为第一解析模型;
所述利用所述解析模型的输出结果确定至少两个单需求搜索请求包括:
获取所述第一解析模型输出的通用项及至少两个特殊项,所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
将所述通用项分别与各个所述特殊项拼接,得到至少两个单需求搜索请求。
在一种实施方式中,所述将所述多需求搜索请求输入预先设置的解析模型包括:
鉴别所述多需求搜索请求所属的类别;
在无法鉴别出所述多需求搜索请求所属类别的情况下,将多需求搜索请求输入所述第一解析模型。
在一种实施方式中,所述第一解析模型为序列标注模型。
在一种实施方式中,所述解析模型为第二解析模型;所述第二解析模型包括多个槽位匹配模板,每个所述槽位匹配模板由至少两个槽位组成,每个所述槽位匹配模板对应一个产出规则;
所述利用所述解析模型的输出结果确定至少两个单需求搜索请求,包括:
将所述多需求搜索请求分别针对所述第二解析模型中的各个槽位匹配模板进行填充;
针对填充成功的槽位匹配模板,根据各个所述槽位的填充结果及所述槽位匹配模板对应的产出规则,确定至少两个单需求搜索请求。
在一种实施方式中,所述第二解析模型为与所述多需求搜索请求所属的类别对应的解析模型;
所述将所述多需求搜索请求输入预先设置的解析模型包括:
鉴别所述多需求搜索请求所属的类别;
在能够鉴别出所述多需求搜索请求所属类别的情况下,确定所述类别对应的第二解析模型;
将所述多需求搜索请求输入确定出的第二解析模型。
第二方面,本申请实施例提供了一种解析模型训练方法,包括:
将多需求搜索请求输入第一解析模型;
获取所述第一解析模型输出的通用项及特殊项的预测值;所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
将所述通用项及特殊项的预测值与通用项及特殊项的真实值进行对比,根据对比结果调整所述第一解析模型的参数。
在一种实施方式中,还包括:
在所述通用项及特殊项的预测值与所述通用项及特殊项的真实值的对比结果满足预设要求时,结束对所述第一解析模型的训练过程。
在一种实施方式中,所述第一解析模型为序列标注模型。
在一种实施方式中,所述序列标注模型为统计模型或神经网络模型;其中,
所述统计模型为隐马尔可夫模型或条件随机场算法模型;
所述神经网络模型为长短期记忆网络-条件随机场算法模型。
第三方面,本申请实施例提供了一种多需求搜索请求的划分装置,包括:
请求接收模块,用于接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
第一输入模块,用于将所述多需求搜索请求输入预先设置的解析模型;
确定模块,用于利用所述解析模型的输出结果确定至少两个单需求搜索请求,每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
在一种实施方式中,还包括:
展示模块,用于展示所述至少两个单需求搜索请求;
指令接收模块,用于接收对所述单需求搜索请求的搜索指令;
搜索模块,用于根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
在一种实施方式中,所述解析模型为第一解析模型;
所述确定模块,用于获取所述第一解析模型输出的通用项及至少两个特殊项,所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;将所述通用项分别与各个所述特殊项拼接,得到至少两个单需求搜索请求。
在一种实施方式中,所述解析模型为第二解析模型;所述第二解析模型包括多个槽位匹配模板,每个所述槽位匹配模板由至少两个槽位组成,每个所述槽位匹配模板对应一个产出规则;
所述确定模块,用于将所述多需求搜索请求分别针对所述第二解析模型中的各个槽位匹配模板进行填充;针对填充成功的槽位匹配模板,根据各个所述槽位的填充结果及所述槽位匹配模板对应的产出规则,确定至少两个单需求搜索请求。
第四方面,本申请实施例提供了一种解析模型训练装置,包括:
第二输入模块,用于将多需求搜索请求输入第一解析模型;
获取模块,用于获取所述第一解析模型输出的通用项及特殊项的预测值;所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
调整模块,用于将所述通用项及特殊项的预测值与通用项及特殊项的真实值进行对比,根据对比结果调整所述第一解析模型的参数。
在一种实施方式中,还包括:
控制模块,用于在所述通用项及特殊项的预测值与所述通用项及特殊项的真实值的对比结果满足预设要求时,结束对所述第一解析模型的训练过程。
在一种实施方式中,所述第一解析模型为序列标注模型。
在一种实施方式中,所述序列标注模型为统计模型或神经网络模型;其中,
所述统计模型为隐马尔可夫模型或条件随机场算法模型;
所述神经网络模型为长短期记忆网络-条件随机场算法模型。
第五方面,本申请实施例提供了一种电子设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述多需求搜索请求的划分方法或解析模型训练方法中任一项的方法。
第六方面,本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行上述多需求搜索请求的划分方法或解析模型训练方法中任一项的方法。
上述申请中的一个实施例具有如下优点或有益效果:本申请将多需求搜索请求输入预先设置的解析模块,利用解析模块的输出结果确定对应的至少两个单需求搜索请求,从而实现了对多需求搜索请求的划分。进一步地,本申请实施例还可以展示单需求搜索语句,接收针对单需求搜索请求的搜索指令,并执行该指令,从而实现对各个单需求搜索请求的搜索。本申请的解析模块可以有第一解析模块和第二解析模块两种形式,其中,第一解析模块可以适用于无法确定出所属类别的多需求搜索请求,第二解析模块可以适用于无法确定出所属类别的多需求搜索请求,不同的第二解析模块对应不同的类别。对于第一解析模块,本申请实施例可以利用第一解析模块输出的通用项和特殊项生成单需求搜索请求;对于第二解析模块,本申请实施例可以利用第二解析模块输出的槽位的填充结果、以及匹配成功的槽位匹配模板对应的产出规则确定单需求搜索请求,以实现对不同类别多需求搜索请求的精确划分。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请的一种多需求搜索请求的划分方法实现流程示意图一;
图2为本申请的一种多需求搜索请求的划分方法实现流程示意图二;
图3为本申请的一种多需求搜索请求的划分方法中,利用解析模型的输出结果确定单需求搜索请求的实现流程示意图一;
图4为本申请的一种多需求搜索请求的划分方法中,将多需求搜索请求输入预先设置的解析模型的实现流程示意图一;
图5为本申请的一种多需求搜索请求的划分方法中,利用解析模型的输出结果确定单需求搜索请求的实现流程示意图二;
图6为本申请的一种多需求搜索请求的划分方法中,将多需求搜索请求输入预先设置的解析模型的实现流程示意图二;
图7为本申请的一种解析模型训练方法实现流程示意图;
图8为本申请的一种多需求搜索请求的划分装置结构示意图一;
图9为本申请的一种多需求搜索请求的划分装置结构示意图二;
图10为本申请的一种解析模型训练装置结构示意图一;
图11为本申请的一种解析模型训练装置结构示意图二;
图12是用来实现本申请实施例的多需求搜索请求的划分方法或解析模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请提出一种多需求搜索请求的划分方法,图1为本申请的一种多需求搜索请求的划分方法实现流程示意图一,包括:
步骤S101:接收多需求搜索请求,多需求搜索请求包括至少两个搜索需求;
步骤S102:将多需求搜索请求输入预先设置的解析模型;
步骤S103:利用解析模型的输出结果确定至少两个单需求搜索请求,每个单需求搜索请求对应多需求搜索请求的一个搜索需求。
图2为本申请的一种多需求搜索请求的划分方法实现流程示意图二。如图2所示,在步骤S103之后还可以包括:
步骤S204:展示至少两个单需求搜索请求;
步骤S205:接收对单需求搜索请求的搜索指令;
步骤S206:根据搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
本申请实施例可以应用于搜索引擎。在一种可能的实施方式中,搜索引擎接收来自搜索客户端的多需求搜索请求,确定出对应的至少两个单需求搜索请求后,可以在推荐列表中展示这些单需求搜索请求。之后,用户可以在搜索客户端点击希望搜索的一个或两个以上单需求搜索请求,搜索客户端生成对该单需求搜索请求的搜索指令,并发送至搜索引擎。搜索引擎接收来自搜索客户端的搜索指令,执行搜索操作并展示搜索结果。或者,搜索引擎可以在确定出对应的至少两个单需求搜索请求后,直接搜索按照这些单需求搜索请求进行搜索,显示各个单需求搜索请求及其对应的搜索结果。
在一种可能的实施方式中,所述解析模型为第一解析模型;
图3为本申请的一种多需求搜索请求的划分方法中,利用解析模型的输出结果确定单需求搜索请求的实现流程示意图一,包括:
步骤S301:获取第一解析模型输出的通用项及至少两个特殊项,通用项为多需求搜索请求的所有搜索需求都包含的文本项,特殊项为多需求搜索请求的单个搜索需求包含的文本项;
步骤S302:将通用项分别与各个特殊项拼接,得到至少两个单需求搜索请求。
在一种可能的实施方式中,第一解析模型可以应用于处理无法鉴别出类别的多需求搜索请求。或者,第一解析模型也可以应用于处理任意的多需求搜索请求;因此,本申请实施例可以不鉴别多需求搜索请求的所属类别,而是直接将多需求搜索请求输入第一解析模型,由第一解析模型输出对多需求搜索请求的解析结果。
前述类别可以具体为垂类,例如字词类、综艺类等,各个垂类可以对应不同的领域。可以采用识别多需求搜索请求中关键字的方式来实现类别鉴别。本申请实施例可以采用分类器鉴别多需求搜索请求所属的类别。该分类器可以采用卷积神经网络(Convolutional Neural Networks,CNN)来实现。
图4为本申请的一种多需求搜索请求的划分方法中,将多需求搜索请求输入预先设置的解析模型的实现流程示意图一,包括:
步骤S401:鉴别多需求搜索请求所属的类别;
步骤S402:在无法鉴别出多需求搜索请求所属类别的情况下,将多需求搜索请求输入第一解析模型。
在一种可能的实施方式中,第一解析模型为序列标注模型。
如果采用字为划分粒度,可以将多需求搜索请求划分为连续的多个字。例如,将“搜一下一劳永逸的近义词和反义词”划分为“”搜/一/下/一/劳/永/逸/的/近/义/词/和/反/义/词/”。一个或连续的多个字可以组成一个文本项(term)。
本申请发明人在经过调研发现,绝大多数的多需求搜索请求满足以下两个特点:
1)多需求搜索请求中的term都属于以下三种之一:
第一种:通用项(common term,可以用C表示),即多需求搜索请求的每个搜索需求均包含的项;
第二种:特殊项(special term,可以用S表示),即多需求搜索请求的一个搜索需求包含的项;
第三种:其他项(other term),对每个搜索需求都没有信息增益的项,主要是一些口语词、停用词、连接词等。
2)每个term中的字在多需求搜索请求中是连续出现的。
基于上述特点,本申请可以采用序列标注模型作为上述的第一解析模型,例如可以采用BIO序列标注模型。第一解析模型可以确定出多需求搜索请求中包含的通用项及特殊项的起始字(Begin,可以用B表示)和中间字(Inside,可以用I表示),以及既不属于通用项、也不属于特殊项的其他字(Outside,可以用O表示)。
例如,对于多需求搜索请求“搜一下一劳永逸的近义词和反义词”,BIO序列标注模型可以确定出该语句中各个字的标签,如下:
搜——O;
一——O;
下——O;
一——C_B;
劳——C_I;
永——C_I;
逸——C_I;
的——O;
近——S_B;
义--S_I;
词——S_I;
和——O;
反——S_B;
义——S_I;
词——S_I;
根据上述标签,可以确定出上述多需求搜索请求中包含的一个通用项,即“一劳永逸”;以及两个特殊项,即“近义词”和“反义词”。将通用项分别与各个特殊项拼接,即可以得到所有的单需求搜索请求,即“一劳永逸近义词”和“一劳永逸反义词”。
本申请实施例可以针对一些垂类预先设计专门的第二解析模型,从而保证在相应垂类上有较高的准确率和覆盖率。如果多需求搜索请求不属于任何一个垂类,则可以采用上述第一解析模型进行处理。
在一种可能的实施方式中,第二解析模型可以包括多个槽位匹配模板、以及各个槽位匹配模板对应的产出规则。其中,槽位匹配模板由至少两个槽位连接而成,一个槽位可以对应一个匹配规则或者一个词典。第二解析模型适用于具有比较固定的模式或规律的多需求搜索请求,例如包含字词类需求的多需求搜索请求。
图5为本申请的一种多需求搜索请求的划分方法中,利用解析模型的输出结果确定至少两个单需求搜索请求的实现流程示意图二,包括:
步骤S501:将多需求搜索请求分别针对第二解析模型中的各个槽位匹配模板进行填充;
步骤S502:针对填充成功的槽位匹配模板,根据各个所述槽位的填充结果及所述槽位匹配模板对应的产出规则,确定至少两个单需求搜索请求。
本申请实施例可以使用多个第二解析模型,每个第二解析模型对应不同的多需求搜索请求所属类别。相应地,在使用第二解析模型前,需要首先确定多需求搜索请求所属类别。图6为本申请的一种多需求搜索请求的划分方法中,将多需求搜索请求输入预先设置的解析模型的实现流程示意图二,包括:
步骤S601:鉴别多需求搜索请求所属的类别;
步骤S602:在能够鉴别出多需求搜索请求所属类别的情况下,确定该类别对应的第二解析模型;
步骤S603:将多需求搜索请求输入确定出的第二解析模型。
例如,一个槽位匹配模板包含的槽位如下:
[口语词][核心词][停用词][需求词1][停用词][需求词2]。前述内容表示槽位匹配模板包括前述多个连续的槽位。
其中,各个槽位定义可以如下表1:
表1
该槽位匹配模板对应的产出规则如下:
[核心词][需求词1];[核心词][需求词2]。
上述产出规则表示能够生成2个单需求搜索请求,即包含核心词和需求词1的单需求搜索请求,以及包含核心词和需求词2的单需求搜索请求。
仍以上述多需求搜索请求“搜一下一劳永逸的近义词和反义词”为例,该多需求搜索请求能够成功填充上述槽位匹配模板,各个槽位的填充结果为:
口语词——“搜一下”;
核心词——“一劳永逸”;
停用词——“的”;
需求词1——“近义词”;
停用词——“和”;
需求词2——“反义词”。
这样,根据上述填充结果和产出规则,将核心词(“一劳永逸”)和需求词1(“近义词”)拼接成一个单需求搜索请求,即“一劳永逸近义词”,并将将核心词(“一劳永逸”)和需求词2(“反义词”)拼接成另一个单需求搜索请求,即“一劳永逸反义词”。
以另一个多需求搜索请求“帮我搜一下暴殄天物的意思和慌忙的近义词以及啰嗦的近义词”为例,该多需求搜索请求能够成功填充以下槽位匹配模板:
[口语词][核心词1][停用词][需求词1][停用词][核心词2][停用词][需求词2][停用词][核心词3][停用词][需求词3];
各个槽位的填充结果为:
口语词——“帮我搜一下”;
核心词1——“暴殄天物”;
停用词——“的”;
需求词1——“意思”;
停用词——“和”;
核心词2——“慌忙”;
停用词——“的”;
需求词2——“近义词”;
停用词——“以及”;
核心词3——“啰嗦”;
停用词——“的”;
需求词3——“近义词”。
该槽位匹配模板对应的产出规则如下:
[核心词1][需求词1];
[核心词2][需求词2];
[核心词3][需求词3]。
根据上述填充结果及产出规则,将核心词1(“暴殄天物”)和需求词1(“意思”)拼接成一个单需求搜索请求,即“暴殄天物意思”。将核心词2(“慌忙”)和需求词2(“近义词”)拼接成第二个单需求搜索请求,即“慌忙近义词”。将核心词3(“啰嗦”)和需求词3(“近义词”)拼接成第三个单需求搜索请求,即“啰嗦近义词”。
以上介绍了本申请实施例提出的多需求搜索请求的划分方法。
本申请还提出一种解析模型训练方法,用于训练上述多需求搜索请求的划分方法中所使用的第一解析模型。图7为本申请的一种解析模型训练方法实现流程示意图,包括:
步骤S701:将多需求搜索请求输入第一解析模型;
步骤S702:获取第一解析模型输出的通用项及特殊项的预测值;通用项为多需求搜索请求的所有搜索需求都包含的文本项,特殊项为多需求搜索请求的单个搜索需求包含的文本项;
步骤S703:将通用项及特殊项的预测值与通用项及特殊项的真实值进行对比,根据对比结果调整所述第一解析模型的参数。
其中,通用项及特殊项的真实值可以由人工进行标注。
在一种可能的实施方式中,在通用项及特殊项的预测值与通用项及特殊项的真实值的对比结果满足预设要求时,结束对第一解析模型的训练过程,认为对第一解析模型的训练完成。
训练完成的第一解析模型能够输出多需求搜索请求中包含的通用项及特殊项的起始字和中间字,以及既不属于通用项、也不属于特殊项的其他字,并根据前述内容得到多需求搜索请求中包含的通用项及特殊项。第一解析模型的相关内容与上述多需求搜索请求的划分方法中介绍的内容一致,在此不再赘述。
在一种可能的实施方式中,第一解析模型可以为序列标注模型,并具体可以为BIO序列标注模型。
序列标注模型可以统计模型或神经网络模型。
其中,统计模型可以采用隐马尔可夫模型(Hidden Markov Model,HMM)或条件随机场算法(Conditional Random Field algorithm,CRF)模型。统计模型可以适用于训练样本数量较小的情况。
神经网络模型可以采用长短期记忆网络(Long Short-Term Memory,LSTM)-条件随机场算法(CRF)模型。神经网络模型可以适用于训练样本数量较大的情况。
本申请实施例还提出一种多需求搜索请求的划分装置,图8为本申请的一种多需求搜索请求的划分装置结构示意图一,图8所示的多需求搜索请求的划分装置800包括:
请求接收模块801,用于接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
第一输入模块802,用于将所述多需求搜索请求输入预先设置的解析模型;
确定模块803,应用利用所述解析模型的输出结果确定至少两个单需求搜索请求,每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
图9为本申请的一种多需求搜索请求的划分装置结构示意图二,图9所示的多需求搜索请求的划分装置900包括:
请求接收模块801、第一输入模块802、确定模块803、展示模块904,指令接收模块905及搜索模块906;
其中,请求接收模块801、第一输入模块802及确定模块803与上述实施例中的相应模型功能相同,不再赘述。
展示模块904,用于展示所述至少两个单需求搜索请求。
指令接收模块905,用于接收对所述单需求搜索请求的搜索指令;
搜索模块906,用于根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
在一种可能的实施方式中,所述解析模型为第一解析模型;
所述确定模块803,用于获取所述第一解析模型输出的通用项及至少两个特殊项,所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;将所述通用项分别与各个所述特殊项拼接,得到至少两个单需求搜索请求。
在一种可能的实施方式中,所述解析模型为第二解析模型;所述第二解析模型包括多个槽位匹配模板,每个所述槽位匹配模板由至少两个槽位组成,每个所述槽位匹配模板对应一个产出规则;
所述确定模块803,用于将所述多需求搜索请求分别针对所述第二解析模型中的各个槽位匹配模板进行填充;针对填充成功的槽位匹配模板,根据各个所述槽位的填充结果及所述槽位匹配模板对应的产出规则,确定至少两个单需求搜索请求。
本申请实施例还提出一种解析模型训练装置,图10为本申请的一种解析模型训练装置结构示意图一,图10所示的解析模型训练装置1000包括:
第二输入模块1001,用于将多需求搜索请求输入第一解析模型;
获取模块1002,用于获取所述第一解析模型输出的通用项及特殊项的预测值;所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
调整模块1003,用于将所述通用项及特殊项的预测值与通用项及特殊项的真实值进行对比,根据对比结果调整所述第一解析模型的参数。
图11为本申请的一种解析模型训练装置结构示意图二,图11所示的解析模型训练装置1100包括:第二输入模块1001、获取模块1002、调整模块1003及控制模块1104;
其中,第二输入模块1001、获取模块1002及调整模块1003与上述实施例中的相应模型功能相同,不再赘述;
控制模块1104,用于在所述通用项及特殊项的预测值与所述通用项及特殊项的真实值的对比结果满足预设要求时,结束对所述第一解析模型的训练过程。
在一种可能的实施方式中,第一解析模型为序列标注模型。
在一种可能的实施方式中,序列标注模型为统计模型或神经网络模型;其中,
统计模型为隐马尔可夫模型或条件随机场算法模型;
神经网络模型为长短期记忆网络-条件随机场算法模型。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图12所示,是根据本申请实施例的多需求搜索请求的划分方法或解析模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图12所示,该电子设备包括:一个或多个处理器1201、存储器1202,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface,GUI)的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图12中以一个处理器1201为例。
存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的多需求搜索请求的划分方法或解析模型训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的多需求搜索请求的划分方法或解析模型训练方法。
存储器1202作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的多需求搜索请求的划分方法或解析模型训练方法对应的程序指令/模块(例如,附图8所示的请求接收模块801、第一输入模块802和确定模块803,或者附图10所示的第二输入模块1001、获取模块1002和调整模块1003)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的多需求搜索请求的划分方法或解析模型训练方法。
存储器1202可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据多需求搜索请求的划分方法的电子设备或解析模型训练方法的电子设备的使用所创建的数据等。此外,存储器1202可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1202可选包括相对于处理器1201远程设置的存储器,这些远程存储器可以通过网络连接至多需求搜索请求的划分方法或解析模型训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
多需求搜索请求的划分方法或解析模型训练方法的电子设备还可以包括:输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接,图12中以通过总线连接为例。
输入装置1203可接收输入的数字或字符信息,以及产生与多需求搜索请求的划分方法或解析模型训练方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light Emitting Diode,LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits,ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(programmable logic device,PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode Ray Tube,阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LoCal Area Network,LAN)、广域网(Wide Area Network,WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,将多需求搜索请求输入预先设置的解析模型;并根据解析模型的输出结果确定至少两个单需求搜索请求,从而实现对多需求搜索请求的划分。之后,可以展示单需求搜索请求,当接收到用户针对单需求搜索请求的搜索指令后,根据搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。这样,实现了对单需求搜索请求的搜索。解析模型可以为第一解析模型;将第一解析模型输出的通用项及特殊项进行拼接,可以得到至少两个单需求搜索请求。或者,解析模型可以为第二解析模型。第二解析模型包括多个槽位匹配模板,每个槽位匹配模板对应一个产出规则;利用槽位的填充结果及槽位匹配模板对应的产出规则,可以确定出单需求搜索请求。本申请可以针对不同的类别设置不同的第二解析模型,在确定出多需求搜索请求的类别后,将多需求搜索请求输入该类别对应的第二解析模型,由该第二解析模型实现对多需求搜索请求的解析。由于第二解析模型是针对不同类别设计的,因此能够提高划分的准确度。在鉴别多需求搜索请求的所属类别时,本申请采用预先设置的分类器进行鉴别,达到准确快速鉴别的技术效果。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (21)
1.一种多需求搜索请求的划分方法,其特征在于,包括:
搜索引擎接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
将所述多需求搜索请求输入预先设置的第一解析模型;
获取所述第一解析模型输出的通用项及至少两个特殊项,所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
将所述通用项分别与各个所述特殊项拼接,得到至少两个单需求搜索请求;每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
2.根据权利要求1所述的方法,其特征在于,还包括:
展示所述至少两个单需求搜索请求;
接收对所述单需求搜索请求的搜索指令;
根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
3.根据权利要求1或2所述的方法,其特征在于,所述将所述多需求搜索请求输入预先设置的第一解析模型包括:
鉴别所述多需求搜索请求所属的类别;
在无法鉴别出所述多需求搜索请求所属类别的情况下,将多需求搜索请求输入所述第一解析模型。
4.根据权利要求1或2所述的方法,其特征在于,所述第一解析模型为序列标注模型。
5.一种多需求搜索请求的划分方法,其特征在于,包括:
搜索引擎接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
将所述多需求搜索请求输入预先设置的第二解析模型;所述第二解析模型包括多个槽位匹配模板,每个所述槽位匹配模板由至少两个槽位组成,每个所述槽位匹配模板对应一个产出规则;
将所述多需求搜索请求分别针对所述第二解析模型中的各个槽位匹配模板进行填充;针对填充成功的槽位匹配模板,根据各个所述槽位的填充结果及所述槽位匹配模板对应的产出规则,确定至少两个单需求搜索请求;每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
6.根据权利要求5所述的方法,其特征在于,还包括:
展示所述至少两个单需求搜索请求;
接收对所述单需求搜索请求的搜索指令;
根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
7.根据权利要求5或6所述的方法,其特征在于,所述第二解析模型为与所述多需求搜索请求所属的类别对应的解析模型;
所述将所述多需求搜索请求输入预先设置的第二解析模型包括:
鉴别所述多需求搜索请求所属的类别;
在能够鉴别出所述多需求搜索请求所属类别的情况下,确定所述类别对应的第二解析模型;
将所述多需求搜索请求输入确定出的第二解析模型。
8.一种解析模型训练方法,其特征在于,包括:
将多需求搜索请求输入第一解析模型;
获取所述第一解析模型输出的通用项及特殊项的预测值;所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
将所述通用项及特殊项的预测值与通用项及特殊项的真实值进行对比,根据对比结果调整所述第一解析模型的参数。
9.根据权利要求8所述的方法,其特征在于,还包括:
在所述通用项及特殊项的预测值与所述通用项及特殊项的真实值的对比结果满足预设要求时,结束对所述第一解析模型的训练过程。
10.根据权利要求8或9所述的方法,其特征在于,所述第一解析模型为序列标注模型。
11.根据权利要求10所述的方法,其特征在于,所述序列标注模型为统计模型或神经网络模型;其中,
所述统计模型为隐马尔可夫模型或条件随机场算法模型;
所述神经网络模型为长短期记忆网络-条件随机场算法模型。
12.一种多需求搜索请求的划分装置,其特征在于,包括:
请求接收模块,用于接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
第一输入模块,用于将所述多需求搜索请求输入预先设置的第一解析模型;
确定模块,用于获取所述第一解析模型输出的通用项及至少两个特殊项,所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;将所述通用项分别与各个所述特殊项拼接,得到至少两个单需求搜索请求,每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
13.根据权利要求12所述的装置,其特征在于,还包括:
展示模块,用于展示所述至少两个单需求搜索请求;
指令接收模块,用于接收对所述单需求搜索请求的搜索指令;
搜索模块,用于根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
14.一种多需求搜索请求的划分装置,其特征在于,包括:
请求接收模块,用于接收多需求搜索请求,所述多需求搜索请求包括至少两个搜索需求;
第一输入模块,用于将所述多需求搜索请求输入预先设置的第二解析模型;所述解析模型为第二解析模型;所述第二解析模型包括多个槽位匹配模板,每个所述槽位匹配模板由至少两个槽位组成,每个所述槽位匹配模板对应一个产出规则;
确定模块,用于将所述多需求搜索请求分别针对所述第二解析模型中的各个槽位匹配模板进行填充;针对填充成功的槽位匹配模板,根据各个所述槽位的填充结果及所述槽位匹配模板对应的产出规则,确定至少两个单需求搜索请求,每个所述单需求搜索请求对应所述多需求搜索请求的一个搜索需求。
15.根据权利要求14所述的装置,其特征在于,还包括:
展示模块,用于展示所述至少两个单需求搜索请求;
指令接收模块,用于接收对所述单需求搜索请求的搜索指令;
搜索模块,用于根据所述搜索指令执行对单需求搜索请求的搜索操作,并展示搜索结果。
16.一种解析模型训练装置,其特征在于,包括:
第二输入模块,用于将多需求搜索请求输入第一解析模型;
获取模块,用于获取所述第一解析模型输出的通用项及特殊项的预测值;所述通用项为所述多需求搜索请求的所有搜索需求都包含的文本项,所述特殊项为所述多需求搜索请求的单个搜索需求包含的文本项;
调整模块,用于将所述通用项及特殊项的预测值与通用项及特殊项的真实值进行对比,根据对比结果调整所述第一解析模型的参数。
17.根据权利要求16所述的装置,其特征在于,还包括:
控制模块,用于在所述通用项及特殊项的预测值与所述通用项及特殊项的真实值的对比结果满足预设要求时,结束对所述第一解析模型的训练过程。
18.根据权利要求16或17所述的装置,其特征在于,所述第一解析模型为序列标注模型。
19.根据权利要求18所述的装置,其特征在于,所述序列标注模型为统计模型或神经网络模型;其中,
所述统计模型为隐马尔可夫模型或条件随机场算法模型;
所述神经网络模型为长短期记忆网络-条件随机场算法模型。
20.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
21.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910807114.XA CN110516127B (zh) | 2019-08-28 | 2019-08-28 | 多需求搜索请求的划分方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910807114.XA CN110516127B (zh) | 2019-08-28 | 2019-08-28 | 多需求搜索请求的划分方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110516127A CN110516127A (zh) | 2019-11-29 |
CN110516127B true CN110516127B (zh) | 2020-08-11 |
Family
ID=68628015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910807114.XA Active CN110516127B (zh) | 2019-08-28 | 2019-08-28 | 多需求搜索请求的划分方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516127B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113343081A (zh) * | 2021-05-19 | 2021-09-03 | 北京搜狗科技发展有限公司 | 一种搜索方法、装置和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464887A (zh) * | 2008-12-30 | 2009-06-24 | 武汉大学 | Web服务组合系统及方法 |
CN104834681A (zh) * | 2015-04-14 | 2015-08-12 | 百度在线网络技术(北京)有限公司 | 服务推荐方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6665666B1 (en) * | 1999-10-26 | 2003-12-16 | International Business Machines Corporation | System, method and program product for answering questions using a search engine |
CN102054362B (zh) * | 2009-10-30 | 2012-07-25 | 北京四通智能交通系统集成有限公司 | 一种导航信息服务系统 |
CN102654866A (zh) * | 2011-03-02 | 2012-09-05 | 北京百度网讯科技有限公司 | 例句索引创建方法和装置以及例句检索方法和装置 |
CN102737045B (zh) * | 2011-04-08 | 2014-02-19 | 北京百度网讯科技有限公司 | 一种相关度计算方法和装置 |
US9009144B1 (en) * | 2012-02-23 | 2015-04-14 | Google Inc. | Dynamically identifying and removing potential stopwords from a local search query |
US9317551B1 (en) * | 2012-03-23 | 2016-04-19 | The Mathworks, Inc. | Transforming a search query into a format understood by a technical computing environment (TCE)-based search engine |
CN103440249A (zh) * | 2013-07-23 | 2013-12-11 | 南京烽火星空通信发展有限公司 | 一种非结构化数据快速检索的系统及方法 |
CN106202285A (zh) * | 2016-06-30 | 2016-12-07 | 北京百度网讯科技有限公司 | 搜索结果展示方法和装置 |
-
2019
- 2019-08-28 CN CN201910807114.XA patent/CN110516127B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464887A (zh) * | 2008-12-30 | 2009-06-24 | 武汉大学 | Web服务组合系统及方法 |
CN104834681A (zh) * | 2015-04-14 | 2015-08-12 | 百度在线网络技术(北京)有限公司 | 服务推荐方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110516127A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111428008B (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
JP7317791B2 (ja) | エンティティ・リンキング方法、装置、機器、及び記憶媒体 | |
CN111221983A (zh) | 时序知识图谱生成方法、装置、设备和介质 | |
CN110991196B (zh) | 多义词的翻译方法、装置、电子设备及介质 | |
CN111104514B (zh) | 文档标签模型的训练方法及装置 | |
CN111061868B (zh) | 读法预测模型获取及读法预测方法、装置及存储介质 | |
CN110619053A (zh) | 实体关系抽取模型的训练方法和抽取实体关系的方法 | |
US11507751B2 (en) | Comment information processing method and apparatus, and medium | |
US20210200813A1 (en) | Human-machine interaction method, electronic device, and storage medium | |
JP7179123B2 (ja) | 言語モデルの訓練方法、装置、電子デバイス及び可読記憶媒体 | |
CN111611468B (zh) | 页面交互方法、装置和电子设备 | |
CN111078878B (zh) | 文本处理方法、装置、设备及计算机可读存储介质 | |
EP3832486A2 (en) | Text query method and apparatus, device and storage medium | |
US20220027575A1 (en) | Method of predicting emotional style of dialogue, electronic device, and storage medium | |
CN111539209A (zh) | 用于实体分类的方法和装置 | |
US20220005461A1 (en) | Method for recognizing a slot, and electronic device | |
CN114036322A (zh) | 用于搜索系统的训练方法、电子设备和存储介质 | |
CN111127191A (zh) | 风险评估方法及装置 | |
CN114444462B (zh) | 模型训练方法及人机交互方法、装置 | |
KR20230006601A (ko) | 정렬 방법, 정렬 모델의 트레이닝 방법, 장치, 전자 기기 및 매체 | |
CN111738015A (zh) | 文章情感极性分析方法、装置、电子设备及存储介质 | |
CN113360751A (zh) | 意图识别方法、装置、设备和介质 | |
CN111241242A (zh) | 目标内容的确定方法、装置、设备及计算机可读存储介质 | |
CN112329453B (zh) | 样本章节的生成方法、装置、设备以及存储介质 | |
CN110516127B (zh) | 多需求搜索请求的划分方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |