CN116226338A - 基于检索和生成融合的多轮对话系统及方法 - Google Patents
基于检索和生成融合的多轮对话系统及方法 Download PDFInfo
- Publication number
- CN116226338A CN116226338A CN202211433638.5A CN202211433638A CN116226338A CN 116226338 A CN116226338 A CN 116226338A CN 202211433638 A CN202211433638 A CN 202211433638A CN 116226338 A CN116226338 A CN 116226338A
- Authority
- CN
- China
- Prior art keywords
- model
- state
- generation
- dialogue
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人机交互领域,为了提高对话系统的性能,提供了基于检索和生成融合的多轮对话系统,包括内容理解、状态追踪、对话策略生成及内容输出四个阶段,所述状态追踪阶段设置有状态检索式模型及状态生成式模型,所述状态检索式模型及状态生成式模型用于根据内容理解结果、上一时刻的系统状态及用户对话判断当前会话状态是否需要更新。基于检索和生成融合的多轮对话方法,包括:1、获取内容理解结果;2、将内容理解结果、上一时刻的系统状态及用户对话输入状态检索式模型及状态生成式模型得到输出结果并融合,基于融合结果判断当前会话状态是否需要更新;3、生成对话策略;4、文案输出。采用上述方式提高了对话系统的性能。
Description
技术领域
本发明涉及人机交互领域,具体是一种基于检索和生成融合的多轮对话系统及方法。
背景技术
人机交互是研究系统与用户之间的交互关系的科学。系统可以是各种各样的机器,也可以是计算机化的系统和软件。例如,通过人机交互可以实现各种人工智能系统(智能客服系统、语音控制系统等)。人工智能语义识别是人机交互的基础,其能够对人类语言进行识别,以转换成机器能够理解的语言。
智能问答系统是人机交互的一种典型应用,其中当用户提出问题后,智能问答系统给出该问题的答案。多轮问答系统是其中一种非常重要的智能问答系统,其往往需要与用户进行多轮的问答交互。并根据用户在某一轮问答过程中输入的交互内容,确定下一轮问答时提供给用户的反馈信息。相应的,一个多轮问答系统往往对应一个多轮问答流程,从多轮问答流程中的根节点开始,根据在多个交互节点(判断节点)接收到的用户交互信息,不断确定整个多轮问答流程的下一走向,直到最后抵达预期中的最终节点来完成整个多轮问答流程。
如图1所示,传统的问答系统采用pipline结构,自然语音理解模块(NLU)、状态追踪模块(DST)和策略优化模块(DPO)是多轮对话系统的关键组成部分。其中DST和DPO共同形成对话管理模块(DM)。现有的智能对话平台,在实现NLU和DM时存在两个缺点:第一,NLU实现技术存在意图识别手段单一的问题。第二,DM实现大多只基于检索式或生成式,单一的对话管理方式存在各自的缺陷。这将导致随着对话轮数增加,对话策略复杂度指数级增长;在用户画像不明确的情况下,用户会话意图方式难以准确检测等问题。
发明内容
为了提高对话系统的性能,本申请提供了一种基于检索和生成融合的多轮对话系统及方法。
本发明解决上述问题所采用的技术方案是:
基于检索和生成融合的多轮对话系统,包括内容理解、状态追踪、对话策略生成及内容输出四个阶段,所述状态追踪阶段设置有状态检索式模型及状态生成式模型,所述状态检索式模型及状态生成式模型用于根据内容理解结果、上一时刻的系统状态及用户对话判断当前会话状态是否需要更新。
具体的,所述内容理解阶段设置有用于对用户对话进行意图识别的文本分类系统及用于实体识别的实体识别模型。
为了提高意图识别准确性,所述文本分类系统包括文本分类模型及文本分类搜索集。
具体的,所述文本分类模型采用TextCNN模型作为基本模型,并加入Attention机制,R-Dropout机制。
具体的,所述对话策略生成阶段设置有对话策略生成模型,所述对话策略生成模型用于根据当前会话状态生成对话策略。
具体的,所述内容输出阶段设置有内容检索式模型及内容生成式模型,所述内容检索式模型及内容生成式模型用于根据对话策略、内容理解结果生成具体对话内容。
基于检索和生成融合的多轮对话方法,包括:
步骤1、对用户对话进行内容理解得到内容理解结果;
步骤2、将内容理解结果、上一时刻的系统状态及用户对话输入状态检索式模型及状态生成式模型得到输出结果,将输出的两个结果进行融合得到融合结果,基于融合结果判断当前会话状态是否需要更新;
步骤3、基于当前会话状态及对话策略生成模型生成对话策略;
步骤4、基于对话策略及内容理解结果,使用内容检索式模型或内容生成式模型生成文案输出。
进一步地,内容理解阶段根据文本分类模型及文本分类搜索集的输出结果确定意图识别结果。
进一步地,所述步骤2中,采用slot-gate分类算法判断当前会话状态是否需要更新。
为了降低系统复杂度,所述步骤2中,当需要更新会话状态时采用贝叶斯状态更新当前会话状态。
本发明相比于现有技术具有的有益效果是:本发明提出的基于检索和生成融合的多轮对话系统,在人机对话多个流程中使用检索式模型和生成式模型融合的方法,同时利用了检索式模型和生成式模型的优点,提升对话系统的性能。基于网络公开数据集和自有数据训练文本分类模型,以规则和词典的方式构建文本分类兜底策略,获取意图分类结果,提高意图识别准确率。定期爬取网络热词,公开词典,结合NLP技术获取实体识别NER结果以提高实体识别准确率。基于深度强化学习模型完成对话策略生成,有效提升对话策略有效性的正确率。利用检索式和生成式方法对文案进行输出,利用两者之间的阈值配合,使得文案输出更贴近用户需求。
附图说明
图1为传统问答系统结构示意图;
图2为内容理解阶段流程图;
图3为状态追踪阶段流程图;
图4为对话策略生成阶段流程图;
图5为内容输出阶段流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
基于检索和生成融合的多轮对话系统,包括内容理解、状态追踪、对话策略生成及内容输出四个阶段,所述状态追踪阶段设置有状态检索式模型及状态生成式模型,所述状态检索式模型及状态生成式模型用于根据内容理解结果、上一时刻的系统状态及用户对话判断当前会话状态是否需要更新。
具体的,所述内容理解阶段设置有用于对用户对话进行意图识别的文本分类系统及用于实体识别的实体识别模型。
为了提高意图识别准确性,所述文本分类系统包括文本分类模型及文本分类搜索集。
具体的,所述文本分类模型采用TextCNN模型作为基本模型,并加入Attention机制,R-Dropout机制。
具体的,所述对话策略生成阶段设置有对话策略生成模型,所述对话策略生成模型用于根据当前会话状态生成对话策略。
具体的,所述内容输出阶段设置有内容检索式模型及内容生成式模型,所述内容检索式模型及内容生成式模型用于根据对话策略、内容理解结果生成具体对话内容。
基于检索和生成融合的多轮对话方法,包括:
步骤1、对用户对话进行内容理解得到内容理解结果;
步骤2、将内容理解结果、上一时刻的系统状态及用户对话输入状态检索式模型及状态生成式模型得到输出结果,将输出的两个结果进行融合得到融合结果,基于融合结果判断当前会话状态是否需要更新;
步骤3、基于当前会话状态及对话策略生成模型生成对话策略;
步骤4、基于对话策略及内容理解结果,使用内容检索式模型或内容生成式模型生成文案输出。
进一步地,内容理解阶段根据文本分类模型及文本分类搜索集的输出结果确定意图识别结果。
进一步地,所述步骤2中,采用slot-gate分类算法判断当前会话状态是否需要更新。
进一步地,所述步骤2中,当需要更新会话状态时采用贝叶斯状态更新当前会话状态。
实施例
内容理解阶段,如图2所示:
建立文本分类系统:基于网络公开数据集和自有数据训练文本分类模型,文本分类模型使用TextCNN模型作为基本模型,加入Attention机制和R-Dropout机制;以规则和词典的方式构建文本分类兜底策略,以公开词典作为黑白名单底层,形成搜索集,搜索集后续以热更新的方式持续维护;文本分类模型与文本分类搜索集共同构成意图识别系统;
领域路由和意图澄清:意图识别系统输出多个意图,系统最终输出按照TextCNN模型及文本分类搜索集结果以指定权重选择其中一个;
实体识别:定期爬取网络热词,构造新热词表;定期爬取公开词典,构造短句词表,并消除短句词表中无上下文的光杆名词及无法识别的情况;使用得到的新热词表和短句词表在中文预训练模型Erine上进行微调,得到实体识别NER模型;
槽位填充:预先根据对话系统的目的性质设定好词槽slots,词槽slots以key-value对形式构成;基于上述步骤得到的意图识别结果、实体识别结果,进行槽位填充,将用户初步意图转化为明确用户指令。
基于网络公开数据集和自有数据训练文本分类模型,使用TextCNN模型作为基本模型,保证线上模型部署的高效性和低资源占用率,加入Attention机制保证关注全局信息,加入R-Dropout机制增加模型抗扰动性能,提升模型稳定性。以规则和词典的方式构建文本分类兜底策略,以公开词典作为黑白名单底层,保证内容理解具备基本输出手段。定期爬取网络热词,公开词典,保证数据的实时更新状态,同时保证消除无上下文的光杆名词及无法识别的情况;得到新热词表和短句词表在中文预训练模型Erine上进行微调,使得在基于亿万级海量中文语料训练的模型可以指向性针对微调的数据有更好的效果。
状态追踪阶段:如图3所示:
以当前时刻得到的意图intension、已填部分的词槽slots、上一时刻的系统状态value、用户输入文本context作为状态追踪系统的输入,状态追踪系统包括状态检索式模型及状态生成式模型。其中系统状态value包含以下几种方法:【1】模板回复;【2】默认动作:①等待用户继续输入;②重置对话;③回复无法理解用户的上一条消息;【3】自定义动作:提前设定好的任何反馈。
基于检索和生成结合的方式搭建深度学习模型,首先基于BERT对用户输入文本、词槽slots和此时可能的输出结果value集合分别进行编码,得到以上数据的向量化形式;以欧式距离和负余弦距离作为判断slots是否匹配当前value,完成状态检索式模型的构建。
构建一个状态追踪表,利用选择性重写机制预测每个slots的状态并对需要更新的slots进行更新。基于BERT对用户输入文本、词槽slots和此时可能的输出结果value集合分别进行编码,以two-way线性映射找到词槽slots对应输出结果value在文本context中的起、止位置,得到状态生成式模型。
将状态检索式模型及状态生成式模型得到的结果进行融合得到最终结果domain-slot,基于domain-slot以slot-gate分类算法判断当前会话状态是否需要更新,如是否切换场景,是否需要对当前会话进行信息补充等。若需要更新,则使用贝叶斯状态更新对话状态。采用贝叶斯状态可以降低对话状态数,intensions和slots存在指数级递增的现象,对话状态数目可降低为线性数目级。
基于检索和生成结合的方式搭建深度学习模型,兼顾了检索式模型高效轻便的优点和生成式模型对特征依赖可进行精准建模的优点。
对话策略生成阶段,如图4所示:
基于DQN深度强化学习模型及slot生成模型的目标goal,将初始对话状态DST作为强化学习的智能体,模型模拟用户行为,针对智能体的反馈结合自身的目标goal进行交互(反问、回答或结束会话);
多轮训练模型后得到较成熟的对话策略生成模型,将当前对话状态DST作为模型输入,得到对话策略。
利用深度强化学习的特性增强对话系统的响应能力,可以自定义训练轮次,增强对话策略的适应度,对多轮对话系统性能起到改善的作用。
内容输出阶段,如图5所示:
基于对话策略结果和内容理解结果,使用内容检索式模型或内容生成式模型生成文案输出。
内容检索式模型:对高频问题进行编辑,配合模板生成日常对话数据,通过sentence-bert转化为向量形式,建立检索数据库,放入elasticsearch中以query-item形式存储;根据slot信息和实体抽取结果,通过sentence-bert转化为向量后在elasticsearch中进行检索召回,获取相似度和相关度最高的对话回复,如果无法获取达到指定阈值的对话回复,则使用内容生成式模型。
内容生成式模型:使用公开数据集,结合主动对话策略筛除公开数据集中的万能回复(如“不知道”,“你说呢”等),在基于attention机制的bi-lstm模型训练,得到文本生成模型,将用户输入文本放入模型得到生成文案,进行敏感、不良过滤(涉黄,涉暴,广告等)后得到生成文案。
Claims (10)
1.基于检索和生成融合的多轮对话系统,包括内容理解、状态追踪、对话策略生成及内容输出四个阶段,其特征在于,所述状态追踪阶段设置有状态检索式模型及状态生成式模型,所述状态检索式模型及状态生成式模型用于根据内容理解结果、上一时刻的系统状态及用户对话判断当前会话状态是否需要更新。
2.根据权利要求1所述的基于检索和生成融合的多轮对话系统,其特征在于,所述内容理解阶段设置有用于对用户对话进行意图识别的文本分类系统及用于实体识别的实体识别模型。
3.根据权利要求2所述的基于检索和生成融合的多轮对话系统,其特征在于,所述文本分类系统包括文本分类模型及文本分类搜索集。
4.根据权利要求3所述的基于检索和生成融合的多轮对话系统,其特征在于,所述文本分类模型采用TextCNN模型作为基本模型,并加入Attention机制,R-Dropout机制。
5.根据权利要求1所述的基于检索和生成融合的多轮对话系统,其特征在于,所述对话策略生成阶段设置有对话策略生成模型,所述对话策略生成模型用于根据当前会话状态生成对话策略。
6.根据权利要求1-5任意一项所述的基于检索和生成融合的多轮对话系统,其特征在于,所述内容输出阶段设置有内容检索式模型及内容生成式模型,所述内容检索式模型及内容生成式模型用于根据对话策略、内容理解结果生成具体对话内容。
7.基于检索和生成融合的多轮对话方法,其特征在于,包括:
步骤1、对用户对话进行内容理解得到内容理解结果;
步骤2、将内容理解结果、上一时刻的系统状态及用户对话输入状态检索式模型及状态生成式模型得到输出结果,将输出的两个结果进行融合得到融合结果,基于融合结果判断当前会话状态是否需要更新;
步骤3、基于当前会话状态及对话策略生成模型生成对话策略;
步骤4、基于对话策略及内容理解结果,使用内容检索式模型或内容生成式模型生成文案输出。
8.根据权利要求7所述的基于检索和生成融合的多轮对话方法,其特征在于,内容理解阶段根据文本分类模型及文本分类搜索集的输出结果确定意图识别结果。
9.根据权利要求7所述的基于检索和生成融合的多轮对话方法,其特征在于,所述步骤2中,采用slot-gate分类算法判断当前会话状态是否需要更新。
10.根据权利要求7-9任意一项所述的基于检索和生成融合的多轮对话方法,其特征在于,所述步骤2中,当需要更新会话状态时采用贝叶斯状态更新当前会话状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211433638.5A CN116226338A (zh) | 2022-11-16 | 2022-11-16 | 基于检索和生成融合的多轮对话系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211433638.5A CN116226338A (zh) | 2022-11-16 | 2022-11-16 | 基于检索和生成融合的多轮对话系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116226338A true CN116226338A (zh) | 2023-06-06 |
Family
ID=86586090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211433638.5A Pending CN116226338A (zh) | 2022-11-16 | 2022-11-16 | 基于检索和生成融合的多轮对话系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116226338A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932714A (zh) * | 2023-06-30 | 2023-10-24 | 北京百度网讯科技有限公司 | 生成式对话模型训练及生成式对话实现方法和装置 |
CN117972069A (zh) * | 2024-04-01 | 2024-05-03 | 南京信人智能科技有限公司 | 一种基于人工智能进行主动对话及知识库向量搜索的方法 |
-
2022
- 2022-11-16 CN CN202211433638.5A patent/CN116226338A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932714A (zh) * | 2023-06-30 | 2023-10-24 | 北京百度网讯科技有限公司 | 生成式对话模型训练及生成式对话实现方法和装置 |
CN116932714B (zh) * | 2023-06-30 | 2024-05-24 | 北京百度网讯科技有限公司 | 生成式对话模型训练及生成式对话实现方法和装置 |
CN117972069A (zh) * | 2024-04-01 | 2024-05-03 | 南京信人智能科技有限公司 | 一种基于人工智能进行主动对话及知识库向量搜索的方法 |
CN117972069B (zh) * | 2024-04-01 | 2024-05-28 | 南京信人智能科技有限公司 | 一种基于人工智能进行主动对话及知识库向量搜索的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10319381B2 (en) | Iteratively updating parameters for dialog states | |
CN108831439B (zh) | 语音识别方法、装置、设备和系统 | |
CN108899013B (zh) | 语音搜索方法、装置和语音识别系统 | |
CN111984766B (zh) | 缺失语义补全方法及装置 | |
CN116226338A (zh) | 基于检索和生成融合的多轮对话系统及方法 | |
CN111651609A (zh) | 一种融合知识图谱和情感监督的多轮对话方法及系统 | |
CN108304372A (zh) | 实体提取方法和装置、计算机设备和存储介质 | |
WO2021147041A1 (zh) | 语义分析方法、装置、设备及存储介质 | |
KR101322486B1 (ko) | 범용 대화서비스 장치 및 그 방법 | |
CN108984778A (zh) | 一种智能交互自动问答系统以及自我学习方法 | |
US11580145B1 (en) | Query rephrasing using encoder neural network and decoder neural network | |
CN115017919B (zh) | 用于支持训练数据快速构建和流程自定义的多场景对话系统及方法 | |
CN112131359A (zh) | 一种基于图形化编排智能策略的意图识别方法及电子设备 | |
CN111402894A (zh) | 语音识别方法及电子设备 | |
CN111128175B (zh) | 口语对话管理方法及系统 | |
CN114020906A (zh) | 基于孪生神经网络的中文医疗文本信息匹配方法及系统 | |
CN110597968A (zh) | 一种回复选择方法及装置 | |
CN111428104A (zh) | 基于观点型阅读理解的癫痫病辅助医疗智能问答方法 | |
CN114678014A (zh) | 意图识别方法、装置、计算机设备及计算机可读存储介质 | |
CN108509539A (zh) | 信息处理方法电子设备 | |
CN113515616B (zh) | 一种基于自然语言的任务驱动系统 | |
CN114003700A (zh) | 一种对话信息的处理方法、系统、电子设备及存储介质 | |
CN113823265A (zh) | 一种语音识别方法、装置和计算机设备 | |
US11615787B2 (en) | Dialogue system and method of controlling the same | |
CN109002498B (zh) | 人机对话方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |