CN115563259A - 一种多模态问答数据采集方法及装置 - Google Patents

一种多模态问答数据采集方法及装置 Download PDF

Info

Publication number
CN115563259A
CN115563259A CN202211235814.4A CN202211235814A CN115563259A CN 115563259 A CN115563259 A CN 115563259A CN 202211235814 A CN202211235814 A CN 202211235814A CN 115563259 A CN115563259 A CN 115563259A
Authority
CN
China
Prior art keywords
dialog
text
target image
question
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211235814.4A
Other languages
English (en)
Inventor
赖新明
王志刚
刘振宇
林文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN202211235814.4A priority Critical patent/CN115563259A/zh
Publication of CN115563259A publication Critical patent/CN115563259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多模态问答数据采集方法,并公开了具有该多模态问答数据采集方法的装置,其中多模态问答数据采集方法通过对企业智能客服系统的历史数据中提取新的图文关联数据,并基于时空规则及深度学习等方法过滤掉无关内容,保留与图像内容相关度高的文本记录组成新的图文训练数据对,从而大大扩增了企业可用的多模态问答数据量,使企业能够利用这些收集到的数据集训练多模态问答模型,从而进一步提升智能客服的服务水平。

Description

一种多模态问答数据采集方法及装置
技术领域
本发明涉及计算机应用设计领域,特别涉及一种多模态问答数据采集方法及装置。
背景技术
智能客服系统可以24小时不间断运行、可以利用历史数据对问题作出快速准确的回答、可以实时记录对话数据从而实现用户的个性化体验等功能,因此越来越多的企业开始引进智能客服承载一部分人工客服的业务压力,不仅给企业极大的降低了人力和财力成本,且能够提升企业的科技形象,赢得更多的用户口碑。
经过数年的发展,虽然智能客服系统已经从简单的基于匹配规则的问答系统,逐步进化成可以利用机器学习、深度神经网络等高级算法去理解用户问题并做出相对合理的回复,但是智能客服依旧有许多方面不能替代人工客服的能力,最典型的就是多模态数据的问答,用户在问答过程中引入图像、视频、音频等非文本信息,且这些非文本信息与用户问题上下文有这密切的关联,如果不能正确理解这些多模态数据之间的交互语义,就不能做出合理有效的回答,因此近年智能客服在企业客服中的应用范围受到限制,无法进一步提升业务占比。
在基于多模态数据的问答模型上,无论是科研院校还是企业都做了很多研究,希望使这类的问答服务过程越来越顺畅,答案满意度越来越高。虽然已经有研究机构设计出能够处理多模态数据的问答模型,但是在获取多模态数据间的交互关系上依然效果不理想,在问答过程中引入非文本信息容易出现答非所问的现象,而在企业业务咨询中引用图像数据是常见的情况,因此解决这个问题具有非常重要的意义。造成这种问题的主要原因一是模型设计不足,主流问答模型偏向单模态数据处理,然后分别进行语义理解;二是缺乏相应的视觉文本匹配的训练数据,即使模型设计时考虑了多模态数据,缺乏训练数据也无法有效的学习到视觉信息与文本信息之间的交互模式,模型复杂度的提升反而降低了模型性能,促使主流模型倾向于仅处理单模态数据。所以第二种原因即缺乏有效的用于训练的多模态问答数据是最根本性原因,导致现有的客服问答系统对视觉信息的提问不能做出合理的回答。
由于缺少下游任务的多模态问答数据,因此目前训练多模态问答模型的主流方法是先使用公开图文描述数据集对模型编码层进行预训练(基于图文匹配任务),然后再使用公开图像问答数据集进行模型精调(选项预测任务)。这种训练方法有两个问题:1)预训练数据中文本信息是对图像的描述,模型学习的是图像中对象与文本之间的对齐关系,精调数据是对图像中对象内容的提问,模型学习的是知识推理能力,实际应用场景中则是图像与文本信息的交互,因此预训练数据和精调数据之间、精调数据和应用场景之间存在天然沟壑,导致效果不理想;2)虽然用于预训练的图文描述数据集很大,但是用于精调的图像问答数据集通常很小,问答模型可能无法得到有效的训练优化,进一步导致在实际应用场景中效果差。
发明内容
本发明旨在至少解决现有技术中多模态问答模型缺少训练数据的问题。为此,本发明提出一种基于时空规则的多模态问答数据采集方法,能够从历史对话记录中抽取中多模态问答对,并通过语义判定机制过滤不相关数据,从而实现多模态问答数据集的收集,提升多模态问答模型的应用效果。
本发明还提出一种具有上述方法的装置。
根据本发明的第一方面实施例的多模态问答数据采集方法,其特征在于,包括以下步骤:
逐条记录目标用户的对话历史;
基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合;
将所述相关对话集合按照时间顺序计算出所述相关对话集合中,每条对话记录与图文语义的余弦相似度;
基于所述余弦相似度的结果,对所述相关对话集合进行删改,得到关联文本集合;
将所述目标图像与其关联文本集合建立对应关系,得到多模态问答图文对。
根据本发明实施例的多模态问答数据采集方法,至少具有如下有益效果:本发明通过对企业智能客服系统的历史数据中提取新的图文关联数据,并基于时空规则及深度学习等方法过滤掉无关内容,保留与图像内容相关度高的文本记录组成新的图文训练数据对,从而大大扩增了企业可用的多模态问答数据量,使企业能够利用这些收集到的数据集训练多模态问答模型,从而进一步提升智能客服的服务水平。
根据本发明的一些实施例,所述逐条记录目标用户的对话历史的步骤中,会将对话的唯一标识、用户标识和文本内容整合在一起进行记录。
根据本发明的一些实施例,所述基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合的步骤中,是将所述目标图像的前一条对话记录和后三条记录作为所述目标图像的相关对话集合。
根据本发明的一些实施例,所述基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合的步骤中,是将所述目标图像的前15秒和后30秒内的记录作为所述目标图像的对话集合。
根据本发明的一些实施例,所述每条对话记录与图文语义的余弦相似度的步骤中,使用Bert提取文本语义向量,使用Fast R-CNN提取图片的语义向量。
根据本发明的第二方面实施例的多模态问答数据采集装置,其特征在于,包括:
对话记录模块,用于逐条记录目标用户的对话历史;
集合初筛模块,能够基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合;
相似度计算模块,能够将所述相关对话集合按照时间顺序计算出所述相关对话集合中,每条对话记录与图文语义的余弦相似度;
集合次筛模块,能够基于所述余弦相似度的结果,对所述相关对话集合进行删改,得到关联文本集合;
整合模块,能够将所述目标图像与其关联文本集合建立对应关系,得到多模态问答图文对。
根据本发明的一些实施例,所述对话记录模块,会将对话的唯一标识、用户标识和文本内容整合在一起进行记录。
根据本发明的一些实施例,所述集合初筛模块,是将所述目标图像的前一条对话记录和后三条记录作为所述目标图像的相关对话集合。
根据本发明的一些实施例,所述集合初筛模块,是将所述目标图像的前15秒和后30秒内的记录作为所述目标图像的对话集合。
根据本发明的一些实施例,所述相似度计算模块,使用Fast R-CNN提取图片的语义向量,并使用Fast R-CNN提取图片的语义向量。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的多模态问答数据采集方法的步骤示意图;
图2为根据本申请实施例提供的一种多模态问答数据采集装置的结构框图示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
智能客服系统经过数年的发展,其典型的实现方式,是通过多模态数据的问答实现的。用户在问答过程中引入图像、视频、音频等非文本信息,且这些非文本信息与用户问题上下文有这密切的关联,依据文本信息和用户问题上下文的内容对交互做出反应,是智能客服发展的一个方向。
在基于多模态数据的问答模型上,无论是科研院校还是企业都做了很多研究,希望使这类的问答服务过程越来越顺畅,答案满意度越来越高。虽然已经有研究机构设计出能够处理多模态数据的问答模型,但是在获取多模态数据间的交互关系上依然效果不理想,在问答过程中引入非文本信息容易出现答非所问的现象,而在企业业务咨询中引用图像数据是常见的情况,因此解决这个问题具有非常重要的意义。造成这种问题的主要原因一是模型设计不足,主流问答模型偏向单模态数据处理,然后分别进行语义理解;二是缺乏相应的视觉文本匹配的训练数据,即使模型设计时考虑了多模态数据,缺乏训练数据也无法有效的学习到视觉信息与文本信息之间的交互模式,模型复杂度的提升反而降低了模型性能,促使主流模型倾向于仅处理单模态数据。所以第二种原因即缺乏有效的用于训练的多模态问答数据是最根本性原因,导致现有的客服问答系统对视觉信息的提问不能做出合理的回答。
为了解决现有技术的不足,本申请提出了一种基于时空规则的多模态问答数据采集方法。能够从历史对话记录中抽取中多模态问答对,并通过语义判定机制过滤不相关数据,从而实现多模态问答数据集的收集,提升多模态问答模型的应用效果。
参照图1,该方法包括以下步骤:
步骤S100、逐条记录与目标用户之间的对话历史。
针对每个人使用图片进行交流的习惯不同,每个目标用户对于图片的含义往往也是有区别的,所以在记录图像对应的多模态问答数据时,会根据不同用户做出不同的判断。
步骤S200、基于所述对话历史,基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合。
对于目标用户的所有聊天记录来说,由于图像内容的复杂性,所以如果能够将图像的含义转化成为文字进行辅助理解,就能够做出具有更好对话效果的智能客服。
根据本申请的一些实施例,假设在记录对话记录的时候,每一条对话记录通过<id,user_id,time,context>保存,id是该条对话的唯一标识,user_id是产生对话的用户id,约定对话记录是只有两个user之间的对话,time是对话产生的时间戳,context是具体的对话内容。
在选出所述目标图像的相关对话集合的时候,通过逐条遍历context内容,对于每一个图像记录执行时空过滤:
1)进行时间序列过滤,筛选出时间戳在前15秒和后30秒的所有对话记录;
2)进行空间序列过滤,筛选出图像发送方用户的前1条记录及后3条记录,筛选出对方用户的后3条记录;
以上方法是作为举例说明的一种选取方式,不代表必须按照上述的要求进行选取,只要能够针对聊天记录做出合乎常理的处理,都是不超出本申请宗旨的。
步骤S300、将所述相关对话集合按照时间顺序计算出所述相关对话集合中,每条对话记录与图文语义的余弦相似度。
在步骤S200中,选出与图片相关的聊天记录时,还需要将其中明显不符的进行去除,以防影响后续智能客服的应答效果。具体过程如下:
将筛选出的所有对话记录按照时序逐条计算与图文语义的余弦相似度相似度,优选的,使用Bert提取文本语义向量,使用Fast R-CNN提取图片的语义向量,当对话记录与图像语义差距较大时,停止对话记录的收集。
此时针对图像I,收集到与之语义关联的数个文本记录T={t1,t2,...,tn},任意一个图像文本对<I,t1,user_id>、<I,t2,user_id>、...、<I,tn,user_id>,均作为多模态问答数据。
步骤S400、基于所述余弦相似度的结果,对所述相关对话集合进行删改,得到关联文本集合。
基于步骤S300中计算得到的余弦相似度结果,去除明显与图片含义相似度低的数据,就能够初步筛选对话集合中不合理的问答数据。
步骤S500、将所述目标图像与其关联文本集合建立对应关系,得到多模态问答图文对。
假设,某一段对话历史中,存在图像M,基于图像M对对话记录采集得到的文本内容,可以得到:“小冰你好”、“今天好开心”、“哈哈哈,你开心就好”、“看我中午吃的啥”、“食堂的鸡腿...西芹土豆...白菜粉条...黑米饭...紫菜汤...”、“麻辣烫可不适合现在吃,容易湿热积蓄,造成消化不良,冬天吃倒还行”、“你还挺懂的”共7条文本记录。
基于上述未处理的文本记录,按照时序对其进行语义相似度计算,当计算到“看我中午吃的啥”文本记录是,与图像语义相似度极低,因此终止后续计算,此时产生与图像相关联的文本记录是“小冰你好”、“今天好开心”、“哈哈哈,你开心就好”共3条记录。
综上所述,基于图片M,可以得到的模态问答图片对为:
<M,小冰你好,0>、<M,今天好开心,0>、<M,哈哈哈,你开心就好,1>
其中,M代表图像M,0代表用户,1代表智能客服。
本申请的又一实施例提供了一种多模态问答数据采集装置,如图2所示,该装置20包括:对话记录模块201、集合初筛模块202、相似度计算模块203、集合次筛模块204、整合模块205。
对话记录模块201,用于逐条记录目标用户的对话历史;
集合初筛模块202,能够基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合;
相似度计算模块203,能够将所述相关对话集合按照时间顺序计算出所述相关对话集合中,每条对话记录与图文语义的余弦相似度;
集合次筛模块204,能够基于所述余弦相似度的结果,对所述相关对话集合进行删改,得到关联文本集合;
整合模块205,能够将所述目标图像与其关联文本集合建立对应关系,得到多模态问答图文对。
本申请提出多模态问答数据采集方法,能够从历史对话数据中采集到多模态问答对,从而解决多模态问答模型训练数据不足、与应用场景存在沟壑的问题;
进一步地,对话记录模块201,会将对话的唯一标识、用户标识和文本内容整合在一起进行记录。
进一步地,所述集合初筛模块202,是将所述目标图像的前一条对话记录和后三条记录作为所述目标图像的相关对话集合。
进一步地,,所述集合初筛模块202,是将所述目标图像的前15秒和后30秒内的记录作为所述目标图像的对话集合。
进一步地,所述相似度计算模块203,使用Fast R-CNN提取图片的语义向量,并使用Fast R-CNN提取图片的语义向量。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种多模态问答数据采集方法,其特征在于,包括以下步骤:
逐条记录目标用户的对话历史;
基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合;
将所述相关对话集合按照时间顺序计算出所述相关对话集合中,每条对话记录与图文语义的余弦相似度;
基于所述余弦相似度的结果,对所述相关对话集合进行删改,得到关联文本集合;
将所述目标图像与其关联文本集合建立对应关系,得到多模态问答图文对。
2.根据权利要求1所述的方法,其特征在于,所述逐条记录目标用户的对话历史的步骤中,会将对话的唯一标识、用户标识和文本内容整合在一起进行记录。
3.根据权利要求1所述的方法,其特征在于,所述基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合的步骤中,是将所述目标图像的前一条对话记录和后三条记录作为所述目标图像的相关对话集合。
4.根据权利要求1所述的方法,其特征在于,所述基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合的步骤中,是将所述目标图像的前15秒和后30秒内的记录作为所述目标图像的对话集合。
5.根据权利要求1所述的方法,其特征在于,所述每条对话记录与图文语义的余弦相似度的步骤中,使用Bert提取文本语义向量,且使用Fast R-CNN提取图片的语义向量。
6.一种多模态问答数据采集装置,其特征在于,包括:
对话记录模块,用于逐条记录目标用户的对话历史;
集合初筛模块,能够基于所述对话历史中的每个目标图像,选出所述目标图像的相关对话集合;
相似度计算模块,能够将所述相关对话集合按照时间顺序计算出所述相关对话集合中,每条对话记录与图文语义的余弦相似度;
集合次筛模块,能够基于所述余弦相似度的结果,对所述相关对话集合进行删改,得到关联文本集合;
整合模块,能够将所述目标图像与其关联文本集合建立对应关系,得到多模态问答图文对。
7.根据权利要求6所述的装置,其特征在于,所述对话记录模块,会将对话的唯一标识、用户标识和文本内容整合在一起进行记录。
8.根据权利要求6所述的装置,其特征在于,所述集合初筛模块,是将所述目标图像的前一条对话记录和后三条记录作为所述目标图像的相关对话集合。
9.根据权利要求6所述的装置,其特征在于,所述集合初筛模块,包括所述目标图像的前15秒和后30秒内的记录作为所述目标图像的对话集合。
10.根据权利要求6所述的装置,其特征在于,所述相似度计算模块中,使用Bert提取文本语义向量,使用Fast R-CNN提取图片的语义向量。
CN202211235814.4A 2022-10-10 2022-10-10 一种多模态问答数据采集方法及装置 Pending CN115563259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211235814.4A CN115563259A (zh) 2022-10-10 2022-10-10 一种多模态问答数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211235814.4A CN115563259A (zh) 2022-10-10 2022-10-10 一种多模态问答数据采集方法及装置

Publications (1)

Publication Number Publication Date
CN115563259A true CN115563259A (zh) 2023-01-03

Family

ID=84744721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211235814.4A Pending CN115563259A (zh) 2022-10-10 2022-10-10 一种多模态问答数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN115563259A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383365A (zh) * 2023-06-01 2023-07-04 广州里工实业有限公司 一种基于智能制造的学习资料生成方法、系统及电子设备
CN117972123A (zh) * 2024-03-28 2024-05-03 深圳市壹通道科技有限公司 一种基于5g消息的客服信息系统、方法、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383365A (zh) * 2023-06-01 2023-07-04 广州里工实业有限公司 一种基于智能制造的学习资料生成方法、系统及电子设备
CN117972123A (zh) * 2024-03-28 2024-05-03 深圳市壹通道科技有限公司 一种基于5g消息的客服信息系统、方法、设备及介质
CN117972123B (zh) * 2024-03-28 2024-06-11 深圳市壹通道科技有限公司 一种基于5g消息的客服信息系统、方法、设备及介质

Similar Documents

Publication Publication Date Title
CN115563259A (zh) 一种多模态问答数据采集方法及装置
Rakow Commentary: Interviews and focus groups as critical and cultural methods
CN110557659B (zh) 视频推荐方法、装置、服务器及存储介质
KR102169925B1 (ko) 이미지 캡션 자동 생성 방법 및 시스템
CN107958317A (zh) 一种众包项目中选取众包参与人的方法和装置
CN107784033B (zh) 一种基于会话进行推荐的方法和装置
CN107436916B (zh) 智能提示答案的方法及装置
CN114003949A (zh) 基于隐私数据集的模型训练方法和装置
CN110889430A (zh) 基于多域视觉特征的新闻图像检测方法及系统、装置
CN110580516A (zh) 一种基于智能机器人的交互方法及装置
CN110633410A (zh) 信息处理方法及装置、存储介质、电子装置
CN108154165A (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
CN116701706A (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN110060027A (zh) 与简历匹配的职业发展课程的推荐方法及设备和存储介质
CN113010664B (zh) 一种数据处理方法、装置及计算机设备
CN113822521B (zh) 题库题目的质量检测方法、装置及存储介质
Ramesh Babu et al. A novel framework design for semantic based image retrieval as a cyber forensic tool
CN110163043B (zh) 面部检测方法、装置、存储介质及电子装置
CN1332357C (zh) 基于运动肤色分割的敏感视频检测方法
CN111259138A (zh) 一种税务领域短文本的情感分类方法及装置
CN111782762A (zh) 问答应用中相似问题确定方法、装置、电子设备
CN112383593B (zh) 基于线下陪访的智能内容推送方法、装置及计算机设备
Dai et al. Analysis of the Influencing Factors of Users’ Adoption Behavior in Social Q&A Community Based on Machine Learning Regression Algorithms
CN117952185B (zh) 基于多维度数据评估的金融领域大模型训练方法及系统
CN116010650B (zh) 一种基于负反馈的用户反感标签确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination