CN113609289A - 一种基于多模态对话文本的情感识别方法 - Google Patents

一种基于多模态对话文本的情感识别方法 Download PDF

Info

Publication number
CN113609289A
CN113609289A CN202110761800.5A CN202110761800A CN113609289A CN 113609289 A CN113609289 A CN 113609289A CN 202110761800 A CN202110761800 A CN 202110761800A CN 113609289 A CN113609289 A CN 113609289A
Authority
CN
China
Prior art keywords
text
model
attributes
emotion
context information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110761800.5A
Other languages
English (en)
Inventor
肖乐
段梦诗
李清
杨卫东
岳思雯
李家馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202110761800.5A priority Critical patent/CN113609289A/zh
Publication of CN113609289A publication Critical patent/CN113609289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/353Clustering; Classification into predefined classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/259Fusion by voting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出了一种基于多模态对话文本的情感识别方法,属于自然语言处理领域;该方法包括:对话文本模型和用户属性情感特征2个独立的模块组成;对话文本模型是一种基于Bert‑BiLSTM的情感分析模型,Bert模型具有良好的语义表达效果,能够在句子层次上构建向量,本文将对话最后一句的情感标签标签作为下文信息,在此之前内容作为上文信息,有效的结合上下文语境信息分析说话者的情感;接着将其向量表示输入到Bi‑LSTM模型中,更好的吸收上下文的语境,进行语义分析,从而达到更好的分类效果;构建的Bert‑BiLSTM神经网络对对话文本进行上下文特征提取,结合用户属性的特征属性共同构成实验特征集;之后,使用随机森林模型对混合特征分类;本发明中能够很好地对多模态对话文本的情感进行分析,取得了较好的效果。

Description

一种基于多模态对话文本的情感识别方法
技术领域
本发明涉及一种新的对话文本的情感识别方法,属于自然语言处理技术领域。
背景技术
对话情感识别是对带有情感倾向的文本对话特征进行分析与处理的一个过程,其本质上仍是一个文本分类任务,多标签的情感识别指一个文本输出不同类别的标签,目前,单句话语的情感分析已经取得了较高的正确率,但是对于对话的情感识别研究还较少,基于多轮的对话情感研究更少,对话文本情感分类可以用来分析社交媒体上的对话,不同于对单独普通句子的情感识别,它需要对单个句子的上下文建模,依赖于话语之间的时间序列,现阶段,识别用户情绪状态的对话情感识别任务主要分类两个方面:基于上下文的情感感知与基于用户信息的情感感知;
Poria等采用LSTM神经网络模型获取上下文信息,检测对话中说话者的情绪,但他们未考虑每条语句之间的依赖关系;针对这一问题,人们开始尝试使用多层级的循环神经网络来构建上下文信息,进行对话情感分析,提高了模型的泛化度,之后,研究者们结合用户的特征信息分析人们情绪状态的变化,Mairesse F等人首次从话语中提取说话者信息,证明了人格特征与先前语言存在着联系,Hazarika等人提出CMN模型,分别对两个说话者的历史信息各自建模,Majumder等人发现CMN模型因各自建模缺少交互信息,于是人们提出使用同一层GRU将两人历史对话连接起来,在此基础上Majumder等人不在使用记忆网络,改用RNN神经网络建模说话者各自和交互的信息,计算历史信息与当前信息的加权和,图卷积神经网络作为一种新兴的网络模型,以拓扑图的形式更直观地展现了深度挖掘数据的特征,Ghosal等人将说话者之间的依赖性构建图卷积网络。
发明内容
本发明的目的是提供一种新的多模态的对话文本的情感识别方法,将用户的社会属性作为先验知识扩大输入的规模,进而构成多模态形式的对话情识别,本发明设计简单,内容简洁,方便实用,研究此算法并提出改进,提高对话中情感识别的准确率是本次研究的目的;
为实现上述目的,本发明提供了一种新的多模态的对话文本的情感识别方法,该方法包括以下步骤:
步骤一:提取文本对话独立特征,对话文本模型是一种基于Bert-BiLSTM的情感分析模型,Bert模型具有良好的语义表达效果,能够在句子层次上构建向量,本文将对话最后一句的情感标签标签作为下文信息,在此之前内容作为上文信息,有效的结合上下文语境信息分析说话者的情感;接着将其向量表示输入到Bi-LSTM模型中;
步骤二:考虑结构化的说话者属性作为附加知识,构建多模态对话情感识别模型,提取用户属性情感特征,并对新属性计算相似性;
步骤三:构建的Bert-BiLSTM神经网络对对话文本进行上下文特征提取,结合用户属性的特征属性共同构成实验特征集,使用随机森林模型对混合特征分类;
本发明的有益效果是:
1)实用性:将结构化的用户属性作为先验知识,构建多模态对话情感识别模型,如果该用户的属性没有储存于数据库中或者出现了新的评论者,我们可以对新属性进行余弦相似度计算;
2)正确性:将对话文本模块与用户属性模块共同输入到随机森林,可以同时处理对话文本特征与用户属性特征,在训练过程中,能检测到特征之间的互相影响,输出哪些特征较为重要,提高整个随机森林的准确性;
3)设计简单,内容简洁,具有更广泛的实用意义。
附图说明
图1是本发明方法实施例中的一种新的对话文本情感识别模型示意图。
图2是本发明方法实施例中的用户属性数据词典。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例对本发明进行进一步详细说明:
如图1所示,本实施例的对话文本情感识别方法,包括以下步骤:
步骤一:提取文本对话独立特征,对话文本模型是一种基于Bert-BiLSTM的情感分析模型,Bert模型具有良好的语义表达效果,能够在句子层次上构建向量,本文将对话最后一句的情感标签标签作为下文信息,在此之前内容作为上文信息,有效的结合上下文语境信息分析说话者的情感;接着将其向量表示输入到Bi-LSTM模型中:
BERT(Bidirectional Encoder Representations from Transformer)模型,采用双向Transformer的结构进行编码,是Transformer模型的Encoder部分,主要通过查询字向量表将文本中的字转换为模型可识别的向量,在我们的模型中,首先在输入层输入训练数据,输入由一段对话的前m-1句和最后一句的情感标签Lm组成,能够提取多轮对话中的上下文交互信息,则数据输入格式为:x=d1,d2,...,dm-1,Lm,对话文本的向量化表示主要是通过Transformer编码器而实现,将训练数据输入到双向Transformer编码器,就可以得到对话文本的向量化表示b1,b2,...,bm,将Bert生成的词嵌入向量输入到Bi-LSTM神经网络中,其中tanh()代表激活函数,σ代表sigmoid的神经网络层,xt为t时刻输入的状态单元,ht-1为前一时刻的隐层状态,ht为当前时刻的隐层状态,为充分利用对话文本的上下文语境信息,整个网络的输出状态M为文本模态独立特征表示序列,由前向LSTM的输出单元
Figure BDA0003149320500000031
与后向LSTM的输出单元
Figure BDA0003149320500000032
两个隐藏状态进行向量拼接
Figure BDA0003149320500000033
步骤二:考虑结构化的说话者属性作为附加知识,构建多模态对话情感识别模型,提取用户属性情感特征,并对新属性计算相似性:
我们已对用户属性进行了预处理,依次提取微博评论者的12种用户的属性,例如:年龄、出生地等;将用户属性分为特征属性如年龄、性别、家乡、发帖数、关注数,以及粉丝数和推文属性如爬取的时间、地点、工具、点赞数、转发数、评论数,将这些属性用数据词典的方式表示,如图2所示,属性选择Word2Vec表征词向量,使用CNN神经网络提取用户属性特征,12个用户属性为一组数据结合文本迭代训练得到属性的情感类别,在此过程中使用用户属性作为额外输入进而扩大输入的规模,并将这种结构化的属性作为对话文本情感识别的多模态模型;
社交媒体的快速发展使得大量的数据迅速增长,越来越多的人会在微博中发表自己的言论,如果该说话者的属性没有储存于数据库中或者出现了新的评论者,我们可以对新属性ei进行余弦相似度计算,其中ei为特征属性的向量表示;
步骤三:构建的Bert-BiLSTM神经网络对对话文本进行上下文特征提取,结合用户属性的特征属性共同构成实验特征集,使用随机森林模型对混合特征分类;
文本对话特征模块完成训练之后,提取对话文本的独立特征序列M,并与用户属性情感特征C结合,构成随机森林待训练特征,进行下一步训练,伪代码算法如下:
Figure BDA0003149320500000041
下面对伪代码进行具体的解释:
1将提取的文本对话独立特征M和用户属性情感特征C组合成特征集T,特征个数为n个,生成q个决策树;
2采用随机地有放回地采样得到训练集,T个样本的数据集中随机地有放回地采样T次,得到T个样本;
3使用采样生成的数据集训练一个决策树;
4重复步骤2和3共n次,得到n个训练好的决策树;
5将生成的决策树组成随机森,采用投票法从n个决策树的预测结果中生成最终的结果;
将对话文本模块与用户属性模块共同输入到随机森林,可以同时处理对话文本特征与用户属性特征,在训练过程中,能检测到特征之间的互相影响,输出哪些特征较为重要,提高整个随机森林的准确性。

Claims (5)

1.本发明的目的是提供一种新的多模态的对话文本的情感识别方法,将用户的社会属性作为先验知识扩大输入的规模,进而构成多模态形式的对话情识别,该方法包括以下步骤:
步骤一:提取文本对话独立特征,对话文本模型是一种基于Bert-BiLSTM的情感分析模型,Bert模型具有良好的语义表达效果,能够在句子层次上构建向量,本文将对话最后一句的情感标签标签作为下文信息,在此之前内容作为上文信息,有效的结合上下文语境信息分析说话者的情感;接着将其向量表示输入到Bi-LSTM模型中;
步骤二:考虑结构化的说话者属性作为附加知识,构建多模态对话情感识别模型,提取用户属性情感特征,并对新属性计算相似性;
步骤三:构建的Bert-BiLSTM神经网络对对话文本进行上下文特征提取,结合用户属性的特征属性共同构成实验特征集,使用随机森林模型对混合特征分类。
2.根据权利要求1所述的提取文本对话上下文信息,其特征在于:
Bert模型具有良好的语义表达效果,能够在句子层次上构建向量,本文将对话最后一句的情感标签标签作为下文信息,在此之前内容作为上文信息,有效的结合上下文语境信息分析说话者的情感。
3.根据权利要求1所述的提取文本对话独立特征,其特征在于:
提取文本对话独立特征,对话文本模型是一种基于Bert-BiLSTM的情感分析模型,Bert模型具有良好的语义表达效果,能够在句子层次上构建向量,本文将对话最后一句的情感标签标签作为下文信息,在此之前内容作为上文信息,有效的结合上下文语境信息分析说话者的情感;接着将其向量表示输入到Bi-LSTM模型中:
BERT(Bidirectional Encoder Representations from Transformer)模型,采用双向Transformer的结构进行编码,是Transformer模型的Encoder部分,主要通过查询字向量表将文本中的字转换为模型可识别的向量,在我们的模型中,首先在输入层输入训练数据,输入由一段对话的前m-1句和最后一句的情感标签组成,能够提取多轮对话中的上下文交互信息,则数据输入格式为:x=d1,d2,...,dm-1,Lm,对话文本的向量化表示主要是通过Transformer编码器而实现,将训练数据输入到双向Transformer编码器,就可以得到对话文本的向量化表示,将Bert生成的词嵌入向量输入到Bi-LSTM神经网络中,为充分利用对话文本的上下文语境信息,整个网络的输出状态M为文本模态独立特征表示序列,由前向LSTM的输出单元与后向LSTM的输出单元两个隐藏状态进行向量拼接。
4.根据权利要求1所述的提取用户属性独立特征,其特征在于:
考虑结构化的说话者属性作为附加知识,构建多模态对话情感识别模型,提取用户属性情感特征,并对新属性计算相似性:
我们已对用户属性进行了预处理,依次提取微博评论者的12种用户的属性,例如:年龄、出生地等;将用户属性分为特征属性如年龄、性别、家乡、发帖数、关注数,以及粉丝数和推文属性如爬取的时间、地点、工具、点赞数、转发数、评论数,将这些属性用数据词典的方式表示,如图2所示,属性选择Word2Vec表征词向量,使用CNN神经网络提取用户属性特征,12个用户属性为一组数据结合文本迭代训练得到属性的情感类别;在此过程中使用用户属性作为额外输入进而扩大输入的规模,并将这种结构化的属性作为对话文本情感识别的多模态模型;
社交媒体的快速发展使得大量的数据迅速增长,越来越多的人会在微博中发表自己的言论,如果该说话者的属性没有储存于数据库中或者出现了新的评论者,我们可以对新属性进行余弦相似度计算。
5.根据权利要求1所述的随机森林模型对混合特征分类,其特征在于:
构建的Bert-BiLSTM神经网络对对话文本进行上下文特征提取,结合用户属性的特征属性共同构成实验特征集,使用随机森林模型对混合特征分类;
文本对话特征模块完成训练之后,提取对话文本的独立特征序列M,并与用户属性情感特征C结合,构成随机森林待训练特征,进行下一步训练,伪代码算法如下:
Figure FDA0003149320490000021
Figure FDA0003149320490000031
下面对伪代码进行具体的解释:
1将提取的文本对话独立特征M和用户属性情感特征C组合成特征集T,特征个数为n个,生成q个决策树;
2采用随机地有放回地采样得到训练集,T个样本的数据集中随机地有放回地采样T次,得到T个样本;
3使用采样生成的数据集训练一个决策树;
4重复步骤2和3共n次,得到n个训练好的决策树;
5将生成的决策树组成随机森,采用投票法从n个决策树的预测结果中生成最终的结果;
将对话文本模块与用户属性模块共同输入到随机森林,可以同时处理对话文本特征与用户属性特征,在训练过程中,能检测到特征之间的互相影响,输出哪些特征较为重要,提高整个随机森林的准确性。
CN202110761800.5A 2021-07-06 2021-07-06 一种基于多模态对话文本的情感识别方法 Pending CN113609289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110761800.5A CN113609289A (zh) 2021-07-06 2021-07-06 一种基于多模态对话文本的情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110761800.5A CN113609289A (zh) 2021-07-06 2021-07-06 一种基于多模态对话文本的情感识别方法

Publications (1)

Publication Number Publication Date
CN113609289A true CN113609289A (zh) 2021-11-05

Family

ID=78304054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110761800.5A Pending CN113609289A (zh) 2021-07-06 2021-07-06 一种基于多模态对话文本的情感识别方法

Country Status (1)

Country Link
CN (1) CN113609289A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020897A (zh) * 2021-12-31 2022-02-08 苏州浪潮智能科技有限公司 一种对话情感识别方法及相关装置
CN114463688A (zh) * 2022-04-12 2022-05-10 之江实验室 一种跨模态上下文编码的对话情感识别方法及系统
CN114756667A (zh) * 2022-04-19 2022-07-15 平安科技(深圳)有限公司 基于人工智能的对话生成方法、装置、设备及存储介质
CN115563290A (zh) * 2022-12-06 2023-01-03 广东数业智能科技有限公司 一种基于语境建模的智能情感识别方法
CN116226702A (zh) * 2022-09-09 2023-06-06 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN116383365A (zh) * 2023-06-01 2023-07-04 广州里工实业有限公司 一种基于智能制造的学习资料生成方法、系统及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950275A (zh) * 2020-08-06 2020-11-17 平安科技(深圳)有限公司 基于循环神经网络的情绪识别方法、装置及存储介质
CN112199956A (zh) * 2020-11-02 2021-01-08 天津大学 一种基于深度表示学习的实体情感分析方法
CN112348075A (zh) * 2020-11-02 2021-02-09 大连理工大学 一种基于情景注意力神经网络的多模态情感识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950275A (zh) * 2020-08-06 2020-11-17 平安科技(深圳)有限公司 基于循环神经网络的情绪识别方法、装置及存储介质
CN112199956A (zh) * 2020-11-02 2021-01-08 天津大学 一种基于深度表示学习的实体情感分析方法
CN112348075A (zh) * 2020-11-02 2021-02-09 大连理工大学 一种基于情景注意力神经网络的多模态情感识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020897A (zh) * 2021-12-31 2022-02-08 苏州浪潮智能科技有限公司 一种对话情感识别方法及相关装置
CN114463688A (zh) * 2022-04-12 2022-05-10 之江实验室 一种跨模态上下文编码的对话情感识别方法及系统
CN114756667A (zh) * 2022-04-19 2022-07-15 平安科技(深圳)有限公司 基于人工智能的对话生成方法、装置、设备及存储介质
CN116226702A (zh) * 2022-09-09 2023-06-06 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN116226702B (zh) * 2022-09-09 2024-04-26 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN115563290A (zh) * 2022-12-06 2023-01-03 广东数业智能科技有限公司 一种基于语境建模的智能情感识别方法
CN115563290B (zh) * 2022-12-06 2023-04-07 广东数业智能科技有限公司 一种基于语境建模的智能情感识别方法
CN116383365A (zh) * 2023-06-01 2023-07-04 广州里工实业有限公司 一种基于智能制造的学习资料生成方法、系统及电子设备
CN116383365B (zh) * 2023-06-01 2023-09-08 广州里工实业有限公司 一种基于智能制造的学习资料生成方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN113609289A (zh) 一种基于多模态对话文本的情感识别方法
CN108597541B (zh) 一种增强愤怒与开心识别的语音情感识别方法及系统
CN113239700A (zh) 改进bert的文本语义匹配设备、系统、方法及存储介质
CN110209789B (zh) 一种用户注意力引导的多模态对话系统及方法
CN112417894B (zh) 一种基于多任务学习的对话意图识别方法及识别系统
CN111966827B (zh) 基于异构二部图的对话情感分析方法
CN110362819B (zh) 基于卷积神经网络的文本情感分析方法
KR20200119410A (ko) 전역 및 지역 문맥 기반 한국어 대화문 감정 인식 시스템 및 방법
CN113178193A (zh) 一种基于智能语音芯片的中文自定义唤醒与物联交互方法
CN111078876A (zh) 一种基于多模型集成的短文本分类方法和系统
CN116110405B (zh) 一种基于半监督学习的陆空通话说话人识别方法及设备
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
WO2021135457A1 (zh) 基于循环神经网络的情绪识别方法、装置及存储介质
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN115292461B (zh) 基于语音识别的人机交互学习方法及系统
CN112115242A (zh) 一种基于朴素贝叶斯分类算法的智能客服问答系统
CN111460114A (zh) 检索方法、装置、设备及计算机可读存储介质
CN116757218A (zh) 一种基于上下句关系预测的短文本事件共指消解方法
CN116644760A (zh) 一种基于Bert模型和双通道模型的对话文本情感分析方法
KR102418260B1 (ko) 고객 상담 기록 분석 방법
CN114067796B (zh) 一种自定义语音命令的设计方法
Wang et al. A text sentiment classification method based on LSTM-CNN
CN114239565B (zh) 一种基于深度学习的情绪原因识别方法及系统
Ruan et al. Chinese news text classification method based on attention mechanism
CN113204971B (zh) 一种基于深度学习的场景自适应Attention多意图识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination