CN112015919A - 一种基于学习辅助知识图谱的对话管理方法 - Google Patents

一种基于学习辅助知识图谱的对话管理方法 Download PDF

Info

Publication number
CN112015919A
CN112015919A CN202010965549.XA CN202010965549A CN112015919A CN 112015919 A CN112015919 A CN 112015919A CN 202010965549 A CN202010965549 A CN 202010965549A CN 112015919 A CN112015919 A CN 112015919A
Authority
CN
China
Prior art keywords
knowledge
words
learning
answers
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010965549.XA
Other languages
English (en)
Inventor
胡方霞
卢羚芸
黄伟
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Technology and Business Institute Chongqing Radio and TV University
Original Assignee
Chongqing Technology and Business Institute Chongqing Radio and TV University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Technology and Business Institute Chongqing Radio and TV University filed Critical Chongqing Technology and Business Institute Chongqing Radio and TV University
Priority to CN202010965549.XA priority Critical patent/CN112015919A/zh
Publication of CN112015919A publication Critical patent/CN112015919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于学习辅助知识图谱的对话管理方法,包括获取学习者输入的语言数据,通过解析获得语言识别数据;对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语;利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据反馈给学习者。本发明能够为用户提供更加准确、更加人性化的回答,进而更好地与用户进行互动。

Description

一种基于学习辅助知识图谱的对话管理方法
技术领域
本发明属于对话管理技术领域,特别是涉及一种基于学习辅助知识图谱的对话管理方法。
背景技术
随着科学技术的不断发展,信息技术、计算机技术以及人工智能技术的引入,智能机器的研究已经逐步走出人们的生活工作中。而人们对于学习机器的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与人们进行对话的智能学习机器,人机对话也就成为决定智能学习机器发展的重要因素。
传统的人机对话系统主要基于序列到序列模型。然而,此类模型根据历史语料数据进行训练以根据对话做出即时反应,但是无法为用户提供相关知识解答。无法有效为学习者提供精准无误的问题回答答案。
发明内容
为了解决上述问题,本发明提出了一种基于学习辅助知识图谱的对话管理方法,能够为用户提供更加准确、更加人性化的回答,进而更好地与用户进行互动。
为达到上述目的,本发明采用的技术方案是:一种基于学习辅助知识图谱的对话管理方法,包括步骤:
S10,获取学习者输入的语言数据,通过解析获得语言识别数据;
S20,对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语;
S30,利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;
S40,将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据反馈给学习者。
进一步的是,在所述步骤S20中,对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语,包括步骤:
对所获得的语言识别数据进行词语分词排列,形成词语数组;
依次识别词语数组中每个词语的类别,根据知识类和意图类两个维度进行分类标识;
将知识类词语归入知识数组中,将意图类词语归入意图数组中,获得两个维度的分类数组。
进一步的是,在所述步骤S30,利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;过程包括步骤:
S31,通过知识数组提取知识特征词,根据知识特征词在所述建立的知识图谱中返回的该查询条件的知识推理查找到的对应知识信息,从知识图谱中找出所有与该目标之间有目标关系的所有候选作为候选答案集;
S32,对候选答案集进行语义消歧,消除候选答案集中与语言识别数据相互矛盾和歧义的数据;
S33,对语言识别数据通过上下文理解和语义检索,结合意图信息在候选答案集中提取最优答案。
进一步的是,在所述步骤S30中,利用所获得的知识数组,在学习辅助知识图谱中获得该专业下的课程、以及该课程下的知识点,通过知识点寻找获取答案,作为候选答案集。
进一步的是,所述学习辅助知识图谱包括根据所获得的教学领域知识语料集根据多级关联的方式进行匹配和融合构成教学知识图谱。
进一步的是,所述意图类词语包括学习者的行为状态、情感状态和兴趣偏好词语。
进一步的是,将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据,将输出数据通过语音播报设备进行播报或显示设备进行显示,从而反馈给学习者。
采用本技术方案的有益效果:
本发明通过将对话管理与知识图谱相互结合,通过知识点和意图点的二维度分类处理,能够为用户提供更加准确、更加人性化的回答,进而更好地与用户进行互动。从而提高辅助学习机的学习推送精准度。对于辅助学习机的发展具有长远的社会效益,具有高价值的经济效益。
本发明提出利用对话管理模块综合学习者的输入数据以及知识图谱中的信息,经过知识推理、语义消歧、上下文理解、语义检索等操作生成问题答案,最后交由自然语言生成模块反馈给学习者;能够提高对话获取结果的精准度,为学习者提高准确无误的问题答案。
附图说明
图1为本发明的一种基于学习辅助知识图谱的对话管理方法流程示意图;
图2为本发明实施例中基于学习辅助知识图谱的对话管理方法的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步阐述。
在本实施例中,参见图1和2所示,本发明提出了一种基于学习辅助知识图谱的对话管理方法,包括步骤:
S10,获取学习者输入的语言数据,通过解析获得语言识别数据;
S20,对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语;
S30,利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;
S40,将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据反馈给学习者。
基于上述实施例的优化方案,在所述步骤S20中,对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语,包括步骤:
对所获得的语言识别数据进行词语分词排列,形成词语数组;
例如:词语数组A=[a1,a2,a3,a4,a5,a6,a7,a8],a1,a2,a3,a4,a5,a6,a7,a8代表每语句中所识别的词语。
依次识别词语数组中每个词语的类别,根据知识类和意图类两个维度进行分类标识;
例如:分为知识类z和意图类y,进行分类标识获得词语数组A’=[a1z,a2,a3z,a4z,a5y,a6,a7z,a8y]。
将知识类词语归入知识数组中,将意图类词语归入意图数组中,获得两个维度的分类数组。
例如:两个维度的分类数组分别为Az和Ay;将知识类词语归入知识数组中,得到Az=[a1z,a3z,a4z,a7z];将意图类词语归入意图数组中,得到Ay=[a5y,a8y]。
基于上述实施例的优化方案,在所述步骤S30,利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;过程包括步骤:
S31,通过知识数组Az=[a1z,a3z,a4z,a7z]提取知识特征词,根据知识特征词在所述建立的知识图谱中返回的该查询条件的知识推理查找到的对应知识信息,从知识图谱中找出所有与该目标之间有目标关系的所有候选作为候选答案集;
S32,对候选答案集进行语义消歧,消除候选答案集中与语言识别数据相互矛盾和歧义的数据;
S33,对语言识别数据通过上下文理解和语义检索,结合意图信息Ay=[a5y,a8y]在候选答案集中提取最优答案。
在所述步骤S30中,利用所获得的知识数组,在学习辅助知识图谱中获得该专业下的课程、以及该课程下的知识点,通过知识点寻找获取答案,作为候选答案集。
其中,所述学习辅助知识图谱包括根据所获得的教学领域知识语料集根据多级关联的方式进行匹配和融合构成教学知识图谱。
其中,所述意图类词语包括学习者的行为状态、情感状态和兴趣偏好词语。
基于上述实施例的优化方案,将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据,将输出数据通过语音播报设备进行播报或显示设备进行显示,从而反馈给学习者。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于学习辅助知识图谱的对话管理方法,其特征在于,包括步骤:
S10,获取学习者输入的语言数据,通过解析获得语言识别数据;
S20,对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语;
S30,利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;
S40,将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据反馈给学习者。
2.根据权利要求1所述的一种基于学习辅助知识图谱的对话管理方法,其特征在于,在所述步骤S20中,对所获得的语言识别数据进行信息分类,获得知识类词语和意图类词语,包括步骤:
对所获得的语言识别数据进行词语分词排列,形成词语数组;
依次识别词语数组中每个词语的类别,根据知识类和意图类两个维度进行分类标识;
将知识类词语归入知识数组中,将意图类词语归入意图数组中,获得两个维度的分类数组。
3.根据权利要求2所述的一种基于学习辅助知识图谱的对话管理方法,其特征在于,在所述步骤S30,利用知识类词语从学习辅助知识图谱中返回的相应学习信息,生成相关问题答案;再利用意图类词语对相关问题答案进行精确关联提取,获得精准问题答案;过程包括步骤:
S31,通过知识数组提取知识特征词,根据知识特征词在所述建立的知识图谱中返回的该查询条件的知识推理查找到的对应知识信息,从知识图谱中找出所有与该目标之间有目标关系的所有候选作为候选答案集;
S32,对候选答案集进行语义消歧,消除候选答案集中与语言识别数据相互矛盾和歧义的数据;
S33,对语言识别数据通过上下文理解和语义检索,结合意图信息在候选答案集中提取最优答案。
4.根据权利要求3所述的一种基于学习辅助知识图谱的对话管理方法,其特征在于,在所述步骤S30中,利用所获得的知识数组,在学习辅助知识图谱中获得该专业下的课程、以及该课程下的知识点,通过知识点寻找获取答案,作为候选答案集。
5.根据权利要求1-4任一所述的一种基于学习辅助知识图谱的对话管理方法,其特征在于,所述学习辅助知识图谱包括根据所获得的教学领域知识语料集根据多级关联的方式进行匹配和融合构成教学知识图谱。
6.根据权利要求1-4任一所述的一种基于学习辅助知识图谱的对话管理方法,其特征在于,所述意图类词语包括学习者的行为状态、情感状态和兴趣偏好词语。
7.根据权利要求1所述的一种基于学习辅助知识图谱的对话管理方法,其特征在于,将所获得的精准问题答案通过自然语言生成技术,生成语言输出数据,将输出数据通过语音播报设备进行播报或显示设备进行显示,从而反馈给学习者。
CN202010965549.XA 2020-09-15 2020-09-15 一种基于学习辅助知识图谱的对话管理方法 Pending CN112015919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010965549.XA CN112015919A (zh) 2020-09-15 2020-09-15 一种基于学习辅助知识图谱的对话管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010965549.XA CN112015919A (zh) 2020-09-15 2020-09-15 一种基于学习辅助知识图谱的对话管理方法

Publications (1)

Publication Number Publication Date
CN112015919A true CN112015919A (zh) 2020-12-01

Family

ID=73521529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010965549.XA Pending CN112015919A (zh) 2020-09-15 2020-09-15 一种基于学习辅助知识图谱的对话管理方法

Country Status (1)

Country Link
CN (1) CN112015919A (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649394A (zh) * 2015-11-03 2017-05-10 中兴通讯股份有限公司 融合知识库处理方法和装置,以及知识库管理系统
CN107807957A (zh) * 2017-09-30 2018-03-16 北京奇虎科技有限公司 实体库生成方法及装置
CN107958091A (zh) * 2017-12-28 2018-04-24 北京贝塔智投科技有限公司 一种基于金融垂直知识图谱的nlp人工智能方法及交互系统
CN108846104A (zh) * 2018-06-20 2018-11-20 北京师范大学 一种基于教育知识图谱的问答分析与处理方法及系统
CN109063094A (zh) * 2018-07-27 2018-12-21 吉首大学 一种建立中医药知识图谱的方法
CN109739964A (zh) * 2018-12-27 2019-05-10 北京拓尔思信息技术股份有限公司 知识数据提供方法、装置、电子设备和存储介质
CN110019824A (zh) * 2017-07-20 2019-07-16 苏州狗尾草智能科技有限公司 基于知识图谱的人机交互方法、装置及系统
CN110083690A (zh) * 2019-04-10 2019-08-02 华侨大学 一种基于智能问答的对外汉语口语训练方法及系统
WO2019153522A1 (zh) * 2018-02-09 2019-08-15 卫盈联信息技术(深圳)有限公司 智能交互方法、电子装置及存储介质
CN110275947A (zh) * 2019-05-23 2019-09-24 中国人民解放军战略支援部队信息工程大学 基于命名实体识别的特定领域知识图谱自然语言查询方法及装置
CN110377715A (zh) * 2019-07-23 2019-10-25 天津汇智星源信息技术有限公司 基于法律知识图谱的推理式精准智能问答方法
CN110516043A (zh) * 2019-08-30 2019-11-29 苏州思必驰信息科技有限公司 用于问答系统的答案生成方法和装置
CN110598204A (zh) * 2019-07-31 2019-12-20 平安科技(深圳)有限公司 基于知识图谱的实体识别数据增强方法及系统
CN110929016A (zh) * 2019-12-10 2020-03-27 北京爱医生智慧医疗科技有限公司 一种基于知识图谱的智能问答方法及装置
CN111143539A (zh) * 2019-12-31 2020-05-12 重庆和贯科技有限公司 基于知识图谱的教学领域问答方法
CN111259653A (zh) * 2020-01-15 2020-06-09 重庆邮电大学 基于实体关系消歧的知识图谱问答方法、系统以及终端
US20200242444A1 (en) * 2019-01-30 2020-07-30 Baidu Usa Llc Knowledge-graph-embedding-based question answering
CN111626495A (zh) * 2020-05-22 2020-09-04 重庆广播电视大学重庆工商职业学院 基于云平台的作业调度系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017076263A1 (zh) * 2015-11-03 2017-05-11 中兴通讯股份有限公司 融合知识库处理方法和装置及知识库管理系统、存储介质
CN106649394A (zh) * 2015-11-03 2017-05-10 中兴通讯股份有限公司 融合知识库处理方法和装置,以及知识库管理系统
CN110019824A (zh) * 2017-07-20 2019-07-16 苏州狗尾草智能科技有限公司 基于知识图谱的人机交互方法、装置及系统
CN107807957A (zh) * 2017-09-30 2018-03-16 北京奇虎科技有限公司 实体库生成方法及装置
CN107958091A (zh) * 2017-12-28 2018-04-24 北京贝塔智投科技有限公司 一种基于金融垂直知识图谱的nlp人工智能方法及交互系统
WO2019153522A1 (zh) * 2018-02-09 2019-08-15 卫盈联信息技术(深圳)有限公司 智能交互方法、电子装置及存储介质
CN108846104A (zh) * 2018-06-20 2018-11-20 北京师范大学 一种基于教育知识图谱的问答分析与处理方法及系统
CN109063094A (zh) * 2018-07-27 2018-12-21 吉首大学 一种建立中医药知识图谱的方法
CN109739964A (zh) * 2018-12-27 2019-05-10 北京拓尔思信息技术股份有限公司 知识数据提供方法、装置、电子设备和存储介质
US20200242444A1 (en) * 2019-01-30 2020-07-30 Baidu Usa Llc Knowledge-graph-embedding-based question answering
CN110083690A (zh) * 2019-04-10 2019-08-02 华侨大学 一种基于智能问答的对外汉语口语训练方法及系统
CN110275947A (zh) * 2019-05-23 2019-09-24 中国人民解放军战略支援部队信息工程大学 基于命名实体识别的特定领域知识图谱自然语言查询方法及装置
CN110377715A (zh) * 2019-07-23 2019-10-25 天津汇智星源信息技术有限公司 基于法律知识图谱的推理式精准智能问答方法
CN110598204A (zh) * 2019-07-31 2019-12-20 平安科技(深圳)有限公司 基于知识图谱的实体识别数据增强方法及系统
CN110516043A (zh) * 2019-08-30 2019-11-29 苏州思必驰信息科技有限公司 用于问答系统的答案生成方法和装置
CN110929016A (zh) * 2019-12-10 2020-03-27 北京爱医生智慧医疗科技有限公司 一种基于知识图谱的智能问答方法及装置
CN111143539A (zh) * 2019-12-31 2020-05-12 重庆和贯科技有限公司 基于知识图谱的教学领域问答方法
CN111259653A (zh) * 2020-01-15 2020-06-09 重庆邮电大学 基于实体关系消歧的知识图谱问答方法、系统以及终端
CN111626495A (zh) * 2020-05-22 2020-09-04 重庆广播电视大学重庆工商职业学院 基于云平台的作业调度系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FANGXIA HU 等: "Design, Development and Application of Big Data Platform on Provision of Job Information Search Services for Students in Vocational College", 《2018 SEVENTH INTERNATIONAL CONFERENCE OF EDUCATIONAL INNOVATION THROUGH TECHNOLOGY (EITT)》 *
张鑫 等: "近二十年学校环境教育研究的知识图谱分析", 《教育文化论坛》, vol. 10, no. 02 *
张鑫;邓卓恒;靳一飞;何咏宸;白灵;: "基于NLP的地震科普聊天机器人的设计与实现", 现代信息科技, no. 11 *

Similar Documents

Publication Publication Date Title
CN110427463B (zh) 搜索语句响应方法、装置及服务器和存储介质
CN110442718B (zh) 语句处理方法、装置及服务器和存储介质
CN107562863A (zh) 聊天机器人回复自动生成方法及系统
CN111708869B (zh) 人机对话的处理方法及装置
CN112115238A (zh) 一种基于bert和知识库的问答方法和系统
CN116127095A (zh) 一种序列模型与知识图谱结合的问答方法
CN110888989B (zh) 一种智能学习平台及其构建方法
CN113962219A (zh) 面向电力变压器知识检索和问答的语义匹配方法及系统
CN116340530A (zh) 基于机械知识图谱的智能设计方法
CN110795544B (zh) 内容搜索方法、装置、设备和存储介质
CN117520491A (zh) 一种基于大语言模型的智能问答方法与装置
CN111460118A (zh) 一种人工智能冲突语义识别方法及装置
Zhang Ideological and political empowering english teaching: ideological education based on artificial intelligence in classroom emotion recognition
CN116561274A (zh) 一种基于数字人技术与自然语言大模型的知识问答方法
CN112015919A (zh) 一种基于学习辅助知识图谱的对话管理方法
Dsouza et al. Advancement in communication using natural language based videobot system
CN112015920A (zh) 一种基于知识图谱和边缘计算智能辅助学习系统
CN114842301A (zh) 一种图像注释模型的半监督训练方法
Karp et al. Study of linking words in political speeches of Bill Clinton using Python
CN114281962A (zh) 基于机器人深度学习的智能对话系统、方法及存储介质
CN112434148A (zh) 一种基于人工智能的智能机器人应答方法和装置
CN103593062A (zh) 一种数据检测方法及装置
CN116340481B (zh) 自动回复提问的方法及装置、计算机可读存储介质、终端
Romero-Gómez et al. Natural Language Processing Approach for Learning Process Analysis in a Bioinformatics Course
Oluwadamilola et al. A Systematic Review of Chatbot Model and chatbot technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination