CN115470863A - 一种基于双重监督的领域泛化脑电信号分类方法 - Google Patents

一种基于双重监督的领域泛化脑电信号分类方法 Download PDF

Info

Publication number
CN115470863A
CN115470863A CN202211219633.2A CN202211219633A CN115470863A CN 115470863 A CN115470863 A CN 115470863A CN 202211219633 A CN202211219633 A CN 202211219633A CN 115470863 A CN115470863 A CN 115470863A
Authority
CN
China
Prior art keywords
electroencephalogram
data
network
double
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211219633.2A
Other languages
English (en)
Inventor
杭文龙
玄昌盛
梁爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202211219633.2A priority Critical patent/CN115470863A/zh
Publication of CN115470863A publication Critical patent/CN115470863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于双重监督的领域泛化脑电信号分类方法,包括以下步骤:对脑电信号进行预处理;建立双层监督机制,在时频域上对预处理后的脑电数据线性插值,进行类别相关的数据增广,实现隐式监督;利用受试者不变特征学习模块,对脑电样本施加权重约束,在不变类别相关脑电特征和对应标签之间建立更准确的映射关系,实现显式监督;将双层监督机制引入自监督模型中,将自集成模型的分类损失和一致性损失加权求和,与脑电样本权重约束,共同构成双层目标优化模型,通过反向传播交替更新权重参数和网络参数,直到精度收敛得到最终分类模型。本发明可以提升脑电信号识别的准确性和泛化性,保证了跨不同受试者的脑电信号的准确识别。

Description

一种基于双重监督的领域泛化脑电信号分类方法
技术领域
本发明涉及一种基于双重监督的领域泛化脑电信号分类方法,属于脑电信号识别领域。
背景技术
随着人工智能技术的快速发展,深度学习方法已经成为脑电信号识别任务中的主流方法。基于训练数据和测试数据服从同一分布假设,目前的大多数深度学习方法表现出出色的脑电分类效果。在实际应用场景中,将深度脑电信号识别方法泛化到先前未见过的新受试者的脑电信号识别任务,是实现深度脑电信号识别方法实用化的重要方法。然而,由于不同受试者的脑电信号之间的分布存在差异,将特定于某一受试者的深度脑电信号识别方法直接应用于其他受试者将会不可避免地造成分类性能下降。针对此问题,研究人员提出了两大类解决策略:学习不变特性以及数据增广。尽管取得了一定的效果,但这两类策略均是借鉴于机器视觉领域,并不适用于脑电信号处理。考虑到上述原因,本发明提出一种基于双重监督机制的领域泛化方法,设计了一种类别相关的脑电数据增广监督策略以及一种受试者不变特征学习监督策略,并结合自集成模型,实现了跨不同受试者脑电信号的准确识别。
发明内容
本发明提供了一种基于双重监督的领域泛化脑电信号分类方法,设计并引入类相关脑电数据增广监督模块以及受试者不变特征学习监督模块,同时结合自集成模型,实现了跨不同受试者脑电信号的准确识别。
本发明为解决上述问题采用以下技术方案:
1、一种基于双重监督的领域泛化脑电信号分类方法,包括以下步骤:
步骤1:从s个受试者采集脑电数据;
步骤2:对s个受试者的脑电数据进行预处理,包括截取特定时间段和带通滤波,得到脑电数据训练集
Figure BSA0000285513540000011
其中
Figure BSA0000285513540000012
Figure BSA0000285513540000013
分别表示第s个受试者的第i个脑电数据和对应的类别标签;
步骤3:随机从其余受试者脑电数据中选择与
Figure BSA0000285513540000014
同类别的脑电数据,将该脑电数据和
Figure BSA0000285513540000015
从时域转换到时频域,并沿着时域方向进行数据平均分割,线性插值它们对应的分割片段,进行数据重组,最后将新重组的脑电数据从时频域转换到时域,得到
Figure BSA0000285513540000016
对应的增广脑电数据,直到遍历完所有受试者的脑电数据,得到增广脑电数据
Figure BSA0000285513540000017
其中N表示s个受试者脑电数据的总和。重复执行步骤3,得到另一组增广脑电数据
Figure BSA0000285513540000021
注意,这里将s个受试者训练数据集的脑电信号进行合并,因此不再对xi加上标用以区分。除非有特殊说明,下文均采用此描述。
步骤4:采用脑电信号解码网络Shal low ConvNet作为自集成模型的主干网络,将增广后脑电信号
Figure BSA0000285513540000022
Figure BSA0000285513540000023
分别输入自集成模型中的学生网络和教师网络;
步骤5:步骤4中学生网络的输出特征经过受试者不变特征学习模块,计算所有脑电样本的权重,从而去除特征之间的依赖性;
步骤6:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到的概率输出与真实标签,同时乘以对应样本的权重,计算分类损失;
步骤7:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到概率输出,以及教师网络以同样方式得到的概率输出,同时乘以对应样本的权重,计算一致性损失;
步骤8:将步骤6中的分类损失和步骤7中的一致性损失加权求和形成最终损失函数,以及步骤5中样本权重约束,共同构成双层优化问题,通过反向传播交替更新权重参数和网络参数,优化整个求解过程。
优选的,所述类别相关脑电数据增广策略是本发明双重监督中的隐式监督。具体地,首先将时域脑电信号经过短时傅里叶变换转换为时域特征。然后对时频域特征进行分割,并对分割后的每一段特征和同类样本的对应片段进行线性插值,将插值后的片段拼接。最后利用逆短时傅里叶变换将拼接后的特征转换为时域脑电信号,得到增广后的脑电信号。至此,实现了类别相关的脑电数据增广,是本发明双重监督中的隐式监督。
优选的,所述受试者不变特征学习模块是本发明双重监督中的显式监督。通过该模块,计算出每个脑电数据对应的权重,去除不同脑电特征之间的相互依赖。
优选的,所述基于双重监督的领域泛化脑电分类方法,在自集成模型中引入双重监督机制,首先分别将增广数据
Figure BSA0000285513540000024
Figure BSA0000285513540000025
输入自集成模型中的学生网络和教师网络,然后将自集成模型的分类损失和一致性损失加权求和,与受试者不变特征学习模块计算的样本权重
Figure BSA0000285513540000026
的约束,共同构成如下双层优化问题:
Figure BSA0000285513540000027
其中,参数λc用于平衡
Figure BSA0000285513540000031
以及
Figure BSA0000285513540000032
通过交替更新权重函数的参数α和学生网络参数θS可优化目标函数,教师网络参数θT通过指数平滑方法得到。
Figure BSA0000285513540000033
Figure BSA0000285513540000034
的计算公式为:
Figure BSA0000285513540000035
这里N表示s个受试者脑电数据的总和,
Figure BSA0000285513540000036
Figure BSA0000285513540000037
分别表示交叉熵损失函数、分类损失和一致性损失函数,fs和ft分别表示学生模型特征提取网络和教师模型特征提取网络,gs和gt分别表示两个模型的分类网络。通过上述优化过程,更好地学习受试者的不变特征,则是本发明双重监督中的显式监督。
有益效果:
1、本发明引入一种受试者间类别相关的数据增广机制,通过对多个受试者的相同类别脑电信号在时频域上分割、线性插值、拼接,最终生成增广脑电数据。所提出的新型脑电信号增广策略在保留相同类别信息的同时,能够跨越受试者空间。
2、本方法引入受试者不变特征学习模块对所有脑电特征进行去相关,从而消除特征之间的依赖关系,使得模型能够在受试者不变特征和对应类标之间建立更合理的映射关系。
3、通过将上述双重监督机制引入自集成模型,增强了模型学习领域不变特征的能力,提升了模型在新受试者脑电数据上的识别效果。
附图说明
图1是本发明中基于双重监督的领域泛化脑电信号分类方法的网络框架图。
具体实施方式
下面结合实例对本发明做更进一步的解释。
本发明主要实施流程如下,相关流程见图1。
步骤1:从s个受试者采集的脑电数据;
步骤2:对s个受试者的脑电数据进行预处理,包括截取特定时间段和带通滤波,得到脑电数据训练集
Figure BSA0000285513540000038
其中
Figure BSA0000285513540000039
Figure BSA00002855135400000310
分别表示第s个受试者的第i个脑电数据以及对应的类别标签;
步骤3:随机从其余受试者脑电数据中选择与
Figure BSA00002855135400000311
同类别的脑电数据,分别将两者从时域转换到时频域,依次完成数据分割、线性插值及数据重组,最后将新重组的脑电数据从时频域转换到时域,直到遍历完所有受试者的脑电数据,生成增广脑电信号数据。具体计算如下:
1)随机选择脑电信号Xi,i=1,2,…,N,利用短时傅立叶变换将其转换到时频表示
Figure BSA0000285513540000041
这里,c,r和t分别表示通道数、频带范围以及时间点数。然后,沿着时间维度,将Ti平均分为K个连续且不重叠的片段
Figure BSA0000285513540000042
此时,可以将Ti重新表示为:
Figure BSA0000285513540000043
2)选择与脑电信号Xi同类别的任意受试者的脑电信号Xj进行上述步骤1)中的处理得到Tj,对两个样本的第k个片段使用线性插值,具体方式如下:
Figure BSA0000285513540000044
其中,
Figure BSA0000285513540000045
Figure BSA0000285513540000046
分别表示Ti和Tj的第k个片段。λ是平衡系数,其值取自于均匀分布λ~U(0,ρ),参数ρ用于控制样本的增广强度。对于形成的新数据片段
Figure BSA0000285513540000047
将其按顺序拼接,通过逆短时傅里叶变换,将时频域数据转换到时域上。直到遍历完所有受试者的脑电数据,得到一组增广脑电信号数据
Figure BSA0000285513540000048
3)重复执行上述步骤1)和步骤2),得到另一组增广脑电信号数据
Figure BSA0000285513540000049
步骤4:采用脑电信号解码网络Shallow ConvNet作为自集成模型的主干网络,将增广后脑电信号
Figure BSA00002855135400000410
Figure BSA00002855135400000411
分别输入自集成模型中的学生网络和教师网络;
步骤5:步骤4中学生网络的输出特征经过受试者不变特征学习模块,得到所有样本的权重,从而去除特征之间的依赖性。具体计算如下:
1)计算步骤4中学生网络的输出特征间的独立性检验统计测试
Figure BSA00002855135400000412
这里的
Figure BSA00002855135400000413
表示偏协方差矩阵,计算如下:
Figure BSA00002855135400000414
其中,
Figure BSA00002855135400000415
表示学生网络的输出特征,d表示输出特征的维度。Zp1,Zp2,…,ZpN和Zq1,Zq2,…,ZqN分别是从Z:,p和Z:,q分布中采样得到。
Figure BSA00002855135400000416
Figure BSA0000285513540000051
其中的
Figure BSA0000285513540000052
表示随机傅里叶函数空间:
Figure BSA0000285513540000053
这里N(·)和U(·)分别表示标准正态分布和均匀分布。
Figure BSA0000285513540000054
表示样本权重,且有
Figure BSA0000285513540000055
2)为每一个样本特征赋值权重,偏协方差矩阵可重新表示如下:
Figure BSA0000285513540000056
其中
Figure BSA0000285513540000057
表示样本权重,且有
Figure BSA0000285513540000058
步骤6:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到的概率输出与真实标签,同时乘以对应样本的权重αi(步骤5中得到)计算分类损失:
Figure BSA0000285513540000059
其中
Figure BSA00002855135400000510
表示学生模型特征提取网络,
Figure BSA00002855135400000511
表示学生模型分类网络。lce(·)表示交叉熵损失函数。
步骤7:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到概率输出,以及同时利用教师网络以同样方式得到的概率输出,同时乘以对应样本的权重计算一致性损失:
Figure BSA00002855135400000512
其中
Figure BSA00002855135400000513
表示教师模型特征提取网络,
Figure BSA00002855135400000514
表示教师模型分类网络。lc(·)表示一致性损失函数。
步骤8:将步骤6中的分类损失和步骤7中的一致性损失加权求和,以及样本权重
Figure BSA00002855135400000515
的约束形成最终目标函数,表示为如下双层优化问题:
Figure BSA00002855135400000516
其中参数λc用于平衡
Figure BSA00002855135400000517
以及
Figure BSA00002855135400000518
通过交替更新权重函数的参数α和学生网络参数θS可优化目标函数。另外,教师网络参数θT可利用指数平滑方法得到:
Figure BSA0000285513540000061
这里的
Figure BSA0000285513540000062
表示第t次迭代时学生网络参数。
Figure BSA0000285513540000063
分别表示第t次、第t-1次迭代时的教师网络参数。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所做的等效结构或等流程变换,或直接或间接运用在相关技术领域,均同理包括在本发明的专利保护范围。

Claims (3)

1.一种基于双重监督的领域泛化脑电信号分类方法,其特征在于,步骤如下:
步骤1:从S个受试者采集脑电数据;
步骤2:对S个受试者的脑电数据进行预处理,包括截取特定时间段和带通滤波,得到脑电训练数据集
Figure FSA0000285513530000011
其中
Figure FSA0000285513530000012
Figure FSA0000285513530000013
分别表示第S个受试者的第i个EEG样本和对应的类别标签;
步骤3:从其余受试者EEG数据中随机选择与
Figure FSA0000285513530000014
同类别的脑电信号数据,将它们转换到时频域后进行分割,对分割片段线性插值并重组,后将新重组的脑电数据从时频域转换到时域,直到遍历完所有受试者的脑电数据,得到增广脑电信号数据
Figure FSA0000285513530000015
重复执行步骤3,得到增广脑电信号
Figure FSA0000285513530000016
注意,这里将S个受试者训练数据集的脑电信号进行合并,因此不再对Xi加上标用以区分;除非有特殊说明,下文均采用此描述;
步骤4:采用脑电信号解码网络Shallow ConvNet作为自集成模型的主干网络,将增广后脑电信号
Figure FSA0000285513530000017
Figure FSA0000285513530000018
分别输入自集成模型中的学生网络和教师网络;
步骤5:步骤4中学生网络的输出特征经过受试者不变特征学习模块,计算所有脑电样本的权重,从而去除特征之间的依赖性;
步骤6:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到的概率输出与真实标签,同时乘以对应样本的权重,计算分类损失;
步骤7:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到概率输出,以及教师网络以同样方式得到的概率输出,同时乘以对应样本的权重,计算一致性损失;
步骤8:将步骤6中的分类损失和步骤7中的一致性损失加权求和形成最终损失函数,以及步骤5中样本权重约束,共同构成双层优化问题,通过反向传播交替更新权重参数和网络参数,直到精度收敛,得到最终分类模型;
步骤9:将新受试者的脑电信号输入最终分类模型,得到每个样本对应的预测类别标签。
2.根据权利要求1所述的一种基于双重监督的领域泛化脑电信号分类方法,其特征在于,步骤3中,所述的类别相关的脑电数据增广策略,具体地,首先对经过预处理之后的时域脑电数据Xi使用短时傅里叶变换,将其由时域数据转换为时频域数据Ti;然后,沿着时间维度,对时域脑电数据进行平均分割,得到K个连续且不重叠的片段
Figure FSA0000285513530000019
从S个受试者采集脑电数据中,选择与脑电数据Xi同一类别的其他受试者的脑电信号Xj,重复上述步骤,得到
Figure FSA0000285513530000021
对新的Ti和Tj的第k个片段使用线性插值
Figure FSA0000285513530000022
其中
Figure FSA0000285513530000023
Figure FSA0000285513530000024
分别表示Ti和Tj的第k个片段,λ是平衡系数;最后按顺序重组并通过逆短时傅里叶变换,将时频域数据表示转换回时域数据,直到遍历完所有受试者的脑电数据,最后增广的脑电信号。
3.根据权利要求1所述的一种基于双重监督的领域泛化脑电信号分类方法,其特征在于,在自集成模型中引入所述的双重监督机制,首先分别将增广数据
Figure FSA0000285513530000025
Figure FSA0000285513530000026
输入自集成模型中的学生网络和教师网络,然后将自集成模型的分类损失和一致性损失加权求和,与所述的受试者不变特征学习模块计算的样本权重
Figure FSA0000285513530000027
的约束,共同构成如下双层优化问题:
Figure FSA0000285513530000028
其中,参数λc用于平衡
Figure FSA0000285513530000029
以及
Figure FSA00002855135300000210
通过交替更新权重函数的参数α和学生网络参数θS可优化目标函数,教师网络参数θT通过指数平滑方法得到;
Figure FSA00002855135300000211
Figure FSA00002855135300000212
的计算公式为:
Figure FSA00002855135300000213
这里N表示S个受试者脑电数据的总和,lce(·)、
Figure FSA00002855135300000214
和lc(·)分别表示交叉熵损失函数、分类损失和一致性损失函数,fs和ft分别表示学生模型特征提取网络和教师模型特征提取网络,gs和gt分别表示两个模型的分类网络;通过上述优化过程,更好地学习受试者的不变特征,则是本发明双重监督中的显式监督。
CN202211219633.2A 2022-09-30 2022-09-30 一种基于双重监督的领域泛化脑电信号分类方法 Pending CN115470863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219633.2A CN115470863A (zh) 2022-09-30 2022-09-30 一种基于双重监督的领域泛化脑电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219633.2A CN115470863A (zh) 2022-09-30 2022-09-30 一种基于双重监督的领域泛化脑电信号分类方法

Publications (1)

Publication Number Publication Date
CN115470863A true CN115470863A (zh) 2022-12-13

Family

ID=84335155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219633.2A Pending CN115470863A (zh) 2022-09-30 2022-09-30 一种基于双重监督的领域泛化脑电信号分类方法

Country Status (1)

Country Link
CN (1) CN115470863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258730A (zh) * 2023-05-16 2023-06-13 先进计算与关键软件(信创)海河实验室 一种基于一致性损失函数的半监督医学图像分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258730A (zh) * 2023-05-16 2023-06-13 先进计算与关键软件(信创)海河实验室 一种基于一致性损失函数的半监督医学图像分割方法
CN116258730B (zh) * 2023-05-16 2023-08-11 先进计算与关键软件(信创)海河实验室 一种基于一致性损失函数的半监督医学图像分割方法

Similar Documents

Publication Publication Date Title
CN110598793B (zh) 一种大脑功能网络特征分类方法
CN111150393B (zh) 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法
CN110289081B (zh) 深度网络堆栈模型自适应加权特征融合的癫痫检测方法
CN111931656B (zh) 基于迁移学习的用户独立型运动想象分类模型训练方法
CN113052099B (zh) 一种基于卷积神经网络的ssvep分类方法
CN112932505A (zh) 一种基于时频能量的符号传递熵及脑网络特征计算方法
CN115470863A (zh) 一种基于双重监督的领域泛化脑电信号分类方法
CN114239652A (zh) 基于聚类的对抗部分域适应跨被试eeg情绪识别方法
CN116011507A (zh) 融合元学习与图神经网络的稀有故障诊断方法
CN114239657A (zh) 一种基于复值干涉神经网络的时序信号识别方法
CN115969392A (zh) 基于张量化频空注意力域适应网络的跨时段脑纹识别方法
CN115271063A (zh) 基于特征原型投影的类间相似性知识蒸馏方法与模型
CN114287910A (zh) 一种基于多阶段图卷积融合的脑功能连接分类方法
CN112966735B (zh) 一种基于谱重建的监督多集相关特征融合方法
CN112947080B (zh) 一种基于场景参数变换的智能决策模型性能评估系统
CN117612644A (zh) 一种空气安全评价方法及系统
CN117609863A (zh) 基于脑电微状态的长时脑电情绪识别方法
CN111310680B (zh) 一种基于深度学习的辐射源个体识别方法
CN113095354A (zh) 基于辐射源特征子空间知识的未知雷达目标识别方法
CN114841216B (zh) 一种基于模型不确定性学习的脑电信号分类方法
CN116712087A (zh) 一种锋电位信息的分类预测方法及装置
Westerdijk et al. Predicting malignant tumor cells in breasts
CN116644378A (zh) 一种基于双层嵌套lstm的超长多维时间序列分类方法
CN116049655A (zh) 一种基于深度学习的癫痫多类别分类方法及系统
CN114757273A (zh) 一种基于协同对比正则化平均教师模型的脑电信号分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination