CN116596046A - 一种利用脑电信号和视觉特征进行图像重构的方法 - Google Patents
一种利用脑电信号和视觉特征进行图像重构的方法 Download PDFInfo
- Publication number
- CN116596046A CN116596046A CN202310566689.3A CN202310566689A CN116596046A CN 116596046 A CN116596046 A CN 116596046A CN 202310566689 A CN202310566689 A CN 202310566689A CN 116596046 A CN116596046 A CN 116596046A
- Authority
- CN
- China
- Prior art keywords
- image
- vector
- electroencephalogram
- input
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 64
- 210000004556 brain Anatomy 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000002474 experimental method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 230000002490 cerebral effect Effects 0.000 claims abstract description 9
- 230000004807 localization Effects 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 112
- 230000006870 function Effects 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000007774 longterm Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 abstract description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 235000000832 Ayote Nutrition 0.000 description 1
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 235000015136 pumpkin Nutrition 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明公开了一种利用脑电信号和视觉特征进行图像重构的方法，包括以下步骤；步骤1：构建脑电信号数据集；步骤2：对脑电信号数据集中的原始脑电信号进行大脑偏侧化；步骤3：构建基于注意力机制的脑电信号编码模块，将经过大脑偏侧化处理的脑电信号中提取与视觉特征相关的关键信息，为脑内视觉处理提供更加精细和准确的特征表达；步骤4：构建脑内视觉图像重建模块，用于在提取出关键视觉特征的基础之上，生成相应类别的视觉刺激图像；步骤5：实验设置与训练，在极大极小博弈环境中同时训练生成器和鉴别器，解决训练过程中过拟合的问题。本发明利用脑电特征和视觉特征的双重指导深度卷积生成对抗网络训练，可以有效地重建脑内的视觉图像。
Description
技术领域
本发明属于图像重构技术领域，具体涉及一种利用脑电信号和视觉特征进行图像重构的方法。
背景技术
传统的复杂视觉图像重构方法往往没有同时考虑到大脑思维特点与人类视觉特性的问题，使得重构出的图像与人眼视觉中感知到的物体细节的特性以及图像类别全局信息不符。未将不同尺度特征融入进失真特征中，导致重构的视觉图像准确性和清晰度力较低。
现有的一种基于深度编解码对偶模型的复杂视觉图像重构方法，其在模型训练的过程中未考虑外界噪声和伪迹对于所采集脑电信号解析过程的影响，设计算法过于繁琐，且重构的视觉图像质量较差，与原始图像对比失真严重。
申请公布号为CN108573512A，名称为“一种基于深度编解码对偶模型的复杂视觉图像重构方法”的专利申请，公开了一种基于深度编解码对偶模型的复杂视觉图像重构方法，该方法属于生物医学图像脑解码中的视觉场景重构技术领域。首先采集观看大量自然图像下的功能磁共振信号。然后分别建立四个网络模型：1、编码模型，即使用卷积神经网络将自然图像编码成视觉区的体素信号；2、解码模型，即是用卷积神经网络以及反卷积神经网络将视觉区体素信号解码成自然图像；3、判别自然图像模型，即判断真图像与假图像；4、判别视觉区响应模型，即判断真信号与假信号。通过训练设计好的四个模型，可实现从脑信号中还原出视觉场景图像。首次解决了自然场景与脑信号之间直接相互转换的问题，可以实现脑机接口场景的实际应用。
该方法的不足之处在于，在信号采集时使用功能性核磁共振成像设备，操作难度大、实验成本高，忽略了环境噪声对图像重建的干扰，解码出的特征无法明确映射到对应的类型主体，未考虑人脑左右半球对不同刺激模式的感知水平的差异，导致重构图像的质量不高。
发明内容
为了克服以上现有技术存在的问题，本发明的目的在于提供一种利用脑电信号和视觉特征进行图像重构的方法，利用脑电特征和视觉特征的双重指导深度卷积生成对抗网络训练，可以有效地重建脑内的视觉图像；
该方法首先引入了软注意力机制和大脑偏侧化，以此来评估左右脑功能的差异；接着注意力门纳入传统的长短期记忆网络，以此来提升数据的关联度，从而更有效地完成分类任务；最后，利用这些脑电特征和图像特征，构建了一个基于端到端的脑电信号与脑内视觉图像重建的模型，以此来改善人工智能系统的性能。
为了实现上述目的，本发明采用的技术方案是：
一种利用脑电信号和视觉特征进行图像重构的方法，包括以下步骤；
步骤1：构建脑电信号数据集；所述脑电信号数据集中，包括原始脑电信号；
步骤2：对脑电信号数据集中的原始脑电信号进行大脑偏侧化，用于体现大脑左右半球不同的分工；
步骤3：构建基于注意力机制的脑电信号编码模块，从经过大脑偏侧化处理的脑电信号S中提取与视觉特征相关的关键视觉特征，为脑内视觉处理提供更加精细和准确的特征表达；
步骤4：构建脑内视觉图像重建模块，用于在提取出关键视觉特征的基础之上，生成相应类别的视觉刺激图像；
步骤5：实验设置与训练，在极大极小博弈环境中同时训练生成器G(z|y)和鉴别器D(x|y,h)，解决训练过程中过拟合的问题，分两个阶段来进行深度卷积生成对抗网络的训练，提高可视化效果。
所述步骤1具体为：
实验采集的脑电信号数据是由物体图像作为刺激源引发的事件相关电信号，选择主体较为醒目，背景干扰比较小的图像作为视觉刺激，突出不同显著目标，以引发被试产生不同的视觉刺激；
选用的视觉刺激来源于图像数据集中不同图像类别，所采用的图像均去除黑边，转化为500×500的分辨率图像；在这项实验中，受试者需要观看不同图像类别。
其中，脑电设备采样频率为1000赫兹，排除采样点小于480以及大于500的采样序列，将480-500长度的序列添加幅度为0的采样点使其统一为500采样序列长度；将每个图像对应脑电信号的前20个与后40个采用点舍弃，使用20-460ms中记录的440个采样点作为有效脑电数据进行实验，将处理好的脑电数据集按照4:1:1比例分为训练集、验证集和测试集，并且将所有被试对应的同一张图像的脑电信号置于同一集合。
所述步骤2具体为：
将脑电信号数据集中原始的脑电信号输入记作其中表i示通道数，lch＝128表示脑电信号总共有128个通道，ei表示第i个通道的脑电信号；
将脑电信号分解为三个类别，根据电极的区域划分左半球电极群E[l]、中间电极群E[m]和右半球电极群E[r]，其中，左右半球电极是对称的，所述左半球电极群中的每一个通道都与右半球电极群中的每一个通道相对应，得到左右半球差异dj：
其中表示对应的左右半球通道，j∈[1,lg]表示通道的编号，lg表示左半球的通道数目；最后将差异化矩阵/>和中间电极群E[m]相乘得到一个变量S；
S＝[DTE[m]T] (2)
并将S作为输入。
所述步骤3具体为：
步骤3.1：添加了注意力模块的长短期网络单元；
遗忘门ft由一个Sigmoid函数和一个点乘运算组成，它的输入包括前一时刻的输出ct-1和当前时刻的输入xt，输出为一个0到1之间的数值，用于控制细胞状态中哪些信息需要被遗忘；
输入门it由一个Sigmoid函数和一个点乘运算组成，它的输入包括前一时刻的输出ht-1和当前时刻的输入xt，以及一个用于计算当前候选细胞状态Tanh函数，输出为一个0到1之间的数值，用于控制新信息的输入和旧信息的保留；
输出门ot用于控制细胞状态中哪些信息需要输出的门控单元，将经过细胞状态处理的信息进行调节和筛选，只输出对当前任务有用的信息；
当输入t时刻的所有通道的信号s时，输入输出关系通过式(3)到(6)来计算：
at＝ReLU(Wast+Haht-1+ba) (3)
ft＝δ(Wfat+Hfht-1+bf) (4)
ut＝δ(Wuat+Huht-1+bu) (5)
ot＝δ(Woat+Hoht-1+bo) (6)
其中对于k∈{a,f,u,o}，Wk是将层映射到四个门的权值矩阵，Uk是连接上一个输出单元状态到四个门的权值矩阵，bk是偏置向量；采用软注意力门，不同通道输入的脑电信号与注意力门内的节点完全连接，权值矩阵W的大小取决于注意力门中的通道数量和节点的数量；
基于上式(6)的结果，长短期网络细胞单元输出ct可以由式(7)求出：
ct＝ft*ct-1+ut*(tanh(Hcht-1+Wcat+bc)) (7)
其中Wc是将层输入映射到替换存储单元的候选的权重矩阵，ft是遗忘门输出，ct-1是t-1时刻长短期网络细胞单元的输出，ut是连接上一个输出单元状态到四个门的权值矩阵，Hc是连接前一个单元输出状态到替换内存单元的候选的权重矩阵，at是t时刻的细胞状态，bc是偏差向量，函数tanh()表示双曲正切；
步骤3.2：构建双向长短期记忆网络；
利用步骤3.1添加注意力模块的长短期网络单元，搭建双向长短期记忆网络；
双向长短期记忆网络包括两个长短期记忆网络层：一个按照时间顺序处理输入序列的“前向长短期记忆网络”，和一个按照时间逆序处理输入序列的“后向长短期记忆网络”；在每个时间步上，输入数据同时进入前向和后向长短期记忆网络，分别计算它们的隐藏状态并合成一个向量，作为当前时间步的输出，保证了输出层获取了输出序列中每个样本点的完整过去和未来的上下文信息；
双向长短期网络一层最终的输出是由所有输出组成的向量所表示，其中yt可以由式(8)计算得到：
其中Wy是隐藏层映射到输出层的权重矩阵，by是输出层的偏置向量，σy是输出层采用的Sigmoid激活函数，在进行预测时只考虑输出向量的最后一个元素
所述步骤4具体为：
步骤4.1：搭建深度卷积生成对抗神经网络(DCGAN)；
深度卷积生成对抗神经网络包括生成器和判别器，该网络将脑电信号S和图像编码结合起来，用以构建出有效地反向传递图像；
步骤4.2：生成器收1×1×256大小的组合向量作为输入，其中包括视觉特征编码器提取的大小为1×1×128脑电向量y以及1×1×128的随机噪声z；
步骤4.3：将1×1×256的输入向量重塑为一个四维向量，作为后面五层的输入，其中每一层包括三个操作：反卷积、批归一化和ReLU操作；
步骤4.4：每一层将输入向量的空间维度翻倍，同时减半其信道数量，最后一个通道通过Tanh函数输出在-1到1之间的压缩的128×128×3的RGB彩色图像；
步骤4.5：判别器网络采用一个由128×128×3图像及其相关的128维编码器输出h组成的级联输入向量；
步骤4.6：将输入向量重塑为一个四维向量，然后送入到一个由五层组成的序列中，每层包含三个操作，包括卷积、批归一化和ReLU操作，将输入向量的空间维度减半，同时将其通道数量翻倍；
步骤4.7将最后一个卷积层的输出与相关的128维脑电信号映射y连接起来，最后一层被平坦化，然后输入到单个Sigmoid输出中，生成相应类别的视觉刺激图像。
所述步骤5具体为：
步骤5.1：实验分两个阶段来训练深度卷积生成对抗网络；
在第一阶段，只使用来自的相同类型的图像集训练提出的深度框架，确保每个图像集包含至少1000张具有代表性的样本，在训练的前100个epoch中，不使用脑电信号数据，在此阶段脑电信号特征向量y与图像重要特征向量h的组合向量根据类别设为one-hot向量并扩展到与图像特征向量相同的维度；在200000次迭代后，将预训练好的模型保存下来；
在第二个阶段中，使用视觉刺激实验中的2000张图像及其对应的脑电信号特征向量对预训练好的模型进行微调；
将2000张图像和其对应的脑电信号特征向量输入到预训练好的模型中，使用预训练模型中的生成器和判别器网络，并将它们结合在一起来构建完整的深度卷积生成对抗网络模型；最终输出条件向量，用于生成对应类别的图像样本；
步骤5.2：将深度卷积生成对抗网络模型中的判别器学习率和生成器学习率分别设置为0.0004和0.0001；
步骤5.3：在极大极小博弈环境中同时训练生成器G(z|y)和鉴别器D(x|y,h)，总体目标函数V(D,G)跟根据公式计算：
其中pdata(x)指的是目标图像的分布，pz(x)指的是噪声样本分布，E指的是期望运算符，D(x|y,h)指的是目标图像在脑电信号特征向量y与图像重要特征向量h的组合向量约束下的判别结果，G(z|y)指的是使用噪声向量z和脑电信号特征向量y与图像重要特征向量h的组合向量生成图像的过程，D(G(z|y)|y,h)指的是通过噪声向量z与脑电信号特征向量y生成的图像在脑电信号特征向量y与图像重要特征向量h的组合向量的约束下的判别结果；
鉴别器的损失函数LD和生成器的损失函数LG采用的是hinge损失函数，其中通过在对抗性损失中加入收缩损失来修改生成器损失函数，鉴别器的损失函数LD和生成器的损失函数LG的具体信息如式(10)和式(11)所示：
LD＝-E[min(0,-1+(D(x|y,h))]-E[min(0,-1-(D(G(z)|y,h))] (10)
其中α和β是平衡对抗损失和收缩损失贡献的两个加权系数。
本发明的有益效果：
本发明提出了一种新的图像重建方法，利用脑电特征和视觉特征的双重指导深度卷积生成对抗网络训练，可以有效地重建脑内的视觉图像。
本发明提出了一种基于大脑偏侧化和注意力机制的脑电特征视觉提取网络，该网络能够在考虑大脑左右半球差异和视觉注意力机制的基础上，从脑电信号中提取与视觉特征相关的关键信息，为脑内视觉处理提供了更加精细和准确的特征表达。
本发明通过将图像特征作为生成对抗网络的条件之一，与脑信号特征一起作为双条件进行图像重构，有效地提高了生成图像的质量和可靠性，为研究脑内视觉处理机制提供了一种新的工具和方法。
本发明利用脑电特征和视觉特征的双重指导深度卷积生成对抗网络训练，引入软注意力机制和大脑偏侧化，来评估左右脑功能的差异，在传统的长短期记忆网络中纳入注意力门，来提升数据的关联度，从而可以有效地重建脑内的视觉图像。用于解决现有的基于脑电信号的分类算法重建脑内视觉刺激方法中，因脑电信号混杂的噪声和伪迹干扰，使得样本震荡和模型不稳定，导致的类别主体辨识度不明显、重建的视觉图像质量差以及视觉分类准确率低问题。
附图说明
图1为本发明的添加了注意力模块的长短期网络单元示意图。
图2为本发明双向长短期记忆网络示意图。
图3为本发明DCGAN网络结构图示意图。
图4为生成图像质量对比示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
步骤1：构建脑电信号数据集：
实验采集的脑电信号数据是由物体图像作为刺激源引发的事件相关电信号，选择主体较为醒目，背景干扰比较小的图像作为视觉刺激，突出不同显著目标，以引发被试产生不同的视觉刺激。最终选用的视觉刺激来源于图像数据集中40个图像类别，每个类别包含50幅图像，共2000幅图像。所采用的2000幅图像均去除黑边，转化为500×500的分辨率图像。在这项实验中，6位受试者需要观看40类图像，每类图像包含50张，因此总共需要观看的图像数量约为12000。脑电设备采样频率为1000赫兹，为了统一数据格式，排除坏样本干扰，需要排除采样点小于480以及大于500的采样序列，并将480-500长度的序列添加幅度为0的采样点使其统一为500采样序列长度。为了排除上一个图像序列对本次图像序列的记忆性的影响，将每个图像对应脑电信号的前20个与后40个采用点舍弃，使用20-460ms中记录的440个采样点作为有效脑电数据进行实验。为了在使用处理好的脑电数据集训练算法时有效避免过拟合，并对算法的泛化能力进行验证和最终的性能评估，将处理好的脑电数据集按照4:1:1比例分为训练集、验证集和测试集，并且将所有被试对应的同一张图像的脑电信号置于同一集合。
步骤2：对原始脑电信号进行大脑偏侧化：
将原始的脑电信号输入记作其中表i示通道数，lch＝128表示脑电信号总共有128个通道。为了实现大脑偏侧化的效果，进一步将脑电信号分解为三个类别，根据电极的区域划分左半球电极群E[l]、中间电极群E[m]和右半球电极群E[r]，因为左右半球电极是对称的，所以左半球电极群中的每一个通道都与右半球电极群中的每一个通道相对应，这样就可以通过(1)得到左右半球差异dj：
其中表示对应的左右半球通道，j∈[1,lg]表示通道的编号，lg表示左半球的通道数目。最后将差异化矩阵/>和中间电极群E[m]相乘得到一个变量S。
S＝[DTE[m]T] (2)
并将S作为输入。
步骤3：构建基于注意力机制的脑电信号编码模块：
本模块是为了从经过大脑偏侧化处理的脑电信号S中提取与视觉特征相关的关键信息，为脑内视觉处理提供了更加精细和准确的特征表达。
3.1添加了注意力模块的长短期网络单元；如图1所示；
在输入部分采用了软注意力门，不同通道输入的脑电信号与注意力门内的节点完全连接，权值矩阵W的大小取决于注意力门中的通道数量和节点的数量。
遗忘门ft由一个Sigmoid函数和一个点乘运算组成，它的输入包括前一时刻的输出ct-1和当前时刻的输入xt，输出为一个0到1之间的数值，用于控制细胞状态中哪些信息需要被遗忘。
输入门it由一个Sigmoid函数和一个点乘运算组成，它的输入包括前一时刻的输出ht-1和当前时刻的输入xt，以及一个用于计算当前候选细胞状态Tanh函数，输出为一个0到1之间的数值，用于控制新信息的输入和旧信息的保留。
输出门ot用于控制细胞状态中哪些信息需要输出的门控单元，它的主要作用是将经过细胞状态处理的信息进行调节和筛选，只输出对当前任务有用的信息。
当输入t时刻的所有通道的信号s时，输入输出关系可以通过式(3)到(6)来计算：
at＝ReLU(Wast+Haht-1+ba) (3)
ft＝δ(Wfat+Hfht-1+bf) (4)
ut＝δ(Wuat+Huht-1+bu) (5)
ot＝δ(Woat+Hoht-1+bo) (6)
其中对于k∈{a,f,u,o}，Wk是是否将层映射到四个门的权值矩阵，Uk是连接上一个输出单元状态到四个门的权值矩阵，bk是偏置向量。为了优化添加注意力机制的过程，采用了软注意力门，不同通道输入的脑电信号与注意力门内的节点完全连接，因此，权值矩阵W的大小取决于注意力门中的通道数量和节点的数量。
基于上式的结果，长短期网络细胞单元输出ct可以由式(7)求出：
ct＝ft*ct-1+ut*(tanh(Hcht-1+Wcat+bc)) (7)
其中Wc是将层输入映射到替换存储单元的候选的权重矩阵。Hc是连接前一个单元输出状态到替换内存单元的候选的权重矩阵，bc是偏差向量。函数tanh()表示双曲正切。
3.2构建双向长短期记忆网络，如图2所示；
利用步骤3.1添加注意力模块的长短期网络单元，搭建双向长短期记忆网络。
双向长短期记忆网络包括两个长短期记忆网络层：一个按照时间顺序处理输入序列的“前向长短期记忆网络”，和一个按照时间逆序处理输入序列的“后向长短期记忆网络”。在每个时间步上，输入数据同时进入前向和后向长短期记忆网络，分别计算它们的隐藏状态并合成一个向量，作为当前时间步的输出，保证了输出层获取了输出序列中每个样本点的完整过去和未来的上下文信息。
所提出的双向长短期网络一层最终的输出是由所有输出组成的向量所表示，其中yt可以由式(8)计算得到：
其中Wy是隐藏层映射到输出层的权重矩阵，by是输出层的偏置向量，σy是输出层采用的Sigmoid激活函数。在进行预测时只考虑输出向量的最后一个元素
步骤4：构建脑内视觉图像重建模块：
4.1搭建深度卷积生成对抗神经网络(DCGAN)，如图3所示；
具体地，该框架由两个主要组件组成，生成器和判别器。将脑电信号和图像编码结合起来，和传统生成对抗网络框架最大的区别，深度卷积生成对抗网络的生成器的输出层和判别器的输入层中取消了归一化层，缓解了样本震荡和模型不稳定，极大地提升了生成对抗网络训练的稳定性以及生成图像质量。
4.2生成器网络接收1×1×256大小的组合向量作为输入，其中包括视觉特征编码器提取的大小为1×1×128脑电向量y以及1×1×128的随机噪声z。
4.3将1×1×256的输入向量重塑为一个四维向量，作为后面五层的输入，其中每一层包括三个操作：反卷积、批归一化和ReLU操作。
4.4每一层将输入向量的空间维度翻倍，同时减半其信道数量，最后一个通道通过Tanh函数输出在-1到1之间的压缩的128×128×3的RGB彩色图像。
4.5判别器网络采用一个由128×128×3图像及其相关的128维编码器输出h组成的级联输入向量。
4.6将输入向量重塑为一个四维向量，然后送入到一个由五层组成的序列中，每层包含三个操作，包括卷积、批归一化和ReLU操作，将输入向量的空间维度减半，同时将其通道数量翻倍。
4.7将最后一个卷积层的输出与相关的128维脑电信号映射y连接起来。最后一层被平坦化，然后输入到单个Sigmoid输出中。
步骤5：实验设置与训练
5.1实验分两个阶段来训练深度卷积生成对抗网络，在第一阶段，只使用来自的相同类型的图像集训练提出的深度框架，确保每个图像集包含至少1000张具有代表性的样本。在训练的前100个epoch中，不使用脑电信号数据，在此阶段脑电信号特征向量y与图像重要特征向量h的组合向量根据类别设为one-hot向量并扩展到与图像特征向量相同的维度。在200000次迭代后，将预训练好的模型保存下来。在第二个阶段中，使用视觉刺激实验中的2000张图像及其对应的脑电信号特征向量对预训练模型进行微调。具体地，将2000张图像和其对应的脑电信号特征向量输入到模型中，使用预训练模型中的生成器和判别器网络，并将它们结合在一起来构建完整的深度卷积生成对抗网络模型。最终输出条件向量，用于生成对应类别的图像样本。
5.2为了解决生成器和判别器之间难以平衡的问题，实验采用了双时间尺度更新方法(Twotimescale Update Rule,TTUR)。该技术使用两个不同的学习率来更新神经网络的参数，以平衡生成器和判别器更新之间的学习速率，引导生成器生成更加逼真的样本。具体来说，判别器学习率设置为0.0004，生成器学习率设置为0.0001，这样就可以在每个判别器步骤中使用更少的生成器步骤，从而更好地平衡两者之间的学习速率，提高生成器的效果。
5.3为了提高可视化效果，实验选择在极大极小博弈环境中同时训练生成器G(z|y)和鉴别器D(x|y,h)，总体目标函数V(D,G)可以跟根据公式计算：
其中pdata(x)指的是目标图像的分布，pz(x)指的是噪声样本分布，E指的是期望运算符，D(x|y,h)指的是目标图像在脑电信号特征向量y与图像重要特征向量h的组合向量约束下的判别结果，G(z|y)指的是使用噪声向量z和脑电信号特征向量y与图像重要特征向量h的组合向量生成图像的过程，D(G(z|y)|y,h)指的是通过噪声向量z与脑电信号特征向量y生成的图像在脑电信号特征向量y与图像重要特征向量h的组合向量的约束下的判别结果。
鉴别器的损失函数LD和生成器的损失函数LG采用的是hinge损失函数，其中通过在对抗性损失中加入收缩损失来修改生成器损失函数，鉴别器的损失函数LD和生成器的损失函数LG的具体信息如式(10)和式(11)所示：
LD＝-E[min(0,-1+(D(x|y,h))]-E[min(0,-1-(D(G(z)|y,h))] (10)
其中α和β是平衡对抗损失和收缩损失贡献的两个加权系数。
5.4结合仿真实验，对本发明的技术效果进行说明：
为了评估本发明提出的双条件下深度卷积生成对抗网络可视化的质量，并将可视化输出图像与现有工作在相同的实验设置下生成的图像进行比较，涉及的生成方法有：
1)VAE:基于变分自编码器的视觉图像重构方法；
2)cProGAN:基于条件渐进生长的改进生成对抗网络视觉图像重构方法；
3)VG-GAN:基于视觉提示的脑电信号特征表征和条件生成对抗网络的视觉图像重构方法；
4)VG-GAN-VC:在VG-GAN的基础之上加入了视觉一致性的保持项的视觉图像重构方法。
为了量化本方法所提出的深度框架的贡献，对列举的方法生成的5万张生成图像计算了IS值，即每个类别1250张生成图像。下表总结了本发明提出的深度框架IS值与现有先进技术的实验结果。
表5.1各个生成模型IS分数对比
由表可知，本发明提出的深度框架重建视觉图像的IS值达到了6.77，而基于脑电信号的VAE的重建视觉图像的IS值为4.49，cProGAN的重建视觉图像的IS得分为5.07，VG-GAN的重建视觉图像的IS得分为5.45，VG-GAN-VC的重建视觉图像的IS得分为6.26。
与现有的其它研究重建脑内视觉刺激的研究做比较，本发明采样的双条件下的深度卷积生成对抗网络方法在图像生成的质量上表现良好，清晰度有一定程度的提升。这表明本发明所提出的深度框能够将脑电信号特征转换为有意义的、与类别相关的图像，且图像重建质量良好。
图4展示了VAE、VG-GAN以及本发明所提DCGAN方法在南瓜灯、大熊猫与飞机三个类别的生成图像质量对比，从主观直觉上来看，本发明提出方法生成的对应类别下视觉刺激图像清晰度更高，具有更具辨识度的类别主体。这对提高人机交互的表达能力，解析人类视觉特征具有重要的应用价值。
Claims (10)
1.一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，包括以下步骤；
步骤1：构建脑电信号数据集；所述脑电信号数据集中，包括原始脑电信号；
步骤2：对脑电信号数据集中的原始脑电信号进行大脑偏侧化，用于体现大脑左右半球不同的分工；
步骤3：构建基于注意力机制的脑电信号编码模块，从经过大脑偏侧化处理的脑电信号S中提取与视觉特征相关的关键视觉特征；
步骤4：构建脑内视觉图像重建模块，用于在提取出关键视觉特征的基础之上，生成相应类别的视觉刺激图像；
步骤5：实验设置与训练，在极大极小博弈环境中同时训练生成器G(z|y)和鉴别器D(x|y,h)，解决训练过程中过拟合的问题，分两个阶段来进行深度卷积生成对抗网络的训练，提高可视化效果。
2.根据权利要求1所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤1具体为：
选用的视觉刺激来源于图像数据集中不同图像类别，所采用的图像均去除黑边，转化为500×500的分辨率图像；在这项实验中，受试者需要观看不同图像类别。
其中，脑电设备采样频率为1000赫兹，排除采样点小于480以及大于500的采样序列，将480-500长度的序列添加幅度为0的采样点使其统一为500采样序列长度；将每个图像对应脑电信号的前20个与后40个采用点舍弃，使用20-460ms中记录的440个采样点作为有效脑电数据进行实验，将处理好的脑电数据集按照4:1:1比例分为训练集、验证集和测试集，并且将所有被试对应的同一张图像的脑电信号置于同一集合。
3.根据权利要求1所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤2具体为：
将脑电信号数据集中原始的脑电信号输入记作其中表i示通道数，lch＝128表示脑电信号总共有128个通道，ei表示第i个通道的脑电信号；
将脑电信号分解为三个类别，根据电极的区域划分左半球电极群E[l]、中间电极群E[m]和右半球电极群E[r]，其中，左右半球电极是对称的，所述左半球电极群中的每一个通道都与右半球电极群中的每一个通道相对应，得到左右半球差异dj：
其中表示对应的左右半球通道，j∈[1,lg]表示通道的编号，lg表示左半球的通道数目；最后将差异化矩阵/>和中间电极群E[m]相乘得到一个变量S；
S＝[DTE[m]T] (2)
并将S作为输入。
4.根据权利要求1所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤3具体为：
步骤3.1：添加了注意力模块的长短期网络单元；
遗忘门ft由一个Sigmoid函数和一个点乘运算组成，它的输入包括前一时刻的输出ct-1和当前时刻的输入xt，输出为一个0到1之间的数值，用于控制细胞状态中哪些信息需要被遗忘；
输入门it由一个Sigmoid函数和一个点乘运算组成，它的输入包括前一时刻的输出ht-1和当前时刻的输入xt，以及一个用于计算当前候选细胞状态Tanh函数，输出为一个0到1之间的数值，用于控制新信息的输入和旧信息的保留；
输出门ot用于控制细胞状态中哪些信息需要输出的门控单元，将经过细胞状态处理的信息进行调节和筛选，只输出对当前任务有用的信息；
当输入t时刻的所有通道的信号s时，输入输出关系通过式(3)到(6)来计算：
at＝ReLU(Wast+Haht-1+ba) (3)
ft＝δ(Wfat+Hfht-1+bf) (4)
ut＝δ(Wuat+Huht-1+bu) (5)
ot＝δ(Woat+Hoht-1+bo) (6)
其中对于k∈{a,f,u,o}，Wk是将层映射到四个门的权值矩阵，Uk是连接上一个输出单元状态到四个门的权值矩阵，bk是偏置向量；采用软注意力门，不同通道输入的脑电信号与注意力门内的节点完全连接，权值矩阵W的大小取决于注意力门中的通道数量和节点的数量。
5.根据权利要求4所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，基于上式(6)的结果，长短期网络细胞单元输出ct可以由式(7)求出：
ct＝ft*ct-1+ut*(tanh(Hcht-1+Wcat+bc)) (7)
其中Wc是将层输入映射到替换存储单元的候选的权重矩阵，ft是遗忘门输出，ct-1是t-1时刻长短期网络细胞单元的输出，ut是连接上一个输出单元状态到四个门的权值矩阵，Hc是连接前一个单元输出状态到替换内存单元的候选的权重矩阵，at是t时刻的细胞状态，bc是偏差向量，函数tanh()表示双曲正切；
步骤3.2：构建双向长短期记忆网络；
利用步骤3.1添加注意力模块的长短期网络单元，搭建双向长短期记忆网络；
双向长短期记忆网络包括两个长短期记忆网络层：一个按照时间顺序处理输入序列的“前向长短期记忆网络”，和一个按照时间逆序处理输入序列的“后向长短期记忆网络”；在每个时间步上，输入数据同时进入前向和后向长短期记忆网络，分别计算它们的隐藏状态并合成一个向量，作为当前时间步的输出，保证了输出层获取了输出序列中每个样本点的完整过去和未来的上下文信息。
6.根据权利要求4所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，双向长短期网络一层最终的输出是由所有输出组成的向量所表示，其中yt由式(8)计算得到：
其中Wy是隐藏层映射到输出层的权重矩阵，by是输出层的偏置向量，σy是输出层采用的Sigmoid激活函数，在进行预测时只考虑输出向量的最后一个元素
7.根据权利要求1所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤4具体为：
步骤4.1：搭建深度卷积生成对抗神经网络(DCGAN)；
深度卷积生成对抗神经网络包括生成器和判别器，该网络将脑电信号S和图像编码结合起来，用以构建出有效地反向传递图像；
步骤4.2：生成器收1×1×256大小的组合向量作为输入，其中包括视觉特征编码器提取的大小为1×1×128脑电向量y以及1×1×128的随机噪声z；
步骤4.3：将1×1×256的输入向量重塑为一个四维向量，作为后面五层的输入，其中每一层包括三个操作：反卷积、批归一化和ReLU操作；
步骤4.4：每一层将输入向量的空间维度翻倍，同时减半其信道数量，最后一个通道通过Tanh函数输出在-1到1之间的压缩的128×128×3的RGB彩色图像；
步骤4.5：判别器网络采用一个由128×128×3图像及其相关的128维编码器输出h组成的级联输入向量；
步骤4.6：将输入向量重塑为一个四维向量，然后送入到一个由五层组成的序列中，每层包含三个操作，包括卷积、批归一化和ReLU操作，将输入向量的空间维度减半，同时将其通道数量翻倍；
步骤4.7将最后一个卷积层的输出与相关的128维脑电信号映射y连接起来，最后一层被平坦化，然后输入到单个Sigmoid输出中，生成相应类别的视觉刺激图像。
8.根据权利要求1所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤5具体为：
步骤5.1：实验分两个阶段来训练深度卷积生成对抗网络；
在第一阶段，只使用来自的相同类型的图像集训练提出的深度框架，确保每个图像集包含至少1000张具有代表性的样本，在训练的前100个epoch中，不使用脑电信号数据，在此阶段脑电信号特征向量y与图像重要特征向量h的组合向量根据类别设为one-hot向量并扩展到与图像特征向量相同的维度；在200000次迭代后，将预训练好的模型保存下来；
在第二个阶段中，使用视觉刺激实验中的2000张图像及其对应的脑电信号特征向量对预训练好的模型进行微调；
步骤5.2：将深度卷积生成对抗网络模型中的判别器学习率和生成器学习率分别设置为0.0004和0.0001；
步骤5.3：在极大极小博弈环境中同时训练生成器G(z|y)和鉴别器D(x|y,h)，总体目标函数V(D,G)跟根据公式计算：
其中pdata(x)指的是目标图像的分布，pz(x)指的是噪声样本分布，E指的是期望运算符，D(x|y,h)指的是目标图像在脑电信号特征向量y与图像重要特征向量h的组合向量约束下的判别结果，G(z|y)指的是使用噪声向量z和脑电信号特征向量y与图像重要特征向量h的组合向量生成图像的过程，D(G(z|y)|y,h)指的是通过噪声向量z与脑电信号特征向量y生成的图像在脑电信号特征向量y与图像重要特征向量h的组合向量的约束下的判别结果。
9.根据权利要求8所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤5.1的第二阶段中，将2000张图像和其对应的脑电信号特征向量输入到预训练好的模型中，使用预训练模型中的生成器和判别器网络，并将它们结合在一起来构建完整的深度卷积生成对抗网络模型；最终输出条件向量，用于生成对应类别的图像样本。
10.根据权利要求8所述的一种利用脑电信号和视觉特征进行图像重构的方法，其特征在于，所述步骤5.3中，鉴别器的损失函数LD和生成器的损失函数LG采用的是hinge损失函数，其中通过在对抗性损失中加入收缩损失来修改生成器损失函数，鉴别器的损失函数LD和生成器的损失函数LG的具体信息如式(10)和式(11)所示：
LD＝-E[min(0,-1+(D(x|y,h))]-E[min(0,-1-(D(G(z)|y,h))] (10)
LG＝-αE[D(z|y,h)]+βl1[pG(z|y),pdata(x)] (11)
其中α和β是平衡对抗损失和收缩损失贡献的两个加权系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310566689.3A CN116596046A (zh) | 2023-05-19 | 2023-05-19 | 一种利用脑电信号和视觉特征进行图像重构的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310566689.3A CN116596046A (zh) | 2023-05-19 | 2023-05-19 | 一种利用脑电信号和视觉特征进行图像重构的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116596046A true CN116596046A (zh) | 2023-08-15 |
Family
ID=87598726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310566689.3A Pending CN116596046A (zh) | 2023-05-19 | 2023-05-19 | 一种利用脑电信号和视觉特征进行图像重构的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596046A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117340280A (zh) * | 2023-12-05 | 2024-01-05 | 成都斐正能达科技有限责任公司 | 一种lpbf增材制造过程监测方法 |
-
2023
- 2023-05-19 CN CN202310566689.3A patent/CN116596046A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117340280A (zh) * | 2023-12-05 | 2024-01-05 | 成都斐正能达科技有限责任公司 | 一种lpbf增材制造过程监测方法 |
| CN117340280B (zh) * | 2023-12-05 | 2024-02-13 | 成都斐正能达科技有限责任公司 | 一种lpbf增材制造过程监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271964B (zh) | 基于深度学习模型与长短记忆网络的情绪识别方法及系统 | |
| CN112667080B (zh) | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 | |
| CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
| CN110090017B (zh) | 一种基于lstm的脑电信号源定位方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN110522412B (zh) | 基于多尺度脑功能网络分类脑电信号的方法 | |
| CN111714118A (zh) | 一种基于集成学习的脑认知模型融合方法 | |
| CN116596046A (zh) | 一种利用脑电信号和视觉特征进行图像重构的方法 | |
| CN114041795A (zh) | 基于多模态生理信息与深度学习的情绪识别方法及系统 | |
| Yang et al. | A novel deep learning scheme for motor imagery EEG decoding based on spatial representation fusion | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| Wang et al. | Multiband decomposition and spectral discriminative analysis for motor imagery BCI via deep neural network | |
| CN116244633A (zh) | 一种运动想象脑电信号分类方法及系统 | |
| CN113076878B (zh) | 基于注意力机制卷积网络结构的体质辨识方法 | |
| Li et al. | EEG signal processing based on genetic algorithm for extracting mixed features | |
| Havugimana et al. | Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings | |
| CN117224082A (zh) | 一种基于图学习优化算法的动态脑功能网络学习方法 | |
| CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 | |
| CN112259228B (zh) | 一种动态注意力网络非负矩阵分解的抑郁症筛选方法 | |
| Ahmadieh et al. | Visual image reconstruction based on EEG signals using a generative adversarial and deep fuzzy neural network | |
| Serkan et al. | VarioGram–A colorful time-graph representation for time series | |
| CN113255789A (zh) | 基于对抗网络和多被试脑电信号的视频质量评价方法 | |
| Das et al. | Cortical localization of the auditory temporal response function from meg via non-convex optimization | |
| Wang et al. | Residual learning attention cnn for motion intention recognition based on eeg data | |
| Huynh et al. | An investigation of ensemble methods to classify electroencephalogram signaling modes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |