CN112633099A - 基于Gabornet的大脑低级视觉区信号处理方法及系统 - Google Patents
基于Gabornet的大脑低级视觉区信号处理方法及系统 Download PDFInfo
- Publication number
- CN112633099A CN112633099A CN202011472030.4A CN202011472030A CN112633099A CN 112633099 A CN112633099 A CN 112633099A CN 202011472030 A CN202011472030 A CN 202011472030A CN 112633099 A CN112633099 A CN 112633099A
- Authority
- CN
- China
- Prior art keywords
- visual
- model
- image
- voxel
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 135
- 210000004556 brain Anatomy 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000000638 stimulation Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012512 characterization method Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于功能磁共振信号处理技术领域，特别涉及一种基于Gabornet的大脑低级视觉区信号处理方法及系统，包含：构建视觉编码模型，包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；利用样本数据对视觉编码模型进行训练优化；利用视觉编码模型对目标大脑低级视觉区信号进行预测，分析外部视觉刺激时目标大脑低级视觉区信号变化过程。本发明针对低级视觉区构建相应视觉编码模型，通过改善编码效果来提升对低视觉区大脑信号的预测效果。
Description
技术领域
本发明属于功能磁共振信号处理技术领域，特别涉及一种基于Gabornet的大脑低级视觉区信号处理方法及系统。
背景技术
近年来，神经影像技术取得了一系列进展，陆续出现了脑电(Electroencephalography,EEG)、脑磁(Magnetoencephalography,MEG)、功能性近红外光谱(functional Near-Infrared Spectroscopy,fNIRS)、功能磁共振成像(functionalMagnetic Resonance Imaging，fMRI)等一系列的非侵入式成像方法。在这些方法中，功能磁共振成像技术因其同时具备较高的空间分辨率和时间分辨率，被誉为“人脑思维阅读器”，已然成为了在宏观角度研究大脑视觉信息处理机制的最主要神经影像手段。
计算机视觉编码模型是以大脑的视觉感知机制为基础，通过建立一个大脑视觉信息处理的可计算编码模型来表述大脑对外界刺激的响应，以实现对大脑活动的预测，描述人类在感知和分析外部视觉刺激时自身脑信号的变化过程。基于fMRI的视觉信息编码技术旨在通过模拟大脑视觉系统信息处理方式分析大脑对于不同的外部视觉刺激所产生的响应，因此，研究视觉信息编码模型是认识大脑视觉信息加工机制需要面临一个最基本的问题。按照特征表达方式不同，可以把视觉编码方法大致分为基于手工设计特征的方式和基于深度网络特征的方式。在2014年前，深度网络方法尚未应用到视觉编解码领域时，主要依靠基于视觉机制手工设计特征的方式来实现视觉信息的编码。基于手工设计特征的视觉编码模型方面，Gabor小波特征和语义类别特征应用较为广泛、关注度较高，其中Gabor小波特征是一种基于体素感受野机制的结构化特征，主要适应于初级视觉区的体素编码。由于深度网络特征表达的丰富性和层次性在视觉区的编码效果上取得了较好的效果，掀起了深度学习在该领域的大量应用。但是，基于深度网络特征的视觉编码模型存在以下问题：(1)生物可解释不强；(2)在低中高级视觉区编码效果不佳。由此，现有编码模型在大脑低级视觉区信号处理领域中的应用存在限制。
发明内容
为此，本发明提供一种基于Gabornet的大脑低级视觉区信号处理方法及系统，融合手工设计特征和深度网络特征来构建针对低级视觉区的视觉编码模型，以提升低视觉区大脑信号识别效果。
按照本发明所提供的设计方案，一种基于Gabornet的大脑低级视觉区信号处理方法，包含如下内容：
构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
利用样本数据对视觉编码模型进行训练优化；
利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。
作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步的，视觉编码模型采用端到端的CNN卷积神经网络模型结构。
作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步地，卷积操作中，设置卷积核大小、卷积步幅及卷积通道数，对模型输入数据进行下采样，每层卷积操作后使用ReLU作为激活函数；通过体素回归模块来输出与视觉区体素个数相同的维度。
作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步地，Gabor卷积层中Gabor小波卷积核各个参数(ω，σ，φ，θ)通过反向传播算法学习得到。
作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步地，视觉编码模型采用ROI-wise方式，一次完成一个ROI中所有体素响应预测；通过样本数据中图片刺激和对应整个ROI的fMRI脑信号对模型进行端到端训练，联合优化模型参数。
作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步地，体素回归模块中采用自适应回归的动态权值进行全连接；并采用体素选择优化策略来选择有效体素，其中，权值的动态学习通过对原始权值进行平方来实现。
作为本发明基于Gabornet的大脑低级视觉区信号处理方法，进一步地，体素优化策略中，在模型预测的体素响应空间中加入高斯噪声；通过计算体素的预测响应空间和真实响应空间的相关系数来获取模型对体素的编码准确率；依据编码准确率在损失函数中对各个体素设置权重，并在损失函数中设置保真项和比例参数来对模型进行优化。
进一步地，本发明还提供一种基于Gabornet的大脑低级视觉区信号处理系统，包含：模型构建模块，模型学习模块和信号处理模块，其中，
模型构建模块，用于构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；
信号处理模块，用于利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。
本发明的有益效果：
本发明通过构建针对低级视觉区的视觉编码模型，有效的提高对低级视觉区最佳的预测性能，并且具有良好的表达能力和生物学解释性，提升低视觉区大脑信号识别效果，具有较好的应用前景。
附图说明：
图1为实施例中大脑低级视觉区信号处理流程示意；
图2为实施例中模型训练流程示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，参见图1所示，提供一种基于Gabornet的大脑低级视觉区信号处理方法，包含如下内容：
S101、构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
S102、利用样本数据对视觉编码模型进行训练优化；
S103、利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。
通过构建针对低级视觉区的视觉编码模型，有效的提高对低级视觉区最佳的预测性能，并且具有良好的表达能力和生物学解释性，提升低视觉区大脑信号识别效果。
作为本发明实施例中的基于Gabornet的大脑低级视觉区信号处理方法，进一步的，视觉编码模型采用端到端的CNN卷积神经网络模型结构。进一步地，卷积操作中，设置卷积核大小、卷积步幅及卷积通道数，对模型输入数据进行下采样，每层卷积操作后使用ReLU作为激活函数；通过体素回归模块来输出与视觉区体素个数相同的维度。
针对低级视觉区，即V1、V2和V3视觉区。在卷积操作中，卷积核大小可设定为3×3，设置卷积滤波器的步幅可设置为2来实现下采样，卷积通道数可统一设置为128，每层卷积操作后使用ReLU(Rectified Linear Units)作为激活函数。最后体素回归模块使用一个没有激活函数的全连接层，输出维度与该视觉区体素个数相同。
CNN卷积神经网络模型中，将第一层普通卷积层替换为Gabor卷积层，其核心是将卷积层中的卷积核换为参数可学习的结构化Gabor小波卷积核。Gabor卷积层包括两个通路，分为实Gabor小波通路和虚Gabor小波通路，每个通路卷积核个数为64个，卷积核的大小为9×9。输入图像经过两个通路后会各生成64张特征图，然后将这128张特征图拼接起来。将图像投影到Gabor滤波上，并进行卷积运算，从而获得图像在该Gabor滤波器上的投影值。
作为本发明实施例中的基于Gabornet的大脑低级视觉区信号处理方法，进一步地，Gabor卷积层中Gabor小波卷积核各个参数(ω，σ，φ，θ)通过反向传播算法学习得到。
Gabor小波卷积核的各个参数(ω,σ,
θ)由反向传播算法学习得到，其中σ是高斯函数内的标准差，控制Gabor小波的尺度变化。θ是显示滤波器的不同方向，Gabor小波基于θ从不同角度提取特征。ω代表正弦曲线内的空间频率，它控制了Gabor小波的波长和条形宽度的大小。对于Gabor卷积层中Gabor核的初始化，ω，θ的初始值按照以下公式设置：
σ以均匀分布U(0,5)初始化，
以均匀分布U(0,π)初始化，m指空间频率ω有5种变化，n指方向θ有8种变化。
作为本发明实施例中基于Gabornet的大脑低级视觉区信号处理方法，进一步地，视觉编码模型采用ROI-wise方式，一次完成一个ROI中所有体素响应预测；通过样本数据中图片刺激和对应整个ROI的fMRI脑信号对模型进行端到端训练，联合优化模型参数。
参见图2所示，融合后构成的Gabornet-VE编码模型由输入层、一层Gabor卷积层、两层普通的卷积层和一个全连接层组成。模型采用ROI-wise的编码方式，一次完成一个ROI中所有体素响应预测。由于每个ROI中体素个数不同，所以模型的全连接输出维度也不相同。用图片刺激和对应的整个ROI的fMRI脑信号对模型进行端到端训练，联合优化两部分中所有参数。模型采用Adam优化器，数据批处理的大小是128，学习率衰减系数为0.001。
作为本发明实施例中基于Gabornet的大脑低级视觉区信号处理方法，进一步地，体素回归模块中采用自适应回归的动态权值进行全连接；并采用体素选择优化策略来选择有效体素，其中，权值的动态学习通过对原始权值进行平方来实现。进一步地，体素优化策略中，在模型预测的体素响应空间中加入高斯噪声；通过计算体素的预测响应空间和真实响应空间的相关系数来获取模型对体素的编码准确率；依据编码准确率在损失函数中对各个体素设置权重，并在损失函数中设置保真项和比例参数来对模型进行优化。
Gabornet-VE模型可采用特征选择优化策略。模型学习到的每个特征对视觉ROI中每个体素的作用并不相同，这由全连接层的权重体现出来。为了让各个体素更加关注对自身更重要的特征而忽略无用的特征，模型在全连接层采用了自适应回归的动态权值。这种特征权值的动态学习方法是通过对原始权值进行平方来实现的。一个刺激图像通过三层卷积层Conv()变换到一个特征空间fi：
fi＝Conv(si)，
si表示输入的第i个刺激，特征空间fi经过全连接层之后得到预测的脑响应空间
普通权重被接触层，原来全连接层中的权重wfc被替换为
这样重要特征的权值变得更大，无用特征的权重进一步减小。另一方面，在训练过程中wfc的权重也由固定的学习率μ变为可动态调整的μwfc：
Gabornet-VE模型采用体素选择优化策略。根据稀疏编码理论，只有部分体素对特定刺激产生明显的响应，这些体素被称为有效体素，而那些没有明显响应的体素被称为噪声体素。为了使模型更加关注有效体素而忽视噪声体素，模型采用了体素选择优化策略。首先，在模型预测的体素响应空间
中加入均值为0方差为1的高斯噪声ng：
然后求第m个体素的预测响应空间
和真实响应空间rm的Pearson相关系数ρm，也称为模型对第m个体素的编码准确率：
因为Gabornet-VE采用的是ROI-wise的编码方式，所以损失函数loss要综合考虑整个视觉ROI中所有体素的编码准确率。而在损失函数loss中不只是简单的对整个视觉ROI中所有体素的编码准确率求平均，而是对各个体素加一个权重ηm，此处的
与特征策略优化相似，这样就实现了模型对有效体素的选择。另外，我们还在损失函数loss中加入保真项
自定义参数γ用于调节正则化项和保真项之间的比例，最终的loss函数形式可表示如下：
进一步地，基于上述的方法，本发明实施例还提供一种基于Gabornet的大脑低级视觉区信号处理系统，包含：模型构建模块，模型学习模块和信号处理模块，其中，
模型构建模块，用于构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；
信号处理模块，用于利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。
本发明方案结合手工设计特征和深度网络特征来构建编码模型，使模型同时兼顾可解释性和特征表达性，同时提高模型的编码性能。使用特征优化策略，模型学习到的每个特征对视觉ROI中每个体素的作用并不相同，这由全连接层的权重体现出来。模型在全连接层采用自适应回归的动态权值，使各个体素更加关注对自身更重要的特征而忽略无用的特征。并进一步在模型中使用体素选择优化策略，根据稀疏编码理论，只有部分体素对特定刺激产生明显的响应，这些体素被称为有效体素，而那些没有明显响应的体素被称为噪声体素。模型采用了体素选择优化策略，使模型更加关注有效体素而忽视噪声体素。针对低级视觉区，通过构建相适应的视觉编码模型，来提升网络特征表达的丰富性和层次性在视觉区的编码效果，能够较好地分析和识别大脑低级视觉区对于不同的外部视觉刺激所产生的响应，以提升网络模型在脑电信号处理上的应用。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
基于上述的方法或系统，本发明实施例还提供一种网络设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。
基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，包含如下内容：
构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
利用样本数据对视觉编码模型进行训练优化；
利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。
2.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，视觉编码模型采用端到端的CNN卷积神经网络模型结构。
3.根据权利要求1或2所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，卷积操作中，设置卷积核大小、卷积步幅及卷积通道数，对模型输入数据进行下采样，每层卷积操作后使用ReLU作为激活函数；通过体素回归模块来输出与视觉区体素个数相同的维度。
4.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，Gabor卷积层中Gabor小波卷积核各个参数(ω，σ，φ，θ)通过反向传播算法学习得到。
5.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，视觉编码模型采用ROI-wise方式，一次完成一个ROI中所有体素响应预测；通过样本数据中图片刺激和对应整个ROI的fMRI脑信号对模型进行端到端训练，联合优化模型参数。
6.根据权利要求1所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，体素回归模块中采用自适应回归的动态权值进行全连接；并采用体素选择优化策略来选择有效体素，其中，权值的动态学习通过对原始权值进行平方来实现。
7.根据权利要求6所述的基于Gabornet的大脑低级视觉区信号处理方法，其特征在于，体素优化策略中，在模型预测的体素响应空间中加入高斯噪声；通过计算体素的预测响应空间和真实响应空间的相关系数来获取模型对体素的编码准确率；依据编码准确率在损失函数中对各个体素设置权重，并在损失函数中设置保真项和比例参数来对模型进行优化。
8.一种基于Gabornet的大脑低级视觉区信号处理系统，其特征在于，包含：模型构建模块，模型学习模块和信号处理模块，其中，
模型构建模块，用于构建视觉编码模型，该模型包含：用于通过卷积操作将视觉刺激图像空间到图像特征空间映射的图像表征模块，和用于通过全连接将图像特征空间到视觉感兴趣区域体素空间映射的体素回归模块；其中，图像表征模块的卷积操作由Gabor卷积层和普通卷积层完成，Gabor卷积层通过将图像投影到Gabor滤波上并进行卷积运算来获得图像在Gabor滤波器投影；
模型学习模块，用于利用样本数据对视觉编码模型进行训练优化；
信号处理模块，用于利用优化后的视觉编码模型对目标大脑低级视觉区信号进行识别，以分析外部视觉刺激时目标大脑低级视觉区信号变化过程。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时执行权利要求1～7任一项所述的方法。
10.一种计算机设备，包含处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以执行权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472030.4A CN112633099B (zh) | 2020-12-15 | 2020-12-15 | 基于Gabornet的大脑低级视觉区信号处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011472030.4A CN112633099B (zh) | 2020-12-15 | 2020-12-15 | 基于Gabornet的大脑低级视觉区信号处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633099A true CN112633099A (zh) | 2021-04-09 |
| CN112633099B CN112633099B (zh) | 2023-06-20 |
Family
ID=75312852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011472030.4A Active CN112633099B (zh) | 2020-12-15 | 2020-12-15 | 基于Gabornet的大脑低级视觉区信号处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633099B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2605270A (en) * | 2022-02-07 | 2022-09-28 | Cogitat Ltd | Classification of brain activity signals |
| CN116453169A (zh) * | 2023-06-19 | 2023-07-18 | 南昌大学 | 一种指节纹识别方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778240A (zh) * | 2014-02-10 | 2014-05-07 | 中国人民解放军信息工程大学 | 基于功能磁共振成像和图像字典稀疏分解的图像检索方法 |
| CN106056602A (zh) * | 2016-05-27 | 2016-10-26 | 中国人民解放军信息工程大学 | 基于CNN的fMRI视觉功能数据目标提取方法 |
| JP2019032767A (ja) * | 2017-08-09 | 2019-02-28 | 国立研究開発法人情報通信研究機構 | 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法 |
| CN109615608A (zh) * | 2018-11-13 | 2019-04-12 | 昆明理工大学 | 一种人脑活动中自然图像贝叶斯重建的方法 |
| CN109816630A (zh) * | 2018-12-21 | 2019-05-28 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
| US20190159712A1 (en) * | 2009-03-30 | 2019-05-30 | Donald H. Marks | Brain function decoding process and system |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN110245621A (zh) * | 2019-06-17 | 2019-09-17 | 深圳Tcl新技术有限公司 | 人脸识别装置及图像处理方法、特征提取模型、存储介质 |
| CN111401156A (zh) * | 2020-03-02 | 2020-07-10 | 东南大学 | 基于Gabor卷积神经网络的图像识别方法 |
-
2020
- 2020-12-15 CN CN202011472030.4A patent/CN112633099B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190159712A1 (en) * | 2009-03-30 | 2019-05-30 | Donald H. Marks | Brain function decoding process and system |
| CN103778240A (zh) * | 2014-02-10 | 2014-05-07 | 中国人民解放军信息工程大学 | 基于功能磁共振成像和图像字典稀疏分解的图像检索方法 |
| CN106056602A (zh) * | 2016-05-27 | 2016-10-26 | 中国人民解放军信息工程大学 | 基于CNN的fMRI视觉功能数据目标提取方法 |
| JP2019032767A (ja) * | 2017-08-09 | 2019-02-28 | 国立研究開発法人情報通信研究機構 | 脳活動予測装置、知覚認知内容推定システム、及び脳活動予測方法 |
| CN109615608A (zh) * | 2018-11-13 | 2019-04-12 | 昆明理工大学 | 一种人脑活动中自然图像贝叶斯重建的方法 |
| CN109816630A (zh) * | 2018-12-21 | 2019-05-28 | 中国人民解放军战略支援部队信息工程大学 | 基于迁移学习的fMRI视觉编码模型构建方法 |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN110245621A (zh) * | 2019-06-17 | 2019-09-17 | 深圳Tcl新技术有限公司 | 人脸识别装置及图像处理方法、特征提取模型、存储介质 |
| CN111401156A (zh) * | 2020-03-02 | 2020-07-10 | 东南大学 | 基于Gabor卷积神经网络的图像识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| ANDREY ALEKSEEV等: "GaborNet: Gabor filters with learnable parameters in deep convolutional neural network", 《2019 INTERNATIONAL CONFERENCE ON ENGINEERING AND TELECOMMUNICATION》 * |
| KAI QIAO等: "Effective and efficient ROI-wise visual encoding using an end-to-end CNN regression model and selective optimization", 《ARXIV》 * |
| 于子雅等: "基于ｆＭＲＩ 的视觉信息编码模型研究综述", 《信息工程大学学报》 * |
| 刘静等: "混合Gabor 的轻量级卷积神经网络的验证码识别研究", 技术研究 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2605270A (en) * | 2022-02-07 | 2022-09-28 | Cogitat Ltd | Classification of brain activity signals |
| CN116453169A (zh) * | 2023-06-19 | 2023-07-18 | 南昌大学 | 一种指节纹识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633099B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Central and peripheral vision for scene recognition: A neurocomputational modeling exploration | |
| Oh et al. | Design automation by integrating generative adversarial networks and topology optimization | |
| CN112633099A (zh) | 基于Gabornet的大脑低级视觉区信号处理方法及系统 | |
| Eliseyev et al. | Recursive N-way partial least squares for brain-computer interface | |
| Duanmu et al. | Quantifying visual image quality: A bayesian view | |
| Xu et al. | Pulse-coupled neural networks and parameter optimization methods | |
| Seghouane et al. | The adaptive block sparse PCA and its application to multi-subject FMRI data analysis using sparse mCCA | |
| Yan et al. | Attention-guided dynamic multi-branch neural network for underwater image enhancement | |
| Zhao et al. | LDA-GAN: Lightweight domain-attention GAN for unpaired image-to-image translation | |
| CN112686098B (zh) | 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统 | |
| Kavitha et al. | Optimized deep knowledge-based no-reference image quality index for denoised MRI images | |
| Yang et al. | 3D spatially-adaptive canonical correlation analysis: Local and global methods | |
| Sun et al. | Decoding realistic images from brain activity with contrastive self-supervision and latent diffusion | |
| Raman et al. | Predictive coding: a possible explanation of filling-in at the blind spot | |
| Wang et al. | Efficient bubbles for visual categorization tasks | |
| CN116823659A (zh) | 一种基于深度特征提取的微光图像增强方法 | |
| Li et al. | Fusion of ANNs as decoder of retinal spike trains for scene reconstruction | |
| Khan et al. | Stopping criterion for anisotropic image diffusion | |
| CN113435234B (zh) | 一种基于双模态视频eeg数据的驾驶员视觉显著性区域预测方法 | |
| Madi et al. | Hybrid Cubature Kalman filtering for identifying nonlinear models from sampled recording: Estimation of neuronal dynamics | |
| CN112950654B (zh) | 基于多核学习与超像素核低秩表示的脑肿瘤图像分割方法 | |
| Kumar et al. | CNN-based denoising system for the image quality enhancement | |
| CN111080730A (zh) | 基于跨通道和空间加权卷积特征的脑图像解码方法及系统 | |
| CN117274256B (zh) | 一种基于瞳孔变化的疼痛评估方法、系统及设备 | |
| Faltyn | Convolutional neural network compression via tensor decomposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |