CN115187610A - 基于图神经网络的神经元形态分析方法、设备及存储介质 - Google Patents

基于图神经网络的神经元形态分析方法、设备及存储介质 Download PDF

Info

Publication number
CN115187610A
CN115187610A CN202211118672.3A CN202211118672A CN115187610A CN 115187610 A CN115187610 A CN 115187610A CN 202211118672 A CN202211118672 A CN 202211118672A CN 115187610 A CN115187610 A CN 115187610A
Authority
CN
China
Prior art keywords
neuron
data
graph
neural network
morphological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211118672.3A
Other languages
English (en)
Other versions
CN115187610B (zh
Inventor
陈雪锦
吴枫
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Publication of CN115187610A publication Critical patent/CN115187610A/zh
Application granted granted Critical
Publication of CN115187610B publication Critical patent/CN115187610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图神经网络的神经元形态分析方法、设备及存储介质，方法包括：步骤1，接收待分析的神经元形态数据，将神经元形态数据生成为神经元图数据；步骤2，通过预先以对比学习方式训练好的形态感知深度哈希图神经网络从所述神经元图数据提取神经元形态特征；步骤3，将所述形态感知深度哈希图神经网络所提取的神经元形态特征通过二值化获得对应的神经元形态哈希编码，所述神经元形态哈希编码用于神经元形态分类或者神经元检索。该方法使得图神经网络模型可以在没有人工标注数据的情况下，学习神经元形态数据的哈希编码特征。

Description

基于图神经网络的神经元形态分析方法、设备及存储介质
技术领域
本发明涉及生物图像数据处理领域，尤其涉及一种基于图神经网络的神经元形态分析方法。
背景技术
神经元作为大脑神经系统的基本组成单元，在脑科学研究当中有着至关重要的作用。神经元形态是神经元活动、神经可塑性和神经连通性的关键性决定因素，被认为与神经元生理特性和神经元功能密切相关。因此，对大规模神经元形态数据实现自动地分析，将极大地帮助人们了解大脑神经系统的功能机制、理解大脑认知机理以及促进人们对于老年痴呆症和阿尔茨海默症等脑神经相关疾病的理解。
近年来，科研工作者针对神经元形态分析投入了大量的研究工作。考虑到神经元具有特殊的树枝状特征，大多数已有方法都是根据手工特征对神经元进行定量测量来描述神经元形态特征，如：文献2：Scorcioni R., et al., “L-Measure: A web-accessibletool for the analysis, comparison and search of digital reconstructions ofneuronal morphologies”, in Nature protocols, 2008；文献3：Y. Wan, et al.,“BlastNeuron for Automated Comparison, Retrieval and Clustering of 3D NeuronMorphologies”, in Neuroinformatics, 2015；文献4：Kanari Li, et al., “Atopological representation of branching neuronal morphologies”, inNeuroinformatics, 2018；文献5：Batabyal Tamal, et al., “NeuroPath2Path:Classification and elastic morphing between neuronal arbors using path-wisesimilarity”, in Neuroinformatics, 2020等文献公开的方法。这些手工特征通常包括神经元的胞体表面积、总长度、分叉数量和分叉夹角等等。然而，上述这些方法所使用的手工特征往往难以对神经元大量细粒度的形态差异进行准确地区分。近年来，基于学习的神经元形态分析方法开始借助深度神经网络的力量来提高神经元形态表征的性能，如：文献6：Z. Li, et al., “Large-scale exploration of neuronal morphologies using deeplearning and augmented reality”,in Neuroinformatics, 2018；文献7：Z. Li, etal., “Towards computational analytics of 3D neuron images using deepadversarial learning”,in Neurocomputing, 2021等文献公开的方法。这些方法先将神经元形态数据沿着坐标轴方向投影为三张二维图像，然后使用现有的深度神经网络方法，例如自动编码器，基于二维投影图像学习神经元形态特征。然而，在对神经元形态数据进行二维投影的过程中，难免会大量丢失神经元复杂的形态信息，进而影响形态表征的准确性。
针对大规模神经元形态数据的检索任务，以往方法均采用一种两阶段特征提取策略，如：Z. Li, et al., “Large-scale exploration of neuronal morphologies usingdeep learning and augmented reality”, in Neuroinformatics, 2018；Z. Li, etal.,“Towards computational analytics of 3D neuron images using deepadversarial learning”, in Neurocomputing, 2021等文献公开的方法。这类方法首先基于手工特征或者深度神经网络来提取浮点数型的神经元形态特征，然后应用现有的哈希算法将浮点数型特征转换为二值化哈希编码。然而，这类方法在对特征进行二值化的过程中不可避免地会丢失大量信息，进而影响神经元形态的检索精确度。
有鉴于此，特提出本发明。
发明内容
本发明的目的是提供了一种基于图神经网络的神经元形态分析方法、设备及存储介质，能以对比学习使图神经网络在线学习神经元形态表征，并以二进制哈希编码方式，获得分辨能力强的神经元形态特征，进而解决现有技术中存在的上述技术问题。
本发明的目的是通过以下技术方案实现的：
本发明实施方式提供一种基于图神经网络的神经元形态分析方法，包括：
步骤1，接收待分析的神经元形态数据，将神经元形态数据生成为神经元图数据；
步骤2，通过预先以对比学习方式训练好的形态感知深度哈希图神经网络从所述神经元图数据提取神经元形态特征；
步骤3，将所述形态感知深度哈希图神经网络所提取的神经元形态特征通过二值化获得对应的神经元形态哈希编码，所述神经元形态哈希编码用于神经元形态分类或者神经元检索。
本发明实施方式还提供一种处理设备，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现本发明所述的方法。
本发明实施例进一步一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现本发明所述的方法。
与现有技术相比，本发明所提供的基于图神经网络的神经元形态分析方法、设备及存储介质，其有益效果包括：
通过将神经元形态数据生成为神经元图数据，实现了在保留神经元所有形态信息的情况下构建一种图数据，便于图神经网络基于生成的图数据学习神经元形态特征，通过以对比学习方式训练的形态感知深度哈希图神经网络，能从神经元图数据提取神经元形态特征，捕获更有辨识力的神经元形态特征，同时基于神经元的几何属性（例如神经元节点的坐标、半径）和拓扑属性（例如神经元分叉夹角、神经元分支长度）学习神经元形态特征，由于利用连接对比学习机制，通过最大化同一样本在不同变换方法下的特征一致性来让图神经网络实现无监督地学习数据特征；由于形态感知深度哈希图神经网络含有以渐进式学习离散优化方式训练的深度哈希编码网络层，能实现在线学习神经元形态的二进制哈希编码表征，该分析方法能高效地学习神经元形态的二进制哈希编码表征，显著提高了大规模神经元形态数据的分析效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于图神经网络的神经元形态分析方法的流程图。
图2为本发明实施例提供方法所分析的神经元形态数据的示意图；其中，(a)为Ganglion神经元形态数据的示意图；(b)为Pyramidal神经元形态数据的示意图；(d)为Purkinje神经元形态数据的示意图；(d)为Medium spiny神经元形态数据的示意图。
图3为本发明实施例提供的三种神经元形态数据增广方式的示意图；其中，(a)为输入神经元形态数据的示意图；(b)为神经元节点扰动得到的增广神经元形态数据的示意图；(c)为神经元分支裁剪得到的增广神经元形态数据的示意图；(d)为神经元随机旋转得到的增广神经元形态数据的示意图。
图4为本发明实施例提供的神经元图数据生成方式示意图；其中，(a)为输入神经元形态数据的示意图；(b)为神经元采样的示意图；(c)为构造的图数据的示意图。
图5为本发明实施例提供的基于图神经网络的神经元形态分析方法的总体训练框架示意图；其中，(a)为的神经元形态数据增广模块和神经元图数据生成模块的示意图；(b)为形态感知图神经网络的示意图；(c)为深度哈希编码网络层的示意图；(d)为对比学习层的示意图。
图6为本发明实施例提供的方法中对待检测神经元形态数据示例一的检索结果示意图。
图7为本发明实施例提供的方法中对待检测神经元形态数据示例二的检索结果示意图。
图8为本发明实施例提供的方法中对待检测神经元形态数据示例三的检索结果示意图。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化描述，而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本文的限制。
下面对本发明所提供的基于图神经网络的神经元形态分析方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
如图1所示，本发明实施例提供一种基于图神经网络的神经元形态分析方法，包括如下步骤：
步骤1，接收待分析的神经元形态数据，将神经元形态数据生成为神经元图数据；
步骤2，通过预先以对比学习方式训练好的形态感知深度哈希图神经网络从所述神经元图数据提取神经元形态特征；
步骤3，将所述形态感知深度哈希图神经网络所提取的神经元形态特征通过二值化获得对应的神经元形态哈希编码，所述神经元形态哈希编码用于神经元形态分类或者神经元检索。
上述方法的步骤1中，按以下方式将神经元形态数据生成为神经元图数据，包括：
从保存所述神经元形态数据的SWC文件中提取所有神经元节点的三维坐标，并确定神经元胞体的位置；
将所有神经元节点移动到一个以神经元胞体的位置作为坐标原点的统一的笛卡尔三维坐标空间中；
在保留所有分叉点和端点的同时，对每一个神经元分支按照预设微米的间隔进行重采样得到初始神经元形态数据，所述预设微米的间隔是指神经元骨架上相邻两个神经元节点的距离为预先设定的长度；
对初始神经元图数据进行重采样去除冗余的神经元节点得到最终的神经元形态数据；
根据最终的神经元形态数据构造图数据作为生成的神经元图数据，所构造的图数据中，神经元形态数据的所有神经元节点集合用作图数据的图节点集合，图数据中所有边的集合由神经元节点之间的连接关系确定，图数据的边对应神经元分支上每一对相邻的神经元节点，神经元节点的三维空间坐标和神经元节点半径被用来初始化图数据的节点的特征向量，将神经元节点到胞体的路径距离和该神经元节点处神经元分叉角的统计信息添加到初始化特征中。
上述方法中，按以下方式以对比学习方式训练形态感知深度哈希图神经网络，包括：
步骤S1，在网络训练每一次迭代中，从训练数据集按预定数量随机抽取N个神经元形态数据，并通过神经元形态数据增广处理和神经元图数据生成处理来生成2N个增广神经元图数据；
步骤S2，从抽取的N个神经元形态数据中第n个神经元形态数据对应的两个增广神经元图数据获得对应的正样本对为zi与zj，从同一份抽取的N个神经元形态数据中的其他2(N-1)个增广神经元图数据获得负样本对zi与zK，i≠k；
步骤S3，计算归一化的温度缩放交叉熵损失函数来计算梯度训练形态感知深度哈希图神经网络，该温度缩放交叉熵损失函数为：
Figure 100002_DEST_PATH_IMAGE001
；
其中，τ表示温度参数；
Figure 100002_DEST_PATH_IMAGE002
为正样本对zi与zj的相似度，是归一化样本对zi与zj之间的余弦相似度，计算公式为：
Figure 100002_DEST_PATH_IMAGE003
步骤S4，判断是否满足设定的训练结束条件，若否，则按步骤S1～S3进行下一次迭代训练，若是，则完成形态感知深度哈希图神经网络的训练，得到训练好的形态感知深度哈希图神经网络。
优选的，实际使用时，本发明基于一张带有 11GB 显存的 GeForce GTX 1080Ti显卡来处理完成，可采用 Pytorch 深度学习框架来实现 Hash-MACGNN 网络。形态感知深度哈希图神经网络按照均值为 0、方差为 0.01 的高斯分布来进行随机初始化。实验使用带有动量的 Adam 优化器，其权重衰减系数为 0.0005，动量参数为 0.9；网络训练时，每一次训练所抓取的数据样本数量（batch size）设为 2048，最大训练阶段数设为 350，初始学习率为 0.01，随机丢弃层的参数为 0.5。学习率在训练过程中每经过 20 个训练阶段就衰减 20%；每个子网络都由 5 个网络层组成，每个多层感知机都包含 2 个全连接层；网络隐藏层的通道数为 64；网络输出层的通道数，即二进制哈希编码的比特数为 64；对比损失函数中的温度参数τ被设置为 0.2，神经元重采样过程中的参数s被设置为 50 微米，采用最大池化操作来生成整个图数据的特征向量。
上述方法的步骤S1中，神经元形态数据增广处理为以下三种方式中的至少两种，包括：
方式一，通过神经元节点扰动的数据增广方式：
对神经元形态数据的预定比例的神经元节点，在预定的三维移动范围内随机移动神经元节点坐标对神经元形态进行扰动得出的新神经元节点形态数据作为增广神经元形态数据；
方式二，通过神经元分支裁剪的数据增广方式：
从神经元形态数据按照预定的概率选取除神经元胞体外的一部分神经元节点，将这些神经元节点的子分支进行裁剪得出的新神经元节点形态数据作为增广神经元形态数据；
方式三，通过神经元随机旋转的数据增广方式：
按照指定的角度θ沿着三个坐标轴方向中的任意一个对神经元形态数据进行旋转得出的新神经元节点形态数据作为增广神经元形态数据。
上述方法中，所述形态感知深度哈希图神经网络包括：
输入层、数据增广模块、图数据生成模块、形态感知图神经网络、深度哈希编码网络层和对比学习层；其中、
所述输入层能接收神经元形态数据；
所述数据增广模块，与所述输入层连接，能对所述输入层接收的神经元形态数据以选定的两种数据增广方式进行数据增广得到增广神经元形态数据；
所述图数据生成模块，与所述数据增广模块连接，能将所述数据增广模块输出的增广神经元形态数据生成为神经元图数据；
所述形态感知图神经网络，与所述图数据生成模块连接，能从所述图数据生成模块生成的神经元图数据提取神经元形态特征；
所述深度哈希编码网络层，与所述形态感知图神经网络连接，能以渐进式学习离散优化方式从所述形态感知图神经网络提取的神经元形态特征提取对应的哈希编码；
所述对比学习层，与所述深度哈希编码网络层连接，基于对比学习损失函数以无监督方式训练共享的形态感知图神经网络和共享的深度哈希编码网络层来最大化正样本对的两个输出特征的一致性。
上述方法中，所述形态感知图神经网络包括：
输入层、双支路图特征提取层、加权求和拼接层和输出层；
所述输入层采用卷积神经网络，所述输入层与所述双支路图特征提取层连接，能接收输入的神经元图数据；
所述双支路图特征提取层包括：
能从神经元图数据提取几何特征的几何图神经子网络和能从神经元图数据提取拓扑特征的拓扑图神经子网络；
所述几何图神经子网络与拓扑图神经子网络并列设置，几何子图神经网络和拓扑图神经网络的输入端均与所述输入层连接，几何子图神经网络和拓扑图神经网络的输出端经所述加权求和拼接层与所述输出层连接。
上述方法中，所述几何图神经子网络与拓扑图神经子网络均采用GIN图神经网络结构，均由k个图神经网络层组成，几何图神经子网络(s=1)或拓扑图神经子网络(s=2)的第k个网络层上，节点v n 的图聚合特征
Figure 100002_DEST_PATH_IMAGE004
为：
Figure 100002_DEST_PATH_IMAGE005
上式中，θ是一个能在线学习或者固定的参数，使近邻聚合操作成为一个单射函数；s=1时计算的是几何图神经子网络的特征；s=2时计算的是拓扑图神经子网络的特征；MLP()表示通过多层感知机进行非线性变换；βn,i为所有一阶邻居节点的形态注意力系数，该形态注意力系数通过以下方式计算得出，包括：
Figure 100002_DEST_PATH_IMAGE006
上式中，
Figure 100002_DEST_PATH_IMAGE007
表示节点vn所有一阶邻居节点vi的集合；ci表示邻居节点vi在节点vn的信息聚合过程中的重要度系数，该ci通过以下公式计算得出，为：
Figure 100002_DEST_PATH_IMAGE008
其中，di表示节点vi与神经元胞体vsoma在神经元图数据上的最短路径距离；ε是保证数值稳定的常量，默认值为1.0；
将来自所有图神经网络层的k个图聚合特征进行拼接生成第个s个子网络最终的图特征
Figure 100002_DEST_PATH_IMAGE009
：
Figure 100002_DEST_PATH_IMAGE010
上式中，READOUT采用最大池化函数；CONCAT()为组合函数；
加权求和拼接层通过以下方式将几何图神经子网络与拓扑图神经子网络分别获得的图特征h(G,top)和h(G,geo)进行加权求和方式组合，生成整个网络输出的最终图特征h G ：
Figure 100002_DEST_PATH_IMAGE011
其中，γtop和γgeo分别是在线学习的参数，用来分别控制拓扑图神经子网络和几何图神经子网络输出特征融合时的重要程度；
输出层通过一个多层感知机对加权求和拼接层输出的F维的特征向量
Figure 100002_DEST_PATH_IMAGE012
进行非线性变换得到的M维特征向量
Figure 100002_DEST_PATH_IMAGE013
，即为神经元形态特征。
上述方法中，所述深度哈希编码网络层在训练阶段的输出特征向量为：
Figure 100002_DEST_PATH_IMAGE014
其中，α为一个不参与训练的参数，在训练过程中从0.0逐渐增加到1.0； b i 为浮点数型的M维特征向量zi直接转换为M比特的哈希编码，
Figure 100002_DEST_PATH_IMAGE015
；
上述的深度哈希图神经网络是一种渐进式训练方法，因为：对于一个输入图数据
Figure 100002_DEST_PATH_IMAGE016
，形态感知图神经网络提取的中间特征hi通过一个多层感知机能够转换为
Figure 100002_DEST_PATH_IMAGE017
维的特征向量
Figure DEST_PATH_IMAGE018
。为了生成二进制哈希编码，采用
Figure DEST_PATH_IMAGE019
函数来将浮点数型的M维特征向量zi直接转换为M比特的哈希编码
Figure 128674DEST_PATH_IMAGE015
；
Figure DEST_PATH_IMAGE020
为了解决上式的离散优化问题，本发明采用一种直通梯度估计器STE（Straight-Through Estimator）训练方法，与形态感知图神经网络相结合得到可端到端训练的深度哈希图神经网络，能够让形态感知图神经网络和二值化哈希编码步骤连接，在使用非平滑的
Figure 108131DEST_PATH_IMAGE019
激活函数的同时进行端到端地训练。在网络的前向传播过程中，
Figure 953115DEST_PATH_IMAGE019
激活函数基于浮点数型特征zi生成二进制哈希编码bi；在网络训练的反向传播过程中，哈希编码bi的梯度会被直接复制给浮点数型特征zi来完成梯度信息的反向传递；但这种直接梯度拷贝的操作，让标准STE方法在网络反向传播过程中容易受到梯度误差噪声的影响，使得网络训练变得不够稳定。为此，本发明设计的进式学习的离散优化AB-STE（alpha-blending basedSTE）方法，能改进标准STE方法的问题。本发明通过将浮点数型特征向量zi与对应的二进制哈希编码bi相结合，并使zi在训练期间能够不断地近似bi。具体地，不同于标准STE方法仅依赖
Figure 348324DEST_PATH_IMAGE019
阶跃函数对特征进行二值化，而本发明的AB-STE方法能够同时对特征向量zi与哈希编码bi的仿射组合进行在线优化，得到的M维特征向量ei被定义为：
Figure 225013DEST_PATH_IMAGE014
其中，ei为形态感知图神经网络输出的M维特征向量；α为一个不参与训练的参数，在训练过程中从0.0逐渐增加到1.0；b i 为浮点数型的M维特征向量zi直接转换为M比特的哈希编码，
Figure 47476DEST_PATH_IMAGE015
；
基于本发明的形态感知图神经网络的提取方法，神经元形态能够通过网络提取的浮点数型特征
Figure DEST_PATH_IMAGE021
来描述。但是，使用这些浮点数型特征对神经元形态数据展开检索分析是十分低效的，尤其是在处理大规模神经元形态数据库时。而本发明通过上述渐进式学习的深度哈希算法与形态感知图神经网络的提取方法相结合，得出形态感知深度哈希图神经网络的分析方法，即Hash-MACGNN，实现在线学习神经元形态数据的二进制哈希表征。
所述对比学习层是以最大化正样本对之间的相似性的归一化的温度缩放交叉熵损失函数作为对比学习损失函数，该温度缩放交叉熵损失函数为：
Figure DEST_PATH_IMAGE022
其中，τ表示温度参数；
Figure 376826DEST_PATH_IMAGE002
为正样本对zi与zj的相似度，是归一化样本对zi与zj之间的余弦相似度，计算公式为：
Figure DEST_PATH_IMAGE023
其中，正样本对zi、zj是从N个神经元形态数据中获得，N个神经元形态数据是从训练数据集按预定数量随机抽取的，负样本对是从N个神经元形态数据中的其他2（N-1）个增广神经元形态数据获得，增广神经元图数据是利用N个神经元形态数据依次通过神经元形态数据增广和神经元图数据生成得到的2N个增广神经元图数据。
本发明实施例还提供一种处理设备，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现上述的方法。
本发明实施例进一步提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现上述的方法。
综上可见，本发明实施例的分析方法，通过将神经元形态数据生成为神经元图数据，实现了在保留神经元所有形态信息的情况下构建图数据，便于图神经网络基于生成的图数据可以学习神经元形态特征，通过采用形态感知图神经网络以对比学习方式从神经元图数据提取神经元形态特征，能够捕获更有辨识力的神经元形态特征，同时基于神经元的几何属性（例如神经元节点的坐标、半径）和拓扑属性（例如神经元分叉夹角、神经元分支长度）学习神经元形态特征，该形态感知图神经网络利用对比学习机制，通过最大化同一样本在不同变换方法下的特征一致性来让图神经网络实现无监督地学习数据特征；通过采用预先以渐进式学习离散优化方式训练好的深度哈希图神经网络，实现在线学习神经元形态的二进制哈希编码表征，该分析方法能高效地学习神经元形态的二进制哈希编码表征，显著提高了大规模神经元形态数据的分析效率。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的基于图神经网络的神经元形态分析方法进行详细描述。
实施例1
如图1所示，本发明实施例提供一种基于图神经网络的神经元形态分析方法，是一种基于图卷积网络的无监督神经元形态表征学习和分析方法，该方法基于无监督学习机制的形态感知图卷积网络和基于渐进式学习机制的离散优化算法，使得图神经网络能够在线学习神经元形态的二进制哈希编码表征，解决神经元形态的复杂多样性、人工标注的缺乏以及神经元形态数据的海量规模等对神经元形态分析造成不利影响的问题。本发明的神经元形态分析方法，步骤如下：
首先，考虑到神经元形态数据在三维空间中具有树状的拓扑特征，本发明将神经元形态分析任务转化为图数据的结构分析任务，并设计了一种神经元图数据生成方式，能在保留神经元所有形态信息的情况下构建图数据。图神经网络基于生成的图数据可以学习神经元形态特征。为了能够捕获更有辨识力的神经元形态特征，本发明采用一种形态感知图神经网络MACGNN（Morphology-Aware Contrastive Graph Neural Network），可以同时基于神经元的几何属性（例如神经元节点的坐标、半径）和拓扑属性（例如神经元分叉夹角、神经元分支长度）学习神经元形态特征。考虑到人工标注的匮乏，采用了一种对比学习机制，通过最大化同一样本在不同变换方法下的特征一致性来让图神经网络实现无监督地学习数据特征。
本发明以数据增广方式获得增广数据作为对比学习的训练数据，本发明设计了三种类型的神经元形态数据增广方式，每一种神经元形态数据增广方法都启发于神经元形态学的先验知识。具体包括神经元节点扰动、分枝裁剪和旋转。
针对大规模神经元形态数据的检索任务，本发明提出了一种单阶段的神经元形态哈希编码学习方法，通过设计一种渐进式离散优化算法（可称为AB-STE（Alpha-Blendingbased Straight-Through Estimator），与形态感知图神经网络相结合实现深度哈希图神经网络方法Hash-MACGNN，实现了能够无监督训练深度哈希图神经网络，在线学习神经元形态的二进制哈希编码表征。
本发明首先基于神经生物学先验知识提出三种神经元形态数据增广方法；然后针对神经元形态数据提出神经元图数据生成方法，将神经元形态分析问题转化为图数据特征提取问题；接着通过一种形态感知图神经网络提取神经元形态特征，并引入对比学习机制，实现神经元形态特征的无监督学习；最后进一步提出一种深度哈希图神经网络方法，通过设计一种渐进式学习机制的离散优化算法，使得网络能够在线学习神经元形态特征的哈希编码表达，改善大规模神经元形态数据的分析效率。
下面对各步骤的具体处理方式做详细解释说明。
（一）神经元形态数据增广方法
考虑到大规模神经元形态数据的人工标注难以获得，网络需要在不依赖人工标注数据的情况下学习神经元形态特征。为此，本发明采用了一种对比学习机制，通过训练网络比较不同样本以及同一样本在不同增广方式下的表达来学习神经元形态特征。数据增广作为对比学习机制的前提要求，旨在通过对原始输入数据应用某种变换方法来生成新的数据，并且不会影响数据的类别属性。如图2所示，神经元形态数据在三维空间中具有树状的拓扑特征，图2中，(a)为Ganglion神经元形态数据的示意图；(b)为Pyramidal神经元形态数据的示意图；(d)为Purkinje神经元形态数据的示意图；(d)为Medium spiny神经元形态数据的示意图。本发明提出了三种神经元形态数据增广方法。
（11）通过神经元节点扰动方式进行神经元形态数据增广
如图3中的(b)所示，(b)为神经元节点扰动得到的增广神经元形态数据的示意图，神经元节点扰动方式通过对一定比例的神经元节点，在一定的三维空间范围内随机移动节点坐标来实现对神经元形态的扰动得到增广神经元形态数据。这种增广方式所依据的先验知识是神经元形态属性对于部分神经元节点的位置扰动具有一定的鲁棒性。因此，对于一个三维空间坐标为x,y,z的神经元节点，在经过随机扰动后新的坐标为x'=x+dx，y'=y+dy，z'=z+dz。其中，移动距离dx,dy,dz 被控制在[0μm,10μm]范围内，分别通过随机均匀采样来得到。每个神经元50%的节点会被随机挑选出来，并进行随机扰动来生成神经元增广数据。
（12）通过神经元分支裁剪方式进行神经元形态数据增广
给定一个具有E个神经元节点{pi,i=1,…,E}的神经元，神经元分支裁剪方式将按照一定的概率选取一部分神经元节点（除神经元胞体外），并将这些神经元节点的子分支进行裁剪得到增广神经元形态数据，如图3中的(c)所示，；(c)为神经元分支裁剪得到的增广神经元形态数据的示意图。这种增广方式依据的先验知识是神经元部分分支结构的丢失并不会改变神经元的形态属性。在本发明中，对每个神经元分支2%的节点执行分支裁剪操作。考虑到胞体附近的神经元节点在神经元形态测量学当中发挥着更为重要的作用，各神经元分叉点pi被选上的概率定义为：
Figure DEST_PATH_IMAGE024
其中，di表示神经元分叉节点pi和神经元胞体psoma沿神经元骨架的最短路径距离。特别地，神经元胞体psoma的最短路径距离为dsoma=0。温度参数μ默认为1.0，也可以根据实际应用的神经元数据集进行调整。
（13）通过神经元随机旋转方式进行神经元形态数据增广
神经元随机旋转方式将按照指定的角度θ沿着三个坐标轴方向中的任意一个来对神经元形态数据进行旋转得到增广神经元形态数据，如图3中的(d)所示，(d)为神经元随机旋转得到的增广神经元形态数据的示意图。这种增广方式是假设神经元形态属性不受神经元出现的角度的影响。每个神经元旋转的角度θ是在[0，2π]范围内通过随机均匀采样来得到。
（二）神经元图数据生成方法
图4展示了本发明神经元图数据生成方法的示意图。
给定一个SWC文件，首先提取所有神经元节点的三维坐标，并对神经元胞体进行定位。接着，将神经元移动到一个统一的笛卡尔三维坐标空间中，坐标原点为神经元胞体的位置，如图4中的(a)所示，(a)为输入神经元形态数据的示意图；
然后，在保留所有分叉点和端点的同时，对每一个神经元分支按照s微米的间隔进行重采样，即神经元骨架上相邻两个神经元节点的距离为s微米，如图4中的(b)所示，(b)为神经元采样的示意图；对神经元形态数据进行重采样可以极大地减少冗余的神经元节点，在保持神经元形态的同时，提高存储效率并降低下游处理的计算开销。
随后，基于完成重采样的神经元形态数据
Figure DEST_PATH_IMAGE025
来构造图数据
Figure DEST_PATH_IMAGE026
，过程如图4中的 (c)所示，(c)为构造的图数据的示意图。具体地，神经元形态数据
Figure 762677DEST_PATH_IMAGE025
的所有神经元节点集合
Figure DEST_PATH_IMAGE027
用作图数据
Figure DEST_PATH_IMAGE028
的图节点集合
Figure DEST_PATH_IMAGE029
。图的结构信息，即图中所有边的集合
Figure DEST_PATH_IMAGE030
，由神经元节点之间的连接关系来确定。神经元分支上每一对相邻的神经元节点(pi,pj)被用来构造图的边eij。
Figure DEST_PATH_IMAGE031
表示一个由所有节点的信息构成的特征矩阵，其中
Figure DEST_PATH_IMAGE032
表示对应节点
Figure DEST_PATH_IMAGE033
的一个A维特征向量。神经元节点
Figure DEST_PATH_IMAGE034
的几何属性，包括神经元节点的三维空间坐标(x,y,z)和神经元节点半径r被用来初始化图节点
Figure DEST_PATH_IMAGE036
的特征向量xi。通过上述步骤，存储在SWC文件中的所有神经元形态几何信息都被完整地保留在生成的图数据中。此外，本发明还计算了神经元形态数据的拓扑结构属性，例如神经元分叉角、神经元节点与神经元胞体之间的路径距离。对于图的一个节点
Figure 5789DEST_PATH_IMAGE036
，本章将神经元节点的路径距离和神经元分叉角的统计信息（最大值、最小值和平均数）添加到初始化特征xi中。
上述方法的SWC文件是神经元重建算法从显微图像中重建得到的神经元形态数据以SWC格式保存的文件，神经元形态能表示为以胞体为中心向外生长的树突与轴突，并在突起末梢处通过突触与其它神经元相连接，神经元重建算法能从显微图像中重建得到的神经元形态数据。每一个SWC文件由成千上万个文本行构成，每一个文本行都包含七个数字来表征一个神经元节点的信息，包括节点序号、节点属性序号、三维空间坐标、半径值以及母节点序号。由于传统的手工设计特征不足以对神经元形态进行准确地表征，也有一些方法使用二维神经网络从二维投影图像中提取神经元形态特征。然而，考虑到神经元通常具有复杂的树枝状形态结构，二维投影图像难以完整保留神经元所有的结构信息和生物属性。此外，将三维图像映射成二维投影图像也会导致大量的信息丢失。而本发明的上述神经元图数据生成方法，能够在完整保留神经元形态数据所有几何属性和拓扑细节的条件下，将神经元形态数据转化为图数据。
(三)形态感知图神经网络
通过神经元图数据生成方法，能将神经元形态数据转换为图数据，从而便于使用图神经网络进行特征的学习。为了实现无监督地学习神经元形态特征，本发明提出了一种基于对比学习机制的形态感知图神经网络的方法。如图5所示，该形态感知图神经网络的整体训练框架主要由以下几部分组成：
（31）神经元形态数据增广和神经元图数据生成部分
给定一个神经元形态数据
Figure 999153DEST_PATH_IMAGE025
，通过运用不同的神经元形态数据增广方法（可从神经元节点扰动方式、神经元分支裁剪方式和神经元随机旋转方式三种数据增广方式中任选两种）可以获得两个神经元形态增广数据
Figure DEST_PATH_IMAGE037
作为正样本对。其中，
Figure DEST_PATH_IMAGE038
，
Figure DEST_PATH_IMAGE039
。然后，使用神经元图数据生成方法，将两个神经元形态增广数据
Figure DEST_PATH_IMAGE040
和
Figure DEST_PATH_IMAGE041
分别转换为图数据
Figure DEST_PATH_IMAGE042
和
Figure DEST_PATH_IMAGE043
，如图5中的(a)所示，(a)为的神经元形态数据增广模块和神经元图数据生成模块的示意图。
（32）形态感知图神经网络
给定一个图
Figure DEST_PATH_IMAGE044
作为输入数据，该形态感知图神经网络的编码器f(⋅)能提取整个图的表征向量zG，这种形态感知图神经网络（MACGNN），实现高效准确的神经元形态特征的学习，该形态感知图神经网络的网络框架如图5中的(b)所示，(b)为形态感知图神经网络的示意图。该形态感知图神经网络是一种双支路架构的图神经网络，能更加充分地提取神经元形态特征，包括：几何图神经子网络和拓扑图神经子网络来学习神经元形态特征。几何图神经子网络基于神经元几何属性（例如神经元节点三维坐标、半径）学习特征映射函数，而拓扑图神经子网络则基于神经元拓扑属性（例如神经元节点的路径距离、欧氏距离以及分叉点夹角的统计数据）进行训练。几何图神经子网络和拓扑图神经子网络能够学习不同的特征映射函数，实现将不同属性的图信息映射到各自合适的高维特征空间当中，从而高效地学习神经元形态特征。几何图神经子网络和拓扑图神经子网络都是基于GIN图神经网络实现。假设第s个子网络是由K个网络层组成，则第K个网络层中节点vn特征聚合
Figure 2750DEST_PATH_IMAGE004
可以表示为：K
Figure 802079DEST_PATH_IMAGE005
其中，θ是一个可以在线学习或者固定的参数，使得近邻聚合操作是一个单射函数；s=1时计算的是几何图神经子网络的特征；s=2时计算的是拓扑图神经子网络的特征。
然而，对来自不同一阶邻居节点的信息进行简单地求和来完成节点特征更新将会导致图结构信息的丢失。针对这个问题，本发明在形态感知图神经网络中引入了一种启发于神经生物学先验知识的注意力机制。该注意力机制会在节点聚合过程中为每个一阶邻居节点计算一个形态注意力系数。神经生物学方面的研究资料表明，神经元胞体附近的节点对于神经元形态分析往往发挥着更为重要的作用。因此，在本发明中，每个节点的形态注意力系数与节点和胞体之间的最短路径距离成反比。对于节点vn,一阶邻居节点
Figure DEST_PATH_IMAGE045
的注意力系数ci以被定义为：
Figure 593973DEST_PATH_IMAGE008
其中，ci表示邻居节点vi在节点vn的信息聚合过程中的重要性。di表di表示节点vi与胞体节点vsoma在图上的最短路径距离。ϵ是一个用来保证数值稳定的常量，默认值为1.0。为了使不同邻居节点
Figure DEST_PATH_IMAGE046
之间的注意力系数能够方便进行比较，本发明使用柔性最大传递softmax数函来对这些系数进行归一化：
Figure DEST_PATH_IMAGE047
其中，
Figure DEST_PATH_IMAGE048
表示节点
Figure DEST_PATH_IMAGE049
所有一阶邻居节点的集合。在获得所有一阶邻居节点的注意力系数
Figure DEST_PATH_IMAGE050
后，节点特征聚合
Figure DEST_PATH_IMAGE051
可被修改为：
Figure DEST_PATH_IMAGE052
基于所有节点在经过K个图神经网络层学习到的特征
Figure DEST_PATH_IMAGE053
，本发明可以使用READOUT函数来生成整个图的特征。考虑到来自网络浅层的特征会有更好的泛化性能,本发明将来自所有网络层的K个图特征进行拼接来生成第
Figure DEST_PATH_IMAGE054
个子网络最终的图特征
Figure DEST_PATH_IMAGE055
：
Figure DEST_PATH_IMAGE056
在本发明中，READOUT采用最大池化函数。然后，两个子网络分别获得的图特征h(G,top)和h(G,geo)通过加权求和的方式进行组合，最终生成整个网络输出的图特征：
Figure 928877DEST_PATH_IMAGE011
Figure DEST_PATH_IMAGE057
其中，γtop和γgeo分别是两个可以在线学习的参数，分别用来控制拓扑图神经子网络和几何图神经子网络输出特征的重要程度。最后，本发明将F维的特征向量
Figure DEST_PATH_IMAGE058
通过一个多层感知机（MLP）进行非线性变换，得到用于下游图数据分析任务的M维特征向量
Figure DEST_PATH_IMAGE059
。
（33）对比学习机制
由于没有大规模神经元形态数据的人工标注，本发明采用一种对比学习机制来训练形态感知图神经网络学习神经元形态特征，如图5中的(d)所示， (d)为对比学习层的示意图。基于形态感知图神经网络提取的神经元形态特征，本发明采用对比损失函数
Figure DEST_PATH_IMAGE060
来最大化正样本对之间的相似性。在训练阶段的每一次迭代过程中，本发明先从训练数据集随机抽取出小批量的N个神经元形态数据，并通过从本发明三种数据增广方法中任选两种的神经元形态数据增广方法和神经元图数据生成方法来生成2N个增广图数据。对于小批量数据中的一个神经元形态数据，可以获得正样本对zi、zj，而对应的负样本对是从同一份小批量数据中的其他2(N-1)个神经元形态增广数据获得。将正样本对zi与zj的相似度定义为归一化样本对zi与zj之间的点积（余弦相似度）：
Figure DEST_PATH_IMAGE061
然后，利用归一化的温度缩放交叉熵（NT-Xent）损失函数来优化模型。对于每一个神经元形态数据正样本对，NT-Xent损失函数被定义为：
Figure DEST_PATH_IMAGE062
其中，
Figure DEST_PATH_IMAGE063
表示温度参数。
（四）深度哈希图神经网络
基于本发明的形态感知图神经网络的提取方法，神经元形态能够通过网络提取的浮点数型特征
Figure DEST_PATH_IMAGE064
来描述。但是，使用这些浮点数型特征对神经元形态数据展开检索分析是十分低效的，尤其是在处理大规模神经元形态数据库时。为此，本发明通过一种渐进式学习的深度哈希算法与形态感知图神经网络的提取方法相结合，得出形态感知深度哈希图神经网络的分析方法，即Hash-MACGNN，实现在线学习神经元形态数据的二进制哈希表征，如图5中的(c)所示，(c)为深度哈希编码网络层的示意图。
对于一个输入图数据
Figure 885682DEST_PATH_IMAGE016
，形态感知图神经网络提取的中间特征hi通过一个多层感知机能够转换为M维的特征向量
Figure 160806DEST_PATH_IMAGE018
。为了能够学到趋于二值化的特征向量zi，一种方法是将多层感知机的输出层所使用的ReLU激活函数调整为tanh函数。而为了生成期望的二进制哈希编码，可以采用sign函数来将浮点数型的M维特征向量zi直接转换为M比特的哈希编码
Figure 866594DEST_PATH_IMAGE015
：
Figure DEST_PATH_IMAGE065
然而，使用sign激活函数对特征直接进行二值化将会带来大量的量化误差，严重影响检索的性能。此外，sign激活函数是一种非平滑且非凸的阶跃函数，其梯度对于所有非零输入都为零。这使得sign激活函数在神经网络的训练过程中无法正常地完成反向传播，即存在消失梯度问题。
为了解决这个不适定的离散优化问题，本发明通过一种直通梯度估计器STE（Straight-Through Estimator）方法，与形态感知图神经网络相结合得到深度哈希图神经网络，能够让形态感知图神经网络在使用非平滑的sign激活函数的同时进行端到端地训练。在网络的前向传播过程中，sign激活函数会基于浮点数型特征zi生成二进制哈希编码bi。但是，在网络训练的反向传播过程中，哈希编码bi的梯度会被直接复制给浮点数型特征zi来完成梯度信息的反向传递。通过对浮点数型特征梯度的近似计算，深度哈希图神经网络能够实现正常的反向传播来完成训练。然而，由于梯度硬拷贝的操作，标准STE方法在网络反向传播过程中容易受到梯度误差噪声的影响。这一问题会使得网络训练变得不够稳定，导致模型最终只能收敛到次优解。为此，本发明通过一种渐进式学习的离散优化AB-STE（alpha-blending based STE）方法，来改进标准STE方法的问题。本发明通过将浮点数型特征向量zi与对应的二进制哈希编码bi相结合，并使zi在训练期间能够不断地近似bi。具体地，不同于标准STE方法仅依赖sign阶跃函数对特征进行二值化，而本发明的AB-STE方法能够同时对特征向量zi与哈希编码bi的仿射组合进行在线优化，得到的M维特征向量ei被定义为：
Figure 264077DEST_PATH_IMAGE014
其中，α是一个不参与训练的参数。不同于使用一个固定值，α参数在网络训练过程中会从0.0逐渐增加到1.0。在网络早期的训练过程中，α参数被设置为一个相对较小的值。由上文可知，图神经网络难以直接学习二进制哈希编码bi，但是可以通过学习浮点数型特征zi来优化过渡任务的参数，进而帮助二进制哈希编码的学习。网络在训练过程中会逐渐增大α参数来生成一连串的优化问题，并不断地收敛于最初的离散优化问题，即标准STE方法的优化目标。
如图5所示，本发明形态感知深度哈希图神经网络的分析方法的整体训练流程是：两种神经元形态增广方法
Figure DEST_PATH_IMAGE066
分别对一个神经元形态数据
Figure DEST_PATH_IMAGE067
进行变换得到正样本对
Figure DEST_PATH_IMAGE068
和
Figure DEST_PATH_IMAGE069
。然后，神经元图数据生成方法将
Figure 383211DEST_PATH_IMAGE068
和
Figure 462026DEST_PATH_IMAGE069
转换为图数据
Figure DEST_PATH_IMAGE070
和
Figure DEST_PATH_IMAGE071
，并分别作为图神经网络的输入数据。基于对比学习损失函数，一个共享的形态感知图神经网络f(⋅)和一个共享的深度哈希网络层g(⋅)能够通过对比损失函数
Figure DEST_PATH_IMAGE072
实现无监督训练，来最大化正样本对的输出特征ei和ej的一致性：
Figure DEST_PATH_IMAGE073
最终，本发明的形态感知深度哈希图神经网络分析方法，能够高效准确地学习神经元形态的二进制哈希编码，提高大规模神经元形态数据的分析效率。
通过上述说明可知本发明分析方法的总体训练框架包括：
第一步基于神经生物学先验知识的三种神经元形态数据增广，如图3所示。通过获取每个神经元形态数据的增广样本，使得神经网络能够进行无监督地对比学习；
第二步神经元图数据生成，如图4所示。该方法能够完整保留神经元形态数据的几何属性，挖掘神经元的结构属性，并对神经元进行重采样来减少数据的冗余信息。通过使用神经元节点的信息初始化图节点的特征，以及依据神经元节点之间的连接关系来确度图的结构信息，即边的集合，最终将神经元形态数据转化为图数据；
第三步形态感知图神经网络方法基于对比学习机制提取神经元形态数据的特征。如图5中的(a)、(b)和(c)所示，(a)为的神经元形态数据增广模块和神经元图数据生成模块的示意图；(b)为形态感知图神经网络的示意图；(c)为深度哈希编码网络层的示意图，形态感知图神经网络基于一种形态感知注意力机制的特征聚合函数，并采用几何图神经子网络和拓扑图神经子网络的双支路网络结构设计来充分挖掘神经元形态特征。
第四步深度哈希图神经网络方法提取神经元形态数据的哈希编码，如图5中的(d)所示，(d)为对比学习层的示意图。通过结合渐进式学习的深度哈希编码网络层，使得形态感知深度哈希图神经网络能够在线学习神经元形态数据的哈希编码。
在NeuroMorpho大规模神经元形态数据库上进行验证本发明实施例的分析方法的实验。在NeuroMorpho-5K测试数据集上，本发明分析方法针对神经元形态分类任务达到了94.05%的总体准确度92.77%的平均准确度，针对大规模神经元形态检索任务达到了87.56%的top-10平均准确度，并且仅需要3.71毫秒便能够得到一个待检索样本在NeuroMorpho-100K大规模神经元形态数据集上的检索结果，图6-图8分别为利用对应的哈希编码对不同神经元形态数据进行检索结果的示意图，图中各神经元形态数据下面的英文为神经元形态数据的对应简介，图6中，（a）为示例一的待检索神经元形态数据，（b）-（f）分别为检索结果中5个最相似的神经元形态数据；图7中，（a）为示例二的待检索神经元形态数据，（b）-（f）分别为检索结果中5个最相似的神经元形态数据；图8中，（a）为示例三的待检索神经元形态数据，（b）-（f）分别为检索结果中5个最相似的神经元形态数据。从中可以看出，利用本发明的方法，能实现神经元形态数据的较精确检索。具体数据参见表1-表3。
表1. 神经元形态分类准确度结果
Figure DEST_PATH_IMAGE074
表2为神经元形态检索效率结果（单位：毫秒）
Figure DEST_PATH_IMAGE075
表3为神经元形态检索精准度结果
Figure DEST_PATH_IMAGE076
上述表1-表3中，方法一栏中，MACGNN表示的是仅用本发明的形态感知图神经网络的分析方法的实验结果数据，而Hash-MACGNN表示的是用本发明的形态感知深度哈希图神经网络的分析方法的实验结果数据，方法一栏中的其它项表示的是现有神经元分析方法的实验结果数据。
综上可见，本发明实施例的分析方法可以高效地学习神经元形态的二进制哈希编码表征，显著提高了大规模神经元形态数据的分析效率。
本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (10)

1.一种基于图神经网络的神经元形态分析方法，其特征在于，包括：
步骤1，接收待分析的神经元形态数据，将神经元形态数据生成为神经元图数据；
步骤2，通过预先以对比学习方式训练好的形态感知深度哈希图神经网络从所述神经元图数据提取神经元形态特征；
步骤3，将所述形态感知深度哈希图神经网络所提取的神经元形态特征通过二值化获得对应的神经元形态哈希编码，所述神经元形态哈希编码用于神经元形态分类或者神经元检索。
2.根据权利要求1所述的基于图神经网络的神经元形态分析方法，其特征在于，所述步骤1中，按以下方式将神经元形态数据生成为神经元图数据，包括：
从保存所述神经元形态数据的SWC文件中提取所有神经元节点的三维坐标，并确定神经元胞体的位置；
将所有神经元节点移动到一个以神经元胞体的位置作为坐标原点的统一的笛卡尔三维坐标空间中；
在保留所有分叉点和端点的同时，对每一个神经元分支按照预设微米的间隔进行重采样得到初始神经元形态数据，所述预设微米的间隔是指神经元骨架上相邻两个神经元节点的距离为预先设定的长度；
对初始神经元图数据进行重采样去除冗余的神经元节点得到最终的神经元形态数据；
根据最终的神经元形态数据构造图数据作为生成的神经元图数据，所构造的图数据中，神经元形态数据的所有神经元节点集合用作图数据的图节点集合，图数据中所有边的集合由神经元节点之间的连接关系确定，图数据的边对应神经元分支上每一对相邻的神经元节点，神经元节点的三维空间坐标和神经元节点半径被用来初始化图数据的节点的特征向量，将神经元节点到胞体的路径距离和该神经元节点处神经元分叉角的统计信息添加到初始化特征中。
3.根据权利要求1所述的基于图神经网络的神经元形态分析方法，其特征在于，所述方法中，按以下方式以对比学习方式训练形态感知深度哈希图神经网络，包括：
步骤S1，在网络训练每一次迭代中，从训练数据集按预定数量随机抽取N个神经元形态数据，并通过神经元形态数据增广处理和神经元图数据生成处理来生成2N个增广神经元图数据；
步骤S2，从抽取的N个神经元形态数据中第n个神经元形态数据对应的两个增广神经元图数据获得对应的正样本对为zi与zj，从同一份抽取的N个神经元形态数据中的其他2(N-1)个增广神经元图数据获得负样本对zi与zK，i≠k；
步骤S3，计算归一化的温度缩放交叉熵损失函数来计算梯度训练形态感知深度哈希图神经网络，该温度缩放交叉熵损失函数为：
Figure DEST_PATH_IMAGE001
；
其中，τ表示温度参数；
Figure DEST_PATH_IMAGE002
为正样本对zi与zj的相似度，是归一化样本对zi与zj之间的余弦相似度，计算公式为：
Figure DEST_PATH_IMAGE003
步骤S4，判断是否满足设定的训练结束条件，若否，则按步骤S1～S3进行下一次迭代训练，若是，则完成形态感知深度哈希图神经网络的训练，得到训练好的形态感知深度哈希图神经网络。
4.根据权利要求3所述的基于图神经网络的神经元形态分析方法，其特征在于，所述步骤S1中，神经元形态数据增广处理为以下三种方式中的至少两种，包括：
方式一，通过神经元节点扰动的数据增广方式：
对神经元形态数据的预定比例的神经元节点，在预定的三维移动范围内随机移动神经元节点坐标对神经元形态进行扰动得出的新神经元节点形态数据作为增广神经元形态数据；
方式二，通过神经元分支裁剪的数据增广方式：
从神经元形态数据按照预定的概率选取除神经元胞体外的一部分神经元节点，将这些神经元节点的子分支进行裁剪得出的新神经元节点形态数据作为增广神经元形态数据；
方式三，通过神经元随机旋转的数据增广方式：
在预定的角度范围内随机选择一个角度θ，按照角度θ沿着三个坐标轴方向中的任意一个对神经元形态数据进行旋转得出的新神经元节点形态数据作为增广神经元形态数据。
5.根据权利要求1-4任一项所述的基于图神经网络的神经元形态分析方法，其特征在于，所述形态感知深度哈希图神经网络包括：
输入层、数据增广模块、图数据生成模块、形态感知图神经网络、深度哈希编码网络层和对比学习层；其中、
所述输入层能接收神经元形态数据；
所述数据增广模块，与所述输入层连接，能对所述输入层接收的神经元形态数据以选定的两种数据增广方式进行数据增广得到增广神经元形态数据；
所述图数据生成模块，与所述数据增广模块连接，能将所述数据增广模块输出的增广神经元形态数据生成为神经元图数据；
所述形态感知图神经网络，与所述图数据生成模块连接，能从所述图数据生成模块生成的神经元图数据提取神经元形态特征；
所述深度哈希编码网络层，与所述形态感知图神经网络连接，能以渐进式学习离散优化方式从所述形态感知图神经网络提取的神经元形态特征提取对应的哈希编码；
所述对比学习层，与所述深度哈希编码网络层连接，基于对比学习损失函数以无监督方式训练共享的形态感知图神经网络和共享的深度哈希编码网络层来最大化正样本对的两个输出特征的一致性。
6.根据权利要求5所述的基于图神经网络的神经元形态分析方法，其特征在于，所述形态感知图神经网络包括：
输入层、双支路图特征提取层、加权求和拼接层和输出层；
所述输入层采用卷积神经网络，所述输入层与所述双支路图特征提取层连接，能接收输入的神经元图数据；
所述双支路图特征提取层包括：
能从神经元图数据提取几何特征的几何图神经子网络和能从神经元图数据提取拓扑特征的拓扑图神经子网络；
所述几何图神经子网络与拓扑图神经子网络并列设置，几何子图神经网络和拓扑图神经网络的输入端均与所述输入层连接，几何子图神经网络和拓扑图神经网络的输出端经所述加权求和拼接层与所述输出层连接。
7.根据权利要求6所述的基于图神经网络的神经元形态分析方法，其特征在于，所述几何图神经子网络与拓扑图神经子网络均采用GIN图神经网络结构，均由k个图神经网络层组成，几何图神经子网络或拓扑图神经子网络的第k个网络层上，节点v n 的图聚合特征
Figure DEST_PATH_IMAGE004
为：
Figure DEST_PATH_IMAGE005
上式中，θ是一个能在线学习或者固定的参数，使近邻聚合操作成为一个单射函数；s=1时计算的是几何图神经子网络的特征；s=2时计算的是拓扑图神经子网络的特征；MLP()表示通过多层感知机进行非线性变换；βn,i为所有一阶邻居节点的形态注意力系数，该形态注意力系数通过以下方式计算得出，包括：
Figure DEST_PATH_IMAGE006
上式中，
Figure DEST_PATH_IMAGE007
表示节点vn所有一阶邻居节点vi的集合；ci表示邻居节点vi在节点vn的信息聚合过程中的重要度系数，该ci通过以下公式计算得出，为：
Figure DEST_PATH_IMAGE008
其中，di表示节点vi与神经元胞体vsoma在神经元图数据上的最短路径距离；ϵ是保证数值稳定的常量，默认值为1.0；
将来自所有图神经网络层的k个图聚合特征进行拼接生成第个s个子网络最终的图特征
Figure DEST_PATH_IMAGE009
：
Figure DEST_PATH_IMAGE010
上式中，READOUT采用最大池化函数；CONCAT()为组合函数；
加权求和拼接层通过以下方式将几何图神经子网络与拓扑图神经子网络分别获得的图特征h(G,top)和h(G,geo)进行加权求和方式组合，生成整个网络输出的最终图特征h G ：
Figure DEST_PATH_IMAGE011
其中，γtop和γgeo分别是在线学习的参数，用来分别控制拓扑图神经子网络和几何图神经子网络输出特征融合时的重要程度；
输出层通过一个多层感知机对加权求和拼接层输出的F维的特征向量
Figure DEST_PATH_IMAGE012
进行非线性变换得到的M维特征向量
Figure DEST_PATH_IMAGE013
，即为神经元形态特征。
8.根据权利要求5所述的基于图神经网络的神经元形态分析方法，其特征在于，
所述深度哈希编码网络层在训练阶段的输出特征向量为：
Figure DEST_PATH_IMAGE014
其中，ei为形态感知图神经网络输出的M维特征向量；α为一个不参与训练的参数，在训练过程中从0.0逐渐增加到1.0；b i 为浮点数型的M维特征向量zi直接转换为M比特的哈希编码，
Figure DEST_PATH_IMAGE015
；
所述对比学习层是以最大化正样本对之间的相似性的归一化的温度缩放交叉熵损失函数作为对比学习损失函数，该温度缩放交叉熵损失函数为：
Figure DEST_PATH_IMAGE016
其中，τ表示温度参数；
Figure 116543DEST_PATH_IMAGE002
为正样本对zi与zj的相似度，是归一化样本对zi与zj之间的余弦相似度，计算公式为：
Figure DEST_PATH_IMAGE017
其中，正样本对zi、zj是从N个神经元形态数据中获得，N个神经元形态数据是从训练数据集按预定数量随机抽取的，负样本对是从N个神经元形态数据中的其他2（N-1）个增广神经元形态数据获得，增广神经元图数据是利用N个神经元形态数据依次通过神经元形态数据增广和神经元图数据生成得到的2N个增广神经元图数据。
9.一种处理设备，其特征在于，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现权利要求1-8任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时能实现权利要求1-8任一项所述的方法。
CN202211118672.3A 2022-09-08 2022-09-15 基于图神经网络的神经元形态分析方法、设备及存储介质 Active CN115187610B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022110941307 2022-09-08
CN202211094130 2022-09-08

Publications (2)

Publication Number Publication Date
CN115187610A true CN115187610A (zh) 2022-10-14
CN115187610B CN115187610B (zh) 2022-12-30

Family

ID=83524660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118672.3A Active CN115187610B (zh) 2022-09-08 2022-09-15 基于图神经网络的神经元形态分析方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115187610B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858002A (zh) * 2023-02-06 2023-03-28 湖南大学 基于图对比学习的二进制代码相似性检测方法及系统与存储介质
CN115878823A (zh) * 2023-03-03 2023-03-31 中南大学 基于图卷积网络的深度哈希方法及交通数据检索方法
CN116305995A (zh) * 2023-03-27 2023-06-23 清华大学 结构体系的非线性分析方法及装置、设备及介质
CN116541794A (zh) * 2023-07-06 2023-08-04 中国科学技术大学 一种基于自适应图注意网络的传感器数据异常检测方法
CN117057743A (zh) * 2023-08-22 2023-11-14 东方经纬项目管理有限公司 建筑工程项目咨询费用管理方法及其系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268729A (zh) * 2013-05-22 2013-08-28 北京工业大学 基于混合特征的移动机器人级联式地图创建方法
CN113076738A (zh) * 2021-04-09 2021-07-06 北京智谱华章科技有限公司 Gnn编码器及基于图上下文学习的异常点检测方法
CN113095361A (zh) * 2021-03-08 2021-07-09 西安交通大学 一种基于图匹配网络的可对比学习对象生成方法及系统
US20210390393A1 (en) * 2020-06-16 2021-12-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for pre-training graph neural network, electronic device and storage medium
CN114038517A (zh) * 2021-08-25 2022-02-11 暨南大学 一种基于对比学习的自监督图神经网络预训练方法
US20220156591A1 (en) * 2020-11-13 2022-05-19 Salesforce.Com, Inc. Systems and methods for semi-supervised learning with contrastive graph regularization
CN114707641A (zh) * 2022-03-23 2022-07-05 平安科技（深圳）有限公司 双视角图神经网络模型的训练方法、装置、设备及介质
CN115034305A (zh) * 2022-06-09 2022-09-09 浙江大学 利用人在回路图神经网络在通话网络中识别诈骗用户的方法、系统和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268729A (zh) * 2013-05-22 2013-08-28 北京工业大学 基于混合特征的移动机器人级联式地图创建方法
US20210390393A1 (en) * 2020-06-16 2021-12-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for pre-training graph neural network, electronic device and storage medium
US20220156591A1 (en) * 2020-11-13 2022-05-19 Salesforce.Com, Inc. Systems and methods for semi-supervised learning with contrastive graph regularization
CN113095361A (zh) * 2021-03-08 2021-07-09 西安交通大学 一种基于图匹配网络的可对比学习对象生成方法及系统
CN113076738A (zh) * 2021-04-09 2021-07-06 北京智谱华章科技有限公司 Gnn编码器及基于图上下文学习的异常点检测方法
CN114038517A (zh) * 2021-08-25 2022-02-11 暨南大学 一种基于对比学习的自监督图神经网络预训练方法
CN114707641A (zh) * 2022-03-23 2022-07-05 平安科技（深圳）有限公司 双视角图神经网络模型的训练方法、装置、设备及介质
CN115034305A (zh) * 2022-06-09 2022-09-09 浙江大学 利用人在回路图神经网络在通话网络中识别诈骗用户的方法、系统和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEYULU XU 等: "HOW POWERFUL ARE GRAPH NEURAL NETWORKS?", 《ARXIV》 *
Y. WAN 等: "BlastNeuron for automated comparison, retrieval and clustering of 3D neuron morphologies", 《NEUROINFORMATICS》 *
陈娜 等: "结合对比学习的图神经网络防御方法", 《计算机科学与探索》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858002A (zh) * 2023-02-06 2023-03-28 湖南大学 基于图对比学习的二进制代码相似性检测方法及系统与存储介质
CN115858002B (zh) * 2023-02-06 2023-04-25 湖南大学 基于图对比学习的二进制代码相似性检测方法及系统与存储介质
CN115878823A (zh) * 2023-03-03 2023-03-31 中南大学 基于图卷积网络的深度哈希方法及交通数据检索方法
CN115878823B (zh) * 2023-03-03 2023-04-28 中南大学 基于图卷积网络的深度哈希方法及交通数据检索方法
CN116305995A (zh) * 2023-03-27 2023-06-23 清华大学 结构体系的非线性分析方法及装置、设备及介质
CN116305995B (zh) * 2023-03-27 2023-11-07 清华大学 结构体系的非线性分析方法及装置、设备及介质
CN116541794A (zh) * 2023-07-06 2023-08-04 中国科学技术大学 一种基于自适应图注意网络的传感器数据异常检测方法
CN116541794B (zh) * 2023-07-06 2023-10-20 中国科学技术大学 一种基于自适应图注意网络的传感器数据异常检测方法
CN117057743A (zh) * 2023-08-22 2023-11-14 东方经纬项目管理有限公司 建筑工程项目咨询费用管理方法及其系统
CN117057743B (zh) * 2023-08-22 2024-03-01 东方经纬项目管理有限公司 建筑工程项目咨询费用管理方法及其系统

Also Published As

Publication number Publication date
CN115187610B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN115187610B (zh) 基于图神经网络的神经元形态分析方法、设备及存储介质
CN108304826A (zh) 基于卷积神经网络的人脸表情识别方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN111192237B (zh) 一种基于深度学习的涂胶检测系统和方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN105426919B (zh) 基于显著性指导非监督特征学习的图像分类方法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN106021990B (zh) 一种将生物基因以特定的性状进行分类与自我识别的方法
CN111401303B (zh) 一种身份与视角特征分离的跨视角步态识别方法
CN111564183A (zh) 融合基因本体和神经网络的单细胞测序数据降维方法
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
CN112766229A (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
CN111861756A (zh) 一种基于金融交易网络的团伙检测方法及其实现装置
Xu et al. Face expression recognition based on convolutional neural network
CN116152554A (zh) 基于知识引导的小样本图像识别系统
CN117036760A (zh) 一种基于图对比学习的多视图聚类模型实现方法
CN116469561A (zh) 一种基于深度学习的乳腺癌生存预测方法
Essiet et al. Big data analysis for gas sensor using convolutional neural network and ensemble of evolutionary algorithms
CN114037014A (zh) 基于图自编码器的引用网络聚类方法
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
Kaur et al. A hybrid neural approach for character recognition system
CN115661498A (zh) 一种自优化单细胞聚类方法
CN110135253A (zh) 一种基于长期递归卷积神经网络的手指静脉认证方法
CN116312748A (zh) 基于多头注意力机制的增强子-启动子相互作用预测模型构建方法
CN112818982B (zh) 基于深度特征自相关性激活的农业害虫图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant