CN116994245A - 基于深度学习的空间转录组分析方法、装置及可读介质 - Google Patents

基于深度学习的空间转录组分析方法、装置及可读介质 Download PDF

Info

Publication number
CN116994245A
CN116994245A CN202310961931.7A CN202310961931A CN116994245A CN 116994245 A CN116994245 A CN 116994245A CN 202310961931 A CN202310961931 A CN 202310961931A CN 116994245 A CN116994245 A CN 116994245A
Authority
CN
China
Prior art keywords
cell
layer
encoder block
cell nucleus
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310961931.7A
Other languages
English (en)
Inventor
杨朝勇
王晓宇
伍炤润
钟智星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202310961931.7A priority Critical patent/CN116994245A/zh
Publication of CN116994245A publication Critical patent/CN116994245A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的空间转录组分析方法、装置及可读介质，通过构建实例分割神经网络并训练，得到细胞核分割模型，实例分割神经网络包括层次变换编码器和全连接解码器，细胞核图像输入细胞核分割模型，得到细胞核分割结果，并确定细胞的位置信息；获取由空间转录组学生成的核糖核酸分子的坐标，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；采用点云技术进行三维可视化，重建组织或器官表面轮廓，该方法能够快速且准确的进行细胞分割。

Description

基于深度学习的空间转录组分析方法、装置及可读介质
技术领域
本发明涉及空间转录组数据分析领域，具体涉及一种基于深度学习的空间转录组分析方法、装置及可读介质。
背景技术
空间转录组学能够在保留空间信息的同时测量核糖核酸分子，这使研究人员能够研究细胞基因调控网络和细胞外微环境对细胞表达和功能影响。在空间转录组学分析中，将亚细胞分辨率分子谱转换为细胞水平的细胞分割已经成为一个重大挑战。在该领域中已经开发了几种用于细胞分割的技术，但它们的分析速度较慢，并且在复杂组织上不准确。为了更好的理解细胞基因调控网络和细胞外微环境对细胞表达和功能影响，急需快速且精确的细胞分割方法。
发明内容
针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于深度学习的空间转录组分析方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本发明提供了一种基于深度学习的空间转录组分析方法，包括以下步骤：
获取若干张连续的细胞核图像；
构建实例分割神经网络并训练，得到细胞核分割模型，实例分割神经网络包括层次变换编码器和全连接解码器，层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，细胞核图像中每个图像块输入有效自注意力层，提取判别特征，判别特征输入混合前馈网络层，注入局部信息，得到合成图像块，合成图像块输入重叠图像块合并层中进行合并，得到层级特征；第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入全连接解码器，得到细胞核分割结果，并确定细胞的位置信息；
获取由空间转录组学生成的核糖核酸分子的坐标，将细胞核图像输入细胞核分割模型，得到细胞核分割结果，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；
根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；
根据细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
作为优选，有效自注意力层中，将图像块分别乘以关键词权重矩阵WQ、查询权重矩阵WK、键值权重矩阵WV，得到大小为N×C的关键词矩阵K、查询矩阵Q和键值矩阵V，将关键词矩阵K输入线性层中进行降维，得到降维后的关键词矩阵
其中，R为缩减系数，在第一编码器块、第二编码器块、第三编码器块和第四编码器块中的线性层分别对应依次减小的缩减系数；
根据降维后的关键词矩阵查询矩阵Q和键值矩阵V进行自注意力操作，得到判别特征公式如下：
其中，Attention(Q,K,V)为判别特征，dhead表示K的维度。
作为优选，混合前馈网络层包括依次连接的第四全连接层、3×3的卷积层、GELU激活函数层和第五全连接层，判别矩阵输入第四全连接层，并依次经过3×3的卷积层、GELU激活函数层和第五全连接层，得到局部特征，局部特征与判别矩阵相加，得到合成图像块；重叠图像块合并层中分别定义相邻两个合成图像块之间的步长S和填充大小P，根据步长S和填充大小P将若干个合作图像块进行重叠合并，得到层级特征。
作为优选，全连接解码器包括第一全连接层、第二全连接层和第三全连接层，第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入第一全连接层中，输出第一特征，公式如下：
其中，Fi为第i编码器块提取的层级特征，为第i编码器块输入第一全连接层输出的第一特征，Ci和C分别指第一全连接层的输入维度和输出维度；
第一特征经过上采样和拼接，得到连接特征，公式如下：
其中，是对/>进行上采样后的输出，W表示细胞核图像的宽度，W/4×W/4表示目标上采样大小；
连接特征输入第二全连接层，得到第二特征，公式如下：
第二特征输入第三全连接层，预测得到细胞核分割结果，公式如下：
其中，M包含三个通道，分别对应分割掩膜、垂直梯度和水平梯度，取三者的交集作为细胞核分割结果。
作为优选，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵，具体包括：
细胞核分割结果中为每个细胞核分配唯一的灰度值，每个细胞核构成独立的区域，根据连通域原理确定细胞核的中心，并将细胞核的中心作为假定的细胞中心；
计算每个核糖核酸分子与每个细胞中心之间的距离，并将每个核糖核酸分子分配给距离最短的细胞：
CellRNA i＝Cellj，if distancecell j＝min(dcell 1,dcell 2,dcell 3,…,dcell n)；
其中，i＝1,2，…，M，CellRNAi表示RNAi所属的细胞，dcell j表示RNAi和cellj之间的距离，distancecell j表示RNAi距离最小的细胞，M表示核糖核酸分子的总量，n表示细胞的总量；
对每个细胞对应的核糖核酸分子进行计数，得到单细胞表达矩阵。
作为优选，根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域，具体包括：
根据单细胞表达矩阵采用单细胞分析技术或Seurat进行细胞类型注释，或者根据单细胞数据和单细胞表达矩阵采用Tangram算法进行细胞类型注释，确定得到细胞类型；
根据细胞类型和细胞的位置信息生成每个细胞周围的K个细胞的细胞类型分布的邻域细胞类型组成向量；
采用kmeans聚类算法对邻域细胞类型组成向量进行聚类，得到具有不同细胞类型的解剖区域。
作为优选，根据细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓，具体包括：
基于细胞中心确定每张细胞核图像的质心，公式如下：
Centroidsection r＝((rcell 1+rcell 2+rcell 3+…+rcell n)/n,(ccell 1+ccell 2+ccell 3+…+ccell n)/n)；
其中，Centroidsection r表示细胞核图像r的质心，rcell i表示细胞i的细胞中心的行坐标，ccell i表示细胞i的细胞中心的列坐标；
计算对齐后的细胞核图像之间的像素值的差异，并选择使差异最小化的角度作为每个细胞核图像的最终旋转角度，公式如下：
Rotatesection r＝min(dangle 0,dangle 1,dangle 2,…,dangle i){angle＝0:359}；
使用Alpha Shapes散点轮廓算法提取细胞的外部轮廓点并构建凸包，使用平均滤波器和网格细化对其细胞的轮廓进行重新处理，以创建平滑连续的曲面，得到组织或器官表面轮廓。
第二方面，本发明提供了一种基于深度学习的空间转录组分析装置，包括：
数据获取模块，被配置为获取若干张连续的细胞核图像；
模型构建模块，被配置为构建实例分割神经网络并训练，得到细胞核分割模型，实例分割神经网络包括层次变换编码器和全连接解码器，层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，细胞核图像中每个图像块输入有效自注意力层，提取判别特征，判别特征输入混合前馈网络层，注入局部信息，得到合成图像块，合成图像块输入重叠图像块合并层中进行合并，得到层级特征；第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入全连接解码器，得到细胞核分割结果，并确定细胞的位置信息；
RNA分配模块，被配置为获取由空间转录组学生成的核糖核酸分子的坐标，将细胞核图像输入细胞核分割模型，得到细胞核分割结果，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；
注释识别模块，被配置为根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；
三维重建模块，被配置为根据细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
(1)本发明将4',6-二脒基-2-苯基吲哚染色的细胞核图片输入细胞核分割模型进行细胞核识别，能够快速且精确地分割细胞，准确识别出细胞核图片中的细胞核。
(2)本发明可使用连通域原理识别细胞核中心并将其作为细胞中心，计算核糖核酸分子坐标和细胞中心坐标之间的距离，将核糖核酸分子分配给距离最近的细胞以获得单细胞表达矩阵，能够精确的划分核糖核酸分子到细胞中，并根据该单细胞表达矩阵确定细胞类型，最后基于细胞的位置信息、细胞类型和解剖区域进行三维可视化并重构组织/器官的表面。
(3)本发明分析速度较快，适用于基于下一代测序的空间转录组学和基于成像的空间转录组学，具有广泛的适用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本申请的实施例的基于深度学习的空间转录组分析方法的流程示意图；
图3为本申请的实施例的基于深度学习的空间转录组分析方法的流程框图；
图4为本申请的实施例的基于深度学习的空间转录组分析方法的实例分割神经网络的结构示意图；
图5为本申请的实施例的基于深度学习的空间转录组分析装置的示意图；
图6是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于深度学习的空间转录组分析方法或基于深度学习的空间转录组分析装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于深度学习的空间转录组分析方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于深度学习的空间转录组分析装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于深度学习的空间转录组分析方法，包括以下步骤：
S1，获取若干张连续的细胞核图像。
具体的，本申请的实施例采用4',6-二脒基-2-苯基吲哚染色的细胞核图像，参考图3，该细胞核图像作为基于实例分割神经网络的细胞核分割模型的输入图像。
S2，构建实例分割神经网络并训练，得到细胞核分割模型，实例分割神经网络包括层次变换编码器和全连接解码器，层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，细胞核图像中每个图像块输入有效自注意力层，提取判别特征，判别特征输入混合前馈网络层，注入局部信息，得到合成图像块，合成图像块输入重叠图像块合并层中进行合并，得到层级特征；第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入全连接解码器，得到细胞核分割结果，并确定细胞的位置信息。
在具体的实施例中，有效自注意力层中，将图像块分别乘以关键词权重矩阵WQ、查询权重矩阵WK、键值权重矩阵WV，得到大小为N×C的关键词矩阵K、查询矩阵Q和键值矩阵V，将关键词矩阵K输入线性层中进行降维，得到降维后的关键词矩阵
其中，R为缩减系数，在第一编码器块、第二编码器块、第三编码器块和第四编码器块中的线性层分别对应依次减小的缩减系数；
根据降维后的关键词矩阵查询矩阵Q和键值矩阵V进行自注意力操作，得到判别特征，公式如下：
其中，Attention(Q,K,V)为判别特征，dhead表示K的维度。
在具体的实施例中，混合前馈网络层包括依次连接的第四全连接层、3×3的卷积层、GELU激活函数层和第五全连接层，判别矩阵输入第四全连接层，并依次经过3×3的卷积层、GELU激活函数层和第五全连接层，得到局部特征，局部特征与判别矩阵相加，得到合成图像块；重叠图像块合并层中分别定义相邻两个合成图像块之间的步长S和填充大小P，根据步长S和填充大小P将若干个合作图像块进行重叠合并，得到层级特征。
具体的，参考图4，该实例分割神经网络由两个模块组成，即层次变换编码器和轻量级的全连接解码器。具体的，给定一个大小为H×W×3的细胞核图像，将该细胞核图像分割成若干个图像块，将图像块输入层次变换编码器模块，以获得多个层级特征，包括高分辨率特征和低分辨率特征，而轻量级的全连接解码器模块用于获得分割结果图的垂直梯度和水平梯度，以及指示给定像素是在感兴趣区域内部还是外部的分割掩码。为了获得最终的细胞核核识别结果，使用梯度跟踪方法通过聚集给定细胞核中对应的中心像素与属于同一中心像素的周围像素来构造细胞核及其形状。
层次变换编码器模块包括四个编码器块，每个编码器块分别产生细胞核图像分辨率的{1/1、1/2、1/4、1/8}的四个层级特征。在每个编码器块中均包括有效自注意力层和混合前馈网络层以及重叠图像块合并层。有效自注意力层用于提取判别特征，混合前馈网络层用于注入位置信息，重叠图像块合并层用于获得层级特征。
具体的，有效自注意力层是一个多头自注意力过程，为了降低计算复杂度，使用了一系列的降维过程，通过将K转发到线性层中，将K的维数从N缩减到N/R×C。因此多头自注意力过程的复杂性可以从O(N^2)降低到O(N^2/R)。在本申请的实施例中，从第一编码器块至第四编码器块，将R依次设置为[64，16，4，1]。
局部信息对于视觉任务至关重要，尤其是对于语义分割。本申请的实施例通过在混合前馈网络层中应用3×3的卷积层将局部信息注入到特征中，得到局部特征，公式如下：
xout＝MLP(GELU(Conv3×3(MLP(xin))))+xin；
其中，xin为有效自注意力层输出的判别特征，xout为局部特征。除了3×3的卷积层之外，还包括第四全连接层、GELU激活函数层、第五全连接层和加法，还应用了3×3的卷积层来减少参数的数量，这可以有效地提高效率。
使用图像块合并技术将N×N×3的图像块统一为1×1×C的向量。在本申请的实施例中，将图像块合并技术扩展到了重叠图像块合并，能够生成层级特征，同时保持图像块周围的局部连续性。具体而言，将T定义为图像块大小，将S定义为两个相邻图像块之间的步长，将P定义为填充大小。其中，步长S为第二个图形块相较于第一个图形块往右和往下移动了S个像素值。填充大小P为在图像块的上下左右增加了P个像素宽度。在重叠图像块合并层中，可设置{T＝7，S＝4，P＝3}和{T＝3，S＝2，P＝1}，使得特征图的大小可以减少一半。例如，给定大小为H/1×W/1×C_1的特征图，进行重叠图像块合并后将其缩小为{H/2×W/2×C_2}的大小。将重叠图像块合并层加入到每个编码器块，以产生层级特征。
在具体的实施例中，全连接解码器包括第一全连接层、第二全连接层和第三全连接层，第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入第一全连接层中，输出第一特征，公式如下：
其中，Fi为第i编码器块提取的层级特征，为第i编码器块输入第一全连接层输出的第一特征，Ci和C分别指第一全连接层的输入维度和输出维度；
第一特征经过上采样和拼接，得到连接特征，公式如下：
其中，是对/>进行上采样后的输出，W表示细胞核图像的宽度，W/4×W/4表示目标上采样大小；
连接特征输入第二全连接层，得到第二特征，公式如下：
第二特征输入第三全连接层，预测得到细胞核分割结果，公式如下：
其中，M包含三个通道，分别对应分割掩膜、垂直梯度和水平梯度，取三者的交集作为细胞核分割结果。
具体的，全连接解码器作为上采样模型，由三个全连接层组成。将层次变换编码器获得的多个层级特征输入第一全连接层，将多个层级特征的通道维度转换为相同的维度，得到第一特征。而后，将第一特征上采样到原始图像分辨率的1/4，并连接在一起，再将连接特征输入到第二全连接层进行融合，得到第二特征，将第二特征输入第三全连接层中，以预测分割掩码、垂直梯度和水平梯度。M有三个通道，并取三者的交集作为最终的细胞核分割结果。
具体的，本申请的实施例收集了2个已知数据集作为训练数据训练一个针对于细胞核识别的细胞核分割模型，在使用过程中可直接加载该细胞核分割模型预测细胞核图像中的每个细胞核。
S3，获取由空间转录组学生成的核糖核酸分子的坐标，将细胞核图像输入细胞核分割模型，得到细胞核分割结果，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵。
在具体的实施例中，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵，具体包括：
细胞核分割结果中为每个细胞核分配唯一的灰度值，每个细胞核构成独立的区域，根据连通域原理确定细胞核的中心，并将细胞核的中心作为假定的细胞中心；
计算每个核糖核酸分子与每个细胞中心之间的距离，并将每个核糖核酸分子分配给距离最短的细胞：
CellRNA i＝Cellj，if distancecell j＝min(dcell 1,dcell 2,dcell 3,…,dcell n)；
其中，i＝1,2，…，M，CellRNAi表示RNAi所属的细胞，dcell j表示RNAi和cellj之间的距离，distancecell j表示RNAi距离最小的细胞，M表示核糖核酸分子的总量，n表示细胞的总量；
对每个细胞对应的核糖核酸分子进行计数，得到单细胞表达矩阵。
具体的，获取空间转录组学生成的核糖核酸分子坐标矩阵，空间转录组学能够在保留空间信息的同时测量核糖核酸分子，这使研究人员能够研究细胞基因调控网络和细胞外微环境对细胞表达和功能影响。通过将采集到的细胞核图像输入训练得到的细胞核分割模型中，输出细胞核分割结果，进一步根据细胞核分割结果确定细胞的位置信息。具体的，在使用细胞核分割模型识别细胞核后，在细胞核分割结果在图像上表现为每个细胞核分配唯一的灰度值，具有相同灰度值的像素对应于同一个核。每个核都构成一个独立的区域。在计算机视觉领域，连通域被定义为具有相同灰度值的相邻像素的集合。因此，使用连通域原理就可以确定细胞核的中心(假定的细胞中心)所占据的像素数，也可确定细胞的位置信息，包括细胞中心的坐标。
由于细胞的表达在空间中呈现聚集性，计算每个核糖核酸分子与每个细胞中心之间的距离，并将每个核糖核酸分子分配给距离最短的细胞，从而形成具有单细胞分辨率的细胞表达矩阵。
S4，根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域。
在具体的实施例中，根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域，具体包括：
根据单细胞表达矩阵采用单细胞分析技术或Seurat进行细胞类型注释，或者根据单细胞数据和单细胞表达矩阵采用Tangram算法进行细胞类型注释，确定得到细胞类型；
根据细胞类型和细胞的位置信息生成每个细胞周围的K个细胞的细胞类型分布的邻域细胞类型组成向量；
采用kmeans聚类算法对邻域细胞类型组成向量进行聚类，得到具有不同细胞类型的解剖区域。
具体的，针对于不同的数据可以选择不同的细胞类型注释方法，通常细胞分割产生具有单细胞分辨率的细胞表达矩阵，该矩阵可以使用标准的单细胞分析技术进行注释。然而，原位测序技术有时只测量有限数量的基因类型，因此无法使用传统的单细胞分析技术对细胞类型进行注释。为连接单细胞数据(由单细胞测序技术生成的单细胞表达矩阵)和空间转录组数据，可使用Tangram算法来注释空间转录组的细胞类型。Tangram算法将单细胞数据和步骤S3生成细胞表达矩阵作为输入，使用KL散度和余弦相似性来模拟单细胞数据和细胞表达矩阵之间的基因相似性，并产生概率映射矩阵，即细胞表达矩阵中的每个细胞对应于单细胞数据中的一个细胞的概率。作为最后一步，在空间转录组中，选择单细胞数据中概率最高的细胞类型作为细胞的细胞类型。
当基因数量足够时，采用Seurat用于对细胞进行聚类和注释。将细胞表达矩阵作为Seurat的输入，经过一系列的过程，包括质量控制、降维、聚类和寻找标记基因，从而确定每个细胞所属的簇和每个簇的标记基因。然后，将这些标记基因与已知细胞类型的标记进行比较，可以确定每个簇所对应的细胞类型。
在确定细胞的细胞类型后，利用细胞类型和细胞的位置信息进行解剖区域识别。首先生成表示每个细胞周围的K个细胞的细胞类型分布的邻域细胞类型组成向量(NCCV)。然后使用kmeans聚类算法对邻域细胞类型组成向量(NCCV)进行聚类，以获得具有不同细胞类型组成的解剖区域(组织中的不同区域)，即赋予每个细胞一个解剖区域标签。
S5，根据细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
在具体的实施例中，步骤S5具体包括：
基于细胞中心确定每张细胞核图像的质心，公式如下：
Centroidsection r＝((rcell 1+rcell 2+rcell 3+…+rcell n)/n,(ccell 1+ccell 2+ccell 3+…+ccell n)/n)；
其中，Centroidsection r表示细胞核图像r的质心，rcell i表示细胞i的细胞中心的行坐标，ccell i表示细胞i的细胞中心的列坐标；
计算对齐后的细胞核图像之间的像素值的差异，并选择使差异最小化的角度作为每个细胞核图像的最终旋转角度，公式如下：
Rotatesection r＝min(dangle 0,dangle 1,dangle 2,…,dangle i){angle＝0:359}；
使用Alpha Shapes散点轮廓算法提取细胞的外部轮廓点并构建凸包，使用平均滤波器和网格细化对其细胞的轮廓进行重新处理，以创建平滑连续的曲面，得到组织或器官表面轮廓。
具体的，由于器官被分为连续的细胞核图像，相邻的细胞核图像的轮廓非常相似。因此可根据多个细胞核图像的轮廓进行对齐。首先采用侵蚀和膨胀过程来完全填充细胞核图像内部，并消除环境噪声。此外，由于有限数量的点总是有一个几何中心(质心)，因此可以通过计算这些点的每个坐标分量的算术平均值来获得质心。因此，基于细胞中心来确定每张细胞核图像的质心。在旋转对齐之前，已对齐相邻细胞核图像的质心。然后通过旋转其中一个部分并减去其他部分的对齐位置处的像素值来计算差值。为了实现多个细胞核图像的自动对齐，选择使差异最小化的角度作为每个细胞核图像的最终旋转角度。经过平移对齐和旋转后，多个细胞核图像将对齐。
在对齐后，利用点云技术对细胞核图像对齐后的三维曲面进行重构。点云是三维坐标点的集合，可用于描述对象的空间轮廓和精确位置。在本申请的实施例中，使用了三维点云可视化和三维点云重建。三维点云可视化使用细胞的位置信息(二维空间的行坐标和列坐标)、细胞类型和解剖区域在三维空间中进行三维可视化。三维点云重建是基于细胞坐标重建器官的表面轮廓。三维点云重建技术将首先使用Alpha Shapes散点轮廓算法提取外部轮廓点并构建凸包。此时所获得的外部轮廓相对粗糙。然后，使用平均滤波器和网格细化对其进行重新处理，以创建平滑连续的曲面。
其中，Alpha Shapes算法思想如下：
(1)设置一个阈值半径R，这个值决定了边界的精细程度，越小边界越精细；
(2)假设数据集有n个无序点，过任意两点N1、N2绘制半径为R的圆(排除两点间距离为2R的情况，显然满足要求的圆通常有两个)，如果任意一个圆内没有其他数据点，则认为点N1、N2属于边界点，将P1P2为边界线段。
以上步骤S1-S5并不代表步骤之间的顺序，仅为步骤符号表示。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种基于深度学习的空间转录组分析装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于深度学习的空间转录组分析装置，其特征在于，包括：
数据获取模块1，被配置为获取若干张连续的细胞核图像；
模型构建模块2，被配置为构建实例分割神经网络并训练，得到细胞核分割模型，实例分割神经网络包括层次变换编码器和全连接解码器，层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，细胞核图像中每个图像块输入有效自注意力层，提取判别特征，判别特征输入混合前馈网络层，注入局部信息，得到合成图像块，合成图像块输入重叠图像块合并层中进行合并，得到层级特征；第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入全连接解码器，得到细胞核分割结果，并确定细胞的位置信息；
RNA分配模块3，被配置为获取由空间转录组学生成的核糖核酸分子的坐标，将细胞核图像输入细胞核分割模型，得到细胞核分割结果，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；
注释识别模块4，被配置为根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；
三维重建模块5，被配置为根据细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机装置600包括中央处理单元(CPU)601和图形处理器(GPU)602，其可以根据存储在只读存储器(ROM)603中的程序或者从存储部分609加载到随机访问存储器(RAM)604中的程序而执行各种适当的动作和处理。在RAM 604中，还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出(I/O)接口606也连接至总线605。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(CPU)601和图形处理器(GPU)602执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取若干张连续的细胞核图像；构建实例分割神经网络并训练，得到细胞核分割模型，实例分割神经网络包括层次变换编码器和全连接解码器，层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，细胞核图像中每个图像块输入有效自注意力层，提取判别特征，判别特征输入混合前馈网络层，注入局部信息，得到合成图像块，合成图像块输入重叠图像块合并层中进行合并，得到层级特征；第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入全连接解码器，得到细胞核分割结果，并确定细胞的位置信息；获取由空间转录组学生成的核糖核酸分子的坐标，将细胞核图像输入细胞核分割模型，得到细胞核分割结果，根据细胞核分割结果和核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；根据单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；根据细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于深度学习的空间转录组分析方法，其特征在于，包括以下步骤：
获取若干张连续的细胞核图像；
构建实例分割神经网络并训练，得到细胞核分割模型，所述实例分割神经网络包括层次变换编码器和全连接解码器，所述层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，所述第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，所述细胞核图像中每个图像块输入所述有效自注意力层，提取判别特征，所述判别特征输入所述混合前馈网络层，注入局部信息，得到合成图像块，所述合成图像块输入重叠图像块合并层中进行合并，得到层级特征；所述第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入所述全连接解码器，得到细胞核分割结果，并确定细胞的位置信息；
获取由空间转录组学生成的核糖核酸分子的坐标，将所述细胞核图像输入所述细胞核分割模型，得到细胞核分割结果，根据所述细胞核分割结果和所述核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；
根据所述单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；
根据所述细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于所述对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
2.根据权利要求1所述的基于深度学习的空间转录组分析方法，其特征在于，所述有效自注意力层中，将所述图像块分别乘以关键词权重矩阵WQ、查询权重矩阵WK、键值权重矩阵WV，得到大小为N×C的关键词矩阵K、查询矩阵Q和键值矩阵V，将关键词矩阵K输入线性层中进行降维，得到降维后的关键词矩阵
其中，R为缩减系数，在所述第一编码器块、第二编码器块、第三编码器块和第四编码器块中的所述线性层分别对应依次减小的缩减系数；
根据降维后的关键词矩阵查询矩阵Q和键值矩阵V进行自注意力操作，得到判别特征公式如下：
其中，Attention(Q,K,V)为判别特征，dhead表示K的维度。
3.根据权利要求1所述的基于深度学习的空间转录组分析方法，其特征在于，所述混合前馈网络层包括依次连接的第四全连接层、3×3的卷积层、GELU激活函数层和第五全连接层，所述判别矩阵输入所述第四全连接层，并依次经过3×3的卷积层、GELU激活函数层和第五全连接层，得到局部特征，所述局部特征与所述判别矩阵相加，得到所述合成图像块；所述重叠图像块合并层中分别定义相邻两个所述合成图像块之间的步长S和填充大小P，根据所述步长S和填充大小P将若干个所述合作图像块进行重叠合并，得到层级特征。
4.根据权利要求1所述的基于深度学习的空间转录组分析方法，其特征在于，所述全连接解码器包括第一全连接层、第二全连接层和第三全连接层，所述第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入所述第一全连接层中，输出第一特征，公式如下：
其中，Fi为第i编码器块提取的层级特征，为第i编码器块输入所述第一全连接层输出的第一特征，Ci和C分别指第一全连接层的输入维度和输出维度；
所述第一特征经过上采样和拼接，得到连接特征，公式如下：
其中，是对/>进行上采样后的输出，W表示所述细胞核图像的宽度，W/4×W/4表示目标上采样大小；
所述连接特征输入所述第二全连接层，得到第二特征，公式如下：
所述第二特征输入所述第三全连接层，预测得到细胞核分割结果，公式如下：
其中，M包含三个通道，分别对应分割掩膜、垂直梯度和水平梯度，取三者的交集作为所述细胞核分割结果。
5.根据权利要求1所述的基于深度学习的空间转录组分析方法，其特征在于，所述根据所述细胞核分割结果和所述核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵，具体包括：
所述细胞核分割结果中为每个细胞核分配唯一的灰度值，每个细胞核构成独立的区域，根据连通域原理确定所述细胞核的中心，并将所述细胞核的中心作为假定的细胞中心；
计算每个核糖核酸分子与每个细胞中心之间的距离，并将每个核糖核酸分子分配给距离最短的细胞：
CellRNAi＝Cellj，if distancecellj＝min(dcell1,dcell2,dcell3,…,dcelln)；
其中，i＝1,2，…，M，CellRNAi表示RNAi所属的细胞，dcellj表示RNAi和cellj之间的距离，distancecellj表示RNAi距离最小的细胞，M表示核糖核酸分子的总量，n表示细胞的总量；
对每个细胞对应的核糖核酸分子进行计数，得到所述单细胞表达矩阵。
6.根据权利要求1所述的基于深度学习的空间转录组分析方法，其特征在于，根据所述单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域，具体包括：
根据所述单细胞表达矩阵采用单细胞分析技术或Seurat进行细胞类型注释，或者根据单细胞数据和所述单细胞表达矩阵采用Tangram算法进行细胞类型注释，确定得到细胞类型；
根据所述细胞类型和细胞的位置信息生成每个细胞周围的K个细胞的细胞类型分布的邻域细胞类型组成向量；
采用kmeans聚类算法对邻域细胞类型组成向量进行聚类，得到具有不同细胞类型的解剖区域。
7.根据权利要求5所述的基于深度学习的空间转录组分析方法，其特征在于，所述根据所述细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于所述对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓，具体包括：
基于所述细胞中心确定每张细胞核图像的质心，公式如下：
Centroidsectionr＝((rcell1+rcell2+rcell3+…+rcelln)/n,(ccell1+ccell2+ccell3+…+ccelln)/n)；
其中，Centroidsectionr表示细胞核图像r的质心，rcelli表示细胞i的细胞中心的行坐标，ccelli表示细胞i的细胞中心的列坐标；
计算所述对齐后的细胞核图像之间的像素值的差异，并选择使差异最小化的角度作为每个细胞核图像的最终旋转角度，公式如下：
Rotatesectionr＝min(dangle0,dangle1,dangle2,…,danglei){angle＝0:359}；
使用Alpha Shapes散点轮廓算法提取细胞的外部轮廓点并构建凸包，使用平均滤波器和网格细化对其细胞的轮廓进行重新处理，以创建平滑连续的曲面，得到组织或器官表面轮廓。
8.一种基于深度学习的空间转录组分析装置，其特征在于，包括：
数据获取模块，被配置为获取若干张连续的细胞核图像；
模型构建模块，被配置为构建实例分割神经网络并训练，得到细胞核分割模型，所述实例分割神经网络包括层次变换编码器和全连接解码器，所述层次变换编码层包括依次连接的第一编码器块、第二编码器块、第三编码器块和第四编码器块，所述第一编码器块、第二编码器块、第三编码器块和第四编码器块均包括有效自注意力层、混合前馈网络层和重叠图像块合并层，所述细胞核图像中每个图像块输入所述有效自注意力层，提取判别特征，所述判别特征输入所述混合前馈网络层，注入局部信息，得到合成图像块，所述合成图像块输入重叠图像块合并层中进行合并，得到层级特征；所述第一编码器块、第二编码器块、第三编码器块和第四编码器块分别对应的四个层级特征输入所述全连接解码器，得到细胞核分割结果，并确定细胞的位置信息；
RNA分配模块，被配置为获取由空间转录组学生成的核糖核酸分子的坐标，将所述细胞核图像输入所述细胞核分割模型，得到细胞核分割结果，根据所述细胞核分割结果和所述核糖核酸分子的坐标将每个核糖核酸分子分配给与其距离最短的细胞，并形成单细胞表达矩阵；
注释识别模块，被配置为根据所述单细胞表达矩阵对细胞进行细胞类型注释，得到细胞类型，根据细胞类型和细胞的位置信息识别得到解剖区域；
三维重建模块，被配置为根据所述细胞的位置信息对若干张细胞核图像进行对齐，得到对齐后的细胞核图像，基于所述对齐后的细胞核图像采用点云技术进行三维可视化，重建组织或器官表面轮廓。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202310961931.7A 2023-08-02 2023-08-02 基于深度学习的空间转录组分析方法、装置及可读介质 Pending CN116994245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310961931.7A CN116994245A (zh) 2023-08-02 2023-08-02 基于深度学习的空间转录组分析方法、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310961931.7A CN116994245A (zh) 2023-08-02 2023-08-02 基于深度学习的空间转录组分析方法、装置及可读介质

Publications (1)

Publication Number Publication Date
CN116994245A true CN116994245A (zh) 2023-11-03

Family

ID=88522813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310961931.7A Pending CN116994245A (zh) 2023-08-02 2023-08-02 基于深度学习的空间转录组分析方法、装置及可读介质

Country Status (1)

Country Link
CN (1) CN116994245A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292747A (zh) * 2023-11-24 2023-12-26 南京航空航天大学 一种基于HSIC-bottleneck的空间转录组spot基因表达预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292747A (zh) * 2023-11-24 2023-12-26 南京航空航天大学 一种基于HSIC-bottleneck的空间转录组spot基因表达预测方法
CN117292747B (zh) * 2023-11-24 2024-03-29 南京航空航天大学 一种基于HSIC-bottleneck的空间转录组spot基因表达预测方法

Similar Documents

Publication Publication Date Title
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
Lee et al. Semantic segmentation of bridge components based on hierarchical point cloud model
Peng et al. Automatic 3D neuron tracing using all-path pruning
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN111414953B (zh) 点云分类方法和装置
CN110097921B (zh) 基于影像组学的胶质瘤内基因异质性可视化定量方法和系统
Zeng et al. Reference-based defect detection network
CN110223300A (zh) Ct图像腹部多器官分割方法及装置
CN116994245A (zh) 基于深度学习的空间转录组分析方法、装置及可读介质
CN112183541A (zh) 一种轮廓提取方法及装置、电子设备、存储介质
CN114496099A (zh) 细胞功能注释方法、装置、设备及介质
CN113096080A (zh) 图像分析方法及系统
Drees et al. Hierarchical random walker segmentation for large volumetric biomedical images
JP2023131117A (ja) 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN118115507A (zh) 基于跨域类别感知图卷积对齐的图像分割方法
CN113591614B (zh) 一种基于紧邻空间特征学习的遥感影像道路提取方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
Matrone et al. Explaining AI: understanding deep learning models for heritage point clouds
CN114266879A (zh) 三维数据增强、模型训练检测方法、设备及自动驾驶车辆
Rasoulzadeh et al. Strokes2Surface: Recovering Curve Networks From 4D Architectural Design Sketches
CN110555853B (zh) 基于解剖学先验的分割算法评估的方法和装置
Dekker et al. Point Cloud Analysis of Railway Infrastructure: A Systematic Literature Review
Mao et al. City object detection from airborne Lidar data with OpenStreetMap‐tagged superpixels
CN103646418A (zh) 基于自动多阈值的多层着色体绘制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Xiaoyu

Inventor after: Yang Chaoyong

Inventor after: Wu Zhaorun

Inventor after: Zhong Zhixing

Inventor before: Yang Chaoyong

Inventor before: Wang Xiaoyu

Inventor before: Wu Zhaorun

Inventor before: Zhong Zhixing

CB03 Change of inventor or designer information