CN115457548B - 冷冻电镜中的高分辨率密度图配准方法 - Google Patents

冷冻电镜中的高分辨率密度图配准方法 Download PDF

Info

Publication number
CN115457548B
CN115457548B CN202211138544.5A CN202211138544A CN115457548B CN 115457548 B CN115457548 B CN 115457548B CN 202211138544 A CN202211138544 A CN 202211138544A CN 115457548 B CN115457548 B CN 115457548B
Authority
CN
China
Prior art keywords
density map
registration
neural network
registered
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211138544.5A
Other languages
English (en)
Other versions
CN115457548A (zh
Inventor
包承龙
樊箫
张起
胡名旭
史作强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202211138544.5A priority Critical patent/CN115457548B/zh
Publication of CN115457548A publication Critical patent/CN115457548A/zh
Application granted granted Critical
Publication of CN115457548B publication Critical patent/CN115457548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种冷冻电镜中的高分辨率密度图配准方法，包括：获取冷冻电镜的初始密度图和待配准密度图；对初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将待配准密度图与第一密度图之间的最优传输距离和配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到配准神经网络的最优参数；根据最优参数将配准神经网络的每个残差网络单元的输出坐标与初始密度图进行双线性插值，得到配准动画的中间帧，并根据初始密度图、中间帧和第一密度图生成待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果，由此，可以获得更多蛋白质结构和功能信息。

Description

冷冻电镜中的高分辨率密度图配准方法
技术领域
本申请涉及图像配准技术领域，特别涉及一种冷冻电镜中的高分辨率密度图配准方法。
背景技术
冷冻电镜是一项解析蛋白质高分辨率结构的先进技术。冷冻电镜能解析出同一个蛋白质在不同构象下的静态结构，然而由于数据收集的偏差，这些静态结构往往拥有一些分辨率不高的构象，阻碍人们对其生物学功能的进一步研究。
现有的蛋白质密度图配准技术MorphOT基于最优传输算法。该算法通过计算蛋白质两个构象之间的最优传输路径，来生成蛋白质变构的轨迹，效果优于线性插值。
最优传输算法的核心问题在于运动过程无法保证蛋白质分辨率不变，因此该算法只适用于两个低分辨率构象间的图像配准，针对冷冻电镜中常见的高分辨率构象无法获得符合物理规律的配准轨迹，并且在始末密度图分辨率差距较大的情形下无法利用配准结果提升低分辨率构象的分辨率。
发明内容
本申请提供一种冷冻电镜中的高分辨率密度图配准方法、装置、电子设备及存储介质，对蛋白质不同分辨率的构象做图像配准，再利用配准结果提高低分辨率构象的分辨率，可以获得更多蛋白质结构和功能信息。
本申请第一方面实施例提供一种冷冻电镜中的高分辨率密度图配准方法，包括以下步骤：获取冷冻电镜的初始密度图和待配准密度图；对所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到所述配准神经网络的最优参数；根据所述最优参数将所述配准神经网络的每个残差网络单元的输出坐标与所述初始密度图进行双线性插值，得到配准动画的中间帧，并根据所述初始密度图、所述中间帧和所述第一密度图生成所述待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果。
可选地，在本申请的一个实施例中，所述初始密度图和待配准密度图为均匀网格[0,1]3上的离散测度：
Figure GDA0004205662320000021
Figure GDA0004205662320000022
Figure GDA0004205662320000023
可选地，在本申请的一个实施例中，在对所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图之前，还包括：
通过m个残差网络单元构建所述配准神经网络，每个残差网络单元Vθ具有相同的参数，残差网络单元Vθ为：Vθ(x)＝W3(σ(W2(σ(W1x+b1))+b2))+b3，其中，
Figure GDA0004205662320000024
σ为斜率为0.01的leakyrelu函数；
将预设三维坐标集
Figure GDA00042056623200000210
作为所述配准神经网络的输入，Φθ(x，k)为所述配准神经网络的初始输入坐标X在第k个残差网络单元的输出，其中，所述配准神经网络的输出为：/>
Figure GDA0004205662320000025
Φθ(xi，0)＝xi；k＝0，1...m-1 i＝1，2...N3；
输出所述配准神经网络的全部输出：
Figure GDA0004205662320000026
可选地，在本申请的一个实施例中，将所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图
Figure GDA0004205662320000027
为：
Figure GDA0004205662320000028
Figure GDA0004205662320000029
其中，KBilinear为双线性插值核，f0为初始密度图。
可选地，在本申请的一个实施例中，所述将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标将进行优化，其中，优化目标的公式为：
Figure GDA0004205662320000031
Figure GDA0004205662320000032
Figure GDA0004205662320000033
可选地，在本申请的一个实施例中，所述中间帧为：
Figure GDA0004205662320000034
Figure GDA0004205662320000035
本申请第二方面实施例提供一种冷冻电镜中的高分辨率密度图配准装置，包括：获取模块，用于获取冷冻电镜的初始密度图和待配准密度图；优化模块，用于对所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到所述配准神经网络的最优参数；配准模块，用于根据所述最优参数将所述配准神经网络的每个残差网络单元的输出坐标与所述初始密度图进行双线性插值，得到配准动画的中间帧，并根据所述初始密度图、所述中间帧和所述第一密度图生成所述待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果。
可选地，在本申请的一个实施例中，所述初始密度图和待配准密度图为均匀网格[0,1]3上的离散测度：
Figure GDA0004205662320000036
Figure GDA0004205662320000037
Figure GDA0004205662320000038
可选地，在本申请的一个实施例中，还包括：
构建模块，用于在对所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图之前，通过m个残差网络单元构建所述配准神经网络，每个残差网络单元具有相同的参数，残差网络单元为：
Vθ(x)＝W3(σ(W2(σ(W1x+b1))+b2))+b3
其中，
Figure GDA0004205662320000041
σ为斜率为0.01的leaky relu函数；
将预设三维坐标集
Figure GDA0004205662320000042
作为所述配准神经网络的输入，Φθ(x，k)为所述配准神经网络的初始输入坐标X在第k个残差网络单元的输出，其中，所述配准神经网络的输出为：/>
Figure GDA0004205662320000043
Φθ(xi，0)＝xi；k＝0，1...m-1 i＝1，2...N3；
输出所述配准神经网络的全部输出：
Figure GDA0004205662320000044
可选地，在本申请的一个实施例中，将所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图
Figure GDA0004205662320000045
为：
Figure GDA0004205662320000046
Figure GDA0004205662320000047
其中，KBilinear为双线性插值核，f0为初始密度图。
可选地，在本申请的一个实施例中，所述将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标将进行优化，其中，优化目标的公式为：
Figure GDA0004205662320000048
Figure GDA0004205662320000049
Figure GDA00042056623200000410
可选地，在本申请的一个实施例中，所述中间帧为：
Figure GDA00042056623200000411
Figure GDA0004205662320000051
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的冷冻电镜中的高分辨率密度图配准方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的冷冻电镜中的高分辨率密度图配准方法。
本申请实施例的冷冻电镜中的高分辨率密度图配准方法，对蛋白质的多个高分辨构象做图像配准，重建蛋白质不同构象间的转换过程，与传统的静态结构相比为生物学家提供更多蛋白质功能信息。对蛋白质不同分辨率的构象做图像配准(用高分辨率构象去配准低分辨率构象)，再利用配准结果提高低分辨率构象的分辨率，获得更多蛋白质结构和功能信息。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种冷冻电镜中的高分辨率密度图配准方法的流程图；
图2为根据本申请实施例提供的一种冷冻电镜中的高分辨率密度图配准过程示意图；
图3为根据本申请实施例提供的一种配准结果对比示意图；
图4为根据本申请实施例提供的另一种配准结果示意图；
图5为根据本申请实施例提供的冷冻电镜中的高分辨率密度图配准装置结构示意图；
图6为申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图1为根据本申请实施例提供的一种冷冻电镜中的高分辨率密度图配准方法的流程图。
如图1所示，该冷冻电镜中的高分辨率密度图配准方法包括以下步骤：
在步骤S101中，获取冷冻电镜的初始密度图和待配准密度图。
首先，给定初始密度图f0与待配准密度图f1，定义f0与f1为均匀网格[0，1]3上的离散测度：
Figure GDA0004205662320000061
Figure GDA0004205662320000062
Figure GDA0004205662320000063
在步骤S102中，对初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将待配准密度图与第一密度图之间的最优传输距离和配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到配准神经网络的最优参数。
可选地，在本申请的一个实施例中，在对初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图之前，还包括：
通过m个残差网络单元构建配准神经网络，每个残差网络单元Vθ具有相同的参数，残差网络单元Vθ为：Vθ(x)＝W3(σ(W2(σ(W1x+b1))+b2))+b3，其中，
Figure GDA0004205662320000064
σ为斜率为0.01的leakyrelu函数；
将预设三维坐标集
Figure GDA0004205662320000065
作为配准神经网络的输入，Φθ(x，k)为配准神经网络的初始输入坐标x在第k个残差网络单元的输出，其中，配准神经网络的输出为：
Figure GDA0004205662320000066
Φθ(xi，0)＝xi；k＝0，1...m-1 i＝1，2...N3；
输出配准神经网络的全部输出：
Figure GDA0004205662320000067
将三维坐标集合
Figure GDA0004205662320000068
作为神经网络Φθ的输入，网络结构由m个残差网络块复合而成，每个残差块Vθ均享有共同的参数，结构如上所示。
下面推导Φθ的数学表达式，记Φθ(x，k)为Φθ的初始输入坐标x在第k个残差网络块的输出，有：
Figure GDA0004205662320000069
Φθ(xi，0)＝xi
k＝0，1...m-1i＝1，2...N3
根据上述表达式可得到神经网络Φθ的全部输出坐标：
Figure GDA0004205662320000071
可选地，在本申请的实施例中，将初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图
Figure GDA0004205662320000072
为：
Figure GDA0004205662320000073
Figure GDA0004205662320000074
其中，KBilinear为双线性插值核，f0为初始密度图。
最后将
Figure GDA0004205662320000075
与f1之间的最优传输距离(可用sinkhom算法计算并求梯度)与Vθ散度的约束(正则项)作为模型的优化目标，因此模型表达式为：
Figure GDA0004205662320000076
Figure GDA0004205662320000077
Figure GDA0004205662320000078
求解该模型等价于训练神经网络，求解约束条件并计算损失函数对应了神经网络的前向传播，计算损失函数的梯度对应了反向传播，优化算法采用ADAM。训练完成后，得到最优参数θ*。
在步骤S103中，根据最优参数将配准神经网络的每个残差网络单元的输出坐标与初始密度图进行双线性插值，得到配准动画的中间帧，并根据初始密度图、中间帧和第一密度图生成待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果。
将每一个残差网络单元的输出坐标与初始密度做双线性插值，生成配准动画的中间桢：
Figure GDA0004205662320000079
Figure GDA00042056623200000710
Figure GDA00042056623200000711
为最终的配准轨迹，如图2所示。特别地，当初始密度图f0分辨率较高，待配准密度图f1分辨率较低时，模型生成的密度图/>
Figure GDA0004205662320000081
可提升待配准密度图f1的分辨率。
本申请的实施例使用神经网络诱导的坐标变换刻画蛋白质的配准过程，神经网络的连续性保证了蛋白质在运动过程中保持原有的分辨率不变，这克服了最优传输理论(现有技术)的缺陷。
本申请的实施例揭示了蛋白质的不同构象在高分辨率下的转化过程，并能够基于此提升低分辨率构象的分辨率，提供了大量有意义的生物学信息，而现有技术只能实现蛋白质构象在低分辨率下的配准，无法提供这些有效信息。
作为一个对比实验，考虑Sars-Cov-2蛋白两个高分辨率构象间的配准：
如图3所示，密度图的真实形变为RBD区域的局部旋转，由于输入密度图与待配准密度图分辨率过高，现有技术(MorphOT)未能成功恢复出符合物理规律的运动，而本发明完美刻画了理想的局部旋转。
第二个实验考虑arp23蛋白不同分辨率构象间的配准。如图4所示，初始密度图(Source)分辨率较高，待配准密度(Target)分辨率较差，通过本申请实施例的配准算法，成功补全了待配准密度图绿框内较差的密度，并提升其分辨率。
根据本申请实施例提出的冷冻电镜中的高分辨率密度图配准方法，对蛋白质的多个高分辨构象做图像配准，重建蛋白质不同构象间的转换过程，与传统的静态结构相比为生物学家提供更多蛋白质功能信息。对蛋白质不同分辨率的构象做图像配准(用高分辨率构象去配准低分辨率构象)，再利用配准结果提高低分辨率构象的分辨率，获得更多蛋白质结构和功能信息。
其次参照附图描述根据本申请实施例提出的冷冻电镜中的高分辨率密度图配准装置。
图5为根据本申请实施例提供的冷冻电镜中的高分辨率密度图配准装置结构示意图。
如图5所示，该冷冻电镜中的高分辨率密度图配准装置10包括：获取模块100、优化模块200、配准模块300。
其中，获取模块100用于获取冷冻电镜的初始密度图和待配准密度图。优化模块200用于对初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将待配准密度图与第一密度图之间的最优传输距离和配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到配准神经网络的最优参数。配准模块300用于根据最优参数将配准神经网络的每个残差网络单元的输出坐标与初始密度图进行双线性插值，得到配准动画的中间帧，并根据初始密度图、中间帧和第一密度图生成待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果。
可选地，在本申请的一个实施例中，初始密度图f0和待配准密度图f1为均匀网格[0,1]3上的离散测度：
Figure GDA0004205662320000091
Figure GDA0004205662320000092
Figure GDA0004205662320000093
可选地，在本申请的一个实施例中，还包括：
构建模块，用于在对初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图之前，通过m个残差网络单元构建配准神经网络，每个残差网络单元Vθ具有相同的参数，残差网络单元Vθ为：
Vθ(x)＝W3(σ(W2(σ(W1x+b1))+b2))+b3
其中，
Figure GDA0004205662320000094
σ为斜率为0.01的leaky relu函数；
将预设三维坐标集
Figure GDA0004205662320000095
作为配准神经网络的输入，Φθ(x，k)为配准神经网络的初始输入坐标x在第k个残差网络单元的输出，其中，配准神经网络的输出为：
Figure GDA0004205662320000096
Φθ(xi，0)＝xi；k＝0，1...m-1 i＝1，2...N3；
输出配准神经网络的全部输出：
Figure GDA0004205662320000097
可选地，在本申请的一个实施例中，将初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图
Figure GDA0004205662320000098
为：
Figure GDA0004205662320000099
Figure GDA00042056623200000910
其中，KBilinear为双线性插值核，f0为初始密度图。
可选地，在本申请的一个实施例中，将待配准密度图与第一密度图之间的最优传输距离和配准神经网络中多个残差网络单元散度的约束作为优化目标将进行优化，其中，优化目标的公式为：
Figure GDA0004205662320000101
Figure GDA0004205662320000102
Figure GDA0004205662320000103
可选地，在本申请的一个实施例中，中间帧为：
Figure GDA0004205662320000104
Figure GDA0004205662320000105
需要说明的是，前述对冷冻电镜中的高分辨率密度图配准方法实施例的解释说明也适用于该实施例的冷冻电镜中的高分辨率密度图配准装置，此处不再赘述。
根据本申请实施例提出的冷冻电镜中的高分辨率密度图配准装置，对蛋白质的多个高分辨构象做图像配准，重建蛋白质不同构象间的转换过程，与传统的静态结构相比为生物学家提供更多蛋白质功能信息。对蛋白质不同分辨率的构象做图像配准(用高分辨率构象去配准低分辨率构象)，再利用配准结果提高低分辨率构象的分辨率，获得更多蛋白质结构和功能信息。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的冷冻电镜中的高分辨率密度图配准方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的冷冻电镜中的高分辨率密度图配准方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (12)

1.一种冷冻电镜中的高分辨率密度图配准方法，其特征在于，包括以下步骤：
获取冷冻电镜的初始密度图和待配准密度图；
对所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到所述配准神经网络的最优参数，其中，利用所述预先构建的配准神经网络输出坐标包括：通过m个残差网络单元构建所述配准神经网络，每个残差网络单元Vθ具有相同的参数，残差网络单元Vθ为：Vθ(x)＝W3(σ(W2(σ(W1x+b1))+b2))+b3，
其中，
Figure QLYQS_1
σ()为斜率为0.01的leaky relu函数；
将预设三维坐标集
Figure QLYQS_2
作为所述配准神经网络的输入，Φθ(x，k)为所述配准神经网络的初始输入坐标X在第k个残差网络单元的输出，其中，所述配准神经网络的输出为：
Figure QLYQS_3
Φθ(xi，0)＝xi；k＝0，1...m-1 i＝1，2…N3；
输出所述配准神经网络的全部输出：
Figure QLYQS_4
根据所述最优参数将所述配准神经网络的每个残差网络单元的输出坐标与所述初始密度图进行双线性插值，得到配准动画的中间帧，并根据所述初始密度图、所述中间帧和所述第一密度图生成所述待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果。
2.根据权利要求1所述的方法，其特征在于，所述初始密度图f0和待配准密度图f1为均匀网格[0，1]3上的离散测度：
Figure QLYQS_5
Figure QLYQS_6
Figure QLYQS_7
3.根据权利要求1所述的方法，其特征在于，将所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图
Figure QLYQS_8
为：
Figure QLYQS_9
Figure QLYQS_10
其中，KBilinear为双线性插值核，f0为初始密度图。
4.根据权利要求3所述的方法，其特征在于，所述将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标将进行优化，其中，优化目标的公式为：
Figure QLYQS_11
Figure QLYQS_12
Figure QLYQS_13
k＝0，1...m-1 i＝1，2...N3。
5.根据权利要求4所述的方法，其特征在于，所述中间帧为：
Figure QLYQS_14
Figure QLYQS_15
6.一种冷冻电镜中的高分辨率密度图配准装置，其特征在于，包括：
获取模块，用于获取冷冻电镜的初始密度图和待配准密度图；
优化模块，用于对所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值，得到第一密度图，并将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标进行优化，得到所述配准神经网络的最优参数，其中，利用所述预先构建的配准神经网络输出坐标包括：通过m个残差网络单元构建所述配准神经网络，每个残差网络单元Vθ具有相同的参数，残差网络单元Vθ为：Vθ(x)＝W3(σ(W2(σ(W1x+b1))+b2))+b3，
其中，
Figure QLYQS_16
σ()为斜率为0.01的leaky relu函数；
将预设三维坐标集
Figure QLYQS_17
作为所述配准神经网络的输入，Φθ(x，k)为所述配准神经网络的初始输入坐标X在第k个残差网络单元的输出，其中，所述配准神经网络的输出为：
Figure QLYQS_18
Φθ(xi，0)＝xi；k＝0，1...m-1 i＝1，2…N3；
输出所述配准神经网络的全部输出：
Figure QLYQS_19
配准模块，用于根据所述最优参数将所述配准神经网络的每个残差网络单元的输出坐标与所述初始密度图进行双线性插值，得到配准动画的中间帧，并根据所述初始密度图、所述中间帧和所述第一密度图生成所述待配准密度图的配准轨迹，得到满足预设高分辨率条件的配准结果。
7.根据权利要求6所述的装置，其特征在于，所述初始密度图f0和待配准密度图f1为均匀网格[0，1]3上的离散测度：
Figure QLYQS_20
Figure QLYQS_21
Figure QLYQS_22
8.根据权利要求6所述的装置，其特征在于，将所述初始密度图与预先构建的配准神经网络的输出坐标进行双线性插值得到第一密度图
Figure QLYQS_23
为：
Figure QLYQS_24
Figure QLYQS_25
其中，KBilinear为双线性插值核，f0为初始密度图。
9.根据权利要求8所述的装置，其特征在于，所述将所述待配准密度图与所述第一密度图之间的最优传输距离和所述配准神经网络中多个残差网络单元散度的约束作为优化目标将进行优化，其中，优化目标的公式为：
Figure QLYQS_26
Figure QLYQS_27
Figure QLYQS_28
k＝0，1...m-1 i＝1，2...N3。
10.根据权利要求9所述的装置，其特征在于，所述中间帧为：
Figure QLYQS_29
Figure QLYQS_30
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的冷冻电镜中的高分辨率密度图配准方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的冷冻电镜中的高分辨率密度图配准方法。
CN202211138544.5A 2022-09-19 2022-09-19 冷冻电镜中的高分辨率密度图配准方法 Active CN115457548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211138544.5A CN115457548B (zh) 2022-09-19 2022-09-19 冷冻电镜中的高分辨率密度图配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211138544.5A CN115457548B (zh) 2022-09-19 2022-09-19 冷冻电镜中的高分辨率密度图配准方法

Publications (2)

Publication Number Publication Date
CN115457548A CN115457548A (zh) 2022-12-09
CN115457548B true CN115457548B (zh) 2023-06-16

Family

ID=84305105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211138544.5A Active CN115457548B (zh) 2022-09-19 2022-09-19 冷冻电镜中的高分辨率密度图配准方法

Country Status (1)

Country Link
CN (1) CN115457548B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244776A1 (en) * 2019-06-07 2020-12-10 Leica Microsystems Cms Gmbh System and method for processing biology-related data and a microscope
CN112614170A (zh) * 2021-01-08 2021-04-06 上海交通大学 基于傅里叶功率谱的冷冻电镜单颗粒图像配准方法
CN113191955A (zh) * 2021-06-17 2021-07-30 江苏奥易克斯汽车电子科技股份有限公司 图像超分辨率重建的方法及装置
CN113474811A (zh) * 2019-05-29 2021-10-01 徕卡生物系统成像股份有限公司 数字病理学图像中的感兴趣区域的基于神经网络的标识
WO2022005611A1 (en) * 2020-06-30 2022-01-06 Microsoft Technology Licensing, Llc Image super-resolution reconstructing
CN114723652A (zh) * 2021-01-04 2022-07-08 富泰华工业（深圳）有限公司 细胞密度确定方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160378912A1 (en) * 2013-07-02 2016-12-29 Epigenetx, Llc Structure-based modeling and target-selectivity prediction
US10303979B2 (en) * 2016-11-16 2019-05-28 Phenomic Ai Inc. System and method for classifying and segmenting microscopy images with deep multiple instance learning
US11232623B2 (en) * 2019-06-28 2022-01-25 Unity IPR ApS Method and system for creating a neural net based lossy renderer
CN112215942B (zh) * 2020-09-14 2024-01-12 中国科学院计算技术研究所 一种冷冻电镜局部断层三维图像重构方法及系统
EP4196985A1 (en) * 2020-10-29 2023-06-21 DeepMind Technologies Limited Training protein structure prediction neural networks using reduced multiple sequence alignments
KR20230125038A (ko) * 2021-02-05 2023-08-28 딥마인드 테크놀로지스 리미티드 단백질 구조 임베딩에 조건화된 생성형 모델을 사용한단백질 아미노산 서열 예측
CN113990384B (zh) * 2021-08-12 2024-04-30 清华大学 一种基于深度学习的冷冻电镜原子模型结构搭建方法及系统和应用
CN114612501B (zh) * 2022-02-07 2024-02-13 清华大学 神经网络模型训练方法和冷冻电镜密度图分辨率估计方法
CN114841898B (zh) * 2022-06-29 2022-09-23 华中科技大学 基于深度学习的冷冻电镜三维密度图后处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113474811A (zh) * 2019-05-29 2021-10-01 徕卡生物系统成像股份有限公司 数字病理学图像中的感兴趣区域的基于神经网络的标识
WO2020244776A1 (en) * 2019-06-07 2020-12-10 Leica Microsystems Cms Gmbh System and method for processing biology-related data and a microscope
WO2022005611A1 (en) * 2020-06-30 2022-01-06 Microsoft Technology Licensing, Llc Image super-resolution reconstructing
CN114723652A (zh) * 2021-01-04 2022-07-08 富泰华工业（深圳）有限公司 细胞密度确定方法、装置、电子设备及存储介质
CN112614170A (zh) * 2021-01-08 2021-04-06 上海交通大学 基于傅里叶功率谱的冷冻电镜单颗粒图像配准方法
CN113191955A (zh) * 2021-06-17 2021-07-30 江苏奥易克斯汽车电子科技股份有限公司 图像超分辨率重建的方法及装置

Also Published As

Publication number Publication date
CN115457548A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
JP2021100247A (ja) 歪んだドキュメント画像の矯正方法及び装置
CN108875903B (zh) 图像检测的方法、装置、系统及计算机存储介质
CN110827369B (zh) 欠采样模型生成方法、图像重建方法、设备和存储介质
US11423512B2 (en) Super-resolution processing apparatus, method, and program
WO2024045442A1 (zh) 图像矫正模型的训练方法、图像矫正方法、设备及存储介质
CN114004939A (zh) 一种基于建模软件脚本的三维模型优化方法及系统
CN112700516A (zh) 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质
CN116071404A (zh) 图像配准方法、装置、计算机设备和存储介质
CN115457548B (zh) 冷冻电镜中的高分辨率密度图配准方法
US20110004645A1 (en) Apparatus and program for arctangent calculation
CN111160441B (zh) 分类方法、计算机设备和存储介质
CN117077599A (zh) 一种现场可编程逻辑门阵列视图生成方法及装置
CN102880878B (zh) 一种基于单幅图像进行超分辨率分析的方法及系统
WO2023142174A1 (zh) 重构电子轨道空间分布和电子束函数的方法及装置
WO2022124026A1 (ja) 学習済モデルの生成方法および情報処理装置
WO2022163402A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
Ma et al. AUTOMESH‐2D/3D: robust automatic mesh generator for metal forming simulation
JP2020075063A (ja) 画像補間・臓器抽出装置およびそのプログラム
CN114140340A (zh) 图像数据的伪影处理方法及装置、存储介质、终端
Oh et al. FPGA-based fast image warping with data-parallelization schemes
JP2008541824A (ja) 器官モデルの配置のための自動化された器官リンク付け
US20220277513A1 (en) Method for constructing a three-dimensional model using tomographic reconstruction technique
WO2023070495A1 (zh) 图像处理方法、电子设备和非瞬态计算机可读介质
TWI764593B (zh) 以層析成像重建技術建構三維模型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant