CN117859151A - 用于电子冷冻断层扫描重建的系统和方法 - Google Patents
用于电子冷冻断层扫描重建的系统和方法 Download PDFInfo
- Publication number
- CN117859151A CN117859151A CN202180098810.3A CN202180098810A CN117859151A CN 117859151 A CN117859151 A CN 117859151A CN 202180098810 A CN202180098810 A CN 202180098810A CN 117859151 A CN117859151 A CN 117859151A
- Authority
- CN
- China
- Prior art keywords
- images
- machine learning
- learning model
- trained
- mlp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000010801 machine learning Methods 0.000 claims abstract description 71
- 230000005855 radiation Effects 0.000 claims abstract description 37
- 230000001537 neural effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 21
- 210000005036 nerve Anatomy 0.000 claims description 12
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 30
- 230000008569 process Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000010894 electron beam technology Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000009877 rendering Methods 0.000 description 9
- 239000012472 biological sample Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 102000011990 Sirtuin Human genes 0.000 description 2
- 108050002485 Sirtuin Proteins 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明描述了被配置为在多个时间从多个取向获得对象的多个图像的计算系统的方法和非暂时性计算机可读介质。机器学习模型被编码以表示将空间坐标映射到密度值的对象的连续密度场。机器学习模型包括变形模块，其被配置为根据时间戳和经训练的变形权重使空间坐标变形。机器学习模型还包括神经辐射模块，其被配置为根据变形的空间坐标、时间戳、方向和经训练的辐射权重来导出密度值。使用多个图像训练机器学习模型。基于经训练的机器学习模型来构建对象的三维结构。
Description
技术领域
本发明总体上涉及图像处理。更具体地，本发明涉及使用编码到机器学习模型中的神经辐射场重建高分辨率图像。
背景技术
电子冷冻断层扫描(cryo-ET)是一种技术，其中电子扫描显微镜用于捕获保持在冷冻温度下的样品(例如，生物样品、细胞样品等)的一系列二维图像。在cyro-ET下，当样本在电子扫描显微镜下以各种不同角度倾斜时，可由电子扫描显微镜捕获样本的一系列图像。样品的倾斜允许电子扫描显微镜从不同取向或视角捕获样品的图像。然后可以组合这些图像以生成样品的三维渲染。在常规方法下，结合加权反投影(WBP)的同时迭代重建技术(SIRT)可以用于基于样本的捕获图像序列来重建样本的三维渲染。然而，这样的方法具有许多缺点。例如，因为SIRT使用迭代算法来生成样本的三维渲染，所以当在各种计算系统上执行算法时，可能会很耗时。此外，一般而言，需要高性能计算系统来执行SIRT。因此，需要一种从样本的捕获图像序列生成样本的三维渲染的更好方法。
发明内容
在各种实施例中，本发明描述了被配置为在多个时间从多个取向获得对象的多个图像的系统、方法和非暂时性计算机可读介质。机器学习模型可以被编码以表示将空间坐标映射到密度值的所述对象的连续密度场。所述机器学习模型可以包括变形模块，所述变形模块被配置为根据时间戳和经训练的变形权重来使所述空间坐标变形。所述机器学习模型还可以包括神经辐射模块，所述神经辐射模块被配置为根据所述变形的空间坐标、所述时间戳、方向和经训练的辐射权重来导出所述密度值。可以使用所述多个图像来训练所述机器学习模型。可以基于所述经训练的机器学习模型来构建所述对象的三维结构。
在一些实施例中，多个图像中的每个图像可以包括图像标识，并且可以使用位置编码将所述图像标识编码成高维度特征。
在一些实施例中，可以使用位置编码将所述空间坐标、所述方向和所述时间戳编码成高维度特征。
在一些实施例中，所述对象的所述多个图像可以是通过以不同角度机械地倾斜所述对象而获得的多个cryo-ET图像。
在一些实施例中，所述变形模块可以包括第一多层感知器(MLP)。
在一些实施例中，所述第一MLP可以包括在第四层处具有跳过连接的8层MLP。
在一些实施例中，所述神经辐射模块可以包括第二多层感知器(MLP)。
在一些实施例中，所述第二MLP可以包括在第四层处具有跳过连接的8层多层感知器(MLP)。
在一些实施例中，可以将所述多个图像划分成多个图格。可以从所述多个图格中选择多个第一样本图像。所述多个第一样本图像中的每一个可以选自所述多个图格中的图格。可以使用所述多个第一样本图像来训练所述机器学习模型。
在一些实施例中，可以基于所述机器学习模型产生所述多个图像的分段恒定概率分布函数(PDF)。可以根据所述分段恒定PDF从所述多个图像中选择多个第二样本图像。可以使用所述多个第二样本图像进一步训练所述机器学习模型。
在参考附图考虑以下描述和所附权利要求时，本文公开的装置、系统、方法和非暂时性计算机可读介质的这些和其他特征，结构的相关元件的操作方法和功能，以及部件的组合和制造经济性将变得更加明显，所有附图形成本说明书的一部分，其中相同的附图标记表示各个附图中的相应部件。然而，应当清楚地理解，附图仅用于说明和描述的目的，并不旨在作为对本发明的限制的定义。
附图说明
在所附权利要求中具体阐述了本技术的各种实施例的某些特征。通过参考阐述利用本发明原理的说明性实施例的以下详细描述以及附图，可以更好地理解本技术的特征和优点，在附图中：
图1示出了根据本发明的各种实施例的电子扫描显微镜的图。
图2A示出了根据本发明公开的各种实施例的获得描绘对象的多个图像以训练机器学习模型以体积地渲染对象的高分辨率图像的场景。
图2B示出了根据本发明公开的各种实施例的可以体积地渲染对象的高分辨率图像的机器学习模型。
图3A示出了根据本发明公开的各种实施例的描绘用于优化用于对象的体积渲染的机器学习模型的训练过程的流水线。
图3B示出了根据本发明公开的各种实施例的描绘用于优化用于对象的体积渲染的神经网络模块的训练过程的流水线。
图4示出了根据本发明公开的各种实施例的计算组件，该计算组件包括一个或多个硬件处理器和存储一组机器可读/机器可执行指令的机器可读存储介质，该组机器可读/机器可执行指令在被执行时使硬件处理器执行方法。
图5示出了可以在其上实现本发明描述的各种实施例中的任何一个的计算机系统的框图。
附图仅出于说明的目的描绘了所公开技术的各种实施例，其中附图使用相同的附图标记来标识相同的元件。本领域技术人员将从以下讨论中容易地认识到，在不脱离本文描述的所公开技术的原理的情况下，可以采用附图中所示的结构和方法的替代实施例。
具体实施方式
本发明描述了解决上述问题的解决方案。在各种实施例中，所要求保护的发明可以包括机器学习模型，其被配置为基于对象的多个低分辨率图像来体积地渲染对象的高分辨率图像。机器学习模型可以以与多个低分辨率图像的取向和/或视角不同的取向和/或视角渲染对象的高分辨率图像。机器学习模型可以基于对象的体素坐标作为输入来渲染对象的高分辨率图像。在一些实施例中，机器学习模型可以包括时空变形模块和神经辐射模块。时空变形模块可以被配置为将多个低分辨率图像的体素从其原始空间变形(即，转换)到规范空间(即，参考空间)。以这种方式，多个低分辨率图像的体素可以基于公共坐标。神经辐射模块可以被配置为基于变形的体素坐标输出规范空间中的体素的强度值或不透明度值。基于强度值和/或不透明度值，可以重建对象的高分辨率图像。在一些实施例中，时空变形模块和神经辐射模块可以使用8层多层感知器来实现。本发明讨论了机器学习模型的这些和其他特征。
图1示出了根据本发明的各种实施例的电子扫描显微镜100的图。如图1所示，在一些实施例中，电子扫描显微镜100可包含电子源102、检测器104及安置于电子源102与检测器104之间的透明板106。电子源102可配置为产生(例如，发射)电子束108，电子束108可穿过透明板106且由检测器104接收。通常，透明板106可以由对电子束108透明的任何材料制成。在一些实施例中，透明板106可以包括经受电子束108的样本110(例如，生物样本、组织样本、细胞样本等)。在电子束108穿过样本110之后，电子束108可被衍射。衍射电子束108可由一组电磁场透镜112重新聚焦，使得电子束108可由检测器104接收。检测器104可配置为在接收(即，检测)电子束108时捕获样本110的图像。在一些实施例中，当检测器104捕获样本110的图像时，透明板106可以沿着水平轴倾斜(例如，枢转)+/-60度，总倾斜自由度为120度。以这种方式，可以在多个取向或视角上获得各种图像(即，cryo-ET图像)。此外，可以通过电子扫描显微镜100在不同时间获得图像，并且可以用捕获图像的时间对每个图像加时间戳。
图2A示出了根据本发明公开的各种实施例的获得描绘对象(例如，生物样本、细胞样本等)的多个图像202a-202c以训练机器学习模型以体积地渲染对象的高分辨率图像的场景200。如图2A中所示，在一些实施例中，可从电子扫描显微镜(例如，图1的电子扫描显微镜100)获得多个图像202a-202c。多个图像中的每一个可以表示处于不同取向或视角的对象的图像。例如，图像202a可以表示当对象偏移0度(即，完全水平)时由电子扫描显微镜捕获的图像，图像202b可以表示当对象偏移+60度时由电子扫描显微镜捕获的图像，并且图像202c可以表示当对象偏移-60度时由电子扫描显微镜捕获的图像。通常，由多个图像202a-202c捕获的对象可以在空间和时间上从各自的空间变形到规范空间(例如，参考空间)。以这种方式，对应于对象的体素(即，像素)的各种空间坐标可以基于公共参考空间。一般来说，在计算机视觉或计算机图形中，体素是构成三维空间的体积元素(例如，体积单位)。三维空间中的每个体素可以由三维坐标系(例如，笛卡尔坐标)表示。在一些实施例中，多个图像202a-202c中描绘的对象(例如，图1的样本110)可在神经辐射场(NeRF)204的连续密度场中表示(例如，编码)。从NeRF 204，可以体积地渲染处于新取向或视角的对象的各种高分辨率图像。连续密度场可以表示为函数，其将多个图像202a-202c中的体素的空间坐标r＝(x,y,z)T映射到体素的强度值和/或不透明度值以及更高维度。在一些实施例中，表示连续密度场的函数可以使用由权重参数化的机器学习模型206，/>来实现，或者在一些情况下，由归一化权重参数化。例如，在一些实施例中，可以将多个图像202a-202c中描绘的对象的神经辐射场204编码到神经网络中，以生成NeRF 204中的体素的各种强度值。在一些实施例中，机器学习模型206可以包括时空变形模块φd和神经辐射模块φr，其中每个模块分别由权重θd和θr参数化。将参考图2B进一步详细讨论时空变形模块φd和神经辐射模块φr。
图2B示出了根据本发明公开的各种实施例的可以体积地渲染对象的高分辨率图像的机器学习模型250。在一些实施例中，机器学习模型250可以被实现为图2A的机器学习模型206。如上所述，一旦被训练，机器学习模型250就可以被配置为以新的取向和视角体积地渲染对象的高分辨率图像。如图2B所示，在一些实施例中，机器学习模型250可以包括时空变形模块252和神经辐射模块254。
时空变形模块252可以被配置为将多个图像(例如，图2A的多个图像202a-202c)的体素从不同的空间和时间变形(即，转换)到规范空间(即，参考空间)。时空变形模块252可以基于多个图像的体素坐标输出规范空间的对应体素坐标。在一些实施例中，时空变形模块252可以基于多层感知器(MLP)来处理在各种取向或视角上获取的多个图像。在一个实施方式中，可以使用在第四层具有跳过连接的8层多层感知器(MLP)来实现时空变形模块252。通过使用基于MLP的变形网络，可以将多个图像的标识(即，图像ID)直接编码成更高维度的特征，而不需要常规技术中通常使用的附加计算和存储开销。在一些实施例中，时空变形模块252可以表示如下：
Δr＝φd(r,t,θd)
其中，Δr是体素坐标从原始空间到规范空间的变化；r是原始空间的体素坐标；t是原始空间的标识；以及θd是与时空变形模块252相关联的参数权重。在确定体素坐标从原始空间到规范空间的变化时，可以如下确定规范空间中的变形体素坐标：
r′＝r+Δr
其中，r′是规范空间中的变形体素坐标；r是原始空间中的体素坐标；Δr是体素坐标从原始空间到规范空间的变化。这样，时空变形模块252可以基于多个图像的体素坐标的输入来输出规范空间的对应体素坐标。
神经辐射模块254可以被配置为将多个图像中描绘的对象的体素的几何形状和颜色编码成连续密度场。一旦神经辐射模块254用体素的几何形状和颜色编码(即，使用多个图像训练)，神经辐射模块254就可以基于体素的空间位置输出NeRF中的任何体素的强度值和/或不透明度值，并基于强度值和不透明度值生成高分辨率图像。在一些实施例中，神经辐射模块254可以基于多层感知器(MLP)来处理在各种取向或视角上获取的多个图像。在一个实施方式中，神经辐射模块254可以使用在第四层具有跳过连接的8层多层感知器(MLP)来实现。在一些实施例中，神经辐射模块254可以表示如下：
σ＝φr(r′,d,t,θr)
其中，σ是体素的密度值(例如，强度值和/或不透明度值)；r'是规范空间中的变形体素坐标；d是射线的方向；t是原始空间的标识；θr是与神经辐射模块254相关联的参数权重。这样，一旦被训练，神经辐射模块254就可以基于变形的体素坐标的输入来输出规范空间的体素的强度值和/或不透明度值。在该机器学习架构中，跨视图和时间的几何信息和颜色信息两者以有效的自监督方式在规范空间中融合在一起。以这种方式，机器学习模型250可以处理多个图像中描绘的对象的固有可见性，并且可以重建高分辨率图像。
在一些实施例中，机器学习模型250可以耦合到至少一个数据存储器260。机器学习模型250可以被配置为与至少一个数据存储器260通信和/或操作。至少一个数据存储器260可以存储与机器学习模型250相关联的各种类型的数据。例如，至少一个数据存储器260可以存储训练数据以训练机器学习模型250来重建高分辨率图像。训练数据可以包括，例如，描绘对象的图像、视频和/或循环视频。例如，至少一个数据存储器260可以存储由电子扫描显微镜捕获的生物样本的多个图像。
通常，机器学习模型250的目标是估计在从密度体积不确定的多个角度、取向和/或视角捕获的多个图像中描绘的对象的密度体积v。以这种方式，可以渲染新角度、取向和/或视角中的对象的高分辨率图像。在一些实施例中，多个图像可为由电子扫描显微镜(例如，图1的电子扫描显微镜100)捕获的cyro-ET图像。在其他实施例中，多个图像可以是其他类型的图像。例如，在一些实施例中，多个图像可以是磁共振图像(MRI)。许多变化是可能的。在一些实施例中，多个图像可以表示为一图像集合，该组图像表示为：
其中，I1,…,IN是图像集合I的图像；是图像的维度；D是图像的尺寸。每个图像Ii可以包含对每个图像中的对象的投影。这些投影可以与初始估计的姿态Ri∈SO(3)和时间戳/>相关联。在形成(即，重建、渲染等)每个图像之前，可以通过对比度传递函数CTFi来调制这些投影。在一些实施例中，每个图像的体素(例如，像素)可以表示如下：
其中，字符*表示卷积运算符；r表示体素的空间位置，并且可以表示为r＝(x,y,z)T；并且ti是捕获每个图像的时间戳。在一些实施例中，对比度传递函数T可以表示如下：
CTFi(x,y)＝F-1[exp{jXi(k)}Es(k)Et(k)]
其中，F-1表示傅里叶变换；项Xi(k)对应于与每个图像相关联的散焦和像差；并且项Es(k)和Et(k)分别对应于与每个图像相关联的空间包络函数和时间包络函数。项Es(k)和Et(k)可以包含电子束的束发散和能量扩展的频率的高阶项，通过电子扫描显微镜利用所述电子束捕获每个图像。通常，项Es(k)和Et(k)可以被认为是傅里叶变换F-1的阻尼项。在一些实施例中，项Xi(k)可以表示如下：
Xi(k)＝π(0.5Csλ3k4-Δfiλk2)
其中，Cs是球面像差因子；λ是电子束的波长(例如，电子平面波的波长)；并且k是空间频率并且可以表示为k＝(kx,ky)T。因此，根据这些等式，为了恢复与多个图像中描绘的对象相关联的密度体积v，对于每个图像，投影的初始估计姿态Ri、捕获每个图像的时间戳ti以及对比度传递函数CTFi需要并发(即，联合)优化。本发明中参考图3A更详细地讨论机器学习模型250的并发优化。
一般来说，与多个图像相关联的姿态的准确度可为确定重建图像的质量的重要因素。硬件级误差可能导致姿态的初始估计不准确。这样，为了解决这个问题，传统的神经辐射场(NeRF)架构可以被修改为除了具有倾斜角θi作为输入参数之外，还包括对应于初始估计姿态(例如，Ri和ti)的图像平面偏移作为机器学习模型250的进一步输入参数。以这种方式，可以利用姿态的更准确的初始估计来更新用于优化机器学习模型250的梯度下降过程。
图3A示出了根据本公开的各种实施例的描绘用于优化用于对象的体积渲染的机器学习模型的训练过程300的流水线。在一些实施例中，可以使用训练过程300来训练图2B的机器学习模型250。如图3A所示，在一些实施例中，用于训练机器学习模型的训练数据可以包括多个图像302a-302c。可以将与多个图像302a-302c相关联的姿态输入到机器学习模型的时空变形模块(例如，图2B的时空变形模块252)(图3A中未示出)中，使得多个图像302a-302c中描绘的对象的体素(即，像素)坐标从其各自的空间转换(例如，变形)到规范空间。与多个图像302a-302c相关联的姿态可以表示为Pi＝(θi,xi,yi)，其中θi是体素的倾斜角，并且xi和yi是体素的二维空间坐标。基于姿态，时空变形模块可以输出Δxi和Δyi(即，Δri)，从其可以确定(或导出)规范空间中的对象的体素坐标。例如，如图3A所示，基于时空变形模块，可以确定规范空间中的对象的体素坐标的图像偏移
基于规范空间中对象的体素坐标的图像偏移可以训练机器学习模型的神经辐射模块310(例如，图2B的神经辐射模块254)以基于编码(例如，训练)到神经辐射模块310中的神经辐射场(NeRF)304输出规范空间中的体素的密度值。为此，基于更新的姿态对多个图像302a-302c中的每个图像进行第一射线追踪，其中θi是规范空间中的体素的倾斜角，并且/>和/>是规范空间中的体素的二维空间坐标。例如，如图3A所示，可以基于图像302a的姿态/>对其像素执行第一射线跟踪306a。作为另一示例，也如图3A所示，可以基于图像302b的姿态/>对其像素执行第二射线追踪306b。对于每次射线追踪306a、306b，神经辐射模块310可以顺着射线追踪306a、306b分别对体素308a、308b进行采样，并在NeRF 304中输出体素308a、308b的预测强度值312a、312b。NeRF 304中的体素的预测强度值可用于以自监督方式训练机器学习模型的神经网络模块310。
在一些实施例中，本发明描述的机器学习模型的神经网络模块310可以包括两个训练阶段：粗略阶段训练和精细阶段训练。训练过程300训练神经网络模块310，使得两个训练阶段被同时优化。例如，图3B示出了根据本发明公开的各种实施例的描绘用于优化用于对象的体积渲染的神经网络模块356的训练过程350的流水线。图3B的训练过程350与图3A的训练过程300完全相同。如图3B所示，在射线追踪期间，可以使用分层采样技术沿着射线354对各个体素位置处的第一体素集合352a进行采样。然后，这些体素样本可以用于神经网络模块356(例如，图3A的神经网络模块310)的粗略阶段训练，以输出对应于第一体素集合352a的强度值358a。可以，例如，通过使用梯度下降来优化神经网络模块356，以最小化损失函数360。得到的优化强度值可以用于确定概率密度函数(PDF)以确定第二体素集合352b。例如，如图3B所示，假设沿着射线354从tn到tf对体素进行采样。在分层采样技术中，从tn到tf的体素点被划分为均匀间隔的图格。在每个均匀间隔的图格内随机均匀地采样体素点。该体素点可以表示如下：
其中，ti是随机均匀采样的体素点；U表示均匀间隔的图格；tn是沿着射线354的第一采样体素点；tf是沿着射线354的最后采样的体素点；并且Nc是多个均匀间隔的图格。从均匀间隔的图格中的每一个随机选择的体素点的权重可以如下确定：
ωi＝Ti(1-exp(1σiδi)
其中，ωi是从均匀间隔的图格中随机选择的体素点的权重；σi是对应于所选择的体素点的强度值；以及δi是对应于所选择的体素点的不透明度值。体素点的权重可以如下归一化：
归一化权重可以沿着射线354产生分段恒定概率密度函数(PDF)。该归一化权重分布可用于确定第二体素集合352b。通常，第二体素集合352b可以指示NeRF 362(例如，图3A的NeRF 304)中的区域，其中密度值358b显著变化(由图3B中的较暗圆圈指示)。第一体素集合352a及其对应的强度值358a和第二体素集合352b及其密度值358b一起可以用于训练神经网络模块356以进行精细阶段训练。以这种方式，神经网络模块356可以输出可以增加重建或渲染图像的分辨率的密度值。
图4示出了根据本发明公开的各种实施例的计算组件400，其包括一个或多个硬件处理器402和存储一组机器可读/机器可执行指令的机器可读存储介质404，所述指令在被执行时使硬件处理器402执行方法。计算组件400可以是，例如，图5的计算系统500。硬件处理器402可以包括，例如，图5的处理器504或本文描述的任何其他处理单元。机器可读存储介质404可以包括图5的主存储器506、只读存储器(ROM)508、存储装置510和/或本文描述的任何其他合适的机器可读存储介质。
在框406处，处理器402可以在多个时间从多个取向获得对象的多个图像。在一些实施例中，多个图像中的每个图像可以包括图像标识，并且可以使用位置编码将图像标识编码成高维度特征。在一些实施例中，多个图像可以包括通过以不同角度机械倾斜对象获得的多个cryo-ET图像。
在框408处，处理器402可以对机器学习模型进行编码以表示将空间坐标映射到密度值的对象的连续密度场。在一些实施例中，机器学习模型可以包括变形模块，该变形模块被配置为根据时间戳和经训练的变形权重使空间坐标变形。在一些实施例中，机器学习模型还可以包括神经辐射模块，该神经辐射模块被配置为根据变形的空间坐标、时间戳、方向和经训练的辐射权重来导出密度值。在一些实施例中，可以使用位置编码将空间坐标、方向和时间戳编码成高维度特征。在一些实施例中，变形模块可以包括第一多层感知器(MLP)。第一MLP可以包括在第四层具有跳过连接的8层MLP。在一些实施例中，神经辐射模块可以包括第二多层感知器(MLP)。第二MLP可以包括在第四层具有跳过连接的8层MLP。
在框410处，处理器402可以使用多个图像来训练机器学习模型。在一些实施例中，可以将多个图像划分成多个图格。可以从多个图格中选择多个第一样本图像。所述多个第一样本图像中的每一个可以选自所述多个图格中的图格。使用多个第一样本图像训练机器学习模型。在一些实施例中，可以基于机器学习模型产生多个图像的分段恒定概率分布函数(PDF)。可以根据分段恒定PDF从多个图像中选择多个第二样本图像。可以使用多个第二样本图像进一步训练机器学习模型。
在框412处，处理器402可以基于经训练的机器学习模型来构建对象的三维结构。
本发明描述的技术，例如，由一个或多个专用计算设备实现。专用计算设备可以是硬连线的以执行技术，或者可以包括电路或数字电子设备，诸如被持久编程为执行技术的一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令执行技术的一个或多个硬件处理器。
图5示出了可以在其上实现本发明描述的各种实施例中的任何一个的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、与总线502耦合以用于处理信息的一个或多个硬件处理器504。设备执行任务的描述旨在表示一个或多个硬件处理器504执行。
计算机系统500还包括主存储器506，诸如随机存取存储器(RAM)、高速缓存和/或其他动态存储设备，其耦合到总线502以用于存储信息和要由处理器504执行的指令。主存储器506还可以用于在要由处理器504执行的指令的执行期间存储临时变量或其他中间信息。当存储在处理器504可访问的存储介质中时，这样的指令使计算机系统500成为被定制为执行指令中指定的操作的专用机器。
计算机系统500还包括耦合到总线502的只读存储器(ROM)508或其他静态存储设备，用于存储静态信息和用于处理器504的指令。诸如磁盘、光盘或USB拇指驱动器(闪存驱动器)等的存储设备510被提供并耦合到总线502以用于存储信息和指令。
计算机系统500可以经由总线502耦合到输出设备512，例如，阴极射线管(CRT)或LCD显示器(或触摸屏)，用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦合到总线502，用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是光标控件516。计算机系统500还包括耦合到总线502的通信接口518。
除非上下文另有要求，否则在整个本说明书和权利要求书中，词语“包含(comprise)”及其变体，例如“包含(comprises)”和“包含(comprising)”应以开放的、包含性的意义解释，即“包括，但不限于”。在整个说明书中对值的数值范围的叙述旨在用作单独提及落入包括限定该范围的值的范围内的每个单独值的简写符号，并且每个单独值在本文中单独叙述时并入说明书中。另外，单数形式“一”、“一个”和“所述”包括复数指示物，除非上下文另有明确说明。短语“……中的至少一个”、“选自……的组中的至少一个”或“选自由……组成的组中的至少一个”等应被解释为选言命题(例如，不被解释为A中的至少一个和B中的至少一个)。
贯穿本说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，贯穿本说明书在各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指代相同的实施例，而是在一些情况下可以是相同的实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
被实现为另一组件的组件可以被解释为以与另一组件相同或相似的方式操作的组件，和/或包括与另一组件相同或相似的特征、特性和参数。
Claims (20)
1.一种计算机实现的方法，其特征在于，包括：
由计算系统在多个时间从多个取向获得对象的多个图像；
由所述计算系统对机器学习模型进行编码以表示将空间坐标映射到密度值的所述对象的连续密度场，其中所述机器学习模型包括：
变形模块，所述变形模块被配置为根据时间戳和经训练的变形权重来使所述空间坐标变形；以及
神经辐射模块，被配置为根据所述变形的空间坐标、所述时间戳、方向和训练的辐射权重导出密度值；
由所述计算系统使用所述多个图像训练所述机器学习模型；以及
由所述计算系统基于所述经训练的机器学习模型来构建所述对象的三维结构。
2.如权利要求1所述的计算机实现的方法，其特征在于，所述多个图像中的每个图像包括图像标识，并且使用位置编码将所述图像标识编码成高维度特征。
3.如权利要求1所述的计算机实现的方法，其特征在于，使用位置编码将所述空间坐标、所述方向和所述时间戳编码成高维度特征。
4.如权利要求1所述的计算机实现的方法，其特征在于，在所述多个时间戳处从所述多个取向获得所述对象的所述多个图像包括：
通过以不同角度机械地倾斜所述对象来获得多个冷冻断层扫描(cyro-ET)图像。
5.如权利要求1所述的计算机实现的方法，其特征在于，所述变形模块包括第一多层感知器(MLP)。
6.如权利要求5所述的计算机实现的方法，其特征在于，所述第一MLP包括在所述第四层处具有跳过连接的8层MLP。
7.如权利要求1所述的计算机实现的方法，其特征在于，所述神经辐射模块包括第二多层感知器(MLP)。
8.如权利要求7所述的计算机实现的方法，其特征在于，所述第二MLP包括在所述第四层处具有跳过连接的8层多层感知器(MLP)。
9.如权利要求1所述的计算机实现的方法，其特征在于，使用所述多个图像训练所述机器学习模型包括：
将所述多个图像分割成多个图格；
从所述多个图格选择多个第一样本图像，其中所述多个第一样本图像中的每一个选自所述多个图格中的图格；以及
使用所述多个第一样本图像训练所述机器学习模型。
10.如权利要求9所述的计算机实现的方法，其特征在于，还包括：
由所述计算系统基于所述机器学习模型为所述多个图像产生分段恒定概率分布函数(PDF)；
由所述计算系统根据所述分段恒定PDF从所述多个图像中选择多个第二样本图像；以及
由所述计算系统使用所述多个第二样本图像进一步训练所述机器学习模型。
11.一种存储指令的计算系统的非暂时性计算机可读介质，其特征在于，所述指令在由所述计算系统的一个或多个处理器执行时使所述计算系统执行方法，所述方法包括：
在多个时间从多个取向获得对象的多个图像；
对表示所述对象的连续密度场的机器学习模型进行编码，所述连续密度场将空间坐标映射到密度值，其中所述机器学习模型包括：
变形模块，所述变形模块被配置为根据时间戳和经训练的变形权重来使所述空间坐标变形；以及
神经辐射模块，被配置为根据所述变形的空间坐标、所述时间戳、方向和训练的辐射权重导出所述密度值；
使用所述多个图像训练所述机器学习模型；以及
基于所述经训练的机器学习模型来构建所述对象的三维结构。
12.如权利要求11所述的非暂时性计算介质，其特征在于，所述多个图像中的每个图像包括图像标识，并且使用位置编码将所述图像标识编码成高维度特征。
13.如权利要求11所述的非暂时性计算介质，其特征在于，使用位置编码将所述空间坐标、所述方向和所述时间戳编码成高维度特征。
14.如权利要求11所述的非暂时性计算介质，其特征在于，在所述多个时间戳处从所述多个取向获得所述对象的所述多个图像包括：
通过以不同角度机械地倾斜所述对象来获得多个cyro-ET图像。
15.如权利要求11所述的非暂时性计算介质，其特征在于，所述变形模块包括第一多层感知器(MLP)。
16.如权利要求15所述的非暂时性计算介质，其特征在于，所述第一MLP包括在所述第四层处具有跳过连接的8层MLP。
17.如权利要求11所述的非暂时性计算介质，其特征在于，神经辐射模块包括第二多层感知器(MLP)。
18.如权利要求17所述的非暂时性计算介质，其特征在于，所述第二MLP包括在所述第四层处具有跳过连接的8层多层感知器(MLP)。
19.如权利要求11所述的非暂时性计算介质，其特征在于，使用所述多个图像训练所述机器学习模型包括：
将所述多个图像分割成多个图格；
从所述多个图格选择多个第一样本图像，其中所述多个第一样本图像中的每一个选自所述多个图格中的图格；以及
使用所述多个第一样本图像训练所述机器学习模型。
20.如权利要求19所述的非暂时性计算介质，其中，所述指令在被执行时还使得所述计算系统执行：
基于所述机器学习模型为所述多个图像产生分段恒定概率分布函数(PDF)；
根据所述分段恒定PDF从所述多个图像中选择多个第二样本图像；以及
使用所述多个第二样本图像进一步训练所述机器学习模型。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/108514 WO2023004560A1 (en) | 2021-07-26 | 2021-07-26 | Systems and methods for electron cryotomography reconstruction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117859151A true CN117859151A (zh) | 2024-04-09 |
Family
ID=85086189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180098810.3A Pending CN117859151A (zh) | 2021-07-26 | 2021-07-26 | 用于电子冷冻断层扫描重建的系统和方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117859151A (zh) |
| WO (1) | WO2023004560A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116959637B (zh) * | 2023-07-11 | 2024-01-26 | 清华大学 | 基于深度依赖电子束的三维重构方法、装置和计算机设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282513B2 (en) * | 2015-10-13 | 2019-05-07 | The Governing Council Of The University Of Toronto | Methods and systems for 3D structure estimation |
| CN109166133B (zh) * | 2018-07-14 | 2021-11-23 | 西北大学 | 基于关键点检测和深度学习的软组织器官图像分割方法 |
| CN110032761B (zh) * | 2019-03-07 | 2023-07-25 | 浙江工业大学 | 一种冷冻电镜单颗粒成像数据的分类方法 |
-
2021
- 2021-07-26 CN CN202180098810.3A patent/CN117859151A/zh active Pending
- 2021-07-26 WO PCT/CN2021/108514 patent/WO2023004560A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023004560A1 (en) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941831B2 (en) | Depth estimation | |
| Dolson et al. | Upsampling range data in dynamic environments | |
| EP3306309B1 (en) | Image acquisition device, image acquisition method, and image correction program | |
| CN112396640A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN114255197B (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
| CN116958492B (zh) | 一种基于NeRf重建三维底座场景渲染的VR编辑方法 | |
| EP3309750B1 (en) | Image processing apparatus and image processing method | |
| CN117581232A (zh) | 基于NeRF的机器学习模型的加速训练 | |
| CN112991537A (zh) | 城市场景重建方法、装置、计算机设备和存储介质 | |
| US20220319055A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| WO2022208440A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN117859151A (zh) | 用于电子冷冻断层扫描重建的系统和方法 | |
| Fu et al. | Seamless texture optimization for RGB-D reconstruction | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| US9733071B2 (en) | Method of three-dimensional measurements by stereo-correlation using a parametric representation of the measured object | |
| CN116912148A (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN115797547A (zh) | 图像建模方法、计算机设备和存储介质 | |
| CN115719414A (zh) | 基于任意四边形回归的目标检测与精确定位方法 | |
| CN116188349A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Zhang et al. | An algorithm for motion estimation based on the interframe difference detection function model | |
| Bouafif et al. | Monocular 3D head reconstruction via prediction and integration of normal vector field | |
| CN116109799B (zh) | 调整模型训练方法、装置、计算机设备及存储介质 | |
| EP4350615A1 (en) | Facial deformation compensation method for facial depth image, and imaging apparatus and storage medium | |
| Kim et al. | Development of 3D body shape creation methodology for obesity information and body shape management for tracking body condition check: body type in their 20s and 30s | |
| CN118076977A (zh) | 使用分层神经表示的可编辑自由视点视频 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |