CN109859302B - 光传输矩阵的压缩感测 - Google Patents
光传输矩阵的压缩感测 Download PDFInfo
- Publication number
- CN109859302B CN109859302B CN201811444321.5A CN201811444321A CN109859302B CN 109859302 B CN109859302 B CN 109859302B CN 201811444321 A CN201811444321 A CN 201811444321A CN 109859302 B CN109859302 B CN 109859302B
- Authority
- CN
- China
- Prior art keywords
- points
- transmission matrix
- optical transmission
- light transmission
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 88
- 230000003287 optical effect Effects 0.000 title claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000002834 transmittance Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000005284 basis set Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3062—Compressive sampling or sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
光传输矩阵的压缩感测。一种用于执行光传输矩阵的压缩感测的计算机实现的方法,所述方法包括:接收包括图像体数据的3D数据集,以及在穿过3D数据集的空间曲线上随机选择多个点。计算包括多个透光率值的光传输矩阵。每个透光率值对应于多个点中包括的点的对之间的透光率。求解优化问题以确定多个稀疏系数,当将稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现光传输矩阵。一旦确定,就将稀疏系数存储在计算机可读介质上。
Description
技术领域
本发明一般地涉及用于在光传输矩阵的计算中使用压缩感测技术的方法、系统和装置。本文中描述的技术可以被应用于例如3D医学成像应用。
背景技术
生成明显地并且物理上似乎合理的图像对于用户而言是重要的任务,以更深入理解数据。为了使计算机生成此类图像,必须考虑光材料相互作用。通过由光传输算法设置的数学和物理基础来计算那些相互作用。因为计算所有相互作用是不可能的,所以由常规技术使用不同的数学方法。
一种用于计算光相互作用的流行的方法是使用蒙特卡罗(MC)统计方法。用MC方法可以计算复杂现象,但是这些算法的赝像(artifact)在得到的图像中显现为噪声。在算法中的样本的数量的平方仅可以线性地改善结果并且这花费如计算时间。
MC统计方法使用统计光传输事件和方向来探索空间。这些方向不是提前已知的,并且通常根据事件来选择方向。提供最多贡献的能量承载路径有助于将得到的图像较快收敛到非噪声图像。如果提前已知这些路径,则可以容易地寻址贡献最多的点并且可以获取无噪声图像。问题是要表示那些路径,因为每个路径是起始点、终点、每个端点上的散射函数和那两个端点之间的可见性值的函数。如果将散射函数选择为各向同性散射函数,则可以简化该问题。然后,问题可以被表示为点和那些点之间的可见性的矩阵。该矩阵在本文中被称为光传输矩阵。
光传输矩阵是非常大的矩阵;其大小由点与它们的关系的所有可能组合来定义。从计算角度来看,这样大的大小使诸如处理和存储的任务难以处理。这限制了在诸如医学成像应用的应用中高效利用光传输矩阵的能力。因此,期望的是提供用于光传输矩阵计算的技术,所述技术导致矩阵的总体大小的减小而不损失矩阵中的数据的保真度(并且因此不会损失有用性)。
发明内容
本发明的实施例通过提供涉及使用光传输矩阵的压缩感测的方法、系统和装置来解决和克服以上缺点和缺陷中的一个或多个。与常规光传输矩阵计算技术相比,以上描述的技术在更短时间内提供无噪声渲染。
根据一些实施例,一种用于执行光传输矩阵的压缩感测的计算机实现的方法包括接收包括图像体数据的3D数据集,以及在穿过3D数据集的空间曲线上随机选择多个点。计算包括多个透光率值的光传输矩阵。每个透光率值对应于多个点中包括的点的对之间的透光率。求解优化问题以确定多个稀疏系数,当将稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现光传输矩阵。在一些实施例中,通过使用多个图形处理单元并行地执行多个数学运算来求解优化问题。一旦确定,就将稀疏系数存储在计算机可读介质上。
在一些实施例中,上述方法进一步包括接收对借助照明来显示图像体数据的请求,以及从计算机可读介质取回稀疏系数。使用稀疏系数和预先确定的基矢量的字典来重建光传输矩阵。然后,可以使用光传输矩阵借助照明来显示图像体数据。
在上述方法的一些实施例中,空间曲线保留3D数据集中的值的位置。例如,空间曲线可以是希尔伯特空间填充曲线或多个Z-阶曲线迭代。
在一些实施例中,图像体数据包括解剖对象,并且通过识别空间曲线上的随机选择的多个点中包括的每个点的对之间的解剖特征和确定解剖特征中的每个的光衰减值来执行光传输矩阵的计算。然后,可以仅用不由具有高于预先确定的阈值的光衰减值的一个或多个解剖特征分离的点的对的透光率值来填充光传输矩阵。在一些实施例中,通过将训练的机器学习模型应用于3D数据集来识别解剖特征。在其他实施例中,通过应用图像掩模来识别解剖特征,所述图像掩模掩蔽对应于具有高于预先确定的阈值的光衰减值的一个或多个解剖特征的图像体数据的体素。
根据其他实施例,一种用于执行光传输矩阵的压缩感测的制品包括保存用于执行以上讨论的方法的计算机可执行指令的计算机可读的非暂时性介质。计算机可读的非暂时性介质可以包括用于执行以上讨论的方法的各种修改的附加指令。
根据其他实施例,一种用于执行光传输矩阵的压缩感测的系统包括图像获取设备、并行处理存储器架构和计算机可读介质。图像获取设备被配置成获取包括图像体数据的3D数据集。并行处理存储器架构包括多个处理器,所述处理器被配置成在穿过3D数据集的空间曲线上随机选择多个点以及计算包括多个透光率值的光传输矩阵。每个透光率值对应于多个点中包括的点的对之间的透光率。处理器被进一步配置成求解优化问题以确定多个稀疏系数,当将稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现光传输矩阵。计算机可读介质被配置成存储稀疏系数。
根据参考附图进行的说明性实施例的以下具体实施方式,将使本发明的附加的特征和优点显而易见。
附图说明
当结合附图阅读时,根据以下具体实施方式最好地理解本发明的前述和其他方面。出于图示心脏运动评估技术的目的,在附图中示出了目前优选的实施例,然而,要理解,心脏运动评估技术不限于所公开的具体手段。附图中包括的是以下附图:
图1提供根据一些实施例的用于压缩光传输矩阵的一般框架的图示;
图2提供根据一些实施例的用于计算光传输矩阵的方法的图示;以及
图3提供根据本发明的一些实施例的可以被用于执行与计算光传输矩阵相关的计算的并行处理存储器架构的示例。
具体实施方式
以下公开根据若干实施例描述了本发明,所述实施例涉及与光传输矩阵的压缩感测(CS)相关的方法、系统和装置。光传输矩阵是非常大的矩阵。其大小由点与它们的关系的所有可能组合来定义。但是借助于CS,并且在一些实施例中借助于渲染中的其他基础观察(即,点之间的可见性快速下降、可见性信号频率的稀疏性),可以显著地减小矩阵的大小。因此,可以使用CS根据微小量的样本来重建光传输矩阵。在重建该矩阵之后,可以提前已知任何给定的两个点和它们对彼此的可见性。因此,将不需要探索空间。在不探索的情况下仅可以检测到大贡献样本,并且可以生成无噪声图像。
图1提供了根据一些实施例的用于压缩光传输矩阵的一般框架100的图示。为了图示光传输矩阵计算的复杂性,该示例是体渲染的典型使用情况,并且体渲染方法正在被广泛用于许多医学成像产品中。图像扫描仪105(例如,磁共振扫描仪或计算断层摄影术扫描仪)被用于使用本领域中通常已知的技术来获取图像体数据110。为了借助照明来产生图像,必须借助光传输矩阵来渲染图像体数据110。如果要渲染个体素体,则可以用的矩阵来示出必须被探索的路径的数量。因为任何给定的两个点之间的可见性是相同的,所以问题的大小仅可以被减少为一半。然而,即使具有该减小,在存储和计算方面中,矩阵的大小也仍将是难管理的。
不是计算和存储整个光传输矩阵,而是本文中描述的技术计算稀疏光传输矩阵115,与在常规光传输计算中使用的完整矩阵相比,稀疏光传输矩阵115在大小方面被减小。存在可以快速减小矩阵的大小的两个主要观察。第一个观察是,两个给定点之间的可见性取决于空间关系和传递函数。如果两个点是足够远的,则通常它们之间的可见性将为零。如果使用空间的空间曲线将体展平,则该观察将导致带光传输矩阵。如果我们假设远离4 - 5个体素,则可见性降到零,对于每个体素,仅个体素将是重要的,并且其余体素将是不重要的。矩阵的带大小将是。第二个观察是,由于平滑体性质,可见性信号将是稀疏信号。这将意味着,在具有随机百分之5 - 10的点元组的情况下,可以使用压缩感测方法来重建信号。作为该光传输矩阵的结果,其将被表示为稀疏矩阵并且可以适合于GPU存储器(参见图3)中。如果考虑百分之10的信号,则光传输矩阵表示将保留大约个值。如果可见性被离散化为8位,则光传输矩阵将保留166 MB +索引(由于稀疏矩阵表示)。
继续参考图1,一个或多个CS 120技术被应用于稀疏光传输矩阵115以生成稀疏系数125,当将稀疏系数125乘以预先确定的基矢量的字典时,所述稀疏系数125重现完整光传输矩阵。下面参考图1进一步详述CS 120。一旦确定了稀疏系数125,就可以将它们本地或远程地存储在计算机可读介质上。
为了图示本文中描述的技术的利用的示例,图1示出正在通过网络将稀疏系数125传递到远程计算机可读介质130(例如,位于基于云的环境中的服务器上)。一旦被存储,计算机就可以从远程计算机可读介质130取回稀疏系数135的副本(稀疏系数135是稀疏系数125的副本)。然后,可以通过将稀疏系数135的副本应用于预先确定的基矢量的字典来执行解压缩过程140,以重现光传输矩阵的各个元素或完整的光传输矩阵145。应注意,解压缩过程140不需要解压缩所有的矩阵。而是,通过使用相关基函数系数,可以计算单个值i,j,所述单个值i,j指示两个矢量的点积。在解压缩之后,光传输矩阵145然后可以被应用于图像体数据110(本地存储或从远程源取回)以创建照明图像150。
图2提供了根据一些实施例的用于计算光传输矩阵的方法200的图示。该方法200通常可以由包括一个或多个处理器的任何计算平台来执行;然而,为了计算效率,通常优选并行处理架构。下面关于图3描述此类架构的一个示例。
在步骤205处开始,由执行方法的计算平台接收包括图像体数据的3D数据集。例如,可以将图像体数据明确地上传到计算平台,或者可以向计算平台提供文件名或其他指示符(例如,经由图形用户界面),然后使用所述文件名或其他指示符从本地或远程计算机可读介质取回图像体数据。在一些实施例中,计算平台被集成在用于获取图像体数据的设备内或被直接地连接到用于获取图像体数据的设备。例如,在一个实施例中,图像体数据包括医学成像数据,并且计算平台是医学图像扫描仪(例如,磁共振扫描仪或计算断层摄影术扫描仪)的部分。
继续参考图2,在步骤210处,在穿过3D数据集的一个或多个空间曲线上随机选择多个点。如本文中所使用的那样,术语空间曲线是穿过三维空间的区域的曲线。空间曲线是对驻留在单个2D平面中的平面曲线的3D模拟。空间曲线的示例包括但不限于螺旋线、圆锥螺旋线和三次抛物线;然而,应注意,通常穿过三维的任何曲线可以被认为是空间曲线。对空间曲线的准确数学表示根据曲线的期望形状和其他特性而变化。例如,可以使用以下值来生成螺旋线:、和,其中。在一些实施例中,基于在基础图像数据中描绘的物理对象的先验知识来选择空间曲线。例如,如果已知感兴趣的任何解剖对象(例如,心脏)位于图像体的特定区域中,则可以选择提供区域的多个穿过的空间曲线。注意,因为光传输矩阵需要考虑来自多个方向的照明效果,所以应选择所选择的空间曲线使得其甚至在不包括具有感兴趣的对象的体素的图像体的区域处提供覆盖。在一些实施例中,空间曲线保留3D数据集中的值的位置。例如,空间曲线可以是希尔伯特空间填充曲线或多个Z-阶曲线迭代。
通常,可以使用本领域中已知的任何技术来执行对空间曲线上的点的随机采样。在一些实施例中,在整个空间曲线上执行随机采样。在其他实施例中,可以将空间曲线划分成段,并且每个段可以被不同地采样。例如,基于图像体中的对象的先验知识,穿过已知具有更显著亮度效果的所述体的区域的空间曲线的段可以比具有少量或没有效果的那些段更密集地被采样。在一些实施例中,随机采样对预先确定的百分比的3D数据集进行采样。例如,用户可以指定应使用5%的图像体,并且可以相应地执行采样。在一些实施例中,不是指定值,而是可以基于诸如可用于处理图像体的计算资源或图像体中的数据的密度的因素在运行时确定预先确定的百分比。
在图2的步骤215处,计算光传输矩阵。预先确定的百分比包括多个透光率值。每个透光率值对应于在步骤210处采样的点中包括的点的对之间的透光率。如通常所理解的那样,在入射的辐射能量中,特定点可以由线性方程定义。在该方程中,p是包括由一个或多个光源发射的辐射能量的矢量,并且i是包括一个或多个位置处的入射的能量的矢量。矩阵T是光传输矩阵,其中每个元素指示特定点处的能量的分数。因此,光传输矩阵的元素T[m,n]被填充有无单位值,所述无单位值描述由源n传输的到达位置m的辐射能量的分数。T[m,n]的值是积分的解,其中是表示沿着路径x承载的辐射能量的散射吞吐量函数,是将源n连接到点m的光路径的空间,并且是光路径的空间上的对应度量。用于求解该积分的技术通常在本领域中是已知的,并且因此本文中不详细地描述此类技术。
在一些实施例中,计算光传输矩阵的过程可以被进一步细化以减少需要被存储的数据点的数量。例如,在一个实施例中,可以排除分离大于预先确定的距离(例如,体的大小的75%)的点上的对。因此,光传输矩阵将仅被填充有所有可用的点的对的子集中的点的对的透光率值。在其他实施例中,图像体数据包括解剖对象,并且空间曲线上的随机选择的多个点中包括的每个点的对之间识别解剖特征。例如,可以通过将训练的机器学习模型应用于3D数据集,或通过应用图像掩模来识别解剖特征,所述图像掩模掩蔽对应于具有高于或低于预先确定的阈值的光吸收系数值的解剖特征的图像体的体素。接下来,可以针对解剖特征中的每个来确定光吸收系数值。然后,光传输矩阵可以仅被填充有未被具有高于预先确定的阈值(例如,基于解剖特征的材料性质和厚度来确定)的光衰减值的一个或多个解剖特征分离的点的对的透光率值。
返回到图2,在步骤220处,求解优化问题以确定多个稀疏系数,当将稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现光传输矩阵。在一些已知基(例如,傅里叶基、小波基等)中,矢量是稀疏的。如将由本领域技术人员理解的那样,稀疏编码允许将信号x表示为字典中的多个基矢量的线性组合。更一般地,信号可以由以下方程表示:
在图2中示出的方法的上下文中,表示重现光传输矩阵的多个稀疏系数。使用优化策略来求解的方程。可以将在本领域中通常已知的各种优化策略应用于学习任务。例如,在一些实施例中,应用贪婪策略近似(例如,匹配追踪算法)。在其他实施例中,学习字典的约束优化策略,诸如交替方向方法(ADM)稀疏表示策略。在其他实施例中,邻近度算法应用邻近算子以迭代地求解优化问题。基于邻近度的算法的示例包括迭代收缩阈值化算法(ISTA)和快速迭代收缩算法(FISTA)以及可分离近似稀疏重建(SpaRSA)。
最后,在步骤225处,将稀疏系数存储在本地或远程计算机可读介质上。之后可以使用稀疏系数借助照明来显示图像体数据。例如,响应于接收对借助照明显示图像体数据的请求,可以首先从计算机可读介质取回稀疏系数。接下来,可以通过将稀疏系数应用于预先确定的基矢量的字典来重建光传输矩阵(T[m,n])的各个元素或完整的光传输矩阵(T)。然后,如使用光传输矩阵所确定的那样,可以借助照明来显示图像体数据。
图3提供了根据本发明的一些实施例的可以被用于执行与光缩放矩阵的计算相关的计算的并行处理存储器架构300的示例。此类架构因为它们的广泛的计算能力和用于求解大规模优化问题的能力而是有用的。该架构300可以被用于其中使用NVIDIA™ CUDA(或类似的并行计算平台)的本发明的实施例中。该架构包括经由总线315(例如,PCIe总线)连接的主机计算单元(“主机”)305和GPU设备(“设备”)310。主机305包括中央处理单元或“CPU”(图3中未示出)和对CPU而言可访问的主机存储器325。设备310包括图形处理单元(GPU)及其相关联的存储器320,所述存储器320在本文中被称为设备存储器。设备存储器320可以包括各种类型的存储器,每个类型的存储器针对不同的存储器用途来优化。例如,在一些实施例中,设备存储器包括全局存储器、常数存储器和纹理存储器。
计算光传输矩阵的应用的并行部分可以作为“设备内核”或简单地“内核”在架构300上被执行。内核包括被配置成执行特定功能的参数化代码。并行计算平台被配置成基于参数、设置和由用户提供的其他选择跨越架构300以最佳方式执行这些内核。另外,在一些实施例中,并行计算平台可以包括附加功能以允许借助由用户提供的最少输入以最佳方式的内核的自动处理。
每个内核所需的处理由线程块的网格来执行(下文更详细描述)。使用并发内核执行、流和与轻量事件的同步,图3的架构300(或类似架构)可以被用于并行化优化功能,使得借助求解系统执行的各种操作被并行完成。例如,对于CUDA架构,诸如cuBLAS的库可以被用于并行化涉及字典中的基矢量的计算,并且cuSPARSE库可以被用于并行化优化算法和涉及计算稀疏系数的其他稀疏操作。
设备310包括表示设备310的计算单元的一个或多个线程块330。术语线程块是指可以经由共享存储器协作并且同步它们的执行以协调存储器访问的线程的组。例如,在图3中,线程340、345和350在线程块330中操作并且访问共享存储器335。取决于所使用的并行计算平台,可以以网格结构来组织线程块。然后可以将计算或计算的系列映射到该网格上。例如,在利用CUDA的实施例中,可以将计算映射在一维、二维或三维网格上。每个网格包含多个线程块,并且每个线程块包含多个线程。例如,在图3中,以具有m+1个行和n+1个列的二维网格结构来组织线程块330。通常,相同网格的不同线程块中的线程无法彼此通信或同步。然而,相同网格中的线程块可以同时在GPU内的相同多处理器上运行。每个线程块中的线程的数量可以被硬件或软件约束限制。在一些实施例中,可以由并行计算平台软件(例如,使用cuBLAS或cuSPARSE)自动地在线程块上自动地划分光传输计算;而在其他实施例中,用户可以编程地指定划分。
继续参考图3,寄存器355、360和365表示对线程块330可用的快速存储器。每个寄存器仅可由单个线程访问。因此,例如,寄存器355仅可以由线程340访问。相反地,共享存储器被分配给每个线程块,因此块中的所有线程具有对相同共享存储器的访问权。因此,共享存储器335被设计成由线程块330中的每个线程340、345和350并行访问。线程可以访问由相同线程块(例如,线程块330)内的其他线程从设备存储器320加载的共享存储器335中的数据。设备存储器320由网格的所有块访问,并且可以使用例如动态随机存取存储器(DRAM)实现。
每个线程可以具有一个或多个级别的存储器访问。例如,在图3的架构300中,每个线程可以具有三个级别的存储器访问。首先,每个线程340、345、350可以读取其对应的寄存器355、360和365和写入到其对应的寄存器355、360和365。寄存器提供对线程的最快的存储器访问,因为没有同步问题并且寄存器通常靠近于执行线程的多处理器定位。其次,线程块330中的每个线程340、345、350可以读取对应于该线程块330的共享存储器335和将数据写入到对应于该线程块330的共享存储器335。通常,由于需要在线程块中的所有线程之中同步访问,因此线程用于访问共享存储器所需的时间超出寄存器访问所需的时间。然而,与线程块中的寄存器一样,共享存储器通常靠近于执行线程的多处理器定位。第三级别的存储器访问允许设备310上的所有线程读取设备存储器和/或写入到设备存储器。设备存储器需要最长时间来访问,因为访问必须跨越在设备上操作的线程块被同步。因此,在一些实施例中,将光传输矩阵中的每个点的对的计算编码,使得其主要利用寄存器和共享存储器,并且仅在必要时利用设备存储器来将数据移入线程块和移出线程块。
可以用硬件和软件的任何组合来实现本公开的实施例。例如,除图3中呈现的并行处理架构外,标准计算平台(例如,服务器、台式计算机等)可以被特别地配置成执行本文中讨论的技术。另外,本公开的实施例可以被包括在具有例如计算机可读的非暂时性介质的制品(例如,一个或多个计算机程序产品)中。介质可以具有在其中实现的用于提供和促进本公开的实施例的机制的计算机可读程序代码。制品可以作为计算机系统的部分被包括或单独销售。
尽管本文中已经公开各种方面和实施例,但是其他方面和实施例对本领域技术人员而言将是显而易见的。本文中公开的各种方面和实施例是出于说明的目的,并且不旨在是限制性的,其中真实范围和精神由以下权利要求来指示。
如在本文中所使用的那样,可执行应用包括用于调节处理器以例如响应于用户命令或输入来实现预先确定的功能(诸如操作系统、上下文数据获取系统或其他信息处理系统的那些功能)的代码或机器可读指令。可执行程序是用于执行一个或多个特定过程的代码的段或机器可读指令、子例程或代码的其他不同部分或可执行应用的部分。这些过程可以包括接收输入数据和/或参数,对所接收的输入数据执行操作和/或响应于所接收的输入参数来执行功能,以及提供得到的输出数据和/或参数。
如本文中所使用的那样,图形用户界面(GUI)包括一个或多个显示图像,其由显示处理器产生并且使能与处理器或其他设备的用户交互以及相关联的数据获取和处理功能。GUI还包括可执行程序或可执行应用。可执行程序或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被供应到显示设备,所述显示设备显示图像以供用户查看。在可执行程序或可执行应用的控制下,处理器响应于从输入设备接收的信号来操纵GUI显示图像。以该方式,用户可以使用输入设备与显示图像交互,从而使能与处理器或其他设备的用户交互。
可以自动地或全部地或部分地响应于用户命令来执行本文中的功能和过程步骤。响应于一个或多个可执行指令或设备操作来执行自动地执行的活动(包括步骤),而无需用户直接启动活动。
附图的系统和过程不是排他的。可以根据本发明的原理导出其他系统、过程和菜单以实现相同目的。虽然已经参考特定实施例描述本发明,但是要理解,在本文中示出和描述的实施例和变化仅用于说明目的。在不脱离本发明的范围的情况下,可以由本领域技术人员实现对当前设计的修改。如本文中描述的那样,可以使用硬件部件、软件部件和/或其组合来实现各种系统、子系统、代理、管理器和过程。除非使用短语“用于……的构件”明确叙述了元素,否则本文中的权利要求元素不根据35 U. S. C. 112 (f)的规定来解释。
Claims (15)
1.一种用于执行光传输矩阵的压缩感测的计算机实现的方法,所述方法包括:
接收包括图像体数据的3D数据集,所述图像体数据包括解剖对象;
在穿过所述3D数据集的空间曲线上随机选择多个点;
计算包括多个透光率值的光传输矩阵,其中每个透光率值对应于所述多个点中包括的点的对之间的透光率;
其中光传输矩阵的计算包括:
识别所述空间曲线上的所述随机选择的多个点中包括的每个点的对之间的解剖特征;
确定所述解剖特征中的每个的光衰减值;
仅用未被具有高于预先确定的阈值的光衰减值的一个或多个解剖特征分离的点的对的透光率值来填充所述光传输矩阵;
或者
其中光传输矩阵的计算包括:
识别所述空间曲线上的所述随机选择的多个点中包括的所有可用的点的对的子集,其中所述子集中的每个点的对包括位于所述3D数据集内的预先确定的距离内的两个点;以及
仅用所有可用的点的对的所述子集中的点的对的透光率值来填充所述光传输矩阵;
求解优化问题以确定多个稀疏系数,当将所述稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现所述光传输矩阵;以及
将所述稀疏系数存储在计算机可读介质上。
2.根据权利要求1所述的方法,进一步包括:
接收对借助照明来显示所述图像体数据的请求;
从所述计算机可读介质取回所述稀疏系数;
使用所述稀疏系数和所述预先确定的基矢量的字典来重建所述光传输矩阵;以及
使用所述光传输矩阵借助照明来显示所述图像体数据。
3.根据权利要求1所述的方法,其中所述空间曲线保留所述3D数据集中的值的位置。
4.根据权利要求3所述的方法,其中所述空间曲线是希尔伯特空间填充曲线。
5.根据权利要求3所述的方法,其中所述空间曲线包括多个Z-阶曲线迭代。
6.根据权利要求1所述的方法,其中所述空间曲线上的所述多个点的随机采样对预先确定的百分比的所述3D数据集进行采样。
7.根据权利要求1所述的方法,其中通过将训练的学习模型应用于所述3D数据集来识别所述解剖特征。
8.根据权利要求1所述的方法,其中通过应用图像掩模来识别所述解剖特征,所述图像掩模掩蔽对应于具有高于所述预先确定的阈值的光衰减值的所述一个或多个解剖特征的所述图像体数据的体素。
9.根据权利要求1所述的方法,其中通过使用多个图形处理单元并行地执行多个数学运算来求解所述优化问题。
10.一种用于执行光传输矩阵的压缩感测的制品,所述制品包括保存用于执行方法的计算机可执行指令的计算机可读的非暂时性介质,所述方法包括:
接收包括图像体数据的3D数据集,所述图像体数据包括解剖对象;
在穿过所述3D数据集的空间曲线上随机选择多个点;
计算包括多个透光率值的光传输矩阵,其中每个透光率值对应于所述多个点中包括的点的对之间的透光率;
其中所述光传输矩阵的计算包括:
识别所述空间曲线上的所述随机选择的多个点中包括的每个点的对之间的解剖特征;
确定所述解剖特征中的每个的光衰减值;
仅用未被具有高于预先确定的阈值的光衰减值的一个或多个解剖特征分离的点的对的透光率值来填充所述光传输矩阵;
或者
其中所述光传输矩阵的计算包括:
识别所述空间曲线上的所述随机选择的多个点中包括的所有可用的点的对的子集,其中所述子集中的每个点的对包括位于所述3D数据集内的预先确定的距离内的两个点;以及
仅用所有可用的点的对的所述子集中的点的对的透光率值来填充所述光传输矩阵;
求解优化问题以确定多个稀疏系数,当将所述稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现所述光传输矩阵;以及
将所述稀疏系数存储在计算机可读介质上。
11.根据权利要求10所述的制品,其中所述方法进一步包括:
接收对借助照明来显示所述图像体数据的请求;
从所述计算机可读介质取回所述稀疏系数;
使用所述稀疏系数和所述预先确定的基矢量的字典来重建所述光传输矩阵;以及
使用所述光传输矩阵借助照明来显示所述图像体数据。
12.根据权利要求10所述的制品,其中所述空间曲线保留所述3D数据集中的值的位置。
13.根据权利要求10所述的制品,其中通过将训练的学习模型应用于所述3D数据集来识别所述解剖特征。
14.根据权利要求10所述的制品,其中通过应用图像掩模来识别所述解剖特征,所述图像掩模掩蔽对应于具有高于所述预先确定的阈值的光衰减值的所述一个或多个解剖特征的所述图像体数据的体素。
15.一种用于执行光传输矩阵的压缩感测的系统,所述系统包括:
图像获取设备,其被配置成获取包括图像体数据的3D数据集,所述图像体数据包括解剖对象;
并行处理存储器架构,其包括多个处理器,所述处理器被配置成:
在穿过所述3D数据集的空间曲线上随机选择多个点;
计算包括多个透光率值的光传输矩阵,其中每个透光率值对应于所述多个点中包括的点的对之间的透光率;
其中所述光传输矩阵的计算包括:
识别所述空间曲线上的所述随机选择的多个点中包括的每个点的对之间的解剖特征;
确定所述解剖特征中的每个的光衰减值;
仅用未被具有高于预先确定的阈值的光衰减值的一个或多个解剖特征分离的点的对的透光率值来填充所述光传输矩阵;
求解优化问题以确定多个稀疏系数,当将所述稀疏系数乘以预先确定的基矢量的字典时,所述稀疏系数重现所述光传输矩阵;以及
非暂时性计算机可读介质,其被配置成存储所述稀疏系数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/825,510 US10217269B1 (en) | 2017-11-29 | 2017-11-29 | Compressive sensing of light transport matrix |
US15/825510 | 2017-11-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109859302A CN109859302A (zh) | 2019-06-07 |
CN109859302B true CN109859302B (zh) | 2020-08-21 |
Family
ID=64604432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811444321.5A Active CN109859302B (zh) | 2017-11-29 | 2018-11-29 | 光传输矩阵的压缩感测 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10217269B1 (zh) |
EP (1) | EP3493163B1 (zh) |
CN (1) | CN109859302B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110489800B (zh) * | 2019-07-19 | 2023-03-14 | 广州大学 | 一种基于矩阵正则化的结构动荷载稀疏识别方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3241185A4 (en) * | 2014-12-30 | 2018-07-25 | Nokia Technologies Oy | Moving object detection in videos |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7262770B2 (en) * | 2002-03-21 | 2007-08-28 | Microsoft Corporation | Graphics image rendering with radiance self-transfer for low-frequency lighting environments |
US7538766B2 (en) * | 2005-06-08 | 2009-05-26 | Microsoft Corporation | Pre-computed shadow fields |
US8184119B2 (en) * | 2005-07-13 | 2012-05-22 | Siemens Medical Solutions Usa, Inc. | Fast ambient occlusion for direct volume rendering |
US8780112B2 (en) * | 2011-06-08 | 2014-07-15 | Pacific Data Images Llc | Coherent out-of-core point-based global illumination |
US8885975B2 (en) * | 2012-06-22 | 2014-11-11 | General Electric Company | Method and apparatus for iterative reconstruction |
US11393160B2 (en) * | 2018-03-23 | 2022-07-19 | Intel Corporation | Deep geometric model fitting |
-
2017
- 2017-11-29 US US15/825,510 patent/US10217269B1/en active Active
-
2018
- 2018-11-27 EP EP18208578.7A patent/EP3493163B1/en active Active
- 2018-11-29 CN CN201811444321.5A patent/CN109859302B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3241185A4 (en) * | 2014-12-30 | 2018-07-25 | Nokia Technologies Oy | Moving object detection in videos |
Non-Patent Citations (1)
Title |
---|
Efficient Visibility Encoding for Dynamic Illumination in Direct Volume Rendering;Joel Kronander 等;《IEEE TRANSACTIONS ON VISUALIZATION AND COMUPUTER GRAPHICS》;20120331;第18卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109859302A (zh) | 2019-06-07 |
EP3493163B1 (en) | 2021-06-09 |
EP3493163A3 (en) | 2019-10-16 |
US10217269B1 (en) | 2019-02-26 |
EP3493163A2 (en) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Eklund et al. | Medical image processing on the GPU–Past, present and future | |
Franco et al. | A parallel implementation of the 2D wavelet transform using CUDA | |
Saxena et al. | Research Article Parallel Image Processing Techniques, Benefits and Limitations | |
US20110202745A1 (en) | Method and apparatus for computing massive spatio-temporal correlations using a hybrid cpu-gpu approach | |
Simek et al. | Gpu acceleration of 2d-dwt image compression in matlab with cuda | |
CN115439341A (zh) | 用于图像处理和光传输模拟系统和应用的使用向量的时空噪声掩模和采样 | |
CN110811667B (zh) | 一种基于gpu加速的高精度pet重建方法及装置 | |
Liu et al. | GPU-based acceleration for interior tomography | |
Van Aart et al. | CUDA‐Accelerated Geodesic Ray‐Tracing for Fiber Tracking | |
Storath et al. | Fast segmentation from blurred data in 3D fluorescence microscopy | |
Wenger et al. | Visualization of astronomical nebulae via distributed multi-GPU compressed sensing tomography | |
CN109859302B (zh) | 光传输矩阵的压缩感测 | |
Zhongming et al. | Particle-based multiple irregular volume rendering on CUDA | |
Abdellah et al. | High Performance GPU‐Based Fourier Volume Rendering | |
Vintache et al. | Iterative reconstruction for transmission tomography on GPU using Nvidia CUDA | |
Gavrilov et al. | Novel approach to development of direct volume rendering algorithms based on visualization quality assessment | |
CN115439340A (zh) | 用于图像处理的时空噪声掩模 | |
CN106384377B (zh) | 医学数据的体绘制方法和装置 | |
Alakkari et al. | Principal component analysis techniques for visualization of volumetric data | |
Biguri et al. | Numerically robust tetrahedron-based tomographic forward and backward projectors on parallel architectures | |
Abdellah et al. | Optimized GPU-accelerated framework for x-ray rendering using k-space volume reconstruction | |
Dai et al. | Random-accessible volume data compression with regression function | |
Jimenez et al. | Rethinking the union of computed tomography reconstruction and GPGPU computing | |
Thompson et al. | Rapid CT reconstruction on GPU-enabled HPC clusters | |
US20240354912A1 (en) | Rank-1 lattice sampling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240905 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen, Germany Patentee before: SIEMENS HEALTHCARE GmbH Country or region before: Germany |