CN103440679A - 激光扫描共聚焦显微图像的三维重建方法 - Google Patents
激光扫描共聚焦显微图像的三维重建方法 Download PDFInfo
- Publication number
- CN103440679A CN103440679A CN2013103444033A CN201310344403A CN103440679A CN 103440679 A CN103440679 A CN 103440679A CN 2013103444033 A CN2013103444033 A CN 2013103444033A CN 201310344403 A CN201310344403 A CN 201310344403A CN 103440679 A CN103440679 A CN 103440679A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- laser scanning
- value
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供的激光扫描共聚焦显微图像的三维重建方法通过将激光扫描共聚焦显微图像构筑成三维空间规则数据场；对三维空间规则数据场中的三维空间数据预处理；数据值分类和给数据点赋颜色值和不透明度值；再进行重采样采用图像合成算法最终得到三维可视化图像。本发明提供的重采样方法，采用三次线性插值得到其中两个采样点的颜色值和不透明度值，再采用一次线性插值得到余下K-2个采样点的颜色值和不透明度值，简化了计算过程、提高了重建速度。
Description
技术领域
本发明涉及激光扫描共聚焦显微图像技术领域，尤其是涉及一种激光扫描共聚焦显微图像的三维重建方法。
背景技术
激光扫描共聚焦显微镜（Confocal laser scanning microscope，CLSM）是在荧光显微镜基础上发展起来的一种高分辨率、非接触式，能够实现三维成像的光学显微技术，由于它的光学分辨率突破了传统的衍射极限，使光学显微技术进入了一个全新的发展阶段，具有广阔的市场前景。
但是，由于CLSM得到的是一系列不同深度上的二维图像，由这些二维图像直接想象复杂的三维结构是非常困难的，因此，需要对CLSM的二维图像序列提供一种三维可视化的处理方法，实现三维重建，并在屏幕上具有真实感的显示是非常必要的。
目前，三维重建算法主要分为面绘制算法和体绘制算法。面绘制三维重建是一种采用对物体表面进行拟合而忽略物体内部信息的重建方法；体绘制三维重建是将三维空间的离散数据直接转换为二维图像而不必生成中间几何图元，直接应用视觉原理，通过对体数据重新采样来合成三维图像。虽然，从交互性能和算法效率上讲，面绘制要优于体绘制的，但是，面绘制只能提供物体表面的信息，忽略了物体内部大量有用的信息，因此只适用于表面特征明显的物体，却无法刻画物体内部细微复杂的结构，而体绘制能够刻画物体内部的复杂结构，显示物体内部真实的空间位置关系，其三维重建的图像的质量要优于面绘制。因此，使用体绘制方法对二维图像进行三维重建是目前的发展趋势。体绘制方法有光线投影法，剪切变形法等，而采用光线投影法对CLSM得到的二维图像进行三维可视化的处理，尚未见类似报道。
发明内容
本发明的目的是：提供一种能对激光扫描共聚焦显微二维图像的进行三维可视化处理的三维重建方法。
本发明的技术方案是：一种激光扫描共聚焦显微图像的三维重建方法，所述三维重建方法包括下述步骤；
步骤S110：将所述激光扫描共聚焦显微图像构筑成三维空间规则数据场；
步骤S120：对所述三维空间规则数据场中的三维空间数据预处理；
步骤S130：数据值分类；
步骤S140：给数据点赋颜色值和不透明度值；
步骤S150：进行重采样；及
步骤S160：采用图像合成算法生成三维可视化图像。
在本实施例中，步骤S110中，将所述激光扫描共聚焦显微图像构筑成三维空间规则数据场之前还包括将所述激光扫描共聚焦显微镜获取的序列二维图像，按成像顺序读入，且所述二维图像的大小一致。
在本实施例中，步骤S120中，对所述三维空间规则数据场中的三维空间数据预处理包括对所述三维空间数据格式转换、数据滤波处理及断层间插值。
在本实施例中，步骤S150中，进行重采样具体包括下述步骤：
步骤S151：从屏幕上每个像素点根据设定的观察方向发出一条穿过所述三维空间规则数据场的射线；
步骤S152：沿所述射线选择K个等距的采样点，其中K≥2；
步骤S153：选取任意两个采样点，并分别对距离其中一采样点最近的8个数据点的颜色值和不透明值做三次线性插值，得到所述两个采样点的颜色值和不透明度值；
步骤S154：采用一次线性插值得到余下K-2个采样点的颜色值和不透明度值。
在本实施例中，步骤S160中，采用图像合成算法生成三维可视化图像具体包括下述步骤：
将每条射线上各采样点的颜色值和不透明度值由前向后或者由后向前进行合成，得出发出该射线的像素点处的颜色值，生成三维可视化图像。
本发明的优点是：
本发明提供的激光扫描共聚焦显微图像的三维重建方法通过将所述激光扫描共聚焦显微生成的二维图形进行处理、数据值分类、给数据点赋颜色值和不透明度值后，再进行重采样，采用图像合成算法最终得到三维可视化图像。
另外，本发明提供的重采样方法，采用三次线性插值得到其中两个采样点的颜色值和不透明度值，在基于上述两个采样点的颜色值和不透明度值，采用一次线性插值得到余下K-2个采样点的颜色值和不透明度值，简化了计算过程、提高了重建速度。
附图说明
图1为本发明实施例提供的激光扫描共聚焦显微图像的三维重建方法的步骤流程图；
图2为本发明实施例提供的激光扫描共聚焦显微图像的三维空间规则数据场的结构示意图；
图3为本发明实施例提供的重采样的步骤流程图；
图4为本发明实施例提供的三次线性插值的原理示意图；
图5为本发明实施例提供的重采样的原理示意图。
具体实施方式
请参考图1，图1为本发明实施例提供的激光扫描共聚焦显微图像的三维重建方法的步骤流程图100。
激光扫描共聚焦显微图像的三维重建方法100包括下述步骤：
步骤S110：将激光扫描共聚焦显微图像构筑成三维空间规则数据场；
可以理解，激光扫描共聚焦显微镜在进行扫描成像时，一般是沿着标本轴向方向进行连续断层扫描成像，扫描范围及每次的轴向移动距离均为预先设置的，即图像的大小和层间的距离已经给定，因此，可以将这些数据按照成像顺序构筑一个三维空间规则数据场，且三维空间规则数据场中的三维空间数据分布在均匀网格或规则网格的网格点上，如图2所示，其中，每个小黑点代表1个像素（数据点），由8个像素组成1个体素。
进一步地，在将激光扫描共聚焦显微图像构筑成三维空间规则数据场之前还包括将激光扫描共聚焦显微镜获取的序列二维图像，按成像顺序读入，且二维图像的大小一致，从而实现将激光扫描共聚焦显微图像构筑成三维空间规则数据场。
步骤S120：对三维空间规则数据场中的三维空间数据预处理；
在本实施例中，对三维空间规则数据场中的三维空间数据预处理包括对三维空间数据格式转换、数据滤波处理及断层间插值。
具体地，对原始的三维空间数据格式转换，将数据变换到8位灰度空间上；对原始的三维空间数据进行滤波处理，降低噪声对图像的影响。
步骤S130：数据值分类；
步骤S140：给数据点赋颜色值和不透明度值；
在本实施例中，根据数据值的不同，正确的将其分为若干类，并给每类赋予不同的颜色值和不透明值，以求正确的表示多种物质的不同分布或单一物质的不同属性。
步骤S150：进行重采样；
请参阅图3，图3为本发明实施例提供的重采样的原理示意图，其包括下述步骤：
步骤S151：从屏幕上每个像素点根据设定的观察方向发出一条穿过三维空间规则数据场的射线；
步骤S152：沿射线选择K个等距的采样点，其中K≥2；
步骤S153：选取任意两个采样点，并分别对距离其中一采样点最近的8个数据点的颜色值和不透明值做三次线性插值，得到两个采样点的颜色值和不透明度值；及
步骤S154：采用一次线性插值得到余下K-2个采样点的颜色值和不透明度值。
可以理解，经过步骤S151～步骤S154完成了重采样。
步骤S160：采用图像合成算法生成三维可视化图像。
具体地，将每条射线上各采样点的颜色值和不透明度值由前向后或者由后向前进行合成，得出发出该射线的像素点处的颜色值，生成三维可视化图像。
本发明提供的激光扫描共聚焦显微图像的三维重建方法通过将所述激光扫描共聚焦显微生成的二维图形进行处理、数据值分类、给数据点赋颜色值和不透明度值后，再进行重采样，采用图像合成算法最终得到三维可视化图像。
为了清楚说明重采样的过程，以下结合具体实施例对本发明重采样的流程进行详细的说明，这些实施例仅用于举例说明的目的，并没有限制本发明的范围。
请结合图4，设体素8个顶点的数据值分别为F0、F1、F2、F3、F4、F5、F6、F7，点P10、P11、P12、P13分别为所在边得分点，截得所在边两段的长度比为（y：1-y），P8、P9分别截边P10P11、P12P13为（x：1-x），P截边P8P9为（z：1-z），采样点P（x，y，z）的体数据值通过一次线性插值进行计算：
FP=F0（1-x）（1-y）（1-z）+F1x（1-y）（1-z）+F2（1-x）y（1-z）+F3（1-x）（1-y）z+F4xy（1-z）+F5x（1-y）z+F6（1-x）yz+F7xyz
从上式中可以看出，一次线性插值需要20次加法和24次乘法计算，若在一个体素里取k个采样点，一条射线和s个体素相交，则当k=5，s=100时，总的计算量为10000个加法，12000个乘法。当k和s都很大时，计算量很大而且费时。激光扫描共聚焦显微镜获取的图像序列一般为512×512×100，而原始的重采样使用三线性插值来计算采样点的数据值，无疑计算量将是非常巨大的。
为了减小计算量，提高重建速度，本发明对重采样部分的算法进行了改进。
如图5所示，一条射线在一个体素内有k个采样点，由于一个体素内的采样点之间是线性变换的，这样只要计算k个点中的两个点的数据值，然后通过一次线性插值就可以得到其它采样点的值。
首先，通过三次线性插值计算采样点W1和采样点Wk的数据值FW1和FWk，对应的计算量为20×2次加法，24×2次乘法。由于采样点是均匀分布的，因此剩余的k-2个采样点的数据值可以通过下述公式计算：
FWi=FW1+（FWk-FW1）（i-1）/（k-1），其中，1、k、i分别为第1个采样点、第k个采样点及第k个采样点。
可以理解，（FWk-FW1）和（k-1）的值只需要计算一次，是2次加法，计算余下k-2个点时都要用到，每个点的计算还需要2次加法和2次乘法，这样计算k个点需要的计算量为：20×2+2+2×（k-2）=38+2k次加法，24×2+2×（k-2）=44+2k次乘法。当k=5，射线穿过的体素数目为100时，需要的计算量为4800次加法，5400次乘法，比原始算法需要的计算量减少了一半多，提高了重建的速度。
进一步，原始算法是对整个体数据场中的每个点进行重采样，而实际图片中往往只有一部分是有数据的，而另外一部分则是没有数据，数值为0。对数值为0的区域进行计算是没有意义的，因此可以不计算这部分区域从而加快算法的运算速度；本发明提供的重建算法中加入判定，如果体素的8个顶点数据值为0，则这个体素内的重采样点都不需要进行插值计算，直接对重采样点赋值为0，这样能够进一步降低算法的计算量。
本发明实施例提供的重采样方法，采用三次线性插值得到其中两个采样点的颜色值和不透明度值，在基于上述两个采样点的颜色值和不透明度值，采用一次线性插值得到余下（K-2）个采样点的颜色值和不透明度值，简化了计算过程、提高了重建速度。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (5)
1.一种激光扫描共聚焦显微图像的三维重建方法，其特征在于，所述三维重建方法包括下述步骤；
步骤S110：将所述激光扫描共聚焦显微图像构筑成三维空间规则数据场；
步骤S120：对所述三维空间规则数据场中的三维空间数据预处理；
步骤S130：数据值分类；
步骤S140：给数据点赋颜色值和不透明度值；
步骤S150：进行重采样；及
步骤S160：采用图像合成算法生成三维可视化图像。
2.根据权利要求1所述的激光扫描共聚焦显微图像的三维重建方法，其特征在于，步骤S110中，将所述激光扫描共聚焦显微图像构筑成三维空间规则数据场之前还包括将所述激光扫描共聚焦显微镜获取的序列二维图像，按成像顺序读入，且所述二维图像的大小一致。
3.根据权利要求1所述的激光扫描共聚焦显微图像的三维重建方法，其特征在于，步骤S120中，对所述三维空间规则数据场中的三维空间数据预处理包括对所述三维空间数据格式转换、数据滤波处理及断层间插值。
4.根据权利要求1所述的激光扫描共聚焦显微图像的三维重建方法，其特征在于，步骤S150中，进行重采样具体包括下述步骤：
步骤S151：从屏幕上每个像素点根据设定的观察方向发出一条穿过所述三维空间规则数据场的射线；
步骤S152：沿所述射线选择K个等距的采样点，其中K≥2；
步骤S153：选取任意两个采样点，并分别对距离其中一采样点最近的8个数据点的颜色值和不透明值做三次线性插值，得到所述两个采样点的颜色值和不透明度值；
步骤S154：采用一次线性插值得到余下K-2个采样点的颜色值和不透明度值。
5.根据权利要求1所述的激光扫描共聚焦显微图像的三维重建方法，其特征在于，步骤S160中，采用图像合成算法生成三维可视化图像具体包括下述步骤：
将每条射线上各采样点的颜色值和不透明度值由前向后或者由后向前进行合成，得出发出该射线的像素点处的颜色值，生成三维可视化图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013103444033A CN103440679A (zh) | 2013-08-09 | 2013-08-09 | 激光扫描共聚焦显微图像的三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013103444033A CN103440679A (zh) | 2013-08-09 | 2013-08-09 | 激光扫描共聚焦显微图像的三维重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103440679A true CN103440679A (zh) | 2013-12-11 |
Family
ID=49694372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013103444033A Pending CN103440679A (zh) | 2013-08-09 | 2013-08-09 | 激光扫描共聚焦显微图像的三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103440679A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318620A (zh) * | 2014-10-21 | 2015-01-28 | 南京钢铁股份有限公司 | 利用共聚焦显微镜对试样表面进行三维重建的方法 |
| CN104568880A (zh) * | 2014-12-30 | 2015-04-29 | 北京大学第三医院 | 一种对软骨组织进行分析的方法 |
| CN106846469A (zh) * | 2016-12-14 | 2017-06-13 | 北京信息科技大学 | 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置 |
| CN107292958A (zh) * | 2017-07-28 | 2017-10-24 | 谢荟 | 一种图像重构系统及方法 |
| CN108681627A (zh) * | 2018-04-27 | 2018-10-19 | 武汉大学 | 一种全彩色三维打印的屏幕软打样算法 |
| CN112362594A (zh) * | 2020-10-14 | 2021-02-12 | 华南理工大学 | 一种基于共聚焦显微高光谱成像的混合凝胶组分分布的直接检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1453734A (zh) * | 2002-04-23 | 2003-11-05 | 北京清大德人显微数字技术有限公司 | 一种计算机激光共焦扫描显微镜系统 |
| CN102081309A (zh) * | 2009-11-27 | 2011-06-01 | 上海微电子装备有限公司 | 一种提高对准扫描成功率的方法 |
| US20120194646A1 (en) * | 2011-02-02 | 2012-08-02 | National Tsing Hua University | Method of Enhancing 3D Image Information Density |
| CN102833462A (zh) * | 2012-07-23 | 2012-12-19 | 苏州生物医学工程技术研究所 | 一种共聚焦点扫描成像的信号预处理方法 |
-
2013
- 2013-08-09 CN CN2013103444033A patent/CN103440679A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1453734A (zh) * | 2002-04-23 | 2003-11-05 | 北京清大德人显微数字技术有限公司 | 一种计算机激光共焦扫描显微镜系统 |
| CN102081309A (zh) * | 2009-11-27 | 2011-06-01 | 上海微电子装备有限公司 | 一种提高对准扫描成功率的方法 |
| US20120194646A1 (en) * | 2011-02-02 | 2012-08-02 | National Tsing Hua University | Method of Enhancing 3D Image Information Density |
| CN102833462A (zh) * | 2012-07-23 | 2012-12-19 | 苏州生物医学工程技术研究所 | 一种共聚焦点扫描成像的信号预处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 关大勇: "体绘制光线投射加速算法研究与实现", 《数字技术与应用》 * |
| 唐郭强: "激光扫描共聚焦显微镜图像分析与三维重建", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318620A (zh) * | 2014-10-21 | 2015-01-28 | 南京钢铁股份有限公司 | 利用共聚焦显微镜对试样表面进行三维重建的方法 |
| CN104568880A (zh) * | 2014-12-30 | 2015-04-29 | 北京大学第三医院 | 一种对软骨组织进行分析的方法 |
| CN104568880B (zh) * | 2014-12-30 | 2017-07-21 | 北京大学第三医院 | 一种对软骨组织进行分析的方法 |
| CN106846469A (zh) * | 2016-12-14 | 2017-06-13 | 北京信息科技大学 | 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置 |
| CN106846469B (zh) * | 2016-12-14 | 2019-12-03 | 北京信息科技大学 | 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置 |
| CN107292958A (zh) * | 2017-07-28 | 2017-10-24 | 谢荟 | 一种图像重构系统及方法 |
| CN108681627A (zh) * | 2018-04-27 | 2018-10-19 | 武汉大学 | 一种全彩色三维打印的屏幕软打样算法 |
| CN112362594A (zh) * | 2020-10-14 | 2021-02-12 | 华南理工大学 | 一种基于共聚焦显微高光谱成像的混合凝胶组分分布的直接检测方法 |
| CN112362594B (zh) * | 2020-10-14 | 2022-04-22 | 华南理工大学 | 一种基于共聚焦显微高光谱成像的混合凝胶组分分布的直接检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103440679A (zh) | 激光扫描共聚焦显微图像的三维重建方法 | |
| KR101145260B1 (ko) | 3ｄ 객체 모델에 텍스쳐를 매핑하는 방법 및 장치 | |
| Boubekeur et al. | A flexible kernel for adaptive mesh refinement on GPU | |
| CN109636894B (zh) | 一种基于像素点栅格化的动态三维热力计算方法及系统 | |
| DE102010048486A1 (de) | Bildverarbeitungstechniken | |
| CN105046729B (zh) | 一种高效并行矢量数据可视化方法 | |
| CN108197555B (zh) | 一种基于人脸追踪的实时人脸融合方法 | |
| JP2013250891A (ja) | 超解像方法及び装置 | |
| EP2528042B1 (de) | Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen | |
| Westerteiger et al. | Spherical Terrain Rendering using the hierarchical HEALPix grid | |
| US9542724B1 (en) | Systems and methods for stroke rendering on digital maps | |
| JP4165695B2 (ja) | 非多様体の陰関数表現方法のコンピュータプログラム | |
| Wrenninge et al. | Efficient rendering of volumetric motion blur using temporally unstructured volumes | |
| CN117274527A (zh) | 一种发电机设备三维可视化模型数据集构建方法 | |
| JP2023178274A (ja) | メッシュ頂点位置についての求根および反復を用いて表面を近似するポリゴンメッシュを生成する方法およびシステム | |
| JP2012108825A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN104915992A (zh) | 基于股骨ct图像的实时阴影体绘制方法 | |
| dos Passos et al. | Sample-based synthesis of illustrative patterns | |
| Lee et al. | Hardware-based adaptive terrain mesh using temporal coherence for real-time landscape visualization | |
| Trapp et al. | Real-time screen-space geometry draping for 3d digital terrain models | |
| CN112991509A (zh) | 基于WebGL的三维风场反演方法、系统、装置及存储介质 | |
| Trapp et al. | Interactive close-up rendering for detail+ overview visualization of 3d digital terrain models | |
| Ma et al. | Hierarchical octree and sub-volume texture block projection for GPU accelerated ray casting volume rendering | |
| CN102592312B (zh) | 基于平行空间的光线投射高度场可视化方法 | |
| CN117152334B (zh) | 一种基于电波、气象云图大数据实现的三维仿真模拟方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20131211 |