CN105118088A - 一种基于病理切片扫描装置的3d成像及融合的方法 - Google Patents
一种基于病理切片扫描装置的3d成像及融合的方法 Download PDFInfo
- Publication number
- CN105118088A CN105118088A CN201510478257.2A CN201510478257A CN105118088A CN 105118088 A CN105118088 A CN 105118088A CN 201510478257 A CN201510478257 A CN 201510478257A CN 105118088 A CN105118088 A CN 105118088A
- Authority
- CN
- China
- Prior art keywords
- image
- axis
- layer
- scanister
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Microscoopes, Condenser (AREA)
- Image Input (AREA)
Abstract
本发明提供了一种基于病理切片扫描装置的3D成像及融合的方法，属于领域。该方法通过病理切片扫描装置模拟出各个焦平面上的3D图像，并且通过融合方法将不同焦平面上的3D图像全部融合在同一张图像上，最终由各个焦平面层的数据与融合层的数据组合成一幅3D图像。本发明解决了病理切片扫描装置扫描过程中，扫描出来的图像丢失本身图像细节的问题；能有效的通过病理切片扫描装置来模拟出比显微镜更方便简洁的观看3D效果，并且通过融合功能实现了把不同焦平面上的清晰组织全部融合在同一张图像上，最终达到能完整并清晰的查看到切片上所有的细胞及组织的图像。
Description
技术领域
本发明属于生物医学领域，具体涉及一种基于病理切片扫描装置的3D成像及融合的方法。
背景技术
病理切片是病理标本的一种。制作时将部分有病变的组织或脏器经过各种化学品和埋藏法的处理，使之固定硬化，在切片机上切成薄片，粘附在玻片上，染以各种颜色，供在显微镜下检查，以观察病理变化，作出病理诊断，为临床诊断和治疗提供帮助。病理切片扫描装置是把病理切片转化成数字化的一种工具，替代了传统显微镜。
但现有病理切片扫描装置都是没有3D的效果，导致无法达到像显微镜一样可以在同一个位置可以上下调点焦距，来看不同的细胞组织变化。无法满足在一个焦平面中扫描出所有清晰的图像细节。
发明内容
本发明的目的在于解决上述现有技术中存在的难题，提供一种基于病理切片扫描装置的3D成像及融合的方法，有效的通过病理切片扫描装置来模拟出比显微镜更方便简洁的观看3D效果，并且通过融合功能可以实现把不同焦平面上的清晰组织全部融合在同一张图像上。最终达到能完整并清晰的查看到切片上所有的细胞及组织的图像。
本发明是通过以下技术方案实现的：
一种基于病理切片扫描装置的3D成像及融合的方法，通过病理切片扫描装置模拟出各个焦平面上的3D图像，并且通过融合方法将不同焦平面上的3D图像全部融合在同一张图像上，最终由各个焦平面层的数据与融合层的数据组合成一幅3D图像。
所述病例切片扫描装置包括：
相机：用于采集病理切片图像；
成像镜：用于光路成像；
物镜：用于放大图像，能够上下移动，用于相机对焦；
病理切片：即扫描对象；
扫描平台：用于移动病理切片沿X，Y方向移动；
聚光镜：把光聚集在一起；
光源7：提供光源；
计算机。
所述方法包括：
S1，通过图像识别出切片组织上的焦点，对焦点进行对焦，算出各个焦点的Z轴最佳焦距，即Z轴实测焦距；
S2，利用所述Z轴实测焦距，拟合出一个虚拟平面，则XYZ扫描的轨迹按该虚拟平面运动，把该虚拟平面扫描的层作为焦平面0层；
S3，在焦平面0层内，控制物镜和扫描平台移动Z轴的运动曲线，在运动过程中，相机从轨迹(A与A’的轨迹起始点点同一个点)的运动的起始点开始持续不断抓取物镜与扫描平台运动过程中的图像，直至运动结束，并持续不断地把图像实时传给计算机；计算机实时对抓取过来的图像进行处理，直至该Z轴的运动曲线对应的XY实际切片扫描轨迹结束；
S4，Y轴再次移动到起始点，把焦平面0层的Z轴的轨迹依次向上或向下移动设定的距离，每移动一次，重复一次S3；
S5，直至所有层扫描结束，即扫描出了焦平面0层、焦平面1层至N层；通过N+1层的数据，通过所有层的数据描绘出该Z轴的运动曲线对应的XY实际切片扫描轨迹上的3D图像；
S6，对每个Z轴的运动曲线重复S3、S4和S5，得到每个Z轴的运动曲线对应的XY实际切片扫描轨迹上的3D图像，进而获得整张图像的数据；
S7，制作出3D数据并且通过融合算法取出每层最清晰的内容合成一个融合层。
所述S1中的对焦点进行对焦，算出各个焦点的Z轴最佳焦距是这样实现的：
将Z轴匀速移动，使用病理切片扫描装置中的相机不断抓取图像，找到抓取的图像中的清晰度最高的图像，该图像对应的Z轴的位置即为Z轴最佳焦距。
所述S2中的利用所述Z轴实测焦距，拟合出一个虚拟平面是这样实现的：
利用所述Z轴实测焦距，用图像平面拟合方法算出虚拟平面。
所述图像平面拟合方法包括二维插值和最小二乘法。
所述S3中的计算机实时对抓取过来的图像进行处理包括补光处理和颜色校正处理。
所述S4中的设定距离为0.0001mm至0.01mm之间。
所述S5中的N为1至99。
所述S5中的N取4。
与现有技术相比，本发明的有益效果是：本发明解决了病理切片扫描装置扫描过程中，扫描出来的图像丢失本身图像细节的问题；能有效的通过病理切片扫描装置来模拟出比显微镜更方便简洁的观看3D效果，并且通过融合功能实现了把不同焦平面上的清晰组织全部融合在同一张图像上，最终达到能完整并清晰的查看到切片上所有的细胞及组织的图像。
附图说明
图1病理切片的扫描装置
图2平台XYZ轴的移动轨迹图
图3平台XY轴的移动轨迹图
图4A’轨迹的Y与Z轴的轨迹运动图
具体实施方式
下面结合附图对本发明作进一步详细描述：
病理切片扫描装置如图1所示，包括用于采集病理切片图像的相机装置即相机1；用于光路成像的成像镜2；用于放大图像的物镜3，其可上下移动，用于相机对焦；病理切片4，即扫描对象；扫描平台5，用于移动病理切片可以往X，Y方向移动；聚光镜6，把光聚集在一起；光源7：提供光源为LED灯，图1中的8-11表示PC与四个模块相互通信，PC控制四个模块及四个模块对PC机有数据的返回。
图2所示是平台XYZ轴的移动轨迹图。通过实测焦点算出扫描曲线。其中A’表示的轨迹即Z轴的运动曲线，简称A’轨迹。
图3所示是平台XY轴的移动轨迹图。图中为手绘切片组织图，图4表示实际对焦点。其中A表示XY的实际切片扫描轨迹。即A轨迹，与图2中的A’的轨迹对应。
图4所示是A’轨迹的Y与Z轴的轨迹运动图，其中0，1，2，3，4为5条不同的轨迹，条与条之间的Z轴间距为0.001mm。
本发明的具体步骤包括：
S1，对图3中的焦点(焦点一般都选取在切片组织上，可通过图像识别取得)进行对焦，算出各个点的Z轴最佳焦距也称作实测焦距(对焦方法：Z轴匀速移动，相机不断抓图，通过抓取的图像清晰度来得出Z轴移动到那个位置时图像最清晰即当作焦距位置。)(即图像最清晰的位置)。
S2，通过Z轴实测焦距，用二维插值，最小二乘法等一系列图像平面拟合的方法算出一个虚拟平面，则XYZ扫描的轨迹按该虚拟平面运动(本算法很复杂但用到最小二乘法，插值等方法都可以拟合出一个平面)(如图3所示)，把该虚拟平面扫描的层(虚拟平面就是扫描时所要用的坐标即也是扫描的层)称作焦平面0层.
S3，通过PC控制物镜3(即虚拟平面的Z坐标)，扫描平台5(即虚拟平面的XY坐标)移动焦平面0层的轨迹A’(图2所示)的轨迹，在运动过程中，相机1从轨迹的运动的起始点开始持续不断抓取物镜3与扫描平台5运动过程中的图像，直至运动结束，并持续不断的把图像实际传给PC。PC再实时处理抓取过来的图像进行补光，颜色校正等一系列处理。直至A’扫描轨迹结束。
S4，Y轴再次移动到起始点，把焦平面0层的Z轴的轨迹向下移动0.001mm(用户可选配每层的距离，一般范围在0.0001mm至0.01mm之间，经验值为0.0001mm，然后按步骤3扫描一次(只改变Z轴的焦距值)依次类推Z轴不断的向上移动或者向下移动0.001mm。即所有的轨迹如图4所示。
S5，直至所有层扫描结束，即扫描出了焦平面0层，焦平面1层.焦平面2层，焦平面3层，焦平面4层的所有图像数据。通过5层的数据(数据的层数可由用户选配，可选择1-100层，一般5层就可以达到医生所需要的结果)就可以描绘出A轨迹上的3D图像。
S6，最后依次把B轨迹，C轨迹...与A轨迹的方法一样按照步骤3，4，5扫描出整张图像的数据
到此，所有层的图像数据采集结束即就有了3D的图像数据。然后通过软件制作出3D数据并且通过融合算法，取出每层最清晰的内容，最后合成一个融合层
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
Claims (10)
1.一种基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述方法通过病理切片扫描装置模拟出各个焦平面上的3D图像，并且通过融合方法将不同焦平面上的3D图像全部融合在同一张图像上,最终由各个焦平面层的数据与融合层的数据组合成一幅3D图像。
2.根据权利要求1所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述病例切片扫描装置包括：
相机：用于采集病理切片图像；
成像镜：用于光路成像；
物镜：用于放大图像，能够上下移动，用于相机对焦；
病理切片：即扫描对象；
扫描平台：用于移动病理切片沿X,Y方向移动；
聚光镜：把光聚集在一起；
光源7：提供光源；
计算机。
3.根据权利要求2所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述方法包括：
S1，通过图像识别出切片组织上的焦点，对焦点进行对焦，算出各个焦点的Z轴最佳焦距，即Z轴实测焦距；
S2，利用所述Z轴实测焦距，拟合出一个虚拟平面，则XYZ扫描的轨迹按该虚拟平面运动，把该虚拟平面扫描的层作为焦平面0层；
S3，在焦平面0层内，控制物镜和扫描平台移动Z轴的运动曲线，在运动过程中，相机从轨迹的运动的起始点开始持续不断抓取物镜与扫描平台运动过程中的图像，直至运动结束，并持续不断地把图像实时传给计算机；计算机实时对抓取过来的图像进行处理，直至该Z轴的运动曲线对应的XY实际切片扫描轨迹结束；
S4，Y轴再次移动到起始点，把焦平面0层的Z轴的轨迹依次向上或向下移动设定的距离，每移动一次，重复一次S3；
S5，直至所有层扫描结束，即扫描出了焦平面0层、焦平面1层至N层；通过N+1层的数据，通过所有层的数据描绘出该Z轴的运动曲线对应的XY实际切片扫描轨迹上的3D图像；
S6，对每个Z轴的运动曲线重复S3、S4和S5，得到每个Z轴的运动曲线对应的XY实际切片扫描轨迹上的3D图像，进而获得整张图像的数据；
S7，制作出3D数据并且通过融合算法取出每层最清晰的内容合成一个融合层。
4.根据权利要求3所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述S1中的对焦点进行对焦，算出各个焦点的Z轴最佳焦距是这样实现的：
将Z轴匀速移动，使用病理切片扫描装置中的相机不断抓取图像，找到抓取的图像中的清晰度最高的图像，该图像对应的Z轴的位置即为Z轴最佳焦距。
5.根据权利要求4所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述S2中的利用所述Z轴实测焦距，拟合出一个虚拟平面是这样实现的：
利用所述Z轴实测焦距，用图像平面拟合方法算出虚拟平面。
6.根据权利要求5所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述图像平面拟合方法包括二维插值和最小二乘法。
7.根据权利要求6所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述S3中的计算机实时对抓取过来的图像进行处理包括补光处理和颜色校正处理。
8.根据权利要求7所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述S4中的设定距离为0.0001mm至0.01mm之间。
9.根据权利要求8所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述S5中的N为1至99。
10.根据权利要求9所述的基于病理切片扫描装置的3D成像及融合的方法，其特征在于：所述S5中的N取4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510478257.2A CN105118088A (zh) | 2015-08-06 | 2015-08-06 | 一种基于病理切片扫描装置的3d成像及融合的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510478257.2A CN105118088A (zh) | 2015-08-06 | 2015-08-06 | 一种基于病理切片扫描装置的3d成像及融合的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105118088A true CN105118088A (zh) | 2015-12-02 |
Family
ID=54666061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510478257.2A Pending CN105118088A (zh) | 2015-08-06 | 2015-08-06 | 一种基于病理切片扫描装置的3d成像及融合的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105118088A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654111A (zh) * | 2015-12-21 | 2016-06-08 | 宁波江丰生物信息技术有限公司 | 基于k-means聚类的病理图像扫描焦点分类方法 |
| CN106874687A (zh) * | 2017-03-03 | 2017-06-20 | 深圳大学 | 病理切片图像智能分类方法及装置 |
| CN108508016A (zh) * | 2018-04-09 | 2018-09-07 | 扬州大学附属医院 | 一种前列腺癌三维病理构型方法 |
| CN110132967A (zh) * | 2019-05-14 | 2019-08-16 | 南京凯泽瑞兹光电科技有限公司 | 一种数字病理切片扫描器 |
| CN110415200A (zh) * | 2019-07-26 | 2019-11-05 | 西南科技大学 | 一种骨水泥植入体ct图像层间插值方法 |
| WO2020238626A1 (zh) * | 2019-05-29 | 2020-12-03 | 腾讯科技（深圳）有限公司 | 图像状态确定方法、装置、设备、系统及计算机存储介质 |
| CN114170314A (zh) * | 2021-12-07 | 2022-03-11 | 深圳群宾精密工业有限公司 | 一种基于智能3d视觉处理3d眼镜工艺轨迹执行方法 |
| CN114577799A (zh) * | 2022-02-23 | 2022-06-03 | 杭州迪安生物技术有限公司 | 一种多层对齐融合方法及其应用 |
| CN114820406A (zh) * | 2020-10-30 | 2022-07-29 | 武汉联影医疗科技有限公司 | 融合图像显示方法、装置和医学影像系统 |
| CN116609332A (zh) * | 2023-07-20 | 2023-08-18 | 佳木斯大学 | 新型组织胚胎病理切片全景扫描系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615289A (zh) * | 2009-08-05 | 2009-12-30 | 北京优纳科技有限公司 | 切片组织的三维采集及多层图像融合方法 |
| CN101996397A (zh) * | 2010-11-04 | 2011-03-30 | 山东易创电子有限公司 | 一种制作数字切片的方法 |
| CN102221741A (zh) * | 2010-04-13 | 2011-10-19 | 奥林巴斯株式会社 | 摄像装置 |
| CN103308452A (zh) * | 2013-05-27 | 2013-09-18 | 中国科学院自动化研究所 | 一种基于景深融合的光学投影断层成像图像获取方法 |
| CN103364935A (zh) * | 2012-03-26 | 2013-10-23 | 新东超精密有限公司 | 显微镜 |
| CN105004723A (zh) * | 2015-06-25 | 2015-10-28 | 宁波江丰生物信息技术有限公司 | 病理切片扫描3d成像与融合装置及方法 |
-
2015
- 2015-08-06 CN CN201510478257.2A patent/CN105118088A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101615289A (zh) * | 2009-08-05 | 2009-12-30 | 北京优纳科技有限公司 | 切片组织的三维采集及多层图像融合方法 |
| CN102221741A (zh) * | 2010-04-13 | 2011-10-19 | 奥林巴斯株式会社 | 摄像装置 |
| CN101996397A (zh) * | 2010-11-04 | 2011-03-30 | 山东易创电子有限公司 | 一种制作数字切片的方法 |
| CN103364935A (zh) * | 2012-03-26 | 2013-10-23 | 新东超精密有限公司 | 显微镜 |
| CN103308452A (zh) * | 2013-05-27 | 2013-09-18 | 中国科学院自动化研究所 | 一种基于景深融合的光学投影断层成像图像获取方法 |
| CN105004723A (zh) * | 2015-06-25 | 2015-10-28 | 宁波江丰生物信息技术有限公司 | 病理切片扫描3d成像与融合装置及方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654111B (zh) * | 2015-12-21 | 2019-03-29 | 宁波江丰生物信息技术有限公司 | 基于k-means聚类的病理图像扫描焦点分类方法 |
| CN105654111A (zh) * | 2015-12-21 | 2016-06-08 | 宁波江丰生物信息技术有限公司 | 基于k-means聚类的病理图像扫描焦点分类方法 |
| CN106874687A (zh) * | 2017-03-03 | 2017-06-20 | 深圳大学 | 病理切片图像智能分类方法及装置 |
| CN108508016B (zh) * | 2018-04-09 | 2023-08-22 | 扬州大学附属医院 | 一种前列腺癌三维病理构型方法 |
| CN108508016A (zh) * | 2018-04-09 | 2018-09-07 | 扬州大学附属医院 | 一种前列腺癌三维病理构型方法 |
| CN110132967A (zh) * | 2019-05-14 | 2019-08-16 | 南京凯泽瑞兹光电科技有限公司 | 一种数字病理切片扫描器 |
| CN110132967B (zh) * | 2019-05-14 | 2021-10-08 | 南京凯泽瑞兹光电科技有限公司 | 一种数字病理切片扫描器 |
| US11921278B2 (en) | 2019-05-29 | 2024-03-05 | Tencent Technology (Shenzhen) Company Limited | Image status determining method an apparatus, device, system, and computer storage medium |
| WO2020238626A1 (zh) * | 2019-05-29 | 2020-12-03 | 腾讯科技（深圳）有限公司 | 图像状态确定方法、装置、设备、系统及计算机存储介质 |
| CN110415200B (zh) * | 2019-07-26 | 2022-03-08 | 西南科技大学 | 一种骨水泥植入体ct图像层间插值方法 |
| CN110415200A (zh) * | 2019-07-26 | 2019-11-05 | 西南科技大学 | 一种骨水泥植入体ct图像层间插值方法 |
| CN114820406A (zh) * | 2020-10-30 | 2022-07-29 | 武汉联影医疗科技有限公司 | 融合图像显示方法、装置和医学影像系统 |
| CN114170314B (zh) * | 2021-12-07 | 2023-05-26 | 群滨智造科技(苏州)有限公司 | 一种基于智能3d视觉处理3d眼镜工艺轨迹执行方法 |
| CN114170314A (zh) * | 2021-12-07 | 2022-03-11 | 深圳群宾精密工业有限公司 | 一种基于智能3d视觉处理3d眼镜工艺轨迹执行方法 |
| CN114577799A (zh) * | 2022-02-23 | 2022-06-03 | 杭州迪安生物技术有限公司 | 一种多层对齐融合方法及其应用 |
| CN116609332A (zh) * | 2023-07-20 | 2023-08-18 | 佳木斯大学 | 新型组织胚胎病理切片全景扫描系统 |
| CN116609332B (zh) * | 2023-07-20 | 2023-10-13 | 佳木斯大学 | 新型组织胚胎病理切片全景扫描系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105118088A (zh) | 一种基于病理切片扫描装置的3d成像及融合的方法 | |
| TWI532460B (zh) | 從活體內多相機膠囊重建影像 | |
| JP6039156B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN105004723A (zh) | 病理切片扫描3d成像与融合装置及方法 | |
| JP6750183B2 (ja) | 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム | |
| EP2596472B1 (de) | Mosaikaufnahmeerzeugung | |
| JP2007058222A (ja) | 顕微鏡スライドの拡大イメージを作成するシステム及び方法 | |
| CN105395164B (zh) | 图像处理装置及图像处理装置的控制方法 | |
| JP6408916B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体 | |
| KR20140105036A (ko) | 화상 처리 장치, 화상 표시 시스템, 화상 처리 방법 및 컴퓨터 판독가능 기억 매체 | |
| CN109118544A (zh) | 基于透视变换的合成孔径成像方法 | |
| CN105227802A (zh) | 一种面向最佳质量图像快速扫描的自适应控制方法及系统 | |
| JP2021083919A5 (zh) | ||
| Ben-Hamadou et al. | Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept | |
| JPH11108630A (ja) | 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法 | |
| JP2021187957A (ja) | コークス炉撮影装置、コークス炉検査装置、画像処理装置および産業設備の撮影装置 | |
| EP4379316A1 (en) | Measuring system providing shape from shading | |
| WO2020037582A1 (en) | Graph-based key frame selection for 3-d scanning | |
| CN110514589A (zh) | 用于聚焦的方法、装置和计算机程序产品 | |
| KR102355578B1 (ko) | 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법 | |
| CN103728304A (zh) | 一种用于病理切片扫描仪的对焦方法 | |
| CN116642895B (zh) | 一种焦平面扫掠的五面成像3d重构方法 | |
| Shenoy | Optimization Methods for Tracking and Mapping the Human Retina | |
| Sansoni et al. | Application of three-dimensional optical acquisition to the documentation and the analysis of crime scenes and legal medicine inspection | |
| Qidwai et al. | Image stitching system with scanning microscopy for histopathological applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151202 |