CN101226052A - 三维微观形貌斜扫描方法及装置 - Google Patents

三维微观形貌斜扫描方法及装置 Download PDF

Info

Publication number
CN101226052A
CN101226052A CNA2008100468406A CN200810046840A CN101226052A CN 101226052 A CN101226052 A CN 101226052A CN A2008100468406 A CNA2008100468406 A CN A2008100468406A CN 200810046840 A CN200810046840 A CN 200810046840A CN 101226052 A CN101226052 A CN 101226052A
Authority
CN
China
Prior art keywords
image
focal plane
texture
dimensional
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100468406A
Other languages
English (en)
Other versions
CN100582657C (zh
Inventor
吕植勇
严新平
彭雅芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute Of Technology Industry Group Co ltd
Wuhan Traffic Science And Technology Research Institute Co ltd
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN200810046840A priority Critical patent/CN100582657C/zh
Publication of CN101226052A publication Critical patent/CN101226052A/zh
Application granted granted Critical
Publication of CN100582657C publication Critical patent/CN100582657C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种三维微观形貌斜扫描方法及装置。该方法是通过计算机控制三个步进电机调整聚焦物体位置,保证在斜扫描的过程中始终保持聚焦观察对象在中心位置,并得到物体焦平面内的图像纹理和高层信息,再通过图像合成和重构得到比较大的尺度的三维形貌图。该装置包括计算机、显微镜和设置在显微镜上的摄像头(1);显微镜的载物平台(13)装有载物楔形台(14);载物楔形台与显微镜载物平台β=5~40度的倾角构成斜焦平面视场,其三维运动空间坐标与摄像头在该坐标下的图像同时输入到计算机数据库中,在此基础上重构三维微观形貌高层和纹理信息。本发明避免了在不聚焦的区域做无用的工作,减少扫描时间,提高了扫描速度和效率。

Description

三维微观形貌斜扫描方法及装置
技术领域
本发明涉及三维扫描,尤其是涉及一种三维微观形貌斜扫描方法及装置。
背景技术
目前,采用焦平面原理可以解决微观细胞的三维图像处理和重构,利用荧光显微镜采用解卷积和盲解卷积的方法处理生物细胞的荧光的三维图像,提高图像的分辨率[2],利用该原理设计设计了专利“ZL 2005200967777.9(公告号CN2804794)”和“200510018921.1(公开号CN1715987)”,这些能够以二维平面图像序列和一维高度数据的形式记录三维表面信息,通过对这些信息重构可以得到直观的三维表面信息,然后再利用三维表面的图像拼接方法,得到显微镜下全景深三维图像形貌。但是,这些方法采用对一个对象进行纵向垂直扫描,得到仅仅是一个区域的三维图像,在扫描的过程中,不能进行横向移动,如果希望得到更大的三维图像,需要重新移动一个地方,重新纵向垂直扫描,然后再进行拼接得到更大的三维图像,此过程中,大部分时间是对不聚焦的表面进行扫描,浪费时间,效率低。
发明内容
本发明所要解决的技术问题是:提供一种三维微观形貌斜扫描方法及装置,以便能够对微观三维形貌和新貌纹理实现连续扫描,通过斜扫描得到三维图像的纵向信息和横向信息,通过图像的横向分量信息可以分析,并通过计算机控制三个步进电机调整聚焦物体位置,保证在扫描的过程中始终聚焦观察对象,再通过图像处理得到比较大的尺度的三维形貌图。
本发明解决其技术问题采用以下的技术方案:
本发明提供的三维微观形貌斜扫描方法,具体是:放置在显微镜的载物楔形台上的样品,其微观形貌图像经显微镜在摄像头成像后,由图像采集卡输送到图像处理计算机分析该微观形貌图像中的焦平面范围所在的位置,然后通过计算机控制X、Y和Z轴步进电机或伺服电机驱动载物平台沿着载物楔形台移动,在载物楔形台移动过程中,由位移记录仪将载物平台的移动信号传输到计算机中,得到载物平台的三维坐标的值,并将该坐标的值与采集微观形貌图像序列号建立一一对应关系;并通过计算机利用聚焦评价函数对每幅图像聚焦区域进行划分,每幅图像的聚焦区域作为该图像三维定位坐标的高层区域的范围,每幅聚焦区域范围内图像纹理构成整个重构大尺度图像纹理;非聚焦区域范围内图像纹理去掉,不构成整个重构大尺度图像纹理;然后将每幅聚焦范围的高层信息和图像纹理集成到整个重构大尺度高层图和图像纹理,使焦平面中每个像素颜色值与空间坐标值重新建立一一对应关系进行重构,得到一个更大范围的三维微观形貌。
本发明提供的实现上述三维微观形貌斜扫描方法的扫描装置,包括计算机、显微镜和设置在显微镜上的摄像头,其中:显微镜的载物平台由计算机控制的X、Y和Z轴步进电机或伺服电机驱动,该平台装有载物楔形台;计算机的数据输入接口经图像采集卡与摄像头的数据输出端相连接。
本发明与现有技术相比具有以下的主要优点:斜焦平面扫描方法利用伺服电机对载物平台的三维表面进行连续扫描,不需要采用避免了传统的方法将整个图像分割为多个区域,然后将每个区域进行逐层扫描,然后将每层的焦平面范围的图像和高层进行合成获取一个区域三维图像,最后将各区域的图像进行再次拼接为大尺度的图像;而是直接对聚焦范围物体表面进行连续一条一条的三维扫描,通过数处理和重构获取三维表面的纹理和高层图像,避免了在不聚焦的区域做无用的工作,减少扫描时间,提高了扫描速度和效率。
附图说明
图1为本发明三维微观形貌斜平台扫描装置结构示意图。
图2为本发明焦平面成像与观察对象光路图。
图3为测量处理流程图。
图4为斜焦平面波扫描原理图。
图5为焦平面触碰上警戒线偏移过程。
图6为焦平面在正常焦平面区域不处理。
图7为焦平面触碰下警戒线偏移过程。
图8为相邻两帧焦平面图像拼接重构。
图9为图像回廊拼接方法。
图10为图像之字拼接方法。
图11为图像回头重复扫描拼接方法。
图12为斜载物平台设计方案。
图中:1.摄像头;2.图像采集卡;3.图像处理计算机;4.驱动伺服电机控制器;5.X轴伺服电机;6.Y轴伺服电机;7.X轴旋转皮带轮;8.Y轴旋转皮带轮;9.X轴旋钮;10.Z轴旋转轮;11.Y轴旋钮;12.Z轴伺服电机;13.载物平台;14.载物楔形台;15.辅助光源;16.焦平面摄像头成像面图;17.光学镜头;18.显微镜景深范围图像;19.焦平面区域范围图像;20.焦平面摄像头成像面图纹理;21.焦平面上警戒线;22.聚焦平面正常区域;23.焦平面下警戒线;24.Di帧图焦平面范围;25.Di+1图焦平面范围;26.重叠部分;27.拼接重迭带;28.载物楔形台上表面。
具体实施方式
本发明采用三维微观形貌斜扫描方法,即:将显微镜的物镜沿着斜载物平台运动,并控制载物平台移动空间位移,其位移信号通过位移记录仪(如光电编码器)传输到计算机中,得到载物平台的坐标P,L,H的值,P、L、H分别是显微镜载物平台开始测量的第一幅图像的原点O坐标下的X、Y、Z坐标;以斜焦平面扫描,通过显微镜和摄像头得到样品的微观形貌图像水平和竖直方向焦平面的图像,再通过图像处理得到三维形貌的焦平面范围图像,并利用水平焦平面图像合成物体的三维形貌,利用竖直图像分量得到物体高层信息,然后根据竖直焦平面所处的范围是否脱离显微镜视景范围,利用伺服电机对载物平台的三维跟踪控制、利用计算机对CCD采集系列图像进行处理、测量与重构。从采集到摄像头图像中,将焦平面的范围图像分离方法是利用梯度算子(或称焦平面评价函数),对采集的图像进行卷积运算。然后对卷积运算得到图像进行二值化,然后对二值化图像进行膨胀图像形态学处理,得到焦平面的范围。
下面结合实施例及附图对本发明作进一步说明,但不限定本发明。
本发明提供的三维微观形貌斜扫描方法,具体是:放置在显微镜的载物楔形台14上的样品,其微观形貌图像经显微镜在摄像头1成像后,由图像采集卡2输送到图像处理计算机3分析该微观形貌图像中的焦平面范围所在的位置,然后通过计算机控制X、Y和Z轴步进电机或伺服电机驱动载物平台13沿着载物楔形台14移动,在载物楔形台14移动过程中,由位移记录仪将载物平台13的移动信号传输到计算机中,得到载物平台的三维坐标的值,并将该坐标的值与采集微观形貌图像序列号建立一一对应关系;并通过计算机利用聚焦评价函数对每幅图像聚焦区域进行划分,每幅图像的聚焦区域作为该图像三维定位坐标的高层区域的范围,每幅聚焦区域范围内图像纹理构成整个重构大尺度图像纹理;非聚焦区域范围内图像纹理去掉,不构成整个重构大尺度图像纹理;然后将每幅聚焦范围的高层信息和图像纹理集成到整个重构大尺度高层图和图像纹理,使焦平面中每个像素颜色值与空间坐标值重新建立一一对应关系进行重构,得到一个更大范围的三维微观形貌。
上述的三维微观形貌斜扫描方法,具体是采用包括以下步骤的方法(参见图3):
第一步,将样品放置在显微镜的载物楔形台14上,载物平台13由计算机控制的X、Y和Z轴步进电机在X、Y、Z轴三个方向上带着样品作平移,并且通过人工确定初始基准坐标,记录第一帧的空间位置P、L、H的值,P、L、H分别是原点O坐标下的X、Y、Z坐标;其中在X轴方向按照显微镜景深的1/2~1/100进行平移,在Y轴方向按照在Y轴方向的图像与图像重叠1/5~1/20进行平移,在Z轴并保持该聚焦范围的图像在采集图像移动方向上的中间的2/3~3/4区域内。
第二步,对样本采集微观图像:
利用摄像头1和显微镜对样品进行斜扫描,得到样品的微观形貌图像,并将物体表面纹理图像传输到图像采集卡2。对样品进行斜扫描时,摄像头采集路线按照回廊方式进行扫描,图像拼接方法也按照回廊方式进行拼接(参见图9);或者摄像头采集路线按照之字方式进行扫描,图像拼接方法也按照之字方式进行拼接(参见图10);或者摄像头采集路线按照回头重复方式进行扫描,图像拼接方法也按照回头重复方式进行拼接(参见图11),编号27是拼接重迭带。
斜焦平面扫描路线可以采用逐行来回扫描,也可以采用扫完一行再从头开始扫描,每行扫描之间间距D小于每幅图像的宽度d,保证行与行之间有一定重叠度。多条成像带进行三维拼接重构将斜焦平面扫描连续图像构成图像三维图像带,对不同位置不同焦平面的图片进行重构,得到可以反映该点全部表面信息以及背景信息的全焦平面图像带,保证带与带之间的图像进行重构得到大视景图像。
第三步,图像采集卡2将图像信息输送到图像处理计算机3进行图像处理,利用梯度算子如Sobel算子、Krisch算子、Prewit算子、Laplacian算子或log算子对采集的图像进行卷积运算,其中Krisch算子、Prewit算子处理的效果比较好,得到焦平面的评价矩阵。
在图像采集卡2将图像信息输送到图像处理计算机3中的同时建立图像零点两个坐标体系,一个是以显微镜为参考的坐标体系O(X,Y,Z)的某点Fn(Xn,Yn,Zn),另一个是从摄像头1采集的图像为坐标体系on(x,y,z)中的某点Fn(a,b,Hn),两者的坐标转换关系为:
Xn=an+Pn
Yn=bn+Ln
Zn=Hn
上述Xn、Yn、Zn为显微镜空间坐标,Pn、Ln、Hn为采集的第n幅图像的左上角在O(X,Y,Z)空间的坐标位置,a、b为焦平面区域范围图像19范围的某点在on(x,y,z)空间的坐标位置,
依靠计算机对伺服电机控制来移动载物平台确立P、L、H值,a、b值则依靠计算机对焦平面图像分析得到焦平面的坐标范围来确立,然后将不同高程焦平面信息和纹理信息进行合成。
对于摄像头采集到的焦平面需要进行跟踪,方法是:由于在进行图像三维形貌扫描的过程中,被扫描的表面成像会脱离焦平面范围,需要在扫瞄的过程中,不断地调整载物平台的Z轴的空间位置,保证物体表面成像在摄像头被检测的焦平面区域。焦平面区域划分为三个警戒区,请见图5、图6和图7,位于焦平面上警戒线21的上方是上警戒区,位于焦平面下警戒线23的下方是下警戒区,它们之间是聚焦平面正常区域22。通过分析焦平面区域范围图像19的重心所处的空间位置分析焦平面在什么区域,正常区域范围必须足够大,保证焦平面有足够的移动范围。如果焦平面区域范围图像19在上或下警戒区域,则由计算机向伺服机构发出控制信号,调整载物平台13的Y轴的位移,使图像中焦平面位于聚焦平面正常区域22中,并且记录该平台的空间位置。
或者在图像处理时,应计算每个像素的微观偏移量ρ,将焦平面的图像区域进行划分为上宏观偏移、宏观不偏移和下宏观偏移,并通过卡尔曼滤波技术对微观三维形貌进行航迹跟踪,当焦平面偏移出视场范围后,通过调节伺服机构,对宏观偏移进行补偿,保持斜焦平面在显微镜的采集图像装置的视场范围内,并计算宏观偏移量;最后,将微观偏移量与宏观偏移量,以及光学系统的畸变误差补偿进行耦合和图像重构,将每幅图像焦平面区域作为高层信息,将每幅焦平面的纹理作为整个图像的纹理,将所有采集到的图像焦平面的高层信息和纹理信息合成到一幅图像中,构成大尺度的的三维形貌。
第四步,对卷积运算得到图像进行二值化,再对二值化图像进行膨胀图像形态学处理,得到焦平面的范围二值化图像,然后对二值化图像进行膨胀图像形态学处理,得到焦平面的范围。此过程中,当焦平面区域范围图像19的重心偏移到显微镜景深范围图像18的中心位置的时候(参见图4),通过计算机控制系统(驱动伺服电机控制器4)驱动X、Y和Z轴步进电机或伺服电机驱动载物平台13,保证焦平面区域范围图像19的重心在显微镜景深范围图像18的中心位置。
第五步,将H高层与焦平面的范围二值化图像矩阵进行矩阵相乘,得到焦平面的高层矩阵。将原始图像的矩阵与焦平面的范围二值化图像矩阵相乘,得到焦平面纹理图像矩阵。
第六步,将上一次得到H高层矩阵和焦平面纹理图像矩阵,与新得到H高层矩阵和焦平面纹理图像矩阵,按照坐标P、L的值将新的高层信息添加到上次合成的高层信息和焦平面纹理图像中,得到新的合成新得到H高层矩阵和焦平面纹理图像矩阵。
参见图8:如果相邻两帧焦平面图像有重叠的,即Di帧图焦平面范围24和Di+1图焦平面范围25相重叠时,则将它们的重叠部分26的高程信息取均值,即两者的高层取均值,或取上一帧图像高程信息,或取上下帧图像高程信息,纹理信息任一个焦平面即可。
第七步,升高载物平台的空间位置,分析焦平面作在的空间位置,焦平面范围是否会脱离焦平面图像T。
第八步,如果焦平面范围会脱离焦平面图像T,通过调整载物平台Y轴坐标,将焦平面范围移到中间,并记录坐标P、L、H的值。
第九步,判断是否处理完所有的采集的焦平面图像,如果是,提交微观物体的微观新貌的高层信息图和微观新貌纹理图,否则按下述第十步进行。
第十步,将新合成的高层信息图和纹理图矩阵赋给上一次合成矩阵中,作为下一次循环处理的初始矩阵。
先记录基准坐标,第一幅图像的左上角为O(0,0,0)基准坐标,然后图像按照该序列进行编排,其中,坐标的位置N(P,L,H)。每幅图像经过处理之后得到水平焦平面范围内的图按照坐标位置进行叠加,而竖直焦平面范围根据Z轴坐标位移得到每个像素高层信息记录在高层图像中。
本发明提供了一种能够实现上述三维微观形貌斜扫描方法的扫描装置,其结构如图1所示:包括计算机,显微镜,设置在显微镜上的摄像头,以及X轴伺服电机5、Y轴伺服电机6和Z轴伺服电机7或步进电机,这些电机由计算机的驱动伺服电机控制器4控制,并且分别通过X轴旋转皮带轮7、Y轴旋转皮带轮8、Z轴旋转轮10驱动显微镜的载物平台13。为了便于调整X轴和Y轴,在载物平台下方处设有X轴旋钮9和Y轴旋钮11。在载物平台13上还装有载物楔形台14,载物楔形台14与水平面呈β=5~40度的倾角,一般为30度。载物楔形台14与载物平台13一起由计算机控制的X、Y和Z轴步进电机或伺服电机驱动做平移运动,载物楔形台14的X、Y和Z轴三维运动空间坐标与摄像头采集到物体表面图像的同时输入到计算机数据库中,建立一一对应关系。在载物平台13的上方,设有与显微镜机壳相连的辅助光源15。计算机的数据输入接口经图像采集卡2与摄像头的数据输出端相连接。
图2是本发明焦平面成像与观察对象光路图。该图中,编号16为焦平面摄像头成像面图,编号17为光学镜头,编号20为焦平面摄像头成像面图纹理,编号28为载物楔形台上表面。
该系统有两个坐标体系,在图像采集卡2将图像信息输送到图像处理计算机3中的同时建立图像零点两个坐标体系,一个是以显微镜为参考的坐标体系O(X,Y,Z)的某点Fn(Xn,Yn,Zn),另一个是从摄像头1采集的图像为坐标体系on(x,y,z)中的某点Fn(a,b,Hn),两者的坐标转换关系为:
Xn=an+Pn
Yn=bn+Ln
Zn=Hn
上述Xn、Yn、Zn为显微镜空间坐标,Pn、Ln、Hn为采集的第n幅图像的左上角在OXYZ空间的坐标位置,a、b为焦平面区域范围图像19范围的某点在oxyz空间的坐标位置。
依靠计算机对伺服电机控制来移动载物平台确立P、L、H值,a、b值则依靠计算机对焦平面图像分析得到焦平面的坐标范围来确立,然后将不同高程焦平面信息和纹理信息进行合成。
本发明还提供了一种在上述扫描装置的基础上不使用载物楔形台14的装置,其在对普通显微镜的改造过程中,在X、Y轴上可以移动的载物平台与水平面扫描方向呈β角,β=5~40度,构成斜焦平面视场,同样可以实现本发明提供的三维微观形貌斜扫描方法。
具体是:参见图12,通过斜焦平面视场对物体的三维形貌扫描,通过图像处理技术,计算每个像素的微观偏移量ρ,将焦平面的图像区域进行划分为上宏观偏移、宏观不偏移和下宏观偏移,并通过卡尔曼滤波技术对微观三维形貌进行航迹跟踪,当焦平面偏移出视场范围后,通过调节伺服机构,对宏观偏移进行补偿,保持斜焦平面在显微镜的采集图像装置的视场范围内,并计算宏观偏移量。最后,将微观偏移量与宏观偏移量,以及光学系统的畸变误差补偿进行耦合,和图像重构,得到大尺度的三维形貌。
微观量和宏观量进行耦合基本数学模型如下:
Xn=ρn cosβ+x宏观量nxn
Yn=yn+y宏观量nyn
Zn=ρn sinβ+z宏观量nzn
Xn、Yn、Zn为第n条带的三维尺寸;X宏观量n、y宏观量n、Z宏观量n为宏观补偿值;yn为y第n条带的轴微观测量值;β为载物平台倾角与水平面扫描方向的夹角β=5~40度(图12);ρn为微观焦平面第n条带的极左标距离;σxn、σyn、σzn为第n条带的误差修正量,是根据图像中焦平面位置来确定的。当测量一些生物体的细胞的三维结构的时候,可以将以上结构显微镜斜放置,保证载物平台与水平面平齐。
4)多幅不同扫描带的焦平面图像进行三维拼接重构
该内容主要是如何将大尺度三维形貌进行分割成不同的区域扫描带,如何利用现有的技术将三维空间的边缘信息与其他的三维空间的边缘信息进行拼接。根据本项目采用的扫描方式是斜焦平面对微观物体形貌进行扫描,可以横向和纵向都兼顾,因而可以根据三维形貌因视利导上下调节载物平台,保证三维表面在焦平面的视场范围之内,扫描的范围比纵向扫描范围更大,如图9和图10所示。
根据坐标对两幅图像进行高层的代数运算,重叠部分A+B高层取两部分的平均值,不重叠部分独自取各自的高层。
3)纵向叠加三维形貌测量方法。该方法通过单目显微镜采集金属表面的纵向焦平面视频图像,通过解卷积、阈值图像分割、多幅不同场景下的三维图像拼接重构,得到将微观三维形貌图像。并通过形态学方法对没有测量到泄漏部分进行补漏、校正,保证测量的完整性。工作流程如图3所示。
附表
表1
  空间绝对坐标  N:图像序列号  X:X轴坐标位移   Y:Y轴坐标位移   Z:Z轴坐标位移
  在图像相对坐标  N:图像序列号  x:x轴坐标位移   y:y轴坐标位移   z:z轴坐标位移

Claims (10)

1.一种三维微观形貌斜扫描方法,其特征是:放置在显微镜的载物楔形台(14)上的样品,其微观形貌图像经显微镜在摄像头(1)成像后,由图像采集卡(2)输送到图像处理计算机(3)分析该微观形貌图像中的焦平面范围所在的位置,然后通过计算机控制X、Y和Z轴步进电机或伺服电机驱动载物平台(13)沿着载物楔形台(14)移动,在载物楔形台(14)移动过程中,由位移记录仪将载物平台(13)的移动信号传输到计算机中,得到载物平台的三维坐标的值,并将该坐标的值与采集微观形貌图像序列号建立一一对应关系;并通过计算机利用聚焦评价函数对每幅图像聚焦区域进行划分,每幅图像的聚焦区域作为该图像三维定位坐标的高层区域的范围,每幅聚焦区域范围内图像纹理构成整个重构大尺度图像纹理;非聚焦区域范围内图像纹理去掉,不构成整个重构大尺度图像纹理;然后将每幅聚焦范围的高层信息和图像纹理集成到整个重构大尺度高层图和图像纹理,使焦平面中每个像素颜色值与空间坐标值重新建立一一对应关系进行重构,得到一个更大范围的三维微观形貌。
2.根据权利要求1所述的三维微观形貌斜扫描方法,其特征是具体采用包括以下步骤的方法:
第一步,将样品放置在显微镜的载物楔形台(14)上,载物平台(13)由计算机控制的X、Y和Z轴步进电机在X、Y、Z轴三个方向上带着样品作平移,并且通过人工确定初始基准坐标,记录第一帧的空间位置P、L、H的值,P、L、H分别是原点O坐标下的X、Y、Z坐标;其中在X轴方向按照显微镜景深的1/2~1/100进行平移,在Y轴方向按照在Y轴方向的图像与图像重叠1/5~1/20进行平移,在Z轴并保持该聚焦范围的图像在采集图像移动方向上的中间的2/3~3/4区域内;
第二步,对样本采集微观图像:
利用摄像头(1)将物体表面纹理图像传输到图像采集卡(2);
第三步,图像采集卡(2)将图像信息输送到图像处理计算机(3)进行图像处理,利用梯度算子对采集的图像进行卷积运算,得到焦平面的评价矩阵;
第四步,对卷积运算得到图像进行二值化,再对二值化图像进行膨胀图像形态学处理,得到焦平面的范围二值化图像,然后对二值化图像进行膨胀图像形态学处理,得到焦平面的范围;
第五步,如果将H高层与焦平面的范围二值化图像矩阵进行矩阵相乘,得到焦平面的高层矩阵;如果将原始图像的矩阵与焦平面的范围二值化图像矩阵相乘,得到焦平面纹理图像矩阵;
第六步,将上一次得到H高层矩阵和焦平面纹理图像矩阵,与新得到H高层矩阵和焦平面纹理图像矩阵,按照坐标P、L的值将新的高层信息添加到上次合成的高层信息和焦平面纹理图像中,得到新的合成新得到H高层矩阵和焦平面纹理图像矩阵;
第七步,升高载物平台的空间位置,分析焦平面作在的空间位置,焦平面范围是否会脱离焦平面图像T;
第八步,如果焦平面范围会脱离焦平面图像T,通过调整载物平台Y轴坐标,将焦平面范围移到中间,并记录坐标P、L、H的值;第九步,判断是否处理完所有的采集的焦平面图像,如果是,提交微观物体的微观新貌的高层信息图和微观新貌纹理图,否则按下述第十步进行;
第十步,将新合成的高层信息图和纹理图矩阵赋给上一次合成矩阵中,作为下一次循环处理的初始矩阵。
3.根据权利要求2所述的三维微观形貌斜扫描方法,其特征是:第三步中,梯度算子采用Sobel算子、Krisch算子、Prewit算子、Laplacian算子或log算子。
4.根据权利要求2所述的三维微观形貌斜扫描方法,其特征是:第四步中,通过计算所有焦平面区域范围的重心或形心,当焦平面区域范围图像(19)的重心偏移到显微镜景深范围图像(18)的中心位置的时候,通过计算机控制系统驱动X、Y和Z轴步进电机或伺服电机驱动载物平台(13),保证焦平面区域范围图像(19)的重心在显微镜景深范围图像(18)的中心位置。
5.根据权利要求2所述的三维微观形貌斜扫描方法,其特征是:第三步中,在图像采集卡2将图像信息输送到图像处理计算机3中的同时建立图像零点两个坐标体系,一个是以显微镜为参考的坐标体系O(X,Y,Z)的某点Fn(Xn,Yn,Zn),另一个是从摄像头1采集的图像为坐标体系on(x,y,z)中的某点Fn(a,b,Hn),两者的坐标转换关系为:
Xn=an+Pn
Yn=bn+Ln
Zn=Hn
上述Xn、Yn、Zn为显微镜空间坐标,Pn、Ln、Hn为采集的第n幅图像的左上角在O(X,Y,Z)空间的坐标位置,a、b为焦平面区域范围图像(19)的某点在on(x,y,z)空间的坐标位置,
依靠计算机对伺服电机控制来移动载物平台确立P、L、H值,a、b值则依靠计算机对焦平面图像分析得到焦平面的坐标范围来确立,然后将不同高程焦平面信息和纹理信息进行合成。
6.根据权利要求5所述的三维微观形貌斜扫描方法,其特征是:如果相邻两帧焦平面图像有重叠的,则将重叠的焦平面的高程信息取均值,即两者的高层取均值,或取上一帧图像高程信息,或取上下帧图像高程信息,纹理信息任一个焦平面即可。
7.根据权利要求1或2所述的三维微观形貌斜扫描方法,其特征是:对于焦平面需要进行跟踪,方法是:需要不断的调整载物平台的Z轴的空间位置,将采集的图像划分为上、中、下三个警戒区,保证物体表面成像在被检测的中间区域,如果焦平面在上或下警戒区域,则由计算机向伺服机构发出控制信号,调整载物平台(13)的Y轴的位移,图像中焦平面所在的位置在中间,并且记录该平台的空间位置;
或者在图像处理时,将焦平面的图像区域进行划分为上宏观偏移、宏观不偏移和下宏观偏移,并通过卡尔曼滤波技术对微观三维形貌进行航迹跟踪,当焦平面偏移出视场范围后,通过调节伺服机构,对宏观偏移进行补偿,保持斜焦平面在显微镜的采集图像装置的视场范围内,并计算宏观偏移量;最后,将微观偏移量与宏观偏移量,以及光学系统的畸变误差补偿进行耦合和图像重构,将每幅图像焦平面区域作为高层信息,将每幅焦平面的纹理作为整个图像的纹理,将所有采集到的图像焦平面的高层信息和纹理信息合成到一幅图像中,构成大尺度的的三维形貌。
8.根据权利要求1所述的三维微观形貌斜扫描方法,其特征是:摄像头(1)采集路线按照回廊方式进行扫描,图像拼接方法也按照回廊方式进行拼接;或者摄像头采集路线按照之字方式进行扫描,图像拼接方法也按照之字方式进行拼接;或者摄像头采集路线按照回头重复方式进行扫描,图像拼接方法也按照回头重复方式进行拼接。
9.一种实现权利要求1至8中任一权利要求所述三维微观形貌斜扫描方法的扫描装置,包括计算机、显微镜和设置在显微镜上的摄像头(1),其特征是:显微镜的载物平台(13)装有载物楔形台(14),载物楔形台与显微镜载物平台β=5~40度,载物楔形台(14)与载物平台(13)一起由计算机控制的X、Y和Z轴步进电机或伺服电机驱动做平移运动,载物楔形台(14)的X、Y和Z轴三维运动空间坐标与摄像头采集到物体表面图像的同时输入到计算机数据库中,建立一一对应关系。
10.根据权利要求9所述的扫描装置,其特征是:不使用载物楔形台(14),在X、Y轴上可以移动的载物平台与水平面扫描方向呈β角,β=5~40度,构成斜焦平面视场。
CN200810046840A 2008-01-31 2008-01-31 三维微观形貌斜扫描方法及装置 Expired - Fee Related CN100582657C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810046840A CN100582657C (zh) 2008-01-31 2008-01-31 三维微观形貌斜扫描方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810046840A CN100582657C (zh) 2008-01-31 2008-01-31 三维微观形貌斜扫描方法及装置

Publications (2)

Publication Number Publication Date
CN101226052A true CN101226052A (zh) 2008-07-23
CN100582657C CN100582657C (zh) 2010-01-20

Family

ID=39858175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810046840A Expired - Fee Related CN100582657C (zh) 2008-01-31 2008-01-31 三维微观形貌斜扫描方法及装置

Country Status (1)

Country Link
CN (1) CN100582657C (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975559A (zh) * 2010-09-07 2011-02-16 天津大学 基于纳米测量与倾斜扫描白光干涉微结构测试系统及方法
CN102157004A (zh) * 2011-04-18 2011-08-17 东华大学 用于超视场零件高精度影像测量仪的自动图像拼接方法
CN102253483A (zh) * 2011-07-19 2011-11-23 桂林电子科技大学 自动正置金相显微镜
CN102301269A (zh) * 2008-12-05 2011-12-28 优尼森索股份公司 样品的光学切片以及样品中颗粒的检测
CN102628669A (zh) * 2011-02-01 2012-08-08 株式会社其恩斯 尺寸测量设备、尺寸测量方法及用于尺寸测量设备的程序
CN101908221B (zh) * 2009-05-13 2012-11-28 精工爱普生株式会社 图像处理方法和图像处理装置
CN103350281A (zh) * 2013-06-20 2013-10-16 深圳市大族激光科技股份有限公司 激光打标机自动调焦装置及自动调焦方法
CN103776832A (zh) * 2012-10-26 2014-05-07 香港智能医学有限公司 早期癌细胞无漏检测系统
CN103925888A (zh) * 2014-04-23 2014-07-16 东莞市天勤仪器有限公司 影像式三维成像方法
CN104807494A (zh) * 2015-04-28 2015-07-29 上海大学 物体微观表面形貌的光学五自由度测量装置及测量方法
CN104931397A (zh) * 2015-06-29 2015-09-23 广州机械科学研究院有限公司 基于励磁吸附的三维数字颗粒图像生成装置及方法
CN104935798A (zh) * 2015-06-30 2015-09-23 中国人民解放军南京军区福州总医院 一种精密数控实验动物图像采集装置
CN106030241A (zh) * 2014-01-09 2016-10-12 齐戈股份有限公司 测量非球面和其它非平坦表面的形貌
CN106510071A (zh) * 2016-12-31 2017-03-22 上海工程技术大学 一种智能测体装置
CN106791464A (zh) * 2016-12-02 2017-05-31 中国科学院光电技术研究所 一种数字同轴全息显微控制系统
CN106990522A (zh) * 2017-06-05 2017-07-28 郑州大学第附属医院 显微镜扫描式载物平台的电动调整装置
CN107505698A (zh) * 2017-07-17 2017-12-22 中国家用电器研究院 一种生物的识别计数装置及方法
WO2018032565A1 (zh) * 2016-08-17 2018-02-22 江浩 显微镜下样本图片的获取方法、成像装置及其获取样本图片的方法
CN108759668A (zh) * 2018-05-31 2018-11-06 武汉中观自动化科技有限公司 一种震动环境中的跟踪式三维扫描方法及系统
CN108833788A (zh) * 2018-07-27 2018-11-16 苏州睿仟医疗科技有限公司 一种倾斜图像采集设备提高景深的自动聚焦装置及自动聚焦方法
CN108983702A (zh) * 2018-06-15 2018-12-11 重庆大学 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
CN109495724A (zh) * 2018-12-05 2019-03-19 济南大学 一种基于视觉感知的虚拟显微镜及其应用
CN110192079A (zh) * 2017-01-20 2019-08-30 英泰克普拉斯有限公司 三维形状测量装置和测量方法
CN112304241A (zh) * 2020-10-27 2021-02-02 衡阳市智谷科技发展有限公司 一种基于数字全息术的物体形貌测试方法
WO2022116114A1 (zh) * 2020-12-03 2022-06-09 西安大医集团股份有限公司 监测方法、装置及计算机存储介质

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301269A (zh) * 2008-12-05 2011-12-28 优尼森索股份公司 样品的光学切片以及样品中颗粒的检测
CN102301269B (zh) * 2008-12-05 2017-05-03 皇家飞利浦有限公司 样品的光学切片以及样品中颗粒的检测
CN101908221B (zh) * 2009-05-13 2012-11-28 精工爱普生株式会社 图像处理方法和图像处理装置
CN101975559B (zh) * 2010-09-07 2012-01-11 天津大学 基于纳米测量与倾斜扫描白光干涉微结构测试系统及方法
CN101975559A (zh) * 2010-09-07 2011-02-16 天津大学 基于纳米测量与倾斜扫描白光干涉微结构测试系统及方法
US9329024B2 (en) 2011-02-01 2016-05-03 Keyence Corporation Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus
CN102628669A (zh) * 2011-02-01 2012-08-08 株式会社其恩斯 尺寸测量设备、尺寸测量方法及用于尺寸测量设备的程序
CN102628669B (zh) * 2011-02-01 2016-07-06 株式会社其恩斯 尺寸测量设备、尺寸测量方法及用于尺寸测量设备的程序
CN102157004A (zh) * 2011-04-18 2011-08-17 东华大学 用于超视场零件高精度影像测量仪的自动图像拼接方法
CN102253483A (zh) * 2011-07-19 2011-11-23 桂林电子科技大学 自动正置金相显微镜
CN103776832A (zh) * 2012-10-26 2014-05-07 香港智能医学有限公司 早期癌细胞无漏检测系统
CN103350281A (zh) * 2013-06-20 2013-10-16 深圳市大族激光科技股份有限公司 激光打标机自动调焦装置及自动调焦方法
CN106030241A (zh) * 2014-01-09 2016-10-12 齐戈股份有限公司 测量非球面和其它非平坦表面的形貌
CN106030241B (zh) * 2014-01-09 2019-10-01 齐戈股份有限公司 测量非球面和其它非平坦表面的形貌
CN103925888A (zh) * 2014-04-23 2014-07-16 东莞市天勤仪器有限公司 影像式三维成像方法
CN104807494A (zh) * 2015-04-28 2015-07-29 上海大学 物体微观表面形貌的光学五自由度测量装置及测量方法
CN104931397A (zh) * 2015-06-29 2015-09-23 广州机械科学研究院有限公司 基于励磁吸附的三维数字颗粒图像生成装置及方法
CN104931397B (zh) * 2015-06-29 2018-04-10 广州机械科学研究院有限公司 基于励磁吸附的三维数字颗粒图像生成装置及方法
CN104935798A (zh) * 2015-06-30 2015-09-23 中国人民解放军南京军区福州总医院 一种精密数控实验动物图像采集装置
WO2018032565A1 (zh) * 2016-08-17 2018-02-22 江浩 显微镜下样本图片的获取方法、成像装置及其获取样本图片的方法
CN106791464A (zh) * 2016-12-02 2017-05-31 中国科学院光电技术研究所 一种数字同轴全息显微控制系统
CN106510071A (zh) * 2016-12-31 2017-03-22 上海工程技术大学 一种智能测体装置
CN110192079A (zh) * 2017-01-20 2019-08-30 英泰克普拉斯有限公司 三维形状测量装置和测量方法
CN106990522A (zh) * 2017-06-05 2017-07-28 郑州大学第附属医院 显微镜扫描式载物平台的电动调整装置
CN107505698B (zh) * 2017-07-17 2024-01-12 中国家用电器研究院 一种生物的识别计数装置及方法
CN107505698A (zh) * 2017-07-17 2017-12-22 中国家用电器研究院 一种生物的识别计数装置及方法
CN108759668A (zh) * 2018-05-31 2018-11-06 武汉中观自动化科技有限公司 一种震动环境中的跟踪式三维扫描方法及系统
CN108759668B (zh) * 2018-05-31 2020-06-12 武汉中观自动化科技有限公司 一种震动环境中的跟踪式三维扫描方法及系统
CN108983702A (zh) * 2018-06-15 2018-12-11 重庆大学 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
CN108983702B (zh) * 2018-06-15 2020-11-27 重庆大学 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
CN108833788A (zh) * 2018-07-27 2018-11-16 苏州睿仟医疗科技有限公司 一种倾斜图像采集设备提高景深的自动聚焦装置及自动聚焦方法
CN109495724A (zh) * 2018-12-05 2019-03-19 济南大学 一种基于视觉感知的虚拟显微镜及其应用
CN109495724B (zh) * 2018-12-05 2020-12-29 济南大学 一种基于视觉感知的虚拟显微镜及其应用
CN112304241A (zh) * 2020-10-27 2021-02-02 衡阳市智谷科技发展有限公司 一种基于数字全息术的物体形貌测试方法
WO2022116114A1 (zh) * 2020-12-03 2022-06-09 西安大医集团股份有限公司 监测方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN100582657C (zh) 2010-01-20

Similar Documents

Publication Publication Date Title
CN100582657C (zh) 三维微观形貌斜扫描方法及装置
CN103712555B (zh) 汽车大梁装配孔视觉在线测量系统及其方法
EP1062478B8 (en) Apparatus and method for optically measuring an object surface contour
CN106056587B (zh) 全视角线激光扫描三维成像标定装置及方法
US4829373A (en) Stereo mensuration apparatus
US7155049B2 (en) System for creating microscopic digital montage images
CN100527775C (zh) 一种图像扫描方法及系统
CN103728315B (zh) 大口径元件表面检测装置及相应的损伤快速定位方法
US20090295963A1 (en) Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
CN1115546C (zh) 表面三维形貌检测方法和装置
EP3625605B1 (en) Two-dimensional and three-dimensional fixed z scanning
CN101559001A (zh) 一种超声扫查方法和设备
CN103674966A (zh) 一种用于晶圆表面瑕疵检测的装置与方法
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
US4849912A (en) Stereo mensuration method
CN110211183A (zh) 基于单次成像大视场led透镜贴装的多目标定位系统与方法
US4809066A (en) Method of image mensuration with selectively visible and invisible reseau grid marks
CN103424103A (zh) 一种近景大幅面数字摄影测量系统
CN106645045A (zh) 一种荧光光学显微成像中基于tdi‑ccd的双向扫描成像方法
CN105651699B (zh) 一种基于面阵相机的动态跟焦方法
US4924505A (en) Method of mensuration of an image on an object
CN1260596C (zh) 一种计算机激光共焦扫描显微镜系统
US4897678A (en) Double z-axis translational mounting apparatus for camera in photogrammetry mensuration systems
CN114758346A (zh) 高精度影像全局显微的打印文书鉴定系统
CN114565720A (zh) 一种基于线结构光旋转扫描的主动式三维重建系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: WUHAN TRANSPORTATION RESEARCH INSTITUTE CO.,LTD.

Free format text: FORMER OWNER: WUHUAN UNIVERSITY OF TECHNOLOGY ENTERPRISE GROUP CO., LTD.

Effective date: 20130225

Owner name: WUHUAN UNIVERSITY OF TECHNOLOGY ENTERPRISE GROUP C

Free format text: FORMER OWNER: WUHAN UNIVERSITY OF TECHNOLOGY

Effective date: 20130225

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 430070 WUHAN, HUBEI PROVINCE TO: 430000 WUHAN, HUBEI PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20130225

Address after: 430000 Wuhan Province, East Lake New Technology Development Zone, high tech Avenue, No. 999, No.

Patentee after: Wuhan traffic science and Technology Research Institute Co.,Ltd.

Address before: 430070 Hubei Province, Wuhan city Hongshan District Luoshi Road No. 205 Wuhan tech Industry Group Co. Ltd

Patentee before: Wuhan Institute of Technology Industry Group Co.,Ltd.

Effective date of registration: 20130225

Address after: 430070 Hubei Province, Wuhan city Hongshan District Luoshi Road No. 205 Wuhan tech Industry Group Co. Ltd

Patentee after: Wuhan Institute of Technology Industry Group Co.,Ltd.

Address before: 430070 Hubei Province, Wuhan city Hongshan District Luoshi Road No. 122 scientific research department of Wuhan University of Technology

Patentee before: Wuhan University of Technology

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20210131

CF01 Termination of patent right due to non-payment of annual fee