CN111127613B - 基于扫描电子显微镜的图像序列三维重构方法及系统 - Google Patents

基于扫描电子显微镜的图像序列三维重构方法及系统 Download PDF

Info

Publication number
CN111127613B
CN111127613B CN201911355456.9A CN201911355456A CN111127613B CN 111127613 B CN111127613 B CN 111127613B CN 201911355456 A CN201911355456 A CN 201911355456A CN 111127613 B CN111127613 B CN 111127613B
Authority
CN
China
Prior art keywords
image
macro
platform
electron microscope
scanning electron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911355456.9A
Other languages
English (en)
Other versions
CN111127613A (zh
Inventor
张宪民
华奕然
杨倬波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911355456.9A priority Critical patent/CN111127613B/zh
Publication of CN111127613A publication Critical patent/CN111127613A/zh
Application granted granted Critical
Publication of CN111127613B publication Critical patent/CN111127613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种基于扫描电子显微镜的图像序列三维重构方法及系统,该方法的步骤为:对扫描电子显微镜和宏微平台进行标定后获得标定信息;获取图像序列;对宏微平台位姿信息的特征点进行检测与匹配;剔除图像特征点匹配中的误匹配点,得到剔除误匹配点后的图像特征点匹配集;选取有效匹配点对最多的两张图像进行初始化;添加新图像进行图像配准;采用光束法平差对宏微平台运动轨迹进行全局优化,对扫描电子显微镜标定参数和三维点坐标进行优化,得到稀疏点云模型;对稀疏点云模型采用MVS算法进行稠密重构,获得空间目标密集的三维点云模型。本发明能获取不同视角的清晰微观图像序列,减小图像匹配的计算量,提高了三维重构的速度和鲁棒性。

Description

基于扫描电子显微镜的图像序列三维重构方法及系统
技术领域
本发明涉及微纳视觉技术领域,具体涉及一种基于扫描电子显微镜的图像序列三维重构方法及系统。
背景技术
扫描电子显微镜(Scanning Electronic Microscopy,SEM)为微纳领域中主要的观测手段,目前,市场上的SEM只能进行二维成像,缺少深度信息,然而,在许多研究领域,尤其是生物和材料科学领域,都需要研究对象的三维形貌信息以便更全面地理解研究对象。
现有技术中,通过额外安装几个背散射侦测器使用SFS(shape from shading)的方法来恢复物体的三维形貌,或者通过倾斜平台使用立体视觉的方法来实现三维重构,但是这只能重建物体的部分表面,缺乏纹理信息,或者在物体上喷金形成金的薄膜,能有效的提高重构的精度,但这并不适用于大量测量,并且容易破坏样品。
发明内容
为了克服现有技术存在的缺陷与不足,解决重构精度低、成本高、对样品造成破坏等问题,本发明提供一种基于扫描电子显微镜的图像序列三维重构方法及系统,在扫描电子显微镜下,仅通过一组目标物体的图像序列,由三维重构算法快速稳定的恢复出微观物体的三维结构,不用额外的传感装置,能自动快速获取图像序列同时恢复出样品的纹理等细节信息,基于宏微平台的标定信息自动移动宏微平台,获取不同视角的清晰微观图像序列,减小图像匹配的计算量,大大减小误匹配点数量,提高了三维重构算法的速度和鲁棒性。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种基于扫描电子显微镜的图像序列三维重构方法,包括下述步骤:
对扫描电子显微镜和宏微平台进行标定,获得标定信息;
获取基于扫描电子显微镜的图像序列;
对宏微平台位姿信息的特征点进行检测与匹配,得到图像特征点匹配集;
采用RANSAC剔除图像特征点匹配中的误匹配点,得到剔除误匹配点后的图像特征点匹配集;
选取有效匹配点对最多的两张图像进行初始化;
添加新图像进行图像配准;
采用光束法平差对宏微平台运动轨迹进行全局优化,采用最小化重投影误差对扫描电子显微镜标定参数和三维点坐标进行优化,得到稀疏点云模型;
对稀疏点云模型采用MVS算法进行稠密重构,获得空间目标密集的三维点云模型。
作为优选的技术方案,所述扫描电子显微镜和宏微平台进行标定,获得标定信息,具体步骤为:
标定板固定在宏微平台上,调整宏微平台,获取不同位姿的标定板图像,基于中心投影模型和标定板图像计算出扫描电子显微镜视觉传感的内参数矩阵,初始位置宏微平台的外参矩阵、旋转轴方向向量和旋转轴上任意一点的坐标。
作为优选的技术方案,所述获取基于扫描电子显微镜的图像序列,具体步骤为:
获取初始位置图像:将目标物体固定在宏微平台上,调整宏微平台位置直至图像清晰,获取第一张清晰的高分辨率微观图像,并设当前位姿为初始位姿;
自动粗调平台:宏微平台绕旋转轴逆时针旋转,基于宏微平台的标定信息计算出旋转前后相对位移,根据所述相对位移将目标物体重新调整回到视场;
度量图像的清晰度:计算目标物体图像的清晰度,若清晰度大于清晰度设定阈值,则判定当前位置在焦距范围内,否则,执行调整宏微平台高度的步骤;
调整宏微平台高度:将宏微平台沿高度正方向,按照间隔距离移动到不同位置,计算不同位置的图像清晰度,不断迭代直到图像的模糊度差值小于模糊度差值阈值,则判定当前位置图像为清晰图像;
重复所述获取初始位置图像步骤、所述自动粗调平台步骤、所述度量图像的清晰度步骤和所述调整宏微平台高度步骤,得到一组清晰的高分辨率微观图像序列。
作为优选的技术方案,所述度量图像的清晰度采用灰度值方差度量图像的清晰度,具体计算方式为:
Figure BDA0002335791020000031
其中,μ表示图像的像素灰度平均值,M、N分别表示图像长和宽两个方向上的像素个数,i(u,v)表示图像上在(u,v)位置上的像素灰度值,s(I)表示图像的清晰度。
作为优选的技术方案,所述对宏微平台位姿信息的特征点进行检测与匹配,得到图像特征点匹配集,具体步骤为:
对所述图像序列中的每张图像采用SIFT算法提取特征点Fi
Figure BDA0002335791020000032
其中,xj表示该特征点在图像坐标系中的位置,fj表示特征点描述子;
选定两张图像设为Ia和Ib,基于宏微平台的标定信息计算Ia和Ib两张图像对应平台的位姿关系;
计算Ia和Ib两张图像的基本矩阵F,图像Ia上的特征点xj相匹配的特征点在图像Ib的位置x′,本矩阵F和位置x′满足对极几何约束
Figure BDA0002335791020000041
所述图像序列中的每张图像依次作为基准图像与其它的图像进行两两匹配,当满足图像Ia中的特征点xa在图像Ib中的匹配点为x′b,同时图像Ib中的特征点x′b在图像Ia中的匹配点也为xa时,判定图像特征点为有效匹配点对;
将有效匹配点对集合得到图像特征点匹配集。
作为优选的技术方案,所述采用RANSAC剔除图像特征点匹配中的误匹配点,具体步骤为:
随机选取八对特征点通过八点算法计算出基础矩阵F′,基于RANSAC进行误匹配点删除,得到剔除误匹配点后的新的图像特征点匹配集。
作为优选的技术方案,所述添加新图像进行图像配准,具体步骤为:
在初始的图像结构添加新图像Ic,通过求解PnP问题关联多张图像,并计算新图像Ic对应平台的位姿矩阵,将图像Ic上的特征点的三维坐标补充到初始的三维结构,通过不断选取不重复的图像进行三角化,完成多视图的三维重构。
作为优选的技术方案,所述光束法平差的目标函数为:
Figure BDA0002335791020000042
其中,γij表示点j是否在图像i存在投影点,若存在则为1,否则为0,π(K,Xj)表示三维坐标点Xj基于扫描电子显微镜参数矩阵K反投影在图像i上的坐标,xij表示点j在图像i上的坐标。
作为优选的技术方案,所述对稀疏点云模型采用MVS算法进行稠密重构,具体步骤为:
对结构化图像集和稀疏点云模型,采用图像序列的每对图像进行Harris或DoG角点精匹配;
对稀疏点云模型进行双线性扩散插值,采用光度一致性原则约束迭代滤除错误点,获得空间目标密集的三维点云模型。
本发明还提供一种基于扫描电子显微镜的图像序列三维重构系统,包括:标定模块、图像序列获取模块、图像匹配模块、三维重构模块和稠密重构模块;
所述标定模块用于对扫描电子显微镜和宏微平台进行标定,获得标定信息;
所述图像序列获取模块用于获取基于扫描电子显微镜的图像序列;
所述图像匹配模块包括特征点检测单元、特征点匹配单元和误匹配点删除单元;
所述特征点检测单元用于检测宏微平台位姿信息的特征点;
所述特征点匹配单元用于匹配宏微平台位姿信息的特征点;
所述误匹配点删除单元用于剔除图像特征点匹配中的误匹配点,得到剔除误匹配点后的图像特征点匹配集;
所述三维重构模块包括初始化单元、图像配准单元和光束法平差计算单元;
所述初始化单元用于选取有效匹配点对最多的两张图像进行初始化;
所述图像配准单元用于添加新图像进行图像配准;
所述光束法平差计算单元用于采用光束法平差对宏微平台运动轨迹进行全局优化,采用最小化重投影误差对扫描电子显微镜标定参数和三维点坐标进行优化,得到稀疏点云模型;
所述稠密重构模块用于对稀疏点云模型采用MVS算法进行稠密重构,获得空间目标密集的三维点云模型。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明通过对扫描电子显微镜和宏微平台标定,宏微平台自动移动至视场内并调整高度获取清晰的图像,大大减小扫描电子显微镜中获取图像序列的复杂度。
(2)本发明基于平台的位姿信息的匹配策略,减小图像匹配的计算量,大量减小误匹配点数量,提高了三维重构方法的速度和鲁棒性。
(3)本发明基于SEM图像序列进行三维重构,仅通过一组图像序列即可恢复出三维结构,降低了扫描电子显微镜中获取图像序列的复杂度,提高了三维重构的整体效率。
附图说明
图1为本实施例基于扫描电子显微镜的图像序列三维重构方法的流程示意图;
图2为本实施例的图像序列示意图;
图3为本实施例图像匹配中的图像Ia示意图;
图4为本实施例图像匹配中的图像Ib示意图;
图5为图3中Ⅰ处的局部放大示意图;
图6为图4中Ⅱ处的局部放大示意图;
图7为本实施例的三维重构结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
如图1所示,本实施例提供一种基于扫描电子显微镜的图像序列三维重构方法,主要分为标定、图像序列的获取、图像匹配、增量式的三维重构、稠密重构这几个部分,图像序列的获取包括在初始位置获取第一张图像、自动粗调平台、自动精调平台;自动粗调平台具体根据平台的标定信息估计平台旋转前后的相对移动,通过编程控制平台移动这个相对位移,即可到达视场范围内;自动精调平台具体根据图像清晰度精调平台的高度使得图像的清晰度最大;图像匹配包括特征点检测、特征点匹配、误匹配点删除,将两张图像之间通过特征点关联起来;增量式的三维重构包括初始化、图像配准、光束法平差,通过多张图像的特征点恢复出三维结构;
本实施例的基于扫描电子显微镜的图像序列三维重构方法,具体包括下述步骤:
S1:扫描电子显微镜的视觉传感部分和宏微平台同时进行标定;
标定板固定在宏微平台上,调整宏微平台,获取不同位姿的标定板图像,基于中心投影模型和标定板图像估计出扫描电子显微镜的视觉传感部分的内参数矩阵K1,初始位置宏微平台外参矩阵K2、旋转轴方向向量w和旋转轴上任意一点的坐标q;
S2:基于扫描电子显微镜的图像序列获取;
具体步骤为:
S21:获取初始位置图像:将目标物体固定在宏微平台上,调整平台位置直至图像清晰,获取第一张清晰的高分辨率微观图像,并设该位姿为初始位姿;
S22:自动粗调平台:宏微平台绕旋转轴逆时针旋转θ度,基于宏微平台的标定信息计算出旋转前后相对移动T1=(x1,y1,z1),根据这个相对位移自动将目标物体重新调整回到视场;
S23:计算此位置目标物体图像的清晰度,若清晰度大于阈值,则认为此位置在焦距范围内,否则,进行下一步精调平台的高度;
本实施例根据灰度值方差来度量图像的清晰度s(I):
Figure BDA0002335791020000081
其中,μ表示这张图像的像素灰度平均值,M、N表示图像长和宽两个方向上的像素个数,i(u,v)表示图像上在(u,v)位置上的像素灰度值,s(I)表示图像的清晰度,s(I)越大,则图像越清晰;
S24:通过调整宏微平台的高度,使目标物体在焦距范围内,基于目标物体图像的清晰度为指向,比较宏微平台位于不同高度时目标物体图像的清晰度值来判断宏微平台下一步的移动方向,直至图像的清晰度大于阈值,则认为此位置的图像是清晰的;
具体步骤为:
将平台向z轴方向正方向分别间隔z0移动不同位置,并对这些位置的图像计算清晰度;
若图像模糊度逐渐变大,则下一步将平台向z轴方向负方向间隔z0移动;
若图像模糊度逐渐变小,则下一步将平台向z轴方向正方向间隔z0移动;
若图像模糊度先变小后变大,则下一步将平台移动到模糊度最小值的位置,然后向z轴方向正方向间隔z0/5移动;
不断迭代直到两张图像的模糊度值差小于阈值,则认为此位置的图像是清晰的;
S25:如图2所示,重复步骤S22-步骤S24即自动获取一组清晰的高分辨率微观图像序列;
S3:基于宏微平台的位姿信息的特征点检测与匹配;
具体步骤为:
对基于上述方法获取的图像序列I={Ii|i=1…NI}中的每张图像Io利用SIFT算法提取特征点Fo={(xj,fj)|j=1…NFi},xj是该特征点在图像坐标系中的位置,fj是特征点描述子;
基于宏微平台的标定信息计算Ia和Ib两张图像所对应平台的位姿关系;
如图3、图4所示,计算出Ia和Ib图像对的基本矩阵F,图像Ia上的特征点xj相匹配的特征点在图像Ib的位置x′,本实施例的基本矩阵F和位置x′满足对极几何约束
Figure BDA0002335791020000091
如图5、图6所示,图像Ia作为基准图像,图像Ib中以x′为圆心,20像素为半径的区域A内的特征点的描述子通过相似性指标与图像Ia上的特征点xj的描述子fj进行比较,若图像Ib中相似性得分最大值减去第二大值小于阈值,则认为无效匹配;
图像序列中的每张图像依次作为基准图像与其它的图像进行两两匹配,只有图像Ia中的特征点xa在图像Ib中的匹配点是x′b,同时图像Ib中的特征点x′b在图像Ia中的匹配点也是xa,才认为这是有效的匹配点对;
最后得到图像特征点匹配集M={mi,j|i=1…NI-1,i<j};
S4:基于RANSAC进行误匹配点删除;
随机选取八对特征点通过八点算法估计出基础矩阵F′,基于RANSAC进行误匹配点删除,得到新的图像特征点匹配集M′={m′i,j|i=1…NI-1,i<j};
S5:增量式三维重构的初始化,选取最优的两张图像进行初始化;
选取有效匹配点对最多的两张图像进行初始化,即基于这两张图像的特征点三角化恢复出三维结构;
S6:添加新的图像进行图像配准;
在初始的图像结构添加新图像Ic,通过求解PnP问题关联多张图像,并估计新图像Ic对应平台的位姿矩阵,进而把图像Ic上的特征点的三维坐标补充到初始的三维结构后,通过不断选取不重复的图像进行三角化来实现多视图的三维重构;
S7:光束法平差,基于宏微平台运动轨迹进行全局优化,通过最小化重投影误差来对视觉传感部分参数和三维点坐标进行优化;
光束法平差的目标函数为:
Figure BDA0002335791020000101
式中γij表示点j是否在图像i存在投影点,若存在则为1,否则为0;π表示三维坐标点Xj基于视觉传感部分的参数矩阵K反投影在图像i上的坐标;xij表示点j在图像i上的坐标;
最后,得到一个稀疏点云模型;
S8:稠密重构,采用MVS算法获取稠密的点云模型;
具体步骤为:对步骤S4中最后得到的特征点匹配集和空间目标稀疏点云模型,对图像序列I={Ii|i=1…NI}的每对图像进行Harris或DoG角点精匹配;
经过对稀疏点云模型进行双线性扩散插值,并利用光度一致性原则约束迭代滤除错落在实际表面外部及内部的错误点,本实施例的扩散插值和滤波过程可迭代3次,如图7所示,获得空间目标密集的三维点云模型。
本实施例还提供一种基于扫描电子显微镜的图像序列三维重构系统,包括:标定模块、图像序列获取模块、图像匹配模块、三维重构模块和稠密重构模块;
在本实施例中,标定模块用于对扫描电子显微镜和宏微平台进行标定,获得标定信息;图像序列获取模块用于获取基于扫描电子显微镜的图像序列;
在本实施例中,图像匹配模块包括特征点检测单元、特征点匹配单元和误匹配点删除单元;特征点检测单元用于检测宏微平台位姿信息的特征点,特征点匹配单元用于匹配宏微平台位姿信息的特征点,误匹配点删除单元用于剔除图像特征点匹配中的误匹配点,得到剔除误匹配点后的图像特征点匹配集;
在本实施例中,三维重构模块包括初始化单元、图像配准单元和光束法平差计算单元,初始化单元用于选取有效匹配点对最多的两张图像进行初始化,图像配准单元用于添加新图像进行图像配准,光束法平差计算单元用于采用光束法平差对宏微平台运动轨迹进行全局优化,采用最小化重投影误差对扫描电子显微镜标定参数和三维点坐标进行优化,得到稀疏点云模型;
在本实施例中,稠密重构模块用于对稀疏点云模型采用MVS算法进行稠密重构,获得空间目标密集的三维点云模型。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种基于扫描电子显微镜的图像序列三维重构方法,其特征在于,包括下述步骤:
对扫描电子显微镜和宏微平台进行标定,获得标定信息;
获取基于扫描电子显微镜的图像序列;
所述获取基于扫描电子显微镜的图像序列,具体步骤为:
获取初始位置图像:将目标物体固定在宏微平台上,调整宏微平台位置直至图像清晰,获取第一张清晰的高分辨率微观图像,并设当前位姿为初始位姿;
自动粗调平台:宏微平台绕旋转轴逆时针旋转,基于宏微平台的标定信息计算出旋转前后相对位移,根据所述相对位移将目标物体重新调整回到视场;
度量图像的清晰度:计算目标物体图像的清晰度,若清晰度大于清晰度设定阈值,则判定当前位置在焦距范围内,否则,执行调整宏微平台高度的步骤;
调整宏微平台高度:将宏微平台沿高度正方向,按照间隔距离移动到不同位置,计算不同位置的图像清晰度,不断迭代直到图像的模糊度差值小于模糊度差值阈值,则判定当前位置图像为清晰图像;
重复所述获取初始位置图像步骤、所述自动粗调平台步骤、所述度量图像的清晰度步骤和所述调整宏微平台高度步骤,得到一组清晰的高分辨率微观图像序列;
对宏微平台位姿信息的特征点进行检测与匹配,得到图像特征点匹配集;
采用RANSAC剔除图像特征点匹配中的误匹配点,得到剔除误匹配点后的图像特征点匹配集;
选取有效匹配点对最多的两张图像进行初始化;
添加新图像进行图像配准;
采用光束法平差对宏微平台运动轨迹进行全局优化,采用最小化重投影误差对扫描电子显微镜标定参数和三维点坐标进行优化,得到稀疏点云模型;
对稀疏点云模型采用MVS算法进行稠密重构,获得空间目标密集的三维点云模型。
2.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述扫描电子显微镜和宏微平台进行标定,获得标定信息,具体步骤为:
标定板固定在宏微平台上,调整宏微平台,获取不同位姿的标定板图像,基于中心投影模型和标定板图像计算出扫描电子显微镜视觉传感的内参数矩阵,初始位置宏微平台的外参矩阵、旋转轴方向向量和旋转轴上任意一点的坐标。
3.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述度量图像的清晰度采用灰度值方差度量图像的清晰度,具体计算方式为:
Figure FDA0004103701530000021
其中,μ表示图像的像素灰度平均值,M、N分别表示图像长和宽两个方向上的像素个数,i(u,v)表示图像上在(u,v)位置上的像素灰度值,s(I)表示图像的清晰度。
4.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述对宏微平台位姿信息的特征点进行检测与匹配,得到图像特征点匹配集,具体步骤为:
对所述图像序列中的每张图像采用SIFT算法提取特征点Fi
Fi={(xj,fj)|j=1…NFi};
其中,xj表示该特征点在图像坐标系中的位置,fj表示特征点描述子;
选定两张图像设为Ia和Ib,基于宏微平台的标定信息计算Ia和Ib两张图像对应平台的位姿关系;
计算Ia和Ib两张图像的基本矩阵F,图像Ia上的特征点xj相匹配的特征点在图像Ib的位置x,基本矩阵F和位置x满足对极几何约束
Figure FDA0004103701530000031
所述图像序列中的每张图像依次作为基准图像与其它的图像进行两两匹配,当满足图像Ia中的特征点xa在图像Ib中的匹配点为x′b,同时图像Ib中的特征点x′b在图像Ia中的匹配点也为xa时,判定图像特征点为有效匹配点对;
将有效匹配点对集合得到图像特征点匹配集。
5.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述采用RANSAC剔除图像特征点匹配中的误匹配点,具体步骤为:
随机选取八对特征点通过八点算法计算出基础矩阵F,基于RANSAC进行误匹配点删除,得到剔除误匹配点后的新的图像特征点匹配集。
6.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述添加新图像进行图像配准,具体步骤为:
在初始的图像结构添加新图像Ic,通过求解PnP问题关联多张图像,并计算新图像Ic对应平台的位姿矩阵,将图像Ic上的特征点的三维坐标补充到初始的三维结构,通过不断选取不重复的图像进行三角化,完成多视图的三维重构。
7.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述光束法平差的目标函数为:
Figure FDA0004103701530000032
其中,γij表示点j是否在图像i存在投影点,若存在则为1,否则为0,π(K,Xj)表示三维坐标点Xj基于扫描电子显微镜参数矩阵K反投影在图像i上的坐标,xij表示点j在图像i上的坐标。
8.根据权利要求1所述的基于扫描电子显微镜的图像序列三维重构方法,其特征在于,所述对稀疏点云模型采用MVS算法进行稠密重构,具体步骤为:
对结构化图像集和稀疏点云模型,采用图像序列的每对图像进行Harris或DoG角点精匹配;
对稀疏点云模型进行双线性扩散插值,采用光度一致性原则约束迭代滤除错误点,获得空间目标密集的三维点云模型。
9.一种基于扫描电子显微镜的图像序列三维重构系统,其特征在于,包括:标定模块、图像序列获取模块、图像匹配模块、三维重构模块和稠密重构模块;
所述标定模块用于对扫描电子显微镜和宏微平台进行标定,获得标定信息;
所述图像序列获取模块用于获取基于扫描电子显微镜的图像序列;
所述获取基于扫描电子显微镜的图像序列,具体步骤为:
获取初始位置图像:将目标物体固定在宏微平台上,调整宏微平台位置直至图像清晰,获取第一张清晰的高分辨率微观图像,并设当前位姿为初始位姿;
自动粗调平台:宏微平台绕旋转轴逆时针旋转,基于宏微平台的标定信息计算出旋转前后相对位移,根据所述相对位移将目标物体重新调整回到视场;
度量图像的清晰度:计算目标物体图像的清晰度,若清晰度大于清晰度设定阈值,则判定当前位置在焦距范围内,否则,执行调整宏微平台高度的步骤;
调整宏微平台高度:将宏微平台沿高度正方向,按照间隔距离移动到不同位置,计算不同位置的图像清晰度,不断迭代直到图像的模糊度差值小于模糊度差值阈值,则判定当前位置图像为清晰图像;
重复所述获取初始位置图像步骤、所述自动粗调平台步骤、所述度量图像的清晰度步骤和所述调整宏微平台高度步骤,得到一组清晰的高分辨率微观图像序列;
所述图像匹配模块包括特征点检测单元、特征点匹配单元和误匹配点删除单元;
所述特征点检测单元用于检测宏微平台位姿信息的特征点;
所述特征点匹配单元用于匹配宏微平台位姿信息的特征点;
所述误匹配点删除单元用于剔除图像特征点匹配中的误匹配点,得到剔除误匹配点后的图像特征点匹配集;
所述三维重构模块包括初始化单元、图像配准单元和光束法平差计算单元;
所述初始化单元用于选取有效匹配点对最多的两张图像进行初始化;
所述图像配准单元用于添加新图像进行图像配准;
所述光束法平差计算单元用于采用光束法平差对宏微平台运动轨迹进行全局优化,采用最小化重投影误差对扫描电子显微镜标定参数和三维点坐标进行优化,得到稀疏点云模型;
所述稠密重构模块用于对稀疏点云模型采用MVS算法进行稠密重构,获得空间目标密集的三维点云模型。
CN201911355456.9A 2019-12-25 2019-12-25 基于扫描电子显微镜的图像序列三维重构方法及系统 Active CN111127613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911355456.9A CN111127613B (zh) 2019-12-25 2019-12-25 基于扫描电子显微镜的图像序列三维重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911355456.9A CN111127613B (zh) 2019-12-25 2019-12-25 基于扫描电子显微镜的图像序列三维重构方法及系统

Publications (2)

Publication Number Publication Date
CN111127613A CN111127613A (zh) 2020-05-08
CN111127613B true CN111127613B (zh) 2023-06-16

Family

ID=70503604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911355456.9A Active CN111127613B (zh) 2019-12-25 2019-12-25 基于扫描电子显微镜的图像序列三维重构方法及系统

Country Status (1)

Country Link
CN (1) CN111127613B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102475B (zh) * 2020-09-04 2023-03-07 西北工业大学 一种基于图像序列轨迹跟踪的空间目标三维稀疏重构方法
CN113592732B (zh) * 2021-07-19 2023-03-24 安徽省赛达科技有限责任公司 基于大数据和智慧安防的图像处理方法
CN117557623A (zh) * 2023-11-14 2024-02-13 上海月新生科信息科技有限公司 一种冷冻电镜图像序列的精准快速对齐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015039375A1 (zh) * 2013-09-17 2015-03-26 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及系统
CN106600686A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
CN108734728A (zh) * 2018-04-25 2018-11-02 西北工业大学 一种基于高分辨序列图像的空间目标三维重构方法
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015039375A1 (zh) * 2013-09-17 2015-03-26 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及系统
CN106600686A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于多幅未标定图像的三维点云重建方法
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN108734728A (zh) * 2018-04-25 2018-11-02 西北工业大学 一种基于高分辨序列图像的空间目标三维重构方法

Also Published As

Publication number Publication date
CN111127613A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
JP5430456B2 (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
CN110176032B (zh) 一种三维重建方法及装置
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN116309813A (zh) 一种固态激光雷达-相机紧耦合位姿估计方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
Ioli et al. UAV photogrammetry for metric evaluation of concrete bridge cracks
CN112508885B (zh) 一种弯管的三维中轴线检测方法及系统
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
CN109448109B (zh) 扫描电镜图像的三维重建方法
CN116894876A (zh) 基于实时图像的6-dof的定位方法
JP2010009236A (ja) 平面領域推定装置及びプログラム
CN116258832A (zh) 基于铲装前后物料堆三维重构的铲装体积获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant