CN104331921A - 基于单幅sem二维图像的三维信息快速提取方法 - Google Patents

基于单幅sem二维图像的三维信息快速提取方法 Download PDF

Info

Publication number
CN104331921A
CN104331921A CN201410592610.5A CN201410592610A CN104331921A CN 104331921 A CN104331921 A CN 104331921A CN 201410592610 A CN201410592610 A CN 201410592610A CN 104331921 A CN104331921 A CN 104331921A
Authority
CN
China
Prior art keywords
image
pixel
sem
dimensional
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410592610.5A
Other languages
English (en)
Inventor
李东洁
宋鉴
王德宝
张越
尤波
盛宇佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201410592610.5A priority Critical patent/CN104331921A/zh
Publication of CN104331921A publication Critical patent/CN104331921A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于单幅SEM二维图像的三维信息快速提取方法，涉及三维信息提取技术领域。解决了在纳米研究领域，对目标物体的位置及高度进行测量时，通常需要借助第三方设备，但由于存在尺寸效应，容易出现纳米操作困难、测量精度低的问题。基于单幅SEM二维图像的三维信息快速提取方法包括以下步骤：步骤一、采用OpenCV建立SEM二维图像的目标识别文件；步骤二、使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息；步骤三、获得目标物体的高度。本发明对实时图像的处理速度极快，通过使用单幅二维图像，在不需要添加其他设备的情况下实现三维信息的提取。本发明适用于对三维信息进行提取。

Description

基于单幅SEM二维图像的三维信息快速提取方法
技术领域
本发明涉及三维信息提取技术领域。
背景技术
目前，在纳米研究领域，基于SEM的纳米操作通常借助第三方设备来测量目标物体的位置及高度。由于尺寸效应，第三方附加检测设备通常成本很高、极易损坏并且对纳米操作有一定的影响。
发明内容
本发明为了解决在纳米研究领域，对目标物体的位置及高度进行测量时，通常需要借助第三方设备，但由于存在尺寸效应，容易出现纳米操作困难、测量精度低的问题，提出了基于单幅SEM二维图像的三维信息快速提取方法。
基于单幅SEM二维图像的三维信息快速提取方法包括以下步骤：
步骤一、采用OpenCV建立SEM二维图像的目标识别文件；
步骤二、使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息；
步骤三、获得目标物体的高度。
步骤一中所述的采用OpenCV获得SEM图像的目标识别文件的方法为：
步骤一一、将SEM二维图像分为目标选择图像和待测图像；
步骤一二、在目标选择图像中截取探针针尖和纳米线正样本；
步骤一三、采用Matlab使探针针尖和纳米线正样本归一化为大小相同的图像；
步骤一四、采用OpenCV的Haartraining分类器分别训练探针针尖和纳米线正样本，分别获得目标识别文件；
步骤一五、对待测图像进行目标识别，分析目标识别文件的准确率，多次训练目标识别文件；
步骤一六、检测目标识别文件的准确率是否达到预设值，当没有达到预设的准确率时，返回执行步骤一二，当达到预设的准确率时，完成SEM二维图像的目标识别文件的建立。
步骤二中所述的使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息的过程为：
步骤二一、使用准确率高的目标识别文件快速识别原始SEM二维图像的兴趣区域；
步骤二二、对识别的兴趣区域进行图像预处理操作；
步骤二三、采用Roberts边缘提取方法检测兴趣区域内的图像，获得兴趣区域中探针针尖和纳米线的边缘图像；
步骤二四、搜索图像最右侧白色像素；
步骤二五、判断是否搜索到图像最右侧白色像素，判断结果为是，则执行步骤二六，判断结果为否，则返回执行步骤二四；
步骤二六、判断纳米线边缘与探针针尖边缘是否接触；
步骤二七、根据步骤二六的判断结果对SEM二维图像中物体在XOY平面内的位置信息进行提取。
步骤三所述的获得目标物体的高度的方法为：
步骤三一、在SEM二维图像下通过纳米定位器对探针进行定位，分析不同高度下的SEM二维图像模糊度；
步骤三二、建立探针高度与模糊度的关系模型，通过Matlab拟合获得图像模糊度与探针Z向高度的模型；
步骤三三、对兴趣区域进行分析，根据图像的直方图对像素值进行划分，获得中间区域像素值；
步骤三四、对中间区域的像素进行统计，获得亚兴趣区域像素的位置及颜色；
步骤三五、对亚兴趣区域像素值进行求方差运算，获得SEM二维图像的模糊度，根据该模糊度，利用拟合的模型实现对目标物体高度的获取。。
有益效果：本发明使用OpenCV训练识别目标物体的文件，通过训练文件快速获得二维图像中的兴趣区域，通过图像处理获得目标物体的二维平面位置，当多个目标物体边缘接触时，使用Freeman链码区分并重定向物体边缘，使用基于亚兴趣区域的图像模糊度函数及评价函数确定物体距离基底的高度。本发明对实时图像的处理速度极快，三维信息的提取通常在0.1s以内；通过使用单幅二维图像，在不需要添加其他设备的情况下实现三维信息的提取；同时解决了不同物体边缘相交，不易区分的问题。
附图说明
图1为具体实施方式一所述的基于单幅SEM二维图像的三维信息快速提取方法流程图；
图2为具体实施方式二所述的采用OpenCV获得SEM图像的目标识别文件的方法流程图；
图3为具体实施方式三所述的使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息的流程图；
图4为具体实施方式五所述的纳米线边缘与探针针尖边缘接触时，对SEM二维图像中物体在XOY平面内的位置信息进行提取的方法流程图；
图5为具体实施方式六所述的获得目标物体的高度的方法流程图；
图6为8邻域偏移规则原理示意图。
具体实施方式
具体实施方式一、结合图1说明本具体实施方式，本具体实施方式所述的基于单幅SEM二维图像的三维信息快速提取方法包括以下步骤：
步骤一、采用OpenCV建立SEM二维图像的目标识别文件；
步骤二、使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息；
步骤三、获得目标物体的高度。
具体实施方式二、结合图2说明本具体实施方式，本具体实施方式与具体实施方式一所述的基于单幅SEM二维图像的三维信息快速提取方法的区别在于，步骤一中所述的采用OpenCV获得SEM图像的目标识别文件的方法为：
步骤一一、将SEM二维图像分为目标选择图像和待测图像；
步骤一二、在目标选择图像中截取探针针尖和纳米线正样本；
步骤一三、采用Matlab使探针针尖和纳米线正样本归一化为大小相同的图像；
步骤一四、采用OpenCV的Haartraining分类器分别训练探针针尖和纳米线正样本，分别获得目标识别文件；
步骤一五、对待测图像进行目标识别，分析目标识别文件的准确率，多次训练目标识别文件；
步骤一六、检测目标识别文件的准确率是否达到预设值，当没有达到预设的准确率时，返回执行步骤一二，当达到预设的准确率时，完成SEM二维图像的目标识别文件的建立。
具体实施方式三、结合图3说明本具体实施方式，本具体实施方式与具体实施方式二所述的基于单幅SEM二维图像的三维信息快速提取方法的区别在于，步骤二中所述的使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息的过程为：
步骤二一、使用准确率高的目标识别文件快速识别原始SEM二维图像的兴趣区域；
步骤二二、对识别的兴趣区域进行图像预处理操作；
步骤二三、采用Roberts边缘提取方法检测兴趣区域内的图像，获得兴趣区域中探针针尖和纳米线的边缘图像；
步骤二四、搜索图像最右侧白色像素；
步骤二五、判断是否搜索到图像最右侧白色像素，判断结果为是，则执行步骤二六，判断结果为否，则返回执行步骤二四；
步骤二六、判断纳米线边缘与探针针尖边缘是否接触；
步骤二七、根据步骤二六的判断结果对SEM二维图像中物体在XOY平面内的位置信息进行提取。
具体实施方式四、结合图2说明本具体实施方式，本具体实施方式与具体实施方式三所述的基于单幅SEM二维图像的三维信息快速提取方法的区别在于，当判断结果为纳米线边缘与探针针尖边缘不接触时，搜索像素直到左下侧白色像素为止，SEM二维图像中物体在XOY平面内的位置信息提取完成。
具体实施方式五、结合图4说明本具体实施方式，本具体实施方式与具体实施方式三所述的基于单幅SEM二维图像的三维信息快速提取方法的区别在于，当判断结果为纳米线边缘与探针针尖边缘接触时，对SEM二维图像中物体在XOY平面内的位置信息进行提取的方法为：
步骤二七a、对兴趣区域内的图像进行边缘提取，使兴趣区域内的图像边缘为白色像素；
步骤二七b、采用Freeman链码对纳米线边缘与探针针尖边缘进行跟踪；
步骤二七c、选取兴趣区域内的图像的最右侧像素作为当前种子像素；
步骤二七d、搜索与当前种子像素相连的白色像素；
步骤二七e、判断是否搜索到白色像素，判断结果为是，则执行步骤二七h，判断结果为否，则执行步骤二七f；
步骤二七f、判断当前种子像素是否为最后一个像素，判断结果为是，则直接寻找图像最左下侧白色像素，SEM二维图像中物体在XOY平面内的位置信息提取完成，判断结果为否，则执行步骤二七g；
步骤二七g、根据8邻域偏移规则使像素搜索方向加一，将当前像素作为种子像素并返回执行步骤七d；
步骤二七h、记录边缘像素的平均方向DirAvg，记录当前像素在8邻域偏移规则中的方向Dir，并判断Dir是否大于或等于DirAvg+1，判断结果为是，则执行步骤二七k，判断结果为否，则执行步骤二七i；
步骤二七i、记录Dir和当前像素坐标，将当前像素作为种子像素，并计算DirAvg，然后执行步骤步骤二七j；
步骤二七j、根据8邻域偏移规则使像素搜索方向减二，将当前像素作为种子像素并返回执行步骤七d；
步骤二七k、判断Dir是否连续两次为3或7，判断结果为是，则执行步骤二七m，判断结果为否，则返回执行步骤二七i；
步骤二七m、根据DirAvg插补白色像素，然后执行步骤二七n；
步骤二七n、判断是否搜索到插补白色像素相邻的像素，判断结果为是，则返回执行步骤二七i，判断结果为否，则返回执行步骤二七m。
本实施方式中，运用了8邻域偏移规则，如图6所示；比较Dir与DirAvg，对于不同情况使用不同的方法，同时，通过判断Dir是否大于或等于DirAvg+1来避免跟踪的像素严重偏离实际边缘方向，通过判断Dir是否连续两次为3或7避免了垂直方向的像素干扰实际边缘走向。
具体实施方式六、结合图5说明本具体实施方式，本具体实施方式与具体实施方式五所述的基于单幅SEM二维图像的三维信息快速提取方法的区别在于，步骤三所述的获得目标物体的高度的方法为：
步骤三一、在SEM二维图像下通过纳米定位器对探针进行定位，分析不同高度下的SEM二维图像模糊度；
步骤三二、建立探针高度与模糊度的关系模型，通过Matlab拟合获得图像模糊度与探针Z向高度的模型；
步骤三三、对兴趣区域进行分析，根据图像的直方图对像素值进行划分，获得中间区域像素值；
步骤三四、对中间区域的像素进行统计，获得亚兴趣区域像素的位置及颜色；
步骤三五、对亚兴趣区域像素值进行求方差运算，获得SEM二维图像的模糊度，根据该模糊度，利用拟合的模型实现对目标物体高度的获取。

Claims (6)

1.基于单幅SEM二维图像的三维信息快速提取方法，其特征在于，它包括以下步骤：
步骤一、采用OpenCV建立SEM二维图像的目标识别文件；
步骤二、使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息；
步骤三、获得目标物体的高度。
2.根据权利要求1所述的基于单幅SEM二维图像的三维信息快速提取方法，其特征在于，步骤一中所述的采用OpenCV获得SEM图像的目标识别文件的方法为：
步骤一一、将SEM二维图像分为目标选择图像和待测图像；
步骤一二、在目标选择图像中截取探针针尖和纳米线正样本；
步骤一三、采用Matlab使探针针尖和纳米线正样本归一化为大小相同的图像；
步骤一四、采用OpenCV的Haartraining分类器分别训练探针针尖和纳米线正样本，分别获得目标识别文件；
步骤一五、对待测图像进行目标识别，分析目标识别文件的准确率，多次训练目标识别文件；
步骤一六、检测目标识别文件的准确率是否达到预设值，当没有达到预设的准确率时，返回执行步骤一二，当达到预设的准确率时，完成SEM二维图像的目标识别文件的建立。
3.根据权利要求2所述的基于单幅SEM二维图像的三维信息快速提取方法，其特征在于，步骤二中所述的使用目标识别文件对图像进行兴趣区域快速识别，提取物体在SEM二维图像中的二维位置信息的过程为：
步骤二一、使用准确率高的目标识别文件快速识别原始SEM二维图像的兴趣区域；
步骤二二、对识别的兴趣区域进行图像预处理操作；
步骤二三、采用Roberts边缘提取方法检测兴趣区域内的图像，获得兴趣区域中探针针尖和纳米线的边缘图像；
步骤二四、搜索图像最右侧白色像素；
步骤二五、判断是否搜索到图像最右侧白色像素，判断结果为是，则执行步骤二六，判断结果为否，则返回执行步骤二四；
步骤二六、判断纳米线边缘与探针针尖边缘是否接触；
步骤二七、根据步骤二六的判断结果对SEM二维图像中物体在XOY平面内的位置信息进行提取。
4.根据权利要求3所述的基于单幅SEM二维图像的三维信息快速提取方法，其特征在于，当判断结果为纳米线边缘与探针针尖边缘不接触时，搜索像素直到左下侧白色像素为止，SEM二维图像中物体在XOY平面内的位置信息提取完成。
5.根据权利要求3所述的基于单幅SEM二维图像的三维信息快速提取方法，其特征在于，当判断结果为纳米线边缘与探针针尖边缘接触时，对SEM二维图像中物体在XOY平面内的位置信息进行提取的方法为：
步骤二七a、对兴趣区域内的图像进行边缘提取，使兴趣区域内的图像边缘为白色像素；
步骤二七b、采用Freeman链码对纳米线边缘与探针针尖边缘进行跟踪；
步骤二七c、选取兴趣区域内的图像的最右侧像素作为当前种子像素；
步骤二七d、搜索与当前种子像素相连的白色像素；
步骤二七e、判断是否搜索到白色像素，判断结果为是，则执行步骤二七h，判断结果为否，则执行步骤二七f；
步骤二七f、判断当前种子像素是否为最后一个像素，判断结果为是，则直接寻找图像最左下侧白色像素，SEM二维图像中物体在XOY平面内的位置信息提取完成，判断结果为否，则执行步骤二七g；
步骤二七g、根据8邻域偏移规则使像素搜索方向加一，将当前像素作为种子像素并返回执行步骤七d；
步骤二七h、记录边缘像素的平均方向DirAvg，记录当前像素在8邻域偏移规则中的方向Dir，并判断Dir是否大于或等于DirAvg+1，判断结果为是，则执行步骤二七k，判断结果为否，则执行步骤二七i；
步骤二七i、记录Dir和当前像素坐标，将当前像素作为种子像素，并计算DirAvg，然后执行步骤步骤二七j；
步骤二七j、根据8邻域偏移规则使像素搜索方向减二，将当前像素作为种子像素并返回执行步骤七d；
步骤二七k、判断Dir是否连续两次为3或7，判断结果为是，则执行步骤二七m，判断结果为否，则返回执行步骤二七i；
步骤二七m、根据DirAvg插补白色像素，然后执行步骤二七n；
步骤二七n、判断是否搜索到插补白色像素相邻的像素，判断结果为是，则返回执行步骤二七i，判断结果为否，则返回执行步骤二七m。
6.根据权利要求5所述的基于单幅SEM二维图像的三维信息快速提取方法，其特征在于，步骤三所述的获得目标物体的高度的方法为：
步骤三一、在SEM二维图像下通过纳米定位器对探针进行定位，分析不同高度下的SEM二维图像模糊度；
步骤三二、建立探针高度与模糊度的关系模型，通过Matlab拟合获得图像模糊度与探针Z向高度的模型；
步骤三三、对兴趣区域进行分析，根据图像的直方图对像素值进行划分，获得中间区域像素值；
步骤三四、对中间区域的像素进行统计，获得亚兴趣区域像素的位置及颜色；
步骤三五、对亚兴趣区域像素值进行求方差运算，获得SEM二维图像的模糊度，根据该模糊度，利用拟合的模型实现对目标物体高度的获取。
CN201410592610.5A 2014-10-29 2014-10-29 基于单幅sem二维图像的三维信息快速提取方法 Pending CN104331921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410592610.5A CN104331921A (zh) 2014-10-29 2014-10-29 基于单幅sem二维图像的三维信息快速提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410592610.5A CN104331921A (zh) 2014-10-29 2014-10-29 基于单幅sem二维图像的三维信息快速提取方法

Publications (1)

Publication Number Publication Date
CN104331921A true CN104331921A (zh) 2015-02-04

Family

ID=52406641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410592610.5A Pending CN104331921A (zh) 2014-10-29 2014-10-29 基于单幅sem二维图像的三维信息快速提取方法

Country Status (1)

Country Link
CN (1) CN104331921A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881662A (zh) * 2015-06-26 2015-09-02 北京畅景立达软件技术有限公司 一种单幅图像行人检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2289046A1 (en) * 2008-05-23 2011-03-02 The Australian National University Image data processing
CN102254354A (zh) * 2011-06-27 2011-11-23 中国科学院武汉岩土力学研究所 一种实现土的微观结构表面形态三维可视化的方法
CN104063902A (zh) * 2014-06-22 2014-09-24 湘潭大学 一种基于材料真实微观组织结构的有限元建模方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2289046A1 (en) * 2008-05-23 2011-03-02 The Australian National University Image data processing
CN102254354A (zh) * 2011-06-27 2011-11-23 中国科学院武汉岩土力学研究所 一种实现土的微观结构表面形态三维可视化的方法
CN104063902A (zh) * 2014-06-22 2014-09-24 湘潭大学 一种基于材料真实微观组织结构的有限元建模方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FUKUDA T等: "Assembly of Nanodevices with Carbon Nanotubes Through Nanorobotic Manipulations", 《PROCEEDINGS OF THE IEEE》 *
JASPER D等: "Line Scan-based High-Speed Position Tracking Inside the SEM", 《INTERNATIONAL JOURNAL OF OPTOMECHATRONICS》 *
刘子源等: "基于ＯｐｅｎＣＶ和Ｈａａｒ特征分类器的图像人数检测", 《辽宁科技大学学报》 *
李东洁等: "基于二维SEM 图像的纳米操作三维信息提取", 《哈尔滨理工大学学报》 *
田孝军等: "基于AFM的机器人化纳米操作中纳观力的初步研究", 《机器人》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881662A (zh) * 2015-06-26 2015-09-02 北京畅景立达软件技术有限公司 一种单幅图像行人检测方法
CN104881662B (zh) * 2015-06-26 2019-03-08 北京畅景立达软件技术有限公司 一种单幅图像行人检测方法

Similar Documents

Publication Publication Date Title
CN108090423B (zh) 一种基于热力图和关键点回归的深度车牌检测方法
CN103575227B (zh) 一种基于数字散斑的视觉引伸计实现方法
CN103499585B (zh) 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置
CN108932475A (zh) 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN104281838B (zh) 基于hog特征的高铁接触网支撑装置耳片断裂故障检测方法
CN103295232B (zh) 基于直线和区域的sar图像配准方法
CN105865344A (zh) 一种基于机器视觉的工件尺寸测量方法和装置
WO2018107525A1 (zh) 一种电动注塑机模具检测方法
CN104732536A (zh) 一种基于改进形态学的亚像素边缘检测方法
CN103914687A (zh) 一种基于多通道和多阈值的矩形目标识别方法
CN103149087B (zh) 一种基于随动视窗与数字图像的非接触式实时应变测量方法
JP5339065B2 (ja) 対象物追跡装置
CN106446894A (zh) 一种基于轮廓识别球型目标物位置的方法
CN104501735A (zh) 一种利用圆形标记点观测边坡三维变形的方法
CN103488972A (zh) 基于深度信息的指尖检测方法
CN104359415B (zh) 一种水火弯板角变形量测量方法及系统
WO2022095514A1 (zh) 图像检测方法、装置、电子设备及存储介质
CN109711457A (zh) 一种基于改进hu不变矩的快速图像匹配方法及其应用
CN105116394A (zh) 一种基于多维细微特征分析的目标点迹提取方法
CN104515502A (zh) 一种机器人手眼立体视觉测量方法
CN104268940A (zh) 基于ct扫描图像的mems结构重构与检测方法
CN107392953B (zh) 基于等高线的深度图像识别方法
Yang et al. Auto-recognition Method for Pointer-type Meter Based on Binocular Vision.
CN103644894B (zh) 一种复杂曲面目标识别及三维位姿测量的方法
CN104331921A (zh) 基于单幅sem二维图像的三维信息快速提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150204