CN106056123B - 一种基于sem的碳纳米管自动识别的图像处理方法 - Google Patents

一种基于sem的碳纳米管自动识别的图像处理方法 Download PDF

Info

Publication number
CN106056123B
CN106056123B CN201610366152.2A CN201610366152A CN106056123B CN 106056123 B CN106056123 B CN 106056123B CN 201610366152 A CN201610366152 A CN 201610366152A CN 106056123 B CN106056123 B CN 106056123B
Authority
CN
China
Prior art keywords
cnt
image
point
image processing
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610366152.2A
Other languages
English (en)
Other versions
CN106056123A (zh
Inventor
石青
王化平
郭亚娜
孙韬
黄强
福田敏男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201610366152.2A priority Critical patent/CN106056123B/zh
Publication of CN106056123A publication Critical patent/CN106056123A/zh
Application granted granted Critical
Publication of CN106056123B publication Critical patent/CN106056123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/122—Computational image acquisition in electron microscopy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于SEM(扫描电子显微镜)的碳纳米管自动识别的图像处理方法。该方法在SEM得到探针(1)和CNT(2)的图像后，对图像进行灰度化、颜色归一化、轮廓梯度计算、极值点提取，以及优化处理五个图像处理步骤，从而能够从基底(3)边缘所有识别的CNT中筛选出一根或几根长且直、杂质少的目标CNT。本发明所提出的图像处理方法具有鲁棒性强，环境适应能力强，且算法结构简单，计算快等优点。

Description

一种基于SEM的碳纳米管自动识别的图像处理方法
技术领域
本发明属于微纳操作技术领域，具体涉及一种基于SEM的极端环境下CNT(碳纳米管)自动识别的图像处理方法。
背景技术
纳米材料，如富勒烯、CNT、石墨烯等，在制造业、微电子、生物、医学、能源等领域得到了广泛的应用。以CNT为例，因其独特的机械、电学和热性能，应用于各种纳米器件。因而对CNT等纳米材料的识别操作方法显得尤为重要，CNT的操作方法目前可分为非机器人操作和机器人操作两种，前者可以快速高效地对CNT进行分离与排序，然而缺点是很难对单根CNT进行操作。后者可进一步区分为遥操作法和自动化法，对于遥操作方法，具有操作周期长、对工作人员操作水平与技巧要求比较高的特点，而自动化法则具有放大倍数较低，仅能对直径d＝50nm以上纳米材料进行操作、算法环境适应能力差等不足之处。于是，对直径d≤50nm的纳米材料识别与操作的自动化亟待解决。综合以上技术情况，本领域需要结合扫描电子显微镜(SEM)下极端环境的特点，搭建出三维自动化操作平台，以对直径50nm以下的CNT进行识别和操作。
发明内容
本发明的目的是：结合SEM系统所得图像，通过一系列图像处理过程，实现对直径50nm以下的CNT的自动识别，以供后续操作。本发明具有鲁棒性强，环境适应能力强，并且算法结构简单，计算快等优点。
本发明通过以下技术方案实现。
一种基于SEM(扫描电子显微镜)的极端环境下碳纳米管x-y平面上的自动识别的图像处理方法，包括以下步骤：
对所得图像进行灰度化处理；
自动选择合适的阈值，将图像颜色归一化、二值化；
通过图像梯度翻转计算找到外伸CNT的自由端；
通过限定CNT自由端附近平均像素值以优化处理，筛选得到满足所需条件的目标CNT，完成自动识别过程。
优选的，所述的目标CNT自动识别的图像处理方法中，所述方法对图像自动颜色归一化的过程，进一步包括以下步骤：计算图像像素值的直方图，根据图像特点，包含像素值个数最多的分区，即包含着图像中(除CNT以及探针等以外)背景的像素值；得到背景近似像素值之后，进行归一化处理时的阈值随即确定，该阈值vthresh设为依据背景像素值vpixel改变而改变的函数，函数形式根据经验可得,一般优选vthresh＝vpixel+15；运用该阈值对图像进行颜色归一化、二值化处理，背景处理为黑色，CNT以及探针等操作对象及主体处理为白色。
优选的，所述的目标CNT自动识别的图像处理方法中，所述算法对图像梯度翻转计算外伸CNT端点进一步包括以下步骤：
求取图像内部轮廓线；
对轮廓上各点进行梯度计算，按照公式
Figure BDA0001002406580000021
判断如果ki*ki-1＜0，表示轮廓翻转，该点为角点；
进一步判断ki与ki-1正方向之间夹角α是否满足135°＜α＜180°,即如果
Figure BDA0001002406580000022
则标记该点(例为黑色圆点)，所得该类点即为极值点，大部分为CNT的自由端点。
优选的，所述的目标CNT自动识别的图像处理方法中，所述算法对限定CNT自由端附近平均像素值以完成优化处理的过程，进一步包括以下步骤：
以所得极值点为圆心，目标CNT长度为基准设定合理半径值做圆j；判断圆j内像素点(共n个)的像素p之和
Figure BDA0001002406580000023
判断是否满足dmin*hmin＜pj＜dmax*hmax,其中d代表目标CNT的直径要求，h代表目标CNT的长度要求。于是得到最终优化点，标记该点(例为黑色三角形点)，即为目标CNT自由端，即可得到反馈给探针操作臂的运动目标位置。
本发明的有益效果是：
1.本发明的方法在对图像自动颜色归一化的处理中，引入像素直方图，有效应对归一化过程中，由于放大倍数或是光照变化等原因引起的图像背景亮度差异，合理阈值选择的问题；
2.本发明的方法对限定CNT自由端附近平均像素值以完成优化处理的过程中，引入圆内像素值判断，由于背景处理为黑色，像素值为0，CNT处理为白色，像素值255，故该圆内各点像素值总和能够一定程度代表该极值点所在的CNT自由段的长度，并能据此判断该CNT与附近CNT的生长环境是否有复杂纠缠，一般情况下，希望目标CNT有足够自由段长度，并且没有CNT之间互相的交叉纠缠。
附图说明
图1为本发明的处理对象示意图；
图2为本发明的图像处理所述优化处理示意图；
图3为本发明的图像处理结果示意图；
其中各附图标记所代表的含义为：1-探针、2-CNT、3-基质、4-优化过程所借助圆j、5-目标CNT的自由端。
具体实施方式
参见附图1，一种基于SEM的极端环境下碳纳米管x-y平面上的自动识别的图像处理方法，它处理对象图像包括：探针(1)、CNT(2)、CNT生长基质(3)。
所述方法的处理流程包括：对图像进行灰度化；颜色归一化、二值化；轮廓梯度计算；极值点提取；以及优化处理五个图像处理步骤。
所述的目标CNT自动识别的图像处理流程中，所述算法对图像自动颜色归一化的过程，为了应对由于放大倍数或是光照变化等原因引起的图像背景亮度差异，本发明提出的方法是：计算图像像素值的直方图，根据图像特点，包含像素值个数最多的分区，即包含着图像中(除CNT以及探针等以外)背景的像素值；得到背景近似像素值之后，进行归一化处理时的阈值随即确定，该阈值vthresh设为依据背景像素值vpixel改变而改变的函数，函数形式根据经验可得,一般优选vthresh＝vpixel+15；运用该阈值对图像进行颜色归一化、二值化处理，背景处理为黑色，CNT以及探针等操作对象及主体处理为白色。
所述的目标CNT自动识别的图像处理流程中，所述方法对图像梯度翻转计算外伸CNT端点进一步包括以下步骤：
求取图像内部轮廓线；对轮廓上各点进行梯度计算，按照公式
Figure BDA0001002406580000031
判断如果ki*ki-1＜0，表示轮廓翻转，该点为角点；进一步判断ki与ki-1正方向之间夹角α是否满足135°＜α＜180°,即如果
Figure BDA0001002406580000032
则标记该点(例为圆点)，所得该类点即为极值点，大部分为CNT的自由端点。
所述的目标CNT自动识别的图像处理方法中，所述方法对限定CNT自由端附近平均像素值以完成优化处理的过程，进一步包括以下步骤：
参见附图2，以所得极值点为圆心，目标CNT长度为基准设定合理半径值做圆j(4)；由于背景处理为黑色，像素值为0，CNT处理为白色，像素值255，故该圆内各点像素值总和能够一定程度代表该极值点所在的CNT自由段的长度，以及该CNT与附近CNT的生长环境是否有复杂纠缠，一般情况下希望目标CNT有足够自由段长度，并且没有CNT之间互相的交叉纠缠。故具体操作是：判断圆j(4)内像素点(共n个)的像素p之和
Figure BDA0001002406580000041
判断是否满足dmin*hmin＜pj＜dmax*hmax,其中d代表目标CNT的直径要求，h代表目标CNT的长度要求。
参见附图3，经过以上所述处理流程后，得到最终优化点，标记该点(例为三角形点)，即为目标CNT自由端(5)，即可得到反馈给探针操作臂的运动目标位置。
以上所述仅为本发明的几种具体实施例，以上实施例仅用于对本发明的技术方案和发明构思做说明而非限制本发明的权利要求范围。凡本技术领域中技术人员在本专利的发明构思基础上结合现有技术，通过逻辑分析、推理或有限实验可以得到的其他技术方案，也应该被认为落在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于SEM(扫描电子显微镜)的碳纳米管自动识别的图像处理方法，包括以下步骤：
对SEM所得图像进行灰度化处理；
选择阈值，将图像颜色归一化和二值化；
通过图像梯度翻转计算找到外伸CNT(碳纳米管)(2)的自由端；
通过限定CNT(2)自由端附近平均像素值以优化处理，筛选得到满足所需条件的目标CNT(5)，完成自动识别过程；
其中，所述图像梯度翻转计算找到外伸CNT的自由端进一步包括以下步骤：
求取图像内部轮廓线；
对轮廓线上各点进行梯度计算，按照公式
Figure FDA0002076413430000011
判断，
如果ki*ki-1<0，表示轮廓翻转，该ki对应的点为角点；
进一步判断ki与ki-1正方向之间夹角α是否满足135°<α<180°,即如果
Figure FDA0002076413430000012
则标记该ki对应的点为极值点；
所述通过限定CNT自由端附近平均像素值以优化处理的过程，进一步包括以下步骤：
以所述极值点为圆心，目标CNT长度为基准设定合理半径值做圆j(4)；
判断圆j(4)内n个像素点的像素p之和
Figure FDA0002076413430000013
判断是否满足dmin*hmin<pj<dmax*hmax,其中d代表目标CNT的直径要求，h代表目标CNT的长度要求；于是得到最终优化点，标记该ki对应的点为目标CNT自由端(5)。
2.根据权利要求1所述的图像处理方法，其特征在于，所述将图像颜色归一化进一步包括以下步骤：
计算图像像素值的直方图，从包含像素值个数最多的分区获得除CNT(2)以及探针(1)以外背景的像素值；
得到背景的像素值之后，随即确定进行归一化处理时的阈值，该阈值vthresh设为依据背景像素值vpixel改变而改变的函数；
运用该阈值对图像进行颜色归一化和二值化处理，背景处理为黑色，CNT(2)、探针及主体处理为白色(1)。
3.根据权利要求2所述的图像处理方法，其特征在于，所述函数形式为vthresh＝vpixel+15。
4.根据权利要求1所述的图像处理方法，其特征在于，所述极值点标记为圆点。
5.根据权利要求1所述的图像处理方法，其特征在于，所述目标CNT自由端标记为三角形点。
CN201610366152.2A 2016-05-27 2016-05-27 一种基于sem的碳纳米管自动识别的图像处理方法 Active CN106056123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610366152.2A CN106056123B (zh) 2016-05-27 2016-05-27 一种基于sem的碳纳米管自动识别的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610366152.2A CN106056123B (zh) 2016-05-27 2016-05-27 一种基于sem的碳纳米管自动识别的图像处理方法

Publications (2)

Publication Number Publication Date
CN106056123A CN106056123A (zh) 2016-10-26
CN106056123B true CN106056123B (zh) 2019-10-15

Family

ID=57175571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610366152.2A Active CN106056123B (zh) 2016-05-27 2016-05-27 一种基于sem的碳纳米管自动识别的图像处理方法

Country Status (1)

Country Link
CN (1) CN106056123B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472748B (zh) * 2018-10-26 2021-01-26 河北工业大学 基于纳米颗粒sem图像亮度提取的图像亮度校正方法
CN112435233B (zh) * 2020-11-23 2022-10-11 北京理工大学 一种一维纳米材料顶点检测方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990481B2 (en) * 2006-10-30 2011-08-02 Samsung Electronics Co., Ltd. Display device having particular touch sensor protrusion facing sensing electrode
KR101268520B1 (ko) * 2009-12-14 2013-06-04 한국전자통신연구원 영상 인식 장치 및 방법
CN104359402A (zh) * 2014-11-17 2015-02-18 南京工业大学 一种用于矩形引脚元件视觉定位的检测方法
CN104809731B (zh) * 2015-05-05 2018-03-09 北京工业大学 一种基于梯度二值化的旋转尺度不变场景匹配方法

Also Published As

Publication number Publication date
CN106056123A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106056123B (zh) 一种基于sem的碳纳米管自动识别的图像处理方法
Lin et al. Intelligent identification of two-dimensional nanostructures by machine-learning optical microscopy
Lee et al. Quantitative evaluation technique of Polyvinyl Alcohol (PVA) fiber dispersion in engineered cementitious composites
CN110779928B (zh) 缺陷检测装置及方法
Shi et al. A vision-based automated manipulation system for the pick-up of carbon nanotubes
CN111127429A (zh) 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法
CN108247635A (zh) 一种深度视觉的机器人抓取物体的方法
Liu et al. Automated robotic measurement of 3-D cell morphologies
Gong et al. Robotic probing of nanostructures inside scanning electron microscopy
CN105976385A (zh) 一种基于图像数据场的图像分割方法
CN107462173A (zh) 基于显微视觉的微动平台位移测量方法及系统
Pacakova et al. Formation of wrinkles on graphene induced by nanoparticles: Atomic force microscopy study
Stach et al. Evaluation of the topographical surface changes of silicon wafers after annealing and plasma cleaning
Li et al. Quantifying the CVD-grown two-dimensional materials via image clustering
CN106097323B (zh) 一种基于机器视觉的发动机气缸体铸件的定位方法
JP4018092B2 (ja) 検査対象物の所定の表面状態の原因を自動的に求める装置
Wetzer et al. Towards automated multiscale imaging and analysis in TEM: Glomerulus detection by fusion of CNN and LBP maps
CN109304710A (zh) 基于径向基神经网络的机械臂精度标定方法
CN112967281B (zh) 一种基于弧支持生长的椭圆检测算法
US20230034667A1 (en) Artificial Intelligence Enabled Metrology
Smith et al. An active contour ImageJ plugin to monitor daughter cell size in 3D during cytokinesis
Dunn et al. Numerical processing of CNT arrays using 3D image processing of SEM images
CN112435233B (zh) 一种一维纳米材料顶点检测方法和系统
Wang et al. Cooperation method of symmetrically distributed multi-nanorobotic manipulators inside SEM for nanodevice constructing
US20200143533A1 (en) Analyzing method for perovskite structure using machine learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant