CN116402736A - 基于人工智能原子力显微镜的材料识别方法和装置 - Google Patents

基于人工智能原子力显微镜的材料识别方法和装置 Download PDF

Info

Publication number
CN116402736A
CN116402736A CN202111615524.8A CN202111615524A CN116402736A CN 116402736 A CN116402736 A CN 116402736A CN 202111615524 A CN202111615524 A CN 202111615524A CN 116402736 A CN116402736 A CN 116402736A
Authority
CN
China
Prior art keywords
image
classification
classification result
model
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111615524.8A
Other languages
English (en)
Inventor
黄博远
谭州瑜
朱庆丰
李江宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111615524.8A priority Critical patent/CN116402736A/zh
Priority to PCT/CN2022/140068 priority patent/WO2023125111A1/zh
Publication of CN116402736A publication Critical patent/CN116402736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于人工智能原子力显微镜的材料识别方法和装置，所述方法包括：获取显微镜扫描图像；将所述显微镜扫描图像输入至预先训练的材料识别模型中，获得所述图像分类模型输出的分类结果，其中，所述材料识别模型基于仿真样本图像训练得到；根据所述分类结果确定所述显微镜扫描图像对应的目标材料。本发明实施例提供了一种结构简单、适用性广的材料识别模型，提高了材料识别效率和准确性。

Description

基于人工智能原子力显微镜的材料识别方法和装置
技术领域
本发明实施例涉及图像技术领域，尤其涉及一种基于人工智能原子力显微 镜的材料识别方法和装置。
背景技术
原子力显微镜(Atomic Force Microscope，AFM)是在纳米尺度上探测、阐 明及操纵材料和结构的强大工具。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题： 目前原子力显微镜AFM的操作严重依赖操作者的主观经验，用户在操作时常常 忽略重要但微妙的信息，在后期的数据处理发现时为时已晚。
发明内容
本发明实施例提供了一种基于人工智能原子力显微镜的材料识别方法和装 置，以实现避免主观操作对原子力显微镜获得的形貌图像的影响，获取有效的 形貌图像。
第一方面，本发明实施例提供了一种基于人工智能原子力显微镜的材料识 别方法，包括：
获取显微镜扫描图像；
将显微镜扫描图像输入至预先训练的材料识别模型中，获得图像分类模型 输出的分类结果，其中，材料识别模型基于仿真样本图像训练得到；
根据分类结果确定显微镜扫描图像对应的目标材料。
可选的，进一步的，材料识别模型包括特征提取模块和分类模块，将显微 镜扫描图像输入至预先训练的材料识别模型中，获得材料识别模型输出的分类 结果，包括：
将显微镜扫描图像输入至特征提取模块中，获得特征提取模块输出的结构 特征；
将结构特征输入至分类模块中，获得分类模块输出的分类结果。
可选的，进一步的，根据分类结果确定显微镜扫描图像对应的目标材料， 包括：
基于目标材料进行分类结果验证；
当分类结果验证为验证通过时，将分类结果对应的材料作为目标材料。
可选的，进一步的，基于目标材料进行分类结果验证，包括：
当分类结果为铁电类别时，调整扫描区域以获取扫描对象的畴壁信息；
基于畴壁信息进行开关光谱学压电响应力显微镜实验，当生成扫描对象对 应的回线参数时，判定铁电类别的分类结果验证通过。
可选的，进一步的，基于目标材料进行分类结果验证，包括：
当分类结果为非铁电类别时，调整扫描区域以获取扫描对象的晶界信息；
基于晶界信息执行一次谐波压电响应和二次谐波压电响应；
当二次谐波压电响应支配一次谐波压电响应时，判定非铁电类别的分类结 果验证通过。
可选的，进一步的，材料识别模型的训练包括：
根据材料识别模型对应的分类类别确定样本图像类别；
基于样本图像类别进行仿真，得到仿真样本图像；
基于样本图像类别和仿真样本图像构建模型训练样本，采用模型训练样本 对预先构建的材料识别模型进行训练，得到训练后的材料识别模型。
可选的，进一步的，材料识别模型基于支持向量机模型构建。
第二方面，本发明实施例还提供了一种基于人工智能原子力显微镜的材料 识别装置，包括：
扫描图像获取模块，用于获取显微镜扫描图像；
扫描图像分类模块，用于将显微镜扫描图像输入至预先训练的材料识别模 型中，获得图像分类模型输出的分类结果，其中，材料识别模型基于仿真样本 图像训练得到；
目标材料确定模块，用于根据分类结果确定显微镜扫描图像对应的目标材 料。
第三方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现 如本发明任意实施例所提供的基于人工智能原子力显微镜的材料识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的基于人 工智能原子力显微镜的材料识别方法。
本发明实施例通过获取当前扫描区域的显微镜扫描图像；将显微镜扫描图 像输入至预先训练的材料识别模型中，获得材料识别模型输出的分类结果；根 据分类结果确定目标形貌图像。通过预先训练的材料识别模型对形貌图像分类 判断显微镜扫描图像的有效性，根据显微镜扫描图像的有效性确定目标形貌图 像的置信程度，避免了主观操作对形貌图像错误判断的影响，提高了获得真实 形貌图像的精准度。
附图说明
图1是本发明实施例一所提供的一种基于人工智能原子力显微镜的材料识 别方法的流程图；
图2是本发明实施例三所提供的一种基于人工智能原子力显微镜的材料识 别装置的结构示意图；
图3是本发明实施例四所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1是本发明实施例一所提供的一种基于人工智能原子力显微镜的材料识 别方法的流程图。本实施例可适用于对原子力显微镜的成像对象进行材料识别 时的情形，尤其适用于通过人工智能原子力显微镜AFM进行材料识别时的情形。 该方法可以由基于人工智能原子力显微镜的材料识别装置执行，该基于人工智 能原子力显微镜的材料识别装置可以采用软件和/或硬件的方式实现，例如，该 基于人工智能原子力显微镜的材料识别装置可配置于计算机设备中，如原子力 显微镜中。如图1所示，该方法包括：
S110、获取显微镜扫描图像。
针对现有技术中人工智能驱动AFM结构复杂、仅适用于理想的实验室环境 等技术问题。本发明实施例提出了一种结构简单、适用较广的材料识别方法。 整体来说，通过预先训练材料识别模型，将原子力显微镜扫描的图像作为显微 镜扫描图像输入至预先训练的材料识别模型中，通过材料识别模型对显微镜扫 描图像进行结构特征的识别和分类，最终根据材料识别模型输出的分类结果确 定显微镜扫描图像对应的扫描对象的材料类别。
在本实施例中，显微镜扫描图像可以为原子力显微镜对扫描对象开始扫描 时的扫描图像，还可以为扫描过程中的扫描图像。其中，显微镜扫描图像对应 的扫描区域可以设定为固定值，也可以由用户根据经验设置。原子力显微镜对 扫描区域进行扫描后，生成显微镜扫描图像。其中，根据扫描区域的扫描数据 生成显微镜扫描图像的方式可以参考现有技术中原子力显微镜的成像方式，在 此不做限制。
S120、将显微镜扫描图像输入至预先训练的材料识别模型中，获得图像分 类模型输出的分类结果，其中，材料识别模型基于仿真样本图像训练得到。
在本实施例中，为避免主观经验对形貌图像的影响，通过机器学习模型判 断扫描对象的材料类别。也就是说，通过预先训练的机器学习模型-材料识别模 型对显微镜扫描图像进行分类，根据分类类别判定显微镜扫描图像对应的材料 类别。
可选的，材料识别模型可以基于支持向量机模型构建。支持向量机(SupportVector Machine，SVM)是一类按监督学习方式对数据进行二元分类的广义线性 分类器，其决策边界是对学习样本求解的最大边距超平面，广泛应用于人像识 别、文本分类等模式识别问题中。该分类器对AFM此特定场景的图像数据具有 较高的适配性，可以很好的实现AFM数据图像的特征识别。
机电耦合普遍存在于天然材料、合成器件和生物系统中，如铁电材料、锂 离子电池和电压离子通道，为信息处理、能量转换和生物过程提供了广泛的应 用。尽管它们的显微机制存在巨大差异，但这些机电耦合通常在ds-SPM中表 现为明显的压电响应，而人工要辨别其主要的微观起源是极具有挑战性的。以 铁电材料和电化学材料的分类为例，180°畴常常存在于铁电材料中，并且通常 表现出大大降低的压电响应。另一方面，非铁电固体(例如电化学材料)的振 幅和相位行为通常没有很好地定义，其中相位衬度小于180°。基于上述区别， 本发明实施例提出了一种采用支持向量机(SVM)算法开发的基于物理学的分 类器，即材料识别模型的方法。支持向量机模型能够从输入的PFM成像中逐像 素提取铁电畴壁，从而有助于区分铁电材料和电化学材料，其中引入了一种不 同的算法来从AFM形貌成像中提取晶界。相比较下，虽然当前流行的卷积神经 网络(CNN)在图像识别领域取得了显著的成功，但它只能对整个图像进行分 类，而不能准确描绘出感兴趣的畴壁或晶界。源自CNN的全卷积网络能够在原 始扫描透射电子显微镜(STEM)数据中识别晶格原子，虽然适用于材料的分类， 但其需要大量的图形处理器GPU来促进训练过程以及大量带有畴壁或晶界级 别的准确标记的训练数据像素。而基于SVM的人工智能算法只需要一个小数据 集可以在普通个人电脑上在不到10秒的时间内训练，使其能够广泛应用。更重 要的是，这种基于SVM的算法在分类和即时控制方面比CNN高效得多。
在本实施例中，在对材料识别模型进行训练时，考虑到标注工作的繁琐性， 提供了一种基于仿真得到的图像生成模型训练样本，对材料识别模型进行训练 的方法。可选的，材料识别模型的训练包括：根据材料识别模型对应的分类类 别确定样本图像类别；基于样本图像类别进行仿真，得到仿真样本图像；基于 样本图像类别和仿真样本图像构建模型训练样本，采用模型训练样本对预先构 建的材料识别模型进行训练，得到训练后的材料识别模型。
仍以铁电材料和电化学材料的分类为例。考虑到振幅及相位直方图往往存 在于几个特定的角度，从而使用真实图像进行标记训练往往是低效的。在对 SVM分类器进行训练时，为减少标注的工作量，通过仿真模拟了振幅及相位的 特征，同时在其基础上增添白噪声，从而避免了繁琐的标注工作，成功地训练 了基于模拟形貌图的模型。具体的，可以首先根据需要分类的材料类别生成随 机的畴壁的二进制码，然后从形貌形态学的角度来模拟真实的成像，增添白噪 声后得到仿真样本图像。得到仿真样本图像后，基于仿真样本图像和其对应的 分类类别构建模型训练样本，采用模型训练样本对材料识别模型进行训练，得 到训练后的材料识别模型。材料识别模型的训练方式可参照现有技术中的模型 训练方式，在此不再赘述。
一个实施例中，材料识别模型包括特征提取模块和分类模块，将显微镜扫 描图像输入至预先训练的材料识别模型中，获得材料识别模型输出的分类结果， 包括：将显微镜扫描图像输入至特征提取模块中，获得特征提取模块输出的结 构特征；将结构特征输入至分类模块中，获得分类模块输出的分类结果。
整体来说，对显微镜扫描图像的分类包括特征提取和分类两个部分。其中， 特征提取通过材料识别模型中的特征提取模块实现，分类通过材料识别模型中 的分类模块实现。结合AFM数据图像的特征，根据结构特征对显微镜扫描图像 对应的材料类别进行分类。示例性的，可以通过识别结构特征中二进制掩码上 最长线条的长度来判断是否存在铁电畴壁，反之则会判断为晶界。
S130、根据分类结果确定显微镜扫描图像对应的目标材料。
一个实施例中，可以直接将分类结果对应的材料作为显微镜扫描图像对应 的目标材料。以铁电类别和非铁电类别的材料识别为例，材料识别模型输出的 分类结果可以为铁电类别，也可以为非铁电类别。
另一个实施例中，为进一步确定材料识别的准确性，在通过材料识别模型 进行分类后，还可以对结构特征中的关键点进行追踪放大扫描定位，进行后续 的进一步验证。基于此，根据分类结果确定显微镜扫描图像对应的目标材料， 包括：基于目标材料进行分类结果验证；当分类结果验证为验证通过时，将分 类结果对应的材料作为目标材料。可以理解的是，不同材料类别的特性不同， 基于此，可以通过验证扫描对象是否具备分类类别对应材料的材料特征对分类 结果进行进一步验证。
可选的，基于目标材料进行分类结果验证，包括：当分类结果为铁电类别 时，调整扫描区域以获取扫描对象的畴壁信息；基于畴壁信息进行开关光谱学 压电响应力显微镜实验，当生成扫描对象对应的回线参数时，判定铁电类别的 分类结果验证通过。当检测到畴壁，即分类结果为铁电类别时，程序将自动触 发“铁电程序”，程序将调整扫描区域，将扫描针尖移动到已识别的畴壁上， 并放大扫描，在畴壁的一条点线上进行SS-PFM实验，生成铁电体对应的回线 特征，如磁滞回线与蝴蝶回线，当生成扫描对象对应的回线参数时，表示扫描 对象具备铁电材料的材料特性，则判定分类结果验证通过；否则，判定分类结 果验证不通过。
可选的，基于目标材料进行分类结果验证，包括：当分类结果为非铁电类 别时，调整扫描区域以获取扫描对象的晶界信息；基于晶界信息执行一次谐波 压电响应和二次谐波压电响应；当二次谐波压电响应支配一次谐波压电响应时， 判定非铁电类别的分类结果验证通过。若程序未从振幅和相位成像中检测到180° 畴壁，即分类结果为非铁电类别时，触发“非铁电程序”来识别叠加在形貌上 的晶界，并放大扫描，随后在晶界上执行一次和二次谐波压电响应。若二次谐 波压电响应支配着一次谐波压电响应，表示扫描对象具备非铁电材料的材料特 性，则判定分类结果验证通过；否则，判定分类结果验证不通过。
当分类结果验证不通过时，可以通过调整扫描区域重新获取显微镜扫描图 像进行材料识别，还可以重新训练材料识别模型，基于重新训练后的材料识别 模型进行材料识别。
本发明实施例通过获取显微镜扫描图像；将显微镜扫描图像输入至预先训 练的材料识别模型中，获得图像分类模型输出的分类结果，其中，材料识别模 型基于仿真样本图像训练得到；根据分类结果确定显微镜扫描图像对应的目标 材料。提供了一种结构简单、适用性广的材料识别模型，提高了材料识别效率 和准确性。
实施例二
本实施例在上述方案的基础上，提供了一种优选实施例。
本发明实施例提供的材料识别方法通过对扫描得到的图像进行分类以供AI-AFM针对性的学习，按照其振幅与相位响应进行特征识别训练，使得 AI-AFM能够自行分辨其不同的结构特征，并对关键点进行追踪放大扫描定位， 以便进行后续的进一步验证。
具体的，本发明实施例提供的材料识别方法由人工智能原子力显微镜 AI-AFM执行，该AI-AFM将扫描数据实时提供给机器学习算法。该算法使用 用于材料分类和特征识别的数据进行预训练，并基于人工智能对特定的材料识 别分类，将动态识别与底层系统相关的其他特征，例如畴壁或晶界等。通过控 制算法，探测器将实时返回识别出的关键特征，并在运行中将适合的区域进行 进一步实验。其关键点在于通过一种高效的机器学习算法，能够进行高保真逐 像素识别，而非依赖于全部扫描数据，使扫描过程中的对显微图像微观物理机 制辨别与验证成为可能。
本实施例中，机器学习算法采用SVM分类器，基于SVM的人工智能算法 只需要一个小数据集可以在普通个人电脑上在不到10秒的时间内训练。SVM 可以很容易地用一组标记的样本进行训练，每个样本由固定数量的特征 (x1,x2,…,xn)和一个标签y，说明它是否属于两个类别之一(y＝1或0)。具体 的，首先为SVM模型准备一个训练数据集，其中形态界面上的幅度和相位变化 用来作为指标来分类界面是否为铁电畴壁，然后将带有像素标签(畴壁与否) 的这14个特征输入到SVM模型中。由于每个图像包含256×256像素，因此生 成几乎相同数量的训练数据(图像边框除外)。经实验证明，只需5对ds-SPM 图就足以训练SVM模型，与必须使用整个图像作为一个训练示例的CNN相比， 效率大大提高。
在构建模型训练样本时，考虑到振幅及相位直方图往往存在于几个特定的 角度，从而使用真实图像进行标记训练往往是低效的。为提高模型训练样本的 构建效率，训练数据集可以通过仿真模拟振幅与相位图像生成的，其通过仿真 模拟显微结构替代小标记数据帮助识别，可以提升训练的可靠性与识别的成功 率。具体的，可以通过仿真模拟了振幅及相位的特征，同时在其基础上增添白 噪声，得到仿真样本图像，从而避免了繁琐的标注工作。
可选的，由于畴壁在图上是连续的线，所以用二进制掩模上最长线条的长 度来判断是否存在铁电畴壁。基于此，材料识别模型可以根据二进制掩码上最 长线条的长度来判断是否存在铁电畴壁，反之则会判断为晶界。当材料被初次 分类后，还能够通过动态自适应实验来探测特性和机制临界材料界面处的明显 压电响应的详细信息，通过对AFM显微结构特征的识别与追踪来检测铁电体中 的畴壁和电化学材料中的晶界。动态自适应实验具体可以为：当检测到畴壁时， 程序将自动触发“铁电程序”，程序将扫描针尖移动到已识别的畴chou壁上， 并放大扫描，在畴壁的一条点线上进行SS-PFM实验，生成铁电体对应的磁滞 回线与蝴蝶回线。相反，若程序未从振幅和相位成像中检测到180°畴壁，从 而触发了“非铁电程序”来识别叠加在形貌上的晶界，并放大扫描，随后在晶 界上执行一次和二次谐波压电响应。若二次谐波压电响应支配着一次谐波压电 响应，则可以证实其非铁电性质。
需要说明的是，已经通过本发明实施例提供的SVM分类器来对PFM显微 结构下振幅与相位响应进行结构特征识别与追踪，最终配合后续的验证手段达 到对微观物理机制辨别与验证。对7174张ds-SPM成像，预测具有180°畴壁 的475张图像中有97.3％被正确分类，而预测的6699张图像中没有180°畴壁， 其中99.6％也被正确识别。这些结果证实，基于SVM的AI算法能够对具有180° 畴壁的铁电材料进行分类和特征识别。
实施例三
图2是本发明实施例三所提供的一种基于人工智能原子力显微镜的材料识 别装置的结构示意图。该基于人工智能原子力显微镜的材料识别装置可以采用 软件和/或硬件的方式实现，例如该基于人工智能原子力显微镜的材料识别装置 可以配置于计算机设备中，如原子力显微镜中。如图2所示，该装置包括扫描 图像获取模块210、扫描图像分类模块220和目标材料确定模块230，其中：
扫描图像获取模块210，用于获取显微镜扫描图像；
扫描图像分类模块220，用于将显微镜扫描图像输入至预先训练的材料识 别模型中，获得图像分类模型输出的分类结果，其中，材料识别模型基于仿真 样本图像训练得到；
目标材料确定模块230，用于根据分类结果确定显微镜扫描图像对应的目 标材料。
本发明实施例通过获取显微镜扫描图像；将显微镜扫描图像输入至预先训 练的材料识别模型中，获得图像分类模型输出的分类结果，其中，材料识别模 型基于仿真样本图像训练得到；根据分类结果确定显微镜扫描图像对应的目标 材料。提供了一种结构简单、适用性广的材料识别模型，提高了材料识别效率 和准确性。
可选的，在上述方案的基础上，材料识别模型包括特征提取模块和分类模 块，扫描图像分类模块220具体用于：
将显微镜扫描图像输入至特征提取模块中，获得特征提取模块输出的结构 特征；
将结构特征输入至分类模块中，获得分类模块输出的分类结果。
可选的，在上述方案的基础上，目标材料确定模块230具体用于：
基于目标材料进行分类结果验证；
当分类结果验证为验证通过时，将分类结果对应的材料作为目标材料。
可选的，在上述方案的基础上，目标材料确定模块230具体用于：
当分类结果为铁电类别时，调整扫描区域以获取扫描对象的畴壁信息；
基于畴壁信息进行开关光谱学压电响应力显微镜实验，当生成扫描对象对 应的回线参数时，判定铁电类别的分类结果验证通过。
可选的，在上述方案的基础上，目标材料确定模块230具体用于：
当分类结果为非铁电类别时，调整扫描区域以获取扫描对象的晶界信息；
基于晶界信息执行一次谐波压电响应和二次谐波压电响应；
当二次谐波压电响应支配一次谐波压电响应时，判定非铁电类别的分类结 果验证通过。
可选的，在上述方案的基础上，装置还包括分类模型训练模块，用于：
根据材料识别模型对应的分类类别确定样本图像类别；
基于样本图像类别进行仿真，得到仿真样本图像；
基于样本图像类别和仿真样本图像构建模型训练样本，采用模型训练样本 对预先构建的材料识别模型进行训练，得到训练后的材料识别模型。
可选的，在上述方案的基础上，材料识别模型基于支持向量机模型构建。
本发明实施例所提供的基于人工智能原子力显微镜的材料识别装置可执行 本发明任意实施例所提供的基于人工智能原子力显微镜的材料识别方法，具备 执行方法相应的功能模块和有益效果。
实施例四
图3是本发明实施例四所提供的一种计算机设备的结构示意图。图3示出 了适于用来实现本发明实施方式的示例性计算机设备312的框图。图3显示的 计算机设备312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来 任何限制。
如图3所示，计算机设备312以通用计算设备的形式表现。计算机设备312 的组件可以包括但不限于：一个或者多个处理器316，系统存储器328，连接不 同系统组件(包括系统存储器328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器 控制器，外围总线，图形加速端口，处理器316或者使用多种总线结构中的任 意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系 结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电 子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任 何能够被计算机设备312访问的可用介质，包括易失性和非易失性介质，可移 动的和不可移动的介质。
系统存储器328可以包括易失性存储器形式的计算机系统可读介质，例如 随机存取存储器(RAM)330和/或高速缓存存储器332。计算机设备312可以 进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅 作为举例，存储装置334可以用于读写不可移动的、非易失性磁介质(图3未 显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动 非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘 (例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情 况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储 器328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程 序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块342的程序/实用工具340，可以存储在例 如存储器328中，这样的程序模块342包括但不限于操作系统、一个或者多个 应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可 能包括网络环境的实现。程序模块342通常执行本发明所描述的实施例中的功 能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、 显示器324等)通信，还可与一个或者多个使得用户能与该计算机设备312交 互的设备通信，和/或与使得该计算机设备312能与一个或多个其它计算设备进 行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输 入/输出(I/O)接口322进行。并且，计算机设备312还可以通过网络适配器 320与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网 络，例如因特网)通信。如图所示，网络适配器320通过总线318与计算机设 备312的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备312 使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理 单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在系统存储器328中的程序，从而执行各种功能 应用以及数据处理，例如实现本发明实施例所提供的基于人工智能原子力显微 镜的材料识别方法，该方法包括：
获取显微镜扫描图像；
将显微镜扫描图像输入至预先训练的材料识别模型中，获得图像分类模型 输出的分类结果，其中，材料识别模型基于仿真样本图像训练得到；
根据分类结果确定显微镜扫描图像对应的目标材料。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所 提供的基于人工智能原子力显微镜的材料识别方法的技术方案。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程 序，该程序被处理器执行时实现本发明实施例所提供的基于人工智能原子力显 微镜的材料识别方法，该方法包括：
获取显微镜扫描图像；
将显微镜扫描图像输入至预先训练的材料识别模型中，获得图像分类模型 输出的分类结果，其中，材料识别模型基于仿真样本图像训练得到；
根据分类结果确定显微镜扫描图像对应的目标材料。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算 机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的基于人 工智能原子力显微镜的材料识别方法的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可 擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件 中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以 被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括—— 但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的 程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算 机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形 中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各 种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通 过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实 施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本 发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于人工智能原子力显微镜的材料识别方法，其特征在于，包括：
获取显微镜扫描图像；
将所述显微镜扫描图像输入至预先训练的材料识别模型中，获得所述图像分类模型输出的分类结果，其中，所述材料识别模型基于仿真样本图像训练得到；
根据所述分类结果确定所述显微镜扫描图像对应的目标材料。
2.根据权利要求1所述的方法，其特征在于，所述材料识别模型包括特征提取模块和分类模块，所述将所述显微镜扫描图像输入至预先训练的材料识别模型中，获得所述材料识别模型输出的分类结果，包括：
将所述显微镜扫描图像输入至所述特征提取模块中，获得所述特征提取模块输出的结构特征；
将所述结构特征输入至所述分类模块中，获得所述分类模块输出的分类结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述分类结果确定所述显微镜扫描图像对应的目标材料，包括：
基于所述目标材料进行分类结果验证；
当分类结果验证为验证通过时，将所述分类结果对应的材料作为所述目标材料。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标材料进行分类结果验证，包括：
当所述分类结果为铁电类别时，调整扫描区域以获取所述扫描对象的畴壁信息；
基于所述畴壁信息进行开关光谱学压电响应力显微镜实验，当生成所述扫描对象对应的回线参数时，判定所述铁电类别的分类结果验证通过。
5.根据权利要求3所述的方法，其特征在于，所述基于所述目标材料进行分类结果验证，包括：
当所述分类结果为非铁电类别时，调整扫描区域以获取所述扫描对象的晶界信息；
基于所述晶界信息执行一次谐波压电响应和二次谐波压电响应；
当所述二次谐波压电响应支配所述一次谐波压电响应时，判定所述非铁电类别的分类结果验证通过。
6.根据权利要求1所述的方法，其特征在于，所述材料识别模型的训练包括：
根据所述材料识别模型对应的分类类别确定样本图像类别；
基于所述样本图像类别进行仿真，得到仿真样本图像；
基于所述样本图像类别和所述仿真样本图像构建模型训练样本，采用所述模型训练样本对预先构建的材料识别模型进行训练，得到训练后的材料识别模型。
7.根据权利要求1所述的方法，其特征在于，所述材料识别模型基于支持向量机模型构建。
8.一种基于人工智能原子力显微镜的材料识别装置，其特征在于，包括：
扫描图像获取模块，用于获取显微镜扫描图像；
扫描图像分类模块，用于将所述显微镜扫描图像输入至预先训练的材料识别模型中，获得所述图像分类模型输出的分类结果，其中，所述材料识别模型基于仿真样本图像训练得到；
目标材料确定模块，用于根据所述分类结果确定所述显微镜扫描图像对应的目标材料。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于人工智能原子力显微镜的材料识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于人工智能原子力显微镜的材料识别方法。
CN202111615524.8A 2021-12-27 2021-12-27 基于人工智能原子力显微镜的材料识别方法和装置 Pending CN116402736A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111615524.8A CN116402736A (zh) 2021-12-27 2021-12-27 基于人工智能原子力显微镜的材料识别方法和装置
PCT/CN2022/140068 WO2023125111A1 (zh) 2021-12-27 2022-12-19 基于人工智能原子力显微镜的材料识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111615524.8A CN116402736A (zh) 2021-12-27 2021-12-27 基于人工智能原子力显微镜的材料识别方法和装置

Publications (1)

Publication Number Publication Date
CN116402736A true CN116402736A (zh) 2023-07-07

Family

ID=86997713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111615524.8A Pending CN116402736A (zh) 2021-12-27 2021-12-27 基于人工智能原子力显微镜的材料识别方法和装置

Country Status (2)

Country Link
CN (1) CN116402736A (zh)
WO (1) WO2023125111A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101191773B (zh) * 2006-11-28 2010-05-12 宝山钢铁股份有限公司 自动识别区分骸晶状菱形赤铁矿与残存赤铁矿的方法
CN111366753A (zh) * 2020-03-12 2020-07-03 中国石油化工股份有限公司 一种页岩有机质孔隙类型的微观识别方法
US11079405B1 (en) * 2020-05-05 2021-08-03 Taiwan Semiconductor Manufacturing Company, Ltd. Method and apparatus for detecting ferroelectric signal
CN111696632B (zh) * 2020-06-22 2023-10-10 钢铁研究总院有限公司 一种金属材料中γ′相微观组织全视场定量统计分布表征方法
CN111931817A (zh) * 2020-07-10 2020-11-13 首钢集团有限公司 一种球团矿矿相识别方法和装置

Also Published As

Publication number Publication date
WO2023125111A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN109858555B (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
EP3404586A1 (en) Novelty detection using discriminator of generative adversarial network
Huang et al. An artificial intelligence atomic force microscope enabled by machine learning
Schneider et al. Gesture recognition in RGB videos using human body keypoints and dynamic time warping
Zhuang et al. Real‐time vehicle detection with foreground‐based cascade classifier
Abdulateef et al. Vehicle License Plate Detection Using Deep Learning
US20220092407A1 (en) Transfer learning with machine learning systems
Nordeng et al. DEBC detection with deep learning
CN111695392A (zh) 基于级联的深层卷积神经网络的人脸识别方法及系统
US20220327816A1 (en) System for training machine learning model which recognizes characters of text images
JP2008102611A (ja) 画像処理装置
Shah et al. Efficient portable camera based text to speech converter for blind person
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN114723010B (zh) 一种异步事件数据的自动学习增强方法及系统
JP5311899B2 (ja) パターン検出器の学習装置、学習方法及びプログラム
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN115205727A (zh) 一种基于无监督学习的实验智能评分方法和系统
Chakraborty et al. Hand gesture recognition: A comparative study
Wong et al. Real-time adaptive hand motion recognition using a sparse bayesian classifier
Nguyen et al. An active boosting-based learning framework for real-time hand detection
CN116402736A (zh) 基于人工智能原子力显微镜的材料识别方法和装置
Liu et al. Vision-based human-computer system using hand gestures
CN111539319A (zh) 一种智慧驾驶管理方法
Meena Deshpande License plate detection and recognition using yolo v4
Nida et al. Bag of deep features for instructor activity recognition in lecture room

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication