CN117546265A - 用于检查来自透射电子显微镜（tem）会话的数据的元数据和图像管理的系统和方法 - Google Patents

用于检查来自透射电子显微镜（tem）会话的数据的元数据和图像管理的系统和方法 Download PDF

Info

Publication number
CN117546265A
CN117546265A CN202280038566.6A CN202280038566A CN117546265A CN 117546265 A CN117546265 A CN 117546265A CN 202280038566 A CN202280038566 A CN 202280038566A CN 117546265 A CN117546265 A CN 117546265A
Authority
CN
China
Prior art keywords
image
metadata
image data
subset
returned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280038566.6A
Other languages
English (en)
Inventor
F·S·沃尔登二世
J·小达米亚诺
D·P·娜茨卡希
D·S·加尔迪内
M·于贝尔
A·P·弗兰克斯
J·弗兰德
K·E·马鲁萨克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Protochips Inc
Original Assignee
Protochips Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Protochips Inc filed Critical Protochips Inc
Priority claimed from PCT/US2022/023892 external-priority patent/WO2022216970A1/en
Publication of CN117546265A publication Critical patent/CN117546265A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/418—Imaging electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文公开了用于检查来自显微镜实验会话的数据的元数据管理的方法和系统。来自实验会话的图像数据存储在本地或网络上的一个或多个文件路径位置的档案中。与图像数据相关联的元数据存储在数据库中，该数据库引用存储原始图像的文件路径，使得元数据在数据库中与图像数据相关联。用户可以使用元数据对底层图像数据执行实验后过滤、分类和搜索，这允许在不复制图像数据和不手动检查每个单独图像的情况下分析图像数据。过滤后的数据以交互式时间线格式呈现。

Description

用于检查来自透射电子显微镜(TEM)会话的数据的元数据和 图像管理的系统和方法
相关申请的交叉引用
本申请要求由协议芯片公司(Protochips,Inc.)于2021年4月7日提交的美国临时专利申请号为63/171692的美国临时专利申请的优先权，该专利申请的名称为“用于审查透射电子显微镜(TEM)会话数据的元数据和图像管理系统和方法(SYSTEMS AND METHODS OFMETADATA AND IMAGE MANAGEMENT FOR REVIEWING DATA FROM TRANSMISSION ELECTRONMICROSCOPE(TEM)SESSIONS)”，其全部内容通过引用并入本文。
技术领域
本发明涉及电子显微镜领域，尤其涉及用于检查TEM会话数据的图像和元数据管理系统和方法。
背景技术
在原位显微镜中，透射电子显微镜(TEM)或扫描透射电子显微镜(STEM)使用透射穿过样品支架中的样品的电子束来形成图像。TEM或STEM用于在实验或实验过程中观察样品一段时间。在原位显微镜领域以及通常所有的TEM显微镜中的一个负担是在一次会话期间和一段时间内积累的数据总量。单个TEM会话可能会持续八个小时或更长时间，并且可能会生成超过一百万幅图像和超过800GB的数据。用户在单个会话中收集成千上万或更多的16MP图像并不罕见，这可能会产生许多TB的数据。此外，用户可能会在多个TEM中积累单个样本类型的多个会话。现代相机可以在最大分辨率下以超过40帧/秒的帧速率收集连贯图像，未来五年内这一趋势将加快一个数量级。因此，从实验会话中生成的数据量很大，难以分析。对如此大量的数据进行实验后分析可能是乏味、耗时且耗费资源的。
很少有工具允许用户搜索、排序和识别数据中最重要的部分。这导致重要的科学发现被淹没在信息的海洋中，并导致错误的结论，将研究引向错误的方向。因此，存在为图像的实验后分析提供新方法的机会，以发现和准备关键图像和序列。
发明内容
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不被解释为限制所要求保护的主题的范围。
这里描述的用于透射电子显微镜(TEM)的元数据管理的方法和系统使用来自当前和过去的实验会话(session)的实验元数据、TEM元数据和相机元数据，这些实验会话取自一个或多个不同的TEM，以向用户提供以有效方式分析和可视化图像堆栈的新颖方式。这允许用于从大量会话数据中发现和准备关键图像和序列的实验后分析。
附图说明
图1描绘了本文所述的透射电子显微镜的元数据管理系统的一个实施例。
图2A-2C描绘了本文所述的元数据管理方法和系统的示例性实施例的数据架构。
图3描绘了允许用户从过滤的图像子集中创建图像集合的用户界面屏幕。
图4描绘了显示本文所述的元数据管理系统的概览面板(Overview Panel)的用户界面屏幕。
图5描绘了本文所述的元数据管理系统的概览面板的时间线面板。
图6A-6C分别描绘了图5所示时间线面板的左、中和右部分的详细视图。
图7描绘了本文所述的元数据管理系统的概览面板的图像面板的详细视图。
图8描绘了本文所述的元数据管理系统的概览面板的图像面板的库面板的详细视图。
图9描绘了本文所述的元数据管理系统的概览面板的图像元数据面板的详细视图。
图10描绘了图4所示概览面板的过滤视图。
图11描绘了图10所示过滤器面板(Filter Panel)的详细视图。
图12描绘了图4的概览面板，启用了FFT分析面板(FFT Analysis Panel)来代替图像元数据面板。
图13描绘了光标在时间线面板(Timeline Panel)上选择的当前图像的FFT分析面板的详细视图。
图14描绘了图12的概览面板，其中时间线面板显示了时间线的放大视图。
图15描绘了用于从元数据管理系统导出图像数据的用户界面屏幕。
具体实施方式
下面，根据本发明的实施例，参照附图，对本发明实施例中的技术方案进行清晰全面的描述。显然，这里描述的示例仅仅是一些示例，而不是本公开的所有示例。一般而言，在本文的附图中描绘和示出的本公开的示例中的部件可以根据不同的配置来布置和设计。因此，在下面的附图中提供的本公开的示例的详细描述不旨在限制所要求保护的本公开的范围，而仅仅代表本公开的选定示例。基于本公开的示例，本领域技术人员无需创造性努力即可获得的所有其他示例都将落入本公开的保护范围内。现在将参照下面所示的附图描述本公开。
这里描述的用于TEM的元数据管理的系统和方法通过为使用TEM的实验会话期间生成的数据提供底层数据管理系统，并且通过使用TEM生成实验会话期间发生的事情的交互式可视表示，来改进计算机的功能。数据管理系统和生成的交互式视觉表示允许用户通过使TEM图像数据在任何一个或多个元数据值上可过滤来以新颖的方式访问底层图像数据。这里描述的元数据管理的系统和方法通过允许底层图像数据的有效数据管理，进一步改进了计算机的功能。特别地，该系统和方法通过索引文件或数据库有效地处理底层图像数据，其中数据库是元数据的主要记录。图像文件可能包括特定于图像的元数据的备份，但是数据库是元数据的主要记录，这意味着数据不会不必要地重复。用户可以使用元数据对底层图像数据执行实验后过滤、分类和搜索，这允许在不复制图像数据和不手动检查每个单独图像的情况下分析图像数据。
如本文所使用的，术语“过滤器”指的是关键标准或元数据属性，通过其可以识别图像或图像集。关键标准或元数据属性可以是测量值、设置值或计算值，它们可以来自显微镜、检测器、照相机、辅助设备或其任意组合。
如本文所用，术语“会话(session)”是指单个显微镜实例不更换样品或支架的持续时间。
如本文所用，术语“标签”是指可附在任意数量图像上的名称或标识符。
如本文所用，术语“集合”是指保存在单个数据库中的一组图像及其相关元数据。
如本文所用，术语“项目”是指会话的集合，甚至来自不同的项目，用户可将实验数据组织到其中。
本文所用术语“发布”是指将图像或元数据从数据库中保存为行业标准格式，例如PNG文件、CSV文件、MP4文件等。
如本文所用，术语“工作集”是指由用户选择的参数定义的图像和元数据的活动集，如集合和过滤器。
如本文所使用的，术语“工作空间”指的是包括特定过滤器、集合和其他设置的配置。个人工作空间指的是具有个人数据存储的个人桌子(例如，台式或膝上型计算机)。小组工作空间指的是在共享空间中本地管理数据的小组或团队。
这里描述的元数据管理的方法和系统体现在Protochips AXON制作室(Studio)中，这是一种用于检查通过Protochips AXON Synchronicity软件包生成的TEM会话的元数据和图像管理系统。这里描述的系统和方法可以作为连接到TEM的软件环境的一部分来实现。软件环境可以在个人工作空间、小组工作空间或配置为基于云的系统的一部分的网络工作空间上实现。工作空间可以是任何类型的计算设备，包括例如台式计算机、膝上型计算机、诸如平板电脑或智能手机的移动设备和/或客户端-服务器系统中的客户端。
这里描述的元数据管理系统被配置为与电子显微镜接口，例如透射电子显微镜(TEM)或扫描透射电子显微镜(STEM)等。与TEM或STEM一起使用加热、液体池和/或气体原位系统允许收集与实验元数据对齐的图像。元数据包括例如温度、气体、压力、质谱仪等。每幅图像都与一组元数据相关联，这些元数据描述了图像或图像被捕获时的实验的各个方面。元数据包括在AXON制作室中运行的分析结果。使用现有的元数据值，数学和模型可以应用于“工作集”或整个“集合”。此外，可以应用于单个图像的图像分析、图像过滤器或选定区域像素强度统计也可以应用于“工作集”或整个“集合”。这些计算出的元数据值可以保存到数据库中，并像与图像一起实时保存的元数据参数一样使用。它们可以在影像上进行过滤、绘制、发布和叠加，这样就可以很容易地看到这些派生的元数据值是如何在影像序列中随时间变化的。
图1描绘了本文描述的透射电子显微镜的元数据管理系统的一个实施例。参考图1，计算设备100可以包括至少一个处理器102、至少一个图形处理单元(“GPU”)104、存储器106、用户界面(“UI”)108、显示器110和网络接口112。存储器106可以与处理器102和/或GPU104部分集成。UI 108可以包括键盘和鼠标。显示器110和UI 108可以提供本公开的实施例中的任何GUI。AXON制作室(AXON Studio)114运行在计算设备100上。如上所述，计算设备100可以是单个计算设备(例如，膝上型计算机、台式计算机或服务器)、多个联网的计算设备和/或云服务器。AXON制作室可以通信地耦接到透射电子显微镜(TEM)116。计算设备100在一个或多个实验会话期间从TEM 116接收数据。所接收的数据包括来自TEM 116的元数据。
图2A-2C描绘了这里描述的元数据管理的方法和系统的示例性实施例的数据架构。参考图2A，该数据架构包括UI层和数据库文件(Database File)。数据库文件通信耦接到一个或多个数据档案文件夹，如图2A中的箭头A所示。图2B描绘了一个或多个数据档案文件夹中的每一个的示例性数据结构。如图2B所示，每个数据存档文件夹可以包括一个或多个会话子目录。数据库文件包括数据库功能，如图2A中箭头B所示。图2C描述了数据库功能。
在这里描述的元数据管理的方法和系统中，软件环境包括或通信地耦接到存储图像元数据的数据库。数据库是数据的主要记录，图像元数据用作备份。这样，图像元数据被用作参考数据，这允许快速实时分析，因为元数据数据集与图像数据集相比较小。元数据数据集与图像数据链接或关联。这允许快速完成对数据库的查询，以限制或突出显示特定的图像集。例如，通过查询相关的图像元数据，而不是打开和关闭每个文件来搜索传统的图像元数据，可以在不到一秒的时间内将2000万条记录的数据集过滤成仅几个相关的文件。
如图2B所示，元数据管理系统包括保存会话数据(例如，“会话1子目录”、“会话2子目录”和“会话3子目录”)的档案(例如，“数据档案文件夹”)，其也被称为库。每个归档文件存储在一个文件路径或目录中。每个档案可以位于本地计算机上，或者在网络配置中位于远程，例如在基于云的架构中。每个档案(例如，数据库文件夹)包括单个数据库(xx.axon文件)和一个或多个会话文件夹。每个会话文件夹包括所有图像类型(例如，原始图像、漂移校正图像、单次采集图像等)的子目录，以及应用于整个会话的会话元数据(例如，“会话元数据”)。使用每个图像的唯一名称将图像保存在会话文件夹中。存储的图像包括作为备份保存到PNG文件的所有实时元数据属性，如有必要，这些属性可用于重新创建数据库文件。
每个图像存储在一个目录中(本地或远程)，数据库使用文件路径引用存储的图像。该数据库用作所有元数据属性的主要记录，并且可以被查询以向用户显示数据。尽管有可能将所有图像存储在数据库中，但是如本文所述，最好将图像存储在目录中的文件路径中，因为这提供了对数据库的快速查询。
如图2C所示，数据库提供可应用于图像和/或会话的功能。
这里描述的元数据管理的方法和系统创建了用于记录、查看和分析实验数据的电子实验室笔记本。这里描述的元数据管理的方法和系统的特征和功能将在下面附图所示的示例的上下文中进一步解释。
当执行TEM或STEM实验时，可以在每个图像的基础上跟踪许多不同类型的元数据。例如，元数据可用于跟踪会话数据。元数据可以包括实验会话的名称、时间、持续时间、日期、位置和实验类型。元数据还可以包括用于实验会话的电子显微镜的类型。元数据还可以包括用于实验会话的环境类型。环境可以包括原位刺激、原位环境、样品支持、样品稀释等。元数据还可以包括用于实验会话的照相机或STEM检测器的类型，以及照相机或STEM检测器的设置，例如图像入库、分辨率、亮度、对比度等。元数据还可以包括实验会话期间捕获特定图像的时间。
元数据还可以包括在实验会话期间进行的测量。测量可以在样品或样品环境中进行，或者可以在样品或样品环境的上游或下游进行。例如，可以在样品下游使用残余气体分析仪来测定任何反应副产物。元数据可包括样本的质谱值，该值可在样本处或样本的上游或下游获取。
元数据还可以包括样本的类型，以及与样本制备相关的注释，例如样本稀释、FIB参数、印迹参数、样本制备策略、等离子体清洁参数、表面制备策略等。元数据还可以包括样品的流速、温度、气体成分和压力。元数据还可以包括聚焦分数，该聚焦分数是可以为每个图像计算的指示图像质量的值(例如，通过使用方差，或者通过使用梯度)。元数据还可以包括附加信息，例如可以被添加到序列或集合中的一个或多个图像的标签、实时注释和/或图像描述。元数据值还可以包括序列或集合中的一个或多个图像的粒度、粒子分布和结晶度百分比。
下面的表1显示了对每个图像唯一的实时元数据的非详尽列表。
表1
实时元数据还可以包括特定于控制样本环境的特定原位系统的元数据，例如液体原位系统、加热/电偏置原位系统或气体/加热原位系统。适用于正在使用的原位系统的实况元数据的非穷举列表可以包括，例如，容器温度、容器压力、容器气体、容器流量、储罐1压力、储罐1气体、储罐2压力、储罐2气体、真空储罐压力、真空储罐气体、加热电流、加热电阻、加热电压、加热功率、实验类型、实验日志文件、实验时间、通道A温度、通道A电流、通道A电阻、通道A电压、通道A功率、通道B电流、通道B电阻、通道B电压和/或通道B功率。
除了上面表1中所示的实时元数据之外，会话元数据可以应用于整个会话，而不是特定的帧。有各种类型和数量的元数据可以与会话相关联，因此会话元数据可以是技术驱动的，这允许根据会话的细节来添加灵活的元数据。
图3描绘了允许用户从经过滤的图像子集创建图像集合的用户界面屏幕。用户可以通过过滤来选择图像选择中的图像。
图4描绘了显示本文描述的元数据管理系统的概览面板的用户界面屏幕。概览面板是一个界面，它为用户提供对在透射电子显微镜上执行的一个或多个实验会话的底层图像数据的可定制访问。如在图2A和2B的上下文中所解释的，底层图像数据存储在一个或多个数据档案中，每个图像在数据档案中与图像元数据相关联。图4被显示为分成三个面板，这三个面板在图5、7和9中有更详细的描述。概览面板的三个面板是时间线面板(如图5所示)、图像面板(如图7所示)和图像元数据面板(如图9所示)。
图5描绘了本文描述的元数据管理系统的概览面板的时间线面板。图5被示为进一步分成三个面板，在图6A-6C中更详细地描绘了这三个面板。时间线面板为作为元数据管理系统一部分的底层图像提供了一个交互式可视地图。时间线面板提供了元数据管理系统的底层数据中的图像之间的相关性和/或连接的创新的交互式图形或视觉表示，该底层数据使用元数据存储在数据档案中。
时间线面板向用户提供对底层图像的图像元数据的访问。然后对图像元数据的访问允许用户应用过滤器来从图像数据库中选择图像的子集。时间线面板还提供交互式视觉或图形表示，其允许用户跨时间与图像集合进行交互。例如，用户可以将光标悬停在时间线上的任何一点上，以预览实验过程中该时间点的特定图像。此外，光标位于时间线上的那个时间点的图像显示在图像视图面板中(如图7所示)。沿着时间线移动光标允许用户看到在实验期间实验数据如何随时间演变。
如上所述，本文描述的元数据管理系统允许对底层图像数据进行资源高效的选择和/或过滤。时间线面板通过削弱已经被过滤器排除的图像和/或图像数据来进一步可视地描绘所选择或过滤的图像。例如，在图10中可以看到这样的示例。
随着实验的进行，时间线还允许绘制任何元数据随时间的变化。这是通过在元数据面板中选择元数据来完成的。
图6A-6C分别描绘了图5所示时间线面板的左、中和右部分的详细视图。从图6A可以看出，时间线面板显示了用于过滤时间线的元数据。
图7描绘了本文描述的元数据管理系统的概览面板的图像面板的详细视图。图7被示为进一步指示库面板(在图8中更详细地示出)。
图8描绘了本文描述的元数据管理系统的概览面板的图像面板的库面板的详细视图。库面板提供了允许用户从过滤的图像子集创建图像集合的用户界面。库面板允许用户执行图像数据库的数据库管理。每个库都有一个或多个会话。这是所维护的数据层次结构的可视化表示。数据可以进一步分成集合，这些集合可以是单个会话的一部分，或者可以跨越多个会话。
图9描绘了本文描述的元数据管理系统的概览面板的图像元数据面板的详细视图。它为用户提供了浏览光标在时间线上选择的当前图像的元数据的选项。随着时间线上所选图像的变化，图像元数据面板中显示的元数据会实时更新，以反映时间线面板中所标识的所选图像的元数据。
图10描绘了图4所示概览面板的过滤视图。如上所述，过滤器允许用户从数据库中的图像中过滤或选择图像的子集。图10示出了指示过滤器面板的方框(在图11中更详细地示出)。如图10所示，当使用过滤器面板过滤时间线时，时间线显示过滤的数据和被过滤器排除的数据。例如，时间线的部分1002示出了已经被过滤器使用元数据过滤掉的被排除的数据。另一方面，部分1004示出了过滤的数据，意味着已经被过滤器选择的数据。在一个实施例中，如图10所示，时间线的图形表示以强调的方式(例如，使用粗体和/或颜色)示出过滤的数据和时间线的过滤部分，并以不强调的方式(例如，使用细线和/或变灰)示出时间线的排除部分。
图11描绘了图10所示过滤器面板的详细视图。一旦已经在总览面板中打开了集合或数据集，用户就可以使用过滤器面板来根据与图像相关联的任何一段捕获的元数据过滤出图像。过滤器会影响时间线面板中显示的选定图像。
图12描绘了图4的概览面板，其中启用了FFT分析面板来代替图像元数据面板。FFT分析面板与图像视图面板一起工作。FFT分析面板在图12上表示为图13。
图13描绘了由光标在时间线面板上选择的当前图像的FFT分析面板的详细视图。FFT分析面板显示每个图像的径向平均值和空间频率，这是在从时间线面板识别图像时实时计算的。
图14描绘了图12的概览面板，其中时间线面板示出了时间线的放大视图。时间线的放大视图允许对时间线进行更细粒度的控制。
图15描绘了用于从元数据管理系统导出图像数据的用户界面屏幕。元数据管理系统以一种或多种不同的行业标准格式输出图像文件，使得图像数据可以被导出以在系统外部呈现或使用。
在环境中过滤
根据本公开的实施例，元数据属性可以用于过滤和/或查找图像、会话、序列和/或图像集合。在TEM会话生成的许多数据实例中，需要结合环境应用过滤器。对测量和/或计算的过滤最好根据图表或绘图进行。例如，TEM会话用户可以绘制聚焦分数相对于时间的曲线，并擦洗图像以快速确定聚焦分数高于特定阈值的所有图像都是高质量的，并对工作集应用过滤器以仅查看焦点对准的图像。这种过滤器可以是例如元数据属性指示聚焦分数高于用户定义的阈值的所有图像。例如，当用户从过滤的图像创建集合时，只有未被排除的图像将被包括在集合中。
这里描述的图像分析元数据对于漂移校正的图像序列可能更有价值，因为图像可以被标准化以显示样本如何随时间变化。例如，在TEM会话期间，可以对所有实时漂移校正帧运行实时计算，以生成标准化数据集。实时计算可以包括聚焦质量、匹配相关性、结晶度百分比、图像对比度等。经过漂移校正的图像还能够根据该样本上的最佳可能值或最佳记录值进行标准化聚焦评分。可以确定匹配相关性，以将好帧与破损帧或坏帧隔离开来。匹配相关性也有助于确定样品何时反应，何时稳定。
此外，其他图像分析计算可包括量化对比度、图像像素方差和图像强度。
图像处理计算可以在整个图像或图像的子集上执行。图像处理计算可以在捕获图像时实时执行，也可以在事后执行。
元数据属性可包括，例如，来自TEM、照相机、检测器和连接的原位或辅助系统的测量、状态和计算。
可通过原位刺激或通过上游和/或下游测量，例如通过温度或温度范围(例如，500℃-600℃)、气体成分、流速等，对图像、会话、序列和/或图像集合进行过滤。
作为另一个示例，可通过显微镜、照相机、检测器或实验状态，例如通过TEM对STEM显微镜、图像分辨率、放大率、加速电压、束电流等，对图像、会话、序列和/或图像集合进行过滤。
作为另一个示例，可通过计算或特征，例如通过粒度、颗粒分布、聚焦质量、结晶度百分比、成分等，对图像、时段、序列和/或图像集合进行过滤。
作为另一个示例，图像、会话、序列和/或图像集合可通过会话数据过滤，例如通过日期、实验类型、样本类型、操作者等。
作为另一示例，图像、会话、序列和/或图像集合可通过实时注释和/或标记图像描述进行过滤。
时间线
根据本公开的实施例，元数据属性可以用于向用户提供交互式图形表示，该图形表示出了通过实验所发生的事情的完整历史的时间线。完整的历史可以作为时间线面板中的时间线呈现给用户，该时间线面板被索引到图像视图面板。
在一个实施例中，例如，时间线可以是被动的，并且报告状态。在另一个实施例中，时间线可以是交互式的，使得用户能够选择图像或提供附加功能，例如悬停在图像标记上以查看图像预览，点击图像标记以将图像视图导航到序列中的该图像，选择图像以保存为集合，选择图像以发布图像栈，提供元数据报告或视频，选择图像以应用标签，编辑标签持续时间、文本或描述，选择图像以从视图中隐藏或移除它们，选择图像以从会话、集合或档案中删除，选择图像以一起平均成单个高分辨率图像以在时间线上突出显示，等等。这里描述的元数据管理系统通过在生成平均值时考虑元数据，以新颖的方式执行平均。使用智能平均算法来执行平均，使得只有相似的图像被包括在平均中。作为一个示例，元数据管理系统可以仅平均以相同放大级别捕获的图像，这是基于图像元数据确定的。
例如，为了减小总的库盘大小，但是保留解释关键序列所需的上下文，用户可能想要降低分辨率、块平均或者从关键序列之前或之后的不太重要的序列中移除每第n个图像。与时间线的交互允许用户分离和不同地处理序列。
用户可以在时间线上滑动以查看TEM或STEM图像如何变化。当时间线被擦洗时，用户可以参考注释并观察元数据趋势。时间线向用户提供了图像的环境。
时间线提供了从实时测量和用户输入的笔记生成的按时间顺序排列的实验室笔记本，其被索引到捕获的图像。
时间线可以包括快速查看层，该快速查看层允许用户容易地可视化什么图像类型是可用的。例如，用户可能想要查看他们何时运行漂移校正，或者他们何时捕捉单个高分辨率捕捉，或者他们何时具有高时间分辨率(例如，更快的帧速率数据)。
时间线还可以包括标签层。帧或时间序列可以用例如实验笔记或观察来标记。标签可以是可搜索的、可选择的和可编辑的。
时间线还可以包括元数据绘图。元数据可以相对于时间绘制，使得元数据可以随时间可视化。元数据绘图可用于导航到会话期间的关键时刻。元数据图中的峰、谷和过渡通常是感兴趣的序列。用户可以双击时间线跳转到该图像。
集合
根据本发明的实施例，元数据属性可用于生成图像及其相关元数据的集合。
用户可以将图像集和相关联的元数据组织成集合。集合可以跨越多个时段(即，从样本插入到在成像时段或实验结束时取出样本在显微镜上花费的时间)，或者它可以是单个时段的子集。
单个图像文件可以被包括在许多不同的集合中，而不会在存储器中被复制。有一个基础图像文件，但是可以使用指示包含在集合中的元数据标签将它包含在各种集合中。这可以避免在硬盘上的多个位置复制大文件。在这里描述的实施例中，图像的原始会话可以从该图像确定，但是该图像可以与许多不同的集合相关联，而无需复制图像数据。
这些集合可以以分层方式嵌套(例如，作为文件夹结构)，但是每个图像都引用回其被捕获的原始会话。集合可以包括多个会话作为活页夹来组织相似的图像序列。
图5描绘了示出从图像选择创建集合的用户界面屏幕。用户可以使用元数据和/或过滤器从会话中选择多个图像。
这里描述的集合是使用数据库实现的。数据库用于将单个图像文件注册到多个集合中，而无需复制图像文件。
当用户将图像序列从数据库“发布”或以其他方式导出为开放格式(如视频文件)时，可以自动创建集合。这使用户能够快速引用这些帧进行添加或编辑。
示例性用例#1
在第一个示例性用例中，考虑原位用户，该用户希望通过隔离用户创建的标签快速手动识别实验中的特定片段，然后通过提高信噪比(SNR)输出高质量视频，以清楚地评估原子结构的变化。
使用这里描述的元数据管理的方法和系统，用户可以选择代表用户想要使用的片段的标签或序列。然后，用户可以过滤掉聚焦不佳的帧和撕裂的帧。用户然后可以对图像执行图像平均(或图像求和)以提高图像的空间分辨率。这对于漂移校正的图像序列可能特别有利，因为特征已经被对准。然后，可以对图像序列中设定数量的帧的像素强度进行平均，以创建具有优选空间分辨率的序列。在一个实施例中，可以使用平均6帧滚动。在其他实施例中，可以使用分块平均值。当使用滚动平均或分块平均创建图像集合时，只有相似的图像可以用于变换。平均值不会跨越放大率变化、分辨率变化、光点尺寸变化、采集设置变化等。在一个实施例中，这里描述的元数据管理的方法和系统可以在平均整个堆栈之前预览一小组帧(例如，大约100个帧)，以允许用户在平均整个堆栈之前测试和调整设置。最后，用户可以导出所选片段的视频序列。
示例性用例#2
在第二个示例性用例中，考虑想要快速手动识别他们最后一次实验的特定部分并在清除信号噪声后导出到视频的现场用户。用户可能不知道他们正在寻找实验的确切部分，但是他们知道当他们在寻找一个好的位置并加热样品以防止污染时，他们可以很快忽略会话的第一部分。用户只对他们的高分辨率片段中的视频感兴趣，一旦这些片段被隔离，用户将根据用户看到的样本发生的情况手动调整开始和停止点。
使用这里描述的元数据管理的方法和系统，用户可以打开特定的会话。然后，用户可以过滤到特定的温度范围，例如，超过300摄氏度的所有温度。然后，用户可以过滤以仅查看高放大率图像，例如，大于1MX(一百万倍放大率)的所有图像。然后，用户可以在执行了先前的过滤之后，从剩余的图像中选择时间序列。然后，用户可以过滤掉聚焦不佳的帧和撕裂的帧。用户然后可以创建剩余帧的集合，并将该集合命名。具有集合名称的标签将被添加到剩余数据集中的每一帧，以便用户可以调用该集合。用户然后可以对图像执行图像平均(或图像求和)以提高图像的空间分辨率。在一个实施例中，可以使用平均2帧滚动。用户可以导出集合的视频序列。
示例性用例#3
在第三个示例性用例中，考虑想要定位过去一年内的特定TEM会话的现场用户。用户希望找到代表氧化环境中行为的一段数据，并创建一个视频向顾问展示。
使用这里描述的元数据管理的方法和系统，用户可以搜索特定类型的催化剂和特定显微镜的所有会话。从那里，用户可以选择感兴趣的特定会话。用户然后可以过滤以查看所有存在O2的帧(因为用户正在寻找氧化环境)。然后，用户可以在执行了先前的过滤之后，从剩余的图像中选择时间序列。然后，用户可以过滤掉聚焦不佳的帧和撕裂的帧。然后，用户可以将图像导出为视频。
示例性用例#4
在第四个示例性用例中，考虑原位用户想要使用特定催化剂定位过去六个月内的所有TEM会话，因为他们正在询问他们的最后结果，并且想要在他们的数据中寻找过去的一致性。在他们的最后结果中，用户看到他们的样品在600摄氏度时发生了特定的转变，因此用户希望查看使用相同环境的所有过去实验在该温度范围内的所有STEM数据，并进行比较，以查看是否在所有情况下都在该温度下发生了转变。
使用这里描述的元数据管理的方法和系统，用户可以在所有会话中搜索他们感兴趣的特定催化剂。用户然后可以过滤STEM图像。用户然后可以过滤以查看温度在595摄氏度到605摄氏度范围内的帧。然后，用户可以过滤以查看放大500k的帧。然后，用户可以用温度和日期标记所有剩余的帧，并将它们保存为集合。
示例性用例#5
在第五个示例性用例中，考虑大型实验室中的现场用户，其定期从各种TEM获取数据。用户想要搜索历史会话数据，而不管环境芯片在哪个项目上被用来定位重要数据。
使用这里描述的元数据管理的方法和系统，用户可以在所有会话中搜索特定的核壳粒子，而不考虑显微镜。用户然后可以过滤在500摄氏度拍摄的图像。然后，用户可以手动选择具有在500摄氏度下拍摄的最佳图像的时段。然后，用户可以手动选择在400摄氏度和550摄氏度之间采取的顺序。用户然后可以过滤掉所有失焦的图像。用户然后可以将剩余的图像保存为集合。用户然后可以对图像执行图像平均(或图像求和)以提高图像的空间分辨率。在一个实施例中，可以使用平均3帧滚动。然后，用户可以将集合中的图像导出为视频。
在一个实施例中，公开了一种使用来自实验会话的元数据在透射电子显微镜上生成来自实验会话的实验数据的视觉表示的系统。该系统包括透射电子显微镜和通信耦接到透射电子显微镜的计算机系统。该计算机系统包括存储器、数据库和至少一个处理器。处理器配置为从透射电子显微镜接收图像数据集，该图像数据集包括在使用透射电子显微镜进行的实验期间捕获的多个图像。该处理器还配置用于在数据库中存储与图像数据相关联的元数据。特定图像的元数据包括对目录中特定图像的文件路径引用，并且在数据库中与特定图像相关联，使得元数据具有相关联图像。该处理器还配置用于过滤存储在数据库中的元数据，以从该图像数据集中识别图像数据的子集。该处理器还配置成以交互式时间线格式生成使用经过滤的元数据识别的图像数据子集的视觉表示。
在各种实施例中，处理器进一步配置为在图形用户界面上显示以时间线格式排列的返回的图像数据子集。
在各种实施例中，处理器还配置成创建包含返回的图像数据子集的集合。不复制图像数据来创建集合，使得单个图像可以与多个集合相关联。
在各种实施例中，处理器还配置用于发布返回的图像数据子集。发布返回的图像数据子集可以包括生成示出返回的图像数据子集的视频。
在一个实施例中，公开了一种使用来自实验会话的元数据来执行实验后分析的方法。该方法包括在目录中存储包括在实验会话期间捕获的多个图像的图像数据集。在一个实施例中，该图像数据集可以包括漂移校正的图像。实验会话使用电子显微镜进行。该方法还包括在数据库中存储与图像数据相关联的元数据。特定图像的元数据包括对目录中特定图像的文件路径引用，并且在数据库中与特定图像相关联，使得元数据具有相关联图像。该方法还包括过滤存储在数据库中的元数据以从该图像数据集中识别图像数据的子集。该方法还包括返回使用过滤的元数据识别的图像数据的子集。
在各种实施例中，该方法还包括在图形用户界面上显示以时间线格式排列的返回的图像数据子集。
在各种实施例中，该方法还包括创建包含返回的图像数据子集的集合。不复制图像数据来创建集合，使得单个图像可以与多个集合相关联。
在各种实施例中，该方法还包括发布返回的图像数据子集。发布返回的图像数据子集可以包括生成示出返回的图像数据子集的视频。
在另一实施例中，公开了一种用于使用来自实验会话的元数据来执行实验后分析的计算机系统。该计算机系统包括存储器、数据库和至少一个处理器。处理器配置用于在存储器的目录中存储图像数据集，该图像数据集包括在实验会话期间捕获的多个图像。实验会话使用电子显微镜进行。在一个实施例中，该图像数据集包括漂移校正的图像。该处理器还配置用于在数据库中存储与图像数据相关联的元数据。特定图像的元数据包括对目录中特定图像的文件路径引用，并且在数据库中与特定图像相关联，使得元数据具有相关联图像。该处理器还配置用于过滤存储在数据库中的元数据，以从该图像数据集中识别图像数据的子集。处理器还配置成返回使用过滤的元数据识别的图像数据的子集。
在各种实施例中，处理器进一步配置为在图形用户界面上显示以时间线格式排列的返回的图像数据子集。
在各种实施例中，处理器还配置成创建包含返回的图像数据子集的集合。不复制图像数据来创建集合，使得单个图像可以与多个集合相关联。
在各种实施例中，处理器还配置用于发布返回的图像数据子集。所返回的图像数据子集包括生成显示所返回的图像数据子集的视频。
在另一实施例中，公开了一种存储要在包括至少一个处理器的至少一个计算设备上实现的指令的非暂时性计算机可读存储介质。当由至少一个处理器执行时，指令使得至少一个计算设备执行使用来自实验会话的元数据来执行实验后分析的方法。该方法包括在目录中存储包括在实验会话期间捕获的多个图像的图像数据集。实验部分使用电子显微镜进行。在一个实施例中，图像数据集包括漂移校正的图像。该方法还包括在数据库中存储与图像数据相关联的元数据。特定图像的元数据包括对目录中特定图像的文件路径引用，并且在数据库中与特定图像相关联，使得元数据具有相关联图像。该方法还包括过滤存储在数据库中的元数据以从该图像数据集中识别图像数据的子集。该方法还包括返回使用过滤的元数据识别的图像数据的子集。
在各种实施例中，指令进一步使至少一个计算装置在图形用户界面上显示以时间线格式排列的返回的图像数据子集。
在各种实施例中，指令还使得至少一个计算设备创建包含返回的图像数据子集的集合。不复制图像数据来创建集合，使得单个图像可以与多个集合相关联。
在各种实施例中，指令还使得至少一个计算设备发布返回的图像数据子集。发布所返回的图像数据子集可以包括生成示出所返回的图像数据子集的视频。
在上述各种实施例中，元数据可以包括以下任何一个或多个：标识实验会话的值、指示用于实验会话的电子显微镜类型的值、指示用于实验会话的环境类型的值、指示用于实验会话的照相机或STEM检测器的类型的值、指示用于实验会话的相机或STEM检测器设置的值、在实验会话中对样品的测量、实验会话中样品的流速、实验过程的日期、指示实验会话的实验类型的值、指示实验会话的样本类型的值、指示实验会话的样本的样本制备注释的值、指示相关联图像质量的聚焦分值、捕获相关联图像时样本的温度值、捕获相关联图像时样本中的气体成分、当捕获相关联图像时样本的压力值、捕获相关联图像时样本的质谱分析值、指示在实验期间相关联图像何时被捕获的时间值、相关联图像的标签、相关联图像的实时笔记、相关联图像数据的图像描述、指示相关联图像的粒子尺寸的值、指示相关联图像的粒子分布的值、指示关联图像的结晶度百分比的值。在实验会话中对样品的测量是上游测量或下游测量。样品的质谱值是上游值或下游值。如本领域技术人员将理解的，本公开的方面可以体现为系统、方法或计算机程序产品。因此，本公开的方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例，这些方面在本文中通常被称为“电路”、“模块”或“系统”。此外，本公开的方面可以采取在一个或多个计算机可读介质中实现的计算机程序产品的形式，该计算机可读介质上实现有计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质(包括但不限于非暂时性计算机可读存储介质)。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何合适的组合。计算机可读存储介质的更具体的例子(非穷举列表)将包括以下：具有一条或多条导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是能够包含或存储由指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。
计算机可读信号介质可以包括其中包含计算机可读程序代码的传播数据信号，例如，在基带中或作为载波的一部分。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质，并且可以传送、传播或传输由指令执行系统、装置或设备使用或与其结合使用的程序。
计算机可读介质上包含的程序代码可使用任何适当的介质进行传输，包括但不限于无线、有线、光纤电缆、射频等，或前述的任何合适的组合。
用于执行本公开的各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写，包括诸如Java、Smalltalk、C++等面向对象的编程语言和诸如“C”编程语言或类似编程语言的常规过程编程语言。程序代码可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立的软件包，部分在用户计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。将会理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令也可存储在计算机可读介质中，其可引导计算机、其他可编程数据处理装置或其他装置以特定方式运行，从而使存储在计算机可读介质中的指令产生制造品，包括实施流程图和/或框图方框中指定的功能/动作的指令。
也可将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实施的过程，从而使在计算机或其他可编程装置上执行的指令提供实施流程图和/或方框图方框中规定的功能/动作的过程。
附图中的流程图和框图图示了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以代表模块、代码段或代码部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应当注意，在一些替代实现中，方框中标注的功能可以不按照图中标注的顺序出现。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
这里使用的术语仅仅是为了描述特定的实施例，而不是为了限制本公开。如这里所使用的，单数形式“一个(a)”、“一个(an)”和“该(the)”旨在也包括复数形式，除非上下文清楚地另外指出。还将理解，术语“包括(comprises)”和/或“包括(comprising)”在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合的存在或添加。
为了说明的目的，已经给出了本公开的各种实施例的描述，但是这些描述并不旨在穷举或者限制于所公开的实施例。在不脱离所述实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择这里使用的术语是为了最好地解释实施例的原理、实际应用或对市场上发现的技术的技术改进，或者使本领域的其他普通技术人员能够理解这里公开的实施例。
以下权利要求中的所有装置或步骤加功能元素的相应结构、材料、动作和等同物旨在包括用于结合具体要求保护的其他要求保护的元素来执行功能的任何结构、材料或动作。本公开的描述是为了说明和描述的目的而呈现的，但并不旨在穷举或将本公开限于所公开的形式。在不脱离本公开的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择和描述这些实施例是为了最好地解释本公开的原理和实际应用，并使本领域的其他普通技术人员能够理解本公开的具有各种修改的各种实施例，以适合预期的特定用途。
根据具体实施方式(Detailed Description)，可以对本公开做出这些和其他改变。尽管以上描述描述了本公开的某些实施例，并且描述了预期的最佳模式，但是无论上文在文本中出现得多么详细，本教导都可以以多种方式实践。该系统的细节可以在其实现细节上有相当大的变化，但仍被本文公开的主题所包含。如上所述，在描述本公开的某些特征或方面时使用的特定术语不应被理解为暗示该术语在此被重新定义为限于与该术语相关联的本公开的任何特定特征、特征或方面。通常，以下权利要求中使用的术语不应被解释为将本公开限制于说明书中公开的具体实施例，除非以上具体实施方式部分明确定义了这些术语。因此，本公开的实际范围不仅包括所公开的实施例，还包括在权利要求下实践或实施本公开的所有等同方式。

Claims (32)

1.一种用于使用来自实验会话的元数据生成来自透射电子显微镜上的实验会话的实验数据的视觉表示的系统，所述系统包括：
透射电子显微镜；以及
计算机系统，所述计算机系统通信耦接到所述透射电子显微镜，所述计算机系统包括：
存储器；
数据库；以及
至少一个处理器，所述至少一个处理器配置用于：
从所述透射电子显微镜接收图像数据集，所述图像数据集包括在使用所述透射电子显微镜进行的实验会话期间捕获的多个图像；
在所述存储器的目录中存储从所述透射电子显微镜接收的所述图像数据集；
在所述数据库中存储与所述图像数据相关联的元数据，其中特定图像的元数据包括对所述目录中的所述特定图像的文件路径引用，并且在所述数据库中与所述特定图像相关联，使得所述元数据具有相关联图像；
过滤存储在所述数据库中的所述元数据以从所述图像数据集中识别所述图像数据的子集；以及
以交互式时间线格式生成使用所述过滤的元数据识别的所述图像数据的子集的视觉表示。
2.根据权利要求1所述的系统，其中所述图像数据集包括漂移校正图像。
3.根据权利要求1所述的系统，其中所述处理器还配置用于在图形用户界面上显示以时间线格式排列的所返回的图像数据的子集。
4.根据权利要求1所述的系统，其中所述处理器还配置用于创建包含所返回的图像数据的子集的集合，其中不复制图像数据来创建所述集合，使得单个图像可以与多个集合相关联。
5.根据权利要求1所述的系统，其中所述处理器还配置用于发布所返回的图像数据的子集。
6.根据权利要求5所述的系统，其中发布所返回的图像数据的子集包括生成显示所返回的图像数据的子集的视频。
7.根据权利要求1所述的系统，其中所述元数据包括所述相关联图像的标签。
8.根据权利要求1所述的系统，其中所述元数据包括所述相关联图像的实时注释。
9.一种使用来自实验会话的元数据来执行实验后分析的方法，所述方法包括：
在目录中存储图像数据集，所述图像数据集包括在实验会话期间捕获的多个图像，其中所述实验会话使用电子显微镜进行；
在数据库中存储与所述图像数据相关联的元数据，其中特定图像的元数据包括对目录中的所述特定图像的文件路径引用，并且在所述数据库中与特定图像相关联，使得元数据具有相关联图像；
过滤存储在所述数据库中的所述元数据以从所述图像数据集中识别所述图像数据的子集；以及
返回使用所过滤的元数据识别的所述图像数据的子集。
10.根据权利要求9所述的方法，其中所述图像数据集包括漂移校正图像。
11.根据权利要求9所述的方法，还包括在图形用户界面上显示以时间线格式排列的所返回的图像数据的子集。
12.根据权利要求9所述的方法，还包括创建包含所返回的图像数据的子集的集合，其中不复制图像数据来创建所述集合，使得单个图像可以与多个集合相关联。
13.根据权利要求9所述的方法，还包括发布所返回的图像数据的子集。
14.根据权利要求13所述的方法，其中发布所返回的图像数据的子集包括生成显示所返回的图像数据的子集的视频。
15.根据权利要求9所述的方法，其中所述元数据包括所述相关联图像的标签。
16.根据权利要求9所述的方法，其中所述元数据包括所述相关联图像的实时注释。
17.一种用于使用来自实验会话的元数据来执行实验后分析的计算机系统，所述计算机系统包括：
存储器；
数据库；以及
至少一个处理器，所述至少一个处理器配置用于：
在所述存储器的目录中存储图像数据集，所述图像数据集包括在实验会话期间捕获的多个图像，其中所述实验会话使用电子显微镜进行；
在所述数据库中存储与所述图像数据相关联的元数据，其中特定图像的元数据包括对目录中所述特定图像的文件路径引用，并且在所述数据库中与所述特定图像相关联，使得元数据具有相关联图像；
过滤存储在所述数据库中的所述元数据以从所述图像数据集中识别所述图像数据的子集；以及
返回使用所过滤的元数据识别的所述图像数据的子集。
18.根据权利要求17所述的计算机系统，其中所述图像数据集包括漂移校正图像。
19.根据权利要求17所述的计算机系统，其中所述处理器还配置用于在图形用户界面上显示以时间线格式排列的所返回的图像数据的子集。
20.根据权利要求17所述的计算机系统，其中所述处理器还配置用于创建包含所返回的图像数据的子集的集合，其中不复制图像数据来创建所述集合，使得单个图像可以与多个集合相关联。
21.根据权利要求17所述的计算机系统，其中所述处理器还配置用于发布所返回的图像数据的子集。
22.根据权利要求21所述的计算机系统，其中发布所返回的图像数据的子集包括生成显示所返回的图像数据子集的视频。
23.根据权利要求17所述的计算机系统，其中所述元数据包括所述相关联图像的标签。
24.根据权利要求17所述的计算机系统，其中所述元数据包括所述相关联图像的实时注释。
25.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储要在包括至少一个处理器的至少一个计算设备上实现的指令，所述指令在由所述至少一个处理器执行时使得所述至少一个计算设备执行使用来自实验会话的元数据来执行实验后分析的方法，所述方法包括：
在目录中存储图像数据集，所述图像数据集包括在实验会话期间捕获的多个图像，其中所述实验会话使用电子显微镜进行；
在所述数据库中存储与所述图像数据相关联的元数据，其中特定图像的元数据包括对目录中的所述特定图像的文件路径引用，并且在所述数据库中与所述特定图像相关联，使得元数据具有相关联图像；
过滤存储在所述数据库中的所述元数据以从所述图像数据集中识别所述图像数据的子集；以及
返回使用所过滤的元数据识别的所述图像数据的子集。
26.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述图像数据集包括经漂移校正的图像。
27.根据权利要求25所述的非暂时性计算机可读存储介质，其中所述指令还使得所述至少一个计算设备在图形用户界面上显示以时间线格式排列的所返回的图像数据子集。
28.根据权利要求25所述的非暂时性计算机可读存储介质，其中所述指令还使得所述至少一个计算设备创建包含所返回的图像数据子集的集合，其中不复制图像数据来创建所述集合，使得单个图像可以与多个集合相关联。
29.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述指令还使得所述至少一个计算设备发布所返回的图像数据的子集。
30.根据权利要求29所述的非暂时性计算机可读存储媒体，其中发布所返回的图像数据子集包括产生显示所返回的图像数据子集的视频。
31.根据权利要求25所述的非暂时性计算机可读存储介质，其中所述元数据包括所述相关联图像的标签。
32.根据权利要求25所述的非暂时性计算机可读存储介质，其中所述元数据包括所述相关联图像的实时注释。
CN202280038566.6A 2021-04-07 2022-04-07 用于检查来自透射电子显微镜（tem）会话的数据的元数据和图像管理的系统和方法 Pending CN117546265A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163171692P 2021-04-07 2021-04-07
US63/171,692 2021-04-07
PCT/US2022/023892 WO2022216970A1 (en) 2021-04-07 2022-04-07 Systems and methods of metadata and image management for reviewing data from transmission electron microscope (tem) sessions

Publications (1)

Publication Number Publication Date
CN117546265A true CN117546265A (zh) 2024-02-09

Family

ID=83365668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280038566.6A Pending CN117546265A (zh) 2021-04-07 2022-04-07 用于检查来自透射电子显微镜（tem）会话的数据的元数据和图像管理的系统和方法

Country Status (4)

Country Link
US (3) US11455333B1 (zh)
EP (1) EP4320637A1 (zh)
JP (1) JP2024514817A (zh)
CN (1) CN117546265A (zh)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512842B1 (en) * 1999-04-09 2003-01-28 Advanced Micro Devices Composition based association engine for image archival systems
US6869018B2 (en) 2000-07-31 2005-03-22 Reallegal, Llc Transcript management software and methods therefor
WO2006125188A1 (en) 2005-05-19 2006-11-23 The Brigham And Women's Hospital, Inc Methods and systems for the analysis of 3d microscopic neuron images
JP4474337B2 (ja) * 2005-07-08 2010-06-02 株式会社日立ハイテクノロジーズ 試料作製・観察方法及び荷電粒子ビーム装置
JP4870450B2 (ja) * 2006-02-27 2012-02-08 株式会社日立ハイテクノロジーズ 検査装置、および検査方法
US7856380B1 (en) 2006-12-29 2010-12-21 Amazon Technologies, Inc. Method, medium, and system for creating a filtered image set of a product
US8513621B2 (en) 2008-03-17 2013-08-20 Protochips, Inc. Specimen holder used for mounting
EP2351062A4 (en) 2008-10-31 2012-10-31 Fei Co MEASUREMENT AND SENSING OF THE SAMPLE THICKNESS POINT OF A SAMPLE
WO2012155267A1 (en) * 2011-05-13 2012-11-22 Fibics Incorporated Microscopy imaging method and system
WO2014210083A2 (en) * 2013-06-24 2014-12-31 Dcg Systems, Inc. Probe-based data collection system with adaptive mode of probing controlled by local sample properties
US8933401B1 (en) 2013-10-25 2015-01-13 Lawrence Livermore National Security, Llc System and method for compressive scanning electron microscopy
US10324922B2 (en) 2014-02-13 2019-06-18 Salesforce.Com, Inc. Providing a timeline of events regarding a database record
US9620333B2 (en) * 2014-08-29 2017-04-11 Hitachi High-Tech Science Corporation Charged particle beam apparatus
JP6454533B2 (ja) * 2014-12-15 2019-01-16 株式会社日立ハイテクノロジーズ 荷電粒子線装置
EP3428268B1 (en) * 2016-03-09 2021-12-22 Sony Group Corporation Information processing device, information processing method, program, and information processing system
JP6832093B2 (ja) * 2016-08-04 2021-02-24 オリンパス株式会社 顕微鏡システム
JP6931214B2 (ja) * 2017-01-19 2021-09-01 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP6885576B2 (ja) * 2017-01-19 2021-06-16 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP7109051B2 (ja) * 2018-03-30 2022-07-29 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
WO2020096774A1 (en) * 2018-11-05 2020-05-14 Battelle Energy Alliance, Llc Hyperdimensional scanning transmission electron microscopy and examinations and related systems, methods, and devices
EP3931853B1 (en) * 2019-08-16 2024-06-19 Protochips, Inc. Automated application of drift correction to sample studied under electron microscope

Also Published As

Publication number Publication date
US11755639B2 (en) 2023-09-12
US20220327156A1 (en) 2022-10-13
US20230049691A1 (en) 2023-02-16
US20230418863A1 (en) 2023-12-28
US11455333B1 (en) 2022-09-27
EP4320637A1 (en) 2024-02-14
JP2024514817A (ja) 2024-04-03

Similar Documents

Publication Publication Date Title
Somarakis et al. ImaCytE: visual exploration of cellular micro-environments for imaging mass cytometry data
Bilgic et al. D-dupe: An interactive tool for entity resolution in social networks
US8499240B2 (en) Rule-based presentation of log messages on a graphic timeline
US10546013B2 (en) File management system facilitating the organization of content by using visualizations of the organizational state augmented by a configurable workflow
WO2010141509A2 (en) Timeline experience for restore user interface
US20130212457A1 (en) Creating and Inserting Links by Drag and Drop
US9588989B2 (en) Search systems and computer-implemented search methods
JP5379807B2 (ja) サンプル要素のメタデータに基づいてデジタル・コンテンツを検索する方法、システムおよびコンピュータ・プログラム
Rooij et al. Mediatable: Interactive categorization of multimedia collections
US20200265075A1 (en) Knowledge graphing platform
Muenzer et al. EndoXplore: A Web-Based Video Explorer for Endoscopic Videos
Suzuki et al. Raw-to-repository characterization data conversion for repeatable, replicable, and reproducible measurements
KR101647371B1 (ko) 텍스트정보를 포함하는 stl 파일과, 이를 이용한 stl 파일 검색 및 관리시스템
CN117546265A (zh) 用于检查来自透射电子显微镜（tem）会话的数据的元数据和图像管理的系统和方法
US9015593B2 (en) Managing advisories for complex model nodes in a graphical modeling application
US10733239B2 (en) Creating data objects to separately store common data included in documents
JP4709168B2 (ja) レポート検索方法，レポート検索システム、およびレビュー装置
WO2022216970A1 (en) Systems and methods of metadata and image management for reviewing data from transmission electron microscope (tem) sessions
Nguyen et al. A survey of analytic provenance
Hipp et al. Image microarrays (IMA): digital pathology’s missing tool
US20200142966A1 (en) Organizing disparately stored documents into a knowledge cloud
US11797163B2 (en) Display control device and display control method for displaying images including electronic labels
US20230063161A1 (en) Data management system, data management method, and computer-readable medium
Taillon et al. NexusLIMS: leveraging shared microscopy resources for data analysis with a configurable laboratory information management system
US20080155539A1 (en) Automated Data Processing Reconstruction System And Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination