CN113841077A - 自主学习显微镜 - Google Patents

Abstract

本发明涉及一种用于显微镜(100)的系统解决方案(150)，包括这样的系统解决方案的显微镜以及教导使用显微镜(100)的方法。系统解决方案(150)包括：显示装置(154)；以及输入接口(152)；系统解决方案(150)被配置为响应于对输入接口(152)的用户输入，通过显示装置再现使用显微镜(100)的虚拟游览。

Description

自主学习显微镜

技术领域

本发明涉及显微镜领域，尤其涉及显微镜的系统解决方案。本发明进一步涉及一种教导使用显微镜的方法。

背景技术

在学校和高校的教学中，目前正在教导显微镜的基础知识和显微镜的操作，以使小学生和高年级学生能够以相对高质量的方式获取图像，以便以后进行分析。时间和资源被分配给教学的次要目标。这些资源在图像分析的实际主要目标的教学中缺失，因此，在实际教学内容的重点上缺失资源，例如在生物学或医学领域，以及其他需要对显微图像进行图像分析的领域。此外，越来越多的高校学生使学校和高校的教师面临越来越大的时间压力。

因此，本发明的任务是提供一种减少学习显微镜技能所需的资源量的概念。

发明内容

根据本发明，提出具有独立权利要求的特征的用于显微镜的系统解决方案、包括这种系统解决方案的显微镜以及用于教导显微镜的使用的方法。

有利的进一步发展形成从属权利要求和随后描述的主题。

本发明通过使用图像优化的必要步骤向显微镜的用户提供单独指导来解决该任务。因此，通过与显微镜的直接交互，不再需要教师的干预来学习对显微镜工作原理的基本理解。这有助于将注意力集中在要检查的样本上。

在实施例中，本发明涉及用于显微镜，即与显微镜一起使用的，系统解决方案(或用户布置)。系统解决方案包括显示装置和输入接口。系统解决方案(例如，其一个或多个处理器或处理装置)被配置为(或设计为)通过显示装置，响应于对输入接口的用户输入，再现(或播放或提供)显微镜的虚拟游览(及其使用)。显示装置可以例如连接到用于显示显微镜图像的图像传感器并且还可以连接到网络，如用于显示课程内容的大学网络。

显示装置可以例如包括一个或多个显示器。优选地，显示装置被配置为通过增强现实将虚拟游览的附加信息显示(或叠加)到真实的实时图像(用户实际看到或产生的图像，例如样本的图像)中或将其(即附加信息)叠加到真实的实时图像上。这可以通过将具有透明背景的文本与实时图像组合来实现。这种显示器可以是与显微镜分离的显示器或附接到显微镜的显示器，例如在显微镜的目镜中。此外，显示装置还可以包括混合目镜，在混合目镜中，虚拟游览的附加信息通过增强现实叠加或显示在真实的实时图像上。输入接口可以具有例如一个或多个键，例如以真实按键或触摸屏的形式。可替代地，语音控制或手势控制等可用作输入接口。在开始虚拟游览的用户输入后，例如通过按下按钮或通过语音或手势输入，通过操作显微镜开始存储的游览，并且特别地，引导用户获取至少一个图像，以便通过逐步指导获得最佳图像结果。优选地，最终将最优样本图像一次又一次地(或重复地)叠加在用户生成的图像上，直到匹配为止(即，直到最优样本图像和真实的实时图像彼此匹配)。

优选地，系统解决方案被配置为(或适于)生成对系统解决方案的用户的反馈，特别是在用户偏离应该由用户(例如，通过前面提到的分步指导)已经完成(或执行)的系统设置的预定序列的情况下。这可以通过在用户接口点嵌入传感器来实现，这些传感器将检测位置何时移动到规范(例如，指定位置)之外或在规范之外按序列移动。反馈可以是以下至少一种形式：音频(例如语音、哔哔声)、视频、闪光灯、对用户的电击和触觉反馈。

有利地，系统解决方案被配置为在测试环境(用于完成任务的竞争)中，例如在学生课堂上，向用户提供证书，例如赢得礼物或测试通过证书。每个参与者可以使用显微镜网络(包括服务器)以及显微镜和系统解决方案。证书的提供可以是图像弹出或音乐声音或存入学生的课程帐户的积分的形式。

如果系统解决方案能够根据虚拟游览调整操作部件(用于操作系统解决方案或显微镜的组件或部件，例如聚焦驱动器)，特别是以预定序列的步骤的方式或使学习更加容易的方式，则是有利的。换句话说，系统解决方案可以被配置为根据虚拟游览调整操作部件(及其操作方式)。例如，通过这种方式，用户可以更容易地向上对焦而不是向下对焦，如果这是用户根据虚拟游览应该做的(同样适用于放大倍率、聚光镜调整、样本定位、目镜调整等)。这可以通过使用电磁铁来实现，电磁铁根据操作部件的位置产生更强或更弱的扭矩。

优选地，系统解决方案被配置为允许更新或交换(例如，由教师)虚拟游览，特别是关于教学序列或教学程序，或者教师可以生成新的教学模板。然后教师可以访问例如大学网络上的课程模板，由此他可以创建序列以匹配他的教学主题。然后学生可以从网络访问他的实验室手册，显微镜程序将被更新。

有利地，系统解决方案被配置为使系统解决方案和/或显微镜进入预定的情况，特别是在(系统解决方案和/或显微镜)启动或关闭时。可移动设置的默认位置(例如：放大倍率、聚焦、聚光器)可以是可编程的，例如，由教师编程，以便系统记住从哪里开始会话。

如果系统解决方案被配置为(例如，通过评估装置)提供(或确定)关于系统解决方案和/或显微镜的使用或操作的质量信息，例如操作的质量级别或获取的图像的质量级别和/或使用系统(系统解决方案和/或显微镜)待实现的结果，则是有利的。特别地，评估装置还被配置为例如通过显示装置输出质量级别或质量信息。此输出的收件人可以是用户和/或教师。这可以通过“知识检查”或考试来完成，该考试可以由教师设计，学生可以从例如大学网络访问。

优选地，质量信息通过机器学习、深度学习和/或模式识别等确定。然后系统解决方案可以嵌入适当的成像软件。

在另一个实施例中，本发明还涉及具有(或包括)如上所述的系统解决方案或用户布置的显微镜(或显微镜系统)。根据此方面，系统解决方案或其单个部件可以嵌入到显微镜(或显微镜系统)中。

在进一步的实施例中，标准显微镜可以配备新型目镜(用于增强现实)和控制面板(输入接口)，例如4-5个按钮可以附接到显微镜底座的侧面，来实现上述功能。

在进一步的实施例中，本发明还涉及用于使用上述系统解决方案或用户布置的方法(或过程)和计算机程序。

本发明的进一步优点和实施例将从描述和附图中变得明显。

如本文所用，术语“和/或”包括相关联的所列项目的一个或多个的任何和所有组合并且可以缩写为“/”。

尽管已经在装置或系统的上下文中描述了一些方面，但很明显，这些方面也代表了相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示相应装置的相应块或项目或特征的描述。

应当指出，在不脱离本发明的范围的情况下，前面提到的特征和下面将进一步描述的特征不仅可以在相应的指示的组合中使用，而且还可以进一步组合或单独使用。

附图说明

图1示意性地示出了优选实施例中的根据本发明的显微镜。

图2A和2B以不同的优选实施例示意性地示出了根据本发明的系统解决方案的部件。

具体实施方式

在图1中，示意性地示出了优选实施例中的根据本发明的显微镜100。显微镜100包括具有通过聚焦驱动器112在垂直或z方向上可移动的载物台104的支架或底座102、物镜108和目镜110(例如经由透镜管光学连接到物镜108)。在载物台上，放置要通过显微镜100观察或检查的对象或样本106。

此外，在优选实施例中，为显微镜100提供了根据本发明的系统解决方案150。例如，系统解决方案150包括呈显示器或监视器形式的显示装置154，键盘形式的输入接口152和用于执行必要的处理步骤的处理装置156，如PC。

系统解决方案150被配置为响应于对输入接口152的用户输入，通过显示装置154再现使用显微镜100的虚拟游览。此外，例如，系统解决方案(150)包括被附接到显微镜100的图像传感器158，以便获取显微镜100的用户经由目镜看到的图像并且在显示装置中提供图像。

在图2A中，示出了在优选实施例中作为根据本发明的系统解决方案的一部分的显示装置254。显示装置254可以对应于或用作图1中所示的显示装置154。

例如，使用显微镜，例如图1中所示的显微镜100的虚拟游览被示出为具有两个步骤260和262，引导用户至待观察样本的最佳图像。

在第一步骤260中，可以显示沿某个方向例如向右移动样本的指令。此外，用户要执行的动作或步骤可以如图2A中所示，在块260旁边可视化示出。

在第二步骤262中，可以显示在某个方向上操作(转动)聚焦驱动器(见图1)的指令。此外，用户要执行的动作或步骤可以如图2A所示，在块262旁边可视化示出。优选地，可以调整聚焦驱动器(例如，通过使用电磁体)，使得用户需要使用的旋转方向比另一个(错误的)方向更容易执行。

在图2B中，示出了在进一步优选实施例中作为根据本发明的系统解决方案的一部分的显示装置210。例如，显示装置210包括混合目镜(或者，替代地，集成到目镜中)。这种混合目镜可以用来代替图1中所示的显微镜的目镜210。在这种情况下，(混合)目镜是系统解决方案和(例如，在附接或更换原始目镜之后)显微镜(本身可以包括系统解决方案)的一部分。

类似于图2A中所示的虚拟游览的指令，指令或其他附加信息可以显示在显示装置或混合目镜中，因此可以通过增强现实叠加或添加到待观察的样本的真实的实时图像206。

例如，在真实的实时图像206旁边显示箭头形式的指令(向上和向右)以教导用户移动样本，该样本应与在显示装置210或混合目镜中的显示的例如最佳样本图像206’相匹配，。

一些实施例涉及一种显微镜，该显微镜包括如结合图1至图2B中的一个或多个附图所描述的系统。可替代地，显微镜可以是结合图1至图2B中的一个或多个附图所描述的系统的一部分或连接到系统。图1示出了被配置为执行本文描述的方法的系统150的示意图。系统150可以是显微镜100的一部分或被嵌入到显微镜100中并且可以包括计算机系统156。显微镜100被配置为拍摄图像并且被连接到计算机系统156。计算机系统156被配置为执行本文所述方法的至少一部分。计算机系统156可以被配置为执行机器学习算法。计算机系统156和显微镜100可以是单独的实体，但也可以一起集成在一个公共壳体中。计算机系统156可以是显微镜100的中央处理系统的一部分和/或计算机系统156可以是显微镜100的子组件的一部分，诸如显微镜100的传感器、致动器、相机或照明单元等.。

计算机系统156可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如个人计算机、笔记本电脑、平板计算机或移动电话)或者可以是分布式计算机系统(例如具有分布在各个位置，例如，在本地客户端和/或一个或多个远程服务器群和/或数据中心的一个或多个处理器和一个或多个存储设备的云计算系统)。计算机系统156可以包括任何电路或电路的组合。在一个实施例中，计算机系统156可以包括一个或多个可以是任何类型的处理器。如本文所用，处理器可指任何类型的计算电路，诸如但不限于例如显微镜或显微镜组件(例如相机)的微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)，或任何其他类型的处理器或处理电路。可以包括在计算机系统X20中的其他类型的电路可以是定制电路、专用集成电路(ASlC)等，诸如例如用于无线设备，如移动电话、平板电脑、笔记本电脑、双向收音机和类似的电子系统的一个或多个电路(诸如通信电路)。计算机系统X20可以包括一个或多个存储设备，其可以包括适合特定应用的一个或多个存储器元件，诸如随机存取存储器(RAM)形式的主存储器、一个或多个硬盘驱动器和/或处理可移动媒体的一个或多个驱动器，诸如光盘(CD)、闪存卡、数字视频磁盘(DVD)等。计算机系统X20还可以包括显示设备、一个或多个扬声器以及键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户向计算机系统X20输入信息和从计算机系统X20接收信息的任何其他设备。

一些或所有方法步骤可以由(或使用)硬件装置来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一些一个或多个最重要的方法步骤可以由这样的装置执行。

根据某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用具有存储在其上的电子可读控制信号的非暂时性存储介质，诸如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器，来执行该实现，其与可编程计算机系统协作(或能够协作)从而执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，电子可读控制信号能够与可编程计算机系统协作，从而执行本文描述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。

换言之，本发明的实施例因此是具有程序代码的计算机程序，当计算机程序在计算机上运行时，程序代码用于执行本文描述的方法之一。

因此，本发明的进一步实施例是一种存储介质(或数据载体，或计算机可读介质)，包括其上存储的用于在由处理器执行时执行本文所述方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的进一步实施例是如本文描述的装置，包括处理器和存储介质。

因此，本发明的进一步实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接、例如经由互联网来传送。

进一步实施例包括处理装置，例如，计算机或可编程逻辑器件，其被配置为或适于执行本文描述的方法之一。

进一步实施例包括其上安装有用于执行本文描述的方法之一的计算机程序的计算机。

根据本发明的进一步实施例包括装置或系统，其被配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收器。例如，接收器可以是计算机、移动设备、存储器设备等。例如，装置或系统可以包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可与微处理器协作以执行本文描述的方法之一。通常，这些方法优选地由任何硬件装置执行。

实施例可以基于使用机器学习模型或机器学习算法。机器学习可以指计算机系统可以用来执行特定任务的算法和统计模型，不使用显式指令，而是依赖模型和推理。例如，在机器学习中，可以使用从历史和/或训练数据的分析中推断出的数据变换，而不是基于规则的数据变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了让机器学习模型分析图像的内容，可以使用训练图像作为输入和训练内容信息作为输出来训练机器学习模型。通过使用大量训练图像和/或训练序列(例如词或句子)以及相关的训练内容信息(例如标签或注释)训练机器学习模型，机器学习模型“学习”识别图像的内容，因此可以使用机器学习模型识别未包括在训练数据中的图像内容。相同的原理也可用于其他类型的传感器数据：通过使用训练传感器数据和所需输出训练机器学习模型，机器学习模型“学习”传感器数据和输出之间的变换，从而可用于基于提供给机器学习模型的非训练传感器数据提供输出。提供的数据(例如传感器数据、元数据和/或图像数据)可以被预处理以获得特征向量，其用作机器学习模型的输入。

机器学习模型可以使用训练输入数据进行训练。上面指定的示例使用称为“监督学习”的训练方法。在监督学习中，机器学习模型使用多个训练样本进行训练，其中每个样本可以包括多个输入数据值和多个期望输出值，即每个训练样本与期望输出值相关联。通过指定训练样本和期望输出值，机器学习模型“学习”基于与训练期间提供的样本相似的输入样本提供哪个输出值。除了监督学习之外，还可以使用半监督学习。在半监督学习中，一些训练样本缺乏相应的期望输出值。监督学习可以基于监督学习算法(例如分类算法、回归算法或相似度学习算法)。当输出限于一组有限的值(分类变量)时，可以使用分类算法，即输入被分类为一组有限的值中的一个。当输出可以具有任何数值(在范围内)时，可以使用回归算法。相似度学习算法可能类似于分类和回归算法，但基于使用测量两个对象的相似或相关程度的相似度函数从示例学习。除了监督或半监督学习，无监督学习可用于训练机器学习模型。在无监督学习中，可能提供(仅)输入数据，无监督学习算法可用于在输入数据中找到结构(例如，通过对输入数据进行分组或聚类，找到数据中的共同点)。聚类是根据一个或多个(预定义的)相似度标准将包括多个输入值的输入数据分配到子集(集群)中，以便同一集群内的输入值相似，同时与包括在其他集群中的输入值不同。

强化学习是第三组机器学习算法。换句话说，强化学习可用于训练机器学习模型。在强化学习中，训练一个或多个软件参与者(称为“软件代理”)以在环境中采取行动。基于采取的行动，计算奖励。强化学习是基于训练一个或多个软件代理选择动作，使得累积奖励增加，从而导致软件代理在完成给定的任务时变得更好(通过增加奖励来证明)。

此外，一些技术可以应用于一些机器学习算法。例如，可以使用特征学习。换言之，机器学习模型可以至少部分地使用特征学习来训练，和/或机器学习算法可以包括特征学习组件。特征学习算法，也称为表示学习算法，可以保留输入中的信息，但也可以以使其有用的方式对其进行变换，通常作为执行分类或预测之前的预处理步骤。例如，特征学习可以基于主成分分析或集群分析。

在一些示例中，可以使用异常检测(即异常值检测)，其目的是提供输入值的识别，这些输入值通过与大多数输入或训练数据显著不同而引起怀疑。换言之，机器学习模型可以至少部分地使用异常检测来训练，和/或机器学习算法可以包括异常检测组件。

在一些示例中，机器学习算法可以使用决策树作为预测模型。换言之，机器学习模型可以基于决策树。在决策树中，关于项目(例如一组输入值)的观察可以由决策树的分支表示，而与该项目对应的输出值可以由决策树的叶子表示。决策树可以支持离散值和连续值作为输出值。如果使用离散值，决策树可以表示为分类树，如果使用连续值，则决策树可以表示为回归树。

关联规则是可用于机器学习算法的进一步技术。换言之，机器学习模型可以基于一个或多个关联规则。关联规则是通过识别大量数据中变量之间的关系来创建的。机器学习算法可以识别和/或利用表示从数据导出的知识的一个或多个关系规则。规则可以例如用于存储、操作或应用知识。

机器学习算法通常基于机器学习模型。换言之，术语“机器学习算法”可表示可用于创建、训练或使用机器学习模型的一组指令。术语“机器学习模型”可以表示表示所学知识的数据结构和/或规则集合(例如，基于由机器学习算法执行的训练)。在实施例中，机器学习算法的使用可以暗示底层机器学习模型(或多个底层机器学习模型)的使用。机器学习模型的使用可能意味着机器学习模型和/或作为机器学习模型的数据结构/规则集合是由机器学习算法训练的。

例如，机器学习模型可以是人工神经网络(ANN)。ANN是受生物神经网络启发的系统，诸如可以在视网膜或大脑中找到。ANN包括多个互连的节点和节点之间的多个连接，即所谓的边。通常存在三种类型的节点，接收输入值的输入节点，(仅)连接到其他节点的隐藏节点，以及提供输出值的输出节点。每个节点可以代表人工神经元。每条边可以从一个节点到另一个节点传输信息。节点的输出可以定义为其输入(例如其输入总和)的(非线性)函数。节点的输入可用于基于提供输入的节点或边的“权重”的函数中。在学习过程中可以调整节点和/或边的权重。换句话说，人工神经网络的训练可以包括调整人工神经网络的节点和/或边的权重，即为给定输入实现期望的输出。

可替换地，机器学习模型可以是支持向量机、随机森林模型或梯度提升模型。支持向量机(即支持向量网络)是具有相关学习算法的监督学习模型，可用于分析数据(例如在分类或回归分析中)。可以通过向输入提供属于两个类别之一的多个训练输入值来训练支持向量机。可以训练支持向量机以将新输入值分配给两个类别之一。可替代地，机器学习模型可以是贝叶斯网络，它是一种概率有向无环图模型。贝叶斯网络可以使用有向无环图表示一组随机变量及其条件依赖关系。可替代地，机器学习模型可以基于遗传算法，这是一种模仿自然选择过程的搜索算法和启发式技术。

Claims (17)

1.一种用于显微镜(100)的系统解决方案(150)，包括：

显示装置(154、254、210)；以及

输入接口(152)；

所述系统解决方案(150)被配置为响应于对所述输入接口(152)的用户输入，通过所述显示装置(154、254、210)再现使用所述显微镜(100)的虚拟游览。

2.根据权利要求1所述的系统解决方案(150)，其中所述显示装置(154、254)包括一个或多个显示器，其中，优选地，所述显示装置(154、254)被配置为通过增强现实在真实的实时图像(206)中显示所述虚拟游览的附加信息，或将所述虚拟游览的附加信息叠加在所述真实的实时图像(206)上。

3.根据权利要求1或2所述的系统解决方案(150)，被配置为生成对所述系统解决方案(150)的用户的反馈，特别地，在所述用户偏离应该由用户完成的预先确定的系统设置的序列的情况下。

4.根据权利要求3所述的系统解决方案(150)，其中，所述反馈的形式为以下的至少一种：音频、视频、闪光灯、对用户的电击和触觉反馈。

5.根据前述权利要求中任一项所述的系统解决方案(150)，被配置为在测试环境中向用户提供证书。

6.根据前述权利要求中任一项所述的系统解决方案(150)，能够根据所述虚拟游览调整操作部件(112)。

7.根据前述权利要求中任一项所述的系统解决方案(150)，被配置为允许更新或交换所述虚拟游览。

8.根据前述权利要求中任一项所述的系统解决方案(150)，被配置为使所述系统解决方案(150)和/或所述显微镜(100)进入预定的情况，特别是在启动或关闭时。

9.根据前述权利要求中任一项所述的系统解决方案(150)，被配置为提供关于所述系统解决方案(150)和/或所述显微镜(100)的使用的质量信息，并且特别地，输出所述质量信息。

10.根据权利要求8所述的系统解决方案(150)，其中通过机器学习、深度学习和/或模式识别来确定所述质量信息。

11.根据前述权利要求中任一项所述的系统解决方案(150)，其中所述显示装置被集成在所述显微镜(100)的目镜(110)中。

12.根据前述权利要求中任一项所述的系统解决方案(150)，其中所述显示装置包括混合目镜(210)，所述混合目镜(210)被配置为通过增强现实在真实的实时图像(206)中显示所述虚拟游览的附加信息，或将所述虚拟游览的附加信息叠加在所述真实的实时图像上(206)。

13.根据前述权利要求中任一项所述的系统解决方案(150)，被配置为通过存储的游览逐步引导用户至最佳图像(206')。

14.根据前述权利要求中任一项所述的系统解决方案(150)，被配置为将最佳样本图像(206')与由用户生成的图像(206)一次又一次地重叠，直到图像彼此匹配。

15.一种显微镜(100)，包括根据前述权利要求中任一项所述的系统解决方案(150)。

16.一种用于教导显微镜(100)的使用的方法，特别是通过根据权利要求1至14中任一项所述的系统解决方案(150)，其中，响应于对输入接口(152)的用户输入，通过显示装置(154、254、210)显示使用所述显微镜(100)的虚拟游览。

17.一种具有程序代码的计算机程序，当所述计算机程序在处理器(156)上运行时，特别是在显微镜(100)的系统解决方案(150)的处理器上运行时，所述程序代码用于执行根据权利要求16所述的方法。

Images