CN108139580A - 显微镜控制方法和显微镜 - Google Patents
显微镜控制方法和显微镜 Download PDFInfo
- Publication number
- CN108139580A CN108139580A CN201680057418.3A CN201680057418A CN108139580A CN 108139580 A CN108139580 A CN 108139580A CN 201680057418 A CN201680057418 A CN 201680057418A CN 108139580 A CN108139580 A CN 108139580A
- Authority
- CN
- China
- Prior art keywords
- command
- stb
- voice messaging
- control command
- micro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35453—Voice announcement, oral, speech input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Microscoopes, Condenser (AREA)
- User Interface Of Digital Computer (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及一种操作显微镜(1)的显微镜控制方法,其具有如下步骤:检测声学的、图形化表示的和/或电子编码的语音信息(SI);比较语音信息(SI)与储存的参考命令(RB),并且基于在所述语音信息(SI)中的至少一个子区段和参考命令(RB)之间匹配的指定程度来确定语音命令(SB);选择与语音命令(SB)至少匹配至指定程度的参考命令(RB);生成适合于操作显微镜(1)的至少一个控制命令(StB),其中控制命令(StB)是分配到选择的参考命令(RB)的不变的控制命令(StB),或者基于分配到参考命令(RB)的用于形成生成控制命令(StB)的指令来生成控制命令(StB);以及通过分配的或生成的控制命令(StB)来控制显微镜(1)。本发明还涉及设计为实施显微镜控制方法的显微镜(1)。
Description
技术领域
本发明涉及控制显微镜的方法,并且涉及适合执行该方法的显微镜。
背景技术
为了操作显微镜,通常通过操作显微镜的操作元件和/或由经由用户接口(例如,触摸感应式显示屏(触摸平板)或计算机)来选择控制程序的控制命令的显微镜的操作者来手动地控制。通过控制单元将选择的控制命令传输到显微镜,于是根据传输的控制命令激活显微镜。
在这种情况下,显微镜的用户必须通过控制程序的菜单导航,并且在某些情况下只有在多个选择操作之后才达到期望的控制命令。如果用户对控制程序不熟悉或者不是非常熟悉的话,显微镜的操作是非常耗时的或是完全不可能的。
由于显微镜技术中的多种应用和样品类型,迄今为止还没有仅仅采用几个选择操作来实现操作显微镜的标准解决方案。
从DE 102012220 195 A1已知一种方法,其提出具有控制装置的显微镜,该控制装置具有捕获用户的手势的设备以及将该捕获的手势变换成控制命令的设备。
必须在设备的捕获区域内且以足够用来捕获的确定性来实施手势,并且必须尽可能重复地实施手势,使得可以明确地捕获手势。
发明内容
本发明基于如下目的:提出可能以简化的方式来控制显微镜的可能性。本发明还基于如下目的:指定能够以简单方式控制的显微镜。
关于该方法,通过具有根据权利要求1的技术特征的显微镜控制方法来实现该目的。关于该显微镜,通过根据权利要求15的特征来实现该目的。
显微镜控制方法用来操作显微镜并且具有如下步骤:特别地通过检测器、光学捕获单元和/或接口来捕获声学的、图形化表示的和/或电子编码的语音信息项;将语音信息与储存的参考命令进行比较,并且基于所述语音信息中的至少一个区段和参考命令之间的对应性的预定程度来确定语音命令;选择语音命令至少与其对应至预定程度的参考命令;生成适合于操作显微镜的至少一个控制命令,其中控制命令是分配到选择的参考命令的不变的控制命令或者基于分配到参考命令的用于形成生成的控制命令的规则来生成控制命令;以及通过分配的或生成的控制命令来控制显微镜。
语音信息项被理解为由语音信息的发送者给定并且可以由接收者理解的信息项。在这种情况下,语音信息可以来自于任何口头或书面语言。语音信息不是可以直接用来控制显微镜的信息项。特别是,在所谓的机器语言中的信息项不是在本说明书的意义中的语音信息项。在任何情况下,语音信息项需要转译成适合于控制显微镜的机器语言,特别是适合于控制显微镜的照明和/或驱动单元的机器语言。
语音信息可以是口头的,并且例如通过麦克风形式的检测器将该语音信息声学地捕获。
即使仅仅偶尔(例如在显示屏上)图形化表示语音信息,则由静态字符(例如图形、符号、字母、数字或单词)指定图形化表示的语音信息项。图形化语音信息还可以是字符串形式的字符的串联。在一个特定形式中,图形化语音信息是文本。例如,可以以任何期望的可光学感知的方式来表示图形化语音信息,并且该图形化语音信息可以是书面的、印刷的、投影的或显示的。光学地(例如通过相机)捕获图形化语音信息。
如果声学语音信息和/或图形化语音信息具有电子文件(例如文本文件或图形文件)的形式,那么该语音信息被称为电子编码的语音信息。例如,电子编码的语音信息项还是其中的数据表示声学语音信息(例如声波图)项的文件。通过合适的接收装置(例如通过计算机单元、红外接收器或无线电接收器)捕获电子编码的语音信息。
语音命令被理解为表示指令,其含义针对的是显微镜的控制操作的目标性能。可以由一个或多个语音命令完整地形成语音信息项。除了与控制显微镜无关的信息(例如填充词)以外,语音信息还可以包含一个或多个语音命令。
复合语音命令包括至少两个声调、声调序列、字符或包含在该语音信息中的电子编码数据。
参考命令被理解为表示短语或术语的许多可能的表达形式的通用术语。以下表达仅作为示例被提及:“在Z上移动”、“在Z上阻挡”、“高度调整”和“校正Z距离”,例如可以将这些全部分配或可以将这些分配到一个参考命令“Z调整”。通过分配到的参考命令的控制命令,在Z方向上移动物镜,并且例如使观察或扫描射线离焦或聚焦。
例如,通过将各自分配到参考命令的许多前面已知的术语与捕获的语音信息进行比较,实施这样的分配。此外或替代地,可以使用算法,关于语音信息中的术语和可用的参考命令在其发音、含义和/或字符相似性方面的相似度,通过该算法将包含在语音信息中的术语与可用的参考命令中的一个进行比较。
当相似度已经达到或超过预定最小程度时,选择术语最相似的参考命令。
在方法的另一个可能的配置中,分析捕获的语音信息,并且该方法的至少一个可能的未来序列基于捕获的语音信息来确定。
如果确定了该方法的多个可能的未来序列,可以有利地向用户指示(特别是显示)它们。在这个情况下,可以以根据它们的概率分类的方式来指示序列。由用户手动地和/或声学地选择期望的序列。
在可能的未来序列中的每一个中,可以有利地提供不必由用户明确教导便可以实施的方法步骤。
该方法的这种配置使得可以在不必由客户教导全部方法步骤的情况下实施该方法。因此,用户不需要要使用的该方法的任何理解性知识及其特定的实现方式,而是例如可以以会话来解释将要进行的实验。通过根据本发明的方法,将在这个情况下捕获的语音信息转换成语音命令,该语音命令用来生成至少一个控制命令,特别是生成的控制命令(除了直接指导的方法步骤以外,该控制命令编码其他所需要的方法步骤)。例如,即使尚未明确地由用户教导滤波器的使用,也可以提供特定滤波器的强制性使用,但是所述用途对于实施该方法是有用的或甚至绝对必要的。
每个参考命令表示控制命令,当传输该控制命令时,在显微镜上实施特定的控制操作。可以将多个参考命令分配到一个控制命令。
可以将总是以相同方式执行的不变的控制命令分配到参考命令。例如,不变的控制命令是用于停止显微镜的所有功能(特别是当前正在执行的所有移动)的“停”。
还可以将用于形成生成的控制命令的规则分配到参考命令。在这种情况下,在已经选择参考命令之后,根据规则生成控制命令。如下面将详细解释的,生成的控制命令可以包含变化成分,因此不总是以相同方式来执行,
在根据本发明的显微镜控制方法的另一个配置中,对于参数信息中的至少一项的呈现,检查捕获的语音信息。参数信息项是语音信息的区段,其在控制方面以逻辑方式连接到确定的语音命令。例如,已经将“在Z上移动”选为语音命令,并且已经将“高度调整”选为参考命令。例如,在控制方面与这个控制命令逻辑地相关联的参数信息项是高度调整的方向和/或高度调整的绝对值或步长。参数信息是复合语音命令的部分或生成的控制命令的可变成分。
在根据本发明的方法的一个可能配置中,确定的语音命令与可变参数信息的至少一项结合以形成复合语音命令,并且选择的参考命令补充有参数信息以形成生成的控制命令。生成的控制命令因此具有由参考命令确定的成分和由参数信息项确定的至少一个成分。
例如,参数信息是选自包括如下的组的信息项:位置的声明、方向的声明、距离、绝对值或步长、所述显微镜的元件的识别以及参数值。
在显微镜控制方法的其他配置中,基于包含在语音信息中的已知的关键词确定语音命令。
例如,关键词是在数据库中保存的术语或者术语、字符和/或数字的组合,并且是在显微镜领域中常规的技术术语。可以以多种语言保存关键词。
与上面描述的基于语音信息的成分的含义和/或情景来确定语音命令的进程相比,由于关键词在语音信息中呈现明确且先前已知的含义,因而关键词的使用允许更快速地且以更准确方式来确定语音命令。
数据库可以是所谓的查找表的形式。在其他实施例中,数据库可以由合适的逻辑结构形成。例如,这些结构限定附加特性,该附加特性在诠释语音信息时提供具有重要建议的算法。
分配规则被分配给语音信息项中确定的且选择的关键词,该分配规则用来在语音信息中识别属于关键词的参数信息并且用来将关键词与参数信息结合以形成复合语音命令。
如果在捕获的语音信息中识别关键词并且例如参数信息项属于关键词,对于参数信息检索该捕获的语音信息以便获得完整参考命令和生成的控制命令,该生成的控制命令在控制方面是逻辑的。在这种情况下,可以考虑在语音信息的语言的常规使用期间可以期望参数信息是直接在关键词之前或之后还是远离关键词。
在根据本发明的显微镜控制方法的其他配置中,对于关键词至少在语音信息的区段中的空间序列和/或时间序列的呈现,检查语音信息,其中如果呈现关键词的序列,则将这个序列确定为语音命令。
例如,响应于对应性的呈现,比较关键词的序列与显微镜的预定激活状态(配置)形式的多个参考命令。
将语音信息的包含序列的至少那个区段分配到一激活状态,序列与该激活状态至少对应至预定程度,也就是说是足够相似的或相同的。
由于激活状态,显微镜的状态可以设定在仅一个语音命令中,否则这可以仅通过多个单独语音命令来实现。例如,可以通过表示对应的激活状态的关键词的序列,将显微镜从任何期望当前操作状态变化到初始化状态。
作为属于关键词的参数信息的离散参数值可以在储存的和保持的预定激活状态下结合以形成参数值的范围。这种结合需要比所有可能参数值的储存更少的储存空间。
在其他可能配置中,如果从全部初始化可用的参考命令选择了参考命令,那么可以以更有效率的方式来实施根据本发明的显微镜控制方法。选择的参考命令仅仅用来确定语音命令。
根据本发明的方法基于捕获的测量值(这里形式为捕获的语音命令)来解决了设定复杂仪器(诸如显微镜)的配置的技术问题。用于该目的的技术装置是检测器、用于捕获测量值的至少一个光学捕获单元和/或至少一个接口、计算机和控制单元、以及将要激活的显微镜的单元。
该目的还通过具有计算机和控制单元的显微镜来实现。
根据本发明,计算机和控制单元设计为:将声学的、图形化表示的和/或电子编码的语音信息与储存的参考命令进行比较,并且基于在语音信息的至少一个区段和参考命令之间的对应性的预定程度来确定语音命令。然后可以选择与语音命令对应至预定程度的那个参考命令。
计算机和控制单元还设计为生成适合于操作显微镜的至少一个控制命令,其中要么该控制命令是分配到选择的参考命令的不变的控制命令,要么基于分配到参考命令的用于形成生成的控制命令的规则来生成该控制命令。显微镜可以通过分配的或生成的控制命令由计算机和控制单元来控制。
分配的或生成的控制命令可以以如下方式构造:所述控制命令或控制命令的相应特定部分被使用或可以用于激活显微镜的多个单元,例如电机驱动器、可调整滤波器、空间光调制器(SLM)、声光调制器(OAM)、检测器和/或光源(复杂控制命令、复合控制命令)。
如果控制命令具有用于控制不同单元的多个部分或子命令,那么它们可以基于显微镜的当前操作状态或者将要激活的相应单元的当前操作状态来分配或生成。通过考虑当前操作状态来实现用于控制显微镜的方法的高度响应性。当前操作状态可以使用合适的传感器来捕获并且可以通过合适配置的计算单元来评估以及可以将该操作状态提供给该方法。
为了控制显微镜,显微镜具有可以通过控制命令来激活的至少一个电机驱动器。如果显微镜上存在多个驱动器,还可以相应地分配或生成多个控制命令,以代替一个复杂控制命令。
下面基于示例来解释该方法在细胞生物学领域的实际使用:
例如,旨在进行具有荧光记录的实验。实验的目的是研究细胞分裂期间的特定蛋白质的功能作用。
实验涉及使用共焦荧光显微术在细胞分裂期间观察与其他蛋白质结合的该蛋白质。例如,出于该目的,特定地标记这两个蛋白质,这可以用抗体染色剂在基因上或在固定细胞中进行。例如,使用两个荧光基团EGFP和mCherry(两者为蛋白质)来标记。
当前实验者想要随着时间以三维方式来观察细胞分裂的各方面,并且例如为了他的新学生或者为了技术辅助来写下他的测量实验报告,简述如下:
“请使用共焦显微术用EGFP和mCherry来检查活细胞样品。每五秒离盖玻片上至大约10μm的量。激光功率<2%,否则细胞受损害。50μm的视场应该是足够的。观察期应该大约为三个小时。”
将语音信息大声读出、光学捕获或电子地读取到计算和控制单元中。
当实施根据本发明的方法时,例如,从上述语音信息将单词和单词的组“活细胞”、“EGFP”、“mCherry”、“共焦”、“每五秒”、“离盖玻片上至大约10μm的量”、“激光功率<2%”、“50μm的视场”、“观察期”和“三个小时”识别为语音命令和关键词。
例如,从语音命令,它们的情景和的关于量、激光功率、视场尺寸和观察期的声明来分配或生成复杂控制命令。在其他配置中,相应地分配或生成许多单独控制命令。
识别的语音命令和关键词是该方法的第一阶段。然而,在没有有用的基本设定的情况下,该识别的信息对控制显微镜而言是不够准确的。例如,缺少空间分辨率的任何建议,并且只有视场已经被指定。检测器的灵敏度也是未知的。
如果仍然需要的变量的基本设定或预设定分配到识别的关键词,则导致明确的装置设定。例如,使用具有<2%的激光功率的488nm和561nm的激光线。可用的检测滤波器自动适配于这些激光线的染料发射光谱。
选择显微镜的保持的物镜,其可以处理具有衍射受限分辨率的所期望尺寸的视场(例如40x1.2W)。还限定了三小时内每五秒在全部三维中扫描具有衍射受限的分辨率的图像堆叠的时间系列。在这种情况下,扫描的体积为50μm x 50μm x10μm。所使用的检测器的灵敏度设定为预设值。
在显微镜的另一个实施例中,计算机和控制单元设计为在执行控制命令之前实施将要生成的控制命令或者生成的控制命令的合理性检查。
附图说明
下面基于示例性实施例和附图更详细地解释本发明。附图中:
图1示出了根据本发明的显微镜的第一示例性实施例的示意图。
具体实施方式
图1中所示出的示例性实施例中,根据本发明的显微镜1具有计算机和控制单元2、物镜3以及用于调整物镜3的物镜驱动器4。
计算机和控制单元2连接到用于捕获声学信息(特别是声学语音信息SI)的麦克风的形式的检测器5。还存在相机的形式的光学捕获单元6和接口7,它们各自以适用于互换数据的形式来连接到计算机和控制单元2。
光学捕获单元6设计为光学地捕获图形化表示的语音信息SI,并且例如该光学捕获单元6是CCD相机、CMOS相机或摄像机。
在显微镜1的其他实施例中,光学捕获单元6是扫描仪。
接口7设计为捕获电子编码的语音信息SI。
计算机和控制单元2具有以可重复恢复的方式来储存参考命令RB、控制命令StB和/或关键词SW的集成式数据库8。
在另一个可能的实施例中,数据库8是可编程的,特别地,可以由显微镜1的用户或通过自学习程序来补充、删除和/或改变储存在数据库8中的参考命令RB、控制命令StB和/或关键词SW。
在显微镜1的其他实施例中,数据库8形成在计算机和控制单元2的外面,并且以适用于互换数据的方式来连接到后者。
可以激活物镜驱动器4,并且可以通过计算机和控制单元2在Z方向上调整物镜3。例如,在Z方向Z上调整物镜3改变了物镜到物平面9的距离,在该物平面中可以布置将要在显微镜下方检查的样品。
计算机和控制单元2设计为:将声学的、图形化表示的和/或电子编码的语音信息SI与储存的参考命令RB进行比较,并且基于在语音信息SI的至少一个区段和参考命令RB中的一个之间的对应性的预定程度来确定语音命令SB。然后可以选择语音命令SB与其对应至预定程度的那个参考命令RB。
计算机和控制单元2还设计为生成适合于操作显微镜的至少一个控制命令StB,其中要么控制命令StB是分配到选择的参考命令RB的不变的控制命令StB,要么基于分配到参考命令RB的用于形成生成的控制命令StB的规则来生成控制命令StB。显微镜1可以通过分配的或生成的控制命令StB由计算机和控制单元来2来控制。
作为示例,下面基于在图1中图示出的根据本发明的显微镜1的示例性实施例描述了根据本发明的方法。
通过麦克风5在声学上捕获声学语音信息SI的项。
此外或替代地,通过光学捕获单元6将具有与声学语音信息SI相同含义的图形化表示的语音信息SI项捕获(例如读入或影印)。图形化表示的语音信息SI可以是至少一个单词、至少一个字符和/或至少一个数字的图形、图像。还可以从文档(例如手写的或打印的便笺)来捕获图形化表示的语音信息SI。
此外或作为声学语音信息SI和/或图形化表示的语音信息SI的替代例,电子编码的语音信息SI项同样地通过接口7被捕获。电子编码的语音信息SI是文本文件,例如电子短消息(SMS、MMS)、电子邮件、写入程序的文件或者图形化程序的文件。
将捕获的语音信息SI传输到计算机和控制单元2,并且在那里将其变换为使得可以分析捕获的语音信息SI的格式。
通过合适的程序将捕获的语音信息SI细分成单独单元,例如成单独单词、字符和/或数字。分析并研究以该方式细分的语音信息SI,以呈现语音命令SB。
该方法的一个可能的配置中,在这种情况下对于单词、字符和/或数字的布置研究语音信息SI,并且确定其含义。例如根据从现有技术已知的潜在语义索引(LSI)的构想来进行该进程。LSI的构想中,正在检索的术语本身不需要被包含在语音信息中,而是研究是否找到与正在检索的术语的足够程度的关联。
可以在方法的一种配置中识别包含在语音信息SI中的诸如“和”、“是”等的填充词,并且在确定语音命令SB时不考虑该填充词。
在用作LSI的替代例或除了LSI以外的其他构想中,在捕获的语音信息SI中检索关键词SW。关键词例如包括技术术语和来自显微术领域的频繁使用的缩写词,其例如在诸如科学出版物或教科书的技术著作中频繁地使用来描述实验。
这类术语涉及例如对比方法(例如荧光、DIC数字干涉对比)、设定显微镜的参数(例如检测器增益、激光功率、滤波器)、荧光染料(例如GFP、Alexa488)以及记录模式(例如z堆叠、多通道图像)。
对于每个关键词SW而言,数据库8可以包含涉及如下的信息:是在关键词SW之前还是之后预期用于指定关键词SW的术语的参数信息PI中的至少一项。
例如,在捕获的语音信息SI中找到术语“变焦5”。基于捕获的语音信息SI的分析和与数据库8的比较,将“变焦”识别为关键词SW。该信息声明了数字通常在关键词SW之后被声明作为参数信息PI,其用于声明放大因子(变焦因子),且连接至关键词SW“变焦”。在这种情况下,数字“5”跟随关键词SW“变焦”。因此识别关键词SW“变焦5”并且在数据库8中将其储存为参考命令RB。
在这种情况下,分配到关键词SW的参考命令RB可以是“变焦5”。在方法的其他配置中,例如,将参考命令RB储存为“变焦0-10”。参数信息PI落入到以该方式声明的参考命令RB的参数范围中,并且因此确定了关键词SW和参考命令RB之间的非常高的对应性程度。然后选择参考命令RB并且确定了由非常高的对应性程度验证的语音命令SB的呈现。
将用于形成控制命令StB的规则分配到选择的参考命令RB。基于该规则,以适合于控制物镜驱动器4的机器语言来生成具有固定成分“zoom”和可变成分“5”的控制命令StB。
在显微镜1的另一个实施例中,计算机和控制单元2设计为在生成的控制命令StB被执行之前进行生成的控制命令StB的合理性检查。在这种情况下,检查生成的控制命令StB是否在显微镜1的技术规范内,例如5倍放大在实际上是否可能。
还可以检查生成的控制命令StB在逻辑上是否适合于目前为止已经进行的显微镜下方的检查的技术序列。
如果生成的控制命令StB被分类为合理的,则执行生成的控制命令StB。如果不存在合理性,那么生成的控制命令StB的执行被中止或者不能首先执行该控制命令。如果缺少合理性,还可以由显微镜1的用户来请求生成的控制命令StB的确认,并且只有在确认已经给定之后才执行生成的控制命令StB。
基于生成的控制命令StB,由激活的物镜驱动器4在笛卡尔坐标系的Z方向Z上来移动物镜3,直到已经设定好5倍放大率为止。
在方法的其他配置中,以不同变量分析捕获的语音信息SI。
例如,顺序地分析关键词SW。在这种情况下,发生的关键词SW的序列的现有知识用于改进分析的质量,特别是语音命令SB的校正确定。
例如,涉及多维空间中的模式识别的方法可以用于此目的。例如,出于该目的,显微镜1的激活状态(配置)储存在空间(字典空间)中。在空间中搜索最近的近邻,换言之尽可能与关键词SW的序列类似的激活状态。
为了实现快速的(优选地实时的)分析,在方法的其他配置中降低空间的维度。
例如,主成分分析可以用于降低维度。现存的现有知识还可以用来将用于分析的空间细分成子空间。然后在分析期间只搜索选择的子空间,并且因此加速分析。替代地或此外,可以做出参考命令RB的选择,基于其,确定语音命令SB的呈现。
附图标记
1 显微镜
2 计算机和控制单元
3 物镜
4 物镜驱动器
5 检测器
6 光学捕获单元(相机)
7 接口(用于电子编码的语音信息)
8 数据库
9 物平面
SI 语音信息
SB 语音命令
RB 参考命令
StB 控制命令
SW 关键词
PI 参数信息
X X方向
Y Y方向
Z Z方向
Claims (16)
1.一种操作显微镜(1)的显微镜控制方法,所述方法具有如下步骤:
-通过检测器(5)、光学捕获单元(6)和/或接口(7)捕获声学的、图形化表示的和/或电子编码的语音信息(SI)项;
-将所述语音信息(SI)与储存的参考命令(RB)进行比较,并且基于在所述语音信息(SI)中的至少一个区段和参考命令(RB)之间对应性的预定程度来确定语音命令(SB);
-选择所述语音命令(SB)与其至少对应至预定程度的那个参考命令(RB);
-生成适合于操作所述显微镜(1)的至少一个控制命令(StB),其中要么所述控制命令(StB)是分配到选择的参考命令(RB)的不变的控制命令(StB),要么基于分配到所述参考命令(RB)的用于形成生成的控制命令(StB)的规则来生成控制命令(StB);以及
-通过所述分配的或生成的控制命令(StB)来控制所述显微镜(1)。
2.根据权利要求1所述的显微镜控制方法,
其特征在于,所述图形化表示的语音信息(SI)是字符、字符串或文本。
3.根据权利要求1或2所述的显微镜控制方法,
其特征在于,所述电子编码的语音信息(SI)是文本文件或声波图。
4.根据前述权利要求中的任一项所述的显微镜控制方法,
其特征在于,对于参数信息(PI)中的至少一项的呈现,检查所述捕获的语音信息(SI)。
5.根据权利要求4所述的显微镜控制方法,
其特征在于,所述参数信息(PI)是选自如下组的信息项,所述组包括位置的声明、方向的声明、距离、绝对值或步长、所述显微镜(1)的元件的识别以及参数值。
6.根据权利要求4或5所述的显微镜控制方法,
其特征在于,所述确定的语音命令(SB)与可变的参数信息(PI)的至少一项结合以形成复合语音命令(StB),并且所述选择的参考命令(RB)补充有所述参数信息(PI)以形成生成的控制命令(StB)。
7.根据前述权利要求中的任一项所述的显微镜控制方法,
其特征在于,基于包含在所述语音信息(SI)中的已知的关键词(SW)来确定所述语音命令(SB)。
8.根据权利要求7所述的显微镜控制方法,
其特征在于,将分配规则分配给选择的关键词(SW),所述分配规则用来在所述语音信息(SI)中识别属于所述关键词(SW)的参数信息(PI)并且用来将所述关键词(SW)与所述参数信息(PI)结合以形成复合语音命令(SB)。
9.根据权利要求7或8所述的显微镜控制方法,
其特征在于,至少在所述语音信息(SI)的区段中,对于关键词(SW)的空间序列和/或时间序列的呈现,检查所述语音信息(SI),其中如果呈现了所述关键词(SW)的序列,则将其确定为所述语音命令(SB)。
10.根据权利要求9所述的显微镜控制方法,
其特征在于,响应于对应性的呈现,比较所述关键词(SW)的序列与所述显微镜(1)的预定激活状态的形式的多个参考命令(RB),并且至少将所述语音信息(SI)的包含所述序列的那个区段分配到所述序列与其至少对应至预定程度的那个激活状态。
11.根据权利要求10所述的显微镜控制方法,
其特征在于,在预定激活状态下将属于所述关键词(SW)的参数信息(PI)的离散参数值结合,以形成参数值的范围。
12.根据前述权利要求中的任一项所述的显微镜控制方法,
其特征在于,分析所述捕获的语音信息(SI),并且所述方法的至少一个可能的未来序列基于所述捕获的语音信息(SI)来确定。
13.根据前述权利要求中的任一项所述的显微镜控制方法,
其特征在于,从全部参考命令(RB)中选择参考命令(RB),并且选择的参考命令(RB)用来确定所述语音命令(SB)。
14.根据前述权利要求中的任一项所述的显微镜控制方法,
其特征在于,在执行控制命令(StB)之前,对于合理性检查所述控制命令(StB),并且如果缺少合理性,则不执行所述控制命令(StB)。
15.一种显微镜(1),所述显微镜(1)具有计算机和控制单元(2),其特征在于所述计算机和控制单元(2)设计为:
-将声学的、图形化表示的和/或电子编码的语音信息(SI)项与储存的参考命令(RB)进行比较,并且基于在所述语音信息(SI)的至少一个区段和参考命令(RB)之间对应性的预定程度来确定语音命令(SB);
-选择所述语音命令(SB)与其对应至预定程度的那个参考命令(RB);
-生成适合于操作所述显微镜(1)的至少一个控制命令(StB),其中要么所述控制命令(StB)是分配到选择的参考命令(RB)的不变的控制命令(StB),要么基于分配到所述参考命令(RB)的用于形成生成的控制命令(StB)的规则来生成控制命令(StB);以及
-通过所述分配的或生成的控制命令(StB)来控制所述显微镜(1)。
16.根据权利要求15所述的显微镜(1),
其特征在于,所述计算机和控制单元(2)设计为在执行生成的控制命令(StB)之前进行生成的控制命令(StB)的合理性检查。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110629683.7A CN113253446B (zh) | 2015-10-02 | 2016-09-30 | 显微镜控制方法和显微镜 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015219121.4A DE102015219121A1 (de) | 2015-10-02 | 2015-10-02 | Mikroskopsteuerungsverfahren und Mikroskop |
DE102015219121.4 | 2015-10-02 | ||
PCT/EP2016/073435 WO2017055558A1 (de) | 2015-10-02 | 2016-09-30 | Mikroskopsteuerungsverfahren und mikroskop |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110629683.7A Division CN113253446B (zh) | 2015-10-02 | 2016-09-30 | 显微镜控制方法和显微镜 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108139580A true CN108139580A (zh) | 2018-06-08 |
CN108139580B CN108139580B (zh) | 2021-06-15 |
Family
ID=57042899
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680057418.3A Active CN108139580B (zh) | 2015-10-02 | 2016-09-30 | 显微镜控制方法和显微镜 |
CN202110629683.7A Active CN113253446B (zh) | 2015-10-02 | 2016-09-30 | 显微镜控制方法和显微镜 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110629683.7A Active CN113253446B (zh) | 2015-10-02 | 2016-09-30 | 显微镜控制方法和显微镜 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11054626B2 (zh) |
EP (1) | EP3356876A1 (zh) |
JP (1) | JP7199965B2 (zh) |
CN (2) | CN108139580B (zh) |
DE (1) | DE102015219121A1 (zh) |
WO (1) | WO2017055558A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020214610A1 (de) | 2020-11-19 | 2022-05-19 | Carl Zeiss Meditec Ag | Verfahren zum Steuern eines Mikroskops und Mikroskop |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4989253A (en) * | 1988-04-15 | 1991-01-29 | The Montefiore Hospital Association Of Western Pennsylvania | Voice activated microscope |
WO1997015240A1 (en) * | 1995-10-25 | 1997-05-01 | Johns Hopkins University | Voice command and control medical care system |
US6308157B1 (en) * | 1999-06-08 | 2001-10-23 | International Business Machines Corp. | Method and apparatus for providing an event-based “What-Can-I-Say?” window |
US20050037406A1 (en) * | 2002-06-12 | 2005-02-17 | De La Torre-Bueno Jose | Methods and apparatus for analysis of a biological specimen |
WO2008011407A2 (en) * | 2006-07-20 | 2008-01-24 | Advanced Medical Optics, Inc. | Systems and methods for voice control of a medical device |
CN101127042A (zh) * | 2007-09-21 | 2008-02-20 | 浙江大学 | 一种基于语言模型的情感分类方法 |
US20080144170A1 (en) * | 2006-12-14 | 2008-06-19 | Olympus Corporation | Microscope system |
CN101282243A (zh) * | 2008-03-05 | 2008-10-08 | 中科院嘉兴中心微系统所分中心 | 无线传感器网络分布式融合识别方法 |
CN101354569A (zh) * | 2007-07-25 | 2009-01-28 | 索尼株式会社 | 信息处理装置、信息处理方法和计算机程序 |
CN101776793A (zh) * | 2009-01-09 | 2010-07-14 | 索尼公司 | 生物样本图像获取设备、生物样本图像获取方法及程序 |
JP2011191672A (ja) * | 2010-03-16 | 2011-09-29 | Nikon Corp | 顕微鏡制御装置および顕微鏡システム |
CN202110329U (zh) * | 2011-06-10 | 2012-01-11 | 宁波舜宇仪器有限公司 | 数码显微镜 |
US20120157876A1 (en) * | 2010-12-21 | 2012-06-21 | Samsung Electronics Co., Ltd. | Hearing test method and apparatus |
CN102579073A (zh) * | 2011-12-01 | 2012-07-18 | 华中科技大学 | 一种光声显微成像的自适应图像重建方法 |
CN103076876A (zh) * | 2012-11-22 | 2013-05-01 | 西安电子科技大学 | 基于视线跟踪与语音识别的字符输入装置和方法 |
CN103118585A (zh) * | 2010-09-17 | 2013-05-22 | 爱尔康手术激光股份有限公司 | 用于眼科成像系统的电子控制的固定光 |
WO2014009859A2 (en) * | 2012-07-10 | 2014-01-16 | Aïmago S.A. | Perfusion assessment multi-modality optical medical device |
CN103679633A (zh) * | 2012-09-24 | 2014-03-26 | 索尼公司 | 信息处理设备、信息处理方法和信息处理程序 |
CN103777339A (zh) * | 2012-10-23 | 2014-05-07 | 株式会社尼康 | 光学构件的装拆机构、显微镜、光学构件、及安装座部 |
WO2014103106A1 (ja) * | 2012-12-25 | 2014-07-03 | オリンパス株式会社 | 光音響顕微鏡 |
US20150149155A1 (en) * | 2011-09-24 | 2015-05-28 | Lotfi A. Zadeh | Methods and Systems for Applications for Z-numbers |
CN104956655A (zh) * | 2014-01-31 | 2015-09-30 | 奥林巴斯株式会社 | 摄像装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5345538A (en) * | 1992-01-27 | 1994-09-06 | Krishna Narayannan | Voice activated control apparatus |
US5544654A (en) | 1995-06-06 | 1996-08-13 | Acuson Corporation | Voice control of a medical ultrasound scanning machine |
DE19640907B4 (de) * | 1995-10-12 | 2005-09-22 | Carl Zeiss | Operationsmikroskop mit integriertem Operationsnavigationssystem |
JPH09218354A (ja) * | 1996-02-13 | 1997-08-19 | Olympus Optical Co Ltd | 顕微鏡情報システム |
JP2000116670A (ja) * | 1999-11-12 | 2000-04-25 | Olympus Optical Co Ltd | 手術用顕微鏡 |
JP2003145470A (ja) * | 2001-11-08 | 2003-05-20 | Toshiro Higuchi | マイクロマニピュレータ操作制御装置、マイクロマニピュレータ操作制御方法およびマイクロマニピュレータ操作制御プログラム |
JP2003223184A (ja) * | 2002-01-30 | 2003-08-08 | Toyota Motor Corp | 音声認識装置および方法 |
DE10226539A1 (de) * | 2002-06-14 | 2004-01-08 | Leica Microsystems Ag | Sprachsteuerung für Operationsmikroskope |
US8165876B2 (en) * | 2005-10-05 | 2012-04-24 | Nuance Communications, Inc. | Method and apparatus for data capture using a voice activated workstation |
AT503305B1 (de) * | 2006-02-23 | 2007-09-15 | Reinhard Dipl Ing Hainisch | Verfahren zur steuerung von technischen geräten durch die menschliche stimme |
WO2008151144A2 (en) * | 2007-06-01 | 2008-12-11 | Intelli-Services, Inc. | Electronic voice-enabled laboratory notebook |
JP2013134430A (ja) | 2011-12-27 | 2013-07-08 | Toyota Motor Corp | コマンド処理装置、方法、及びプログラム |
EP2966492B1 (en) * | 2012-05-02 | 2020-10-21 | Centre National De La Recherche Scientifique | Method and apparatus for single-particle localization using wavelet analysis |
DE102012220195B4 (de) | 2012-11-06 | 2021-03-04 | Leica Microsystems Cms Gmbh | Widefield-Mikroskop oder Konfokalmikroskop |
-
2015
- 2015-10-02 DE DE102015219121.4A patent/DE102015219121A1/de active Pending
-
2016
- 2016-09-30 CN CN201680057418.3A patent/CN108139580B/zh active Active
- 2016-09-30 CN CN202110629683.7A patent/CN113253446B/zh active Active
- 2016-09-30 US US15/765,467 patent/US11054626B2/en active Active
- 2016-09-30 WO PCT/EP2016/073435 patent/WO2017055558A1/de active Application Filing
- 2016-09-30 JP JP2018516672A patent/JP7199965B2/ja active Active
- 2016-09-30 EP EP16774694.0A patent/EP3356876A1/de not_active Withdrawn
-
2021
- 2021-06-01 US US17/303,517 patent/US11681136B2/en active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4989253A (en) * | 1988-04-15 | 1991-01-29 | The Montefiore Hospital Association Of Western Pennsylvania | Voice activated microscope |
WO1997015240A1 (en) * | 1995-10-25 | 1997-05-01 | Johns Hopkins University | Voice command and control medical care system |
US6308157B1 (en) * | 1999-06-08 | 2001-10-23 | International Business Machines Corp. | Method and apparatus for providing an event-based “What-Can-I-Say?” window |
US20050037406A1 (en) * | 2002-06-12 | 2005-02-17 | De La Torre-Bueno Jose | Methods and apparatus for analysis of a biological specimen |
WO2008011407A2 (en) * | 2006-07-20 | 2008-01-24 | Advanced Medical Optics, Inc. | Systems and methods for voice control of a medical device |
US20080144170A1 (en) * | 2006-12-14 | 2008-06-19 | Olympus Corporation | Microscope system |
CN101354569A (zh) * | 2007-07-25 | 2009-01-28 | 索尼株式会社 | 信息处理装置、信息处理方法和计算机程序 |
CN101127042A (zh) * | 2007-09-21 | 2008-02-20 | 浙江大学 | 一种基于语言模型的情感分类方法 |
CN101282243A (zh) * | 2008-03-05 | 2008-10-08 | 中科院嘉兴中心微系统所分中心 | 无线传感器网络分布式融合识别方法 |
CN101776793A (zh) * | 2009-01-09 | 2010-07-14 | 索尼公司 | 生物样本图像获取设备、生物样本图像获取方法及程序 |
JP2011191672A (ja) * | 2010-03-16 | 2011-09-29 | Nikon Corp | 顕微鏡制御装置および顕微鏡システム |
CN103118585A (zh) * | 2010-09-17 | 2013-05-22 | 爱尔康手术激光股份有限公司 | 用于眼科成像系统的电子控制的固定光 |
US20120157876A1 (en) * | 2010-12-21 | 2012-06-21 | Samsung Electronics Co., Ltd. | Hearing test method and apparatus |
CN202110329U (zh) * | 2011-06-10 | 2012-01-11 | 宁波舜宇仪器有限公司 | 数码显微镜 |
US20150149155A1 (en) * | 2011-09-24 | 2015-05-28 | Lotfi A. Zadeh | Methods and Systems for Applications for Z-numbers |
CN102579073A (zh) * | 2011-12-01 | 2012-07-18 | 华中科技大学 | 一种光声显微成像的自适应图像重建方法 |
WO2014009859A2 (en) * | 2012-07-10 | 2014-01-16 | Aïmago S.A. | Perfusion assessment multi-modality optical medical device |
CN103679633A (zh) * | 2012-09-24 | 2014-03-26 | 索尼公司 | 信息处理设备、信息处理方法和信息处理程序 |
CN103777339A (zh) * | 2012-10-23 | 2014-05-07 | 株式会社尼康 | 光学构件的装拆机构、显微镜、光学构件、及安装座部 |
CN103076876A (zh) * | 2012-11-22 | 2013-05-01 | 西安电子科技大学 | 基于视线跟踪与语音识别的字符输入装置和方法 |
WO2014103106A1 (ja) * | 2012-12-25 | 2014-07-03 | オリンパス株式会社 | 光音響顕微鏡 |
CN104956655A (zh) * | 2014-01-31 | 2015-09-30 | 奥林巴斯株式会社 | 摄像装置 |
Non-Patent Citations (2)
Title |
---|
许东: "主从微创手术机器人控制设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
闫屾: "体感游戏中的声音实时生成与用户感知体验研究", 《中国优秀硕士学位论文全文数据库哲学与人文科学辑》 * |
Also Published As
Publication number | Publication date |
---|---|
US11681136B2 (en) | 2023-06-20 |
DE102015219121A1 (de) | 2017-04-06 |
JP7199965B2 (ja) | 2023-01-06 |
US20180284414A1 (en) | 2018-10-04 |
EP3356876A1 (de) | 2018-08-08 |
CN113253446B (zh) | 2023-06-06 |
US11054626B2 (en) | 2021-07-06 |
US20210356728A1 (en) | 2021-11-18 |
CN113253446A (zh) | 2021-08-13 |
CN108139580B (zh) | 2021-06-15 |
JP2018531420A (ja) | 2018-10-25 |
WO2017055558A1 (de) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501871B2 (en) | Enhanced pathology diagnosis | |
JP2021516373A (ja) | 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム | |
CN110431463A (zh) | 组织样本的组织学检查系统 | |
US20100315502A1 (en) | System and method for remote control of a microscope | |
US20130221218A1 (en) | Electron microscope system using augmented reality | |
JPWO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20140118528A1 (en) | Setting unit and method for setting a sequence for the automatic recording of images of an object by means of a recording device, and recording device having such a setting unit | |
JPWO2020066043A1 (ja) | 顕微鏡システム、投影ユニット、及び、画像投影方法 | |
JP2020129439A (ja) | 情報処理システムおよび情報処理方法 | |
US20230048386A1 (en) | Method for detecting defect and method for training model | |
WO2019060141A1 (en) | VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS | |
CN108139580A (zh) | 显微镜控制方法和显微镜 | |
US8165876B2 (en) | Method and apparatus for data capture using a voice activated workstation | |
KR20210147949A (ko) | 기계 학습을 위한 상관 슬라이스 및 뷰 이미지 주석 | |
JP6760477B2 (ja) | 細胞観察装置 | |
CN113470167B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
EP1263019B1 (en) | Electron microscope | |
US20040080818A1 (en) | Microscope system and method for detecting and compensating for changes in a recorded image content | |
WO2020208091A1 (en) | Self-teaching microscope | |
JP2018531420A6 (ja) | 顕微鏡制御方法及び顕微鏡 | |
WO2022201417A1 (ja) | 検査支援装置、検査支援方法、および記録媒体 | |
CN113470166B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
WO2020075381A1 (ja) | 計測システム及び計測装置の観察条件の設定方法 | |
JP2007128807A (ja) | 電子顕微鏡の露光時間及び照射条件の設定方法 | |
Gai et al. | Recognition for American Sign Language letters based on AutoML platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |