CN110170346A - 虚拟移液 - Google Patents

虚拟移液 Download PDF

Info

Publication number
CN110170346A
CN110170346A CN201910123877.2A CN201910123877A CN110170346A CN 110170346 A CN110170346 A CN 110170346A CN 201910123877 A CN201910123877 A CN 201910123877A CN 110170346 A CN110170346 A CN 110170346A
Authority
CN
China
Prior art keywords
virtual
pipette
automation equipment
laboratory automation
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910123877.2A
Other languages
English (en)
Inventor
罗南·勒博德科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tecan Trading AG
Original Assignee
Tecan Trading AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tecan Trading AG filed Critical Tecan Trading AG
Publication of CN110170346A publication Critical patent/CN110170346A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/02—Burettes; Pipettes
    • B01L3/0289—Apparatus for withdrawing or distributing predetermined quantities of fluid
    • B01L3/0293—Apparatus for withdrawing or distributing predetermined quantities of fluid for liquids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10—Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1065—Multiple transfer devices
    • G01N35/1072—Multiple transfer devices with provision for selective pipetting of individual channels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41835—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by programme execution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N2035/00891—Displaying information to the operator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584—Control arrangements for automatic analysers
    • G01N35/00722—Communications; Identification
    • G01N2035/00891—Displaying information to the operator
    • G01N2035/0091—GUI [graphical user interfaces]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Abstract

公开了虚拟移液。生成实验室自动化设备的控制程序的方法，包括：接收实验室自动化设备的配置数据，配置数据编码实验室自动化设备中组件的位置；根据配置数据生成实验室自动化设备的组件的三维模型，三维模型还包括虚拟移液管；用虚拟现实头戴式耳机显示三维模型；接收由佩戴虚拟现实头戴式耳机的用户控制的运动感测控制器的移动数据，移动数据指示运动感测控制器在空间中的三维移动；根据移动数据确定虚拟移液管在三维模型中的移动并根据该移动来更新三维模型；根据移动数据生成用于实验室自动化设备的控制程序，控制程序根据虚拟移液管在三维模型中的移动来相对于组件移动实验室自动化设备的带有移液管的移液臂。

Description

虚拟移液
技术领域
本发明涉及用于生成用于实验室自动化设备的控制程序的方法、计算机程序和计算机可读介质以及涉及控制系统。
背景技术
实验室自动化设备被用于使实验室助理的任务自动化，所述实验室助理例如测试患者是否有具体疾病。通常，患者的血液、尿液、粪便等的样品借助于生物化学程序来取得和分析。这种程序在于像添加物质、孵育、分离等一样的各种操作，以及定量地或定性地测量指示具体疾病的物质的量或存在的测量过程。
通常，实验室自动化设备的编程是需要特殊技能的复杂任务。用于控制实验室自动化设备的程序可能必须被输入到控制PC中。尽管可以存在用于生成这种程序的图形工具，然而可能必须用具体脚本语言实现更复杂的程序，这需要在编程方面和在实验室自动化设备的运作方面的特殊知识。因此，实验室助理本身往往用少量样品执行程序。
为了简化具有机器人臂的实验室自动化设备的编程，已知在教学模式下手动地移动机器人手臂，其中机器人臂可被自由地移动到任何位置并且可通过简单地按压按钮来设置示教点。机器人臂在示教点处的位置然后被保存并且这些位置被用于生成控制程序。
EP 2 269 077 B1涉及图形编程方法，其中实验室自动化设备的布局的部分被示出在图形界面中。可移动图形界面中的移液管(pipette)以用于定义实验室自动化设备的控制程序。
发明内容
本发明的一个目标是简化实验室自动化设备的编程和/或控制。
此目标通过独立权利要求的主题来实现。另外的示例性实施例从从属权利要求和以下描述中明显。
本发明的第一方面涉及用于生成用于实验室自动化设备的控制程序的方法。所述方法可以用包括实验室自动化设备、其控制器、虚拟现实头戴式耳机和运动感测控制器的系统来执行。一般而言，系统可以生成实验室自动化设备的至少一部分的三维虚拟模型并且可以将模型显示在虚拟现实头戴式耳机中。利用运动感测控制器，可以操纵也为三维模型的一部分的虚拟移液管。穿戴虚拟现实头戴式耳机的人或用户可以使用运动感测控制器来移动虚拟移液管并且/或者吸入并排出模型内的虚拟液体。系统然后可以记录虚拟移液管的操纵并且可以生成用于实验室自动化设备的控制程序，所述控制程序实际上重复在三维模型中执行的程序。
以这种方式，可以简化实验室自动化设备的编程。用户可以在虚拟现实内利用虚拟移液管执行任务一次。所生成的控制程序可以被执行若干次并且可以实际上利用实验室自动化设备执行任务多次。
根据本发明的实施例，该方法包括：接收实验室自动化设备的配置数据，所述配置数据编码实验室自动化设备中的组件的位置。
一般而言，实验室自动化设备可以是被适配用于自动地执行实验室助理的任务的任何设备。至少这种实验室自动化设备包括移液臂，所述移液臂被适配用于在不同的位置之间移动移液管并且用于在这些位置处吸入和排出液体。液体可以从组件提供的腔吸入并且在组件提供的腔中排出。此类组件可包括储器、样品管、微量滴定板和/或试剂容器等中的至少一个。
配置数据可以编码组件的位置。例如，对于每一组件，配置数据可以包括组件的类型以及以二维或三维坐标提供的组件位置和/或取向。
配置数据可以被提供有包括实验室自动化设备的固定布局的信息的数据文件和/或提供有由实验室自动化设备生成的数据，所述实验室自动化设备具有能够确定哪些组件实际上被布置在实验室自动化设备中的传感器。例如，实验室助理可以在实验室自动化设备中布置组件，然后可以启动方法。实验室自动化设备然后可以生成配置文件，所述配置文件对所布置的组件的位置的至少一部分进行编码，例如利用被适配用于读取组件上的条形码的条形码阅读器。
根据本发明的实施例，所述方法还包括：根据配置数据生成实验室自动化设备的组件的三维虚拟模型，所述三维模型另外包括虚拟移液管。根据配置数据，生成在三维模型中的虚拟组件。虚拟组件可以作为面向对象编程语言的对象被建模并且/或者可以包括组件的三维布局。例如，可以根据配置数据中的组件的类型和组件的标准几何布局来确定虚拟组件的三维布局，所述组件的标准几何布局例如可以被保存在执行方法的设备中。然后可以通过配置数据中的组件的位置和/或取向来移动标准布局。
需要注意，三维模型不包含移液臂的模型而是包含虚拟移液管，其可以取代移液臂。虚拟移液管可以由被显示有三维模型的用户操纵。通常，移液臂可在实验室自动化设备的工作台上方移动，在所述工作台上可以布置若干组件。例如，可以在工作台上提供具有样品管的盒、具有储器的一个或多个微量滴定板和具有试剂的一个或多个容器。此外，用于微量滴定板、摇动器、孵育箱、具有一次性吸头的托盘等的载体可以是实验室自动化设备的一部分并且/或者被布置在工作台上。这些组件中的全部或一些可以被编码在配置数据中和/或提供在三维模型中。三维模型可以表示实验室自动化设备的工作区域的一部分或完整地形和/或布局。
一般而言，三维模型可以包括具有腔的虚拟组件，在所述腔中可以移动虚拟移液管的吸头。三维模型可以包括被适配用于接收液体的虚拟组件。
根据本发明的实施例，所述方法还包括：利用虚拟现实头戴式耳机显示三维模型。虚拟现实头戴式耳机可以被适配用于由用户穿戴和/或用于向用户显示三维模型的立体视图。虚拟现实头戴式耳机可以为人的眼睛生成两个图像。三维模型的立体视图可以依赖于用户的头部的位置和/或取向。虚拟现实头戴式耳机可以包括用于确定用户的头部的位置和/或取向的传感器。必须注意的是，另外增强现实可以被视为虚拟现实。
根据本发明的实施例，所述方法还包括：接收由穿戴虚拟现实头戴式耳机的用户控制的运动感测控制器的移动数据，所述移动数据指示运动感测控制器在空间中的三维移动；基于移动数据确定虚拟移液管在三维模型中的移动；以及根据虚拟移液管的移动来更新三维模型。
运动感测控制器可具有用于确定运动感测控制器在空间中位置和/或取向的传感器。例如，这种传感器可包括运动传感器，诸如加速度传感器。用户可以用他的或她的手保持运动传感器并且可在三维模型的视图中移动它。然后根据所感测到的运动感测控制器的移动来移动三维模型中的虚拟移液管。例如，运动感测控制器仅可以包括手柄并且虚拟移液管的移液管吸头在三维模型中被设置在手柄的下端处。
根据本发明的实施例，所述方法还包括：根据移动数据生成用于实验室自动化设备的控制程序，其中，控制程序被适配用于根据虚拟移液管在三维模型中的移动来相对于组件移动实验室自动化设备的带有移液管的移液臂。可能的是在当虚拟移液管由用户移动的时间期间生成和/或执行控制程序。换句话说，可以与虚拟移液管的移动(几乎)同时地生成和/或执行控制程序。还可能的是当用户已完成虚拟移液管的移动时，控制程序被生成和/或执行。还可能的是当用户已完成虚拟移液管的移动时控制程序被生成并存储，并且控制程序在稍后的时间被执行。
例如，可以保存虚拟移液管的轨迹上的具体跟踪或示教点。当虚拟移液管的吸头进入虚拟组件的腔时，可以定义和/或记录这种点。根据这些点，可以导出移液臂的移动，此运动也访问所有点。必须注意的是，移液臂的轨迹可以与虚拟移液管的轨迹不同。
可以将移液臂的移动编码成控制程序，所述控制程序当被执行时，执行移动。控制程序可以是任何数据或数据文件，其当由实验室自动化设备的控制器处理时，导致移液臂的相应移动。控制程序也可以是可以由用户修改的脚本程序。
根据本发明的实施例，所述方法还包括：从运动感测控制器接收激活数据，所述激活数据指示用户在运动感测控制器上的手指移动。另外，拇指可被视为手指。运动感测控制器可以包括按钮，所述按钮可以被适配用于感测它是否被按压。激活数据可以对按钮是否被按压进行编码。
根据本发明的实施例，所述方法还包括：根据虚拟移液管在三维模型中的位置来确定虚拟液体在三维模型中的吸入和/或放出，在该位置处激活数据指示运动感测控制器的激活。运动感测控制器可以像机械和/或手动移液器一样工作。当按钮被释放时，这可导致虚拟移液管的虚拟吸入。当按钮被按压时，这可导致虚拟移液管的虚拟排出。
可以在三维模型中对哪一种类型的虚拟液体被包含在虚拟组件的每一腔中和/或哪些腔是空的进行编码。这些类型的液体也可以被编码在配置数据中。可以根据相应的组件上的条形码来确定配置数据中的液体的类型，所述条形码可能已由实验室自动化设备的阅读器读取。当虚拟移液管吸入时，可以假定虚拟移液管包含其吸头进入的腔中的液体的类型。当虚拟移液管排出时，可以假定虚拟移液管的吸头进入的腔充有虚拟移液管中的液体的类型。
必须注意的是，液体的类型可以指代液体的化学性质和/或含量，诸如液体是缓冲溶液、样品、试剂等，并且/或者指代液体的物理性质，诸如粘度、表面张力、密度等。
根据本发明的实施例，控制程序被适配用于控制移液臂的移液管以根据三维模型中的虚拟移液管来吸入和放出液体。当虚拟移液管被吸入和/或排出时可以记录它。然后生成的控制程序还可以包括用于当在所对应的腔中移动移液管或其吸头时吸入和/或排出移液臂的移液管的命令。
根据本发明的实施例，用于液体的吸入点和放出点是根据移动数据和激活数据来确定的，其中移液臂的移动是根据吸入点和放出点来确定的。放出或者排出液体的点可以被视为最重要的跟踪点和/或示教点(teachpoint)。可能的是控制程序仅从这些点生成。可以独立于虚拟移液管在这些点之间的移动来确定移液臂在两个连续点(例如吸入点和相继的放出点)之间的移动。因此，移液臂的移动可以遵循与虚拟移液管不同的路径。可以鉴于可能的移动和/或实验室自动化设备内的碰撞的避免而相对于路径长度和/或相对于移液臂的限制更加优化移液臂的移动。
根据本发明的实施例，在三维模型中执行和/或在虚拟现实头戴式耳机中显示用虚拟移液管实际上吸入和放出的液体的移动。如已经提及的，可以存储和/或跟踪包含在虚拟组件的腔中的虚拟液体的类型。此外，可以在三维模式中在视觉上指示液体的存在。可以用不同的颜色显示不同类型的液体。例如，用于样品管、储器、试剂容器等的虚拟组件的腔可以被示出为充满有色和/或透明物质。
还可能的是，不同类型的移液管和/或移液管吸头被与不同地着色的虚拟移液管一起显示。移液管吸头的类型可以通过潜在地吸入的液体的最大标称体积和/或通过移液管吸头的几何形状来定义。
根据本发明的实施例，组件包括一次性吸头并且虚拟一次性吸头的安装和移动在三维模型中执行并且在虚拟现实头戴式耳机中显示。三维模型可以包含用于一次性吸头的虚拟组件。当在这种虚拟一次性吸头上移动虚拟移液管时，可以对它进行建模，使得虚拟一次性吸头被安装在虚拟移液管上。另外可以对虚拟一次性吸头的处置进行建模。可以为用户显示虚拟一次性吸头的移动。
根据移动所确定的控制程序然后可以对一次性吸头在具体跟踪点和/或示教点处的安装和/或拆下进行编码。
根据本发明的实施例，对于每个组件，配置数据对组件的类型和实验室自动化设备中的组件的位置进行编码。可以从对用于每个组件的几何布局进行编码的建模数据生成三维模型。如已经提及的，配置数据可以包括组件的类型、位置和/或取向并且可以根据几何布局来确定虚拟组件的三维布局，所述几何布局可以与组件的类型相关联。用于组件的几何布局可以被提前建模并且/或者可以被存储在执行方法的设备中。换句话说，可以根据在配置数据中指示的组件的预定义几何布局数据来组装三维模型。
根据本发明的实施例，包含在组件中的液体的类型在实验室自动化设备的配置数据中被指定。这些类型可以用实验室自动化设备的传感器确定并且被编码在配置文件中。如已经提及的，组件上的条形码可以对所包含的液体进行编码。然后可以例如用不同的颜色在三维模型中不同地使不同类型的液体可视化。
必须注意的是，另外可以在组件上提供并且用实验室自动化设备的传感器读取其它计算机可读代码，诸如QR代码和/或RFID标签。
根据本发明的实施例，所述方法还包括：手动地布置实验室自动化设备中的组件中的至少一些；以及利用实验室自动化设备的传感器确定配置数据中的至少一些。
实验室自动化设备可以包括固定布局，即不可由用户移动和/或移除的组件，此类组件可以包括工作台、运载体、摇动器等。可以在存储在执行方法的计算设备中的配置数据中提供这种固定布局。
此外，实验室自动化设备可以包括可变布局，即可以由用户移动、移除并包括在实验室自动化设备中的组件。可以利用实验室自动化设备的一个或多个传感器确定这些组件的位置和/或取向。可以将由此确定的配置数据从实验室自动化设备发送到执行方法的计算设备。
根据本发明的实施例，针对一个虚拟样品记录虚拟一次性移液管吸头的移动数据、激活数据和/或安装/拆下。在三维模型中即在虚拟现实中执行任务的用户可以仅针对一个样品执行此任务，但是三维模型可以包括多个样品。
然后可以生成控制程序，使得它针对实验室自动化设备中的多个真实样品重复移液管的移动、吸移管的吸入和放出以及一次性移液管吸头的安装和拆下。控制程序可以针对实验室自动化设备中的每一样品(其存在用传感器确定)重复这些步骤。还可能的是，控制程序在其生成之后可以由用户更改。例如，用户可以将控制结构包括到重复在虚拟现实中执行的步骤的控制程序中。
必须注意的是，可以相对于由虚拟移液管键入的腔类型定义用来生成部分控制程序的跟踪点或示教点。这种点不仅可以对坐标位置进行编码。例如，跟踪点或示教点可以对“样品管中的移液管”、“空储器中的移液管”等进行编码。以这种方式，不仅可以用实验室自动化设备重复虚拟移液管的移动，而且由用户在虚拟现实中针对一个虚拟样品所执行的任务的步骤可以被应用于实验室自动化设备中的若干真实样品。在这种情况下不是虚拟移液管的确切移动而是可以重复用虚拟移液管定义的移动方案。
例如，可以针对微量滴定板的所有样品重复虚拟移液管的移动。在这种情况下，可以通过向原始移动添加偏移来确定移动，所述偏移取决于微量滴定板中的储器之间的距离。
还可能的是虚拟单通道移液管的移动被映射到真实多通道移液管的移动。
根据本发明的实施例，运动感测控制器被适配用于被保持在穿戴虚拟现实头戴式耳机的用户的手中。运动感测控制器可以包括运动传感器，诸如用于生成移动数据的加速度传感器并且/或者可以包括用于生成激活数据的按钮。可能的是运动感测控制器被设计为像真实移液管的手柄部分一样。移液管部分可以在三维模型中被建模并且/或者仅可以存在于虚拟现实中。
根据本发明的实施例，虚拟现实头戴式耳机包括用于生成三维模型的立体视图的两个显示器。可能的是虚拟现实头戴式耳机是增强现实头戴式耳机。必须注意的是，可以显示三维模型的立体视图，使得它在真实实验室自动化设备外部可见。用户不必在实验室自动化设备内部执行任务。
根据本发明的实施例，虚拟移液管是包括多个移液管吸头的多通道移液管。如上面提及的，移液管的手柄部分可由运动感测控制器提供。具有多个移液管吸头的移液管部分可以仅存在于三维模型中。
本发明的另一个方面涉及用于生成用于实验室自动化设备的控制程序的计算机程序，所述控制程序当由处理器执行时，被适配成执行如在上文中且在下文中描述的方法的步骤。可以在与实验室自动化设备、虚拟现实头戴式耳机和运动感测控制器通信地互连的计算设备(诸如PC)中执行计算机程序。
本发明的另一个方面涉及计算机可读介质，其中存储有这种计算机程序。计算机可读介质可以是软盘、硬盘、USB(通用串行总线)存储设备、RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程只读存储器)或FLASH存储器。计算机可读介质也可以是数据通信网络，例如因特网，其允许下载程序代码。一般而言，计算机可读介质可以是非暂时性或暂时性介质。
本发明的另一个方面涉及用于实验室自动化设备的控制系统，所述系统包括实验室自动化设备、虚拟现实头戴式耳机、运动感测控制器和计算设备。计算设备例如经由USB、以太网和/或无线连接与实验室自动化设备、虚拟现实头戴式耳机和运动感测控制器通信地互连。此外，计算设备被适配用于执行如在上文中且在下文中描述的方法。
计算设备还可以被适配用于控制实验室自动化设备并且/或者还可以执行借助于虚拟现实生成的控制程序。
必须理解的是，如在上文中且在下文中描述的方法的特征可以是如在上文中且在下文中描述的控制系统、计算机程序和计算机可读介质的特征，并且反之亦然。
此外，所述方法可以是用于控制实验室自动化设备的方法，所述实验室自动化设备然后还可以执行所生成的控制程序。
本发明的这些和其它方面将从在下文描述的实施例中变得显而易见，并且参考在下文描述的实施例来阐明。
附图说明
在下面，参考附图更详细地描述本发明的实施例。其中
图1示意性地示出根据本发明的实施例的控制系统。
图2示意性地示出根据本发明的实施例的用于生成控制程序的方法中使用的三维模型。
图3示意性地示出根据本发明的实施例的用于生成控制程序的方法中使用的虚拟移液管。
图4示出根据本发明的实施例的用于生成控制程序并用于控制实验室自动化设备的方法的流程图。
附图中使用的参考符号及其含义被以概要形式列举在参考符号的列表中。原则上，在图中相同的部分被提供有相同的参考符号。
具体实施方式
图1示出控制系统10，该控制系统10包括实验室自动化设备12、虚拟现实头戴式耳机14和运动感测控制器16。控制系统10此外包括与实验室自动化设备12、虚拟现实头戴式耳机14和运动感测控制器16通信地互连的计算设备18，例如PC。可以经由和/或执行通信。
实验室自动化设备12包括工作台20，若干可移动组件22可以被安装到所述工作台20上。例如，组件22包括具有一次性移液管吸头24的容器22a、具有样品管26的容器22b、具有储器28的微量滴定板22c和试剂容器22d。储器28可以包含液体29。
实验室自动化设备12还包括移液臂30，该移液臂30具有移液管32和传感器34，该传感器34被适配用于确定组件22的位置和/或取向。传感器34还可以是和/或包括被适配用于读取组件22上的条形码或更一般的计算机可读代码的阅读器。传感器34还可以是和/或可以包括相机、激光扫描器和/或被适配用于确定组件22的位置和/或取向的任何设备。
虚拟现实头戴式耳机14包括两个显示器36，所述两个显示器36被适配用于向用户提供两个稍微不同的图像，所述用户穿戴虚拟现实头戴式耳机14。两个图像可以生成由计算设备18所生成的场景的立体视图，使得用户具有场景的空间印象。此外，虚拟现实头戴式耳机14可以包括运动传感器38，例如加速度传感器，其被适配用于确定用户的头部的位置和/或取向。以这种方式，可以确定用户的视图位置和/或视图方向。
运动感测控制器16被适配用于利用手柄部分40被保持在用户的手中。作为虚拟现头戴式耳机14，运动感测控制器16包括运动传感器，诸如被适配用于确定运动感测控制器16的位置和/或取向的加速度传感器42。运动感测控制器16在系统中被用于移动虚拟现实头戴式耳机14中显示的虚拟移液管。
此外，运动传感器控制器包括按钮44，所述按钮44可以由用户按压。利用按钮44，可以触发用虚拟移液管进行吸入(aspiration)和放出(dispensing)。
图1此外示出可以在系统10的操作期间在组件之间交换的数据。
起初，可以向计算设备18发送来自实验室自动化设备12的配置数据46。配置数据46可以对实验室自动化设备12的组件22中的至少一些的位置和/或取向进行编码。例如，可以利用传感器34获取此数据。
根据配置数据46，计算设备生成实验室自动化设备12的至少一部分的三维或虚拟模型。在此模型中还显示虚拟移液管。
计算设备18从虚拟现实头戴式耳机14接收移动数据48，移动数据48可编码对虚拟现实头戴式耳机14的实际位置和/或取向。
计算设备18从运动感测控制器16接收移动数据和可选的激活数据50，所述移动和可选的激活数据50对运动感测控制器16的实际位置和/或取向以及按钮按压状态进行编码。
根据数据50，计算设备18确定虚拟移液管在虚拟模型中的位置和/或取向并且借助于数据48生成用于虚拟现实头戴式耳机14的显示数据52。
以这种方式，如还将在下面更详细地描述的，计算设备18能够在用户在虚拟模型中执行的任务期间记录虚拟移液管的移动和可选的激活。当用户已完成任务时，计算设备18生成用于实验室自动化设备12的控制程序54，其执行实际上与实验室自动化设备12相同的任务。
最后，计算设备18可以执行控制程序，所述控制程序然后生成控制命令56，所述控制命令56被发送到实验室自动化设备12并且/或者控制移液臂30以重复由用户利用虚拟移液管执行的任务。
图2示意性地示出可以由计算设备18生成并且可以被显示在虚拟现实头戴式耳机14中的三维模型58。三维模型58可以由已借助于配置数据46生成的虚拟组件22’组成。三维模型可以被视为实验室自动化设备的至少一部分的虚拟模型。
例如，虚拟组件22’可以包括具有虚拟一次性移液管吸头24’的虚拟容器22a’、具有虚拟样品管26’的虚拟容器22b’、具有虚拟储器28’的虚拟微量滴定板22c’和虚拟试剂容器22d’。
虚拟组件22’此外可以包括基于实验室自动化设备12的固定真实组件的组件。例如，可以存在虚拟工作台20’。
必须理解的是，三维模型58可以由编程语言的对象组成并且/或者虚拟组件22’全部基于这些对象。可以利用图形渲染引擎将这些对象变换成显示或图像数据52，所述显示或图像数据52然后可以被显示在显示器36上。
此外，三维模型58包括虚拟移液管60。如图2中所示，虚拟移液管60可以被定位在模型58中，使得当虚拟现实头戴式耳机14被适配用于生成增强现实时，用户将虚拟移液管60视为运动感测控制器16的延伸。
还可能的是，三维模型包括液体62、64作为虚拟组件22’。作为示例，在虚拟储器28’中示出虚拟液体62，并且在虚拟移液管中示出另一虚拟液体64。当这些虚拟液体62、64正表示不同类型的液体(诸如样品和试剂)时，它们可以被不同地着色。
另外虚拟移液管60可以被不同地着色以用于指示不同类型的移液管吸头。
图2附加地示出三维模型58中的虚拟移液管60的路径66以及路径66上的跟踪点68a、68b、68c、68d，所述路径66和跟踪点例如在用户按压按钮44时可以被记录。
图3示出另一虚拟移液管60’，该虚拟移液管60’被建模为包括多个移液管吸头70的多通道移液管60’。在上文中且在下文中描述的方法不限于具有一个吸头的移液管。它还可以用具有多个吸头(例如8、12、96、384个吸头)的虚拟移液管来执行。
图4示出用于生成用于实验室自动化设备12的控制程序54并且可选地用于通过执行控制程序54来控制实验室自动化设备12的方法的流程图。
起初，用户(例如实验室助理)可以手动地布置实验室自动化设备12中的组件22中的至少一些。例如，用户可以在工作台20(参见图1)上布置具有一次性吸头24的容器22a、具有样品管22b的容器22b、微量滴定板22c和试剂容器22d。
在步骤S10中，然后可以通过在计算设备18中启动对应的计算机程序来启动方法。
计算设备18然后可以从实验室自动化设备12请求配置数据46的第一部分，所述实验室自动化设备12然后利用一个或多个传感器34确定配置数据46的第一部分。例如，激光扫描器和/或相机可以确定组件22的类型、位置和/或取向。此外，条形码扫描器可以扫描组件22上的条形码并且/或者RFID扫描器可以用于确定其类型和/或内容。
对于每个组件，配置数据46可以编码组件22的类型、组件22的位置、组件22的取向和/或组件22的内容。必须注意的是，一次性吸头24、样品管26和储器28也可以被视为组件22，它们是组件22a至22c的子组件。例如，可以在说明其它组件22内的组件22的布置的树结构中提供配置数据46。
还可能的是，配置数据46指定包含在组件22中的液体的类型。这种类型可以是内容或者可以从相应的组件22的内容导出。
与可以由用户布置的组件22有关的配置数据46的第一部分可以被视为用于实验室自动化设备的可变布局的配置数据。涉及不能被用户移除或者移动的实验室自动化设备12的固定组件(即固定布局)的配置数据46’的第二部分可以被直接地存储在计算设备18中。然而，另外也可以将此部分从实验室自动化设备12发送到计算设备18。例如，可以将工作台20作为固定组件编码在配置数据46’中。
在步骤S12中，在计算装置18中接收实验室自动化设备12的配置数据46、46’，所述计算装置18然后根据配置数据46、46’生成实验室自动化设备12的组件22的三维模型58。
在计算设备18中，可以存储建模数据72，所述建模数据72针对每种类型的组件22编码用于相应的组件22的几何布局。建模数据72可以对相应的几何布局的坐标、面、线模型等进行编码。
利用建模数据72，计算设备18可通过利用配置数据46、46’中编码的位置和取向来移动和定向相应的建模数据72来生成三维模型58。
三维模型58附加地包括虚拟移液管60。另外对于此虚拟移液管60，建模数据可以被存储在计算设备18中。
用户现在可以穿上虚拟现实头戴式耳机14并且可以取运动感测控制器16。
在步骤S14中，计算设备18从虚拟现实头戴式耳机14接收移动数据48并且确定用户的头部的位置和取向。由此，可以确定视图方向和视场。利用视场和视图方向，计算设备可以为用户的每只眼睛渲染对应的场景并且/或者可以生成显示数据52。可以利用渲染引擎生成显示数据52。当然后显示三维模型58的对应视图时，显示数据52然后被发送到虚拟现实头戴式耳机14，例如如图2中所示。
用户现在在虚拟现实中看到实验室自动化设备12的至少一部分。特别地，他或她看到可能看起来与所对应的真实组件20、22、24、26等类似的虚拟组件20’、22’、24’、26’等。可以提供建模数据72，使得虚拟组件可能看起来与其真实对应物相同或类似。
如已经提及的，可以在三维模型中不同地使不同类型的虚拟液体62、64可视化，例如利用不同的颜色。当所对应的真实液体看起来相当类似时，情况也可以是这样的。这可以帮助用户更好地将虚拟液体62、64彼此区分开。还可能的是，当将虚拟液体64被添加到已经存在的其它液体62时，与混合物相对应的新型液体与所对应的组件22’相关联，可以用另一种不同的颜色使此新型液体可视化。
在步骤S14中，计算设备18还从运动感测控制器16接收移动和激活数据50。移动数据50指示运动感测控制器16在空间中的三维移动并且计算设备18可以确定虚拟移液管60在三维模型58中的位置和/或取向。三维模型58的视图被与虚拟移液管60一起显示给用户，所述用户看到由他通过三维模型58移动的虚拟移液管60。
一般而言，基于移动数据50确定虚拟移液管60在三维模型58中的移动，并且根据虚拟移液管60的移动更新三维模型58。
计算设备18可以记录虚拟移液管的一个或多个吸头的路径66。此路径66稍后可以被用于生成控制程序54。还可能的是路径66被显示在三维模型58中。这可帮助用户验证他是否正确地执行了任务。
来自运动感测控制器16的激活数据50可以指示用户在运动感测控制器16的按钮44上的手指按压和/或手指移动。每当用户按压按钮44时，可以假定虚拟移液管60在其吸头在虚拟液体62、64内时吸入液体62、64。相应地，可以假定当按钮被释放时，移液管60中的液体62、64被放出至移液管60的吸头所位于的虚拟组件22’中。然而，可以以另一方式评估激活数据50，例如，短按钮按压可以导致吸入或放出，而不论虚拟移液管60是否被填充。
一般而言，虚拟液体62、64在三维模型58中的吸入和/或放出是根据虚拟移液管60在三维模型58中的位置来确定的，在该位置处激活数据50指示运动感测控制器16的激活。
必须注意的是，三维模型58还可以示出虚拟移液管60中的虚拟液体62、64。以这种方式，当充有液体62、64的虚拟移液管60被移动时，可以在三维模型58中执行并且可以在虚拟现实头戴式耳机14中显示用虚拟移液管60实际上吸入和放出的液体的移动。
此外，可能的是虚拟组件22’包括虚拟一次性吸头24’。在这种情况下，可以在三维模型58中执行并且在虚拟现实头戴式耳机14中显示一次性吸头24的安装和移动。
例如，当虚拟移液管60的安装部分位于虚拟一次性吸头24’的位置处时，可以确定虚拟一次性吸头24’被安装到虚拟移液管60。对应的激活数据50(诸如按钮44的双击)可以指示对虚拟一次性吸头24’的拆下。
计算设备18此外可以记录路径66上的跟踪点68a、68b、68c、68d。每当发生具体事件(如一次性吸头24’的安装或拆下(跟踪点68a，参见图2)、液体62、64的吸入(跟踪点68b、68d)、液体62、64的放出(跟踪点68c))时，可以记录这种跟踪点。跟踪点68a可以是安装点，跟踪点68b、68d可以是吸入点并且跟踪点68c可以是放出点。
一般而言，当虚拟移液管60的内容和/或配置改变时发生事件。还可能的是当虚拟组件22’的内容改变时发生事件。
跟踪点68a、68b、68c、68d可以对事件的位置和/或事件的类型进行编码。在发生事件的情况下，可以将位置编码为三维坐标和/或编码为组件22’。事件的类型可以用利用虚拟移液管吸入或者放出的液体62、64的类型编码。
跟踪点68a、68b、68c、68d可以被用于生成控制程序54。还可能的是跟踪点被显示在三维模型58中。这附加地可以帮助用户验证他是否已正确地执行了任务。
当用户已在虚拟现实中完成他的或她的任务时，他可以脱下虚拟现实头戴式耳机14并且可以命令计算设备18(或在计算设备18中运行的相应的计算机程序)以生成控制程序54。
在步骤S16中，然后根据移动和激活数据50并且特别地根据由此导出的信息(诸如路径66和/或跟踪点68a、68b、68c、68d)生成用于实验室自动化设备12的控制程序54。
一般而言，控制程序54被生成，使得它被适配用于根据虚拟移液管60在三维模型58中的移动来相对于组件22移动实验室自动化装置12的带有移液管32的移液臂30，以用于控制移液臂30的移液管32使得根据三维模型58中的虚拟移液管60来吸入和放出液体和/或使得根据三维模型58中的虚拟移液管60来安装和拆下一次性吸头24。
在一个示例中，可以生成控制程序54，使得通过带有移液管32的移液臂30，仅虚拟移液管60的吸入和放出、可选地一次性吸头24的安装和拆下以及到相应位置的移动被重复。控制程序不必知道相应的组件内的内容和/或液体。
在另一示例中，用户针对一个虚拟样品26’执行他的或她的任务，即针对一个虚拟样品记录移动和激活数据50并且生成控制程序54，使得它针对实验室自动化设备12中的多个真实样品26重复移液管32臂的移动和/或移液管32的吸入和放出。例如，可以通过将发生移液管32的吸入和放出以及可选地一次性吸头的安装和拆下的位置简单地移动到对应组件22处的下一个邻近位置来实现这个。
在另一个示例中，移液臂30和移液管32的移动、移液管32的吸入和放出和/或可选地一次性吸头24的安装和拆下是根据跟踪点68a、68b、68c、68d来确定的。根据与跟踪点相关联的事件，可以导出用于控制程序54的对应命令。例如，可以将跟踪点68a转换成命令“安装可移动吸头”并且可以将跟踪点68a转换成“向往样品”等。
另外在这种情况下，可以生成控制程序54，使得它重复若干样品的任务。例如，可能的是配置数据46可以包含多个真实存在的液体29的信息并且针对虚拟液体62中的一种执行了任务。然后可以生成控制程序54以针对所有样品26执行任务。
在步骤S18中，可选地可以将控制程序54修改成控制程序54’。例如，所生成的控制程序54可以是脚本，所述脚本可以由用户进一步修改。例如，重复控制结构可以由用户插入到控制程序54中。还可能的是附加步骤(例如样品的孵育)被包括到控制程序54中。
在步骤S20中，例如，当用户命令计算设备中的计算机程序执行控制程序54、54’时，控制程序54或54’由计算设备18执行。这个可以被做若干次。例如，当控制程序54、54’已完成时，用户可以按照相同的布局在实验室自动化设备12中布置新组件22并且可以再次启动控制程序54、54’。
当控制程序54、54’被执行时，控制命令56被生成并且实验室自动化设备12执行已由用户在虚拟现实中设计的任务。特别地，可以针对多个样品26利用实验室自动化设备12多次执行在虚拟现实中针对一个样品26’所执行的相同任务。
虽然已经在附图和上述描述中详细地图示并描述了本发明，但是这种图示和描述将被认为是说明性或示例性的而非限制性的；本发明不限于所公开的实施例。从对附图、公开内容和所附权利要求的研究中，在本领域中有经验的并且实践所要求保护的发明的技术人员可理解并实现所公开的实施例的其它变化。在权利要求中，单词“包括”不排除其它元素或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或控制器或其它单元可以履行权利要求中记载的若干项目的功能。在相互不同的从属权利要求中记载某些措施的仅有事实不表明这些措施的组合不能用于获益。权利要求中的任何附图标记不应该被解释为限制范围。
附图标号列表
10 控制系统
12 实验室自动化设备
14 虚拟现实头戴式耳机
16 运动感测控制器
18 计算设备
20 工作台
22 组件
22a 容器
22b 容器
22c 微量滴定板
22d 试剂容器
24 一次性移液器吸头
26 样品管
28 储器
29 液体
30 移液臂
32 移液器
34 传感器
36 显示器
38 运动传感器
40 手柄部分
42 运动传感器
44 按钮
46 配置数据
46’ 配置数据
48 移动数据
50 移动和激活数据
52 显示数据
54 控制程序
54’ 修改后的控制程序
56 控制命令
58 三维模型
20’ 虚拟工作台
22’ 虚拟组件
22a’ 虚拟容器
22b’ 虚拟容器
22c’ 虚拟微量滴定板
22d’ 虚拟试剂容器
24’ 虚拟一次性移液器吸头
26’ 虚拟样品管
28’ 虚拟储器
60 虚拟移液器
62 虚拟液体
64 虚拟液体
66 路径
68a 跟踪点
68b 跟踪点
68c 跟踪点
68d 跟踪点
60’ 多通道虚拟移液器
70 移液器吸头
72 建模数据

Claims (15)

1.一种用于生成用于实验室自动化设备(12)的控制程序(54)的方法，所述方法包括：
接收所述实验室自动化设备(12)的配置数据(46)，该配置数据(46)编码所述实验室自动化设备(12)中的组件(22)的位置；
根据所述配置数据(46)生成所述实验室自动化设备(12)的组件(22)的三维模型(58)，该三维模型(22)还包括虚拟移液管(60)；
利用虚拟现实头戴式耳机(14)显示所述三维模型(58)；
接收由穿戴所述虚拟现实头戴式耳机(14)的用户所控制的运动感测控制器(16)的移动数据(50)，所述移动数据(50)指示所述运动感测控制器(16)在空间中的三维移动；
根据所述移动数据(50)确定所述虚拟移液管(60)在所述三维模型(58)中的移动并且根据所述虚拟移液管(60)的移动来更新所述三维模型(58)；
根据所述移动数据(50)生成用于所述实验室自动化设备(12)的控制程序(54)，其中，所述控制程序(54)被适配用于根据所述虚拟移液管(60)在所述三维模型(58)中的移动来相对于所述组件(22)移动所述实验室自动化设备(12)的带有移液管(32)的移液臂(30)。
2.根据权利要求1所述的方法，还包括：
从所述运动感测控制器(16)接收激活数据(50)，所述激活数据(50)指示所述用户在所述运动感测控制器(16)上的手指移动；
根据所述虚拟移液管(60)在所述三维模型(58)中的位置来确定在所述三维模型(58)中液体(62,64)的吸入和/或放出，其中在该位置处所述激活数据(50)指示所述运动感测控制器(16)的激活；
其中，所述控制程序(54)被适配用于控制所述移液臂(30)的移液管(32)使得根据所述三维模型(58)中的所述虚拟移液管(60)来吸入和放出液体。
3.根据权利要求2所述的方法，
其中，用于液体(62,64)的吸入点(68a,68c)和放出点(68c)是根据所述移动数据和激活数据(50)来确定的；
其中，所述移液臂(30)的移动是根据所述吸入点(68a,68c)和放出点(68c)来确定的。
4.根据权利要求2或3所述的方法，
其中，用所述虚拟移液管(60)虚拟吸入和放出的液体(62,64)的移动在所述三维模型(58)中执行并且在所述虚拟现实头戴式耳机(14)中显示。
5.根据权利要求2至4中的一项所述的方法，
其中，所述组件(22)包括一次性吸头(24)，并且所述一次性吸头的安装和移动在所述三维模型(58)中执行并且在所述虚拟现实头戴式耳机(14)中显示。
6.根据前述权利要求中的一项所述的方法，
其中，对于每个组件(22)，所述配置数据(46)编码所述实验室自动化设备(12)中组件(22)的类型和组件(22)的位置；
其中，所述三维模型(58)根据编码每个组件(22)的几何布局的建模数据(72)生成。
7.根据前述权利要求中的一项所述的方法，
其中，所述组件(22)包括下述至少一个：储器(28)，微量滴定板(22c)，试剂容器(22d)，和样品管(26)。
8.根据前述权利要求中的一项所述的方法，
其中，包含在所述组件(22)中的液体(62,64)的类型在所述实验室自动化装置(12)的配置数据(46)中被指定；
其中，不同类型的液体(62,64)被不同地可视化在所述三维模型(58)中。
9.根据前述权利要求中的一项所述的方法，还包括：
手动地布置所述实验室自动化设备(12)中的所述组件(22)中的至少一些；
利用所述实验室自动化设备(12)的传感器(34)确定所述配置数据(46)中的至少一些。
10.根据前述权利要求中的一项所述的方法，
其中，针对一个虚拟样品记录移动数据和/或激活数据(50)；
其中，所述控制程序(54)被生成，使得它针对所述实验室自动化设备(12)中的多个真实样品重复所述移液臂(30)的移动和/或所述移液管(32)的吸入和放出。
11.根据前述权利要求中的一项所述的方法，
其中，所述运动感测控制器(16)被适配用于被保持在穿戴所述虚拟现实头戴式耳机(14)的用户的手中；
其中，所述运动感测控制器(16)包括用于生成所述移动数据(50)的运动传感器(42)；
其中，所述运动感测控制器(16)包括用于生成激活数据(50)的按钮(44)。
12.根据前述权利要求中的一项所述的方法，
其中，所述虚拟移液管(60’)是包括多个移液管吸头(70)的多通道移液管。
13.一种用于生成用于实验室自动化设备(12)的控制程序(54)的计算机程序，所述计算机程序当由处理器执行时，被适配成执行根据前述权利要求中的一项所述的方法的步骤。
14.一种计算机可读介质，其中存储有根据权利要求13所述的计算机程序。
15.一种用于实验室自动化设备(12)的控制系统(10)，所述系统包括：
所述实验室自动化设备(12)；
虚拟现实头戴式耳机(14)；
运动感测控制器(16)；
计算设备(18)，所述计算设备(18)与所述实验室自动化设备(12)、所述虚拟现实头戴式耳机(14)和所述运动感测控制器(16)通信地互连并且被适配用于执行根据权利要求1至12中的一项所述的方法。
CN201910123877.2A 2018-02-20 2019-02-19 虚拟移液 Pending CN110170346A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18157645.5A EP3527333B1 (en) 2018-02-20 2018-02-20 Virtual pipetting
EP18157645.5 2018-02-20

Publications (1)

Publication Number Publication Date
CN110170346A true CN110170346A (zh) 2019-08-27

Family

ID=61256575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910123877.2A Pending CN110170346A (zh) 2018-02-20 2019-02-19 虚拟移液

Country Status (4)

Country Link
US (2) US11747357B2 (zh)
EP (2) EP3527333B1 (zh)
JP (2) JP7315336B2 (zh)
CN (1) CN110170346A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124398A1 (ja) * 2020-12-10 2022-06-16 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
WO2023183397A1 (en) * 2022-03-22 2023-09-28 Quality Executive Partners, Inc. Virtual reality simulation and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526545A (zh) * 2008-03-07 2009-09-09 希森美康株式会社 分析仪、用于分析仪的标本运送方法及分析仪的控制系统
EP2285537A1 (de) * 2008-06-09 2011-02-23 KUKA Roboter GmbH Vorrichtung und verfahren zur rechnergestützten generierung einer manipulatorbahn
CN102077095A (zh) * 2008-04-24 2011-05-25 泰肯贸易股份公司 在计算机控制的液体处理工作站中的直接移液
EP2653272A1 (de) * 2012-04-17 2013-10-23 Siemens Aktiengesellschaft Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
US20160257000A1 (en) * 2015-03-04 2016-09-08 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20170112602A1 (en) * 2012-06-06 2017-04-27 Heraeus Kulzer Gmbh Methods for producing a laboratory analogue for dental implants
CN107102728A (zh) * 2017-03-28 2017-08-29 北京犀牛数字互动科技有限公司 基于虚拟现实技术的显示方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE150879T1 (de) * 1989-10-17 1997-04-15 Perkin Elmer Corp Robotische schnittstelle
US20020133264A1 (en) 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
JP4089495B2 (ja) 2003-04-16 2008-05-28 日立工機株式会社 自動分注装置
JP2010287221A (ja) 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
WO2011127379A2 (en) * 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
EP2643701B1 (en) 2010-11-23 2020-07-08 Andrew Alliance S.A Devices and methods for programmable manipulation of pipettes
CN104380115A (zh) * 2012-06-11 2015-02-25 Sias股份公司 移液机器人
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
EP2746976B1 (en) 2012-12-21 2017-12-13 F. Hoffmann-La Roche AG Analysis system for analyzing biological samples with multiple operating environments
US10963750B2 (en) * 2018-01-04 2021-03-30 IAS Machine, LLC Procedural language and content generation environment for use in augmented reality/mixed reality systems to support laboratory and related operations
EP3782013A1 (en) * 2018-04-14 2021-02-24 The California State University - San Marcos Hands on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526545A (zh) * 2008-03-07 2009-09-09 希森美康株式会社 分析仪、用于分析仪的标本运送方法及分析仪的控制系统
CN102077095A (zh) * 2008-04-24 2011-05-25 泰肯贸易股份公司 在计算机控制的液体处理工作站中的直接移液
EP2285537A1 (de) * 2008-06-09 2011-02-23 KUKA Roboter GmbH Vorrichtung und verfahren zur rechnergestützten generierung einer manipulatorbahn
EP2653272A1 (de) * 2012-04-17 2013-10-23 Siemens Aktiengesellschaft Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
US20170112602A1 (en) * 2012-06-06 2017-04-27 Heraeus Kulzer Gmbh Methods for producing a laboratory analogue for dental implants
US20160257000A1 (en) * 2015-03-04 2016-09-08 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN107102728A (zh) * 2017-03-28 2017-08-29 北京犀牛数字互动科技有限公司 基于虚拟现实技术的显示方法及系统

Also Published As

Publication number Publication date
JP2023153823A (ja) 2023-10-18
EP3527333A1 (en) 2019-08-21
JP7315336B2 (ja) 2023-07-26
JP2019179027A (ja) 2019-10-17
EP3527333B1 (en) 2022-07-20
EP4067014A2 (en) 2022-10-05
US20190257849A1 (en) 2019-08-22
EP4067014A3 (en) 2022-10-19
US11747357B2 (en) 2023-09-05
US20230333134A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
JP6935404B2 (ja) 接続方法、視覚化システムおよびコンピュータプログラム製品
US11127220B2 (en) Method for virtually configuring a piece of equipment, computer program product and corresponding augmented reality system
CN109765992A (zh) 将虚拟内容与物理环境空间配准的系统、方法和工具
US20020123812A1 (en) Virtual assembly design environment (VADE)
US20230333134A1 (en) Virtual Pipetting
CN107003124A (zh) 抽屉视觉系统
CN108687760A (zh) 机器人动作指令生成方法以及机器人动作指令生成装置
CN102781631A (zh) 信息处理装置及控制该装置的方法
CN110114194A (zh) 用于确定双手抓握工业对象的抓握位置的系统和方法
CN109313019A (zh) 用于识别并确认触针的cmm设备
CN103592447A (zh) 检测或检查实验室工作站的工作区域上的实验室用品的排列的方法和装置
Kuťák et al. State of the art of molecular visualization in immersive virtual environments
WO2019186551A1 (en) Augmented reality for industrial robotics
US11630117B2 (en) Monitoring a laboratory automation device via a simulation model
CN112543961A (zh) 训练处理装置、中介装置、训练系统以及训练处理方法
EP3693904B1 (en) Check system of a process subject to execution rules
US20230228776A1 (en) Laboratory automation device with transparent display in door
US20210025906A1 (en) Laboratory automation device control program generation with object detection
CN110047343B (zh) 一种vr模拟显微硬度计操作的方法
GB2621745A (en) Method for carrying out a chemical work sequence
Justo Lobato El controlador KUKA youBot
KR20220081669A (ko) 콘텐츠 서비스 시스템 및 그 동작방법
Young Human-robot interaction for telemanipulation by small unmanned aerial systems
WO2023041832A1 (es) Procedimiento de simulación y entrenamiento de operaciones de inspección ocular en entornos de realidad virtual o realidad aumentada y sistema que implementa dicho procedimiento
Lee et al. Memorix: A tangible memory game using iSIG-blocks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Mannnedorf, Switzerland

Applicant after: TECAN Trading Co.,Ltd.

Address before: Mannnedorf, Switzerland

Applicant before: TECAN TRADING AG