JP2019179027A - バーチャルピペッティング - Google Patents

バーチャルピペッティング Download PDF

Info

Publication number
JP2019179027A
JP2019179027A JP2019026841A JP2019026841A JP2019179027A JP 2019179027 A JP2019179027 A JP 2019179027A JP 2019026841 A JP2019026841 A JP 2019026841A JP 2019026841 A JP2019026841 A JP 2019026841A JP 2019179027 A JP2019179027 A JP 2019179027A
Authority
JP
Japan
Prior art keywords
pipette
virtual
laboratory automation
movement
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019026841A
Other languages
English (en)
Other versions
JP7315336B2 (ja
Inventor
ルブデック ロナン
Leboudec Ronan
ルブデック ロナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tecan Trading AG
Original Assignee
Tecan Trading AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tecan Trading AG filed Critical Tecan Trading AG
Publication of JP2019179027A publication Critical patent/JP2019179027A/ja
Priority to JP2023115535A priority Critical patent/JP7545538B2/ja
Application granted granted Critical
Publication of JP7315336B2 publication Critical patent/JP7315336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/02Burettes; Pipettes
    • B01L3/0289Apparatus for withdrawing or distributing predetermined quantities of fluid
    • B01L3/0293Apparatus for withdrawing or distributing predetermined quantities of fluid for liquids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/10Devices for transferring samples or any liquids to, in, or from, the analysis apparatus, e.g. suction devices, injection devices
    • G01N35/1065Multiple transfer devices
    • G01N35/1072Multiple transfer devices with provision for selective pipetting of individual channels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41835Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by programme execution
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N2035/00891Displaying information to the operator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N2035/00891Displaying information to the operator
    • G01N2035/0091GUI [graphical user interfaces]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39001Robot, manipulator control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39014Match virtual world with real world
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39451Augmented reality for robot programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Clinical Laboratory Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】実験室用自動化装置のプログラミングおよび/または制御を単純化する。【解決手段】実験室用自動化装置12におけるコンポーネント22の位置を符号化するコンフィギュレーションデータ46を受信し、コンフィギュレーションデータ46から、バーチャルピペットを追加した三次元モデルを作成してバーチャルリアリティのヘッドセット14で表示し、ヘッドセット14を装着したユーザによって制御される、運動検知制御装置16の三次元の動きを示す移動データ50を受信し、移動データ50からバーチャルピペットの動きを決定し、バーチャルピペットの動きに基づいて三次元モデルを更新し、移動データ50から制御プログラム54を作成することを含み、制御プログラム54は、三次元モデルにおけるバーチャルピペットの動きに従って、実験室用自動化装置12のピペットアーム30をコンポーネント22に対して移動させるように構成されている、方法。【選択図】図1

Description

本発明は、実験室用自動化装置用の制御プログラムを作成するための方法、コンピュータープログラムおよびコンピューター読取可能な媒体ならびに、制御システムに関する。
特定の疾患について患者を検査することなどの検査室助手の作業を自動化するために、実験室用自動化装置が用いられている。通常、患者の血液、尿、便などの検体を採取し、これらを生化学的な手法で分析する。そのような手法は、物質の添加、インキュベーション、分離などの様々な操作、特定の疾患を示す物質の量または存在を定量的または定性的に測定する測定工程にみられる。
通常、実験室用自動化装置のプログラミングは、特別なスキルを必要とする複雑な作業である。実験室用自動化装置を制御するためのプログラムを制御用PCに入力しなければならない場合もある。そのようなプログラムを作成するためのグラフィカルツールが存在することもあるが、特定のスクリプト言語を用いてより複雑な手順をとらなければならない場合もあり、それにはプログラミングと実験室用自動化装置の機能についての特別な知識が求められる。したがって、検査室助手は少数の検体それ自体で検査を行いがちである。
ロボットアームのある実験室用自動化装置のプログラミングを容易にするために、学習モードでロボットアームを手動で動作させることが知られている。この場合、ロボットアームをどこにでも自由に移動でき、ボタンを押すだけで学習ポイントを設定することができる。学習ポイントでのロボットアームの位置が保存され、これらの位置を制御プログラムの作成に使用する。
欧州特許第2269077号は、実験室用自動化装置のレイアウトの一部がグラフィカルインターフェースで表示されるグラフィカルプログラミング方法に関する。実験室用自動化装置の制御プログラムを定義するには、グラフィカルインターフェース上のピペットを移動すればよい。
本発明の目的は、実験室用自動化装置のプログラミングおよび/または制御を単純化することにある。
上記の目的は、独立請求項の主題によって達成される。また、従属請求項および以下の説明から、例示的な実施形態が明らかである。
本発明の第1の態様は、実験室用自動化装置用の制御プログラムを作成するための方法に関する。この方法は、実験室用自動化装置、その制御装置、バーチャルリアリティのヘッドセットおよび運動検知制御装置を含むシステムを用いて実施されてもよい。概要を述べると、このシステムは、実験室用自動化装置の少なくとも一部の三次元バーチャルモデルを作成することができ、そのモデルをバーチャルリアリティのヘッドセットに表示することができる。運動検知制御装置を使用して、同じく三次元モデルの一部であるバーチャルピペットを操作してもよい。バーチャルリアリティのヘッドセットを装着している人すなわちユーザーは、運動検知制御装置を使用して、モデル内でバーチャルピペットを移動させるおよび/またはバーチャル液体を吸引および吐出することができる。その後、システムがバーチャルピペットの操作を記録してもよく、実験室用自動化装置用の制御プログラムを作成してもよい。プログラムは、三次元モデルで実行される手順を現実世界で繰り返す。
このようにして、実験室用自動化装置のプログラミングを単純化することができる。ユーザーは、バーチャルリアリティで、バーチャルピペットを用いて1回作業をすればよい。作成された制御プログラムを複数回実行することができ、作成された制御プログラムによって、実験室用自動化装置での作業を現実世界で複数回行うことができる。
本発明の一実施形態によれば、この方法は、実験室用自動化装置のコンフィギュレーションデータを受信することを含み、コンフィギュレーションデータには、実験室用自動化装置におけるコンポーネントの位置が符号化されている。
概要を述べると、実験室用自動化装置は、検査室助手の作業を自動的に行うように構成された装置であれば、どのような装置であってもよい。少なくともそのような実験室用自動化装置はピペットアームを含み、このピペットアームは、異なる位置の間でピペットを移動させ、それらの位置で液体を吸引および吐出するように構成されている。コンポーネントに設けられたキャビティから液体が吸引され、このキャビティの中に吐出されてもよい。このようなコンポーネントには、ウェル、サンプルチューブ、マイクロタイタープレートおよび/または試薬容器などのうちの少なくとも1つが含まれていてもよい。
コンフィギュレーションデータは、コンポーネントの位置が符号化されたものであってもよい。たとえば、コンポーネントごとに、コンポーネントのタイプならびに、二次元または三次元の座標で示されるコンポーネントの位置および/または向きがコンフィギュレーションデータに含まれていてもよい。
コンフィギュレーションデータは、実験室用自動化装置の固定レイアウトの情報を含むデータファイルおよび/または実験室用自動化装置によって生成されるデータと一緒に提供されてもよく、この実験室用自動化装置は、どのコンポーネントが実験室用自動化装置に実際に配置されているかを決定することができるセンサーを有する。たとえば、検査室助手は、実験室用自動化装置内にコンポーネントを配置した後に本方法を開始することができる。そうすると、たとえばコンポーネントに付されたバーコードを読み取るように構成されたバーコードリーダーを用いて、配置されたコンポーネントの位置の少なくとも一部が符号化されたコンフィギュレーションファイルを、実験室用自動化装置で作成することができる。
本発明の一実施形態によれば、本方法は、コンフィギュレーションデータから実験室用自動化装置のコンポーネントの三次元バーチャルモデルを作成することをさらに含み、この三次元モデルは、バーチャルピペットをさらに含む。コンフィギュレーションデータから、三次元モデルでバーチャルコンポーネントが作成される。バーチャルコンポーネントは、オブジェクト指向プログラミング言語のオブジェクトとしてモデル化されてもよいおよび/またはコンポーネントの三次元レイアウトを含んでもよい。たとえば、バーチャルコンポーネントの三次元レイアウトは、コンフィギュレーションデータにおけるコンポーネントのタイプと、コンポーネントの標準的な幾何学的レイアウトから決定されてもよく、それらは、たとえば、本方法を実行する装置に保存されてもよい。そうすれば、コンフィギュレーションデータにおけるコンポーネントの位置および/または向きによって、標準レイアウトを移動させることができる。
この三次元モデルにはピペットアームのモデルが含まれておらず、ピペットアームに置き換えることができるバーチャルピペットが含まれることに注意されたい。バーチャルピペットは、表示された三次元モデルを見るユーザーが操作することができる。通常、ピペットアームは、実験室用自動化装置の作業台よりも上で移動可能であり、作業台の上にはいくつかのコンポーネントを配置することができる。たとえば、サンプルチューブを有するカートリッジ、ウェルを有する1つ以上のマイクロタイタープレート、試薬を有する1つ以上の容器が作業台の上にあってもよい。さらに、マイクロタイタープレート、シェーカー、インキュベーター、使い捨てチップを有するトレイなどのキャリーが、実験室用自動化装置の一部であってもよいおよび/または作業台の上に配置されてもよい。これらのコンポーネントの全部または一部が、コンフィギュレーションデータに符号化されてもよいおよび/または三次元モデルで提供されてもよい。三次元モデルは、実験室用自動化装置の作業領域の一部または全体のトポグラフィおよび/またはレイアウトを表すものであってもよい。
概して、三次元モデルはキャビティを有するバーチャルコンポーネントを含んでもよく、その中でバーチャルピペットのピペットチップを移動させることができる。三次元モデルは、液体を受けるように構成されたバーチャルコンポーネントを含んでもよい。
本発明の一実施形態によれば、本方法は、バーチャルリアリティのヘッドセットを用いて、三次元モデルを表示することをさらに含む。バーチャルリアリティのヘッドセットは、ユーザーによって装着されるようにおよび/または三次元モデルの立体像をユーザーに表示するように構成されてもよい。バーチャルリアリティのヘッドセットは、人間の目に対して2つの画像を生成してもよい。三次元モデルの立体像は、ユーザーの頭部の位置および/または向きに依存してもよい。バーチャルリアリティのヘッドセットには、ユーザーの頭部の位置および/または向きを決定するためのセンサーが含まれていてもよい。なお、拡張現実もバーチャルリアリティとみなし得る点に注意されたい。
本発明の一実施形態によれば、本方法は、バーチャルリアリティのヘッドセットを装着しているユーザーによって制御される運動検知制御装置の移動データを受信し、移動データに基づいて三次元モデル内でのバーチャルピペットの動きを決定し、バーチャルピペットの動きに基づいて三次元モデルを更新することをさらに含み、この移動データは、空間における運動検知制御装置の三次元での動きを示す。
運動検知制御装置は、空間内の運動検知制御装置の位置および/または向きを決定するためのセンサーを有してもよい。たとえば、そのようなセンサーは、加速度センサーなどのモーションセンサーを含んでもよい。ユーザーは、手でモーションセンサーを握って、三次元モデルの視野内で動かせばよい。そうすると、三次元モデル内のバーチャルピペットが、運動検知制御装置の検知された動きに応じて移動する。たとえば、運動検知制御装置にはハンドルだけを含んでもよく、三次元モデルではハンドルの下端にバーチャルピペットのピペットチップが設けられる。
本発明の一実施形態によれば、本方法は、移動データから実験室用自動化装置用の制御プログラムを作成することをさらに含み、制御プログラムは、実験室用自動化装置のピペットを有するピペットアームを、三次元モデルにおけるバーチャルピペットの動きに応じてコンポーネントに対して移動させるように構成されている。制御プログラムは、ユーザーがバーチャルピペットを動かしている間に作成および/または実行されてもよい。言い換えれば、バーチャルピペットの移動と(ほぼ)同時に、制御プログラムを作成および/または実行することができる。また、制御プログラムは、ユーザーがバーチャルピペットの移動を終了したときに作成および/または実行されてもよい。さらに、制御プログラムは、ユーザーがバーチャルピペットの移動を終了し、後に制御プログラムが実行されるときに、作成および記憶されてもよい。
たとえば、バーチャルピペットの軌道上の特定のトラッキングポイントまたは訓練ポイントを保存することができる。そのようなポイントは、バーチャルピペットのピペットチップがバーチャルコンポーネントのキャビティに入るときに定義および/または記録されてもよい。これらのポイントから、ピペットアームの動きを導くことができ、この動きも全てのポイントを通る。なお、ピペットアームの軌道がバーチャルピペットの軌道とは異なっていてもよい点に注意されたい。
ピペットアームの動きは、実行時にその動きをする制御プログラムに符号化されてもよい。制御プログラムは、実験室用自動化装置の制御装置で処理されるとピペットアームをそれぞれ動かす任意のデータまたはデータファイルであればよい。また、制御プログラムは、ユーザーが修正できるスクリプトプログラムであってもよい。
本発明の一実施形態によれば、本方法は、運動検知制御装置でのユーザーの指の動きを示すアクティベーションデータを運動検知制御装置から受信することをさらに含む。また、親指が他の指のようにみえてもよい。運動検知制御装置には、押されているか否かを検知するように構成されていてもよいボタンを含んでもよい。アクティベーションデータの符号化は、ボタンが押されたか否かとは関係なく行うことができる。
本発明の一実施形態によれば、本方法は、アクティベーションデータが運動検知制御装置のアクティベーションを示す三次元モデルでのバーチャルピペットの位置からの、三次元モデルでのバーチャル液体の吸引および/または分注を決定することを含む。運動検知制御装置は、機械的および/または手動のピペットのように機能することができる。ボタンが離されたときに、バーチャルピペットでのバーチャル吸引がなされてもよい。ボタンが押されたときに、バーチャルピペットのバーチャル吐出がなされてもよい。
どのタイプのバーチャル液体がバーチャルコンポーネントの各キャビティに含まれるかおよび/またはどのキャビティが空であるかが三次元モデルで符号化されてもよい。また、これらのタイプの液体も、コンフィギュレーションデータで符号化してもよい。コンフィギュレーションデータにおける液体のタイプは、実験室用自動化装置のリーダーによって読み取られたものであってもよいそれぞれのコンポーネントに付されたバーコードから決定されてもよい。バーチャルピペットでの吸引時、バーチャルピペットには、そのピペットのピペットチップが入っているキャビティの中にあるタイプの液体が含まれると仮定してもよい。バーチャルピペットでの吐出時は、バーチャルピペットのピペットチップがあるキャビティが、そのバーチャルピペットの中にあったタイプの液体で満たされると仮定してもよい。
液体のタイプは、緩衝液、検体、試薬などである液体の化学的性質および/または含有量、および/または粘度、表面張力、密度など、液体の物理的性質をいうことがある点に注意されたい。
本発明の一実施形態によれば、制御プログラムは、液体を吸引および分注するためのピペットアームのピペットを、三次元モデルでのバーチャルピペットに基づいて制御するように構成されている。バーチャルピペットでの吸引および/または吐出時に、それが記録されてもよい。そのようにして作成された制御プログラムが、ピペットまたはそのピペットチップが対応するキャビティ内で移動したときに、ピペットアームのピペットで吸引および/または吐出をするためのコマンドを含んでもよい。
本発明の一実施形態によれば、液体の吸引ポイントおよび分注ポイントが、移動データおよびアクティベーションデータから決定され、ピペットアームの動きが吸引ポイントおよび分注ポイントから決定される。この場合、液体が分注または吐出される点を、最も重要なトラッキングポイントおよび/または訓練ポイントとみなすことができる。制御プログラムは、これらのポイントだけから作成されてもよい。2つの連続した点、たとえば吸引ポイントと連続した分注ポイントとの間でのピペットアームの動きは、これらの点の間でのバーチャルピペットの動きとは無関係に決定することができる。したがって、ピペットアームの動きを、バーチャルピペットとは異なる経路に沿わせることができる。経路長に対しておよび/または検査室自動化装置内での可能性のある動きおよび/または衝突の回避を考慮したピペットアームの制約に対して、ピペットアームの動きをさらに最適化してもよい。
本発明の一実施形態によれば、バーチャルピペットを用いて仮想的に吸引および分注される液体の移動が、三次元モデルで行われるおよび/またはバーチャルリアリティのヘッドセットに表示される。上述したように、バーチャルコンポーネントのキャビティに含まれるバーチャル液体のタイプを記憶および/またはトラッキングしてもよい。さらに、液体の存在が三次元モードで視覚的に示されてもよい。異なるタイプの液体が異なる色で表示されてもよい。たとえば、サンプルチューブ、ウェル、試薬容器などのバーチャルコンポーネントのキャビティが、着色および/または透明の物質で充填された状態で示されてもよい。
異なるタイプのピペットおよび/またはピペットチップが異なる色のバーチャルピペットで表示されてもよい。ピペットチップのタイプを、吸引される可能性のある液体の最大公称体積および/またはピペットチップの幾何学的形状によって定義することができる。
本発明の一実施形態によれば、コンポーネントは使い捨てチップを含み、バーチャル使い捨てチップの装着および移動が三次元モデルで行われ、バーチャルリアリティのヘッドセットに表示される。この三次元モデルは、使い捨てチップ用のバーチャルコンポーネントを含んでもよい。そのようなバーチャル使い捨てチップ上でバーチャルピペットが移動する際に、バーチャル使い捨てチップがバーチャルピペットに装着されるようにモデル化されてもよい。また、バーチャル使い捨てチップの廃棄もモデル化することができる。バーチャル使い捨てチップの動きが、ユーザーに対して表示されてもよい。
移動から決定された制御プログラムには、特定のトラッキングポイントおよび/または訓練ポイントにおける使い捨てチップの装着および/または廃棄が符号化されていてもよい。
本発明の一実施形態によれば、コンポーネントごとに、コンフィギュレーションデータに、実験室用自動化装置におけるコンポーネントのタイプとコンポーネントの位置が符号化されている。三次元モデルは、各コンポーネントの幾何学的レイアウトが符号化されているモデリングデータから作成されてもよい。上述したように、コンフィギュレーションデータには、コンポーネントのタイプ、位置および/または向きが含まれてもよく、バーチャルコンポーネントの三次元レイアウトが、コンポーネントのタイプに関連付けられていてもよい幾何学的レイアウトから決定されてもよい。コンポーネントの幾何学的レイアウトを事前にモデル化してもよいおよび/または本方法を実行する装置に記憶しておいてもよい。言い換えれば、コンフィギュレーションデータに示されているコンポーネントの所定の幾何学的レイアウトデータから、三次元モデルを組み立てることができる。
本発明の一実施形態によれば、コンポーネントに入っている液体のタイプが、実験室用自動化装置のコンフィギュレーションデータで特定される。これらのタイプは、実験室用自動化装置のセンサーで決定され、コンフィギュレーションファイルに符号化されていてもよい。上述したように、コンポーネントに付されたバーコードに、中に入った液体が符号化されていてもよい。三次元モデルで、異なるタイプの液体がたとえば色を変えて異なる状態で視覚化されてもよい。
QRコードおよび/またはRFIDタグなどの他のコンピューター読取可能なコードをコンポーネントに付して、実験室用自動化装置のセンサーで読み取ってもよいことに注意されたい。
本発明の一実施形態によれば、本方法は、実験室用自動化装置のコンポーネントのうちの少なくともいくつかを手作業で配置し、コンフィギュレーションデータのうちの少なくともいくつかを、実験室用自動化装置のセンサーを用いて決定することをさらに含む。
実験室用自動化装置には、固定レイアウト、すなわちユーザーが移動および/または除去することができないコンポーネントを含むことができ、そのようなコンポーネントとして、作業台、キャリア、シェーカーなどをあげることができる。この固定レイアウトは、本方法を実施するコンピューターに格納されたコンフィギュレーションデータで提供されてもよい。
さらに、実験室用自動化装置には、変更可能なレイアウト、すなわちユーザーが実験室用自動化装置に移動し、この装置から取り外し、この装置に入れることのできるコンポーネントを含んでもよい。これらのコンポーネントの位置および/または向きは、実験室用自動化装置の1つ以上のセンサーを用いて決定されてもよい。そこから決定されたコンフィギュレーションデータが、実験室用自動化装置から、本方法を実行するコンピューターに送信されてもよい。
本発明の一実施形態によれば、移動データ、アクティベーションデータおよび/またはバーチャル使い捨てピペットチップの装着/廃棄が、1つのバーチャル検体について記録される。三次元モデルすなわちバーチャルリアリティで作業を実行するユーザーは、1つの検体だけでこの作業を行うことができるが、三次元モデルに複数の検体を含んでもよい。
実験室用自動化装置における複数の実在する検体について、ピペットアームの移動、ピペットでの吸引および分注、使い捨てピペットチップの装着と廃棄を繰り返すように制御プログラムを作成してもよい。制御プログラムは、センサーで存在が決定された実験室用自動化装置のすべての検体に対して、これらの工程を繰り返すことができる。また、制御プログラムは、作成された後にユーザーによって変更される可能性がある。たとえば、ユーザーは、バーチャルリアリティで実行される工程を繰り返す制御プログラムに、制御構造を含めることができる。
部品制御プログラムが作成されるトラッキングポイントまたは訓練ポイントは、バーチャルピペットが入る穴のタイプに関して規定されてもよい点に注意されたい。このようなポイントは、座標位置が符号化されるだけではない。たとえば、トラッキングポイントまたは訓練ポイントは、「サンプルチューブ内のピペット」、「空のウェル内のピペット」などが符号化されていてもよい。このようにして、バーチャルピペットの動きを実験室用自動化装置で繰り返すことができるだけでなく、1つのバーチャル検体についてユーザーがバーチャルリアリティで行う作業の工程を、実験室用自動化装置内のいくつかの実際のサンプルに適用することができる。この場合、バーチャルピペットの正確な動きではなく、バーチャルピペットで定義された移動方式が繰り返されてもよい。
たとえば、バーチャルピペットの動きが、マイクロタイタープレートのすべての検体で繰り返されてもよい。この場合、その動きは元の動きにオフセットを加えて決定することができ、このオフセットは、マイクロタイタープレートのウェル間の距離に依存する。
バーチャルでの単チャネルピペットの動きが、実在するマルチチャネルピペットの動きにマッピングされてもよい。
本発明の一実施形態によれば、運動検知制御装置は、バーチャルリアリティのヘッドセットを装着しているユーザーが手で持てるように構成されている。運動検知制御装置は、移動データを生成するための加速度センサーなどのモーションセンサーを備えてもよいおよび/またはアクティベーションデータを生成するためのボタンを備えてもよい。運動検知制御装置は、実在するピペットのハンドル部のように設計されてもよい。ピペット部分は、三次元モデルでモデル化されてもよいおよび/またはバーチャルリアリティだけに存在してもよい。
本発明の一実施形態によれば、バーチャルリアリティのヘッドセットは、三次元モデルの遠近立体像を作成するための2つのディスプレイを含む。バーチャルリアリティのヘッドセットは、拡張現実のヘッドセットであってもよい。三次元モデルの遠近立体像は、実在する実験室用自動化装置の外から見えるように表示されてもよいことに注意されたい。ユーザーが実験室用自動化装置の中で作業を行う必要はない。
本発明の一実施の形態によれば、バーチャルピペットは、複数のピペットチップを含むマルチチャネルピペットである。上述したように、ピペットのハンドル部は、運動検知制御装置によって提供されてもよい。複数のピペットチップを有するピペット部は、三次元モデル内だけに存在してもよい。
本発明の別の態様は、プロセッサによって実行されると、上述して後述もするような方法の各工程を実行するように構成されている、実験室用自動化装置用の制御プログラムを作成するためのコンピュータープログラムに関する。このコンピュータープログラムは、実験室用自動化装置、バーチャルリアリティのヘッドセットおよび運動検知制御装置と通信可能に相互接続された、PCなどのコンピューターで実行することができる。
本発明の別の態様は、そのようなコンピュータープログラムが格納された、コンピューター読取可能な媒体に関する。コンピューター読取可能な媒体は、フロッピーディスク、ハードディスク、USB(ユニバーサルシリアルバス)記憶装置、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)、EPROM(消去可能プログラマブルリードオンリーメモリ)またはフラッシュメモリであってもよい。また、コンピューター読取可能な媒体は、プログラムコードのダウンロードが可能なインターネットなどのデータ通信ネットワークであってもよい。一般に、コンピューター読取可能な媒体は、非一時的媒体であっても一時的媒体であってもよい。
本発明のさらなる態様は、実験室用自動化装置と、バーチャルリアリティのヘッドセットと、運動検知制御装置と、コンピューターとを含む、実験室用自動化装置用の制御システムに関する。コンピューターは、たとえばUSB、イーサネットおよび/または無線接続によって、実験室用自動化装置、バーチャルリアリティのヘッドセットおよび運動検知制御装置と通信可能に相互接続されている。さらに、コンピューターは、上述して後述もするような方法を実行するように構成されている。
また、コンピューターは、実験室用自動化装置を制御するように構成されてもよいおよび/またはバーチャルリアリティの助けを借りて作成された制御プログラムを実行してもよい。
上述して後述もするような方法の特徴が、上述して後述もする制御システム、コンピュータープログラムおよびコンピューター読取可能な媒体の特徴である場合もあり、逆もまた同様であることを理解されたい。
さらに、この方法は、実験室用自動化装置を制御するための方法であってもよく、その実験室用自動化装置が、作成された制御プログラムを実行してもよい。
本発明のこれらの態様および他の態様は、以下に記載される実施形態から明らかになり、これらの実施形態を参照して説明される。
図1は、本発明の一実施形態による制御システムを概略的に示す。 図2は、本発明の一実施形態による制御プログラムを作成するための方法で使用される三次元モデルを概略的に示す。 図3は、本発明の一実施形態による制御プログラムを作成するための方法で使用されるバーチャルピペットを概略的に示す。 図4は、本発明の一実施形態による制御プログラムを作成し、実験室用自動化装置を制御する方法の流れ図を示す。
以下、添付の図面を参照して、本発明の実施形態を詳細に説明する。
図面で使用されている参照符号とそれらの意味を、符号の説明欄にまとめてある。原則として、同一の部分には図面でも同一の参照符号を用いる。
図1に、実験室用自動化装置12と、バーチャルリアリティのヘッドセット14と、運動検知制御装置16とを含む制御システム10を示す。また、この制御システム10には、実験室用自動化装置12、バーチャルリアリティのヘッドセット14および運動検知制御装置16と通信可能に相互接続されたPCなどのコンピューター18も含まれる。通信は、Bluetooth(登録商標)および/またはEthernet(登録商標)によってなされてもよい。
実験室用自動化装置12には作業台20が設けられ、その上に、取り外し可能な様々なコンポーネント22を装着することができる。たとえば、コンポーネント22は、使い捨てピペットチップ24を有する容器22a、サンプルチューブ26を有する容器22b、ウェル28を有するマイクロタイタープレート22c、試薬容器22dを含む。ウェル28には、液体29が入っていてもよい。
また、実験室用自動化装置12には、ピペット32が付いたピペットアーム30と、コンポーネント22の位置および/または向きを測定するように構成されたセンサー34も含まれる。センサー34は、コンポーネント22に付されたバーコードまたはより汎用的なコンピューター読取可能なコードを読み取るように構成されたリーダーであってもよいし、そのようなリーダーを含んでもよい。あるいは、センサー34は、カメラ、レーザースキャナおよび/またはコンポーネント22の位置および/または向きを測定するように構成された他の任意の装置であってもよいし、これらを含んでもよい。
バーチャルリアリティのヘッドセット14にはディスプレイ36が2つ設けられ、バーチャルリアリティのヘッドセット14を装着したユーザーに対して、わずかに異なる2つの像が表示されるように構成されている。この2つの像は、ユーザーが、コンピューター18によって作られた場面の空間が印象付けられるように、その場面を立体的にすることができる。さらに、バーチャルリアリティのヘッドセット14には、ユーザーの頭部の位置および/または向きを決定するように構成された加速度センサーなどのモーションセンサー38を含んでもよい。このようにして、ユーザーの視点位置および/または視点方向を決定することができる。
運動検知制御装置16は、ハンドル部40によってユーザーが手に持つことができるように構成されている。バーチャルリアリティのヘッドセット14として、運動検知制御装置16には、運動検知制御装置16の位置および/または向きを決定するように構成された加速度センサー42などのモーションセンサーが備えられている。運動検知制御装置16は、バーチャルリアリティのヘッドセット14に表示されたバーチャルピペットを移動させるためのシステムで使用される。
さらに、運動検知制御装置には、ユーザーが押すことのできるボタン44がある。このボタン44を使用して、バーチャルピペットでの吸引と分注を開始することができる。
図1に、システム10の動作時にコンポーネント間でやりとりされてもよいデータも示す。
最初に、実験室用自動化装置12からのコンフィギュレーションデータ46を、コンピューター18に送信することができる。このコンフィギュレーションデータ46に、実験室用自動化装置12の少なくともいくつかのコンポーネント22の位置および/または向きが符号化されていてもよい。たとえば、このデータを、センサー34を用いて取得してもよい。
コンフィギュレーションデータ46から、コンピューターが、実験室用自動化装置12の少なくとも一部の三次元モデルすなわちバーチャルモデルを生成する。このモデルには、バーチャルピペットも表示される。
コンピューター18は、バーチャルリアリティのヘッドセット14から、移動データ48を受信するが、これにバーチャルリアリティのヘッドセット14の実際の位置および/または向きが符号化されていてもよい。
コンピューター18は、運動検知制御装置16から移動・任意のアクティベーションデータ50を受信するが、これに運動検知制御装置16の実際の位置および/または向きとボタンの押下状態が符号化されていてもよい。
コンピューター18は、データ50からバーチャルモデルにおけるバーチャルピペットの位置および/または向きを決定し、データ48の助けを借りて、バーチャルリアリティのヘッドセット14用のディスプレイデータ52を生成する。
このようにして、詳細については後述するように、ユーザーがバーチャルモデルで実施する作業時に、コンピューター18でバーチャルピペットの移動と任意にアクティベーションを記録することができる。ユーザーが作業を終えると、コンピューター18は実験室用自動化装置12用の制御プログラム54を作成し、これが実験室用自動化装置12で実際に同じ作業を行うことになる。
最後に、コンピューター18が制御プログラムを実行することができる。この制御プログラムが制御コマンド56を生成し、実験室用自動化装置12に送信するおよび/または制御コマンド56でピペットアーム30を制御し、ユーザーがバーチャルピペットでユーザーが行った作業を繰り返す。
図2に、コンピューター18によって生成することができ、かつ、バーチャルリアリティのヘッドセット14に表示することができる三次元モデル58を概略的に示す。三次元モデル58は、コンフィギュレーションデータ46の助けを借りて生成したバーチャルコンポーネント22’で構成されていてもよい。三次元モデルは、実験室用自動化装置の少なくとも一部のバーチャルモデルに見えるものであってもよい。
たとえば、バーチャルコンポーネント22’は、使い捨てのバーチャルピペットチップ24’を有するバーチャル容器22a’、バーチャルサンプルチューブ26’を有するバーチャル容器22b’、バーチャルウェル28’を有するバーチャルマイクロタイタープレート22c’、バーチャル試薬容器22d’含んでもよい。
さらに、バーチャルコンポーネント22’は、実験室用自動化装置12に実在する固定されたコンポーネントをもとにしたコンポーネントも含んでもよい。たとえば、バーチャル作業台20’があってもよい。
三次元モデル58がプログラミング言語のオブジェクトで構成されてもよく、バーチャルコンポーネント22’がすべてこれらのオブジェクトに基づくものであってもよいことを、理解されたい。これらのオブジェクトをグラフィックレンダリングエンジンによってディスプレイまたは画像データ52に変換してもよく、それをディスプレイ36に表示してもよい。
さらに、三次元モデル58は、バーチャルピペット60を含む。図2に示すように、バーチャルリアリティのヘッドセット14が拡張現実を生むように構成されている場合に、ユーザーがバーチャルピペット60を運動検知制御装置16の延長として見るように、バーチャルピペット60をモデル58に配置してもよい。
また、三次元モデルに、バーチャルコンポーネント22’として液体62、64を含むことも可能である。一例として、バーチャルウェル28’にバーチャル液体62を示し、バーチャルピペットには別のバーチャル液体64を示す。これらのバーチャル液体62、64が検体と試薬など異なるタイプの液体を表す場合には、これらの液体の色を変えてもよい。
また、バーチャルピペット60の色を変え、ピペットチップのタイプの違いを示すようにしてもよい。
図2には、三次元モデル58でバーチャルピペット60が通る経路66と、経路66上のトラッキングポイント68a、68b、68c、68dも示す。これらのトラッキングポイントは、たとえばユーザーがボタン44を押したときに記録してもよい。
図3に、複数のピペットチップ70を含むマルチチャネルピペット60’としてモデル化された別のバーチャルピペット60’を示す。上述した方法および後述する方法は、チップが1つのピペットに限定されるものではなく、たとえば8チップ、12チップ、96チップ、384チップなど、複数のチップがあるバーチャルピペットでも実施することができる。
図4に、実験室用自動化装置12用の制御プログラム54を作成し、任意に、この制御プログラム54を実行することによって実験室用自動化装置12を制御するための方法の流れ図を示す。
まず、検査室助手などのユーザーが、少なくともいくつかのコンポーネント22を手作業で実験室用自動化装置12に配置することができる。たとえば、ユーザーは、容器22aと使い捨てチップ24、容器22bとサンプルチューブ22b、マイクロタイタープレート22c、試薬容器22dを作業台20の上に配置することができる(図1参照)。
ステップS10では、コンピューター18で本方法に対応するコンピュータープログラムを起動することによって、本方法を開始することができる。
次に、コンピューター18は実験室用自動化装置12にコンフィギュレーションデータ46の第1の部分を要求することができ、実験室用自動化装置12では、1つ以上のセンサー34でコンフィギュレーションデータ46の第1の部分を決定する。たとえば、レーザースキャナおよび/またはカメラによって、コンポーネント22のタイプ、位置および/または向きを決定してもよい。さらに、バーコードスキャナによってコンポーネント22に付されたバーコードをスキャンしてもよいし、RFIDスキャナを使用してそのタイプおよび/または内容を決定してもよい。
コンポーネントごとに、コンフィギュレーションデータ46に、コンポーネント22のタイプ、コンポーネント22の位置、コンポーネント22の向きおよび/またはコンポーネント22の内容が符号化されていてもよい。使い捨てチップ24、サンプルチューブ26、ウェル28もコンポーネント22に見えるが、これらはコンポーネント22aから22cのサブコンポーネントであることに注意されたい。たとえば、コンフィギュレーションデータ46は、コンポーネント22を他のコンポーネント22の中に配置することを考慮したツリー構造になっていてもよい。
また、コンフィギュレーションデータ46で、コンポーネント22に含まれる液体のタイプを特定できる場合もある。このタイプは、それぞれのコンポーネント22の内容であってもよいし、それぞれのコンポーネント22の内容から導き出したものであってもよい。
ユーザーが配置することができるコンポーネント22に関するコンフィギュレーションデータ46の第1の部分は、実験室用自動化装置のレイアウトを変更可能なコンフィギュレーションデータとして視認されてもよい。一方、コンフィギュレーションデータ46’の第2の部分は、ユーザーが移動したり除去したりすることのできない実験室用自動化装置12の固定されたコンポーネントすなわち固定レイアウトに関連し、コンピューター18に直接保存されていてもよい。しかしながら、この部分は、実験室用自動化装置12からコンピューター18に送信されてもよい。たとえば、コンフィギュレーションデータ46’に、作業台20が固定のコンポーネントとして符号化されていてもよい。
ステップS12では、コンピューター18で実験室用自動化装置12のコンフィギュレーションデータ46、46’を受信し、コンピューター18がコンフィギュレーションデータ46、46’から実験室用自動化装置12のコンポーネント22の三次元モデル58を作成する。
コンピューター18では、モデリングデータ72を格納してもよく、モデリングデータ72には、コンポーネント22のタイプ毎にそれぞれのコンポーネント22の幾何学的レイアウトが符号化されている。また、モデリングデータ72に、それぞれの幾何学的レイアウトの座標、面、ワイヤモデルなどが符号化されていてもよい。
コンピューター18は、モデリングデータ72を使用して、コンフィギュレーションデータ46、46’に符号化された位置と向きでモデリングデータ72をそれぞれ移動して向きを決めることによって、三次元モデル58を作成することができる。
三次元モデル58には、バーチャルピペット60も含む。このバーチャルピペット60についても、コンピューター18にモデリングデータを格納してもよい。
ここでユーザーがバーチャルリアリティのヘッドセット14を装着すればよく、運動検知制御装置16を持てばよい。
ステップS14では、コンピューター18がバーチャルリアリティのヘッドセット14から移動データ48を受信し、ユーザーの頭部の位置と向きを決定する。その位置と向きから、視点方向および視野を決定してもよい。この視野と視点方向を使用して、コンピューターがユーザーのそれぞれの目に合った対応する場面をレンダリングしてもよいし、ディスプレイデータ52を生成してもよい。ディスプレイデータ52は、レンダリングエンジンで生成されてもよい。その後、ディスプレイデータ52がバーチャルリアリティのヘッドセット14に送信され、そのときに、たとえば図2に示すような三次元モデル58の対応する映像が表示される。
この時点で、ユーザーは、実験室用自動化装置12の少なくとも一部をバーチャルリアリティで視認する。特に、ユーザーは、対応する実在のコンポーネント20、22、24、26などと似たように見えることがあるバーチャルコンポーネント20’、22’、24’、26’などを視認する。バーチャルコンポーネントが、それぞれに相当する実在するコンポーネントと等しくまたは似たように見えるように、モデリングデータ72が提供されてもよい。
上述したように、異なるタイプのバーチャル液体62、64は、たとえば異なる色で、三次元モデルで異なるように視覚化されてもよい。これは、それに相当する実在の液体が非常によく似ているように見える場合も同様である。このようにすることで、ユーザーがバーチャル液体62、64同士を区別しやすくすることができる。また、バーチャル液体64が、すでに存在する他の液体62に加えた場合、混合物に対応する新たなタイプの液体が対応するコンポーネント22’に紐付けられる。この新たなタイプの液体を、さらに別の色で視覚化してもよい。
ステップS14において、コンピューター18は、運動検知制御装置16から移動・アクティベーションデータ50を受信する。移動データ50は、空間内における運動検知制御装置16の三次元的な動きを示し、コンピューター18は、三次元モデル58におけるバーチャルピペット60の位置および/または向きを決定することができる。三次元モデル58の映像はバーチャルピペット60と一緒にユーザーに対して表示され、ユーザーは、三次元モデル58を通してバーチャルピペット60が動くのを見る。
概要を述べると、三次元モデル58におけるバーチャルピペット60の動きは、移動データ50に基づいて決定され、バーチャルピペット60の動きに応じて三次元モデル58が更新される。
コンピューター18は、バーチャルピペットの1つ以上のピペットチップの経路66を記録してもよい。この経路66が後に制御プログラム54の作成に使用されてもよい。また、経路66が三次元モデル58に表示されてもよい。このようにすることで、ユーザーが、自らの作業を正しく行えたか否かを確認しやすくすることができる。
運動検知制御装置16からのアクティベーションデータ50は、運動検知制御装置16のボタン44をユーザーが指で押したことおよび/またはユーザーの指の動きを示してもよい。バーチャルピペット60のピペットチップがバーチャル液体62、64の中にあるとき、ユーザーがボタン44を押せば常にバーチャルピペット60で液体62、64が吸引されると仮定することができる。同様に、ボタンを離すと、ピペット60の中にある液体62、64が、そのピペット60のピペットチップが入っているバーチャルコンポーネント22’に分注されると仮定することができる。しかしながら、別の方法でアクティベーションデータ50を評価してもよく、たとえば、バーチャルピペット60に中身が充填されているか否かにかかわらず、ボタンを短時間押すと、吸引または分注がなされるようにしてもよい。
一般に、三次元モデル58でバーチャル液体62、64を吸引することおよび/または分注することは、アクティベーションデータ50が運動検知制御装置16の起動を示す、三次元モデル58内のバーチャルピペット60の位置で決まる。
また、三次元モデル58が、バーチャルピペット60の中にあるバーチャル液体62、64を示してもよいことに注意されたい。このようにして、液体62、64で満たされたバーチャルピペット60が移動したときに、バーチャルピペット60で仮想的に吸引および分注された液体を三次元モデル58内で移動することができ、バーチャルリアリティのヘッドセット14に表示することができる。
さらに、バーチャルコンポーネント22’は、バーチャル使い捨てチップ24’を含んでもよい。この場合、使い捨てチップ24を三次元モデル58で装着および移動して、バーチャルリアリティのヘッドセット14に表示することができる。
たとえば、バーチャルピペット60の装着部がバーチャル使い捨てチップ24 'の位置にあるとき、バーチャル使い捨てチップ24’がバーチャルピペット60に装着されていると判断してもよい。ボタン44のダブルクリックなど、対応するアクティベーションデータ50によって、バーチャル使い捨てチップ24’の廃棄を示してもよい。
コンピューター18はさらに、経路66上のトラッキングポイント68a、68b、68c、68dを記録してもよい。使い捨てチップ24’の装着または廃棄(トラッキングポイント68a、図2参照)、液体62、64の吸引(トラッキングポイント68b、68d)、液体62、64の分注(トラッキングポイント68c)などの特定のイベントが生じたときは常に、そのようなトラッキングポイントを記録することができる。トラッキングポイント68aは、装着点であってもよく、トラッキングポイント68b、68dは、吸引ポイントであってもよく、トラッキングポイント68cは、分注ポイントであってもよい。
一般に、バーチャルピペット60の内容および/または構成が変化すると、イベントが発生する。また、バーチャルコンポーネント22’の内容が変化したときに、イベントが発生することもあり得る。
トラッキングポイント68a、68b、68c、68dは、イベントの位置および/またはイベントのタイプの符号になってもよい。位置は、イベントが発生する場所の三次元座標および/またはコンポーネント22’として符号化されてもよい。イベントのタイプは、バーチャルピペットで吸引されるかまたは分注される液体のタイプ62、64とともに符号化されてもよい。
トラッキングポイント68a、68b、68c、68dを使用して制御プログラム54を作成してもよい。これらのトラッキングポイントを、三次元モデル58に表示することもできる。このようにすることで、ユーザーが、自らの作業を正しく行えたか否かをさらに確認しやすくすることができる。
バーチャルリアリティで自分の作業を終了したら、ユーザーはバーチャルリアリティのヘッドセット14を外してもよく、コンピューター18(またはコンピューター18で実行されるそれぞれのコンピュータープログラム)に、制御プログラム54を作成するように命令する。
ステップS16では、移動・アクティベーションデータ50から、特に経路66および/またはトラッキングポイント68a、68b、68c、68dなど、そこから導き出された情報から、実験室用自動化装置12用の制御プログラム54が作成される。
概要を述べると、三次元モデル58でのバーチャルピペット60に基づいて液体を吸引して分注するおよび/または三次元モデル58でのバーチャルピペット60に基づいて使い捨てチップ24を装着および廃棄するようにピペットアーム30のピペット32を制御するために、制御プログラム54は、三次元モデル58でのバーチャルピペット60の動きに応じて、コンポーネント22に対して実験室用自動化装置12のピペット32の付いたピペットアーム30を移動させるように作成される。
一例では、バーチャルピペット60での吸引および分注のみ、任意に使い捨てチップ24の装着および廃棄と、それぞれの位置への移動が、ピペット32の付いたピペットアーム30によって繰り返されるように、制御プログラム54が作成されてもよい。制御プログラムで、それぞれのコンポーネントの中身および/または液体を把握している必要はない。
別の例では、ユーザーは1つのバーチャル検体26’に対して自分の作業を行う、すなわち、1つのバーチャル検体について移動・アクティベーションデータ50が記録され、ピペット32のアームの移動および/または実験室用自動化装置12での複数の実在する検体26に対するピペット32での吸引および分注を繰り返すように制御プログラム54が生成される。たとえば、これは、ピペット32での吸引および分注ならびに、任意に使い捨てチップの装着と廃棄がなされる位置を、単に対応するコンポーネント22のすぐ隣の位置まで移動させることによって達成することができる
別の例では、ピペットアーム30およびピペット32の移動、ピペット32の吸引および分注および/または任意に使い捨てチップ24の装着および廃棄は、トラッキングポイント68a、68b、68c、68dから決定される。トラッキングポイントに関連付けられたイベントから、制御プログラム54のための対応するコマンドを導き出すことができる。たとえば、トラッキングポイント68aが「取外し可能なチップを装着する」というコマンドに変換されてもよく、トラッキングポイント68aが「検体を吸引する」に変換されてもよいといった具合である。
この場合も、いくつかの検体で作業を繰り返すように制御プログラム54を作成してもよい。たとえば、コンフィギュレーションデータ46が、複数の実在する液体29に関する情報を含んでもよく、バーチャル液体62のうちの1つについて作業が行われていてもよい。その後、すべての作業を行うように制御プログラム54を作成すればよい。
ステップS18では、任意に、制御プログラム54を改変して制御プログラム54’にしてもよい。たとえば、作成された制御プログラム54はスクリプトであってもよく、これをユーザーがさらに改変してもよい。たとえば、ユーザーが制御プログラム54に反復制御構造を挿入してもよい。また、検体のインキュベーションなどの工程を制御プログラム54に追加してもよい。
ステップS20では、制御プログラム54、54’は、たとえばユーザーがコンピューター内のコンピュータープログラムに制御プログラム54、54’の実行を命令したときに、コンピューター18によって実行される。これが何回か行われる場合もある。たとえば、制御プログラム54、54’が終了すると、ユーザーが実験室用自動化装置12の新たなコンポーネント22を同じレイアウトで配置してもよく、制御プログラム54、54’を再び開始してもよい。
制御プログラム54、54’が実行されると、制御コマンド56が作成され、バーチャルリアリティでユーザーが設計した作業を実験室用自動化装置12が実行する。特に、バーチャルリアリティで1つの検体26’に対して行われる作業と同じ作業を、実験室用自動化装置12を用いて複数の検体26に対して複数回行ってもよい。
以上、図面と上記の説明において本発明を詳細に図示および説明してきたが、そのような図示および説明は例示的な一例であり、限定的ではないとみなすべきである。本発明は、ここに開示した実施形態に限定されるものではない。当業者および特許請求の範囲に記載された発明を実施する者であれば、図面、開示内容、添付の特許請求の範囲を検討することで、ここに開示した実施形態に対する他の変形例を理解し、達成することができる。請求項において、「含む(comprising)」の語は他の要素または工程を排除するものではなく、不定冠詞「a」または「an」は複数を排除するものではない。単一のプロセッサまたは制御装置または他のユニットが特許請求の範囲に記載のいくつかの項目の機能を果たすことができる。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。請求項中のいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
10 制御システム
12 実験室用自動化装置
14 バーチャルリアリティのヘッドセット
16 運動検知制御装置
18 コンピューター
20 作業台
22 コンポーネント
22a 容器
22b 容器
22c マイクロタイタープレート
22d 試薬容器
24 使い捨てピペットチップ
26 サンプルチューブ
28 ウェル
29 液体
30 ピペットアーム
32 ピペット
34 センサー
36 ディスプレイ
38 モーションセンサー
40 ハンドル部
42 モーションセンサー
44 ボタン
46 コンフィギュレーションデータ
46’ コンフィギュレーションデータ
48 移動データ
50 移動・アクティベーションデータ
52 ディスプレイデータ
54 制御プログラム
54’ 改変された制御プログラム
56 制御コマンド
58 三次元モデル
20’ バーチャル作業台
22’ バーチャルコンポーネント
22a’ バーチャル容器
22b’ バーチャル容器
22c’ バーチャルマイクロタイタープレート
22d’ バーチャル試薬容器
24’ バーチャル使い捨てピペットチップ
26’ バーチャルサンプルチューブ
28’ バーチャルウェル
60 バーチャルピペット
62 バーチャル液体
64 バーチャル液体
66 経路
68a トラッキングポイント
68b トラッキングポイント
68c トラッキングポイント
68d トラッキングポイント
60’ マルチチャネルバーチャルピペット
70 ピペットチップ
72 モデリングデータ

Claims (15)

  1. 実験室用自動化装置(12)用の制御プログラム(54)を作成するための方法であって、
    前記実験室用自動化装置(12)におけるコンポーネント(22)の位置が符号化された、前記実験室用自動化装置(12)のコンフィギュレーションデータ(46)を受信し、
    前記コンフィギュレーションデータ(46)から、前記実験室用自動化装置(12)の前記コンポーネント(22)の三次元モデル(58)を、前記三次元モデル(58)にバーチャルピペット(60)を追加して作成し、
    前記三次元モデル(58)をバーチャルリアリティのヘッドセット(14)で表示し、
    前記バーチャルリアリティのヘッドセット(14)を装着しているユーザーによって制御される運動検知制御装置(16)の移動データ(50)であって、空間内での前記運動検知制御装置(16)の三次元の動きを示す前記移動データ(50)を受信し、
    前記移動データ(50)から前記三次元モデル(58)における前記バーチャルピペット(60)の動きを決定し、前記バーチャルピペット(60)の前記動きに基づいて前記三次元モデル(58)を更新し、
    前記移動データ(50)から前記実験室用自動化装置(12)用の制御プログラム(54)を作成することを含み、
    前記制御プログラム(54)は、前記三次元モデル(58)における前記バーチャルピペット(60)の動きに従って、前記実験室用自動化装置(12)のピペット(32)を有するピペットアーム(30)を前記コンポーネント(22)に対して移動させるように構成されている、方法。
  2. 前記運動検知制御装置(16)での前記ユーザーの指の動きを示すアクティベーションデータ(50)を前記運動検知制御装置(16)から受信し、
    前記アクティベーションデータ(50)が前記運動検知制御装置(16)のアクティベーションを示す前記三次元モデル(58)での前記バーチャルピペット(60)の前記位置からの、前記三次元モデル(58)での液体(62、64)の吸引および/または分注を決定することをさらに含み、
    前記制御プログラム(54)は、液体を吸引および分注するための前記ピペットアーム(30)の前記ピペット(32)を、前記三次元モデル(58)での前記バーチャルピペット(60)に基づいて制御するように構成されている、請求項1に記載の方法。
  3. 液体(62、64)の吸引ポイント(68a、68c)および分注ポイント(68c)が、前記移動・アクティベーションデータ(50)から決定され、
    前記ピペットアーム(30)の動きが、前記吸引ポイント(68a、68c)および分注ポイント(68c)から決定される、請求項2に記載の方法。
  4. 前記バーチャルピペット(60)を用いて仮想的に吸引および分注される液体(62、64)の移動が前記三次元モデル(58)で行われ、前記バーチャルリアリティのヘッドセット(14)に表示される、請求項2または3に記載の方法。
  5. 前記コンポーネント(22)は、使い捨てチップ(24)を含み、前記使い捨てチップの装着および移動が前記三次元モデル(58)で行われ、前記バーチャルリアリティのヘッドセット(14)に表示される、請求項2から4のいずれか1項に記載の方法。
  6. コンポーネント(22)ごとに、前記コンフィギュレーションデータ(46)に、前記実験室用自動化装置(12)におけるコンポーネント(22)のタイプと前記コンポーネント(22)の位置が符号化され、
    前記三次元モデル(58)は、各コンポーネント(22)の幾何学的レイアウトが符号化されているモデリングデータ(72)から作成される、請求項1から5のいずれか1項に記載の方法。
  7. 前記コンポーネント(22)は、ウェル(28)、マイクロタイタープレート(22c)、試薬容器(22d)、サンプルチューブ(26)のうちの少なくとも1つを含む、請求項1から6のいずれか1項に記載の方法。
  8. 前記コンポーネント(22)に入っている液体(62、64)のタイプが、前記実験室用自動化装置(12)の前記コンフィギュレーションデータ(46)で特定され、
    異なるタイプの液体(62、64)が、前記三次元モデル(58)で異なる状態で視覚化される、請求項1から7のいずれか1項に記載の方法。
  9. 前記実験室用自動化装置(12)の前記コンポーネント(22)のうちの少なくともいくつかを手作業で配置し、
    前記コンフィギュレーションデータ(46)のうちの少なくともいくつかを、前記実験室用自動化装置(12)のセンサー(34)を用いて決定することをさらに含む、請求項1から8のいずれか1項に記載の方法。
  10. 移動データおよび/またはアクティベーションデータ(50)が、1つのバーチャル検体について記録され、
    前記制御プログラム(54)は、前記ピペットアーム(30)の移動および/または前記ピペット(32)での吸引および分注を、前記実験室用自動化装置(12)における複数の実在する検体について繰り返すように作成される、請求項1から9のいずれか1項に記載の方法。
  11. 前記運動検知制御装置(16)は、前記バーチャルリアリティのヘッドセット(14)を装着しているユーザーが手で持てるように構成され、
    前記運動検知制御装置(16)は、前記移動データ(50)を生成するためのモーションセンサー(42)を備え、
    前記運動検知制御装置(16)は、アクティベーションデータ(50)を生成するためのボタン(44)を備える、請求項1から10のいずれか1項に記載の方法。
  12. 前記バーチャルピペット(60’)は、複数のピペットチップ(70)を含むマルチチャネルピペットである、請求項1から11のいずれか1項に記載の方法。
  13. プロセッサによって実行されると、請求項1から12のいずれか1項に記載の方法の各工程を実行するように構成されている、実験室用自動化装置(12)用の制御プログラム(54)を作成するためのコンピュータープログラム。
  14. 請求項13に記載のコンピュータープログラムが格納されたコンピューター読取可能な媒体。
  15. 実験室用自動化装置(12)と、
    バーチャルリアリティのヘッドセット(14)と、
    運動検知制御装置(16)と、
    前記実験室用自動化装置(12)、前記バーチャルリアリティのヘッドセット(14)および前記運動検知制御装置(16)と通信可能に相互接続されたコンピューター(18)であって、請求項1から12のいずれか1項に記載の方法を実行するように構成された前記コンピューター(18)と、を備える、実験室用自動化装置(12)用の制御システム(10)。

JP2019026841A 2018-02-20 2019-02-18 バーチャルピペッティング Active JP7315336B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023115535A JP7545538B2 (ja) 2018-02-20 2023-07-13 バーチャルピペッティング

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18157645.5A EP3527333B1 (en) 2018-02-20 2018-02-20 Virtual pipetting
EP18157645.5 2018-02-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023115535A Division JP7545538B2 (ja) 2018-02-20 2023-07-13 バーチャルピペッティング

Publications (2)

Publication Number Publication Date
JP2019179027A true JP2019179027A (ja) 2019-10-17
JP7315336B2 JP7315336B2 (ja) 2023-07-26

Family

ID=61256575

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019026841A Active JP7315336B2 (ja) 2018-02-20 2019-02-18 バーチャルピペッティング
JP2023115535A Active JP7545538B2 (ja) 2018-02-20 2023-07-13 バーチャルピペッティング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023115535A Active JP7545538B2 (ja) 2018-02-20 2023-07-13 バーチャルピペッティング

Country Status (4)

Country Link
US (2) US11747357B2 (ja)
EP (2) EP3527333B1 (ja)
JP (2) JP7315336B2 (ja)
CN (1) CN110170346A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11926064B2 (en) * 2020-12-10 2024-03-12 Mitsubishi Electric Corporation Remote control manipulator system and remote control assistance system
WO2023183397A1 (en) * 2022-03-22 2023-09-28 Quality Executive Partners, Inc. Virtual reality simulation and method
KR20240103269A (ko) * 2022-12-27 2024-07-04 서울대학교산학협력단 합성 자동화 방법 및 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
JP2004317320A (ja) * 2003-04-16 2004-11-11 Hitachi Koki Co Ltd 自動分注装置
JP2010287221A (ja) * 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP2011519029A (ja) * 2008-04-24 2011-06-30 テカン・トレーディング・アクチェンゲゼルシャフト コンピュータ制御の液体処理ワークステーションにおける直接分注
EP2653272A1 (de) * 2012-04-17 2013-10-23 Siemens Aktiengesellschaft Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
JP2014122889A (ja) * 2012-12-21 2014-07-03 F. Hoffmann-La Roche Ag 複数の動作環境を有する、生体試料を分析するための分析システム
JP2017161517A (ja) * 2010-11-23 2017-09-14 アンドリュー・アライアンス・ソシエテ・アノニムAndrew Alliance S.A. ピペットのプログラミング可能な操作のための装置及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0650460B2 (ja) * 1989-10-17 1994-06-29 アプライド バイオシステムズ インコーポレイテッド ロボットインターフェース
JP5192263B2 (ja) * 2008-03-07 2013-05-08 シスメックス株式会社 分析装置および検体の搬送方法
DE102008027475A1 (de) * 2008-06-09 2009-12-10 Kuka Roboter Gmbh Vorrichtung und Verfahren zur rechnergestützten Generierung einer Manipulatorbahn
US9251721B2 (en) * 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
WO2012106706A2 (en) * 2011-02-04 2012-08-09 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model
DE102012011238A1 (de) 2012-06-06 2013-12-12 Heraeus Kulzer Gmbh Verfahren zur Herstellung eines Laboranalogs für Dentalimplantate
CN104380115A (zh) * 2012-06-11 2015-02-25 Sias股份公司 移液机器人
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN107102728B (zh) * 2017-03-28 2021-06-18 北京犀牛数字互动科技有限公司 基于虚拟现实技术的显示方法及系统
US10963750B2 (en) * 2018-01-04 2021-03-30 IAS Machine, LLC Procedural language and content generation environment for use in augmented reality/mixed reality systems to support laboratory and related operations
EP3782013A1 (en) * 2018-04-14 2021-02-24 The California State University - San Marcos Hands on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
JP2004317320A (ja) * 2003-04-16 2004-11-11 Hitachi Koki Co Ltd 自動分注装置
JP2011519029A (ja) * 2008-04-24 2011-06-30 テカン・トレーディング・アクチェンゲゼルシャフト コンピュータ制御の液体処理ワークステーションにおける直接分注
JP2010287221A (ja) * 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
JP2017161517A (ja) * 2010-11-23 2017-09-14 アンドリュー・アライアンス・ソシエテ・アノニムAndrew Alliance S.A. ピペットのプログラミング可能な操作のための装置及び方法
EP2653272A1 (de) * 2012-04-17 2013-10-23 Siemens Aktiengesellschaft Betriebsverfahren für einen Rechner zum Programmieren der Bewegungen einer Maschine
JP2014122889A (ja) * 2012-12-21 2014-07-03 F. Hoffmann-La Roche Ag 複数の動作環境を有する、生体試料を分析するための分析システム

Also Published As

Publication number Publication date
US20190257849A1 (en) 2019-08-22
EP4067014B1 (en) 2024-10-16
JP7545538B2 (ja) 2024-09-04
EP4067014A2 (en) 2022-10-05
US11747357B2 (en) 2023-09-05
EP3527333B1 (en) 2022-07-20
JP2023153823A (ja) 2023-10-18
EP4067014A3 (en) 2022-10-19
CN110170346A (zh) 2019-08-27
JP7315336B2 (ja) 2023-07-26
US20230333134A1 (en) 2023-10-19
EP3527333A1 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
JP7545538B2 (ja) バーチャルピペッティング
CN104718456B (zh) 实验室机器和用于自动处理实验室样本的方法
CN108687760B (zh) 机器人动作指令生成方法以及机器人动作指令生成装置
JP5308513B2 (ja) コンピュータ制御の液体処理ワークステーションにおける直接分注
EP3660517A1 (en) Apparatus for programmable manipulation of pipettes
CN111108363A (zh) 用于有害污染物测试的反应性划分模板
CN106971290A (zh) 用于生成关于电子实验室日志的条目的方法
JP6704320B2 (ja) 複数の試薬を手動操作するための検査室分析器、および複数の試薬を手動操作するための検査室分析器を作動する方法
CN113015908B (zh) 一种样本分析设备和试剂分配方法
EP3502708A1 (en) Monitoring a laboratory automation device via a simulation model
JP7506541B2 (ja) 物体の検出を用いた、ラボラトリーオートメーションデバイス制御プログラムの作成
US20240207836A1 (en) System including hand-held pipetting device
EP4179336B1 (en) Laboratory automation device with transparent display in door
JP7577185B2 (ja) ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス
KR20190067170A (ko) 수동으로 조작되는 모노 채널 또는 다중 채널 피펫 및 이러한 피펫을 위한 제어 버튼
JP7303283B2 (ja) 実験室用分析装置
GB2612967A (en) Computer vision system for a biological assay

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7315336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150