JP2018047452A - ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法 - Google Patents

ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法 Download PDF

Info

Publication number
JP2018047452A
JP2018047452A JP2017167532A JP2017167532A JP2018047452A JP 2018047452 A JP2018047452 A JP 2018047452A JP 2017167532 A JP2017167532 A JP 2017167532A JP 2017167532 A JP2017167532 A JP 2017167532A JP 2018047452 A JP2018047452 A JP 2018047452A
Authority
JP
Japan
Prior art keywords
micro
electrode
electrodes
micro object
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017167532A
Other languages
English (en)
Other versions
JP7048027B2 (ja
Inventor
ロン・マテイ
Ion Matei
ジェン・ピン・ル
Jeng Ping Lu
ネラトゥリ サイゴパル
Nelaturi Saigopal
ネラトゥリ サイゴパル
ジュリー・エイ・バート
A Bert Julie
ララ・エス・クラウフォード
S Crawford Lara
アーミン・アール・ヴォルケル
R Volkel Armin
ユージーン・エム・チョウ
M Chow Eugene
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palo Alto Research Center Inc
Original Assignee
Palo Alto Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palo Alto Research Center Inc filed Critical Palo Alto Research Center Inc
Publication of JP2018047452A publication Critical patent/JP2018047452A/ja
Application granted granted Critical
Publication of JP7048027B2 publication Critical patent/JP7048027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B01PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01LCHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/50273Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by the means or forces applied to move the fluids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32359Modeling, simulating assembly operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Dispersion Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Clinical Laboratory Science (AREA)
  • Hematology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physical Or Chemical Processes And Apparatus (AREA)
  • Micromachines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)

Abstract

【課題】ディジタルコンピュタの支援により、マイクロ物体の位置決めをリアルタイムに制御するのを可能とするシステム及び方法の提供。
【解決手段】マイクロ物体に近接した電極による1つ以上の力の発生によって媒体中に懸濁している少なくとも1つのマイクロ物体の動きを誘起する際に、シミュレーションによって電極のそれぞれとマイクロ物体との間の相互作用のパラメータを記述するモデルを作成113し、このモデルによりマイクロ物体を所望の位置に向かって移動させるための制御信号を、マイクロ物体の位置を追跡しながら生成114し、所望の位置に到達することを確認117するマイクロ物体制御システム。前記電極が螺旋電極で、電極ユニットに含まれ、電極が周期的に間隔を開けて配置される、システム。
【選択図】図12

Description

本特許出願は、一般に、マイクロアセンブリ制御に関し、より具体的には、ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法に関する。
マイクロ物体(寸法がミクロン単位で測定される物体)のアセンブリに対して制御が実行されることができる程度は、多くの技術において重要な差異を形成する可能性がある。例えば、再構成可能な電気回路の製造は、所望の挙動を有する回路を製造するためのコンデンサ及び抵抗器などのマイクロ物体の位置決めを正確に制御するのを可能とすることによって改善することができる。同様に、光起電力太陽電池アレイの製造は、アレイ上の特定の位置に特定の品質を有する光電池を置くことができることから利益を得ることができる。そのような電池は、人間又はロボット操作によって電池の所望の配置を可能とするには小さすぎることがあり、他の種類の輸送機構が必要とされる。粒子のマイクロアセンブリは、材料の微細構造を設計するために使用されることもできる。組織内に組み立てられる生体細胞は、位置決めされて配向される必要がある。所望の位置に対する及び所望の方向によるマイクロ物体の迅速な指向性アセンブリを達成することが一般に必要である。マイクロ物体のアセンブリに対する制御を増加させることが大きな利点をもたらすことができる多くの他の技術分野が存在する。
既存の方法は、必要な精度でマイクロ物体の動きを制御することができない。例えば、制御されない機械的撹拌は、典型的には、指向性粒子アセンブリのために使用される。しかしながら、この技術は、エレクトロニクスアセンブリなどの特定の産業用途に必要なほぼ100%の歩留まりを達成することができない。
以前の研究はまた、マイクロ物体の動きを指示するために電界を使用しようと試みている。例えば、Edwardsら、「電界によるコロイド粒子の制御」は、不均一な電界を使用したコロイド粒子集合(直径が1μmから3μm)及び個々のコロイドの制御を論じている。特に、個々のコロイド粒子と、水及び水酸化ナトリウム溶液中に懸濁したコロイド粒子の集合は、2つの並列電極を使用した電気泳動及び電気浸透を介して操作される。この操作は、電界が2つの並列電極によって完全に指向され且つ粒子の存在によって妨害されないという前提で行われる。光学ベースのフィードバック制御は、コロイド結晶の組み立て及び分解を監視するために使用される。フィードバック制御は、粒子群にフォーカスするため、特定の粒子を所望の位置に置くことができない。しかしながら、電界を発生させるために使用される電極に対するコロイドの相対的なサイズ、粒子が浸漬される媒体、及び結果として得られる数学的モデルは、記載された技術が特定の産業用途において使用されるのを可能としない。特に、記載された技術は、Edwardsの論文において議論されたものよりも僅かに大きいマイクロ物体を組み立てるのには適していない。さらに、使用される制御スキームは、そのような技術の適用性をさらに制限する高周波信号(MHz)を含む。
Xueら、「コロイド自己アセンブリプロセスの最適設計」、制御システム技術に関するIEEEトランザクション、22(5):1956〜1963、2014年9月、及び、Xueら、「コロイド状自己アセンブリシステムのMdpベースの最適制御」、米国制御会議(ACC)、2013年、3397〜3402ページ、2013年6月などの他の研究は、確率的なコロイド状アセンブリを制御して所望の高結晶性状態にシステムを駆動するためにマルコフ決定プロセス最適制御ポリシーを使用して論じている。アクチュエータパラメータ化されたランジュバン方程式は、システムのダイナミクスを記述するために使用される。しかしながら、記載されたアプローチは、個々の粒子の直接操作を可能としない。電気回路を組み立てる際に個々の粒子制御がさらに困難になるため、記載された技術が電気回路アセンブリに使用可能かどうかは不明なままである。さらに、これらの研究に記載された粒子サイズ(直径≒3μm)は、作動電位によって完全に成形される電界にほとんど妨害をもたらさない。さらに、所望の状態を達成するための時間スケールは、記載された技術が適用されるときに達成するのが困難な高スループットの目標を形成する。
Qianら、「粒子対粒子精度を有する構造を製造するための電気泳動堆積を介したオンデマンド及び位置選択的粒子集合」、Langmuir、31(12):3563〜3568、2015年、PMID:25314133などのさらに他の研究は、粒子(2μmのポリスチレンビーズ)操作のための主要駆動である電気泳動力による単一粒子精度及び位置選択的粒子堆積を示している。ナノ粒子の所望の位置に近い大きなエネルギ井戸を構築することによってエネルギランドスケープを成形することは、ナノ構造の形成を制御するための選択的なアプローチであった。構造を製造する上で重要な部分であるが、記載された技術は、粒子堆積が電気回路に現れることがある潜在的に複雑な構造を達成するには十分でないため、産業用途が限定されている。さらに、このアプローチは、アセンブリが大部分の用途において使用されるために一般に必要とされる最終基板へのアセンブリのその後の輸送と互換性がない。
顕微鏡的粒子のアセンブリの制御のためのさらに他の技術が提案されている。例えば、R.Probstら、「チップ上の小物体のフロー制御:生細胞、量子ドット及びナノワイヤの操作」、IEEE制御システム、32(2):26〜53、2012年4月は、正確に細胞、量子ドット及びナノワイヤを操作するために電界誘起電気浸透流作動を使用することを記載している。最小2乗法を使用して制御スキームを設計するために粒子運動の電極電位における線形モデルが取得されて使用される。さらに、粒子の電界分布への影響はごく僅かである。それゆえに、このモデルは、線形性がもはや成立せず且つ電界が粒子位置によって影響を受ける電極電位である場合には適用することができない。他のアプローチは、Shapiroらによって発行された米国特許第7,651,598号明細書及び米国特許第8,110,083号明細書に記載されており、流体フロー場を制御して粒子を移動させるために流体フロー作動にフォーカスしている。Shapiroらによって記載された粒子輸送の主な機構は電気浸透である。この機構は、電極に印加される電圧に線形制御スキームをもたらす。さらに、制御コマンドを生成するためのShapiroのアプローチは、マトリクスの反転を含み、これは電極のサイズに比例しない操作であり、多数の電極が関与する場合には実用的でない可能性がある。
さらに他の技術が提案されている。例えば、電気泳動力並びに電気浸透フローの流体運動は、双方とも、粒子を駆動するために使用されることができることから、粒子が浸漬された水性溶液は、Tolleyら、「動的にプログラム可能な流体アセンブリ」、Applied Physics Letters、93(25)、2008年などの研究において検討されている一般的な選択である。しかしながら、これらのモデルは、球状の粒子に適用可能であり、他の形状の粒子を制御するのに適していない可能性があり、それゆえに、産業上の利用可能性を限定している。
したがって、産業用途にとって十分な精度及びスケーラビリティを有するマイクロ物体の動きを制御する方法の必要性がある。
以下に記載されるシステム及び方法は、マイクロ物体の位置決めをリアルタイムに制御するのを可能とする。誘電媒体などの流体中に懸濁している少なくとも1つのマイクロ物体の動きは、マイクロ物体に近接した電極を介した電圧誘起静電力などの力の群の発生によって誘起されることができる。動きを誘起する前に、電極とマイクロ物体との間の相互作用のパラメータ(静電容量など)を記述するモデルを作成するためにシミュレーションが使用される。電極によって発生される電圧及び電圧に起因して誘起される動きの程度を記述する基底関数がモデルを使用して生成される。基底関数は、マイクロ物体を所望の位置に向かって移動させるための閉ループポリシー制御スキームを設計するために使用される。スキームにおいて制御信号を生成するとき、マイクロ物体の位置が追跡されて考慮される。
制御スキームを生成する前にモデル化及び基底関数導出を実行することにより、産業用途にとってスケーラブルなマイクロ物体位置のリアルタイム制御を行うためにリアルタイムでスキームを生成するための計算量が減少する。記載されたシステム及び方法はまた、複数のマイクロ物体の位置決めを同時に制御するようにスケーリングされることができる。
1つの実施形態において、ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法が提供される。少なくとも1つのマイクロ物体の位置決めのためのシステムの1つ以上のパラメータが取得され、システムは、電極による1つ以上の力の発生によってマイクロ物体が電極に近接して流体中に懸濁されたときにマイクロ物体の動きを誘起するように構成された複数の電極を備える。各電極とマイクロ物体との間の相互作用のパラメータは、その電極とマイクロ物体との間の距離の関数としてモデル化される。流体内のマイクロ物体の位置が取得される。取得された位置、相互作用パラメータ関数及びマイクロ物体の所望の位置を使用して、電極によって予め定められた期間にわたって1つ以上の力を発生するためのコマンドを備える制御信号が各電極について生成される。
本発明のさらに他の実施形態は、以下の詳細な説明から当業者にとって容易に明らかになるであろうが、本発明の実施形態は、本発明を実施するために想定される最良の態様を例示することによって記載される。理解されるように、本発明は、他の異なる実施形態が可能であり、そのいくつかの詳細は、全て本発明の精神及び範囲から逸脱することなく、様々な自明な点において変更可能である。したがって、図面及び詳細な説明は、本質的に例示的であり、限定的ではないとみなされるべきである。
図1は、ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステムを示すブロック図である。 図2は、1つの実施形態にかかる、図1の4つの螺旋電極を含む螺旋電極ユニットを示す図である。 図3は、例として、図2の螺旋ユニット上の2つのマイクロ物体の位置を示す図である。 図4は、静電容量電気回路を形成する4つの電極及びマイクロ物体の表現を示す図である。 図5は、例として、所定のシミュレートされた数値が連続的に微分可能な関数にあてはめられる場合のy定数によるマイクロ物体水平位置の関数としてのマイクロ物体と電極との間の静電容量C(x,y)を示す図である。 図6は、例として、テンプレートマッチングアルゴリズムの結果を示す図である。 図7Aは、例として、式(8)の一連の最適化問題を解くことから得られるマイクロ物体位置の関数として得られる電極電圧パターンを示す図である。 図7Bは、例として、式(8)の一連の最適化問題を解くことから得られるマイクロ物体位置の関数として得られる電極電圧パターンを示す図である。 図7Cは、例として、式(8)の一連の最適化問題を解くことから得られるマイクロ物体位置の関数として得られる電極電圧パターンを示す図である。 図7Dは、例として、式(8)の一連の最適化問題を解くことから得られるマイクロ物体位置の関数として得られる電極電圧パターンを示す図である。 図8は、例として、1つの電極によって発生された電圧及びその電極によって発生された電圧場によって誘起されたマイクロ物体の動きの依存性を記述する基底関数を示す図である。 図9は、例として、インパルスベースのリアルタイム制御スキームを示す図である。 図10Aは、例として、図2の制御ユニットを使用して1000μmのマイクロ物体を移動させるための制御スキームを示す図である。 図10Bは、例として、図2の制御ユニットを使用して1000μmのマイクロ物体を移動させるための制御スキームを示す図である。 図10Cは、例として、図2の制御ユニットを使用して1000μmのマイクロ物体を移動させるための制御スキームを示す図である。 図10Dは、例として、図2の制御ユニットを使用して1000μmのマイクロ物体を移動させるための制御スキームを示す図である。 図11は、例として、図10の制御スキームの適用結果を示す図である。 図12は、ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のための方法を示すフロー図である。 図13は、1つの実施形態にかかる図12の方法において使用するための静電容量ベースのモデルを生成するためのルーチンを記載するフロー図である。 図14は、1つの実施形態にかかる図12の方法において使用するための制御信号生成のための基底関数を導出するためのルーチンを示すフロー図である。 図15は、1つの実施形態にかかる図12の方法において使用するためのマイクロ物体の位置を追跡するためのルーチンを示すフロー図である。
マイクロ物体の動きに対するリアルタイム制御は、リアルタイムのマイクロ物体位置追跡と、集中した静電容量ベースの運動モデルの使用とを組み合わせて所望の位置に向けてマイクロ物体を動かすのに必要なマイクロ物体に近接した電極によって発生される電圧を予測することによって達成されることができる。追跡は、マイクロ物体の位置を補正するために使用可能なリアルタイムのフィードバックを提供する。以下のシステム及び方法は、単一のマイクロ物体の位置の制御を参照して記載されるが、システム及び方法はまた、複数のマイクロ物体の位置を同時に制御するためにも使用されることができる。さらに、電極と以下のマイクロ物体との間の相互作用は電気力に関して記載されるが、以下に記載されるシステム及び方法は、磁力などの電気力以外の他の力を使用することができ、その場合、インダクタンスがシミュレートするための適切なパラメータである。予測可能な空間依存性を有する化学的ポテンシャル及び他の駆動力もまた使用可能である。
図1は、ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム10を示すブロック図である。システム10は、1つ以上のマイクロ物体12に浸漬された誘電流体11を含む。誘電流体11は、側面上の筐体13と底面上のフィルム14の層とによって収容されることができる。他の誘電流体11も可能であるが、1つの実施形態において、誘電流体11は、ジ−2−エチルヘキシルスルホサクシネート(AOT)チャージディレクタ分子によってドープされたテキサス州スプリングのエクソンモービルケミカル社製のIsopar(登録商標)Mとすることができる。他の厚さの他の種類のフィルム14も可能であるが、1つの実施形態において、フィルム14は、厚さ50μmのペルフルオロアルコキシル基(PFA)フィルムとすることができる。マイクロ物体12は、ミクロン単位で測定される寸法の任意の物体とすることができる。1つの実施形態において、マイクロ物体12は、300μm×200μm×50μmの寸法の非球状シリコンチップレットとすることができ、そのようなチップレットは矩形である。他の用途において、光学メタマテリアル用に設計された微細構造について、マイクロ物体は、直径が0.2μmの粒子とすることができる。特に明記しない限り、以下の実験データを得るためにこれらの200μmのシリコンチップレットのマイクロ物体12が使用された。球形のものを含む様々な寸法及び形状の他の種類のマイクロ物体12もまた、システム10を使用して制御されることができる。
フィルム14は、これらの電極15A〜15Dに電位が印加されると電圧を発生する複数の電極15A〜15D上に積層される。1つの実施形態において、電極15A〜15Dは、螺旋電極であり、螺旋電極ユニットに配置される。図2は、1つの実施形態にかかる、図1の4つの螺旋電極15A〜15Dを含む螺旋電極ユニット40を示す図である。電極15A〜15Dは、それぞれ、異なるパターン、振幅、周波数及び位相を有する異なる電圧によってそれぞれ独立して駆動されることができる。図2を参照してわかるように、電極15A〜15Dのシーケンスは、定期的に外部から出発してユニット40の中心に向かって移動することを繰り返す。電極15A〜15Dの間の径方向間隔は100μmである。1つの実施形態において、電極の幅は100μmであり、電極15A〜15Dの間の径方向距離は、100μmとすることができる。さらなる実施形態において、電極15A〜15Dの他の径方向距離及び幅が可能である。これらの電極15によって形成される静電ポテンシャルは、空間的自由度が制限されているが、時間的自由度が豊富であり、(螺旋の中心から離れる又はそれに向かう)マイクロ物体12の径方向の動きを誘起するために電極の螺旋配置が使用可能である。
以下においてさらに記載されるように、電極15A〜15Dによる電圧の発生は、マイクロ物体と電極との間の力を変化させることによってマイクロ物体12の位置の変化を誘起することができる。図3は、例として、図2の螺旋ユニット40上の2つの六角形のマイクロ物体12の位置を示す図である。以下においてさらに記載されるように、電極15A〜15Dによる電界の発生に応答した電極15A〜15Dに対するマイクロ物体12の動きが追跡されることができる。図3における丸17で囲まれたマイクロ物体12などのマイクロ物体12の座標16は、電極15に対するマイクロ物体12の位置に基づいて算出することができ、マイクロ物体12の動きの大きさは、電界の発生前後の座標16の差異に基づいて算出することができる。座標は、識別されたマイクロ物体12の中心に対応する。
図2及び図3を参照して記載された電極15A〜15Dは螺旋状であるが、電極15A〜15Dは、他の形状であってもよく、他の構成に組み合わせられてもよい。アレイ内の電極15A〜15Dの数は、4個以外の数とすることができる。例えば、さらなる実施形態において、非螺旋電極15A〜15Dは、電極の動きを制御するために使用される2次元アレイに配置されることができる。さらに他の実施形態において、電極はまた、2次元グリッドパターンで配置されることもできる。
システム10に応じて、様々な数の追加の電極15A〜15Dがシステム10に含まれることができ、それゆえに、これらの電極のそれぞれが独立して制御されることができるため、様々な力制御パターンが適用可能である。そのため、上記螺旋電極15A〜15Dは、4個の別個の制御信号を有するが、ディスプレイバックプレーンと同様に、多くの電極の一般化されたアレイ、1つの実施形態においては数百万に達する多数の電極が画素電極パターンを生成するために使用可能であり、螺旋又は他のパターンを近似する。2016年12月1日に公開された「薄膜オプトカプラを使用して形成されたアクティブマトリクスバックプレーン」と題する米国特許出願公開第20160351584号明細書は、電極アレイを用いてこれらの力パターンを生成する装置を記載している。Luによる2008年2月19日に発行された米国特許第7,332,361号明細書「ゼログラフィックマイクロ・アセンブラ」は、そのようなアセンブラアレイを最終基板に統合された転写を有するプリンタシステムに統合するためのシステムを記載している。さらに他の電極構成も可能である。
図1を参照すると、電極15A〜15Dは、ディジタル・アナログ変換器19によって順次制御される増幅器18によって駆動される。ディジタル・アナログ変換器19は、少なくとも1つのコンピューティング装置20に接続され、コンピューティング装置20の制御下で、変換器19に接続されたコンピューティング装置20によって指示されたときに増幅器18を介して特定期間にわたって特定電圧を発生するように電極15A〜15Dに指示する。
コンピューティング装置20は、電圧の発生に関連し且つマイクロ物体12の動きを誘起するシステム10のパラメータ22を記憶するデータベース21に接続される。そのようなパラメータ22は、電極15の寸法及び形状(螺旋又は非螺旋形状)と、電極15、フィルム14、マイクロ物体及び誘電流体11が構成される材料と、フィルム14の厚さと、フィルム14に対するマイクロ物体12上の抗力の強度と、マイクロ物体12の寸法と、電極15A〜15Dが発生することができる電圧とを含むことができ、他のパラメータ22も可能である。
電極15A〜15Dにわたって制御を行う前に、コンピューティング装置20は、パラメータ22を使用して電極15A〜15Dによって発生された電界とマイクロ物体12との間の相互作用の静電容量に基づくモデル24を作成する静電容量モデラ23を実行する。モデル24は、単一のマイクロ物体12に関して記載されているが、モデル24はまた、複数のマイクロ物体12をカバーするように拡張されることもできる。さらなる実施形態において、モデラ23は、静電容量以外の電極15A〜15Dとマイクロ物体12との間の相互作用のパラメータをモデル化することができる。
電極15A〜15Dが電圧を発生すると、誘電泳動力及び電気泳動力がまた、電極15A〜15Dによって発生される。x及びy方向におけるマイクロ物体12上の誘電泳動力及び電気泳動力の射影は、それぞれ、F(x,y)及びF(x,y)によってモデル24において示される。ここで、(x,y)は、2次元におけるマイクロ物体の12中心の位置を表す(座標の添え字は、粒子の中心を指す)。マイクロ物体12の動きの速度に比例する粘性抵抗力は、マイクロ物体12の動きに対抗し、モデル24において考慮される。マイクロ物体12の無視できる質量のために、加速度は、モデル24の作成において無視される。実験的に示されるように、マイクロ物体12は、移動中にフィルム14の表面に接触する。したがって、マイクロ物体12は、モデル24において一定の高さにとどまり、以下に記載されるモデル24の実施形態において、フィルム14の厚さは50μmであり、yは50μmに設定され、モデル24は、フィルム14の表面と接触するマイクロ物体12に起因して追加の静止摩擦力を含む。モデル24は、F(x,y)が下方を指す(及びマイクロ物体12が接触面に向かって引っ張られる)場合、F(x,y)に比例するように静止摩擦力を想定する。それゆえに、モデル24が構成するマイクロ物体12に作用する力は、x方向に対応する以下の運動方程式にまとめられる:
である。ここで、μは、粘性摩擦係数であり、
は、x方向におけるマイクロ物体の速度である。マイクロ物体12がほぼ一定の高さにとどまるため、モデル24は、垂直方向の移動を考慮せず、それゆえに、y方向についての方程式は含まれない。静止摩擦力の強度は、F(x)が負である(マイクロ物体12がフィルム14に向かって下方に押される)場合にのみ、その定義が追加の表面摩擦抗力を反映する変数γ(t)によって制御される。パラメータ22の一部として含まれるパラメータγは、抗力の強度をモデル化し、システム10を使用する前に実験的に決定される。γは、(正の速度を仮定して)合計力が正値をとることができるようなものでなければならず、それ以外の場合には、マイクロ物体12は移動することがない。
モデル24の記述は、図2を参照して上述したユニット40の電極15A〜15Dを参照するが、モデルはまた、異なる数の電極15A〜15Dを有する他の種類の電極ユニットを表すように適合されることもできる。
モデル24において、力F(x)及びF(x)は、マイクロ物体12のポテンシャルエネルギを使用して表現される。ポテンシャルエネルギは、容量ベースの電気回路を形成するものとして電極15A〜15D及びマイクロ物体12を表すことによって算出される。図4は、静電容量電気回路を形成する4つの電極15A〜15D及びマイクロ物体の表現を示す図である。そのような表現の論理的根拠は、誘電流体11の誘電特性に起因してマイクロ物体12に誘起される電荷に由来する。この現象は、電位差がコンデンサに印加される場合のコンデンサの挙動と類似している。さらに、マイクロ物体12及び電極15A〜15Dは、金属板として機能する。したがって、これらのコンデンサの静電容量は、マイクロ物体12の位置に依存する。予想されるように、最大静電容量値は、マイクロ物体12の位置が電極との重なりを最大にするときに達成される。小さな「漏れ」コンデンサCεは、環境への全ての浮遊容量を説明するために含まれる。
4つの電極15A〜15Dにおけるグラウンドへの電位を、
とする。N+1電位(VN+1=0)としてグラウンド且つN+1コンデンサとして漏れコンデンサを表現することにより、マイクロ物体12のポテンシャルエネルギは、
によって与えられる。ここで、qは、マイクロ物体12の電荷であり、(x,y)による
は、iとして示される電極15A〜15Dの座標である。第1項は誘電泳動効果を反映するとともに、第2項は電気泳動を記述する。実験的に観察されるように、マイクロ物体12の電荷は、大多数の実験条件について無視できる。したがって、以下のモデル24の記述は、マイクロ物体12を移動させるためのモダリティとしての誘電泳動に排他的にフォーカスしている。定常状態において、所定位置におけるマイクロ物体12の電位は、
として表現されることができる。ここで、
である。N+1項は、ゼロ電位に起因して現れない。ポテンシャルエネルギの閉形式表現は、以下のとおりである:
マイクロ物体12に作用する誘電泳動力は、x及びy方向に関してポテンシャルエネルギの勾配をとることによって算出される。それゆえに、x方向に沿ったマイクロ物体12の速度は、
として表現されることができる。ここで、Vi,j=V−VによるV=[V1,2,・・・,V1,N,V2,3,・・・,V2,N,・・・,VN−1,N]及び
は、(i,j),(i,j)エントリ((i,j)は、行又は列の指標としてみられる)が、
によって与えられる対角行列である。いくつかのさらなる単純化は、電極ユニット40の螺旋電極パターンが4つの周期電極(Vi,j=V−V、ここで、V4k+i=vであり、vは、行i∈{1,2,3,4}の電位である)を有することを想起することによって、且つ、4つの電極線電位vの観点で明示的に電位差を表すことによって行うことができる。
グラウンドに対する電極電位の二次微分である単純化されたマイクロ物体12のダイナミクスは、以下として表現されることができる:
ここで、v=[v,v,v,v]であり、
である。行列Mは、電位差u=(vi,j,1≦i<j≦4)のベクトルにvをマッピングする。例えば、行列Mの第1行は、ベクトルu=Mの第1エントリがv1,2=v−vであるように、[1.−1,0,0,0,0]である。モデル24を制御設計にとって有用にするために、電極とマイクロ物体12との間の静電容量の表現は、マイクロ物体12の位置に関して見出される。
静電容量モデラ23は、シミュレーションを実行することによって静電容量及びそれらの偏導関数を推定し、シミュレーションデータは、静電容量及びそれらの偏導関数のパラメトリックモデルに適合するために使用される。1つの実施形態において、モデラ23は、スウェーデン、ストックホルムのComsol(登録商標)AB社製のCOMSOL Multiphysics(登録商標)などの市販のソフトウェア及び2次元静電COMSOLモデルをシミュレートすることによる静電容量及びそれらの偏導関数を含むことができる。COMSOL(登録商標)モデルにおいて、マイクロ物体12及び電極15A〜15Dの幾何学的形状によって与えられる寸法を有する2枚の金属板は、誘電流体11と同じ特性を有する誘電体によって囲まれている。モデラ23がモデル設計の境界条件としてグラウンド境界(ゼロ電位)を使用する偏微分方程式を使用する電磁気シミュレーションの形式で準静的モデルが算出される。静電容量マトリクスエントリは、電位がそれらの一方に印加され且つ他方がグラウンドに設定されたときに各導体に生じる電荷から算出される。このマトリクスは、電位のベクトルを電荷のベクトルにマッピングする。COMSOL(登録商標)シミュレーションは、マイクロ物体12が電極に近付くと場の歪みを反映する。さらなる実施形態において、他のシミュレーションソフトウェアがCOMSOL(登録商標)ソフトウェアの代わりに使用されることができる。
静電容量モデラ23は、ある範囲のマイクロ物体12の位置についてシミュレーションを行うことができる。1つの実施形態において、評価位置は、δ=1e−3μmによるx∈[−1mm,1mm]及びy∈{50μm−δ,50μm,50μm+δ}とすることができるが、他の位置も評価されることができる。異なる位置における静電容量を評価した後、静電容量モデラ23は、マイクロ物体12の位置と電極15A〜15Dとの関係を示すモデル24に含まれる関数を構築することができる。図5は、例として、所定のシミュレートされた数値が連続的に微分可能な関数にあてはめられる場合のy定数によるマイクロ物体12の水平位置の関数としてのマイクロ物体12と電極15A〜15Dとの間の静電容量C(x,y)を示す図である。xに関して偏導関数を明示的に算出することによって且つ数値近似により、それぞれ、x及びyに関するC(x,y)の偏導関数
が決定された。図5の図は、x∈[−2mm,2mm]について、C(x,y )=0.26031e−10[erf(−4522x+21.71)+erf(495.8x−3.432)+erf(−167.6x+0.6708)+erf(3121x+0.8186)+erf(−3119x+0.8176)+erf(167.4x−0.6707)+erf(11120x+1.86)+erf(−11120x+1.86)]であり且つそうでなければゼロによって与えられる連続的に微分可能な関数におけるシミュレートされた数値計算のフィッティングであるCOMSOL Multiphysics(登録商標)ソフトウェアのシミュレーションを使用して生成された。
上記式(1)及び(6)に含まれる項μについての合理的な近似値を決定するために、モデラ23は、「等価球直径」及び球体上の粘性抵抗についてのストークスの法則の原理を使用する。マイクロ物体12の寸法に基づいて、同じ容積を確保する球体の半径は、R=8.9470e−05mである。ストークスの法則によれば、球体についての粘性抵抗は、F=6ηπRv=μvであり、vは球速度であり且つη=2.06mPa・sの粘性係数である。したがって、μ≒3.4741e−06N・s・m−1である。誘電流体がIsopar(登録商標)Mである実施形態において、Isopar(登録商標)Mの密度(ρ=788Kg・m−3)であり且つ速度の大きさがyを考慮すると、レイノルズ数は比較的小さく、したがって、モデラ23は、粘性抵抗力をモデル化するためにストークスの法則を使用する。
それゆえに、モデル24は、システムのパラメータ22を考慮に入れ、マイクロ物体12と電極15との間の静電容量の依存性を考慮するが、これは、以下に記載されるように、マイクロ物体12を所望の位置に向かって移動させるために電極によって生成されるのに必要とする電圧の必要量を決定するために使用可能である。さらなる実施形態において、電極15A〜15Dとマイクロ物体12との間の静電容量と、電極15A〜15Dとマイクロ物体12との間の距離との関係を記述する異なる静電容量ベースのモデルが電圧の必要量を決定するために使用可能である。
図1を参照すると、コンピューティング装置20は、さらに、マイクロ物体12の位置を追跡することができる位置追跡器25を実行する。コンピューティング装置20は、電極15A〜15Dによる電圧の発生によるマイクロ物体12の移動の前後において、有線又は無線接続を介して、電極15A〜15D及び電極15A〜15D上のマイクロ物体12の視覚的監視を実行する高速高解像度カメラ26に接続される。以下にさらに記載されるように、特定の時点においてカメラ26によって捕捉された被監視電極15A〜15D及びマイクロ物体12を表す生データ27が位置追跡器25に供給され、位置追跡器25に含まれるフレームグラバー28がデータ27を画像29に変換して画像29を分析する。1つの実施形態において、画像29は、グレースケール画像とすることができる。さらなる実施形態において、画像29は、カラー画像とすることができる。画像29の他の特性も可能であるが、1つの実施形態において、画像は、毎秒543フレームにおいて1696×1704の解像度を有することができる。位置追跡器25は、分析のために電極15A〜15D及びマイクロ物体12の以下の2つの特性を利用する:すなわち、電極15A〜15Dは静的であり、したがって、画像29のそれぞれの背景と考えることができ(画像29はまた、以下の記述においてfと示される)、連続時間ステップにおけるマイクロ物体の位置の差異は、小値ε、すなわち、
によって境界とされる。
位置追跡器25は、マイクロ物体12の初期移動前に捕捉されたデータを表す画像29における背景成分30を識別するために背景抽出アルゴリズムを実行する。Staufferら、「リアルタイム追跡のための適応背景混合モデル」、コンピュータビジョン及びパターン認識、1999、IEEEコンピュータ学会会議、第2巻、IEEE、1999年、及び、Zoran Zivkovic、「背景減算のための改善された適応ガウス混合モデル」、パターン認識、2004、ICPR2004、第17回国際会議会報、第2巻、28−31ページ、IEEE、2004年によって記載されたものなどの古典的な背景減算アルゴリズムは、いくつかの欠点を有する。そのようなアルゴリズムは、背景をモデル化する尤度が低くなるように重みがソートされる重み付き確率分布の集合に対して各フレーム内の各画素を分類することに基づいている。このアプローチを使用して、fにおける画素値を考えると、画素が背景強度をモデル化する可能性がある(マハラノビス距離によって測定される)分布に近い場合、画素は背景画素として分類される。fにおける各画素における各分布についての混合モデルにおける重み、平均及び分散を更新することは、マイクロ物体がそれらの所望の位置に到達した後に固定になったときにそれらが徐々に背景に吸収されるように、背景の動的モデルをもたらす。これらのアルゴリズムは、重み、閾値及び分布パラメータの選択に基づいて大部分が成功又は失敗する。これらのアルゴリズムパラメータはまた、初期混合モデルが不十分である場合には、ゆっくりと安定化することができる。安定したパラメータにもかかわらず、背景減算は、背景からマイクロ物体12のきれいなセグメンテーションをもたらす可能性が低い。さらに重要なことに、セットアップエラー、大気暴露及び汚れによる誘電流体中の不純物は、数百ミクロンと同じ大きさとすることができ、きれいにするのが困難であり得る。そのような不純物はまた、印加された電界に敏感であり、摂動され、前景の一部として分類される。
したがって、位置追跡器25は、他の処理技術と組み合わせて背景抽出アルゴリズムを使用して、マイクロ物体12の動きを監視する。特に、特定のマイクロ物体12を移動させるために電極15A〜15Dによって電圧が発生される前に、位置追跡器25は、パラメータを安定化させるためにいくつかの画像29について上記引用されたStauffer及びZincovicの論文において参照されるものなどの少なくとも1つの背景減算アルゴリズムを実行し、fにおける各画素における各分布についての混合モデルは、背景の動的モデルをもたらす。電圧が電極15A〜15Dによって発生され、発生された場によってマイクロ物体12が動かされると、位置追跡器25は、図12を参照して以下に記載されるように、マイクロ物体12の位置を決定する。特に、位置追跡器25は、(移動前後の生データ27に由来する画像29との比較を使用して)画像29の移動部分及び非移動部分を識別し、非移動成分は背景成分30であり、移動成分は前景成分31である。移動する前景物体を示す第1の数個のフレームについて、位置追跡器25は、直径が移動するマイクロ物体12内の最大内接円の直径であるディスクを有するfの(拡張が続く浸食である)モルフォロジカル・オープニングを使用する。他の形状のモルフォロジカル・オープニングも可能であるが、1つの実施形態において、ディスクDを有する形状Xのモルフォロジカル・オープニングは、!及び
がそれぞれミンコフスキー差及び和を表す集合
である。モルフォロジカル・オープニングの適用は、画像29からマイクロ物体12のサイズよりも小さい形状及び不純物を除去するために行われる。そして、残りの接続された前景成分の群は、マイクロ物体12に対応する。
位置追跡器25が接続された成分を識別すると、位置追跡器は、検出された接続成分の周りの小さな近隣においてテンプレートマッチングアルゴリズムを実行する。1つの実施形態において、近傍は50×50画素とすることができるが、近傍の他のサイズも可能である。アルゴリズムにおいて使用されるテンプレートは、(データベース21(図示しない)に記憶されることができる)位置追跡された同じマイクロ物体12又は同様のマイクロ物体12のいずれかであるマイクロ物体12の画像であり、テンプレートマッチングは、fにおけるマイクロ物体12との最大重複がある場合、テンプレートの位置を識別するために進む。識別は、検出されたマイクロ物体12の中心に対応する(データベース21に記憶されることができる)位置32の正確な推定をもたらし、その例は、図6を参照してみることができる。図6は、例として、テンプレートマッチングアルゴリズムの結果を示す図70である。図6を参照してわかるように、カメラ26によって供給されるデータは、位置によって複数の電極ユニット40に関連する複数のマイクロ物体12の動きを監視するために分析されることができる。追跡された位置は、マイクロ物体12を囲む矩形41によって示される。螺旋電極ユニット40及び六角形のマイクロ物体12が示されているが、テンプレートマッチングアルゴリズムは、他の数の電極ユニット40及び他の形状の電極ユニット40に関連して他の形状のマイクロ物体12の位置を監視するために位置追跡器25によって使用されることができる。
図1を参照すると、位置追跡器25が背景抽出アルゴリズム、モルフォロジカル・オープニングアプリケーション及びテンプレートマッチングアルゴリズムを実行することによってマイクロ物体12の位置を決定すると、位置追跡器は、マイクロ物体の位置での小さな摂動(中心距離<ε)をもたらす誘電泳電界の発生の次の反復に起因して後続のグレースケール画像29においてマイクロ物体12を識別するために同じステップの全てを実行する必要はない。したがって、位置追跡器25は、少なくとも2εの側のデータベース21に記憶されることができる正方形窓33を画定し、窓33の内部において上述したテンプレートマッチングアルゴリズムを実行する。1つの実施形態において、窓33のサイズは、マイクロ物体12の複数の位置の決定を通じて同一のままとすることができる。さらなる実施形態において、窓33のサイズは、1つ以上の位置決定後に再定義されることができる。全体画像29とは対照的に、窓33の内部においてテンプレートマッチングアルゴリズムを実行することは、マイクロ物体12の中心を検出するのに必要な時間を短縮する。表1は、窓の様々なサイズについてのテンプレートマッチングアルゴリズムのための実験的に見出された計算時間を列挙している。
コンピューティング装置20は、さらに、マイクロ物体を既知の初期位置37から所望の位置38まで移動させるための制御スキーム36を生成する信号生成器35を実行する。制御スキームは、増幅器18及び変換器19を介して電極15A〜15Dに印加される1つ以上の制御信号39を含む。各制御信号39は、特定期間にわたって特定電圧を発生させるための電極15A〜15D用のコマンドである。制御スキーム36は、さらに、制御信号39の印加間を通過しなければならない所定の時間量を含む。それゆえに、ユニット40における複数の電極15A〜15Dについての制御信号は、図9を参照してさらに以下に記載されるように、一連のインパルスとして同時に印加されることができる。
追跡されたマイクロ物体12の位置を有することにより、信号生成器35は、リアルタイムフィードバックに基づいてマイクロ物体の位置の所望の変化を達成する1つ以上の信号39を生成することができ、それゆえに、物体が所望の位置まで搬送されることができる速度を増加させる。スキーム36は、漸進的に生成され、信号39は、マイクロ物体12が位置を変えると生成される。それゆえに、信号生成器は、以下のワンステップ先行ポリシーに基づく制御ポリシーを実装する:マイクロ物体12の各位置32について、信号生成器35は、マイクロ物体を所望の位置38に近付ける信号39を生成する。信号39の生成に続いて、信号生成器35は、ディジタル・アナログ変換器19及び増幅器18を介して信号39によって必要とされる電圧を発生させるように電極15A〜15Dに指示することによって制御信号39を印加することができる。
生成器35による信号39の生成は、上述したように作成された静電容量ベースのモデル24を利用する。特に、制御信号を印加する前に、信号生成器35は、電極15A〜15Dのうちの1つによって発生された電圧(したがって、発生された力)の依存性及び1つの電極15による電圧の発生によるマイクロ物体12の位置の変化の大きさをモデル化し、その依存性を記述する基底関数34を作成する。マイクロ物体の移動がリアルタイムで達成される必要があると、信号生成器35は、開始位置37から所望の位置に向かってマイクロ物体を移動させる制御スキーム36を設計するように基底関数を利用する。特に、生成器35は、マイクロ物体12の現在位置を基底関数34に差し込み、電極のうちの1つについて生成される必要がある電圧の変化を出力する。以下にさらに記載されるように、ユニット40の3つの残りの電極などの他の電極についての所望の位置変化のための必要電圧は、変換動作及び符号変化を使用して1つの電極ベースの電圧から導き出すことができる。したがって、全ての計算をリアルタイムで実行する必要がなく且つ既存の基底関数34を有する必要がないため、制御スキーム36の計算は、大幅に加速されることができる。
上述したように、信号生成器35は、制御信号39を生成する前に基底関数34を導出する。信号生成器35は、等価制約及び不等式制約の双方を有する最適化問題として、移動の大きさ及び発生電圧の依存性をモデル化し、関数34を作成する際に静電容量ベースのモデル24を使用する。最適化問題は、以下の形式である:
ここで、xrefは、所望の位置37を示し、hは、マイクロ物体12が移動する距離v=[v,v,v,v]’を記述する離散ステップサイズであり、x(k)は、マイクロ物体12の現在位置であり、Vmaxは、電極15A〜15Dにおいて発生されることができる最大電圧である。4つの電極15A〜15Dとは異なる数がマイクロ物体12の動きを誘起する際に含まれる実施形態において、vは、異なる数の電極15A〜15Dを説明するように適合される。式(8)によって示されるように、マイクロ物体を所望の位置に向かって移動させることができる電圧は、以下の2つの制約を受ける:1つの制約は、マイクロ物体12が移動することができる速度であり、上述したように、電極15A〜15Dとマイクロ物体12との間の静電容量に依存する。第2の制約は、パラメータ22の1つである電極によって発生され得る電圧の大きさである。他の値も可能であるが、1つの実施形態において、Vmaxは、400ボルトとすることができる。
実際には、式(8)の問題は、所与の位置について且つ電圧制約の下で瞬間速度のx方向を最大化する。信号生成器35は、所望の位置変化の複数の値についての最適化問題を解決し、変化を達成するために電極15A〜15Dによって生成される必要がある必要電圧(及び必要な力)を得る。1つの実施形態において、信号生成器35は、フォーム(8)の最適化問題のシーケンスを解決するために、マサチューセッツ州ナティックのMathWorks社によって開発されたMATLAB(登録商標)ソフトウェアによって提供される最適化ツールボックスを使用し、シミュレートされた値を得る。そのようなシミュレーションの結果の例は、図7A〜図7Dを参照してみることができる。
図7A〜図7Dは、例として、式(8)の最適化問題のシーケンスを解くことから得られるマイクロ物体位置の関数として得られる電極電圧パターンを示す図である。図2に示される電極15A〜15Dのパラメータ22は、図を作成するために使用されるシミュレーションにおいて使用される。パターンは、所定期間にわたって各電極によって発生される1組の電圧であり、その電極による電圧の発生から得られるマイクロ物体の位置の変化である。パターンは、式によってモデル化されたマイクロ物体12をリアルタイムで移動させようとする前に、マイクロ物体12の位置のシーケンスについて式(8)を解くことによって算出され、それゆえに、誘起された動きの大きさに電圧値をマッピングする。マイクロ物体12の初期位置は−2mmであるように示され、所望の位置37は2mmである。電極のシーケンスは、それらの中心間の200μm間隔を有して−3mmから3mmの間において均一に分布している。電極電圧は、4つの電極毎に繰り返される。それらは空間的に周期的である。
式(8)の解として得られたシミュレートされた値に基づいて、信号生成器35は、1つの電極15A〜15Dにおいて発生された電圧及びその電極によって発生された誘電泳動場によるマイクロ物体12の動きの依存性を記述する基底関数34を生成する。図8は、例として、1つの電極15A〜15Dによって発生された電圧及びその電極によって発生された電圧場によって誘起されたマイクロ物体12の動きの依存性を記述する基底関数を示す図である。
上述したように、マイクロ物体12の位置とマイクロ物体12を所望の位置38に向かって移動させるのに必要な制御入力との間には空間的周期性がある。信号生成器35は、必要な電圧を発生させるための制御信号39を含むリアルタイム制御スキーム36を構築するために基底関数34及びこの空間的周期性を使用することができる。それゆえに、信号生成器35は、マイクロ物体の位置を、マイクロ物体を所望の最終位置に向かってできるだけ速く移動させるのに必要な制御入力にマッピングする。このマッピングは、電極電圧の2つの特性に基づいている。第1に、マイクロ物体12の位置の関数として電極電圧に周期性がある。それゆえに、信号生成器35は、1周期のみについての位置と制御入力との間のマッピングを記録する必要がある。第2に、ユニット40における他の電極15A〜15Dの電位は、変換動作及び符号変化を介してユニット40における電極15A〜15Dのうちの1つの電位から導出することができる。これらの2つの特性は、マイクロ物体12の位置制御のリアルタイム実行を可能とする。
先に図7A〜図7Dを参照して電圧パターンが上述された電極15A〜15Dを参照して記載される以下の例は、複数の電極ユニットについての制御信号が変換及び符号変化を介して電極のうちの1つについて導出される電圧から生成されることができる方法を図示している。v(x)を、位置の関数として電極15A〜15Dのうちの1つの電圧を示すものとする。上述したように、vは、n∈Zについて、v(x)=v(x+nX)であるX=800μmの期間を有して空間的に周期的である。さらに、1つの期間にわたる電圧パターンは、図8にも示される基底関数Ψ:[0,X]→[−400,400]によって与えられる。
したがって、vは、
の規則にしたがって発生される。ここで、n∈Z及びx∈[0,X)である。vと残り3つの電極についての電圧の残りの部分との間の相関関係を分析することにより、最後の3つの電極電圧(v,v及びvと示される)は、
として表現されることができる。ここで、1つの実施形態において、δ=200μmである。δの値は、電極15A〜15Dの中心間の距離を表す。したがって、正方向にマイクロ物体12を移動させるために、位置依存制御入力は、Ψ(x)として示される基底関数34及び式(9)〜(10)の規則のみを使用して生成されることができる。Ψ(x)の観点で同様の規則は、負方向にマイクロ物体12を移動させるように決定されることができる。
一般に、マイクロ物体12についての正確な位置推定値を得るためにかなりの時間が必要であり、マイクロ物体12は、推定中に静止したままでなければならず、それゆえに、マイクロ物体アセンブリは減速する。これらの課題に対処するために、信号生成器35は、現在の既知の位置に基づいて所定長の短い制御インパルスが印加されて次の位置推定が安定するのを待つ期間が続くインパルス制御ポリシーを使用する。より正式には、hをマイクロ物体位置が更新される期間であるとし、i=1,2,3,4を有するV(t)を電極に印加される制御信号とする。異なる数の電極がマイクロ物体の動きのために使用される場合、iはそれに応じて変化する。図9は、例として、インパルスベースのリアルタイム制御スキーム36を示す図である。図9に図式的に示されたインパルスベースのリアルタイム制御スキームは、小さい
によって定義される。ここで、xは、時間khにおけるマイクロ物体の位置であり、hは、制御インパルスの持続時間である。制御インパルスが印加された後、マイクロ物体12は、その無視できる質量及び粘性抵抗のために静止していると仮定することができる。したがって、追跡安定時間は、τ=h−hによって与えられる。さらなる実施形態において、信号生成器35は、マイクロ物体の現在位置に基づいて連続インパルスとして印加されることになる信号38を生成する。マイクロ粒子の所望の動きを誘起するために必要な電圧を得るためのさらに他の方法も可能である。
上述したように、複数の電極によって発生された電圧は、それらの電極15に近接する単一のマイクロ物体に影響を及ぼすことができ、制御スキーム36は、複数の電極によって発生された電圧を考慮することができる。図10A〜図10Dは、例として、図2の制御ユニット40を使用してマイクロ物体を1000μm移動させるための制御スキーム36を示す図である。図10A〜図10Dにおける制御スキーム36は、4つの電極15を含む制御ユニット40に印加され、マイクロ物体は、300μm×200μm×50μmの寸法のシリコンチップレットである。実装される場合、制御スキームは、図11に示されるように、マイクロ物体の段階的な動きをもたらす。図11は、例として、図10の制御スキームの適用の結果としてマイクロ物体12の動きを示す図100である。マイクロ物体の位置は、10ミリ秒毎に追跡された。破線は、マイクロ物体12の推定位置を表し、中実ドットは、マイクロ物体12の位置のサンプルを示している。
少なくとも1つのコンピューティング装置20は、サーバとして示されているが、デスクトップコンピュータ、ラップトップコンピュータのような他の種類のコンピューティング装置20も可能であり、タブレット及びスマートフォンなどのモバイルデバイスなどのさらに他の種類のコンピュータ装置も可能である。コンピューティング装置20は、本願明細書において開示される実施形態を実行するための1つ以上のモジュールを含むことができる。モジュールは、従来のプログラミング言語でソースコードとして書かれたコンピュータプログラム又はプロシージャとして実装されることができ、オブジェクト又はバイトコードとして中央処理装置又はグラフィックス処理ユニット(GPU)による実行のために提示される。あるいは、モジュールはまた、集積回路として又は読み取り専用メモリ要素に焼き付けされたハードウェアとして実装されることができ、各サーバは、専用コンピュータとして動作することができる。例えば、モジュールがハードウェアとして実装される場合、その特定のハードウェアは、上述した計算及び通信を実行するように特化され、他のコンピュータは使用することができない。さらに、モジュールが読み出し専用メモリ要素に焼き付けられる場合、読み出し専用メモリを記憶するコンピュータは、他のコンピュータが実行することができない上述した動作を実行するように特化される。ソースコード並びにオブジェクト及びバイトコードの様々な実装は、フロッピーディスク、ハードドライブ、ディジタルビデオディスク(DVD)、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)及び同様の記憶媒体などのコンピュータ読み取り可能な記憶媒体に保持されることができる。他の物理ハードウェア要素とともに、他の種類のモジュール及びモジュール機能も可能である。例えば、コンピューティング装置20は、他の要素も可能であるが、入出力ポート、ネットワークインターフェース及び不揮発性ストレージなどのプログラム可能なコンピューティング装置においてみられる他の要素を含むことができる。実施形態において、コンピューティング装置20はサーバであり、サーバはまた、クラウドベース又は専用サーバとすることができる。コンピューティング装置20は、直接的に又はインターネットなどのインターネットワークを含むネットワークを介して変換器19及びカメラ26に接続されることができる。
さらなる実施形態において、コンピューティング装置は、さらに、GPUを使用して上述した及び以下のアルゴリズムを並列に実装することによって複数のマイクロ物体のアセンブリを同時に制御することができる。
マイクロアセンブリを制御する前に静電容量ベースのモデル及び基底関数を導出することにより、アセンブリがリアルタイムで実行されることができる速度が大幅に加速されることができる。図12は、ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のための方法110を示すフロー図である。方法110は、図1のシステム10を使用して実装されることができるが、他の実装も可能である。マイクロ物体位置決めアセンブリのパラメータが取得される(ステップ111)。1つ以上の電極によって発生された電界とマイクロ物体との間の相互作用の静電容量ベースのモデルが、パラメータを使用して図1を参照して上述したように作成される(ステップ112)。さらなる実施形態において、電極15A〜15Dとマイクロ物体12との間の相互作用のパラメータがモデル化され、その後の計算中に使用されることができる。
電圧パターンを発生するための基底関数が、図1を参照して上述したように及び以下の図13を参照して後述するように、静電容量ベースのモデルを使用して導出される(ステップ113)。マイクロ物体を所望の位置に向けて移動させるための制御信号が基底関数及び開始位置を使用して生成される(ステップ114)。図1を参照して上述したように、電極のうちの1つに印加される必要がある電圧は、(方法110の実行中におけるステップ114の最初の反復中のマイクロ物体の開始位置である)マイクロ物体の現在位置を基底関数に変換して基底関数の出力として必要な電圧を得ることによって最初に発生される。変換動作及び符号による1つの電極の電圧に基づく1つ以上の追加電極の電圧は、図1を参照して上述したように変化する。生成された制御信号は、電極における制御信号によって定義された期間にわたって算出された電圧の指示実行によって印加される(ステップ115)。ステップ114の複数の反復が実行される場合、マイクロ物体の開始位置は、ステップ116において後述する追跡を反映するように更新される。
図1を参照して上述したように及び図14を参照して後述するように、マイクロ物体の位置が追跡される(ステップ116)。1つ以上の電極による電圧の発生に続いて、マイクロ物体が所望の位置に到達した場合(ステップ117)、方法110は終了する。マイクロ物体が所望の位置に到達していない場合(ステップ117)、方法110は、ステップ114に戻り、マイクロ物体12の他の動きを可能とするようにさらなる制御信号が生成される。
静電容量ベースのモデルを作成することは、マイクロ物体のポテンシャルエネルギを構成するのを可能とする。図13は、1つの実施形態にかかる、図12の方法110において使用するための静電容量ベースのモデルを生成するためのルーチン120を記載するフロー図である。マイクロ物体12とマイクロ物体を移動させる際に含まれる各電極との間の静電容量は、図1を参照して上述したように複数の距離においてシミュレートされる(ステップ121)。推定結果に基づいてマイクロ物体12の位置と電極15A〜15Dとの関係を示すモデル24に含まれる関数が導出され(ステップ122)、ルーチン120を終了する。
制御信号を印加しなければならない前に電極によって発生される必要のある電圧量を決定するために使用される基底関数を導出することは、信号生成に必要な計算を大幅に高速化するのを可能とする。図14は、1つの実施形態にかかる、図12の方法110において使用される制御信号生成のための基底関数を導出するためのルーチン130を示すフロー図である。図1を参照して上述したように、特定の電圧値の発生によって生じる所定量の動きに対応する所定期間にわたって電極によって発生された電圧の複数の値を取得するためにシミュレーションが実行される(ステップ131)。図1を参照して詳細に上述したように、電極において発生した電圧と発生された電圧によるマイクロ物体の移動量との関係を記述する基底関数が、シミュレーションによって取得された複数の値に基づいて導出され(ステップ132)、ルーチン130を終了する。
制御信号の適用間においてマイクロ物体12の位置を監視することは、制御信号へのフィードバックを取得して制御スキームに対する補正を実施するのを可能とし、それゆえに、マイクロ物体が所望の位置に配置される正確さ及び速度を改善する。図15は、1つの実施形態にかかる、図12の方法110において使用するためのマイクロ物体の位置を追跡するためのルーチン140を示すフロー図である。1つ以上の電極15A〜15Dに関連するマイクロ物体12の監視からの生データが高速高解像度カメラから受信される(ステップ141)。ステップ141の最初の反復中において、生データは、方法110の実施中に初めて制御信号を電極に印加する前後に捕捉された視覚データを含む。生データは、フレームグラバーによって処理され、少なくとも1つの画像に変換される(ステップ142)。ルーチン140が方法140の実施中に初めて実行される場合(ステップ143)、前景要素から背景要素を区別するために使用されることができる混合モデルにおけるパラメータを安定化するために、制御信号の最初の印加前に捕捉された生データから導出されたいくつかの画像に対して少なくとも1つの背景減算アルゴリズムが実行される(ステップ144)。制御信号の印加後に捕捉された生データから導出された画像が分析され、制御信号の実施前に捕捉された生データに基づくディジタル画像と比較した場合の全ての移動物体は前景成分として識別され、非移動物体は背景成分として識別される(ステップ145)。図1を参照して上述したように、マイクロ物体12のサイズよりも小さい背景成分に対して識別された前景成分にモルフォロジカル・オープニングが適用される(ステップ146)。比較としてマイクロ物体の画像を使用するテンプレートマッチングアルゴリズムは、画像内のマイクロ物体12を識別するように識別された識別前景成分の周りで実行され、それゆえに、マイクロ物体12の位置(及び存在する場合には追加のマイクロ物体12)を決定する(ステップ147)。図1を参照して詳細に上述したように、マイクロ物体位置12のその後の追跡に使用するために識別されたマイクロ物体の周りに窓が画定され、ルーチン140を終了する。
ルーチン140が方法110の特定の実行中に最初に実行されない場合、ステップ147において事前に構築された窓内で、テンプレートとしてのマイクロ物体の画像を使用したテンプレートマッチングアルゴリズムが実行され(ステップ148)、マイクロ物体の現在位置を識別し、ルーチンを終了する。必要に応じて、窓は、ステップ148の1つ以上の追加の反復(図示しない)の後に再定義されることができる。

Claims (10)

  1. ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステムにおいて、
    コンピュータ実行可能コードを実行するように構成された少なくとも1つのプロセッサであって、
    少なくとも1つのマイクロ物体の位置決めのためのシステムの1つ以上のパラメータを取得するように構成されたパラメータモジュールであって、前記システムが複数の電極を備え、前記電極が、前記マイクロ物体が前記電極による1つ以上の力の発生に応じて前記電極に近接して流体中に懸濁されたときに前記マイクロ物体の動きを誘起するように構成されたパラメータモジュールと、
    前記システムパラメータを使用して前記電極と前記マイクロ物体との間の距離の関数として前記電極のそれぞれと前記マイクロ物体との間の相互作用のパラメータをモデル化するように構成された相互作用モジュールと、
    前記流体中の前記マイクロ物体の位置を取得するように構成された位置モジュールと、
    前記電極のそれぞれについての制御信号であって、前記取得された位置、前記相互作用のパラメータ及び前記マイクロ物体の所望の位置を使用してその電極によって予め定められた期間にわたって1つ以上の力を発生させるためのコマンドを含む制御信号を生成するように構成された制御信号モジュールと
    を備えるプロセッサを備える、システム。
  2. 前記電極が、螺旋電極であり、電極ユニットに含まれる、請求項1に記載のシステム。
  3. 前記電極が周期的に間隔をあけて配置される、請求項1に記載のシステム。
  4. 前記距離の複数の値において前記相互作用のパラメータの複数のシミュレーションを実行するように構成されたシミュレーションモジュールをさらに備え、前記モデル化が前記シミュレーションに基づいて行われる、請求項1に記載のシステム。
  5. 前記制御信号を前記電極に印加するように構成された印加モジュールであって、前記電極が、前記印加時に前記制御信号によって指示された前記1つ以上の力を発生させ、前記マイクロ物体の動きを誘起する印加モジュールと、
    前記電極への前記制御信号の印加に続いて前記マイクロ物体のさらなる位置を識別するように構成されたさらなる位置モジュールと、
    前記相互作用のパラメータ、前記マイクロ物体のさらなる位置及び前記アプリケーションに続く前記マイクロ物体の所望の位置を使用して、前記電極についてのさらなる制御信号を生成するように構成された生成モジュールと
    をさらに備える、請求項1に記載のシステム。
  6. ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のための方法において、
    少なくとも1つのマイクロ物体の位置決めのためのシステムの1つ以上のパラメータを取得するステップであって、前記システムが複数の電極を備え、前記電極が、前記マイクロ物体が前記電極による1つ以上の力の発生に応じて前記電極に近接して流体中に懸濁されたときに前記マイクロ物体の動きを誘起するように構成されたステップと、
    前記システムパラメータを使用して前記電極と前記マイクロ物体との間の距離の関数として前記電極のそれぞれと前記マイクロ物体との間の相互作用のパラメータをモデル化するステップと、
    前記流体中の前記マイクロ物体の位置を取得するステップと、
    前記電極のそれぞれについての制御信号であって、前記取得された位置、前記相互作用のパラメータ及び前記マイクロ物体の所望の位置を使用してその電極によって予め定められた期間にわたって1つ以上の力を発生させるためのコマンドを含む制御信号を生成するステップと
    を備え、
    前記ステップが適切にプログラミングされたコンピュータによって実行される、方法。
  7. 前記電極が、螺旋電極であり、電極ユニットに含まれる、請求項6に記載の方法。
  8. 前記電極が周期的に間隔をあけて配置される、請求項6に記載の方法。
  9. 前記距離の複数の値において前記相互作用のパラメータの複数のシミュレーションを実行することをさらに備え、前記モデル化が前記シミュレーションに基づいて行われる、請求項6に記載の方法。
  10. 前記制御信号を前記電極に印加することであって、前記電極が、前記印加時に前記制御信号によって指示された前記1つ以上の力を発生させ、前記マイクロ物体の動きを誘起することと、
    前記電極への前記制御信号の印加に続いて前記マイクロ物体のさらなる位置を識別することと、
    前記相互作用のパラメータ、前記マイクロ物体のさらなる位置及び前記アプリケーションに続く前記マイクロ物体の所望の位置を使用して、前記電極についてのさらなる制御信号を生成することと
    をさらに備える、請求項6に記載の方法。

JP2017167532A 2016-09-19 2017-08-31 ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法 Active JP7048027B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662396741P 2016-09-19 2016-09-19
US62/396,741 2016-09-19
US15/469,433 US10558204B2 (en) 2016-09-19 2017-03-24 System and method for scalable real-time micro-object position control with the aid of a digital computer
US15/469,433 2017-03-24

Publications (2)

Publication Number Publication Date
JP2018047452A true JP2018047452A (ja) 2018-03-29
JP7048027B2 JP7048027B2 (ja) 2022-04-05

Family

ID=60001651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167532A Active JP7048027B2 (ja) 2016-09-19 2017-08-31 ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法

Country Status (3)

Country Link
US (4) US10558204B2 (ja)
EP (1) EP3296824B1 (ja)
JP (1) JP7048027B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108913A (ja) * 2018-12-31 2020-07-16 パロ アルト リサーチ センター インコーポレイテッド 微小物体を操作するためのマイクロアセンブラシステム
JP2020108914A (ja) * 2018-12-31 2020-07-16 パロ アルト リサーチ センター インコーポレイテッド 微小物体の配置を制御するためのマイクロアセンブラシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558204B2 (en) * 2016-09-19 2020-02-11 Palo Alto Research Center Incorporated System and method for scalable real-time micro-object position control with the aid of a digital computer
US11203525B2 (en) * 2018-12-31 2021-12-21 Palo Alto Research Center Incorporated Method of controlling the placement of micro-objects
US12020399B2 (en) 2020-11-16 2024-06-25 Xerox Corporation System and method for multi-object micro-assembly control with the aid of a digital computer
US11893327B2 (en) 2020-12-14 2024-02-06 Xerox Corporation System and method for machine-learning enabled micro-assembly control with the aid of a digital computer
US11921488B2 (en) 2020-12-15 2024-03-05 Xerox Corporation System and method for machine-learning-enabled micro-object density distribution control with the aid of a digital computer
CN113655292B (zh) * 2021-04-12 2023-09-15 重庆大学 基于多层螺旋电极感应结构的自取能电场测量传感器
CN113219827B (zh) * 2021-04-13 2024-01-26 曲阜师范大学 无接触型悬浮抓取系统及其模型参考自适应控制方法
US11762348B2 (en) * 2021-05-21 2023-09-19 Xerox Corporation System and method for machine-learning-based position estimation for use in micro-assembly control with the aid of a digital computer

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050051429A1 (en) * 2003-09-05 2005-03-10 Benjamin Shapiro Arbitrary and simultaneous control of multiple objects in microfluidic systems
JP2006003333A (ja) * 2004-06-16 2006-01-05 Hiroshi Aihara 粉体計測用静電容量センサー
JP2015020104A (ja) * 2013-07-18 2015-02-02 日本写真印刷株式会社 マイクロ流体デバイス及びマイクロ流体装置

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3127111B2 (ja) * 1996-02-22 2001-01-22 株式会社日立製作所 フロー式粒子画像解析方法および装置
US5858192A (en) * 1996-10-18 1999-01-12 Board Of Regents, The University Of Texas System Method and apparatus for manipulation using spiral electrodes
US5941481A (en) * 1997-07-07 1999-08-24 The United States Of America As Represented By The Secretary Of The Navy Device for interactive turbulence control in boundary layers
US6311262B1 (en) * 1999-01-18 2001-10-30 Infineon Technologies Ag Apparatus for the hierarchical and distributed control of programmable modules in large-scale integrated systems
US6294063B1 (en) * 1999-02-12 2001-09-25 Board Of Regents, The University Of Texas System Method and apparatus for programmable fluidic processing
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6885982B2 (en) * 2000-06-27 2005-04-26 Fluidigm Corporation Object oriented microfluidic design method and system
US6778724B2 (en) * 2000-11-28 2004-08-17 The Regents Of The University Of California Optical switching and sorting of biological samples and microparticles transported in a micro-fluidic device, including integrated bio-chip devices
US7014742B2 (en) * 2001-03-15 2006-03-21 The Regents Of The University Of California Positioning of organic and inorganic objects by electrophoretic forces, including for microlens alignment
US7010391B2 (en) * 2001-03-28 2006-03-07 Handylab, Inc. Methods and systems for control of microfluidic devices
US20050149304A1 (en) * 2001-06-27 2005-07-07 Fluidigm Corporation Object oriented microfluidic design method and system
KR100869516B1 (ko) * 2002-03-26 2008-11-19 카운슬 오브 사이언티픽 앤드 인더스트리얼 리서치 계기 노이즈 및 측정 오차의 존재 하의 인공 신경망모델의 향상된 성능
WO2004055886A2 (en) * 2002-12-18 2004-07-01 Koninklijke Philips Electronics N.V. Manipulation of objects with fluid droplets
EP1450304A1 (en) * 2003-02-21 2004-08-25 City University of Hong Kong Image processing apparatus and method
EP1735428A4 (en) * 2004-04-12 2010-11-10 Univ California OPTOELECTRONIC TWEEZERS FOR MANIPULATING MICROPARTICLES AND CELLS
US7332361B2 (en) 2004-12-14 2008-02-19 Palo Alto Research Center Incorporated Xerographic micro-assembler
GB0428548D0 (en) * 2004-12-31 2005-02-09 Sideris Dimitrios Electrophoresis method and device for separating objects
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
DE102005055825A1 (de) * 2005-11-23 2007-05-24 Basf Ag Vorrichtung und Verfahren für die automatische Bestimmung der individuellen dreidimensionalen Partikelform
US20090314644A1 (en) * 2006-04-10 2009-12-24 Technion Research & Development Foundation Ltd. Method and Device for Electrokinetic Manipulation
US20080088551A1 (en) * 2006-10-12 2008-04-17 Honeywell International Inc. Microfluidic prism
CN101568872A (zh) * 2006-12-21 2009-10-28 皇家飞利浦电子股份有限公司 具有致动器的微机电系统
US20080177518A1 (en) * 2007-01-18 2008-07-24 Cfd Research Corporation Integrated Microfluidic System Design Using Mixed Methodology Simulations
EP2142279A2 (en) * 2007-04-16 2010-01-13 The General Hospital Corporation d/b/a Massachusetts General Hospital Systems and methods for particle focusing in microchannels
US8246802B2 (en) * 2007-05-14 2012-08-21 The Regents Of The University Of California Small volume liquid manipulation, method, apparatus and process
US20090089024A1 (en) * 2007-09-28 2009-04-02 Chung-Ho Huang Methods and arrangement for creating models for fine-tuning recipes
US8160382B2 (en) * 2007-10-15 2012-04-17 Lockheed Martin Corporation Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques
US8099265B2 (en) * 2007-12-31 2012-01-17 Exocortex Technologies, Inc. Fast characterization of fluid dynamics
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
DE102008056600A1 (de) * 2008-11-10 2010-05-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erkennen von Objekten
US8532336B2 (en) * 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
US8731278B2 (en) * 2011-08-15 2014-05-20 Molecular Devices, Inc. System and method for sectioning a microscopy image for parallel processing
CN104870077A (zh) * 2012-01-31 2015-08-26 宾夕法尼亚州立大学研究基金会 使用可调谐声表面驻波进行微流体操控和颗粒分选
US9194786B2 (en) * 2012-08-01 2015-11-24 Owl biomedical, Inc. Particle manipulation system with cytometric capability
US8723104B2 (en) * 2012-09-13 2014-05-13 City University Of Hong Kong Methods and means for manipulating particles
US9643835B2 (en) * 2012-10-11 2017-05-09 University Of North Carolina At Charlotte Microfluidic devices and applications thereof
US20140151229A1 (en) * 2012-12-05 2014-06-05 Caliper Life Sciences, Inc. Manipulation of objects in microfluidic devices using external electrodes
US9473047B2 (en) 2013-09-19 2016-10-18 Palo Alto Research Center Incorporated Method for reduction of stiction while manipulating micro objects on a surface
JP6593174B2 (ja) * 2014-01-17 2019-10-23 株式会社ニコン 微粒子分析装置、観察装置、微粒子分析プログラムおよび微粒子分析方法
EP3108219B1 (en) * 2014-02-20 2020-04-01 Malvern Panalytical Limited Heterogeneous fluid sample characterization
US9613274B2 (en) * 2014-05-22 2017-04-04 International Business Machines Corporation Identifying an obstacle in a route
EP3919892A1 (en) * 2014-12-09 2021-12-08 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
US9744533B2 (en) * 2014-12-10 2017-08-29 Berkeley Lights, Inc. Movement and selection of micro-objects in a microfluidic apparatus
US10192892B2 (en) 2015-05-29 2019-01-29 Palo Alto Research Center Incorporated Active matrix backplane formed using thin film optocouplers
US11235320B2 (en) * 2015-10-08 2022-02-01 International Business Machines Corporation Self-tuning system for manipulating complex fluids using electrokinectics
US9795966B2 (en) * 2015-10-28 2017-10-24 Northwestern University Non-contact droplet manipulation apparatus and method
US9892225B2 (en) * 2016-04-01 2018-02-13 International Business Machines Corporation Method for optimizing the design of micro-fluidic devices
US10675625B2 (en) * 2016-04-15 2020-06-09 Berkeley Lights, Inc Light sequencing and patterns for dielectrophoretic transport
US10571673B2 (en) * 2016-04-15 2020-02-25 University Of Washington Particle positioning device with periodic dielectric structure
US10558204B2 (en) * 2016-09-19 2020-02-11 Palo Alto Research Center Incorporated System and method for scalable real-time micro-object position control with the aid of a digital computer
TWI795380B (zh) * 2016-12-01 2023-03-11 美商伯克利之光生命科技公司 針對微流體裝置中的微物件之自動偵測及重定位
US20170214909A1 (en) * 2017-01-27 2017-07-27 Desaraju Sai Satya Subrahmanyam Method and Apparatus for Displaying a Still or Moving Scene in Three Dimensions
WO2019089979A1 (en) * 2017-11-01 2019-05-09 Bio-Rad Laboratories, Inc. Microfluidic system and method for arranging objects
US11242244B2 (en) * 2018-12-31 2022-02-08 Palo Alto Research Center Incorporated Method of controlling the placement of micro-objects on a micro-assembler
JP7116006B2 (ja) * 2019-05-08 2022-08-09 三菱重工業株式会社 溶接制御装置、溶接制御方法、および溶接制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050051429A1 (en) * 2003-09-05 2005-03-10 Benjamin Shapiro Arbitrary and simultaneous control of multiple objects in microfluidic systems
JP2006003333A (ja) * 2004-06-16 2006-01-05 Hiroshi Aihara 粉体計測用静電容量センサー
JP2015020104A (ja) * 2013-07-18 2015-02-02 日本写真印刷株式会社 マイクロ流体デバイス及びマイクロ流体装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108913A (ja) * 2018-12-31 2020-07-16 パロ アルト リサーチ センター インコーポレイテッド 微小物体を操作するためのマイクロアセンブラシステム
JP2020108914A (ja) * 2018-12-31 2020-07-16 パロ アルト リサーチ センター インコーポレイテッド 微小物体の配置を制御するためのマイクロアセンブラシステム
JP7312687B2 (ja) 2018-12-31 2023-07-21 パロ アルト リサーチ センター インコーポレイテッド 微小物体の配置を制御するためのマイクロアセンブラシステム
JP7312686B2 (ja) 2018-12-31 2023-07-21 パロ アルト リサーチ センター インコーポレイテッド 微小物体を操作するためのマイクロアセンブラシステム

Also Published As

Publication number Publication date
US20200201306A1 (en) 2020-06-25
EP3296824A1 (en) 2018-03-21
EP3296824B1 (en) 2021-08-25
US20210356951A1 (en) 2021-11-18
US20230418273A1 (en) 2023-12-28
US11747796B2 (en) 2023-09-05
US10558204B2 (en) 2020-02-11
US11079747B2 (en) 2021-08-03
US20180081347A1 (en) 2018-03-22
JP7048027B2 (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
JP7048027B2 (ja) ディジタルコンピュータの支援によるスケーラブルなリアルタイムのマイクロ物体位置制御のためのシステム及び方法
Chen et al. Classification-based learning by particle swarm optimization for wall-following robot navigation
Matei et al. Micro-scale chiplets position control
JP2022113116A (ja) デジタルコンピュータの助けを借りた機械学習可能なマイクロ物体密度分布制御のためのシステム及び方法
Hoelzle et al. A new spatial iterative learning control approach for improved micro-additive manufacturing
Shan et al. Study on a poisson's equation solver based on deep learning technique
Matei et al. Towards printing as an electronics manufacturing method: Micro-scale chiplet position control
Ajala et al. Comparing machine learning and deep learning regression frameworks for accurate prediction of dielectrophoretic force
US20240036534A1 (en) System and method for hybrid-model-based micro-assembly control with the aid of a digital computer
EP4011823A1 (en) System and method for machine-learning enabled micro-assembly control with the aid of a digital computer
Li et al. Handwritten Chinese character recognition using fuzzy image alignment
Joseph et al. Function-on-function regression for trajectory prediction of small-scale particles towards next-generation neuromorphic computing
Matei et al. Micro-scale 2d chiplet position control: a formal approach to policy design
US12020399B2 (en) System and method for multi-object micro-assembly control with the aid of a digital computer
US20240086604A1 (en) System and method for micro-object density distribution control with the aid of a digital computer
Matei et al. Micro-scale chiplet assembly control with chiplet-to-chiplet potential interaction
Ye et al. Improving the measurement accuracy of distance and positioning for capacitive proximity detection in human-robot interaction
Zhuang et al. A deep-learning-based compact method for accelerating the electrowetting lattice Boltzmann simulations
Matei et al. Microscale 2D Particle Position Control: The Individual and Group Cases
Matei et al. Learning physical laws: the case of micron size particles in dielectric fluid
KR20240110588A (ko) 디바이스 및 방법
Miotto et al. Prediction of airfoil dynamic stall response using convolutional neural networks
CN115511098A (zh) 基于传感器数据概率分布的机器学习

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7048027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150