JP2010143229A - 液滴の観測方法および観測装置 - Google Patents

Abstract

【課題】ノズルから吐出された液滴を、より実機に近い状態で観測できる観測システムを提供する。
【解決手段】ノズルから吐出された液滴３の画像をインターバルＴｉをおいて断続的に取得する取得部２３と、時間的に前後に得られた第１の画像φ３１と第２の画像φ３２の間で、それらに含まれる液滴３の同一性を判断する認識部２４とを有する測定ユニット１０を提供する。画像毎に含まれている液滴３の同一性を判断することにより、速度の測定の最初の画像に含まれた液滴と、最後の画像に含まれた液滴とが同一であることを保証できるので、飛翔方向が予測できないような液滴でも自動的に観察でき、速度や飛翔方向を測定できる。
【選択図】図２

Description

本発明は、インクジェットヘッドなどのノズルから吐出された液滴の飛翔状態を観測する観測方法および観測装置に関するものである。

インクジェットヘッドから吐出された液滴を観測することは、ヘッドの製造過程における検査、ヘッドの開発過程における性能の検証、ヘッドの基礎研究における吐出液とのマッチングの研究を始めとする多くの分野において有効である。液滴を観測する装置として、液滴の観測に併せて液滴の速度（飛翔速度）を計測するものが知られている。液滴の速度は、断続的に照明をオンオフして飛翔中の液滴を断続的に撮影することにより、画像として捉えた液滴から移動量を算出し、その移動量と撮影した時間間隔とから算出することができる。特開２００３−２８６９６号公報には、インクジェットヘッドから吐出される液滴を連続してカメラで撮像し、連続した複数の画像データから液滴の重心位置の差と、撮像された時刻の差とにより液滴の速度を求める液滴量測定装置が開示されている。

特開２００３−２８６９６号公報

特開２００３−２８６９６号公報では、ノズルから吐出された液滴が所定の経路を辿って所定の位置を通過することを利用して液滴の速度を計測している。このため、液滴の進路または飛翔経路が外乱により変化しないように、液滴の進路の周りをアクリル板で覆っている。さらに、ノズルから吐出された液滴に強制的に電界を与える電極や偏向板を設け、液滴が強制的に一定の進路を辿るようにしている。

実際にインクジェットヘッドから液滴を吐出する環境では、必ず外乱は存在する。また、液滴の進路は制御されるものではない。したがって、より実機に近い状態でヘッドの性能を確認したり、吐出液とのマッチングを確認するためには、特殊な装置や方法で外乱を防いだり、吐出後の液滴の進路を制御せずに液滴の飛翔状態を観測できることが望ましい。

しかしながら、液滴の進路を制御して通過する位置が決まらないと液滴の速度を自動的に判断することは困難になる。液滴の観測または速度測定の際に、外乱の影響を受ければ、予定の位置に液滴が現れない可能性もある。また、予定の位置に液滴が現れたとしても、その液滴が観測対象の液滴であるという保証はない。たとえば、微粒子が拡散した液をノズルから吐出する場合は、微粒子の拡散状態によっては液滴が種々の方向に吐出されるかもしれない。特に、ヘッドと液とのマッチングを検査および研究する段階では、このような現象が発生する可能性は高い。このため、極端なケースでは、複数のノズルから出力された液滴が交差したり、交差しないまでも複数の液滴が非常に近い位置を通過する可能性もあり、予定の位置に現れた液滴が観測対象の液滴であるという保証はなくなる。さらに、液滴は飛翔中に形状が変化したり、複数の液滴に分かれたりするので、予定の位置に現れた液滴が観測対象の液滴であるという判断も難しく、分かれた一方の液滴を観測したいときに、その液滴を観測できるという保証もない。

このような観点から見ると、従来の液滴の速度測定は、画像の所定の位置に現れる液滴が同一であることを前提とした技術であり、同一の液滴が所定の位置に現れるように液滴の飛翔状態を制御しているということができる。

また、カメラで吐出された液滴を撮影するときに、カメラのレンズやＣＣＤにゴミがついていたり、欠損または損傷があり、液滴が通過するコースまたは経路を写す画像にそのような欠損の影響があれば、ゴミや欠損などを液滴であると誤認識する可能性は常にある。レンズの清掃やゴミや欠損の影響を排除するためのキャリブレーションを繰り返し行うことで誤認識の問題は解決できる可能性はあるが、誤認識の可能性を完全に排除するためには膨大な労力が必要になり、観測を効率良く行うためには、誤認識が自動的に排除できることが望ましい。

そこで、本発明においては、液滴の進路を実環境において、観測対象の液滴を断続的に画像として精度良く捉えることが可能な液滴の観測方法および観測装置を提供することを目的としている。本発明においては、液滴の飛翔中に外乱が影響する環境下であっても、また、液滴の飛翔方向が予想できないような条件であっても、観測対象の液滴を断続的に画像として精度良く捉えることが可能な液滴の観測方法および観測装置を提供することを目的としている。また、画像を得るカメラなどの画像取得手段にゴミや欠損などによる予測し得ない誤認識を生ずる要因があっても、それを排除し、所望の液滴を精度良く観測できる方法および装置を提供することを本発明の目的としている。

本発明の一態様は、ノズルから吐出信号により吐出された液滴の画像を、前記吐出信号に同期した第１の時間間隔をおいて、前記ノズルの面から段階的に離れた範囲で断続的に取得する画像取得工程と、時間的に前後に得られた第１の前記画像と第２の前記画像の間で、それら第１および第２の画像に含まれる液滴の同一性を判断する認識工程とを有する観測方法である。

観測システムの概略構成を示す図である。 測定ユニットの概略構成を示す図である。 測定ユニットにおいて速度を測定する過程を示すフローチャートである。 測定ユニットにおいて液滴を自動追尾する処理を示すフローチャートである。 ノズルから吐出された液滴が飛翔している様子を示す図である。 液滴の前方に検索エリアを設定する状態を示す図である。 検索エリアの飛翔方向にノイズ検索エリアを設定し、追尾していない液滴をノイズ検索エリアで検出する様子を示す図である。

以下に図面を参照して本発明をさらに詳しく説明する。図１に観測システムの概略を示してある。観測システム１は、インクジェットヘッドの製造検査工程、ヘッドの性能検査、ヘッドと液のマッチングなどの基礎研究の段階など多種多様な場面で利用できるものである。この観測システム１は、液滴３を吐出するインクジェットヘッド２と、インクジェットヘッド２から吐出された液滴３を撮像する撮像装置１１を備えている。本例においては、撮像装置１１は、ＣＣＤカメラ１５と、ＬＥＤからなる発光部１６を備えている。撮像装置１１の構成は、これに限定されるものではなく、飛翔中の液滴３を断続的に撮影できる構成であれば良い。

観測システム１は、さらに、インクジェットヘッド２に液滴３を吐出するコントロール信号（または吐出信号）φ１を出力するヘッドコントローラ１２と、発光部１６を発光させる駆動信号φ２を出力する発光タイミングコントローラ１３と、ＣＣＤカメラ１５で撮像された画像情報φ３に基づいて、インクジェットヘッド２から吐出される液滴３の飛翔状態を観測し、飛翔速度、飛翔方向（または飛翔角度、吐出角度）、液滴３の体積などを測定する測定ユニット１０とを有している。

測定ユニット１０は、ハードウェアとしてパーソナルコンピュータを使用しており、ＣＤ−ＲＯＭ１６などの記録媒体により提供された観測用のプログラム１７をインストールすることにより測定装置として機能する。観測用のプログラム１７はインターネットなどのコンピュータネットワークを介しても提供可能である。

図２に測定ユニット１０の概略構成を示してある。測定ユニット１０は、ヘッドコントローラ１２にコントロール信号φ４を出力してインクジェットヘッド２が液滴３を吐出するタイミングを制御する吐出制御部２１と、発光タイミングコントローラ１３に発光コントロール信号φ５を供給して発光部１６を発光するタイミングを制御する発光制御部２２とを有している。発光制御部２２により、ＣＣＤカメラ１５で液滴３を撮像するタイミングおよび間隔（インターバル、第１の時間間隔）Ｔｉを制御することができる。発光タイミングコントローラ１３は、ヘッド２の吐出信号φ１に対し、コントロール信号φ５によりセットされた遅延時間だけ遅れたタイミングから、コントロール信号φ５によりセットされたインターバルＴｉの同期信号（駆動信号）φ２を発光部１６に出力する。インターバルＴｉは通常数μｓにセットされ、そのインターバルＴｉで発光部１６が発光することにより、ＣＣＤカメラ１５により、飛翔中の液滴３の断続的な画像が撮影される。液滴３を吐出するタイミングや発光部１６を駆動するタイミングは、測定ユニット１０により自動制御できる。また、測定ユニット１０のキーボードなどの入力手段１９を介して設定することも可能である。

測定ユニット１０は、ヘッド２のノズルから吐出された液滴３の画像を取得する画像取得部２３を備えており、ＣＣＤカメラ１５により断続的に得られた液滴３の画像信号φ３は、画像キャプチャボード１８を介して測定ユニット１０の画像取得部２３に入力される。画像取得部２３は、インターバルＴｉ毎に断続的に撮影された液滴３の画像φ３を取得すると共に、ノズルから液滴を吐出する前の画像を参照画像φ９としてメモリ２８に記録する。測定ユニット１０は、さらに、時間的に前後に得られた画像φ３の間で、これらの画像に含まれる液滴３の同一性を判断する認識部２４と、それぞれの画像に含まれる液滴３の位置情報φ１１と、液滴３の形態に関する情報φ１２を求めてメモリ２８に格納するログ部２７と、メモリ２８に記憶された位置情報φ１１に基づいて液滴３の飛翔速度や飛翔角度を算出する解析部２６とを有している。

認識部２４は、時間的に前後する断続的な画像φ３を、第１の画像φ３１、第２の画像φ３２とすると、第２の画像φ３２の中に、第１の画像φ３１の液滴３の位置からインターバルＴｉにおける液滴３の最大飛翔距離の範囲を含む検索エリアを設定するエリア設定部３１ａと、その検索エリア内の液滴３の有無を判断する液滴検出部３２と、検索エリア内の液滴３が第１の画像φ３１の液滴３に類似するか否かを判断する類似判断部３３とを備えている。さらに、認識部２４は、第２の画像φ３２の中に、検索エリアの飛翔方向に、検索エリアの飛翔方向の端から最大飛翔距離の範囲を含むノイズ検索エリアを設定するノイズ検索エリア設定部３１ｂと、そのノイズ検索エリア内に液滴の候補があると観測の中止を判断する判断部３７とを備えている。また、認識部２４は、参照画像φ９を参照して、第１の画像φ３１、第２の画像φ３２から、参照画像φ９に含まれている成分を静止ノイズとして除去するノイズ除去部３４を備えている。

インクジェットヘッドの場合、ヘッド２から吐出される液滴３の速度範囲は０．５〜２０ｍ／ｓである。したがって、最大飛翔距離Ｌｍは、以下の式（１）になる。
Ｌｍ＝２０×Ｔｉ・・・（１）

エリア設定部３１ａは、第１の画像φ３１の液滴３の位置から、液滴３の最大飛翔距離Ｌｍを含む検索エリアを第２の画像φ３２の中に設定する。インターバルＴｉが１０μｓに設定されていれば、第１の画像φ３１の液滴３の位置から０．２ｍｍの範囲を含む検索エリアが設定される。

さらに、エリア設定部３１ａは、第１の画像φ３１の液滴３の飛翔方向に検索エリアを設定する。メモリ２８には、第１の画像φ３１およびそれ以前の画像に含まれた液滴３の位置情報φ１１が格納されているので、それらの位置情報φ１１から第１の画像φ３１における液滴３の飛翔方向を知ることができる。したがって、検索エリアは、第１の画像φ３１の液滴３の位置を中心とした円形または方形に設定されるのではなく、液滴３の進行方向を中心とした、限られた範囲に設定される。

同様に、ノイズ検索エリア設定部３１ｂも、ノイズ検索用のエリアを、液滴３の進行方向を中心とした、検索エリアのさらに先の最大飛翔距離Ｌｍを含む、限られた範囲に設定する。

液滴検出部３２は、画像φ３２の検索エリア内のコントラストの異なる領域の面積や形状などから液滴３の有無を判断する。液滴３と判断する領域と観測画面の背景とのコントラストを閾値として予め液滴検出部３２に設定しておくことにより液滴３の有無を自動判別できる。

類似判断部３３は、先に得られた第１の画像φ３１の液滴３の形態（形状や面積など）に関する情報φ１２と、第２の画像φ３２の液滴３の形態情報φ１２を比較し、画像φ３１の液滴と画像φ３２の検索エリアで液滴と判断されたものが同一であるか否かを判断する。類似判断部３３においては、第１の画像φ３１の液滴３の形態情報φ１２と、第２の画像φ３２の液滴３の形態情報φ１２が類似する範囲であれば、それらの液滴３は同一であると判断する。したがって、第１の画像φ３１に含まれる液滴３と第２の画像φ３２に含まれる液滴３との形態が全く同一でなくても、同一の液滴３を追尾または追跡することができ、飛翔の途中で形が変わったり、分離したりする可能性がある液滴も追跡できる。

ログ部２７は、位置情報φ１１として検索エリア内の液滴３の選択された場所、たとえば、液滴の先端または重心の座標を求める位置情報生成機能３８と、液滴３の外周形状、液滴３の縦（Ｙ方向）および横（Ｘ方向）の長さ、さらにはそれらの平均値、液滴３の面積および液滴３の濃度、液滴３の位置のいずれか、あるいは複数の形態情報φ１２を取得する形態情報生成機能３９とを備えている。液滴の判別は、少なくともいずれか１つの形態情報φ１２を用いて行うことができるが、複数の情報を組み合わせることにより、処理の負担は増加するが類似判断の精度を高めることができる。

解析部２６は、第１の位置（第１の液滴到達地点）と第２の位置（第２の液滴到達地点）との間で、それらに最も近い位置の液滴３を含んだ最初の画像と最後の画像から、液滴３の速度および角度を算出する。キーボードなどの入力手段１９から第１の液滴到達地点と第２の液滴到達地点を設定することが可能であり、たとえば、第１の液滴到達地点をヘッド２のノズル面から０〜０．５ｍｍ程度、第２の液滴到達地点を液滴が到達する面から０〜０．５ｍｍ程度の範囲（ヘッド２のノズル面から０．５〜２．０ｍｍ程度の範囲）で設定しておくことが可能である。速度を算出する画像には、液滴到達地点のベースとなるノズル面あるいは液滴が到達する面が液滴と共に含まれていることが望ましく、基準面からの距離を測定することにより、精度の高い解析が可能となる。

測定ユニット１０は、さらに、画像取得部２３により得られた画像φ３や、解析状況などをＬＣＤ２０に表示する表示制御部２９を備えている。

図３に、測定ユニット１０において液滴の速度を測定する過程をフローチャートにより示してある。また、図４に、速度を測定する過程において、液滴を自動追尾する動作をフローチャートにより示している。また、図５には、ノズル２ａから液滴３が吐出された直後からインターバルＴｉ毎に得られた画像を示してあり、図３および図４の処理をこれらの画像を参照しながら説明する。これらの図５（ａ）から図５（ｇ）に移された液滴３は、ヘッド２のノズル２ａから吐出された直後は柱状であるが、その後は、液自身の表面張力などの影響により形状が変化し、最終的には、メインの液滴３ａと少なくとも１つのサテライト３ｂに分離した状態でＹ方向に飛翔する。

液滴３の速度を測定する過程においては、ステップ５１において、第１の液滴到達地点Ｈ１、第２の液滴到達地点Ｈ２、撮影間隔（インターバルＴｉ）、液滴３を判別する形態の指定などを含めた観測条件が設定される。ステップ５２において、液滴３の観測が開始されると、まず、ステップ９０において、ノズルから液滴を吐出する前の参照画像φ９がキャプチャされ、メモリ２８に記録される。次に、ステップ５３において、インターバルＴｉで断続的にノズルから吐出された液滴３の画像が取得され、液滴３が自動的に追尾される。自動追尾された液滴３の位置が、ステップ５４において、図５（ａ）に示すように、第１の液滴到達地点Ｈ１に達したと判断されると、ステップ５５において、その位置と到達時間が記録される。さらに、ステップ５６において、液滴３を自動追尾した結果、図５（ｇ）に示すように、液滴３が第２の液滴到達地点Ｈ２に達したと判断されると、ステップ５７で自動追尾は完了し、そのときの時刻、位置から、液滴３の飛翔速度や吐出角度（または直進度）が求められる。

自動追尾は、図４に示すように、まず、ステップ６１でインターバルＴｉが経過してＬＥＤの発光部１６を発光するタイミングになると、ステップ６２で発光部１６を発光して液滴３の画像を撮影する。測定ユニット１０においては、画像取得部２３が画像φ３を取得し、認識部２４のノイズ除去部３４は、取得した検査あるいは観察用の画像データと参照画像φ９とを比較し、検査画像から、参照画像φ９に記録されている静的なノイズ成分を除去する。この処理により、検査画像に含まれている背景や、ＣＣＤカメラ１５の固有の画素エラーあるいはレンズ面の傷やごみといった経過時間により移動しないノイズ成分を除去することができる。これにより、認識部２４は、動的な画像成分だけを取り出して以降の処理を進めることが可能となり、基本的には液滴だけを捉えることができる。この静的なノイズの除去は画像全体で行なうことも、以下に示す検索エリア毎に行なうことも可能であり、到達地点Ｈ１およびＨ２などの観測に必要な静的な情報を残すことも容易である。

次に、ステップ６３において、認識部２４のエリア設定部３１ａが液滴３を検索するエリアを設定する。図５（ｂ）の画像４１ｂを第２の画像φ３２として測定ユニット１０が取得したとすると、エリア設定部３１ａは、その前の図５（ａ）の画像４１ａを第１の画像φ３１とし、その画像４１ａに含まれている液滴３の位置から液滴の飛翔方向に最大飛翔距離Ｌｍの検索エリア３５を画像４１ｂに設定する。本例においては、液滴３は画面４１ａを縦（垂直、Ｙ）方向に直進している。このため、エリア設定部３１ａは、図６（ａ）に示すように、画像４１ａの液滴３の位置からＹ方向に最大飛翔距離Ｌｍだけ延び、横（水平、Ｘ）方向は液滴３を中心として左右対称な幅の四角形の検索エリア３５を設定する。検索エリア３５は、画像４１ａの液滴３の位置を中心とする半径Ｌｍの半円形のエリアでも良い。しかしながら、液滴３の飛翔方向が急激に変動することはなく、また、検索エリア３５の面積が小さい方が液滴３を検出するための処理時間が短い。したがって、本例では、液滴３の飛翔方向にある程度の幅（たとえば最大飛翔距離Ｌｍ）をもった四角形の検索エリア３５を設定している。また、エリア設定部３１ａは、ステップ６３において、画像４１ａにおける液滴３の飛翔方向が±Ｘ方向に傾いている場合は、その傾きに応じて、画像４１ａの液滴３の位置から±Ｘ方向に偏った検索エリア３５を設定する。これにより、液滴３の飛翔方向を確実にカバーするように検索エリア３５を設定できる。

ステップ８１において、ノイズ検索エリア設定部３１ｂは、図６（ａ）に示すように、検索エリア３５の飛翔方向の先にノイズ検索エリア３６を設定する。このノイズ検索エリア３６は、次のタイミングで液滴の検索エリア３５に入って追尾している液滴の観測の障害になるノイズの有無を判断しようとするものであり、ノイズ検索エリア３６は、液滴の検索エリア３５に対して、飛翔方向の長さが最大飛翔距離Ｌｍの１〜１０倍程度、幅方向も最大飛翔距離Ｌｍの１〜１０倍程度にすることが望ましい。ノイズ検索エリア３６を大きくすると、追尾対象の液滴以外の液滴あるいはその他のノイズを検出する可能性が高くなり、さらに画像処理の負荷も大きくなる。一方、ノイズ検索エリア３６の面積が小さすぎると、液滴の検索エリア３５に侵入するノイズを事前に検出できなくなる可能性がある。したがって、ノイズ検索エリア３６は液滴検索エリア３５に対して飛翔方向に同程度、あるいは１〜３倍程度の長さとし、飛翔方向に直交する幅方向の長さも同程度にすることがさらに望ましい。ノイズ検索エリア３６は、液滴の検索エリア３５に対して必ずしも連続するように設定する必要はないが、速度差が大きく異なる液滴を事前に検出したり、液滴の検索エリア３５に対して次のタイミングで侵入するノイズを精度良く検出するためには検索エリア３５および３６は連続していることが望ましい。また、検索エリア３５および３６は、正方形あるいは長方形などの方形に限定されず、扇形などであっても良い。また、検索エリア３５に対して、ノイズ検索エリア３６の面積を大きく設定する場合は、画像解析の解像度を減らすことも可能であるが、ノイズの検出率は低下することになる。

次に、ステップ８２において、判断部３７は、ノイズ検索エリア３６の画像を解析し、ノイズ検索エリア３６に液滴の候補があると判断すると、ステップ６５において液滴の追尾が不可能であると判断して、観測を中止する。ステップ８０において、静的なノイズが除去されている場合は、ステップ８２において判断されるノイズは基本的には動的なノイズである。動的なノイズは、なんらかの要因により追尾中の液滴と交差したり、接近することになった他の液滴である可能性が最も高い。したがって、図７（ａ）に示すように、追尾している液滴３の飛翔方向に別の液滴４があり、図７（ｂ）に示すように、ノイズ検索エリア３６に別の液滴４が検出されると、図７（ｃ）に示すように、別の液滴４が次のタイミングで液滴の検索エリア３５に入る可能性が高い。その場合、以下に示すような類似判断を行なったとしても明確に差別化できない可能性があり、誤認識する可能性がある。さらに、ノイズ検索エリア３６に認識された液滴が次のタイミングで追尾中の液滴と合体する可能性もある。したがって、ステップ８２において、誤認識の可能性がある場合は、事前に観測を中止（中断）することにより、それまでのデータの信頼性を確保するようにしている。

ステップ８１および８２に示したノイズ検索エリア３６を設定して、ノイズ検索エリア３６において液滴の候補が発見されると観測を中止する処理は１つのフィルタリング機能であり、以下に説明する類似判断によるフィルタリング機能と同時に適用しても良く、どちらか一方のみを適用しても良い。また、観測を中止する代わりに、ノイズ検索エリアにノイズが見られたタイミングを記録し、それ以前の観測の記録と、それ以降の観測の記録とを後に分けて解析できるようにしておいても良い。

ステップ８２においてノイズとなる液滴が検出されなかった場合は、ステップ６４において、設定された検索エリア３５を認識部２４の液滴検出部３２が画像処理し、液滴３と判断できる映像の有無を判断する。ステップ６４において、検索エリア３５に液滴３が見つからないと、ステップ６５において検出エラーとなり、自動追尾は終了する。ステップ６４において、液滴３と判断できる映像が見つかると、ステップ６６において、認識部２４の類似判断部３３は、液滴３と判断された映像の形態情報φ１２を抽出し、前の画像４１ａの液滴３の形態情報φ１２と比較する。そして、新しい画像４１ｂの液滴３の形態情報φ１２と、前の画像の液滴３の形態情報φ１２との差が許容範囲であれば、類似判断部３３は、新しい画像４１ｂにおいて発見された液滴３を前の画像４１ａの液滴３と同一であると判断する。ステップ６６において、液滴３が同一であると判断されないと、ステップ６５において検出エラーとなり、自動追尾は終了する。

ステップ６７において、さらに、類似あるいは同一と判断された液滴３が１つに確定したか否かを判断する。ステップ６７において、候補となる液滴の像が２つ以上あれば、ステップ６８において、第２の画像φ３２に続いたタイミングで取得される第３の画像φ３３を利用して液滴を確定する努力を行う。例えば、液滴の自動追尾を開始した直後において、最初の画像（１枚目の画像）φ３１と、次の画像（２枚目の画像）φ３２だけでは液滴の方向が詳細には限定されない可能性がある。そして、第２の画像φ３２に液滴に類似したノイズ成分があり、そのノイズ成分が検索エリア３５に入る可能性がある。この場合、ノイズ成分を液滴３の予想飛翔方向だけで候補ではないと判断することは難しい。しかしながら、第２の画像の次の第３の画像φ３３を利用すれば、ノイズ成分は移動しないので、第２の画像φ３２の液滴の候補からノイズ成分を除去することができ、ステップ６７において自動追尾する液滴を１つに確定することができる。

測定ユニット１０の画像取得部２３は、インターバルＴｉ毎に断続的に撮影された液滴３の画像φ３を随時取得するので、第３の画像φ３３を第２の画像φ３２に続いて取得することは容易であり、そのための時間差はほとんどないので、第３の画像φ３３を用いることは液滴の観測に支障をきたすことはない。したがって、認識部２４のノイズ除去部３４は、類似判断部３３の結果と、第３の画像φ３３を利用して、さらに詳細にノイズを除去することが可能である。すなわち、ノイズ除去部３４において、第３の画像φ３３に、第１の画像φ３１の液滴の位置から、第３の画像φ３３が取得された時間までの飛翔距離を範囲とする検索エリア３５を設定し、ノイズ成分を観測することにより、第２の画像φ３２と第３の画像φ３３に含まれた、動かない成分をゴミやＣＣＤの傷などの静的なノイズ成分として除去できる。

この処理は、上述したステップ８０のノイズ除去と共通するので、いずれか一方を行なうことにより静的なノイズを除去できる可能性は高い。第３の画像φ３３を利用すると処理能力が要求されるが、液滴を吐出した後になんらかの要因で発生した静的なノイズを除去できる点でメリットがある。また、静的なノイズ成分に限らず、他のノズルから出力された液滴も第３の画像φ３３を用いることにより簡単に除去できる。第２の画像φ３２の検索エリアに含まれている液滴がノイズの場合は、自動追尾の対象の液滴とは飛翔方向や速度が異なるので、第３の画像φ３３の検索エリアには含まれない可能性が高いからである。第２の画像φ３２に含まれる液滴が決定されれば、第２の画像φ３２を第１の画像とし、それに対して第３の画像φ３３を第２の画像として用い、上述した方法で自動追尾をさらに行うことができる。

ステップ６７において、画像４１ｂにおいて検出された液滴３が、前の画像４１ａにおいて追尾する液滴として認められた液滴３と同一であると判断されると、ステップ６９において、ログ部２７が画像４１ｂにおいて検出された液滴３の情報をメモリ２８に格納する。まず、形態情報生成機能３９が検出された液滴３の映像から、液滴の外周形状、縦横の長さ、面積、濃度などの形態を抽出して、形態情報φ１２としてメモリ２８に格納する。この形態情報φ１２がステップ６６において類似判断部３３が使用する形態情報と同一であれば、形態情報生成機能３９は、類似判断部３３の機能と共用することができる。次に、位置情報生成機能３８は形態情報φ１２に基づき予め設定された液滴３の部分の座標を求めて液滴３の位置情報φ１１としてメモリ２８に格納する。液滴３の先端の位置を液滴の位置情報とするのであれば、形態情報φ１２の外周形状を解析することにより先端の位置を求めることができる。

画像４１ｂに含まれたターゲットの液滴３のログがメモリ２８に記録されると、測定ユニット１０は、ステップ７０において解析部２６の機能を用いて前の画像４１ａの液滴のデータと後の画像４１ｂの液滴のデータを比較し、幾つかの関係をチェックする。まず、前後の画像に含まれるターゲットの液滴３の位置情報φ１１を比較することにより、液滴３の進行方向が判明する。したがって、図５（ｃ）に示す次の画像４１ｃを取得したときに検索エリア３５を設定する方向を決定するデータφ１３を取得してメモリ２８に格納することができる。また、形態情報φ１２を比較することにより、前後の画像に含まれた液滴３の形態の変化の度合いが分かる。液滴３の形態の変化が著しい場合は、次の画像４１ｃで液滴の同一性を確認できなくなる可能性がある。したがって、解析部２６は、ステップ７１でインターバルＴｉを短縮する必要があることを判断し、ステップ７２で、発光制御部２２により制御信号φ５を介してタイミングコントローラ１３の設定を変更する。前後の画像の液滴の位置情報φ１１を比較したときに何らかの要因により予定された最大飛翔距離Ｌｍに近い場合は、同様にインターバルＴｉを短縮する。このような処理が、断続的に得られる画像４１ｄ（図５（ｄ）参照）、画像４１ｅ（図５（ｅ）参照）、画像４１ｆ（図５（ｆ）参照）、画像４１ｇ（図５（ｇ）参照）について行われる。

測定ユニット１０において、このような画像毎の液滴３の自動追尾を行うことにより、液滴の速度測定や飛翔方向の測定のときに、第１の液滴到達地点Ｈ１に達した液滴が含まれた画像４１ａにおけるターゲットの液滴３と、第２の液滴到達地点Ｈ２に達した液滴３が含まれた画像４１ｇにおけるターゲットの液滴３とが同一であることを保証できる。さらに、液滴３の飛翔方向が予想できない場合でも、液滴３の飛翔方向をトレースしているので、液滴３の映像を確実に捉えて液滴の速度および飛翔方向を測定することができる。このため、外乱を防ぐために液滴の進路をカバーしたり、電場を加えたりすることなく、実機と同じ条件で吐出された液滴を観測でき、液滴の実際の挙動を確認したり、速度や飛翔方向を測定することができる。

また、画像毎に適切な検索エリア３５を設定して液滴を認識することにより、液滴を自動認識する確率を向上できると共に、処理時間を短縮できるので、オンラインあるいはオンタイムで液滴の挙動を自動観測することも可能となる。そして、自動追尾することにより、画像の中で液滴を認識するエリアが限定されるので、液滴を自動認識する際に画像にＣＣＤの欠損などのノイズがあっても、その影響を受ける可能性は非常に小さい。また、複数の液滴が画像に含まれている場合も、検索エリア以外に写されている液滴の映像は自動追尾の対象にならないので観測対象から除かれる。したがって、本発明により液滴の速度や飛翔方向の精度の高い自動測定が可能となる。

さらに、ステップ６４において検索エリア３５に複数の液滴の候補が見つかったときに、ステップ６６においては類似判断部３３が、それらの液滴の候補に対してターゲットの液滴との同一性を判断するようにしても良い。たとえば、画像毎のターゲットの液滴３の位置の偏差（差分すなわち速度）が判明していれば、検索エリア３５の中の液滴の候補のうち、前の画像の液滴と同様の偏差をもった位置の近傍に認識された候補以外は除くことができる。液滴は移動し、ゴミやカメラの異常によるノイズは移動しないので液滴の候補の位置情報から液滴とノイズとは簡単に分離できる。また、画像毎のターゲットの液滴３の飛翔方向が判明していれば、検索エリア３５の中の液滴の候補のうち、前の画像の液滴と同じ飛翔方向の近傍に認識された候補以外は除くことができる。さらに、形態情報φ１２を用いれば、前の画像の液滴の形態情報φ１２と類似する液滴の候補以外は除くことができる。

このように検索エリア３５の内部でも液滴の同一性の判断を行うことにより、まず、ゴミなどのノイズが検索エリア３５の内部に見つかっても、それをほぼ完全に除去することができる。さらに、複数の液滴が検索エリア３５の内部に見つかっても、ターゲットの液滴を確実にトレースすることができる。たとえば、複数のノズルから吐出された液滴が同一の画像に含まれていると、吐出方向によって液滴の進行方向がクロスする可能性があるが、上記のように検索エリア３５の候補の液滴の同一性を判断することによりクロスした液滴を完全に分離でき、ターゲットの液滴を確実にトレースできる。また、メインの液滴にサテライトが追従するような形態の液滴においては、メインの液滴だけ、あるいはサテライトだけをターゲットとして追尾し、それぞれの速度や飛翔方向を測定することが可能となる。

また、ヘッドが複数のノズルを備えている場合は、複数の液滴が前後して吐出され、それら複数の液滴を含む断続的な画像が得られる。また、１つのノズルに着目しても、濃度階調を行う場合などでは、１回の吐出指示により複数の液滴が短時間の内に吐出されるので、それら複数の液滴を含む断続的な画像が得られる。本発明にかかる観測方法および観測装置においては、上記に開示した方法および手段により、断続的に得られる画像に含まれる複数の液滴の全て、あるいはそれらの指定された液滴の１つまたは複数について、上記と同様に自動追尾することができる。たとえば、エリア設定部３１ａにより指定された各々の液滴に対して検索エリアを設定し、各々の液滴の類似判断を行うことにより個別に自動追尾することが可能である。

上記に例示したエリア設定部３１ａでは、画像４１ａの液滴３の位置からＹ方向に最大飛翔距離Ｌｍだけ延びた検索エリア３５を設定している。しかしながら、液滴は必ず移動することを考えて、最小飛翔距離Ｌｓ（上記の例では、０．５×Ｔｉ）を設定し、図６（ｂ）に示すように、検索エリア３５は、液滴３の位置から最小飛翔距離Ｌｓから最大飛翔距離Ｌｍの範囲に設定することも可能である。最小飛翔距離Ｌｓを考慮することにより検索エリア３５を狭くできるので処理速度を高めることができる可能性がある。しかしながら、外乱などにより液滴が最小飛翔距離Ｌｓに達しないケースがある場合は液滴を自動追尾できなくなる可能性を含む観測方法となる。最小飛翔距離Ｌｓおよび最大飛翔距離Ｌｍの設定はユーザに開放することが可能であり、ユーザが観測対象の液滴の種類あるいは測定装置の処理速度などの条件を考慮して設定できるようにすることも可能である。

上記では、測定ユニット１０における処理を、図３および図４に示したフローチャートの各ステップを実行する命令を有する観測用のプログラム１７として提供し、パーソナルコンピュータのハードウェアリソースを用いて実行する例を説明しており、このプログラム製品はＣＤ−ＲＯＭなどの適当な記録媒体に記録して提供したり、インターネットなどのコンピュータネットワークを介して提供できる。測定ユニットは、さらに、各ステップを実行するハードウェアロジックを備えたデータ処理装置として提供することも可能であり、さらに処理速度を向上できるので、オンラインあるいはオンタイムでの観測と測定に適した測定ユニットを提供できる。

このように、上記の観測方法は、断続的に液滴が撮像または撮影され、得られた画像毎に、それらの画像に含まれる液滴の同一性を確認するプロセスを設けるようにしている。すなわち、上記の観測方法は、ノズルから吐出された液滴の画像を第１の時間間隔をおいて断続的に取得する画像取得工程と、時間的に前後に得られた第１の画像と第２の画像の間で、それら第１および第２の画像に含まれる液滴の同一性を判断する認識工程とを有する。また、上記の観測装置は、ノズルから吐出された液滴の画像を第１の時間間隔をおいて断続的に取得する画像取得手段と、時間的に前後に得られた第１の画像と第２の画像の間で、それら第１および第２の画像に含まれる液滴の同一性を判断する認識手段とを有する。さらに、上記の観測用のプログラム(プログラム製品)は、ノズルから吐出された液滴の画像を第１の時間間隔をおいて断続的に取得する工程と、時間的に前後に得られた第１の画像と第２の画像の間で、それら第１および第２の画像に含まれる液滴の同一性を判断する認識工程とをコンピュータで実行可能な命令を有する。このプログラムにより、汎用のコンピュータのリソースを用いて観測装置を構成することが可能であり、このプログラムはＣＤ−ＲＯＭやＲＯＭなどの記録媒体に記録して提供したり、インターネットなどのコンピュータネットワークを介して提供できる。

液滴が飛翔している間を、適当な時間を置いて撮影した断続的な画像は、液滴が飛翔している途中の状態が画像毎に固定しているために、液滴が飛翔している状態を把握しやすい。したがって、液滴の特定の部分が通過している位置をバックグラウンドの目標と比較することが可能であり、液滴の速度や方向を精度良く取得することができる。しかしながら、速度などの測定を開始する始めの画像と終わりの画像で、観測している液滴が同一でなければ、速度や方向の測定は意味がない。そこで、上記においては、時間的に前後に得られた第１の画像と第２の画像の間で、それら第１および第２の画像に含まれる液滴の同一性を判断することにより、速度などの測定を開始する始めの画像と終わりの画像との間で、観測している液滴が同一であることを保証する。

すなわち、上記の観測方法および観測装置においては、時間的に前後に得られた第１および第２の画像に含まれた液滴が同一であることを判断し、液滴が同一であると判断された第２の画像を、それに続く画像に対して第１の画像とすることにより、後続の画像に含まれる液滴の同一性を次々に判断することが可能となる。したがって、上記の観測方法および観測装置においては、液滴の飛翔方向を制御したり、液滴の飛翔方向に対する外乱の影響を除かなくても、測定を行う最初の画像に含まれる液滴と、最後の画像に含まれる液滴とが同一であることを保証できる。

したがって、上記の観測方法および観測装置により、ノズルから吐出された液滴の実際の飛翔状態を観測したり、液滴の速度や方向を測定することができる。さらに、複数の液滴が吐出される状況であっても、いずれか１つの液滴に着目して前後の画像に含まれる液滴が同一であることを判断できる。したがって、複数の液滴が交差したり、非常に接近した位置を通過する可能性がある条件であっても、測定の最初と最後で捉えた液滴が目的の液滴であることを保証でき、液滴の飛翔状況に関わらず、確実に目的の液滴の状態を観測でき、また、速度などの物性値を測定することができる。また、画像取得工程または手段において、１または複数のノズルから吐出された複数の液滴を含む画像を第１の時間間隔をおいて断続的に取得する場合は、認識工程または手段において、第１および第２の画像に含まれる複数の液滴の内、指定された１または複数の液滴について同一性を判断し、指定された１または複数の液滴を自動追尾することができる。

さらに、前後に得られた画像に含まれる液滴の同一性を判断することにより、測定の途中あるいは最後の画像に含まれる液滴の位置はある程度限定される。したがって、画像にゴミや欠損などによる液滴と判断する可能性のあるノイズ成分が存在したとしても、他の液滴と同様にノイズ成分と目的とする液滴との分離は容易である。特に、ノイズ成分は移動しないので、時間的に前後する画像から位置変化のない像をノイズとして判断することが可能であり、その点でも目的とする液滴との分離は容易であり、短時間で、負荷の少ない処理により誤認識の可能性を高い精度で排除できる。

第２の画像に初めて表れたノイズ成分は液滴と分離することが難しいケースがある。例えば、液滴の自動追尾を開始した直後においては、液滴の形状や飛翔方向を限定することが難しく、追尾対象の液滴に対してノイズとなる成分が表れたときに、形状、飛翔方向などを参照しても分離できない可能性がある。このため、認識工程または手段において、時間的に第２の画像の後に得られた第３の画像を利用して第１の画像に含まれた液滴と第２の画像に含まれた液滴との同一性を判断する工程あるいは手段を設けておくことが望ましい。時間的に移動しないノイズ成分は、第３の画像を参照することにより第２の画像の液滴の候補から削除することができる。また、ノイズ成分がなんらかの要因により飛翔方向が大きく変わった他の液滴であれば、第３の画像において、第１の画像の液滴の位置から算出された飛翔距離の範囲あるいは検索エリアに含まれない可能性が高い。したがって、そのようなノイズ成分も第３の画像を参照することにより第２の画像の液滴の候補から削除できる。

さらに、時間的に前後する画像の間で、それらに含まれる液滴の同一性を判断することにより、飛翔中に形状あるいは状態が変化する液滴の同一性も確実に判断できる。すなわち、測定の最初と最後で液滴の形状が異なっていると、液滴の進行方向を制御したとしてもその同一性を判断することは難しくなる。しかしながら、飛翔中に形状が変化したり、液滴が２つに分離したり状態が変化するとしても、その変化は時間的に前後する画像の間では微少であり、適当な判断基準により自動的に液滴の同一性あるいは類似性を判断することは可能である。したがって、上記によれば、測定の最初と最後で形状が大きく異なっていても、同一の液滴を測定していることは保証できる。たとえば、時間的に前後する画像では、同一の液滴であれば、画像に映された外周形状、面積、濃度および縦横方向の長さの変化は少ないので、これらの測定値の偏差が小さい液滴を同一と判断して追跡することができる。

液滴の吐出方法が決まれば、液滴の飛翔速度は限定された範囲に収まる。たとえば、アクチュエータによりノズルから液滴を吐出させるインクジェット方式においては、液滴の速度範囲は０．５〜２０ｍ／ｓである。したがって、第１の画像における目的の液滴の位置から、断続的に撮影または撮像するインターバル（第１の時間間隔）の最大飛翔距離を含む小エリアを第２の画像に設定し、その小エリア内の液滴の有無を確認することにより、第１の画像に含まれた液滴と第２の画像に含まれた液滴の同一性を確認できる。このため、認識工程または認識手段は、第２の画像中に、第１の画像の液滴の位置から第１の時間間隔における液滴の最大飛翔距離の範囲を含む検索エリアを設定するエリア設定工程またはエリア設定手段と、その検索エリア内の液滴の有無を判断する液滴検出工程または液滴検出手段とを設けることが望ましい。この判断方法は、画像全体をサーチするのではなく、小さな検索エリアをサーチすることにより観測対象の液滴の同一性を判断できるので、処理時間を短縮でき、また、検索エリアの外にある他の液滴の像やノイズ成分の影響も排除できる。画像の複数の液滴を自動追尾するのであれば、液滴毎に複数の検索エリアを設定することが可能である。

エリア設定工程またはエリア設定手段においては、第１の画像の液滴の飛翔方向に検索エリアを設定することにより、検索エリアをさらに限定することが可能となり、処理時間をいっそう短縮でき、また、検索エリアの外にある他の液滴の像やノイズ成分の影響もいっそう排除しやすい。さらに、液滴が任意の方向に飛翔しても、次の画像に目的とする液滴が含まれていれば、確実に同一の液滴を認識することができる。液滴の飛翔方向は、前後する２つの画像の液滴の位置から得ることができる。さらに、液滴の飛翔方向が判明すれば、同一の検索エリアに複数の液滴が含まれていたり、ノイズ成分が含まれていても、液滴の飛翔方向から、他の液滴およびノイズ成分を除去することができる。

また、前後する画像に含まれる液滴の画像が全く同一であるとは限らない。むしろ、上記の観測方法および装置は、飛翔中の形状や状況が変化する液滴を観測するのに適していることは上述した通りである。したがって、観測方法および装置は、検索エリア内の液滴の候補が、第１の画像の液滴に類似するか否かを判断する類似判断工程または類似判断手段を備えていることが望ましい。液滴の候補の外周形状、面積、濃度、縦横長さおよび位置（位置変化）の少なくともいずれかの情報を用いて類似判断することが可能であり、この段階でノイズも除去できる。さらに、前後する画像に含まれる液滴の画像が全く同一でなくても、類似の範囲であれば同一であると判断することにより、形状や状態が変化する液滴であっても同一の液滴を確実にトレースすることが可能となる。

類似判断と共に、あるいは類似判断は行なわずに、液滴の観測の障害となる他の液滴を検出し、そのような他の液滴が検出された場合は、観測を停止して、他の液滴の影響を排除することができる。そのため、認識工程には、第２の画像中の、検索エリアの飛翔方向に、検索エリアの飛翔方向の端から第１の時間間隔における液滴の最大飛翔距離の範囲を含むノイズ検索エリアを設定する工程と、ノイズ検索エリア内に液滴の候補があると観測を中止する工程とを設けておくことが有効である。また、観測装置の認識手段は、第２の画像中の、検索エリアの飛翔方向に、検索エリアの飛翔方向の端から第１の時間間隔における液滴の最大飛翔距離の範囲を含むノイズ検索エリアを設定する手段と、ノイズ検索エリア内に液滴の候補があると観測を中止する手段とを備えていることが有効である。

ノイズ検索エリアは、液滴の最大飛翔距離のさらに外側のエリアであり、観測対象の液滴が含まれることはなく、ノイズ検索エリア内の液滴の候補は、追尾していない液滴である。さらに、ノイズ検索エリアは検索エリアの飛翔方向の前方なので、観測対象の液滴が次のタイミングで飛翔する可能性が高く、次のタイミングでは検索エリアにおいて液滴の候補として認識されるか、あるいは、最悪の場合、次のタイミングで追尾している液滴と追尾していない液滴が合体した状態で検索エリアにおいて液滴の候補として認識される。類似判断で液滴が区別されれば良いが、区別できないときはエラーとなり、また、類似判断を誤ると、誤った観測結果が得られる。また、液滴同士が一体になってしまったときも誤った観測結果が得られる。したがって、誤った観測結果が得られる蓋然性が非常に高いため、観測を停止することにより、それまでの観測結果の精度を維持できるようにしている。

類似判断と共に、あるいは類似判断とは別に、画像からノイズと分かっている成分を除去しておくことは有効である。液滴を観測する上記の観測方法において、画像上の液滴以外の情報は基本的に全てノイズであると考えると、画像取得工程の前に、ノズルから液滴を吐出する前の参照画像を取得する工程を設け、さらに、認識工程の前に、第２の画像から参照画像と共通するノイズ成分を除去する工程を設けることが有効である。また、観測装置は、画像取得手段により、ノズルから液滴を吐出する前の参照画像を取得し、第２の画像から参照画像と共通するノイズ成分を除去する手段をさらに有することが有効である。

液滴の観測装置においては、認識手段の認識結果に基づき第１の時間間隔を制御する手段を設けることにより、画像を取得する間隔を変更することが可能である。

上記の観測方法および観測装置においては、断続的に得られる前後の画像に含まれる液滴の同一性を次々と確認することにより、測定の最初の画像に含まれる液滴と最後の画像に含まれる液滴が同一であることを保証できるようにしている。したがって、上記により、ノズルから吐出された液滴の速度などの物性値を自動的に測定する際に、測定対象の液滴の進行方向を制限したり、実機では影響を及ぼすはずの外乱の影響を避けたりすることなく、液滴の飛翔状態を観測し、種々の物性値を測定することができる。このため、上記により、より現実的な条件で、液滴の飛翔状態を観測することができ、ノズルを有するヘッドの性能検査結果、および研究段階でのヘッドの液とのマッチングなどの評価結果を、より高い精度で得ることが可能となる。

１ 観測システム
２ ヘッド
２ａ ノズル
３ 液滴
１０ 測定ユニット
２３ 画像取得部
２４ 認識部
２６ 解析部
３１ａ エリア設定部
３１ｂ ノイズ検索エリア設定部
３２ 液滴検出部
３３ 類似判断部
３４ ノイズ除去部
３５ 検索エリア
３６ ノイズ検索エリア

Claims (1)

1. ノズルから吐出信号により吐出された液滴の画像を、前記吐出信号に同期した第１の時間間隔をおいて、前記ノズルの面から段階的に離れた範囲で断続的に取得する画像取得工程と、
   時間的に前後に得られた第１の前記画像と第２の前記画像の間で、それら第１および第２の画像に含まれる液滴の同一性を判断する認識工程とを有する観測方法。
   

Images