JP2010530070A - 物体の光電子工学的検知、及び位置特定のための方法、及びシステム - Google Patents

物体の光電子工学的検知、及び位置特定のための方法、及びシステム Download PDF

Info

Publication number
JP2010530070A
JP2010530070A JP2010512170A JP2010512170A JP2010530070A JP 2010530070 A JP2010530070 A JP 2010530070A JP 2010512170 A JP2010512170 A JP 2010512170A JP 2010512170 A JP2010512170 A JP 2010512170A JP 2010530070 A JP2010530070 A JP 2010530070A
Authority
JP
Japan
Prior art keywords
signal
view
field
time
responsive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010512170A
Other languages
English (en)
Other versions
JP2010530070A5 (ja
JP5642541B2 (ja
Inventor
シルバー,ウィリアム,エム
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2010530070A publication Critical patent/JP2010530070A/ja
Publication of JP2010530070A5 publication Critical patent/JP2010530070A5/ja
Application granted granted Critical
Publication of JP5642541B2 publication Critical patent/JP5642541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

移動する物体の光電子工学的検出、及び位置特定のための方法、及びシステムを開示する。開示する方法、及びシステムは、内部を物体が通過する視野の一次元画像を撮影し、それらの画像において測定を行い、測定値の中から、視野内の物体に対応する可能性がある測定値を選択し、物体の種々の特性に応答する判断を行い、判断結果を示す信号を生成する。開示する方法、及びシステムによれば、極めて良好な物体識別、基準点の電気的設定、待ち時間なし、及び高い再現性といった利点、並びに当業者にとって明らかな他の利点が得られる。
【選択図】図12

Description

[発明の分野]
本発明は、物体を検知し、物体を表す情報、特に、物体の位置を表す情報を生成するオプトエレクトロニクスセンサに関する。
物体を検知し、位置特定するためのオプトエレクトロニクスセンサは、広く様々な分野において有用である。一例は、工業オートメーションである。そのようなセンサの動作、能力、及び制限を理解するために、一つの具体的応用例について、例えば、高速ボトル詰めラインにおいて英数文字をラベルに印刷する場合について考察する。そのような一般的用途において、センサは、ボトルが製造ラインを下流へ移動する際に、所定のポイントにおけるボトルの存在を検知し、ボトルがそのポイントに有るときに、印刷の開始をプリンタに命じる信号を生成する場合がある。
もしボトルが適切な位置にあるときに信号が生成されれば、ボトルのラベル上の所望の位置に、所望の英数文字が印刷される。一方、ボトルが検知されなければ、ラベルは印刷されず、場合によっては、費用のかさむミスとなる。もしボトルが存在しないときに信号が生成されれば、プリンタは空中にインクを撒き散らし、製造プロセスに悪影響を与えることがある。もしボトルは存在するが、適当な位置に存在しないときに信号が生成されれば、文字は、ラベル上の誤った位置に印刷されることになる。
この例から分かるように、物体を検知し、位置特定するためのオプトエレクトロニクスセンサは、所望の物体のみを検知しなければならず、また、所望の位置においてのみ検出を行わなければならない。
オプトエレクトロニクスセンサの一種である光電センサは、長い間、物体の検知、及び位置特定に使用されてきた。こうしたセンサは通常、光ビームを放射し、受け取った光を検出することにより動作する。それらのセンサは、下記を含む様々な目的に適合する様々な構成を有するようになった。
一構成として、エミッタとレシーバは経路の両端に配置され、経路を横切る透明ではない何かが、光ビームを遮断するように構成される場合がある。レシーバが、非常に少量の光を見付けたときに、物体は検出される。経路は、エミッタ、及びレシーバの配置によって決まり、それによって物体を検出する位置が決まる。所望の物体のみが経路を横切り、物体のエッジの位置を判定するだけで済むようにするために、用途は制限される。ボトル詰めの用途において、この制限は、例えば、ラベルがボトルのエッジに対して相対的に固定位置にあることを意味する。
第2の構成として、エミッタとレシーバは一箇所に置かれ、エミッタからのビームをレシーバへ反射する経路の反対側の端部に、再帰反射器が配置される場合がある。この構成は、先のものに似ているが、導入は比較的容易である。なぜなら、必要となる全ての配線が、経路の両端で成されるのではなく、経路の一端においてのみ成されるからである。ただし、検知すべき物体が反射性であれば、誤検知、及び/又は位置特定誤差が発生する場合もある。
第3の構成として、エミッタとレシーバは一箇所に置かれ、エミッタが、集束光ビームを放射し、ビームの正面を横切る十分な反射性を有する何かが、その光ビームをレシーバへ向けて反射させるように構成される場合がある。レシーバが、ある所定の閾値を上回る量の光を見付けたときに、物体は検出される。ビームの位置は、エミッタ/レシーバアセンブリの配置によって決まり、それによって、物体を検出する位置が決まる。集束ビームの使用により、この位置を比較的正確にすることができ、背後にある物体に対してはビームの焦点が外れるため、これを誤検知する可能性を低減することができる。所望の物体が所望の位置にあるときにのみ反射光がその閾値を上回るように、物体、及びその環境は制限される。
第4の構成は、第3の構成の変形であり、集束ビームの代わりに、拡散光ビームを使用する。この場合、物体の位置にあまり制限のない物体を検知することは容易になるが、検知される物体の位置の正確さは減少し、ビームの正面に所望の物体が無いときに検知が行われる確率は増加する。
こうしたタイプの光電センサとしては、例えば、ミネソタ州、ミネアポリスのバナー・エンジニアリング・コーポレーションが製造・販売するもの、例えば、MINI-BEAMラインが挙げられる。
光電センサは一般に、物体が検知されたことを示す単一の信号を生成し、さらにその物体の位置を知らせる。そのような信号は、「存在」、及び「不在」と呼ばれることもある2つの状態を有する。第1、及び第2の構成では、例えば、少量の光がレシーバによって検出されたときに、信号は「存在」状態にされる場合がある。また、第3、又は第4の構成では、閾値を上回る光がレシーバによって検出されたときに、信号は「存在」状態にされる場合がある。
物体は、信号が「存在」状態であるときに検知される。移動する物体は、「不在」から「存在」への信号の遷移の時によって位置特定される。すなわち、その遷移の時に、物体は、本明細書において「基準点」と呼ばれる既知の所定の位置にある。上記の4つの光電センサ構成のいずれの場合においても、基準点はビームの位置によって決定され、センサを物理的に移動させることにより調節される。なお、本明細書において、基準点とは、物体の所望の位置を意味し、信号時刻における物体の実際の位置は、本明細書に記載するような種々の理由から、異なる場合がある。
光電センサは通常、特定の物体の検知、及び特定位置における物体の位置特定に使用され、例えば、ベルトコンベヤを下流へ向かって移動するボトルを検知するために使用され、あるいは、そうしたボトルの先端が特定の基準点、例えばプリンタの正面に到達した時を知らせるために使用される。如何なるセンサも物体存在、及び位置特定の判断を完璧に行うものではなく、所望の物体が検出されない場合、不要な物体、又は光源のような何らかの他の条件により誤検出が生じた場合、又は、所望の物体は検知されてもその位置が誤っている場合、結果は失敗となる。
検知、及び位置特定の信頼性を増加させるために、光電センサは、1以上の技術を使用する場合がある。例えば、上で述べた種々の構成には、物体の見逃し、誤検出、及び、特定の目的の必要性に適合する他の要素の間における種々のトレードオフが見出される。例えば、再帰反射構成によれば、物体を見逃す可能性は低下するが、2つの要素、すなわち、センサ、及び反射器を適当な位置に取り付けなければならない。集束ビームによれば、不要な物体を検出する可能性は低下する。なぜなら、集束ビームは、狭い集束範囲を有するからである。
各センサ構成において、感度調節は一般に、物体の見逃しと、誤検出との間のもう一つのトレードオフとして使用される。例えば、集束ビーム構成では、感度調節によって、所定の検出閾値が決定される。閾値を増加させると、誤検出の頻度は低下するが、物体を見逃す頻度は増加する。閾値を減少させると、逆のトレードオフが成立する。
さらに、迷光によって誤検出が生じる頻度を低下させるために、センサは、適当に変調された光ビームを使用する場合がある。例えば、ビームは、パルス状に高い周波数でオン・オフされ、レシーバは、その周波数でパルス化された光のみを検出するように設計される場合がある。
光電センサについて一般的に使用される専門用語である「バックグラウンド抑制」とは、誤検出がなされる頻度を低下させるために、背景にある(すなわち、何らかの所定の距離を越えて遠くにある)物体により放射されるビームの反射を無視する種々の手段を意味する。例えば、米国特許第5,760,390号は、そのような装置を記載しており、また、従来技術の装置に関する情報も提供する。
光電センサは、物体検知、及び位置特定に非常に良く適しており、広く使用されているが、種々の制限を有している。
そうしたセンサは、不要な物体、物体反射率の変動、物体の複雑なマーキング、又は特徴のような状況から所望の物体を区別することにつき非常に限られた能力しか持たない。センサは一般に、センサが受け取る光の量を測定することができるに過ぎない。例えば、5センチメートルの距離にある灰色の物体は、たとえビームの焦点が10センチメートルの位置においては焦点が多少外れていたとしても、10センチメートルの距離にある白色の物体と同程度の量の光をレシーバに向けて反射するかもしれない。所望の位置における所望の物体の存在を確保し、かつ、他の条件によって受光量が所定の閾値の上下にならないようにするためには、非常に注意深い取り扱いをしなければならない。そのため特に、センサを取り付ける方法、検知、又は位置特定される物体の性質、及び物体をセンサに提示する態様は、制限される。さらに、検出、及び位置特定をすることが出来るのは、一般に物体のエッジのみであり、物体上のマークその他の特徴を検知し、位置特定することは難しく、多くの場合、実施することができない。
光電センサを使用する場合、基準点を決定、又は調節するために、一般に、センサを物理的に移動させることが必要となる。そうした調節を行うことは困難であり、また、注意深く行わなければ、望ましくない結果が生じる場合もある。また、基準点を高精度で決定することも難しい。
光電センサは、物体が基準点を横切る時と、信号遷移が発生する時との間に、生来的な遅延を有する。この遅延は一般に、「待ち時間」、又は「応答時間」と呼ばれ、通常、数百マイクロ秒程度である。物体は、この遅延の間に、物体の速度が増加にするのに従って増加する距離だけ、基準点から遠ざかる方向へ移動することになる。また、基準点は一般に、静止した物体を使用して、取付け時に決定されるので、物体が移動する製造段階において、信号時刻における物体の実際の位置は、常に異なるものになる。もし遅延、及び速度が分かっていれば、待ち時間を補償することも可能であるかもしれないが、待ち時間の補償は、複雑さ、及びコストを増加させることになるので、常に実施出来るとは限らない。
光電センサの待ち時間は、一般に、検出の信頼性につきある程度の妥協をすることによって、減らすことができる。センサが検出判断を行う時間を短くするほど、その判断の信頼性は低下することになる。
光電センサは、信号遷移時刻において生来的な不確定性を有する。この不確定性は、当該技術分野において一般に「再現性」と呼ばれ、通常は、数百マイクロ秒程度である。これは、信号時刻における物体の位置の不確定性と言い換えることもでき、不確定性は、物体の速度に比例する。
物体を位置特定する際の光電センサの正確さは、物理的位置決め、待ち時間、及び再現性の組み合わせによって制限される。
近年、新たな種類の光電センサが開発され、2004年6月9日に出願された係属中の米国特許出願第10/865,155に記載されている。「ビジョン・ディテクタ」と呼ばれるこれらのセンサは、光電センサの制限の一部を解決する。ビジョン・ディテクタは、デジタル画像を分析し、検知、及び位置判断を行うコンピュータその他の装置に接続された二次元撮像装置(デジタルカメラに使用されるものと同様のもの)を使用する。
ビジョン・ディテクタは、光電センサを使用して実現することが可能な条件を遥かに上回る他の条件から所望の物体を区別する能力を備える。この能力は、二次元輝度パターンを使用して、物体を検知、及び位置特定することにより実現される。基準点の設定は、マン・マシン・インタフェースを使用して電気的に行われる。しかしながら、これらの装置は、数ミリ秒程度の非常に大きな待ち時間を有し、好ましい条件下においてさえ、光電センサを上回る再現性を持たない。
さらに、ビジョン・ディテクタは、光電センサに比べて非常に高価であり、所与の目的に合わせてセットアップすることが、遥かに複雑でもある。
本発明によれば、移動する物体を検知し、限定はしないが、例えば物体の位置のような物体を表す情報を生成する、光電子工学的法、及びシステムが得られる。開示する方法、及びシステムは、下記の利点の一部、又は全部を有する種々の実施形態を提供する。
・正規化相関パターン検出方法、及びプロセスを使用する種々の実施形態を含む、一次元画像において生成された測定値に基いて、所望の物体を他の条件から区別する先進の能力
・マン・マシン・インタフェースを使用した基準点の電気的設定、及び調節
・待ち時間が無いこと、又は、物体が基準点を横切る時刻の予測に基いて、マン・マシン・インタフェースを使用して任意選択で調節可能な負の待ち時間
・非常に速い画像撮影速度、及び画像分析速度に基づく非常に高い再現性、並びに物体位置を判断する正確な方法
・コストが比較的小さいこと
・セットアップ、及び試験が比較的容易であること
・本明細書に記載する、又は当業者にとって明らかであろう他の利点
検知され、及び/又は位置特定される物体は、光学センサの視野に対して相対的に運動中であり、光学センサは、その視野内において光測定を行う。物体を表す情報を生成するために、運動方向に対してほぼ平行な向きの一次元画像が撮影され、分析される。この情報は、任意の目的に使用することができ、例えば、信号を使用して他のシステムと通信するために使用される場合がある。一般的な実施形態において、光学センサは、受光素子の一次元アレイを含むリニア光学センサである。
本明細書において「下流」という用語は、「運動方向」を意味し、「上流」という用語は、「運動方向とは逆の方向」を意味する。
運動方向に対し、ほぼ平行な向きの一次元画像を使用することによって、エミッタ/レシーバ構成、二次元撮像装置、又は他の向きの一次元画像を使用する従来技術のシステムに比べて、非常に大きな予想外の利点が得られる。物体運動を画像の向きと組み合わせることにより、物体が視野に入り、視野内を移動し、及び/又は視野から出て行く際に、物体の一部に関する時系列の一次元画像が得られる。物体の運動により、複数の撮影画像の少なくとも一部は、確実に、視野に対する相対的な物体の複数の位置に対応するものとなる。その結果、とりわけ、複数の視点が得られ、単一の視点から得られる情報に比べて、物体に関する遥かに多くの情報が得られるという利点がもたらされる。複数の視点から得られた画像を使用することは、所望の物体を他の条件から高い信頼性で区別し、物体運動を追跡し、待ち時間なしで、再現性の高い位置情報を得られるようにすることに役立つ。リニア光学センサ、及び複数の一次元画像を処理するために十分に強力なデジタルプロセッサを含む種々の実施形態は、非常に安価である。
これに比べ、従来技術のエミッタ/レシーバ構成は、実質的にゼロ次元センサであり、単に、受け取った光の量を測定するのみである。所望の物体を例えばパターン検出法によって区別する能力は無く、検出信頼性を向上させ、又は、より正確な位置情報を得るために、視野を通過する物体を視覚的に追跡する機能は無い。
複数の一次元画像を使用することにより、検知、及び位置特定の際に二次元画像を使用する従来技術のシステムに比べて、低コストで非常に速い撮影速度、及び分析速度を実現することが可能となる。例えば、係属中の米国特許出願第10/865,155号に記載されているビジョン・ディテクタは、一秒あたり500枚の速度で画像を処理する。以下に記載する本発明の一実施形態は、一秒あたり8000枚を超える速度で画像を処理し、且つ遥かに低コストで動作する。この速い動作速度を本明細書に記載する種々のプロセスと組み合わせることによって、待ち時間を無くし、再現性を劇的に向上させることができる。上で参照した特許出願は、運動方向に対してほぼ平行な向きの複数の一次元画像を本明細書に記載する目的に使用可能であることや、任意の手段により待ち時間を無くすことができることを、記載しても考慮してもいない。
移動する物体を、運動方向に対してほぼ垂直な向きのリニアアレイを使用して撮影することは、従来技術として長い間知られている。そのような構成の一つの目的は、単一の視点から物体の二次元画像を得ることにあり、複数の位置において物体の一部に関する時系列を得ることではない。運動方向に対してほぼ垂直な向きのそのようなリニアアレイは、二次元カメラの単なる代替であり、そのようなカメラに比べて特定の利点、及び欠点を有する。そのようなリニアアレイは、本明細書に記載する目的には適合しない。他にも、運動方向に対してほぼ垂直な向きのリニアアレイセンサの使用は知られているが、同様に、本明細書に記載する目的には適合しない。
本明細書に開示する方法、及びシステムは、物体が内部を通過する視野の複数の一次元画像を撮影し、画像の少なくとも一部を分析し、物体を表す情報を生成する。
実施形態によっては、物体を表す情報は、視野内における物体の存在に応答する情報、例えば、物体が視野内にあること、又は基準点と交差することを示す情報を含む場合がある。
実施形態によっては、物体を表す情報は、本明細書において「基準時刻」と呼ばれる物体が基準点を横切る時刻の推定値を含む場合がある。これらの実施形態によれば、物体を位置特定すること、すなわち、基準時刻に基準点において物体を探すことが可能となる。基準時刻の推定値は、物体を表す情報から得られる。
実施形態によっては、基準点を調節することが可能な電気的なマン・マシン・インタフェースを備える場合がある。基準点の調節は、例えば、基準点を上流、又は下流へ移動させるためのプッシュ・ボタンを設けることによって可能になる。その結果、センサを物理的に移動させることなく、基準点を非常に正確に設定することが可能になる。
実施形態によっては、基準時刻の推定値を指示することにより、物体を探す働きをする信号を生成する場合がある。この指示は、当該技術分野において周知の種々の方法で行うことができ、詳しくは以下で説明される。実施形態によっては、この信号は、単純にその時刻に生成されるか、あるいは、ある量の遅れ、又は進みを伴ってその時刻に応答することによって、推定時刻を示す場合がある。そのような実施形態において信号が発生する時刻は、本明細書では「信号時刻」と呼ばれる。推定時刻に対する相対的な信号時刻の調節を可能にするために、マン・マシン・インタフェースをさらに設ける場合がある。
実施形態によっては、実際の基準時刻と、信号時刻との間に、待ち時間が無い場合がある。実施形態によっては、基準時刻の推定値は、基準時刻を予測することによって決定される場合がある。
実施形態によっては、基準点を設定するために例示的物体、及びセットアップ信号を備える場合がある。例示的物体が所望の基準点に置かれると、セットアップ信号は、例示的物体がそのように置かれたことを示す。セットアップ信号に応答し、例示的物体を含む視野の1以上の画像が撮影され、分析され、基準点が設定される。これにより、センサを概ねの位置に取り付けた後、センサを物理的に移動させることなく、基準点を正確に設定することが可能となる。セットアップ信号は、マン・マシン・インタフェースから発せられたものであっても、他の装置から発せられたものであっても、ソフトウェア・サブルーチン・コールによって発せられたものであってもよく、あるいは、当該技術分野において既知の如何なる手段から発せられたものであってもよい。それらの実施形態において、信号は、物体が基準点を横切ったとき(待ち時間なし)、物体が基準点よりも上流にあるとき(負の待ち時間)、又は物体が基準点よりも下流にあるとき(正の待ち時間)に生成することができる。
実施形態によっては、センサの取付けをテストするためのテスト物体、及びマン・マシン・インタフェースを使用する場合がある。適当なインジケータは、視野内においてテスト物体が検知されたか否かを示し、検出された場合、テスト物体が、基準点よりも上流側にあるか、それとも下流側にあるかを示す。
実施形態によっては、本方法、及びシステムは、少なくとも複数の撮影画像において測定を行い、それらの測定値の中から、視野内の物体に応答すると判断されるものを選択し、選択された測定値を使用して、物体を表す情報を生成する判断を行い、場合によってはさらに、その情報を伝達する信号を生成することがある。
実施形態によっては、撮影画像について「画像測定値」を作成する場合がある。画像測定値は、撮影画像に対する任意の適当な計算結果を含む。画像測定値の例としては、輝度、コントラスト、エッジ品質、ピーク相関値、ピーク相関位置、及びその他、当該技術においてよく知られた多数の測定値が挙げられる。
画像測定値の中から、一組の「物体測定値」が選択される。物体測定値は、視野内の物体に応答するものと判断された画像測定値からなる。画像測定値の一部、又は全部は、物体測定値の選択に使用され、判断が、盲目的に成されるのではなく、視野内の種々の状況に基いて成されるようにする。そのような判断に特に適する一つの画像測定値は、モデルパターン、及び正規化相関プロセスを使用するピーク相関値である。ただし、その他の多くの種類の測定値も、本発明の範囲内で使用することができる。
物体測定値は、物体を表す情報を生成する種々の判断を行うために使用される。情報は、存在若しくは存在する状態、物体が基準点を横切るようなイベント、位置、速度、輝度、コントラスト、及びその他、当業者が想起するであろう本発明の方法、及びシステムに従って得ることが可能な多数の他の情報を表す場合がある。
一例示的実施形態では、物体が基準点を横切る時刻を予測し、信号を予測時刻に発生するようにスケジューリングすることによって、正確な位置情報を待ち時間無しで得る場合がある。この予測値は、一組のポイント(時刻、位置)に対して例えば一本のラインのような曲線をフィットさせることによって得られる。ただし、時刻は、画像が撮影された時刻に対応し、位置は、画像測定値から得られるものとする。
一例示的実施形態において、待ち時間は、マン・マシン・インタフェースを使用して調節することができ、新規な能力として、待ち時間を負の時間とすることも可能となる場合がある。
一例示的実施形態において、基準点は、マン・マシン・インタフェースを使用して正確に設定、及び調節することができる場合がある。
一例示的実施形態において、特定の画像測定値を生成するための正規化相関プロセスにおいて使用されるモデルパターンは、検知、及び位置特定すべき物体の所望の外観を例示的物体を使用して示すトレーニングプロセスを使用して得られる場合がある。
本発明は、下記の詳細な説明、並びに添付の図面から理解される。
製造ラインを下流へ向けて移動する個々の物体を検知、及び位置特定するための本発明によるシステムの例示的応用形態を示す。 移動する連続したウェブ上のマークを検知、及び位置特定するための本発明によるシステムの例示的応用形態を示す。 例示的装置を示すブロック図である。 視野の画像を得るための撮影プロセスを示す図であり、画像は、運動方向に対してほぼ平行な向きである。 例示的実施形態の測定プロセスにおいて使用されるモデルパターンを得るために使用されるトレーニングプロセスの一部を示す図である。 特定位置にある物体を例示的実施形態の測定プロセスの一部として示す図である。 待ち時間、及び予測の説明に関連して使用される、判断遅延を説明するタイミング図である。 物体が基準点を横切る時刻の予測を示す図である。ただし、横切る時刻が余りに遠い先の時刻であるために、信号をスケジューリングすることが出来ない。 物体が基準点を横切る時刻の予測、及びその時刻に発生するような信号のスケジューリングを示す図である。 物体が基準点を横切る時刻の予測を示す図である。ただし、予測時刻は過去であり、信号は既に発生している。 例示的実施形態における選択プロセスの一部を示すフロー図、該選択プロセスに関連する他のプロセスの種々の部分、及びそれらのプロセスによって必要とされる値を保持するために使用されるメモリを示す図である。 一実施形態における判断プロセスの一部、並びに判断プロセスと関連する他のプロセスの種々の部分を示す図である。 一実施形態において、基準点を設定するために、トレーニングプロセスの一部として使用されるマン・マシン・インタフェース、並びにトレーニングプロセスにおいて使用される例示的オブジェクトを示す図である。 本発明によるシステムの例示的実施形態の動作をテストするために使用されるマン・マシン・インタフェース、並びにテストに使用される例示的物体を示す図である。 例示的実施形態において運動方向を決定し、システムを動作状態にするために使用されるマン・マシン・インタフェース、並びに、その動作に使用される例示的物体を示す図である。
発明の詳細な説明
例示的実施形態に関する下記の詳細な説明では、本明細書の一部を構成する添付の図面が参照される。図面には、本発明を実施することが可能な特定の幾つかの実施形態が、例示の目的で示されている。本発明の範囲から外れることなく、他の実施形態を使用し、又は構造的変更を施すことも、可能であるものと考えるべきである。
定義
本明細書において、「リニアディテクタ」とは、本明細書において「物体情報」とも呼ばれることがある物体を表す情報を生成するために使用される、本発明の一実施形態によるオプトエレクトロニクスシステムを意味する。同様に、「線形検出方法」とは、同じ目的を有する、本発明の一実施形態による方法を意味する。
リニアディテクタの用途としては、制限はしないが、例えば、物体の分析、検知、及び位置特定が挙げられる。物体検知を目的とする一実施形態において、物体情報は、物体が特定の状態にあること、例えば、物体が「基準点」を横切っている状態にあることを示す情報を含む場合がある。物体の位置特定を目的とする一実施形態では、物体情報は、物体が特定の基準点を横切る時刻を含む場合がある。
本明細書において、「プロセス」とは、任意の適当な装置により実施される何らかの目的を有する一組の系統的な動作を意味し、限定はしないが、適当な装置としては、メカニズム、デバイス、コンポーネント、ソフトウェア、又はファームウェア、あるいは、一つの位置、又は異なる位置において共動し、目的とする動作を実行するためのそれらの任意の組み合わせが挙げられる。本発明によるシステムは、他の要素に加え、適当なプロセスを含む場合がある。
本明細書における説明は、本発明によるシステムの種々の実施形態を一般的に説明しており、そうしたシステムは、種々のプロセスその他の要素を含む。当業者には明らかであるように、それらの説明は、本発明による方法を説明するものとして解釈することが容易であり、本発明に係るシステムを構成するプロセスその他の要素は、かかる方法における種々のステップに対応する。
例示的応用形態
図1は、物体を検知し、位置特定する本発明の例示的実施形態の一応用形態を示している。コンベヤ100は、ボックス110、112、114、116、及び118を運動方向102へ動かす。この例における各ボックスは、例えばラベル120のようなラベル、及び例えばマーク122のような装飾的マークを有する。プリンタ130は、各ラベルがプリンタを通過する際に、例えば文字132のような種々の文字をラベルに印刷する。図1の例において、検知、及び位置特定すべき物体は、ラベルである。
図示のリニアディテクタ150は、印刷すべきラベルがプリンタを横切ったとき、又は基準点106に対して相対的に何らかの望ましい位置にあるときに、信号134をプリンタ134に送る。一実施形態において、信号134は、ラベルが検知されたことを示すパルスからなり、パルスの立ち上がりエッジは、ラベルが基準点106にあるときに発生し、それによって、ラベルの位置を特定する働きをする。
リニアディテクタ150は、レンズ164を使用して、受光素子のリニアアレイ162を含むリニア光学センサ160上に、視野170の一次元画像を形成する。視野170、及び受光素子のリニアアレイ162は、運動方向に対してほぼ平行な向きの一次元画像が生成されるような向きに配置される。各受光素子は、視野内において光測定を行う。
図1の例において、ボックスの特徴によっては、従来技術の光電センサの利用がラベルの検知、及び位置特定には不適当である場合がある。光電センサは一般に、ボックスのエッジの検出に非常に適しているが、ラベルは、ボックスのエッジに対して相対的に固定位置にない。例えば、ボックス118上のラベルは、ボックス116上のラベルに比べて、ボックスの左側エッジから遠くにある。従って、ラベルそのものを検知することが望ましいが、ラベルのエッジを装飾的マークのエッジから区別することは出来ないので、従来技術による光電センサは不適当である。
ラベルの幅は、装飾的マークの幅よりも遥かに広い。しかしながら、例えばパターン検出プロセスを使用することにより、一次元画像の適当な分析によって、視野170内のラベルに対応する光パターンを、装飾的マークに対応する光パターンから区別することができる。本発明は、以下で詳しく説明するように、画像を分析することにより、信頼性の高い検知、及び正確な位置特定を可能にする。
図2は、物体を検知、及び位置特定するための本発明の他の例示的応用形態を示している。コンベヤ200は、連続したウェブ210を運動方向202へ移動させる。ウェブ210は、例えばマーク220、222、及び224のような周期的基準マークを有する。これらのマークが、リニア光学センサ260を含むリニアディテクタ250の視野270を通って移動する際に、視野270の一次元画像は、リニア光学センサ260上に結像される。リニア光学センサ260は、受光素子262のリニアアレイを含む。視野270、及び受光素子のリニアアレイ262は、運動方向202に対してほぼ平行な向きの一次元画像が生成されるような向きに配置される。
基準マークが基準点206を横切ったとき、又は基準マークが基準点206に対して相対的に何らかの所望の位置にあるときに、リニアディテクタ250は、信号(図示せず)を適当なオートメーション装置(図示せず)に送る場合がある。
図2の例において、基準マークは、ウェブ210上に現れることがある他のマーク、特徴、異常、又は影から区別可能なグレイの影のパターンを含み、そのような基準マークによれば、従来技術の光電センサにより達成できるものに比べて、遥かに信頼性の高い検知が可能になる。
例示的装置
図3は、本発明によるリニアディテクタの一部の一実施形態を示すブロック図である。カリフォルニア州サンノゼにあるアトメル・コーポレーションが販売するAT91SAM7S64のようなマイクロコントローラ300は、ARMv4Tプロセッサ310、リード・ライトSRAMメモリ320、リードオンリー・フラッシュメモリ322、USART(Universal Synchronous/Asynchronous Receiver Transmitter)330、パラレルI/Oインタフェース(PIO)332、及びタイマー334を含む。ARMv4Tプロセッサ310は、マイクロコントローラ300の他の要素を制御し、SRAM320、又はフラッシュメモリ322に記憶されたソフトウェア命令を種々の目的のために実行する。SRAM320は、ARMv4Tプロセッサ310により使用されるデータを保持する。マイクロコントローラ300は、50MHzのクロック周波数で動作する。
テキサス州プラノにあるテキサス・アドバンスト・オプトエレクトロニック・ソリューションズ(TAOS)が販売するTSL3301−LFのようなリニア光学センサ340は、受光素子のリニアアレイ102を含む。リニア光学センサ340は、USART330を使用して発行されたコマンドによりARMv4Tプロセッサ310の制御に従って、「露出インターバル」と呼ばれる調節可能な時間にわたって受光素子のリニアアレイを光に曝すことができ、その結果得られた光測定値102を二値化し、デジタル形式でUSART330へ送信し、SRAM320に記憶することができる。TAOSドキュメントTAOS0078、2006年1月に記載されているように、リニア光学センサ340はさらに、ARMv4Tプロセッサ310の制御にも従って、3つのゾーンのそれぞれの光測定値に対し、それらを2値化する前に、調節可能なアナログ利得、及びオフセットを適用することができる。
例示的実施形態として、リニア光学センサ340は、個々の受光素子の照明、光学特性、及び応答に何らかの不均一性があったとき、その不均一性を補償するよう較正される場合がある。均一な白さの物体を視野内に置き、最も明るいピクセルが飽和をわずかに下回るものとなるように、3つのゾーンのそれぞれについて利得を設定する。次に、各ピクセルについて較正値を計算する。較正値は、各グレイ値に対して対応する較正値を乗算したとき、均一な白さの物体に対して均一な画像が生成されるような値として計算される。較正値はフラッシュメモリ322に記憶され、その後撮影される画像に対して適用される。較正値は、各グレイ値に対して8以下の数が乗算されるような値に制限される。この較正手順により使用される各画像は、種々の撮影画像を平均化512することによって得られる。
リニア光学センサ340の視野を照明する手段は、任意の適当な手段であってよい。例示的実施形態では、2つの630nm LEDが、リニア光学センサ340の一方の側から視野を照らすために使用され、2つの516nm LEDが、他方の側から視野を照らすために使用される場合がある。カリフォルニア州トランスにあるルミニットが製造するもののようなビーム整形デフューザが、LEDの正面に配置され、LEDのビームは、リニア光学センサ340に対して平行な向きに拡散される。
製造技術者のようなリニアディテクタである人間のユーザは、マン・マシン・インタフェース(HMI)350を使用して、システムを制御することができる。例示的実施形態において、HMI350は、以下で詳しく説明するような一並びのボタン、及び指示灯を有する場合がある。ARMv4Tプロセッサ310は、PIOインタフェース332を使用してHMI350を制御する。他の実施形態として、HMIは、パーソナルコンピュータその他のデバイスから構成される場合もある。さらに別の実施形態として、HMIは全く使用されない場合もある。
図3に示すリニアディテクタは、物体の検知、及び位置を知らせるための信号362を生成する。信号362は、所与の目的における必要性に応じて、オートメーション装置360に接続される。信号362は、ARMv4Tプロセッサ310の制御に従って、タイマー334により生成される。代替実施形態として、信号362は、同じくARMv4Tプロセッサ310により制御されるPIOインタフェース332によって生成される場合がある。なお、オートメーション装置360は、単に例示の目的で示されている。信号632は、如何なる目的に使用してもよく、必ずしも何らかの形のオートメーション装置に接続される必要はなく、信号362を全く使用しなくてもよい。
例示的実施形態として、種々のプロセスは、図3のブロック図に示したような相互に関連する一群のデジタルハードウェア要素、SRAM320又はフラッシュメモリ322に存在する適当なソフトウェア命令、及びSRAM320に存在するデータにより実行される場合がある。
本発明によるシステムの種々の実施形態によって使用されるプロセス
本明細書において、「運動プロセス」とは、物体と、光学センサの視野との間に、何らかの運動方向における相対運動を生成するプロセスである。相対運動が存在する限り、物体、センサ、及び/又は視野を動かすことができる。限定はしないが、運動プロセスの例としては、例えば、固定センサ、又は可動センサを通過させて物体を移動させるコンベヤ;固定の物体、又は可動物体を通過させてセンサを移動させるロボットアームに取り付けられたセンサ;例えば可動ミラーのような何らかの手段を使用して視野を動かす固定の物体、又は固定のセンサ;並びに固定のセンサ、又は可動のセンサを通過する落下中の物体などが挙げられる。
本明細書において、「撮影プロセス」とは、光測定を行う光学センサの視野の一次元画像を取得するプロセスである。画像は、視野から発せられた光に関する情報を有し、必要に応じて他のプロセスによる分析に適したものであれば、どのような形態のものであってもよい。画像は、測定可能な任意の色、任意の波長、若しくは任意の波長範囲、任意の偏光状態、又は任意の他の光特性、あるいはそれらの組み合わせに応答するものであってもよい。画像は、アナログであっても、デジタルであってもよく、またそれらの如何なる組み合わせであってもよく、光学センサに置かれる場合もあれば、センサ外部のメモリに置かれる場合もあり、あるいはそれらの如何なる組み合わせに置かれてもよく、また、限定はしないが、利得及びオフセット、再サンプリング、解像度の変更、時間フィルタリング、及び/又は空間フィルタリングのような、任意の適当な形式のアナログ信号処理、及び/又はデジタル信号処理によって取得することができる。
図3の例示的装置において、撮影プロセスは、「ピクセル」(その値は、「グレイ値」と呼ばれ、光測定値に対応する)と呼ばれる数値のアレイを得るために、光測定値を2値化し、ピクセルをリニア光学センサ340からマイクロコントローラ300へ転送し、その後の分析に備えてピクセルをSRAM320に記憶することからなる。以下では、当該技術分野における通例に従い、ピクセルとは、数値アレイの一要素、又はアレイの2つの近傍の要素間の距離に対応する距離単位を意味する。ピクセルのアレイは、一次元デジタル画像である。
撮影プロセスは、運動プロセスと協働し、運動方向に対してほぼ平行な向きの複数の一次元画像を撮影する。その結果、それらの画像の少なくとも一部は、視野に対する相対的な物体の複数の位置に対応するものとなり、物体が視野を通過する際に、物体の一片に関する時系列の複数の画像が、生成される。
当業者には明らかなように、「ほぼ平行」とは、物体が視野に入り、その中を移動し、視野から出てゆく際に、リニアディテクタによって、複数の位置における物体の一片に関する時系列の画像を得ることが可能となる任意の向きを意味する。同じく明らかなように、本明細書に記載するシステム、及び方法における使用に適した向きの範囲には、発明の用途によって異なる制限がある。例えば、もし画像の向きが、画像の向きと運動方向の成す角度が5度となるような向きであった場合、物体がその方向に対して平行に1ピクセル移動するたびに、その物体は、運動方向に対して垂直に0.09ピクセルずつずれてゆくことになる。例えば、もし、複数の位置の範囲が、運動方向において30ピクセルを含む場合、そのずれは、2.6ピクセルにしかならないであろう。もし2.6ピクセルのずれがあっても、本明細書に記載するシステム、及び方法が意図したとおりに機能するのであれば、その5度の向きは、その用途においてほぼ平行な向きとなるであろう。当然ながら、本明細書に記載するシステム、及び方法が意図したとおりに機能するか否かは、物体の性質、発明の望ましい能力(例えば、正確さ、及び信頼性)、その他の要素に応じて決まる。
同様に、当業者には明らかなように、本明細書に記載するシステム、及び方法が意図した通りに機能する限りは、運動方向は、必ずしも厳密に一様、又は一定である必要はない。
一次元画像を使用すれば、従来技術の二次元システムに比べて遥かに低いコストで、非常に高速な撮影、及び分析が可能となる。高速な撮影、及び分析によれば、物体が視野を通過する際に、各物体について多数の画像を分析することが可能となる。物体の運動により、複数の視点から画像を得ることができ、単一の視点から得られる情報に比べて、物体に関する遥かに多くの情報を得ることが可能となる。この情報が、信頼性の高い検知、及び正確な位置特定の基礎となる。
運動方向に対してほぼ垂直な向きの従来技術のリニアアレイセンサは、一般に、各物体について単一の二次元画像を生成する。こうしたシステムは、便利ではあるが、本発明の能力を提供しない。
図1、図2、及び図3の例示的実施形態は、リニア光学センサを使用して、運動方向に対してほぼ平行な向きの一次元画像を生成しているが、当業者には明らかなように、他のタイプの光学センサを同じ目的に使用することも可能である。例えば、二次元光学センサを使用して二次元画像を撮影し、その後、その部分を、運動方向に対してほぼ平行な向きの一次元画像に変換する場合がある。この変換は、任意の適当な形の信号処理によって実現することができ、例えば、運動方向に対してほぼ垂直に光測定値を平均化することによって実現される場合がある。さらに別の例として、いわゆる着目領域を撮影する機能を備えた二次元光学センサを使用してもよい。多くの市販のCOMS光学センサは、この機能を備えている。運動方向に対してほぼ平行な向きの一次元着目領域は、リニア光学センサと同等の機能を有するであろう。各撮影画像について画像部分、又は着目領域が必ずしも同一である必要はないが、本明細書に記載するシステム、及び方法が意図した通りに機能する限り、そうした画像部分、又は着目領域は何らかの形で動かしてもよい。
図4は、視野410の一次元画像430を得るための例示的な撮影プロセスの一部を示している。図中、画像430は、運動方向400に対してほぼ平行な向きになっている。
視野410から発せられた光は、光学センサ(図示せず)の表面に集束され、光学センサは、光測定を行う。図4の例示的撮影プロセスでは、例示的ゾーン440のような、視野410の24個のゾーンにおいて、24の個別の光測定が行われる。例示を容易にするために、ゾーンは矩形として、連続的に、かつ互いに重ならないものとして描かれているが、一般的なセンサの場合、例えば光を集束させる光学素子の性質や、半導体製造上の要件等が原因で、その構成はもっと複雑になる。
図4の例示的撮影プロセスでは、各光測定値を2値化することにより、例示的ゾーン440にそれぞれ対応する例示的ピクセル450のような、24個のピクセルが生成される。例えば、ピクセル450のグレイ値は56であり、この値は例えば、ゾーン440の光測定値である。
図4のゾーンは、例えば、リニアアレイセンサにおける個々の受光素子に対応し、又は、上で説明したような任意の適当な形の信号処理により単一の測定値に変換された二次元センサの複数の受光素子に対応する場合がある。
画像430の画像の向き420は、視野410の光測定ゾーンの構成によって決まる。もし、画像の向き420、及び運動方向400が、物体が視野に入り、視野内を移動し、及び/又は視野から出てゆく際に、撮影プロセスによって、複数の位置において物体の一片に関する時系列の複数の画像を得ることができるような向き、及び方向であれば、画像430は、運動方向400に対してほぼ平行な向きである。なお、画像の向き420は、画像430に含まれる光測定値の構成によって決まるような、視野410に対する相対的な方向である。画像そのものは、デジタルメモリ上に存在する単なる数値のアレイに過ぎない。従って、図4の水平方向に対するアレイの向きに意味は無い。
本明細書において、「測定プロセス」とは、撮影画像を分析し、「画像測定値」と呼ばれる値を生成することにより、視野内における測定を行うプロセスである。画像測定値の例としては、例えば、輝度、コントラスト、エッジ品質、エッジ位置、エッジの数、ピーク相関値、及びピーク相関位置などが挙げられる。本発明の範囲内において使用可能な画像測定値は、当該技術分野において他にも多数知られている。画像測定値は、任意の適当な形のアナログ信号処理、及び/又はデジタル信号処理によって得ることができる。
図3の例示的実施形態において、測定プロセスは、SRAM320、又はフラッシュメモリ322に記憶されたソフトウェア命令の制御に従ってARMv4Tプロセッサ310により実行される、SRAM320に記憶された撮影画像に対するデジタル計算からなる。例えば、輝度画像測定値は、画像、又はその一部に関するピクセルの平均を計算することによって生成される場合がある。コントラスト画像測定値は、画像、又はその一部に関するピクセルの標準偏差を計算することによって生成される場合がある。
必ずしも、全ての撮影画像において同じ画像測定値を生成する必要はなく、また、同じ数の画像測定値を生成する必要もない。本発明の一実施形態では、特定の撮影画像については分析を実施せず、従って、画像測定値を生成しない場合がある。ただし、説明を分かり易くするために、そのような画像については無視し、全ての撮影画像が、測定プロセスによって分析されるものと仮定する。
本発明の一部の応用形態では、視野内に物体が無い場合にも撮影画像が生成され、従って、画像測定値からは、物体について何も分からない場合がある。他の実施形態では、物体は常に視野内にあるが、必ずしも全ての画像測定値が、物体情報の判定に関係しない場合がある。また、全ての画像測定値が関係するが、信号を生成できるようにするために、種々のポイントにおいて何らかの物体情報を決定しなければならない場合もある。従って、本発明の一部の実施形態によるリニアディテクタは、種々の画像測定値の中から、物体に応答するものと判断された画像測定値を選択するための「選択プロセス」を含む場合がある。選択された画像測定値は、「物体測定値」と呼ばれる。後で詳しく説明するように、選択プロセスは、画像測定値の少なくとも一部を使用して、どの画像測定値を選択すべきかを決定する。
図3の例示的実施形態において、選択プロセスは、SRAM320、又はフラッシュメモリ322に記憶されたソフトウェア命令の制御に従ってARMv4Tプロセッサ310により実行される、SRAM320、又はARMv4Tプロセッサ310のレジスタに記憶された画像測定値に対するデジタル計算を含む。
本発明によるリニアディテクタは、物体測定値を分析し、物体情報を生成する「判断プロセス」を含む場合がある。図3の例示的実施形態において、判断プロセスは、SRAM320、又はフラッシュメモリ322に記憶されたソフトウェア命令の制御に従ってARMv4Tプロセッサ310により実行される、SRAM320に記憶され、又はARMv4Tプロセッサ310のレジスタに記憶された物体測定値に対するデジタル計算からなる。
本発明の一部の実施形態によるリニアディテクタは、任意選択で、物体情報を伝達する信号を生成するための「信号プロセス」を含む場合がある。信号の形は、当該技術分野において既知の如何なる形であってもよく、限定はしないが、例えば、電気パルス、アナログ電圧若しくはアナログ電流、シリアルライン、USBライン、若しくはイーサネット(R)ライン、無線伝送若しくは光伝送において伝送されるデータ、及びソフトウェアルーチンへ送信されるメッセージ、又はソフトウェアルーチンへのファンクションコール等の形が挙げられる。信号は、リニアディテクタによって自発的に生成され、又は他の装置からの要求に応答して生成される。
図3の例示的実施形態において、信号プロセスは、SRAM320、又はフラッシュメモリ322に記憶されたソフトウェア命令の制御に従ってARMv4Tプロセッサ310により実行される、SRAM320に記憶され、又はARMv4Tプロセッサ310のレジスタに記憶された物体情報に対するデジタル計算、及び、タイマー手段334による信号362の生成を含む。信号362は電気パルスであり、タイマー334は、パルスが確実に正確な時刻に生成されるようにするために、ARMv4Tプロセッサ310によって使用される。
当然ながら、何らかの形で相互に関係する複数のプロセスの組み合わせも、全てプロセスである。従って、種々の特定のプロセスを含むものとして説明された種々の実施形態に関する説明は、便宜上なされたものであり、単に、理解を容易にするためになされたものである。もっと多数の、又はもっと少数のプロセスを含むような実施形態の再構成であって、プロセスの組み合わせによって同等の目的に係る同等の一組の動作を実施するものも、同等の実施形態を構成するものと考えるべきである。
測定プロセスの概要
選択プロセスが、画像測定値を使用して、物体に応答するものと判断された物体測定値を選択できるようにするために、視野内の物体の存在に応答する画像測定値を生成することが、しばしば望ましい場合がある。具体的には、測定プロセスは、物体が存在する可能性、すなわち確実度を示す、本明細書において「スコア測定値」と呼ばれる値(又は、一組の値)を計算する場合がある。例えば、値が大きくなるほど可能性、すなわち確実度は増大する。所与の画像から得られる画像測定値は、何らかの基準に従って、物体が存在する確実度が十分に大きいと判断されたときに、選択することができる。ただし、画像測定値によっては、無条件で、又は何らかの他の基準に従って選択されるものもある。
物体が存在する確実度を求めるのに適した画像測定値には多くの種類のものがあるが、その選択はリニアディテクタの意図する用途に応じてなされる。輝度、コントラスト、エッジ品質、エッジの数、及びピーク相関値のような画像測定値、並びに当業者にとって想起される他の画像測定値を使用することができる。
視野内の物体の位置に応答する画像測定値を生成することが、しばしば望ましいことがある。そのような測定値は、本明細書では、「位置測定値」と呼ばれる。図11に関する後の説明から分かるように、選択プロセスは、そのような測定値を使用することができる。判断プロセスは、そのような測定値を使用して、物体の位置を特定する。物体の位置特定に適した種々のタイプの画像測定値が、当該技術分野において知られている。例示的実施形態を以下で説明する。
とりわけ重要なのは、「パターン検出」プロセスが組み込まれた測定プロセスである。パターン検出プロセスは、画像中のグレイ値の空間的配置に応答するプロセスである。例えば、種々のピクセルの平均を計算することにより成される輝度測定、又は種々のピクセルの標準偏差を計算することにより成されるコントラスト測定は、パターン検出プロセスではない。なぜなら、それらの結果は、グレイ値の空間的配置とは無関係であるからである。パターン検出プロセスの例としては、例えば、エッジ検出、及び相関が挙げられ、他にも多くのものが、当該技術分野において知られている。
例示的実施形態の場合の測定プロセス
図5、及び図6は、一実施形態により使用される測定プロセスにより生成されるような、物体の存在、及び物体の位置に応答する画像測定値を示している。測定プロセスは、周知の正規化相関処理に基く正規化相関プロセスを含む。正規化相関プロセスは、パターン検出プロセスの一例であり、視野内の物体の画像中のグレイ値の予想パターンに対応するモデルパターンを使用する。正規化相関プロセスは、撮影画像中の、モデルパターンに最も類似する位置を探し出し、その位置における類似度のような画像測定値を生成する。類似度は、スコア測定値の一例であり、位置そのものは、位置測定値の一例である。なお、十分に類似する位置が撮影画像中に存在しない場合、位置測定値は、無意味になる場合がある。正規化相関によれば、当該技術分野において周知の多数の利点が得られる。
スコア測定値は、物体の存在に応答し、位置測定値は、物体の位置に応答する。例示的実施形態において、rを正規化相関係数としたとき、スコア測定値は、min(r,0)2であり、位置測定値によれば、周知の放物線補間法を利用して、サブピクセルの精度が得られる。
モデルパターンは、グレイ値の任意のパターンを含むことがあり、例えば、2つのグレイ値からなる単純なエッジパターン、又は多数のグレイ値からなる複雑なパターンを含むことがある。モデルパターンは、種々の方法によって得ることができ、例えば、グレイ値の予測パターンに関する事前の知識から、又はトレーニングプロセスを使用して例示的物体から得ることが出来る。
図5は、一例示的実施形態におけるトレーニングプロセスを利用したモデルパターンの取得を示している。視野502内に、例示的物体500を置く。例示的物体は、明るい領域510、517、暗い領域513、515、中間の明るさの領域512、514、及び中間の暗さの領域511、516を含む光パターンを有する。
トレーニングプロセスは、例示的物体500から一次元トレーニング画像540を撮影する。トレーニング画像540は、グレイ値を画像中の位置の関数としてプロットするグラフ520によって示される。トレーニング画像中のパターンの位置は、領域513と領域514の間の境界を通る原線532によって示されるような0の位置にあるものとして自由に定義される。この例では、この0の位置は、基準点でもある。
図5の例示的実施形態において、モデルパターン542は、−25の位置にある第1の位置530と、+35の位置にある第2の位置534との間に存在するトレーニング画像540の部分から得られる。ここに示されるように、トレーニングプロセス540は多少のノイズの影響を受けているので、モデルパターン542は、撮影画像を平均化512し、3ピクセル幅のボックスカーフィルタを使用して平滑化することにより取得される。1以上のトレーニング画像からのモデルパターンの取得には、何も変更を加えないことを含めて、当該技術分野において既知の如何なる方法を使用してもよい。周知な方法の一例は、複数の例示的物体を使用し、各物体から撮影されたトレーニング画像を平均化することである。
図5の例示的実施形態において、画像540は100個のピクセルを含み、モデルパターン542は60個のピクセルを含む。この実施形態では、モデルパターンが完全な形で画像中に存在する場所においてのみ、正規化相関プロセスは、ピーク位置を探索する。その結果、41個のそのような位置が存在する。速度、範囲、及び識別能力のような種々の性能特性は、それらのサイズを調節することにより、必要に応じて調節される場合がある。そうした調節は、適当な値をソフトウェアにプログラムすることによってHMI350により実行することができ、あるいは他の周知の手段により実行することもできる。より高速度で動作するが、範囲は狭く、識別能力は幾らか小さくなるように設計された他の例示的実施形態において、画像サイズは84ピクセルであり、モデルパターンサイズは54ピクセルである場合がある。
上記の説明による実施形態では、モデルは、少なくとも3ピクセルを有する必要があり、撮影画像は、少なくともモデルと同程度の大きさを有する必要がある。ただし、それ以外に、画像サイズやモデルサイズに対する制限は無い。当業者には明らかであるように、サイズの違いは、速度、範囲、識別能力、及び他の特性の間における種々の技術的トレードオフをもたらす。
図5の例示的実施形態において、運動方向は、左から右、すなわち、位置が増加する方向である。理解されるように、モデルパターン542を得るために使用されるトレーニング画像540の部分は、視野の中心から、この例では5ピクセルだけ、下流方向にオフセットされている。その結果、上流端と、原線532の位置にある基準点との間におけるより多くの位置において、モデルパターン542を100ピクセルの画像540の中に完全にフィットさせることが可能となり、その結果、以下で説明する予測に備えて、より多くのデータを生成することができる。一般に、オフセットは、HMI350により、適当な値をソフトウェアにプログラムすることによって調節することができ、あるいは、他の周知の手段によって調節してもよい。オフセットは、基準点の位置、及び/又は所望の待ち時間に応答して計算することができ、また、オフセットを使用する必要は、全くないこともある。
図6は、モデルパターン542に応答する正規化相関プロセスを用いて、物体位置に応答する画像測定を行う測定プロセスを示している。グラフ620に示すように、例示的物体500の光パターンと同様の光パターンを有する物体600は、その画像640が撮影された時点において、視野602内の何処かの位置にある。
グラフ622は、ピーク位置(この例では、−15の位置)におけるモデルパターン642を示している。従って、この例では、測定プロセスは、撮影画像640中の物体位置の画像測定を行う。画像測定値は、−15ピクセルになっている。
ピーク位置においてモデルパターン642は画像640に非常によく似ているので、スコアは高くなり、その結果、測定プロセスは、画像640を撮影した時点において視野内に物体が存在することの高い確実性を示す、物体存在の画像測定値を生成することになる。確実性が高いので、それら2つの画像測定値は、物体に応答するものとみなされ、それら2つの画像測定値を物体測定値に含めるべきものとして選択することができる。
測定プロセスに関する上記の説明は、特定の幾つかの実施形態に関するものであり、当業者にとって想到し得る大きな変更、又は完全に異なる方法を使用して、本明細書に記載する教示に従い、同様の効果、又は他の所望の効果を達成することも可能であるものと考えられる。例えば、使用される数値定数は全て、例として解釈すべきものであり、制限として解釈すべきものではない。モデルは、トレーニング画像から得るのではなく、物体に関する事前の知識から得ることもできる。例えば、相関とモデルを使用する代わりに、階調とモデルを使用する周知のエッジ検出法を使用して、スコア測定値、及び位置測定値を得ることもできる。
待ち時間、及び予測
基準時刻において基準点を横切るように移動する物体を考える。物体を検知、及び位置特定するようにセンサを設計する一つの一般的方法は、物体が基準点を横切る正確な時刻に、信号を、典型的はパルスを生成することである。パルスの存在は、物体が検知されたことを知らせる働きをし、パルスのタイミングは、物体が既知の基準点の位置にあった時刻を知らせることにより、その物体の位置を知らせる働きをする。信号を使用することにより、所望のオートメーション装置は、物体が既知の位置にあるときに、その物体に対して作業をすることができる。重要なことは、物体が存在するときに信号を生成し、それ以外の時にセンサの前で発生する何か他のものに応答して信号を生成しないことである。
もちろん実際には、システム、又は方法はいずれも、基準時刻を推定することしか出来ないため、多少の誤差が生じる。平均誤差、すなわち基準時刻から信号時刻までの平均インターバルは、当該技術分野において通常、「待ち時間」、又は「応答時間」と呼ばれる。従来技術の装置は、多少の待ち時間、一般的には、数百マイクロ秒の待ち時間を生じる。待ち時間の影響は、信号が発生するときに、物体が既に、運動速度に応じて決まる量だけ、基準点から下流へ移動していることである。もし待ち時間、及び速度が正確に分かっていれば、オートメーション装置が既知の位置において物体に対して作業をするように設定することができる。もちろん実際には、待ち時間、及び速度は、不正確にしか分からない。従って、速度、又は待ち時間が増加するのに従って、位置誤差は増加することになる。エンコーダ、又はそれに類する装置を使用すれば、速度に関する不十分な情報を補うことは出来るが、待ち時間に関する情報を補うことは出来ない。
誤差の標準偏差は、システム、又は方法の再現性の尺度となる。それらの誤差は、ランダムであるため、補正することは出来ない。総合的な精度は、待ち時間、及び再現性の両方の影響を受ける。
待ち時間が生じる理由は、物体が存在することを確実に判断するために、センサが、多少の時間を必要とするからである。一般に、より多くの時間をかけて判断を行うほど、その判断は信頼性の高いものになる。例えば、単純なフォトトランジスタは、数ナノ秒程度のわずかな待ち時間しか生じないこともあるが、非常に多数の無用な物に誤って応答するであろう。従来技術のセンサは、妥当な待ち時間と、妥当な信頼性との間のトレードオフを行う。
図7は、図3の例示的装置に関するこの判断遅延を示している。画像撮影は、リニア光学センサ340がその受光素子を、露光インターバル700にわたって光に曝すときに開始される。ARMv4Tプロセッサ310の制御に従って、ピクセルはSRAM320へ転送される。この転送には、転送インターバル710を要する。次に、計算インターバル720にわたって、測定プロセス、選択プロセス、及び判断プロセスが、ARMv4Tプロセッサ310上で実行される。露光インターバル700に対応する画像中の測定値に基いて何らかの動作(例えば信号の生成)を行うことが出来る最も早い時刻は、判断ポイント740の時刻であり、この時刻は、露光インターバル700の中間点730から判断遅延750だけ遅延している。判断プロセスは、過去に関する情報のみを有し、現在に関する情報は有しない。
なお、図3の例示的装置において、露光インターバル、転送インターバル、及び計算インターバルは全て、重なり合わせることもでき、それによって、画像間のインターバルを、3つのインターバルの合計ではなく、それらのインターバルのうちのもっとも大きなもののみにすることができる。その結果、非常に高い時間分解能は実現されるが、判断遅延750は全く低減されない。
判断遅延は避けられないが、待ち時間はそうではない。本発明は、物体が基準点を横切るであろう時を予測し、その時刻に発生するように信号をスケジューリングすることによって、待ち時間を無くす。物体がこれまでどのように動いていたかに関する測定結果と、物体が、将来十分な時間にわたってそのように動き続けるであろうという予想との両面から、物体の運動に関する十分な知識あれば、予測は正確になる。
また、本発明によれば、たとえ待ち時間がゼロ、又は負である場合であっても、従来技術のシステムに比べて、遥かに高い信頼性での検知が可能になる。検知は、多ミリ秒の長さの時間であってもよい時間範囲における多数の画像に基いて行われ、その結果、待ち時間を犠牲にすることなく、注意深い判断を行うことが可能となる。また、正規化相関のようなパターン検出を利用した検知は、基本的に、ごく稀に視野に入ることがある他の物体から所望の物体を良好に区別することができる。
優れた予測方法を使用することにより、さらに、待ち時間を負にすることもできる。実際のところは、達成可能な負の待ち時間の範囲に制限はあるが、負の待ち時間によれば、従来技術に比べて新たな種々の能力が得られ、それらは有用であることもある。例えば、もしオートメーション装置が、信号の受信と、動作との間に、短い待ち時間を有する場合、本発明によるリニアディテクタにおける負の待ち時間を利用して、システム全体の待ち時間がゼロになるように、装置待ち時間を相殺することができる。
もちろん、実際のシステム、又は方法が、厳密にゼロの待ち時間を有することはない。従って、本明細書において、「待ち時間なし」は、再現性との比較において待ち時間が大幅に小さいシステム、又は方法を意味する。そのようなシステム、又は方法の場合、信号は時々、基準時刻よりも前に到着したり、後に到着することがある。
例示的実施形態における予測
例示的実施形態において、撮影プロセスは、先に説明されたものと同様にして画像を撮影し、さらに各画像について、露光時間の中間に対応する撮影時刻(t)を生成する。例えばARMv4Tプロセッサ310は、露光インターバルの中間、又は何らかの他の時点においてタイマー334を読み取り、その時点と、露光インターバルの中間との間の時間差を補正することによって、撮影時刻を求めることができる。
上で説明したような正規化相関を利用する測定プロセスを使用すれば、視野を通って移動する物体について、一組のスコア(s)、位置(x)対が得られる。従って、撮影画像のそれぞれについて、3つの値(s,t,x)が得られる。すなわち、測定プロセスから2つの画像測定値が得られ、撮影プロセスから撮影時刻が得られる。このセクションでは、(t,x)対のみを考え、選択プロセスを無視し、検知のその部分、及び予測に関係する信号プロセスのみを考えるものとする。選択、及び検知については、以下で他のセクションにおいて詳しく説明する。
予測精度は、種々の要因によって決まる。例えば、例示的実施形態において、本発明によるリニアディテクタは、1秒あたり8000枚以上の画像という速度で動作し、その動作は、一定速度とする。判断遅延750は通常、300μs未満である。約125μsもの高い時間分解能により、物体が基準点に近づく際に、各物体について、正確なt個の測定値、及び多数の(t,x)対を得ることが出来る。判断遅延が短いことは、一定速度からの偏差がいずれも、非常に短いインターバルで発生することを意味する。サブピクセル補間とともに正規化相関を使用することにより、正確なxの測定値が得られる。
図8〜図10は、例示的実施形態について、予測、及び信号生成を示している。この実施形態における予測は、一斉に動作する撮影プロセス、測定プロセス、選択プロセス、及び判断プロセスの複合効果である。
図8は、視野を通過して移動する物体に関する、撮影時間tと、物体位置xとの関係を示すプロット800である。時刻値は、何らかの任意の開始点からマイクロ秒を単位で示され、位置値は、基準点822から測定されたピクセルを単位として示されている。他のところで説明したように、時刻値は撮影プロセスから得られ、位置値は測定プロセスから得られる。測定プロセスはさらに、各ポイントについて、図示しないスコア測定値sを生成する。例示を簡単にするために、画像撮影/転送/計算の速度は、約10KHzとされ、このとき周期は約100μsになる。
例示的なポイント810のような種々の(t,x)ポイントが、プロットされている。現在時刻832が図示され、現在時刻は、画像の露光インターバルの中心が露光時刻830に、すなわち位置測定値を得ることが可能な最も最近の時刻に位置する画像についての判断ポイント740に対応する。判断遅延840は、露光時刻830と現在時刻832との間のインターバルである。今までのところ、3つのポイントが得られている。
例示的実施形態において、十分に高いスコアを有する3つのポイントは、基準時刻の予測を行うために十分であるものとする。予測は、今までのところ得られた3つのポイントを通るベストフィットライン820を使用して行われ、ライン820は、周知の最小二乗法によって計算される。予測時刻834は、ベストフィットライン820が基準点822と交差する時刻である。
当然ながら、(t,x)ポイントに対しては、任意の適当な曲線をフィットさせることができ、曲線は、x=f(t)として、何らかの関数fに相当する。当然ながら、ベストフィットライン820は、一定速度の仮定に対応するそのような曲線の一例である。一定加速度を仮定する他の実施形態では、ベストフィット放物線が使用されることもある。
図8の例において、現在時刻832から予測時刻834までの信号遅延インターバル842は、約2170μsである。例示的実施形態において、1000μsよりも大きい信号遅延インターバルは、長すぎて信頼できないものとみなされる場合がある。不正確なのは予測時刻だけではないが、物体が実際に基準点を横切るであろうことを示す十分な証拠は何も無い。従って、信号のスケジューリングは行われない。
図9は、図8のプロットと同様のプロット900を示している。ただし、この場合、例示的なポイント910を含む15個の(t,x)ポイントが得られている。現在時刻932、最も最近の露光時刻930、及び判断遅延940が示されている。ベストフィット曲線920は、予測時刻934において基準点922と交差する。信号遅延インターバル942は、約190μsである。十分に高いスコアを有するポイントが少なくとも3つ存在し、信号遅延インターバル942は1000μs未満であるから、信号は、予測時刻934に発生するようにスケジューリングされる。
信号をスケジューリングする基準を例示的実施形態のように設定した場合、現在時刻922以前に、複数回にわたって信号がスケジューリングされていることが明らかである。例えば、時刻950において、最後にデータを取得したポイントが、ポイント952であった場合、基準は満たされ、パルスがスケジュールされているであろう。物体が基準点922の近くに移動するほど、予測は正確になる。なぜなら、ラインをフィットさせるポイントの数が増え、予測が、外挿的なものではなくなるからである。従って、信号がスケジューリングされると、その信号は、以前にスケジューリングされた信号に置き替わり、その結果、物体が基準点に近づく際に、事実上、全ての画像について、予測信号時刻が更新されることになる。
図10は、図8のプロットと同様のプロット1000を示している。ただし、この場合、例示的なポイント1010を含む17個の(t,x)ポイントが得られている。現在時刻1032、最も最近の露光時刻1030、及び判断遅延1040が示されている。ベストフィットライン1020は、予測時刻1034において基準点1022と交差する。信号遅延インターバル1042は、約130μsだけ負であり、これは、以前にスケジューリングされた信号により、信号は既に発生しているはずであることを意味する。
2つの場合がある。第1に、もし信号が、図10に示すように、現在時刻1032よりも前に発生したパルスエッジ1050によって実際に生成されている場合、現在の物体についてすべきことは、何も残っていない。如何なる信号もスケジューリングされない。もし何らかの理由から、信号がまだ発生していない場合(信号がスケジューリングされたが、発生はしていない場合、又は信号がスケジューリングされていない場合)、信号は直ちに生成される。
図8〜図10、及びそれらに付随する説明は、待ち時間の無い実施形態を説明しているが、例えば、正、又は負の値を時刻834、934、及び1034のような予測基準時刻に加算することによって、正、又は負の待ち時間を導入することも可能である。待ち時間は、HMI350を使用して調節可能であってもよい。この値を加算する追加手段以外に、上記の実施形態は、何も変更されていない。たとえ待ち時間があっても、信号は、入手可能な最良のデータを使用して生成される。
追加される待ち時間は、例えば、750、840、940、及び1040のような判断遅延を待ち時間値だけ減らすものと考えることもできる。正の待ち時間は、事実上、判断遅延を短縮し、負の待ち時間は、事実上、判断遅延を拡張する。待ち時間が実際の判断遅延に等しい場合、事実上の判断遅延は0であり、信号生成はもはや予測ではなくなり、外挿は内挿になる。また、待ち時間が増加するほど、ラインフィットのためのデータ点をより多く得ることができる。従って、待ち時間が増加するほど、信号タイミングの正確さは増大する。
待ち時間が無ければ、最良基準点は、視野の下流端になる。この場合、視野全体を使用することが可能となり、予測に使用される最大数の(t,x)ポイントを生成することが可能となる。基準点が上流へ移動するのに従って、視野はあまり使われなくなり、利用可能なポイントの数も少なくなり、正確さは低下する。もし基準点が、視野内において上流方向に離れすぎている場合、システムは、適切に動作しなくなる。
基準点が視野を越えて下流へ移動するのに従って、外挿は大きくなり、正確さは低下する。何れかの時点で、1000μsの最大信号遅延インターバル基準を満たすことはできなくなる。例示的実施形態では、物体が視野の外まで完全に移動すると、信号遅延インターバルに関係なく、信号はスケジューリングされる。
予測に関する上記の説明は、特定の幾つかの実施形態に関するものであり、当業者にとって想起される大きな変更、又は全く異なる方法を使用して、本明細書に記載する教示に従って同様の効果、又は他の望ましい効果を達成することも可能であるものと考えられる。例えば、使用される数値定数は全て、例として解釈すべきものであり、制限として解釈すべきではない。必ずしも、長すぎる信号遅延を全て、信頼できないものとみなす必要はない。信号をスケジューリングするために必要とされる最大限の信頼可能な信号遅延、及び最小数のポイントは、何らかの所望の基準に基いて、画像によって、又は物体によって変更してもよい。例えばポイントの最大数に対する制限を使用し、いったんその制限に達した後は、信号の再スケジューリングが何も行われないようにする場合がある。
例示的選択プロセス
本発明によるリニアディテクタのための選択プロセス、及び判断プロセスを構成する方法には非常に様々なものがある。一部の実施形態では、2つのプロセスが独立して動作する。すなわち、選択プロセスは、種々の画像測定値の中から物体測定値を選択し、それらを、判断プロセスによって行われる何かに応答する形ではなく、画像測定値に応答する形で、判断プロセスに渡す。例示的実施形態において、図11に示され、このセクションで説明される選択プロセスは、判断プロセスと同時に動作し、物体測定値を選択し、それらを使用して、物体を検知、及び位置特定する。従って、2つのプロセスは、別々の図に描かれ、異なるセクションで説明されることになるが、説明を多少重複させる必要がある。また、上記のように、選択プロセスと判断プロセスは同等に、一つの複合プロセスとして結合される場合があるが、説明を分かりやすくするために、それぞれのプロセスついて個別に説明をする。
上記のように、各撮影画像について、3つの値(s,t,x)が得られる。2つの画像測定値は測定プロセスから得られ、撮影時刻は撮影プロセスから得られる。選択プロセスは、種々の画像測定値(s,x)の中から、判断プロセスへ渡す物体測定値を選択しなければならない。例示的実施形態において、選択は画像ごとに行われ、所与の画像から、一対の値(s,x)が選択されるか、又は選択されない。次に、選択された画像の撮影時刻を含め、判断プロセスが、選択された画像から3連値(s,t,x)を得ることが出来るようにする。本発明の範囲内で、画像測定値から物体測定値を選択する任意の他の適当な方策を使用することができ、その場合、撮影時刻その他のデータは、使用してもよいし、使用しなくてもよい。
選択プロセスは、視野を通過する物体が現れないとき、画像測定値を無視する。それらの時点において、選択プロセスは「非アクティブ」であると呼ばれる。
視野を通過する物体が現れると、選択プロセスは、「アクティブ」であると呼ばれる。選択プロセスは、判断プロセスにおいて物体が検知されたか否かの判断に使用される一組の3連値(s,t,x)を選択する。物体が検知されると、判断プロセスは、基準時刻を計算することによって、物体の位置を特定する。この計算は、上記のような所望の待ち時間に応じて、予測であってもよいし、予測でなくてもよい。
選択プロセスは、各物体に対応する3連値の一部、又は全部を選択する場合がある。ただし、一般的なケースでは、一部のみが選択される。まず、その規則を簡単に説明し、次に、それらを図11に関連して詳細に説明する。下記の説明においては、例示的実施形態に対応する数値定数が用いられているが、選択を実施するための任意の他の適当な値、又は方法を、本発明の範囲内で使用することができる。
所与の物体の選択は、s≧0.6であって、かつxが基準点から少なくとも2ピクセルだけ上流にある画像が発見されたときに開始される(すなわち、選択プロセスはアクティブになる)。かかる上流要件によって、物体検知におけるヒステリシスが生じ、静止している物体、又は非常にゆっくりと動く物体が基準点を横切る際に、複数回検出されることはない。
もし選択がアクティブであって、かつ3枚の連続した画像についてs<0.6であった場合、物体は、視野を既に通過したものとみなされ、選択は非アクティブになる。
どの物体についても、僅か128個の3連値しか使用されない。なぜなら、値が古くなるほど、現在何が起きているのかを示す値の能力は、低下する傾向にあるからである。3つの128要素FIFO(First-In First-Out)バッファを使用して、最新の幾つかの3連値が保持される。新たな3連値がFIFOに追加されるとき、もしFIFOが満杯であれば、最も古い3連値は削除され、それらの物体測定値が恰も最初から選択されていなかったかのように、物体測定値の選択は解除される。理解されるように、選択プロセスは、FIFOが空になると非アクティブになり、そうでないときはアクティブになる。
もしFIFOが満杯であり、その中のx測定値が、基準点を中心としてその付近にあれば、選択は終了し、非アクティブになる。この規則は、基準時刻を補間によって(予測によってではなく)計算できるくらい、所望の待ち時間が十分に長いときに有用である。いったんFIFOが満杯になり、x測定値が基準点を中心としてその付近に来た後は、それ以上の測定値の追加はいずれも、補間の正確さを低下させることになる。
図11に関する下記の説明では、運動方向を正のxであるものと仮定し、下流位置が、上流位置に比べて大きなx値を有するようにする。ただし、説明に変更を加え、負の運動方向が得られるようにする方法、すなわち、いずれの方向に移動する物体も検知、及び位置特定出来るようにする方法は、当業者にとって明らかであろう。
図11において、リセットステップ1100は、FIFOをクリアし(図12を参照)、選択を非アクティブにする。これは、システムの初期化に使用され、所与の物体について選択が終了したときにも使用される。
撮影ステップ1102(撮影プロセスの一部)は、次の画像を撮影し、さらに撮影時刻(t)1164を生成する。サーチステップ1104(測定プロセスの一部)は、正規化相関を使用して、スコア(s)1160、及び位置(x)1162を生成する。存在テストステップ1106は、視野内に物体が存在することの確実度を判断する。もし、スコア1160≧0.6であれば、確実度は、物体が存在することを示すのに十分であるものとみなされる。なお、これは、物体が実際に存在すると判断されたことを意味するのではない。その判断は、全ての選択された3連値の分析に基く判断プロセスに備えて、保留される。
もし物体が何も存在しないと判断されたとき、選択が非アクティブであれば(「はい」への分岐)、第1のアクティブテストステップ1108は、物体を探し続けるべきことを選択プロセスに命じる。もし物体は何も存在しないと判断されたが、第1のアクティブテストステップ1108が、選択はアクティブであることを示している場合、インクリメントステップ1110、見逃しテストステップ1112、及び見逃しカウンタ1150を使用して、物体が何も現れない3枚の連続した画像が検出される。もしそのような画像が、これまでのところ2枚以下しか検出されていない場合、制御は、撮影ステップ1102へ戻る。
もし選択がアクティブであるときに、物体が何も現れない3枚の連続した画像が検出された場合は、最終判断ステップ1132(判断プロセスの一部)に入る。もし3つの条件が満たされれば、第1の信号ステップ1134(信号プロセスの一部)が、信号を信号時刻(z)1170(以下で説明するように計算される)において生成されるようにスケジューリングする。第1の条件は、既にスケジューリングされ、又は既に生成された信号が何も無いことである。第2の条件は、物体が基準点を実際に横切ったことを「交差」フラグ1152が示していることである。第3の条件は、グッドポイントカウンタ(g)1174(判断プロセスによって管理される)が、FIFO内の少なくとも3つの3連値がs≧0.75であることを示していることである。この第3の条件は、判断プロセスが、物体が検出されたことを判断するために使用する基準である。信号がスケジューリングされているか否かに関わらず、制御は、リセットステップ1100へ戻る。
もし存在テストステップ1106が、確実度が十分(スコア1160≧0.6)であると判断した場合、「見逃し」初期化ステップ1114は、見逃しカウンタ1150を0にセットする。第2のアクティブテストステップ1116は、これが、新たな物体の最初の画像であるか否かを判断する。もし最初の画像であれば(「はい」への分岐)、ヒステリシステストステップ1121は、その物体が、基準点(r)1154よりも十分上流に現れたか否かを判断する。もし十分上流に現れていなければ(「いいえ」への分岐)、制御は、撮影ステップ1102へ移り、選択は非アクティブのままに維持される。もし物体が十分上流にあれば、「交差」初期化ステップ1122が、「交差」フラグ1152を偽にセットする。今度は、選択はアクティブになる。
もし、第2のアクティブテストステップ1116が、これが、新たな物体の最初の画像ではないこと示していて(「いいえ」への分岐)、もし物体が、基準点1154を横切っている場合、交差テストステップ1118、及び交差セットステップ1120は、「交差」フラグ1152を真にセットする。
制御がラインフィットステップ1124(判断プロセスの一部)へ移るとき、物体測定値スコア1160、及び位置1162は既に選択され、撮影時刻1162が利用可能である。それらの値は、図8、図9、及び図10に関係して上で説明したような、又は図12に関連して以下で説明するようなベストフィットラインの計算に使用される。それらの計算結果としては、例えば、信号時刻(z)1170、物体速度(v)1172、及びグッドポイントカウンタ(g)1174が挙げられる。
実行判断ステップ1126は、図8、図9、及び図10に関連して説明した信号スケジューリング規則を実施する。下記4つの条件が満たされると、第2の信号ステップ1128は、信号時刻1170について信号をスケジューリングする:
1.信号が、まだ発生していないこと
2.信号時刻1170が、現在時刻の1ms以内であること(現在時刻が信号時刻1170を過ぎている場合を含む)
3.物体速度1172が、下流への運動を示していること(ここでは、「交差」フラグ112は使用されない。なぜなら、物体は単に、何らかの将来の時点において基準点1154を横切るであろうことを予測されるに過ぎないからである。下流への運動を必要とすることは、適当な代替要件となる。)
4.グッドポイントカウンタ1174が、FIFO内の少なくとも3つの3連値がs≧0.75を有することを示していること。
FIFOが満杯であり、x測定値が、基準点1154を中心としてその付近にある場合、集中化テストステップ1130は、上で説明した規則を実施する。なお、集中する測定値に関するテストは、Σx>128rで表され、これは、FIFO内の平均xが、基準点1154より大きくなければならないことを意味する。ここで、例示的実施形態に適用された仮定は、運動方向が正であり、FIFOは128個の要素を含むというものである。テストは、除算を避けるように表される。除算は一般に、乗算に比べて非常に高コストである。もちろん、128で除算することは、単なる安価なシフトに過ぎない。しかしながら、実施形態によっては、FIFOサイズは、2の累乗ではないかもしれない。
もし集中化テストステップ1130に合格すれば(「はい」への分岐)、制御は最終判断ステップ1132へ移り、選択は、リセットステップ1100において非アクティブになる。もしテストに不合格であれば(「いいえ」への分岐)、制御は、撮影ステップ1102に渡され、選択は、アクティブのまま維持される。
なお、例示的実施形態において、もしスケジューリングされた信号が発生するとき、その信号によって選択が非アクティブになることはない。実行判断ステップ1126、及び最終判断ステップ1132が常に不合格になるので(「いいえ」への分岐)、信号がそれ以上スケジューリングされることはない。ただし、物体が視野を通過すること、又はx測定値が集中化されることを待ってから、選択は非アクティブになる。これは、(ヒステリシステストステップ1121により提供されるヒステリシスに加え)一つの物体を複数回検出することを防止するさらに別の保護手段となる。
信号が発生した後も選択をアクティブに保つことによって、更に別の利点が得られる。一つは、基準点を横切ってから多少の時間を経過した後、補間された基準時刻が得られることである。この補間された基準時刻は、どの予測時刻よりも正確であり、予測時刻と比較することにより、システムの正確さを評価し、自動調節することによってシステムにおける待ち時間の誤差を解消することが出来る。もう一つは、物体の他の特性(例えば、物体の速度)を得ることができ、必要であれば、それを他の信号によって伝達することができることである。
「見逃し」カウンタ1150、「交差」フラグ1152、基準点1154、スコア1160、位置1162、撮影時刻1164、信号時刻1170、速度1172、及びグッドポイントカウンタ1174は、メモリ1180に記憶される。メモリ1180はSRAM320の一部であってもよい。
選択プロセスに関する上記の説明は、特定の幾つかの実施形態に関するものであり、当業者にとって想起される大きな変更、又は完全に異なる方法を使用して、本明細書に記載する教示に従って同様の効果、又は他の所望の効果を達成することも可能であるものと考えられる。例えば、数値定数は全て、例として解釈すべきものであり、制限として解釈すべきものではない。信号をスケジューリングする規則は、必要に応じて変更してもよい。物体について使用される3連値の数に制限を設ける必要はない。グッドポイントカウンタ1174は省略してもよく、あるいは、例えばFIFO内のスコアの平均値のような別の統計値に置き換えてもよい。
例示的判断プロセス
図12は、図8、図9、図10、及び図11に関連して上で説明した例示的実施形態において使用される判断プロセス部分1280を示している。撮影プロセスが、画像1200を生成すると、正規化相関プロセス1210は、モデル1202を使用して、画像測定位置(x)1216、及びスコア(s)1218を生成する。撮影プロセスは、クロック1212を使用して、撮影時刻(t)1214を生成する。
選択された3連値(s,t,x)は、判断プロセス部分1280に渡され、撮影時刻FIFO1220、位置FIFO1222、及びスコアFIFO1224に置かれる。これらのFIFOがあわせて、上で詳しく説明したようなFIFO1226を構成する。選択された3連値(s,t,x)はさらに、統計要素1230にも渡される。統計要素1230は、周知の最小二乗ラインフィット、及びグッドポイントカウンタ1174に必要とされるようなΣt、Σt2、Σx、Σtx、及びΣ(s≧0.75)を計算する。加算要素1232により、FIFO1226内の全ての3連値にわたる合計が計算される。
新たな3連値(s,t,x)を選択するとき、もしFIFO1226が満杯であれば、最も古い3連値が減算要素1234に渡され、減算要素1234は、必要に応じてそれを上記の合計から減算し、事実上、測定値の選択を解除する。理解されるように、選択された3連値(s,t,x)のそれぞれについて、多くとも、一組の加算、及び一組の減算しか必要とされない。各3連値について、FIFO1226の中身全体にわたる合計を再計算する必要はない。
数値的正確さ、及び計算効率を追求するために、撮影時刻FIFO内の最も古い時刻に対する相対的なt値を使用して、全ての合計を保持することが望ましい。そのためには、FIFO1226が満杯であるときに新たな3連値を処理するための多少複雑な手順が必要となる。ただし、それを行うための追加のコストは、多くの実施形態における他の節約により十分に相殺される。
FIFO1226が満杯であるときに合計を更新するための以下の式において、次のような定義をする。
t 新たな撮影時刻1214
x 新たな位置1216
0 撮影時刻FIFO1220から得られる最も古い時刻
1 撮影時刻FIFO1220から得られる2番目に古い時刻
0 位置FIFO1222から得られる最も古い位置
T 現在のΣt
Q 現在のΣt2
X 現在のΣx
C 現在のΣtx
T’ 更新後のΣt
Q’ 更新後のΣt2
X’ 更新後のΣx
C’ 更新後のΣtx
N FIFO1226のサイズ(例示的実施形態では128)
u1−t0
t−t0
合計のための更新式は、下記のとおりである。
X’=X+x−x0
T’=T+tv−Ntu
Q’=Q+tu[(N−1)tu−2T]+(tv−tu2
C’=C+tu(x0−X)+x(tv−tu
選択された3連値(s,t,x)のそれぞれについて、検出要素1240は、スコアFIFO1224の中に、少なくとも0.75であるスコアが少なくとも3つ存在するか否か、すなわち、[Σ(s≧0.75)]≧3であるか否かを判断する。もし存在しなければ、判断プロセスは、まだ何も物体が検知されてなく、従って、信号処理1260によって生成された信号は無いものと判断する。検出要素1240は、実行判断ステップ1126、及び最終判断ステップ1132の一部に対応し、グッドポイントカウンタ(g)1174≧3であるか否かのテストが行われる。
選択された3連値(s,t,x)のそれぞれについて、ラインフィット要素1250は、統計要素1230により計算された合計、並びに待ち時間値1252、及び基準点値1254を使用して、ベストフィットラインを計算し、そのラインのパラメータから、図11の選択プロセス、及び信号処理1260により使用される信号時刻1170を計算し、さらに、図11の選択プロセスにより使用される物体速度1172を計算する。ベストフィットライン、信号時刻1170、及び物体速度1172(これは、ベストフィットラインの単なる傾きである)の計算には、周知の式が使用される。
待ち時間値1252、及び基準点値1254は、SRAM320(図3)に記憶され、必要に応じて、HMI350を使用して調節することができる。
判断プロセスに関する上記の説明は、特定の幾つかの実施形態に関するものであり、当業者にとって想起される大きな変更、又は完全に異なる方法を使用して、本明細書に記載する教示に従って、同様の効果、又は他の所望の効果を達成することも可能であるものと考えられる。例えば、使用される数値定数は全て、例として解釈すべきものであり、制限として解釈すべきものではない。ラインの代わりに、他の曲線を種々のポイントにフィットさせてもよい。重み付けラインフィットを使用することもでき、その場合、例えば、重みは、ポイントの経過時間の関数となる。
例示的信号処理
上記では、図3のタイマー334、及び信号362;図8、図9、及び図10に関連する信号スケジューリング;図10のパルスエッジ1050;図11の第1の信号ステップ1134、及び第2の信号ステップ1128;並びに図12の信号処理1260に関連して、例示的実施形態の信号処理を説明した。
タイマー334は、マイクロコントローラ300のクロック速度の1/32の速度で動作するように設定され、0.64μsの分解能を生み出す。プログラム可能な遅延(ATMELドキュメント6175E−ATARM−04−Apr−06を参照)の後にパルスを生成するようにタイマー334を設定することは容易であり、プログラム可能な遅延は、所望の信号時刻と、現在時刻との間の差に等しくなるように設定されることが望ましい。
僅かに高いタイミング精度を実現するために、タイマー334は、クロック1212とパルスエッジ1050(これは信号362に現れる)の両方について使用される。特定時刻に対して信号をスケジューリングするとき、タイマー334の比較レジスタは、パルスエッジを生成するように設定される。比較レジスタは、以前のスケジューリングにより、パルスがまだ開始されていないときに限り、タイマーを停止させることなくオン・ザ・フライで設定される。中断なしで動作する適当なアセンブリ言語ルーチンを使用して、所望の動作を達成することができる。
信号処理に関する上記の説明は、特定の幾つかの実施形態に関するものであり、当業者にとって想起される重要な変更、並びに完全に異なる方法、及びプロセスを使用して、本明細書の教示により同様の効果、又は他の所望の効果を達成することも可能であるものと考えられる。信号は、パルスエッジで有る必要はなく、当該技術分野において周知の他の手段により生成されてもよい。種々の異なるソフトウェア要素、及びハードウェア要素を使用して、所望の効果を達成することができる。
判断プロセスにより生成されるさらに別の物体情報
当業者には明らかなように、例示的な測定プロセス、選択プロセス、及び判断プロセスに関する上記の説明によれば、物体測定値を分析する判断プロセスにより、非常に様々な物体情報を生成することが可能である。限定はしないが、そうした物体情報としては、例えば、視野内の物体存在に応答する情報、及びもっと具体的に、存在する状態に応答する情報、又はそのような状態間の遷移を含むイベント、あるいはそれら両方が挙げられる。
限定はしないが、存在する状態の例としては、例えば、
・物体が、視野内にある状態
・物体が、視野内において基準点よりも上流にある状態
・物体が、視野内において基準点よりも下流にある状態
・物体が、特定速度以上の速度で視野内を移動中の状態
・物体が、視野内において2つの基準点の間にある状態
などが挙げられる。
限定はしないが、イベントの例としては、例えば、
・物体が、視野に入ること
・物体が、視野内を通過すること
・物体が、基準点を何れかの方向に横切ること
・物体が、基準点を特定方向に横切ること
・物体が、視野内において運動の頂点に達すること
・物体が、視野内で停止すること
などが挙げられる。
視野内の物体の存在に応答する情報を生成する例示的実施形態をより完全に理解するために、一つの例について考察する。Mは、測定プロセスにより生成される一組の画像測定値であるものとする。Pは、画像存在に応答するそれらの画像測定値を含むMのサブセット(場合によっては全て)とする。選択プロセスは、Pの一部、又は全てに応答し、Mのサブセットである物体測定値Sを生成する。Sは、Pの一部を含む場合もあれば、全部を含む場合もあり、あるいはPの要素を何も含まない場合もある。Sは、視野内における物体存在に応答する情報を得るために使用される。物体存在に応答する測定値が、Sの中に何も存在しない場合もあるが、それでも、Sの全てが、それらが選択された過程から明らかであるように、物体に応答するものである。
それを明確にするために、Mが、スコア測定値、及び位置測定値を含むものと仮定する。スコア測定値は、物体の存在に応答する。すなわち、その値が大きくなるほど、物体が存在する可能性は高くなる。それらは、選択ステップが使用するサブセットPである。位置測定値は、物体存在に応答しない。すなわち、物体が存在するか否かを、位置測定値の値から判断することは出来ない。物体が存在しなければ、位置測定値は無意味(単なる雑音)になるが、それを位置測定値の値から判断することはできない。従って、選択プロセスは、スコア値(サブセットP)を使用して、Sの中の測定値を選択する。それは、単なる位置測定値であってもよい。それらの位置測定値は物体の存在に応答しないが、それらが選択された事実は、それらが物体に応答することを意味する。なぜなら、それらはスコアに応答するように選択されたものであり、正しい物体位置を提供するからである。判断プロセスは、それらの選択された物体位置を利用して、例えば、物体が基準点を横切ったか否かを判断することができる。
プロセスのトレーニング、基準点の設定、テスト、及び/又は実行のための例示的なHMI
図13は、図1に示す応用形態において使用されるリニアディテクタの設定に使用されることがあるような、トレーニングプロセスのための、及び基準点を設定するための、HMI、及び例示的ボックスを示している。
例示的物体1302が、リニアディテクタ(図示せず)の視野から見えるような形で、例示的物体1302(例示的ボックス1300上のラベル)、及び装飾的マーク1304を含む例示的ボックス1300が置かれている。基準点1310も示されている。
HMI1320は、トレーニングボタン1330、実行ボタン1332、負位置インジケータ1340、正位置インジケータ1342、負方向インジケータ1350、及び正方向インジケータ1352を含む。例示的物体1302が視野1312内にある状態でトレーニングボタン1330を押すと、1以上の画像が撮影され、それらを使用して、図5に関連して上で詳しく説明したようなモデルが生成される。
トレーニングボタン1330は、基準点1310を設定するためのセットアップ信号の生成にも使用される場合がある。例示的物体1302が視野1312内にある状態でトレーニングボタン1330を押すと、1以上の画像が撮影され、それがモデルと共に使用され、正規化相関プロセスによって、例示的物体1302が発見される。基準点1310は、発見されたポイントにセットされる。
なお、トレーニングボタン1330は、トレーニングプロセスの開始、基準点を設定するためのセットアップ信号の生成、又はボタンの一押しによってそれら両方を達成するために、使用される場合がある。
図14は、視野1412、及び基準点1410に対して相対的な次の3つのテスト位置にあるときのテスト物体1400を示している。第1のテスト位置1450:このとき第1のテスト物体1400は、視野1412内において基準点1410に対して相対的に負の位置にある。第2のテスト位置1452:このときテスト物体1400は、視野1412内において基準点1410に対して相対的に正の位置にある。第3のテスト位置1454:このときテスト物体1400は、基準点1410から遥か遠くにあり、もはや視野1412内に見当たらない。
図3のHMI1320と同等のHMIが、3つのテスト位置に対応する3つの状態において描かれている。第1のHMI1424は、第1のテスト位置1450に対応し、第2のHMI1434は、第2のテスト位置1452に対応し、第3のHMI1444は、第3のテスト位置1454に対応する。なお、第1のHMI1424、第2のHMI1434、及び第3のHMI1444は、3つの異なる状態における同一のHMIを表している。
同様に、第1の負位置インジケータ1420、第2の負位置インジケータ1430、及び第3の負位置インジケータ1440は、3つの異なるテスト位置における同一のインジケータを表し、第1の正位置インジケータ1422、第2の正位置インジケータ1432、及び第3の正位置インジケータ1442は、3つの異なるテスト位置における同一のインジケータを表している。
テスト物体1400が第1のテスト位置1450にあるとき、第1の負位置インジケータ1420はオンになり、第1の正位置インジケータ1422はオフになり、視野1412内の基準点1410に対して相対的に負の位置において、テスト物体1400が発見されたことを示す。
テスト物体1400が第2のテスト位置1452にあるとき、第2の負位置インジケータ1430はオフになり、第2の正位置インジケータ1432はオンになり、視野1412内の基準点1410に対して相対的に正の位置において、テスト物体1400が発見されたことを示す。
テスト物体1400が第3のテスト位置1454にあるとき、第3の負位置インジケータ1440、及び第3の正位置インジケータ1442は両方ともオフになり、視野1412内にテスト物体1400を発見することが出来ないことを示す。
テスト物体1400に類似するテスト物体、及び図示説明したようなインジケータを使用することにより、リニアディテクタの導入技術者その他のユーザは、適当なモデルが使用されていること、及び基準点が希望どおりであることを確認することが出来る。使用中のモデルに十分に良く似た外観を有する物体が視野内に置かれたとき、インジケータは、テスト物体を発見したことを示し、そのような物体が存在しないとき、何も見付からないことを示さなければならない。
図15は、運動1512の正の方向を決定し、リニアディテクタを動作状態にするするために使用されるHMI1520を示している。実行ボタン1550を押すと、図示されるような次の3つの状態が循環する。すなわち、負方向インジケータ1542と正方向インジケータ1540が両方ともオフとなるトレーニングモード状態、負方向インジケータ1542がオフとなり、正方向インジケータ1540がオンとなり、正の方向の運動が存在する実行状態、及び、負方向インジケータ1542がオンとなり、正方向インジケータ1540がオフとなり、負の方向の運動が存在する実行状態である。例示的実施形態において、リニアディテクタが、2つの実行状態のうちの一つにあるとき、トレーニングプロセスは禁止される場合がある。
図15において、物体1500は、視野1514内にあり、基準点1510よりも上流にある。運動方向1512が正であるから、この位置は、負の位置に相当する。負位置インジケータ1530はオンであり、正位置インジケータ1532はオフであり、物体1500が視野1514内において負の位置で発見されたことを示している。
HMIに関する上記の説明は、特定の幾つかの実施形態に関するものであり、当業者には想起される大きな変更、又は完全に異なる方法、及びプロセスを使用して、本明細書に記載する教示に従って、同様の効果、又は他の望ましい効果を達成することも可能であるものと考えられる。HMIは、ボタンやインジケータの代わりに、又はそれらに加えて、パーソナルコンピュータを利用してもよい。HMIは、単純なライトの代わりに、英数字インジケータを使用することもでき、HMIによれば、本発明の一実施形態により使用される如何なるパラメータの設定も可能となる。
上記が、本発明の種々の実施形態に関する詳細な説明である。当然ながら、本発明の思想、及び範囲から外れることなく、それらに様々な形態や細部の変更、省略、及び追加を施すことも可能であるものと考えられる。例えば、本明細書に記載するプロセッサ、及び計算装置は、例示的なものであり、本明細書に記載する計算を実施するために、種々のプロセッサやコンピュータをスタンドアロンと分散の両方の形で使用することができる。同様に、本明細書に記載するリニアアレイセンサも、例示的なものであり、本発明の教示の範囲内で改良し、又は異なる構成要素を使用することができる。また、撮影プロセス、測定プロセス、判断プロセス、及び任意選択の信号プロセスの一部、又は全ては、互いに結合することができ、あるいは別の形に分離することもできる。本明細書では、種々の例示的実施形態に関連し、数値定数が使用されているが、所望の処理を実施するために、本発明の範囲内で、任意の他の適当な値、又は方法を使用することができる。従って、この説明は、単なる例として捉えるべきものであり、本発明の範囲を何ら制限するものではない。

Claims (68)

  1. 物体を表す情報を生成するオプトエレクトロニクスシステムであって、
    視野内において光測定を行う光学センサと、
    物体が前記視野を通過するように、運動方向において前記物体と前記視野との間の相対運動を生成する運動プロセスと、
    前記視野の複数の一次元画像を撮影する撮影プロセスであって、
    前記複数の画像のそれぞれが、個々の光測定値に応答し、
    前記画像が、前記運動方向に対してほぼ平行な向きであり、
    前記画像の少なくとも一部が、前記視野に対する相対的な前記物体の複数の位置に対応する、撮影プロセスと、
    前記画像の少なくとも一部を分析し、前記物体を表す情報を生成するプロセスと
    からなるオプトエレクトロニクスシステム。
  2. 前記物体を表す情報は、前記視野内の物体の存在に応答する情報を含む、請求項1に記載のオプトエレクトロニクスシステム。
  3. 前記運動プロセスは、前記物体が基準時刻において基準点を横切るようにし、
    前記物体を表す情報は、前記基準時刻の推定値を含む、請求項1に記載のオプトエレクトロニクスシステム。
  4. 電気的なマン・マシン・インタフェースをさらに含み、前記基準点は、前記マン・マシン・インタフェースに応答して調節される、請求項3に記載のオプトエレクトロニクスシステム。
  5. 前記基準時刻の推定値に応答する信号時刻に発生することにより、前記基準時刻の推定値を示す信号を生成する信号プロセスをさらに含む、請求項3に記載のオプトエレクトロニクスシステム。
  6. 電気的なマン・マシン・インタフェースをさらに含み、前記信号時刻は、前記マン・マシン・インタフェースに応答して調節される、請求項5に記載のオプトエレクトロニクスシステム。
  7. 前記基準時刻と前記信号時刻との間に、待ち時間は無い、請求項5に記載のオプトエレクトロニクスシステム。
  8. 前記基準時刻の推定値は、前記基準時刻を予測することによって決定される、請求項3に記載のオプトエレクトロニクスシステム。
  9. 例示的物体と、
    前記例示的物体が、前記視野内のセットアップ位置にあることを示すセットアップ信号と
    をさらに含み、前記基準点は、前記例示的物体、前記セットアップ信号、及び前記セットアップ位置に応答して設定される、請求項3に記載のオプトエレクトロニクスシステム。
  10. 前記物体を表す情報に応答する信号を生成する信号プロセスをさらに含み、前記信号は、前記物体が、前記セットアップ位置を横切ったときに発生する、請求項9に記載のオプトエレクトロニクスシステム。
  11. 前記物体を表す情報に応答する信号を生成する信号プロセスをさらに含み、前記信号は、前記物体が、前記セットアップ位置よりも上流にあるときに発生する、請求項9に記載のオプトエレクトロニクスシステム。
  12. テスト物体と、
    前記テスト物体が、前記基準点よりも上流で検出されたこと、
    前記テスト物体が、前記基準点よりも下流で検出されたこと、及び
    前記テスト物体が、検出されなかったこと
    の中から選択された検出状態を示すインジケータを含むマン・マシン・インタフェースと
    をさらに含む、請求項3に記載のオプトエレクトロニクスシステム。
  13. 前記光学センサは、受光素子の一次元アレイを含むリニア光学センサからなる、請求項1〜3のうちの何れか一項に記載のオプトエレクトロニクスシステム。
  14. 物体を表す情報を生成するオプトエレクトロニクスシステムであって、
    視野内において光測定を行う光学センサと、
    物体が前記視野を通過するように、運動方向において前記物体と前記視野との間の相対運動を生成する運動プロセスと、
    前記視野の複数の一次元画像を撮影する撮影プロセスであって、
    前記複数の画像のそれぞれが、個々の光測定値に応答し、
    前記画像が、前記運動方向に対してほぼ平行な向きであり、
    前記画像の少なくとも一部が、前記視野に対する相対的な前記物体の複数の位置に対応する撮影プロセスと、
    前記画像の少なくとも一部を分析し、画像測定値を生成する測定プロセスと、
    前記画像測定値の中から、前記物体に応答するものであると判断された画像測定値からなる物体測定値を選択する選択プロセスと、
    前記物体測定値を分析し、前記物体を表す情報を生成する判断プロセスと
    からなるオプトエレクトロニクスシステム。
  15. 前記画像測定値の少なくとも一部が、前記視野内における物体の存在に応答し、
    前記選択プロセスは、前記視野内における物体の存在に応答する前記画像測定値の少なくとも一部に応答し、
    前記物体を表す情報は、前記視野内における物体の存在に応答する情報を含む、請求項14に記載のオプトエレクトロニクスシステム。
  16. 前記運動プロセスは、前記物体が基準時刻において基準点を横切るようにし、
    前記画像測定値の少なくとも一部が、前記視野内における物体の位置に応答し、
    前記物体測定値の少なくとも一部が、前記視野内における物体の位置に応答する画像測定値の中から選択され、
    前記判断プロセスは、前記視野内における物体の位置に応答する画像測定値の中から選択された前記物体測定値の少なくとも一部に応答し、
    前記物体を表す情報は、前記基準時刻の推定値を含む、請求項14に記載のオプトエレクトロニクスシステム。
  17. 前記撮影プロセスは、各撮影時刻が、対応する画像が撮影された時刻に応答する、複数の撮影時刻を生成し、前記判断プロセスは、前記撮影時刻の少なくとも1つに応答する、請求項16に記載のオプトエレクトロニクスシステム。
  18. 前記判断プロセスは、前記撮影時刻の少なくとも一部を含み、かつ前記視野内の物体の位置に応答する前記画像測定値の中から選択された物体測定値に対応する種々のポイントに対し、曲線をフィットさせることを含む、請求項17に記載のオプトエレクトロニクスシステム。
  19. 電気的なマン・マシン・インタフェースをさらに含み、前記基準点は、前記マン・マシン・インタフェースに応答して調節される、請求項16に記載のオプトエレクトロニクスシステム。
  20. 前記物体を表す情報に応答する信号を生成する信号プロセスをさらに含み、前記信号は、前記基準時刻の推定値に応答する信号時刻に発生することにより、前記物体を表す情報を示す、請求項16に記載のオプトエレクトロニクスシステム。
  21. 電気的なマン・マシン・インタフェースをさらに含み、前記信号時刻は、前記マン・マシン・インタフェースに応答して調節される、請求項20に記載のオプトエレクトロニクスシステム。
  22. 前記基準時刻と前記信号時刻との間に、待ち時間は無い、請求項20に記載のオプトエレクトロニクスシステム。
  23. 前記判断プロセスは、前記基準時刻を予測することによって前記基準時刻の推定値を決定する、請求項16に記載のシステム。
  24. 例示的物体と、
    前記例示的物体が、前記視野内のセットアップ位置にあることを示すセットアップ信号と
    をさらに含み、前記基準点は、前記例示的物体、前記セットアップ信号、及び前記セットアップ位置に応答して設定される、請求項16に記載のオプトエレクトロニクスシステム。
  25. 前記物体を表す情報に応答する信号を生成する信号プロセスをさらに含み、前記信号は、前記物体が、前記セットアップ位置を横切ったときに発生する、請求項24に記載のオプトエレクトロニクスシステム。
  26. 前記物体を表す情報に応答する信号を生成する信号プロセスをさらに含み、前記信号は、前記物体が、前記セットアップ位置よりも上流にあるときに発生する、請求項24に記載のオプトエレクトロニクスシステム。
  27. テスト物体と、
    前記テスト物体が、前記基準点よりも上流で検出されたこと、
    前記テスト物体が、前記基準点よりも下流で検出されたこと、及び
    前記テスト物体が、検出されなかったこと
    の中から選択された検出状態を示すインジケータを含むマン・マシン・インタフェースと
    をさらに含む、請求項16に記載のオプトエレクトロニクスシステム。
  28. 前記測定プロセスは、パターン検出プロセスを含む、請求項14〜16のうちの何れか一項に記載のオプトエレクトロニクスシステム。
  29. 例示的物体と、
    前記例示的物体に応答するモデルパターンを得るためのトレーニングプロセスと
    をさらに含み、
    前記パターン検出プロセスは、前記モデルパターンに応答する、請求項28に記載のオプトエレクトロニクスシステム。
  30. 前記パターン検出プロセスは、正規化相関プロセスを含む、請求項28に記載のオプトエレクトロニクスシステム。
  31. 前記光学センサは、受光素子の一次元アレイを含むリニア光学センサからなる、請求項14〜16のうちの何れか一項に記載のオプトエレクトロニクスシステム。
  32. 物体を検知し、位置特定するためのオプトエレクトロニクスシステムであって、
    視野内において光測定を行う受光素子のリニアアレイを含むリニア光学センサと、
    物体が前記視野を通過し、基準時刻に基準点を横切るように、運動方向において前記物体と前記視野との間の相対運動を生成する運動プロセスと、
    前記視野の複数の一次元画像を撮影し、各撮影時刻が、対応する画像が撮影された時刻に応答する、複数の撮影時刻を生成する撮影プロセスであって、
    前記複数の画像のそれぞれが、個々の光測定値に応答し、
    前記画像が、前記運動方向に対してほぼ平行な向きであり、
    前記画像の少なくとも一部が、前記視野に対する相対的な前記物体の複数の位置に対応する、撮影プロセスと、
    前記複数の画像の少なくとも一部を分析し、位置測定値、及びスコア測定値を生成する測定プロセスと、
    前記撮影時刻、前記位置測定値、及び前記スコア測定値を使用して、前記基準時刻の推定値を生成する判断プロセスと、
    前記基準時刻の推定値に応答する信号時刻に発生することにより、前記基準時刻を示す信号を生成する信号プロセスと
    からなるオプトエレクトロニクスシステム。
  33. 前記判断プロセスは、前記基準時刻を予測することにより、前記基準時刻を推定する、請求項32に記載のオプトエレクトロニクスシステム。
  34. 前記基準時刻と前記信号時刻との間に、待ち時間は無い、請求項32に記載のオプトエレクトロニクスシステム。
  35. 物体を表す情報を生成するための光電子光学的方法であって、
    光学センサを使用して、視野内における光測定を行うステップと、
    物体が前記視野を通過するように、運動方向において前記物体と前記視野との間の相対運動を生成するステップと、
    前記視野の複数の一次元画像を撮影するステップであって、
    前記複数の画像のそれぞれが、個々の光測定値に応答し、
    前記画像が、前記運動方向に対してほぼ平行な向きであり、
    前記画像の少なくとも一部が、前記視野に対する相対的な前記物体の複数の位置に対応することを含む、前記視野の複数の一次元画像を撮影するステップと、
    前記画像の少なくとも一部を分析し、前記物体を表す情報を生成するステップと
    からなる光電子工学的方法。
  36. 前記物体を表す情報は、前記視野内の物体の存在に応答する情報を含む、請求項35に記載の光電子工学的方法。
  37. 前記相対運動は、前記物体が基準時刻において基準点を横切るような運動であり、
    前記物体を表す情報は、前記基準時刻の推定値を含む、請求項35に記載の光電子工学的方法。
  38. 電気的なマン・マシン・インタフェースを使用して、前記基準点を調節するステップをさらに含む、請求項37に記載の光電子工学的方法。
  39. 前記基準時刻の推定値に応答する信号時刻に発生することにより、前記基準時刻の推定値を示す信号を生成するステップをさらに含む、請求項37に記載の光電子工学的方法。
  40. 電気的なマン・マシン・インタフェースを使用して、前記信号時刻を調節するステップをさらに含む、請求項39に記載の光電子工学的方法。
  41. 前記基準時刻と前記信号時刻との間に、待ち時間は無い、請求項39に記載の光電子工学的方法。
  42. 前記分析するステップは、前記基準時刻を予測することを含む、請求項37に記載の光電子工学的方法。
  43. 例示的物体を用意するステップと、
    前記例示的物体が、前記視野内のセットアップ位置にあることを示すセットアップ信号を生成するステップと、
    前記例示的物体、前記セットアップ信号、及び前記セットアップ位置に応答して前記基準点を設定するステップと
    をさらに含む、請求項37に記載の光電子工学的方法。
  44. 前記物体を表す情報に応答する信号を生成するステップをさらに含み、前記信号は、前記物体が、前記セットアップ位置を横切ったときに発生する、請求項43に記載の光電子工学的方法。
  45. 前記物体を表す情報に応答する信号を生成するステップをさらに含み、前記信号は、前記物体が、前記セットアップ位置よりも上流にあるときに発生する、請求項43に記載の光電子工学的方法。
  46. テスト物体を用意するステップと、
    前記テスト物体が、前記基準点よりも上流で検出されたこと、
    前記テスト物体が、前記基準点よりも下流で検出されたこと、及び
    前記テスト物体が、検出されなかったこと
    の中から選択された検出状態を示すインジケータを含むマン・マシン・インタフェースを使用するステップと
    をさらに含む、請求項37に記載の光電子工学的方法。
  47. 前記光学センサは、受光素子の一次元アレイを含むリニア光学センサからなる、請求項35〜37のうちの何れか一項に記載の光電子工学的方法。
  48. 物体を表す情報を生成する光電子工学的方法であって、
    視野内において光測定を行う光学センサを使用するステップと、
    物体が前記視野を通過するように、運動方向において前記物体と前記視野との間の相対運動を生成するステップと、
    前記視野の複数の一次元画像を撮影するステップであって、
    前記複数の画像のそれぞれが、個々の光測定値に応答し、
    前記画像が、前記運動方向に対してほぼ平行な向きであり、
    前記画像の少なくとも一部が、前記視野に対する相対的な前記物体の複数の位置に対応することを含む、前記視野の複数の一次元画像を撮影するプロセスと、
    前記複数の画像の少なくとも一部を分析し、画像測定値を生成するステップと、
    前記画像測定値の中から、前記物体に応答するものであると判断された画像測定値からなる物体測定値を選択するステップと、
    前記物体測定値を分析し、前記物体を表す情報を生成するステップと
    からなる光電子工学的方法。
  49. 前記画像測定値の少なくとも一部が、前記視野内における物体の存在に応答し、
    前記選択するステップは、前記視野内における物体の存在に応答する前記画像測定値の少なくとも一部に応答し、
    前記物体を表す情報は、前記視野内における物体の存在に応答する情報を含む、請求項48に記載の光電子工学的方法。
  50. 前記相対運動は、前記物体が基準時刻において基準点を横切るような運動であり、
    前記画像測定値の少なくとも一部が、前記視野内における物体の位置に応答し、
    前記物体測定値の少なくとも一部が、前記視野内における物体の位置に応答する画像測定値の中から選択され、
    前記物体測定値を分析するステップは、前記視野内における物体の位置に応答する画像測定値の中から選択された前記物体測定値の少なくとも一部に応答し、
    前記物体を表す情報は、前記基準時刻の推定値を含む、請求項48に記載の光電子工学的方法。
  51. 各撮影時刻が、対応する画像が撮影された時刻に応答する、複数の撮影時刻を生成するステップをさらに含み、前記物体測定値を分析するステップはさらに、前記撮影時刻の少なくとも1つにも応答する、請求項50に記載の光電子工学的方法。
  52. 前記物体測定値を分析するステップは、前記撮影時刻の少なくとも一部を含み、かつ前記視野内の物体の位置に応答する前記画像測定値の中から選択された物体測定値に対応する種々のポイントに対し、曲線をフィットさせることを含む、請求項51に記載の光電子工学的方法。
  53. 電気的なマン・マシン・インタフェースを使用して、前記基準点を調節するステップをさらに含む、請求項50に記載の光電子工学的方法。
  54. 前記基準時刻の推定値に応答する信号時刻に発生することにより、前記基準時刻の推定値を示す信号を生成するステップをさらに含む、請求項50に記載の光電子工学的方法。
  55. 電気的なマン・マシン・インタフェースを使用して、前記信号時刻を前記基準時刻の推定値に対して相対的に調節することを含む、請求項54に記載の光電子工学的方法。
  56. 前記基準時刻と前記信号時刻との間に、待ち時間は無い、請求項54に記載の光電子工学的方法。
  57. 前記基準時刻の推定値は、前記基準時刻を予測することにより決定される、請求項50に記載の光電子工学的方法。
  58. 例示的物体を用意するステップと、
    前記例示的物体が、前記視野内のセットアップ位置にあることを示すセットアップ信号を生成するステップと
    前記例示的物体、前記セットアップ信号、及び前記セットアップ位置に応答して前記基準点を設定するステップと
    をさらに含む、請求項50に記載の光電子光学的方法。
  59. 前記基準時刻の推定値に応答する信号を生成するステップをさらに含み、前記信号は、前記物体が、前記セットアップ位置を横切ったときに発生する、請求項58に記載の光電子工学的方法。
  60. 前記基準時刻の推定値に応答する信号を生成するステップをさらに含み、前記信号は、前記物体が、前記セットアップ位置よりも上流にあるときに発生する、請求項58に記載の光電子工学的方法。
  61. テスト物体を用意するステップと、
    前記テスト物体が、前記基準点よりも上流で検出されたこと、
    前記テスト物体が、前記基準点よりも下流で検出されたこと、及び
    前記テスト物体が、検出されなかったこと
    の中から選択された検出状態を示すインジケータを含むマン・マシン・インタフェースを使用するステップと
    をさらに含む、請求項50に記載の光電子工学的方法。
  62. 前記複数の画像の少なくとも一部を分析するステップは、パターン検出を実施するステップを含む、請求項48〜50のうちの何れか一項に記載の光電子工学的方法。
  63. 例示的物体を用意するステップと、
    前記例示的物体に応答するモデルパターンを得るステップと
    をさらに含み、
    前記パターン検出は、前記モデルパターンに応答する、請求項62に記載の光電子工学的方法。
  64. 前記パターン検出を実施するステップは、正規化相関を実施することを含む、請求項62に記載の光電子工学的方法。
  65. 前記光学センサは、受光素子の一次元アレイを含むリニア光学センサからなる、請求項48〜50のうちの何れか一項に記載の光電子工学的方法。
  66. 物体を検知し、位置特定するための光電子工学的方法であって、
    リニア光学センサを使用して、視野内における光測定を行うステップと、
    物体が前記視野を通過し、基準時刻に基準点を横切るように、運動方向において前記物体と前記視野との間の相対運動を生成するステップと、
    前記視野の複数の一次元画像を撮影するステップであって、
    前記複数の画像のそれぞれが、個々の光測定値に応答し、
    前記画像が、前記運動方向に対してほぼ平行な向きであり、
    前記画像の少なくとも一部が、前記視野に対する相対的な前記物体の複数の位置に対応することを含む、前記視野の複数の一次元画像を撮影するステップと、
    各撮影時刻が、対応する画像が撮影された時刻に応答する、複数の撮影時刻を生成するステップと、
    前記複数の画像の少なくとも一部を分析し、位置測定値、及びスコア測定値を生成するステップと、
    前記撮影時刻、前記位置測定値、及び前記スコア測定値を使用して、前記基準時刻の推定値を生成するステップと、
    前記基準時刻の推定値に応答する信号時刻に発生することにより、前記基準時刻を示す信号を生成するステップと
    からなる光電子工学的方法。
  67. 前記影時刻、前記位置測定値、及び前記スコア測定値を使用して、前記基準時刻の推定値を生成するステップは、前記基準時刻を予測することを含む、請求項66に記載の光電子工学的方法。
  68. 前記基準時刻と前記信号時刻との間に、待ち時間は無い、請求項66に記載のオプトエレクトロニクスシステム。
JP2010512170A 2007-06-15 2008-06-11 物体の光電子工学的検知、及び位置特定のための方法、及びシステム Active JP5642541B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/763,752 US8237099B2 (en) 2007-06-15 2007-06-15 Method and system for optoelectronic detection and location of objects
US11/763,752 2007-06-15
PCT/US2008/007280 WO2008156608A2 (en) 2007-06-15 2008-06-11 Method and system for optoelectronic detection and location of objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014129880A Division JP6054917B2 (ja) 2007-06-15 2014-06-25 物体の光電子工学的検知、及び位置特定のための方法、及びシステム

Publications (3)

Publication Number Publication Date
JP2010530070A true JP2010530070A (ja) 2010-09-02
JP2010530070A5 JP2010530070A5 (ja) 2011-07-28
JP5642541B2 JP5642541B2 (ja) 2014-12-17

Family

ID=40032565

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010512170A Active JP5642541B2 (ja) 2007-06-15 2008-06-11 物体の光電子工学的検知、及び位置特定のための方法、及びシステム
JP2014129880A Active JP6054917B2 (ja) 2007-06-15 2014-06-25 物体の光電子工学的検知、及び位置特定のための方法、及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014129880A Active JP6054917B2 (ja) 2007-06-15 2014-06-25 物体の光電子工学的検知、及び位置特定のための方法、及びシステム

Country Status (4)

Country Link
US (2) US8237099B2 (ja)
EP (2) EP2158500B1 (ja)
JP (2) JP5642541B2 (ja)
WO (1) WO2008156608A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092841B2 (en) * 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US8243986B2 (en) * 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection
US8891852B2 (en) 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
US20050276445A1 (en) * 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
US8127247B2 (en) 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US9659769B1 (en) 2004-10-22 2017-05-23 Novellus Systems, Inc. Tensile dielectric films using UV curing
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US8454750B1 (en) 2005-04-26 2013-06-04 Novellus Systems, Inc. Multi-station sequential curing of dielectric films
US8980769B1 (en) 2005-04-26 2015-03-17 Novellus Systems, Inc. Multi-station sequential curing of dielectric films
US8889233B1 (en) 2005-04-26 2014-11-18 Novellus Systems, Inc. Method for reducing stress in porous dielectric films
US10037905B2 (en) 2009-11-12 2018-07-31 Novellus Systems, Inc. UV and reducing treatment for K recovery and surface clean in semiconductor processing
US8718319B2 (en) * 2007-06-15 2014-05-06 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8237099B2 (en) * 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8238639B2 (en) 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US9050623B1 (en) 2008-09-12 2015-06-09 Novellus Systems, Inc. Progressive UV cure
US20100199475A1 (en) * 2009-02-06 2010-08-12 Tremblay Robert J System and method for utilizing a linear sensor
FI20115326A0 (fi) * 2011-04-05 2011-04-05 Zenrobotics Oy Menetelmä sensorin mittausten mitätöimiseksi poimintatoiminnon jälkeen robottijärjestelmässä
US9651499B2 (en) 2011-12-20 2017-05-16 Cognex Corporation Configurable image trigger for a vision system and method for using the same
US9502255B2 (en) 2014-10-17 2016-11-22 Lam Research Corporation Low-k damage repair and pore sealing agents with photosensitive end groups
DE102015107730B4 (de) * 2015-05-18 2020-07-23 Hmgeb Holding B.V. Blisterband-Inspektionsvorrichtung
CN106002826B (zh) * 2016-07-11 2018-04-10 京东方科技集团股份有限公司 灯条组装装置以及利用其进行灯条组装的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02297006A (ja) * 1989-05-11 1990-12-07 Keyence Corp 物体の変位測定方法及び装置
JPH1062547A (ja) * 1996-04-12 1998-03-06 Datalogic Spa 電気光学的装置
JPH10334221A (ja) * 1997-05-30 1998-12-18 Fanuc Ltd 画像取得装置
JP2007111966A (ja) * 2005-10-20 2007-05-10 Dainippon Printing Co Ltd 見当ズレ計測方法および装置
JP2007139756A (ja) * 2005-10-17 2007-06-07 Ricoh Co Ltd 相対位置検出装置、回転体走行検出装置及び画像形成装置

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE394146B (sv) * 1975-10-16 1977-06-06 L Olesen Anordning for metning resp kontroll av ett foremals, i synnerhet ett fordons hastighet.
US4384195A (en) * 1980-06-09 1983-05-17 The Coe Manufacturing Company Edge-responsive apparatus for counting conveyor-transported articles
JPS60132473A (ja) * 1983-12-20 1985-07-15 Asahi Optical Co Ltd ビデオカメラのオ−トフオ−カス装置
JPS60147602A (ja) * 1984-01-13 1985-08-03 Yamatake Honeywell Co Ltd マ−クセンサ
US4783827A (en) * 1985-05-27 1988-11-08 Fuji Electric Co., Ltd. Serial data processing apparatus
JPS63179206A (ja) * 1987-01-21 1988-07-23 Teijin Eng Kk 寸法測定方法及び装置
US4847772A (en) * 1987-02-17 1989-07-11 Regents Of The University Of Minnesota Vehicle detection through image processing for traffic surveillance and control
US4896211A (en) * 1988-04-26 1990-01-23 Picker International, Inc. Asynchronously triggered single field transfer video camera
US5018213A (en) * 1988-05-11 1991-05-21 Web Printing Controls Co., Inc. Method and apparatus for registration mark identification
GB8824258D0 (en) 1988-10-17 1988-11-23 Gifford Eng Ltd Scanning system
US4962538A (en) * 1989-02-13 1990-10-09 Comar, Inc. Image analysis counting system
JP2633694B2 (ja) * 1989-08-25 1997-07-23 フジテック 株式会社 人数検出装置
US5040056A (en) * 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
US5210798A (en) * 1990-07-19 1993-05-11 Litton Systems, Inc. Vector neural network for low signal-to-noise ratio detection of a target
US5184217A (en) * 1990-08-02 1993-02-02 Doering John W System for automatically inspecting a flat sheet part
US5233541A (en) * 1990-08-10 1993-08-03 Kaman Aerospace Corporation Automatic target detection process
US5317645A (en) * 1991-02-28 1994-05-31 Kirby Lester Inc. Method and apparatus for the recognition and counting of discrete objects
US5164998A (en) * 1991-03-04 1992-11-17 Reinsch Roger A Apparatus and method for image pattern analysis
EP0532052B1 (en) * 1991-09-12 2008-02-13 FUJIFILM Corporation Method for extracting object images and method for detecting movements thereof
JPH0578048A (ja) * 1991-09-19 1993-03-30 Hitachi Ltd エレベーターホールの待ち客検出装置
US5809161A (en) * 1992-03-20 1998-09-15 Commonwealth Scientific And Industrial Research Organisation Vehicle monitoring system
JPH06147602A (ja) 1992-11-06 1994-05-27 Matsushita Seiko Co Ltd 除霜装置
US5481712A (en) * 1993-04-06 1996-01-02 Cognex Corporation Method and apparatus for interactively generating a computer program for machine vision analysis of an object
WO1995006288A2 (en) * 1993-08-26 1995-03-02 The Regents Of The University Of California Cnn bionic eye or other topographic sensory organs or combinations of same
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
US5943432A (en) * 1993-11-17 1999-08-24 Gilmore; Jack R. Postage due detection system
US5581625A (en) * 1994-01-31 1996-12-03 International Business Machines Corporation Stereo vision system for counting items in a queue
US5932862A (en) * 1994-03-04 1999-08-03 Welch Allyn, Inc. Optical reader having improved scanning-decoding features
US5942741A (en) * 1994-03-04 1999-08-24 Welch Allyn, Inc. Apparatus for optimizing throughput in decoded-output scanners and method of using same
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US5457490A (en) * 1994-04-28 1995-10-10 Texas Instruments Incorporated Device and method for acquiring substantially centered images of moving items
US6885968B2 (en) * 2000-05-08 2005-04-26 Automotive Technologies International, Inc. Vehicular exterior identification and monitoring system-agricultural product distribution
US5734742A (en) * 1994-09-19 1998-03-31 Nissan Motor Co., Ltd. Inspection system and process
CA2216171A1 (en) 1995-03-24 1996-10-03 Ppt Vision, Inc. High speed digital video serial link
US6115480A (en) * 1995-03-31 2000-09-05 Canon Kabushiki Kaisha Method and apparatus for processing visual information
US5781648A (en) * 1995-04-07 1998-07-14 California Institute Of Technology Pulse domain neuromorphic integrated circuit for computing motion
AR002082A1 (es) * 1995-05-25 1998-01-07 Gillette Co Metodo para producir un borde cortante en una tira de metal y el aparato para realizarlo
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
GB9600348D0 (en) 1996-01-09 1996-03-13 Intelligent Manufacturing Syst Inspection systems
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6259827B1 (en) * 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
US6061471A (en) * 1996-06-07 2000-05-09 Electronic Data Systems Corporation Method and system for detecting uniform images in video signal
US6081606A (en) * 1996-06-17 2000-06-27 Sarnoff Corporation Apparatus and a method for detecting motion within an image sequence
WO1998000809A1 (en) * 1996-06-28 1998-01-08 Hopkins T Eric Image acquisition system
IT1286684B1 (it) * 1996-07-26 1998-07-15 Paolo Sodi Dispositivo e metodo per il rilevamento di infrazioni stradali con sistemi di puntamento dinamico
JP3129245B2 (ja) * 1996-10-31 2001-01-29 オムロン株式会社 撮像装置
US5960125A (en) * 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
US5960097A (en) * 1997-01-21 1999-09-28 Raytheon Company Background adaptive target detection and tracking with multiple observation and processing stages
EP0880023A1 (de) * 1997-05-23 1998-11-25 Siemag Transplan Gmbh Verfahren und Vorrichtung zur automatischen Detektion von Oberflächenfehlern beim kontinuierlichen mechanischem Abtragen von Material von Stranggiessprodukten
US6346966B1 (en) * 1997-07-07 2002-02-12 Agilent Technologies, Inc. Image acquisition system for machine vision applications
US6618074B1 (en) * 1997-08-01 2003-09-09 Wells Fargo Alarm Systems, Inc. Central alarm computer for video security system
US7088387B1 (en) * 1997-08-05 2006-08-08 Mitsubishi Electric Research Laboratories, Inc. Video recording device responsive to triggering event
JP3512988B2 (ja) * 1997-08-12 2004-03-31 株式会社東芝 画像処理装置
US6072882A (en) * 1997-08-29 2000-06-06 Conexant Systems, Inc. Method and apparatus for sensing an audio signal that is sensitive to the audio signal and insensitive to background noise
JP3114668B2 (ja) * 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6173070B1 (en) * 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6175652B1 (en) * 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
US6587122B1 (en) * 1998-01-30 2003-07-01 Rockwell Automation Technologies, Inc. Instruction syntax help information
US6545705B1 (en) * 1998-04-10 2003-04-08 Lynx System Developers, Inc. Camera with object recognition/data output
US6175644B1 (en) * 1998-05-01 2001-01-16 Cognex Corporation Machine vision system for object feature analysis and validation based on multiple object images
JP2000021738A (ja) * 1998-06-26 2000-01-21 Nikon Corp 位置検出装置及び該装置を用いた位置検出方法
WO2000031706A1 (en) * 1998-11-23 2000-06-02 Nestor, Inc. Traffic light collision avoidance system
US6608930B1 (en) * 1999-08-09 2003-08-19 Koninklijke Philips Electronics N.V. Method and system for analyzing video content using detected text in video frames
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
US6396517B1 (en) * 1999-03-01 2002-05-28 Agilent Technologies, Inc. Integrated trigger function display system and methodology for trigger definition development in a signal measurement system having a graphical user interface
JP2000292123A (ja) * 1999-04-05 2000-10-20 Toshiba Corp 形状測定装置
US6944584B1 (en) * 1999-04-16 2005-09-13 Brooks Automation, Inc. System and method for control and simulation
JP2000339923A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6597381B1 (en) * 1999-07-24 2003-07-22 Intelligent Reasoning Systems, Inc. User interface for automated optical inspection systems
US6483935B1 (en) * 1999-10-29 2002-11-19 Cognex Corporation System and method for counting parts in multiple fields of view using machine vision
US6525810B1 (en) * 1999-11-11 2003-02-25 Imagexpert, Inc. Non-contact vision based inspection system for flat specular parts
US6549647B1 (en) * 2000-01-07 2003-04-15 Cyberoptics Corporation Inspection system with vibration resistant video capture
US6301610B1 (en) * 2000-02-11 2001-10-09 Union Switch & Signal, Inc. Communication system
US6681195B1 (en) * 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
US6891570B2 (en) * 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
EP1249415A3 (de) * 2001-04-14 2004-02-04 NexPress Solutions LLC Verfahren und Einrichtung zur Messung von Positionen von durchlaufenden Bogen
US6347762B1 (en) * 2001-05-07 2002-02-19 The United States Of America As Represented By The Secretary Of The Army Multispectral-hyperspectral sensing system
US20020196336A1 (en) * 2001-06-19 2002-12-26 Applied Materials, Inc. Method and apparatus for substrate imaging
AU2002310496A1 (en) 2001-06-21 2003-01-08 Walker Digital, Llc Methods and systems for documenting a player's experience in a casino environment
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6997556B2 (en) * 2001-10-01 2006-02-14 Ernst Pfleger Method for detecting, evaluating, and analyzing look sequences
US7085401B2 (en) 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
US6646244B2 (en) * 2001-12-19 2003-11-11 Hewlett-Packard Development Company, L.P. Optical imaging device with speed variable illumination
US7305114B2 (en) * 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
JP3885999B2 (ja) 2001-12-28 2007-02-28 本田技研工業株式会社 物体検出装置
US20030137590A1 (en) * 2002-01-18 2003-07-24 Barnes Danny S. Machine vision system with auxiliary video input
US9092841B2 (en) * 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
CA2481250C (en) 2002-04-08 2011-09-27 Newton Security, Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US6954544B2 (en) 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
US7227978B2 (en) * 2002-06-20 2007-06-05 Casio Computer Co., Ltd. Image input device
US6999625B1 (en) 2002-07-12 2006-02-14 The United States Of America As Represented By The Secretary Of The Navy Feature-based detection and context discriminate classification for digital images
US7602962B2 (en) * 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
GB0305304D0 (en) 2003-03-07 2003-04-09 Qinetiq Ltd Scanning apparatus and method
US7274808B2 (en) * 2003-04-18 2007-09-25 Avago Technologies Ecbu Ip (Singapore)Pte Ltd Imaging system and apparatus for combining finger recognition and finger navigation
US20070282480A1 (en) 2003-11-10 2007-12-06 Pannese Patrick D Methods and systems for controlling a semiconductor fabrication process
US7088846B2 (en) 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
JP3834041B2 (ja) 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
US8165355B2 (en) * 2006-09-11 2012-04-24 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array for use in navigation applications
US8175345B2 (en) * 2004-04-16 2012-05-08 Validity Sensors, Inc. Unitized ergonomic two-dimensional fingerprint motion tracking device and method
US8131026B2 (en) * 2004-04-16 2012-03-06 Validity Sensors, Inc. Method and apparatus for fingerprint image reconstruction
US8229184B2 (en) * 2004-04-16 2012-07-24 Validity Sensors, Inc. Method and algorithm for accurate finger motion tracking
WO2005124317A2 (en) * 2004-06-09 2005-12-29 Cognex Technology And Investment Corporation Method and apparatus for visual detection and inspection of objects
US20050276445A1 (en) * 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
US7175090B2 (en) * 2004-08-30 2007-02-13 Cognex Technology And Investment Corporation Methods and apparatus for reading bar code identifications
US20080166015A1 (en) 2004-09-24 2008-07-10 Object Video, Inc. Method for finding paths in video
US8169484B2 (en) * 2005-07-05 2012-05-01 Shai Silberstein Photography-specific digital camera apparatus and methods useful in conjunction therewith
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8718319B2 (en) * 2007-06-15 2014-05-06 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8237099B2 (en) 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
US9734376B2 (en) * 2007-11-13 2017-08-15 Cognex Corporation System and method for reading patterns using multiple image frames
US8204281B2 (en) * 2007-12-14 2012-06-19 Validity Sensors, Inc. System and method to remove artifacts from fingerprint sensor scans
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US8464950B2 (en) * 2008-12-22 2013-06-18 Cognex Corporation Fast vision system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02297006A (ja) * 1989-05-11 1990-12-07 Keyence Corp 物体の変位測定方法及び装置
JPH1062547A (ja) * 1996-04-12 1998-03-06 Datalogic Spa 電気光学的装置
US5760390A (en) * 1996-04-12 1998-06-02 Datalogic S.P.A. Electro-optical device for detecting the presence of a body at an adjustable distance, with background suppression
JPH10334221A (ja) * 1997-05-30 1998-12-18 Fanuc Ltd 画像取得装置
JP2007139756A (ja) * 2005-10-17 2007-06-07 Ricoh Co Ltd 相対位置検出装置、回転体走行検出装置及び画像形成装置
JP2007111966A (ja) * 2005-10-20 2007-05-10 Dainippon Printing Co Ltd 見当ズレ計測方法および装置

Also Published As

Publication number Publication date
US8237099B2 (en) 2012-08-07
JP2014222235A (ja) 2014-11-27
JP6054917B2 (ja) 2016-12-27
EP2158500A2 (en) 2010-03-03
JP5642541B2 (ja) 2014-12-17
WO2008156608A3 (en) 2009-02-19
US20130039536A1 (en) 2013-02-14
EP2528041A1 (en) 2012-11-28
US20080309920A1 (en) 2008-12-18
EP2158500B1 (en) 2014-04-30
EP2528041B1 (en) 2014-05-14
US8927917B2 (en) 2015-01-06
WO2008156608A2 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
JP6054917B2 (ja) 物体の光電子工学的検知、及び位置特定のための方法、及びシステム
US8718319B2 (en) Method and system for optoelectronic detection and location of objects
CN107084663B (zh) 位置确定方法、测量装置及测量系统
JP4644540B2 (ja) 撮像装置
JP6080969B2 (ja) 対象物の姿勢を決定するための方法と装置
US4993835A (en) Apparatus for detecting three-dimensional configuration of object employing optical cutting method
US20170264883A1 (en) Imaging system, measurement system, production system, imaging method, recording medium, and measurement method
CN106289325A (zh) 一种气泡水平仪自动检测系统
CN113554637A (zh) 相机盖板的脏污检测方法及检测装置
US20230296373A1 (en) Three-dimensional measurement device
US20220196386A1 (en) Three-dimensional scanner with event camera
JP5850225B2 (ja) マーカ検出方法および装置
JP2008070343A (ja) 位置計測システム
JP7329943B2 (ja) 検出装置及び移動装置
WO2022162922A1 (ja) 距離測定装置及び距離測定方法
JP4611174B2 (ja) 撮像素子位置測定装置及び撮像素子位置測定方法
JP5629595B2 (ja) 座標入力装置
JP2019163960A (ja) 検出装置
JP2020165682A (ja) 自動移動装置
JPH05240639A (ja) 距離測定装置
CN116227511A (zh) 用于基于三角测量的距离测量的鲁棒的光学瞄准器
CN117589061A (zh) 工件位置检测系统
JP2020165674A (ja) 検出装置及び検出システム
JP2001059706A (ja) 位置計測システム
JPS62245389A (ja) 形状測定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130220

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130321

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141029

R150 Certificate of patent or registration of utility model

Ref document number: 5642541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250