JP2004253983A - Apparatus and method for processing image - Google Patents

Apparatus and method for processing image Download PDF

Info

Publication number
JP2004253983A
JP2004253983A JP2003041008A JP2003041008A JP2004253983A JP 2004253983 A JP2004253983 A JP 2004253983A JP 2003041008 A JP2003041008 A JP 2003041008A JP 2003041008 A JP2003041008 A JP 2003041008A JP 2004253983 A JP2004253983 A JP 2004253983A
Authority
JP
Japan
Prior art keywords
delay amount
image
trigger signal
delay
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003041008A
Other languages
Japanese (ja)
Other versions
JP4228717B2 (en
Inventor
Yuji Suzuki
勇治 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2003041008A priority Critical patent/JP4228717B2/en
Publication of JP2004253983A publication Critical patent/JP2004253983A/en
Application granted granted Critical
Publication of JP4228717B2 publication Critical patent/JP4228717B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce costs and setting man-hours for delaying a trigger signal to a camera. <P>SOLUTION: A detection signal from a sensor 3 is converted to a digital timing signal before being inputted to a camera interface 14. The camera interface 14 has a circuit for outputting the trigger signal to the camera 2 while the output is delayed from the input of the timing signal by a specific amount of delay. The circuit includes a register for maintaining the amount of delay. When operation for designating the movement of an object in an image is made to the image generated at timing based on the amount of delay in the register, a CPU 7 changes the amount of delay in the register according to the operation in setting. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、所定の経路を移動する物体を撮像し、得られた画像を用いてその物体に対する観測用の画像処理を実行するための技術分野に属する。特に、この発明は、前記観測処理に適した画像を得るための撮像タイミングを設定する技術に関する。
【0002】
【従来の技術】
たとえば、工場の検査ラインでは、搬送される検査対象物を検出するためのセンサと、前記検査対象物を撮像するためのカメラとを、それぞれラインの所定位置に向けて位置決めするとともに、これらセンサおよびカメラを画像処理装置に接続して、検査システムを構成する。画像処理装置は、前記センサからの検出信号に応じてカメラにトリガ信号を出力することにより、検査対象物毎に画像を取得し、検査のための画像処理を実行する。
【0003】
上記の検査システムにおいて、確実な検査を行うには、検査対象物の全体画像を生成する必要がある。このため、一般に、検査を開始するのに先立ち、検査対象物が中央に位置した状態の画像を生成できるように、センサの設置位置を調整している。しかしながら、この種の調整は、実際にラインや検査システムを動かし、得られた画像をモニタで確認しながら行わなければならないため、時間がかかる、という問題がある。しかも、センサとモニタとが離れている場合には、二人がかりで作業を行わなければならない。また、検査対象物の種類や検査の目的によって、ラインの移動速度が変更されると、センサの位置を再調整しなければならない、という問題も生じる。
【0004】
このような問題を解決するために、従来より、カメラへのトリガ信号の出力を遅延させることが提案されている。一般には、センサからの検出信号をPLC(プログラマブル・ロジック・コントローラ)に入力し、このPLCにおいて、ロータリーエンコーダなどにより設定した遅延量分だけ、前記検出信号を遅延させてから画像処理装置に入力する方法がとられている。
【0005】
また、下記の特許文献1では、カメラ内にトリガ信号を遅延するための遅延回路を設けるとともに、この遅延回路に設定する遅延時間を画像処理装置からの制御信号により調整するようにしている。
【0006】
【特許文献1】
特開平3−79175号 公報
【0007】
また、下記の特許文献2では、センサからの検出信号に応じてカメラ側のシャッタを所定時間開放するとともに、検出信号の入力から遅延したタイミングで、ストロボ発光を行っており、このストロボ発光のトリガ信号の出力タイミングを調整することにより、各物体が所定位置に到達した時点での画像を生成するようにしている。
【0008】
【特許文献2】
特開平11−55566号 公報
【0009】
【発明が解決しようとする課題】
PLCにより検出信号を遅延させる場合には、前記ロータリーエンコーダなど、検出信号の遅延時間を設定するための機器が必要となり、コスト高を招くという問題がある。また、特許文献1のように、カメラ側に遅延回路を設けた場合には、特殊なカメラを用意する必要があり、汎用のカメラで対応することができない、という問題がある。また、カメラと画像処理装置との間に、遅延時間の調整用の信号を送るための配線を設ける必要があるため、ますますコストが増加し、カメラの設置にかかる工数が増加する、という問題がある。
【0010】
特許文献2の方法でも、ストロボ照明用の光源を用意しなければならないため、やはり、コスト高となる。また、この公報の発明では、ストロボの発光期間以外にもカメラのシャッタが開いているため、外乱光の影響を受けやすい、という問題がある。
【0011】
加えて、ユーザーがセンサからの検出信号やカメラへのトリガ信号の遅延時間を設定する場合、モニタを参照しても、どの程度の遅延時間を設定すれば良いかがわかりづらく、設定を完了するまでに多大な時間がかかる、という問題がある。なお、上記特許文献1,2のいずれにも、ユーザーが最適な遅延時間を設定するための具体的な方法は、なんら開示されていない。
【0012】
この発明は上記問題に着目してなされたもので、画像処理装置に、カメラへのトリガ信号を遅延させる機能を設定することにより、トリガ信号を遅延させるためのコストや設置工数を削減することを目的とする。
【0013】
また、この発明は、トリガ信号の遅延時間を簡単な操作により設定したり、自動的に設定できるようにして、遅延時間の設定にかかる効率や精度を向上し、作業者の負担を軽減することを目的とする。
【0014】
【課題を解決するための手段】
この発明にかかる画像処理装置は、物体の移動経路に向けて位置決めされた撮像装置を駆動し、得られた画像を用いて前記物体に対する観測処理を実行するものである。ここで、「物体」とは、車輌のように、自力で移動する機能を備えた物体に限らず、前記した検査対象物のように、コンベアなどの搬送手段により移動する物体も含むものとする。
【0015】
観測処理の内容は、物体の種類や観測の目的によって異なる。たとえば、前記した検査であれば、物体に付された文字やマークを読み取って、その良否を判別するための画像処理を行うことができる。
【0016】
上記の画像処理装置は、コンピュータを制御主体とするのが望ましく、さらに、画像処理専用のプロセッサやASIC(特定用途向けIC)を組み込むこともできる。また、この画像処理装置には、前記撮像装置やセンサのほか、画像表示用のモニタや設定操作のための入力装置などの周辺機器を接続するのが望ましい。
【0017】
この発明では、上記の画像処理装置に、前記物体の移動経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、前記検出信号の入力に応じて前記撮像装置にトリガ信号を出力するトリガ信号出力手段と、前記トリガ信号出力手段にトリガ信号の出力タイミングを制御するための遅延量を設定する遅延量設定手段とを具備させている。
【0018】
前記センサは、光電スイッチ、近接スイッチなど、検出対象物体の種類に応じたセンサを選択することができる。また、この明細書でいうところの「センサからの検出信号」は、物体を検出したことを示す信号、すなわち「物体あり」を示すレベルの信号のことである。
【0019】
検出信号入力手段は、センサからのアナログ信号を所定レベルのパルス信号に変換するための電圧変換回路などを含ませるのが望ましい。
トリガ信号出力手段は、撮像装置へのインターフェース回路として構成することができ、前記検出信号入力手段により変換されたパルス信号を入力し、これを所定時間が経過してから、撮像装置にトリガ信号として出力できるように構成するのが望ましい。遅延量設定手段により設定される遅延量は、このパルス信号を入力してからトリガ信号を出力するまでの遅延時間を示すもので、遅延時間の長さに比例する整数値として設定するのが望ましい。この遅延量設定手段には、後記する種々の態様を導入することができるが、いずれの態様においても、任意の遅延量を設定でき、また、設定した遅延量は、適宜、変更できるようにするのが望ましい。またトリガ信号出力手段には、遅延量設定手段により設定された遅延量を保持するために、レジスタなどの記憶手段が設けられるのが望ましい。
【0020】
上記構成の画像処理装置によれば、前記遅延量設定手段により設定された遅延量に基づき、撮像装置にトリガ信号を出力するタイミングを調整することができるから、調整の目的で外部機器を設けたり、特殊な撮像装置を使用する必要がなく、コストや設置工数を削減することができる。
【0021】
この発明の好ましい一態様にかかる画像処理装置は、前記トリガ信号により駆動した撮像装置からの画像を表示する表示手段と、前記画像の表示に対し、その画像における物体の位置を調整する操作を受け付けるための操作受付手段とを具備する。また、前記遅延量設定手段は、前記調整操作に応じて遅延量を変更する手段を含む。
【0022】
前記表示手段は、モニタに対するインターフェース回路とすることができる。操作受付手段は、コンソール、キーボードのような入力用の機器に対するインターフェース回路のほか、このインターフェース回路に取り込まれた操作の内容(操作されたキーのコード信号など)を認識する手段を含ませることができる。なお、この認識手段は、前記コンピュータにより構成することができる。
【0023】
表示された画像における物体の位置を調整するための操作は、物体の現在位置を画像の中央付近に変更するための操作により行うのが望ましい。この操作は、矢印キーなど、移動方向を示す操作として行うことができるが、これに限らず、たとえば、画像の表示画面上で物体のあるべき位置を指定する操作としてもよい。
【0024】
調整操作に応じて遅延量を変更する手段は、この処理用のプログラムが導入されたコンピュータにより構成することができる。このプログラムは、調整操作の内容を所定の調整値に変換し、その変換値により現在の遅延量を増減させるようなものにするのが望ましい。具体的なプログラムは、調整操作の内容に応じて、種々に構成することができる。
【0025】
たとえば、物体の移動方向を矢印キーにより指定する場合には、あらかじめ一単位分の調整値として一定の数値を設定しておき、矢印キーが操作される都度、遅延量を前記一単位ずつ増加または減少することができる。また、画面上で物体のあるべき位置を指定する操作を行う場合には、物体がこの指定位置に位置するまで、遅延量を調整しながら撮影を繰り返すことができる。
【0026】
上記の態様によれば、ユーザーは、画像の表示を参照しながら、物体が適切な場所に位置するように指定する操作を行うことによって、最適な遅延量を設定することができるので、具体的な遅延量を示す数値を入力する必要がなく、簡単な操作で的確な設定を行うことができる。
【0027】
第2の態様にかかる画像処理装置では、前記遅延量設定手段は、複数の遅延量と、これら遅延量に基づき出力されたトリガ信号により得た複数の画像とを用いて、前記物体の最適な画像を得るのに必要な遅延量を算出する手段と、この算出された遅延量をトリガ信号出力手段への設定値として確定する手段とを含む。これらの手段は、いずれも、その処理を実行するためのプログラムが導入されたコンピュータにより構成することができる。
【0028】
この画像処理装置では、あらかじめ遅延量を変更しながら複数回の撮像を行って、各遅延量毎に画像を取得しておく必要がある。最適な遅延量を算出するための演算処理では、各遅延量毎の物体の位置(中心点や重心の座標など)や、画像の中央位置に対応する座標などを用いて、物体が画像の中央に位置する場合の遅延量を算出するのが望ましい(具体的な算出例については、後述する。)。このようにすれば、複数回の撮像処理を行うだけで、物体の最適な画像を得るのに必要な遅延量を自動設定することができるから、ユーザーは、最適な遅延量を試行錯誤して定める必要がなくなり、トリガ信号の出力タイミングの設定処理にかかる利便性を高めることができる。
【0029】
なお、上記において、複数の遅延量は、ユーザーの操作に応じて任意に設定しても良いが、あらかじめ設定された数値を使用するようにすれば、ユーザーの入力操作は不要となり、複数回の撮影を行うだけで、適切な遅延量を自動設定することができる。
【0030】
つぎに、第3の態様にかかる画像処理装置は、前記トリガ信号により駆動した撮像装置からの画像を表示する表示手段を具備するとともに、前記トリガ信号出力手段は、前記検出信号に対し、あらかじめ設定された複数の遅延量に基づく複数のトリガ信号を連続して出力することが可能に構成される。また、遅延量設定手段は、前記表示手段に前記複数のトリガ信号により得た複数の画像を表示させて、いずれかの画像を選択する操作を受け付ける手段と、この操作により選択された画像に対応する遅延量をトリガ信号出力手段への設定値として確定する手段とを含む。
【0031】
前記表示手段は、第1の態様と同様に、モニタに対するインターフェース回路とすることができる。
トリガ信号出力手段が複数のトリガ信号を連続出力するのは、この画像処理装置が遅延量を設定するモードにあるときのみとするのが望ましい。なお、各トリガ信号に対応する遅延量は、撮像装置の連写機能に応じて決定する必要があるので、トリガ信号出力手段には、遅延量設定手段により設定される遅延量とは別に、連続出力する各トリガ信号に対応する遅延量を保存しておくためのバッファを設けておくのが望ましい。
【0032】
上記の装置によれば、センサが検出した所定の物体に対し、異なるタイミングで複数回の撮像が行われ、得られた各画像がモニタに表示される。ユーザーが、この表示画面上で物体が最適な位置にある画像を選択することにより、その画像に対応する遅延量が設定値として確定され、トリガ信号出力手段に設定される。よって、ユーザーは、具体的な遅延量を示す数値を入力するなど、煩雑な操作を行う必要がなく、簡単な操作で適切な遅延量を設定することが可能となる。
なお、複数の画像は、1画面中に並列に表示されるのが望ましいが、これに限らず、各画像を切替操作に応じて順に表示するようにしてもよい。
【0033】
さらに、この発明にかかる画像処理装置は、外部機器から遅延量を示す情報の送信を受け付ける受信手段を具備するとともに、遅延量設定手段に、前記受信手段により受信した情報に基づき前記トリガ信号出力手段に遅延量を設定する手段を含ませることができる。外部機器は、PLCやパーソナルコンピュータなど、物体の種類や観測処理内容などによって異なる複数とおりの遅延量を記憶できる機能を具備するものであるのが望ましい。また、この外部機器に記憶させる遅延量は、あらかじめ、前記したいずれかの態様に基づいて画像処理装置内で設定し、画像処理装置から外部機器に送信した情報であるのが望ましい。
【0034】
上記構成によれば、種々の観測条件によって撮像装置を駆動するタイミングを変更する必要がある場合に、外部機器から条件に適合する遅延量の送信を受けて、これをトリガ信号出力手段に設定することができるので、観測条件が頻繁に変更になる場合にも、迅速かつ的確な設定変更を行うことが可能となる。なお、工場の検査ラインや生産ラインでは、検査対象物の種類やラインの移動速度など、細かい処理内容が設定されたPLCが配備されているので、このPLCを外部機器として利用することができる。
ただし、種々の遅延量は、必ずしも外部機器に保存する必要はなく、画像処理装置の制御主体であるコンピュータのメモリ内に保存してもよい。
【0035】
上記した各態様を含む画像処理装置では、トリガ信号出力手段を、前記検出信号に応じて所定間隔毎にパルスを生成する処理を実行するパルス生成手段と、前記パルス生成手段が生成したパルスを計数する計数手段と、前記計数手段による計数値を前記遅延量設定手段により設定された遅延量と比較する比較手段とを含むものとすることができる。
【0036】
パルス生成手段には、パルス生成回路のほか、検出信号の立ち上がりを検出してこのパルス生成回路を駆動する回路を含ませるのが望ましい。また、計数手段はカウンタにより、比較手段は比較器により、それぞれ構成することができる。
【0037】
つぎに、この発明にかかる画像処理方法は、物体の移動経路に、前記物体を検出するためのセンサおよび物体を撮像するための撮像装置を位置決めし、センサからの検出信号に応じたタイミングで撮像装置を駆動し、得られた画像を用いて前記物体に対する観測処理を実行するものである。第1の画像処理方法では、前記センサからの検出信号を入力してから所定の遅延量に基づく遅延時間が経過した時点で撮像装置にトリガ信号を出力するステップ、前記トリガ信号により駆動した撮像装置からの画像を表示するステップ、前記画像の表示に対し、その画面における物体の位置を調整する操作が行われたとき、その調整操作に応じて前記遅延量を変更するステップ、の各ステップを実行し、前記変更後の遅延量を前記観測処理のための画像を得るのに最適な遅延量として確定するようにしている。
【0038】
調整操作は、前記画像処理装置について述べたのと同様に、矢印キーを用いたり、物体のあるべき位置を指定する操作により行うことができる。なお、第1回目のトリガ信号に対応する遅延量は、あらかじめ設定した初期値(ただし、この初期値はゼロでもよい。)とするのが望ましい。なお、上記3つのステップのうち、調整操作に応じて遅延量を変更するステップは、調整操作が行われたときのみ実行すればよいから、調整操作が行われる前につぎの検出信号が入力された場合は、スキップするのが望ましい。
【0039】
なお、矢印キーなど、物体の移動方向を指定する操作により遅延量を調整する場合には、物体が最適な位置に移動したことを確認した上での確定操作に応じて、その時点の遅延量を確定するのが望ましい。また、物体のあるべき位置を指定する操作により遅延量を調整する場合には、その指定された位置に物体が位置するまで、遅延量の調整を行いながら撮影を繰り返すのが望ましい。
【0040】
上記の方法によれば、画面上の物体を適切な場所に位置させるための操作によって、観測処理に適した画像を得るのに必要な遅延量を設定し、以後の観測処理に使用することができる。
【0041】
この発明にかかる第2の画像処理方法は、センサからの検出信号を入力してから所定の遅延量に基づく遅延時間が経過した時点で撮像装置にトリガ信号を出力するステップを、遅延量を変更しながら複数回実行した後、前記各遅延量と、これら遅延量に基づき出力されたトリガ信号により得た複数枚の画像とを用いて、前記観測処理のための画像を得るのに最適な遅延量を算出するようにしている。
【0042】
上記の方法によれば、遅延量を変更しながら、撮影処理を複数回実行することにより、異なるタイミングによる複数の画像を得た後、これらの画像や使用した遅延量を用いて、物体を画面の中央に位置させるのに必要な遅延量を自動設定して、以後の観測処理に使用することができる。なお、各遅延量は、撮像の都度、第1の方法と同様の操作を行ったり、適当な数値を入力するなど、任意の遅延量の入力を受け付ける方法により設定しても良いが、これに限らず、あらかじめ用意された複数の遅延量を順に設定するようにしてもよい。
【0043】
さらに、この発明にかかる第3の画像処理方法は、センサからの検出信号に対し、あらかじめ設定された複数の遅延量に基づく複数のトリガ信号を撮像装置に連続して出力するステップと、前記複数のトリガ信号により撮像装置から得た画像を表示し、表示されたいずれかの画像を選択する操作を受け付けるステップとを実行し、選択された画像に対応する遅延量を、前記観測処理のための画像を得るのに最適な遅延量として確定するようにしている。
【0044】
上記の方法によれば、1つの物体に対し、複数の遅延量に基づく連続撮像が行われて、複数の画像が生成され、表示される。ユーザーは、この表示を参照して、物体が望ましい位置にある画像を選択することにより、その選択された画像に対応する遅延量を確定し、以後の観測処理に使用することができる。なお、画像を表示する処理では、複数の画像を並列表示するのが望ましいが、これに限らず、各画像を1枚ずつ切り替えて表示してもよい。
【0045】
上記の各方法は、前記観測のための画像処理を実行する画像処理装置内で実行されるのが望ましい。ただし、センサと撮像装置とが実際の観測処理を実行するときと同様に設置されるのであれば、前記方法をパーソナルコンピュータなどの他の装置で実行し、この装置で設定された遅延量を、通信または記憶媒体を介して画像処理装置に移植するようにしてもよい。
【0046】
上記第1、第3の方法によれば、遅延量を示す数値の入力などの煩雑な操作を行わずに、簡単な操作で的確な遅延量を設定することができ、設定作業に要する効率を向上することができる。
また、第2の方法によれば、複数回の撮像処理により、遅延量を自動設定することができるから、設定にかかる操作が不要、または、きわめて簡単化され、同様に、設定作業に要する効率を向上することができる。
【0047】
【発明の実施の形態】
図1は、この発明が適用された画像処理装置の構成を示す。
この画像処理装置1は、工場の検査ライン(図示せず。)を搬送される検査対象物の検査を行うためのもので、周辺機器として、カメラ2、センサ3、コンソール4、モニタ5、PLC6などが接続されている。
【0048】
前記カメラ2は、CCDを内蔵するフレームシャッタカメラであって、検査ラインの所定位置に向けて配備される。前記センサ3は、光電スイッチや近接スイッチなど、検査対象物の有無を検出する機能を具備するもので、検査ラインに対し、前記カメラ2よりも上流側に配備される。コンソール4は、後記する遅延量の調整を含む各種設定操作に用いられるもので、矢印キー、エンターキーなどの操作キーを具備する。
【0049】
前記画像処理装置1の本体内部には、CPU7,ROM8,RAM9から成る制御部10のほか、画像処理専用のプロセッサ11(以下、「画像処理プロセッサ11」という。)、画像メモリ12、前記各周辺機器に対応するインターフェース13〜17(図では、インターフェースを「I/F」と略す。)、入力バッファ18、出力バッファ19などが組みこまれる。
【0050】
センサ3用のパラレルインターフェース13には、センサ3からのアナログの検出信号を所定電圧のパルス信号に変換するための電圧変換回路などが含まれる(以下、この変換後の信号を「タイミング信号」と呼ぶ。)。カメラ2用のインターフェース(カメラインターフェース)14は、カメラ2からの映像信号を取り込む入力ポートやA/D変換回路のほか、前記タイミング信号に基づき、カメラ2へのトリガ信号を生成するトリガ信号生成回路を具備する。このトリガ信号生成回路については、後で詳細に説明する。
【0051】
コンソール4用の入力インターフェース15は、コンソール4に配備される各操作キー毎の入力ポートなどを具備する。モニタインターフェース16は、画像処理プロセッサ11からの表示用の画像データを映像信号に変換するためのD/A変換回路や、モニタ5への出力ポートなどを含む。
【0052】
なお、この実施例のモニタ5には、カメラ2の生成した画像のほか、適宜、検査結果や設定操作の支援情報などが表示される。このモニタ5に対する表示制御は、画像処理プロセッサ11により行われるが、画像処理プロセッサ11は、後記する図10,11の実施例で述べるように、CPU7から、表示すべき情報や表示のタイミングを示すコマンドを受けて、その指示に応じた画面を提示することもできる。
【0053】
前記入力バッファ18は、前記カメラインターフェース14が映像信号をディジタル変換する際の一時保存用のメモリとして、また、出力バッファ19は、モニタインターフェース16が画像データを表示用の映像信号に変換する際の一時保存用のメモリとして、それぞれ使用される。
【0054】
PLC6に対応する外部機器用インターフェース17には、パラレルインターフェースおよびシリアルインターフェースの双方が含まれており、やりとりする信号に応じて、いずれかのインターフェースが選択される。
PLC6は、検査対象物の種類や、検査の内容毎に設定された検査条件を記憶しており、検査時には、この記憶情報に基づき、搬送コンベアなどの周辺装置の制御を行うものである。このほか、PLC6は、画像処理装置1から、前記カメラ2へのトリガ信号の出力タイミングを制御するための遅延量の転送を受けて、これを前記記憶情報に含めて保存するとともに、画像処理装置1からの呼び出しに応じて、検査条件に適合する遅延量を送信することが可能である。
【0055】
上記の画像処理装置1による検査を行う際には、まず、カメラ2を位置決めした後、検査対象物を搬送するコンベアの速度やセンサ3の応答速度に基づく演算により、センサ3の取付位置を決定するようにしている。さらに、この画像処理装置1では、前記カメラインターフェース14内のトリガ信号生成回路を、前記タイミング信号を入力してから任意の遅延時間をおいて、前記カメラ2にトリガ信号を出力するように構成することにより、検査のための画像を生成するのに最適なタイミングでカメラ2にトリガ信号が入力されるようにしている。
【0056】
なお、前記タイミング信号に対するトリガ信号の遅延時間は、「遅延量」と呼ぶ整数値により表される。この画像処理装置1では、後記する具体例に示すように、検査に先立つ設定モードにおいて、実際に検査ラインや各周辺機器を動かして検査対象物を撮像しながら、得られた画像をモニタ5に表示し、その表示画面を参照して遅延量を調整するための操作を行うようにしている。
【0057】
図2は、前記カメラインターフェース14内のトリガ信号生成回路の具体例を示す。
このトリガ信号生成回路20には、入力側に、2個のフリップフロップ201,203の間に立ち上がり検出部202を介装した回路が配備され、さらに、周期パルス生成部204、パルスカウンタ205、レジスタ206、比較器207、出力用のフリップフロップ208などが含まれる。なお、レジスタ206には、前記した遅延量が保存される。この遅延量は、CPU7から供給されるもので、適宜、書き換えることが可能である。
【0058】
図3は、前記トリガ信号生成回路20における一連の動作を示す。図中、ckは、カメラ2側のクロック信号(以下、「カメラクロックck」という。)、tは前記タイミング信号である。前記入力側のフリップフロップ201,203および立ち上がり検出部202は、このカメラクロックckに同期するタイミングで動作する。
【0059】
前段のフリップフロップ201は、前記タイミング信号tを入力し、その変化を、カメラクロックckに同期するように修正した信号tを出力する。stp[ab]は、このフリップフロップ201の直前の出力値aと現在の出力値bとの組み合わせを示す。立ち上がり検出部202は、この組み合わせが[00]から[01]に変化したことに応じてオン状態(ハイレベル)となる信号tを出力する。
【0060】
前記立ち上がり検出部202からのパルス信号tは、後段のフリップフロップ203を介して前記周期パルス生成部204やパルスカウンタ205に供給される(以下、このパルス信号tを、駆動パルスと呼ぶ。)。
【0061】
周期パルス生成部204は、一定の時間間隔で周期パルスplsを出力しており、前記駆動パルスtが入力されると、周期パルスplsの出力動作をリセットして新たな周期を開始する。なお、この周期パルスplsの周期pwは、前記カメラクロックckの周期を所定倍した値に設定される。
パルスカウンタ205は、駆動パルスtが入力されると、前記レジスタ206内の遅延量の設定値nを初期値にセットし、以後、周期パルスplsが入力される都度、設定値をカウントダウンする。
【0062】
比較器207は、パルスカウンタ205の計数値を取り込んで、この計数値が0となったときに、出力をオン状態(ハイレベル)にする。この比較器207からの出力trgがトリガ信号であって、後段のフリップフロップ208を介してカメラ2に出力される。
【0063】
なお、上記では、カウンタ205の初期値として遅延量nをセットし、計数値が0になった時点でトリガ信号trgを立ち上げる点までを説明したが、実際のトリガ信号trgには、カメラ2側でトリガ信号として認識されるのに必要なパルス幅を持たせる必要がある。
【0064】
つぎに、前記遅延量nの設定について、具体的な実施例をあげて説明する。
まず、1番目の実施例では、センサ3やカメラ2の位置決めが終了すると、実際の検査と同じ条件でラインを稼働しながら、搬送される検査対象物のモデル(以下、単に「対象物」という。)を順に撮像し、毎時の画像をモニタ5に表示して、ユーザーによる遅延量の設定を受け付けるようにしている。
【0065】
図4は、前記モニタ5における画像表示の具体例を示すもので、対象物の画像30のほか、現在の遅延量nを時間換算して示した情報31や、遅延量の調整や確定のための操作方法を示す情報32が表示されている。なお、この図4および以下の図7,9,11においては、画面の左から右に向かう方向が対象物の移動方向に対応するものとする。
【0066】
検査時の画像処理を確実に行うためには、図4(2)に示すように、対象物の画像30が画面の中央付近に位置するようなタイミングで撮影を行うのが望ましい。もし、トリガ信号を出力するタイミングが早いと、対象物の画像30は画面の左寄りに位置するようになり、反対に、トリガ信号を出力するタイミングが遅いと、対象物の画像30は、画面の右寄りに位置するようになる。また、このトリガ信号の出力タイミングのずれが大きくなると、図4(1)に示すように、対象物の一部が欠落した画像が生成されてしまう。
【0067】
この実施例では、ユーザーが画面上の対象物の位置を確認して、その対象物を画面の中央に移動させるための移動方向を矢印キーにより入力することにより、遅延量nの値を調整するようにしている。すなわち、対象物が画面の左寄りに位置する場合には右向きの矢印キーを、右寄りに位置する場合には左向きの矢印キーを、それぞれ操作することになる。右向きの矢印キーが操作されると、遅延量nは、一定数だけ増加する。反対に、左向きの矢印キーが操作された場合には、遅延量nは、一定数だけ減少する。
【0068】
図5は、上記方法により遅延量を設定する場合の処理手順を示すもので、以下、この手順を参照しつつ、遅延量の設定にかかる画像処理装置1内の動作を説明する。なお、この手順では、複数の検査対象物が順に搬送されており、これら検査対象物を検出したセンサ3からの検出信号が任意のタイミングで入力されることを前提とする。
【0069】
図5の手順は、CPU7が、ROM8内のプログラムに基づき、カメラインターフェース14や画像処理プロセッサ11と連絡しつつ実行するものである。まず、ST1では、前記レジスタ206に、nの値として、所定の初期値をセットする。なお、初期値は、図4(1)に示すように、ゼロとしてもよい。
【0070】
この後、前記センサ3によりライン上の検査対象物が検出され、パラレルインターフェース13において、その検出信号がタイミング信号に変換されてカメラインターフェース14に入力されると、前記トリガ信号生成回路20では、このタイミング信号の入力から前記遅延量nに応じた時間をおいてトリガ信号を出力する。これにより、カメラ2が撮影を実行し、その映像信号から生成された画像が画像処理プロセッサ11に入力される。
【0071】
この実施例の画像処理プロセッサ11は、画像が入力される都度、その入力画像をモニタ5に表示するように設定されている。なお、この表示画面には、前記図4に示したように、現時点の遅延量を示す情報31や、操作方法を支援する情報32などがオーバーラップ表示される。
【0072】
また、画像処理プロセッサ11は、画像が入力される都度、CPU7にその旨を示す信号を出力する。CPU7は、この信号の入力により画像入力を認識して、ST2からST3に進み、矢印キーの操作をチェックする。ここで、ユーザーが、前記表示に対し、矢印キーを操作すると、ST3が「YES」となってST4に進む。ST5では、操作された矢印キーの示す方向に応じて、前記遅延量nの値を一定数だけ増加または減少させる。
【0073】
このようにして、画面上の対象物の位置を調整する操作によって遅延量nの値を調整しつつ、その調整した遅延量nに基づき新たな画像を生成する処理を繰り返す。所定の時点で、前記図4(2)のように、対象物が画面の中央に位置する画像が表示されると、ユーザーは、エンターキーによる確定操作を行う。これにより、ST3が「NO」、ST5が「YES」となり、処理終了となる。よって、この確定操作時点の遅延量nの値がレジスタ206に保持され、検査時に使用されることになる。
【0074】
なお、この実施例では、対象物を高速で搬送しているため、実際にユーザーが操作を行えるのは、複数の画像に対して1回の割合となる。入力画像に対してなんの操作も行われなかった場合には、ST3,ST5がともに「NO」となってST2に戻るループが繰り返される。なお、このループが繰り返される間、画像処理プロセッサ11では、毎時の入力画像をモニタ5に表示するが、遅延量nが変更されない限り、画面上の対象物は、ほぼ同じ位置に表示されることになり、この間、人の目には、同一の画像が表示されているのに近い画面が提供される。
【0075】
上記の手順によれば、ユーザーは、対象物が画面の中央に位置するまで、左右いずれかの矢印キーを操作すれば良く、簡単な操作で的確な遅延量を設定することができる。
【0076】
つぎに、図6に示す実施例では、前記対象物の移動方向を指定する操作に代えて、画面上で対象物の適正な位置を指定する操作を行うことにより、遅延量の設定を行うようにしている。なお、この図6では、便宜上、ST11を処理のスタートとする。
【0077】
この実施例の画像プロセッサ11も、カメラインターフェース14から画像データが供給される都度、この入力画像を、各種情報31,32とともに表示する。さらに、この実施例の画像プロセッサ11は、図7に示すように、前記画像の表示画面の中央付近に、指定操作用のカーソル35を表示する。また前記入力画像に対し、2値化などの処理により対象物の画像を抽出して、その中心点cの座標を算出して表示するとともに、その座標をCPU7に出力する。なお、前記対象物の適正な位置を指定する操作は、前記カーソル35を矢印キーにより移動させた後、エンターキーにより確定する操作により行われる。
【0078】
図6において、CPU7は、最初のST11で、遅延量nに初期値を設定した後、ST12で画像入力を確認すると、つぎのST13において、前記中心点cの座標を対象物の位置データとして取り込み、RAM9などに一時保存する。
【0079】
前記初期設定された遅延量nに基づく画像が表示され、その画面上で前記位置指定操作が行われると、ST14が「YES」、ST15が「NO」、ST16が「YES」となって、ST17に進む。このST17では、遅延量nに所定の調整量を加算または減算して、遅延量nを変更する。なお、この実施例では、画面の左から右に向かう方向が対象物の移動方向に対応するので、図7のように、対象物が画面の左寄りに位置する場合には、前記遅延量nは、調整量が加算された値に変更される。他方、対象物が画面の右寄りに位置する場合には、前記遅延量nは、調整量が減算された値に変更される。
【0080】
一方、前記表示画面により、ユーザーが対象物が画面の中央に位置していると判断してエンターキーを操作した場合には、ST15が「YES」となり、初期設定値を確定した状態で処理を終了する。
【0081】
なお、この実施例でも、対象物は高速で搬送されるため、ユーザーの操作が行われるまでに複数の画像が入力される可能性がある。また位置の指定操作は複数回のキー操作により行われるため、操作が開始されてから終了するまでの間にも、複数の画像が入力される可能性がある。入力画像に対する操作が行われなかった場合には、ST16が「NO」となってST12に戻るループが実行されることになる。
【0082】
つぎに、遅延量nが変更された場合には、この変更された遅延量nによる画像が入力されたときのST14が「NO」となって、ST18に進み、その画像につき画像処理プロセッサ11から転送された位置データが前記指定位置に適合しているかどうかを判断する。なお、このST18では、位置データの示す座標が指定位置から所定の範囲以内に含まれている場合に、位置データが指定位置に適合していると判断するものとする。
【0083】
ST18において、前記位置データが指定位置に適合していないと判断した場合には、ST18からST17に進み、再度、遅延量nの値を調整する。以下、同様の手順により、位置データが指定位置に適合するまで、撮影を繰り返しながら、毎時の入力画像を用いて遅延量nの値を調整することになる。そして、所定の時点で、位置データが指定位置に適合したと判断すると、ST18が「YES」となり、そのときの遅延量nを確定した状態で処理を終了する。
なお、前記ST17で遅延量nに対して増減する調整値は、位置データの示す座標と指定位置との距離に応じて任意の値を設定することができる。
【0084】
上記の実施例によれば、遅延量nが初期値のときの画像に対する位置指定操作が行われると、以後の複数回の撮影により、対象物が前記指定位置に置かれた状態の画像が生成されるように遅延量nを調整することができる。このようにすれば、ユーザーは、最初に位置指定操作を行うだけで適切な遅延量を設定することができるから、設定操作にかかるユーザーの負担を軽減することができる。
【0085】
また、指定操作の後に複数回の撮影により遅延量nを調整する方法に代えて、検査ラインを構成する搬送コンベアの速度、カメラ1の視野の大きさ、画像のサイズなどに基づき、指定された位置に対象物を位置させるための遅延量を算出するようにしてもよい。たとえば、一例として、下記(1)式を使用することができる。ただし、この場合にも、計算による遅延量に基づく画像を表示し、対象物が画面の適切な位置にあるかどうかをユーザーに確認させてから、前記遅延量を確定するのが望ましい。
【0086】
【数1】

Figure 2004253983
【0087】
なお、(1)式において、Npixは画像1ライン分の画素数、Lはカメラ2の視野の大きさ(水平方向における大きさ)、xは指定位置のx座標、xは指定操作が行われたときの中心点cのx座標、vは搬送用コンベアの速度である。
【0088】
つぎに、図5,6の手順では、ユーザーの操作に応じて遅延量の調整を行ったが、これに代えて、撮影を行いながら、最適な遅延量を自動設定することも可能である。
図8は、この自動設定にかかる手順を示す。なお、この図8では、便宜上、ST101を処理のスタートとする。
【0089】
この実施例でも、所定数の対象物を搬送しながら撮影を行う点は、前の実施例と同様である。最初のST101では、遅延量nに初期値を設定する。これにより、前記センサ3により対象物が検出されると、前記遅延量nに対応するタイミングで撮影が行われ、画像処理プロセッサ11に対象物の画像が入力されることになる。なお、この実施例でも、画像処理プロセッサ11は、先の実施例と同様に、画像が入力される都度、その入力画像をモニタ5に表示するとともに、対象物の中心点cの座標を抽出する。
【0090】
CPU7は、画像処理プロセッサ11からの信号により画像入力を確認した後、前記中心点cの座標を、対象物の位置データとして取り込み、RAM9などに保存する(ST102,103)。ここでnが初期値のままであれば、ST104が「YES」となり、ユーザーの確定操作または矢印キーの操作に待機する。ユーザーが表示画面から遅延量が不適正であると判断して矢印キーを操作すると、ST105が「NO」、ST106が「YES」となってST107に進み、現在の遅延量nを1段階前の遅延量を示すnにコピーする。さらに、つぎのST108では、矢印キーの操作に応じて、nの値を更新する。
【0091】
一方、ユーザーが、対象物が画面のほぼ中央に位置していると判断してエンターキーを操作すると、ST105が「YES」となり、現在のnを最適遅延量として確定して処理を終了する。
なお、この実施例でも、対象物が高速で搬送されている場合には、ユーザーの操作は、複数の画像につき1回の割合となる。この場合には、操作が行われるまで、ST104が「YES」、ST105,106が「NO」となってST102に戻るループが繰り返される。
【0092】
前記矢印キーの操作によりnの値が更新されると、つぎの画像入力の際にST104が「YES」となり、ST109に進む。このST109では、遅延量nの更新後に得た位置データ、遅延量nが初期値のときに得た位置データ、および遅延量n,nを用いて、つぎの(2)式に基づき、最適遅延量nを算出する。
【0093】
【数2】
Figure 2004253983
【0094】
なお、(2)式においてxは画像の中央位置にあたる点のx座標、xは遅延量が初期値のときの画像から抽出した中心点のx座標、xは更新された遅延量による画像から抽出した中心点のx座標である。
【0095】
このようにして、最適遅延量nが求められると、ST110では、このnの値により前記遅延量nを書き換えて、処理を終了する。
【0096】
図9は、上記の手順により遅延量が変更されるのに対応した画像の変化を示す。図9(1)は、遅延量nが初期値の場合の入力画像を、図9(2)は、遅延量nが更新された後の入力画像を、図9(3)は適正遅延量が設定された後の入力画像を、それぞれ示す。図中のcは対象物の画像30の中心点であり、適正遅延量に基づく図9(3)の画像では、この中心点cは、中心点cとほぼ一致するようになる。
【0097】
上記図8,9の実施例によれば、遅延量の調整操作を1回受け付けるだけで、最適遅延量を算出してトリガ信号生成回路20に設定することができるから、ユーザーにとっての利便性を大いに高めることができる。
また、遅延量の調整操作を行うのに代えて、あらかじめ、初期値のつぎに設定する遅延量を決めておき、遅延量nが初期値のときの中心点cがcと適合しない場合には、遅延量nを2番目の値に自動的に更新してもよい。また、遅延量nが初期値のときの入力画像中の中心点cおよび画面の中心点cの各x座標を、前記(1)式にあてはめて、最適遅延量を算出するようにしてもよい。このようにすれば、ユーザーは、調整操作を行う必要がなくなり、設定処理を完全に自動化することができる。
【0098】
ところで、前記カメラ2は、高速搬送される対象物を撮影する能力を持つので、1つの対象物を異なる遅延量に基づくタイミングをもって複数回撮影することも可能である。つぎに示す実施例は、このカメラの性能を利用して、1つの対象物を異なる遅延時間をもって4回撮影し、得られた画像の中から対象物が中央に位置する画像に対応する遅延量を選択するようにしている。
【0099】
なお、この実施例を実施するには、前記カメラインターフェース14内のトリガ信号生成回路20に、前記遅延量nを保持するレジスタ206のほかに、4種類の遅延量を記憶するレジスタを持たせるのが望ましい。また、遅延量の設定時には、前記タイミング信号に対し、4個の遅延量に応じたタイミングによる4個のトリガ信号を順に出力するように、前記パルスカウンタ205や比較器207を設計変更する必要がある。
【0100】
図10は、前記4個の遅延量を用いた設定を行う場合の処理手順である。なお、この手順は、便宜上、ST201からスタートさせる。また、前記4個の遅延量は、制御部10のROM8内に標準設定されており、最初のST201において、この4個の遅延量が前記トリガ信号生成回路20にセットされるものとする。
【0101】
トリガ信号生成回路20では、前記4個の遅延量がセットされると、タイミング信号に応じて各遅延量に基づくタイミングによる4個のトリガ信号を連続生成して、カメラ2に出力する。カメラ2は、各トリガ信号に応じて撮影動作を行い、その結果、画像処理プロセッサ11には、各遅延量に対応する4枚の画像が入力される。
【0102】
このとき、CPU7の処理は、ST202からST203に進んでおり、画像処理プロセッサ11に、前記各遅延量に対応する画像の表示を指示する。画像処理プロセッサ11は、この指示に応じて、図11に示すように、画面を4分割し、各領域にそれぞれ1枚の画像を表示する。なお、図11の表示例でも、画像の表示画面には、その画像に対応する遅延量を示す情報31が合わせて表示されている。
【0103】
CPU7は、この表示状態下でコンソール4による選択操作を受け付ける。図11の例では、選択中の画像の表示領域を枠状のマーカー33により示している。ユーザーは、矢印キーにより、このマーカー33を所望の画像に移動させた後、エンターキーを操作することにより、選択を確定する。この確定操作がなされると、ST204が「YES」となってST205に進み、選択された画像に対応する遅延量が最適遅延量として確定され、前記レジスタ206の設定値nとして保存される。
【0104】
上記の手順によれば、1つの対象物を連続撮影し、得られた4枚の画像のいずれかを選択する操作によって、最適な遅延量を設定することができるから、設定にかかる時間が大幅に削減される上、ユーザーの操作も簡単化され、遅延量の設定を効率良く行うことができる。
【0105】
ただし、前記4つの画像に最適な状態のものがない場合もある。このような場合には、前記4個の遅延量を、それぞれ所定の値ずつ調整し、再度、同じ処理を行うようにしてもよい。または、4つの画像の中から、適当なものを選択した上で、前記図5の手順などを実行することにより、選択により設定された遅延量を調整して、最適な画像が得られるようにしてもよい。
【0106】
このように、上記各実施例によれば、検査に適した画像を得るのに必要な遅延量の設定を効率良く行うことができる。また、対象物や搬送用コンベアの速度が変更されるなど、検査条件が変化した場合にも、簡単に遅延量を再設定することができるから、長期間、検査が中断することがなく、稼働効率を低下させずにすむ、という効果を得ることができる。
【0107】
なお、図1において説明したように、多数の検査条件を切り換えて処理しなければならない場合には、あらかじめ、条件毎に遅延量を設定して、その設定値をPLC6に保存しておくことができる。このようにすれば、検査条件が変わる都度、PLC6から新たな条件に適合する遅延量を読み出してレジスタ206に設定するだけで良くなり、検査の中断する時間を、より一層短縮することができる。
【0108】
【発明の効果】
上記したように、この発明では、画像処理装置内に、撮像装置へのトリガ信号を遅延させる機能を設けたから、トリガ信号を遅延させるだけの目的の機器を設置したり、特別仕様の撮像装置を導入する必要がなく、コストや設置工数を削減することができる。
【0109】
また、この発明では、トリガ信号の遅延時間を簡単な操作により設定したり、所定回数の撮影により最適な遅延時間を自動的に設定できるようにしたから、遅延時間の設定にかかる効率や精度を向上でき、作業者の負担を軽減することができる。
【図面の簡単な説明】
【図1】この発明が適用された画像処理装置の構成を示すブロック図である。
【図2】トリガ信号生成回路の構成を示すブロック図である。
【図3】トリガ信号生成回路における動作を示すタイミングチャートである。
【図4】遅延量を調整するための表示画面の一例を示す図である。
【図5】遅延量の設定処理にかかる手順を示すフローチャートである。
【図6】遅延量の設定処理にかかる他の手順を示すフローチャートである。
【図7】図6の手順に使用する表示画面の一例を示す図である。
【図8】遅延量の設定処理にかかる他の手順を示すフローチャートである。
【図9】図8の手順による遅延量の変更に対応する画像の変化を示す図である。
【図10】遅延量の設定処理にかかる他の手順を示すフローチャートである。
【図11】図9の手順における表示画面の例を示す図である。
【符号の説明】
1 画像処理装置
2 カメラ
3 センサ
4 コンソール
5 モニタ
6 PLC
7 CPU
11 画像処理プロセッサ
13 パラレルインターフェース
14 カメラインターフェース
20 トリガ信号生成回路
202 立ち上がり検出部
204 周期パルス生成部
205 パルスカウンタ
206 レジスタ
207 比較器[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to a technical field for imaging an object moving along a predetermined route and executing image processing for observation on the object using the obtained image. In particular, the present invention relates to a technique for setting an imaging timing for obtaining an image suitable for the observation processing.
[0002]
[Prior art]
For example, in a factory inspection line, a sensor for detecting an inspection object to be conveyed and a camera for imaging the inspection object are respectively positioned toward predetermined positions on the line, and these sensors and An inspection system is configured by connecting a camera to the image processing apparatus. The image processing apparatus outputs a trigger signal to the camera in accordance with a detection signal from the sensor, thereby acquiring an image for each inspection object and executing image processing for inspection.
[0003]
In the above inspection system, in order to perform a reliable inspection, it is necessary to generate an entire image of the inspection object. For this reason, in general, prior to starting the inspection, the installation position of the sensor is adjusted so that an image with the inspection object positioned at the center can be generated. However, this type of adjustment has a problem that it takes time because it must be performed while actually moving the line and the inspection system and confirming the obtained image on the monitor. Moreover, when the sensor and the monitor are separated from each other, work must be performed by two people. Further, when the moving speed of the line is changed depending on the type of inspection object and the purpose of the inspection, there arises a problem that the position of the sensor must be readjusted.
[0004]
In order to solve such a problem, it has been conventionally proposed to delay the output of the trigger signal to the camera. In general, a detection signal from a sensor is input to a PLC (programmable logic controller), and the detection signal is delayed by an amount of delay set by a rotary encoder or the like in the PLC and then input to an image processing apparatus. The method is taken.
[0005]
In Patent Document 1 below, a delay circuit for delaying the trigger signal is provided in the camera, and the delay time set in the delay circuit is adjusted by a control signal from the image processing apparatus.
[0006]
[Patent Document 1]
Japanese Patent Laid-Open No. 3-79175
[0007]
Further, in Patent Document 2 below, the shutter on the camera side is opened for a predetermined time according to a detection signal from the sensor, and strobe light emission is performed at a timing delayed from the input of the detection signal. By adjusting the signal output timing, an image at the time when each object reaches a predetermined position is generated.
[0008]
[Patent Document 2]
Japanese Patent Laid-Open No. 11-55566
[0009]
[Problems to be solved by the invention]
When the detection signal is delayed by the PLC, a device for setting the delay time of the detection signal such as the rotary encoder is required, which causes a problem that the cost is increased. Also, as in Patent Document 1, when a delay circuit is provided on the camera side, it is necessary to prepare a special camera, and there is a problem that it cannot be handled by a general-purpose camera. In addition, since it is necessary to provide wiring for sending a signal for adjusting the delay time between the camera and the image processing apparatus, there is a problem that the cost increases and the man-hour for installing the camera increases. There is.
[0010]
Even in the method of Patent Document 2, a light source for strobe illumination must be prepared. Further, the invention of this publication has a problem that it is easily affected by disturbance light because the shutter of the camera is open outside the flash emission period.
[0011]
In addition, when the user sets the delay time of the detection signal from the sensor or the trigger signal to the camera, it is difficult to know how much delay time should be set even if referring to the monitor, and the setting is completed. There is a problem that it takes a long time to complete. Note that neither of the above Patent Documents 1 and 2 discloses any specific method for the user to set an optimal delay time.
[0012]
The present invention has been made paying attention to the above problems, and by setting a function for delaying the trigger signal to the camera in the image processing apparatus, it is possible to reduce the cost and installation man-hour for delaying the trigger signal. Objective.
[0013]
In addition, the present invention enables the delay time of the trigger signal to be set by a simple operation or can be automatically set, thereby improving the efficiency and accuracy of setting the delay time and reducing the burden on the operator. With the goal.
[0014]
[Means for Solving the Problems]
The image processing apparatus according to the present invention drives an imaging device positioned toward a moving path of an object, and executes an observation process for the object using the obtained image. Here, the “object” is not limited to an object having a function of moving by itself, such as a vehicle, but also includes an object that is moved by a conveying means such as a conveyor, such as the above-described inspection object.
[0015]
The contents of the observation process vary depending on the type of object and the purpose of the observation. For example, in the case of the above-described inspection, it is possible to read a character or a mark attached to an object and perform image processing for determining the quality.
[0016]
The image processing apparatus preferably has a computer as a control entity, and can further incorporate a processor dedicated to image processing or an ASIC (specific application IC). In addition to the imaging device and sensor, it is desirable to connect peripheral devices such as an image display monitor and an input device for setting operation to the image processing device.
[0017]
In the present invention, detection signal input means for inputting a detection signal from a sensor positioned toward a predetermined position on the moving path of the object to the image processing apparatus, and the imaging apparatus in response to the input of the detection signal Trigger signal output means for outputting a trigger signal, and delay amount setting means for setting a delay amount for controlling the output timing of the trigger signal in the trigger signal output means.
[0018]
As the sensor, a sensor corresponding to the type of the object to be detected, such as a photoelectric switch or a proximity switch, can be selected. In this specification, the “detection signal from the sensor” is a signal indicating that an object has been detected, that is, a signal having a level indicating “there is an object”.
[0019]
The detection signal input means preferably includes a voltage conversion circuit for converting an analog signal from the sensor into a pulse signal of a predetermined level.
The trigger signal output means can be configured as an interface circuit to the image pickup apparatus, inputs the pulse signal converted by the detection signal input means, and after a predetermined time elapses, the trigger signal output means serves as a trigger signal. It is desirable to configure so that it can output. The delay amount set by the delay amount setting means indicates the delay time from the input of this pulse signal to the output of the trigger signal, and is preferably set as an integer value proportional to the length of the delay time. . Various modes to be described later can be introduced into this delay amount setting means. In any of the modes, an arbitrary delay amount can be set, and the set delay amount can be changed as appropriate. Is desirable. The trigger signal output means is preferably provided with a storage means such as a register in order to hold the delay amount set by the delay amount setting means.
[0020]
According to the image processing apparatus having the above configuration, the timing for outputting the trigger signal to the imaging apparatus can be adjusted based on the delay amount set by the delay amount setting means. Therefore, it is not necessary to use a special imaging device, and the cost and installation man-hour can be reduced.
[0021]
An image processing apparatus according to a preferred aspect of the present invention receives display means for displaying an image from an imaging device driven by the trigger signal, and an operation for adjusting the position of an object in the image with respect to the display of the image. Operation receiving means. The delay amount setting means includes means for changing the delay amount in accordance with the adjustment operation.
[0022]
The display means may be an interface circuit for a monitor. The operation accepting means may include means for recognizing the contents of the operation (such as the code signal of the operated key) captured in the interface circuit in addition to the interface circuit for input devices such as a console and a keyboard. it can. This recognition means can be constituted by the computer.
[0023]
The operation for adjusting the position of the object in the displayed image is preferably performed by an operation for changing the current position of the object to the vicinity of the center of the image. This operation can be performed as an operation indicating the moving direction, such as an arrow key, but is not limited thereto, and may be an operation for designating a position where an object should be on the image display screen, for example.
[0024]
The means for changing the delay amount according to the adjustment operation can be configured by a computer in which this processing program is installed. It is desirable that this program converts the content of the adjustment operation into a predetermined adjustment value and increases or decreases the current delay amount by the conversion value. The specific program can be variously configured according to the content of the adjustment operation.
[0025]
For example, when the direction of movement of an object is designated with an arrow key, a predetermined numerical value is set in advance as an adjustment value for one unit, and the delay amount is increased by one unit each time the arrow key is operated. Can be reduced. Further, when an operation for designating the position where the object should be on the screen is performed, it is possible to repeat photographing while adjusting the delay amount until the object is located at the designated position.
[0026]
According to the above aspect, the user can set an optimal delay amount by performing an operation of designating an object to be positioned at an appropriate location while referring to the display of an image. Therefore, it is not necessary to input a numerical value indicating an appropriate delay amount, and an accurate setting can be performed with a simple operation.
[0027]
In the image processing apparatus according to the second aspect, the delay amount setting means uses a plurality of delay amounts and a plurality of images obtained from trigger signals output based on the delay amounts, to optimize the object. A means for calculating a delay amount necessary for obtaining an image; and a means for determining the calculated delay amount as a set value for the trigger signal output means. Any of these means can be configured by a computer into which a program for executing the processing is introduced.
[0028]
In this image processing apparatus, it is necessary to perform imaging a plurality of times while changing the delay amount in advance and acquire an image for each delay amount. In the calculation process for calculating the optimum delay amount, the object is positioned at the center of the image using the position of the object for each delay amount (such as the coordinates of the center point and the center of gravity) and the coordinates corresponding to the center position of the image. It is desirable to calculate the amount of delay in the case of being positioned at (a specific calculation example will be described later). In this way, it is possible to automatically set the delay amount necessary to obtain the optimal image of the object by simply performing a plurality of imaging processes. This eliminates the need for setting, and improves the convenience of the trigger signal output timing setting process.
[0029]
In the above, the plurality of delay amounts may be arbitrarily set according to the user's operation. However, if a preset numerical value is used, the user's input operation is not required, and a plurality of delay amounts are required. An appropriate delay amount can be automatically set only by shooting.
[0030]
Next, the image processing apparatus according to the third aspect includes display means for displaying an image from the imaging apparatus driven by the trigger signal, and the trigger signal output means is preset with respect to the detection signal. It is possible to output a plurality of trigger signals based on the plurality of delay amounts. The delay amount setting means corresponds to the means for displaying the plurality of images obtained by the plurality of trigger signals on the display means and accepting an operation for selecting one of the images, and the image selected by the operation. Means for determining a delay amount to be set as a set value for the trigger signal output means.
[0031]
The display means can be an interface circuit for a monitor, as in the first aspect.
The trigger signal output means preferably outputs the plurality of trigger signals continuously only when the image processing apparatus is in a mode for setting the delay amount. Since the delay amount corresponding to each trigger signal needs to be determined according to the continuous shooting function of the imaging apparatus, the trigger signal output means has a continuous function separately from the delay amount set by the delay amount setting means. It is desirable to provide a buffer for storing a delay amount corresponding to each trigger signal to be output.
[0032]
According to the above apparatus, the predetermined object detected by the sensor is imaged a plurality of times at different timings, and each obtained image is displayed on the monitor. When the user selects an image in which the object is at an optimum position on the display screen, the delay amount corresponding to the image is determined as a set value and set in the trigger signal output means. Therefore, the user does not need to perform a complicated operation such as inputting a numerical value indicating a specific delay amount, and can set an appropriate delay amount with a simple operation.
In addition, although it is desirable to display a plurality of images in parallel in one screen, the present invention is not limited to this, and each image may be displayed in order according to the switching operation.
[0033]
The image processing apparatus according to the present invention further includes a receiving unit that receives transmission of information indicating a delay amount from an external device, and the trigger signal output unit is provided in the delay amount setting unit based on the information received by the receiving unit. Can include means for setting a delay amount. The external device is preferably provided with a function capable of storing a plurality of different delay amounts depending on the type of object, the contents of observation processing, etc., such as a PLC or a personal computer. The delay amount to be stored in the external device is preferably information set in advance in the image processing apparatus based on any of the above-described aspects and transmitted from the image processing apparatus to the external device.
[0034]
According to the above configuration, when it is necessary to change the timing for driving the imaging device according to various observation conditions, a delay amount suitable for the conditions is transmitted from the external device, and this is set in the trigger signal output means. Therefore, even when the observation condition is frequently changed, it is possible to change the setting quickly and accurately. In addition, since the inspection line and the production line of the factory are provided with a PLC in which fine processing contents such as the type of inspection object and the moving speed of the line are set, this PLC can be used as an external device.
However, the various delay amounts are not necessarily stored in an external device, and may be stored in a memory of a computer that is a control subject of the image processing apparatus.
[0035]
In the image processing apparatus including each aspect described above, the trigger signal output unit includes a pulse generation unit that executes a process of generating a pulse at predetermined intervals according to the detection signal, and counts the pulses generated by the pulse generation unit. And counting means for comparing, and comparing means for comparing the count value obtained by the counting means with the delay amount set by the delay amount setting means.
[0036]
In addition to the pulse generation circuit, the pulse generation means preferably includes a circuit that detects the rising edge of the detection signal and drives the pulse generation circuit. The counting means can be constituted by a counter, and the comparing means can be constituted by a comparator.
[0037]
Next, in the image processing method according to the present invention, a sensor for detecting the object and an imaging device for imaging the object are positioned on the moving path of the object, and imaging is performed at a timing according to a detection signal from the sensor. The apparatus is driven and observation processing for the object is executed using the obtained image. In the first image processing method, a step of outputting a trigger signal to the imaging device when a delay time based on a predetermined delay amount has elapsed after inputting the detection signal from the sensor, the imaging device driven by the trigger signal The following steps are performed: displaying an image from the image, and changing the delay amount according to the adjustment operation when an operation for adjusting the position of the object on the screen is performed on the display of the image. The delay amount after the change is determined as an optimum delay amount for obtaining an image for the observation process.
[0038]
The adjustment operation can be performed by an arrow key or an operation for designating a position where an object should be, as described for the image processing apparatus. The delay amount corresponding to the first trigger signal is preferably set to an initial value set in advance (however, this initial value may be zero). Of the above three steps, the step of changing the delay amount in accordance with the adjustment operation only needs to be executed when the adjustment operation is performed. Therefore, the next detection signal is input before the adjustment operation is performed. If this happens, it is desirable to skip.
[0039]
In addition, when adjusting the delay amount by an operation that specifies the moving direction of the object, such as an arrow key, the delay amount at that time according to the confirmation operation after confirming that the object has moved to the optimal position It is desirable to determine In addition, when adjusting the delay amount by an operation of designating the position where the object should be, it is desirable to repeat photographing while adjusting the delay amount until the object is located at the designated position.
[0040]
According to the above method, it is possible to set a delay amount necessary for obtaining an image suitable for observation processing by an operation for positioning an object on the screen at an appropriate place and use it for subsequent observation processing. it can.
[0041]
According to a second image processing method of the present invention, the step of outputting a trigger signal to the imaging device when a delay time based on a predetermined delay amount has elapsed since the detection signal from the sensor was input is changed. The delay is optimal for obtaining an image for the observation processing using each delay amount and a plurality of images obtained by the trigger signal output based on the delay amount after being executed a plurality of times. The amount is calculated.
[0042]
According to the above method, after obtaining a plurality of images at different timings by executing the photographing process a plurality of times while changing the delay amount, the object is displayed on the screen using these images and the delay amount used. It is possible to automatically set a delay amount required to be positioned at the center of the image and use it for subsequent observation processing. Each delay amount may be set by a method that accepts an input of an arbitrary delay amount, such as performing the same operation as the first method or inputting an appropriate numerical value each time an image is taken. Not limited to this, a plurality of delay amounts prepared in advance may be set in order.
[0043]
Furthermore, the third image processing method according to the present invention includes a step of continuously outputting a plurality of trigger signals based on a plurality of delay amounts set in advance to a detection signal from a sensor to the imaging device; Displaying an image obtained from the imaging device in response to the trigger signal, and receiving an operation of selecting any of the displayed images, and calculating a delay amount corresponding to the selected image for the observation processing. The optimum delay amount for obtaining an image is determined.
[0044]
According to the above method, continuous imaging based on a plurality of delay amounts is performed on one object, and a plurality of images are generated and displayed. The user can determine the delay amount corresponding to the selected image by selecting an image in which the object is at a desired position with reference to this display, and can use it for the subsequent observation processing. In the process of displaying an image, it is desirable to display a plurality of images in parallel. However, the present invention is not limited to this, and each image may be switched and displayed one by one.
[0045]
Each of the above methods is preferably executed in an image processing apparatus that executes image processing for the observation. However, if the sensor and the imaging device are installed in the same way as when executing the actual observation process, the method is executed by another device such as a personal computer, and the delay amount set by this device is You may make it transplant to an image processing apparatus via a communication or a storage medium.
[0046]
According to the first and third methods, an accurate delay amount can be set with a simple operation without performing a complicated operation such as inputting a numerical value indicating the delay amount. Can be improved.
In addition, according to the second method, the delay amount can be automatically set by a plurality of imaging processes, so that an operation for setting is unnecessary or extremely simplified, and similarly, the efficiency required for the setting work is reduced. Can be improved.
[0047]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows the configuration of an image processing apparatus to which the present invention is applied.
The image processing apparatus 1 is for inspecting an inspection object conveyed on a factory inspection line (not shown). As peripheral devices, a camera 2, a sensor 3, a console 4, a monitor 5, and a PLC 6 are used. Etc. are connected.
[0048]
The camera 2 is a frame shutter camera with a built-in CCD, and is arranged toward a predetermined position on the inspection line. The sensor 3 has a function of detecting the presence or absence of an inspection object, such as a photoelectric switch or a proximity switch, and is disposed upstream of the camera 2 with respect to the inspection line. The console 4 is used for various setting operations including adjustment of a delay amount described later, and includes operation keys such as an arrow key and an enter key.
[0049]
Inside the main body of the image processing apparatus 1, in addition to a control unit 10 comprising a CPU 7, a ROM 8, and a RAM 9, a processor 11 dedicated to image processing (hereinafter referred to as “image processing processor 11”), an image memory 12, and each of the peripherals. Interfaces 13 to 17 corresponding to the devices (in the figure, the interface is abbreviated as “I / F”), an input buffer 18, an output buffer 19, and the like are incorporated.
[0050]
The parallel interface 13 for the sensor 3 includes a voltage conversion circuit for converting an analog detection signal from the sensor 3 into a pulse signal having a predetermined voltage (hereinafter, the converted signal is referred to as a “timing signal”). Call it.) An interface (camera interface) 14 for the camera 2 includes a trigger signal generation circuit that generates a trigger signal to the camera 2 based on the timing signal, in addition to an input port for capturing a video signal from the camera 2 and an A / D conversion circuit. It comprises. The trigger signal generation circuit will be described in detail later.
[0051]
The input interface 15 for the console 4 includes an input port for each operation key arranged on the console 4. The monitor interface 16 includes a D / A conversion circuit for converting image data for display from the image processor 11 into a video signal, an output port to the monitor 5, and the like.
[0052]
Note that, in addition to the image generated by the camera 2, the monitor 5 of this embodiment displays, as appropriate, inspection results, setting operation support information, and the like. The display control for the monitor 5 is performed by the image processor 11. The image processor 11 indicates the information to be displayed and the display timing from the CPU 7, as described in the embodiments of FIGS. When a command is received, a screen corresponding to the instruction can be presented.
[0053]
The input buffer 18 serves as a temporary storage memory when the camera interface 14 digitally converts a video signal, and the output buffer 19 serves when the monitor interface 16 converts image data into a display video signal. Each is used as a temporary storage memory.
[0054]
The external device interface 17 corresponding to the PLC 6 includes both a parallel interface and a serial interface, and one of the interfaces is selected according to a signal to be exchanged.
The PLC 6 stores the type of inspection object and the inspection conditions set for each inspection content, and controls peripheral devices such as a transfer conveyor based on the stored information at the time of inspection. In addition, the PLC 6 receives a transfer of a delay amount for controlling the output timing of the trigger signal to the camera 2 from the image processing apparatus 1, stores this in the stored information, and saves the image processing apparatus 1. In response to a call from 1, it is possible to transmit a delay amount that matches the inspection condition.
[0055]
When performing the inspection by the image processing apparatus 1 described above, first, after positioning the camera 2, the mounting position of the sensor 3 is determined by calculation based on the speed of the conveyor that conveys the inspection object and the response speed of the sensor 3. Like to do. Furthermore, in this image processing apparatus 1, the trigger signal generation circuit in the camera interface 14 is configured to output a trigger signal to the camera 2 after an arbitrary delay time from the input of the timing signal. Thus, a trigger signal is input to the camera 2 at an optimal timing for generating an image for inspection.
[0056]
The delay time of the trigger signal with respect to the timing signal is represented by an integer value called “delay amount”. In this image processing apparatus 1, as shown in a specific example described later, in the setting mode prior to the inspection, the acquired image is captured on the monitor 5 while actually inspecting the inspection object by moving the inspection line and each peripheral device. An operation for adjusting the delay amount is performed with reference to the display screen.
[0057]
FIG. 2 shows a specific example of the trigger signal generation circuit in the camera interface 14.
The trigger signal generation circuit 20 is provided with a circuit having a rising detection unit 202 interposed between two flip-flops 201 and 203 on the input side, and further includes a periodic pulse generation unit 204, a pulse counter 205, a register 206, a comparator 207, an output flip-flop 208, and the like. The register 206 stores the delay amount described above. This delay amount is supplied from the CPU 7 and can be rewritten as appropriate.
[0058]
FIG. 3 shows a series of operations in the trigger signal generation circuit 20. In the figure, ck is a clock signal on the camera 2 side (hereinafter referred to as “camera clock ck”), t. 0 Is the timing signal. The input-side flip-flops 201 and 203 and the rise detection unit 202 operate at a timing synchronized with the camera clock ck.
[0059]
The preceding flip-flop 201 is connected to the timing signal t. 0 , And the signal t modified so that the change is synchronized with the camera clock ck f Is output. stp [ab] indicates a combination of the output value a just before the flip-flop 201 and the current output value b. The rise detection unit 202 is a signal t that is turned on (high level) in response to the change from [00] to [01]. p Is output.
[0060]
Pulse signal t from the rising edge detection unit 202 p Is supplied to the periodic pulse generator 204 and the pulse counter 205 via the flip-flop 203 at the subsequent stage (hereinafter, this pulse signal t p Is called a drive pulse. ).
[0061]
The periodic pulse generator 204 outputs the periodic pulse pls at regular time intervals, and the driving pulse t p Is input, the output operation of the periodic pulse pls is reset and a new period is started. The period pw of the periodic pulse pls is set to a value obtained by multiplying the period of the camera clock ck by a predetermined value.
The pulse counter 205 generates a drive pulse t p Is input, the set value n of the delay amount in the register 206 is set to an initial value, and thereafter the set value is counted down each time the periodic pulse pls is input.
[0062]
The comparator 207 takes in the count value of the pulse counter 205 and turns the output on (high level) when the count value becomes zero. The output trg from the comparator 207 is a trigger signal, and is output to the camera 2 via the flip-flop 208 in the subsequent stage.
[0063]
In the above description, the delay amount n is set as the initial value of the counter 205 and the trigger signal trg is raised when the count value becomes 0. However, the actual trigger signal trg includes the camera 2 It is necessary to have a pulse width necessary to be recognized as a trigger signal on the side.
[0064]
Next, the setting of the delay amount n will be described with a specific example.
First, in the first embodiment, when the positioning of the sensor 3 and the camera 2 is completed, the model of the inspection object to be conveyed (hereinafter simply referred to as “object”) while operating the line under the same conditions as the actual inspection. .) In order, and an hourly image is displayed on the monitor 5 to accept a delay amount setting by the user.
[0065]
FIG. 4 shows a specific example of the image display on the monitor 5, in addition to the image 30 of the object, information 31 showing the current delay amount n in terms of time, and adjustment and determination of the delay amount Information 32 indicating the operation method is displayed. In FIG. 4 and the following FIGS. 7, 9, and 11, the direction from the left to the right of the screen corresponds to the moving direction of the object.
[0066]
In order to reliably perform image processing at the time of inspection, it is desirable to perform imaging at a timing such that the image 30 of the object is positioned near the center of the screen, as shown in FIG. If the timing for outputting the trigger signal is early, the object image 30 is positioned on the left side of the screen. Conversely, if the timing for outputting the trigger signal is late, the object image 30 is displayed on the screen. It will be located on the right side. Further, when the shift of the output timing of the trigger signal becomes large, an image in which a part of the object is missing is generated as shown in FIG.
[0067]
In this embodiment, the user confirms the position of the object on the screen, and inputs the moving direction for moving the object to the center of the screen using the arrow keys, thereby adjusting the value of the delay amount n. I am doing so. That is, the right arrow key is operated when the object is located on the left side of the screen, and the left arrow key is operated when the object is located on the right side. When the right arrow key is operated, the delay amount n increases by a certain number. On the other hand, when the left arrow key is operated, the delay amount n decreases by a certain number.
[0068]
FIG. 5 shows a processing procedure when the delay amount is set by the above method, and the operation in the image processing apparatus 1 related to the setting of the delay amount will be described below with reference to this procedure. In this procedure, it is assumed that a plurality of inspection objects are sequentially conveyed, and that a detection signal from the sensor 3 that detects these inspection objects is input at an arbitrary timing.
[0069]
The procedure in FIG. 5 is executed by the CPU 7 in communication with the camera interface 14 and the image processor 11 based on the program in the ROM 8. First, in ST1, a predetermined initial value is set as the value of n in the register 206. The initial value may be zero as shown in FIG.
[0070]
Thereafter, the inspection object on the line is detected by the sensor 3, and when the detection signal is converted into a timing signal and input to the camera interface 14 in the parallel interface 13, the trigger signal generation circuit 20 A trigger signal is output after a time corresponding to the delay amount n from the input of the timing signal. As a result, the camera 2 performs shooting, and an image generated from the video signal is input to the image processor 11.
[0071]
The image processor 11 of this embodiment is set to display the input image on the monitor 5 every time an image is input. Note that, as shown in FIG. 4, information 31 indicating the current delay amount, information 32 supporting the operation method, and the like are displayed on the display screen in an overlapping manner.
[0072]
Further, every time an image is input, the image processor 11 outputs a signal indicating that to the CPU 7. The CPU 7 recognizes the image input by inputting this signal, proceeds from ST2 to ST3, and checks the operation of the arrow key. Here, if the user operates the arrow key for the display, ST3 becomes “YES” and the process proceeds to ST4. In ST5, the value of the delay amount n is increased or decreased by a certain number in accordance with the direction indicated by the operated arrow key.
[0073]
In this manner, while adjusting the value of the delay amount n by the operation of adjusting the position of the object on the screen, the process of generating a new image based on the adjusted delay amount n is repeated. When an image in which the object is located at the center of the screen is displayed at a predetermined time point as shown in FIG. 4 (2), the user performs a confirmation operation using the enter key. As a result, ST3 becomes “NO” and ST5 becomes “YES”, and the process ends. Therefore, the value of the delay amount n at the time of the confirmation operation is held in the register 206 and used at the time of inspection.
[0074]
In this embodiment, since the object is conveyed at a high speed, the user can actually perform the operation once for a plurality of images. If no operation is performed on the input image, the loop in which both ST3 and ST5 are “NO” and returns to ST2 is repeated. While this loop is repeated, the image processor 11 displays the hourly input image on the monitor 5, but the object on the screen is displayed at substantially the same position unless the delay amount n is changed. During this time, a screen close to the same image being displayed is provided to the human eye.
[0075]
According to the above procedure, the user only has to operate the left or right arrow key until the object is located at the center of the screen, and an accurate delay amount can be set with a simple operation.
[0076]
Next, in the embodiment shown in FIG. 6, the delay amount is set by performing an operation of designating an appropriate position of the object on the screen instead of the operation of designating the moving direction of the object. I have to. In FIG. 6, for the sake of convenience, ST11 is the start of processing.
[0077]
The image processor 11 of this embodiment also displays this input image together with various information 31 and 32 every time image data is supplied from the camera interface 14. Further, as shown in FIG. 7, the image processor 11 of this embodiment displays a cursor 35 for a designation operation near the center of the image display screen. Further, an image of the object is extracted from the input image by a process such as binarization, the coordinates of the center point c are calculated and displayed, and the coordinates are output to the CPU 7. The operation of designating an appropriate position of the object is performed by an operation of moving the cursor 35 with the arrow key and then confirming with the enter key.
[0078]
In FIG. 6, after setting an initial value for the delay amount n in ST11 and confirming image input in ST12, the CPU 7 takes in the coordinates of the center point c as position data of the object in ST13. , Temporarily stored in the RAM 9 or the like.
[0079]
When an image based on the initially set delay amount n is displayed and the position specifying operation is performed on the screen, ST14 becomes “YES”, ST15 becomes “NO”, ST16 becomes “YES”, and ST17. Proceed to In ST17, the delay amount n is changed by adding or subtracting a predetermined adjustment amount to the delay amount n. In this embodiment, the direction from the left to the right of the screen corresponds to the moving direction of the object. Therefore, when the object is located on the left side of the screen as shown in FIG. Then, the value is changed to a value obtained by adding the adjustment amount. On the other hand, when the object is located on the right side of the screen, the delay amount n is changed to a value obtained by subtracting the adjustment amount.
[0080]
On the other hand, when the user determines that the object is located at the center of the screen and operates the enter key on the display screen, ST15 becomes “YES”, and the process is performed with the initial setting value fixed. finish.
[0081]
In this embodiment as well, the object is transported at a high speed, so there is a possibility that a plurality of images may be input before a user operation is performed. In addition, since the position designation operation is performed by a plurality of key operations, a plurality of images may be input between the start and the end of the operation. If no operation is performed on the input image, a loop is executed in which ST16 is “NO” and the process returns to ST12.
[0082]
Next, when the delay amount n is changed, ST14 when the image with the changed delay amount n is input is “NO”, and the process proceeds to ST18, and the image processing processor 11 pertains to the image. It is determined whether the transferred position data conforms to the designated position. In ST18, when the coordinates indicated by the position data are included within a predetermined range from the designated position, it is determined that the position data is suitable for the designated position.
[0083]
If it is determined in ST18 that the position data does not match the designated position, the process proceeds from ST18 to ST17, and the value of the delay amount n is adjusted again. Thereafter, by the same procedure, the value of the delay amount n is adjusted using the input image every hour while repeating the photographing until the position data matches the designated position. If it is determined that the position data is suitable for the specified position at a predetermined time, ST18 is “YES”, and the process is terminated with the delay amount n determined at that time.
The adjustment value that increases or decreases with respect to the delay amount n in ST17 can be set to an arbitrary value according to the distance between the coordinates indicated by the position data and the designated position.
[0084]
According to the above embodiment, when a position designation operation is performed on an image when the delay amount n is an initial value, an image in which the object is placed at the designated position is generated by a plurality of subsequent shootings. As a result, the delay amount n can be adjusted. In this way, the user can set an appropriate delay amount only by performing the position specifying operation first, so that the burden on the user for the setting operation can be reduced.
[0085]
In addition, instead of the method of adjusting the delay amount n by photographing a plurality of times after the designation operation, the designation is made based on the speed of the transfer conveyor constituting the inspection line, the size of the field of view of the camera 1, the size of the image, etc. You may make it calculate the delay amount for positioning a target object in a position. For example, the following formula (1) can be used as an example. However, also in this case, it is desirable to display the image based on the calculated delay amount, and to confirm the delay amount after allowing the user to check whether the object is at an appropriate position on the screen.
[0086]
[Expression 1]
Figure 2004253983
[0087]
In equation (1), N pix Is the number of pixels for one line of the image, L is the size of the field of view of the camera 2 (size in the horizontal direction), x c Is the x coordinate of the specified position, x 0 Is the x coordinate of the center point c when the designated operation is performed, and v is the speed of the conveyor for conveyance.
[0088]
Next, in the procedures of FIGS. 5 and 6, the delay amount is adjusted according to the user's operation, but instead, it is also possible to automatically set the optimum delay amount while taking a picture.
FIG. 8 shows the procedure for this automatic setting. In FIG. 8, for the sake of convenience, ST101 is the start of processing.
[0089]
In this embodiment as well, the point that shooting is performed while conveying a predetermined number of objects is the same as in the previous embodiment. In the first ST101, an initial value is set for the delay amount n. Thus, when an object is detected by the sensor 3, shooting is performed at a timing corresponding to the delay amount n, and an image of the object is input to the image processor 11. In this embodiment as well, the image processor 11 displays the input image on the monitor 5 and extracts the coordinates of the center point c of the object every time an image is input, as in the previous embodiment. .
[0090]
After confirming the image input by the signal from the image processor 11, the CPU 7 takes in the coordinates of the center point c as the position data of the object and stores it in the RAM 9 or the like (ST102, 103). Here, if n remains the initial value, ST104 becomes “YES” and waits for the user's confirmation operation or arrow key operation. When the user determines that the delay amount is inappropriate from the display screen and operates the arrow key, ST105 becomes “NO”, ST106 becomes “YES”, and the process proceeds to ST107, and the current delay amount n is increased by one step. N indicating the amount of delay 0 Copy to. Further, in the next ST108, the value of n is updated according to the operation of the arrow key.
[0091]
On the other hand, when the user determines that the object is located at the approximate center of the screen and operates the enter key, ST105 becomes “YES”, the current n is determined as the optimum delay amount, and the process is terminated.
In this embodiment as well, when the object is conveyed at high speed, the user's operation is performed once for a plurality of images. In this case, until the operation is performed, a loop in which ST104 is “YES”, ST105 and 106 are “NO”, and the process returns to ST102 is repeated.
[0092]
When the value of n is updated by the operation of the arrow key, ST104 becomes “YES” at the next image input, and the process proceeds to ST109. In ST109, position data obtained after updating the delay amount n, position data obtained when the delay amount n is an initial value, and delay amounts n, n 0 Based on the following equation (2), the optimum delay amount n d Is calculated.
[0093]
[Expression 2]
Figure 2004253983
[0094]
In equation (2), x c Is the x coordinate of the point corresponding to the center of the image, x 1 Is the x coordinate of the center point extracted from the image when the delay amount is the initial value, x 2 Is the x coordinate of the center point extracted from the image with the updated delay amount.
[0095]
In this way, the optimum delay amount n d Is obtained in ST110. d The delay amount n is rewritten with the value of, and the process is terminated.
[0096]
FIG. 9 shows changes in the image corresponding to the delay amount being changed by the above procedure. 9 (1) shows an input image when the delay amount n is an initial value, FIG. 9 (2) shows an input image after the delay amount n is updated, and FIG. 9 (3) shows an appropriate delay amount. Each input image after setting is shown. In the figure, c is the center point of the image 30 of the object. In the image of FIG. 9 (3) based on the appropriate delay amount, this center point c is the center point c. 0 And almost match.
[0097]
According to the embodiments of FIGS. 8 and 9 described above, the optimum delay amount can be calculated and set in the trigger signal generation circuit 20 by accepting the delay amount adjustment operation only once. Can greatly increase.
Instead of performing the delay amount adjustment operation, a delay amount to be set next to the initial value is determined in advance, and the center point c when the delay amount n is the initial value is c. 0 If not, the delay amount n may be automatically updated to the second value. Further, the center point c in the input image and the center point c of the screen when the delay amount n is the initial value. 0 These x coordinates may be applied to the equation (1) to calculate the optimum delay amount. In this way, the user does not need to perform an adjustment operation, and the setting process can be completely automated.
[0098]
By the way, since the camera 2 has an ability to photograph an object to be conveyed at high speed, it is possible to photograph one object a plurality of times with timings based on different delay amounts. The embodiment shown below uses the performance of this camera to photograph one object four times with different delay times, and from the obtained images, the delay amount corresponding to the image in which the object is located at the center To choose.
[0099]
In order to implement this embodiment, the trigger signal generation circuit 20 in the camera interface 14 is provided with a register for storing four types of delay amounts in addition to the register 206 for holding the delay amount n. Is desirable. Further, when setting the delay amount, it is necessary to change the design of the pulse counter 205 and the comparator 207 so as to sequentially output four trigger signals at timings corresponding to the four delay amounts with respect to the timing signal. is there.
[0100]
FIG. 10 is a processing procedure in the case of setting using the four delay amounts. This procedure is started from ST201 for convenience. Further, the four delay amounts are set as standard in the ROM 8 of the control unit 10, and these four delay amounts are set in the trigger signal generation circuit 20 in the first ST201.
[0101]
When the four delay amounts are set, the trigger signal generation circuit 20 continuously generates four trigger signals with timings based on the delay amounts according to the timing signals and outputs them to the camera 2. The camera 2 performs a photographing operation according to each trigger signal, and as a result, four images corresponding to each delay amount are input to the image processor 11.
[0102]
At this time, the process of the CPU 7 proceeds from ST202 to ST203, and instructs the image processor 11 to display an image corresponding to each delay amount. In response to this instruction, the image processor 11 divides the screen into four as shown in FIG. 11 and displays one image in each area. Also in the display example of FIG. 11, information 31 indicating a delay amount corresponding to the image is also displayed on the image display screen.
[0103]
The CPU 7 accepts a selection operation by the console 4 under this display state. In the example of FIG. 11, the display area of the currently selected image is indicated by a frame-shaped marker 33. The user moves the marker 33 to a desired image using the arrow keys, and then confirms the selection by operating the enter key. When this determination operation is performed, ST204 becomes “YES” and the process proceeds to ST205, where the delay amount corresponding to the selected image is determined as the optimal delay amount and stored as the set value n of the register 206.
[0104]
According to the above procedure, since an optimum delay amount can be set by an operation of continuously photographing one object and selecting one of the obtained four images, the time required for the setting is greatly increased. In addition, the user's operation is simplified and the delay amount can be set efficiently.
[0105]
However, there are cases where none of the four images is in an optimal state. In such a case, the four delay amounts may be adjusted by predetermined values, respectively, and the same processing may be performed again. Alternatively, an appropriate image is selected from the four images, and the procedure shown in FIG. 5 is executed to adjust the delay amount set by the selection so that an optimal image can be obtained. May be.
[0106]
As described above, according to each of the above-described embodiments, it is possible to efficiently set a delay amount necessary for obtaining an image suitable for inspection. In addition, even if the inspection conditions change, such as when the speed of the object or conveyor is changed, the delay amount can be reset easily, so that inspection can be performed without interruption for a long period of time. It is possible to obtain an effect that the efficiency is not lowered.
[0107]
As described with reference to FIG. 1, when a large number of inspection conditions must be switched and processed, a delay amount may be set for each condition in advance and the set value may be stored in the PLC 6. it can. In this way, each time the inspection condition changes, it is only necessary to read the delay amount that meets the new condition from the PLC 6 and set it in the register 206, and the time for which the inspection is interrupted can be further shortened.
[0108]
【The invention's effect】
As described above, according to the present invention, since a function for delaying a trigger signal to the imaging apparatus is provided in the image processing apparatus, a target device that only delays the trigger signal is installed, or a special specification imaging apparatus is installed. There is no need to introduce it, and costs and installation man-hours can be reduced.
[0109]
In addition, according to the present invention, the delay time of the trigger signal can be set by a simple operation, or the optimum delay time can be automatically set by a predetermined number of times of shooting. This can improve the burden on the operator.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus to which the present invention is applied.
FIG. 2 is a block diagram showing a configuration of a trigger signal generation circuit.
FIG. 3 is a timing chart showing an operation in the trigger signal generation circuit.
FIG. 4 is a diagram illustrating an example of a display screen for adjusting a delay amount.
FIG. 5 is a flowchart showing a procedure related to a delay amount setting process;
FIG. 6 is a flowchart showing another procedure related to a delay amount setting process;
7 is a diagram showing an example of a display screen used in the procedure of FIG.
FIG. 8 is a flowchart showing another procedure related to a delay amount setting process;
FIG. 9 is a diagram illustrating a change in an image corresponding to a change in delay amount according to the procedure in FIG. 8;
FIG. 10 is a flowchart showing another procedure related to a delay amount setting process;
11 is a diagram showing an example of a display screen in the procedure of FIG.
[Explanation of symbols]
1 Image processing device
2 Camera
3 Sensor
4 Console
5 Monitor
6 PLC
7 CPU
11 Image processor
13 Parallel interface
14 Camera interface
20 Trigger signal generation circuit
202 Rise detection unit
204 Periodic pulse generator
205 Pulse counter
206 registers
207 comparator

Claims (9)

物体の移動経路に向けて位置決めされた撮像装置を駆動し、得られた画像を用いて前記物体に対する観測処理を実行する装置において、
前記移動経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、
前記検出信号の入力に応じて前記撮像装置にトリガ信号を出力するトリガ信号出力手段と、
前記トリガ信号出力手段にトリガ信号の出力タイミングを制御するための遅延量を設定する遅延量設定手段とを具備して成る画像処理装置。
In an apparatus for driving an imaging device positioned toward a moving path of an object and performing an observation process on the object using an obtained image,
Detection signal input means for inputting a detection signal from a sensor positioned toward a predetermined position of the movement path;
Trigger signal output means for outputting a trigger signal to the imaging device in response to an input of the detection signal;
An image processing apparatus comprising: a delay amount setting unit configured to set a delay amount for controlling a trigger signal output timing in the trigger signal output unit.
請求項1に記載された画像処理装置において、
前記トリガ信号により駆動した撮像装置からの画像を表示する表示手段と、前記画像の表示に対し、その画像における物体の位置を調整する操作を受け付けるための操作受付手段とを具備し、
前記遅延量設定手段は、前記調整操作に応じて遅延量を変更する手段を含んで成る画像処理装置。
The image processing apparatus according to claim 1,
A display unit that displays an image from the imaging device driven by the trigger signal; and an operation reception unit that receives an operation of adjusting the position of an object in the image with respect to the display of the image.
The delay amount setting means is an image processing apparatus including means for changing a delay amount according to the adjustment operation.
請求項1に記載された画像処理装置において、
前記遅延量設定手段は、複数の遅延量と、これら遅延量に基づき出力されたトリガ信号により得た複数の画像とを用いて、前記物体の最適な画像を得るのに必要な遅延量を算出する手段と、この算出された遅延量をトリガ信号出力手段への設定値として確定する手段とを含んで成る画像処理装置。
The image processing apparatus according to claim 1,
The delay amount setting means calculates a delay amount necessary to obtain an optimal image of the object using a plurality of delay amounts and a plurality of images obtained from a trigger signal output based on the delay amounts. And an image processing apparatus comprising: a means for determining the calculated delay amount as a set value for the trigger signal output means.
請求項1に記載された画像処理装置において、
前記トリガ信号により駆動した撮像装置からの画像を表示する表示手段を具備し、
前記トリガ信号出力手段は、前記検出信号に対し、あらかじめ設定された複数の遅延量に基づく複数のトリガ信号を連続して出力することが可能に構成されており、
前記遅延量設定手段は、前記表示手段に前記複数のトリガ信号により得た複数の画像を表示させて、いずれかの画像を選択する操作を受け付ける手段と、この操作により選択された画像に対応する遅延量をトリガ信号出力手段への設定値として確定する手段とを含んで成る画像処理装置。
The image processing apparatus according to claim 1,
Comprising display means for displaying an image from the imaging device driven by the trigger signal;
The trigger signal output means is configured to be capable of continuously outputting a plurality of trigger signals based on a plurality of preset delay amounts with respect to the detection signal,
The delay amount setting means displays a plurality of images obtained by the plurality of trigger signals on the display means and accepts an operation for selecting one of the images, and corresponds to the image selected by the operation. Means for determining the delay amount as a set value for the trigger signal output means.
請求項1〜4のいずれかに記載された画像処理装置において、
外部機器から遅延量を示す情報の送信を受け付ける受信手段を具備し、
前記遅延量設定手段は、前記受信手段により受信した情報に基づき、前記トリガ信号出力手段に遅延量を設定する手段を含んで成る画像処理装置。
In the image processing device according to any one of claims 1 to 4,
Comprising receiving means for receiving transmission of information indicating the delay amount from an external device;
The delay amount setting means is an image processing apparatus comprising means for setting a delay amount in the trigger signal output means based on information received by the receiving means.
請求項1〜5のいずれかに記載された画像処理装置において、前記トリガ信号出力手段は、前記検出信号に応じて所定間隔毎にパルスを生成する処理を実行するパルス生成手段と、前記パルス生成手段が生成したパルスを計数する計数手段と、前記計数手段による計数値を前記遅延量設定手段により設定された遅延量と比較する比較手段とを含んで成る画像処理装置。6. The image processing apparatus according to claim 1, wherein the trigger signal output unit includes a pulse generation unit that executes a process of generating a pulse at predetermined intervals according to the detection signal, and the pulse generation unit. An image processing apparatus comprising: counting means for counting the pulses generated by the means; and comparing means for comparing a count value obtained by the counting means with a delay amount set by the delay amount setting means. 物体の移動経路に、前記物体を検出するためのセンサおよび物体を撮像するための撮像装置を位置決めし、センサからの検出信号に応じたタイミングで撮像装置を駆動し、得られた画像を用いて前記物体に対する観測処理を実行する方法において、
前記センサからの検出信号を入力してから所定の遅延量に基づく遅延時間が経過した時点で撮像装置にトリガ信号を出力するステップ、
前記トリガ信号により駆動した撮像装置からの画像を表示するステップ、
前記画像の表示に対し、その画像における物体の位置を調整する操作が行われたとき、その調整操作に応じて前記遅延量を変更するステップ、
の各ステップを実行し、前記変更後の遅延量を、前記観測処理のための画像を得るのに最適な遅延量として確定するようにした画像処理方法。
A sensor for detecting the object and an imaging device for imaging the object are positioned on the moving path of the object, the imaging device is driven at a timing according to a detection signal from the sensor, and the obtained image is used. In a method for performing observation processing on the object,
Outputting a trigger signal to the imaging device when a delay time based on a predetermined delay amount has elapsed since the detection signal from the sensor was input;
Displaying an image from an imaging device driven by the trigger signal;
When an operation for adjusting the position of an object in the image is performed for the display of the image, the step of changing the delay amount according to the adjustment operation;
An image processing method in which each step is executed, and the delay amount after the change is determined as an optimum delay amount for obtaining an image for the observation process.
物体の移動経路に、前記物体を検出するためのセンサおよび物体を撮像するための撮像装置を位置決めし、センサからの検出信号に応じたタイミングで撮像装置を駆動し、得られた画像を用いて前記物体に対する観測処理を実行する方法において、
前記センサからの検出信号を入力してから所定の遅延量に基づく遅延時間が経過した時点で撮像装置にトリガ信号を出力するステップを、遅延量を変更しながら複数回実行した後、
前記各遅延量と、これら遅延量に基づき出力されたトリガ信号により得た複数枚の画像とを用いて、前記観測処理のための画像を得るのに最適な遅延量を算出するようにした画像処理方法。
A sensor for detecting the object and an imaging device for imaging the object are positioned on the moving path of the object, the imaging device is driven at a timing according to a detection signal from the sensor, and the obtained image is used. In a method for performing observation processing on the object,
After executing the step of outputting a trigger signal to the imaging device at the time when a delay time based on a predetermined delay amount has elapsed since inputting the detection signal from the sensor, while changing the delay amount,
An image in which an optimum delay amount for obtaining an image for the observation process is calculated using each delay amount and a plurality of images obtained by a trigger signal output based on the delay amount. Processing method.
物体の移動経路に、前記物体を検出するためのセンサおよび物体を撮像するための撮像装置を位置決めし、センサからの検出信号に応じたタイミングで撮像装置を駆動し、得られた画像を用いて前記物体に対する観測処理を実行する方法において、
前記センサからの検出信号に対し、あらかじめ設定された複数の遅延量に基づく複数のトリガ信号を撮像装置に連続して出力するステップ、
前記複数のトリガ信号により撮像装置から得た画像を表示し、表示されたいずれかの画像を選択する操作を受け付けるステップ、
の各ステップを実行し、選択された画像に対応する遅延量を、前記観測処理のための画像を得るのに最適な遅延量として確定するようにした画像処理方法。
A sensor for detecting the object and an imaging device for imaging the object are positioned on the moving path of the object, the imaging device is driven at a timing according to a detection signal from the sensor, and the obtained image is used. In a method for performing observation processing on the object,
A step of continuously outputting a plurality of trigger signals based on a plurality of delay amounts set in advance to the imaging device with respect to the detection signal from the sensor;
Displaying an image obtained from the imaging device by the plurality of trigger signals and receiving an operation of selecting any of the displayed images;
An image processing method in which each step is executed, and a delay amount corresponding to the selected image is determined as an optimum delay amount for obtaining an image for the observation processing.
JP2003041008A 2003-02-19 2003-02-19 Image processing apparatus and delay amount setting method for imaging control Expired - Fee Related JP4228717B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003041008A JP4228717B2 (en) 2003-02-19 2003-02-19 Image processing apparatus and delay amount setting method for imaging control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003041008A JP4228717B2 (en) 2003-02-19 2003-02-19 Image processing apparatus and delay amount setting method for imaging control

Publications (2)

Publication Number Publication Date
JP2004253983A true JP2004253983A (en) 2004-09-09
JP4228717B2 JP4228717B2 (en) 2009-02-25

Family

ID=33024707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003041008A Expired - Fee Related JP4228717B2 (en) 2003-02-19 2003-02-19 Image processing apparatus and delay amount setting method for imaging control

Country Status (1)

Country Link
JP (1) JP4228717B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009109440A (en) * 2007-10-31 2009-05-21 Chubu Fuji Denki Kk Visual examination processing system and program thereof
EP2367151A2 (en) 2010-03-12 2011-09-21 Omron Corporation Image processing device and image processing program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667236B1 (en) * 2015-05-29 2016-10-18 한양대학교 산학협력단 Device and method for correcting stereo vision sensor by considering time delay

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009109440A (en) * 2007-10-31 2009-05-21 Chubu Fuji Denki Kk Visual examination processing system and program thereof
EP2367151A2 (en) 2010-03-12 2011-09-21 Omron Corporation Image processing device and image processing program
JP2011211678A (en) * 2010-03-12 2011-10-20 Omron Corp Image processing apparatus and program
EP2367151A3 (en) * 2010-03-12 2013-08-14 Omron Corporation Image processing device and image processing program
US8538076B2 (en) 2010-03-12 2013-09-17 Omron Corporation Image processing device and image processing program

Also Published As

Publication number Publication date
JP4228717B2 (en) 2009-02-25

Similar Documents

Publication Publication Date Title
CN110154017B (en) Conveyor tracking system and calibration method
JP4702418B2 (en) Imaging apparatus, image region existence determination method and program
CN101655649B (en) Image acquisition device and flash control method thereof
JP2004212431A (en) Autofocus apparatus and autofocus method
JP2009199049A (en) Imaging apparatus and imaging apparatus control method, and computer program
US8538076B2 (en) Image processing device and image processing program
JP2007147506A (en) Piping inspection system and self-propelled piping inspection apparatus used therefor
US8660418B2 (en) Apparatus and method of adjusting automatic focus
JP4228717B2 (en) Image processing apparatus and delay amount setting method for imaging control
JP6335007B2 (en) Capsule endoscope system, capsule endoscope, receiving apparatus, capsule endoscope operating method, and program
JP2005052306A (en) Position detection system
JP5015121B2 (en) Imaging device
KR20020083261A (en) Digital camera and method for performing panorama mode thereof
US8619119B2 (en) Digital photographing apparatus
JP2000004390A (en) Document-image camera device
JPH08285526A (en) Image recognition system
JP2012235435A (en) Integrated borehole scan image recording device incorporating image sensor depth meter
JP4944737B2 (en) Program creation device for image processing controller
JP2006320962A (en) Welding tool monitoring device, image processor, and program
JP2012249094A (en) Imaging system and imaging device
JP4654610B2 (en) Imaging apparatus and imaging control method
JP4347499B2 (en) Electronic camera system
JP2001101416A (en) Device and method for processing image and inspecting method
JPH07234929A (en) Method and device for detecting shape
US20040223066A1 (en) Camera having header data indicative of a camera funciton embedded with actual image data for synchronizing the camera function and image data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081124

R150 Certificate of patent or registration of utility model

Ref document number: 4228717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees