JP2021012042A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2021012042A
JP2021012042A JP2019124826A JP2019124826A JP2021012042A JP 2021012042 A JP2021012042 A JP 2021012042A JP 2019124826 A JP2019124826 A JP 2019124826A JP 2019124826 A JP2019124826 A JP 2019124826A JP 2021012042 A JP2021012042 A JP 2021012042A
Authority
JP
Japan
Prior art keywords
inspected
imaging
time
mirror
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019124826A
Other languages
English (en)
Inventor
礼彦 吉村
Masahiko Yoshimura
礼彦 吉村
栗原 徹
Toru Kurihara
徹 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
Kochi Prefectural University Corp
Original Assignee
Ricoh Elemex Corp
Kochi Prefectural University Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp, Kochi Prefectural University Corp filed Critical Ricoh Elemex Corp
Priority to JP2019124826A priority Critical patent/JP2021012042A/ja
Publication of JP2021012042A publication Critical patent/JP2021012042A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】被検査体が搬送路上を搬送されている状態で被検査体の時間相関画像を撮像すること。【解決手段】本開示の一例としての撮像システムは、明領域と暗領域とが周期的に配置されたパターンの移動によって光の強度の周期的な時間変化および空間変化を搬送路上を搬送される被検査体に対して与える面的な照明部と、前記被検査体の撮像対象部位からの光強度信号を検出して、前記光強度信号と周期的に変化する参照信号との相関を示す画像データを生成する撮像部と、前記パターンの移動を、前記参照信号と、前記被検査体の搬送速度と、に応じて制御する照明制御部と、を備える。【選択図】図1

Description

本開示は、撮像システムに関する。
従来、周期的に変化する光を被検査体に照射し、当該被検査体の表面からの反射光を撮像することで、光の強度のみならず、光の時間遷移に関する情報をも含んだ時間相関画像を取得する技術が提案されている。このような時間相関画像は、たとえば、被検査体の異常を検出するために用いられる。
特開2015−197345号公報
製造の現場では、製造物がベルトコンベアなどの搬送装置によって搬送路上を搬送されることがある。製造物を被検査体として検査を実施する際、タクトタイムの短縮のため、製造物が搬送路上を搬送されている状態で異常の検出を行いたいという要望がある。
本開示の課題の一つは、被検査体が搬送路上を搬送されている状態で被検査体の時間相関画像を撮像できる撮像システムを得ることである。
本開示の一例としての撮像システムは、明領域と暗領域とが周期的に配置されたパターンの移動によって光の強度の周期的な時間変化および空間変化を搬送路上を搬送される被検査体に対して与える面的な照明部と、前記被検査体の撮像対象部位からの光強度信号を検出して、前記光強度信号と周期的に変化する参照信号との相関を示す画像データを生成する撮像部と、前記パターンの移動を、前記参照信号と、前記被検査体の搬送速度と、に応じて制御する照明制御部と、を備える。
図1は、実施形態にかかる撮像システムが適用された検査システムの構成の一例を示した模式的な図である。 図2は、実施形態にかかる時間相関カメラの構成の一例を示した模式的な図である。 図3は、実施形態にかかる時間相関カメラで時系列順に蓄積されるフレームを表した例示的な概念図である。 図4は、実施形態にかかる照明装置が照射する縞パターンの一例を示した模式的な図である。 図5は、実施形態にかかる時間相関カメラによる、被検査体の異常の第1の検出例を示した模式的な図である。 図6は、実施形態において、図5に示される異常が被検査体にある場合に、当該異常に応じて変化する、光の振幅の例を表した例示的な図である。 図7は、実施形態にかかる時間相関カメラによる、被検査体の異常の第2の検出例を示した模式的な図である。 図8は、実施形態にかかる時間相関カメラによる、被検査体の異常の第3の検出例を示した模式的な図である。 図9は、実施形態にかかる、被検査体の搬送速度と、時間相関カメラおよびミラーの移動速度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。 図10は、実施形態にかかる可動ミラー装置の、視野位置の移動を実行するための構成の一例を示した模式的な図である。 図11は、実施形態にかかる被検査体に設定される複数の撮像対象部位の一例を示した模式的な図である。 図12は、実施形態にかかる撮像システムが適用された検査システムが搬送装置によって搬送されている各被検査体の検査を行う際に実行する一連の動作の一例を示したフローチャートである。 図13は、実施形態にかかる縞パターンの出力方法の一例を示したフローチャートである。 図14は、実施形態にかかる支持体の移動の制御方法の一例を示したフローチャートである。 図15は、第1変形例にかかる、被検査体の搬送速度と、時間相関カメラの位置と、ミラーの移動速度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。 図16は、第2変形例にかかる、被検査体の搬送速度と、時間相関カメラの移動速度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。 図17は、第3変形例にかかる、被検査体の搬送速度と、ミラーの角度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。 図18は、第4変形例の照明制御部が出力する縞パターンの切り替え例を示した図である。 図19は、第4変形例の照明制御部が、異常(欠陥)1801を含んだ表面に縞パターンを照射した例を示した図である。 図20は、図20においてy方向に縞パターンを変化させた場合における、異常(欠陥)とスクリーン上の縞パターンとの関係を示した図である。 図21は、第5変形例の照明制御部が照明装置に出力する縞パターンの例を示した図である。
<実施形態>
以下、実施形態にかかる撮像システムが適用された検査システムについて説明する。図1は、実施形態にかかる撮像システムが適用された検査システムの構成の一例を示した模式的な図である。図1に示されるように、検査システムは、PC(Personal Computer)100と、時間相関カメラ110と、照明装置120と、スクリーン130と、可動ミラー装置140と、支持体150と、多関節ロボット160と、搬送装置170と、を備えている。
PC100、時間相関カメラ110、照明装置120、スクリーン130、可動ミラー装置140、支持体150、および多関節ロボット160は、実施形態にかかる撮像システムを構成する。
搬送装置170は、搬送路172を備えており、搬送路172上に載置された1以上の製造物を搬送路172に沿って搬送する。搬送装置170は、例えば、ベルトコンベア、ローラーコンベア、バケットエレベータなどである。搬送路172の形状は、直線形状であってもよいし、直線形状でなくてもよい。なお、搬送路172によって搬送される各製造物は、検査システムによる検査の対象とされる。各製造物を、被検査体180と表記する。
搬送装置170は、搬送物、即ち被検査体180、の送り量に対応した値を出力するエンコーダ171を備えている。エンコーダ171は、一例では、送り量あるいは搬送物を送るモータの角度変位量が所定量に達する毎にパルスを出力するパルスエンコーダである。なお、エンコーダ171の種類はパルスエンコーダに限定されない。
時間相関カメラ110および可動ミラー装置140は、ともに支持体150に固定されている。
可動ミラー装置140は、ミラー141と、ミラー141の角度を変化させることができる駆動部142と、を備えている。可動ミラー装置140は、ガルバノミラーであってもよいし、ポリゴンミラーであってもよい。実施形態および以降の実施形態では、可動ミラー装置140はガルバノミラーであることとして説明する。
ミラー141は、時間相関カメラ110の光軸と交差する位置に設けられている。これによって、ミラー141は、時間相関カメラ110の光軸を偏向させることができる。なお、ミラー141と時間相関カメラ110との間の光軸上、またはミラー141と被検査体180との間の光軸上に、レンズなどの光学系部品が配置されてもよい。
ミラー141の角度は、時間相関カメラ110の視野範囲に搬送路172上の被検査体180の撮像対象部位が含まれるように制御される。可動ミラー装置140の制御に関する具体的な説明は後述する。
支持体150は、多関節ロボット160のロボットアームの先端に取り付けられている。多関節ロボット160は、支持体150を検査システムの設置環境に対して相対移動させることができる。多関節ロボット160が支持体150を移動させることによって、時間相関カメラ110と可動ミラー装置140とは、一体に移動せしめられる。つまり、多関節ロボット160は、時間相関カメラ110とミラー141との位置関係を維持するように、時間相関カメラ110およびミラー141を移動させることができる。
なお、多関節ロボット160は、時間相関カメラ110などを移動させることができる移動機構の一例である。移動機構は、多関節ロボット160に限定されない。移動機構は、リニアアクチュエータなどによって構成されてもよい。
照明装置120は、被検査体180に光を照射する装置である。照明装置120は、一例では、信号に応じた映像を投射するプロジェクタである。照明装置120は、PC100からの縞パターンに従って、照射する光の強度を領域単位で制御できる。さらに、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化および空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体180に対して面的に光を照射する。実施形態にかかるスクリーン130は、照明装置120から入力された周期的な時間変化および空間変化が与えられた光を、面的に被検査体180に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズなどの光学系部品(図示されず)が設けられてもよい。
なお、実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化および空間変化を与える面的な照明部を構成する例について説明するが、実施形態にかかる照明部は、このような組み合わせに制限されるものではない。実施形態では、たとえば、LEDを面的に配置したり、大型モニタを配置したりするなどして、照明部を構成してもよい。
図2は、実施形態にかかる時間相関カメラ110の構成の一例を示した模式的な図である。なお、時間相関カメラ110は、撮像部の一例である。時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部260と、を備えている。
光学系210は、撮像レンズなどを含み、時間相関カメラ110の外部の被写体(被検査体180を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。
実施形態にかかる光強度信号は、検査システムの照明装置120が被写体(被検査体180を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
イメージセンサ220は、たとえば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、実施形態にかかる画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
イメージセンサ220は、光学系210によって透過された、被写体(被検査体180を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮像信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。実施形態にかかるイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
実施形態にかかる制御部240は、プロセッサやメモリなどといった通常のコンピュータと同様のハードウェアを有し、メモリに格納されたソフトウェア(検査プログラム)をプロセッサにより実行することで、転送部241と、読出部242と、強度画像用重畳部243と、相関画像用重畳部244と、画像出力部249と、を実現する。
なお、実施形態では、制御部240が有する機能的構成の一部または全部が、FPGA(Field−Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などを利用した専用のハードウェア(回路)のみによって実現されてもよい。
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
図3は、実施形態にかかる時間相関カメラ110で時系列順に蓄積されるフレームを表した例示的な概念図である。図3に示されるように、実施形態にかかるデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで生成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
実施形態にかかる光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレームFk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、実施形態は、解像度、感度、およびコストなどを考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いてもよい。
図2に戻り、実施形態にかかる読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器245と、第2の乗算器247と、強度画像用重畳部243と、に出力する。
実施形態にかかる時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相関カメラ110は、3種類の画像データを生成する。
より具体的に、実施形態にかかる時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、実施形態は、強度画像データと、2種類の時間相関画像データと、を生成することに制限されるものではなく、強度画像データを生成しない場合や、1種類または3種類以上の時間相関画像データを生成する場合なども考えられる。
実施形態にかかるイメージセンサ220は、上述したように、単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮像に必要な露光時間分の光強度信号が必要になる。そこで、実施形態では、強度画像用重畳部243が、撮像に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
Figure 2021012042
これにより、従来のカメラの撮像と同様に、被写体(被検査体180を含む)が撮像された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部249に出力する。
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号との乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
ところで、時間相関画像データを用いて、被検査体180の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このため、実施形態にかかる照明装置120は、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うように構成される。
ここで、実施形態にかかる時間相関カメラ110は、所定の参照信号に基づいて、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、実施形態では、一例として、複素正弦波e-jωt(ωは角周波数、tは時刻)が用いられる。なお、参照信号を表す複素正弦波e-jωtにおいては、上述した露光時間(換言すれば強度画像データ、および時間相関画像データを生成するために必要な時間)の1周期と相関をとるように、角周波数ωが設定されるものとする。
このような構成により、照明装置120およびスクリーン130などの照明部によって形成された面的かつ動的な光は、被検査体180の表面(反射面)の各位置で第1の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第2の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布など)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第1の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素信号としての時間相関画像データに基づく変復調により、表面の法線ベクトルの分布(空間分布)に対応した特徴を検出することができる。
複素正弦波e-jωtは、e-jωt=cosωt−j・sinωtと表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。
Figure 2021012042
実施形態では、式(2)において、実部を表す画素値C1(x,y)と、虚部を表す画素値C2(x,y)と、に分けて、2種類の時間相関画像データを生成する。
このため、参照信号出力部260は、第1の乗算器245と、第2の乗算器247と、に対してそれぞれ異なる参照信号を生成し、出力する。たとえば、実施形態にかかる参照信号出力部260は、複素正弦波e-jωtの実部に対応する第1の参照信号cosωtを第1の乗算器245に出力し、複素正弦波e-jωtの虚部に対応する第2の参照信号sinωtを第2の乗算器247に出力する。すなわち、実施形態にかかる参照信号出力部260は、一例として、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する。しかしながら、参照信号は、ここで説明する例に制限されるものではなく、時間関数のような、時間遷移に応じて変化する参照信号であればよい。
そして、第1の乗算器245は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部260から入力された複素正弦波e-jωtの実部cosωtを乗算する。
第1の相関画像用重畳部246は、撮像に必要な露光時間分の複数のフレームについて、第1の乗算器245の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)は、以下に示す式(3)から導き出すことができる。
Figure 2021012042
そして、第2の乗算器247は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部260から入力された複素正弦波e-jωtの虚部sinωtを乗算する。
第2の相関画像用重畳部248は、撮像に必要な露光時間分の複数のフレームについて、第2の乗算器247の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x,y)は、以下に示す式(4)から導き出すことができる。
Figure 2021012042
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。
実施形態は、参照信号の種類を制限するものではない。たとえば、実施形態では、複素正弦波e-jωtの実部と虚部とに対応した2種類の時間相関画像データが生成されるが、光の振幅と、光の位相と、に対応した2種類の画像データが生成されてもよい。
実施形態にかかる照明装置120は、高速に移動する縞パターンを照射する。図4は、実施形態にかかる照明装置120が照射する縞パターンの一例を示した模式的な図である。図4に示される例では、1周期分の縞幅がWに設定された縞パターンがx方向にスクロール(移動)される。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
実施形態では、時間相関カメラ110が強度画像データおよび時間相関画像データを撮像する露光時間で、被検査体180の表面の各位置で反射されてイメージセンサ220に入射する光強度信号が、1周期分変化するように、照明装置120は、光の強度の縞パターンを移動させる。時間相関カメラ110に入射する図4に示される縞パターンの光強度信号が1周期分変化する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン1周期分の光の強度信号に関する情報が埋め込まれる。
なお、図4に示されるように、実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
例えば、照明装置120が照射する、複数の縞が反復的に(周期的に)含まれる縞パターンを、A(1+cos(ωt+kx))と表す。なお、被検査体180に照射される光の強度は0〜2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
仮に被検査体180が静止している場合、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下に示す式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)} …(5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として考えることができる。
そして、イメージセンサ220には、当該照明装置120からの光が被写体(被検査体180を含む)から反射して入力される。
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とすることができる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、以下に示す式(6)を導き出すことができる。なお、以下に示す式(6)において、kxは、位相である。
Figure 2021012042
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、以下に示す式(7)を導き出すことができる。なお、以下に示す式(7)において、AT/2は、振幅であり、kxは、位相である。
Figure 2021012042
これにより、式(7)で示された複素数で表される時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、被検査体180に照射された光の強度変化における位相変化と振幅変化とが含まれている。換言すれば、実施形態にかかるPC100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の強度変化における位相変化(以下、簡単に光の位相変化と記載することがある)と、光の強度変化における振幅変化(以下、簡単に光の振幅変化と記載することがある)と、を検出することができる。
そこで、実施形態にかかるPC100は、時間相関画像データおよび強度画像データに基づいて、時間相関画像として、画素毎に入る光の位相変化を表した位相画像と、画素毎に入る光の振幅を表した振幅画像と、を生成する。また、PC100は、強度画像データに基づいて、画素毎に入る光の強度を表した強度画像を生成する。そして、PC100は、位相画像と、振幅画像と、強度画像と、のうち少なくともいずれかに基づいて、被検査体180の異常を検出する。
ところで、被検査体180の表面形状に凹凸に基づく異常が生じている場合、被検査体180の表面の法線ベクトルの分布には、異常に対応した変化が生じている。また、被検査体180の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化および振幅変化のうち少なくともいずれか一つとして検出される。そこで、実施形態では、時間相関画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化および振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常が存在する可能性がある領域を特定することが可能となる。以下、被検査体180の異常、法線ベクトル、および光の位相変化または振幅変化の関係について例を挙げて説明する。
図5は、実施形態にかかる時間相関カメラ110による、被検査体180の異常の第1の検出例を示した模式的な図である。図5に示される例では、被検査体180の一例としての被検査体500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(たとえば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
図6は、実施形態において、図5に示される異常501が被検査体500にある場合に、当該異常に応じて変化する、光の振幅の例を表した例示的な図である。図6に示される例では、光の振幅を実部(Re)と虚部(Im)とに分けて2次元平面上に表している。図6では、図5の光511、512、513に対応する光の振幅611、612、613が示されている。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
したがって、図6に示される状況では、被検査体500の異常501が撮像された領域で、局所的に振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像において、周囲と比べて暗くなっている領域がある場合に、当該領域で局所的に光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体500の位置で、異常501が生じていると判断できる。なお、ここでは、突形状の異常501に対応する領域で、振幅画像が局所的に暗くなる場合を例示したが、キズなどの凹み状の異常に対応する領域でも、振幅画像は局所的に暗くなる。
実施形態にかかる検査システムは、図5の異常501のように傾きが急峻に変化しているものに限らず、次の図7に示されるような、緩やかに変化する異常も検出できる。
図7は、実施形態にかかる時間相関カメラ110による、被検査体180の異常の第2の検出例を示した模式的な図である。図7には、平面状(換言すれば法線が平行)の正常な表面を有した被検査体180の一例としての被検査体700に緩やかな勾配701が生じている状況が示されている。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。
図7に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図5、図6で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサ220に平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサ220に入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲などとの違いを検出することで、図7に示されるような緩やかな勾配701による異常を検出できる。
また、実施形態では、次の図8に示されるように、被検査体180の表面形状(換言すれば、被検査体180の法線ベクトルの分布)以外にも異常が生じる場合がある。
図8は、実施形態にかかる時間相関カメラ110による、被検査体180の異常の第3の検出例を示した模式的な図である。図8に示される例では、被検査体180の一例としての被検査体800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮像している任意の画素領域では光の強度がほとんど変化しない例を表している。換言すれば、汚れ801を撮像している任意の画素領域では、光の強度変化が打ち消し合ってキャンセルされ、ほとんど直流的な明るさになる例を示している。
このような場合、汚れ801を撮像している画素領域においては、光の振幅がほとんどないため、振幅画像を表示した際に、周囲と比べて暗くなる領域が生じる。したがって、周囲と比べて暗くなる領域に対応する被検査体800の位置に、汚れ801があることを推定できる。
このように、時間相関画像データに基づいて、光の振幅の変化や、光の位相の変化を検出することで、被検査体180における、異常が存在する可能性がある領域を特定することができる。
ところで、製造の現場において、各製造物(各被検査体180)の撮像のために搬送を製造物毎に停止した場合、タクトタイムが増大する。タクトタイムの増大を抑制するために、実施形態の撮像システムは、構成要素のうちの一部を被検査体180の搬送に応じて移動させることで、被検査体180が搬送されている最中に被検査体180の撮像が可能に構成されている。
撮像システムの構成要素のうちの何れを移動対象とするかは、任意に決めることができるが、移動機構に要求される性能の抑制やシステムのコンパクト化などを考慮すると、移動対象の重量や大きさをできるだけ抑制することが望まれる。
そこで、実施形態では、一例として、照明装置120、スクリーン130、可動ミラー装置140、および時間相関カメラ110のうちの、時間相関カメラ110および可動ミラー装置140のみが移動の対象とされる。
具体的には、多関節ロボット160は、支持体150を、被検査体180の搬送速度と同じ速度で被検査体180の搬送方向と同じ方向に移動させる。これによって、時間相関カメラ110および可動ミラー装置140と、搬送路172を搬送されている被検査体180と、の間の位置関係が一定に維持される。つまり、時間相関カメラ110および可動ミラー装置140と、被検査体180と、の間の相対速度をゼロとすることができる。
一方、照明装置120およびスクリーン130は、検査システムの設置環境に固定されている。よって、被検査体180、可動ミラー装置140、および時間相関カメラ110は、照明装置120およびスクリーン130に対して、搬送装置170による搬送速度に応じた速度で相対移動することになる。そのような状況において、仮に、照明装置120がA(1+cos(ωt+kx))などで表される縞パターンを出力した場合、被検査体180の各位置では、上述した相対移動に起因して、照射される光に位相の進みまたは遅れが生じる。これによって、被検査体180の各位置からイメージセンサ220に入力される光強度信号の変化が参照信号に同期しなくなり、意図した時間相関画像データを得ることができなくなる。
実施形態では、イメージセンサ220に入力される光強度信号の変化を参照信号に同期させるために、縞パターンの時間遷移に応じた変化が、参照信号(より詳しくは参照信号の各周波数ω)と、被検査体180の搬送速度と、に基づいて制御される。
図9は、実施形態にかかる、被検査体180の搬送速度と、時間相関カメラ110およびミラー141の移動速度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。
図9に示される例においては、支持体150は、被検査体180と同じ速度vで被検査体180と同じ方向に移動せしめられる。これによって、時間相関カメラ110、ミラー141、および被検査体180の間の位置関係が一定に維持され、時間相関カメラ110の視野位置を搬送中の被検査体180に追従させることが可能である。
照明装置120は、一例では、被検査体180の搬送方向と同方向(つまり図中のx方向の負の向き)に移動する縞パターンを出力する。このとき、スクリーン130を介して照射される縞パターンS(x,t)は、下記の式(8)によって表すことができる。ただし、参照信号の時間変化の周期(つまり角周波数ωの逆数)が1露光時間と一致するように、参照信号の角周波数ωが設定されていることとする。
S(x,t)=A(1+cos(ωt+k(vt+x)))…(8)
なお、縞パターンの空間的な周期(縞幅)をWとすると、波数kは、2π/Wと表せる。
被検査体180の搬送方向と縞パターンの移動方向が同じ場合、被検査体180の各部位では、縞パターンの位相の遅れが発生する。式(8)に示されるように、照明装置120が出力する縞パターンの位相が搬送速度vに応じた値kvtだけ進められることで、被検査体180と、照明装置120などとの間の相対移動に起因する被検査体180の各位置での光の位相の遅れが補償されて、イメージセンサ220の各画素に入力される光強度信号の変化を参照信号に同期させることができる。
なお、図9に示される例では、照明装置120は、被検査体180の搬送方向と同方向に移動する縞パターンを出力することとした。実施形態は、被検査体180の搬送方向と縞パターンの移動方向との関係を制限するものではない。縞パターンの変化の制御を参照信号と搬送速度vとに基づいて実行することによってイメージセンサ220に入力される光強度信号の変化を参照信号に同期させることができる限り、縞パターンを任意の方向に移動させることができる。
縞パターンの移動方向と被検査体180の搬送方向とが異なる場合、縞パターンの移動を示すベクトルのうちの被検査体180の搬送方向の成分が、被検査体180の搬送によって影響を受ける。よって、例えば、縞パターンの移動ベクトルのうちの被検査体180の搬送方向の成分を、参照信号と搬送速度vとに基づいて制御することで、イメージセンサ220に入力される光強度信号の変化を参照信号に同期させることが可能である。
図1に戻り、PC100について説明する。PC100は、検出システム全体の制御を行う。PC100は、取得部101と、照明制御部102と、ロボット制御部103と、ミラー制御部104と、画像生成部105と、異常検出部106と、を備えている。これらの構成は、ハードウェアとソフトウェアとの協働の結果、すなわち、PC100のプロセッサがメモリなどに記憶されたコンピュータプログラムとしての検査プログラムを実行した結果として実現されうる。なお、実施形態では、これらの構成の一部または全部が専用のハードウェア(回路)によって実現されてもよい。
取得部101は、エンコーダ171によって出力された、搬送物の送り量に対応した値を取得する。また、取得部101は、時間相関カメラ110に具備される参照信号出力部260によって出力された参照信号を取得する。
ロボット制御部103は、取得部101によって取得されたエンコーダ171の出力に基づき、多関節ロボット160の先端に取り付けられた支持体150を、被検査体180の搬送方向に被検査体180の搬送速度と同じ速度で移動させる。これによって、時間相関カメラ110の視野位置を、搬送路172上を搬送されている1つの被検査体180の撮像対象部位に追従させる。
また、搬送路172上に複数の被検査体180が搬送され、当該複数の被検査体180のそれぞれを順次撮像する場合には、ロボット制御部103は、1つの被検査体180の撮像が終了する毎に、支持体150を当該被検査体180が搬送される向きとは逆向きに移動させて、時間相関カメラ110の視野位置を、当該被検査体180の次に搬送されてくる被検査体180の所定の撮像対象部位に位置決めすることができる。
照明制御部102は、照明装置120に縞パターンを出力する。照明制御部102は、時間遷移に応じた縞パターンの変化を、被検査体180の搬送速度と、参照信号と、に基づいて制御する。具体的には、照明制御部102は、たとえば、式(8)で表される縞パターンを出力する。
具体的には、照明制御部102は、取得部101によって取得されたエンコーダ171の出力に基づき、被検査体180の搬送速度vを演算する。そして、照明制御部102は、演算によって得られた搬送速度vと、取得部101によって取得された参照信号とを、縞パターンの変化の制御に使用する。
なお、照明制御部102が出力する縞パターンのデータ構造は、特定の形式に限定されない。一例では、照明制御部102は、時間遷移に応じて変化する縞パターンを表す映像信号を照明装置120に出力し、照明装置120は、当該映像信号を再生することによって式(8)で表される縞パターンを出力してもよい。また、照明制御部102は、矩形波や正弦波の信号を照明装置120に出力し、照明装置120は、当該信号に基づいて縞パターンを出力してもよい。
ミラー制御部104は、ミラー141の角度の制御を実施する。
実施形態では、各被検査体180に対して複数の撮像対象部位を設定することが可能である。そして、複数の撮像対象部位間での時間相関カメラ110の視野位置の移動は、多関節ロボット160の制御ではなく、ミラー141の角度の制御によって実現される。
図10は、実施形態にかかる可動ミラー装置140の視野位置の移動を実行するための構成の一例を示した模式的な図である。本図に示される例では、撮像システムには、可動ミラー装置140として、2つの可動ミラー装置140(第1の可動ミラー装置140−1、第2の可動ミラー装置140−2)が設けられている。2つの可動ミラー装置140は、ともに、図10には図示されない支持体150に支持されている。
第1の可動ミラー装置140−1は、第1の可動ミラー装置140−1が備えるミラー141(ミラー141−1)に時間相関カメラ110の光軸が最初に交差するように配置されている。第1の可動ミラー装置140−1が備える駆動部142(駆動部142−1)は、モータを内蔵しており、当該モータによって、光軸と交差する方向に延びる軸を中心にミラー141−1を回転させることができる。
第2の可動ミラー装置140−2は、第2の可動ミラー装置140−2が備えるミラー141(ミラー141−2)に、ミラー141−1によって偏向された時間相関カメラ110の光軸が交差するように配置されている。第2の可動ミラー装置140−2が備える駆動部142(駆動部142−2)は、モータを内蔵しており、当該モータによって、光軸と交差する方向に延びる軸を中心にミラー141−2を回転させることができる。
ミラー制御部104は、駆動部142−1および駆動部142−2を制御することで、時間相関カメラ110の視野位置を、互いに異なる2つの方向に移動させることができる。
図10の例では、ミラー制御部104は、駆動部142−1を制御してミラー141−1の角度を変化させることによって、時間相関カメラ110が向いている方向に沿った方向D1に視野位置を移動させることができる。また、ミラー制御部104は、駆動部142−2を制御してミラー141−2の角度を変化させることによって、方向D1と直交する方向D2に視野位置を移動させることができる。
図11は、実施形態にかかる被検査体180に設定される複数の撮像対象部位の一例を示した模式的な図である。被検査体180の被検査面には、複数の撮像対象部位1101が設定されている。各撮像対象部位1101は、時間相関カメラ110の視野範囲と同じかまたはより小さい面積を有している。ミラー制御部104がミラー141−1およびミラー141−2の角度を制御することによって、支持体150の特別な移動制御を必要とすることなく、複数の撮像対象部位1101間で視野位置を移動させることが可能である。
たとえば、1つの被検査体180の搬送に応じて支持体150が当該被検査体180の搬送方向に移動せしめている期間に、視野位置を当該被検査体180に設定された複数の撮像対象部位1101間でミラー141の制御によって切り替えながら、撮像対象部位1101単位の撮像をシリアルに実施することができる。これによって、1台の時間相関カメラ110で、当該時間相関カメラ110の視野範囲よりも広い範囲の検査を行うことが可能となっている。
実施形態と比較される技術として、時間相関カメラ110の移動によって複数の撮像対象部位1101間で視野位置を移動させる方法が考えられる。この方法によれば、1つの撮像対象部位1101の撮像が終了すると、時間相関カメラ110の視野位置を次の撮像対象部位1101に位置決めするために、時間相関カメラ110自体が移動せしめられる。この方法を、第1の比較例と表記する。
一般に、移動対象の物体が重いほど、移動の開始から移動の完了までに要する時間が長い。また、移動完了後には、移動対象の物体は、慣性に起因して振動する。慣性に起因した振動が十分に減衰するまでに要する時間は、移動対象の物体が重いほど長い。よって、撮像対象部位1101単位の撮像の時間間隔を短縮するためには、視野位置の移動のために移動せしめられる物体は、できるだけ軽量であることが望まれる。
実施形態では、時間相関カメラ110ではなく、ミラー141の制御によって視野位置の移動が実施される。ミラー141は、時間相関カメラ110よりも軽量である。これによって、実施形態によれば、視野位置の移動に要する時間を、比較例1に比べて短縮することができる。つまり、比較例1に比べてタクトタイムを短縮することが可能である。
実施形態と比較される別の技術として、光学系210として広角レンズを用いたり、時間相関カメラ110の光軸上に視野範囲を拡大するための光学系部品を配置したりすることによって、1回の撮像で撮像可能な範囲を拡大することが考えられる。この方法を、第2の比較例と表記する。
第2の比較例によれば、視野範囲が拡大されることから、イメージセンサ220の各画素に対応した被写体の範囲が拡大される。これによって、得られる画像(強度画像、時間相関画像)の分解能が低下し、精密な欠陥検査が困難になる。
また、得られる画像の分解能の低下を抑制するために、画素数が多いイメージセンサ220を採用することが考えられる。画素数が多いイメージセンサ220を採用すると、得られる画像を高解像度化することができるが、コストの点で不利となる。
実施形態では、時間相関カメラ110の視野範囲を拡大するのではなく、ミラー141の角度の制御によって撮像毎に視野位置を移動させることで、広範囲の撮像を行う。よって、第2の比較例に比べて、安価なシステムで、精密な欠陥検査を行うことができる。
なお、使用される可動ミラー装置140の個数は、2に限定されない。1または3以上の可動ミラー装置140が使用され得る。
また、前述したように、可動ミラー装置140は、ガルバノミラーに限定されない。可動ミラー装置140は、ミラー141として多面体の形状のミラーを備えたポリゴンミラーによって構成されてもよい。ポリゴンミラーが可動ミラー装置140として適用された場合、ポリゴンミラーの回転方向に対応した方向の一端をスタート位置として他端まで順番に視野位置を移動させた後、視野位置をスタート位置まで速やかに戻すことが可能である。
図1に説明を戻す。画像生成部105は、時間相関カメラ110による撮像を制御するとともに、当該撮像の結果として時間相関カメラ110から入力される、強度画像データや時間相関画像データなどといった画像データに基づいて、検査に用いる検査画像として、振幅画像、位相画像、および強度画像を生成する。前述したように、振幅画像とは、画素毎に入る光と参照信号との演算結果による振幅を表した画像であり、位相画像とは、画素毎に入る光と参照信号との演算結果による位相を表した画像であり、強度画像とは、画素毎に入る光の強度を表した画像である。
なお、画像生成部105は、振幅成分と位相成分とに分かれた極形式の複素数で示される時間相関画像データ(複素時間相関画像データと称されうる)を時間相関カメラ110から受け取ってもよいし、実部と虚部とに分かれた複素数で示される2種類の時間相関画像データを、時間相関カメラ110から受け取ってもよい。
実施形態は、振幅画像の算出手法を制限するものではないが、たとえば、画像生成部105は、2種類の時間相関画像データの画素値C1(x,y)およびC2(x,y)から、以下に示す式(9)を用いて、振幅画像の各画素値F(x,y)を導き出すことが可能である。
Figure 2021012042
また、画像生成部105は、画素値C1(x,y)およびC2(x,y)から、以下に示す式(10)を用いて、位相画像の各画素値P(x,y)を導き出すことが可能である。
Figure 2021012042
なお、実施形態では、振幅の情報と位相の情報との両方を含んだ複素時間相関画像を生成することも可能である。複素時間相関画像は、たとえば、振幅の情報が明るさで表され、位相の情報が色で表されたカラー画像として生成されうる。
また、画像生成部105が時間相関カメラ110から入力される強度画像データに基づいて強度画像を生成することも可能であることは言うまでもないため、ここでは、強度画像の各画素値の導出方法についての説明を省略する。
異常検出部106は、画像生成部105によって生成された振幅画像、位相画像、および強度画像のうちの任意の画像に基づいて、被検査体180の表面の異常と推定される領域を検出する。
一例では、異常検出部106は、ウィーナフィルタやガウシアンフィルタを適用した振幅画像または位相画像と、これらのフィルタを適用する前の画像と、の差分によって、光の振幅の変化や、光の位相の変化を検出することで、被検査体180における、異常が存在する可能性がある領域を特定することができる。
別の例では、異常検出部106は、被検査体180間で振幅画像または位相画像を比較することによって、光の振幅の変化や、光の位相の変化を検出することで、個々の被検査体180における、異常が存在する可能性がある領域を特定することができる。
なお、実施形態は、異常検出部106による異常の検出方法を限定するものではない。異常検出部106は、画像生成部105によって生成された画像に基づく任意の方法で異常の検出を実施することができる。
次に、実施形態にかかる撮像システムが適用された検査システムの動作について説明する。図12は、実施形態にかかる撮像システムが適用された検査システムが搬送装置170によって搬送されている各被検査体180の検査を行う際に実行する一連の動作の一例を示したフローチャートである。
図12に示されるように、実施形態のPC100は、まず、照明装置120に対して、各被検査体180を検査するための縞パターンを照明装置120に出力する(S1201)。照明装置120は、照明制御部102から受信した縞パターンを、時間遷移に従って変化するように表示する(S1231)。
図13は、実施形態にかかる縞パターンの出力方法の一例を示したフローチャートである。本図に示されるように、まず、取得部101は、エンコーダ171の出力および参照信号を取得する(S1301)。そして、照明制御部102は、エンコーダ171の出力に基づいて、各被検査体180の搬送速度を演算する(S1302)。そして、照明制御部102は、演算によって得られた搬送速度と、参照信号とに基づいて、移動する縞パターンを生成する(S1303)。S1303では、たとえば、式(8)によって表されるような縞パターンを生成する。S1303の後、照明制御部102は、生成した縞パターンを照明装置120に出力する(S1304)。縞パターンの出力は、検査が完了するまで継続される。
なお、S1301からS1304までの処理は、所定の周期で繰り返し実施されてもよい。これによって、搬送装置170による搬送速度が途中で変化するような場合であっても、照明制御部102は、縞パターンの位相の進み量または遅れ量を搬送速度の変化に応じて調整することができる。
図12に説明を戻す。S1201の後、PC100は、搬送路172上を搬送される複数の被検査体180のうちの1つ(対象の被検査体180と表記)に応じた支持体150の位置制御を開始する(S1202)。つまり、対象の被検査体180の複数の撮像対象部位1101のうちの1つに時間相関カメラ110の視野位置が追従するように、支持体150の移動を開始する。
図14は、実施形態にかかる支持体150の移動の制御方法の一例を示したフローチャートである。まず、取得部101は、エンコーダ171の出力を取得する(S1401)。ロボット制御部103は、取得されたエンコーダ171の出力に基づき、対象の被検査体180と時間相関カメラ110との間の位置関係を予め設定された位置関係に維持するための支持体150の移動量を演算する(S1402)。予め設定された位置関係は、例えば、ミラー141の制御によって対象の被検査体180に設定された複数の撮像対象部位の撮像が可能な位置関係である。移動量の演算後、ロボット制御部103は、当該移動量を多関節ロボット160に出力する(S1403)。
多関節ロボット160では、多関節ロボット160に内蔵される不図示のコントローラが、ロボット制御部103から受信した移動量に基づき、各関節の角度変位量を演算する。そして、コントローラは、各関節を駆動する不図示のモータに角度変位量を供給することによって、支持体150の移動を実現する。
S1401からS1403までの処理は、所定のサンプリング間隔で繰り返し実行される。これによって、支持体150は、対象の被検査体180が搬送される方向と同じ方向に、対象の被検査体180の搬送速度と同じ速度で移動せしめられる。
再び図12に説明を戻す。S1202の後、PC100のミラー制御部104は、駆動部142を制御することによって各ミラー141の角度を調整し、時間相関カメラ110の視野位置を対象の被検査体180に設定された複数の撮像対象部位1101のうちの1つに合わせる(S1203)。そして、PC100の画像生成部105は、時間相関カメラ110に対して、撮像開始指示を送信する(S1204)。
時間相関カメラ110は、送信されてきた撮像開始指示に従って、対象の被検査体180のうちの視野位置の領域について撮像を開始する(S1221)。そして、時間相関カメラ110の制御部240は、強度画像データと、時間相関画像データと、を生成する(S1222)。そして、時間相関カメラ110の制御部240は、強度画像データと、時間相関画像データと、を、PC100に出力する(S1223)。
PC100の画像生成部105は、強度画像データと、時間相関画像データと、を受け取る(S1205)。そして、画像生成部105は、受け取った強度画像データおよび時間相関画像データから、振幅画像、位相画像、および強度画像を生成する(S1206)。
そして、異常検出部106は、振幅画像、位相画像、および強度画像に基づき、異常を検出する異常検出処理を実行する(S1207)。異常検出処理の結果、つまり異常が検出されたか否かは、PC100内の所定の記憶領域に記録される。異常検出部106は、異常検出処理の結果を、不図示のディスプレイ装置に表示したり、不図示の音声案内装置から音声案内を出力したりするなどによって、外部に通知してもよい。
続いて、PC100は、対象の被検査体180の検査が完了したか否かを判定する(S1208)。
対象の被検査体180の検査が完了したか否かを判定は、任意の方法で実施され得る。一例では、対象の被検査体180に設定された全ての撮像対象部位1101について異常検出処理が完了した場合、対象の被検査体180の検査が完了したと判定される。異常検出処理が実施されていない撮像対象部位1101が残っている場合、対象の被検査体180の検査が完了していないと判定される。
対象の被検査体180の検査が完了していないと判定された場合(S1208:No)、対象の被検査体180に設定された複数の撮像対象部位1101のうちの、まだ撮像が実施されていない別の部位に時間相関カメラ110の視野位置を位置決めするために、S1203に制御が移行して、各ミラー141の調整が実施される。そして、当該部位に対して、S1203〜S1207の処理が実施される。
対象の被検査体180の検査が完了したと判定された場合(S1208:Yes)、PC100は、検査を終了するか否かを判定する(S1209)。検査を終了しないと判定された場合(S1209:No)、PC100は、現在の対象の被検査体180に後続して搬送されてくる被検査体180を次の検査の対象(対象の被検査体180)として設定する(S1210)。そして、新しく対象の被検査体180として設定された被検査体180に時間相関カメラ110の視野位置を追従させるべく、制御がS1202に移行する。
一方、検査を終了すると判定された場合(S1209:Yes)、PC100は、終了指示を時間相関カメラ110に対して出力し(S1211)、処理を終了する。
時間相関カメラ110は、終了指示を受け付けたか否かを判定する(S1224)。終了指示を受け付けていない場合(S1224:No)、再びステップS1221から処理を行う。一方、終了指示を受け付けた場合(S1224:Yes)、処理を終了する。
なお、照明装置120の終了処理は、検査者が行ってもよいし、他の構成からの指示に従って終了してもよい。
以上のような処理に従って、実施形態にかかる撮像システムが適用された検査システムによる被検査体の検査が実行される。
以上述べたように、実施形態によれば、照明装置120およびスクリーン130は、明領域と暗領域とが周期的に配置されたパターンの移動によって光の強度の周期的な時間変化および空間変化を搬送路172上を搬送される被検査体180に対して与える。時間相関カメラ110は、被検査体180の撮像対象部位からの光強度信号を検出して、光強度信号と周期的に変化する参照信号との相関を示す画像データを生成する。照明制御部102は、時間遷移に応じたパターンの変化を、参照信号と、被検査体180の搬送速度に応じて制御する。
これよって、実施形態にかかる撮像システムは、被検査体180が搬送路172上を搬送されている状態で、異常の検出に供することが可能な時間相関画像を撮像することができる。
具体的には、照明制御部102は、参照信号と、被検査体180の搬送速度と、に基づき、イメージセンサ220によって検出される光強度信号の時間変化を参照信号に同期させる。
これによって、時間相関画像の各画素には、少なくともパターン1周期分の光の強度信号に関する情報が埋め込むことが可能となるので、撮像システムによって得られる時間相関画像は、異常の検出に利用することが可能となる。
また、実施形態によれば、時間相関カメラ110の光軸を対象の被検査体180の撮像対象部位に向けて偏向させる可動ミラー装置140と、対象の被検査体180の搬送に応じて時間相関カメラ110および可動ミラー装置140を移動させる移動機構である多関節ロボット160と、を備えている。
これによって、時間相関カメラ110の視野位置を撮像対象部位に追従させることができるので、実施形態にかかる撮像システムは、異常の検出に供することが可能な時間相関画像を、被検査体180が搬送路172上を搬送されている状態で撮像することができる。
また、各被検査体180に複数の撮像対象部位1101が設定されており、1回の撮像が完了する毎に、駆動部142が、ミラー制御部104による制御に基づいてミラー141の角度を変化させることによって、時間相関カメラ110の視野位置がすでに撮像が完了した撮像対象部位1101とは別の撮像対象部位1101に移動される。
これによって、撮像システムのコストや時間相関画像の分解能を犠牲にすることなく広範囲の撮像を行うことが可能となる。
なお、各被検査体180に設定される撮像対象部位1101の数は複数に限定されない。例えば、各被検査体180の大きさが時間相関カメラ110の視野範囲に収まる場合や、検査範囲の面積が小さい場合などにおいては、各被検査体180に1つの撮像対象部位1101のみが設定されてもよい。その場合、撮像システムは、駆動部142を省略した構成を有してもよい。つまり、支持体150には、可動ミラー装置140に代えて、角度が固定されたミラーが支持されていてもよい。
また、上記では、取得部101は、参照信号を時間相関カメラ110から取得する、として説明した。取得部101は、参照信号を必ずしも時間相関カメラ110から取得しなくてもよい。
例えば、照明制御部102は、DDS(Direct Digital Synthesizer)によって構成される。具体的には、照明制御部102は、PC100のメモリなどに縞パターンが予め保存され、当該メモリを参照するアドレスを所定のクロックごとにカウントアップすることで参照信号と同一の各周波数で変化する信号を得ることができるように構成される。そして、照明制御部102は、1回のカウントアップによるアドレスの増分をエンコーダ171からの信号に応じて調整することで、時間遷移に応じたパターンの変化の、参照信号と、被検査体180の搬送速度に応じた制御を実施することができる。つまり、照明制御部102は、時間相関カメラ110から参照信号を取得しなくても、時間遷移に応じたパターンの変化を、参照信号と、被検査体180の搬送速度に応じて制御することが可能である。なお、照明制御部102は、アドレスのカウントアップのためのクロック信号を時間相関カメラ110から取得するように構成されてもよい。
次に、いくつかの変形例について説明する。
<第1変形例>
上述した実施形態では、照明装置120、スクリーン130、可動ミラー装置140、および時間相関カメラ110のうちの、時間相関カメラ110および可動ミラー装置140のみが移動の対象とされた。移動の対象の設定例は、上述した例だけに限定されない。
例えば、照明装置120、スクリーン130、可動ミラー装置140、および時間相関カメラ110のうちの、可動ミラー装置140のみを移動の対象とすることが考えられる。
図15は、第1変形例にかかる、被検査体180の搬送速度と、時間相関カメラ110の位置と、ミラー141の移動速度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。
第1変形例においては、多関節ロボット160が移動させることができる支持体150には、可動ミラー装置140が支持される。そして、時間相関カメラ110は、検査システムの設置環境に固定される。時間相関カメラ110は、光軸の向きが被検査体180の搬送方向と平行になるように設置されている。
支持体150は、可動ミラー装置140のミラー141が当該光軸を対象の被検査体180に向かって偏向させることができるように、多関節ロボット160によって、被検査体180の搬送の方向に沿って移動せしめられる。
つまり、ロボット制御部103は、可動ミラー装置140が、対象の被検査体180の搬送速度と同じ速度で対象の被検査体180の搬送方向と同じ方向に移動するように、多関節ロボット160を制御する。これによって、対象の被検査体180とミラー141との位置関係が一定に維持される。
また、照明装置120およびスクリーン130は、検査システムの設置環境に固定されている。よって、図9に示される例と同様に、対象の被検査体180の各位置に照射される光に位相の進みまたは遅れが生じる。
そこで、照明制御部102は、たとえば、式(8)によって表される縞パターンを出力する。即ち、照明制御部102は、縞パターンの位相を搬送速度vに応じた値kvtだけ調整することで、被検査体180と、照明装置120などとの間の相対移動に起因する被検査体180の各位置での光の位相のズレを補償する。これによって、イメージセンサ220の各画素に入力される光強度信号の変化を参照信号に同期させる。
このように、移動機構である多関節ロボット160が、可動ミラー装置140を対象の被検査体180の搬送に応じて移動させることによっても、時間相関カメラ110の視野位置を撮像対象部位に追従させることが可能である。
なお、第1変形例においても、撮像システムは、駆動部142を省略した構成を有してもよい。つまり、支持体150には、可動ミラー装置140に代えて、角度が固定されたミラー141が支持されていてもよい。
また、撮像システムを可動ミラー装置140を備える構成とした場合、1回の撮像が完了する毎に、駆動部142は、ミラー141の角度を変化させることによって、時間相関カメラ110の視野位置を、すでに撮像が完了した撮像対象部位1101とは別の撮像対象部位1101に移動させてもよい。
これによって、撮像システムのコストや時間相関画像の分解能を犠牲にすることなく広範囲の撮像を行うことが可能となる。
<第2変形例>
撮像システムから可動ミラー装置140を廃し、移動機構である多関節ロボット160は、時間相関カメラ110を対象の被検査体180の搬送に応じて移動してもよい。
図16は、第2変形例にかかる、被検査体180の搬送速度と、時間相関カメラ110の移動速度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。
第2変形例においては、多関節ロボット160の先端に時間相関カメラ110が支持されている。ロボット制御部103は、時間相関カメラ110の光軸が、対象の被検査体180の撮像対象部位に直接に向くように、多関節ロボット160の姿勢を制御する。
また、ロボット制御部103は、多関節ロボット160を制御して、対象の被検査体180の搬送速度と同じ速度で対象の被検査体180の搬送方向と同じ方向に移動させる。これによって、時間相関カメラ110の視野位置を対象の被検査体180の撮像対象部位に追従させることが可能である。
照明装置120およびスクリーン130は、検査システムの設置環境に固定されている。よって、図9に示される例と同様に、対象の被検査体180の各位置に照射される光に位相の進みまたは遅れが生じる。
そこで、第2変形例においても、照明制御部102は、たとえば、式(8)によって表される縞パターンを出力する。即ち、照明制御部102は、縞パターンの位相を搬送速度vに応じた値kvtだけ調整することで、被検査体180と、照明装置120などとの間の相対移動に起因する被検査体180の各位置での光の位相のズレを補償する。これによって、イメージセンサ220の各画素に入力される光強度信号の変化を参照信号に同期させる。
このように、移動機構である多関節ロボット160が、時間相関カメラ110を対象の被検査体180の搬送に応じて移動させてもよい。
<第3変形例>
上述した何れの例においても、時間相関カメラ110の視野位置を対象の被検査体180の撮像対象部位に追従させるために、撮像システムは、移動機構の一例である多関節ロボット160を備えた構成を有している。時間相関カメラ110の視野位置を対象の被検査体180の撮像対象部位に追従させるための方法は、移動機構を用いた方法だけに限定されない。第3変形例では、ミラー141の角度の制御によって時間相関カメラ110の視野位置を対象の被検査体180の撮像対象部位に追従させる構成について説明する。
図17は、第3変形例にかかる、被検査体180の搬送速度と、ミラー141の角度と、縞パターンの時間遷移に応じた変化と、の間の関係の一例を説明するための模式的な図である。
第3変形例では、撮像システムは、移動機構である多関節ロボット160を有さない。可動ミラー装置140および時間相関カメラ110は、検査システムの設置環境に固定されている。
ミラー141は、他の例と同じく、時間相関カメラ110の光軸上に配置されている。そして、ミラー制御部104は、駆動部142を駆動することによって、時間相関カメラ110の視野位置が搬送路172上を搬送される対象の被検査体180の撮像対象部位に追従するように、少なくとも当該撮像対象部位の撮像が完了するまでの間、ミラー141の角度を変化させ続ける。換言すると、駆動部142は、ミラー141の角度を変化させることによって、少なくとも被検査体180の撮像対象部位の撮像が完了するまでの期間、時間相関カメラ110の光軸を撮像対象部位に追従させる。
また、可動ミラー装置140および時間相関カメラ110だけでなく、照明装置120およびスクリーン130も、検査システムの設置環境に固定される。したがって、対象の被検査体180は、照明装置120およびスクリーン130に対して相対移動するとともに、可動ミラー装置140および時間相関カメラ110に対しても相対移動することになる。
これによって、対象の被検査体180の各位置において、照射される光に位相の進みまたは遅れが生じるとともに、対象の被検査体180の各位置からイメージセンサ220に入力される光の位相にも進みまたは遅れが生じる。つまり、位相の進み量または遅れ量は、実施形態、第1変形例、および第2変形例の場合の位相の進み量または遅れ量の倍となる。
そこで、第3変形例では、照明制御部102は、たとえば、下記の式(11)によって表される縞パターンを出力する。
S(x,t)=A(1+cos(ωt+k(2vt+x))) …(11)
即ち、照明制御部102は、縞パターンの位相を、実施形態、第1変形例、および第2変形例の場合における調整量の倍である2kvtだけ調整する。これによって、被検査体180と照明装置120などとの間の相対移動と、被検査体180と時間相関カメラ110などとの間の相対移動と、に起因するイメージセンサ220の各画素での光の位相のズレを補償する。その結果、イメージセンサ220の各画素に入力される光強度信号の変化を参照信号に同期させることができる。
このように、移動機構を廃して、駆動部142が、対象の被検査体180の搬送に応じてミラー141の角度を変化させることによって時間相関カメラ110の撮像位置を対象の被検査体180の撮像対象部位に追従させるように撮像システムを構成することも可能である。
なお、第3変形例においても、ミラー制御部104は、駆動部142を制御することによって、1回の撮像が完了する毎に、ミラー141の角度を変化させて、時間相関カメラ110の視野位置を、すでに撮像が完了した撮像対象部位1101とは別の撮像対象部位1101に移動されてもよい。
これによって、撮像システムのコストや時間相関画像の分解能を犠牲にすることなく広範囲の撮像を行うことが可能となる。
<第4変形例>
上述した実施形態では、x方向に縞パターンを動かして、被検査体の異常(欠陥)を検出する例について説明した。しかしながら、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合がある。そこで、第4変形例として、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替える例について説明する。
第4変形例の照明制御部102は、所定の時間間隔毎に、照明装置120に出力する縞パターンを切り替える。これにより、照明装置120は、一つの検査対象面に対して、異なる方向に延びた複数の縞パターンを出力する。
図18は、第4変形例の照明制御部102が出力する縞パターンの切り替え例を示した図である。図18の(A)に示されるように、第4変形例において、照明制御部102は、まず、照明装置120が表示する縞パターンをx方向に遷移させる。その後、図18の(B)に示されるように、照明制御部102は、照明装置120が表示する縞パターンをy方向に遷移させる。
そして、PC100は、図18の(A)の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行い、図18の(B)の縞パターン照射から得られた時間相関画像データに基づいて、異常検出を行う。
図19は、第4変形例の照明制御部102が、異常(欠陥)1901を含んだ表面に縞パターンを照射した例を示した図である。図19に示される例では、異常(欠陥)1901が、x方向に延びている。この場合、照明制御部102は、x方向に交差するy方向、換言すれば異常(欠陥)1901の長手方向に交差する方向に縞パターンが移動するように設定する。当該設定により、検出精度を向上させることができる。
図20は、図20においてy方向に縞パターンを変化させた場合における、異常(欠陥)1901とスクリーン130上の縞パターンとの関係を示した図である。なお、図20において、y方向は、異常(欠陥)1901の長手方向に直交する方向に対応する。図20に示されるように、y方向に幅が狭く、且つ当該y方向に交差するx方向を長手方向とする異常(欠陥)1901が生じている場合、照明装置120から照射された光は、x方向に交差するy方向で光の振幅の打ち消しが大きくなる。このため、PC100では、y方向に移動させた縞パターンに対応する振幅画像データから、当該異常(欠陥)1901を検出できる。
第4変形例の撮像システムにおいて、被検査体に生じる欠陥の長手方向がランダムな場合には、複数方向(例えば、x方向、および当該x方向に交差するy方向等)で縞パターンを表示することで、欠陥の形状を問わずに当該欠陥の検出が可能となり、異常(欠陥)の検出精度を向上させることができる。また、異常の形状に合わせた縞パターンを投影することで、異常の検出精度を向上させることができる。
上述した第4変形例は、実施形態、および第1〜第3変形例の何れにも適用することができる。第4変形例を実施形態、および第1〜第3変形例の何れかに適用する場合、照明制御部102は、被検査体180の各位置からイメージセンサ220の各画素に入力される光強度信号の変化が参照信号に同期するように、各方向の縞パターンの時間遷移に応じた変化を、参照信号と、被検査体180の搬送速度と、に基づいて制御する。
<第5変形例>
さらに、実施形態の技術は、上述した第4変形例のような、x方向の異常検出と、y方向の異常検出と、を行うために縞パターンを切り替える技術に制限されるものでない。そこで、第5変形例として、照明制御部102が照明装置120に出力する縞パターンをx方向およびy方向に同時に動かす例について説明する。
図21は、第5変形例の照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図21に示される例では、照明制御部102が縞パターンを方向2001に移動させる。
図21に示される縞パターンは、x方向では1周期2102の縞パターンを含み、y方向では1周期2103の縞パターンを含んでいる。つまり、図21に示される縞パターンは、幅が異なる交差する方向に延びた複数の縞を有している。ここで、第5変形例では、x方向の縞パターンの幅と、y方向の縞パターンの幅と、を異ならせる必要がある。これにより、x方向に対応する時間相関画像データと、y方向に対応する時間相関画像データと、を生成する際に、対応する参照信号を異ならせることができる。なお、縞パターンによる光の強度の変化の周期(周波数)が変化すればよいので、縞の幅を変化させるのに変えて、縞パターン(縞)の移動速度を変化させてもよい。
そして、時間相関カメラ110が、x方向の縞パターンに対応する参照信号に基づいて、x方向の縞パターンに対応する時間相関画像データを生成し、y方向の縞パターンに対応する参照信号に基づいて、y方向の縞パターンに対応する時間相関画像データを生成する。そして、PC100は、x方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行った後、y方向の縞パターンに対応する時間相関画像データに基づいて、異常検出を行う。これにより、第5変形例では、欠陥の生じた方向を問わずに検出が可能となり、異常(欠陥)の検出精度を向上させることができる。
上述した第5変形例は、実施形態、および第1〜第3変形例の何れにも適用することができる。第5変形例を実施形態、および第1〜第3変形例の何れかに適用する場合、照明制御部102は、被検査体180の各位置からイメージセンサ220の各画素に入力される光強度信号の変化が参照信号に同期するように、各方向の縞パターンの時間遷移に応じた変化を、対応する参照信号と、被検査体180の搬送速度と、に基づいて制御する。
上述した実施形態および第1〜第5変形例のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した実施形態および第1〜第5変形例のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態のPC100で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
以上、本発明の実施形態およびいくつかの変形例を説明したが、これらの実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…PC、101…取得部、102…照明制御部、103…ロボット制御部、104…ミラー制御部、105…画像生成部、106…異常検出部、110…時間相関カメラ(撮像部)、120…照明装置、130…スクリーン、140…可動ミラー装置、141…ミラー、142…駆動部、150…支持体、160…多関節ロボット(移動機構)、170…搬送装置、171…エンコーダ、172…搬送路、180…被検査体、210…光学系、220…イメージセンサ、230…データバッファ、240…制御部、241…転送部、242…読出部、243…強度画像用重畳部、244…相関画像用重畳部、245…第1の乗算器、246…第1の相関画像用重畳部、247…第2の乗算器、248…第2の相関画像用重畳部、249…画像出力部、260…参照信号出力部、1101…撮像対象部位。

Claims (8)

  1. 明領域と暗領域とが周期的に配置されたパターンの移動によって光の強度の周期的な時間変化および空間変化を搬送路上を搬送される被検査体に対して与える面的な照明部と、
    前記被検査体の撮像対象部位からの光強度信号を検出して、前記光強度信号と周期的に変化する参照信号との相関を示す画像データを生成する撮像部と、
    前記パターンの移動を、前記参照信号と、前記被検査体の搬送速度と、に応じて制御する照明制御部と、
    を備えた撮像システム。
  2. 前記照明制御部は、前記参照信号と、前記被検査体の搬送速度と、に基づき、前記撮像部によって検出される前記光強度信号の時間変化を前記参照信号に同期させる、
    請求項1に記載の撮像システム。
  3. 前記被検査体の搬送に応じて前記撮像部を移動させる移動機構をさらに備える、
    請求項1または2に記載の撮像システム。
  4. 前記撮像部の光軸を前記被検査体の撮像対象部位に向けて偏向させるミラーと、
    前記被検査体の搬送に応じて前記撮像部と前記ミラーとを移動させる移動機構と、
    をさらに備える、
    請求項1または2に記載の撮像システム。
  5. 前記撮像部の光軸を前記被検査体の撮像対象部位に向けて偏向させるミラーと、
    前記被検査体の搬送に応じて前記ミラーを移動させる移動機構と、
    をさらに備える、
    請求項1または2に記載の撮像システム。
  6. 前記撮像対象部位の撮像が完了すると前記ミラーの角度を変化させることによって前記光軸を前記被検査体の別の撮像対象部位に向ける駆動部をさらに備える、
    請求項4または5に記載の撮像システム。
  7. 前記撮像部の光軸上に設けられたミラーと、
    前記被検査体の搬送に応じて前記ミラーの角度を変化させることによって、少なくとも前記被検査体の撮像対象部位の撮像が完了するまでの期間、前記光軸の向きを前記撮像対象部位に追従させる駆動部と、
    さらに備える、
    請求項1に記載の撮像システム。
  8. 前記駆動部は、前記撮像対象部位の撮像が完了した後、前記ミラーの角度を変化させることによって前記光軸の向きを前記被検査体の別の撮像対象部位に向ける、
    請求項7に記載の撮像システム。
JP2019124826A 2019-07-03 2019-07-03 撮像システム Pending JP2021012042A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019124826A JP2021012042A (ja) 2019-07-03 2019-07-03 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019124826A JP2021012042A (ja) 2019-07-03 2019-07-03 撮像システム

Publications (1)

Publication Number Publication Date
JP2021012042A true JP2021012042A (ja) 2021-02-04

Family

ID=74227523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124826A Pending JP2021012042A (ja) 2019-07-03 2019-07-03 撮像システム

Country Status (1)

Country Link
JP (1) JP2021012042A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241518A1 (ja) 2020-05-29 2021-12-02 富士フイルム株式会社 機上現像型平版印刷版原版、平版印刷版の作製方法、及び平版印刷方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241518A1 (ja) 2020-05-29 2021-12-02 富士フイルム株式会社 機上現像型平版印刷版原版、平版印刷版の作製方法、及び平版印刷方法

Similar Documents

Publication Publication Date Title
US10724960B2 (en) Inspection system and inspection method
KR20190116318A (ko) 스페클-감소 레이저 라인 생성을 위한 시스템 및 방법
JP5443303B2 (ja) 外観検査装置及び外観検査方法
TWI407075B (zh) 量測立體物件之系統
JP2017110991A (ja) 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
US20150324991A1 (en) Method for capturing images of a preferably structured surface of an object and device for image capture
JP6800463B2 (ja) 検査システムおよび検査方法
JP2016224707A (ja) 検査システム
JP2011043504A (ja) 対象物の表面を光学検査するための装置および方法
JP6682251B2 (ja) 検査システム、及び検査方法
JP2021012042A (ja) 撮像システム
JP6529248B2 (ja) 検査システムおよびフレキシブル照明装置
JP6420131B2 (ja) 検査システム、及び検査方法
JP2018009849A (ja) 検査システムおよび検査方法
JP2019002761A (ja) 検査システムおよび検査方法
JP6781430B2 (ja) 検査システム
JP6386954B2 (ja) 表面形状測定装置及び表面形状測定方法
JP6909378B2 (ja) 検査システム
JP2001117010A (ja) 光学装置
JP2021127999A (ja) 検査システムおよび検査方法
JP2016080517A (ja) 表面検査装置
JP6909377B2 (ja) 検査システムおよび検査方法
JP2024017231A (ja) 検査システムおよび検査方法
JPWO2018179829A1 (ja) 移動体撮像装置及び移動体撮像方法
WO2021250956A1 (ja) 検査システムおよび検査方法