以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(目的)
本発明の実施形態に係る表面欠陥検査装置及び表面欠陥検査方法を説明するに先立ち、本発明の目的とするところについて、まず簡単に説明する。
先に説明したような、幅の広い鋼板を高分解能の画像を利用して検査することが困難であるという問題を解決するために、本発明者らが鋭意検討を行った結果、複数の遅延積分型リニアラインセンサを利用して高分解能な光切断画像を撮影することで実現可能であることに想到した。しかしながら、かかる構成を実現するためには、線状のレーザ光源及び遅延積分型リニアラインセンサの配置方法を検討することが必要となる。
例えば、通常のCCDカメラを複数台使用する疵検査装置のように、照明装置1台に対して複数台の撮像装置をもうける場合、つまり、線状レーザ光源1台で、複数の遅延積分型リニアセンサ複数台を鋼板板幅方向に沿って配置した場合を考える。かかる構成を採用する場合には、以下のような問題が生じることとなる。
すなわち、線状レーザ光源は扇状に広げられた板状光線を照射しているので、照射領域を広げるために鋼板と光源との距離を大きくする必要があり、鋼板に照射される光量が不足するといった問題がある。また、照射されるレーザ光線が発散して、撮影画素サイズよりも太くなれば、レーザ線が形成する縞がぼけることとなり、高分解能な画像を撮影することができないといった問題がある。
他方、遅延積分型リニアセンサ1台と線状レーザ光源1台をそれぞれ1組の撮像ユニットとし、複数の撮像ユニットを鋼板幅に沿って一列に配置した場合を考える。かかる場合には、隣接した撮像ユニットに悪影響を与えないように、各々の線状レーザの照射位置を正確に合わせる必要や、線状レーザの変調の同期を一致させる必要があるために、現場での調整に時間を要し、また、メンテナンス費用や設備費が高くなるといった問題がある。
また、線状レーザ光源は、通常、点状レーザ光源から照射したスポット光をロッドレンズやシリンドリカルレンズ等で線状に形成することで実現される。しかしながら、通常入手できるレーザ光源からの光は、光線断面の光量分布が均一ではなく、照射される線状レーザの側縁部近傍では、中央部と比較して、光強度の上昇や低下といった問題や、線状幅が広がるといった問題があった。
また、線状レーザ光源と遅延積分型リニアセンサで撮像される縞画像は、ライン速度に関わらず常に一定のレートで生成されるため、画像処理の結果得られる画像の長手方向の分解能は、鋼板の搬送速度によって変化することとなる。したがって、検査する鋼板が一定の速度で搬送されないと、鋼板の搬送速度に応じて長手方向に伸びたり縮んだりした画像になってしまい、正確な疵の座標位置を得ることができないといった問題もあった。
そこで、本発明者らは、上述のような問題を解決し、幅の広い鋼板を検査する際に高分解能な画像を得ることが可能な表面欠陥検査装置及び表面欠陥検査方法を提供することを目的として、鋭意検討を行った。
その結果、幅の広い鋼板を検査する際における好適な光学系の構成を明らかにすることができ、以下で説明するような、表面欠陥検査装置及び表面欠陥検査方法に想到した。以下、図1〜図12を参照しながら、本発明の実施形態に係る表面欠陥検査装置及び表面欠陥検査方法について、詳細に説明する。
(第1の実施形態)
<表面欠陥検査装置の全体構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る表面欠陥検査装置10の全体構成について説明する。図1は、本実施形態に係る表面欠陥検査装置の構成を示した説明図である。
本実施形態に係る表面欠陥検査装置10は、搬送ライン上を搬送される鋼板1を撮像して、撮像の結果得られる画像を画像処理することにより、鋼板1の表面に表面欠陥が存在するか否かを検査する装置である。
本実施形態に係る表面欠陥検査装置10は、図1に示したように、鋼板撮像装置100と、演算処理装置200と、を備える。また、鋼板1を当該鋼板の長手方向に沿って搬送するローラ2には、ローラ2の回転速度(ひいては、鋼板1の搬送速度)を検出する速度検出器300が設置されており、速度検出器300による速度の検出結果を表す情報が、演算処理装置200に出力される。
鋼板撮像装置100は、鋼板1を順次撮像して、鋼板の長手方向の各位置における光切断画像を生成し、演算処理装置200に出力する装置である。この鋼板撮像装置100は、演算処理装置200によって、鋼板の撮像タイミング等が制御されている。
また、演算処理装置200は、鋼板撮像装置100によって生成された光切断画像を利用して後述するような縞画像を生成し、この縞画像に対して以下で説明するような画像処理を行うことで、鋼板1の表面に存在している可能性のある表面欠陥を検出する装置である。
速度検出器300は、鋼板1を搬送するために用いられるローラ2に設置されており、ローラ2の回転速度(ひいては、鋼板1の搬送速度)を検出する装置である。かかる速度検出器300の一例として、PLG(Pulse Logic Generator)を挙げることができる。PLGは、ローラ2の回転軸等に設置されており、ローラ2が回転するとパルスを出力する検出器である。したがって、出力されたパルスの個数を利用することで、ローラ2の回転速度を特定することが可能である。
本明細書における以下の説明では、速度検出器300としてPLGを利用した場合を取り上げて説明を行うが、本発明に係る速度検出器がPLGに限定されるわけではない。
[鋼板撮像装置100の構成について]
続いて、図2〜図4を参照しながら、本実施形態に係る鋼板撮像装置100の構成について、詳細に説明する。図2〜図4は、本実施形態に係る鋼板撮像装置100を示した説明図である。ここで、図2は、鋼板撮像装置100と鋼板1との位置関係を示した斜視図となっている。また、図3は、鋼板撮像装置100と鋼板1とを鋼板1の上方から見た場合の上面図であり、図4は、鋼板撮像装置100と鋼板1とを鋼板1の側面から見た場合の側面図である。
図2〜図4に示したように、本実施形態に係る鋼板撮像装置100は、レーザ光源101と、ロッドレンズ103と、遅延積分型撮像装置105と、をそれぞれ複数備える。また、図2〜図4から明らかなように、レーザ光源101及びロッドレンズ103からなるレーザ照射装置と、遅延積分型撮像装置105とは組になっており、遅延積分型撮像装置105は、対応するレーザ照射装置から照射された線状レーザ光の反射光を撮像する。
レーザ光源101は、例えば、連続的にレーザ発振を行うCWレーザ光源を用いることが可能である。レーザ光源101が発振する光の波長は、例えば、400nm〜800nm程度の可視光帯域に属する波長であることが好ましい。レーザ光源101は、後述する演算処理装置200から送出される照射タイミング制御信号に基づいて、レーザ光の発振を行う。
ロッドレンズ103は、レーザ光源101から射出されたレーザ光を、検査対象物である鋼板1の幅方向(図1の紙面に垂直な方向)に沿って扇状に広げるレンズである。これにより、レーザ光源101から射出されたレーザ光は線状レーザ光となり、鋼板1に照射されることとなる。ここで、図3に示したように、線状レーザ光の照射範囲は、図中の太線で示した範囲であるものとする。なお、本実施形態に係る鋼板撮像装置100では、レーザ光を扇状に広げることが可能なものであれば、シリンドリカルレンズやパウエルレンズ等のロッドレンズ以外のレンズを利用してもよい。
ここで、図2及び図4に示したように、レーザ光源101およびロッドレンズ103は、線状レーザ光が鋼板1に対して斜めに入射する(垂直成分入射角:θ)ように配置されている。
検査対象物である鋼板1の表面の線状レーザ光が照射された部分には、鋼板1の幅方向に沿って線状の明るい部位が形成される。また、鋼板1は、鋼板1の長手方向に沿って搬送されているため、鋼板1からみると、線状の明るい部位も鋼板1の長手方向に沿って移動していることとなる。線状の明るい部分からの反射光(線状反射像)は、遅延積分型撮像装置105まで伝播し、遅延積分型撮像装置105によって撮像される。
遅延積分型(Time Delay Integration:TDI)撮像装置の一例である遅延積分型カメラ105は、搬送されている鋼板1の線状反射像(対応するレーザ照射装置によって生成されたもの)を撮像する。TDIカメラ105は、多数の光電変換素子がマトリクス状に配置された、2次元の受光面を備える。鋼板1の線状反射像が、TDIカメラ105のレンズを介して、1列分の幅で光電変換素子に入射すると、TDIカメラ105の各光電変換素子は、それぞれで蓄積した電荷を、光電変換素子と同じ行に位置し、かつ、一つ後ろの列に位置する光電変換素子へと転送する。この転送のタイミングは、全ての光電変換素子で同一であり、演算処理装置200から送出されるカメラシフトパルス信号によって制御される。すなわち、カメラシフトパルス信号が入力するたびに、各光電変換素子は電荷を一列ごとに転送する。最終列に位置する光電変換素子は、カメラシフトパルス信号が入力されると、蓄積している電荷を読み出して、演算処理装置200に出力する。これにより、演算処理装置200には、線状反射像に対応する光切断画像が出力されることとなる。
ここで、鋼板1は、鋼板の長手方向に沿って移動しているため、レーザ光源101からレーザ光を鋼板1に照射し、TDIカメラ105を用いて鋼板1の線状反射像を一定時間撮像すると、鋼板1の長手方向の各位置における光切断画像を順次得ることができる。こうして得られた各光切断画像を縦にした状態で横方向に順に配列することにより、1台のTDIカメラ105が撮像した鋼板1の領域の全体画像を得ることができる。また、鋼板1全体の画像は、各TDIカメラ105から取得した画像を用いて生成することができる。
一般に、TDIカメラ105では、電荷が転送される途中で、各光電変換素子に光が入射すると、入射した光の強度に対応する電荷が上乗せされることとなる。しかしながら、本実施形態に係る形状測定装置10では、上述したように、光電変換素子に1列分の幅の線状反射像が入射するため、電荷の転送途中で各光電変換素子に電荷が上乗せされることは、ほとんど生じない。また、レーザ光の波長だけを透過するような光学バンドパスフィルタをTDIカメラ105の前に設けてもよい。
また、線状レーザ光は周期的に変調され、線状レーザ光の強度が時間的に変化するため、TDIカメラ105の受光面での各行において、列方向の各光電変換素子に蓄積される電荷量(すなわち、受光強度)の分布も周期的に変化することとなる。このため、TDIカメラ105から出力される各光切断画像を縦にした状態で横方向に順に配列することにより得られる画像は、画像の横方向に沿って、各光切断画像の濃度(すなわち、強度に対応)が周期的に変化する縞画像となる。
ここで、複数のレーザ光源101(ロッドレンズ103を含む。)と、複数のTDIカメラ105との配置について、図2及び図3を参照しながら説明する。
レーザ光は可干渉性を有する光であるため、複数のレーザ光源101を配置して互いのレーザ光源101から射出された光が重畳すると、重畳しているレーザ光によって干渉が生じてしまい、互いに悪影響を及ぼしあうこととなってしまう。そこで、かかる悪影響を排除するために、本実施形態に係る鋼板撮像装置100では、図2〜図4に示したように、レーザ光源101から射出されたレーザ光が互いに重畳しないように、レーザ光源101及びロッドレンズ103が設置される。ここで、各ロッドレンズ103から射出される線状レーザ光の投光角ψは、例えば60度程度に設定することができる。
また、TDIカメラ105は、対応するレーザ光源101から射出された線状レーザ光の鋼板1における線状反射光を撮像するが、図2〜図4に示したように、TDIカメラ105の撮像範囲LAは、互いに重畳しないように(すなわち、カメラの視野が重ならないように)設定される。これにより、複数のTDIカメラ105は、隣接する撮像範囲に照射されている線状レーザによる外乱を受けることなく、各々が独立した箇所を撮像することとなる。
ここで、図3を参照しながら、TDIカメラ105の撮像範囲LAの関係について、更に詳細に説明する。
各TDIカメラ105の撮像範囲LAは、図3に示したように、対応するレーザ光源101の照射範囲(図3において太線で示した範囲)よりも狭く、線状レーザ光の側端部近傍は含まれない。線状レーザ光の側端部は、線幅の広がりや輝度の低下等が生じている可能性があるため、略中央部分を撮像するとともに、かかる側端部近傍を撮像しないようにすることで、鮮明な画像を撮像することが可能となる。TDIカメラ105が撮像しない側端部近傍の領域は、例えば、線状レーザ光の側端から内側に向かって線状レーザ光の照射幅の10〜15%程度までとすることができる。この場合、TDIカメラ105の撮像範囲LAの幅方向の長さは、線状レーザ光の照射幅の70〜80%程度となる。
各TDIカメラ105の撮像範囲LAは、図3に示したように、鋼板1の搬送方向では重なり合っておらず、鋼板1の幅方向では、互いに一部が重なり合っている。すなわち、撮像範囲LAの搬送方向の長さをhとし、図3に示した撮像範囲LAのオフセット値をDとすると、D≧hとなっている。また、撮像範囲LAの幅方向の重なり代OVは、適宜設定することが可能であるが、例えば、検査対象である鋼板1の表面に発生しうる表面欠陥の大きさを予め統計処理等により明らかにしておき、統計処理の結果得られた標準的な表面欠陥を覆うことが可能な長さを、重なり代OVの長さとすることができる。かかる重なり代OVの具体例として、10mm〜20mm程度を挙げることができる。
また、複数のレーザ光源101を用いて鋼板1の幅方向を撮像するため、レーザ光源101の投光角ψを極めて大きな値にする必要がなくなり、レーザ光源101を鋼板1の近傍に設置することが可能となる。そのため、線状ビームプロファイルが劣化することを防止できる。また、線幅の広がりや輝度の低下が生じる可能性のある側端部近傍を撮像することなく、鋼板1の幅方向全体を複数のTDIカメラ105で分担して撮像することが可能となり、低出力のレーザであっても十分な輝度を得ることができる。
図5に、上述のようにして生成される縞画像の一例を示す。ここで、縞とは、濃度変化の一周期分に相当する光切断画像のことである。このような縞画像では、縦方向、すなわち縞に平行な方向が検査対象物である鋼板1の幅方向に対応し、横方向、すなわち縞に直交する方向が、検査対象物である鋼板1の長手方向に対応する。TDIカメラ105のカメラシフト周波数とレーザ光の変調周波数との比をM:1とすると、M個の光切断画像、すなわち横方向のM画素分が、一本の縞を構成することとなる。
ここで、線状レーザ光は、検査対象物である鋼板1の表面に斜めから入射する(垂直成分入射角:θ)ので、例えば鋼板1に凹部が存在すると、線状レーザ光の反射点は右方向にずれることとなる。その結果、TDIカメラ105の光電変換素子上での光切断画像の位置も、右方向すなわち列方向にずれることになる。このため、縞画像において、この凹部で反射した線状レーザ光に対応する光切断画像は、凹部以外の平坦部で反射した線状レーザ光に対応する光切断画像よりも時間的に早く出力されることになる。したがって、TDIカメラ105から出力される1次元画像を横方向に順に配列することにより得られる2次元画像において、鋼板1に存在する凹部は、縞のずれとして認識することができる。例えば、図5において、縞の曲がっている部分は、検査対象物に存在する凹部に対応している。
なお、線状レーザ光の鋼板1への垂直成分入射角θは、検査対象物の表面粗度を考慮しながら適切な値に決定する。例えば、検査対象物の表面粗度が鏡面状態であるならば、垂直成分入射角θを小さくすることで、輝度のある縞からなる縞画像を得ることができる。また、検査対象物の表面粗度が高い場合には、逆に垂直成分入射角θを大きくする。一般的な鋼板表面に適用する際には、45度とすれば、縞は十分な輝度を得ることができる。また、垂直成分入射角を45度とすることで、検査対象物である鋼板1の深さ変化量が縞の移動量と等しくなり、縞の移動量から容易に鋼板1に存在する凹部の深さに関する情報を得ることができ都合がよい。
以下に、本実施形態に係る鋼板撮像装置100の有する各装置について、その具体的な構成を列挙する。かかる構成は、あくまでも一例であって、本発明に係る鋼板撮像装置100が、以下の具体例に限定されるわけではない。
○レーザ照射装置
垂直成分入射角θ=45度、投光角ψ=60度でレーザ光を照射。鋼板1との距離=520mm、線状レーザ光の照射幅=600mm
○TDIカメラ
2048bits×96bits、各カメラの撮影領域LA=410mm×48mm(撮影分解能0.2mm×0.2mm)。鋼板幅方向の重なり代OV=16mm、TDIカメラ全体で1198mmの撮影領域
○TDIカメラのカメラシフト周波数(=18.7kHz)とレーザ光の変調周波数(=4675Hz)との比が、M:1(=4:1)の一定周期であり、TDIカメラは、鋼板の搬送速度と関係なく縞画像を撮像する。すなわち、縞画像の縦分解能は、搬送速度によって変化する。
[演算処理装置の全体構成について]
以上、鋼板撮像装置100の構成について説明した。続いて、再び図1に戻って、本実施形態に係る表面欠陥検査装置10が備える演算処理装置200の構成について、詳細に説明する。
本実施形態に係る演算処理装置200は、例えば図1に示したように、タイミング信号発生部201、画像処理部203、表示部205及び記憶部207を主に備える。
タイミング信号発生部201は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。タイミング信号発生部201は、所定の周波数ωをもつ正弦波形の信号を発生させ、発生させた正弦波形の信号を、レーザ光源101に送出する。レーザ光源101は、外部から入力される照射タイミング制御信号により、発振強度を連続的に変化させられるものであるため、タイミング信号発生部201から送出された正弦波形の信号を受信することで、正弦波形で出力が変化するレーザ光を発振することが可能となる。すなわち、タイミング信号発生部201は、発生させた正弦波形をレーザ光源101に送出することで、レーザ光源101が発するレーザ光を周期的に変調させることができる。
また、タイミング信号発生部201は、上記周波数ωのM倍の周波数をもつ矩形波形を発生させてカメラシフトパルス信号とし、発生させたカメラシフトパルス信号を、TDIカメラ105に送出する。
以上説明したように、タイミング信号発生部201は、鋼板撮像装置100に設けられたレーザ光源101及びTDIカメラ105の駆動を制御する駆動制御部であるといえる。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、鋼板撮像装置100(より詳細には、鋼板撮像装置100のTDIカメラ105)から取得した撮像データを利用して生成した縞画像に対して、速度検出器300から取得した鋼板1の搬送速度に関する情報を利用して、以下で説明するような画像処理を行い、検査対象物である鋼板1の表面に存在する欠陥を検出する。画像処理部203は、鋼板1に対応する縞画像への画像処理が終了すると、得られた鋼板1の検査結果に関する情報を、表示部205に伝送する。
画像処理部203は、鋼板撮像装置100に設けられている複数のTDIカメラ105から画像を取得して、以下で説明するような画像処理を実施するものであるが、画像処理部203には、予め、複数のTDIカメラ105がどのような順番でどの位置に設置されているか(すなわち、あるTDIカメラ105から取得した画像が、鋼板のどの位置を撮像したものであるのか)を表す情報が設定されているものとする。
なお、この画像処理部203については、以下で改めて詳細に説明する。
表示部205は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示部205は、画像処理部203から伝送された、検査対象物である鋼板1の検査結果を、演算処理装置200が備えるディスプレイ等の出力装置に表示する。これにより、表面欠陥検査装置10の利用者は、搬送されている検査対象物(鋼板1)の表面欠陥に関する検査結果を、その場で把握することが可能となる。
記憶部207は、演算処理装置200が備える記憶装置の一例である。記憶部207には、本実施形態に係る演算処理装置200が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等が、適宜記録される。この記憶部207は、タイミング信号発生部201、画像処理部203、表示部205等が、自由に読み書きを行うことが可能である。
[画像処理部について]
続いて、図6を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図6は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図6に示したように、画像生成部209と、画像伸縮処理部229と、欠陥検出処理部231と、を主に備える。
画像生成部209は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像生成部209は、鋼板撮像装置100により生成された光切断像から構成される縞画像を利用して、鋼板1の表面の凹凸状態を表す複数の形状画像を生成する。
この画像生成部209は、A/D変換部211、プレフィルタ部213、直交正弦波発生部215、ローパスフィルタ部217,219、位相算出部221、振幅算出部223、縞欠損判定部225及び位相連続化処理部227を更に備える。
A/D変換部211は、例えば、CPU、ROM、RAM等により実現される。A/D変換部211は、TDIカメラ105から出力された各光切断像をA/D変換し、デジタル多値画像データとして出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを順に配置することにより、図5に示したような縞画像が形成される。例えば、TDIカメラ105として、2048bits×96bitsのものが用いられている場合、A/D変換部211は、カメラシフト周波数タイミング信号2048パルスごとに、2048ラインの1フレームの画像として縞画像を形成する。
このような縞画像(又はデジタル多値画像データ)からは、縦方向の各位置において、横方向に沿った縞画像の濃度分布を表すデータが生成される。これら横方向に沿った縞画像の濃度分布を表すデータを、以下では、「スライス縞画像データ」と称することとする。縦方向の各位置におけるスライス縞画像データは、記憶部207等に設けられた画像メモリから順次出力される。
プレフィルタ部213は、例えば、CPU、ROM、RAM等により実現される。プレフィルタ部213は、各スライス縞画像データに所定のフィルタ処理を施すことにより、各スライス縞画像データからノイズを除去し、縞の状態を鮮明にする。なお、プレフィルタ部213によるフィルタ処理は必ずしも行わなくてもよく、例えば縞画像に細かいノイズが多数生じているような場合にのみ行うようにすればよい。
プレフィルタ部213は、スライス縞画像データに対するノイズ除去処理が終了すると、縦方向の各位置j(j=0,1,2,・・・)におけるスライス縞画像データIj(k)を出力する。ここで、k(k=0,1,2,・・・)は、横方向の位置を表すパラメータである。このとき、縦方向の位置jにおけるスライス縞画像データIj(k)は、正弦波的に変化すると仮定する。すなわち、Ij(k)は、以下に示す式101のように表されるものとする。
ここで、上記式101において、A(j,k)は、画素位置(j,k)におけるスライス縞画像データの振幅を表し、φ(j,k)は、画素位置(j,k)におけるスライス縞画像データの位相のずれを表す。
ここで、鋼板1の表面の凹みによって縞画像に発生する縞のずれの影響は、位相のずれφとして現れる。また、線状レーザ光の振幅は一定であるが、鋼板1の表面が汚れていたり、スケール疵のような模様状の疵があったりする場合には、その位置に対応する画素位置において振幅が変動することがある。このため、上記式101では、振幅Aを画素位置(j,k)に依存する形で表記している。なお、上記式101において、cosの項の次に1を加えているのは、スライス縞画像データ(濃度値)Ij(k)はマイナスにならないという条件を満たすためである。したがって、スライス縞画像データIj(k)は、0から2Aの間で変化することとなる。
直交正弦波発生部215は、例えば、CPU、ROM、RAM等により実現される。直交正弦波発生部215は、記憶部207等に予め生成されている直交する二つの基準正弦波データsin(2πk/M),cos(2πk/M)を発生する。以下では、前者の正弦波データを基準sinデータと称することとし、後者の正弦波データを基準cosデータと称することとする。
これら二種類の基準正弦波データは、それぞれ、プレフィルタ部213から出力されたスライス縞画像データIj(k)に乗算される。この乗算処理により、二つの出力Iaj(k)及びIbj(k)が生成されることとなる。Iaj(k)及びIbj(k)の詳細は、以下の式102及び式103の通りである。
ここで、上記式102で表される出力データIaj(k)は、後述するローパスフィルタ部217に入力され、上記式103で表される出力データIbj(k)は、後述するローパスフィルタ部219に入力される。
ローパスフィルタ部217,219は、例えば、CPU、ROM、RAM等により実現される。ローパスフィルタ部217,219は、上述の乗算処理で得られた出力Iaj(k),Ibj(k)について、所定のフィルタ処理を施すことにより、縞周波数成分及びその高調波成分を除去する。かかる処理により、入力されたデータIaj(k),Ibj(k)の中から、位相のずれφのみを含む成分を抽出することができる。ここで、ローパスフィルタ部217は、入力されたデータIaj(k)に対して、所定のフィルタ処理を施す処理部であり、ローパスフィルタ部219は、入力されたデータIbj(k)に対して、所定のフィルタ処理を施す処理部である。
ローパスフィルタ部217からの出力をLPF(Iaj(k))とし、ローパスフィルタ部219からの出力をLPF(Ibj(k))とすると、これらは、以下の式104及び式105のように表される。
ローパスフィルタ部217は、フィルタ処理によって得られたデータLPF(Iaj(k))を、後述する位相算出部221及び振幅算出部223に出力する。また、ローパスフィルタ部219は、フィルタ処理によって得られたデータLPF(Ibj(k))を、後述する位相算出部221及び振幅算出部223に出力する。
位相算出部221は、例えば、CPU、ROM、RAM等により実現される。位相算出部221は、ローパスフィルタ部217,219から出力された結果に基づいて、各画素位置(j,k)における位相のずれφ(j,k)を算出する。位相のずれφ(j,k)は、LPF(Iaj(k))及びLPF(Ibj(k))の値に応じて、以下の式107〜式109により算出することができる。
ここで、以下の式107は、LPF(Iaj(k))≧0の場合に位相算出部221が利用する式である。また、以下の式108は、LPF(Iaj(k))<0、かつ、LPF(Ibj(k))<0の場合に位相算出部221が利用する式である。また、以下の式109は、LPF(Iaj(k))<0、かつ、LPF(Ibj(k))≧0の場合に位相算出部221が利用する式である。
・・・(式107)
・・・(式108)
・・・(式109)
位相算出部221は、上記式107〜式109において、逆三角関数(arctan)の値域を−π/2〜+π/2とするとともに、LPF(Iaj(k)),LPF(Ibj(k))の符号についての情報を利用して、位相のずれφを−π〜+πの範囲で求めている。ここで、この範囲で求めた位相のずれを改めてφ’と表すこととする。この場合、上記式107〜式109で求めた位相のずれφ’は、鋼板1の表面の凹み(深さ)と周期的な関係があり、位相のずれφ’のある値をとるような深さは複数ある。したがって、かかる位相のずれφ’を用いたのでは、鋼板1の表面形状について正確な情報は得られない。このため、この位相のずれφ’から、鋼板1の表面の凹み(深さ)と比例関係にあるような位相のずれφを求める必要がある。深さと比例関係にある位相のずれφを得る処理は、後述する位相連続化処理部227によって行われる。
そこで、位相算出部221は、算出した位相のずれφ’に関する情報を、後述する位相連続化処理部227に出力する。なお、位相のずれφ’(j,k)を図示することで、画像を生成することができる。このような位相のずれφ’に基づいて生成される画像のことを、以下では位相画像と称することとする。位相のずれφ’(j,k)を図示する方法は、各種存在するが、例えば、位相のずれφ’が+πのときに画像が白くなり、位相のずれφ’が−πのときに画像が黒くなるような濃淡画像として図示することが可能である。
振幅算出部223は、例えば、CPU、ROM、RAM等により実現される。振幅算出部223は、ローパスフィルタ部217,219から出力された結果に基づいて、各画素位置(j,k)における振幅A(j,k)を算出する。振幅算出部223は、振幅A(j,k)を、以下の式110により算出する。
振幅算出部223は、このようにして算出した振幅Aに関する情報を、後述する縞欠損判定部225及び画像伸縮処理部229に出力する。なお、振幅A(j,k)を図示することで、画像を生成することができる。このような振幅Aに基づいて生成される画像のことを、以下では振幅画像と称することとする。振幅A(j,k)を図示する方法は、各種存在するが、例えば、振幅Aが小さいほど画像が黒くなるような濃淡画像として図示することが可能である。
また、本実施形態に係る演算処理装置200では、このようにして生成することができる振幅画像を、鋼板の表面での粗度の相違を表す画像である輝度画像として利用する。
ところで、鋼板1の表面が油で汚れているような場合には、その汚れている領域に対応する縞画像の領域は黒くつぶれてしまうことがある。このような領域では、振幅Aが小さく、隣り合う画素位置間で位相のずれφ’が急激に変化するため、該当する領域において算出した位相のずれφ’は、信頼できるものではない。このような汚れている領域では、多数のノイズが発生し、画像がザラつくこととなる。従って、このような位相画像の信頼できない領域については、検出対象から外しておくことが望ましい。
このような位相画像における信頼できない領域は、振幅画像から求めることができる。すなわち、振幅が極端に小さい領域を特定することにより、信頼できない位相領域を求めることができる。例えば、振幅画像において、位相画像の信頼できない領域に対応する領域は、他の領域に比べて黒くなるはずであり、このような振幅画像を、形状を測定対象から外すべき領域を特定するために使用することが可能である。
縞欠損判定部225は、例えば、CPU、ROM、RAM等により実現される。縞欠損判定部225は、振幅画像に基づいて、上述のような位相画像における信頼できない領域を判定する。具体的には、縞欠損判定部225は、所定の閾値を用いて振幅画像を二値化する。この閾値としては、例えば、表面の汚れ等に応じた小さな値が設定される。また、必要に応じて、二値画像に対して収縮処理等が行われる。そして、縞欠損判定部225は、こうして得られた二値画像に基づいて、当該閾値よりも値の小さな領域を判定し、その領域を、位相画像における信頼できない領域(欠損領域)として抽出する。
位相連続化処理部227は、例えば、CPU、ROM、RAM等により実現される。位相連続化処理部227は、例えば、図7に示したように、位相算出部221により算出された位相画像に基づいて、位相のずれφ’の不連続点を検出し、位相のずれφ’が滑らかに繋がるように、位相のずれφ’を補正する。
上述したように、位相算出部221で算出した位相のずれφ’の値域は、−π〜+πであるため、位相のずれφ’は、図7に示したように、−π及び+πで不連続となる。例えば、濃淡画像として表わされている位相画像において、白(又は黒)から黒(又は白)に変化している部分が、位相のずれφ’の不連続点に対応する。かかる位相画像をそのまま用いたのでは、鋼板1の表面形状を認識することは困難である。従って、位相のずれφ’の不連続点において位相のずれφ’が滑らかに繋がるように、位相のずれφ’を補正する必要がある。かかる補正(位相飛び補正)は、2πの範囲で定義された位相のずれφ’から鋼板1の表面の凹み(深さ)に比例する一義的な位相のずれφを求める処理である。
具体的には、位相連続化処理部227は、まず、位相算出部221により算出された位相画像において、縞欠損判定部225で得られた欠損領域に対応する領域をマスクする。このようなマスク処理により、マスクした領域以外の領域が、位相飛び補正の対象となる。
次に、位相連続化処理部227は、位相のずれφ’の不連続点を検出するとともに、その不連続点において位相のずれφ’を補正する。位相のずれφ’が不連続であるかどうかは、一つの画素だけを参照したとしても判断が困難であり、隣り合う画素同士を参照して判断することが好ましい。そこで、位相連続化処理部227は、位相画像の縦方向の各位置において位相画像を横方向に沿って調べ、隣り合う画素での位相のずれφ’を比較する。その隣り合う画素において位相のずれφ’が大きく異なる場合には、当該画素間で位相のずれφ’が不連続であると判断し、これらの位相のずれφ’を補正する。ここで、鋼板1の表面における深さは、急激に変化しないため、位相のずれφ’が大きく異なるのは、位相のずれφ’が±2πだけ変化しているためであると考えられる。従って、位相連続化処理部227は、位相のずれφ’がその隣接する画素での位相のずれφ’と大きく異なっている画素を調べ、それらの位相のずれφ’を滑らかに繋げていくようにすればよい。
例えば、ある画素位置では、位相のずれφ’が+πに近い値であり、その右隣りの画素位置では、位相のずれφ’が−πに近い値である場合には、位相連続化処理部227は、当該右隣りの画素位置では位相のずれφ’が+2πだけ変化していると認識する。そして、位相連続化処理部227は、当該右隣りの画素位置における位相のずれφ’に+2πを加算することにより、位相のずれφ’を補正する。また、ある画素位置では、位相のずれφ’が−πに近い値であり、その右隣りの画素位置では、位相のずれφ’が+πに近い値である場合には、位相連続化処理部227は、当該右隣りの画素位置では位相のずれφ’が−2πだけ変化していると認識する。そして、位相連続化処理部227は、当該右隣りの画素位置における位相のずれφ’に−2πを加算することにより、位相のずれφ’を補正する。
位相連続化処理部227は、以上説明したような方法で、縦方向の各位置において横方向に沿って隣り合う画素を調べ、位相のずれφ’を補正した後、横方向の各位置において縦方向に沿って隣り合う画素を調べ、同様にして、位相のずれφ’を補正する。かかる補正後の各画素位置における位相のずれは、鋼板1の表面の凹み(深さ)に比例する一義的な位相のずれφである。
次に、位相連続化処理部227は、かかる補正後の位相のずれφに基づいて、新たに位相画像を作成する。この新たな位相画像は、鋼板1の表面形状を正確に表している。この新たな位相画像のことを、以下では、形状画像と称することとする。
位相連続化処理部227は、位相のずれが補正された形状画像を、後述する画像伸縮処理部227に出力する。
画像伸縮処理部229は、例えば、CPU、ROM、RAM等により実現される。画像伸縮処理部229は、搬送ラインにおける鋼板1の搬送速度に応じて、画像生成部209により生成された形状画像及び輝度画像を伸縮させて、これらの画像の画像サイズを鋼板の搬送速度を考慮した画像サイズへと変更する。
また、画像伸縮処理部229は、タイミング信号発生部201から取得するカメラシフト周波数タイミング信号と、速度検出器300から取得した所定のパルスレートのオンラインPLG信号(以下、PLG信号とも称する。)と、をカウントするカウンタ機能も有している。なお、本実施形態では、パルスレート0.1mmのPLG信号を利用している。また、画像伸縮処理部229は、RAMや記憶部207等を利用して、上述のカメラシフト周波数タイミング信号と、PLG信号と、を記憶する。以下では、CH1という記憶領域にカメラシフト周波数タイミング信号がメモリされ、CH2という記憶領域にPLG信号がメモリされるものとする。
また、画像伸縮処理部229には、外部の装置等から、搬送ライン上を搬送されている鋼板1の先頭位置を表す溶接点信号(図示せず。)がトリガー入力されている。
画像伸縮処理部229は、鋼板の起点を撮像した時点(すなわち、溶接点信号が入力された時点)と、速度検出器300から取得した搬送速度(PLG信号)とを利用して、形状画像及び輝度画像の搬送方向の分解能が一定となるように画像サイズを変更する。搬送方向の分解能を一定とするために、画像伸縮処理部229は、鋼板の起点を撮像した時点でPLG信号のパルス数のカウントをゼロに初期化し、パルス数ゼロから所定の閾値までに対応する縞画像のラインが一つの形状画像又は輝度画像となるように、画像サイズを変更する。
以下では、図8及び図9を参照しながら、画像伸縮処理部229が実施する画像サイズの変更処理を、具体的に説明する。なお、以下の例では、形状画像を例にとって説明を行うが、輝度画像に対しても同様の処理が実施可能であることは言うまでもない。
画像伸縮処理部229は、記憶領域CH1及びCH2から得られる情報に従って、各々のTDIカメラ105で撮像される2048ラインの縞画像に対して、以下の画像処理を並列に実行する。すなわち、画像伸縮処理部229は、画像生成部209から、2048ラインの縞画像から作成される512ラインの形状画像と輝度画像の各フレームが入力される毎に、鋼板1の搬送速度変化によらず一定の縦分解能となるように伸縮処理を実施する。
より詳細には、画像伸縮処理部229は、伸縮処理を実施した形状画像(又は輝度画像)を、RAMや記憶部207等に設けられた画像処理フレームバッファに積み重ねる。ここで、画像処理フレームとは、後処理(すなわち、欠陥検出処理)において、順次、欠陥検出を行う際に用いられる、一定縦分解能に伸縮処理された画像フレームのことである。画像伸縮処理部229は、形状画像から生成される2048ラインの深さ画像処理フレームと、輝度画像から生成される2048ラインの輝度画像処理フレームとが生成され次第、生成された画像処理フレームを、後述する欠陥検出処理部231に出力する。
以下、1台のTDIカメラ105の出力データに基づく縞画像から生成される形状画像が、どのように処理されるかを具体的に説明するが、輝度画像も同時刻に同様に処理される。
図8に示した値PRは、画像処理フレーム縦サイズに相当するPLGカウント値である。他方、CH2のカウント値は、換言すれば、鋼板が搬送ライン上を搬送された距離に対応するものである。従って、画像伸縮処理部229は、CH2のカウント値とパラメータPRとの関係に着目して処理を行うことで、一つの画像フレーム内に存在する鋼板の長手方向の長さを一定とすることができる。このパラメータPRは、具体的には、形状画像処理フレームライン数(2048)×形状画像縦分解能設定値/PLGパルスレートで定義される値である。本実施形態では、TDIカメラ105により鋼板1が縦分解能0.2mmで撮像されていることから、伸縮処理実施後に得られる形状画像の形状画像縦分解能設定値を0.2mmに設定した。したがって、パラメータPRは、4096となる。
画像伸縮処理部229に溶接点信号が入力されると、画像伸縮処理部229は、RAMや記憶部207等を参照して、CH1のカウント数WPを読み取り(図8上側のグラフ)、読み取った値を、前回の読み取り値を記憶する記憶領域(以下、前回読み取り値メモリとも称する。)に記憶させる。また、画像伸縮処理部229は、WP/4ライン目を伸縮画像の起点に設定する。なお、WPを4で割っているのは、本実施形態において、カメラシフト周波数とレーザ光の変調周波数との比がM:1=4:1であるからである。
また、画像伸縮処理部229は、CH2の前回読み取り値メモリ、及び、CH2カウント数をクリアする。また、画像伸縮処理部229は、溶接点信号のかわりに、形状画像から溶接点を検出するようにしても良い。形状画像から溶接点を検出する場合には、検出した形状画像の溶接点位置のライン数をCH1の前回読み取り値メモリに記憶させると同時に、CH2の前回読み取り値メモリおよびCH2カウント数をクリアする。
ここで、図8上側のグラフに示したように、CH1のカウント値が2048に達した場合を考える。このような場合は、記憶領域CH1に格納されている画像データの大きさが、記憶領域CH1の容量に達した場合を意味している。画像伸縮処理部229は、CH1のカウント値が2048に達すると、今回読み取った値である2048から前回読み取り値WPを差し引いたCH1増分値ΔK1を算出するとともに、同様にして、CH2増分値ΔP1を算出する。同時に、画像伸縮処理部229は、CH1カウント数とCH1の前回読み取り値メモリをクリアする。
ここで、図8下側のグラフに示したCH2増分値ΔP1から算出される、PLGパルスレート×ΔP1は、鋼板1が撮像された長手方向長さに等しい。従って、CH2のカウント値が0からΔP1まで増加するまでの期間に対応する形状画像、すなわち、生成された形状画像の(CH1増分値ΔK1/4)ライン分に相当する形状画像が、鋼板1が撮像された長手方向長さと一致するように画像を伸縮処理することで、一定の縦分解能の形状画像を得ることができる。そのため、画像伸縮処理部229は、図9に示したように、(CH1増分値ΔK1/4×形状画像縦分解能設定値)から算出される値と等しくなるように「形状画像1」の縦方向を伸縮し、「伸縮画像1」を生成する。すなわち、画像伸縮処理部229は、(PLGパルスレート×ΔP1)と(CH1増分値ΔK1/4×形状画像縦分解能設定値)との比率を算出し、算出した比率に基づいて「形状画像1」の縦方向を伸縮する。その後、画像伸縮処理部229は、生成した「伸縮画像1」を、RAMや記憶部207等に設けられた画像処理フレームバッファに積み重ねる。
その後も、同様にして、CH1のカウント数とCH2のカウント数とは加算されていく。次に、図8上側のグラフに示したようにCH1のカウント数が2048に達した場合、画像伸縮処理部229は、まず、CH2のカウント数がPRに達したか否かを判断する。CH2のカウント数がPRに達していない場合には、画像処理フレームの縦サイズが所定の大きさとなるまで画像が画像処理フレームバッファに積み重ねられていないことを意味するため、画像伸縮処理部229は、CH1のカウント値が0から2048までの間に対応する形状画像を、画像処理フレームバッファに積み重ねる処理を実施する。具体的には、画像伸縮処理部229は、前回読み取り値(=0)を差し引いたCH1増分値ΔK2(=2048)を算出するとともに、CH2カウント数を読み取り、CH2の前回読み取り値を差し引いたCH2増分値ΔP2を算出する。算出したCH2増分値ΔP2×PLGパルスレートで表される値が、鋼板1が撮像された長手方向長さとなる。同時に、画像伸縮処理部229は、CH1カウント数とCH1の前回読み取り値メモリをクリアする。
先に説明した方法と同様にして、画像伸縮処理部229は、PLGパルスレート×ΔP2から算出される値に、(CH1増分値ΔK2/4×形状画像縦分解能設定値)から算出される値が等しくなるように「形状画像2」の縦方向を伸縮し、「伸縮画像2」を生成する。その後、画像伸縮処理部229は、図9に示したように、生成した「伸縮画像2」を画像処理フレームバッファに積み重ねる。
その後も、同様にして、CH1のカウント数とCH2のカウント数とは加算されていくが、図8上側のグラフに示したように、CH1カウント数が2048になる前に、CH2カウント数がPR(=4096)に達する場合も生じうる。このような場合は、記憶領域CH2の容量が一杯となった場合であり、欠陥検出処理で用いられる一定分解能の1枚の画像を生成するために必要なデータが、バッファに蓄積されたことを表している。かかる場合、画像伸縮処理部229は、CH2カウント数を読み取り、CH2の前回読み取り値を差し引いたCH2増分値ΔP3aを算出すると同時に、CH2カウント数とCH2の前回読み取り値メモリをクリアする。その後、画像伸縮処理部229は、このときのCH1のカウント数を読み取り、CH1の前回読み取り値を差し引いたCH1増分値ΔK3aを算出する。
PRは、画像処理フレーム縦サイズに相当するPLGカウント値であるので、CH2カウント数がPR(=4096)に達したということは、画像処理フレームライン数が2048ライン(最大ライン数)に達したということであるから、画像伸縮処理部229は、「形状画像3」の先頭から(ΔK3a/4)ライン分の形状画像を伸縮して、画像処理バッファに積み重ねる必要がある。従って、画像伸縮処理部229は、(PLGパルスレート×ΔP3a)から算出される値に、(CH1増分値ΔK3a/4×形状画像縦分解能設定値)から算出される値が等しくなるように「形状画像3」を分割した上で縦方向を伸縮し、「伸縮画像3a」を生成する。その後、画像伸縮処理部229は、図9に示したように、生成した「伸縮画像3a」を画像処理フレームバッファに積み重ねる。
また、画像伸縮処理部229は、CH2のカウント数がPRに達した後に、カウント数がクリアされたため、CH1の前回読み取り値(すなわち、CH2がPRに達したときのCH1の読み取り値)/4ライン目を伸縮画像の起点に設定する。すなわち、画像伸縮処理部229は、この時点から、欠陥検出処理で用いられる2枚目の一定分解能の画像を生成するためのデータを、画像処理フレームバッファに蓄積していく。
その後も同様にして、CH1のカウント数とCH2のカウント数とは加算されていく。CH2のカウント数はクリアされたばかりであるため、CH1のカウント数が2048となる状況が先に到達すると考えられる。図8上側のグラフに示したように、CH1のカウント数が2048に達した場合、画像伸縮処理部229は、CH2のカウント数を参照し、CH2のカウント数がPRに達していないことを確認する。続いて、画像伸縮処理部229は、CH1のカウント値が前回読み取り値から2048までの間に対応する形状画像を、画像処理フレームバッファに積み重ねる処理を実施する。具体的には、画像伸縮処理部229は、前回読み取り値を差し引いたCH1増分値ΔK3bを算出するとともに、CH2カウント数を読み取り、CH2の前回読み取り値を差し引いたCH2増分値ΔP3bを算出する。算出したCH2増分値ΔP3b×PLGパルスレートで表される値が、鋼板1が撮像された長手方向長さとなる。同時に、画像伸縮処理部229は、CH1カウント数とCH1の前回読み取り値メモリをクリアする。
先に説明した方法と同様にして、画像伸縮処理部229は、PLGパルスレート×ΔP3bから算出される値に、(CH1増分値ΔK3b/4×形状画像縦分解能設定値)から算出される値が等しくなるように「形状画像3」の残り部分の縦方向を伸縮し、「伸縮画像3b」を生成する。その後、画像伸縮処理部229は、図9に示したように、生成した「伸縮画像3b」を画像処理フレームバッファに積み重ねる。
その後も、同様にして、CH1のカウント数とCH2のカウント数とは加算されていくが、図8上側のグラフに示したように、CH1カウント数が2048になる前に、CH2カウント数がPR(=4096)に達したものとする。かかる場合、画像伸縮処理部229は、CH2カウント数を読み取り、CH2の前回読み取り値を差し引いたCH2増分値ΔP4aを算出すると同時に、CH2カウント数とCH2の前回読み取り値メモリをクリアする。その後、画像伸縮処理部229は、このときのCH1のカウント数を読み取り、CH1の前回読み取り値を差し引いたCH1増分値ΔK4aを算出する。
ここで、画像伸縮処理部229は、「形状画像4」の先頭から(ΔK4a/4)ライン分の形状画像を伸縮して、画像処理バッファに積み重ねる。この際、画像伸縮処理部229は、(PLGパルスレート×ΔP4a)から算出される値に、(CH1増分値ΔK4a/4×形状画像縦分解能設定値)から算出される値が等しくなるように「形状画像4」を分割した上で縦方向を伸縮し、「伸縮画像4a」を生成する。その後、画像伸縮処理部229は、図9に示したように、生成した「伸縮画像4a」を画像処理フレームバッファに積み重ねる。
以下、画像伸縮処理部229は、同様の手順を繰り返すことで、鋼板1の搬送速度変化によらない一定の縦分解能(例えば、本実施形態では、縦方向画素サイズ0.2mm)の画像処理フレームを、鋼板全長の分だけ得ることができる。また、画像伸縮処理部229は、他のTDIカメラ105から取得した画像についても同様に処理を実施し、互いの画像(伸縮処理後の画像)を統合することで、鋼板全体についての形状画像を得ることができる。以下では、画像伸縮処理が行われた後の形状画像の画像処理フレームを、「深さ画像」と称することとする。
なお、画像の伸縮を行う手法としては、ニアレストネイバー法、バイリニア法、バイキュービック法等多くのアルゴリズムが存在する。本実施形態に係る画像伸縮処理部229においては、処理速度と得られる画像の品質の双方を考慮して、これらのアルゴリズムの中から適切な手法を選択すればよい。
以上説明したような方法で、本実施形態に係る画像伸縮処理部229は、鋼板の搬送速度によらず縦分解能が一定となった形状画像及び輝度画像を生成することができる。画像伸縮処理部229は、このようにして生成された伸縮処理後の形状画像及び輝度画像を、後述する欠陥検出処理部231に出力する。
欠陥検出処理部231は、例えば、CPU、ROM、RAM等により実現される。欠陥検出処理部231は、画像伸縮処理部229から出力された、伸縮処理後の形状画像に基づいて、検査対象物である鋼板1の表面に存在する凹みの深さdを算出し、検査対象物の形状を特定する。その後、欠陥検出処理部231は、検査対象物である鋼板1の形状を特定すると、鋼板1の表面に表面欠陥があるかないかを判断する。
ここで、TDIカメラ105における光電変換素子の列方向の撮影分解能をs(mm/画素)とし、線状レーザ光の垂直成分入射角をθとすると、線状レーザ光の反射点が長手方向にずれた距離h=d・tanθは、縞画像においてh/s画素に相当する。また、TDIカメラ105のカメラシフト周波数とレーザ光の変調周波数との比がM:1のとき、縞画像において横方向のM画素分が一本の縞を構成する。すなわち、縞がM画素分だけずれたときに、位相のずれは2πとなる。したがって、線状レーザ光Lの反射点が長手方向に距離hずれたときの縞画像データにおける位相のずれΔφは、M/2π=(h/s)/Δφの関係より、以下の式111のようになる。
d={M・s/(2π・tanθ)}・Δφ ・・・(式111)
従って、欠陥検出処理部231は、TDIカメラ105の撮影分解能や線状レーザ光の垂直成分入射角θといった鋼板撮像装置100の設定値と、タイミング信号発生部201から取得した周波数の比Mと、画像伸縮処理部229から出力された形状画像から得られる位相φと、上記式111とを用いて、検査対象物(鋼板1)の表面に存在する凹みの深さdを算出することができる。
厳密には、通常のレンズを用いた場合、撮影分解能sは深さdに応じて変化するため、補正を行う必要があるが、鋼板の凹みを測定する場合のように、レンズ作動距離に対して深さ変化が微小な場合は、かかる撮影分解能sの変化を実用上無視することができる。また、テレセントリックレンズを使えば、撮影分解能sを深さdによらず、一定とすることができる。
欠陥検出処理部231は、鋼板の表面に存在する凹みの深さの算出が終了すると、得られた情報に基づいて、鋼板の表面に存在する表面欠陥(疵)の位置を特定する。疵の鋼板幅方向における位置(X座標)は、該当する画像の画素の位置から特定することが可能である。また、疵の長手方向の発生位置(Y座標)は、WPを0(Y座標の原点)とすることで、深さ画像のフレーム数とライン数から算出することができる。
ここで、例えば図3に示したように、鋼板の搬送の上流方向にオフセットDだけずらして設置されたTDIカメラ105から算出される深さ画像については、WP位置がD分だけ早い位置に該当するため、Y座標を算出するときにDだけ差し引く必要がある。
欠陥検出処理部231は、このようにして検出された表面欠陥(疵)に関する情報を、表示部205に出力したり、帳票出力したりする。
なお、疵の検出の際に、各TDIカメラ105から得られる深さ画像において、撮像領域のOV部分に、疵が存在している場合も生じうる。かかる重なり代OVに掛かっている疵は、隣接するTDIカメラ105から得られる深さ画像においても検出される疵であるため、欠陥検出処理部231は、このような疵に対して、疵の統合処理を実施する。
具体的には、欠陥検出処理部231は、重なり代OVに掛かっている疵を検出すると、かかる疵に関する情報に、重なり代OVに存在する疵であることを表す識別子(オーバーラップフラグ)を付与する。その後、欠陥検出処理部231は、表示や帳票出力の際に、オーバーラップフラグが付与された疵について、それぞれの深さ画像から得られる(X,Y)座標を利用して、ひとつの疵として出力されるように統合処理を実施する。
以下、この疵の統合処理の具体例について、図10を参照しながら説明する。
図10において、座標(X1,Y1)及び座標(X2,Y2)は、それぞれ疵1、疵2の外接矩形の中心の座標である。また、疵の外接矩形の幅と長さは、疵1においてはm1,n1であり、疵2においてはm2、n2である。
図10(a)に示した疵は、重なり代OVに存在しているため、欠陥検出処理部231は、この疵1及び疵2を結合して、一つの疵として扱う。このとき、鋼板先端(溶接点位置)の左エッジを原点にした鋼板上の座標系では、疵1の外接矩形の中心座標は(X1−E,Y1)となり、疵2の外接矩形の中心座標は(X2+W−E−OV,Y2+D)となる。なお、図10(a)は、鋼板が下から上に向かって搬送されている図であり、図中、Wはカメラの撮影視野幅であり、全てのカメラについて共通である。
欠陥検出処理部231は、図10(a)に示した疵1、疵2を結合して、図10(b)に示したような幅M、長さNの疵とする。ここで、欠陥検出処理部231は、結合後の疵の幅Mは、以下の式112により算出し、結合後の疵の長さNは、以下の式113により算出する。また、欠陥検出処理部231は、結合後の疵の外接矩形の中心座標(鋼板上の座標)を、(X1−E+M/2−m1/2,Y2+D+N/2−n1/2)から算出する。
M=m1+m2−OV ・・・(式112)
N=1/2(n1+n2)+|Y1−Y2| ・・・(式113)
以上説明したように、本実施形態に係る画像処理部203では、伸縮処理後の形状画像(深さ画像)を利用することで、鋼板1の表面形状を正確、かつ、容易に把握することができる。
なお、深さ画像を利用することで、鋼板1の表面全体の凹凸状態を容易に把握することが可能であるが、例えば、鋼板1の傾きを無視して凹凸形状の疵だけを知りたいという場合もある。かかる場合には、欠陥検出処理部231は、位相連続化処理部229から出力された深さ画像に基づいて、以下のように、鋼板1の表面に生じた凹凸形状の疵を検出することが可能である。
具体的には、欠陥検出処理部231は、まず、伸縮処理後の形状画像から、横方向の各位置において縦方向に沿った位相のずれφの分布を抽出する。そして、欠陥検出処理部231は、抽出した位相のずれφの分布に対して、例えば最小二乗近似を行い、当該縦方向に沿った位相のずれφの分布に対する近似曲線を算出する。その後、欠陥検出処理部231は、抽出した縦方向に沿った位相のずれφの分布曲線から、当該近似曲線を減算する。このようにして得られた減算結果には、欠陥に関する情報だけが含まれる。
欠陥検出処理部231は、このような処理を、横方向のすべての位置において実施する。こうして得られた結果を画像として表すことにより、欠陥検出処理部231は、凹凸形状の疵だけが抽出された欠陥画像を得ることができる。その後、欠陥検出処理部231は、得られた欠陥画像に対して二値化やラベリング等の処理を実施して、欠陥を検出する。
なお、ここでは、欠陥検出処理部231による欠陥画像を得る際に、横方向の各位置において縦方向に沿った位相のずれφの分布に対して減算処理を行う場合について説明したが、そのかわりに、縦方向の各位置において横方向に沿った位相のずれφに対して減算処理を行うようにしてもよい。
このように、本実施形態に係る演算処理装置200では、溶接点(鋼板コイルの起点)の揃った、鋼板の搬送速度に応じた一定の縦分解能の形状画像処理フレームと輝度画像処理フレームに基づいて疵検出処理を行うことが可能となる。そのため、欠陥の検出された位置を表す欠陥検出位置情報を、正確に算出することが可能となる。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<表面欠陥検査方法の流れについて>
続いて、図11を参照しながら、本実施形態に係る表面欠陥検査方法の流れについて、簡単に説明する。図11は、本実施形態に係る表面欠陥検査方法の流れを示した流れ図である。
まず、表面欠陥検査装置10は、線状レーザ光が照射されている鋼板1を鋼板撮像装置100のTDIカメラ105で撮像して、縞画像を生成する(ステップS101)。その後、演算処理装置200の画像処理部203(より詳細には、画像生成部209)は、縞画像の信号に基づいて振幅及び位相を算出する(ステップS103)。ここで、画像処理部203の縞欠損判定部225は、得られた振幅画像を利用して、縞欠損の有無を判定することが好ましい(ステップS105)。
その後、位相連続化処理部227は、位相算出部221によって生成された位相画像について位相連続化処理を実施して(ステップS107)、鋼板の表面の凹凸状態を表す形状画像を生成する。
続いて、画像伸縮処理部229は、形状画像及び輝度画像(振幅画像)に対して、搬送ラインにおける鋼板の搬送速度に応じて、形状画像及び輝度画像を伸縮させる画像伸縮処理を実施する(ステップS109)。これにより、本実施形態に係る演算処理装置200は、鋼板の搬送速度によらず画像の縦分解能が一定となっている、深さ画像を得ることができる。
次に、欠陥検出処理部231は、画像伸縮処理部229によって生成された深さ画像を利用して、鋼板の表面に欠陥が存在しているか否かを検査する(ステップS111)。また、欠陥検出処理部231は、撮像領域の重なり代に表面欠陥が検出された場合には、かかる表面欠陥に対して、先に説明したような疵の統合処理を実施する。
かかる流れで処理を行うことで、鋼板の表面形状を正確、かつ、容易に把握することが可能となり、微小な凹凸形状の疵や模様状の疵を高精度でかつ高速に同時に検出することができる。
(ハードウェア構成について)
次に、図12を参照しながら、本発明の実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。図12は、本発明の実施形態に係る演算処理装置200のハードウェア構成を説明するためのブロック図である。
演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、演算装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置913、またはリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。さらに、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。演算処理装置200のユーザは、この入力装置909を操作することにより、演算処理装置200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
このように、本実施形態に係る表面欠陥検出方法を用いることで、鋼板を搬送中に、リアルタイムで全長、全幅にわたって、微小な凹凸形状の疵や模様状の疵を高精度でかつ高速に同時に検出することができ、疵の発生位置を正確に把握することができる。これにより、鋼板の品質保証が可能となり、鋼板製造の生産性、歩留まり向上に大きく寄与することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、演算処理装置200は、鋼板撮像装置100に設けられた複数のレーザ照射装置及び遅延積分型撮像装置をまとめて制御するとともに、複数の遅延積分型撮像装置から得られた画像をまとめて画像処理する場合について説明したが、本発明はかかる例に限定されない。例えば、演算処理装置200は、1つのレーザ照射装置及び1台の遅延積分型撮像装置からなる撮像ユニットごとに設けられていてもよい。