JP2019169917A - 撮像方法および撮像システム - Google Patents

Abstract

【課題】光に対する反射率が異なる複数の領域を有する対象物の撮像に際し、その表面状態を検査するのに適した画像を効率よく得られるようにする。【解決手段】本発明に係る撮像方法および撮像システムでは、第１領域よりも反射率が高い第２領域の階調を飽和状態にする輝度値を有する反射検出用パターンを投影し、第２領域を抽出する。第２領域の階調が飽和状態にならない輝度値を有する反射抑制パターンを生成し、反射抑制パターンが対象物の表面に投影された状態で撮像部５０が撮像する。【選択図】図２

Description

この発明は、光の反射率が異なる複数の領域を有する撮像対象物の検査や計測を目的とする撮像に関するものである。

例えば工業生産される部品や組立品の外観検査を行うことを目的として行われる撮像では、特に表面の傷や欠損等を確実に検出するために、撮像対象物の表面状態が明瞭な画像が求められることがある。ここで、複数種の素材が組み合わされた物体や、複数の加工手法により製造された物体のように、撮像対象物の表面において反射率が一様でない場合には、単一の照明条件下の撮像では必ずしも目的に適した画像とならないことがある。

そのため、例えば特許文献１に記載の技術では、測定対象領域の明るさに応じた撮像条件をそれぞれの領域に設定し、設定された条件に応じて、異なる測定対象領域を含む画像データを取得している。これにより、各測定対象領域に適した明るさで画像を取得することができる。

特開２０１４−１７８２８４号公報

しかしながら、上記従来技術では、測定対象領域ごとに撮像条件を設定し画像データを取得しているため、測定対象領域の数が多くなるにつれて画像データの取得に要する時間が増加する。

この発明は上記課題に鑑みなされたものであり、表面に反射率の異なる部位が混在する撮像対象物の撮像に際し、その表面状態を検査するのに適した画像を効率よく得られるようにすることを目的とする。

上記課題を解決するために、第１の態様に係る撮像方法は、光に対する反射率が異なる複数の領域を有する対象物を撮像する撮像方法であって、前記複数の領域のうち第１領域よりも反射率が高い第２領域の階調を飽和状態とする輝度値を有する反射検出用パターンを前記対象物に投影する反射検出用パターン投影工程と、前記反射検出用パターンが投影された前記対象物の表面を撮像する第１撮像工程と、前記第１撮像工程で取得された画像から前記第２領域を抽出し、前記第２領域の階調が飽和状態にならない輝度値を有する反射抑制パターンを前記対象物の表面に投影する反射抑制パターン投影工程と、反射抑制パターン投影工程により前記反射抑制パターンが投影された、前記対象物の表面を撮像する第２撮像工程と、を備える。

また、第２の態様に係る撮像方法は、第１の態様に係る撮像方法であって、前記反射抑制パターンは、前記第２領域とは異なる前記第１領域の輝度値が、前記第２領域の階調を飽和状態とする輝度値を有することを特徴とする。

また、第３の態様に係る撮像方法は、第１または第２の態様に係る撮像方法であって、前記反射抑制パターンは、前記第２領域の周辺領域の輝度値が、前記第２領域から離れるにつれて前記第１領域の輝度値に変化していくことを特徴とする。

上記課題を解決するために、第４の態様に係る撮像システムは、光に対する反射率が異なる複数の領域を有する対象物を撮像する撮像システムであって、任意の輝度値が設定された所定のパターンを前記対象物の表面に投影する投影部と、前記対象物の表面を撮像する撮像部と、前記複数の領域のうち第１領域よりも反射率が高い第２領域の階調を飽和状態にする輝度値を有する反射検出用パターンを生成する反射検出用パターン生成部と、前記反射検出用パターンが投影された前記対象物の表面を前記撮像部が撮像して得られた画像から前記第２領域を抽出し、前記第２領域の階調が飽和状態にならない輝度値を有する反射抑制パターンを生成する反射抑制パターン生成部と、を備え、前記反射抑制パターンが投影された前記対象物の表面を前記撮像部が撮像することを特徴とする。

また、第５の態様に係る撮像システムは、第４の態様に係る撮像システムであって、前記反射抑制パターンは、前記第２領域とは異なる前記第１領域の輝度値が、前記第２領域の階調を飽和状態とする輝度値を有することを特徴とする。

また、第６の態様に係る撮像システムは、第４または第５の態様に係る撮像システムであって、前記反射抑制パターンは、前記第２領域の周辺領域の輝度値が、前記第２領域から離れるにつれて前記第１領域の輝度値に変化していくことを特徴とする。

上記のように、本発明によれば、反射率が高い領域に対して反射を抑制するパターンを撮像対象物に投影しつつ撮像を行う。これにより、表面に反射率の異なる領域が混在する撮像対象物の撮像に際し、その表面状態を検査するのに適した画像を効率よく取得することができる。

本発明に係る撮像システムの一実施形態を示す概要図である。 本実施形態の撮像システムの電気的構成を示すブロック図である。 本実施形態における撮像方法を示すフローチャートである。 反射検出用パターンＲｐの生成について説明するための図である。 反射検出用パターンＲｐが投影されたワークＷの撮像画像を説明する図である。 反射抑制パターンＲｓの生成について説明するための図である 反射抑制パターンＲｓが投影されたワークＷの撮像画像を説明する図である。 反射抑制パターンＲｓａを説明するための図である。

図１は本発明に係る撮像システムの一実施形態を示す概要図である。より具体的には、この撮像システム１の全体構成を示す側面概要図である。この撮像システム１は、例えば機械部品や電子部品等、各種部品や製品等の外観検査に供される画像の撮像に好適なものである。以下では、外観検査の対象となるワークＷを撮像対象物としたときの撮像システム１の動作について説明する。ただし、撮像対象物としてはこれらに限定されず任意のものを適用可能である。

図１に示すように、撮像システム１は、本発明に係る撮像方法を実施するための構成として、保持部１０と、投影部３０と、撮像部５０と、制御部７０とを備えている。

保持部１０は、その上面１０ａに撮像対象物であるワークＷをステージ上で静止状態に保持する。投影部３０は、保持部１０に保持されたワークＷに向けて照明光を投射する。撮像部５０は、照明されたステージ上のワークＷを撮像する。制御部７０は、システム全体の動作を司る。

投影部３０は、保持部１０に載置されたワークＷに向けて照明光を出射する。後述するように、投影部３０は、出射光に含まれる波長成分を出射方向ごとに変更することで種々の投影パターンでワークＷを照明することが可能な構成を有している。例えば、スクリーンに種々のパターン画像を投影するための、画素単位での明るさ等を制御可能なプロジェクタ装置を、本実施形態の投影部３０として利用可能である。

撮像部５０は、保持部１０上のワークＷを撮像する機能を有する。例えば、２次元イメージセンサまたはＣＯＭＳイメージセンサ等の撮像素子を備えるカメラを、本実施形態の撮像部５０として利用可能である。撮像部５０は、投影部３０が出射した照明光がワークＷの表面で反射した反射光（一次反射光）を撮像素子で受光する。

制御部７０は、撮像システム１の各構成、具体的には投影部３０および撮像部５０を制御して本発明に係る撮像方法を実現する。制御部７０としては、専用のハードウェア装置を用いることができるが、パーソナルコンピュータ（Personal Computer；ＰＣ）として一般的な構成を有するコンピュータ装置に適宜の制御プログラムを実装することで制御部７０として機能させることも可能である。また、投影部３０たるプロジェクタ装置、撮像部５０たるカメラに制御部としての機能を組み込んでもよい。

投影部３０から出射される照明光の照射範囲はワークＷ全体を含むように設定されている。また、撮像部５０の撮像範囲は投影部３０の照射範囲に内包される。したがって、撮像範囲の全体に投影部３０からの照明が及ぶことになる。

なお、図１は概念図であり、各部の寸法関係が実際のものとは異なっているため、撮像部５０がワークＷに対し斜め上方向から俯瞰する位置に図示されている。実際の装置においては、撮像部５０の位置から見えるワークＷの表面全体に照明光が照射されるようにするために、撮像部５０の光軸と、投影部３０の出射光の光中心とができるだけ近接し、またできるだけ平行であることが望ましい。

図２は本実施形態の撮像システムの電気的構成を示すブロック図である。制御部７０は例えばパーソナルコンピュータ（ＰＣ）を備え、該ＰＣは演算処理を実行するＣＰＵ（Central Processing Unit）７１と、各種データを一時的に記憶するメモリ７３と、制御プログラムやデータを長期的に記憶するストレージ７５とを有している。ＣＰＵ７１は、ストレージ７５に予め記憶された制御プログラムを実行することにより、反射検出用パターン生成部７２１および反射抑制パターン生成部７２３等の機能ブロックを含む画像処理部７２をソフトウェア的に実現する。各機能ブロックの動作については後述する。なお、画像処理部７２はＣＰＵ７１とは別の専用プロセッサにより実現されてもよい。

撮像部５０は例えば２次元カメラ装置を備え、該カメラは撮像素子としての２次元イメージセンサ５１と、２次元イメージセンサ５１から出力される信号をデジタル画像データに変換するＡＤコンバータ５３とを備える。なお、撮像光学系や撮像素子の特性を補正するためのガンマ補正機能がさらに設けられてもよい。これらは一般的なカメラが備える構成である。撮像部５０は、図示しないインターフェースを介して制御部７０から与えられる制御指令に応じて動作し、ワークＷの画像を撮像する。デジタル画像データは制御部７０に送信される。

撮像部５０は、ワークＷのカラー画像またはグレー画像を取得できれば良い。また、カラー画像データを受信した制御部７０がこれをグレー画像データに変換する構成であってもよい。

また、投影部３０は例えばプロジェクタ装置を備え、該プロジェクタ装置は白色光を出力する光源３１と、光源３１からの光を変調して所定のパターンを生成する変調器３３とを備える。これらは一般的なプロジェクタ装置が備える構成である。所定のパターンを生成するための変調方式としては各種のものを用いることができる。例えば変調素子として液晶パネルを用いるもの、ＤＭＤ（Digital Mirror Device）を用いるもの、ＧＬＶ（Grating Light Valve）を用いるもの等が製品化されており、これらを用いることが可能である。また、光源から出射される光の波長自体が照射方向に応じて変化するものであってもよい。

投影部３０は図示しないインターフェースを介して制御部７０に接続され、制御部７０からの制御指令に応じて動作する。投影すべき投影パターンに対応するパターンデータも制御部７０から与えられる。すなわち、投影部３０は、制御部７０により指定された投影パターンに対応する画像をワークＷに投影する機能を有する。

次に、上記のように構成された撮像システム１の動作について説明する。ワークＷ表面の傷や欠損等を検出する外観検査を目的としてこの撮像システム１が用いられるとき、ワークＷは最終的にグレー撮像される。本実施形態においては、撮像部５０はグレー撮像するカメラを一例として説明する。

以下、上記の技術思想に基づく本実施形態の具体的な撮像処理の内容について説明する。この処理は、制御部７０のＣＰＵ７１が予めストレージ７５に記憶された制御プログラムを実行し、投影部３０、撮像部５０およびＣＰＵ７１自身に所定の動作を行わせることにより実現される。また、処理を実現するための前提として、保持部１０、投影部３０および撮像部５０の相対的な位置関係は不変であるものとする。

図３は本実施形態における撮像方法を示すフローチャートである。図４は後述するステップＳ１０２〜Ｓ１０４を説明するための図である。特に図４（ａ）は、光に対する反射率が異なる領域を含むワークＷを例示しており、領域Ｒａ（第２領域）は、領域Ｒｂ（第１領域）に比べて光に対する反射率が高いことを示している。また、図４（ｂ）は、ワークＷ中の領域Ｒａの階調を飽和状態にする輝度値を有する反射検出用パターンＲｐを示している。図４（ｃ）は、投影部３０により反射検出用パターンＲｐが投影されたワークＷを示している。ここでワークＷ中の領域Ｒａの階調を飽和状態にする輝度値とは、投影部３０が当該領域に反射検出用パターンＲｐを投影し、撮像部５０がワークＷの表面を撮像して得られた画像の画素の階調値が最大値（０〜２５５階調の場合に２５５）になる輝度値である。

また、図６は後述するステップＳ１０５〜ステップＳ１０７を説明するための図である。特に図６（ａ）は、図４（ａ）と同じであるため説明を省略する。また、図６（ｂ）は、ワークＷ中の領域Ｒａの階調を飽和状態にならない輝度値を有する反射抑制パターンＲｓを示している。図６（ｃ）は、投影部３０により反射抑制パターンＲｓが投影されたワークＷを示している。

最初に、外部の搬送ロボットにより、またはオペレータの手作業により、撮像対象物であるワークＷが搬入され保持部１０に載置される（ステップＳ１０１）。そして、投影部３０が後述する反射検出用パターンＲｐの照明光をワークＷに投影した状態で（ステップＳ１０２）、撮像部５０がワークＷを撮像する（ステップＳ１０３）。

反射検出用パターンＲｐは反射検出用パターン生成部７２１（図２）によって生成される。反射検出用パターン生成部７２１は、ワークＷにおいて光に対する反射率が異なる領域Ｒａおよび領域Ｒｂに対して、反射率が領域Ｒｂよりも高い領域Ｒａの階調を飽和状態にする輝度値Ｂｖを有する反射検出用パターンＲｐを生成する。このような輝度値Ｂｖの求め方として、例えば、輝度値を変えつつ投影部３０から反射検出用パターンをワークＷに投影し、領域Ｒａの階調が飽和状態となる輝度値を採用しても良い。また、反射検出用パターンＲｐは、領域Ｒａの階調を飽和状態にする輝度値が一様に分布するものであっても良い。

なお、領域Ｒｂの階調まで飽和状態となる輝度値が反射検出用パターンＲｐとして設定されることは好ましくない。なぜなら、後述する反射抑制パターンＲｓが生成され、反射抑制パターンＲｓが投影されたワークＷを撮像した際、領域Ｒｂの階調が必要以上に抑えられることとなり、当該画像を検査などに用いた際に検査不良の原因となり得るためである。

図４（ｂ）は、反射検出用パターンＲｐを一様な輝度値Ｂｖで生成したものを示している。輝度値Ｂｖは領域Ｒａのみ階調を飽和状態とする輝度値である。反射検出用パターンＲｐを図４（ａ）で示すワークＷに投影部３０が投影すると（ステップＳ１０２）、図４（ｃ）に示されるように領域Ｒａの階調が飽和状態となる（図中では白抜きの領域で示している）。一方、領域Ｒｂの階調は非飽和状態となっている（図中では左斜線の領域で示している）。撮像部５０がワークＷを撮像する（ステップＳ１０３）ことで、図５で示す画像Ｉｍ１を取得できる。

続いて、画像Ｉｍ１を所定の閾値で２値化し、階調が飽和状態となる領域Ｒａを抽出する（ステップＳ１０４）。この際、公知の各種画像処理を併用しても良い。例えば、画像Ｉｍ１に対して膨張処理を実行した後に２値化を行っても良い。２値化前に膨張処理を行うことで、反射率の高い領域Ｒａに対して、後述する反射抑制パターンＲｓを投影した際に、領域Ｒａの境界部分においても階調の飽和状態を抑制することができる。

次に、反射抑制パターン生成部７２３（図２）は、ステップＳ１０４で抽出された領域Ｒａの階調が飽和状態にならない輝度値Ｂｓを有する反射抑制パターンＲｓを生成する（ステップＳ１０５）。このような輝度値Ｂｓの求め方として、例えば、輝度値を変えつつ投影部３０から反射抑制パターンをワークＷに投影し、領域Ｒａの階調が飽和状態とならず、かつ、領域Ｒｂの階調が高くなる輝度値を採用しても良い。このような輝度値Ｂｓを採用することで、光に対する反射率が領域Ｒａよりも低い領域Ｒｂにおいても、十分な明るさを確保することができる。なお、反射抑制パターンＲｓの輝度値は一様である必要はない。例えば、領域Ｒａおよび領域Ｒｂの階調が飽和状態にならないことが必須であり、この条件を満たすように領域Ｒａおよび領域Ｒｂに対応する領域の輝度値を任意に設定した反射抑制パターンＲｓを作成しても良い。

続いて、投影部３０から反射抑制パターンＲｓをワークＷの表面に投影する（ステップＳ１０６）。撮像部５０は、反射抑制パターンＲｓがワークＷに投影された状態でワークＷを撮像する（ステップＳ１０７）。撮像部５０は撮像して得られた画像データはメモリ７３またはストレージ７５に保存される（ステップＳ１０８）。この画像データは適宜のタイミングで読み出されて検査に供される。撮像終了後、ワークＷが保持部１０から搬出されることで、一連の撮像処理は終了する（ステップＳ１０９）。

図６（ｂ）は、領域Ｒａが輝度値Ｂｓ、領域Ｒｂが輝度値Ｂｖとで構成された反射抑制パターンＲｓを示している。このような反射抑制パターンＲｓを投影部３０がワークＷ（図６（ａ））に投影すると図６（ｃ）に示すように、領域Ｒａおよび領域Ｒｂの階調が非飽和状態となる（図中では、非飽和状態となっている領域を斜線の領域で示している）。このようなワークＷを撮像部５０が撮像することで、図７で示す画像Ｉｍ２を取得できる。

飽和状態を含まない画像Ｉｍ２を得られるということは、言い換えると光に対する反射率が異なる複数の領域を含むワークＷの表面に対して、領域ごとに適切な光量で光を照射できていると言える。したがって、ワークＷの表面状態を検査するのに適した画像を効率よく取得することができる。

以上のように、この実施形態の撮像システム１は、光に対する反射率が異なる複数の領域を表面に有するワークＷの外観検査に好適なワークＷの画像を撮像することができるシステムである。

また、上記実施形態では、反射抑制パターンＲｓにおける領域Ｒａおよび領域Ｒｂの境界部分で輝度値が急激に変化する場合がある。このような場合の反射抑制パターンＲｓａについて説明する。図８は、反射抑制パターンＲｓａにおける領域Ｒａと領域Ｒｂの境界部分の輝度値がグラデーションとなっていることを示している。なお、図８では図示の都合上、グラデーションではなく一様なグレー画像で示している。

具体的には、上述したステップＳ１０４で領域Ｒａを抽出した際に膨張処理を行う。膨張処理された領域Ｒａの周辺領域Ｒａ１（図８中で一点鎖線で囲まれた領域）の輝度値が、領域Ｒａから離れるにつれて領域Ｒｂの輝度値に変化していくように周辺領域Ｒａ１の輝度値が設定されている。なお、周辺領域Ｒａ１の輝度値を領域Ｒａから離れるにつれて領域Ｒｂの輝度値に変化させる方法として、領域Ｒａの輝度値と、領域Ｒｂの輝度値との間で線形補間あるいは２次補間を行えば良い。

このように、領域Ｒａの周辺領域Ｒａ１の輝度値を領域Ｒａから離れるにつれて領域Ｒｂの領域に変化させていくことで、周辺領域Ｒａ１においても表面状態を検査するのに適した画像を取得することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像システム１は、互いに別体として構成された、保持部１０、投影部３０、撮像部５０および制御部７０が組み合わされたものである。しかしながら、これらの全部または一部が一体の構成として実現されてもよい。

また、上記実施形態では、投影部３０としてスクリーンに画像を投影するプロジェクタ装置が用いられている。このような装置は既に実用化されており、投影面の各位置における明るさを画素単位で細かく設定することができるため、本実施形態の投影部として好適なものである。しかしながら、上記した投影パターンに対応する照明光をワークＷに入射させることができるものであれば、プロジェクタ装置として製造されたもの以外の投影装置であっても利用可能である。例えば、本発明の投影部として動作することに特化して製造された装置であってもよい。

この発明は、光に対する反射率が異なる複数の領域を有する撮像対象物の撮像において有効であり、例えば撮像対象物の外観検査に供される画像を取得するための撮像に適用することができる。

１ 撮像システム
１０ 保持部
３０ 投影部
５０ 撮像部
７０ 制御部
７２１ 反射検出用パターン生成部
７２３ 反射抑制パターン生成部
Ｂｓ、Ｂｖ 輝度値
Ｉｍ１、Ｉｍ２ 画像
Ｒａ、Ｒｂ 領域
Ｒａ１ 周辺領域
Ｒｐ 反射検出用パターン
Ｒｓ 反射抑制パターン
Ｒｓａ 反射抑制パターン
Ｗ ワーク

Claims (6)

1. 光に対する反射率が異なる複数の領域を有する対象物を撮像する撮像方法であって、
   前記複数の領域のうち第１領域よりも反射率が高い第２領域の階調を飽和状態とする輝度値を有する反射検出用パターンを前記対象物に投影する反射検出用パターン投影工程と、
   前記反射検出用パターンが投影された前記対象物の表面を撮像する第１撮像工程と、
   前記第１撮像工程で取得された画像から前記第２領域を抽出し、前記第２領域の階調が飽和状態にならない輝度値を有する反射抑制パターンを前記対象物の表面に投影する反射抑制パターン投影工程と、
   反射抑制パターン投影工程により前記反射抑制パターンが投影された、前記対象物の表面を撮像する第２撮像工程と、
   を備える撮像方法。
2. 前記反射抑制パターンは、前記第２領域とは異なる前記第１領域の輝度値が、前記第２領域の階調を飽和状態とする輝度値を有することを特徴とする請求項１に記載の撮像方法。
3. 前記反射抑制パターンは、前記第２領域の周辺領域の輝度値が、前記第２領域から離れるにつれて前記第１領域の輝度値に変化していくことを特徴とする請求項１または２に記載の撮像方法。
4. 光に対する反射率が異なる複数の領域を有する対象物を撮像する撮像システムであって、
   任意の輝度値が設定された所定のパターンを前記対象物の表面に投影する投影部と、
   前記対象物の表面を撮像する撮像部と、
   前記複数の領域のうち第１領域よりも反射率が高い第２領域の階調を飽和状態にする輝度値を有する反射検出用パターンを生成する反射検出用パターン生成部と、
   前記反射検出用パターンが投影された前記対象物の表面を前記撮像部が撮像して得られた画像から前記第２領域を抽出し、前記第２領域の階調が飽和状態にならない輝度値を有する反射抑制パターンを生成する反射抑制パターン生成部と、
   を備え、
   前記反射抑制パターンが投影された前記対象物の表面を前記撮像部が撮像することを特徴とする撮像システム。
5. 前記反射抑制パターンは、前記第２領域とは異なる前記第１領域の輝度値が、前記第２領域の階調を飽和状態とする輝度値を有することを特徴とする請求項４に記載の撮像システム。
6. 前記反射抑制パターンは、前記第２領域の周辺領域の輝度値が、前記第２領域から離れるにつれて前記第１領域の輝度値に変化していくことを特徴とする請求項４または５に記載の撮像システム。