JP2011164062A - 透明平板検出システム - Google Patents

Abstract

【課題】透明平板の検出を簡易かつ高精度に行う。
【解決手段】透明平板１１４を含む領域を、該透明平板１１４の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像するカメラ１２と、載置台１１３と、載置台１３の下側に設置された反射面１１１と、透明平板１１４の平面部法線に対して、カメラ１２と対向するように配置され、透明平板１１４の平面部からの正反射光がカメラ１２に入射しないように遮光する遮光板１０２と、垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて透明平板１１４を検出する画像処理装置１３とを備える。
【選択図】図１

Description

本発明は、透明平板検出システムに関する。さらに詳しくは、画像処理により透明平板の検出を簡易かつ高精度に実施可能とする透明平板検出システムに関する。

透明なプラスチック成形品（透明体）は、ディスプレイ、光ディスクなど広く光学部品として使用されている。しかしながら、透明体を撮像対象とする場合、透明体は反射率が低く透過率が高く、背景とのコントラストがとれないため、通常の輝度情報のみを利用したカメラを用いて透明体を検出することは、困難であった。

このような問題に対し、特許文献１には、図１９に示すように、投光側偏光板９５で光を特定の方向に偏光して、透明体９０を含む所定領域に投光する投光装置９１と、その所定領域を透過した光のうち特定の偏光のみを透過させる受光側偏光板９６を有する偏光機器９２と、受光側偏光板９６を透過した光を受光して得られる像を、２次元の画像で撮像するテレビカメラ９３と、テレビカメラ９３から得られる画像における明暗分布を利用して、透明体９０を検出する画像処理装置９４とを備え、特定の方向に偏光された光を、透明体９０を含む所定領域に投光し、この所定領域を透過した光を、特定の偏光のみを透過させるようにした受光側偏光板９６を透過させた上でテレビカメラ９３内のＣＣＤに受光させ、このＣＣＤから得られる画像における明暗分布を利用して、透明体９０を検出する透明体検出方法が開示されている。

しかしながら、特許文献１に記載の技術は、透明体のもつ複屈折を利用して透明体を検出しようとするものであり、ガラス平板などの複屈折を有さない透明平板においては検出が困難であるという問題がある。

これに対し、平板状のものを画像検出する技術として特許文献２には、図２０に示すように、鋼板８１の表面からの反射光の異なる偏光をラインセンサカメラ８２ａ〜８２ｃで検出して偏光の強度分布を示す画像形成する表面検査装置が開示されている。

（課題１：照明装置の配置）
特許文献１に記載の技術では、透明体９０の下側に、照明装置９７と、投光側偏光板９６を配置する必要がある。しかしながら、実際のライン等では透明平板を洗浄する工程もあり、下側に水滴が落ちる場合があるため、安全面の考慮等により、照明装置９７を透明平板の下側に配置することが困難な場合がある。

また、特許文献２に記載の技術では、カメラ８２に対して投光部８３および偏光子を対向配置する必要がある。したがって、被検対象としている鋼板８１を、仮に透明平面体とした場合、透明平面体全体を照明する必要がある。よって、透明平面体が多数あるいは大きなサイズの透明平面体の場合は、発光面積の大きな照明装置もしくは照明装置を離して配置することとなるため、システムの大型化を伴ってしまうという問題がある。

（課題２：トレーから検出装置への再配置）
また、特許文献１に記載の技術は、トレー、或いは載置台とトレーとを一体で工程を進めていくような場合、一度、透明体検出装置上に載せなおす必要があるという問題があった。

（課題３：回転機構およびキャリブレーションの必要性）
さらに、特許文献１に記載の技術は、投光側偏光板９５と受光側偏光板９６との透過偏光方向を一致もしくは直交させる必要があり、そのために受光側偏光板９６を所定の回転ピッチで回転させ、その各画像に基づく計測を行う必要があった。これは透明体９０の種別変更などに応じて行う場合は、工程ライン上の時間ロスに繋がる。また、このような回転機構を設けることは装置を大型化させる要因となる。さらに、このような回転機構は工場のような振動を伴う機構自体の経時変化（中心位置のズレなど）が生じやすく、可動部の消耗に起因した故障などのメンテナンスが必要となるという問題があった。

そこで本発明は、透明平板の検出を簡易かつ高精度に実施可能とする透明平板検出システム、詳しくは、専用の照明装置を配置することなく、また透明平板の載置状態を問わずその検出を可能とし、さらに、キャリブレーション作業や回転機構を伴わない透明平板検出システムを提供することを目的とする。

かかる目的を達成するため、請求項１に記載の透明平板検出システムは、透明平板を含む領域を、該透明平板の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、透明平板を載置する載置台と、透明平板と画像撮像手段の光路上、載置台の下側に設置された反射面と、透明平板の平面部法線に対して、画像撮像手段と対向するように配置され、透明平板の平面部からの正反射光が画像撮像手段に入射しないように遮光する遮光板と、垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて透明平板を検出する画像処理装置とを備えるものである。

したがって、縦横偏光度画像を取り込めるようにしたので透明平板下地の偏光フィルタの方向に依存せずに透明平板の偏光変化を検出することが可能となり、キャリブレーション作業が不要となる。また、回転機構は不要となる（課題３）。また、画像撮像手段に透明平板からの正反射光が入射しないようにし、透明平板に斜入射する透過光を利用するように構成したものであるため、専用の照明手段を配置する必要がなく、蛍光灯下であっても、透明平板の検出を可能とする（課題１）。さらに、トレー上に載置台を設置し、その上に透明平板を配置したものや、トレー上にそのまま透明平板を配置された状態等、透明平板の載置状態を問わず透明平板の検出を可能とする（課題２）。

また、請求項２に記載の透明平板検出システムは、透明平板を含む領域を、該透明平板の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、透明平板の平面部法線に対して、画像撮像手段と対向するように配置され、透明平板の平面部からの正反射光が画像撮像手段に入射するように仰角を有する反射板と、垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて透明平板を検出する画像処理装置とを備えるものである。

したがって、縦横偏光度画像を取り込めるようにしたので透明平板下地の偏光フィルタの方向に依存せずに透明平板の偏光変化を検出することが可能となり、キャリブレーション作業が不要となる。また、回転機構は不要となる（課題３）。また、画像撮像手段に透明平板からの正反射光が入射するように反射板を撮像手段に対向するように配置したものであるため、専用の照明手段を配置する必要がなく、蛍光灯下であっても、透明平板の検出を可能とする（課題１）。さらに、トレー上に載置台を設置し、その上に透明平板を配置したものや、トレー上にそのまま透明平板を配置された状態等、透明平板の載置状態を問わず透明平板の検出を可能とする（課題２）。

また、請求項３に記載の発明は、請求項１または２のいずれかに記載の透明平板検出システムにおいて、画像処理装置は、検出した透明平板の位置および姿勢を検出するものである。

また、請求項４に記載の発明は、請求項３に記載の透明平板検出システムにおいて、ロボットハンドおよび該ロボットハンドを制御するロボットコントローラを備え、ロボットコントローラは、ロボットハンドを、検出された透明平板の位置に基づいて移動させ、検出された透明平板の姿勢に基づいて透明平板をピックアップさせるものである。

また、請求項５に記載の発明は、請求項３または４のいずれかに記載の透明平板検出システムにおいて、画像処理装置は、検出した透明平板の位置および姿勢に基づいて透明平板の存在領域を決定し、２以上の透明平板の存在領域を比較して、透明平板の形状的欠陥を検出するものである。

また、請求項６に記載の発明は、請求項３から５までのいずれかに記載の透明平板検出システムにおいて、画像処理装置は、検出した透明平板の位置および姿勢に基づいて透明平板の存在領域を決定し、かつ、垂直偏光画像および水平偏光画像に基づくモノクロ輝度画像の輝度分布に基づいて透明平板の外観的欠陥を検出するものである。

また、請求項７に記載の発明は、請求項３から６までのいずれかに記載の透明平板検出システムにおいて、画像処理装置は、検出した透明平板の位置および姿勢に基づいて透明平板の存在領域を決定し、かつ、垂直偏光画像および水平偏光画像に基づくモノクロ輝度画像の輝度分布に基づいて透明平板表面に記された文字および／または図柄情報を検出するものである。

本発明によれば、透明平板の検出を簡易かつ高精度に行うことができる。

本発明に係る透明平板検出システムの一実施形態の概略構成図である。 画像撮像手段の構成例（１）である。 画像撮像手段の構成例（２）である。 画像撮像手段の構成例（３）である。 画像撮像手段の構成例（４）である。 領域分割型のフィルタの一例である。 透明平板の透過率の一例を示すグラフである。 透明平板の撮影結果の一例であって、（ａ）モノクロ輝度画像、（ｂ）縦横偏光度画像である。 画像処理装置が実行する画像処理のフローチャートの一例である。 透明平板の領域抽出結果としての画像の一例である。 台形歪補正後の画像の一例である。 透明平板に欠けがある場合の画像の一例である。 透明平板にばりがある場合の画像の一例である。 透明平板に汚れが無い場合の画像の一例である。 透明平板に汚れがある場合の画像の一例である。 本発明に係る透明平板検出システムの他の実施形態の概略構成図である。 透明平板の反射率の一例を示すグラフである。 透明平板の撮影結果の他の例であって、（ａ）モノクロ輝度画像、（ｂ）縦横偏光度画像である。 従来の透明体検出システムの例である。 従来の表面検査装置の例である。

以下、本発明に係る構成を図１から図１８に示す実施の形態に基づいて詳細に説明する。

（透明平板検出システム）
＜第一の実施形態＞
本実施形態に係る透明平板検出システム１は、透明平板１１４を含む領域を、該透明平板１１４の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像する画像撮像手段（カメラ１２）と、透明平板１１４を載置する載置台１１３と、透明平板１１４と画像撮像手段の光路上、載置台１３の下側に設置された反射面１１１と、透明平板１１４の平面部法線に対して、画像撮像手段と対向するように配置され、透明平板１１４の平面部からの正反射光が画像撮像手段に入射しないように遮光する遮光板１０２と、垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて透明平板１１４を検出する画像処理装置１３とを備えるものである。

図１は透明平板検出システム１の概略構成図である。透明平板検出システム１は、透明平板載置部１１と、モノクロ輝度画像と縦横偏光度画像が撮像可能なカメラ１２と、画像処理装置１３と、モニタ１４と、ロボットコントローラ１５と、ロボットハンド１６から構成されている。

透明平板検出システム１は、例えば、工場等の屋内に設置されるものであり、蛍光灯１０１等の室内照明下に配置される。また、透明平板載置部１１の載置台１１３と地面とが平行となるように配置され、カメラ１２は載置台１１３の法線方向から後述する所定角度の仰角を有して透明平板１１４を撮像するように配置されている。さらに、透明平板１１４への室内照明が直接照射されないようにカメラ１２と室内照明（蛍光灯１０１）との間には遮光板１０２が配置されている。但し、真上の蛍光灯１０１については部分遮光で良い。なお、遮光板１０２としては、例えば、黒布などをプラスチック板などに貼り付けたものを用いればよいが、遮光性を有していればこれに限られるものでない。

遮光板１０２を配置することにより、透明平板１１４の表面での不要反射光が除去され、載置台１１３の下側から入射する透明平板透過光をカメラ１２は撮像することとなり、透過する際に生じる偏光状態の変化を正反射光に埋もれることなく検出できるため、透明平板１１４の検出精度が向上する。

透明平板載置部１１は、透明平板１１４を載置する載置台１１３とカメラ１２側から見て載置台１１３の向こう側に反射面１１１を有する。反射面１１１は、トレーなどであってもよく、例えば洗浄工程などを経た透明平板１１４からの雫などを受ける役目を有するものであってもよい。

また、載置台１１３は、網目状の構成となっており、反射面１１１で反射された光が、透明平板１１４を十分に透過するだけの網目占有率を有するものである。具体的には、透明平板領域の５％程度の占有率が望ましい。また、一本一本の網目も細いほうが望ましく、透明平板１１４の大きさに対して５％以下の細さが望ましい。このようなサイズとすることにより、偏光した光が通過する透明平板１１４の領域が増えるとともに、背景領域も増えるため、透明平板１１４のエッジ検出精度が向上する。

カメラ１２は、輝度モノクロ画像と縦横偏光度画像が撮影可能なカメラである。それぞれの２次元の画像を形成する各画素信号はカメラ１２内のセンサ側から画像処理装置１３に出力される。

画像処理装置１３は、カメラ１２からの各画素信号をＡ／Ｄ変換して２値化または多値化するＡ／Ｄ変換部１３１と、このＡ／Ｄ変換部１３１でデジタルに変換されて２値化または多値化されたデータを記憶するメモリ１３２と、モニタ１４の表示制御用の表示制御部１３３と、ロボットコントローラ１５に対する制御信号の通信制御を行う不図示の通信制御部と、ＣＰＵ１３５等とにより構成されている。このＣＰＵ１３５は、図示しないＲＯＭなどに格納されたプログラムに従って種々の画像処理および演算を行う。

また、画像処理装置１３は、カメラ１２から得られる画像、つまりメモリ１３２に記憶されたデータの画像における明暗分布を利用して、透明平板１１４の位置、姿勢および大きさ（存在領域）などを検出する処理を行う。

また、得られた透明平板１１４の位置および姿勢などの結果を、表示制御部１３３を通してモニ１４に表示する処理を行う。さらに、透明平板１１４の位置および姿勢などの結果から得られる制御信号を、ロボットコントローラ１５に送信する処理を行う。

モニタ１４は、例えばＬＣＤまたはＣＲＴなどの表示装置であり、ロボットコントローラ１５は、画像処理装置１３からの制御信号に従って、ロボットハンド１６の駆動制御を行うものである。ロボットハンド１６は、ロボットコントローラ１５の駆動制御に従って、載置台１１３の上面に載置された透明平板１１４をピックアップし、不図示のトレー等の収納部に整列して収納していくものである。

（画像撮像手段）
次に、縦横偏光度画像を撮像する画像撮像手段としてのカメラの構成について説明する。カメラ１２は、受光素子としてＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えばメガピクセルサイズの画素を有する透明平板１１４を含む周囲画像を取得する。本実施形態にかかる透明平板検出システム１におけるカメラ１２は、輝度画像に加えて、偏光画像を取得できるものである。この偏光画像を形成するためのカメラ１２について以下に述べる。

＜画像撮像手段の第一実施形態＞
カメラ１２は、図２に示すように、縦方向の偏光を透過する位置に偏光フィルタ２０ａを配置し縦偏光画像を撮影するカメラと、横方向の偏光を透過する位置に偏光フィルタ２０ｂを配置し横偏光画像を撮影するカメラとを備えたものである。このカメラ１２によれば、従来のカメラのように、偏光フィルタを回転させる時間のズレはなく、縦偏光画像と横偏光画像が同時に撮影することが可能となる。

また、ステレオ方式とは異なり、２台のカメラは近接配置可能である。近年、機器の小型化のニーズが高いため、図２に示したカメラ１２をさらに小型化する構成として、図３に示すようにレンズアレイ、偏光子のフィルタアレイを介して、一つの受光素子で撮像する構成を有するカメラ１２を用いることも好ましい。

図３は、カメラ１２の光学系２１の概略構成図を示している。この光学系２１は、垂直偏光画像と水平偏光画像を撮影する２系統の光学系を有するものであり、レンズアレイ２２と遮光スペーサ２３と偏光フィルタ２４とスペーサ２５及び固体撮像ユニット２６が積層されて形成されている。

レンズアレイ２２は、２つのレンズ２８ａ，２８ｂを有する。この２つのレンズ２８ａ，２８ｂは互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、光軸２７ａ，２７ｂを平行にして同一平面上に配置している。ここでレンズ２８ａ，２８ｂの光軸２７ａ，２７ｂと平行な方向をＺ軸、Ｚ軸に垂直な一方向をＸ軸、Ｚ軸とＸ軸に垂直な方向をＹ軸とすると、レンズ２８ａ，２８ｂは、同一のＸＹ平面上に配置されている。

遮光スペーサ２３は、２つの開口部２９ａ，２９ｂを有し、レンズアレイ２２に対して被写体側とは反対側に設けられている。２つの開口部２９ａ，２９ｂは光軸２７ａ，２７ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。

偏光フィルタ２４は、偏光面が９０度異なる２つの偏光子領域３０ａ，３０ｂを有し、遮光スペーサ２３に対してレンズアレイ２２とは反対側に設けられている。２つの偏光子領域３０ａ，３０ｂはそれぞれ光軸２７ａ，２７ｂを中心としてＸＹ平面と平行に設けられている。この偏光子領域３０ａ，３０ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。

スペーサ２５は、偏光フィルタ２４の偏光子領域３０ａ，３０ｂに対応する領域が貫通した開口部３１を有する矩形枠状に形成され、偏光フィルタ２４に対して遮光スペース２３とは反対側に設けられている。

固体撮像ユニット２６は、信号処理部を有する基板３２上に搭載された２つの固体撮像素子３３ａ，３３ｂを有し、スペーサ２５に対して偏光フィルタ２４とは反対側に設けられている。２つの固体撮像素子３３ａ，３３ｂの実際に被写体像が結像する撮像領域はそれぞれ光軸２７ａ，２７ｂを中心としてＸＹ平面と平行な同一平面上に設けられている。この固体撮像素子３３ａ，３３ｂは白黒のセンシングを行う場合は内部にカラーフィルタを有しなく、カラー画像のセンシングを行う場合は、カラーフィルタを前段に配置してやれば良い。

＜画像撮像手段の第二実施形態＞
また、図４に示すように、一つの撮像レンズ（レンズは同軸に複数枚でもよい）で画像を撮像し、レンズ後段で垂直偏光画像と水平偏光画像を分離し、それぞれの画像から縦横偏光度画像を形成する構成を有するカメラ１２を用いることも好ましい。

このカメラ１２は、縦偏光画像および横偏光画像を撮像するために、図４に示すように、１：１の透過性を備えるハーフミラーボックス３４と、ミラー３５と、垂直偏光フィルタ３６と、水平偏光フィルタ３７と、垂直偏光フィルタ３６を介して視野像を撮像するＣＣＤ３８と、水平偏光フィルタ３７を介して視野像を撮像するＣＣＤ３９を有するものである。上記第一実施形態のカメラ１２では、縦偏光画像と横偏光画像の同時撮影が可能であるが、視差が生じる。一方、第二実施形態のカメラ１２は、同一の撮像光学系（レンズ）を介して撮影するために視差が生じない。よって、検出領域が小さくてすみ、また視差ずれ補正などの処理が不要となる。

なお、ハーフミラーに替えて、横偏光を反射し、縦偏光を透過するプリズムである偏光ビームスプリッタを用いても良い。偏光ビームスプリッタを用いた場合は、垂直偏光フィルタ３６および水平偏光フィルタ３７が不要となるため、光学系の簡素化が図れるとともに、光利用効率も向上させることができる。

＜画像撮像手段の第三実施形態＞
また、図５に示すように、一つの撮像レンズ（レンズは同軸に複数枚でもよい）で撮像し、レンズ後段に縦偏光のみを通す偏光子領域と横偏光の光のみを通す偏光子領域を有する領域分割型のフィルタ２４を配置した構成を有するカメラ１２を用いることも好ましい。ここで、偏光子領域としては、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式により境界部が明瞭な領域分割型の偏光子フィルタを形成できる。

上記第二実施形態のカメラ１２では、縦偏光画像と横偏光画像をプリズム分岐するために光学系が大型化し、２つの受光素子が必要である。一方、第三実施形態のカメラ１２は、撮像レンズの同軸上の光学系で横偏光画像と縦偏光画像の取得が可能である。

ここで、領域分割型のフィルタの構成としては、受光素子の画素に１：１対応させるものに限られず、例えば、図６に示すような構成であることも好ましい。図６において、縦横に並ぶ正方形が各受光素子の受光部（受光素子アレイ４０）を示しており、２種類の斜めの帯が縦横方向２種類の偏光フィルタ領域４１，４２を示す。各フィルタ領域４１，４２は、幅１画素、つまり横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは２、つまり横方向に１画素分進む間に縦方向に２画素分変化する角度を持つ斜めの帯の形状をとなっている。

このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも画面全体で各フィルタ透過画像を再現することを可能とし、低コストにこのような画像撮像装置を実現できる。

以上説明したように、本実施形態にかかる透明平板検出システム１におけるカメラ１２は、偏光画像を取得可能である。また、カメラ１２は、好ましくはリアルタイムに透明平板画像を取得し、取得された透明平板画像は、画像処理装置１３に供給される。

（透明平板検出）
本実施形態にかかる透明平板検出システム１におけるカメラ１２は、特に、透明平板１１４を斜めに透過する光の偏光状態の変化を利用するものである。平行な平板に入射した光は垂直成分（Ｐ成分）と水平成分（Ｓ成分）で透過率に差異が生じる。

具体的には、図７に示すように、Ｓ成分は単調に減少するのに対して、Ｐ成分は一度増加した後に減少する特性を有する。なお、図７に示す例は、屈折率１．５のガラス平板に入射角θで入射した光の透過率特性を示したものである。

透明平板検出システム１は、このようなＰ成分とＳ成分の透過率変化を利用するものである。ここで、図７からわかるとおり、約７０度の仰角を有するときにＰとＳの差が大きくなるとともに、Ｐ成分の透過率が十分に高い（９０％以上）ことから、仰角θは、例えば５０〜７０度の範囲に設定することが好適である。

上述のようにカメラ１２は、縦横偏光度画像が撮影可能であり、水平成分（Ｓ成分）から垂直成分（Ｐ成分）の偏光方向に対して階調を有するものである（例えば、２５６階調）。すなわち、Ｐ成分の光が入射した場合は暗部、Ｓ成分の光が入射した場合は明部というように表示される。

カメラ１２による撮影結果の一例を図８に示す。なお、図８（ａ）はモノクロ輝度画像で、図８（ｂ）は縦横偏光度画像の例である。

図８（ｂ）に示すように、透明平板１１４を通過しない背景部分の縦横偏光度は明部となる。これに対して透明平板１１４を通過した領域の縦横偏光度は、Ｓ成分は透明平板下側に反射されて減衰するのに対して、Ｐ成分はそのまま透過するため、結果的にＰ成分の光が強調され、透明平板の部分は暗部の方向にずれる。一方、図８（ａ）に示すように、モノクロ輝度画像では透明平板１１４のエッジ部だけがわずかに白くなり、画像処理上、載置台１１３との切り分けが難しい。

このように、縦横偏光度画像を用いると、透明平板領域とその他の部分とのコントラストが明瞭にとれるため、以下に述べる画像処理フローによって透明平板領域の抽出が可能となる。

（透明平板領域抽出フローの第一実施形態）
図９に、図８に示したような透明平板透過光を検出する場合に、透明平板検出システム１の画像処理装置１４が実行する処理フローを示す。

先ず、カメラ１２により縦横偏光度撮像が行われ（ステップＳ１０１）、撮像で得られた各画素の縦横偏光度信号がＡ／Ｄ変換部１４１によりＡ／Ｄ変換されてデジタル化される（ステップＳ１０２）。

次に、カメラ仰角に応じて２値化処理の閾値設定を行い（ステップＳ１０３ａ）、２値化される（ステップＳ１０３ｂ）。この２値化された各画素値が画像データとしてメモリ１３２に記憶される（ステップＳ１０４）。

次に、各暗部の識別のために明部の塊（図１０に抽出結果の一例を示す）についてラベリングを行い（ステップＳ１０５）、所定の面積以上の明部の塊を検出する。さらに、所定の面積以上の明部の塊について、重心および２次モーメントを計算し、得られた明部の塊の重心を透明平板１１４の位置として求め、２次モーメントの方向を透明平板１１４の姿勢として求める処理がＣＰＵ１３５により実行される（ステップＳ１０６）。

このように、先ず、所定の面積以上の明部の塊を検出することで、透明平板１１４を画像処理において検出することができる。さらに、検出した所定の面積以上の明部の塊について、重心および２次モーメントを計算することにより、位置および姿勢を求めることができる。

以上の検出処理の後、透明平板１１４の位置および姿勢のデータから得られる制御信号をロボットコントローラ１５に送信する処理がＣＰＵ１３５により実行され、ロボットコントローラ１５が駆動制御されることにより、透明平板１１４が、上記姿勢に合わせてロボットハンド１６によりピックアップされて、不図示のトレーに整列して詰め込まれる（ステップＳ１０７）。この詰込みは検出された各透明平板１１４の全てについて終了するまで繰り返される（ステップＳ１０８及びＳ１０９）。

なお、上記の処理における縦横偏光度の算出は以下のとおり行われる。カメラ１２にて垂直偏光成分（Ｐ）と水平偏光成分（Ｓ）、およびこれを包含した偏光ＲＡＷ画像データを取得する。縦横偏光度情報処理部は取得された縦偏光成分（Ｐ偏光成分、Ｐ成分とも呼ぶ）と横偏光成分（Ｓ偏光成分、Ｓ成分とよぶ）を用いて、縦横偏光度画像の作成および縦横偏光度の算出を行う。ここで、縦横偏光度画像データは、次式（１）により得られる。
縦横偏光度＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分） …（１）

また、ロボットハンド１６でピックアップをする際に、図１０のような斜めの画像（台形画像）では中心位置などの判別が難しい場合もあるため、例えば、アフィン変換などの台形歪補正処理を行うようにすることも好ましい。これにより、図１０に示したような画像を図１１に示すような真上から見た画像に変換することで重心位置の抽出精度を向上することができる。

また、位置および姿勢を算出する際、あらかじめテンプレートを用意しておき、そのテンプレートに基づいて位置および姿勢を算出するようにしても良い。例えば、透明平板は図８に示したような長方形状のものに限定されるものではなく、あらかじめ、例えば１度おきに回転した画像を予めテンプレートとして用意しておき、そのテンプレートに基づいて回転状態に応じた姿勢を算出するものであってもよい。

なお、画像処理装置１３によるその他の画像処理、すなわち、２値化処理、ラベリング処理、重心および２次モーメント算出処理等の各画像処理は、公知または新規のアルゴリズムによれば良く、特に限られるものではないため、詳細な説明は省略する。また、各画像処理に用いる閾値は、カメラ仰角θや透明平板１１４の大きさ、形状等に応じて設定するものであれば良い。

以上説明したように、本実施形態に係る透明平板検出システム１によれば、反射面１１１から透明平板１１４に斜入射する透過光の偏光状態の変化を利用するとともに、正反射光による不要光を遮断した構成であるため、透明平板１１４の存在する部分のコントラストを上げることができ、透明平板を検出することができる。これにより、縦横偏光度画像を取り込めるようにしたので透明平板下地の偏光フィルタの方向に依存せずに透明平板１１４の偏光変化を検出することが可能となり、キャリブレーション作業が不要となる。また、回転機構は不要となる（課題３）。また、画像撮像手段に透明平板からの正反射光が入射しないようにし、透明平板１１４の透過光を利用するように構成したものであるため、専用の照明手段を配置する必要がなく、蛍光灯１０１下であっても、透明平板１１４の検出が可能となる（課題１）。さらに、トレー上に載置台１１３を設置し、その上に透明平板１１４を配置したものや、トレー上にそのまま透明平板を配置された状態で透明平板１１４の検出が可能となる（課題２）。

また、画像処理により検出した透明平板１１４の位置および姿勢を簡易かつ精度良く求めることができる。さらに、求めた透明平板１１４の位置および姿勢に基づいて、ロボットハンド１６により精度よく透明平板１１４のピックアップが可能となる。

（欠陥検査）
また、透明平板検出システム１は、透明平板１１４の位置および姿勢の検出と合わせて、欠け、ばりなどの欠陥の有無を検査することも好ましい。

先ず、上記同様、透明平板１１４の存在領域を特定する。ここで、透明平板１１４に欠け４３の欠陥があると、図１２に示すように、得られた（２値の）縦横偏光度画像における明部は、良品の場合の透明平板の存在領域よりも小さくなる。また、透明平板１１４にばり４４の欠陥があると、図１３に示すように、透明平板の存在領域をはみ出す。

そこで、良品の場合の透明平板１１４の存在領域の画素数は既知であるから、その画素数から欠陥の有無を判別するための基準として、画素数の上限値および下限値で規定される正常範囲を設定し、透明平板１１４の存在領域を特定した後、透明平板１１４の明部の画素数をカウントし、このカウント値が正常範囲内であれば、欠陥無しと判定し、カウント値が正常範囲の上限値より大きければ、ばり４４欠陥有りと判定し、カウント値が正常範囲の下限値より小さければ、欠け４３欠陥有りと判定することができる。これにより、透明平板１１４に生じうる欠け、ばりなどの形状的欠陥の検出が可能となり、良品／不良品の判別等が可能となる。

（透明体異物検査）
また、透明平板検出システム１は、透光性の瓶の内部における透明異物の有無を検査する瓶内の透明異物検査に用いることも好ましい。すなわち、透明異物が存在すると、縦横偏光度画像は、透明異物が暗いもしくは明るい塊となって映ったものとなる。よって、画像に塊となって映る部分の有無に応じて、透明異物の有無を判定することができる。これにより、空瓶または透明な液体の入った瓶中に残った透明異物の検出が可能となる。

（透明平板領域抽出フローの第二実施形態）
透明平板検出システム１の画像処理装置１４が実行する他の処理フローについて説明する。透明平板領域抽出フローの第二実施形態は、第一実施形態と異なり、縦横偏光度画像に加えて、輝度画像を用いて、汚れ、傷、クラックなどの欠陥や、ロゴやマークなどの文字情報、画像情報を検出して詰め込み時の分類方法を増やすものである。

カメラ１２からの偏光情報を用いたモノクロ輝度情報の生成について説明する。モノクロ輝度処理部は、取得されたＰ成分とＳ成分を用い、モノクロ画像の作成と輝度情報の算出を行う。また、モノクロ輝度は、次式（２）により、輝度情報画像データも生成し、出力することにより得られる。
モノクロ輝度＝Ｐ偏光成分＋Ｓ偏光成分 …（２）

透明平板１１４に生じる汚れ、傷、クラックなどの欠陥の有無を検査する場合、上記処理フロー１により、透明平板１１４の位置および姿勢を求め、透明平板１１４の存在領域を特定する。

ここで、透明平板１１４に欠陥が無い場合、モノクロ輝度画像で得られた画像上の上記存在領域内は、図１４に示すように、コントラストの低い画像になる。これに対し、透明平板に欠陥（例えば、汚れ４５）があると、図１５に示すように、その汚れ４５に対応する部分が周囲よりも暗くなり、汚れ部分に対応する領域内は、一部コントラストの高い画像になる。

そこで、輝度画像上のその存在領域内において、モノクロ輝度画像の輝度分布の変化部分の大きさや変化の程度が正常な範囲内であるかを判定する、すなわち、所定の明るさ以下の画素数の計測を行い、この計測結果に応じて欠陥の有無を判定すればよく、例えば、計測結果の画素数が所定の検査しきい値以上であれば欠陥有りと判定し、そうでなければ欠陥無しと判定することができる。これにより、透明平板上に生じうる汚れ、傷、クラックなどの外観上の欠陥の検出が可能となり、良品／不良品の判別等が可能となる。

また、縦横偏光度画像で透明平板１１４の位置や姿勢を特定した後に、モノクロ輝度画像の輝度分布の変化部分の大きさや変化の程度に基づいて、透明平板表面に記入されたロゴやマークなどの文字情報や図柄情報も検知することも好ましい。これにより、文字情報や図柄情報に基づく透明平板１１４のピッキングなども可能となる。

（透明平板検出システム）
＜第二の実施形態＞
以下、本発明に係る透明平板検出システムの他の実施形態に係る透明平板検出システムについて説明する。本実施形態に係る透明平板検出システム１は、透明平板１１４を含む領域を、該透明平板１１４の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像する画像撮像手段（カメラ１２）と、透明平板１１４の平面部法線に対して、画像撮像手段と対向するように配置され、透明平板１１４の平面部からの正反射光が画像撮像手段に入射するように仰角を有する反射板１０３と、垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて透明平板１１４を検出する画像処理装置１３とを備えるものである。

図１６は透明平板検出システム１の概略構成図である。透明平板検出システム１は、透明平板載置部１１と、カメラ１２と、画像処理装置１３と、モニタ１４と、ロボットコントローラ１５と、ロボットハンド１６から構成されている。第二の実施形態に係る透明平板検出システム１は、遮光板１０２の代わりに反射板１０３を具備している。なお、以下、第一の実施形態と同様の点についての説明は適宜省略する。

透明平板検出システム１は、例えば、工場等の屋内に設置されるものであり、蛍光灯１０１等の室内照明下に配置される。また、透明平板載置部１１の載置台１１３と地面とが平行となるように配置され、カメラ１２は載置台１１３の法線方向から後述する所定角度の仰角を有して透明平板１１４を撮像するように配置されている。さらに、透明平板１１４への室内照明が直接照射されないようにする一方、蛍光灯１０１からの直接光ではなく周辺からの光を透明平板１１４に入射させて、その反射光がカメラ１２に入射される位置に配置された反射板１０３を備えている。但し、真上の蛍光灯１０１については部分遮光で良い。なお、反射板１０３としては、例えば、プラスチック板などを用いればよい。

反射板１０３を配置することにより、蛍光灯１０１からの直接反射光としての不要反射光が除去され、反射板１０３から入射する透明平板反射光をカメラ１２は撮像することとなり、反射する際に生じる偏光状態の変化を蛍光灯１０１などの外乱光に乱されることなく検出できるため、透明平板１１４の検出精度が向上する。

本実施形態のように、透明平板反射光を用いる場合は、透明平板１１４の下側の状態は特に限られるものではないが、Ｐ成分を特に反射するような材質を用いるのが好ましい。Ｐ成分を反射するような材質としては、例えば、プラスチックなどの内部散乱する材質が挙げられる。そのため、例えば、透明平板１１４の下側にプラスチックのトレーなどを配置すると透明平板１１４と背景との明暗が明瞭となる。

（透明平板検出）
本実施形態にかかる透明平板検出システム１におけるカメラ１２は、特に、透明平板１１４を斜めに入射し反射する光の偏光状態の変化を利用するものである。平行な平板に入射した光は垂直成分（Ｐ成分）と水平成分（Ｓ成分）で反射率に差異が生じる。

具体的には、図１７に示すように、Ｓ成分は単調に増加するのに対して、Ｐ成分は一度減少した後に増加する特性を有する。なお、図１７に示す例は、屈折率１．５のガラス平板に入射角θで入射した光の透過率特性を示したものである。

透明平板検出システム１は、このようなＰ成分とＳ成分の反射率変化を利用するものである。ここで、図１７からわかるとおり、約７０度の仰角を有するときにＰとＳの差が大きくなるとともに、Ｓ成分の反射率が高い（２０％以上）ことから、仰角θは、例えば５０〜７０度の範囲に設定することが好適である。

上述のようにカメラ１２は、縦横偏光度画像が撮影可能であり、水平成分（Ｓ成分）から垂直成分（Ｐ成分）の偏光方向に対して階調を有するものである（例えば、２５６階調）。すなわち、Ｓ成分の光が入射した場合は暗部、Ｐ成分の光が入射した場合は明部というように表示される。

カメラ１２による撮影結果の一例を図１８に示す。なお、図１８（ａ）はモノクロ輝度画像で、図１８（ｂ）は縦横偏光度画像の例である。

図１８（ｂ）に示すように、透明平板１１４を通過しない背景部分の縦横偏光度は暗部となるような下地を選択した場合、これに対して透明平板１１４を反射した領域の縦横偏光度は、明部にずれる。一方、図１８（ａ）に示すように、モノクロ輝度画像では透明平板１１４のエッジ部だけがわずかに白くなり、画像処理上、載置台１１３との切り分けが難しい。

このように、縦横偏光度画像を用いると、撮像で得られる画像における透明平板１１４の存在領域に対応する部分が、明部または暗部となって背景とのコントラストが高くなるため、上述した画像処理フローによって透明平板領域の検出、さらに、透明平板の位置、姿勢および大きさなどを検出することが可能となる。

以上説明したように、本実施形態に係る透明平板検出システム１によれば、反射面１１１から透明平板１１４に斜入射する透過光の偏光状態の変化を利用するとともに、正反射光による不要光を遮断した構成であるため、透明平板１１４の存在する部分のコントラストを上げることができ、透明平板１１４を検出することができる。これにより、縦横偏光度画像を取り込めるようにしたので透明平板下地の偏光フィルタの方向に依存せずに透明平板１１４の偏光変化を検出することが可能となり、キャリブレーション作業が不要となる。また、回転機構は不要となる（課題３）。また、画像撮像手段に透明平板からの正反射光が入射しないようにし、透明平板１１４の透過光を利用するように構成したものであるため、専用の照明手段を配置する必要がなく、蛍光灯１０１下であっても、透明平板１１４の検出が可能となる（課題１）。さらに、トレー上に載置台１１３を設置し、その上に透明平板１１４を配置したものや、トレー上にそのまま透明平板を配置された状態で透明平板１１４の検出が可能となる（課題２）。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、本発明に係る透明平板検出システムによる検出対象は、上述の処理により検出可能なものであればよく、透明平板に限られず他の透明体に適用可能である。また、透明体の材質は、プラスチック、ガラス等に限られるものではなく、他の材質であっても良い。

１ 透明平板検出システム
１１ 透明平板載置部
１２ カメラ（画像撮像手段）
１３ 画像処理装置
１４ モニタ
１５ ロボットコントローラ
１６ ロボットハンド
２０ａ，２０ｂ 偏光フィルタ
２１ 光学系
２２ レンズアレイ
２３ 遮光スペーサ
２４ 偏光フィルタ
２５ スペーサ
２６ 固体撮像ユニット
２７ａ，２７ｂ 光軸
２８ａ，２８ｂ レンズ
２９ａ，２９ｂ 開口部
３０ａ，３０ｂ 偏光子領域
３１ 開口部
３２ 基板
３３ａ，３３ｂ 固体撮像素子
３４ ハーフミラーボックス
３５ ミラー
３６ 垂直偏光フィルタ
３７ 水平偏光フィルタ
３８，３９ ＣＣＤ
４０ 受光素子アレイ
４１ 偏光フィルタ領域（縦）
４２ 偏光フィルタ領域（横）
４３ 欠け
４４ ばり
４５ 汚れ
１０１ 蛍光灯
１０２ 遮光板
１０３ 反射板
１１１ 反射面
１１３ 載置台
１１４ 透明平板
１３１ Ａ／Ｄ変換部
１３２ メモリ
１３３ 表示制御部
１３５ ＣＰＵ

特開２００２− ９８６５０号公報 特開平９−１６６５５２号公報

Claims (7)

1. 透明平板を含む領域を、該透明平板の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、
   前記透明平板を載置する載置台と、
   前記透明平板と前記画像撮像手段の光路上、前記載置台の下側に設置された反射面と、
   前記透明平板の平面部法線に対して、前記画像撮像手段と対向するように配置され、前記透明平板の平面部からの正反射光が前記画像撮像手段に入射しないように遮光する遮光板と、
   前記垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて前記透明平板を検出する画像処理装置と
   を備えることを特徴とする透明平板検出システム。
2. 透明平板を含む領域を、該透明平板の平面部法線方向に対して所定の角度から撮像して、垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、
   前記透明平板の平面部法線に対して、前記画像撮像手段と対向するように配置され、前記透明平板の平面部からの正反射光が前記画像撮像手段に入射するように仰角を有する反射板と、
   前記垂直偏光画像および水平偏光画像に基づく縦横偏光度画像の縦横偏光度の分布に基づいて前記透明平板を検出する画像処理装置と
   を備えることを特徴とする透明平板検出システム。
3. 前記画像処理装置は、検出した前記透明平板の位置および姿勢を検出することを特徴とする請求項１または２のいずれかに記載の透明平板検出システム。
4. ロボットハンドおよび該ロボットハンドを制御するロボットコントローラを備え、
   前記ロボットコントローラは、前記ロボットハンドを、検出された前記透明平板の位置に基づいて移動させ、検出された前記透明平板の姿勢に基づいて前記透明平板をピックアップさせることを特徴とする請求項３に記載の透明平板検出システム。
5. 前記画像処理装置は、検出した前記透明平板の位置および姿勢に基づいて前記透明平板の存在領域を決定し、
   ２以上の前記透明平板の存在領域を比較して、前記透明平板の形状的欠陥を検出することを特徴とする請求項３または４のいずれかに記載の透明平板検出システム。
6. 前記画像処理装置は、検出した前記透明平板の位置および姿勢に基づいて前記透明平板の存在領域を決定し、
   かつ、前記垂直偏光画像および水平偏光画像に基づくモノクロ輝度画像の輝度分布に基づいて前記透明平板の外観的欠陥を検出することを特徴とする請求項３から５までのいずれかに記載の透明平板検出システム。
7. 前記画像処理装置は、検出した前記透明平板の位置および姿勢に基づいて前記透明平板の存在領域を決定し、
   かつ、前記垂直偏光画像および水平偏光画像に基づくモノクロ輝度画像の輝度分布に基づいて前記透明平板表面に記された文字および／または図柄情報を検出することを特徴とする請求項３から６までのいずれかに記載の透明平板検出システム。