JP2023034025A - 撮像システムおよびその制御方法 - Google Patents

Abstract

【課題】被写体や状況によらず、偏光情報を安定して抽出することが可能な技術を提供する。
【解決手段】処理装置が、異なる撮影条件で透明物体を撮影するために、照明装置と偏光カメラのいずれか又は両方を制御する制御手段と、異なる撮影条件で撮影された複数の元画像を取得する画像取得手段と、前記複数の元画像のそれぞれに対し、各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、前記偏光抽出処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、を有する。
【選択図】図７

Description

本発明は、透明物体を画像化するための技術に関する。

透過軸方向の異なる偏光子が規則的に配置された撮像素子を有する偏光カメラを用いて、透明物体を画像化する技術が知られている（特許文献１参照）。このような技術は、例えば、ガラスや透明樹脂からなる物品の検出や検査などへの応用が期待されている。

特開２０２０－１７６８８号公報

透明物体に光を当てると、一部の光が透明物体の表面で鏡面反射する。鏡面反射した光は偏光特性を持つため、偏光カメラで観測することができ、その観測結果をもとに透明物体の表面（反射面）を画像化することができる。

しかしながら、偏光カメラには、鏡面反射光だけでなく、被写体や背景などで拡散反射した光も入射し、それがノイズ要因となる場合がある。また、照明と被写体の間の距離が遠すぎるために鏡面反射光が非常に弱くなり偏光情報の抽出が困難になったり、逆に、照明と被写体が近すぎ、鏡面反射光が明るすぎていわゆる白飛び（反射光が偏光カメラのダイナミックレンジを超えること）が発生し、偏光情報の抽出ができなくなることもある。とはいえ、機材の配置や被写体の選び方によって、透明物体の形状や反射特性、背景の状況、透明物体と照明のあいだの相対距離や相対的な位置関係などは様々であるため、あらゆる被写体ないしあらゆる状況に対して安定的に偏光情報を抽出可能なシステムを実現することは難しい。そのため、偏光カメラを利用した検出や検査を安定して行うには、対象となる被写体ないし状況に応じて、撮影条件などを調整する（追い込む）作業が必要となることが一般的である。しかし、そのような調整作業には高度なスキルおよび知識と試行錯誤が必要であるし、手作業の発生は物品の検出もしくは検査の省力化や自動化への阻害要因ともなる。また、撮影条件の調整が極めて困難なケースもある。例えば、視野内のある部分に合わせて照明の明るさを調整すると、他の部分で白飛びあるいは露光不足が発生してしまう、というような状況である。このような問題は、偏光カメラの視野内に複数の被写体が存在し、被写体ごとに照明との相対距離や相対位置が相違するケースなどで、顕著となる可能性がある。

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、被写体や状況によらず、偏光情報を安定して抽出することが可能な技術を提供することにある。

本発明は、透明物体を画像化するための撮像システムであって、透明物体を照明するための照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備え、前記処理装置は、異なる撮影条件で前記透明物体を撮影するために、前記照明装置と前記偏光カメラのいずれか又は両方を制御する制御手段と、異なる撮影条件で撮影された複数の元画像を取得する画像取得手段と、前記複数の元画像のそれぞれに対し、各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、前記偏光抽出
処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、を有することを特徴とする撮像システムを提供する。

機材の配置や被写体の選び方によって、透明物体の形状や反射特性、背景の状況、透明物体と照明のあいだの相対距離や相対的な位置関係などは様々である。そこで、本発明に係る撮像システムでは、同じ透明物体を異なる撮影条件で複数回撮影し、複数の元画像を取得する。いずれかの撮影条件がマッチすれば、当該透明物体の偏光情報を抽出するのに適した元画像が少なくとも１枚は得られるものと期待できる。したがって、複数の元画像のそれぞれから抽出した偏光情報を用いることによって、被写体や状況によらず、偏光情報を安定して抽出することが可能となる。

前記画像生成手段は、前記複数の元画像のそれぞれから抽出された前記複数の偏光情報のうち偏光情報の信頼度が最も高いものを選択する操作を画素ごとに行い、各画素について選択された偏光情報を用いて前記偏光情報画像を生成してもよい。

複数の元画像から信頼度の高い偏光情報を集めることにより、良好な偏光情報画像を生成することができる。ここで、全ての画素について、同じ元画像から抽出された偏光情報が選択されるとは限らない。なぜなら、偏光カメラの視野内の位置によって、反射面の形状・向きや反射特性が異なっていたり、反射面に到達する照明光の強度が異なっていたり、拡散反射の影響が異なっていたりするからである。したがって、画素ごとに最適な偏光情報を選択し、それらを用いて最終的な偏光情報画像を生成することで、視野内の位置によらず、信頼度の高い偏光情報画像を得ることができる。またこの方法を用いれば、偏光カメラの視野内に複数の被写体が存在する場合でも（さらに言うと、形状、反射特性、あるいは姿勢の異なる複数の被写体が混在している場合でも）、全ての被写体の偏光情報を精度よく抽出することができる。

前記画像生成手段は、前記複数の偏光情報のうち偏光の程度が最も強いものを、偏光情報の信頼度が最も高いものとみなしてもよい。「偏光の程度が最も強い」とは、偏光成分が最も明りょうに観測されていることをいう。偏光の程度が強く現れているほど（偏光成分がより明りょうに観測されているほど）、その偏光情報の信頼性が高いと考えることができる。したがって、１つの画素について得られた複数の偏光情報のうちから偏光の程度が最も強いものを選択することで、当該画素（つまり、当該画素に対応する透明物体の反射面上の領域）に関する最も信頼度の高い偏光情報を得ることができる 。

前記制御手段は、明るさが異なる複数の元画像が得られるように、前記照明装置と前記偏光カメラのいずれか又は両方を制御してもよい。鏡面反射光が弱すぎると偏光情報の抽出が困難となるし、鏡面反射光が強すぎても白飛びにより偏光情報が抽出できないため、偏光情報を精度よく抽出するには適切な強度の鏡面反射光を観測することが肝要である。本発明のように明るさが異なる複数の元画像を撮影すれば、いずれかの元画像において適切な強度の鏡面反射光が観測できており、その元画像から信頼性の高い偏光情報を抽出することができると期待できる。

前記制御手段は、前記撮影条件として「前記照明装置の照明強度」を異ならせる制御を行ってもよいし、前記撮影条件として「前記偏光カメラの露光時間」を異ならせる制御を行ってもよいし、前記撮影条件として「前記偏光カメラのゲイン」を異ならせる制御を行ってもよい。制御手段は、「前記照明装置の照明強度」、「前記偏光カメラの露光時間」、「前記偏光カメラのゲイン」のうちの２つ以上を同時に制御してもよい。

前記制御手段は、前記透明物体に対する照明方向が異なる複数の元画像が得られるよう
に、前記照明装置を制御してもよい。照明方向を変えると、背景などでの拡散反射の状況が変化する。それゆえ、照明方向を変えて撮影した複数の元画像の中から、拡散反射光成分の影響（すなわちノイズ）が最も少なく偏光成分が最も明りょうに現れているものを選択することで、より信頼性の高い偏光情報の抽出が可能となる。

前記照明装置は、独立に点灯可能な複数の光源を有しており、前記制御手段は、点灯する光源を切り替えることによって、前記透明物体に対する照明方向を異ならせてもよい。このような照明装置を用いることで、簡易な制御で高速に照明方向の切り替えが可能となるので、撮影のタクトタイムを短くすることができる。

前記偏光抽出処理は、前記元画像の各画素の偏光情報を算出した後に、その算出結果に含まれるノイズを除去ないし低減するノイズ除去処理を含んでもよい。ノイズ除去処理を行うことにより、高品位な偏光情報を抽出することができる。

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、非類似と判断した場合に、前記対象画素の偏光情報を削除する処理を含んでもよい。このような処理により、信頼性の低い偏光情報を除去することができる。

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、類似と判断した場合に、前記対象画素の偏光情報を、前記対象画素と前記周辺画素のなかから選択した画素の偏光情報で置き換える処理を含んでもよい。このような処理により、偏光情報がスムージングされるため、偏光情報のＳＮ比をさらに向上することができる。

本発明は、照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える撮像システムの制御方法であって、前記照明装置と前記偏光カメラのいずれか又は両方を制御することによって、異なる撮影条件で透明物体を撮影するステップと、異なる撮影条件で撮影された複数の元画像を前記処理装置に取り込むステップと、前記処理装置によって、前記複数の元画像のそれぞれに対し、各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成するステップと、を含むことを特徴とする制御方法を提供してもよい。

本発明は、上記制御方法の各ステップをプロセッサに実行させるためのプログラムを提供してもよい。

本発明は、上記手段の少なくとも一部を有する撮像システムとして捉えてもよいし、処理装置、制御装置、あるいは画像処理装置として捉えてもよい。また、本発明は、撮像システムで得られた偏光情報画像を用いて透明物体を検出ないし検査する装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む撮像システムの制御方法、画像処理方法、検出方法、あるいは検査方法として捉えてもよいし、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、被写体や状況によらず、偏光情報を安定して抽出することが可能である。

図１は、本発明の実施形態に係る撮像システムの全体構成を模式的に示す図である。 図２は、偏光カメラの構造を模式的に示す図である。 図３Ａは、照明装置の構造を模式的に示す図であり、図３Ｂおよび図３Ｃは照明装置の他の構成例を示す図である。 図４は、処理装置の論理構成（機能構成）を示すブロック図である。 図５Ａおよび図５Ｂは、鏡面反射を説明する図である。 図６は、偏光カメラの画像から偏光成分を抽出する方法を説明する図である。 図７は、撮像システムの動作の一例を示すフローチャートである。 図８は、画像処理パラメータ入力用のユーザインターフェイスの一例である。 図９は、偏光情報算出処理のフローチャートである。 図１０Ａ～図１０Ｄは、近傍画素の例を示す図である。 図１１Ａは、曲面部分での鏡面反射の例を示す図であり、図１１Ｂは、偏光が入射する範囲が狭小である場合のマスクサイズの選択例を示す図である。 図１２は、大きいマスクサイズが適している例を示す図である。 図１３は、ノイズ除去処理のフローチャートである。 図１４は、比較範囲の例を示す図である。 図１５は、画像生成処理のフローチャートである。 図１６Ａは、ネストに配置されたシリンジを天頂カメラで観測する様子を示す図であり、図１６Ｂは、視野内の位置による照明光の強度の不均一を説明するための図である。 図１７は、照明強度を段階的に変えたときの偏光強度画像の違いと、それらを合成した偏光強度画像の例を示す図である。 図１８Ａ、図１８Ｂは、第２実施形態を説明するための図である。

＜第１実施形態＞
（システム構成）
図１は、本発明の第１実施形態に係る撮像システムの全体構成を模式的に示している。この撮像システム１は、偏光カメラ１０を利用して透明物体を画像化するためのシステムであり、例えば、工場の製造ラインにおいて透明物体の検出や検査を行うために利用される。

撮像システム１は、主な構成として、偏光カメラ１０、照明装置１１、処理装置１２、ステージ１３を有して構成される。偏光カメラ１０は、偏光子が配列された撮像素子を有する撮像手段である。照明装置１１は、ステージ１３に配置された被写体（透明物体）Ｗに照明光Ｌを照射するための光源である。処理装置１２は、撮像システム１全体の制御、および、偏光カメラ１０で撮影された画像を用いた情報処理を実行する装置である。ステージ１３は、被写体Ｗを載置ないし保持するための装置である。

偏光カメラ１０は、ステージ１３に配置された被写体Ｗを天頂方向から撮影するように配置されている。ステージ１３と平行にＸ，Ｙ軸をとり、ステージ１３に垂直にＺ軸をとったＸＹＺ座標系を考えた場合、偏光カメラ１０の光軸はＺ軸に平行となる。本システムでは、被写体Ｗで鏡面反射した光を偏光カメラ１０で捉えることが目的のため、被写体表面に対する照明光Ｌの入射角ができるだけブリュースター角に近い方が望ましい。そこで本実施形態では、照明装置１１をステージ１３とほぼ同じ高さに（実際上は、照明光Ｌが
ステージ１３で遮られないよう、照明装置１１の下端がステージ１３の上端とほぼ同じ高さになる程度に）配置し、照明光Ｌがほぼ真横（Ｚ軸に対し垂直な方向）から被写体Ｗに入射するようにしている。このような照明配置をローアングル照明とも称する。本実施形態のような天頂カメラとローアングル照明の組み合わせでは、被写体表面への入射角が約４５度となる照明光Ｌの鏡面反射Ｒが偏光カメラ１０で捉えられることとなる。なお、入射角をよりブリュースター角に近づけるために、被写体Ｗよりも低い位置から照明光Ｌを当てるような照明配置を採用したり、偏光カメラ１０の光軸を照明装置１１とは反対側に倒したりしてもよい。

（偏光カメラ）
図２を参照して、偏光カメラ１０の構成の一例を説明する。図２は、偏光カメラ１０の構造を模式的に示す図である。

偏光カメラ１０は、撮像素子２０に偏光子アレイ２１を組み合わせた構造を有する。撮像素子２０は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの光電変換素子（画素とも称する）が２次元的に配列されたデバイスであり、イメージセンサとも呼ばれる。偏光子アレイ２１は、多数の偏光子が２次元的に配列されたデバイスであり、１つの偏光子２１０が撮像素子２０の１つの画素（受光素子）２００に対応するように位置およびサイズが設計されている。偏光子２１０は、特定の方向の直線偏光のみを通過させる性質をもつ光学素子である（偏光子２１０が透過する直線偏光の振動方向を、その偏光子２１０の透過軸方向と呼ぶ。）。本実施形態の偏光子アレイ２１は、図２に示すように、４種類の透過軸方向（０度、４５度、９０度、１３５度）の偏光子２１０が規則的に配列された構造を有する。具体的には、撮像素子２０の２×２の４画素に、それぞれ異なる透過軸方向（０度、４５度、９０度、１３５度）の直線偏光成分が入射するような配列パターンがとられている。

撮像素子２０および偏光子アレイ２１の解像度（画素ピッチ）およびサイズ（画素数）は、被写体や画像の用途に応じて適宜設計すればよい。偏光子アレイ２１の実現方法としては、ワイヤーグリッド、フォトニック結晶などがあるが、いずれの方法を用いてもよい。また、図２では、４種類の透過軸方向の偏光子を２×２の４画素に組み合わせたが、偏光子の透過軸方向のバリエーションや配列は他の構成でもよい。

（照明装置）
図３Ａを参照して、照明装置１１の構成の一例を説明する。図３Ａは、本実施形態の照明装置１１の構造を模式的に示す図であり、偏光カメラ１０側からステージ１３を視たときの様子を示している。

照明装置１１は、ステージ１３を囲むように配置された、４本の棒状照明３０から構成される。４本の棒状照明３０を同時に点灯すると、ステージ１３上の被写体Ｗを四方（Ｘ正方向、Ｘ負方向、Ｙ正方向、Ｙ負方向）から照明することができる。また、いずれかの棒状照明３０のみを選択的に点灯させれば、照明方向を切り換えることができる。棒状照明３０は、例えば、基板上に配置した複数のＬＥＤ光源とそれらを覆うように配置した拡散板により構成される。

なお、照明装置１１の構造は図３Ａに示すものに限られない。例えば、図３Ｂのような円環状の照明装置１１を用いてもよい。この構造でも被写体Ｗを全方位から同時に照明することができる。また、ＬＥＤ光源を選択的に点灯させることで照明方向を任意に切り換えることも可能である。また、全方位照明ではなく、図３Ｃに示すように特定の方向だけから被写体Ｗを照明する構成でもよい。例えば、被写体Ｗの存在範囲が限られていたり、検出したい被写体表面の角度が既知もしくは限られている場合には、必要な方向から照明
すれば足りる。あるいは、図３Ｃのような照明装置１１を用いた場合でも、照明装置１１と被写体Ｗの相対位置を変える（例えば、被写体Ｗをステージ上で回転させるなど）ことによって全方位的な撮影を行ってもよい。

（処理装置）
図４を参照して、処理装置１２の構成の一例を説明する。図４は、本実施形態の処理装置１２の論理構成（機能構成）を示すブロック図である。

処理装置１２は、主な構成として、カメラ制御部４０、照明制御部４１、画像処理部４２を有する。カメラ制御部４０は、偏光カメラ１０の制御を担う。例えば、カメラ制御部４０は、偏光カメラ１０の撮像条件（露光時間、ゲインなど）の制御、偏光カメラ１０からの画像データの取り込み、偏光カメラ１０のキャリブレーションなどを実行する。照明制御部４１は、照明装置１１の制御を担う。例えば、照明制御部４１は、照明条件（発光強度、発光時間など）の制御、光源ごとの点灯／消灯の制御などを実行する。画像処理部４２は、偏光カメラ１０から取り込まれた画像に対する処理を実行する。

本実施形態の画像処理部４２は、画像取得部４２０、偏光抽出部４２１、偏光情報画像生成部４２２、表示部４２３、パラメータ受付部４２４などの機能を有する。画像取得部４２０は、偏光カメラ１０によって撮影された画像（以下「元画像」とも称する）をカメラ制御部４０を介して取得する。偏光抽出部４２１は、元画像から偏光情報を抽出する偏光抽出処理を行う。偏光情報は、透明物体での鏡面反射に由来する偏光に関する情報である。偏光情報画像生成部４２２は、偏光抽出処理の抽出結果に基づいて偏光情報を表す画像（以下「偏光情報画像」とも称する）を生成する。表示部４２３は、生成された偏光情報画像をディスプレイ装置に表示する処理を行う。パラメータ受付部４２４は、撮像システム１の動作を決定する各種の条件設定（パラメータ）の変更を受け付ける機能である。画像処理部４２の各処理の詳細は後述する。

処理装置１２は、例えば、ＣＰＵ・ＧＰＵなどのプロセッサ、主記憶としてのメモリ、補助記憶としてのストレージ、ディスプレイ装置、マウスやタッチパネルなどの入力装置、ネットワークＩ／Ｆ等を備えたコンピュータにより構成してもよい。コンピュータとしては、パーソナルコンピュータ、タブレット端末、スマートフォン、フィールドコンピュータなどの汎用コンピュータを利用してもよいし、組み込み型コンピュータや専用装置でもよいし、偏光カメラ１０やＰＬＣ（Programmable logic Controller）といった他の装
置のコンピュータ資源を利用するものであってもよい。図４に示す構成は、ストレージなどに格納されたプログラムをメモリにロードしプロセッサによって実行することにより、実現される。ただし、図４に示す構成の一部もしくは全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの専用デバイスで構成してもよい。また、クラウドコンピューティングや分散コンピューティングを利用して、図４に示す構成の一部や処理の一部を他の装置で実行してもよい。

（偏光カメラによる透明物体検出）
偏光カメラによる透明物体検出の基本原理について説明する。

図５Ａに示すように、ガラスや透明樹脂などの透明物体Ｗに光５０が斜めに入射したとき、入射光５０の大部分は屈折光５１となり透明物体Ｗを透過するが、入射光５０の一部は透明物体Ｗの表面（界面）において鏡面反射し、反射光５２となる。この鏡面反射において、入射光５０に含まれるｐ波（電界の振動方向が入射面に平行な偏光成分）とｓ波（電界の振動方向が入射面に垂直な（つまり反射面に平行な）偏光成分）との間に反射率の差が生じる。図５Ｂは、横軸に入射角、縦軸に反射率をとり、ｓ波とｐ波の反射率の差の一例を示したものである。この例に示すように、ｓ波の反射率は入射角αに応じて単調増
加するが、ｐ波の反射率は入射角αが０度から増すに従い徐々に減少し、ある角度（ブリュースター角と呼ばれる）で反射率が０となる。したがって、鏡面反射の場合に観測される反射光５２は、ｓ波、すなわち、反射面である透明物体Ｗの表面に平行な方向に振動する偏光成分が支配的となる。このような性質を利用し、偏光カメラによって偏光をとらえることで、透明物体Ｗの表面（反射面）を画像化することができる。

ところで、偏光カメラには、鏡面反射による偏光だけでなく、被写体や背景などで拡散反射した光も入射する。透明物体の画像化においては、拡散反射光成分は不要でありアーチファクトの原因ともなることから、まずは偏光カメラの画像から偏光成分のみを抽出する必要がある。そのために、本実施形態では、偏光子による透過特性の違いを利用する。

図６を参照して、偏光カメラの画像から偏光成分を抽出する方法を説明する。受光素子で受光される偏光成分の強度は、偏光方向θと偏光子の透過軸方向とが一致した場合に最大となり、透過軸方向が偏光方向θからずれるに従い減少し、透過軸方向と偏光方向θが直交する場合に最小となる。つまり、偏光子の透過軸方向を０度～１８０度まで変化させていくと、受光素子で受光される偏光成分の強度は正弦波のように変化する。一方、入射光に含まれる拡散反射光成分の強度は、偏光子の透過軸方向に依らず、一定である。したがって、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて、入射光に含まれる偏光成分の情報だけを抽出することができる。

例えば、図６に示すように、透過軸方向が０度、４５度、９０度、１３５度の４種類の偏光子２１０を通して、偏光方向θの偏光成分を含む入射光を観測するケースを想定する。このとき、各偏光子２１０に対応する画素２００の値（透過光の光強度に相当）には、透過軸方向に依存した差が生じている。この４点の画素値に対し、正弦波をフィッティングすることで、偏光成分の偏光方向θおよび偏光強度を推定できる。図６において、フィッティングカーブが最大となる角度が偏光成分の偏光方向θを表し、フィッティングカーブの振幅が偏光強度（偏光度とも呼ぶ）を表している。偏光カメラ１０で得られた画像の各画素について、このような偏光抽出処理を適用することにより、偏光カメラ１０の視野内に存在する透明物体Ｗで鏡面反射した偏光の情報（偏光方向、偏光強度など）をとらえることができる。

本実施形態の偏光抽出部４２１による偏光抽出処理も、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて偏光情報を抽出する、という基本的な原理は同じである。ただし、精度やユーザビリティのさらなる向上を図るため、マスクサイズ（偏光を算出するときに参照する近傍画素の範囲を規定するパラメータ）の選択、ノイズ除去などのユニークな処理を加えている。詳しくは後述する。

（撮像システムの動作例）
図７のフローチャートに沿って、撮像システム１の動作の一例を説明する。

ステップＳ７０にて、被写体Ｗとなる透明物体がステージ１３上に配置される。ロボットや搬送装置を利用して被写体Ｗを搬送・位置決めしてもよいし、作業者がステージ１３上に被写体Ｗをセットしてもよい。

ステップＳ７１にて、処理装置１２の照明制御部４１が、照明装置１１の照明条件を設定する。本実施形態の照明装置１１は照明強度を１～４の４段階に切り替え可能であり、照明制御部４１は、まず照明強度を１（最も暗い状態）に設定する。

ステップＳ７２にて、被写体Ｗの撮影が行われる。具体的には、照明制御部４１が与えられた照明条件に従って照明装置１１を点灯させ、被写体Ｗに照明光を照射する。そして、被写体Ｗを照明した状態で、カメラ制御部４０が与えられた撮像条件に従って偏光カメラ１０を制御し、撮影を行う。

ステップＳ７３にて、処理装置１２の画像取得部４２０が、ステップＳ７２で撮影された画像（元画像）を偏光カメラ１０から取り込む。取り込まれた元画像データは、メモリ又はストレージに格納され、画像処理部４２による処理に供される。

ステップＳ７４にて、処理装置１２は全ての撮影条件での撮影が完了したかを確認し、未完了であればステップＳ７１に戻って次の撮影条件での撮影を行う。すなわち、ステップＳ７１にて、照明制御部４１が照明装置１１の照明強度を２に変更し、ステップＳ７２にて、再び被写体Ｗが撮影され、ステップＳ７３にて、照明強度２に対応する元画像が取り込まれる。本実施形態では、ステップＳ７１～Ｓ７４の処理が４回繰り返され、同じ被写体Ｗに関し、明るさが異なる４枚の元画像が処理装置１２に取り込まれる。全ての撮影条件での撮影が完了すると、ステップＳ７５に進む。

ステップＳ７５にて、パラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、画像処理部４２で用いられる画像処理パラメータを入力する。なお、画像処理パラメータを変更する必要がなければ、ステップＳ７４の処理はスキップしてもよい。また、画像処理パラメータの設定は、撮影の前に行ってもよい。

図８は、パラメータ受付部４２４が提供する画像処理パラメータ入力用のユーザインターフェイス（ＵＩ）の一例である。このＵＩ画面は、マスクサイズ設定８０、ノイズ除去設定８１、表示画像設定８２、全体画像表示エリア８３、拡大画像表示エリア８４、拡大設定８５から構成されている。マスクサイズ設定８０は、元画像から偏光情報を算出するときに参照する近傍画素の範囲を規定する「マスクサイズ」を設定するためのＵＩである。図８の例では、２×２、３×３、４×４、５×５のなかからマスクサイズを選択させるようになっているが、ユーザに任意のサイズを入力させるようにしてもよい。ノイズ除去設定８１は、偏光情報の算出結果に含まれるノイズを除去ないし低減する「ノイズ除去処理」に関する条件を設定するためのＵＩである。図８の例では、ノイズ除去処理を適用するか否かを選択可能であり、「あり」の場合には、さらに、ノイズ除去処理で用いるパラメータ（比較範囲、偏光角度差閾値、偏光強度差閾値）を入力可能である。

表示画像設定８２は、全体画像表示エリア８３および拡大画像表示エリア８４に表示する画像の種類を設定するためのＵＩである。図８の例では、元画像、偏光強度画像、偏光方向画像、明度画像のなかから選択可能となっている。全体画像表示エリア８３は、全体画像（低解像度）が表示されるエリアであり、拡大画像表示エリア８４は、画像の一部分（枠８６で示される部分）が高解像度で表示されるエリアである。また、拡大設定８５は、拡大画像表示エリア８４に表示する拡大画像の倍率や範囲を設定するためのＵＩである。

ステップＳ７６にて、偏光抽出部４２１が、ステップＳ７３で取り込まれた複数の元画像から偏光情報を算出する。偏光情報算出処理の詳細は後述する。

ステップＳ７７にて、偏光抽出部４２１が、ステップＳ７６の算出結果に対してノイズ除去処理を適用する。なお、図８のＵＩにおいてノイズ除去「なし」に設定されている場合は、ステップＳ７７の処理はスキップされる。ノイズ除去処理の詳細は後述する。

ステップＳ７８にて、偏光情報画像生成部４２２が、偏光抽出部４２１によって複数の
元画像のそれぞれから抽出された複数の偏光情報を合成し、偏光情報画像を生成する。画像生成処理の詳細は後述する。本実施形態では、偏光情報画像として、偏光強度画像、偏光方向画像、明度画像の３種類の画像が生成される。偏光強度画像は、偏光強度（偏光の程度）を濃淡で表す画像であり、偏光方向画像は、偏光方向を濃淡もしくは疑似色で表す画像である。また、明度画像は、偏光成分の光強度を濃淡で表す画像である。

ステップＳ７９では、表示部４２３が、図８のＵＩの表示画像設定８２で選択されている画像を全体画像表示エリア８３および拡大画像表示エリア８４に表示する。

ここで、ユーザが、図８のＵＩ上で表示画像設定８２を変更すると、それに応じて全体画像表示エリア８３および拡大画像表示エリア８４に表示される画像が切り替わる。このＵＩを利用することにより、元画像の様子と、偏光情報（偏光強度、偏光方向、明度）とを見比べることができるので、例えば、偏光情報の算出やノイズの除去が適切に行われているか確認したり、透明物体の形状や状態を確認したりする作業が容易になる。なお、図８のＵＩ上でマスクサイズ設定８０やノイズ除去設定８１が変更された場合に、ステップＳ７６～Ｓ７９の処理が再度実行されてもよい。このようなＵＩを利用することにより、演算結果（偏光情報画像）を確認しながら、画像処理パラメータ（マスクサイズ、ノイズ除去の有無、比較範囲、閾値など）の追い込みを行うことができる。

本実施形態では、撮影条件として照明装置１１の照明条件を変更したが、偏光カメラ１０の撮像条件を変更することでも、明るさが異なる画像を撮影することが可能である。例えば、処理装置１２のカメラ制御部４０が偏光カメラ１０の露光時間を変更する制御を行ってもよい。露光時間を長くするほど、撮像素子の受光量が増えるため、明るい画像を撮影することができる。あるいは、カメラ制御部４０が偏光カメラ１０のゲインを変更する制御を行ってもよい。ゲインは撮像素子での増幅率であり、ゲインを大きくするほど、明るい画像が得られる。もちろん、照明装置１１の照明条件と偏光カメラ１０の撮像条件の両方を制御しても構わない。

（偏光情報算出処理）
図９および図１０Ａ～図１０Ｄを参照して、偏光抽出部４２１の偏光情報算出処理（図７のステップＳ７６）の実装例を説明する。図９は偏光情報算出処理のフローチャートであり、図１０Ａ～図１０Ｄは近傍画素の例を示す図である。ここでは、元画像のサイズ（画素数）をＭ行×Ｎ列とし、ｉ行ｊ列の画素を（ｉ，ｊ）、その画素の画素値（光強度）をＩ（ｉ，ｊ）と表記する（ｉ＝１，２，・・・，Ｍ、ｊ＝１，２，・・・，Ｎ）。図１０Ａ～図１０Ｄは元画像の一部を拡大して示したものであり、一つ一つの矩形が画素を表し、画素内の矢印は透過軸方向を表し、欄外に記載した記号は画素の行番号と列番号を表している。

ステップＳ１０にて、偏光抽出部４２１は、図７のステップＳ７１～Ｓ７４において異なる撮影条件で撮影された複数の元画像のなかから、処理対象の元画像を１つ選択する。本実施形態では、ステップＳ１０において、照明強度１で撮影された元画像、照明強度２で撮影された元画像、照明強度３で撮影された元画像、照明強度４で撮影された元画像の順に選択されるものとする。

ステップＳ１１にて、偏光抽出部４２１は、元画像から演算対象とする注目画素を選択する。ステップＳ１１では、（１，１）から（Ｍ，Ｎ）まで注目画素が順に選択されるものとする。

ステップＳ１２にて、偏光抽出部４２１は、注目画素の偏光情報を算出する際に参照する近傍画素を選択する。ここで選択する近傍画素の範囲は、図８のマスクサイズ設定８０
で指定されたマスクサイズで決まる。まずは、デフォルトのマスクサイズである２×２の場合を例に挙げて説明する。マスクサイズが２×２の場合、図１０Ａに示すように、注目画素（ｉ，ｊ）に隣接する３つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）が近傍画素として選択される。なお、注目画素が元画像の境界にあり、近傍画素が存在しない場合には、ステップＳ１２～Ｓ１３の処理をスキップしてもよいし、適当な値でパディングしてもよい。

ステップＳ１３にて、偏光抽出部４２１は、注目画素と近傍画素の光強度（画素値）を基に、注目画素の偏光情報を算出する。透過軸方向が０度、４５度、９０度、１３５度の光強度をそれぞれＩ１、Ｉ２、Ｉ３、Ｉ４とおいた場合、例えば、注目画素の明度Ｉ０、偏光方向θ、偏光強度Ｄは下記式により求まる。

図１０Ａの例では、４つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ）に対応する透過軸方向は、それぞれ、９０度、１３５度、４５度、０度であるから、式（１）～（３）におけるＩ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝Ｉ（ｉ，ｊ－１）
Ｉ３＝Ｉ（ｉ－１，ｊ－１）
Ｉ４＝Ｉ（ｉ－１，ｊ）

式（１）の明度Ｉ０は、注目画素に入射する入射光の強度を表す指標である。式（２）の偏光方向θは、注目画素に入射する入射光に含まれる偏光成分の主軸方位を表す。式（３）の偏光強度Ｄは、注目画素に入射する入射光に含まれる偏光成分の偏光の程度を表す指標である。

なお、上記式（１）～（３）は一例であり、他の計算式によって明度、偏光方向、偏光強度に相当する指標を計算しても構わない。例えば、式（１）～（３）における係数を他のものに置き換えたり、式（３）を下記の式（４）に置き換えてもよい。

ステップＳ１４にて、偏光抽出部４２１は、元画像のすべての画素に対して偏光情報の算出処理が完了したか（すなわち、ｉ＝Ｍかつｊ＝Ｎであるか）確認し、未処理の画素がある場合にはステップＳ１１に戻って次の注目画素に対する処理を実行する。

ステップＳ１５にて、偏光抽出部４２１は、すべての元画像に対して偏光情報の算出処理が完了したか確認し、未処理の元画像がある場合にはステップＳ１０に戻って次の元画像に対する処理を実行する。

以上述べた処理により、すべての元画像のすべての画素について、３項目の偏光情報（偏光方向θ、偏光強度Ｄ、明度Ｉ０）が算出される。偏光情報算出処理の演算結果は、例えば、各画素の座標（ｉ，ｊ）と偏光方向θ（ｉ，ｊ）・偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とを対応付けたデータ形式でメモリ又はストレージに保存され、後段の処理に供される。

次に、図１０Ｂ～図１０Ｄを参照して、マスクサイズが２×２より大きい場合の処理例を説明する。

図１０Ｂに示すように、マスクサイズが３×３の場合は、ステップＳ１２において、注目画素（ｉ，ｊ）に隣接する８つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ－１，ｊ＋１）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ－１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）が近傍画素として選択される。図１０Ｂの例では、注目画素と近傍画素を合わせた９つの画素群のなかに、透過軸方向が０度の画素が１つ、４５度の画素と１３５度の画素が２つずつ、９０度の画素が４つ含まれる。このように透過軸方向が同じ画素が複数存在する場合には、ステップＳ１３の演算において、透過軸方向ごとの画素の代表値を式（１）～（３）のＩ１～Ｉ４に代入すればよい。

例えば、代表値として平均値を用いる場合であれば、Ｉ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝｛Ｉ（ｉ，ｊ－１）＋Ｉ（ｉ，ｊ＋１）｝／２
Ｉ３＝｛Ｉ（ｉ－１，ｊ－１）＋Ｉ（ｉ－１，ｊ＋１）＋Ｉ（ｉ＋１，ｊ－１）＋Ｉ（ｉ＋１，ｊ＋１）｝／４
Ｉ４＝｛Ｉ（ｉ，ｊ－１）＋Ｉ（ｉ，ｊ＋１）｝／２

代表値としては、平均値の他、最頻値、中間値、最大値、最小値などを用いてもよい。また、代表値を用いずに、９つの画素の値に対し正弦波のフィッティングを行うことで、Ｉ１～Ｉ４を推定するか、又は、明度Ｉ０、偏光方向θ、偏光強度Ｄを直接計算してもよい。

図１０Ｃは、マスクサイズが４×４の例である。マスクサイズ３×３のときの８つの近傍画素にさらに７つの画素（ｉ－２，ｊ－２）、（ｉ－２，ｊ－１）、（ｉ－２，ｊ）、（ｉ－２，ｊ＋１）、（ｉ－１，ｊ－２）、（ｉ，ｊ－２）、（ｉ＋１，ｊ－２）を加えた範囲が選択される。図１０Ｃの例では、選択範囲のなかに０度、４５度、９０度、１３５度の画素が４つずつ含まれる。この場合も、３×３の場合と同じく、透過軸方向ごとの代表値をＩ１～Ｉ４に代入するか、１６個の画素の値に対し正弦波のフィッティングを行えばよい。

図１０Ｄは、マスクサイズが５×５の例である。マスクサイズ４×４のときの１５個の近傍画素にさらに９つの画素（ｉ－２，ｊ＋２）、（ｉ－１，ｊ＋２）、（ｉ，ｊ＋２）、（ｉ＋１，ｊ＋２）、（ｉ＋２，ｊ－２）、（ｉ＋２，ｊ－１）、（ｉ＋２，ｊ）、（ｉ＋２，ｊ＋１）、（ｉ＋２，ｊ＋２）を加えた範囲が選択される。図１０Ｄの例では、選択範囲のなかに０度の画素が９つ、４５度の画素と１３５度の画素が６つずつ、９０度の画素が４つ含まれる。この場合も、３×３の場合と同じく、透過軸方向ごとの代表値をＩ１～Ｉ４に代入するか、２５個の画素の値に対し正弦波のフィッティングを行えばよい。

本実施形態では、マスクサイズ、すなわち、偏光情報の算出時に参照する画素範囲を任
意に変更できるようになっている。ユーザは、被写体の形状や状態、あるいは、本システムの用途などに応じて、適切なマスクサイズを選択すればよい。

例えば、図１１Ａに示すように、被写体Ｗの曲面部分での鏡面反射を偏光カメラ１０でとらえるようなケースでは、反射面が極めて狭小なため、（偏光カメラ１０の解像度にもよるが）偏光が入射する範囲が数画素幅の狭小領域になることがある。このようなケースにおいては、マスクサイズが大きすぎると、図１１Ｂに示すように、偏光が入射していない画素まで参照してしまい、偏光情報の検出性が低下する可能性がある。したがって、偏光が入射する範囲よりも小さいマスクサイズを選択することが好ましい。これにより、狭小領域における偏光情報を適切に抽出することができる。

一方で、図１２に示すように、平坦な面の反射の特性（鏡面反射、散乱の強さ）により、面上の汚れ・異物などの検査を行うケースでは、画像上の比較的広い範囲において、類似した偏光特性が現れることが想定される。このようなケースにおいては、マスクサイズが小さすぎると、局所的な反射率の違いなどに敏感に影響を受け、検査が安定しない可能性がある。したがって、ある程度大きめのマスクサイズを設定することにより、局所的な反射率の違いなどによるかく乱要因を平均化することが好ましい。これにより、検査の安定性を向上することができる。

なお、本実施形態では、マスクサイズの例として２×２、３×３、４×４、５×５の４つを示したが、マスクサイズはこれらに限られない。例えば、５×５より大きいマスクを用いてもよいし、正方形でない形状のマスクを用いてもよい。また、ユーザがマスクのサイズや形状を任意に設計できるようにしてもよい。

（ノイズ除去処理）
上述した偏光情報算出処理は、局所的な画素値の差を、偏光子の透過軸方向の違いによる透過量の差であるととらえ、偏光を検出する、という原理を利用している。そのため、例えば、被写体のエッジ部分やテクスチャ部分において空間周波数の高い輝度変化が生じた場合に、偏光による画素値の差であると誤解し、偏光の誤検出を招くことがある。ノイズ除去処理は、このような誤検出によるノイズを、偏光情報算出処理の演算結果から除去ないし低減するための処理である。

図１３および図１４Ａ、図１４Ｂを参照して、ノイズ除去処理（図７のステップＳ７７）の実装例を説明する。図１３はノイズ除去処理のフローチャートであり、図１４Ａ、図１４Ｂは比較範囲の例を示す図である。

ステップＳ２０にて、偏光抽出部４２１は、図８のノイズ除去設定８１で設定されたパラメータを読み込む。ここでは、ノイズ除去のあり／なし、比較範囲、偏光角度差閾値、偏光強度差閾値の４つのパラメータが読み込まれる。ノイズ除去「なし」に設定されている場合には、以降の処理をスキップする（ステップＳ２１）。ノイズ除去「あり」の場合は、ステップＳ２２に進む。

ステップＳ２２にて、偏光抽出部４２１は、メモリ又はストレージから偏光情報算出処理の演算結果を読み込む。ここでは、複数の元画像のそれぞれから抽出された、各画素の座標（ｉ，ｊ）と偏光方向θ（ｉ，ｊ）・偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とが対応付けられたデータが取得される。

ステップＳ２３にて、偏光抽出部４２１は、複数の元画像のなかから、処理対象の元画像を１つ選択する。本実施形態では、照明強度１で撮影された元画像、照明強度２で撮影された元画像、照明強度３で撮影された元画像、照明強度４で撮影された元画像の順に選
択されるものとする。

ステップＳ２４にて、偏光抽出部４２１は、処理対象とする対象画素を選択する。ステップＳ２４では、（１，１）から（Ｍ，Ｎ）まで対象画素が順に選択されるものとする。

ステップＳ２５にて、偏光抽出部４２１は、対象画素とその周辺画素のあいだで偏光方向を比較し、偏光方向が類似しているか否か判断する。図１４Ａに示すように、比較範囲「１」に設定された場合は、対象画素（ｉ，ｊ）と３つの周辺画素（ｉ，ｊ＋１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）のあいだで比較が行われる。また、図１４Ｂに示すように、比較範囲「２」に設定された場合は、対象画素（ｉ，ｊ）と８つの周辺画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ－１，ｊ＋１）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ－１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）のあいだで比較が行われる。そして、偏光方向の差が偏光角度差閾値よりも大きくなる組み合わせが１つでも見つかった場合には、「非類似」と判断し、ステップＳ２７に進む。一方、「類似」と判断された場合には、ステップＳ２６へと進む。

ステップＳ２６にて、偏光抽出部４２１は、対象画素とその周辺画素のあいだで偏光強度を比較し、偏光強度が類似しているか否か判断する。比較範囲の選び方は図１４Ａおよび図１４Ｂで示したとおりである。そして、偏光強度の差が偏光強度差閾値よりも大きくなる組み合わせが１つでも見つかった場合には、「非類似」と判断し、ステップＳ２７に進む。一方、「類似」と判断された場合には、ステップＳ２８へと進む。

偏光方向又は偏光強度のいずれかが「非類似」である場合、対象画素の偏光情報は周辺画素に比べて特異な値（外れ値）になっており、ノイズである蓋然性が高い。そこで、ステップＳ２７にて、偏光抽出部４２１は、対象画素の偏光情報（偏光方向θおよび偏光強度Ｄ）を削除する。

偏光方向と偏光強度のいずれも「類似」である場合、ステップＳ２８にて、偏光抽出部４２１は、対象画素と比較範囲内の画素のなかで偏光強度が最も大きい画素を選択し、対象画素の偏光方向・偏光強度をその選択画素の偏光方向・偏光強度に置き換える。この処理によって、偏光方向・偏光強度の局所的なばらつきを低減するスムージング効果が得られる。

ステップＳ２９にて、偏光抽出部４２１は、すべての画素に対してノイズ除去処理が完了したか確認し、未処理の画素がある場合にはステップＳ２４に戻って次の対象画素に対する処理を実行する。

ステップＳ３０にて、偏光抽出部４２１は、すべての元画像に対してノイズ除去処理が完了したか確認し、未処理の元画像がある場合にはステップＳ２３に戻って次の元画像に対する処理を実行する。

以上述べた処理により、偏光情報算出処理の演算結果である偏光方向θと偏光強度Ｄに対し、ノイズ（外れ値）の除去とスムージングが行われる。なお、修正後のデータは、メモリ又はストレージ内に上書き保存される。

（画像生成処理）
図１５のフローチャートを参照して、画像生成処理（図７のステップＳ７８）の実装例を説明する。

ステップＳ４０にて、偏光情報画像生成部４２２は、まず処理対象とする対象画素（ｉ
，ｊ）を１つ選択する。ステップＳ４０～Ｓ４５のループが繰り返されるたびに、（１，１）から（Ｍ，Ｎ）まで順に対象画素が選択されるものとする。そして、偏光情報画像生成部４２２は、対象画素（ｉ，ｊ）について、複数の元画像のそれぞれから抽出された偏光情報を取得する。ここで、ｋ番目の元画像の画素（ｉ，ｊ）から抽出された偏光情報をＰＩｋ（ｉ，ｊ）と表記する場合、本例では、照明強度１～照明強度４で撮影された４枚の元画像のそれぞれに対応する偏光情報ＰＩ１（ｉ，ｊ）～ＰＩ４（ｉ，ｊ）がメモリから読み込まれる。なお、偏光情報ＰＩｋ（ｉ，ｊ）は、偏光強度Ｄｋ（ｉ，ｊ）、偏光方向θｋ（ｉ，ｊ）、および明度Ｉ０ｋ（ｉ，ｊ）の３項目の情報を含んでいる（添え字ｋは、元画像の番号を表す）。

ステップＳ４１にて、偏光情報画像生成部４２２は、ステップＳ４０で取得した複数の偏光情報ＰＩ１（ｉ，ｊ）～ＰＩ４（ｉ，ｊ）を比較し、最も偏光強度Ｄｋ（ｉ，ｊ）が強い偏光情報を、最も信頼度が高い偏光情報であるとみなし、対象画素（ｉ，ｊ）の偏光情報として採用する。偏光強度は、偏光の程度を表す指標であり、この値が大きいほど偏光成分が明りょうに観測されていることを意味する。したがって、撮影条件を変えて取得した複数の偏光情報ＰＩ１（ｉ，ｊ）～ＰＩ４（ｉ，ｊ）の中から、偏光強度が最も強いものを採用することで、画素（ｉ，ｊ）（つまり、当該画素（ｉ，ｊ）に対応する透明物体の反射面上の領域）に関する最も信頼度の高い偏光情報を得ることができる。ｎ番目の元画像の偏光情報であるＰＩｎ（ｉ，ｊ）が採用されたものとして以降の説明を続ける。

ステップＳ４２にて、偏光情報画像生成部４２２は、ステップＳ４１で選択した偏光情報ＰＩｎ（ｉ，ｊ）の偏光強度の値Ｄｎ（ｉ，ｊ）を、偏光強度画像の画素（ｉ，ｊ）に書き込む。同様に、ステップＳ４３にて、偏光情報画像生成部４２２は、ステップＳ４１で選択した偏光情報ＰＩｎ（ｉ，ｊ）の偏光方向の値θｎ（ｉ，ｊ）を、偏光方向画像の画素（ｉ，ｊ）に書き込む。また、ステップＳ４４にて、偏光情報画像生成部４２２は、ステップＳ４１で選択した偏光情報ＰＩｎ（ｉ，ｊ）の明度の値Ｉ０ｎ（ｉ，ｊ）を、明度画像の画素（ｉ，ｊ）に書き込む。

以上述べたステップＳ４０～Ｓ４４の操作を画素ごとに行うことにより（ステップＳ４５）、複数の偏光情報ＰＩ１～ＰＩ４の良い部分（つまり、信頼性の高い偏光情報）を合成した偏光情報画像を得ることができる。なお、上記実施形態では、偏光強度Ｄそのものを偏光情報の信頼度を表す指標として用いたが、偏光情報の信頼度は別の指標により求めてもよい。例えば、（Ｉ３－Ｉ１）^２＋（Ｉ２－Ｉ４）^２で求まる指標（４つの画素のコントラストの強さに相当する指標）を偏光情報の信頼度として用いてもよい。また、画像の暗部では一般にノイズの影響が出やすいことから、画像の明るさを考慮してもよい。例えば、ＭＡＸ（Ｉ１，Ｉ２，Ｉ３，Ｉ４）が閾値以下の場合（つまり、画像の暗部の場合）には、そこには偏光は無いとみなし、信頼度を０（最小値）にしてもよい。

上述した撮像システム１を、薬液充填済みシリンジの製造プロセスにおける検出や検査に応用する例を用いて、本実施形態の偏光情報画像の利点を説明する。

薬液充填済みシリンジの製造プロセスでは、通常、ロボットを利用してシリンジのピック＆プレースや薬液注入が行われる。このとき、シリンジが不正な位置に存在したり、横倒しの姿勢になっていたりすると、シリンジの破損や製造装置の故障を招くおそれがあるため、シリンジの位置や姿勢を監視し、問題が生じた場合にエラーを出力したり装置を停止したりする仕組みが望まれる。

図１６Ａは、ネスト１００に配置されたシリンジ１０１を天頂に設置した偏光カメラ１０で観測する様子を示している。２本のシリンジ１０１ｂがネスト１００の穴に挿入されず、横倒しになっている。しかし、シリンジ１０１は無色透明であるため、これを例えば
通常の透過照明と光学カメラで撮影しても、シリンジ１０１と背景（白色のネスト１００）の境界を画像上ほとんど識別することができない。そのため、通常の光学画像では、横倒しのシリンジ１０１ｂを検出することは困難である。

本実施形態の撮像システム１では、図１６Ｂに示すように、ネスト１００の周囲にローアングルの照明装置１１（光源１１ｒ、１１ｌ、１１ｔ、１１ｂ）を設置し、偏光カメラ１０でシリンジ１０１の表面での鏡面反射（偏光）を撮影する。シリンジ１０１の反射面の向き（反射面の法線のＸＹ平面における方位）は０度～３６０度の全てをとり得るが、図１６Ｂのようにシリンジ１０１を四方から照明することによって、あらゆる向きの反射面の鏡面反射を偏光カメラ１０で観測可能となる。

しかしながら、例えば、視野の右側にあるシリンジ１０１ｒと左側にあるシリンジ１０１ｌを比べたときに、それぞれのシリンジ１０１ｒ、１０１ｌで観測される鏡面反射光の強度は同じにならない。各シリンジ１０１ｒ、１０１ｌの右向きの反射面には、ネスト１００の右方に配置された光源１１ｒからの光が入射することになるが、光源１１ｒから近い位置にあるシリンジ１０１ｒと、光源１１ｒから遠い位置にあるシリンジ１０１ｌとでは、反射面に入射する照明光の強度に差があるからである。それゆえ、偏光カメラ１０の視野内に存在する全ての被写体を完全に均一な照明条件で撮影することはできない。仮に近位のシリンジ１０１ｒに合わせて光源１１ｒの照明強度を設定すると、遠位のシリンジ１０１ｌでは偏光成分が弱く偏光情報の抽出が困難となってしまったり、逆に、遠位のシリンジ１０１ｌに合わせて光源１１ｒの照明強度を設定すると、近位のシリンジ１０１ｒでは白飛びが発生し偏光情報の抽出ができないという状況が起こり得る。

そこで、撮像システム１では、撮影条件を変えて複数回偏光を測定する。図１７に示す画像１０４ａ～１０４ｄは、照明強度を段階的に明るくしたときの偏光強度画像の例を模式的に示している。視野内の位置に応じて最適な照明強度が相違することが判る。これらの画像１０４ａ～１０４ｄから偏光強度の高い部分を集めて合成することで、視野内に存在する全ての被写体の偏光情報が適切に抽出された高品位な偏光情報画像１０５を得ることが可能となる。偏光情報画像１０５では、正しい姿勢のシリンジ１０１ａでは円形の像が明りょうに現れ、横倒しのシリンジ１０１ｂでは直線的な帯状の像が明りょうに現れる。このような偏光情報画像１０５を利用することで、シリンジの位置および姿勢の検査や、不正な位置もしくは姿勢のシリンジの検出を安定的に行うことが可能となる。

コンピュータによる画像認識技術を用いて、偏光情報画像１０５からシリンジの検出や、シリンジの姿勢の判定などを行ってもよい。例えば、正しい姿勢のシリンジは、内側の円形およびその周囲のフランジ部にて鏡面反射が現れる。この画像特徴に着目し、偏光情報画像のなかから、円およびフランジ部の形状をパターンマッチング等の方法にて検出することによって、正しい姿勢のシリンジの自動認識が可能となる。横倒しのシリンジの場合は、例えば、まず、特定の偏光方向範囲（例：０°～６０°）を持ち、互いに隣接する画素の集合（画素領域）を抽出し、その後、抽出した画素領域のうちから閾値以上の幅および長さを持つ画素領域を検出すればよい。このような処理によって、横倒しのシリンジの帯状の画素領域を自動認識することが可能となる。

なお、上記実施形態では、照明装置１１の照明条件（照明強度）を切り替えて複数回の撮影を実施したが、偏光カメラ１０の撮像条件（露光条件又はゲイン）を切り替えながら複数回の撮影を実施してもよいし、あるいは、照明装置１１の照明条件と偏光カメラ１０の撮像条件の両方を切り替える制御を行ってもよい。すなわち、明るさが異なる複数の元画像を得ることができれば、撮影条件の変更方法は任意である。

＜第２実施形態＞
第１実施形態では、被写体を全方位から照明した状態で撮影を行った。この方法は、視野内のあらゆる向きの反射面をワンショットで撮影できるため、元画像の撮影時間を短縮できるという利点がある。しかしながら、全方位から同時に照明する方法は、ある方位からの照明光の鏡面反射を観測するときに、他の方位からの照明光の拡散反射がノイズとなる可能性がある。図１８Ａにその一例を示す。光源１１ｒから入射した光は、被写体Ｗの右側の傾斜面で鏡面反射し、偏光カメラ１０で観測される。このとき、他の方位にある光源１１ｌから強い光が入射していると、背景での拡散反射光が透明な被写体Ｗを通過し、鏡面反射光とともに観測される。例えば、光源１１ｒが被写体Ｗから遠位にあり、光源１１ｌが被写体Ｗの近位にあるような状況では、強い拡散反射光によって弱い鏡面反射光がかき消されてしまい、偏光情報の抽出精度が著しく低下する可能性がある。

このような拡散反射ノイズを低減するため、第２実施形態では、被写体Ｗに対する照明方向を切り替えながら複数回の撮影を実施する。例えば、図１８Ｂのように、光源１１ｌのみを点灯して１回目の撮影を行い、次に、光源１１ｒのみを点灯して２回目の撮影を行う。これにより、光源１１ｌからの照明光の拡散反射光と、光源１１ｒからの照明光の鏡面反射光とを、分離して観測することができる。したがって、強い拡散反射光によって弱い鏡面反射光がかき消される状況を低減することができる。

では、図７のフローチャートを参照して、第２実施形態の撮像システム１の動作の一例を説明する。

ステップＳ７０にて、被写体Ｗとなる透明物体がステージ１３上に配置される。ロボットや搬送装置を利用して被写体Ｗを搬送・位置決めしてもよいし、作業者がステージ１３上に被写体Ｗをセットしてもよい。

ステップＳ７１にて、処理装置１２の照明制御部４１が、照明装置１１の照明条件（照明方向）を設定する。本実施形態の照明装置１１は、ステージ１３を囲むように配置された４本の棒状照明（光源）３０を有しており、各々の棒状照明３０は独立に点灯／消灯の切り替えや照明強度を制御できるようになっている。照明制御部４１は、４本の棒状照明３０のうちの１本のみが点灯し、他の３本が消灯するように照明条件を設定する。

ステップＳ７２にて、被写体Ｗの撮影が行われる。具体的には、照明制御部４１が与えられた照明条件に従って照明装置１１を点灯させ、被写体Ｗに照明光を照射する。このとき、ステージ１３上の被写体Ｗは一方向からのみ照明された状態となる。そして、被写体Ｗを照明した状態で、カメラ制御部４０が与えられた撮像条件に従って偏光カメラ１０を制御し、撮影を行う。

ステップＳ７３にて、処理装置１２の画像取得部４２０が、ステップＳ７２で撮影された画像（元画像）を偏光カメラ１０から取り込む。取り込まれた元画像データは、メモリ又はストレージに格納され、画像処理部４２による処理に供される。

ステップＳ７４にて、処理装置１２は全ての撮影条件での撮影が完了したかを確認し、未完了であればステップＳ７１に戻って次の撮影条件での撮影を行う。すなわち、ステップＳ７１にて、照明制御部４１が照明装置１１の照明方向を変更し、ステップＳ７２にて、再び被写体Ｗが撮影され、ステップＳ７３にて、新たな元画像が取り込まれる。本実施形態では、ステップＳ７１～Ｓ７４の処理が４回繰り返され、同じ被写体Ｗに関し、照明方向が異なる４枚の元画像が処理装置１２に取り込まれる。全ての撮影条件での撮影が完了すると、ステップＳ７５に進む。これ以降の処理は、第１実施形態のものと同じでよいので、説明を割愛する。

以上述べたように、照明方向を変えると、背景などでの拡散反射の状況が変化する。それゆえ、照明方向を変えて撮影した複数の元画像の中から、拡散反射光成分の影響（すなわちノイズ）が最も少なく偏光成分が最も明りょうに現れているものを選択することで、より信頼性の高い偏光情報の抽出が可能となる。

本実施形態では、独立に点灯可能な複数の光源を有する照明装置１１を用い、点灯する光源を切り替えることによって照明方向の切り替えを実現した。この方法は、簡易な制御で高速に照明方向の切り替えが可能となるので、撮影のタクトタイムを短くすることができるという利点がある。

（その他）
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、偏光カメラと照明装置の配置や構成は、図１や図３Ａ～図３Ｃに示したものに限られず、被写体や用途に応じて適宜設計すればよい。すなわち、照明光の鏡面反射が偏光カメラで観測できさえすればよい。また、複数台の偏光カメラを設けてもよいし、可動式の偏光カメラや照明装置を用いてもよい。

上記実施形態では、０度、４５度、９０度、１３５度の偏光子を用いたが、透過軸方向の設定はこれに限られない。撮像素子において異なる透過軸方向の偏光子を通過した光を観測でき、かつ、その観測結果から入射光に含まれる偏光情報を抽出できさえすればよい。

図８のＵＩ画面では、偏光情報算出処理で用いるマスクサイズと、ノイズ除去処理で用いるパラメータとを設定可能としたが、ＵＩ画面の構成やパラメータ項目は一例にすぎない。偏光抽出処理で用いられるパラメータをユーザに変更させるＵＩであれば、どのようなものでもよい。すなわち、ユーザ自身が、被写体や用途などに応じて、偏光抽出のロジックを適宜変更できればよい。また、上記実施形態では、パラメータ受付部４２４がパラメータ設定用のユーザインターフェイスを提供したが、パラメータ受付部４２４は、ユーザからのパラメータの変更指示をネットワークを通じて外部装置から受信するものでもよい。

第１実施形態における画像の明るさの切り替え制御と、第２実施形態における照明方向の切り替え制御を一緒に行ってもよい。これにより、視野内全体の照明条件の均一化と、拡散反射ノイズの低減の両方を図ることができ、より信頼性の高い偏光情報の抽出が可能となる。

また、第２実施形態では、点灯する光源を切り替えることで照明方向の変更を実現したが、照明装置の構成はこれに限られない。例えば、図３Ｃに示すような一方向から照明する照明装置１１を用い、照明装置１１と被写体Ｗの相対的な位置関係を変更することによって、照明方向の変更を実現してもよい。

＜付記１＞
透明物体（Ｗ）を画像化するための撮像システム（１）であって、
透明物体（Ｗ）を照明するための照明装置（１１）と、
透過軸方向の異なる偏光子（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、
処理装置（１２）と、を備え、
前記処理装置（１２）は、
異なる撮影条件で前記透明物体（Ｗ）を撮影するために、前記照明装置（１１）と前記偏光カメラ（１０）のいずれか又は両方を制御する制御手段（４０，４１）と、
異なる撮影条件で撮影された複数の元画像を取得する画像取得手段（４２０）と、
前記複数の元画像のそれぞれに対し、各画素について、前記透明物体（Ｗ）での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段（４２１）と、
前記偏光抽出処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段（４２２）と、を有する
ことを特徴とする撮像システム（１）。

＜付記２＞
照明装置（１１）と、透過軸方向の異なる偏光子（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、処理装置（１２）と、を備える撮像システム（１）の制御方法であって、
前記照明装置（１１）と前記偏光カメラ（１０）のいずれか又は両方を制御することによって、異なる撮影条件で透明物体（Ｗ）を撮影するステップと、
異なる撮影条件で撮影された複数の元画像を前記処理装置（１２）に取り込むステップと、
前記処理装置（１２）によって、前記複数の元画像のそれぞれに対し、各画素について、前記透明物体（Ｗ）での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成するステップと、を含む
ことを特徴とする制御方法。

１：撮像システム
１０：偏光カメラ
１１：照明装置
１２：処理装置
１３：ステージ
２０：撮像素子
２１：偏光子アレイ
３０：棒状照明

Claims (14)

1. 透明物体を画像化するための撮像システムであって、
   透明物体を照明するための照明装置と、
   透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、
   処理装置と、を備え、
   前記処理装置は、
   異なる撮影条件で前記透明物体を撮影するために、前記照明装置と前記偏光カメラのいずれか又は両方を制御する制御手段と、
   異なる撮影条件で撮影された複数の元画像を取得する画像取得手段と、
   前記複数の元画像のそれぞれに対し、各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、
   前記偏光抽出処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、を有する
   ことを特徴とする撮像システム。
2. 前記画像生成手段は、前記複数の元画像のそれぞれから抽出された前記複数の偏光情報のうち偏光情報の信頼度が最も高いものを選択する操作を画素ごとに行い、各画素について選択された偏光情報を用いて前記偏光情報画像を生成する
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記画像生成手段は、前記複数の偏光情報のうち偏光の程度が最も強いものを、偏光情報の信頼度が最も高いものとみなす
   ことを特徴とする請求項２に記載の撮像システム。
4. 前記制御手段は、明るさが異なる複数の元画像が得られるように、前記照明装置と前記偏光カメラのいずれか又は両方を制御する
   ことを特徴とする請求項１～３のうちいずれか１項に記載の撮像システム。
5. 前記制御手段は、前記撮影条件として前記照明装置の照明強度を異ならせる制御を行うことを特徴とする請求項４に記載の撮像システム。
6. 前記制御手段は、前記撮影条件として前記偏光カメラの露光時間を異ならせる制御を行う
   ことを特徴とする請求項４又は５に記載の撮像システム。
7. 前記制御手段は、前記撮影条件として前記偏光カメラのゲインを異ならせる制御を行うことを特徴とする請求項４～６のうちいずれか１項に記載の撮像システム。
8. 前記制御手段は、前記透明物体に対する照明方向が異なる複数の元画像が得られるように、前記照明装置を制御する
   ことを特徴とする請求項１～３のうちいずれか１項に記載の撮像システム。
9. 前記照明装置は、独立に点灯可能な複数の光源を有しており、
   前記制御手段は、点灯する光源を切り替えることによって、前記透明物体に対する照明方向を異ならせる
   ことを特徴とする請求項８に記載の撮像システム。
10. 前記偏光抽出処理は、前記元画像の各画素の偏光情報を算出した後に、その算出結果に含まれるノイズを除去ないし低減するノイズ除去処理を含む
    ことを特徴とする請求項１～９のうちいずれか１項に記載の撮像システム。
11. 前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、非類似と判断した場合に、前記対象画素の偏光情報を削除する処理を含む
    ことを特徴とする請求項１０に記載の撮像システム。
12. 前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、類似と判断した場合に、前記対象画素の偏光情報を、前記対象画素と前記周辺画素のなかから選択した画素の偏光情報で置き換える処理を含む
    ことを特徴とする請求項１０又は１１に記載の撮像システム。
13. 照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える撮像システムの制御方法であって、
    前記照明装置と前記偏光カメラのいずれか又は両方を制御することによって、異なる撮影条件で透明物体を撮影するステップと、
    異なる撮影条件で撮影された複数の元画像を前記処理装置に取り込むステップと、
    前記処理装置によって、前記複数の元画像のそれぞれに対し、各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理によって前記複数の元画像のそれぞれから抽出された複数の偏光情報を合成し、前記偏光情報を画像化した偏光情報画像を生成するステップと、を含む
    ことを特徴とする制御方法。
14. 請求項１３に記載の制御方法の各ステップをプロセッサに実行させるためのプログラム。

Images