JP2020176849A - ３次元計測装置及び３次元計測方法 - Google Patents

Abstract

【課題】被写体の計測精度を向上しうる３次元計測装置を提供する。【解決手段】複数の単位画素が配列された撮像素子と、撮像素子に被写体の光学像を結像する光学系と、を有する撮像装置と、撮像装置の出力信号に基づいて被写体の距離情報を取得する距離情報取得部と、被写体に光を投射する照明部と、を有する。単位画素は、光学系の第１部分瞳に対応する第１画素と第２部分瞳に対応する第２画素とを有し、光学系は、第１部分瞳に対応する第１光透過部と第２部分瞳に対応する第２光透過部とを構成する絞りを有する。絞りは第１光透過部及び前記第２光透過部が被写体側に第１直線偏光板を含む液晶シャッターにより構成されており、照明部は、第２直線偏光板を介して被写体に光を投射するように構成されており、第１直線偏光板の偏光方向と第２直線偏光板の偏光方向とが互いに異なっている。【選択図】図１

Description

本発明は、３次元計測装置及び３次元計測方法に関する。

被写体の画像を取得するための撮像素子を用いて被写体までの距離を取得する一手法として、撮像面位相差方式と呼ばれる撮像方法が知られている（例えば、特許文献１及び特許文献２を参照）。撮像面位相差方式では、カメラの光学系の射出瞳における異なる２つの領域（部分瞳）を通過した光束によって形成される一対の画像の視差を求め、当該視差から三角測量の原理に基づいて被写体までの距離を測定する。撮像面位相差方式を用いたカメラでは、撮像素子の各画素が、例えば２つの部分瞳に対応する２つの光電変換部（フォトダイオード）を有している。この２つの光電変換部に入射する光束によって形成される光学像をそれぞれ電気信号（画像信号）に変換して一対の画像を取得し、この一対の画像の視差を求める。また、この２つの光電変換部から得られる画像信号を合算することにより、被写体の画像を取得することができる。

特許文献３には、複数の測距用絞りと撮像用絞りとを設け、それぞれに対応して結像する撮像用画素と測距用画素とを配置することで、計測用の絞りの基線長を確保して計測精度を向上しつつ高画質な画像の取得を可能とした３次元計測装置が開示されている。撮像面位相差方式を用いた３次元計測装置において計測レンジと計測精度を両立するには、絞りとして、単一の絞り孔を設けるのではなく、複数の絞り孔を設けて複数の部分瞳を形成することが好適である。そして、計測用の絞りは、できるだけ絞ったうえで計測画素に対応する部分瞳の重心位置を遠ざけることが望ましい。

特開２０１３−１９０６２２号公報 特開２００１−０２１７９２号公報 特開２０１７−１６１５１２号公報 特開２０１３−１１４６０６号公報

しかしながら、基線長を確保するためにレンズの周辺部に計測用の絞りを設けた場合、被写体の像高によって基線長の距離が変化して対応づけが困難となり、大幅に計測精度が悪化することがあった。また、被写体の撮影態様によっては照明を併用する場合もあるが、被写体からの反射光によって計測精度が悪化することがあった。

本発明の目的は、被写体の計測精度を向上しうる３次元計測装置及び３次元計測方法を提供することにある。

本発明の一観点によれば、複数の単位画素が配列された撮像素子と、前記撮像素子に被写体の光学像を結像する光学系と、を有し、前記被写体の画像信号を出力する撮像装置と、前記撮像装置の出力信号に基づいて前記被写体の距離情報を取得する距離情報取得部と、前記被写体に光を投射する照明部と、を有し、前記複数の単位画素の各々は、前記光学系の射出瞳のうちの第１部分瞳に対応する第１画素と、前記射出瞳のうちの第２部分瞳に対応する第２画素と、を有し、前記光学系は、前記第１部分瞳に対応して設けられた第１光透過部と、前記第２部分瞳に対応して設けられた第２光透過部と、を構成する絞りを有し、前記絞りは、少なくとも前記第１光透過部及び前記第２光透過部が、液晶層よりも前記被写体の側に第１直線偏光板を含む液晶シャッターにより構成されており、前記照明部は、第２直線偏光板を介して前記被写体に光を投射するように構成されており、前記第１直線偏光板の偏光方向と前記第２直線偏光板の偏光方向とが互いに異なっている３次元計測装置が提供される。

また、本発明の他の一観点によれば、複数の単位画素が配列された撮像素子と、前記撮像素子に被写体の光学像を結像する光学系と、を有する撮像装置と、前記撮像装置の出力信号に基づいて前記被写体の距離情報を取得する距離情報取得部と、を有し、前記複数の単位画素の各々が、前記光学系の射出瞳のうちの第１部分瞳に対応する第１画素と、前記射出瞳のうちの第２部分瞳に対応する第２画素と、を有し、前記光学系が、前記第１部分瞳に対応して設けられた第１光透過部と、前記第２部分瞳に対応して設けられた第２光透過部と、を構成する絞りを有し、前記絞りの少なくとも前記第１光透過部及び前記第２光透過部が液晶シャッターにより構成された３次元計測装置を用いた３次元計測方法であって、前記被写体に、前記液晶シャッターの前記被写体の側の直線偏光板とは偏光方向が異なる直線偏光光を投射し、前記直線偏光光を投射した前記被写体を、前記撮像素子により撮像し、前記第１画素の出力信号と前記第２画素の出力信号とに基づいて、前記被写体の距離情報を算出する３次元計測方法が提供される。

本発明によれば、用途に応じた好適な絞りを構成して被写体の３次元計測を行うことができ、被写体の計測精度を向上することができる。

本発明の第１実施形態による３次元計測装置の概略構成を示すブロック図である。 本発明の第１実施形態による３次元計測装置における撮像素子の概略図である。 撮像面位相差方式による距離測定の原理を説明する図である。 本発明の第１実施形態による３次元計測装置における光学系の射出瞳を示す図である。 本発明の第１実施形態による３次元計測方法を説明するタイミングチャートである。 本発明の第１実施形態による３次元計測装置における測距用瞳の他の構成例を示す図である。 本発明の第１実施形態による３次元計測装置における測距用瞳及び単位画素の他の構成例を示す図である。 本発明の第２実施形態によるロボット制御システムの構成例を示す概略図である。 本発明の第２実施形態によるロボット制御システムにおいてワークに組み付けたビスの状態を検査する方法を示す概略図である。 絞り孔の大きさと基線長との関係を示す図である。

［第１実施形態］
本発明の第１実施形態による３次元計測装置及び３次元計測方法について、図１乃至図７を用いて説明する。

はじめに、本実施形態による３次元計測装置の概略構成について、図１及び図２を用いて説明する。図１は、本実施形態による３次元計測装置の概略構成を示すブロック図である。図２は、本実施形態による３次元計測装置における撮像素子の概略図である。

本実施形態による３次元計測装置３００は、図１に示すように、撮像部１００と、照明部２００と、を有する。

撮像部１００は、カメラ１０と、画像解析部１３と、距離情報取得部１４と、絞り制御部１６と、を有する。カメラ１０は、光学系１１と、撮像素子１２と、を有する。光学系１１は、レンズ１１ａ，１１ｂと、絞り１５と、を有する。撮像素子１２は、画像解析部１３に接続されている。画像解析部１３には、距離情報取得部１４が接続されている。絞り１５には、絞り制御部１６が接続されている。

照明部２００は、光源２１と、光学系２２と、スリット２３と、直線偏光板２４と、発光制御部２５と、を有する。光源２１は、発光制御部２５に接続されている。光源２１は、点光源が望ましく、ＬＥＤやレーザーダイオードが好適である。発光制御部２５は、光源２１の制御を行う。具体的には、発光制御部２５は、光源２１の明るさを制御し、また、必要に応じて光源２１のオン／オフの制御を行う。光学系２２は、光源２１から発せられた光束２６を平行光線に変換する。スリット２３は、光学系２２によって平行光線に変換された光束を、ドットパターン、メッシュパターン、ストライプパターンなどの所定のパターンが付与されたテクスチャー光に変換する。直線偏光板２４は、スリット２３により変換されたテクスチャー光を直線偏光光に変換する。直線偏光板２４により直線偏光光に変換されたテクスチャー光は、被写体４００に投射される。被写体４００に投射されたテクスチャー光は、被写体４００の表面で反射され、散乱光と正反射光とに分離される。

レンズ１１ａ，１１ｂは、光学系１１の光軸１８に沿って配列されている。絞り１５は、レンズ１１ａとレンズ１１ｂとの間に配置されている。撮像素子１２は、光学系１１の光軸１８の延長線上に配置されている。これにより、レンズ１１ａ，１１ｂは、照明部２００によりテクスチャー光が投射された被写体４００の光学像を撮像素子１２上に結像する。

撮像素子１２は、図２に示すように、複数の行及び複数の列に渡って行列状に配列された複数の単位画素１２ｂを有する。例えば、図２における横軸が行方向（列走査方向）或いは水平方向であり、図２における縦軸が列方向（行走査方向）或いは垂直方向である。図２では図面の簡略化のため、左上側の単位画素１２ｂの配列の態様を部分的に示すに留め、撮像素子１２の全面における単位画素１２ｂの配列の態様については図示を省略している。撮像素子１２を構成する単位画素１２ｂの数は、特に限定されるものではない。

単位画素１２ｂの各々は、各々が光電変換部を含む複数の画素を有する。例えば、単位画素１２ｂの各々が第１画素及び第２画素を有する場合、単位画素１２ｂの各々は、第１画素に対応する第１光電変換部と、第２画素に対応する第２光電変換部と、を有する。各画素の光電変換部は、光電変換素子、例えば、フォトダイオードにより構成されうる。フォトダイオードは、シリコンや、光吸収特性を有する薄膜で形成した光電変換膜等で構成されうる。単位画素１２ｂの各々に含まれる複数の画素、例えば第１画素と第２画素とは、光学系１１の射出瞳の互いに異なる部分瞳を通過する光束を受光するように配置されている。これにより、１つの単位画素１２ｂの第１画素及び第２画素は、２つの部分瞳を通過した光束をそれぞれ受光し、一対の画像信号（出力信号）を出力する。

撮像素子１２の画素領域は、例えばベイヤー配列に従い、２行×２列の４つの単位画素１２ｂからなる単位ブロックを行方向及び列方向に沿って繰り返し配列してなる。この場合、１つの単位ブロックを構成する４つの単位画素１２ｂのうち、一方の対角に位置する２つの単位画素１２ｂとして、Ｇ（緑色）の分光感度を有する単位画素１２ｂが配置される。また、１つの単位ブロックを構成する４つの単位画素１２ｂのうち、他方の対角に位置する２つの単位画素１２ｂとして、Ｒ（赤色）の分光感度を有する単位画素１２ｂと、Ｂ（青色）の分光感度を有する単位画素１２ｂと、が配置される。単位画素１２ｂ各々が有する特定色の分光感度は、単位画素１２ｂの各々が備える原色系のカラーフィルタによって付与される。

画像解析部１３は、撮像素子１２から出力された画像信号に対して補正処理等の所定の画像処理を施す。距離情報取得部１４は、画像解析部１３によって画像処理が施された画像信号から一対の光学像の視差を算出し、更に、算出された視差に基づいて被写体までの距離を算出する。すなわち、３次元計測装置３００は、撮像面位相差方式によって被写体までの距離を測定する。なお、画像信号から視差を算出する際、必ずしも撮像素子１２から出力された画像信号に対して画像処理を施す必要はない。例えば、画像信号から直接視差を算出することができる場合、撮像素子１２は、画像解析部１３を経由することなく距離情報取得部１４へ直接、画像信号を出力するようにも構成されうる。

なお、図１では、カメラ１０の光学系１１のレンズ１１ａ，１１ｂが固定されているように、すなわち、カメラ１０の焦点位置が固定されているように描かれているが、カメラ１０の焦点位置は固定である必要はない。すなわち、カメラ１０はオートフォーカス機能を備えていてもよい。この場合、カメラ１０は、距離情報取得部１４が算出した被写体までの距離に基づいてオートフォーカスを実行する。

次に、撮像面位相差方式による距離測定の原理について、図３を用いて説明する。図３は、撮像面位相差方式による距離測定の原理を説明する図である。図３（ａ）は、単位画素１２ｂの一対をなす第１画素４１及び第２画素４２のそれぞれに結ばれる光学像を用いて距離測定を行う場合の模式図である。撮像素子１２の部分には、単位画素１２ｂとマイクロレンズ３７との関係が明らかになるように断面図を示している。図３（ｂ）は、図３（ａ）に示した撮像素子１２の単位画素１２ｂを光学系１１の光軸３３の方向から見た平面図である。

ここで、光学系１１の射出瞳３０の領域内に、図３（ａ）に示すように、水平方向（図３において横方向）の両端近傍に位置する２つの瞳（測距用瞳）３１，３２を想定する。また、単位画素１２ｂの各々は、マイクロレンズ３７を共有する第１画素４１と第２画素４２と、を有するものとする。１つの単位画素部１２ｂの第１画素４１と第２画素４２とは、図３（ｂ）に示すように、水平方向に隣接して配置されているものとする。本明細書では、１つの単位画素部１２ｂの第１画素４１と第２画素４２とが配列された方向（前述の水平方向）を「視差方向」と呼ぶものとする。

マイクロレンズ３７は、光学系１１の像面近傍に配置されており、入射光を単位画素１２ｂに集光する。ここで、光学系１１及びマイクロレンズ３７は、射出瞳３０及び単位画素１２ｂの２つの画素（第１画素４１及び第２画素４２）が光学的に共役になるように構成されている。すなわち、マイクロレンズ３７は、測距用瞳３１を通して入射する光束（測距用光束３４）を第１画素４１に集光し、測距用瞳３２を通して入射する光束（測距用光束３５）を第２画素４２に集光する。１つの単位画素１２ｂの第１画素４１と第２画素４２とは、互いに入射角感度特性が異なっている。

単位画素１２ｂの第１画素４１及び第２画素４２の各々はフォトダイオードを備えている。これにより、第１画素４１は、測距用瞳３１を通過する測距用光束３４によってマイクロレンズ３７に形成される光学像が変換された画像信号を出力する。また、第２画素４２は、測距用瞳３２を通過する測距用光束３５によってマイクロレンズ３７に形成される光学像が変換された画像信号を出力する。

画像解析部１３は、単位画素１２ｂの第１画素４１及び第２画素４２から出力された画像信号に対して所定の画像処理を施し、処理後の画像信号を距離情報取得部１４に出力する。距離情報取得部１４は、単位画素１２ｂの第１画素４１及び第２画素４２から出力された画像信号に対して像ズレ検出演算処理（相関処理、位相差検出処理）等を施すことにより、一対の光学像の視差を算出する。距離情報取得部１４は、更に、当該視差から三角測量の原理に基づいてデフォーカス量や被写体までの距離を算出する。なお、デフォーカス量や被写体までの距離の算出手法については、公知の方法（例えば、特許文献４を参照）を適用可能である。

図４は、本実施形態による３次元計測装置における光学系の射出瞳を示す図である。図４（ａ）は測距用瞳の測距瞳領域を示す図であり、図４（ｂ）が測距瞳領域の大きさと基線長との関係を示す図である。なお、図４における横方向が視差方向に対応している。

図４において、射出瞳３０は、当該射出瞳３０の端部近傍に位置する２つの楕円状の測距用瞳３１，３２を有する。これら測距用瞳３１，３２は、絞り１５に設けられた絞り孔（光透過部）によって構成され、射出瞳３０の中心（光学系１１の光軸３３）に対して視差方向の対称な場所に位置している。

測距用瞳３１，３２は、光シャッターにより構成されている。具体的には、測距用瞳３１は、光シャッターによって独立して制御可能な複数の測距瞳領域３１ａ，３１ｂ，３１ｃを有している。また、測距用瞳３２は、光シャッターによって独立して制御可能な複数の測距瞳領域３２ａ，３２ｂ，３２ｃを有している。

測距瞳領域３１ａ，３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃは、絞り制御部１６による制御のもと、各々の領域の光透過度（透過状態／非透過状態）を独立に制御できるようになっている。これにより、測距用瞳３１，３２は、測距瞳領域３１ａ，３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃのオン／オフ（透過状態／非透過状態）の組み合わせにより、絞り孔（光透過部）の大きさを相似形状で変化できる構成となっている。

例えば、測距瞳領域３１ａ，３２ａをオン（透過状態）に制御し、測距瞳領域３１ｂ，３１ｃ，３２ｂ，３２ｃをオフ（非透過状態）に制御することで、測距用瞳３１，３２は絞り１５を最も絞った状態となる。この設定では、感度が低下するためＳ／Ｎ比の低下が発生する一方、被写界深度が深くなり測距範囲は広がる。また、測距用瞳３１と測距用瞳３２との重心間距離（基線長Ｌ）は最大になり、測距精度は向上する。ただし、像高の画像の場合は、口径食の影響を受け、測距精度は低下する。

逆に、測距瞳領域３１ａ，３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃを総てオン（透過状態）にすれば、絞り１５が開放側に働き、感度が良くなりＳ／Ｎ比が向上する一方、被写界深度は浅くなり測距範囲は狭まる。この場合、測距用瞳３１と測距用瞳３２との重心間距離（基線長Ｌ）は最小になり、測距精度は低下する。ただし、像高の画像であっても口径食の影響をあまり受けないため、測距精度の低下は少なくなる。

このように、本実施形態では、絞り１５の測距用瞳３１，３２を光シャッターからなる測距瞳領域３１ａ，３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃにより構成し、撮影時にこれらを絞り制御部１６によって独立にオン／オフ制御する。これにより、測距用瞳３１，３２の重心位置（重心間距離）、大きさ、離間距離を、被写体や測距距離に応じて自在に変化することができ、最適な撮影状態で測距を行うことが可能となる。

ところで、撮像部１００と照明部２００とを一体的に構成するような場合、撮像部１００に対して照明の角度を十分に確保することができないため、照明部２００から発せられた光が被写体４００の正反射光として撮像部１００に入射する虞がある。撮像部１００に正反射光が入射すると、これが測距装置の撮像や２次元画像としての撮像におけるフレアや白飛び（てかり）の原因となり、測距に必要な情報を取得できなくなる。特に、凹凸や起伏のない被写体から距離情報を取得する場合、強い正反射光が入射して白飛び（てかり）が発生しやすく、被写体の必要な箇所から測距情報を取得することが困難となる。

そこで、本実施形態においては、絞り１５を液晶シャッターにより構成している。液晶シャッターは、偏光方向が互いに交差するように配された２枚の直線偏光板により液晶層を挟んだ構造を有する。このような液晶シャッターでは、電界を印加しない領域の液晶層が透過状態となり、電界を印加した領域の液晶層が非透過状態となる。更に、本実施形態では、液晶シャッターの２枚の直線偏光板のうち入射側（被写体４００側）の直線偏光板を、その偏光方向が照明部２００の直線偏光板２４の偏光方向とは異なる方向となるように、典型的には９０度傾けて設置する。

被写体４００の表面で反射された光のうち正反射光は偏光波の方向が変化しないため、偏光方向が異なる液晶シャッターの入射側の直線偏光板でカットされる。一方、被写体４００の表面で反射された光のうち散乱光は円偏光等に変換されるため、液晶シャッターの入射側の直線偏光板ではカットされない。したがって、絞り１５をこのように構成することで、角度のない場所から投射されるテクスチャー光の正反射光をカットしながら散乱光のみを撮影することができる。これにより、白飛び（てかり）を抑制し、被写体４００の必要な箇所から測距情報を得ることができる。

光投射側の直線偏光板と光入射側の直線偏光板とで偏光方向を９０度ずらすことにより正反射光をカットできることは知られているが、本実施形態では絞り制御に使用する液晶シャッターの入射側の直線偏光板を光入射側の直線偏光板として兼用している。すなわち、本実施形態では、正反射防止のための光入射側の直線偏光板を別途設ける必要はなく、部材費の低減のほか、入射光を有効利用できるメリットがある。

なお、図１ではテクスチャー光を形成するスリット２３と直線偏光板２４とを別々に設けているが、これらを例えば液晶プロジェクターのＬＣＯＳのように透過型液晶で構成し、任意のパターンを形成して投光するようにしてもよい。また、光学系２２は、直線偏光板２４の前段においてピント調整を行うように構成されていてもよい。

被写体４００に投射する光は、典型的には可視光であるが、これに限定されるものではない。例えば、撮像部１００が赤外領域に感度を有する場合、光源２１に赤外ＬＥＤを用いてもよい。この場合、肉眼では被写体４００にテクスチャー光が投射されていないように見せることができる。

絞り１５（測距用瞳３１，３２）を光シャッターで構成することには、以下に説明する他のメリットもある。

図５は、ローリングシャッター方式の撮像素子の画素読み出しの動作を説明する図である。図５（ａ）が通常読み出しモードであり、図５（ｂ）がグローバルリセットモードである。各図において、縦軸は撮像素子の行番号であり、横軸は時間軸である。撮像素子からの信号読み出しは、行毎に順次スキャンすることにより行われる。各行の読み出し動作は、所定の露光期間６０１が経過した後、列毎に画素信号を転送することにより行われる。一の行に属する複数列の画素信号を転送する期間が、転送期間６０２である。

通常読み出しモードでは、図５（ａ）に示すように、行毎に順次露光期間６０１が開始され、例えばＭ行目とＭ＋１行目との露光期間６０１の開始時刻には、１行分の転送期間６０２に相当する時間のずれがある。そのため、動いている被写体に対して測距を行うと、行毎の露光開始時間のずれに起因して、縦方向（垂直方向或いは行走査方向）に測距位置のずれが発生する。これを解決するにはグローバルシャッター方式の撮像素子を用いればよいが、グローバルシャッター方式の撮像素子では画素毎にフォトダイオードの信号電荷を一時記憶するキヤパシタを別途設ける必要がある。そのため、撮像素子の画素内のフォトダイオード領域の割合、すなわち、開口率が低下してしまう。

この点、本実施形態の３次元計測装置においては、光シャッター方式の絞り１５を利用することで、撮像しない期間は総ての測距用瞳３１，３２をオフに制御することができる。そして、撮像素子１２の露光期間６０１が総ての行で重なる期間（例えば、図５（ａ）の期間６０３）内に、必要な測距瞳領域をオンに制御することができる。したがって、このように構成することで、総ての単位画素１２ｂの露光期間６０１の開始時刻を揃えることができ、ローリングシャッター方式の撮像素子１２であっても、動いている画像に対して正確な測距が可能となる。

また、グローバルリセットモードでは、図５（ｂ）に示すように、露光期間６０１の開始時刻は総ての行で同じであるが、転送期間６０２は行毎にずらす必要があり、行毎に露光時間が異なるという問題がある。

しかしながら、本実施形態の３次元計測装置においては、光シャッター方式の絞り１５を利用することで、撮像素子１２の露光期間６０１が総ての行で重なる期間（例えば、図５（ｂ）の期間６０３）内に、必要な測距瞳領域をオンに制御することができる。したがって、このように構成することで、総ての単位画素１２ｂの露光時間を揃えることができる。

図５（ｂ）に示すグローバルリセットモードが優れている点は、各行の露光期間６０１が全行重なる期間を最大限まで長くできることにある。本方式と本実施形態の３次元計測装置における光シャッターのオン／オフ制御とを組み合わせることで、露光期間６０１を図５（ａ）の場合よりもより長くすることができる。

測距用瞳３１，３２は、図４（ａ）に示すように、図面において縦方向（視差方向に垂直な方向）に長軸をなす楕円形状を有している。測距用瞳３１，３２のアスペクト比、すなわち、測距用瞳３１，３２の長軸の長さである測距用瞳高さＨ（部分瞳高さ）の測距用瞳幅Ｗａ，Ｗｂに対する比率、Ｈ／Ｗａ，Ｈ／Ｗｂは、１以上であり、好ましくは２以上である。

測距用瞳３１，３２の大きさや形状は、上述した測距用瞳幅Ｗａ，Ｗｂや測距用瞳高さＨに関する制約に従う限りにおいて任意である。例えば、図６（ａ）に示すように、測距用瞳３１，３２は、射出瞳３０の端部から離間して配置されていてもよい。或いは、図６（ｂ）に示すように、形状及び大きさが同じ複数の測距瞳領域を視差方向に並べ、測距用瞳３１，３２を構成するようにしてもよい。また、図示は省略するが、測距用瞳３１，３２及び測距瞳領域は、必ずしも楕円形状である必要はなく、他の形状、例えば正円形状であってもよい。

図６（ｂ）に示す測距用瞳３１，３２の場合の光シャッターのオン／オフ制御は、図４（ａ）及び図６（ａ）の場合とは異なり、３つの測距瞳領域の中から開放する測距瞳領域を１つ選択し、対応する光シャッターをオンに制御することで行う。図６（ｂ）の光シャッターでは絞りの大きさは変化しないので、単純に基線長Ｌだけを変えることができ、例えば、口径食の度合いに応じて部分瞳を選択することができる。

なお、測距用瞳３１，３２の大きさは、測距用瞳３１，３２をそれぞれ通過する測距用光束３４，３５に基づく各画像信号の強度が、正確な被写体の距離情報を取得することができる程度まで高くなる大きさになるように設定される。

測距用瞳３１，３２の視差方向の重心間距離（基線長Ｌ）の射出瞳３０の射出瞳幅Ｗに対する比率、Ｌ／Ｗは、０．６以上、０．９以下であることが好ましく、その範囲内で基線長Ｌをできるだけ長くすること好ましい。このように設定することで、撮像面位相差方式を用いて測定される被写体４００までの距離の測定精度を高くすることができる。また、測距用瞳幅Ｗａ，Ｗｂの射出瞳幅Ｗに対する比率は０．１以上、０．４以下であるので、射出瞳３０の視差方向に関して測距用瞳３１，３２の配置の自由度を増すことができる。その結果、測距用瞳３１，３２を射出瞳３０の視差方向に関する両端近傍に配置することができ、ひいては基線長Ｌを確実に長くすることができる。

測距用瞳幅Ｗａ，Ｗｂが小さすぎると、測距用光束３４，３５の光量が大幅に減り、得られる測距用の画像信号のＳ／Ｎ比が低下して測定される距離の精度が低下する。しかしながら、上述したように、測距用瞳幅Ｗａ，Ｗｂの射出瞳幅Ｗに対する比率は０．１以上であるため、測距用光束３４，３５の光量が大幅に減るのを防止することができる。

一方、各測距用瞳幅Ｗａ，Ｗｂが大きくなる、すなわち、各測距用瞳３１，３２が大きくなると、基線長Ｌが短くなり、測定される距離の精度が低下する。しかしながら、上述したように、測距用瞳幅Ｗａ，Ｗｂの射出瞳幅Ｗに対する比率は０．４以下であるため、基線長が短くなるのを防止することができる。更に、測距用瞳３１，３２のアスペクト比は１以上であるので、測距用瞳３１，３２を通過する測距用光束３４，３５の量を増加することができる。これにより、測距用光束３４，３５によって形成される光学像から得られる画像信号のＳ／Ｎ比を高くすることができ、被写体の距離情報を高精度に求めることができる。

なお、本実施形態では、射出瞳３０が図面において横方向に配列された１組の測距用瞳３１，３２を有する場合を説明したが、射出瞳３０は図面において縦方向に配列された１組の測距用瞳を更に有していてもよい。例えば、射出瞳３０は、図７（ａ）に示すように、横方向に配列された１組の測距用瞳３１，３２に加えて、縦方向に配列された１組の測距用瞳５１，５２を更に有することができる。測距用瞳５１，５２は射出瞳３０の縦方向に関する両端近傍にそれぞれ位置している。これにより、横方向だけでなく縦方向における一対の光学像の視差を算出することができ、被写体における横線や斜め線までの距離の測定の精度を向上することができる。

この場合、撮像兼測距用の単位画素１２ｃは、図７（ｂ）に示すように、楕円形状の２つの測距用瞳５１，５２に対応して、第３画素５３及び第４画素５４を更に有する。また、射出瞳３０の縦方向に関する両端近傍にそれぞれ位置する２つの測距用瞳５１，５２に対応するように、２つのフォトダイオードは、縦方向に互いに離間して配置される。部分瞳を構成する光シャッターも、縦方向の視差、横方向の視差について、その用途に応じて、選択してオン／オフ制御をすればよい。

このように、本実施形態によれば、用途に応じた好適な絞りを構成して被写体の３次元計測を行うことができ、被写体の計測精度を向上することができる。

［第２実施形態］
本発明の第２実施形態によるロボット制御システムについて、図８及び図９を用いて説明する。図８は、本実施形態によるロボット制御システムの構成例を示す概略図である。図９は、本実施形態によるロボット制御システムにおいてワークに組み付けたビスの状態を検査する方法を示す概略図である。

第１実施形態で説明した３次元計測装置は、特に限定されるものではないが、例えば、ＦＡ（Factory Automation）機器用ロボットの制御システムに適用可能である。第１実施形態の３次元計測装置をＦＡ用ロボットの制御システムに適用することで、ロボットの位置姿勢制御の精度を向上することができる。

ＦＡ用途等に用いられる３次元計測カメラにおいては、被写界深度がきわめて重要である。被写界深度は、カメラの絞りの大きさに比例し、絞りを開放すると被写界深度は減少する。しかしながら、被写界深度が減少すると取得画像がぼけていき、被写体のエッジが検出できなくなくなる。その結果、画像の視差を求めるためのエッジが減少するのに伴って計測精度が低下し、ひいては計測できる被写体の計測レンジが低下してしまう。一方、絞りを絞ると被写界深度が増大して計測レンジは大きくなるが、視差が減少して計測精度が低下してしまう。

図１０は、絞りと視差との関係を示す図である。絞り１６４が開放のとき、２つの射出瞳１６０，１６１は、図１０（ａ）に示すように、それらの全体が絞り１６４の開口部内に位置する。したがって、２つの射出瞳１６０，１６１に対応する２つの光電変換部から得られる画像信号１６２，１６３から求められる一対の画像の視差は最大になる。しかしながら、絞り１６４を図１０（ｂ）の状態まで絞ると、２つの射出瞳１６０，１６１は絞り１６４の開口部の範囲に限定されるため、射出瞳は縮小された部分瞳になり、部分瞳の重心間距離である基線長Ｌが短くなる。そして、２つの射出瞳１６０，１６１に対応する２つの光電変換部から得られる画像信号１６２，１６３から求められる一対の画像の視差は小さくなる。その結果、視差から三角測量の原理に基づいて被写体までの距離を測定する撮像面位相差方式では、測定される距離の精度が低下してしまう。

撮像面位相差方式を用いた３次元計測装置において計測レンジと計測精度を両立するには、前述のように、絞り１５を、単一の絞り孔ではなく、複数の絞り孔を設けて複数の部分瞳により構成することが好適である。そして、計測用のこれら絞りは、できるだけ絞ったうえで計測画素に対応する部分瞳の重心位置を遠ざければよい。

しかしながら、実際の光学系では、部分瞳の位置を遠ざけると部分瞳がレンズの周辺部に近づくため、計測精度が低下する。これは、口径食と呼ばれる現象の影響によるものである。すなわち、光学系の絞りを通った光束は断面が絞りの形状（近似的には円形）になるはずであるが、光軸に対して一定以上の角度をもって入射した光に対しては、絞り前後のレンズの径などに制約され、レンズ周辺部での光量が低下する。この結果、絞りを通った光束は、断面がレモン形状のように変形するのである。

この現象の影響で、基線長を確保するためにレンズの周辺部に絞りを設けた場合、計測精度により大きな影響を与える。具体的には、被写体の像高（光軸中心位置から離れた距離）によって光軸に対する入射角度が異なるため、被写体の像高によって基線長の距離が変化して対応づけが困難となり、大幅に計測精度が悪化することがあった。そのため、３次元計測カメラは、計測する被写体の像高に応じて部分瞳の大きさを変化し、周辺光量落ちの影響を避けることが好ましい。

また、レンズの光入射面は円形であるため、その中に形成する絞り孔で部分瞳の距離をできるだけ確保しようとすると、図４（ｂ）に示したように、自ずと絞り孔の大きさが小さくなる。そのため、計測精度を上げるためには部分瞳を絞らざるをえず、その結果、全体光量が低下する。

ＦＡ用途等では照明が使用できるため、その分、高輝度照明を使用して光量を大きくしたり、露光時間を長くしたりすることで対応は可能である。しかしながら、用途によっては３次元の距離計測精度が必要ではない場合も存在する。例えば、被写体が装置等から突き出しているような場合において、背景を除去するために３次元の距離情報を利用するときには、本当に画像処理に必要なのは２次元の画像のみである。３次元距離情報を不要な背景だけを除去するために使用するような場合は、３次元距離情報の精度を必要としない。このような場合は、部分瞳間の距離を近づけ、部分瞳を大きく形成し、取り込む光量を増大した方がよい。

この点、第１実施形態による３次元計測装置は、前述のように、絞り１５の絞り孔（光透過部）の位置（基線長）や大きさを、液晶シャッターによって任意に設定可能である。したがって、第１実施形態で説明した３次元計測装置は、絞り孔を絞って部分瞳の距離を確保する用途や、絞り孔を広げて取り込む光量を増大する用途など、用途に応じて柔軟に対応が可能であり、ＦＡ用途等に適用するに好適である。

例えば、高精度な３次元距離計測が必要な用途の場合には、部分瞳を小さくして基線長を長くとり、高輝度照明と併用して高精度３次元計測を行えばよい。逆に、高精度な３次元距離計測が必要でない用途の場合には、部分瞳を大きくすればよく、その結果、高価格な高輝度照明を必要とせず、露光時間を長くする必要がなくなり振動等にも強くなる。また、被写体の像高が大きく口径食が問題になる場合は、部分瞳を光学系の射出瞳の周辺部から離して配置すればよい。逆に、像高が低く口径食があまり問題にならない場合は、部分瞳を光学系の射出瞳の周辺部に配置して基線長を確保すればよい。

特に、第１実施形態で説明した３次元計測装置は、ＦＡ用ロボットのロボットアームに搭載するのに好適である。これは、一般的な測距装置では、２つの光学系を用いてステレオ撮影を行うためにカメラが大きくなり、ロボットアームへの搭載が難しいからである。第１実施形態の３次元計測装置では、光学系は１つあればよいため小型軽量化が容易であり、ロボットアームへの搭載が可能である。また、第１実施形態の３次元計測装置では基線長がとれないため遠く離れた被写体の計測精度は悪くなるが、ロボットアームに搭載することで被写体に接近して撮影することができるため、計測精度を向上できるメリットもある。

本実施形態によるロボット制御システム８００は、図８に示すように、架台８０５と、架台８０５に設置されたロボットアーム８０２及び置台８０４と、ロボットアーム８０２の先端部に設けられたロボットハンド８０６と、３次元計測装置８０１と、を有する。置台８０４の上には、ロボットが掴むワーク８０３が載置されている。

また、ロボット制御システム８００は、画像処理部８０７と、コンソール８０８と、表示部８０９と、ティーチングペンダント８１０と、教示データ演算部８１１と、ロボット制御部８１２と、教示点格納部８１３と、を更に有する。画像処理部８０７は、３次元計測装置８０１に接続されている。画像処理部８０７には、コンソール８０８と、表示部８０９と、教示データ演算部８１１と、が接続されている。ロボット制御部８１２は、ロボットアーム８０２に接続されている。ロボット制御部８１２には、ティーチングペンダント８１０と、教示データ演算部８１１と、が接続されている。教示データ演算部８１１には、教示点格納部８１３が接続されている。

ロボットアーム８０２及びロボットハンド８０６は、ロボット制御部８１２により制御される。制御データは、ティーチングペンダント８１０によって人がロボットを動かしながら教示データを作成し、作成した教示データを教示点格納部８１３に記憶することにより生成される。

３次元計測装置８０１は、第１実施形態で説明した３次元計測装置３００である。３次元計測装置８０１には、第１実施形態で説明したように、撮像部１００と照明部２００とが一体的に形成されている。３次元計測装置８０１は、ロボットアーム８０２の先端部に設置されている。３次元計測装置８０１は、教示データを作成する際、ロボットハンド８０６が掴むワーク８０３を所定位置で撮影する。撮影データは、画像処理部８０７で３次元データに変換され、その位置情報は、教示データとともに教示点格納部に記憶される。画像処理部８０７は、コンソール８０８を介して手動で制御することが可能である。３次元計測装置８０１で撮影した３次元データは、表示部８０９に表示して確認することができる。

ワーク８０３は、隣接する不図示のステーションから供給される。ワーク８０３は、隣接するステーションからの供給の状態によって置台８０４上の様々な位置に置かれる。そこで、３次元計測装置８０１が所定の位置でワーク８０３を撮影し、撮影画像から取得されたワーク８０３の位置情報と事前に登録してある位置情報との差を演算し、教示データ演算部８１１によりロボット教示点を修正する。このようにすることで、ワーク８０３の位置変動を吸収し、ロボットハンド８０６によってワーク８０３を正しく掴むことが可能になる。

本実施形態では、３次元計測装置８０１をロボットの位置補正に使用したが、３次元計測装置が取得した距離情報に基づいてロボットが行う操作は、特に限定されるものではない。例えば、本実施形態のロボット制御システムは、対象物（ワーク８０３）の検査等に使用することも可能である。一例として、ワークに組み付けたビスが緩んでいないかどうかの検査を行う場合について、図９を用いて説明する。図９は、ワークに組み付けたビスの状態を検査する方法を示す概略図である。

ワーク９０１の上面には、複数のビス９０２が組み付けられている。これらビス９０２を、不図示のロボットアームに取り付けられた３次元計測装置８０１を用いて計測する。具体的には、ビス９０２の上方に順次、３次元計測装置８０１を移動し、ビス９０２を組み付けた表面（ワーク９０１の上面）の高さとビス９０２の頭の高さとを計測し、その差分から、ビスの緩みを検知する。

第１実施形態による３次元計測装置を用いることにより、仮にビス９０２が取り付けられているワーク９０１の表面がＳＵＳ板等の鏡面体であっても、ワーク９０１からの正反射光を効果的に抑制して撮像素子１２で検出することができる。ビス９０２の高さによっては被写界深度を変える必要が生じるが、液晶シャッターを用いた絞り制御により、精度と被写界深度を調整することができる。更に、それに合わせた発光強度を調整することで適切な感度で、撮影することもできる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、上記実施形態では、測距用瞳３１，３２，５１，５２の各々を３つの測距用瞳領域により構成する例を示したが、測距用瞳３１，３２，５１，５２の各々を構成する測距用瞳領域の数は、特に限定されるものではない。また、測距用瞳３１，３２と測距用瞳５１，５２とを設ける場合、これらの数は必ずしも同じである必要はない。

また、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０…カメラ
１１…光学系
１２…撮像素子
１２ｂ…単位画素
１５…絞り
２１…光源
２４…直線偏光板
３０…射出瞳
３１，３２…測距用瞳
３１ａ，３１ｂ，３１ｃ，３２ａ，３２ｂ，３２ｃ…測距瞳領域
４１，４２…画素
１００…撮像部
２００…照明部
３００…３次元計測装置
４００…被写体
８００…ロボット制御システム

Claims (11)

1. 複数の単位画素が配列された撮像素子と、前記撮像素子に被写体の光学像を結像する光学系と、を有し、前記被写体の画像信号を出力する撮像装置と、
   前記撮像装置の出力信号に基づいて前記被写体の距離情報を取得する距離情報取得部と、
   前記被写体に光を投射する照明部と、を有し、
   前記複数の単位画素の各々は、前記光学系の射出瞳のうちの第１部分瞳に対応する第１画素と、前記射出瞳のうちの第２部分瞳に対応する第２画素と、を有し、
   前記光学系は、前記第１部分瞳に対応して設けられた第１光透過部と、前記第２部分瞳に対応して設けられた第２光透過部と、を構成する絞りを有し、
   前記絞りは、少なくとも前記第１光透過部及び前記第２光透過部が、液晶層よりも前記被写体の側に第１直線偏光板を含む液晶シャッターにより構成されており、
   前記照明部は、第２直線偏光板を介して前記被写体に光を投射するように構成されており、
   前記第１直線偏光板の偏光方向と前記第２直線偏光板の偏光方向とが互いに異なっている
   ことを特徴とする３次元計測装置。
2. 前記第１光透過部及び前記第２光透過部の各々は、前記液晶シャッターによって光透過度を独立に制御可能な複数の領域を有し、
   前記液晶シャッターによって前記複数の領域の光透過度を制御することにより前記第１光透過部と前記第２光透過部との重心間距離を制御する絞り制御部を更に有する
   ことを特徴とする請求項１記載の３次元計測装置。
3. 前記絞り制御部は、前記複数の領域の光透過度を制御することにより、前記第１光透過部及び前記第２光透過部の大きさを制御する
   ことを特徴とする請求項２記載の３次元計測装置。
4. 前記絞り制御部は、前記第１光透過部と前記第２光透過部との前記重心間距離が大きいほど前記第１光透過部及び前記第２光透過部が広くなるように、前記複数の領域の光透過度を制御する
   ことを特徴とする請求項２又は３記載の３次元計測装置。
5. 前記撮像素子は、ローリングシャッター方式の撮像素子であり、
   前記絞り制御部は、前記撮像素子の前記複数の単位画素の総てが露光期間である期間に、前記第１光透過部及び前記第２光透過部を透過状態に設定にする
   ことを特徴とする請求項２乃至４のいずれか１項に記載の３次元計測装置。
6. 前記射出瞳の幅に対する前記重心間距離の比率は、０．６以上、０．９以下である
   ことを特徴とする請求項２乃至５のいずれか１項に記載の３次元計測装置。
7. 前記第１光透過部と前記第２光透過部とは第１方向に配されており、
   前記第１光透過部及び前記第２光透過部は、前記射出瞳の幅に対する前記第１方向と交差する第２方向の幅の比率が、０．１以上、０．４以下である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の３次元計測装置。
8. 前記第１光透過部と前記第２光透過部とは第１方向に配されており、
   前記第１光透過部及び前記第２光透過部は、前記第１方向の幅に対する前記第１方向と交差する第２方向の幅の比率が、１以上である
   ことを特徴とする請求項１乃至６のいずれか１項に記載の３次元計測装置。
9. 前記第１光透過部及び前記第２光透過部は、前記第１方向の幅に対する前記第２方向の幅の比率が、２以上である
   ことを特徴とする請求項８記載の３次元計測装置。
10. 複数の単位画素が配列された撮像素子と、前記撮像素子に被写体の光学像を結像する光学系と、を有する撮像装置と、前記撮像装置の出力信号に基づいて前記被写体の距離情報を取得する距離情報取得部と、を有し、前記複数の単位画素の各々が、前記光学系の射出瞳のうちの第１部分瞳に対応する第１画素と、前記射出瞳のうちの第２部分瞳に対応する第２画素と、を有し、前記光学系が、前記第１部分瞳に対応して設けられた第１光透過部と、前記第２部分瞳に対応して設けられた第２光透過部と、を構成する絞りを有し、前記絞りの少なくとも前記第１光透過部及び前記第２光透過部が液晶シャッターにより構成された３次元計測装置を用いた３次元計測方法であって、
    前記被写体に、前記液晶シャッターの前記被写体の側の直線偏光板とは偏光方向が異なる直線偏光光を投射し、
    前記直線偏光光を投射した前記被写体を、前記撮像素子により撮像し、
    前記第１画素の出力信号と前記第２画素の出力信号とに基づいて、前記被写体の距離情報を算出する
    ことを特徴とする３次元計測方法。
11. 請求項１乃至９のいずれか１項に記載の３次元計測装置と、
    前記３次元計測装置の前記距離情報取得部が取得した前記距離情報に基づいて前記被写体である対象物を操作するロボットを制御するロボット制御部と
    を有することを特徴とするロボット制御システム。

Images