JP2006058092A - ３次元形状測定装置および方法 - Google Patents

Abstract

【課題】 パターンのエッジを安定して抽出する。
【解決手段】 各々のストライプに対し、ストライプの両端に、ストライプ間の境界を明確にするため、ストライプ配列の濃度順に応じ、最高濃度または最低濃度のラインパターンを形成する。各々のストライプに対し形成するラインパターンの濃度の決定法は、該当するストライプの濃度に対し、隣接するストライプの濃度が高い場合には最低濃度のラインパターンを形成し、逆に、該当するストライプの濃度に対し、隣接するストライプの濃度が低い場合には最高濃度のラインパターンを形成する。各ストライプの両端に最高濃度および最低濃度のラインパターン対を形成した多値パターン光を対象物１０に照射し、投光系と主点を異なる位置に配置した撮像手段であるカメラ１２、１３にて、対象物１０上のパターン投影像を撮像し、投射パターン光とパターン投影像にて対応づけを行う。
【選択図】 図４

Description

本発明は測定対象に対してパターン光を照射することによって得られるパターン投影像を、撮像手段により異なる方向から撮像し距離情報を得る三角測量法に基づく３次元形状計測技術に関する。

３次元形状を取得する手法には、アクティブ手法（ Ａｃｔｉｖｅ ｖｉｓｉｏｎ）とパッシブ手法（Ｐａｓｓｉｖｅ ｖｉｓｉｏｎ）がある。アクティブ手法は、（１）レーザ光等を発して、対象物からの反射光量や到達時間を計測し、奥行き情報を抽出するレーザ手法や、（２）スリット光などの特殊なパターン光源を用いて、対象表面パターンの幾何学的変形等の画像情報により対象形状を推定するパターン投影方法や、（３）光学的処理によってモアレ縞により等高線を形成させて、３次元情報を得る方法などがある。一方、パッシブ手法は、対象物の見え方、光源、照明、影情報等に関する情報を利用して、一枚の画像から３次元情報を推定する単眼立体視や、三角測量の原理で各画素の奥行き情報を推定する二眼立体視等がある。

上述した種々の計測手法の中でアクティブ手法の一つであるパターン投影法は、簡易な装置で高精度に３次元情報を取得できる手法である。これを更に詳しく説明する。パターン投影法は、対象とする物体に基準となるパターン光を投影し、パターン投影像の撮像を投影された方向とは異なる方向から行う手法である。撮像されたパターン像は、物体の形状によって変形を受けたものとなる。撮像された変形パターンと投影したパターンとの対応づけを行うことで、物体の３次元計測を行う。具体的な計測手法として、光切断法や空間コード化法がある。光切断法は一本のスリットパターンを対象物に投影し、スリットパターンを計測したい対象物領域に渡り走査することにより、対象物の３次元情報を取得する手法である。空間コード化法は、空間解像度の違う２値パターンを複数用意し、これを順番に対象物に投影することにより、光切断法のスリット光の走査を省き、短時間で対象物の３次元情報を取得する手法である。計測の高精度化と高信頼性を図るために光切断法では、撮像されたストライプ画像の重心（座標）を求める処理を行い、空間コード化法では、撮像されたパターン画像の２値化処理を行っている。このように計測の精度や信頼性においては優れた手法といえるが、問題点としてスリット光の走査や複数回のパターン投影を行わなければならないため計測時間がかかり、計測対象が静止物体に限られ、用途が限定されるという問題があった。

このような問題を解決する手段として，Ｃｈｕ−Ｓｏｎｇ Ｃｈｅｎらは、多値パターン投影法を提案している（非特許文献１）。 多値パターン投影法は、光切断法や空間コード化法の２値パターンに対し多階調のパターンを対象物の投射し、１回の撮像にて対象物の３次元情報を取得する手法である。これを図８および図９を用いて説明する。図８は、従来型の多値パターン投影法による３次元形状計測装置の概観図であり、図９は、使用される多値パターンを表した図である。図９に示す複数色Ｃ_１、Ｃ_２、Ｃ_３・・・Ｃ_ｎを使用し、それぞれの階調のストライプパターンの間にブラックストライプを介在させた多値パターン光を、図８に示す投光系１１により対象物１０に投射する。対象物上の光学像を投光系と別視点に配置した２台のカメラ１２、１３にて撮像し、得られたパターン像を比較し同一と思われる個所を探索する。ここで、パターン像間にて同一個所を探索するまでのフローは以下の通りである。

［ステップ１］：２つのパターン撮像画像それぞれのエッジを抽出する。
［ステップ２］：エッジ両側の画素情報（輝度値、色相）をそれぞれ取得する。
［ステップ３］：エピポーラライン上にて同じ画素情報を持つ画素を対応点であると判断し、三角測量の原理から距離を算出する。

ストライプパターンＣ_１、Ｃ_２、Ｃ_３・・・Ｃ_ｎそれぞれの間にブラックストライプを介在させたのは、隣接するパターン間においてコントラストを上昇させステップ１におけるエッジ抽出精度を向上させるのが目的である。しかしながら、反射率の低い対象物（濃い色の対象物など）を計測対象にする場合、隣接するパターン間におけるコントラストが低下し、エッジが抽出できない場合があった。エッジが抽出できない個所は、距離計測ができず大きな問題となっていた。
Ｃｈｕ−Ｓｏｎｇ Ｃｈｅｎ，Ｒａｎｇｅ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ｕｓｉｎｇ ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅ ｌｉｇｈｔ ａｎｄ ｓｔｅｒｅｏ ｖｉｓｉｏｎ，ｉｍａｇｅ ｖｉｓｉｏｎ ｃｏｍｐｕｔｉｎｇ １５（１９９７）４４５−４５６

本発明は、上述の事情を考慮してなされたものであり、多値パターンを投射してもエッジ抽出を精度良く行うことができる信頼性の高い３次元形状計測手法を提供することを目的としている。

本発明の原理的な構成例にによれば、上述の目的を達成するために、複数の濃度を有するストライプの組み合わせで構成されたパターンを対象物に投光する投光手段と、該投光手段と主点を異なる位置に配置した一乃至複数の撮像手段とから構成される３次元形状測定装置において、該ストライプの両端に対し、ストライプ間の境界を精度よく識別するため、隣接ストライプの濃度順に応じ、最高濃度または最低濃度のラインパターンを形成するようにしている。

この構成においては、ストライプの濃度順に応じて、ストライプの両端に最高濃度または最低濃度のラインパターンを形成することにより、隣接するストライプ間の境界部の位置をより明確に判別することができ、対象物の濃度が大きな場合でも確実にパターンの境界を検出して対象物との間の距離を正確に測定できる。

さらに本発明を説明する。

本発明の一側面によれば、上述の目的を達成するために、複数の濃度を有するストライプの組み合わせで構成されたストライプパターンを対象物に投光する投光手段と、該投光手段と主点を異なる位置に配置した一乃至複数の撮像手段とを有して構成される３次元形状測定装置において、該ストライプパターン中の隣接するストライプの間に最高濃度および最低濃度のラインの対を設けている。

この構成においては、ストライプがどのような濃度であろうとも、エッジ位置には最高濃度および最低濃度のライン対を設けているので、確実にエッジを抽出することができる。

また、この構成において、前記隣接するストライプのうち濃度の高いストライプ側に前記最高濃度のラインを隣接させ、前記隣接するストライプのうち濃度の低いストライプ側に前記最低濃度のラインを隣接させることが好ましい。このようにすると、ストライプとラインとの隣接位置とライン間の位置とが混同されることがない。もちろん、前記最高濃度および最低濃度のラインの並び方向を固定としてもよい。

本発明の上述の側面および本発明の他の側面は、特許請求の範囲に記載され、以下に実施例を用いて詳細に説明される。

この発明によれば、反射率の低い対象物（濃い色の対象物など）を計測対象にする場合にも、安定したパターンのエッジ抽出が可能となり、例えば、１回の撮像で信頼性の高い距離計測が可能となる。

以下、図面を参照しながら実施例に基づいて、本発明を具体的に説明する。

図１は、本発明の実施例１の３次元形状計測装置を示す構成図である。複数のストライプパターンを対象物１０に投光する投光手段である投光系にプロジェクタ（投光系）１１を用い、投光系と主点を異なる位置に配置した撮像手段であるカメラ１２にて、対象物１０上のパターン投影像を撮像する。３次元形状計測装置は制御を司る制御部１００を有し、これがプロジェクタ１１の投影処理、カメラ１２、１３の撮像処理を制御し、さらに三角測量による距離計算（点群データの生成）等を行なう。制御部１００はパーソナルコンピュータや専用処理装置（カード、ボードでもよい）である。もちろん全体またはその一部が１つの筐体に収容されていても良い。

プロジェクタ１１にて投射される複数のストライプパターンは、図２にて示されるように、それぞれが異なる階調値を有する多値のストライプパターン光である。本実施例では、モノクロの５種類の階調値を持った多値のストライプを使用した。モノクロの階調値を２５６階調で表し、ストライプ１から５を以下の階調に割り付けた。

ストライプ１：階調値２５５
ストライプ２：階調値１９２
ストライプ３：階調値１２８
ストライプ４：階調値６４
ストライプ５：階調値０

これらを、同じ繰り返しがないように配列を行う。図３に用いた配列を示す。この配列は５種類の階調を有するストライプの組み合わせよりなり、この組み合わせを基本ユニットとして、プロジェクタ１１で投光するサイズに応じこの配列を繰り返してパターンを形成する。但し、これは一つの例であり、他の階調割り付けおよび配列においても本発明の効果は同様に得られるものである。ここで、各々のストライプに対し、図４に示すごとく、ストライプの両端に、ストライプ間の境界を明確にするため、ストライプ配列の濃度順に応じ、最高濃度または最低濃度のラインパターンを形成する。各々のストライプに対し形成するラインパターンの濃度の決定法は、該当するストライプの濃度に対し、隣接するストライプの濃度が高い場合には最低濃度のラインパターンを形成し、逆に、該当するストライプの濃度に対し、隣接するストライプの濃度が低い場合には最高濃度のラインパターンを形成する。図４に示した各ストライプの両端に最高濃度または最低濃度のラインパターンを形成した多値パターン光を対象物１０に照射し、投光系１１と主点を異なる位置に配置した撮像手段であるカメラ１２にて、対象物１０上のパターン投影像を撮像し、投射パターン光とパターン投影像にて対応づけを行う。ここで、距離算出までのフローは以下の通りである。なお、この処理は制御部１００により行なわれる。

［フロー１］
［ステップ１］：パターン撮像画像の、ストライプ間に形成された最高濃度のラインと最低濃度のライン間に対応したエッジを抽出する。
［ステップ２］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）を取得する。
［ステップ３］：パターン撮像画像と同じ画素情報を持つ投射パターン光を探索、決定し、三角測量の原理から距離を算出する。

その他に以下のフローにても，距離算出が可能である。

［フロー２］
［ステップ１］：パターン撮像画像の、ストライプ間に形成された最高濃度のラインと最低濃度のライン間に対応したエッジを抽出する。
［ステップ２］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）を取得する。
［ステップ３］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）の一部、あるいは、全ての配列から投射パターン光の配列を予測し、投射パターン光とパターン撮像画像の対応づけを行い、三角測量の原理から距離を算出する。

パターン撮像画像は、個々のストライプ間に、ストライプ間のエッジを精度よく識別するため、ストライプ配列の濃度順に応じて、最高濃度または最低濃度のラインパターンを形成してあるため、ストライプ境界部の判別精度が高く、ステップ１にて行うエッジ抽出の精度が飛躍的に向上する。これは特に反射率の低い対象物（濃い色の対象物など）を計測対象にする場合に有効であり、安定したエッジ抽出が可能となり、信頼性の高い距離計測が可能となる。

つぎに本発明の実施例２について説明する。

図５は、本発明の第２の実施例の３次元形状計測装置を示す構成図である。図５において図１と対応する箇所には対応する符号を付した。

図５において、複数のストライプパターンを対象物１０に投光する投光手段である投光系にプロジェクタ１１を用い、投光系と主点を異なる位置に配置した撮像手段である２台のカメラ１２、１３にて、対象物１０上のパターン投影像を撮像する。

投光系１１にて投射される複数のストライプパターンは、図２にて示されるように、それぞれが異なる輝度を有する多値のストライプパターン光である。

本実施例では、モノクロの５種類の階調値を持った多値のストライプを使用した。モノクロの階調値を２５６階調で現し、ストライプ１から５を以下の階調に割り付けた。

ストライプ１：階調値２５５
ストライプ２：階調値１９２
ストライプ３：階調値１２８
ストライプ４：階調値６４
ストライプ５：階調値０

これらを、同じ繰り返しがないように配列を行う。図３に用いた配列を示す。この配列は５種類の階調を有するストライプの組み合わせよりなり、この組み合わせを基本ユニットとして、プロジェクタ１１で投光するサイズに応じこの配列を繰り返してパターンを形成する。但し、これは一つの例であり、他の階調割り付けおよび配列においても本発明の効果は同様に得られるものである。ここで、各々のストライプに対し、図４に示すごとく、ストライプの両端に、ストライプ間の境界を明確にするため、ストライプ配列の濃度順に応じ、最高濃度または最低濃度のラインパターンを形成する。各々のストライプに対し形成するラインパターンの濃度の決定法は、該当するストライプの濃度に対し、隣接するストライプの濃度が高い場合には最低濃度のラインパターンを形成し、逆に、該当するストライプの濃度に対し、隣接するストライプの濃度が低い場合には最高濃度のラインパターンを形成する。図４に示した各ストライプの両端に最高濃度および最低濃度のラインパターン対を形成した多値パターン光を対象物１０に照射し、投光系と主点を異なる位置に配置した撮像手段であるカメラ１２、１３にて、対象物１０上のパターン投影像を撮像し、投射パターン光とパターン投影像にて対応づけを行う。ここで、距離算出までのフローは以下の通りである。

［フロー１］
［ステップ１］：２つのパターン撮像画像の、ストライプ間に形成された最高濃度のラインと最低濃度のライン間に対応したエッジを抽出する。
［ステップ２］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）を取得する。
［ステップ３］：エピポーラライン上にて、同じ画素情報を持つ画素を対応点であると判断し、三角測量の原理から距離を算出する。

その他に以下のフローにても，距離算出が可能である。

［フロー２］
［ステップ１］：２つのパターン撮像画像の、ストライプ間に形成された最高濃度のラインと最低濃度のライン間に対応したエッジを抽出する。
［ステップ２］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）を取得する。
［ステップ３］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）の一部、あるいは、全ての配列から投射パターン光の配列を予測し、投射パターン光とパターン撮像画像の対応づけを行い、三角測量の原理から距離を算出する。

パターン撮像画像は、個々のストライプ間の境界線が明確化されており、ストライプ間のエッジ部のコントラストが高い状態であるため、ステップ１にて行うエッジ抽出の精度が飛躍的に向上する。これは特に反射率の低い対象物（濃い色の対象物など）を計測対象にする場合に有効であり、安定したエッジ抽出が可能となり、信頼性の高い距離計測が可能となる。また本実施例では、２台のカメラ１２、１３により撮像を行っており、計測フロー１においては、パターン撮像画像間の比較により距離計測を行うものである。この利点として、対象物上での反射率による誤対応を防止できることが挙げられ、実施例１に比べて、より信頼性の高い距離計測が可能となる。

つぎに本発明の実施例３について説明する。

図６は、本発明の実施例３の３次元形状計測装置を示す構成図である。図６において図１と対応する箇所には対応する符号を付した。

図６において、複数のストライプパターンを対象物１０に投光する投光手段である投光系にプロジェクタ１１を用い、投光系と主点を異なる位置に配置した撮像手段であるカメラ１２と、ハーフミラー１４を介して投光系と同主点に配置した撮像手段であるカメラ１３にて、対象物１０上のパターン投影像を撮像する。投光系にて投射される複数のストライプパターンは、図２にて示されるように、それぞれが異なる輝度を有する多値のストライプパターン光である。

本実施例では、モノクロの５種類の階調値を持った多値のストライプを使用した。モノクロの階調値を２５６階調で現し、ストライプ１から５を以下の階調に割り付けた。

ストライプ１：階調値２５５
ストライプ２：階調値１９２
ストライプ３：階調値１２８
ストライプ４：階調値６４
ストライプ５：階調値０

これらを、同じ繰り返しがないように配列を行う。図３に用いた配列を示す。この配列は５種類の階調を有するストライプの組み合わせよりなり、この組み合わせを基本ユニットとして、プロジェクタ１１で投光するサイズに応じこの配列を繰り返してパターンを形成する。但し、これは一つの例であり、他の階調割り付けおよび配列においても本発明の効果は同様に得られるものである。ここで、各々のストライプに対し、図４に示すごとく、ストライプの両端に、ストライプ間の境界を明確にするため、ストライプ配列の濃度順に応じ、最高濃度または最低濃度のラインパターンを形成する。各々のストライプに対し形成するラインパターンの濃度の決定法は、該当するストライプの濃度に対し、隣接するストライプの濃度が高い場合には最低濃度のラインパターンを形成し、逆に、該当するストライプの濃度に対し、隣接するストライプの濃度が低い場合には最高濃度のラインパターンを形成する。図４に示した各ストライプの両端に最高濃度および最低濃度のラインパターン対を形成した多値パターン光を対象物１０に照射し、投光系と主点を異なる位置に配置した撮像手段であるカメラ１２、１３にて、対象物１０上のパターン投影像を撮像し、投射パターン光とパターン投影像にて対応づけを行う。ここで、距離算出までのフローは以下の通りである。

［フロー１］
［ステップ１］：２つのパターン撮像画像の、ストライプ間に形成された最高濃度のラインと最低濃度のライン間に対応したエッジを抽出する。
［ステップ２］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）を取得する。
［ステップ３］：エピポーラライン上にて、同じ画素情報を持つ画素を対応点であると判断し、三角測量の原理から距離を算出する。

その他に以下のフローにても，距離算出が可能である。

［フロー２］
［ステップ１］：２つのパターン撮像画像の、ストライプ間に形成された最高濃度のラインと最低濃度のライン間に対応したエッジを抽出する。
［ステップ２］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）を取得する。
［ステップ３］：エッジ両側の、最高濃度または最低濃度のラインパターンにより輝度値が変調されていないエッジ近傍の画素情報（輝度値）の一部、あるいは、全ての配列から投射パターン光の配列を予測し、投射パターン光とパターン撮像画像の対応づけを行い、三角測量の原理から距離を算出する。

パターン撮像画像は、個々のストライプ間の境界線が明確化されており、ストライプ間のエッジ部のコントラストが高い状態であるため、ステップ１にて行うエッジ抽出の精度が飛躍的に向上する。これは特に反射率の低い対象物（濃い色の対象物など）を計測対象にする場合に有効であり、安定したエッジ抽出が可能となり、信頼性の高い距離計測が可能となる。また本実施例では、２台のカメラ１２、１３により撮像を行っており、計測フロー１においては、パターン撮像画像間の比較により距離計測を行うものである。この利点として、対象物上での反射率による誤対応を防止できることが挙げられ、実施例１に比べて、より信頼性の高い距離計測が可能となる。また、この例では、特許第３４８２９９０号公報に記載されるような周知のパターンの再コード化を行なうようにしても良い。詳細については当該特許文献を参照されたい。また、この例では、ハーフミラーを用いたが、図７に示すように、プロジェクタ１１およびカメラ１３を、パターンのストライプ（エッジ）の方向に無視できる程度に離間して配置し、実質的に同一の光軸上（同主点）に配置しても良い。この場合ハーフミラーによるパターン光のロスや配分に伴うパワーの低下やバラツキを回避できる。

本発明の実施例１の３次元形状計測装置の構成を説明する図である。 本発明の投射ストライプ例を説明する図である。 本発明の投射ストライプパターン光の配列例を示す図である。 本発明のストライプ濃度順に応じて最高濃度または最低濃度のラインパターンを形成したストライプパターンの例を示す図である。 本発明の実施例２の３次元形状計測装置の構成を説明する図である。 本発明の実施例３の３次元形状計測装置の構成を説明する図である。 上述実施例３の変形例を説明する図である。 従来の３次元形状計測装置の構成を示す図である。 従来の３次元形状計測装置の投射パターン光を説明する図である。

符号の説明

１０ 対象物
１１ プロジェクタ
１２、１３ カメラ
１４ ハーフミラー
１００ 制御部

Claims (5)

1. 複数の濃度を有するストライプの組み合わせで構成されたストライプパターンを対象物に投光する投光手段と、該投光手段と主点を異なる位置に配置した一乃至複数の撮像手段とを有して構成される３次元形状測定装置において、該ストライプパターン中の隣接するストライプの間に最高濃度および最低濃度のラインの対を設けたことを特徴とする３次元形状計測装置。
2. 前記隣接するストライプのうち濃度の高いストライプ側に前記最高濃度のラインを隣接させ、前記隣接するストライプのうち濃度の低いストライプ側に前記最低濃度のラインを隣接させた請求項１記載の３次元形状計測装置。
3. 前記最高濃度および最低濃度のラインの並び方向を固定とした請求項１記載の３次元形状計測装置。
4. 複数の濃度を有するストライプの組み合わせで構成されたストライプパターンを対象物に投光する投光手段と、該投光手段と主点を異なる位置に配置した一乃至複数の撮像手段とを有して構成される３次元形状測定装置において、該ストライプパターン中の隣接するストライプの間にラインの対を設け、当該ラインの対の一方は相対的に高い固定濃度のラインおよび当該ラインの対の他方は相対的に低い固定濃度のラインとしたことを特徴とする３次元形状計測装置。
5. 投光装置により複数の濃度を有するストライプの組み合わせで構成されたパターンを対象物に投光し、該投光装置と主点を異なる位置に配置した一乃至複数の撮像装置により上記パターンを撮像し、撮像されたパターンに基づいて３次元形状を計測する３次元形状計測方法において、該ストライプパターン中の隣接するストライプの間に最高濃度および最低濃度のラインの対を設けたことを特徴とする３次元形状計測方法。