JP2022118809A - ３次元計測装置、３次元計測方法、３次元計測プログラム - Google Patents

Abstract

【課題】環境光オフセットの影響を適切に除去できる３次元計測装置、３次元計測方法、３次元計測プログラムを提供する。また、環境光オフセットの変化の影響を低減できる３次元計測装置、３次元計測方法、３次元計測プログラムを提供する。【解決手段】３次元計測装置１は、投光時データの取得を行ない、かつ、非投光時データの取得を行なう受光制御部３１と、投光時データ及び非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成する近似演算部３２と、近似演算部３２による演算結果を用いて近似投光時データから環境光の成分を除去又は軽減する環境光成分除去演算部３３と、環境光成分除去演算部３３による演算結果に基づいて測定対象物の距離分布データを生成する距離演算部３４とを備える。【選択図】図１

Description

本発明は、３次元計測装置、３次元計測方法、３次元計測プログラムに関するものである。

対象物に検出光を投光して撮影を行なって、得られた画像データから対象物の各位置までの距離情報を求めて形状情報や３次元マップ等とも呼ばれる距離分布データを作成する技術が知られている（特許文献１参照）。
特許文献１に開示されている方法では、投光部から予め決められたパターンの検出光を投光して、そのパターンの対象物上での位置や形状の変化から距離を検出するストラクチャード・ライト（Structured Light）方式が用いられている。
また、対象物に投光された検出光が受光部まで戻ってくる時間差を利用して距離を検出するタイム・オブ・フライト（Time of Flight）方式も従来から用いられている。

いずれの方式を用いる場合であっても、検出光を投光する投光部の出力は、太陽光に比べれば、非常に出力が小さい。したがって、特に屋外等では、周囲の太陽光や各種照明光（以下、これらを環境光と呼ぶ）が対象物にも当たっている状態で検出光を投光することとなり、環境光に検出光が重なった状態（以下、環境光オフセット）で画像データを取得することとなる。そのため、検出光がより強力な環境光に埋もれてしまい、適切に検出光を抽出することができない場合があった。また、環境光の影響を排除するために、従来から、検出光を投光した状態と投光しない状態との双方の画像データを取得して、これらを比較することにより、環境光オフセットの影響を排除した検出光を抽出することが行われている。

しかし、受光部として用いられているイメージセンサ（撮像素子）によって得られる画像情報は、Ａ／Ｄコンバータの構成が、例えば、８ｂｉｔ階調であれば２５６階調等の階調の分解能しかなく、量子化ノイズが少なからず含まれている。これを１６ｂｉｔとすれば、環境光オフセットが殆どない室内ならこの分解能を十分使って精密測定が可能な場合もあるが、太陽光下では数割の数値範囲を損なうことになる。また、測定ノイズであるジッターノイズ等の各種ノイズが含まれたまま画像情報が生成されるので、これらも正確な測定の障害となる。

また、例えば、環境光オフセットの強度に合わせて検出光の光強度をあげればＳ／Ｎ比の改善は行える。しかし、検出光の出力を高くしすぎると、検出光が人の目の網膜に悪影響を及ぼすおそれがあり望ましくない。人の目にダメージを与えない検出光の光強度基準としては、例えば、光源から１０ｃｍ離れた距離で直径７ｍｍの瞳孔内に入射する光出力が、網膜にダメージを与えない程度の出力に制限する必要がある。したがって、人物も対象とする場合には、検出光の出力を高めるにも限度がある。

さらに、太陽光下では別の課題が存在する。例えば、植物の近くで測定した場合、風が吹くことで、葉が揺れ、反射光や葉が作る影の変動によって環境光オフセットが激変する場合がある。検出光を投光した状態と投光しない状態との双方の画像データを取得して環境光オフセットの影響を排除するためには、撮影時の環境光オフセットが同一であることが必要である。したがって、複数の画像を略同時に取得（撮影）することができれば問題ないが、例えば、イメージセンサのフレームレートが１／３０秒／フレーム程度であると、環境光オフセットが激変する場合に対応できないおそれがあった。また、３次元計測装置を例えば自動車等に搭載して走行中に利用する場合を想定すると、街路樹や周囲建物や物体の反射光強度や影の影響で大きく環境光オフセットが変動することから、従来の手法では正確な検出が期待できなかった。

特開２０１０－５０４５２２号公報

本発明の課題は、環境光オフセットの影響を適切に除去できる３次元計測装置、３次元計測方法、３次元計測プログラムを提供することである。
また、本発明のさらなる課題は、環境光オフセットの変化の影響を低減できる３次元計測装置、３次元計測方法、３次元計測プログラムを提供することである。

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

第１の発明は、検出光を投光する投光部（１０、１０Ｂ）と、前記検出光を受光するイメージセンサ部（２１、２１Ｂ）と、前記検出光を投光した状態で前記イメージセンサ部（２１、２１Ｂ）により受光を行ない投光時データの取得を行ない、かつ、前記検出光を投光しない状態で前記イメージセンサ部（２１、２１Ｂ）により受光を行ない非投光時データの取得を行なう受光制御部（３１、３１Ｂ）と、前記投光時データ及び前記非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成する近似演算部（３２、３２Ｂ）と、前記近似演算部（３２、３２Ｂ）による演算結果を用いて前記近似投光時データから環境光の成分を除去又は軽減する環境光成分除去演算部（３３、３３Ｂ）と、前記環境光成分除去演算部（３３、３３Ｂ）による演算結果に基づいて測定対象物の距離分布データを生成する距離演算部（３４、３４Ｂ）と、を備える３次元計測装置（１、１Ｂ）である。

第２の発明は、第１の発明に記載の３次元計測装置（１、１Ｂ）において、前記環境光成分除去演算部（３３、３３Ｂ）は、複数の画素を含む複数の領域に予め分割設定された第２特定画素領域毎に、前記近似投光時データと前記近似非投光時データとの差異を関数に近似すること、を特徴とする３次元計測装置（１、１Ｂ）である。

第３の発明は、第１の発明又は第２の発明に記載の３次元計測装置（１、１Ｂ）において、前記投光部（１０、１０Ｂ）は、予め定められた投影パターンの検出光を投光し、前記距離演算部（３４、３４Ｂ）は、ストラクチャード・ライト方式により距離分布データを生成すること、を特徴とする３次元計測装置（１、１Ｂ）である。

第４の発明は、第１の発明又は第２の発明に記載の３次元計測装置（１、１Ｂ）において、前記受光制御部（３１、３１Ｂ）は、前記投光時データとして、前記投光部（１０、１０Ｂ）が連続して検出光を投光する状態と、前記投光部（１０、１０Ｂ）がパルス状に検出光を投光する状態との双方について投光時データを取得し、前記距離演算部（３４、３４Ｂ）は、タイム・オブ・フライト方式により距離分布データを生成すること、を特徴とする３次元計測装置（１、１Ｂ）である。

第５の発明は、投光部（１０、１０Ｂ）が検出光を投光するステップと、イメージセンサ部（２１、２１Ｂ）が前記検出光を受光するステップと、受光制御部（３１、３１Ｂ）が前記検出光を投光した状態で前記イメージセンサ部（２１、２１Ｂ）により受光を行ない投光時データの取得を行ない、かつ、前記検出光を投光しない状態で前記イメージセンサ部（２１、２１Ｂ）により受光を行ない非投光時データの取得を行なうステップと、近似演算部（３２、３２Ｂ）が前記投光時データ及び前記非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成するステップと、環境光成分除去演算部（３３、３３Ｂ）が、前記近似演算部（３２、３２Ｂ）による演算結果を用いて前記近似投光時データから環境光の成分を除去又は軽減するステップと、距離演算部（３４、３４Ｂ）が、前記環境光成分除去演算部（３３、３３Ｂ）による演算結果に基づいて測定対象物の距離分布データを生成するステップと、を備える３次元計測方法である。

第６の発明は、コンピュータに、投光部（１０、１０Ｂ）が検出光を投光するステップと、イメージセンサ部（２１、２１Ｂ）が前記検出光を受光するステップと、受光制御部（３１、３１Ｂ）が前記検出光を投光した状態で前記イメージセンサ部（２１、２１Ｂ）により受光を行ない投光時データの取得を行ない、かつ、前記検出光を投光しない状態で前記イメージセンサ部（２１、２１Ｂ）により受光を行ない非投光時データの取得を行なうステップと、近似演算部（３２、３２Ｂ）が前記投光時データ及び前記非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成するステップと、環境光成分除去演算部（３３、３３Ｂ）が、前記近似演算部（３２、３２Ｂ）による演算結果を用いて前記近似投光時データから環境光の成分を除去又は軽減するステップと、距離演算部（３４、３４Ｂ）が、前記環境光成分除去演算部（３３、３３Ｂ）による演算結果に基づいて測定対象物の距離分布データを生成するステップと、
を実行させるための３次元計測プログラムである。

本発明によれば、環境光オフセットの影響を適切に除去できる３次元計測装置、３次元計測方法、３次元計測プログラムを提供することができる。また、本発明によれば、環境光オフセットの変化の影響を低減できる３次元計測装置、３次元計測方法、３次元計測プログラムを提供することができる。

本発明による３次元計測装置１の第１実施形態の構成を示す図である。 動作の流れに沿って、制御部３０の各部をより具体的な構成で示した図である。 距離演算部３４が行なう距離演算の概要を説明する図である。 ドットパターンの一例を示す図である。 特定の矩形領域にあるドットパターンと一致する領域を検出する手法を説明する図である。 矩形領域の定義を説明する図である。 輝度分布モデル関数を説明する図である。 環境光成分除去演算部３３が、近似投光時データから近似非投光時データ（環境光の成分）を除去する効果を示す図である。 第２実施形態の３次元計測装置１Ｂの概要を説明する図である。 Time of Flightの実現可能な構成を示す図である。 受光制御部３１Ｂが行なうデータ取得の方法を説明する図である。 環境光成分除去演算部３３Ｂが行なう処理によって得られるデータを説明する図である。 動作の流れに沿って、制御部３０Ｂの各部をより具体的な構成で示した図である。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

（第１実施形態）
図１は、本発明による３次元計測装置１の第１実施形態の構成を示す図である。
なお、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張したり、省略したりして示している。
また、以下の説明では、具体的な数値、形状、材料等を示して説明を行なうが、これらは、適宜変更することができる。
第１実施形態の３次元計測装置１は、投光部１０と、イメージセンサ部２１と、制御部３０とを備えている。第１実施形態の３次元計測装置１は、紫外線、可視光、近赤外光、遠赤外光のいずれかの帯域において単波長のレーザー光源を有し、光パルスを円形状又は長方形状に投影するパターン光を投影し、対象物に投影されたパターン光を光学的に観測し、パターン光の観測視差から三角法を用いて距離を求めるStructured Light（ストラクチャード・ライト）方式を採用している。

投光部１０は、投光レンズ１０ａを備え（図３参照）、上述のように、単波長のレーザー光源と、ドットパターンを投影するためのパターン発生部とを備え、ランダムに配置されたドットパターン（検出光）を投光する。パターン発生部は、例えば、回折光学素子（ＤＯＥ）を用いることができる。
イメージセンサ部２１は、投光部１０が検出対象に投光したドットパターンを受光する撮像素子を備えたカメラである。イメージセンサ部２１は、カメラ２０の一部として構成されている（後述の図３参照）。カメラ２０は、イメージセンサ部２１と、撮影レンズ２２と、を備えている。
投光部１０とイメージセンサ部２１とは、例えば、水平方向に所定の距離（後述の図３における距離ｄ）離れて配置されている。

制御部３０は、受光制御部３１と、近似演算部３２と、環境光成分除去演算部３３と、距離演算部３４とを備えている。なお、制御部３０は、専用の回路を備えた装置として構成してもよいし、ＣＰＵや記憶部等を備えたコンピュータに３次元計測プログラムを実行させて実現させてもよい。

受光制御部３１は、投光部１０及びイメージセンサ部２１を制御して、検出光を投光した状態でイメージセンサ部２１により受光を行ない投光時データの取得を行なう。また、受光制御部３１は、投光部１０及びイメージセンサ部２１を制御して、検出光を投光しない状態でイメージセンサ部２１により受光を行ない非投光時データの取得を行なう。より具体的には、受光制御部３１は、投光部１０が検出光を投光する状態と、投光しない状態とを撮影のフレーム毎に繰り返す。このフレーム間の差分をとることにより、環境光成分の除去を可能とするためである。

近似演算部３２は、投光時データ及び非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成する。

環境光成分除去演算部３３は、近似演算部３２による演算結果を用いて近似投光時データから環境光の成分を除去又は軽減する演算を行なう。
また、環境光成分除去演算部３３は、複数の画素を含む複数の領域に予め分割設定された第２特定画素領域毎に、近似投光時データと前記近似非投光時データとの差異を関数に近似する。

距離演算部３４は、環境光成分除去演算部３３による演算結果に基づいて測定対象物の距離分布データを生成する。なお、距離分布データとは、測定対象範囲内における位置（領域）毎に、投光部１０及びイメージセンサ部２１の位置を基準とした距離がどのように分布しているのかを示すデータである。

図２は、動作の流れに沿って、制御部３０の各部をより具体的な構成で示した図である。
図２中で「環境光オフセット」と示しているのは、ドットパターンを投光してイメージセンサ部２１により検出したデータ中に含まれる環境光成分を示している。ドットパターンを投光したときに取得する検出データ中には、ドットパターンの成分と環境光の成分が含まれており、環境光の影響は無視できないので、本実施形態では、受光制御部３１が、ドットパターンを投光して検出するデータに加えて、ドットパターンを投光しない状態で環境光のみをイメージセンサ部２１により検出したデータも取得する。受光制御部３１が取得したデータは、フレームバッファにそれぞれ格納される。

近似演算部３２では、フレームバッファにそれぞれ格納されている検出データにおける受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを演算生成して、それぞれレジスタに格納する。
屋内でStructured Light方式を利用する場合には、環境光オフセットは比較的安定しており、単純差分で環境光オフセットは除去できる。しかし、太陽光下（屋外）で使用する場合には、フレーム間でも環境光は大きく変化するため、ドットパターンの観測時に環境光オフセットが残るので正しい測距が行えないという課題があった。
また、太陽光下での測定では、環境光オフセットが検出光による反射光強度と比べて非常に大きく、カメラのＡ／Ｄコンバータの分解能の制約がある。カメラのＡ／Ｄコンバータの分解能を仮に１６ビットとすると、環境光オフセットが殆どない室内ならこの分解能を十分使って精密測定が可能だが、太陽光下では数割の数値範囲を損なうことになる。

また、実際の測定においては、投光部１０のビーム指向性の影響を受けて明るさに斑が存在し、検出光周辺の暗い部分ではＳ／Ｎ比が劣化する。さらに、対象物の吸光度が大きい場合には同様にＳ／Ｎ比が劣化する。さらにまた、対象物からの反射光強度は物体の法線ベクトルと光線ベクトルのなす角が０のときが最大で、９０度のとき最小値０となる。さらに、光は距離の２乗に比例する面積に広がるので反射光強度は距離の２乗に反比例して減衰し、Ｓ／Ｎ比が劣化する。

環境光オフセットの強度に合わせて検出光強度を上げればＳ／Ｎ比の改善は行えるが、検出光の強度を上げると、人体へ悪影響を及ぼすことも想定される。例えば、光源から１０ｃｍ離れた距離で直径７ｍｍの瞳孔内に入射する光出力が、網膜にダメージを与えない程度の出力に制限しなければならない。

さらに、例えば、植物の近くでの環境光オフセットを考慮すると、風が吹くことで、葉が揺れ、反射光や葉が作る影の変動によって環境光オフセットが激変する。環境光オフセットが除去できるためには、環境光オフセットが同一であることが望ましいが、イメージセンサ部２１のフレームレートが１／３０秒／フレーム程度であると、１フレームの違いで環境光オフセットが大きく変化する場合が生じる。また、自動車等で走行中に測距を行なう場合にも街路樹や周囲建物や物体の反射光強度や影の影響で大きく環境光オフセットが変動する。

そこで、本実施形態では、近似演算部３２によって、モデル関数を放物曲面（Ｏ（ｘ，ｙ）＝ａｘ２＋ｂｘ＋ｃｙ２＋ｄｙ＋ｅ）として矩形画素領域（第１特定画素領域）（ｍ×ｍ画素、ただしｍは奇数）単位に最小２乗法で近似して中央値を演算することにより１フレーム分のデータのノイズを抑制する。

また、環境光成分除去演算部３３では、近似演算部３２が演算生成した近似投光時データ及び近似非投光時データを用いて、モデル関数を放物曲面（Ｏ（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）－ａＳ２（ｘ，ｙ）－ｂ）として矩形画素領域（第２特定画素領域）（ｍｘ×ｍｙ画素、ただしｍは正の整数）単位に最小２乗法で近似して最小２乗誤差となる近似を行った上でモデル関数Ｏ（ｘ，ｙ）を出力して１フレーム分のデータの誤差成分を出力する。これにより、近似投光時データから環境光の成分を除去又は軽減する演算が行われ、環境光オフセットの影響を排除又は軽減したドットパターンのデータが演算生成される。
なお、上記第１特定画素領域と第２特定画素領域とは、同じであってもよいし、異なっていてもよい。

図３は、距離演算部３４が行なう距離演算の概要を説明する図である。
図３に示す状態において、三角形の相似の性質から、以下の関係がある。
ここで、投光レンズ１０ａと撮影レンズ２２との距離を基線長ｄ、投光レンズ１０ａから被写体までの距離をZ、受光レンズの焦点距離をｆ、イメージセンサ部上に投影された被写体の位置をｘとする。
Ｚ＝ｄ・ｆ／ｘ
Ｚ_ｍｉｎ＝ｄ・ｆ／ｘ_ｍａｘ
また、イメージセンサ部の水平画素数をｎ_ｘ、カメラの水平方向ＦｏＶ（field of View）を、θ_ｘであるとすると、以下関係となる。
ｘ_ｍａｘ＝ｎ_ｘ／２
ｔａｎ（θ_ｘ／２）＝ｘ_ｍａｘ／ｆ
以上のように、距離演算部３４は、光三角法によって距離演算を行なうことができる。

ランダム・ドット・パターンを投光する投光部としてはパターン・プロジェクタ等を用いることができる。パターン・プロジェクタと、撮像用のカメラを図１のように水平方向にずらした位置に配置することで、測定対象に投影されたランダム・ドット・パターンは三角形の相似関係により常に距離に応じて水平方向にずれた位置に観測される。

図４は、ドットパターンの一例を示す図である。
図４に示すドットパターン上には、特定の矩形領域にあるドットパターンと一致する領域は、複数存在しておらず、１領域のみ存在している。このようなドットパターンは、乱数を用いてランダムなスクリーン座標を発生させ、既に配置済みのドットと一定距離内に重ならなかった場合はそのままドットを配置し、又は既に置いたドットと重なった場合はドットを配置せずに、次の乱数を求めてドットの配置を繰り返す。このようにして得られたランダムなドットパターンの自己相関特性は鋭敏であり、自分自身に重なるのは０シフトの場合だけで、１画素でもずらせば相関値は激減する性質を有している。ドットパターンの部分パターンと元のパターンの相互相関に関しても、鋭敏な相関を有し、０シフトの場合のみ重なるが、それ以外では相互相関値は低い値を示す。
測定対象に投影されたドットパターンは三角形の相似関係により常に距離に応じて水平方向にずれた位置に観測される。

図５は、特定の矩形領域にあるドットパターンと一致する領域を検出する手法を説明する図である。
特定の矩形領域にあるドットパターンと一致する領域を検出するためには、先ず、ドットパターンのドット部を＋１とし、非ドット部を－１として量子化を行なう。そして、特定の矩形領域内の画素値を以下の数式により積和演算する。
ここで、類似度を表す相関値をφ_ｊとする。
抽出したい特定の矩形領域のテンプレート画像の画素を、ドットパターンの有無により量子化し、ベクトル値Ｑ_ｉとする。
特定の矩形領域と、比較し相関関係を判定したい矩形領域の画像の画素を、ドットパターンの有無により量子化し、ベクトル値Ｐ_ｉ＋ｊとする。ｎは、矩形領域の画素数である。

特定の矩形領域のパターンと、撮像された水平方向のドットパターンの相互相関を演算すれば相関値のピーク位置により、図３に示す光三角法による測距のための画素位相位置を得ることができる。

図６は、矩形領域の定義を説明する図である。
図７は、輝度分布モデル関数を説明する図である。
近似演算部３２では、例えば、得られた各データを数式に近似する。
図６及び図７に示すように、ｍ×ｍ画素でｍを奇数とする矩形領域の深度値をモデル関数放物曲面Ｏ（ｘ，ｙ）＝ａｘ２＋ｂｘ＋ｃｙ２＋ｄｙ＋ｅで近似する。実測値をＳ（ｘ，ｙ）とする。

同様にａ，ｂ，ｃ，ｄ，ｅに関しては、以下の式が成り立つ。

図６のように矩形小領域を設定することにより、以下の式になる。

ここで、未知数ａ，ｃ，ｅの項だけ抜き出すことができる。

未知数ｅは、座標原点のノイズ改善後の値である。
さらに、以下の３×３のマトリックスの逆行列の公式を利用して、中央値ｅ（ｘ＝０，ｙ＝０）の値を求めることができる。

上記３×３の逆行列の公式を使って、以下のような積和計算で近似を行なうことができる。なお、以下の式においてｗ_ｊは、予め演算可能な係数である。

次に、環境光成分除去演算部３３の演算について説明する。
真っ暗な状態で検出光を投光して検出を行なうのであれば、簡単に適切な検出結果が得られる。しかし、例えば、太陽光に照射されている環境下で検出光を投光したとしても、太陽光スペクトルは対象となる波長帯域全般にわたって強力なエネルギーを注いでいるため、環境光オフセットのある状況下で測定を行なうことになる。
したがって、環境光オフセットが紛れ込んだ状態でドットパターンの測定をすることになる。

そこで、本実施形態の３次元計測装置１では、先に説明したように、環境光成分除去演算部３３が、近似演算部３２による演算結果を用いて近似投光時データから環境光の成分を除去又は軽減する演算を行なう。具体的には、例えば、以下の式と、２×２の逆行列の公式を使用し、未知数ａ（倍率）、ｂ（オフセット）を求めることができる。
投光時の実測値をＳＲ（ｘ，ｙ）、環境光の実測値をＳＧ（ｘ，ｙ）として、測定の際の倍率とオフセットを考慮した、両者の差分をｅ（ｘ，ｙ）とする。

図８は、環境光成分除去演算部３３が、近似投光時データから近似非投光時データ（環境光の成分）を除去する効果を示す図である。
図８（ａ）は、検出光を投光せずに受光した画像データを示している。図８（ｂ）は、検出光を投光した状態で受光した画像データを示している。図８（ｂ）を見ただけでは、検出光のドットパターンを確認することは難しい。
図８（ｃ）は、近似投光時データから近似非投光時データ（環境光の成分）を除去した後の画像データを示している。図８（ｃ）の結果では、検出光のドットパターンが明確になっており、環境光成分除去演算部３３による演算の効果が確認できる。

以上説明したように、第１実施形態によれば、近似演算部３２と、環境光成分除去演算部３３と、距離演算部３４とにおいて扱うデータは、浮動小数点形式のデータとなり、データの分解能を向上することができ、量子化ノイズを抑制することができる。また、太陽光下においても照度変化に対して精度が損なわれることなく、安定して３次元計測を行える。さらに、環境光オフセットの大変動に対しても環境光オフセットの削除又は低減が有効に機能する。

（第２実施形態）
第２実施形態の３次元計測装置は、Time of Flight（タイム・オブ・フライト）方式を採用している点で、Structured Light（ストラクチャード・ライト）方式を採用している第１実施形態の３次元計測装置と異なるが、その他の点は、第１実施形態と同様である。よって、前述した第１実施形態と同様の機能を果たす部分には、末尾にＢの符号を付して、重複する説明を適宜省略する。

図９は、第２実施形態の３次元計測装置１Ｂの概要を説明する図である。
第２実施形態の３次元計測装置１Ｂは、紫外線、可視光、近赤外光、遠赤外光のいずれかの帯域において単波長のレーザー光源を有し、光パルスを円形状又は長方形状に投影する検出光を投影し、測定対象物に反射して戻ってくる光を光学系で画素単位に観測し、光パルスの位相遅れを測定することで対象までの距離を求めるTime of Flight方式を採用している。

投光部１０Ｂは、全体に略一様、又は、ガウス分布の検出光を投光し、第１実施形態のようなドットパターンの投影を行わない他は、第１実施形態の投光部１０と同様である。
イメージセンサ部２１Ｂは、第１実施形態のイメージセンサ部２１と同様である。
光は１秒間に３０万ｋｍで伝搬する。光パルスの周波数を仮に５０ＭＨｚとすれば１波長６ｍとなる。光が３ｍの距離を往復伝搬するのに要する時間は２０ナノ秒となり、３ｍｍ単位の距離を測定するには２０ピコ秒、１ｍｍ単位の距離を測定するには約６．６７ピコ秒となり、光パルスが戻るまでの時間をカウンタで１ｍｍ分解能の計時を行なうことで測距を実現するには１５０ＧＨｚのクロックが必要となる。しかし、このような回路は通常の民生用半導体では実現することは難しい。

図１０は、Time of Flightの実現可能な構成を示す図である。
ここで、レーザー光源である投光部１０Ｂが発生する光パルスのデューティー・サイクルを１：１とする。イメージセンサ部２１Ｂの出力する光電流をコンデンサに蓄積するスイッチを画素単位に備え、すべてのスイッチを投光部１０Ｂの光パルスがオフのタイミングで一斉にオンとする本実施形態の機構をグローバルシャッターと呼ぶ。
図１０に示した構成によって、イメージセンサ部２１Ｂの出力電流をゲート（スイッチ）信号のオンのタイミングでコンデンサに蓄積を行なう。

第２実施形態においても、屋外で使用される場合には、環境光オフセットのある状況下で測定を行なうことになる。
また、実際の測定においては、投光部１０Ｂのビーム指向性の影響を受けて明るさに斑が存在し、検出光周辺の暗い部分ではＳ／Ｎ比が劣化する。さらに、対象物の吸光度が大きい場合には同様にＳ／Ｎ比が劣化する。さらにまた、対象物からの反射光強度は物体の法線ベクトルと光線ベクトルのなす角が０のときが最大で、９０度のとき最小値０となる。さらに、光は距離の２乗に比例する面積に広がるので反射光強度は距離の２乗に反比例して減衰し、Ｓ／Ｎ比が劣化する。
そこで、第２実施形態においても、環境光オフセットを除去するためのデータを取得できるように、受光制御部３１Ｂが投光部１０Ｂ及びイメージセンサ部２１Ｂを制御して複数の状態のデータを取得する。

図１１は、受光制御部３１Ｂが行なうデータ取得の方法を説明する図である。
ステップ１として、投光部１０Ｂが非投光（オフ）の状態で環境光だけ、すなわち、環境光オフセットの画像データを取得する。
ステップ２として、投光部１０Ｂが投光（オン）の状態で環境光と検出光とが含まれた画像データを取得する。
ステップ３として、投光部１０Ｂがパルス状の投光を行ないながら、投光部１０Ｂが非投光（オフ）時の環境光オフセットと位相遅延分の反射光強度（環境光オフセットを含む）とが含まれた画像データを取得する。

図１２は、環境光成分除去演算部３３Ｂが行なう処理によって得られるデータを説明する図である。
図１２に示すようにＢ－Ａで検出光による反射光強度を求めることができる。これは検出光の指向性、吸光度、拡散反射、距離減衰をすべて包含した１フレーム分の光電流を蓄積した結果となっている。Ｃ－Ａで位相遅延分の反射光強度を得ることができる。Ｅ／Ｄにより検出光の指向性、吸光度、拡散反射、距離減衰の影響を補正して距離に比例した結果を得ることができる。精度を上げるには分母であるＤの精度を確保する必要がある。

しかし、第１実施形態のStructured Light方式において説明したような太陽光下における分解能、Ｓ/Ｎ比等の課題や、葉の揺れや走行中であること等による環境光オフセットの変動の各種課題は、Time of Flight方式を採用している第２実施形態においても同様に生じる課題である。

そこで、第２実施形態においても、近似演算部３２Ｂ及び環境光成分除去演算部３３Ｂによって、近似演算を利用して、上記課題を解決している。
図１３は、動作の流れに沿って、制御部３０Ｂの各部をより具体的な構成で示した図である。

受光制御部３１Ｂの制御により、フレームバッファＡは、検出光オフ時の画像データを保持する。フレームバッファＢは、検出光オン時の画像データを保持する。フレームバッファＣは、投光部が光パルス駆動されている時のオフ・タイミングで蓄積した画像データを保持する。

近似演算部３２Ｂでは、フレームバッファＡ、Ｂ、Ｃのそれぞれから画像データを供給データを受けて、モデル関数を放物曲面（Ｏ（ｘ，ｙ）＝ａｘ２＋ｂｘ＋ｃｙ２＋ｄｙ＋ｅ）として矩形画素領域（ｍ×ｍ画素、ただしｍは奇数）単位に最小２乗法で近似して中央値を演算することにより１フレーム分のデータのノイズを抑制する。
フレームバッファＡの画像データからは、近似非投光時データが得られ、フレームバッファＢの画像データからは、近似投光時データが得られ、フレームバッファＣの画像データからは、近似パルス投光時データが得られる。

環境光成分除去演算部３３Ｂでは、近似演算部３２が演算生成した近似投光時データと近似非投光時データと近似パルス投光時データとを用いて、モデル関数を放物曲面（Ｏ（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）－ａＳ２（ｘ，ｙ）－ｂ）として指定長方形画素領域（ｍｘ×ｍｙ画素、ただしｍは正の整数）単位に最小２乗法で近似して最小２乗誤差となる近似を行った上でモデル関数Ｏ（ｘ，ｙ）を出力して１フレーム分のデータの誤差成分を出力する。

上記近似演算部３２Ｂ及び環境光成分除去演算部３３Ｂにおける近似計算については、第１実施形態と同様である。

以上説明したように、第２実施形態によれば、第１実施形態と同様に、扱うデータは、浮動小数点形式のデータとなり、データの分解能を向上することができ、量子化ノイズを抑制することができる。また、太陽光下においても照度変化に対して精度が損なわれることなく、安定して３次元計測を行える。さらに、環境光オフセットの大変動に対しても環境光オフセットの削除又は低減が有効に機能する。

なお、各実施形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。

１、１Ｂ ３次元計測装置
１０、１０Ｂ 投光部
１０ａ 投光レンズ
２０ カメラ
２１、２１Ｂ イメージセンサ部
２２ 撮影レンズ
３０、３０Ｂ 制御部
３１、３１Ｂ 受光制御部
３２、３２Ｂ 近似演算部
３３、３３Ｂ 環境光成分除去演算部
３４ 距離演算部

Claims (6)

1. 検出光を投光する投光部と、
   前記検出光を受光するイメージセンサ部と、
   前記検出光を投光した状態で前記イメージセンサ部により受光を行ない投光時データの取得を行ない、かつ、前記検出光を投光しない状態で前記イメージセンサ部により受光を行ない非投光時データの取得を行なう受光制御部と、
   前記投光時データ及び前記非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成する近似演算部と、
   前記近似演算部による演算結果を用いて前記近似投光時データから環境光の成分を除去又は軽減する環境光成分除去演算部と、
   前記環境光成分除去演算部による演算結果に基づいて測定対象物の距離分布データを生成する距離演算部と、
   を備える３次元計測装置。
2. 請求項１に記載の３次元計測装置において、
   前記環境光成分除去演算部は、複数の画素を含む複数の領域に予め分割設定された第２特定画素領域毎に、前記近似投光時データと前記近似非投光時データとの差異を関数に近似すること、
   を特徴とする３次元計測装置。
3. 請求項１又は請求項２に記載の３次元計測装置において、
   前記投光部は、予め定められた投影パターンの検出光を投光し、
   前記距離演算部は、ストラクチャード・ライト方式により距離分布データを生成すること、
   を特徴とする３次元計測装置。
4. 請求項１又は請求項２に記載の３次元計測装置において、
   前記受光制御部は、前記投光時データとして、前記投光部が連続して検出光を投光する状態と、前記投光部がパルス状に検出光を投光する状態との双方について投光時データを取得し、
   前記距離演算部は、タイム・オブ・フライト方式により距離分布データを生成すること、
   を特徴とする３次元計測装置。
5. 投光部が検出光を投光するステップと、
   イメージセンサ部が前記検出光を受光するステップと、
   受光制御部が前記検出光を投光した状態で前記イメージセンサ部により受光を行ない投光時データの取得を行ない、かつ、前記検出光を投光しない状態で前記イメージセンサ部により受光を行ない非投光時データの取得を行なうステップと、
   近似演算部が前記投光時データ及び前記非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成するステップと、
   環境光成分除去演算部が、前記近似演算部による演算結果を用いて前記近似投光時データから環境光の成分を除去又は軽減するステップと、
   距離演算部が、前記環境光成分除去演算部による演算結果に基づいて測定対象物の距離分布データを生成するステップと、
   を備える３次元計測方法。
6. コンピュータに、
   投光部が検出光を投光するステップと、
   イメージセンサ部が前記検出光を受光するステップと、
   受光制御部が前記検出光を投光した状態で前記イメージセンサ部により受光を行ない投光時データの取得を行ない、かつ、前記検出光を投光しない状態で前記イメージセンサ部により受光を行ない非投光時データの取得を行なうステップと、
   近似演算部が前記投光時データ及び前記非投光時データのそれぞれについて、複数の画素を含む複数の領域に予め分割設定された第１特定画素領域毎に、受光光量の分布を関数に近似して近似投光時データ及び近似非投光時データを生成するステップと、
   環境光成分除去演算部が、前記近似演算部による演算結果を用いて前記近似投光時データから環境光の成分を除去又は軽減するステップと、
   距離演算部が、前記環境光成分除去演算部による演算結果に基づいて測定対象物の距離分布データを生成するステップと、
   を実行させるための３次元計測プログラム。

Images