JP2020008531A - 距離補正機能を有する測距装置 - Google Patents

Abstract

【課題】容易に高精度な距離補正を可能にした測距装置を提供する。【解決手段】測距装置１０は、三次元座標の相関が明らかな複数の特徴点３２を有する参照物体２５を撮像した二次元画像３１に基づいて参照物体２５までの距離を算出する参照物体距離算出部２６と、算出した参照物体２５までの距離と距離画像３０における参照物体２５までの測距値との比較により、距離画像３０を補正するための補正量Ｌｉを算出する補正量算出部と、を備える。【選択図】図１

Description

本発明は、光の飛行時間に基づき物体までの距離を測定する測距装置に関し、特に距離補正機能を有する測距装置に関する。

物体までの距離を測定する測距装置として、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）カメラが公知である。ＴＯＦカメラは、所定周期で強度変調した測定光を測定対象空間に照射し、照射した測定光と測定対象空間の物体からの反射光との間の位相差を検出する位相差方式を採用するものが多い。

三次元センサであるＴＯＦカメラは、電子素子（例えば受光素子、Ａ／Ｄ変換素子等）の個体特性バラツキ、電子素子の経年変化等に起因して測距誤差を生じる。個体特性バラツキについては、カメラ供給者によって出荷時に特定条件下で行うキャリブレーションにより目標誤差内に調整されるものの、使用環境（特に温度）の相違、経年変化等によっては、測距誤差が大きくなる場合がある。これら測距誤差は個体毎に度合いが異なる。

特許文献１には、光飛行時間型距離画像センサを用いた距離画像生成装置が開示されている。距離画像生成装置は、大きさが既知の物体に対して平滑化に用いるフィルタのパラメータ（サイズ、係数、フレーム数等）を決定し、距離画像の平滑化を行っている。

特許文献２には、ＴＯＦカメラを使用したマーカの姿勢推定方法が開示されている。斯かる姿勢推定方法では、カメラ画像からマーカを検出し、距離画像からマーカ領域を切出し、切出した距離画像から最適な平面を推定し、推定した平面からマーカの位置及び姿勢を推定する。

特許文献３には、ＴＯＦカメラにおける誤差画素を検出する誤差画素検出装置が開示されている。誤差画素検出装置は、距離画像に基づいてＴＯＦ画像（明度画像）を補正した距離補正ＴＯＦ画像と、撮像カメラから取得した撮像画像とを比較し、比較結果に基づいて距離画像のうち測定誤差が含まれる誤差画素を検出している。

特開２０１５−１７５７５２号公報 特開２０１５−０５６０５７号公報 特開２０１４−０７０９３６号公報

ＴＯＦカメラにおける電子素子、特に半導体レーザ（ＬＤ）、トランジスタ、抵抗器等の個体特性に起因して、実際の参照光は、理想的な参照光の発光タイミングに対してタイミング遅延及び波形鈍りを生じる（図５を参照。）。斯かるタイミング遅延及び波形鈍りは、ランダム性ではなく、繰返し性が有り、理想的な発光パルスに対する単純遅延又は平均的な遅延とみなすことができるため、単純に反射光の位相に対して測距値にオフセットΔtが加わっている状態と等価であり、測距値に対してオフセット補正が必要であると考えることができる。従って、ＴＯＦカメラの供給者は、出荷前のキャリブレーション時にパラメータとして、規定距離にある物体を測距した結果から、ＴＯＦカメラ毎に個体差のあるオフセットΔtに起因する測距値のオフセットΔＬを取得し、以降ＴＯＦカメラ内部では、オフセットΔＬに基づき補正した測距値を出力している。

しかし、実際のＴＯＦカメラの使用時には、オフセットΔtに相当するタイミング遅延及び波形鈍り（即ち、単純遅延）が、周囲温度、部品発熱等による温度変化、個体特性の経時変化等に起因して変動し、測距値も変動してしまうことがある。つまり、ＴＯＦカメラにおける各画素の測距値は、変動することになる。斯かる変動に対してＴＯＦカメラ内部に温度センサを取付け、検出温度に応じて補正量を変化させる試みもあるが、温度センサの配置及び精度の問題から正確に補正しきれていない。

そこで、容易に高精度な距離補正を可能にした測距装置が求められている。

本開示の一態様は、予め定めた発光タイミングで測定対象空間に参照光を発光する発光部と、二次元に配列されていて予め定めた撮像タイミングで測定対象空間からの入射光を受光する複数の受光素子と、を備え、受光素子の受光量に基づいて測定対象空間の物体までの距離画像と距離画像に対応する二次元画像とを出力する、測距装置であって、三次元座標の相関が明らかな複数の特徴点を有する参照物体を撮像した二次元画像に基づいて参照物体までの距離を算出する参照物体距離算出部と、算出した参照物体までの距離と距離画像における参照物体までの測距値との比較により、距離画像を補正するための補正量を算出する補正量算出部と、を備える、測距装置を提供する。

本開示の一態様によれば、二次元画像と距離画像は画素毎に対応しているため、二次元画像から幾何学的に算出した参照物体までの距離を利用して距離画像を補正するための補正量を算出できる。ひいては、電子素子の個体特性バラツキ、電子素子の経年変化等に起因して生じる測距誤差の補正を容易に実現できる。

一実施形態における測距装置のブロック図である。 一実施形態における参照物体としてリファレンスマーカを利用した距離補正方法を示す説明図である。 一実施形態における参照物体として任意の物体を利用した距離補正方法を示す説明図である。 一実施形態における測距装置の設置時、数年後又は周囲温度の大きな変化時、及び補正後の測距値を示す図である。 他の実施形態における距離補正方法を示す説明図である。 従来技術における参照光の発光タイミング遅延及び波形鈍りを示す図である。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

図１は、本実施形態における測距装置１０のブロック図である。測距装置１０は、例えば位相差方式に基づき物体までの距離を測定するＴＯＦカメラであり、測定対象空間に照射される参照光Ｌ１を発光する発光部１１と、測定対象空間からの入射光Ｌ２を受光する受光部１２と、測定対象空間の物体までの距離画像を生成する距離画像生成部１３と、を備えている。

発光部１１は、例えば近赤外（ＮＩＲ）光を発光する発光ダイオード（ＬＥＤ）、ＬＤ等の光源で構成され、発光・撮像タイミング制御部１４からの発光タイミング信号に基づいて所定周期で強度変調した参照光Ｌ１を発光する。参照光Ｌ１は、拡散板１５によって拡散され、測定対象空間に照射される。

受光部１２は、例えばＲＧＢフィルタ、ＮＩＲフィルタ等を有するＣＣＤ、ＣＭＯＳ等のイメージセンサで構成され、集光レンズ等を含む光学系１６を介して入射光Ｌ２を受光する。入射光Ｌ２は、物体で反射した参照光に加え、外光も含む。受光部１２は、１画素につき赤色光、青色光、緑色光、及びＮＩＲ光を受光する４つの受光素子１７を有している。又は、受光部１２は、１画素につきＮＩＲ光のみを受光する１つの受光素子を有していてもよい。

受光素子１７は、例えばフォトダイオード、コンデンサ等で構成される。ＮＩＲ光を受光する受光素子１７は、発光・撮像タイミング制御部１４からの撮像タイミング信号に基づき、参照光Ｌ１の発光タイミングに対して所定位相だけ遅延した複数の撮像タイミングで受光する。例えば図５に示すように、理想的な参照光の発光タイミングに対して０°、９０°、１８０°、及び２７０°だけ位相をずらした４種の撮像タイミングＥｔ１〜Ｅｔ４で受光量Ｑ₁〜Ｑ₄を取得する。一方、赤色光、青色光、緑色光を受光する受光素子１７は、予め定めた撮像期間に亘って夫々受光量を取得する。取得した受光量は、図１に示すように、増幅部１８で増幅され、Ａ／Ｄ変換部１９でＡ／Ｄ変換され、Ａ／Ｄ変換値がバッファメモリ２０に記憶される。

距離画像生成部１３は、ＮＩＲ光の受光量Ｑ₁〜Ｑ₄のＡ／Ｄ変換値に基づき、測定対象空間の物体までの距離画像３０を生成する。測距値Ｌ_tofは、例えば公知の下記式から算出される。ここで、Ｔｄは参照光と反射光との位相差であり、ｃは光速であり、ｆは周波数である。生成した距離画像は、バッファメモリ２１に記憶され、出力制御部２２を介してアプリケーション２３に出力される。

二次元画像生成部２４は、ＲＧＢ光又はＮＩＲ光の受光量のＡ／Ｄ変換値に基づき二次元画像３１を生成する。即ち、二次元画像３１は、ＲＧＢ画像（カラー画像）でもよいし、ＮＩＲ画像（モノクロ画像）でもよい。二次元画像３１は、バッファメモリ２１に記憶され、出力制御部２２を介してアプリケーション２３に出力される。

図５を参照して前述した通り、実際の参照光の発光タイミングは、理想的な参照光の発光タイミングに対してオフセットΔtを有しており、出荷時に行われるキャリブレーションによって、オフセットΔｔに起因する測距値のオフセットΔＬを取得し、以降ＴＯＦカメラ内部では、オフセットΔＬに基づき補正した測距値を出力している。従って測距値Ｌ_tofは、オフセットΔＬの補正を加味した下記式から算出される。

オフセットΔtは、温度変化、経年変化等に起因して変動するため、最終的な距離画像も測距誤差を含む可能性がある。斯かるオフセットΔtの変動分を補正するため（ひいては距離画像を補正するため）、本実施形態における測距装置１０は距離補正機能を有している。測距装置１０は、二次元画像３１から幾何学的に算出した参照物体２５（図１を参照。）までの距離を利用して距離画像３０を補正するための補正量Ｌｉを算出する。幾何学的に参照物体２５までの距離を算出するため、参照物体２５は、三次元座標の相関が明らかな複数の特徴点３２を有する必要がある。なお、三次元座標の相関が明らかとは、相対的な位置関係を知ることができることを意味する。つまり、必ずしも三次元座標の相関が既知である必要はない（つまり、測距装置１０がメモリ等に予め記憶している必要はない。）。

図２Ａは、参照物体２５としてリファレンスマーカ２５ａを利用した距離補正方法を示す説明図である。リファレンスマーカ２５ａは、図４に示すように、大きさが既知である四角形の白色板状部材に、大きさ、位置関係が既知である正円、正方形、及び菱形が配置されており、三次元座標の相関が既知の特徴点を数多く含む。例えば特徴点は、正円、正方形、及び菱形の中心部でよい（符号３２ａ、３２ｂ、３２ｃで示す。）。さらに、リファレンスマーカ２５ａの正円の中心部を代表特徴点３２ｂとする。測距装置１０は、公知の画像処理を利用してリファレンスマーカ２５ａを撮像した二次元画像からリファレンスマーカ２５ａを検出し、リファレンスマーカ２５ａの種々の特徴点の画像上の位置座標をサブピクセルレベルで特定する。

測距装置１０は、複数（一般に４個以上）の特徴点の画像上の位置座標の組合せから、代表特徴点３２ｂまでの距離Ｌ_refを幾何学的に算出する。より高精度な距離Ｌ_refの算出のために、組合せの異なる複数の特徴点から複数のＬ_refを計算し、平均化処理等を行ってもよい。測距装置１０は、二次元画像に基づき算出した代表特徴点３２ｂまでの距離Ｌ_refと、距離画像における代表特徴点３２ｂの測距値Ｌ_tofとの比較により、距離画像を補正するための補正量Ｌｉを算出する。斯かる距離補正方法では、二次元画像と距離画像が画素毎に対応しており、公知のステレオ法のように２つの画像における特徴点の対応付け又は合込みといった処理が不要であると共に、さらに代表特徴点３２ｂの画像上の位置座標をサブピクセルレベルで特定する場合には距離画像上の代表特徴点の測距値についても周囲画素の測距値との補間処理により高精度に算出できるため、高精度な補正量Ｌｉを算出できる。また、リファレンスマーカ２５ａを予め用意することにより、使用者は補正したいときに容易に補正作業を行える。又は、測距装置１０がリファレンスマーカ２５ａを常時撮像し、補正量Ｌｉを随時変更して精度を維持してもよい。

図２Ｂは、参照物体として任意の物体２５ｂ、２５ｃを利用した距離補正方法を示す説明図である。本例は、２つの直方体２５ｂ、２５ｃの１０個の特徴点の三次元座標の相関を９つのベクトルで指示する例である。例えば操作者は、９つのベクトルの三次元座標を測距装置１０に直接入力してもよいし、又は、測距装置１０が撮像した二次元画像上で２つの直方体の８つの角３２ｄ、３２ｅ、３２ｆ、３２ｇ、３２ｈ、３２ｉ、３２ｊ、３２ｋの位置を指示すると共に、２つの直方体の各辺の長さ、２つの直方体間の距離を入力してもよい。このように測距装置１０は、三次元座標の相関として物体の特徴量（例えばベクトルの三次元座標、物体における特徴点の位置、物体自体のサイズ、物体における特定の形状、模様、及び色彩のサイズ等）、又は、複数の物体の位置関係（例えば物体間の距離等）を指示する手段を備えることが好ましい。これにより、任意の物体２５ｂ、２５ｃは、リファレンスマーカ２５ａと同等の役割を果たす。

再び図１を参照すると、本実施形態における測距装置１０は、参照物体２５までの距離を算出する参照物体距離算出部２６と、参照物体２５までの距離を利用して距離画像３０を補正するための補正量Ｌｉを算出する補正量算出部２７と、を備えている。参照物体距離算出部２６及び補正量算出部２７は、例えば中央処理装置（ＣＰＵ）等のプロセッサを機能させるためのソフトウェアとして構成可能である。又は、例えば斯かるソフトウェアの少なくとも一部の処理を実行可能なプロセッサ等のハードウェアとして実現してもよい。

参照物体距離算出部２６は、三次元座標の相関が明らかな複数の特徴点３２（代表特徴点３２ｂを含む。）を有する参照物体２５を撮像した二次元画像３１をバッファメモリ２１から読出し、二次元画像３１に基づいて幾何学的に特徴点３２までの距離を算出する。

補正量算出部２７は、参照物体距離算出部２６が算出した代表特徴点３２ｂまでの距離Ｌ_refと、バッファメモリ２１に記憶された距離画像３０における代表特徴点３２ｂの測距値Ｌ_tofとの比較により、距離画像を補正するための補正量を算出する。例えば補正量Ｌｉは、下記式のように距離Ｌ_ref及び測距値Ｌ_tofの差分として算出した値でもよいし、又は、全画素の各種の測距値に対してより高度な補正を行うための別途実証試験等によって求めた関数式内の複数の係数値群を算出したものでもよい。

補正量算出部２７は、補正量Ｌｉを不揮発性メモリ２８に記憶し、測距装置１０の電源投入時には、不揮発性メモリ２８から補正量Ｌｉを読出して再利用する。又は、測距装置１０がリファレンスマーカ２５ａを常時撮像する使用法においては、補正量Ｌｉを随時変更して精度を維持してもよい。また、補正量算出部２７は、発光・撮像タイミング制御部１４又は距離画像生成部１３に出力する。

発光・撮像タイミング制御部１４は、補正量Ｌｉに基づいて発光タイミング又は撮像タイミングを制御する。例えば発光・撮像タイミング制御部１４は、補正量Ｌｉが上記式のような距離としての補正値である場合には、下記式に基づき補正したオフセットΔt'を算出し、撮像タイミングを発光タイミングに対してオフセットΔt'だけ遅延するように、撮像タイミング又は発光タイミングをシフトさせる。なお、２倍しているのは、反射光が測距値の２倍の距離を移動するためである。

又は、距離画像生成部１３が、補正量Ｌｉに基づいて距離画像を補正してもよい。例えば距離画像生成部１３は、補正量算出部２７からの補正量Ｌｉが有効である場合には、下記式のようにオフセットΔＬの補正に加え、補正量Ｌｉも重畳させて測距値Ｌ_tofを補正する。

図３は、測距装置１０の設置時、数年後又は周囲温度の大きな変化時、及び補正後の測距値を示す図である。測距装置１０の設置時には、測距値が許容範囲であるが、数年後又は周囲温度の大きな変化時には、測距値が許容範囲から外れてしまうため、操作者は測距装置１０の距離補正機能を利用して測距値を補正する。又は、測距装置１０は、参照物体２５を常時監視し続け、距離補正を随時行い、精度を維持してもよい。斯かる測距装置１０によれば、電子素子の個体特性バラツキ、電子素子の経年変化等に起因して生じる測距誤差を容易に補正できる。

本願における他の実施形態における距離補正方法の一つとして、先に述べた代表特徴点の距離を用いる方法以外に、参照物体の平面上の複数の距離値を用いる手法を図４に基づき説明する。測距装置１０は、ＴＯＦに基づき距離を測定するため、公知のステレオ法とは異なり、光強度の変化が無い物体の平面の距離も測定できる。従って、参照物体距離算出部２６及び補正量算出部２７は、平面３３を撮像した二次元画像における複数の特徴点から平面３３の位置及び姿勢を求め、平面３３を撮像している各画素の距離値と、これら画素に対応する距離画像上の各画素の測距値とを複合的に比較することにより、距離画像を補正するための補正量Ｌｉを算出してもよい。これにより測距装置１０は、より高精度な補正を行う。なお、平面３３の位置とは、複数の特徴点の距離値を意味し、平面３３の姿勢とは、測距装置１０の光軸に対する平面３３の傾きを意味する。

例えば参照物体距離算出部２６は、例えば４つの角３２ｌ、３２ｍ、３２ｎ、３２ｏから構成されるリファレンスマーカ２５ａについて、二次元画像からリファレンスマーカ２５ａと複数の特徴点（例えば４つの角、正円、正方形及び菱形の中心部等）とを検出し、平面３３の位置及び姿勢を求める。次に、参照物体距離算出部２６は、平面３３の位置及び姿勢から平面３３を特定する各画素の距離値を算出し、特定した各画素の画像上の位置及び各画素の距離値を補正量算出部２７に出力する。補正量算出部２７は、これら各画素の距離値の平均値と、特定した各画素の位置に対応する距離画像上の各測距値の平均値との差分を求め、補正量Ｌｉを算出してもよい。

ＴＯＦの原理に基づく距離画像においては、一般的に光強度の強い画素が光強度の弱い画素より精度が高い。従って、前述のように特定した各画素の画像上の位置に対応する距離画像上の各測距値の平均化を行う際に、各画素の光強度を重み付けした加重平均を行ってもよい。これにより、より高精度な補正量Ｌｉを取得できる。光強度Ｉは、例えば公知の下記式から算出する。

以上の実施形態によれば、二次元画像３１と距離画像３０が画素毎に対応しているため、二次元画像３１から幾何学的に算出した参照物体２５までの距離を利用して距離画像３０を補正するための補正量を算出できる。ひいては、電子素子の個体特性バラツキ、電子素子の経年変化等に起因して生じる測距誤差の補正を容易に実現できる。

本明細書において種々の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１０ 測距装置
１１ 発光部
１２ 受光部
１３ 距離画像生成部
１４ 発光・撮像タイミング制御部
１５ 拡散板
１６ 光学系
１７ 受光素子
１８ 増幅部
１９ Ａ／Ｄ変換部
２０、２１ バッファメモリ
２２ 出力制御部
２３ アプリケーション
２４ 二次元画像生成部
２５ 参照物体
２５ａ リファレンスマーカ
２５ｂ、２５ｃ 任意の物体
２６ 参照物体距離算出部
２７ 補正量算出部
２８ 不揮発性メモリ
３０ 距離画像
３１ 二次元画像
３２ 複数の特徴点
３２ａ−３２ｃ 中心部
３２ｄ−３２ｋ 任意の物体の角
３２ｌ−３２ｏ リファレンスマーカの角
３３ 参照物体の平面
Δt オフセット
ΔＬ オフセット
Ｌｉ 補正量
Ｌ１ 参照光
Ｌ２ 入射光
Ｑ₁〜Ｑ₄ 受光量
Ｅｔ１〜Ｅｔ４ 撮像タイミング

Claims (5)

1. 予め定めた発光タイミングで測定対象空間に参照光を発光する発光部と、二次元に配列されていて予め定めた撮像タイミングで前記測定対象空間からの入射光を受光する複数の受光素子と、を備え、前記受光素子の受光量に基づく前記測定対象空間の物体までの距離画像と、前記距離画像に対応する二次元画像と、を出力する、測距装置であって、
   三次元座標の相関が明らかな複数の特徴点を有する参照物体を撮像した前記二次元画像に基づいて前記参照物体までの距離を算出する参照物体距離算出部と、
   算出した前記参照物体までの距離と前記距離画像における前記参照物体までの測距値との比較により、前記距離画像を補正するための補正量を算出する補正量算出部と、
   を備えることを特徴とする測距装置。
2. 前記参照物体は前記三次元座標の相関が既知の複数の特徴点を有するリファレンスマーカである、請求項１に記載の測距装置。
3. 前記参照物体は任意の物体であり、前記三次元座標の相関として前記物体の特徴量又は複数の前記物体の位置関係を指示する手段をさらに備える、請求項１に記載の測距装置。
4. 前記補正量に基づいて前記発光タイミング又は前記撮像タイミングを制御する発光・撮像タイミング制御部をさらに備える、請求項１から３のいずれか一項に記載の測距装置。
5. 前記補正量に基づいて前記距離画像を生成する距離画像生成部をさらに備える、請求項１から３のいずれか一項に記載の測距装置。