JP2016114522A - 距離画像生成装置、距離画像生成方法およびプログラム - Google Patents

Abstract

【課題】光飛行時間型距離画像センサを用いる距離画像生成装置において、実効的な画素数やフレームレートを低下させることなく、測定の、算出距離のばらつきを抑制し、繰返距離精度を向上させる技術を提供する。【解決手段】距離値算出の元となる各電荷蓄積部に蓄積される電荷の量（電荷量）を補正する。補正は、直近の、予め定めた所定数のフレームの、電荷量の最大値と最小値とから算出される中間値を用いて行う。より中間値に近づくように、また、最大値と最小値との差が大きい箇所については、より補正量を大きくするように補正量を決定し、その補正量を用いて補正する。【選択図】図１

Description

本発明は、光飛行時間型距離画像センサを用いた距離画像生成技術に関し、特に、距離値算出技術に関する。

光飛行型距離画像センサを用いて、撮影対象空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。その中で、光飛行時間型(ＴＯＦ方式：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式)距離画像センサは、変調光を出射する光源とそれを受光する受光素子とを備え、変調光を出射し、画素毎に受光した反射光を元に距離値を算出する(例えば、特許文献１参照)。このような光飛行型距離画像センサには、受光した変調光の反射光により生じる電荷を、変調光の変調周波数に同期させ、電荷を振り分ける振り分け型のＴＯＦ方式のものがある(例えば、特許文献２参照)。

距離画像センサの性能指標として実距離と測定距離がどの程度一致しているかを表す絶対距離精度と、測定ばらつきを表す繰返距離精度とがある。絶対距離精度を向上させる技術として、例えば、異なる明度の環境で算出した画素値を用いて測定誤差を除く技術がある（例えば、特許文献３参照）。また、繰返距離精度を向上させる技術として、例えば、画素値の空間平均をとる技術や（例えば、特許文献４参照）、時間平均をとる技術がある。

一方、距離画像のノイズを低減するため、現在フレームの画素値に、当該画素値が所定値以上になるまで、過去フレームに遡り、対応する画素の画素値を加算する技術がある（例えば、特許文献５参照）。

特開２００５−２３５８９３号公報 特開２０１１−１７９９２５号公報 特開２０１４−７０９３６号公報 特許第３９０６８５９号公報 特開２０１１−１２２９１３号公報

繰返距離精度が低い場合、頻繁に距離値が大きく変動し、測定の信頼性も低下する。例えば、物体認識等に距離画像センサを用いる場合、距離値の大きな変動により物体を誤認識したり、認識していたものを急に認識しなくなったりすることがある。また、モーションジェスチャー等に距離画像センサを用いる場合、距離値の大きな変動によりジェスチャーの誤認識が発生し、予期しない操作を誘発することがある。

特許文献３の手法は、上述のように絶対距離精度の向上を目的とするものであるため、絶対距離精度しか向上しない。また、特許文献４の手法や、時間平均を算出する技術によれば、実効的な画素数の低下や、フレームレートの低下を招く。

さらに、特許文献５に開示の技術は、所定の強度値以上になるか設定フレーム数に達するまで過去フレームの加算を続け、画素ごとに逐一比較、加算という処理を繰り返し行わなければならない。このため、強度値の低い画素の場合、加算上限である設定フレーム数まで加算を必要とし、その処理量が膨大となる。ノイズの低減は、結果的に繰り返し誤差の低減につながる。しかしながら、例えば、画面全体の強度値が低いような状況では、ノイズ低減のために膨大な処理が必要となる。

本願は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いる距離画像生成装置において、実効的な画素数やフレームレートを低下させることなく、測定の、算出距離のばらつきを抑制し、繰返距離精度を向上させる技術を提供することを目的とする。

本発明は、距離値算出の元となる各電荷蓄積部に蓄積される電荷の量（電荷量）を補正する。補正は、直近の、予め定めた所定数のフレームの、電荷量の最大値と最小値とから算出される中間値を用いて行う。より中間値に近づくように、また、最大値と最小値との差が大きい箇所については、より補正量を大きくするように補正量を決定し、その補正量を用いて補正する。

具体的には、対象空間に変調した変調光を照射する光源を備える光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、前記光電変換素子毎に複数設けられた電荷蓄積部と、前記変調光の変調に同期して、前記光電変化素子により変換された電荷を、前記複数の電荷蓄積部に振り分ける電荷振分部と、各前記電荷蓄積部に蓄積された電荷量を用い、画素値が距離値である距離画像を生成する距離画像生成部と、を備え、前記距離画像生成部は、各前記電荷蓄積部に蓄積された前記電荷量を補正する補正部と、前記補正部により補正後の電荷量を用いて前記距離値を算出する距離値算出部と、を備え、前記補正部は、所定数のフレームの、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とから計算される中間値を用いて、各前記電荷量を補正することを特徴とする距離画像生成装置を提供する。

また、対象空間に変調した変調光を照射する光源を備える光源部と、前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、前記光電変換素子毎に複数設けられた電荷蓄積部と、前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える距離画像生成装置における距離画像生成方法であって、所定のフレーム間の、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とから中間値を計算し、前記中間値を用いて、当該電荷蓄積部の電荷量を補正し、補正後の電荷量を用いて、画素値が距離値である距離画像を生成することを特徴とする距離画像生成方法を提供する。

本発明によれば、光飛行時間型距離画像センサを用いる距離画像生成装置において、実効的な画素数やフレームレートを低下させることなく、測定の、繰返距離精度が向上する。

第一の実施形態の距離画像生成装置のブロック図である。 第一の実施形態の変調信号とゲート信号との関係を説明するための説明図である。 光飛行時間型距離画像生成装置による距離画像生成の原理を説明するための説明図である。 繰返距離誤差発生要因を説明するための説明図である。 繰返距離誤差発生要因を説明するための説明図である。 第一の実施形態のデータベースを説明するための説明図である。 第一の実施形態の距離画像生成処理のフローチャートである。 第一の実施形態の補正処理のフローチャートである。 第二の実施形態の距離画像生成装置のブロック図である。 第二の実施形態のデータベースを説明するための説明図である。 第二の実施形態の距離画像生成処理のフローチャートである。 第二の実施形態の変動検出処理のフローチャートである。

＜＜第一の実施形態＞＞
以下、本発明の第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

＜距離画像生成装置構成＞
まず、本実施形態の距離画像生成装置の構成を説明する。図１は、本実施形態の距離画像生成装置の機能ブロック図である。

本図に示すように、本実施形態の距離画像生成装置１００は、照射される変調光１１１と入射光１１２との位相差を用いて距離画像を生成するもので、光源部１１０と、光電変換部１２０と、電荷振分部１３０と、制御部１４０と、電荷蓄積部１５０と、距離画像生成部１７０と、を備える。

なお、本実施形態の距離画像生成装置１００は、ＣＰＵと、メモリと、記憶装置とを備える。電荷振分部１３０、制御部１４０、および、距離画像生成部１７０は、ＣＰＵが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。

光源部１１０は、後述する制御部１４０の制御に従って、対象空間に変調光(例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光)１１１を照射する光源を備える。光源には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。

光電変換部１２０は、光源部１１０の光源から照射された変調光１１１が対象空間(距離画像生成装置１００の視野)内の対象物(物体)１１３で反射された反射光を含む光（入射光）１１２を受光し、電荷に変換する。光電変換部１２０は、受光量に応じた電荷に変換する複数の光電変換素子を備える。このため、各光電変換素子は、画素毎に設けられ、強度画像および距離画像の各画素に対応づけて規則的に配列される。この光電変換部１２０の前には、レンズが配置されてもよい。

電荷振分部１３０は、後述する制御部１４０の制御に従って、光電変換素子が変換した電荷を後述する電荷蓄積部１５０に振り分ける。振り分けは、光電変換素子毎に行う。本実施形態では、変調光１１１の変調に同期して、光電変換素子により変換された電荷を、当該光電変換素子に対応づけて設けられた複数の電荷蓄積部１５０に振り分ける。

電荷蓄積部１５０は、電荷振分部１３０が振り分けた電荷を蓄積する。距離情報である変調光１１１と入射光１１２との位相差は、電荷蓄積部１５０に蓄積された電荷を用いて算出する。この位相差を算出するためには、少なくとも３つ以上の位相情報(電荷蓄積部に蓄積された電荷)が必要である。

以下、本実施形態では、この電荷蓄積部１５０を４つとして説明する。すなわち、本実施形態では、この４つ１組の電荷蓄積部１５０が、画素毎に設けられる。各電荷蓄積部を、区別する場合は、それぞれ、１５１、１５２、１５３、１５４とする。電荷振分部１３０は、４つの電荷蓄積部１５１、１５２、１５３、１５４に、予め定めた順に電荷を振り分ける。

なお、電荷蓄積部１５０には、電荷そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。以下、本実施形態では、電荷そのものも、ＡＤ変換後のデータも、特に区別することなく電荷蓄積部１５０に蓄積されるものを電荷と呼び、その量を電荷量と呼ぶ。

これらの光電変換素子、電荷振分部１３０、および、電荷蓄積部１５０で画素を形成する。

制御部１４０は、光源部１１０と電荷振分部１３０とを同期制御する。制御は、変調信号とゲート信号とにより行う。

変調信号は、変調光の変調および出力タイミングを指示する信号であり、光源部１１０に向けて出力される。光源部１１０は、変調信号により変調された変調光１１１を生成し、対象空間に照射する。照射された変調光１１１は、対象物１１３により反射され、反射光となる。反射光は、入射光１１２として光電変換部１２０に入射し、電荷に変換されて電荷振分部１３０に送られる。

ゲート信号は、各電荷蓄積部１５０への電荷の振り分けを指示する信号で、電荷振分部１３０に向けて出力される。電荷振分部１３０は、ゲート信号に応じて各電荷蓄積部１５０に電荷を振り分ける。

制御部１４０は、光源部１１０の変調周期に同期し、変調周期と電荷振分部１３０の個数応じた時間だけずらしたゲート信号を生成する。例えば、変調周期が１０ＭＨｚで電荷蓄積部が４つであれば、変調周期を４分割した時間(２５ｎｓ)ずつずらしたタイミングでゲート信号を生成する。これにより、電荷は、ゲート信号に応じて、それぞれの電荷蓄積部１５１、１５２、１５３、１５４に振り分けられる。

本実施形態の変調信号およびゲート信号の出力タイミングの一例を図２に示す。ここでは、変調信号の１周期Ｔｑを４等分した期間に、それぞれ、４つの電荷蓄積部１５１、１５２、１５３、１５４に順に電荷を振り分ける場合の、変調信号１１４およびゲート信号１１５を示す。

また、制御部１４０は、距離画像生成部１７０に読出信号を送信し、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積された電荷を、それぞれ読みださせる。なお、変調光１１１の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度となる。距離画像を得るためには、数百〜数十万周期の電荷蓄積時間Ｔｆを要する。この電荷蓄積時間Ｔｆは予め定めておく。

本実施形態の制御部１４０は、この電荷蓄積時間Ｔｆ毎に、距離画像生成部１７０が、各電荷蓄積部１５１、１５２、１５３、１５４から電荷を読み出すよう、読出信号を出力する。電荷蓄積時間Ｔｆ間隔毎に得られる１枚の距離画像をフレームと呼ぶ。また、電荷蓄積時間Ｔｆを、１フレーム時間Ｔｆと呼ぶ。

なお、変調信号１１４とゲート信号１１５と読出信号とを合わせて制御信号と呼ぶ。

距離画像生成部１７０は、制御部１４０の読出信号に従って各電荷蓄積部１５１、１５２、１５３、１５４に蓄積された電荷を読出し、各電荷（電荷量）から画素毎に距離値を算出し、算出した距離値を画素値とする距離画像を生成する。距離値は、視野内の、対象物１１３までの距離の値である。算出の詳細は、後述する。

［ＴＯＦ方式の距離画像生成の原理］
ここで、光飛行時間型(ＴＯＦ方式)の距離画像生成装置１００における距離画像生成の原理を説明する。図３は、距離画像生成の原理を説明するための図である。

光源部１１０から出射される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、光電変換部１２０への入射光１１２の強度も同様に正弦曲線を描くよう変化する。このとき、変調光１１１と入射光１１２とには、光が対象物まで往復する飛行時間による位相の遅延(位相差φ)が生じる。

光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物１１３までの計算距離値Ｄは、以下の式(１)で算出される。

従って、位相差φがわかれば、計算距離値Ｄは求めることができる。本実施形態では、上述のように、変調光の１周期Ｔｐを４等分し、それぞれの期間に取得した電荷量を、それぞれ、４つの電荷蓄積部１５１、１５２、１５３、１５４に蓄積する。

変調光１１１の１周期を４等分した各期間に、各電荷蓄積部１５１、１５２、１５３、１５４にそれぞれ蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、変調光１１１と入射光１１２との位相差φは、以下の式(２)で表される。

なお、１周期Ｔｐを４等分した各期間は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。

［距離画像生成部］
次に、本実施形態の距離画像生成部１７０を説明する。なお、本実施形態では、対象部１１３は、静止しているものとする。

距離画像生成部１７０は、上述の電荷蓄積時間Ｔｆ間に、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素値が距離値である距離画像を生成する。距離値Ｄは、画素毎に、上記式(２)に従って位相差φを求め、求めた位相差φを用いて、上記式(１)に従って、算出する。

上述のように、電荷振分部１３０は、変調光１１１の変調に同期して、各電荷蓄積部１５１、１５２、１５３、１５４に電荷を振り分ける。対象物１１３が静止していても、振り分けには、半導体スイッチを用いるため、スイッチングノイズや、ｋｔｃノイズなどのランダムノイズにより、電荷蓄積時間Ｔｆ毎に各電荷蓄積部１５１、１５２、１５３、１５４に振り分けられる電荷量が異なる。この電荷量をそのまま用いて距離値を算出すると、得られる距離値Ｄに、フレーム間において、誤差が発生する。この誤差を、繰返距離誤差と呼ぶ。

この繰返距離誤差を抑えるため、本実施形態の距離画像生成部１７０は、電荷蓄積部１５０から読み出した電荷（電荷量）に対し、補正を行い、補正後の電荷量を用いて距離値を算出する。このため、本実施形態の距離画像生成部１７０は、図１に示すように、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を補正する補正部１７１と、補正に用いるデータを保存するデータベース１７２と、補正後の電荷量を用いて距離値Ｄを算出する距離値算出部１７３と、を備える。

［繰返距離誤差発生の原理］
繰返距離誤差の発生を、図４および図５を用いて説明する。図４は、電荷振分方式のＴＯＦ方式の距離画像生成装置１００において、フレーム毎に測定距離にばらつきが発生する様子を説明するための図である。

本図に示すように、振り分けを行う半導体スイッチのノイズにより、たとえ、対象物１１３が同距離にあったとしても、フレームごとに各電荷蓄積部１５１、１５２、１５３、１５４に振り分けられる電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４が異なる。

位相φは、式（２）に示すように、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積される各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４の、差分（Ｃ１−Ｃ３、Ｃ２−Ｃ４；以下差分電荷量と呼ぶ。）を用いて算出される。これらの差分電荷量のばらつきと、位相のばらつきとの関係を図５に示す。本図において、横軸は、差分電荷量Ｃ１−Ｃ３の値を、縦軸は、差分電荷量Ｃ２−Ｃ４の値を示す。図５に示すように、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４のばらつきは、位相φのばらつきとなる。

本実施形態の補正部１７１は、この振り分けられた電荷のばらつきによる、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４のばらつきの大きさを利用し、これらの差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を補正する。

［補正部による補正方法］
補正部１７１は、所定数のフレームの、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積された電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４（本実施形態では、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４）の、最大値と最小値とから計算される中間値を用いて、各電荷量（差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４）を補正する。

すなわち、補正部１７１は、電荷蓄積部１５１、１５２、１５３、１５４毎に、直近の、過去の、予め定めたフレーム数の差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４の、最大値Ｃｍａｘと最小値Ｃｍｉｎとを特定する。そして、これらの最大値Ｃｍａｘと最小値Ｃｍｉｎにより定まる両者の中間の値（中間値）を用いて、差分電荷量を補正する。以下、予め定めたフレーム数をＦ（Ｆは１以上の整数）とする。

本実施形態では、中間値として、例えば、最大値Ｃｍａｘと最小値Ｃｍｉｎとの中央の値（中央値）Ｃｍｉｄを用いる。中央値Ｃｍｉｄは、以下の式（３）で表される。
Ｃｍｉｄ＝（Ｃｍａｘ＋Ｃｍｉｎ）/２ ・・・（３）

本実施形態の補正部１７１は、各電荷量（差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４）が、中間値（中央値Ｃｍｉｄ）に近づくように、各電荷量（差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４）を補正する。

フレーム数が非常に多く、かつ、対象部１１３の変位がない場合、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４のばらつきは、正規分布に従う。このため、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４の真の値は、最大値Ｃｍａｘと最小値Ｃｍｉｎとの中央値Ｃｍｉｄにほぼ一致すると考えられる。なお、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４の真の値とは、半導体スイッチによるノイズがなく、光電変換部１２０で得られた電荷が、正確に各電荷蓄積部１５１、１５２、１５３、１５４に振り分けられた場合に得られる値を意味する。

フレーム数が少ない場合、中央値Ｃｍｉｄは差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４の真の値とほぼ一致するとはいえない。しかしながら、最大値Ｃｍａｘもしくは最小値Ｃｍｉｎよりは差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４の真の値に近いと考えられる。従って、最大値Ｃｍａｘおよび最小値Ｃｍｉｎから得られる中央値Ｃｍｉｄを用いて、測定された差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４を補正することにより、差分電荷量の真の値に、より近い値が得られ、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４のばらつきを軽減できる。

また、本実施形態の補正部１７１は、前記最大値Ｃｍａｘと最小値Ｃｍｉｎとの差が大きい画素ほど、各前記電荷量（差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４）の補正量を大きくする。すなわち、補正部１７１は、最大値Ｃｍａｘと最小値Ｃｍｉｎとから、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４それぞれのばらつきの大きさを算出し、ばらつきが大きいほど、補正量を大きくする。ばらつきＣｂａｎｄは、例えば、以下の式（４）で算出する。
Ｃｂａｎｄ＝Ｃｍａｘ−Ｃｍｉｎ ・・・（４）

補正部１７１は、各差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を、それぞれの中央値Ｃｍｉｄに近づけ、かつ、ばらつきＣｂａｎｄが大きいほど補正量を大きくするよう補正する。具体的には、例えば、以下の式（５）により補正する。
Ｃ’＝Ｃ−（Ｃ−Ｃｍｉｄ）×（Ｃｂａｎｄ/Ａ） ・・・（５）
ここで、Ｃは、差分電荷量Ｃ１−Ｃ３または差分電荷量Ｃ２−Ｃ４、Ａは、周囲の環境などに応じて、その時々に、画素毎に設定される定数、Ｃ’は、補正後の差分電荷量Ｃ１−Ｃ３または差分電荷量Ｃ２−Ｃ４である。

なお、定数Ａを画素毎に設定することが難しい場合は、定数Ａは、例えば、当該画素の、各電荷蓄積部１５１、１５２、１５３、１５４の電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４（差分電荷量Ｃ１-Ｃ３、Ｃ２−Ｃ４）を用いて、以下の式（６）で算出してもよい。

あるいは、定数Ａは、当該画素の最大値ＣｍａｘおよびＣｍｉｎを用いて、以下の式（７）により算出してもよい。
Ａ＝｜Ｃｍａｘ｜＋｜Ｃｍｉｎ｜ ・・・（７）

なお、最大値Ｃｍａｘおよび最小値Ｃｍｉｎは、直近のＦフレームの差分電荷量間で、大小を比較することにより決定する。

なお、本実施形態の補正部１７１による、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４の補正は、上記手法に限定されない。予め定めた直近のＦフレームの差分電荷量の最大値Ｃｍａｘおよび最小値Ｃｍｉｎを用い、より、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４の真の値に近づくよう補正できればよい。例えば、算出した中間値をそのまま補正値として用いてもよい。

また、中間値は、中央値Ｃｍｉｄに限定されない。ばらつく電荷量の真の値に近く、かつ、最大値Ｃｍａｘと最小値Ｃｍｉｎとに基づいて算出可能な値であればよい。

［距離値算出部］
本実施形態の距離値算出部１７３は、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４の代わりに、補正後の差分電荷量（Ｃ１−Ｃ３）’および差分電荷量（Ｃ２−Ｃ４）’を上記式（２）に代入し、各画素の距離値を算出する。

［データベース］
データベース１７２は、補正部１７１が補正に用いる、直近の、予め定めたフレーム数Ｆの、各差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を蓄積する。

データベース１７２は、各画素位置をアドレスとし、予め設定された保存フレーム数（上記例ではＦフレーム）分の差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４の値を保存可能な容量をもつ。

例えば、距離画像生成装置１００で生成される距離画像を１２８×１２８画素とし、補正処理のため、直近の３フレーム分の電荷量を保存するものとする。この場合、１２８×１２８＝１６３８４アドレスの３フレーム分（１６３８４×３フレーム）の保存容量を持つメモリを用意する。

図６に、本実施形態のデータベース１７２のメモリ構造のイメージを示す。本図に示すように、本実施形態のデータベース１７２、画素（ｍ、ｎ）毎、および、フレームｆ毎に、差分電荷量Ｃ１−Ｃ３の値Ａｆ（ｍ，ｎ）および差分電荷量Ｃ２−Ｃ４の値Ｂｆ（ｍ，ｎ）を保存する。ここでは、全画素数は、Ｍ×Ｎであり、全フレーム数はＦとする。Ｍ、Ｎ、Ｆは１以上の整数とする。また、ｍ、ｎ、ｆは、それぞれ、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、１≦ｆ≦Ｆを満たす整数とする。

なお、データベース１７２において、フレーム番号ｆは、時間的に新しいものから順に付与される。すなわち、新たなフレームの差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４が取得されると、それが、フレーム１に対応づけて保存され、既に保存されている各差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４に対応づけられるフレーム番号が１つずつ大きい値に更新される。そして、フレームｆに対応づけられて保存されていた差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４が削除される。

なお、メモリサイズに余裕がある場合は、最も古い差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４を削除しなくてもよい。ただし、補正に使用するのは、直近のＦフレーム分の差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ４とする。

また、データベース１７２に保存する過去フレームの数は、任意に設定可能、あるいは、ユーザが変更可能なよう構成してもよい。

実際には、予め、保存するフレーム数の最大値を決定しておき、それに対応する容量のメモリを用意し、設定したフレーム数に対応して保存量を変化させることが現実的である。

［距離画像生成処理の流れ］
次に、本実施形態の距離画像生成処理の流れを説明する。図７は、本実施形態の、１フレーム分の距離画像を生成する距離画像生成処理の処理フローである。なお、ここでは、全画素数をＰ（Ｐは１以上の整数）、処理対象画素をｐ（１≦ｐ≦Ｐを満たす整数）とする。

各画素の電荷蓄積部１５１、１５２、１５３、１５４に１フレーム時間Ｔｆ分の電荷が蓄積されると（ステップＳ１１０１）、距離画像生成部１７０は、画素毎に、以下の処理（ステップＳ１１０３〜Ｓ１１０５）を、全画素について行う（ステップＳ１１０２、Ｓ１１０６、Ｓ１１０７）。

距離画像生成部１７０は、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を算出する（ステップＳ１１０３）。そして、補正部１７１は、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を、それぞれ補正し、補正後の差分電荷量（Ｃ１−Ｃ３）’および差分電荷量（Ｃ２−Ｃ４）’を得る（ステップＳ１１０４）。そして、距離値算出部１７３は、補正後の差分電荷量（Ｃ１−Ｃ３）’および差分電荷量（Ｃ２−Ｃ４）’を用い、距離値を算出する（ステップＳ１１０５）。

距離画像生成部１７０は、算出された距離値を画素値として距離画像を生成し（ステップＳ１１０８）、処理を終了する。

次に、上記ステップＳ１１０４の補正部１７１による補正処理の流れを、図８を用いて説明する。

補正部１７１は、直近の過去Ｆフレームの、各差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を、データベース１７２から取得し（ステップＳ１２０１）、それぞれ、最大値Ｃｍａｘおよび最小値Ｃｍｉｎを算出する（ステップＳ１２０２）。

補正部１７１は、得られた最大値Ｃｍａｘおよび最小値Ｃｍｉｎから、上記式（３）および式（４）に従って、各差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４の、中央値ＣｍｉｄおよびばらつきＣｂａｎｄを算出する（ステップＳ１２０３）。

そして、補正部１７１は、中央値ＣｍｉｄおおびばらつきＣｂａｎｄから、上記式（５）に従って、補正値（補正後の差分電荷量）（Ｃ１−Ｃ３）’、（Ｃ２−Ｃ４）’をそれぞれ算出する（ステップＳ１２０４）。

補正部１７１は、データベース１７２を更新し（ステップＳ１２０５）、処理を終了する。

なお、計測開始直後から（Ｆ−１）フレーム目までの間は、直近のＦフレーム分の差分電荷量がデータベース１７２に保存されていない。このような場合は、保存されている全フレーム分の差分電荷量の中で、最大値Ｃｍａｘおよび最小値Ｃｍｉｎを特定し、中央値Ｃｍｉｄ、ばらつきＣｂａｎｄを算出する。あるいは、このような場合は、上記補正処理を行わず、距離画像生成部１７０は、取得した電荷量から算出した差分電荷量を用いて、距離値を算出するよう構成してもよい。

以上説明したように、本実施形態の距離画像生成装置１００は、対象空間に変調した変調光１１１を照射する光源を備える光源部１１０と、前記光源部１１０から照射され、前記対象空間内の対象物１１３の表面で反射した反射光を含む光１１２を受光して電荷に変換する、画素毎に設けられた光電変換素子（光電変換部１２０）と、前記光電変換素子毎に複数設けられた電荷蓄積部１５０と、前記変調光１１１の変調に同期して、前記光電変化素子により変換された電荷を、前記複数の電荷蓄積部１５０に振り分ける電荷振分部１３０と、各前記電荷蓄積部１５０に蓄積された電荷量を用い、画素値が距離値である距離画像を生成する距離画像生成部１７０と、を備え、前記距離画像生成部１７０は、各前記電荷蓄積部１５０に蓄積された前記電荷量を補正する補正部１７１と、前記補正部１７１により補正後の電荷量を用いて前記距離値を算出する距離値算出部１７３と、を備え、前記補正部１７１は、所定数のフレームの、各前記電荷蓄積部１５０に蓄積された電荷量の最大値と最小値とから計算される中間値を用いて、各前記電荷量を補正する。

このとき、前記補正部１７１は、各前記電荷量が、前記中間値に近づくように当該電荷量を補正する。また、前記補正部１７１は、前記最大値と最小値との差が大きい画素ほど、各前記電荷量の補正量を大きくする。

本実施形態は、各電荷蓄積部１５１、１５２、１５３、１５４への蓄積電荷量のばらつきに起因する算出距離値のばらつき（繰返距離誤差）を抑えることが目的である。そして、過去の所定範囲のフレームの最大値と最小値から算出した中間値が、差分電荷量Ｃ１−Ｃ３、Ｃ２−Ｃ３それぞれの真の値に最も近いと考えられる。

本実施形態では、これを利用し、過去の所定範囲のフレームの、差分電荷量Ｃ１−Ｃ３、Ｃ２-Ｃ４それぞれの、最大値と最小値とから算出した中間値に近づくよう、フレーム毎に、各画素の各差分電荷量Ｃ１−Ｃ３、Ｃ２-Ｃ４を補正する。補正は、フレーム毎に、直近の予め定めた数のフレームの差分電荷量を用いて行う。従って、少ない処理量で、繰り返し誤差を抑えることができる。また、このとき、空間的な分解能の低下も、時間的な分解能の低下もない。

このため、本実施形態によれば、フレームレート、実効画素数の低下なしに算出距離値のばらつきを抑制し、繰返距離精度を向上させ、より、高精度な距離値を得ることができる。

＜＜第二の実施形態＞＞
次に、本発明の第二の実施形態を説明する。第一の実施形態では、対象物１１３が静止していることを前提としている。本実施形態では、対象物１１３が移動する場合も考慮する。

本実施形態の距離画像生成装置は、基本的に第一の実施形態と同様の構成を有する。ただし、本実施形態では、対象物１１３の移動の有無を判別し、静止している場合のみ、補正を行う。このため、本実施形態の距離画像生成部１７０は、対象物１１３の移動の有無を判別する構成をさらに備える。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。

対象物１１３の移動の有無を判別する構成として、本実施形態の距離画像生成部１７０は、図９に示すように、電荷蓄積部１５０に蓄積された補正前の電荷を用いて画素値が強度値である強度画像を生成する強度画像生成部１７４と、強度画像を用いて、画素毎に測定対象（対象物１１３）の距離の変動の有無を判別する変動判別部１７５と、をさらに備える。

そして、本実施形態の補正部１７１は、変動判別部１７５が、変動無し、と判別した画素について、第一の実施形態同様の補正を行う。一方、変動判別部１７５が変位有と判別した画素については、距離値算出部１７３は、補正前の電荷量（差分電荷量）を用いて距離値を算出する。

［強度画像生成部］
本実施形態の強度画像生成部１７４は、各電荷蓄積部１５１、１５２、１５３、１５４から、それぞれ電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を読み出し、以下の式（８）により、各画素の強度値Ｐを算出し、それを画素値とする強度画像を生成する。

［変動判別部］
式（８）からわかるように、強度値Ｐは、対象物１１３からの反射光（入射光１１２）の強さに依存する。このため、対象物１１３が近づいたり遠ざかったりし、距離値に変動がある場合、あるいは、撮像範囲に他の物体が入ってくる場合、反射光（入射光１１２）も増減し、強度値Ｐは変化する。

変動判別部１７５は、これを利用し、各画素について、当該画素の視野範囲の対象物１１３に、距離の変動があるか否かを判別する。変動判別部１７５は、例えば、予め所定の閾値Ｐｔｈを設定しておき、１回前のフレームの強度値から、Ｐｔｈ以上、強度値Ｐが変動した場合、当該画素が撮像対象とする対象物１１３に動きがあるものと判別する。

［データベース］
本実施形態では、データベース１７２は、図１０に示すように、補正部１７１が補正に用いる、直近の、予め定めたフレーム数Ｆの、各差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４に加え、直近の１フレーム（フレーム１）の、強度値Ｐが蓄積される。この強度値Ｐは、新たなフレームの強度値が算出される毎に、更新される。

［距離画像生成処理の流れ］
本実施形態の距離画像生成処理の流れを説明する。図１１は、本実施形態の１フレーム分の距離画像を生成する距離画像生成処理の処理フローである。なお、本実施形態においても、全画素数をＰ（Ｐは１以上の整数）、処理対象画素をｐ（１≦ｐ≦Ｐを満たす整数）とする。

各画素の電荷蓄積部１５１、１５２、１５３、１５４に１フレーム時間Ｔｆ分の電荷が蓄積されると（ステップＳ２１０１）、距離画像生成部１７０は、画素毎に、以下の処理（ステップＳ２１０３〜ステップＳ２１１１）を、全画素について行う（ステップＳ２１０２、Ｓ２１１１、Ｓ２１１２）。

距離画像生成部１７０は、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を算出する（ステップＳ２１０３）。そして、強度画像生成部１７４は、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を用いて、強度値を算出する（ステップＳ２１０４）。

変動判別部１７５は、当該画素ｐの変動の有無を判別する（ステップＳ２１０５）。

ステップＳ２１０５において、変動無し、と判別された場合、第一の実施形態同様、補正部１７１は、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を、それぞれ補正し、補正後の差分電荷量（Ｃ１−Ｃ３）’および差分電荷量（Ｃ２−Ｃ４）’を得る（ステップＳ２１０６）。そして、距離値算出部１７３は、補正後の差分電荷量（Ｃ１−Ｃ３）’および差分電荷量（Ｃ２−Ｃ４）’を用い、距離値Ｄを算出する（ステップＳ２１０７）。

一方、ステップＳ２１０５において、変動が検出された場合、すなわち、変動有り、と判別された場合、距離画像生成部１７０は、データベース１７２の当該画素ｐの、差分電荷量Ｃ１-Ｃ３、Ｃ２−Ｃ４に関する蓄積データを削除し（ステップＳ２１０８）、ステップＳ２１０３で算出した差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を、新たにデータベース１７２に蓄積する（ステップＳ２１０９）。

さらに、距離値算出部１７３は、ステップＳ２１０３で算出した差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２−Ｃ４を用いて、距離値Ｄを算出する（ステップＳ２１１０）。

距離画像生成部１７０は、算出された距離値を画素値とした距離画像を生成し（ステップＳ２１１３）、処理を終了する。

なお、計測開始直後から（Ｆ−１）フレーム目までの間、および、対象物１１３が変動し、データベース１７２のデータを削除後、（Ｆ−１）フレーム目までの間は、直近のＦフレーム分の差分電荷量がデータベース１７２に保存されていない。このような場合は、直近の全フレーム分の差分電荷量の中で、最大値Ｃｍａｘおよび最小値Ｃｍｉｎを特定し、中央値Ｃｍｉｄ、ばらつきＣｂａｎｄを算出する。あるいは、このような場合は、上記補正処理を行わず、距離画像生成部１７０は、取得した電荷量から算出した差分電荷量を用いて、距離値を算出するよう構成してもよい。

また、上記ステップＳ２１０８および２１０９の処理と、ステップＳ２１１０の処理とは、いずれを先に行ってもよい。

なお、上記ステップＳ２１０６の補正部１７１による補正処理は、第一の実施形態と同様である。

次に、ステップＳ２１０５の、変動判別部１７５による変動検出処理の流れを、図１２を用いて説明する。

変動判別部１７５は、処理対象画素ｐの、１フレーム前の強度値（比較用強度値）をデータベース１７２から抽出する（ステップＳ２２０１）。そして、算出した強度値Ｐとの差分ΔＰを算出する（ステップＳ２２０２）。算出した差分ΔＰと、予め定めた閾値Ｐｔｈとを比較し（ステップＳ２２０３）、差分ΔＰが、閾値以上である場合、変動を検出したものとして変動有とし（ステップＳ２２０４）、閾値より小さい場合、変動を検出できなかったとして変動無とする（ステップＳ２２０５）。

最後に、変動判別部１７５は、データベース１７２の強度値（比較用強度値）を、ステップＳ２１０４で算出した強度値に更新し（ステップＳ２２０６）、処理を終了する。

なお、強度値の更新処理は、ステップＳ２２０３の後であれば、いつ行ってもよい。

以上説明したように、本実施形態の距離画像生成装置１００は、第一の実施形態と同様の構成に、前記電荷蓄積部に蓄積された、補正前の電荷を用いて画素値が強度値である強度画像を生成する強度画像生成部１７４と、前記強度画像を用い、画素毎に測定対象の変動の有無を判別する変動判別部１７５と、をさらに備え、前記補正部１７１は、前記変動判別部１７５が変動無しと判別した画素について、前記各電荷量を補正し、前記距離値算出部１７３は、前記変動判別部１７５が変動有と判別した画素については、前記補正前の電荷量を用いて前記距離値を算出する。

このように、本実施形態においても、第一の実施形態同様、少ない処理量で、空間的な分解能の低下も、時間的な分解能の低下もなく、繰返距離精度を向上させることができる。

さらに、本実施形態によれば、距離画像生成に用いる差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２-Ｃ４を用いて、距離画像生成に先立って強度画像を算出し、対象物１１３の移動の有無を判別する。そして、当該画素の視野範囲において、対象物１１３に移動が無い場合のみ、距離画像生成に用いる差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２-Ｃ４を、第一の実施形態と同様の手法で補正する。一方、移動がある場合は、取得した差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２-Ｃ４をそのまま用いて距離画像を生成する。

従って、対象物１１３に移動の可能性がある場合でも、静止している場合のみ、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２-Ｃ４を補正することができる。従って、移動による電荷量の蓄積の違いを補正してしまうことを排除でき、対象物１１３の動きによらず、繰り返し誤差の発生原因である、電荷量の蓄積ばらつきを精度よく補正することができる。

よって、本実施形態によれば、撮影対象の環境によらず、繰り返し誤差の影響を排除した高精度な距離画像を得ることができる。

例えば、基本的に定点観測を行う監視カメラでは、撮影範囲の時間的変化が少ない。このため、人・物体が通過した等の変化があった場合、従来距離画像生成装置による監視カメラでは、画像の変化が、これらによるものか、背景がばらついたためか、判別がつきにくい。しかしながら、上記各実施形態の距離画像生成装置によれば、定常状態である背景画像の距離精度が向上し、繰り返し誤差の少ない画像を得ることができるため、このような場合も、精度よく判別できる。

なお、上記各実施形態では、差分電荷量Ｃ１−Ｃ３および差分電荷量Ｃ２-Ｃ４の値を補正しているが、補正対象はこれに限定されない。各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４をそれぞれ補正してもよい。

この場合、データベース１７２は、電荷蓄積部１５１、１５２、１５３、１５４毎に、過去フレームの各画素の電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を保存する。

さらに、上記各実施形態では、光電変換部（画素）１２０毎に、複数（４つ）の電荷蓄積部１５０を備える場合を例にあげて説明したが、電荷蓄積部１５０の数は、これに限定されない。３つ以上であればよい。

また、電荷蓄積部１５０は、１つであってもよい。この場合、例えば、４つの電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用いて、距離値を算出する場合、距離画像生成部１７０は、変調信号の１周期Ｔｑを４等分したＴｑ／４間隔で、電荷蓄積部１５０に蓄積された電荷を読出し、Ｔｑ／４間隔毎に、電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４として読み取ることを繰り返す。

１００…距離画像生成装置、１１０…光源部、１１１…変調光、１１２…入射光、１１３…対象部、１１４…変調信号、１１５…ゲート信号、１２０…光電変換部、１３０…電荷振分部、１４０…制御部、１５０…電荷蓄積部、１５１…電荷蓄積部、１５２…電荷蓄積部、１５３…電荷蓄積部、１５４…電荷蓄積部、１７０…距離画像生成部、１７１…補正部、１７２…データベース、１７３…距離値算出部、１７４…強度画像生成部、１７５…変動判別部

Claims (7)

1. 対象空間に変調した変調光を照射する光源を備える光源部と、
   前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、
   前記光電変換素子毎に複数設けられた電荷蓄積部と、
   前記変調光の変調に同期して、前記光電変換素子により変換された電荷を、前記複数の電荷蓄積部に振り分ける電荷振分部と、
   各前記電荷蓄積部に蓄積された電荷量を用い、画素値が距離値である距離画像を生成する距離画像生成部と、を備え、
   前記距離画像生成部は、
   各前記電荷蓄積部に蓄積された前記電荷量を補正する補正部と、
   前記補正部による補正後の電荷量を用いて前記距離値を算出する距離値算出部と、を備え、
   前記補正部は、所定数のフレームの、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とに基づいて計算される中間値を用いて、各前記電荷量を補正すること
   を特徴とする距離画像生成装置。
2. 請求項１記載の距離画像生成装置であって、
   前記電荷蓄積部に蓄積された、補正前の前記電荷量を用いて画素値が強度値である強度画像を生成する強度画像生成部と、
   前記強度画像を用い、画素毎に前記対象物の変動の有無を判別する変動判別部と、をさらに備え、
   前記補正部は、前記変動判別部が変動無しと判別した画素について、前記各電荷量を補正し、
   前記距離値算出部は、前記変動判別部が変動有と判別した画素については、前記補正前の電荷量を用いて前記距離値を算出すること
   を特徴とする距離画像生成装置。
3. 請求項１または２記載の距離画像生成装置であって、
   前記補正部は、各前記電荷量が、前記中間値に近づくように当該電荷量を補正すること
   を特徴とする距離画像生成装置。
4. 請求項１から３いずれか１項記載の距離画像生成装置であって、
   前記補正部は、前記最大値と最小値との差が大きい画素ほど、各前記電荷量の補正量を大きくすること
   を特徴とする距離画像生成装置。
5. 請求項１から４いずれか１項記載の距離画像生成装置であって、
   前記電荷蓄積部は、前記光電変換素子毎に４つ設けられ、
   前記電荷振分部は、４つの前記電荷蓄積部に予め定めた順に前記電荷を振り分け、
   前記補正部は、１番目および３番目に電荷を振り分ける電荷蓄積部に蓄積される電荷量の差、および、２番目および４番目に電荷を振り分ける電荷蓄積部に蓄積される電荷量の差を、それぞれ補正すること
   を特徴とする距離画像生成装置。
6. 対象空間に変調した変調光を照射する光源を備える光源部と、
   前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、
   前記光電変換素子毎に複数設けられた電荷蓄積部と、
   前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える距離画像生成装置における距離画像生成方法であって、
   所定のフレーム間の、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とに基づいて中間値を計算し、
   前記中間値を用いて、当該電荷蓄積部の電荷量を補正し、
   補正後の電荷量を用いて、画素値が距離値である距離画像を生成すること
   を特徴とする距離画像生成方法。
7. 対象空間に変調した変調光を照射する光源を備える光源部と、
   前記光源部から照射され、前記対象空間内の対象物の表面で反射した反射光を含む光を受光して電荷に変換する、画素毎に設けられた光電変換素子と、
   前記光電変換素子毎に複数設けられた電荷蓄積部と、
   前記変調光の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける電荷振分部と、を備える距離画像生成装置のコンピュータに、
   所定のフレーム間の、各前記電荷蓄積部に蓄積された電荷量の最大値と最小値とに基づいて中間値を計算する手順、
   前記中間値を用いて、当該電荷蓄積部の電荷量を補正する手順、
   補正後の電荷量を用いて、画素値が距離値である距離画像を生成する手順を実行させるためのプログラム。

Images