JP2021148608A - 撮像装置、測距装置及び撮像プログラム - Google Patents

Abstract

【課題】広いダイナミックレンジの位相画像を得る。【解決手段】撮像制御部が、光源から対象物に対して光を照射することで得られる反射光を異なるタイミングで受光して複数種類の異なる位相の位相画像を撮像する位相画像撮像部を、１回の撮像動作で、同じ位相の複数枚の位相画像を撮像するように制御する。画像加算部は、１回の撮像動作で撮像された同じ位相の複数枚の位相画像同士を加算処理することで、撮像動作ごとに加算位相画像を生成して出力する。そして、撮像制御部は、位相画像撮像部に、複数種類の異なる位相ごとに撮像動作をさせるように制御する。【選択図】図５

Description

本発明は、撮像装置、測距装置及び撮像プログラムに関する。

今日において、ＴＯＦ（Time of Flight）方式に基づいて、被写体までの間の距離の測距を行うＴＯＦカメラ装置が知られている。このＴＯＦカメラ装置は、被写体に向けて測距光を照射し、その反射光の時間差から距離を算出する。さらに具体的には、所定の照射パターンにより強度変調された赤外光による測距光を被写体に向けて照射し、被写体で反射された測距光を赤外線用の撮像素子で受光する。そして、照射パターンの照射から測距光の受光までの時間差を画素毎に検出して距離を算出する。算出された距離値は、画素毎にビットマップ状に集められ、「距離画像」として保存される。

特許文献１（特許第６４３５５１３号公報）には、高Ｓ／Ｎで高い測距精度を達成する目的で、位相によって繰り返し露光回数を制御し二つの位相で得られる電荷量を等しくする技術が開示されている。

しかし、従来のＴＯＦカメラ装置は、一回の測定の露光時間が短いと光量不足となり、反対に、露光時間が長いと電荷が飽和（サチュレーション）するピクセルが増える。このため、従来のＴＯＦカメラ装置は、位相画像のダイナミックレンジが狭くなる問題があった。

特許文献１の技術も同様の問題を有しており、信号蓄積の最大容量近傍になるように繰り返し撮影数を可変制御しているが、センサの最大容量にダイナミックレンジが制限されるため、やはり、位相画像のダイナミックレンジが狭くなる。

位相画像のダイナミックレンジが狭くなると、被写体の反射率又は被写体と撮像装置との距離等によって受光光量が変動した場合等に、測距精度が低下する。

本発明は、上述の課題に鑑みてなされたものであり、広いダイナミックレンジの位相画像を得ることができるような撮像装置、測距装置及び撮像プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、光源から対象物に対して光を照射することで得られる反射光を異なるタイミングで受光して複数種類の異なる位相の位相画像を撮像する位相画像撮像部を、１回の撮像動作で、同じ位相の複数枚の位相画像を撮像するように制御する撮像制御部と、１回の撮像動作で撮像された同じ位相の複数枚の位相画像同士を加算処理することで、撮像動作ごとに加算位相画像を生成して出力する画像加算部と、を備え、撮像制御部は、位相画像撮像部に、複数種類の異なる位相ごとに撮像動作をさせるように制御する。

本発明によれば、広いダイナミックレンジの位相画像を得ることができるという効果を奏する。

図１は、第１の実施の形態の測距撮像装置のハードウェア構成を示すブロック図である。 図２は、第１の実施の形態の測距撮像装置の主なソフトウェア構成を示す機能ブロック図である。 図３は、測距原理を説明するためのタイミングチャートである。 図４は、比較例となる一般的なＴｏＦカメラ装置における、複数回にわたる撮像動作により得られる位相画像を示す図である。 図５は、第１の実施の形態の測距撮像装置のイメージセンサにおける撮像動作を示す図である。 図６は、第１の実施の形態の測距撮像装置のイメージセンサにおける撮像動作を説明するためのタイミングチャートである。 図７は、位相画像の動き量の補正動作を説明するための図である。 図８は、第２の実施の形態の測距撮像装置における測距レンジの拡大動作を説明するための図である。

以下、添付図面を参照して、実施の形態となる測距撮像装置の説明をする。

［第１の実施の形態］
（ハードウェア構成）
図１は、第１の実施の形態の測距撮像装置のハードウェア構成を示すブロック図である。この図１に示すように、測距撮像装置は、光源１、イメージセンサ２（位相画像撮像部の一例）、アナログ−デジタルコンバータ（ＡＤＣ）３及び測距制御部４を有している。

光源１としては、例えばＶＣＳＥＬ（垂直共振器面発光レーザ：Vertical Cavity Surface Emitting LASER）を用いることができる。光源１は、例えば広角レンズ又は魚眼レンズ等を介して広い範囲にＶＣＳＥＬからのレーザ光を投光する。なお、光源１はレーザと広角レンズの組み合わせに限定するものではなく、対象物に投光することができればよくＬＥＤ（発光ダイオード）と投射光学系の組み合わせなどを用いてもよい。

イメージセンサ２は、いわゆるＴＯＦ（Time of Flight）センサとなっており、光源１から対象物に照射されたレーザ光の反射光を受光する。詳しくは後述するが、イメージセンサ２は、受光した反射光の強度に応じた電気信号を、複数の位相信号に分けて画素毎に取得する。ＡＤＣ３は、画素毎に取得した位相信号をアナログ信号からデジタルデータに変換して測距制御部４に供給する。

測距制御部４は、センサＩ／Ｆ（Interface）５、光源駆動回路６、入出力インタフェース（入出力Ｉ／Ｆ）７、ＣＰＵ（Central Processing Unit）８、ＲＯＭ（Read Only Memory）９、ＲＡＭ（Random Access Memory）１０及びＳＳＤ（Solid State Drive）１１を有する。これらはシステムバスを介して相互に電気的に接続されている。

センサＩ／Ｆ５は、イメージセンサ２からの位相信号を取得するインターフェースである。入出力Ｉ／Ｆ７は、メインコントローラ装置又はパーソナルコンピュータ装置等の外部機器と接続するためのインターフェースである。

光源駆動回路６は、ＣＰＵ８から供給される制御信号に基づいて、光源１に駆動電圧等の駆動信号を供給して発光駆動する。光源１に供給する駆動信号としては、矩形波、正弦波又は所定の波形形状の電圧波形を用いることができる。光源駆動回路６は、電圧波形の周波数を変化させて、駆動信号の周波数を変調制御する。また、複数の発光部のうち、一部の発光部を同時に発光制御し、又は、発光させる発光部を変化させることも可能である。

ＣＰＵ８は、ＲＯＭ９又はＳＳＤ１１等の記憶装置からプログラム又はデータをＲＡＭ１０上に読み出し、処理を実行することで、測距制御部４全体の制御を行う。なお、ＣＰＵ８の機能の一部又は全部を、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の電子回路で実現してもよい。

ＲＯＭ９は、電源を切ってもプログラム又はデータを保持することが可能な不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ９には、ＣＰＵ８の起動時に実行されるＢＩＯＳ（Basic Input／Output System）及びＯＳ（Operating System）設定等のプログラム又はデータが記憶されている。ＲＡＭ１０は、プログラム又はデータを一時的に保持する揮発性の半導体メモリ（記憶装置）である。

ＳＳＤ１１は、測距制御部２３による処理を実行するプログラム又は各種データが記憶された不揮発性メモリである。一例ではあるが、ＳＳＤ１１には、測距撮像プログラムが記憶されている。詳しくは、後述するが、ＣＰＵ８は、この測距撮像プログラムを実行することで、受光した反射光の強度に応じた電気信号を、複数の位相信号に分けて画素毎に取得するように、イメージセンサ２を制御する。なお、ＳＳＤ１１の代りに、ＨＤＤ（Hard Disk Drive）等の他の記憶装置を用いてもよい。

（測距制御部の機能）
次に、測距制御部４のＣＰＵ８は、ＳＳＤ１１に記憶されている測距撮像プログラムを実行することで、図２に示すように、撮像制御部２０、記憶制御部２１、光源制御部２２、画像加算部２３、モーション推定部２４、位相画像補正部２５、距離計算部２６及び出力制御部２７の各機能を実現する。

撮像制御部２０は、後述するように、複数の位相の位相画像を撮像し、各位相画像の電荷を、各位相画像用の電荷蓄積部に蓄積するようにイメージセンサ２を制御する。記憶制御部２１は、イメージセンサ２からの各位相の位相信号（位相画像）を、ＲＡＭ１０等の記憶部に記憶制御し、又は、読み出し制御する。光源制御部２２は、光源駆動回路６を介して光源１を発光制御する。画像加算部２３は、ＲＡＭ１０等の記憶部に記憶された複数枚の位相画像の値をデジタル的に加算処理する。

モーション推定部２４（動き量補正部の一例）は、デジタル的に加算処理された各位相画像間の画素毎の動き量を計算する。位相画像補正部２５は、画素毎の推定した動き量に基づいて、動き量を補正した位相画像を生成する。距離計算部２６は、動き量が補正された複数の位相画像に基づいて、対象物までの間の距離を計算する。出力制御部２７は、距離計算部２６で計算された対象物までの間の距離を示す距離情報を、入出力Ｉ／Ｆ７を介して外部機器に出力制御する。

なお、連続して同一の対象物を撮像した場合、撮像装置の「ブレ」や対象物の振動等の撮像装置と対象物の相対的な位置関係の時間的な変化と、撮像タイミングとの関係で、撮像された画像内の対象物の位置（座標）が、連続して撮像した画像ごとに異なってしまうことがある。これらの対象物の位置の差は、前述の撮像装置と対象物の相対的な位置の変化を反映しているものであるため、連続して撮像された画像間の対象物の動きとして認識することができる。これらの、画像間の対象物の位置の変化を動き量としてとらえることができる。モーション推定部２４は、これらの対象物の画像間の動き量を画素ごとに計算する。

また、図２に示した撮像制御部２０〜出力制御部２７は、それぞれ測距撮像プログラムにより、ソフトウェアで実現することとした。しかし、これらのうち全部又は一部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、測距撮像プログラムは、インストール可能な形式又は実行可能な形式のファイル情報でＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、測距撮像プログラムは、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイ（登録商標）ディスク、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、測距撮像プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、測距撮像プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（位相信号の取得動作）
イメージセンサ２は、１つの受光素子に対して、例えば２つの電荷蓄積部（第１の電荷蓄積部及び第２の電荷蓄積部）を有しており、電荷を蓄積する電荷蓄積部を高速に切り替えることができる。このため、一つの矩形波に対して、真逆となる２つの位相信号を同時に検出できる。一例として、０度の位相信号及び１８０度の位相信号を同時に検出できる。また、９０度の位相信号及び２７０度の位相信号を同時に検出できる。これは、２回の投光受光プロセスにより、距離計測が可能であることを意味している。

図３は、測距原理を説明するためのタイミングチャートである。このうち、図３（ａ）は投光のタイミングを示し、図３（ｂ）は、投光により得られる反射光のタイミングを示している。また、図３（ｃ）は、イメージセンサ２が備える２つの電荷蓄積部のうち、第１の電荷蓄積部に０度の位相の位相信号が蓄積されるタイミングを示し、図３（ｄ）は、第２の電荷蓄積部に１８０度の位相の位相信号が蓄積されるタイミングを示している。また、図３（ｅ）は、イメージセンサ２が備える２つの電荷蓄積部のうち、第１の電荷蓄積部に９０度の位相の位相信号が蓄積されるタイミングを示し、図３（ｆ）は、第２の電荷蓄積部に２７０度の位相の位相信号が蓄積されるタイミングを示している。

図３（ｃ）〜図３（ｆ）に斜線で示す間に、各位相の位相信号の電荷が第１の電荷蓄積部又は第２の電荷蓄積部に蓄積される。具体的には、０度の位相の位相信号の電荷としては、図３（ｃ）に示すように、投光終了のパルスエッジと、反射光の受光開始のパルスエッジの間の電荷が第１の電荷蓄積部に蓄積される。１８０度の位相の位相信号の電荷としては、図３（ｄ）に示すように、０度の位相の位相信号の電荷蓄積完了から、反射光の受光終了のパルスエッジの間の電荷が第２の電荷蓄積部に蓄積される。

同様に、９０度の位相の位相信号の電荷としては、図３（ｅ）に示すように、反射光の受光開始のパルスエッジから、電荷蓄積制御を行うパルスの電荷蓄積終了のパルスエッジの間の電荷が第１の電荷蓄積部に蓄積される。２７０度の位相の位相信号の電荷としては、図３（ｆ）に示すように、９０度の位相の位相信号の電荷蓄積完了から、反射光の受光終了のパルスエッジの間の電荷が第２の電荷蓄積部に蓄積される。

なお、実際には、蓄積される電荷量を増やすため、投光は１回の矩形波ではなく、矩形波の繰り返しパターンとされ、この繰り返しパターンの光を投光するタイミングに応じた第１及び第２の電荷蓄積部への切り替え制御も繰り返し行われる。

（距離値の算出）
０度（Ａ０）、９０度（Ａ９０）、１８０度（Ａ１８０）及び２７０度（Ａ２７０）の４つの位相信号は、それぞれ投光される光（照射光）のパルス周期に対して、時間的に０度、９０度、１８０度及び２７０度の４つの位相に分割された位相信号である。このため、以下の数式を用いて、位相差角φを求めることができる。

φ＝Ａｒｃｔａｎ｛（Ａ９０−Ａ２７０）／（Ａ０−Ａ１８０）｝

また、この位相差角φから、以下の数式を用いて、遅延時間Ｔｄを求めることができる。

Ｔｄ＝（φ／２π）×Ｔ（Ｔ＝２Ｔ０、Ｔ０：照射光のパルス幅）

また、この遅延時間Ｔｄから、以下の数式を用いて、対象物までの距離値ｄを求めることができる。

ｄ＝Ｔｄ×ｃ÷２（ｃ：光速）

図３の例は、１回目の測定で０度と１８０度の位相信号を取得する例であるが、外光の影響がある場合、１回目の測定で取得された第１の電荷蓄積部の電荷量から第２の電荷蓄積部の電荷量を減算処理し、外光の影響を軽減した位相信号を生成する。このような測定では、１回の発光及び露光で１つの位相信号を取得する。このため、４位相分の位相信号を取得するには、４回の発光及び露光が必要となり、外光がない場合の撮影に比べて撮影時間が２倍となる。

なお、以下の説明では、１回の発光と反射光の露光で得られる位相信号は、第１の電荷蓄積部及び第２の電荷蓄積部の電荷量から計算した外光の影響をなくした位相信号であるとする。

（比較例の撮像動作）
図４は、比較例となる一般的なＴｏＦカメラ装置における、複数回にわたる撮像動作により得られる位相画像を示す図である。一般的なＴｏＦカメラ装置の場合、１回の撮像毎に、０度、１８０度、９０度及び２７０度の各位相の位相画像を取得する。そして、各撮像で得られた、例えば０度の位相の各位相画像同士、又は、９０度の位相の各位相画像同士等の、同じ位相の位相画像同士を加算処理することで、ダイナミックレンジを拡大した位相画像を得る。このダイナミックレンジを拡大した位相画像に基づいて、位相角の算出及び距離変換処理が行われる。

このように同じ位相の位相画像を複数枚撮像する場合、１枚の位相画像の撮像に要する時間が「ｔ」であるとすると、全ての位相画像を撮像し終えるまでに「４Ｎｔ」の時間が必要となる。そして、特定の位相におけるＮ枚の位相画像の取得時間は「（４Ｎ−３）ｔ」となる。これは、上述のようにダイナミックレンジの拡大を図るために、例えば０度の位相のＮ枚の位相画像を加算処理すると、「（４Ｎ−３）ｔ」の時間分の動き量がノイズとして移動画像に重畳されることを意味する。

（実施の形態の撮像動作）
図５は、第１の実施の形態の測距撮像装置のイメージセンサ２における撮像動作を示す図である。この図５に示すように、第１の実施の形態の場合、図２に示す撮像制御部２０は、１回の撮像で、同じ位相の位相画像を複数枚撮像するようにイメージセンサ２を制御する。撮像制御部２０は、このような撮像制御を、各位相で行う。

図５の例は、１回目の撮像で、０度の位相の位相画像をＮ枚（Ｎは２以上の自然数）撮像し、２回目の撮像で、１８０度の位相の位相画像をＮ枚撮像し、３回目の撮像で、９０度の位相の位相画像をＮ枚撮像し、４回目の撮像で、２７０度の位相の位相画像をＮ枚撮像した例である。なお、この図５に示す位相の撮像順は一例である。位相の撮像順は、任意でよい。

この場合、図５に示すように、各位相におけるＮ枚の位相画像の取得時間は「Ｎｔ」となり、０度、１８０度、９０度、２７０度の各位相の朱徳に要する時間は「４Ｎｔ」時間分となる。一般的な撮像と比較すると、全位相の全ての位相画像を撮像するのに要する時間は「４Ｎｔ」で同一であるが、一つの位相の位相画像をＮ枚取得する時間は「Ｎｔ」となり短縮される。一般的な撮像動作で一つの位相の位相画像Ｎ増し取得するのに要する時間は前述の比較例で示すとおり「（４Ｎ−３）ｔ」であるから、本実施形態の撮像に要する時間と一般的な撮像動作に要する時間の比は、（１）式で算出される。

取得する位相画像の枚数が１枚（Ｎ＝１）の場合は、（１）式で表される比は１となり、一般的な方法と本実施形態とで差異はない。しかし、位相ごとに取得する位相画像の枚数Ｎが十分に多い場合、すなわちＮが∞となる場合を考えると、撮像に要する時間は以下の（２）式に示すように１／４となる。つまり、ダイナミックレンジの拡大を図るために、１回の撮像で同じ位相の多数枚の位相画像を撮像する場合、上述の比較例のように、１回の撮像でそれぞれ異なる位相の同数枚の位相画像を撮像する場合に比べ、１回の撮像に要する時間を、約１／４の時間に短縮することができる。

また、図２に示す画像加算部２３は、１回の撮像で得られた同じ位相のＮ枚の位相画像を加算処理する。これにより、各位相の位相画像のダイナミックレンジを、それぞれ拡大処理することができる。

また、上述のように、比較例に対して位相ごとの撮像に要する時間を、約１／４の時間に短縮することができるため、加算処理する撮像画像のブレの影響による動き量も、約１／４に軽減できる。このため、全位相の全画像の撮像時間は同等であるが、加算処理する撮像画像の撮像時間が短く、撮像画像のブレの影響も少なく、位置精度に優れ、かつ、ダイナミックレンジを拡大した位相画像を生成することができる。

なお、図５の例は、０度、１８０度、９０度及び２７０度の４つの位相の位相画像を撮像する例であるが、２つの位相の位相画像を撮像すれば、距離計算は可能である。

（撮像動作の詳細）
図６は、第１の実施の形態の測距撮像装置のイメージセンサ２における撮像動作を説明するためのタイミングチャートである。このうち、図６（ａ）は、対象物に光を投光するタイミングを示し、図６（ｂ）は、対象物からの反射光の受光タイミングを示す。また、図６（ｃ）は、例えば０度の位相の位相信号の生成タイミングを示し、図６（ｄ）は、例えば１８０度の位相の位相信号の生成タイミングを示す。

撮像制御部２０は、図６（ａ）及び図６（ｂ）に示す一回の投光につき、図６（ｃ）及び図６（ｄ）にように、例えば０度の位相（Ａ）及び１８０度の位相（Ｂ）等のように、位相を１８０度ずらしたタイミングで受光するようにイメージセンサ２を制御する。これにより、イメージセンサ２の例えば第１の電荷蓄積部に０度の位相（Ａ）の位相信号が記憶され、第２の電荷蓄積部に１８０度の位相（Ｂ）の位相信号が記憶される。

撮像制御部２０は、１回の露光終了毎に、位相０＝Ａ−Ｂとした位相信号の読み出しを行うことで、外光の影響を除去した位相信号を得る。なお、外光が無い場合、１回の撮像で１８０度ずれた２つの位相の位相画像を取得できる。この場合は、Ａ−Ｂの演算は、不要となる。

撮像制御部２０は、このような撮像制御及び読み出し制御を、同じ位相の位相画像をＮ枚撮像するまで繰り返し行う。そして、同じ位相のＮ枚の撮像画像の撮像が終了すると、異なる位相のＮ枚の撮像画像を撮像制御する。

（位相画像の動き量の補正動作）
次に、図７は、位相画像の動き量の補正動作を説明するための図である。この図７は、例えば０度の位相の位相画像をＮ枚撮像し、１８０度の位相の位相画像をＮ枚撮像した状態を示している。また、図７に示す「位相０ａ」の位相画像は、０度の位相で撮像したＮ枚分の位相画像を各座標の画素毎に加算して生成した位相画像（加算位相画像の一例）を示し、「位相１ａ」の位相画像は、１８０度の位相で撮像したＮ枚分の位相画像を各座標の画素毎に加算して生成した位相画像（加算位相画像の一例）を示している。

なお、説明の簡素化のため、以下、０度及び１８０度の２つの位相の位相画像間における動き量の補正動作について説明するが、他の位相の位相画像間における動き量の補正動作も同じであるため、以下の説明を参照されたい。

上述のように、同じ位相の位相画像をＮ枚加算することで、その位相の位相画像のダイナミックレンジが拡大される。また、各位相の加算するＮ枚の位相画像の撮像に要する時間が短縮されており、ブレ等の影響の少ない位置精度の優れた位相画像を得ることができる。このため、ダイナミックレンジが拡大された位相画像により、以下の動き量の補正処理も精度良く実行できる。

図２に示すモーション推定部２４は、「位相０ａ」の位相画像及び「位相１ａ」の位相画像の時間Ｎｔの間の動き量ΔＸ，ΔＹを、一般的なオプティカルフローを求める処理、又は、以下の参考論文で開示されている機械学習の手法で算出する。

論文名
Tackling 3D ToF Artifacts Through Learning and the FLAT Dataset
著者
Qi Guo (SEAS, Harvard University)、
Iuri Frosio
Orazio Gallo
Todd Zickler(SEAS, Harvard University)
Jan Kautz
公開日
Monday,September 10, 2018
公開元
ECCV（European Conference on Computer Vision） 2018
ＵＲＬ（Uniform Resource Locator）
https://research.nvidia.com/publication/2018-09_Tackling-3D-ToF

次に、位相画像補正部２５は、以下の数式の演算を行うことで、「位相１ａ」の位相画像の時間Ｎｔの動き量を、各座標（ｘ，ｙ）の画素毎に補正した、「位相１ａ’」の補正位相画像を生成する。

上述のように、拡大されたダイナミックレンジで、かつ、短時間撮像により少ない誤差の位相画像に基づいて、各位相の位相画像間の動き量の補正を行っているため、高精度な動き量の補正処理を行うことができる。

なお、動き量ΔＸ，ΔＹが小数点の場合は、位相画像補正部２５は、バイリニア補完と同様に補正を行う画素の周辺の画素の画素値に基づいて、補完値を計算する。また、この例は、Ｎ枚の位相画像を加算して生成した位相画像（位相０ａ、位相１ａ）に基づいて動き量の補正を行う例であったが、求めた動き量を用いて、加算前の全ての位相画像に対して補正処理を施してもよい。この補正精度のさらなる高精度化については後述する。

「位相１ａ」の位相画像を位相画像補正部２５によって補正した「位相１ａ’」の位相画像は、「位相０ａ」と「位相１ａ」の撮像時刻の差であるＮｔ分の動きを補正したものに相当する。したがって、「位相１ａ’」の位相画像は、「位相０ａ」の位相画像と同時刻に撮像した「位相１ａ」の位相画像に補正したものになる。そのため、「位相０ａ」の位相画像と「位相１ａ‘」の位相画像に基づいて距離画像を求めることで、各位相間の撮像時間差であるＮｔ間の動きの影響を補正した高精度の距離画像を得ることができる。

距離計算部２６は、動き量が補正された各位相の位相画像に基づいて、対象物までの間の距離を計算する。出力制御部２７は、距離計算部２６で計算された対象物までの間の距離を示す距離情報を、入出力Ｉ／Ｆ７を介して外部機器に出力制御する。

（補正精度のさらなる高精度化）
ここで、さらに正確に動き量の補正を行う場合について、図５の撮像動作を例に以下に記載する。モーション推定部２４は、Ｎ枚の加算処理後の加算位相画像において、０度の位相の加算位相画像及び１８０度の位相の加算位相画像との間の動き量、１８０度の位相の加算位相画像及び９０度の位相の加算位相画像との間の動き量、９０度の位相の加算位相画像及び２７０度の位相の加算位相画像との間の動き量をそれぞれ求める。このとき、それぞれの位相画像の撮像動作の開始時刻の差はＮｔとなる。

モーション推定部２４は、各加算位相画像間の動き量と各位相での撮像動作の開始時刻の差であるＮｔとに基づいて、個々の加算前の位相画像間の撮像開始時刻からの動き量を算出する。

例えば、０度の位相の加算位相画像と１８０度の位相の加算位相画像から算出される動き量が（ΔＸ１、ΔＸ２）である場合、０度のｎ番目（ｎは１以上Ｎ以下の自然数）の位相画像の動き量は、（ΔＸ×（ｎ−１）／Ｎ，ΔＹ×（ｎ−１）／Ｎ））とするように、線形補完することで動き量を算出することができる。なお、動き量の算出は前述のような線形補完の方法に限定するものではなく、モーション推定部４２で動きの量を時間に対する任意の関数で算出し保管しても良い。撮像装置自体の振動による低周波数のブレに対しては前述のような線形補完でもよく、高周波数の振動の場合はサイン関数などの周期関数を用いてもよい。

位相画像補正部２５は、モーション推定部２４で算出された１枚の位相画像毎の動き量に基づいて、全ての位相画像に対して上述の動き量の補正処理を施す。上述の図５の例では、位相が０度のｎ番目の補正前の位相画像の画素の座標を（ｘ，ｙ）としたときに、ｎ番目の補正位相画像の画素の座標を（ｘ＋ΔＸ×（ｎ−１）／Ｎ，ｙ＋ΔＹ×（ｎ−１）／Ｎ））とする補正処理に相当する。なお前述のとおり、補完方法は線形補完の他に任意の関数による補完としてもよい。これにより、加算前の位相画像毎に動き量の補正処理を施すことができ、これらの補正位相画像を加算して作成した加算位相画像は精度とダイナミックレンジを両立できるため、さらに高精度に動き量の補正を行うことができる。これらの補正位相画像を加算して作成した加算位相画像を用いて距離画像を作成した場合、高精度に動きが補正されているため、より正確な距離画像とすることができる。

このように動き量が補正された各位相画像は、画像加算部２３により同じ位相毎にＮ枚分、加算処理されてダイナミックレンジが拡大される。距離計算部２６は、加算処理によりダイナミックレンジが拡大されると共に、動きが補正された各位相の位相画像に基づいて、対象物までの間の距離を計算する。出力制御部２７は、距離計算部２６で計算された対象物までの間の距離を示す距離情報を、入出力Ｉ／Ｆ７を介して外部機器に出力制御する。

（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の測距撮像装置は、１回の撮像で同じ位相のＮ枚の位相画像を撮像する動作を、位相毎に行う。そして、各位相のＮ枚の画像を加算処理することで、各位相の位相画像を生成する。これにより、各位相の位相画像のダイナミックレンジを、それぞれ拡大処理することができる。このため、ダイナミックレンジの広い位相画像に基づいて対象物までの距離を計算でき、測距精度の向上を図ることができる。このダイナミックレンジの拡大は、加算処理する各位相の位相画像の枚数を多くする程、大きくすることができる。

また、同じ位相の位相画像をまとめて撮像するようにイメージセンサ２を制御するだけで実現できるため、安価かつ簡単な構成で実現できる。

また、１回の撮像で同じ位相のＮ枚の位相画像を撮像することで、１つの位相の位相画像の撮像に要する時間を短縮化できるため、加算するＮ枚の位相画像の撮像中のブレ等の動きの影響を低減することができる。それにより、加算された位相画像の位置精度を良くすることができる。

また、各位相の位相画像を、位相ごとに加算した加算位相画像を作成し、その位相ごとの撮像時刻の差に生じる対象物の動き量を算出することができる。このため、撮像時間差に生じる対象物の動きを補正することができ、測距精度の向上を図ることができる。

また、前述の加算位相画像から算出された動き量に基づき、加算前の各位相画像の動き量を補正する。これにより、加算前の位相画像毎に動き量の補正処理を施すことができるため、再度加算した位相画像は動き量の影響がさらに低減され、測距精度のさらなる向上を図ることができる。

［第２の実施の形態］
次に、第２の実施の形態の測距撮像装置の説明をする。

イメージセンサを高周波駆動することで得られた位相画像に基づいて算出された距離画像の折り返しノイズを、イメージセンサ２を低周波駆動することで得られた位相画像に基づいて算出された距離画像を用いて補正することで、測距レンジを拡大できることが知られている。また、イメージセンサを高周波駆動して得られた位相画像で形成された距離画像を用いることで、測距分解能を高くすることも知られている。

しかし、上述の比較例のように、１度の撮像で、０度、１８０度、９０度及び２７０度の各位相の位相画像を撮像する場合、イメージセンサを高周波駆動して得られた各位相の位相画像の動きと、イメージセンサを低周波駆動して得られた各位相の位相画像の動きとの差異が大きい場合、測距精度が低下する。

このため、第２の実施の形態の測距撮像装置は、撮像制御部２０が、図８に示すように、変調周波数ｆＨでイメージセンサ２を高周波駆動して、上述のように位相毎にＮ枚の位相画像（高周波位相画像）を撮像する。また、撮像制御部２０は、この撮像後に、変調周波数ｆＬでイメージセンサ２を低周波駆動して、上述のように位相毎に位相画像（低周波位相画像）を撮像する（変調周波数ｆＨ＞変調周波数ｆＬ）。

例えば、図８に示すように変調周波数ｆＨで位相０度の位相画像をＮ枚撮像した後に、変調周波数ｆＬで位相０度の位相画像を１枚撮像する。続いて、変調周波数ｆＨで１８０度の位相画像をＮ枚撮像した後に、変調周波数ｆＬで位相１８０度の位相画像を１枚撮像する。位相９０度、２７０度についても同様の順序で、変調周波数ｆＨで位相画像Ｎ枚と変調周波数ｆＬの位相画像を順次取得する。図８では、変調周波数ｆＬの位相画像を１枚のみ撮像しているが、複数の位相画像を撮像し変調周波数ｆＨの場合と同様に加算処理をおこない加算位相画像を作成しても良い。ただし、各位相間の撮像時間差を短縮するためには、変調周波数ｆＬの位相画像の撮像する枚数は少ない方がよい。変調周波数ｆＬの位相画像は距離画像を算出する際の折り返しノイズの補正ができる程度の精度があれば良く、１枚以上の位相画像があれば良い。

図８からもわかるように、同じ位相の位相画像をまとめて撮像することで、高周波位相画像と低周波位相画像との間の時間的間隔を短くすることができる。このため、低周波位相画像として、高周波位相画像の動き量に近い動き量の低周波画像を得ることができる。

第１の実施形態と同様に画像加算部２３により変調周波数ｆＬで取得した高周波位相画像を位相ごとに加算処理した加算高周波位相画像を作成し、モーション推定部２４により各加算高周波位相画像間の動き量を算出する。位相画像補正部２５は算出された動き量に基づいて各加算高周波位相画像を補正する。ここで算出した各位相の動き量は、変調周波数ｆＬの各位相の低周波位相画像に適用することができる。位相画像補正部２５は、各位相の加算高周波位相画像で算出した動き量で、各位相の低周波位相画像を補正する。そして、距離計算部２６は、この補正した低周波位相画像から算出した低周波距離画像と、補正した加算高周波位相画像から算出した高周波距離画像とを作成し、高周波距離画像の折り返しノイズを、低周波距離画像を用いて補正する。これにより、動き量による影響を低減し測距精度を高精度にしつつ、測定可能距離の範囲を拡大することができる。この他、第２の実施の形態の測距撮像装置は、上述の第１の実施の形態と同様の効果を得ることができる。

なお、この例では、高周波位相画像の撮像後に、低周波位相画像を撮像することとしたが、低周波位相画像の撮像後に、高周波位相画像を撮像してもよい。また、高周波位相画像の撮像間に、低周波位相画像を撮像してもよい。

また、この例は、低周波位相画像を１枚撮像する例であったが、低周波位相画像を複数枚撮像してもよい。この場合は、複数の低周波位相画像を平均化した１枚の低周波画像を生成して、上述の折り返しノイズの補正に用いればよい。

最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 光源
２ イメージセンサ
３ アナログ−デジタルコンバータ（ＡＤＣ）
４ 測距制御部
５ センサインタフェース（センサＩ／Ｆ）
６ 光源駆動回路
７ 入出力インタフェース（入出力Ｉ／Ｆ）
８ ＣＰＵ
１１ ＳＳＤ
２０ 撮像制御部
２１ 記憶制御部
２２ 光源制御部
２３ 画像加算部
２４ モーション推定部
２５ 位相画像補正部
２６ 距離計算部
２７ 出力制御部

特許第６４３５５１３号公報

Claims (7)

1. 光源から対象物に対して光を照射することで得られる反射光を異なるタイミングで受光して複数種類の異なる位相の位相画像を撮像する位相画像撮像部を、１回の撮像動作で、同じ位相の複数枚の位相画像を撮像するように制御する撮像制御部と、
   前記１回の撮像動作で撮像された前記同じ位相の複数枚の位相画像同士を加算処理することで、前記１回の撮像動作ごとに加算位相画像を生成して出力する画像加算部と、を備え、
   前記撮像制御部は、前記位相画像撮像部に、前記複数種類の異なる位相ごとに前記撮像動作をさせるように制御すること
   を特徴とする撮像装置。
2. それぞれ異なる位相の前記加算位相画像に基づいて、異なる位相の前記加算位相画像間の動き量を検出する動き量検出部と、
   検出された前記動き量に基づいて、前記加算位相画像に動き量補正処理した補正加算位相画像を出力する位相画像補正部と、をさらに備えること
   を特徴とする請求項１に記載の撮像装置。
3. それぞれ異なる位相の前記加算位相画像に基づいて、異なる位相の前記加算位相画像間の動き量を検出し、当該動き量に基づき加算処理前の前記複数枚の位相画像のごとの動き量を算出する、動き量検出部と、
   前記複数枚の位相画像ごとの動き量に基づいて、前記位相画像に動き量補正処理した補正位相画像を生成する位相画像補正部と、をさらに備え、
   前記画像加算部は、同じ位相の前記補正位相画像を加算処理した補正加算位相画像を出力すること
   を特徴とする請求項１に記載の撮像装置。
4. 請求項１に記載の撮像装置と、
   前記撮像装置から出力される、複数の異なる位相の前記加算位相画像に基づいて、前記対象物までの距離を算出する距離計測部と、
   を有する測距装置。
5. 請求項２又は請求項３に記載の撮像装置と、
   前記撮像装置から出力される、複数の異なる位相の前記補正加算位相画像に基づいて、前記対象物までの距離を算出する距離計測部と、
   を有する測距装置。
6. 前記撮像制御部は、１回の前記撮像動作において、第１の周波数で受光した位相画像と、前記第１の周波数より低い第２の周波数で受光した位相画像を生成するように前記位相画像撮像部を制御し、
   前記距離計測部は、前記第２の周波数で受光した位相画像に基づいて算出された距離を用いて、前記対象物までの距離を補正すること
   を特徴とする請求項４又は請求項５に記載の測距装置。
7. 光源から対象物に対して光を照射することで得られる反射光を異なるタイミングで受光して複数種類の異なる位相の位相画像を撮像する位相画像撮像部を、１回の撮像動作で、同じ位相の複数枚の位相画像を撮像するように制御する撮像制御部と、
   前記１回の撮像動作で撮像された前記同じ位相の複数枚の位相画像同士を加算処理することで、前記１回の撮像動作ごとに加算位相画像を生成して出力する画像加算部と、して機能させるプログラムであって、
   前記撮像制御部は、前記位相画像撮像部に、前記複数種類の異なる位相ごとに前記撮像動作をさせるように制御すること
   を特徴とするプログラム。

Images