JP2009085705A - 測距装置および測距方法並びにプログラム - Google Patents

Abstract

【課題】距離画像および輝度画像の双方を生成するに際し、高解像度の輝度画像を生成できるようにする。
【解決手段】測距光照射部３が、所定周期にて強度変調された測距光を被写体に照射し、複数の受光素子が配列されたＣＣＤ１３が被写体による測距光の反射光を受光し、受光光量に応じた信号を出力する。この際、撮像制御部１９が、所定数の受光素子からなる受光素子単位にて、測距光の変調周期における互いに異なる複数の位相において反射光をそれぞれ受光して、複数の位相毎に信号を取得するようＣＣＤ１３を制御する。距離画像生成部３１が、複数の位相毎の信号に基づいて、受光素子単位にて被写体までの距離を表す距離情報を算出し、距離情報を各画素の情報とする距離画像を生成する。輝度画像生成部３２が、複数の位相毎の信号に基づいて、受光素子単位にて被写体の輝度を表す輝度情報を複数算出し、各輝度情報を各画素の情報とする輝度画像を生成する。
【選択図】図１

Description

本発明は、被写体の立体形状を表す距離画像を生成する測距装置および方法並びに測距方法をコンピュータに実行させるためのプログラムに関するものである。

光の反射を用いて被写体までの距離の測定（測距）を行うＴＯＦ（Time Of Flight）方式の測距方法を用いて、撮影装置から被写体までの距離を測定して、被写体の立体形状を表す距離画像を生成することが行われている。ＴＯＦ方式を用いた測距は、具体的には強度変調された測距光を被写体に向けて照射し、この変調周期における０，π／２，π，３π／２の４つの位相において反射光を受光して受光光量に応じた受光信号を得、受光信号に基づいて測距光と反射光との位相の遅れ（位相差）を、撮影装置に設けられた撮像素子の受光素子毎に検出して距離情報を算出し、この距離情報を各画素の画素値とする被写体の立体形状を表す距離画像を生成するものである。

また、距離画像と被写体の濃淡情報である輝度画像とを同時に取得する測距装置も提案されている（特許文献１参照）。特許文献１に記載された測距装置は、上述した０，π／２，π，３π／２の４つの位相において取得した受光信号の平均値または加算値を算出することにより、撮像装置の各受光素子に対応した輝度情報を得て、輝度画像を生成するものである。
特開２００６−４６９５９号公報

ところで、上述したように生成される輝度画像は、被写体の濃淡情報を表すものであることから、より高解像度なものであることが好ましい。ここで、距離画像生成のために位相差を算出するための４つの位相の受光信号を取得する手法は、４つの受光素子を１つの単位として取得する手法（手法１とする）、あるいは１つの受光素子により交互に取得する手法（手法２）が考えられる。

しかしながら、手法１の場合、特許文献１に記載の測距装置においては、４つの位相において取得した受光信号の平均値または加算値を算出することにより輝度画像を生成しているため、距離画像と同一の解像度の輝度画像しか得ることができない。一方、手法２の場合、４つの受光素子により４つの位相の受光信号を取得する場合よりも輝度画像の解像度を高くすることができるが、やはり距離画像と同一の解像度の輝度画像しか得ることができない。

本発明は上記事情に鑑みなされたものであり、距離画像および輝度画像の双方を生成するに際し、高解像度の輝度画像を生成できるようにすることを目的とする。

本発明による測距装置は、所定周期にて強度変調された測距光を被写体に照射する測距光照射手段と、
前記被写体による前記測距光の反射光を受光し、受光光量に応じた受光信号を出力する複数の受光素子が２次元状に配列された撮像素子を有する撮像手段と、
所定数の前記受光素子からなる受光素子単位にて、前記測距光の変調周期における互いに異なる複数の位相において前記反射光をそれぞれ受光して、前記複数の位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御する撮像制御手段と、
前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体までの距離を表す距離情報を算出し、該各距離情報を各画素の情報とする距離画像を生成する距離画像生成手段と、
前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体の輝度を表す輝度情報を複数算出し、該各輝度情報を各画素の情報とする輝度画像を生成する輝度画像生成手段とを備えたことを特徴とするものである。

なお、本発明による測距装置においては、前記撮像制御手段を、前記測距光の変調周期における基準位相、該基準位相からπ／２ずれた位相、該基準位相からπずれた位相および該基準位相から３π／２ずれた位相において前記反射光をそれぞれ受光して、該位相毎に前記受光信号を取得するよう前記測距光照射手段および前記撮像手段を制御する手段とし、
前記輝度画像生成手段を、前記位相毎の受光信号のうち、位相がπ異なる受光信号同士を加算することにより前記受光素子単位で２つの輝度情報を算出する手段としてもよい。

また、本発明による測距装置においては、前記撮像制御手段を、４つの前記受光素子からなる受光素子単位にて、該４つの受光素子により前記基準位相、該基準位相からπ／２ずれた位相、該基準位相からπずれた位相および該基準位相から３π／２ずれた位相において前記反射光をそれぞれ受光して、該位相毎に前記受光信号を取得するよう前記測距光照射手段および前記撮像手段を制御する手段としてもよい。

また、本発明による測距装置においては、前記撮像制御手段を、２つの前記受光素子からなる受光素子単位にて、該２つの受光素子により前記基準位相および該基準位相からπずれた位相において前記反射光をそれぞれ受光し、次いで、該基準位相からπ／２ずれた位相および該基準位相から３π／２ずれた位相において前記反射光をそれぞれ受光して、該位相毎に前記受光信号を取得するよう前記測距光照射手段および前記撮像手段を制御する手段としてもよい。

この場合、前記撮像制御手段を、前記位相がπ異なる反射光をそれぞれ受光する２つの受光素子が、前記撮像素子上において市松状となるように前記位相毎に前記受光信号を取得するよう、前記撮像手段を制御する手段としてもよい。

「市松状となるように位相毎に受光信号を取得する」とは、例えば図１０に示すように、ある位相の反射光を受光する受光素子（α）と、その位相とπ位相が異なる反射光を受光する受光素子（γ）とが、２次元両方向において交互に現れるように、反射光を受光することを言う。

また、本発明による測距装置においては、前記撮像制御手段を、１つの前記受光素子からなる受光素子単位にて、該受光素子により前記基準位相、該基準位相からπずれた位相、該基準位相からπ／２ずれた位相および該基準位相から３π／２ずれた位相において前記反射光を当該順序にて受光して、該位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御する手段としてもよい。

また、本発明による測距装置においては、前記輝度画像生成手段を、所定条件を満たす場合にのみ、前記輝度画像を生成する手段としてもよい。

この場合、前記輝度画像生成手段を、前記距離画像に基づいてあらかじめ定められた所定距離範囲内に前記被写体が存在する場合にのみ、前記輝度画像を生成する手段としてもよく、あらかじめ定められた所定距離範囲内にある前記距離情報を算出した前記受光素子単位についてのみ、前記輝度情報を算出して前記輝度画像を生成する手段としてもよい。

本発明による測距方法は、測距光照射手段により、所定周期にて強度変調された測距光を被写体に照射し、
受光光量に応じた受光信号を出力する複数の受光素子が２次元状に配列された撮像素子を有する撮像手段により、前記被写体による前記測距光の反射光を受光するに際し、所定数の前記受光素子からなる受光素子単位にて、前記測距光の変調周期における互いに異なる複数の位相において前記反射光をそれぞれ受光して、前記複数の位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御し、
前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体までの距離を表す距離情報を算出し、
該各距離情報を各画素の情報とする距離画像を生成し、
前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体の輝度を表す輝度情報を複数算出し、
該各輝度情報を各画素の情報とする輝度画像を生成することを特徴とするものである。

なお、本発明による測距方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数の位相毎の受光信号に基づいて、受光素子単位にて被写体までの距離を表す距離情報が算出され、各距離情報を各画素の情報とする距離画像が生成される。また、複数の位相毎の受光信号に基づいて、受光素子単位にて被写体の輝度を表す輝度情報が複数算出され、各輝度情報を各画素の情報とする輝度画像が生成される。このため、１つの受光素子単位において算出される輝度情報は距離情報よりも多くなることから、距離画像よりも高解像度の輝度画像を生成することができる。

また、４つの受光素子からなる受光素子単位にて、４つの受光素子により基準位相、基準位相からπ／２ずれた位相、基準位相からπずれた位相および基準位相から３π／２ずれた位相において反射光をそれぞれ受光して、位相毎に受光信号を取得することにより、４つの受光素子により得られる受光信号から１つの輝度画像を生成する場合と比較して、高解像度の輝度画像を生成することができる。

また、２つの受光素子からなる受光素子単位にて、２つの受光素子により基準位相および基準位相からπずれた位相において反射光をそれぞれ受光し、次いで、基準位相からπ／２ずれた位相および基準位相から３π／２ずれた位相において反射光をそれぞれ受光して、位相毎に受光信号を取得することにより、より高解像度の輝度画像を生成することができる。

この場合、位相がπ異なる反射光をそれぞれ受光する２つの受光素子が、撮像素子上において市松状となるように位相毎に受光信号を取得することにより、より高解像度の輝度画像を生成することができる。

また、１つの受光素子からなる受光素子単位にて、受光素子により基準位相、基準位相からπずれた位相、基準位相からπ／２ずれた位相および基準位相から３π／２ずれた位相において、反射光をこの順序にて受光して、位相毎に受光信号を取得することにより、より高解像度の輝度画像を生成することができる。

また、所定条件を満たす場合にのみ、輝度画像を生成することにより、不要な場合に輝度画像を生成しなくてもよくなるため、無駄な処理を防止できる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による測距装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による測距装置１は撮像部２を備える。

撮像部２は、レンズ１０、絞り１１、シャッタ１２、ＣＣＤ１３、アナログフロントエンド（ＡＦＥ）１４およびＡ／Ｄ変換部１５を備える。

レンズ１０は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、不図示のレンズ駆動部によりその位置が調整される。

絞り１１は、不図示の絞り駆動部により、ＡＥ処理により得られる絞り値データに基づいて絞り径の調整が行われる。

シャッタ１２はメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１３は、多数の受光素子を２次元的に配列した光電面を有する撮像素子であり、被写体光がこの光電面に結像して光電変換されてアナログ撮像信号である受光信号が取得される。

ＡＦＥ１４は、ＣＣＤ１３から出力される受光信号に対して、受光信号のノイズを除去する処理、および受光信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５は、ＡＦＥ１４によりアナログ処理が施された受光信号をデジタル信号に変換する。

また、撮像部２は、被写体に向けて赤外光からなる測距光を照射するための測距光照射部３を備える。測距光照射部３は複数のＬＥＤが２次元状に配設された面光源からなる。測距光照射部３が発光する測距光は、変調部１８により所定の周期により強度変調される。また、撮像部２は、ＣＣＤ１３、ＡＦＥ１４および変調部１８の駆動を制御するための撮像制御部１９を備える。具体的には、撮像制御部１９は、ＣＰＵ３３からの指示により、変調部１８に変調の指示を行って測距光照射部３を変調発光させ、これとタイミングを合わせて被写体による測距光の反射光を受光し、受光した光の光量に応じた受光信号を出力するよう撮像部２の各部を制御する。なお、ＣＣＤ１３の各受光素子からの受光信号の取得の制御については後述する。

また、測距装置１は、撮影条件設定部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。

撮影条件設定部２２は、ＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入力部３４からの指示により撮像部２が取得した画像（プレ画像）に基づいてレンズ１０の焦点距離を決定し、撮像部２に出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮像部２に出力する。

画像処理部２３は、後述するように生成された距離画像および輝度画像の画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって画像処理が施された輝度画像の画像データ並びに後述するように生成された距離画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。

フレームメモリ２５は、撮像部２が取得した受光信号に対して、前述の画像処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして距離画像および輝度画像等の画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ２７は、測距装置１において設定される各種定数、およびＣＰＵ３３が実行するプログラム等を記憶する。

表示制御部２８は、フレームメモリ２５に格納された画像データをモニタ３０に表示させたり、記録メディア２９に記録されている画像をモニタ３０に表示させたりするためのものである。

また、測距装置１は、距離画像生成部３１、輝度画像生成部３２およびＣＰＵ３３を備える。

距離画像生成部３１は、撮像部２が取得した受光信号を用いて被写体上の各点の測距装置１からの距離情報Ｄ１を、ＣＣＤ１３上における所定数の受光素子からなる受光素子単位毎に算出する。以下、距離情報Ｄ１の算出について説明する。

距離画像生成部３１は、強度変調された測距光が出射されてから被写体により反射された反射光を受光するまでの時間（すなわち光の飛行時間）により距離情報Ｄ１を算出する。

図２は距離情報を算出するための位相差の算出を説明するための図である。図２に示すように、測距光照射部３から出射される測距光の強度が曲線Ｋ１に示すように正弦波状に変化し、ＣＣＤ１３のある受光素子により受光した反射光の受光光量が曲線Ｋ２のように変化するとすれば、位相差ψは測距光の飛行時間に相当するため、位相差ψを求めることにより被写体までの距離を求めることができる。

位相差ψは、測距光の複数のタイミングで求めた反射光の受光光量を用いて計算することができる。ここで、測距光における０、π／２、π、３π／２の位相で求めた反射光の受光光量がそれぞれα、β、γ、δであるとする。なお、受光は図２に示すようにパルス状に行われ、図２においてはパルスに対応する受光光量α、β、γ、δを斜線で示している。なお、受光光量α、β、γ、δを求める間に、位相差ψが変化せず、かつ被写体の反射率にも変化がないものとし、時刻ｔにおいてＣＣＤ１３の各受光素子で受光される光の強度がＡ・ｓｉｎ（ωｔ＋φ）＋Ｂで表されるものとする。ここで、Ａは振幅、Ｂは外光成分、ωは角振動数、δは位相である。これにより、受光素子で受光する受光光量α、β、γ、δは、次のように表すことができる。なお、受光光量は測距光における０、π／２、π、３π／２の位相において各受光素子から出力される受光信号に相当する。

α＝Ａ・ｓｉｎ（δ）＋Ｂ
β＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
γ＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
δ＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
ここで、δ＝−ψであるから、α＝−Ａ・ｓｉｎ（ψ）＋Ｂ、β＝Ａ・ｃｏｓ（ψ）＋Ｂ、γ＝Ａ・ｓｉｎ（ψ）＋Ｂ、δ＝−Ａ・ｃｏｓ（ψ）＋Ｂであるため、各受光光量α、β、γ、δと位相差ψとの関係は、次式のようになる。

ψ＝ｔａｎ^-1｛（γ−α）／（β−δ）｝ （１）
したがって、各受光素子と被写体との距離Ｄは、
Ｄ＝ｃ・ψ／（４πＦ） （２）
により算出することができる。なお、Ｆは周波数（＝ω／２π）である。

なお、距離情報Ｄ１の算出には、上述した４つの受光光量すなわち４つの受光信号α、β、γ、δをＣＣＤ１３から取得することが必要であるが、第１の実施形態においては、ＣＣＤ１３上における２×２の範囲にある４つの受光素子を１つの単位として、この受光素子単位において受光信号α、β、γ、δを取得し、１つの受光素子単位にて１つの距離情報Ｄ１を算出するものである。図３は第１の実施形態における受光素子単位を説明するための図である。なお、図３はＣＣＤ１３の光電面を示し、ここでは受光素子が６×６に並んでいるものとする。第１の実施形態においては図３に示すように受光素子単位Ｒ１において４つの受光信号α、β、γ、δを取得し、受光素子単位Ｒ１毎に距離情報Ｄ１を算出する。

図４は第１の実施形態におけるＣＣＤ１３の受光素子から受光信号に相当する電荷を読み出すための回路図である。図４に示すようにＣＣＤ１３は、受光素子のそれぞれに対応する光電変換部３９と、電荷蓄積部４０と、複数のスイッチＳＷ１〜ＳＷと８を備える。なお、スイッチＳＷ１，ＳＷ２は一方がオンの時に他方がオフとされるスイッチである。また、スイッチＳＷ３，ＳＷ４は一方がオンの時に他方がオフとされるスイッチである。また、スイッチＳＷ５，ＳＷ６は一方がオンの時に他方がオフとされるスイッチである。また、スイッチＳＷ７，ＳＷ８は一方がオンの時に他方がオフとされるスイッチである。そして、反射光の受光時には、測距光の０、π／２、π、３π／２の位相において複数のスイッチＳＷ１〜ＳＷ８のオン／オフを切り替えて、各光電変換部３９の電荷を電荷蓄積部４０に蓄積する。

具体的には、位相０のタイミングにおいては、スイッチＳＷ３をオン、スイッチＳＷ２，ＳＷ６，ＳＷ８をオンとする。なお、この際スイッチＳＷ４はオフとされる。これにより、受光信号αを得るための電荷のみが電荷蓄積部４０に蓄積される。また、位相π／２のタイミングにおいては、スイッチＳＷ５をオン、スイッチＳＷ２，ＳＷ４，ＳＷ８をオンとする。なお、この際スイッチＳＷ６はオフとされる。これにより、受光信号βを得る電荷のみが電荷蓄積部４０に蓄積される。また、位相πのタイミングにおいては、スイッチＳＷ１をオン、スイッチＳＷ４，ＳＷ６，ＳＷ８をオンとする。なお、この際スイッチＳＷ２はオフとされる。これにより、受光信号γを得る電荷のみが電荷蓄積部４０に蓄積される。そして、位相３π／２のタイミングにおいては、スイッチＳＷ７をオン、スイッチＳＷ２，ＳＷ４，ＳＷ６をオンとする。なお、この際スイッチＳＷ８はオフとされる。これにより、受光信号δを得る電荷のみが電荷蓄積部４０に蓄積される。

したがって、オンとするスイッチのタイミングを、測距光の変調の位相に応じて切り替えることにより、測距光の変調の１周期における０、π／２、π、３π／２の位相において、受光信号α、β、γ、δを取得することができる。

そして、距離画像生成部３１は、上述したように受光素子単位で算出した距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する。なお、第１の実施形態においては、距離画像Ｓ１の画素数は、ＣＣＤ１３の受光素子数の１／４となる。

輝度画像生成部３２は、４つの受光信号α、β、γ、δのうち、位相がπ異なる受光信号同士を加算して、４つの受光信号α、β、γ、δから２つの輝度情報Ｙ１，Ｙ２を算出する。すなわち、受光信号αと受光信号γとを加算して輝度情報Ｙ１を算出するとともに、受光信号βと受光信号γとを加算して輝度情報Ｙ２を算出する。ここで、第１の実施形態においては、図３に示すように受光信号α，γを得る受光素子は交互に上下に並び、受光信号β，δを得る受光素子は交互に上下に並んでいる。このため、輝度画像生成部３２は、上下に隣接する２つの受光素子から得られる受光信号を加算して輝度情報Ｙ１，Ｙ２を算出する。例えば、図５に示すようにＣＣＤ１３の左端の受光素子列においては、互いに隣接する上下の受光素子から得られる受光信号α，γを加算して輝度情報Ｙ１を算出し、右端の受光素子列においては、互いに隣接する上下の受光素子から得られる受光信号β，δを加算して輝度情報Ｙ２を算出する。したがって、輝度画像生成部３２は、ＣＣＤ１３の縦方向において、ＣＣＤ１３の受光素子数−１の輝度情報を算出する。

そして、輝度画像生成部３２は、受光素子単位にて算出した２つの輝度情報Ｙ１，Ｙ２のそれぞれを各画素の画素値とする１つの輝度画像Ｓ２を生成する。

ＣＰＵ３３は、入力部３４からの信号に応じて測距装置１の各部を制御する。

データバス３５は、測距装置１を構成する各部およびＣＰＵ３３に接続されており、測距装置１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態において行われる処理を示すフローチャートである。なお、撮影条件設定部２２におけるＡＦ処理およびＡＥ処理はすでに行われているものとし、ここでは撮像の指示が行われた以降の処理について説明する。また、距離画像Ｓ１および輝度画像Ｓ２の表示および記録の指示は、入力部３４からあらかじめ行われているものとする。

撮影指示が行われることによりＣＰＵ３３が処理を開始し、撮像部２がＣＰＵ３３からの指示により測距光照射部３から強度変調された測距光を被写体に向けて照射し（ステップＳＴ１）、さらに測距光の被写体による反射光を撮像して、４つの受光素子からなる受光素子単位にて受光信号α、β、γ、δを取得する（ステップＳＴ２）。次いで、距離画像生成部３１が、受光素子単位毎に距離情報Ｄ１を算出し（ステップＳＴ３）、距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する（ステップＳＴ４）。

続いて、輝度画像生成部３２が、４つの受光素子からなる受光素子単位にて位相がπ異なる受光信号同士を加算して（すなわちα＋γ、β＋δ）、２つの輝度情報Ｙ１，Ｙ２を算出し（ステップＳＴ５）、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成する（ステップＳＴ６）。

続いて、ＣＰＵ３３は、距離画像Ｓ１を表示する指示がなされているか否かを判定し（ステップＳＴ７）、ステップＳＴ７が肯定されると、表示制御部２８が距離画像Ｓ１をモニタ３０に表示する（ステップＳＴ８）。次いでＣＰＵ３３は、距離画像Ｓ１の画像データを記録する指示がなされているか否かを判定し（ステップＳＴ９）、ステップＳＴ９が肯定されると、メディア制御部２６が距離画像Ｓ１の画像データを記録メディア２９に記録する（ステップＳＴ１０）。なお、ステップＳＴ７が否定された場合もステップＳＴ１０の処理を行う。

続いて、ＣＰＵ３３は、輝度画像Ｓ２を表示する指示がなされているか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が肯定されると、表示制御部２８が輝度画像Ｓ２をモニタ３０に表示する（ステップＳＴ１２）。次いでＣＰＵ３３は、輝度画像Ｓ２の画像データを記録する指示がなされているか否かを判定し（ステップＳＴ１３）、ステップＳＴ１３が肯定されると、メディア制御部２６が輝度画像Ｓ２の画像データを記録メディア２９に記録し（ステップＳＴ１４）、処理を終了する。なお、ステップＳＴ１３が否定された場合も処理を終了する。また、ステップＳＴ１１が否定された場合はステップＳＴ１４の処理を行う。

このように、第１の実施形態においては、４つの受光素子からなる受光素子単位にて、４つの受光素子により測距光の変調周期における０、π／２、π、３π／２の位相において反射光をそれぞれ受光して位相毎に受光信号を取得し、受光素子単位にて２つの輝度情報Ｙ１，Ｙ２を算出し、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成するようにしたものである。このため、４つの受光素子により得られる４つの受光信号から１つの輝度情報を算出する場合と比較して、ＣＣＤ１３の光電面における一方向のみではあるものの高解像度の輝度画像Ｓ２を生成することができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による測距装置の構成は、第１の実施形態による測距装置１の構成と同一であり、行われる処理内容のみが異なるため、ここでは構成についての詳細な説明は省略する。

図７は第２の実施形態におけるＣＣＤ１３からの受光信号の取得を説明するための図である。第２の実施形態においては、図７（ａ）に示すように、測距光の変調の０およびπの位相にて横方向１ライン間隔で受光信号α，γを取得し、次いで図７（ｂ）に示すように、π／２および３π／２の位相にて横方向１ライン間隔で受光信号β，δを取得し、以降図７（ａ）に示す受光信号α、γの取得および図７（ｂ）に示す受光信号β、δの取得を繰り返すように、撮像制御部１９がＣＣＤ１３による受光信号の取得を制御するようにした点が第１の実施形態と異なる。なお、第２の実施形態においては、図８に示すように測距光の変調の１周期目に０およびπの位相にて受光信号α，γを取得し、２周期目にπ／２および３π／２の位相にて受光信号β，δを取得するものである。したがって、撮像部２は、測距光の変調の２周期により受光信号α、β、γ、δを取得する。

なお、第２の実施形態においては、図７に示すように縦横２×１の範囲にある２つの受光素子において４つの受光信号α、β、γ、δが取得されるため、距離画像生成部３１は、２つの受光素子を１つの受光素子単位Ｒ２として距離情報Ｄ１を算出する。したがって、第２の実施形態においては、距離画像Ｓ１の画素数は、ＣＣＤ１３の縦方向における受光素子数の１／２となる。

次いで、第２の実施形態において行われる処理について説明する。図９は第２の実施形態において行われる処理を示すフローチャートである。なお、撮影条件設定部２２におけるＡＦ処理およびＡＥ処理はすでに行われているものとし、ここでは撮像の指示が行われた以降の処理について説明する。また、距離画像Ｓ１および輝度画像Ｓ２の表示および記録の指示は、入力部３４からあらかじめ行われているものとする。

撮影指示が行われることによりＣＰＵ３３が処理を開始し、撮像部２がＣＰＵ３３からの指示により測距光照射部３から強度変調された測距光を被写体に向けて照射し（ステップＳＴ２１）、さらに測距光の被写体による反射光を撮像して、２つの受光素子からなる受光素子単位で、まず位相が０，πにおける受光信号α，γを取得する（ステップＳＴ２２）。そして、輝度画像生成部３２が受光信号α，γを加算して（すなわちα＋γ）、輝度情報Ｙ１を算出する（ステップＳＴ２３）。なお、輝度情報Ｙ１は、ＣＣＤ１３の縦方向において、ＣＣＤ１３の受光素子数−１取得されることとなる。

続いて、測距光の次の変調周期において、２つの受光素子からなる受光素子単位で、位相がπ／２，３π／２における受光信号β，δを取得する（ステップＳＴ２４）。そして、輝度画像生成部３２が受光信号β，δを加算して（すなわちβ＋δ）、輝度情報Ｙ２を算出する（ステップＳＴ２５）。さらに、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成する（ステップＳＴ２６）。なお、輝度情報Ｙ２も、ＣＣＤ１３の縦方向において、ＣＣＤ１３の受光素子数−１取得されることとなる。

この段階においては、４つの受光信号α、β、γ、δが取得されているため、距離画像生成部３１が、受光素子単位毎に距離情報Ｄ１を算出し（ステップＳＴ２７）、距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する（ステップＳＴ２８）。

なお、ステップＳＴ２８以降は第１の実施形態におけるステップＳＴ７以降の処理と同一であるため、詳細な説明は省略する。

このように、第２の実施形態においては、２つの受光素子からなる受光素子単位にて２つの輝度情報Ｙ１，Ｙ２を算出し、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成するようにしたものである。ここで、第１の実施形態においては、ＣＣＤ１３の縦方向に受光素子数-１の輝度情報が取得されるが、第２の実施形態においては、２×（受光素子数−１）の輝度情報が取得されることとなる。したがって、第２の実施形態によれば、第１の実施形態と比較してより高解像度の輝度画像Ｓ２を生成することができる。

また、第２の実施形態においては、ＣＣＤ１３の横方向に並ぶ受光素子の列から同時に受光信号を読み出すようにすればよいため、既存のＣＣＤを用いることができ、その結果、測距装置の製造コストを低減することができる。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による測距装置の構成は、第１の実施形態による測距装置１の構成と同一であり、行われる処理内容のみが異なるため、ここでは構成についての詳細な説明は省略する。

図１０は第３の実施形態におけるＣＣＤ１３からの受光信号の取得を説明するための図である。第３の実施形態においては、図１０（ａ）に示すように、測距光の変調の０およびπの位相にて横方向および縦方向の１ラインにおいて受光信号α，γを交互に市松状になるように取得し、次いで図１０（ｂ）に示すように、π／２および３π／２の位相にて横方向および縦方向の１ラインにおいて受光信号β，δを交互に市松状となるように取得し、以降図１０（ａ）に示す受光信号α、γの取得および図１０（ｂ）に示す受光信号β、δの取得を繰り返すように、撮像制御部１９がＣＣＤ１３による受光信号の取得を制御するようにした点が第１の実施形態と異なる。なお、第３の実施形態においては、第２の実施形態と同様に、図８に示すように測距光の変調の１周期目に０およびπの位相にて受光信号α，γを取得し、２周期目にπ／２および３π／２の位相にて受光信号β，δを取得するものである。したがって、撮像部２は、測距光の変調の２周期により受光信号α、β、γ、δを取得する。

図１１は第３の実施形態におけるＣＣＤ１３の受光素子から受光信号を得るための電荷を読み出すための回路図である。図１１に示すようにＣＣＤ１３は、受光素子のそれぞれに対応する光電変換部３９Ａと、電荷蓄積部４０Ａと、複数のスイッチＳＷ１１〜ＳＷ１４を備える。なお、スイッチＳＷ１１，ＳＷ１２は一方がオンの時に他方がオフとされるスイッチである。また、スイッチＳＷ１３，ＳＷ１４は一方がオンの時に他方がオフとされるスイッチである。そして、反射光の受光時には、測距光の０、π／２、π、３π／２の位相において複数のスイッチＳＷ１１〜ＳＷ１４のオン／オフを切り替えて、各受光素子の電荷を電荷蓄積部４０Ａに蓄積する。

具体的には、位相０のタイミングにおいては、スイッチＳＷ１３をオン、スイッチＳＷ１２をオンとする。なお、この際スイッチＳＷ１４はオフとされる。これにより、受光信号αを得るための電荷のみが電荷蓄積部４０Ａに蓄積される。また、位相πのタイミングにおいては、スイッチＳＷ１１をオン、スイッチＳＷ１４をオンとする。なお、この際スイッチＳＷ１２はオフとされる。これにより、受光信号γを得る電荷のみが電荷蓄積部４０Ａに蓄積される。

また、位相π／２のタイミングにおいては、スイッチＳＷ１３をオン、スイッチＳＷ１２をオンとする。なお、この際スイッチＳＷ１４はオフとされる。これにより、受光信号βを得る電荷のみが電荷蓄積部４０Ａに蓄積される。そして、位相３π／２のタイミングにおいては、スイッチＳＷ１１をオン、スイッチＳＷ１４をオンとする。なお、この際スイッチＳＷ１２はオフとされる。これにより、受光信号δを得る電荷のみが電荷蓄積部４０Ａに蓄積される。

したがって、オンとするスイッチのタイミングを測距光の変調の位相に応じて切り替えることにより、測距光の変調の１周期目における０、πの位相において受光信号α、γを取得することができ、２周期目におけるπ／２、３π／２の位相において受光信号β、δを取得することができる。

なお、第３の実施形態においては、図１０に示すように縦横２×１の範囲にある２つの受光素子からなる受光素子単位にて４つの受光信号α、β、γ、δが取得され、距離情報Ｄ１が算出されることとなる。一方、輝度情報については、ＣＣＤ１３の縦方向に縦横２×１の範囲にある２つの受光素子からなる受光素子単位にて２つの輝度情報が算出される。さらに、ＣＣＤ１３の横方向に縦横１×２の範囲にある２つの受光素子からなる受光素子単位にて２つの輝度情報が算出される。したがって、第２の実施形態と比較してＣＣＤ１３の横方向についても２×（受光素子数−１）の輝度情報を取得することができるため、第２の実施形態と比較して、より高解像度の輝度画像Ｓ２を生成することができる。

次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態による測距装置の構成は、第１の実施形態による測距装置１の構成と同一であり、行われる処理内容のみが異なるため、ここでは構成についての詳細な説明は省略する。

図１２は第４の実施形態におけるＣＣＤ１３からの受光信号の取得を説明するための図である。第４の実施形態においては、図１２（ａ）に示すように、測距光における０の位相にて全受光素子により受光信号αを取得し、図１２（ｂ）に示すように、πの位相にて全受光素子により受光信号γを取得し、図１２（ｃ）に示すように、測距光におけるπ／２の位相にて全受光素子により受光信号βを取得し、図１２（ｄ）に示すように、３π／２の位相にて全受光素子により受光信号δを取得し、以降図１２（ａ）〜（ｄ）に示す受光信号α、γ、β、δの取得をこの順序にて繰り返すように、撮像制御部１９がＣＣＤ１３からの電荷の読み出しを制御するようにした点が第１の実施形態と異なる。

なお、第４の実施形態においては、第２および第３の実施形態と同様に、図８に示すように測距光の変調の１周期目に０およびπの位相にて受光信号α，γを取得し、２周期目にπ／２および３π／２の位相にて受光信号β，δを取得するものである。したがって、撮像部２は、測距光の変調の２周期により受光信号α、β、γ、δを取得する。

なお、第４の実施形態においては、１つの受光素子において４つの受光信号α、β、γ、δが取得されるため、距離画像生成部３１は、１つの受光素子を１つの受光素子単位として距離情報Ｄ１を算出する。したがって、第４の実施形態においては、距離画像Ｓ１の画素数は、ＣＣＤ１３の受光素子数と同一となる。

次いで、第４の実施形態において行われる処理について説明する。図１３は第４の実施形態において行われる処理を示すフローチャートである。なお、撮影条件設定部２２におけるＡＦ処理およびＡＥ処理はすでに行われているものとし、ここでは撮像の指示が行われた以降の処理について説明する。また、距離画像Ｓ１および輝度画像Ｓ２の表示および記録の指示は、入力部３４からあらかじめ行われているものとする。

撮影指示が行われることによりＣＰＵ３３が処理を開始し、撮像部２がＣＰＵ３３からの指示により測距光照射部３から強度変調された測距光を被写体に向けて照射し（ステップＳＴ３１）、さらに測距光の被写体による反射光を撮像して、１つの受光素子からなる受光素子単位で、まず位相が０における受光信号αを取得し（ステップＳＴ３２）、続いて位相がπにおける受光信号γを取得する（ステップＳＴ３３）。そして、輝度画像生成部３２が、受光信号α，γを加算して（すなわちα＋γ）、輝度情報Ｙ１を算出する（ステップＳＴ３４）。なお、輝度情報Ｙ１は、ＣＣＤ１３の縦横両方向において、ＣＣＤ１３の受光素子数分取得されることとなる。

続いて、測距光の次の変調周期において、１つの受光素子からなる受光素子単位で、位相がπ／２における受光信号βを取得し（ステップＳＴ３５）、続いて位相が３π／２における受光信号δを取得する（ステップＳＴ３６）。そして、輝度画像生成部３２が、受光信号β，δを加算して（すなわちβ＋δ）、輝度情報Ｙ２を算出する（ステップＳＴ３７）。さらに、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成する（ステップＳＴ３８）。なお、輝度情報Ｙ２も、ＣＣＤ１３の縦横両方向において、ＣＣＤ１３の受光素子数分取得されることとなる。

この段階においては、４つの受光信号α、β、γ、δが取得されているため、距離画像生成部３１が、受光素子単位毎に距離情報Ｄ１を算出し（ステップＳＴ３９）、距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する（ステップＳＴ４０）。

なお、ステップＳＴ４０以降は第１の実施形態におけるステップＳＴ７以降の処理と同一であるため、詳細な説明は省略する。

このように、第４の実施形態においては、１つの受光素子からなる受光素子単位にて２つの輝度情報Ｙ１，Ｙ２を算出し、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成するようにしたものである。このため、上記第３の実施形態よりも高解像度の輝度画像Ｓ２を生成することができる。

また、第４の実施形態においては、既存のＣＣＤ１３を用いることができるため、測距装置の製造コストを低減することができる。

なお、上記第２から第４の実施形態においては、受光信号α、γを取得した段階において、解像度は低いものの輝度情報Ｙ１のみから輝度画像を生成できる。このため、輝度情報Ｙ１のみからなる輝度画像をモニタ３０に表示したり、記録メディア２９に記録したりするようにしてもよい。

また、上記第２から第４の実施形態においては、受光信号α、γを取得した段階において輝度情報Ｙ１を算出しているが、すべての受光信号α、β、γ、δを取得した段階において輝度情報Ｙ１，Ｙ２を同時に算出するようにしてもよい。この場合、輝度情報Ｙ１，Ｙ２の算出および輝度画像Ｓ２の生成は、距離画像Ｓ１の生成の前に行っても後に行ってもよい。

次いで、本発明の第５の実施形態について説明する。図１４は本発明の第５の実施形態による測距装置の構成を示す概略ブロック図である。なお、第５の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第５の実施形態による測距装置１Ａは、距離画像生成部３１が生成した距離画像Ｓ１において、あらかじめ定められた所定距離範囲内に被写体が存在するか否かを判定する判定部３６を備え、判定部３６による判定が肯定された場合にのみ、輝度画像生成部３２が輝度画像Ｓ２を生成するようにした点が第１から第４の実施形態と異なる。なお、所定距離範囲はあらかじめ入力部３４から入力されて内部メモリ２７に記憶されている。

ここで、判定部３６は、距離画像Ｓ２の最大値および最小値（すなわち距離情報Ｄ１の最大値および最小値）の差分値を算出し、算出した差分値が上記所定距離範囲内にあるか否かを判定することにより、所定距離範囲内に被写体が存在するか否かを判定する。

次いで、第５の実施形態において行われる処理について説明する。図１５は第５の実施形態において行われる処理を示すフローチャートである。なお、ここでは、判定の処理を第１の実施形態に適用する場合について説明する。

撮影指示が行われることによりＣＰＵ３３が処理を開始し、撮像部２がＣＰＵ３３からの指示により測距光照射部３から強度変調された測距光を被写体に向けて照射し（ステップＳＴ５１）、さらに測距光の被写体による反射光を撮像して、４つの受光素子からなる受光素子単位で受光信号α、β、γ、δを取得する（ステップＳＴ５２）。次いで、距離画像生成部３１が、受光素子単位毎に距離情報Ｄ１を算出し（ステップＳＴ５３）、距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する（ステップＳＴ５４）。

次いで、判定部３６が、距離画像Ｓ１において、所定距離範囲内に被写体が存在するか否かを判定する（ステップＳＴ５５）。ステップＳＴ５５が肯定されると、輝度画像生成部３２が、４つの受光素子からなる受光素子単位にて位相がπ異なる受光信号同士を加算して（すなわちα＋γ、β＋δ）、２つの輝度情報Ｙ１，Ｙ２を算出し（ステップＳＴ５６）、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成する（ステップＳＴ５７）。なお、ステップＳＴ５５が否定されると、後述するステップＳＴ６２に進む。

続いて、ＣＰＵ３３は、輝度画像Ｓ２を表示する指示がなされているか否かを判定し（ステップＳＴ５８）、ステップＳＴ５８が肯定されると、表示制御部２８が輝度画像Ｓ２をモニタ３０に表示する（ステップＳＴ５９）。次いでＣＰＵ３３は、輝度画像Ｓ２の画像データを記録する指示がなされているか否かを判定し（ステップＳＴ６０）、ステップＳＴ６０が肯定されると、メディア制御部２６が、輝度画像Ｓ２の画像データを記録メディア２９に記録する（ステップＳＴ６１）。なお、ステップＳＴ５８が否定された場合もステップＳＴ６１の処理を行う。

続いて、ＣＰＵ３３は、距離画像Ｓ１を表示する指示がなされているか否かを判定し（ステップＳＴ６２）、ステップＳＴ６２が肯定されると、表示制御部２８が距離画像Ｓ１をモニタ３０に表示する（ステップＳＴ６３）。次いでＣＰＵ３３は、距離画像Ｓ１の画像データを記録する指示がなされているか否かを判定し（ステップＳＴ６４）、ステップＳＴ６４が肯定されると、メディア制御部２６が、距離画像Ｓ１の画像データを記録メディア２９に記録し（ステップＳＴ６５）、処理を終了する。なお、ステップＳＴ６４が否定された場合も処理を終了する。また、ステップＳＴ６２が否定された場合はステップＳＴ６５の処理を行う。

このように、第５の実施形態においては、距離画像Ｓ１における所定距離範囲に被写体がある場合にのみ、輝度画像Ｓ２を生成するようにしたため、被写体までの距離が近すぎたり遠すぎたりする場合のように、輝度画像Ｓ２が不要な場合には輝度画像Ｓ２は生成されないこととなる。したがって、処理の無駄および記録メディア２９の無駄な消費を防止することができる。

なお、上記第５の実施形態においては、判定の処理を第１の実施形態に適用しているが、第２から第４の実施形態に対しても上記と同様に適用することができる。以下、第２の実施形態に適用した場合の処理を第６の実施形態として説明する。図１６は第６の実施形態において行われる処理を示すフローチャートである。

撮影指示が行われることによりＣＰＵ３３が処理を開始し、撮像部２がＣＰＵ３３からの指示により測距光照射部３から強度変調された測距光を被写体に向けて照射し（ステップＳＴ７１）、さらに測距光の被写体による反射光を撮像して、２つの受光素子からなる受光素子単位で、まず位相が０，πにおける受光信号α，γを取得する（ステップＳＴ７２）。続いて、測距光の次の変調周期において、２つの受光素子からなる受光素子単位で、位相がπ／２，３π／２における受光信号β，δを取得する（ステップＳＴ７３）。そして、距離画像生成部３１が、受光素子単位毎に距離情報Ｄ１を算出し（ステップＳＴ７４）、距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する（ステップＳＴ７５）。

次いで、判定部３６が、距離画像Ｓ１において、所定距離範囲内に被写体が存在するか否かを判定する（ステップＳＴ７６）。ステップＳＴ７６が肯定されると、図１５のステップＳＴ５６の処理に進み、輝度情報の算出、輝度画像の生成、輝度画像の表示および記録を行う。ステップＳＴ７６が否定されると、図１５のステップＳＴ６２に進み、距離画像の表示および記録を行う。

次いで、本発明の第７の実施形態について説明する。なお、第７の実施形態による測距装置の構成は、第５の実施形態による測距装置１Ａの構成と同一であり、行われる処理内容のみが異なるため、ここでは構成についての詳細な説明は省略する。第７の実施形態においては、距離画像Ｓ１において所定距離範囲にある輝度情報を算出した受光素子単位についてのみ輝度情報を算出して輝度画像Ｓ２を生成するようにした点が第５の実施形態と異なる。

次いで、第７の実施形態において行われる処理について説明する。図１７は第７の実施形態において行われる処理を示すフローチャートである。なお、ここでは、判定の処理を第１の実施形態に適用する場合について説明する。

撮影指示が行われることによりＣＰＵ３３が処理を開始し、撮像部２がＣＰＵ３３からの指示により測距光照射部３から強度変調された測距光を被写体に向けて照射し（ステップＳＴ８１）、さらに測距光の被写体による反射光を撮像して、４つの受光素子からなる受光素子単位で受光信号α、β、γ、δを取得する（ステップＳＴ８２）。次いで、距離画像生成部３１が受光素子単位毎に距離情報Ｄ１を算出し（ステップＳＴ８３）、距離情報Ｄ１を各画素の画素値とする距離画像Ｓ１を生成する（ステップＳＴ８４）。

次いで、判定部３６が、距離画像Ｓ１に所定距離範囲内にある被写体が含まれるか否かを判定する（ステップＳＴ８５）。具体的には距離画像Ｓ１における各画素の距離情報Ｄ１に、所定距離範囲内にある距離情報Ｄ１が含まれるか否かを判定する。ステップＳＴ８５が肯定されると、輝度画像生成部３２が、所定距離範囲内にある距離情報を算出した受光素子単位についてのみ輝度情報Ｙ１，Ｙ２を算出する（ステップＳＴ８６）。すなわち、所定距離範囲にある距離情報Ｄ１を算出した受光信号のみを用いて輝度情報Ｙ１，Ｙ２を算出する。そして、各輝度情報Ｙ１，Ｙ２を各画素の画素値とする輝度画像Ｓ２を生成する（ステップＳＴ８７）。なお、ステップＳＴ８７が否定されると、後述するステップＳＴ９２に進む。

続いて、ＣＰＵ３３は、輝度画像Ｓ２を表示する指示がなされているか否かを判定し（ステップＳＴ８８）、ステップＳＴ８８が肯定されると、表示制御部２８が輝度画像Ｓ２をモニタ３０に表示する（ステップＳＴ８９）。次いでＣＰＵ３３は、輝度画像Ｓ２の画像データを記録する指示がなされているか否かを判定し（ステップＳＴ９０）、ステップＳＴ９０が肯定されると、メディア制御部２６が、輝度画像Ｓ２の画像データを記録メディア２９に記録する（ステップＳＴ９１）。なお、ステップＳＴ８８が否定された場合もステップＳＴ９１の処理を行う。

続いて、ＣＰＵ３３は、距離画像Ｓ１を表示する指示がなされているか否かを判定し（ステップＳＴ９２）、ステップＳＴ９２が肯定されると、表示制御部２８が距離画像Ｓ１をモニタ３０に表示する（ステップＳＴ９３）。次いでＣＰＵ３３は、距離画像Ｓ１の画像データを記録する指示がなされているか否かを判定し（ステップＳＴ９４）、ステップＳＴ９４が肯定されると、メディア制御部２６が距離画像Ｓ１の画像データを記録メディア２９に記録し（ステップＳＴ９５）、処理を終了する。なお、ステップＳＴ９４が否定された場合も処理を終了する。また、ステップＳＴ９２が否定された場合はステップＳＴ９５の処理を行う。

図１８は第７の実施形態における撮影シーンおよび生成される輝度画像を示す図である。実際に撮影するシーンが図１８（ａ）に示すように人物および背景を含むものであり、人物のみが所定距離範囲内にある場合、第７の実施形態により生成される輝度画像Ｓ２は、図１８（ｂ）に示すように、人物のみが輝度情報を有し、背景は単色の輝度画像となる。なお、図１８（ｂ）においては、背景の単色を斜線にて示している。

このように、第７の実施形態においては、距離画像Ｓ１において所定距離範囲にある距離情報を算出した受光素子単位についてのみ輝度情報を算出して輝度画像Ｓ２を生成するようにしたため、距離画像Ｓ１における被写体までの距離が近すぎたり遠すぎたりする部分においては、輝度情報は算出されないこととなり、その結果、処理の無駄を防止することができる。とくに、所定距離範囲内にある被写体のみ輝度情報を用いて輝度画像Ｓ２を生成しているため、輝度画像の容量を低減することができる。

なお、上記第７の実施形態の実施形態においては、判定の処理を第１の実施形態に適用しているが、第２から第４の実施形態に対しても上記と同様に適用することができる。

また、上記第５から第７の実施形態においては、距離画像Ｓ１に基づいて輝度画像Ｓ２を生成するか否かを判定しているが、あらかじめユーザが入力部３４から輝度画像を生成するか否かを設定し、その設定結果を用いて輝度画像を生成するか否かを判定するようにしてもよい。

また、上記各実施形態においては、測距光の変調の０の位相を基準としているが、０でない位相を基準として基準位相、基準位相からπ／２ずれた位相、基準位相からπずれた位相および基準位相から３π／２ずれた位相において反射光をそれぞれ受光するようにしてもよい。また、受光信号を取得する位相のずれは、π／２に限定されるものではない。

また、上記各実施形態においては、測距光を正弦波により変調しているが、三角波、パルス波等、一定の周期で変調するものであれば、どのように変調を行ってもよい。

また、上記各実施形態においては、距離画像Ｓ１および輝度画像Ｓ２を連続して取得するようにしてもよい。この場合、図６，９，１３，１５，１６，１７に示す処理は、撮影停止の指示がなされるまで繰り返し行われる。これにより、距離画像Ｓ１および輝度画像Ｓ２の少なくとも一方が、動画のようにモニタ３０に表示される。なお、この場合、複数の距離画像Ｓ１および輝度画像Ｓ２が生成されるが、複数の距離画像Ｓ１が１つの距離画像ファイルとして、複数の輝度画像Ｓ２が１つの輝度画像ファイルとして、記録メディア２９に記録されることとなる。

以上、本発明の実施形態に係る測距装置１，１Ａについて説明したが、コンピュータを、上記の撮像制御部１９、距離画像生成部３１、輝度画像生成部３２および判定部３６に対応する手段として機能させ、図６，９，１３，１５，１６，１７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

第１の実施形態による測距装置の構成を示す概略ブロック図 位相差の算出を説明するための図 第１の実施形態における受光素子単位を説明するための図 第１の実施形態における受光素子から電荷を読み出すための回路図 第１の実施形態における輝度情報の算出を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態におけるＣＣＤからの受光信号の取得を説明するための図（その１） 第２の実施形態におけるＣＣＤからの受光信号の取得を説明するための図（その２） 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態におけるＣＣＤからの受光信号の取得を説明するための図 第３の実施形態における受光素子から電荷を読み出すための回路図 第４の実施形態におけるＣＣＤからの受光信号の取得を説明するための図 第４の実施形態において行われる処理を示すフローチャート 第５の実施形態による測距装置の構成を示す概略ブロック図 第５の実施形態において行われる処理を示すフローチャート 第６の実施形態において行われる処理を示すフローチャート 第７の実施形態において行われる処理を示すフローチャート 第７の実施形態における撮影シーンおよび生成される輝度画像を示す図

符号の説明

１，１Ａ 測距装置
２ 撮像部
３ 測距光照射部
１３ ＣＣＤ
１９ 撮像制御部
３１ 距離画像生成部
３２ 輝度画像生成部
３３ ＣＰＵ
３６ 判定部

Claims (11)

1. 所定周期にて強度変調された測距光を被写体に照射する測距光照射手段と、
   前記被写体による前記測距光の反射光を受光し、受光光量に応じた受光信号を出力する複数の受光素子が２次元状に配列された撮像素子を有する撮像手段と、
   所定数の前記受光素子からなる受光素子単位にて、前記測距光の変調周期における互いに異なる複数の位相において前記反射光をそれぞれ受光して、前記複数の位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御する撮像制御手段と、
   前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体までの距離を表す距離情報を算出し、該各距離情報を各画素の情報とする距離画像を生成する距離画像生成手段と、
   前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体の輝度を表す輝度情報を複数算出し、該各輝度情報を各画素の情報とする輝度画像を生成する輝度画像生成手段とを備えたことを特徴とする測距装置。
2. 前記撮像制御手段は、前記測距光の変調周期における基準位相、該基準位相からπ／２ずれた位相、該基準位相からπずれた位相および該基準位相から３π／２ずれた位相において前記反射光をそれぞれ受光して、該位相毎に前記受光信号を取得するよう前記撮像手段を制御する手段であり、
   前記輝度画像生成手段は、前記位相毎の受光信号のうち、位相がπ異なる受光信号同士を加算することにより前記受光素子単位で２つの輝度情報を算出する手段であることを特徴とする請求項１記載の測距装置。
3. 前記撮像制御手段は、４つの前記受光素子からなる受光素子単位にて、該４つの受光素子により前記基準位相、該基準位相からπ／２ずれた位相、該基準位相からπずれた位相および該基準位相から３π／２ずれた位相において前記反射光をそれぞれ受光して、該位相毎に前記受光信号を取得するよう前記測距光照射手段および前記撮像手段を制御する手段であることを特徴とする請求項２記載の測距装置。
4. 前記撮像制御手段は、２つの前記受光素子からなる受光素子単位にて、該２つの受光素子により前記基準位相および該基準位相からπずれた位相において前記反射光をそれぞれ受光し、次いで、該基準位相からπ／２ずれた位相および該基準位相から３π／２ずれた位相において前記反射光をそれぞれ受光して、該位相毎に前記受光信号を取得するよう前記測距光照射手段および前記撮像手段を制御する手段であることを特徴とする請求項２記載の測距装置。
5. 前記撮像制御手段は、前記位相がπ異なる反射光をそれぞれ受光する２つの受光素子が、前記撮像素子上において市松状となるように前記位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御する手段であることを特徴とする請求項４記載の測距装置。
6. 前記撮像制御手段は、１つの前記受光素子からなる受光素子単位にて、該受光素子により前記基準位相、該基準位相からπずれた位相、該基準位相からπ／２ずれた位相および該基準位相から３π／２ずれた位相において前記反射光を当該順序にて受光して、該位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御する手段であることを特徴とする請求項２記載の測距装置。
7. 前記輝度画像生成手段は、所定条件を満たす場合にのみ、前記輝度画像を生成する手段であることを特徴とする請求項１から６のいずれか１項記載の測距装置。
8. 前記輝度画像生成手段は、前記距離画像に基づいてあらかじめ定められた所定距離範囲内に前記被写体が存在する場合にのみ、前記輝度画像を生成する手段であることを特徴とする請求項７記載の測距装置。
9. 前記輝度画像生成手段は、あらかじめ定められた所定距離範囲内にある前記距離情報を算出した前記受光素子単位についてのみ、前記輝度情報を算出して前記輝度画像を生成する手段であることを特徴とする請求項７記載の測距装置。
10. 測距光照射手段により、所定周期にて強度変調された測距光を被写体に照射し、
    受光光量に応じた受光信号を出力する複数の受光素子が２次元状に配列された撮像素子を有する撮像手段により、前記被写体による前記測距光の反射光を受光するに際し、所定数の前記受光素子からなる受光素子単位にて、前記測距光の変調周期における互いに異なる複数の位相において前記反射光をそれぞれ受光して、前記複数の位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御し、
    前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体までの距離を表す距離情報を算出し、
    該各距離情報を各画素の情報とする距離画像を生成し、
    前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体の輝度を表す輝度情報を複数算出し、
    該各輝度情報を各画素の情報とする輝度画像を生成することを特徴とする測距方法。
11. 測距光照射手段により、所定周期にて強度変調された測距光を被写体に照射する手順と、
    受光光量に応じた受光信号を出力する複数の受光素子が２次元状に配列された撮像素子を有する撮像手段により、前記被写体による前記測距光の反射光を受光するに際し、所定数の前記受光素子からなる受光素子単位にて、前記測距光の変調周期における互いに異なる複数の位相において前記反射光をそれぞれ受光して、前記複数の位相毎に前記受光信号を取得するよう、前記測距光照射手段および前記撮像手段を制御する手順と、
    前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体までの距離を表す距離情報を算出する手順と、
    該各距離情報を各画素の情報とする距離画像を生成する手順と、
    前記複数の位相毎の受光信号に基づいて、前記受光素子単位にて前記被写体の輝度を表す輝度情報を複数算出する手順と、
    該各輝度情報を各画素の情報とする輝度画像を生成する手順とを有することを特徴とする測距方法をコンピュータに実行させるためのプログラム。

Images