JP2023094364A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】異なる波長のレーザーダイオード光を用いて、精度よく対象物までの距離を測距する。【解決手段】撮像装置は、第１波長を有する光である第１照射光を照射する第１光源と、前記第１波長とは異なる第２波長を有する光である第２照射光を照射する第２光源と、前記第１照射光が対象物に照射され、反射した光である第１反射光を検出する第１検出部と、前記第２照射光が前記対象物に照射され、反射した光である第２反射光を検出する第２検出部とを備え、前記第２光源は、前記第１光源よりも光軸に近い位置に配置される。【選択図】図１７

Description

本発明は、撮像装置及び撮像方法に関する。

従来、所定の波長を有するレーザーダイオード光を対象物に照射し、対象物により反射した光を受光し、受光した光を解析することにより対象物までの距離を測距する技術があった（例えば、特許文献１を参照）。

特開２０２１－１８０７９号公報

しかしながら、レーザーダイオード光のうち測距に用いられる特定の波長は、地表に届く太陽光スペクトルにより減衰する場合がある。また、当該特定の波長でない他の波長を用いることにより、太陽光スペクトルによる減衰を回避することができるが、太陽スペクトルの影響を受けない屋内では、透過率やイメージセンサの分光感度が落ちるといった問題があった。
すなわち、従来技術によれば、レーザーダイオード光のうち測距に用いられる好適な波長は、屋内と屋外とにおいて異なるため、測定環境が変われば精度よく対象物までの距離を測距することができない等の問題があった。
このような課題を解決するため、異なる波長のレーザーダイオード光を用いて、精度よく対象物までの距離を測距することが考えられる。ここで、近距離における測定には、角度差よる距離誤差を低減するために光源を光軸近くに置くことが好適である。一方、光軸近傍に光源を配置した場合、対象物側面に照射の影が発生してしまうといった問題があった。すなわち、複数の光源を配置する場合、配置によっては、精度よく対象物までの距離を測距できないといった問題があった。

本発明は、このような状況に鑑みてなされたものであって、異なる波長のレーザーダイオード光を用いて、精度よく対象物までの距離を測距可能な技術の提供を目的とする。

本発明の一態様に係る撮像装置は、第１波長を有する光である第１照射光を照射する第１光源と、前記第１波長とは異なる第２波長を有する光である第２照射光を照射する第２光源と、前記第１照射光が対象物に照射され、反射した光である第１反射光を検出する第１検出部と、前記第２照射光が前記対象物に照射され、反射した光である第２反射光を検出する第２検出部とを備え、前記第２光源は、前記第１光源よりも光軸に近い位置に配置される。

また、本発明の一態様に係る撮像装置において、前記第１光源及び前記第２光源は、いずれも前記光軸に交わる面上に配置される。

また、本発明の一態様に係る撮像装置は、複数の前記第１光源と、複数の前記第２光源とを更に備え、複数の前記第１光源は、前記光軸を中心とする第１の円の円周上に配置され、複数の前記第２光源は、前記第１の円とは異なる半径を有する円であって、前記光軸を中心とする同心円である第２の円の円周上に配置される。

また、本発明の一態様に係る撮像装置において、複数の前記第２光源のうち一部は、前記第２の円の円周上に配置され、複数の前記第２光源のうち他の一部は、前記第１の円及び前記第２の円のいずれとも異なる半径を有する円であって、前記光軸を中心とする同心円である第３の円の円周上に更に配置される。

また、本発明の一態様に係る撮像方法は、第１波長を有する光である第１照射光を第１光源により照射する第１照射工程と、前記第１波長とは異なる第２波長を有する光である第２照射光を第２光源により照射する第２照射工程と、前記第１照射光が対象物に照射され、反射した光である第１反射光を検出する第１検出工程と、前記第２照射光が前記対象物に照射され、反射した光である第２反射光を検出する第２検出工程とを有し、前記第２光源は、前記第１光源よりも光軸に近い位置に配置される。

本発明によれば、異なる波長のレーザーダイオード光を用いて、精度よく対象物までの距離を測距することができる。

実施形態１に係る撮像装置の概略について説明するための図である。 実施形態１に係る撮像装置の断面の一例を示す模式図である。 実施形態１の変形例１に係る撮像装置の断面の一例を示す模式図である。 実施形態１の変形例２に係る撮像装置の断面の一例を示す模式図である。 実施形態１の変形例３に係る撮像装置について説明するための図である。 実施形態１の変形例４に係る撮像装置について説明するための図である。 実施形態１に係る撮像装置において、ＲＧＢセンサとＴｏＦセンサの画素数及び画角が同一である場合の効果について説明するための図である。 実施形態１に係る撮像装置において、ＲＧＢセンサとＴｏＦセンサの画素数及び画角合わせパラメータが既知である場合の効果について説明するための図である。 実施形態１に係る撮像装置において、歪曲補正値の共有化について説明するための図である。 実施形態１に係る撮像装置において、周辺光量落ち補正データの共有化について説明するための図である。 実施形態１に係る撮像装置において、色収差補正データの共有化について説明するための図である。 実施形態２に係る異なる２つの波長の近赤外光の干渉について説明するための図である。 実施形態２に係るレーザー光の照射と露光の動作期間の一例を示すタイミングチャートである。 実施形態３において撮像装置が解決しようとする課題について説明するための図である。 実施形態３に係る屋内における測距の一例を示す図である。 実施形態３に係る屋外における測距の一例を示す図である。 実施形態３に係る光源の配置の一例を示す模式図である。 実施形態３の変形例に係る光源の配置の一例を示す模式図である。

以下、本発明の実施形態について、図面を参照しながら説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
また、以下の説明において、撮像装置１０の姿勢を、ｘ軸、ｙ軸及びｚ軸の三次元直交座標系によって示す場合がある。

［実施形態１］
図１は、実施形態１に係る撮像装置の概略について説明するための図である。同図を参照しながら、撮像装置１０の概略について説明する。
撮像装置１０は、三次元空間上に存在する対象物Ｔまでの距離Ｌ１を計測する。撮像装置１０は、太陽光スペクトルによる影響を受ける屋外において対象物Ｔまでの距離Ｌ１を計測してもよく、太陽光スペクトルによる影響を受けない屋内において対象物Ｔまでの距離Ｌ１を計測してもよい。

撮像装置１０は、レンズ１１０と、レーザーダイオード１２０と、不図示のセンサとを備える。レンズ１１０は、例えば、対物レンズであってもよい。レーザーダイオード１２０は、所定の波長を有する照射光を対象物Ｔに照射する光源である。レーザーダイオード１２０により照射された照射光は、対象物Ｔにより反射し、レンズ１１０に入射する。センサは、レンズ１１０を介して、対象物Ｔにより反射した反射光を受光する。撮像装置１０は、受光した反射光を解析することにより、撮像装置１０から対象物Ｔまでの距離を測距する。

撮像装置１０は、複数のレーザーダイオード１２０を備えていてもよい。また、撮像装置１０が備える複数のレーザーダイオード１２０により照射される照射光は、それぞれ異なる波長を有していてもよい。撮像装置１０が、異なる波長を有する照射光を照射する複数のレーザーダイオード１２０を備える場合、第１波長を有する第１照射光ＢＭ１－１を照射するレーザーダイオード１２０を第１レーザーダイオード１２１と記載し、第２波長を有する第２照射光ＢＭ２－１を照射するレーザーダイオード１２０を第２レーザーダイオード１２２と記載する。第１照射光ＢＭ１－１が対象物Ｔにより反射した反射光を第１反射光ＢＭ１－２と、第２照射光ＢＭ２－１が対象物Ｔにより反射した反射光を第２反射光ＢＭ２－２と記載する。

なお、撮像装置１０は、同一の波長を有する照射光を照射する複数のレーザーダイオード１２０を備えていてもよい。すなわち、撮像装置１０は、複数の第１レーザーダイオード１２１と、複数の第２レーザーダイオード１２２とを備えていてもよい。複数のレーザーダイオード１２０は、レンズ１１０が反射光を受光する光軸を中心とした円周上に備えられていてもよい。また、撮像装置１０は、複数のレーザーダイオード１２０により照射される照射光の波長の種類に応じた数のセンサを備えていてもよい。

また、撮像装置１０は、不図示のイメージセンサを備えていてもよい。撮像装置１０がイメージセンサを備える場合、画角αで対象物Ｔを撮像する。具体的には、イメージセンサが有する複数の画素は、レンズ１１０により結像された可視光を受光し、受光した情報に基づき、画像情報を形成する。

図２は、実施形態１に係る撮像装置の断面の一例を示す模式図である。同図を参照しながら、撮像装置１０の構成の一例について説明する。
撮像装置１０は、レンズ１１０と、レーザーダイオード１２０と、画像撮像部１４０と、測距部１５０とを備える。画像撮像部１４０は可視光を用いた画像を撮像し、測距部１５０は赤外光を用いた測距を行う。すなわち、撮像装置１０は、物体の三次元形状を計測するＴｏＦ（Time Of Flight）カメラであってもよい。

ここで、太陽光は地表に到達するまでに地球の大気で吸収されて減衰することが知られている。特に、大気中に存在する水蒸気分子による吸収は、波長特性に大きな影響を及ぼす。具体的には、８５０［ｎｍ（ナノメートル）］、９４０［ｎｍ］、１１１０［ｎｍ］等の波長において、水蒸気分子による吸収に基づく波長の減衰が顕著である。また、７３０［ｎｍ］においては、酸素分子による吸収に基づく波長の減衰が顕著である。

赤外線を用いた測距技術としては、太陽光の減衰、レンズ透過率、イメージセンサ分光感度の３要素が特に重要である。本実施形態においては、近赤外光を照射するレーザーダイオードであって、これらのバランスが取れた、８５０［ｎｍ］及び９４０［ｎｍ］波長帯のレーザーダイオード光を用いる場合の一例について説明する。８５０［ｎｍ］波長帯のレーザーダイオード光は屋内における測距において用いられ、９４０［ｎｍ］波長帯のレーザーダイオード光は屋外における測距において用いられる。

撮像装置１０は、９４０［ｎｍ］波長帯のレーザーダイオード光を照射する光源として第１レーザーダイオード１２１を備える。また、撮像装置１０は、８５０［ｎｍ］波長帯のレーザーダイオード光を照射する光源として第２レーザーダイオード１２２を備える。

９４０［ｎｍ］を第１波長とも記載する。また、９４０［ｎｍ］の波長を有する照射光を、第１照射光とも記載する。換言すれば、第１レーザーダイオード１２１とは、第１波長を有する光である第１照射光を照射する第１光源である。

８５０［ｎｍ］を第２波長とも記載する。また、８５０［ｎｍ］の波長を有する照射光を、第２照射光とも記載する。換言すれば、第２レーザーダイオード１２２とは、第２波長を有する光である第２照射光を照射する第２光源である。第１波長と第２波長とは異なる波長である。また、第１波長の波長帯は第２波長の波長帯に比べて太陽光の減衰が顕著であることが望ましい。

画像撮像部１４０は、レンズ１１０に入射した光のうち可視光を用いて画像を撮像する。画像撮像部１４０は、可視光反射ダイクロイック膜１４１と、赤外カットフィルタ１４２と、センサ１４３と、反射面１４５とを備える。

可視光反射ダイクロイック膜１４１は、可視光を反射し、近赤外域以上の波長光（すなわち、赤外光）を透過する。
レンズ１１０に入射した光Ｌは、可視光反射ダイクロイック膜１４１により、可視光ＶＬを反射し、赤外光ＩＬを透過させる。レンズ１１０の光軸を光軸ＯＡと記載する。可視光反射ダイクロイック膜１４１により反射した可視光ＶＬは、反射面１４５に反射し、赤外カットフィルタ１４２を介し、センサ１４３に入射する。

可視光ＶＬと、赤外光（すなわち、第１反射光及び第２反射光）とは、レンズ１１０と可視光反射ダイクロイック膜１４１との間で、略同一の光軸を通る。略同一の範囲とは、例えば共通のレンズにより、光路が形成される範囲であってもよい。

赤外カットフィルタ１４２は、可視光ＶＬのうち、赤外光を遮断する。
センサ１４３は、赤外カットフィルタ１４２を介して入射した可視光ＶＬを検出する。センサ１４３は、複数の画素１４４を備える。センサ１４３は、具体的には、ＲＧＢ各色画素がベイヤー配列により配置されたイメージセンサであってもよい。

なお、センサ１４３を第３検出部とも記載し、可視光反射ダイクロイック膜１４１を可視光反射膜とも記載する。第３検出部は、可視光を検出する。可視光反射膜は、レンズ１１０に入射した可視光ＶＬを反射することにより、センサ１４３に導く。また、可視光反射膜は、レンズ１１０に入射した光Ｌのうち、赤外光である第１反射光及び第２反射光を透過させる。可視光反射膜は、レンズ１１０に入射した光Ｌのうち、赤外光を透過させることにより、第１反射光をセンサ１５３に、第２反射光をセンサ１６３に導く。
また、可視光反射膜は、レンズ１１０とハーフミラー１３０との間の光路上に設けられる。

測距部１５０は、ハーフミラー１３０と、バンドパスフィルタ１５２と、センサ１５３と、バンドパスフィルタ１６２と、センサ１６３とを備える。センサ１５３及びセンサ１６３を、ＴｏＦセンサとも記載する。

可視光反射ダイクロイック膜１４１を透過した赤外光は、測距部１５０において、ハーフミラー１３０により透過光と反射光の二つの光路に分光される。ハーフミラー１３０とは、例えば、誘電体ハーフミラーであってもよい。

ハーフミラー１３０は、レンズ１１０とセンサ１５３との間の光路上であって、レンズ１１０とセンサ１６３との間の光路上に設けられる。また、第１反射光及び第２反射光は、レンズ１１０とハーフミラー１３０との間で、略同一の光軸を通る。略同一の範囲とは、例えば共通のレンズにより、光路が形成される範囲であってもよい。

なお、ハーフミラー１３０は、入射する一部の光を透過させ、他の一部の光を反射する光学部材であればよい。ハーフミラー１３０は、第１レーザーダイオード１２１から出射した光が対象物Ｔに反射した光の一部を透過させることにより、第１反射光をセンサ１５３に導く。また、ハーフミラー１３０は、第２レーザーダイオード１２２から出射した光が対象物Ｔに反射した光の一部を反射させることにより、第２反射光をセンサ１６３に導く。

ハーフミラー１３０により、透過光と反射光の二つの光路に分光された光は、それぞれの光路に配置されたＴｏＦセンサにより受光される。具体的には、ハーフミラー１３０を透過した光はセンサ１５３により受光され、ハーフミラー１３０により反射した光はセンサ１６３により受光される。

それぞれのＴｏＦセンサの前（すなわち、ハーフミラー１３０と、それぞれのＴｏＦセンサとの間の光路上）には、所定の狭帯域の波長を有する光のみを通過させる光学バンドパスフィルタが配置される。具体的には、センサ１５３の前には、バンドパスフィルタ１５２が配置される。バンドパスフィルタ１５２は、９４０［ｎｍ］狭帯域のみを通過させる。また、センサ１６３の前には、バンドパスフィルタ１６２が配置される。バンドパスフィルタ１６２は、８５０［ｎｍ］狭帯域のみを通過させる。

なお、センサ１５３を第１検出部とも記載する。第１検出部は、第１レーザーダイオード１２１により第１照射光が対象物Ｔに照射され、反射した光である第１反射光を検出する。
また、センサ１６３を第２検出部とも記載する。第２検出部は、第２レーザーダイオード１２２により第２照射光が対象物Ｔに照射され、反射した光である第２反射光を検出する。

なお、ハーフミラー１３０による透過光と反射光の分光比率を使用条件によって変更させることにより、８５０［ｎｍ］帯、９４０［ｎｍ］帯ともに最適な信号検出ができるようにすることができる。

［実施形態１の変形例１］
図３は、実施形態１の変形例１に係る撮像装置の断面の一例を示す模式図である。同図を参照しながら、撮像装置１０の変形例１である撮像装置１０Ａの構成の一例について説明する。撮像装置１０Ａは、ハーフミラー１３０を有さず、切替式バンドパスフィルタ１７２を更に備える点において、撮像装置１０とは異なる。撮像装置１０Ａは、切替式バンドパスフィルタ１７２を備えることにより、２つのＴｏＦセンサを備えることを要せず、１つのＴｏＦセンサにより、第１反射光及び第２反射光の両方を検出する。撮像装置１０Ａの説明において、撮像装置１０と同様の構成については同様の符号を付すことにより、説明を省略する場合がある。

可視光ＶＬ、及び赤外光ＩＬは、レンズ１１０に入射する。ここで、可視光ＶＬ及び赤外光ＩＬは、共通の光軸ＯＡによりレンズ１１０に入射する。
レンズ１１０に入射した光Ｌは、可視光反射ダイクロイック膜１４１に入射する。反射ダイクロイック膜１４１は、入射した可視光ＶＬを反射し、センサ１４３に導く。また、反射ダイクロイック膜１４１は、入射した赤外光ＩＬを透過させ、切替式バンドパスフィルタ１７２に導く。

切替式バンドパスフィルタ１７２は、バンドパスフィルタ１５２の機能と、バンドパスフィルタ１６２の機能とを併せ持つ。切替式バンドパスフィルタ１７２は、時分割により両機能のうちいずれか一方の機能に切り替える。すなわち、切替式バンドパスフィルタ１７２は、９４０［ｎｍ］狭帯域のみを通過させる期間と、８５０［ｎｍ］狭帯域のみを通過させる期間とを、排他的に有する。

具体的には、切替式バンドパスフィルタ１７２は、フィルタを回転させる回転構造を有していてもよい。この場合、フィルタは円盤状の形状を有しており、一の半円部に９４０［ｎｍ］狭帯域のみを通過させるフィルタを有し、他の半円部に８５０［ｎｍ］狭帯域のみを通過させるフィルタを有していてもよい。切替式バンドパスフィルタ１７２は、当該円盤を回転させ、光軸をいずれか一方のフィルタに合わせることにより、９４０［ｎｍ］狭帯域のみを通過させる期間と、８５０［ｎｍ］狭帯域のみを通過させる期間とを、排他的に切り替えてもよい。

また、切替式バンドパスフィルタ１７２は、フィルタをスライドさせるスライド構造を有していてもよい。この場合、フィルタは矩形型の形状を有しており一方の側に９４０［ｎｍ］狭帯域のみを通過させるフィルタを有し、他方の側に８５０［ｎｍ］狭帯域のみを通過させるフィルタを有していてもよい。切替式バンドパスフィルタ１７２は、当該矩形型のフィルタをスライドさせ、光軸をいずれか一方のフィルタに合わせることにより、９４０［ｎｍ］狭帯域のみを通過させる期間と、８５０［ｎｍ］狭帯域のみを通過させる期間とを、排他的に切り替えてもよい。

［実施形態１の変形例２］
図４は、実施形態１の変形例２に係る撮像装置の断面の一例を示す模式図である。同図を参照しながら、撮像装置１０の変形例２である撮像装置１０Ｂの構成の一例について説明する。撮像装置１０Ｂは、画像撮像部１４０を有しない点において撮像装置１０とは異なる。すなわち、撮像装置１０Ｂは、イメージセンサを有しない測距センサである。撮像装置１０Ｂの説明において、撮像装置１０と同様の構成については同様の符号を付すことにより、説明を省略する場合がある。

レンズ１１０に入射した光Ｌは、ハーフミラー１３０により、透過光と反射光の二つの光路に分光される。透過光はセンサ１５３に入射し、反射光はセンサ１６３に入射する。ハーフミラー１３０とセンサ１５３との間の光路上には、９４０［ｎｍ］狭帯域のみを通過させるバンドパスフィルタ１５２が備えられる。また、ハーフミラー１３０とセンサ１６３との間の光路上には、８５０［ｎｍ］狭帯域のみを通過させるバンドパスフィルタ１６２が備えられる。

［実施形態１の変形例３］
図５は、実施形態１の変形例３に係る撮像装置について説明するための図である。同図を参照しながら、撮像装置１０の変形例３である撮像装置１０Ｃの構成の一例について説明する。撮像装置１０Ｃは、イメージセンサ及び１つのＴｏＦセンサを有する。撮像装置１０Ｃは、可視光反射ダイクロイック膜１４１及びハーフミラー１３０を有しない点において撮像装置１０とは異なる。撮像装置１０Ｃの説明において、撮像装置１０と同様の構成については同様の符号を付すことにより、説明を省略する場合がある。

図５（Ａ）は、撮像装置１０Ｃを正面視した正面図である。撮像装置１０Ｃは、基板１８０を備える。基板１８０は、赤外カットフィルタ部１８１と、バンドパスフィルタ部１８２とを備える。赤外カットフィルタ部１８１は、レンズ１１０に入射した光のうち、赤外光を遮断し、可視光を透過させる。バンドパスフィルタ部１８２は、レンズ１１０に入射した光のうち、所定の波長を有する光を透過させ、所定の波長を有する光以外の光を遮断する。

撮像装置１０Ｃは、不図示のスライド機構を有し、レンズ１１０及び筐体１１２と、基板１８０との相対位置をｙ軸方向（スライド方向ＤＩＲ）に可変させる。撮像装置１０Ｃは、スライド機構を有することにより、レンズ１１０に入射した光を、赤外カットフィルタ部１８１、又はバンドパスフィルタ部１８２のいずれか一方に入射させる。赤外カットフィルタ部１８１に入射した光はＲＧＢセンサに、バンドパスフィルタ部１８２に入射した光はＴｏＦセンサに、それぞれ入射する。

図５（Ｂ）は、撮像装置１０Ｃを平面視した平面図である。同図に示す一例において、スライド機構は、レンズ１１０に入射した光を赤外カットフィルタ部１８１に入射させる位置に位置する。同図に示すように、レンズ１１０及び筐体１１２と、基板１８０との相対位置がスライド方向ＤＩＲに沿って可変することにより、レンズ１１０に入射した光の光軸が赤外カットフィルタ部１８１からバンドパスフィルタ部１８２に可変する。

図５（Ｃ）は、撮像装置１０Ｃを側面視した側面図である。同図には、ｘ－ｚ平面であって、赤外カットフィルタ部１８１を横切る断面が図示されている。同図に示すように、レンズ１１０及び筐体１１２と、基板１８０に備えられた赤外カットフィルタ部１８１の光軸は一致する。また、バンドパスフィルタ部１８２を横切る断面については図示しないが、同様に、レンズ１１０及び筐体１１２と、基板１８０に備えられたバンドパスフィルタ部１８２の光軸は一致する。

［実施形態１の変形例４］
図６は、実施形態１の変形例４に係る撮像装置について説明するための図である。同図を参照しながら、撮像装置１０の変形例４である撮像装置１０Ｄの構成の一例について説明する。撮像装置１０Ｄは、イメージセンサ及び１つのＴｏＦセンサを有する。撮像装置１０Ｄは、可視光反射ダイクロイック膜１４１及びハーフミラー１３０を有しない点において撮像装置１０とは異なる。また、撮像装置１０Ｄは、可視光反射ダイクロイック膜１４１及びハーフミラー１３０を有しない点において撮像装置１０Ｃと同様である。一方、撮像装置１０Ｄは、撮像装置１０Ｃが有するスライド機構に代えて、回転機構を有する点において、撮像装置１０Ｃとは異なる。撮像装置１０Ｄの説明において、撮像装置１０Ｃと同様の構成については同様の符号を付すことにより、説明を省略する場合がある。

図６（Ａ）から図６（Ｃ）は、いずれも撮像装置１０Ｄを正面視した正面図である。撮像装置１０Ｄは、基板１９０を備える。基板１９０は、赤外カットフィルタ部１９１と、バンドパスフィルタ部１９２とを備える。赤外カットフィルタ部１９１は、レンズ１１０に入射した光のうち、赤外光を遮断し、可視光を透過させる。バンドパスフィルタ部１９２は、レンズ１１０に入射した光のうち、所定の波長を有する光を透過させ、所定の波長を有する光以外の光を遮断する。

撮像装置１０Ｄは、不図示の回転機構を有し、回転中心Ｃを中心に基板１９０を回転させる。撮像装置１０Ｄは、基板１９０を時計回りＣＷ、又は反時計回りＣＣＷ（不図示）に回転させることにより、レンズ１１０に入射した光の光軸を、赤外カットフィルタ部１９１、又はバンドパスフィルタ部１９２に可変させる。

図６（Ａ）には、レンズ１１０に入射した光が赤外カットフィルタ部１９１に入射する位置に位置する、図６（Ｂ）は、撮像装置１０Ｄにより基板１９０が時計回りＣＷに９０度回転した場合の一例である。同図に示す位置において、レンズ１１０に入射した光は、赤外カットフィルタ部１９１及びバンドパスフィルタ部１９２のいずれにも入射しない。図６（Ｃ）は、図６（Ｂ）に示す位置から、更に９０度、撮像装置１０Ｄにより基板１９０が時計回りＣＷに回転した場合の一例である。同図に示す位置において、レンズ１１０に入射した光は、バンドパスフィルタ部１９２に入射する。

なお、基板１９０のうち半面を赤外カットフィルタ部１９１とし、残り反面をバンドパスフィルタ部１９２とすることにより、図６（Ｂ）に示したような、レンズ１１０に入射した光が赤外カットフィルタ部１９１及びバンドパスフィルタ部１９２のいずれにも入射しない状態を防ぐこともできる。

［実施形態１のまとめ］
以上説明した実施形態によれば、撮像装置１０は、第１レーザーダイオード（第１光源）１２１を備えることにより第１波長を有する光である第１照射光を対象物Ｔに照射し、第２レーザーダイオード（第２光源）１２２を備えることにより第２波長を有する光である第２照射光を対象物Ｔに照射し、センサ（第１検出部）１５３を備えることにより第１照射光が対象物Ｔに照射され、反射した光である第１反射光を検出し、センサ（第２検出部）１６３を備えることにより第２照射光が対象物Ｔに照射され、反射した光である第２反射光を検出する。また、撮像装置１０は、ハーフミラー（光学部材）１３０を備えることによりレンズ１１０に入射した光をセンサ１５３及びセンサ１６３に分光する。また、撮像装置１０は、ハーフミラー１３０とセンサ１５３との間の光路上にバンドパスフィルタ１５２を備えることにより９４０［ｎｍ］狭帯域のみをセンサ１５３に通過させ、ハーフミラー１３０とセンサ１６３との間の光路上にバンドパスフィルタ１６２を備えることにより８５０［ｎｍ］狭帯域のみをセンサ１６３に通過させる。

したがって、本実施形態によれば、撮像装置１０は、屋内用途向き特徴を備えた８５０［ｎｍ］のＴｏＦカメラと、屋外用途向き特徴を備えた９４０［ｎｍ］のＴｏＦカメラの測距データが同時に得られるため、互いの弱い条件下で得られたデータを補完することができる。よって、撮像装置１０は、異なる複数の環境であっても、精度よく対象物までの距離を測距することができる。

また、以上説明した実施形態によれば、撮像装置１０が備えるハーフミラー１３０は、レンズ１１０と、センサ１５３及びセンサ１６３との間の光路上に設けられ、第１反射光及び第２反射光は、レンズ１１０とハーフミラー１３０との間で、略同一の光軸を通る。したがって、本実施形態によれば、第１反射光及び第２反射光それぞれの光路を備えることを要せず、撮像装置１０を小型化することができる。

また、以上説明した実施形態によれば、撮像装置１０は、センサ（第３検出部）１４３を備えることにより可視光を検出し、可視光反射ダイクロイック膜（可視光反射膜）１４１を備えることにより、赤外光をセンサ１５３及びセンサ１６３に導き、可視光をセンサ１４３に導く。したがって、撮像装置１０によれば、ＲＧＢ画像と、測距情報とを得ることができる。よって、撮像装置１０は、取得したＲＧＢ画像と、測距情報とを合成することにより、精度の高い３Ｄ画像を得ることができる。

また、以上説明した実施形態によれば、撮像装置１０が備える可視光反射ダイクロイック膜１４１は、レンズ１１０とハーフミラー１３０との間の光路上に設けられる。すなわち、撮像装置１０によれば、入射した光をまず可視光と赤外光とに分け、その後、赤外光を、更に２つの赤外光に分光する。したがって、本実施形態によれば、容易に、ＲＧＢ画像と測距情報を得ることができる。

また、以上説明した実施形態によれば、撮像装置１０において可視光は、レンズ１１０と可視光反射ダイクロイック膜１４１との間で、第１反射光及び第２反射光と略同一の光軸を通る。したがって、撮像装置１０によれば、同一光軸上で得られるＲＧＢ画像と、測距情報とを合成することにより、精度の高い３Ｄ画像を、リアルタイムで得ることができる。

［同一光軸による効果］
次に、図７から図１１を参照しながら、光軸を同一にした場合における効果について、詳細に説明する。

まず、図７及び図８を参照しながら、画素数及び画角が同一又は既知である場合の効果について説明する。
図７は、実施形態１に係る撮像装置において、ＲＧＢセンサとＴｏＦセンサの画素数及び画角が同一である場合の効果について説明するための図である。
同図に示す一例において、撮像装置１０は、同一画素数であって、かつ同一画角（イメージサイズ）のＲＧＢセンサとＴｏＦセンサを備える。具体的には、ＲＧＢセンサ及びＴｏＦセンサは、いずれも６４０画素×４８０画素である。また、ＲＧＢセンサとＴｏＦセンサとは、同一光軸である。

図７（Ａ）は、ＲＧＢセンサにより取得されたＲＧＢデータの一例である。また、図７（Ｂ）は、ＴｏＦセンサにより取得されたＤｅｐｔｈデータの一例である。Ｄｅｐｔｈデータとは、例えば撮像装置１０から対象物Ｔまでの距離情報を含む。具体的には、Ｄｅｐｔｈデータは、２次元画像情報に含まれる複数の各ピクセルに対応する距離情報を含んでいてもよい。図７（Ｃ）は、取得されたＲＧＢデータとＤｅｐｔｈデータに基づいて生成された３Ｄ点群データの一例である。
本実施形態において、のＲＧＢセンサとＴｏＦセンサの画素数及び画角は同一であるため、撮像装置１０は、取得したＲＧＢデータとＤｅｐｔｈデータの画素数合わせ、及び画角合わせの処理をすることを要しない。さらに、ＲＧＢセンサとＴｏＦセンサは同一の光軸を有するため、ＲＧＢデータとＤｅｐｔｈデータは、視差やＦｏＶ差が無い。したがって、撮像装置１０は、画角合わせのための視差補正やＦｏＶ差による周辺画角制限処理をすることを要しない。よって、本実施形態によれば、撮像装置１０は、ＲＧＢデータとＤｅｐｔｈデータを補正することなく（すなわち、無加工で）、３Ｄ点群データを生成することができる。

図８は、実施形態１に係る撮像装置において、ＲＧＢセンサとＴｏＦセンサの画素数及び画角合わせパラメータが既知である場合の効果について説明するための図である。
同図に示す一例において、ＲＧＢセンサとＴｏＦセンサの画素数及び画角は異なる。具体的には、ＲＧＢセンサの画素数は、１２８０画素×９６０画素である。また、ＴｏＦセンサの画素数は、６４０画素×４８０画素である。また、ＲＧＢセンサとＴｏＦセンサとは、同一光軸である。

図８（Ａ）は、ＲＧＢセンサにより取得されたＲＧＢデータの一例である。図８（Ｂ）は、Ｄｅｐｔｈデータが取得された画角に応じてトリミングされたＲＧＢデータの一例である。図８（Ｃ）は、Ｄｅｐｔｈデータの画素数に応じてリサイズされたＲＧＢデータの一例である。図８（Ｄ）は、ＴｏＦセンサにより取得されたＤｅｐｔｈデータの一例である。図８（Ｅ）は、加工されたＲＧＢデータと、取得されたＤｅｐｔｈデータに基づいて生成された３Ｄ点群データの一例である。

図８（Ａ）から図８（Ｃ）に示すように、ＲＧＢセンサとＴｏＦセンサの画素数及び画角が異なる場合、小さい画素数のデータに、大きい画素数のデータを合わせこむ。具体的には、本実施形態において、ＴｏＦセンサの画素数よりもＲＧＢセンサの画素数の方が大きいため、まず、ＲＧＢデータをトリミングし、次にリサイズする。

すなわち、ＲＧＢセンサとＴｏＦセンサの画素数、画角が異なっていても、広い画角のセンサ側データを、他方の狭い画角へトリミングする比率パラメータや画素数を合わせるためのリサイズ比率パラメータが事前に分かっていれば、撮像装置１０は、取得したＲＧＢデータとＤｅｐｔｈデータの画素数合わせ、画角合わせを容易にすることができる。また、ＲＧＢセンサとＴｏＦセンサは同一光軸のため、視差やＦｏＶ差が無い。したがって、撮像装置１０は、画角合わせのための視差補正やＦｏＶ差による周辺画角制限処理をすることを要しない。よって、本実施形態によれば、撮像装置１０は、ＲＧＢデータとＤｅｐｔｈデータから、容易に３Ｄ点群データを生成することができる。

なお、ＲＧＢセンサとＴｏＦセンサは同一光軸のため、レンズ１１０が有するレンズ特性に起因する歪曲補正、周辺光量落ち補正、色収差補正等の処理が必要な場合であっても、撮像装置１０は、ＲＧＢデータとＤｅｐｔｈデータに、同じ補正データを適用することができる。すなわち、ＲＧＢデータとＤｅｐｔｈデータに、それぞれ異なる補正データを適用することを要しないため、撮像装置１０は、容易にデータを補正することができる。
もっとも、可視光と赤外光での特性に相関はあるが、差異がある場合等は、相関に応じた補正をすることを要する場合もある。

なお、ＲＧＢセンサとＴｏＦセンサは同一光軸のため、撮像装置１０は、ＲＧＢセンサにより得られた画像周波数情報と、ＴｏＦセンサにより得られた被写体の距離情報を統合して、より正確なフォーカス合わせやエッジ検出をすることもできる。

なお、本実施形態によれば、夜間などの暗時や、影になる暗部で、ＲＧＢセンサからの情報が十分に得られない場合であっても、撮像装置１０は、ＴｏＦセンサから得られた距離情報に基づき、３Ｄデータを生成することができる。

次に、図９から図１１を参照しながら、レンズ特性に起因する様々な補正を、ＴｏＦカメラについて適用する場合の一例について、説明する。本実施形態によれば、ＲＧＢセンサとＴｏＦセンサとは同一光軸であるため、レンズ特性に起因する様々な補正を、ＴｏＦカメラについて適用することができる。更に、ＴｏＦセンサにより得られた距離情報を併用することにより、従来のＲＧＢカメラのエッジ検出によるフォーカス合わせの精度を改善することができる。
なお、図９から図１１に示す一例において、撮像装置１０は、同一画素数であって、かつ同一画角（イメージサイズ）のＲＧＢセンサとＴｏＦセンサを備え、ＲＧＢセンサとＴｏＦセンサとは、同一光軸である場合の一例について説明する。

図９は、実施形態１に係る撮像装置において、歪曲補正値の共有化について説明するための図である。同図を参照しながら、歪曲補正値の共有化について説明する。
図９（Ａ）は、ＲＧＢセンサにより取得されたＲＧＢデータの一例である。同図に示すＲＧＢデータは、樽型歪曲している。図９（Ｂ）は、ＲＧＢセンサにより取得されたＲＧＢデータを、樽歪曲補正した場合の一例である。図９（Ｃ）は、ＴｏＦセンサにより取得されたＴｏＦデータの一例である。同図に示すＴｏＦデータは、ＲＧＢデータと同様に樽型歪曲している。図９（Ｄ）は、ＴｏＦセンサにより取得されたＴｏＦデータを、樽歪曲補正した場合の一例である。
なお、ＴｏＦデータとは、ＴｏＦセンサにより取得されたＤｅｐｔｈデータの一例である。

ＲＧＢセンサとＴｏＦセンサとは同一光軸であるため、図９に示す一例のように、ＲＧＢデータ及びＴｏＦデータは、同様に樽型歪曲しており、ＲＧＢセンサにより得られたレンズの歪曲情報から演算した歪曲補正データを、そのままＴｏＦデータの歪曲補正に適用することができる。すなわち、本実施形態によれば、ＲＧＢデータ及びＴｏＦデータは、補正値を共有化することができる。よって、本実施形態によれば、容易に補正することができる。

図１０は、実施形態１に係る撮像装置において、周辺光量落ち補正データの共有化について説明するための図である。同図を参照しながら、周辺光量落ち補正データの共有化について説明する。
図１０（Ａ）は、ＲＧＢセンサにより取得されたＲＧＢデータの一例である。同図に示すＲＧＢデータは、周辺光量が落ちている（十分でない）。図１０（Ｂ）は、ＲＧＢセンサにより取得されたＲＧＢデータを、周辺光量落ち補正した場合の一例である。同図に示すＲＧＢデータは、周辺光量が補正されている。図１０（Ｃ）は、図１０（Ａ）に示すデータのＡ－Ａ’断面におけるＲＧＢ各色の光量を縦軸に、画像の横方向の座標（ピクセル）を横軸に示す。図１０（Ｄ）は、図１０（Ｂ）に示すデータのＡ－Ａ’断面におけるＲＧＢ各色の光量を縦軸に、画像の横方向の座標（ピクセル）を横軸に示す。

図１０に示す一例のように、本実施形態によれば、ＲＧＢセンサとＴｏＦセンサとは、同一光軸であるため、撮像装置１０は、ＲＧＢセンサにより得られたレンズの周辺光量落ち情報から演算した周辺光量落ち補正データを、そのままＴｏＦデータの周辺光量落ち補正にも利用することができる。
もっとも、可視光と赤外光の周辺光量落ち特性に相関はあるが差異がある場合等は、相関に応じた補正をすることを要する場合もある。

ここで、従来技術のような２眼カメラでは、ＲＧＢデータとＴｏＦデータとは、周辺光量落ち補正データが異なるため、各々のレンズ特性に合わせて補正量を変えなければならなかった。本実施形態によれば、ＲＧＢデータ及びＴｏＦデータに、同一の、又は対応する補正データを適用することができるため、容易にＲＧＢデータ及びＴｏＦデータを補正することができる。

図１１は、実施形態１に係る撮像装置において、色収差補正データの共有化について説明するための図である。同図を参照しながら、色収差補正データの共有化について説明する。
図１１（Ａ）は、左エッジが赤、右エッジがシアンの色収差が発生しているＲＧＢデータの一例である。図１１（Ｂ）は、左エッジがシアン、右エッジが赤の色収差が発生しているＲＧＢデータの一例である。図１１（Ｃ）の上段は、図１１（Ａ）の左右エッジ波形、図１１（Ｃ）の下段は、図１１（Ｂ）の左右エッジ波形の一例である。図１１（Ｄ）は、倍率色収差補正処理を行った後のＲＧＢデータの一例である。図１１（Ｅ）は、倍率差補正処理を行った後のＴｏＦデータの一例である。

撮像装置１０は、ＲＧＢデータから得られたレンズ１１０の倍率色収差情報に基づき、倍率色収差補正データを演算する。撮像装置１０は、得られた倍率色収差補正データを、ＴｏＦデータの像の倍率差補正にも適用する。特に、撮像装置１０は、ＴｏＦカメラで使用する近赤外に近いＲｃｈの倍率色収差補正データをそのままＴｏＦデータの倍率差補正に利用する。また、撮像装置１０は、Ｒｃｈの色収差補正データから相関のある近赤外領域の倍率差補正量を推定し、適用してもよい。

また、撮像装置１０は、ＴｏＦデータから得られる距離情報から、背景と距離差のある被写体のエッジを検出する。撮像装置１０は、ＲＧＢデータから得られる信号に基づき、輝度差や周波数差のある被写体のエッジを検出する。撮像装置１０は、これらを併用して、よりエッジ検出の精度を上げて、カメラのフォーカス合わせに用いることができる。

また、撮像装置１０は、Ｒｃｈ倍率色収差補正データを、ＴｏＦデータにも用いることにより、ＲＧＢデータとＴｏＦデータの像の倍率差を補正する。撮像装置１０は、ＲＧＢデータとＴｏＦデータの像の倍率差を補正することにより、３Ｄデータ生成時に像を正確に重ねることができ、エッジ部の距離ずれの発生を抑止することができる。

［実施形態２］
次に、実施形態２について説明する。本実施形態に係る撮像装置１０は、第１レーザーダイオード（第１光源）１２１を備えることにより第１波長を有する光である第１照射光を照射し、センサ（第１検出部）１５３を備えることにより第１照射光が対象物により反射した光である第１反射光を検出する。また、撮像装置１０は、第２レーザーダイオード（第２光源）１２２を備えることにより第１波長とは異なる第２波長を有する光である第２照射光を照射し、センサ（第２検出部）１６３を備えることにより第２照射光が対象物により反射した光である第２反射光を検出する。
ここで、第１照射光及び第１反射光と、第２照射光及び第２反射光とは互いに波長が異なるため、互いに干渉する場合がある。実施形態２においては、波長の異なる光同士が干渉することを抑止しようとするものである。

なお、実施形態２に係る説明において、図２を参照しながら説明した撮像装置１０を用いる場合の一例について説明する。しかしながら、実施形態２に係る制御方法は、撮像装置１０に適用される場合の一例に限定されるものではなく、撮像装置１０Ａから撮像装置１０Ｄについても同様に適用可能である。

図１２は、実施形態２に係る異なる２つの波長の近赤外光の干渉について説明するための図である。同図を参照しながら、異なる２つの波長の近赤外光の干渉について説明する。
同図には、ＲＧＢカメラが受光する可視光（Ｒｃｈ、Ｇｃｈ、Ｂｃｈ）、及びＴｏＦカメラが受光する赤外光（８５０ｎｍ、９４０ｎｍ）の出力について、横軸を波長［ｎｍ］、縦軸を相対出力として示す。また同図には、ＩＲカットフィルタ（赤外カットフィルタ１４２）、９４０ｎｍバンドパスフィルタ（バンドパスフィルタ１５２）、及び８５０ｎｍバンドパスフィルタ（バンドパスフィルタ１６２）が遮断可能な波長についても、同様に示す。

一般的なＴｏＦカメラに用いられている８５０［ｎｍ］と９４０［ｎｍ］のバンドパスフィルタは１５０［ｎｍ］程度の帯域幅を持っている場合が多い。図１２に示す９４０ｎｍバンドパスフィルタ、及び８５０ｎｍバンドパスフィルタを適用することにより、可視光領域の影響を除去することができる。

しかしながら、８５０［ｎｍ］と９４０［ｎｍ］の近赤外光が同時に発光された場合、互いに他の波長の赤外光の干渉を完全に除去できない。具体的には、範囲Ａにおいて、８５０［ｎｍ］と９４０［ｎｍ］の近赤外光が互いに干渉している。

このような干渉を防ぐためには、ＴｏＦカメラに用いる汎用的なバンドパスフィルタではなく、１００［ｎｍ］以内で急峻に遮断できる狭帯域のバンドパスフィルタを用いることが有効である。しかしながら、１００［ｎｍ］以内で急峻に遮断できる狭帯域のバンドパスフィルタは高価である。そこで、第２の実施形態において、撮像装置１０は、レーザーダイオードの発光タイミング、及びセンサの露光タイミングを制御することにより、互いの波長の干渉を抑止する。

図１３は、実施形態２に係るレーザー光の照射と露光の動作期間の一例を示すタイミングチャートである。同図を参照しながら、レーザーダイオードの発光動作を行う期間、及びセンサの露光動作を行う期間の一例について説明する。同図には、“９４０ｎｍ ＬＤ発光期間”として、第１レーザーダイオード１２１の発光動作を行う期間を示す。“９４０ｎｍ ＴｏＦ露光期間”として、センサ１５３の露光動作を行う期間を示す。“８５０ｎｍ ＬＤ発光期間”として、第２レーザーダイオード１２２の発光動作を行う期間を示す。“８５０ｎｍ ＴｏＦ露光期間”として、センサ１６３の露光動作を行う期間を示す。
横軸には時間を、縦軸には、発光又は露光が、オン又はオフの期間のいずれであるかを示す。ハイレベルはオンを、ローレベルはオフを示す。同様に、横軸を時間としてフレームパルスタイミングを示す。なお、同図に示したオン又はオフの期間は、レーザーダイオードの発光動作を行う期間又はセンサの露光動作を行う期間を示しており、実際の制御信号は、当該期間の中で複数回のスイッチング動作を繰り返してもよい。具体的には、実際のオン期間において、ＬＤ発光期間とＴｏＦ露光期間はそれぞれが細かい複数の制御パルスで構成されており、ＬＤ発光期間とＴｏＦ露光期間は必ずしも同位相ではない場合がある。

図１３（Ａ）は、第１の干渉防止策の一例を説明するためのタイミングチャートである。まず、第１の干渉防止策の詳細について説明する。第１の干渉防止策では、共通のフレームパルスタイミングＶＤに基づいて、９４０［ｎｍ］用ＴｏＦセンサの発光及び露光と、８５０［ｎｍ］用ＴｏＦセンサの発光及び露光とを制御する。フレームパルスタイミングＶＤは、周期ｔ１１を有する。

第１レーザーダイオード（第１光源）１２１が第１照射光を照射し、センサ（第１検出部）１５３が第１反射光を検出する期間である期間ｔ１２を、第１期間と記載する。第２レーザーダイオード（第２光源）１２２が第２照射光を照射し、センサ（第２検出部）１６３が第２反射光を検出する期間である期間ｔ１３を第２期間と記載する。
第１期間に行われる処理と、第２期間に行われる処理とは、それぞれ異なるフレームにおいて行われる。すなわち、第１期間と第２期間とは重複しない。

具体的には、８５０［ｎｍ］レーザーダイオード発光、及び８５０［ｎｍ］用ＴｏＦセンサ露光を偶数フレームに行い、９４０［ｎｍ］レーザーダイオード発光、及び９４０［ｎｍ］用ＴｏＦセンサ露光を奇数フレームに行うことにより、交互にレーザーダイオード発光とＴｏＦセンサ露光の動作タイミングを制御する。換言すれば、第１期間と第２期間は、所定の周期で交互に到来する。詳細には、第１期間とは、所定の周期ｔ１１のうち奇数周期内の期間である。また、第２期間とは、所定の周期ｔ１１のうち偶数期間内の期間である。
なお、第１期間と第２期間とを入れ替えてもよい。具体的には、８５０［ｎｍ］レーザーダイオード発光、及び８５０［ｎｍ］用ＴｏＦセンサ露光を奇数フレームに行い、９４０［ｎｍ］レーザーダイオード発光、及び９４０［ｎｍ］用ＴｏＦセンサ露光を偶数フレームに行ってもよい。

上述したように第１の干渉防止策では、交互にレーザーダイオード発光とＴｏＦセンサ露光の動作タイミングを制御することにより、近赤外光の干渉を防ぐ。第１の干渉防止策によれば、２波長間のレーザーダイオード発光タイミング制御、ＴｏＦセンサの露光タイミング制御を共通の同期系で管理できるメリットがある。一方、第１の干渉防止策によれば、測距フレームレートがそれぞれ半分になってしまうといった課題がある。第２の干渉防止策は、第１の干渉防止策による課題を解決するものである。

図１３（Ｂ）は、第２の干渉防止策の一例を説明するためのタイミングチャートである。次に、第２の干渉防止策の詳細について説明する。第２の干渉防止策では、９４０［ｎｍ］用ＴｏＦセンサ用のフレームパルスタイミングＶＤ１と、８５０［ｎｍ］用ＴｏＦセンサ用のフレームパルスタイミングＶＤ２とにそれぞれ基づいた制御を行う。フレームパルスタイミングＶＤ１は周期ｔ２１を有し、フレームパルスタイミングＶＤ２は周期ｔ２４を有する。周期ｔ２１を第１周期と、周期ｔ２４を第２周期と記載する。

第１レーザーダイオード（第１光源）１２１が第１照射光を照射し、センサ（第１検出部）１５３が第１反射光を検出する期間である期間ｔ２２を、第１期間と記載する。第２レーザーダイオード（第２光源）１２２が第２照射光を照射し、センサ（第２検出部）１６３が第２反射光を検出する期間である期間ｔ２５を第２期間と記載する。
第２の干渉防止策において、第１期間は、第１周期内の期間である。また、第２期間は、第２周期内の期間である。換言すれば、第１期間はフレームパルスタイミングＶＤ１に基づいた期間であり、第２期間はフレームパルスタイミングＶＤ２に基づいた期間である。第１期間に行われる処理と第２期間に行われる処理とが、同一タイミングに重複して行われると、異なる波長を有する光が干渉してしまう。したがって、第１期間と第２期間とは重複しないよう制御される。

また、第２の干渉防止策において、第１周期と第２周期とは位相が異なる。具体的には、フレームパルスタイミングＶＤ２は、フレームパルスタイミングＶＤ１より半周期遅れていてもよい。換言すれば、第１周期と第２周期との位相差は、半周期（１８０度）であってもよい。また、第１周期である周期ｔ２１と、第２周期である周期ｔ２４とは、同一の周期であってもよい。

第２の干渉防止策において、レーザーダイオード照射光を照射しセンサが反射光を検出する期間は、フレームパルス周期の半分以下の期間であってもよい。具体的には、第１周期内における第１期間は、第１周期の半分以下であってもよく、第２周期内における第２期間は、第２周期の半分以下であってもよい。

上述したように第２の干渉防止策では、８５０［ｎｍ］レーザーダイオード発光及び８５０［ｎｍ］用ＴｏＦセンサ露光と、９４０［ｎｍ］レーザーダイオード発光及び９４０［ｎｍ］用ＴｏＦセンサ露光をハーフフレームずらすことにより、互いの波長の近赤外光の干渉を防ぐ。
第２の干渉防止策によれば、第１の干渉防止策のように測距フレームレートが半分になってしまうことがなく、測距フレームレートを保つことができる。もっとも、第２の干渉防止策によれば、制御、信号処理ともに同期回路が複雑になるデメリットがある。また、第２の干渉防止策によれば、長距離測距のためにレーザーダイオード発光期間を長くするとインターバル期間が短くなり２波長間の干渉が避けられなくなる。なお、発光期間を長くしたため干渉が生じてしまうような場合には、フレームレートを落とす等の調整が有効である。

他の実施形態として、８５０［ｎｍ］及び９４０［ｎｍ］それぞれの中心波長±４０［ｎｍ］程度で急峻に減衰する狭帯域バンドパスフィルタを用いれば、上述のような制御工夫が無くとも、互いの波長の近赤外光の干渉を限りなく無くすことができる。

［実施形態２のまとめ］
以上説明した実施形態によれば、撮像装置１０は、第１レーザーダイオード（第１光源）１２１を備えることにより第１波長を有する光である第１照射光を対象物Ｔに照射し、第２レーザーダイオード（第２光源）１２２を備えることにより第２波長を有する光である第２照射光を対象物Ｔに照射し、センサ（第１検出部）１５３を備えることにより第１照射光が対象物Ｔに照射され、反射した光である第１反射光を検出し、センサ（第２検出部）１６３を備えることにより第２照射光が対象物Ｔに照射され、反射した光である第２反射光を検出する。また、撮像装置１０において、第１レーザーダイオード１２１が第１照射光を照射しセンサ１５３が第１反射光を検出する第１期間と、第２レーザーダイオード１２２が第２照射光を照射しセンサ１６３が第２反射光を検出する第２期間とは重複しない。
したがって、本実施形態によれば、撮像装置１０は、異なる波長のレーザー光の反射光を互いに干渉することなく照射及び受光することができる。

また、以上説明した実施形態によれば、撮像装置１０において、第１期間とは所定の周期のうち奇数周期内の期間であり、第２期間とは所定の周期のうち偶数期間内の期間である。したがって、撮像装置１０は、フレーム交互にレーザーダイオード発光とＴｏＦセンサ露光の動作タイミングを制御することにより、容易に互いの波長の近赤外光の干渉を防ぐことができる。また、撮像装置１０は、フレーム交互にレーザーダイオード発光とＴｏＦセンサ露光の動作タイミングを制御するため、発光期間及び露光期間が長くなったとしても、互いに干渉し合うことがない。

また、以上説明した実施形態によれば、撮像装置１０において、第１期間は、第１周期内の期間であり、第２期間は、第１周期とは位相が異なる第２周期内の期間である。すなわち、撮像装置１０によれば、異なる波長の光を発光及び露光するタイミングを、それぞれのフレームパルスタイミングに基づいて行うことにより干渉を防ぐ。したがって、本実施形態によれば、撮像装置１０は、フレームレートを落とすことなく、互いの波長の近赤外光の干渉を防ぐことができる。

また、以上説明した実施形態によれば、撮像装置１０において、第１周期と第２周期とは、同一の周期であり、第１周期と第２周期の位相差は半周期である。したがって、本実施形態によれば、撮像装置１０は、ハーフフレームずれたタイミングにおいて、異なる波長の光を発光及び露光することにより、容易に互いの波長の近赤外光の干渉を防ぐことができる。また、撮像装置１０は、ハーフフレームずれたタイミングにおいて、異なる波長の光を発光及び露光することにより、それぞれの波長を有する光の発光期間及び露光期間が長くなったとしても、干渉しづらくすることができる。

また、以上説明した実施形態によれば、撮像装置１０において、第１周期内における第１期間は第１周期の半分以下であり、第２周期内における第２期間は、第２周期の半分以下である。したがって、本実施形態によれば、第１期間と第２期間とは重複しないため、異なる波長を有する光の干渉を防ぐことができる。

なお、図３を参照しながら説明した撮像装置１０Ａによれば、８５０［ｎｍ］と９４０［ｎｍ］の同時測距をすることはできないが、実施形態２において説明した２つのレーザーダイオード発光の同期制御、及び２つのＴｏＦセンサ露光の同期制御は不要である。したがって、撮像装置１０Ａによれば、２波長間のレーザーダイオード光干渉が発生することなく、両波長の良いところを得ることができる。

［実施形態３］
次に、実施形態３について説明する。本実施形態に係る撮像装置１０は、第１レーザーダイオード（第１光源）１２１を備えることにより第１波長を有する光である第１照射光を照射し、センサ（第１検出部）１５３を備えることにより第１照射光が対象物により反射した光である第１反射光を検出する。第１波長とは、例えば９４０［ｎｍ］であって、屋外における測距で用いられる。
また、撮像装置１０は、第２レーザーダイオード（第２光源）１２２を備えることにより第１波長とは異なる第２波長を有する光である第２照射光を照射し、センサ（第２検出部）１６３を備えることにより第２照射光が対象物により反射した光である第２反射光を検出する。第２波長とは、例えば８５０［ｎｍ］であって、屋内における測距で用いられる。

図１４は、実施形態３において撮像装置が解決しようとする課題について説明するための図である。まず、同図を参照しながら、実施形態３において解決しようとする課題について説明する。
第１レーザーダイオード１２１、及び第２レーザーダイオード１２２は、レンズ１１０の前面周囲に、レンズ１１０を取り囲むように複数個ずつ配置される。同図に示す一例においては、第１レーザーダイオード１２１として、第１レーザーダイオード１２１－１と、第１レーザーダイオード１２１－２とが配置され、第２レーザーダイオード１２２として、第２レーザーダイオード１２２－１と、第２レーザーダイオード１２２－２とがレンズ１１０を取り囲むように配置される。

９４０［ｎｍ］の波長を有する光を照射する第１レーザーダイオード１２１は、屋外向け遠距離用として用いられる。８５０［ｎｍ］の波長を有する光を照射する第２レーザーダイオード１２２は、屋内向け近距離用として用いられる。
ここで、レンズ１１０の光軸ＯＡと、レーザーダイオード照射軸（レーザー光ＢＭ１１－２及びレーザー光ＢＭ１２－２）との角度差による距離誤差が問題となる。近距離測距時における、距離誤差による影響を抑止するためには、できるだけ光軸ＯＡに近い位置に光源を配置することが好適である。

特に対象物Ｔが近距離に存在する場合、距離誤差による影響は顕著である。また、屋内においては、屋外における場合と比べて、近距離に存在する対象物Ｔまでの距離を測距する場合が多い。したがって、近距離用に用いられる第２レーザーダイオード１２２は、距離誤差による影響を軽減するため、できるだけ光軸ＯＡに近い位置に光源を配置することが好適である。
したがって、屋内用に用いられる第２レーザーダイオード（第２光源）１２２は、屋外用に用いられる第１レーザーダイオード（第１光源）１２１よりも、光軸ＯＡに近い位置（レンズ外周円近傍)に配置されることが好適である。

しかしながら、被写体が大きい場合、被写体側面にはレーザーダイオード照射の影が発生し、測距ができない領域が大きくなってしまうという問題が生じる。図１４においては、範囲ＡＲ１及び範囲ＡＲ２が、レーザーダイオード照射の影となり、測距ができないという問題が生じる。実施形態３においては、このような測距ができない範囲が発生することを抑止しようとするものである。

図１５は、実施形態３に係る屋内における測距の一例を示す図である。同図を参照しながら、本実施形態に係る撮像装置１０Ｅの機能構成と、その効果について説明する。撮像装置１０Ｅの説明において、撮像装置１０が備える機能と同様の構成については、同様の符号を付すことにより説明を省略する場合がある。

同図に示すように、撮像装置１０Ｅは、第１レーザーダイオード１２１と、第２レーザーダイオード１２２とを、光軸ＯＡに交わる面Ｓ上に備える。すなわち、第１レーザーダイオード（第１光源）１２１及び第２レーザーダイオード（第２光源）１２２は、いずれも光軸ＯＡに交わる面上に配置される。また、面Ｓは、光軸ＯＡに直交する。すなわち、第１レーザーダイオード（第１光源）１２１及び第２レーザーダイオード（第２光源）１２２は、いずれも光軸ＯＡに直交する面上に配置される。

撮像装置１０Ｅは、光軸ＯＡに近い位置に備えられた８５０［ｎｍ］レーザーダイオードに加えて、光軸から遠い位置においても更に８５０［ｎｍ］レーザーダイオードを備える点において、撮像装置１０とは異なる。具体的には、撮像装置１０Ｅは、第２レーザーダイオード１２２－５と、第２レーザーダイオード１２２－６と更に備える。

撮像装置１０Ｅは、光軸に近い位置に加えて、更に光軸から遠い位置においても８５０［ｎｍ］レーザーダイオードを備えることにより、照射影の発生を少なくすることができる。具体的には、第２レーザーダイオード１２２－５は、レーザー光ＢＭ１５を照射することにより、範囲ＡＲ１における照射影の発生を抑止し、第２レーザーダイオード１２２－６は、レーザー光ＢＭ１６を照射することにより、範囲ＡＲ２における照射影の発生を抑止する。撮像装置１０Ｅは、照射影の発生を少なくすることができるため、被写体側面についても測距することができる。

なお、撮像装置１０Ｅは、２箇所（すなわち、光軸の近傍と遠方それぞれの箇所）に配置されたレーザーダイオードそれぞれについて発光制御を行う。撮像装置１０Ｅは、ＴｏＦセンサで受信した２種類の距離データ（第２レーザーダイオード１２２－１及び第２レーザーダイオード１２２－２により得られた距離データと、第２レーザーダイオード１２２－５及び第２レーザーダイオード１２２－６により得られた距離データ）を合成することにより、最適化された距離データを生成することができる。また、撮像装置１０Ｅは、ＴｏＦセンサにおける信号飽和を防ぐため、それぞれのレーザーダイオードから照射される照射光の発光強度を弱くすることが好適である。

図１６は、実施形態３に係る屋外における測距の一例を示す図である。同図を参照しながら、本実施形態に係る撮像装置１０Ｅの、屋外における測距の一例について説明する。屋外における測距では、撮像装置１０Ｅは、第１レーザーダイオード１２１を用いる。第１レーザーダイオード１２１は、第２レーザーダイオード１２２より外側に配置される。第１レーザーダイオード１２１は中長距離用の測距に用いられるため、対象物Ｔまでの距離は長く、レンズ光軸ＯＡとレーザーダイオード照射軸（レーザー光ＢＭ２１－２及びレーザー光ＢＭ２２－２）の角度差による距離誤差影響が少ない。また、対象物Ｔまでの距離が長いため、レーザーダイオード照射の影も、近距離よりも少ない。

なお、撮像装置１０Ｅは、被写体までの距離が長くなるほどＴｏＦセンサが受光する信号強度が下がるため、第１レーザーダイオード１２１の発光強度を強くすることが好適である。

図１７は、実施形態３に係る光源の配置の一例を示す模式図である。同図を参照しながら、第１レーザーダイオード１２１及び第２レーザーダイオード１２２の配置の一例について説明する。
同図には、撮像装置１０Ｅを正面視した場合におけるレンズ１１０と複数のレーザーダイオード１２０との位置関係を示す。

撮像装置１０Ｅは、複数の第１レーザーダイオード１２１と、複数の第２レーザーダイオード１２２とを備える。図１７に示す一例においては、４個の第１レーザーダイオード１２１と、８個の第２レーザーダイオード１２２とを備える。
複数の第１レーザーダイオード１２１は、光軸ＯＡを中心とする第１の円Ｃ１の円周上に配置される。複数の第２レーザーダイオード１２２は、第２の円Ｃ２及び第３の円Ｃ３の円周上に配置される。第１の円Ｃ１は、第２の円Ｃ２及び第３の円Ｃ３とは異なる半径を有する円である。また、第１の円Ｃ１、第２の円Ｃ２及び第３の円Ｃ３は、いずれも共通の光軸ＯＡを中心とする同心円である。

複数の第２レーザーダイオード１２２のうち一部である第２レーザーダイオード１２２－１から第２レーザーダイオード１２２－４は、第２の円Ｃ２の円周上に配置される。また、複数の第２レーザーダイオード１２２のうち他の一部である第２レーザーダイオード１２２－５から第２レーザーダイオード１２２－８は、第３の円Ｃ３の円周上に配置される。第３の円Ｃ３とは、第１の円Ｃ１及び第２の円Ｃ２のいずれとも異なる半径を有する円であって、第１の円Ｃ１及び第２の円Ｃ２と光軸ＯＡを中心とする同心円である。

図１８は、実施形態３の変形例に係る光源の配置の一例を示す模式図である。同図を参照しながら、第１レーザーダイオード１２１及び第２レーザーダイオード１２２の配置の変形例について説明する。
変形例においては、複数の第１レーザーダイオード１２１と、複数の第２レーザーダイオード１２２のうち一部の第２レーザーダイオード１２２とが、同一の円の円周上に備えられる点において、図１７を参照しながら説明した一例とは異なる。
同図に示す一例において、第２レーザーダイオード１２２については、図１７を参照しながら説明した一例と同様であるため、同様の符号を付すことにより説明を省略する場合がある。一方、第１レーザーダイオード１２１については、配置が異なるため、第１レーザーダイオード１２１－ｎＡ（ｎは１から４の自然数）として記載する。

第１レーザーダイオード１２１－１Ａから第１レーザーダイオード１２１－４Ａは、第２レーザーダイオード１２２－１から第２レーザーダイオード１２２－４と同一の円の円周上に配置される。換言すれば、変形例においては、第１の円Ｃ１及び第２の円Ｃ２は、同一の円である。

第１レーザーダイオード１２１－１Ａから第１レーザーダイオード１２１－４Ａは、角度Ａ１ごとに配置される。角度Ａ１とは、９０度である。第２レーザーダイオード１２２－１から第２レーザーダイオード１２２－４は、角度Ａ２ごとに配置される。角度Ａ２とは、９０度である。
また、第１レーザーダイオード１２１－１Ａから第１レーザーダイオード１２１－４Ａは、第２レーザーダイオード１２２－１から第２レーザーダイオード１２２－４の間に配置される。第１レーザーダイオード１２１－１Ａから第１レーザーダイオード１２１－４Ａと、第２レーザーダイオード１２２－１から第２レーザーダイオード１２２－４とは、それぞれ角度Ａ３ごとに配置される。角度Ａ２とは、４５度である。

［実施形態３のまとめ］
以上説明した実施形態によれば、撮像装置１０Ｅは、第１レーザーダイオード（第１光源）１２１を備えることにより第１波長を有する光である第１照射光を対象物Ｔに照射し、第２レーザーダイオード（第２光源）１２２を備えることにより第２波長を有する光である第２照射光を対象物Ｔに照射し、センサ（第１検出部）１５３を備えることにより第１照射光が対象物Ｔに照射され、反射した光である第１反射光を検出し、センサ（第２検出部）１６３を備えることにより第２照射光が対象物Ｔに照射され、反射した光である第２反射光を検出する。また、撮像装置１０において、第２レーザーダイオード１２２は、第１レーザーダイオード１２１よりも光軸ＯＡに近い位置に配置される。第２レーザーダイオード１２２は、屋内における測距用に用いられる光源である。
したがって、本実施形態によれば、撮像装置１０Ｅは、屋内において近距離に配置された対象物Ｔまでの距離を測距する場合、レンズ１１０の光軸ＯＡと、レーザーダイオード照射軸との角度差を小さくすることができる。よって、撮像装置１０Ｅは、レンズ１１０の光軸ＯＡと、レーザーダイオード照射軸との角度差による距離誤差を低減することができる。

また、以上説明した実施形態によれば、撮像装置１０において、第１レーザーダイオード１２１及び第２レーザーダイオード１２２は、いずれもレンズ１１０の光軸ＯＡに交わる面上に配置される。また、第１レーザーダイオード１２１及び第２レーザーダイオード１２２からそれぞれ照射された光は、いずれも同一光軸でレンズ１１０に入射する。
したがって、本実施形態によれば、センサ１５３及びセンサ１６３は、同一のレンズ１１０を共有することができる。

また、以上説明した実施形態によれば、撮像装置１０において、第１レーザーダイオード１２１及び第２レーザーダイオード１２２は、いずれもレンズ１１０の光軸ＯＡに直交する面上に配置される。したがって、対象物Ｔが光軸ＯＡ上に存在している場合、第１レーザーダイオード１２１から対象物Ｔまでの距離と、第２レーザーダイオード１２２から対象物Ｔまでの距離とは、互いに同一である。
よって、本実施形態によれば、撮像装置１０Ｅは、対象物Ｔまでの距離を精度よく測距することができる。

また、以上説明した実施形態によれば、撮像装置１０において、複数の第１レーザーダイオード１２１は、レンズ１１０の光軸ＯＡを中心とする第１の円Ｃ１の円周上に配置され、複数の第２レーザーダイオード１２２は、第１の円Ｃ１とは異なる半径を有する円であって、レンズ１１０の光軸ＯＡを中心とする同心円である第２の円Ｃ２の円周上に配置される。したがって、対象物Ｔが光軸ＯＡ上に存在している場合、複数の第１レーザーダイオード１２１それぞれから対象物Ｔまでの距離は互いに同一であり、複数の第２レーザーダイオード１２２それぞれから対象物Ｔまでの距離は互いに同一である。
よって、本実施形態によれば、撮像装置１０Ｅは、対象物Ｔまでの距離を精度よく測距することができる。

また、以上説明した実施形態によれば、撮像装置１０において、複数の第２レーザーダイオード１２２のうち一部は、第２の円Ｃ２の円周上に配置され、複数の第２レーザーダイオード１２２のうち他の一部は、第１の円Ｃ１及び第２の円Ｃ２のいずれとも異なる半径を有する円であって、レンズ１１０の光軸ＯＡを中心とする同心円である第３の円Ｃ３の円周上に配置される。すなわち、本実施形態によれば、屋内において近距離に存在する対象物Ｔまでの距離を測距する第２レーザーダイオード１２２は、レンズ１１０の光軸ＯＡに近い位置と、遠い位置とにそれぞれ配置される。
したがって、本実施形態によれば、撮像装置１０Ｅは、レーザー光による対象物Ｔの影の影響を抑止して、精度よく測距することができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能であり、また、上述した各実施形態を適宜組み合わせてもよい。

１０…撮像装置、１１０…レンズ、１２０…レーザーダイオード、１２１…第１レーザーダイオード、１２２…第２レーザーダイオード、１３０…ハーフミラー、１４０…画像撮像部、１４１…可視光反射ダイクロイック膜、１４２…赤外カットフィルタ、１４３…センサ、１４４…画素、１４５…反射面、１５０…測距部、１５２…バンドパスフィルタ、１５３…センサ、１６２…バンドパスフィルタ、１６３…センサ、１７２…切替式バンドパスフィルタ、１７３…センサ、Ｔ…対象物、ＢＭ…レーザー光、Ｌ…光、ＶＬ…可視光、ＩＬ…赤外光

Claims (5)

1. 第１波長を有する光である第１照射光を照射する第１光源と、
   前記第１波長とは異なる第２波長を有する光である第２照射光を照射する第２光源と、
   前記第１照射光が対象物に照射され、反射した光である第１反射光を検出する第１検出部と、
   前記第２照射光が前記対象物に照射され、反射した光である第２反射光を検出する第２検出部とを備え、
   前記第２光源は、前記第１光源よりも光軸に近い位置に配置される
   撮像装置。
2. 前記第１光源及び前記第２光源は、いずれも前記光軸に交わる面上に配置される
   請求項１に記載の撮像装置。
3. 複数の前記第１光源と、
   複数の前記第２光源とを更に備え、
   複数の前記第１光源は、前記光軸を中心とする第１の円の円周上に配置され、
   複数の前記第２光源は、前記第１の円とは異なる半径を有する円であって、前記光軸を中心とする同心円である第２の円の円周上に配置される
   請求項１又は請求項２に記載の撮像装置。
4. 複数の前記第２光源のうち一部は、前記第２の円の円周上に配置され、
   複数の前記第２光源のうち他の一部は、前記第１の円及び前記第２の円のいずれとも異なる半径を有する円であって、前記光軸を中心とする同心円である第３の円の円周上に更に配置される
   請求項３に記載の撮像装置。
5. 第１波長を有する光である第１照射光を第１光源により照射する第１照射工程と、
   前記第１波長とは異なる第２波長を有する光である第２照射光を第２光源により照射する第２照射工程と、
   前記第１照射光が対象物に照射され、反射した光である第１反射光を検出する第１検出工程と、
   前記第２照射光が前記対象物に照射され、反射した光である第２反射光を検出する第２検出工程とを有し、
   前記第２光源は、前記第１光源よりも光軸に近い位置に配置される
   撮像方法。

Images