JP2022166349A

JP2022166349A - ステレオカメラ

Info

Publication number: JP2022166349A
Application number: JP2021071498A
Authority: JP
Inventors: 亘木田; Wataru Kida
Original assignee: Mitsubishi Electric Engineering Co Ltd
Current assignee: Mitsubishi Electric Engineering Co Ltd
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2022-11-02

Abstract

【課題】従来必要だった光学系の調整を単純で簡易な構成とすることができるステレオカメラを得る。【解決手段】同一の焦点距離を有し、互いの光軸が平行な第１のレンズおよび第２のレンズを有するレンズユニットと、第１の固定鏡と、第２の固定鏡と、第１の反射鏡および第２の反射鏡を有する三角鏡と、第１のレンズ、第１の固定鏡、および第１の反射鏡を経由した第１の画像と、第２のレンズ、第２の固定鏡、および第２の反射鏡を経由した第２の画像を同時に取り込むことで、被写体に関する２つの画像を含む１枚の撮像画像を生成する撮像素子とを備える。【選択図】図２

Description

本開示は、１枚の撮像画像から視差を検出し、被写体までの測距を行う構成を備えたステレオカメラに関するものである。

１対として構成された２台のカメラによって生じる視差を用いて、三角測量の原理により被写体までの距離を測定する手法がある。このような手法では、２台のカメラ間の視差を利用して測距するため、機械的な組み立て精度、焦点距離のばらつき、レンズの歪の影響、撮像素子の受光面のあおり、などにより、光学的な位置ずれが存在する。

従って、２台のカメラを用いた従来技術において、測距に適した画像を得るためには、光学系に対して複雑な調整が必要となる。そこで、三角測量の原理に基づく測距を行う際に、光学系の調整を容易に行うことを可能とする従来技術がある（例えば、特許文献１、２参照）。

特許文献１では、２台のカメラが出力する１対の画像信号を格納するメモリを有している。そして、特許文献１では、ステレオカメラ光学系内の受光素子に対して、２台のカメラ間に発生する水平方向および上下方向の光軸のずれ量をメモリに記憶させておき、光軸のずれ量の分をずらして画像信号の読み出しを行うことで、光学的な位置調整を行っている。

また、特許文献２では、撮像画像に対して非線形な形状補正を行うことを可能としている。すなわち、特許文献２では、レンズ歪み、撮像素子の受光面のあおり等の歪みを含め、画像の非線形な位置ズレに対する補正を可能としている。

特許第３０８３４２２号公報特許第３２８４１９０号公報

しかしながら、従来技術には、以下のような課題がある。
特許文献１の方法によると、回転方向のズレ、光学系に起因するレンズ歪、受光面のあおり等に対して、補正することができないという課題がある。

また、特許文献２の方法では、画像の非線形な位置ズレに対する補正を可能とするために、膨大な計算を行う回路が必要となり、回路規模の増大が発生するという課題がある。

本開示は、このような課題を解決するためになされたものであり、従来必要だった光学系の調整を単純で簡易な構成とすることができるステレオカメラを得ることを目的とする。

本開示に係るステレオカメラは、被写体を撮像するために用いられ、光を集光する第１のレンズおよび第２のレンズを有し、第１のレンズと第２のレンズとは、同一の焦点距離を有し、互いの光軸が平行であり、かつ互いの光軸間の距離が既知の値として配置されたレンズユニットと、第１のレンズを通過した第１の光軸を有する光を反射させる第１の固定鏡と、第２のレンズを通過した第２の光軸を有する光を反射させる第２の固定鏡と、第１の固定鏡で反射された光および第２の固定鏡で反射された光を受光できる位置に配置され、第１の固定鏡で反射された光を反射させる第１の反射鏡と、第２の固定鏡で反射された光を反射させる第２の反射鏡とを有する三角鏡と、第１のレンズ、第１の固定鏡、および第１の反射鏡を経由する第１の経路と、第２のレンズ、第２の固定鏡、および第２の反射鏡を経由する第２の経路とが、同一の焦点距離を有し、第１の経路を経由した光を第１の画像と、第２の経路を経由した光を第２の画像として同時に取り込むことで、被写体に関して第１の画像および第２の画像を含む１枚の撮像画像を生成する撮像素子とを備えるものである。

本開示によれば、１つの撮像素子のみで、同一の被写体に対して互いに平行な光軸からの異なる視野による映像を同時に取り込むことができる。この結果、従来必要だった光学系の調整を単純で簡易な構成とすることができるステレオカメラを得ることができる。

本開示の実施の形態１に係るステレオカメラに適用される三角鏡のイメージを示す図である。本開示の実施の形態１に係るステレオカメラのシステム構成図である。本開示の実施の形態１に係るステレオカメラにおける撮像素子上の結像イメージを示した図である。本開示の実施の形態１に係る視差検出回路により検出される視差のイメージ図である。本開示の実施の形態１に係る測距回路により、視差に基づいて、レンズから被写体までの距離を計算するために用いられる三角測量の原理に関する説明図である。本開示の実施の形態２に係るステレオカメラのシステム構成図である。本開示の実施の形態２に係るステレオカメラにおける撮像素子上の結像イメージを示した図である。本開示の実施の形態２に係る測距回路により、視差に基づいて、レンズから被写体までの距離を計算するために用いられる三角測量の原理に関する説明図である。

以下、本開示のステレオカメラの好適な実施の形態につき、図面を用いて説明する。

実施の形態１．
図１は、本開示の実施の形態１に係るステレオカメラに適用される三角鏡のイメージを示す図である。図１に示した本実施の形態１における三角鏡３０は、左側光軸を反射するための反射鏡３１と、右側光軸を反射するための反射鏡３２とを備えて構成されている。

また、図２は、本開示の実施の形態１に係るステレオカメラのシステム構成図である。図２に示した本実施の形態１に係るステレオカメラは、レンズ１１、１２、固定鏡２１、２２、三角鏡３０、撮像素子４０、視差検出回路５０、および測距回路６０を備えて構成されている。

レンズ１１は、光を集光するための左側のレンズであり、レンズ１２は、光を集光するための右側のレンズである。レンズ１１とレンズ１２とは互いの光軸間の距離が既知の値として配置され、かつ同一の焦点距離を有している。

固定鏡２１は、レンズ１１を通過した左側光軸の光を三角鏡３０に向けて反射するための固定鏡である。固定鏡２２は、レンズ１２を通過した右側光軸の光を三角鏡３０に向けて反射するための固定鏡である。

三角鏡３０は、固定鏡２１で反射された左側光軸の光と、固定鏡２２で反射された右側光軸の光とを、撮像素子４０に対して反射する。本開示における三角鏡３０とは、図１および図２に示したように、２枚の固定鏡２１、２２の間に配置され、固定鏡２１で反射した左側光軸の光および固定鏡２２で反射した右側光軸の光のそれぞれが、互いに平行な光として撮像素子４０に入射されるように、反射鏡３１および反射鏡３２が配置されたものを指す。

すなわち、左側光軸に対応した固定鏡２１、および右側光軸に対応した固定鏡２２のそれぞれによって、三角鏡３０に向かって光が反射される。さらに、三角鏡３０によって、固定鏡２１および固定鏡２２からのそれぞれの光が反射され、撮像素子４０に向かって入射する。この結果、左右両方の光軸上の映像が、固定鏡２１、２２、三角鏡３０を通してカメラ内の撮像素子４０に入射する構成となっている。

撮像素子４０は、三角鏡３０で反射された左側光軸の光および右側光軸の光を入射光として同時に取り込み、それぞれの入射光に応じた像を結像し、左側光軸画像４１および右側光軸画像４２を生成し、両画像に対応する電気信号を出力する。

図３は、本開示の実施の形態１に係るステレオカメラにおける撮像素子４０上の結像イメージを示した図である。図３では、左側光軸上での画像イメージである左側光軸画像４１と、右側光軸上での画像イメージである右側光軸画像４２とが図示されている。

視差検出回路５０は、撮像素子４０から電気信号として出力された左側光軸画像４１と右側光軸画像４２との視差を演算する。

図４は、本開示の実施の形態１に係る視差検出回路５０により検出される視差のイメージ図である。視差検出回路５０では、左側光軸画像４１および右側光軸画像４２のそれぞれについて、左端から被写体１までの距離ＸＬおよび距離ＸＲを用いて視差の検出を行う。

距離ＸＬおよび距離ＸＲは、左側光軸画像４１上の被写体１が持つ特徴点と、その特徴点に対応する右側光軸画像４２上の対応点とから検出する。従って、距離ＸＬおよび距離ＸＲを求めるには、２つの光軸画像４１、４２について、同じ対象物である被写体１を撮像した画素を抽出する必要があり、この方法のことをステレオマッチングと呼ぶ。

視差検出回路５０は、ステレオマッチングによって、左側光軸画像４１上のある特徴点に対して、右側光軸画像４２上の対応点を求めることができる。さらに、視差検出回路５０は、特徴点と対応点を求めた際に生じたずれ（｜ＸＬ－ＸＲ｜）によって、視差を求めることができる。

視差検出回路５０は、検出した視差を出力し、出力された視差は、測距回路６０に入力される。そして、測距回路６０は、視差検出回路５０で演算された視差から、三角測量の原理を用いて、被写体１までの距離を演算する。

図５は、本開示の実施の形態１に係る測距回路６０により、視差に基づいて、レンズから被写体１までの距離を計算するために用いられる三角測量の原理に関する説明図である。

図５に示された各符号であるＴ、ｆ、Ｚ、ＸＬ、ＸＲは、以下のように定義される。
Ｔ：左側光軸と右側光軸との間の距離
ｆ：カメラの焦点距離、すなわち、レンズ１１、１２と撮像素子４０との間の距離
Ｚ：レンズ１１、１２を有するレンズユニットから被写体１までの距離
ＸＬ：左側レンズ１１を通して入射する光が撮像素子４０上で結像された左側光軸画像４１における特徴点までの距離
ＸＲ：右側レンズ１２を通して入射する光が撮像素子４０上で結像された右側光軸画像４２における対応点までの距離

この図５に示すように、レンズ１１の光軸方向におけるレンズ１１から被写体１までの距離と、レンズ１２の光軸方向におけるレンズ１２から被写体１までの距離とが、ともに距離Ｚとなるように、レンズ１１の位置およびレンズ１２の位置が調整される。

さらに、固定鏡２１と固定鏡２２との間に配置された三角鏡３０の位置調整を行うことで、レンズ１１から撮像素子４０までの光の経路と、レンズ１２から撮像素子４０までの光の経路とが、ともに焦点距離ｆとなるように調整される。

このような調整を行うことで、距離ＸＬと距離ＸＲとの位置のずれ（｜ＸＬ－ＸＲ｜）を視差として検出することができるとともに、視差｜ＸＬ－ＸＲ｜と焦点距離ｆ、および光軸間の距離Ｔとレンズユニットから被写体１までの距離Ｚ、の関係が相似関係になる。従って、下式（１）が成り立つ。

従って、測距回路６０は、下式（２）を用いることで、被写体１までの距離Ｚを測定することができる。

上述した本実施の形態１に係るステレオカメラの構成を整理すると、以下のような構成１～構成５を有することとなる。
構成１：被写体１を撮像するために用いられ、光を集光する第１のレンズ１１および第２のレンズ１２を有し、第１のレンズ１１と第２のレンズ１２とは、同一の焦点距離を有し、互いの光軸が平行であり、かつ互いの光軸間の距離Ｔが既知の値となるように配置されたレンズユニット。

構成２：第１のレンズ１１を通過した第１の光軸に相当する左側光軸を有する光を反射させる第１の固定鏡２１。

構成３：第２のレンズ１２を通過した第２の光軸に相当する右側光軸を有する光を反射させる第２の固定鏡２２。

構成４：第１の固定鏡２１で反射された光および第２の固定鏡２２で反射された光を受光できる位置に配置され、第１の固定鏡２１で反射された光を反射させる第１の反射鏡３１と、第２の固定鏡２２で反射された光を反射させる第２の反射鏡３２とを有する三角鏡３０。

構成５：第１のレンズ１１、第１の固定鏡２１、および第１の反射鏡３１を経由する第１の経路と、第２のレンズ１２、第２の固定鏡２２、および第２の反射鏡３２を経由する第２の経路とが、同一の焦点距離ｆを有し、第１の経路を経由した光を第１の画像に相当する左側光軸画像４１として、第２の経路を経由した光を第２の画像に相当する右側光軸画像４２として同時に取り込むことで、被写体１に関して左側光軸画像４１および右側光軸画像４２を含む１枚の撮像画像を生成する撮像素子４０。

以上のような構成１～構成５を備えることで、実施の形態１によれば、１つの撮像素子のみで、同一の被写体に対して左右の平行な光軸からの異なる視野による映像を同時に取り込むことができる。特に、三角鏡の位置調整を行うことで、第１の経路と第２の経路を同じ距離に容易に調整できる。

この結果、製造時の組み立て精度等によって２台のカメラの特性に違いが発生していたことに起因する測距精度の低下を解消し、レンズユニットから被写体までの距離をより正確に測定することが可能なステレオカメラを実現することができる。

なお、実施の形態１に係るステレオカメラは、以下のような構成６、構成７をさらに有し、構成１～構成７を一体化することもできる。
構成６：左側光軸画像４１内における被写体の位置に相当する距離ＸＬと、右側光軸画像４２内における被写体１の位置に相当する距離ＸＲとの比較結果に基づいて視差｜ＸＬ－ＸＲ｜を検出する視差検出回路５０。

構成７：視差検出回路５０で検出された視差｜ＸＬ－ＸＲ｜に基づいて第１のレンズ１１および第２のレンズ１２を有するレンズユニットから被写体１までの距離を算出する測距回路６０。

この結果、視差検出機能および測距機能を備えた一体型のステレオカメラを実現できる。

実施の形態２．
先の実施の形態１では、左側光軸と右側光軸とから取り込んだ画像に基づいて視差を検出し、被写体１までの距離を測定する場合について説明した。これに対して、本実施の形態２では、上側光軸と下側光軸とから取り込んだ画像に基づいて視差を検出し、被写体１までの距離を測定する場合について説明する。

図６は、本開示の実施の形態２に係るステレオカメラのシステム構成図である。図６に示した本実施の形態２に係るステレオカメラは、レンズ１３、１４、固定鏡２１、２２、三角鏡３０、撮像素子４０、視差検出回路５０、および測距回路６０を備えて構成されている。

レンズ１３は、光を集光するための上側のレンズであり、レンズ１４は、光を集光するための下側のレンズである。固定鏡２１は、レンズ１３を通過した上側光軸の光を三角鏡３０に向けて反射するための固定鏡である。固定鏡２２は、レンズ１４を通過した下側光軸の光を三角鏡３０に向けて反射するための固定鏡である。

このような光学系の配置により、、本実施の形態２では、上下の光軸から取り込んだ像を取り込むことで、視差を測定し、被写体までの距離を計算することができる。

図７は、本開示の実施の形態２に係るステレオカメラにおける撮像素子４０上の結像イメージを示した図である。図７では、上側光軸上での画像イメージである上側光軸画像４３と、下側光軸上での画像イメージである下側光軸画像４４とが図示されている。

視差検出回路５０は、撮像素子４０から電気信号として出力された上側光軸画像４３と下側光軸画像４４との視差を演算する。

視差検出回路５０は、先の実施の形態１と同様に、ステレオマッチングによって、上側光軸画像４３上のある特徴点に対して、下側光軸画像４４上の対応点を求めることができ、距離ＹＵおよび距離ＹＤを求めることができる。さらに、視差検出回路５０は、特徴点と対応点を求めた際に生じたずれ（｜ＹＵ－ＬＤ｜）によって、視差を求めることができる。

図８は、本開示の実施の形態２に係る測距回路６０により、視差に基づいて、レンズから被写体１までの距離を計算するために用いられる三角測量の原理に関する説明図である。

図８に示された各符号であるＴ、ｆ、Ｚ、ＹＵ、ＹＤは、以下のように定義される。
Ｔ：上側光軸と下側光軸との間の距離
ｆ：カメラの焦点距離、すなわち、レンズ１３、１４と撮像素子４０との間の距離
Ｚ：レンズ１３、１４を有するレンズユニットから被写体１までの距離
ＹＵ：上側レンズ１３を通して入射する光が撮像素子４０上で結像された上側光軸画像４３における特徴点までの距離
ＹＤ：下側レンズ１４を通して入射する光が撮像素子４０上で結像された下側光軸画像４４における対応点までの距離

この図８に示すように、レンズ１３の光軸方向におけるレンズ１３から被写体１までの距離と、レンズ１４の光軸方向におけるレンズ１４から被写体１までの距離とが、ともに距離Ｚとなるように、レンズ１３の位置およびレンズ１４の位置が調整される。

さらに、固定鏡２１と固定鏡２２との間に配置された三角鏡３０の位置調整を行うことで、レンズ１３から撮像素子４０までの光の経路と、レンズ１４から撮像素子４０までの光の経路とが、ともに焦点距離ｆとなるように調整される。

このような調整を行うことで、距離ＹＵと距離ＹＤとの位置のずれ（｜ＹＵ－ＹＤ｜）を視差として検出することができるとともに、視差｜ＹＵ－ＹＤ｜と焦点距離ｆ、および光軸間の距離Ｔとレンズユニットから被写体１までの距離Ｚ、の関係が相似関係になる。従って、下式（３）が成り立つ。

従って、測距回路６０は、下式（４）を用いることで、被写体１までの距離Ｚを測定することができる。

上述した本実施の形態１に係るステレオカメラの構成を整理すると、以下のような構成１～構成５を有することとなる。
構成１：被写体１を撮像するために用いられ、光を集光する第１のレンズ１３および第２のレンズ１４を有し、第１のレンズ１３と第２のレンズ１４とは、同一の焦点距離を有し、互いの光軸が平行であり、かつ互いの光軸間の距離Ｔが既知の値となるように配置されたレンズユニット。

構成２：第１のレンズ１３を通過した第１の光軸に相当する上側光軸を有する光を反射させる第１の固定鏡２１。

構成３：第２のレンズ１２を通過した第２の光軸に相当する下側光軸を有する光を反射させる第２の固定鏡２２。

構成５：第１のレンズ１３、第１の固定鏡２１、および第１の反射鏡３１を経由する第１の経路と、第２のレンズ１４、第２の固定鏡２２、および第２の反射鏡３２を経由する第２の経路とが、同一の焦点距離ｆを有し、第１の経路を経由した光を第１の画像に相当する上側光軸画像４３として、第１の経路を経由した光を第２の画像に相当する下側光軸画像４４として同時に取り込むことで、被写体１に関して上側光軸画像４３および下側光軸画像４４を含む１枚の撮像画像を生成する撮像素子４０。

以上のような構成１～構成５を備えることで、実施の形態２によれば、先の実施の形態１と同様に、１つの撮像素子のみで、同一の被写体に対して上下の平行な光軸からの異なる視野による映像を同時に取り込むことができる。特に、三角鏡の位置調整を行うことで、第１の経路と第２の経路を同じ距離に容易に調整できる。

なお、実施の形態２に係るステレオカメラは、以下のような構成６、構成７をさらに有し、構成１～構成７を一体化することもできる。
構成６：上側光軸画像４３内における被写体の位置に相当する距離ＹＵと、下側光軸画像４４内における被写体１の位置に相当する距離ＹＤとの比較結果に基づいて視差｜ＹＵ－ＹＤ｜を検出する視差検出回路５０。

構成７：視差検出回路５０で検出された視差｜ＹＵ－ＹＤ｜に基づいて第１のレンズ１３および第２のレンズ１４を有するレンズユニットから被写体１までの距離を算出する測距回路６０。

なお、本開示における光学系の配置は、実施の形態１で説明した左右方向の配置、および実施の形態２で説明した上下方向の配置には限定されない。用途に応じて任意の方向に配置された光学系を採用することによっても、実施の形態１、２と同様の効果を得ることができる。

１被写体、１１レンズ（第１のレンズ）、１２レンズ（第２のレンズ）、１３レンズ（第１のレンズ）、１４レンズ（第２のレンズ）、２１固定鏡（第１の固定鏡）、２２固定鏡（第２の固定鏡）、３０三角鏡、３１反射鏡（第１の反射鏡）、３２反射鏡（第２の反射鏡）、４０撮像素子、４１左側光軸画像（第１の画像）、４２右側光軸画像（第２の画像）、４３上側光軸画像（第１の画像）、４４下側光軸画像（第２の画像）、５０視差検出回路、６０測距回路。

Claims

被写体を撮像するために用いられ、光を集光する第１のレンズおよび第２のレンズを有し、前記第１のレンズと前記第２のレンズとは、同一の焦点距離を有し、互いの光軸が平行であり、かつ互いの光軸間の距離が既知の値として配置されたレンズユニットと、
前記第１のレンズを通過した第１の光軸を有する光を反射させる第１の固定鏡と、
前記第２のレンズを通過した第２の光軸を有する光を反射させる第２の固定鏡と、
前記第１の固定鏡で反射された光および前記第２の固定鏡で反射された光を受光できる位置に配置され、前記第１の固定鏡で反射された光を反射させる第１の反射鏡と、前記第２の固定鏡で反射された光を反射させる第２の反射鏡とを有する三角鏡と、
前記第１のレンズ、前記第１の固定鏡、および前記第１の反射鏡を経由する第１の経路と、前記第２のレンズ、前記第２の固定鏡、および前記第２の反射鏡を経由する第２の経路とが、前記同一の焦点距離を有し、前記第１の経路を経由した光を第１の画像と、前記第２の経路を経由した光を第２の画像として同時に取り込むことで、前記被写体に関して前記第１の画像および前記第２の画像を含む１枚の撮像画像を生成する撮像素子と
を備えるステレオカメラ。
前記第１の画像内における前記被写体の位置と、前記第２の画像内における前記被写体の位置との比較結果に基づいて視差を検出する視差検出回路と、
前記視差検出回路で検出された前記視差に基づいて前記レンズユニットから前記被写体までの距離を算出する測距回路と
をさらに備える請求項１に記載のステレオカメラ。
前記レンズユニット、前記第１の固定鏡、前記第２の固定鏡、前記三角鏡、および前記撮像素子を含んで構成される光学系は、前記被写体に対して、前記第１の光軸が左側光軸となり、前記第２の光軸が右側光軸となるように配置されている
請求項１または２に記載のステレオカメラ。
前記レンズユニット、前記第１の固定鏡、前記第２の固定鏡、前記三角鏡、および前記撮像素子を含んで構成される光学系は、前記被写体に対して、前記第１の光軸が上側光軸となり、前記第２の光軸が下側光軸となるように配置されている
請求項１または２に記載のステレオカメラ。