JP2006052975A - 双眼視装置 - Google Patents

Abstract

【課題】 視野角が広い場合においても正確に距離測定が可能である双眼視装置を提供する。
【解決手段】 歪曲収差は、レンズ系への入射角θに依存するので、歪曲収差が無いときに光軸からｒ_０だけ離れた点に結像すべき点が光軸からｒだけ離れた点に結像したとすると、歪曲収差Ｖは、 Ｖ＝（ｒ−ｒ_０）／ｒ_０ で表される。この関係より、歪曲収差Ｖが知られているとき、光軸からｒ離れた点に結像した点を、光軸とその点を結ぶ線上で、光軸から ｒ／（１＋Ｖ） だけ離れた点に結像したものに変換する画像処理を行うことにより、歪曲収差の補正を行うことができる。これにより、互いに直交する平行線群を撮像したとき（ａ）のようになる像を、（ｂ）のように修正することができる。
【選択図】 図１

Description

本発明は、２つのカメラを使用して双眼立体視を行い、撮像される物体の画像の各点までの距離を測定する双眼視装置に関するものである。

双眼立体視をして、撮像方向に垂直な面での画像情報に加えて奥行き方向の情報をも得ようとする機材は古くから知られていた。例えば航空機から俯瞰して地図を作成する際に用いられた図化機では、画像の歪曲収差が極めて良く補正された光学系を有する２つのカメラを使用して撮像を行い、パララックス（視差）を使用して撮像点の奥行きを求める方法が使用されてきた。

この方法の原理を図７、図８を用いて説明する。図７は、それぞれレンズ系Ａとレンズ系Ｂを有する２つのカメラ（各々のレンズ系の中心をＯ_Ａ、Ｏ_Ｂとする）を用いて、Ｏ_Ａ、Ｏ_Ｂを結ぶ線に平行な物体ａｂｃを撮像したときの様子を示すものである。ｂはａとｃの中心である。

このとき、各レンズ系Ａ、Ｂは、歪曲収差量が実質０％に収差補正されたレンズ系であるとすると、三角形の相似の関係から物体ａｂｃとレンズ系Ａによると画像ａ’ｂ’ｃ’及びレンズ系Ｂによる画像ａ”ｂ”ｃ”は相似であり歪みは無い。レンズ系ＡとＢが等しければ、物体ａｂｃと撮像面が平行な平面である場合に、画像ａ’ｂ’ｃ’と画像ａ”ｂ”ｃ”は、完全に一致する。すなわち、２つのカメラで撮像された画像に視差はなく、これから、物体ａｂｃと撮像面が平行となっていることが認識できる。

図８は、物体に奥行き方向の凹凸がある場合の図であり、物体ａｂｃとレンズ系Ａによると画像ａ’ｂ’ｃ’及びレンズ系Ｂによる画像ａ”ｂ”ｃ”を併せて示す。この場合は、物体はａｄｃで表されるような形状をしているとする。このような場合、ｄ点の像は、図に示すように、レンズ系Ａにおいてはｂ’とｃ’の間に形成され、レンズ系Ｂにおいては、ａ”とｂ”の間に形成される。すなわち、両者の間に視差に起因する画像の歪みが発生するので、この画像の歪みを計測することにより、ｄ点の奥行き方向位置を求めることができる。

この目的を達成するためには、従来0.001％以下程度に極めて厳密に歪曲収差が補正された光学系が要求され、その目的を達するためには視野角が最大６０度程度以下のレンズ系が用いられてきた。

しかしながら、近年、極めて広い視野を有する撮像レンズ系を使用した場合において、その中央付近の所定の視野に対して被写体の立体情報を要求される場合が生じるようになってきた。しかも、無限遠から、レンズ系の焦点距離の２倍程度の近距離に至る広い範囲で使用することが要求される場合が生じてきた。具体的には、検査工程での品質検査装置としての撮像装置や、移動体機器の眼としての用途に対して、入射角120°以上の超広角、場合によっては180°を超える魚眼光学系において、その視野の中央部付近での立体情報を得ることが要求される場合がある。

しかしながら、このように視野角が広いレンズ系を使用する場合には、レンズ系の歪曲収差や倍率色収差が問題となり、正確な距離測定が困難になるという問題がある。また、物体までの距離が近くなると、カメラの輻輳に伴う画像の歪みが発生し、それにより正確な距離測定が困難となるという問題点がある。

本発明は、このような事情に鑑みてなされたもので、視野角が広い場合においても正確に距離測定が可能である双眼視装置、物体までの距離が近い場合でも正確に距離測定が可能である双眼視装置を提供することを課題とする。

前記課題を解決するための第１の手段は、撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、予め求められたレンズ系の歪曲収差に基づいて、撮像装置で撮像された画像を補正する機能を有することを特徴とする双眼視装置（請求項１）である。

撮像素子として２次元配列された光電素子アレイを使用したカメラにおいては、撮像面における画素の配列方向をｘ方向ｙ方向とした場合に、各画素ｉの位置（ｘ_ｉ，ｙ_ｉ）を正確に知ることができ、かつ、画素数として８００万画素を超えるようなものが製造されるようになってきている。よって、たとえ、レンズ系に歪曲収差があっても、その歪曲収差が予め分かっていれば、各画素ｉに結像した画像上の点が、歪曲収差がない場合にどの点（ｘ_ｊ，ｙ_ｊ）に結像すべきものであったかを計算により求めることができる。

すなわち、この補正計算に基づいて、（ｘ_ｉ，ｙ_ｉ）に結像した画像上の点を（ｘ_ｊ，ｙ_ｊ）に結像したものとしてあつかう画像処理を行えば、歪曲収差が大きなレンズ系を使用した場合でも、歪曲収差が非常に小さいレンズ系を使用した場合と同じ画像を得ることができる。よって、視野角が広角度のレンズ系を使用した場合でも、正確に目標物における奥行きの変化を測定することが可能となる。

前記課題を解決するための第２の手段は、撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、予め求められたレンズ系の倍率色収差に基づいて、撮像装置で撮像された画像を補正する機能を有することを特徴とする双眼視装置（請求項２）である。

撮像素子として２次元配列された光電素子アレイを使用したカメラは、Ｒ、Ｇ，Ｂの三色について別々に画像信号を取り出せるようになっている。よって、レンズ系の倍率色収差が予め分かっていれば、前記第１の手段と同様に、ある点に結像した画像上の点が、倍率色収差がない場合にどの点に結像すべきであるかを、各色毎に補正することができる。よって、倍率色収差が小さいレンズ系を使用した場合と同様の効果を得ることができる。

前記課題を解決するための第３の手段は、撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、輻輳に起因して発生する画像の歪みを補正する機能を有することを特徴とする双眼視装置（請求項３）である。

カメラから物体面までの距離が近い場合、２つのカメラの輻輳に基づいて、少なくとも一方のカメラで撮像される画像そのものが歪み、正確な奥行きの測定ができなくなる。なお、本明細書において「輻輳」というのは、測定される物体の奥行きの基準となる平面（物体の基準平面）の法線とカメラの光軸とが平行になっていないことを言い、これらのなす角を「輻輳角」と呼ぶ。

輻輳による像の歪みについても、カメラの光軸と、物体の基準平面の法線とのなす角が予め分かっていれば、幾何学的な関係により、ある点に結像した画像上の点が、カメラの撮像面と、物体の基準平面とが平行の場合にどの点に結像すべきであるかを、補正することができる。よって、輻輳に基づく像の歪みを補正して、物体面の奥行きを正確に測定することができる。

前記課題を解決するための第４の手段は、撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、前記２台のカメラの撮像倍率を同じとするように画像処理を行う機能を有することを特徴とする双眼視装置（請求項４）である。

カメラから物体面までの距離が近い場合、各カメラと物体面との距離が同じにならず、その結果撮像倍率が異なる場合がある。このようなことが起こると物体の奥行きの測定に誤差が発生する。これは、２つのカメラのうち少なくとも一方で、物体を斜めから撮像するような場合に発生する。この場合、２つのカメラの光軸と物体の基準平面とのなす角が分かれば、幾何学的な関係により、両方のカメラの倍率が同じになるように画像処理を行うことができ、物体面の奥行きを正確に測定することができる。

前記課題を解決するための第５の手段は、前記第１の手段から第４の手段のいずれかであって、前記カメラのレンズ系は、像側テレセントリックな光学系であり、かつ、フォーカシングが可能なように構成されていることを特徴とするもの（請求項５）である。

本手段に置いては、カメラのレンズ系が、像側テレセントリックな光学系とされているので、フォーカシングをする際に、光学系を移動させ、撮像面との距離を変えるようにしても、結像倍率が変化しないようにすることができる。

前記課題を解決するための第６の手段は、前記第１の手段から第５の手段のいずれかであって、少なくとも一つのカメラが回動可能とされており、それにより輻輳角が可変とされていることを特徴とするもの（請求項６）である。

本手段によれば、物体面までの距離が大きく変わる場合でも、レンズ系の中心部近傍に物体の奥行きを測定したい部分を位置させることができる。

前記課題を解決するための第７の手段は、前記第６の手段であって、前記回動可能なカメラの回動中心が、前記レンズ系の入射瞳近傍に設けられていることを特徴とするもの（請求項７）である。

レンズ系の入射瞳は入射角度によって多少異なるのが一般的であり、かつ、レンズ系の焦点合わせに付随して動く可能性がある。「入射瞳近傍」とは、レンズ系の使用状況によるこのような入射瞳の位置変化を考慮した場合に、光束のケラレが目的とする許容範囲に収まる範囲のことである。

本手段によれば、カメラが入射瞳近傍を中心として回動するので、複数のカメラの基線長が実質的に変化しないようにすることができる。

前記課題を解決するための第８の手段は、前記第１の手段から第７の手段のいずれかであって、前記レンズ系の視野角が１２０°以上とされていることを特徴とするもの（請求項８）である。

本手段においては、視野角が広い場合においても、正確な距離測定が可能となる。

本発明によれば、視野角が広い場合においても正確に距離測定が可能である双眼視装置、物体までの距離が近い場合でも正確に距離測定が可能である双眼視装置を提供することができる。

以下、本発明の実施の形態の例を、図を用いて説明する。本実施の形態に用いるカメラは、「ディジタルカメラ」と称されている、撮像素子として２次元配列された光電素子アレイを使用したカメラであるので特に説明を要しないであろう。

まず、歪曲収差の補正方法について説明する。歪曲収差は、レンズ系への入射角θに依存するので、歪曲収差が無いときに光軸からｒ_０だけ離れた点に結像すべき点が光軸からｒだけ離れた点に結像したとすると、歪曲収差Ｖは、
Ｖ＝（ｒ−ｒ_０）／ｒ_０
で表される。

この関係より、歪曲収差Ｖが知られているとき、光軸からｒ離れた点に結像した点を、光軸とその点を結ぶ線上で、光軸から
ｒ／（１＋Ｖ）
だけ離れた点に結像したものに変換する画像処理を行うことにより、歪曲収差の補正を行うことができる。

これにより、互いに直交する平行線群を撮像したとき図１（ａ）のようになる像を、図１（ｂ）のように修正することができる。

倍率色収差の補正も、Ｒ，Ｇ，Ｂの各色毎に、歪曲収差の補正に準ずる補正を行うことにより補正することが可能である。これにより図２（ａ）に示すように、基準波長で収差が補正された場合に残る他波長における倍率色収差を、図２（ｂ）に示すように補正することができる。

次に、輻輳による歪みの補正方法について説明する。図３は、一つのカメラの撮像面１と、物体の基準面２とが傾いている場合を示す図である。撮像面１とカメラの光軸３とは垂直であるので、物体の基準面２とカメラの光軸３とは、α（≠９０°）の角度をなす。ａｃを物体の基準面２上の物体とし、カメラの光軸３がｂ点でａｃと交わるとする。なお、ａｂｃの像をａ’ｂ’ｃ’とする。

物体の基準面上の点Ｐの像Ｐ’について考える。ｂＰ間の距離をＲとし、図３においてカメラの光軸３及び物体面の垂線ｂｕを共に含む平面を回転方向の基準面にとって、垂線ｂｕの方向から点Ｐを見ると、図４に示すように見える。ただしφは、物体の基準面において線分ｂＰと回転方向の基準面とのなす角である。このような関係があるとき、点Ｐは、点ｂから
光軸方向に、Ｒcosφsinα
図３の紙面上下方向に、Ｒcosφcosα
図３の紙面と垂直方向に、Ｒsinφ
だけずれていることになる。像Ｐ’はこのずれた位置でのＰの像となる。

すなわち、Ｐ’は光軸上の点ｂ’を中心として考えた場合、半径Ｒ’が
Ｒ’＝Ｌ’Ｒ（cos^２φcos^２α＋sin^２φ）^１／２／（Ｌ−Ｒcosφsinα）
回転方向の基準面に対する角度φ’が
φ’＝tan^−１（Ｒsinφ／Ｒcosφcosα）
＝tan^−１（tanφ／cosα）
で表される点となる。ただし、Ｌはレンズ系の中心（厳密には前側主点）から点ｂまでの距離、Ｌ’はレンズ系の中心（厳密には後側主点）から撮像面までの距離である。又、レンズ系が像側テレセントリックな場合は、Ｌは物体からレンズ系の前側焦点までの距離、Ｌ’はレンズ系の前側焦点距離でってもよい。

一般に、Ｌ’、αは分かっており、かつ２つのカメラの輻輳角によって生じる光軸の交点からＬが定まるので、逆に、撮像面での光軸位置から半径Ｒ’離れ、回転方向の基準面からφ’だけ回転した撮像点に結像した点は、αが０°のとき、すなわち輻輳がないときに光軸から
Ｒ”＝ Ｌ’Ｒ／Ｌ
だけ離れ、回転方向の基準面から
φ”＝φ＝tan^−１（tanφ’＊cosα）
だけ回転した撮像点の点に結像するはずである。Ｒを消去することにより、
Ｒ’＝Ｒ”（cos^２φcos^２α＋sin^２φ）^１／２／（１−Ｒ”cosφsinα／Ｌ’）
なる関係が得られる。
φ＝tan^−１(tanφ’＊cosα)
であるから、これらの式により（Ｒ’，φ’）を（Ｒ”，φ”）に変換する画像処理を行うことにより、輻輳に起因する画像の歪みの補正を行うことができる。これにより、互いに直交する平行線群を撮像したとき図５（ａ）のようになる像を、図５（ｂ）のように修正することができる。

図６は、２つのカメラを、その光軸が、物体の基準面ａｂｃの法線に対してそれぞれα、βの角をなすようにして撮像を行う場合を示す図である。この図において、レンズ系Ａの中心とレンズ系Ｂの中心を結んだ線は、物体に基準面ａｂｃに対して平行となっている。この場合、レンズ系Ａによる像はａ’ｂ’ｃ’となり、レンズ系Ｂによる像はａ”ｂ”ｃ”となって像の倍率が異なり、そのために物体の奥行きを正確に測定することができない。このような場合でも、前述の輻輳による像の歪みの補正を行うことにより、２つのレンズ系の倍率が同じものであるときに得られる画像に補整することができ、物体の奥行きを正確に測定することができる。

なお、以上のような画像処理により画像の補整を行う機能を有する双眼視装置において、レンズ系を像側テレセントリックとすることが好ましい。このようにすると、ピント合わせをするとき、レンズ系全体を撮像面に対して前後させてピント合わせを行っても、結像倍率を一定に保つことができる。

また、カメラを回転可能にし、測定物体の奥行きを測定したい部分が視野の中心に来るように可変できるようにすることが好ましい。このようにすれば、レンズ系の収差の少ない部分を使用して撮像を行うことができる。このようにしても、輻輳に基づく歪みの補正を行うことができるので、正しい奥行きを測定することができる。

回転可能な場合の回動中心は、レンズ系の中心、則ち主点の位置でも構わないが、レンズの入射瞳の位置とすることは、普遍的に一層有効である。瞳の位置は光線が集まる場所であり、瞳位置を中心に回動させれば、複数のカメラ間の基線長が実質的に変化しない。像側テレセントリックな光学系の場合は、特に有効である。図９にこの関係を示す。

このように、カメラを回転可能にすることにより、遠方の物体を撮像する場合、近くの物体を撮像する場合の両方に対応することが可能となる。

歪曲収差補正の例を示す図である。 倍率色収差補正の例を示す図である。 輻輳による歪みの補正方法について説明する図である。 輻輳による歪みの補正方法について説明する図である。 輻輳による歪みの補正の例を示す図である。 ２つのカメラを、その光軸が、物体の基準面法線に対してそれぞれα、βの角をなすようにして撮像を行う場合を示す図である。 パララックスを使用して撮像点の奥行きを求める方法を示す図である。 パララックスを使用して撮像点の奥行きを求める方法を示す図である。 像側テレセントリックな光学系をした場合の説明図である。

符号の説明

１…撮像面、２…物体の基準面、３…光軸

Claims (8)

1. 撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、予め求められたレンズ系の歪曲収差に基づいて、撮像装置で撮像された画像を補正する機能を有することを特徴とする双眼視装置。
2. 撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、予め求められたレンズ系の倍率色収差に基づいて、撮像装置で撮像された画像を補正する機能を有することを特徴とする双眼視装置。
3. 撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、輻輳に起因して発生する画像の歪みを補正する機能を有することを特徴とする双眼視装置。
4. 撮像素子として２次元配列された光電素子アレイを使用したカメラを２台用いて、各カメラで撮像された物体の画像の視差に基づいて、前記物体を構成する各点までの距離を算出する機能を有する双眼視装置であって、前記２台のカメラの撮像倍率を同じとするように画像処理を行う機能を有することを特徴とする双眼視装置。
5. 前記カメラのレンズ系は、像側テレセントリックな光学系であり、かつ、フォーカシングが可能なように構成されていることを特徴とする請求項１から請求項４のうちいずれか１項に記載の双眼視装置。
6. 少なくとも一つのカメラが回動可能とされており、それにより輻輳角が可変とされていることを特徴とする請求項１から請求項５のうちいずれか１項に記載の双眼視装置。
7. 前記回動可能なカメラの回動中心が、前記レンズ系の入射瞳近傍に設けられていることを特徴とする請求項６に記載の双眼視装置。
8. 請求項１から請求項７のうちいずれか１項に記載の双眼視装置であって、前記レンズ系の視野角が１２０°以上とされていることを特徴とする双眼視装置。
   

Images