JP2008040115A - ステレオカメラ - Google Patents

Abstract

【課題】ステレオカメラの左右対称性を損なうことなく、必要十分な距離情報の生成範囲を確保する。
【解決手段】メインカメラ４およびサブカメラ５の少なくとも一方における撮像素子４ｂ（または５ｂ）の受光領域の中心は、光学レンズ４ａ（または５ａ）の結像範囲の中心に対して、ステレオ基線方向（ステレオ基線上におけるメインカメラ４からサブカメラ５に向かう方向）にオフセットしている。
【選択図】図４

Description

本発明は、ステレオカメラに係り、特に、光学レンズと撮像素子との位置的関係に関する。

車外監視等の用途において、ステレオカメラを自動車等の車両に搭載し、三角測量の原理を用いて対象物の距離情報を生成するステレオ画像処理が広く実用化されている。ステレオ画像処理では、例えば、特許文献１で指摘されているように、サブカメラによって撮像された比較画像上に一致探索範囲を設定する関係上、距離情報の生成範囲が車両中心軸に対してサブカメラ側（例えば左側）に偏ってしまい、距離情報が得られる範囲を十分に確保するのが困難であるという課題がある。そこで、特許文献１では、カメラステーに対して、メインカメラおよびサブカメラの双方の光軸をメインカメラ側に傾斜させている。これにより、車外監視を行うのに必要な距離情報の生成範囲が車両中心軸に対して略左右均等に設定され、必要十分な範囲の距離情報を確保できる。また、メインカメラの受光領域の端一杯まで使用して基準画像を形成する場合でも、無限遠対応点の検出が可能なように、検索マージンを設定できる。

また、特許文献２は、ステレオカメラではなく単眼カメラに関するものであるが、撮像素子部の中心がレンズ系の光軸上から偏心するように、レンズ系を撮像素子部に対して所定の方向に偏心させた構成が開示されている。このような偏心配置により、レンズ系の光軸を一方向に向けたままで、カメラの撮像方向を変更でき、車両搭載時における省スペース化を図ることが可能になる。なお、特許文献２には、ステレオカメラ固有の特性や課題を考慮した上での、ステレオカメラに関する撮像素子とレンズ系との位置的関係については何ら開示・示唆されていない。
特許第３３４９１２１号公報 特開２００３−２１９２２６号公報

しかしながら、特許文献１では、左右のカメラを略同方向に傾けるので、外観上の左右対称性が損なわれる。これは、適用機器への組み込みが難しくなるといった問題や、自動車等への搭載時に周辺部材との位置的な整合性を取る必要が生じて内装デザイン上不利になるといった問題を招くおそれがある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、ステレオカメラの左右対称性を損なうことなく、必要十分な距離情報の生成範囲を確保することである。

かかる課題を解決するために、第１の発明は、メインカメラおよびサブカメラで同一の撮像対象を異なる視点で撮像する新規な構成のステレオカメラを提供する。メインカメラは、光学レンズと、この光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、この撮像素子の受光領域の一部が、距離情報を生成する際の基準画像領域として用いられる。サブカメラは、光学レンズと、この光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、この撮像素子の受光領域のうち、基準画像領域よりも広い領域が、距離情報を生成する際の比較画像領域として用いられる。ここで、少なくともサブカメラにおいて、受光領域の中心は、結像範囲の中心に対して、ステレオ基線上のメインカメラからサブカメラに向かう方向、すなわち、ステレオ基線方向に所定のオフセット量でオフセットしている。

ここで、第１の発明に係るメインカメラにおいて、受光領域の中心と結像範囲の中心との間隔は、所定のオフセット量以下であることが好ましい。この場合、メインカメラにおいて、受光領域の中心は、結像範囲の中心と略一致してもよい。また、上記所定のオフセット量は、少なくとも、距離情報を生成する際の一致検索範囲に基づいて設定されていてもよく、また、一致検索範囲と無限遠検索マージンとに基づいて設定されていてもよい。

一方、第２の発明は、メインカメラおよびサブカメラで同一の撮像対象を異なる視点で撮像する新規な構成のステレオカメラを提供する。メインカメラは、光学レンズと、この光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、この撮像素子の受光領域の一部が、距離情報を生成する際の基準画像領域として用いられる。サブカメラは、光学レンズと、この光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、この撮像素子の受光領域のうち、基準画像領域よりも広い領域が、距離情報を生成する際の比較画像領域として用いられる。ここで、少なくともサブカメラにおいて、比較画像領域の中心は、結像範囲の中心に対して、ステレオ基線上のメインカメラからサブカメラに向かう方向、すなわち、ステレオ基線方向に所定のオフセット量でオフセットしている。

また、第１または第２の発明において、メインカメラとサブカメラとが左右対称に取り付けられるカメラステーをさらに設けてもよい。

第１の発明によれば、撮像素子の受光領域の中心を光学レンズの結像範囲の中心に対してステレオ基線方向にオフセットさせることで、カメラをメインカメラ側に傾けなくても、それと同様の効果を得ることができる。したがって、ステレオカメラの外観上の左右対称性を損なうことなく、必要十分な距離情報の生成範囲を確保できる。同様の効果は、比較画像領域の中心を結像範囲の中心に対してオフセットさせた第２の発明においても得ることができる。

図１は、ステレオ画像処理システムの概略構成図である。ステレオ画像処理システム１は、自動車等の車両に搭載され、車両前方の対象物を認識する。このシステム１は、同一の撮像対象（前方の景色）を異なる視点で撮像するステレオカメラ２と、このステレオカメラ２とによって撮像された一対の画像（ステレオ画像）にステレオ画像処理を施して、車外前方に存在する対象物の距離情報（三次元距離分布）を生成する画像処理装置６とを有している。ステレオカメラ２は、メインカメラ４とサブカメラ５とを有し、これらのカメラ４，５は、所定の間隔（カメラ基線長）を隔ててカメラステー３の両端に左右対称となるように取り付けられている。そして、メインカメラ４およびサブカメラ５は、ほぼ真正面を向いた状態で取り付けられている。進行方向右側に配置されたメインカメラ４は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、左側に配置されたサブカメラ５は、この処理を行うのに必要な比較画像（左画像）を撮像する。画像処理装置６は、これらのカメラ４，５によって撮像された一対の画像を入力としたステレオ画像処理等を行って、道路の三次元的な形状や先行車や歩行者の三次元的な位置等を含む距離情報を生成する。

図２および図３は、画像処理装置６において実行される距離情報の生成処理の説明図である。まず、基準画像上の相関元となる小領域（例えば４×４画素）に対して、対応する一致検索範囲（例えば４×１２８画素）が比較画像上に設定される。この範囲内において、相関先の候補となる小領域（例えば４×４画素）を１画素ずつ順次シフトさせながら、それぞれの相関先候補について、相関元との相関性が評価される。周知のように、両者の相関性は、内部に存在する画素値の輝度差絶対和や輝度差自乗和によって評価でき、基本的に、その値の最も小さい相関先候補が相関先として決定される。そして、相関元に対する相関先の水平方向のズレ量（視差ｄ）が距離情報となる。車両前方に存在する対象物（先行車や歩行者等）の三次元位置（Ｘ，Ｙ，Ｚ）は、画像平面上の座標値（ｉ，ｊ）と視差ｄとを入力とした座標変換によって一義的に算出される。

ここで、一致検索範囲は、図３に示すように、基準画像上の略対応する位置、具体的には、無限遠対応点から所定の無限遠検索マージン（例えば３画素）だけ左方向にずらした位置からメインカメラ４側に延出された横長の短冊領域として設定される。そのため、図２（ｂ）に示した基準画像上の小領域については、比較画像上において一致検索範囲を辛うじて確保できるが、それよりも右側（車両外側）にずれた図２（ｃ）の小領域については、これを確保することができない。つまり、図２（ｂ）よりも右側の小領域については距離情報を生成することができず、結果的に、距離情報の生成範囲は、図２（ｄ）に示すように、基準領域上の左側に偏った領域になってしまう。従来技術として挙げた特許文献１は、カメラ自体を傾けて取り付けることによって、これに対処するものであるのに対し、以下に述べる各実施形態は、カメラ自体を傾けることなく、或いは、傾けるにしても外観上の左右対称性を損なわないごく僅かな程度で、同様の効果を得るものである。

（第１の実施形態）
図４は、第１の実施形態に係るステレオカメラの概略上面図である。メインカメラ４は、光学レンズ４ａと、この光学レンズ４ａの結像範囲に位置的に対応して設けられた撮像素子４ｂとを内蔵している。サブカメラ５もメインカメラ４と同様に、光学レンズ５ａと、この光学レンズ５ａの結像範囲に位置的に対応して設けられた撮像素子５ｂとを内蔵している。そして、メインカメラの光軸Ｏ１すなわち光学レンズ４ａ両面の曲率中心を結ぶ線と、サブカメラ５の光軸Ｏ2すなわち光学レンズ５ａ両面の曲率中心を結ぶ線は、共にほぼ車両中心軸方向（車両直進方向）を向くように取り付けられている。すなわち、メインカメラ４とサブカメラ５は、左右対称に取り付けられている。本実施形態では、基準画像上の右側の所定区間に位置する小領域に対応する一致検索範囲を比較画像上で確保すべく、サブカメラ５に関して、光学レンズ５ａに対する撮像素子５ｂの相対位置をオフセットさせている。

図５は、本実施形態におけるオフセットの説明図である。まず、メインカメラ４において、光学レンズ４ａの結像範囲Ａ1（イメージサークル）は、撮像素子４ｂの受光面（同図で太線で囲まれた矩形領域）を包含している。この受光面の中心（○印にて図示）は、結像範囲Ａ1の中心（×印にて図示）と略一致している。つまり、メインカメラ４に関して、光学レンズ４ａに対する撮像素子４ｂの相対位置はオフセットしていない。ステレオカメラ２の後段に位置する画像処理装置６は、撮像素子４ｂの受光面の一部を、距離情報を生成する際に必要な基準画像領域Ｂ1として設定する。

一方、サブカメラ５においても、光学レンズ５ａの結像範囲Ａ2は、撮像素子５ｂの受光面を包含している。この受光面の中心（○印にて図示）は、結像範囲Ａ2の中心（×印にて図示）に対して、ステレオ基線方向、すなわち、ステレオ基線上におけるメインカメラ４からサブカメラ５に向かう方向に所定のオフセット量でオフセットしている。また、距離情報を生成する際に必要な比較画像領域Ｂ2として、基準画像領域Ｂ1よりも広い領域が撮像素子５ｂの受光面上に設定される。

図４を参照すると、サブカメラ５の撮像素子５ｂを光学レンズ５ａに対してカメラ基線方向（左側）にオフセットさせるのは、サブカメラ５のカメラ光軸を右に傾けて、右側視界を広げるのと実質的に同等である。ここで、比較画像領域Ｂ２の基線方向側端部の位置は、基準画像領域Ｂ１の基線方向側端部の小領域に対応する一致検索範囲を比較画像上に確保する分、基準画像領域Ｂ１の基線方向側端部に対応する位置よりも基線方向側に位置している。これにより、図２（ｂ）に示した基準画像上の小領域よりも右側に位置する小領域（図２（ｃ）を参照）についても、距離情報を算出することができる。一方、比較画像領域Ｂ２の反基線方向側端部の位置は、基準画像領域Ｂ１の反基線方向側端部に対応する位置よりも検索マージン分、反基線方向側に位置している。これにより、比較画像領域の反基線方向側端部の小領域についても、無限遠対応点の検索が可能になる。そして、無限遠検索マージンと一致検索範囲の水平方向における長さの相違によって、比較画像領域Ｂ２の中心位置が光学レンズ５ａの中心よりも基線方向側にオフセットされている。本実施形態では、このオフセット量に合わせて光学レンズ５ａの中心に対する撮像素子５ｂの中心のオフセット量を設定している。このように、光学レンズ５ａの中心に対する撮像素子５ｂの中心のオフセット量は、距離情報を生成する際の一致検索範囲および無限遠検索マージンに基づいて設定される。なお、無限遠検索マージンを設定する必要がない場合には、基準画像領域Ｂ１と比較画像領域Ｂ２とにおける反基線方向側端部のそれぞれの位置を互いに対応する位置に設定すればよく、この場合、光学レンズ５ａの中心に対する撮像素子５ｂの中心のオフセット量は、一致検索範囲に基づいて設定される。

本実施形態によれば、距離情報の生成範囲をステレオカメラ２の中心を通る主軸、或いは、車両に適用した場合には車両中心軸に対して左右均等に近い状態に設定できるので、監視に必要十分な範囲の距離情報を生成することができる。また、メインカメラ４の画像端一杯まで使用して基準画像領域Ｂ1を設定する場合でも、比較画像上に検索マージンを設定でき、ステレオマッチングによる無限遠対応点の検索が可能になる。

また、本実施形態によれば、ステレオカメラ２の外観上の左右対称性を容易に確保できる。これにより、適用機器に組み込む際に周辺部材との干渉が生じにくく、車両等への搭載も容易になり、かつ、内装デザイン上の問題も解消できる。それとともに、左右対称性の確保により、カメラ部材の加工や組立が容易になり、コスト削減を図れるという効果もある。

なお、上述した実施形態では、メインカメラ４において、撮像素子４ｂの受光領域の中心を光学レンズ４ａの結像範囲の中心と略一致させているが、最低限、受光領域の中心と結像範囲の中心との間隔が、サブカメラ５側のオフセット量以下であればよい。なお、この間隔をオフセット量と同等に設定したのが、次に述べる第２の実施形態である。

（第２の実施形態）
図６は、第２の実施形態におけるオフセットの説明図である。本実施形態では、サブカメラ５のみならず、メインカメラ４についても撮像素子４ｂをオフセットさせている点に特徴があり、それ以外については第１の実施形態と同様である。撮像素子４ｂの受光面の中心（○印にて図示）は、光学レンズ４ａの結像範囲Ａ1の中心（×印にて図示）に対して、ステレオ基線方向に、サブカメラ５側と同様のオフセット量でオフセットしている。この場合、距離情報を生成する際に必要な基準画像領域Ｂ1は、撮像素子４ｂの受光面をステレオ基線方向（左方向）にオフセットさせた関係上、それとは逆方向に撮像素子４ｂに対してオフセットして設定されている。なお、各光学レンズ５ａ、５ｂの中心に対する各撮像素子４ｂ、５ｂの中心のそれぞれのオフセット量は、上述の第１の実施例と同様にして一致検索範囲および無限遠検索マージンに基づいて適宜設定される。

本実施形態によれば、第１の実施形態と同様の効果があるのに加えて、メインカメラ４およびサブカメラ５が同一の構成なので、部品の共通化を図ることができる。また、ステレオカメラ２の製造時の加工に際して、これらのカメラ４，５の相対的精度を保ちやすく、加工も容易になる。その結果、これらが相俟って、製造コストの一層の低減を図れるという効果が得られる。

なお、上述した各実施形態は、撮像素子４ｂ，５ｂの取付位置をオフセットさせた構成に関するが、このような取付位置のオフセットに代えて、或いは、これと併用して、画像処理装置６によって設定される画像使用範囲（基準画像領域Ｂ1，比較画像領域Ｂ2）をオフセットさせてもよい。この場合、少なくともサブカメラ５において、比較画像領域Ｂ2の中心を、光学レンズ５ａの結像範囲の中心に対して、ステレオ基線方向に所定のオフセット量でオフセットさせればよい。これにより、上述した各実施形態と同等の効果を得ることができる

ステレオ画像処理システムの概略構成図 距離情報の生成処理の説明図 距離情報の生成処理の説明図 第１の実施形態に係るステレオカメラの概略上面図 第１の実施形態におけるオフセットの説明図 第２の実施形態におけるオフセットの説明図

符号の説明

１ ステレオ画像処理システム
２ ステレオカメラ
３ カメラステー
４ メインカメラ
５ サブカメラ
６ 画像処理装置
４ａ，５ａ 光学レンズ
４ｂ，５ｂ 撮像素子

Claims (7)

1. 同一の撮像対象を異なる視点で撮像するステレオカメラにおいて、
   光学レンズと、当該光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、当該撮像素子の受光領域の一部が、距離情報を生成する際の基準画像領域として用いられるメインカメラと、
   光学レンズと、当該光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、当該撮像素子の受光領域のうち、前記基準画像領域よりも広い領域が、距離情報を生成する際の比較画像領域として用いられるサブカメラとを有し、
   少なくとも前記サブカメラにおいて、前記受光領域の中心は、前記結像範囲の中心に対して、ステレオ基線上の前記メインカメラから前記サブカメラに向かう方向であるステレオ基線方向に所定のオフセット量でオフセットしていることを特徴とするステレオカメラ。
2. 前記メインカメラにおいて、前記受光領域の中心と前記結像範囲の中心との間隔は、前記所定のオフセット量以下であることを特徴とする請求項１に記載されたステレオカメラ。
3. 前記メインカメラにおいて、前記受光領域の中心は、前記結像範囲の中心と略一致することを特徴とする請求項２に記載されたステレオカメラ。
4. 前記所定のオフセット量は、少なくとも、距離情報を生成する際の一致検索範囲に基づいて設定されていることを特徴とする請求項１から３のいずれかに記載されたステレオカメラ。
5. 前記所定のオフセット量は、前記一致検索範囲と無限遠検索マージンとに基づいて設定されていることを特徴とする請求項４に記載されたステレオカメラ。
6. 同一の撮像対象を異なる視点で撮像するステレオカメラにおいて、
   光学レンズと、当該光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、当該撮像素子の受光領域の一部が、距離情報を生成する際の基準画像領域として用いられるメインカメラと、
   光学レンズと、当該光学レンズの結像範囲に位置的に対応して設けられた撮像素子とを有し、当該撮像素子の受光領域のうち、前記基準画像領域よりも広い領域が、距離情報を生成する際の比較画像領域として用いられるサブカメラとを有し、
   少なくとも前記サブカメラにおいて、前記比較画像領域の中心は、前記結像範囲の中心に対して、ステレオ基線上の前記メインカメラから前記サブカメラに向かう方向であるステレオ基線方向に所定のオフセット量でオフセットしていることを特徴とするステレオカメラ。
7. 前記メインカメラと前記サブカメラとが左右対称に取り付けられるカメラステーをさらに有することを特徴とする請求項１から６のいずれかに記載されたステレオカメラ。

Images