JP2000065532A

JP2000065532A - 多眼画像センサ

Info

Publication number: JP2000065532A
Application number: JP10240485A
Authority: JP
Inventors: Shigeru Kimura; 茂木村; Yoshiyuki Murakami; 良行村上
Original assignee: Japan Steel Works Ltd; Technical Research and Development Institute of Japan Defence Agency
Current assignee: Japan Steel Works Ltd; Technical Research and Development Institute of Japan Defence Agency
Priority date: 1998-08-26
Filing date: 1998-08-26
Publication date: 2000-03-03
Anticipated expiration: 2018-08-26
Also published as: JP2958458B1

Abstract

(57)【要約】【課題】ステレオ画像処理のための視点の異なる複数
の画像を同時に撮像する小型、安価、取り扱い容易な多
眼画像センサを提供する。【解決手段】複数の光学レンズ１は、それぞれ外周部
分にネジ部１ｃを有する筒状のケース１ａ内にレンズ１
ｂが固定されて構成される。レンズ固定部材２は、光学
レンズ１のケース１ａのネジ部１ｃが螺合されるネジ部
２ａを有する貫通穴２Ａが複数形成されている。複数の
光学レンズ１は、ケース１ａのネジ部１ｃを貫通穴２Ａ
のネジ部２ａに螺合することによりレンズ固定部材２に
位置決め固定される。固定部材４には、複数の貫通穴２
Ａに位置決め固定される複数の光学レンズ１のそれぞれ
の光軸上に位置して複数の画像撮像素子１２が固定され
る。そして、外界からの光を複数の光学レンズ１を介し
て対応する画像撮像素子１２に受光させることにより、
ステレオ画像処理に必要となる視点の異なる複数の画像
を撮像する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる位置に配置
された複数の画像センサにより得られる、複数の視点の
異なる画像から、三角測量の原理を利用して、対象物体
までの距離等を計測するステレオ画像処理装置のため
の、視点の異なる複数の画像を同時に撮像する多眼画像
センサに関する。

【０００２】

【従来の技術】人間は左右両眼の間に生じる視差によっ
て立体感を得ている。ステレオ視（ステレオビジョン、
ステレオ立体視などと呼ばれることもある）は、この視
覚の処理を２台のカメラで行う手法である。本発明の多
眼画像センサは、このステレオ視を多眼に拡張して行う
ときに必要となる、複数の画像センサからの視点の異な
る複数の画像を同時に取得するための画像センサであ
る。以下では、まず、ステレオ視の原理、多眼ステレオ
の処理手順などを簡単に述べ、その後で従来の多眼画像
センサがどのように構成されているか説明する。

【０００３】図１１は、２眼のステレオ視による距離計
測の原理を示したものである。計測対象の撮影の際、対
応の探索を簡単にするため、左右の画像センサ（以下、
単にカメラと記す場合もある）を、水平軸と光軸（Opti
cal axes）が左右でそれぞれ平行となるように設置され
ているものとする。このとき、３次元空間中の対象表面
上の点Ｐ（ｘ，ｙ，ｚ）は、カメラレンズの焦点（foca
l point ）（Ｏ_L，Ｏ _R）から距離Ｆ（焦点距離（foca
l length）の位置にある２枚の画像平面上の点Ｐ_L（ｘ
_l，ｙ_l）と点Ｐ_R（ｘ_r，ｙ_r）に投影される。この
とき、カメラの焦点距離Ｆと基線長（ベースライン）Ｂ
（カメラ間距離）が既知であれば、画像平面上の点Ｐ_L
（ｘ_l，ｙ_l）と点Ｐ_R（ｘ_r，ｙ_r）の対応関係を求
めることにより、対象表面上の点Ｐ（ｘ，ｙ，ｚ）の空
間座標は、下記式（１）に示す三角測量の原理から求め
ることができる。

【０００４】

【数１】

【０００５】ここでは、簡単のため対象物体までの距離
ｚについてだけ考える。カメラは左右に平行に配置され
ているので、各点は画像平面上でｘ軸方向にずれる。対
応する点のズレ（ｘ_l−ｘ_r）、すなわち視差をｄ＝ｘ
_l−ｘ_rで表すと、距離Ｚは、Ｚ＝ＢＦ／ｄ…式（２）
となる。

【０００６】ステレオ視は、レーザ、電波、音波などを
使用しないパッシブな距離計測法である。よって、人の
目に安全で、複数同時に運用しても干渉が無く、他の計
測に影響を与えない。また、カメラに使用されるＣＣＤ
（Charge Coupled Device ）等の撮像素子の露光時間は
通常無視できるほど早く、レーザで距離を計測する通常
のレーザレンジ・ファインダーのような機械的走査機構
が無いため、センサの構造が簡単で、移動中の像流れが
発生しないなどの利点がある。レーザレンジ・ファイン
ダーは一点一点の精密な距離が計測できるが、高価で、
処理速度も比較的遅い。このような状況から、カメラが
ＣＣＤ等の固体撮像素子で小型に構成され、最近は、カ
メラを使用したステレオ視がロボット等の障害物認識に
よく使用されている。

【０００７】対応点が求まり視差が分かれば、式（２）
から、対象物体までの距離（奥行き）が計算できる。よ
って、ステレオ視の処理は如何に正確にカメラ間の画像
の対応点を抽出できるかにある、と言うことができる。
例えば、従来、階層的に対応点を絞り込んでいく方法、
ダイナミック・プログラミングにより対応点の抽出を行
う方法、面や曲線などの高次の特徴に着目する方法、照
明等のばらつきを補正する方法、など多様なステレオ視
の改善方法が研究されている。しかしながら、これらの
工夫により処理が複雑化するのに対し、必ずしも、それ
に見合う結果が得られるとは限らなかった。最近、処理
の複雑化を避け、単純に複数のカメラを使用し使える情
報量を増やすことにより、対応点を正確に求める方法
が、より実用的な方法として認識されてきている。

【０００８】この複数台のカメラを使用してステレオ視
を行う方法は、「多眼ステレオ」と呼ばれる。ステレオ
視の処理において、距離を計測する画像の画像座標が決
まり、その点の距離を仮定すると、カメラの配置が決ま
っていれば他のカメラの画像平面でどこに写るか事前に
調べておくことができる。多眼ステレオの処理では、仮
定する距離を変えて各カメラで写る点を調べ、全てのカ
メラで総合的に最も確からしい対応点を抽出する。

【０００９】図１２は、多眼ステレオの原理的な考え方
を示したものである。図１２のように、複数のカメラが
水平に配置されているものとする。そして、この複数の
カメラの前に、対象物（この図では車両と樹木）がある
とする。各カメラには、出てくる位置は異なるが、この
対象物が写っている。例えば、最も左にあるカメラの画
像を基準にすると、カメラの位置が右に移動するに従っ
て、対象物が写る位置は画面の左側に寄ってくる。この
ズレの量は、遠くのものは少なく、近くのものは大きく
ずれる。左のカメラの画像を基準画像として、その中の
画像座標（Ｉ，Ｊ）に対して、対象物体までの距離Ｚを
仮定するとカメラの配置関係から、他のカメラで写る物
体の座標（ここでは対応候補点と呼ぶことにする）が事
前に決定できる。同じ対象物体を見ているなら、各カメ
ラの画像で仮定する物体の座標に同じものが写るはずで
ある。

【００１０】よって、これらの物体の座標の明度（対応
候補点群の明度）の類似度を調べれば、実際に仮定する
距離Ｚに物体があるかどうかを調べることができる。仮
定する距離Ｚを逐次変え、対応候補群の類似度を調べ、
最も類似度が高い仮定距離Ｚを物体までの距離の推定値
とすることができる。ここでは、水平にカメラを配置し
たが、対応候補点の座標が予め計算できれば、垂直や任
意の向きのカメラ配置の場合でも距離の推定を行うこと
ができる。

【００１１】多眼ステレオでは、複数のカメラの情報を
融合して対応を評価するため、より的確に正しい対応点
を抽出することができる。例えば、カメラが水平に配置
され、水平のエッジの対象物を見ているとする。この場
合、カメラ間での視差の方向は、エッジの方向と同じ水
平方向なので、どこに移動したか、その位置を正確に求
めることができない。逆に、カメラを垂直に配置した
ら、エッジの方向と直交する形で視差を生じるので、ど
こにずれたか容易に検出できる。水平のエッジに対して
は、垂直に配置したカメラを使用すると、対応点の検出
が正確になる。また、垂直のエッジに対しては、水平に
配置したカメラの組み合わせが良い。

【００１２】このことから、複数のカメラを配置してお
くと、色々な形状のエッジの場合でも、うまく対処でき
る。例えば、中心を基準カメラとし３×３の格子状に９
台、カメラを配置するようなことができる。このよう
に、多眼ステレオでは、対応の評価に複数のカメラを使
うだけであり、比較的簡単なアルゴリズムで頑健な対応
点の抽出が可能となる。

【００１３】多眼ステレオの視差計算の手順を、少し具
体的に書くと図１３に示すような流れになる。ここで
は、図１３を用いて多眼ステレオの処理について詳しく
説明する。画像センサ（カメラ）の台数は何台でもかま
わないが、ここでは一例として９台の画像センサ（カメ
ラ）で、対象物体を同時に撮像している場合を考える。
また、実際の対応点の探索は画像面上で行うため、３次
元空間での奥行きである距離Ｚの代わりに、各点で視差
ｄを仮定し画像面上で、ほぼ等間隔になるように、対応
点を探索する。カメラの組み合せにより、実際に画像平
面上で生じる視差の大きさや方向が異なる。よって、こ
こでは、中心の基準カメラと他のどれか１台の間で決ま
る視差を標準に、視差ｄと定義することとする。

【００１４】なお、距離Ｚと視差ｄは式（２）で関係づ
けられている。９台のカメラは一つの同期信号で同期が
取られているものとする。各カメラから通常、ラスタ走
査でビデオ信号（ディジタルカメラの場合もあるので、
この時はディジタル信号であっても良い）が出力され
る。各ビデオ信号は、Ａ／Ｄ変換（入力がディジタル信
号の場合は必要ない）され、各カメラの画像バッファに
記録される。以下の処理は、各カメラの画像全体が画像
バッファに入力された後、開始される。

【００１５】まず、計算対象の画像座標（Ｉ，Ｊ）と視
差の候補値ｄ_iを指定し、各カメラの画像バッファよ
り、対応候補点の明度情報を取り出す。これらの対応候
補点群の明度の類似度を計算すると、それが指定した画
像座標（Ｉ，Ｊ）での視差の候補値ｄ_iの確からしさと
なる。通常、この類似度の計算を行うとき、画像座標
（Ｉ，Ｊ）の近傍の対応の状況も考慮して計算する。逐
次、視差の候補値ｄ_iを変えて、最も確からしい視差を
求めることができる。また、この処理を画像座標（Ｉ，
Ｊ）を一画素単位に変えて、全画面についての視差、す
なわち、視差画像を計算できる。各点の推定された視差
は、簡単な計算で、３次元的な奥行きの値に変換でき
る。

【００１６】以上、多眼ステレオの原理や処理手順につ
いて説明したが、多眼ステレオの実際の処理で注意すべ
き点がある。それは、各カメラでどこに対応候補点が出
てくるか、正確にその座標を計算し抽出することであ
る。カメラのレンズの歪みやＡ／Ｄ変換のタイミングの
ズレ、そしてカメラの取り付けのズレを加味して、実際
に写る位置を正確に求めてやる必要がある。このため、
多眼ステレオの処理の前提として、使用する多眼画像セ
ンサごとに、カメラの歪みや取り付けのズレなどを正確
に計測して把握しておく必要がある。一度、計測して
も、機械的な衝撃やレンズの取り付けのネジの締め具合
の変化により、再度、計測し直す必要があるくらい影響
がある。

【００１７】多眼ステレオでは、視点の異なる複数の画
像が必要となるが、これらの画像は同じ時刻で、同じ種
類のカメラで撮影する必要がある。そして、ほぼ同じ対
象が画像の中に含まれ、視点が異なっておれば、どんな
方法で撮影しても良い。但し、カメラ間の位置関係が固
定されていないと、先に述べたように、そのたびに対応
候補点の座標計算のための計測を行わないといけないの
で、複数のカメラを固定した専用のカメラヘッド、ここ
では多眼画像センサが必要となる。

【００１８】多眼画像センサに使用する画像センサ（カ
メラ）は、撮像のタイミングを一致させるため同期を取
る必要があるが、カメラの配置が固定できれば、どのよ
うなカメラを使用しても良い。従来、多眼ステレオ処理
用の専用の画像入力センサとして、市販されているもの
は無い。よって、多眼画像センサは、通常のカメラを複
数組み合わせて作ることになる。

【００１９】図１４は、従来の多眼画像センサの構成例
を分かりやすく概念図で示したものである。各カメラ１
６は光学レンズ１、光学レンズを固定する部材２、撮像
素子及び周辺電子回路３、及び撮像素子等を固定する部
材４等で構成されている。複数のカメラ１６を、カメラ
固定部材６に取り付ければ、多眼画像センサとなる。従
来の多眼画像センサの特徴は、各カメラ１６はそれぞれ
「独立」しており、それらを何らかの固定部材で固定し
ていることである。なお、図１４は各カメラの独立性を
強調して概念図で示したもので、カメラの形状等により
必要となる各部品の取り付け機構やネジなど、ここでの
説明に本質的でない部品は省いている。

【００２０】従来の多眼画像センサの特徴を表す構成例
を図１４で示したが、実際の多眼画像センサを構成する
場合、色々な形で作ることができる。具体的な従来の多
眼画像センサの構成例を図１５及び図１６に示す。図１
５は、通常の箱型のカメラを利用して、９眼の多眼画像
センサを構成したものである。カメラ１６の一部に、１
８に示すような形で、取り付け金具１７を取り付ける。
このようにしたカメラを９台用意し、カメラ固定部材６
に取り付けている。

【００２１】図１６は、カード型のカメラモジュールを
使用して、９眼の多眼画像センサを構成した例である。
このカード型カメラモジュール１９は１６の箱形のカメ
ラより小型化されており、最近、よく使用されている。
各カード型カメラモジュール１９は、図１６に示すよう
に、光学レンズ１、光学レンズを固定する部材２、撮像
素子及び周辺電子回路３、及び撮像素子等を固定する部
材４で構成される。光学レンズ１は光学レンズを固定す
る部材２に取り付けられ、撮像素子等を固定する部材４
にネジ等で固定される。複数のカード型カメラモジュー
ル１９はカメラ固定部材６にネジ等で固定され、多眼画
像センサが構成される。図１４の概念図で示したよう
に、図１５及び図１６の多眼画像センサでも、一つ一つ
独立したカメラ（又はカメラモジュール）を用い、カメ
ラ間の配置を固定するやり方で構成されている。

【００２２】

【発明が解決しようとする課題】以上、従来の多眼ステ
レオ処理に使用される多眼画像センサは、通常の画像セ
ンサを単に複数まとめて構成するものであった。しかし
ながら、通常の画像センサは複数の画像センサを同時に
使用するという前提で作られていないため、実際に小型
で使いやすい多眼画像センサ実現しようとすると色々な
問題点が発生する。本発明は、以下に列挙する課題を解
決しようとするものである。

【００２３】（１）レンズの取り付けスペースが必要で
装置全体が大きくなる。通常の画像センサを使用した場
合、各画像センサに対して１個のレンズを使用する。こ
のため、各レンズごとに、取り付けネジや機構が必要と
なる。一つ一つに、レンズの取り付けのスペースが必要
で、複数の画像センサをまとめた場合、このレンズの取
り付けのスペースが全体として大きな部分を占めること
になり、結果として、多眼画像センサを小型化する事が
難しくなる。

【００２４】（２）取り付けに手間がかかり、調整が大
変である。通常の画像センサを使用して多眼画像センサ
を構成する場合、各画像センサのレンズが個別に分かれ
ており、全体として取り付けの手間がかかる。特に、レ
ンズの取り付けのネジの締め具合で、画像の撮像の幾何
学的配置が微妙にずれることがある。このズレは、多眼
ステレオの処理の対応候補点の座標計算の精度に影響
し、多眼ステレオの処理結果にも影響を与える。レンズ
が個別に独立しているため調整する箇所が多く、また機
械的な振動で調整してもずれる可能性が高くなる。

【００２５】（３）複数の撮像素子を使うため装置の価
格が高い。多眼画像センサを通常の画像センサを組み合
わせて構成した場合、どうしても複数の撮像素子を使用
し、その周辺の信号処理回路も、画像センサの台数分使
用することになる。このため、小型化が難しいだけでな
く、１台の通常の画像センサと比較して、多眼画像セン
サの価格は高くなる。

【００２６】

【課題を解決するための手段】そこで、請求項１記載の
発明は、三角測量の原理で対象物体までの距離情報など
を取得するステレオ画像処理の入力画像となる複数の画
像を取得するための視点の異なる複数の画像を同時に撮
像する多眼画像センサにおいて、外周部分にネジ部を有
する筒状のケース内にレンズが固定された複数の光学レ
ンズと、前記ケースのネジ部が螺合されるネジ部を有す
る貫通穴が複数形成され、前記複数の光学レンズを着脱
可能に位置決め固定するためのレンズ固定部材と、前記
複数の貫通穴に位置決め固定される前記複数の光学レン
ズのそれぞれの光軸上に位置して複数の画像撮像素子が
固定された固定部材とを備え、外界からの光を前記複数
の光学レンズを介して対応する前記画像撮像素子に受光
させることにより、前記ステレオ画像処理に必要となる
視点の異なる複数の画像を撮像することを特徴としてい
る。

【００２７】請求項２記載の発明は、三角測量の原理で
対象物体までの距離情報などを取得するステレオ画像処
理の入力画像となる複数の画像を取得するための視点の
異なる複数の画像を同時に撮像する多眼画像センサにお
いて、複数のピンホールによるレンズが形成されたレン
ズ固定部材と、前記ピンホールによる複数のレンズのそ
れぞれの光軸上に位置して複数の画像撮像素子が固定さ
れた固定部材とを備え、外界からの光を前記ピンホール
による複数のレンズを介して対応する前記画像撮像素子
に受光させることにより、前記ステレオ画像処理に必要
となる視点の異なる複数の画像を撮像することを特徴と
している。

【００２８】請求項３記載の発明は、三角測量の原理で
対象物体までの距離情報などを取得するステレオ画像処
理の入力画像となる複数の画像を取得するための視点の
異なる複数の画像を同時に撮像する多眼画像センサにお
いて、複数のフレネルレンズが形成された光透過性を有
するレンズ固定部材と、前記複数のフレネルレンズのそ
れぞれの光軸上に位置して複数の画像撮像素子が固定さ
れた固定部材とを備え、外界からの光を前記複数のフレ
ネルレンズを介して対応する前記画像撮像素子に受光さ
せることにより、前記ステレオ画像処理に必要となる視
点の異なる複数の画像を撮像することを特徴としてい
る。

【００２９】請求項４記載の発明は、請求項３の多眼画
像センサにおいて、前記レンズ固定部材の前記フレネル
レンズを除く部分を光不透過としたことを特徴としてい
る。

【００３０】請求項５記載の発明は、請求項１〜４のい
ずれかの多眼画像センサにおいて、前記複数のレンズか
らの全ての画像を受光する撮像面を有する一つの画像撮
像素子を備えたことを特徴としている。

【００３１】請求項６記載の発明は、請求項１〜５のい
ずれかの多眼画像センサにおいて、前記複数のレンズと
前記画像撮像素子との間に配設され、前記複数のレンズ
からの画像を各レンズの光軸上の所定領域の撮像面内に
収まるようにそれぞれ受光させる遮蔽板を備えたことを
特徴としている。

【００３２】多眼画像センサを構成する場合、請求項１
記載の発明における一つの部材で構成されるレンズ固定
部材を使用することにより、複数の光学レンズ（複合レ
ンズを含む）を簡単な構造で容易に取り付けることがで
きる。特に、本発明のレンズ固定部材は一つの部材で一
体化されているため、従来必要であった複数のレンズ取
り付け部品を一つの部品で置き換えることができるだけ
でなく、取り付けのためのネジ穴等の接合機構を少なく
することができ、部品としての小型化にも寄与すること
が可能である。

【００３３】また、請求項２記載の発明における多眼画
像センサは、請求項１記載の発明の構成と基本的は同じ
であるが、レンズ又は複合レンズを使用せず、ピンホー
ルでレンズの機能を果たすようにしている。よって、高
価なレンズ又は複合レンズを使用しないため、更に、部
品点数を削減し、安価で、加工が簡単で、より小型の多
眼画像センサを構成することが可能となる。

【００３４】更に、請求項３記載の発明における多眼画
像センサでは、請求項２記載の発明の構成で使用するピ
ンホールではなく、光透過性のレンズ固定部材自体をフ
レネルレンズのように加工してレンズの機能を果たすよ
うにできる。

【００３５】請求項４記載の発明における多眼画像セン
サのように、光透過性のレンズ固定部材において、光を
透過させない塗料や部材で所定の部分を覆うようにすれ
ば、画像センサとして意図していない余分な光の影響や
干渉を少なくでき、必要な場所だけ光学的なレンズとし
て機能させることができる。

【００３６】請求項５記載の発明における多眼画像セン
サの構成であれば、一つの画像撮像素子で、ステレオ画
像処理に必要となる複数の異なる視点の画像を同時に撮
像できるようになる。

【００３７】請求項６記載の発明における多眼画像セン
サのように、光を透過させない遮蔽板を用いることによ
り、一つの画像撮像素子の撮像面の区分けされた撮像領
域で、撮像領域を越えた意図しない余分な光の影響や干
渉を少なくできる。

【００３８】以下、本発明のその他の利点、特徴および
詳細を、本発明の好ましい実施の形態の説明をもとに添
付図面を参照しながら明らかにする。

【００３９】

【発明の実施の形態】（実施の形態１）ここでは、請求
項１記載の発明における、一つの部材で構成されるレン
ズ取り付け部品を使用することにより、複数のレンズ又
は複数の複合レンズを、簡単な構造で取り付ける実施の
形態について述べる。ここでは簡単のため、複合レンズ
も単に光学レンズという表現で示す。一つの部材で光学
レンズを取り付けるということは、簡単な構成で表せば
図１のような構成をとるということである。光学レンズ
１は、一つの光学レンズを固定する部材２で固定されて
いる。簡単のため、この図では、実際に必要な、部品の
連接用のネジや機構、スペーサ等の部品は割愛してい
る。

【００４０】図３及び図４は、図１の構成をより具体的
な形にしたものである。ここで、光学レンズの数は何個
（２個以上）でもかまわないが、一例として、９個の場
合を示している。このことは、他の実施の形態でも同様
である。図３は、一つの部材２で複数の光学レンズ１を
固定化した多眼画像センサの外観を示す。図４は、図３
の多眼画像センサがどのように構成されているか、分解
する形で表したものである。各光学レンズ１は、筒状の
ケース１ａ内にレンズ１ｂが位置決め固定されたもの
で、ケース１ａの外周面の一部にはネジ部１ｃが形成さ
れている。

【００４１】各光学レンズ１は、通常のカメラマウント
に装着するような形で、矩形状のレンズ固定部材２に対
して着脱可能に取り付けられる。更に説明すると、レン
ズ固定部材２には、ケース１ａのネジ部１ｃが螺合され
るネジ部２ａを有した貫通穴２Ａ（図３及び図４では９
箇所）が形成されている。そして、各光学レンズ１は、
貫通穴２Ａのネジ部２ａにケース１ａのネジ部１ｃを螺
合させることにより、レンズ固定部材２に位置決めされ
て取り付けることができる。

【００４２】光学レンズ１が取り付けられたレンズ固定
部材２の対向する面側には、枠状のスペーサ部材７を介
して矩形状の固定部材４が配置されている。固定部材４
には、レンズ固定部材２に取り付けられた各光学レンズ
１から焦点距離だけ離れた光軸９上に撮像面が位置して
撮像素子１２が取り付けられている。固定部材４は、対
応する各光学レンズ１と各撮像素子１２との間の光軸が
調整された状態で、ネジ等の固定手段によりスペーサ部
材７を介してレンズ固定部材２に固定される。これによ
り、外界の撮像光は、光軸９を中心として各光学レンズ
１を通り、各光学レンズ１に対応する撮像素子１２の撮
像面上に露光される。

【００４３】スペーサ部材７は、光学レンズ１と撮像素
子１２の焦点距離の間隔を取るとともに、撮像素子１２
や周辺の信号処理回路の部品の実装スペースを確保する
ため、レンズ固定部材２と固定部材４との間に所定の厚
みをもって介装されている。なお、スペーサ部材７は、
固定部材４に一体に枠状に形成してもよい。

【００４４】このように、一つの部材で構成されるレン
ズ取り付け部品（レンズ固定部材２）を使用することに
より、複数のレンズ１ｂを、それぞれのレンズ１ｂの配
置関係を固定した形で容易に取り付けることができる。
特に、本実施の形態のレンズ部材２は一つの部材で一体
化されているため、従来必要であった複数のレンズ取り
付け部品を一つの部品で置き換えている。このため、取
り付けのためのネジの個数やネジ穴等の接合機構を少な
くすることができ、取り付けの工数や部品点数を減ら
し、部品自体も簡単な形状で成形できる。更に、余分な
取り付けのネジの部品が無くなったので、レンズの間隔
を詰めて配置でき、多眼画像センサの全体としての形状
を小さくすることができる。

【００４５】（実施の形態２）ここでは、請求項２記載
の発明における、レンズまたは複合レンズを使用せず、
ピンホールでレンズの機能を果たすようにする実施の形
態について説明する。図５は、図４の多眼画像センサの
構成とほぼ同じであるが、通常の光学レンズ１の代わり
に、各カメラの光学的集光手段としてピンホールレンズ
８がレンズ固定部材２に形成された例である。

【００４６】ピンホールレンズ８は最も簡単なレンズで
あり、レンズ固定部材２に小さな穴を開けるだけでよい
が、通常は防滴や防塵のため、表面に透明なプラスチッ
クがはめ込まれている。１個の単価は安くても、多眼に
するとレンズの価格は使用するカメラの台数分に比例す
る。本実施の形態では、ケース１ａに固定された光学レ
ンズ１に代えてピンホールレンズ８を使用しているの
で、多眼画像センサの価格の低減に寄与する。更に、部
品点数を削減し、安価で、加工が簡単で、より小型の多
眼画像センサを構成することが可能となる。

【００４７】（実施の形態３）ここでは、請求項３及び
請求項４記載の発明における、フレネルレンズを使用し
た多眼画像センサとフレネルレンズ以外の部分の光を遮
蔽する実施の形態について述べる。図６は、レンズ固定
部材２に光透過性を有する部材を使用し、光学的にレン
ズの機能を果たすようにレンズ固定部材２を加工し、光
学レンズ１に代えてレンズ固定部材２にフレネルレンズ
１０を形成したものである。

【００４８】図６では、９箇所にフレネルレンズ１０が
形成されたレンズ固定部材２だけを示しているが、多眼
画像センサ全体の構成は、レンズ固定部材２でのレンズ
の部品が異なるだけで、図４又は図５と同じ構成であ
り、外界の光はフレネルレンズ１０を介して撮像素子１
２に受光される。図６のレンズ固定部材２は光透過性の
部材であり、あるカメラに他のカメラの光や意図しない
外界の光が回り込むことになる。そこで、光透過性を有
するレンズ固定部材２において、フレネルレンズ１０以
外の部分を光を透過させない塗料や部材で覆う。これに
より、画像センサとして意図していない余分な光の影響
や干渉を少なくでき、必要な場所だけ光学的なレンズと
して機能させることができる。

【００４９】（実施の形態４）ここでは、請求項６記載
の発明における、光を透過させない部材からなる遮蔽板
を用い、光学レンズからの外界の光が、他の光学レンズ
の撮像素子の撮像面に影響を与えないようにする実施の
形態について述べる。図７は、レンズ固定部材２の後方
には、他のカメラの光を遮蔽する遮蔽板１１を配置して
いる。また、図７の構成では、レンズ固定部材２におい
て、フレネルレンズ１０以外の部分が光を透過させない
塗料や部材で覆われている。

【００５０】なお、図７では、フレネルレンズ１０が形
成されたレンズ固定部材２と光を遮蔽する遮蔽板１１だ
けを示しているが、多眼画像センサ全体の構成は、レン
ズ固定部材２でのレンズの部分や遮蔽板１１の有無が異
なるだけで、図４又は図５と同じ構成であり、外界の光
はフレネルレンズ１０を介して撮像素子１２に受光され
る。その際、外界の光はレンズ固定部材２の各フレネル
レンズ１０のみから取り込まれる。また、フレネルレン
ズ１０から取り込まれた外界の光は、他のフレネルレン
ズ１０に対応する撮像素子１２への入射が遮蔽板１１に
よって遮蔽され、対応する撮像素子１２のみによって受
光される。

【００５１】（実施の形態５）ここでは請求項５記載の
発明における、複数の画像を撮像するために一つの画像
撮像素子を共有化する実施の形態について説明する。な
お、ここでは、請求項５記載の発明以外の他の請求項の
発明の実施の形態も含まれる、発明の総合的な実施の形
態となっている。図２は、撮像素子及び周辺電子回路３
の一つの撮像素子に、複数の光学レンズからの光を受光
する概念的な構造を示している。

【００５２】この撮像素子の共有化について、より具体
的な実施の形態を図８を用いて説明する。図８は、ワン
チップ化した多眼画像センサ１５の外観と構造を示して
いる。この多眼画像センサは、非常に小型化した１個の
パッケージ（通常のＩＣのパッケージと同じで、ここで
はチップと呼ぶことにする）に全ての機能が搭載されて
いる。ここでは複数の集光手段としてレンズ固定部材２
にピンホールレンズ８が形成されたものを使用してい
る。また、各カメラの光が他のカメラに影響を与えない
ように光を遮蔽する遮蔽板１１がスペーサ部材６に取り
付けられている。遮蔽板１１は、複数のピンホールレン
ズ８からの画像がそのピンホールレンズ８の光軸上の所
定領域の撮像面のみにそれぞれ受光されるように、撮像
領域を複数に区分している。

【００５３】ここで、共有化する撮像素子１２は、複数
のカメラの像を同時に撮像するために使用され、固定部
材４に取り付けられている。外界の光は、各ピンホール
レンズ８で構成される各カメラのレンズを通り、共有化
された一つの撮像素子１２に受光される。撮像素子１２
としては、ＣＣＤ又はＭＯＳ等の固体撮像デバイスを想
定している。これらの固定撮像デバイスとして、水平１
０００画素以上の高解像撮像デバイスが利用できるよう
になってきている。よって、撮像面上で、どのカメラが
どこを使用するか予め決めておき、受光する場所を２次
元的に共有化することができる。

【００５４】そして、一つの撮像素子１２には、複数の
カメラの像が撮像される。このように一つの撮像素子を
共有化したとしても、各カメラでの視差の情報が検出で
きれば、多眼ステレオの処理は問題なく行える。例え
ば、図９の多眼ステレオの処理に示すような、画像の分
割処理を前処理として行ってやれば、後は、通常の多眼
ステレオの処理と同じになる。

【００５５】図９について、もう少し詳しく説明する。
ここでは９眼の多眼画像センサで、かつ一つの共有化し
た撮像素子で９個のカメラの像が同時に撮像される場合
を考える。この場合、９個のカメラの画像は、多眼画像
センサからはラスタ走査の一つのビデオ信号（ディジタ
ルカメラの場合もあるので、この時はディジタル信号で
あっても良い）として、Ａ／Ｄ変換（入力がディジタル
信号の場合は必要ない）され、ラスタ走査のライン番号
や画素位置の情報から制御し、このあと各カメラの画像
を取り出すように画像の分割処理を行う。分割処理され
た画像は、各カメラの画像バッファに転送され、後は、
通常の多眼ステレオの処理と同じように処理が行われ
る。

【００５６】すなわち、計算対象の画像座標（Ｉ，Ｊ）
と視差の候補値ｄｉを指定し、各カメラの画像バッファ
より、対応候補点の明度情報を取り出す。これらの対応
候補点群の明度の類似度を計算すると、それが指定した
画像座標（Ｉ，Ｊ）での視差の候補値ｄｉの確からしさ
となる。通常、この類似度の計算を行うとき、画像座標
（Ｉ，Ｊ）の近傍の対応の状況も考慮して計算する。逐
次、視差の候補値ｄｉを変えて、最も確からしい視差を
求めることができる。また、この処理を画像座標（Ｉ，
Ｊ）を一画素単位に変えて、全画面についての視差、す
なわち、視差画像を計算できる。各点の推定された視差
は、簡単な計算で、３次元的な奥行きの値に変換でき
る。

【００５７】上記実施の形態では、一つの撮像素子を共
有化した場合に、適切に各カメラの画像に相当する部分
を、各カメラの画像として抽出して、あと同じ多眼ステ
レオの処理ができることを説明した。しかし、手順をよ
く考えると、必ずしもそれぞれのカメラの画像に分割す
る必要はない。各対応候補点の明度が抜き出せれば、図
１０に示すように、全部のカメラの画像を保存するバッ
ファを一つ用意して多眼ステレオの処理を行うこともで
きる。この場合は、各カメラの対応候補点の明度を、順
番に読み出すので、読み出し時間はかかるが、画像バッ
ファは一つで、またデータや画像座標のアドレスの信号
線は大幅に少なく、全体としてのハードウェア・サイズ
を小さくできる。

【００５８】

【発明の効果】本発明は、以上説明したように構成され
ているので、以下に記載されるような効果を奏する。

【００５９】複数のレンズの間の配置、またレンズと撮
像素子との間の配置は、多眼ステレオの処理では、厳密
に固定されていないと、計算ができなくなる。請求項１
記載の発明の多眼画像センサであれば、小型で複数のレ
ンズを効果的に固定できる。また、部品点数が少なくな
り、多眼ステレオの組立も容易になる。

【００６０】請求項２記載の発明の多眼画素センサは、
ピンホールでレンズの機能を果たすようにしているた
め、部品点数を削減し、安価で、加工が簡単となる効果
がある。

【００６１】請求項３記載の発明の多眼画像センサは、
光透過性のレンズ取り付け部品自体をフレネルレンズの
ように加工してレンズの機能を果たすようにしているた
め、多眼画像センサの形の自由度を高め、簡易な構造に
できる効果がある。

【００６２】請求項４記載または請求項６記載の発明の
多眼画素センサは、画像センサとして意図していない余
分な光の影響や干渉を少なくでき、正しく効率的に本来
の多眼ステレオの処理が行える効果がある。

【００６３】請求項５記載の発明の多眼画像センサは、
一つの画像撮像素子を共有化するため、部品点数を削減
し小型・安価な装置として実現できる効果がある。

【００６４】また、同じ一つの画像撮像素子を使用して
多眼画像を取得するため、ステレオ画像処理で問題とな
る、画像センサの特性や感度のバラツキが無くなる。画
像センサの感度のバラツキが少なくなれば、格段に対応
点検出が容易になり、距離等の計測精度が向上する。更
に、一つの画像撮像素子で得られるビデオ信号（アナロ
グ信号）は、通常一つのＡ／Ｄ変換器でディジタル信号
に変換できるため、Ａ／Ｄ変換の特性も多眼の画像で同
じにできる。当然、信号を転送するための信号線数は１
台のカメラ分と同じであり、ステレオ画像処理装置全体
として必要となるケーブル、コネクタ類を少なくでき
る。

【図面の簡単な説明】

【図１】本発明の請求項１に対応する、複数のレンズを
一体化して取り付ける多眼画像センサの構成を示す図で
ある。

【図２】本発明の請求項５に対応する、一つの撮像素子
を共有化する構成を示す図である。

【図３】一つの部材で複数の光学レンズを固定化した多
眼画像センサの外観の例を示す図である。

【図４】図２の多眼画素センサの構造を示す図である。

【図５】本発明の請求項２に対応し、光学レンズを固定
する部材を利用してピンホールレンズを形成する多眼画
像センサの構造を示す図である。

【図６】本発明の請求項３に対応し、光学レンズを固定
する部材の一部をフレネルレンズにする例を示した例で
ある。

【図７】本発明の請求項４及び請求項６に対応し、必要
以外の場所からの光を遮蔽するために、フレネルレンズ
以外の部分を光を透過させない塗料または部材で覆い、
また、各カメラの光が他のカメラに回り込まないように
遮蔽する遮蔽板を組み合わせる図である。

【図８】本発明の代表的な応用の例として、ピンホール
レンズを使用し、ワンチップ化した多眼画像センサの構
成を示す図である。

【図９】一つの撮像素子を共有化した場合の視差計算の
手順を示す図である。

【図１０】図９と処理の基本は同じだが、一点の計算に
各チャンネルの対応候補点の明度値を逐次読み出す方式
の視差計算の手順を示す図である。

【図１１】ステレオ視（２眼ステレオ）による距離計測
の原理を示す図である。

【図１２】多眼ステレオの場合の処理の考え方を示す図
である。

【図１３】多眼ステレオの視差計算の手順を示す図であ
る。

【図１４】従来の多眼画像センサの構成例を示す図であ
る。

【図１５】通常のカメラを使用した従来の多眼画像セン
サの構成例を示す図である。

【図１６】カード型のカメラモジュールを使用した従来
の多眼画像センサの構成例を示す図である。

【符号の説明】

１光学レンズ１ａケース１ｂレンズ１ｃネジ部２光学レンズを固定するレンズ固定部材２Ａ貫通穴２ａネジ部３撮像素子及び周辺電子回路４撮像素子等を固定する固定部材５画像信号６カメラ固定部材７スペーサ部材８ピンホールレンズ９光軸１０フレネルレンズ１１光を遮蔽する遮蔽板１２撮像素子（画像撮像素子）１３周辺信号処理回路１４電極１５ワンチップ化した多眼画像センサ１６カメラ１７取り付け金具１８取り付け金具を付けたカメラ１９カード型カメラモジュール

フロントページの続きＦターム(参考） 2F065 AA04 AA06 DD02 DD14 FF05 FF09 GG09 JJ03 JJ05 JJ07 JJ26 LL04 LL10 LL30 QQ03 QQ24 UU00 UU05 UU07 2F112 AA08 AA09 AD06 BA10 BA11 BA12 CA12 DA04 DA13 DA32 FA07 FA21 5B047 AA30 BA08 BC05 5C061 AA29 AB02 AB04 AB06 AB08 AB24

Claims

【特許請求の範囲】

【請求項１】三角測量の原理で対象物体までの距離情
報などを取得するステレオ画像処理の入力画像となる複
数の画像を取得するための視点の異なる複数の画像を同
時に撮像する多眼画像センサにおいて、外周部分にネジ部を有する筒状のケース内にレンズが固
定された複数の光学レンズと、前記ケースのネジ部が螺合されるネジ部を有する貫通穴
が複数形成され、前記複数の光学レンズを着脱可能に位
置決め固定するためのレンズ固定部材と、前記複数の貫通穴に位置決め固定される前記複数の光学
レンズのそれぞれの光軸上に位置して複数の画像撮像素
子が固定された固定部材とを備え、外界からの光を前記複数の光学レンズを介して対応する
前記画像撮像素子に受光させることにより、前記ステレ
オ画像処理に必要となる視点の異なる複数の画像を撮像
することを特徴とする多眼画像センサ。
【請求項２】三角測量の原理で対象物体までの距離情
報などを取得するステレオ画像処理の入力画像となる複
数の画像を取得するための視点の異なる複数の画像を同
時に撮像する多眼画像センサにおいて、複数のピンホールによるレンズが形成されたレンズ固定
部材と、前記ピンホールによる複数のレンズのそれぞれの光軸上
に位置して複数の画像撮像素子が固定された固定部材と
を備え、外界からの光を前記ピンホールによる複数のレンズを介
して対応する前記画像撮像素子に受光させることによ
り、前記ステレオ画像処理に必要となる視点の異なる複
数の画像を撮像することを特徴とする多眼画像センサ。
【請求項３】三角測量の原理で対象物体までの距離情
報などを取得するステレオ画像処理の入力画像となる複
数の画像を取得するための視点の異なる複数の画像を同
時に撮像する多眼画像センサにおいて、複数のフレネルレンズが形成された光透過性を有するレ
ンズ固定部材と、前記複数のフレネルレンズのそれぞれの光軸上に位置し
て複数の画像撮像素子が固定された固定部材とを備え、外界からの光を前記複数のフレネルレンズを介して対応
する前記画像撮像素子に受光させることにより、前記ス
テレオ画像処理に必要となる視点の異なる複数の画像を
撮像することを特徴とする多眼画像センサ。
【請求項４】前記レンズ固定部材の前記フレネルレン
ズを除く部分を光不透過とした請求項３記載の多眼画像
センサ。
【請求項５】請求項１〜４のいずれかの多眼画像セン
サにおいて、前記複数のレンズからの全ての画像を受光する撮像面を
有する一つの画像撮像素子を備えたことを特徴とする多
眼画像センサ。
【請求項６】請求項１〜５のいずれかの多眼画像セン
サにおいて、前記複数のレンズと前記画像撮像素子との間に配設さ
れ、前記複数のレンズからの画像を各レンズの光軸上の
所定領域の撮像面内に収まるようにそれぞれ受光させる
遮蔽板を備えたことを特徴とする多眼画像センサ。