JP2003304561A - ステレオ画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】ステレオ画像の入力時間を短縮する。 【解決手段】第１のカメラと第２のカメラを並設して構
成したステレオカメラにより対象物を撮像し、第１およ
び第２のカメラが撮像した映像信号の走査ライン前半部
に対しては、第１のカメラの走査ライン前半部から得ら
れる前記対象物を含む領域の映像信号を入力する一方、
走査ライン後半部に対しては、第２のカメラの走査ライ
ン後半部から得られる前記領域に対応する前記対象物を
含む領域の映像信号を入力し、入力したこれらの映像信
号に基づいてステレオ画像処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオ画像処理
を行うステレオ画像処理装置に関し、特にステレオ画像
の入力方法に関する。

【０００２】

【従来の技術】従来のステレオ画像処理装置のステレオ
画像入力方法としては、カメラから出力される映像信号
をＮＴＳＣ等規定の規格の水平・垂直同期信号をもとに
１フィールドずつ交互に入力する方法がある。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のステレオ画像の入力方法にあっては、次のよ
うな問題がある。

【０００４】２台のカメラから入力が一系統しかない１
台の画像処理装置へステレオ画像を入力する方法におい
ては、従来のステレオ画像処理装置では、図３０に示す
ように、１フィールド毎に２台カメラの画像入力を交互
に切り換えて画像を入力していた。このような入力方法
では、撮像した２枚の画像間で１フィールド分の時間と
走査位置のずれが発生し、また全画像入力時間が２フィ
ールド分を要するため、長くかかってしまう。

【０００５】２枚の画像間の時間差をなくすため、図３
１に示すように１走査ライン（以降、特に断りのない限
り主走査ラインを指す。）毎に２台のカメラから交互に
入力する方法もあるが、この入力方法では、一方のカメ
ラから１走査ライン分の映像信号を入力すると同時に、
他方のカメラからも同じ走査ライン上の１走査ライン分
の映像信号が出力されてしまうため、メモリ上に格納さ
れる２枚の画像は、互いに走査ラインの垂直方向（副走
査方向）に１走査ライン分の位置ずれのある画像となっ
てしまう。このため、２枚の画像間で撮像面の走査ライ
ンの垂直方向、即ち、後述する視差が生じる方向と直角
の方向に前記の入力方法よりも大きなずれが生じること
になる。精度が要求されるステレオ画像処理においては
視差方向以外の方向に位置の差のない、同時刻に撮像さ
れた画像を必要とするため、上記の従来の画像入力方法
を用いた画像処理装置では、正確なステレオ画像処理を
行うことは困難である。

【０００６】これらのステレオ画像の入力方法とは別
に、１フレーム（または１フィールド）分の画像を一旦
保持するためのメモリ付のカメラを使用することで、時
間差および視差方向以外の方向に位置の差の無い２枚の
画像を入力する方法もあるが、この入力方法では、メモ
リ付きのカメラを用意する必要があり、また入力時間が
少なくとも１フレーム分を要するため、高速処理が困難
であるという欠点がある。

【０００７】本発明は、このような従来の問題点に着目
してなされたもので、画像の入力時間を短縮しつつ、高
精度なステレオ画像処理が可能な画像入力方法を備えた
ステレオ画像処理装置を提供することを目的としてい
る。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明では、ステレオ画像入力を行
うステレオ画像処理装置において、光軸が特定の平面内
に含まれるように第１および第２のカメラを並列に配設
して対象物を撮像し、前記特定の平面に平行な方向に設
定された走査ラインにより撮像した画像を走査する撮像
手段と、前記第１および第２のカメラからの映像信号の
走査ライン前半部に対しては、前記第１のカメラの走査
ライン前半部から得られる前記対象物を含む領域の映像
信号を選択する一方、走査ライン後半部に対しては、前
記第２のカメラの走査ライン後半部から得られる前記領
域に対応した前記対象物を含む領域の映像信号を選択し
て切り換える映像切り換え手段と、該映像信号切り換え
手段から出力された映像信号を記憶する画像記憶手段
と、該画像記憶手段に記憶された画像に対してステレオ
画像処理を施すステレオ画像処理手段とを設ける。

【０００９】請求項２に記載の発明では、前記ステレオ
画像処理手段を、前記画像記憶手段に記憶された画像に
基づいて撮像された対象物までの距離情報を算出するも
のとする。

【００１０】請求項３に記載の発明では、前記第１およ
び第２のカメラを、前記特定の平面内でカメラの光軸が
カメラ前方で交差するように傾けて配設する。請求項４
に記載の発明では、前記特定の平面を水平平面とする。

【００１１】請求項５に記載の発明では、前記特定の平
面を垂直平面とする。請求項６に記載の発明では、前記
第１および第２のカメラからの映像信号をデジタル信号
に変換するＡ／Ｄ変換手段を更に設け、該Ａ／Ｄ変換手
段による映像信号のサンプリング間隔を、該カメラの副
走査方向より主走査方向に短くなるように設定する。

【００１２】請求項７に記載の発明では、前記第１およ
び第２のカメラにより撮像した画像の水平方向、垂直方
向の少なくとも一方の方向に対し、前記画像記憶手段に
入力する映像信号を制限する。

【００１３】請求項８に記載の発明では、前記第１およ
び第２のカメラからの映像信号を、所定の走査ライン数
毎に前記画像記憶手段に入力する。請求項９に記載の発
明では、前記第１および第２のカメラからの映像信号
を、所定の走査ライン数だけ前記画像記憶手段に入力す
る。

【００１４】

【発明の効果】請求項１に記載の発明によれば、第１お
よび第２のカメラからの映像信号の走査ラインに対し
て、映像切り換え手段により走査ライン前半部に第１の
カメラの走査ライン前半部から得られる撮像対象物を含
む領域の映像信号を、走査ライン後半部に第２のカメラ
から得られる撮像対象物を含む領域の映像信号を取り込
み、画像記憶手段に記憶することで、１枚の画像（１フ
ィールド）分の入力時間で２台のカメラからの２枚分の
画像入力が可能となる。このため、画像入力時間が短縮
されると共に、画像入力後に行うステレオ画像処理を軽
減することができるので、処理の高速化を図ることがで
きる。また、必要とされる画像記憶手段の容量が削減さ
れる。

【００１５】請求項２に記載の発明によれば、入力した
ステレオ画像を該ステレオ画像中に撮像されている対象
物までの距離の算出に用いることで、高速に、かつ精度
よく距離を算出することができる。

【００１６】請求項３に記載の発明によれば、光軸がカ
メラ前方で交差するようにカメラを傾斜させて配設する
ことで、両カメラからの入力画像の実質的な画角を拡げ
ることができる。このため、例えば、道路標識等の対象
物をより近接した位置で撮影することが可能となるの
で、該道路標識を正確に識別することができる。

【００１７】請求項４に記載の発明によれば、両カメラ
を水平平面上に配設することで、各カメラの入力画像の
画角を水平方向に広く設定することができ、単眼画像へ
の切り換えにより側方の対象物（例えば、道路標識）を
より近接した位置で撮影することができる。

【００１８】請求項５に記載の発明によれば、両カメラ
を垂直平面上に配設することで、得られるステレオ画像
において、例えば、自車両の前方車両を対象物とする場
合は、前方車両が大きく移動する進行方向に大きな画角
を設定することができるので、前方車両までの距離を精
度よく算出することができる。

【００１９】請求項６に記載の発明によれば、各カメラ
から映像信号を入力するときのサンプリング間隔を主走
査方向に短く設定することで、詳細な画像情報を得るこ
とができ、対象物までの距離を測定する場合は、精度よ
く距離を算出することができる。

【００２０】請求項７に記載の発明によれば、画像記憶
手段に入力する映像信号を制限することで、画像メモリ
を節約することができる。また、画像処理の計算負担を
軽減することができるので、処理の高速化を図ることが
できる。

【００２１】請求項８に記載の発明によれば、走査ライ
ンの入力を所定のライン数毎に行うことで、画像メモリ
を節約することができる。また、２枚の画像間のマッチ
ング処理を高速に行うとともに、画像処理を開始するタ
イミングを早めることができるので、画像入力時間を含
む画像処理全体の処理時間を短縮することができる。

【００２２】請求項９に記載の発明によれば、例えば、
１フィールドの後半の数ラインの入力を行わないこと
で、画像メモリを節約することができる。また、画像処
理を開始するタイミングを早めることができるので、画
像処理全体の処理時間を短縮することができる。

【００２３】

【発明の実施の形態】以下に本発明の実施の形態を図に
基づいて説明する。まず、各実施の形態に共通するステ
レオ画像を用いた距離算出方法について説明する。図５
は、２台のカメラの撮像方向の水平平面上で、各カメラ
の光軸がカメラ前方で交差するように、カメラの向きを
それぞれ内側に傾けた場合のステレオ画像を用いた距離
算出方法を示した図である。この構成におけるカメラか
ら対象物までの距離Ｚの算出式を（１）式に示す。

【００２４】 Ｚ＝Ｆ×Ｄ／｜（Ｘ_B −Ｘ_VB）−（Ｘ_A −Ｘ_VA）｜ （１） ここで、Ｆは焦点距離で、Ｄは各カメラの光軸間距離
（眼間距離）を表している。また、Ｘ_VAはカメラＡによ
る画像Ａ上の消失点位置，Ｘ_A は画像Ａ上の対象物の位
置で、同様にＸ_B はカメラＢによる画像Ｂ上の対象物の
位置，Ｘ_VBは画像Ｂ上の消失点位置である。

【００２５】図５に示すように２台のカメラの光軸が平
行でない場合には、２枚の画像上の消失点および両画像
に対応した対象物のエッジ位置をそれぞれ求め、各画像
上で消失点から対応するエッジ位置までの距離を求め、
その距離の差を視差としてカメラから対象物までの距離
Ｚを（１）式により求めることができる。

【００２６】次に、これらのカメラによるステレオ画像
の入力方法を具体的に説明する。図１に示すように、ま
ず、カメラＡによる撮像画像の走査ライン前半部とカメ
ラＢによる撮像画像の走査ライン後半部に対象物が撮像
されるように、光軸を撮像方向前方で交差させる方向に
各カメラを傾斜させる。そして、２台のカメラをこのよ
うな傾斜させた配置としたまま、図６に示すように後述
するカメラセレクタ制御部で１走査ライン毎の入力の開
始時にカメラＡを選択し、入力が走査ラインの中間にき
た時点でカメラＢを選択することで、走査ラインの前半
部でカメラＡの画像を、走査ラインの後半部でカメラＢ
の画像を切り換えつつ、画像を入力する。

【００２７】このようなカメラの配置で画像を入力する
ことで、１枚分の画像入力時間で２枚の画像を入力する
ことができる。このときのカメラからの１走査ライン分
の出力時間は常に一定である。仮に１走査ラインの前半
部しか入力しない場合でも、カメラが１走査ラインの後
半部を出力し終わるまで入力側は次の走査ラインの入力
を待たなければならない。この入力方法は、その待ち時
間を有効に利用し、１走査ラインの前後半で入力対象の
カメラを切り換えながら画像を入力することで、画像入
力時間を半減することを可能としたものである。

【００２８】しかし、この入力方法では図７，図８に示
すように撮像面の水平方向の画角、即ち、２つのカメラ
で共通に撮影されるステレオ画像処理が可能な画像の画
角が、単一のカメラの画角の半分になってしまうが、対
象物がその画角範囲内に収まっている場合には、該範囲
外の画角はもともと距離認識には不要な画角であるた
め、先行車検出等の処理の効率化を図ることができる。
つまり、カメラＡの左半分とカメラＢの右半分の撮像領
域に対する不必要な画像入力を省略するため、画像入力
時間を短縮することができると共に、画像メモリを節約
することができる。

【００２９】また、図１のカメラＡの右半分とカメラＢ
の左半分に撮像されている対象物以外の部分は、単眼処
理用の画像として利用することもできる。つまり、処理
内容に応じて入力画像領域を切り換えることで、１組の
ステレオカメラを用いて、ステレオ画像処理と単眼画像
処理の両方を選択的に行うことができる。例えば、図２
に示すように入力画像領域を切り換えると、 入力方法１：ステレオ画像処理による正面の先行車まで
の距離認識 入力方法２：路肩（例えば標識認識なども可能）と隣接
レーンの物体認識 入力方法３：路肩と前方の認識 入力方法４：隣接レーンと前方の認識 を行うことが可能となる。このときのステレオカメラの
配置は、各カメラが互いに内側に傾いているため、図７
に示すように同じ画角のレンズを用いた単眼カメラ１台
の約1.5 倍の画角の画像を入力するこが可能となる。通
常、広角レンズは周囲が歪むため画像処理が行いにく
い。しかし、図１に示すようなステレオカメラにおいて
は、標準レンズ等の標準的な画角のレンズを用いている
ため撮像画像の歪みは少ない。つまり、このステレオカ
メラを用いることで高速画像入力が可能なステレオ画像
処理が行えることに加えて、広い画角が要求される単眼
処理に対してもより確実に行うことができる。

【００３０】これにより、例えば、自車両の前方正面を
走行する先行車までの距離認識を行いながら必要に応じ
て斜め前方に存在する道路標識や隣接レーン上の走行車
を認識する等の車載用としての前方向の画像処理が可能
となる。

【００３１】図９は、アナログ信号として出力されるカ
メラからの映像信号をデジタル化する様子を示した図で
ある。対象物を撮像したときのカメラからの映像信号
は、一定の時間内で１走査ライン毎にアナログ信号で出
力される。画像の入力側では、このアナログ信号を特定
のサンプリング間隔でＡ／Ｄ変換した後に画像メモリに
入力する。

【００３２】このように、各走査ライン毎に画像信号を
デジタル化してメモリに入力する操作を、図１０に示す
ように走査ライン数分繰り返すことで１枚の画像入力を
行う。通常、このサンプリング間隔は、カメラのＣＣＤ
（Charge Coupled device)等の撮像素子における撮像面
の縦横比から決定される。尚、通常のＣＣＤの撮像面の
縦横比は３：４である。

【００３３】ＮＴＳＣ方式の場合では１フィールド内に
240 本の走査ラインを入力するので、１走査ライン分の
画像信号を320 （＝240 ×４／３）回サンプリングして
デジタル化することになる。そして、１走査ライン毎に
カメラより送られる画像信号をデジタル化して入力する
操作を、垂直方向の走査ライン数分（ＮＴＳＣ方式の場
合240 回）行うことで、１枚の画像の入力を行うことが
できる。例えば、このサンプリングの間隔を狭くして、
１走査ライン中のサンプリング回数を前記320回の２倍
（640回）にすると、図９に示すように、垂直方向の分
解能や撮像範囲は変えることなく、水平方向の分解能を
２倍に向上させることができる。

【００３４】図１１には、撮像面上の分解能と画像メモ
リ内の１画素の大きさの関係を示した。画像メモリ内の
１画素が実際の撮像面に対してどの程度の大きさに相当
するかは、主に、１走査ライン分の画像信号のサンプリ
ング間隔、つまり、撮像面上の１走査ライン分の画像信
号を水平方向に何分割してデジタル化するかによって定
まる。この分割された一つ一つの画像信号の値が画像メ
モリ上の１画素毎の輝度値となる。

【００３５】図１２は、最も一般的なステレオ画像処理
による距離算出方法を示す図である。カメラから対象物
までの距離Ｚは（２）式に示す幾何学的な計算により求
められる。

【００３６】 Ｚ＝Ｆ×Ｄ／｜Ｘ_B −Ｘ_A ｜ （２） （２）式の分母にあたるＸ_A −Ｘ_B は視差である。
Ｘ_A ，Ｘ_B の値は、画像メモリに保持されたデジタル画
像上において、２枚の画像間の対応する対象物のエッジ
位置を求め、その位置をカメラの撮像面上の位置に換算
することにより算出する。画像メモリ上の位置からカメ
ラの撮像面上の位置への換算は次の要領で行う。

【００３７】例えば、図１１に示すように撮像素子の水
平方向の幅が10ｍｍで前述のサンプリング数が１走査ラ
イン内で100 回であれば、画像メモリ上の１画素の大き
さが撮像面上の0.1 ｍｍに相当する。このことから、Ｘ
_A −Ｘ_B が画像メモリ上で５画素であれば、Ｘ_A −Ｘ_B
の値は0.5 ｍｍと換算される。

【００３８】また、（２）式において、カメラの焦点距
離Ｆと眼間距離Ｄ（２台のカメラの光軸間距離）を固定
値とすると、距離Ｚの精度は視差Ｘ_A −Ｘ_B の分解能で
決定されることになる。

【００３９】この理由を図１３を用いて説明する。画像
処理で行う２枚の画像間のマッチング結果が１画素ずれ
ると、撮像面上の１画素の大きさが小さい場合は誤差も
小さいが、１画素の大きさが大きい場合には誤差も大き
くなる。例えば、焦点距離Ｆが20ｍｍ、眼間距離Ｄが10
0 ｍｍで、撮像面の水平方向の幅が10ｍｍのステレオカ
メラを用いて距離Ｚが1000ｍｍの位置に存在する対象物
を認識する場合において、水平方向の画像信号を100 回
サンプリングして入力した画像と、水平方向の画像信号
を10回サンプリングして入力した画像を用いて認識した
ときの距離Ｚの測定精度を比較してみる。

【００４０】1000ｍｍ先の物体を認識した場合、（２）
式より、撮像面上の視差が２ｍｍとなる（Ｘ_A −Ｘ_B ＝
Ｆ×Ｄ／Ｚ＝20×100 ／1000＝２）。100 回サンプリン
グして入力した画像の場合は、１画素の大きさが撮像面
上の0.1 ｍｍに相当するので、メモリに保持されたデジ
タル画像上での視差は20画素となる。一方、10回サンプ
リングして入力した画像の場合は、１画素の大きさが撮
像面上の１ｍｍに相当するので、視差は２画素となる。

【００４１】ここで、それぞれの画像において視差が１
画素ずれた場合を考えると、100 回サンプリングの場合
では視差が19画素となるため距離が1052ｍｍ｛＝20×10
0 ／(19 ×0.1)｝となり、10回サンプリングの場合では
視差が１画素となるため距離が2000ｍｍ｛＝20×100 ／
（１×１) ｝となる。このように、前者の誤差が52ｍｍ
であるのに対し、後者の誤差は1000ｍｍにも達する。

【００４２】そのため、距離測定精度に大きな影響を及
ぼす視差の生じる水平方向のサンプリング間隔をより細
かく設定することが望ましく、これにより、画像の入力
時間や撮像範囲等の入力に関する他の部分に影響を及ぼ
すことなく測定する距離の精度を向上させることができ
る。

【００４３】一般的にステレオ画像処理において、より
高い精度が要求される場合に視差方向の分解能を上げる
ため、図１４(a) に示すレンズの画角θ₁ から図１４
(b) に示すように小さいレンズの画角θ₂ に設定する対
応策があるが、撮像範囲が狭くなる問題点がある。そこ
で、図１に示す配置のステレオカメラは、視差の生じる
方向を撮像面の水平方向に合わせているため、カメラか
ら走査ライン毎に出力される映像信号をより細かくサン
プリングする。このようにしてデジタル化することで、
視差方向に垂直な方向の分解能は変化させずに、視差方
向の分解能を向上させることができる。この方法におい
てはカメラのレンズを交換する必要はなく、撮像範囲が
変化することはない。また、１走査ラインの入力時間は
不変であり、かつ入力走査ライン数は一定であるため画
像全体の入力時間も不変である。即ち、撮像範囲や入力
時間を変えることなく、精度良く距離を算出できるステ
レオ画像を得ることができる。

【００４４】そのため、ステレオ画像処理の認識対象物
が、視差方向に広い画角を必要としない場合であれば、
前記２台のカメラの入力を水平走査ラインの前後半で切
り換えながら入力する方法に加え、サンプリング間隔を
細かく設定することで、ステレオ画像を高速に入力する
ことができ、該ステレオ画像により精度良く距離を求め
ることができる。

【００４５】また、認識対象のエッジが、視差方向に対
して垂直な方向にある程度十分な長さを有している場
合、各カメラからの画像間でそのエッジの対応が取れる
程度に画像を間引いても、対象物の認識および距離認識
を行なうことができる。

【００４６】例えば、１走査ライン毎に画像を入力して
画像を間引くと共に、該走査ラインの前後半で２台のカ
メラの入力を切り換えることにより、撮像された２枚の
画像に対して同じ位置の走査ラインを１つの走査ライン
上に入力することができ、画像メモリが節約され、より
高速なステレオ画像処理用の画像入力が可能となる。加
えて、画像データを間引いて入力するため、視差の算出
のために行う２枚の画像間のマッチングの計算量も低減
されるので、画像処理全体に要する時間を短縮すること
ができる。

【００４７】図１５(a) は、各カメラからの出力を切り
換えつつ、１走査ライン毎に入力したときの画像入力お
よび画像処理開始のタイミングを示すタイミングチャー
トである。全走査ライン入力した場合は、図１５(b) に
示す画像データが画像メモリに入力されることになる
が、１走査ライン毎に画像データを入力して画像を間引
くことにより、図１５(c) に示すように入力される画像
データ量が半減する。

【００４８】通常、カメラからの画像信号は、所定の規
格でカメラに入力される水平・垂直同期信号に基づいて
出力される。具体的には、カメラが画像出力を開始する
タイミングは、カメラが出力の開始を表す垂直同期信号
を待ち、その垂直同期信号を受け取った時点から規定の
走査ライン数分の画像信号を出力する。一方、カメラか
ら出力された画像の入力側では、カメラからの画像信号
の入力を途中で止めることも可能である。この場合は、
入力を止めた時点で画像入力側は入力以外の他の処理
（例えば画像処理等）を行なうことができるため、画像
入力時間だけでなく画像処理全体の処理時間を短縮する
ことができる。

【００４９】次に、前記のステレオ画像を入力する方法
を先行車の検出、距離算出および標識の認識に用いた第
１の実施の形態について説明する。図１６には、本実施
の形態に係るステレオ画像処理装置の構成を示した。こ
こでは、まず概略を説明する。撮像した光学画像を電気
的な画像信号として出力する２台のカメラＡ，Ｂの光軸
が、カメラ撮像面の水平方向に視差ができるように路面
に平行な平面上に含まれるようにすると共に、光軸がそ
れぞれ撮像方向の前方で交差するように傾斜させて配設
する。これらのカメラから出力される映像信号をカメラ
セレクタ制御部171 に入力し、該カメラセレクタ制御部
171 においてどちらか一方のカメラからの映像信号のみ
を選択してＡ／Ｄ変換部172 に出力する。このＡ／Ｄ変
換部172 では、入力された映像信号を基準クロック生成
部173で生成する基準クロック信号に基づいて、所定の
サンプリング間隔でデジタル化する。

【００５０】そして、ＨＤ信号生成部174 は、基準クロ
ック生成部173 により生成される基準クロックが１走査
ラインの出力分送られる毎に、２台のカメラそれぞれに
水平方向の映像信号の出力開始タイミングを知らせる水
平同期信号を出力する。また、ＶＤ信号生成部175 によ
り前記水平同期信号が１フィールド内に出力する走査ラ
イン数分送られる毎に、２台のカメラそれぞれに１フィ
ールド分の画像の出力開始タイミングを知らせる垂直同
期信号を出力する。

【００５１】これらの同期信号を基に、カメラＡ，Ｂか
ら出力される映像信号を基準クロック毎にデジタル化し
て得られる合計２枚のデジタル画像を２つの画像メモリ
176a,176b により一時的に記憶すると共に、それらの画
像メモリ176a,176b への書き込み許可信号とメモリ上の
アドレス位置の指定を、画像メモリ制御部176 により基
準クロック毎に制御する。

【００５２】さらに、対象物検出部177 により、２つの
画像メモリのどちらか一方に記憶された画像中から対象
物のエッジ位置を求め、求めた対象物のエッジと対応す
るエッジを対応点探索部178 により他方の画像から探索
する。そして、２枚の画像間の互いに最も類似度の高い
範囲の座標と２台のカメラの焦点距離と２台のカメラの
位置関係をもとに、距離算出部179 により三角測量の原
理でカメラから対象物までの距離を求める。

【００５３】かかる構成のステレオ画像処理装置を用い
てステレオ画像を入力し、先行車の検出、先行車までの
距離算出および標識の認識処理を行うフローチャートを
図１７に示した。本実施の形態は、通常は、図２(a) に
示す入力方法１を用いてステレオ画像を入力しつつ前方
の先行車までの距離を認識し、必要に応じて図２(c)に
示す入力方法３により入力画像を片方のカメラだけに切
り換え、該選択されたカメラからの画像を用いて道路標
識を認識するものである。

【００５４】図１８には、カメラ搭載車、先行車（対象
物）およびカメラの配置、ならびに設定した絶対座標系
を示した。２台のカメラＡ，Ｂは、カメラＡからの撮像
画像の水平方向前半部とカメラＢからの撮像画像の水平
方向後半部のそれぞれに先行車が映出するように傾斜さ
せて設置する。このような構成のステレオカメラを用い
て、前記図５で説明したステレオ画像を用いた距離認識
方法に基づき、先行車までの距離を算出する。

【００５５】まず、ステレオ画像処理による距離認識方
法について説明する。図１９は、無限遠点である消失点
の求め方を説明する図である。ここでは、前記ステレオ
カメラを搭載した自車両の左右に存在する白線の撮像画
像上における直線の式を求め、これらの交点を消失点と
する（ステップ１、以降Ｓ１と記す。）。撮像画像上で
のステレオカメラに近い位置においては左右の白線は互
いに離れた位置に存在するが、遠方のものほど両者の間
隔は狭まり、無限遠方においては２本の白線は交わるも
のと見なすことができることから、前記撮像画像上にお
ける直線が交わる位置を消失点としている。

【００５６】次に、左右の白線の検出方法を説明する。
概略的には、取り付けたステレオカメラの位置と焦点距
離により計算できる撮像画像内の白線部分にウィンドウ
を作成し、このウィンドウ内を微分処理等を施して得ら
れるエッジ画像を用いて、例えば、直線を検出対象とし
たHough 変換によりウィンドウ内の白線を表す直線の式
を求める（Ｓ２）。

【００５７】このウィンドウ位置の具体的な求め方を図
２０を用いて説明する。ウィンドウ位置は白線を検出す
ることのできるおよその位置で良いので、微小である各
カメラの傾き角は無視することにする。

【００５８】いま、焦点距離がＦのレンズをもつカメラ
Ａを路面からの高さがｈの位置に配設し、該カメラＡに
より撮像することを考えると、撮像方向に前方Ｚ' の位
置に存在する白線は、撮像面の中心からＸ_C 軸方向にｈ
・Ｆ／Ｚ' の位置に撮像されると計算上予測することが
できる。また、Ｙ_C 軸方向に関して、道幅をＷとし、カ
メラＡが道路のほぼ中央に位置していると仮定すると、
撮像面の中央から２Ｗ・Ｆ／Ｚ' の位置に白線が撮像さ
れると計算上予測することができる。この位置の画像メ
モリ上の位置への変換は、撮像面上の１画素に対する大
きさが判明すれば行うことができる。

【００５９】このような方法で白線検出のためのウィン
ドウの位置を決定し、その位置で左右の白線の直線式を
求め、これらの交差点からカメラＡからの画像Ａに対す
る消失点（Ｘ_VA，Ｙ_VA）を求める。また、カメラＢから
の画像Ｂについても同様に、消失点（Ｘ_VB，Ｙ_VB）を求
める。これらの消失点はカメラの取付位置により決定さ
れるため、初期設定時に１度だけ求めればよい。

【００６０】次に、詳細を後述する標識の有無を判断し
（Ｓ３）、標識が無いと判断したときは先行車位置を検
出する（Ｓ４）。先行車は２本の白線の間に挟まれた位
置に長い水平エッジを有するものとして判断できるた
め、該水平エッジを画像Ａ，Ｂのどちらかを用いて検出
する。この先行車の位置の検出には、まず、消失点の検
出と同様な方法で白線を検出し、該検出された白線の間
に挟まれた位置に存在する水平エッジを、画面上で下か
ら上に向けて探索する。図２１に示すように、水平エッ
ジがあるしきい値以上で、かつある程度の長さをもつ場
合、その水平エッジが先行車による水平エッジと認識す
ることにより先行車を検出する。

【００６１】次に、２枚の画像Ａ，Ｂ間での対応点の求
め方を図２２を用いて説明する。これは、検出された画
像Ａ内の先行車の位置に、所定の大きさのウィンドウを
設定し、このウィンドウ内の画像をテンプレートとして
マッチング処理を行う（Ｓ５）。即ち、このテンプレー
トと最も類似度の高い画像の位置を画像Ｂより求める。
このときの類似度の計算は、例えば正規化相関法を用い
て行えばよい。画像Ａより抽出したテンプレートの各画
素の輝度値をＡ_ij、画像Ｂより抽出した画像の輝度値を
Ｂ_ijとすると、正規化相関法による互いの画像の類似度
は（３）式により算出することができる。

【００６２】

【数１】

【００６３】（３）式の値が高いほど類似度が高くな
る。そこで、画像Ｂより抽出する画像の位置を変化さ
せ、（３）式を用いて前記テンプレートと画像Ｂの各位
置の画像との類似度を算出することを繰り返し行い、図
２３に示すように最も類似度の高い位置Ｘ_B を求める。

【００６４】そして、距離算出に必要となる視差を、画
像Ａの消失点Ｘ_VAと画像Ａ内に設定したウィンドウの位
置Ｘ_A との距離（Ｘ_VA−Ｘ_A ）と、画像Ｂの消失点Ｘ_VB
と正規化相関法により求めた最も類似度の高い位置のウ
ィンドウの位置Ｘ_B との距離（Ｘ_VB−Ｘ_B ）との差（Ｘ
_VB−Ｘ_B ）−（Ｘ_VA−Ｘ_A ）の絶対値により求める（Ｓ
６）。

【００６５】この値は画素単位であるので、用いたカメ
ラの撮像面の大きさと水平方向のサンプリング間隔を基
に１画素に相当する撮像面上の長さを算出し、この長さ
を基に画素単位で求められた視差を撮像面上の長さに換
算する。

【００６６】この視差を算出した後、（１）式を用いて
先行車までの距離を算出する（Ｓ７）。図２４は、本実
施の形態におけるステレオ画像の入力方式と従来の入力
方式を比較したタイムチャートである。通常の画像入力
方式においては、１フレーム１の第１フィールドで画像
Ａを入力し、第２フィールドで画像Ｂを入力する。そし
て、フレーム２の第１フィールドにおいて、該入力した
画像Ａ，Ｂを処理することを繰り返し行う。

【００６７】一方、本実施の形態においては、フレーム
１の第１フィールドで画像Ａ，Ｂを入力し、第２フィー
ルドで該入力した画像Ａ，Ｂを処理することを繰り返し
行う。

【００６８】本実施の形態により、画像の入力時間を半
減させることができ、さらに画像の処理時間が１フィー
ルド以下であれば、１フレーム内で入力画像に対する処
理を終了させることが可能となる。また、この配置のス
テレオカメラを用いることにより、撮像面の水平方向を
視差方向とほぼ一致させ、画像信号をデジタル化する際
のサンプリング間隔を狭くすることにより、先行車等の
対象物までの距離を精度良く求めることができる。

【００６９】次に、標識認識について図２５を用いて説
明する。図２５は、ステレオ画像処理用の画像から標識
の存在を認識する方法を説明している。この標識認識
は、標識を検出したときだけ行うようにし（Ｓ３）、通
常は距離認識を行うようにする。これにより距離認識の
処理速度が低下することを極力抑制しつつ標識認識を行
うことができる。

【００７０】標識が存在しない通常時の入力画像は、例
えば、図２５(a) に示すようなステレオ画像処理用の画
像となる。距離認識用の画像は、図２５(b) に示すよう
に１台のカメラの半分の画角だけを使用しているため、
自車両近傍（斜め横）の標識を認識することはできない
が、前方の標識の存在を認識することはできる。

【００７１】また、広角レンズを使用して画角を拡げる
ことにより、遠方の標識から自車両近傍の標識まで撮像
することもできるが、広角レンズを使用すると撮像画像
にレンズによる歪みが生じるため、画像処理段階で精度
よく距離を算出することが困難となり好ましくない。

【００７２】この標識は、撮像画像上において路面の白
線上に存在しているように撮像される。前述のステレオ
画像処理時に検出した白線の検出結果をもとに、図２５
(c)に示すように画像の左端での白線位置（ｙ座標）を
求め、その白線位置に予め定めた大きさの標識認識用の
ウィンドウを設定する。このウィンドウ内に長い縦エッ
ジの存在が確認されたときに標識があると判断する。こ
のときの画像メモリに取り込まれた画像は、図２５(d)
に示すように標識の存在は検出されても標識内容を判断
するには撮像された標識が小さ過ぎる。そこで、標識の
存在が検出されてから自車両が数ｍ進んだ後、入力対象
を左斜め前方を撮像するカメラＢだけに切り換え、図２
(c) に示す入力方法３で１回画像を入力する（Ｓ８）。
このとき入力される画像の一例を図２６(a) に示した。
この画像には標識が大きく撮像されており、図２５(d)
に示す画像より十分詳細な情報が得られるため、標識内
容を認識するには好適である。

【００７３】図２６(a) に示す撮像画像から標識内容を
認識するには、まず、撮像画像から円を検出する（Ｓ
９）。これは、例えば、円を認識対象としたHough 変換
を用いることにより検出することができる。そして、標
識内容は、図２６(b) に示す円の内部の画像と、図２６
(c) の予め用意した標識内容を表すテンプレートとの類
似度を求め、この類似度が最も高いテンプレートをその
標識内容と判断する（Ｓ１０）。尚、この類似度は、例
えば前述の正規化相関法により求めることができる。

【００７４】このように、本実施の形態におけるステレ
オカメラは、斜め前方を撮像するため、遠方の標識を認
識することができると共に、自車両近傍の標識を大きく
撮像することができ、より確実な標識認識を行うことが
できる。

【００７５】次に、ステレオ画像処理による先行車まで
の距離認識だけを行う場合において、より高速に、かつ
確実に先行車までの距離認識を行う第２の実施の形態を
説明する。

【００７６】図２７には、ステレオカメラを搭載した自
車両、先行車（対象物）およびステレオカメラの配置、
ならびにそれらを説明するために設定した世界座標系を
示した。このステレオカメラの配置は、撮像面の水平方
向が路面に対して垂直となるように、第１の実施の形態
におけるステレオカメラの配置を９０度回転させたもの
である。そのため、２台のカメラＡ，Ｂは、カメラＡに
よる撮像画像の水平方向前半部とカメラＢによる撮像画
像の水平方向後半部のそれぞれに先行車が映出するよう
に傾斜させる。そして、先行車の認識は、この９０度回
転したステレオ画像を用いて前述と同様な方法で求め
る。

【００７７】次に、カメラを９０度回転することによる
効果を説明する。図２７に示した世界座標系において、
先行車は路面に平行な方向（Ｘ軸方向）に平行な長いエ
ッジを持つことが多い。そこで、視差はできるだけ長い
エッジを対象とした方が２枚のマッチングをとり易いた
め、路面に垂直な方向（Ｙ軸方向）に作る方がよい。ま
た、先行車はＸ軸方向に大きく動くことはあるが、Ｙ軸
方向に大きく動くことはないため、このＹ軸方向の画角
は狭くても構わない。

【００７８】ところで、前述の第１の実施の形態におけ
るステレオ画像では、撮像面の水平方向の画角は垂直方
向の画角の２／３となっていた。そこで、Ｙ軸方向には
画角が狭くても距離認識には十分であるので、本実施の
形態においてはＹ軸方向に撮像面の水平方向を合わせる
ようにする。つまり、図２７に示すようにステレオカメ
ラを９０度回転させた位置に配設する。先行車の移動の
特徴として、自車両に対して左右方向に大きく移動する
傾向があり、本実施の形態のような配置とすると、先行
車の動きの大きな方向（左右方向）と画角の広い方向と
を一致させることができるため、広範囲に動く先行車を
より確実に認識することが可能となる。

【００７９】また、車両のエッジは左右方向に長く、そ
の長いエッジを用いて視差計算ができるため、先行車認
識の精度と確実性が向上する。さらに、先行車はある程
度長いエッジを有すると考えられるので、撮像した画像
を間引いても２枚の画像のマッチングを十分行うことが
できる。そこで、図１５に示した方式を用い、２台のカ
メラ間で同じ位置の走査ラインを、例えば、１走査ライ
ンおきに入力することにより画像を間引くと共に、先行
車の一部が撮像範囲に残るような部分まで入力したとこ
ろでフィールド後半の数走査ラインの入力を強制的に中
止するようにして、画像の入力を制限する。

【００８０】先行車認識では、このような画像入力を行
うことができるため、画像メモリを節約することがで
き、かつ画像入力時間を短縮することができる。また、
このような画像入力を行うと、図２８に示すようにメモ
リ内の画像が視差方向に対して垂直な方向に圧縮される
ため、２枚の画像のマッチングを行うときに用いるテン
プレートが小さくなり、１回の類似度の計算量が減少
し、マッチング処理を高速に行うことが可能となる。つ
まり、画像入力時間の短縮だけではなく、認識処理時間
も短縮することができる。

【００８１】図２９は、本実施の形態における画像入力
方式を用いた場合のタイムチャートを示している。従来
方式は、図２４に示した方式と同様に、フレーム１の第
１および第２フィールドでカメラＡ，Ｂからの画像入力
をそれぞれに行い、フレーム２の第１フィールドで入力
した画像の処理を行うことを繰り返すものである。

【００８２】一方、本実施の形態における入力方式(1)
では、フレーム１の第１フィールドでカメラＡ，Ｂから
の画像を入力すると共に、画像後半部の不要な部分の入
力を強制的に中止する。これにより、画像入力時間を１
フィールド未満とすることができる。そして、第２フィ
ールドにおいて、第１フィールドで入力した画像を処理
する。これを繰り返し行う。このような入力方式(1) を
用いることで、画像入力時間を従来方式の半分以下に抑
えることができる。また、入力画像の処理時間が１フィ
ールド以下であれば、１フレーム内での処理も可能とな
る。また、入力方式(2) に示すように、画像後半部の入
力を中止したり、画像を間引きながら入力することで、
本来の画像入力時間の途中で入力を打ち切ることがで
き、さらに入力画像の処理が次の画像入力の待ち時間内
でできるようであれば、実時間処理も可能となる。

【００８３】このように、９０度傾けたステレオカメラ
を用いて画像信号のサンプリング間隔を狭くした上で、
走査ラインの前後半でカメラを切り換えながら入力する
と共に、画像を撮像面の垂直方向に間引いて入力する方
式を用いてステレオ画像を入力することで、先行車に対
する距離認識を高速に、かつ精度よく行うことができ
る。

【図面の簡単な説明】

【図１】 本発明の概要を説明するための図。

【図２】 映像信号の切り換えて画像記録手段に入力す
る方法の４パターンを示した図。

【図３】 特定の平面を特定の垂直平面とした場合の概
要を説明するための図。

【図４】 入力する映像信号を制限する場合の概要を説
明するための図。

【図５】 基本的な距離算出のためのステレオ画像処理
方法を説明する図。

【図６】 走査ラインの前半および後半でカメラの入力
を切り換えて入力することを説明する図。

【図７】 １台のカメラの画角と２台のカメラを傾けて
配設したときの画角を示す図。

【図８】 各カメラからの画像に対するステレオ画像領
域を示す図。

【図９】 サンプリング間隔に対する画像の状態を説明
する図。

【図１０】 アナログの画像信号をデジタルの画像信号
に変換した画像を説明する図。

【図１１】 撮像面上の分解能と画像メモリ内の１画素
の大きさを示す図。

【図１２】 一般的なステレオ画像処理による距離算出
方法を示す図。

【図１３】 カメラの焦点距離Ｆと眼間距離Ｄを一定と
したときの距離Ｚの測定精度と視差の分解能との関係を
示す図。

【図１４】 撮像範囲と対象物の測定精度との関係を示
す図。

【図１５】 各カメラからの画像入力タイミングの関係
とそのとき入力される画像を示す図。

【図１６】 第１の実施の形態におけるステレオ画像処
理装置のブロック構成図。

【図１７】 第１の実施の形態における先行車までの距
離算出および標識認識処理のフローチャート図。

【図１８】 第１の実施の形態における撮像方法とその
とき得られる画像とを示す図。

【図１９】 消失点の算出方法を説明する図。

【図２０】 ウィンドウ位置の設定方法を説明するため
のカメラの取付位置を示した図。

【図２１】 先行車位置の検出方法を説明する図。

【図２２】 撮像した２枚の画像間での対応点の求め方
を説明する図。

【図２３】 類似度の最も高い画像切取り位置を示す
図。

【図２４】 第１の実施の形態における画像入力および
画像処理のタイミングを示すタイミングチャート。

【図２５】 標識の認識方法を説明する図。

【図２６】 標識認識時における標識内容の認識方法を
説明する図。

【図２７】 第２の実施の形態における撮像方法を示す
図。

【図２８】 視差を検出する方向に長いエッジを多く含
む場合の処理を示す図。

【図２９】 第２の実施の形態における画像入力と画像
処理のタイミングを示すタイミングチャート。

【図３０】 従来の画像入力方法を説明する図。

【図３１】 従来の他の画像入力方法を説明する図。

【符号の説明】

171 カメラセレクタ制御部 172 Ａ／Ｄ変換部 174 ＨＤ信号生成部 175 ＶＤ信号生成部 176 画像メモリ 177 対象物検出部 178 対応点検索部 179 距離算出部

Claims (9)

【特許請求の範囲】
1. 【請求項１】ステレオ画像入力を行うステレオ画像処理
   装置であって、 光軸が特定の平面内に含まれるように第１および第２の
   カメラを並列に配設して対象物を撮像し、前記特定の平
   面に平行な方向に設定された走査ラインにより撮像した
   画像を走査する撮像手段と、 前記第１および第２のカメラからの映像信号の走査ライ
   ン前半部に対しては、前記第１のカメラの走査ライン前
   半部から得られる前記対象物を含む領域の映像信号を選
   択する一方、走査ライン後半部に対しては、前記第２の
   カメラの走査ライン後半部から得られる前記領域に対応
   した前記対象物を含む領域の映像信号を選択して切り換
   える映像切り換え手段と、 該映像信号切り換え手段から出力された映像信号を記憶
   する画像記憶手段と、該画像記憶手段に記憶された画像
   に対してステレオ画像処理を施すステレオ画像処理手段
   と、を含んで構成されるステレオ画像処理装置。
2. 【請求項２】前記ステレオ画像処理手段を、前記画像記
   憶手段に記憶された画像に基づいて、撮像された対象物
   までの距離情報を算出するものとした請求項１に記載の
   ステレオ画像処理装置。
3. 【請求項３】前記第１および第２のカメラを、前記特定
   の平面内でカメラの光軸がカメラ前方で交差するように
   傾けて配設した請求項１または請求項２に記載のステレ
   オ画像処理装置。
4. 【請求項４】前記特定の平面を水平平面とした請求項１
   〜請求項３のいずれか１つに記載のステレオ画像処理装
   置。
5. 【請求項５】前記特定の平面を垂直平面とした請求項１
   〜請求項３のいずれか１つに記載のステレオ画像処理装
   置。
6. 【請求項６】前記第１および第２のカメラからの映像信
   号をデジタル信号に変換するＡ／Ｄ変換手段を更に含ん
   で構成され、該Ａ／Ｄ変換手段による映像信号のサンプ
   リング間隔を、該カメラの副走査方向より主走査方向に
   短くなるように設定した請求項１〜請求項５のいずれか
   １つに記載のステレオ画像処理装置。
7. 【請求項７】前記第１および第２のカメラにより撮像し
   た画像の水平方向、垂直方向のうち少なくとも一方の方
   向に対し、前記画像記憶手段に入力する映像信号を制限
   するようにした請求項１〜請求項６のいずれか１つに記
   載のステレオ画像処理装置。
8. 【請求項８】前記第１および第２のカメラからの映像信
   号を、所定の走査ライン数毎に前記画像記憶手段に入力
   するようにした請求項７に記載のステレオ画像処理装
   置。
9. 【請求項９】前記第１および第２のカメラからの映像信
   号を、所定の走査ライン数だけ前記画像記憶手段に入力
   するようにした請求項７または請求項８に記載のステレ
   オ画像処理装置。