JP2001351200A

JP2001351200A - 車載用物体検知装置

Info

Publication number: JP2001351200A
Application number: JP2000173007A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-06-09
Filing date: 2000-06-09
Publication date: 2001-12-21

Abstract

(57)【要約】【課題】ステレオ画像処理による物体検知装置におい
て、横断歩道のように同じ模様が多数現われる繰返しパ
ターンが存在する部分における誤検出を解消できる車載
用物体検知装置を提供する。【解決手段】ステレオカメラ２による画像処理におい
て、小領域毎のステレオ画像間の類似度をもとに、互い
の画像の対応位置を求める際に、最大類似度の近い値を
示す位置が、複数個所で現われるかどうかを確認し、複
数個所で最大類似度に近い値が現われる場合は、その小
領域で求めた距離は、繰返しパターンが原因の誤対応の
可能性が高いと判断し、物体検知・計測の判断には用い
ない構成とした。これにより横断歩道のストライプ模様
等の繰返しパターンが原因となるステレオマッチングの
誤対応によって生じる物体の誤検出を防ぐことができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、歩行者等の物体
を検知する車載用の物体検知装置に関する。

【０００２】

【従来の技術】従来、車載ステレオカメラを用いて画像
処理で路上の物体を検知する装置は種々発表されている
が、それらにおいてはステレオカメラによる２つの画像
の対応関係から物体を検出しているので、対応関係を誤
って識別すると物体を誤検知することがあるという問題
があった。このような誤対応を除去する方法としては、
例えば、特開平７−１９２１９９号公報に記載された方
法がある。この方法は、ステレオカメラの一方の画像を
小領域に分割し、各小領域毎に他方の画像との対応位置
を探索する際に、小領域毎の対応個所は、１対１対応に
なるという考えから、既に他の小領域で対応した個所
が、再度、他の小領域でも対応位置として選択された場
合は、他の対応個所を探索することで、同じ画像内に、
類似した物体や模様が２個所に存在する場合の誤対応を
防ぎ、物体位置の誤計測を除去するようにしたものであ
る。

【０００３】

【発明が解決しようとする課題】しかし、上記従来例の
方法においては、たとえば、横断歩道や周囲のビルの窓
などのように、同じ模様が多数現われる繰返しパターン
が存在する部分では、対応位置が２個所以上現われるた
め対処できない。また、上記の方法を３個所以上の探索
に変更したとしても、繰返しパターンの撮像位置が画像
の端から始まっている場合は、何個所の繰返しパターン
が画像外に出ているかが判らないため、上記の方法で
は、正しい距離を求めることはできない、という問題が
あった。

【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、横断歩道や周囲のビ
ルの窓などのように同じ模様が多数現われる繰返しパタ
ーンが存在する部分における誤検出を解消することので
きる車載用物体検知装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては特許請求の範囲に記載するように
構成している。すなわち、請求項１に記載の発明におい
ては、車両に搭載された前方の物体を監視する２眼の電
子式カメラ（以下、ステレオカメラと記す）において、
小領域毎のステレオ画像間の類似度をもとに、互いの画
像の対応位置を求める際に、最大類似度の近い値を示す
位置が、複数個所で現われるかどうかを確認し、複数個
所で最大類似度に近い値が現われる場合は、その小領域
で求めた距離は、繰返しパターンが原因となった誤対応
の可能性が高いと判断し、物体検知・計測の判断には用
いない構成とした。このように構成したことにより、横
断歩道、周囲の建物の窓枠、等間隔におかれた柱、繰返
し模様の描かれた側壁など、道路画像上のあらゆる個所
に現われる繰返しパターンが原因となるステレオマッチ
ングの誤対応によって生じる物体の誤検出を防ぐことが
可能となる。また、繰返しパターンだけでなく、二つの
類似物体が存在するときなど、ステレオマッチングによ
る計測距離の信頼度が低い他の場面にも同じ処理で対応
できる。

【０００６】また、請求項２に記載の発明においては、
ステレオカメラ（２つのレンズが路面に平行に配置され
ている）の片方のカメラで撮像した画像を用いて、画像
処理では比較的安定して検出される路上の横断歩道のラ
インを検出対象とし、横断歩道のストライプのラインを
挟む形で引かれる２本のラインを検出し、画像上におい
て、単眼画像処理（ステレオカメラのどちらか一方の画
像を用いる）で検出したそれらの横断歩道の２本のライ
ンの間に挟まれる領域で、請求項１の判断と同じ基準に
より、小領域で求めた距離の確実性を判断する。そして
繰返しパターンによる誤計測の可能性が高いと判断した
場合には、その小領域を更に小分割（縦に分割）した領
域を用いて、同じ判断を行う。その判断の結果、再度、
繰返しパターンと判断された場合には、その小領域で求
められた距離は物体検知には用いない構成とし、小領域
を分割した領域で、最大類似度が１個所に定まった場合
は、その値は正確な距離値として物体検知に利用する構
成とする。このような構成とすることで、歩行者など走
行車両の障害物の存在が多いにもかかわらずステレオ画
像間の視差が正しく求められない場合が多い横断歩道上
でも物体の検出を確実に行うことができる。また、ステ
レオ画像処理では、横断歩道上に何も存在しないにもか
かわらず、横断歩道の縞模様を物体と誤検知することも
頻繁に起きがちである。この構成では、横断歩道に何も
存在しない場合は、横断歩道上に切られた小領域で求め
られた距離はすべて繰返しパターンと判断されるため、
距離値が求められない。そのため、何も存在しないこと
も正しく判断できる。また、横断歩道上に物体が存在す
る場合、その物体が幅の広い物体であれば、繰返しパタ
ーンによる悪影響は出ないため、その物体上に切られた
小領域では正しく距離が検出される。また、幅の狭い物
体が存在する場合、通常、横断歩道や白線など、路面に
引かれた線は強度の強いエッジとなるため、物体のエッ
ジと横断歩道のエッジの両方が小領域に含まれると、横
断歩道のエッジを基準とした距離が求められることがあ
るため、繰返しパターンの影響による誤計測が起こる場
合が多い。これに対して請求項２によれば、単眼画像処
理により、予め横断歩道の繰返しパターンが原因の誤計
測が起こる領域であることを予測し、横断歩道が検知さ
れた際には、横断歩道のストライプを含まない程度の幅
の小領域に切り直した領域でマッチングを行う。これに
より、物体が存在する場合は、ストライプを含まない大
きさの小領域で距離計測が計算されるため、横断歩道上
もしくは横断歩道の手前に、人物のような幅が狭い物体
が存在する場合も、背景の繰返しパターンにより、距離
が除去されることなく、確実に人物を検知することがで
き、その距離測定も確実に行える。

【０００７】また、請求項３では、請求項１または請求
項２の構成において、単眼画像処理で検出した横断歩道
の２本の白線の画像上の位置をもとに、カメラから横断
歩道の手前と奥のラインまでの距離を求め、物体検出の
処理においては、単眼画像処理で検出した横断歩道のカ
メラから近い方（手前）のラインと奥のラインまでの距
離をもとに、その二つのラインに挟まれる間の距離の物
体もしくはそれらのラインより手前に存在する物体だけ
を検出対象とする。この構成では、請求項２と同様の処
理を行うことにより、横断歩道による誤計測値を用いな
い構成とすることができる。さらに、検出対象物の距離
を横断歩道上もしくは横断歩道より手前に限定すること
により、検出対象とする物体だけの判断が可能となり、
処理の確実性も増す。

【０００８】また、請求項４では、請求項３において、
横断歩道上の物体だけを検出対象とする場合には、その
物体は横断歩道の手前のラインより下の部分には撮像さ
れないことから、距離の利用範囲を横断歩道の手前のラ
インよりも画像上において上方だけに限定することがで
きる。このような処理範囲の限定は、誤検知を防ぐだけ
でなく、計算量の削減にも有効である。

【０００９】また、請求項５では、ナビゲーション装置
などの他の装置からの情報によって、車載カメラに横断
歩道が撮像されることを認識し、それに応じて、横断歩
道が原因となる繰返しパターンによる距離の誤対応除去
を目的とした請求項２〜４の方法を適用する。横断歩道
では歩行者をはじめとする物体検知が重要となるにもか
かわらずストライプが原因の繰返しパターンによる誤対
応がおきやすい。そのため、横断歩道の存在する場所を
予め予測し、その場面だけにおいて、請求項２〜４の方
法を適用する。横断歩道の存在しない道路では、車両追
従などの処理により一層の高速性が要求される場合が多
い。したがってナビゲーション装置を利用することによ
り、横断歩道のない場面では請求項２〜４による横断歩
道用の処理の追加による計算量の増加をなくし、処理速
度の低下を防ぐことができる。一方、横断歩道が存在す
るときには、横断歩道が原因での誤対応による距離の誤
計測、物体の誤検知を防ぐことができ、さらに、横断歩
行者の存在可能性の高い横断歩道では、横断歩道上の歩
行者検知優先順位を上げた処理が可能となる。

【００１０】

【発明の効果】本発明では、ステレオ画像処理における
物体検知において、距離画像作成時の類似度計算の際
に、類似度の最も高い値に近い値が複数個所で求めれら
た個所での計測距離値は、物体検知には用いない構成と
することで、車載ステレオ画像処理で誤計測の原因とな
りやすい繰返しパターンを含む道路画像上の物体検知で
の距離の誤計測や物体の誤検知を防ぐ構成とした。これ
により、周囲の建物の窓枠や繰返しパターンをもつ壁や
構造物などを含む画像に起こりがちな、物体がないにも
かかわらず近傍に物体があると誤判断する等の誤検知を
防ぐことができる。

【００１１】また、人物の存在する確率が高いにも関わ
らず、ステレオ画像処理では誤計測、誤検知をおこしや
すい、横断歩道上の物体検知においても、横断歩道が原
因のストライプの繰返しパターンによる誤計測値は使わ
ない構成とし、物体を含む個所では、横断歩道の強度の
強いエッジの影響を受けないように、エッジを含まない
大きさの幅の狭い枠で再度、距離を計測する構成とする
ことで、横断歩道上の物体（歩行者等）検知も確実に行
えるようになる。また、カメラから横断歩道までの距離
を求めておくことで検知対象物体の選択も可能であり、
さらに、ナビゲーション装置を利用して横断歩道の存在
を知ることで、その場面に応じた処理の選択が可能にな
る、等の多くの効果が得られる。

【００１２】

【発明の実施の形態】以下、この発明を図面に基づいて
説明する。まず、本発明の第１の構成について説明す
る。この構成は請求項１に相当する。図１は本発明の第
１の構成を示すブロック図、図２（ａ）は本構成の処理
をブロックで示した図、図３はこの発明を適用した場面
の一例を示す図であり、（ａ）は横断歩道付近の上面
図、（ｂ）は車両側からみた画像、図４はステレオ画像
処理で距離を求める原理を説明する図であり、（ａ）は
レンズ系を示す図、（ｂ）はステレオの画像Ａと画像Ｂ
を示す図、図５は図４に示したステレオ画像間の対応点
位置（ｘａ、ｘｂ）の検出方法を説明する図、図６は道
路上の画像とそれに対応する距離画像を示す図であり、
（ａ）は道路の画像、（ｂ）は投票用の表、（ｃ）は距
離画像、図７は横断歩道と繰返しパターンとなる窓枠の
ある建物とを含む道路前方の画像を示す図であり、
（ａ）は道路の画像、（ｂ）は投票用の表、（ｃ）は距
離画像、図８は図７と同じ場面において本発明による繰
返しパターン誤計測判断を行ったときの処理の様子を示
す図であり、（ａ）は道路の画像、（ｂ）は投票用の
表、（ｃ）は距離画像である。

【００１３】図１において、１は検知対象となる物体
（歩行者等）、２は電子式のステレオカメラであり、車
両の前部に前方を向いて設置されており、両レンズの光
軸は相互に平行で、かつ撮像面の水平軸または垂直軸が
同じライン上に揃うように設置されている。なお、１体
となったステレオカメラではなく、２台の電子カメラを
上記と同様に設置しても同じである。また、車両の後部
に後方を向けて設置し、車両後方の物体を検出するよう
に構成することもできる。３は画像処理等を行う演算装
置であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマ
イクロコンピュータで構成される。４は演算装置から出
力される検出出力であり、例えば衝突防止、エンジン制
御、ブレーキ制御等に利用される。

【００１４】以下の説明は、図３に示すような状況、す
なわち、ステレオカメラを搭載した車両６が横断歩道７
の手前に差し掛かった状況における画像処理を示す。な
お、図３中の建物、歩行者、電柱、樹木等は、図示の位
置および距離に存在する。

【００１５】まず、図４に示す距離計測の原理について
説明する。図４において、８はステレオカメラの右レン
ズ、９は左レンズ、１０は検出対象となる物体である。
ステレオ画像ＡとＢ内に撮像される物体１０までの距離
ｚは、ステレオ画像Ａ、Ｂ間において、同じ物体が撮像
される位置の画像上の位置の差（ｘａとｘｂ）を求め、
その位置の差（視差）とカメラの焦点距離ｆより、三角
測量の原理で下記（数１）式により求めることができ
る。ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ） …（数１）ただし、ｘａ−ｘｂ＝Ｓは視差であり、ｆ、ｘａ、ｘ
ｂ、Ｓの単位は画素、Ｄ、ｚの単位はｍなお、上記の例
はステレオカメラの２つのレンズが水平に設置された場
合（画像のＸ軸に平行）を示すが、２つのレンズを垂直
に設置（画像のＹ軸に平行）し、ｙ方向の視差を求めて
も同様に構成することができる。

【００１６】画像上に切った小領域毎に上記の処理を施
すことで、その小領域に含まれる物体までの距離を求め
ることができる。つまり、画像全体を或る大きさの細か
い領域に区切り、その領域毎に距離を求めることで、図
６（ｃ）に示すような距離画像を求めることができる。
図６（ｃ）において、数字はその領域で求められた距
離、「−」の記号は、距離が求められなかった個所を示
す。なお、図６（ｃ）に破線で示した図形は図６（ａ）
中の対応する物体の位置を参考のために示したものであ
り、距離画像中にこのような破線図形が表示されるもの
ではない。

【００１７】図５は、２種類の画像におけるマッチング
処理（対応点位置を求めることで視差を求める処理）の
様子を示した図であり、（ａ）は検知物体の形状が星印
の場合、（ｂ）は横断歩道のような同じ模様が繰り返す
図形の場合を示す。対応点の探索は、ステレオ画像の一
方の画像上に切った小領域内の画像と最も類似した画像
の存在位置を他方の画像の中から求めることで行う。画
像間の類似度は、領域内の各画素の輝度値をもちいた差
分処理や正規化相関などにより求められる。例えば、差
分処理の場合は、領域内の各画素毎の輝度差の総和を計
算する。この場合、互いが同じ画像であれば総和は０と
なる。つまり、０に近い値であるほど、類似度の高い画
像として求めることができる。

【００１８】また、類似度の高い画像の探索範囲は、テ
ンプレートを作った位置と同じエピポーラライン上に乗
る位置とすればよい。エピポーララインとは、ステレオ
カメラの光軸と平行なラインを指す。通常、画像処理を
行い易くするため、エピポーララインが、画像のＸ軸、
またはＹ軸に平行になるようカメラを配置する。以下、
ここでは、エピポーララインは、画像のＸ軸に平行にな
るよう設置したカメラを用いていることを前提として説
明する。

【００１９】上記のような方法で２枚の画像間で最も類
似度の高い位置を検出する。一般に、このように類似度
の最も高い位置を、互いの対応点または対応位置とい
う。これらの位置の差が距離算出に必要な視差に当る。
例えば、図５（ａ）のように一つの明確な対応の得られ
る画像の場合には、画像Ｂ上に切ったテンプレートと類
似度の高い画像を画像上の同じＹ軸上から探索すると、
類似度の高い画像の存在位置ｘａが１個所求められる。
しかし、図５（ｂ）のように同じ形状の画像が複数存在
する画像の場合には、テンプレートとの類似度の高い画
像の位置が探索範囲内に複数個所存在する。このような
画像では、類似度の高い位置が正しく求められない可能
性が高い。このような画像では、視差（ｘａ−ｘｂ）を
正しく求めることができない可能性が高いため、距離の
誤計測が多く、距離画像を用いた物体検知処理では物体
の誤検知、誤計測が多く起こる。これは、ステレオ画像
処理共通の問題であり、道路画像処理においては、横断
歩道、連続模様の描かれた側壁、同じ形状の窓枠が連続
して存在する建物などを含む画像からの物体検出によく
現れる欠点である。

【００２０】図６（ａ）は横断歩道や建物の窓枠などの
ような繰返しパターンを含まない景色を撮像した画像、
図６（ｂ）は距離画像から物体を検知するために利用す
る表、図６（ｃ）はこの画像で求めた距離画像である。
これに対して、図７は横断歩道と繰返しパターンとなる
窓枠のある建物とを含む道路前方の画像において、図６
と同様の内容を示したものである。

【００２１】図６（ｃ）および図７（ｃ）に示す距離画
像を求める際には、次のように処理する。すなわち、画
像上に切った小領域内全体が無地（例えば空の部分な
ど）の場合は、類似度算出の際、どの位置でも類似度が
同じ値となるため、対応点を正しく求めることができな
い。そのため、通常、距離画像作成時において、領域内
の画像が無地に近い場合（エッジやテクスチャが無い部
分）は距離を求めない（図中の「−」の位置）。道路前
方を撮像した画像の場合、このような無地の領域は、通
常、空や路面のように物体が存在しない位置である。こ
のため、距離が算出されなくとも問題ないことが多い。
一方、小領域内にエッジを含む場合は、物体である可能
性が高く、かつ、そのエッジをもとにその物体までの距
離が求められるため、エッジを含むすべての領域では、
前述のステレオマッチング方法により各領域毎の距離を
求める。

【００２２】このような方法で作成した距離画像（ｃ）
を用いてその距離画像から物体を検知する。ステレオ画
像処理による物体検出は、各領域毎に求めた距離（つま
り距離画像）を用いて、ステレオのベースライン（ここ
ではｙ軸）に直角な方向に並ぶ領域において連続して同
じ距離が算出されている部分の有無を求めることで行う
ことができる。例えば、図６の歩行者の存在位置では、
歩行者の存在する小領域のすべてで距離が４ｍと求めら
れている。この小領域は、同じ列に並んでいる。このこ
とから、ステレオ画像処理で求められた距離画像を利用
した物体検出では、例えば、図６（ｂ）に示したよう
な、“距離”×“横方向”からなる表を作り、各領域毎
で求められた距離とその領域が存在する位置の対応する
距離の位置に投票を行うような作業を行うことで、表の
値の高い位置から物体の存在と位置を求めることが可能
である。例えば、一つの領域の結果毎に、１をインクリ
メントしながら投票を行うと、図６の場合では、歩行者
の存在する一番右の小領域と右から５番目に並ぶ小領域
では、同じ列の連続した五つの領域で距離が４ｍとして
求められているため、（ｂ）の表において、距離が４ｍ
で、領域の位置が一番右と右から５番目の位置とに５回
インクリメントされる。つまり、表の４ｍの位置の２個
所の値が「５」（図中に太字で表示）となる。物体の存
在しない位置では値は０であり、白線のような路面表示
の部分では、同じ列では同じ距離が一つしか計測されな
いため投票値が１となる。このことから、表中の値の高
い位置だけを検出（適当なしきい値で切る）することで
物体の検知ができ、路面上の表示との区別も可能であ
る。

【００２３】しかし、横断歩道や建物上の模様や窓枠な
どは、その小領域の内部に物体が存在する場合と同じよ
うに強度の高いエッジが存在するにもかかわらず、距離
が正しく求められない場合が多い。図７はその様子を示
したものであるが、横断歩道や背景や周囲の建物上の模
様や窓のように似た形状のラインが繰返し描かれている
部分では、前記図５（ｂ）で説明したのと同じ状況が起
こる。この距離画像を用いて、図６と同様の投票処理を
行った結果が図７（ｂ）である。横断歩道である図７
（ａ）中のＹ＝ｙ１〜ｙ２の範囲に切られた小領域で求
められた距離は誤計測値が含まれている可能性が高い。
この領域はノイズとして検出される場合も多いが、例え
ば、左から５番目の列のように、同じ列上に同じ距離値
が求められると、表への投票値（値＝４）が高くなり、
物体が存在しないにも関わらず、その誤計測で求められ
た距離の物体があると誤検知される。同じ形状が並ぶ窓
枠でも同様の誤検知が起こり、左から２列目のように距
離が同じ値となる誤計測の領域が縦に並ぶと窓枠の存在
する建物は、白線外の背景であるにもかかわらず、それ
よりも近い値に物体（値＝３の個所）があると誤まった
判断がなされる。本発明では、このような繰返しパター
ンによる物体の誤検知を防ぐため、距離画像を作成する
際に、最大類似度に近い値が１個所であるか複数個所で
あるかを調べ、複数個所において最大類似度に近い値が
現われた場合は、その小領域で求められた距離は表への
投票（物体検知処理）には用いない構成としている。

【００２４】図８は、図７と同じ場面において、このよ
うな繰返しパターンによる誤計測判断を行ったときの処
理の様子を示す図である。図８においては、窓枠や横断
歩道で求められた誤計測の可能性の高い値は、エッジが
ないために距離が求められない領域と同じ扱い（距離の
数値が「−」）になるため（ｂ）の表へ投票されなくな
る。そのため図７（ｂ）で３や４の数値となった左から
３列目、５列目の値が０となっている。このように図７
で見られたような繰返しパターンが原因となる物体の誤
検知を防ぐことができる。

【００２５】次に、本発明の第２の構成について説明す
る。なお、この構成は請求項２に相当する。処理の内容
は図２（ｂ）に示す。図９（ａ）は、ステレオ画像のう
ち片方の画像を用いて、路面の横エッジを求めること
で、横断歩道の手前の線と奥の線を検出した様子を示す
図、図９（ｂ）は撮像した画像を示す。なお、このよう
にステレオ画像のうち一方の画像のみを用いた処理を単
眼画像処理と名付ける。横断歩道のような路面の表示
は、コントラストが高くエッジ強度が強い。そのため単
眼画像処理における横断歩道のエッジの検出は比較的簡
単で、かつ、正確である。２本の線の検出は、画像上に
おいて傾きがＸ軸に平行な線を対象としたＨｏｕｇｈ変
換で検出可能である。

【００２６】横断歩道は繰返しパターンであるため、前
述のようなステレオマッチングの誤対応が起き易い。こ
の誤対応に対して、前方に物体が存在しない場合は、前
記本発明の第１の構成の処理で対応可能である。また、
横断歩道上に車両のように大きな物体が存在する場合
は、車両がストライプを隠すため、繰返しパターンによ
る悪影響を受けずに車両までの距離を計測可能である。
しかし、横断歩道には、歩行者のように細い物体が存在
する可能性が高い。この場合、画像に切られた小領域内
に、歩行者のエッジと横断歩道のエッジの両方が撮像さ
れる。通常、白線や横断歩道のストライプは、運転者に
見え易くするため、路面とのコントラスト比が大きい。
そのため、歩行者のエッジよりも横断歩道のエッジの強
度の方が強いので、特に、歩行者の服装が路面の色に近
い場合などでは、歩行者が存在しているにもかかわら
ず、横断歩道のエッジでのマッチングが優先され、繰返
しパターンによる誤計測が起こる可能性があり、歩行者
までの距離が正しく計算されないおそれがある。

【００２７】図１０はこのような状況における対応を示
した図であり、（ａ）は画像、（ｂ）は横断歩道と歩行
者が重なる部分を拡大した図、（ｃ）はテンプレートを
示す図、（ｄ）は細分化処理を行った際のテンプレート
を示す図である。誤対応の原因は、同じ小領域内に横断
歩道のエッジと歩行者のエッジの両方が含まれるためで
ある。そこで、予め横断歩道であると分かっている場合
は、マッチングの際に、類似度最大の位置が複数個所で
現われた場合は、（ｄ）に示すように、その小領域をさ
らに細かく切り、再度マッチングを行う。このように細
分化されたことで、ストライプだけを含む小領域では類
似度最大の位置が複数個所で現われるため距離は求めら
れないが、歩行者のエッジだけを含む小領域では歩行者
のエッジだけを対応点として探すため正確な距離が求め
られるようになる。この正しい距離が求められた結果だ
けを物体検知の表への投票に用いることで横断歩道のス
トライプの影響を受けることなく、横断歩道上に存在す
る歩行者の検知が可能となる。例えば、図１０（ｃ）で
は、歩行者の足と背景とのコントラストよりも白線と路
面とのコントラストの方が強いので、横断歩道のストラ
イプが同じ形状の他方の画像との類似度が高くなる。し
かし、図１０（ｄ）では、細分化したことにより、歩行
者の足だけを含み、横断歩道のストライプを含まないテ
ンプレートが存在するので、そのテンプレートでは正確
な位置が求められる。

【００２８】このようにステレオ画像処理に、単眼画像
処理による横断歩道の検出処理を加え、横断歩道と判断
された個所についてのみ小領域の細分化を行って再度マ
ッチングを求めることにより、横断歩道上に存在する歩
行者等を正確に検出することができる。

【００２９】次に、本発明の第３の構成について説明す
る。なお、この構成は請求項３、請求項４に相当する。
この構成においては、検出対象の物体を横断歩道上の歩
行者だけに限定することで、他物体との誤検知を防ぎ、
さらに、高速な処理を可能としたものである。

【００３０】前記第２の構成の処理により、画像上の横
断歩道の奥のラインと手前のラインの画像上の位置ｙ
１、ｙ２は求められている。この手前と奥のラインは路
面上に描かれているものであるため、図９に示したよう
に、路面からのカメラの設置高さｈとカメラの焦点距離
ｆにより、カメラから横断歩道の２本のラインまでの距
離ｚ１（ｙ１に相当）、ｚ２（ｙ２に相当）は下記（数
２）式により求めることができる。ｚ１＝ｆ・ｈ／ｙ１、ｚ２＝ｆ・ｈ／ｙ２ …（数２）ただし、ｆ：焦点距離、ｈ：路面からカメラのレンズ中
心までの高さ横断歩道上の物体（歩行者）の存在位置
は、ｚ１〜ｚ２の間である。このことから、横断歩道上
の障害物を検知対象とするときには、投票処理の際、距
離がｚ１〜ｚ２の間のものだけを投票することで、歩行
者など、横断歩道上の障害物だけを検出することが可能
となる。図１１は上記の処理における状態を示す図であ
り、ｚ１（ｙ１）が５ｍ、ｚ２（ｙ２）が３ｍの場合を
示す。この場合には（ｂ）に黒太線で囲んだ横断歩道に
相当する領域のみで投票処理を行う。

【００３１】また、横断歩道より手前の歩行者も検出対
象とするときには、距離がｚ１より近い値を示すものだ
けを投票することで横断歩道より手前の物体も検出可能
となる。さらに、横断歩道上の障害物だけを検知対象と
する場合においては、その物体は画像上において、Ｙ＝
ｙ２より上の部分にしか存在しないことから、画像上に
おいてｙ２より上の部分で求められた距離値だけを物体
検出の投票で用いる。これにより、計算量が削減でき、
加えて、路面のノイズなどによる悪影響の排除にも効果
がある。

【００３２】次に、本発明の第４の構成について説明す
る。なお、この構成は請求項５に相当する。図１２は第
４の構成を示すブロック図である。図１２の構成は、図
１の構成にナビゲーション装置５を追加したものであ
る。ナビゲーション装置５を用いれば、自車両の位置と
横断歩道の位置を正確に知ることができる。したがって
横断歩道が車載カメラに撮像されるとわかっているとき
だけ、前記第２、第３の構成で説明した処理を行う構成
とする。

【００３３】横断歩道上では歩行者などの障害物が存在
する可能性が高いため、障害物検知の確実性が望まれ
る。しかし、走行環境の大部分には横断歩道はなく、特
に、高速道路には横断歩道は存在しない。そして高速道
路では、高速走行を行うため、より一層の物体検知の高
速性が望まれる。そのため、そのような場所では、前記
第２の構成で説明した処理を行う必要はなく、その処理
分の計算量を省くことの方が重要となる。したがって処
理の切り替えにより、その場所での処理の優先度を変更
し、横断歩道の部分では、横断歩道が原因となる物体の
誤検知の除去や横断歩道上の歩行者検知の処理を行い、
その他の部分では、横断歩道の検出は不必要な処理であ
るので、横断歩道検知の処理は行わないことで、他の処
理の優先順位をあげる。これにより、他の処理の高速化
を損なうことなく横断歩道上での物体検知を行うことが
できる。

【００３４】（実施例）次に、これまで説明した構成を
用いて、繰返しパターンを含む道路画像から歩行者の検
知を行う実施例について説明する。まず、図２（ａ）の
ブロックに示した構成で、図３に示した場所に到達した
場合を例として説明する。ステレオ画像のうち左右どち
らかの画像全体を距離画像算出用の小領域に区切り、各
小領域ごとに他方の画像とのステレオマッチングを行
い、各小領域の距離を求める。ステレオマッチングは、
小領域内にエッジやテクスチャが存在する領域だけで行
い、無地の領域には、距離が求められないことを示すフ
ラグを立てる（図６等で「−」の部分）。エッジやテク
スチャの有無の判断は、領域内の輝度分散の大きさなど
から判断できる。エッジやテクスチャを含む領域では、
正規化相関や差分などの方法で類似度を計算することで
ステレオ画像間の対応位置を求める。

【００３５】そのステレオマッチングの際、マッチング
探索範囲内のすべての類似度を保存し、その中の最大類
似度に近い値が複数個所で存在する場合は、無地の小領
域と同様に距離が求められないと判断し、距離を求める
ことができなかったフラグを立てる。このような方法で
求めた距離画像を利用し、図６、図８などで説明した方
法により、表への投票による物体検知処理を行う。

【００３６】上記の投票結果の表を用いて、前方の物体
の有無と位置を求める。まず、物体の有無は、表中から
値の高い値の存在を調べればよい。例えば、しきい値を
３とすると、しきい値３以上の位置は、図８（ｂ）中に
○印を付けた位置となる。これらの位置が物体の存在が
確認された位置である。しきい値の設定は、焦点距離な
どから幾何学的に求められる画像上に撮像される物体の
大きさから設定すればよい。例えば高さ５００ｍｍ以上
の物体だけを検知対象とする場合は、焦点距離をｆ、距
離をｚ（単位は画素）とすると、画像上に撮像される物
体の高さｈは、ｈ＝５００×ｆ／ｚ（画素）として求められる。画像上に設定した小領域の大きさを
５×５画素とした場合、画像上の高さがｈ（画素）の物
体は、ｈ／５個の領域にまたがる。このことから、表中
からの物体の有無判断のしきい値は、ｈ／（５−２）〜
ｈ／（５−１）個程度とすればよい。

【００３７】次に、この方法で検知された物体の位置を
算出する。まず、その物体までの距離は、表の距離から
わかる。例えば、図８では歩行者は表の４ｍ、電柱は７
ｍ、樹木は９ｍのところに検出されているので、その表
の値から距離が求められる。また、これらは、その表の
横位置の項目から、カメラに対する横位置も求められ
る。例えば、カメラの画角が２４度とする。ここでは、
画像の横幅を１２分割した小領域で距離画像を作成して
いるため、一つの小領域のなす角度は、２°（＝２４÷
１２）となる。このことから、例えば、４ｍ先で表の画
像の一番右側の小領域で検知された歩行者は、カメラの
光軸から、０.８＝４×tan１２°＝４×tan（２×６）
°の位置に存在すると計算される。樹木の場合は距離が
９ｍで、右から４番目（中心から３番目）の小領域で検
知されていることから、１.９＝９×tan６°＝９×tan
（２×３）°の位置に存在すると計算される。つまり、
右端の歩行者は、カメラから前方４ｍ、右に０.８ｍの
位置に、樹木は、カメラから前方９ｍ、右に１.９ｍの
位置に存在すると求められる。その他の物体の位置も同
様の方法で求められる。

【００３８】次に、図２（ｂ）のブロックに示した構成
の実施例を説明する。これは横断歩道用の処理を追加し
たものである。距離画像は、前記図２（ａ）と同様の方
法で行う。次に、横断歩道を検出するため単眼画像処理
を行う。すなわち、ステレオ画像のどちらか片方の画像
において、強度が強く、かつ長い水平エッジを２本検出
する。２本のエッジが検出された場合、その２本のエッ
ジに挟まれる領域の縦エッジの有無を調べ、縦エッジが
多く存在した場合は、最初に検出した２本の水平エッジ
の間に挟まれる領域は横断歩道であると判断する。水平
エッジの検出は入力画像の垂直微分のヒストグラムで、
垂直エッジの検出は入力画像の水平微分のヒストグラム
などで求められる。また、横線の存在しない横断歩道の
場合でもストライプの線の並びにより破線が検出される
ため横線の検出は同様の方法で可能である。

【００３９】横断歩道上に歩行者が存在する場合には、
横断歩道上に切られた小領域内に歩行者と横断歩道のエ
ッジの両方が含まれる場合がある。歩行者だけが含まれ
る領域では繰返しパターンの影響を受けずに正しい距離
を計測できるが、小領域内に横断歩道のエッジが含まれ
る場合は、歩行者が撮像されている場合でも、横断歩道
のエッジに対して強度が弱いと、繰返しパターンによる
悪影響を受ける可能性がある。このことから、横断歩道
の領域を検出しておき、横断歩道の領域で求めた類似度
が繰返しパターンの影響を受けたときのように類似度最
大の値が複数個所で現われた場合は、図１０に示したよ
うに再度小領域を分解し、その再分割した領域を用いて
再度マッチング処理を行う。分割する大きさは、繰返し
パターンよりも小さい大きさとする。これにより、物体
が存在する範囲に、横断歩道のエッジを含まない小領域
をつくることができる。そしてこのような横断歩道のエ
ッジを含まず、物体のエッジやテクスチャだけを含む領
域では正しくその物体までの距離が求められる。

【００４０】また、物体を含まない領域では繰返しパタ
ーンにより、最大類似度が複数個所に現われるため距離
は求められない。このようなことから、例えば、或る小
領域を再分割し、その再分割してできた小領域の中のい
くつかの領域において距離が求められた場合は、その距
離を分割前の小領域の距離値とする。また、再度分割し
た小領域のすべてにおいて距離が求められなかった場合
は、再分割前の小領域は距離が求められないことを表す
フラグ（「−」）を定義する。このような方法で作成し
た距離画像を用いて、図８（ｂ）（ｃ）で説明した投票
による物体検出を行う。これにより、歩行者の存在する
確率が高いにも関わらず歩行者などの細い物体の検出が
困難な横断歩道でも確実に物体検知を行うことが可能と
なる。

【００４１】次に、図１１に示した横断歩道上の歩行者
だけを検出対象とする実施例について説明する。前記と
同様の方法で、横断歩道の奥と手前のラインｙ１とｙ２
を求める。また、前記と同様の方法で距離画像も求め
る。次に、横断歩道のラインの検出結果ｙ１とｙ２を用
い、これらの値を前記（数２）式に代入することで、カ
メラから撮像される横断歩道の奥側のラインまでの距離
ｚ１と手前のラインまでの距離ｚ２を求める。横断歩道
上の歩行者は、距離ｚ１〜ｚ２の間にいると分かってい
るので、表への投票の際に小領域で求めた距離がｚ１〜
ｚ２の間のものだけを投票する。これにより、横断歩道
上に存在する障害物だけを検知することが可能となる。
また、横断歩道上およびそれより手前の障害物も検出対
象とする場合には、投票する距離の範囲を、ｚ１以下と
すればよい。さらに、横断歩道上の障害物だけを検知対
象とする場合においては画像上のｙ２より下に撮像され
ることはないことから、距離画像の作成範囲をｙ２より
上だけと限定することもできる。これにより計算量が削
減され、路面上のノイズによる誤検知も防ぐことが可能
となる。

【００４２】次に、図１２に示したナビゲーション装置
を利用した場合の実施例について説明する。ナビゲーシ
ョン装置の情報には、交差点や横断歩道の情報が含まれ
ている。また、地図上での自車の位置も検知されてい
る。このことから、横断歩道を通過する際には、ナビゲ
ーション装置から演算装置３に対してそのことを知らせ
る信号を送る構成とする。演算装置３では、その信号を
受取ったときだけ、横断歩道検知の処理や横断歩道上の
歩行者検知の処理を行えばよい。

【００４３】以上説明してきたように、第１の構成で
は、車載されたステレオカメラによる前方の障害物検知
処理において、距離画像作成の際、定義された小領域の
距離算出のマッチング処理において、最大類似度と近い
値が現われた場合は、その領域では距離が求められない
こと示すフラグを立てる構成とする。これにより、繰返
しパターンの悪影響により正しい距離が求められない可
能性の高い領域で求められた距離が物体検知判断に反映
されないため、ステレオ画像処理の欠点である繰返しパ
ターンによって起こる物体の誤検知を防ぐことが可能と
なる。特に、道路画像では、横断歩道や背景の建物の窓
枠や側壁に描かれた繰返し模様が撮像されることが多
く、このような場面では、前方に物体がないにもかかわ
らず、近距離に物体があると誤判断が起こる場合が多々
あるが、このような繰返しパターンによる悪影響を防ぐ
ことができる。

【００４４】また、第２の構成においては、歩行者をは
じめとする障害物検知が重要とされるにもかかわらず、
繰返しパターンであるために物体の誤検知がおこりやす
い横断歩道上の障害物検知において、ステレオカメラの
片方の画像を用いた単眼画像処理によって横断歩道の有
無を検知し、横断歩道が撮像された場合は、まず、その
領域に切られた小領域では第１の構成と同様の方法で距
離を求め、繰返しパターンと判断された場合には、その
小領域を繰返しパターンより小さい大きさに再分割し、
その再分割した小領域において同じ処理を行って距離を
求める構成とする。これにより、横断歩道の強度の強い
エッジの影響で正しく距離が求められない場合のある歩
行者のような細い物体でも、歩行者だけが含まれる小さ
な領域で距離を求め直すことができるようになるため、
画像上において横断歩道と重なる位置となる領域でもそ
の位置に撮像される物体までの距離を正しく求めること
が可能となる。この処理により、横断歩道に存在する確
率の高い歩行者の検知がより確実に行えるようになる。
また、この処理においては、画像上で横断歩道のストラ
イプに全身が重なる程度に撮像される大きさの犬や猫な
どの小動物も検知が可能となる。

【００４５】また、第３の構成では、第２の構成と同様
の処理で横断歩道上の歩行者を検出対象とした場合にお
いて、単眼画像処理で検出した横エッジの位置から、カ
メラから横断歩道までの距離を計算しておき、物体検知
処理においては、横断歩道上の距離に存在するもの、も
しくは横断歩道より手前に存在する距離に存在するもの
だけを検知対象とすることで、位置を限定した物体検知
が可能となる。特に、横断歩道には、歩行者が現われる
可能性が高いが、この処理では、横断歩道上に現われる
物体を対象とした検知が可能となるので、歩行者検知を
確実に行うことができる。さらに、横断歩道上に限定し
た障害物検知の場合、横断歩道の手前のラインより下部
には物体が撮像されないことから、距離画像を求める範
囲を横断歩道の手前のラインよりも上部だけに限定する
ことも可能となる。これにより計算量の削減にもつなが
り、物体検知における路面のノイズなどの悪影響も低減
できる効果もある。

【００４６】また、第４の構成では、ナビゲーション装
置を利用することで、自車が横断歩道を通過することを
演算装置側に伝える構成とし、横断歩道を通過するとき
だけ第２、第３の構成の処理を行う構成とした。これに
より、横断歩道のない場所では、横断歩道特有の処理を
削除できるため処理の高速化につながる。また、横断歩
道通過時には、横断歩道上の歩行者検知の優先順位を上
げて第２の構成の処理を行うようにするなど、その環境
に応じて検出対象の優先順位を可変とすることも可能と
なる。

【図面の簡単な説明】

【図１】本発明の第１〜第３の構成を示すブロック図。

【図２】図２は本発明の処理をブロックで示した図であ
り、（ａ）は基本構成、（ｂ）は横断歩道用の処理を含
む構成を示す図。

【図３】本発明を適用した場面の一例を示す図であり、
（ａ）は横断歩道付近の上面図、（ｂ）は車両側からみ
た画像。

【図４】ステレオ画像処理で距離を求める原理を説明す
る図であり、（ａ）はレンズ系を示す図、（ｂ）はステ
レオの画像Ａと画像Ｂを示す図。

【図５】図４に示したステレオ画像間の対応点位置（ｘ
ａ、ｘｂ）の検出方法を説明する図。

【図６】道路上の画像とそれに対応する距離画像を示す
図であり、（ａ）は道路の画像、（ｂ）は投票用の表、
（ｃ）は距離画像。

【図７】横断歩道と繰返しパターンとなる窓枠のある建
物とを含む道路前方の画像を示す図であり、（ａ）は道
路の画像、（ｂ）は投票用の表、（ｃ）は距離画像。

【図８】図７と同じ場面において本発明による繰返しパ
ターン誤計測判断を行ったときの処理の様子を示す図で
あり、（ａ）は道路の画像、（ｂ）は投票用の表、
（ｃ）は距離画像。

【図９】単眼画像処理による横断歩道検出の方法を示す
図であり、（ａ）は、ステレオ画像のうち片方の画像を
用いて、路面の横エッジを求めることで、横断歩道の手
前の線と奥の線を検出した様子を示す図、（ｂ）は撮像
した画像を示す図。

【図１０】横断歩道上における歩行者検出処理の様子を
示す図であり、（ａ）は撮像した画像、（ｂ）は横断歩
道と歩行者が重なる部分を拡大した図、（ｃ）はテンプ
レートを示す図、（ｄ）は細分化処理を行った際のテン
プレートを示す図。

【図１１】横断歩道上でのみ物体検知を行う処理の様子
を示す図であり、（ａ）は道路の画像、（ｂ）は投票用
の表、（ｃ）は距離画像。

【図１２】本発明の第４の構成を示すブロック図。

【符号の説明】

１…検知対象となる物体（歩行者等）２…電子式の
ステレオカメラ３…演算装置４…検出出力５…ナビゲーション装置６…車両７…横断歩道８…右レンズ９…左レンズ１０…検出対象
となる物体

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０８Ｇ 1/0969 Ｇ０１Ｓ 17/88 ＡＦターム(参考） 2F029 AA02 AB07 AB12 AC02 AC06 AC09 AC13 AC16 5B057 AA16 BA15 CC03 DA07 DB03 DC02 DC08 DC09 DC16 DC32 5H180 AA01 CC04 CC12 EE05 FF22 FF32 LL01 LL08 LL09 5J084 AA04 AA05 AB07 AC02 AD05 AD07 BA34 BB01 CA31 CA65 EA04 EA22 5L096 AA09 BA04 CA05 FA03 FA46 FA66 FA67 GA19 JA03

Claims

【特許請求の範囲】

【請求項１】二つのレンズを有し、両レンズが共に車両
前方または後方に向けて相互に光軸が平行になるように
設置された電子式のカメラと、一方のレンズの画像を所定の大きさの小領域毎に分割
し、エッジまたはテクスチャの少なくとも一方を含む小
領域毎に、他方のレンズの画像においてその領域と最も
類似度が高い領域を検出し、最も類似度が高い両領域の
位置の差から各領域毎の視差を求める視差演算手段と、前記の視差に基づいて、撮像された物体までの距離と、
画像上で前記物体が撮像された位置とを求める物体検知
手段と、前記視差演算手段の処理において両画像間の対応位置を
画像間の類似度を元に求める際に、最大類似度に近い値
が２個所以上の異なる位置に存在することを判断する判
断手段と、前記判断手段の処理結果において最大類似度に近い値が
複数の異なる個所で求められた場合は、その小領域で測
定された距離を前記物体検知手段における物体検知処理
には用いないように禁止する禁止手段と、と備えたことを特徴とする車載用物体検知装置。
【請求項２】前記電子式のカメラの２つの画像のうち一
方の画像を用いて、横断歩道のストライプの前後に存在
する２本の白線の位置を検出する横断歩道検出手段と、前記横断歩道検出手段で検出した横断歩道内に含まれる
前記小領域について、前記判断手段の処理結果において
最大類似度が近い値が複数の異なる個所で求められた場
合は、その小領域を更に小さな領域に分割して前記視差
演算手段以降の処理を再度行わせる分割再処理手段と、を備えたことを特徴とする請求項１に記載の車載用物体
検知装置。
【請求項３】前記電子式のカメラの２つの画像のうち一
方の画像を用いて、横断歩道のストライプの前後に存在
する２本の白線の位置を検出する横断歩道検出手段と、前記横断歩道検出手段で検出した２本の白線位置までの
実際の距離を求める距離演算手段と、距離が前記２本の白線間に存在する物体もしくはそれよ
りも手前に存在する物体のみを検知対象とする対象限定
手段と、を備えたことを特徴とする請求項１または請求項２に記
載の車載用物体検知装置。
【請求項４】前記対象限定手段が前記２本の白線間に存
在する物体のみを検知対象とする場合には、前記２本の
白線のうち手前の白線よりも画像上で上方の領域で求め
られた距離値のみを用いて物体検知を行うことを特徴と
する請求項３に記載の車載用物体検知装置。
【請求項５】自車両の現在位置および道路上の横断歩道
位置を認識するナビゲーション装置を備え、前記電子式カメラの画像に横断歩道が撮像される場合に
のみ前記請求項２の分割再処理手段の処理または請求項
３または請求項４の処理を行わせることを特徴とする請
求項２乃至請求項４の何れかに記載の車載用物体検知装
置。