JP2006053823A - 移動物体を検出するシステムとその方法 - Google Patents

Abstract

【課題】一般道路走行中の車両で取得した画像情報を処理して、前方車や追い越し車などの移動物体の検出を可能にする。
【解決手段】本発明によるシステムは、連続撮像手段Ａ（カメラ）、画像出力手段Ｂ、背景領域識別手段Ｃ、水平エッジ検出手段Ｄおよび移動物体検出手段Ｅから構成されている。本発明による移動物体検出方法では、背景領域検出ステップを設け、オプティカルフローを用いて、前記画像データから動きの消去点を利用して背景領域を検出する。移動物体領域候補（背景でない部分）でオプティカルフローと水平エッジ検出の両方の視点から移動物体を検出する。
【選択図】図１

Description

本発明は、道路領域における移動観測系からの移動物体を検出するシステムおよび方法に関する。

現代社会において、自動車は私達の生活になくてはならないものになっている。しかしその一方で、交通事故による死亡者は後をたたず、深刻な社会問題になっている。長時間に渡っての運転はドライバーの体力を消耗させるため、常に注意深く運転することは難しい。そのため、近年ではＩＴＳなどの分野において安全運転を支援するための様々なシステムが開発されている。このようなシステムの一つとして道路領域における移動観測系（システム利用者の搭乗車両）からの移動物体（例えば先行車両）の検出法の開発が強く望まれている。しかしこれまでの研究では、高速道路など比較的画像処理が容易な環境を対象としているものが多く、一般道路における複雑な環境下でのシステムは構築されていない。

一般道路上では自車両の運動や背景が複雑であり、また路面環境も悪いため、システムの構築により多くの制限が生じてしまう。しかし実際は交通事故は９割以上が一般道路で起こっており、一般道路に対応したシステムの確立は急務である。
移動物体の検出にオプティカルフローが用いられる（非特許文献１〜３）。非特許文献１記載のものは、ビデオカメラは固定位置にあり、オプティカルフローのみで、移動物体を検出しようとするものである。
木村 和広，太田 直哉，金谷 健一 著「精密なノイズモデルによるオプティカルフローの検出」情報処理学会研究報告，96-CV-99-6,pp.37-42,1996 海老根 巧，浜田 望 著「観測系の運動を考慮したオプティカルフロー推定に基づく運動物体検出」電子情報通信学会誌D-II Vol.J83-D-II No.6,pp.1498-1506,2000 渡辺 陸，武田 信之，小野田 一則 著「主成分分析を用いた移動物体認識法の検討」情報処理学会研究報告書，96-CV-99,pp.51-58,1996

前述したように、運転者を支援する情報の提供は強く望まれているが、複雑な交通環境で、しかも運転者が運転する車両も移動している状況のもとに、確実に十分な環境情報を提供できる方法または装置は開発されていない。
運転者が運転する車両自体が移動するから、そこに搭載されているビデオカメラの出力画像はその影響を受け背景の画像も移動してしまい走行車両等の移動物体との区別が容易でなくなる。
本発明の目的は、一般道路走行中の車両が取得した画像情報を処理して、前方車や追い越し車などの移動物体の検出を可能にし、検出情報を運転者等に提供可能にすることにより、運転者の負担を減少させることができる移動物体を検出するシステムおよびその方法を提供することにある。

前記目的を達成するために、本発明による請求項１記載のシステムは、
連続的に撮像された複数枚の画像から移動物体を検出するシステムにおいて、
連続撮像された複数枚の画像を出力する画像出力手段と、
前記画像出力手段から供給された複数枚の画像に基づいて背景領域を識別する背景領域識別手段と、
前記画像出力手段から供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出手段と、
前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出手段と、から構成されている。

本発明による請求項２記載のシステムは、前記請求項１記載の移動物体検出システムにおいて、
前記画像出力手段は、撮像された複数枚の画像に雑音低減処理を施し、前記背景領域識別手段と前記水平エッジ検出手段とに画像を供給するように構成されている。
本発明による請求項３記載のシステムは、前記請求項１記載の移動物体検出システムにおいて、
前記背景領域識別手段は、前記画像出力手段より供給された連続する２枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別するように構成されている。

本発明による請求項４記載のシステムは、前記請求項１記載の移動物体検出システムにおいて、
前記水平エッジ検出手段は、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含んでいる。

本発明による請求項５記載のシステムは、前記請求項１記載の移動物体検出システムにおいて、
前記移動物体検出手段は、前記背景領域識別手段により背景領域と識別された領域について前記水平エッジ検出手段で検出された水平エッジ成分を除去し、除去されなかった水平エッジ成分を移動物体候補とするように構成されている。

本発明による請求項６記載のシステムは、前記請求項５記載の移動物体検出システムにおいて、
前記移動物体検出手段は、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合手段と、
前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、
前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合手段とを備えている。

本発明による請求項７記載のシステムは、前記請求項６記載の移動物体検出システムにおいて、
前記類似色領域結合手段は、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なうように構成されている。

本発明による請求項８記載の方法は、連続的に撮像された複数枚の画像から移動物体を検出する方法において、
連続撮像された複数枚の画像を出力する画像出力ステップと、
前記画像出力ステップより供給された複数枚の画像に基づいて背景領域を識別する背景領域識別ステップと、
前記画像出力ステップより供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出ステップと、
前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出ステップと、から構成されている。

本発明による請求項９記載の移動物体検出方法は、前記請求項８記載の方法において、
前記画像出力ステップは、前記背景領域識別ステップと前記水平エッジ検出ステップとに画像を供給するステップとを含んで構成されている。

本発明による請求項１０記載の移動物体検出方法は、前記請求項８記載の方法において、
前記背景領域識別ステップは、前記画像出力ステップより供給された連続する２枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別するステップである。

本発明による請求項１１記載の移動物体検出方法は、前記請求項８記載の方法において、
前記水平エッジ検出ステップは、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含むステップである。

本発明による請求項１２記載の移動物体検出方法は、前記請求項８記載の方法において、
前記背景領域識別ステップで背景領域と識別された領域について前記水平エッジ検出ステップで検出された水平エッジを除去し、除去されなかった水平エッジ成分を移動物体候補とするステップである。

本発明による請求項１３記載の移動物体検出方法は、前記請求項１２記載の方法において、
前記移動物体検出方法は、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合ステップと、
前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、
前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合ステップを含んでいる。

本発明による請求項１４記載の移動物体検出方法は、前記請求項１３記載の方法において、
前記類似色領域結合ステップは、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なうステップである。

本発明によるシステムおよび方法によれば、オプティカルフローと水平エッジ検出の両方の視点から移動物体を検出するように構成してあるから、移動観測系（観測者の車両）のビデオカメラ出力を演算処理して移動物体（先行車両等）を確実に検出することができる。

以下図面等を参照して本発明による方法の実施の形態を説明する。道路領域における移動観測系（観測者の車両）のビデオカメラの出力を演算処理して、道路に関連する移動物体（先行車両等）を検出する方法を実施例として説明する。

移動物体を検出するために、背景領域を取り除く必要がある。その方法として、２枚の時系列画像における各画素の変化量を求め、その変化量の違いによって移動物体領域と背景領域を区別するといった手法があげられる。本発明では変化量を求めるためにオプティカルフローを採用し、移動物体領域と背景領域におけるオプティカルフローの延長線が収束する点（消失点）の違いによって領域を分割し、移動物体のみを検出することを試みる。しかし変化量が少ない遠くの方の領域では、背景部分と車両との区別を行うことが困難になってくる。また、車自体の揺れなどによって完全なオプティカルフロー情報を取得することは困難である。よって、車両領域を確実に残すために、移動物体と背景の識別が曖昧な領域に関しては現時点では車両領域候補と考えて、確実に背景部分であると思われる領域だけを除去する。

本発明による移動物体検出システムの概略を、ブロック図（図１）を参照して説明する。
本発明による移動物体検出システムは、連続撮像手段Ａで連続的に撮像された複数枚の画像から移動物体を検出するシステムである。画像出力手段Ｂで、連続撮像された複数枚の画像を出力する。
前記画像出力手段Ｂは、撮像された複数枚の画像に雑音低減処理を施し、背景領域識別手段Ｃと水平エッジ検出手段Ｄとに画像を供給する。

前記背景領域識別手段Ｃは、前記画像出力手段Ｂから供給された複数枚の画像に基づいて背景領域を識別する。前記背景領域識別手段Ｃは、前記画像出力手段Ｂより供給された連続する２枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別する。

水平エッジ検出手段Ｄは、前記画像出力手段Ｂから供給された画像に基づいて水平エッジ成分を検出する。
前記水平エッジ検出手段Ｄは、検出された水平エッジ成分に対して、膨張・収縮処理を行なう。

移動物体検出手段Ｅは、前記背景領域識別手段Ｃの出力と前記水平エッジ検出手段Ｄの出力とから移動物体を検出する。
前記移動物体検出手段Ｅは、前記背景領域識別手段Ｃにより背景領域と識別された領域について前記水平エッジ検出手段Ｄで検出された水平エッジ成分を除去し、除去されなかった水平エッジ成分を移動物体候補とする。
前記移動物体検出手段Ｅは、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合手段と、前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合手段とを備えている。
前記類似色領域結合手段は、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なう。

次に第２図を参照して前記システムを利用して実行される方法を説明する。
（ステップ１）
この画像入力ステップで、道路と関連画像を道路画像として入力する。
運転者の搭乗車両の後部座席に設置したビデオカメラで、前方向を撮影する。この実施例では、撮像の速度は、３０フレーム／秒、画像サイズは３６０画素×２４０画素、ＲＧＢ各２５６レベルで撮影しフレームメモリに取り込んだ。
図３に取り込んだ画像の一例を示す。なお、図３において１は同じ車線の先行車両、２は追い越し車線の先行車両、３は追い越し車線の追い越し車両である。

（ステップ２）
このステップは、前記画像を平滑化により雑音を除去して画像データを得るステップである。エッジの劣化を避けるために、濃淡化した画像を、ガウスオペレータを用いて平滑化する。
ガウスオペレータは３×３の大きさで各点の値はつぎのとおりにした。
0.07 0.12 0.07
0.12 0.2 0.12
0.07 0.12 0.07

（ステップ３）
このステップは、動きの消失点を用いた背景領域検出ステップである。ステップ２で得られた画像の隣りあうフレーム間でオプティカルフローを求める。図４に背景領域と移動物体領域候補を示す。背景領域を黒で示してある。
実施例では、４画素置きの点、９０×６０の画素でオプティカルフローを求めた。
オプティカルフローが消失点の方向に向かっている点を背景とする。
また、消失点への方向とオプティカルフローの方向との差が２０度以内の点を背景とし、残りの点は移動物体候補とした。

（ステップ４）
このステップは、水平エッジ検出による車両の水平方向成分検出ステップである。入力画像から濃淡画像を作成し、濃淡画像に水平エッジを検出するソーベル(Sobel) フィルタをかけることによって画像中の水平エッジを検出する。図５に水平エッジを示す。
ソーベルフィルタは３×３の大きさであり各点の値はつぎのとおりである。
1 2 1
0 0 0
-1 -2 -1
この実施例ではソーベルフィルタの出力が９０以上を水平エッジとした。
次に、つながっていない水平エッジをつなげるために、得られた水平エッジ画像に対して膨張・収縮を行う。水平方向に長いエッジを残すために、マスクは５×３の長方形を用いた。すなわち、水平エッジの点を中心に５×３の範囲の点を水平エッジとする膨張処理を２回繰り返した後、水平エッジでない点を中心に５×３の範囲の点を水平エッジでないとする収縮処理を２回繰り返す。

（ステップ５）
このステップは車両領域候補を検出するステップである。水平エッジ検出によって得られた結果には、看板などによる背景のエッジも残っているので、先に求めた背景領域に対応する部分内のエッジを取り除く。その後、面積の小さい領域は雑音とみなし取り除く。図６に背景のエッジを除去した車両領域候補を図示してある。
実施例では面積が２０画素以下の領域を取り除いた。結果として得られた領域を車両領域候補とする。

（ステップ６）
車両領域候補における類似色相検出について車両領域膨張（収縮）を行う。原画像（カラー画像）の表色系をＲＧＢからＨＳＩ空間に変換し、色相Ｈを求める。
その式はつぎのとおりである。
Ｈ＝
(b - g)*60 (R = max ｛R,G,B ｝のとき)
(2+r-b)*60 (G = max ｛R,G,B ｝のとき)
(4+g-r)*60 (B = max ｛R,G,B ｝のとき)
なお
r = (max ｛R,G,B ｝-R) / (max｛R,G,B ｝ - min｛R,G,B ｝)
g = (max ｛R,G,B ｝-G) / (max｛R,G,B ｝ - min｛R,G,B ｝)
b = (max ｛R,G,B ｝-B) / (max｛R,G,B ｝ - min｛R,G,B ｝)
求めた車両領域候補と似た色相を持つ周囲の領域をまとめる。
実施例では、３６０度の円周上で色相を表し、色相の差が１０度以内にある場合に類似した色相とみなした。結果として求まった領域を車の領域候補とする。図７に類似色相検出による車両領域膨脹（収縮）の状態を示す。図中、車両に対応する白色の部分が車両領域膨脹（収縮）の状態に対応する。白黒画像の表現により、図３に示した各車両１，２，３に対応する部分が白く表現されているがこの部分の色は車両の塗装の色とか照明状態により異なる。

（ステップ７）
このステップで、図７に示す各部の類似オプティカルフロー検出による同一車両領域の統合を行う。
前のステップで検出された車両領域候補ごとにオプティカルフローの大きさの平均と方向の平均とを求める。それらの値を領域間で比較し、大きさの差が０．２以内、方向の差が２０度以内なら、同じ車両の領域として一つの領域にまとめることによって、車両の検出を終了する。
まとめられた各車両の情報は、運転者等が見やすいように加工されて表示される。

本発明による方法は、交通運輸産業、車両関連搭載電子通信機器製造の産業分野で広い応用が期待できる。

本発明システムのブロック図である。 本発明方法を説明するための流れ図である。 入力画像の例を示す図である。 背景領域と移動物体候補の関係を示す略図である。 水平エッジ検出による車両の水平方向成分検出状態を示す図である。 車両領域候補を示す図である。 類似色相検出による車両領域の膨脹（収縮）を示す図である。

符号の説明

Ａ 連続撮影手段
Ｂ 画像出力手段
Ｃ 背景領域識別手段
Ｄ 移動物体検出手段
１ 同じ車線の先行車両
２ 追い越し車線の先行車両
３ 追い越し車線の追い越し車両

Claims (14)

1. 連続的に撮像された複数枚の画像から移動物体を検出するシステムにおいて、
   連続撮像された複数枚の画像を出力する画像出力手段と、
   前記画像出力手段から供給された複数枚の画像に基づいて背景領域を識別する背景領域識別手段と、
   前記画像出力手段から供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出手段と、
   前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出手段と、
   を有する移動物体検出システム。
2. 前記画像出力手段は、前記背景領域識別手段と前記水平エッジ検出手段とに画像を供給する手段である、請求項１記載の移動物体検出システム。
3. 前記背景領域識別手段は、前記画像出力手段より供給された連続する２枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別する手段である、請求項１記載の移動物体検出システム。
4. 前記水平エッジ検出手段は、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含む、請求項１記載の移動物体検出システム。
5. 前記移動物体検出手段は、前記背景領域識別手段により背景領域と識別された領域について前記水平エッジ検出手段で検出された水平エッジ成分を除去し、除去されなかった水平エッジ成分を移動物体候補とする、請求項１記載の移動物体検出システム。
6. 前記移動物体検出手段は、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合手段と、
   前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、
   前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合手段と、
   を有する、請求項５記載の移動物体検出システム。
7. 前記類似色領域結合手段は、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なう、請求項６記載の移動物体検出システム。
8. 連続的に撮像された複数枚の画像から移動物体を検出する方法において、
   連続撮像された複数枚の画像を出力する画像出力ステップと、
   前記画像出力ステップより供給された複数枚の画像に基づいて背景領域を識別する背景領域識別ステップと、
   前記画像出力ステップより供給された画像に基づいて水平エッジ成分を検出する水平エッジ検出ステップと、
   前記背景領域識別手段の出力と前記水平エッジ検出手段の出力とから移動物体を検出する移動物体検出ステップと、
   を有する移動物体検出方法。
9. 前記画像出力ステップは、前記背景領域識別ステップと前記水平エッジ検出ステップとに画像を供給するステップである、請求項８記載の移動物体検出方法。
10. 前記背景領域識別ステップは、前記画像出力ステップより供給された連続する２枚の画像からオプティカルフローを算出し、オプティカルフローが消失点に向かう特徴点を背景として背景領域を識別するステップである、請求項８記載の移動物体検出方法。
11. 前記水平エッジ検出ステップは、検出された水平エッジ成分に対して、膨張・収縮処理を行なうことを含む、請求項８記載の移動物体検出方法。
12. 前記移動物体検出方法は、前記背景領域識別ステップで背景領域と識別された領域について前記水平エッジ検出ステップで検出された水平エッジを除去し、除去されなかった水平エッジ成分を移動物体候補とする、請求項８記載の移動物体検出方法。
13. 前記移動物体検出方法は、前記水平エッジ成分を検出する前の画像を参照して前記移動物体候補及びその周辺画素に対応する画素の色情報を獲得し、近接する画素間の色情報の比較を行ない、色情報が類似すると判断された場合、色情報が類似する画素を結合する類似色領域結合ステップと、
    前記類似色領域結合手段により結合された領域ごとにオプティカルフローを算出し、
    前記算出されたオプティカルフローの大きさ及び方向がほぼ等しい領域を個別移動物体領域として統合する統合ステップと、
    を有する、請求項１２記載の移動物体検出方法。
14. 前記類似色領域結合ステップは、色相のばらつきが所定範囲内である場合に類似色であると判断して結合を行なう、請求項１３記載の移動物体検出方法。