JP2000242797A - 画像の運動検出方法及び物体検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 グラディエント法を用いたオプティカルフロ
ー検出において、物体境界のオプティカルフローを確実
に検出する。 【解決手段】 ＣＣＤカメラ１０にて得られた画像は画
像処理装置１２に供給される。画像処理装置１２の処理
部１６は、グラディエント法を用い、一定条件下で暫定
的に仮のオプティカルフローを検出する。検出された仮
のオプティカルフローの空間勾配を算出し、この空間勾
配に対し負の相関を有するように拡散係数αを決定す
る。空間勾配に応じて可変となる拡散係数αを用い、オ
プティカルフローの空間的変化が最小となる条件を付加
してグラディエント法によるオプティカルフロー成分を
抽出する。拡散係数αを可変とすることにより、ノイズ
に強く、かつ物体境界においてその差が強調されたオプ
ティカルフローが得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像の運動検出方法
及び物体検出装置、特にグラディエント法を用いたオプ
ティカルフロー検出に関する。

【０００２】

【従来の技術】車両の自動運転などに画像認識技術を応
用する場合、得られた画像から他車や歩行者を確実に検
出する必要があり、人間や車両の色や形状に関するテン
プレートを用いて抽出する技術が知られている。

【０００３】一方、他車や歩行者など、画像内で自車の
運動とは独立に運動している物体は、画像内での静止背
景（建物や街路樹など）とは異なる運動成分を有する
（静止背景は画像内で自車の運動に対応した運動成分の
みを持つが、他車や歩行者は自車の運動成分に加えて、
それ自身の運動成分も有する）。したがって、画像内で
画像全体の運動（自車の運動）とは異なる運動成分を有
する物体を検出することで、自車の走行にとり障害物と
なり得る物体を検出することが可能である。画像内にお
ける運動成分は、一般にオプティカルフロー（ＯＦ）と
呼ばれている。オプティカルフローは画像上での濃淡パ
ターンの見かけの速度ベクトルであり、この速度ベクト
ルを検出する方法としてグラディエント法が用いられて
いる。

【０００４】グラディエント法においては、時刻ｔにお
いて座標（ｘ，ｙ）にある濃淡パターンがｄｔ時刻経過
した後に座標（ｘ＋ｄｘ，ｙ＋ｄｙ）にその濃淡分布を
一定に保ったまま移動したとき、その対応付けから

【数１】 の関係が成り立ち、上式の右辺をテイラー展開して高次
の項を無視すると

【数２】 が得られる。（２）式において、（ｕ，ｖ）はオプティ
カルフローＯＦのｘ成分とｙ成分である。（２）式は、
動画像の濃淡値の空間と時間に関する偏微分とオプティ
カルフロー（ｕ，ｖ）とを関係付ける式であるが、未知
パラメータ（ｕ，ｖ）の２つに対し、関係式が１つしか
規定されていないため（２）式のみでは（ｕ，ｖ）を一
意的に決定することはできない。

【０００５】そこで、従来より（２）式に加えさらに１
つ以上の拘束条件を付加することによりオプティカルフ
ローを検出している。

【０００６】このような付加条件の１つとして、いわゆ
る空間的大域最適化法と呼ばれる方法がある。この方法
は、（２）式に加え、さらにオプティカルフローの空間
的変化を最小にする条件を付加するものである。すなわ
ち、

【数３】 なる量Ｓを最小にするという条件である。そして、
（２）式と（３）式の誤差が画像全体で最小となるよう
に、すなわち誤差Ｅを

【数４】 と定義し、この誤差Ｅが最小となるようにオプティカル
フロー（ｕ，ｖ）を決定する。

【０００７】なお、（４）式におけるαは（２）式と
（３）式の相対的な重みを決定する係数であり、拡散係
数と称する。この拡散係数αが大きいほど、（３）式の
比重が大きくなり、したがってオプティカルフローの空
間的変化が少ない滑らかなオプティカルフローが得られ
ることになる。拡散係数αとしては、一定値（例えばα
＝１０）が用いられる。

【０００８】以上述べた、グラディエント法及び空間的
大域最適化法の詳細については、例えば「パソコンによ
る動画処理」（三池秀敏著、森北出版、１９９３年）を
参照されたい。

【０００９】

【発明が解決しようとする課題】しかしながら、このよ
うな一定の拡散係数αを用い、オプティカルフローの空
間的変化を最小にする条件を付加してグラディエント法
によりオプティカルフローを検出する方法では、変化の
滑らかさという付加条件に起因して画像全体でオプティ
カルフローが平滑化され、したがって異なる運動をして
いる物体間の境界においてもそのオプティカルフローが
ぼやけてしまう問題が生ずる。

【００１０】図４には、従来の方法によるオプティカル
フロー検出が模式的に示されている。図４（ａ）に示さ
れるように、全く異なる運動を行っている２つの物体が
存在し、それぞれのオプティカルフローが全く異なって
いても、従来の方法では一定の拡散係数αを用いてオプ
ティカルフローを平滑化しているため（（４）式におい
て、滑らかさを要求する右辺第２項の重みを常に一定と
している）、（ｂ）に示されるように異なる物体間の境
界においてもオプティカルフローが平滑化されてしま
い、物体の境界を確実に抽出することができない問題が
あった。

【００１１】もちろん、異なる運動をしている物体間の
境界におけるオプティカルフローを抽出すべく、拡散係
数αを一律に小さな値（例えばα＝１）に設定すること
も考えられるが、この場合には、画像全体に渡って
（４）式の右辺第１項の比重が高まり、濃淡のわずかな
相違も異なるオプティカルフローとして抽出されること
になり、画像内のノイズがオプティカルフローに影響を
与えてしまう新たな問題が生ずる。

【００１２】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、耐ノイズ性と、異
なる運動をしている物体間の境界におけるオプティカル
フローの確実な検出という、２つの要求を同時に満たす
ことができる装置及び方法を提供することにある。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、グラディエント法を用いて画像内の
オプティカルフローを検出することにより前記画像内の
運動を検出する方法であって、前記グラディエント法に
おいて、前記画像内のオプティカルフローの空間的変化
を最小にする条件を付加し、かつ、前記条件を付加する
際の拡散係数を変化させることを特徴とする。拡散係数
を従来のように一定ではなく、変化させることで、耐ノ
イズ性と物体境界でのオプティカルフローの差分強調と
いう要求に対応することができる。なお、拡散係数は、
より具体的には静止背景や物体内部と考えられる画像位
置では大きく設定されて滑らかさが優先され、物体境界
と考えられる画像位置では小さく設定されてその差が強
調される。

【００１４】また、第２の発明は、第１の発明におい
て、前記拡散係数は、一定条件下で検出された仮オプテ
ィカルフローの空間勾配に対し負の相関を有するように
変化させることを特徴とする。仮オプティカルフローの
空間勾配が大きい画像位置は物体境界と考えられ、空間
勾配が小さい画像位置は静止背景や物体内部と考えられ
る。したがって、空間勾配に対して負の相関を有するよ
うに拡散係数を変化させることで拡散係数を最適化する
ことができる。なお、一定条件とは、グラディエント法
を用いて暫定的にオプティカルフローを検出するための
条件であり、ある程度の精度でオプティカルフローを検
出できればいかなる条件も可能である。好適な実施形態
では、拡散係数αを０に設定した条件が用いられるが、
従来方法と同様（αを例えば１０に固定）の方法で仮オ
プティカルフローを得てもよい。

【００１５】また、第３の発明は、グラディエント法を
用いて画像内のオプティカルフローを検出することによ
り前記画像内の運動を検出する方法であって、オプティ
カルフローの長さが最小となる条件を付加することで前
記画像内から仮のオプティカルフローを検出する第１ス
テップと、検出された前記仮のオプティカルフローの空
間差分値が増大する程、その値が小さくなるように拡散
係数を決定する第２ステップと、決定された前記拡散係
数を用いて前記画像内のオプティカルフローの空間的変
化を最小するにする条件を付加し、前記画像内のオプテ
ィカルフローを検出する第３ステップと、前記第３ステ
ップで検出されたオプティカルフローを前記仮のオプテ
ィカルフローとみなして前記第２及び第３ステップを繰
り返すステップとを有することを特徴とする。第２ステ
ップ及び第３ステップを繰り返すことで、物体の境界位
置におけるオプティカルフローの差が強調され、より高
精度の検出が可能となる。

【００１６】また、第４の発明は、画像内から物体を検
出する装置であって、可変の拡散係数を用いて前記画像
内のオプティカルフローの空間的変化を最小にする条件
を付加することでグラディエント法により前記画像内の
オプティカルフローを検出するオプティカルフロー検出
手段と、検出された前記オプティカルフローを用いて前
記画像内の物体を検出する物体検出手段とを有すること
を特徴とする。

【００１７】また、第５の発明は、第４の発明におい
て、前記拡散係数は、一定条件下で検出された仮オプテ
ィカルフローの空間勾配に対し負の相関を有するように
変化することを特徴とする。

【００１８】また、第６の発明は、第４、第５の発明に
おいて、前記画像は車載の撮像手段により取得され、前
記物体検出手段は、検出された前記オプティカルフロー
から前記撮像手段の運動により生じるオプティカルフロ
ーを除去する演算手段を有することを特徴とする。自車
の運動に起因するオプティカルフローを除去すること
で、自車の運動とは独立に運動する物体のオプティカル
フローのみを抽出でき、これにより自車とは独立に運動
する物体を確実に検出できる。なお、自車の運動に起因
するオプティカルフローは、自車の運動パラメータ（自
車の運動速度など）に基づいて算出されるが、自車の運
動パラメータはセンサにより検出することもできるが、
画像から推定することも可能である。

【００１９】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００２０】図１には、本実施形態の構成ブロック図が
示されている。撮像手段としてＣＣＤカメラ１０が車両
の所定位置に設けられ、車両周囲画像を取得する。得ら
れた画像は画像処理装置１２に供給される。

【００２１】画像処理装置１２は、Ａ／Ｄ変換部１４、
処理部１６及び画像メモリ１８を含んで構成されてい
る。Ａ／Ｄ変換部１４は、ＣＣＤカメラ１０からの画像
信号をデジタル変換し、処理部１６に出力する。処理部
１６は、マイクロコンピュータで構成され、従来と同様
に拡散係数αを用い、オプティカルフローの空間的変化
を最小にする条件を付加してグラディエント法により画
像内のオプティカルフローを検出する。但し、処理部１
６は従来のように一定の拡散係数αを用いるのではな
く、可変の拡散係数αを用いる。具体的には一定条件下
で画像内から検出された仮のオプティカルフロー（暫定
的に検出されたオプティカルフロー）からその空間勾配
を算出し、この空間勾配に対して負の相関を有するよう
に拡散係数αを変化させる。すなわち、隣接するオプテ
ィカルフローの差が大きいところ、すなわち異なる物体
間の境界と考えられる画像位置においては小さな拡散係
数が設定され、オプティカルフローの差が小さいとこ
ろ、すなわち物体内部や背景内部と考えられる画像位置
では大きな拡散係数が設定される。メモリ１８は、Ａ／
Ｄ変換部１４でデジタル変換された画像あるいは検出し
たオプティカルフローを格納する。

【００２２】図２には、本実施形態における全体処理フ
ローチャートが示されている。まず、ＣＣＤカメラ１０
にて画像を取得し（Ｓ１０１）、画像処理装置１２内の
処理部１６で画像内からオプティカルフロー（ＯＦ）を
検出する（Ｓ１０２）。オプティカルフローを検出した
後、処理部１６は自車の運動、すなわちＣＣＤカメラ１
０自体の運動に起因して生じるであろう画像内のオプテ
ィカルフローを算出する（Ｓ１０３）。自車が横滑りや
ピッチあるいはロール運動せずに前方に運動している場
合には、ＣＣＤカメラの視点高さｅが既知で道路が平坦
であるとして投影幾何学により自車の運動のパラメータ
（運動速度ＺとヨーレートＲ）と自車の運動により生起
したオプティカルフロー（ｕ’、ｖ’）との間には、

【数５】 及び

【数６】 の関係があるので、得られた画像のオプティカルフロー
（ｕ、ｖ）のデータを最小２乗法などの方法により
（５）式、（６）式に当てはめ、自車の運動速度Ｚ及び
ヨーレートＲを推定することができる。そして、推定さ
れたＺとＲを用い、再び（５）式、（６）式を用いてオ
プティカルフロー（ｕ’、ｖ’）を算出することができ
る。もちろん、自車の運動速度Ｚ及びヨーレートを別途
センサで検出し、検出して得られたＺとＲを用いてオプ
ティカルフロー（ｕ’、ｖ’）を算出することも好適で
ある。

【００２３】自車運動に起因するオプティカルフロー
（ｕ’、ｖ’）を算出した後、Ｓ１０２で検出されたオ
プティカルフロー（ｕ、ｖ）からＳ１０３で算出した自
車運動のオプティカルフロー（ｕ’、ｖ’）を除去する
（Ｓ１０４）。この処理は、画像内から自車の運動とは
無関係に動いている物体のオプティカルフローのみを抽
出するためである。

【００２４】そして、Ｓ１０４にて抽出されたオプティ
カルフロー、すなわち自車の運動とは無関係に運動して
いる物体に起因するオプティカルフローに対して所定の
フィルタ処理（例えばローパスフィルタ）を施してノイ
ズを除去し、所定のしきい値と比較し２値化処理するこ
とでしきい値以上のオプティカルフローを抽出する（Ｓ
１０５）。Ｓ１０５で抽出したオプティカルフローが、
自車の運動とは独立に運動している物体のオプティカル
フローであり、処理部１６はこのオプティカルフローに
基づき物体を認識して出力する。

【００２５】図３には、図２におけるＳ１０２の処理、
すなわち画像内からオプティカルフロー（ＯＦ）を検出
する処理の詳細フローチャートが示されている。図にお
いて、処理部１６は、まず一定条件下で画像内から仮の
オプティカルフロー（ＯＦ）を暫定的に検出する（Ｓ２
０１）。ここで、一定条件下とは、拡散係数αを０と
し、（４）式の誤差Ｅが右辺第１項のみである条件をい
い、この条件下で仮のオプティカルフローを検出する。
この仮のオプティカルフローは、ノイズの影響を受け易
く、精度の低いオプティカルフローである。

【００２６】仮のオプティカルフローを検出した後、隣
接するオプティカルフロー間でその空間勾配ｄ（ｉｘ，
ｉｙ）を算出する（Ｓ２０２）。ここで、ｄ（ｉｘ，ｉ
ｙ）は、（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））をそれぞれ任
意の座標（ｘ，ｙ）における仮のオプティカルフローの
差分のｘ成分、ｙ成分とした場合、

【数７】 である。但し、ｉｘ，ｉｙは差分をとる方向を示すパラ
メータである。

【００２７】仮のオプティカルフローの空間勾配ｄ（ｉ
ｘ，ｉｙ）を算出した後、このｄ（ｉｘ，ｉｙ）を用い
て拡散係数αを算出する（Ｓ２０３）。拡散係数αは、
上述したようにオプティカルフローの差が大きいとこ
ろ、すなわち物体境界と考えられる位置では小さく、オ
プティカルフローの差が小さいところ、すなわち物体内
部や背景内部と考えられる位置では大きくなるように設
定され、具体的には、

【数８】 のように決定される。なお、ｋは定数であり、たとえば
ｋ＝１．０に設定できる。

【００２８】拡散係数αを空間的勾配に基づいて決定し
た後、（４）式における誤差Ｅを最小にするオプティカ
ルフロー（ｕ，ｖ）を算出する（Ｓ２０４）。これによ
り、Ｓ２０１で暫定的に検出された仮のオプティカルフ
ローが更新され、物体内部や背景内部では滑らかさを維
持しつつ、物体境界ではその差が強調されたオプティカ
ルフローが得られることになる。

【００２９】Ｓ２０４でオプティカルフローを検出した
後、検出されたオプティカルフローを用いて再びＳ２０
２の処理に戻ってその空間勾配ｄ（ｉｘ，ｉｙ）を算出
し、拡散係数αを再度算出する。そして、この拡散係数
αを用いて再び（４）式の誤差Ｅを最小にする（ｕ，
ｖ）を算出することによりオプティカルフローを検出す
る。２回目に検出されたオプティカルフローは、１回目
に検出されたオプティカルフロー以上に異なる物体間の
境界における差が強調されたものとなる。

【００３０】なお、Ｓ２０２〜Ｓ２０４の繰り返し回数
は任意に設定することができ、あるいは所定の判定基準
を用いて繰り返し回数を制限することもできる。

【００３１】また、差分をとる方向ｉとしてはｘ方向、
ｙ方向に限らず、任意の方向を用いることができ、例え
ば、着目している位置を中心として４５度ずつ回転した
合計８方向とすることもできる。差分をとる方向、すな
わち空間勾配を算出する方向に依存して拡散係数αが決
定されることは、（８）式から明らかであろう。

【００３２】また、本実施形態においては、（８）式を
用いて拡散係数αを可変としたが、本発明はこれに限定
されることなく、空間勾配ｄ（ｉｘ．ｉｙ）に対し負の
相関を有するような任意の関数式を用いて拡散係数αを
決定することができる。

【００３３】また、拡散係数αを空間勾配に応じて決定
するのではなく、画像内の濃淡のエッジに着目し、エッ
ジの存在する画像位置では拡散係数αを小さく設定し、
エッジの存在しない画像位置では拡散係数αを大きく設
定することも可能であろう。

【００３４】また、本実施形態においては物体の境界で
オプティカルフローが大きく変化し、物体内部及び背景
内部ではその変化が滑らかなものとなるように拡散係数
αを変化させているので、図２に示されるように得られ
たオプティカルフローから自車運動に起因するオプティ
カルフローを除去することにより自車とは独立に運動し
ている物体のオプティカルフローを算出するのではな
く、Ｓ１０２にてオプティカルフローを検出した後、隣
接する領域間でオプティカルフローの差分を演算し、そ
の値が所定しきい値以上である場合には異なる運動をし
ている物体の境界であると認識することも好適である。

【００３５】さらに、近接画素間でオプティカルフロー
成分を比較し、画素間の変化が所定しきい値以下である
場合にはその画素を同一グループ内にグループ化する処
理を行うことでオプティカルフロー成分の類似する複数
の領域に画像を分割し、物体の境界を検出することも好
適である。

【００３６】

【発明の効果】以上説明したように、本発明によれば拡
散係数を可変としてオプティカルフローを検出している
ので、画像に含まれるノイズに強く、かつ物体境界のオ
プティカルフローを確実に検出することができる。した
がって、画像として車両周囲画像を用いた場合、車両の
運動とは独立に運動する物体を確実に検出することがで
きる。

【図面の簡単な説明】

【図１】 本発明の実施形態の構成ブロック図である。

【図２】 実施形態の全体処理フローチャートである。

【図３】 図２におけるＳ１０２の処理の詳細フローチ
ャートである。

【図４】 従来技術を説明するオプティカルフローの境
界説明図である。

【符号の説明】

１０ ＣＣＤカメラ、１２ 画像処理装置、１４ Ａ／
Ｄ変換部、１６ 処理部、１８ メモリ。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 グラディエント法を用いて画像内のオプ
   ティカルフローを検出することにより前記画像内の運動
   を検出する方法であって、 前記グラディエント法において、前記画像内のオプティ
   カルフローの空間的変化を最小にする条件を付加し、か
   つ、 前記条件を付加する際の拡散係数を変化させることを特
   徴とする画像の運動検出方法。
2. 【請求項２】 請求項１記載の方法において、 前記拡散係数は、一定条件下で検出された仮オプティカ
   ルフローの空間勾配に対し負の相関を有するように変化
   させることを特徴とする画像の運動検出方法。
3. 【請求項３】 グラディエント法を用いて画像内のオプ
   ティカルフローを検出することにより前記画像内の運動
   を検出する方法であって、 オプティカルフローの長さが最小となる条件を付加する
   ことで前記画像内から仮のオプティカルフローを検出す
   る第１ステップと、 検出された前記仮のオプティカルフローの空間差分値が
   増大する程、その値が小さくなるように拡散係数を決定
   する第２ステップと、 決定された前記拡散係数を用いて前記画像内のオプティ
   カルフローの空間的変化を最小するにする条件を付加
   し、前記画像内のオプティカルフローを検出する第３ス
   テップと、 前記第３ステップで検出されたオプティカルフローを前
   記仮のオプティカルフローとみなして前記第２及び第３
   ステップを繰り返すステップと、 を有することを特徴とする画像の運動検出方法。
4. 【請求項４】 画像内から物体を検出する装置であっ
   て、 可変の拡散係数を用いて前記画像内のオプティカルフロ
   ーの空間的変化を最小にする条件を付加することでグラ
   ディエント法により前記画像内のオプティカルフローを
   検出するオプティカルフロー検出手段と、 検出された前記オプティカルフローを用いて前記画像内
   の物体を検出する物体検出手段と、 を有することを特徴とする物体検出装置。
5. 【請求項５】 請求項４記載の装置において、 前記拡散係数は、一定条件下で検出された仮オプティカ
   ルフローの空間勾配に対し負の相関を有するように変化
   することを特徴とする物体検出装置。
6. 【請求項６】 請求項４、５のいずれかに記載の装置に
   おいて、 前記画像は車載の撮像手段により取得され、 前記物体検出手段は、 検出された前記オプティカルフローから前記撮像手段の
   運動により生じるオプティカルフローを除去する演算手
   段を有することを特徴とする物体検出装置。