JP2003178309A - 移動量推定装置 - Google Patents

Abstract

(57)【要約】 【課題】 車載カメラの画像に基づいて、高い信頼性と
精度で車両の移動速度を絶えず継続的に推定する。 【解決手段】 走行路面の鳥瞰画像（路面画像）を車両
の進行方向の軸（Ｙ軸）に射影し、路面画像を１次元パ
ターンｉｐ（Ｙ）にして、そのＹ軸方向への時間的な動
きを推定する。図６は、路面画像の射影値ｉｐ（Ｙ）の
経時変化を例示する模式図であり、また、「射影」と
は、計算式「ｉｐ（Ｙ）＝Σ_X Ｉ（Ｘ，Ｙ）」にしたが
って、路面画像上の各点の画素値Ｉ（Ｘ，Ｙ）をＹ軸上
の各点毎に加算することにより、射影値ｉｐ（Ｙ）を求
める処理のことである。また、この射影処理の前処理と
して路面画像に何らかの強調処理を施すことも、射影し
たパターンの相関処理を容易にするのに効果がある。こ
の強調処理には、微分演算処理によるエッジ抽出に限ら
ず、階調補正や特徴点抽出などを利用しても良い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体に固定され
たカメラで撮影したカメラ画像に基づいて、微小時間間
隔前後の移動体の移動量を推定する移動量推定装置に関
する。本発明は、特に、移動体の速度、位置、向き、或
いは軌跡等の移動体の運動を推定する装置に適用するこ
とができる。したがって、本発明は、移動体の運動や周
辺状況を検知、参照・利用、又は表示する、例えば、車
載用のバックモニタ等の運転支援システム、カーナビゲ
ーション・システム等の車両関連機器や、或いは、ロボ
ット、各種機械装置等の運動を検知、表示、記録、演
算、又は制御する各種の装置に幅広く応用することがで
きる。

【０００２】

【従来の技術】実時間画像の相関処理に関する従来の一
般的な方法としては、例えば、１時刻（Δｔ）ずれた画
像間の特徴点の対応付けを行う方法等がある。この場
合、所定の時間間隔Δｔ前後の２画像間において同一の
ものと判定された特徴点の画像上における距離に基づい
て視点（カメラ中心Ｃ）の移動量が算定される。また、
例えば、ビデオカメラの手ぶれ補正などに用いられてい
る画像の固定領域における画像の濃淡パターンの１時刻
ずれた画像間の相関処理により対応付けを行う方法等も
ある。ビデオカメラの手振れ補正に関する従来技術とし
ては、例えば、公開特許公報「特開平４−３２６６７
９：移動物検出装置，画像の動きベクトル検出装置およ
び揺れ補正装置」に記載されているもの等が一般によく
知られている。また１時刻ずれた画像間の特徴点の対応
付けを行う方法については、例えば、「〔コロナ社〕コ
ンピュータビジョン／視覚の幾何学」等にその記載があ
る。

【０００３】上記の様な相関演算を行う従来例として
は、１時刻（Δｔ）だけずれた画像間における特徴点の
対応付けを行う方法等がしばしば用いられるが、例え
ば、この様な方法を用いる場合、画像のローカルな部分
での１対１の対応付けが可能と成る程度に明確な特徴的
部位（物体のコーナー部分など）が画像中にできるだけ
均一に数多く存在していることが望ましい。また、サン
プリングされた画像中にその様な特徴的な部位が一定数
（数点）以上含まれていないと、上記の様な相関演算が
実施できない場合が多いため、リアルタイムで常時正確
な推定値が出力できる信頼性の高い移動量推定装置を製
造する際には、サンプリングされた画像中に、常時一定
数以上の特徴的な部位が含まれていることが必要条件と
なる。

【０００４】

【発明が解決しようとする課題】しかしながら、車載カ
メラの画像では、撮像された路面や周辺物体に対応付け
可能な点が絶えず数多く存在するような状況は必ずしも
期待できず、また、一部の特徴点の対応付けのみでは信
頼性の高い移動速度の推定は困難である。即ち、上記の
様な従来技術においては、上記の必要条件が常時要請さ
れるにも係わらず、走行移動体の車載カメラの画像で
は、ある特定領域に絶えず映像パターンの相関処理（対
応付け）が可能であるような状況（画像入力）を期待す
ることはできない。

【０００５】以上の考察からも判る様に、従来技術では
積載カメラの画像に基づいて移動体の移動速度の推定を
精度良く常時実施することは困難であり、より信頼性の
高い移動量の推定方式の開発が期待されている。

【０００６】本発明は、上記の課題を解決するために成
されたものであり、その目的は、積載カメラの画像に基
づいて、移動体の移動速度の推定を高い精度で常時実行
することができる、より信頼性の高い推定方式（移動量
推定装置）を実現することである。

【０００７】

【課題を解決するための手段、並びに、作用及び発明の
効果】上記の課題を解決するためには、以下の手段が有
効である。即ち、第１の手段は、移動体に固定されたカ
メラで撮影したカメラ画像に基づいて所定の微小時間間
隔Δｔにおける移動体の移動量を表す変位ベクトルΔＳ
を推定する移動量推定装置において、移動体の進行方向
の単位ベクトルｅ_Y に対して垂直な単位ベクトルを法線
ベクトルｎに持つ平面Λ上の映像パターンに、カメラ画
像を変換する幾何変換手段と、微小時間間隔Δｔにおけ
る映像パターン全体の平面Λ上での移動量を表す変位ベ
クトルΔｓ１を算出する面上移動量算出手段と、変位ベ
クトルΔｓ１を変位ベクトルΔＳに変換する移動量変換
手段とを設けることである。

【０００８】ただし、移動体の移動量を表す上記の変位
ベクトルΔＳは、１次元、２次元、又は３次元の変位ベ
クトルである。例えば、１次元の運動としては、線路上
を走行する電車（列車）の運動等を想定することができ
る。車両等の、地面又は路面を走行する移動体の移動
は、平面上の並行移動と回転で近似できるため、積載カ
メラから撮像した対象が路面の場合には、路面上に逆投
影したパターンは移動体の運動に等しい並進運動と回転
運動からなる２次元上の運動となる。したがって、上記
の第１の手段に従えば、幾何変換手段で積載カメラの画
像を路面の画像に変換し、面上移動量算出手段で変換し
た画像のその面上での移動量を算出し、移動量変換手段
で平面Λ上の移動量Δｓ１から移動体の移動量ΔＳを算
出することができるので、移動体の移動量や移動速度ｖ
（＝ΔＳ／Δｔ）等の推定が可能又は容易になる。

【０００９】また、カメラ画像中には、地面に対して運
動している物体も現れ得るが、映像パターン全体を演算
データとして移動量を算出することにより、そのような
特異な被写体の影響を最小限に抑制することができる。

【００１０】また、積載カメラから撮像した物体が路面
（地面又は走行面）から高さを持った物体が一般的な状
況においては、道路面（地面又は走行面）と平行な複数
の平面を用いて、その複数の平面から同一の速度成分を
抽出することによって移動体の移動量の推定が可能にな
る。周囲の状況が路面と側壁が起りやすい状況の場合
は、路面と側壁に平行な平面に画像のパターンを逆投影
することにより、その面上の並進移動量から移動体の移
動量の推定が可能になる。面上の映像パターンを、その
移動量を２成分に分解するための２つの軸に対してそれ
ぞれ射影し、それぞれその１次元パターンの変化量の相
関値やピーク値の対応を取ることにより、面上のパター
ン全体の動きを統計的に信頼性高く推定することが可能
になる。

【００１１】即ち、本発明の手段によれば、移動体の移
動量ΔＳが、上記の平面Λ上の映像パターンの並行移動
や回転などの単純な動きとして算出されるため、移動量
を容易に推定することが可能となる。また移動体の移動
量を画面全体の動きから統計的に推定できるため画面の
一部の動きから推定する方法に比べて、より信頼性の高
い移動量ΔＳの推定が可能となる。以下、より具体的或
いは詳細に、説明する。

【００１２】本発明の第２の手段は、上記の第１の手段
において、変位ベクトルΔＳの経時的な累積を用いて、
移動体の位置、向き、又は軌跡を推定する移動体運動推
定手段を設けることである。例えば、移動体の速度（ｖ
＝ΔＳ／Δｔ）以外にも、変位ベクトルΔＳに関する経
時的な累積演算処理等を付け加えることにより、移動体
の位置、向き、又は軌跡等の自移動体の各種の運動を推
定することが可能又は容易となる。

【００１３】また、第３の手段は、上記の第１又は第２
の手段において、移動体の走行中の路面を平面近似する
ことにより得られる平面α０を上記の平面Λとして採用
することである。任意の状況に対して路面は最も確実に
存在すると期待できる撮像対象であり、また、カメラと
の位置関係を既知と仮定することができる唯一の撮像対
象である。また、路面上には、例えば白線等の各種の表
示や或いはその他の特徴物等が存在するケースが比較的
多いものと考えられるため、上記の様な採用により、特
徴的部位をより確実に検出できるものと期待できる。し
たがって、上記の様な選択により信頼性の高い移動量推
定装置を構成することができる。また、路面を平面近似
することにより、映像パターン全体の移動量（変位ベク
トルΔｓ１）の演算を簡潔、かつ高速に実施することが
できる。

【００１４】また、第４の手段は、上記の第３の手段に
おいて、平面α０に加えて、更に、平面α０に平行な他
の１面以上の平面αｉ（ｉは自然数）を平面Λとして採
用することである。例えば交通渋滞時等では、カメラ視
点（カメラ中心Ｃ）からの視界に必ずしも路面が広く現
れるとは限らない。しかしながら、路面上に他移動体等
の物体が多く存在する場合等においても、路面（平面α
０）に平行な水平面（平面αｉ）を路面と同様に平面Λ
として採用することにより、より信頼性の高い移動量Δ
Ｓの算出が可能となる。

【００１５】また、第５の手段は、上記の第１乃至第４
の何れか１つの手段において、移動体の走行中の路面に
略垂直な１面以上の平面βｊ（ｊは自然数）を平面Λと
して採用することである。道路沿いには、街路樹、ガー
ドレール、縁石、標識、信号機、電柱、街路灯、ビル、
塀、家屋、或いは駐車移動体等、路肩の垂直面上に位置
するものと近似的に判断できる特徴物が数多く存在する
場合が有る。したがって、上記の手段によれば、垂直面
（平面βｊ）上でのそれらの特徴物の移動量に基づい
て、より信頼性の高い移動量ΔＳの算出が可能となる。

【００１６】また、第６の手段は、上記の第１乃至第５
の何れか１つの手段の面上移動量算出手段において、映
像パターンの各点毎の所定の画素値に基づいて、映像パ
ターンを平面Λ上の所定の直線上に射影する射影手段
と、この射影手段により直線上の各点毎に集計された所
定の射影値の、微小時間間隔Δｔ前後における相関を演
算する相関演算手段とを設けることである。例えば、上
記の平面Λ上の所定の直線（射影軸）にΛ上の映像パタ
ーンを前面的に射影することにより、比較的簡単にΛ上
の全映像パターンを画像解析の対象として扱うことがで
き、更に、上記の相関演算も一次元データ同士の相関演
算に帰着させることができるため、極めて簡潔な演算に
より、信頼性の高い移動量を算出することが可能とな
る。

【００１７】また、第７の手段は、上記の第６の手段の
射影手段において、射影を実行する前に映像パターンに
対して特徴部位強調処理を施すことにより映像パターン
の各点毎の画素値を事前に変更する第１画素値変更手段
を備えることである。上記の画素値には、例えば、輝
度、明度、彩度、色相等の値を用いることができる。

【００１８】この様な手段により、上記の射影値が格差
の少ない平均的な値に収束してしまうことを防止でき、
更に、映像パターン中の最も特徴的な部分だけに的を絞
って、射影値（特徴的部位）を抽出することができる様
になる。このため、より信頼性の高い移動量を算出する
ことが可能となる。

【００１９】また、第８の手段は、上記の第６又は第７
の手段の幾何変換手段において、カメラ画像に対する変
換を実行する前にカメラ画像に対して特徴部位強調処理
を施すことにより映像パターンの各点毎の画素値を事前
に変更する第２画素値変更手段を備えることである。即
ち、前記の様な特徴部位強調処理は、カメラ画像に対す
る変換を実行する前のカメラ画像に対して実施しても良
い。この手段によっても上記と同様に、射影値が格差の
少ない平均的な値に収束してしまうことを防止でき、更
に、映像パターン中の最も特徴的な部分だけに的を絞っ
て、射影値（特徴的部位）を抽出することができる様に
なるため、より信頼性の高い移動量を算出することが可
能となる。また、幾何変換手段で変換される画像を特徴
的な部分だけに絞ることにより、処理量を削減すること
も可能となる。

【００２０】また、第９の手段は、上記の第７又は第８
の手段の特徴部位強調処理を、微分演算処理を用いて行
われるエッジ抽出処理とすることである。ただし、画像
を射影する前の特徴部位強調処理（第１／第２画素値変
更手段）には、エッジ抽出処理に限らず、階調補正や特
徴点抽出などを利用しても良い。

【００２１】また、第１０の手段は、上記の第１乃至第
９の何れか１つの手段において、微小時間間隔Δｔにお
ける単位ベクトルｅ_Y の角度変位ΔΘを測定又は推定す
る方向変動算定手段と、平面Λに関する法線ベクトルｎ
の向きか或いは平面Λ上における単位ベクトルｅ_Y の向
きを角度変位ΔΘに基づいて修正する進行方向修正手段
とを設けることである。

【００２２】ただし、３次元直交座標系における角度変
位ΔΘは、例えば「ΔΘ≡（Δψ，Δθ）」の様に定義
するものとする。ここで、ΔψはＸＹ平面上でＸ軸の正
の向きから左回りに計った経度ψの角度変位であり、Δ
θはＺ軸正の向きから計った極距離（余緯度）θの角度
変位である。この様な手段によれば、移動体の進行方向
（単位ベクトルｅ_Y ）の変動成分を補正することができ
るので、舵角が一定以上有る場合や、或いは路面の曲率
や凹凸等によりカメラの向きが路面（平面α０）に対し
て一定しない様な場合等においても、本発明の作用・効
果をより正確に得ることができる様に成る。

【００２３】また、第１１の手段は、上記の第１０の手
段の方向変動算定手段において、カメラ画像又は映像パ
ターン中における、例えば路面上の白線等の特徴的な図
形の方向変動量に基づいて、角度変位ΔΘを測定又は推
定することである。この様な手段によれば、上記の様な
移動体の進行方向（単位ベクトルｅ_Y ）の変動成分をカ
メラ画像に基づいて算出することが可能となる。したが
って、この様な手段によれば、ジャイロ等の特段のハー
ドウェア（センサ等）を用いなくとも、上記の方向変動
算定手段を構成することができる。

【００２４】また、第１２の手段は、上記の第１０又は
第１１の手段の方向変動算定手段において、ジャイロ、
舵角検出装置、各車輪の回転数センサ、車速センサ、又
は横Ｇセンサ等の出力信号に基づいて、角度変位ΔΘを
測定又は推定することである。

【００２５】この様な手段によれば、必ずしも上記の様
な画像解析処理（第１１の手段）を用いなくとも、移動
体の進行方向（単位ベクトルｅ_Y ）の変動成分をより直
接的或いは物理的に算出することが可能となる。したが
って、この様な手段によれば、画像処理時のＣＰＵ負荷
を削減することが可能となる。ただし、この第１２の手
段は、上記の手段（第１１の手段）と組み合わせて適用
しても良い。その様な構成により角度変位ΔΘの算定に
関するより高い精度と信頼性を得る様に装置を構成する
ことも可能である。以上の本発明の手段により、前記の
課題を効果的、或いは合理的に解決することができる。

【００２６】

【発明の実施の形態】以下、本発明を具体的な実施例に
基づいて説明する。ただし、本発明は以下に示す実施例
に限定されるものではない。 （第１実施例）図１は、本第１実施例における移動量推
定装置１００の主要構成を表すブロック図である。この
移動量推定装置１００は、主に、車載カメラと、幾何変
換手段と、面上移動量算出手段と、移動量変換手段等か
ら構成されている。ただし、幾何変換手段、面上移動量
算出手段、及び移動量変換手段等は、図略の入出力イン
ターフェイス、ＣＰＵ，ＲＯＭ，ＲＡＭ等から成る車載
用のＥＣＵ（コンピュータ・システム）等から構成する
ことができる。

【００２７】車載カメラは、バックモニタカメラ等の車
両（移動体）の色々な位置に取り付けられた１台以上の
ＣＣＤカメラ等のテレビカメラであり、この車載カメラ
によって車両周辺の路面や周囲物が撮像される。幾何変
換手段は、予め求めた車載カメラの内部パラメータ（レ
ンズ中心、レンズ歪み係数、焦点距離）と外部パラメー
タ（路面のある絶対座標系に対するカメラの位置、姿
勢）に基づき、画像上に撮像されたパターンが全て路面
上に存在すると仮定して、 路面に略一致する１平面上の
映像パターンを例えば周知の射影変換処理等により求め
る。

【００２８】面上移動量算出手段は、射影変換によって
投影された面上の画像パターンの並進移動量を推定する
ために、画像パターンを微分してエッジ強調を行い、そ
のエッジ画像を推定したい方向に沿った軸（ｙ軸）に射
影して1 次元パターンとし、その1 次元パターンの軸方
向への時間的な動きを、1 時刻ずれたパターンとの相関
や、ピーク値などの対応関係から求める。移動量変換手
段は、面上移動量算出手段で求めた面上の移動量から実
際の車両（移動体）の移動量への変換を定数倍などする
ことによって行う。

【００２９】図２は、本第１実施例における移動量推定
装置１００の動作の概要を例示するゼネラル・フローチ
ャートである。本フローチャートは、上記のコンピュー
タ・システムにより実行するものである。以下、移動量
推定装置１００の制御手順について、本図２のゼネラル
・フローチャートに沿って説明する。

【００３０】本フローチャート（図２）では、まず最初
に、ステップ２１０にて各種の制御処理の初期化を実行
する。この初期化では、例えば画像の幾何変換パラメー
タ（カメラの外部・内部パラメータ等）の設定等を行
う。これらのパラメータの中には、例えば以下の様な各
種の物理量の数値が含まれる。 （パラメータの例） ｈ ： カメラの高さ〔ｍ〕 ｆ ： カメラの焦点距離〔ｍ〕 φ₀ ： カメラの俯角〔ｒａｄ〕

【００３１】ステップ２２０では、車載カメラ１１０か
ら画像を入力する。車載カメラ１１０の撮像面に投影さ
れた入力画像を図４（ａ）に例示する。図４は、本第１
実施例における車載カメラ１１０からの入力画像（ａ）
及び幾何変換画像（ｂ）を例示する写真であり、図４
（ａ）は車載カメラで撮像された画像、即ち、駐車場内
の地面の白線と、自車両の後方に駐車中の他車両等の画
像を示している。

【００３２】次に、ステップ２２０では、幾何変換手段
１２０の処理を実行する。図３は、路面を平面近似した
平面Λ（∋Ｐ）と撮像面（∋Ｑ）との関係を例示する斜
視図であり、本図３は車載カメラが車両の速度計測の基
準点上に位置し、進行方向と光軸が一致し、俯角φで車
体に取付けられている場合の路面と撮像面の関係を表し
ている。撮像面上の任意の点Ｑの座標値（ｘ，ｙ）と、
路面を近似した平面Λ上の点Ｑに対応する点Ｐの座標値
（Ｘ，Ｙ）との関係（射影変換）は、次式（１）で与え
られる。

【数１】 ｙ＝ｆ／ｔａｎ（φ＋ tan^-1（Ｙ／ｈ））， ｘ＝ｆＸ／（ ｈ sinφ ＋ Ｙ cosφ ） …（１）

【００３３】即ち、本ステップ２３０（幾何変換手段１
２０）では、この式（１）に従って路面画像上の点
（Ｘ，Ｙ）の画像値を対応する撮像面上の点（ｘ，ｙ）
の画像値から決定することにより変換画像（以下、「路
面画像（Ｘ，Ｙ）」等と言う場合がある。）を生成す
る。この幾何変換手段１２０により、図４（ａ）の入力
画像から変換された変換画像（路面画像）を図４（ｂ）
に示す。即ち、図４（ｂ）は、図４（ａ）の画像を入力
画像とした場合の路面画像への変換例である。

【００３４】路面画像（Ｘ，Ｙ）に対応する撮像面画像
（ｘ，ｙ）（図４（ａ））は座標が小数部を持つため、
（ｘ，ｙ）の値は小数部の大きさに従い、周囲４画素の
値から内挿補完によって求めても良い。路面画像（Ｘ，
Ｙ）に対応する撮像面画像（ｘ，ｙ）が存在しない時
は、その部分を、図４（ｂ）の矩形画像の右下角と左下
角の様な無効画像領域とする。射影変換によって投影さ
れた面上の画像パターンは、撮像面上の画像が路面上の
点の場合は、路面上の正しい座標値に投影される。

【００３５】ただし、撮像面上の画像が路面以外の車両
などの路面から高さを持った立体物の場合は、歪んだパ
ターンとして路面画像上に投影される。この様な場合に
は、カメラ画像の投影対象の平面Λとして路面α０の他
に、水平面αｉ（ｉは自然数）を幾つか用意しても良
い。

【００３６】次に、ステップ２４０では、移動量Δｓ１
の解析、即ち、面上移動量算出手段１３０による解析演
算を実行する。この面上移動量算出手段１３０は、射影
変換によって投影された面上の画像パターンの並進移動
量を推定するものである。

【００３７】例えば、車載カメラに撮像されるパターン
のほとんどが路面上のパターンであるものと仮定する
と、車両の移動量の路面（Λ）上での値（Δｓ１）は路
面画像のパターンの移動量と一致する。すなわち車両が
カメラの光軸方向に移動した場合、路面画像は図５に示
すようにＹ軸方向にシフトする。ただし、ここで図５
は、路面画像（幾何変換画像）の経時変化を例示する模
式図である。

【００３８】この並進移動量を推定する方法としては、
例えば画像全体で相関計算を行う等の方法もあるが、本
実施例では計算コストを下げるため、例えば図６に例示
される様に、路面画像をＹ軸に射影し、路面画像を１次
元パターンにして、その1 次元パターンの軸方向への時
間的な動きを推定する。ただし、ここで、図６は、路面
画像の射影値ｉｐ（Ｙ）の経時変化を例示する模式図で
あり、また、「射影」とは、次式（２）の様に路面画像
の画素値Ｉ（Ｘ，Ｙ）をＹ軸上の各点毎に加算すること
により、射影値ｉｐ（Ｙ）を求める演算処理のことであ
る。

【数２】 ｉｐ（Ｙ）＝Σ_X Ｉ（Ｘ，Ｙ） …（２）

【００３９】また、この射影処理の前処理として路面画
像に何らかの強調処理を施すことも、射影したパターン
の相関処理を容易にするのに効果がある。例えば、本第
１実施例では、面上移動量算出手段１３０における、１
次元への射影処理の前処理（第１画素値変更手段）とし
て、ソーベルオペレータによる微分処理を実施する。

【００４０】図７は、この様な前処理（第１画素値変更
手段）を導入して構成された、移動量推定装置１００の
面上移動量算出手段１３０（図１、図２）の動作を例示
するフローチャートである。このフローチャート（図
７）は、図２のステップ２４０の「移動量解析（面上移
動量算出手段１３０）」を実現するサブルーチンとして
実行されるものである。

【００４１】本移動量解析処理（図７）では、まず最初
に、ステップ７１０により、路面画像の画素値Ｉ（Ｘ，
Ｙ）に対する微分処理を実行する。図８は、微分処理さ
れた路面画像（微分処理済みの幾何変換画像Ｉ′（Ｘ，
Ｙ））を示す写真であり、図４（ｂ）の路面画像を微分
した一例である。

【００４２】次に、ステップ７３０では、微分処理済み
路面画像Ｉ′（Ｘ，Ｙ）を次式（３）にしたがってＹ軸
上に射影する。

【数３】 ｓｉ（Ｙ）＝Σ_X Ｉ′（Ｘ，Ｙ） …（３） 図９は、図８の微分処理された路面画像Ｉ′（Ｘ，Ｙ）
に基づく射影値ｓｉ（Ｙ）の演算結果を示すグラフであ
る。

【００４３】次に、ステップ７５０では、所定の相関演
算により時間間隔Δｔ前後の路面画像間の対応関係を調
べる。この相関計算の方法としては、例えば差分の絶対
値和に基づく相関演算等が考えられる。この演算では相
関値ｃ（ｔ）を、例えば現在の射影値ｓｉ（Ｙ）と１時
刻（Δｔ）前の射影値ｓｉ_-T（Ｙ）との間で次式（４）
の様に求める。

【数４】 ｃ（ｔ）＝Σ_Y ｜ｓｉ（Ｙ） − ｓｉ_-T（Ｙ−ｔ）｜ …（４） 図１０は、射影値ｓｉ（Ｙ）に基づく相関値ｃ（ｔ）の
グラフであり、図９の射影パターンに基づいて式（４）
から相関値ｃ（ｔ）を算出した例を示すものである。

【００４４】次に、ステップ７７０では、上記の相関値
ｃ（ｔ）に基づいて移動量Δｓ１を決定する。ここで
は、図１０に示す様に、相関値ｃ（ｔ）に最小値を与え
る最適化パラメータｔの値が、そのまま求めるべき移動
量Δｓ１（映像パターン全体の前記平面Λ上でのＹ軸方
向の移動量を表す変位）の値に一致する。最後に、ステ
ップ７９０では、射影値ｓｉ（Ｙ）の値を次回に使用す
る１時刻（Δｔ）前の射影値として退避領域（ｓｉ
_-T（Ｙ））に記憶して、その後呼出元に処理（現行制
御）を戻す。

【００４５】射影パターンの移動量の推定法としては、
その他にもピーク値などの対応付けや平面上での相関を
取る方法等もあるが、本実施例では以上の様な射影値に
基づく相関演算を用いた。

【００４６】また、図２のステップ２５０〜２７０は、
以下の様に実行する。ステップ２５０では、上記のステ
ップ２４０（面上移動量算出手段１３０）で求めた路面
（平面α０）上の移動量Δｓ１から実際の車両（移動
体）の移動量ΔＳへの変換を、Δｓ１を定数倍する等の
所定の演算処理により実行する。

【００４７】更に、ステップ２６０では、車両の速度ベ
クトルｖ（＝ΔＳ／Δｔ）の計算を実行する。最後に、
ステップ２７０では、速度ベクトルｖの値を所定の出力
領域に出力する。

【００４８】以上の様に、本第１実施例の移動量推定装
置１００では、幾何変換手段を用いることによって、入
力画像を路面画像に変換できるため、撮像されたパター
ンが無数の路面上の点（画素）から構成されていると
き、自車の移動量の路面に対する並進成分は、路面
（Λ）上の映像パターン全体の移動量に１対１対応す
る。

【００４９】従来の方法では一部の特徴点での対応付け
を行っていたので、実際の道路シーンでは十分な特徴点
が得られる保証がなく、信頼性の高い移動速度の推定は
困難であったが、本発明に基づく上記の構成では、幾何
変換手段と面上移動量算出手段により、ローカルな特徴
の抽出ではなく、画面全体の変化に着目したことによ
り、従来よりも信頼性の高い移動速度（ｖ＝ΔＳ／Δ
ｔ）の推定が可能となっている。

【００５０】（第２実施例）以下、本発明の第２実施例
について説明する。上記の第１実施例では、幾何変換手
段では車載カメラで撮像された画像はほぼ路面が大多数
を占めると仮定して路面画像のみを生成した。しかしな
がら、平坦或いは広大な駐車場等ではなく、図１１に例
示する道路の様な状況下では、路面パターンに加えて路
側の構造物（ガードレール、標識、街路樹、駐車車両）
が多く存在する場合もある。例えばこの様な場合等に
は、路面上のみの映像パターンを仮定した第１実施例の
方法では、移動速度が正しく推定できなくなる可能性が
ある。

【００５１】そこで、本第２実施例では幾何変換手段の
投影対象として仮定する平面（Λ）を路面に加えて、更
に、路面に略垂直で車両の進行方向に沿った平面（平面
βｊ）を仮定する。図１１は、本第２実施例における垂
直面対応の移動量推定装置（図略）が処理する入力画像
と路面に略垂直な平面β１との関係を例示する斜視図で
ある。この平面β１の位置は、路側物までの距離を例え
ば平均距離等の代表値Ｄを用いて一意に定めることがで
きる。また、撮像面と各面の間の射影変換の式は第１実
施例の場合と同じ式（２）を用いる。また、各平面
（Λ）における移動速度の推定処理も、第１実施例の場
合と略同様に実行することができる。

【００５２】このように路面上のパターンが存在すると
予測できるところを路面としてモデル化し、路側物が存
在すると予測できるところは路側物面としてモデル化す
ることによって、それぞれの面での推定する移動速度の
精度を向上させることができる。

【００５３】また、以上の第２実施例では、２つの面に
対応した２つの移動量が得られるので、上記の第２実施
例に用いる移動量変換手段としては、路面か路側物面の
平均的な移動量か、相関の信頼度などに基づきより高い
信頼度で推定できている移動量の推定値を選択する等の
処理を行い、これにより、移動体の移動量推定値として
１つの値を出力する様にしても良い。

【００５４】（その他の変形・応用例）尚、本発明は、
以下の様な変形例、応用例、或いは拡張例を任意に選択
して施した実施形態をも含むものである。即ち、例え
ば、上記の各実施例に対しては、追加的或いは代替的に
以下のことを実施することも可能である。

【００５５】（ａ）上記の各実施例では、車両（移動
体）の進行方向の並進成分のみを移動量として求めた
が、例えばステアリングが舵角を持つ様なケース、即
ち、移動体のヨー角運動（回転成分）をも検出し得る場
合等には、並進移動量だけでなく、回転運動に基づく移
動量（回転成分）をも求める様にすることがより望まし
い。路面画像の1 時刻（Δｔ）ずれた２つの映像パター
ン間においても、その間の移動量ΔＳを並進成分と回転
成分の両方を含むように定式化することが可能なので、
相関処理を使った所定の探索処理（面上移動量算出手
段）において、並進成分だけでなく回転量も考慮した探
索を行うようにすれば良い。

【００５６】（ｂ）画像を射影する前の強調処理（第１
／第２画素値変更手段）には、エッジ抽出処理に限ら
ず、階調補正や特徴点抽出などを利用しても良い。 （ｃ）画像入力してから、幾何変換手段で画像を変換す
る前に、強調処理を実施しても良い（第２画素値変更手
段）。そのとき、幾何変換手段で変換する画像は強調処
理の結果（例えばエッジ抽出処理などの結果）、エッジ
の絶対値が大きい部分のみを幾何変換する様にしても良
い。 （ｄ）移動速度の推定は時間方向のKalmanフィルタなど
の推定・予測フィルタを使っても良い。その場合は相関
によって移動速度を決定する時に、フィルタの予測値を
用いて、照合する区間を制限しても良い。

【００５７】（ｅ）進行方向の並進成分だけでなく、回
転成分も求める時には、路面画像の2次元的な相関でも
計算できるが、計算量が大きいため、並進成分と同様に
Ｘ軸方向に射影して、その時間的な変化を相関で求め
て、Ｘ軸方向の変化から姿勢角の変化を推定する様にし
ても良い。 （ｆ）車載カメラを複数用いる場合は、各カメラ画像を
用いてそれぞれ推定した各移動速度ｖ（＝ΔＳ／Δｔ）
に基づいて平均化処理等の所定の統計処理を実行し、そ
の演算結果に従って、移動体の移動速度を求める様にし
ても良い。

【００５８】例えば、前記の各実施例と、上記の（ａ）
〜（ｆ）の様な各種の変形・応用例等とを任意に組み合
わせて実施した場合においても、本発明の作用により、
本発明の効果を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１実施例における移動量推定装置１
００の主要構成を表すブロック図。

【図２】本発明の第１実施例における移動量推定装置１
００の動作の概要を例示するゼネラル・フローチャー
ト。

【図３】路面を平面近似した平面Λ（∋Ｐ）と撮像面
（∋Ｑ）との関係を例示する斜視図。

【図４】本発明の第１実施例における車載カメラ１１０
からの入力画像（ａ）及び幾何変換画像（ｂ）を例示す
る写真。

【図５】路面画像（幾何変換画像）の経時変化を例示す
る模式図。

【図６】路面画像の射影値ｉｐ（Ｙ）の経時変化を例示
する模式図。

【図７】移動量推定装置１００の面上移動量算出手段の
動作を例示するフローチャート。

【図８】微分処理された路面画像（微分処理済みの幾何
変換画像）を例示する写真。

【図９】微分処理された路面画像（図８）に基づく射影
値ｓｉ（Ｙ）のグラフ。

【図１０】射影値ｓｉ（Ｙ）に基づく相関値ｃ（ｔ）の
グラフ。

【図１１】本発明の第２実施例における移動量推定装置
が処理する入力画像と路面に略垂直な平面β１との関係
を例示する斜視図。

【符号の説明】

Λ … 移動体の進行方向ｅ_Y に垂直な法線ベクトル
ｎを持つ平面 α０ … 路面を平面近似することにより得られる平面
（∈Λ） αｉ，βｊ… 平面Λとして採用可能なその他の平面の
例 ｖ … 移動体速度（＝ΔＳ／Δｔ） Δｔ … 所定の時間間隔 ΔＳ … Δｔ内での移動体の移動量（１、２、又は
３次元ベクトル） Δｓ１ … 平面Λ上の映像パターン全体の移動量 １００ … 移動量推定装置 １１０ … 車載カメラ １２０ … 幾何変換手段 １３０ … 面上移動量算出手段 １４０ … 移動量変換手段 ｉｐ（Ｙ）… 路面画像の射影値 ｓｉ（Ｙ）… 微分処理された路面画像に基づく射影値 ｃ（ｔ）… 射影値ｓｉ（Ｙ）に基づく相関値

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｃ Ｊ (72)発明者 二宮 芳樹 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 丹下 幸一 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 里中 久志 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内 (72)発明者 西田 誠 愛知県豊田市トヨタ町１番地 トヨタ自動 車株式会社内 (72)発明者 柿並 俊明 愛知県刈谷市朝日町２丁目１番地 アイシ ン精機株式会社内 Ｆターム(参考） 2F065 AA03 AA09 AA37 BB13 CC11 CC40 FF04 JJ05 JJ26 PP01 QQ00 QQ13 QQ28 QQ32 QQ41 QQ42 5C054 AA01 AA04 CC02 FC13 HA05 HA28 5H180 AA01 CC04 LL02 5L096 CA02 FA06 FA26 FA34 FA38 FA66 GA02 GA06 GA10 GA55 HA04

Claims (12)

【特許請求の範囲】
1. 【請求項１】移動体に固定されたカメラで撮影したカメ
   ラ画像に基づいて、所定の微小時間間隔Δｔにおける前
   記移動体の移動量を表す変位ベクトルΔＳを推定する移
   動量推定装置であって、 前記移動体の進行方向の単位ベクトルｅ_Y に対して垂直
   な単位ベクトルを法線ベクトルｎに持つ平面Λ上の映像
   パターンに、前記カメラ画像を変換する幾何変換手段
   と、 前記微小時間間隔Δｔにおける、前記映像パターン全体
   の前記平面Λ上での移動量を表す変位ベクトルΔｓ１を
   算出する面上移動量算出手段と、 前記変位ベクトルΔｓ１を前記変位ベクトルΔＳに変換
   する移動量変換手段とを有することを特徴とする移動量
   推定装置。
2. 【請求項２】前記変位ベクトルΔＳの経時的な累積を用
   いて、前記移動体の位置、向き、又は軌跡を推定する移
   動体運動推定手段を有することを特徴とする請求項１に
   記載の移動量推定装置。
3. 【請求項３】前記移動体の走行中の路面を平面近似する
   ことにより得られる平面α０を前記平面Λとして採用し
   たことを特徴とする請求項１又は請求項２に記載の移動
   量推定装置。
4. 【請求項４】前記平面α０に加えて、更に、前記平面α
   ０に平行な他の１面以上の平面αｉ（ｉは自然数）を前
   記平面Λとして採用したことを特徴とする請求項３に記
   載の移動量推定装置。
5. 【請求項５】前記移動体の走行中の路面に略垂直な１面
   以上の平面βｊ（ｊは自然数）を前記平面Λとして採用
   したことを特徴とする請求項１乃至請求項４の何れか１
   項に記載の移動量推定装置。
6. 【請求項６】前記面上移動量算出手段は、 前記映像パターンの各点毎の所定の画素値に基づいて、
   前記映像パターンを前記平面Λ上の所定の直線上に射影
   する射影手段と、 前記射影手段により前記直線上の各点毎に集計された所
   定の射影値の、前記微小時間間隔Δｔ前後における相関
   を演算する相関演算手段とを有することを特徴とする請
   求項１乃至請求項５の何れか１項に記載の移動量推定装
   置。
7. 【請求項７】前記射影手段は、 前記射影を実行する前に前記映像パターンに対して特徴
   部位強調処理を施すことにより前記映像パターンの各点
   毎の前記画素値を事前に変更する第１画素値変更手段を
   有することを特徴とする請求項６に記載の移動量推定装
   置。
8. 【請求項８】前記幾何変換手段は、 前記カメラ画像に対する前記変換を実行する前に前記カ
   メラ画像に対して特徴部位強調処理を施すことにより前
   記映像パターンの各点毎の前記画素値を事前に変更する
   第２画素値変更手段を有することを特徴とする請求項６
   又は請求項７に記載の移動量推定装置。
9. 【請求項９】前記特徴部位強調処理は、 微分演算処理を用いて行われるエッジ抽出処理であるこ
   とを特徴とする請求項７又は請求項８に記載の移動量推
   定装置。
10. 【請求項１０】前記微小時間間隔Δｔにおける、前記単
    位ベクトルｅ_Y の角度変位ΔΘを測定又は推定する方向
    変動算定手段と、 前記平面Λに関する前記法線ベクトルｎの向き、又は、 前記平面Λ上における前記単位ベクトルｅ_Y の向きを前
    記角度変位ΔΘに基づいて修正する進行方向修正手段と
    を有することを特徴とする請求項１乃至請求項９の何れ
    か１項に記載の移動量推定装置。
11. 【請求項１１】前記方向変動算定手段は、 前記カメラ画像又は前記映像パターン中における、例え
    ば路面上の白線等の特徴的な図形の方向変動量に基づい
    て、前記角度変位ΔΘを測定又は推定することを特徴と
    する請求項１０に記載の移動量推定装置。
12. 【請求項１２】前記方向変動算定手段は、 ジャイロ、舵角検出装置、各車輪の回転数センサ、車速
    センサ、又は横Ｇセンサ等の出力信号に基づいて、前記
    角度変位ΔΘを測定又は推定することを特徴とする請求
    項１０又は請求項１１に記載の移動量推定装置。