JP2007317128A - 移動距離検出装置及び移動距離検出方法 - Google Patents

Abstract

【課題】異なる時点で撮像した２つの画像から車両の移動距離を検出する場合に、移動距離の検出を簡単に且つ精度よく行うことができる移動距離検出装置及び移動距離検出方法を提供する。
【解決手段】類似度計算部１１は、時間間隔保持部１２から取得した時間間隔Ｔに応じて、画像バッファ３から現在時刻ｔの画像と、現在時刻ｔから時間間隔Ｔを隔てた時刻（ｔ−Ｔ）の画像とを読み出す。時刻（ｔ−Ｔ）の画像からテンプレートエリアを抽出すると共に、対応位置保持部１４から前回の対応位置を取得して今回の探索範囲を決定する。決定した探索範囲の各位置でテンプレートエリアとの類似度を計算し、計算結果を基に対応位置判定部１３がテンプレートエリアの対応位置を判定して、判定結果を対応位置保持部１４に保持すると共に移動距離検出部７へ与える。移動距離検出部７は、与えられた対応位置を基に移動距離を検出する。
【選択図】図４

Description

本発明は、車両にカメラなどを搭載して周囲を撮像し、撮像により得られた画像から車両の移動距離を検出することができる移動距離検出装置及び移動距離検出方法に関する。

従来から、車両の移動距離の検出は、車輪の回転速度などに基づく車速から移動距離を検出することにより行われている。また、車両に加速度センサを搭載し、加速度センサの出力を積分することによって車両の移動距離を検出する方法も提案されている。これらの方法により検出された車両の移動距離は、例えばカーナビゲーション装置などへ車両に関する情報として与えることによって、車両の走行位置の特定などに利用することができる。

また、近年では、車両の前方、後方又は左右側方等を撮像するカメラを車両に搭載し、カメラが撮像した画像を車内に設けられたディスプレイに表示するシステムが普及している。これにより、例えば、車両の運転席から死角となる部分をカメラで撮像し、ディスプレイに表示することができるため、運転者が直接に目視できない部分を確認しながら運転を行うことができ、安全性を高めることができる。

特許文献１においては、車両の左右側方にそれぞれカメラを搭載して車両の左右両側を撮像すると共に、車速センサ、舵角センサ及び方位センサ等の出力から車両の移動距離及び移動方位を検出することにより得られる情報を基に、駐車スペースの周辺に位置する障害物と車両との位置関係を検出し、位置関係を俯瞰図として示す合成画像を表示する駐車支援システムが提案されている。この駐車支援システムは、車両と障害物との位置関係を運転者に容易に認識させることができるという利点がある。
特開２００３−２５２１５１号公報

特許文献１に記載の駐車支援システムのように、車両にカメラを搭載し、且つ、車速センサなどの出力から車両の移動距離を検出することによって、運転者に種々の情報を提供して運転の支援を行うことができる。しかしながら、車速センサの出力を基に車両の移動距離を検出する場合、車両が低速で走行しているときには移動距離の検出精度が悪化する虞がある。特に、駐車場に車両を駐車する場合には、車両は極低速で走行する可能性が高いため、低速走行時であっても車両の移動距離を精度よく検出する手段が求められる。

そこで、車両に搭載されたカメラにて異なる時点で撮像した２つの画像から、車両の移動距離を検出する方法が研究されている。例えば、古い時点での画像から基準となる画像を抽出し、新しい時点での画像から基準画像の対応位置を探索することによって、基準画像の位置変化量に応じて車両の移動距離を検出することができる。しかし、車両に搭載されるカメラはより広範囲に亘って撮像を行うことが求められるが、撮像された画像が広範囲であるほど、基準画像の対応位置の探索に時間を要し、また、誤探索が発生する可能性が高まるという問題がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、車両に搭載された撮像手段にて異なる時点で撮像した第１及び第２の画像から車両の移動距離を検出する場合に、第１の画像から抽出した基準画像の対応位置の探索を、第２の画像の所定領域内に限定する構成とすることによって、基準画像の対応位置の探索時間を短縮でき、また、誤探索の発生を低減できる移動距離検出装置を提供することにある。

また本発明の他の目的とするところは、基準画像の対応位置の探索を行う所定領域を、前回の探索による対応位置での基準画像の範囲を所定範囲広げた領域とする構成とすることにより、基準画像の対応位置の探索を狭い領域で精度よく行うことができる移動距離検出装置を提供することにある。

また本発明の他の目的とするところは、前回の探索にて基準画像の対応位置の候補が複数存在した場合には、今回の探索を行う所定領域を、各対応位置の候補での基準画像の範囲を所定範囲広げた領域とする構成とすることにより、誤探索の発生を確実に低減することができる移動距離検出装置を提供することにある。

また本発明の他の目的とするところは、車両の加速度を基に、車両が移動する可能性のある範囲内で探索を行う領域を決定する構成とすることにより、第２の画像から基準画像を探索する領域を限定した場合であっても、車両の移動距離を正確に検出することができる移動距離検出装置を提供することにある。

また本発明の他の目的とするところは、移動距離の検出に用いる２つの画像の時間間隔を、前回に検出した移動距離に応じて変更する構成とすることにより、車両の移動速度に応じた２つの画像を用いて移動距離の検出を行うことができる移動距離検出装置を提供することにある。

また本発明の他の目的とするところは、撮像手段が撮像した画像を俯瞰方向の画像に変換し、この画像を用いて移動距離の検出を行う構成とすることにより、移動距離の検出を簡単に、且つ、確実に行うことができる移動距離検出装置を提供することにある。

また本発明の他の目的とするところは、車両に搭載された撮像手段にて異なる時点で撮像した第１及び第２の画像を取得し、第１の画像から基準画像を抽出し、第２の画像の所定領域内から基準画像の対応位置を探索し、探索結果から車両の移動距離を検出することによって、基準画像の対応位置の探索時間を短縮でき、また、誤探索の発生を低減できる移動距離検出方法を提供することにある。

第１発明に係る移動距離検出装置は、車両に搭載され、該車両の外界を撮像する撮像手段と、異なる時点で撮像された第１の画像及び第２の画像を取得する取得手段と、第１の画像から基準画像を抽出する抽出手段と、第２の画像の所定領域内にて、前記抽出手段が抽出した基準画像の対応位置を探索する探索手段と、該探索手段の探索結果に応じて車両の移動距離を検出する検出手段とを備えることを特徴とする。

本発明においては、車両に搭載したカメラなどの撮像手段が異なる時点で撮像した第１の画像及び第２の画像を取得する。第１の画像から基準画像を抽出し、第２の画像の所定領域内から基準画像の対応位置を探索し、探索結果から車両の移動距離を検出する。基準画像の対応位置の探索を行う領域を第２の画像の所定領域に限定することにより、探索範囲が狭まり、探索時間が短縮される。また、探索範囲が狭まることによって、探索範囲内に基準画像に類似する領域が複数存在する可能性が低減されるため、誤探索が低減される。

また、第２発明に係る移動距離検出装置は、前記取得手段による画像の取得、前記抽出手段による基準画像の抽出、前記探索手段による対応位置の探索及び前記検出手段による移動距離の検出を、時系列的に繰り返し行うようにしてあり、前記探索手段が前回探索した対応位置での基準画像の範囲を所定範囲広げた領域を、前記所定領域とするようにしてあることを特徴とする。

本発明においては、２つの画像の取得、第１の画像からの基準画像の抽出、第２の画像の所定領域内での基準画像の対応位置の探索及び車両の移動距離の検出を繰り返し行う。この場合に、前回の探索で得られた対応位置での基準画像の範囲を所定の範囲広げ、この領域を今回の探索を行う所定領域とする。車両の移動距離の上限を考慮した場合、前回の探索結果と今回の探索結果とは一定の範囲内に収まるため、この範囲外を探索の対象外とすることにより探索時間が短縮され、また、誤探索が低減される。

また、第３発明に係る移動距離検出装置は、前記探索手段による前回の探索にて、第２の画像の所定領域内に対応位置の候補が複数存在した場合、各対応位置の候補での基準画像の範囲を所定範囲広げた領域を、前記所定領域とするようにしてあることを特徴とする。

本発明においては、第２の画像の所定領域内に基準画像に類似する部分が複数存在し、基準画像の対応位置の候補が複数存在する場合がある。前回の探索がこの場合に対応するものであれば、各対応位置の候補での基準画像の範囲を所定範囲広げ、これらの全領域を今回の探索を行う所定領域とする。誤探索が発生する可能性がある場合には、検索を行う領域を広げることにより、誤探索を防止できる。

また、第４発明に係る移動距離検出装置は、前記所定範囲が、車両の加速度を基に決定された範囲であることを特徴とする。

本発明においては、車両の加速度を基に、基準画像の対応位置を探索する領域を決定する。車両が走行する場合の加速度には上限があり、例えば駐車場を徐行する車両の加速度は０．１Ｇ程度の加速度であることが実験により判明している。よって、この加速度から車両が移動する可能性がある範囲を特定することができ、この範囲内でのみ探索を行うことで、第２の画像から基準範囲を探索する領域を限定した場合であっても、探索の精度が低下することがなく、移動距離の検出精度が低下することがない。

また、第５発明に係る移動距離検出装置は、前記検出手段が検出した移動距離に応じて、前記取得手段が取得する第１の画像及び第２の画像の撮像時点の間隔を変更する変更手段を備えることを特徴とする。

本発明においては、車両の移動距離に応じて、検出に用いる２つの画像の時間間隔を変更する。車両が高速に走行し、移動距離が多く、２つの画像の時間間隔が長い場合には、第１の画像から抽出した基準画像に対応する部分が第２の画像に存在しない可能性があるが、２つの画像の時間間隔は可能な限り広くすることが移動距離の検出には望ましい。よって、車両が高速走行している場合、即ち移動距離が多い場合には、時間間隔を短くし、車両が低速走行している場合、即ち移動距離が少ない場合には、時間間隔を長くすることにより、移動距離の検出精度が高まる。

また、第６発明に係る移動距離検出装置は、前記抽出手段が基準画像の抽出を行う以前に、撮像された画像を俯瞰方向の画像に変換する変換手段を備えることを特徴とする。

本発明においては、撮像手段が撮像した画像を俯瞰方向の画像に変換する。車両に搭載されるカメラのレンズは、魚眼レンズ又は広角レンズ等の広範囲を撮像することが可能なレンズである場合が多く、撮像された画像は周辺部分が湾曲した画像となる。このような画像では移動距離の検出を行うことが難しいため、予め俯瞰方向の画像に変換することにより、処理を簡単化する。

また、第７発明に係る移動距離検出方法は、車両に搭載された撮像手段により、車両の外界を撮像し、異なる時点で撮像された第１の画像及び第２の画像を取得し、第１の画像から基準画像を抽出し、第２の画像の所定領域内にて、抽出した基準画像の対応位置を探索し、探索結果に応じて車両の移動距離を検出することを特徴とする。

本発明においては、車両に搭載された撮像手段にて異なる時点で撮像した第１及び第２の画像を取得し、第１の画像から基準画像を抽出し、第２の画像の所定領域内から基準画像の対応位置を探索し、探索結果から車両の移動距離を検出する。基準画像の対応位置の探索を行う領域を第２の画像の所定領域に限定することにより、探索範囲が狭まり、探索時間が短縮されると共に誤探索が低減される。

第１発明による場合は、車両に搭載された撮像手段にて異なる時点で撮像した第１及び第２の画像から車両の移動距離を検出する場合に、第１の画像から抽出した基準画像の対応位置の探索を、第２の画像の所定領域内に限定する構成とすることによって、探索範囲が狭まるため、探索時間が短縮されると共に、誤探索が低減される。よって、移動距離検出装置の処理を高速化できると共に、検出結果の信頼性を高めることができる。

また、第２発明による場合は、基準画像の対応位置の探索を行う所定領域を、前回の探索による対応位置での基準画像の範囲を所定範囲広げた領域とする構成とすることにより、車両が移動する可能性がある範囲以外の範囲を探索の対象外とすることができ、探索時間を短縮できるため、移動距離検出装置の処理を高速化できると共に、誤探索が低減されるため、検出結果の信頼性を高めることができる。

また、第３発明による場合は、第２の画像の所定領域内に基準画像に類似する部分が複数存在し、前回の探索にて基準画像の対応位置の候補が複数存在した場合には、今回の探索を行う所定領域を、各対応位置の候補での基準画像の範囲を所定範囲広げた領域とする構成とすることにより、誤探索の発生を確実に低減することができるため、移動距離検出装置の検出結果の信頼性をより高めることができる。

また、第４発明による場合は、車両の加速度を基に、基準画像の対応位置を探索する領域を決定する構成とすることにより、車両が移動する可能性がある範囲に探索の領域を限定することができ、第２の画像から基準画像の対応位置を探索する領域を限定した場合であっても、検出の精度を低下させることがないため、移動距離検出装置の処理を高速化でき、且つ、検出結果の信頼性を高めることができる。

また、第５発明による場合は、移動距離の検出に用いる２つの画像の時間間隔を、前回に検出した移動距離に応じて変更する、例えば移動距離が多い場合には時間間隔を短くし、移動距離が少ない場合には時間間隔を長くする構成とすることにより、車両の移動速度に応じた２つの画像を用いて移動距離の検出を行うことができるため、移動距離の検出精度を高めることができ、移動距離検出装置の検出結果の信頼性を高めることができる。

また、第６発明による場合は、撮像手段が撮像した画像を俯瞰方向の画像に変換し、この画像を用いて移動距離の検出を行う構成とすることにより、移動距離の検出を簡単に、且つ、確実に行うことができるため、移動距離検出装置の処理を高速化でき、且つ、検出結果の信頼性を高めることができる。

また、第７発明による場合は、車両に搭載された撮像手段にて異なる時点で撮像した第１及び第２の画像を取得し、第１の画像から基準画像を抽出し、第２の画像の所定領域内から基準画像の対応位置を探索し、探索結果から車両の移動距離を検出することによって、探索範囲が狭まるため、探索時間を短縮でき、且つ、誤探索を低減できる。よって、移動距離検出装置の処理を高速化でき、且つ、検出結果の信頼性を高めることができる。

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る移動距離検出装置の構成を示すブロック図である。図において１は、車両に搭載されたカメラ４０が撮像した画像に種々の画像処理を施して、カーナビゲーション装置又はディスプレイ装置等の外部機器５０へ出力する画像処理装置である。画像処理装置１は、カメラ４０が撮像した画像を基に車両の移動距離を検出し、検出結果を外部機器５０へ出力する機能を有しており、図１には、この機能に関する部分のみを図示してある。

カメラ４０は、ＣＣＤ又はＣＭＯＳ等によるイメージセンサを備え、イメージセンサにより車両の前方、後方又は左右側方等を撮像し、イメージセンサの出力を画像処理装置１へ与えるようにしてある。また、カメラ４０は、広角レンズ又は魚眼レンズ等の画角が９０°以上のレンズを有しており、車両の周辺を広範囲に亘って撮像することができるようにしてある。このため、カメラ４０により撮像された画像は、中央部から端部へ向けて湾曲度合いが徐々に大きくなる。

カメラ４０から画像処理装置１へ与えられたイメージセンサの出力は、画像処理装置１が有するＡ／Ｄ変換部２によりデジタルの画像データに変換され、座標変換部４へ与えられる。座標変換部４は、カメラ４０により撮像された画像の湾曲を補正すると共に、車両が走行する路面に略平行な方向に撮像された画像を、俯瞰方向の画像、即ち路面を上から見下ろした画像に変換するＴｏｐｖｉｅｗ変換を行うようにしてある。

図２は、本発明に係る移動距離検出装置の座標変換部４が行う変換処理を説明するための模式図であり、（ａ）に変換前の画像を示し、（ｂ）に変換後の画像を示してある。カメラ４０は広角レンズ又は魚眼レンズ等のレンズにより撮像を行うため、撮像された画像は端部が大きく湾曲した画像となる。例えば、図２（ａ）に示す画像では、画像の中心に撮像された他の車両は上下が少し湾曲しており、更に駐車場の枠線をなす路面に描かれた白線は、画像の端部側に撮像されているため大きく湾曲している。

Ｔｏｐｖｉｅｗ変換は、予め用意された変換テーブルを用いてカメラ４０が撮像した画像の各ピクセルを予め定められた位置に移動し、データの存在しないピクセル間を線形補間又はバイキュービック補間等で補間することにより行うようにしてある。Ｔｏｐｖｉｅｗ変換に用いる変換テーブルは、マスクＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ等の不揮発性メモリにより構成された変換テーブルメモリ５に予め記憶されており、変換テーブルには、変換後の画像のピクセルが、変換前の画像のどの座標のピクセルに対応するかを示す対応関係が記憶されている。座標変換部４は、Ｔｏｐｖｉｅｗ変換を行う際に変換テーブルメモリ５から変換テーブルを読み出して、変換を行うようにしてある。例えば、図２（ｂ）に示す画像は図２（ａ）に示す画像をＴｏｐｖｉｅｗ変換したものであり、画像の湾曲が補正され、路面を上から見下ろした画像に変換されている。これにより、路面に描かれた駐車場の枠をなす白線は、曲線から直線に変換されている。

座標変換部４は、Ｔｏｐｖｉｅｗ変換後の画像を画像バッファ３に記憶すると共に、対応位置探索部６へ画像の変換終了を通知し、対応位置探索部６を起動するようにしてある。また、カメラ４０による撮像と座標変換部４によるＴｏｐｖｉｅｗ変換は、一定の周期、例えば１／３０秒の周期で繰り返し行われており、得られた画像は画像バッファ３に順次記憶され、画像を記憶する毎に座標変換部４は対応位置探索部６へ変換終了を通知するようにしてある。

対応位置探索部６は、座標変換部４から変換終了を通知された場合に処理を開始するようにしてある。対応位置探索部６は、画像バッファ３から最新の画像及び所定時間前の画像の２つの画像を読み出し、読み出した２つの画像の対応位置、即ち、所定時間前の画像に映された対象物が最新の画像のどの位置に写されているかを探索するようにしてある。

図３は、本発明に係る移動距離検出装置の対応位置探索部６が行う対応位置の探索処理の概略を説明するための模式図であり、（ａ）に所定時間前の画像を示し、（ｂ）に最新の画像を示してある。対応位置探索部６は、所定時間前の画像から一定の領域（図３（ａ）にて破線の矩形枠で囲む領域）をテンプレートエリア６０として抽出し、最新の画像でのテンプレートエリア６０の対応位置（図３（ｂ）にて一点鎖線の矩形枠で囲む領域）を探索するようにしてある。

対応位置の探索にはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）又はＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等のアルゴリズムが用いられる。ＳＡＤは、最新の画像からテンプレートエリア６０と同じ大きさの領域を抽出し、この領域の各ピクセルとテンプレートエリア６０の各ピクセルとのピクセル値（例えば輝度など）の差の総和を算出する処理を、最新の画像から抽出する領域を移動させながら繰り返し行い、総和が最小の位置を対応位置の探索結果とする方法である。ＳＳＤは、ＳＡＤの総和に代えて２乗和を算出する方法である。ＳＡＤ及びＳＳＤは、簡単且つ高速に計算でき、また、明確なエッジが存在しない場合であっても対応位置を探索することができるという利点がある。

対応位置探索部６は、２つの画像の対応位置を探索した後、探索結果を移動距離検出部７へ与えるようにしてある。移動距離検出部７は、与えられた探索結果の対応位置と、探索を行った２つの画像の撮像時間間隔とから、車両の移動距離を検出するようにしてある。対応位置の探索と移動距離の検出とは、カメラ４０による撮像と座標変換部４によるＴｏｐｖｉｅｗ変換とが行われる毎に繰り返し行われ、検出した移動距離は外部機器５０へ順次与えられるようにしてある。例えば外部機器５０がカーナビゲーション装置の場合には、与えられた移動距離を基に車両の走行位置の特定などの処理を行うことができる。

なお、本発明に係る移動距離検出装置は、最新の画像からテンプレートエリア６０の対応位置を探索する場合に、前回の探索結果を基に探索範囲を制限することによって、探索時間の短縮及び探索精度の向上を行っている。図４は、本発明に係る移動距離検出装置の対応位置探索部６の構成を示すブロック図である。

対応位置探索部６は、座標変換部４から変換終了の通知を与えられた場合に、画像バッファ３から最新の画像及び所定時間前の画像の２つの画像を読み出し、所定時間前の画像から抽出したテンプレートエリア６０と、最新の画像との類似度を計算する類似度計算部１１を有している。ここで計算する類似度とは、上述のＳＡＤのアルゴリズムを用いる場合には、各ピクセルのピクセル値の差の総和であり、ＳＳＤのアルゴリズムを用いる場合には、各ピクセルのピクセル値の差の２乗和である。

類似度計算部１１が画像バッファ３から２つの画像を読み出す場合には、最新の画像と共に所定時間前の画像を読み出すようにしてあるが、このときの２つの画像の時間間隔は時間間隔保持部１２に保持されている。類似度計算部１１は、画像バッファ３から２つの画像を読み出す前に、時間間隔保持部１２から読み出す２つの画像の時間間隔を取得するようにしてある。時間間隔保持部１２に保持される時間間隔は可変であり、移動距離の検出結果に応じて変更されるようにしてある。

図５は、本発明に係る移動距離検出装置の時間間隔保持部１２が保持する時間間隔の変更を説明するための模式図である。なお、本図には時間間隔を３種類に変更する例を示してあり、（ａ）は車両の低速走行時、即ち移動距離が少ない場合であり、（ｂ）は車両の中速走行時、即ち移動距離が中程度の場合であり、（ｃ）は車両の高速走行時、即ち移動距離が多い場合である。また、カメラ４０による撮像の時間間隔は１／３０秒とする。

例えば、移動距離を検出し、移動距離が所定の距離より少ない場合（図５（ａ）低速走行時参照）には、２つの画像の時間間隔Ｔを１２／３０秒（４００ｍｓ）に設定するために、時間間隔保持部１２にこの時間間隔Ｔ＝１２／３０を保持させる。これにより、時刻ｔ１においては、時刻ｔ１に撮像された画像と、時刻（ｔ１−１２／３０秒）に撮像された画像とを類似度計算部１１が画像バッファ３から読み出すようにしてある。同様に、時刻ｔ２においては、時刻ｔ２に撮像された画像と、時刻（ｔ２−１２／３０秒）に撮像された画像とを読み出し、時刻ｔ３においては、時刻ｔ３に撮像された画像と、時刻（ｔ３−１２／３０秒）に撮像された画像とを読み出すようにしてある。

また、移動距離を検出し、移動距離が中程度の場合（図５（ｂ）中速走行時参照）には、２つの画像の時間間隔Ｔを６／３０秒（２００ｍｓ）に設定するために、時間間隔保持部１２にこの時間間隔Ｔ＝６／３０を保持させるようにしてある。移動距離が所定の距離より多い場合（図５（ｃ）高速走行時参照）には、２つの画像の時間間隔Ｔを３／３０秒（１００ｍｓ）に設定するために、時間間隔保持部１２にこの時間間隔Ｔ＝３／３０を保持させるようにしてある。

時間間隔Ｔが例えば１２／３０秒に固定されており、車両が高速走行する場合には、時刻（ｔ１−１２／３０秒）の画像に写されていた対象物が時刻ｔ１の画像に全く写されておらず、移動距離を検出できない虞がある。また、時間間隔Ｔが例えば３／３０秒に固定されており、車両が低速走行する場合には、時刻（ｔ１−３／３０秒）の画像と時刻ｔ１の画像とに変化がなく、正確な移動距離を検出できない虞がある。２つの画像の時間間隔Ｔを変更可能な構成とすることにより、これらの問題が発生することを回避し、正確な車両の移動距離の算出を行うことができる。なお、時間間隔保持部１２に保持させる時間間隔Ｔの変更は、上述の移動距離検出部７によって検出された移動距離を基に行うことができる。また、移動距離はテンプレートエリア６０の対応位置から検出されるため、後述する対応位置判定部１３によるテンプレートエリア６０の対応位置を基に、時間間隔Ｔの変更を行う構成とすることもできる。

類似度計算部１１は、時間間隔保持部１２が保持する時間間隔Ｔを読み出し、これに応じて画像バッファ３から現在の時刻ｔの画像と時刻（ｔ−Ｔ）の画像との２つの画像を読み出した後、時刻（ｔ−Ｔ）の画像からテンプレートエリア６０を抽出し、テンプレートエリア６０と時刻ｔの画像との比較を行い、時刻ｔの画像の各位置での類似度を計算するようにしてある。計算結果である各位置での類似度は対応位置判定部１３に与えられ、対応位置判定部１３が各位置での類似度を基にテンプレートエリア６０の対応位置を判定するようにしてある。

例えば、類似度計算部１１がＳＡＤのアルゴリズムにより計算を行う場合、テンプレートエリア６０の各ピクセルのピクセル値と、時刻ｔの画像の各ピクセルのピクセル値との差の総和が類似度として対応位置判定部１３に与えられ、対応位置判定部１３はピクセル値の差の総和が最小となる位置を対応位置と判定するようにしてある。対応位置判定部１３は、判定結果の対応位置を移動距離検出部７へ与えると共に、対応位置保持部１４に第１対応位置１５として保持するようにしてある。また、対応位置判定部１３は、ピクセル値の差の総和が最小となる位置と、これに次いで総和が小さい位置との２つの位置でのそれぞれの総和を比較し、２つの総和の差が所定値より小さい場合には、総和が最小となる位置を第１候補として移動距離検出部７へ与えると共に、対応位置保持部１４に第１対応位置１５として保持し、これに次いで総和が小さい位置を第２候補とし、対応位置保持部１４に第２対応位置１６として保持するようにしてある。

類似度計算部１１は、テンプレートエリア６０と時刻ｔの画像との比較をおこなって類似度の計算を行うときに、時刻ｔの画像の定められた探索範囲内でのみ、テンプレートエリア６０との比較を行って類似度を計算するようにしてある。このときの探索範囲は、対応位置保持部１４に保持された第１対応位置１５により決定され、また、もし対応位置保持部１４に第２対応位置１６が保持されていれば、探索範囲は第１対応位置１５及び第２対応位置１６により決定されるようにしてある。即ち、前回の判定結果（１／３０秒前の判定結果）により探索範囲が決定されるようにしてある。

図６は、本発明に係る移動距離検出装置の類似度計算部１１の探索範囲の決定方法を説明するための模式図である。カメラ４０による撮像間隔を１／３０秒とし、時刻ｔ１の画像及び時刻（ｔ１−Ｔ）の画像との間での画像の移動量をｐ１ピクセルとし、１ピクセルあたりの実際の移動距離をＬとする。このとき、時刻ｔ１での車両の速度ｖ１は以下の（１）式で表される。
ｖ１ ＝ ｐ１＊Ｌ／Ｔ …（１）
同様にして、時刻ｔ２の画像及び時刻（ｔ２−Ｔ）の画像との間での画像の移動量をｐ２ピクセルとしたとき、時刻ｔ２での車両の速度ｖ２は以下の（２）式で表される。
ｖ２ ＝ ｐ２＊Ｌ／Ｔ …（２）
よって、時刻ｔ１から時刻ｔ２までの間での車両の加速度ａ１２は、以下の（３）式で表される。
｜ａ１２｜ ＝ ｜（ｖ２−ｖ１）／（ｔ２−ｔ１）｜ …（３）
ここで、車両の加速度の上限をｇとすると、（１）〜（３）式より、
｜（ｖ２−ｖ１）／（ｔ２−ｔ１）｜ ＜ ｇ
｜（ｐ２−ｐ１）Ｌ／Ｔ（ｔ２−ｔ１）｜ ＜ ｇ
｜ｐ２−ｐ１｜ ＜ ｇＴ（ｔ２−ｔ１）／Ｌ …（４）
となる。

図７は、車両の加速度の一測定結果を示すグラフであり、車両の徐行時の加速度を測定したものである。図７に示すグラフは一例であるが、車両の徐行時の加速度は０．１Ｇの範囲内に収まることが実験の結果として得られている。よって、車両の加速度の上限ｇ＝０．１Ｇ（＝０．９８ｍ／ｓ² ）とし、更に時間間隔Ｔ＝１２／３０秒とし、１ピクセルあたりの実際の移動距離Ｌ＝１２ｍｍとする。移動距離の検出を行う時間間隔（ｔ２−ｔ１）はカメラ４０による撮像間隔１／３０秒である。これらの値を（４）式に代入すると、
｜ｐ２−ｐ１｜ ＜ １．０８ …（５）
となる。

（５）式より、時刻ｔ１から時刻ｔ２の間に車両が移動することによって、カメラ４０にて撮像される画像が移動する量は１．０８ピクセルより小さいことがわかる。よって、時刻ｔ１にて得られた対応位置でのテンプレートエリア６０の範囲の周囲１ピクセル又は２ピクセル程度の範囲内を時刻ｔ２にて探索することで、時刻ｔ２での対応位置を得ることができる。よって、時刻ｔ２での探索範囲を時刻ｔ１の探索結果である対応位置でのテンプレートエリア６０の範囲から１ピクセル又は２ピクセル程度広げた範囲に限定することで、探索に必要な処理時間を短縮することができると共に、探索の精度を高めることができる。

図８は、本発明に係る移動距離検出装置が行う対応位置の探索処理の一例を示す模式図である。時刻ｔ１において対応位置探索部６は、画像バッファ３から時刻（ｔ１−Ｔ）の画像と時刻ｔ１の画像との２つの画像を読み出し、時刻（ｔ１−Ｔ）の画像の特定の領域をテンプレートエリア６０として抽出する（図８（ａ）参照）。その後、時刻ｔ１の画像からテンプレートエリア６０に対応する画像の対応位置６１を探索する（図８（ｂ）参照）。探索結果である対応位置６１は対応位置探索部６の対応位置保持部１４に第１対応位置１５として保持される。なお、本例ではテンプレートエリア６０の対応位置は第１候補のみの場合を示してある。

次いで、時刻ｔ２において対応位置探索部６は、画像バッファ３から時刻（ｔ２−Ｔ）の画像と時刻ｔ２の画像との２つの画像を読み出し、時刻（ｔ２−Ｔ）の画像の特定の領域をテンプレートエリア６０として抽出する（図８（ｃ）参照）。その後、対応位置保持部１４から前回（時刻ｔ１）の探索結果である対応位置６１（図８（ｄ）に一点鎖線で示す）を読み出し、対応位置６１でのテンプレートエリア６０の範囲を１ピクセル広げた範囲を今回（時刻ｔ２）の探索範囲６２とする（図８（ｄ）参照）。この探索範囲６２からテンプレートエリア６０の対応位置を探索し、探索結果を対応位置保持部１４に保持する。

対応位置探索部６は、座標変換部４から変換の終了を通知される毎に以上の処理をｔ３、ｔ４…と繰り返し行うようにしてあり、探索結果を移動距離検出部７へ順次与えるようにしてある。なお、実際には、時刻ｔ１においてテンプレートエリア６０の対応位置を探索する場合にも、対応位置保持部１４から前回の探索結果を読み出して今回の探索範囲を決定するが、本例では説明を省略してある。

図９は、図８（ｄ）におけるテンプレートエリア６０の対応位置の探索処理を説明するための模式図であり、図８（ｄ）の一部分を拡大して図示したものである。時刻ｔ２での探索範囲６２を、時刻ｔ１での対応位置６１でのテンプレートエリア６０の範囲を１ピクセル広げた範囲とした場合、時刻（ｔ２−Ｔ）の画像から抽出したテンプレートエリア６０の対応位置となりうる位置は９箇所存在する。図９には、テンプレートエリア６０の最左上のピクセルの対応位置となりうる位置を１〜９の数字で示してある。

対応位置探索部６の類似度計算部１１は、この９箇所に関して類似度の計算を行い、計算結果の９個の値を対応位置判定部１３へ与えるようにしてある。対応位置判定部１３は、与えられた９個の値を比較して最もテンプレートエリア６０に類似した位置を対応位置と判定し、移動距離検出部７へ判定結果として対応位置を与えると共に、対応位置保持部１４に対応位置を保持するようにしてある。このように、探索範囲を限定することで、類似度計算部１１の計算回数を大幅に減少することができる。なお、図示は省略するが、前回の対応位置でのテンプレートエリア６０の範囲を２ピクセル広げた範囲を今回の探索範囲とする場合には、テンプレートエリア６０の対応位置となりうる位置は２５箇所存在する。

図１０は、本発明に係る移動距離検出装置が行う対応位置の探索処理の他の例を示す模式図であり、前回の探索結果として２つの候補が存在する場合を示してある。時刻ｔ１において対応位置探索部６は、画像バッファ３から時刻（ｔ１−Ｔ）の画像と時刻ｔ１の画像との２つの画像を読み出し、時刻（ｔ１−Ｔ）の画像の特定の領域をテンプレートエリア６０として抽出する（図１０（ａ）参照）。その後、時刻ｔ１の画像からテンプレートエリア６０に対応する画像の対応位置を探索する。このときに、類似度計算部１１が計算する類似度の近接した位置が２つ存在する場合（図１０（ｂ）参照）、より類似している一方の位置を第１候補６１ａとし、対応位置保持部１４に第１対応位置１５として保持し、更に他方の位置を第２候補６１ｂとし、第２対応位置１６として保持する。ただし、移動距離検出部７へは、第１候補６１ａの位置を探索結果として与えるようにしてある。

次いで、時刻ｔ２において対応位置探索部６は、画像バッファ３から時刻（ｔ２−Ｔ）の画像と時刻ｔ２の画像との２つの画像を読み出し、時刻（ｔ２−Ｔ）の画像の特定の領域をテンプレートエリア６０として抽出する（図１０（ｃ）参照）。その後、対応位置保持部１４から前回（時刻ｔ１）の探索結果である対応位置の第１候補６１ａ及び第２候補６１ｂを読み出し、第１候補６１ａでのテンプレートエリア６０の範囲を１ピクセル広げた領域を第１探索範囲６２ａとし、第２候補６１ｂでのテンプレートエリア６０の範囲を１ピクセル広げた領域を第２探索範囲６２ｂとする（図１０（ｄ）参照）。第１探索範囲６２ａ及び第２探索範囲６２ｂの２つの範囲からテンプレートエリア６０の対応位置を探索し、探索結果を対応位置保持部１４に保持する。

このように、前回の探索の結果としてテンプレートエリア６０の対応位置の候補が２つ存在する場合、今回の探索を行う範囲を広げることによって、対応位置の誤探索が発生して移動距離の検出精度が低下することを防止できる。

図１１及び図１２は、本発明に係る移動距離算出装置が行う移動距離検出処理の手順を示すフローチャートである。移動距離検出処理では、まず、車両に搭載されたカメラ４０にて撮像を行い（ステップＳ１）、得られた画像を座標変換部４にてＴｏｐｖｉｅｗ変換する（ステップＳ２）。座標変換部４は変換した画像を画像バッファ３に記憶すると共に対応位置探索部６へ変換の終了を通知する。変換の終了を通知された対応位置探索部６では、類似度計算部１１が画像バッファ３から読み出す２つの画像の時間間隔Ｔを時間間隔保持部１２から取得し（ステップＳ３）、取得した時間間隔Ｔに応じて、画像バッファ３から現在の時刻ｔの画像と、現在の時刻ｔから時間間隔Ｔだけ遡った時刻（ｔ−Ｔ）の画像との２つの画像を読み出す（ステップＳ４）。

次いで、類似度計算部１１は、対応位置保持部１４に保持された前回の対応位置を取得する（ステップＳ５）。このとき、第１対応位置１５及び第２対応位置１６の２つの対応位置が保持されている場合には、両対応位置を取得し、取得した対応位置に応じて今回の探索範囲を決定する（ステップＳ６）。探索範囲の決定方法は上述のとおりであり、取得した対応位置でのテンプレートエリア６０の範囲を例えば１ピクセル広げた範囲を探索範囲とする。

次いで、類似度計算部１１は、時刻（ｔ−Ｔ）での画像から特定の領域をテンプレートエリア６０として抽出し（ステップＳ７）、ステップＳ６にて決定した探索範囲内で、時刻ｔの画像とテンプレートエリア６０の画像との類似度を計算する（ステップＳ８）。計算結果は類似度計算部１１から対応位置判定部１３へ与えられる。類似度の計算は探索範囲内の各位置にて行ようにしてあり、全ての位置について類似度の計算を終了したか否かを調べ（ステップＳ９）、終了していない場合には（Ｓ９：ＮＯ）、ステップＳ８へ戻って別の位置での類似度の計算を繰り返し行う。

探索範囲内の全ての位置について類似度の計算を終了した場合（Ｓ９：ＹＥＳ）、対応位置判定部１３にて複数の類似度を比較して、テンプレートエリア６０の対応位置を判定し（ステップＳ１０）、判定結果を対応位置保持部１４に保持する（ステップＳ１１）。このとき、対応位置の候補となる位置が２つ存在する場合には、２つの位置を対応位置保持部１４に保持するようにしてある。判定結果は移動距離検出部７へ与えられる。

また、対応位置判定部１３による判定結果として得られた対応位置から車両の移動距離を推定することができるため、得られた対応位置に応じて、画像バッファ３から読み出す２つの画像の時間間隔Ｔを変更する必要があるか否かを調べる（ステップＳ１２）。これは、テンプレートエリア６０を抽出した位置と対応位置判定部１３の判定結果として得られた対応位置との間のピクセル数を算出し、算出したピクセル数と予め定められた閾値とを比較して時間間隔Ｔを変更する必要があるか否かを判断するようにしてある。時間間隔Ｔを変更する必要がある場合には（Ｓ１２：ＹＥＳ）、時間間隔保持部１２に保持された時間間隔Ｔを適切な値に変更する（ステップＳ１３）。

時間間隔Ｔを変更する必要がない場合（Ｓ１２：ＮＯ）、及びステップＳ１３にて時間間隔Ｔを変更した後、移動距離検出部７は、テンプレートエリア６０を抽出した位置と対応位置判定部１３の判定結果として得られた対応位置との間のピクセル数を算出し、１ピクセルあたりの実際の移動距離を基に、移動距離を検出する（ステップＳ１４）。移動距離検出部７が検出した移動距離を外部機器５０へ与えて、移動距離検出処理を終了する。ただし、実際にはステップＳ１〜Ｓ１５の処理を、所定の時間間隔（１／３０秒）毎に繰り返し行うようにしてある。

以上の構成の移動距離検出装置においては、現在の時刻ｔの画像からテンプレートエリア６０の対応位置を探索する場合に、探索範囲を前回の探索結果の対応位置に応じた限定された範囲とすることによって、対応位置の探索処理を簡単化することができると共に探索結果の精度を高めることができる。また、車両の加速度の上限が０．１Ｇ程度であることに着目し、（５）式に示すように、前回の対応位置でのテンプレートエリア６０の範囲を１ピクセル又は２ピクセル程度広げた範囲を今回の探索範囲とすることによって、類似度計算部１１による類似度の計算回数が９回又は２５回程度に減少させることができる。また、類似度計算部１１が計算した類似度を基に対応位置判定部１３が判定を行った結果、対応位置の候補となる位置が２つ存在する場合には、２つの対応位置を対応位置保持部１４に保持し、次回の探索範囲を２つの対応位置を基に決定することによって、テンプレートエリア６０の対応位置の誤探索が発生することを防止できる。

なお、本実施の形態においては、カメラ４０による撮像の時間間隔、及び移動距離の検出処理を行う時間間隔を１／３０秒としたが、この数値は一例であって、これに限るものではない。同様に、類似度計算部１１が取得する２つの画像の時間間隔Ｔを、低速走行時には１２／３０秒間隔とし、中速走行時には６／３０秒間隔とし、高速走行時には３／３０秒間隔としたが、この数値は一例であって、これに限るものではない。また、対応位置の探索範囲は、前回の対応位置でのテンプレートエリア６０の範囲を１ピクセル又は２ピクセル程度広げた範囲としたが、この数値は一例であって、これに限るものではない。これらの数値は、移動距離検出装置のハードウェア構成などに応じて適切な値を設定することができる。

また、図１のブロック図では画像処理装置１とカーナビゲーション装置などの外部機器５０とを別の装置とする構成を図示したが、これに限るものではなく、カーナビゲーション装置などが画像処理装置１の機能を備える構成であってもよい。また、画像処理装置１が移動距離の検出結果を外部機器５０へ与える構成としたが、これに限るものではなく、画像処理装置１がその他の画像処理を行う際に移動距離の検出結果を利用する構成であってもよい。また、移動距離検出部７が検出した移動距離を外部機器５０へ与える構成としたが、これに限るものではなく、移動距離から車速を算出し、算出した車速を外部機器５０へ与える構成としてもよい。

また、対応位置保持部１４には、第１対応位置１５及び第２対応位置１６の２つの対応位置を保持する構成としたが、これに限るものではなく、対応位置を１つのみ保持する構成であってもよく、また、３つ以上の対応位置を保持する構成であってもよい。また、図１１及び図１２に示すフローチャートにおいて、ステップＳ５の前回の対応位置の取得及びステップＳ６の探索範囲の決定と、ステップＳ７のテンプレートエリア６０の抽出とは、どちらを先に行ってもよい。また、ステップＳ１２及びＳ１３にて、対応位置判定部１３が判定した対応位置に応じて、時間間隔保持部１２が保持する時間間隔Ｔの変更を行う構成としたが、これに限るものではなく、例えば移動距離検出部７が検出した移動距離に応じて時間間隔Ｔの変更を行う構成であってもよい。

本発明に係る移動距離検出装置の構成を示すブロック図である。 本発明に係る移動距離検出装置の座標変換部が行う変換処理を説明するための模式図である。 本発明に係る移動距離検出装置の対応位置探索部が行う対応位置の探索処理の概略を説明するための模式図である。 本発明に係る移動距離検出装置の対応位置探索部の構成を示すブロック図である。 本発明に係る移動距離検出装置の時間間隔保持部が保持する時間間隔の変更を説明するための模式図である。 本発明に係る移動距離検出装置の類似度計算部の探索範囲の決定方法を説明するための模式図である。 車両の加速度の一測定結果を示すグラフである。 本発明に係る移動距離検出装置が行う対応位置の探索処理の一例を示す模式図である。 図８（ｄ）におけるテンプレートエリアの対応位置の探索処理を説明するための模式図である。 本発明に係る移動距離検出装置が行う対応位置の探索処理の他の例を示す模式図である。 本発明に係る移動距離算出装置が行う移動距離検出処理の手順を示すフローチャートである。 本発明に係る移動距離算出装置が行う移動距離検出処理の手順を示すフローチャートである。

符号の説明

１ 画像処理装置
２ Ａ／Ｄ変換部
３ 画像バッファ
４ 座標変換部（変換手段）
５ 変換テーブルメモリ
６ 対応位置探索部
７ 移動距離検出部（検出手段）
１１ 類似度計算部（取得手段、抽出手段、探索手段、変更手段）
１２ 時間間隔保持部
１３ 対応位置判定部
１４ 対応位置保持部
１５ 第１対応位置
１６ 第２対応位置
４０ カメラ（撮像手段）
５０ 外部機器
６０ テンプレートエリア（基準画像）
６１ 対応位置
６２ 探索範囲（所定領域）

Claims (7)

1. 車両に搭載され、該車両の外界を撮像する撮像手段と、
   異なる時点で撮像された第１の画像及び第２の画像を取得する取得手段と、
   第１の画像から基準画像を抽出する抽出手段と、
   第２の画像の所定領域内にて、前記抽出手段が抽出した基準画像の対応位置を探索する探索手段と、
   該探索手段の探索結果に応じて車両の移動距離を検出する検出手段と
   を備えることを特徴とする移動距離検出装置。
2. 前記取得手段による画像の取得、前記抽出手段による基準画像の抽出、前記探索手段による対応位置の探索及び前記検出手段による移動距離の検出を、時系列的に繰り返し行うようにしてあり、
   前記探索手段が前回探索した対応位置での基準画像の範囲を所定範囲広げた領域を、前記所定領域とするようにしてある請求項１に記載の移動距離検出装置。
3. 前記探索手段による前回の探索にて、第２の画像の所定領域内に対応位置の候補が複数存在した場合、
   各対応位置の候補での基準画像の範囲を所定範囲広げた領域を、前記所定領域とするようにしてある請求項２に記載の移動距離検出装置。
4. 前記所定範囲は、車両の加速度を基に決定された範囲である請求項２又は請求項３に記載の移動距離検出装置。
5. 前記検出手段が検出した移動距離に応じて、前記取得手段が取得する第１の画像及び第２の画像の撮像時点の間隔を変更する変更手段を備える請求項１乃至請求項４のいずれか１つに記載の移動距離検出装置。
6. 前記抽出手段が基準画像の抽出を行う以前に、撮像された画像を俯瞰方向の画像に変換する変換手段を備える請求項１乃至請求項５のいずれか１つに記載の移動距離検出装置。
7. 車両に搭載された撮像手段により、車両の外界を撮像し、
   異なる時点で撮像された第１の画像及び第２の画像を取得し、
   第１の画像から基準画像を抽出し、
   第２の画像の所定領域内にて、抽出した基準画像の対応位置を探索し、
   探索結果に応じて車両の移動距離を検出すること
   を特徴とする移動距離検出方法。

Images