JP2009055436A

JP2009055436A - 撮影方向判定装置及び撮影方向判定プログラム

Info

Publication number: JP2009055436A
Application number: JP2007221340A
Authority: JP
Inventors: Junichi Takeda; 淳一竹田
Original assignee: Pioneer Electronic Corp; Increment P Corp
Current assignee: Pioneer Corp; Geotechnologies Inc
Priority date: 2007-08-28
Filing date: 2007-08-28
Publication date: 2009-03-12
Anticipated expiration: 2027-08-28
Also published as: JP4966788B2

Abstract

【課題】画像データを撮影したカメラの方向を簡易に定めることができる撮影方向判定装置を提供することにある。
【解決手段】撮影方向判定装置は、比較用画像データ群における一方の画像データから抽出したテンプレート画像を用いて、他方の画像データについて形状パターンマッチングし、マッチングした個所とテンプレート画像の大きさを比較することにより、画像データが移動体の進行方向を撮影した画像データであるか否かを判断することができる。この場合、撮影方向判定装置は、画像データのオプティカルフローを求めて、画像データの撮影方向を判定する場合に比して、簡易に撮影方向を判断することができる。
【選択図】図１

Description

本発明は、画像の撮影方向を判定する技術に関する。

従来から、道路データの整備のため、前方撮影用のカメラ及び後方撮影用のカメラを搭載し、当該カメラで撮影しながら走行する走行調査用車両がある。上記走行調査用車両では、カメラが撮影した画像データと走行位置の緯度経度とを関連付けたデータも作成する。これにより、画像データと、地図上の位置とを対応付けることを可能とする。

なお、上記のような走行調査用車両のカメラは、電源を再起動した場合、識別用の値が変動するため、各画像データが前方撮影用カメラによって撮影されたか否か分からないという問題点があった。

上記問題点を解消する方法として、画像データのオプティカルフローを求めて車載カメラの設置状態を判定することができる設置状態判断装置がある（例えば、特許文献１参照）。

特開２００７−８３２５号公報

特許文献１の設置状態判断装置のように、オプティカルフローを用いる場合、計算量が多くなるため、処理効率が良くないという問題点があった。

本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明の目的は、画像データを撮影したカメラの方向を簡易に定めることができる撮影方向判定装置を提供することにある。

請求項１に記載の発明は、撮影方向判定装置であって、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、前記比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段と、を備えることを特徴とする。

請求項６に記載の発明は、撮影方向判定方法であって、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持工程と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持工程と、前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定工程と、前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出工程と、前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング工程と、前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定工程と、前記比較用画像データ群撮影方向判定工程が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定工程と、前記撮影方向判定工程が決定した結果を出力する撮影方向出力工程と、を備えることを特徴とする。

請求項７に記載の発明は、コンピュータを備える装置によって実行される撮影方向判定プログラムであって、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、前記比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段、として前記コンピュータを機能させることを特徴とする。

本発明の好適な実施形態では、撮影方向判定装置は、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、前記比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段と、を備える。

上記の撮影方向判定装置は、具体的には、カーナビゲーション装置や、パーソナルコンピュータ等に適用することができる。撮影方向判定装置は、予め、移動体に搭載された撮影カメラが撮影した画像データを保持する。そして、撮影方向判定装置は、上記画像データの撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する。

そして、撮影方向判定装置の比較用画像データ群決定手段は、撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する。そして、テンプレート画像抽出手段は、上記比較用画像データ群の画像データからテンプレート画像を抽出する。

形状パターンマッチング手段は、上記テンプレート画像を用いて、比較用画像データ群の画像データの内、テンプレート画像抽出手段がテンプレート画像を抽出した画像データ以外の画像データに対して形状パターンマッチングを行う。

比較用画像データ群撮影方向判定手段は、形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する。

そして、撮影方向判定手段は、上記比較用画像データ群撮影方向判定手段が決定した内容に基づいて、最終的に比較用画像データ群内の画像データの撮影方向を決定し、撮影方向出力手段が、上記撮影方向を出力する。

このように、撮影方向判定装置は、比較用画像データ群における一方の画像データから抽出したテンプレート画像を用いて、他方の画像データについて形状パターンマッチングし、マッチングした個所とテンプレート画像の大きさを比較することにより、画像データが移動体の進行方向を撮影した画像データであるか否かを判断することができる。

この場合、撮影方向判定装置は、画像データのオプティカルフローを求めて、画像データの撮影方向を判定する場合に比して、簡易に撮影方向を判断することができる。

上記の撮影方向判定装置の一態様では、前記比較用画像データ群は、複数存在し、前記撮影方向判定手段は、前記比較用画像データ群撮影方向判定手段が決定した撮影方向の内、最も多い撮影方向を画像データの撮影方向に決定する。

これによれば、撮影方向判定装置は、複数の比較用画像データ群の画像データについて決定した撮影方向の内、最も多い撮影方向を画像データの撮影方向に決定するので、一部の画像データの撮影状態によって誤判定を行ったとしても全体として適切な判定を行うことができる。

上記の撮影方向判定装置の一態様では、前記テンプレート画像抽出手段は、複数のテンプレート画像を抽出し、前記比較用画像データ群撮影方向判定手段は、複数のテンプレート画像を用いた前記形状パターンマッチング結果のスケール比較結果の内、最も多いスケール比較結果に基づいて撮影方向を決定する。これによれば、撮影方向判定装置は、一部のテンプレート画像について、テンプレート画像に対応する個所の大きさが変化しない等により、正確に比較用画像データ群の画像データの撮影方向を決定できない場合でも、全体として、適切に比較用画像データ群の画像データの撮影方向を決定することができる。

上記の撮影方向判定装置の一態様では、前記テンプレート画像抽出手段は、前記比較用画像データ群撮影方向判定手段が抽出済みのテンプレート画像を用いて撮影方向を決定できない場合、他のテンプレート画像を再抽出する。これによれば、撮影方向判定装置は、比較用画像データ群の一方の画像データから抽出したテンプレート画像を用いて、他方の画像データに対して形状パターンマッチングを行った結果、「不明」と判定しても、他のテンプレート画像を再抽出するので、適切な判定をできる可能性を向上させることができる。

上記の撮影方向判定装置の一態様では、カーブ走行中に撮影された画像データを判定するカーブ判定手段をさらに備え、前記比較用画像データ群抽出手段は、前記カーブ走行中に撮影された画像データを含む比較用画像データ群の撮影方向判定順序を後回しにする。これによれば、撮影方向判定装置は、カーブ走行中の画像データを含む比較用画像データ群の撮影方向判定順序を後回しにすることにより、カーブ走行中の画像データに比してマッチングする可能性が高い比較用画像データ群を優先して判定することができる。

本発明の他の観点では、撮影方向判定方法は、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持工程と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持工程と、前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定工程と、前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出工程と、前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング工程と、前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定工程と、前記比較用画像データ群撮影方向判定工程が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定工程と、前記撮影方向判定工程が決定した結果を出力する撮影方向出力工程と、を備える。

上記の方法によっても、比較用画像データ群における一方の画像データから抽出したテンプレート画像を用いて、他方の画像データについて形状パターンマッチングし、マッチングした個所とテンプレート画像の大きさを比較することにより、画像データが移動体の進行方向を撮影した画像データであるか否かを判断することができる。

本発明の他の観点では、コンピュータを備える装置によって実行される撮影方向判定プログラムは、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、前記比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段、として前記コンピュータを機能させる。このプログラムを、コンピュータ上で実行することにより、上記の撮影方向判定装置を実現することができる。なお、この撮影方向判定プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［撮影方向判定装置］
図１に、本発明の実施例に係る撮影方向判定装置１の構成を示す。撮影方向判定装置１は、前方撮影用カメラと後方撮影用カメラとを搭載した車両（例えば、地図調査用の車両である車両走行型現地調査車両）が撮影した画像データ、及び車両が走行した情報である走行ログデータを保持し、上記画像データ及び走行ログデータを用いて、各画像データが車両の前方のカメラで撮影されたか否かを判定する装置である。撮影方向判定装置１は、実体的には、パーソナルコンピュータ等により構成される。撮影方向判定装置１は、図示のように、制御部２０と、記憶部３６と、入力装置６０とを備える。記憶部３６は、ハードディスク等であり、走行ログＤＢ１２０と、複数の画像データ１４０と、検出結果リスト１５０とを保持する。制御部２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等であり、比較用画像データ群決定部１０１と、テンプレート画像抽出部１０２と、カーブ判定部１０３と、形状パターンマッチング部１０４と、比較用画像データ群撮影方向判定部１０５と、撮影方向判定部１０６と、撮影方向出力部１０７とを備える。即ち、制御部２０が所定のプログラムを実行することにより、比較用画像データ群決定部１０１と、テンプレート画像抽出部１０２と、カーブ判定部１０３と、形状パターンマッチング部１０４と、比較用画像データ群撮影方向判定部１０５と、撮影方向判定部１０６と、撮影方向出力部１０７とを実現する。

走行ログＤＢ１２０は、走行ログデータ１２１を保持するデータベースである。図２に走行ログデータ１２１のデータ構造を示す。走行ログデータ１２１とは、位置情報１２２と、撮影時刻１２３と、走行方向１２４と、画像データに関する情報である画像ファイル情報（画像データの保存先や、走行調査識別子）１２５と、カメラ情報１２６と、バック走行有無情報１２７と、速度情報１２８と、ジャイロデータ１２９とを含む情報である。ここで、位置情報１２２は、具体的には、経度緯度情報であり、撮影時の調査用車両の位置を示す。撮影時刻１２３は、カメラにより画像を撮影した時刻を示す。走行方向１２４は、北を基準にした場合における角度である。カメラ情報１２６は、画像データを撮影したカメラに関する情報である（識別番号等）。バック走行有無情報１２７とは、上記走行ログデータ１２１を生成した時にバック走行をしていたか否かを示す情報である。速度情報１２８は、撮影時の走行速度を示す。ジャイロデータ１２９は、角速度情報等であり、カーブを走行しているか否かを判別するためのデータである。

検出結果リスト１５０は、撮影方向の判定結果等を保持するリストである。図３に検出結果リスト１５０の例を示す。図示のように、検出結果リスト１５０は、画像データ１４０を一意に識別し得る画像ＩＤ１５１、サイクルＩＤ１５２、撮影時刻１５３、及び撮影方向１５４を有する。ここで、サイクルＩＤ１５２とは、走行調査単位を示す識別子（例えば、１回目の調査が「００１」、２回目の調査が「００２」等）であり、走行ログデータ１２１内の画像ファイル情報１２５の走行調査識別子に対応する。撮影時刻１５３は、走行調査車両のカメラが画像データを撮影した時刻を示し、走行ログデータ１２１の撮影時刻１２３に対応する。撮影方向１５４は、カメラが撮影した画像データ１４０の撮影方向の情報を示し、後述する撮影方向出力部１０７が設定する。

比較用画像データ群決定部１０１は、走行ログデータ１２１の撮影時刻１２３に基づいて、画像データ同士を比較する組である比較用画像データ群を抽出する。具体的には、撮影時刻１２３が直近である画像データ１４０の組を抽出する。

なお、比較用画像データ群決定部１０１は、抽出した画像データ１４０がカーブ走行中の画像データである場合、当該画像データ１４０を含む比較用画像データ群の撮影方向判定順序を後回しにする。

テンプレート画像抽出部１０２は、上記比較用画像データ群の内、１つの画像データ１４０の所定領域（以下、テンプレート領域とも呼ぶ）をテンプレートとして設定し、当該テンプレートの画像データを抽出する。なお、本実施例におけるテンプレート画像抽出部１０２は、画像データ１４０の複数の領域をテンプレートとして設定する。

カーブ判定部１０３は、各比較用画像データ群の画像データ１４０に対応する走行ログデータ１２１の速度情報１２８を参照した結果、所定の閾値以下である場合、当該画像データ１４０がカーブ走行中に撮影されたと判定する。

形状パターンマッチング部１０４は、比較用画像データ群の内、テンプレート画像を抽出した画像データ１４０以外の画像データ１４０に対して、テンプレート画像抽出部１０２が抽出したテンプレート画像を用いて形状パターンマッチングを行う。

比較用画像データ群撮影方向判定部１０５は、形状パターンマッチングを行った結果に基づいて、比較用画像データ群の画像データについての撮影方向を決定する。具体的には、テンプレート画像抽出部１０２が比較用画像データ群の画像データの内、撮影時間が先の画像データからテンプレート画像を抽出していた場合に、形状パターンマッチング部１０４が、撮影時間が後の画像データについて、上記テンプレートを用いて形状パターンマッチングを行った結果、比較用画像データ群撮影方向判定部１０５は、撮影時間が後の画像データ内のテンプレート部分が拡大している場合、車両の進行方向を撮影していると判断し、撮影時間が後の画像データ内のテンプレート部分が縮小している場合、車両の進行方向とは逆の方向を撮影していると判断する。

ここで、比較用画像データ群撮影方向判定部１０５が２つの画像データ１４０を比較する手法について図４を用いて説明する。２つの画像データ１４０Ａ及び画像データ１４０Ｂがあり、撮影順序は、画像データ１４０Ａ、画像データ１４０Ｂという順序であるものとする。

比較用画像データ群撮影方向判定部１０５は、画像データ１４０Ａにも画像データ１４０Ｂにも写っている２つの地物Ａ（Ｘａ、Ｙａ）、地物Ｂ（Ｘｂ、Ｙｂ）を選択し、画像データ１４０Ａの地物Ａ、地物Ｂの代表点をＰＡ１、ＰＢ１とし、画像データ１４０Ｂの地物Ａ、地物Ｂの代表点をＰＡ２、ＰＢ２とする。

比較用画像データ群撮影方向判定部１０５は、画像データ１４０Ａの代表点間距離Ｌ１と、画像データ１４０Ｂの代表点間距離Ｌ２とを算出する。

比較用画像データ群撮影方向判定部１０５は、上記画像データ１４０Ａの代表点間距離Ｌ１を画像データ１４０Ｂの代表点間距離Ｌ２で除算した、代表点間距離比を算出する。

上記代表点距離比を算出した結果、代表点間距離比が１より小さい場合は、代表点間距離Ｌ２が代表点間距離Ｌ１に比して長いことになり、地物Ａと地物Ｂとが拡大していることを示す。従って、比較用画像データ群撮影方向判定部１０５は、上記画像データ１４０Ａ及び画像データ１４０Ｂが車両の進行方向を撮影した画像データであると判断する。また、上記代表点距離比を算出した結果、代表点間距離比が１より大きい場合、代表点間距離Ｌ２が代表点間距離Ｌ１に比して短いことになり、車両が、地物Ａや地物Ｂから離れることになるので、比較用画像データ群撮影方向判定部１０５は、上記画像データ１４０Ａ及び画像データ１４０Ｂが車両の進行方向と逆方向を撮影した画像データであると判断する。

このように、比較用画像データ群撮影方向判定部１０５は、２つの画像データ１４０について、マッチングした範囲における２つの地物間の距離を対比することにより、簡易に上記画像データ１４０が、車両の進行方向を撮影した画像データであるか否かを判断することができる。

撮影方向判定部１０６は、比較用画像データ群撮影方向判定部１０５が決定した撮影方向に基づいて、最終的に画像データの撮影方向を決定する。具体的には、撮影方向判定部１０６は、複数の比較用画像データ群がある場合に、比較用画像データ群撮影方向判定部１０５が決定した各比較用画像データ群の撮影方向結果について、多い撮影方向結果を最終的に、画像データの撮影方向に決定する。

撮影方向出力部１０７は、撮影方向判定部１０６が決定した撮影方向結果を出力する。具体的には、撮影方向出力部１０７が、検出結果リスト１５０の撮影方向１５４に撮影方向結果を出力する。
なお、本実施例における走行ログデータ１２１は、撮影関連データとして機能する。

［撮影方向判定方法及び撮影方向判定処理手順］
ここで、撮影方向判定方法について説明する。本実施例における、撮影方向判定方法とは、撮影時刻が近い画像データの組からなる比較用画像データ群を複数決定し、当該比較用画像データの画像データ同士を比較し、画像データの比較結果に基づいて撮影方向を判定し、最も多い判定結果の撮影方向を最終的に画像データの撮影方向として判定する方法である。

まず、比較用画像データ群決定部１０１は、走行ログデータ１２１を検索し、カメラ識別子が同一の走行ログデータ１２１に対応する画像データ１４０を撮影時刻順に取得する。

そして、比較用画像データ群決定部１０１は、取得した画像データ１４０の内、対応する走行ログデータ１２１のバック走行有無情報１２７が「有り」となっている場合、当該画像データ１４０を比較用画像データ群抽出対象外とする。具体的には、図５（ａ）に示すように、画像データ１４０−４、画像データ１４０−８、画像データ１４０−１０に対応する走行ログデータ１２１のバック走行有無情報１２７が「有り」になっている場合、比較用画像データ群決定部１０１は、上記画像データ１４０−４、画像データ１４０−８、及び画像データ１４０−１０を比較用画像データ群抽出対象外とする。

そして、比較用画像データ群決定部１０１は、図５（ｂ）に示すように、撮影時刻の近い画像データ１４０の組からなる、比較用画像データ群を決定する。

そして、比較用画像データ群決定部１０１は、図５（ｃ）に示すように、シーンの偏りがないように（低速走行時の画像データ１４０を含む比較用画像データ群が集まることがないように）、上記比較用画像データ群の順番を変更する。

これによれば、撮影方向判定装置１は、比較用画像データ群の撮影方向判定順序をシーンの偏りがないようにすることにより、撮影方向の誤認識が発生することを防ぐことができる。

さらに、比較用画像データ群決定部１０１は、比較用画像データ群の画像データ１４０に対応する走行ログデータ１２１の速度情報１２８を参照した結果、所定の閾値以下の速度である場合、当該画像データ１４０を含む比較用画像データ群の判定順序を変更する。図５（ｄ）に、画像データ１４０−１２に対応する走行ログデータ１２１の速度情報１２８が閾値以下の速度である場合における、比較用画像データ群決定部１０１が撮影方向判定順序を変更する例を示す。この場合、比較用画像データ群決定部１０１は、画像データ１４０−１２を含む比較用画像データ群の撮影方向判定順序を変更している。このように、撮影方向判定装置１は、カーブ走行中に撮影された画像データ１４０について、テンプレート画像を用いて形状パターンマッチングしても、マッチングできないケースが多いことを考慮し、カーブ走行していると推定できる速度時に撮影された画像データ１４０を含む比較用画像データ群の判定順序を後回しにしている。これにより、撮影方向判定装置１は、カーブ走行中の画像データ１４０に比して形状パターンマッチングする可能性が高い比較用画像データ群を優先して判定することができる。

テンプレート画像抽出部１０２は、比較用画像データ群の画像データ１４０の一方からテンプレート画像を抽出し、形状パターンマッチング部１０４が、当該テンプレート画像を用いて、他方の画像データ１４０に対して形状パターンマッチングを行う。

そして、比較用画像データ群撮影方向判定部１０５は、比較用画像データ群における、撮影時刻が後の画像データ１４０について、撮影時刻が前の画像データ１４０のテンプレートに関するテンプレート画像を拡大するとマッチングする場合、車両の進行方向を撮影対象としている画像データ１４０であると判断する。また、比較用画像データ群撮影方向判定部１０５は、比較用画像データ群における、撮影時刻が前の画像データ１４０のテンプレートに関するテンプレート画像を縮小するとマッチングする場合、車両の進行方向の逆方向を撮影対象とした画像データ１４０であると判断する。比較用画像データ群撮影方向判定部１０５は、撮影時刻が前の画像データ１４０のテンプレートを拡大しても縮小しても、マッチングしない場合は、不明であると判断する。このように、比較用画像データ群撮影方向判定部１０５は、比較用画像データ群の画像データ１４０について、マッチングする領域の大きさを比較することにより、撮影方向を判定する。

具体例について図６を用いて説明する。図６に示すような、比較用画像データ群である、画像データ１４０Ａ及び画像データ１４０Ｂがあり、撮影時刻が画像データ１４０Ｂより画像データ１４０Ａの方が先であるとする。

テンプレート画像抽出部１０２は、画像データ１４０Ａのテンプレート領域１６１のテンプレート画像を抽出する。そして、形状パターンマッチング部１０４は、上記テンプレート１６１を拡大又は縮小し、画像データ１４０Ｂに対して形状パターンマッチングを行う。比較用画像データ群撮影方向判定部１０５は、図６に示すように、形状パターンマッチングを行った結果、画像データ１４０Ｂにおけるテンプレート１６１に対応する領域１６２が画像データ１４０Ａ内のテンプレート１６１より大きいので、車両の進行方向を撮影していると判断する。

そして、比較用画像データ群撮影方向判定部１０５が全ての比較用画像データ群について、車両進行方向の画像データ１４０であるか否かを判断すると、撮影方向判定部１０６は、上記比較用画像データ群の画像データ１４０の撮影方向の内、最も多い撮影方向を各画像データ１４０の撮影方向とする。

そして、撮影方向出力部１０７は、撮影方向判定部１０６が決定した結果について、検出結果リスト１５０の撮影方向１５６に出力する。

このように、撮影方向判定装置１は、撮影時刻順に画像データ１４０を取得し、当該画像データ１４０について、比較用画像データ群を決定し、当該比較用画像群の画像データ１４０について形状パターンマッチングを行い、当該パターンマッチングの結果に基づいて、撮影方向を判定する。これにより、撮影方向判定装置１は、画像データのオプティカルフローを求めて撮影方向を判定する場合に比して容易に判定することができる。

以下に、撮影方向判定処理の手順について図７に示すフローチャートを用いて説明する。この処理は、撮影方向判定装置１内の制御部２０が、予め用意されたプログラムを実行することにより実現される。

まず、比較用画像データ群決定部１０１は、走行ログデータ１２１を読み込み（ステップＳ１）、当該走行ログデータ１２１の撮影時刻１２３及びカメラ情報１２６のカメラ識別子を参照し、撮影時刻順に、同一のカメラ識別子の走行ログデータ１２１に対応する画像データ１４０を取得した後、バック走行有無情報１２７が「有り」となっている走行ログデータ１２１に対応する画像データ１４０を比較用画像データ群の対象外とする（ステップＳ２）。

そして、比較用画像データ群決定部１０１は、撮影時刻の近い画像データ１４０の組からなる、比較用画像データ群を決定する（ステップＳ３）。そして、比較用画像データ群決定部１０１は、上記比較用画像データ群について、シーンに偏りが無いように、ランダムに並び替えを行う（ステップＳ４）。そして、カーブ判定部１０３は、走行ログデータ１２１の速度情報１２８を参照し、所定の速度以下の場合、当該走行ログデータ１２１に対応する画像データ１４０を含む比較用画像データ群について、撮影方向の判定を行う順位を変更する（ステップＳ５）。

そして、テンプレート画像抽出部１０２は、比較用画像データ群の画像データ１４０の一方からテンプレート画像を抽出し、形状パターンマッチング部１０４が、当該テンプレート画像を用いて、他方の画像データ１４０に対して形状パターンマッチングを行い、比較用画像データ群撮影方向判定部１０５は、上記形状パターンマッチングの結果に基づいて、画像データ１４０の撮影方向を決定する（ステップＳ６）。

そして、比較用画像データ群撮影方向判定部１０５は、比較用画像データ群内の画像データ１４０の撮影方向をメモリ等に保持しておく（ステップＳ７）。

比較用画像データ群の画像データ１４０について、撮影方向を判定していない比較用画像データ群がある場合（ステップＳ８；Ｙｅｓ）、ステップＳ６へ移動し、判定していない比較用画像データ群の画像データ１４０の撮影方向を判定し、撮影方向を判定していない比較用画像データ群がない場合（ステップＳ８；Ｎｏ）、撮影方向判定部１０６は、比較用画像データ群内の画像データ１４０の撮影方向について、最も多い撮影方向を最終的に、画像データ１４０の撮影方向とする（ステップＳ９）。

そして、撮影方向出力部１０７は、撮影方向判定部１０６が決定した撮影方向を画像データ１４０に関する検出結果リスト１５０へ出力し（ステップＳ１０）、撮影方向判定処理を終了する。

以上述べたように、撮影方向判定装置は、移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、比較用画像データ群における、形状パターンマッチングの結果のスケールを比較した結果に基づいて、比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段と、を備える。

このように、撮影方向判定装置１は、比較用画像データ群の内、１つの画像データ１４０からテンプレート画像を抽出し、当該テンプレート画像を用いて、他方の画像データ１４０を形状マッチングし、当該形状マッチングした結果における、テンプレート画像とマッチング個所との大小関係より、上記画像データ１４０が車両の走行方向を撮影した画像データであるか否かを判断することができる。従って、撮影方向判定装置１は、２つの画像データ１４０を比較して撮影方向を判定しているので、画像データのオプティカルフローを算出して撮影方向を判定する場合に比して、効率良く撮影方向を判定することができる。

また、撮影方向判定装置１は、各比較用画像データ群の画像データ１４０について比較して判定した撮影方向の内、最も多い撮影方向を、最終的に画像データ１４０の撮影方向としている。これにより、撮影方向判定装置１は、一部の判定結果が誤りでも、全体として適切な判定を行うことができる。

上述の実施例では、撮影方向出力部１０７は、撮影方向判定部１０６が判定した結果を検出結果リスト１５０等のファイルへ出力する場合について述べたが、本発明は、これに限られず、例えば、画面表示等、他の種々の出力方法で撮影方向判定部１０６が判定した結果を出力しても良い。

上述の実施例では、比較用画像データ群決定部１０１が、撮影時刻１２３、及びカメラ情報１２６に基づいて比較を行う画像データ１４０を特定する場合について述べたが、本発明は、これに限られず、撮影方向判定装置１が同一のカメラで撮影された画像データ１４０のみ保持している場合は、比較用画像データ群決定部１０１は、撮影時刻１２３に基づいて画像データ１４０を抽出するようにしても良い。

上述の実施例では、カーブ判定部１０３がオプティカルフローを用いてカーブを検出する場合について述べたが、本発明は、これに限られず、カーブを検出できるデータであるジャイロデータ１２９を走行ログデータ１２１に含め、当該走行ログデータ１２１を参照することにより、カーブを検出するようにしても良い。

上述の実施例では、カーブ判定部１０３が、速度情報を参照して、カーブ走行中の画像データを推測する場合について述べたが、本発明は、これに限られず、オプティカルフローを用いて推測するようにしても良い。具体的には、カーブ判定部１０３は、オプティカルフローのベクトルの垂直方向移動量が閾値よりも大きい場合、当該画像データ１４０が走行中に撮影された画像データ１４０であると推定する。

上述の実施例では、テンプレート画像抽出部１０２は、１つのテンプレート画像のみ抽出し、当該テンプレート画像を用いて、形状パターンマッチング部１０４が、形状パターンマッチングを行う場合について述べたが、本発明は、これに限られず、テンプレート画像抽出部１０２が、複数のテンプレート画像を抽出し、形状パターンマッチング部１０４が上記複数のテンプレート画像を用いて、形状パターンマッチングを行い、比較用画像データ群撮影方向判定部１０５が、複数のテンプレート画像を用いて形状パターンマッチングした結果に基づいて比較用画像データ群の画像データ１４０の撮影方向を判断するようにしても良い。

これによれば、撮影方向判定装置１は、１つのテンプレート画像を用いて形状パターンマッチングを行った場合に比して、より正確な判定を行うことができる。図８に、複数のテンプレートを用いて形状パターンマッチングを行い、撮影方向を判定した場合の結果を示す。なお、画像データ１４０は、車両の後方を撮影しているものとする。

図８（ａ）は、１つのみのテンプレート領域１６１Ａのテンプレート画像を用いて形状パターンマッチングを行った場合の結果であり、図８（ｂ）は、３つのテンプレート領域１６１Ａ〜テンプレート領域１６１Ｃのテンプレート画像を用いて形状パターンマッチングを行った場合の結果であり、図８（ｃ）は、５つのテンプレート領域１６１Ａ〜テンプレート領域１６１Ｅのテンプレート画像を用いて形状パターンマッチングを行った場合の結果である。図示のように、テンプレート画像の数が増える毎に撮影方向の結果が正しい数が増えている。

上述の実施例では、テンプレート画像抽出部１０２が比較用画像データ群の内、１つの画像データ１４０から１つのテンプレート画像を抽出し、形状パターンマッチング部１０４が当該テンプレート画像を用いて他方の画像データ１４０に対して形状パターンマッチングを行った結果、テンプレート画像に合致する個所がない場合、テンプレート画像抽出部１０２が、既に抽出したテンプレート画像以外のテンプレート画像を抽出するようにしても良い。これによれば、撮影方向判定装置１は、比較用画像データ群の一方の画像データ１４０から抽出したテンプレート画像を用いて、他方の画像データ１４０に対して形状パターンマッチングを行った結果、「不明」と判定しても、他のテンプレート画像を再抽出し、当該再抽出したテンプレート画像を用いて、形状パターンマッチングをし、当該マッチング結果に基づいて撮影方向を判定すれば、適切な判定をできる可能性を向上させることができる。

図９を用いて、テンプレート画像抽出部１０２がテンプレート画像を再抽出する例を示す。まず、テンプレート画像抽出部１０２は、最もバランス良く拡大される、画像データ１４０の中心部分のテンプレート領域１６１Ａのテンプレート画像を抽出する。

そして、撮影方向判定装置１が上記テンプレート画像を用いて形状パターンマッチングを行った結果、「不明」と判定した場合、テンプレート画像抽出部１０２は、中心上側部分に比して、特徴個所が多い中心下側部分であるテンプレート領域１６１Ｂのテンプレート画像を再抽出する。

そして、撮影方向判定装置１が上記テンプレート領域１６１Ｂに対応するテンプレート画像を用いて形状パターンマッチングを行った結果、「不明」と判定した場合、テンプレート画像抽出部１０２は、画像データ１４０の中心上側部分であるテンプレート領域１６１Ｃのテンプレート画像を再抽出し、撮影方向判定装置１が上記テンプレート領域１６１Ｃのテンプレート画像を用いて形状パターンマッチングを行った結果、「不明」と判定した場合、最終的に「不明」と判断する。

このように、撮影方向装置１は、比較用画像データ群の画像データ１４０が形状パターンマッチングしやすいテンプレート領域１６１の順に、段階的にテンプレート画像を抽出し、当該テンプレート画像を用いて形状パターンマッチングを行えば、形状パターンマッチングのヒット率と、処理効率とのバランスの取れた撮影判定処理を実現できる。

上述の実施例では、撮影方向判定装置１が全ての比較用画像データ群の画像データ１４０について撮影方向を判定する場合について述べたが、本発明は、これに限られず、一部の比較用画像データ群についてのみ画像データ１４０の撮影方向を判定するようにしても良い。

撮影方向判定装置の概略構成を示すブロック図である。走行ログデータのデータ構造を示す図である。検出結果リストの構造を示す図である。撮影方向の判定方法を示す図である。比較用画像データ群の抽出方法を示す図である。撮影方向の判定する具体例を示す図である。撮影方向判定処理のフローチャートである。テンプレート画像を複数利用する形状パターンマッチングの例である。テンプレート画像を再抽出する形状パターンマッチングの例である。

符号の説明

１撮影方向判定装置
１０１比較用画像データ群決定部
１０２テンプレート画像抽出部
１０３カーブ判定部
１０４形状パターンマッチング部
１０５比較用画像データ群撮影方向判定部
１０６撮影方向判定部
１０７撮影方向出力部
１２０走行ログＤＢ
１４０画像データ
１５０検出結果リスト

Claims

移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、
撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、
前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、
前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、
前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、
前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、
前記比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、
前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段と、
を備えることを特徴とする撮影方向判定装置。
前記比較用画像データ群は、複数存在し、
前記比較用画像データ群決定手段は、所定の順序で前記比較用画像データ群の画像データの撮影方向を決定し、
前記撮影方向判定手段は、前記比較用画像データ群撮影方向判定手段が決定した撮影方向の内、最も多い撮影方向を画像データの撮影方向に決定することを特徴とする請求項１に記載の撮影方向判定装置。
前記テンプレート画像抽出手段は、複数のテンプレート画像を抽出し、
前記比較用画像データ群撮影方向判定手段は、複数のテンプレート画像を用いた前記形状パターンマッチング結果のスケール比較結果の内、最も多いスケール比較結果に基づいて撮影方向を決定することを特徴とする請求項１又は２に記載の撮影方向判定装置。
前記テンプレート画像抽出手段は、前記比較用画像データ群撮影方向判定手段が抽出済みのテンプレート画像を用いて撮影方向を決定できない場合、他のテンプレート画像を再抽出することを特徴とする請求項１又は２に記載の撮影方向判定装置。
カーブ走行中に撮影された画像データを検出するカーブ判定手段をさらに備え、
前記比較用画像データ群抽出手段は、前記カーブ走行中に撮影された画像データを含む比較用画像データ群の撮影方向判定順序を後回しにすることを特徴とする請求項２に記載の撮影方向判定装置。
移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持工程と、
撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持工程と、
前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定工程と、
前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出工程と、
前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング工程と、
前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定工程と、
前記比較用画像データ群撮影方向判定工程が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定工程と、
前記撮影方向判定工程が決定した結果を出力する撮影方向出力工程と、
を備えることを特徴とする撮影方向判定方法。
コンピュータを備える装置によって実行される撮影方向判定プログラムであって、
移動体に搭載された撮影カメラが撮影した画像データを保持する画像データ保持手段と、
撮影時刻と前記画像データとの関連を定義した撮影関連データを保持する撮影関連データ保持手段と、
前記撮影時刻に基づいて、複数の画像データから構成される比較用画像データ群を決定する比較用画像データ群決定手段と、
前記比較用画像データ群の画像データからテンプレート画像を抽出するテンプレート画像抽出手段と、
前記テンプレート画像を用いた形状パターンマッチングを行う形状パターンマッチング手段と、
前記比較用画像データ群における、前記形状パターンマッチングの結果のスケールを比較した結果に基づいて、前記比較用画像データ群の画像データの撮影方向を決定する比較用画像データ群撮影方向判定手段と、
前記比較用画像データ群撮影方向判定手段が決定した撮影方向に基づいて、画像データの撮影方向を決定する撮影方向判定手段と、
前記撮影方向判定手段が決定した結果を出力する撮影方向出力手段、として前記コンピュータを機能させることを特徴とする撮影方向判定プログラム。
請求項７に記載の撮影方向判定プログラムを記憶したことを特徴とする記憶媒体。