JP2010238008A - 映像特徴抽出装置、及びプログラム - Google Patents

Abstract

【課題】
案内ロボットのような自律的に移動する装置に対するランドマークの登録において、同一の物体に対応する重複したランドマークが登録されることが多い。
【解決手段】
動画データから時系列に切り出した画像データであるフレームそれぞれから画像の特徴点を抽出して記憶部に格納する抽出部と、前記特徴点を記憶部から読み出し、当該特徴点が、当該特徴点が切り出されたフレームの前後の所定の期間に含まれる全てのフレームそれぞれに含まれるという判定条件を満たすかを判定する判定部と、前記判定部において前記条件を満たすと判定された特徴点を登録テーブルに登録する登録部とを備える。
【選択図】図１

Description

本発明は映像特徴抽出技術に関する。

施設を案内する案内ロボットのような移動装置は、自己位置を認識しながら自律的に移動する。例えば案内ロボットは、カメラを備え、当該カメラから入力された映像に基づき、施設における自分の位置を認識し、目的の場所に移動する。案内ロボットが自分の位置を認識する技術としては、案内ロボットに所定の目印である「ランドマーク」を登録しておく方法が知られている。例えば、ロボットの移動経路に係る映像データに基づき、ドアの四隅のような映像中の特徴点（コーナーやエッジ）に係るパターン画像を抽出してランドマークとして登録しておき、当該パターン画像が撮像されるときのロボットの位置を示す情報と紐付けておく。これにより、ロボットに備え付けられたカメラから入力された映像に、前記ドアの四隅のパターン画像が含まれていれば、ロボットは当該パターン画像であるランドマークに紐付けられた情報に基づき、自分の位置を把握することができる。

登録するランドマークに係るパターン画像は、映像から切り出したフレーム画像に既存の画像処理技術（コーナー検出技術やエッジ検出技術）を適用することによって、ランドマークの候補である「仮ランドマーク」に係るパターン画像を機械的に抽出し、当該仮ランドマークの中から真にランドマークに適したものを選別することにより得るのが一般的である。従来技術として、仮ランドマークに係るパターン画像に対して、種々の評価値を算出し、当該評価値に基づいて適切性を評価することにより、登録するランドマークを選別する技術がある。たとえば、同一フレーム中の複数の仮ランドマークの類似度や、形状が変化するか等を評価し、仮ランドマークを選別する。
特開2006-172016号公報

仮ランドマークは、映像から切り出されたフレーム画像から機械的に抽出される。そのため、同一の物体が複数のフレームに写り込んでいる場合等、多くの重複した仮ランドマークが登録されうる。しかし、従来技術では、仮ランドマークをそれぞれ個別に評価しているため、仮ランドマークが十分に絞り込まれず、同一の物体に対応する重複したランドマークが登録されることも多い。そのため、登録されたランドマークが必ずしも精度良くマッチングできるものではないという問題がある。

開示の映像特徴登録装置は、動画データから時系列に切り出した画像データであるフレームそれぞれから画像の特徴点を抽出して記憶部に格納する抽出部と、前記特徴点を記憶部から読み出し、当該特徴点が、当該特徴点が切り出されたフレームの前後の所定の期間に含まれる全てのフレームそれぞれに含まれるという判定条件を満たすかを判定する判定部と、前記判定部において前記条件を満たすと判定された特徴点を登録テーブルに登録する登録部とを備えることを特徴とする。

ロボットの移動経路に係る映像データにおいて、同一物体は連続的に現れることが多いとともに、同一物体は時間的に離れたフレームでは現れにくい。このため、開示のランドマーク登録装置は、前記構成により、同一物体を示す仮ランドマークが１つのランドマークにまとめられる。そのため、精度良くマッチングできるランドマークを効果的に登録できるという効果を奏する。

以下では本発明の実施の形態を図面を参照して説明する。

図１に、本発明の実施形態に係るランドマーク登録装置の機能ブロック図を示す。ランドマーク登録装置１００は、映像受付部１０１、フレーム切出部１０２、仮ランドマーク抽出部１０３、時系列マッチング部１０４、ランドマーク登録部１０５、および、不図示の記憶部を備える。また、ランドマーク登録装置１００は、データとして、仮ランドマークテーブル１１２、ランドマークテーブル１１３、不図示のパラメータセットを備える。

映像受付部１０１は、ＭＰＥＧファイル等のデジタルな動画データである経路映像１１１の入力を受け付ける。フレーム切出部１０２は、前記受け付けた経路映像１１１から、一定時間毎に、画像データであるフレームを切り出す。仮ランドマーク抽出部１０３は、前記切り出したフレームそれぞれに対し、既存の画像処理技術（コーナー検出技術やエッジ検出技術）によって画像上の特徴点を検出することで、仮ランドマークを抽出し、仮ランドマークテーブル１１２に登録する。時系列マッチング部１０４は、前記抽出した仮ランドマーク間で、時系列なマッチング処理を行うことで、ランドマークテーブル１１３へ登録するランドマークを決定する。ランドマーク登録部１０５は、前記決定した正式なランドマークをランドマークテーブルに登録する。記憶部は後述する各種パラメータや変数、その他一時的な処理結果を格納する。

図２（ａ）に仮ランドマークテーブル１１２の例を示す。仮ランドマークテーブル１１２の各レコード（各行）は、個々の仮ランドマークに対応している。各レコードにおいては、仮ランドマークのパターン画像と当該仮ランドマークの撮影時刻とが対応付けられている。パターン画像は、仮ランドマークを含むフレームから切り出した、特徴点を含む所定領域画像に係る画像データであり、データの形式は問わないが例えばビットマップ形式を採用できる。パターン画像の大きさは、後述するパラメータにおいて予め設定する。撮影時刻は、経路映像中の仮ランドマークが実際に撮影された時刻ではなく、経路映像の開始時刻を０とした時の相対時刻である。

図２（ｂ）にランドマークテーブルの例を示す。ランドマークは、ランドマークのパターン画像を登録している。パターン画像は、仮ランドマークテーブル１１２に登録されているものと同じである。なお、背景技術の項で述べたとおり、実際のランドマークや仮ランドマークは、ランドマークや仮ランドマークと位置との対応関係を示すためのデータも備える必要がある。しかし、これらは本発明の内容に直接の関係は無いので、本稿においては説明を割愛する。

前記パラメータセットに含まれる各パラメータを説明する。パラメータセットはパラメータΔｔ、Ｌ、Ｔ１、Ｔ２、Ｔ３を備える。これらは事前に適切な値が設定され、記憶部に格納される。

Δｔは、フレーム間隔を設定するためのパラメータである。Δｔの単位は秒である。前記フレーム切出部１０２は、Δｔに基づき、経路映像からΔｔ秒間隔でフレームを切り出す。Ｌは、パターン画像のサイズを設定するためのパラメータである。Ｌの単位はピクセルである。図３は、Ｌに基づく仮ランドマーク抽出について説明する図である。まず、図３（ａ）に示すように、フレームに対し既存の画像処理技術（コーナー検出技術やエッジ検出技術）を適用することにより、特徴点を抽出する。そして、図３（ｂ）に示すように、前記特徴点の中心のピクセルから上下左右Ｌピクセルずつを切り取った、一辺の長さが２Ｌ＋１ピクセルの正方形の画像を切り出し、仮ランドマークに係るパターン画像とする。前記仮ランドマーク抽出部１０３は、このようにして、Ｌに基づき仮ランドマークを抽出する。

Ｔ₁、Ｔ₂、Ｔ₃は、時系列マッチングの期間を設定するためのパラメータである。図４に基づき、Ｔ₁、Ｔ₂、Ｔ₃について説明する。いま、処理の基準となる時刻である基準時刻をｔとする。Ｔ₁は、「近期間」を定めるためのパラメータである。近期間とは、基準時刻ｔから近い期間であって、同一のパターン画像が連続的に含まれている必要がある期間である。基準時刻ｔに対して、ｔ−Ｔ₁〜ｔ＋Ｔ₁を近期間とする。図５は、仮ランドマークのパターン画像がランドマークとして登録されるための一つ目の条件を説明する図である。仮ランドマークがランドマークテーブルに登録されるためには、近期間からΔｔ秒間隔で切り出した全てのフレームにおいて、「当該仮ランドマークのパターン画像にマッチングするパターン画像が１つだけフレームに含まれる」との要件を満たす必要がある。なお、図５で図示された仮ランドマークのパターン画像に対し、近期間で切り出されたフレームが全て、フレームＡのように、仮ランドマークのパターン画像に一致する画像パターンが１つだけ含まれる場合には、この要件を満たす。しかし、近期間で切り出されたフレームのいずれかが、フレームＢのような場合は、仮ランドマークのパターン画像にマッチングするパターン画像が含まれていないため、この要件を満たさない。また、同様にフレームＣは仮ランドマークのパターン画像にマッチングするパターン画像が２個含まれており、この要件を満たさない。なお、仮ランドマークのパターン画像がランドマークテーブル１１３に登録されるための前記一つ目の条件は、同一物体は連続的に現れることが多いこと、および、ランドマークの唯一性に基づくものである。

Ｔ₂およびＴ₃は、「遠期間」を定めるためのパラメータである。遠期間とは、基準時刻ｔから遠い期間であって、仮ランドマークのパターン画像が含まれない必要がある期間である。基準時刻ｔに対して、ｔ−Ｔ₃〜ｔ−Ｔ₂、および、ｔ＋Ｔ₂〜ｔ＋Ｔ₃をそれぞれ遠期間とする。図６は、仮ランドマークのパターン画像がランドマークテーブル１１３に登録されるための二つ目の条件を説明する図である。仮ランドマークがランドマークとして登録されるためには、遠期間からΔｔ秒間隔で切り出した全てのフレームにおいて、当該仮ランドマークのパターン画像がフレームに含まれない必要がある。なお、図６で図示された仮ランドマークに対し、遠期間でΔｔ秒間隔で切り出された全フレームが、フレームＤのような場合は、この要件を満たす。しかし、フレームＥ、Ｆは仮ランドマークのパターン画像にマッチングするパターン画像がそれぞれ含まれているため、この要件を満たさない。なお、仮ランドマークのパターン画像がランドマークテーブルに登録されるためのこの二つ目の条件は、ランドマークとされるべき特徴点は時間的に離れたフレームでは現れにくいことに基づくものである。

なお、前記２つの条件に加え、仮ランドマークのパターン画像がランドマークテーブルに登録されるためには三つ目のの条件を課す。仮ランドマークのパターン画像がランドマークテーブルに登録されるためには、マッチングするパターン画像が既にランドマークテーブルに登録されていない必要がある。この条件は、ランドマークの唯一性に基づくものである。

図７に、本発明の実施形態に係る映像特徴登録装置１００の全体の処理フローを示す。全体の流れとしては、映像特徴登録装置１００は、まず入力された映像からフレームを切り出して、各フレームに対して全ての仮ランドマークのパターン画像を抽出する（ステップＳ１０１〜１０３）。そして、映像特徴登録装置１００は、時刻ｔ＝０のフレームから順に一つずつ仮ランドマークを選択し、当該仮ランドマークのパターン画像が、ランドマークテーブル１１３に登録されるための前記三つの条件を満たすか順に判定する（ステップＳ１０４〜１１１）。もし当該三条件を全て満たすならば、映像特徴登録装置１００は、前記仮ランドマークをランドマークテーブル１１３に登録し（ステップＳ１１２）、一つでも満たさなければ、登録しない。映像特徴登録装置１００は、以上を全てのフレーム中の全ての仮ランドマークに対して行い、処理を終了する（ステップＳ１１３〜１１５）。

以下では図７の処理フローで示す処理の詳細を説明する。まず、映像受付部１０１が、デジタルな映像データである経路映像の入力を受け付ける（ステップＳ１０１）。次に、フレーム切出部１０２が、入力された経路映像に基づきフレームを切り出す（ステップＳ１０２）。これは以下のようにして行う。フレーム切出部１０２は、経路映像から最初のフレームを切り出して、時刻０と対応付けて記憶部に格納する。次に、前記最初のフレームからΔｔ秒後のフレームを切り出し、時刻△ｔと対応付けて記憶部に格納する。このように、前に切り出したフレームのΔｔ秒後のフレームを順に切り出し、撮影時刻と対応付けて記憶部に格納する。経路映像の全体の長さをＴ秒とすると、Ｔ／△ｔ枚のフレームが切り出されることになる。

次に仮ランドマーク抽出部１０３は、前記切出した各フレームから仮ランドマークのパターン画像を抽出する（ステップＳ１０３）。図３に基づき、仮ランドマークを抽出する処理について説明する。仮ランドマーク抽出部１０３は、フレームを１枚選択し、図３（ａ）に示すように、当該フレームから画像の特徴点（扉の角のように周辺に比べて画像の変化が大きくなっている点）を抽出する。特徴点が複数ある場合にはそれら全てを抽出する。ここで、仮ランドマーク抽出部１０３は、特徴点の抽出において、ハリス・オペレータ（Harris Operator）等のような、コーナー検出やエッジ検出に係る従来技術を用いることができる。そして、仮ランドマーク抽出部１０３は、図３（ｂ）に示すように、特徴点の周辺領域のパターン画像を切り取って仮ランドマークのパターン画像とする。ここで、特徴点の周辺領域とは、特徴点の中心のピクセルから上下左右それぞれ前記Ｌピクセルの範囲を言う。仮ランドマーク抽出部１０３は、前記切り取った仮ランドマークのパターン画像を、切り取られたフレームの撮影時刻と対応付けて、仮ランドマークテーブル１１２に格納する。

次に時系列マッチング部１０４は、変数ｔを０に設定する（ステップＳ１０４）。そして時系列マッチング部１０４は、時刻ｔである仮ランドマークを１つ選択し、処理対象仮ランドマークとする（ステップＳ１０５）。次に時系列マッチング部１０４は、前記選択した処理対象仮ランドマークのパターン画像に対し、近期間の仮ランドマークのパターン画像とのマッチングを行う（ステップＳ１０６）。

ここで、図８の処理フローに基づき、前記選択した処理対象仮ランドマークのパターン画像に対し、近期間の仮ランドマークのパターン画像とのマッチングを行う処理（ステップＳ１０６）の詳細について説明する。まず時系列マッチング部１０４は、前記時刻ｔに基づき、時刻を表わす変数ｓの値をｔとする（ステップＳ２０１）。次に時系列マッチング部１０４は、記憶部からＴ₁を読み出し、ｓ＜ｔ−Ｔ₁またはｓ＜０が成立するかを判定する（ステップＳ２０２）。もしｓ＜ｔ−Ｔ₁またはｓ＜０が成立する（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、ステップＳ２０７に進む。一方、ｓ＜ｔ−Ｔ₁もｓ＜０も成立しない（分岐のＮＯ）ならば、時系列マッチング部１０４は、時刻ｓの仮ランドマークマッチング処理を行う（ステップＳ２０３）。

ここで、図９の処理フローに基づき、前記時刻ｓの仮ランドマークマッチング処理の詳細について説明する。まず時系列マッチング部１０４は、マッチングされた仮ランドマークのパターン画像数を表わす変数ｍの値を０に設定する（ステップＳ３０１）。次に時系列マッチング部１０４は、仮ランドマークテーブル１１２において、時刻ｓに対応付けられた仮ランドマークのうちで未処理のものを１つ選択し、当該選択した仮ランドマークを比較対象仮ランドマークとする（ステップＳ３０２）。そして時系列マッチング部１０４は、前記処理対象仮ランドマークのパターン画像と前記マッチング対象仮ランドマークのパターン画像とを前記仮ランドマークテーブル１１２から読み出し、当該読み出した処理対象仮ランドマークのパターン画像と前記マッチング対象仮ランドマークのパターン画像とを比較する（ステップＳ３０３）。ここで時系列マッチング部１０４は、パターン画像同士の比較において、画像処理に係る既存技術であるテンプレートマッチングを用いることができる。すなわち、時系列マッチング部１０４は、前記処理対象仮ランドマークのパターン画像をテンプレートマッチングにおけるテンプレートとして扱い、前記マッチング対象仮ランドマークのパターン画像とテンプレートマッチングすることができる。なお、テンプレートマッチングには多くの方法があるが、ここではその種類は問わず、どんな方法を使ってもかまわない。

次に時系列マッチング部１０４は、前記パターン画像同士の比較において、マッチングが成功したかを判定する（ステップＳ３０４）。もしマッチングが成功である（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、マッチングされた仮ランドマーク数を表わす前記変数ｍの値に１を加え（ステップＳ３０５）、ステップＳ３０６に進む。一方、もしマッチングが失敗である（分岐のＮＯ）ならば、時系列マッチング部１０４は、そのままステップＳ３０６に進む。そして時系列マッチング部１０４は、時刻ｓに対応付けられた仮ランドマークで未処理のものが残っているかを判定する（ステップＳ３０６）。もし残っていれば（分岐のＹＥＳ）、時系列マッチング部１０４は、ステップ３０２に戻り処理を繰り返す。一方もし残っていなければ（分岐のＮＯ）、時系列マッチング部１０４は、マッチングされた仮ランドマーク数を表わす前記変数ｍの値を記憶部に格納し（ステップ３０７）、処理を終える。

図８の処理の説明に戻って、時系列マッチング部１０４は、マッチングされた仮ランドマーク数を表わす前記変数ｍを記憶部から読み出し、ｍ＝１であるかを判定する（ステップＳ２０４）。もしｍ＝１である（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、時刻を表わす前記変数ｓの値からΔｔを引いた値を新たなｓとする（ステップＳ２０５）。そして、時系列マッチング部１０４は、ステップＳ２０２に戻って処理を繰り返す。一方、ステップＳ２０４においてｍ＝１でない（分岐のＮＯ）ならば、時系列マッチング部１０４は、マッチング結果を表わすブール変数ｉｓＭａｔｃｈにｆａｌｓｅを格納し（ステップＳ２０６）、処理を終了する。

ステップＳ２０２においてｓ＜ｔ−Ｔ₁またはｓ＜０が成立する（分岐のＹＥＳ）場合、時系列マッチング部１０４は、時刻ｓの値をｔ＋Δｔに設定する（ステップＳ２０７）。次に時系列マッチング部１０４は、ｓ＞ｔ＋Ｔ₁またはｓ＞Ｔが成立するかを判定する（ステップＳ２０８）。ここでＴは、前述の通り、経路映像の全体の長さ（単位は秒）である。もしｓ＞ｔ＋Ｔ₁またはｓ＞Ｔが成立する（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、マッチング結果を表わすブール変数ｉｓＭａｔｃｈにｔｒｕｅを格納し（ステップＳ２１２）、処理を終了する。一方、ｓ＞ｔ＋Ｔ₁およびｓ＞Ｔが成立しない（分岐のＮＯ）ならば、時系列マッチング部１０４は、時刻ｓの仮ランドマークマッチング処理を行う（ステップＳ２０９）。ステップＳ２０９の処理は、先述した図９の処理フローに基づいて行えばよく、これによりマッチングされた仮ランドマーク数を表わす前記変数ｍが記憶部に格納される。

次に時系列マッチング部１０４は、マッチングされた仮ランドマークのパターン画像数を表わす前記変数ｍを記憶部から読み出し、ｍ＝１であるかを判定する（ステップＳ２１０）。もしｍ＝１である（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、時刻を表わす前記変数ｓの値にΔｔを加えた値を新たなｓとする（ステップＳ２１１）。そして、時系列マッチング部１０４は、ステップＳ２０８に戻って処理を繰り返す。一方、ステップＳ２１０においてｍ＝１でない（分岐のＮＯ）ならば、時系列マッチング部１０４は、マッチング結果を表わすブール変数ｉｓＭａｔｃｈにｆａｌｓｅを格納し（ステップＳ２０６）、処理を終了する。

図７の処理の説明に戻って、時系列マッチング部１０４は、マッチング結果を表わす前記ブール変数ｉｓＭａｔｃｈを記憶部から読み出し、その値がｔｒｕｅであるかを判定する（ステップＳ１０７）。もしｉｓＭａｔｃｈがｆａｌｓｅである（分岐のＮＯ）ならば、時系列マッチング部１０４は、ステップＳ１１３に進む。一方、ｉｓＭａｔｃｈがｔｒｕｅである（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、前記選択した処理対象仮ランドマークのパターン画像に対し、遠期間の仮ランドマークのパターン画像とのマッチングを行う（ステップＳ１０８）。

ここで、図１０の処理フローに基づき、前記選択した処理対象仮ランドマークのパターン画像に対し遠期間の仮ランドマークのパターン画像とのマッチングを行う処理の詳細について説明する。まず時系列マッチング部１０４は、記憶部からＴ₂を読み出し、前記時刻ｔに基づき、時刻を表わす変数ｓの値をｔ−Ｔ₂とする（ステップＳ４０１）。次に時系列マッチング部１０４は、記憶部からＴ₃を読み出し、ｓ＜ｔ−Ｔ₃またはｓ＜０が成立するかを判定する（ステップＳ４０２）。もしｓ＜ｔ−Ｔ₃またはｓ＜０が成立する（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、ステップＳ４０７に進む。一方、ｓ＜ｔ−Ｔ₃およびｓ＜０が成立しない（分岐のＮＯ）ならば、時系列マッチング部１０４は、時刻ｓの仮ランドマークマッチング処理を行う（ステップＳ４０３）。ステップＳ４０３の処理は、先述した図９の処理フローに基づいて行えばよく、これによりマッチングされた仮ランドマークのパターン画像数を表わす前記変数ｍが記憶部に格納される。

次に時系列マッチング部１０４は、マッチングされた仮ランドマーのパターン画像ク数を表わす前記変数ｍを記憶部から読み出し、ｍ＝０であるかを判定する（ステップＳ４０４）。もしｍ＝０である（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、時刻を表わす前記変数ｓの値からΔｔを引いた値を新たなｓとする（ステップＳ４０５）。そして、時系列マッチング部１０４は、ステップＳ４０２に戻って処理を繰り返す。一方、ステップＳ４０４においてｍ＝０でない（分岐のＮＯ）ならば、時系列マッチング部１０４は、マッチング結果を表わすブール変数ｉｓＭａｔｃｈにｆａｌｓｅを格納し（ステップＳ４０６）、処理を終了する。

ステップＳ４０２においてｓ＜ｔ−Ｔ₃またはｓ＜０が成立する（分岐のＹＥＳ）場合、時系列マッチング部１０４は、時刻ｓの値をｔ＋Ｔ₂に設定する（ステップＳ４０７）。次に時系列マッチング部１０４は、ｓ＞ｔ＋Ｔ₃またはｓ＞Ｔが成立するかを判定する（ステップＳ４０８）。もしｓ＞ｔ＋Ｔ₃またはｓ＞Ｔが成立する（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、マッチング結果を表わすブール変数ｉｓＭａｔｃｈにｔｒｕｅを格納し（ステップＳ４１２）、処理を終了する。一方、ｓ＞ｔ＋Ｔ₃およびｓ＞Ｔが成立しない（分岐のＮＯ）ならば、時系列マッチング部１０４は、時刻ｓの仮ランドマークマッチング処理を行う（ステップＳ４０９）。ステップＳ４０９の処理は、先述した図９の処理フローに基づいて行えばよく、これによりマッチングされた仮ランドマークのパターン画像数を表わす前記変数ｍが記憶部に格納される。

次に時系列マッチング部１０４は、マッチングされた仮ランドマークのパターン画像数を表わす前記変数ｍを記憶部から読み出し、ｍ＝０であるかを判定する（ステップＳ４１０）。もしｍ＝０である（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、時刻を表わす前記変数ｓの値にΔｔを加えた値を新たなｓとする（ステップＳ４１１）。そして、時系列マッチング部１０４は、ステップＳ４０８に戻って処理を繰り返す。一方、ステップＳ４１０においてｍ＝０でない（分岐のＮＯ）ならば、時系列マッチング部１０４は、マッチング結果を表わすブール変数ｉｓＭａｔｃｈにｆａｌｓｅを格納し（ステップＳ４０６）、処理を終了する。

図７の処理の説明に戻って、時系列マッチング部１０４は、マッチング結果を表わす前記ブール変数ｉｓＭａｔｃｈを記憶部から読み出し、その値がｔｒｕｅであるかを判定する（ステップＳ１０９）。もしｉｓＭａｔｃｈがｆａｌｓｅである（分岐のＮＯ）ならば、時系列マッチング部１０４は、ステップＳ１１３に進む。一方、ｉｓＭａｔｃｈがｔｒｕｅである（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、前記選択した処理対象仮ランドマークに対し、ランドマークテーブル１１３の検索を行う（ステップＳ１１０）。この検索は、処理対象仮ランドマークのパターン画像をキーとして、ランドマークテーブル１１３に登録された正式なランドマークのパターン画像に対し、パターン画像がマッチングするものを検索する。

そして時系列マッチング部１０４は、ステップＳ１１０の検索結果に基づき、前記選択した処理対象仮ランドマークのパターン画像にマッチングするランドマークのパターン画像が登録されていないか（未登録か）を判定する（ステップＳ１１１）。もしマッチングするランドマークのパターン画像が登録されていた（分岐のＮＯ）ならば、時系列マッチング部１０４は、ステップＳ１１３に進む。一方、マッチングするランドマークのパターン画像が登録されていなかった（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、前記処理対象仮ランドマークのパターン画像を、正式なランドマークのパターン画像として、ランドマークテーブル１１３に登録する（ステップＳ１１２）。

次に時系列マッチング部１０４は、仮ランドマークテーブル１１２において、時刻ｔに対応付けられた仮ランドマークで未処理のものが残っているかを判定する（ステップＳ１１３）。もし残っていれば（分岐のＹＥＳ）、時系列マッチング部１０４は、ステップ１０５に戻り処理を繰り返す。一方もし残っていなければ（分岐のＮＯ）、時系列マッチング部１０４は、時刻ｔにΔｔを加えた値を新たなｔとする（ステップＳ１１４）。そして時系列マッチング部１０４は、ｔ≧Ｔが成立するかを判定する（ステップＳ１１５）。ここでＴは、前述の通り、経路映像の全体の長さ（単位は秒）である。もしｔ＜Ｔである（分岐のＮＯ）ならば、時系列マッチング部１０４は、ステップ１０５に戻り処理を繰り返す。一方、ｔ≧Ｔである（分岐のＹＥＳ）ならば、時系列マッチング部１０４は、処理を終了する。

以上のように、本発明の実施形態に係る映像特徴登録装置によれば、仮ランドマークのパターン画像を時系列にマッチングすることで、精度良くマッチングできるランドマークのみを効果的に登録できるという効果を奏する。

以上、本発明に係るランドマーク登録装置の実施形態について説明したが、本発明は上記実施形態に限るものではなく、その技術的思想の範囲内で種々の設計変更が可能である。

たとえば、映像特徴登録装置を店舗案内ロボットのような移動体に組み込むことができる。係る実施形態においては、本発明が特に効果的となる。何故なら、係るロボットは低速（人間の徒歩の速度程度）且つほぼ等速で走行するため、係るロボットに取り付けたカメラにより撮影された映像データは確実に対象物体が写り込んでいると考えられる。そのため、高精度でマッチングできるランドマークが得られる蓋然性が高いと考えられるためである。

以上、本発明の実施形態によるランドマーク登録装置の構成を説明したが、これは図１１に示すようなコンピュータ上で動作するプログラムによっても実現することができる。

本願発明に係るプログラムを実行するコンピュータのハードウェア構成の例を図１１に示す。コンピュータ１０のハードウェア構成として、例えば、Central Processing Unit（CPU）１１、主記憶１２、補助記憶装置１３、出力インタフェース１４、入力インタフェース１５、通信インタフェース１６がバス１７で接続されている。

CPU１１は後述する主記憶１２に格納されたプログラムを実行する。主記憶１２としては、通常はRandom Access Memory（RAM）が用いられ、後述する補助記憶装置１３から実行するプログラムや使用するデータを読み込んで一時的に格納する。補助記憶装置１３としては、通常はHard Disk Drive（HDD）が用いられ、プログラムやデータを格納してファイルとして保存する。なお、補助記憶装置１３としては、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の外部記憶媒体を用いることもできる。

出力インタフェース１４には出力装置の一つとして表示装置であるモニタ１８が接続される。プログラムの実行結果などがモニタに出力され表示される。入力インタフェース１５には入力装置としてキーボード１９やマウス２０が接続され、これら入力装置からデータが入力される。通信インタフェース１６はネットワーク２１に接続される。コンピュータはネットワークを介して他のコンピュータとデータをやり取りする。

上記ハードウェア構成を、図１の機能ブロックと対応付けると以下のようになる。コンピュータをランドマーク登録装置１００として機能させるためのプログラム（映像受付部１０１、フレーム切出部１０２、仮ランドマーク抽出部１０３、時系列マッチング部１０４、ランドマーク登録部１０５）、及びデータ（不図示のパラメータセット）を予め補助記憶装置１３に格納させておく。プログラムが起動されると、当該プログラムおよびデータはまず主記憶１２に読み込まれ、その後主記憶１２とCPU１１とが連携することでプログラムが実行される。仮ランドマークテーブル１１２およびランドマークテーブル１１３は主記憶１２に設けても、必要に応じて補助記憶装置１３に退避させてもよい。また、不図示の記憶部は、主記憶に設けられる。

本発明の実施形態に係る機能ブロック図である。 本発明の実施形態に係る（ａ）仮ランドマークテーブル及びランドマークテーブル（ｂ）を示した図である。 仮ランドマークの抽出について説明した図である。 近期間及び遠期間について説明した図である。 近期間において仮ランドマークが満たすべき条件について説明した図である。 遠期間において仮ランドマークが満たすべき条件について説明した図である。 本発明の実施形態に係る全体の処理手順を示したフローチャートである。 近期間マッチングの処理手順を示したフローチャートである。 時刻ｓのマッチングの処理手順を示したフローチャートである。 遠期間マッチングの処理手順を示したフローチャートである。 コンピュータのハードウェア構成を示した図である。

１０ コンピュータ
１１ CPU
１２ 主記憶
１３ 補助記憶装置
１４ 出力インタフェース
１５ 入力インタフェース
１６ 通信インタフェース
１７ バス
１８ モニタ
１９ キーボード
２０ マウス
２１ ネットワーク
１００ ランドマーク登録装置
１０１ 映像受付部
１０２ フレーム切出部
１０３ 仮ランドマーク抽出部
１０４ 時系列マッチング部
１０５ ランドマーク登録部
１１１ 経路映像
１１２ 仮ランドマークテーブル
１１３ ランドマークテーブル

Claims (5)

1. 動画データから時系列に切り出した画像データであるフレームそれぞれから画像の特徴点を抽出して記憶部に格納する抽出部と、
   前記特徴点を記憶部から読み出し、当該特徴点が、当該特徴点が切り出されたフレームの前後の所定の期間に含まれる全てのフレームそれぞれに含まれるという判定条件を満たすかを判定する判定部と、
   前記判定部において前記条件を満たすと判定された特徴点を登録テーブルに登録する登録部と
   を備えることを特徴とする映像特徴登録装置。
2. 前記判定条件は、前記読み出した特徴点が、前記所定の期間に含まれる全てのフレームそれぞれに１箇所ずつ含まれることをさらに備える
   ことを特徴とする映像特徴登録装置。
3. 前記判定条件は、前記読み出した特徴点が、当該特徴点が切り出されたフレームと所定の時刻だけ離れたフレームにおいて含まれないことをさらに備える
   ことを特徴とする映像特徴登録装置。
4. 前記判定条件は、前記読み出した特徴点が、前記登録テーブルに登録されていないことをさらに備える
   ことを特徴とする映像特徴登録装置。
5. コンピュータに、
   動画データから時系列に切り出した画像データであるフレームそれぞれから画像の特徴点を抽出して記憶部に格納する抽出ステップと、
   前記特徴点を記憶部から読み出し、当該特徴点が、当該特徴点が切り出されたフレームの前後の所定の期間である近期間に含まれる全てのフレームそれぞれに含まれるという判定条件を満たすかを判定する判定ステップと、
   前記判定部において前記条件を満たすと判定された特徴点を登録テーブルに登録する登録ステップと
   を実行させることを特徴とする映像特徴登録プログラム。
   
   

Images