JP2018073134A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】複数の車両に設置された車載カメラが撮像した映像の撮像時刻を合わせる技術を提供する。【解決手段】画像取得部５１は、車載カメラを搭載した複数の車両がそれぞれ撮像した複数の動画像を取得。情報受付部５２は、検索対象車両に関する車両情報の入力を受け付ける。特定画像抽出部５３は、複数の動画像のうち、撮像データ中に車両情報を含む動画像である特定動画像を、少なくとも２つ抽出する。重複画像抽出部５４は、特定動画像のうち、車両情報が含まれる時間帯が少なくとも一部において重複する特定動画像の組み合わせを取得する。時刻補正部５５は、組み合わせを構成する特定動画像それぞれの撮像時間帯に基づいて撮像時刻を補正する。【選択図】図２

Description

本発明は、情報処理装置及びプログラムに関する。

従来、道路を走行する車両を撮像し、交通状況を監視したり特定の車両を検出したりする技術が提案されている。例えば特許文献１には、複数の自動車にテレビカメラと、該テレビカメラの画像から対向車あるいは先行車の車番を認識するための画像処理を行う車と、登録された特定車番と複数の自動車から送られてくる車番認識データとをサーチにより照合して、一致する車番認識データがある場合には、その時刻、絶対位置座標を用いて、特定車番の自動車の走行経路を追跡する技術が開示されている。

特開平８−３０８９２号公報

しかし、複数の車両に設置された車載カメラが撮像した映像の撮像時刻が必ずしもいつも正しい情報であるという保証はない。そのため、異なる撮像装置で撮像された動画像の撮像時刻を合わせる技術が望まれている。

本発明はこれらの点に鑑みてなされたものであり、複数の車両に設置された車載カメラが撮像した映像の撮像時刻を合わせる技術を提供することを目的とする。

本発明の第１の態様は、情報処理装置である。この装置は、車載カメラを搭載した複数の車両がそれぞれ撮像した複数の動画像を取得する画像取得部と、検索対象車両に関する車両情報の入力を受け付ける情報受付部と、前記複数の動画像のうち、撮像データ中に前記車両情報を含む動画像である特定動画像を、少なくとも２つ抽出する特定画像抽出部と、前記特定動画像のうち、前記車両情報が含まれる時間帯が少なくとも一部において重複する特定動画像の組み合わせを取得する重複画像抽出部と、前記組み合わせを構成する特定動画像それぞれの撮像時間帯に基づいて撮像時刻を補正する時刻補正部と、を備える。

前記情報処理装置は、前記組み合わせを構成する特定動画像を解析することにより、動画像が類似するか否かを判定する類否判定部をさらに備えてもよく、前記時刻補正部は、類似する動画像の撮像時刻に基づいて、各動画像の撮像時刻を補正してもよい。

前記情報処理装置は、前記特定動画像の中から所定のパターンを抽出するパターン抽出部をさらに備えてもよく、前記類否判定部は、各特定動画像の中に存在する前記所定のパターンの組み合わせに基づいて、前記動画像が類似するか否かを判定してもよい。

前記情報受付部は、前記車両情報として少なくとも自動車登録番号を受け付けてもよく、前記パターン抽出部は、前記特定動画像の中から所定の構造物及び自動車登録番号の文字列を抽出してもよい。

前記情報処理装置は、前記組み合わせを構成する特定動画像のうち、撮像時間帯の正確性が保証されている基準動画像を抽出する基準画像抽出部をさらに備えてもよく、前記時刻補正部は、前記基準動画像の時刻情報を用いて、他の特定動画像の時刻を補正してもよい。

前記基準画像抽出部は、ＧＰＳ（Global Positioning System）情報が付帯している特定動画像を、前記基準動画像として抽出してもよい。

本発明の第２の態様は、プログラムである。このプログラムは、コンピュータに、車載カメラを搭載した複数の車両がそれぞれ撮像した複数の動画像を取得する機能と、検索対象車両に関する車両情報の入力を受け付ける機能と、前記複数の動画像のうち、撮像データ中に前記車両情報を含む動画像である特定動画像を、少なくとも２つ抽出する機能と、前記特定動画像のうち、前記車両情報が含まれる時間帯が少なくとも一部において重複する特定動画像の組み合わせを取得する機能と、前記組み合わせを構成する特定動画像それぞれの撮像時間帯に基づいて撮像時刻を補正する機能と、を実現させる。

本発明によれば、複数の車両に設置された車載カメラが撮像した映像の撮像時刻を合わせる技術を提供することができる。

第１の実施の形態に係る情報処理システムの概要を説明するための図である。 第１の実施の形態に係る情報処理装置の機能構成を模式的に示す図である。 第１の実施の形態に係る通信部が格納する動画像データベースのデータ構造を模式的に示す図である。 重複画像抽出部が取得した各特定動画像の車両情報含有時間帯の一例を模式的に示す図である。 動画像のフレームの一例を模式的に示す図である。 第１の実施の形態に係る類比判定部が類似すると判定したフレームの撮像時刻を示す図である。 第１の実施の形態に係る情報処理装置が実行する情報処理の流れを説明するためのフローチャートである。 第２の実施の形態に係る情報処理装置の機能構成を模式的に示す図である。 第２の実施の形態に係る情報処理装置が実行する情報処理の流れを説明するためのフローチャートである。

＜第１の実施の形態＞
本発明の第１の実施の形態の概要を述べる。
図１は、第１の実施の形態に係る情報処理システムＳの概要を説明するための図である。情報処理システムＳは道路を走行する複数の車両Ｖに搭載された車載カメラが撮像した動画像を収集してその映像を解析することにより、検索対象の車両に関する情報を抽出する。この情報抽出を実行する情報処理装置１は、情報解析センター２内に設置されている。図１には第１車両Ｖ１から第９車両Ｖ９までの９台の車両Ｖが記載されているが、情報処理システムＳが解析の対象とする動画像を撮像する車両Ｖは８台以下でも１０台以上であってもよい。

車両Ｖに搭載された車載カメラが撮像した動画像は、いわゆる「ドライブレコーダ」の動画像である。情報処理装置１は、例えば各車両Ｖの運転者から匿名等を条件に任意で提供を受けることにより、動画像を収集する。以下、車載カメラが撮像した動画像を単に「動画像」と記載する。

図１において、符号Ａで示す破線は第１車両Ｖ１の車載カメラの画角を示す。図１に示す例では、第１車両Ｖ１の動画像には、先行車である車両Ｖ３の映像、対向車である車両Ｖ４及び車両Ｖ６の映像、構造物３の映像が含まれる。ここで構造物３が特徴的な構造物であり一意に特定できるような場合には、そのような構造物３の映像が含まれる動画像が撮像された位置を特定するための有用な手がかりとなる。

また、例えば第８車両Ｖ８の動画像には、先行車である第７車両Ｖ７の映像の他、案内標識４の映像や信号機５の映像が含まれる。異なる案内標識４にはそれぞれ異なる地名や道路名が表示されているため、動画像に案内標識４の映像が含まれている場合、その動画像が撮像された位置を特定することができる。さらに信号機５の中には交差点名等が記載された標識を備えるものも存在する。そのような信号機５の映像が動画像に含まれている場合も、その動画像が撮像された位置を特定するための有用な手がかりとなる。

さらに、道路によっては自動車ナンバー読取装置６（いわゆる「Ｎシステム」）が設置されていることがある。自動車ナンバー読取装置６は特定の場所にのみ設置されているため、動画像に自動車ナンバー読取装置６の映像が含まれている場合、その動画像が撮像された位置を特定するための有用な手がかりとなる。また自動車ナンバー読取装置６が車両Ｖの自動車登録番号（いわゆる「ナンバー」）を取得している場合には、その情報に基づいて車両Ｖが何時、何処を走行しているかを特定することができる。

近年のドライブレコーダの中には、ＧＰＳ（Global Positioning System）をはじめとする衛星測位システム７と連動することができるものも存在する。このようなドライブレコーダの動画像は、撮像された場所及び時間に関する正確な情報が付帯されている。

一方で、衛星測位システム７と連動していないドライブレコーダの動画像は、撮像された時間の精度が保証された映像とは必ずしも言えない。なぜなら、ドライブレコーダの内部時計を正確に合わせるユーザもいれば、初期設定のまま不正確な時刻のままドライブレコーダを使用するユーザもいるからである。また、ドライブレコーダの使用開始時に時計を合わせたとしても、その後の時刻のずれまでは修正しないで使用するユーザもいるであろう。

さらに、動画像に構造物３、案内標識４、又は信号機５のような特徴的なランドマークが含まれていない場合には、その動画像が撮像された場所を特定することが困難となる場合がある。

このように、情報処理装置１が提供を受けて蓄積する動画像は、付帯されている撮像時間帯及び撮像場所の情報の正確性が高いもの、撮像時間帯の正確性は高いが撮影場所は不確かであるもの、撮影場所の正確性は高いが撮影時間帯に信頼性が欠けるもの、及び撮像時間帯の信頼性が低くかつ撮影場所が不明なもの等が混在しうる。

第１の実施の形態に係る情報処理装置１は、検索対象車両に関する車両情報が含まれる動画像群をまず抽出する。ここで車両情報とは、「検索対象車両の自動車登録番号の全部又は一部」、又は「車種や色等の外観情報」のうち少なくともいずれか一方に関する情報である。

情報処理装置１は、抽出した動画像群に付帯されている情報を利用して、各動画像の時刻情報を修正してその精度を向上させる。これにより、情報処理装置１は、検索対象車両の走行経路及び走行時間に関する情報の精度を向上することができる。
以下、第１の実施の形態に係る情報処理装置１についてより詳細に説明する。

図２は、第１の実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。情報処理装置１は、通信部１０、記憶部２０、入力部３０、出力部４０、及び制御部５０を備える。

通信部１０はインターネット等の情報処理装置１の外部のネットワークと通信するための通信モジュールである。記憶部２０はＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置、及びＤＲＡＭ（Dynamic Random Access Memory）等の高速な揮発性メモリであり、情報処理装置１の記憶装置及び作業メモリとして機能する。

入力部３０は、キーボードやポインティングデバイス等を介して情報処理装置１のユーザからの入力を受け付ける入力用ユーザインタフェースである。また出力部４０は、ディスプレイ等を介して情報処理装置１のユーザに情報を提供する出力用ユーザインタフェースである。

制御部５０は情報処理装置１のＣＰＵ（Central Processing Unit）であり、記憶部２０に格納されたプログラムをメモリに読み出して実行することにより、画像取得部５１、情報受付部５２、特定画像抽出部５３、重複画像抽出部５４、時刻補正部５５、パターン抽出部５６、類比判定部５７、及び基準画像抽出部５８として機能する。

画像取得部５１は、車載カメラを搭載した複数の車両Ｖがそれぞれ撮像した複数の動画像を、通信部１０を介して取得する。画像取得部５１は、取得した動画像を記憶部２０に格納する。情報受付部５２は、検索対象車両に関する車両情報の入力をユーザから受け付ける。

特定画像抽出部５３は、記憶部２０に格納されている複数の動画像のうち、撮像データ中に車両情報を含む動画像である特定動画像を、少なくとも２つ抽出する。例えば情報受付部５２がユーザから受け付けた車両情報が特定の自動車登録番号である場合、特定画像抽出部５３は、記憶部２０に格納されている複数の動画像のうち、ナンバープレートにその自動車登録番号が記載された車両が撮像されている動画像を特定動画像として抽出する。

別の例として、情報受付部５２がユーザから受け付けた車両情報が車の車種及び色（例えばＸ社製の赤いセダン）である場合、特定画像抽出部５３は、記憶部２０に格納されている複数の動画像のうち、車両情報で特定される車種及び色の車両が撮像されている動画像を特定動画像として抽出する。なお、特定画像抽出部５３は、例えば文字列検索やパターンマッチング等の既知の画像処理技術を用いて実現できる。

特定画像抽出部５３は、動画像中に車両情報が含まれることを基準として動画像を抽出するが、動画像の撮像時間帯は考慮しない。このため、特定画像抽出部５３が抽出した動画像の撮像時間帯に大きなギャップがあることも起こりうる。検索対象車両の走行経路及び走行時間に関する情報を取得するという観点から見ると、撮像時間帯に大きなギャップがある動画像ほど有用性が低下する。

そこで重複画像抽出部５４は、特定画像抽出部５３が抽出した特定動画像のうち、車両情報が含まれる時間帯が少なくとも一部において重複する特定動画像の組み合わせを取得する。

図３は、第１の実施の形態に係る通信部１０が格納する動画像データベースのデータ構造を模式的に示す図である。画像取得部５１は、取得した動画像のそれぞれを一意に特定するための動画像ＩＤ（Identification）を各動画像に割り当てる。図３に示す動画像データベースの例では、動画像ＩＤとしてＭ０００００１が割り当てられた動画像に関する情報が格納されている。

動画像データベースは複数のデータフィールドを備えており、動画像の「撮影時間帯」を格納するデータフィールドも存在する。図３には、動画像ＩＤがＭ０００００１で特定される動画像は、２０１６年１月２３日午前４時５６分１２秒から同日の午後９時９分５４秒まで撮影されたことが格納されている。また動画像データベースには動画像中に車両情報が含まれている時間帯を示す車両情報含有時間帯データフィールドも含まれる。図３には、動画像ＩＤがＭ０００００１で特定される動画像は、２０１６年１月２３日午後１２時３４分５６秒から同日の午後１３時６分２３秒まで車両情報が含まれていることを示している。
なお、その他のデータフィールドに格納されるデータについては後述する。

重複画像抽出部５４は、特定画像抽出部５３が抽出した特定動画像それぞれの動画像ＩＤに基づいて動画像データベースを参照することにより、各特定動画像において車両情報が含まれる時間帯を取得する。

図４は、重複画像抽出部５４が取得した各特定動画像の車両情報含有時間帯の一例を模式的に示す図である。図４は、特定画像抽出部５３が動画像ＩＤとしてそれぞれＭ００００１、Ｍ０００１１、Ｍ０００６７、Ｍ００２４８、Ｍ００７６０、及びＭ０１２３４で特定される動画像群を抽出した場合の例を示している。

図４において横軸は時刻を示す。また太い実線は動画像中に車両情報が含まれている時間帯を示す。図４に示す例では、動画像ＩＤがＭ０１２３４で特定される動画像は、車両情報が含まれている時間帯が他の動画像と重複していない。これは、Ｍ０１２３４で特定される動画像が、他の動画像とは全く異なる日時に撮像されたか、あるいはＭ０１２３４で特定される動画像を生成した車載カメラの内部時計の時刻が不正確であったかのいずれかの場合が考えられる。

そこで重複画像抽出部５４は、特定画像抽出部５３が抽出した動画像のうち、動画像ＩＤがＭ０１２３４で特定される動画像を除いて、それぞれＭ００００１、Ｍ０００１１、Ｍ０００６７、Ｍ００２４８、及びＭ００７６０で特定される特定動画像の組み合わせを取得する。

図５は、動画像のフレームの一例を模式的に示す図である。動画像は車載カメラが撮像した映像であるため、車載カメラを搭載する車両Ｖ自体は含まれない。図５に示す動画像の例では、先行車として第１０車両Ｖ１０及び第１１車両Ｖ１１が撮像されており、対向車として第１２車両Ｖ１２と第１３車両Ｖ１３とが撮像されている。

ここで、検索対象車両が第１１車両Ｖ１１であると仮定する。この場合、図５に示す動画像を撮像した車載カメラを搭載する車両Ｖは第１１車両Ｖ１１と同じ車線を走行するため、動画像中に検索対象画像を含む時間は長くなる。これに対し、検索対象車両が第１２車両Ｖ１２であると仮定する。この場合、図５に示す動画像を撮像した車載カメラを搭載する車両Ｖは第１２車両Ｖ１２の対向車線を走行するため、動画像中に検索対象車両が映る時間はすれ違い時の短時間だけである。

例えば図４に示す例において、動画像ＩＤがＭ００２４８で特定される動画像には、他の動画像と比べて、車両情報が含まれる時間が短い。これは、Ｍ００２４８で特定される動画像を撮像した車載カメラを搭載した車両が、検索対象車両の対向車であったことを示唆している。

時刻補正部５５は、組み合わせを構成する特定動画像それぞれの撮像時間帯に基づいて撮像時刻を補正する。より具体的には、まずパターン抽出部５６は、特定動画像の各フレームの中から所定のパターンを抽出する。パターン抽出部５６が特定動画像から抽出するパターンは、上述した車両情報の他、他の車両Ｖの情報、案内標識４や信号機５等の特定の構造物である。パターン抽出部５６はさらに、特定動画像から車両情報を含む広域のパターンも抽出する。

例えば図５に示す例において、第１０車両Ｖ１０が検索対象車両であるとする。このときパターン抽出部５６は、第１０車両Ｖ１０及び先行車両や対向車両、遠方の山の形状等の風景、第１０車両Ｖ１０が走行する道路の曲がり具合等をパターンとして抽出する。

類比判定部５７は、各特定動画像の中に存在する所定のパターンの組み合わせに基づいて、特定画像抽出部５３が特定した組み合わせを構成する特定動画像を解析することにより、動画像が類似するか否かを判定する。すなわち、類比判定部５７は、各特定動画像の中に存在する所定のパターンの組み合わせに基づいて、動画像が類似するか否かを判定する。

例えばパターン抽出部５６が、ある特定動画像において、検索対象車両と他の車両Ｖとが、山岳地帯を背景として撮像されているフレームを抽出したとする。さらにパターン抽出部５６が、別の特定動画像中に、同様の山岳地帯を背景として検索対象車両と他の車両Ｖとが撮像されているフレームを抽出したとする。この場合、類比判定部５７は、両者のフレームが類似していると判定する。フレームが類似することは、そのフレームの撮影場所が同じであることを示唆する。

図６は、第１の実施の形態に係る類比判定部５７が類似すると判定したフレームの撮像時刻を示す図である。図６に示す例では、類比判定部５７は、フレームＡからフレームＤまでの４つのフレームを類似すると判定している。またフレームＡの撮像時刻は２０１６年１月２３日８時００分であり、フレームＢの撮像時刻は同日８時３分である。同様に、フレームＣの撮像時刻は同日の７時５０分であり、フレームＤの撮像時刻は同日の８時８分である。

時刻補正部５５は、類似する特定動画像のフレームの撮像時刻に基づいて、各動画像の撮像時刻を補正する。時刻補正部５５は、類比判定部５７が類似すると判定した特定動画像のフレームは同時刻に撮像されたと仮定する。例えば図６の例では、フレームＡからフレームＤまでの４つのフレームは類似するため、時刻補正部５５はこれらが同時刻に撮像されたという仮定する。しかしながら、図６に示す例において各フレームを含む特定動画像を撮像した車載カメラの内部時計が合っていないため、各フレームには異なる時刻情報が付帯されている。そこで時刻補正部５５は、各フレームに付帯されている時刻情報の平均を、真の時刻と推定する。

なお、時刻補正部５５は、各フレームに付帯されている時刻情報の平均以外の他の統計情報を用いて時刻情報を推定してもよい。例えば時刻補正部５５は、各フレームに付帯されている時刻情報の最頻値（モード）や中央値（メジアン）を真の時刻と推定してもよい。また、各フレームに付帯されている時刻情報の平均から最も外れている時刻を除いて、時刻情報を推定してもよい。

図６に示す例では、フレームＡからフレームＤまでの４つのフレームの撮像時刻の平均は２０１６年１月２３日８時２分である。そこで時刻補正部５５は、各フレームの撮像時刻が平均時刻となるように、各特定動画像の撮像時刻の修正量を算出する。

図６に示すように、フレームＡの撮像時刻は８時０分であるから、時刻補正部５５はフレームＡを含む特定動画像の時刻修正量を＋２分として算出する。時刻補正部５５は、同様に、フレームＢを含む特定動画像の時刻修正量を−１分として算出する。フレームＣ及びフレームＤについても同様である。これにより、時刻補正部５５は、各特定動画像が撮像された場所の絶対座標が不明であっても、各特定画像の時刻を合わせることができる。

ここで情報受付部５２は、情報処理装置１のユーザから受け付ける車両情報として少なくとも自動車登録番号を受け付けるようにしてもよい。この場合、パターン抽出部５６は、特定動画像の中から所定の構造物に加えて自動車登録番号の文字列を抽出する。これは例えば既知の文字認識技術を用いて実現できる。情報受付部５２が車両情報として車種や色等の外観情報を取得する場合と比較して、検索対象車両の特定精度を向上することができる。

［撮像時間帯の正確性が保証されている場合］
以上、情報処理装置１が各特定動画像の撮像時間帯の正確性が保証されていない場合について主に説明した。しかしながら、動画像の中には、その撮像時間帯の正確性が保証されているものもが存在することもある。以下では、特定画像の中に撮像時間帯の正確性が保証されている動画像が含まれる場合について説明する。

「撮像時間帯の正確性が保証されている動画像」の一例としては、その動画像を撮像した車載カメラが、車両ＶのＧＰＳと連動している場合である。一般にＧＰＳが衛星測位システム７から受信するデータには正確な時刻情報が含まれている。このため、ＧＰＳと連動して動作する車載カメラが撮像した動画像に付帯されている時刻情報はその正確性が保証されている。このような撮像時間帯の正確性が保証されている動画像は、時刻補正部５５が各特定動画像の撮影時刻を補正する際の基準動画像とすることができる。

そこで基準画像抽出部５８は、組み合わせを構成する特定動画像のうち、撮像時間帯の正確性が保証されている基準動画像を抽出する。より具体的には、基準画像抽出部５８は、ＧＰＳ情報が付帯している特定動画像を、基準動画像として抽出する。

図３に示すように、動画像データベースには位置情報を格納するデータフィールドを備えている。図３に示す例では、動画像ＩＤがＭ０００００１で特定される動画像にはＧＰＳ情報が含まれていることを示している。基準画像抽出部５８は、動画像データベースを参照することにより、組み合わせを構成する特定動画像の中から基準動画像を抽出する。

時刻補正部５５は、基準動画像の時刻情報を用いて、他の特定動画像の時刻を補正する。これにより、時刻補正部５５は、各特定動画像の撮像時刻を正確に合わせるための修正量を算出することができる。

なお、図３に示すように、動画像データベースには時刻補正部５５が算出した動画像の時刻を修正するための時刻修正情報を格納するデータフィールドも存在する。図３に示す動画像データベースの例では、動画像ＩＤがＭ０００００１で特定される動画像にはＧＰＳ情報が含まれているため、時刻修正量は±０分が格納されている。すなわち、動画像ＩＤがＭ０００００１で特定される動画像の撮像時刻は正確であることを示している。

動画像データベースには他にも、パターン抽出部５６が抽出したパターン情報を格納するためのデータフィールドも存在する。パターン抽出部５６がひとたび動画像を解析して見つけたパターンを動画像データベースに格納することにより、その後パターン抽出部５６によるパターンマッチング処理を省略することができる。

図７は、第１の実施の形態に係る情報処理装置１が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１を実現するコンピュータが起動したときに開始する。

画像取得部５１は、車載カメラを搭載した複数の車両Ｖがそれぞれ撮像した複数の動画像を取得する（Ｓ２）。画像取得部５１は、取得した動画像を記憶部２０に格納する（Ｓ４）。情報受付部５２は、検索対象車両に関する車両情報の入力を受け付ける（Ｓ６）。

特定画像抽出部５３は、複数の動画像のうち、撮像データ中に車両情報を含む動画像である特定動画像を抽出する（Ｓ８）。重複画像抽出部５４は、特定動画像のうち、車両情報が含まれる時間帯が少なくとも一部において重複する重複動画像群を取得する（Ｓ１０）。

類比判定部５７は、重複動画像群を構成する動画像のうち、類似するフレームを含む類似動画像群を抽出する（Ｓ１２）。基準画像抽出部５８は、組み合わせを構成する特定動画像のうち、撮像時間帯の正確性が保証されている基準動画像の抽出を試みる。基準動画像がない場合（Ｓ１４のＮｏ）、時刻補正部５５は、類比判定部５７が類似すると判定した特定動画像のフレームに付帯されている時刻情報の平均を算出する（Ｓ１６）。時刻補正部５５は、算出した平均時刻に基づいて、時刻情報の修正値を算出する（Ｓ１８）。

基準動画像がある場合（Ｓ１４のＹｅｓ）、時刻補正部５５は、基準動画像の時刻情報を用いて、他の特定動画像の時刻情報の補正値を算出する（Ｓ２０）。時刻補正部５５が特定動画像の時刻情報の補正値を算出すると本フローチャートにおける処理は終了する。

以上説明したように、第１の実施の形態に係る情報処理装置１によれば、複数の車両に設置された車載カメラが撮像した動画像の撮像時刻を合わせる技術を提供できる。
特に、各動画像に付帯されている撮像時刻が正確でない場合であっても、それら撮像時刻を統計的に処理することによって、撮像時刻の制度を高めることができる。

特に、情報処理装置１は各動画像に共通して映っている被写体に基づいて動画像が同じ場所で撮像されたか否かを判断するので、撮影場所の絶対位置が不明であっても各動画像の位置合わせをすることができる。各動画像の位置合わせをすることができるので、情報処理装置１は各動画像の時刻合わせをすることもできる。また、動画像にＧＰＳ情報が付帯されている場合には、ＧＰＳ情報から得られる時刻情報に基づいて、情報処理装置１は各動画像の時刻を合わせることもできる。

第１の実施の形態に係る情報処理装置１は、各動画像の時刻を合わせることができるが、各動画像の撮像場所を特定するに至らない場合もありうる。しかしながら、情報処理装置１は多数の動画像の中から同一時間帯に検索対象車両が撮像されている動画像群を抽出できる点で、検索対象車両の走行経路を追跡に有用である。ある程度絞られた動画像であれば、情報処理装置１のユーザが目視で観察し、走行場所を特定できる場合もあるからである。

＜第２の実施の形態＞
第１の実施の形態に係る情報処理装置１では、各特定動画像を「時刻」を基準として関連付ける場合について説明した。これに対し、第２の実施の形態に係る情報処理装置１は、各特定動画像をその動画像が撮像された場所の「絶対的な位置座標」を基準として関連付ける点で相違する。
以下、第２の実施の形態について説明するが、第１の実施の形態と共通する部分については、適宜省略又は簡略化して説明する。

図８は、第２の実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。第２の実施の形態に係る情報処理装置１は、第１の実施の形態に係る情報処理装置１と比較して、重複画像抽出部５４を備えない点、及び特定装置抽出部５９を備える点で相違する。また、第１の実施の形態に係る情報処理装置１と同様の構成であっても、第２の実施の形態に係る情報処理装置１においては、異なる動作をする場合もある。

特定画像抽出部５３は、複数の動画像のうち、撮像データ中において所定の構造物とともに車両情報が含まれる動画像を、特定動画像として少なくとも２つ抽出する。なお、動画像中に含まれる車両情報や所定の構造物の特定は、パターン抽出部５６が実行する。

ここで「所定の構造物」とは、その構造物が存在する場所の絶対的な位置座標を一意に特定することができる構造物である。所定の構造物の例としては、例えば上述した案内標識４や信号機５、自動車ナンバー読取装置６が挙げられる。また構造物３のうち特徴的な外観を持ち、一意に特定できる構造物３も所定の構造物となり得る。

類比判定部５７は、特定画像抽出部５３が抽出した特定画像のそれぞれから、所定の構造物と検索対象画像とが撮像されているフレームを抽出する。ここで所定の構造物は特定の場所に設置されているものであるから、異なる特定動画像のフレーム中に所定の構造物と検索対象画像とが撮像されている場合、それは同時刻に撮像されたと推定することができる。

そこで時刻補正部５５は、所定の構造物と検索対象画像とが撮像されているフレームの撮像時刻に基づいて、各特定画像の撮像時刻を補正するための補正量を算出する。第２の実施の形態に係る類比判定部５７は絶対的な位置座標が定まっている構造物を含むフレームを特定することにより、実施の形態に係る情報処理装置１のように風景等のパターンマッチング処理で類似するフレームを特定する場合よりも、特定精度を高めることができる。

時刻補正部５５は、特定画像抽出部５３が抽出した特定動画像に基準動画像が含まれる場合、すなわち、撮像時間帯の正確性が保証されている動画像が含まれる場合には、基準動画像の時刻情報を用いて、他の特定動画像の時刻を補正する。これにより、時刻補正部５５は、特定動画像の時刻の修正精度を向上することができる。

ここで、自動車ナンバー読取装置６がナンバーを読み取った車両Ｖの車載カメラが撮像した動画像も、基準動画像となり得る。自動車ナンバー読取装置６は、ナンバーを含む車両Ｖの画像を、時刻情報とともに登録するからである。そこで特定装置抽出部５９は、特定動画像に撮像されている自動車ナンバー読取装置６の抽出を試みる。基準画像抽出部５８は、自動車ナンバー読取装置６の抽出に成功した特定動画像も基準動画像として抽出する。

これにより、特定画像抽出部５３が特定した全ての特定動画像にＧＰＳ情報が付帯していない場合であっても、いずれかの特定動画像を撮像した車載カメラを搭載した車両Ｖが自動車ナンバー読取装置６によって登録されている場合には、各特定動画像の時刻情報を正確に合わせることができる。

図９は、第２の実施の形態に係る情報処理装置１が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１を実現するコンピュータが起動したときに開始する。

画像取得部５１は、車載カメラを搭載した複数の車両Ｖがそれぞれ撮像した複数の動画像を取得する（Ｓ２２）。画像取得部５１は、取得した動画像を記憶部２０に格納する（Ｓ２４）。情報受付部５２は、検索対象車両に関する車両情報の入力を受け付ける（Ｓ２６）。特定画像抽出部５３は、複数の動画像のうち、撮像データ中において所定の構造物とともに車両情報が含まれる動画像である特定動画像を抽出する（Ｓ２８）。

基準画像抽出部５８は、組み合わせを構成する特定動画像のうち、撮像時間帯の正確性が保証されている基準動画像の抽出を試みる。基準動画像がない場合（Ｓ３０のＮｏ）、時刻補正部５５は、類比判定部５７が類似すると判定した特定動画像のフレームに付帯されている時刻情報の平均を算出する（Ｓ３２）。時刻補正部５５は、算出した平均時刻に基づいて、時刻情報の修正値を算出する（Ｓ３４）。

基準動画像がある場合（Ｓ３０のＹｅｓ）、時刻補正部５５は、基準動画像の時刻情報を用いて、他の特定動画像の時刻情報の補正値を算出する（Ｓ３６）。時刻補正部５５が特定動画像の時刻情報の補正値を算出すると本フローチャートにおける処理は終了する。

以上説明したように、本発明の第２の実施の形態に係る情報処理装置１によれば、複数の車両に設置された車載カメラが撮像した映像の撮像時刻を合わせる技術を提供できる。

特に、動画像に撮像されている構造物等の位置情報を基準に動画像を集めることにより、情報処理装置１は同一場所で撮像された動画像を精度よく集めることができる。

以上、本発明を２つの実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

また、各実施の形態を任意に組み合わせることによって生じる新たな実施の形態も、本発明の技術的範囲に含まれる。例えば第１の実施の形態と第２の実施の形態とを組み合わせ、第１の実施の形態における基準画像の選定に自動車ナンバー読取装置６の情報を用いてもよい。このように、組み合わせによって生じる新たな実施の形態は、組み合わせ元の実施の形態の効果を合わせ持つ。

１・・・情報処理装置
２・・・情報解析センター
３・・・構造物
４・・・案内標識
５・・・信号機
６・・・自動車ナンバー読取装置
７・・・衛星測位システム
１０・・・通信部
２０・・・記憶部
３０・・・入力部
４０・・・出力部
５０・・・制御部
５１・・・画像取得部
５２・・・情報受付部
５３・・・特定画像抽出部
５４・・・重複画像抽出部
５５・・・時刻補正部
５６・・・パターン抽出部
５７・・・類比判定部
５８・・・基準画像抽出部
５９・・・特定装置抽出部
Ｓ・・・情報処理システム
Ｖ・・・車両

Claims (7)

1. 車載カメラを搭載した複数の車両がそれぞれ撮像した複数の動画像を取得する画像取得部と、
   検索対象車両に関する車両情報の入力を受け付ける情報受付部と、
   前記複数の動画像のうち、撮像データ中に前記車両情報を含む動画像である特定動画像を、少なくとも２つ抽出する特定画像抽出部と、
   前記特定動画像のうち、前記車両情報が含まれる時間帯が少なくとも一部において重複する特定動画像の組み合わせを取得する重複画像抽出部と、
   前記組み合わせを構成する特定動画像それぞれの撮像時間帯に基づいて撮像時刻を補正する時刻補正部と、
   を備える情報処理装置。
2. 前記組み合わせを構成する特定動画像を解析することにより、動画像が類似するか否かを判定する類否判定部をさらに備え、
   前記時刻補正部は、類似する動画像の撮像時刻に基づいて、各動画像の撮像時刻を補正する、
   請求項１に記載の情報処理装置。
3. 前記特定動画像の中から所定のパターンを抽出するパターン抽出部をさらに備え、
   前記類否判定部は、各特定動画像の中に存在する前記所定のパターンの組み合わせに基づいて、前記動画像が類似するか否かを判定する、
   請求項２に記載の情報処理装置。
4. 前記情報受付部は、前記車両情報として少なくとも自動車登録番号を受け付け、
   前記パターン抽出部は、前記特定動画像の中から所定の構造物及び自動車登録番号の文字列を抽出する、
   請求項３に記載の情報処理装置。
5. 前記組み合わせを構成する特定動画像のうち、撮像時間帯の正確性が保証されている基準動画像を抽出する基準画像抽出部をさらに備え、
   前記時刻補正部は、前記基準動画像の時刻情報を用いて、他の特定動画像の時刻を補正する、
   請求項１に記載の情報処理装置。
6. 前記基準画像抽出部は、ＧＰＳ（Global Positioning System）情報が付帯している特定動画像を、前記基準動画像として抽出する、
   請求項５に記載の情報処理装置。
7. コンピュータに、
   車載カメラを搭載した複数の車両がそれぞれ撮像した複数の動画像を取得する機能と、
   検索対象車両に関する車両情報の入力を受け付ける機能と、
   前記複数の動画像のうち、撮像データ中に前記車両情報を含む動画像である特定動画像を、少なくとも２つ抽出する機能と、
   前記特定動画像のうち、前記車両情報が含まれる時間帯が少なくとも一部において重複する特定動画像の組み合わせを取得する機能と、
   前記組み合わせを構成する特定動画像それぞれの撮像時間帯に基づいて撮像時刻を補正する機能と、
   を実現させるプログラム。

Images