JP2021114644A - 画像管理装置、画像管理方法、および画像管理プログラム - Google Patents

Abstract

【課題】複数台の撮影装置により撮影された動画データを適切に管理する装置を提供する。【解決手段】画像管理装置１０において、画像取得部１２が複数の撮影装置により撮影された複数の動画データおよびログデータを取得し、データ記憶部３０が取得した複数の動画データおよびログデータを保持する。画像抽出部２０は、複数の動画データおよびそれぞれに対応する撮影状況を示すログデータに基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データをデータ記憶部３０から抽出する。画像分類部２４は、並行的に撮影された画像として画像抽出部２０により抽出された複数の動画データを同一のグループＩＤに対応づける。出力部４０は、同一のグループＩＤに対応づけられた複数の動画データを他の動画データとは区別して出力する。【選択図】図１

Description

本発明は、撮影された画像を管理する画像管理装置、画像管理方法、および画像管理プログラムに関する。

近年、いわゆる「あおり運転」をはじめとする危険運転の多発が社会問題となっている。その危険運転への抑止力として、車両前方への設置だけでなく車両後方にも増設するなど複数台のドライブレコーダを設置する車両が増えている。一方で、ドライブレコーダだけでなく、携帯端末の内蔵カメラをドライブレコーダのように使用することもあり、これらの映像を一緒に管理する方法が提案されている（例えば、特許文献１参照）。

特開２０１５−６０６１２号公報

しかしながら、近年、路上の監視カメラなど車両外においても様々な形の動画像が社会の情報ソースとして日々生み出されている。よって、ドライブレコーダにより撮影された動画に関しても、今後増え続ける情報ソースの中で適切かつ簡易に管理されることが望まれる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、複数台の撮影装置により撮影された動画データを適切に管理する装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像管理装置は、複数の撮影装置により撮影された複数の動画データを取得する画像取得部と、取得した複数の動画データを保持するデータ記憶部と、保持された複数の動画データおよびそれぞれに対応する撮影状況を示す情報に基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データをデータ記憶部から抽出する画像抽出部と、並行的に撮影された画像として画像抽出部により抽出された複数の動画データを同一の識別情報に対応づける画像分類部と、同一の識別情報に対応づけられた複数の動画データを他の動画データとは区別して出力する出力部と、を備える。

本発明の別の態様は、画像管理方法である。この方法は、撮影装置により撮影された動画データを取得する過程と、取得した複数の動画データおよびそれぞれに対応する撮影状況を示す情報に基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データを抽出する過程と、並行的に撮影された画像として抽出された複数の動画データを同一の識別情報に対応づける過程と、同一の識別情報に対応づけられた複数の動画データを他の動画データとは区別して出力する過程と、を備える。

なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システム、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、複数台の撮影装置により撮影された動画データを適切に管理する装置を提供することができる。

画像管理装置の機能構成を模式的に示すブロック図である。 グループＩＤと動画データの対応関係が定められたテーブルの例を模式的に示す図である。 複数の動画データを並べて再生する画面例を模式的に示す図である。 動画の取得から出力までの過程を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。以下説明する実施の形態においては、画像管理装置を主にパーソナルコンピュータ上またはサーバコンピュータ上で動画ビューワソフトウェアの形で実現させた例を記載する。

図１は、画像管理装置１０の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。本実施の形態における画像管理装置１０のハードウェアとしては、パーソナルコンピュータまたはサーバコンピュータ、携帯電話やタブレット端末等の情報端末を想定するが、変形例としてドライブレコーダやナビゲーション装置の形で実現してもよい。

画像管理装置１０は、画像取得部１２、画像抽出部２０、画像分類部２４、データ記憶部３０、出力部４０、通信部５０を備える。画像取得部１２は、複数の撮影装置により撮影された複数の動画データを取得する。「複数の撮影装置」は、ドライブレコーダ、携帯電話等の情報端末に内蔵されるカメラ、デジタルカメラ、監視カメラ、その他の移動体に設置されたカメラ等が含まれる。ドライブレコーダは、自車両に設置されたドライブレコーダだけでなく、他車両に設置されたドライブレコーダも含む。「その他の移動体」は、例えば周辺を撮影するカメラを内蔵するドローン等の飛行体であってもよい。

画像取得部１２は、複数の撮影装置の記録媒体１８から複数の動画データを読み出してデータ記憶部３０へ格納する。画像取得部１２は、例えばドライブレコーダやデジタルカメラに着脱可能なメモリカードから動画データを読み出すカードリーダ装置およびカードリーダソフトウェアであってもよい。このとき、複数の動画データとともに、これら複数の動画データのそれぞれに対応する撮影状況を示す情報（以下、「ログデータ」と呼ぶ）を記録媒体１８から読み出して、データ記憶部３０へ格納する。記録媒体１８には、例えば動画データとログデータが別々のフォルダに格納され、それぞれのフォルダから複数の動画データと複数のログデータが画像取得部１２により読み出される。なお、ログデータは、動画データから分離した独立のデータであってもよいし、動画データに内包されるデータであってもよい。画像取得部１２は、記録媒体１８に動画データに加えて静止画データが格納されている場合には、動画データとともに静止画データも読み出してデータ記憶部３０へ格納する。

画像取得部１２が取得する主な動画データは、ドライブレコーダで撮影され、記録媒体１８に保存された動画データである。車両に設置したドライブレコーダが複数台の場合、それら複数台のドライブレコーダのそれぞれからメモリカードを取り出して、画像取得部１２としてのカードリーダに挿入して動画データを読み出す。本実施の形態においては、複数のユーザ、または、複数の車両において撮影された動画データを読み出して、これらを混在させた形でデータ記憶部３０に保持させる状態を前提とする。ユーザごと、または、車両ごとに複数台のドライブレコーダによってそれぞれ複数の動画データが記録され、それら複数の動画データが複数ユーザ分、または、複数車両分だけデータ記憶部３０に保持される。なお、画像取得部１２はドライブレコーダから通信部５０による通信を介して動画データを読み出してもよい。この場合の通信部５０は、例えば撮影装置からＵＳＢ（Universal Serial Bus）等の周辺機器接続ケーブルを介して動画データを読み出す入出力インタフェースであってもよいし、撮影装置からＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して動画データを読み出す無線通信モジュールであってもよい。画像取得部１２は、ドライブレコーダで撮影された動画データがあらかじめ携帯電話等の情報端末に転送済である場合に、その情報端末から通信部５０による無線通信を介して動画データを読み出してもよい。

画像取得部１２が取得する動画データが携帯電話等の情報端末に内蔵されるカメラで撮影された動画データである場合、画像取得部１２は情報端末から通信部５０による無線通信等を介して動画データを読み出す。画像取得部１２が取得する動画データがデジタルカメラや路上の監視カメラ、その他の移動体に内蔵または設置されたカメラで撮影された動画データである場合、画像取得部１２は記録媒体１８から動画データを読み出してもよいし、カメラから通信部５０を介して動画データを読み出してもよい。なお、路上の監視カメラや他の車両によって撮影された動画データが自治体等のウェブサーバからネットワークを介して取得できる場合、画像取得部１２は通信部５０によるネットワーク通信を介して動画データを取得してもよい。

データ記憶部３０は、取得した複数の動画データおよびそれぞれに対応するログデータを保持する記憶領域であり、例えばハードディスクやＳＳＤ（Solid State Drive）などの記録媒体である。ただし、データ記憶部３０の一部または全部をネットワーク上のストレージの形で実現してもよい。ログデータとしては、例えば撮影時間、撮影位置、移動速度、加速度、衝突の有無のうち少なくともいずれかを示す情報がデータ記憶部３０に保持される。動画データとログデータの対応関係として、例えばドライブレコーダによって割り当てられた識別情報としての共通の文字列がそれぞれのファイル名に含められ、これにより他の動画データやログデータと区別できてもよい。共通の識別情報は、例えば撮影日時を示す数字やシリアル番号である。ログデータに含められる「撮影時間」は、対応する動画データの撮影開始日時の情報である。この撮影開始日時の情報と、動画データの内部に記録される撮影開始日時の情報を照合することで、動画データとログデータの対応関係を判定してもよい。ログデータに含められる「撮影位置」は、ＧＰＳ（Global Positioning System）等の衛星測位システムから取得する位置情報の履歴であり、その位置の変化が移動方向を示す。例えばドライブレコーダ、携帯電話等の情報端末、車両、ナビゲーション装置、ドローン等に内蔵される測位モジュールによって取得されて記録される。ログデータに含められる「移動速度」は、ドライブレコーダが設置される車両の移動速度の履歴であり、例えば車両から車速センサを含む車両情報が取得されて記録される。あるいは、衛星測位システムから取得する位置情報および時刻情報に基づいて算出されて記録されてもよいし、車両または携帯電話等の情報端末からの加速度センサの情報に基づいて算出されて記録されてもよい。あるいは、動画データの画像内容を画像解析して速度を推定してもよい。ログデータに含められる「加速度」は、単位時間あたりの移動速度および移動方向の履歴であり、車両または携帯電話等の情報端末から加速度センサの情報が取得されて記録される。ログデータに含められる「衝突の有無」は、ドライブレコーダにおいて動画データを上書き禁止の形式で保存する契機となった車両の衝突等のイベントがあったか否かを示す情報であり、ドライブレコーダに搭載された各種のセンサにより検出されて記録される。

画像抽出部２０は、データ記憶部３０に保持された複数の動画データおよびそれぞれに対応するログデータに基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データをデータ記憶部３０から抽出する。画像抽出部２０は、車両内動画抽出部２１、車両外動画抽出部２２を含む。画像抽出部２０は、複数の動画データおよびそれぞれに対応するログデータとして、画像内容、音声内容、撮影時間、撮影位置、移動速度、加速度、衝突の有無のうち少なくともいずれかを動画データ同士で比較する。例えば、撮影時間として撮影日時および撮影開始から撮影終了までの時間に基づいて撮影時間の少なくとも一部が重複する動画データ同士を、同じ日時に撮影された動画データと判定する。また、撮影位置として位置情報の履歴の少なくとも一部が重複する動画データ同士を、同じ車両の通行場所で撮影された動画データと判定する。画像抽出部２０は、このような比較結果に基づき、同じ日時における同じ車両の通行場所で並行的に撮影された複数の動画データを抽出する。

車両内動画抽出部２１は、撮影時間および撮影位置の他、画像内容、音声内容、移動速度、加速度、衝突の有無のうち一つまたは複数の要素同士を比較し、相関が高い動画データ同士を同じ日時における同じ車両の通行場所で並行的に撮影された複数の動画データ（以下、「車両内動画」という）として抽出する。例えば、車両内動画抽出部２１は、画像内容または音声内容を動画データ同士で比較し、画像内容または音声内容において車両通行時間と車両通行場所を特定するための共通の特徴点を有する複数の動画データを車両内動画として抽出する。また例えば、車両内動画抽出部２１は、移動速度または加速度の履歴を動画データ同士で比較し、移動速度または加速度の履歴が一致または重複する複数の動画データを車両内動画として抽出する。また例えば、車両内動画抽出部２１は、衝突の有無の履歴を動画データ同士で比較し、衝突の有無の履歴が一致または重複する複数の動画データを車両内動画として抽出する。以上のような撮影状況の各要素のうち一致または重複する要素の数が多い動画データ同士ほど相関が高いと判定することができる。このような比較結果に基づいて、車両内動画抽出部２１は、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データを車両内動画として抽出する。

動画データ同士の比較における位置情報の重複は、位置座標が完全に一致することを要さず、撮影位置の差が互いに所定の許容範囲に収まれば同じ車両の通行場所で撮影されたとみなす。ただし、撮影位置の差が所定の許容範囲に収まる状態が所定時間以上継続されるなど時間的に連続して許容範囲に収まっていることが、同じ車両内で撮影されていると判定するための条件となる。ここで、所定の許容範囲とは例えば８メートルである。撮影位置の比較における一致性の許容範囲をさらに広げることによって、厳密に同じ車両内で撮影された動画データとするだけでなく、その車両に並走または追随する他の車両から撮影された動画データを含むように判定してもよいし、その車両を追跡するドローン等の移動体によって撮影された動画データを含むように判定してもよい。この場合もまた、撮影位置の差が例えば１６メートルの許容範囲に収まる状態が所定時間以上継続されるなど時間的に連続して許容範囲に収まることが、その車両に並走または追随する他の車両または移動体にて撮影された「車両内動画」と判定するための条件となる。これにより、その車両が通った道路付近に固定的に設置された監視カメラ等の動画が「車両内動画」からは除外される。

画像分類部２４は、並行的に撮影された画像として画像抽出部２０により抽出された複数の動画データを同一の識別情報（以下、識別情報を「グループＩＤ」と呼ぶ）に車両内動画として対応づける。画像分類部２４は、識別情報発行部２５、識別情報付与部２６を含む。識別情報発行部２５は、グループＩＤを発行し、識別情報付与部２６は、車両内動画として抽出された複数の動画データおよびログデータに同一のグループＩＤを付与する。このグループＩＤは、並列的に撮影された動画データと他の車両や他の場所において撮影された動画データと区別するために一意に割り当てられる識別情報であり、例えば英数字の組み合わせ文字列からなるユニークなＩＤ番号である。なお、グループＩＤは、あくまでその情報に車両内動画として対応づけられる動画データおよびそのログデータが同じ車両内で撮影されたことを示すために発行される情報であって、ある特定の車両に対して一つのグループＩＤだけが発行されるとは限らない。すなわち、識別情報発行部２５は、複数の動画データに対してそれぞれ具体的にどの車両において撮影されたかを特定して車両ごとにグループＩＤを発行しているわけではない。あくまで、ある時間帯に並行的に撮影されたと推定できる複数の動画データを一つのグループとして扱うためにそのグループに対して一つのグループＩＤを発行して対応づけているにすぎない。したがって、あるグループＩＤに対応づけられた動画データと別のグループＩＤに対応づけられた動画データとが必ずしも異なる車両内で撮影されたとは限らず、同じ車両内において別のタイミングで撮影されたにすぎない場合もある。また例えば、撮影時間が長い動画データの場合、別々のグループＩＤが付与された複数の動画データとの間で撮影時間が重複し、それぞれの車両内動画として対応づけられることもある。その場合、一つの動画データに対して複数のグループＩＤが対応づけられる可能性がある。また、ドライブレコーダで撮影された動画データ、すなわちドライブレコーダのログデータを伴う動画データは、必ずいずれかの車両内で撮影されたものであるため、並行して撮影された他の動画が抽出されない単体の動画データであった場合でもグループＩＤは付与される。これに対し、監視カメラや路上の歩行者により撮影された動画は、少なくとも「車両内動画」とはなり得ないため、原則としてグループＩＤは付与されない。ただし、偶然通りかかったある車両の近くで撮影されたと判定された場合に、その車両の車両内動画に付与されたグループＩＤに、後述する「車両外動画」として対応付けられる可能性がある。また、変形例として、「車両内動画」に対して付与するグループＩＤを例えば「車両グループＩＤ」とした上で、監視カメラや路上の歩行者により撮影された動画等、ドライブレコーダのログデータを伴わない動画データに対しても、「車両グループＩＤ」とは区別されるグループＩＤ（これを「動画グループＩＤ」と呼ぶ）を付与してもよい。動画グループＩＤが付与された動画データは、あくまで動画データを識別するための情報であり、ログデータを伴わない動画データに限らず、すべての動画データに付与してもよい。

車両外動画抽出部２２は、あるグループＩＤに対応づけられた動画データとの比較で、同じ車両内で撮影された動画ではないが、撮影時間や撮影場所が近似する動画データを車両外で撮影された動画データ（以下、「車両外動画」という）として抽出する。例えば、車両外動画抽出部２２は、同じ時間における近似する場所で撮影された動画データ、近似する時間における同じ場所で撮影された動画データ、近似する時間における近似する場所で撮影された動画データを車両外動画として抽出する。なお、車両外動画は、撮影位置の差が所定の許容範囲に収まる状態が時間的に連続することを要しない。よって、例えば路上に固定的に設置された監視カメラにより撮影された動画データや、路上の歩行者により撮影された動画データなど、撮影位置の近似性が必ずしも時間的にほとんど連続しない動画、すなわちごく短時間だけ撮影位置が近似しただけの動画であっても、車両外動画として抽出され得る。

車両内動画抽出部２１は、例えば画像取得部１２によって取得された新たな動画データおよびそのログデータがデータ記憶部３０へ格納されるときに、その動画データおよびログデータを参照して同じ日時における同じ車両の通行場所で並行的に撮影された他の動画データを車両内動画としてデータ記憶部３０から抽出する。識別情報付与部２６は、並行的に撮影された他の動画データが車両内動画として抽出された場合であって、その車両内動画にすでにグループＩＤが対応づけられていた場合は、同一のグループＩＤに新たな動画データおよびそのログデータを対応づける。その車両内動画にグループＩＤが対応づけられていなかった場合は、識別情報発行部２５は新たな動画データおよびログデータとその車両内動画に対し、新たに一意のグループＩＤを発行し、そのグループＩＤを識別情報付与部２６が付与する。例えば、同じ車内で並行的に撮影された複数の動画データがデータ記憶部３０に格納されたときに、新しいグループＩＤが発行されてこれらの動画データに対応づけられる。識別情報発行部２５は、並行的に撮影された他の動画データがデータ記憶部３０から抽出されなかった場合、新たな動画データが例えばドライブレコーダで撮影された動画であれば、新たに一意のグループＩＤを発行し、そのグループＩＤを識別情報付与部２６が付与する。ただし、新たな動画データが他の種類の動画、例えば情報端末、路上の監視カメラ、デジタルカメラ等で撮影された動画であってログデータを伴わない動画データであった場合は、識別情報発行部２５は新たに一意のグループＩＤを発行せず、識別情報付与部２６はグループＩＤへの対応づけはしない。

出力部４０は、同一のグループＩＤに車両内動画として対応づけられた複数の動画データを他の動画データ、例えば車両外動画として対応づけられた動画データや、他のグループＩＤに対応づけられた動画データ、グループＩＤに対応づけられていない動画データとは区別して出力する。出力部４０は、配置設定部４１、表示処理部４２を含む。配置設定部４１は、同一のグループＩＤに車両内動画として対応づけられた複数の動画データを表示装置１６の画面に並べるとともに、車両外動画として対応づけられた動画データとは区別して表示されるように配置を設定する。表示処理部４２は、配置設定部４１によって設定された配置にて車両内動画と車両外動画を区別して表示するとともに、各動画を再生する。また、出力部４０は、同一のグループＩＤに車両内動画として対応づけられた複数の動画データを通信部５０を介してネットワーク上の他の装置へ送信してもよく、その場合、他の動画データ、例えば車両外動画として対応づけられた動画データとは区別して送信する。

図２は、グループＩＤと動画データの対応関係が定められたテーブルの例を模式的に示す。グループＩＤテーブル７０は、第１欄７２、第２欄７４、第３欄７６を含む。第１欄７２にはグループＩＤが定められる。第２欄７４には、グループＩＤごとに車両内動画として抽出された動画データおよびそのログデータが対応づけられる。第３欄７６には、グループＩＤごとに車両外動画として抽出された動画データが対応づけられる。

例えば、第１欄７２のグループＩＤ「AAA00001」には、車両内で撮影された第１の動画データである「FILE_20191201_113045.MP4」とそのログデータである「FILE_20191201_113045.NMEA」が第２欄７４にて対応づけられている。これらのファイル名には、撮影日時を表す共通の文字列である「20191201_113045」が含まれることでこの動画データにこのログデータが対応することが示される。すなわち、２０１９年１２月１日の１１時３０分４５秒から撮影開始されたことが示されている。第１の動画データは、例えば車両の前方を撮影する前方カメラにより撮影された動画である。

第１欄７２のグループＩＤ「AAA00001」には、第１の動画データと同じ車両内で並行的に撮影された第２の動画データである「FILE_20191201_113120.MP4」とそのログデータである「FILE_20191201_113120.NMEA」が第２欄７４にてさらに対応づけられている。これらのファイル名には、撮影日時である２０１９年１２月１日の１１時３１分２０秒を表す共通の文字列「20191201_113120」が含まれることでこの動画データにこのログデータが対応することが示される。第２の動画データは、例えば車両の後方を撮影する後方カメラにより撮影された動画である。

第１欄７２のグループＩＤ「AAA00001」には、第１，２の動画データと同じ車両内で並行的に撮影された第３の動画データである「IMG_4812.MOV」が第２欄７４にてさらに対応づけられている。第３の動画データは、例えば車両内で携帯電話の内蔵カメラにより撮影された動画である。

第１欄７２のグループＩＤ「AAA00001」には、第１〜３の動画データと同じまたは近似する時間において同じまたは近似する場所で撮影された車両外動画としての第４の動画データである「FILE_20191201_113014.MP4」が第３欄７６にてさらに対応づけられている。第４の動画データは、例えば他の車両のドライブレコーダにより撮影された動画であり、他のグループＩＤには車両内動画として対応づけられる他、さらに別の車両の車両内動画に付与されたグループＩＤに対して車両外動画として対応付けられる可能性もある。

第１欄７２のグループＩＤ「AAA00001」には、第１〜３の動画データと同じまたは近似する時間において同じまたは近似する場所で撮影された車両外動画としての第５の動画データである「Record-2019-12-01-11-30-37.avi」が第３欄７６にてさらに対応づけられている。第５の動画データは、例えば路上の監視カメラにより撮影された動画であり、他のグループＩＤに対しても車両外動画として対応づけられる可能性がある。

第１欄７２のグループＩＤ「AAA00001」には、第１〜３の動画データと同じまたは近似する時間において同じまたは近似する場所で撮影された車両外動画である第６の動画データのリンク先ＵＲＬである「http://○○.tokyo.jp/data/code=012421」が第３欄７６にてさらに対応づけられている。第６の動画データは、例えば通行した交差点の信号機に設置された監視カメラにより撮影された動画であり、自治体の公開データベースから動画データをダウンロード再生するためのＵＲＬの形で示される。第６の動画データもまた、他のグループＩＤに対して車両外動画として対応づけられる可能性がある。

第１欄７２のグループＩＤ「AAA00002」には、車両内で撮影された第７の動画データである「FILE_20191202_165013.MP4」とそのログデータである「FILE_20191202_165013.NMEA」が第２欄７４にて対応づけられている。これらのファイル名には、撮影日時である２０１９年１２月２日の１６時５０分１３秒を表す共通の文字列「20191202_165013」が含まれることでこの動画データにこのログデータが対応することが示される。第７の動画データは、例えば車両の前方を撮影する前方カメラにより撮影された動画である。グループＩＤ「AAA00002」には、他に対応づけられた動画データはなく、第７の動画データと同じ車両内で並行的に撮影された車両内動画や、同じまたは近似する時間に同じまたは近似する場所で撮影された車両外動画はない。

第１欄７２のグループＩＤ「AAA00003」には、車両内で撮影された第８の動画データである「FILE_20191203_151046.MP4」とそのログデータである「FILE_20191203_151046.NMEA」が第２欄７４にて対応づけられている。これらのファイル名には、撮影日時である２０１９年１２月３日の１５時１０分４６秒を表す共通の文字列「20191203_151046」が含まれることでこの動画データにこのログデータが対応することが示される。第８の動画データは、例えば車両の前方を撮影する前方カメラにより撮影された動画である。

第１欄７２のグループＩＤ「AAA00003」には、第８の動画データと同じ車両内ではないが同じ車両に追随して並行的に撮影された第９の動画データである「DR_0313.MP4」とそのログデータである「FLY011.DAT」が第２欄７４にて車両内動画としてさらに対応づけられている。第９の動画データおよびログデータは、例えば車両を追跡しながら飛行していたドローンの内蔵カメラにより撮影された動画とその飛行ログである。

第１欄７２のグループＩＤ「AAA00003」には、第８の動画データと同じまたは近似する時間において同じまたは近似する場所で撮影された車両外動画としての第１０の動画データである「IMG_8145.MOV」が第３欄７６にてさらに対応づけられている。第１０の動画データは、例えば路上の歩行者からデジタルカメラで車両を撮影した動画である。

図３は、複数の動画データを並べて再生する画面例を模式的に示す。表示画面８０は、車両内動画領域８１、車両外動画領域９１、車両内動画タイムライン１００、車両外動画タイムライン１０２を有する。車両内動画領域８１には、第１車両内動画欄８２、第２車両内動画欄８４、第３車両内動画欄８６、地図欄８８が含まれる。車両外動画領域９１には、第１車両外動画欄９０、第２車両外動画欄９２、第３車両外動画欄９４が含まれる。車両内動画タイムライン１００には、再生対象として選択された、同じ車両内で並行的に撮影されて同一のグループＩＤに対応づけられた複数の車両内動画のそれぞれの再生開始タイミングと再生時間を表す複数の横棒が横軸上に表示される。本図の例では、車両内動画タイムライン１００には、第１車両内動画１１１、第２車両内動画１１２、第３車両内動画１１３の各横棒が表示される。車両外動画タイムライン１０２には、車両内動画タイムライン１００の各動画と同じまたは近似する時間に同じまたは近似する場所で撮影された複数の車両外動画のそれぞれの再生タイミングと再生時間を表す複数の横棒が横軸上に表示される。本図の例では、車両外動画タイムライン１０２には、第１車両外動画１１４、第２車両外動画１１５、第３車両外動画１１６、第４車両外動画１１７の各横棒が表示される。

車両内動画タイムライン１００と車両外動画タイムライン１０２において各横棒に交差する垂直線である再生位置ライン１１０は、現在再生中のフレーム位置ないしこれから再生するフレーム位置を示す。再生位置ライン１１０が車両内動画タイムライン１００および車両外動画タイムライン１０２の左端から右端に向かって時間進行に沿って移動するように表示され、再生位置ライン１１０と交差する横棒に対応する動画が、車両内動画タイムライン１００および車両外動画タイムライン１０２が示す再生位置にて第１車両内動画欄８２から第３車両外動画欄９４までのいずれかにおいて再生表示される。再生位置ライン１１０が左端の開始位置にあるときは、唯一、再生位置ライン１１０と交差する第１車両内動画１１１のみが再生開始され、再生位置ライン１１０が第１車両外動画１１４と交差したときに第１車両外動画１１４が再生開始される。このようにして、右方へ進行する再生位置ライン１１０と交差する順序である第２車両内動画１１２、第２車両外動画１１５、第３車両外動画１１６の順に再生が開始される。図に示す状態においては、再生位置ライン１１０と交差している第１車両内動画１１１が第１車両内動画欄８２に再生表示され、第２車両内動画１１２が第２車両内動画欄８４に再生表示され、第３車両内動画１１３が第３車両内動画欄８６に再生表示される。地図欄８８には、ログデータに基づいて再生中における車両の位置が地図上に示される。再生位置ライン１１０と交差する第１車両外動画１１４は、第１車両外動画欄９０に再生表示され、第２車両外動画１１５は第２車両外動画欄９２に再生表示され、第３車両外動画１１６は第３車両外動画欄９４に再生表示される。第２車両外動画欄９２には、第２車両外動画１１５の再生終了後、第４車両外動画１１７が再生表示される。

ここで、第１車両内動画１１１と第２車両内動画１１２のそれぞれに対して個別のログデータが対応づけられており、再生中の動画データに対応するログデータに基づいて地図が表示されるが、再生時間が重複する間はいずれか一つのログデータに基づいて地図欄８８に再生中における車両の位置が示される。これにより、ログデータが重複しても地図まで重複して表示することはせず、表示が煩雑となることを防ぐことができる。また、地図以外にも、撮影時間、移動速度、移動方向、加速度、衝突の有無などの他の情報を、再生中の動画データに対応するログデータに基づいて車両内動画領域８１に表示してもよい。この場合もまた、ログデータが重複しても表示は重複させず、再生表示が重複する間はいずれか一つのログデータに基づいて表示される。

第１車両内動画欄８２は、例えば主に車内の前方カメラによる車両前方の画像が再生される領域である。配置設定部４１は、第１車両内動画１１１のログデータを参照して第１車両内動画１１１が車両の前方の画像であることを判別し、表示領域として第１車両内動画欄８２に割り当ててもよい。あるいは、配置設定部４１は、第１車両内動画１１１の画像内容を画像解析して車両の前方の画像であることを判別し、表示領域として第１車両内動画欄８２に割り当ててもよい。

第２車両内動画欄８４は、例えば主に車内の後方カメラによる車両後方の画像が再生される領域である。配置設定部４１は、第２車両内動画１１２のログデータを参照して第２車両内動画１１２が車両の後方の画像であることを判別し、表示領域として第２車両内動画欄８４に割り当ててもよい。あるいは、配置設定部４１は、第２車両内動画１１２の画像内容を画像解析して車両の後方の画像であることを判別し、表示領域として第２車両内動画欄８４に割り当ててもよい。

第３車両内動画欄８６は、例えば主に車内で携帯電話内蔵カメラにより撮影された動画が再生される領域である。図のように、車両内動画領域８１の第１車両内動画欄８２、第２車両内動画欄８４、第３車両内動画欄８６は、車両外動画領域９１の各動画欄と比べて相対的に大きな表示領域である。また、第１車両内動画欄８２および第２車両内動画欄８４は第３車両内動画欄８６よりも大きな表示領域である。ユーザは第１車両内動画欄８２、第２車両内動画欄８４、第３車両内動画欄８６のいずれかを選択して拡大表示させ、その間は他の動画欄を縮小表示させ、または、下位のレイヤーに隠れるようにすることもできる。

画像抽出部２０によって車両内動画が４つ抽出され、これらを同時に再生表示する場合は、配置設定部４１は４つ目の動画を地図欄８８の領域にて再生表示させるように画面構成を切り替えてもよい。あるいは、画像抽出部２０によって車両内動画が５つ以上抽出され、これらを同時に再生表示する場合は、配置設定部４１は車両内動画領域８１を５つ以上に分割されるように再構成した画面に切り替えてもよい。あるいは、配置設定部４１は、ドライブレコーダにより撮影された動画データの表示を優先させ、他の動画データの数で残りの表示領域を分割するか、他の動画データのうちユーザが選択した動画だけを一つの第３車両内動画欄８６に入れ替えながら表示するようにしてもよい。

車両外動画領域９１の第１車両外動画欄９０、第２車両外動画欄９２、第３車両外動画欄９４には、車両外で撮影された動画が再生表示される。第１車両外動画欄９０には、例えば他の車両に設置されたドライブレコーダの画像である第１車両外動画１１４が再生表示される。第２車両外動画欄９２には、例えば路上の監視カメラの画像である第２車両外動画１１５が再生表示される。第３車両外動画欄９４には、例えば信号機に設置された監視カメラの画像である第３車両外動画１１６が再生表示される。画像抽出部２０により車両外動画が４つ以上抽出された場合は、出力部４０は第３車両外動画欄９４の下方にさらに表示領域を設けてその領域にて再生表示してもよいし、車両外動画領域９１を４つ以上に分割して再構成した画面に切り替えてもよいし、車両外動画のうちユーザが選択した動画だけを第１車両外動画欄９０、第２車両外動画欄９２、第３車両外動画欄９４に入れ替えながら再生表示してもよい。

以上により、例えば車内に複数台のドライブレコーダを設置した場合に、これらのドライブレコーダから取り出したメモリカード上の動画データを特に区別せずに画像取得部１２で読み出してデータ記憶部３０に格納できる。この場合でも、動画データの画像内容、音声内容、撮影時間、撮影位置、移動速度、加速度、衝突の有無等の情報に基づいて、これらを車両内動画と車両外動画等の他の動画に分類し、区別して再生表示することができる。特に、同じ車内に前方カメラと後方カメラを設置した場合や３台以上のドライブレコーダを設置した場合に、これらを通信ケーブル等で接続したり連携させたりしなくとも事後的に適切に動画の対応関係を認識して分類できる。また、これら複数台のドライブレコーダが異なるメーカーの製品であっても、適切に動画の対応関係を認識して分類できる。

また、複数の車両に設置された複数のドライブレコーダから取り出したメモリカード上の動画データを特に車両を区別せずに画像取得部１２で読み出してデータ記憶部３０に格納できる。この場合でも、動画データの画像内容、音声内容、撮影時間、撮影位置、移動速度、加速度、衝突の有無等の情報に基づいて、ある車両で撮影された動画と別の車両で撮影された動画とに分類し、区別して再生表示することができる。特に、タクシーやバス等の運輸会社や、トラック等の運送会社といった、複数台の車両の運行状況や違反、危険な運転、事故等を管理するような場合に、車両の区別をせずに動画データとログデータを１箇所に集約し、事後的に適切に車両と動画の対応関係を認識できる。

図４は、動画の取得から出力までの過程を示すフローチャートである。画像取得部１２が記録媒体１８から新たな動画データおよびその対応するログデータを読み出し（Ｓ１０）、データ記憶部３０に格納する（Ｓ１２）。車両内動画抽出部２１は、新たな動画データおよびそのログデータを他の格納済みの動画データおよびそのログデータと比較する（Ｓ１４）。その比較結果に基づき、車両内動画として他の動画データおよびログデータが抽出された場合（Ｓ１６のＹ）、その車両内動画が既にいずれかのグループＩＤに対応づけられていれば（Ｓ１８のＹ）、識別情報付与部２６はその新たな動画データおよびログデータを同一のグループＩＤに、車両内動画として対応づける（Ｓ２０）。抽出された車両内動画がいずれのグループＩＤにも対応づけられていなければ（Ｓ１８のＮ）、識別情報発行部２５はその新たな動画データおよびログデータと車両内動画に対して新しいグループＩＤを発行して識別情報付与部２６が対応づける（Ｓ２２）。Ｓ１６において車両内動画が抽出されない場合は（Ｓ１６のＮ）、識別情報発行部２５はその新たな動画データおよびログデータに対して新しいグループＩＤを発行して識別情報付与部２６が対応づける（Ｓ２２）。Ｓ２０またはＳ２２に続き、車両外動画抽出部２２がＳ１４の比較結果に基づき、車両外動画として他の動画データを抽出した場合（Ｓ２４のＹ）、識別情報付与部２６はこれらの動画データを同一のグループＩＤに、車両外動画として対応づける（Ｓ２６）。車両外動画が抽出されない場合はＳ２６の処理をスキップする（Ｓ２４のＮ）。配置設定部４１は、再生対象としてユーザに指定されたグループＩＤに対応づけられた車両内動画と車両外動画とを区別して画面内の個別の表示領域に配置する設定をし（Ｓ２８）、これらを表示処理部４２が時間経過に沿って同期して再生させる（Ｓ３０）。

以上、実施の形態において説明したように、複数台の撮影装置により撮影された動画データを適切に管理することができる。また、撮影時間と撮影場所を含む複数の撮影状況を示す要素を比較することで、その相関によって動画同士が同じ日時における同じ車両の通行場所で並行的に撮影された動画であることを簡便に判定することができる。また、同じ車両内で撮影された複数の動画データのそれぞれに対応して重複してログデータが生成されても、表示時にはログデータに基づく内容は重複して表示することはせず、表示が煩雑となることを防ぐことができる。例えば車内に複数台のドライブレコーダを設置した場合に、これらのドライブレコーダから取り出したメモリカード上の動画データを特に区別せずに画像取得部１２で読み出してデータ記憶部３０に格納できる。特に、同じ車内に前方カメラと後方カメラを設置した場合や３台以上のドライブレコーダを設置した場合に、これらをケーブルで接続したり連携させたりしなくとも事後的に適切に動画の対応関係を認識して分類できる。また、複数の車両に設置された複数のドライブレコーダから取り出したメモリカード上の動画データを特に車両を区別せずに画像取得部１２で読み出してデータ記憶部３０に格納できる。特に、タクシーやバス等の運輸会社や、トラック等の運送会社といった、複数台の車両の運行状況や違反、事故等を管理するような場合に、車両の区別をせずに動画データとログデータを１箇所に集約し、事後的に適切に車両と動画の対応関係を認識できる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、実施の形態においては複数の動画データおよびそのログデータを同一のグループＩＤに対応づけることによって管理する例を説明したが、変形例においては動画データだけでなく静止画データも同様の方法で管理することとしてもよい。すなわち、画像抽出部２０は、データ記憶部３０に保持された動画データおよび静止画データから、動画データのログデータや静止画データのＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）データに基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数のデータを抽出してもよい。静止画データを抽出する場合、Ｅｘｉｆデータに含まれる日時情報や位置情報を参照し、動画データと静止画データの組合せや静止画データ同士の組合せで複数のデータを抽出してもよい。その他、実施の形態における「動画」の語を、動画と静止画を含んだ「画像」の語で読み替え、同じ日時の同じ車両の通行場所で並行的に撮影された複数の動画データの組合せ、動画データと静止画データの組合せ、複数の静止画データの組合せを「車両内画像」としてもよい。画像分類部２４は、この車両内画像として抽出されたデータの組合せを、同一のグループＩＤに対応づける。なお、図３の車両内動画タイムライン１００および車両外動画タイムライン１０２にも静止画データは再生対象として表示され得るが、再生時間としては例えば最少時間である５秒程度の固定時間があらかじめ定められ、その再生時間に対応する横棒が表示されてもよい。

１０ 画像管理装置、 １２ 画像取得部、 １８ 記録媒体、 ２０ 画像抽出部、 ２４ 画像分類部、 ３０ データ記憶部、 ４０ 出力部、 ４９ 表示装置。

Claims (7)

1. 複数の撮影装置により撮影された複数の動画データを取得する画像取得部と、
   前記取得した複数の動画データを保持するデータ記憶部と、
   前記保持された複数の動画データおよびそれぞれに対応する撮影状況を示す情報に基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データを前記データ記憶部から抽出する画像抽出部と、
   並行的に撮影された画像として前記画像抽出部により抽出された複数の動画データを同一の識別情報に対応づける画像分類部と、
   を備えることを特徴とする画像管理装置。
2. 前記画像抽出部は、前記複数の動画データおよびそれぞれに対応する撮影状況を示す情報として、画像内容、音声内容、撮影時間、撮影位置、移動速度、加速度のうち少なくともいずれかを動画データ同士で比較し、その比較結果に基づいて所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データを抽出することを特徴とする請求項１に記載の画像管理装置。
3. 前記同一の識別情報に対応づけられた複数の動画データを他の動画データとは区別して出力する出力部をさらに備え、
   前記出力部は、前記同一の識別情報に対応づけられた複数の動画データを表示装置の画面に並べて表示するとともに、他の動画データとは区別して表示することを特徴とする請求項１または２に記載の画像管理装置。
4. 前記画像抽出部は、複数の動画データの間で撮影位置を示す情報を比較する場合、所定の同じ日時における撮影位置の差が互いに所定の許容範囲に収まる複数の動画データを同じ撮影場所で並行的に撮影されたとみなすことを特徴とする請求項１から３のいずれかに記載の画像管理装置。
5. 前記画像分類部は、一つの動画データを複数の識別情報に対応づける場合があることを特徴とする請求項１から４のいずれかに記載の画像管理装置。
6. 撮影装置により撮影された動画データを取得する過程と、
   取得した複数の動画データおよびそれぞれに対応する撮影状況を示す情報に基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データを抽出する過程と、
   並行的に撮影された画像として抽出された複数の動画データを同一の識別情報に対応づける過程と、
   前記同一の識別情報に対応づけられた複数の動画データを他の動画データとは区別して出力する過程と、
   を備えることを特徴とする画像管理方法。
7. 複数の撮影装置により撮影された複数の動画データを取得する機能と、
   前記取得した複数の動画データを保持する機能と、
   前記保持された複数の動画データおよびそれぞれに対応する撮影状況を示す情報に基づいて、所定の同じ日時における所定の同じ車両の通行場所で並行的に撮影された複数の動画データを抽出する機能と、
   並行的に撮影された画像として抽出された複数の動画データを同一の識別情報に対応づける機能と、
   前記同一の識別情報に対応づけられた複数の動画データを他の動画データとは区別して出力する機能と、
   をコンピュータに実現させることを特徴とする画像管理プログラム。

Images