JP2020170299A - 映像検索システム、タグ管理装置、コンピュータプログラム及び映像検索方法 - Google Patents

Abstract

【課題】ユーザが見たい内容が映っている映像を容易に検索することを図る。【解決手段】映像内容を識別するタグ情報を提供するタグ提供装置と、タグ情報を管理するタグ管理装置と、を備え、タグ提供装置は、タグ入力者が行う操作によりタグ情報の入力を受付けるタグ情報入力部と、入力されたタグ情報と当該タグ情報の入力時刻及び入力位置とをタグ管理装置へ送信するタグ情報送信部と、を備え、タグ管理装置は、タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納部と、タグ検索要求に応じて検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、特定された映像ファイルを映像収集装置から取得する映像取得部と、取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、を備える。【選択図】図１

Description

本発明は、映像検索システム、タグ管理装置、コンピュータプログラム及び映像検索方法に関する。

従来、車両が走行するルートを検索する際に、渋滞路を回避する迂回路の映像データを車載器に送信する技術が例えば特許文献１に記載されている。特許文献１に記載された従来技術では、収集車両が走行した走行ルートと、当該収集車両が当該走行ルートを走行した際に撮影された映像データとを関連付けて記憶した記憶装置から、車載の利用装置が要求に適合する適合ルートを示す走行データを検索して、検索された走行データに関連付けられた映像データを取得する。

国際公開第２０１７／１１９０８５号

しかし、上述した従来技術では、ユーザが走行したい道路の映像を検索することはできるが、ユーザが見たい内容が映っている映像を検索することは難しい。

本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザが見たい内容が映っている映像を容易に検索することを図ることにある。

（１）本発明の一態様は、映像内容を識別するタグ情報を提供するタグ提供装置と、前記タグ情報を管理するタグ管理装置と、を備え、前記タグ提供装置は、タグ入力者が行う操作により前記タグ情報の入力を受付けるタグ情報入力部と、前記入力された前記タグ情報と当該タグ情報の入力時刻及び入力位置とを前記タグ管理装置へ送信するタグ情報送信部と、を備え、前記タグ管理装置は、前記タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納部と、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、前記特定された映像ファイルを映像収集装置から取得する映像取得部と、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、を備える映像検索システムである。
（２）本発明の一態様は、前記タグデータ格納部は、タグ情報に関連付ける映像ファイルにおいて、当該タグ情報の入力時刻に合致する映像に当該タグ情報を関連付ける、上記（１）の映像検索システムである。
（３）本発明の一態様は、複数の車両に各々搭載される複数の前記映像収集装置を備え、前記映像収集装置は、自車両の外部を撮像する撮像部と、前記撮像部が撮像した撮像データの映像ファイルを格納する映像ファイル格納部と、前記映像ファイルの撮像時刻及び撮像位置を示すメタ情報を格納するメタ情報格納部と、前記メタ情報を前記タグ管理装置へ送信するメタ情報送信部と、を備え、前記タグデータ格納部は、前記映像収集装置から受信した前記メタ情報を、当該映像収集装置を識別する映像収集装置識別情報に関連付けて格納し、前記タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置を示す前記メタ情報に当該タグ情報を関連付ける、上記（１）又は（２）のいずれかの映像検索システムである。

（４）本発明の一態様は、映像内容を識別するタグ情報を提供するタグ提供装置と、前記タグ情報を管理するタグ管理装置と、を備え、前記タグ提供装置は、映像収集装置が格納する映像ファイルの映像を解析する画像解析部と、前記映像ファイルの映像の解析結果に基づいて当該映像についての前記タグ情報を生成するタグ生成部と、を備え、前記タグ管理装置は、前記タグ情報を該当する前記映像ファイルに関連付けて格納するタグデータ格納部と、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、前記特定された映像ファイルを前記映像収集装置から取得する映像取得部と、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、を備える映像検索システムである。
（５）本発明の一態様は、複数の車両に各々搭載される複数の前記映像収集装置を備え、前記映像収集装置は、自車両の外部を撮像する撮像部と、前記撮像部が撮像した撮像データの映像ファイルを格納する映像ファイル格納部と、前記映像ファイルに対応するメタ情報を格納するメタ情報格納部と、前記メタ情報を前記タグ管理装置へ送信するメタ情報送信部と、を備え、前記タグデータ格納部は、前記映像収集装置から受信した前記メタ情報を、当該映像収集装置を識別する映像収集装置識別情報に関連付けて格納し、前記タグ情報に該当する前記映像ファイルに対応する前記メタ情報に当該タグ情報を関連付ける、上記（４）の映像検索システムである。

（６）本発明の一態様は、映像内容を識別するタグ情報の入力がタグ入力者による操作により受付けられた入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納部と、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、前記特定された映像ファイルを映像収集装置から取得する映像取得部と、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、を備えるタグ管理装置である。

（７）本発明の一態様は、映像収集装置が格納する映像ファイルの映像の映像内容を識別するタグ情報であって当該映像の解析結果に基づいて生成された前記タグ情報を、該当する前記映像ファイルに関連付けて格納するタグデータ格納部と、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、前記特定された映像ファイルを前記映像収集装置から取得する映像取得部と、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、を備えるタグ管理装置である。

（８）本発明の一態様は、コンピュータに、映像内容を識別するタグ情報の入力がタグ入力者による操作により受付けられた入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報をタグデータ格納部に格納するタグデータ格納ステップと、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、前記特定された映像ファイルを映像収集装置から取得する映像取得ステップと、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信ステップと、を実行させるためのコンピュータプログラムである。

（９）本発明の一態様は、コンピュータに、映像収集装置が格納する映像ファイルの映像の映像内容を識別するタグ情報であって当該映像の解析結果に基づいて生成された前記タグ情報を、該当する前記映像ファイルに関連付けてタグデータ格納部に格納するタグデータ格納ステップと、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、前記特定された映像ファイルを前記映像収集装置から取得する映像取得ステップと、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信ステップと、を実行させるためのコンピュータプログラムである。

（１０）本発明の一態様は、タグ提供装置が、映像内容を識別するタグ情報の入力をタグ入力者による操作により受付けるタグ情報入力ステップと、前記タグ提供装置が、前記入力された前記タグ情報と当該タグ情報の入力時刻及び入力位置とをタグ管理装置へ送信するタグ情報送信ステップと、前記タグ管理装置が、前記タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納ステップと、前記タグ管理装置が、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、前記タグ管理装置が、前記特定された映像ファイルを映像収集装置から取得する映像取得ステップと、前記タグ管理装置が、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信ステップと、を含む映像検索方法である。

（１１）本発明の一態様は、タグ提供装置が、映像収集装置が格納する映像ファイルの映像を解析する画像解析ステップと、前記タグ提供装置が、前記映像ファイルの映像の解析結果に基づいて当該映像についての映像内容を識別するタグ情報を生成するタグ生成ステップと、タグ管理装置が、前記タグ情報を該当する前記映像ファイルに関連付けて格納するタグデータ格納ステップと、前記タグ管理装置が、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、前記タグ管理装置が、前記特定された映像ファイルを前記映像収集装置から取得する映像取得ステップと、前記タグ管理装置が、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、を含む映像検索方法である。

本発明によれば、ユーザが見たい内容が映っている映像を容易に検索することができるという効果が得られる。

一実施形態に係る映像検索システムの構成例を示すブロック図である。 一実施形態に係る映像検索方法の手順の例を示すフローチャートである。 一実施形態に係る映像検索システムの構成例を示すブロック図である。 一実施形態に係る映像検索方法の手順の例を示すフローチャートである。

以下、図面を参照し、本発明の実施形態について説明する。

［第１実施形態］
図１は、第１実施形態に係る映像検索システムの構成例を示すブロック図である。図１において、映像収集装置１は、自動車等の車両や飛行体などの移動体に搭載される装置であってもよく、又は、街中や路側帯等に設置された装置であってもよい。以下の説明では、映像収集装置１として、車両に搭載されるものを例に挙げる。車両は、自動車であってもよく、又は、自転車であってもよい。映像収集装置１は、例えば、車両に搭載されるドライブレコーダであってもよい。本実施形態に係る映像検索システムは、複数の映像収集装置１を備える。それら複数の映像収集装置１はそれぞれ別個の車両に搭載されるものである。各映像収集装置１は、通信ネットワークを介して、タグ管理装置３と通信を行う。

タグ提供装置２は、タグ入力者が操作する装置である。タグ提供装置２は、通信ネットワークを介して、タグ管理装置３と通信を行う。映像表示装置４は、映像検索システムのユーザが映像の検索及び閲覧に使用する装置である。映像表示装置４は、通信ネットワークを介して、タグ管理装置３と通信を行う。タグ提供装置２及び映像表示装置４は、例えば、スマートフォンやタブレット型のコンピュータ（タブレットＰＣ）等の携帯通信端末装置であってもよく、又は、据置き型の通信端末装置（例えば、据置き型のパーソナルコンピュータ等）であってもよい。

タグ提供装置２は、映像に映っている内容（映像内容）を識別するタグ情報をタグ管理装置３へ提供する。以下、タグ情報とは、映像内容を識別する情報のことを言う。タグ管理装置３は、タグ情報を管理する。

［映像収集装置］
映像収集装置１は、撮像部１０１と、位置計測部１０２と、映像ファイル格納部１０３と、メタ情報格納部１０４と、メタ情報送信部１０５と、ファイル検索部１０６と、映像ファイル送信部１０７とを備える。映像収集装置１は、車両に搭載されるものである。

撮像部１０１は、映像収集装置１が搭載される車両（自車両）の外部を撮像する。撮像部１０１は、映像収集装置１が搭載される車両（自車両）の外部を撮像するように、撮像方向が設定される。撮像方向は、自車両の進行方向、自車両の進行方向の逆方向、自車両の側方などである。また、撮像部１０１は、同時に複数の撮像方向を撮像することができるものであってもよい。例えば、撮像部１０１は、自車両の進行方向及び側方を同時に撮像するものであってもよい。

撮像部１０１は、撮像した撮像データを一時的に撮像バッファに保持し、一定の周期または一定の保持容量になったタイミングで、撮像バッファに保持する撮像データをＭＰＥＧ−４等の形式でファイル化する。撮像部１０１は、例えば、自動車に搭載されたドライブレコーダに備えられるものであって、撮像データは当該自動車の周囲の状況が撮像された撮像データである。

位置計測部１０２は、撮像部１０１の撮像時の位置（撮像位置）を計測する。位置計測部１０２は、例えば、ドライブレコーダがＧＰＳ（Global Positioning System）受信機を備える場合、ＧＰＳにより測定された位置を撮像位置として取得する。

映像ファイル格納部１０３は、撮像部１０１が撮像しファイル化した映像ファイルを格納する。映像ファイル格納部１０３には、映像ファイルの識別情報（映像ファイルＩＤ）と、当該映像ファイルとが関連付けて格納される。

メタ情報格納部１０４は、撮像部１０１が撮像しファイル化した映像ファイルに対応するメタ情報を、当該映像ファイルの映像ファイルＩＤに関連付けて格納する。映像ファイルに対応するメタ情報は、当該映像ファイルについての撮像時刻と位置計測部１０２の計測結果の撮像位置とを含む情報である。

映像ファイルについての撮像時刻は、当該映像ファイルの映像が撮像開始された撮像開始時刻であってもよく、又は、当該映像ファイルの映像が撮像開始された撮像開始時刻から撮像終了した撮像終了時刻までの撮像時間帯であってもよい。映像ファイルについての撮像位置は、撮像部１０１が撮像開始した撮像開始位置であってもよく、又は、当該映像ファイルの映像が撮像開始された撮像開始位置から撮像終了した撮像終了位置までの移動経路を含む当該移動経路から一定の位置範囲である撮像位置範囲であってもよい。

メタ情報送信部１０５は、自己の映像収集装置１を識別する映像収集装置識別情報（映像収集装置ＩＤ）をメタ情報に付加した映像収集装置ＩＤ付きメタ情報を、タグ管理装置３へ送信する。映像収集装置ＩＤ付きメタ情報をタグ管理装置３へ送信するタイミングは、一定の周期であってもよく、又は、通信ネットワークに接続したタイミングであってもよい。メタ情報送信部１０５は、例えば、一定の周期でＬＴＥ（Long Term Evolution）通信により映像収集装置ＩＤ付きメタ情報を送信してもよいし、無線ＬＡＮ（Local Area Network）等の無線通信ネットワークに接続したタイミングで映像収集装置ＩＤ付きの複数のメタ情報を一括して送信してもよい。

ファイル検索部１０６は、タグ管理装置３から受信した映像ファイル要求が示す撮像時刻及び撮像位置に該当するメタ情報を、メタ情報格納部１０４から検索する。ファイル検索部１０６は、当該検索の結果のメタ情報に関連付けられた映像ファイルＩＤを、映像ファイル送信部１０７へ通知する。

映像ファイル送信部１０７は、ファイル検索部１０６から通知された映像ファイルＩＤに関連付けられた映像ファイルを映像ファイル格納部１０３から取得し、取得した映像ファイルをタグ管理装置３へ送信する。

［タグ提供装置］
タグ提供装置２は、タグ情報入力部２０１と、タグ情報送信部２０２とを備える。

タグ情報入力部２０１は、タグ入力者が行う操作によりタグ情報の入力を受付ける。タグ入力者は、特定の者であってもよく、又は、不特定の者であってもよい。タグ入力者として一般の不特定の者からタグ情報の入力を受付けることにより、広くタグ情報を収集することができる。タグ情報は、テキストにより入力されてもよく、又は、音声により入力されてもよい。

タグ情報は、映像内容を識別する情報であればよい。例えば、桜や花見客等の花見の風景が映っている映像に対して、タグ情報「花見」が挙げられる。例えば、海の家や浜辺等の海水浴の風景が映っている映像に対して、タグ情報「海水浴」が挙げられる。例えば、特定の店舗として例えばラーメン屋が映っている映像に対して、タグ情報「ラーメン屋」が挙げられる。例えば、門松や初詣等の正月の風景が映っている映像に対して、タグ情報「正月」が挙げられる。例えば、出店や神輿等の祭りの風景が映っている映像に対して、タグ情報「祭り」が挙げられる。例えば、交通渋滞の風景が映っている映像に対して、タグ情報「渋滞」が挙げられる。例えば、交通事故の風景が映っている映像に対して、タグ情報「事故」が挙げられる。

タグ入力者は、例えばスマートフォンのカメラで撮像した時に、撮像画像に映っている内容についてのタグ情報を入力する操作を行ってもよい。また、タグ入力者は、例えばスマートフォンによりＡＲ（Augmented Reality：拡張現実）アプリケーションを実行している時に、ＡＲ画面に映っている内容についてのタグ情報を入力する操作を行ってもよい。

タグ情報送信部２０２は、タグ情報入力部２０１により入力されたタグ情報と当該タグ情報の入力時刻及び入力位置とをタグ管理装置３へ送信する。

タグ情報の入力時刻は、タグ情報入力部２０１が当該タグ情報の入力を受付けた受付時刻であってもよく、又は、当該受付時刻を含む一定範囲の時間帯であってもよい。また、タグ情報に有効期限を付加してもよい。有効期限付きタグ情報は、有効期限内で有効なものであって、有効期限が切れると無効な情報として扱われるものである。

タグの入力位置は、タグ情報入力部２０１が当該タグ情報の入力を受付けた受付場所であってもよく、又は、当該受付場所を含む一定の位置範囲であってもよい。

［タグ管理装置］
タグ管理装置３は、タグデータ格納部３０１と、タグ検索要求受信部３０２と、映像ファイル特定部３０３と、映像取得部３０４と、映像送信部３０５とを備える。タグ管理装置３の各機能は、タグ管理装置３が備えるＣＰＵ（Central Processing Unit：中央演算処理装置）がコンピュータプログラムを実行することにより実現される。なお、タグ管理装置３として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、タグ管理装置３は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成される。

タグデータ格納部３０１は、タグ提供装置２から受信したタグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納する。具体的には、タグデータ格納部３０１は、映像収集装置１から受信した映像収集装置ＩＤ付きメタ情報を基に、当該メタ情報を当該映像収集装置ＩＤに関連付けて格納する。タグデータ格納部３０１に格納されるメタ情報は、映像収集装置１が映像ファイル格納部１０３に格納する映像ファイルのメタ情報であって、映像ファイルについての撮像時刻及び撮像位置を示す情報を含む情報である。タグデータ格納部３０１は、タグ提供装置２から受信したタグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置を示すメタ情報に当該タグ情報を関連付ける。これにより、タグデータ格納部３０１において、タグ情報の入力時刻に撮像時刻が該当し且つ当該タグ情報の入力位置に撮像位置が該当するメタ情報に対して、当該タグ情報が関連付けられる。

入力時刻に該当する撮像時刻であることの判断条件として、入力時刻が一時刻である場合には当該一時刻を含む一定範囲の時間帯に重複する撮像時刻であり、他方、入力時刻が時間帯である場合には当該時間帯に重複する撮像時刻である。入力位置に該当する撮像位置であることの判断条件として、入力位置が一位置ある場合には当該一位置を含む一定範囲に重複する撮像位置であり、他方、入力位置が位置範囲である場合には当該位置範囲に重複する撮像位置である。

タグ検索要求受信部３０２は、映像表示装置４からタグ検索要求を受信する。タグ検索要求は、検索対象のタグ情報を含む検索条件を通知するメッセージである。検索条件は、一つの検索対象のタグ情報から構成されてもよく、又は、複数の検索対象のタグ情報から構成されてもよい。例えば、検索条件は、複数の検索対象のタグ情報を使用したアンド（ＡＮＤ）条件やオア（ＯＲ）条件であってもよい。

映像ファイル特定部３０３は、タグ検索要求受信部３０２が映像表示装置４から受信したタグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する。具体的には、映像ファイル特定部３０３は、タグ検索要求の検索条件に従って、タグデータ格納部３０１において検索対象のタグ情報に関連付けられたメタ情報を検索する。映像ファイル特定部３０３は、当該検索結果のメタ情報と当該メタ情報に関連付けられた映像収集装置ＩＤとをタグデータ格納部３０１から取得する。映像ファイル特定部３０３は、取得したメタ情報が示す撮像時刻及び撮像位置と当該メタ情報に関連付けられた映像収集装置ＩＤとを映像取得部３０４へ通知する。

映像取得部３０４は、映像ファイル特定部３０３から通知された撮像時刻及び撮像位置と映像収集装置ＩＤとに基づいて、当該映像収集装置ＩＤの映像収集装置１に対して、当該撮像時刻及び撮像位置に該当する映像ファイルを要求（映像ファイル要求）する。映像取得部３０４は、当該映像ファイル要求の応答として、当該撮像時刻及び撮像位置に該当する映像ファイルを当該映像収集装置ＩＤの映像収集装置１から受信する。

映像送信部３０５は、映像取得部３０４が映像収集装置１から取得した映像ファイルをタグ検索要求元の映像表示装置４へ送信する。

なお、タグデータ格納部３０１は、タグ情報に関連付ける映像ファイルにおいて、当該タグ情報の入力時刻に合致する映像に当該タグ情報を関連付けるようにしてもよい。具体的には、タグデータ格納部３０１は、タグ情報に関連付けるメタ情報の撮像時刻を基に、当該タグ情報の入力時刻に合致する映像の再生時間帯を推定する。タグデータ格納部３０１は、当該推定結果の再生時間帯を当該タグ情報及びメタ情報に関連付けて格納する。映像ファイル特定部３０３は、タグ検索要求に応じて検索した結果のメタ情報に関連付けられた再生時間帯を、映像取得部３０４に通知する。映像取得部３０４は、映像収集装置１から取得した映像ファイルと映像ファイル特定部３０３から通知された再生時間帯を示す再生時間帯情報とを映像送信部３０５へ渡す。映像送信部３０５は、当該映像ファイル及び再生時間帯情報をタグ検索要求元の映像表示装置４へ送信する。これにより、映像表示装置４は、当該映像ファイルにおいて再生時間帯情報で示される再生時間帯の映像、つまり、タグ検索要求の検索条件に合致する映像を容易に再生することができる。

［映像表示装置］
映像表示装置４は、検索入力部４０１と、タグ検索要求送信部４０２と、映像表示部４０３とを備える。

検索入力部４０１は、ユーザが行う操作により検索条件の入力を受付ける。検索条件は、テキストにより入力されてもよく、又は、音声により入力されてもよい。検索条件は、一つの検索対象のタグ情報から構成されてもよく、又は、複数の検索対象のタグ情報から構成されてもよい。例えば、検索条件は、複数の検索対象のタグ情報を使用したアンド（ＡＮＤ）条件やオア（ＯＲ）条件であってもよい。

タグ検索要求送信部４０２は、検索入力部４０１により入力された検索対象のタグ情報を含む検索条件を通知するメッセージであるタグ検索要求を、タグ管理装置３へ送信する。

映像表示部４０３は、タグ管理装置３から受信した映像ファイルを再生して表示装置に映像を表示させる。また、映像表示部４０３は、タグ管理装置３から映像ファイル及び再生時間帯情報を受信した場合、当該映像ファイルにおいて再生時間帯情報で示される再生時間帯の映像を優先して表示装置に表示させる。当該再生時間帯の映像は、ユーザが入力した検索条件に合致する映像である。これにより、ユーザが映像ファイルにより再生された映像を閲覧しながら所望の映像（検索条件に合致する映像）を探す手間が省けると共に、閲覧時間の短縮を図ることができる。

次に図２を参照して本実施形態に係る映像検索方法を説明する。図２は、本実施形態に係る映像検索方法の手順の例を示すフローチャートである。

（ステップＳ１） タグ提供装置２は、タグ入力者が行う操作によりタグ情報の入力を受付ける。

（ステップＳ２） タグ提供装置２は、当該入力されたタグ情報と当該タグ情報の入力時刻及び入力位置とをタグ管理装置３へ送信する。

（ステップＳ３） タグ管理装置３は、タグ提供装置２から受信したタグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納する。

（ステップＳ４） タグ管理装置３は、映像表示装置４からタグ検索要求を受信したか否かを判断する。タグ検索要求を受信した場合にはステップＳ５に進む。

（ステップＳ５） タグ管理装置３は、映像表示装置４から受信したタグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する。

（ステップＳ６） タグ管理装置３は、当該特定された映像ファイルを映像収集装置１から取得する。

（ステップＳ７） タグ管理装置３は、当該取得された映像ファイルをタグ検索要求元の映像表示装置４へ送信する。

上述した第１実施形態によれば、ユーザが見たい内容が映っている映像を容易に検索することができる。また、タグ入力者から入力を受付けたタグ情報が該当の映像ファイルに自動的に関連付けられるので、タグ付けにかかる負担が軽減される。一般に、記録された映像に対して当該映像に映っている内容を識別するタグを付加するためには、作業者が映像ごとに映像内容を確認して適切なタグを付加する。しかしながら、記録された映像が多数存在する場合や複数の記録装置にそれぞれ複数の映像が記録されている場合では、映像ごとに映像内容を確認して適切なタグを付加することは煩雑であり負担が大きい。本実施形態によれば、自動的にタグ付けされるので、タグ付け作業の負担軽減に大変効果がある。

［第２実施形態］
図３は、第２実施形態に係る映像検索システムの構成例を示すブロック図である。図３において、図１の各部に対応する部分には同一の符号を付け、その説明を省略する。第２実施形態では、映像収集装置１ａが、映像ファイル格納部１０３に格納される映像ファイルについてのタグ情報を生成する。

図３に示される映像収集装置１ａは、教師データ部１０８と、画像解析部１０９と、タグ生成部１１０とをさらに備える。また、映像収集装置１ａは、図１に示されるメタ情報送信部１０５の代わりに、メタ情報タグ送信部１１１を備える。本実施形態において映像収集装置１ａに備わる教師データ部１０８、画像解析部１０９、タグ生成部１１０及びメタ情報タグ送信部１１１は、タグ提供装置に対応する。

教師データ部１０８は、映像の画像解析に使用される教師データを格納する。教師データは、例えば、通信ネットワークを介して取得及び更新されてもよい。画像解析部１０９は、映像ファイル格納部１０３に格納された映像ファイルの映像を教師データ部１０８に格納された教師データに基づいて画像解析し、当該映像に映っている物体や状況を認識する。

タグ生成部１１０は、画像解析部１０９による映像ファイルの映像の解析により得られた当該映像に映っている物体や状況の認識結果に基づいて、当該映像についての映像内容を識別するタグ情報を生成する。

メタ情報タグ送信部１１１は、映像ファイル格納部１０３に格納された映像ファイルに対応するメタ情報に、自己の映像収集装置１の映像収集装置ＩＤとタグ生成部１１０が生成した当該映像ファイルについてのタグ情報とを付加した映像収集装置ＩＤタグ付きメタ情報を、タグ管理装置３へ送信する。

タグ管理装置３のタグデータ格納部３０１は、映像収集装置１ａから受信した映像収集装置ＩＤタグ付きメタ情報を基に、当該メタ情報を当該映像収集装置ＩＤ及び当該タグ情報に関連付けて格納する。

（タグ情報生成方法）
本実施形態に係るタグ情報生成方法の例を以下に説明する。

（タグ情報生成方法の例１）
画像解析部１０９は、映像ファイルの映像を教師データに基づいて画像解析し、当該映像に映っているテキスト（文字列）を認識する。タグ生成部１１０は、タグテキストテーブルを備える。

タグテキストテーブルは、複数のテキストについて、テキストと当該テキストの内容を識別するタグ情報とが関連付けられた表形式データである。タグテキストテーブルに格納されるテキストとタグ情報の組の一例として、ガソリンスタンドに設置されたガソリン価格表示ボードが撮像された映像に映る「レギュラー １５０円／Ｌ」に関するものとして、テキストとタグ情報の組「（テキスト：レギュラー ｘｘｘ円）、（タグ情報：ガソリン価格）」が挙げられる（但し、ｘｘｘは値が決められていないこと（don't care）を表す）。

タグ生成部１１０は、画像解析部１０９による映像ファイルの映像の解析により得られた当該映像に映っているテキストの認識結果とタグテキストテーブルとに基づいて、認識結果のテキストに組み合わされたタグ情報を、タグテキストテーブルから取得する。タグ生成部１１０は、タグテキストテーブルから取得したタグ情報を、当該映像についてのタグ情報に決定する。

（タグ情報生成方法の例２）
画像解析部１０９は、映像ファイルの映像を教師データに基づいて画像解析し、当該映像に映っている車両の走行速度や走行方向の状況（車両走行状況）を認識する。タグ生成部１１０は、タグ車両走行状況テーブルを備える。

タグ車両走行状況テーブルは、複数の車両走行状況について、車両走行状況と当該車両走行状況の内容を識別するタグ情報とが関連付けられた表形式データである。タグ車両走行状況テーブルに格納される車両走行状況とタグ情報の組の一例として、交通事故の状況が撮像された映像に映る車両走行状況に関するものとして、車両走行状況とタグ情報の組「（車両走行状況：車両の走行速度又は走行方向が急激に（一定の変化幅を超えて）変化する）、（タグ情報：事故）」が挙げられる。他の例として、交通渋滞の状況が撮像された映像に映る車両走行状況に関するものとして、車両走行状況とタグ情報の組「（車両走行状況：車両の走行速度が一定時間継続して所定速度以下である）、（タグ情報：渋滞）」が挙げられる。

タグ生成部１１０は、画像解析部１０９による映像ファイルの映像の解析により得られた当該映像に映っている車両走行状況の認識結果とタグ車両走行状況テーブルとに基づいて、認識結果の車両走行状況に組み合わされたタグ情報を、タグ車両走行状況テーブルから取得する。タグ生成部１１０は、タグ車両走行状況テーブルから取得したタグ情報を、当該映像についてのタグ情報に決定する。

なお、上述したタグテキストテーブルやタグ車両走行状況テーブルは、第１実施形態に係るタグ提供装置２においてタグ入力者がある映像に対して付加したタグ情報と、当該映像の映像内容を示す映像内容情報とを関連付けたタグ付き映像内容情報を使用して、作成されてもよい。

次に図４を参照して本実施形態に係る映像検索方法を説明する。図４は、本実施形態に係る映像検索方法の手順の例を示すフローチャートである。

（ステップＳ１１） 映像収集装置１ａにおいて、映像ファイル格納部１０３は、撮像部１０１が撮像しファイル化した映像ファイルを格納する。

（ステップＳ１２） 画像解析部１０９は、映像ファイル格納部１０３に格納された映像ファイルの映像を教師データ部１０８に格納された教師データに基づいて画像解析し、当該映像に映っている物体や状況を認識する。

（ステップＳ１３） タグ生成部１１０は、画像解析部１０９による映像ファイルの映像の解析により得られた当該映像に映っている物体や状況の認識結果に基づいて、当該映像についてのタグ情報を生成する。

（ステップＳ１４） メタ情報タグ送信部１１１は、映像ファイル格納部１０３に格納された映像ファイルに対応するメタ情報に、自己の映像収集装置１の映像収集装置ＩＤとタグ生成部１１０が生成した当該映像ファイルについてのタグ情報とを付加した映像収集装置ＩＤタグ付きメタ情報を、タグ管理装置３へ送信する。

（ステップＳ１５） タグ管理装置３において、タグデータ格納部３０１は、映像収集装置１ａから受信した映像収集装置ＩＤタグ付きメタ情報を基に、当該メタ情報を当該映像収集装置ＩＤ及び当該タグ情報に関連付けて格納する。

（ステップＳ１６） タグ管理装置３は、映像表示装置４からタグ検索要求を受信したか否かを判断する。タグ検索要求を受信した場合にはステップＳ１７に進む。

（ステップＳ１７） タグ管理装置３は、映像表示装置４から受信したタグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する。

（ステップＳ１８） タグ管理装置３は、当該特定された映像ファイルを映像収集装置１ａから取得する。

（ステップＳ１９） タグ管理装置３は、当該取得された映像ファイルをタグ検索要求元の映像表示装置４へ送信する。

上述した第２実施形態によれば、第１実施形態と同様に、ユーザが見たい内容が映っている映像を容易に検索することができる。また、映像ファイルについてのタグ情報が自動的に生成されるので、タグ付けにかかる負担が軽減される。

また、近年、撮像機能を有するドライブレコーダが普及し、一般の多数の車両が走行時の自車両の外部をドライブレコーダで撮像して記録するようになってきている。上述した第１実施形態及び第２実施形態によれば、それらのドライブレコーダを映像収集装置として利用することにより、各ドライブレコーダに記録された映像を活用することができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

上述した実施形態では、映像収集装置として車両に搭載されるものを例に挙げて説明したが、映像収集装置は、車両以外の例えば飛行体などの移動体に搭載されるものであってもよく、又は、街中や路側帯等に設置されたものであってもよい。

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１，１ａ…映像収集装置、２…タグ提供装置、３…タグ管理装置、４…映像表示装置、１０１…撮像部、１０２…位置計測部、１０３…映像ファイル格納部、１０４…メタ情報格納部、１０５…メタ情報送信部、１０６…ファイル検索部、１０７…映像ファイル送信部、１０８…教師データ部、１０９…画像解析部、１１０…タグ生成部、１１１…メタ情報タグ送信部、２０１…タグ情報入力部、２０２…タグ情報送信部、３０１…タグデータ格納部、３０２…タグ検索要求受信部、３０３…映像ファイル特定部、３０４…映像取得部、３０５…映像送信部、４０１…検索入力部、４０２…タグ検索要求送信部、４０３…映像表示部

Claims (11)

1. 映像内容を識別するタグ情報を提供するタグ提供装置と、
   前記タグ情報を管理するタグ管理装置と、を備え、
   前記タグ提供装置は、
   タグ入力者が行う操作により前記タグ情報の入力を受付けるタグ情報入力部と、
   前記入力された前記タグ情報と当該タグ情報の入力時刻及び入力位置とを前記タグ管理装置へ送信するタグ情報送信部と、を備え、
   前記タグ管理装置は、
   前記タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納部と、
   タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、
   前記特定された映像ファイルを映像収集装置から取得する映像取得部と、
   前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、
   を備える映像検索システム。
2. 前記タグデータ格納部は、タグ情報に関連付ける映像ファイルにおいて、当該タグ情報の入力時刻に合致する映像に当該タグ情報を関連付ける、
   請求項１に記載の映像検索システム。
3. 複数の車両に各々搭載される複数の前記映像収集装置を備え、
   前記映像収集装置は、
   自車両の外部を撮像する撮像部と、
   前記撮像部が撮像した撮像データの映像ファイルを格納する映像ファイル格納部と、
   前記映像ファイルの撮像時刻及び撮像位置を示すメタ情報を格納するメタ情報格納部と、
   前記メタ情報を前記タグ管理装置へ送信するメタ情報送信部と、を備え、
   前記タグデータ格納部は、
   前記映像収集装置から受信した前記メタ情報を、当該映像収集装置を識別する映像収集装置識別情報に関連付けて格納し、
   前記タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置を示す前記メタ情報に当該タグ情報を関連付ける、
   請求項１又は２のいずれか１項に記載の映像検索システム。
4. 映像内容を識別するタグ情報を提供するタグ提供装置と、
   前記タグ情報を管理するタグ管理装置と、を備え、
   前記タグ提供装置は、
   映像収集装置が格納する映像ファイルの映像を解析する画像解析部と、
   前記映像ファイルの映像の解析結果に基づいて当該映像についての前記タグ情報を生成するタグ生成部と、を備え、
   前記タグ管理装置は、
   前記タグ情報を該当する前記映像ファイルに関連付けて格納するタグデータ格納部と、
   タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、
   前記特定された映像ファイルを前記映像収集装置から取得する映像取得部と、
   前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、
   を備える映像検索システム。
5. 複数の車両に各々搭載される複数の前記映像収集装置を備え、
   前記映像収集装置は、
   自車両の外部を撮像する撮像部と、
   前記撮像部が撮像した撮像データの映像ファイルを格納する映像ファイル格納部と、
   前記映像ファイルに対応するメタ情報を格納するメタ情報格納部と、
   前記メタ情報を前記タグ管理装置へ送信するメタ情報送信部と、を備え、
   前記タグデータ格納部は、
   前記映像収集装置から受信した前記メタ情報を、当該映像収集装置を識別する映像収集装置識別情報に関連付けて格納し、
   前記タグ情報に該当する前記映像ファイルに対応する前記メタ情報に当該タグ情報を関連付ける、
   請求項４に記載の映像検索システム。
6. 映像内容を識別するタグ情報の入力がタグ入力者による操作により受付けられた入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納部と、
   タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、
   前記特定された映像ファイルを映像収集装置から取得する映像取得部と、
   前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、
   を備えるタグ管理装置。
7. 映像収集装置が格納する映像ファイルの映像の映像内容を識別するタグ情報であって当該映像の解析結果に基づいて生成された前記タグ情報を、該当する前記映像ファイルに関連付けて格納するタグデータ格納部と、
   タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定部と、
   前記特定された映像ファイルを前記映像収集装置から取得する映像取得部と、
   前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、
   を備えるタグ管理装置。
8. コンピュータに、
   映像内容を識別するタグ情報の入力がタグ入力者による操作により受付けられた入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報をタグデータ格納部に格納するタグデータ格納ステップと、
   タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、
   前記特定された映像ファイルを映像収集装置から取得する映像取得ステップと、
   前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信ステップと、
   を実行させるためのコンピュータプログラム。
9. コンピュータに、
   映像収集装置が格納する映像ファイルの映像の映像内容を識別するタグ情報であって当該映像の解析結果に基づいて生成された前記タグ情報を、該当する前記映像ファイルに関連付けてタグデータ格納部に格納するタグデータ格納ステップと、
   タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、
   前記特定された映像ファイルを前記映像収集装置から取得する映像取得ステップと、
   前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信ステップと、
   を実行させるためのコンピュータプログラム。
10. タグ提供装置が、映像内容を識別するタグ情報の入力をタグ入力者による操作により受付けるタグ情報入力ステップと、
    前記タグ提供装置が、前記入力された前記タグ情報と当該タグ情報の入力時刻及び入力位置とをタグ管理装置へ送信するタグ情報送信ステップと、
    前記タグ管理装置が、前記タグ情報の入力時刻及び入力位置に該当する撮像時刻及び撮像位置の映像ファイルに関連付けて当該タグ情報を格納するタグデータ格納ステップと、
    前記タグ管理装置が、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、
    前記タグ管理装置が、前記特定された映像ファイルを映像収集装置から取得する映像取得ステップと、
    前記タグ管理装置が、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信ステップと、
    を含む映像検索方法。
11. タグ提供装置が、映像収集装置が格納する映像ファイルの映像を解析する画像解析ステップと、
    前記タグ提供装置が、前記映像ファイルの映像の解析結果に基づいて当該映像についての映像内容を識別するタグ情報を生成するタグ生成ステップと、
    タグ管理装置が、前記タグ情報を該当する前記映像ファイルに関連付けて格納するタグデータ格納ステップと、
    前記タグ管理装置が、タグ検索要求に応じて、検索対象のタグ情報に関連付けられた映像ファイルを特定する映像ファイル特定ステップと、
    前記タグ管理装置が、前記特定された映像ファイルを前記映像収集装置から取得する映像取得ステップと、
    前記タグ管理装置が、前記取得された映像ファイルをタグ検索要求元の装置へ送信する映像送信部と、
    を含む映像検索方法。

Images