JP2010021638A - タグ情報付加装置、タグ情報付加方法及びコンピュータプログラム - Google Patents

Abstract

【課題】複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加する。
【解決手段】動画処理装置１６は、ＧＰＳ部１４により検出された現在位置と地図データに基づいて、現在位置近傍の地理的な名称を周辺キーワードとして抽出するとともに音声認識装置１５により音声を認識し、音声が認識されない場合に周辺キーワードを現在位置が検出された時点の画像フレームに対してタグ情報として付加し、音声が認識された場合に、認識された音声から名詞を抽出して音声が認識された時点の画像フレームに対してタグ情報として付加する。
【選択図】図２

Description

本発明は、複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を付加するタグ情報付加装置、タグ情報付加方法及びコンピュータプログラムに関する。
本発明は特に、ビデオカメラにより撮影された動画像ファイルや、スチルカメラなどにより撮影された静止画ファイルを構成する複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加するタグ情報付加装置、タグ情報付加方法及びコンピュータプログラムに関する。

従来技術として下記の特許文献１には、作業者が再生中の動画の所望のフレームなどを強調表示させるためにそのフレームにタグを付加するための入力操作を行う方法が記載されている。また、他の従来技術として下記の特許文献２には、作業者が画像フレーム内の所望の部分領域にキー画像を付加するための入力操作を行う方法が記載されている。
特開２００５−１８１５９９号公報（図１３） 特開２００７−１９７６８号公報（図１０）

しかしながら、上記従来技術では、作業者がタグを付加するための入力操作を行う必要があるので、入力操作作業に膨大な時間がかかるという問題点がある。

本発明は上記従来技術の問題点に鑑み、動画像ファイルや静止画ファイルを構成する複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加することができるタグ情報付加装置、タグ情報付加方法及びコンピュータプログラムを提供することを目的とする。

本発明は上記目的を達成するために、撮像手段により撮像されて生成された複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加するタグ情報付加装置であって、
前記撮像手段による撮像中に前記撮像手段の現在位置を検出する現在位置検出手段と、
前記現在位置検出手段により検出された現在位置に基づき、地理的な名称を有する地図データを用いて、現在位置近傍の地理的な名称を周辺キーワードとして抽出する周辺キーワード抽出手段と、
前記撮像手段による撮像中にユーザの音声を認識する音声認識手段と、
前記音声認識手段により音声が認識されない場合に、前記周辺キーワード抽出手段により抽出された周辺キーワードを、前記現在位置が検出された時点の画像フレームに対してタグ情報として付加する第１のタグ情報付加手段と、
前記音声認識手段により音声が認識された場合に、認識された音声から名詞を抽出して前記音声が認識された時点の画像フレームに対してタグ情報として付加する第２のタグ情報付加手段とを、
備えたことを特徴とする。

また、前記第２のタグ情報付加手段は、前記抽出した名詞と、前記周辺キーワード抽出手段により抽出された周辺キーワードを比較し、一致した名詞を前記音声が認識された時点の画像フレームに対してタグ情報として付加することを特徴とする。
また、前記第１、第２のタグ情報付加手段はそれぞれ、前記現在位置が検出された時点の画像フレーム、前記音声が認識された時点の画像フレームから所定数の画像フレームに対して同じタグ情報を付加することを特徴とする。
また、前記複数の画像フレームは、前記撮像手段として用いられるビデオカメラにより撮影された動画データであることを特徴とする。
また、前記複数の画像フレームは、前記撮像手段として用いられるスチルカメラ又は携帯電話機に内蔵されたカメラにより撮影された静止画ファイルであることを特徴とする。

本発明は上記目的を達成するために、撮像手段により撮像されて生成された複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加するタグ情報付加方法であって、
前記撮像手段による撮像中に前記撮像手段の現在位置を検出する現在位置検出ステップと、
前記現在位置検出手段により検出された現在位置と地図データに基づいて、現在位置近傍の地理的な名称を周辺キーワードとして抽出する周辺キーワード抽出ステップと、
前記撮像手段による撮像中にユーザの音声を認識する音声認識ステップと、
前記音声認識手段により音声が認識されない場合に、前記周辺キーワード抽出手段により抽出された周辺キーワードを、前記現在位置が検出された時点の画像フレームに対してタグ情報として付加する第１のタグ情報付加ステップと、
前記音声認識手段により音声が認識された場合に、認識された音声から名詞を抽出して前記音声が認識された時点の画像フレームに対してタグ情報として付加する第２のタグ情報付加ステップとを、
備えたことを特徴とする。

本発明は上記目的を達成するために、撮像手段により撮像されて生成された複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報をコンピュータが自動的に生成して付加するためのコンピュータプログラムであって、
前記撮像手段による撮像中に前記撮像手段の現在位置を検出する現在位置検出ステップと、
前記現在位置検出手段により検出された現在位置と地図データに基づいて、現在位置近傍の地理的な名称を周辺キーワードとして抽出する周辺キーワード抽出ステップと、
前記撮像手段による撮像中にユーザの音声を認識する音声認識ステップと、
前記音声認識手段により音声が認識されない場合に、前記周辺キーワード抽出手段により抽出された周辺キーワードを、前記現在位置が検出された時点の画像フレームに対してタグ情報として付加する第１のタグ情報付加ステップと、
前記音声認識手段により音声が認識された場合に、認識された音声から名詞を抽出して前記音声が認識された時点の画像フレームに対してタグ情報として付加する第２のタグ情報付加ステップとを、
備えたことを特徴とする。

この構成により、動画像ファイルや静止画ファイルを構成する複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加することができる。

本発明によれば、撮像手段により撮像されて生成された動画像ファイルや静止画ファイルを構成する複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加することができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係るタグ情報付加装置の一実施の形態を示すブロック図、図２は図１の動画処理装置の動作を説明するためのフローチャートである。

図１において、撮像手段である車外カメラ１１は不図示の車両の例えば前方などの周辺動画を撮影し、他の撮像手段である車内カメラ１２は車両内の例えば運転者などの車内動画を撮影するように配置される。車内マイク１３は車両内の運転者などの声を録音し、ＧＰＳ（Global Positioning System）部１４は車両の現在位置（緯度、経度）を取得する。音声認識装置１５は車内マイク１３により録音された音声を認識する。動画処理装置１６は、車外カメラ１１、車内カメラ１２により撮影された各動画を構成する複数フレームのうちの任意のフレームに対して、車内マイク１３及び音声認識装置１５により得られた音声データと、ＧＰＳ部１４により取得された現在位置に基づいて検索用のタグなどを自動的に生成して付加し、タグ付き動画データとして動画記録装置１７に記録する。ここで、動画処理装置１６は地図データをあらかじめストアしており、現在位置近傍における地理的な名称（地名や、山、川、橋、ビルなどの名前）を地図データから周辺キーコードとして取得することができる。取得する周辺キーコードの数は、複数が望ましく、例えば２０個程度とする。

図２を参照して動画処理装置１６の動作を説明する。ここで、動画データの動画情報の構成は、動画データ名（例えば撮影順を示す番号）と、ユーザの所望の画像フレームを検索するためのタグとなるキーワードと、同じタグが付与される開始フレーム番号及び終了フレーム番号と位置データ（緯度、経度）などを含む。ここで、検索表示時に見やすいように、同じタグが付与されるフレーム数を一義的に１００フレーム（＝１ブロック）とする。

まず、車外カメラ１１、車内カメラ１２からの動画データが存在するか否かをチェックし（ステップＳ１）、存在しなければ終了する。ステップＳ１において動画データが存在する場合にはステップＳ２に進み、動画データ名を動画情報に記述する。次いでＧＰＳ部１４からの位置データが存在するか否かをチェックし（ステップＳ３）、存在しなければステップＳ１１に進み、動画情報を動画記録装置１７に記録する。ステップＳ３において位置データが存在する場合にはステップＳ４に進み、その位置データを動画情報に記述する。次いでその位置データと地図データに基づいて現在位置近傍の１以上の地理的な名称を周辺キーワードとして抽出する（ステップＳ５）。

次いで音声認識装置１５からの音声データが存在するか否かをチェックする（ステップＳ６）。音声データが存在しない場合にはステップＳ１２に進み、位置データを取得した時点の動画フレーム番号を開始フレーム番号としてその１００フレーム後を終了フレーム番号とし、また、ステップＳ５で位置データから抽出した１以上の周辺キーワードを動画情報のタグに記述し、次いでステップＳ１１に進んで動画情報を動画記録装置１７に記録する。

ステップＳ６において音声データが存在する場合には、ステップＳ７に進んでその音声データから名詞を抽出し、次いでその抽出した名詞と、ステップＳ５で位置データから抽出した１以上の周辺キーワードをマッチングする（ステップＳ８）。もしマッチングしない場合には、ステップＳ９に分岐して位置データから抽出した１以上の周辺キーワードを動画情報のタグに記述し、他方、マッチングした場合にはステップＳ１０に進んでマッチングした名詞を動画情報のタグに記述する。また、ステップＳ９、Ｓ１０では、音声データを取得した時点の動画フレーム番号を開始フレーム番号としてその１００フレーム後を終了フレーム番号とし、次いでステップＳ１１に進んで動画情報を動画記録装置１７に記録する。

図３は富士山の近傍を走行して撮影した動画データに対して付与した動画情報の例を示す。図３では、富士山の動画データの開始フレーム番号＝１から終了フレーム番号＝１００までの１ブロックに対して、緯度データ（latitude）及び経度データ（Longitude）と、キーワード＝御殿場を付与するとともに、開始フレーム番号＝９０から終了フレーム番号＝１８９までの１ブロックに対して、緯度データ（latitude）及び経度データ（Longitude）と、キーワード＝富士山を付与した例を示す。

図４は音声データが存在しない富士山の動画データに対して付与した動画情報の例を示す。図４では、開始フレーム番号＝１から終了フレーム番号＝１００までの１ブロックに対して、緯度及び経度データと、図３においてステップＳ５で位置データから抽出した周辺キーワード＝御殿場、富士山、足柄を付与した例を示す。

図５は動画データの途中（フレーム番号＝９０）から音声データ「今日の富士山、きれいだね」が存在する富士山の動画データに対して付与した動画情報の例を示す。図５では、開始フレーム番号＝１から終了フレーム番号＝１００までの１ブロックに対して、緯度及び経度データと、ステップＳ５で位置データから抽出した周辺キーワード＝御殿場を付与するとともに、開始フレーム番号＝９０から終了フレーム番号＝１８９までの１ブロックに対して、緯度及び経度データと、音声認識により抽出した名詞「富士山」を付与した例を示す。

＜本発明の適用例＞
図６は、本発明に係るタグ情報付加装置１０が適用されたシステムを示す。図６に示すシステムでは、本発明に係るタグ情報付加装置１０は、車両Ｖに搭載されて動画データベース（ＤＢ）１０ａとして使用され、車両Ｖの走行中に撮影された周辺動画や車内動画を構成する複数フレームのうちの任意のフレームに対して、車両Ｖの走行中に録音された音声データと現在位置に基づいて検索用のタグを自動的に生成して付加し、タグ付き動画データとして記録する。タグ情報付加装置１０（動画ＤＢ１０ａ）に記録された動画データは、サーバ１にアップロードしてサーバ１からユーザＹの携帯電話機２や、ＰＣ（パーソナルコンピュータ）３、車載情報端末４にダウンロードする。

また、本発明の撮像手段はビデオカメラに限定されず、通常の携帯型のビデオカメラ、デジタルスチルカメラ、携帯電話機内蔵のカメラにも適用することができる。また、タグ付加対象の映像は、動画に限定されず、複数枚の静止画により構成される画像ファイルにも適用することができる。

本発明は、撮像手段により撮像されて生成される動画像ファイルや静止画ファイルを構成する複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加することができるという効果を有し、ビデオカメラ、スチルカメラ、携帯電話機などに利用することができる。

本発明に係るタグ情報付加装置の一実施の形態を示すブロック図である。 図１の動画処理装置の動作を説明するためのフローチャートである。 動画情報を示す説明図である。 音声データがない場合の動画情報を示す説明図である。 音声データがある場合の動画情報を示す説明図である。 本発明に係るタグ情報付加装置を適用したシステムを示す説明図である。

符号の説明

１１ 車外カメラ
１２ 車内カメラ
１３ 車内マイク
１４ ＧＰＳ部
１５ 音声認識装置
１６ 動画処理装置
１７ 動画記録装置

Claims (7)

1. 撮像手段により撮像されて生成された複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加するタグ情報付加装置であって、
   前記撮像手段による撮像中に前記撮像手段の現在位置を検出する現在位置検出手段と、
   前記現在位置検出手段により検出された現在位置に基づき、地理的な名称を有する地図データを用いて、現在位置近傍の地理的な名称を周辺キーワードとして抽出する周辺キーワード抽出手段と、
   前記撮像手段による撮像中にユーザの音声を認識する音声認識手段と、
   前記音声認識手段により音声が認識されない場合に、前記周辺キーワード抽出手段により抽出された周辺キーワードを、前記現在位置が検出された時点の画像フレームに対してタグ情報として付加する第１のタグ情報付加手段と、
   前記音声認識手段により音声が認識された場合に、認識された音声から名詞を抽出して前記音声が認識された時点の画像フレームに対してタグ情報として付加する第２のタグ情報付加手段とを、
   備えたタグ情報付加装置。
2. 前記第２のタグ情報付加手段は、前記抽出した名詞と、前記周辺キーワード抽出手段により抽出された周辺キーワードを比較し、一致した名詞を前記音声が認識された時点の画像フレームに対してタグ情報として付加することを特徴とする請求項１に記載のタグ情報付加装置。
3. 前記第１、第２のタグ情報付加手段はそれぞれ、前記現在位置が検出された時点の画像フレーム、前記音声が認識された時点の画像フレームから所定数の画像フレームに対して同じタグ情報を付加することを特徴とする請求項１又は２に記載のタグ情報付加装置。
4. 前記複数の画像フレームは、前記撮像手段として用いられるビデオカメラにより撮影された動画データであることを特徴とする請求項１から３までのいずれか１つに記載のタグ情報付加装置。
5. 前記複数の画像フレームは、前記撮像手段として用いられるスチルカメラ又は携帯電話機に内蔵されたカメラにより撮影された静止画ファイルであることを特徴とする請求項１から３までのいずれか１つに記載のタグ情報付加装置。
6. 撮像手段により撮像されて生成された複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報を自動的に生成して付加するタグ情報付加方法であって、
   前記撮像手段による撮像中に前記撮像手段の現在位置を検出する現在位置検出ステップと、
   前記現在位置検出手段により検出された現在位置と地図データに基づいて、現在位置近傍の地理的な名称を周辺キーワードとして抽出する周辺キーワード抽出ステップと、
   前記撮像手段による撮像中にユーザの音声を認識する音声認識ステップと、
   前記音声認識手段により音声が認識されない場合に、前記周辺キーワード抽出手段により抽出された周辺キーワードを、前記現在位置が検出された時点の画像フレームに対してタグ情報として付加する第１のタグ情報付加ステップと、
   前記音声認識手段により音声が認識された場合に、認識された音声から名詞を抽出して前記音声が認識された時点の画像フレームに対してタグ情報として付加する第２のタグ情報付加ステップとを、
   備えたタグ情報付加方法。
7. 撮像手段により撮像されて生成された複数の画像フレームに対して、ユーザの所望の画像フレームを検索するためのタグ情報をコンピュータが自動的に生成して付加するためのコンピュータプログラムであって、
   前記撮像手段による撮像中に前記撮像手段の現在位置を検出する現在位置検出ステップと、
   前記現在位置検出手段により検出された現在位置と地図データに基づいて、現在位置近傍の地理的な名称を周辺キーワードとして抽出する周辺キーワード抽出ステップと、
   前記撮像手段による撮像中にユーザの音声を認識する音声認識ステップと、
   前記音声認識手段により音声が認識されない場合に、前記周辺キーワード抽出手段により抽出された周辺キーワードを、前記現在位置が検出された時点の画像フレームに対してタグ情報として付加する第１のタグ情報付加ステップと、
   前記音声認識手段により音声が認識された場合に、認識された音声から名詞を抽出して前記音声が認識された時点の画像フレームに対してタグ情報として付加する第２のタグ情報付加ステップとを、
   備えたコンピュータプログラム。

Images