JP2014175714A - 撮像装置及び映像データ切替方法 - Google Patents

Abstract

【課題】撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得る。
【解決手段】撮影者７１は、撮像装置１で撮影を開始した後、途中、レンズキャップ１１を装着して撮影を中断し、再びレンズキャップ１１を外して撮影を再開する。中断時、映像データには、イメージセンサ１３で得られる入力映像データの代わりに、代入映像データが記録される。映像８２として地図画像データ８２ａが記録されている。地図画像データ８２ａには、撮像装置１の位置を表すマーカ８２ｂ、及び「キャップ取付中」のメッセージ８２ｃが重なるように付される。
【選択図】図３

Description

本発明は、映像データを切り替える撮像装置及び映像データ切替方法に関する。

近年、撮像装置として、ウェアラブルカメラ装置又はアクションカメラ装置と呼ばれ、使用中には常時、周囲の状況の映像を録画（記録）可能なカメラ装置が知られている。カメラ装置のレンズは外見上露出していることが多いので、周囲の環境によっては、例えばレンズにキャップを装着させる等、第三者のプライバシーを侵害しないようなカメラ装置の使用がユーザには求められる。

ここで、レンズの使用可否状態に応じて、動作モードを変更する先行技術として、例えば特許文献１に示す撮像装置が知られている。

特許文献１に示す撮像装置は、例えばレンズ鏡筒が撮像装置本体に装着されていない場合には、動作モードを音声記録モードに変更して音声データのみを記録する。また、撮像装置は、レンズ鏡筒が撮像装置本体に装着されている場合、レンズを通過する光量が所定のしきい値より小さいと動作モードを音声記録モードに変更して音声データのみを記録し、所定のしきい値より大きいと動作モードを動画記録モードに変更して動画像を記録する。

特開２０１０−２７８７５８号公報

しかし、特許文献１の撮像装置の構成を例えば上述したウェアラブルカメラ装置又はアクションカメラ装置に適用すると、レンズキャップが装着されている場合には音声記録モードとなるので、ウェアラブルカメラ装置は、音声データのみ記録することができ、映像を撮像することができないという課題が生じる。

映像の撮像が困難な状況であったとしても、撮像時の周囲の状況を示す情報は、例えば何かの手掛かり若しくは根拠に使える等、有用性が高いことがある。このため、ユーザの使用目的によっては、映像の撮像の継続が困難な状況でも撮像時の周囲の状況を示す情報を取得できることは、撮像装置における一つの付加価値と考えることができる。

本発明は、上述した従来の課題又は経緯に鑑みて、撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得る撮像装置及び映像データ切替方法を提供することを目的とする。

本発明は、入力映像を撮像する撮像部と、所定のイベントを検出するイベント検出部と、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、を備える撮像装置である。

また、本発明は、入力映像を撮像するステップと、所定のイベントを検出するステップと、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成するステップと、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替えるステップと、前記所定のイベントの検出前に撮像された入力映像データと、前記所定のイベントの検出後に生成された前記代入映像データとを符号化するステップと、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積するステップと、を有する映像データ切替方法である。

本発明によれば、撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得ることができる。

本実施形態の撮像装置の内部構成を示すブロック図 本実施形態の撮像装置における映像の記録動作手順を説明するフローチャート （Ａ）撮影者が映像を記録する時の撮像装置の装着状態の一例を示す図、（Ｂ）記録された映像のフレームの遷移状態の一例を示す図、（Ｃ）本実施形態の撮像装置から外部機器としての再生装置に映像ファイルのデータを送信する様子の一例を示す図 （Ａ）〜（Ｃ）レンズキャップの装着前後における映像の各フレームの遷移状態の一例を示す図 （Ａ）〜（Ｄ）レンズキャップの装着前後における映像の各フレームの遷移状態の他の一例を示す図

以下、本発明に係る撮像装置及び映像データ切替方法の実施形態について、図面を参照して説明する。本実施形態の撮像装置は、例えば撮影者が首に吊り下げて携帯し、常時、周囲の映像を記録（録画）可能なウェアラブルカメラに用いられる。

なお、本発明は、装置カテゴリの発明以外に、撮像装置が映像データを切り替える映像データ切替方法、即ち方法カテゴリの発明として表現することも可能である。

（撮像装置の構成）
図１は、本実施形態の撮像装置１の内部構成を示すブロック図である。図１に示す撮像装置１は、レンズキャップ１１と、レンズ１２と、イメージセンサ１３と、映像生成切替部１４と、映像符号化部１５と、映像・音声蓄積部１６と、レンズキャップ装着判定部１７と、レンズキャップ装着時映像処理決定部１８と、代入映像生成部１９と、自位置取得部２１と、マイク部２２と、音声認識部２３と、音声符号化部２４と、画像処理部２５と、ネットワーク伝送部２６とを含む構成である。

遮光物の一例としてのレンズキャップ１１は、撮像装置１の筐体１ａの例えば前面に配置されたレンズ１２を覆い、レンズ１２に対して着脱自在である。

レンズ１２は、撮像装置１外から入射する光（光線）を集光し、イメージセンサ１３の所定の撮像面に結像させる。

イメージセンサ１３は、例えばＣＣＤ（Charged-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。イメージセンサ１３の出力は、入力映像信号として、映像生成切替部１４に入力される。なお、レンズ１２及びイメージセンサ１３は、撮像装置１における撮像部としての機能を有する。

切替部としての映像生成切替部１４は、イメージセンサ１３の出力として入力された入力映像信号の電気信号を用いて、人が認識可能なＲＧＢ（Red Green Blue）又はＹＵＶ（輝度・色差）などにより規定される入力映像データを生成する。

また、映像生成切替部１４は、レンズキャップ１１が筐体１ａに装着されているか否か、即ち後述するレンズキャップ装着判定部１７からのレンズキャップ装着有無情報に応じて、後述する映像符号化部１５における符号化処理に用いる映像データを、イメージセンサ１３の出力に対して生成された入力映像データ、又は後述する代入映像生成部１９が生成した代入映像データに切り替える。映像生成切替部１４は、切り替えられた入力映像データ又は代入映像データを映像符号化部１５に出力する。

具体的には、映像生成切替部１４は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出される前では、イメージセンサ１３の出力に対して生成された入力映像データを映像符号化部１５に出力する。また、映像生成切替部１４は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出された後では、代入映像生成部１９が生成した代入映像データを映像符号化部１５に出力する。

映像データ処理部としての映像符号化部１５は、映像生成切替部１４における切り替えによって出力された入力映像データ又は代入映像データを符号化して映像データを生成する。

具体的には、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出される前では、イメージセンサ１３の出力に対して生成された入力映像データを符号化する。また、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出された後では、代入映像生成部１９が生成した代入映像データを符号化する。映像符号化部１５は、符号化された入力映像データと代入映像データとを映像・音声蓄積部１６に出力する。

蓄積部としての映像・音声蓄積部１６は、例えばハードディスク装置又はフラッシュメモリの記録媒体と、この記録媒体にデータを書き込んだり読み出したりするデータ管理部（不図示）とを含む構成である。

映像・音声蓄積部１６は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出前にイメージセンサ１３の出力に対して生成された入力映像データと、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出後に代入映像生成部１９が生成した代入映像データとが符号化された映像データを映像ファイルとして蓄積する。

この映像ファイルは、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出前にイメージセンサ１３の出力に対して生成された入力映像データの内容と、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出後に代入映像生成部１９が生成した代入映像データの内容とが、時間的に連続するものである。

また、映像・音声蓄積部１６は、後述する音声認識部２３が音声認識した認識結果データ又は音声符号化部２４が符号化した音声データを入力した場合には、映像符号化部１５が符号化した入力映像データ及び代入映像データと、認識結果データ又は符号化された音声データとを同期させた映像音声データを映像音声ファイルとして蓄積する。

また、映像・音声蓄積部１６は、映像ファイル又は映像音声ファイルのデータを、筐体１ａに挿抜自在に装着されるメモリカード３０に記録し、ネットワーク伝送部２６に出力する。

イベント検出部としてのレンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントを検出する。レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントを検出した場合には、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された旨のレンズキャップ装着有無情報を映像生成切替部１４に出力する。なお、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたか否かは、種々の方法により判断可能である。

例えば、レンズキャップ装着判定部１７は、イメージセンサ１３に入力される光量が所定の閾値以下である場合に、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたと判定する。また、レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたことでオン又はオフするスイッチ（不図示）が筐体１ａに設けられている場合に、スイッチのオン状態又はオフ状態を用いて判定しても良い。これにより、撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されているか又は装着されていないかの状態を簡易に検出することができる。

レンズキャップ装着時映像処理決定部１８は、イメージセンサ１３による入力映像の撮像中にレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された場合の入力映像データの撮像状況を表す代入映像データの生成のための映像処理として、予め一つ又は複数の映像処理内容を登録している。

レンズキャップ装着時映像処理決定部１８は、予め登録された映像処理内容が一つである場合には、当該映像処理内容を代入映像生成部１９に通知し、予め登録された映像処理内容が複数である場合には、例えば撮影者（ユーザ）の入力操作に応じて指定された映像処理内容を代入映像生成部１９に通知する。なお、映像処理内容については、図４及び図５を参照して後述する。

代入映像生成部１９は、レンズキャップ装着時映像処理決定部１８が通知した映像処理内容に従って、イメージセンサ１３が撮像した入力映像の撮像状況を表す代入映像データ又は代入画像データを生成して映像生成切替部１４に出力する。

また、代入映像生成部１９は、入力映像の撮像状況を、例えば撮像地点の位置を地図によって表す場合には、例えば代入映像生成部１９自身が保持している地図画像データ又は外部の地図情報保持サーバから取得した地図画像データを、代入映像データ又は代入画像データに用いる。

また、代入映像生成部１９は、入力映像の撮像状況としてレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されている状態を示すメッセージ映像データ又はメッセージ画像データを生成しても良い。

また、代入映像生成部１９は、入力映像の撮像状況として後述する音声認識部２３の音声認識結果として得られたメタデータに人の会話の音声のテキストデータが含まれている場合には、音声認識部２３が出力した人の会話の音声のテキストデータを含む代入映像データ又は代入画像データを生成しても良い。

更に、代入映像生成部１９は、入力映像データから代入映像データに切り替える場合、又は反対に代入映像データから入力映像データに切り替える場合に、所定の演出映像データ（例えばワイプ処理された映像データ）を生成しても良い。

自位置取得部２１は、ＧＰＳ（Global Positioning System）受信回路（不図示）を有し、ＧＰＳ衛星からの送信信号を受信して撮像装置１の現在位置情報を取得して代入映像生成部１９に出力する。

マイク部２２は、周囲の音声を収音する一つ又は複数のマイクロホンを有し、各マイクロホンが収音した音声信号を音声認識部２３及び音声符号化部２４に出力する。

音声認識部２３は、マイク部２２が収音した音声信号を音声認識し、音声認識結果として得られたメタデータを映像・音声蓄積部１６に出力する。また、音声認識部２３は、音声認識結果として得られたメタデータの中から例えば人の会話のテキストデータを代入映像生成部１９に出力する。

音声符号化部２４は、マイク部２２が収音した音声信号を符号化し、音声データとして映像・音声蓄積部１６に出力する。これにより、撮像装置１は、符号化された音声データと映像符号化部１５が符号化した入力映像データ及び代入映像データとを同期させて蓄積することができる。

画像処理部２５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントがレンズキャップ装着判定部１７により検出された場合に、映像・音声蓄積部１６に蓄積された入力映像データを解析（例えば所定の画像処理）し、解析結果として得られたメタデータを映像・音声蓄積部１６に出力する。

例えば、画像処理部２５は、入力映像データの連続する画像フレーム間の差分情報を基に、動体の位置及び動きの各情報をメタデータとして抽出する。また、例えば画像処理部２５は、入力映像データを構成する各画像フレームから人物の顔を検出し、検出された顔の位置、サイズ及び個数の各情報をメタデータとして抽出する。これにより、撮像装置１は、レンズキャップ１１が筐体１ａに装着されている間、即ち入力映像の撮像が中断している期間を有効に利用して、入力映像データの動体に関する情報又は人物に関する情報を得ることができる。

送信部としてのネットワーク伝送部２６は、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルを有線若しくは無線にて外部機器としての再生装置４０に送信する。また、ネットワーク伝送部２６は、レンズキャップ１１が筐体１ａに装着されたイベントがレンズキャップ装着判定部１７により検出された場合に、レンズキャップ１１が筐体１ａに装着されて入力映像の撮像が中断するまでに撮像されて蓄積された入力映像データを外部機器としての再生装置４０に送信する。

表示制御部２７は、例えば撮影者の入力操作に応じて、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルを表示部２８の画面に表示させる。

表示部２８は、データを画面に表示する機能を有し、表示制御部２７の制御の下で、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルを表示部２８の画面に表示する。

再生装置４０は、ネットワーク伝送部２６から有線若しくは無線にて送信された映像ファイル又は映像音声ファイルのデータを受信し、受信した映像ファイル又は映像音声ファイルのデータを再生して再生装置の表示部（不図示）の画面に表示する。また、再生装置４０は、音声出力部としてのスピーカを有する場合には、映像音声ファイルの再生時に、映像音声ファイルの映像データと同期された音声データをスピーカから音声出力させる。

また、再生装置４０は、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルのデータが記録されたメモリカード３０を挿抜自在に装着し、メモリカード３０に記録された映像を再生装置４０の表示部（不図示）の画面に再生可能である。再生装置４０は、例えばスマートフォン、ＰＣ（Personal Computer）、ＴＶ（Television）、タブレット端末等が挙げられる。

（撮像装置の動作：映像の記録動作）
次に、本実施形態の撮像装置１の映像の記録動作手順について、図２を参照して説明する。図２は、本実施形態の撮像装置１における映像の記録動作手順を説明するフローチャートである。図２の説明の前提として、撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されていない状態であり、レンズ１２及びイメージセンサ１３によって、入力映像を撮像している状態とする。

図２において、レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されているか否かを判定する（Ｓ１）。

レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されていないと判定した場合（Ｓ２、ＮＯ）、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されていない旨のレンズキャップ装着有無情報を映像生成切替部１４に出力する。映像生成切替部１４は、イメージセンサ１３の出力に対して生成された入力映像データを映像符号化部１５に出力する（Ｓ３）。

一方、レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたと判定した場合、即ちレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたことを検出した場合には（Ｓ２、ＹＥＳ）、レンズキャップ装着有無情報を映像生成切替部１４に出力する。

代入映像生成部１９は、レンズキャップ装着時映像処理決定部１８が通知した映像処理内容に従って、イメージセンサ１３が撮像した入力映像の撮像状況を表す代入映像データ又は代入画像データを生成して映像生成切替部１４に出力する（Ｓ４）。

映像生成切替部１４は、レンズキャップ装着判定部１７が出力したレンズキャップ装着有無情報に応じて、映像符号化部１５における符号化処理に用いる映像データを、イメージセンサ１３の出力に対して生成された入力映像データから、代入映像生成部１９が生成した代入映像データに切り替える（Ｓ５）。映像生成切替部１４は、切り替えられた入力映像データ又は代入映像データを映像符号化部１５に出力する。

映像符号化部１５は、映像生成切替部１４における切り替えによって出力された入力映像データ又は代入映像データを符号化して映像データを生成する（Ｓ６）。

具体的には、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出される前では、イメージセンサ１３の出力に対して生成された入力映像データを符号化する。また、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出された後では、代入映像生成部１９が生成した代入映像データを符号化する。映像符号化部１５は、符号化された入力映像データと代入映像データとを映像・音声蓄積部１６に出力する。

映像・音声蓄積部１６は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出前にイメージセンサ１３の出力に対して生成された入力映像データと、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出後に代入映像生成部１９が生成した代入映像データとが符号化された映像データを映像ファイルとして蓄積する（Ｓ７）。

また、映像・音声蓄積部１６は、音声認識部２３が音声認識した認識結果データ又は音声符号化部２４が符号化した音声データを入力した場合には、映像符号化部１５が符号化した入力映像データ及び代入映像データと、認識結果データ又は符号化された音声データとを同期させた映像音声データを映像音声ファイルとして蓄積する。また、映像・音声蓄積部１６は、映像ファイル又は映像音声ファイルを蓄積する際、メモリカード３０に記録し、又はネットワーク伝送部２６を介して再生装置４０に送信する。

撮像装置１は、例えば電源オフの入力操作による映像の記録が終了するか否かを判別する（Ｓ８）。映像の記録が終了しない場合には（Ｓ８、ＮＯ）、撮像装置１の動作はステップＳ１に戻り、一方、映像の記録が終了する場合には（Ｓ８、ＹＥＳ）、撮像装置１の図３に示す映像の記録動作手順は終了する。

図３（Ａ）は、撮影者７１が映像を記録する時の撮像装置１の装着状態の一例を示す図である。図３（Ａ）では、撮影者７１は、撮像装置１を首に吊り下げた状態で映像を撮影している。撮影者７１は、撮像装置１において映像の撮影を開始した後、途中、レンズキャップ１１を装着することで映像の撮影を中断する。更に、撮影者７１は、再びレンズキャップ１１を外すことで映像の撮影を再開する。

図３（Ｂ）は、記録された映像のフレームの遷移状態の一例を示す図である。図３（Ｂ）では、図３（Ａ）に示す撮影開始時、中断時、再開時にそれぞれ撮影（撮像）された映像８１，…，映像８２，…，映像８３がコマ単位にて示されている。

中断時では、撮像装置１は、レンズ１２及びイメージセンサ１３が撮像した入力映像データの代わりに、代入映像生成部１９が生成した代入映像データを記録している。映像８２には、撮像地点、即ち撮像装置１の自位置の周囲を表す地図画像データ８２ａが記録されている。

また、地図画像データ８２ａには、自位置取得部２１が取得した撮像装置１の自位置情報を表すマーカ８２ｂと、現在の撮像装置１においてレンズキャップ１１が装着されている状態を示す「キャップ取付中」のメッセージ８２ｃとが地図画像データ８２ａ上に図示されている。撮像装置１は、マーカ８２ｂを図示した地図画像データ８２ａを記録することで、入力映像の撮像が中断された位置を地図画像データ８２ａ上において明示的に識別させることができる。

図３（Ｃ）は、本実施形態の撮像装置１から外部機器としての再生装置４０に映像ファイルのデータを送信する様子の一例を示す図である。図３（Ｃ）では、撮像装置１に蓄積された映像ファイルのデータを記録したメモリカード３０が再生装置４０の一例としてのテレビ４０Ａに装着されると、テレビ４０Ａは映像ファイルのデータを再生できる。また、撮像装置１のネットワーク伝送部２６が送信した映像ファイルのデータが再生装置４０の他の一例としてのスマートフォン４０Ｂが受信すると、スマートフォン４０Ｂは、スマートフォン４０Ｂの画面に映像ファイルのデータを再生できる。

図４（Ａ）〜（Ｃ）は、レンズキャップ１１の装着前後における映像の各フレームの遷移状態の一例を示す図である。これらの映像ファイルのデータは、表示部２８の画面、又は外部機器としての再生装置４０の画面に表示される。

図４（Ａ）では、レンズキャップ１１が筐体１ａのレンズ１２に装着された後の映像８２として、図３（Ｂ）に示す地図画像データ８２ａが表示部２８又は再生装置４０の画面に表示される。地図画像データ８２ａには、マーカ８２ｂと現在の撮像装置１においてレンズキャップ１１が装着されている状態を示す「キャップ取付中」のメッセージ８２ｃとが表示されている。

なお、地図画像データ８２ａは、レンズキャップ装着時映像処理決定部１８若しくは代入映像生成部１９により保持されても良いし、代入映像生成部１９が外部の地図情報保持サーバから取得しても良い。

図４（Ｂ）では、レンズキャップ１１が筐体１ａのレンズ１２に装着された後の映像８５として、マイク部２２が収音した音声データが音声認識部２３の音声認識結果として得られたテキストデータが表示部２８又は再生装置４０の画面に表示される。映像８５には、ブラックアウトによって真っ黒となった背景８５ａの上に、音声認識結果として得られたテキストデータである「次の駅で降りて食事にしよう」のメッセージ８５ｂが表示される。また、撮像装置１の位置を表すマーカ８５ｃと、現在の撮像装置１においてレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されている状態を示す「キャップ取付中」のメッセージ８５ｄとが表示される。これにより、撮像装置１は、入力映像の撮像が中断した場合でも、撮像時の周囲の状況を音声から得た情報を根拠として推定できる。

図４（Ｃ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像８７として、撮像装置１の自位置に対応した拡張現実技術を用いた立体的な３Ｄ映像としての代入映像データ８７ａが表示される。代入映像データ８７ａには、撮像装置１の位置を表すマーカ８７ｂと、現在の撮像装置１においてレンズキャップ１１が装着されている状態を示す「キャップ取付中」のメッセージ８７ｃとが表示される。これにより、撮像装置１は、入力映像の撮像が中断した場合でも、拡張現実技術を用いた３Ｄ映像を代入映像データとして用いることで、撮影時の周囲の状況を把握させることができる。

図５（Ａ）〜（Ｄ）は、レンズキャップの装着前後における映像の各フレームの遷移状態の他の一例を示す図である。これらの映像ファイルのデータは、表示部２８の画面、又は外部機器としての再生装置４０の画面に表示される。

図５（Ａ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像８９として、撮像装置１が画像処理を行っている状態を表すテキストデータである「画像処理実施」のメッセージ８９ａが代入映像データとして表示される。なお、撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された場合に、撮像装置が画像処理を行っている状態を表すテキストデータである「画像処理実施」のメッセージ８９ａを代入映像データとして表示しなくても良い。

図５（Ｂ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像９１として、撮像装置１が入力映像の中断時までに撮像されて蓄積した入力映像データの映像ファイルを順次、例えば外部機器としての再生装置４０に送信している状態を表すテキストデータである「蓄積映像送信」のメッセージ９１ａが代入映像データとして表示される。

これにより、撮像装置１は、入力映像の撮像の中断期間を利用して、画像処理又はデータ送信等の他の処理にＣＰＵ（Central Processing Unit）のリソースを振り分けることで、ＣＰＵを有効に活用することができる。

図５（Ｃ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像９３として、入力映像データ（例えば駅のホームの映像）がフェードイン又はフェードアウトする時のワイプ効果９３ａが適用された映像が表示される。これにより、撮像装置１は、入力映像データからワイプ効果９３ａが適用された映像を経て、代入映像データを表示することができ、演出性の高い映像の切り替えを行うことができる。

図５（Ｄ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像９５として、入力映像の撮像の中断の原因として「ただいまキャップ装着中」のメッセージ９５ａの代入映像データが表示される。

以上により、本実施形態の撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２に装着されたイベントが検出された場合、符号化に用いる映像データを、イベント検出前に撮像されていた入力映像データから、撮像時の状況を表す代入映像データ（例えば撮影地点の地図画像データ）に切り替える。更に、撮像装置１は、入力映像データと代入映像データとを符号化した映像データを映像ファイルとして蓄積することができる。

これにより、本実施形態の撮像装置１は、例えば映像ファイルを撮像装置１又は外部機器としての再生装置４０において映像ファイルを視聴する際、撮影者が撮像時にどこにいたか等の情報を便宜的に得ることができる。

このように、本実施形態の撮像装置１は、入力映像の撮像の継続が困難な状況においても、撮影者の周囲の状況を表す代入映像データを、レンズキャップ１１が筐体１ａのレンズ１２に装着される前までに撮像された入力映像の撮影時の状況を表す代入映像データを便宜的に得ることができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、入力映像の撮像を中断するイベントは、レンズキャップ１１が撮影者によって筐体１ａのレンズ１２を覆うように装着されたことが検出されたことであるとして説明したが、例えば撮影者が撮像装置１に設けられたスイッチ（不図示）を操作することで、レンズ１２の前面に配置された可動式のカバーが閉じることで遮光したことが検出されたことでも良い。

また、本実施形態の撮像装置１は、撮影者自身が携帯するウェアラブルカメラ装置に限らず、自転車又はボート等の乗り物に装着されるアクションカメラ装置でも良い。

以下、上述した本発明に係る映像データ管理装置、映像データ管理方法及びプログラムの構成、作用及び効果を説明する。

本発明の一実施形態は、入力映像を撮像する撮像部と、所定のイベントを検出するイベント検出部と、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、を備える撮像装置である。

この構成によれば、撮像装置は、入力映像データの撮像の継続が困難な状況になり、例えばレンズキャップが撮像装置に装着された等のイベントを検出した場合に、入力映像データの撮像時の状況を表す代入映像データを生成し、符号化に用いる映像データを、イベントが検出される前までに撮像された入力映像データから、イベントが検出された後に生成された代入映像データに切り替える。また、撮像装置は、入力映像データと代入映像データとを符号化したデータを映像ファイルとして蓄積する。

これにより、撮像装置は、入力映像データの撮像の継続が困難な状況においても、撮像映像の代わりに、映像データの撮像時の状況を表す代入映像データを便宜的に得ることができる。

本発明の一実施形態は、前記イベント検出部が、前記所定のイベントとして、前記撮像部に入射する光を遮る遮光物が前記撮像部に装着された状態を検出する、撮像装置である。

これにより、撮像装置は、入力映像データの撮像の継続が困難な状況の一例として、撮像部のレンズに入射する光を遮る遮光物（例えばレンズキャップ）が装着された状態の検出を用いることができる。

本発明の一実施形態は、前記蓄積部に蓄積された前記映像ファイルを有線若しくは無線にて外部機器に送信する送信部と、を更に備える、撮像装置である。

これにより、撮像装置は、符号化により生成された映像ファイルを外部機器に送信することができる。

本発明の一実施形態は、撮像装置の位置情報を取得する位置取得部と、を更に備え、前記代入映像生成部が、前記位置取得部が取得した前記撮像装置の位置情報を含む前記代入映像データを生成する、撮像装置である。

これにより、撮像装置は、入力映像データの撮像時の状況を表す代入映像データとして、位置取得部が取得した撮像装置の位置情報を用いることができ、撮影者に有用な情報を便宜的に得ることができる。

本発明の一実施形態は、前記代入映像生成部が、前記位置取得部が取得した前記撮像装置の位置情報を示す地図データを前記代入映像データとして生成する、撮像装置である。

これにより、撮像装置は、位置取得部が取得した撮像装置の位置情報の一例として地図データを用いることができ、撮影者に有用な情報を便宜的に得ることができる。

本発明の一実施形態は、前記撮像装置の位置情報を示す地図データが、前記撮像装置の撮影者の現在位置を示すマーカを含む、撮像装置である。

これにより、撮像装置は、位置取得部が取得した撮像装置の位置情報の一例として、撮影者自身の現在位置を含む地図データを用いることができ、撮影者に有用な情報を便宜的に得ることができる。

本発明の一実施形態は、前記撮像装置の周囲の音声を収音するマイク部と、前記マイク部が収音した音声データを符号化する音声データ処理部と、を更に備え、前記蓄積部は、符号化された前記音声データと、前記入力映像データ及び前記代入映像データとが同期されたデータを映像音声ファイルとして蓄積する、撮像装置である。

これにより、撮像装置は、映像だけでなく、マイク部が収音した周囲の音声データが符号化された音声データと入力映像データ及び代入映像データとが同期された映像音声ファイルを蓄積することができる。

本発明の一実施形態は、前記マイク部が収音した音声データを音声認識する音声認識部と、を備え、前記蓄積部が、前記音声認識部の音声認識結果として得られた音声データの人の会話のテキストデータと、前記入力映像データ及び前記代入映像データとが同期されたデータを前記映像音声ファイルとして蓄積する、撮像装置である。

これにより、撮像装置は、マイク部が収音した音声データの音声認識結果から、人の会話のテキストデータと入力映像データ及び代入映像データとが同期された映像音声ファイルを蓄積することができ、撮影者に有用な情報を便宜的に得ることができる。

本発明の一実施形態は、前記撮像中における前記所定のイベントの検出に応じて、前記所定のイベントの検出までに撮像された前記入力映像データを解析する画像処理部と、を更に備え、前記蓄積部が、前記画像処理部の解析結果としてのメタデータを含む前記映像ファイルを蓄積する、撮像装置である。

これにより、撮像装置は、入力映像データの解析結果としてのメタデータを含む映像ファイルを蓄積することができる。

本発明の一実施形態は、前記画像処理部が、前記入力映像の連続するフレーム間の差分情報を基に、動体の位置及び動きの各情報を前記メタデータとして抽出する、撮像装置である。

これにより、撮像装置は、入力映像の連続するフレーム間の差分情報から得られた動体の位置及び動きの各情報を含むメタデータを含む映像ファイルを蓄積することができる。

本発明の一実施形態は、前記画像処理部が、前記入力映像の各フレームから人物の顔を検出し、検出された前記人物の顔の位置、サイズ及び個数の各情報を前記メタデータとして抽出する、撮像装置である。

これにより、撮像装置は、入力映像の各フレームから検出された人物の顔の位置、サイズ及び個数の各情報を含むメタデータを含む映像ファイルを蓄積することができる。

本発明の一実施形態は、前記送信部が、前記所定のイベントの検出までに撮像された前記入力映像データが符号化された映像ファイルを送信する、撮像装置である。

これにより、撮像装置は、例えばバックアップの目的のために、所定のイベントの検出までに撮像された入力映像データが符号化された映像ファイルを送信することができる。

本発明の一実施形態は、前記代入映像生成部が、前記映像ファイルにおいて、前記入力映像データの内容から前記代入映像データの内容に、又は前記代入映像データの内容から前記入力映像データの内容に切り替える所定の演出映像データを生成し、前記蓄積部が、前記入力映像データと前記所定の演出映像データと前記代入映像データとが符号化された前記映像ファイルを蓄積する、撮像装置である。

これにより、撮像装置は、撮像装置の外部機器において入力映像データと所定の演出映像データと代入映像データとが符号化された映像ファイルを再生した場合に、入力映像データから代入映像データに切り替わるタイミングを、演出映像データによって明確に認識させることができる。

本発明の一実施形態は、前記代入映像生成部が、前記位置取得部が取得した前記撮像装置の位置情報を含む所定の拡張現実空間映像データを前記代入映像データとして生成する、撮像装置である。

これにより、撮像装置は、位置取得部が取得した撮像装置の位置情報を、所定の拡張現実空間の映像データを用いて立体的に表す代入映像データを生成することができ、撮影者に有用な情報を便宜的に得ることができる。

本発明の一実施形態は、画面にデータを表示する表示部と、所定の入力操作に応じて、前記蓄積部に蓄積された前記映像ファイルの内容を前記画面に表示させる表示制御部と、を更に備える、撮像装置である。

これにより、撮像装置は、表示部を有する場合に、撮影者の入力操作に応じて、蓄積部に蓄積された映像ファイルを表示して内容を撮影者に閲覧させることができる。

本発明の一実施形態は、入力映像を撮像するステップと、所定のイベントを検出するステップと、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成するステップと、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替えるステップと、前記所定のイベントの検出前に撮像された入力映像データと、前記所定のイベントの検出後に生成された前記代入映像データとを符号化するステップと、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積するステップと、を有する、映像データ切替方法である。

この方法によれば、撮像装置は、入力映像データの撮像の継続が困難な状況になり、例えばレンズキャップが撮像装置に装着された等のイベントを検出した場合に、入力映像データの撮像時の状況を表す代入映像データを生成し、符号化に用いる映像データを、イベントが検出される前までに撮像された入力映像データから、イベントが検出された後に生成された代入映像データに切り替える。また、撮像装置は、入力映像データと代入映像データとを符号化したデータを映像ファイルとして蓄積する。

これにより、撮像装置は、入力映像データの撮像の継続が困難な状況においても、撮像映像の代わりに、映像データの撮像時の状況を表す代入映像データを便宜的に得ることができる。

本発明は、撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得る撮像装置及び映像データ切替方法として有用である。

１ 撮像装置
１１ レンズキャップ
１２ レンズ
１３ イメージセンサ
１４ 映像生成切替部
１５ 映像符号化部
１６ 映像・音声蓄積部
１７ レンズキャップ装着判定部
１８ レンズキャップ装着時映像処理決定部
１９ 代入映像生成部
２１ 自位置取得部
２２ マイク部
２３ 音声認識部
２４ 音声符号化部
２５ 画像処理部
３０ メモリカード
４０ 再生装置

Claims (16)

1. 入力映像を撮像する撮像部と、
   所定のイベントを検出するイベント検出部と、
   前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、
   前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、
   前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、
   符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、を備える、
   撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記イベント検出部は、
   前記所定のイベントとして、前記撮像部に入射する光を遮る遮光物が前記撮像部に装着された状態を検出する、
   撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記蓄積部に蓄積された前記映像ファイルを有線若しくは無線にて外部機器に送信する送信部と、を更に備える、
   撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記撮像装置の位置情報を取得する位置取得部と、を更に備え、
   前記代入映像生成部は、
   前記位置取得部が取得した前記撮像装置の位置情報を含む前記代入映像データを生成する、
   撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記代入映像生成部は、
   前記位置取得部が取得した前記撮像装置の位置情報を示す地図データを前記代入映像データとして生成する、
   撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記撮像装置の位置情報を示す地図データは、前記撮像装置の撮影者の現在位置を示すマーカを含む、
   撮像装置。
7. 請求項１に記載の撮像装置であって、
   前記撮像装置の周囲の音声を収音するマイク部と、
   前記マイク部が収音した音声データを符号化する音声データ処理部と、を更に備え、
   前記蓄積部は、
   符号化された前記音声データと、前記入力映像データ及び前記代入映像データとが同期されたデータを映像音声ファイルとして蓄積する、
   撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記マイク部が収音した音声データを音声認識する音声認識部と、を備え、
   前記蓄積部は、
   前記音声認識部の音声認識結果として得られた音声データの人の会話のテキストデータと、前記入力映像データ及び前記代入映像データとが同期されたデータを前記映像音声ファイルとして蓄積する、
   撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記撮像中における前記所定のイベントの検出に応じて、前記所定のイベントの検出までに撮像された前記入力映像データを解析する画像処理部と、を更に備え、
   前記蓄積部は、
   前記画像処理部の解析結果としてのメタデータを含む前記映像ファイルを蓄積する、
   撮像装置。
10. 請求項９に記載の撮像装置であって、
    前記画像処理部は、
    前記入力映像の連続するフレーム間の差分情報を基に、動体の位置及び動きの各情報を前記メタデータとして抽出する、
    撮像装置。
11. 請求項９に記載の撮像装置であって、
    前記画像処理部は、
    前記入力映像の各フレームから人物の顔を検出し、検出された前記人物の顔の位置、サイズ及び個数の各情報を前記メタデータとして抽出する、
    撮像装置。
12. 請求項３に記載の撮像装置であって、
    前記送信部は、
    前記所定のイベントの検出までに撮像された前記入力映像データが符号化された映像ファイルを送信する、
    撮像装置。
13. 請求項１に記載の撮像装置であって、
    前記代入映像生成部は、
    前記映像ファイルにおいて、前記入力映像データの内容から前記代入映像データの内容に、又は前記代入映像データの内容から前記入力映像データの内容に切り替える所定の演出映像データを生成し、
    前記蓄積部は、
    前記入力映像データと前記所定の演出映像データと前記代入映像データとが符号化された前記映像ファイルを蓄積する、
    撮像装置。
14. 請求項４に記載の撮像装置であって、
    前記代入映像生成部は、
    前記位置取得部が取得した前記撮像装置の位置情報を含む所定の拡張現実空間映像データを前記代入映像データとして生成する、
    撮像装置。
15. 請求項１に記載の撮像装置であって、
    画面にデータを表示する表示部と、
    所定の入力操作に応じて、前記蓄積部に蓄積された前記映像ファイルの内容を前記画面に表示させる表示制御部と、を更に備える、
    撮像装置。
16. 入力映像を撮像するステップと、
    所定のイベントを検出するステップと、
    前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成するステップと、
    前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替えるステップと、
    前記所定のイベントの検出前に撮像された入力映像データと、前記所定のイベントの検出後に生成された前記代入映像データとを符号化するステップと、
    符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積するステップと、を有する、
    映像データ切替方法。

Images