JP2017060078A - 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム - Google Patents

Abstract

【課題】軽量化、又は小型化を図りつつ、ユーザの観察方向の画像を撮影する。【解決手段】装着型画像録画システム１は、頭部装着装置１０と、カメラ装置２０とからなる。頭部装着装置１０は、メガネフレーム３０などを介して頭部に装着され、撮影中、撮影者の視線方向を検出し、付加情報としてカメラ装置２０に送信する。カメラ装置２０は、半天球画像（静止画又は動画）を撮像可能なデジタルカメラであり、撮影者の体や、服、バックなどに、撮影方向が撮影者の正面になるように装着される。カメラ装置２０は、半天球画像（静止画又は動画）を撮影すると、上記頭部装着装置１０からの撮影者の視線方向と自身の撮影方向とに基づいて、撮影した半天球画像（静止画又は動画）から、撮影者の視線方向の画像をトリミングして保存する。【選択図】図１

Description

本発明は、画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラムに関する。

従来、頭部や体にデジタルカメラを装着して、スポーツや、サイクリング、山歩き、歩行などの活動中に容易に撮影可能とするウエアラブル型撮像装置が普及しつつある。ウエアラブル型撮像装置には、特に、ユーザが見ている風景を撮影するために、撮像装置（デジタルカメラ）を頭部に装着するものがある。

例えば、メガネ型ウエアラブル機器にカメラ装置を搭載してユーザが見ている方向の画像（静止画、動画を含む）を撮影するといった装置がある（例えば特許文献１参照）。

特開２０１３−２００６３３号公報

しかしながら、上記従来技術による、カメラ装置を搭載したメガネ型ウエアラブル機器は、カメラ装置をメガネフレームに装着しなければならず、装置が大型化、又は重くなってしまうという問題があった。

そこで本発明は、軽量化、又は小型化を図りつつ、ユーザの観察方向の画像を撮影することを目的とする。

この発明に係る画像録画システムは、ユーザの観察方向を検知する観察方向検知手段を備え、前記ユーザに装着されるユーザ装着装置と、画像を撮影する撮像手段を備え、前記ユーザ装着装置とは別体である撮像装置と、からなり、前記ユーザ装着装置と前記撮像装置とのうちいずれかが、前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段を備える、ことを特徴とする。

この発明に係るユーザ装着装置は、ユーザの観察方向を検知する観察方向検知手段と、前記ユーザの観察方向を示す情報を外部装置に送信する通信手段と、を備え、前記外部装置は、画像を取得する取得手段と、前記通信手段により送信された前記ユーザの観察方向を示す情報に基づいて、前記取得手段により取得された画像に対して所定の画像処理を行う画像処理手段とを有し、前記外部装置とは別体であり、前記ユーザに装着される、ことを特徴とする。

この発明に係る撮像装置は、外部のユーザ装着装置から伝送されるユーザの観察方向を受信する通信手段と、前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段と、を備え、前記外部のユーザ装着装置とは別体であり、前記ユーザに装着されることを特徴とする。

この発明に係る画像処理装置は、撮像装置により撮影された画像を取得する画像取得手段と、前記撮像装置とは別体のユーザ装着装置から送信されるユーザの観察方向を受信する通信手段と、前記通信手段によって受信した前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段と、を備えることを特徴とする。

この発明に係る画像録画方法は、ユーザに装着されるユーザ装着装置に設けられた観察方向検知部によって前記ユーザの観察方向を検知するステップと、前記ユーザ装着装置とは別体の撮像装置に設けられた撮像部によって画像を撮影するステップと、前記ユーザ装着装置と前記撮像装置とのうちいずれかに設けられた画像処理部によって、前記ユーザの観察方向基づいて、前記撮像部により撮影された画像に対して所定の画像処理を行うステップと、を含むことを特徴とする。

この発明に係るプログラムは、ユーザに装着されるユーザ装着装置のコンピュータを、前記ユーザの視野方向を検知する視野方向検知手段として機能させ、前記ユーザ装着装置とは別体の撮像装置のコンピュータを、画像を撮影する撮像手段として機能させ、前記ユーザ装着装置と前記撮像装置とのうちいずれかのコンピュータを、前記ユーザの視野方向に基づいて、前記撮像手段により撮影された画像に対して所定の画像処理を行う画像処理手段として機能させることを特徴とする。

この発明によれば、軽量化、又は小型化を図りつつ、ユーザの観察方向の画像を撮影することができる。

本発明の実施形態による装着型画像録画システム１の構成を示すブロック図である。 本第１実施形態による頭部装着装置１０の構成を示すブロック図である。 本第１実施形態によるカメラ装置２０の構成を示すブロック図である。 本第１実施形態による頭部装着装置１０の動作を説明するためのフローチャートである。 本第１実施形態によるカメラ装置２０の動作を説明するためのフローチャートである。 本第２実施形態によるカメラ装置２０の動作を説明するためのフローチャートである。 本第２実施形態による再生動作を説明するためのフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．第１実施形態
図１は、本発明の第１実施形態による装着型画像録画システム１の構成を示すブロック図である。図１において、装着型画像録画システム１は、頭部装着装置（ユーザ装着装置）１０と、カメラ装置２０とからなる。頭部装着装置１０は、メガネフレーム３０などを介して頭部に装着され、半天球（全天周）画像（広角画像も含む）の撮影中、撮影者の視線方向を検出し、付加情報としてカメラ装置２０に送信する。なお、頭部装着装置１０は、メガネフレーム３０以外にも、直接、何らかの粘着シートや、ピンなどで頭部に装着されてもよいし、ヘッドバンドや、帽子、ヘッドギア、ヘッドフォン（イヤーフォン）などを介して頭部に装着されてもよい。

カメラ装置２０は、広角（例えば、１８０°以上）で撮像可能なデジタルカメラである。以下では、カメラ装置２０は、半天球画像（静止画又は動画）を撮影するものとする。カメラ装置２０は、撮影者の体（首からペンダントのように下げることも可）や、服、バックなどに、撮影方向が撮影者の正面になるように装着される。

頭部装着装置１０とカメラ装置２０とは、それぞれが利用可能な通信手段４０、例えば、無線ＬＡＮ（ＷｉＦｉ）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信、あるいは有線を用いて接続される。以下では、無線通信によって接続されるものとして説明する。

図２は、本第１実施形態による頭部装着装置１０の構成を示すブロック図である。図２において、頭部装着装置１０は、視野方向検知部１１、信号処理部１２、無線通信部１３、操作部１４、制御部１５、及びバッテリ１６を備えている。

視野方向検知部１１は、当該頭部装着装置１０を装着しているユーザ（撮影者）の視野方向を検知する。視野方向検知部１１としては、例えば、方位センサ（東西南北を検知）と３軸加速度センサ（傾きを検知）とからなり、ユーザ（撮影者）の頭部が向いている方向を検知する頭部方向検知手段や、該頭部方向検知手段に加え、ユーザ（撮影者）の眼球の動きを検知したり、基準点（目頭）と虹彩との位置関係や瞳孔の位置などを検知したりする視線方向検知手段を用いてもよい。また、その頭部方向検知手段と視線方向検知手段との両方を用いてより精度の高い視野方向を検知しても良い。信号処理部１２は、視野方向検知部１１によって検知された撮影者の視野方向（観察方向）を信号処理して所定のデータフォーマットの付加情報に変換する。

無線通信部１３は、信号処理部１２によって信号処理された付加情報を、所定の無線方式（無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を用いてカメラ装置２０に逐次送信する。したがって、撮影された画像のどの時点（フレーム）における、撮影者の視野方向であるかが一意に特定することができる。

なお、頭部装着装置１０とカメラ装置２０との間で、動画ファイルに付与されるタイムコードを共有するなどして、所定のタイミングで（例えば撮影終了後など）、まとめて送信するようにしてもよい。この場合、頭部装着装置１０とカメラ装置２０との間の通信に何らかの不具合が生じても、付加情報（撮影者の視野方向）と動画ファイルのフレームとの対応関係を特定することができる。

操作部１４は、電源スイッチや、撮影指示スイッチ（シャッター）などを備えている。なお、撮影指示スイッチ（シャッター）に関しては、メカニカルスイッチでもよいが、タッチセンサなどでよい。なお、メカニカルスイッチなどでは、比較的大きな力が加わることになるが、頭部装着装置１０をメガネなどに装着している場合には、メガネがずれるなどユーザに不快感を与えることになる。そこで、比較的に小さな力で操作可能なタッチセンサとすることで、ユーザは、頭部装着装置１０の筐体に軽くタッチするだけで撮影指示スイッチ（シャッター）を操作できる。つまり、制御部１５は、上述した各部の動作を統合的に制御する。バッテリ１６は、一次電池や、充電可能な二次電池などから成り、上述した各部に電力を供給する。

図３は、本第１実施形態によるカメラ装置２０の構成を示すブロック図である。図３において、カメラ装置２０は、光学系（広角レンズ）２１、撮像部２２、画像処理部２３、記憶部２４、方向検知部（撮像方向検知部）２５、無線通信部２６、操作部２７、制御部２８、及びバッテリ２９を備えている。

光学系（広角レンズ）２１は、撮影者である人間の視野角（水平約２００°、垂直約１２５°）と略同等、もしくはより広角な画像を撮影可能とするレンズ（例えば、魚眼レンズなど）であり、撮影者の前方の半天球画像（静止画又は動画）を撮影する。撮像部２２は撮像素子等からなり、光学系（広角レンズ）２１を通して結像した半天球画像を電気信号に変換する。

画像処理部２３は、半天球画像データに対する画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理やフィルタ処理等）を行う。記憶部２４は、撮像部２２によって撮像され、画像処理部２３により画像処理された半天球画像データを一時記憶するバッファメモリや、各部の制御に必要なプログラム、及び各部の制御に必要なデータを記憶するワーキングメモリとして用いられる。

方向検知部２５は、当該カメラ装置２０の撮影方向を検知する。方向検知部２５としては、例えば、方位センサ（東西南北を検知）と３軸加速度センサ（傾きを検知）とからなり、当該カメラ装置２０が東西南北、上下左右のどの方向を向いているかを検知する。無線通信部２６は、所定の無線方式（無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を用いて、頭部装着装置１０からの付加情報（撮影者の視野方向）を受信する。

また、画像処理部２３は、頭部装着装置１０からの付加情報（撮影者の視野方向）と、方向検知部２５により検知されるカメラ装置２０の撮影方向とに基づいて、カメラ装置２０の撮影範囲（半天球画像）のうち、撮影者の視野方向の画像部分を算出し、撮影された半円周画像データから撮影者の視野方向の画像部分を、所定のサイズでトリミングする。該所定のサイズとは、トリミングした画像データを一般的な表示装置で表示可能なサイズを意味する（なお、画像データ自体は拡縮可能であるので、転送時のデータ量や、拡縮に要する処理能力等を考慮したサイズとなる）。なお、半天球画像は、周辺部分ほど歪むことになるので、トリミングした画像に対して歪曲補正処理を施して歪みを取り除くようにしてもよい。トリミングされた画像データは、記憶部２４に保存される。なお、カメラ装置２０は、ユーザによる所定の設定により画角が適宜変更されても良く、撮影者の視野方向の画像部分を所定のサイズでトリミングする際には、設定されているカメラ装置２０の画角についても考慮にいれ、当該画角の情報と、頭部装着装置１０からの付加情報と、方向検知部２５により検知されるカメラ装置２０の撮影方向との情報に基づいて撮影者の視野方向の画像部分を算出してもよいのは勿論である。

また、取得される画像が撮影者の向いている方向の画像であって、撮影者の視野角と同等以上の画角で撮影が行われるのであれば、方向検知部２５によって検知されるカメラ装置２０の撮影方向が必ずしも必要ではなく、頭部装着装置１０からの付加情報のみから撮影者の視野方向の画像部分を算出してもよい。

操作部２７は、電源スイッチや、撮影指示スイッチ（シャッター）などからなる。制御部２８は、上述した各部の動作を統合的に制御する。

なお、撮影開始の指示操作、すなわちシャッター操作は、頭部装着装置１０の操作部１４で行っても、カメラ装置２０の操作部２７で行ってもよい。頭部装着装置１０側で撮影指示を行った場合には、シャッター操作が行われたことを示す信号が通信手段４０を介してカメラ装置２０に送信される。同様に、カメラ装置２０で撮影指示を行った場合には、シャッター操作が行われたことを示す信号が通信手段４０を介して頭部装着装置１０に送信される。

いずれの場合も、互いに同期して、頭部装着装置１０では、撮影者の視野方向を逐次検知してカメラ装置２０に送信し、カメラ装置２０では、カメラ装置２０の撮影方向を逐次検知するとともに、半円周画像（静止画又は動画）の撮影を実行する。撮影者の視野方向の検知とカメラ装置２０の撮影方向の検知とは、静止画撮影では、そのとき１回でよいが、動画撮影では、所定の時間間隔（例えば、フレーム単位）で逐次実行される。

次に、上述した第１実施形態の動作について説明する。
図４は、本第１実施形態による頭部装着装置１０の動作を説明するためのフローチャートである。頭部装着装置１０では、まず、制御部１５は、ユーザにより操作部１４から撮影指示が行われたか、あるいはカメラ装置２０から撮影指示を受信したか否かを判断する（ステップＳ１０）。そして、撮影指示がない場合には（ステップＳ１０のＮＯ）、制御部１５は、当該ステップＳ１０を繰り返し待機状態となる（又は当該処理を終了する）。

一方、撮影指示があった場合には（ステップＳ１０のＹＥＳ）、制御部１５は、視野方向検知部１１によって当該頭部装着装置１０を装着している撮影者の視野方向を検知する（ステップＳ１２）。次に、制御部１５は、信号処理部１２によって、視野方向検知部１１によって検知された撮影者の視野方向を信号処理して所定のデータフォーマットの付加情報に変換し、無線通信部１３を介して、カメラ装置２０に送信する（ステップＳ１４）。

次に、制御部１５は、撮影終了であるか否かを判断し（ステップＳ１６）、撮影終了でない場合、すなわち動画撮影の場合には（ステップＳ１６のＮＯ）、ステップＳ１２に戻り、視野方向検知部１１による撮影者の視野方向の検知、カメラ装置２０への送信を繰り返す。一方、撮影終了である場合には（ステップＳ１６のＹＥＳ）、制御部１５は、当該処理を終了する。

図５は、本第１実施形態によるカメラ装置２０の動作を説明するためのフローチャートである。カメラ装置２０では、まず、制御部２８は、ユーザにより操作部２７から撮影指示が行われたか、あるいは頭部装着装置１０から撮影指示を受信したか否かを判断する（ステップＳ２０）。そして、撮影指示がない場合には（ステップＳ２０のＮＯ）、制御部２８は、当該ステップＳ２０を繰り返し待機状態となる（又は当該処理を終了する）。

一方、撮影指示があった場合には（ステップＳ２０のＹＥＳ）、制御部２８は、方向検知部２５によって、カメラ装置２０の撮影方向を検知する（ステップＳ２２）。次に、制御部２８は、無線通信部２６を介して、頭部装着装置１０から付加情報（撮影者の向いている方向）を受信する（ステップＳ２４）。

次に、制御部２８は、カメラ装置２０の撮影方向と撮影者の視野方向とに基づいて、カメラ装置２０の撮影範囲（半天球画像）のうち、撮影者の視野方向の画像部分を算出する（ステップＳ２６）。次に、制御部２８は、撮像部２２によって撮影される半天球画像を取り込み（ステップＳ２８）、画像処理部２３によって撮影された半円周画像データから撮影者の視野方向の画像部分を、所定のサイズでトリミングする（ステップＳ３０）。そして、制御部２８は、トリミングした画像データを記憶部２４に保存する（ステップＳ３２）。

次に、制御部２８は、撮影終了であるか否かを判断し（ステップＳ３４）、撮影終了でない場合、すなわち動画撮影の場合には（ステップＳ３４のＮＯ）、ステップＳ２２に戻り、カメラ装置２０の撮影方向と撮影者の視野方向とに基づいて、撮影された半天球画像データから撮影者の視野方向の画像部分をトリミングして保存する動作を繰り返す。一方、撮影終了である場合には（ステップＳ１６のＹＥＳ）、制御部２８は、当該処理を終了する。

なお、静止画の場合には、トリミングした画像データがそのまま静止画データして再生可能であるが、動画の場合には、トリミングした画像データを保存する際に、トリミングした画像データから動画データを逐次作成するか、撮影終了後にまとめて動画データを作成する。なお、動画の場合に、静止画像をトリミングしながら動画像を作成しつつ、撮影終了後に、撮影中に作成された動画データを保存するようにしてもよい。

上述した本第１実施形態によれば、撮影者の視野方向を検知する頭部装着装置１０と、半天球画像を撮影可能なカメラ装置２０とを別体としたので、頭部装着装置１０を軽量化、又は小型化することが可能となり、頭部装着装置１０を装着するユーザへの負担を軽減することができる。

また、頭部装着装置１０とカメラ装置２０とを別体としても、カメラ装置２０で撮影した半天球画像から撮影者の視野方向の画像をトリミングすることで、頭部装着装置１０とカメラ装置２０とが一体化したウエアラブル型撮像装置と同様に、ユーザの視野方向の静止画でも、動画でも撮影することができる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態では、カメラ装置２０で撮影した半天球画像から撮影者の視野方向の画像をトリミングすることなく、撮影した半天球画像データに撮影者の視野方向をメタデータとして紐付けて保存する。そして、再生時に、半天球画像データから撮影者の視野方向を取り出し、半天球画像データから撮影者の視野方向の画像部分をトリミングして再生表示する。再生装置としては、例えば、再生用のアプリケーションをインストールしたスマートフォンや、専用端末を用いる。

図６は、本第２実施形態によるカメラ装置２０の動作を説明するためのフローチャートである。なお、頭部装着装置１０の動作は、第１実施形態と同じであるので説明を省略する。

カメラ装置２０では、まず、制御部２８は、ユーザにより操作部２７から撮影指示が行われたか、あるいは頭部装着装置１０から撮影指示を受信したか否かを判断する（ステップＳ５０）。そして、撮影指示がない場合には（ステップＳ５０のＮＯ）、制御部２８は、当該ステップ５０を繰り返し待機状態となる（又は当該処理を終了する）。

一方、撮影指示があった場合には（ステップＳ５０のＹＥＳ）、制御部２８は、方向検知部２５によって、カメラ装置２０の撮影方向を検知する（ステップＳ５２）。次に、制御部２８は、無線通信部２６を介して、頭部装着装置１０から付加情報（撮影者の視野方向）を受信する（ステップＳ５４）。

次に、制御部２８は、撮像部２２によって撮影された半天球画像を取り込み（ステップＳ５６）、取り込んだ半天球画像データに付加情報（撮影者の視野方向）を紐付けて記憶部２４に保存する（ステップＳ５８）。

次に、制御部２８は、撮影終了であるか否かを判断し（ステップＳ６０）、撮影終了でない場合、すなわち動画撮影の場合には（ステップＳ６０のＮＯ）、ステップＳ５２に戻り、カメラ装置２０から取り込んだ半天球画像データに付加情報（撮影者の視野方向）を紐付けて記憶部２４に保存する動作を繰り返す。一方、撮影終了である場合には（ステップＳ６２のＹＥＳ）、制御部２８は、当該処理を終了する。

図７は、本第２実施形態による装着型画像録画システム１を用いて作成した半天球画像データを再生する動作を説明するためのフローチャートである。なお、カメラ装置２０で作成された半天球画像データは、予め再生装置（図示略）に転送されているものとする。再生装置では、まず、再生指示があったか否かを判断する（ステップＳ７０）。そして、再生指示がない場合には（ステップＳ７０のＮＯ）、当該ステップ７０を繰り返し待機状態となる（又は当該処理を終了する）。

一方、再生指示があった場合には（ステップＳ７０のＹＥＳ）、半天球画像データからフレーム単位で付加情報（撮影者の視野方向）を取り出す（ステップＳ７２）。次に、フレーム単位で半天球画像データから撮影者の視野方向に対応する画像部分をトリミングする（ステップＳ７４）。

そして、トリミングした画像データを（最初）の表示画像（静止画又は動画）として表示する（ステップＳ７６）。次に、再生終了の指示があったか（又は動画であれば最後まで再生したか）否かを判断する（ステップＳ７８）。そして、再生終了の指示がない場合（又は動画であれば最後まで再生していない場合）には（ステップＳ７８のＮＯ）、ステップＳ７２に戻り、フレーム単位で半天球画像データから撮影者の視線方向に対応する画像部分を逐次トリミングして表示画像（静止画又は動画）として表示する動作を繰り返す。一方、再生終了が指示された場合（又は動画であれば最後まで再生した場合）には（ステップＳ７８のＹＥＳ）、当該処理を終了する。

上述した第２実施形態によれば、半天周画像の記録時にはトリミングなどの画像処理を行わないので、記録時の負荷を低減することができ、記録時のフレームレートやビットレートを上げて高品質の画像を保存することができる。

また、上述した第１、第２実施形態によれば、メガネフレーム３０に軽量化、小型化を図った頭部装着装置１０を装着するようにしたので、デザイン性を向上させることができ、ユーザに違和感や、不快感を与えることなく頭部装着装置１０を装着させることができる。

また、上述した第１、第２実施形態によれば、撮影者の視野方向を、撮影者の頭部の方向により検知するようにしたので、比較的に簡単な構成で撮影者の視野方向を検知することができる。

また、上述した第１、第２実施形態によれば、撮影者の視野方向を、撮影者の頭部の方向に加えて、撮影者の視線方向により検知するようにしたので、より正確に撮影者が見ている方向を検知することができ、ユーザの視野方向の画像をより正確に撮影することができる。

なお、上述した第１、第２実施形態においては、カメラ装置２０を撮影中に向きが変わり得る撮影者の体に装着するため、頭部装着装置１０とカメラ装置２０との方向との差からトリミングする画像部分を特定した。これに対して、カメラ装置２０の向きが変わらない状況（例えば、カメラ装置２０を固定物に装着するような場合）では、カメラ装置２０の方向を基準とすれば、頭部装着装置１０で検出した視線方向だけでトリミングする部分を特定することが可能となる。従って、このような場合には、カメラ装置２０に方向検知部２５を不要にすることができる。

また、上記実施形態では、カメラ装置２０は撮影者の前方を向くように装着されるとしたが、それに限らず、方向検知部２５により検知された撮影方向と頭部装着装置１０の視野方向検知部１１により検知された撮影者の視野方向とから、撮影された画像のうち、撮影者が見ている方向の画像の領域が確認できるようであれば、カメラ装置２０を撮影者の前方以外の方向に向けた状態でユーザに装着させても良い。

また、上述した第１、２実施形態では、最終的に半天球画像から撮影者の視線方向に対応する画像部分をトリミングして保存、又は表示するようしたが、トリミングだけに限らず、トリミングした画像を拡大する拡大処理、トリミングした画像の色合いを変えるカラー処理、トリミングした画像の周辺に中心に向かう注目線を付加する付加処理など、画像効果を加える画像処理を実行するようにしてもよい。これにより、ユーザの興味を引く画像を提供することができる。

また、上述した第１実施形態では、撮像素子、画像処理用のＬＳＩ、メモリなどの電子回路、電子回路を駆動するためのバッテリ等の画像を撮影、保存する手段を、頭部装着装置１０と別体のカメラ装置２０に設けるようにしたが、これに限らず、その一部、例えば、画像処理部２３や、記憶部２４の少なくとも１つ、又は双方を頭部装着装置１０に搭載するようしてもよい。すなわち、従来技術であれば、カメラ装置２０の全てを頭部装着装置１０側に搭載していたのに比べ、その一部を頭部装着装置１０以外に搭載すれば、頭部装着装置１０を軽量化、又は小型化することが可能となり、ユーザの負担を軽減することができる。

また、上記実施形態では、頭部装着装置１０により検知された撮影者の視線方向の情報をカメラ装置２０に送信する構成であるが、それに限らず、その視線方向の情報や撮影方向の情報を、頭部装着装置１０及びカメラ装置２０ではない画像処理装置に送信して、カメラ装置２０で撮影された画像データについても当該画像処理装置に送信して、その画像処理装置で画像データに撮影者の視野方向の画像部分を算出してトリミングなどの所定の処理を行うような構成であっても良い。即ち、第１実施形態において、図５のフローチャートにおけるステップＳ２２でカメラ装置２０から撮影方向の情報を上記画像処理装置に送信し、ステップＳ２４〜Ｓ３２までの処理をこの上記画像処理装置で行うような構成にしてもよい。また、第２実施形態において、図６のＳ５２でカメラ装置２０から撮影方向の情報を上記画像処理装置に送信し、ステップＳ５４〜Ｓ５８、及び図７のステップＳ７０〜Ｓ７８までの処理をこの上記画像処理装置で行うような構成にしてもよい。

また、上述した第１、２実施形態では、頭部装着装置１０には、撮影者の視野方向を検知する視野方向検知部１１や、それに伴う信号処理部１２、無線通信部１３などを搭載することで軽量化、小型化を図ったが、これに限らず、カメラ装置２０でトリミングして作成した画像データ（静止画又は動画）を、ユーザの目に直接投影したり、ユーザの目前の小型スクリーンに投影したりする表示装置を設けるようにしてもよい。このように、撮影者の頭部に表示装置を設けたとしても、カメラ機能に係る構成部品を頭部装着装置１０とは別体のカメラ装置２０に搭載しているので、全てを頭部側に装着するウエアラブル装置に比べ、軽量化、小型化を図りつつ、ユーザの視野方向の画像を撮影することができる。

また、上述した実施形態では、頭部装着装置１０が有する視野方向検知部１１によって撮影者の視野方向を検知していたが、撮影者の頭の向きが判別できれば、特に頭部に装着することに限定することなく、身体に装着された装置でもって撮影者の視野方向を検知するような構成にしてもよい。例えば、頭を動かすことで反応する筋肉の動きを検知することや、頭の動きを直接センサー等でもって検知するような構成でも良い。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、ユーザの観察方向を検知する観察方向検知手段を備え、前記ユーザに装着されるユーザ装着装置と、画像を撮影する撮像手段を備え、前記ユーザ装着装置とは別体である撮像装置と、からなり、前記ユーザ装着装置と前記撮像装置とのうちいずれかが、前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段を備える、ことを特徴とする画像録画システムである。

（付記２）
付記２に記載の発明は、前記撮像装置は、前記撮像手段の撮影方向を検知する撮影方向検知手段を備え、前記画像処理手段は、前記ユーザの観察方向と前記撮像手段の撮影方向とに基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う、ことを特徴とする付記１に記載の画像録画システムである。

（付記３）
付記３に記載の発明は、前記撮像装置は、前記撮像手段の撮影方向が前記ユーザの前方を向くように前記ユーザに装着される、ことを特徴とする付記１又は２に記載の画像録画システムである。

（付記４）
付記４に記載の発明は、前記ユーザ装着装置は、前記ユーザが掛ける眼鏡に装着される、ことを特徴とする付記１乃至３のいずれか一つに記載の画像録画システムである。

（付記５）
付記５に記載の発明は、前記観察方向検知手段は、前記ユーザの頭部の方向を検知する頭部方向検知手段を備える、ことを特徴とする付記１乃至４のいずれか一つに記載の画像録画システムである。

（付記６）
付記６に記載の発明は、前記観察方向検知手段は、前記ユーザの視線方向を検知する視線方向検知手段を備える、ことを特徴とする付記１乃至５のいずれか一つに記載の画像録画システムである。

（付記７）
付記７に記載の発明は、前記画像処理手段は、前記所定の画像処理として、前記撮像手段により撮像された画像から、前記ユーザの観察方向の画像をトリミングするトリミング処理手段を含む、ことを特徴とする付記１乃至６のいずれか一つに記載の画像録画システムである。

（付記８）
付記８に記載の発明は、前記ユーザ装着装置は、前記撮像手段により撮影された画像を表示する表示手段を更に備える、ことを特徴とする付記１乃至７のいずれか一つに記載の画像録画システムである。

（付記９）
付記９に記載の発明は、前記画像処理手段と前記画像処理手段によって画像処理された画像を保存する保存手段とが、前記撮像装置に設けられる、ことを特徴とする付記１乃至８のいずれか一つに記載の画像録画システムである。

（付記１０）
付記１０に記載の発明は、前記撮像手段は、前記ユーザの視野角と少なくとも略同等の画角、又はより広角な画像を所定のタイミングで撮像し続ける、ことを特徴とする付記１乃至９のいずれか一つに記載の画像録画システムである。

（付記１１）
付記１１に記載の発明は、前記撮像手段は、前記ユーザの視野角と少なくとも略同等の画角、又はより広角な動画撮影をする、ことを特徴とする付記１乃至１０のいずれか一つに記載の画像録画システムである。

（付記１２）
付記１２に記載の発明は、前記撮像手段は、前記ユーザ装着装置に対する所定の操作に基づいて画像を撮影する、ことを特徴とする付記１乃至１１のいずれか一つに記載の画像録画システムである。

（付記１３）
付記１３に記載の発明は、ユーザの観察方向を検知する観察方向検知手段と、前記ユーザの観察方向を示す情報を外部装置に送信する通信手段と、を備え、前記外部装置は、画像を取得する取得手段と、前記通信手段により送信された前記ユーザの観察方向を示す情報に基づいて、前記取得手段により取得された画像に対して所定の画像処理を行う画像処理手段とを有し、前記外部装置とは別体であり、前記ユーザに装着される、ことを特徴とするユーザ装着装置である。

（付記１４）
付記１４に記載の発明は、画像を撮影する撮像手段と、外部のユーザ装着装置から伝送されるユーザの観察方向を受信する通信手段と、前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段と、を備え、前記外部のユーザ装着装置とは別体であり、前記ユーザに装着される、とを特徴とする撮像装置である。

（付記１５）
付記１５に記載の発明は、撮像装置により撮影された画像を取得する画像取得手段と、前記撮像装置とは別体のユーザ装着装置から送信されるユーザの観察方向を受信する通信手段と、前記通信手段によって受信した前記ユーザの観察方向に基づいて、前記撮像装置により撮像された画像に対して所定の画像処理を行う画像処理手段と、を備えることを特徴とする画像処理装置である。

（付記１６）
付記１６に記載の発明は、ユーザに装着されるユーザ装着装置に設けられた観察方向検知部によって前記ユーザの観察方向を検知するステップと、前記ユーザ装着装置とは別体の撮像装置に設けられた撮像部によって画像を撮影するステップと、前記ユーザ装着装置と前記撮像装置とのうちいずれかに設けられた画像処理部によって、前記ユーザの観察方向基づいて、前記撮像部により撮影された画像に対して所定の画像処理を行うステップと、を含むことを特徴とする画像録画方法である。

（付記１７）
付記１７に記載の発明は、ユーザに装着されるユーザ装着装置のコンピュータを、前記ユーザの視野方向を検知する視野方向検知手段として機能させ、前記ユーザ装着装置とは別体の撮像装置のコンピュータを、画像を撮影する撮像手段として機能させ、前記ユーザ装着装置と前記撮像装置とのうちいずれかのコンピュータを、前記ユーザの視野方向に基づいて、前記撮像手段により撮影された画像に対して所定の画像処理を行う画像処理手段として機能させることを特徴とするプログラムである。

１ 装着型画像録画システム
１０ 頭部装着装置
１１ 視野方向検知部
１２ 信号処理部
１３、２６ 無線通信部
１４、２７ 操作部
１５、２８ 制御部
１６、２９ バッテリ
２０ カメラ装置
２１ 光学系（広角レンズ）
２２ 撮像部
２３ 画像処理部
２４ 記憶部
２５ 方向検知部
３０ メガネフレーム
４０ 通信手段

Claims (17)

1. ユーザの観察方向を検知する観察方向検知手段を備え、前記ユーザに装着されるユーザ装着装置と、
   画像を撮影する撮像手段を備え、前記ユーザ装着装置とは別体である撮像装置と、
   からなり、
   前記ユーザ装着装置と前記撮像装置とのうちいずれかが、
   前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段を備える、
   ことを特徴とする画像録画システム。
2. 前記撮像装置は、前記撮像手段の撮影方向を検知する撮影方向検知手段を備え、
   前記画像処理手段は、前記ユーザの観察方向と前記撮像手段の撮影方向とに基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う、
   ことを特徴とする請求項１に記載の画像録画システム。
3. 前記撮像装置は、前記撮像手段の撮影方向が前記ユーザの前方を向くように前記ユーザに装着される、
   ことを特徴とする請求項１又は２に記載の画像録画システム。
4. 前記ユーザ装着装置は、前記ユーザが掛ける眼鏡に装着される、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の画像録画システム。
5. 前記観察方向検知手段は、前記ユーザの頭部の方向を検知する頭部方向検知手段を備える、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の画像録画システム。
6. 前記観察方向検知手段は、前記ユーザの視線方向を検知する視線方向検知手段を備える、
   ことを特徴とする請求項１乃至５のいずれか一項に記載の画像録画システム。
7. 前記画像処理手段は、前記所定の画像処理として、前記撮像手段により撮像された画像から、前記ユーザの観察方向の画像をトリミングするトリミング処理手段を含む、
   ことを特徴とする請求項１乃至６のいずれか一項に記載の画像録画システム。
8. 前記ユーザ装着装置は、前記撮像手段により撮影された画像を表示する表示手段を更に備える、
   ことを特徴とする請求項１乃至７のいずれか一項に記載の画像録画システム。
9. 前記画像処理手段と前記画像処理手段によって画像処理された画像を保存する保存手段とが、前記撮像装置に設けられる、
   ことを特徴とする請求項１乃至８のいずれか一項に記載の画像録画システム。
10. 前記撮像手段は、前記ユーザの視野角と少なくとも略同等の画角、又はより広角な画像を所定のタイミングで撮像し続ける、
    ことを特徴とする請求項１乃至９のいずれか一項に記載の画像録画システム。
11. 前記撮像手段は、前記ユーザの視野角と少なくとも略同等の画角、又はより広角な動画撮影をする、
    ことを特徴とする請求項１乃至１０のいずれか一項に記載の画像録画システム。
12. 前記撮像手段は、前記ユーザ装着装置に対する所定の操作に基づいて画像を撮影する、
    ことを特徴とする請求項１乃至１１のいずれか一項に記載の画像録画システム。
13. ユーザの観察方向を検知する観察方向検知手段と、
    前記ユーザの観察方向を示す情報を外部装置に送信する通信手段と、
    を備え、
    前記外部装置は、
    画像を取得する取得手段と、
    前記通信手段により送信された前記ユーザの観察方向を示す情報に基づいて、前記取得手段により取得された画像に対して所定の画像処理を行う画像処理手段とを有し、
    前記外部装置とは別体であり、前記ユーザに装着される、
    ことを特徴とするユーザ装着装置。
14. 画像を撮影する撮像手段と、
    外部のユーザ装着装置から伝送されるユーザの観察方向を受信する通信手段と、
    前記ユーザの観察方向に基づいて、前記撮像手段により撮像された画像に対して所定の画像処理を行う画像処理手段と、
    を備え、
    前記外部のユーザ装着装置とは別体であり、前記ユーザに装着される、
    ことを特徴とする撮像装置。
15. 撮像装置により撮影された画像を取得する画像取得手段と、
    前記撮像装置とは別体のユーザ装着装置から送信されるユーザの観察方向を受信する通信手段と、
    前記通信手段によって受信した前記ユーザの観察方向に基づいて、前記撮像装置により撮像された画像に対して所定の画像処理を行う画像処理手段と、
    を備えることを特徴とする画像処理装置。
16. ユーザに装着されるユーザ装着装置に設けられた観察方向検知部によって前記ユーザの観察方向を検知するステップと、
    前記ユーザ装着装置とは別体の撮像装置に設けられた撮像部によって画像を撮影するステップと、
    前記ユーザ装着装置と前記撮像装置とのうちいずれかに設けられた画像処理部によって、前記ユーザの観察方向基づいて、前記撮像部により撮影された画像に対して所定の画像処理を行うステップと、
    を含むことを特徴とする画像録画方法。
17. ユーザに装着されるユーザ装着装置のコンピュータを、
    前記ユーザの視野方向を検知する視野方向検知手段として機能させ、
    前記ユーザ装着装置とは別体の撮像装置のコンピュータを、
    画像を撮影する撮像手段として機能させ、
    前記ユーザ装着装置と前記撮像装置とのうちいずれかのコンピュータを、
    前記ユーザの視野方向に基づいて、前記撮像手段により撮影された画像に対して所定の画像処理を行う画像処理手段として機能させることを特徴とするプログラム。
    
    

Images