JP2014236426A - 画像処理装置および撮像システム - Google Patents

Abstract

【課題】同時に撮像された２つの撮像データの視点の位置関係を容易に理解させる。【解決手段】第１撮像装置により撮像された第１撮像データおよび第２撮像装置により撮像された第２撮像データを取得する画像取得部と、第１撮像装置に対する第２撮像装置の相対位置を算出する相対位置算出部と、第１撮像装置の撮像方向と第２撮像装置の撮像方向との角度差を算出する角度差算出部と、第１撮像装置に対する第２撮像装置の相対位置および第２撮像データの撮像時における第２撮像装置の撮像方向に基づき、第２撮像装置の撮像視野に第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、第２撮像装置の撮像視野に第１撮像装置を基準位置とした予め設定された領域が含まれると判定部が判定した場合に、第１撮像データの画面上における角度差に対応する位置に第２撮像データを合成する合成部と、を備える画像処理装置を提供する。【選択図】図３

Description

本発明は、画像処理装置および撮像システムに関する。

従来、別個の機器で同時に撮像された静止画像データと動画像データとを関連付ける技術が知られている（特許文献１参照。）。このような技術により、静止画像データを動画像データのインデックスとして利用したり、動画像データの特定の場面を静止画像データで鑑賞させたりすることができる。

特開２０１０−１９３３０７号公報

ところで、近年、スポーツ中の競技者自身またはその競技者が操作する車等に撮像装置を取り付けて、動画像データを撮像する場合がある。このように撮像された動画像データは、通常の撮影方法とは視点が異なるので、映像内容から一見して撮影状況が理解できない場合がある。また、このような別個の機器で同時に撮影された静止画像データを動画像データのインデックスとして用いても、鑑賞者には動画像データの視点と静止画像データの視点との関係が理解できないので、動画像データの撮影状況を理解することは困難である。

本発明は、上記に鑑みてなされたものであって、同時に撮像された２つの撮像データの視点の位置関係を示して、撮影状況を容易に理解させることができる画像処理装置および撮像システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置および撮像システムは、第１撮像装置により撮像された第１撮像データおよび第２撮像装置により撮像された第２撮像データを取得する画像取得部と、前記第１撮像データの撮像時における前記第１撮像装置の位置と前記第２撮像データの撮像時における前記第２撮像装置の位置とを取得して、前記第１撮像装置に対する前記第２撮像装置の相対位置を算出する相対位置算出部と、前記第２撮像データの撮像時における前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向とを取得して、前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向との角度差を算出する角度差算出部と、前記第１撮像装置に対する前記第２撮像装置の相対位置および前記第２撮像データの撮像時における前記第２撮像装置の撮像方向に基づき、前記第２撮像装置の撮像視野に前記第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、前記第２撮像装置の撮像視野に前記第１撮像装置を基準位置とした予め設定された領域が含まれると前記判定部が判定した場合に、前記第１撮像データの画面上における前記角度差に対応する位置に、前記第２撮像データを合成する合成部と、を備える。

本発明によれば、同時に撮像された２つの撮像データの視点の位置関係を示して、撮影状況を容易に理解させることができる。

図１は、実施形態に係る撮像システム１０の外観を示す図である。 図２は、実施形態に係る撮像システム１０の構成を示す図である。 図３は、画像処理部４８の構成を示す図である。 図４は、カメラ装置２０と情報端末３０との相対位置、および、カメラ装置２０の撮像方向と情報端末３０の撮像方向との角度差の一例を示す図である。 図５は、動画像データの画面上のサムネイル画像の合成位置の一例を示す図である。 図６は、角度差が＋９０度である場合の合成例を示す図である。 図７は、角度差が＋１８０度である場合の合成例を示す図である。 図８は、角度差が＋２２５度である場合の合成例を示す図である。 図９は、撮像時のカメラ装置２０および情報端末３０の処理フローを示す図である。 図１０は、合成時のカメラ装置２０および情報端末３０の処理フローを示す図である。 図１１は、縮小画像７２の表示方法の第１変形例を示す図である。 図１２は、縮小画像７２の表示方法の第２変形例を示す図である。 図１３は、カメラ装置２０と情報端末３０とが同一の被写体を撮像する場合の撮像位置の一例を示す図である。 図１４は、カメラ装置２０と情報端末３０とが同一の被写体を撮像する場合の合成例を示す図である。

以下に、本発明の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係る撮像システム１０の外観を示す図である。本実施形態に係る撮像システム１０は、カメラ装置２０と、情報端末３０とを備える。

カメラ装置２０は、第１撮像装置の一例であって、被写体を撮像して動画像データ（第１撮像データ）を記録する。カメラ装置２０は、一例として、スポーツ中の競技者自身またはその競技者が操作する車等に取り付けられ、競技中に競技者の視点から被写体を撮像する。

情報端末３０は、第１撮像装置とは別体の第２撮像装置の一例であって、被写体を撮像して静止画像データ（第２撮像データ）を記録する。情報端末３０は、一例として、スマートフォンまたは携帯電話機等の撮像機能を有する小型情報機器である。

情報端末３０は、一例として、競技者とは異なる人物である操作者により保持されて操作される。情報端末３０は、操作者による操作に応じて、被写体を撮像する。

情報端末３０は、カメラ装置２０と、Ｗｉ−Ｆｉ（登録商標）等の無線通信により接続される。情報端末３０は、カメラ装置２０の動作を無線通信を介して制御することができる。従って、カメラ装置２０は、情報端末３０を介した操作者による操作に応じて、撮像の開始および停止をする。

図２は、実施形態に係る撮像システム１０の構成を示す図である。カメラ装置２０は、第１撮像部４１と、第１時刻検出部４２と、第１位置検出部４３と、第１方向検出部４４と、第１無線通信部４５と、第１記憶部４６と、第１制御部４７とを有する。

第１撮像部４１は、被写体を撮像して動画像データを出力する。第１時刻検出部４２は、第１撮像部４１の撮像時における時刻を示す撮像時刻情報を、動画像データに対応させて出力する。

第１位置検出部４３は、第１撮像部４１の撮像時における、カメラ装置２０の位置を示す位置情報を、動画像データに対応させて出力する。第１位置検出部４３は、一例として、ＧＰＳ（Global Positioning System）を利用した位置検出装置であって、位置情報として、緯度情報および経度情報をリアルタイムで出力する。

第１方向検出部４４は、第１撮像部４１の撮像時における撮像方向を示す撮像方向情報を、動画像データに対応させて出力する。第１方向検出部４４は、一例として、地球の地磁気を検出する電子コンパスであって、第１撮像部４１の対物レンズの光軸の向いている方位、すなわち、カメラ装置２０から被写体へ向かう方位を、撮像方向情報としてリアルタイムで出力する。

第１無線通信部４５は、情報端末３０と無線通信で情報を送受信する。第１無線通信部４５は、一例として、Ｗｉ−Ｆｉ（登録商標）により情報端末３０と情報を送受信する。

第１記憶部４６は、第１撮像部４１から出力された動画像データを記録する。また、第１記憶部４６は、動画像データに対応付けて、第１時刻検出部４２から出力された時刻情報、第１位置検出部４３から出力された位置情報、および、第１方向検出部４４から出力された撮像方向情報を記憶する。

第１制御部４７は、例えばＣＰＵ（Central Processing Unit）であって、カメラ装置２０の全体を制御する。第１制御部４７は、一例として、第１撮像部４１の撮像動作を制御する。また、第１制御部４７は、一例として、第１撮像部４１、第１時刻検出部４２、第１位置検出部４３および第１方向検出部４４から出力された各データおよび情報の第１記憶部４６に対する書き込みおよび読み出しを制御する。また、第１制御部４７は、第１無線通信部４５を制御して、情報端末３０との間の情報の送受信を制御する。

さらに、第１制御部４７は、画像処理部４８を含む。画像処理部４８は、例えば、ＣＰＵがプログラムを実行することにより実現される画像処理装置の一例である。画像処理部４８は、第１撮像部４１により撮像された動画像データの画面上に、情報端末３０により撮像された静止画像データの縮小画像を合成する。画像処理部４８の構成については、図３を参照して詳細に説明する。

一方、情報端末３０は、第２撮像部５１と、第２時刻検出部５２と、第２位置検出部５３と、第２方向検出部５４と、第２無線通信部５５と、第２記憶部５６と、表示入力部５７と、第２制御部５８とを有する。

第２撮像部５１は、被写体を撮像して静止画像データを出力する。第２時刻検出部５２は、第２撮像部５１による静止画像データの撮像時における時刻を示す撮像時刻情報を出力する。

第２位置検出部５３は、第２撮像部５１による静止画像データの撮像時における情報端末３０の位置を示す位置情報を出力する。第２位置検出部５３は、一例として、ＧＰＳを利用した位置検出装置であって、位置情報として、緯度情報および経度情報を出力する。

第２方向検出部５４は、第２撮像部５１による静止画像データの撮像時における撮像方向を示す撮像方向情報を出力する。第２方向検出部５４は、一例として、電子コンパスであって、第２撮像部５１の対物レンズの光軸の向いている方位、すなわち、情報端末３０から被写体へ向かう方位を、撮像方向情報として出力する。

第２無線通信部５５は、カメラ装置２０と無線通信で情報を送受信する。第２無線通信部５５は、一例として、Ｗｉ−Ｆｉ（登録商標）によりカメラ装置２０と情報を送受信する。

第２記憶部５６は、第２撮像部５１から出力された静止画像データを記録する。また、第２記憶部５６は、静止画像データに対応付けて、第２時刻検出部５２から出力された時刻情報、第２位置検出部５３から出力された位置情報、および、第２方向検出部５４から出力された撮像方向情報を記憶する。

表示入力部５７は、例えばタッチパネルであって、操作者に対して情報を表示するとともに、操作者から情報を入力する。

第２制御部５８は、例えばＣＰＵであって、情報端末３０の全体を制御する。また、第２制御部５８は、一例として、第２撮像部５１の撮像動作を制御する。また、第２制御部５８は、一例として、第２撮像部５１、第２時刻検出部５２、第２位置検出部５３および第２方向検出部５４から出力された各データおよび情報の第２記憶部５６に対する書き込みおよび読み出しを制御する。また、第２制御部５８は、第２無線通信部５５を制御して、カメラ装置２０との間の情報の送受信を制御する。

図３は、画像処理部４８の構成を示す図である。画像処理部４８は、第１の画像取得部６１と、時刻取得部６２と、第２の画像取得部６３と、相対位置算出部６４と、角度差算出部６５と、判定部６６と、デコード部６７と、合成部６８と、エンコード部６９とを含む。

第１の画像取得部６１は、情報端末３０により撮像された静止画像データを、情報端末３０から取得する。時刻取得部６２は、第１の画像取得部６１が取得した静止画像データの撮像時刻情報を、情報端末３０から取得する。

第２の画像取得部６３は、第１の画像取得部６１が取得した静止画像データと、同一期間に撮像された動画像データを第１記憶部４６から取得する。より具体的には、第２の画像取得部６３は、一例として、時刻取得部６２が取得した撮像時刻情報に示された時刻を含む一定の期間の動画像データを取得する。すなわち、第２の画像取得部６３は、取得した静止画像データを撮像した時刻を含む一定期間にカメラ装置２０により撮像された動画像データを、第１記憶部４６から取得する。

相対位置算出部６４は、第１の画像取得部６１が取得した静止画像データの撮像時における情報端末３０の位置を示す位置情報を、情報端末３０から取得する。また、相対位置算出部６４は、第２の画像取得部６３が取得した動画像データの撮像時におけるカメラ装置２０の位置を示す位置情報を第１記憶部４６から取得する。

そして、相対位置算出部６４は、第１の画像取得部６１が取得した静止画像データの撮像時における、カメラ装置２０に対する情報端末３０の相対位置を算出する。相対位置算出部６４は、一例として、カメラ装置２０の緯度および経度と、情報端末３０の緯度および経度から、カメラ装置２０を基準位置とした場合の情報端末３０の距離および方位を算出する。例えば、図４のＡの場合であれば、相対位置算出部６４は、カメラ装置２０と情報端末３０との間の距離がｘメートルの位置にあり、且つ、情報端末３０がカメラ装置２０の東の方位に位置することを算出する。

角度差算出部６５は、第１の画像取得部６１が取得した静止画像データの撮像時における情報端末３０の撮像方向を示す撮像方向情報を、情報端末３０から取得する。また、角度差算出部６５は、第１の画像取得部６１が取得した静止画像データの撮像時におけるカメラ装置２０の撮像方向を示す撮像方向情報を第１記憶部４６から取得する。

そして、角度差算出部６５は、第１の画像取得部６１が取得した静止画像データの撮像時における、カメラ装置２０の撮像方向と情報端末３０の撮像方向との角度差を算出する。角度差算出部６５は、一例として、カメラ装置２０の対物レンズの向いている方位と、情報端末３０の対物レンズの向いている方位との角度差を算出する。例えば、図４のＡの場合であれば、カメラ装置２０の対物レンズが北を向いていて、情報端末３０の対物レンズが西を向いているので、角度差算出部６５は、＋９０°の角度差を算出する。また、例えば、図４のＢの場合であれば、カメラ装置２０の対物レンズが北を向いていて、情報端末３０の対物レンズが南を向いているので、角度差算出部６５は、＋１８０°の角度差を算出する。また、例えば、図４のＣの場合であれば、カメラ装置２０の対物レンズが北を向いていて、情報端末３０の対物レンズが南東を向いているので、角度差算出部６５は、＋２２５°の角度差を算出する。

判定部６６は、相対位置算出部６４により算出されたカメラ装置２０に対する情報端末３０の相対位置を示す情報、および、静止画像データの撮像時における情報端末３０の撮像方向を取得する。そして、判定部６６は、これらの情報に基づき、情報端末３０の撮像視野にカメラ装置２０を基準位置とした予め設定された領域が含まれるかを判定する。例えば、判定部６６は、情報端末３０の撮像視野に、カメラ装置２０を保持する被写体（例えば、競技者自身または競技者が搭乗する車）が含まれるかを判定する。

例えば、図４に示すように、カメラ装置２０と情報端末３０との相対位置および情報端末３０の撮像方向によって、情報端末３０の撮像視野に、カメラ装置２０またはカメラ装置２０を保持する被写体が含まれるかどうかが変わる。例えば、図４のＡ、Ｂ、Ｃのように、情報端末３０の撮像方向がカメラ装置２０側に向いており、カメラ装置２０と情報端末３０との相対位置がカメラ装置２０の撮影可能距離内であれば、情報端末３０の撮像視野にカメラ装置２０を保持する被写体等が含まれる。

しかしながら、図４のＤの場合のように、情報端末３０の撮像方向がカメラ装置２０とは反対側に向いている場合には、情報端末３０の撮像視野に、カメラ装置２０またはカメラ装置２０を保持する被写体が含まれない。また、カメラ装置２０と情報端末３０との相対位置がカメラ装置２０の倍率を最大としても撮像できないような撮影可能距離以上である場合には、情報端末３０の撮像視野にカメラ装置２０を保持する被写体等が含まれない。

そこで、判定部６６は、カメラ装置２０と情報端末３０との相対位置および情報端末３０の撮像方向によって、情報端末３０の撮像視野に、カメラ装置２０またはカメラ装置２０を保持する被写体が含まれるかを判定する。つまり、判定部６６は、カメラ装置２０と情報端末３０との相対位置および情報端末３０の撮像方向によって、情報端末３０が撮像した静止画像データにカメラ装置２０またはカメラ装置２０を保持する被写体が含まれるかどうかを判断する。

デコード部６７は、第１の画像取得部６１により取得された静止画像データ、および、第２の画像取得部６３により取得された動画像データのそれぞれを、合成可能なデータ形式にデコードする。

合成部６８は、判定部６６が、情報端末３０の撮像視野にカメラ装置２０を基準位置とした予め設定された領域が含まれると判定した場合に、デコードされた動画像データの画面上に、デコードした静止画像データを合成する。

この場合において、合成部６８は、動画像データにおける静止画像データの撮像時刻に対応する時間位置に、静止画像データを合成する。例えば、合成部６８は、静止画像データの撮像時刻における、前後の予め定められた期間（１０秒間等）に、静止画像データを合成する。

さらに、この場合において、合成部６８は、動画像データの画面周縁における、角度差算出部６５により算出された角度差に応じた位置に、動画像データより小さい画面サイズの静止画像データを合成する。

例えば、図５に示すように、合成部６８は、動画像の画面７１の周縁のそれぞれの位置に、予め角度を割り当てる。例えば、合成部６８は、動画像の画面７１の下辺側の中央に０°、右辺側の中央に＋９０°、上辺側の中央に＋１８０°、左辺側の中央に＋２７０°といったように、予め角度を割り当てる。

そして、合成部６８は、予め割り当てた角度に対応する位置上に、静止画像データの縮小画像７２を合成する。例えば、合成部６８は、角度差が＋９０°の場合には、図６に示すように、動画像の画面７１上の右辺側略中央に縮小画像７２を表示する。また、例えば、合成部６８は、角度差が＋１８０°の場合には、図７に示すように、動画像の画面７１上の上辺側略中央に縮小画像７２を表示する。例えば、合成部６８は、角度差が＋２２５°の場合には、図８に示すように、動画像の画面７１上の左上の角に縮小画像７２を表示する。

合成部６８は、このように静止画像データを合成した動画像データを、エンコード部６９に出力する。なお、合成部６８は、情報端末３０の撮像視野にカメラ装置２０を基準位置とした予め設定された領域が含まれないと判定した場合には、静止画像データを合成せずに、動画像データをエンコード部６９に出力する。

エンコード部６９は、合成部６８から受け取った動画像データを、予め定められたデータ形式にエンコードする。エンコード部６９は、一例として、情報端末３０で再生が可能なビットレートの低いデータ形式に動画像データをエンコードする。そして、エンコード部６９は、エンコードした動画像データを情報端末３０に無線通信により送信する。

図９は、撮像時のカメラ装置２０および情報端末３０の処理フローを示す図である。まず、ステップＳ１１において、情報端末３０は、ユーザの操作に応じて、カメラ装置２０に対して動画像の撮像の開始指示を無線通信を介して送信する。続いて、ステップＳ１２において、カメラ装置２０は、撮像の開始指示を受信すると、動画像の撮像を開始する。

カメラ装置２０は、動画像の撮像を開始すると、生成した動画像データを第１記憶部４６に記録する。これとともに、カメラ装置２０は、時刻情報、撮像位置を示す位置情報および方位を示す撮像方向情報を動画像データに対応させて第１記憶部４６に記録する。

続いて、情報端末３０は、ユーザのシャッタボタンの操作タイミングにおいて（ステップＳ１３−１、Ｓ１３−２、…Ｓ１３−Ｎ）、静止画像を撮像する。情報端末３０は、静止画像を撮像すると、生成した静止画像データを第２記憶部５６に記録する。これとともに、情報端末３０は、静止画像の撮像時刻を示す時刻情報、静止画像の撮像時における撮像位置を示す位置情報および静止画像の撮像時における方位を示す撮像方向情報を、静止画像データに対応させて第２記憶部５６に記録する。

続いて、ステップＳ１４において、情報端末３０は、ユーザの操作に応じて、カメラ装置２０に対して動画像の撮像の終了指示を無線通信を介して送信する。続いて、ステップＳ１５において、カメラ装置２０は、撮像の終了指示を受信すると、動画像の撮像を終了する。

続いて、ステップＳ１６において、カメラ装置２０は、記録した動画像データを特定するためのパス情報を、情報端末３０に無線通信を介して送信する。カメラ装置２０は、一例として、動画像データのファイル名および格納アドレス等をパス情報として情報端末３０に送信する。

続いて、ステップＳ１７において、情報端末３０は、パス情報を受信すると、撮像の開始指示（ステップＳ１１）を送信してから、撮像の終了指示（ステップＳ１４）を送信するまでに記録したそれぞれの静止画像データに関連付けて、パス情報を記憶する。情報端末３０は、一例として、パス情報と、それぞれの静止画像データのファイル名および格納アドレス等とを対応付けて記憶する。

図１０は、合成時のカメラ装置２０および情報端末３０の処理フローを示す図である。まず、ステップＳ２１において、情報端末３０は、上述のステップＳ１１からステップＳ１７までの処理で撮像した静止画像データを集めて１つの画面に表示したインデックス画面を表示する。操作者は、インデックス画面に表示されたそれぞれの静止画像を選択することができる。

ステップＳ２２において、情報端末３０は、インデックス画面に対する操作者による静止画像の選択を受け付ける。続いて、ステップＳ２３において、情報端末３０は、選択された静止画像に対応するパス情報、静止画像データ、時刻情報、位置情報および撮像方向情報をカメラ装置２０に無線通信を介して送信する。この場合において、情報端末３０は、縮小してデータサイズを小さくした静止画像データを送信してもよい。

続いて、ステップＳ２４において、カメラ装置２０は、パス情報等を受信すると、パス情報により特定される動画像データを抽出する。この場合において、カメラ装置２０は、受信した時刻情報に基づき、静止画像の撮像時を含む一定期間（例えば、静止画像の撮像時の前後の１分の期間等）の動画像データを抽出する。

続いて、ステップＳ２５において、カメラ装置２０は、静止画像の撮像時の情報端末３０の位置情報および撮像方向情報、並びに、静止画像の撮像時のカメラ装置２０の位置情報に基づき、動画像データに静止画像データを合成するか否かを判定する。具体的には、判定部６６は、これらの情報に基づき、静止画像の撮像時における情報端末３０の撮像視野に、カメラ装置２０を保持する被写体（例えば、競技者自身または競技者が搭乗する車）が含まれるかを判定する。例えば、カメラ装置２０は、静止画像の撮像時における、カメラ装置２０と情報端末３０との位置が一定の距離以下であり、且つ、情報端末３０の撮像方向がカメラ装置２０側を向いている場合には、動画像データに静止画像データを合成すると判定する。

動画像データに静止画像データを合成しないと判定した場合（ステップＳ２５のＦａｌｓｅ）、カメラ装置２０は、ステップＳ２６において、動画像データを情報端末３０での再生に適したデータ形式にトランスコードする（デコードして、エンコードする）。情報端末３０は、一例として、ＡＶＣＨＤ（Advanced Video Codec High Definition）の形式から、ＭＰ４形式またはＭＯＶ形式等に変換する。また、情報端末３０は、単にデータレートの変換等をしてもよい。

動画像データに静止画像データを合成すると判定した場合（ステップＳ２５のＴｒｕｅ）、情報端末３０は、ステップＳ２７において、静止画像の撮像時における、カメラ装置２０の撮像方向と情報端末３０の撮像方向との角度差を算出する。

続いて、ステップＳ２８において、情報端末３０は、動画像データを情報端末３０での再生に適したデータ形式にトランスコードするとともに、動画像データの画面周縁における角度差に応じた位置に、縮小した静止画像データを合成する。

ステップＳ２６またはステップＳ２８の処理を終えると、続いて、ステップＳ２９において、カメラ装置２０は、トランスコードした後の動画像データを、情報端末３０に無線通信により送信する。そして、ステップＳ３０において、情報端末３０は、受信した動画像データを再生する。

このような撮像システム１０によれば、他の機器で同一タイミングで撮像した静止画像が合成された動画像データを再生することができる。そして、静止画像が、動画像の撮像方向と静止画像と撮像方向の角度差に応じた位置に合成される。

例えば、カメラ装置２０の右側から情報端末３０が静止画像を撮像していた場合には、画面の右側に静止画像が合成される。また、カメラ装置２０の前側から情報端末３０が静止画像を撮像していた場合には、画面の上側に静止画像が合成される。また、例えば、カメラ装置２０の左側から情報端末３０が静止画像を撮像していた場合には、画面の左側に静止画像が合成される。

これにより、撮像システム１０によれば、同時に撮像された動画像データおよび静止画像データの視点の位置関係が理解できるように、静止画像データを動画像データに合成することができる。従って、撮像システム１０によれば、例えば、スポーツ中の競技者自身またはその競技者が操作する車等に撮像装置を取り付けて撮像された動画像の撮影状況を、一見して理解させることができる動画像データを生成することができる。

図１１は、縮小画像７２の表示方法の第１変形例を示す図である。画像処理部４８の合成部６８は、カメラ装置２０と情報端末３０との間の距離に応じて、動画像の画面７１に合成する静止画像データの縮小画像７２の画面サイズを変更してもよい。

例えば、合成部６８は、カメラ装置２０と情報端末３０との間の距離が遠い場合には、静止画像データの縮小画像７２のサイズを小さくする。そして、合成部６８は、カメラ装置２０と情報端末３０との間の距離が近い場合には、静止画像データの縮小画像７２のサイズを大きくする。これにより、合成部６８は、カメラ装置２０と情報端末３０との間の距離を視覚的に理解させることができる。

また、合成部６８は、カメラ装置２０と情報端末３０との間の距離に応じて、動画像の画面７１上における縮小画像７２の表示位置を変更してもよい。例えば、合成部６８は、カメラ装置２０と情報端末３０との間の距離が遠い場合には、動画像の画面７１の縁に近い位置に縮小画像７２を表示し、距離が近い場合には動画像の画面７１の中央により近い位置に縮小画像７２を表示する。このようにしても、合成部６８は、カメラ装置２０と情報端末３０との間の距離を視覚的に理解させることができる。

図１２は、縮小画像７２の表示方法の第２変形例を示す図である。画像処理部４８の合成部６８は、図１２に示されるように、静止画像データの縮小画像７２を、動画像の画面７１の外部から内部へと徐々に入ってくるようなエフェクトをかけて合成してもよい。

また、画像処理部４８の合成部６８は、縮小画像７２が動画像の画面７１の内部から外部へと徐々に出て行くようなエフェクトをかけて合成してもよい。このようなエフェクトをかけることにより、合成部６８は、静止画像の撮像時を視覚的に理解させることができる。

図１３は、カメラ装置２０と情報端末３０とが同一の被写体８０を撮像する場合の撮像位置の一例を示す図である。カメラ装置２０と情報端末３０とが同一の被写体８０を同時に撮像していてもよい。このような場合、画像処理部４８は、静止画像の撮像時における情報端末３０の位置情報および撮像方向情報並びにカメラ装置２０の位置情報および撮像方向情報に基づき、静止画像の撮像時における情報端末３０の撮像視野に、カメラ装置２０が撮像している被写体８０が含まれるかを判定する。

例えば、カメラ装置２０は、静止画像の撮像時における、カメラ装置２０と情報端末３０との位置が一定の距離以下であり、且つ、情報端末３０の撮像方向がカメラ装置２０が撮像している被写体８０側を向いている場合に、情報端末３０の撮像視野に、カメラ装置２０が撮像している被写体８０が含まれると判定する。

図１４は、カメラ装置２０と情報端末３０とが同一の被写体８０を撮像する場合の合成例を示す図である。図１３に示されるようにカメラ装置２０と情報端末３０とが同一の被写体８０を同時に撮像している場合、情報端末３０がカメラ装置２０を保持する競技者等を撮像している場合とは、情報端末３０の撮像方向が異なる。このため、カメラ装置２０と情報端末３０との相対位置が同一位置であっても、図１４に示されるように、動画像の画面７１に対する縮小画像７２の合成位置は変化する。

なお、以上の本実施形態では、動画像データに静止画像データを合成する例を示した。しかしながら、撮像システム１０では、動画像データに対して、同時に撮像された他の動画像データを合成してもよい。この場合、時間とともにそれぞれの撮像装置の位置および撮像方向が変化するので、撮像システム１０は、合成を時間とともに変化させてもよい。

また、本実施形態では、合成処理を行う画像処理部４８がカメラ装置２０の内部に備えられる例を示した。しかしながら、画像処理部４８は、情報端末３０内に備えられてもよい。また、カメラ装置２０および情報端末３０とは別の装置に備えられてもよい。また、本実施形態では、別個の装置により撮像された静止画像データおよび動画像データを無線通信により送信する例を示した。しかしながら、メモリカード等の記録媒体を介して静止画像データまたは動画像データを機器間で受け渡してもよい。

１０ 撮像システム
２０ カメラ装置
３０ 情報端末
４１ 第１撮像部
４２ 第１時刻検出部
４３ 第１位置検出部
４４ 第１方向検出部
４５ 第１無線通信部
４６ 第１記憶部
４７ 第１制御部
４８ 画像処理部
５１ 第２撮像部
５２ 第２時刻検出部
５３ 第２位置検出部
５４ 第２方向検出部
５５ 第２無線通信部
５６ 第２記憶部
５７ 表示入力部
５８ 第２制御部
６１ 第１の画像取得部
６２ 時刻取得部
６３ 第２の画像取得部
６４ 相対位置算出部
６５ 角度差算出部
６６ 判定部
６７ デコード部
６８ 合成部
６９ エンコード部
７１ 動画像の画面
７２ 縮小画像
８０ 被写体

Claims (7)

1. 第１撮像装置により撮像された第１撮像データおよび第２撮像装置により撮像された第２撮像データを取得する画像取得部と、
   前記第１撮像データの撮像時における前記第１撮像装置の位置と前記第２撮像データの撮像時における前記第２撮像装置の位置とを取得して、前記第１撮像装置に対する前記第２撮像装置の相対位置を算出する相対位置算出部と、
   前記第２撮像データの撮像時における前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向とを取得して、前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向との角度差を算出する角度差算出部と、
   前記第１撮像装置に対する前記第２撮像装置の相対位置および前記第２撮像データの撮像時における前記第２撮像装置の撮像方向に基づき、前記第２撮像装置の撮像視野に前記第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、
   前記第２撮像装置の撮像視野に前記第１撮像装置を基準位置とした予め設定された領域が含まれると前記判定部が判定した場合に、前記第１撮像データの画面上における前記角度差に対応する位置に、前記第２撮像データを合成する合成部と、
   を備える画像処理装置。
2. 前記判定部は、前記第２撮像装置の撮像視野に、前記第１撮像装置を保持する被写体が含まれるかを判定する
   請求項１に記載の画像処理装置。
3. 前記画像取得部は、同一期間に撮像された前記第１撮像データおよび前記第２撮像データを取得する
   請求項１または２に記載の画像処理装置。
4. 前記第１撮像データは、動画像データであり、
   前記第２撮像データは、静止画像データであり、
   前記合成部は、前記第１撮像データにおける前記第２撮像データの撮像時刻に対応する時間位置に、前記第２撮像データを合成する
   請求項３に記載の画像処理装置。
5. 前記合成部は、前記第１撮像データの画面周縁における前記角度差に応じた位置に、前記第１撮像データより小さい画面サイズの前記第２撮像データを合成する
   請求項１から４の何れか一項に記載の画像処理装置。
6. 前記相対位置算出部は、前記第１撮像装置に対する前記第２撮像装置の相対位置に基づき、前記第１撮像装置と前記第２撮像装置との間の距離を算出し、
   前記合成部は、前記距離に応じて前記第２撮像データの画面サイズを変更する
   請求項１から５の何れか一項に記載の画像処理装置。
7. 第１撮像装置と、第２撮像装置と、前記第１撮像装置または前記第２撮像装置の何れか一方に設けられる画像処理装置と、を備え、
   前記画像処理装置は、
   前記第１撮像装置により撮像された第１撮像データおよび前記第２撮像装置により撮像された第２撮像データを取得する画像取得部と、
   前記第１撮像データの撮像時における前記第１撮像装置の位置と前記第２撮像データの撮像時における前記第２撮像装置の位置とを取得して、前記第１撮像装置に対する前記第２撮像装置の相対位置を算出する相対位置算出部と、
   前記第１撮像データの撮像時における前記第１撮像装置の撮像方向と前記第２撮像データの撮像時における前記第２撮像装置の撮像方向とを取得して、前記第１撮像装置の撮像方向と前記第２撮像装置の撮像方向との角度差を算出する角度差算出部と、
   前記第１撮像装置に対する前記第２撮像装置の相対位置および前記第２撮像データの撮像時における前記第２撮像装置の撮像方向に基づき、前記第２撮像装置の撮像視野に前記第１撮像装置を基準とした予め設定された領域が含まれるかを判定する判定部と、
   前記第２撮像装置の撮像視野に前記第１撮像装置を基準位置とした予め設定された領域が含まれると前記判定部が判定した場合に、前記第１撮像データの画面上における前記角度差に対応する位置に、前記第２撮像データを合成する合成部と、
   を有する撮像システム。

Images