JP2015050695A - 動画生成システム、動画生成方法及びプログラム - Google Patents

Abstract

【課題】移動する被写体の状態を揃えた見やすい動画データを生成することができること。【解決手段】画像取得部５２は、撮影範囲が異なるように配置された複数の撮像部１６の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する。画像加工部５３は、被写体の移動中の各タイミングに対応して、画像取得部５２で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から被写体包含領域内の画像を、構成フレーム画像として切り出す選択的な切り出し処理の実行を制御する。動画生成部５４は、画像加工部５３の制御により各タイミングに対応して選択的に切り出される複数の構成フレーム画像、撮影時間の順に連結して１つの動画を生成する。【選択図】図３

Description

本発明は、動画生成システム、動画生成方法及びプログラムに関する。

従来より、複数の撮像装置で、被写体の移動に追従して撮像装置を切り換えて自動的に動画を撮影する撮影技術があった。
このような撮影技術においては、例えば、撮影範囲が異なるように配置された複数の撮像装置で移動する物体を継続的に撮影して得られた複数の動画データを用いる特許文献１に記載の技術がある。特許文献１に記載の技術においては、被写体の移動中の各タイミングについて、被写体が含まれる動画データを選択するとともに、この選択された動画データに基づいて画像を生成する処理を行い、各タイミングに対応して生成された複数の画像を撮影時間の順に連結することで、被写体の移動を継続的に撮影した１つの動画データを生成する技術が記載されている。

特開２００５−１０９７５８号公報

しかしながら、上述した特許文献１に記載の技術では、それぞれの動画データにおいて被写体の撮影サイズが異なることは避けられない。また、動画データの連結部分で移動する被写体の大きさがスムーズに変化するように、動画データと動画データの間に補間処理によって生成された仮想動画を挿入している。このため、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することはできない。

本発明は、このような状況に鑑みてなされたものであり、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することができる動画生成システム、動画生成方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の動画生成システムは、撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段と、前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、前記切り出し制御手段の制御により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、を備えることを特徴とする。

本発明によれば、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することができる。

本発明の一実施形態に係る被写体追従動画生成システムのシステム構成を示すシステム構成図である。 図１の被写体追従動画生成システムを構成する撮像制御装置及び撮像装置のハードウェアの構成を示すブロック図である。 図２の撮像制御装置及び撮像装置の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。 切り出し加工の具体例を示す模式図である。 図３の機能的構成を有する図２の撮像制御装置が実行する被写体追従動画生成処理の流れを説明するフローチャートである。 図３の機能的構成を有する図２の撮像装置が実行する被写体追従動画生成処理の流れを説明するフローチャートである。 図２の撮像制御装置及び撮像装置の機能的構成のうち、第２の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。 図７の機能的構成を有する図２の撮像制御装置が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。 図７の機能的構成を有する図２の撮像装置が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。 第３の実施形態における被写体追従動画生成システムのシステム構成を示すシステム構成図である。 図２の撮像装置の機能的構成のうち、第３の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。 図１１の機能的構成を有する図２の撮像装置が実行する第３の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。 撮影タイミングの他の例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

本発明の一実施形態に係る被写体追従動画生成システムは、所定の位置に設置された複数の撮像装置で、各撮像装置における画角内を移動する被写体（以下、「特定被写体」という。）が撮影された動画（以下、「撮影動画」という。）を用いて、特定被写体が常に所定位置（本実施形態においては、動画の中心位置）に所定サイズ（例えば、特定被写体の全体を含み、かつ特定被写体の周囲に所定の余白を設けられるサイズ）で存在する動画（以下、「被写体追従動画」という。）データを生成する。被写体追従動画は、特定被写体が常に動画の中心に映し出されており、背景等の特定被写体以外の被写体が移動して見えるような動画、即ち、特定被写体と共に移動するような動画となる。

＜第１の実施形態＞
図１は、本発明の一実施形態に係る被写体追従動画生成システムのシステム構成を示すシステム構成図である。なお、本例では、所定の区間を走るランナーｐｈを撮影対象（特定被写体）とした動画を撮影し、ランナーｐｈが動画の中心に位置して背景が移動と共に変化するような、あたかもランナーｐｈと併走しているような動画を生成する例について説明する。

被写体追従動画生成システムＳは、図１に示すように、撮像制御装置１と、複数の撮像装置２Ａ乃至２Ｎと、で構成される。

撮像制御装置１は、各撮像装置２Ａ乃至２Ｎと互いに通信可能に構成される。
撮像制御装置１では、各撮像装置２Ａ乃至２Ｎから送信される撮影動画から抽出された被写体追従動画を構成するフレーム画像（以下、「構成フレーム画像」という）を用いて、被写体追従動画のデータを生成する。

また、撮像装置２Ａ乃至２Ｎは、ランナーｐｈの移動経路ＭＤに並行し、互いに異なる撮影範囲となり、画角の一部がオーバーラップするように配置される。詳細には、撮像装置２Ａは、例えば、ランナーｐｈが走り出していないスタート位置においてランナーｐｈが画角の中心にくる位置に配置される。その他の撮像装置２Ｂ乃至撮像装置２Ｎは、移動経路ＭＤで、各撮像装置２Ｂ乃至２Ｎの画角の中心位置からランナーｐｈがずれた場合に隣り合う撮像装置２が互いにランナーｐｈを中心位置とする画角をカバーできる位置に配置される。撮像装置２Ａ乃至２Ｎは、特に個別に説明しない場合には、単に撮像装置２とする。

撮像装置２Ａ乃至２Ｎにおいては、ランナーｐｈの移動、又はユーザの撮影開始の指示操作で撮影が開始されて、各撮像装置２Ａ乃至２Ｎで撮影された撮影動画から構成フレーム画像を取得する。
被写体追従動画生成システムＳでは、構成フレーム画像を撮影時間順に時系列に連結して、被写体追従動画のデータを生成することになる。

このようにして、被写体追従動画生成システムＳにおいては、常に動画の中央に特定被写体である移動する物体が所定のサイズで位置する被写体追従動画を取得することができる機能を有する。これにより、ユーザは、撮影対象であるランナーｐｈと併走しているような感覚で動画を楽しむことができる。

図２は、このような被写体追従動画生成システムＳを構成する撮像制御装置１及び撮像装置２のハードウェアの構成を示すブロック図である。
撮像制御装置１及び撮像装置２は、例えばデジタルカメラとして構成される。
本実施形態において、撮像制御装置１は、撮像装置２の親機としての位置付けであり、撮像装置２は撮像制御装置１の子機の位置付けとなる。また、撮像制御装置１は、説明の関係上、撮像機能を備える構成としたが、撮像機能を備えないで構成してもよく、少なくとも、撮像装置２との通信機能及び撮像装置２から取得した画像を処理する機能を有していればよい。

撮像制御装置１及び撮像装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、位置センサ１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、位置センサ１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
また、撮像部１６は、撮像画像を、動画を構成するフレーム画像として出力する。結果、撮像制御装置１及び撮像装置２では、フレーム画像を撮影時間順に時系列で連結して、動画を取得する。

位置センサ１７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して、撮影する位置、向き、画角等の撮影範囲の情報を取得可能に装置の位置を検出する。位置センサ１７から位置の情報を取得した装置は、装置に関するデータから画角の範囲を特定する。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

次に、このような撮像制御装置１の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成について説明する。
「被写体追従動画生成処理」とは、複数の撮像装置２において、移動する撮影対象である特定被写体を含む撮影動画を撮影し、当該撮影動画を構成するフレーム画像に基づいて、構成フレーム画像を取得して、当該取得した構成フレーム画像を撮影時間順に時系列で連結することで被写体追従動画を生成するまでの処理である。

本例では、撮像装置２は、画角の中央に撮影対象となる特定被写体が位置した状態を撮影した場合には、当該特定被写体の撮影を行っている１台の撮像装置２から該当するフレーム画像が送信されるように構成される。また、画角の中央に撮影対象となる特定被写体が位置していない状態（中央に向かっている状態か、中央から遠ざかる状態）を撮影した場合には、当該特定被写体の撮影を行っている隣り合う２台の撮像装置２からフレーム画像が送信されるように構成される。即ち、撮像装置２は、いずれかの撮像装置２で画角の中央に特定被写体が位置している場合には、１台の撮像装置２のみで特定被写体が映り込むように配置される。また、撮像装置２は、いずれかの撮像装置２で画角の中央から外れた位置に特定被写体が位置している場合には、中央付近で特定被写体を捉えている撮像装置２と、外れた方向に位置する撮像装置２の２台で特定被写体が映り込むように配置される。

図３は、このような撮像制御装置１及び撮像装置２の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。なお、以下において、ハードウェアにおいて撮像制御装置１と撮像装置２とで記載を分ける場合には、撮像制御装置１のハードウェアを示すものには、符号に「−１」を付し、撮像装置２のハードウェアを示すものには、符号に「−２」を付す。

被写体追従動画生成処理を実行する場合には、撮像制御装置１のＣＰＵ１１−１において、撮影状況取得部５１と、画像取得部５２と、画像加工部５３と、動画生成部５４と、が機能する。

また、撮像制御装置１の記憶部２０−１の一領域には、画像記憶部７１が設けられる。
画像記憶部７１には、撮像画像等の各種画像データや撮影動画や被写体追従動画等の各種動画データが記憶される。

撮影状況取得部５１は、各撮像装置２から通信部２１−１を介して、現在の特定被写体の撮影状況を取得する。即ち、撮影状況取得部５１は、各撮像装置２において撮影対象となる特定被写体が現在画角内に存在するか否かの撮影状況に関する情報として特定被写体が存在する旨の通知を取得する。
また、撮影状況取得部５１は、取得した特定被写体が存在する旨の通知から特定被写体を撮影中の撮像装置２の台数をカウントする。

画像取得部５２は、各撮像装置２で撮影された撮影動画の該当するフレーム画像を撮影画像として、通信部２１−１を介して取得する。画像取得部５２は、取得した撮影画像を画像記憶部７１に記憶させる。

画像加工部５３は、画像取得部５２が取得した撮影画像から特定被写体が中央に位置するように所定サイズの部分画像領域である被写体包含領域（以下、単に「画像領域」という。）を切り出す加工を行う。その結果、画像加工部５３は、被写体追従動画を構成する構成フレーム画像を生成する。

ここで、画像加工部５３での切り出し加工による構成フレーム画像の生成の詳細について説明する。
構成フレーム画像は、フレーム画像で所定のサイズで中央に特定被写体が位置している場合には、そのまま所定サイズの画像領域を切り出す切り出し加工によって生成される。
これに対して、フレーム画像の中央に特定被写体が位置していない場合や、所定サイズで中央に特定被写体が位置する画像が得られない場合には、他の撮像装置２で撮影された複数のフレーム画像から不足分を互いに補うように、各フレーム画像から対応する画像領域を切り出して、その後切り出した画像（以下、「切り出し画像」という。）を貼り合わせて、１枚の構成フレーム画像を生成する。また、他の撮像装置２で撮影された複数のフレーム画像から不足分を互いに補うフレーム画像を合成して、所定サイズ内に中央に特定被写体が位置するように合成した画像（以下、「合成画像」という。）から該当する画像領域を切り出して、１枚の構成フレーム画像を生成する。
即ち、構成フレーム画像は、画像から所定の画像領域を切り出して、各画像を合成するか、或いは、各画像を合成して、該当する画像領域を切り出す切り出し加工を行って生成される。

図４は、切り出し加工による構成フレーム画像の生成例を示す模式図である。
具体的には、図４の例では、第１のフレーム画像においては、そのまま所定サイズで切り出すことでは構成フレーム画像を生成することができない場合について説明する。

図４（ａ）の第１の例に示すように、第１のフレーム画像ｐ１においては、特定被写体であるランナーｐｈが右端に位置しており、特定被写体であるランナーｐｈが中央に位置した所定のサイズの画像領域を切り出すことができない。そこで、中央から離れた側の撮像装置２で取得された第２のフレーム画像ｐ２を用いる。第２のフレーム画像ｐ２では、特定被写体であるランナーｐｈは画像の左端に位置しており、特定被写体であるランナーｐｈを含む近傍の領域が第１のフレーム画像ｐ１と重複する。
第１の例では、第１のフレーム画像ｐ１と第２のフレーム画像ｐ２の重複した領域（図中ハッチングで示した領域）を重ねて合成した画像ｐ３を生成する。その後、第１の例では、所定のサイズで特定被写体であるランナーｐｈが画像の中央に位置する画像領域を切り出して、構成フレーム画像ｐ４を生成する。

これに対して、図４（ｂ）の第２の例では、第１の例とは異なり、まず、第１のフレーム画像ｐ１から特定被写体であるランナーｐｈを含む画像領域で、特定被写体であるランナーｐｈを中心に所定サイズの半分の幅となるような領域と第２のフレーム画像ｐ２と重複する領域（図中ハッチングで示した領域）を含んだ画像領域を切り出して第１の切り出し画像ｐ５−１を生成する。第２のフレーム画像ｐ２においても、第１のフレーム画像ｐ１と同様に、特定被写体であるランナーｐｈを含む画像領域で、特定被写体であるランナーｐｈを中心に所定サイズの半分の幅となるような画像領域と第１のフレーム画像ｐ１と重複する領域（図中ハッチングで示した領域）を含んだ画像領域を切り出して第２の切り出し画像ｐ５−２を生成する。その後、第１の切り出し画像ｐ５−１と第２の切り出し画像ｐ５−２とを重複する領域で合成して、構成フレーム画像ｐ４を生成する。
なお、本実施形態においては、第１の例の手法で、構成フレーム画像ｐ４を生成する。

図３に戻り、動画生成部５４は、画像加工部５３で生成された構成フレーム画像を連結して被写体追従動画を生成する。即ち、動画生成部５４は、順次取得して切り出し加工を行って生成した構成フレーム画像を時系列に連結することで被写体追従動画を生成する。動画生成部５４は、生成した被写体追従動画を画像記憶部７１に記憶させる。

また、被写体追従動画生成処理を実行する場合には、撮像装置２のＣＰＵ１１−２において、撮像制御部９１と、被写体検出部９２と、通信制御部９３と、が機能する。

撮像制御部９１は、撮影動画の撮影を行うように撮像部１６−２を制御する。

被写体検出部９２は、撮像部１６−２で撮影された撮影動画から被写体を検出し、撮影対象となっている特定被写体の有無を判定する。被写体検出部９２は、検出結果を通信制御部９３に出力する。被写体検出部９２における被写体検出は、既存の被写体検出技術を用いる。また、特定被写体は、ユーザ指示等により特定した特定被写体の画像との検出した被写体との画像マッチング等により有無を判定する。

通信制御部９３は、被写体検出部９２から出力された検出結果に基づいて、特定被写体が画角内に存在している場合には、特定被写体が存在する旨の通知を、通信部２１−２を介して撮像制御装置１に送信する。
また、通信制御部９３は、特定被写体が画角内に存在していると判定されたときの撮影動画のフレーム画像を撮影画像として、通信部２１−２を介して撮像制御装置１に送信する。

図５は、図３の機能的構成を有する図２の撮像制御装置１が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部１８−１への被写体追従動画生成処理開始の操作により開始される。

ステップＳ１１において、撮影状況取得部５１は、各撮像装置２から現在の特定被写体の撮影状況を取得する。即ち、撮影状況取得部５１は、各撮像装置２から特定被写体が撮影フレーム内に存在する旨の通知を取得する。

ステップＳ１２において、撮影状況取得部５１は、特定被写体を撮影中（特定被写体が撮影フレーム内に存在している）の撮像装置２の台数をカウントする。
特定被写体を撮影中の撮像装置２が１台の場合には、ステップＳ１２において「１台」と判定されて、処理はステップＳ１３に進む。
特定被写体を撮影中の撮像装置２が２台の場合には、ステップＳ１２において「２台」と判定されて、処理はステップＳ１５に進む。ステップＳ１５以降の処理は後述する。
特定被写体を撮影中の撮像装置２がない場合には、ステップＳ１２において「０台」と判定されて、処理はステップＳ２０に進む。

ステップＳ１３において、画像取得部５２は、特定被写体を撮影している当該１台の撮像装置２から現在の撮影画像を取得する。

ステップＳ１４において、画像加工部５３は、取得した撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。その後処理は、ステップＳ１８に進む。ステップＳ１８以降の処理は後述する。

ステップＳ１５において、画像取得部５２は、特定被写体を撮影している当該２台の撮像装置２から現在の撮影画像を取得する。

ステップＳ１６において、画像加工部５３は、２つの撮影画像の位置を合わせて合成して、合成画像を生成する。

ステップＳ１７において、画像加工部５３は、生成した合成画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。

ステップＳ１８において、動画生成部５４は、作成中の動画の末尾に新たに切り出された構成フレーム画像を連結して、被写体追従動画を生成する。即ち、動画生成部５４は、構成フレームを順次連結して、被写体追従動画を生成する。新たに切り出された構成フレーム画像がある場合には、動画の末尾に連結することで、被写体追従動画を生成する。生成した被写体追従動画のデータは、画像記憶部７１に記憶させる。

ステップＳ１９において、動画生成部５４は、被写体追従動画のデータのフレームレートに応じて次のフレームを生成すべき時間まで待機する。その後処理はステップＳ１１に戻る。

ステップＳ２０において、ＣＰＵ１１−１は、終了するか否かを判定する。
終了しない場合には、ステップＳ２０においてＮＯと判定されて、処理はステップＳ１１に戻る。
終了する場合には、ステップＳ２０においてＹＥＳと判定されて、撮像制御装置１での被写体追従動画生成処理は終了する。

図６は、図３の機能的構成を有する図２の撮像装置２が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部１８−２への被写体追従動画生成処理開始の操作により開始される。
被写体追従動画生成処理が開始されることにより、撮像制御部９１は、撮像を開始するように撮像部１６−２を制御する。

ステップＳ４１において、被写体検出部９２は、撮影フレーム内の被写体を検出する。

ステップＳ４２において、被写体検出部９２は、撮影対象となる特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップＳ４２においてＮＯと判定されて、処理はステップＳ４５に進む。ステップＳ４５の処理については後述する。
特定被写体が存在する場合には、ステップＳ４２においてＹＥＳと判定されて、処理はステップＳ４３に進む。

ステップＳ４３において、通信制御部９３は、撮影対象となる特定被写体が存在する旨を、通信部２１−２を介して撮像制御装置１に通知する。

ステップＳ４４において、通信制御部９３は、撮影対象となる特定被写体が存在すると判定した時期に対応する撮影動画のフレーム画像を撮影画像として、通信部２１−２を介して撮像制御装置１に送信する。

ステップＳ４５において、ＣＰＵ１１−２は、終了するか否かを判定する。
終了しない場合には、ステップＳ４５おいてＮＯと判定されて、処理はステップＳ４１に戻る。
終了する場合には、ステップＳ４５においてＹＥＳと判定されて、撮像装置２での被写体追従動画生成処理は終了する。

＜第２の実施形態＞
第１の実施形態では、撮像装置２Ａ乃至２Ｎが常に撮影を行っており、専用の撮像制御装置１が撮像装置２Ａ乃至２Ｎから送信される撮像画像を順次取得して切り換え、取得した撮影画像を切り出し加工して連結して、被写体追従動画を生成するように構成した。
これに対して、本実施形態では、撮像装置２Ａ乃至２Ｎは必要な（指示された）タイミングでのみ撮影を行い、専用の撮像制御装置１が撮像装置２Ａ乃至２Ｎの撮像を順次切り換えながら指示し、撮像装置２で生成した切り出し画像を取得して連結して、被写体追従動画を生成するように構成する。また、本実施形態では、撮像装置２での撮像に際しては、撮像制御装置１が撮影の不要な時期を見極めて、被写体追従動画の生成に寄与する撮像装置２だけを順次切り換えて撮像をさせるように構成する。

第２の実施形態の説明では、被写体追従動画生成システムＳのシステム構成、並びに撮像制御装置１及び撮像装置２のハードウェア構成は第１の実施形態と同様のため説明は省略する。また、その他の第１の実施形態と同様の構成についても説明を省略する。

図７は、図２の撮像制御装置１及び撮像装置２の機能的構成のうち、第２の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。

第２の実施形態における被写体追従動画生成処理を実行する場合には、撮像制御装置１のＣＰＵ１１−１において、撮影指示部５５と、撮影状況取得部５１と、画像取得部５２と、画像判定部５６と、画像加工部５３と、動画生成部５４と、が機能する。
また、記憶部２０−１の一領域には、画像記憶部７１が設けられる。

撮影指示部５５は、通信部２１−１を介して、各撮像装置２に対して、撮影の開始や終了の指示を行う。撮影指示部５５は、撮影の開始や終了の指示の際、撮影条件も含める。

画像判定部５６は、画像取得部５２により取得された切り出し画像に特定被写体を中心とする所定サイズの領域を全て含むか否かを判定する。

画像加工部５３は、各撮像装置２から取得した切り出し画像を位置合わせして合成して構成フレーム画像を生成する。本例では、画像の切り出しは、各撮像装置２で行うために、画像加工部５３は、合成のみを行う、即ち、合成画像の生成のみ行う。なお、画像加工部５３は、特定被写体を中心とする所定サイズの画像領域を全て含むような合成の必要のない切り出し画像は、そのまま構成フレーム画像として扱う。

また、第２の実施形態における被写体追従動画生成処理を実行する場合には、撮像装置２のＣＰＵ１１−２において、撮像制御部９１と、被写体検出部９２と、画像加工部９４と、通信制御部９３と、が機能する。

撮像制御部９１は、撮像制御装置１からの撮影開始・終了の指示に基づいて、撮像を開始・終了するように撮像部１６−２を制御する。

画像加工部９４は、撮像部１６−２で撮影された撮影動画を構成するフレーム画像を撮影画像として取得し、当該撮影画像に対して、撮影対象となる特定被写体を中心とする所定サイズの画像領域を切り出して切り出し画像を生成する。

通信制御部９３は、通信部２１−２を介して、撮像制御装置１からの撮影開始・終了の指示を取得して、撮像制御部９１に出力する。
また、通信制御部９３は、画像加工部９４によって生成された切り出し画像を通信部２１−２を介して、撮像制御装置１に送信する。

図８は、図７の機能的構成を有する図２の撮像制御装置１が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部１８−１への被写体追従動画生成処理開始の操作により開始される。

ステップＳ６１において、撮影指示部５５は、最初に特定被写体を撮影する現撮像装置２を特定して撮影開始を指示する。

ステップＳ６２において、撮影状況取得部５１は、現撮像装置２から現在の特定被写体の撮影状況を取得する。

ステップＳ６３において、撮影状況取得部５１は、特定被写体を撮影中か否かを判定する。
特定被写体を撮影していない場合には、ステップＳ６３においてＮＯと判定されて、待機状態となる。
特定被写体を撮影中の場合には、ステップＳ６３においてＹＥＳと判定されて、処理はステップＳ６４に進む。

ステップＳ６４において、画像取得部５２は、現撮像装置２から切り出し画像を取得する。

ステップＳ６５において、画像判定部５６は、取得した切り出し画像が特定被写体を中心とする所定サイズの領域を全て含むか否かを判定する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含む場合には、ステップＳ６５においてＹＥＳと判定されて、処理はステップＳ７１に進む。ステップＳ７１以降の処理は後述する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含まない場合には、ステップＳ６５においてＮＯと判定されて、処理はステップＳ６６に進む。

ステップＳ６６において、撮影指示部５５は、現撮像装置２の隣の撮像装置２（以下、「次撮像装置２」という。）を特定して撮影開始を指示する。その際、撮影指示部５５は、現撮像装置２の撮影条件も含める。

ステップＳ６７において、画像取得部５２は、次撮像装置２から切り出し画像を取得する。

ステップＳ６８において、画像判定部５６は、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含むか否かを判定する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含む場合には、ステップＳ６８においてＹＥＳと判定されて、処理はステップＳ６９に進む。

ステップＳ６９において、撮影指示部５５は、現撮像装置２に撮影終了を指示する。その後処理はステップＳ７１に進む。

これに対して、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含まない場合には、ステップＳ６８においてＮＯと判定されて、処理はステップＳ７０に進む。

ステップＳ７０において、画像加工部５３は、現撮像装置２と次撮像装置２の切り出し画像の位置を合わせて合成して、構成フレーム画像を生成する。その後処理はステップＳ７１に進む。

ステップＳ７１において、動画生成部５４は、作成中の動画データの末尾に新たに取得した切り出し画像を連結して、被写体追従動画を生成する。生成した被写体追従動画は、画像記憶部７１に記憶させる。

ステップＳ７２において、動画生成部５４は、被写体追従動画のデータのフレームレートに応じて次のフレームを生成すべき時間まで待機する。

図９は、図７の機能的構成を有する図２の撮像装置２が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。

ステップＳ９１において、通信制御部９３は、撮影開始が指示されたかを判定する。
撮影開始が指示されない場合には、ステップＳ９１においてＮＯと判定されて、待機状態となる。
撮影開始が指示された場合には、ステップＳ９１においてＹＥＳと判定されて、処理はステップＳ９２に進む。

ステップＳ９２において、撮像制御部９１は、撮影を開始するように撮像部１６を制御する。

ステップＳ９３において、被写体検出部９２は、撮影フレーム内の被写体を検出する。

ステップＳ９４において、被写体検出部９２は、特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップＳ９４においてＮＯと判定されて、待機状態となる。
特定被写体が存在する場合には、ステップＳ９４においてＹＥＳと判定されて、処理はステップＳ９５に進む。

ステップＳ９５において、通信制御部９３は、特定被写体が存在する旨を通知する。

ステップＳ９６において、画像加工部９４は、現在の撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、切り出し画像を生成する。

ステップＳ９７において、通信制御部９３は、生成された切り出し画像を送信する。

ステップＳ９８において、通信制御部９３は、撮影終了が指示されたか否かを判定する。
撮影終了が指示されない場合には、ステップＳ９８おいてＮＯと判定されて、処理はステップＳ９３に戻る。
撮影終了が指示された場合には、ステップＳ９８においてＹＥＳと判定されて、処理はステップＳ９９に進む。

ステップＳ９９において、撮像制御部９１は、撮影を終了するように撮像部１６を制御する。その後、撮像装置２での被写体追従動画生成処理を終了する。

以上のように構成される被写体追従動画生成システムＳは、撮像部１６と、画像加工部５３と、動画生成部５４と、を備える。
画像取得部５２は、撮影範囲が異なるように配置された複数の撮像部１６の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する。
画像加工部５３は、被写体の移動中の各タイミングに対応して、画像取得部５２で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から被写体包含領域内の画像を、構成フレーム画像として切り出す選択的な切り出し処理の実行を制御する。
動画生成部５４は、画像加工部５３の制御により各タイミングに対応して選択的に切り出される複数の構成フレーム画像、撮影時間の順に連結して１つの動画を生成する。
これにより、被写体追従動画生成システムＳにおいては、複数の撮像部１６によって撮像された画像から、被写体包含領域内の画像を用いて、動画を構成するフレーム画像とする動画を生成する。
したがって、被写体追従動画生成システムＳでは、特定の被写体との距離が所定位置で一定となるか、または所定サイズとなり、他の被写体が動いているように見える特定の被写体を追従したような被写体追従動画を実際に特定の被写体に追従して撮影を行わなくても生成することができる。よって、被写体追従動画生成システムＳでは、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することができる。

画像加工部５３は、選択された動画から被写体が所定位置かつ所定サイズで含まれる被写体包含領域を含む動画を選択し、当該選択された動画からこの被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する。
これにより、被写体追従動画生成システムＳにおいては、所定位置かつ所定サイズで含まれる被写体追従動画を生成することができる。

また、画像加工部５３は、選択された動画から被写体が中央に位置する所定サイズとなるように被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する。
これにより、被写体追従動画生成システムＳにおいては、被写体を常に中央に位置した被写体追従動画を生成することができる。

また、被写体追従動画生成システムＳにおいては、複数の撮像部１６は、特定被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置される。
画像加工部５３は、被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から被写体包含領域を切り出し、被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から被写体包含領域の一部を切り出して合成するように制御する。
これにより、被写体追従動画生成システムＳにおいては、１の撮像部１６で撮影された撮影動画で構成フレーム画像を生成することができない場合であっても、他の撮像部１６で撮影された撮影動画を複数合成して構成フレーム画像を生成することができる。
したがって、被写体追従動画生成システムＳにおいては、確実に被写体追従動画を生成することができる。

また、画像加工部５３は、複数の撮像部１６による移動する被写体の継続的な撮影中に選択的な切り出し処理を実行するように制御し、移動する被写体の撮影中の各タイミングにおいて、被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から被写体包含領域内の画像を逐次切り出すように制御する。
これにより、被写体追従動画生成システムＳにおいては、逐次選択される動画から被写体包含領域内の画像を逐次切り出すために、リアルタイムに被写体追従動画を生成することができる。

また、被写体追従動画生成システムＳは、撮像部１６を備えた複数の撮像装置２と、画像取得部５２、画像加工部５３、および動画生成部５４を備えた撮像制御装置１を含む。
これにより、被写体追従動画生成システムＳにおいては、撮像装置２で撮像機能を備えていればよく、特段被写体追従動画生成の機能を備えていなくても、被写体追従動画を生成することができる。

＜第３の実施形態＞
第１の実施形態では、専用の撮像制御装置が撮像装置の撮像を順次切り換え、撮像装置から取得した撮像画像を切り出して連結して、動画を生成するように構成した。
これに対して、本実施形態では、専用の撮像制御装置を用いずに、各撮像装置が相互に通信して撮像を行う撮像装置を決定して、動画の生成に寄与する撮像装置だけを順次切り換えて撮像させるように構成する。
また、本実施形態では、撮像を行った撮像装置で切り出しを行い、動画の表示を行う機器（表示装置）に転送し、表示装置で取得した切り出した撮像画像を順次表示して動画を再生するように構成する。

第３の実施形態の説明においても、撮像制御装置及び撮影装置のハードウェア構成は第１の実施形態と同様のため説明は省略する。また、その他の第１の実施形態と同様の構成についても説明を省略する。

図１０は、第３の実施形態における被写体追従動画生成システムＳのシステム構成を示すシステム構成図である。

第３の実施形態における被写体追従動画生成システムＳでは、図１０に示すように、ネットワークｎを介して互いに通信可能な複数の撮像装置２Ａ乃至２Ｎと、ネットワークｎを介して撮像装置２と通信可能な表示装置３と、を備える。
撮像装置２では、撮影した撮影動画からフレーム画像を切り出し加工して、特定被写体が中心に位置する構成フレーム画像を生成する。撮像装置２では、生成したフレーム画像を表示装置３に送信する。
表示装置３では、撮像装置２から送信された構成フレーム画像に基づいて、被写体追従動画の再生表示を行う。

図１１は、図２の撮像装置２の機能的構成のうち、第３の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。

第３の実施形態における被写体追従動画生成処理を実行する場合には、撮像装置２のＣＰＵ１１において、撮像範囲情報取得部１００と、撮像装置特定部１０１と、通信制御部１０２と、撮像制御部１０３と、被写体検出部１０４と、画像加工部１０５と、移動速度判定部１０６と、撮影待機時間予測部１０７と、遅延時間特定部１０８と、撮影指示部１０９と、が機能する。
記憶部２０の一領域には、画像記憶部１２０が設けられる。
画像記憶部１２０には、構成フレーム画像等の各種画像のデータが記憶される。

撮像範囲情報取得部１００は、位置センサ１７から自己の撮影する位置・方向・画角等の情報（以下、「撮影範囲情報」という。）を取得し、他の撮像装置２の位置センサ１７で取得した他の撮像装置２の撮影範囲情報を、通信部２１を介して取得する。

撮像装置特定部１０１は、撮像範囲情報取得部１００により取得した撮影範囲情報に基づいて、次撮像装置２を特定する。

通信制御部１０２は、通信部２１を介して他の撮像装置２から撮影開始の指示があったか否かを判定する。
また、通信制御部１０２は、画像加工部１０５によって生成された構成フレーム画像を表示装置３に送信する。

撮像制御部１０３は、ユーザからの入力部１８への撮像開始・終了操作や他の撮像装置２から撮影開始・終了の指示に基づいて、撮像を開始・終了するように撮像部１６を制御する。

被写体検出部１０４は、撮像した撮影動画に含まれる被写体を検出する。また、被写体検出部１０４は、検出した特定被写体に撮影対象が含まれるか否かを判定する。

画像加工部１０５は、特定被写体が存在する現在の撮影画像から特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。

移動速度判定部１０６は、特定被写体の移動速度を判定する。具体的には、移動速度判定部１０６は、例えば、撮影された動画を解析して、各フレーム画像の差分から特定被写体の移動速度を判定する。

撮影待機時間予測部１０７は、次撮像装置２で被写体追従動画に寄与する画像領域を切り出せるまでの待機時間、即ち、次撮像装置２の撮影開始までの待機時間（以下、「撮影開始待機時間」という。）を算出する。
また、撮影待機時間予測部１０７は、現撮像装置２が被写体追従動画に寄与する画像領域を切り出せなくなるまでの待機時間、即ち、現撮像装置２の撮影終了までの待機時間（以下、「撮影終了待機時間」という。）を算出する。

次撮像装置２の撮影開始待機時間は、例えば、移動速度から予想される特定被写体の原位置から次撮影装置２の撮影範囲のうち撮影を開始する開始端への到達時間で算出される。
即ち、撮影開始待機時間は、「次撮像装置２の撮影開始待機時間＝特定被写体の原位置から次撮像装置２の撮影範囲の開始端までの距離／特定被写体の移動速度」で算出可能となる。
ここで、特定被写体の原位置は、例えば、撮像装置２において位置センサ１７から取得した位置情報と、特定被写体との距離から絶対位置として割り出すことができる。また、撮影範囲は、例えば、撮像装置２において位置センサ１７から取得した位置情報と、特定被写体の移動予定のルートから特定される特定被写体との距離から開始端から終了端までの範囲の絶対位置を割り出すことができる。
なお、撮影開始待機時間は、現撮像装置２の撮影範囲の終了端から次撮像装置２とのオーバーラップ分を差し引いて算出することもできる。

現撮像装置２の撮影終了待機時間は、移動速度から予想される特定被写体の原位置から現撮影装置の撮影範囲のうち撮影を開始する終了端への到達時間で算出される。
即ち、撮影開始待機時間は、「現撮像装置２の撮影終了待機時間＝特定被写体の原位置から現撮像装置２の撮影範囲の終了端までの距離／特定被写体の移動速度」で算出可能となる。

遅延時間特定部１０８は、次撮像装置２との通信や次撮像装置２の性能等からくる撮影指示から撮影までの動作時間を考慮して、次撮像装置２への撮影の切り換えに要する時間（以下「遅延時間」という。）を特定する。
撮影を開始する時間に遅延時間を加味して、撮影の指示を行うことで、指示を受けた撮像装置２では、撮影のための準備期間が設けられるために、機器の調整等を行うことができ安定した状態で撮影を行うことができる。

撮影指示部１０９は、撮影待機時間（撮影終了待機時間及び撮影開始待機時間）と遅延時間に基づいて、次撮像装置２への撮影開始の指示を行う。また、撮影指示部１０９は、待機時間に基づいて、次撮像装置２への撮影終了の指示を行う。また、撮影指示部５５は、撮影の開始や終了の指示の際、撮影条件も含める。

なお、本実施形態においては、撮像装置２において、構成フレーム画像を生成して、表示装置３に送信して、表示装置３では、構成フレーム画像を時系列に表示することにより被写体追従動画を表示出力するように構成したがこれに限られない。撮像装置２においては、被写体追従動画を生成して表示装置３に送信するように構成してもよいし、撮像画像、切り出し画像、合成画像等の状態で表示装置３に送信して、表示装置３で切り出し加工を行って構成フレーム画像を生成するように構成してもよい。

図１２は、図１１の機能的構成を有する図２の撮像装置２が実行する第３の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。

ステップＳ１１１において、撮像範囲情報取得部１００は、自己及び他の撮像装置２の撮影する位置、方向、画角等の撮影範囲情報を取得する。

ステップＳ１１２において、撮像装置特定部１０１は、取得した撮影範囲情報に基づいて次撮像装置２を特定する。

ステップＳ１１３において、通信制御部１０２は、ユーザ又は他の撮像装置２から撮影開始が指示されたかを判定する。
ユーザ又は他の撮像装置２から撮影開始が指示されない場合には、ステップＳ１１３においてＮＯと判定されて、待機状態となる。
ユーザ又は他の撮像装置２から撮影開始が指示された場合には、ステップＳ１１３においてＹＥＳと判定されて、処理はステップＳ１１４に進む。

ステップＳ１１４において、撮像制御部１０３は、撮影を開始するように撮像部１６を制御する。

ステップＳ１１５において、被写体検出部１０４は、撮影フレーム内の被写体を検出する。

ステップＳ１１６において、被写体検出部１０４は、特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップＳ１１６においてＮＯと判定されて、待機状態となる。
特定被写体が存在する場合には、ステップＳ１１６においてＹＥＳと判定されて、処理はステップＳ１１７に進む。

ステップＳ１１７において、画像加工部１０５は、現在の撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。

ステップＳ１１８において、通信制御部１０２は、構成フレーム画像を表示装置３に転送する。

ステップＳ１１９において、移動速度判定部１０６は、被写体の移動速度を判定する。

ステップＳ１２０において、撮影待機時間予測部１０７は、次撮像装置２の撮影開始待機時間及び現撮像装置２の撮影終了待機時間を算出する。

ステップＳ１２１において、遅延時間特定部１０８は、次撮像装置２への撮影切り換えに要する遅延時間を特定する。

ステップＳ１２２において、撮影指示部１０９は、次撮像装置２の撮影開始待機時間と遅延時間が同じ（撮影開始待機時間＝遅延時間）か否かを判定する。
次撮像装置２の撮影開始待機時間よりも遅延時間が短い場合には、ステップＳ１２２においてＮＯと判定されて、待機状態となる。
次撮像装置２の撮影開始待機時間と遅延時間が同じになった場合には、ステップＳ１２２においてＹＥＳと判定されて、処理はステップＳ１２３に進む。

ステップＳ１２３において、撮影指示部１０９は、次撮像装置２へ撮影開始を指示する。撮影指示部１０９は、当該撮影開始の指示と共に、撮影条件等の情報も指示する。

ステップＳ１２４において、撮影指示部１０９は、現撮像装置２の撮影終了待機時間が０（次撮像装置２の撮影終了待機時間＝０）か否かを判定する。
次撮像装置２の撮影終了待機時間が０でない場合には、ステップＳ１２４においてＮＯと判定されて、処理はステップＳ１１５に戻る。
次撮像装置２の撮影終了待機時間が０の場合には、ステップＳ１２４においてＹＥＳと判定されて、処理はステップＳ１２５に進む。

ステップＳ１２５において、撮影指示部１０９は、撮影を終了する指示を現撮像装置２に対して行う。その後、被写体追従動画生成処理を終了する。

以上のように構成される被写体追従動画生成システムＳは、撮影指示部５５を備える。
撮影指示部５５は、被写体の移動中の各タイミングにおいて、被写体包含領域を含む動画を撮影している撮像部１６を逐次選択する。
画像加工部５３は、撮影指示部５５により逐次選択される当該撮像部１６から動画を逐次取得して選択的な切り出し処理を実行する。
これにより、被写体追従動画生成システムＳにおいては、適切な撮像部１６で撮影された動画を取得することができる。

被写体の移動中の各タイミングにおいて、被写体包含領域を含む動画の撮影を開始又は終了させる撮影手段を逐次選択し、この逐次選択される撮影手段による動画の撮影を開始又は終了させるように制御する撮像制御部９１を備える。
これにより、被写体追従動画生成システムＳにおいては、不必要な撮影を行わないように構成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

また、上述の実施形態では、生成される被写体追従動画において、特定被写体が常に所定位置に所定サイズで含まれる動画を生成したがこれに限られない。特定被写体の動画内における位置だけが常に所定位置であったり、特定被写体の動画内におけるサイズだけが常に所定サイズであったりしてもよい。
また、上述の実施形態では、生成される被写体追従動画において、特定被写体が常に中央にいる画角の動画を生成したがこれに限られない。被写体追従動画を通じて、一定の位置であったり、例えば、特定被写体に近づいたり遠ざかったり等の所望する効果に応じて、動画における特定被写体の位置を変更するような動画であったりしてもよい。

また、上述の実施形態では、撮影を行わない撮像制御装置１と、各撮像装置２で構成する場合があったが、これに限られない。
例えば、撮影を行う撮像装置２での制御に基づいて、他の撮像装置２が撮影を行うように構成してもよい。即ち、被写体追従動画生成システムＳは、主たる撮像装置２（親機）と従たる撮像装置２（子機）とで構成してもよい。
具体的には、被写体追従動画生成システムＳにおいては、複数の撮像装置２のうちの１つが撮像制御装置の役目となり、他の撮像装置２の選択と他の撮像装置２への指示を行う撮影指示手段を備えるように構成することができる。即ち、撮像部１６を備えた撮像装置２が撮像制御装置の機能を兼用するように構成することができる。
これにより、被写体追従動画生成システムＳは、撮像制御装置１のような撮像を制御する専用機を用いずに撮像装置２のみで被写体追従動画を生成することができる。

また、上述の実施形態においては、切り出し加工の処理は、撮像装置２側で行われるように構成してもよいし、撮像制御装置１側で行われるように構成してもよい。

また、上述の実施形態では、動画に寄与する部分を切り出して加工して用いたがこれに限られない。例えば、撮影対象となる被写体等が映り込んでいない背景画像を取得して、撮影対象となる被写体を合成するようにしてもよい。このように加工した画像を用いることで、例えば、撮影対象となる被写体以外の被写体が映り込んでいない動画を生成することができる。
具体的には、被写体追従動画生成システムＳにおいては、例えば、動画生成部５４等の動画生成手段は、選択的な切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成するように構成することができる。

また、上述の実施形態では、撮影対象となる被写体が映り込むことを検出、又は予測して撮影を行うように制御したが、これに限られない。
例えば、被写体を検出する等を行わずに、被写体が撮影されている撮像装置の前と後の撮像装置で撮影を行うように構成することもできる。このように構成することで、被写体が中央に位置した状態で撮影された画像と、被写体が中央に向かっている状態と被写体が中央から離れてしまった状態で撮影された画像でも切り出して加工することができる。
図１３は、撮影タイミングの他の例を示す図である。
撮影タイミングは、図１３の例に示すように、撮影開始時点では、被写体は中央と、中央から離れる方向になるため、撮像装置２Ａと、撮像装置２Ｂとで撮影された画像で切り出し画像を生成することができる。
また、撮像装置２Ａの次の撮像装置２Ｂで被写体を撮影した場合には、撮像装置２Ａ、撮像装置２Ｂ、撮像装置２Ｃの３台の撮像装置で撮影を行う。撮像装置２Ｂで撮影する場合には、被写体は、中央に向かう状態と、中央に位置する状態と、中央から離れる状態があるため、撮像装置２Ａと、撮像装置２Ｂと、撮像装置２Ｃとで撮影された画像で切り出し画像を生成することができる。撮像装置２Ｃで被写体を撮影した場合も撮像装置２Ｂの場合と同様に、撮像装置２Ｃの前後の撮像装置２Ｂと、撮像装置２Ｄとで撮影された画像で切り出し画像を生成することができる。

また、上述の実施形態では、特定被写体を含む所定の領域を、切り出しを行う画像領域としたがこれに限られない。例えば、特定被写体の形状に対応した領域、即ち、特定被写体の領域を、切り出しを行う画像領域とするように構成してもよい。
具体的には、画像加工部５３等の切り出し手段は、被写体の形状に合わせた形状の画像領域を被写体の形状に合わせた領域のみを切り出すように構成することができる。

また、上述の実施形態では、撮影動画から構成フレーム画像を生成するように構成したがこれに限られず、例えば、所定のタイミングで撮影された撮像画像を用いて、構成フレーム画像を生成するように構成してもよい。

また、上述の実施形態では、各撮像装置２から動画の生成を行う装置に撮影画像又は構成フレーム画像を送信するように構成したがこれに限られず、撮影動画を送信して、受信した撮影画像から構成フレーム画像を生成するように構成してもよい。

また、上述の実施形態では、複数の撮像装置２により撮影動画を撮影するように構成したがこれに限られず、１の装置において複数の撮像手段を有するように構成してもよく、撮像手段から取得された画像に基づいて、被写体追従動画を生成するようにしてもよい。

また、上述の実施形態では、本発明が適用される撮像装置２は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、被写体追従動画生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３，７，１１の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３，７，１１の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段と、
前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、
前記切り出し制御手段の制御により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、
を備えることを特徴とする動画生成システム。
［付記２］
前記切り出し制御手段は、前記選択された動画から被写体が所定位置かつ所定サイズで含まれる被写体包含領域を含む動画を選択し、当該選択された動画からこの被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する、
ことを特徴とする付記１に記載の動画生成システム。
［付記３］
前記切り出し制御手段は、前記選択された動画から被写体が中央に位置する所定サイズとなるように前記切り出し処理の実行を制御する、
ことを特徴とする付記１又は２に記載の動画生成システム。
［付記４］
前記複数の撮像手段は、前記被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置されており、
前記切り出し制御手段は、前記被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から前記被写体包含領域を切り出し、前記被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から前記被写体包含領域の一部を切り出して合成するように制御する、
ことを特徴とする付記１乃至３のいずれか１つに記載の動画生成システム。
［付記５］
前記切り出し制御手段は、前記複数の撮像手段による前記移動する被写体の継続的な撮影中に前記切り出し処理を実行するように制御し、前記移動する被写体の撮影中の各タイミングにおいて、前記被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から前記被写体包含領域内の画像を逐次切り出すように制御する、
ことを特徴とする付記１乃至４のいずれか１つに記載の動画生成システム。
［付記６］
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画を撮影している撮像手段を逐次選択する撮像手段選択手段を備え、
前記切り出し制御手段は、前記撮像手段選択手段により逐次選択される当該撮像手段から動画を逐次取得して前記切り出し処理を実行するように制御する、
ことを特徴とする付記５に記載の動画生成システム。
［付記７］
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画の撮影を開始又は終了させる撮像手段を逐次選択し、この逐次選択される撮像手段による動画の撮影を開始又は終了させるように制御する撮影制御手段を備える、
ことを特徴とする付記６に記載の動画生成システム。
［付記８］
前記撮像手段を備えた複数の撮像装置と、前記取得手段、前記切り出し制御手段、および前記動画生成手段を備えた撮像制御装置を含む、
ことを特徴とする付記１乃至７のいずれか１つに記載の動画生成システム。
［付記９］
前記撮像手段を備えた複数の撮像装置のうちの１つが前記撮像制御装置となって、他の撮像装置の選択と他の撮像装置への指示を行う撮影指示手段を備える、
ことを特徴とする付記８に記載の動画生成システム。
［付記１０］
前記撮像手段を備えた撮像装置が前記撮像制御装置の機能を兼用する、
ことを特徴とする付記９に記載の動画生成システム。
［付記１１］
前記切り出し処理は、前記撮像装置側で行われる、
ことを特徴とする付記８乃至１０のいずれか１つに記載の動画生成システム。
［付記１２］
前記切り出し処理は、前記撮像制御装置側で行われる、
ことを特徴とする付記８乃至１０のいずれか１つに記載の動画生成システム。
［付記１３］
前記動画生成手段は、前記切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成する、
ことを特徴とする付記１乃至１２のいずれか１つに記載の動画生成システム。
［付記１４］
前記切り出し手段は、前記被写体の形状に合わせた画像領域のみを被写体包含領域として切り出す、
ことを特徴とする付記１乃至１３のいずれか１つに記載の動画生成システム。
［付記１５］
動画生成システムにおける動画生成方法であって、
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得ステップと、
前記被写体の移動中の各タイミングに対応して、前記取得ステップで取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御ステップと、
前記切り出し制御ステップにより各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成ステップと、
を含むことを特徴とする動画生成方法。
［付記１６］
動画生成システムを制御するコンピュータに、
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段、
前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御機能、
前記切り出し制御機能により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成機能、
を実行させるためのプログラム。

１・・・撮像制御装置，２・・・撮像装置，３・・・表示装置，２１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・位置センサ，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影状況取得部，５２・・・画像取得部，５３・・・画像加工部，５４・・・動画生成部，５５・・・撮影指示部，５６・・・画像判定部，７１・・・画像記憶部，９１・・・撮像制御部，９２・・・被写体検出部，９３・・・通信制御部，９４・・・画像加工部，１００・・・撮像範囲情報取得部，１０１・・・撮像装置特定部，１０２・・・通信制御部，１０３・・・撮像制御部，１０４・・・被写体検出部，１０５・・・画像加工部，１０６・・・移動速度判定部，１０７・・・撮影待機時間予測部，１０８・・・遅延時間特定部，１０９・・・撮影指示部，１２０・・・画像記憶部，Ｓ・・・被写体追従動画生成システム

上記目的を達成するため、本発明の一態様の動画生成システムは、撮影範囲が異なるように配置された複数の撮像手段により継続的な撮影を行って得られる複数の動画を取得する画像取得手段と、前記画像取得手段により取得される各動画内から、任意に指定された被写体を画像認識によって検出する被写体検出手段と、前記継続的な撮影における各タイミングに対応して、前記画像取得手段で取得される複数の動画のうち、前記被写体検出手段により検出される前記被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、前記切り出し制御手段の制御により前記継続的な撮影における各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、を備えることを特徴とする。

Claims (16)

1. 撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段と、
   前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、
   前記切り出し制御手段の制御により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、
   を備えることを特徴とする動画生成システム。
2. 前記切り出し制御手段は、前記選択された動画から被写体が所定位置かつ所定サイズで含まれる被写体包含領域を含む動画を選択し、当該選択された動画からこの被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する、
   ことを特徴とする請求項１に記載の動画生成システム。
3. 前記切り出し制御手段は、前記選択された動画から被写体が中央に位置する所定サイズとなるように前記切り出し処理の実行を制御する、
   ことを特徴とする請求項１又は２に記載の動画生成システム。
4. 前記複数の撮像手段は、前記被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置されており、
   前記切り出し制御手段は、前記被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から前記被写体包含領域を切り出し、前記被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から前記被写体包含領域の一部を切り出して合成するように制御する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の動画生成システム。
5. 前記切り出し制御手段は、前記複数の撮像手段による前記移動する被写体の継続的な撮影中に前記切り出し処理を実行するように制御し、前記移動する被写体の撮影中の各タイミングにおいて、前記被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から前記被写体包含領域内の画像を逐次切り出すように制御する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の動画生成システム。
6. 前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画を撮影している撮像手段を逐次選択する撮像手段選択手段を備え、
   前記切り出し制御手段は、前記撮像手段選択手段により逐次選択される当該撮像手段から動画を逐次取得して前記切り出し処理を実行するように制御する、
   ことを特徴とする請求項５に記載の動画生成システム。
7. 前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画の撮影を開始又は終了させる撮像手段を逐次選択し、この逐次選択される撮像手段による動画の撮影を開始又は終了させるように制御する撮影制御手段を備える、
   ことを特徴とする請求項６に記載の動画生成システム。
8. 前記撮像手段を備えた複数の撮像装置と、前記取得手段、前記切り出し制御手段、および前記動画生成手段を備えた撮像制御装置を含む、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の動画生成システム。
9. 前記撮像手段を備えた複数の撮像装置のうちの１つが前記撮像制御装置となって、他の撮像装置の選択と他の撮像装置への指示を行う撮影指示手段を備える、
   ことを特徴とする請求項８に記載の動画生成システム。
10. 前記撮像手段を備えた撮像装置が前記撮像制御装置の機能を兼用する、
    ことを特徴とする請求項９に記載の動画生成システム。
11. 前記切り出し処理は、前記撮像装置側で行われる、
    ことを特徴とする請求項８乃至１０のいずれか１項に記載の動画生成システム。
12. 前記切り出し処理は、前記撮像制御装置側で行われる、
    ことを特徴とする請求項８乃至１０のいずれか１項に記載の動画生成システム。
13. 前記動画生成手段は、前記切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成する、
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の動画生成システム。
14. 前記切り出し手段は、前記被写体の形状に合わせた画像領域のみを被写体包含領域として切り出す、
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の動画生成システム。
15. 動画生成システムにおける動画生成方法であって、
    撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得ステップと、
    前記被写体の移動中の各タイミングに対応して、前記取得ステップで取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御ステップと、
    前記切り出し制御ステップにより各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成ステップと、
    を含むことを特徴とする動画生成方法。
16. 動画生成システムを制御するコンピュータに、
    撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段、
    前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御機能、
    前記切り出し制御機能により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成機能、
    を実行させるためのプログラム。

Images