JP2015037290A - 映像制御装置、映像表示装置、映像制御システム、および方法 - Google Patents

Abstract

【課題】再生中の映像を制御すること。
【解決手段】映像制御装置３００は、撮像装置１００によって撮影された広視野映像の内側の所定領域からなる中視野映像を生成する映像生成部３１０と、広視野映像と中視野映像とを蓄積する映像蓄積部３２０と、映像表示装置２００に表示された映像に対するユーザの操作に応じて、操作により特定された領域の座標情報と、操作を特定する操作情報とを映像表示装置２００から取得する映像制御情報取得部３３０と、取得した座標情報および操作情報、並びに必要に応じて広視野映像に基づいて、映像蓄積部３２０から映像送信部３９０に送られる中視野映像を編集して、新たな映像を生成する映像制御部３７０と、新たな映像を生成された場合には生成された新たな映像を、新たな映像を生成されていない場合には映像蓄積部３２０から送られた中視野映像を、映像表示装置２００に送信する映像送信部３９０、を備える。
【選択図】図１

Description

本発明は、再生中の映像を制御する映像制御装置、映像表示装置、映像制御システム、および方法に関する。

タッチパネルディスプレイが搭載されたスマートフォン、パソコン、タブレット端末等において、タッチパネルディスプレイに表示される静止画の任意の部分をピンチイン、ピンチアウト操作することにより、表示されている静止画の選択部分を拡大および縮小することができる（例えば、非特許文献１参照）。

映像の場合には、映像編集ソフトを使用して、録画済みの映像の任意の部分を拡大する技術（例えば、非特許文献２参照）や、複数台のハイビジョンカメラで撮影した映像を広視野なパノラマ映像として構築し、パノラマ映像のなかからユーザが選択した部分をインタラクティブに配信することで、再生中の映像に対してユーザが選択した部分を拡大する技術が提案されている（例えば、非特許文献３参照）。

また、映像に関する技術として、映像中の人物の顔を検出し、検出した顔を含む映像を抽出する技術が提案されている（例えば、非特許文献４、５参照）。

動画編集ソフト「ＰｏｗｅｒＤｉｒｅｃｔｏｒ ＥＸＰＥＲＴ３」［ｈｔｔｐ：／／ｗｗｗ．ｓｏｕｒｃｅｎｅｘｔ．ｃｏｍ／ｔｉｔｌｅｓ／ｈｏｂ／１３７６９０／ ２０１３年７月１６日検索］ ｉｐｈｏｎｅ３Ｇ コバンザメ［ｈｔｔｐ：／／ｗｗｗ．ｉｐｈｏｎｅ−ｈｏｗｔｏ．ｃｏｍ／ｂａｓｉｃ／ｐｏｉｎｔｉｎｇ．ｃｆｍ ２０１３年７月１６日検索］ 「インタラクティブ・パノラマ映像配信技術」［ｈｔｔｐ：／／ｓ−ｍａｘ．ｊｐ／ａｒｃｈｉｖｅｓ／１５４７４７５．ｈｔｍｌ＃ｍｏｒｅ ２０１３年７月１６日検索］ 高精度顔認証（ＮＥＣ）［ｈｔｔｐ：／／ｆｂｉ−ａｗａｒｄ．ｊｐ／ｓｅｎｔａｎ／ｊｕｓｙｏｕ／２０１１／８．ｐｄｆ ｅ ２０１３年７月１６日検索］ 登場人物の顔を検出・表示して映像一覧を自動生成（ＮＥＣ）［ｈｔｔｐ：／／ｗｗｗ．ｎｅｃ．ｃｏ．ｊｐ／ｐｒｅｓｓ／ｊａ／０８０１／１００４．ｈｔｍｌ ２０１３年７月１６日検索］

しかしながら、非特許文献２および非特許文献３に記載の技術では、映像の任意の部分を拡大することはできても、映像の任意の部分を縮小することはできなかった。また、非特許文献４および非特許文献５に記載の技術では、再生中の映像内の人物と同一人物が映っている映像を抽出することはできたが、再生中の映像を抽出した映像に入れ替えることはできなかった。

このように、従来の技術では、ユーザは、再生中の映像の任意の部分を拡大することはできるが、縮小することや、映像の一部を他の映像に入れ替えること等ができないといったように、再生中の映像に対して、ユーザが可能な制御は限られていた。そのため、ユーザは、再生中の映像を自由にカスタマイズして、臨場感が高い多角的な視聴を楽しむことができないという問題点があった。

本発明は、上記課題に鑑み、再生中の映像に対する、ユーザが制御可能な範囲を広げ、ユーザが再生中の映像を自由にカスタマイズして、臨場感が高い多角的な視聴を楽しむことができる映像制御装置、映像表示装置、映像制御システム、および方法を提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１） 本発明は、撮像装置によって撮影された広視野映像を当該撮像装置から取得し、取得した広視野映像の内側の所定領域からなる中視野映像を生成する映像生成手段（例えば、図１の映像生成部３１０に相当）と、取得された前記広視野映像と生成された前記中視野映像とを蓄積する映像蓄積手段（例えば、図１の映像蓄積部３２０に相当）と、映像表示装置に映像を送信する映像送信手段（例えば、図１の映像送信部３９０に相当）と、前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作を特定する操作情報とを前記映像表示装置から取得する映像制御情報取得手段（例えば、図１の映像制御情報取得部３３０に相当）と、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する映像制御手段（例えば、図１の映像制御部３７０に相当）と、を備え、前記映像送信手段が、前記映像制御手段で前記新たな映像が生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、前記映像制御手段で当該新たな映像が生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信することを特徴とする映像制御装置を提案している。

（２） 本発明は、（１）の映像制御装置について、前記操作情報が、前記操作により特定された領域の変倍を示す場合、前記映像制御手段が、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報で特定される領域を中心に変倍編集して、新たな映像を生成することを特徴とする映像制御装置を提案している。

（３） 本発明は、（２）の映像制御装置について、前記操作情報が、前記操作により特定された領域の変倍を示すとともに、当該領域の変倍率を含み、前記映像制御手段が、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報で特定される領域を中心に、当該映像制御情報取得手段で取得した変倍率に編集して、新たな映像を生成することを特徴とする映像制御装置を提案している。

（４） 本発明は、（１）から（３）の映像制御装置について、前記操作情報が、前記操作により特定された領域の変更を示す場合、前記映像制御手段が、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像について、前記映像制御情報取得手段で取得した座標情報で特定される領域の映像を変更する編集をし、新たな映像を生成することを特徴とする映像制御装置を提案している。

（５） 本発明は、（１）から（４）の映像制御装置について、前記映像表示装置にて前記ユーザの操作が行われた映像に対応する中視野映像を前記映像蓄積手段から取得し、取得した中視野映像から前記映像制御情報取得手段で取得した座標情報で特定される領域の映像の特徴を検出する特徴検出手段（例えば、図１の特徴量検出部３４０に相当）と、前記特徴検出手段で検出された特徴と、前記映像制御情報取得手段で取得した操作情報とを記憶する制御情報記憶手段（例えば、図１の制御情報記憶部３５０に相当）と、前記映像蓄積手段から前記映像送信手段に送られる中視野映像が、前記制御情報記憶手段に記憶されている特徴を含むか否かを判断する特徴有無判断手段（例えば、図１の特徴有無判断部３６０に相当）と、を備え、前記映像制御手段が、前記映像蓄積手段から前記映像送信手段に送られる中視野映像が前記制御情報記憶手段に記憶されている特徴を含むと前記特徴有無判断手段で判断された場合に、当該中視野映像の当該特徴を含む領域と、当該特徴と対応付けて前記制御情報記憶手段に記憶されている操作情報に基づいて編集して、新たな映像を生成することを特徴とする映像制御装置を提案している。

（６） 本発明は、（１）から（５）の映像制御装置について、前記映像送信手段が、前記映像制御手段で生成された映像を、前記映像表示装置以外の他の映像表示装置に送信することを特徴とする映像制御装置を提案している。

（７） 本発明は、（１）から（６）の映像制御装置について、映像制御情報取得手段が、前記映像表示装置に表示された映像の再生方法を制御するためのユーザの操作に応じて、当該操作により指定された再生方法の特定する再生方法情報を前記映像表示装置から取得し、前記映像制御情報取得手段で取得した再生方法情報に基づいて、前記映像送信手段に前記映像制御手段から送られた新たな映像、または、前記映像送信手段に前記映像蓄積手段から送られた中視野映像の再生方法を制御する映像再生制御手段（例えば、図１の映像再生制御部３８０に相当）を備えることを特徴とする映像制御装置を提案している。

（８） 本発明は、（１）から（７）の映像制御装置について、前記映像送信手段が、映像表示装置および第２の映像表示装置に同一の映像を送信し、前記映像制御情報取得手段が、前記第２の映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作を特定する操作情報とを前記第２の記映像表示装置から取得し、更に、前記映像送信手段が、前記映像送信手段に前記映像制御手段から送られた新たな映像を、前記映像表示装置または前記第２の映像表示装置の少なくとも一方に送信し、当該映像表示装置または当該第２の映像表示装置のうち当該新たな画像が送られなかった装置に、前記映像送信手段に前記映像蓄積手段から送られた中視野映像を送信することを特徴とする映像制御装置を提案している。

（９） 本発明は、（１）から（８）の映像制御装置について、前記映像は複数のフレームから構成され、前記映像制御情報取得手段が、前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報、および当該操作を特定する操作情報とともに、当該操作が行われたフレームを特定するフレーム情報を前記映像表示装置から取得し、前記映像制御手段が、前記映像制御情報取得手段で前記座標情報、前記操作情報、および前記フレーム情報を取得したことに応じて、取得したフレーム情報に基づいて前記映像蓄積手段から中視野映像を取得し、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成することを特徴とする映像制御装置を提案している。

（１０） 本発明は、撮像装置によって撮影された広視野映像と、当該広視野映像の内側の所定領域からなる中視野映像とを当該撮像装置から取得し、蓄積する映像蓄積手段（例えば、図１の映像蓄積部３２０に相当）と、映像表示装置に映像を送信する映像送信手段（例えば、図１の映像送信部３９０に相当）と、前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作を特定する操作情報とを前記映像表示装置から取得する映像制御情報取得手段（例えば、図１の映像制御情報取得部３３０に相当）と、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する映像制御手段（例えば、図１の映像制御部３７０に相当）と、を備え、前記映像送信手段が、前記映像制御手段で前記新たな映像が生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、前記映像制御手段で当該新たな映像が生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信することを特徴とする映像制御装置。

（１１） 本発明は、映像表示装置から受信した映像を表示する表示手段（例えば、図１の表示部２１０に相当）と、ユーザが操作を入力する入力手段（例えば、図１の入力部２２０に相当）と、前記表示手段に表示された映像に対するユーザの操作が前記入力手段に入力されたことに応じて、当該操作により特定された領域の座標情報と、当該操作の内容を特定する操作情報とを受け付ける映像制御情報受付手段（例えば、図１の映像制御情報受付部２３０に相当）と、前記映像制御情報受付手段で取得した前記座標情報と前記操作情報とを前記映像制御装置に送信する送信手段（例えば、図１の送受信部２４０に相当）と、を備え、前記表示手段は、前記送信手段から送信した前記座標情報と前記操作情報とに基づいて、前記映像制御装置で生成された新たな画像を表示することを特徴とする映像表示装置を提案している。

（１２） 本発明は、映像制御装置と映像表示装置とからなる映像制御システムであって、前記映像表示装置が、前記映像制御装置から受信した映像を表示する表示手段（例えば、図１の表示部２１０に相当）と、ユーザが操作を入力する入力手段（例えば、図１の入力部２２０に相当）と、前記表示手段に表示された映像に対するユーザの操作が前記入力手段に入力されたことに応じて、当該操作により特定された領域の座標情報と、当該操作の内容を特定する操作情報とを受け付ける映像制御情報受付手段（例えば、図１の映像制御情報受付部２３０に相当）と、前記映像制御情報受付手段で取得した前記座標情報と前記操作情報とを前記映像制御装置に送信する送信手段（例えば、図１の送受信部２４０に相当）と、を備え、前記映像制御装置が、撮像装置によって撮影された広視野映像を当該撮像装置から取得し、取得した広視野映像の内側の所定領域からなる中視野映像を生成する映像生成手段（例えば、図１の映像生成部３１０に相当）と、取得された前記広視野映像と生成された前記中視野映像とを蓄積する映像蓄積手段（例えば、図１の映像蓄積部３２０に相当）と、前記映像表示装置から前記座標情報および前記操作情報を取得する映像制御情報取得手段（例えば、図１の映像制御情報取得部３３０に相当）と、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する映像制御手段（例えば、図１の映像制御部３７０に相当）と、前記映像制御手段で前記新たな映像を生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、前記映像制御手段で当該新たな映像を生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信する映像送信手段（例えば、図１の映像送信部３９０に相当）と、を備えることを特徴とする映像制御システムを提案している。

（１３） 本発明は、映像生成手段、映像蓄積手段、映像送信手段、映像制御情報取得手段、および映像制御手段を備える映像制御装置における映像制御方法であって、映像生成手段が、撮像装置によって撮影された広視野映像を当該撮像装置から取得し、取得した広視野映像の内側の所定領域からなる中視野映像を生成する第１のステップ（例えば、図２のステップＳ１に相当）と、前記映像蓄積手段が、前記第１のステップで、取得された前記広視野映像と生成された前記中視野映像とを蓄積する第２のステップ（例えば、図２のステップＳ２に相当）と、前記映像送信手段が、前記映像蓄積手段に蓄積された当該中視野映像を映像表示装置に送信する第３のステップ（例えば、図２のステップＳ７に相当）と、前記映像制御情報取得手段が、前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作の内容を特定する操作情報とを前記映像表示装置から取得する第４のステップ（例えば、図２のステップＳ３に相当）と、前記映像制御手段が、前記第４のステップで前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する第５のステップ（例えば、図２のステップＳ４、Ｓ５に相当）と、前記映像送信手段が、前記第５のステップで前記新たな映像を生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、当該第５のステップで前記新たな映像を生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信する第６のステップ（例えば、図２のステップＳ６、Ｓ７に相当）と、を含むことを特徴とする映像制御方法を提案している。

本発明によれば、再生中の映像に対するユーザの容易な操作により映像の表示を制御することにより、再生中の映像をユーザが容易に好みの映像に編集し、臨場感が高い多角的な視聴を楽しむことができる。

本発明の第１の実施形態に係る映像制御システムの構成を示す図である。 本発明の第１の実施形態に係る映像制御システムにおける映像制御処理フローを示す図である。 本発明の第２の実施形態に係る映像制御システムの構成を示す図である。

以下、図面を用いて、本発明の実施形態について詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１の実施形態＞
＜映像制御システム＞
図１は、本発明の第１の実施形態に係る映像制御システム１の構成を示す図である。図１に示すように、映像制御システム１は、撮像装置１００、映像表示装置２００、および映像制御装置３００から構成される。

撮像装置１００は、スタジアムやコンサートホール等で撮影した映像を映像制御装置３００に送信する。撮影した映像には音声が含まれてもよい。撮像装置１００は、撮影した映像（以下、広視野映像という）を映像制御装置３００に送信する。

広視野映像は、映像表示装置２００に表示する映像を後述する映像制御装置３００にて生成するのに用いる映像であり、また、ユーザからの指示に応じて、映像表示装置２００に表示中の映像を縮小する際に用いる映像である。広視野映像は、ユーザからの指示に応じて任意の部分を編集できるように、予め座標軸がマッピングされている必要がある。

映像表示装置２００は、テレビ放送やＩＰテレビ放送等を受像する受像機であって、図１に示すように、表示部２１０、入力部２２０、映像制御情報受付部２３０、および映像制御装置３００とデータの送受信を行う送受信部２４０から構成される。

表示部２１０は、送受信部２４０を介して、映像制御装置３００から受信した映像を表示し、例えば、液晶ディスプレイである。入力部２２０は、ユーザが操作を入力し、例えば、タッチパネルである。

映像制御情報受付部２３０は、入力部２２０に入力された、表示部２１０に表示された映像に対するユーザの操作に応じて、操作により特定された領域の座標情報、および操作を特定する操作情報（以下、座標情報、および操作情報を併せて映像制御情報という）を受け付ける。なお、映像は複数のフレームから構成されており、映像制御情報受付部２３０は、座標情報および操作情報と併せて、ユーザが操作した映像のフレームを特定するフレーム情報を受け付けてもよく、その場合には、映像制御情報にフレーム情報も含まれる。ここで、ユーザの操作には、例えばピンチアウト、ピンチイン、タップ、ドラッグ、フリップ等がある。各操作によって、領域と、映像の編集内容とを指定することができる。

映像の任意の領域を拡大したい場合には、例えば、ユーザは、任意の領域をピンチアウトする操作を行う。そうすると、映像制御情報受付部２３０は、入力部２２０にされた操作から、ピンチアウトにより特定された領域の座標情報と、ピンチアウトを示す操作情報とを受け付ける。なお、映像制御情報受付部２３０は、ピンチアウト操作により特定された領域の変倍率（拡大率）も操作情報として受け付けてもよい。

一方、映像の任意の領域を縮小したい場合には、例えば、ユーザは、任意の領域をピンチインする操作を行う。この場合も、ピンチアウトの操作と同様に、映像制御情報受付部２３０は、入力部２２０にされた操作から、ピンチインにより特定された領域の座標情報と、ピンチインを示す操作情報とを受け付ける。なお、映像制御情報受付部２３０は、ピンチイン操作により特定された領域の変倍率（縮小率）も操作情報として受け付けてもよい。

また、映像中の任意の領域を変更する場合には、例えば、ユーザは任意の領域をタップする操作を行う。そうすると、映像制御情報受付部２３０は、入力部２２０にされた操作から、タップにより特定された領域の座標情報と、タップを示す操作情報とを受け付ける。映像の任意の領域の変更とは、具体的には、任意の領域の映像を他の映像に入れ替えたり、任意の領域の上下、左右を反転させたり、任意の領域をタイル状のパーツに分割し、各パーツをシャッフルしたりすることである。

また、映像制御情報受付部２３０は、表示部２１０に表示された映像に対する再生方法を制御するためのユーザ操作に応じて、再生方法を特定する再生方法情報を受け付ける。ここで、再生方法情報とは、巻き戻し、一時停止、コマ送り等といった映像の再生方法を特定する情報である。

映像制御装置３００は、映像生成部３１０、映像蓄積部３２０、映像制御情報取得部３３０、特徴量検出部３４０、制御情報記憶部３５０、特徴有無判断部３６０、映像制御部３７０、映像再生制御部３８０、および映像送信部３９０から構成される。

映像生成部３１０は、撮像装置１００から受信した広視野映像の内側の所定領域からなる画像（以下、中視野映像という）を生成する。映像生成部３１０は、映像送信部３９０から送信されるまでに中視野映像を生成すればよいが、撮像装置１００から広視野映像を受信したことに応じて、中視野映像を生成するのが望ましい。映像送信部３９０から送信される際に中視野映像を生成すると、中視野映像をスムーズに映像表示装置２００に送信することができないからである。

ここで、中視野映像は、映像表示装置２００に通常表示する映像であって、ユーザからの指示に応じて任意の部分を編集できるように、予め座標軸がマッピングされている必要がある。また、中視野画像は、広視野画像の内側６０％程度の領域を切り出した画像であるのが望ましい。なお、中視野映像が撮像装置１００により撮影され、広視野映像とともに中視野映像を撮像装置１００から受信してもよい。この場合には、撮像装置１００から受信した広視野映像および中視野映像が映像蓄積部３２０に蓄積され、映像生成部３１０は映像制御装置３００に備えられなくてもよい。

映像蓄積部３２０は、広視野映像および中視野映像を蓄積する。映像蓄積部３２０は、映像生成部３１０が撮像装置１００から広視野映像を受信したことに応じて中視野映像を生成した場合には、広視野映像および中視野映像を同時に蓄積する。一方、映像蓄積部３２０は、映像生成部３１０が撮像装置１００から広視野映像を受信したことに応じて中視野映像を生成しない場合には、撮像装置１００から受信した広視野映像を先に蓄積し、中視野映像は生成されたタイミングで蓄積する。なお、映像蓄積部３２０は、音声がある場合には音声も合わせて蓄積する。

具体的には、映像蓄積部３２０は、広視野映像と中視野映像とを対応付け、連続する中視野映像を１コンテンツとしてコンテンツ毎に記憶する。なお、映像蓄積部３２０は、中視野映像を構成するフレームを特定するフレーム情報も併せて記憶してもよい。

映像制御情報取得部３３０は、映像表示装置２００の送受信部２４０を介して、映像制御情報を受信する。また、映像制御情報取得部３３０は、映像表示装置２００の送受信部２４０を介して、再生方法情報を受信する。

特徴量検出部３４０は、映像表示装置２００においてユーザ操作がされた映像に対応する中視野映像をフレーム情報に基づいて、映像蓄積部３２０から取得する。そして、特徴量検出部３４０は、取得した中視野映像から、映像制御情報に含まれる座標情報で特定される領域の映像の特徴量を検出する。例えば、特徴量検出部３４０は、特定される領域に人の顔がある場合に、その顔を表現するような特徴量を検出する。

制御情報記憶部３５０は、特徴量検出部３４０で検出した特徴量と、映像制御情報に含まれる操作情報とを対応付けて記憶する。それにより、類似する特徴量を持つ画像に対し同一の編集処理を行うことが可能となる。また、制御情報記憶部３５０は、コンテンツ毎に、映像制御情報取得部３３０で取得した映像制御情報や再生方法情報を、映像制御情報や、再生方法情報を映像表示装置２００から受信したタイミングと併せて記憶する。それにより、同一コンテンツが再生された際に、前回と同じ表示状況および再生状況の映像を提供することができる。

制御情報記憶部３５０を備えることにより映像表示装置２００に表示された映像の表示状況や再生状況、例えば、拡大がされたことや、開始から１０分のところで一時停止されたこと等を、映像を提供する側において把握することができる。

また、映像を提供する側や映像を利用する側が、映像蓄積部３２０に蓄積されているコンテンツの映像について、視聴者に見せたい表示状況や再生状況の情報を、制御情報記憶部３５０に記憶させておいてもよい。

それにより、例えば、理科の実験等の教育ビデオコンテンツにおいて、教師がコンテンツの映像を制御することができる。具体的には、教師が、予め映像蓄積部３２０に蓄積されているコンテンツの映像について、生徒に画面上で注目してほしい箇所を拡大、一時停止、巻き戻し等を指定し、その情報を制御情報記憶部３５０に記憶させておく。そうすると、生徒がコンテンツを再生した際に、制御情報記憶部３５０に記憶されている情報に従って映像が制御され、表示状況や再生状況により注目箇所を知ることができる。

特徴有無判断部３６０は、映像蓄積部３２０から映像送信部３９０に送られる中視野映像が、制御情報記憶部３５０に記憶されている特徴量を含むか否かを判断する。

映像制御部３７０は、映像制御情報取得部３３０が映像表示装置２００から映像制御情報を受信した場合と、特徴有無判断部３６０で映像蓄積部３２０から映像送信部３９０に送られる中視野映像が、制御情報記憶部３５０に記憶されている特徴量を含むと判断された場合とに、映像表示装置２００に送信する映像を生成する。

映像制御情報取得部３３０が映像表示装置２００から映像制御情報を受信した場合に、映像制御部３７０は、まず、映像蓄積部３２０から映像送信部３９０に送られる中視野映像を、映像蓄積部３２０から取得する。映像制御部３７０は、映像制御情報に含まれる操作情報がピンチインを示す場合、映像蓄積部３２０から取得した中視野映像に対応する広視野映像も映像蓄積部３２０から取得する。

そして、映像制御部３７０は、映像制御情報に含まれる座標情報および操作情報に基づいて、映像蓄積部３２０から広視野映像を取得した場合には広視野映像も用いて、映像蓄積部３２０から取得した中視野映像を編集して、新たな映像を生成する。

なお、映像制御部３７０は、映像表示装置２００から映像制御情報を受信した後に、映像蓄積部３２０から映像送信部３９０に送られる全ての中視野映像を取得し、各中視野映像を編集して新たな映像を生成する。それにより、ユーザ操作後、映像制御装置３００から映像表示装置２００に送信される映像は、ユーザ操作に応じた編集がされた映像とすることができる。また、映像制御部３７０は、映像表示装置２００から映像制御情報を受信した後に、映像蓄積部３２０から映像送信部３９０に送られる一の中視野映像を取得して、それを編集して新たな映像を生成してもよい。それにより、ユーザ操作後、映像制御装置３００から映像表示装置２００に送信される一の映像を、ユーザ操作に応じた編集がされた映像とすることができる。

映像表示装置２００から受信した映像制御情報にフレーム情報が含まれる場合には、映像制御部３７０は、フレーム情報に基づいて映像蓄積部３２０から中視野映像を取得し、取得した中視野映像を編集して新たな映像を生成する。この場合、映像制御情報取得部３３０が映像表示装置２００から映像制御情報を受信したことに応じて、映像送信部３９０は、映像表示装置２００への映像の送信を一時停止し、映像制御部３７０で新たな映像が生成されたことに応じて、映像の送信を再開してもよい。それにより、映像の順が乱れなくすることができる。なお、映像表示装置２００にて、映像の順が乱れないように制御を行ってもよい。

具体的には、操作情報がピンチアウトを示す場合には、映像制御部３７０は、映像蓄積部３２０から取得した中視野映像を、映像制御情報に含まれる座標情報により特定される領域を中心に拡大して、新たな映像を生成する。操作情報に変倍率が含まれる場合には、変倍率に応じて拡大する。

一方、操作情報がピンチインを示す場合には、映像制御部３７０は、映像蓄積部３２０から取得した中視野映像に対応する広視野映像を用いて、映像蓄積部３２０から取得した中視野映像を、映像制御情報に含まれる座標情報により特定される領域を中心に縮小して、新たな映像を生成する。操作情報に変倍率が含まれる場合には、変倍率に応じて縮小する。

例えば、コンサート、スポーツ中継等の映像配信サービスにおいて、まずは、コンサートホール、スタジアムの中央部分の映像を中視野映像として配信し、ユーザが好みに応じて、映像中の特定の演奏者、歌手、選手が表示されている領域をピンチアウトすることで特定の演奏者、歌手、選手拡大をしたり、映像上をピンチインすることで、観客席も含めたコンサートホール、スタジアムのより広範囲な映像に縮小したりすることを可能とすることができる。なお、４Ｋや８Ｋ映像の配信では高品質な画像を配信することが想定されているので、特定の部分を拡大縮小して表示しても高品質を保持することができる。

また、操作情報がタップを示す場合には、映像制御部３７０は、取得した中視野映像について、映像制御情報に含まれる座標情報で特定される領域の映像を変更する編集をし、新たな映像を生成する。例えば、映像制御情報に含まれる座標情報で特定される領域の映像が歌手の顔映像である場合に、自分の顔映像に入れ替える編集をし、自分が出演している映像を生成するといったように、映像制御情報に含まれる座標情報で特定される領域の映像を他の映像に入れ替えた映像を生成することができる。

その他にも、映像制御部３７０は、映像制御情報に含まれる操作情報に応じて、映像蓄積部３２０から取得した中視野映像について、映像制御情報に含まれる座標情報により特定される領域の上下、左右を反転させる編集や、領域をタイル状のパーツに分割し、各パーツをシャッフルする編集を行うこともできる。

それにより、「オリジナル映像の任意の細かい箇所の画像を入れ替えて、オリジナル映像と入れ替えた映像との違いを探すゲーム」、「映像をパズル化して、そのパズル映像を元の映像に戻すゲーム」、「パズル画像を元の映像に戻すゲーム」として映像を提供することも可能となる。その結果、視聴型の映像を参加型の映像に変えることができる。

特徴有無判断部３６０で映像蓄積部３２０から映像送信部３９０に送られる中視野映像が、制御情報記憶部３５０に記憶されている特徴量を含むと判断された場合、まず、映像制御部３７０は、中視野映像の特徴量を含む領域を特定する。そして、映像制御部３７０は、特定した領域と、制御情報記憶部３５０に特徴量と対応付けて記憶されている操作情報とに基づいて編集して、新たな映像を生成する。

例えば、あるスポーツコンテンツを視聴した際に、拡大した選手の顔を制御情報記憶部３５０に特徴量として記憶しておくことで、同コンテンツや他のコンテンツの視聴時に、映像制御部３７０がその選手の顔を自動的に拡大した映像を自動的に作成し、映像表示装置２００に表示させることができる。

映像制御部３７０は、生成した新たな映像と編集前の中視野映像や、様々な変倍率によって中視野映像を拡大縮小して生成された複数の新たな映像等、を組み合わせて一つの映像として、映像送信部３９０を介して、映像表示装置２００に表示させることもできる。

映像再生制御部３８０は、映像制御情報取得部３３０で取得した再生方法情報に基づいて、映像送信部３９０が映像表示装置２００に送信する映像の再生方法を制御する。また、映像送信部３９０が映像表示装置２００に送信する映像について、制御情報記憶部３５０に再生方法情報が記憶されている場合には、映像再生制御部３８０は、制御情報記憶部３５０に記憶されている再生方法情報に基づいて、映像送信部３９０が映像表示装置２００に送信する映像の再生方法を制御する。

映像送信部３９０は、映像制御部３７０で新たな映像が生成された場合には、映像制御部３７０で生成された新たな映像を映像表示装置２００に送信する。一方、映像制御部３７０で新たな映像が生成されていない場合には、映像送信部３９０は、映像蓄積部３２０に蓄積されている中視野映像を映像表示装置２００に送信する。

映像送信部３９０は、映像制御情報取得部３３０で受信した映像制御情報等を送信した映像表示装置２００以外の映像表示装置に映像を送信することもできる。それにより、複数の映像表示装置に同じ映像を送信することができ、複数のユーザで映像を共有することができる。

＜映像制御処理フロー＞
図２は、本発明の第１の実施形態に係る映像制御システム１における映像制御処理フローを示す図である。本処理フローにおいて、中視野映像は、撮像装置１００から広視野映像を受信したことに応じて生成されるが、これに限らず、中視野映像は、映像送信部３９０から送信される前までに生成されていればよい。

まず、ステップＳ１において、映像生成部３１０は、撮像装置１００から受信した広視野映像から中視野映像を生成する。

次に、ステップＳ２において、映像蓄積部３２０は、撮像装置１００から受信した広視野映像およびステップＳ１で生成された中視野映像を蓄積する。

次に、ステップＳ３において、映像制御情報取得部３３０は、映像制御情報を映像表示装置２００から受信したか否かを判断する。映像制御情報を受信したと判断した場合（ＹＥＳ）には、ステップＳ４に処理を進め、一方、映像制御情報を受信していないと判断した場合（ＮＯ）には、ステップＳ７に処理を進める。

次に、ステップＳ４において、映像制御部３７０は、映像蓄積部３２０から映像送信部３９０に送られる中視野映像を、映像蓄積部３２０から取得する。必要に応じて、広視野映像も映像蓄積部３２０から取得する。

次に、ステップＳ５において、映像制御部３７０は、映像制御情報に含まれる座標情報および操作情報に基づいて、ステップＳ４で広視野映像を取得した場合には広視野映像も用いて、ステップＳ４で取得した中視野映像を編集して、新たな映像を生成する。

次に、ステップＳ６において、映像送信部３９０は、ステップＳ５で生成された新たな映像を映像表示装置２００に送信する。

次に、ステップＳ７において、映像送信部３９０は、映像蓄積部３２０に蓄積されている中視野映像を映像表示装置２００に送信する。

次に、ステップＳ８において、映像送信部３９０は、ステップＳ４で取得した中視野映像またはステップＳ７で映像表示装置２００に送信された中視野映像を含むコンテンツが終了したか否かを判断する。コンテンツが終了した場合（ＹＥＳ）には、処理を終了し、コンテンツが終了していない場合（ＮＯ）にはステップＳ３に処理を戻す。

以上、説明したように、本実施形態によれば、再生中の映像に対するユーザの容易な操作により、映像を拡大縮小したり、映像中の特定領域の映像を変更したりする制御が可能となる。その結果、再生中の映像をユーザが容易に好みの映像に編集し、臨場感が高い多角的な視聴を楽しむことができる。

＜第２の実施形態＞
図３を用いて、本発明の第２の実施形態について説明する。なお、本実施形態における映像制御システムは、メインの映像表示装置とサブの映像表示装置とを備えることで、再生中の映像を制御する際のユーザの操作性を向上させたシステムである。なお、第１の実施形態と同一の符号を付す構成要素については、同一の機能を有することから、その詳細な説明は省略する。

＜映像制御システム＞
図３は、本発明の第２の実施形態に係る映像制御システム２の構成を示す図である。図３に示すように、映像制御システム２は、撮像装置１００、メイン映像表示装置２０１、サブ映像表示装置２０２、および映像制御装置３０１から構成される。

メイン映像表示装置２０１は、テレビ放送やＩＰテレビ放送等を受像する受像機であって、テレビ等大きな表示部を備える受像機であるのが望ましい。メイン映像表示装置２０１は、第１の実施形態の映像表示装置２００と同構成である。

サブ映像表示装置２０２は、テレビやＩＰテレビ放送等を受信する受像機であって、スマートフォン、パソコン、タブレット端末等携帯可能な端末であることが望ましい。サブ映像表示装置２０２も第１の実施形態の映像表示装置２００と同構成である。

第１の実施形態では、映像表示装置は１台であったので、視聴する映像が表示されている画面に操作を入力していた。本実施形態においては、メイン映像表示装置２０１とサブ映像表示装置２０２と映像表示装置が２台であるので、メイン映像表示装置２０１で映像を視聴し、サブ映像表示装置２０２で映像を制御する操作を行うといったように、表示と操作とを別画面、別装置にて行うことができる。それにより、ユーザの操作性が向上する。また、サブ映像表示装置２０２を携帯可能な端末とすることで、より操作性を向上することができる。

映像制御装置３０１は、映像生成部３１０、映像蓄積部３２０、映像制御情報取得部３３１、特徴量検出部３４０、制御情報記憶部３５０、特徴有無判断部３６０、映像制御部３７０、映像再生制御部３８０、映像送信部３９１から構成される。

映像制御情報取得部３３１は、メイン映像表示装置２０１またはサブ映像表示装置２０２から、映像制御情報を受信する。また、映像制御情報取得部３３１は、メイン映像表示装置２０１またはサブ映像表示装置２０２から、再生方法情報を受信する。

映像送信部３９１は、映像制御部３７０で新たな映像が生成された場合には、映像制御部３７０で生成された新たな映像をメイン映像表示装置２０１またはサブ映像表示装置２０２の少なくとも一方に送信する。メイン映像表示装置２０１およびサブ映像表示装置２０２のうち、映像制御部３７０で生成された新たな映像が送信されなかった装置には、映像送信部３９１は、映像蓄積部３２０から送信された中視野映像、すなわち、新たな映像の生成元である中視野映像を送信する。一方、映像制御部３７０で新たな映像が生成されていない場合には、映像送信部３９１は、映像蓄積部３２０に蓄積されている中視野映像をメイン映像表示装置２０１およびサブ映像表示装置２０２に送信する。

以上、説明したように、本実施形態によれば、メイン映像表示装置とサブ映像表示装置との２台の映像表示装置を映像制御システムに備えることにより、表示と操作とを別画面、別装置にて行うことができ、再生中の映像を制御する際のユーザの操作性を向上させることができる。また、編集前の映像と編集後の映像との両方を、ユーザが視聴することも可能となる。

なお、映像制御システムの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたデータ収集装置に読み込ませ、実行することによって本発明の映像制御システムを実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）、ケーブルテレビ（ＣＡＴＶ）網を使ったネットワーク、電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 映像制御システム
１００ 撮像装置
２００ 映像表示装置
２１０ 表示部
２２０ 入力部
２３０ 映像制御情報受付部
２４０ 送受信部
３００ 映像制御装置
３１０ 映像生成部
３２０ 映像蓄積部
３３０ 映像制御情報取得部
３４０ 特徴量検出部
３５０ 制御情報記憶部
３６０ 特徴有無判断部
３７０ 映像制御部
３８０ 映像再生制御部
３９０ 映像送信部

Claims (13)

1. 撮像装置によって撮影された広視野映像を当該撮像装置から取得し、取得した広視野映像の内側の所定領域からなる中視野映像を生成する映像生成手段と、
   取得された前記広視野映像と生成された前記中視野映像とを蓄積する映像蓄積手段と、
   映像表示装置に映像を送信する映像送信手段と、
   前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作を特定する操作情報とを前記映像表示装置から取得する映像制御情報取得手段と、
   前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する映像制御手段と、
   を備え、
   前記映像送信手段が、前記映像制御手段で前記新たな映像が生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、前記映像制御手段で当該新たな映像が生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信することを特徴とする映像制御装置。
2. 前記操作情報が、前記操作により特定された領域の変倍を示す場合、
   前記映像制御手段が、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報で特定される領域を中心に変倍編集して、新たな映像を生成することを特徴とする請求項１に記載の映像制御装置。
3. 前記操作情報が、前記操作により特定された領域の変倍を示すとともに、当該領域の変倍率を含み、
   前記映像制御手段が、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報で特定される領域を中心に、当該映像制御情報取得手段で取得した変倍率に編集して、新たな映像を生成することを特徴とする請求項２に記載の映像制御装置。
4. 前記操作情報が、前記操作により特定された領域の変更を示す場合、
   前記映像制御手段が、前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像について、前記映像制御情報取得手段で取得した座標情報で特定される領域の映像を変更する編集をし、新たな映像を生成することを特徴とする請求項１から請求項３のいずれかに記載の映像制御装置。
5. 前記映像表示装置にて前記ユーザの操作が行われた映像に対応する中視野映像を前記映像蓄積手段から取得し、取得した中視野映像から前記映像制御情報取得手段で取得した座標情報で特定される領域の映像の特徴を検出する特徴検出手段と、
   前記特徴検出手段で検出された特徴と、前記映像制御情報取得手段で取得した操作情報とを記憶する制御情報記憶手段と、
   前記映像蓄積手段から前記映像送信手段に送られる中視野映像が、前記制御情報記憶手段に記憶されている特徴を含むか否かを判断する特徴有無判断手段と、
   を備え、
   前記映像制御手段が、前記映像蓄積手段から前記映像送信手段に送られる中視野映像が前記制御情報記憶手段に記憶されている特徴を含むと前記特徴有無判断手段で判断された場合に、当該中視野映像の当該特徴を含む領域と、当該特徴と対応付けて前記制御情報記憶手段に記憶されている操作情報に基づいて編集して、新たな映像を生成することを特徴とする請求項１から請求項４のいずれかに記載の映像制御装置。
6. 前記映像送信手段が、前記映像制御手段で生成された映像を、前記映像表示装置以外の他の映像表示装置に送信することを特徴とする請求項１から請求項５のいずれかに記載の映像制御装置。
7. 映像制御情報取得手段が、前記映像表示装置に表示された映像の再生方法を制御するためのユーザの操作に応じて、当該操作により指定された再生方法の特定する再生方法情報を前記映像表示装置から取得し、
   前記映像制御情報取得手段で取得した再生方法情報に基づいて、前記映像送信手段に前記映像制御手段から送られた新たな映像、または、前記映像送信手段に前記映像蓄積手段から送られた中視野映像の再生方法を制御する映像再生制御手段を備えることを特徴とする請求項１から請求項６のいずれかに記載の映像制御装置。
8. 前記映像送信手段が、映像表示装置および第２の映像表示装置に同一の映像を送信し、
   前記映像制御情報取得手段が、前記第２の映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作を特定する操作情報とを前第２の記映像表示装置から取得し、
   更に、前記映像送信手段が、
   前記映像送信手段に前記映像制御手段から送られた新たな映像を、前記映像表示装置または前記第２の映像表示装置の少なくとも一方に送信し、当該映像表示装置または当該第２の映像表示装置のうち当該新たな画像が送られなかった装置に、前記映像送信手段に前記映像蓄積手段から送られた中視野映像を送信することを特徴とする請求項１から請求項７のいずれかに記載の映像制御装置。
9. 前記映像は複数のフレームから構成され、
   前記映像制御情報取得手段が、前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報、および当該操作を特定する操作情報とともに、当該操作が行われたフレームを特定するフレーム情報を前記映像表示装置から取得し、
   前記映像制御手段が、前記映像制御情報取得手段で前記座標情報、前記操作情報、および前記フレーム情報を取得したことに応じて、取得したフレーム情報に基づいて前記映像蓄積手段から中視野映像を取得し、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成することを特徴とする請求項１から請求項８のいずれかに記載の映像制御装置。
10. 撮像装置によって撮影された広視野映像と、当該広視野映像の内側の所定領域からなる中視野映像とを当該撮像装置から取得し、蓄積する映像蓄積手段と、
    映像表示装置に映像を送信する映像送信手段と、
    前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作を特定する操作情報とを前記映像表示装置から取得する映像制御情報取得手段と、
    前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する映像制御手段と、
    を備え、
    前記映像送信手段が、前記映像制御手段で前記新たな映像が生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、前記映像制御手段で当該新たな映像が生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信することを特徴とする映像制御装置。
11. 映像表示装置から受信した映像を表示する表示手段と、
    ユーザが操作を入力する入力手段と、
    前記表示手段に表示された映像に対するユーザの操作が前記入力手段に入力されたことに応じて、当該操作により特定された領域の座標情報と、当該操作の内容を特定する操作情報とを受け付ける映像制御情報受付手段と、
    前記映像制御情報受付手段で取得した前記座標情報と前記操作情報とを映像制御装置に送信する送信手段と、
    を備え、
    前記表示手段は、前記送信手段から送信した前記座標情報と前記操作情報とに基づいて、前記映像制御装置で生成された新たな画像を表示することを特徴とする映像表示装置。
12. 映像制御装置と映像表示装置とからなる映像制御システムであって、
    前記映像表示装置が、
    前記映像制御装置から受信した映像を表示する表示手段と、
    ユーザが操作を入力する入力手段と、
    前記表示手段に表示された映像に対するユーザの操作が前記入力手段に入力されたことに応じて、当該操作により特定された領域の座標情報と、当該操作の内容を特定する操作情報とを受け付ける映像制御情報受付手段と、
    前記映像制御情報受付手段で取得した前記座標情報と前記操作情報とを前記映像制御装置に送信する送信手段と、
    を備え、
    前記映像制御装置が、
    撮像装置によって撮影された広視野映像を当該撮像装置から取得し、取得した広視野映像の内側の所定領域からなる中視野映像を生成する映像生成手段と、
    取得された前記広視野映像と生成された前記中視野映像とを蓄積する映像蓄積手段と、
    前記映像表示装置から前記座標情報および前記操作情報を取得する映像制御情報取得手段と、
    前記映像制御情報取得手段で前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する映像制御手段と、
    前記映像制御手段で前記新たな映像が生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、前記映像制御手段で当該新たな映像が生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信する映像送信手段と、
    を備えることを特徴とする映像制御システム。
13. 映像生成手段、映像蓄積手段、映像送信手段、映像制御情報取得手段、および映像制御手段を備える映像制御装置における映像制御方法であって、
    映像生成手段が、撮像装置によって撮影された広視野映像を当該撮像装置から取得し、取得した広視野映像の内側の所定領域からなる中視野映像を生成する第１のステップと、
    前記映像蓄積手段が、前記第１のステップで、取得された前記広視野映像と生成された前記中視野映像とを蓄積する第２のステップと、
    前記映像送信手段が、前記映像蓄積手段に蓄積された当該中視野映像を映像表示装置に送信する第３のステップと、
    前記映像制御情報取得手段が、前記映像表示装置に表示された映像に対するユーザの操作に応じて、当該操作により特定された領域の座標情報と、当該操作の内容を特定する操作情報とを前記映像表示装置から取得する第４のステップと、
    前記映像制御手段が、前記第４のステップで前記座標情報および前記操作情報を取得したことに応じて、前記映像蓄積手段から前記映像送信手段に送られる中視野映像を取得し、取得した中視野映像に対応する広視野映像を必要に応じて前記映像蓄積手段から用いて、当該中視野映像を当該座標情報および当該操作情報に基づいて編集して、新たな映像を生成する第５のステップと、
    前記映像送信手段が、前記第５のステップで前記新たな映像が生成された場合には、前記映像制御手段から送られた当該新たな映像を前記映像表示装置に送信し、当該第５のステップで前記新たな映像が生成されていない場合には、前記映像蓄積手段から送られた中視野映像を前記映像表示装置に送信する第６のステップと、
    を含むことを特徴とする映像制御方法。

Images