JP2020524450A - 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置 - Google Patents

Abstract

複数のカメラを介して、所定時間に渡り被写体を撮影するように制御し、複数のカメラに対応する多チャネル映像を、通信網を介して伝送するカメラ制御部、及びカメラ制御部から伝送された多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存し、ユーザ端末の要請により、グルーピングされた映像を、通信網を介して伝送する映像サーバを含む多チャネル映像のための伝送システムである。

Description

本発明は、多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置に係わる。

最近、大衆は、モバイルを利用した動画再生を好む。そのような好みに歩調を合わせ、企業は、放送プラットホーム、例えば、Ｖ−ａｐｐ、ＡｆｒｅｅｃａＴＶ、Ｙｏｕｔｕｂｅ Ｌｉｖｅをサービスしている。そのようなプラットホームを視聴する大衆は、１つの視点、すなわち、１つのカメラで撮影した映像を視聴している。しかし、最近、視聴者は、所望空間で撮影された映像を視聴することを願う。

現在、複数のカメラで１つの被写体を多様なチャネルで撮影して獲得した複数の映像を幾何学的に校正、合成し、多チャネルの映像をユーザに提供する映像サービスが公開されている。そのような多チャネル映像は、高画質の概念を超越する臨場感あふれる映像を提供し、これを介してユーザは、メディアに没入感をさらに感じることになり、広告、教育、医療、国防、娯楽などの分野において、映像情報伝達効果を大きく高めることができる。

従来の多チャネル映像においては、チャネル／時間スイッチングが、多チャネル映像制作時、既定の併合方式によって単純に再生される次元である。すなわち、従来には、複数台のカメラから複数個のフレームを獲得し、獲得したフレームのうち一部を選別した後、それらフレームを併合し、１つのチャネルスイッチング映像を制作した。そのようなチャネルスイッチング映像は、映像制作時、制作者が既定チャネルのフレームを単純併合したものであるので、当該映像ファイルを再生すれば、併合されたフレームが、単一のチャネル移動効果を示すチャネルスイッチング効果を出すものであった。そのような従来技術の多チャネル映像によれば、ユーザは、あらかじめ制作されたチャネルスイッチング効果を単純視聴することに過ぎず、視聴者が時刻スイッチングまたはチャネルスイッチングを手動で操作し、再生を、所望視点にチャネルを回しながら、映像を視聴することは不可能であった。

また、多様な空間において、映像撮影のために、多チャネル技法またはカメラ同期化技法、映像の補正方法及び伝送方法が必要である。

本実施形態は、多チャネル映像のための伝送システム及びその制御方法、そのための多チャネル映像再生方法及びその装置を提供することを目的とする。

一実施形態による、多チャネル映像のための伝送システムは、複数のカメラを介して、所定時間に渡り被写体を撮影するように制御し、前記複数のカメラに対応する多チャネル映像を、通信網を介して伝送するカメラ制御部と、前記カメラ制御部から伝送された前記多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存し、前記ユーザ端末の要請により、前記保存されたグルーピングされた映像を、前記通信網を介して伝送する映像サーバと、を含む。

他の実施形態による、多チャネル映像のための伝送システムの制御方法は、複数のカメラを介して、所定時間に渡り被写体を撮影するように制御する段階と、前記複数のカメラに対応する多チャネル映像を、通信網を介して伝送する段階と、前記カメラ制御部から伝送された前記多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存する段階と、前記ユーザ端末の要請により、前記保存されたグルーピングされた映像を、前記通信網を介して伝送する段階と、を含む。

さらに他の実施形態による、多チャネル映像の再生のための再生装置において、多チャネル映像が保存されたメモリと、前記多チャネル映像に相応する第１チャネルないし第Ｍチャネルのうち所定のチャネルでイベント要請を受信し、前記多チャネル映像に対し、前記第１チャネルから順次にデコーディングを行い、前記イベントが発生したチャネルから前記イベントの発生方向に、前記デコーディングされた映像に対してレンダリングを行い、前記レンダリングされた映像を再生するように制御するプロセッサと、を含んでもよい。

さらに他の実施形態による、多チャネル映像をユーザ端末で再生するための多チャネル映像再生方法は、サーバから、前記多チャネル映像を受信する段階と、受信された多チャネル映像においてあらかじめ設定された特定視点で、前記多チャネル映像を再生する段階と、ユーザから、チャネル制御イベント、時間制御イベント、チャネル及び時間制御イベント、画面拡大（zoom−in）イベント、客体追跡（object tracking）、微細倍速、並びに区間反復のうち少なくとも１つのイベントを受信する段階と、前記イベントにより、前記多チャネル映像のチャネルまたは時間を移動させながら、前記多チャネル映像を再生する段階と、を含む。

さらに他の実施形態による、多チャネル映像をユーザ端末で再生するための多チャネル映像再生方法は、サーバにストリーミング要請信号を伝送する段階と、複数の単チャネル映像、及び複数のチャネルスイッチング映像のうち１つの映像を、前記サーバから選択的に受信する段階と、ユーザ端末から再生要請信号を受信するとき、受信された単チャネル映像またはチャネルスイッチング映像を再生する段階と、を含み、前記チャネル映像及びチャネルスイッチング映像のうちサーバですでに定められた映像を受信するか、あるいは、前記サーバにストリーミング要請信号を伝送する段階において、ユーザ端末が選択した映像を受信することを特徴とする。

本実施形態による、多チャネル映像のための伝送システムは、時間の流れによる空間移動時、多チャネル映像のデータ伝送の利便性を高め、処理速度を低減させることができる。

一実施形態による、多チャネル映像のための伝送システム１００の概略図である。 多チャネル映像を生成する例示図である。 他の実施形態による、多チャネル映像のための伝送システムの制御方法について説明するためのフローチャートである。 図１に図示されたカメラ制御部１１０の概略図である。 図１に図示された映像サーバ２００の概略図である。 さらに他の実施形態による、多チャネル映像をグループピングすることについて説明するための例示図である。 さらに他の実施形態による、多チャネル映像をグループピングすることについて説明するための例示図である。 さらに他の実施形態による、多チャネル映像をグループピングすることについて説明するための例示図である。 さらに他の実施形態による、多チャネル映像をグループピングすることについて説明するための例示図である。 さらに他の実施形態による、イベント発生によるデコーディング方法及びレンダリング方法について説明するための例示図である。 さらに他の実施形態による、イベント発生によるデコーディング方法及びレンダリング方法について説明するための例示図である。 さらに他の実施形態による、リアルタイムストリーミングを具現するための映像サーバ２００とユーザ端末１５０との間の信号流れ図である。 さらに他の実施形態による、多チャネル映像生成方法を図示したフローチャートである。 複数台のカメラで受信された各映像をフレームに並べて概念的に示した図面である。 複数の映像をエンコーディングして生成された複数の単チャネル映像を概念的に示した図面である。 複数の単チャネル映像を合成して生成した１つの多チャネル映像を概念的に示した図面である。 さらに他の実施形態による多チャネル映像再生方法を図示したフローチャートである。 さらに他の実施形態による多チャネル映像生成方法を図示したフローチャートである。 複数の映像をエンコーディングして生成された複数の単チャネル映像を概念的に示した図面である。 チャネルスイッチング映像を概念的に示した図面である。 さらに他の実施形態による多チャネル映像再生方法を図示したフローチャートである。 さらに他の実施形態による、多チャネル映像の再生シナリオを図示した概念図である。 さらに他の実施形態による、多チャネル映像の他の再生シナリオを図示した概念図である。

本実施形態で使用される用語は、本実施形態での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、当技術分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。特定の場合は、任意に選定された用語もあり、その場合、当該実施形態の説明部分において、詳細にその意味を記載する。従って、本実施形態で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本実施形態の全般にわたる内容とを基に定義されなければならない。

本実施形態に係わる説明において、ある部分が他の部分と連結されているとするとき、それは、直接に連結されている場合だけではなく、その中間に、他の構成要素を挟んで電気的に連結されている場合も含む。また、ある部分がある構成要素を含むとするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、本実施形態に記載された「…部」の用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによっても具現され、ハードウェアとソフトウェアとの結合によっても具現される。

本実施形態で使用される「構成される」または「含む」というような用語は、明細書上に記載されたさまざまな構成要素、またはさまざまな段階を必ずしもいずれも含むものであると解釈されるものではなく、そのうち一部構成要素または一部段階は、含まれず、または追加的な構成要素または段階をさらに含んでもよいとも解釈されなければならない。

下記実施形態に係わる説明は、権利範囲を制限するものと解釈されるものではなく、当該技術分野の当業者が容易に類推することができるところは、本実施形態の権利範囲に属するものであると解釈されなければならないのである。以下、添付された図面を参照し、ただ例示のための実施形態について詳細に説明する。

図１は、一実施形態による、多チャネル映像のための伝送システム１００の概略図である。

図１を参照すれば、伝送システム１００は、複数のカメラ１１１ないし１１３、複数のカメラ１１１ないし１１３を制御し、複数のカメラ１１１ないし１１３から撮影された多チャネル映像を処理して伝送するカメラ制御部１１０、カメラ制御部１１０から伝送された多チャネル映像を処理して保存する映像サーバ２００を含む。映像サーバ２００は、ユーザ端末１５０から多チャネル映像に対する要請、スイッチング映像に対する要請、特定イベントに対する要請を受信し、保存された多チャネル映像をユーザ端末１５０に伝送する。ここで、ユーザ端末１５０は、ＴＶ（television）、携帯電話、スマートフォン（smart phone）、ノート型パソコン（laptop computer）、タブレットＰＣ（personal computer）、電子ブック端末機、デジタル放送用端末機、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、ナビゲーション、ＭＰ３プレーヤ、デジタルカメラなどを含んでもよいが、それらに限定されるものではない。
映像サーバ２００は、映像処理装置１３０及び映像保存部１４０を含んでもよい。

図２に図示されているように、特定被写体を撮影するために、複数のカメラ１ないしカメラＮが配置されもする。被写体の周囲にアレイに配列された複数のカメラで、被写体を多角度で撮影した複数の映像を受信する。複数のカメラ配列方法は、例えば、任意のカメラを基準に、Ｎ個のカメラを実質的に同一平面上に一列に配置するものでもある。その場合、被写体を基準に、一定距離離隔された円周上に、Ｎ台のカメラを順次に配置することもでき、中央に配置されたカメラを基準に、両側に配置された２台のカメラと被写体との距離を一致させ、残りのカメラは、被写体との距離を異なるようにすることもできる。また、被写体は、固定された被写体でもあり、動く被写体でもある。

複数のカメラ１ないしカメラＮと、カメラ制御部１１０は、有線または無線で通信することができ、複数のカメラ１ないしカメラＮを制御するための複数のカメラ制御部を具備することもできる。

カメラ制御部１１０は、複数のカメラ１ないしカメラＮを同期化する同期化信号を介して、複数のカメラ１ないしカメラＮを制御することができる。カメラ制御部１１０は、複数のカメラ１ないしカメラＮから撮影された映像を臨時保存し、コーデック変更を介して撮影された映像の大きさを縮め、迅速な伝送を可能にする。カメラ制御部１１０の具体的な構成については、図４を参照して説明する。

カメラ制御部１１０は、カメラ駆動制御部１１１、映像変換部１１２及び伝送部１１３を含んでもよい。

カメラ駆動制御部１１１は、カメラの同期化及び撮影を制御する。

映像変換部１１２は、複数のカメラ１ないしカメラＮから生成された映像を、通信網１２０を介して、迅速な伝送が容易であるように、コーデック変更を介して映像サイズを縮める。また、撮影現場に適したり、有線または無線の伝送に適したりするデータ伝送方式を決定することもできる。

伝送部１１３は、変換された映像を、通信網１２０を介して映像サーバ２００に伝送する。

映像サーバ２００は、カメラ制御部１１０から伝送された多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存し、ユーザ端末１５０の要請により、保存されたグルーピングされた映像を、通信網を介して伝送する。映像サーバ２００の具体的な構成は、図５Ａないし図５Ｄを参照して説明する。

図５Ａを参照すれば、映像サーバ２００は、映像処理装置１１０及び映像保存部１４０を含む。映像処理装置１１０は、映像処理部１３１、映像変換部１３２及び伝送部１３３を含む。

映像処理部１３１は、カメラ制御部１１０から伝送された多チャネル映像、すなわち、複数のカメラで撮影された映像に対して、映像補正を行う。例えば、複数のカメラで撮影された映像が焦点が合わないこともあるので、カメラ間の焦点が同一であるように、映像処理を行う。映像処理部１３１は、伝送された多チャネル映像を補正する。Ｎ台のカメラ配列の幾何学的誤差は、多チャネル映像を再生する過程において、視覚的なブレとして示されるので、それを除去するために、各映像の寸法、サイズ、勾配、及び中心位置のうち少なくとも一つを補正することができる。

映像変換部１３２は、多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングする。映像変換部１３２は、さまざまな空間を一つにまとめてグルーピングする。グルーピングする方法は、多様な基準によっても遂行されるが、図６ないし図９を参照して説明する。本実施形態による伝送システムは、ユーザ端末１５０に、効果的な多チャネル映像ないしスイッチング映像を伝送するために、全ての映像データを伝送し、データ浪費を与えず、グルーピングされた映像を伝送することにより、ユーザに必要なデータのみを伝送することを可能にする。映像変換部１３２は、ｔ時間のイベントを中心に、±ｙ（ｙは、自然数）時間別チャネル映像をまとめてグルーピングすることもできる。例えば、チャネル１において、ｔ３でイベントが発生した場合でもある。ここで、該イベントは、既定である場合、例えば、野球競技でのホームラン場面またはアウト場面であったり、ユーザの要請によるイベントであったり、ユーザが希望したりする場合でもある。

図６ないし図９は、他の実施形態による、多チャネル映像をグループピングすることについて説明するための例示図である。

図６を参照すれば、横軸が時間であり、縦軸は、カメラまたはチャネルを示し、それぞれの当該時間及びチャネルで生成された映像のフレームを示す。図６は、グルーピングの基本方式として、時間別にチャネル映像を一つにまとめる方式である。図６に図示されているように、ｔ１に撮影されたチャネル１ないしチャネル５の映像を一つにグルーピングし、グルーピングされた映像６００を生成する。類似して、ｔ２に撮影されたチャネル１ないしチャネル５の映像を一つにグルーピングし、グルーピングされた映像６１０を生成する。そのような方式で、時間別にグルーピングすることができ、例えば、図２に図示されているようにカメラが配置された場合、ユーザ端末１５０は、同一時間に被写体を取り囲んだ全ての方向で撮影された映像を確認することができる。図６を参照し、時間別にチャネル映像をまとめる方式について説明したが、チャネル別に伝送することも可能であるということは言うまでもない。また、図６に図示されているように、カメラ順に、すなわち、第１チャネルないし第５チャネルの順序でグルーピングすることができるが、図７に図示されているように、反対順序、すなわち、第５チャネルないし第１チャネルの順序でグルーピングすることも可能である。

図８及び図９を参照すれば、時間別及びチャネル別の組み合わせによってグルーピングすることが図示されている。図８に図示されているように、降順に、ｔ１に撮影された第１チャネル映像と、ｔ２に撮影された第２チャネル映像と、ｔ３に撮影された第３チャネル映像と、ｔ４に撮影された第４チャネル映像と、ｔ５に撮影された第５チャネル映像とを一つにグルーピングし、グルーピングされた映像８００を生成する。類似して、ｔ２に撮影された第１チャネル映像、ｔ３に撮影された第２チャネル映像、ｔ４に撮影された第３チャネル映像、ｔ５で撮影された第４チャネル映像、ｔ６で撮影された第５チャネル映像を一つにグルーピングし、グルーピングされた映像８１０を生成する。類似して、図９に図示されているように、昇順に、ｔ１に撮影された第５チャネル映像と、ｔ２に撮影された第４チャネル映像と、ｔ３に撮影された第３チャネル映像と、ｔ４に撮影された第２チャネル映像と、ｔ５に撮影された第１チャネル映像とを一つにグルーピングし、グルーピングされた映像９００を生成することもできる。

図８及び図９に図示されているように、時間別及びチャネル別を混合した映像をグルーピングすることについて説明したが、それに限定されるものではなく、多様な方式でグルーピングが可能であるということは言うまでもない。

再び図５Ａを参照すれば、映像変換部１３２で変換されたグルーピングされた映像を、映像保存部１４０に保存する。ユーザ端末１５０の要請がある場合、映像処理装置１３０が映像保存部１４０に保存された映像を抽出し、伝送部１３３を介してユーザ端末１５０に伝送する。

図５Ｂを参照すれば、映像サーバ１３０は、映像処理部１３１、映像変換部１３２、伝送部１３３を含み、伝送部１３３は、メッセージハンドラ１３３−１、ストリーマ１３３−２、チャネルマネージャ１３３−３をさらに含んでもよい。伝送部１３３は、ストリーミング装置でもあり、映像サーバ１３０内に含まれていると説明するが、映像サーバ１３０と分離され、別途の装置として具現することができるということは言うまでもない。図５Ａと同一部分に係わる説明は、省略し、差異について主に説明する。

伝送部１３３は、処理された映像、または保存された映像をリアルタイムで伝送する。例えば、リアルタイムストリーミングのための装置でもある。

メッセージハンドラ１３３−１は、ユーザ端末とのセッション管理、プロトコル管理を行う。

ストリーマ１３３−２は、映像をユーザ端末に伝送するが、ユーザ端末に伝送することができる映像の集合である。

チャネルマネージャ１３３−３は、ユーザ端末の信号を受け、映像をＧＯＰ（group of picture）単位でスケジューリングした後、ストリーマ１３３−２に伝達する。

図５Ｃに図示されているように、ユーザ端末から、特別な要請、例えば、チャネル変更要請、チャネル移動要請がない場合、チャネルマネージャ１３３−３は、ストリーマ１３３−２に、それぞれのＧＯＰ単位でスケジューリングされた映像を伝達する。図５Ｃに図示されているように、チャネル５、すなわち、カメラ５で撮影された映像、ＧＯＰ１ないしＧＯＰＮの順序でスケジューリングし、ストリーマ１３３−２に伝達する。ストリーマ１３３−２は、チャネルマネージャ１３３−３のスケジューリングにより、ＧＯＰ映像を集めてユーザ端末に伝送する。

図５Ｄに図示されているように、ユーザ端末からチャネル移動要請が受信された場合、チャネルマネージャ１３３−３は、チャネル５、すなわち、カメラ５で撮影された映像のうちＧＯＰ１ないしＧＯＰ３と、チャネル４のＧＯＰ４、チャネル３のＧＯＰ５、チャネル２のＧＯＰ６、チャネル７のＧＯＰ７の順序でスケジューリングし、ストリーマ１３３−２に伝達する。ストリーマ１３３−２は、チャネルマネージャ１３３−３のスケジューリングにより、ＧＯＰ映像を集めてユーザ端末に伝送する。

図３は、他の実施形態による、多チャネル映像のための伝送システムの制御方法について説明するためのフローチャートである。

図３を参照すれば、段階３００において、複数のカメラを介して、所定時間に渡り被写体を撮影するように制御する。

段階３０２において、複数のカメラに対応する多チャネル映像を、通信網を介して伝送する。

段階３０４において、カメラ制御部から伝送された多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存する。時間別にグルーピングし、グルーピングされた映像を保存するか、チャネル別にグルーピングし、グルーピングされた映像を保存するか、あるいは時間別及びチャネル別を組み合わせてグルーピングされた映像を保存することができる。

段階３０６で、ユーザ端末の要請により、保存されたグルーピングされた映像を、通信網を介して伝送する。ここで、該通信網は、有線または無線でもあり、段階３０２で言及された通信網と同一であっても異なっていてもよい。

図１０及び図１１は、さらに他の実施形態による、イベント発生によるデコーディング方法及びレンダリング方法について説明するための例示図である。

本実施形態による映像サーバ２００は、イベント発生により、多チャネル映像をデコーディング及びレンダリングし、ユーザ端末１５０に伝送するか、あるいは映像サーバ２００は、多チャネル映像、またはグルーピングされた映像をユーザ端末１５０に伝送し、ユーザ端末１５０において、伝送された多チャネル、またはグルーピングされた映像を再生している最中、ユーザ要請によるイベント発生により、圧縮されて伝送された映像をデコーディング及びレンダリングすることができる。その場合、リアルタイム映像再生のために、迅速な映像チャネル変換が必要であるので、次のように、デコーディング及びレンダリングを行う。

図１０を参照すれば、カメラ１ないし１０の多チャネル映像が存在する場合、カメラ２に該当する映像において、イベントが右側に発生した場合である。例えば、ユーザ端末１５０において、ユーザがカメラ２で撮影された映像から、カメラ１０で撮影された映像を再生しようとする場合でもある。その場合、圧縮された多チャネル映像に対して、デコーディングは、カメラ１からカメラ２に行い、臨時メモリまたはバッファにデコーディングされた映像を保存し、その後カメラ２からレンダリングを始める。

図１１を参照すれば、カメラ１ないし１０の多チャネル映像が存在する場合、カメラ７に該当する映像において、イベントが左側に発生した場合である。例えば、ユーザ端末１５０において、ユーザがカメラ７で撮影された映像から、カメラ１で撮影された映像を再生しようとする場合でもある。その場合、圧縮された多チャネル映像に対して、デコーディングは、カメラ１からカメラ７に行い、臨時メモリまたはバッファにデコーディングされた映像を保存し、その後、カメラ７からカメラ１にレンダリングを始める。

図１２は、さらに他の実施形態による、リアルタイムストリーミングを具現するための映像サーバ２００とユーザ端末１５０との間の信号フローチャートである。

図１２を参照すれば、ユーザ端末１５０から映像サーバ２００への連結要請により、映像サーバ２００で要請を受け入れ、セッションを割り当てる。ユーザ端末１５０からの認証要請により、デバイスＩＤを割り当て、認証要請に応答すれば、ユーザ端末１５０において、認証またはデバイスＩＤプロトコルセッションが開始される。

ユーザ端末１５０において、ストリーミングセッションのために、連結要請を行えば、映像サーバ２００で要請を受け入れ、ストリームを割り当てる。ユーザ端末１５０において認証要請を行えば、映像サーバ２００で認証要請に応答する。ユーザ端末１５０で認証またはデバイスＩＤを利用してストリーミングセッションが開始される。

ユーザ端末１５０において、プロトコルセッションをAlive状態に維持するために、所定の時間、例えば、１秒に１回ずつ、Alive維持要請を映像サーバ２００に伝送する。映像サーバ２００は、そのような要請に対して応答し、セッションを管理する。従って、映像サーバ２００とユーザ端末１５０との間で、接続状態またはイベント状態が維持される。

図１３は、さらに他の実施形態による多チャネル映像生成方法を図示したフローチャートである。該多チャネル映像生成方法は、被写体の周囲にアレイに配列された複数のカメラで、被写体を多角度で撮影した複数の映像を受信する段階（１３００）、受信された複数の映像それぞれを補正する段階（１３０２）、補正された前記複数の映像それぞれを映像圧縮標準でエンコーディングし、複数の単チャネル映像を生成する段階（１３０４）、及び複数の単チャネル映像を合成（muxing）し、１つの多チャネル映像を生成する段階（１３０６）を含む。

まず、段階１３００においては、被写体の周囲にアレイに配列された複数のカメラで、被写体を多角度で撮影した複数の映像を受信する。複数のカメラ配列方法は、例えば、任意のカメラを基準に、ｎ台のカメラを実質的に同一平面上に一列に配置することでもある。その場合、被写体を基準に、一定距離離隔された円周上にｎ台のカメラを順次に配置することもでき、中央に配置されたカメラを基準に、両側に配置された２台のカメラと被写体との距離を一致させ、残りのカメラは、被写体との距離を異なるようにすることもできる。図３は、複数台のカメラで受信された各映像をフレームに並べて概念的に示した図面である。ｎ台のカメラが同一被写体を多角度で撮影し、各カメラにおいては、特定チャネル（特定視点）であらかじめ設定された時間（time）の間の映像を獲得し、サーバは、獲得したｎ個の映像を受信する。本実施形態においては、被写体を特別に限定するものではないが、例えば、野球競技場の打席を被写体として設定した場合、ターゲットに係わるｎ個の角度別映像がサーバに受信される。

次に、段階１３０２においては、受信された複数の映像それぞれを補正する。ｎ台のカメラ配列の幾何学的誤差は、多チャネル映像を再生する過程において、視覚的なブレとして示されるので、それを除去するために、各映像の寸法（サイズ）、勾配、及び中心位置のうち少なくとも一つを補正する。補正された各映像は、コンテナとして、例えば、ＭＰ４またはＴＳにも生成される。

一般的に、映像ストリームは、３種類タイプのフレーム（frames）によって構成される。３種類タイプのフレームとは、画面内映像（Ｉフレーム：intra frame）、予測映像（Ｐフレーム：predictive frame）及び双方向予測映像（Ｂフレーム：bi-directionally predictive frame）である。Ｉフレームは、動きベクトル推定／補償を利用せず、単にそのフレームのみをＤＣＴして符号化し、Ｐフレームは、Ｉフレーム、または他のＰフレームを参照しながら、動き推定／補償を行った後、残り差分のデータをＤＣＴして符号化し、Ｂフレームは、Ｐフレームのように、動き補償を使用するが、時間軸上にある２つのフレームから、動き推定／補償を行う。映像ストリームにおいてシーケンスは、ＧＯＰと呼ばれるセグメントによって定義され、Ｉ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ…のようになる構造において、Ｉフレームから次のＩフレームまでをＧＯＰと称する。一般的に、ＧＯＰは、意図された速度でディスプレイされる場合、あらかじめ設定された時間（例えば、０．５秒）の持続時間（duration）を有する１セットの映像によって構成される。図３に図示されているように、前述の補正された映像それぞれは、１つのＩフレームと、単数または複数のＢフレーム、及び単数または複数のＰフレームの組み合わせによって構成されたＧＯＰの集合である。補正された各映像には、１つのＩフレームと、少なくとも１以上のＰフレームまたはＢフレームが含まれている。

次に、段階１３０４においては、ソフトウェアを使用して補正された複数の映像それぞれを、映像圧縮標準でエンコーディングし、複数個（ｎ個）の単チャネル映像を生成する。そのとき、映像圧縮標準は、ＭＪＰＥＧまたはＨ．２６４コーデックであることが望ましい。

図１５は、複数の映像をエンコーディングして生成された複数の単チャネル映像を概念的に示した図面である。そのとき、前述のように、段階１３０４を経て生成された前述の単チャネル映像は、複数のＩフレームによって構成される。

さらに具体的に説明すれば、ＭＪＰＥＧは、映像をフレーム単位で圧縮するイメージ圧縮方式であり、各フレームをＪＰＥＧで圧縮し、ＪＰＥＧフレーム間に時間情報を入れて並べた動画ストリームの一種である。ＭＪＰＥＧコーデックによってエンコーディングされる以前の補正された映像は、例えば、ＭＰ４コンテナまたはＴＳコンテナに存在し、当該映像においては、図１４に図示されているように、１つのＩフレームと、少なくとも１以上のＰフレームまたはＢフレームとが含まれている。それに反し、映像圧縮標準、すなわち、ＭＪＰＥＧコーデックによってエンコーディングされた単チャネル映像は、フレーム別にイメージ圧縮がなされるために、各フレームが１つの完全なイメージを整えたものである。言い換えれば、前述の単チャネル映像は、映像内の全てのフレームがＩフレームからなる、ＧＯＰの大きさが１である映像である。段階１３０４において、複数の映像それぞれをＭＪＰＥＧコーデックによってエンコーディングすることにより、実質的にＧＯＰサイズを１に変換する作業を遂行するのである。

映像を、ＭＪＰＥＧコーデックによってエンコーディングすれば、フレーム単位の圧縮により、容量はさらに大きくなるが、ＧＯＰ単位で圧縮することにより、以前のフレーム情報があってこそ、映像をデコーディングすることができる映像コーデックと異なり、フレーム単位で圧縮されるので、リアルタイムアクセス時、さらに迅速なデコーディングが可能であるという利点がある。それぞれの映像を、Ｈ．２６４コーデックによってエンコーディングする場合にも、単チャネル映像のＧＯＰサイズを実質的に１に変換するものであり、前述のＭＪＰＥＧと同一である。

映像再生中、再生時刻を先後に動かしたり、チャネル（すなわち、視点）を回す操作を行うとき、実質的には、特定ターゲットフレームにスイッチングするものであるが、もし映像のＧＯＰが１ではない、すなわち、Ｉフレーム以外のＢフレームまたはＰフレームが含まれた映像であるならば、ユーザが指定した特定フレームを探し出し、完全な映像の再生において、処理が即座的なものではなく、時間遅滞が発生する。例えば、ターゲットフレームがＢフレームやＰフレームである場合には、その直前のＩフレームを探し出し、イメージをターゲットフレームまで連結しなければならず、その過程において、時間遅滞が発生するのである。もし複数の映像を、それぞれＭＪＰＥＧコーデックまたはＨ．２６４コーデックによってエンコーディングする過程なしに、そのまま合成するならば、合成された映像も、ＧＯＰが１ではないために、時刻スイッチングまたはチャネルスイッチングのイベント発生時、前述の時間遅滞が発生し、再生が切られて、イベント発生時ごとに、映像再生が遅滞される問題が続けて発生する。本実施形態においては、段階１３０４において、ＧＯＰサイズが１ではない映像それぞれを、ＭＪＰＥＧコーデックまたはＨ．２６４コーデックによってエンコーディングすることにより、実質的にＧＯＰサイズを１に変換する作業を遂行する。

次に、段階１３０６においては、複数の単チャネル映像を合成し、１つの多チャネル映像を生成する。図１６は、複数の単チャネル映像を合成して生成した１つの多チャネル映像を概念的に示した図面である。複数の単チャネル映像が合成され、１つのメディアファイルに再生成された多チャネル映像は、コンテナとして、例えば、ＭＰ４またはＴＳに生成され、段階１３０６においては、複数の単チャネル映像を合成し、複数のＩフレームによって構成された単一の多チャネル映像を生成するものである。

図１７は、さらに他の実施形態による多チャネル映像再生方法を図示したフローチャートである。多チャネル映像再生方法は、図１３によって生成された多チャネル映像をユーザ端末で再生するための多チャネル映像再生方法である。ここで、ユーザ端末は、ＴＶ、ＰＣ、携帯電話、スマートフォン、ノート型パソコン、タブレットＰＣ、電子ブック端末機、デジタル放送用端末機、ＰＤＡ、ＰＭＰ、ナビゲーション、ＭＰ３プレイヤ、デジタルカメラなどでもあるが、それらに限定されるものではない。

具体的には、多チャネル映像再生方法は、サーバから前述の多チャネル映像を受信する段階（１７００）、ユーザの再生要請信号を受信すれば、受信された多チャネル映像のあらかじめ設定された特定視点で多チャネル映像を再生する段階（１７０２）、ユーザから、チャネル制御イベント、時間制御イベント、チャネル及び時間制御イベント、並びに画面拡大（zoom−in）イベントのうち少なくとも１つのイベントを受信する段階（１７０４）、イベントによって多チャネル映像のチャネルまたは時間を移動させたり、画面を拡大させたりしながら、多チャネル映像を再生する段階（１７０８）、及びユーザの制御イベント終了時、ユーザの再生要請シンホルを受信すれば、当該制御イベントの終了時の視点で、多チャネル映像を続けて再生する段階（１７０８）を含む。

まず、段階１７００においては、サーバから多チャネル映像を受信する。該多チャネル映像は、被写体を多様な角度で一定時間の間撮影した映像を併合したものであり、時間情報と共に、チャネル情報（視点情報）を有する。

次に、段階１７０２においては、ユーザの再生要請信号を受信すれば、受信された多チャネル映像のあらかじめ設定された特定視点において、当該多チャネル映像をユーザの端末で再生する。ユーザ端末においては、例えば、４番目カメラの視点で、多チャネル映像が再生され、チャネルは、ユーザが再生プログラムにあらかじめ設定しておくことができ、再生前に手動で選択することもできる。

次に、段階１７０４においては、ユーザから、チャネル制御イベント、時間制御イベント、チャネル及び時間制御イベント、画面拡大イベント、客体追跡再生イベント、一フレームずつ移動再生を含む微細倍速、区間反復機能、リアルタイム映像録画、及びタイムマシン機能のうち少なくとも１つのイベントを受信する。ここで、前述のイベント以外に、動画再生の多様な機能イベントなどをさらに含んでもよいということは言うまでもない。前述のユーザ端末は、表示機能と入力機能とをいずれも遂行することができ、多様なタッチ方式のユーザインターフェースが搭載されたタッチスクリーンを具備した端末機にもなる。前述の制御イベントは、ユーザ端末の表示部に対するユーザのタッチ操作によっても生成され、チャネル制御イベントは、表示部上において、第１方向に沿う連続したタッチ操作によって生成され、時間制御イベントは、表示部上の第２方向に沿う連続したタッチ操作によって生成され、チャネル及び時間制御イベントは、表示部上の第３方向に沿う連続したタッチ操作によっても生成される。例えば、ユーザの指や、別途のタッチ入力手段を利用し、表示部である液晶画面を左右方向にドラッグすれば、時間を移動させることができ、上下方向にドラッグすれば、チャネルを移動させることができ、対角線方向にドラッグすれば、時間とチャネルとを同時に移動させるように設定される。また、画面拡大イベントは、表示部の画面上において、拡大しようとする領域の２ポイント以上に手を当てて拡大するか、あるいは表示部上の拡大アイコンをタッチ操作して制御することができる。タッチ操作に印加するとき、初期認識位置及び最終認識位置、並びにその間のドラッグ入力を認識する方式は、公知のタッチインターフェース入力認識技術を採用する。

次に、段階１７０６においては、そのようなイベントにより、多チャネル映像のチャネルまたは時間を移動させながら、多チャネル映像を再生する。具体的には、特定チャネルにおいて、多チャネル映像が再生中であるとき、ユーザから第１方向に沿って連続したタッチ操作が印加されれば（すなわち、チャネル制御イベントが認識されれば）、時間がｔ１に固定されたまま、チャネルだけスイッチング移動するように、フレームが再生される。例えば、多チャネル映像が、４番目カメラの視点で再生され、第１方向が上下方向であると仮定するとき、ユーザから、上方ドラッグ入力が認識されれば、制御イベント入力時の時間ｔ１に固定されたまま、５番、６番、７番のカメラ方向にチャネルがスイッチングされながら再生される。反対に、ユーザから、下方ドラッグ入力が認識されれば、制御イベント入力時の時間ｔ１に固定されたまま、３番、２番、１番のカメラ方向にチャネルがスイッチングされながら再生される。また、上方ドラッグ入力から下方ドラッグ入力に操作方向が転換されれば、当該時間ｔ１において、チャネルだけ逆にスイッチングされる。また、特定視点において多チャネル映像が再生中であるとき、ユーザから第２方向に沿って連続したタッチ操作が印加されれば（すなわち、時間制御イベントが認識されれば）、視点が特定チャネルに固定されたまま、時間だけスイッチング移動するようにフレームが再生される。例えば、多チャネル映像が４番目カメラの視点で再生され、第２方向が左右方向であると仮定するとき、ユーザから、左側方向ドラッグ入力が認識されれば、チャネルが固定されたまま、時間が以前にスイッチングされながら再生される。

次に、段階１７０８において、ユーザの制御イベントが終了するとき、ユーザの再生要請信号を受信すれば、当該制御イベントの終了時の視点において、多チャネル映像を続けて再生する。制御イベント終了信号は、ユーザから連続したタッチ入力がそれ以上端末機で認識されない信号、例えば、一定時間の間、ユーザ入力がない場合を終了信号として認識することができる。そのような多チャネル映像再生方法によれば、多チャネル映像を、ユーザの操作により、再生視点や再生時間を手動によって動かしながら、視聴自在にユーザ便宜性を高めることができる。

図１８は、さらに他の実施形態による多チャネル映像生成方法を図示したフローチャートである。該多チャネル映像生成方法は、被写体の周囲にアレイに配列された複数のカメラで、被写体を多角度で撮影した複数の映像を受信する段階（１８００）、受信された複数の映像それぞれを補正する段階（１８０２）、補正された複数の映像それぞれを映像圧縮標準でエンコーディングし、複数の単チャネル映像を生成する段階（１８０４）、及び補正された複数の映像について、特定時間でのフレームを抽出し、抽出されたフレームによって構成されたチャネルスイッチング映像を生成する段階（１８０６）を含む。

段階１８００ないし１８０４、は図１３に図示された多チャネル映像生成方法と実質的に同一であるので、詳細な説明は、省略する。ただし、前記段階１８０４においては、複数の映像それぞれを映像圧縮標準でエンコーディングし、複数の単チャネル映像を生成するが、単チャネル映像は、必要によっては、ＧＯＰサイズが１になるようにも制作される。すなわち、ＧＯＰサイズが１ではない映像それぞれを、映像圧縮標準でエンコーディングすることにより、実質的に単チャネル映像のＧＯＰサイズを１に変換する作業を遂行する。そのとき、映像圧縮標準は、ＭＪＰＥＧまたはＨ．２６４であることが望ましい。エンコーディングされる以前の映像は、例えば、ＭＰ４コンテナまたはＴＳコンテナに存在し、当該映像においては、１つのＩフレームと、少なくとも１以上のＰフレームまたはＢフレームとが含まれている。それに反し、ＭＪＰＥＧコーデックまたはＨ．２６４コーデックによってエンコーディングされた単チャネル映像は、フレーム別にイメージ圧縮がなされるために、各フレームが１つの完全なイメージを備えたものである。言い換えれば、単チャネル映像は、図２０に図示されているように、映像内の全てのフレームがＩフレームからなる、ＧＯＰサイズが１である映像によっても生成される。

次に、段階１８０６においては、ソフトウェアを使用し、補正された複数の映像について、特定時刻でのフレームを抽出し、抽出されたフレームによって構成されたチャネルスイッチング映像を生成する。図２０は、チャネルスイッチング映像を概念的に示した図面である。さらに具体的には、まず、各時間でのフレームを抽出して映像処理し、時間が同一であるが、チャネルが移動する映像を複数個獲得する。

そのような段階を遂行することにより、サーバには、各カメラで撮影した視点が固定された複数の単チャネル映像と、特定の時間で停止するが、チャネルだけ移動するチャネルスイッチング映像が各時間ｔ別に設けられている。

そのとき、チャネルスイッチング映像は、ＧＯＰ値が１になるようにも制作される。その方案として、例えば、各カメラで獲得した映像の全てのフレームを、Ｉフレーム映像に変換し、それぞれの時間ｔで獲得されたＩフレームにおいて、チャネルスイッチング映像を生成することができる。または、チャネルスイッチング映像を生成した後、当該チャネルスイッチング映像を、映像圧縮標準でエンコーディングし、複数のチャネルスイッチング映像を生成することもできる。すなわち、ＧＯＰサイズが１ではないチャネルスイッチング映像を、映像圧縮標準でエンコーディングすることにより、実質的に、チャネルスイッチング映像のＧＯＰサイズを１に変換する作業を遂行するのである。そのとき、映像圧縮標準は、ＭＪＰＥＧまたはＨ．２６４であることが望ましい。

図２１は、さらに他の実施形態による多チャネル映像再生方法を図示したフローチャートである。多チャネル映像再生方法は、前述の方法によって生成された多チャネル映像を、ユーザ端末で再生するための多チャネル映像再生方法である。

具体的には、サーバにストリーミング要請信号を伝送する段階（２１００）、複数の単チャネル映像、及び複数のチャネルスイッチング映像のうち１つの映像をサーバから選択的に受信する段階（２１０２）、及びユーザから再生要請信号を受信するとき、受信された単チャネル映像またはチャネルスイッチング映像を再生する段階（２１０４）を含む。

まず、段階２１００においては、サーバにストリーミング要請信号を伝送し、段階２１０２においては、複数の単チャネル映像、及び複数のチャネルスイッチング映像のうち１つの映像を、前記サーバから選択的に受信する。単チャネル映像をユーザ端末に送信するか、チャネルスイッチング映像をユーザ端末に送信するかということは、サーバにあらかじめ指定されている。または、サーバに、ストリーミング要請信号を伝送する段階において、ユーザが、単チャネル映像及びチャネルスイッチング映像のうち一つを選択し、ストリーミング要請信号を伝送し、それによって指定された映像を受信することもできる。以下においては、単チャネル映像を受信する場合と、チャネルスイッチング映像を受信する場合とに分けて説明する。

まず、サーバから、単チャネル映像を受信する場合、ユーザから、再生要請信号を受信するとき、受信された単チャネル映像を再生する。そのとき、ストリーミング要請信号は、初期の再生開始視点に係わるチャネル情報を含んでもよく、初期の再生開始時間に係わる情報をさらに含んでもよい。ユーザ端末は、複数の単チャネル映像のうち、当該チャネル情報に対応する単チャネル映像をサーバから受信して再生する。例えば、図２２においては、ストリーミング要請信号に、２番目カメラがチャネル情報として含まれた場合、映像再生シナリオを例示的に図示した。

次に、ユーザから、チャネル制御イベントを受信するとき、チャネル制御イベントの生成情報をサーバに伝送する。次の複数のチャネルスイッチング映像のうち、チャネル制御イベントの受信時間に対応するチャネルスイッチング映像をサーバから受信する。そして、ユーザから再生要請信号を受信するとき、受信されたチャネルスイッチング映像を再生する。

そのとき、チャネル制御イベント生成情報には、イベント生成時刻に係わる情報が含まれる。再び、図２２を参照すれば、２番カメラを視点にした単チャネル映像が再生中であるとき、時刻ｔ１において、ユーザのチャネル制御イベントが認識された場合、イベント発生時刻ｔ１の情報を含む情報がサーバに伝送され、サーバにおいては、複数のチャネルスイッチング映像のうちｔ１に対応するチャネルスイッチング映像を、ユーザ端末に伝送する。ユーザ端末においては、サーバから受信されたチャネルスイッチング映像を再生する。

チャネル制御イベントは、ユーザ端末の表示部に対するユーザのタッチ操作によっても生成され、ユーザ端末の表示部上において、第１方向に沿う連続したタッチ操作によっても生成される。例えば、ユーザの指や、別途のタッチ入力手段を利用し、表示部である液晶画面を上下方向にドラッグすれば、チャネル（視点）を移動させることができる。例えば、第１方向が上下方向であると仮定するとき、時刻ｔ１において、ユーザから下方に沿って連続したドラッグ入力操作が印加されれば、ユーザ端末においては、サーバの複数のチャネルスイッチング映像のうち、ｔ１に対応するチャネルスイッチング映像をサーバから受信する。そして、ユーザから、下方ドラッグ入力操作が続けて印加されれば、受信されたチャネルスイッチング映像が再生されるが、時間がｔ１に固定されたまま、チャネルだけ３番、４番、５番のカメラ方向にスイッチングされながら再生される（図２２参照）。反対に、ユーザから上方ドラッグ入力が認識されれば、受信されたチャネルスイッチング映像が、１番カメラの方向にチャネルスイッチングされながら再生される。

次に、ユーザから、チャネル制御終了イベントを受信するとき、チャネル制御終了イベントの生成情報をサーバに伝送する。次に、複数の単チャネル映像のうち、チャネル制御イベント終了信号受信時のチャネルに対応する単チャネル映像をサーバから受信し、ユーザから再生要請信号を受信し、受信された単チャネル映像を再生する。

そのとき、チャネル制御終了イベント生成情報には、イベント終了時のチャネル（視点）に係わる情報が含まれる。再び、図２２を参照すれば、時刻ｔ１のチャネルスイッチング映像が再生中であり、チャネルスイッチングが５番カメラに達するやいなや、ユーザのチャネル制御終了イベントが認識されれば、イベント終了時のチャネルである５番チャネルに係わる情報がサーバに伝送される。チャネル制御終了イベントは、ユーザからの連続したタッチ入力がそれ以上端末機で認識されないシグナルを、終了信号として認識することができる。その場合、サーバにおいては、複数の単チャネル映像のうち、５番チャネルに対応する多チャネル映像を選択し、ユーザ端末に伝送する。ユーザ端末においては、ユーザから再生要請信号があるとき、サーバから受信された単チャネル映像を、時刻ｔ１後から再生する。

一方、ユーザから、時間制御イベントを受信する段階及び時間制御イベントにより、受信された単チャネル映像の時間を移動させながら再生する段階をさらに含んでもよい。そのような再生過程は、ユーザ端末に受信された単チャネル映像を再生した後、または受信された単チャネル映像を再生した後にも行われる。例えば、特定多チャネル映像が再生中であるとき、ユーザから、第２方向に沿って連続したタッチ操作が印加されれば（すなわち、時間制御イベントが認識されれば）、視点（ビューポイント）が、当該チャネルに固定されたまま、時間だけスイッチング移動するように、フレームが再生される。例えば、多チャネル映像が５番目カメラの視点で再生され、第２方向が左右方向であると仮定するとき、ユーザから、左側方向ドラッグ入力が認識されれば、視点が固定されたまま、時間が以前にスイッチングされながら再生される。

そのような多チャネル映像再生方法によれば、多チャネル映像をユーザの操作により、再生視点や再生時間を手動で動かしながら視聴可能である。

一方、サーバからチャネルスイッチング映像を受信する場合、ユーザから再生要請信号を受信するとき、受信されたチャネルスイッチング映像を再生する。そのとき、ストリーミング要請信号は、初期の再生開始時間に係わる時間情報を含んでもよく、初期の再生開始視点に係わる情報をさらに含んでもよい。ユーザ端末においては、あらかじめ指定されたチャネルにおいて、あらかじめ指定された時間からチャネルスイッチング映像を再生することができる。例えば、図２３においては、ストリーミング要請信号に、初期の再生開始時間がｔ１に設定され、初期再生視点が２番カメラに設定された場合の映像再生シナリオを例示的に図示した。

次に、ユーザから単チャネル映像再生イベントを受信し、単チャネル映像再生イベントの生成情報をサーバに伝送する。サーバに保存された複数の単チャネル映像のうち、単チャネル映像再生イベントの受信時のチャネルに対応する単チャネル映像を、サーバから受信する。そして、ユーザから再生要請信号を受信し、受信された単チャネル映像を再生する。そのとき、単チャネル映像再生イベントの生成情報には、イベント生成時のチャネルに係わる情報が含まれる。例えば、図２３を参照すれば、時間がｔ１に固定されたまま、チャネルが２番カメラから始まり、４番カメラに至るまで、チャネルスイッチングされながら映像が再生されていて、チャネルスイッチングが４番カメラに達するやいなや、ユーザの単チャネル映像再生イベントが認識されれば、単チャネル映像再生イベントの生成情報、すなわち、チャネルに係わる情報（５番カメラ）がサーバに伝送される。そのとき、ユーザのタッチ入力が、単チャネル映像再生イベントとしても認識される。その場合、サーバにおいては、複数の単チャネル映像のうち、４番チャネルに対応する単チャネル映像を選択し、ユーザ端末に伝送する。ユーザ端末においては、ユーザから再生要請信号があるとき、サーバから受信された４番単チャネル映像を時刻ｔ１後から再生する。

その後、ユーザから時間制御イベントを受信する段階、及び時間制御イベントによって受信された単チャネル映像の時間を移動させながら再生する段階をさらに含んでもよい。そのような再生過程は、ユーザ端末に受信された単チャネル映像を再生した後、または受信された単チャネル映像を再生した後にも行われる。例えば、図２３を参照すれば、４番多チャネル映像が再生中であるとき、ユーザから、第２方向に沿って連続したタッチ操作が印加されれば（すなわち、時間制御イベントが認識されれば）、視点が当該チャネルに固定されたまま、時間だけスイッチング移動するようにフレームが再生される。例えば、第２方向が左右方向であると仮定するとき、ユーザから、左側方向ドラッグ入力が認識されれば、視点が固定されたまま、時間がｔ１及びｔ２とスイッチングされながら再生される。

一方、ユーザから、チャネル制御イベントを受信するとき、チャネル制御イベントの生成情報をサーバに伝送する。その後、複数のチャネルスイッチング映像のうち、チャネル制御イベントの受信時間に対応するチャネルスイッチング映像をサーバから受信する。そして、ユーザから再生要請信号を受信するとき、受信されたチャネルスイッチング映像を再生する。

そのとき、チャネル制御イベント生成情報には、イベント生成時刻に係わる情報が含まれる。再び、図１２を参照すれば、４番カメラを視点にした単チャネル映像が再生中であるとき、時刻ｔ２において、ユーザのチャネル制御イベントが認識された場合、イベント発生時刻ｔ２の情報を含む情報がサーバに伝送され、サーバにおいては、複数のチャネルスイッチング映像のうち、ｔ２に対応するチャネルスイッチング映像をユーザ端末に伝送する。ユーザ端末においては、サーバから受信されたチャネルスイッチング映像を再生する。例えば、第１方向が上下方向であると仮定するとき、時刻ｔ２において、ユーザから下方に沿って連続したドラッグ入力操作が印加されれば、ユーザ端末においては、サーバの複数チャネルスイッチング映像のうち、ｔ２に対応するチャネルスイッチング映像をサーバから受信する。そして、ユーザから、下方ドラッグ入力操作が続けて印加されれば、受信されたチャネルスイッチング映像が再生されるが、時間がｔ２に固定されたまま、チャネルだけ５番、６番、７番のカメラ方向にスイッチングされながら再生される。反対に、ユーザから上方ドラッグ入力が認識されれば、受信されたチャネルスイッチング映像が、３番カメラ方向にチャネルスイッチングされながら再生される。

次に、ユーザから、チャネル制御終了イベントを受信するとき、チャネル制御終了イベントの生成情報をサーバに伝送する。次に、複数の単チャネル映像のうち、チャネル制御イベント終了信号受信時のチャネルに対応する単チャネル映像をサーバから受信し、ユーザから再生要請信号を受信するとき、受信された単チャネル映像を再生する。そのとき、チャネル制御終了イベント生成情報には、イベント終了時チャネル（視点）に係わる情報が含まれる。再び、図２３を参照すれば、時刻ｔ２のチャネルスイッチング映像が再生中であり、チャネルスイッチングが（Ｎ−１）番カメラに達するやいなや、ユーザのチャネル制御終了イベントが認識されれば、イベント終了時のチャネルに係わる情報がサーバに伝送される。チャネル制御終了イベントは、ユーザから、連続したタッチ入力がそれ以上端末機で認識されないシグナルを、終了信号として認識することができる。その場合、サーバにおいては、複数の単チャネル映像のうち、（Ｎ−１）番チャネルに対応する単チャネル映像を選択し、ユーザ端末に伝送する。ユーザ端末においては、ユーザから再生要請信号があるとき、サーバから受信された（Ｎ−１）番単チャネル映像を時刻ｔ２後から再生する。

一方、ユーザから時間制御イベントを受信する段階、及び時間制御イベントによって受信された単チャネル映像の時間を移動させながら再生する段階をさらに含んでもよい。例えば、（Ｎ−１）多チャネル映像が再生中であるとき、ユーザから、第２方向に沿って連続したタッチ操作が印加されれば（すなわち、時間制御イベントが認識されれば）、視点が（Ｎ−１）チャネルに固定されたまま、時間だけスイッチング移動するようにフレームが再生される。

一方、受信されたチャネルスイッチング映像を再生する段階の以前及び以後にも、チャネルスイッチング制御が可能である。すなわち、チャネルスイッチング映像を受信して再生する以前、またはチャネルスイッチング映像を再生している最中にも、チャネルをスイッチングしながら、映像を視聴することができる。具体的には、ユーザからチャネル制御イベントを受信する段階、及びチャネル制御イベントによって受信されたチャネルスイッチング映像の視点を移動させながら再生する段階を含んでもよい。例えば、ユーザから、下方ドラッグ入力操作が印加されれば、チャネルスイッチング映像は、時間が固定されたまま、チャネルだけスイッチングされながら再生される。反対に、ユーザから、上方ドラッグ入力が認識されれば、受信されたチャネルスイッチング映像が反対方向にチャネルスイッチングされながら再生される。

そのような多チャネル映像再生方法によれば、多チャネル映像を、ユーザの操作により、再生視点や再生時間を手動で動かして行きながら視聴可能である。

一実施形態は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態にも具現される。コンピュータ可読媒体は、コンピュータによってアクセスされる任意の可用媒体でもあり、揮発性及び非揮発性の媒体、分離型及び非分離型の媒体をいずれも含む。また、コンピュータ可読媒体は、コンピュータ記録媒体及び通信媒体をいずれも含んでもよい。該コンピュータ記録媒体は、コンピュータ可読命令語、データ構造、プログラムモジュールまたはその他データのような情報保存のための任意の方法または技術によって具現された揮発性及び非揮発性、分離型及び非分離型の媒体をいずれも含む。該通信媒体は、典型的に、コンピュータ可読命令語、データ構造、プログラムモジュールまたは搬送波のような変調されたデータ信号のその他データ、またはその他伝送メカニズムを含み、任意の情報伝達媒体を含む。

前述の説明は例示のためのものであり、本発明が属する技術分野の当業者であるならば、本発明の技術的思想や必須な特徴を変更せずとも、他の具体的な形態に容易に変形可能であるということを理解することができるであろう。従って、以上で記述した実施形態は、全ての面において、例示的なものであり、限定的ではないと理解しなければならない。例えば、単一型と説明されている各構成要素は、分散されても実施され、同様に、分散されていると説明されている構成要素も、結合された形態でも実施されるのである。

本発明の範囲は、前述の説明よりは、特許請求の範囲によって示され、特許請求の範囲の意味、範囲及びその均等概念から導き出される全ての変更、または変形された形態は、本発明の範囲に含まれるものであると解釈されなければならない。

Claims (16)

1. 複数のカメラを介して、所定時間に渡り被写体を撮影するように制御し、前記複数のカメラに対応する多チャネル映像を、通信網を介して伝送するカメラ制御部と、
   前記カメラ制御部から伝送された前記多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存し、ユーザ端末の要請により、前記グルーピングされた映像を、前記通信網を介して伝送する映像サーバと、を含む多チャネル映像のための伝送システム。
2. 前述の時間及びチャネルを混合した基準は、
   第１時間ないし第Ｎ（Ｎは、２以上の自然数）時間に該当する第１チャネルないし第Ｍ（Ｍは、２以上の自然数）チャネルの映像を混合するか、あるいは、
   前述の第１時間ないし第Ｎ時間に該当する第Ｍチャネルないし第１チャネルの映像を混合することを特徴とする請求項１に記載の多チャネル映像のための伝送システム。
3. 前述の時間及びチャネルを混合した基準は、
   第Ｎ時間ないし第１時間に該当する第１チャネルないし第Ｍチャネルの映像を混合するか、あるいは、
   前述の第Ｎ時間ないし第１時間に該当する第Ｍチャネルないし第１チャネルの映像を混合することを特徴とする請求項１に記載の多チャネル映像のための伝送システム。
4. 前記所定時間のうちいずれか１つの時間に該当するイベントを中心に、±ｙ（ｙは、自然数）時間別チャネルに該当する映像をグルーピングすることを特徴とする請求項１に記載の多チャネル映像のための伝送システム。
5. 前記カメラ制御部は、
   前記複数のカメラが前記被写体を同時に撮影するように、撮影同期化信号及び撮影駆動制御信号を伝送し、前記複数のカメラから伝送された複数のカメラに対応する多チャネル映像に対して圧縮処理を行い、前記通信網による伝送可能なデータ伝送方式を決定することを特徴とする請求項１に記載の多チャネル映像のための伝送システム。
6. 前記映像サーバは、
   第１チャネルないし第Ｍチャネルのうち所定のチャネルにおいて、前記ユーザ端末の要請に相応するイベントが発生した場合、前記グルーピングされた映像に対し、前記第１チャネルから順次にデコーディングを行い、
   前記イベントが発生したチャネルから前記イベントの発生方向に、前記デコーディングされた映像についてレンダリングを行うことを特徴とする請求項１に記載の多チャネル映像のための伝送システム。
7. 前記グルーピングされた映像は、
   前記複数の単チャネル映像を合成した１つの多チャネル映像、及び前記複数の単チャネル映像について、特定時間でのフレームを抽出した抽出フレームによって構成されたチャネルスイッチング映像を含み、
   前記複数の単チャネル映像及び前記チャネルスイッチング映像は、ＧＯＰ値が１であること特徴とする請求項１に記載の多チャネル映像のための伝送システム。
8. 複数のカメラを介して、所定時間に渡り被写体を撮影するように制御する段階と、
   前記複数のカメラに対応する多チャネル映像を、通信網を介して伝送する段階と、
   前記カメラの制御部から伝送された前記多チャネル映像を、時間別、チャネル別、時間別及びチャネル別を混合したもののうち少なくとも１つの基準でグルーピングして保存する段階と、
   ユーザ端末の要請により、前記保存されたグルーピングされた映像を、前記通信網を介して伝送する段階と、を含む多チャネル映像のための伝送システムの制御方法。
9. 前記時間及びチャネルを混合した基準は、
   第１時間ないし第Ｎ（Ｎは、２以上の自然数）時間に該当する第１チャネルないし第Ｍ（Ｍは、２以上の自然数）チャネルの映像を混合するか、
   前記第１時間ないし第Ｎ時間に該当する第Ｍチャネルないし第１チャネルの映像を混合するか、
   第Ｎ時間ないし第１時間に該当する第１チャネルないし第Ｍチャネルの映像を混合するか、あるいは、
   前記第Ｎ時間ないし第１時間に該当する第Ｍチャネルないし第１チャネルの映像を混合することを特徴とする請求項８に記載の多チャネル映像のための伝送システムの制御方法。
10. 所定時間のうちいずれか１つの時間に該当するイベントを中心に、±ｙ（ｙは、自然数）時間別チャネルに該当する映像をグルーピングすることを特徴とする請求項８に記載の多チャネル映像のための伝送システムの制御方法。
11. 第１チャネルないし第Ｍチャネルのうち所定のチャネルにおいて、前記ユーザ端末の要請に相応するイベントが発生した場合、前記グルーピングされた映像に対し、前記第１チャネルから順次にデコーディングを行う段階と、
    前記イベントが発生したチャネルから前記イベントの発生方向に、前記デコーディングされた映像についてレンダリングを行う段階と、
    前記レンダリングされた映像を、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項８に記載の多チャネル映像のための伝送システムの制御方法。
12. 多チャネル映像の再生のための再生装置において、
    多チャネル映像が保存されたメモリと、
    前記多チャネル映像に相応する第１チャネルないし第Ｍチャネルのうち所定のチャネルでイベント要請を受信し、前記多チャネル映像に対し、前記第１チャネルから順次にデコーディングを行い、前記イベントが発生したチャネルからイベントの発生方向に、前記デコーディングされた映像についてレンダリングを行い、前記レンダリングされた映像を再生するように制御するプロセッサと、を含む再生装置。
13. 多チャネル映像をユーザ端末で再生するための多チャネル映像再生方法であり、
    サーバから、前記多チャネル映像を受信する段階と、
    受信された多チャネル映像においてあらかじめ設定された特定視点で、前記多チャネル映像を再生する段階と、
    ユーザから、チャネル制御イベント、時間制御イベント、チャネル及び時間制御イベント、画面拡大イベント、客体追跡、微細倍速、並びに区間反復のうち少なくとも１つのイベントを受信する段階と、
    前記イベントにより、前記多チャネル映像のチャネルまたは時間を移動させながら、前記多チャネル映像を再生する段階と、を含む多チャネル映像再生方法。
14. 前記ユーザの制御イベントの終了時、ユーザの再生要請信号を受信すれば、当該制御イベントの終了時の視点において、前記多チャネル映像を続けて再生する段階をさらに含むことを特徴とする請求項１３に記載の多チャネル映像再生方法。
15. 前記制御イベントは、前記多チャネル映像が再生されるユーザ端末の表示部に対するユーザのタッチ操作によって生成されるものの、
    前記チャネル制御イベントは、前記表示部上の第１方向に沿う連続したタッチ操作によって生成され、前記時間制御イベントは、前記表示部上の第２方向に沿う連続したタッチ操作によって生成され、前記チャネル及び時間制御イベントは、前記表示部上の第３方向に沿う連続したタッチ操作によって生成されることを特徴とする請求項１４に記載の多チャネル映像再生方法。
16. 多チャネル映像をユーザ端末で再生するための多チャネル映像再生方法であり、
    サーバにストリーミング要請信号を伝送する段階と、
    複数の単チャネル映像、及び複数のチャネルスイッチング映像のうち１つの映像を、前記サーバから選択的に受信する段階と、
    ユーザ端末から再生要請信号を受信するとき、受信された単チャネル映像またはチャネルスイッチング映像を再生する段階と、を含み、
    前記多チャネル映像及びチャネルスイッチング映像のうちサーバですでに定められた映像を受信するか、あるいは、前記サーバにストリーミング要請信号を伝送する段階において、ユーザ端末が選択した映像を受信することを特徴とする多チャネル映像再生方法。