JP2009021894A - Video distribution system - Google Patents
Video distribution system Download PDFInfo
- Publication number
- JP2009021894A JP2009021894A JP2007183958A JP2007183958A JP2009021894A JP 2009021894 A JP2009021894 A JP 2009021894A JP 2007183958 A JP2007183958 A JP 2007183958A JP 2007183958 A JP2007183958 A JP 2007183958A JP 2009021894 A JP2009021894 A JP 2009021894A
- Authority
- JP
- Japan
- Prior art keywords
- video
- data
- video distribution
- interpolation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ネットワークを介して映像情報を伝送する映像伝送システムに関し、さらに詳しくは、利用者の要求に応じて映像や音声のサービスを提供するAVODを利用した映像配信システムに関する。 The present invention relates to a video transmission system for transmitting video information via a network, and more particularly to a video distribution system using AVOD that provides video and audio services in response to a user request.
コンピュータ、携帯電話を始めとする携帯情報端末などに利用される情報処理技術、ならびにインターネットや無線・有線ネットワークシステム、デジタル放送、AVODなどに代表される映像配信などの伝送、通信、放送技術の進歩に伴い、動画を中心とした映像伝送・配信技術の利用が可能になってきている。また、無線LANの技術の進展に伴って、無線LANを利用した映像配信システムの構成も可能になってきた。しかしながら、無線LANは周囲の環境の影響を受けやすく常に安定に映像を配信できないという問題がある。また、従来の有線LANにおいても、トラフィックの輻輳状況によっては同様な問題が発生する。 Advances in information processing technology used in personal information terminals such as computers and mobile phones, as well as transmission, communication, and broadcasting technologies such as video distribution represented by the Internet, wireless / wired network systems, digital broadcasting, AVOD, etc. As a result, video transmission / distribution technology centered on moving images has become available. In addition, with the development of wireless LAN technology, it has become possible to configure a video distribution system using a wireless LAN. However, wireless LAN is susceptible to the influence of the surrounding environment, and there is a problem that video cannot be distributed stably at all times. In the conventional wired LAN, the same problem occurs depending on traffic congestion.
このために、ネットワークにおけるデータ伝送速度を算出する算出手段を持ち、算出手段によって算出されたデータ伝送速度に基づいて送信すべき画像データのデータ量を減少させる減少手段を備えた画像送信装置およびその制御方法が提案されている(例えば、特許文献1参照)。 For this purpose, an image transmitting apparatus having a calculating means for calculating the data transmission speed in the network, and having a reducing means for reducing the data amount of image data to be transmitted based on the data transmission speed calculated by the calculating means, and its A control method has been proposed (see, for example, Patent Document 1).
また、例えば、インターネットなどの通信媒体を経由して映像コンテンツをダウンロードする場合に、動画像データを、互いに異なる複数の解像度レベルで符号化し、個々の解像度レベルの符号化データ毎に、最も低い解像度レベルの符号化データから順に、隣合う解像度レベルの符号化データ間で差分を取りながら時系列に伝送する。ユーザーは最初に送られてくる最も低い解像度レベルの符号化データを記録、再生することで映像コンテンツの全容を簡単に閲覧でき、その映像コンテンツが有用か否かを迅速に判断できる動画像データの記録、再生方法が提案されている(例えば、特許文献2参照)。 Also, for example, when downloading video content via a communication medium such as the Internet, moving image data is encoded at a plurality of different resolution levels, and the lowest resolution for each encoded data at each resolution level. In order from the encoded data of the level, transmission is performed in time series while taking a difference between the encoded data of the adjacent resolution levels. The user can easily view the entire video content by recording and playing back the encoded data of the lowest resolution level sent first, and can quickly determine whether the video content is useful. A recording / reproducing method has been proposed (see, for example, Patent Document 2).
また、複数の静止画フレームで構成される動画コンテンツを主体となるキーフレームと、キーフレーム間に存在する中間フレームに分け、キーフレームを取得する画像入力部と、隣接するキーフレーム間の補間計算により中間フレーム画像を生成する中間画像生成部と、キーフレーム間に中間フレームを挿入して連続的に表示することにより動画を表示する。そして、中間フレームが所定の時間以上表示される状況になったとき、中間フレームとして表示されている補間画像に代えて、その補間画像よりも詳細度の高い詳細画像を表示することにより、少ないデータ量で動画像画質を向上する画像配信方法が提案されている(例えば、特許文献3参照)。
上述した従来の提案例のうち、ネットワークにおける伝送量を算出し、算出されたデータ速度に基づいて送信すべき画像を減少させるという画像送信装置およびその制御方法では、データの送信時間はネットワークのトラフィックに依存しているのであるが、トラフィックにかかわらず、データ量が多い画像データの送信時間を短縮することを目的としている。 In the conventional proposal example described above, in the image transmission apparatus and its control method for calculating the transmission amount in the network and reducing the number of images to be transmitted based on the calculated data rate, the data transmission time is the network traffic. However, the purpose is to shorten the transmission time of image data having a large amount of data regardless of traffic.
また、動画像データを、互いに異なる複数の解像度レベルで符号化し、個々の解像度レベルの符号化データ毎に、最も低い解像度レベルの符号化データから順に、隣合う解像度レベルの符号化データ間で差分を取りながら時系列に処理するという動画像データの記録再生方法では、通信媒体におけるより少ない通信データ量で、より短時間に、所望の動画像データを最初から最後までの間の任意の範囲にて再生することが可能な動画像データの処理技術を提供することを目的としている。 In addition, the moving image data is encoded at a plurality of different resolution levels, and for each encoded data of each resolution level, the difference between the encoded data of adjacent resolution levels in order from the encoded data of the lowest resolution level. In a method for recording and reproducing moving image data that is processed in time series while taking the desired image data, the desired moving image data is placed in an arbitrary range from the beginning to the end in a shorter time with a smaller amount of communication data in the communication medium. It is an object of the present invention to provide a technique for processing moving image data that can be reproduced in the future.
さらに、キーフレームを配信する配信部と、キーフレーム間に挿入して表示する中間フレームについて、隣接するキーフレーム間の補間計算により生成される補間画像よりも詳細度の高い詳細画像を表示するための表示情報の配信要求を受け付ける受付部と、表示情報を生成する生成部と、表示情報を配信する送信部とを備える画像配信システムの構成では、少ないデータ量で動画を配信しつつ、画質の劣化を軽減する画像配信の技術を提供することを目的としている。 Furthermore, in order to display a detailed image having a higher level of detail than an interpolated image generated by interpolation calculation between adjacent key frames for a distribution unit that distributes key frames and an intermediate frame that is inserted and displayed between key frames In the configuration of the image distribution system that includes a reception unit that receives a display information distribution request, a generation unit that generates display information, and a transmission unit that distributes display information, the image quality can be reduced while distributing a moving image with a small amount of data. An object of the present invention is to provide an image distribution technique for reducing deterioration.
しかしながら、提案されている上記のいずれの情報データ配信伝送の技術においても、利用するネットワークの状況が悪くなると映像コンテンツの停止や、映像のコマ落ちが発生するなど品質が極端に悪くなるという問題が解決されないまま残されていた。 However, in any of the proposed information data distribution and transmission techniques, there is a problem that the quality is extremely deteriorated, such as video content being stopped or video frames being dropped, if the network conditions to be used are deteriorated. It was left unsolved.
本発明は上述したような課題を解決するためになされたものであり、有線、無線というネットワークの種類を問わず、またネットワークの状況における混雑の度合など通信状況の変化にかかわらず、映像データの品質を確保して伝送配信が可能な映像配信システムを提供することを目的とする。 The present invention has been made to solve the above-described problems. Regardless of the type of network, such as wired or wireless, and regardless of changes in the communication status such as the degree of congestion in the network status, the video data An object of the present invention is to provide a video distribution system capable of transmission distribution while ensuring quality.
上記目的を達成するために本発明の映像配信システムは、ネットワークと、ネットワークに接続された複数の端末装置と映像配信サーバとを備えた映像配信システムにおいて、映像配信サーバは配信映像の基本データをあらかじめネットワークを経由して端末装置に送信し、端末装置は受信した基本データを保存メモリに保存し、配信サーバは端末装置からの要求に基づいて基本データを補間する補間データを端末装置に送信し、端末装置は補間データを受信できた場合には、基本データと合成して映像を再生し、補間データを受信できなかった場合には、基本データのみで映像を再生することを特徴とする。これにより、ネットワークの状況に変化があっても、最低限の映像データの品質が確保できるので、ネットワークの状況がよければ、さらに良い品質の映像を再生でき、さらには、解像度が違う端末が複数ある場合でも、例えば最低限の品質で良い端末と、解像度が高く、品質を良くする端末とを分類して映像配信サービスを行うことができる。また、映像配信システムに備わる端末装置内の記憶領域に、再生に必要な全ての映像データを保管しておく必要がなくなるので、記憶領域の容量を削減でき、映像配信システムの価格の増大を抑えることが可能になる。 In order to achieve the above object, a video distribution system of the present invention is a video distribution system comprising a network, a plurality of terminal devices connected to the network, and a video distribution server. The video distribution server stores basic data of distribution video. The data is transmitted to the terminal device via the network in advance, the terminal device stores the received basic data in a storage memory, and the distribution server transmits interpolation data for interpolating the basic data to the terminal device based on a request from the terminal device. The terminal device is characterized in that when the interpolation data can be received, the video is reproduced by combining with the basic data, and when the interpolation data cannot be received, the video is reproduced only with the basic data. As a result, even if there is a change in the network status, the minimum quality of video data can be ensured. If the network status is good, even better quality video can be played back, and there are multiple terminals with different resolutions. Even in some cases, for example, it is possible to provide a video distribution service by classifying terminals having a minimum quality and terminals having high resolution and high quality. In addition, since it is not necessary to store all video data required for playback in the storage area in the terminal device provided in the video distribution system, the capacity of the storage area can be reduced and the price of the video distribution system can be suppressed. It becomes possible.
また本発明の映像配信システムでは、端末装置はネットワークに接続された複数の受信端末と、受信端末に接続された複数の映像端末とから構成され、受信端末は受信した基本データおよび補間データを合成し、映像端末に映像を提供してもよい。これにより、受信機能や基本データと補間データを合成する機能を個別の映像端末に搭載する必要がなく、映像端末は表示機能のみ備えればよい。 In the video distribution system of the present invention, the terminal device includes a plurality of receiving terminals connected to the network and a plurality of video terminals connected to the receiving terminal. The receiving terminal synthesizes the received basic data and interpolation data. The video may be provided to the video terminal. Thus, it is not necessary to install a reception function or a function for combining basic data and interpolation data in individual video terminals, and the video terminal only needs to have a display function.
また本発明の映像配信システムでは、複数の受信端末にあらかじめ優先順位を付け、受信端末は優先順位に基づいて優先的に映像配信サーバから補間データを受信してもよい。これにより、例えば、航空機のIFEなどに代表される機内映像配信サービスでは、ファーストクラス、ビジネスクラス、エコノミークラスといった客席のランクに合わせて、提供する画像品質を変えて伝送帯域を有効に利用することができる。 In the video distribution system of the present invention, priorities may be assigned in advance to a plurality of receiving terminals, and the receiving terminals may receive interpolation data from the video distribution server with priority based on the priorities. As a result, for example, in-flight video distribution services represented by aircraft IFE, etc., effectively use the transmission bandwidth by changing the image quality provided according to the rank of the passenger seat such as first class, business class and economy class. Can do.
また本発明の映像配信システムでは、端末装置または受信端末は、受信した補間データを保存メモリに保存しておき、映像配信サーバへ補間データの送信を要求する場合、保存メモリを検索し、補間データが保存されていれば、保存された補間データを利用して映像を再生してもよい。これにより、ネットワークの伝送条件が悪くなり、補間データを受信できなくても以前受信した補間データを使って、高画質な映像を再生できる。 In the video distribution system of the present invention, the terminal device or the receiving terminal stores the received interpolation data in a storage memory, and when requesting transmission of the interpolation data to the video distribution server, the storage device is searched for the interpolation data. If is stored, the video may be reproduced using the stored interpolation data. As a result, the transmission conditions of the network are deteriorated, and even if the interpolation data cannot be received, the high-quality video can be reproduced using the previously received interpolation data.
また本発明の映像配信システムでは、基本データは配信する音声データを含んでもよい。これにより、補間データを受信できないようなネットワークの状況が悪い場合でも、音声データは端末装置に保存されているので、常に高品質な音声を再生することができる。 In the video distribution system of the present invention, the basic data may include audio data to be distributed. As a result, even when the network condition in which interpolation data cannot be received is bad, the voice data is stored in the terminal device, so that high quality voice can always be reproduced.
また本発明の映像配信システムでは、基本データはマルチキャスト通信で配信されることが望ましい。これにより、基本データを短時間で全ての端末装置に配信できる。 In the video distribution system of the present invention, the basic data is preferably distributed by multicast communication. Thereby, basic data can be distributed to all terminal devices in a short time.
以上のように本発明によれば、映像配信システムにおいては、ネットワークの種類や通信状況の変化にかかわらず、映像データの品質を確保することが可能となる。 As described above, according to the present invention, in the video distribution system, it is possible to ensure the quality of video data regardless of changes in the type of network and the communication status.
以下、本発明の実施の形態について、図面を参照しながら詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態)
最初に、本発明の実施の形態における映像伝送システムの構成について、図1を用いて説明する。図1は本発明の実施の形態における映像伝送システムの構成を概略的に示す斜視図である。図1に示した映像伝送システムの構成では、1台の映像配信サーバ1に端末装置である4台のユーザ端末6a、ユーザ端末6b、ユーザ端末6c、ユーザ端末6d(以下の説明においては、端末装置それぞれを区別しないでユーザ端末6と代表的に記す場合がある)が無線ネットワーク4と有線ネットワーク5で接続されている例を示している。有線ネットワークは分配器2を使用しそれぞれのユーザ端末6に接続している。
(Embodiment)
First, the configuration of the video transmission system in the embodiment of the present invention will be described with reference to FIG. FIG. 1 is a perspective view schematically showing a configuration of a video transmission system according to an embodiment of the present invention. In the configuration of the video transmission system shown in FIG. 1, one
本発明の実施の形態における映像伝送システムに備わる映像配信サーバ1は、まず、システムの立ち上げ時に、途切れずに再生できる最低限の映像データを、例えば、無線ネットワーク4でのマルチキャスト伝送を用いて送信する。それぞれのユーザ端末6ではそのデータ情報をそれぞれのユーザ端末6内に保存する。再生するコンテンツを選択すると、ユーザ端末6内のデータを再生し、映像配信サーバ1に補間データの送信を要求する。ユーザ端末6では、補間データを受信できた場合は補間データを用い、ネットワークの状態により受信できなかった場合は補間データを用いずに再生を行う。
The
次に、本発明の実施の形態における映像伝送システムに備わる映像配信サーバ1の構成について、図2を用いて説明する。図2は本発明の実施の形態における映像伝送システムに備わる映像配信サーバの構成の概略を示すブロック図である。図2において、映像配信サーバ1は映像配信サーバ1を制御するCPU11、CPU11を動作させるために必要なデータを記録するメインメモリ12、無線ネットワーク4に接続する通信モジュールである無線LANモジュール13、有線ネットワーク5に接続する通信モジュールである有線LANモジュール14、複数の映像コンテンツを保存しておくHDD(ハードディスクドライブ)16、HDDをコントロールするHDDコントローラ(ハードディスクコントローラ)15を備えている。
Next, the configuration of the
続いて、本発明の実施の形態における映像伝送システムに備わる端末装置であるユーザ端末6の構成について、図3を用いて説明する。図3は本発明の実施の形態における映像伝送システムに備わるユーザ端末の構成の概略を示すブロック図である。図3において、ユーザ端末6はユーザ端末を制御するCPU21、CPU21を動作させるために必要なデータを記録するメインメモリ22、液晶ディスプレイ(LCD)などの表示装置24を制御するグラフィックコントローラ23、映像データを保存する保存用メモリ26を制御するメモリコントローラ25、映像データをデコードするデコーダ27、無線ネットワーク4に接続するための通信モジュールである無線LANモジュール28、有線ネットワーク5に接続するための通信モジュールである有線LANモジュール29を備えている。保存用メモリ26には、HDDやフラッシュメモリを用いた半導体メモリのほかに、MOやDVDをメモリ媒体に使用する光学ドライブメモリも使用できる。
Next, the configuration of the
上述した本発明の実施の形態における映像配信システムの構成に関する説明に続き、本発明の実施の形態における映像配信システムの動作の手順、方法について、図4、図5、図6、図7、図8、図9、図10、図11を用いて説明する。図4は本発明の実施の形態における映像配信システムにおいて映像データをマルチキャスト配信するときの動作・処理の手順を示すフローチャート、図5は本発明の実施の形態における映像配信システムにおいて映像データをマルチキャスト配信するときのシステム立ち上げ時の動作を示す模式図、図6は本発明の実施の形態における映像配信システムにおいて映像データのマルチキャスト伝送が終了した状態を示す模式図、図7は本発明の実施の形態における映像配信システムにおいてユーザ端末がコンテンツを選択した状態を示す模式図、図8は本発明の実施の形態における映像配信システムにおいて配信サーバからユーザ端末に映像データを伝送するときの通信の状況を示す模式図、図9は本発明の実施の形態における映像配信システムにおいて伝送された映像データに対しフレーム間補間を行うときの方法を説明する模式図、図10は本発明の実施の形態における映像配信システムにおいて伝送された映像データに対しフレーム内補間を行うときの方法を説明する模式図である。なお、図4では、映像配信サーバ1の動作手順を破線で、無線ネットワーク4または有線ネットワーク5での動作手順を一点鎖線で、端末装置であるユーザ端末6における動作手順を二点鎖線で囲んで区分して示している。また、本発明の実施の形態における映像配信システムの動作を模式的に示す図5、図6、図7、図8には3台のユーザ端末6a、6b、6cがある例を示しているが3台より多くてもよい。
Following the description of the configuration of the video distribution system according to the embodiment of the present invention described above, the operation procedure and method of the video distribution system according to the embodiment of the present invention will be described with reference to FIG. 4, FIG. 5, FIG. 8, FIG. 9, FIG. 10, and FIG. FIG. 4 is a flowchart showing a procedure of operations and processing when multicasting video data in the video distribution system according to the embodiment of the present invention. FIG. 5 is a multicast distribution of video data in the video distribution system according to the embodiment of the present invention. FIG. 6 is a schematic diagram showing a state in which multicast transmission of video data is completed in the video distribution system according to the embodiment of the present invention, and FIG. 7 is a diagram showing the operation of the present invention. FIG. 8 is a schematic diagram showing a state in which a user terminal has selected content in the video distribution system in the embodiment, and FIG. 8 shows a communication situation when video data is transmitted from the distribution server to the user terminal in the video distribution system in the embodiment of the present invention. FIG. 9 shows a video distribution system according to the embodiment of the present invention. FIG. 10 is a schematic diagram for explaining a method when inter-frame interpolation is performed on video data transmitted in FIG. 10. FIG. 10 is a diagram when intra-frame interpolation is performed on video data transmitted in the video distribution system according to the embodiment of the present invention. It is a schematic diagram explaining a method. In FIG. 4, the operation procedure of the
本発明の実施の形態における映像配信システムに備わる映像配信サーバ1では、あらかじめ映像データが基本データと補間データに分けて内蔵のHDD16に保存されている。また、これらの映像データは事前にパーソナルコンピュータなどを用いて作成したデータを映像配信サーバ1に転送してもよく、また、映像配信サーバ1に映像入力とエンコード処理の機能を持たせて、映像配信サーバで映像データを作成し、あらかじめHDD16に保存しておいてもよい。図4において、本発明の実施の形態における映像配信システムを立ち上げると、処理が開始される(ステップS01)。まず、配信サーバ1は、あらかじめHDD16に保存されている基本データをメインメモリ12に読み込む(ステップS02)。配信サーバ2は、読み込まれた基本データが通信モジュールを用いて無線ネットワーク4または有線ネットワーク5を介してそれぞれのユーザ端末6にマルチキャスト伝送される(ステップS03)。ユーザ端末6では、伝送された、例えば、映像データのコンテンツであるコンテンツ1からコンテンツ3の基本データを通信モジュールにより受信し、それぞれのユーザ端末6内の保存用メモリ26にデータを格納する(ステップS04)。これが立ち上げ時までの動作である。図5に、ステップS01からステップS04までの、本発明の実施の形態における映像配信システムの立ち上げ時の動作、すなわち、配信サーバ1のHDD16に保存されている、例えば、コンテンツ1からコンテンツ3といった複数のコンテンツの基本データと補間データのうちの基本データのみがユーザ端末6a、ユーザ端末6b、ユーザ端末6cにマルチキャスト伝送され、各ユーザ端末のメモリに格納される動作を模式図で示した。そして、マルチキャスト伝送が終了し、ユーザ端末6は各端末内の保存用メモリ26にそれぞれコンテンツ1からコンテンツ3までの基本データを記録し、記録が終わると、例えば、ユーザ端末6の表示装置24に画面30で示すようなメニューを表示し、コンテンツを選択できる状態になる。図6にはこのときの状態を模式図で示した。以上の一連の立ち上げ処理が終了した後では、映像配信サーバ1は、サーバ待機モードに移行し(ステップS101)、後述するステップS10でユーザ端末6からの補間データ要求のコマンドを受けてサーバが動作モードに移行する(ステップS101)まで、待ち状態になる。
In the
ユーザ端末6に備わる表示装置24には、図6の画面30に示したような選択可能なコンテンツのメニューが表示されているので、選択キーなど(図示せず)を操作して再生するコンテンツを選択する(ステップS05)。図6の画面30ではコンテンツ2が選択された状態を示している。コンテンツが選択されると、ユーザ端末6は保存用メモリ26に記録されている選択コンテンツ(図6の例ではコンテンツ2)の基本データをメインメモリ22に読み込み(ステップS06)、CPU21の制御によりデコーダ27が基本データを再生可能な映像データにデコードする(ステップS07)。デコードされた選択コンテンツの再生可能な映像データはメインメモリ22に書込まれ(ステップS07)、バッファリングされる。続いて、ユーザ端末6は、メインメモリ22に書込まれ、バッファリングされた映像データを再生する処理に移るが、その前に選択コンテンツの基本データのみで再生するか、基本データに補間データを加えてフルコンテンツで再生するかの判断をする(ステップS08)。この補間データを使用するか否かの判断の条件は、映像配信システムのサービス形態に合わせて種々の条件を設定することが可能である。例えば、航空機のIFEなどに代表される機内映像配信サービスでは、ファーストクラス、ビジネスクラス、エコノミークラスといった客席のランクに合わせて、また、インターネット映像配信サービスやケーブル映像配信サービスにおいては課金の種類・ランクまたはユーザとの契約内容に応じて、基本コンテンツか補間データを加えたフルコンテンツかの選択をあらかじめ設定しておくといったことが考えられる。このほか、短時間で基本データのみを聴取するか、時間をかけてフルコンテンツで鑑賞するか、コンテンツの種類、内容に応じてユーザが選択可能なように設定することも可能である。
Since the
ステップS08において補間データを使用しないで、基本データのみを使用する場合は、ユーザ端末6はメインメモリ22に書込まれ、バッファリングされた基本データのみの映像データ再生の処理を選択コンテンツの終了まで繰り返す(ステップS19)。
In the case where only basic data is used without using interpolation data in step S08, the
一方、ステップS08において補間データを使用する場合は、ユーザ端末6は映像配信サーバ1に対して選択コンテンツに対応する補間データの送信を要求するコマンドを通信モジュールからネットワークを介して送信する(ステップS09)。映像配信サーバ1はステップS101のサーバ待機モードから抜け、サーバ動作モードへ移行し(ステップS102)、ユーザ端末6からの補間データ要求コマンドを通信モジュールにより受信する(ステップS10)。次に、映像配信サーバ1は、保存用メモリ26にある選択コンテンツの補間データをメインメモリ12に読み込み(ステップS11)、補間データ要求のあった端末に対しネットワークを介して選択コンテンツの補間データを通信モジュールにより伝送する(ステップS12)。上述したステップS09からステップS12までの処理手順に関して、図7に、ユーザ端末6aではコンテンツ2を、そして、ユーザ端末6cではコンテンツ3を選択したときに、映像配信サーバ1がユーザ端末6aに対してコンテンツ2の補間データを、ユーザ端末6cに対してはコンテンツ3の補間データを送信する例を模式図で示した。
On the other hand, when using the interpolation data in step S08, the
引き続き、ユーザ端末6での補間データ処理手順の説明に移る。映像配信サーバ1から伝送された選択コンテンツの補間データがユーザ端末6で通信モジュールを用いて受信され、取得される(ステップS13)。図8に示した例では、ユーザ端末6aに対しコンテンツ2の補間データ、ユーザ端末6cに対しコンテンツ3の補間データとなる。このとき、ユーザ端末6は目的とする補間データを取得できたか否かの判断を行う(ステップS14)。補間データが伝送される無線ネットワーク4、有線ネットワーク5の帯域幅、トラフィックの輻輳状況によって、ユーザ端末6で目的とする補間データを取得できないことがあるためステップS14の判断が行われる。ユーザ端末6で選択コンテンツの補間データを取得できなかった場合は、ステップS08で補間データを使用しないで基本データのみを使用して映像データを再生するときの処理において既に説明したように、ユーザ端末6はメインメモリ22に書込まれ、バッファリングされた基本データのみの映像データ再生の処理を選択コンテンツの終了まで繰り返す(ステップS19)ことになる。
Subsequently, the description will proceed to the interpolation data processing procedure in the
一方、ユーザ端末6で選択コンテンツの補間データを取得できた場合は、ユーザ端末6は映像配信サーバ1からネットワークを介して伝送された補間データをユーザ端末6内の保存用メモリ26に格納する(ステップS15)。次に、ユーザ端末6は保存用メモリ26に格納された選択コンテンツ(図7の例では、ユーザ端末6aに対しコンテンツ2、ユーザ端末6cに対しコンテンツ3)の補間データをメインメモリ22に読み込み、CPU21の制御によりデコーダ27が選択されたコンテンツの補間データを再生可能な映像データにデコードする(ステップS17)。デコードされた再生可能な補間映像データは、メインメモリ22に既にバッファリングされた基本データのみの映像データとともにフルコンテンツの映像データとして合成される(ステップS18)。この後は、基本データと補間データで合成されたフルコンテンツの映像データ再生の処理を選択コンテンツの終了まで繰り返す(ステップS19)。選択したコンテンツの再生が終わり、別の再生コンテンツを選択するときは、ステップS05からステップS19までの処理が繰り返される。なお、前述したように、ネットワークの通信状況によっては、ユーザ端末6と映像配信サーバ1の間が常に繋がっていて希望する補間データが取得できるとは限らないため、映像配信サーバ1から配信されてくる補間データをユーザ端末6内蔵の保存用メモリ26に蓄えておき、保存用メモリ26上に必要な補間データがあるかどうかを検索し、ステップS14における補間データがあるか否かを判断する処理を行ってもよい。図7において映像配信サーバ1がユーザ端末6aに対してコンテンツ2の補間データを、ユーザ端末6cに対してはコンテンツ3の補間データを送信する例を示した模式図に対応して、補間データ伝送用のネットワークの通信状況を反映したステップS12からステップS18までの処理についての例を、図8に模式図で示した。図8において、映像配信サーバ1とユーザ端末6a間のネットワークを介した通信は接続されており、一方、映像配信サーバ1とユーザ端末6c間のネットワークを介した通信は、何らかの障害によって接続されていない状況をそれぞれ示している。このネットワーク接続状況では、ユーザ端末6aでは基本データと補間データを用いてフルコンテンツの再生が行われ、ユーザ端末6cでは基本データのみで再生が行われることになる。
On the other hand, when the
ここで、本発明の実施の形態における映像配信システムにおいて用いられる映像データの補間法の例について簡単に説明する。始めに、図9に示した映像データのフレーム間補間について説明する。図9において、映像データ40のフレームは基本データのフレーム(基本フレーム)41と、補間データのフレーム(補間フレーム)42とから構成されている。例えば、基本データが15fps(Flame Per Second)、補間データも15fpsの再生レートの場合は、1対1で基本フレーム41と補間フレーム42を繰り返すことで30fpsの再生レートで映像データ40の再生ができる。補間データを受信できない場合は補間フレーム42を飛ばす(間引くともいう)ことで、15fpsの再生レートで基本フレーム41のみの映像データ40の再生ができる。受信状況が不安定な場合には15fpsと30fpsそれぞれの映像データ40の再生レートの変化が多いことが考えられる。この場合は数秒間という短い期間の補間フレーム42をユ−ザ端末6が内蔵する保存用メモリ26にバッファリングしておくことで、急な変化を避けることができる。
Here, an example of an interpolation method of video data used in the video distribution system in the embodiment of the present invention will be briefly described. First, the inter-frame interpolation of the video data shown in FIG. 9 will be described. In FIG. 9, a frame of video data 40 includes a basic data frame (basic frame) 41 and an interpolation data frame (interpolation frame) 42. For example, when the basic data is 15 fps (Frame Per Second) and the interpolation data is also 15 fps, the video data 40 can be reproduced at a reproduction rate of 30 fps by repeating the
次に、図10に示したフレーム内補間について説明する。図10において、1つのフレーム内で映像データは白丸(○)で示した基本データの画素(基本画素)43と黒丸(●)で示した補間データの画素(補間画素)44とで構成されているとする。図10に示した例では、横行に示す水平方向の画素の半分を基本画素43としている。例えば、基本画素43は360画素、補間画素44も360画素が水平ライン上に存在することとすると、補間画素44を受信できない場合は360画素で、補間画素44を受信できた場合は720画素で再生ができる。また、このようなフレーム内の画素によるフレーム内補間と、先に図9を用いて説明したフレーム間補間とを同時に用いて映像データの補間を行ってもよい。
Next, intra-frame interpolation shown in FIG. 10 will be described. In FIG. 10, video data is composed of basic data pixels (basic pixels) 43 indicated by white circles (◯) and interpolation data pixels (interpolation pixels) 44 indicated by black circles (●) within one frame. Suppose that In the example shown in FIG. 10, half of the horizontal pixels shown in the horizontal row are the
このほかに、映像データの補間の方法として、Discrete Cosine Transform(DCT)など周波数を変換する圧縮方式を用いることも可能である。この場合、例えば、低周波数成分で作成した圧縮データを基本データとし、高周波成分のみを補間データとする形式を採用してもよいし、高周波成分の基本データと低周波数成分の補間データとするなどの例を含め、各種の方法を利用できる。 In addition to this, as a method for interpolating video data, a compression method for converting a frequency such as Discrete Cosine Transform (DCT) can be used. In this case, for example, it is possible to adopt a format in which compressed data created with low frequency components is used as basic data and only high frequency components are used as interpolation data, or basic data of high frequency components and interpolation data of low frequency components are used. Various methods can be used, including
音声データを映像データに合わせてユーザ端末6で再生する場合も、同様に周波数成分により基本データと補間データに分けて処理することができる。しかし、音声データは映像データと比べて容量が少なく、また途切れた場合に人間に認識されやすいことから、全てのデータを基本データとして、立ち上げ時にユーザ端末に6マルチキャスト伝送し、保存用メモリ26に保存しておくことが望ましい。
Similarly, when audio data is reproduced by the
なお上述した本発明の実施の形態における映像配信システムでは、映像配信サーバ1と端末装置である各ユーザ端末6それぞれの間を分配器2と有線LANモジュールを用いて有線ネットワーク5を介して、または無線LANモジュールを用いて無線ネットワーク4を介して映像データを伝送させる構成例について説明したが、本発明の実施の形態における映像配信システムはこの構成に限るものではなく、ほかの構成も可能である。ほかの映像配信システム構成の例として図11を用いて説明する。図11は本発明の実施の形態における別の映像伝送システムの構成を概略的に示す斜視図である。図11において、図1に示した映像伝送システムと同じ構成要素には同じ符号を付しており、重複を避けるためそれぞれの詳しい説明を省略する。
In the video distribution system according to the embodiment of the present invention described above, between the
図11に示す本発明の実施の形態における別の映像配信システムの構成では、無線LANモジュールを備えず、有線LANモジュールまたは映像・音声信号接続端子のみを備えた映像端末61a、61b、・・・、および映像端末62a、62b、・・・といったいくつかのグループに分けて、それぞれのグループ毎に無線LANモジュールと、有線LANモジュールおよび映像・音声信号接続端子を備えた受信用端末60a、受信用端末60bを配設する。各受信用端末60a、受信用端末60b毎に無線ネットワーク4または有線ネットワーク5を介して映像データの配信伝送を行い、さらにグループ毎に受信用端末60a、受信用端末60bからそれぞれの映像端末61a、61b、・・・、および映像端末62a、62b、・・・に対して映像データの配信伝送を行った上で、映像データのデコードや合成の処理をさせる構成の映像伝送システムである。この映像配信システムでは、端末装置として受信端末とこの受信端末に接続された複数の映像端末が備わる構成になっている。そして、受信端末は図3に示したユーザ端末6から表示装置24とグラフィックコントローラ23を取り除き、この表示装置24とグラフィックコントローラ23で映像端末を構成し、それぞれに映像・音声信号接続端子を備えるように構成したと考えることができる。図11に示す構成の映像伝送システムにおける映像データの配信伝送、映像データのデコードや合成の処理の方法手順については、図1から図3に示した構成の映像伝送システムで、図4から図10を用いて説明した方法手順とほとんど同様であり、重複を避けるためその詳しい説明を省略する。
In the configuration of another video distribution system in the embodiment of the present invention shown in FIG. 11,
図11に示した構成の映像伝送システムにおいては、グループ毎に優先順位を付けて補間データを送信する方式も利用できる。既に前述したが、航空機内のIFEなどに代表される機内映像配信サービスを例に取ると、ファーストクラスやビジネスクラスには優先的に補間データを送信し、エコノミークラスにはファーストクラスやビジネスクラスに送信する以上に余裕がある場合にのみ補間データを送信することも可能となる。 In the video transmission system having the configuration shown in FIG. 11, a method of transmitting interpolation data with priorities assigned to each group can also be used. As already mentioned above, taking the in-flight video distribution service represented by IFE in the aircraft as an example, interpolation data is sent preferentially to the first class and business class, and to the first class and business class to the economy class. Interpolation data can be transmitted only when there is a margin beyond transmission.
なお、上述した本発明の実施の形態における映像配信システムの構成は、映像配信サーバ1とユーザ端末6間の無線ネットワークを介して伝送する通信を中心にして例を挙げてて説明したが、本発明の実施の形態における映像配信システムはこれに限るものではなく、有線ネットワークと無線ネットワーク双方を用いて、基本データをマルチキャスト伝送時には有線ネットワークを、補間データ送信時には無線ネットワークを用いてもよいし、また、その逆に基本データ送信は無線ネットワーク、補間データ送信は有線ネットワークを用いてもよいことはいうまでもない。
The configuration of the video distribution system in the above-described embodiment of the present invention has been described with an example centered on communication transmitted via the wireless network between the
以上説明したように、本発明の実施の形態における映像配信システムは、立ち上げ時は、まずマルチキャスト伝送にて、最低限の品質を確保するデータを複数の端末の記憶領域に送信して蓄積・保存する。その後、VODなどの映像伝送システムとしてのサービス実施時、ユーザーの操作により、映像を再生する際に、記憶領域に蓄積していたデータを用いて再生するとともに、ネットワークを経由して配信サーバーから解像度やフレームなどを補間するデータを受信し、再生に用いるものである。これにより、ネットワークの状況に変化があっても、最低限の映像データの品質を確保でき、ネットワークの状況がよければ、さらに良い品質の映像を再生できる。また、解像度が違う端末が複数ある場合でも、例えば最低限の品質で良い端末と、解像度が高く、品質を良くする端末とを分類して映像配信サービスを行うことができる。さらには、映像配信システムに備わる端末装置内の記憶領域に、再生に必要な全ての映像データを保管しておく必要がなくなるので、記憶領域の容量を削減でき、映像配信システムの価格の増大を抑えることを可能にした映像配信システムを提供することができる。 As described above, when the video distribution system according to the embodiment of the present invention is started up, first, by multicast transmission, data for ensuring minimum quality is transmitted to the storage areas of a plurality of terminals for storage / storage. save. After that, when a video transmission system such as VOD is implemented, when the video is played back by user operation, it is played back using the data stored in the storage area, and the resolution is sent from the distribution server via the network. Data for interpolating frames and frames is received and used for reproduction. Thereby, even if there is a change in the network status, the minimum quality of video data can be ensured, and if the network status is good, a video with better quality can be reproduced. Further, even when there are a plurality of terminals having different resolutions, for example, it is possible to classify a terminal having a minimum quality and a terminal having a high resolution and improving the quality to perform a video distribution service. Furthermore, since it is no longer necessary to store all video data required for playback in the storage area of the terminal device provided in the video distribution system, the capacity of the storage area can be reduced, and the price of the video distribution system can be increased. It is possible to provide a video distribution system that can be suppressed.
本発明にかかる映像配信システムは、旅客機内などにおいて複数の映像データ配信伝送する映像配信サービスに適用して有用である。 The video distribution system according to the present invention is useful when applied to a video distribution service for distributing and transmitting a plurality of video data in a passenger plane or the like.
1 (映像)配信サーバ
2 分配器
4 無線ネットワーク
5 有線ネットワーク
6,6a,6b,6c,6d ユーザ端末
11,21 CPU
12,22 メインメモリ
13,28 無線LANモジュール
14,29 有線LANモジュール
15 HDDコントローラ(ハードディスクコントローラ)
16 HDD(ハードディスクドライブ)
23 グラフィックコントローラ
24 表示装置
25 メモリコントローラ
26 保存用メモリ
27 デコーダ
30 画面
40 映像データ
41 基本フレーム
42 補間フレーム
43 基本画素
44 補間画素
60,60a,60b 受信端末
61a,61b,62a,62b 映像端末
1 (Video)
12, 22
16 HDD (Hard Disk Drive)
23
Claims (6)
前記映像配信サーバは配信映像の基本データをあらかじめ前記ネットワークを経由して前記端末装置に送信し、
前記端末装置は受信した前記基本データを保存メモリに保存し、
前記映像配信サーバは前記端末装置からの要求に基づいて前記基本データを補間する補間データを前記端末装置に送信し、
前記端末装置は前記補間データを受信できた場合には、前記基本データと合成して映像を再生し、前記補間データを受信できなかった場合には、前記基本データのみで映像を再生することを特徴とする映像配信システム。 In a video distribution system comprising a network, a plurality of terminal devices connected to the network, and a video distribution server,
The video distribution server transmits the basic data of the distribution video to the terminal device via the network in advance,
The terminal device stores the received basic data in a storage memory,
The video distribution server transmits interpolation data for interpolating the basic data to the terminal device based on a request from the terminal device,
When the terminal device can receive the interpolation data, the terminal device combines the basic data to reproduce the video, and when the interpolation data cannot be received, the terminal device reproduces the video using only the basic data. A featured video distribution system.
前記受信端末に接続された複数の映像端末とから構成され、
前記受信端末は受信した前記基本データおよび前記補間データを合成し、前記映像端末に前記映像を提供することを特徴とする請求項1に記載の映像配信システム。 The terminal device includes a plurality of receiving terminals connected to the network;
A plurality of video terminals connected to the receiving terminal;
The video distribution system according to claim 1, wherein the receiving terminal combines the received basic data and the interpolation data and provides the video to the video terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007183958A JP2009021894A (en) | 2007-07-13 | 2007-07-13 | Video distribution system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007183958A JP2009021894A (en) | 2007-07-13 | 2007-07-13 | Video distribution system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009021894A true JP2009021894A (en) | 2009-01-29 |
Family
ID=40361110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007183958A Pending JP2009021894A (en) | 2007-07-13 | 2007-07-13 | Video distribution system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009021894A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016127328A (en) * | 2014-12-26 | 2016-07-11 | 株式会社東芝 | Electronic apparatus and signal processing method |
JP2021175025A (en) * | 2020-04-21 | 2021-11-01 | 株式会社東芝 | Server device, information processing method, and program |
JP7438835B2 (en) | 2020-04-21 | 2024-02-27 | 株式会社東芝 | Server device, communication system, program and information processing method |
-
2007
- 2007-07-13 JP JP2007183958A patent/JP2009021894A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016127328A (en) * | 2014-12-26 | 2016-07-11 | 株式会社東芝 | Electronic apparatus and signal processing method |
JP2021175025A (en) * | 2020-04-21 | 2021-11-01 | 株式会社東芝 | Server device, information processing method, and program |
JP7419151B2 (en) | 2020-04-21 | 2024-01-22 | 株式会社東芝 | Server device, information processing method and program |
JP7438835B2 (en) | 2020-04-21 | 2024-02-27 | 株式会社東芝 | Server device, communication system, program and information processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8468569B2 (en) | Content delivery system and method, and server apparatus and receiving apparatus used in this content delivery system | |
KR101987503B1 (en) | Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system | |
JP4510005B2 (en) | Media distribution device and media reception device | |
JP4730590B2 (en) | Control device and method, information processing device and method, and program | |
JP2008283571A (en) | Content distribution device, system and method | |
EP2061241A1 (en) | Method and device for playing video data of high bit rate format by player suitable to play video data of low bit rate format | |
JP7255116B2 (en) | Information processing system, terminal device and program | |
KR100744594B1 (en) | Content reproduce system, reproduce device, reproduce method, and distribution server | |
JP5095455B2 (en) | Content reproduction apparatus, content reproduction method, program, and recording medium | |
US20230239532A1 (en) | Systems and methods for media content hand-off based on type of buffered data | |
JP2010124038A (en) | Image converter, image reproducer, image conversion/reproduction system, and program | |
JP4998775B2 (en) | Information distribution system and method, information distribution apparatus, receiving terminal, and information relay apparatus | |
JP4915208B2 (en) | Stream data playback system | |
US20070201819A1 (en) | Apparatus and method for variable speed playback of digital broadcasting stream | |
AU2010284738A1 (en) | Method and apparatus for providing contents via network, method and apparatus for receiving contents via network, and method and apparatus for backing up data via network, backup data providing device, and backup system | |
JP2009021894A (en) | Video distribution system | |
JP2005316007A (en) | Image display controlling apparatus | |
JP2012222399A (en) | Video playback system, video playback method, and video playback device and program | |
JP5333218B2 (en) | Moving image data distribution system, method and program thereof | |
US8428439B2 (en) | Broadcast program recording/reproducing device and broadcast program recording/reproducing method | |
JP2003046928A (en) | Network image reproduction method and compression image data decoding reproduction apparatus | |
JP6647131B2 (en) | Distribution device and program | |
KR102392908B1 (en) | Method, Apparatus and System for Providing of Free Viewpoint Video Service | |
US20230224521A1 (en) | Electronic device and operation method thereof | |
KR101311931B1 (en) | Method for reproducing in real-time the file receiving in non real-time transfer protocol and video apparatus using the same |