JP2005176352A

JP2005176352A - 移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステム

Info

Publication number: JP2005176352A
Application number: JP2004349182A
Authority: JP
Inventors: Seong-Jun Park; ソン−ジュンパーク，
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2003-12-05
Filing date: 2004-12-01
Publication date: 2005-06-30
Also published as: KR100556911B1; CN1717047A; KR20050054702A; EP1538817A1; US20050123042A1

Abstract

【課題】動画像ストリーミングファイルを利用してビデオデータ及びオーディオデータを共に符号化及び復号化できる移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステムを提供する。
【解決手段】移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイルは、無線動画像ストリーミングファイルを認識するためのファイルヘッダー２００と、ＭＪＰＥＧ方式で圧縮されたビデオペイロードデータＶ及びオーディオペイロードデータＡを含み、各ビデオペイロードデータＶ及び各オーディオペイロードデータＡ毎にストリーミングを制御するためのペイロードヘッダー１１０を含むペイロード１００と、を含んで構成する。
【選択図】図１

Description

本発明は、移動通信端末機を通して動画像ストリーミングサービスを提供するための方法及びシステム、並びにそのサービスのための動画像ストリーミングファイル構造（ｆｏｒｍａｔ）に関する。

一般に、ストリーミング方式とは、マルチメディアデータ伝送方式の一つで、インターネットで水が流れるようにデータをリードしながら、伝送はもちろんリアルタイム再生の可能な伝送方式をいう。前記ストリーミング技術により、ユーザはインターネット上でデータ容量の大きいビデオ、オーディオ資料を自分のＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）にダウンロードすることなく、リアルタイムで見たり聞いたりすることができるようになった。

動画像ストリーミングを実現するための技術は、大きく動画像圧縮アルゴリズムとネットワークプロトコルとに分けられる。動画像圧縮アルゴリズムには、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｅｘｐｅｒｔｓＧｒｏｕｐ）、Ｈ．２６ｘなどがあり、ネットワークプロトコルには、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）、ＲＴＣＰ（Ｒｅａｌ−ＴｉｍｅＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）などがある。

前記ＭＰＥＧ及び前記Ｈ．２６ｘは、動き補償圧縮とＤＣＴ損失圧縮とを結合したハイブリッド圧縮方式である。前記動き補償圧縮は、以前のフレームと現在のフレームとの差を利用して動きを推定し、その推定された動きを補償する方式である。前記ＤＣＴ損失圧縮は、画像を視覚的に高い重要度の情報を有する低周波成分とそれより低い重要度の情報を有する高周波成分とに分離した後、高周波成分に損失を与えながら圧縮する方式である。

前記ＲＴＰは、マルチメディアデータを伝送するためのプロトコルであり、受信シーケンス番号とペイロードとを区別するための構造を有する。前記ＲＴＣＰは、ＲＴＰの細部事項に定義され、ＲＴＰデータ伝送を監視及び管理する。

動画像圧縮標準の特徴は、動き補償圧縮及びＤＣＴ損失圧縮を基本骨格とし、量子化マトリックスアルゴリズム及びハフマンランレングス圧縮アルゴリズムを更に用いることにある。前記量子化マトリックスアルゴリズムは、画像が低周波成分に偏重される特性を利用して、ＤＣＴ変換されたＤＣＴ係数を量子化して圧縮効率を向上させる方式である。前記ハフマン／ランレングス圧縮アルゴリズムは、固定長符号を可変長符号に変換する方式であって、頻繁に発生するシンボルには短いコードを割り当て、たまに発生するシンボルには長いコードを割り当てることにより、平均符号長を元のシンボルの固定長より短くするための圧縮方式である。

このようなＭＰＥＧ、Ｈ．２６ｘなどの動画像圧縮アルゴリズム、及びＲＴＰ、ＲＴＣＰなどのネットワークプロトコルは、一般的に有線網で用いられている方法である。

一方、移動通信サービスの多様化の要求によって、移動通信端末機を利用した無線動画像ストリーミングサービスが要求されている。しかしながら、前記有線網環境で一般的に用いられていたＭＰＥＧ、Ｈ．２６ｘなどの動画像圧縮アルゴリズム、及びＲＴＰ、ＲＴＣＰなどのネットワークプロトコルを移動通信網環境にそのまま用いるのには、移動通信網環境は多い制限事項を有している。

即ち、移動通信網環境は、多重チャネルフェーディング現象、ハンドオフ及び電力減殺（ｐｏｗｅｒａｔｔｅｎｕａｔｉｏｎ）のような固有の制限事項を有している。特に、移動通信端末機は、有線網の端末機（例えば、ＰＣ）に比べて低い水準の中央処理装置を有し、メモリのサイズも更に小さく、メモリアクセス速度も更に低い。

従って、一般の動画像圧縮アルゴリズム及びネットワークプロトコルを移動通信端末機にそのまま適用することは無理であり、その適用を可能にするためには、高仕様、高価格の移動通信端末機環境が要求される。
特開２００２−１１２２６２号公報特開２００２−０５８０２５号公報特開２００１−２５８０３１号公報大韓民国特許第０３５２２９５号明細書大韓民国特許出願公開第２００２−０６４５６４号明細書米国特許第６，５４６，４２６号明細書ヨーロッパ特許出願公開第１００５０４１号明細書

このような移動通信網環境の制限事項により、前述の一般の動画像圧縮アルゴリズム及びネットワークプロトコルを利用して移動通信端末機の動画像ストリーミングサービスを行うとき、プレー途中に画像が途切れる場合が頻繁に発生してサービスの品質が顕著に低下するという問題点があった。

また、前述の一般の動画像圧縮アルゴリズム及びネットワークプロトコルを利用して無線網で動画像を伝送するときに膠着状態（ｄｅａｄｌｏｃｋ）が発生する場合、動き補償アルゴリズムの特性上、再伝送が要求されるフレームはもちろん、そのフレームの参照フレームまで共に伝送されなければならないため、ストリーミングサービスの提供が難しいという問題点があった。

本発明は、このような問題点を解決するために提案されたもので、動画像ストリーミングファイルのヘッダーに、動画像ストリーミングファイルを認識できる情報を保存し、前記動画像ストリーミングファイルのペイロードに、動画像ストリーミングサービス時に再生されるペイロードデータと、前記ペイロードデータのストリーミングを制御及び管理するためのペイロードヘッダーとを保存することにより、動画像ストリーミングファイルを利用してビデオデータ及びオーディオデータを共に符号化及び復号化できる移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステムを提供することを目的とする。

本発明の他の目的は、動画像ストリーミングファイルのペイロードデータを複数のセグメントに分け、各セグメントの伝送を制御するためのセグメントヘッダーを備えることにより、ペイロードデータを迅速で且つ信頼性よく伝送できる移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステムを提供することにある。

本発明の更に他の目的は、動き補償を行わず参照フレームなしに単独フレームを復号化することにより、無線網のフェーディングによる膠着状態に效果的に対処することができ、移動通信端末機のメモリ使用量を減らし、速い伝送速度を保障できる移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステムを提供することにある。

上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
（項目１）
無線動画像ストリーミングファイルを認識するためのファイルヘッダーと、
ＭＪＰＥＧ（ＭｏｔｉｏｎＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ））方式で圧縮されたビデオペイロードデータ及びオーディオペイロードデータを含み、各ビデオペイロードデータ及び各オーディオペイロードデータ毎にストリーミングを制御するためのペイロードヘッダーを含むペイロードと、
を含んで構成されることを特徴とする移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目２）
前記ファイルヘッダーは、
動画像ストリーミングファイルの全長さ情報と、
前記ペイロードの総個数情報と、
ストリーミングサービスされるコンテントの横サイズ情報と、
前記コンテントの縦サイズ情報と、
前記コンテントの総再生時間情報と、
前記コンテントのビデオフレームの符号化種類情報と、
前記コンテントのオーディオデータの符号化種類情報と、
前記コンテントを提供するコンテント提供者情報と、
を含むことを特徴とする項目１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目３）
前記ペイロードヘッダーは、
現在のペイロードが再生されるべき時間情報と、
現在伝送されているペイロードのインデックスと、
現在伝送されているペイロードの種類情報と、
現在伝送されているペイロードの総セグメント個数情報と、
現在伝送されているペイロードの無欠性を検査するためのエラー制御データと、
を含むことを特徴とする項目１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目４）
前記ビデオペイロードデータ及びオーディオペイロードデータは、それぞれ伝送制御のために複数のセグメントに分けられ、
各セグメントは、セグメントヘッダーとセグメントデータとから構成されることを特徴とする項目１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目５）
前記セグメントヘッダーを利用して前記セグメントが伝送制御されることを特徴とする項目４記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目６）
前記セグメントヘッダーは、
現在伝送されるセグメントが属するペイロードのインデックスと、
現在伝送されるセグメントのインデックスと、
現在伝送されるセグメントがペイロードの最後のセグメントであるか否かを確認するためのフラグデータと、
最後のセグメントのデータのサイズ情報と、
を含むことを特徴とする項目５記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目７）
前記ペイロードは、
前記無線動画像ストリーミングファイルの総再生時間を所定の区間に分割し、第１所定の区間の間に再生される複数のビデオフレームの後に前記複数のビデオフレームと同期して再生される所定の長さのオーディオデータを含むことを特徴とする項目１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
（項目８）
ビデオフレーム及びオーディオデータをＭＪＰＥＧ方式で無線動画像ストリーミング符号化してコンテントを生成するストリーミングコンテント生成部と、
前記生成されたコンテントを保存し管理するコンテントサーバーと、
移動通信端末機により要求されたコンテントを前記コンテントサーバーから検索し、前記検索されたコンテントをストリーミング方式で前記移動通信端末機に提供する無線ＷＡＰ（ＷｉｒｅｌｅｓｓＡｐｐｌｉｃａｔｉｏｎＰｒｏｔｏｃｏｌ）サーバーと、
前記コンテントを前記ＭＪＰＥＧ方式で無線動画像ストリーミング復号化して前記無線動画像ストリーミングサービスをユーザに提供する前記移動通信端末機と、
を含んで構成されることを特徴とする移動通信端末機のための動画像ストリーミングサービスシステム。
（項目９）
前記コンテントは、無線動画像ストリーミングファイルにより構成され、
前記無線動画像ストリーミングファイルは、ＭＪＰＥＧ動画像ファイルにオーディオペイロードデータを追加し、ペイロードデータのストリーミングを制御及び管理するためのペイロードヘッダーを含むことを特徴とする項目８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
（項目１０）
前記ペイロードデータは、伝送制御のために複数のセグメントに分けられ、
各セグメントは、セグメントヘッダーとセグメントデータとから構成されることを特徴とする項目９記載の移動通信端末機のための動画像ストリーミングサービスシステム。
（項目１１）
前記移動通信端末機と前記無線ＷＡＰサーバー間には、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）を通してコンテントが伝送されることを特徴とする項目８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
（項目１２）
前記無線動画像ストリーミング符号化は、
ＭＪＰＥＧ方式で圧縮されたビデオフレーム及びオーディオデータを複数のセグメントに分け、セグメント毎に伝送制御のためのセグメントヘッダーを生成し、前記ビデオフレームのストリーミングを制御するためのペイロードヘッダーを生成し、前記オーディオデータのストリーミングを制御するためのペイロードヘッダーを生成し、無線動画像ストリーミングサービスのためのコンテントであることを認識するためのファイルヘッダーを生成することを特徴とする項目８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
（項目１３）
前記無線動画像ストリーミング復号化は、
前記コンテントのファイルヘッダー情報を利用して、動画像ストリーミングサービスのためのコンテントストリーミングであることを認識し、前記コンテントのペイロードヘッダー情報を利用して、ペイロードデータを再生し、ペイロードデータのセグメントヘッダー情報を利用して、ペイロードデータのセグメントデータの伝送制御を行うことを特徴とする項目８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
（項目１４）
無線動画像ストリーミングサービスをサーバーに要請する段階と、
前記サーバーからＵＤＰ方式で動画像ストリーミングファイルを受信する段階と、
前記動画像ストリーミングファイルのファイルヘッダーを利用して、動画像ストリーミングファイルであることを認識する段階と、
前記動画像ストリーミングファイルのペイロードヘッダーを利用して、前記動画像ストリーミングファイルのペイロードデータのビデオフレーム及びオーディオデータを再生する段階と、
を有することを特徴とする移動通信端末機の動画像ストリーミングサービス方法。
（項目１５）
前記ペイロードデータのセグメントヘッダーを利用して、前記移動通信端末機と前記サーバー間に前記ペイロードデータのセグメントデータの伝送制御を行う段階を更に有することを特徴とする項目１４記載の移動通信端末機の動画像ストリーミングサービス方法。
（項目１６）
前記動画像ストリーミングファイルは、
ビデオフレーム及びオーディオデータが複数のセグメントに分けられ、セグメント毎に伝送制御のためのセグメントヘッダーを含み、前記ビデオフレームのストリーミングを制御するためのビデオペイロードヘッダーを含み、前記オーディオデータのストリーミングを制御するためのオーディオペイロードヘッダーを含み、無線動画像ストリーミングサービスのためのコンテントであることを認識するためのファイルヘッダーを含むことを特徴とする項目１４記載の移動通信端末機の動画像ストリーミングサービス方法。
（項目１７）
前記ファイルヘッダーは、
前記動画像ストリーミングファイルの全長さ情報と、
ペイロードの総個数情報と、
ストリーミングサービスされるコンテントの横サイズ情報と、
前記コンテントの縦サイズ情報と、
前記コンテントの総再生時間情報と、
前記コンテントのビデオフレームの符号化種類情報と、
前記コンテントのオーディオデータの符号化種類情報と、
前記コンテントを提供するコンテント提供者情報と、
を含むことを特徴とする項目１６記載の移動通信端末機の動画像ストリーミングサービス方法。
（項目１８）
前記ビデオペイロードヘッダー及びオーディオペイロードヘッダーは、
現在のペイロードが再生されるべき時間情報と、
現在伝送されているペイロードのインデックスと、
現在伝送されているペイロードの種類情報と、
現在伝送されているペイロードの総セグメント個数情報と、
現在伝送されているペイロードの無欠性を検査するためのエラー制御データと、
を含むことを特徴とする項目１６記載の移動通信端末機の動画像ストリーミングサービス方法。
（項目１９）
前記セグメントヘッダーは、
現在伝送されるセグメントが属するペイロードのインデックスと、
現在伝送されるセグメントのインデックスと、
現在伝送されるセグメントがペイロードの最後のセグメントであるか否かを確認するためのフラグデータと、
最後のセグメントのデータのサイズ情報と、
を含むことを特徴とする項目１６記載の移動通信端末機の動画像ストリーミングサービス方法。
（項目２０）
前記ビデオフレームは、
参照フレームなしに符号化された独立フレームであることを特徴とする項目１４記載の移動通信端末機の動画像ストリーミングサービス方法。

このような目的を達成するために、本発明に係る移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイルは、無線動画像ストリーミングファイルを認識するためのファイルヘッダーと、ＭＪＰＥＧ（ＭｏｔｉｏｎＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ））方式で圧縮されたビデオペイロードデータ及びオーディオペイロードデータを含み、各ビデオペイロードデータ及び各オーディオペイロードデータ毎にストリーミングを制御するためのペイロードヘッダーを含むペイロードと、を含んで構成されることを特徴とする。

そして、本発明に係る移動通信端末機のための動画像ストリーミングサービスシステムは、ストリーミング方式で再生されるビデオフレーム及びオーディオデータをＭＪＰＥＧ方式で無線動画像ストリーミング符号化して無線動画像ストリーミングサービスのためのコンテント（または、コンテンツ）を生成するストリーミングコンテント生成部と、前記生成されたコンテントを保存し管理するコンテントサーバーと、移動通信端末機により要求されたコンテントを前記コンテントサーバーから検索し、前記検索されたコンテントをストリーミング方式で前記移動通信端末機に提供する無線ＷＡＰ（ＷｉｒｅｌｅｓｓＡｐｐｌｉｃａｔｉｏｎＰｒｏｔｏｃｏｌ）サーバーと、前記コンテントを前記ＭＪＰＥＧ方式で無線動画像ストリーミング復号化して前記無線動画像ストリーミングサービスをユーザに提供する前記移動通信端末機と、を含んで構成されることを特徴とする。

また、前記ストリーミングコンテント生成部の無線動画像ストリーミング符号化は、ＭＪＰＥＧ方式で圧縮されたビデオフレーム及びオーディオデータを複数のセグメントに分け、セグメント毎に伝送制御のためのセグメントヘッダーを生成し、前記ビデオフレームのストリーミングを制御するためのペイロードヘッダーを生成し、前記オーディオデータのストリーミングを制御するためのペイロードヘッダーを生成し、無線動画像ストリーミングサービスのためのコンテントであることを認識するためのファイルヘッダーを生成することを含む。

また、前記移動通信端末機の無線動画像ストリーミング復号化は、前記コンテントのファイルヘッダー情報を利用して、動画像ストリーミングサービスのためのコンテントストリーミングであることを認識し、前記コンテントのペイロードヘッダー情報を利用して、ペイロードデータを再生する。前記移動通信端末機は、前記ペイロードデータのセグメントヘッダー情報を利用して、ペイロードデータのセグメントデータの伝送制御を前記無線ＷＡＰサーバーと共に行う。

そして、本発明に係る移動通信端末機の動画像ストリーミングサービス方法は、無線動画像ストリーミングサービスをサーバーに要請する段階と、前記サーバーからＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）方式で動画像ストリーミングファイルを受信する段階と、前記動画像ストリーミングファイルのファイルヘッダーを利用して、動画像ストリーミングファイルであることを認識する段階と、前記動画像ストリーミングファイルのペイロードヘッダーを利用して、前記動画像ストリーミングファイルのペイロードデータのビデオフレーム及びオーディオデータを再生する段階と、を有することを特徴とする。

本発明は、無線動画像ストリーミングファイルを無線動画像ストリーミングファイルを認識するためのファイルヘッダーと、伝送制御のためにセグメントデータ及びセグメントヘッダーに分けられたペイロードデータと、前記ペイロードデータのストリーミングを制御及び管理するためのペイロードヘッダーと、から構成することにより伝送制御が可能であるため、ＵＤＰを利用して迅速で且つ信頼性よく伝送を行うことができ、ＭＪＰＥＧ方式を利用して動画像を圧縮及び再生できるという効果がある。

本発明は、動画像の圧縮時に一般的に用いられる動き補償圧縮方法を用いないので、無線網のフェーディング現象により膠着状態が発生した場合、現在の画像をプレーするために以前または以後の画像、即ち、参照画像を参照しないため、現在の画像に対する動画像フレームのみを再伝送して膠着状態を簡単に処理できるという効果がある。且つ、本発明は、参照画像を保存するためのフレームメモリを必要とせず、純粋な独立画像を受信して再生するので、移動通信端末機のデコーダの構成が更に簡単になるという効果があり、動き補償によるＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）単位のファイルアクセスを行わないので、移動通信端末機のＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）の使用量を低減できるという効果がある。

本発明は、拡張されたＭＪＰＥＧ動画像ファイルを利用して無線動画像ストリーミングサービスを移動通信端末機に提供することができるので、移動通信端末機のＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）の使用量を低減できるという効果がある。

本発明に係る無線動画像ストリーミングファイルが複数対複数のようなマルチキャスト環境で必要な同期化発信識別子のような情報を含まないので、本発明は、一対複数のブロードキャスト環境に最適化したシステムであって、速い伝送速度を保障できるという効果がある。

一般に、ＭＪＰＥＧは、停止画像圧縮方式であるＪＰＥＧを動画像圧縮に応用したもので、ＭＪＰＥＧの各フレームはＪＰＥＧで圧縮されている。前記ＪＰＥＧは、国際標準化機構であるＣＣＩＴＴ（ＣｏｍｍｉｔｔｅｅＣｏｎｓｕｌｔａｔｉｖｅＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｇｒａｐｈｙａｎｄＴｅｌｅｐｈｏｎｙ）及びＩＳＯ（ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ）により定義された停止画像（ｃｏｎｔｉｎｕｏｕｓｔｏｎｅｓｔｉｌｌｉｍａｇｅ）圧縮に関する国際標準で、二進画像を除いたグレーレベル画像やカラー画像など、ほとんど全ての２次元停止画像を圧縮するために必要な事項を明示している。

ＭＪＰＥＧにおいて各フレームは、以前及び以後のフレームに関係なく単一のフレームとして圧縮し、動画像再生情報を共に圧縮して、ＭＰＥＧより圧縮率が高い。且つ、圧縮時に圧縮率を調整できるため画質の調整が可能で、他の圧縮方式に比べて計算量が少ないため迅速に圧縮することができる。

本発明は、ＭＪＰＥＧ基盤の動画像ファイルにオーディオペイロードを追加し、ペイロードデータのストリーミングを制御及び管理するためのペイロードヘッダーをペイロードデータ毎に備え、伝送制御が可能なように各ペイロードデータを複数のセグメントに分けることにより、動き補償圧縮方法でないＭＪＰＥＧ方式で圧縮された動画像ストリーミングファイルを利用して無線動画像ストリーミングサービスを提供し、ＵＤＰを通して迅速で且つ信頼性のある動画像伝送を行う。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

図１は、本発明に係る移動通信端末機の無線動画像ストリーミングサービスのための無線動画像ストリーミングファイルの構造を示す。

図１に示すように、本発明に係る無線動画像ストリーミングファイルは、一般のＭＪＰＥＧ動画像ファイルのペイロードにオーディオデータを更に含む。即ち、本発明に係る無線動画像ストリーミングファイルは、動画像ストリーミング方式で再生される複数のビデオフレームＶ及びオーディオデータＡを含むペイロード１００と、前記動画像ストリーミングファイルを認識できるファイルヘッダー２００と、を含んで構成される。

前記ファイルヘッダー２００は、
１）動画像ストリーミングファイルの全長さ（ＦｉｌｅＬｅｎｇｔｈ（３２ｂｉｔｓ））２０１
２）ペイロード１００の総個数（ＮｕｍｂｅｒｏｆＰａｙｌｏａｄ（２４ｂｉｔｓ））２０２
３）ストリーミングサービスされるコンテントの横サイズ（ＣｏｎｔｅｎｔＷｉｄｔｈ（１２ｂｉｔｓ））２０３
４）前記コンテントの縦サイズ（ＣｏｎｔｅｎｔＨｅｉｇｈｔ（１２ｂｉｔｓ））２０４
５）前記コンテントのｍｓｅｃ単位の総再生時間（ＴｏｔａｌＰｌａｙＴｉｍｅ（３２ｂｉｔｓ））２０５
６）前記コンテントのビデオフレームの符号化種類（ＶｉｄｅｏＰａｙｌｏａｄＴｙｐｅ（８ｂｉｔｓ））２０６
７）前記コンテントのオーディオデータの符号化種類（ＡｕｄｉｏＰａｙｌｏａｄＴｙｐｅ（８ｂｉｔ））２０７
８）前記コンテントを提供するＣＰ（ＣｏｎｔｅｎｔｓＰｒｏｖｉｄｅｒ）情報（ＣＰＩｎｆｏｒｍａｔｉｏｎ（フィールドの長さは可変的））２０８
を含む。

前記ペイロード１００において、一つのビデオペイロードデータＶは一つのビデオフレームを示し、一つのオーディオペイロードデータＡは所定の長さの音声データを示す。第１所定の時間の間に再生される複数のビデオフレームＶフィールドの後に前記第１所定の時間の間に再生されるオーディオデータＡを追加し、第２所定の時間の間に再生される複数のビデオフレームＶの後に前記第２所定の時間の間に再生されるオーディオデータＡを追加する方式でペイロード１００が生成される。

前記ペイロード１００は、図２に示すように、各ビデオフレーム１２０及び各オーディオデータ１２０毎にペイロードヘッダー１１０を備える。

各ペイロードヘッダー１１０は、
１）現在のペイロードが再生されるべき時間（ＰａｙｌｏａｄＰｌａｙＴｉｍｅＳｔａｍｐ（３２ｂｉｔ））１１１
２）現在伝送されているペイロードのインデックス（ＰａｙｌｏａｄＳｅｑｕｅｎｃｅＮｕｍｂｅｒ（２４ｂｉｔ））１１２
３）現在伝送されているペイロードデータの種類（ＰａｙｌｏａｄＴｙｐｅ（１ｂｉｔ））１１３
４）現在伝送されているペイロードの総セグメント個数（ＮｕｍｂｅｒｏｆＳｅｑｕｅｎｃｅｏｆＰａｙｌｏａｄ（２３ｂｉｔ））１１４
５）現在伝送されているペイロードの無欠性を検査するためのエラー制御データ（ＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）Ｄａｔａ（１６ｂｉｔ））１１５
を含む。

前記現在のペイロードが再生されるべき時間（ＰａｙｌｏａｄＰｌａｙＴｉｍｅＳｔａｍｐ）１１１は、ビデオフレームとオーディオデータを同期させるために、現在フレームが再生されるべき時間（ＦｒａｍｅＰｌａｙＴｉｍｅＳｔａｍｐ）と共に利用される。

前記各ビデオフレーム１２０及び各オーディオデータ１２０は、図３に示すように、複数のセグメントに分けられ、各セグメントは、セグメントヘッダー１３０とセグメントデータ１４０とを含む。前記各セグメントのサイズは固定されており、例えば、５１２ｂｙｔｅｓを有することができる。本発明は、動画像ストリーミングファイルの各ビデオフレーム及び各オーディオデータを複数のセグメントに分け、セグメントヘッダーを利用してセグメントを伝送制御することにより、ＵＤＰを通して伝送される各ビデオフレーム及び各オーディオデータの伝送制御を行うことができる。

前記各セグメントヘッダー１３０は、
１）現在伝送されるセグメントが属するペイロードのインデックス（ＰａｙｌｏａｄＳｅｑｕｅｎｃｅＮｕｍｂｅｒ（２４ｂｉｔ））１３１
２）現在伝送されるセグメントのインデックス（ＳｅｇｍｅｎｔＳｅｑｕｅｎｃｅＮｕｍｂｅｒ（１６ｂｉｔ））１３２
３）現在伝送されるセグメントがペイロードの最後のセグメントであるか否かを確認するためのデータ（ＬａｓｔＳｅｇｍｅｎｔＦｌａｇ（１ｂｉｔ））１３３
４）最後のセグメントのデータサイズ（ＬａｓｔＳｅｇｍｅｎｔＤａｔａＳｉｚｅ（７ｂｉｔ））１３４
を含む。

前記無線動画像ストリーミングファイルをＵＤＰを利用して伝送する場合、ＵＤＰの特性上、セグメントの伝送順序が変わる場合が発生できるので、現在伝送されるセグメントが属するペイロードのインデックス（ＰａｙｌｏａｄＳｅｑｕｅｎｃｅＮｕｍｂｅｒ）１３１、及び現在伝送されるセグメントのインデックス（ＳｅｇｍｅｎｔＳｅｑｕｅｎｃｅＮｕｍｂｅｒ）１３２は、セグメントの伝送時に共に伝送されるべきである。例えば、前記現在伝送されるセグメントがペイロードの最後のセグメントであるか否かを確認するためのデータ（ＬａｓｔＳｅｇｍｅｎｔＦｌａｇ）１３３の値が「０」であると、現在セグメントが属するペイロードの最後のセグメントでないことを示し、「１」であると、現在セグメントが属するペイロードの最後のセグメントであることを示す。且つ、現在のセグメントが最後のセグメントでないとき、前記最後のセグメントのデータサイズ（ＬａｓｔＳｅｇｍｅｎｔＤａｔａＳｉｚｅ）１３４は意味がないので、７ｂｉｔは全て「０」で埋められる。

このように、本発明に係る無線動画像ストリーミングファイルは、動画像圧縮方式と停止画像圧縮方式の中間段階であるＭＪＰＥＧを無線動画像ストリーミングサービスに適した形態に改善及び拡張した構造であって、オーディオペイロードデータを更に含み、各ペイロードデータに対しストリーミングサービスを実現するためにペイロードヘッダーを更に含み、伝送制御のために各ペイロードデータを複数のセグメントに分ける。

ここでは、本発明に係る無線動画像ストリーミングファイルを利用して移動通信端末機に動画像ストリーミングサービスを提供するためのシステムをＭＳＷ（ＭｕｌｔｉｍｅｄｉａＳｔｒｅａｍｉｎｇｆｏｒＷｉｒｅｌｅｓｓ）システムと称し、本発明に係る無線動画像ストリーミングサービスのための無線動画像ストリーミングファイル（または、ＭＳＷファイル）を符号化するエンコーダをＭＳＷエンコーダと称し、前記無線動画像ストリーミングサービスのための無線動画像ストリーミングファイルを復号化するデコーダをＭＳＷデコーダと称する。

図４は、本発明に係るＭＳＷシステムの構成を示す。図４に示すように、本発明に係るＭＳＷシステムは、無線動画像ストリーミングサービスを要求し提供されるための移動通信端末機３００と、前記移動通信端末機３００との無線接続を通して、動画像ストリーミングサービスのためのコンテントストリーミングを行う無線ＷＡＰサーバー３１０と、前記無線ＷＡＰサーバー３１０のコンテント要求信号によってコンテントを前記無線ＷＡＰサーバー３１０に提供するＭＳＷコンテントサーバー３２０と、前記コンテントをＭＳＷ符号化により生成した後、前記ＭＳＷコンテントサーバー３２０に保存するコンテント生成部３３０と、を含んで構成される。

前記移動通信端末機３００は、図５に示すように、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）機能を行うＡＲＭ（ＡｄｖａｎｃｅｄＲＩＳＣＭａｃｈｉｎｅｓ）コアと、ＭＳＷコーデック（ｃｏｄｅｒａｎｄｄｅｃｏｄｅｒ）プログラムを支援するためのＤＭＳＳ（ＤｕａｌＭｏｄｅＳｕｂｓｃｒｉｂｅｒＳｏｆｔｗａｒｅ）ＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）と、本発明に係るＭＪＰＥＧ動画像ストリーミングファイルを復号化するＭＳＷデコーダと、ユーザとインターフェースするためのユーザインターフェース及びブラウザと、を含んで構成されるソフトウェア構造を有する。

前記コンテント生成部３３０は、ＰＣにより構成され、前記ＰＣは、ＭＳＷ符号化により無線動画像ストリーミングファイルを符号化するＭＳＷオーサリングツール（ａｕｔｈｏｒｉｎｇｔｏｏｌ）３３１を利用してＭＳＷコンテントを生成する。

以下、このように構成された本発明に係るＭＳＷシステムの動作を説明する。

コンテント生成部３３０は、ＭＳＷオーサリングツール３３１を利用してＭＳＷコンテントを生成する。即ち、ＰＣは、ＭＳＷオーサリングツール３３１のＭＳＷエンコーダを利用して無線動画像ストリーミングファイルを生成する。即ち、ＰＣは、ストリーミングサービスされるビデオフレーム及びオーディオデータをセグメントデータのサイズにそれぞれ分割して複数のセグメントデータに保存し、セグメントデータの伝送制御のためのセグメントヘッダーをセグメントデータ毎に追加し、ビデオフレームに該当する複数のセグメントデータ及びセグメントヘッダーをビデオペイロードデータフィールドに保存し、ビデオペイロードデータに対するペイロードヘッダーを生成し、オーディオデータに該当する複数のセグメントデータ及びセグメントヘッダーをオーディオペイロードデータフィールドに保存し、オーディオペイロードデータに対するペイロードヘッダーを生成する。ＰＣは、このように生成されたビデオフレームに対するペイロードヘッダー及びペイロードデータ、及びオーディオデータに対するペイロードヘッダー及びペイロードデータを利用してペイロードを生成し、且つ、前記ペイロードに対するファイルヘッダーを生成して、無線動画像ストリーミングサービスのための無線動画像ストリーミングファイルを生成する。

このように生成された無線動画像ストリーミングファイルにより構成されたＭＳＷコンテントは、コンテント生成部３３０（例えば、ＰＣ）によりＭＳＷコンテントサーバー３２０に保存される。

その後、ユーザが移動通信端末機３００を通して無線動画像ストリーミングサービスを要請すると（ステップＳ１００）、無線ＷＡＰサーバー３１０は、サービスの要請によって、該当無線動画像ストリーミングサービスを提供するＭＳＷコンテントサーバー３２０に該当ＭＳＷコンテントを要請する（ステップＳ１１０）。ＭＳＷコンテントサーバー３２０は、要請された前記ＭＳＷコンテントを前記無線ＷＡＰサーバー３１０に提供し（ステップＳ１２０）、無線ＷＡＰサーバー３１０は、提供されたＭＳＷコンテントの無線動画像ストリーミングファイルを移動通信端末機３００に伝送する（ステップＳ１３０）。このとき、無線ＷＡＰサーバー３１０と移動通信端末機３００間には、ＵＤＰを通して無線動画像ストリーミングファイルが伝送される。

移動通信端末機３００のＭＳＷデコーダは、受信された無線動画像ストリーミングファイルのファイルヘッダー情報を利用して無線動画像ストリーミングサービスのためのコンテントストリーミングであることを認識し、前記無線動画像ストリーミングファイルのペイロードヘッダー情報を利用してペイロードデータを再生する。ＵＤＰを通してペイロードデータを受信したとき、移動通信端末機は、ペイロードデータのセグメントヘッダー情報を利用して、複数のセグメントデータのサイズに分けられたペイロードデータが伝送順に整列され再生されるように、ペイロードデータのセグメントデータの伝送制御を行う。

従って、本発明は、ＵＤＰ方式で無線動画像ストリーミングファイルが無線伝送されても、無線動画像ストリーミングファイルのペイロードデータのセグメントヘッダーを利用した伝送制御を通して、迅速で且つ信頼性よく伝送を行うことができる。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明に係る無線動画像ストリーミングファイルの構造を示す図である。本発明に係るペイロードヘッダーの構造を示す図である。本発明に係るペイロードデータの構造を示す図である。本発明に係るＭＳＷシステムの構成を示すブロック図である。本発明に係る移動通信端末機のソフトウェア構造を示す図である。

Claims

無線動画像ストリーミングファイルを認識するためのファイルヘッダーと、
ＭＪＰＥＧ（ＭｏｔｉｏｎＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ））方式で圧縮されたビデオペイロードデータ及びオーディオペイロードデータを含み、各ビデオペイロードデータ及び各オーディオペイロードデータ毎にストリーミングを制御するためのペイロードヘッダーを含むペイロードと、
を含んで構成されることを特徴とする移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
前記ファイルヘッダーは、
動画像ストリーミングファイルの全長さ情報と、
前記ペイロードの総個数情報と、
ストリーミングサービスされるコンテントの横サイズ情報と、
前記コンテントの縦サイズ情報と、
前記コンテントの総再生時間情報と、
前記コンテントのビデオフレームの符号化種類情報と、
前記コンテントのオーディオデータの符号化種類情報と、
前記コンテントを提供するコンテント提供者情報と、
を含むことを特徴とする請求項１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
前記ペイロードヘッダーは、
現在のペイロードが再生されるべき時間情報と、
現在伝送されているペイロードのインデックスと、
現在伝送されているペイロードの種類情報と、
現在伝送されているペイロードの総セグメント個数情報と、
現在伝送されているペイロードの無欠性を検査するためのエラー制御データと、
を含むことを特徴とする請求項１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
前記ビデオペイロードデータ及びオーディオペイロードデータは、それぞれ伝送制御のために複数のセグメントに分けられ、
各セグメントは、セグメントヘッダーとセグメントデータとから構成されることを特徴とする請求項１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
前記セグメントヘッダーを利用して前記セグメントが伝送制御されることを特徴とする請求項４記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
前記セグメントヘッダーは、
現在伝送されるセグメントが属するペイロードのインデックスと、
現在伝送されるセグメントのインデックスと、
現在伝送されるセグメントがペイロードの最後のセグメントであるか否かを確認するためのフラグデータと、
最後のセグメントのデータのサイズ情報と、
を含むことを特徴とする請求項５記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
前記ペイロードは、
前記無線動画像ストリーミングファイルの総再生時間を所定の区間に分割し、第１所定の区間の間に再生される複数のビデオフレームの後に前記複数のビデオフレームと同期して再生される所定の長さのオーディオデータを含むことを特徴とする請求項１記載の移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル。
ビデオフレーム及びオーディオデータをＭＪＰＥＧ方式で無線動画像ストリーミング符号化してコンテントを生成するストリーミングコンテント生成部と、
前記生成されたコンテントを保存し管理するコンテントサーバーと、
移動通信端末機により要求されたコンテントを前記コンテントサーバーから検索し、前記検索されたコンテントをストリーミング方式で前記移動通信端末機に提供する無線ＷＡＰ（ＷｉｒｅｌｅｓｓＡｐｐｌｉｃａｔｉｏｎＰｒｏｔｏｃｏｌ）サーバーと、
前記コンテントを前記ＭＪＰＥＧ方式で無線動画像ストリーミング復号化して前記無線動画像ストリーミングサービスをユーザに提供する前記移動通信端末機と、
を含んで構成されることを特徴とする移動通信端末機のための動画像ストリーミングサービスシステム。
前記コンテントは、無線動画像ストリーミングファイルにより構成され、
前記無線動画像ストリーミングファイルは、ＭＪＰＥＧ動画像ファイルにオーディオペイロードデータを追加し、ペイロードデータのストリーミングを制御及び管理するためのペイロードヘッダーを含むことを特徴とする請求項８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
前記ペイロードデータは、伝送制御のために複数のセグメントに分けられ、
各セグメントは、セグメントヘッダーとセグメントデータとから構成されることを特徴とする請求項９記載の移動通信端末機のための動画像ストリーミングサービスシステム。
前記移動通信端末機と前記無線ＷＡＰサーバー間には、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）を通してコンテントが伝送されることを特徴とする請求項８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
前記無線動画像ストリーミング符号化は、
ＭＪＰＥＧ方式で圧縮されたビデオフレーム及びオーディオデータを複数のセグメントに分け、セグメント毎に伝送制御のためのセグメントヘッダーを生成し、前記ビデオフレームのストリーミングを制御するためのペイロードヘッダーを生成し、前記オーディオデータのストリーミングを制御するためのペイロードヘッダーを生成し、無線動画像ストリーミングサービスのためのコンテントであることを認識するためのファイルヘッダーを生成することを特徴とする請求項８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
前記無線動画像ストリーミング復号化は、
前記コンテントのファイルヘッダー情報を利用して、動画像ストリーミングサービスのためのコンテントストリーミングであることを認識し、前記コンテントのペイロードヘッダー情報を利用して、ペイロードデータを再生し、ペイロードデータのセグメントヘッダー情報を利用して、ペイロードデータのセグメントデータの伝送制御を行うことを特徴とする請求項８記載の移動通信端末機のための動画像ストリーミングサービスシステム。
無線動画像ストリーミングサービスをサーバーに要請する段階と、
前記サーバーからＵＤＰ方式で動画像ストリーミングファイルを受信する段階と、
前記動画像ストリーミングファイルのファイルヘッダーを利用して、動画像ストリーミングファイルであることを認識する段階と、
前記動画像ストリーミングファイルのペイロードヘッダーを利用して、前記動画像ストリーミングファイルのペイロードデータのビデオフレーム及びオーディオデータを再生する段階と、
を有することを特徴とする移動通信端末機の動画像ストリーミングサービス方法。
前記ペイロードデータのセグメントヘッダーを利用して、前記移動通信端末機と前記サーバー間に前記ペイロードデータのセグメントデータの伝送制御を行う段階を更に有することを特徴とする請求項１４記載の移動通信端末機の動画像ストリーミングサービス方法。
前記動画像ストリーミングファイルは、
ビデオフレーム及びオーディオデータが複数のセグメントに分けられ、セグメント毎に伝送制御のためのセグメントヘッダーを含み、前記ビデオフレームのストリーミングを制御するためのビデオペイロードヘッダーを含み、前記オーディオデータのストリーミングを制御するためのオーディオペイロードヘッダーを含み、無線動画像ストリーミングサービスのためのコンテントであることを認識するためのファイルヘッダーを含むことを特徴とする請求項１４記載の移動通信端末機の動画像ストリーミングサービス方法。
前記ファイルヘッダーは、
前記動画像ストリーミングファイルの全長さ情報と、
ペイロードの総個数情報と、
ストリーミングサービスされるコンテントの横サイズ情報と、
前記コンテントの縦サイズ情報と、
前記コンテントの総再生時間情報と、
前記コンテントのビデオフレームの符号化種類情報と、
前記コンテントのオーディオデータの符号化種類情報と、
前記コンテントを提供するコンテント提供者情報と、
を含むことを特徴とする請求項１６記載の移動通信端末機の動画像ストリーミングサービス方法。
前記ビデオペイロードヘッダー及びオーディオペイロードヘッダーは、
現在のペイロードが再生されるべき時間情報と、
現在伝送されているペイロードのインデックスと、
現在伝送されているペイロードの種類情報と、
現在伝送されているペイロードの総セグメント個数情報と、
現在伝送されているペイロードの無欠性を検査するためのエラー制御データと、
を含むことを特徴とする請求項１６記載の移動通信端末機の動画像ストリーミングサービス方法。
前記セグメントヘッダーは、
現在伝送されるセグメントが属するペイロードのインデックスと、
現在伝送されるセグメントのインデックスと、
現在伝送されるセグメントがペイロードの最後のセグメントであるか否かを確認するためのフラグデータと、
最後のセグメントのデータのサイズ情報と、
を含むことを特徴とする請求項１６記載の移動通信端末機の動画像ストリーミングサービス方法。
前記ビデオフレームは、
参照フレームなしに符号化された独立フレームであることを特徴とする請求項１４記載の移動通信端末機の動画像ストリーミングサービス方法。