JP2004254133A - 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体 - Google Patents
動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体 Download PDFInfo
- Publication number
- JP2004254133A JP2004254133A JP2003043189A JP2003043189A JP2004254133A JP 2004254133 A JP2004254133 A JP 2004254133A JP 2003043189 A JP2003043189 A JP 2003043189A JP 2003043189 A JP2003043189 A JP 2003043189A JP 2004254133 A JP2004254133 A JP 2004254133A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- reproducing
- condition
- data stream
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動画再生装置において、ユーザの意図する再生条件に合った解像度、画質、領域、フレームレートの符号化データ・ストリームを取り込み、動画を再生する。
【解決手段】動画再生装置１００は、再生条件設定部１２０で、ユーザの表示サイズ変更、パン／チルトやズームなどの操作に応じて再生条件を設定し、それを動画送信装置２００へ送信する。動画送信装置２００は、受信した再生条件に応じた再構成方法を再構成方法決定部２１２で決定し、再構成部２１４で、その再構成方法に従って、動画ソース（３１０，３１２）より入力するＪＰＥＧ２０００の符号化データ・ストリームを再構成し、再構成後の符号化データ・ストリームを動画再生装置１００へ送信する。
【選択図】 図１
【解決手段】動画再生装置１００は、再生条件設定部１２０で、ユーザの表示サイズ変更、パン／チルトやズームなどの操作に応じて再生条件を設定し、それを動画送信装置２００へ送信する。動画送信装置２００は、受信した再生条件に応じた再構成方法を再構成方法決定部２１２で決定し、再構成部２１４で、その再構成方法に従って、動画ソース（３１０，３１２）より入力するＪＰＥＧ２０００の符号化データ・ストリームを再構成し、再構成後の符号化データ・ストリームを動画再生装置１００へ送信する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画再生システムに係り、特に、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを扱う動画再生システムに関する。
【０００２】
【従来の技術】
特許文献１には、ビデオカメラで撮像された映像を、ＭＰＥＧデータ又はＭｏｔｉｏｎＪＰＥＧデータとして、ネットワークを通じクライアントへ転送する撮像サーバにおいて、ネットワークの混み具合に応じて、ＭｏｔｉｏｎＪＰＥＧデータのフレーム間引きによるフレームレート調整又はＭＰＥＧデータのデータ量調整を行う技術が記載されている（従来技術１）。
【０００３】
特許文献２には、サーバからクライアントへ、ビデオ及びオーディオのコンテンツを送信するシステムにおいて、通信路の特性及びクライアントの能力に応じて、送信されるコンテンツ・データのビットレート及び形式を決める技術が記載されている（従来技術２）。
【０００４】
特許文献３には、複数のカメラで撮影された画像を結合した大きな複合画像より、視聴者の要求した領域画像を、画素値の平均化やアップコンバージョンにより生成するシステムが記載されている（従来技術３）。
【０００５】
動画の圧縮にはＭＰＥＧやＭｏｔｉｏｎＪＰＥＧが広く用いられているが、これに代わる圧縮方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている。ＪＰＥＧ２０００については例えば非特許文献１に詳しい。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続する複数の静止画像それぞれをフレームとして動画を扱うが、個々のフレームは独立してＪＰＥＧ２０００により圧縮される。すなわち、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画は、ＪＰＥＧ２０００により圧縮された符号化データのストリームである。
【０００６】
【特許文献１】
特許第３２０２６０６号公報
【特許文献２】
特開２０００−１３７７９号公報
【特許文献３】
特開２００１−３６８９１号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００７】
【発明が解決しようとする課題】
動画再生において、解像度、画質、フレームレートなどのいずれを重視すべきかは、動画を観るユーザの意思によって決められるべきである。例えば、ユーザ側で小さなサイズで動画を表示したい場合ならば、その表示サイズに見合った解像度のデータが与えられれば足り、必要以上の解像度のデータを与えられても処理負担やデータ伝送時間が増すのみで利益はない。画質やフレームレートについても同様である。しかし、前記従来技術１，２では、通信路の状態やクライアントの能力に応じてビットレートやフレームレートが決定され、そこにユーザの意思を反映させる手段がない。
【０００８】
また、動画再生においては、擬似的なパン／チルト操作やズーム操作を行いたい場合も多い。前記従来技術３はその様な操作を考慮したものであるが、表示すべき領域画像の生成のために画素値の平均化やアップコンバージョンを行うため処理が複雑化してしまう。
【０００９】
後述のように、ＪＰＥＧ２０００の符号化データは、伸長することなく、解像度、画質（レイヤ、ビットプレーン）、領域（タイル、プレシンクト、コードブロック）、コンポーネントの各パラメータを変更した別の符号化データに再構成することができる。本発明は、このようなＪＰＥＧ２０００の符号化データの性質に着目し、ＪＰＥＧ２０００の符号化データ・ストリームを扱う動画再生システムにおいて、前述のような諸問題を解決することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するため、本発明の動画再生システムは、請求項１に記載されるように、動画再生装置と、これと通信路を介し接続された動画送信装置とからなり、前記動画再生装置において、前記動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生システムであって、前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段を有し、この手段により設定された再生条件を前記動画送信装置へ送信し、前記動画送信装置は、前記動画再生装置より受信した再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、この手段により決定された再構成方法に従って前記動画再生装置に送信する符号化データ・ストリームの再構成を行う再構成手段とを有する、ことを特徴とするものである。
【００１１】
また、本発明の動画再生システムは、請求項２に記載されるように、動画再生装置と、これと通信路を介し接続された動画送信装置とからなり、前記動画再生装置において、前記動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生システムであって、前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、この手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段とを有し、この手段により決定された再構成方法を前記動画送信装置へ送信し、前記動画送信装置は、前記動画再生装置より受信した再構成方法に従って前記動画再生装置へ送信する符号化データ・ストリームの再構成を行う再構成手段を有することを特徴とするものである。
【００１２】
また、本発明の動画再生システムは、請求項３に記載されるように、動画ソースと、この動画ソースよりＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを取り込み動画を再生する動画再生装置とからなる動画再生システムであって、前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、この手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、前記動画ソースより取り込まれる符号化データ・ストリームを、前記再構成方法決定手段により決定された再構成方法に従って再構成する再構成手段とを有することを特徴とするものである。
【００１３】
本発明の動画再生システムのもう１つの特徴は、請求項４に記載されるように、請求項１、２又は３に記載の構成において、前記再生条件には、表示サイズ、表示範囲、画質、色成分、フレームレートのうちの少なくとも１つに関する条件が含まれることにある。
【００１４】
本発明の動画再生システムのもう１つの特徴は、請求項５に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによる動画表示ウィンドウのサイズ変更操作に応答して、表示サイズに関する条件を変更することにある。
【００１５】
本発明の動画再生システムのもう１つの特徴は、請求項６に記載されるように、請求項４に記載の構成において、前再生条件設定手段は、ユーザによる動画表示ウィンドウの選択操作に応答して、表示サイズに関する条件を変更することにある。
【００１６】
本発明の動画再生システムのもう１つの特徴は、請求項７に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによるパン操作及びチルト操作に応答して表示範囲に関する条件を変更することにある。
【００１７】
本発明の動画再生システムのもう１つの特徴は、請求項８に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによるズーム操作に応答して、表示範囲に関する条件を変更することにある。
【００１８】
本発明の動画再生システムのもう１つの特徴は、請求項９に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによる画質とフレームレートのバランスの調整操作に応答して、画質及びフレームレートに関する条件を変更することにある。
【００１９】
前記目的を達成するため、本発明の動画再生装置は、請求項１０に記載されるように、通信路を介し接続された動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生装置であって、ユーザによる操作に応じて再生条件を設定する再生条件設定手段を有し、前記再生条件設定手段により設定された再生条件を前記動画送信装置へ送信することにより、前記動画送信装置より、当該再生条件に応じて決定された再構成方法に従って再構成された符号化データ・ストリームを受信することを特徴とするものである。
【００２０】
また、本発明の動画再生装置は、請求項１１に記載されているように、通信路を介し接続された動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生装置であって、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、前記再生条件手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段とを有し、前記再構成方法決定手段により決定された再構成方法を前記動画送信装置へ送信することにより、前記動画送信装置より、当該再構成方法に従って再構成された符号化データ・ストリームを受信することを特徴とするものである。
【００２１】
前記目的を達成するため、本発明の動画送信装置は、請求項１２に記載されるように、通信路を介し接続された動画再生装置へ、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを送信する動画送信装置であって、前記動画再生装置より受信した、ユーザによる操作に応じて設定された再生条件に応じて、符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、前記再生方法決定手段により決定された再構成方法に従って前記動画再生装置へ送信する符号化データ・ストリームの再構成を行う再構成手段とを有することを特徴とするものである。
【００２２】
前記目的を達成するため、本発明の動画再生方法は、請求項１３に記載されるように、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームより動画を再生する動画再生方法であって、ユーザによる操作に応じて再生条件を設定する再生条件設定ステップと、前記再生条件設定ステップにより設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定ステップと、符号化データ・ストリームを、前記再構成方法決定手段により決定された再構成方法に従って再構成する再構成ステップと、前記再構成ステップによって再構成後の符号化データ・ストリームより動画を再生する再生ステップとを有することを特徴とするものである。
【００２３】
本発明の動画再生方法のもう１つの特徴は、請求項１４に記載されるように、請求項１３に記載の構成において、前記再生条件設定ステップは、表示サイズ、表示範囲、画質、色成分、フレームレートのうちの少なくとも１つに関する条件を設定することにある。
【００２４】
本発明の動画再生方法のもう１つの特徴は、請求項１５に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによる動画表示ウィンドウのサイズ変更操作に応答して、表示サイズに関する条件を変更することにある。
【００２５】
本発明の動画再生方法のもう１つの特徴は、請求項１６に記載されるように、請求項１４に記載の構成において、前再生条件設定ステップは、ユーザによる動画表示ウィンドウの選択操作に応答して、表示サイズに関する条件を変更することにある。
【００２６】
本発明の動画再生方法のもう１つの特徴は、請求項１７に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによるパン操作及びチルト操作に応答して、表示範囲に関する条件を変更することにある。
【００２７】
本発明の動画再生方法のもう１つの特徴は、請求項１８に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによるズーム操作に応答して、表示範囲に関する条件を変更することにある。
【００２８】
本発明の動画再生方法のもう１つの特徴は、請求項１９に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによる画質とフレームレートのバランスの調整操作に応答して、画質及びフレームレートに関する条件を変更することにある。
【００２９】
【発明の実施の形態】
以下の説明の理解を容易にするため、ＪＰＥＧ２０００について概説する。
図９は、ＪＰＥＧ２０００の基本的な圧縮／伸長のアルゴリズムを説明するためのブロック図である。圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。
【００３０】
各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００３１】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。
【００３２】
図１０に、デコンポジション・レベル数＝３の場合のサブバンド分解の様子を示す。なお、図１０（ｄ）に示す各サブバンド中の括弧で囲んだ数字は対応した解像度レベルを表す。
【００３３】
量子化／逆量子化部３によって、ウェーブレット係数はサブバンド毎に量子化される。ＪＰＥＧ２０００は可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００３４】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ
Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３５】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。
【００３６】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図１１に示す。図１１に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３７】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によって復号される。復号されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３８】
ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮される。分割領域としては、前記のタイルとコードブロックのほかにプレシンクトがあり、
画像≧タイル≧サブバンド≧プレシンクト≧コードブロック
の大きさ関係がある。２次元ウェーブレット変換による各サブバンド上の領域は原画像上の特定の領域と１対１の対応関係がある。したがって、プレシンクトもコードブロックも、原画像上の特定の領域と１対１の対応関係がある。
【００３９】
デコンポジション・レベル数が３の場合のタイル、プレシンクト、コードブロックの対応関係を図１２に模式的に示す。各サブバンド中の網掛けした領域は原画像上の同じ領域に対応したプレシンクトであり、３ＨＬ，３ＬＨ，３ＨＨサブバンドに関して示すようにプレシンクトは１つ以上のコードブロックに分割される。
【００４０】
プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図１１の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４１】
以上説明したＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているため、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能である。すなわち、ある符号化データを、伸長することなく、領域（タイル、プレシンクト、コードブロック）、画質（レイヤ、ビットプレーン）、コンポーネント、解像度の各パラメータを変更した別の符号化データに再構成可能である。この性質が本発明で利用される。
【００４２】
図１は、本発明の１つの実施の形態を説明するためのブロック図である。ここに示す動画再生システムは、動画再生装置（クライアント装置）１００と動画送信装置（サーバ装置）２００とから構成され、両装置間は有線又は無線の通信路３００（ＬＡＮ、イントラネット、インターネットなど）により接続される。
【００４３】
動画再生装置１００は、ＪＰＥＧ２０００により圧縮された動画の符号化データ・ストリームを動画送信２００より受信し、１つ又は複数の動画を再生する装置である。
【００４４】
動画送信装置２００は、ＪＰＥＧ２０００により圧縮された動画の符号化データ・ストリームを動画ソースより取り込み、必要に応じて再構成を行ってから動画再生装置１００へ送信する。この実施の形態においては、動画ソースとして、ハードディスク装置などの大容量記憶装置３１０及びビデオカメラ３１２が動画送信装置２００に接続されている。各ビデオカメラ３１２からは、撮影された動画の各フレームをＪＰＥＧ２０００によりロスレス又は低圧縮率で圧縮した符号化データが入力される。大容量記憶装置３１０には、ビデオカメラ３１２などから入力された動画の符号化データ・ストリームや、その他の動画のＪＰＥＧ２０００によりロスレス又は低圧縮率で圧縮された符号化データ・ストリームが蓄積されている。
【００４５】
動画の符号化データ・ストリームの再構成とは、個々のフレームの符号化データについて、それを伸長することなく、必要な解像度レベル、レイヤ、ビットプレーン、分割領域（タイル、プレシンクト、コードブロック）、コンポーネント（色成分）の符号を選択し、選択した符号からなる符号化データを作成する操作と、動画のフレームの間引きによるフレームレートの変換操作を意味する。
【００４６】
動画再生装置１００は、動画送信装置２００との通信を行うための通信制御部１１０、動画などの表示のための表示部１１２と表示制御部１１４、ユーザが各種指令、情報などを入力するためのポインティングデバイス（例えばマウス）やキーボードなどからなるユーザ入力部１１８、ユーザ入力部１１８を利用したユーザ操作に応じてユーザの意図に沿った動画の再生条件を設定する再生条件設定部１２０、符号化データの伸長処理を行う伸長処理部１１６、動画再生装置１００の全体的な動作及び各部の動作を制御するシステム制御部１２２からなる。
【００４７】
再生条件設定部１２０により設定される再生条件には、動画の表示サイズ、表示範囲、画質（精細度）、コンポーネント（カラー／モノクロ）、フレームレートに関する条件が含まれる。通信路３００の使用帯域幅の変更が想定される環境では、使用帯域に関する条件も再生条件に含めることもできる。
【００４８】
動画送信装置２００は、動画再生装置１００との通信のための通信制御部２１０、送信する動画の符号化データ・ストリームの再構成方法を決定する再構成方法決定部２１２、ここで決定された再構成方法に従って動画ソース（３１０，３１２）より入力する符号化データ・ストリームの再構成を行う再構成部２１４、動画ソース（３１０，３１２）とのインターフェース部２１８，２２０、動画送信装置２００の全体的な動作及び各部の動作の制御を行うシステム制御部２１６からなる。
【００４９】
通信制御部２１０は、動画再生装置１００との通信開始時のネゴシエーション過程及び動画送信過程で、動画再生装置１００における動画再生処理能力と通信路３００の混み具合を把握する。再構成方法決定部２１２は、基本的には動画再生装置１００より受信した再生条件に応じて再構成方法を決定するが、その決定の際に通信制御部２１０で把握された動画再生処理能力及び通信路３００の混み具合も勘案する。設定される再構成方法は、具体的には、動画ソースより入力される符号化データ・ストリームの再構成の処理において、各フレームの符号化データより、どのような解像度レベル、レイヤ、ビットプレーン、分割領域（タイル、プレシンクト、コードブロック）、コンポーネントの符号を選択し、また、どのような割合でフレームを間引いて再構成後の符号化データ・ストリームを作成するかを示すものである。
【００５０】
動画再生装置１００においては、表示部１１２の画面上に、例えば図４（Ａ）に示すようなウィンドウ４００を１つ又は複数開き、このウインドウに動画を表示することができる。ユーザは、ユーザ入力部１１８のマウスなどを利用し、ウィンドウ４００を例えば破線４０１のように拡大させる操作、逆に縮小させる操作を行うことができる。
【００５１】
また、図６（Ａ）に示すような１つのウインドウ４２０を画面上に開き、ここに動画を表示し、ユーザ入力部１１８のマウスなどを利用し、パン／チルト・ボタン４２１とズーム・ボタン４２２を操作することにより、その動画の擬似的なパン、チルト、ズームを行うことが可能である。すなわち、図６（Ｂ）に示すように、動画の元の画像サイズ４２３内で、ウィンドウ４２０に表示させる表示範囲４２４の上下左右の移動、拡大、縮小を行うことができる。
【００５２】
また、図７に示すような小ウインドウ４３１〜４３５と大ウィンドウ４３０を画面上に開き、最大５つの動画を小ウィンドウ４３１〜４３５に縮小表示し、マウスなどを利用して任意の小ウインドウの選択操作を行うことにより、その小ウィンドウに縮小表示されている動画を大ウィンドウ４３０に拡大表示させることができる。つまり、その選択した動画の表示サイズを拡大することができる。また、マウスなどを利用し、小ウィンドウ４３１〜４３５の任意のものを閉じる操作を行うことにより、大ウィンドウ４３０のサイズ、つまり拡大表示される動画の表示サイズを増大させるとも可能である。
【００５３】
上に述べたいずれの表示形式においても、図５に示すような画質とフレームレートのバランス調整用スライダ４１０が画面上に表示され、マウスなどを利用し、スライダ４１０を左又は右へ移動させることにより、画質とフレームレートのバランスを調整することができる。また、図示しないが、カラー／モノクロの選択のためのボタンも画面上に表示され、このボタンの操作により動画のカラー表示とモノクロ表示を選択することができる。また、図示しないが、使用帯域幅を指定するためのボタンやスライダも画面上に表示され、このボタン又はスライダの操作により通信路３００の使用帯域幅を増減することも可能である。
【００５４】
次に、動画再生装置１００の再生条件設定部１２０について、図２に示すフローチャートを参照して説明する。再生条件設定部１２０は、動画再生の開始時点で、選択された表示形態、デフォルトの表示サイズ、デフォルトの表示範囲、デフォルトの画質やフレームレートなどに対応した再生条件を初期設定する（ステップＳ１００）。初期設定された再生条件は動画送信装置２００へ送信される。その後、再生条件設定部１１８は、再生条件に関連したユーザの操作の有無をチェツクし（ステップＳ１０２）、そのようなユーザの操作があった場合には、その操作を反映させた再生条件を再設定する（ステップＳ１０４）。再設定された再生条件は動画送信装置２００へ送信される。
【００５５】
例えば、図４に示すようにウインドウ４００の拡大操作が行われた場合には、表示サイズの拡大を反映させるように再生条件を変更する。また、図６（Ａ）のウインドウ４２０に動画が表示される場合に、パン／チルト・ボタン４２１、ズーム・ボタン４２２が操作されると、表示範囲の移動、拡大／縮小を反映するように再生条件を変更する。図５に示すスライダ４１０が操作されたときには、それを反映するように再生条件を変更する。また、図７の小ウィンドウ４３１に縮小表示されている動画が大ウィンドウ４３０に拡大表示されている場合に、例えば小ウィンドウ４３２に縮小表示中の動画を拡大表示させるために同小ウィンドウ４３２の選択操作が行われると、当該動画の表示サイズの拡大と、それまで拡大表示されていた動画の表示サイズの縮小を反映するように再生条件を変更する。表示中の動画に関連してモノクロ／カラーのボタンが操作された場合には、コンポーネントの変更を反映するように再生条件を変更する。使用帯域幅のボタン又はスライダが操作された場合には、その操作による使用帯域幅の増減を反映するように再生条件を変更する。
【００５６】
動画送信装置２００において、再構成方法決定部２１２は、動画再生装置１００より受信した再生条件に応じ、通信路３００の混み具合や動画再生装置１００の動画再生能力を勘案して、再構成方法を決定する。すなわち、図３に示すように、初期設定された再生条件を受信したときに再構成方法を決定し（ステップＳ２００）。その後、再生条件の変化や通信路３００の混み具合の無視できない変化をチェックし（ステップＳ２０２）、そのような変化を検知すると再構成方法を改めて決定する（ステップＳ２００）。
【００５７】
再構成方法の決定について具体的に述べれば、表示サイズに関する再生条件に応じて、例えば図４（Ｂ）に示すような表示サイズと解像度の関係に従って、再構成の際に選択される符号の解像度レベルを決定する。また、図６に関連して述べたような表示範囲に関する再生条件に応じて、再構成の際に選択される符号の領域をタイル単位、プレシンクト単位又はコードブロック単位で決定する。また、画質とフレームレートに関する再生条件に応じて、再構成の際に選択される符号のレイヤ又はビットプレーン、フレームの間引き率が決定される。コンポーネントに関する再生条件に応じて、再構成の際に選択される符号のコンポーネントが決定される。また、再構成の際に選択される符号のレイヤ又はビットプレーン、フレームの間引き率の決定に際しては、使用帯域幅に関する再生条件や通信路３００の混み具合も勘案される。複数の動画が再生される場合には、各動画毎に再構成方法が決定されることは言うまでもない。
【００５８】
このようにして決定された再構成方法に従って、再構成部２１４により、大容量記憶装置３１０及び／又はビデオカメラ３１２より入力する符号化データ・ストリームについて再構成処理が行われ、再構成後の符号化データ・ストリームが動画再生装置１００へ送信される。動画再生装置１００では、受信した符号化データ・ストリームを伸長処理部１１６で伸長処理し、伸長された各フレームの画像を表示制御部１１４の制御により表示部１１２に表示する。画像サイズの調整が必要な場合には、その調整処理が表示制御部１１４で行われる。
【００５９】
以上に説明したように、ユーザ操作に応じて設定された再生条件に合った解像度、画質、領域、コンポーネント、フレームレートの符号化データ・ストリームが動画送信装置２００より動画再生装置１００へ送信されるため、動画再生装置１００においてユーザの意図に沿った動画の再生が可能である。さらに、動画再生装置１００で受信する各フレームの符号化データは、動画再生に不要な符号が少なく再構成前の符号化データに比べ符号量が小さいため、動画再生装置１００において、再構成前の符号化データを受信する場合に比べ、各フレームの受信処理時間、伸長処理部１１６での伸長処理や表示制御部１１４での画像サイズ調整処理などの時間が短縮する。この処理時間の短縮により、一定の使用帯域幅でフレームレートを上げ、同時再生可能な動画数を増加することができ、また同じ再生条件での必要帯域幅を削減できる。また、擬似的なパン／チルト操作やズーム操作は符号化データの再構成のみで実現され、画素値の平均化やアップコンバージョンのような複雑な処理は不要である。動画送信装置２００においても、送信する各フレームの符号量が削減され、また不要なフレームが間引かれるため、送信処理時間が短縮され、このことは動画送信装置２００に複数の動画再生装置が接続される環境では大きな利点である。
【００６０】
図８は、本発明のもう１つの実施の形態を説明するためのブロック図である。この実施の形態に係る動画再生システムの動画再生装置１００Ａ及び動画送信装置２００Ａは、図１に示したシステムの動画再生装置１００及び動画送信装置２００と内部構成が一部相違する。また、動画再生装置１００Ａは、ローカルな動画ソースとしてのハードディスク装置などの大容量記憶装置３２０及びビデオカメラ３２２が接続され、これら動画ソースから入力する動画の再生も行う。各ビデオカメラ３２２からは、撮影された動画像の各フレームをＪＰＥＧ２０００によりロスレス又は低圧縮率で圧縮した符号化データが入力される。大容量記憶装置３２０には、ビデオカメラ３２２などから入力された動画の符号化データ・ストリームが蓄積されている。
【００６１】
動画再生装置１００Ａには、ローカルな動画ソース（３２０，３２２）とのインターフェース部１３４，１３６、再構成方法決定部１３０、再構成部１３２が追加されている。動画送信装置２００Ａ側には再構成方法決定部は設けられていない。
【００６２】
再構成方法決定部１３０は、図１の再構成方法決定部２１２と同様の手段であるが、再生条件設定部１２０により設定された再生条件に応じ、通信路３００の混み具合も勘案して、動画送信装置２００Ａ側の動画ソース（３１０，３１２）より入力する符号化データ・ストリームに対する再構成方法と、ローカルな動画ソース（３２０，３２２）から入力される符号化データ・ストリームに対する再構成方法を決定する。動画ソース（３１０，３１２）の符号化データ・ストリームに対する再構成方法は、動画送信装置２００Ａへ送信される。
【００６３】
再構成部１３２は、ローカルな動画ソース（３２０，３２２）より入力する符号化データ・ストリームに対してのみ、それに関する再構成方法に従って再構成処理を行う。動画送信装置２００Ａ側の動画ソース（３１０，３１２）より入力する符号化データ・ストリームに対する再構成処理は、再構成部２１４によって、動画再生装置１００Ａより受信した再構成方法に従って実行される。
【００６４】
この実施の形態に係る動画再生システムにおいては、動画再生装置１００Ａは、ローカルな動画ソース（３２０，３２２）並びに動画送信装置２００Ａ側の動画ソース（３１０，３１２）より入力される動画に関し、ユーザ操作に応じた再生条件に適応した解像度、画質、領域、コンポーネント、フレームレートの符号化データ・ストリームを取り込み、ユーザの意図に沿った動画再生が可能である。さらに、再構成後の各フレームの符号化データは、動画再生に不要な符号が少なく再構成前の符号化データに比べ符号量が小さいため、動画再生装置１００Ａにおいて、再構成前の符号化データを取り込む場合に比べ、各フレームの伸長処理や画像サイズ調整処理などの時間が短縮する。また、動画送信装置２００Ａより受信する動画に関しては、各フレームの受信処理時間が短縮する。この処理時間の短縮により、一定の使用帯域幅でフレームレートを上げ、同時再生可能な動画数を増加することができ、また換言すれば、同じ再生条件での必要帯域幅を削減できる。動画送信装置２００Ａにおいても、送信する各フレームの符号量が削減されるため、各フレームの送信処理時間が短縮され、このことは動画送信装置２００Ａに複数の動画再生装置が接続される環境では大きな利点である。また、擬似的なパン／チルト操作やズーム操作は符号化データの再構成のみで実現され、画素値の平均化やアップコンバージョンのような複雑な処理は不要である。
【００６５】
以上に説明した本発明の動画再生システムと、その動画再生装置及び動画送信装置は、一般的な構成のコンピュータを利用して実現することも可能であることは明白である。そのためのプログラム、特に、再生条件設定部、再構成方法決定部及び再構成部の機能を実現するためのプログラム、並びに、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。また、以上の説明から明らかなように、本発明の動画再生システムにおいて実施される動画再生方法の特徴は、ユーザ操作に応じて再生条件を設定するステップ、再生条件に応じて再構成方法を決定するステップ、再構成方法に従って符号化データ・ストリームの再構成を行うステップを含むことであるが、かかるステップを１つ又は複数のコンピュータを利用して実行させるプログラム、並びに、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。
【００６６】
【発明の効果】
以上に説明したように、本発明によれば、ユーザの意図に沿った動画再生に適するように再構成された符号化データ・ストリームを動画ソース又は動画送信装置より動画再生装置に取り込み、ユーザの意図に沿った動画再生を行うことができる。動画再生装置に取り込まれる各フレームの符号化データは、動画再生に不要な符号が少なく再構成前の符号化データに比べ符号量が小さいため、動画再生装置において、再構成前の符号化データを取り込む場合に比べ、各フレームの受信処理時間、伸長処理や画像サイズ調整処理などの時間を短縮できる。この処理時間の短縮により、一定の使用帯域幅でフレームレートを上げ、同時再生可能な動画数を増加することができ、また、同じ再生条件での必要帯域幅を削減できる。動画送信装置においても、送信する各フレームの符号量が削減されるため、各フレームの送信処理時間が短縮される。また、擬似的なパン／チルト操作やズーム操作は符号化データの再構成のみで実現され、画素値の平均化やアップコンバージョンのような複雑な処理が不要になる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態を説明するためのブロック図である。
【図２】再生条件設定部の動作を説明するためのフローチャートである。
【図３】再構成方法決定部の動作を説明するためのフローチャートである。
【図４】ウィンドウのサイズ変更、表示サイズと解像度の関連を説明するための図である。
【図５】画質とフレームレートのバランス調整用スライダの説明図である。
【図６】擬似的なパン、チルト、ズーム操作と表示範囲の関連を説明するための図である。
【図７】複数の動画の表示形式の一例を説明するための図である。
【図８】本発明のもう１つの実施の形態を説明するためのブロック図である。
【図９】ＪＰＥＧ２０００の圧縮／伸長アルゴリズムを説明するためのブロック図である。
【図１０】デコンポジション・レベル数が３の２次元ウェーブレット変換によるサブバンド分解の説明図である。
【図１１】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図１２】タイル、プレシンクト、コードブロックの説明のための模式図である。
【符号の説明】
１００，１００Ａ 動画再生装置
２００，２００Ａ 動画送信装置
１１０，２１０ 通信制御部
１１８ ユーザ入力部
１２０ 再生条件設定部
１３０ 再構成方法決定部
１３２ 再構成部
２１２ 再構成方法決定部
２１４ 再構成部
３００ 通信路
３１０，３２０ 大容量記憶装置
３１２，３２２ ビデオカメラ
【発明の属する技術分野】
本発明は、動画再生システムに係り、特に、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを扱う動画再生システムに関する。
【０００２】
【従来の技術】
特許文献１には、ビデオカメラで撮像された映像を、ＭＰＥＧデータ又はＭｏｔｉｏｎＪＰＥＧデータとして、ネットワークを通じクライアントへ転送する撮像サーバにおいて、ネットワークの混み具合に応じて、ＭｏｔｉｏｎＪＰＥＧデータのフレーム間引きによるフレームレート調整又はＭＰＥＧデータのデータ量調整を行う技術が記載されている（従来技術１）。
【０００３】
特許文献２には、サーバからクライアントへ、ビデオ及びオーディオのコンテンツを送信するシステムにおいて、通信路の特性及びクライアントの能力に応じて、送信されるコンテンツ・データのビットレート及び形式を決める技術が記載されている（従来技術２）。
【０００４】
特許文献３には、複数のカメラで撮影された画像を結合した大きな複合画像より、視聴者の要求した領域画像を、画素値の平均化やアップコンバージョンにより生成するシステムが記載されている（従来技術３）。
【０００５】
動画の圧縮にはＭＰＥＧやＭｏｔｉｏｎＪＰＥＧが広く用いられているが、これに代わる圧縮方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている。ＪＰＥＧ２０００については例えば非特許文献１に詳しい。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続する複数の静止画像それぞれをフレームとして動画を扱うが、個々のフレームは独立してＪＰＥＧ２０００により圧縮される。すなわち、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画は、ＪＰＥＧ２０００により圧縮された符号化データのストリームである。
【０００６】
【特許文献１】
特許第３２０２６０６号公報
【特許文献２】
特開２０００−１３７７９号公報
【特許文献３】
特開２００１−３６８９１号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００７】
【発明が解決しようとする課題】
動画再生において、解像度、画質、フレームレートなどのいずれを重視すべきかは、動画を観るユーザの意思によって決められるべきである。例えば、ユーザ側で小さなサイズで動画を表示したい場合ならば、その表示サイズに見合った解像度のデータが与えられれば足り、必要以上の解像度のデータを与えられても処理負担やデータ伝送時間が増すのみで利益はない。画質やフレームレートについても同様である。しかし、前記従来技術１，２では、通信路の状態やクライアントの能力に応じてビットレートやフレームレートが決定され、そこにユーザの意思を反映させる手段がない。
【０００８】
また、動画再生においては、擬似的なパン／チルト操作やズーム操作を行いたい場合も多い。前記従来技術３はその様な操作を考慮したものであるが、表示すべき領域画像の生成のために画素値の平均化やアップコンバージョンを行うため処理が複雑化してしまう。
【０００９】
後述のように、ＪＰＥＧ２０００の符号化データは、伸長することなく、解像度、画質（レイヤ、ビットプレーン）、領域（タイル、プレシンクト、コードブロック）、コンポーネントの各パラメータを変更した別の符号化データに再構成することができる。本発明は、このようなＪＰＥＧ２０００の符号化データの性質に着目し、ＪＰＥＧ２０００の符号化データ・ストリームを扱う動画再生システムにおいて、前述のような諸問題を解決することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するため、本発明の動画再生システムは、請求項１に記載されるように、動画再生装置と、これと通信路を介し接続された動画送信装置とからなり、前記動画再生装置において、前記動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生システムであって、前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段を有し、この手段により設定された再生条件を前記動画送信装置へ送信し、前記動画送信装置は、前記動画再生装置より受信した再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、この手段により決定された再構成方法に従って前記動画再生装置に送信する符号化データ・ストリームの再構成を行う再構成手段とを有する、ことを特徴とするものである。
【００１１】
また、本発明の動画再生システムは、請求項２に記載されるように、動画再生装置と、これと通信路を介し接続された動画送信装置とからなり、前記動画再生装置において、前記動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生システムであって、前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、この手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段とを有し、この手段により決定された再構成方法を前記動画送信装置へ送信し、前記動画送信装置は、前記動画再生装置より受信した再構成方法に従って前記動画再生装置へ送信する符号化データ・ストリームの再構成を行う再構成手段を有することを特徴とするものである。
【００１２】
また、本発明の動画再生システムは、請求項３に記載されるように、動画ソースと、この動画ソースよりＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを取り込み動画を再生する動画再生装置とからなる動画再生システムであって、前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、この手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、前記動画ソースより取り込まれる符号化データ・ストリームを、前記再構成方法決定手段により決定された再構成方法に従って再構成する再構成手段とを有することを特徴とするものである。
【００１３】
本発明の動画再生システムのもう１つの特徴は、請求項４に記載されるように、請求項１、２又は３に記載の構成において、前記再生条件には、表示サイズ、表示範囲、画質、色成分、フレームレートのうちの少なくとも１つに関する条件が含まれることにある。
【００１４】
本発明の動画再生システムのもう１つの特徴は、請求項５に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによる動画表示ウィンドウのサイズ変更操作に応答して、表示サイズに関する条件を変更することにある。
【００１５】
本発明の動画再生システムのもう１つの特徴は、請求項６に記載されるように、請求項４に記載の構成において、前再生条件設定手段は、ユーザによる動画表示ウィンドウの選択操作に応答して、表示サイズに関する条件を変更することにある。
【００１６】
本発明の動画再生システムのもう１つの特徴は、請求項７に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによるパン操作及びチルト操作に応答して表示範囲に関する条件を変更することにある。
【００１７】
本発明の動画再生システムのもう１つの特徴は、請求項８に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによるズーム操作に応答して、表示範囲に関する条件を変更することにある。
【００１８】
本発明の動画再生システムのもう１つの特徴は、請求項９に記載されるように、請求項４に記載の構成において、前記再生条件設定手段は、ユーザによる画質とフレームレートのバランスの調整操作に応答して、画質及びフレームレートに関する条件を変更することにある。
【００１９】
前記目的を達成するため、本発明の動画再生装置は、請求項１０に記載されるように、通信路を介し接続された動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生装置であって、ユーザによる操作に応じて再生条件を設定する再生条件設定手段を有し、前記再生条件設定手段により設定された再生条件を前記動画送信装置へ送信することにより、前記動画送信装置より、当該再生条件に応じて決定された再構成方法に従って再構成された符号化データ・ストリームを受信することを特徴とするものである。
【００２０】
また、本発明の動画再生装置は、請求項１１に記載されているように、通信路を介し接続された動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生装置であって、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、前記再生条件手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段とを有し、前記再構成方法決定手段により決定された再構成方法を前記動画送信装置へ送信することにより、前記動画送信装置より、当該再構成方法に従って再構成された符号化データ・ストリームを受信することを特徴とするものである。
【００２１】
前記目的を達成するため、本発明の動画送信装置は、請求項１２に記載されるように、通信路を介し接続された動画再生装置へ、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを送信する動画送信装置であって、前記動画再生装置より受信した、ユーザによる操作に応じて設定された再生条件に応じて、符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、前記再生方法決定手段により決定された再構成方法に従って前記動画再生装置へ送信する符号化データ・ストリームの再構成を行う再構成手段とを有することを特徴とするものである。
【００２２】
前記目的を達成するため、本発明の動画再生方法は、請求項１３に記載されるように、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームより動画を再生する動画再生方法であって、ユーザによる操作に応じて再生条件を設定する再生条件設定ステップと、前記再生条件設定ステップにより設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定ステップと、符号化データ・ストリームを、前記再構成方法決定手段により決定された再構成方法に従って再構成する再構成ステップと、前記再構成ステップによって再構成後の符号化データ・ストリームより動画を再生する再生ステップとを有することを特徴とするものである。
【００２３】
本発明の動画再生方法のもう１つの特徴は、請求項１４に記載されるように、請求項１３に記載の構成において、前記再生条件設定ステップは、表示サイズ、表示範囲、画質、色成分、フレームレートのうちの少なくとも１つに関する条件を設定することにある。
【００２４】
本発明の動画再生方法のもう１つの特徴は、請求項１５に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによる動画表示ウィンドウのサイズ変更操作に応答して、表示サイズに関する条件を変更することにある。
【００２５】
本発明の動画再生方法のもう１つの特徴は、請求項１６に記載されるように、請求項１４に記載の構成において、前再生条件設定ステップは、ユーザによる動画表示ウィンドウの選択操作に応答して、表示サイズに関する条件を変更することにある。
【００２６】
本発明の動画再生方法のもう１つの特徴は、請求項１７に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによるパン操作及びチルト操作に応答して、表示範囲に関する条件を変更することにある。
【００２７】
本発明の動画再生方法のもう１つの特徴は、請求項１８に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによるズーム操作に応答して、表示範囲に関する条件を変更することにある。
【００２８】
本発明の動画再生方法のもう１つの特徴は、請求項１９に記載されるように、請求項１４に記載の構成において、前記再生条件設定ステップは、ユーザによる画質とフレームレートのバランスの調整操作に応答して、画質及びフレームレートに関する条件を変更することにある。
【００２９】
【発明の実施の形態】
以下の説明の理解を容易にするため、ＪＰＥＧ２０００について概説する。
図９は、ＪＰＥＧ２０００の基本的な圧縮／伸長のアルゴリズムを説明するためのブロック図である。圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。
【００３０】
各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００３１】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。
【００３２】
図１０に、デコンポジション・レベル数＝３の場合のサブバンド分解の様子を示す。なお、図１０（ｄ）に示す各サブバンド中の括弧で囲んだ数字は対応した解像度レベルを表す。
【００３３】
量子化／逆量子化部３によって、ウェーブレット係数はサブバンド毎に量子化される。ＪＰＥＧ２０００は可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００３４】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ
Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３５】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。
【００３６】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図１１に示す。図１１に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３７】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によって復号される。復号されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３８】
ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮される。分割領域としては、前記のタイルとコードブロックのほかにプレシンクトがあり、
画像≧タイル≧サブバンド≧プレシンクト≧コードブロック
の大きさ関係がある。２次元ウェーブレット変換による各サブバンド上の領域は原画像上の特定の領域と１対１の対応関係がある。したがって、プレシンクトもコードブロックも、原画像上の特定の領域と１対１の対応関係がある。
【００３９】
デコンポジション・レベル数が３の場合のタイル、プレシンクト、コードブロックの対応関係を図１２に模式的に示す。各サブバンド中の網掛けした領域は原画像上の同じ領域に対応したプレシンクトであり、３ＨＬ，３ＬＨ，３ＨＨサブバンドに関して示すようにプレシンクトは１つ以上のコードブロックに分割される。
【００４０】
プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図１１の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４１】
以上説明したＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているため、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能である。すなわち、ある符号化データを、伸長することなく、領域（タイル、プレシンクト、コードブロック）、画質（レイヤ、ビットプレーン）、コンポーネント、解像度の各パラメータを変更した別の符号化データに再構成可能である。この性質が本発明で利用される。
【００４２】
図１は、本発明の１つの実施の形態を説明するためのブロック図である。ここに示す動画再生システムは、動画再生装置（クライアント装置）１００と動画送信装置（サーバ装置）２００とから構成され、両装置間は有線又は無線の通信路３００（ＬＡＮ、イントラネット、インターネットなど）により接続される。
【００４３】
動画再生装置１００は、ＪＰＥＧ２０００により圧縮された動画の符号化データ・ストリームを動画送信２００より受信し、１つ又は複数の動画を再生する装置である。
【００４４】
動画送信装置２００は、ＪＰＥＧ２０００により圧縮された動画の符号化データ・ストリームを動画ソースより取り込み、必要に応じて再構成を行ってから動画再生装置１００へ送信する。この実施の形態においては、動画ソースとして、ハードディスク装置などの大容量記憶装置３１０及びビデオカメラ３１２が動画送信装置２００に接続されている。各ビデオカメラ３１２からは、撮影された動画の各フレームをＪＰＥＧ２０００によりロスレス又は低圧縮率で圧縮した符号化データが入力される。大容量記憶装置３１０には、ビデオカメラ３１２などから入力された動画の符号化データ・ストリームや、その他の動画のＪＰＥＧ２０００によりロスレス又は低圧縮率で圧縮された符号化データ・ストリームが蓄積されている。
【００４５】
動画の符号化データ・ストリームの再構成とは、個々のフレームの符号化データについて、それを伸長することなく、必要な解像度レベル、レイヤ、ビットプレーン、分割領域（タイル、プレシンクト、コードブロック）、コンポーネント（色成分）の符号を選択し、選択した符号からなる符号化データを作成する操作と、動画のフレームの間引きによるフレームレートの変換操作を意味する。
【００４６】
動画再生装置１００は、動画送信装置２００との通信を行うための通信制御部１１０、動画などの表示のための表示部１１２と表示制御部１１４、ユーザが各種指令、情報などを入力するためのポインティングデバイス（例えばマウス）やキーボードなどからなるユーザ入力部１１８、ユーザ入力部１１８を利用したユーザ操作に応じてユーザの意図に沿った動画の再生条件を設定する再生条件設定部１２０、符号化データの伸長処理を行う伸長処理部１１６、動画再生装置１００の全体的な動作及び各部の動作を制御するシステム制御部１２２からなる。
【００４７】
再生条件設定部１２０により設定される再生条件には、動画の表示サイズ、表示範囲、画質（精細度）、コンポーネント（カラー／モノクロ）、フレームレートに関する条件が含まれる。通信路３００の使用帯域幅の変更が想定される環境では、使用帯域に関する条件も再生条件に含めることもできる。
【００４８】
動画送信装置２００は、動画再生装置１００との通信のための通信制御部２１０、送信する動画の符号化データ・ストリームの再構成方法を決定する再構成方法決定部２１２、ここで決定された再構成方法に従って動画ソース（３１０，３１２）より入力する符号化データ・ストリームの再構成を行う再構成部２１４、動画ソース（３１０，３１２）とのインターフェース部２１８，２２０、動画送信装置２００の全体的な動作及び各部の動作の制御を行うシステム制御部２１６からなる。
【００４９】
通信制御部２１０は、動画再生装置１００との通信開始時のネゴシエーション過程及び動画送信過程で、動画再生装置１００における動画再生処理能力と通信路３００の混み具合を把握する。再構成方法決定部２１２は、基本的には動画再生装置１００より受信した再生条件に応じて再構成方法を決定するが、その決定の際に通信制御部２１０で把握された動画再生処理能力及び通信路３００の混み具合も勘案する。設定される再構成方法は、具体的には、動画ソースより入力される符号化データ・ストリームの再構成の処理において、各フレームの符号化データより、どのような解像度レベル、レイヤ、ビットプレーン、分割領域（タイル、プレシンクト、コードブロック）、コンポーネントの符号を選択し、また、どのような割合でフレームを間引いて再構成後の符号化データ・ストリームを作成するかを示すものである。
【００５０】
動画再生装置１００においては、表示部１１２の画面上に、例えば図４（Ａ）に示すようなウィンドウ４００を１つ又は複数開き、このウインドウに動画を表示することができる。ユーザは、ユーザ入力部１１８のマウスなどを利用し、ウィンドウ４００を例えば破線４０１のように拡大させる操作、逆に縮小させる操作を行うことができる。
【００５１】
また、図６（Ａ）に示すような１つのウインドウ４２０を画面上に開き、ここに動画を表示し、ユーザ入力部１１８のマウスなどを利用し、パン／チルト・ボタン４２１とズーム・ボタン４２２を操作することにより、その動画の擬似的なパン、チルト、ズームを行うことが可能である。すなわち、図６（Ｂ）に示すように、動画の元の画像サイズ４２３内で、ウィンドウ４２０に表示させる表示範囲４２４の上下左右の移動、拡大、縮小を行うことができる。
【００５２】
また、図７に示すような小ウインドウ４３１〜４３５と大ウィンドウ４３０を画面上に開き、最大５つの動画を小ウィンドウ４３１〜４３５に縮小表示し、マウスなどを利用して任意の小ウインドウの選択操作を行うことにより、その小ウィンドウに縮小表示されている動画を大ウィンドウ４３０に拡大表示させることができる。つまり、その選択した動画の表示サイズを拡大することができる。また、マウスなどを利用し、小ウィンドウ４３１〜４３５の任意のものを閉じる操作を行うことにより、大ウィンドウ４３０のサイズ、つまり拡大表示される動画の表示サイズを増大させるとも可能である。
【００５３】
上に述べたいずれの表示形式においても、図５に示すような画質とフレームレートのバランス調整用スライダ４１０が画面上に表示され、マウスなどを利用し、スライダ４１０を左又は右へ移動させることにより、画質とフレームレートのバランスを調整することができる。また、図示しないが、カラー／モノクロの選択のためのボタンも画面上に表示され、このボタンの操作により動画のカラー表示とモノクロ表示を選択することができる。また、図示しないが、使用帯域幅を指定するためのボタンやスライダも画面上に表示され、このボタン又はスライダの操作により通信路３００の使用帯域幅を増減することも可能である。
【００５４】
次に、動画再生装置１００の再生条件設定部１２０について、図２に示すフローチャートを参照して説明する。再生条件設定部１２０は、動画再生の開始時点で、選択された表示形態、デフォルトの表示サイズ、デフォルトの表示範囲、デフォルトの画質やフレームレートなどに対応した再生条件を初期設定する（ステップＳ１００）。初期設定された再生条件は動画送信装置２００へ送信される。その後、再生条件設定部１１８は、再生条件に関連したユーザの操作の有無をチェツクし（ステップＳ１０２）、そのようなユーザの操作があった場合には、その操作を反映させた再生条件を再設定する（ステップＳ１０４）。再設定された再生条件は動画送信装置２００へ送信される。
【００５５】
例えば、図４に示すようにウインドウ４００の拡大操作が行われた場合には、表示サイズの拡大を反映させるように再生条件を変更する。また、図６（Ａ）のウインドウ４２０に動画が表示される場合に、パン／チルト・ボタン４２１、ズーム・ボタン４２２が操作されると、表示範囲の移動、拡大／縮小を反映するように再生条件を変更する。図５に示すスライダ４１０が操作されたときには、それを反映するように再生条件を変更する。また、図７の小ウィンドウ４３１に縮小表示されている動画が大ウィンドウ４３０に拡大表示されている場合に、例えば小ウィンドウ４３２に縮小表示中の動画を拡大表示させるために同小ウィンドウ４３２の選択操作が行われると、当該動画の表示サイズの拡大と、それまで拡大表示されていた動画の表示サイズの縮小を反映するように再生条件を変更する。表示中の動画に関連してモノクロ／カラーのボタンが操作された場合には、コンポーネントの変更を反映するように再生条件を変更する。使用帯域幅のボタン又はスライダが操作された場合には、その操作による使用帯域幅の増減を反映するように再生条件を変更する。
【００５６】
動画送信装置２００において、再構成方法決定部２１２は、動画再生装置１００より受信した再生条件に応じ、通信路３００の混み具合や動画再生装置１００の動画再生能力を勘案して、再構成方法を決定する。すなわち、図３に示すように、初期設定された再生条件を受信したときに再構成方法を決定し（ステップＳ２００）。その後、再生条件の変化や通信路３００の混み具合の無視できない変化をチェックし（ステップＳ２０２）、そのような変化を検知すると再構成方法を改めて決定する（ステップＳ２００）。
【００５７】
再構成方法の決定について具体的に述べれば、表示サイズに関する再生条件に応じて、例えば図４（Ｂ）に示すような表示サイズと解像度の関係に従って、再構成の際に選択される符号の解像度レベルを決定する。また、図６に関連して述べたような表示範囲に関する再生条件に応じて、再構成の際に選択される符号の領域をタイル単位、プレシンクト単位又はコードブロック単位で決定する。また、画質とフレームレートに関する再生条件に応じて、再構成の際に選択される符号のレイヤ又はビットプレーン、フレームの間引き率が決定される。コンポーネントに関する再生条件に応じて、再構成の際に選択される符号のコンポーネントが決定される。また、再構成の際に選択される符号のレイヤ又はビットプレーン、フレームの間引き率の決定に際しては、使用帯域幅に関する再生条件や通信路３００の混み具合も勘案される。複数の動画が再生される場合には、各動画毎に再構成方法が決定されることは言うまでもない。
【００５８】
このようにして決定された再構成方法に従って、再構成部２１４により、大容量記憶装置３１０及び／又はビデオカメラ３１２より入力する符号化データ・ストリームについて再構成処理が行われ、再構成後の符号化データ・ストリームが動画再生装置１００へ送信される。動画再生装置１００では、受信した符号化データ・ストリームを伸長処理部１１６で伸長処理し、伸長された各フレームの画像を表示制御部１１４の制御により表示部１１２に表示する。画像サイズの調整が必要な場合には、その調整処理が表示制御部１１４で行われる。
【００５９】
以上に説明したように、ユーザ操作に応じて設定された再生条件に合った解像度、画質、領域、コンポーネント、フレームレートの符号化データ・ストリームが動画送信装置２００より動画再生装置１００へ送信されるため、動画再生装置１００においてユーザの意図に沿った動画の再生が可能である。さらに、動画再生装置１００で受信する各フレームの符号化データは、動画再生に不要な符号が少なく再構成前の符号化データに比べ符号量が小さいため、動画再生装置１００において、再構成前の符号化データを受信する場合に比べ、各フレームの受信処理時間、伸長処理部１１６での伸長処理や表示制御部１１４での画像サイズ調整処理などの時間が短縮する。この処理時間の短縮により、一定の使用帯域幅でフレームレートを上げ、同時再生可能な動画数を増加することができ、また同じ再生条件での必要帯域幅を削減できる。また、擬似的なパン／チルト操作やズーム操作は符号化データの再構成のみで実現され、画素値の平均化やアップコンバージョンのような複雑な処理は不要である。動画送信装置２００においても、送信する各フレームの符号量が削減され、また不要なフレームが間引かれるため、送信処理時間が短縮され、このことは動画送信装置２００に複数の動画再生装置が接続される環境では大きな利点である。
【００６０】
図８は、本発明のもう１つの実施の形態を説明するためのブロック図である。この実施の形態に係る動画再生システムの動画再生装置１００Ａ及び動画送信装置２００Ａは、図１に示したシステムの動画再生装置１００及び動画送信装置２００と内部構成が一部相違する。また、動画再生装置１００Ａは、ローカルな動画ソースとしてのハードディスク装置などの大容量記憶装置３２０及びビデオカメラ３２２が接続され、これら動画ソースから入力する動画の再生も行う。各ビデオカメラ３２２からは、撮影された動画像の各フレームをＪＰＥＧ２０００によりロスレス又は低圧縮率で圧縮した符号化データが入力される。大容量記憶装置３２０には、ビデオカメラ３２２などから入力された動画の符号化データ・ストリームが蓄積されている。
【００６１】
動画再生装置１００Ａには、ローカルな動画ソース（３２０，３２２）とのインターフェース部１３４，１３６、再構成方法決定部１３０、再構成部１３２が追加されている。動画送信装置２００Ａ側には再構成方法決定部は設けられていない。
【００６２】
再構成方法決定部１３０は、図１の再構成方法決定部２１２と同様の手段であるが、再生条件設定部１２０により設定された再生条件に応じ、通信路３００の混み具合も勘案して、動画送信装置２００Ａ側の動画ソース（３１０，３１２）より入力する符号化データ・ストリームに対する再構成方法と、ローカルな動画ソース（３２０，３２２）から入力される符号化データ・ストリームに対する再構成方法を決定する。動画ソース（３１０，３１２）の符号化データ・ストリームに対する再構成方法は、動画送信装置２００Ａへ送信される。
【００６３】
再構成部１３２は、ローカルな動画ソース（３２０，３２２）より入力する符号化データ・ストリームに対してのみ、それに関する再構成方法に従って再構成処理を行う。動画送信装置２００Ａ側の動画ソース（３１０，３１２）より入力する符号化データ・ストリームに対する再構成処理は、再構成部２１４によって、動画再生装置１００Ａより受信した再構成方法に従って実行される。
【００６４】
この実施の形態に係る動画再生システムにおいては、動画再生装置１００Ａは、ローカルな動画ソース（３２０，３２２）並びに動画送信装置２００Ａ側の動画ソース（３１０，３１２）より入力される動画に関し、ユーザ操作に応じた再生条件に適応した解像度、画質、領域、コンポーネント、フレームレートの符号化データ・ストリームを取り込み、ユーザの意図に沿った動画再生が可能である。さらに、再構成後の各フレームの符号化データは、動画再生に不要な符号が少なく再構成前の符号化データに比べ符号量が小さいため、動画再生装置１００Ａにおいて、再構成前の符号化データを取り込む場合に比べ、各フレームの伸長処理や画像サイズ調整処理などの時間が短縮する。また、動画送信装置２００Ａより受信する動画に関しては、各フレームの受信処理時間が短縮する。この処理時間の短縮により、一定の使用帯域幅でフレームレートを上げ、同時再生可能な動画数を増加することができ、また換言すれば、同じ再生条件での必要帯域幅を削減できる。動画送信装置２００Ａにおいても、送信する各フレームの符号量が削減されるため、各フレームの送信処理時間が短縮され、このことは動画送信装置２００Ａに複数の動画再生装置が接続される環境では大きな利点である。また、擬似的なパン／チルト操作やズーム操作は符号化データの再構成のみで実現され、画素値の平均化やアップコンバージョンのような複雑な処理は不要である。
【００６５】
以上に説明した本発明の動画再生システムと、その動画再生装置及び動画送信装置は、一般的な構成のコンピュータを利用して実現することも可能であることは明白である。そのためのプログラム、特に、再生条件設定部、再構成方法決定部及び再構成部の機能を実現するためのプログラム、並びに、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。また、以上の説明から明らかなように、本発明の動画再生システムにおいて実施される動画再生方法の特徴は、ユーザ操作に応じて再生条件を設定するステップ、再生条件に応じて再構成方法を決定するステップ、再構成方法に従って符号化データ・ストリームの再構成を行うステップを含むことであるが、かかるステップを１つ又は複数のコンピュータを利用して実行させるプログラム、並びに、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。
【００６６】
【発明の効果】
以上に説明したように、本発明によれば、ユーザの意図に沿った動画再生に適するように再構成された符号化データ・ストリームを動画ソース又は動画送信装置より動画再生装置に取り込み、ユーザの意図に沿った動画再生を行うことができる。動画再生装置に取り込まれる各フレームの符号化データは、動画再生に不要な符号が少なく再構成前の符号化データに比べ符号量が小さいため、動画再生装置において、再構成前の符号化データを取り込む場合に比べ、各フレームの受信処理時間、伸長処理や画像サイズ調整処理などの時間を短縮できる。この処理時間の短縮により、一定の使用帯域幅でフレームレートを上げ、同時再生可能な動画数を増加することができ、また、同じ再生条件での必要帯域幅を削減できる。動画送信装置においても、送信する各フレームの符号量が削減されるため、各フレームの送信処理時間が短縮される。また、擬似的なパン／チルト操作やズーム操作は符号化データの再構成のみで実現され、画素値の平均化やアップコンバージョンのような複雑な処理が不要になる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態を説明するためのブロック図である。
【図２】再生条件設定部の動作を説明するためのフローチャートである。
【図３】再構成方法決定部の動作を説明するためのフローチャートである。
【図４】ウィンドウのサイズ変更、表示サイズと解像度の関連を説明するための図である。
【図５】画質とフレームレートのバランス調整用スライダの説明図である。
【図６】擬似的なパン、チルト、ズーム操作と表示範囲の関連を説明するための図である。
【図７】複数の動画の表示形式の一例を説明するための図である。
【図８】本発明のもう１つの実施の形態を説明するためのブロック図である。
【図９】ＪＰＥＧ２０００の圧縮／伸長アルゴリズムを説明するためのブロック図である。
【図１０】デコンポジション・レベル数が３の２次元ウェーブレット変換によるサブバンド分解の説明図である。
【図１１】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図１２】タイル、プレシンクト、コードブロックの説明のための模式図である。
【符号の説明】
１００，１００Ａ 動画再生装置
２００，２００Ａ 動画送信装置
１１０，２１０ 通信制御部
１１８ ユーザ入力部
１２０ 再生条件設定部
１３０ 再構成方法決定部
１３２ 再構成部
２１２ 再構成方法決定部
２１４ 再構成部
３００ 通信路
３１０，３２０ 大容量記憶装置
３１２，３２２ ビデオカメラ
Claims (21)
- 動画再生装置と、これと通信路を介し接続された動画送信装置とからなり、前記動画再生装置において、前記動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生システムであって、
前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段を有し、この手段により設定された再生条件を前記動画送信装置へ送信し、
前記動画送信装置は、前記動画再生装置より受信した再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、この手段により決定された再構成方法に従って前記動画再生装置に送信する符号化データ・ストリームの再構成を行う再構成手段とを有することを特徴とする動画再生システム。 - 動画再生装置と、これと通信路を介し接続された動画送信装置とからなり、前記動画再生装置において、前記動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生システムであって、
前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、この手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段とを有し、この手段により決定された再構成方法を前記動画送信装置へ送信し、
前記動画送信装置は、前記動画再生装置より受信した再構成方法に従って前記動画再生装置へ送信する符号化データ・ストリームの再構成を行う再構成手段を有することを特徴とする動画再生システム。 - 動画ソースと、この動画ソースよりＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを取り込み動画を再生する動画再生装置とからなる動画再生システムであって、
前記動画再生装置は、ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、この手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、前記動画ソースより取り込まれる符号化データ・ストリームを、前記再構成方法決定手段により決定された再構成方法に従って再構成する再構成手段とを有することを特徴とする動画再生システム。 - 前記再生条件には、表示サイズ、表示範囲、画質、色成分、フレームレートのうちの少なくとも１つに関する条件が含まれることを特徴とする請求項１、２又は３に記載の動画再生システム。
- 前記再生条件設定手段は、ユーザによる動画表示ウィンドウのサイズ変更操作に応答して、表示サイズに関する条件を変更することを特徴とする請求項４に記載の動画再生システム。
- 前再生条件設定手段は、ユーザによる動画表示ウィンドウの選択操作に応答して、表示サイズに関する条件を変更することを特徴とする請求項４に記載の動画再生システム。
- 前記再生条件設定手段は、ユーザによるパン操作及びチルト操作に応答して、表示範囲に関する条件を変更することを特徴とする請求項４に記載の動画再生システム。
- 前記再生条件設定手段は、ユーザによるズーム操作に応答して、表示範囲に関する条件を変更することを特徴とする請求項４に記載の動画再生システム。
- 前記再生条件設定手段は、ユーザによる画質とフレームレートのバランスの調整操作に応答して、画質及びフレームレートに関する条件を変更することを特徴とする請求項４に記載の動画再生システム。
- 通信路を介し接続された動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生装置であって、
ユーザによる操作に応じて再生条件を設定する再生条件設定手段を有し、
前記再生条件設定手段により設定された再生条件を前記動画送信装置へ送信することにより、前記動画送信装置より、当該再生条件に応じて決定された再構成方法に従って再構成された符号化データ・ストリームを受信することを特徴とする動画再生装置。 - 通信路を介し接続された動画送信装置より、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを受信し動画を再生する動画再生装置であって、
ユーザによる操作に応じて再生条件を設定する再生条件設定手段と、
前記再生条件手段により設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定手段とを有し、
前記再構成方法決定手段により決定された再構成方法を前記動画送信装置へ送信することにより、前記動画送信装置より、当該再構成方法に従って再構成された符号化データ・ストリームを受信することを特徴とする動画再生装置。 - 通信路を介し接続された動画再生装置へ、ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームを送信する動画送信装置であって、
前記動画再生装置より受信した、ユーザによる操作に応じて設定された再生条件に応じて、符号化データ・ストリームの再構成方法を決定する再構成方法決定手段と、
前記再生方法決定手段により決定された再構成方法に従って前記動画再生装置へ送信する符号化データ・ストリームの再構成を行う再構成手段とを有することを特徴とする動画送信装置。 - ＪＰＥＧ２０００によって圧縮された符号化データ・ストリームより動画を再生する動画再生方法であって、
ユーザによる操作に応じて再生条件を設定する再生条件設定ステップと、
前記再生条件設定ステップにより設定された再生条件に応じて符号化データ・ストリームの再構成方法を決定する再構成方法決定ステップと、
符号化データ・ストリームを、前記再構成方法決定手段により決定された再構成方法に従って再構成する再構成ステップと、
前記再構成ステップによって再構成後の符号化データ・ストリームより動画を再生する再生ステップとを有することを特徴とする動画再生方法。 - 前記再生条件設定ステップは、表示サイズ、表示範囲、画質、色成分、フレームレートのうちの少なくとも１つに関する条件を設定することを特徴とする請求項１３に記載の動画再生方法。
- 前記再生条件設定ステップは、ユーザによる動画表示ウィンドウのサイズ変更操作に応答して、表示サイズに関する条件を変更することを特徴とする請求項１４に記載の動画再生方法。
- 前再生条件設定ステップは、ユーザによる動画表示ウィンドウの選択操作に応答して、表示サイズに関する条件を変更することを特徴とする請求項１４に記載の動画再生システム。
- 前記再生条件設定ステップは、ユーザによるパン操作及びチルト操作に応答して、表示範囲に関する条件を変更することを特徴とする請求項１４に記載の動画再生方法。
- 前記再生条件設定ステップは、ユーザによるズーム操作に応答して、表示範囲に関する条件を変更することを特徴とする請求項１４に記載の動画再生方法。
- 前記再生条件設定ステップは、ユーザによる画質とフレームレートのバランスの調整操作に応答して、画質及びフレームレートに関する条件を変更することを特徴とする請求項１４に記載の動画再生方法。
- 請求項１３乃至１９のいずれか１項に記載の動画再生方法の再生条件設定ステップ、再構成方法決定ステップ及び再構成ステップを１つ又は複数のコンピュータに実行させるためのプログラム。
- 請求項２０に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003043189A JP4392783B2 (ja) | 2003-02-20 | 2003-02-20 | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 |
| US10/783,743 US20040208380A1 (en) | 2003-02-20 | 2004-02-20 | System for reproducing moving image from JPEG 2000 encoded data stream |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003043189A JP4392783B2 (ja) | 2003-02-20 | 2003-02-20 | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004254133A true JP2004254133A (ja) | 2004-09-09 |
| JP2004254133A5 JP2004254133A5 (ja) | 2006-03-02 |
| JP4392783B2 JP4392783B2 (ja) | 2010-01-06 |
Family
ID=33026261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003043189A Expired - Fee Related JP4392783B2 (ja) | 2003-02-20 | 2003-02-20 | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040208380A1 (ja) |
| JP (1) | JP4392783B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006128997A (ja) * | 2004-10-28 | 2006-05-18 | Sharp Corp | 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム |
| JP2006129152A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | 撮像装置および画像配信システム |
| JP2007151078A (ja) * | 2005-10-28 | 2007-06-14 | Canon Inc | 映像配信システム、クライアント端末及びその制御方法 |
| JP2007329747A (ja) * | 2006-06-08 | 2007-12-20 | Ikegami Tsushinki Co Ltd | 画像処理装置、画像処理方法、及びそれを用いた監視システム |
| JP2009212821A (ja) * | 2008-03-04 | 2009-09-17 | Toshiba Corp | コンテンツ配信装置、受信装置、コンテンツ配信方法及び受信方法 |
| JP2010010802A (ja) * | 2008-06-24 | 2010-01-14 | Ricoh Co Ltd | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
| US8379109B2 (en) | 2009-12-14 | 2013-02-19 | Panasonic Corporation | Image processing apparatus |
| JP2013207769A (ja) * | 2012-03-29 | 2013-10-07 | Toshiba Corp | 映像処理装置及び映像処理方法 |
| JP2013258441A (ja) * | 2012-06-11 | 2013-12-26 | Toshiba Corp | 映像送信機器及び映像受信機器 |
| US9635303B2 (en) | 2011-10-20 | 2017-04-25 | Kabushiki Kaisha Toshiba | Communication device and communication method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4450591B2 (ja) * | 2003-09-16 | 2010-04-14 | 株式会社リコー | 情報編集装置、表示制御方法およびプログラム |
| WO2006024704A1 (fr) * | 2004-07-30 | 2006-03-09 | Pascale Loiseau | Procede de reduction de la taille d'un fichier numerique audio, image ou video |
| JP4789192B2 (ja) * | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
| US8086077B2 (en) * | 2006-06-30 | 2011-12-27 | Aperio Technologies, Inc. | Method for storing and retrieving large images via DICOM |
| KR101290275B1 (ko) * | 2007-01-16 | 2013-08-07 | 삼성전자주식회사 | 그래픽 데이터 송수신 장치 및 방법 |
| US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| JP2010135912A (ja) * | 2008-12-02 | 2010-06-17 | Sumitomo Electric Ind Ltd | 動画像データの圧縮方法 |
| JP5521334B2 (ja) | 2009-01-29 | 2014-06-11 | 株式会社リコー | 撮像装置及び撮像方法 |
| JP5413080B2 (ja) * | 2009-09-15 | 2014-02-12 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| KR20120058763A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법 |
| JP6187067B2 (ja) | 2013-09-13 | 2017-08-30 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
| US10581936B2 (en) | 2016-09-15 | 2020-03-03 | Ricoh Company, Ltd. | Information processing terminal, management system, communication system, information processing method, and recording medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3862321B2 (ja) * | 1996-07-23 | 2006-12-27 | キヤノン株式会社 | サーバ及びその制御方法 |
| US7236637B2 (en) * | 1999-11-24 | 2007-06-26 | Ge Medical Systems Information Technologies, Inc. | Method and apparatus for transmission and display of a compressed digitized image |
| JP2001258031A (ja) * | 2000-03-08 | 2001-09-21 | Sony Corp | 信号処理方法、画像符号化装置及び画像復号装置 |
| JP4834917B2 (ja) * | 2001-05-14 | 2011-12-14 | 株式会社ニコン | 画像符号化装置および画像サーバ装置 |
| JP2003169333A (ja) * | 2001-09-21 | 2003-06-13 | Ricoh Co Ltd | 符号列作成装置、画像伸長システム、画像伸長装置、画像提供システム、符号列作成方法、プログラム及び記録媒体 |
| US20030065803A1 (en) * | 2001-09-28 | 2003-04-03 | Koninklijke Philips Electronics N. V. | Intelligent delivery method for streamed content |
-
2003
- 2003-02-20 JP JP2003043189A patent/JP4392783B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-20 US US10/783,743 patent/US20040208380A1/en not_active Abandoned
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006128997A (ja) * | 2004-10-28 | 2006-05-18 | Sharp Corp | 映像送信装置、映像受信装置、映像送信方法及び映像伝送システム |
| JP2006129152A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Holdings Inc | 撮像装置および画像配信システム |
| JP2007151078A (ja) * | 2005-10-28 | 2007-06-14 | Canon Inc | 映像配信システム、クライアント端末及びその制御方法 |
| JP2007329747A (ja) * | 2006-06-08 | 2007-12-20 | Ikegami Tsushinki Co Ltd | 画像処理装置、画像処理方法、及びそれを用いた監視システム |
| JP4740800B2 (ja) * | 2006-06-08 | 2011-08-03 | 池上通信機株式会社 | 画像処理装置、画像処理方法、及びそれを用いた監視システム |
| JP2009212821A (ja) * | 2008-03-04 | 2009-09-17 | Toshiba Corp | コンテンツ配信装置、受信装置、コンテンツ配信方法及び受信方法 |
| JP2010010802A (ja) * | 2008-06-24 | 2010-01-14 | Ricoh Co Ltd | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
| US8379109B2 (en) | 2009-12-14 | 2013-02-19 | Panasonic Corporation | Image processing apparatus |
| US9635303B2 (en) | 2011-10-20 | 2017-04-25 | Kabushiki Kaisha Toshiba | Communication device and communication method |
| US9706151B2 (en) | 2011-10-20 | 2017-07-11 | Kabushiki Kaisha Toshiba | Communication device and communication method |
| US10873717B2 (en) | 2011-10-20 | 2020-12-22 | Kabushiki Kaisha Toshiba | Communication device and communication method |
| US11297277B2 (en) | 2011-10-20 | 2022-04-05 | Kabushiki Kaisha Toshiba | Communication device and communication method |
| JP2013207769A (ja) * | 2012-03-29 | 2013-10-07 | Toshiba Corp | 映像処理装置及び映像処理方法 |
| JP2013258441A (ja) * | 2012-06-11 | 2013-12-26 | Toshiba Corp | 映像送信機器及び映像受信機器 |
| US8984181B2 (en) | 2012-06-11 | 2015-03-17 | Kabushiki Kaisha Toshiba | Video sender and video receiver |
| US9357192B2 (en) | 2012-06-11 | 2016-05-31 | Kabushiki Kaisha Toshiba | Video sender and video receiver |
| US10341726B2 (en) | 2012-06-11 | 2019-07-02 | Toshiba Visual Solutions Corporation | Video sender and video receiver |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040208380A1 (en) | 2004-10-21 |
| JP4392783B2 (ja) | 2010-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4392783B2 (ja) | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 | |
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| US7889791B2 (en) | Method and apparatus for scalable compression of video | |
| Taubman et al. | JPEG2000: Standard for interactive imaging | |
| JP4124792B2 (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
| US20040213472A1 (en) | Image compression apparatus, image decompression apparatus, image compression method, image decompression method, program, and recording medium | |
| JP4190157B2 (ja) | 画像データ送信装置および画像データ受信装置 | |
| JP5950157B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| JP2004215021A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| Perra | Re-encoding JPEG images for smart phone applications | |
| WO2003107683A9 (en) | METHOD AND APPARATUS FOR SCALABLE COMPRESSION OF VIDEO SIGNALS | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP2002521880A (ja) | 領域ベースのスケーラブルな画像コーディング | |
| van der Vleuten et al. | Low-complexity scalable DCT image compression | |
| JP4208122B2 (ja) | データ処理装置及びデータ処理方法 | |
| JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2006279502A (ja) | 画像処理装置、画像表示装置および方法 | |
| JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 | |
| Skodras | The JPEG2000 image compression standard in mobile health | |
| JP4036363B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2000209592A (ja) | 画像伝送装置と方法及びシステムとその制御方法 | |
| JP2004214740A (ja) | 動画像符号化装置 | |
| JP2004289374A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP2004166156A (ja) | 画像送信装置、ネットワークシステム、プログラム及び記憶媒体 | |
| Van Wallendael et al. | Motion JPEG2000 interactive Region-Of-Interest coding on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091008 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |