JP2009010649A - スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 - Google Patents
スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 Download PDFInfo
- Publication number
- JP2009010649A JP2009010649A JP2007169656A JP2007169656A JP2009010649A JP 2009010649 A JP2009010649 A JP 2009010649A JP 2007169656 A JP2007169656 A JP 2007169656A JP 2007169656 A JP2007169656 A JP 2007169656A JP 2009010649 A JP2009010649 A JP 2009010649A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- scalable video
- unit
- video stream
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】構成が簡易なスケーラブルビデオストリームシステムを提供する。
【解決手段】スケーラブルビデオストリーム復号装置２００は、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１を受信した場合並べ替え部２１４が、該ストリームに含まれる符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替えた後に、ビデオデコーダ部２１６が並べ替えられた符号化画像を復号する。
【選択図】図７
【解決手段】スケーラブルビデオストリーム復号装置２００は、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１を受信した場合並べ替え部２１４が、該ストリームに含まれる符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替えた後に、ビデオデコーダ部２１６が並べ替えられた符号化画像を復号する。
【選択図】図７
Description
デジタルビデオシステムに関し、詳しくは、時間スケーラブルビデオストリームを復号するスケーラブルビデオストリーム復号装置、および時間スケーラブルビデオストリームを生成するスケーラブルビデオストリーム生成装置に関する。
近年、ビデオストリーム生成装置が複数のビデオストリームを生成して、再生（復号）装置が該複数のビデオストリームの全てまたはその一部を選択的に復号する、再生品質が選択可能なスケーラブルビデオシステムが開発されている。
選択可能な再生品質の種類としては、例えば、フレーム周波数、解像度、および画素の量子化誤差があり、それらを選択可能なスケーラブルビデオシステムはそれぞれ、時間スケーラブルビデオシステム、空間スケーラブルビデオシステム、ＳＮＲスケーラブルビデオシステムと呼ばれている。
このうち、時間スケーラブルビデオシステムは、再生装置が、自身の復号能力等に合わせて再生時のフレームレートを選択し得るため、多様な再生装置に対して適切なストリームを効率的に伝送する技術として有効である。
時間スケーラブルビデオシステムは、例えば、非特許文献１（ＭＰＥＧ−４Ｖｉｄｅｏ規格）に記載されている。ＭＰＥＧ−４ Ｖｉｄｅｏ規格は、動画像符号化で通常用いられるハイブリッド符号化の一種である。ハイブリッド符号化とは、フレーム内の空間的な冗長度を圧縮する技術と、前後のフレームとの時間的な冗長度を圧縮する技術とを組み合わせた符号化方式である。例えば、時間的な冗長度は、動き補償予測または単に予測に呼ばれる技術によって除去され得る。動き補償予測は、符号化フレームとその前後のフレームとの間の類似部分の対応付けを行って、符号化フレームの前後のフレームから、符号化フレームに近似すると予測される画像を生成する技術である。そして、動き補償予測により生成された画像と符号化フレームとの差分を取ることにより、時間的な冗長度を除去し得る。
以降、本明細書において、予測に利用するフレーム（例えば、前後のフレーム）を参照フレーム、符号化フレームと参照フレームとの類似部分の対応付けを示す情報を動きベクトル、動きベクトルと参照フレームとから予測によって作られる画像を予測画像、符号化フレームと予測画像との差分を残差画像と呼ぶ。また、このように残差画像を求める方法を画面間予測符号化モード、予測を行わずフレーム内の空間的な冗長度のみを圧縮する方法を画面内予測符号化モードと呼び、これらをまとめて符号化モードと呼ぶ。
ここで、非特許文献１に記載の時間スケーラブルビデオシステムについて、図を用いて説明する。図１２は、従来の時間スーラブルビデオシステムの概要を示すブロック図である。
図１２に示すように、スケーラブルビデオストリーム生成装置２は、入力された映像１を処理して、ベースレイヤストリーム３と、エンハンスレイヤストリーム４との２つのビデオストリームを生成する。ベースレイヤストリーム３は、映像１に含まれるフレームのうち、図１２において模式的に網掛けのフレームとして示されているフレームを符号化して得られるビデオストリームである。また、エンハンスレイヤストリーム４は該網掛けのフレームと白色のフレームとの差分を符号化して得られるビデオストリームである。
上記両ビデオストリームは伝送路５を通じてビデオストリーム再生（復号）装置６およびスケーラブルビデオストリーム再生（復号）装置７に伝送される。ビデオストリーム再生装置６は、ベースレイヤストリーム３のみを復号して、映像１に含まれる複数のフレームのうち、網掛けのフレームからなる映像８を再生する。一方、スケーラブルビデオストリーム再生装置７は、ベースレイヤストリーム３およびエンハンスレイヤストリーム４を復号して映像１と同じフレームレートの映像９を再生する。このように、時間スケーラブルビデオシステムでは、再生装置によって、再生時のフレームレートが異なったものとなる。
なお、スケーラブルビデオストリーム再生装置７は、以下のようにベースレイヤストリーム３およびエンハンスレイヤストリーム４を復号する。
図１３は、従来の時間スケーラブルビデオシステムの再生装置７の要部構成を示すブロック図である。図１３に示すように、まず、入力部１０が、ベースレイヤストリーム３をベースレイヤビデオデコーダ１２に入力する。ベースレイヤビデオデコーダ１２は、ベースレイヤストリーム３を復号する。復号されたフレームは、参照フレームとして、ベースレイヤビデオデコーダ１２の参照フレームメモリ部１５、およびエンハンスレイヤビデオデコーダ１３の参照フレームメモリ部１４に記憶される。
一方、入力部１１は、エンハンスレイヤストリーム４をエンハンスレイヤビデオデコーダ１３に入力する。エンハンスレイヤビデオデコーダ１３の参照フレームメモリ部１４には、ベースレイヤビデオデコーダ１２から取得した参照フレームと、エンハンスレイヤビデオデコーダ１３自身が生成した参照フレームが記憶されており、エンハンスレイヤビデオデコーダ１３は、これらを参照フレームとして用いて、エンハンスレイヤストリーム４を復号する。
ベースレイヤストリーム３およびエンハンスレイヤストリーム４は、上述したように、映像１が分離されてなるものであり、ベースレイヤデコーダ１２、およびエンハンスレイヤデコーダ１３が復号したフレームを並べ替え部１６で並べ替えることにより、元の映像１と同じフレーム数の映像を得ることができる。並べ替えられたフレームは、出力フレームメモリ１７に一時的に記憶され、表示部１８がタイミングを取りながら表示する。
また、ビデオストリーム再生装置６では、再生時のフレームレートは少なくなるが、ベースレイヤストリーム３のみを復号して映像１を再生する。
特開２０００−１５６８３９号公報（平成１２年６月６日公開）
ＩＳＯ／ＩＥＣ １４４９６−２：２００４ ＭＰＥＧ−４ Ｖｉｄｅｏ規格（平成１６年７月公開）
しかしながら、従来のスケーラブルビデオストリーム再生（復号）装置は、ベースレイヤとエンハンスレイヤとのそれぞれに復号手段を持つ必要があり、構成が複雑だった。
本発明は上記課題を解決するためになされたものであり、構成が簡易なスケーラブルビデオストリーム復号装置、および、該スケーラブルビデオストリーム復号装置が好適に復号し得る符号化画像ストリームを生成するスケーラブルビデオストリーム生成装置を提供することを目的とする。
（スケーラブルビデオストリーム復号装置）
本発明に係るスケーラブルビデオストリーム復号装置は、上記課題を解決するために、符号化画像ストリームを受信するストリーム受信手段と、該ストリーム受信手段が受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え手段と、該並べ替え手段が並べ替えた該符号化画像を復号する復号手段とを備えていることを特徴としている。
本発明に係るスケーラブルビデオストリーム復号装置は、上記課題を解決するために、符号化画像ストリームを受信するストリーム受信手段と、該ストリーム受信手段が受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え手段と、該並べ替え手段が並べ替えた該符号化画像を復号する復号手段とを備えていることを特徴としている。
上記の構成によれば、本発明に係るスケーラブルビデオストリーム復号装置は、スケーラブルビデオシステムで用いられるベースレイヤストリームおよびエンハンスレイヤストリームを受信し、該ストリームを復号する前に、該ストリームに含まれる符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替え、一つのストリームを得る。そのため、復号は、並べ替えられた後の符号化画像に対して行えばよく、復号手段が一つで、複数の符号化画像ストリームを復号することができ、装置全体の構成を簡略化することができる。
上記スケーラブルビデオストリーム復号装置では、複数の上記ストリーム受信手段を備えており、上記スケーラブルビデオストリーム復号装置の状態を検出する検出手段と、該検出手段が検出した該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる入力制御手段とをさらに備えていることが好ましい。
上記の構成によれば、本発明に係るスケーラブルビデオストリーム復号装置は、該スケーラブルビデオストリーム復号装置の状態を検出して、該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる。
これにより、上記スケーラブルビデオストリーム復号装置の状態が、例えば、電池残量が少ない、装置の温度が高い、蓋が閉められている、装置が移動中である、画像の動きが少ない等であるときに、少なくとも１つのストリーム受信手段を停止させて、復号処理量を適切に調整し、消費電力を削減することができる。
（スケーラブルビデオストリーム生成装置）
本発明に係るスケーラブルビデオストリーム生成装置は、複数の入力フレームを、動き補償予測を用いて符号化する符号化手段と、該符号化手段が符号化した各符号化画像を、複数の符号化画像ストリームに振り分ける振り分け手段とを備えており、該振り分け手段は、振り分けるべき該符号化画像が、該符号化手段が任意の該入力フレームを符号化するときに、動き補償予測のための参照フレームとして用いられるか否かに基づいて、該符号化画像を振り分けることを特徴としている。
本発明に係るスケーラブルビデオストリーム生成装置は、複数の入力フレームを、動き補償予測を用いて符号化する符号化手段と、該符号化手段が符号化した各符号化画像を、複数の符号化画像ストリームに振り分ける振り分け手段とを備えており、該振り分け手段は、振り分けるべき該符号化画像が、該符号化手段が任意の該入力フレームを符号化するときに、動き補償予測のための参照フレームとして用いられるか否かに基づいて、該符号化画像を振り分けることを特徴としている。
上記の構成によれば、本発明に係るスケーラブルビデオストリーム生成装置は、入力映像に含まれる複数の入力フレームを、動き補償予測を用いて符号化して符号化画像とする。そして、得られた各符号化画像を、複数の符号化画像ストリーム、例えば、ベースレイヤストリームと、エンハンスレイヤストリームとに振り分ける。このとき、ある画像を振り分けるときに用いる判断基準は、任意の入力フレームを符号化するとき、動き補償予測のための参照フレームとして、該ある画像が用いられ得るか否かである。
これにより、上記復号画像を復号する際に用いる参照フレームを符号化したデータが、すべて一つの復号画像ストリームに含まれるように、上記振り分けを行うことができる。このように生成された複数の符号化画像ストリームは、本発明に係るスケーラブルビデオストリーム復号装置に好適に用いることができる。
（スケーラブルビデオストリーム復号方法）
本発明に係るスケーラブルビデオストリーム復号方法は、符号化画像ストリームを受信するストリーム受信工程と、該ストリーム受信工程において受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え工程と、該並べ替え工程において並べ替えた該符号化画像を復号する復号工程とを包含することを特徴としている。
本発明に係るスケーラブルビデオストリーム復号方法は、符号化画像ストリームを受信するストリーム受信工程と、該ストリーム受信工程において受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え工程と、該並べ替え工程において並べ替えた該符号化画像を復号する復号工程とを包含することを特徴としている。
上記の構成によれば、本発明に係るスケーラブルビデオストリーム復号装置と同様の作用効果を奏する。
（スケーラブルビデオストリーム復号装置の制御方法）
本発明に係るスケーラブルビデオストリーム復号装置の制御方法は、符号化画像ストリームを受信する複数のストリーム受信手段と、該ストリーム受信手段が受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え手段と、該並べ替え手段が並べ替えた該符号化画像を復号する復号手段とを備えているスケーラブルビデオストリーム復号装置の制御方法であって、該スケーラブルビデオストリーム復号装置の状態を検出する検出工程と、該検出工程において検出した該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる入力制御工程とを包含することを特徴としている。
本発明に係るスケーラブルビデオストリーム復号装置の制御方法は、符号化画像ストリームを受信する複数のストリーム受信手段と、該ストリーム受信手段が受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え手段と、該並べ替え手段が並べ替えた該符号化画像を復号する復号手段とを備えているスケーラブルビデオストリーム復号装置の制御方法であって、該スケーラブルビデオストリーム復号装置の状態を検出する検出工程と、該検出工程において検出した該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる入力制御工程とを包含することを特徴としている。
上記の構成によれば、本発明に係るスケーラブルビデオストリーム復号装置と同様の作用効果を奏する。
（スケーラブルビデオストリーム生成方法）
本発明に係るスケーラブルビデオストリーム生成方法は、複数の入力フレームを、動き補償予測を用いて符号化する符号化工程と、該符号化工程において符号化された各符号化画像を、複数の符号化画像ストリームに振り分ける振り分け工程とを包含しており、該振り分け工程では、振り分けるべき符号化画像が、該符号化手段が任意の該入力フレームを符号化するときに、動き補償予測のための参照フレームとして用いられるか否かに基づいて、該符号化画像を振り分けることを特徴としている。
本発明に係るスケーラブルビデオストリーム生成方法は、複数の入力フレームを、動き補償予測を用いて符号化する符号化工程と、該符号化工程において符号化された各符号化画像を、複数の符号化画像ストリームに振り分ける振り分け工程とを包含しており、該振り分け工程では、振り分けるべき符号化画像が、該符号化手段が任意の該入力フレームを符号化するときに、動き補償予測のための参照フレームとして用いられるか否かに基づいて、該符号化画像を振り分けることを特徴としている。
上記の構成によれば、本発明に係るスケーラブルビデオストリーム生成装置と同様の作用効果を奏する。
（プログラムおよび記録媒体）
なお、上記スケーラブルビデオストリーム復号装置および生成装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより、上記スケーラブルビデオストリーム復号装置をコンピュータにおいて実現するスケーラブルビデオストリーム復号プログラム、上記スケーラブルビデオストリーム生成装置をコンピュータにおいて実現するスケーラブルビデオストリーム生成プログラム、ならびに、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
なお、上記スケーラブルビデオストリーム復号装置および生成装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより、上記スケーラブルビデオストリーム復号装置をコンピュータにおいて実現するスケーラブルビデオストリーム復号プログラム、上記スケーラブルビデオストリーム生成装置をコンピュータにおいて実現するスケーラブルビデオストリーム生成プログラム、ならびに、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
また、上記スケーラブルビデオストリーム復号方法および生成方法、ならびにスケーラブルビデオストリーム復号装置の制御方法も、コンピュータによって実現してもよい。この場合、コンピュータに上記各工程を実行させることにより、上記スケーラブルビデオストリーム復号方法をコンピュータにおいて実行する、スケーラブルビデオストリーム復号プログラム、上記スケーラブルビデオストリーム生成方法をコンピュータにおいて実行するスケーラブルビデオストリーム生成プログラム、上記スケーラブルビデオストリーム復号装置の制御方法をコンピュータにおいて実行するスケーラブルビデオストリーム装置の制御プログラム、ならびに、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明によれば、構成が簡易なスケーラブルビデオストリーム復号装置、および、該スケーラブルビデオストリーム復号装置が好適に復号し得る符号化画像ストリームを生成するスケーラブルビデオストリーム生成装置を提供することができる。
本発明者らは、鋭意検討を行い、参照フレームの選び方に工夫があるスケーラブルストリームを生成し、復号時はそれらを並べ替えることで、ストリームを１つにし、１つのデコーダでデコードできることを見出し、発明を完成させた。
以下、図面を参照して本発明の実施形態について説明する。
なお、本明細書では、次のようなアルファベット列を用いて、長い言葉を省略して表記する。すなわち、ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを、ＡＶＣはＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇを、ｆｐｓはｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄを、ＰＥＳはＰａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍを、ＴＳはＴｒａｎｓｐｏｒｔ Ｓｔｒｅａｍを、ＰＴＳはＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐを、ＳＥＩはＳｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎをそれぞれ省略した表記である。
〔１：スケーラブルビデオストリーム生成装置〕
図１は、本発明の一実施形態に係るスケーラブルビデオストリーム生成装置１００の要部構成を示すブロック図である。図１に示すように、本実施形態に係るスケーラブルビデオストリーム生成装置１００は、映像入力部１１０、入力フレームメモリ部１１１、参照フレームメモリ部１１４、ビデオエンコーダ部（符号化手段）１１３、エンコード制御部１１２、コードバッファメモリ部１１５、振り分け部（振り分け手段）１１６、第１の出力部１１７、および第２の出力部１１８を備えている。
図１は、本発明の一実施形態に係るスケーラブルビデオストリーム生成装置１００の要部構成を示すブロック図である。図１に示すように、本実施形態に係るスケーラブルビデオストリーム生成装置１００は、映像入力部１１０、入力フレームメモリ部１１１、参照フレームメモリ部１１４、ビデオエンコーダ部（符号化手段）１１３、エンコード制御部１１２、コードバッファメモリ部１１５、振り分け部（振り分け手段）１１６、第１の出力部１１７、および第２の出力部１１８を備えている。
スケーラブルビデオストリーム生成装置１００は、入力映像１５０に含まれる複数の入力フレーム(入力画像）を、動き補償予測を用いて符号化して符号化画像とする。そして、得られた各符号化画像を、ベースレイヤストリーム１５１と、エンハンスレイヤストリーム１５２とに振り分ける。このとき、ある画像を振り分けるときに用いる判断基準は、任意の入力フレームを符号化するとき、動き補償予測のための参照フレーム（参照画像）として、該ある画像が用いられ得るか否かである。具体的には、ある画像が、上記参照フレームとして用いられる場合には、対応する符号化データをベースレイヤストリーム１５１に、上記参照フレームとして用いられない場合には、対応する符号化データをエンハンスレイヤストリーム１５２に振り分ける。
これにより、上記復号画像を復号する際に用いる参照フレームを符号化したデータが、すべてベースレイヤストリーム１５１に含まれるように、上記振り分けを行うことができる。このように生成された複数の符号化画像ストリームは、本発明に係るスケーラブルビデオストリーム復号装置が好適に復号することができる。
（動作の一例）
スケーラブルビデオストリーム生成装置１００の動作の一例について詳細に説明する。
スケーラブルビデオストリーム生成装置１００の動作の一例について詳細に説明する。
まず、スケーラブルビデオストリーム生成装置１００が、どのような入力データを処理して、どのような出力データを生成するのかの一例について説明する。図２は、入力データ（入力映像１５０）および出力データ（ベースレイヤストリーム１５１およびエンハンスレイヤストリーム１５２）の概要を示す説明図である。
入力映像１５０は、表示タイミングの異なる複数のフレームからなる。入力映像１５０としては、一般的な動画を用いることができる。図２では、入力映像１５０の各フレームを、左から右に向かって表示順に並べられた四角枠として示している。
スケーラブルビデオストリーム生成装置１００は、例えば、上記各フレームの内、Ｉと記載したフレーム（以下Ｉフレームと呼ぶ）を、画面内予測符号化し、Ｐと記載したフレーム（以下Ｐフレームと呼ぶ）を画面間予測符号化する。なお、図２における円弧状の矢印は、上記画面間予測符号化の際の、参照フレームと参照フレームを用いて符号化する符号化フレームとの関係を示す。すなわち、上記矢印の先に示されるフレームは、該矢印の根元に示されるフレームを参照フレームとして画面間予測符号化される。例えば、最左端の２つのフレームにおいて、ＩフレームからＰフレームに伸びた矢印は、該Ｐフレームが該Ｉフレームを予測のために参照しているということを示している。いずれのフレームをＩまたはＰフレームとするか、および、いずれのフレームを参照フレームとするかについては後述する。
スケーラブルビデオストリーム生成装置１００は、上記各フレームを符号化したデータを、フレーム単位で、ベースレイヤストリーム１５１、またはエンハンスレイヤストリーム１５２に振り分ける。この時、スケーラブルビデオストリーム生成装置１００は、上記各フレームを復号する際に用いる参照フレームを符号化したデータが、すべてベースレイヤストリーム１５１に含まれるように、上記振り分けを行う。
なお、ベースレイヤストリーム１５１、およびエンハンスレイヤストリーム１５２に含まれる上記各フレームを符号化したデータには、該各フレームの入力映像１５０における表示タイミング（表示時刻）を示す情報が関連付けられている。
次に、各部の動作について具体的に説明する。
映像入力部１１０は、符号化すべき入力映像１５０の各フレームと、該各フレームの表示タイミングとを関連付けて、入力フレームメモリ部１１１に記憶させる。
ビデオエンコーダ部１１３は、入力フレームメモリ部１１１に記憶されたフレームを、画面内符号化モード、または、画面間予測符号化モードで圧縮符号化して、コードバッファメモリ部１１５に記憶させる。詳細については後述する。なお、ビデオエンコーダ部１１３の符号化モードの制御は、エンコード制御部１１２が行う。
また、振り分け部１１６は、コードバッファメモリ部１１５に記憶された符号化データを、第１の出力部１１７（ベースレイヤストリーム１５１）、または第２の出力部１１８（エンハンスレイヤストリーム１５２）のいずれかに振り分ける。詳細については後述する。上記振り分けの制御は、エンコード制御部１１２が行う。
なお、上述したように、ベースレイヤストリーム１５１、およびエンハンスレイヤストリーム１５２においても、上記表示タイミング情報は各フレームが符号化されたデータに関連付けられており、後述するスケーラブルビデオストリーム復号装置において、該各フレームの表示タイミングとして利用される。すなわち、ビデオエンコーダ部１１３が、上記各フレームを符号化して、コードバッファメモリ部１１５に記憶させる際にも、該各フレームの表示タイミング情報を関連付けて記憶させる。また、振り分け部１１６が、上記符号化データを、第１の出力部１１７または第２の出力部１１８に振り分ける際にも、該符号化データに表示タイミング情報を関連付けた状態で振り分ける。なお、特定の情報に他の情報を関連付けるとは、該特定の情報を参照すれば、該他の情報も取得可能な状態にすることを意図している。
次に、エンコード制御部１１２の動作を、図３に基づいて説明する。図３は、一つの入力フレームに係わるエンコード制御部１１２の動作を示すフローチャートである。エンコード制御部１１２は、すべての入力フレームに対して、以下と同様の動作を行う。
エンコード制御部１１２は、まず、上記入力フレームを符号化する際の符号化モードを選択する（ステップＳ１００）。符号化モードの選択は、所定の時間ごとに画面内予測符号化モードと画面間予測符号化モードとを選択する方法、上記入力フレームがいずれの符号化モードに好適であるかに基づいて選択する方法等の種々の方法を用いることができる。上記所定の時間は、求める伝送時の誤り耐性と符号量とのバランスに基づいて決定することができる。一般に、画面内予測符号化モードを選択する割合が多くなるにつれ、伝送時の誤り耐性は高く、符号量は多くなる。
ステップＳ１００において画面内予測符号化モードを選択した場合、エンコード制御部１１２は、ビデオエンコーダ部１１３に、画面内予測符号化指示信号、および参照フレーム指示信号を送る（ステップＳ１０１）。なお、参照フレーム指示とは、上記入力フレームを、他のフレームの符号化の際の参照フレームとして使用可能とする指示を意図している。また、非参照フレーム指示とは、上記入力フレームを、他のフレームの符号化の際に参照フレームとして使用不可能とする指示を意図している。ビデオエンコーダ部１１３が、これらの指示を受けて、どのように動作するのかについては、後述する。
一方、ステップＳ１００において画面間予測符号化モードを選択した場合、エンコード制御部１１２は、上記入力フレームを符号化してさらに復号してなるフレームを、他のフレームを符号化する際に、参照フレームとして使用するか否かを選択する（ステップＳ１０２）。すなわち、図２における矢印の根元に示されるフレームとして使用するか否かを選択する。上記選択は、例えば、所定の時間ごとに、上記参照フレームとして使用可能とすることを選択し、それ以外では、該参照フレームとして使用不可能とすることを選択するという方法を用いることができる。なお、上記所定の時間は、ベースレイヤストリーム１５１およびエンハンスレイヤストリーム１５２のそれぞれに振り分けるべきフレームの割合（例えば１：１）に応じて、適宜設定すればよい。
ステップＳ１０２において上記参照フレームを得るために使用可能とすることを選択した場合、エンコード制御部１１２は、ビデオエンコーダ部１１３に、画面間予測符号化指示信号、および参照フレーム指示信号を送る（ステップＳ１０３）。
一方、ステップＳ１０２において上記データを参照フレームとして使用不可能とすることを選択した場合、エンコード制御部１１２は、ビデオエンコーダ部１１３に、画面間予測符号化指示信号、および非参照フレーム指示信号を送る（ステップＳ１０４）。
続いて、ステップＳ１０１またはステップＳ１０３において、ビデオエンコーダ部１１３に参照フレーム指示信号を送った場合、エンコード制御部１１２は、符号化データがベースレイヤストリーム１５１に含まれるように、振り分け部１１６に、ベースレイヤ振り分け指示信号制御を送る（ステップＳ１０５）。
一方、ステップＳ１０４において、ビデオエンコーダ部１１３に非参照フレーム指示信号を送った場合、エンコード制御部１１２は、符号化データがエンハンスレイヤストリーム１５２に含まれるように、振り分け部１１６に、エンハンスレイヤ振り分け指示信号制御を送る（ステップＳ１０６）。
次に、ビデオエンコーダ部１１３の動作を詳細に説明する。図４は、一つの入力フレームに係わるビデオエンコーダ部１１３の動作を示すフローチャートである。ビデオエンコーダ部１１３は、すべての符号化フレームに対して、以下と同様の動作を行う。
ビデオエンコーダ部１１３は、最初に、エンコーダ制御部１１２からの符号化モード指示信号を確認する（ステップＳ１２０）。上記符号化モード指示信号が、画面間予測符号化指示の場合は、以下のステップＳ１２１〜Ｓ１２３のような動き補償予測を行う。
まず、ビデオエンコーダ部１１３は、参照フレームを参照フレームメモリ部１１４から取得する（ステップＳ１２１）。次に、ビデオエンコーダ部１１３は、上記参照フレームと上記入力フレームとを比較して、動きベクトルを探索して、予測画像を求める（ステップＳ１２２）。そして、ビデオエンコーダ部１１３は、上記入力フレーム画像から上記予測画像を画素値レベルで引き算して、残差画像を求める（ステップＳ１２３）。
一方、上記符号化モード指示が画面内予測符号化指示の場合は、ビデオエンコーダ部１１３は、上記入力フレームから予測画像を引き算せず、上記入力フレームそのものを上記残差画像の代わりに用いる。
続けて、ビデオエンコーダ部１１３は、上記残差画像を、縦横それぞれ、例えば、８×８画素、合計６４画素の部分に分けて、該各部分に対して離散コサイン変換などの直交変換、および量子化を施して、係数列にする（ステップＳ１２４）。
次に、ビデオエンコーダ部１１３は、参照フレーム指示信号を確認する（ステップＳ１２５）。上記参照フレーム指示信号が、参照フレーム指示である場合は、上記入力フレームを、他のフレームの参照フレームとして利用可能なように準備する（以下のステップＳ１２６〜Ｓ１２８）。なお、当然のことながら、復号装置ではストリームから復号したフレームを、参照フレームとして用いるので、符号装置でも、参照フレームとして用いるのは、上記入力フレームそのものではなく、該入力フレームを符号化したデータを復号したフレームである。
まず、ビデオエンコーダ部１１３は、ステップＳ１２４において得られた上記係数列を逆変換して、残差画像を復元する（ステップＳ１２６）。次に、ビデオエンコーダ部１１３は、上記残差画像に、ステップＳ１２２において求めた上記予測画像を足して、復号フレームを得る（ステップＳ１２７）。ビデオエンコーダ部１１３は、上記復号フレームを参照フレームメモリ部１１４に記憶させることにより、他のフレームの符号化の際に参照フレームとして使用可能になる（ステップＳ１２８）。また、ビデオエンコーダ部１１３は、上記入力フレームの符号化データが含まれるビットストリームに、該符号化データを復号したフレームを参照フレームとして使用するか否かを示すフラグを記録する。
最後に、ビデオエンコーダ部１１３は、ステップＳ１２４で得られた上記係数列を可変長符号化する（ステップＳ１２９）。画面間予測符号化を行ったときは、参照フレームを指定する情報もストリーム中に記録する。得られたビットストリームをコードバッファメモリ部に記憶させる。なお、ここで格納されたストリームは、ベースレイヤ及びエンハンスレイヤに分離されていない単一のストリームであり、通常のビデオデコーダで復号し得る。
振り分け部１１６は、コードバッファメモリ部１１５に格納された上記ビットストリームを取り出して、エンコード制御部１１２からの振り分け指示信号が、ベースレイヤ振り分け指示である場合には第１の出力部１１７へ、エンハンスレイヤ振り分け指示である場合には第２の出力部１１８へと出力する。なお、この時、振り分け部１１６は、入力映像１５０を入力した時に取得した表示タイミング（時刻）と１フレーム分のビットストリームが１対１に対応させたフォーマットで出力する。
そして、第１の出力部１１７は、ベースレイヤストリーム１５１を、第２の出力部１１８は、エンハンスレイヤストリーム１５２を出力する。
（本実施形態の利点）
以上のように構成することで、スケーラブル符号化に対応した符号化装置を用いる代わりに、通常の符号化処理で得られたストリームを適宜振り分けるだけで、簡易にベースレイヤストリームとエンハンスレイヤストリームとを生成する、スケーラブルビデオストリーム生成装置を実現できる。
以上のように構成することで、スケーラブル符号化に対応した符号化装置を用いる代わりに、通常の符号化処理で得られたストリームを適宜振り分けるだけで、簡易にベースレイヤストリームとエンハンスレイヤストリームとを生成する、スケーラブルビデオストリーム生成装置を実現できる。
（変形例１：入力手段を換えた例）
映像入力部１１０は、メモリ手段を想定して説明を行ったが、他の手段でもよい。例えば、通信制御手段であってもよいし、撮像手段であってもよい。または別のビデオ符号化方式の復号機能を持つ手段であってもよい。このように構成することで通信路やカメラからの入力をリアルタイムで符号化し、伝送するシステムや、符号化方式を変更して再伝送するシステムに応用し得る。
映像入力部１１０は、メモリ手段を想定して説明を行ったが、他の手段でもよい。例えば、通信制御手段であってもよいし、撮像手段であってもよい。または別のビデオ符号化方式の復号機能を持つ手段であってもよい。このように構成することで通信路やカメラからの入力をリアルタイムで符号化し、伝送するシステムや、符号化方式を変更して再伝送するシステムに応用し得る。
（変形例２：符号化方式を換えた例）
ビデオエンコーダ部１１３で符号化に用いるビデオ符号化方式は、動き補償予測を行う物であれば何でもよい。例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ等を用いることができる。また、複数の符号化方式に対応し、必要に応じて動的に変更可能な構成にしてもよい。このように構成することで、様々な符号化方式のストリームを出力できるので、対応できる再生装置を増やすことができる。
ビデオエンコーダ部１１３で符号化に用いるビデオ符号化方式は、動き補償予測を行う物であれば何でもよい。例えばＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ等を用いることができる。また、複数の符号化方式に対応し、必要に応じて動的に変更可能な構成にしてもよい。このように構成することで、様々な符号化方式のストリームを出力できるので、対応できる再生装置を増やすことができる。
（変形例３：複数のエンハンスレイヤを生成する例）
ビデオエンコーダ部１１３で符号化に用いるビデオ符号化方式が、過去の３枚以上の復号フレームから参照フレームを選択し得る符号化方式であれば、エンハンスレイヤストリームは２つ以上であってもよい。
ビデオエンコーダ部１１３で符号化に用いるビデオ符号化方式が、過去の３枚以上の復号フレームから参照フレームを選択し得る符号化方式であれば、エンハンスレイヤストリームは２つ以上であってもよい。
例えば、図５では第１エンハンスレイヤストリーム１５２に加え、第２エンハンスレイヤストリーム１５３を生成する例を示している。図５中の記号の意味は図２と同じであるが、各フレームの符号化データを各ストリームに振り分ける際に、ベースレイヤストリーム１５１、第２エンハンスレイヤストリーム１５３、第１エンハンスレイヤストリーム１５２、第２エンハンスレイヤストリーム１５３の順に繰り返して振り分ける。ベースレイヤストリーム１５１と第１エンハンスレイヤストリーム１５２との関係は、これまでに説明したものと同じである。図５に示す実施形態では、第２エンハンスレイヤストリーム１５３を用いて復号することにより、更に中間のフレームを復号し得る。このように構成することで、再生品質の選択肢が増えるという効果を奏する。
（変形例４：双方向予測を行う例）
ビデオエンコーダ部１１３は、参照フレームとして、表示タイミングが過去のフレームだけでなく、未来のフレームを用いて符号化を行ってもよい。図６に、一部のフレームについて、その前後のフレームを参照フレームとして用いて符号化を行う例を示す。図６中、Ｂと記載したフレーム（以下Ｂフレームと呼ぶ）は、表示順が過去と未来のフレームから予測を行う、双方向画面間予測符号化モードで符号化されていることを表している。この場合の、Ｂフレームを符号化したデータをエンハンスレイヤストリーム１５４に振り分けてもよい。双方向予測を使うことで、未来のフレームから予測したほうがよい場合に、より正確な予測画像を得ることができるので、残差画像の信号強度が減少し、符号化効率を向上させることができる。
ビデオエンコーダ部１１３は、参照フレームとして、表示タイミングが過去のフレームだけでなく、未来のフレームを用いて符号化を行ってもよい。図６に、一部のフレームについて、その前後のフレームを参照フレームとして用いて符号化を行う例を示す。図６中、Ｂと記載したフレーム（以下Ｂフレームと呼ぶ）は、表示順が過去と未来のフレームから予測を行う、双方向画面間予測符号化モードで符号化されていることを表している。この場合の、Ｂフレームを符号化したデータをエンハンスレイヤストリーム１５４に振り分けてもよい。双方向予測を使うことで、未来のフレームから予測したほうがよい場合に、より正確な予測画像を得ることができるので、残差画像の信号強度が減少し、符号化効率を向上させることができる。
（変形例５：出力手段を換えた例）
第１の出力部１１７および第２の出力部１１８は、通常、通信制御手段を想定しているが、少なくとも一方がメモリ手段であってもよい。このように構成することで、符号化の結果をメモリに保存して置き、再生装置のユーザーからの要求に応じて、別の送信装置でメモリから読み出して通信路に送出するオンデマンド伝送にも応用することができる。
第１の出力部１１７および第２の出力部１１８は、通常、通信制御手段を想定しているが、少なくとも一方がメモリ手段であってもよい。このように構成することで、符号化の結果をメモリに保存して置き、再生装置のユーザーからの要求に応じて、別の送信装置でメモリから読み出して通信路に送出するオンデマンド伝送にも応用することができる。
（変形例６：出力ストリームフォーマットのバリエーション）
第１の出力部１１７および第２の出力部１１８で出力する際のフォーマットは、ＭＰＥＧ−２ ＴＳ等の伝送用のパケット形式で多重して出力してもよい。ＭＰＥＧ−２ ＴＳを用いる場合は、ストリームに対応付ける時刻（表示タイミング）として、ＰＴＳを使うことができる。このようにすることで、ＭＰＥＧ−２ ＴＳを伝送する様々な伝送路を使用できる。符号化方式としてＭＰＥＧ−４ ＡＶＣを用いる場合は、ストリームレベルでフレーム毎の時刻であるＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩが規定されているので、これをストリームに対応付ける時刻として用いればＭＰＥＧ−４ ＡＶＣに対応した復号装置でストリームをそのまま再生し得る。
第１の出力部１１７および第２の出力部１１８で出力する際のフォーマットは、ＭＰＥＧ−２ ＴＳ等の伝送用のパケット形式で多重して出力してもよい。ＭＰＥＧ−２ ＴＳを用いる場合は、ストリームに対応付ける時刻（表示タイミング）として、ＰＴＳを使うことができる。このようにすることで、ＭＰＥＧ−２ ＴＳを伝送する様々な伝送路を使用できる。符号化方式としてＭＰＥＧ−４ ＡＶＣを用いる場合は、ストリームレベルでフレーム毎の時刻であるＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩが規定されているので、これをストリームに対応付ける時刻として用いればＭＰＥＧ−４ ＡＶＣに対応した復号装置でストリームをそのまま再生し得る。
なお、本発明に係るスケーラブルビデオストリーム生成装置は、一実施形態において、入力映像を動き補償予測を用いて圧縮符号化するしストリームを生成するビデオエンコーダ部と、前記動き補償予測に用いる参照フレームを記憶する参照フレームメモリ部と、前記ストリームを２つ以上のストリームに振り分ける振り分け部と、前記ビデオエンコーダ部、および前記振り分け部を制御するエンコード制御部とを備えたスケーラブルビデオストリーム生成装置であって、前記振り分け部の制御は、符号化したフレームを参照フレームとするか否かによって、振り分けることを特徴とするスケーラブルビデオストリーム生成装置と表すこともできる。
〔２：スケーラブルビデオストリーム復号装置〕
図７は、本発明の一実施形態に係るスケーラブルビデオストリーム復号装置２００の要部構成を示すブロック図である。図７に示すように、本実施形態に係るスケーラブルビデオストリーム再生装置２００は、第１の入力部（ストリーム受信手段）２１０、第２の入力部（ストリーム受信手段）２１１、第１の入力ストリームメモリ部２１２、第２の入力ストリームメモリ部２１３、並べ替え部（並べ替え手段）２１４、参照フレームメモリ部２１５、ビデオデコーダ部（復号手段）２１６、出力フレームメモリ部２１７、および出力部２１８を備えている。
図７は、本発明の一実施形態に係るスケーラブルビデオストリーム復号装置２００の要部構成を示すブロック図である。図７に示すように、本実施形態に係るスケーラブルビデオストリーム再生装置２００は、第１の入力部（ストリーム受信手段）２１０、第２の入力部（ストリーム受信手段）２１１、第１の入力ストリームメモリ部２１２、第２の入力ストリームメモリ部２１３、並べ替え部（並べ替え手段）２１４、参照フレームメモリ部２１５、ビデオデコーダ部（復号手段）２１６、出力フレームメモリ部２１７、および出力部２１８を備えている。
スケーラブルビデオストリーム復号装置２００は、ベースレイヤストリーム（符号化画像ストリーム）２５０およびエンハンスレイヤストリーム（符号化画像ストリーム）２５１を受信した場合であっても、該ストリームを復号する前に、該ストリームに含まれる符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替え、一つのストリームを得る。そのため、復号は、並べ替えられた後のストリームに対して行えばよく、復号手段が一つでも、複数の符号化画像ストリームを復号することができ、装置全体の構成を簡略化することができる。
（動作の一例）
スケーラブルビデオストリーム復号装置２００の動作の一例について詳細に説明する。
スケーラブルビデオストリーム復号装置２００の動作の一例について詳細に説明する。
第１の入力部２１０は、ベースレイヤストリーム２５０を順次、第１の入力ストリームメモリ部２１２に記憶する。第２の入力部２１１は、エンハンスレイヤストリーム２５１を順次、第２の入力ストリームメモリ部２１３に記憶する。
なお、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１としては、映像を、時間スケーラビリティを有するように符号化してなるストリームであって、かつ、エンハンスレイヤストリーム２５１としては、参照フレームとして用いられるフレームの符号化データが含まれないストリームを用いることができる。そのようなストリームとしては、例えば、本発明に係るスケーラブルビデオストリーム生成装置によって生成されたベースレイヤストリームおよびエンハンスレイヤストリームが挙げられる。
また、第１の入力部２１０および第２の入力部２１１は、各種の伝送路からベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１を受信し得るものであればよく、例えば無線放送の受信装置とすることができる。
並べ替え部２１４は、第１の入力ストリームメモリ部２１２に記憶されたベースレイヤストリーム２５０の各符号化データと、第２の入力ストリームメモリ部２１３に記憶されたエンハンスレイヤストリーム２５１の各符号化データとを並べ替えて、一つのストリームとしてビデオデコーダ部２１６に送る。
図８は、並べ替え部２１４の並べ替え処理の繰り返しの一単位を説明するフローチャートである。並べ替え部２１４は、以下に示す処理を、第１の入力ストリームメモリ部２１２および第２の入力ストリームメモリ部２１３に記憶された符号化データがなくなるまで繰り返し行う。
図８に示すように、並べ替え部２１４は、まず、第１の入力ストリームメモリ部２１２に記憶されているベースレイヤストリーム２５０、および、第２の入力ストリームメモリ部２１３のエンハンスレイヤストリーム２５１、の両方の先頭にある符号化データの表示タイミング情報（時刻）を取得する（ステップＳ２００およびＳ２０１）。
並べ替え部２１４は、次に、取得した表示タイミングを比較する（ステップＳ２０２）。ベースレイヤストリーム２５０の先頭にある符号化データの表示タイミングの方が早い場合、並べ替え部２１４は、該符号化データを第１の入力ストリームメモリ部２１２から取得して（ステップＳ２０３）、ビデオデコーダ部２１６に出力する（ステップＳ２０５）。一方、エンハンスレイヤストリーム２５１の先頭にある符号化データの表示タイミングの方が早い場合、並べ替え部２１４は、該符号化データを第２の入力ストリームメモリ部２１３から取得して（ステップＳ２０４）、ビデオデコーダ部２１６に出力する（ステップＳ２０５）。
なお、エンハンスレイヤストリーム２５１に符号化データが含まれていない場合は、ベースレイヤストリーム２５０のみを復号すればよい。したがって、エンハンスレイヤストリーム２５１に符号化データが含まれていない場合、並べ替え部２１４は、ステップＳ２０２における比較は行わず、無条件にステップＳ２０４の処理を行えばよい。
以上のように、並べ替え部２１４は、第１の入力ストリームメモリ部２１２、および第２の入力ストリームメモリ部２１３に記憶されている符号化データを、表示タイミング順（時刻順）に並べ替え、１つのストリームとしてビデオデコーダ部２１６に送る。
ビデオデコーダ部２１６は、並べ替え部２１４から上述したようなストリームの入力を受けて、入力された順序で該ストリームに含まれる符号化データを復号する。ビデオデコーダ部２１６の処理手順は、周知慣用のビデオデコーダの処理手順を用いればよい。すなわち、ビデオデコーダ部２１６は、可変長復号、逆量子化、および逆直行変換を行って、残差画像を得る。また、ビデオデコーダ部２１６は、上記ストリームにて指定されている参照フレームを参照フレームメモリ部２１５から取得し、動きベクトルを用いて予測画像を生成する。そして、ビデオデコーダ部２１６は、上記予測画像と、上記残差画像とを足し合わせることにより、出力フレーム（復号された画像）を取得して、出力フレームメモリ部２１７に記憶させる。
なお、上述したように、上記ストリームには復号したフレームを、その後参照フレームとして使用するか否かを示すフラグが備えられている。上記フラグが、参照フレームとして使用することを示す場合、ビデオデコーダ部２１６は、得られた出力フレームを、参照フレームメモリ部２１５に記憶させる。
最後に、出力部２１８は、出力フレームメモリ部２１７から出力フレームを取り出して出力する。
（本実施形態の利点）
以上のように本実施形態に係るスケーラブルビデオストリーム復号装置２００は、従来のビデオストリーム復号装置に第２の入力部２１１と、第２の入力ストリームメモリ部２１３と、並べ替え部２１４を追加しただけの簡易な構成で、ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１の両方を用いて入力映像と同じフレームレートの映像を復号し、再生することができる。
以上のように本実施形態に係るスケーラブルビデオストリーム復号装置２００は、従来のビデオストリーム復号装置に第２の入力部２１１と、第２の入力ストリームメモリ部２１３と、並べ替え部２１４を追加しただけの簡易な構成で、ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１の両方を用いて入力映像と同じフレームレートの映像を復号し、再生することができる。
そして、エンハンスレイヤストリーム２５１が入力されない場合でも、前述の通り並べ替え部２１４はベースレイヤストリーム２５０のみをビデオデコーダ部２１６に送って、復号することで、低フレームレートではあるが、映像を再生できる。
（変形例１：符号化方式を変えた例）
ビデオデコーダ部２１６が対応するビデオ符号化方式は、ビデオ生成装置で用いられる符号化方法と対応が取られている必要があるが、予め複数の符号化方式に対応可能としておき、入力するビデオストリームの符号化方式に応じて動的に変更可能な構成としてもよい。また、スケーラブルビデオストリーム復号装置２００から対応可能な符号化方式のリストを、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１を生成するスケーラブルビデオストリーム生成装置に予め、または随時示して、該リストの中から双方に最適なビデオ符号化方式を選択できるように構成してもよい。このように構成することで、システムが符号化方式に依存しなくなり、再生し得るビットストリームの数を増やすことができる。
ビデオデコーダ部２１６が対応するビデオ符号化方式は、ビデオ生成装置で用いられる符号化方法と対応が取られている必要があるが、予め複数の符号化方式に対応可能としておき、入力するビデオストリームの符号化方式に応じて動的に変更可能な構成としてもよい。また、スケーラブルビデオストリーム復号装置２００から対応可能な符号化方式のリストを、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１を生成するスケーラブルビデオストリーム生成装置に予め、または随時示して、該リストの中から双方に最適なビデオ符号化方式を選択できるように構成してもよい。このように構成することで、システムが符号化方式に依存しなくなり、再生し得るビットストリームの数を増やすことができる。
（変形例２：遅延に対応する例）
ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１は、異なる伝送路で伝送されてもよい。例えば、ベースレイヤストリーム２５０は放送で伝送され、エンハンスレイヤストリーム２５１は通信で伝送される等が考えられる。伝送路はそれぞれ異なる遅延量を持っている。例えば、通信では再送やプロトコルにあわせた伝送方式変換等が行われ、数ミリ秒から数十秒の遅延が起こり得る。また、同じ伝送路を用いた場合でも、ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１とで伝送量が異なるため、伝送路中の中継機器での処理時間に差が出る場合もある。このような場合でも以下の手順により対応可能である。
ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１は、異なる伝送路で伝送されてもよい。例えば、ベースレイヤストリーム２５０は放送で伝送され、エンハンスレイヤストリーム２５１は通信で伝送される等が考えられる。伝送路はそれぞれ異なる遅延量を持っている。例えば、通信では再送やプロトコルにあわせた伝送方式変換等が行われ、数ミリ秒から数十秒の遅延が起こり得る。また、同じ伝送路を用いた場合でも、ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１とで伝送量が異なるため、伝送路中の中継機器での処理時間に差が出る場合もある。このような場合でも以下の手順により対応可能である。
図９は、スケーラブルビデオストリーム復号装置２００に入力する２つのストリームのうち、一方が遅延した場合に対応する処理を示すフローチャートである。
上述した動作例と同様に、並べ替え部２１４は、まず、第１の入力ストリームメモリ部２１２および、第２の入力ストリームメモリ部２１３に記憶されているストリームの先頭の符号化データの表示タイミングを取得する（ステップＳ２２０およびＳ２２１）。
次に、並べ替え部２１４は、取得したベースレイヤストリーム２５０の先頭の符号化データの表示タイミングが有効か否かを判定する（ステップＳ２２２）。上記表示タイミングが無効であった（ベースレイヤストリーム２５０に有効な符号化データが含まれていなかった）場合、符号化データの出力を行わずに処理を終了する。これは、例え、エンハンスレイヤストリーム２５１に符号化データが含まれていても、ベースレイヤストリーム２５０に含まれる符号化データ無しでは復号できないため、第１の入力ストリームメモリ２１２にベースレイヤストリーム２５０の符号化データが１つも記憶されていない場合には、以後の処理を保留させるためである。
さらに、並べ替え部２１４は、取得したベースレイヤストリーム２５０の先頭の符号化データの表示タイミングＴ１と、取得したエンハンスレイヤストリーム２５１の先頭の符号化データの表示タイミングＴ２のうち、時刻が早い方をＴｍｉｎとする（ステップＳ２２２）。
ここで、後述するように、並べ替え部２１４は、最後にビデオデコーダ部２１６に出力したフレームの表示タイミングを保持している。この最後に出力したフレームの表示タイミングよりも、Ｔｍｉｎが早い（古い）場合、並べ替え部２１４は、表示時刻がＴｍｉｎであるフレームの符号化データを、該符号化データが含まれるストリームから破棄して、処理をやり直す（ステップＳ２２４）。このように構成することで、ほぼ同時に送出されたストリームの一方が伝送路中で遅延しても、先に入力した方のストリームが再生できなくなる問題を回避できる。
また、Ｔｍｉｎが、所定の時刻より未来である場合には、並べ替え部２１４は、処理を終了してもよい（ステップＳ２２５）。なお、上記所定の時刻とは、並べ替え部２１４が保持している最後に出力したフレームの表示タイミングから一定時間未来の時刻である。上述したように、片方が遅延したときは、遅延した方のデータを破棄するが、該遅延が、一定時間内に収まっていれば、該遅延したストリームを破棄する必要はなく、先に到着したストリームの処理を保留することにより、遅延したストリームも復号に用いることができる。
上記所定の時間は、ベースレイヤストリーム２５０とエンハンスレイヤストリーム２５１の遅延量を予め測定して決めてもよいし、それ以外にも受信時刻の履歴やストリームの付加情報に含めてもよい。ただし、入力ストリームメモリ部２１２および２１３の空き容量が少ない場合は、この制御を省略して出力する。このように構成することで、前記入力ストリームメモリ部２１２および２１３の容量が許す限り、どちらかのストリームの入力遅延を吸収することができ、両方のストリームを利用して復号できる。
（変形例３：録画再生機能を備える例）
スケーラブルビデオストリーム復号装置２００は、録画再生機能を備えていてもよい。例えば、並べ替え部２１４と並列して録画メモリを内包する録画再生部を配置する。上記録画再生部は、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１の少なくとも一方を取得して、上記録画メモリに記録する。そして、上記録画再生部は、上記録画メモリに記録したベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１の少なくとも一方を読み出して並べ替え部２１４に渡す。並べ替え部２１４は、以降、上述したように復号動作を行う。このように構成することで、入力したストリームを一旦録画しておき、ユーザーの好きな時に再生できる。
スケーラブルビデオストリーム復号装置２００は、録画再生機能を備えていてもよい。例えば、並べ替え部２１４と並列して録画メモリを内包する録画再生部を配置する。上記録画再生部は、ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１の少なくとも一方を取得して、上記録画メモリに記録する。そして、上記録画再生部は、上記録画メモリに記録したベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１の少なくとも一方を読み出して並べ替え部２１４に渡す。並べ替え部２１４は、以降、上述したように復号動作を行う。このように構成することで、入力したストリームを一旦録画しておき、ユーザーの好きな時に再生できる。
（変形例４：録画による高画質化の例）
上述した、録画再生する例において、ストリームを全く別の時刻に入力してもよい。この場合、例えば、まず、一方のストリームを入力して上記録画メモリに記録して置き、別の時刻に、他方のストリームを入力して該録画メモリに追加で記録する。再生時には両ストリームを用いて再生する。後から入力したストリームを追加で記録する際に、既に記録されているストリームと関連があることを装置が認識できるように、ファイル名に法則性を持たせたり、付加情報によって関連付けをしたりしてもよい。記録時に同じファイルに追加で記録し、再生時に分離しながら読み込んでもよいし、記録時に並べ替え部２１４と同じ並べ替え処理を行って、両ストリームを１つのストリームにして記録してもよい。このように構成することで、例えば、ベースレイヤストリーム２５０を放送から受信して録画して置き、後でエンハンスレイヤストリーム２５１を通信で受信して追加録画することで、再生時には両ストリームを用いて高画質の映像を再生できる等の効果がある。
上述した、録画再生する例において、ストリームを全く別の時刻に入力してもよい。この場合、例えば、まず、一方のストリームを入力して上記録画メモリに記録して置き、別の時刻に、他方のストリームを入力して該録画メモリに追加で記録する。再生時には両ストリームを用いて再生する。後から入力したストリームを追加で記録する際に、既に記録されているストリームと関連があることを装置が認識できるように、ファイル名に法則性を持たせたり、付加情報によって関連付けをしたりしてもよい。記録時に同じファイルに追加で記録し、再生時に分離しながら読み込んでもよいし、記録時に並べ替え部２１４と同じ並べ替え処理を行って、両ストリームを１つのストリームにして記録してもよい。このように構成することで、例えば、ベースレイヤストリーム２５０を放送から受信して録画して置き、後でエンハンスレイヤストリーム２５１を通信で受信して追加録画することで、再生時には両ストリームを用いて高画質の映像を再生できる等の効果がある。
（変形例５：入力ストリームフォーマットのバリエーション）
ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１は符号化データと時刻が１対１に対応できるフォーマットであれば何でもよい。例えばＭＰＥＧ−２ ＴＳの場合、１フレームのストリームは、ＰＥＳパケットに格納され、対応する時刻は、ＰＥＳヘッダのＰＴＳとして格納される。
ベースレイヤストリーム２５０およびエンハンスレイヤストリーム２５１は符号化データと時刻が１対１に対応できるフォーマットであれば何でもよい。例えばＭＰＥＧ−２ ＴＳの場合、１フレームのストリームは、ＰＥＳパケットに格納され、対応する時刻は、ＰＥＳヘッダのＰＴＳとして格納される。
ＭＰＥＧ−２ ＴＳを入力する場合、符号化データを抜き出すためには逆多重処理が必要だが、これは並べ替え部２１４とビデオデコーダ部２１６との間に逆多重部を設けて、そこで逆多重処理をすればよい。または、第１の入力部２１０および第２の入力部２１１で入力時に逆多重処理をしてもよい。後者の方法では、更に符号化方式がＭＰＥＧ−４ ＡＶＣ形式の場合は、フレームに対応する時刻として、Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩが記録されているので、これを用いてもよい。また複数のフレームに対応するストリームを１つのＰＥＳに格納する場合も存在するが、この場合も第１の入力部２１０および第２の入力部２１１で入力時に逆多重すれば、Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩを用いることができる。
なお、本発明に係るスケーラブルビデオストリーム復号装置は、一実施形態において、本発明のスケーラブルビデオストリーム生成装置によって生成された２つ以上のストリームを入力する２つ以上の入力部と、入力された２つ以上のストリームを付与された時間情報に従って並べ替え、１つのストリームにする並べ替え部と、１つのビデオストリームを復号するビデオデコーダ部とを備えるスケーラブルビデオストリーム再生装置と表すこともできる。
〔３：省電力対応スケーラブルビデオストリーム復号装置〕
昨今、携帯電話等の小型情報処理装置の中にはビデオストリーム再生機能を備える物がある。これらの装置は電池で駆動する物が多く、装置を長時間電池で駆動させるためには、消費電力の低減が望まれる。特に、ビデオストリーム再生は複雑な処理を行うため、多くの電力を必要とし、故に装置の消費電力の低減が強く求められている。例えば、特許文献１には、消費電力を低減するデジタルスチルカメラ装置が開示されている。この装置は、液晶ファインダのような内部表示手段を備え、テレビ等の外部機器接続の有無によって復号化の動作量を制御し、消費電力を低減している。また、特許文献１には、動作量を減らす具体的な方法として、復号化回路が復号する画像の解像度、階調、フレームレートを削減することを挙げている。
昨今、携帯電話等の小型情報処理装置の中にはビデオストリーム再生機能を備える物がある。これらの装置は電池で駆動する物が多く、装置を長時間電池で駆動させるためには、消費電力の低減が望まれる。特に、ビデオストリーム再生は複雑な処理を行うため、多くの電力を必要とし、故に装置の消費電力の低減が強く求められている。例えば、特許文献１には、消費電力を低減するデジタルスチルカメラ装置が開示されている。この装置は、液晶ファインダのような内部表示手段を備え、テレビ等の外部機器接続の有無によって復号化の動作量を制御し、消費電力を低減している。また、特許文献１には、動作量を減らす具体的な方法として、復号化回路が復号する画像の解像度、階調、フレームレートを削減することを挙げている。
しかし、特許文献１では消費電力削減のためにデコード処理の一部を省略するために、フレーム間引き、ピクセル間引きといった処理を追加する複雑な構成を必要としていた。
本発明のスケーラブルビデオストリーム復号装置は、一実施形態において、簡易な機構により消費電力を低減することができる。図１０は、本実施形態に係るスケーラブルビデオストリーム復号装置３００の要部構成を示すブロック図である。図１０に示すように、本実施形態に係るスケーラブルビデオストリーム復号装置３００は、第１の入力部（ストリーム受信手段）３１０、第２の入力部（ストリーム受信手段）３１１、スケーラブルビデオデコーダ部３１２（復号手段）、センサ部（検出手段）３１３、入力制御部（入力制御手段）３１４、入力スイッチ部３１５を備えている。
スケーラブルビデオストリーム復号装置３００は、スケーラブルビデオストリーム復号装置３００の状態を検出して、該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる。
これにより、スケーラブルビデオストリーム復号装置３００の状態が、例えば、電池残量が少ない、装置の温度が高い、蓋が閉められている、装置が移動中である、画像の動きが少ない等であるときに、少なくとも１つのストリーム受信手段を停止させて、復号処理量を適切に調整し、消費電力を削減できる。
（動作の一例）
スケーラブルビデオストリーム復号装置３００の動作の一例について詳細に説明する。
スケーラブルビデオストリーム復号装置３００の動作の一例について詳細に説明する。
第１の入力部３１０は、ベースレイヤストリーム３５０を受信する。受信したストリームを、スケーラブルビデオデコーダ部３１２に送る。第２の入力部３１１は、エンハンスレイヤストリーム３５１を受信する。受信したストリームを、スケーラブルビデオデコーダ部３１２に送る。
スケーラブルビデオデコーダ部３１２は、ベースレイヤストリーム３５０およびエンハンスレイヤストリーム３５１を復号して、動画を出力する。スケーラブルビデオデコーダ部３１２の内部構成は、本発明では限定しないが、例えば上述した本発明に係るスケーラブルビデオストリーム復号装置２００と同様の構成を有していてもよい。
センサ部３１３は、スケーラブルビデオストリーム復号装置３００の電池残量情報を検出する手段である。取得した電池残量情報を入力制御部３１４に送る。入力制御部３１４は、センサ部３１３からの情報に基づいて、エンハンスレイヤストリーム３５１の復号を行うか否かの判定、および入力制御を行う。
図１１は、入力制御部３１４の動作を説明するフローチャートである。入力制御部３１４は、センサ部３１３から、電池残量情報を取得し（ステップＳ３００）、所定の閾値と比較する（ステップＳ３０１）。入力制御部３１４は、電池残量情報が上記閾値を下回っている場合、入力スイッチ部３１５をＯＦＦにする制御を行い（ステップＳ３０２）電池残量情報が閾値以上の場合には、入力スイッチ部３１５をＯＮにする制御を行う（ステップＳ３０３）。
入力スイッチ部３１５は、入力制御部３１４により制御される。第２の入力部３１１は、入力スイッチ部３１５がＯＮになるとエンハンスレイヤストリーム３５１の入力動作を行うが、ＯＦＦになると第２の入力部３１１は動作を停止し、エンハンスレイヤストリーム３５１を入力しない。従って、入力スイッチ部３１５がＯＮである時は、スケーラブルビデオデコーダ部３１２は、必然的にベースレイヤストリーム３５０およびエンハンスレイヤストリーム３５１を用いて出力フレームを復号し、入力スイッチ部３１４がＯＦＦである時は、スケーラブルビデオデコーダ部３１２は、ベースレイヤストリーム３５０のみ用いて出力フレームを復号する。
（本実施形態の利点）
以上のように構成することで、本実施形態に係るスケーラブルビデオストリーム復号装置３００は、電池残量が少なくなるとデコード処理量を削減して消費電力を抑えられるので、再生を維持しつつも、装置の稼動時間を延ばすことができる。尚且つ、スケーラブルビデオストリーム復号装置３００では、スケーラブルビデオデコーダ部３１２には特別に省電力の仕組みを与える事なく、簡単な構成、すなわちセンサ部３１３と、入力制御部３１４と、入力スイッチ部３１５を追加するだけで、上記の効果を奏する。
以上のように構成することで、本実施形態に係るスケーラブルビデオストリーム復号装置３００は、電池残量が少なくなるとデコード処理量を削減して消費電力を抑えられるので、再生を維持しつつも、装置の稼動時間を延ばすことができる。尚且つ、スケーラブルビデオストリーム復号装置３００では、スケーラブルビデオデコーダ部３１２には特別に省電力の仕組みを与える事なく、簡単な構成、すなわちセンサ部３１３と、入力制御部３１４と、入力スイッチ部３１５を追加するだけで、上記の効果を奏する。
（変形例１：センサ部が温度センサである例）
センサ部３１３は、スケーラブルビデオストリーム復号装置３００の温度情報を取得する温度センサであってもよい。この場合、入力制御部３１４は、温度情報が閾値を超えた時に入力スイッチ部３１５をＯＦＦにし、閾値以下になった時に入力スイッチ部３１５をＯＮにする制御を行う。このように構成することにより、装置の温度が上昇した際に、エンハンスレイヤストリーム３５１の復号を省略して、処理量を減らすことで、発熱を抑え、尚且つ消費電力を削減できる。
センサ部３１３は、スケーラブルビデオストリーム復号装置３００の温度情報を取得する温度センサであってもよい。この場合、入力制御部３１４は、温度情報が閾値を超えた時に入力スイッチ部３１５をＯＦＦにし、閾値以下になった時に入力スイッチ部３１５をＯＮにする制御を行う。このように構成することにより、装置の温度が上昇した際に、エンハンスレイヤストリーム３５１の復号を省略して、処理量を減らすことで、発熱を抑え、尚且つ消費電力を削減できる。
（変形例２：センサ部がディスプレイ蓋部センサである例）
スケーラブルビデオストリーム復号装置３００が、ディスプレイ表面を保護する等の目的で、開閉可能な蓋が備えられている装置に組み込まれている場合、センサ部３１３は、該装置のディスプレイ蓋の開閉センサであってもよい。この場合、入力制御部３１４は、上記ディスプレイ蓋が閉じられている時に入力スイッチ部３１５をＯＦＦにし、該ディスプレイ蓋が開けられている時に、入力スイッチ部３１５をＯＮにする制御を行う。上記装置のディスプレイ蓋が閉じられている時、ユーザーが映像を観察している可能性は低いので、エンハンスレイヤストリーム３５１の復号を省略して画質を下げても、ユーザーの利便性は損なわれない。したがって、上記のように構成することにより、ユーザーの利便性を損なわずに、消費電力を抑えることができる。
スケーラブルビデオストリーム復号装置３００が、ディスプレイ表面を保護する等の目的で、開閉可能な蓋が備えられている装置に組み込まれている場合、センサ部３１３は、該装置のディスプレイ蓋の開閉センサであってもよい。この場合、入力制御部３１４は、上記ディスプレイ蓋が閉じられている時に入力スイッチ部３１５をＯＦＦにし、該ディスプレイ蓋が開けられている時に、入力スイッチ部３１５をＯＮにする制御を行う。上記装置のディスプレイ蓋が閉じられている時、ユーザーが映像を観察している可能性は低いので、エンハンスレイヤストリーム３５１の復号を省略して画質を下げても、ユーザーの利便性は損なわれない。したがって、上記のように構成することにより、ユーザーの利便性を損なわずに、消費電力を抑えることができる。
（変形例３：センサ部が加速度センサである例）
センサ部３１３は、装置に加えられている加速度を検出する加速度センサであってもよい。この場合、入力制御部３１４は、加速度が閾値を越えた時に入力スイッチ部３１５をＯＦＦにし、閾値以下になった時に入力スイッチ部３１５をＯＮにする制御を行う。装置を下ろす、持ち上げる、振る等、加速度を加えている間は、ユーザーが映像を観察している可能性は低いので、エンハンスレイヤストリーム３５１の復号を省略して画質を下げても、ユーザーの利便性は損なわれない。したがって、上記ように構成することにより、ユーザーの利便性を損なわずに、消費電力を抑えることができる。
センサ部３１３は、装置に加えられている加速度を検出する加速度センサであってもよい。この場合、入力制御部３１４は、加速度が閾値を越えた時に入力スイッチ部３１５をＯＦＦにし、閾値以下になった時に入力スイッチ部３１５をＯＮにする制御を行う。装置を下ろす、持ち上げる、振る等、加速度を加えている間は、ユーザーが映像を観察している可能性は低いので、エンハンスレイヤストリーム３５１の復号を省略して画質を下げても、ユーザーの利便性は損なわれない。したがって、上記ように構成することにより、ユーザーの利便性を損なわずに、消費電力を抑えることができる。
（変形例４：センサ部が動きベクトルセンサである例）
センサ部３１３は、スケーラブルビデオデコーダ部３１２の復号途中で得られた動きベクトルを検出するセンサまたはプログラムであってもよい。この場合、入力制御部３１４は、動きベクトルから求められる評価値、例えば全ベクトルの大きさの和が閾値を超えた場合に入力スイッチ部３１５をＯＮにし、閾値以下になった時に、入力スイッチ部３１５をＯＦＦにする。復号した映像中の動きが少ない時には、エンハンスレイヤストリーム３５１に含まれる次のフレームの復号を省略しても、見かけ上の大きな差が出ないので、ユーザーの利便性は損なわれない。したがって、上記ように構成することにより、ユーザーの利便性を損なわずに、消費電力を抑えることができる。
センサ部３１３は、スケーラブルビデオデコーダ部３１２の復号途中で得られた動きベクトルを検出するセンサまたはプログラムであってもよい。この場合、入力制御部３１４は、動きベクトルから求められる評価値、例えば全ベクトルの大きさの和が閾値を超えた場合に入力スイッチ部３１５をＯＮにし、閾値以下になった時に、入力スイッチ部３１５をＯＦＦにする。復号した映像中の動きが少ない時には、エンハンスレイヤストリーム３５１に含まれる次のフレームの復号を省略しても、見かけ上の大きな差が出ないので、ユーザーの利便性は損なわれない。したがって、上記ように構成することにより、ユーザーの利便性を損なわずに、消費電力を抑えることができる。
（変形例５：複数センサの組み合わせ）
センサ部３１３は、複数のセンサ手段からなっていてもよい。この場合、入力制御部３１４は、複数のセンサからの情報を総合して入力スイッチ部３１５のＯＮ／ＯＦＦの制御を行う。
センサ部３１３は、複数のセンサ手段からなっていてもよい。この場合、入力制御部３１４は、複数のセンサからの情報を総合して入力スイッチ部３１５のＯＮ／ＯＦＦの制御を行う。
なお、上記動作例および変形例の説明において、具体的に、「以上」「以下」「上回る」「下回る」の表現を用いたが、等値を含むか否かを厳密に指定する物ではなく、「以上」を「上回る」と読み替えてもよい。
（変形例６：制御の連続的に切り替える例）
また、上述した例では、入力制御部３１４が、センサ部３１３からの値（連続値）と閾値とを比較することにより、入力スイッチ部３１５を、ＯＮ／ＯＦＦの２値で制御しているが、入力制御部３１４は、入力スイッチ部３１５を、連続的に制御してもよい。例えば、センサ部３１３から得られた値が閾値とほぼ同じ値である時、入力制御部３１４は、入力スイッチ部３１５の制御をＯＮおよびＯＦＦに１対１の時間配分で断続的に切り替えてもよい。
また、上述した例では、入力制御部３１４が、センサ部３１３からの値（連続値）と閾値とを比較することにより、入力スイッチ部３１５を、ＯＮ／ＯＦＦの２値で制御しているが、入力制御部３１４は、入力スイッチ部３１５を、連続的に制御してもよい。例えば、センサ部３１３から得られた値が閾値とほぼ同じ値である時、入力制御部３１４は、入力スイッチ部３１５の制御をＯＮおよびＯＦＦに１対１の時間配分で断続的に切り替えてもよい。
（変形例７：制御を遅延させる例）
入力制御部３１４に、スイッチタイマ部をさらに設け、センサ部３１３からの情報が、入力スイッチ部３１５のＯＮ／ＯＦＦの切替えを生じさせる条件を満たした時点から一定時間経過した後に、入力スイッチ部３１５を制御してもよい。このように構成することで、センサ部からの情報が頻繁に閾値を越え、入力スイッチ部３１５のＯＮおよびＯＦＦにする制御も頻繁に行われて不自然な映像再生が行われるといった現象を抑えることが出来る。
入力制御部３１４に、スイッチタイマ部をさらに設け、センサ部３１３からの情報が、入力スイッチ部３１５のＯＮ／ＯＦＦの切替えを生じさせる条件を満たした時点から一定時間経過した後に、入力スイッチ部３１５を制御してもよい。このように構成することで、センサ部からの情報が頻繁に閾値を越え、入力スイッチ部３１５のＯＮおよびＯＦＦにする制御も頻繁に行われて不自然な映像再生が行われるといった現象を抑えることが出来る。
（変形例８：ユーザー操作可能な例）
スケーラブルビデオストリーム復号装置３００に、ユーザー操作部を更に設け、ユーザーが各種閾値を設定できるようにしてもよいし、ユーザーが入力スイッチ部３１５の制御を行えるようにしてもよい。このように構成することで、ユーザーの指示によって画質を下げつつも消費電力を抑えることが出来る。
スケーラブルビデオストリーム復号装置３００に、ユーザー操作部を更に設け、ユーザーが各種閾値を設定できるようにしてもよいし、ユーザーが入力スイッチ部３１５の制御を行えるようにしてもよい。このように構成することで、ユーザーの指示によって画質を下げつつも消費電力を抑えることが出来る。
（変形例９：制御条件を学習する例）
ユーザーの操作履歴を元に、最適な制御を行うようにしてもよい。即ち、入力制御部３１４は、ユーザーが入力スイッチ部３１５の制御操作をした時の装置の状態、例えば温度等を記録しておき、次回はその状態になった時に、入力スイッチ部３１５に同じ制御を行う。このように構成することで、エンハンスレイヤストリーム３５１の復号のＯＮ／ＯＦＦ制御を、ユーザーの嗜好に合わせて細やかに制御できるようになり、利便性と省電力性の両方を向上できる。
ユーザーの操作履歴を元に、最適な制御を行うようにしてもよい。即ち、入力制御部３１４は、ユーザーが入力スイッチ部３１５の制御操作をした時の装置の状態、例えば温度等を記録しておき、次回はその状態になった時に、入力スイッチ部３１５に同じ制御を行う。このように構成することで、エンハンスレイヤストリーム３５１の復号のＯＮ／ＯＦＦ制御を、ユーザーの嗜好に合わせて細やかに制御できるようになり、利便性と省電力性の両方を向上できる。
なお、本発明に係るスケーラブルビデオストリーム再生装置は、一実施形態において、スケーラブルビデオストリーム再生装置の状態を検出するセンサ部と、センサ部から取得したスケーラブルビデオストリーム再生装置の状態によってストリームの入力制御の判断を行う入力制御部と、前記入力制御部からの制御によって、少なくとも１つの入力部の入力を停止する入力スイッチ部とを備える前記スケーラブルビデオストリーム再生装置と表すこともできる。
（本発明の各装置の共通バリエーション）
本発明に係るスケーラブルビデオストリーム復号装置は、電池駆動により持ち運びができる、小型の装置を想定しているが、外部から電源を供給される車載型や据え置き型の装置でもよい。
本発明に係るスケーラブルビデオストリーム復号装置は、電池駆動により持ち運びができる、小型の装置を想定しているが、外部から電源を供給される車載型や据え置き型の装置でもよい。
本発明に係るスケーラブルビデオストリーム生成装置は、据え置き型の装置を想定しているが、同じく車載型や、電池駆動により持ち運びできる装置でもよい。
ビットストリームの伝送路を含む各部の伝送は、放送を含む広義の通信であれば、有線通信、無線通信のどちらでもよい。無線通信とは、可視光、赤外線を含む電磁波による物、電子、量子等の微粒子を用いた方式でもよい。この場合、電磁波や微粒子は送信装置から受信装置に直接伝送される物であってもよいし、人工衛星や地上基地局等の再送装置、中継装置による再送信波、または構造物や月面、地表、水面、電離層等を使った反射波であってもよい。再送信に伴い、周波数や信号方式を変更してもよい。有線通信は、金属線やたんぱく質等の有機素材を始めとする固体もしくはゲル状の媒体に電気や振動を流す方式でもよいし、光ファイバ等に光を通す物であってもよい。筒状の長尺物内部に各種の液体、気体等を充填した媒体に、同じく電気や振動を流す方式でもよい。
また、各装置の入出力部としてメモリを用いる場合、メモリは各装置から取り外して可搬化してもよい。このように構成することで、メモリを別の装置に装着して利用したり、装置と別に保存管理したりできるので利便性が高まる。
各種のメモリ部は、半導体、磁気、光、化学反応等を用いてデジタル状態を一定時間保持できる物であれば何でもよいし、その形態は円盤状、テープ状、筒状、球状、多角形状、枝状、流体状の他、何でもよい。更に通信路の先にメモリ部を儲け、装置内部にはメモリを持たない構成、装置内部にもメモリを持つ構成いずれも、これまでに述べた物と同様の効果を奏する。その他、各部の手段として別の手段を例示してある物は、排他的に選択、具備される物ではなく、複数の手段を同時に備えて動的に選択してもよいし、並列または直列に独立または強調して動作してもよい。
以上の動作を行う装置は、ハードワイヤードロジックで構成してもよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。
すなわちスケーラブルビデオストリーム生成装置１００、スケーラブルビデオストリーム復号装置２００、およびスケーラブルビデオストリーム復号装置３００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、この制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、上記制御プログラムを実行可能な形式に展開するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および、上記制御プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。
この構成により、本発明の目的は、所定の記録媒体によっても達成できる。この記録媒体は、上述した機能を実現するソフトウェアである上記装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。上記装置にこの記録媒体を供給する。これにより、コンピュータとしての上記装置（またはＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
プログラムコードを上記装置に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
また上記装置は、通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して端末装置１に供給する。この通信ネットワークは、上記装置にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえば、ＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、デジタルビデオを配信するシステム等に適用可能である。
１ 入力映像
２ スケーラブルビデオストリーム生成装置
３ ベースレイヤストリーム
４ エンハンスレイヤストリーム
５ 伝送路
６ ビデオストリーム再生装置
７ スケーラブルビデオストリーム再生装置
８ 復号された低フレームレート映像
９ 復号された高フレームレート映像
１０ ベースレイヤストリーム入力部
１１ エンハンスレイヤストリーム入力部
１２ ベースレイヤビデオデコーダ
１３ エンハンスレイヤビデオデコーダ
１４ エンハンスレイヤ参照フレームメモリ
１５ ベースレイヤ参照フレームメモリ
１６ 並べ替え部
１７ 出力フレームメモリ
１８ 表示部
１００ スケーラブルビデオストリーム生成装置
１１０ 映像入力部
１１１ 入力フレームメモリ部
１１２ エンコード制御部
１１３ ビデオエンコーダ部（符号化手段）
１１４ 参照フレームメモリ部（スケーラブルビデオストリーム生成装置側）
１１５ コードバッファメモリ部
１１６ 振り分け部（振り分け手段）
１１７ 第１の出力部
１１８ 第２の出力部
２００ スケーラブルビデオストリーム復号装置
２１０ 第１の入力部（ストリーム受信手段）
２１１ 第２の入力部（ストリーム受信手段）
２１２ 第１の入力ストリームメモリ部
２１３ 第２の入力ストリームメモリ部
２１４ 並べ替え部（並べ替え手段）
２１５ 参照フレームメモリ部（スケーラブルビデオストリーム再生装置側）
２１６ ビデオデコーダ部（復号手段）
２１７ 出力フレームメモリ部
２１８ 出力部
３００ スケーラブル非対応のビデオストリーム再生装置
３１０ 第１の入力部（ストリーム受信手段）
３１１ 第２の入力部（ストリーム受信手段）
３１２ スケーラブルビデオデコーダ部（復号手段）
３１３ センサ部（検出手段）
３１４ 入力制御部（入力制御手段）
３１５ 入力スイッチ部
１５０ 入力映像
１５１、２５０、３５０ ベースレイヤストリーム
１５２〜１５４、２５１、３５１ エンハンスレイヤストリーム
Ｓ１００ 符号化モード決定ステップ
Ｓ１０１ 画面内予測符号化指示、参照フレーム指示ステップ
Ｓ１０２ レイヤ選択ステップ
Ｓ１０３ 画面間予測符号化指示、参照フレーム指示ステップ
Ｓ１０４ 画面間予測符号化指示、非参照フレーム指示ステップ
Ｓ１２０ 符号化モード判定ステップ
Ｓ１２１ 参照フレーム取得ステップ
Ｓ１２２ 動きベクトル探索ステップ
Ｓ１２３ 残差画像作成ステップ
Ｓ１２４ 直交変換、量子化ステップ
Ｓ１２５ 参照フレーム指示判断ステップ
Ｓ１２６ 逆量子化、逆直交変換ステップ
Ｓ１２７ 復号画像作成ステップ
Ｓ１２８ 参照フレーム保存ステップ
Ｓ１２９ 可変長符号化ステップ
Ｓ２００、Ｓ２２０ 第１ストリーム時刻取得ステップ
Ｓ２０１、Ｓ２２１ 第２ストリーム時刻取得ステップ
Ｓ２２２ 第１ストリーム時刻有効判断ステップ
Ｓ２２３ 時刻計算ステップ
Ｓ２２４ 過去時刻判断ステップ
Ｓ２２５ 未来時刻判断ステップ
Ｓ２０２、Ｓ２２６ 時刻比較ステップ
Ｓ２０３、Ｓ２２７ 第１ストリーム取り出しステップ
Ｓ２０４、Ｓ２２８ 第２ストリーム取り出しステップ
Ｓ２０５、Ｓ２２９ ストリーム送りステップ
Ｓ３００ 電池残量情報取得ステップ
Ｓ３０１ 閾値比較ステップ
Ｓ３０２ 入力スイッチＯＦＦステップ
Ｓ３０３ 入力スイッチＯＮステップ
２ スケーラブルビデオストリーム生成装置
３ ベースレイヤストリーム
４ エンハンスレイヤストリーム
５ 伝送路
６ ビデオストリーム再生装置
７ スケーラブルビデオストリーム再生装置
８ 復号された低フレームレート映像
９ 復号された高フレームレート映像
１０ ベースレイヤストリーム入力部
１１ エンハンスレイヤストリーム入力部
１２ ベースレイヤビデオデコーダ
１３ エンハンスレイヤビデオデコーダ
１４ エンハンスレイヤ参照フレームメモリ
１５ ベースレイヤ参照フレームメモリ
１６ 並べ替え部
１７ 出力フレームメモリ
１８ 表示部
１００ スケーラブルビデオストリーム生成装置
１１０ 映像入力部
１１１ 入力フレームメモリ部
１１２ エンコード制御部
１１３ ビデオエンコーダ部（符号化手段）
１１４ 参照フレームメモリ部（スケーラブルビデオストリーム生成装置側）
１１５ コードバッファメモリ部
１１６ 振り分け部（振り分け手段）
１１７ 第１の出力部
１１８ 第２の出力部
２００ スケーラブルビデオストリーム復号装置
２１０ 第１の入力部（ストリーム受信手段）
２１１ 第２の入力部（ストリーム受信手段）
２１２ 第１の入力ストリームメモリ部
２１３ 第２の入力ストリームメモリ部
２１４ 並べ替え部（並べ替え手段）
２１５ 参照フレームメモリ部（スケーラブルビデオストリーム再生装置側）
２１６ ビデオデコーダ部（復号手段）
２１７ 出力フレームメモリ部
２１８ 出力部
３００ スケーラブル非対応のビデオストリーム再生装置
３１０ 第１の入力部（ストリーム受信手段）
３１１ 第２の入力部（ストリーム受信手段）
３１２ スケーラブルビデオデコーダ部（復号手段）
３１３ センサ部（検出手段）
３１４ 入力制御部（入力制御手段）
３１５ 入力スイッチ部
１５０ 入力映像
１５１、２５０、３５０ ベースレイヤストリーム
１５２〜１５４、２５１、３５１ エンハンスレイヤストリーム
Ｓ１００ 符号化モード決定ステップ
Ｓ１０１ 画面内予測符号化指示、参照フレーム指示ステップ
Ｓ１０２ レイヤ選択ステップ
Ｓ１０３ 画面間予測符号化指示、参照フレーム指示ステップ
Ｓ１０４ 画面間予測符号化指示、非参照フレーム指示ステップ
Ｓ１２０ 符号化モード判定ステップ
Ｓ１２１ 参照フレーム取得ステップ
Ｓ１２２ 動きベクトル探索ステップ
Ｓ１２３ 残差画像作成ステップ
Ｓ１２４ 直交変換、量子化ステップ
Ｓ１２５ 参照フレーム指示判断ステップ
Ｓ１２６ 逆量子化、逆直交変換ステップ
Ｓ１２７ 復号画像作成ステップ
Ｓ１２８ 参照フレーム保存ステップ
Ｓ１２９ 可変長符号化ステップ
Ｓ２００、Ｓ２２０ 第１ストリーム時刻取得ステップ
Ｓ２０１、Ｓ２２１ 第２ストリーム時刻取得ステップ
Ｓ２２２ 第１ストリーム時刻有効判断ステップ
Ｓ２２３ 時刻計算ステップ
Ｓ２２４ 過去時刻判断ステップ
Ｓ２２５ 未来時刻判断ステップ
Ｓ２０２、Ｓ２２６ 時刻比較ステップ
Ｓ２０３、Ｓ２２７ 第１ストリーム取り出しステップ
Ｓ２０４、Ｓ２２８ 第２ストリーム取り出しステップ
Ｓ２０５、Ｓ２２９ ストリーム送りステップ
Ｓ３００ 電池残量情報取得ステップ
Ｓ３０１ 閾値比較ステップ
Ｓ３０２ 入力スイッチＯＦＦステップ
Ｓ３０３ 入力スイッチＯＮステップ
Claims (9)
- 符号化画像ストリームを受信するストリーム受信手段と、
該ストリーム受信手段が受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え手段と、
該並べ替え手段が並べ替えた該符号化画像を復号する復号手段とを備えていることを特徴とするスケーラブルビデオストリーム復号装置。 - 複数の上記ストリーム受信手段を備えており、
上記スケーラブルビデオストリーム復号装置の状態を検出する検出手段と、
該検出手段が検出した該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる入力制御手段とをさらに備えていることを特徴とする請求項１に記載のスケーラブルビデオストリーム復号装置。 - 複数の入力フレームを、動き補償予測を用いて符号化する符号化手段と、
該符号化手段が符号化した各符号化画像を、複数の符号化画像ストリームに振り分ける振り分け手段とを備えており、
該振り分け手段は、振り分けるべき該符号化画像が、該符号化手段が任意の該入力フレームを符号化するときに、動き補償予測のための参照フレームとして用いられるか否かに基づいて、該符号化画像を振り分けることを特徴とするスケーラブルビデオストリーム生成装置。 - 符号化画像ストリームを受信するストリーム受信工程と、
該ストリーム受信工程において受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え工程と、
該並べ替え工程において並べ替えた該符号化画像を復号する復号工程とを包含することを特徴とするスケーラブルビデオストリーム復号方法。 - 符号化画像ストリームを受信する複数のストリーム受信手段と、
該ストリーム受信手段が受信した該符号化画像ストリームに含まれる複数の符号化画像を、該符号化画像のそれぞれの表示タイミング情報に従って並べ替える並べ替え手段と、
該並べ替え手段が並べ替えた該符号化画像を復号する復号手段とを備えているスケーラブルビデオストリーム復号装置の制御方法であって、
該スケーラブルビデオストリーム復号装置の状態を検出する検出工程と、
該検出工程において検出した該状態に基づいて、少なくとも１つの該ストリーム受信手段を作動させるか、または停止させる入力制御工程とを包含することを特徴とするスケーラブルビデオストリーム復号装置の制御方法。 - 複数の入力フレームを、動き補償予測を用いて符号化する符号化工程と、
該符号化工程において符号化された各符号化画像を、複数の符号化画像ストリームに振り分ける振り分け工程とを包含しており、
該振り分け工程では、振り分けるべき該符号化画像が、該符号化手段が任意の入力フレームを符号化するときに、動き補償予測のための参照フレームとして用いられるか否かに基づいて、該符号化画像を振り分けることを特徴とするスケーラブルビデオストリーム生成方法。 - 請求項１に記載のスケーラブルビデオストリーム復号装置を動作させるためのスケーラブルビデオストリーム復号プログラムであって、
コンピュータを上記各手段として機能させるためのスケーラブルビデオストリーム復号プログラム。 - 請求項２に記載のスケーラブルビデオストリーム復号装置を動作させるためのスケーラブルビデオストリーム復号プログラムであって、
コンピュータを上記各手段として機能させるためのスケーラブルビデオストリーム復号プログラム。 - 請求項３に記載のスケーラブルビデオストリーム生成装置を動作させるためのスケーラブルビデオストリーム生成プログラムであって、
コンピュータを上記各手段として機能させるためのスケーラブルビデオストリーム生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007169656A JP2009010649A (ja) | 2007-06-27 | 2007-06-27 | スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007169656A JP2009010649A (ja) | 2007-06-27 | 2007-06-27 | スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009010649A true JP2009010649A (ja) | 2009-01-15 |
Family
ID=40325293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007169656A Pending JP2009010649A (ja) | 2007-06-27 | 2007-06-27 | スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009010649A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010095984A1 (en) * | 2009-02-17 | 2010-08-26 | Telefonaktiebolaget L M Ericsson (Publ) | Systems and method for enabling fast channel switching |
| JP2011077721A (ja) * | 2009-09-29 | 2011-04-14 | Victor Co Of Japan Ltd | 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 |
| JPWO2011114817A1 (ja) * | 2010-03-18 | 2013-06-27 | 日本電気株式会社 | 発熱が小さい、テレビ電話機能を持つ携帯電話機 |
| JP2014187510A (ja) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | ストリーミング配信システム、ストリーミング配信方法、ストリーミング配信プログラムおよびストリーミング配信サーバ |
| JP2015506614A (ja) * | 2011-12-29 | 2015-03-02 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | マルチメディアコンテンツの多重化ストリーミングのためのシステム及び方法 |
| JP2015144493A (ja) * | 2008-03-06 | 2015-08-06 | アリス テクノロジー インコーポレイテッドＡｒｒｉｓ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． | 拡張されたビデオストリームを復号するための方法および装置 |
| US9854272B2 (en) | 2008-03-06 | 2017-12-26 | Arris Enterprises, Inc. | Method and apparatus for decoding an enhanced video stream |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11164270A (ja) * | 1997-11-25 | 1999-06-18 | Kdd | マルチチャンネルを用いるビデオデータ伝送方法及びその装置 |
| JP2003264767A (ja) * | 2001-12-28 | 2003-09-19 | Matsushita Electric Ind Co Ltd | データ再生装置及びデータ再生方法 |
| WO2005011285A1 (ja) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体 |
| WO2005050346A2 (ja) * | 2003-11-21 | 2005-06-02 | Nec Corp | コンテンツ配信及び受信装置, コンテンツ送受信システム, コンテンツ配信及び受信方法, コンテンツ配信及び受信用プログラム |
| JP2005151176A (ja) * | 2003-11-14 | 2005-06-09 | Matsushita Electric Ind Co Ltd | 画像伝送方法および装置 |
| JP2005184519A (ja) * | 2003-12-19 | 2005-07-07 | Nec Saitama Ltd | 動画像視聴システム及び動画像視聴端末 |
| WO2005086486A1 (en) * | 2004-03-04 | 2005-09-15 | Samsung Electronics Co., Ltd. | Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method |
| JP2007068020A (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Ind Co Ltd | デジタル放送受信装置 |
-
2007
- 2007-06-27 JP JP2007169656A patent/JP2009010649A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11164270A (ja) * | 1997-11-25 | 1999-06-18 | Kdd | マルチチャンネルを用いるビデオデータ伝送方法及びその装置 |
| JP2003264767A (ja) * | 2001-12-28 | 2003-09-19 | Matsushita Electric Ind Co Ltd | データ再生装置及びデータ再生方法 |
| WO2005011285A1 (ja) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体 |
| JP2005151176A (ja) * | 2003-11-14 | 2005-06-09 | Matsushita Electric Ind Co Ltd | 画像伝送方法および装置 |
| WO2005050346A2 (ja) * | 2003-11-21 | 2005-06-02 | Nec Corp | コンテンツ配信及び受信装置, コンテンツ送受信システム, コンテンツ配信及び受信方法, コンテンツ配信及び受信用プログラム |
| JP2005184519A (ja) * | 2003-12-19 | 2005-07-07 | Nec Saitama Ltd | 動画像視聴システム及び動画像視聴端末 |
| WO2005086486A1 (en) * | 2004-03-04 | 2005-09-15 | Samsung Electronics Co., Ltd. | Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method |
| JP2007068020A (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Ind Co Ltd | デジタル放送受信装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015144493A (ja) * | 2008-03-06 | 2015-08-06 | アリス テクノロジー インコーポレイテッドＡｒｒｉｓ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． | 拡張されたビデオストリームを復号するための方法および装置 |
| US9854272B2 (en) | 2008-03-06 | 2017-12-26 | Arris Enterprises, Inc. | Method and apparatus for decoding an enhanced video stream |
| US10616606B2 (en) | 2008-03-06 | 2020-04-07 | Arris Enterprises Llc | Method and apparatus for decoding an enhanced video stream |
| US11146822B2 (en) | 2008-03-06 | 2021-10-12 | Arris Enterprises Llc | Method and apparatus for decoding an enhanced video stream |
| US11722702B2 (en) | 2008-03-06 | 2023-08-08 | Bison Patent Licensing LLC | Method and apparatus for decoding an enhanced video stream |
| WO2010095984A1 (en) * | 2009-02-17 | 2010-08-26 | Telefonaktiebolaget L M Ericsson (Publ) | Systems and method for enabling fast channel switching |
| JP2011077721A (ja) * | 2009-09-29 | 2011-04-14 | Victor Co Of Japan Ltd | 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 |
| JPWO2011114817A1 (ja) * | 2010-03-18 | 2013-06-27 | 日本電気株式会社 | 発熱が小さい、テレビ電話機能を持つ携帯電話機 |
| JP2015506614A (ja) * | 2011-12-29 | 2015-03-02 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | マルチメディアコンテンツの多重化ストリーミングのためのシステム及び方法 |
| US9918112B2 (en) | 2011-12-29 | 2018-03-13 | Thomson Licensing | System and method for multiplexed streaming of multimedia content |
| JP2014187510A (ja) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | ストリーミング配信システム、ストリーミング配信方法、ストリーミング配信プログラムおよびストリーミング配信サーバ |
| US9654530B2 (en) | 2013-03-22 | 2017-05-16 | Fujitsu Limited | Streaming distribution system, streaming distribution method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2010032636A1 (ja) | スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 | |
| RU2409005C2 (ru) | Способ масштабируемого кодирования и декодирования видеосигнала | |
| US20230370629A1 (en) | Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus | |
| US9338453B2 (en) | Method and device for encoding/decoding video signals using base layer | |
| US8532187B2 (en) | Method and apparatus for scalably encoding/decoding video signal | |
| US8619854B2 (en) | Scalable video encoding and decoding method using switching pictures and apparatus thereof | |
| CN109644269B (zh) | 图像处理设备、图像处理方法和存储介质 | |
| US20200021816A1 (en) | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus | |
| US10070138B2 (en) | Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof | |
| KR101867461B1 (ko) | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 | |
| US20070291131A1 (en) | Apparatus and Method for Controlling Image Coding Mode | |
| JP5594536B2 (ja) | 画像処理装置および方法、プログラム、並びに、記録媒体 | |
| RU2665284C2 (ru) | Устройство кодирования изображения и способ, и устройство декодирования изображения и способ | |
| US20180176580A1 (en) | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus | |
| US20190200028A1 (en) | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, image coding and decoding apparatus | |
| JP2009010649A (ja) | スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置 | |
| WO2013164922A1 (ja) | 画像処理装置及び画像処理方法 | |
| US9723308B2 (en) | Image processing apparatus and image processing method | |
| WO2013001939A1 (ja) | 画像処理装置及び画像処理方法 | |
| US20240080453A1 (en) | Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus | |
| US9992513B2 (en) | Image processing efficient transmission or reception of encoded information | |
| US9743079B2 (en) | Image processing apparatus and image processing method for the collective transfer of prediction parameters between storage units | |
| KR100846795B1 (ko) | Ｒｇｂ 코덱 기반의 동영상 송수신 방법 및 그 장치 | |
| US9948935B2 (en) | Image decoding apparatus, image transmission apparatus, image processing system, image decoding method, and image transmission method using range information | |
| JP2011087194A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120110 |