JP2005094054A - 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム - Google Patents
画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム Download PDFInfo
- Publication number
- JP2005094054A JP2005094054A JP2003320341A JP2003320341A JP2005094054A JP 2005094054 A JP2005094054 A JP 2005094054A JP 2003320341 A JP2003320341 A JP 2003320341A JP 2003320341 A JP2003320341 A JP 2003320341A JP 2005094054 A JP2005094054 A JP 2005094054A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- difference information
- encoding
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 解像度方向に対する情報更新性を実現する方式としてスケーラビリティを利用した符号化装置、その方法、プログラムなどを提供する。
【解決手段】 画像符号化装置１００は、直交変換・量子化器１１０および階層差分情報生成器１４０具えており、階層差分情報発生器１４０は、生成器１４４を具えており、量子化器１１０により画像情報に基づいて生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する。これによって、基本となる「低品質画像情報」および「差分情報」から「高品質画像情報」に変換するような負荷分散型の画像配信モデルを実現することができるようになる。
【選択図】 図１
【解決手段】 画像符号化装置１００は、直交変換・量子化器１１０および階層差分情報生成器１４０具えており、階層差分情報発生器１４０は、生成器１４４を具えており、量子化器１１０により画像情報に基づいて生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する。これによって、基本となる「低品質画像情報」および「差分情報」から「高品質画像情報」に変換するような負荷分散型の画像配信モデルを実現することができるようになる。
【選択図】 図１
Description
本発明は、映像情報生成・圧縮・処理方式に関するものであり、より詳細には、階層間差分情報を利用した情報更新性を有する画像符号化装置その方法およびプログラム、並びにストリーム合成器その方法およびプログラムに関するものである。
グローバルインターネット時代を迎え、ネットワークを介して映像を利用者が家庭でアクセスして見ることが可能となった。ネットワーク上の映像コンテンツアーカイブサーバに蓄積されている情報を、いかに効率よく利用者端末へ伝送し、再生できるかが課題であり、大容量コンテンツの配送方式や配送サーバ配置（非特許文献1、２を参照されたい）などについて検討されている。
また。現在、ネットワーク上に存在する映像コンテンツなどの情報を有効利用するアプリケーション開発（非特許文献３を参照されたい）が盛んに検討されている。
また。現在、ネットワーク上に存在する映像コンテンツなどの情報を有効利用するアプリケーション開発（非特許文献３を参照されたい）が盛んに検討されている。
そして、コンテンツの再利用など情報流通を考慮した、機能化データのパッケージ化によるマルチメディアサービスの概念（非特許文献４、５を参照されたい）を本発明者は提案した。このようなサービスにおけるパッケージをマルチメディアスケーラビリティパッケージ（MSP）と呼びその通信サービスについて検討してきた。これは、スケーラビリティの概念を基本としたもので、特に利用者側の機能性を考慮した構造化方式（非特許文献６を参照されたい）である。
また、従来のスケーラブル映像情報符号化方式として、空間スケーラビリティ（非特許文献７を参照されたい）がある。この方式は、空間解像度方向の階層構造を有し、符号化器及び復号器も階層データストリームを解釈することを前提としているため、情報更新性を実現することができない。また、情報変換処理方法として高品質な情報から低品質な情報への変換についての考え方が基本であり、情報更新性については考慮されていない（非特許文献８を参照されたい）。そこで、我々は情報更新性を実現する方式として、更新スケーラビリティの概念を提案している（非特許文献９を参照されたい）。この方式は、画像解像度方向については課題を有する。
上山憲昭著「大容量コンテンツ配送におけるスケジューリング方式」（信学技報、SSE2000-46、pp．25-30（2000）） 前田隆之、田中良明、富永英義著「一対多適応的コンテンツ配送方式」（信学技報、SSE99-207, IN99-170, pp. 165−170(2000)） S.-F. Chang, A. Puri, T. Sikora and H. Zhang："Introduction to the special issue on MPEG-7", IEEE Trans. Circuit Syst． Video Technol., CSVT-11, 6, pp． 685-687,（2001）． 児玉明、笠井裕之、村井正人、富永英義著「マルチメディアプロシーディングとその情報構成に関する検討」（信学技報、 IN96-122, OFS96-10（1997） 児玉明著「マルチメディアプロシーディグパッケージのスケーラビリティアーキテクチャによる情報構成法の考察」（信学技報、IE98-38, PRMU98-61, MVE98-61, pp.63−69, (1998)） 児玉明、富永英義著「スケーラビリティに基づいたマルチメディア情報構成法の検討〜マルチメディアプロシーディングプロファイルと画像情報変換〜」（信学技報、 IE97-10, pp．73-78（1997）） ISO―IEC 13818−2, International Standard："Information Technology- Generic Coding of Moving Pictures and Associated Audio Recommendation H．262",（1995）． G． Morrison："Video Transcoders with Low Delay", IEICE Trans． Commun., E80−B, 6, pp．963−969 （1997）． 児玉明、富永英義著「動画像ビットストリームスケーラビリティとその評価」（信学論、J80−B−I, 2, pp. 98-105 (1997)）
上山憲昭著「大容量コンテンツ配送におけるスケジューリング方式」（信学技報、SSE2000-46、pp．25-30（2000）） 前田隆之、田中良明、富永英義著「一対多適応的コンテンツ配送方式」（信学技報、SSE99-207, IN99-170, pp. 165−170(2000)） S.-F. Chang, A. Puri, T. Sikora and H. Zhang："Introduction to the special issue on MPEG-7", IEEE Trans. Circuit Syst． Video Technol., CSVT-11, 6, pp． 685-687,（2001）． 児玉明、笠井裕之、村井正人、富永英義著「マルチメディアプロシーディングとその情報構成に関する検討」（信学技報、 IN96-122, OFS96-10（1997） 児玉明著「マルチメディアプロシーディグパッケージのスケーラビリティアーキテクチャによる情報構成法の考察」（信学技報、IE98-38, PRMU98-61, MVE98-61, pp.63−69, (1998)） 児玉明、富永英義著「スケーラビリティに基づいたマルチメディア情報構成法の検討〜マルチメディアプロシーディングプロファイルと画像情報変換〜」（信学技報、 IE97-10, pp．73-78（1997）） ISO―IEC 13818−2, International Standard："Information Technology- Generic Coding of Moving Pictures and Associated Audio Recommendation H．262",（1995）． G． Morrison："Video Transcoders with Low Delay", IEICE Trans． Commun., E80−B, 6, pp．963−969 （1997）． 児玉明、富永英義著「動画像ビットストリームスケーラビリティとその評価」（信学論、J80−B−I, 2, pp. 98-105 (1997)）
そこで、本願は、上述した諸課題を解決し、新たに解像度方向に対しての情報更新性を実現する方式としてスケーラビリティを利用した符号化装置、その方法、プログラムなどを提供することを目的とする。
本発明による画像符号化装置は、
量子化器で画像情報に基づいて生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する差分情報発生器を具えることを特徴とする。
本発明によれば、比較的少量のデータで済む基本品質画像（低品質画像）の「符号化（圧縮）画像情報」と、その基本画像品質と高品質画像との差分情報である「符号化差分情報」との組み合わせとなるため、従来、画像品質階層別に生成・格納・送信されていた「複数の圧縮画像情報」よりも情報の冗長性を顕著に低減でき、データ容量およびデータ送信トラヒックを大幅に削減することができる。さらに、本発明によれば、「符号化基本品質画像情報」と「符号化差分情報」とを結合して１つのビットストリームとして配信すれば、サーバやユーザなどのシステムに搭載されている汎用的な復号器（ＭＰＥＧデコーダなど）で再生することも可能となる。典型的にはユーザのＰＣで情報更新、即ち基本の「低品質画像情報」と「差分情報」とを「高品質画像情報」に変換するような負荷分散型の画像配信モデルを実現することができる。
量子化器で画像情報に基づいて生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する差分情報発生器を具えることを特徴とする。
本発明によれば、比較的少量のデータで済む基本品質画像（低品質画像）の「符号化（圧縮）画像情報」と、その基本画像品質と高品質画像との差分情報である「符号化差分情報」との組み合わせとなるため、従来、画像品質階層別に生成・格納・送信されていた「複数の圧縮画像情報」よりも情報の冗長性を顕著に低減でき、データ容量およびデータ送信トラヒックを大幅に削減することができる。さらに、本発明によれば、「符号化基本品質画像情報」と「符号化差分情報」とを結合して１つのビットストリームとして配信すれば、サーバやユーザなどのシステムに搭載されている汎用的な復号器（ＭＰＥＧデコーダなど）で再生することも可能となる。典型的にはユーザのＰＣで情報更新、即ち基本の「低品質画像情報」と「差分情報」とを「高品質画像情報」に変換するような負荷分散型の画像配信モデルを実現することができる。
また、本発明による画像符号化装置は、
画像情報に基づき符号化モードを決定する符号化モード決定器と、
前記符号化モード決定器で決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報（Mquant(high)、Mquant(low)。例えば、この２つの値の一方が他方の整数倍となるように生成する、或いは、ビット表現し易い数値となるように生成する。）を生成し量子化器に渡す量子化パラメータ相関生成器（量子化器コントローラ）と、
をも具えることを特徴とする。
本発明によれば、量子化パラメータ相関生成器で生成された階層間で関連した値を持つ「量子化器制御情報」を使用して量子化器が量子化を行うことによって、各階層の量子化パラメータ（係数）の間に相関が発生して、その結果、生成される「階層間差分情報」を顕著に少なくすることができる。従って情報冗長性を大幅に低減化することが可能となり、さらなるデータ容量およびデータ送信トラヒックの削減を図ることができる。
画像情報に基づき符号化モードを決定する符号化モード決定器と、
前記符号化モード決定器で決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報（Mquant(high)、Mquant(low)。例えば、この２つの値の一方が他方の整数倍となるように生成する、或いは、ビット表現し易い数値となるように生成する。）を生成し量子化器に渡す量子化パラメータ相関生成器（量子化器コントローラ）と、
をも具えることを特徴とする。
本発明によれば、量子化パラメータ相関生成器で生成された階層間で関連した値を持つ「量子化器制御情報」を使用して量子化器が量子化を行うことによって、各階層の量子化パラメータ（係数）の間に相関が発生して、その結果、生成される「階層間差分情報」を顕著に少なくすることができる。従って情報冗長性を大幅に低減化することが可能となり、さらなるデータ容量およびデータ送信トラヒックの削減を図ることができる。
さらにまた、本発明による画像符号化装置は、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を、少なくとも１つの矩形ブロック別、より好適には矩形ブロック群別（例えば、１６画素×１６ラインマクロブロック、スライス（マクロブックの水平方向の集まりなど））に生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成する差分情報生成判定器、
をも具えることを特徴とする。
本発明によれば、差分情報を生成すべきか否かを事前に矩形ブロック単位（より好適には矩形ブロック群単位）で判定し差分情報生成器制御情報として出力するため、後処理の差分情報生成器の処理を大幅に削減して処理の効率化を図ることが可能となる。
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を、少なくとも１つの矩形ブロック別、より好適には矩形ブロック群別（例えば、１６画素×１６ラインマクロブロック、スライス（マクロブックの水平方向の集まりなど））に生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成する差分情報生成判定器、
をも具えることを特徴とする。
本発明によれば、差分情報を生成すべきか否かを事前に矩形ブロック単位（より好適には矩形ブロック群単位）で判定し差分情報生成器制御情報として出力するため、後処理の差分情報生成器の処理を大幅に削減して処理の効率化を図ることが可能となる。
さらにまた、本発明による画像符号化装置は、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化器、
をも具えることを特徴とする。
本発明によれば、さらにデータ量を削減して情報の冗長性を低減することができる。
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化器、
をも具えることを特徴とする。
本発明によれば、さらにデータ量を削減して情報の冗長性を低減することができる。
さらにまた、本発明による画像符号化装置は、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成する機能、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませる機能を持つストリーム合成器、
をも含むことを特徴とする。
本発明によれば、「基本品質の画像情報」と「差分情報」とを結合して１つのビットストリームにし、さらに画像品質階層別の量子化器制御情報を含ませることによって、サーバやユーザなどのシステムに搭載されている汎用的な復号器（ＭＰＥＧデコーダなど）で復号・再生することが可能となる。さらに、量子化器制御情報をマクロブロック群別またはスライス別などのような矩形ブロック群別に含ませることによって、復号・再生処理をより効率的に実施することが可能となる。
基本となる低品質画像用の符号化画像情報と、前記差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成する機能、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませる機能を持つストリーム合成器、
をも含むことを特徴とする。
本発明によれば、「基本品質の画像情報」と「差分情報」とを結合して１つのビットストリームにし、さらに画像品質階層別の量子化器制御情報を含ませることによって、サーバやユーザなどのシステムに搭載されている汎用的な復号器（ＭＰＥＧデコーダなど）で復号・再生することが可能となる。さらに、量子化器制御情報をマクロブロック群別またはスライス別などのような矩形ブロック群別に含ませることによって、復号・再生処理をより効率的に実施することが可能となる。
また、本発明によるストリーム合成器は、
基本となる低品質画像用の符号化画像情報と、差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成する機能、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませる機能を持つストリーム合成器である。
基本となる低品質画像用の符号化画像情報と、差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成する機能、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませる機能を持つストリーム合成器である。
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現され得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明による画像符号化方法は、
量子化ステップ（或いは量子化器）で生成された画像品質階層別の量子化係数情報に基づき、演算手段を用いて階層間差分情報を生成しこれを記憶装置に格納する差分情報発生ステップを含むことを特徴とする。
また、本発明による画像符号化方法は、
演算手段を用いて前記画像情報に基づき符号化モードを決定する符号化モード決定ステップと、
演算手段を用いて前記符号化モード決定ステップで決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報を生成し量子化器に渡す量子化パラメータ相関生成ステップ（量子化器制御ステップ）と、
をも含むことを特徴とする。
さらにまた、本発明による画像符号化方法は、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を少なくとも１つの矩形ブロック別、より好適には矩形ブロック群別に生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成し、これを記憶装置に格納する差分情報生成判定ステップをも含むことを特徴とする。
さらにまた、本発明による画像符号化方法は、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化し、これを記憶装置に格納する符号化ステップをも含むことを特徴とする。
さらにまた、本発明による画像符号化方法は、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を持つストリーム合成ステップをも含むことを特徴とする。
また、本発明によるストリーム合成方法は、
演算手段を用いて、基本となる低品質画像用の符号化画像情報と、差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成するステップ、或いはさらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を含むことを特徴とするストリーム合成方法である。
量子化ステップ（或いは量子化器）で生成された画像品質階層別の量子化係数情報に基づき、演算手段を用いて階層間差分情報を生成しこれを記憶装置に格納する差分情報発生ステップを含むことを特徴とする。
また、本発明による画像符号化方法は、
演算手段を用いて前記画像情報に基づき符号化モードを決定する符号化モード決定ステップと、
演算手段を用いて前記符号化モード決定ステップで決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報を生成し量子化器に渡す量子化パラメータ相関生成ステップ（量子化器制御ステップ）と、
をも含むことを特徴とする。
さらにまた、本発明による画像符号化方法は、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を少なくとも１つの矩形ブロック別、より好適には矩形ブロック群別に生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成し、これを記憶装置に格納する差分情報生成判定ステップをも含むことを特徴とする。
さらにまた、本発明による画像符号化方法は、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化し、これを記憶装置に格納する符号化ステップをも含むことを特徴とする。
さらにまた、本発明による画像符号化方法は、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を持つストリーム合成ステップをも含むことを特徴とする。
また、本発明によるストリーム合成方法は、
演算手段を用いて、基本となる低品質画像用の符号化画像情報と、差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成するステップ、或いはさらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を含むことを特徴とするストリーム合成方法である。
或いは、本発明による画像符号化方法をコンピュータに実行させるためのプログラムは、
量子化ステップ（或いは量子化器）で生成された画像品質階層別の量子化係数情報に基づき、演算手段を用いて階層間差分情報を生成しこれを記憶装置に格納する差分情報発生ステップを含むことを特徴とする。
さらにまた、本発明によるプログラムは、
演算手段を用いて前記画像情報に基づき符号化モードを決定する符号化モード決定ステップと、
演算手段を用いて前記符号化モード決定ステップで決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報を生成し量子化器に渡す量子化パラメータ相関生成ステップ（量子化器制御ステップ）と、
をも含むことを特徴とする。
さらにまた、本発明によるプログラムは、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を少なくとも１つの矩形ブロック別、より好適には矩形ブロック群別に生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成する差分情報生成判定ステップをも含むことを特徴とする。
さらにまた、本発明によるプログラムは、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化ステップをも含むことを特徴とする。
さらにまた、本発明によるプログラムは、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップをも含むことを特徴とする。
また、本発明によるストリーム合成方法をコンピュータに実行させるためのプログラムは、
基本となる低品質画像用の符号化画像情報と、差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップを含むことを特徴とする。
量子化ステップ（或いは量子化器）で生成された画像品質階層別の量子化係数情報に基づき、演算手段を用いて階層間差分情報を生成しこれを記憶装置に格納する差分情報発生ステップを含むことを特徴とする。
さらにまた、本発明によるプログラムは、
演算手段を用いて前記画像情報に基づき符号化モードを決定する符号化モード決定ステップと、
演算手段を用いて前記符号化モード決定ステップで決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報を生成し量子化器に渡す量子化パラメータ相関生成ステップ（量子化器制御ステップ）と、
をも含むことを特徴とする。
さらにまた、本発明によるプログラムは、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を少なくとも１つの矩形ブロック別、より好適には矩形ブロック群別に生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成する差分情報生成判定ステップをも含むことを特徴とする。
さらにまた、本発明によるプログラムは、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化ステップをも含むことを特徴とする。
さらにまた、本発明によるプログラムは、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップをも含むことを特徴とする。
また、本発明によるストリーム合成方法をコンピュータに実行させるためのプログラムは、
基本となる低品質画像用の符号化画像情報と、差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップを含むことを特徴とする。
本発明では、階層間差分情報を利用した情報更新性を有する映像情報管理方式を提供する。本発明による方式の特徴は、情報更新を可能とする情報変換処理方式を利用することにある。この情報変換処理方式を用いた映像コンテンツ管理、及び映像配送方式を提供し、機能面・データ処理面の観点から説明する。本願発明では、特に解像度方向に対する映像品質選択に着目する。ここで、情報更新機能とは、核となる低品質画像情報と付加情報のサブセットからなる情報を用いて、利用者の選択する情報品質毎に情報を組み合わせて表現できる機能を指し、特に、低品質映像から高品質映像へ情報更新できる情報構成方法とその機能を示す。情報更新を実現する情報変換処理方式として、本発明ではスケーラブル映像情報の構造を利用する。
従来技術のMPEGで検討されたスケーラビリティは、ビットストリームスケーラビリティと呼ばれ、階層構造を有するストリームを生成し、階層構造を有する復号器で再生することで利用者の要求する品質で、復号するストリームの位置を解釈して再生表示する。一方、本発明におけるスケーラビリティは、符号化器で更新可能な複数品質のストリームをサブセットとして作成し、利用者の品質選択要求時に更新処理器を利用することで品質の異なるストリームに変換して、汎用復号器（非階層復号器、例えばMPEG−2MP＠ML復号器など）にて再生する処理方法である。両方式は品質選択において階層ストリームを利用するところは同じであるが、大きな違いは、ビットストリームスケーラビリティは階層ストリームを最終的に階層復号器で復号するに対して、本スケーラビリティは途中に更新処理器でストリーム合成することにより汎用非階層復号器にて、品質選択を実現するところにある。
以降、本発明による情報更新機能を実現する動画像符号化方式について諸図面を参照しつつ詳細に説明する。
図１は、本発明による画像符号化装置の一例を示すブロック図である。本発明による画像符号化装置１００は、直交変換・量子化器１１０、符号化モード決定器１２０、量子化パラメータ相関生成器１３０、階層差分情報生成器１４０、符号化器（情報圧縮器）１５０、およびストリーム合成器１６０を具える。
直交変換・量子化器１１０は、入力画像情報に基づき画像品質階層別（低解像度用、高解像度用など）の量子化係数情報を生成する。符号化モード決定器１２０は、入力画像情報或いは直交変換・量子化器１１０で生成された情報に基づき符号化モードを決定する。そして、量子化パラメータ相関生成器１３０は、符号化モード決定器１２０で決定された符号化モードに基づき、画像品質階層別の量子化器制御情報を生成する。この量子化器制御情報は、直交変換・量子化器１１０に渡され、これに基づき画像情報の量子化が実行される。
図１は、本発明による画像符号化装置の一例を示すブロック図である。本発明による画像符号化装置１００は、直交変換・量子化器１１０、符号化モード決定器１２０、量子化パラメータ相関生成器１３０、階層差分情報生成器１４０、符号化器（情報圧縮器）１５０、およびストリーム合成器１６０を具える。
直交変換・量子化器１１０は、入力画像情報に基づき画像品質階層別（低解像度用、高解像度用など）の量子化係数情報を生成する。符号化モード決定器１２０は、入力画像情報或いは直交変換・量子化器１１０で生成された情報に基づき符号化モードを決定する。そして、量子化パラメータ相関生成器１３０は、符号化モード決定器１２０で決定された符号化モードに基づき、画像品質階層別の量子化器制御情報を生成する。この量子化器制御情報は、直交変換・量子化器１１０に渡され、これに基づき画像情報の量子化が実行される。
階層差分情報発生器１４０は、階層差分情報生成判定器１４２を具えており、差分情報生成前に、画像品質階層別の量子化器制御情報、および／または、符号化モードに基づき、階層間差分情報を矩形ブロック群別（例えばマクロブロック群別など）生成するのか否かを判定し、その判定結果を含む差分情報生成器制御情報を生成する。階層差分情報発生器１４０は、さらに生成器１４４を具えており、判定器１４２の情報を受け、これを用いて量子化器１１０により画像情報に基づいて生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する。
符号化器１５０（例えば、ＶＬＣ、算術符号化、ハフマン符号化、またはLempel-Ziv符号化など）は、前記画像情報の基本となる低品質画像用の量子化係数、および、前記階層間差分情報を符号化する。
また、ストリーム合成器１６０は、基本となる低品質画像用の符号化画像情報と、前記差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合してビットストリームを合成し、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別（例えばマクロブロック群別など）に含ませる。
本装置１００によって処理された符号化データやビットストリーム出力は、記憶装置１８０に格納され、その後、コンテンツサーバ１８５によってネットワーク１９０を介して他のサーバやクライアントなどに送信される。
また、ストリーム合成器１６０は、基本となる低品質画像用の符号化画像情報と、前記差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合してビットストリームを合成し、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別（例えばマクロブロック群別など）に含ませる。
本装置１００によって処理された符号化データやビットストリーム出力は、記憶装置１８０に格納され、その後、コンテンツサーバ１８５によってネットワーク１９０を介して他のサーバやクライアントなどに送信される。
図２は、本発明による画像符号化方法の一例を示すフローチャートである。
図に示すように、ステップ２１０では、入力画像信号に対して直交変換・量子化の処理を行う。その後、ステップ２２０では、画像情報に基づき符号化モードを決定する。そして、ステップ２３０では、ステップ２２０で決定された符号化モードに基づき、画像品質階層別の量子化器制御情報を生成する。その後、ステップ２４０では、画像品質階層別の量子化器制御情報、および／または、符号化モードに基づき、階層間差分情報を矩形ブロック群別（例えばマクロブロック群別など）に生成するのか否かを判定し、さらにこの判定結果に基づき階層間差分情報を矩形ブロック群別（例えば、隣接した４つのマクロブロックなど）別に生成する。
図に示すように、ステップ２１０では、入力画像信号に対して直交変換・量子化の処理を行う。その後、ステップ２２０では、画像情報に基づき符号化モードを決定する。そして、ステップ２３０では、ステップ２２０で決定された符号化モードに基づき、画像品質階層別の量子化器制御情報を生成する。その後、ステップ２４０では、画像品質階層別の量子化器制御情報、および／または、符号化モードに基づき、階層間差分情報を矩形ブロック群別（例えばマクロブロック群別など）に生成するのか否かを判定し、さらにこの判定結果に基づき階層間差分情報を矩形ブロック群別（例えば、隣接した４つのマクロブロックなど）別に生成する。
その後、ステップ２５０では、情報源符号化器（情報圧縮器）を使用して画像情報の基本となる低品質画像用の量子化係数、および、前記階層間差分情報を符号化し、圧縮画像情報が得られる。
ステップ２６０では、ステップ２５０で得られた、基本となる低品質画像用の符号化画像情報と、差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成し、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別（例えばマクロブロック群別など）に含ませる処理を行う。
ステップ２６０では、ステップ２５０で得られた、基本となる低品質画像用の符号化画像情報と、差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成し、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別（例えばマクロブロック群別など）に含ませる処理を行う。
本発明によるスケーラビリティの符号化器および更新処理器を、従来方式の空間スケーラビリティ方式と対比して、説明する。図３は、従来方式の空間スケーラビリティ符号化器を示すブロック図である。他方、図４は、本発明によるスケーラビリティを利用した符号化器の一例を示すブロック図である。
図３の従来方式の空間スケーラビリティ符号化器では、符号化制御として、ビット配分、レート制御、適応量子化の3段階の制御を行うが、その中で、前者2方式に加えてスライス符号化制御を行う方式を用いる。また、図３に示すように、従来技術の空間スケーラビリティ方式は、サイズ方向の可変性を実現する符号化方式であり、低品質画像（ここでは、縮小サイズ画像）を符号化し、高解像度画像を符号化する際に、低解像度画像からの空間予測モードと、高解像度画像の時間予測を適応的に用いる方式である。よって、復号器として、専用の空間スケーラビリティ復号器が必要である。一方、図４に示すように、本発明によるスケーラビリティ符号化方式では、最終ビットストリーム生成を汎用ビットストリームと想定しているので、復号器はここでは、MPEG−2MP＠MLで復号が可能である。但し、本発明では、低品質映像から高品質映像へ変換する変換処理器が必要となる。
図３の従来方式の空間スケーラビリティ符号化器では、符号化制御として、ビット配分、レート制御、適応量子化の3段階の制御を行うが、その中で、前者2方式に加えてスライス符号化制御を行う方式を用いる。また、図３に示すように、従来技術の空間スケーラビリティ方式は、サイズ方向の可変性を実現する符号化方式であり、低品質画像（ここでは、縮小サイズ画像）を符号化し、高解像度画像を符号化する際に、低解像度画像からの空間予測モードと、高解像度画像の時間予測を適応的に用いる方式である。よって、復号器として、専用の空間スケーラビリティ復号器が必要である。一方、図４に示すように、本発明によるスケーラビリティ符号化方式では、最終ビットストリーム生成を汎用ビットストリームと想定しているので、復号器はここでは、MPEG−2MP＠MLで復号が可能である。但し、本発明では、低品質映像から高品質映像へ変換する変換処理器が必要となる。
図５は、本発明によるスケーラビリティ方式の更新処理器を示すブロック図である。図において、VLDは可変長復号器、Demuxは多重分離装置、VLCは可変長符号化器、Muxは多重化装置である。また、図において、d(h’)は差分量子化DCT係数、d(l)は基本層（低階層）の量子化DCT係数、Qratioは量子化パラメータ比、MQ(l)は基本層量子化パラメータ、およびd(h)は高解像度層の量子化係数である。ここでは、符号化時に量子化パラメータを低階層、高階層間でレート制御し、DCT係数間に相関を生じさせることにより、符号化圧縮効果を利用する方式を示す。本発明による更新処理手順について説明する。本ビットストリーム生成方法は、量子化DCT係数レベルでの情報変換を実現し、生成高品質ビットストリームは、非階層符号化器で作成したストリームと同様の構造からなる。
本発明による更新処理器を用いた画像再生時には、符号化器における高品質用ビットストリームの作成手順の逆手順を行う。
可変長復号器・多重分離装置(VLD,Demux)は、低解像度画像用ビットストリームのマクロプロックレイヤのデータを抽出し、差分情報から、高解像度画像用ビットストリームの領域に対応したマクロブロックレイヤのストリームを生成する。ここでは、2層の場合で考えているので、領域数は高解像度画像では4倍の領域に相当する。実際にストリーム生成するために、一旦2スライス分のデータをバッファリングし、書き出すこととする。
可変長復号器・多重分離装置(VLD,Demux)は、低解像度層ビットストリームから低解像度用量子化パラメータMQ（l）、高解像度層のビットストリームから量子化比率Qratioを取り出す。Q予測器(Q-Prediction)は、d(l)、MQ(l)、およびQratioに基づき、高解像度用量子化パラメータMQ(h)を算出する。
低解像度層、高解像度層における符号化ＤＣＴ係数をそれぞれd(l)、d(h’)とすると、高解像度用符号化ＤＣＴ係数は、下の式で表される。
d(h) = d(l) × MQ(l)／MQ(h) ＋ d(h’)
「係数加算器」は、高解像度用ビットストリームを、低解像度層ビットストリームの量子化パラメータMQ(l)およびd(l)を量子化パラメータMQ(h)およびd(h)に置き換えて上式を用いて作成する。d(h)と各MQとを符号化し、低解像度データd(l)から復元できる。それぞれを差分情報と、量子化係数として、データを作成する。合成時は、各パラメータより逆の処理により高解像度用データを生成する。尚、Q予測器では、順方向予測、逆方向予測、双方向予測、非予測などの方式を用いる。
可変長復号器・多重分離装置(VLD,Demux)は、低解像度画像用ビットストリームのマクロプロックレイヤのデータを抽出し、差分情報から、高解像度画像用ビットストリームの領域に対応したマクロブロックレイヤのストリームを生成する。ここでは、2層の場合で考えているので、領域数は高解像度画像では4倍の領域に相当する。実際にストリーム生成するために、一旦2スライス分のデータをバッファリングし、書き出すこととする。
可変長復号器・多重分離装置(VLD,Demux)は、低解像度層ビットストリームから低解像度用量子化パラメータMQ（l）、高解像度層のビットストリームから量子化比率Qratioを取り出す。Q予測器(Q-Prediction)は、d(l)、MQ(l)、およびQratioに基づき、高解像度用量子化パラメータMQ(h)を算出する。
低解像度層、高解像度層における符号化ＤＣＴ係数をそれぞれd(l)、d(h’)とすると、高解像度用符号化ＤＣＴ係数は、下の式で表される。
d(h) = d(l) × MQ(l)／MQ(h) ＋ d(h’)
「係数加算器」は、高解像度用ビットストリームを、低解像度層ビットストリームの量子化パラメータMQ(l)およびd(l)を量子化パラメータMQ(h)およびd(h)に置き換えて上式を用いて作成する。d(h)と各MQとを符号化し、低解像度データd(l)から復元できる。それぞれを差分情報と、量子化係数として、データを作成する。合成時は、各パラメータより逆の処理により高解像度用データを生成する。尚、Q予測器では、順方向予測、逆方向予測、双方向予測、非予測などの方式を用いる。
図６は、本発明による符号化器や符号化方法などにおける差分情報の生成を説明する模式図である。図では、差分情報の生成方法について、8×8ブロックDCTを用いた３例をＡ、Ｂ、およびＣで示してある。但し、本発明の差分情報の生成方法はこの３例に限定されるわけではない。本発明では左上のブロックを選択するような形式であれば、様々な差分情報の生成方法を適用可能である。8×8ブロックDCTの差分の取り方は、それぞれ下記のようになる。
・図中のＡでは、全ての差分を取る。
・図中のＢでは、左上1ブロックを含む任意の形状で差分を取り、それ以外の領域は差分を取らずに処理する(そのまま符号化する、または符号化データに含めない、などがあり得る)。
・図中のＣでは、左上1ブロックのみで差分を取り、それ以外の領域では差分を取らずに処理する。
なお、8×8ブロックDCT以外の場合も同様である。また、階層間でブロック数が異なる場合、各ブロックの値に整数倍するなどして、これらの方法を組み合わせて対応することができる。
・図中のＡでは、全ての差分を取る。
・図中のＢでは、左上1ブロックを含む任意の形状で差分を取り、それ以外の領域は差分を取らずに処理する(そのまま符号化する、または符号化データに含めない、などがあり得る)。
・図中のＣでは、左上1ブロックのみで差分を取り、それ以外の領域では差分を取らずに処理する。
なお、8×8ブロックDCT以外の場合も同様である。また、階層間でブロック数が異なる場合、各ブロックの値に整数倍するなどして、これらの方法を組み合わせて対応することができる。
情報更新性を考慮した映像情報管理方式
映像コンテンツをネットワーク上で、複数の利用者に効率的に配送する方式が検討されている。加えて、利用者が自分の利用環境に合わせて、品質を選択利用する場合が想定される。その場合、特に課題となるのが、１つのコンテンツを複数品質でサーバに登録すると情報圧縮を効果的に利用しても、同じ情報を複数持つこととなり、情報管理上、非有意な情報まで保管することになることである。そこで、複数の品質要求に応えるべく、スケーラビリティが提案されている。
本発明による情報更新処理手順を利用して新たな映像コンテンツ管理方式を構築することが可能である。
映像コンテンツをネットワーク上で、複数の利用者に効率的に配送する方式が検討されている。加えて、利用者が自分の利用環境に合わせて、品質を選択利用する場合が想定される。その場合、特に課題となるのが、１つのコンテンツを複数品質でサーバに登録すると情報圧縮を効果的に利用しても、同じ情報を複数持つこととなり、情報管理上、非有意な情報まで保管することになることである。そこで、複数の品質要求に応えるべく、スケーラビリティが提案されている。
本発明による情報更新処理手順を利用して新たな映像コンテンツ管理方式を構築することが可能である。
品質毎に情報管理する際、求める品質毎にコンテンツを用意するサイマルキャストタイプの情報管理方法、スケーラビリティによる情報提供がある。図７は、品質選択を実現する際のデータ構成方法について示す図であるが、(i)(ii)は従来方式であり、(iii)本発明による方式を示す。図において、(i)はサイマルキャストタイプの一つのコンテンツを複数の品質で保存する場合である。(ii)は、ビットストリームスケーラビリティでのデータ構成を示す。(iii)は、本発明によるスケーラビリティによるデータ構成であり、「低品質ビットストリーム」と「低品質画像と高品質画像との間の差分情報」からなる。図に示すように、低品質情報と高品質情報との間にデータ相関があり、情報圧縮の観点から考えると、独立にデータを保存したり送信したりすることは無題である。従って、本発明による方式(iii)が効率的であり、他の従来方式より優れていることがわかる。
また、この本発明によるデータ構成方法は、スケーラビリテ構造によるデータを保有することで、データベース内の情報量を、サイマルタイプに比べて軽減できる効果があり、また、ビットストリームスケーラビリティでは、(ii)のデータ構成で階層ストリームとして分離は可能であるが、汎用復号器で品質選択再生ができなかったが、本発明の方式により選択機能を実現することができる。要するに、スケーラビリティとしてのデータ管理上のメリットと、情報変換による汎用性の実現により、映像コンテンツの管理上の課題を解決することができる。
図８は、本発明による更新処理器およびその各処理を示すブロック図である。図８では、基本となる低品質映像に加えて高品質映像を利用者がアクセスして閲覧する際の処理情報を示してある。高品質選択時は、２つのストリームを合成して高品質ストリームを生成し、映像再生する。
図９は、本発明によるスケーラビリティデータを利用した映像コンテンツ管理を示すブロック図である。図９では、データベース内のサブセット毎にデータ処理し、必要時にデータを取り出して送信する方式を示してある。さらに、品質コンテンツのアクセスにより、サブセット内の部分情報をネットワーク内で分散処理することが可能であり、エンドユーザ側へキャッシュコンテンツを設けることで、トラヒック値を抑制することができる。
図９は、本発明によるスケーラビリティデータを利用した映像コンテンツ管理を示すブロック図である。図９では、データベース内のサブセット毎にデータ処理し、必要時にデータを取り出して送信する方式を示してある。さらに、品質コンテンツのアクセスにより、サブセット内の部分情報をネットワーク内で分散処理することが可能であり、エンドユーザ側へキャッシュコンテンツを設けることで、トラヒック値を抑制することができる。
品質毎にスケーラブルコンテンツからなる映像情報を利用者側へ配送し、利用者側でコンテンツ利用時に情報更新再生するような、負荷分散型の情報利用方法である。ここでは、スケーラブル映像情報を一元的にセントラルサーバで蓄積しておき、利用したいときにネットワークを介して利用者は映像を聞覧する映像情報管理方式、および、その処理方法について説明する。
スケーラビリティデータを利用した映像コンテンツ管理の一例を図１１に示す。センターにはすべてのスケーラブル映像情報が蓄積されており、利用者端末には、使用頻度の高い映像情報が保存されており、さらに、使用率が落ちると、低品質のみを保持しているという状態で情報管理する方式を説明する。即ち、利用者の映像聞覧頻度により、利用者側の端末に必要最小限の情報を保持し、品質差分情報を配送、変換処理することにより、映像閲覧できるシステムを提供する。なお、ここではコンテンツの配置問題については触れない。
スケーラビリティデータを利用した映像コンテンツ管理の一例を図１１に示す。センターにはすべてのスケーラブル映像情報が蓄積されており、利用者端末には、使用頻度の高い映像情報が保存されており、さらに、使用率が落ちると、低品質のみを保持しているという状態で情報管理する方式を説明する。即ち、利用者の映像聞覧頻度により、利用者側の端末に必要最小限の情報を保持し、品質差分情報を配送、変換処理することにより、映像閲覧できるシステムを提供する。なお、ここではコンテンツの配置問題については触れない。
本発明では、映像コンテンツのビットストリームレベルでの高速情報変換により、汎用的な映像ストリーム生成を実現する。この本発明による本スケーラビリティを利用したデータを生成し、情報更新処理を設けることで、利用者からの様々な品質選択要求に沿った、映像再生要求に対応することができる。
図１０は、本発明によるスケーラビリティを簡単化して説明するブロック図である。本発明によるスケーラビリティ符号化器は、ビデオ（動画像、静止画像など）入力に基づき、１フレームに低品質ビデオデータおよび高品質用の追加データを含むスケーラブルストリームを生成する。ユーザサイドにある本発明によるスケーラビリティ復号器は、所望の品質要件に基づき、このビットストリームから所望の品質の画像を復号する。即ち、所望の品質が低解像度画像である場合は、スケーラビリティ復号器は、ビットストリームから低品質ビデオデータを抽出し再生する。所望の品質が高解像度である場合は、スケーラビリティ復号器は、ビットストリームから抽出した「低品質ビデオデータ」と「高品質用の追加データ」の両者に基づき、高品質ビデオデータを生成する。
このように、データベースでの情報管理時に１つのコンテンツに対して品質毎にデータを保管する必要がなく、また、コンテンツ配送時の非有意な情報量を抑制することができる。
図１０は、本発明によるスケーラビリティを簡単化して説明するブロック図である。本発明によるスケーラビリティ符号化器は、ビデオ（動画像、静止画像など）入力に基づき、１フレームに低品質ビデオデータおよび高品質用の追加データを含むスケーラブルストリームを生成する。ユーザサイドにある本発明によるスケーラビリティ復号器は、所望の品質要件に基づき、このビットストリームから所望の品質の画像を復号する。即ち、所望の品質が低解像度画像である場合は、スケーラビリティ復号器は、ビットストリームから低品質ビデオデータを抽出し再生する。所望の品質が高解像度である場合は、スケーラビリティ復号器は、ビットストリームから抽出した「低品質ビデオデータ」と「高品質用の追加データ」の両者に基づき、高品質ビデオデータを生成する。
このように、データベースでの情報管理時に１つのコンテンツに対して品質毎にデータを保管する必要がなく、また、コンテンツ配送時の非有意な情報量を抑制することができる。
さらに、単なるスケーラブル映像情報をセンターに蓄積しておき、利用者側の端末にスケーラブル復号器を設けて再生する方式に対して、新たに情報サブセットを利用者に配送し、利用者端末内で情報変換更新し、汎用的な非階層復号器により、映像再生可能なシステムを構築する。
図１２は、本発明によるスケーラビリティデータの利用手順を示すブロック図である。図に示すように、登録されているa1、a2の中から、利用品質に基づいた階層数を指定する。また、高品質指定をする場合、対応する差分情報a2を探索して、見付けた差分情報を利用者へ送信する。但し、この差分情報にはa1との対応をとるための識別子を付加して利用者へ送信する。高品質画像を再生する際は、各情報を用いて情報変換を行なって高品質画像を再生する。利用にあたっての具体的な処理手順について次に示す。
・映像コンテンツサーバにスケーラブル映像情報をコンテンツ毎に蓄積管理する。但し、低品質コンテンツを基本とし、高品質情報に関しては、その差分情報をセンターデータベースに蓄積する。
・利用者が低品質映像コンテンツを利用する際、サーバから低品質用コンテンツにアクセスし再生する。利用者端末のハードディスクに蓄積するか否かは頻度及び利用者記憶容量の有無によって判断し決定する。
・利用者が高品質映像コンテンツを利用する際、２つの場合に分けて整理する。 第一に、新たに映像コンテンツを利用する際、高品質映像再生を利用者が選択した場合は、低品質コンテンツと高品質用サブセットを更新処理して、高品質映像コンテンツに変換して利用者は用いる。更新処理は、センター側、利用者端末側、配送途中のキャッシュサーバなど任意のサイトで実行可能である。或いは配送途中に新たに変換サーバを設け更新処理を実行させることもできる。次に、低品質映像コンテンツを利用した後、高品質映像コンテンツを利用する場合は、低品質映像コンテンツが利用者端末に既に蓄積されているため、高品質映像差分情報のみが利用者側端末に配送され、利用者端末で情報更新処理が行われる。その後、汎用復号器にて復号され高品質映像コンテンツが再生表示される。
図１２は、本発明によるスケーラビリティデータの利用手順を示すブロック図である。図に示すように、登録されているa1、a2の中から、利用品質に基づいた階層数を指定する。また、高品質指定をする場合、対応する差分情報a2を探索して、見付けた差分情報を利用者へ送信する。但し、この差分情報にはa1との対応をとるための識別子を付加して利用者へ送信する。高品質画像を再生する際は、各情報を用いて情報変換を行なって高品質画像を再生する。利用にあたっての具体的な処理手順について次に示す。
・映像コンテンツサーバにスケーラブル映像情報をコンテンツ毎に蓄積管理する。但し、低品質コンテンツを基本とし、高品質情報に関しては、その差分情報をセンターデータベースに蓄積する。
・利用者が低品質映像コンテンツを利用する際、サーバから低品質用コンテンツにアクセスし再生する。利用者端末のハードディスクに蓄積するか否かは頻度及び利用者記憶容量の有無によって判断し決定する。
・利用者が高品質映像コンテンツを利用する際、２つの場合に分けて整理する。 第一に、新たに映像コンテンツを利用する際、高品質映像再生を利用者が選択した場合は、低品質コンテンツと高品質用サブセットを更新処理して、高品質映像コンテンツに変換して利用者は用いる。更新処理は、センター側、利用者端末側、配送途中のキャッシュサーバなど任意のサイトで実行可能である。或いは配送途中に新たに変換サーバを設け更新処理を実行させることもできる。次に、低品質映像コンテンツを利用した後、高品質映像コンテンツを利用する場合は、低品質映像コンテンツが利用者端末に既に蓄積されているため、高品質映像差分情報のみが利用者側端末に配送され、利用者端末で情報更新処理が行われる。その後、汎用復号器にて復号され高品質映像コンテンツが再生表示される。
次に、本発明によるスケーラビリティ画像符号化方式、従来の空間スケーラビリティ方式、従来の非スケーラビリティ方式の3方式を比較してみる。但し、空間解像度方向については2層で考える。
従来の空間スケーラビリティでは、逆DCTを2階層分必要となるが、本発明によるスケーラビリティ画像符号化方式では1回で済むというメリットがある。なお、本発明の方式では、その分、更新処理時間が多くかかるというデメリットがあるが、これはクライアントやキャッシュサーバなどのコンピューティングパワーを利用することで低減することが可能である。
低品質情報が既に利用者端末にある場合、従来の非スケーラビリティ方式、即ち品質毎の情報管理方式に比べて、本発明の方式の方が、サーバで管理する情報量を抑えられる。さらに、情報転送時間と情報変換時間の差はあるものの従来の空間スケーラビリティ方式および本発明の方式では、差分ビットストリームのみを受け取るため、即ち、無駄で冗長な情報配送を行わないため、従来の非スケーラビリティ管理方式よりも優れている。さらに、伝送時間および伝送情報量の点から考えると、ビットストリームを階層化し、キャッシュサーバを設ける分散配置する方法が有効である。
従来の空間スケーラビリティでは、逆DCTを2階層分必要となるが、本発明によるスケーラビリティ画像符号化方式では1回で済むというメリットがある。なお、本発明の方式では、その分、更新処理時間が多くかかるというデメリットがあるが、これはクライアントやキャッシュサーバなどのコンピューティングパワーを利用することで低減することが可能である。
低品質情報が既に利用者端末にある場合、従来の非スケーラビリティ方式、即ち品質毎の情報管理方式に比べて、本発明の方式の方が、サーバで管理する情報量を抑えられる。さらに、情報転送時間と情報変換時間の差はあるものの従来の空間スケーラビリティ方式および本発明の方式では、差分ビットストリームのみを受け取るため、即ち、無駄で冗長な情報配送を行わないため、従来の非スケーラビリティ管理方式よりも優れている。さらに、伝送時間および伝送情報量の点から考えると、ビットストリームを階層化し、キャッシュサーバを設ける分散配置する方法が有効である。
本明細書では、様々な実施態様で本発明の原理を説明してきたが、本発明は上述した実施例に限定されず、当業者であれば幾多の変形および修正を施すことが可能であり、これら変形および修正されたものも本発明に含まれることを理解されたい。例えば、実施態様では、２つの画像品質を想定して画像品質階層別の量子化器制御情報を２つとして記載した。しかしながら、本発明では、画像品質を３つ以上を想定することも可能であり、その場合は量子化器制御情報も３つ以上となるが、同様にデータ冗長性を低減することが可能である。また、実施態様では、動画像を用いて説明したが、本発明は、動画像のみならず多種多様な静止画にも適用できるが、特に動画像に対して効果が大きく、さらに圧縮技法を問わず適用できるためその応用範囲は非常に広い。
１００ 画像符号化装置
１１０ 直交変換・量子化器
１２０ 符号化モード決定器
１３０ 量子化パラメータ相関生成器
１４０ 階層差分情報生成器
１５０ 符号化器（情報圧縮器）
１６０ ストリーム合成器
１８０ 記憶装置
１８５ コンテンツサーバ
１９０ネットワーク
１１０ 直交変換・量子化器
１２０ 符号化モード決定器
１３０ 量子化パラメータ相関生成器
１４０ 階層差分情報生成器
１５０ 符号化器（情報圧縮器）
１６０ ストリーム合成器
１８０ 記憶装置
１８５ コンテンツサーバ
１９０ネットワーク
Claims (18)
- 量子化器で画像情報に基づいて生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する差分情報発生器を具えることを特徴とする画像符号化装置。
- 請求項１に記載の画像符号化装置において、
前記画像情報に基づき符号化モードを決定する符号化モード決定器と、
前記符号化モード決定器で決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報を生成する量子化パラメータ相関生成器と、
をも具えることを特徴とする画像符号化装置。 - 請求項２に記載の画像符号化装置において、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を矩形ブロック群別に生成するのか否かを判定する差分情報生成判定器、
をも具えることを特徴とする画像符号化装置。 - 請求項１〜３のいずれか1項に記載の画像符号化装置において、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化器、
をも具えることを特徴とする画像符号化装置。 - 請求項２〜４のいずれか1項に記載の画像符号化装置において、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成する機能、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませる機能、を持つストリーム合成器、
をも具えることを特徴とする画像符号化装置。 - 基本となる低品質画像用の符号化画像情報と、差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成する機能、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませる機能を持つストリーム合成器。
- 量子化器で生成された画像品質階層別の量子化係数情報に基づき、演算手段を用いて階層間差分情報を生成する差分情報発生ステップを含むことを特徴とする画像符号化方法。
- 請求項７に記載の画像符号化方法において、
前記画像情報に基づき符号化モードを決定する符号化モード決定ステップと、
前記符号化モード決定ステップで決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報生成する量子化パラメータ相関生成ステップと、
をも含むことを特徴とする画像符号化方法。 - 請求項８に記載の画像符号化方法において、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を矩形ブロック群別に生成するのか否かを判定する差分情報生成判定ステップ、
をも含むことを特徴とする画像符号化方法。 - 請求項７〜９のいずれか1項に記載の画像符号化方法において、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化ステップ、
をも含むことを特徴とする。 - 請求項７〜９のいずれか1項に記載の画像符号化方法において、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を持つストリーム合成ステップ、
をも含むことを特徴とする画像符号化方法。 - 基本となる低品質画像用の符号化画像情報と、差分情報発生器で生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップを含むことを特徴とするストリーム合成方法。
- 画像符号化方法をコンピュータに実行させるためのプログラムであって、
量子化ステップで生成された画像品質階層別の量子化係数情報に基づき階層間差分情報を生成する差分情報発生ステップを含むことを特徴とするプログラム。 - 請求項１３に記載のプログラムであって、
前記画像情報に基づき符号化モードを決定する符号化モード決定ステップと、
前記符号化モード決定ステップで決定された前記符号化モードに基づき、解像度方向の画像品質階層別の量子化器制御情報を生成する量子化パラメータ相関生成ステップと、
をも含むことを特徴とするプログラム。 - 請求項１４に記載のプログラムであって、
前記画像品質階層別の前記量子化器制御情報、および／または、前記符号化モードに基づき、前記階層間差分情報を矩形ブロック群別に生成するのか否かを判定する差分情報生成判定ステップ、
をも含むことを特徴とするプログラム。 - 請求項１３〜１５のいずれか1項に記載のプログラムであって、
前記画像情報の基本となる低品質画像用の量子化係数、および、画像品質に対する前記階層間差分情報を符号化する符号化ステップ、
をも含むことを特徴とするプログラム。 - 請求項１４〜１６のいずれか1項に記載のプログラムであって、
基本となる低品質画像用の符号化画像情報と、前記差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを各量子化係数を用いて結合してビットストリームを合成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を持つストリーム合成ステップ、
をも含むことを特徴とするプログラム。 - ストリーム合成方法をコンピュータに実行させるためのプログラムであって、
基本となる低品質画像用の符号化画像情報と、差分情報発生ステップで生成された階層間差分情報を符号化した符号化階層間差分情報とを結合したビットストリームを生成するステップ、或いは、さらにこのビットストリームに、画像符号化のときに生成された画像品質階層別の量子化器制御情報を矩形ブロック群別に含ませるステップ、を持含むことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003320341A JP2005094054A (ja) | 2003-09-11 | 2003-09-11 | 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003320341A JP2005094054A (ja) | 2003-09-11 | 2003-09-11 | 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005094054A true JP2005094054A (ja) | 2005-04-07 |
Family
ID=34452368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003320341A Pending JP2005094054A (ja) | 2003-09-11 | 2003-09-11 | 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005094054A (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053593A (ja) * | 2005-08-18 | 2007-03-01 | Ricoh Co Ltd | 画像処理システム、画像処理方法、プログラムおよび記録媒体 |
| US20070071093A1 (en) * | 2005-09-27 | 2007-03-29 | Fang Shi | Multiple layer video encoding |
| WO2008111660A1 (en) * | 2007-03-09 | 2008-09-18 | Sharp Kabushiki Kaisha | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
| WO2010024102A1 (ja) | 2008-08-28 | 2010-03-04 | 住友電気工業株式会社 | 動画像データの配信方法 |
| US7760949B2 (en) | 2007-02-08 | 2010-07-20 | Sharp Laboratories Of America, Inc. | Methods and systems for coding multiple dynamic range images |
| US7826673B2 (en) | 2007-01-23 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction with color-conversion |
| JP2010263390A (ja) * | 2009-05-05 | 2010-11-18 | Hiroshima Univ | 画像配信システム、符号装置及び復号装置 |
| US7840078B2 (en) | 2006-07-10 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing control based on adjacent block characteristics |
| US7885471B2 (en) | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8059714B2 (en) | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
| US8130822B2 (en) | 2006-07-10 | 2012-03-06 | Sharp Laboratories Of America, Inc. | Methods and systems for conditional transform-domain residual accumulation |
| US8194997B2 (en) | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
| US8233536B2 (en) | 2007-01-23 | 2012-07-31 | Sharp Laboratories Of America, Inc. | Methods and systems for multiplication-free inter-layer image prediction |
| US8422548B2 (en) | 2006-07-10 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for transform selection and management |
| US8503524B2 (en) | 2007-01-23 | 2013-08-06 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction |
| US8532176B2 (en) | 2006-07-10 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for combining layers in a multi-layer bitstream |
| US8555291B2 (en) | 2008-01-17 | 2013-10-08 | Nec Corporation | Synchronization control method and information processing device |
| US8665942B2 (en) | 2007-01-23 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
-
2003
- 2003-09-11 JP JP2003320341A patent/JP2005094054A/ja active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053593A (ja) * | 2005-08-18 | 2007-03-01 | Ricoh Co Ltd | 画像処理システム、画像処理方法、プログラムおよび記録媒体 |
| JP2009510940A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | 多層ビデオ符号化 |
| US8705617B2 (en) * | 2005-09-27 | 2014-04-22 | Qualcomm Incorporated | Multiple layer video encoding |
| US20070071093A1 (en) * | 2005-09-27 | 2007-03-29 | Fang Shi | Multiple layer video encoding |
| JP2012239193A (ja) * | 2005-09-27 | 2012-12-06 | Qualcomm Inc | 多層ビデオ符号化 |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8194997B2 (en) | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
| US8532176B2 (en) | 2006-07-10 | 2013-09-10 | Sharp Laboratories Of America, Inc. | Methods and systems for combining layers in a multi-layer bitstream |
| US8422548B2 (en) | 2006-07-10 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for transform selection and management |
| US7840078B2 (en) | 2006-07-10 | 2010-11-23 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing control based on adjacent block characteristics |
| US7885471B2 (en) | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
| US8059714B2 (en) | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
| US8130822B2 (en) | 2006-07-10 | 2012-03-06 | Sharp Laboratories Of America, Inc. | Methods and systems for conditional transform-domain residual accumulation |
| US7826673B2 (en) | 2007-01-23 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction with color-conversion |
| US8233536B2 (en) | 2007-01-23 | 2012-07-31 | Sharp Laboratories Of America, Inc. | Methods and systems for multiplication-free inter-layer image prediction |
| US8503524B2 (en) | 2007-01-23 | 2013-08-06 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction |
| US8665942B2 (en) | 2007-01-23 | 2014-03-04 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
| US9497387B2 (en) | 2007-01-23 | 2016-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction signaling |
| US7760949B2 (en) | 2007-02-08 | 2010-07-20 | Sharp Laboratories Of America, Inc. | Methods and systems for coding multiple dynamic range images |
| CN102638684A (zh) * | 2007-03-09 | 2012-08-15 | 夏普株式会社 | 可缩放至不可缩放的比特流重写的方法和系统 |
| WO2008111660A1 (en) * | 2007-03-09 | 2008-09-18 | Sharp Kabushiki Kaisha | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
| US8767834B2 (en) | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
| US8555291B2 (en) | 2008-01-17 | 2013-10-08 | Nec Corporation | Synchronization control method and information processing device |
| WO2010024102A1 (ja) | 2008-08-28 | 2010-03-04 | 住友電気工業株式会社 | 動画像データの配信方法 |
| JP2010263390A (ja) * | 2009-05-05 | 2010-11-18 | Hiroshima Univ | 画像配信システム、符号装置及び復号装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005094054A (ja) | 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム | |
| JP6587025B2 (ja) | 情報処理装置および方法 | |
| JP7073536B2 (ja) | 復号化または符号化の方法、装置および媒体 | |
| TWI543628B (zh) | 編碼方法 | |
| KR101376666B1 (ko) | 이미지 품질 강화 | |
| TWI552575B (zh) | 多視角視訊預測方法及裝置以及多視角視訊預測還原方法及裝置 | |
| JP2002135130A (ja) | 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体 | |
| WO2001078398A1 (en) | Transcoding of compressed video | |
| KR20070096979A (ko) | 스위칭 픽쳐를 이용한 동영상 비트스트림 부호화 및 복호화방법 및 장치 | |
| EP3777220A1 (en) | Immersive media metrics for virtual reality content with multiple viewpoints | |
| US20170078697A1 (en) | Depth image prediction mode transmission method and apparatus for encoding and decoding inter-layer video | |
| JP2007266749A (ja) | 符号化方法 | |
| CN106717005B (zh) | 根据参考频率控制参考图像数据的视频编码/解码方法和设备 | |
| CN101888553B (zh) | 用于可伸缩视频编码的方法和装置 | |
| CN105340273A (zh) | 用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备 | |
| JP2004056616A (ja) | 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム | |
| JP4469976B2 (ja) | 情報送信装置、情報提供システム、情報提供方法、情報提供プログラムおよび該情報提供プログラムを記録した記録媒体 | |
| Cai et al. | Research on Video Compression Technology for Micro-Video Applications | |
| Ip et al. | Redundancy reduction technique for dual-bitstream MPEG video streaming with VCR functionalities | |
| Kodama | A Consideration of Spatial Video Coding Schemes for Updatable Video Delivery | |
| Suchomski et al. | Format independence of audio and video in multimedia database systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060509 |