JP2003143600A - 符号化方法、符号化装置、及び復号化装置 - Google Patents
符号化方法、符号化装置、及び復号化装置Info
- Publication number
- JP2003143600A JP2003143600A JP2001333053A JP2001333053A JP2003143600A JP 2003143600 A JP2003143600 A JP 2003143600A JP 2001333053 A JP2001333053 A JP 2001333053A JP 2001333053 A JP2001333053 A JP 2001333053A JP 2003143600 A JP2003143600 A JP 2003143600A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image
- interpolation
- predetermined
- object image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 オブジェクト画像を効率的に符号化及び復号
化を行う符号化方法、符号化装置、及び復号化装置を提
供することを目的とする。 【解決手段】 オブジェクト領域内外を示す二値形状画
像と、テクスチャ画像と、オブジェクトの透過情報を示
す多値形状画像から構成されるオブジェクト画像を符号
化する符号化方法において、前記オブジェクト画像を所
定のブロック毎に分割する分割段階と、所定の関数を用
いた補間による誤差が所定の範囲内に収まるように前記
補間の基準画素となる節点を選定する節点選定段階とを
有することにより上記課題を解決する。
化を行う符号化方法、符号化装置、及び復号化装置を提
供することを目的とする。 【解決手段】 オブジェクト領域内外を示す二値形状画
像と、テクスチャ画像と、オブジェクトの透過情報を示
す多値形状画像から構成されるオブジェクト画像を符号
化する符号化方法において、前記オブジェクト画像を所
定のブロック毎に分割する分割段階と、所定の関数を用
いた補間による誤差が所定の範囲内に収まるように前記
補間の基準画素となる節点を選定する節点選定段階とを
有することにより上記課題を解決する。
Description
【０００１】
【発明の属する技術分野】本発明は、符号化方法、符号
化装置、及び復号化装置に係り、特に、オブジェクト画
像を効率的に符号化及び復号化を行う符号化方法、符号
化装置、及び復号化装置に関する。
化装置、及び復号化装置に係り、特に、オブジェクト画
像を効率的に符号化及び復号化を行う符号化方法、符号
化装置、及び復号化装置に関する。
【０００２】
【従来の技術】近年、ＭＰＥＧ−４映像符号化規格（Ｉ
ＳＯ／ＩＥＣ14496-2：“Informationtechnology-Gener
ic coding of audio-visual objects−Part2：Visua
l”）に代表されるオブジェクトベース符号化が注目さ
れている。
ＳＯ／ＩＥＣ14496-2：“Informationtechnology-Gener
ic coding of audio-visual objects−Part2：Visua
l”）に代表されるオブジェクトベース符号化が注目さ
れている。
【０００３】オブジェクトベース符号化とは、画面を人
物等の前景や背景といったオブジェクト画像に分割し、
各々のオブジェクト単位で符号化を行う方式である。
物等の前景や背景といったオブジェクト画像に分割し、
各々のオブジェクト単位で符号化を行う方式である。
【０００４】オブジェクトベース符号化では、ＭＰＥＧ
−２映像符号化規格（ＩＳＯ／ＩＥＣ13818-2：“Infor
mation technology-Generic coding of moving picture
s and associated audio information ：Video"）のよ
うに画面単位の符号化方式よりも高い符号化効率が実現
できる他、３次元空間中の構成物をオブジェクト（１つ
の画像）として符号化することができるので、例えば、
映像に登場する人物の背景が不適切な場合、その背景を
消すことや変更することができる等、オブジェクト単位
の合成による映像制作を可能にする。
−２映像符号化規格（ＩＳＯ／ＩＥＣ13818-2：“Infor
mation technology-Generic coding of moving picture
s and associated audio information ：Video"）のよ
うに画面単位の符号化方式よりも高い符号化効率が実現
できる他、３次元空間中の構成物をオブジェクト（１つ
の画像）として符号化することができるので、例えば、
映像に登場する人物の背景が不適切な場合、その背景を
消すことや変更することができる等、オブジェクト単位
の合成による映像制作を可能にする。
【０００５】また、オブジェクト画像は、輝度や色差等
の情報を持つテクスチャ情報と、オブジェクトを重ね合
わせて１つの画像が構成できるように各オブジェクトの
画像が形状及び透明度の情報を持つオブジェクト形状情
報とから構成される。したがって、オブジェクトベース
符号化では、テクスチャ符号化と形状符号化が行われ
る。
の情報を持つテクスチャ情報と、オブジェクトを重ね合
わせて１つの画像が構成できるように各オブジェクトの
画像が形状及び透明度の情報を持つオブジェクト形状情
報とから構成される。したがって、オブジェクトベース
符号化では、テクスチャ符号化と形状符号化が行われ
る。
【０００６】ここで、前述したオブジェクト形状情報に
は、オブジェクトが存在するか否かの存在領域を示す二
値形状情報と、オブジェクトの透過度を示す多値形状情
報とに分類できる。これらの形状情報は、通常、二値或
いは多値の画像で表されることが多く、それらの画像
は、夫々二値形状画像、多値形状画像と呼ばれている。
は、オブジェクトが存在するか否かの存在領域を示す二
値形状情報と、オブジェクトの透過度を示す多値形状情
報とに分類できる。これらの形状情報は、通常、二値或
いは多値の画像で表されることが多く、それらの画像
は、夫々二値形状画像、多値形状画像と呼ばれている。
【０００７】従来では、ＭＰＥＧ−４の多値形状符号化
方式は、テクスチャ符号化と同じで、８×８画素のブロ
ックに分割した上で、ブロック内ＤＣＴ（離散コサイン
変換）による変換符号化を行う。
方式は、テクスチャ符号化と同じで、８×８画素のブロ
ックに分割した上で、ブロック内ＤＣＴ（離散コサイン
変換）による変換符号化を行う。
【０００８】ここで、画像の性質として、空間周波数の
低い信号成分が多いことが知られている。ＤＣＴ符号化
方式では、低域成分に電力が集中することを利用して符
号割り当てが行われる。
低い信号成分が多いことが知られている。ＤＣＴ符号化
方式では、低域成分に電力が集中することを利用して符
号割り当てが行われる。
【０００９】また、シンボル（節点）の生起確率の偏り
を利用して情報源を削減する可変長符号化方式として、
ハフマン符号化が知られている。（安田浩、渡辺裕：
「ディジタル画像圧縮の基礎」、日経ＢＰ出版センタ
ー、PP．32−35）ハフマン符号は、メモリに蓄積された
符号語テーブルからシンボルに対する符号語を読み出す
だけであり、小さな装置規模で構築することができる。
を利用して情報源を削減する可変長符号化方式として、
ハフマン符号化が知られている。（安田浩、渡辺裕：
「ディジタル画像圧縮の基礎」、日経ＢＰ出版センタ
ー、PP．32−35）ハフマン符号は、メモリに蓄積された
符号語テーブルからシンボルに対する符号語を読み出す
だけであり、小さな装置規模で構築することができる。
【００１０】
【発明が解決しようとする課題】多値形状画像はオブジ
ェクトの透過度を示し、雲や煙等の場合は透過度が比較
的一様になるため、多値形状画像の信号成分は低域に集
中するため効率的な符号化が行われる。
ェクトの透過度を示し、雲や煙等の場合は透過度が比較
的一様になるため、多値形状画像の信号成分は低域に集
中するため効率的な符号化が行われる。
【００１１】しかしながら、ＤＣＴ符号化方式におい
て、高域成分の多い信号の場合は符号化効率が低下して
しまう。
て、高域成分の多い信号の場合は符号化効率が低下して
しまう。
【００１２】つまり、人物や車等のオブジェクトの場合
は、オブジェクト内部では透過度がほぼ一定値となる
が、オブジェクト周辺部にかけて透過度が急激に変化す
ることが多い。このような多値形状画像では、ＤＣＴ符
号化方式を用いるＭＰＥＧ−４の多値形状符号化方式に
おいては符号化効率が低下してしまう。
は、オブジェクト内部では透過度がほぼ一定値となる
が、オブジェクト周辺部にかけて透過度が急激に変化す
ることが多い。このような多値形状画像では、ＤＣＴ符
号化方式を用いるＭＰＥＧ−４の多値形状符号化方式に
おいては符号化効率が低下してしまう。
【００１３】本発明は、上記の点に鑑みなされたもの
で、オブジェクト画像を効率的に符号化、復号化するた
めの符号化方法、符号化装置、及び復号化装置を提供す
ることを目的とする。
で、オブジェクト画像を効率的に符号化、復号化するた
めの符号化方法、符号化装置、及び復号化装置を提供す
ることを目的とする。
【００１４】
【課題を解決するための手段】上記課題を解決するため
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。
【００１５】請求項１に記載された発明は、オブジェク
ト領域内外を示す二値形状画像と、テクスチャ画像と、
オブジェクトの透過情報を示す多値形状画像から構成さ
れるオブジェクト画像を符号化する符号化方法におい
て、前記オブジェクト画像を所定のブロック毎に分割す
る分割段階と、所定の関数を用いた補間による誤差が所
定の範囲内に収まるように前記補間の基準画素となる節
点を選定する節点選定段階とを有することを特徴とす
る。
ト領域内外を示す二値形状画像と、テクスチャ画像と、
オブジェクトの透過情報を示す多値形状画像から構成さ
れるオブジェクト画像を符号化する符号化方法におい
て、前記オブジェクト画像を所定のブロック毎に分割す
る分割段階と、所定の関数を用いた補間による誤差が所
定の範囲内に収まるように前記補間の基準画素となる節
点を選定する節点選定段階とを有することを特徴とす
る。
【００１６】請求項１記載の発明によれば、前記節点選
定部で選定した節点の情報だけを符号化することによ
り、効率的な符号化を行うことができる。
定部で選定した節点の情報だけを符号化することによ
り、効率的な符号化を行うことができる。
【００１７】請求項２に記載された発明は、オブジェク
ト領域内外を示す二値形状画像と、テクスチャ画像と、
オブジェクトの透過情報を示す多値形状画像から構成さ
れるオブジェクト画像を符号化する符号化装置におい
て、前記オブジェクト画像を所定のブロック毎に分割す
る分割部と、所定の関数を用いた補間による誤差が所定
の範囲内に収まるように前記補間の基準画素となる節点
を選定する節点選定部とを有することを特徴とする。
ト領域内外を示す二値形状画像と、テクスチャ画像と、
オブジェクトの透過情報を示す多値形状画像から構成さ
れるオブジェクト画像を符号化する符号化装置におい
て、前記オブジェクト画像を所定のブロック毎に分割す
る分割部と、所定の関数を用いた補間による誤差が所定
の範囲内に収まるように前記補間の基準画素となる節点
を選定する節点選定部とを有することを特徴とする。
【００１８】請求項３に記載された発明は、前記分割部
にて分割された前記オブジェクト画像のブロックのダウ
ンサンプルを行うダウンサンプル生成部を有することを
特徴とする。
にて分割された前記オブジェクト画像のブロックのダウ
ンサンプルを行うダウンサンプル生成部を有することを
特徴とする。
【００１９】請求項４に記載された発明は、前記節点選
定部は、前記所定のブロックの４隅を節点として所定の
関数による補間を行い、分割されたオブジェクト画像の
画素値と補間により得られた画素値との誤差が所定の範
囲を超えた場合に、前記誤差が最大となる画素の点を節
点とし、更に、この節点により格子状にオブジェクト画
像を分割し、その４隅の点を節点とすることを特徴とす
る。
定部は、前記所定のブロックの４隅を節点として所定の
関数による補間を行い、分割されたオブジェクト画像の
画素値と補間により得られた画素値との誤差が所定の範
囲を超えた場合に、前記誤差が最大となる画素の点を節
点とし、更に、この節点により格子状にオブジェクト画
像を分割し、その４隅の点を節点とすることを特徴とす
る。
【００２０】請求項５に記載された発明は、前記節点選
定部は、所定の関数による補間を行う際に、既に定めら
れた節点を用いて補間を行い、分割されたオブジェクト
画像の画素値と補間により得られた画素値との誤差が、
所定の範囲以内になるまで繰り返し行うことを特徴とす
る。
定部は、所定の関数による補間を行う際に、既に定めら
れた節点を用いて補間を行い、分割されたオブジェクト
画像の画素値と補間により得られた画素値との誤差が、
所定の範囲以内になるまで繰り返し行うことを特徴とす
る。
【００２１】請求項２から５に記載の発明によれば、請
求項１記載の符号化方法に適した符号化装置を提供する
ことができる。
求項１記載の符号化方法に適した符号化装置を提供する
ことができる。
【００２２】請求項６に記載された発明は、オブジェク
ト領域内外を示す二値形状画像と、テクスチャ画像と、
オブジェクトの透過情報を示す多値形状画像から構成さ
れるオブジェクト画像を離散的な位置の画素値により符
号化した信号を復号化する復号化装置において、前記離
散的な位置の画素値をスプライン関数により補間し、オ
ブジェクト画像を復元することを特徴とする。
ト領域内外を示す二値形状画像と、テクスチャ画像と、
オブジェクトの透過情報を示す多値形状画像から構成さ
れるオブジェクト画像を離散的な位置の画素値により符
号化した信号を復号化する復号化装置において、前記離
散的な位置の画素値をスプライン関数により補間し、オ
ブジェクト画像を復元することを特徴とする。
【００２３】ここで、前記スプライン関数について説明
する。
する。
【００２４】スプライン関数は、与えられた座標（節
点）間を滑らかに接続するために、区間毎に異なる多項
式を用いて近似を行う所謂、区分的多項式関数であり、
曲線や曲面を近似する一つの方法として用いられる。
点）間を滑らかに接続するために、区間毎に異なる多項
式を用いて近似を行う所謂、区分的多項式関数であり、
曲線や曲面を近似する一つの方法として用いられる。
【００２５】上述のスプライン関数を用いた曲線の例を
図を用いて説明する。
図を用いて説明する。
【００２６】図１は、スプライン関数を用いたＸ軸（Ｘ
座標）、Ｙ軸（Ｙ座標）の２次元データの補間を示す一
例の図である。
座標）、Ｙ軸（Ｙ座標）の２次元データの補間を示す一
例の図である。
【００２７】図１の「×」印はスプライン関数の多項式
の接続部を示す「節点」である。また、図１の実線は１
次のスプライン関数、点線は３次のスプライン関数を示
す。このようにスプライン関数を用いて、節点間のデー
タの軌跡を補間することができる。また、スプライン補
間は、２次元空間上の節点だけでなく、３次元空間上の
節点に対しても適用することができる。
の接続部を示す「節点」である。また、図１の実線は１
次のスプライン関数、点線は３次のスプライン関数を示
す。このようにスプライン関数を用いて、節点間のデー
タの軌跡を補間することができる。また、スプライン補
間は、２次元空間上の節点だけでなく、３次元空間上の
節点に対しても適用することができる。
【００２８】格子点上に節点データが与えられたときに
は、de Boorによる３次の双スプライン（桜井明編著：
「スプライン関数入門」、東京電機大学出版局、PP．10
3−106）やk−1次のＢ−スプラインを用いた双スプライ
ン（桜井明編著：「スプライン関数入門」、東京電機大
学出版局、PP．106−109）を用いることができる。
は、de Boorによる３次の双スプライン（桜井明編著：
「スプライン関数入門」、東京電機大学出版局、PP．10
3−106）やk−1次のＢ−スプラインを用いた双スプライ
ン（桜井明編著：「スプライン関数入門」、東京電機大
学出版局、PP．106−109）を用いることができる。
【００２９】請求項６記載の発明によれば、少ない情報
からオブジェクト画像を復元することができる。
からオブジェクト画像を復元することができる。
【００３０】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を用いて説明するが、説明を容易にするため、オ
ブジェクト画像の中でも特に本発明の効果が現れる多値
形状画像に基づいて説明するが、本発明に適用される画
像はこの限りではない。
て図面を用いて説明するが、説明を容易にするため、オ
ブジェクト画像の中でも特に本発明の効果が現れる多値
形状画像に基づいて説明するが、本発明に適用される画
像はこの限りではない。
【００３１】まず、上述したようにオブジェクトの透過
度は、オブジェクトの中心部ではほぼ一定の値をとりオ
ブジェクトの周辺部では急激に変化することが多い。そ
のため、多値形状画像の低域成分である平坦部分と高域
成分である傾斜部分を効率良く表現する手段を用いる。
そこで、多値形状画像を１以上の矩形ブロックに分割
し、分割したブロック単位で符号化を行う。
度は、オブジェクトの中心部ではほぼ一定の値をとりオ
ブジェクトの周辺部では急激に変化することが多い。そ
のため、多値形状画像の低域成分である平坦部分と高域
成分である傾斜部分を効率良く表現する手段を用いる。
そこで、多値形状画像を１以上の矩形ブロックに分割
し、分割したブロック単位で符号化を行う。
【００３２】また、多値形状ブロックの信号の平坦部分
と傾斜部分の情報を保持するように、多値形状ブロック
に対し、符号化する情報を減少させるため、ダウンサン
プルを行う。ダウンサンプルにより符号化しなければな
らない画素数が減り、符号化効率が向上する。更に、上
述にて符号化された信号を復号化装置において、所定の
関数を用いて補間を行うことで符号化前の画像を復元す
る。
と傾斜部分の情報を保持するように、多値形状ブロック
に対し、符号化する情報を減少させるため、ダウンサン
プルを行う。ダウンサンプルにより符号化しなければな
らない画素数が減り、符号化効率が向上する。更に、上
述にて符号化された信号を復号化装置において、所定の
関数を用いて補間を行うことで符号化前の画像を復元す
る。
【００３３】したがって、符号化においては、例えばス
プライン関数を用いて、補間を行うための節点を求め、
節点の情報だけを符号化することにより効率的に符号化
を行うことを可能とする。
プライン関数を用いて、補間を行うための節点を求め、
節点の情報だけを符号化することにより効率的に符号化
を行うことを可能とする。
【００３４】ここで、多値形状画像のブロック単位の画
素値を、（水平座標、垂直座標、画素レベル）の３次元
空間上のデータとみなすと、画素レベルは曲面で表され
る。その曲面を表現するために、節点データを符号化
し、復号化装置においてスプライン関数を用いたスプラ
イン補間により曲面の近似を行う。
素値を、（水平座標、垂直座標、画素レベル）の３次元
空間上のデータとみなすと、画素レベルは曲面で表され
る。その曲面を表現するために、節点データを符号化
し、復号化装置においてスプライン関数を用いたスプラ
イン補間により曲面の近似を行う。
【００３５】スプライン補間を用いると、実際の多値形
状画像のブロックの画素数よりも少ない情報で多値形状
のブロック単位における平坦部分及び傾斜部分を自在に
表現することができ、符号化効率が向上する。
状画像のブロックの画素数よりも少ない情報で多値形状
のブロック単位における平坦部分及び傾斜部分を自在に
表現することができ、符号化効率が向上する。
【００３６】次に、本発明における実施例を図面を用い
て説明する。
て説明する。
【００３７】図２は、本発明における符号化装置の一構
成例の図である。
成例の図である。
【００３８】図２の符号化装置２０は、ブロック分割部
２１と、ダウンサンプル処理部２２と、節点決定部２３
と、節点符号化部２４とを備えるように構成されてい
る。
２１と、ダウンサンプル処理部２２と、節点決定部２３
と、節点符号化部２４とを備えるように構成されてい
る。
【００３９】多値形状画像データが符号化装置２０に入
力されると、ブロック分割部２１は、多値形状画像を矩
形ブロックに分割した多値形状ブロックを出力する。便
宜上、本実施例では、１６×１６画素からなる多値形状
ブロックを出力するが、ブロック化される画素サイズは
この限りではない。
力されると、ブロック分割部２１は、多値形状画像を矩
形ブロックに分割した多値形状ブロックを出力する。便
宜上、本実施例では、１６×１６画素からなる多値形状
ブロックを出力するが、ブロック化される画素サイズは
この限りではない。
【００４０】ブロック分割部２１より多値形状ブロック
が生成されると、ダウンサンプル処理部２２で多値形状
ブロックから、水平方向及び垂直方向にダウンサンプル
を行い、画素サイズを減少させた多値形状ブロックを出
力する。本発明では、ダウンサンプルのフィルタは定め
ないが、本実施例では、例えば、図３に示すようなフィ
ルタタップ数、フィルタ係数、及び正規化因子を用いて
水平方向及び垂直方向に２：１のダウンサンプルを行
う。したがって、ダウンサンプル処理部２２の出力は、
８×８画素の多値形状ブロックとなる。
が生成されると、ダウンサンプル処理部２２で多値形状
ブロックから、水平方向及び垂直方向にダウンサンプル
を行い、画素サイズを減少させた多値形状ブロックを出
力する。本発明では、ダウンサンプルのフィルタは定め
ないが、本実施例では、例えば、図３に示すようなフィ
ルタタップ数、フィルタ係数、及び正規化因子を用いて
水平方向及び垂直方向に２：１のダウンサンプルを行
う。したがって、ダウンサンプル処理部２２の出力は、
８×８画素の多値形状ブロックとなる。
【００４１】節点決定部２３では、上述にてダウンサン
プルした８×８画素の多値形状ブロックを入力し、所定
の関数（説明を容易にするため本実施例ではスプライン
関数を用いるが、接点間を補間することができる関数で
あれば、この限りではない。））による補間で表現する
ための節点を決定し、節点の数および節点座標と節点上
の画素レベルを出力する。
プルした８×８画素の多値形状ブロックを入力し、所定
の関数（説明を容易にするため本実施例ではスプライン
関数を用いるが、接点間を補間することができる関数で
あれば、この限りではない。））による補間で表現する
ための節点を決定し、節点の数および節点座標と節点上
の画素レベルを出力する。
【００４２】ここで、上述の節点を決定するための処理
手順を図を用いて説明する。
手順を図を用いて説明する。
【００４３】図４は、節点を決定する処理を説明する一
例のフローチャートである。
例のフローチャートである。
【００４４】図４において、まず、多値形状ブロックの
４隅に節点を配置（Ｓ１）する。
４隅に節点を配置（Ｓ１）する。
【００４５】ここで、図５に、節点決定部２３に入力さ
れる８×８画素のブロックを立体的に表した一例の図を
示す。図５はＸ軸、Ｙ軸は平面上の座標に対する画素値
を示す。また、図６は、図５をＸＹ平面に投射した図で
あり、格子点上に多値形状の画素が存在する。
れる８×８画素のブロックを立体的に表した一例の図を
示す。図５はＸ軸、Ｙ軸は平面上の座標に対する画素値
を示す。また、図６は、図５をＸＹ平面に投射した図で
あり、格子点上に多値形状の画素が存在する。
【００４６】Ｓ１において配置される節点は、図６のＡ
点、Ｂ点、Ｃ点、Ｄ点の４点となる。
点、Ｂ点、Ｃ点、Ｄ点の４点となる。
【００４７】次に、現時点で得られている節点データか
らスプライン関数によるスプライン補間を行い、各画素
における補間画素値を導出（Ｓ２）する。つまり、図５
におけるＸ座標、Ｙ座標での各座標値におけるスプライ
ン補間から導出される画素値を求める。スプライン補間
では、例えば、de Boorによる３次の双スプラインを用
いることができる。
らスプライン関数によるスプライン補間を行い、各画素
における補間画素値を導出（Ｓ２）する。つまり、図５
におけるＸ座標、Ｙ座標での各座標値におけるスプライ
ン補間から導出される画素値を求める。スプライン補間
では、例えば、de Boorによる３次の双スプラインを用
いることができる。
【００４８】更に、入力した多値形状ブロックの各座標
点（Ｘ座標、Ｙ座標）での画素レベルとＳ２のスプライ
ン補間により得られる各座標点の補間された曲線からな
る画素レベルとを、同一座標毎にその値を比較し、その
差が最大となる最大画素レベル差（Ｈ）と座標を導出
（Ｓ３）する。
点（Ｘ座標、Ｙ座標）での画素レベルとＳ２のスプライ
ン補間により得られる各座標点の補間された曲線からな
る画素レベルとを、同一座標毎にその値を比較し、その
差が最大となる最大画素レベル差（Ｈ）と座標を導出
（Ｓ３）する。
【００４９】次に、Ｓ３で得られた最大画素レベル差
（Ｈ）と予め設定した閥値（Ｔｈ）とを比較（Ｓ４）
し、最大画素レベル差（Ｈ）が閥値（Ｔｈ）よりも小さ
い場合に処理を終了し、その時点で得られた節点を出力
する。
（Ｈ）と予め設定した閥値（Ｔｈ）とを比較（Ｓ４）
し、最大画素レベル差（Ｈ）が閥値（Ｔｈ）よりも小さ
い場合に処理を終了し、その時点で得られた節点を出力
する。
【００５０】また、最大画素レベル差（Ｈ）が閥値（Ｔ
ｈ）よりも大きい場合には、格子点上の該当する座標に
節点を追加（Ｓ５）する。
ｈ）よりも大きい場合には、格子点上の該当する座標に
節点を追加（Ｓ５）する。
【００５１】例えば、図６においては、Ａ点、Ｂ点、Ｃ
点、Ｄ点の４点からスプライン補間を行い、ダウンサン
プル後の多値形状ブロックの各座標における画素レベル
と、スプライン補間により求まる各座標の画素レベルと
を比較した結果、Ｅ点において最大画素レベル差となっ
たと想定する。
点、Ｄ点の４点からスプライン補間を行い、ダウンサン
プル後の多値形状ブロックの各座標における画素レベル
と、スプライン補間により求まる各座標の画素レベルと
を比較した結果、Ｅ点において最大画素レベル差となっ
たと想定する。
【００５２】最大画素レベル差が閥値（Ｔｈ）よりも大
きい場合には、Ｅ点の他、それ以前に定まっている節点
（Ａ点、Ｂ点、Ｃ点、Ｄ点）を格子状に分割するような
位置（Ｆ点、Ｇ点、Ｈ点、Ｉ点）を節点として追加す
る。前記格子状に分割するような位置にも節点を追加す
ることで、スプライン補間を効率的に行うことができ
る。節点を追加し終えたらＳ２に戻り、Ｓ２〜Ｓ４の各
ステップを、最大画素レベル差（Ｈ）が閾値（Ｔｈ）以
下になるまで、上記処理を繰り返し行う。
きい場合には、Ｅ点の他、それ以前に定まっている節点
（Ａ点、Ｂ点、Ｃ点、Ｄ点）を格子状に分割するような
位置（Ｆ点、Ｇ点、Ｈ点、Ｉ点）を節点として追加す
る。前記格子状に分割するような位置にも節点を追加す
ることで、スプライン補間を効率的に行うことができ
る。節点を追加し終えたらＳ２に戻り、Ｓ２〜Ｓ４の各
ステップを、最大画素レベル差（Ｈ）が閾値（Ｔｈ）以
下になるまで、上記処理を繰り返し行う。
【００５３】次に、節点決定部２３で得られた節点の
数、節点座標、節点上での画素レベルを節点符号化部２
４に入力し、ハフマン符号化等の高能率圧縮を行い符号
化画像データを出力する。
数、節点座標、節点上での画素レベルを節点符号化部２
４に入力し、ハフマン符号化等の高能率圧縮を行い符号
化画像データを出力する。
【００５４】なお、隣接する節点の座標や画素レベルは
相関が高いため、座標や画素レベルの差分を取った後、
ハフマン符号化等の符号化を適用しても良い。
相関が高いため、座標や画素レベルの差分を取った後、
ハフマン符号化等の符号化を適用しても良い。
【００５５】次に、前記符号化画像データを復号するた
めの復号化装置について説明する。
めの復号化装置について説明する。
【００５６】図７は、本発明における復号化装置の一構
成例の図である。
成例の図である。
【００５７】図７の復号化装置７０は、節点復号化部７
１と、補間処理部７２と、アップサンプル処理部７３と
を備えるように構成されている。
１と、補間処理部７２と、アップサンプル処理部７３と
を備えるように構成されている。
【００５８】復号化装置７０に符号化画像データが入力
されると、節点復号化部７１はデータの復号化を行い節
点の数、座標、画素レベルを出力する。補間処理部７２
は、節点復号化部７１で出力される節点の数、座標、画
素レベルを入力し、スプライン補間を行い、８×８画素
からなる形状ブロックの補間画素を出力する。スプライ
ン補間では、例えば、de Boorによる３次の双スプライ
ンを用いることができる。
されると、節点復号化部７１はデータの復号化を行い節
点の数、座標、画素レベルを出力する。補間処理部７２
は、節点復号化部７１で出力される節点の数、座標、画
素レベルを入力し、スプライン補間を行い、８×８画素
からなる形状ブロックの補間画素を出力する。スプライ
ン補間では、例えば、de Boorによる３次の双スプライ
ンを用いることができる。
【００５９】アップサンプル処理部７３では、補間処理
部７２で出力される８×８画素からなる形状ブロックを
入力し、水平方向及び垂直方向共に１：２のアップサン
プル処理を行い１６×１６画素からなる形状ブロックを
出力する。本発明では、アップサンプルのフィルタは定
めないが、本実施例では、図３に示すようなフィルタを
用いて１：２のアップサンプルを行う。
部７２で出力される８×８画素からなる形状ブロックを
入力し、水平方向及び垂直方向共に１：２のアップサン
プル処理を行い１６×１６画素からなる形状ブロックを
出力する。本発明では、アップサンプルのフィルタは定
めないが、本実施例では、図３に示すようなフィルタを
用いて１：２のアップサンプルを行う。
【００６０】上述のように、本発明における符号化装置
及び復号化装置を利用することにより、特に高域成分を
含む多値形状画像において、効率的に符号化を行うこと
ができる。
及び復号化装置を利用することにより、特に高域成分を
含む多値形状画像において、効率的に符号化を行うこと
ができる。
【００６１】次に、上述の符号化装置、復号化装置を用
いた具体的な実施例について説明する。
いた具体的な実施例について説明する。
【００６２】図８は、本発明における動画像伝送システ
ムの一構成例の図である。
ムの一構成例の図である。
【００６３】図８の動画像伝送システムは、送信装置８
０と、受信装置８１と、表示装置８２とを備えるように
構成されている。また、送信装置８０は、符号化装置２
０と、送信部８３とを備えるように構成されている。受
信装置８１は、受信部８４と、復号化装置７０とを備え
るよう構成されている。
０と、受信装置８１と、表示装置８２とを備えるように
構成されている。また、送信装置８０は、符号化装置２
０と、送信部８３とを備えるように構成されている。受
信装置８１は、受信部８４と、復号化装置７０とを備え
るよう構成されている。
【００６４】図８において、動画像信号が送信装置８０
へ入力されると、符号化装置２０に入力され、上述した
ような符号化画像データが生成され、送信部８３にて、
ＭＰＥＧ-４の信号として伝送される。
へ入力されると、符号化装置２０に入力され、上述した
ような符号化画像データが生成され、送信部８３にて、
ＭＰＥＧ-４の信号として伝送される。
【００６５】伝送されたＭＰＥＧ−４の動画像信号は、
受信装置８１の受信部８４にて受信し、復号化装置７０
にて、上述したように復号され、表示装置８２から表示
を行う。
受信装置８１の受信部８４にて受信し、復号化装置７０
にて、上述したように復号され、表示装置８２から表示
を行う。
【００６６】上述したように動画像伝送システムに本発
明における符号化装置２０、復号化装置７０を用いるこ
とで、伝送効率を増加させることができる。
明における符号化装置２０、復号化装置７０を用いるこ
とで、伝送効率を増加させることができる。
【００６７】また、図９は、本発明における記録再生装
置の一構成例の図である。
置の一構成例の図である。
【００６８】図９の記録再生装置９０は、符号化装置２
０と、記録部９１と、復号化装置７０と、表示装置８２
とを備えるように構成されている。
０と、記録部９１と、復号化装置７０と、表示装置８２
とを備えるように構成されている。
【００６９】図９においては、上述の図８と比較する
と、伝送を行わずに、記録部９１に符号化された動画像
データを蓄積して、必要なときに復号を行い、表示装置
８９に表示を行うものである。
と、伝送を行わずに、記録部９１に符号化された動画像
データを蓄積して、必要なときに復号を行い、表示装置
８９に表示を行うものである。
【００７０】図９のような記録再生装置に本発明におけ
る符号化装置２０、復号化装置７０を用いることで、記
録部９１に画像データを少ない容量で蓄積させることが
できる。
る符号化装置２０、復号化装置７０を用いることで、記
録部９１に画像データを少ない容量で蓄積させることが
できる。
【００７１】
【発明の効果】上述の如く本発明によれば、オブジェク
ト画像を効率的に符号化、復号化するための符号化方
法、符号化装置、及び復号化装置を提供することができ
る。
ト画像を効率的に符号化、復号化するための符号化方
法、符号化装置、及び復号化装置を提供することができ
る。
【図１】スプライン関数を用いたＸ軸（Ｘ座標）、Ｙ軸
（Ｙ座標）の２次元データの補間を示す一例の図であ
る。
（Ｙ座標）の２次元データの補間を示す一例の図であ
る。
【図２】本発明における符号化装置の一構成例の図であ
る。
る。
【図３】２：１ダウンサンプル及び１：２アップサンプ
ルフィルタの例を示す図である。
ルフィルタの例を示す図である。
【図４】節点を決定する処理を説明する一例のフローチ
ャートである。
ャートである。
【図５】節点決定部２３に入力される８×８画素のブロ
ックを立体的に表した一例の図である。
ックを立体的に表した一例の図である。
【図６】図５をＸＹ平面に投射した図である。
【図７】本発明における復号化装置の一構成例の図であ
る。
る。
【図８】本発明を利用した動画像伝送システムの一構成
例の図である。
例の図である。
【図９】本発明を利用した記録再生装置の一構成例の図
である。
である。
２０ 符号化装置
２１ ブロック分割部
２２ ダウンサンプル部
２３ 節点決定部
２４ 節点符号化部
７０ 復号化装置
７１ 節点復号化部
７２ 補間処理部
７３ アップサンプル部
８０ 送信装置
８１ 受信装置
９０ 記録再生装置
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 境田 慎一
東京都世田谷区砧一丁目10番11号 日本放
送協会 放送技術研究所内
(72)発明者 井口 和久
東京都世田谷区砧一丁目10番11号 日本放
送協会 放送技術研究所内
Ｆターム(参考） 5C059 LB05 LB11 MA00 MB14 MB16
MB23 ME02 PP02 PP20 UA02
UA05
5J064 AA02 BA16 BB04 BC11 BC14
BC29 BD02 BD03
Claims (6)
- 【請求項１】 オブジェクト領域内外を示す二値形状画
像と、テクスチャ画像と、オブジェクトの透過情報を示
す多値形状画像から構成されるオブジェクト画像を符号
化する符号化方法において、 前記オブジェクト画像を所定のブロック毎に分割する分
割段階と、 所定の関数を用いた補間による誤差が所定の範囲内に収
まるように前記補間の基準画素となる節点を選定する節
点選定段階とを有することを特徴とする符号化方法。 - 【請求項２】 オブジェクト領域内外を示す二値形状画
像と、テクスチャ画像と、オブジェクトの透過情報を示
す多値形状画像から構成されるオブジェクト画像を符号
化する符号化装置において、 前記オブジェクト画像を所定のブロック毎に分割する分
割部と、 所定の関数を用いた補間による誤差が所定の範囲内に収
まるように前記補間の基準画素となる節点を選定する節
点選定部とを有することを特徴とする符号化装置。 - 【請求項３】 前記分割部にて分割された前記オブジェ
クト画像のブロックのダウンサンプルを行うダウンサン
プル生成部を有することを特徴とする請求項２記載の符
号化装置。 - 【請求項４】 前記節点選定部は、前記所定のブロック
の４隅を節点として所定の関数による補間を行い、分割
されたオブジェクト画像の画素値と補間により得られた
画素値との誤差が所定の範囲を超えた場合に、前記誤差
が最大となる画素の点を節点とし、更に、この節点によ
り格子状にオブジェクト画像を分割し、その４隅の点を
節点とすることを特徴とする請求項２又は３記載の符号
化装置。 - 【請求項５】 前記節点選定部は、 所定の関数による補間を行う際に、既に定められた節点
を用いて補間を行い、分割されたオブジェクト画像の画
素値と補間により得られた画素値との誤差が、所定の範
囲以内になるまで繰り返し行うことを特徴とする請求項
２乃至４何れか一項記載の符号化装置。 - 【請求項６】 オブジェクト領域内外を示す二値形状画
像と、テクスチャ画像と、オブジェクトの透過情報を示
す多値形状画像から構成されるオブジェクト画像を離散
的な位置の画素値により符号化した信号を復号化する復
号化装置において、 前記離散的な位置の画素値をスプライン関数により補間
し、オブジェクト画像を復元することを特徴とする復号
化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001333053A JP2003143600A (ja) | 2001-10-30 | 2001-10-30 | 符号化方法、符号化装置、及び復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001333053A JP2003143600A (ja) | 2001-10-30 | 2001-10-30 | 符号化方法、符号化装置、及び復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003143600A true JP2003143600A (ja) | 2003-05-16 |
Family
ID=19148384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001333053A Pending JP2003143600A (ja) | 2001-10-30 | 2001-10-30 | 符号化方法、符号化装置、及び復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003143600A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015521445A (ja) * | 2012-06-01 | 2015-07-27 | アルカテル−ルーセント | ビデオストリームを符号化するための方法および装置 |
-
2001
- 2001-10-30 JP JP2001333053A patent/JP2003143600A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015521445A (ja) * | 2012-06-01 | 2015-07-27 | アルカテル−ルーセント | ビデオストリームを符号化するための方法および装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4485951B2 (ja) | ３次元ビデオ信号後処理方法 | |
| JP5351038B2 (ja) | 画像データ及び深度データの組合せを処理する画像処理システム | |
| JP2016226001A (ja) | デコーダおよび復号方法 | |
| WO2005079054A1 (ja) | 画像圧縮装置 | |
| JP2013500667A (ja) | 分散イメージリターゲティング | |
| JPH0993614A (ja) | ３次元画像符号化装置 | |
| WO2022150680A1 (en) | Apparatus and method for point cloud processing | |
| CN115336243A (zh) | 基于哈尔的点云编码方法和装置 | |
| CN115315950A (zh) | 点云数据的全局缩放 | |
| EP0734168A2 (en) | Apparatus for encoding a moving image signal having a still object | |
| CN115086658B (zh) | 点云数据的处理方法、装置、存储介质及编解码设备 | |
| JPH08317410A (ja) | 映像信号符号化方法及びその装置 | |
| JP2006246351A (ja) | 画像符号化装置および画像復号化装置 | |
| JP2003143600A (ja) | 符号化方法、符号化装置、及び復号化装置 | |
| CN114143556A (zh) | 一种用于压缩三维声纳点云数据的帧间编解码方法 | |
| CN113115019B (zh) | 视频编解码方法、装置、计算机设备及存储介质 | |
| JP2901656B2 (ja) | 画像符号化装置 | |
| JP3636983B2 (ja) | 符号化装置 | |
| TW202218425A (zh) | 用於在基於幾何的點雲壓縮中的量化參數值的縮放因數 | |
| CN101310534A (zh) | 使用随机域模型改进图片和视频压缩以及帧速率上转换的方法和设备 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| Santa-Cruz et al. | Compression of parametric surfaces for efficient 3D model coding | |
| US11138694B2 (en) | Method and apparatus for geometric smoothing | |
| WO2024123569A1 (en) | Geometry point cloud coding method, encoder and decoder | |
| JP2891251B2 (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060530 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061003 |