JP2000069469A - 動画像符号化方法とシステム及び動画像復号方法とシステム - Google Patents

動画像符号化方法とシステム及び動画像復号方法とシステム

Info

Publication number
JP2000069469A
JP2000069469A JP23516598A JP23516598A JP2000069469A JP 2000069469 A JP2000069469 A JP 2000069469A JP 23516598 A JP23516598 A JP 23516598A JP 23516598 A JP23516598 A JP 23516598A JP 2000069469 A JP2000069469 A JP 2000069469A
Authority
JP
Japan
Prior art keywords
image
padding
block
shape
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP23516598A
Other languages
English (en)
Inventor
Takahiro Kimoto
崇博 木本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP23516598A priority Critical patent/JP2000069469A/ja
Priority to US09/377,317 priority patent/US6665340B1/en
Publication of JP2000069469A publication Critical patent/JP2000069469A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】形状情報の符号化時、復号時の処理を利用する
ことで探索時の演算量を減少するパディング処理を用い
た動画像符号化・復号方法及びシステムの提供。 【解決手段】画像オブジェクトを有する入力画像信号を
符号化する入力画像符号化手段、パディング処理の対象
となる画像オブジェクトを有する画像信号を格納し必要
時に入力画像符号化手段に転送する第１記憶手段、矩形
形状領域内で画像オブジェクトの形状を表す形状情報を
符号化し符号化形状データを生成し画像オブジェクトの
境界の位置を表す境界情報を生成する形状情報符号化手
段、境界情報を格納する第２記憶手段から境界情報を読
出し第１記憶手段の画像信号のうち画像オブジェクト外
部にあたる画素位置を表すアドレスを算出し第１記憶手
段の画像信号からアドレスに対応する画素値を計算し代
入するパディング処理手段を備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理システム
及び方法に関し、特に、任意の形状を持ち入出力映像の
構成要素となる画像オブジェクトを内部に有する画像信
号の符号化システムおよび復号システムに関する。
【０００２】
【従来の技術】近時、動画像符号化において、オブジェ
クト単位での動画像符号化手段が盛んに用いられてお
り、ＩＳＯ／ＩＥＣにおいて標準化作業中のＭＰＥＧ−
４でもオブジェクト単位の符号化が採用されている。こ
の方法では、画像を構成する部品となる画像オブジェク
ト（以下、単に「オブジェクト」ともいう）をその輪郭
を表す形状情報とともに符号化し、復号器において、こ
れらのオブジェクトを合成して符号化対象画像を再構成
する。
【０００３】任意の形状を持つオブジェクトを符号化す
るには、これを内部に有する矩形領域を符号化対象領域
とし、従来用いられている矩形形状の動画像への符号化
方式を適用する。
【０００４】しかし、符号化対象領域のうち、オブジェ
クトの外部の画素値を０として符号化した場合、フレー
ム間予測処理に伴い、オブジェクトの境界で画素の予測
残差成分の値が大きくなる。その結果、予測効率は大き
く損なわれ、符号化効率を劣化させる原因となる。
【０００５】この問題を解決するため、オブジェクトの
周囲に境界付近の画素値を代入した上で矩形の領域とし
て符号化し、複号器におけるオブジェクトの合成時には
形状情報を用いてオブジェクト外部の画素を覆い隠す、
「パディング」と呼ばれる方法が用いられている。
【０００６】図１４は、ＩＳＯ／ＩＥＣ １４４９６−
２ＭＰＥＧ−４に採用されている、パディング処理を含
んだオブジェクトベース動画像符号化システムの構成の
一例を示す図である。
【０００７】図１４を参照すると、入力画像符号化手段
１０３は、矩形形状を持つ入力画像１０００を符号化す
る。第１の記憶手段１０１は、入力画像符号化手段１０
３から転送された、パディング処理の対象となる画像信
号１００１を格納する。また第２の記憶手段１０２は形
状情報１００２を格納する。
【０００８】パディング処理手段１０５は、第２の記憶
手段１０２に格納された形状情報内での画素位置を表す
アドレス１００５を第２の記憶手段１０２に転送し、第
２の記憶手段１０２に格納された形状情報１００８を読
み込み、第１の記憶手段１０１に格納された画像信号中
のオブジェクトの外部となる画素を同定する。
【０００９】そして、パディング処理手段１０５は、画
像信号中のオブジェクトの外部となる画素位置を表すア
ドレス１００７を第１の記憶手段１０１に転送し、第１
の記憶手段１０１に格納された画像信号１００８を参照
し、アドレス１００７に代入される画素値を算出し、ア
ドレス１００７に代入していく。
【００１０】パディング処理手段１０５におけるパディ
ング処理は、１次元画素列に対するパディング処理を２
度行なうことで実現される。
【００１１】図１５は、符号化対象領域内でパディング
される領域を表す図である。符号化対象領域４０におい
て、オブジェクト４１の外部のうち、まず水平方向にオ
ブジェクトを含む画素列の集合４２に対してパディング
処理が行なわれる。その後、画素列集合４２に含まれな
い領域４３に対して垂直方向へのパディング処理を行な
う。以上の処理によりオブジェクト外部に適当な画素値
を埋められた画像信号１００９をもとに、入力画像符号
化手段１０３は、入力画像１０００を符号化し、形状情
報１００２を入力する形状情報符号化手段１０４によっ
て符号化された形状情報とともに、符号化データとして
転送あるいは蓄積される。
【００１２】パディング処理の対象となる画像信号１０
０１には、入力画像符号化手段１０３から転送された入
力画像信号、あるいは、入力画像符号化手段１０３の内
部で生成され、かつ、フレーム間予測に用いられる参照
画像である場合がある。また、符号化器がフレーム間予
測に用いる参照画像にパディング処理を行なっている場
合には、復号器も参照画像にパディング処理を行なう必
要がある。
【００１３】
【発明が解決しようとする課題】上記した従来のシステ
ムでは、パディング処理において、オブジェクト境界を
同定する際、オブジェクトの形状にかかわらず、符号化
対象領域のすべての画素を２度探索するため、演算量が
膨大となる、という問題点を有している。
【００１４】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、形状情報の符号化
時および復号時の処理を利用することで、探索時の演算
量を減少させるパディング処理方法を用いた動画像符号
化方法、動画像復号方法及びシステムを提供することに
ある。
【００１５】
【課題を解決するための手段】前記目的を達成する本発
明の動画像符号化システムは、矩形形状を有する画像信
号の一部であり任意の形状を持つ画像オブジェクトに対
して、前記矩形形状領域内のうち前記画像オブジェクト
の外部領域に適当な画素値を代入するパディング処理を
備えた動画像符号化システムであって、画像オブジェク
トを内部に有する入力画像信号を符号化する入力画像符
号化手段と、前記入力画像符号化手段においてパディン
グ処理の対象となる画像オブジェクトを有する画像信号
を格納し、必要に応じて、前記入力画像符号化手段に転
送する第１の記憶手段と、前記矩形形状領域内において
前記画像オブジェクトの形状を表す形状情報を符号化し
符号化形状データを生成するとともに、前記画像オブジ
ェクトの境界の位置を表す境界情報を生成する形状情報
符号化手段と、前記境界情報を格納する第２の記憶手段
と、第２の記憶手段に格納されている境界情報を、必要
に応じて読みだして、前記第１の記憶手段に格納されて
いる画像信号のうち、前記画像オブジェクト外部にあた
る画素位置を表すアドレスを算出し、前記第１の記憶手
段に格納されている画像信号から、前記アドレスに対応
する画素値を計算し、代入するパディング処理手段と、
を含む。
【００１６】本発明の動画像復号システムは、矩形形状
を有する画像信号の一部であり任意の形状を持つ画像オ
ブジェクトに対して、前記矩形形状領域内のうち前記画
像オブジェクトの外部領域に適当な画素値を代入するパ
ディング処理を備えた動画像復号システムであって、参
照画像を参照し、任意形状を持つ画像オブジェクトを内
部に有する符号化された画像データを復号して、画像信
号を生成する画像復号手段と、前記復号した画像信号を
パディング処理の対象となる画像信号として格納し、前
記画像復号手段において次フレームの復号処理での参照
画像として供給する第１の記憶手段と、前記画像オブジ
ェクトの形状情報を符号化したデータである符号化形状
データを復号して形状情報を生成するとともに、前記画
像オブジェクトの境界の位置を表す境界情報を生成する
形状情報復号手段と、前記境界情報を格納する第２の記
憶手段と、前記第２の記憶手段に格納されている境界情
報を、必要に応じて読みだし、前記第１の記憶手段に格
納されている画像信号のうち、前記画像オブジェクト外
部にあたる画素位置を表すアドレスを算出し、前記第１
の記憶手段に格納されている画像信号から前記アドレス
に対応する画素値を計算して代入するパディング処理手
段と、を含む。
【００１７】本発明の動画像符号化方法は、矩形形状を
有する画像信号の一部であり任意の形状を持つ画像オブ
ジェクトに対して、前記矩形形状領域内のうち前記画像
オブジェクトの外部領域に適当な画素値を代入するパデ
ィング処理を行う動画像符号化方法であって、（ａ）画
像オブジェクトを内部に有する入力画像信号を符号化
し、パディング処理の対象となる画像オブジェクトを有
する画像信号を第１の記憶手段に格納するステップと、
（ｂ）前記矩形形状領域内において前記画像オブジェク
トの形状を表す形状情報を符号化し、符号化形状データ
を生成するとともに、前記画像オブジェクトの境界の位
置を表す境界情報を生成第２の記憶手段に格納するステ
ップと、（ｃ）前記第２の記憶手段に格納されている境
界情報を、必要に応じて読みだして、前記第１の記憶手
段に格納されている画像信号のうち、前記画像オブジェ
クト外部にあたる画素位置を表すアドレスを算出し、前
記第１の記憶手段に格納されている画像信号から、前記
アドレスに対応する画素値を計算し、代入するパディン
グ処理を行うステップと、を含む。
【００１８】本発明の動画像復号方法は、矩形形状を有
する画像信号の一部であり任意の形状を持つ画像オブジ
ェクトに対して、前記矩形形状領域内のうち前記画像オ
ブジェクトの外部領域に適当な画素値を代入するパディ
ング処理を行う動画像復号方法であって、（ａ）参照画
像を参照し、任意形状を持つ画像オブジェクトを内部に
有する符号化された画像データを復号して、画像信号を
生成するステップと、（ｂ）前記復号した画像信号をパ
ディング処理の対象となる画像信号として第１の記憶手
段に格納するステップと、（ｃ）前記第１の記憶手段に
格納された画像信号を次フレームの復号処理での参照画
像として読み出すステップと、（ｄ）前記画像オブジェ
クトの形状情報を符号化したデータである符号化形状デ
ータを復号して形状情報を生成するとともに、前記画像
オブジェクトの境界の位置を表す境界情報を生成し、第
２の記憶手段に格納するステップと、（ｅ）前記第２の
記憶手段に格納されている境界情報を、必要に応じて読
みだし、前記第１の記憶手段に格納されている画像信号
のうち、前記画像オブジェクト外部にあたる画素位置を
表すアドレスを算出し、前記第１の記憶手段に格納され
ている画像信号から前記アドレスに対応する画素値を計
算して代入するパディング処理を行うステップと、を含
む。
【００１９】
【発明の実施の形態】本発明の好ましい実施の形態につ
いて説明する。本発明の動画像符号化システムは、その
好ましい実施の形態において、図１を参照すると、矩形
形状を有する画像信号の一部であり任意の形状を持つ画
像オブジェクトに対して、矩形形状領域内のうち画像オ
ブジェクトの外部領域に適当な画素値を代入するパディ
ング処理を備えた動画像符号化システムであって、画像
オブジェクトを内部に有する入力画像信号を符号化する
入力画像符号化手段（１０３）と、入力画像符号化手段
（１０３）においてパディング処理の対象となる画像オ
ブジェクトを有する画像信号を格納し、必要に応じて入
力画像符号化手段に転送する第１の記憶手段（１０１）
と、矩形形状領域内において画像オブジェクトの形状を
表す形状情報を符号化し符号化形状データを生成すると
ともに、画像オブジェクトの境界の位置を表す境界情報
を生成する形状情報符号化手段（１０４）と、境界情報
を格納する第２の記憶手段（１０２）と、第２の記憶手
段（１０２）に格納されている境界情報を必要に応じて
読みだして、第１の記憶手段（１０１）に格納されてい
る画像信号のうち、画像オブジェクト外部にあたる画素
位置を表すアドレスを算出し、第１の記憶手段（１０
１）に格納されている画像信号から前記アドレスに対応
する画素値を計算して代入するパディング処理手段（１
０５）と、を備える。
【００２０】第１の記憶手段（１０１）に格納されパデ
ィング処理の対象となる画像オブジェクトを有する画像
信号が入力画像よりなる。
【００２１】第１の記憶手段（１０１）に格納されパデ
ィング処理の対象となる画像オブジェクトを有する画像
信号が、フレーム間予測における参照画像とされる。
【００２２】形状情報符号化手段（１０４）は、図２を
参照すると、形状情報を複数のブロックに分割するブロ
ック分割部（１０６）と、ブロック内の形状情報を参照
して、ブロックが前記画像オブジェクトの外部にある
か、内部にあるか、あるいは境界上にあるかを表すブロ
ック分類情報を生成するブロック判定部（１０７）と、
ブロック分類情報を参照し、ブロックが画像オブジェク
トの境界上にある場合にブロック内の形状情報を符号化
するブロック内形状情報符号化部（１０８）と、ブロッ
ク分類情報とブロック内符号化形状情報とを多重化して
符号化形状データを生成する多重化部（１０９）とを備
え、ブロック分類情報とブロック内形状情報とを境界情
報として第２の記憶手段（１０２）に転送するように構
成される。
【００２３】パディング処理手段（１０５）は、第２の
記憶手段（１０２）に格納されたブロック分類情報を参
照して、ブロックが画像オブジェクトの境界上にある場
合にのみ第２の記憶手段に格納されたブロック内形状情
報を参照し、ブロック分類情報とブロック内形状情報と
から画像オブジェクト外部にあたる画素位置を表すアド
レスを計算するアドレス算出部（図３の１１０）と、第
１の記憶手段に格納されている画像信号を参照して、前
記アドレスに対応する画素値であるパディング値を算出
し前記アドレスにパディング値の代入処理を行うパディ
ング値代入部（図３の１１１）とを備える。
【００２４】本発明の動画像復号システムは、その好ま
しい実施の形態において、図９を参照すると、矩形形状
を有する画像信号の一部であり任意の形状を持つ画像オ
ブジェクトに対して、矩形形状領域内のうち画像オブジ
ェクトの外部領域に適当な画素値を代入するパディング
処理を備えた動画像復号システムであって、参照画像を
参照し、任意形状を持つ画像オブジェクトを内部に有す
る符号化された画像データを復号して、画像信号を生成
する画像復号手段（１１２）と、復号した画像信号をパ
ディング処理の対象となる画像信号として格納し、画像
復号手段において次フレームの復号処理での参照画像と
して供給する第１の記憶手段（１０１）と、画像オブジ
ェクトの形状情報を符号化したデータである符号化形状
データを復号して形状情報を生成するとともに、画像オ
ブジェクトの境界の位置を表す境界情報を生成する形状
情報復号手段（１１３）と、境界情報を格納する第２の
記憶手段（１０２）と、第２の記憶手段に格納されてい
る境界情報を必要に応じて読みだして、第１の記憶手段
に格納されている画像信号のうち画像オブジェクト外部
にあたる画素位置を表すアドレスを算出し、第１の記憶
手段（１０１）に格納されている画像信号から前記アド
レスに対応する画素値を計算して代入するパディング処
理手段（１０５）とを備える。
【００２５】本発明の動画像復号システムは、その好ま
しい実施の形態において、形状情報復号手段（１１３）
が、符号化形状データを逆多重化して矩形形状領域を分
割したブロックが画像オブジェクトの外部にあるか、内
部にあるか、あるいは境界上にあるかを表すブロック分
類情報と、画像オブジェクトの境界上にあるブロックの
ブロック内符号化形状情報とを生成する逆多重化部（図
１０の１１４）と、ブロック内符号化形状情報からブロ
ック内形状情報を復号するブロック内形状情報復号部
（図１０の１１５）と、ブロック分類情報とブロック内
形状情報とを参照して、画像オブジェクト全体の形状情
報を生成する形状情報統合部（図１０の１１６）とを備
え、ブロック分類情報とブロック内形状情報とを境界情
報として第２の記憶手段に転送するように構成される。
【００２６】またパディング処理手段が、第２の記憶手
段（１０２）に格納されたブロック分類情報を参照し
て、ブロックが前記画像オブジェクトの境界上にある場
合にのみ第２の記憶手段に格納されたブロック内形状情
報を参照し、ブロック分類情報とブロック内形状情報と
から画像オブジェクト外部にあたる画素位置を表すアド
レスを計算するアドレス算出部（図３の１１０）と、第
１の記憶手段に格納されている画像信号を参照して、前
記アドレスに対応する画素値であるパディング値を算出
し前記アドレスパディング値の代入処理を行うパディン
グ値代入部（ず３の１１１）とを備える。
【００２７】本発明の動画像符号化システムは、入力動
画像符号化手段（１０３）が、入力画像を符号化単位に
分解し、各符号化単位ごとに入力画像と参照画像との間
の動き量を検出し、その動き量を用いて動き補償を行な
うことにより予測画像を作成し、その予測画像と入力画
像との差分を符号化する手段を備え、パディング処理手
段が、前記パディング領域を前記動き量の検出範囲の内
部に限定する。
【００２８】本発明の動画像符号化システムは、画像復
号手段が、符号化単位ごとに動き量と差分画像を復号
し、前記動き量を用いて前記参照画像に動き補償を行う
ことで予測画像を作成し、前記差分画像と足し合わせる
ことで符号化された画像を再構成する手段を備え、パデ
ィング処理手段がパディング領域を、前記動ベクトルの
検出範囲の内部に限定する。
【００２９】本発明の動画像符号化システム、及び、本
発明の動画像復号システムの実施の形態において、パデ
ィング処理手段は、まず水平方向の画素列を処理単位と
して、前記パディング領域の同定処理を行い、前記画像
オブジェクトに含まれる画素を持つ水平方向への画素列
に対してパディング値代入処理を行った後、前記画像オ
ブジェクト外部の画素のうち前述の水平方向へのパディ
ング値代入処理によってパディング値を代入されなかっ
た画素に対して、垂直方向の画素列を処理単位としてパ
ディング値代入処理を行う。
【００３０】本発明の動画像符号化システム、及び、本
発明の動画像復号システムの実施の形態において、パデ
ィング処理手段において、隣接する複数の画素列へのパ
ディング値代入処理を、前記画素列と直交する方向に連
続するパディング値のコピーによって実現する。
【００３１】本発明の動画像符号化方法は、矩形形状を
有する画像信号の一部であり任意の形状を持つ画像オブ
ジェクトに対して、前記矩形形状領域内のうち前記画像
オブジェクトの外部領域に適当な画素値を代入するパデ
ィング処理を行う動画像符号化方法であって、（ａ）画
像オブジェクトを内部に有する入力画像信号を符号化
し、パディング処理の対象となる画像オブジェクトを有
する画像信号を第１の記憶手段に格納する処理、（ｂ）
前記矩形形状領域内において前記画像オブジェクトの形
状を表す形状情報を符号化し、符号化形状データを生成
するとともに、前記画像オブジェクトの境界の位置を表
す境界情報を生成第２の記憶手段に格納する処理、
（ｃ）前記第２の記憶手段に格納されている境界情報
を、必要に応じて読みだして、前記第１の記憶手段に格
納されている画像信号のうち、前記画像オブジェクト外
部にあたる画素位置を表すアドレスを算出し、前記第１
の記憶手段に格納されている画像信号から、前記アドレ
スに対応する画素値を計算し、代入するパディング処理
を行う処理、の上記（ａ）〜（ｃ）の各処理を含む。
【００３２】本発明の実施の形態において、上記（ａ）
〜（ｃ）の各処理は、動画像符号化装置を構成するコン
ピュータ上で実行されるプログラム制御で実現するよう
にしてもよく、この場合、上記プログラムを格納した記
憶媒体からプログラムをコンピュータ（コンピュータと
しては画像処理用のディジタル信号処理プロセッサであ
ってもよい）のメモリにロードして実行することで実施
され、本発明はこの記録媒体も含むものである。
【００３３】本発明の動画像復号方法は、矩形形状を有
する画像信号の一部であり任意の形状を持つ画像オブジ
ェクトに対して、前記矩形形状領域内のうち前記画像オ
ブジェクトの外部領域に適当な画素値を代入するパディ
ング処理を行う動画像復号方法であって、（ａ）参照画
像を参照し、任意形状を持つ画像オブジェクトを内部に
有する符号化された画像データを復号して、画像信号を
生成する処理、（ｂ）前記復号した画像信号をパディン
グ処理の対象となる画像信号として第１の記憶手段に格
納する処理、（ｃ）前記第１の記憶手段に格納された画
像信号を次フレームの復号処理での参照画像として読み
出す処理、（ｄ）前記画像オブジェクトの形状情報を符
号化したデータである符号化形状データを復号して形状
情報を生成するとともに、前記画像オブジェクトの境界
の位置を表す境界情報を生成し、第２の記憶手段に格納
する処理、（ｅ）前記第２の記憶手段に格納されている
境界情報を、必要に応じて読みだし、前記第１の記憶手
段に格納されている画像信号のうち、前記画像オブジェ
クト外部にあたる画素位置を表すアドレスを算出し、前
記第１の記憶手段に格納されている画像信号から前記ア
ドレスに対応する画素値を計算して代入するパディング
処理を行う処理、の上記（ａ）〜（ｅ）の各処理を含
む。
【００３４】本発明の実施の形態において、上記（ａ）
〜（ｅ）の各処理は、動画像復号装置を構成するコンピ
ュータ上で実行されるプログラム制御で実現するように
してもよく、この場合、上記プログラムを格納した記憶
媒体からプログラムをコンピュータ（コンピュータとし
ては画像処理用のディジタル信号処理プロセッサであっ
てもよい）のメモリにロードして実行することで実施さ
れ、本発明はこの記録媒体も含むものである。
【００３５】
【実施例】次に、本発明の実施例について図面を参照し
て詳細に説明する。
【００３６】図１は、本発明の一実施例の動画像符号化
システムの構成を示す図である。以下では、フレーム間
予測に用いる参照画像にパディング処理を行なう場合に
本発明を適用した例について説明するが、入力画像信号
にパディング処理を行なった後に動画像符号化処理を行
なう場合にも、本実施例と同様のパディング処理が適用
可能である。
【００３７】図１を参照すると、入力画像符号化手段１
０３は、入力画像信号１０００を符号化し符号化画像デ
ータ１０１０を生成する。また、現フレームの復号画像
を表す画像信号１００１を生成して第１の記憶手段１０
１に格納する。入力画像符号化手段１０３は、次フレー
ムを符号化する時に、この画像信号を参照画像１００９
として参照し、フレーム間予測を行なう。
【００３８】形状情報符号化手段１０４は、入力画像信
号１０００の内部にあるオブジェクトの形状情報１００
２を符号化して、符号化形状情報１００３を生成する。
それと同時に、符号化対象領域内において、オブジェク
トの境界の位置を表す境界情報１００４を第２の記憶手
段１０２に転送する。
【００３９】パディング処理手段１０５は、処理過程の
それぞれの段階で第２の記憶手段１０２内で参照する境
界情報を切替えるためアドレス１００５を指定し、それ
に対応する境界情報１００６を受け取る。そして、境界
情報１００６を参照して、第１の記憶手段１０１に格納
されている画像信号のうち、オブジェクトの外部に相当
する領域を同定し、該当領域に代入する画素値であるパ
ディング値を算出して、第１の記憶手段１０１の中の該
当領域に代入する。
【００４０】パディング処理手段１０５は、パディング
値の算出処理において参照する画素の位置や、代入処理
対象となる画素の位置を表すアドレス１００７を第１の
記憶手段１０１に送り、画素値１００８を読み書きす
る。
【００４１】図２は、図１の形状情報符号化手段１０４
において、ＩＳＯ／ＩＥＣ １４４９６−２ ＭＰＥＧ
−４で定められている符号化形状情報を出力する構成の
一例を示す図である。
【００４２】図２を参照すると、ブロック分割部１０６
は、符号化対象領域を分割した複数のブロックに対し、
形状情報１００２を各々のブロック内部の形状情報１０
１１に分割していき、ブロック判定部１０７に送る。
【００４３】ブロック判定部１０７は、ブロック内部の
形状情報１０１１から、そのブロックがオブジェクト内
部にあるか、オブジェクト外部にあるか、あるいはオブ
ジェクト境界上にあるかを表すブロック分類情報１０１
２を生成する。
【００４４】ブロック内形状情報符号化部１０８は、ブ
ロック分類情報１０１２を参照して、ブロックが境界上
にある場合に該当するブロック内形状情報１０１１を符
号化し、ブロック内の符号化形状情報１０１３を生成す
る。
【００４５】多重化部１０９は、ブロック分類情報１０
１２とブロック内符号化形状情報１０１３とを多重化し
て符号化形状情報１００３とする。
【００４６】符号化対象領域を、幅Ｗ、高さＨの長方
形、分割するブロックを一辺Ｂの正方形とすると、ブロ
ック分類情報は、図１１に示すように、幅Ｗ／Ｂ， 高
さＨ／Ｂの行列として表される。
【００４７】図１１において、黒色（図ではブロック右
上端から左下端方向のハッチングを施した部分で表わ
す）、白色、および灰色（図ではブロック左上端から右
下端方向へのハッチングを施した部分で表わす）の各ブ
ロックはそれぞれ、オブジェクト外部にある、オブジェ
クト内部にある、オブジェクトの境界上にあることを表
す。
【００４８】形状情報符号化手段１０３は、ブロック分
類情報１０１２およびブロック内形状情報１０１１を境
界情報１００４として、記憶手段１０２に転送する。
【００４９】図３は、本発明の一実施例におけるパディ
ング処理手段１０５の構成の一例を示す図である。図３
を参照すると、パディング処理手段１０５は、アドレス
算出部１１０、パディング代入部１１１を備えて構成さ
れる。
【００５０】図４は、本発明の一実施例におけるパディ
ング処理手段１０５における処理の流れを示す流れ図で
ある。図１、図３及び図４を参照してパディング処理手
段１０５の動作について説明する。
【００５１】アドレス算出部１１０は、第２の記憶手段
１０２に格納されているブロック分類情報１００６を左
上端を開始位置として（ステップ２０１）、ブロック分
類情報を探索する。
【００５２】ブロックがオブジェクトの境界上にある場
合（ステップ２０２）、対応するブロック内形状情報１
００６を読み出し、パディング処理の対象となるパディ
ング領域を同定する（ステップ２０３）。そして、水平
方向への画素列のパディング処理を行う（ステップ２０
４）。
【００５３】ステップ２０２〜２０４の処理をブロック
分類情報の探索が終わるまで続ける（ステップ２０
５）。
【００５４】その後、符号化対象領域の左端を開始位置
にして（ステップ２０６）、垂直方向の画素列に対して
パディング値代入処理を行う（ステップ２０７）。
【００５５】パディング値代入位置を更新し（ステップ
２０８）、垂直方向へのパディング処理は、対象となる
画素列が符号化対象領域の右端に達する、ステップ２０
７、２０８の処理を繰り返す（ステップ２０９）。
【００５６】以下、パディング処理をその順序に従って
説明する。
【００５７】図５は、図４におけるパディング領域同定
処理（ステップ２０２）の詳細を示す流れ図である。図
５において、Ｙは境界上にあるブロックの左上端点のｙ
座標、Ｙ′は直前に参照したブロックの左上端点のｙ座
標を表す。図１２は、符号化対象領域内の座標を示す図
である。符号化対象領域の左上端点を原点として、水平
方向をｘ軸、垂直方向をｙ軸とする。
【００５８】アドレス算出部１１０は、同定したパディ
ング領域の左端点を記憶するため、Ｂ個のレジスタ、レ
ジスタ０からレジスタＢ−１を持ち、それぞれに画素座
標を格納する。ここで、（ｘｉ，ｙｉ）は、レジスタｉ
に格納されている座標を表す。また、垂直方向へのパデ
ィング処理の対象となるパディング領域を表すｙ座標を
記憶するメモリを内蔵する。
【００５９】アドレス算出部１１０はまず、ブロック分
類情報１００６を参照してＹを決定し、Ｙ′と比較する
（ステップ２１０）。
【００６０】ＹとＹ′が等しい場合、該当ブロックに対
応するブロック内形状情報１００６を画素毎に探索し、
パディング領域右端およびパディング領域左端の座標を
同定する。それ自身がオブジェクト外部にあり右隣の画
素がオブジェクト内部にある画素をパディング領域の右
端、それ自身がオブジェクト外部にあり左隣の画素がオ
ブジェクト内部にある画素をパディング領域の左端とす
る。
【００６１】座標（ｘ，ｙ）が左端点である場合（ステ
ップ２１２のＹＥＳ）、座標（ｘ，ｙ）を対応するレジ
スタｙ−Ｙに格納する（ステップ２１２）。
【００６２】座標（ｘ，ｙ）が右端点である場合、レジ
スタｙ−Ｙに対応する左端点の格納されているか否かを
判定する（ステップ２１３）。
【００６３】レジスタｙ−Ｙに座標が格納されているな
らば、（ｘｉ，ｙｉ）から（ｘ，ｙ）までをパディング
領域として、記憶手段１０１に格納されている画像信号
において対応するアドレス１０１４を算出してパディン
グ値代入部１１１に転送する（ステップ２１４）。
【００６４】この時，ステップ２４３よりｙｉ＝ｙであ
る。その後、レジスタｙ−Ｙをリセットする（ステップ
２１５）。
【００６５】また、レジスタｙ−Ｙに座標が格納されて
いなければ、符号化対象領域の左端の座標（０，ｙ）か
ら（ｘ，ｙ）までをパディング領域として、アドレス１
０１４を算出しパディング値代入部１１１に転送する
（ステップ２１６）。
【００６６】一方ステップ２１０においてＹがＹ′より
も大きい場合には、ステップ２１１の前に，各レジスタ
の内部に座標が格納されているか否かを判定する（ステ
ップ２１８）。
【００６７】レジスタｉに座標が格納されている場合に
は（ステップ２１８のＮＯ）、（ｘｉ，ｙｉ）から符号
化対象領域の右端の座標（Ｗ，ｙｉ）までをパディング
領域としてアドレス１０１４を算出しパディング値代入
部１１１に転送した後（ステップ２１９）、レジスタｉ
をリセットする（ステップ２２０）。
【００６８】一方、レジスタｉに座標が格納されていな
い場合、ｙ座標がＹ′＋ｉである画素列にはオブジェク
トの内部にあたる画素が存在しないことを表す。
【００６９】アドレス算出部１１０は、ｙ座標Ｙ′＋ｉ
を垂直方向へのパディング領域として内部メモリに記憶
する（ステップ２２１）。
【００７０】以上の処理をレジスタ０より（ステップ２
１７）、レジスタＢ−１まで行う（ステップ２２２，２
２３）。
【００７１】その後、アドレス算出部１１０では、Ｙが
Ｙ′＋Ｂよりも大きいか否かを判定する（ステップ２２
４）。もし、ＹがＹ′＋Ｂよりも大きい場合には、直前
にパディング領域同定処理を行ったブロックの下端から
現在パディング領域同定処理を行っているブロックの上
端までの間に、オブジェクトを含まない画素列が連続し
て存在することになる。アドレス算出部１１０は、ｙ座
標Ｙ′＋Ｂ＋１からＹ−１までを垂直方向へのパディン
グ領域としてそのｙ座標を内部メモリに記憶する（ステ
ップ２２５）。
【００７２】図６は、図４における水平方向へのパディ
ング値代入処理（ステップ２０３）の詳細を示す流れ図
である。図６におけるパディング値代入処理は、ＩＳＯ
／ＩＥＣ１４４９６−２ ＭＰＥＧ−４に記述されてい
る手段であるが、本発明は他のパディング値代入処理に
ついても適用可能である。
【００７３】パディング値代入部１１２は、パディング
領域の左端点が符号化対象領域の左端点である場合、パ
ディング領域右端の右となりの画素値１００８をパディ
ング値として、第１の記憶手段１０１に格納されている
画素信号の対応する位置に代入する（ステップ２３
３）。
【００７４】また、パディング領域の右端点が符号化対
象領域の右端点である場合、パディング領域左端の左隣
の画素値１００８をパディング値として、記憶手段１０
１に格納されている画素信号の対応する位置に代入する
（ステップ２３５）。
【００７５】一方、パディング領域の両端点ともに符号
化対象領域の端点でない場合、パディング領域右端の右
隣の画素値１００８と、パディング領域左端の左となり
の画素値１００８との平均をパディング値として、第１
の記憶手段１０１に格納されている画素信号の対応する
位置に代入する（ステップ２３４）。
【００７６】図１３に示す例に即して、水平方向の画素
列における、探索区間とパディング領域およびパディン
グ値を説明する。
【００７７】図１３における折れ線４１は、オブジェク
トの境界を表す。また、図１３において、横方向に並ぶ
ブロックはブロック分類情報を表し、色付きの（図では
ハッチングを施してある）ブロックはオブジェクト境界
上にあるブロックである。点４００と４０９は、画素列
のうち符号化対象領域内の左右両端を表す。ここでは、
画素４００から画素４０９までの画素列のパディング処
理を説明する。この画素列のうち探索対象となるのは、
境界ブロックの内部にある領域すなわち画素４０１から
画素４０４までの区間と、画素４０５から画素４０８ま
での区間である。パディング領域の端点となる画素４０
２、画素４０３、画素４０６、画素４０７は前述の探索
処理によって同定される。画素４００から画素４０２ま
でのパディング領域、画素４０３から画素４０６までの
パディング領域、画素４０７から画素４０９までのパデ
ィング領域のそれぞれに代入されるパディング値は、画
素４０２の画素値、画素４０３と画素４０６の画素値の
平均および、画素４０７の画素値である。
【００７８】再び図４を参照すると、パディング領域同
定処理と水平方向へのパディング値代入処理が終わった
後、アドレス算出部１１０は、符号化対象領域の左端を
垂直方向へのパディング処理の開始位置と定める（ステ
ップ２０６）。
【００７９】そして、垂直方向への画素列を処理単位と
して、パディング済みの隣接画素の値を順次代入するパ
ディング値代入処理を行なう（ステップ２０７）。
【００８０】垂直方向への各画素列に対するパディング
処理は、図６に示す水平方向へのパディング値代入処理
と、方向が違う以外は同じ処理を行なうので、説明を省
略する。
【００８１】本実施例では、形状情報符号化手段１０４
として、符号化形状情報がブロック分類情報とブロック
内符号化形状情報とからなる場合を例に説明したが、簡
単な幾何図形によってオブジェクトの概形を表現するな
ど、オブジェクトの概形を利用した他の形状情報符号化
方式に対しても、本発明を適用することができることは
勿論である。
【００８２】また、形状情報符号化において概形の情報
を用いない場合、形状情報符号化手段１０４が形状の符
号化と同時に、オブジェクトの境界上にあるブロックの
位置を同定する手段を新たに備え、同定した境界情報１
００４を記憶手段１０２に転送することでも、本発明は
実施可能である。
【００８３】また、上記した実施例では、符号化対象領
域のうちオブジェクトの外部すべてにパディング処理を
行う場合について説明したが、動き補償を備えたフレー
ム間予測符号化において、動ベクトルの検出範囲内にパ
ディング領域を限定した場合についても適用可能であ
る。この場合、もし同定したパディング領域が前記の検
出範囲を越える場合には、オブジェクトの境界から検出
範囲内にあるブロックにのみパディング値代入処理を行
えばよい。
【００８４】次に、本発明の第２の実施例について説明
する。本発明の第２の実施例は、図１を参照して説明し
た前記実施例と、その構成は同様とされており、パディ
ング処理手段１０５における処理が相違している。図７
は、本発明の第２の実施例におけるパディング処理手段
１０５の処理フローを示す流れ図である。
【００８５】図４に示した前記実施例の流れ図では、垂
直方向へのパディング値代入処理に水平方向へのものと
同じ構成のものを適用していたのに対して、本実施例で
は、水平方向とは異なるパディング処理を行なう（ステ
ップ２３８）。
【００８６】図８は、この垂直方向へのパディング値代
入処理の処理フローを示す流れ図である。
【００８７】パディング値代入部１１１は、アドレス算
出部から転送されたアドレス１０１４を参照して、垂直
方向へのパディング領域に画素列単位でのコピーを行な
うことでパディング値代入処理を行なう。
【００８８】パディング領域の上端が、符号化対象領域
の上端であった場合には、パディング領域内の画素列そ
れぞれにパディング領域下端の一つ下の画素列をコピー
する（ステップ２３３）。
【００８９】また、パディング領域の下端が、符号化対
象領域の下端であった場合には、パディング領域内の画
素列それぞれにパディング領域上端の一つ上の画素列を
コピーする（ステップ２３５）。
【００９０】パディング領域の両端ともに、符号化対象
領域の境界と異なる場合には、パディング上端の一つ上
の画素列とパディング下端の一つ下の画素列から、同じ
ｘ座標を持つ画素の平均をとることで新たに生成された
画素列を、パディング領域内の画素列にコピーする（ス
テップ２３４）。
【００９１】本発明の第２の実施例により、メモリ内に
連続して格納されている画素値をまとめて他のメモリ空
間にコピーすることができる。これにより、さらなる処
理の高速化が実現できる。
【００９２】図９は、本発明の動画像復号システムの一
実施例の構成を示す図である。図９を参照すると、この
動画像復号システムは、図１に示した動画像符号化シス
テムと比べて、入力画像符号化手段１０３と形状情報符
号化手段１０４がなく、代わりに画像復号手段１１２と
形状情報復号手段１１３を備える。
【００９３】図９を参照すると、画像復号手段１１２
は、符号化された画像信号１１００を復号し、出力画像
信号１１０２を生成する。ここで出力画像信号は、矩形
形状の外枠で表される符号化対象領域を持ち、その内部
に任意形状のオブジェクトを有する。
【００９４】また、画像復号手段１１２は、現フレーム
の出力画像信号を記憶手段１０１に格納する。そしてこ
の画像信号を次フレームを符号化する時に参照画像１０
０９としてフレーム間予測を行なう。
【００９５】形状情報復号手段１１３は、符号化形状デ
ータ１１０１をもとにオブジェクトの形状情報１１０３
を復号して出力するとともに、境界情報１００４を記憶
手段１０２に格納する。
【００９６】パディング処理手段１０５は、パディング
処理を行う処理単位ごとに第２の記憶手段１０２に読み
出し要求１００５を送り、境界情報１００６を受け取
る。
【００９７】そして前記境界情報１００６を参照して第
１の記憶手段１０１に格納されている画像信号のうちオ
ブジェクトの外部に相当する領域を表すアドレス１００
７を算出し、第１の記憶手段１０１に格納された画像信
号１００８を参照して該当領域に代入する画素値１００
８を算出して、第１の記憶手段１０１の中の該当領域に
代入する。
【００９８】パディング処理手段１０５における処理の
詳細は、前記実施例におけるパディング処理手段１０５
と同一であるため説明を省略する。
【００９９】図１０は、本発明の動画像復号システムの
一実施例における形状情報復号手段１１３の構成を示す
図である。
【０１００】図１０を参照すると、逆多重化部１１４
は、符号化形状データ１１０１をブロック分類情報１１
０６とブロック内符号化形状情報１１０４とに分割す
る。
【０１０１】ブロック内形状情報復号部１１５は、ブロ
ック内符号化形状情報１１０４を復号してブロック内形
状情報１１０５を生成する。
【０１０２】形状情報統合部１１６は、ブロック分類情
報１１０６とブロック内形状情報１１０５とを参照し
て、オブジェクト全体の形状情報１１０３を生成する。
【０１０３】そして、形状情報復号手段１１３は、ブロ
ック分類情報１１０６とブロック内形状情報１１０５と
を記憶手段１０２に転送する。
【０１０４】
【発明の効果】以上説明したように、本発明によれば、
パディング処理における画素の探索領域を限定し、演算
量を削減することができ、高速処理を実現する、という
効果を奏する。
【０１０５】その理由は、本発明においては、形状情報
の符号化によって得られた探索区間情報を用いて、オブ
ジェクトの境界が存在しないブロックの探索を省略した
ためである。
【０１０６】上記したように従来のパディング処理で
は、符号化対象領域内の全ての画素に対して２回ずつ探
索を行なう必要があったのに対して、本発明では、探索
される必要のある画素は、オブジェクトの境界上にある
ブロック内、すなわち、例えば図１１における左上端か
ら右下端方向へのバッチングを施したブロックからなる
領域のみである。
【０１０７】画素の探索を削減するために必要な処理の
うち、オブジェクト概形情報は形状情報符号化によって
得られるため新たに演算量を必要とせず、概形情報の探
索は、符号か対象領域内の画素の探索に比べて必要とす
る演算量が遥かに少ないため、本発明によって顕著な演
算量の削減が得られる。
【図面の簡単な説明】
【図１】本発明の動画像符号化システムの第１の実施例
の構成を示す図である。
【図２】本発明の第１の実施例における形状情報符号化
手段の構成を示す図である。
【図３】本発明の第１の実施例におけるパディング処理
手段の構成を示す図である。
【図４】本発明の第１の実施例におけるパディング処理
手段の処理フローを示す流れ図である。
【図５】図４におけるステップ２０２（パディング領域
同定処理）の処理フローの詳細を示す流れ図である。
【図６】図４におけるステップ２０３（パディング値代
入処理）の処理フローの詳細を示す流れ図である。
【図７】本発明の第２の実施例におけるパディング処理
手段の処理フローを示すフロー図である。
【図８】図７におけるステップ２３８の処理フローの詳
細を示す流れ図である。
【図９】本発明の動画像復号システムの一実施例の構成
を示す図である。
【図１０】本発明の動画像復号システムの一実施例にお
ける形状情報符号化手段の構成を示す図である。
【図１１】ブロック分類情報の一例を示す図である。
【図１２】符号化対象領域内の座標系を示す図である。
【図１３】水平方向の画素列における探索区間とパディ
ング領域の一例を示す図である。
【図１４】パディング処理を含む従来の動画像符号化シ
ステムの構成を示す図である。
【図１５】画像オブジェクトと、対応するパディング領
域の一例を示す図である。
【符号の説明】
４０ 符号化対象領域 ４１ 画像オブジェクト ４２ 水平方向へのパディング処理対象領域 ４３ 垂直方向へのパディング処理対象領域 １０１、１０２ 記憶手段 １０３ 入力が像符号化手段 １０４ 形状情報符号化手段 １０５ パディング処理手段 １０６ ブロック分割部 １０７ ブロック判定部 １０８ ブロック内形状情報符号化部 １０９ 多重化部 １１０ アドレス算出部 １１１ パディング値代入部 １１２ 画像復号手段 １１３ 形状情報復号手段 １１４ 逆多重化部 １１５ ブロック内形状情報復号部 １１６ 形状情報統合部 １０００ 入力画像 １００１、１００８、１００９ 画像信号 １００２、１１０３ 形状情報 １００３、１１０１ 符号化形状データ １００４、１００６ 境界情報 １００５、１００７ アドレス １０１０、１１００ 符号化画像データ １０１１、１１０５ ブロック内形状情報 １０１２、１１０６ ブロック分類情報 １０１３、１１０４ ブロック内符号化形状情報 １１０２ 出力画像 ４００、４０１、４０２、４０３、４０４、４０５、４
０６、４０７、４０８、４０９ 画素

Claims (24)

    【特許請求の範囲】
  1. 【請求項１】矩形形状を有する画像信号の一部であり任
    意の形状を持つ画像オブジェクトに対して、前記矩形形
    状領域内のうち前記画像オブジェクトの外部領域に適当
    な画素値を代入するパディング処理を備えた動画像符号
    化システムであって、 画像オブジェクトを内部に有する入力画像信号を符号化
    する入力画像符号化手段と、 前記入力画像符号化手段においてパディング処理の対象
    となる画像オブジェクトを有する画像信号を格納し、必
    要に応じて、前記入力画像符号化手段に転送する第１の
    記憶手段と、 前記矩形形状領域内において前記画像オブジェクトの形
    状を表す形状情報を符号化し符号化形状データを生成す
    るとともに、前記画像オブジェクトの境界の位置を表す
    境界情報を生成する形状情報符号化手段と、 前記境界情報を格納する第２の記憶手段と、 前記第２の記憶手段に格納されている境界情報を、必要
    に応じて読み出して、前記第１の記憶手段に格納されて
    いる画像信号のうち、前記画像オブジェクト外部にあた
    る画素位置を表すアドレスを算出し、前記第１の記憶手
    段に格納されている画像信号から、前記アドレスに対応
    する画素値を算出して、代入する処理を行うパディング
    処理手段と、 を含むことを特徴とする動画像符号化システム。
  2. 【請求項２】前記第１の記憶手段に格納され、前記パデ
    ィング処理の対象となる画像オブジェクトを有する画像
    信号が、入力画像である、ことを特徴とする請求項１に
    記載の動画像符号化システム。
  3. 【請求項３】前記第１の記憶手段に格納され、前記パデ
    ィング処理の対象となる画像オブジェクトを有する画像
    信号が、フレーム間予測における参照画像である、こと
    を特徴とする請求項１に記載の動画像符号化システム。
  4. 【請求項４】前記形状情報符号化手段が、前記形状情報
    を複数のブロックに分割するブロック分割部と、 前記ブロック内の形状情報を参照して、前記ブロックが
    前記画像オブジェクトの外部にあるか、内部にあるか、
    あるいは境界上にあるかを表すブロック分類情報を生成
    するブロック判定部と、 前記ブロック分類情報を参照し、ブロックが前記画像オ
    ブジェクトの境界上にある場合に前記ブロック内の形状
    情報を符号化するブロック内形状情報符号化部と、 前記ブロック分類情報と前記ブロック内符号化形状情報
    とを多重化して前記符号化形状データを生成する多重化
    部と、 を含み、 前記ブロック分類情報と前記ブロック内形状情報とを前
    記境界情報として前記第２の記憶手段に転送する、こと
    を特徴とする請求項１に記載の動画像符号化システム。
  5. 【請求項５】前記パディング処理手段が、前記第２の記
    憶手段に格納されたブロック分類情報を参照して、ブロ
    ックが前記画像オブジェクトの境界上にある場合にの
    み、前記第２の記憶手段に格納されたブロック内形状情
    報を参照し、前記ブロック分類情報と前記ブロック内形
    状情報とから前記アドレスを計算するアドレス算出部
    と、 前記第１の記憶手段に格納されている画像信号を参照し
    て、前記アドレスに対応する画素値であるパディング値
    を算出し、前記アドレスに前記パディング値の代入処理
    を行うパディング値代入部と、 を含むことを特徴とする請求項１に記載の動画像符号化
    システム。
  6. 【請求項６】矩形形状を有する画像信号の一部であり任
    意の形状を持つ画像オブジェクトに対して、前記矩形形
    状領域内のうち前記画像オブジェクトの外部領域に適当
    な画素値を代入するパディング処理を備えた動画像復号
    システムであって、 参照画像を参照し、任意形状を持つ画像オブジェクトを
    内部に有する符号化された画像データを復号して、画像
    信号を生成する画像復号手段と、 前記復号した画像信号をパディング処理の対象となる画
    像信号として格納し、前記画像復号手段において次フレ
    ームの復号処理での参照画像として供給する第１の記憶
    手段と、 前記画像オブジェクトの形状情報を符号化したデータで
    ある符号化形状データを復号して形状情報を生成すると
    ともに、前記画像オブジェクトの境界の位置を表す境界
    情報を生成する形状情報復号手段と、 前記境界情報を格納する第２の記憶手段と、 前記第２の記憶手段に格納されている境界情報を、必要
    に応じて読み出し、前記第１の記憶手段に格納されてい
    る画像信号のうち、前記画像オブジェクト外部にあたる
    画素位置を表すアドレスを算出し、前記第１の記憶手段
    に格納されている画像信号から前記アドレスに対応する
    画素値を計算して代入するパディング処理手段と、 を含むことを特徴とする動画像復号システム。
  7. 【請求項７】前記形状情報復号手段が、 前記符号化形状データを逆多重化して前記矩形形状領域
    を分割したブロックが前記画像オブジェクトの外部にあ
    るか、内部にあるか、あるいは境界上にあるかを表すブ
    ロック分類情報と、前記画像オブジェクトの境界上にあ
    るブロックのブロック内符号化形状情報とを生成する逆
    多重化部と、 前記ブロック内符号化形状情報からブロック内形状情報
    を復号するブロック内形状情報復号部と、 前記ブロック分類情報と前記ブロック内形状情報とを参
    照して、前記画像オブジェクト全体の形状情報を生成す
    る形状情報統合部と、 を含み、 前記ブロック分類情報と前記ブロック内形状情報とを前
    記境界情報として前記第２の記憶手段に転送する、こと
    を特徴とする請求項６に記載の動画像復号システム。
  8. 【請求項８】前記パディング処理手段が、前記第２の記
    憶手段に格納されたブロック分類情報を参照して、ブロ
    ックが前記画像オブジェクトの境界上にある場合にの
    み、前記第２の記憶手段に格納されたブロック内形状情
    報を参照し、前記ブロック分類情報と前記ブロック内形
    状情報とから前記アドレスを計算するアドレス算出部
    と、 前記第１の記憶手段に格納されている画像信号を参照し
    て、前記アドレスに対応する画素値であるパディング値
    を算出し前記アドレス前記パディング値の代入処理を行
    うパディング値代入部と、 を含むことを特徴とする請求項７に記載の動画像復号シ
    ステム。
  9. 【請求項９】前記入力動画像符号化手段が、入力画像を
    符号化単位に分解し、各符号化単位ごとに入力画像と参
    照画像との間の動き量を検出し、前記動き量を用いて動
    き補償を行なうことにより予測画像を作成し、前記予測
    画像と前記入力画像との差分を符号化する手段を含み、 前記パディング処理手段が、前記パディング領域を前記
    動き量の検出範囲の内部に限定する、ことを特徴とする
    請求項１に記載の動画像符号化システム。
  10. 【請求項１０】前記画像復号手段が、符号化単位毎に動
    き量と差分画像を復号し、前記動き量を用いて前記参照
    画像に動き補償を行うことで予測画像を作成し、これに
    前記差分画像と足し合わせることで符号化された画像を
    再構成する手段を含み、 前記パディング処理手段が、パディング領域を前記動ベ
    クトルの検出範囲の内部に限定する、ことを特徴とする
    請求項６に記載の動画像復号システム。
  11. 【請求項１１】前記パディング処理手段が、水平方向の
    画素列を処理単位として、前記パディング領域の同定処
    理を行い、前記画像オブジェクトに含まれる画素を持つ
    水平方向への画素列に対してパディング値代入処理を行
    った後、前記画像オブジェクト外部の画素のうち前述の
    水平方向へのパディング値代入処理によってパディング
    値を代入されなかった画素に対して、垂直方向の画素列
    を処理単位としてパディング値代入処理を行う、ことを
    特徴とする請求項１記載の動画像符号化システム。
  12. 【請求項１２】前記パディング処理手段が、水平方向の
    画素列を処理単位として、前記パディング領域の同定処
    理を行い、前記画像オブジェクトに含まれる画素を持つ
    水平方向への画素列に対してパディング値代入処理を行
    った後、前記画像オブジェクト外部の画素のうち前述の
    水平方向へのパディング値代入処理によってパディング
    値を代入されなかった画素に対して、垂直方向の画素列
    を処理単位としてパディング値代入処理を行うことを特
    徴とする請求項６記載の動画像復号システム。
  13. 【請求項１３】前記パディング処理手段において、隣接
    する複数の画素列へのパディング値代入処理を、前記画
    素列と直交する方向に連続する、パディング値のコピー
    によって実現する、ことを特徴とする請求項１１に記載
    の動画像符号化システム。
  14. 【請求項１４】前記パディング処理手段において、隣接
    する複数の画素列へのパディング値代入処理を、前記画
    素列と直交する方向に連続するパディング値のコピーに
    よって実現することを特徴とする請求項１２に記載の動
    画像復号システム。
  15. 【請求項１５】矩形形状を有する画像信号の一部であり
    任意の形状を持つ画像オブジェクトに対して、前記矩形
    形状領域内のうち前記画像オブジェクトの外部領域に適
    当な画素値を代入するパディング処理を行う動画像符号
    化方法であって、 （ａ）画像オブジェクトを内部に有する入力画像信号を
    符号化し、パディング処理の対象となる画像オブジェク
    トを有する画像信号を第１の記憶手段に格納するステッ
    プと、 （ｂ）前記矩形形状領域内において前記画像オブジェク
    トの形状を表す形状情報を符号化し、符号化形状データ
    を生成するとともに、前記画像オブジェクトの境界の位
    置を表す境界情報を生成第２の記憶手段に格納するステ
    ップと、 （ｃ）前記第２の記憶手段に格納されている境界情報
    を、必要に応じて読み出して、前記第１の記憶手段に格
    納されている画像信号のうち、前記画像オブジェクト外
    部にあたる画素位置を表すアドレスを算出し、前記第１
    の記憶手段に格納されている画像信号から、前記アドレ
    スに対応する画素値を算出して、代入するパディング処
    理を行うステップと、 を含むことを特徴とする動画像符号化方法。
  16. 【請求項１６】前記ステップ（ｂ）が、 （ｂ−１）前記形状情報を複数のブロックに分割するス
    テップと、 （ｂ−２）前記ブロック内の形状情報を参照して、前記
    ブロックが前記画像オブジェクトの外部にあるか、内部
    にあるか、あるいは境界上にあるかを表すブロック分類
    情報を生成するステップと、 （ｂ−３）前記ブロック分類情報を参照し、ブロックが
    前記画像オブジェクトの境界上にある場合に前記ブロッ
    ク内の形状情報を符号化するステップと、 （ｂ−４）前記ブロック分類情報と前記ブロック内符号
    化形状情報とを多重化して前記符号化形状データを生成
    するステップと、 を含み、 前記ブロック分類情報と前記ブロック内形状情報とを前
    記境界情報として前記第２の記憶手段に転送する、こと
    を特徴とする請求項１５記載の動画像符号化方法。
  17. 【請求項１７】前記ステップ（ｃ）が、 （ｃ−１）前記第２の記憶手段に格納されたブロック分
    類情報を参照して、ブロックが前記画像オブジェクトの
    境界上にある場合にのみ、前記第２の記憶手段に格納さ
    れたブロック内形状情報を参照し、前記ブロック分類情
    報と前記ブロック内形状情報とから前記アドレスを計算
    するステップと、 （ｃ−２）前記第１の記憶手段に格納されている画像信
    号を参照して、前記アドレスに対応する画素値であるパ
    ディング値を算出し、前記アドレスに前記パディング値
    の代入処理を行うステップと、 を含むことを特徴とする請求項１５記載の動画像符号方
    法。
  18. 【請求項１８】前記ステップ（ｃ）において、水平方向
    の画素列を処理単位として、前記パディング領域の同定
    処理を行い、前記画像オブジェクトに含まれる画素を持
    つ水平方向への画素列に対してパディング値代入処理を
    行った後、前記画像オブジェクト外部の画素のうち前述
    の水平方向へのパディング値代入処理によってパディン
    グ値を代入されなかった画素に対して、垂直方向の画素
    列を処理単位としてパディング値代入処理を行う、こと
    を特徴とする請求項１５記載の動画像符号化方法。
  19. 【請求項１９】矩形形状を有する画像信号の一部であり
    任意の形状を持つ画像オブジェクトに対して、前記矩形
    形状領域内のうち前記画像オブジェクトの外部領域に適
    当な画素値を代入するパディング処理を行う動画像復号
    方法であって、 （ａ）参照画像を参照し、任意形状を持つ画像オブジェ
    クトを内部に有する符号化された画像データを復号し
    て、画像信号を生成するステップと、 （ｂ）前記復号した画像信号をパディング処理の対象と
    なる画像信号として第１の記憶手段に格納するステップ
    と、 （ｃ）前記第１の記憶手段に格納された画像信号を次フ
    レームの復号処理での参照画像として読み出すステップ
    と、 （ｄ）前記画像オブジェクトの形状情報を符号化したデ
    ータである符号化形状データを復号して形状情報を生成
    するとともに、前記画像オブジェクトの境界の位置を表
    す境界情報を生成し、第２の記憶手段に格納するステッ
    プと、 （ｅ）前記第２の記憶手段に格納されている境界情報
    を、必要に応じて読みだし、前記第１の記憶手段に格納
    されている画像信号のうち、前記画像オブジェクト外部
    にあたる画素位置を表すアドレスを算出し、前記第１の
    記憶手段に格納されている画像信号から前記アドレスに
    対応する画素値を計算して代入するパディング処理を行
    うステップと、 を含むことを特徴とする動画像復号方法。
  20. 【請求項２０】前記ステップ（ｄ）が、 （ｄ−１）前記符号化形状データを逆多重化して前記矩
    形形状領域を分割したブロックが前記画像オブジェクト
    の外部にあるか、内部にあるか、あるいは境界上にある
    かを表すブロック分類情報と、前記画像オブジェクトの
    境界上にあるブロックのブロック内符号化形状情報とを
    生成するステップと、 （ｄ−２）前記ブロック内符号化形状情報からブロック
    内形状情報を復号するステップと、 （ｄ−３）前記ブロック分類情報と前記ブロック内形状
    情報とを参照して、前記画像オブジェクト全体の形状情
    報を生成するステップと、 を含み、 前記ブロック分類情報と前記ブロック内形状情報とを前
    記境界情報として前記第２の記憶手段に転送する、こと
    を特徴とする請求項１９記載の動画像復号方法。
  21. 【請求項２１】前記ステップ（ｅ）が、 （ｅ−１）前記第２の記憶手段に格納されたブロック分
    類情報を参照して、ブロックが前記画像オブジェクトの
    境界上にある場合にのみ、前記第２の記憶手段に格納さ
    れたブロック内形状情報を参照し、前記ブロック分類情
    報と前記ブロック内形状情報とから前記アドレスを計算
    するステップと、 （ｅ−２）前記第１の記憶手段に格納されている画像信
    号を参照して、前記アドレスに対応する画素値であるパ
    ディング値を算出し前記アドレス前記パディング値の代
    入処理を行うステップと、 を含むことを特徴とする請求項１９記載の動画像復号方
    法。
  22. 【請求項２２】前記ステップ（ｅ）において、水平方向
    の画素列を処理単位として、前記パディング領域の同定
    処理を行い、前記画像オブジェクトに含まれる画素を持
    つ水平方向への画素列に対してパディング値代入処理を
    行った後、前記画像オブジェクト外部の画素のうち前述
    の水平方向へのパディング値代入処理によってパディン
    グ値を代入されなかった画素に対して、垂直方向の画素
    列を処理単位としてパディング値代入処理を行うことを
    特徴とする請求項１９記載の動画像符号化方法。
  23. 【請求項２３】矩形形状を有する画像信号の一部であり
    任意の形状を持つ画像オブジェクトに対して、前記矩形
    形状領域内のうち前記画像オブジェクトの外部領域に適
    当な画素値を代入するパディング処理を行う動画像符号
    化装置であって、 （ａ）画像オブジェクトを内部に有する入力画像信号を
    符号化し、パディング処理の対象となる画像オブジェク
    トを有する画像信号を第１の記憶手段に格納する処理、 （ｂ）前記矩形形状領域内において前記画像オブジェク
    トの形状を表す形状情報を符号化し、符号化形状データ
    を生成するとともに、前記画像オブジェクトの境界の位
    置を表す境界情報を生成第２の記憶手段に格納する処
    理、及び、 （ｃ）前記第２の記憶手段に格納されている境界情報
    を、必要に応じて読みだして、前記第１の記憶手段に格
    納されている画像信号のうち、前記画像オブジェクト外
    部にあたる画素位置を表すアドレスを算出し、前記第１
    の記憶手段に格納されている画像信号から、前記アドレ
    スに対応する画素値を計算し、代入するパディング処理
    を行う処理、 の上記（ａ）〜（ｃ）の各処理を動画像符号化装置を構
    成するコンピュータ上で実行させるためのプログラムを
    記録した記録媒体。
  24. 【請求項２４】矩形形状を有する画像信号の一部であり
    任意の形状を持つ画像オブジェクトに対して、前記矩形
    形状領域内のうち前記画像オブジェクトの外部領域に適
    当な画素値を代入するパディング処理を行う動画像復号
    装置であって、 （ａ）参照画像を参照し、任意形状を持つ画像オブジェ
    クトを内部に有する符号化された画像データを復号し
    て、画像信号を生成する処理、 （ｂ）前記復号した画像信号をパディング処理の対象と
    なる画像信号として第１の記憶手段に格納する処理、 （ｃ）前記第１の記憶手段に格納された画像信号を次フ
    レームの復号処理での参照画像として読み出す処理、 （ｄ）前記画像オブジェクトの形状情報を符号化したデ
    ータである符号化形状データを復号して形状情報を生成
    するとともに、前記画像オブジェクトの境界の位置を表
    す境界情報を生成し、第２の記憶手段に格納する処理、
    及び、 （ｅ）前記第２の記憶手段に格納されている境界情報
    を、必要に応じて読みだし、前記第１の記憶手段に格納
    されている画像信号のうち、前記画像オブジェクト外部
    にあたる画素位置を表すアドレスを算出し、前記第１の
    記憶手段に格納されている画像信号から前記アドレスに
    対応する画素値を計算して代入するパディング処理を行
    う処理、 の上記（ａ）〜（ｅ）の各処理を動画像符号化装置を構
    成するコンピュータ上で実行させるためのプログラムを
    記録した記録媒体。
JP23516598A 1998-08-21 1998-08-21 動画像符号化方法とシステム及び動画像復号方法とシステム Withdrawn JP2000069469A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23516598A JP2000069469A (ja) 1998-08-21 1998-08-21 動画像符号化方法とシステム及び動画像復号方法とシステム
US09/377,317 US6665340B1 (en) 1998-08-21 1999-08-19 Moving picture encoding/decoding system, moving picture encoding/decoding apparatus, moving picture encoding/decoding method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23516598A JP2000069469A (ja) 1998-08-21 1998-08-21 動画像符号化方法とシステム及び動画像復号方法とシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003030089A Division JP4404556B2 (ja) 2003-02-06 2003-02-06 動画像符号化方法とシステム及び動画像復号方法とシステム

Publications (1)

Publication Number Publication Date
JP2000069469A true JP2000069469A (ja) 2000-03-03

Family

ID=16982029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23516598A Withdrawn JP2000069469A (ja) 1998-08-21 1998-08-21 動画像符号化方法とシステム及び動画像復号方法とシステム

Country Status (2)

Country Link
US (1) US6665340B1 (ja)
JP (1) JP2000069469A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952501B2 (en) * 2000-02-24 2005-10-04 Canon Kabushiki Kaisha Image processing apparatus, image encoding apparatus, and image decoding apparatus
US6934336B2 (en) * 2001-07-26 2005-08-23 Matsushita Electric Industrial Co., Ltd. Area expansion apparatus, area expansion method, and area expansion program
US8265163B2 (en) * 2001-12-21 2012-09-11 Motorola Mobility Llc Video shape padding method
JP4812071B2 (ja) * 2004-01-16 2011-11-09 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US8218641B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
US8213518B1 (en) 2006-10-31 2012-07-03 Sony Computer Entertainment Inc. Multi-threaded streaming data decoding
US8218640B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture decoding using same-picture reference for pixel reconstruction
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
CN110741635A (zh) * 2018-06-29 2020-01-31 深圳市大疆创新科技有限公司 编码方法、解码方法、编码设备和解码设备
CN114025165B (zh) * 2021-11-03 2022-08-12 杭州海量信息技术有限公司 一种人脸识别精度保持的图像压缩方法以及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5881175A (en) 1996-06-07 1999-03-09 Daewoo Electronics Co., Ltd. Method and apparatus for encoding an image signal by using the contour signal thereof
JP3373117B2 (ja) 1996-06-28 2003-02-04 沖電気工業株式会社 画像符号化装置
KR100501902B1 (ko) * 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
EP0833521A3 (en) * 1996-09-30 1999-09-15 Hyundai Electronics Industries Co., Ltd. Device for and method of coding/decoding image information
EP0921684B1 (en) * 1997-12-02 2005-11-02 Daewoo Electronics Corporation Method and apparatus for encoding object information of a video object plane
JPH11308610A (ja) * 1998-04-02 1999-11-05 Daewoo Electronics Co Ltd 映像信号適応的符号化装置

Also Published As

Publication number Publication date
US6665340B1 (en) 2003-12-16

Similar Documents

Publication Publication Date Title
US7408990B2 (en) Efficient motion vector coding for video compression
US7933331B2 (en) High quality, low memory bandwidth motion estimation processor
EP0705038B1 (en) Method and system for bidirectional motion compensation for compressing of motion pictures
US8654847B2 (en) Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
US9167260B2 (en) Apparatus and method for video processing
US20050190976A1 (en) Moving image encoding apparatus and moving image processing apparatus
JP4280353B2 (ja) 符号化装置、画像処理装置、符号化方法、及び記録媒体
KR100266124B1 (ko) 화상 부호화/복호화 방법, 화상 부호화/복호화장치, 및 화상부호화/복호화 프로그램 기록 매체
JP3031152B2 (ja) 動き予測プロセッサ及び動き予測装置
JP2000069469A (ja) 動画像符号化方法とシステム及び動画像復号方法とシステム
US9143790B2 (en) Encoding and decoding a video image sequence by image areas
JP6209026B2 (ja) 画像符号化装置及びその制御方法
CN108156460B (zh) 视频解码系统、视频解码方法和相应地计算机存储介质
US11290740B2 (en) Image coding apparatus, image coding method, and storage medium
JP2007096696A (ja) 画像処理装置及び画像処理方法
JP4404556B2 (ja) 動画像符号化方法とシステム及び動画像復号方法とシステム
US20050169375A1 (en) Read/write separation in video request manager
JPH10327416A (ja) 動画像符号化装置
US20060056514A1 (en) Techniques for minimizing memory bandwidth used for motion compensation
JP3865541B2 (ja) 画像照合装置
JPH10327401A (ja) 動きベクトル検出方法及びそれを用いた画像信号の符号化方法及び装置
JP2002051342A (ja) 符号化装置及び符号化方法並びに記憶媒体
JP2001086447A (ja) 画像処理装置
JP3129279B2 (ja) 符号化装置および符号化方法、並びに記録媒体
JP2000050278A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030107

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050310

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20061019