JP2000270329A - オブジェクト指向符号化における領域分割方法および領域分割装置 - Google Patents

オブジェクト指向符号化における領域分割方法および領域分割装置

Info

Publication number
JP2000270329A
JP2000270329A JP7137599A JP7137599A JP2000270329A JP 2000270329 A JP2000270329 A JP 2000270329A JP 7137599 A JP7137599 A JP 7137599A JP 7137599 A JP7137599 A JP 7137599A JP 2000270329 A JP2000270329 A JP 2000270329A
Authority
JP
Japan
Prior art keywords
area
small
intra
areas
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7137599A
Other languages
English (en)
Inventor
Etsuko Sugimoto
悦子 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP7137599A priority Critical patent/JP2000270329A/ja
Publication of JP2000270329A publication Critical patent/JP2000270329A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 この発明は、物体どうしの重なりがある場合
にも、符号化効率の高い領域の統合が行える、画像符号
化における領域分割方法を提供することを目的とする。 【解決手段】 現フレーム画像と前フレーム画像とに基
づいて、現フレーム画像の各小領域毎の動きベクトルを
検出し、現フレーム画像と前フレーム画像とに基づい
て、現フレーム画像の各小領域毎にイントラ符号化に適
するイントラ領域であるかインター符号化に適するイン
ター領域かを判定し、互いに隣接する2つの小領域がと
もにイントラ領域であると判定されている場合にはそれ
らの領域を統合させ、互いに隣接する2つの小領域がと
もにイントラ領域であると判定されていない場合には、
それらの両領域に対する動きベクトルの差が所定の閾値
以下であるか否かを判定し、両領域に対する動きベクト
ルの差が所定の閾値以下である場合にのみ、それらの領
域を統合させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、動画像の各フレ
ームを複数の任意形状の領域(オブジェクト)に分割し
て、それぞれの領域毎にその領域に適した符号化を行う
オブジェクト指向符号化における領域分割方法および領
域分割装置に関する。
【0002】
【従来の技術】動画像の各フレームを、複数の任意形状
の領域に分割して、それぞれの領域毎にその領域に適し
た符号化を行うオブジェクト指向符号化方式がMPEG
4で採用されている。
【0003】図4は、現フレームを複数の任意形状の領
域に分割するための装置の構成を示している。
【0004】この装置は、現フレーム画像と前フレーム
画像とに基づいて現フレーム内の小領域(たとえば、2
画素×2画素の大きさの領域)毎に動きベクトルを検出
する動きベクトル検出部101および動きベクトル検出
部101によって検出された小領域毎の動きベクトルに
基づいて、領域を統合する領域統合処理部102とを備
えている。
【0005】動きベクトル検出部101は、現フレーム
の各小領域毎に、動きベクトルを求める。各小領域に対
する動きベクトルは、たとえば、ブロックマッチング法
を用いて前フレーム画像(参照画像)内の複数の参照領
域との予測誤差(最小二乗誤差または差分の絶対値和)
を求め、これが最小となる参照領域を検出することによ
って求められる。なお、1つの小領域に対する動きベク
トルは、必ずしも1つでなくてもよい。
【0006】たとえば、予測誤差が所定の閾値以下であ
る複数の参照領域それぞれに対する動きベクトルを、動
きベクトル候補としてもよい。また、予測誤差が小さい
ものから所定数の参照領域を選択し、それらの参照領域
それぞれに対する動きベクトルを、動きベクトル候補と
してもよい。
【0007】領域統合処理部102は、次のような処理
を行う。まず、4つの小領域からなるブロック(4画素
×4画素)毎に、隣接する小領域どうしの動きベクトル
の値を比較し、その差が所定の閾値以下である場合に
は、それらの小領域は同一オブジェクトであると見做
し、それらの小領域を統合する。小領域について複数の
動きベクトル候補が求められている場合には、各候補ベ
クトル毎に比較を行う。
【0008】以上の処理を、逐次階層的に大きなサイズ
のブロックに適用して、領域の統合を行っていき、現フ
レームを複数の任意形状の領域(オブジェクト)に分割
する。
【0009】
【発明が解決しようとする課題】ところで、物体どうし
の重なり(オクルージョン)がある場合には、一方の物
体が移動したために新たに出現した領域に対して検出さ
れた動きベクトルは有意でない可能性が高い。このた
め、従来のように、動きベクトルのみによって領域の統
合を行った場合には、符号化効率の高い領域統合が行え
ないという問題がある。
【0010】この発明は、物体どうしの重なりがある場
合にも、符号化効率の高い領域の統合が行える、画像符
号化における領域分割方法および領域分割装置を提供す
ることを目的とする。
【0011】
【課題を解決するための手段】この発明によるオブジェ
クト指向符号化における領域分割方法は、現フレーム画
像と前フレーム画像とに基づいて、現フレーム画像の各
小領域毎の動きベクトルを検出する第1ステップ、現フ
レーム画像と前フレーム画像とに基づいて、現フレーム
画像の各小領域毎にイントラ符号化に適するイントラ領
域であるかインター符号化に適するインター領域かを判
定する第2ステップ、互いに隣接する2つの小領域がと
もにイントラ領域であると判定されている場合にはそれ
らの領域を統合させる第3ステップ、および互いに隣接
する2つの小領域がともにイントラ領域であると判定さ
れていない場合には、それらの両領域に対する動きベク
トルの差が所定の閾値以下であるか否かを判定し、両領
域に対する動きベクトルの差が所定の閾値以下である場
合にのみ、それらの領域を統合させる第4ステップを備
えていることを特徴とする。
【0012】第2ステップでは、たとえば、(1)注目
小領域に対する領域内画素の分散値が小さい場合には、
当該注目小領域をイントラ領域であると判定し、(2)
注目小領域に対する領域内画素の分散値が大きくかつ当
該注目小領域に対する予測誤差値が大きい場合には、当
該注目小領域をイントラ領域であると判定し、(3)注
目小領域に対する領域内画素の分散値が大きくかつ当該
注目小領域に対する予測誤差値が小さい場合には、当該
注目小領域をインター領域であると判定する。
【0013】この発明によるオブジェクト指向符号化に
おける領域分割装置は、現フレーム画像と前フレーム画
像とに基づいて、現フレーム画像の各小領域毎の動きベ
クトルを検出する検出手段、現フレーム画像と前フレー
ム画像とに基づいて、現フレーム画像の各小領域毎にイ
ントラ符号化に適するイントラ領域であるかインター符
号化に適するインター領域かを判定する判定手段、互い
に隣接する2つの小領域がともにイントラ領域であると
判定されている場合にはそれらの領域を統合させる第1
統合手段、および互いに隣接する2つの小領域がともに
イントラ領域であると判定されていない場合には、それ
らの両領域に対する動きベクトルの差が所定の閾値以下
であるか否かを判定し、両領域に対する動きベクトルの
差が所定の閾値以下である場合にのみ、それらの領域を
統合させる第2統合手段を備えているものが用いられ
る。
【0014】判定手段としては、たとえば、(1)注目
小領域に対する領域内画素の分散値が小さい場合には、
当該注目小領域をイントラ領域であると判定し、(2)
注目小領域に対する領域内画素の分散値が大きくかつ当
該注目小領域に対する予測誤差値が大きい場合には、当
該注目小領域をイントラ領域であると判定し、(3)注
目小領域に対する領域内画素の分散値が大きくかつ当該
注目小領域に対する予測誤差値が小さい場合には、当該
注目小領域をインター領域であると判定するものが用い
られる。
【0015】
【発明の実施の形態】以下、図1〜図3を参照して、こ
の発明の実施の形態について説明する。
【0016】図1は、現フレームを複数の任意形状の領
域に分割するための装置の構成を示している。
【0017】この装置は、現フレーム画像と前フレーム
画像とに基づいて現フレーム内の小領域(たとえば、2
画素×2画素の大きさの領域)毎に動きベクトルを検出
する動きベクトル検出部1、現フレーム画像と前フレー
ム画像とに基づいて現フレーム内の小領域毎にインター
/イントラ判定を行うインター/イントラ判定部2、な
らびに動きベクトル検出部1によって検出された小領域
毎の動きベクトルおよびインター/イントラ判定部2の
判定結果に基づいて、領域を統合する領域統合処理部3
とを備えている。
【0018】動きベクトル検出部1は、現フレームの各
小領域毎に、動きベクトルを求める。各小領域に対する
動きベクトルは、たとえば、ブロックマッチング法を用
いて前フレーム画像(参照画像)内の複数の参照領域と
の予測誤差(最小二乗誤差または差分の絶対値和)を求
め、これが最小となる参照領域を検出することによって
求められる。なお、1つの小領域に対する動きベクトル
は、必ずしも1つでなくてもよい。
【0019】たとえば、予測誤差が所定の閾値以下であ
る複数の参照領域それぞれに対する動きベクトルを、動
きベクトル候補としてもよい。また、予測誤差が小さい
ものから所定数の参照領域を選択し、それらの参照領域
それぞれに対する動きベクトルを、動きベクトル候補と
してもよい。
【0020】インター/イントラ判定部2は、各小領域
毎に領域内の特性を調べて、各小領域がイントラ(画
内)符号化に適したイントラ領域であるかインター(画
間)符号化に適したインター領域である否かを判定す
る。
【0021】この判定は、たとえば、注目小領域に対す
る予測誤差値(ブロックマッチングによって検出された
予測誤差が最小となる参照領域との間の予測誤差)と、
当該注目小領域に対する領域内画素の分散値とに基づい
て、以下のように行われる。
【0022】(1)注目小領域に対する領域内画素の分
散値が小さい(当該注目小領域に対する領域内相関が高
い)場合には、イントラ(画内)符号化に適していると
判断し、当該注目小領域をイントラ領域であると判定す
る。 (2)注目小領域に対する領域内画素の分散値が大きく
(当該注目小領域に対する領域内相関が低い)、かつ当
該注目小領域に対する予測誤差値が大きい場合には、イ
ンター(画間)符号化には適していないと判断し、当該
注目小領域をイントラ領域であると判定する。 (3)注目小領域に対する領域内画素の分散値が大きく
(当該注目小領域に対する領域内相関が低い)、かつ当
該注目小領域に対する予測誤差値が小さい場合には、イ
ンター(画間)符号化に適していると判断し、当該注目
小領域をインター領域であると判定する。
【0023】領域内相関が高い画像の例としては、一様
な画像が挙げられる。領域内相関が低い画像の例として
は、格子模様の画像が挙げられる。
【0024】領域統合処理部3は、次のような処理を行
う。まず、図2の(a)および(b)に示すように、4
つの領域からなるブロック(4画素×4画素)毎に、領
域の統合処理を行う。
【0025】つまり、互いに隣接する小領域どうしが、
両方ともイントラ領域であると判定されている場合に
は、それらの小領域は同一オブジェクトであると見做
し、それらの小領域を統合する。言い換えれば、これら
の小領域を、イントラ(画内)符号化に適している領域
として統合する。
【0026】隣接する小領域どうしが、両方ともイント
ラ領域であると判定されていない場合には、従来と同様
にそれらの小領域どうしの動きベクトルの値を比較し、
その差が所定の閾値以下である場合には、それらの小領
域は同一オブジェクトであると見做し、それらの小領域
を統合する。小領域について複数の動きベクトル候補が
求められている場合には、各候補ベクトル毎に比較を行
う。
【0027】以上の処理を、図2の(b)および(c)
に示すように、逐次階層的に大きなサイズのブロックに
適用して、領域の統合を行っていき、現フレームを複数
の任意形状の領域(オブジェクト)に分割する。
【0028】図3に示すように、画像内のある物体A
が、図3(a)から図3(b)に移動したとする。図3
(a)を前フレーム、図3(b)を現フレームとする。
図3(b)において物体Aが移動したために現れる領域
を新出現領域Xとする。
【0029】このような場合、現フレームにおいて出現
した新出現領域X内の各画像の多くは、前フレームにお
いては物体Aで隠されていることが多いため、新出現領
域X内の各小領域に対して検出された動きベクトルは有
意とならないことが多い。
【0030】従来においては、実際は新出現領域X内の
小領域どうしが統合されるべきものであっても、有意で
ない動きベクトルのみに基づいて、領域統合を行ってい
るので、統合されないことが多い。
【0031】しかしながら、上記実施の形態では、この
ような場合においても、隣接する小領域がイントラ領域
であると判別された場合には、それらの領域の動きベク
トルに係わらず、それらの領域をイントラ符号化に適し
た領域として統合することができ、符号化効率の高い領
域統合を行えるようになる。特に、新出現領域X内の各
小領域に対する予測誤差値は大きい場合が多いので、イ
ントラ領域であると判定される可能性が高くなり、符号
化効率の高い領域統合を行えるようになる。
【0032】
【発明の効果】この発明によれば、物体どうしの重なり
がある場合にも、符号化効率の高い領域の統合が行える
ようになる。
【図面の簡単な説明】
【図1】現フレームを複数の任意形状の領域に分割する
ための装置の構成を示すブロック図である。
【図2】領域統合処理を説明するための模式図である。
【図3】画像内のある物体が移動したことによって現れ
る領域を示す模式図である。
【図4】現フレームを複数の任意形状の領域に分割する
ための従来装置の構成を示すブロック図である。
【符号の説明】
1 動きベクトル検出部 2 インター/イントラ判定部 3 領域統合処理部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 現フレーム画像と前フレーム画像とに基
    づいて、現フレーム画像の各小領域毎の動きベクトルを
    検出する第1ステップ、 現フレーム画像と前フレーム画像とに基づいて、現フレ
    ーム画像の各小領域毎にイントラ符号化に適するイント
    ラ領域であるかインター符号化に適するインター領域か
    を判定する第2ステップ、 互いに隣接する2つの小領域がともにイントラ領域であ
    ると判定されている場合にはそれらの領域を統合させる
    第3ステップ、および互いに隣接する2つの小領域がと
    もにイントラ領域であると判定されていない場合には、
    それらの両領域に対する動きベクトルの差が所定の閾値
    以下であるか否かを判定し、両領域に対する動きベクト
    ルの差が所定の閾値以下である場合にのみ、それらの領
    域を統合させる第4ステップ、 を備えているオブジェクト指向符号化における領域分割
    方法。
  2. 【請求項2】 第2ステップは、 (1)注目小領域に対する領域内画素の分散値が小さい
    場合には、当該注目小領域をイントラ領域であると判定
    し、 (2)注目小領域に対する領域内画素の分散値が大きく
    かつ当該注目小領域に対する予測誤差値が大きい場合に
    は、当該注目小領域をイントラ領域であると判定し、 (3)注目小領域に対する領域内画素の分散値が大きく
    かつ当該注目小領域に対する予測誤差値が小さい場合に
    は、当該注目小領域をインター領域であると判定する、 請求項1に記載のオブジェクト指向符号化における領域
    分割方法。
  3. 【請求項3】 現フレーム画像と前フレーム画像とに基
    づいて、現フレーム画像の各小領域毎の動きベクトルを
    検出する検出手段、 現フレーム画像と前フレーム画像とに基づいて、現フレ
    ーム画像の各小領域毎にイントラ符号化に適するイント
    ラ領域であるかインター符号化に適するインター領域か
    を判定する判定手段、 互いに隣接する2つの小領域がともにイントラ領域であ
    ると判定されている場合にはそれらの領域を統合させる
    第1統合手段、および互いに隣接する2つの小領域がと
    もにイントラ領域であると判定されていない場合には、
    それらの両領域に対する動きベクトルの差が所定の閾値
    以下であるか否かを判定し、両領域に対する動きベクト
    ルの差が所定の閾値以下である場合にのみ、それらの領
    域を統合させる第2統合手段、 を備えているオブジェクト指向符号化における領域分割
    装置。
  4. 【請求項4】 判定手段は、 (1)注目小領域に対する領域内画素の分散値が小さい
    場合には、当該注目小領域をイントラ領域であると判定
    し、 (2)注目小領域に対する領域内画素の分散値が大きく
    かつ当該注目小領域に対する予測誤差値が大きい場合に
    は、当該注目小領域をイントラ領域であると判定し、 (3)注目小領域に対する領域内画素の分散値が大きく
    かつ当該注目小領域に対する予測誤差値が小さい場合に
    は、当該注目小領域をインター領域であると判定する、 ものである請求項3に記載のオブジェクト指向符号化に
    おける領域分割装置。
JP7137599A 1999-03-17 1999-03-17 オブジェクト指向符号化における領域分割方法および領域分割装置 Pending JP2000270329A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7137599A JP2000270329A (ja) 1999-03-17 1999-03-17 オブジェクト指向符号化における領域分割方法および領域分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7137599A JP2000270329A (ja) 1999-03-17 1999-03-17 オブジェクト指向符号化における領域分割方法および領域分割装置

Publications (1)

Publication Number Publication Date
JP2000270329A true JP2000270329A (ja) 2000-09-29

Family

ID=13458705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7137599A Pending JP2000270329A (ja) 1999-03-17 1999-03-17 オブジェクト指向符号化における領域分割方法および領域分割装置

Country Status (1)

Country Link
JP (1) JP2000270329A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697611B2 (en) 2004-07-30 2010-04-13 Industrial Technology Research Institute Method for processing motion information
JP2010517359A (ja) * 2007-01-18 2010-05-20 サムスン エレクトロニクス カンパニー リミテッド イントラ予測符号化、復号化方法及び装置
WO2011049119A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法
JP2011130265A (ja) * 2009-12-18 2011-06-30 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル検出装置、動きベクトル検出方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697611B2 (en) 2004-07-30 2010-04-13 Industrial Technology Research Institute Method for processing motion information
JP2010517359A (ja) * 2007-01-18 2010-05-20 サムスン エレクトロニクス カンパニー リミテッド イントラ予測符号化、復号化方法及び装置
US8374243B2 (en) 2007-01-18 2013-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding based on intra prediction
JP2013078161A (ja) * 2007-01-18 2013-04-25 Samsung Electronics Co Ltd イントラ予測符号化、復号化方法及び装置
WO2011049119A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法
JP5562346B2 (ja) * 2009-10-20 2014-07-30 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
EA027182B1 (ru) * 2009-10-20 2017-06-30 Шарп Кабусики Кайся Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, система кодирования/декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
JP2011130265A (ja) * 2009-12-18 2011-06-30 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル検出装置、動きベクトル検出方法およびプログラム

Similar Documents

Publication Publication Date Title
US6937655B2 (en) Recognizing film and video objects occuring in parallel in single television signal fields
KR20040028911A (ko) 비디오 프레임간 움직임 추정용 방법 및 장치
US8243194B2 (en) Method and apparatus for frame interpolation
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
US7236527B2 (en) Motion vector search apparatus and method
JPH08265777A (ja) 階層的動き推定を採用した動きベクトル決定方法
KR100234264B1 (ko) 타겟윈도우 이동을 통한 블록 매칭방법
KR100408294B1 (ko) 저전송율 동영상 부호화에 적합한 움직임 추정 방법
US20080112631A1 (en) Method of obtaining a motion vector in block-based motion estimation
US20090060056A1 (en) Method and apparatus for concealing errors in a video decoding process
KR100649654B1 (ko) 모션 벡터의 송신 비용 절감을 위한 모션 추정 방법
Laumer et al. Moving object detection in the H. 264/AVC compressed domain
JP2000270329A (ja) オブジェクト指向符号化における領域分割方法および領域分割装置
JP4853199B2 (ja) 画像圧縮方法、装置、電子カメラ、およびプログラム
JP2003169338A (ja) 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体
US6263115B1 (en) Method and apparatus for encoding a binary shape signal
JP4035560B2 (ja) 動き推定方法
JPH09182077A (ja) 画像符号化方法および画像符号化装置
JP4099850B2 (ja) 画像信号処理装置
JP2005159824A (ja) 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそれらの記録媒体
JP2000134628A (ja) 動きベクトル検出方法及び装置
JPH07288817A (ja) 動きベクトル検出装置
JP4450317B2 (ja) 動画像のカット点検出装置
JPH07240927A (ja) 映像符号化装置