JP2000333164A - 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents

符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Info

Publication number
JP2000333164A
JP2000333164A JP2000053137A JP2000053137A JP2000333164A JP 2000333164 A JP2000333164 A JP 2000333164A JP 2000053137 A JP2000053137 A JP 2000053137A JP 2000053137 A JP2000053137 A JP 2000053137A JP 2000333164 A JP2000333164 A JP 2000333164A
Authority
JP
Japan
Prior art keywords
encoding
unit
decoding
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000053137A
Other languages
English (en)
Inventor
Shuichi Okamura
秀一 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000053137A priority Critical patent/JP2000333164A/ja
Publication of JP2000333164A publication Critical patent/JP2000333164A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 従来よりも符号化効率の向上及び画質の向上
を図ることができる符号化装置を提供する。 【解決手段】 抽出手段1は、入力画像データ中から複
数のオブジェクトを抽出する。符号化手段21〜2Nは、
抽出手段1により抽出されたオブジェクトを単位として
符号化する。特に、符号化手段21〜2Nは、対象オブジ
ェクトの特徴に基づき、符号化モードとして、インタレ
ース符号化モードとノンインタレース符号化モードを適
応的に用いて符号化する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画面中に存在する
複数のオブジェクトを含む画像データをオブジェクト単
位で符号化する装置或いはシステムに用いられる、符号
化装置、復号装置、画像処理装置、画像処理システム、
画像処理方法、及びそれを実施するための処理ステップ
をコンピュータが読出可能に格納した記憶媒体に関する
ものである。
【0002】
【従来の技術】近年において、画像情報の符号化技術の
高度化や、コンピュータの進歩に伴い、画像データを、
当該画像データにより構成される画面中に存在する物体
(オブジェクト)毎に切り分けて符号化する符号化方式
であるMPEG(Moving Picture Experts Group)4の標準
化作業が進められている。この符号化方式によれば、例
えば、符号化する画像上において、静止しているオブジ
ェクトに対しては静止画用の圧縮方式を用い、動いてい
るオブジェクトに対しては動画用の圧縮方式を用いると
いうように、圧縮方式を切り換えることで、それぞれの
オブジェクトに対して最適な圧縮方式を用いることで、
画像全体の符号化効率を向上させることが可能となる。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
たような従来の符号化方法での圧縮方式の切換として
は、画面内符号化と画面間符号化との切換えで、符号化
効率の向上にも限界があった。
【0004】そこで、本発明は、上記の欠点を除去する
ために成されたもので、従来よりも符号化効率の向上及
び画質の向上を図った、符号化装置、復号装置、画像処
理装置、画像処理システム、画像処理方法、及びそれを
実施するための処理ステップをコンピュータが読出可能
に格納した記憶媒体を提供することを目的とする。
【0005】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、画像データを入力する入力手段と、上記
入力手段により入力された画像データ中から複数のオブ
ジェクトを抽出する抽出手段と、上記抽出手段によって
抽出されたオブジェクトを単位として対象オブジェクト
のデータを符号化する符号化手段とを備え、上記符号化
手段は、第1の符号化モードと第2の符号化モードを有
し、対象オブジェクトの特徴に基づいて、対象オブジェ
クトのデータの符号化に用いる符号化モードを選択する
ことを特徴とする。
【0006】第2の発明は、上記第1の発明において、
上記第1及び第2の符号化モードは、インターレース符
号化モード及びノンインターレース符号化モードの何れ
かを含むことを特徴とする。
【0007】第3の発明は、上記第1の発明において、
上記符号化手段は、対象オブジェクトの動きを検出する
動き検出手段を含み、当該動き検出手段での検出結果に
基づいて、上記符号化モードの選択を行うことを特徴と
する。
【0008】第4の発明は、上記第3の発明において、
上記符号化手段は、上記動き検出手段での検出結果によ
り対象オブジェクトの動きが少ない場合、上記第1又は
第2の符号化モードであるノンインターレース符号化モ
ードを選択することを特徴とする。
【0009】第5の発明は、上記第1の発明において、
上記符号化手段は、上記複数のオブジェクトに対応した
複数の符号化回路を含むことを特徴とする。
【0010】第6の発明は、上記第1の発明において、
上記符号化手段にて選択された符号化モードを示すフラ
グ情報を、上記符号化手段により得られた符号化データ
へ付加する付加手段を備えることを特徴とする。
【0011】第7の発明は、上記第1の発明において、
上記符号化手段により得られた符号化データを任意の記
録媒体へ記録する記録手段を備えることを特徴とする。
【0012】第8の発明は、上記第1の発明において、
上記符号化手段により得られた符号化データを任意の伝
送路へ送出する伝送手段を備えることを特徴とする。
【0013】第9の発明は、上記第1の発明において、
上記抽出手段は、上記複数のオブジェクトとして、前景
のオブジェクトと背景のオブジェクトを抽出することを
特徴とする。
【0014】第10の発明は、複数のオブジェクトを含
む画像データを、各オブジェクト毎に特徴を抽出し、そ
の特徴に応じて第1の符号化又は第2の符号化を行って
符号化された符号化データを復号する復号装置であっ
て、上記符号化データを入力する入力手段と、上記入力
手段により入力された符号化データから各オブジェクト
の符号化データを分離する分離手段と、上記分離手段に
より得られた各オブジェクトの符号化データを復号する
復号手段とを備えることを特徴とする。
【0015】第11の発明は、上記第10の発明におい
て、上記第1及び第2の符号化は、インターレース符号
化モード及びノンインターレース符号化モードの何れか
を含むことを特徴とする。
【0016】第12の発明は、上記第10の発明におい
て、上記符号化データは、動きの少ないオブジェクトに
対しては上記第1又は第2の符号化としてのノンインタ
ーレース符号化処理されたデータを含むことを特徴とす
る。
【0017】第13の発明は、上記第10の発明におい
て、上記符号化データは、背景のオブジェクトに対して
は上記第1又は第2の符号化としてのノンインターレー
ス符号化処理されたデータを含むことを特徴とする。
【0018】第14の発明は、上記第10の発明におい
て、上記入力手段は、任意の記録媒体に記録された上記
符号化データを再生する再生手段を含むことを特徴とす
る。
【0019】第15の発明は、上記第10の発明におい
て、上記復号手段により得られた復号データを表示する
表示手段を備えることを特徴とする。
【0020】第16の発明は、画像データの符号化及び
復号の少なくとも何れかの画像処理を行う画像処理装置
であって、請求項1〜9の何れかに記載の符号化装置の
機能、及び請求項10〜15の何れかに記載の復号装置
の機能の少なくとも何れかの機能を有することを特徴と
する。
【0021】第17の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器の少なくとも1つの機器は、請求項1〜9の
何れかに記載の符号化装置の機能、請求項10〜15の
何れかに記載の復号装置の機能、及び請求項16記載の
画像処理システムの機能の何れかの機能を有することを
特徴とする。
【0022】第18の発明は、画像データを入力する入
力ステップと、上記入力ステップにより入力された画像
データ中から複数のオブジェクトを抽出する抽出ステッ
プと、上記抽出ステップによって抽出されたオブジェク
トを単位として対象オブジェクトのデータを符号化する
符号化ステップとを含む画像処理方法であって、上記符
号化ステップは、第1の符号化モードと第2の符号化モ
ードを有し、対象オブジェクトの特徴に基づいて、対象
オブジェクトのデータの符号化に用いる符号化モードを
選択するステップを含むことを特徴とする。
【0023】第19の発明は、画像データを入力する入
力ステップと、上記入力ステップにより入力された画像
データ中から複数のオブジェクトを抽出する抽出ステッ
プと、上記抽出ステップにより抽出されたオブジェクト
を単位として符号化する符号化ステップとを含む画像処
理方法であって、上記符号化ステップは、対象オブジェ
クトの符号化モードとして、対象オブジェクトの特徴に
基づきインタレース符号化モード又はノンインタレース
符号化モードを選択するステップを含むことを特徴とす
る。
【0024】第20の発明は、画像データを入力する入
力ステップと、上記入力ステップにより入力された画像
データ中から少なくとも前景のオブジェクト及び背景の
オブジェクトを抽出する抽出する抽出ステップと、上記
抽出ステップにより抽出されたオブジェクトを単位とし
て符号化する符号化ステップとを含む画像処理方法であ
って、上記符号化ステップは、インターレース符号化モ
ードとノンインターレース符号化モードとを有し、少な
くとも上記背景のオブジェクトに対し上記ノンインター
レース符号化モードを選択して符号化するステップを含
むことを特徴とする。
【0025】第21の発明は、複数のオブジェクトを含
む画像データを、各オブジェクト毎に特徴を抽出し、そ
の特徴に応じてインターレース符号化又はノンインター
レース符号化を行って符号化された符号化データを復号
する画像処理方法であって、上記符号化データを入力す
る入力ステップと、上記入力ステップにより入力された
符号化データから各オブジェクトの符号化データを分離
する分離ステップと、上記分離ステップにより得られた
各オブジェクトの符号化データを復号する復号する復号
ステップとを含むことを特徴とする。
【0026】第22の発明は、請求項1〜9の何れかに
記載の符号化装置の機能、請求項10〜15の何れかに
記載の復号装置の機能、請求項16記載の画像処理装
置、及び請求項17記載の画像処理システムの機能の何
れかの機能を実施するための処理プログラムをコンピュ
ータが読出可能に格納した記憶媒体であることを特徴と
する。
【0027】第23の発明は、請求項18〜21の何れ
かに記載の画像処理方法の処理ステップをコンピュータ
が読出可能に格納した記憶媒体であることを特徴とす
る。
【0028】具体的には例えば、本発明の好適な実施の
形態における画像処理装置及び方法は、画像データを入
力し、前記画像データ中から複数のオブジェクトを抽出
し、当該抽出されたオブジェクトを単位として符号化す
る画像処理装置及び方法であって、上記符号化処理にお
いて、上記オブジェクトの特徴に応じてインタレース符
号化モードとノンインタレース符号化モードとを適応的
に用いて符号化することを特徴とする。
【0029】また、他の好適な実施の形態における画像
処理装置及び方法は、画像データを入力し、前記画像デ
ータ中から前景のオブジェクトと背景のオブジェクトと
を抽出し、当該抽出されたオブジェクトを単位として符
号化する画像処理装置及び方法であって、前記符号化処
理においてインターレース符号化モードとノンインター
レース符号化モードとを適応的に用い、少なくとも上記
背景のオブジェクトに対して上記ノンインターレース符
号化モードを選択することを特徴とする。
【0030】また、他の好適な実施の形態における画像
処理装置及び方法は、複数のオブジェクトを含む画像デ
ータを、各オブジェクト毎に特徴を抽出し、その特徴に
応じてインタレース符号化或いはノンインターレース符
号化を行って符号化された符号化データを復号する画像
処理装置及び方法であって、符号化データを入力し、前
記符号化データから各オブジェクトの符号化データを分
離し、当該分離された各オブジェクトの符号化データを
復号することを特徴とする。
【0031】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0032】図1は、本発明を適用した画像符号化装置
の構成を示すブロック図である。上記図1の画像符号化
装置において、先ず、入力画像信号、すなわち符号化す
べき画像データ(入力画像)は、VO(Video Object)
構成部1に入力される。
【0033】VO構成部1は、入力画像を構成するオブ
ジェクト毎に、そのシーケンスであるVOを構成し、V
OP構成部(VOP符号化部)21〜2Nに対して出力す
る。すなわち、VO構成部1において、N個のシーケン
スVO#1〜VO#Nが構成された場合、そのn個のシ
ーケンスVO#1〜VO#Nは、それぞれ対応したN個
のVOP構成部21〜2Nに対してそれぞれ出力される。
【0034】具体的には、例えば、図2に示すように、
符号化すべき画像データ(入力画像)が、独立した背景
F1のシーケンスと、前景F2のシーケンスとから構成
される場合、VO構成部1は、背景F1のシーケンスを
VO#1としてVOP(VideoObject Plane)構成部21
対して出力すると共に、前景F2のシーケンスをVO#
2としてVOP構成部22に対して出力する。
【0035】尚、上記図2に示した入力画像は、その一
例として、背景F1の画像と、前景F2の画像とからな
る画像を示しており、背景F1の画像は、例えば、ある
自然の風景を撮影して得られたものであり、その画像全
体のシーケンスが1つのVO(VO#1)とされてい
る。また、前景F2の画像は、例えば、バスが走ってい
る様子を撮影して得られたものであり、そのバスを囲む
最小の長方形のシーケンスが1つのVO(VO#2)と
されている。
【0036】VO構成部1は、入力画像データが、例え
ば、背景F1と前景F2とが既に合成された画像である
場合、所定のアルゴリズムに従って、当該画像を領域分
割することにより、背景F1と前景F2を取り出し、そ
れぞれのシーケンスとしてのVOを、対応するVOP符
号化部2n(但し、n=1,2,・・・,N)に対して出
力する。
【0037】VOP符号化部2nは、VO構成部1の出力
からVOPを構成する。すなわち、VOP符号化部2n
は、例えば、各フレームからオブジェクトを抽出し、その
オブジェクトを囲む、例えば、最小の長方形をVOPと
する。尚、本実施の形態では、VOPの大きさを、符号化
処理しやすいように横及び縦の画素数が16の倍数とな
るようにする。
【0038】また、VOP符号化部2nは、VOPの大き
さ(例えば横および縦の長さ)を表すサイズデータと、
フレームにおけるそのVOPの位置を表すオフセットデ
ータとを検出する。さらに、VOP符号化部2nは、各オ
ブジェクトの画像データを、MPEGの規格に準拠した
方式で符号化し、その結果得られるビットストリームを
多重化部3に対して出力する。
【0039】多重化部3は、VOP符号化部21〜2N
らのビットストリームを多重化し、その結果得られる多
重化データを、伝送部4によって、地上波や衛星回線、或
いはCATV網へ伝送する。或いは、多重化部3は、上
記多重化データを、記録部5によって、例えば、ハード
ディスク、光ディスク、磁気テープ、メモリ等の記録媒体
へ記録する。
【0040】図3は、上記図1に示したVOP符号化部
nの構成を示したものである。上記図3において、10
1はビデオオブジェクト単位の画像データが記憶される
画像メモリ、102は画像メモリ101に記憶された画
像データに対して動き検出処理を行う動き検出部、10
3は画像メモリ101に記憶された画像データをインタ
ーレースとノンインターレース(プログレッシブ)で切
り換えて符号化する符号化部、104は動き検出部10
2での動き検出結果に基づいた符号化部103の動作制
御を含む本装置全体の動作制御を司る制御部である。
【0041】ここで、符号化部103は、画像データを
インターレースで符号化するインターレース符号化モー
ドと、画像データをノンインターレースで符号化するイ
ンターレース符号化モードとを有する。このインターレ
ース符号化モード及びノンインターレース符号化モード
について、図4(a),(b)を用いて説明する。
【0042】本実施の形態では、インターレース符号化
モードとは、上記図4(a)に示すように、1/60秒
毎に1枚の画像をサンプリングして、1ライン置きに符
号化することを示す。上記図4(a)では、灰色の部分
が、符号化される部分を示し、この部分は、復号化された
後表示される部分でもある。
【0043】一方、ノンインターレース符号化モードと
は、上記図4(b)に示すように、1/30秒毎に一枚の
画像をサンプリングして全ラインを符号化することを示
す。このような符号化を、「プログレッシブ符号化」と
も言う。
【0044】すなわち、複数フィールド画像により1つ
のフレーム画像を構成する場合に、インターレース符号
化モードとは、フィールド単位で符号化するモードであ
り、ノンインターレース符号化モードとは、フレーム単
位で符号化するモードである。
【0045】図5は、上記図3に示したVOP符号化部
nの処理動作を示したものである。
【0046】ステップS201:先ず、入力されたビデ
オオブジェクトの画像データは画像メモリ101へ記憶
される。
【0047】ステップS202:動き検出部102は、
制御部104からの制御に従って、ステップS201に
て入力されたビデオオブジェクト(対象ビデオオブジェ
クト)に対して、フレーム間の動き検出を行う。例え
ば、この動き検出方法としては、1フレームを構成する各
フィールド間で、対応する画素の画素値を比較し、フィー
ルド間での対応する画素の画素値の差分が所定値以下で
あるか否かによって行う。この動き検出結果(動きベク
トル)は、制御部104へ供給される。制御部104
は、動き検出部102での動き検出結果により、対象ビ
デオオブジェクトの動きが、所定の閾値以上の動きであ
るか否かを判別する。すなわち、動き検出部102で
は、対象ビデオオブジェクトが背景のオブジェクトか前
景のオブジェクトかを判断していることになる。
【0048】ステップS203:ステップS202での
判別の結果、対象ビデオオブジェクトの動きが所定の閾
値以上である場合(対象ビデオオブジェクトに動きがあ
る場合)、それに従って制御部104は、符号化部10
3での符号化方式の切換動作を制御する。これにより、
符号化部103は、インターレース符号化モードによ
り、対象ビデオオブジェクトをインターレースで符号化
する。ここでのインターレースでの符号化とは、上述し
たように例えば、30秒に1枚のフレーム画像をサンプ
リングして全ラインを符号化するノンインターレース符
号化(プログレッシブ符号化)に対して、その半分の6
0秒に1枚のフレーム画像をサンプリングして、1ライ
ン置きに符号化することを意味する。
【0049】ステップS204:ステップS202での
判別の結果、対象ビデオオブジェクトの動きが所定の閾
値以上でない場合、それに従って制御部104は、符号
化部103での符号化方式の切換動作を制御する。これ
により、符号化部103は、ノンインターレース符号化
モードにより、対象ビデオオブジェクトを上述のプログ
レッシブ(ノンインターレース)で符号化する。
【0050】図6は、符号化部103から出力されるビ
デオオブジェクト符号化データを示したものである。上
記図6に示すように、符号化部103から出力されるビ
デオオブジェクト符号化データは、オブジェクトヘッダ
(video object header)を有し、そのヘッダ内の所定
の位置に、後に続くビデオオブジェクトがインターレー
ス符号化されたものであるか、ノンインターレース符号
化されたものであるかを示すフラグ(interlace flag)
が設けられている。
【0051】例えば、フラグ(interlace flag)を1bit
のフラグとして、このフラグに対して、ビデオオブジェ
クトがインタ−レース符号化されたものである場合は”
0”、ビデオオブジェクトがノンインターレース符号化
されたものである場合は”1”を設定する。これによ
り、ビデオオブジェクト符号化データを復号する復号化
処理では、フラグ(interlace flag)を参照すること
で、ビデオオブジェクトがインターレースで符号化され
ているか否かを判断できる。
【0052】尚、本実施の形態では、フラグ(interlace
flag)を1bitのフラグとしているが、これに限定され
るものではない。
【0053】上述のように、本実施の形態では、画像情
報をビデオオブジェクト単位で符号化する際、動き検出
結果に基づいて符号化方式を切り替え、動きのあるビデ
オオブジェクトに対してはインターレース符号化を行
い、動きのない(動きの少ない)ビデオオブジェクト
(例えば、背景)に対してはノンインターレース(プロ
グレッシブ)符号化を行うようにした。これに対して、
従来の符号化方式においては、ビデオオブジェクト単位
でインターレース符号化とノンインターレース符号化で
切り替えることはなく、インターレース符号化を行うの
であれば全てインターレースで符号化し、ノンインター
レース符号化を行うのであれば全てノンインターレース
で符号化を行っていた。したがって、本実施の形態によ
れば、各ビデオオブジェクトに対して最適な符号化方式
で符号化を行うことができ、符号化効率を従来よりもさ
らに向上させることができる。
【0054】上述したような本実施の形態により得られ
る、画質への具体的な効果は次のようになる。
【0055】例えば、図7(A)及び(B)に示すよう
な、背景となる家303の前をバス304が走っている
映像を符号化するものとする。上記図7(B)に示すフ
レーム画像302は、現在符号化しようとしている画像
であり、このフレーム画像302の1フレーム前の画像
が、同図(A)に示すフレーム画像301であるものと
する。また、この映像には、家303とバス304の2
つのビデオオブジェクトがあるものする。以下、家30
3のビデオオブジェクトを「家オブジェクト303」と
言い、バス304のビデオオブジェクトを「バスオブジ
ェクト304」と言う。
【0056】そこで、上記図3に示したVOP符号化部
nにおいて、動き検出部102での動き検出結果によ
り、背景となる家オブジェクト303は、その動きベク
トルが予め定められた閾値以上でないことにより動きの
ないオブジェクトであると認識され、バスオブジェクト
304は、その動きベクトルが予め定められた閾値以上
であることにより動きのあるオブジェクトであると認識
される。
【0057】上記の各ビデオオブジェクトの動き検出の
結果により、動きのあるバスオブジェクト304は、イ
ンターレース符号化部103aによりインタ−レースで
符号化される。この場合、図8(A)〜(C)に示すよ
うに、バスオブジェクト304は、1/60秒でサンプ
リングされ、1ライン置きのデータが符号化されること
になる。
【0058】具体的には、上記図8において、同図8
(A)に示すフレーム301(前フレーム)から同図
(C)に示すフレーム302(現在フレーム)にかけて
バス304が動いており、これを1/60秒でサンプリ
ングすると、同図(B)に示すフィールド(フレーム3
01とフレーム302の間のフィールド)301’で
の、ちょうど家303の前を動いているバス304の画
像を得ることができる。
【0059】ここで、例えば、従来にて行われていたよ
うな方法によれば、すなわちノンインタ−レース符号化
を行うのであれば全てノンインタ−レースで符号化を行
うので、ビデオオブジェクトの動きとは関係なしに全て
のビデオオブジェクトがノンインターレースで符号化さ
れる、すなわちバスオブジェクト304をもノンインタ
−レースで符号化されることなる。
【0060】具体的にはこの場合、フレーム302が1
/30秒でサンプリングされて符号化されることになる
ため、上記図8(B)の画像データは得られないため、
これについての符号化も行われない。このようにして得
られた符号化後の画像を再生すると、バス304が突然
家303の前を通りすぎたように感じる画像となってし
まう。
【0061】上述のように、従来の方法では、ノンイン
タ−レース符号化を行うのであれば全てノンインタ−レ
ースで符号化を行うように構成されていたため、この場
合、動きのあるビデオオブジェクトについては、その動
きが不自然で、また、その動きにシャープさがない画像
となってしまう。
【0062】これに対して、本実施の形態では、上述の
構成により、動きのあるビデオオブジェクト(ここでは
バスオブジェクト304)についてはインタレースで符
号化されるため、上記図8(B)に示したようなフィー
ルドの画像データについても符号化され、したがって、
動きのあるビデオオブジェクトのその動きが自然で、且
つその動きがシャープな画像を得ることができる。
【0063】一方の動きのない家オブジェクト303に
ついては、本実施の形態では、上述したバスオブジェク
ト304とは異なり、ノンインターレース符号化モード
によりノンインターレースで符号化される。したがっ
て、この場合、上記図8(B)に示すフィールド30
1’の画像は符号化されない。
【0064】ここで、例えば、上述したように従来にて
行われていたような、すなわちインタレース符号化を行
うのであれば全てインターレースで符号化を行う、とい
う従来の方法によれば、ビデオオブジェクトの動きとは
関係なしに全てのビデオオブジェクトがインターレース
で符号化される、すなわち家オブジェクト303をもイ
ンターレースで符号化されることなる。
【0065】具体的にはこの場合、図9において、同図
(A)に示すフレーム301(前フレーム)から同図
(C)に示すフレーム302(現在フレーム)にかけて
バス304が動いており、これが1/60秒でサンプリ
ングされ、同図(B)に示すフィールド(フレーム30
1とフレーム302の間のフィールド)301’をも符
号化されることになる。
【0066】このため、例えば、上記図9(A)〜
(C)の画像が、8mmビデオにより得られた映像ソー
スであり、対象画像が撮影中に手ぶれ等が生じていた場
合、この画像をインターレースで符号化すると、同図
(B)に示すフィールド301’をも符号化することに
なるため、これを再生すると(インターレースからノン
インターレースの画像を作りあげる)、同図(D)に示
すような、家オブジェクト303の輪郭がギザギザにな
った画像が得られることになる。
【0067】上述のように、従来の方法では、インタレ
ース符号化を行うのであれば全てインターレースで符号
化を行うように構成されていたため、この場合、動きの
少ないビデオオブジェクトについては、解像度の悪い画
像となってしまう。
【0068】これに対して、本実施の形態では、上述の
構成により、動きの少ないビデオオブジェクト(ここで
は家オブジェクト303)については、ノンインターレ
ースで符号化されるため、したがって、動きの少ないビ
デオオブジェクトの解像度が高い画像を得ることができ
る。
【0069】図10は、上述のようなインターレース符
号化モード及びインターレース符号化モードでの符号化
を行う符号化部103の具体的な構成の一例を示したも
のである。
【0070】上記図10の符号化部103において、先
ず、入力された画像データはフレームメモリ31に供給
され、VOPとして記憶される。このとき、フレームメ
モリ31には、制御部104からインターレース/ノン
インターレース符号化切換情報が入力されており、フレ
ームメモリ31は、その切換情報に応じて画像データの
読み出し方法が制御される。具体的には、インタレース
符号化である場合には、上記図4(a)に示したような
データが、ノンインターレース符号化である場合には、
上記図4(b)に示したようなデータが読み出されるよ
うに制御される。
【0071】動きベクトル検出器32は、フレームメモ
リ31に記憶されたVOPに対して、マクロブロック単
位で動きベクトルの検出を行う。具体的には、上述した
ように、VOPは時刻(フレーム)によって大きさや位
置が変化するため、その動きベクトルの検出にあたって
は、その検出のための基準となる座標系を設定し、その
座標系における動きを検出する必要がある。そこで、動
きベクトル検出器32は、上述の絶対座標系を基準とな
る座標系とし、サイズデータFSZ_B及びオフセット
データFPOS_Bに従って、上記絶対座標系に符号化
対象のVOP及び参照画像とするVOPを配置して、動
きベクトルを検出する。
【0072】動きベクトル検出器32にて検出された動
きベクトル(MV)は、予測モードと共に、形状情報符
号化器50、VLC器36、動き補償器42、量子化器
35、逆量子化器38、及びDCT係数差分化器44へ
供給される。
【0073】尚、動き補償を行う場合、この場合も上述
したように基準となる座標系における動きを検出する必
要があるため、動き補償器42には、サイズデータFS
Z_B及びオフセットデータFPOS_Bが供給される
ようになされている。
【0074】演算器33には、動きベクトル検出器32
がフレームメモリ31から読み出した画像データのおけ
るものと同一のマクロブロックのデータが供給される。
演算器33は、上記マクロブロックのデータと、動き補
償器42からの予測画像との差分を演算する。この差分
値は、DCT器34に送られる。
【0075】動き補償器42は、予測モードがイントラ
符号化モードである場合には、予測画像を出力しない。
この場合、演算器33(演算器40も同様)は、特に処
理を行わず、フレームメモリ31から読み出したマクロ
ブロックのデータをそのままDCT器34に対して出力
する。
【0076】DCT器34は、演算器33の出力データ
に対して、8ライン×8画素からなるブロック単位でD
CT処理を施し、そのDCT処理の結果得られるDCT
係数を量子化器35に供給する。
【0077】量子化器35は、DCT器34からのDC
T係数を量子化し、その量子化データをDCT係数差分
化器44及び逆量子化器38へ供給する。
【0078】逆量子化器38は、量子化器35からの量
子化後のDCT係数を逆量子化し、IDCT器39へ供
給する。
【0079】IDCT器39は、逆量子化器38からの
逆量子化後のDCT係数に対して、IDCT処理を施し
て演算器40へ供給する。
【0080】演算器40には、IDCT器39の出力デ
ータの他、動き補償器42から、演算器33に供給され
ている予測画像と同一のデータが供給されている。演算
器40は、IDCT器39の出力データ(予測残差(差
分データ))と、動き補償器42からの予測画像データ
とを加算することで、元の画像データを局所復号し、こ
の局所復号した画像データ(局所復号画像データ)を出
力する。但し、予測モードがイントラ符号化である場合
には、IDCT器39の出力データは演算器40をスル
ーして、そのまま局所復号画像データとしてフレームメ
モリ41に供給される。この復号画像データは、受信側
において得られる復号画像データと同一のものである。
【0081】演算器40において得られた復号画像デー
タ(局所復号画像データ)は、テクスチャ(texture)
情報として、後述するパディング(Padding)処理器5
1へ供給される。
【0082】一方、形状情報(キー信号)、入力されたサ
イズデータFSZ_B、オフセットデータFPOS_
B、VOPのサイズデータVOP_size、VOPのオフ
セットデータVOP#offset、及び動きベクトル検出器
32より出力された動きベクトルと予測モードは、形状
情報符号化器50へ供給される。
【0083】形状情報符号化器50は、MPEG4の規
格に従って、供給された形状情報の符号化を行い、その
符号化後の形状情報を形状情報復号器52及びVLC器
36へ供給する。
【0084】形状情報復号器52は、形状情報符号化器
50から供給された符号化後の形状情報に対して局所復
号化を施し、その局所復号化後の形状情報を、パディン
グ(Padding)処理器51、DCT係数差分化器44、
及びVLC器36へ供給する。
【0085】パディング処理器51を介した形状情報復
号器52の出力は、フレームメモリ41へ供給されて記
憶され、その後、インター符号化(前方予測符号化、後
方予測符号化、両方向予測符号化)される画像に対する
参照画像データ(参照フレーム)として用いられる。
尚、パディング処理器51でのパティング処理について
は、本発明と関係が少ないので説明を省略する。
【0086】そして、フレームメモリ41に記憶された
画像データは、後方予測に用いる画像、又は前方予測に
用いる画像データとして、動き補償器42より出力され
ることになる。
【0087】一方、動き補償器42は、動き補償参照画
像指示信号により指定される画像(フレームメモリ41
に記憶されている局所復号された画像)に対して、動き
ベクトル検出器32からの予測モード及び動きベクトル
に基づき動き補償を施すことで予測画像を生成し、その
予測画像データを演算器33及び40へ供給する。すな
わち、動き補償器42は、前方/後方/両方向予測モー
ドのときのみ、フレームメモリ41の読み出しアドレス
を、演算器33に対して現在出力しているブロックの位
置に対応する位置から動きベクトルに対応する分だけず
らして、当該フレームメモリ41から前方予測又は後方
予測に用いる画像データを読み出し、予測画像データと
して出力する。尚、両方向予測モードのときは、前方予
測と後方予測に用いる画像データの両方が読み出され、
例えば、その平均値が予測画像データとして出力され
る。このようにして得られた予測画像データが、減算器
としての前記演算器33に供給され、前述したように差
分データが生成される。
【0088】また、動き補償器42にて得られた予測画
像データは、加算器としての演算器40にも供給され
る。
【0089】このとき、前方/後方/両方向予測の場
合、演算器40には、上記予測画像データの他、予測画
像によって差分化された差分データが逆DCT回路39
から供給される。演算器40は、逆DCT回路39から
の差分データを、動き補償器42からの予測画像データ
に対して加算する。これにより局所復号が行われること
になる。演算器40で得られた局所復号画像データは、
復号化装置で復号される画像と全く同一の画像であり、
上述したように、次の処理画像に対して、前方/後方/
両方向予測を行うときに用いる画像としてフレームメモ
リ41に記憶される。
【0090】また、予測モードがイントラ符号化である
場合、演算器40には、画像データそのものが、逆DC
T回路39の出力として供給される。演算器40は、逆
DCT回路39からの画像データをそのままフレームメ
モリ41に対して出力して記憶させる。
【0091】尚、MPEG4においては、MPEG1及
びMPEG2と異なり、Bピクチャ(B−VOP)も参
照画像として用いられるため、当該Bピクチャも局所復
号され、フレームメモリ41に記憶されるようになされ
ている。但し、現時点においては、Bピクチャが参照画
像として用いられるのは階層符号化を行った場合の上位
レイヤについてだけである。
【0092】DCT係数差分化器44は、量子化器35
にて量子化されたDCT係数に対し、ブロック単位でA
C係数/DC係数の予測処理を施す。すなわち、DCT
係数差分化器44は、イントラ符号化されるマクロブロ
ックの各ブロックに対し、そのDCT係数のうちのDC
係数とAC係数をMPEG4の規格にて定められた手段
に応じて予測を行う。これと同時に、DCT係数差分化
器44は、各ブロック毎に同じく規格に定められた手段
に応じて各係数の予測に用いるブロックを決定する。
【0093】VLC器36は、量子化係数、量子化ステ
ップ、動きベクトル、及び予測モードが供給される他、
サイズデータFSZ_B、オフセットデータFPOS_
B、及び符号化切換情報も供給される。したがって、V
LC器36は、供給された全てのデータを符号化し、バ
ッファ37へ供給する。
【0094】バッファ37は、VLC器36からのデー
タを、所定の伝送レートでビットストリームとして多重
化部3に対して出力する。
【0095】尚、本実施の形態では、上記図1に示した
画像符号化装置において、VOP符号化部2Nを複数並
列に備えた構成としたが、これに限られることはなく、
必ずしもVOP符号化部を複数備えていなくてもよい。
例えば、VOP符号化部を1つだけ備える場合は、VO
構成部1から抽出されたオブジェクトの画像データを順
次出力し、当該VOP符号化部で順次符号化処理を実行
すればよい。
【0096】図11は、本発明を適用した復号装置の構
成を示すブロック図である。この復号装置は、例えば、
上記図1の画像符号化装置から出力されるビットストリ
ームを復号するものである。
【0097】上記図11の復号装置には、上記図1の画
像符号化装置から伝送部4又は記録部5を介して提供さ
れるビットストリームが供給される。具体的には、上記
図11の復号装置において、上記図1の画像符号化装置
から伝送部4を介して供給されたビットストリームは、
受信部11で受信される。或いは、上記図1の画像符号
化装置から記録部5により記録媒体へ記録されたビット
ストリームは、再生部12で再生される。受信部11で
受信、或いは再生部12で再生されたビットストリーム
は、逆多重化部13へ供給される。
【0098】逆多重化部13は、供給されたビットスト
リームを、ビデオオブジェクト毎のビットストリームV
O#1、VO#2、・・・VO#Nに分離し、それぞれ
対応するVOP復号部141〜14Nへ供給する。
【0099】VOP復号部141〜14Nのうち、例え
ば、VOP復号部14nは、逆多重化部13から供給さ
れたビットストリームより、ビデオオブジェクトを構成
するVOP、サイズデータ、及びオフセットデータを復
号し、それらのデータを画像再構成部15へ供給する。
尚、VOP復号部14n以外の他のVOP復号部の動作
については、VOP復号部14nの動作と同様であるた
め、その詳細な説明は省略する。
【0100】画像再構成部15は、VOP復号部141
14Nのからの出力に基づいて、元の画像を再構成する。
この再構成された画像信号は。例えば、モニタ16に供
給される。これにより、モニタ16では、再構成された
画像が表示される。
【0101】図12は、上記図11に示したVOP復号
部14nの構成の一例を示したものである。上記図12
のVOP復号部14nにおいて、先ず、逆多重化部13
から出力されたビデオオブジェクト毎のビットストリー
ムは、インターレース/ノンインターレース復号部20
1及び符号化モード判定部202へ供給される。
【0102】符号化モード判定部202は、供給された
ビデオオブジェクトのビットストリーム(符号化デー
タ)が、インターレース符号化モードで符号化されたも
のであるか、ノンインターレース符号化されたものであ
るかを、そのヘッダ部のフラグ(interlace flag)を参
照することで判断する(上記図6参照)。そして、符号
化モード判定部202は、上記判断結果を示す制御信号
を、インターレース/ノンインターレース復号部201
へ供給することで、インターレース/ノンインターレー
ス復号部201での復号処理を符号化モードに対応する
ように制御する。
【0103】図13は、上記図12に示したインターレ
ース/ノンインターレース復号部201の構成の一例を
示したものである。上記図13のインターレース/ノン
インターレース復号部201において、先ず、逆多重化
部13から供給されたビットストリームは、バッファ3
01に供給され一時記憶される。
【0104】IVLC器302は、後段におけるブロッ
クの処理状態に対応して、バッファ301からビットス
トリームを適宜読み出し、そのビットストリームを可変
長復号することで、量子化係数、動きベクトル、予測モ
ード、量子化ステップ、サイズデータFSZ_B、オフ
セットデータFPOS_B、形状復号化情報、及びフラ
グCOD等のデータを分離する。
【0105】IVLC器302にて得られた各データの
うち、量子化係数及び量子化ステップは、逆量子化器3
03へ供給され、動きベクトル及び予測モードは、動き
補償器307、逆量子化器303、及びDC係数逆差分
化器311へ供給される。また、サイズデータFSZ_
B及びオフセットデータFPOS_Bは、動き補償器3
07及び画像再構成部15へ供給される。形状復号化情
報は、形状復号化器310へ供給される。
【0106】逆量子化器303、IDCT器304、演
算器305、フレームメモリ306、形状復号化器31
0、パディング処理器308、及び動き補償器307
は、上記図1に示したVOP符号化部2nを構成する逆
量子化器38、IDCT器39、演算器40、フレーム
メモリ41、形状情報復号器52、色差用形状情報作成
器53、パディング処理器51又は動き補償器42(上
記図10参照)にて実行される処理と同様の処理を実行
する。
【0107】すなわち、形状情報復号器310は、上記
図10の形状情報復号器52と同様に、IVLC器30
2からの形状情報(符号化された形状情報)を復号して
復元し、その復元後の形状情報を、DCT係数逆差分化
器311及びパディング処理器308へ供給する。
【0108】逆量子化器303は、上記図10の逆量子
化器38と同様に、IVLC器302から供給された量
子化係数(量子化スケール)に基づいて、同じくIVL
C器302から供給された量子化されたDCT係数を逆
量子化し、その逆量子化後のDCT係数をDCT係数逆
差分化器311へ供給する。
【0109】DCT係数逆差分化器311は、上記図1
0のDCT係数差分化器44と同様に、該当ブロックの
予測に使用されたブロックを選択し、そのブロックデー
タに対して、逆量子化器303から供給されたDCT係
数を加算することで、DCT係数のAC係数及びDC係
数を復元する。このように復元されたDCT係数は、I
DCT器304へ供給される。
【0110】また、DCT係数逆差分化器311は、上
記図10のDCT係数差分化器44の場合と同様に、形
状情報復号器310から供給された形状情報を用いて、
各ブロックに対して、対象ブロックがオブジェクトの内
側であるか、或いは外側であるかの判定を行う。この判
定方法についても、上記図10のDCT係数差分化器4
4と同様の方法が用いられる。
【0111】IDCT器304は、上記図10のIDC
T器39と同様に、DCT係数逆差分化器311からの
DCT係数に対してIDCT処理を施し、それにより得
られたデータを演算器305へ供給する。
【0112】演算器305は、上記図10の演算器40
と同様に、フレーム間予測が行われている場合には、動
き補償器307の出力とIDCT器304の出力を1画
素単位で加算する。フレーム内予測(イントラ符号化)
が行われている場合には、演算器305は、特に動作し
ない。演算器305の出力は、パディング処理器308
に供給されると共に、テクスチャ情報として出力部30
9へ供給される。
【0113】出力部309は、符号化モード判定部20
2からの制御信号に基づき、演算器305の出力(復号
された画像データ)のデータ出力を制御する。例えば、
ノンインターレース符号化されている場合、復号された
画像データをインターレースの画像データに変換して出
力し、インターレース符号化されている場合、そのまま
復号された画像データを出力する。
【0114】パディング処理器308は、上記図10の
パディング処理器51と同様に、形状情報復号器310
からの形状情報に基づき、演算器305から画像データ
に対してパディング処理を施す。パディング処理器30
8の出力は、フレームメモリ306へ蓄積される。
【0115】フレームメモリ306に蓄積されたデータ
は、動き補償器307により適宜読み出され、演算器3
05へ供給される。
【0116】フレームメモリ306及び動き補償器30
7の動作については、上記図10のフレームメモリ41
及び動き補償器42の動作と同様である。
【0117】上述のような構成により、復号部201で
はVOPが復号され、当該復号されたVOPが、上記図
12に示した画像再構成部15へ供給される。
【0118】尚、本実施の形態では、上記図11に示し
た復号装置において、VOP復号部14Nを複数並列に
備えた構成としたが、これに限られることはなく、必ず
しもVOP復号部を複数備えていなくてもよい。例え
ば、VOP復号部を1つだけ備える場合は、逆多重化部
13から抽出された各オブジェクトの符号化データを順
次出力し、当該VOP復号部で順次復号処理を実行すれ
ばよい。
【0119】以上説明したように、本実施の形態によれ
ば、対象ビデオオブジェクトの動きの有無によって、動
きがあるビデオオブジェクトに対してはそれに適したイ
ンターレース符号化を行い、動きの少ないオブジェクト
に対してそれに適したノンインターレース符号化を行う
ように構成したので、それぞれのビデオオブジェクトの
特徴を生かして、動きのある部分はその動きが自然で、
動きがない部分は解像度の良い奇麗な画像を得ることが
できる。
【0120】尚、本発明の目的は、本実施の形態のホス
ト及び端末の機能を実現するソフトウェアのプログラム
コードを、その全体或いは一部を記憶した記憶媒体を、
システム或いは装置に供給し、そのシステム或いは装置
のコンピュータ(又はCPUやMPU)が記憶媒体に格
納されたプログラムコードを読みだして、動作の全部或
いは一部を実行することによっても、達成されることは
言うまでもない。この場合、記憶媒体から読み出された
プログラムコード自体が本実施の形態の機能を実現する
こととなり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することとなる。プログラムコードを供
給するための記憶媒体としては、ROM、フロッピーデ
ィスク、ハードディスク、光ディスク、光磁気ディス
ク、CD−ROM、CD−R、磁気テープ、不揮発性の
メモリカード等を用いることができる。また、コンピュ
ータが読みだしたプログラムコードを実行することによ
り、本実施の形態の機能が実現されるだけでなく、その
プログラムコードの指示に基づき、コンピュータ上で稼
動しているOS等が実際の処理の一部又は全部を行い、
その処理によって本実施の形態の機能が実現される場合
も含まれることは言うまでもない。さらに、記憶媒体か
ら読み出されたプログラムコードが、コンピュータに挿
入された拡張機能ボードやコンピュータに接続された機
能拡張ユニットに備わるメモリに書き込まれた後、その
プログラムコードの指示に基づき、その機能拡張ボード
や機能拡張ユニットに備わるCPUなどが実際の処理の
一部又は全部を行い、その処理によって本実施の形態の
機能が実現される場合も含まれることは言うまでもな
い。
【0121】
【発明の効果】以上説明したように本発明では、画面中
に存在する複数のオブジェクト(家やバス、背景や前景
等の物体)の画像データを、オブジェクト毎に符号化す
る際、処理対象のオブジェクト(対象オブジェクト)の
特徴(動き等)を検出し、その検出結果に基づいて、対
象オブジェクトに適した符号化方式(第1の符号化モー
ド又は第2の符号化モード)で符号化する。
【0122】具体的には例えば、対象オブジェクトの動
きを検出し、その動き検出結果(動きベクトル)が予め
定められたしきい値以上であるかを判別する。この結
果、動き検出結果がしきい値以上であった場合(対象オ
ブジェクトが動きのあるオブジェクトである場合)、そ
の対象オブジェクトをインターレースで符号化する。一
方、動き検出結果がしきい値以上でなかった場合(対象
オブジェクトが動きのない、或いは少ないオブジェクト
である場合)、その対象オブジェクトをノンインターレ
ース(プログレッシブ)で符号化する。このように、動
きのあるオブジェクトはインターレスで、動きのない
(又は動きの少ない)オブジェクトはノンインターレー
ス(プログレッシブ)で符号化する、というように、対
象オブジェクトの特徴に応じて最適な符号化方式に切り
換えて符号化を行うように構成したことにより、動きの
ない(又は動きの少ない)オブジェクトについては、復
号後のオブジェクトの解像度を劣化させず、動きのある
オブジェクトについては、復号後のオブジェクトの動き
の不自然さやボケを発生させない符号化を実現すること
ができる。
【0123】よって、本発明によれば、従来よりも符号
化効率の向上及び画質の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明を適用した画像符号化装置の構成を示す
ブロック図である。
【図2】背景画像とオブジェクト画像の関係を説明する
ための図である。
【図3】上記画像符号化装置のVOP符号化部の構成を
示すブロック図である。
【図4】インターレース符号化とノンインターレース符
号化を説明するための図である。
【図5】上記VOP符号化部の処理動作を説明するため
のフローチャートである。
【図6】符号化データ構造を説明するための図である。
【図7】動きのあるオブジェクトに対するインターレー
ス符号化を説明するための図である。
【図8】符号化対象となる画像の一例を説明するための
図である。
【図9】動きのないオブジェクトに対するノンインター
レース符号化を説明するための図である。
【図10】上記VOP符号化部の符号化部の構成を示す
ブロック図である。
【図11】本発明を適用した画像復号装置の構成を示す
ブロック図である。
【図12】上記画像復号装置のVOP復号部の構成を示
すブロック図である。
【図13】上記VOP復号部の復号部の構成を示すブロ
ック図である。
【符号の説明】
1 VO構成部 21〜2N VOP符号化部 3 多重化部 4 伝送部 5 記録部 11 受信部 12 再生部 13 逆多重化部 141〜14N VOP復号部 15 画像再構成部 16 モニタ 101 画像メモリ 102 動き検出部 103 符号化部 104 制御部 201 復号部 202 符号化モード判定部

Claims (23)

    【特許請求の範囲】
  1. 【請求項1】 画像データを入力する入力手段と、 上記入力手段により入力された画像データ中から複数の
    オブジェクトを抽出する抽出手段と、 上記抽出手段によって抽出されたオブジェクトを単位と
    して対象オブジェクトのデータを符号化する符号化手段
    とを備え、 上記符号化手段は、第1の符号化モードと第2の符号化
    モードを有し、対象オブジェクトの特徴に基づいて、対
    象オブジェクトのデータの符号化に用いる符号化モード
    を選択することを特徴とする符号化装置。
  2. 【請求項2】 上記第1及び第2の符号化モードは、イ
    ンターレース符号化モード及びノンインターレース符号
    化モードの何れかを含むことを特徴とする請求項1記載
    の符号化装置。
  3. 【請求項3】 上記符号化手段は、対象オブジェクトの
    動きを検出する動き検出手段を含み、当該動き検出手段
    での検出結果に基づいて、上記符号化モードの選択を行
    うことを特徴とする請求項1記載の符号化装置。
  4. 【請求項4】 上記符号化手段は、上記動き検出手段で
    の検出結果により対象オブジェクトの動きが少ない場
    合、上記第1又は第2の符号化モードであるノンインタ
    ーレース符号化モードを選択することを特徴とする請求
    項3記載の符号化装置。
  5. 【請求項5】 上記符号化手段は、上記複数のオブジェ
    クトに対応した複数の符号化回路を含むことを特徴とす
    る請求項1記載の符号化装置。
  6. 【請求項6】 上記符号化手段にて選択された符号化モ
    ードを示すフラグ情報を、上記符号化手段により得られ
    た符号化データへ付加する付加手段を備えることを特徴
    とする請求項1記載の符号化装置。
  7. 【請求項7】 上記符号化手段により得られた符号化デ
    ータを任意の記録媒体へ記録する記録手段を備えること
    を特徴とする請求項1記載の符号化装置。
  8. 【請求項8】 上記符号化手段により得られた符号化デ
    ータを任意の伝送路へ送出する伝送手段を備えることを
    特徴とする請求項1記載の符号化装置。
  9. 【請求項9】 上記抽出手段は、上記複数のオブジェク
    トとして、前景のオブジェクトと背景のオブジェクトを
    抽出することを特徴とする請求項1記載の符号化装置。
  10. 【請求項10】 複数のオブジェクトを含む画像データ
    を、各オブジェクト毎に特徴を抽出し、その特徴に応じ
    て第1の符号化又は第2の符号化を行って符号化された
    符号化データを復号する復号装置であって、 上記符号化データを入力する入力手段と、 上記入力手段により入力された符号化データから各オブ
    ジェクトの符号化データを分離する分離手段と、 上記分離手段により得られた各オブジェクトの符号化デ
    ータを復号する復号手段とを備えることを特徴とする復
    号装置。
  11. 【請求項11】 上記第1及び第2の符号化は、インタ
    ーレース符号化モード及びノンインターレース符号化モ
    ードの何れかを含むことを特徴とする請求項10記載の
    復号装置。
  12. 【請求項12】 上記符号化データは、動きの少ないオ
    ブジェクトに対しては上記第1又は第2の符号化として
    のノンインターレース符号化処理されたデータを含むこ
    とを特徴とする請求項10記載の復号装置。
  13. 【請求項13】 上記符号化データは、背景のオブジェ
    クトに対しては上記第1又は第2の符号化としてのノン
    インターレース符号化処理されたデータを含むことを特
    徴とする請求項10記載の復号装置。
  14. 【請求項14】 上記入力手段は、任意の記録媒体に記
    録された上記符号化データを再生する再生手段を含むこ
    とを特徴とする請求項10記載の復号装置。
  15. 【請求項15】 上記復号手段により得られた復号デー
    タを表示する表示手段を備えることを特徴とする請求項
    10記載の復号装置。
  16. 【請求項16】 画像データの符号化及び復号の少なく
    とも何れかの画像処理を行う画像処理装置であって、 請求項1〜9の何れかに記載の符号化装置の機能、及び
    請求項10〜15の何れかに記載の復号装置の機能の少
    なくとも何れかの機能を有することを特徴とする画像処
    理装置。
  17. 【請求項17】 複数の機器が互いに通信可能に接続さ
    れてなる画像処理システムであって、 上記複数の機器の少なくとも1つの機器は、請求項1〜
    9の何れかに記載の符号化装置の機能、請求項10〜1
    5の何れかに記載の復号装置の機能、及び請求項16記
    載の画像処理システムの機能の何れかの機能を有するこ
    とを特徴とする画像処理システム。
  18. 【請求項18】 画像データを入力する入力ステップ
    と、 上記入力ステップにより入力された画像データ中から複
    数のオブジェクトを抽出する抽出ステップと、 上記抽出ステップによって抽出されたオブジェクトを単
    位として対象オブジェクトのデータを符号化する符号化
    ステップとを含む画像処理方法であって、 上記符号化ステップは、第1の符号化モードと第2の符
    号化モードを有し、対象オブジェクトの特徴に基づい
    て、対象オブジェクトのデータの符号化に用いる符号化
    モードを選択するステップを含むことを特徴とする画像
    処理方法。
  19. 【請求項19】 画像データを入力する入力ステップ
    と、 上記入力ステップにより入力された画像データ中から複
    数のオブジェクトを抽出する抽出ステップと、 上記抽出ステップにより抽出されたオブジェクトを単位
    として符号化する符号化ステップとを含む画像処理方法
    であって、 上記符号化ステップは、対象オブジェクトの符号化モー
    ドとして、対象オブジェクトの特徴に基づきインタレー
    ス符号化モード又はノンインタレース符号化モードを選
    択するステップを含むことを特徴とする画像処理方法。
  20. 【請求項20】 画像データを入力する入力ステップ
    と、 上記入力ステップにより入力された画像データ中から少
    なくとも前景のオブジェクト及び背景のオブジェクトを
    抽出する抽出する抽出ステップと、 上記抽出ステップにより抽出されたオブジェクトを単位
    として符号化する符号化ステップとを含む画像処理方法
    であって、 上記符号化ステップは、インターレース符号化モードと
    ノンインターレース符号化モードとを有し、少なくとも
    上記背景のオブジェクトに対し上記ノンインターレース
    符号化モードを選択して符号化するステップを含むこと
    を特徴とする画像処理方法。
  21. 【請求項21】 複数のオブジェクトを含む画像データ
    を、各オブジェクト毎に特徴を抽出し、その特徴に応じ
    てインターレース符号化又はノンインターレース符号化
    を行って符号化された符号化データを復号する画像処理
    方法であって、 上記符号化データを入力する入力ステップと、 上記入力ステップにより入力された符号化データから各
    オブジェクトの符号化データを分離する分離ステップ
    と、 上記分離ステップにより得られた各オブジェクトの符号
    化データを復号する復号する復号ステップとを含むこと
    を特徴とする画像処理方法。
  22. 【請求項22】 請求項1〜9の何れかに記載の符号化
    装置の機能、請求項10〜15の何れかに記載の復号装
    置の機能、請求項16記載の画像処理装置、及び請求項
    17記載の画像処理システムの機能の何れかの機能を実
    施するための処理プログラムをコンピュータが読出可能
    に格納したことを特徴とする記憶媒体。
  23. 【請求項23】 請求項18〜21の何れかに記載の画
    像処理方法の処理ステップをコンピュータが読出可能に
    格納したことを特徴とする記憶媒体。
JP2000053137A 1999-03-16 2000-02-29 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 Pending JP2000333164A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000053137A JP2000333164A (ja) 1999-03-16 2000-02-29 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-70847 1999-03-16
JP7084799 1999-03-16
JP2000053137A JP2000333164A (ja) 1999-03-16 2000-02-29 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2000333164A true JP2000333164A (ja) 2000-11-30

Family

ID=26411973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000053137A Pending JP2000333164A (ja) 1999-03-16 2000-02-29 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Country Status (1)

Country Link
JP (1) JP2000333164A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253766A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253766A (ja) * 2008-04-08 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US6031575A (en) Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
KR0161551B1 (ko) 압축화상의 편집 또는 합성방법 및 장치
US6466624B1 (en) Video decoder with bit stream based enhancements
US6173013B1 (en) Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6608935B2 (en) Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
US20050002458A1 (en) Spatial scalable compression
JPH10257502A (ja) 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US20040028129A1 (en) Picture encoding method and apparatus, picture decoding method and apparatus and furnishing medium
KR100878809B1 (ko) 비디오 신호의 디코딩 방법 및 이의 장치
JP2004023444A (ja) 動画符号化装置、及び動画記録再生装置
JP2007266749A (ja) 符号化方法
JP3623056B2 (ja) 動画像圧縮装置
US6556714B2 (en) Signal processing apparatus and method
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US20200128240A1 (en) Video encoding and decoding using an epitome
JP2000333164A (ja) 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP2001268581A (ja) 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体
JP3186406B2 (ja) 画像合成符号化方法及び画像合成装置
JP3854717B2 (ja) 復号装置およびその方法
JP4301495B2 (ja) 動画像圧縮符号化装置
JPH11155147A (ja) 画像再生方法、画像符号化装置及び画像符号化方法
JP2005328457A (ja) 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム