JP2000333164A

JP2000333164A - 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Info

Publication number: JP2000333164A
Application number: JP2000053137A
Authority: JP
Inventors: Shuichi Okamura; 秀一岡村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-03-16
Filing date: 2000-02-29
Publication date: 2000-11-30

Abstract

(57)【要約】【課題】従来よりも符号化効率の向上及び画質の向上
を図ることができる符号化装置を提供する。【解決手段】抽出手段１は、入力画像データ中から複
数のオブジェクトを抽出する。符号化手段２₁〜２_Nは、
抽出手段１により抽出されたオブジェクトを単位として
符号化する。特に、符号化手段２₁〜２_Nは、対象オブジ
ェクトの特徴に基づき、符号化モードとして、インタレ
ース符号化モードとノンインタレース符号化モードを適
応的に用いて符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画面中に存在する
複数のオブジェクトを含む画像データをオブジェクト単
位で符号化する装置或いはシステムに用いられる、符号
化装置、復号装置、画像処理装置、画像処理システム、
画像処理方法、及びそれを実施するための処理ステップ
をコンピュータが読出可能に格納した記憶媒体に関する
ものである。

【０００２】

【従来の技術】近年において、画像情報の符号化技術の
高度化や、コンピュータの進歩に伴い、画像データを、
当該画像データにより構成される画面中に存在する物体
（オブジェクト）毎に切り分けて符号化する符号化方式
であるMPEG（Moving Picture Experts Group）４の標準
化作業が進められている。この符号化方式によれば、例
えば、符号化する画像上において、静止しているオブジ
ェクトに対しては静止画用の圧縮方式を用い、動いてい
るオブジェクトに対しては動画用の圧縮方式を用いると
いうように、圧縮方式を切り換えることで、それぞれの
オブジェクトに対して最適な圧縮方式を用いることで、
画像全体の符号化効率を向上させることが可能となる。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の符号化方法での圧縮方式の切換として
は、画面内符号化と画面間符号化との切換えで、符号化
効率の向上にも限界があった。

【０００４】そこで、本発明は、上記の欠点を除去する
ために成されたもので、従来よりも符号化効率の向上及
び画質の向上を図った、符号化装置、復号装置、画像処
理装置、画像処理システム、画像処理方法、及びそれを
実施するための処理ステップをコンピュータが読出可能
に格納した記憶媒体を提供することを目的とする。

【０００５】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、画像データを入力する入力手段と、上記
入力手段により入力された画像データ中から複数のオブ
ジェクトを抽出する抽出手段と、上記抽出手段によって
抽出されたオブジェクトを単位として対象オブジェクト
のデータを符号化する符号化手段とを備え、上記符号化
手段は、第１の符号化モードと第２の符号化モードを有
し、対象オブジェクトの特徴に基づいて、対象オブジェ
クトのデータの符号化に用いる符号化モードを選択する
ことを特徴とする。

【０００６】第２の発明は、上記第１の発明において、
上記第１及び第２の符号化モードは、インターレース符
号化モード及びノンインターレース符号化モードの何れ
かを含むことを特徴とする。

【０００７】第３の発明は、上記第１の発明において、
上記符号化手段は、対象オブジェクトの動きを検出する
動き検出手段を含み、当該動き検出手段での検出結果に
基づいて、上記符号化モードの選択を行うことを特徴と
する。

【０００８】第４の発明は、上記第３の発明において、
上記符号化手段は、上記動き検出手段での検出結果によ
り対象オブジェクトの動きが少ない場合、上記第１又は
第２の符号化モードであるノンインターレース符号化モ
ードを選択することを特徴とする。

【０００９】第５の発明は、上記第１の発明において、
上記符号化手段は、上記複数のオブジェクトに対応した
複数の符号化回路を含むことを特徴とする。

【００１０】第６の発明は、上記第１の発明において、
上記符号化手段にて選択された符号化モードを示すフラ
グ情報を、上記符号化手段により得られた符号化データ
へ付加する付加手段を備えることを特徴とする。

【００１１】第７の発明は、上記第１の発明において、
上記符号化手段により得られた符号化データを任意の記
録媒体へ記録する記録手段を備えることを特徴とする。

【００１２】第８の発明は、上記第１の発明において、
上記符号化手段により得られた符号化データを任意の伝
送路へ送出する伝送手段を備えることを特徴とする。

【００１３】第９の発明は、上記第１の発明において、
上記抽出手段は、上記複数のオブジェクトとして、前景
のオブジェクトと背景のオブジェクトを抽出することを
特徴とする。

【００１４】第１０の発明は、複数のオブジェクトを含
む画像データを、各オブジェクト毎に特徴を抽出し、そ
の特徴に応じて第１の符号化又は第２の符号化を行って
符号化された符号化データを復号する復号装置であっ
て、上記符号化データを入力する入力手段と、上記入力
手段により入力された符号化データから各オブジェクト
の符号化データを分離する分離手段と、上記分離手段に
より得られた各オブジェクトの符号化データを復号する
復号手段とを備えることを特徴とする。

【００１５】第１１の発明は、上記第１０の発明におい
て、上記第１及び第２の符号化は、インターレース符号
化モード及びノンインターレース符号化モードの何れか
を含むことを特徴とする。

【００１６】第１２の発明は、上記第１０の発明におい
て、上記符号化データは、動きの少ないオブジェクトに
対しては上記第１又は第２の符号化としてのノンインタ
ーレース符号化処理されたデータを含むことを特徴とす
る。

【００１７】第１３の発明は、上記第１０の発明におい
て、上記符号化データは、背景のオブジェクトに対して
は上記第１又は第２の符号化としてのノンインターレー
ス符号化処理されたデータを含むことを特徴とする。

【００１８】第１４の発明は、上記第１０の発明におい
て、上記入力手段は、任意の記録媒体に記録された上記
符号化データを再生する再生手段を含むことを特徴とす
る。

【００１９】第１５の発明は、上記第１０の発明におい
て、上記復号手段により得られた復号データを表示する
表示手段を備えることを特徴とする。

【００２０】第１６の発明は、画像データの符号化及び
復号の少なくとも何れかの画像処理を行う画像処理装置
であって、請求項１〜９の何れかに記載の符号化装置の
機能、及び請求項１０〜１５の何れかに記載の復号装置
の機能の少なくとも何れかの機能を有することを特徴と
する。

【００２１】第１７の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器の少なくとも１つの機器は、請求項１〜９の
何れかに記載の符号化装置の機能、請求項１０〜１５の
何れかに記載の復号装置の機能、及び請求項１６記載の
画像処理システムの機能の何れかの機能を有することを
特徴とする。

【００２２】第１８の発明は、画像データを入力する入
力ステップと、上記入力ステップにより入力された画像
データ中から複数のオブジェクトを抽出する抽出ステッ
プと、上記抽出ステップによって抽出されたオブジェク
トを単位として対象オブジェクトのデータを符号化する
符号化ステップとを含む画像処理方法であって、上記符
号化ステップは、第１の符号化モードと第２の符号化モ
ードを有し、対象オブジェクトの特徴に基づいて、対象
オブジェクトのデータの符号化に用いる符号化モードを
選択するステップを含むことを特徴とする。

【００２３】第１９の発明は、画像データを入力する入
力ステップと、上記入力ステップにより入力された画像
データ中から複数のオブジェクトを抽出する抽出ステッ
プと、上記抽出ステップにより抽出されたオブジェクト
を単位として符号化する符号化ステップとを含む画像処
理方法であって、上記符号化ステップは、対象オブジェ
クトの符号化モードとして、対象オブジェクトの特徴に
基づきインタレース符号化モード又はノンインタレース
符号化モードを選択するステップを含むことを特徴とす
る。

【００２４】第２０の発明は、画像データを入力する入
力ステップと、上記入力ステップにより入力された画像
データ中から少なくとも前景のオブジェクト及び背景の
オブジェクトを抽出する抽出する抽出ステップと、上記
抽出ステップにより抽出されたオブジェクトを単位とし
て符号化する符号化ステップとを含む画像処理方法であ
って、上記符号化ステップは、インターレース符号化モ
ードとノンインターレース符号化モードとを有し、少な
くとも上記背景のオブジェクトに対し上記ノンインター
レース符号化モードを選択して符号化するステップを含
むことを特徴とする。

【００２５】第２１の発明は、複数のオブジェクトを含
む画像データを、各オブジェクト毎に特徴を抽出し、そ
の特徴に応じてインターレース符号化又はノンインター
レース符号化を行って符号化された符号化データを復号
する画像処理方法であって、上記符号化データを入力す
る入力ステップと、上記入力ステップにより入力された
符号化データから各オブジェクトの符号化データを分離
する分離ステップと、上記分離ステップにより得られた
各オブジェクトの符号化データを復号する復号する復号
ステップとを含むことを特徴とする。

【００２６】第２２の発明は、請求項１〜９の何れかに
記載の符号化装置の機能、請求項１０〜１５の何れかに
記載の復号装置の機能、請求項１６記載の画像処理装
置、及び請求項１７記載の画像処理システムの機能の何
れかの機能を実施するための処理プログラムをコンピュ
ータが読出可能に格納した記憶媒体であることを特徴と
する。

【００２７】第２３の発明は、請求項１８〜２１の何れ
かに記載の画像処理方法の処理ステップをコンピュータ
が読出可能に格納した記憶媒体であることを特徴とす
る。

【００２８】具体的には例えば、本発明の好適な実施の
形態における画像処理装置及び方法は、画像データを入
力し、前記画像データ中から複数のオブジェクトを抽出
し、当該抽出されたオブジェクトを単位として符号化す
る画像処理装置及び方法であって、上記符号化処理にお
いて、上記オブジェクトの特徴に応じてインタレース符
号化モードとノンインタレース符号化モードとを適応的
に用いて符号化することを特徴とする。

【００２９】また、他の好適な実施の形態における画像
処理装置及び方法は、画像データを入力し、前記画像デ
ータ中から前景のオブジェクトと背景のオブジェクトと
を抽出し、当該抽出されたオブジェクトを単位として符
号化する画像処理装置及び方法であって、前記符号化処
理においてインターレース符号化モードとノンインター
レース符号化モードとを適応的に用い、少なくとも上記
背景のオブジェクトに対して上記ノンインターレース符
号化モードを選択することを特徴とする。

【００３０】また、他の好適な実施の形態における画像
処理装置及び方法は、複数のオブジェクトを含む画像デ
ータを、各オブジェクト毎に特徴を抽出し、その特徴に
応じてインタレース符号化或いはノンインターレース符
号化を行って符号化された符号化データを復号する画像
処理装置及び方法であって、符号化データを入力し、前
記符号化データから各オブジェクトの符号化データを分
離し、当該分離された各オブジェクトの符号化データを
復号することを特徴とする。

【００３１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００３２】図１は、本発明を適用した画像符号化装置
の構成を示すブロック図である。上記図１の画像符号化
装置において、先ず、入力画像信号、すなわち符号化す
べき画像データ（入力画像）は、ＶＯ（Video Object）
構成部１に入力される。

【００３３】ＶＯ構成部1は、入力画像を構成するオブ
ジェクト毎に、そのシーケンスであるＶＯを構成し、Ｖ
ＯＰ構成部（ＶＯＰ符号化部）２₁〜２_Nに対して出力す
る。すなわち、ＶＯ構成部１において、Ｎ個のシーケン
スＶＯ＃１〜ＶＯ＃Ｎが構成された場合、そのｎ個のシ
ーケンスＶＯ＃１〜ＶＯ＃Ｎは、それぞれ対応したＮ個
のＶＯＰ構成部２₁〜２_Nに対してそれぞれ出力される。

【００３４】具体的には、例えば、図２に示すように、
符号化すべき画像データ（入力画像）が、独立した背景
Ｆ１のシーケンスと、前景Ｆ２のシーケンスとから構成
される場合、ＶＯ構成部１は、背景Ｆ１のシーケンスを
ＶＯ＃１としてＶＯＰ(VideoObject Plane)構成部２₁に
対して出力すると共に、前景Ｆ２のシーケンスをＶＯ＃
２としてＶＯＰ構成部２₂に対して出力する。

【００３５】尚、上記図２に示した入力画像は、その一
例として、背景Ｆ１の画像と、前景Ｆ２の画像とからな
る画像を示しており、背景Ｆ１の画像は、例えば、ある
自然の風景を撮影して得られたものであり、その画像全
体のシーケンスが１つのＶＯ（ＶＯ＃１）とされてい
る。また、前景Ｆ２の画像は、例えば、バスが走ってい
る様子を撮影して得られたものであり、そのバスを囲む
最小の長方形のシーケンスが１つのＶＯ（ＶＯ＃２）と
されている。

【００３６】ＶＯ構成部１は、入力画像データが、例え
ば、背景Ｆ１と前景Ｆ２とが既に合成された画像である
場合、所定のアルゴリズムに従って、当該画像を領域分
割することにより、背景Ｆ１と前景Ｆ２を取り出し、そ
れぞれのシーケンスとしてのＶＯを、対応するＶＯＰ符
号化部２_n（但し、ｎ＝１，2，・・・，Ｎ）に対して出
力する。

【００３７】ＶＯＰ符号化部２_nは、ＶＯ構成部１の出力
からＶＯＰを構成する。すなわち、ＶＯＰ符号化部２_n
は、例えば、各フレームからオブジェクトを抽出し、その
オブジェクトを囲む、例えば、最小の長方形をＶＯＰと
する。尚、本実施の形態では、ＶＯＰの大きさを、符号化
処理しやすいように横及び縦の画素数が１６の倍数とな
るようにする。

【００３８】また、ＶＯＰ符号化部２_nは、ＶＯＰの大き
さ（例えば横および縦の長さ）を表すサイズデータと、
フレームにおけるそのＶＯＰの位置を表すオフセットデ
ータとを検出する。さらに、ＶＯＰ符号化部２_nは、各オ
ブジェクトの画像データを、ＭＰＥＧの規格に準拠した
方式で符号化し、その結果得られるビットストリームを
多重化部３に対して出力する。

【００３９】多重化部３は、ＶＯＰ符号化部２₁〜２_Nか
らのビットストリームを多重化し、その結果得られる多
重化データを、伝送部４によって、地上波や衛星回線、或
いはＣＡＴＶ網へ伝送する。或いは、多重化部３は、上
記多重化データを、記録部５によって、例えば、ハード
ディスク、光ディスク、磁気テープ、メモリ等の記録媒体
へ記録する。

【００４０】図３は、上記図１に示したＶＯＰ符号化部
２_nの構成を示したものである。上記図３において、１０
１はビデオオブジェクト単位の画像データが記憶される
画像メモリ、１０２は画像メモリ１０１に記憶された画
像データに対して動き検出処理を行う動き検出部、１０
３は画像メモリ１０１に記憶された画像データをインタ
ーレースとノンインターレース（プログレッシブ）で切
り換えて符号化する符号化部、１０４は動き検出部１０
２での動き検出結果に基づいた符号化部１０３の動作制
御を含む本装置全体の動作制御を司る制御部である。

【００４１】ここで、符号化部１０３は、画像データを
インターレースで符号化するインターレース符号化モー
ドと、画像データをノンインターレースで符号化するイ
ンターレース符号化モードとを有する。このインターレ
ース符号化モード及びノンインターレース符号化モード
について、図４（ａ），（ｂ）を用いて説明する。

【００４２】本実施の形態では、インターレース符号化
モードとは、上記図４（ａ）に示すように、１／６０秒
毎に１枚の画像をサンプリングして、１ライン置きに符
号化することを示す。上記図４（ａ）では、灰色の部分
が、符号化される部分を示し、この部分は、復号化された
後表示される部分でもある。

【００４３】一方、ノンインターレース符号化モードと
は、上記図４（ｂ）に示すように、１／３０秒毎に一枚の
画像をサンプリングして全ラインを符号化することを示
す。このような符号化を、「プログレッシブ符号化」と
も言う。

【００４４】すなわち、複数フィールド画像により１つ
のフレーム画像を構成する場合に、インターレース符号
化モードとは、フィールド単位で符号化するモードであ
り、ノンインターレース符号化モードとは、フレーム単
位で符号化するモードである。

【００４５】図５は、上記図３に示したＶＯＰ符号化部
２_nの処理動作を示したものである。

【００４６】ステップＳ２０１：先ず、入力されたビデ
オオブジェクトの画像データは画像メモリ１０１へ記憶
される。

【００４７】ステップＳ２０２：動き検出部１０２は、
制御部１０４からの制御に従って、ステップＳ２０１に
て入力されたビデオオブジェクト（対象ビデオオブジェ
クト）に対して、フレーム間の動き検出を行う。例え
ば、この動き検出方法としては、１フレームを構成する各
フィールド間で、対応する画素の画素値を比較し、フィー
ルド間での対応する画素の画素値の差分が所定値以下で
あるか否かによって行う。この動き検出結果（動きベク
トル）は、制御部１０４へ供給される。制御部１０４
は、動き検出部１０２での動き検出結果により、対象ビ
デオオブジェクトの動きが、所定の閾値以上の動きであ
るか否かを判別する。すなわち、動き検出部１０２で
は、対象ビデオオブジェクトが背景のオブジェクトか前
景のオブジェクトかを判断していることになる。

【００４８】ステップＳ２０３：ステップＳ２０２での
判別の結果、対象ビデオオブジェクトの動きが所定の閾
値以上である場合（対象ビデオオブジェクトに動きがあ
る場合）、それに従って制御部１０４は、符号化部１０
３での符号化方式の切換動作を制御する。これにより、
符号化部１０３は、インターレース符号化モードによ
り、対象ビデオオブジェクトをインターレースで符号化
する。ここでのインターレースでの符号化とは、上述し
たように例えば、３０秒に１枚のフレーム画像をサンプ
リングして全ラインを符号化するノンインターレース符
号化（プログレッシブ符号化）に対して、その半分の６
０秒に１枚のフレーム画像をサンプリングして、１ライ
ン置きに符号化することを意味する。

【００４９】ステップＳ２０４：ステップＳ２０２での
判別の結果、対象ビデオオブジェクトの動きが所定の閾
値以上でない場合、それに従って制御部１０４は、符号
化部１０３での符号化方式の切換動作を制御する。これ
により、符号化部１０３は、ノンインターレース符号化
モードにより、対象ビデオオブジェクトを上述のプログ
レッシブ（ノンインターレース）で符号化する。

【００５０】図６は、符号化部１０３から出力されるビ
デオオブジェクト符号化データを示したものである。上
記図６に示すように、符号化部１０３から出力されるビ
デオオブジェクト符号化データは、オブジェクトヘッダ
（video object header）を有し、そのヘッダ内の所定
の位置に、後に続くビデオオブジェクトがインターレー
ス符号化されたものであるか、ノンインターレース符号
化されたものであるかを示すフラグ（interlace flag）
が設けられている。

【００５１】例えば、フラグ（interlace flag）を１bit
のフラグとして、このフラグに対して、ビデオオブジェ
クトがインタ−レース符号化されたものである場合は”
０”、ビデオオブジェクトがノンインターレース符号化
されたものである場合は”１”を設定する。これによ
り、ビデオオブジェクト符号化データを復号する復号化
処理では、フラグ（interlace flag）を参照すること
で、ビデオオブジェクトがインターレースで符号化され
ているか否かを判断できる。

【００５２】尚、本実施の形態では、フラグ（interlace
flag）を１bitのフラグとしているが、これに限定され
るものではない。

【００５３】上述のように、本実施の形態では、画像情
報をビデオオブジェクト単位で符号化する際、動き検出
結果に基づいて符号化方式を切り替え、動きのあるビデ
オオブジェクトに対してはインターレース符号化を行
い、動きのない（動きの少ない）ビデオオブジェクト
（例えば、背景）に対してはノンインターレース（プロ
グレッシブ）符号化を行うようにした。これに対して、
従来の符号化方式においては、ビデオオブジェクト単位
でインターレース符号化とノンインターレース符号化で
切り替えることはなく、インターレース符号化を行うの
であれば全てインターレースで符号化し、ノンインター
レース符号化を行うのであれば全てノンインターレース
で符号化を行っていた。したがって、本実施の形態によ
れば、各ビデオオブジェクトに対して最適な符号化方式
で符号化を行うことができ、符号化効率を従来よりもさ
らに向上させることができる。

【００５４】上述したような本実施の形態により得られ
る、画質への具体的な効果は次のようになる。

【００５５】例えば、図７（Ａ）及び（Ｂ）に示すよう
な、背景となる家３０３の前をバス３０４が走っている
映像を符号化するものとする。上記図７（Ｂ）に示すフ
レーム画像３０２は、現在符号化しようとしている画像
であり、このフレーム画像３０２の１フレーム前の画像
が、同図（Ａ）に示すフレーム画像３０１であるものと
する。また、この映像には、家３０３とバス３０４の２
つのビデオオブジェクトがあるものする。以下、家３０
３のビデオオブジェクトを「家オブジェクト３０３」と
言い、バス３０４のビデオオブジェクトを「バスオブジ
ェクト３０４」と言う。

【００５６】そこで、上記図３に示したＶＯＰ符号化部
２_nにおいて、動き検出部１０２での動き検出結果によ
り、背景となる家オブジェクト３０３は、その動きベク
トルが予め定められた閾値以上でないことにより動きの
ないオブジェクトであると認識され、バスオブジェクト
３０４は、その動きベクトルが予め定められた閾値以上
であることにより動きのあるオブジェクトであると認識
される。

【００５７】上記の各ビデオオブジェクトの動き検出の
結果により、動きのあるバスオブジェクト３０４は、イ
ンターレース符号化部１０３ａによりインタ−レースで
符号化される。この場合、図８（Ａ）〜（Ｃ）に示すよ
うに、バスオブジェクト３０４は、１／６０秒でサンプ
リングされ、１ライン置きのデータが符号化されること
になる。

【００５８】具体的には、上記図８において、同図８
（Ａ）に示すフレーム３０１（前フレーム）から同図
（Ｃ）に示すフレーム３０２（現在フレーム）にかけて
バス３０４が動いており、これを１／６０秒でサンプリ
ングすると、同図（Ｂ）に示すフィールド（フレーム３
０１とフレーム３０２の間のフィールド）３０１’で
の、ちょうど家３０３の前を動いているバス３０４の画
像を得ることができる。

【００５９】ここで、例えば、従来にて行われていたよ
うな方法によれば、すなわちノンインタ−レース符号化
を行うのであれば全てノンインタ−レースで符号化を行
うので、ビデオオブジェクトの動きとは関係なしに全て
のビデオオブジェクトがノンインターレースで符号化さ
れる、すなわちバスオブジェクト３０４をもノンインタ
−レースで符号化されることなる。

【００６０】具体的にはこの場合、フレーム３０２が１
／３０秒でサンプリングされて符号化されることになる
ため、上記図８（Ｂ）の画像データは得られないため、
これについての符号化も行われない。このようにして得
られた符号化後の画像を再生すると、バス３０４が突然
家３０３の前を通りすぎたように感じる画像となってし
まう。

【００６１】上述のように、従来の方法では、ノンイン
タ−レース符号化を行うのであれば全てノンインタ−レ
ースで符号化を行うように構成されていたため、この場
合、動きのあるビデオオブジェクトについては、その動
きが不自然で、また、その動きにシャープさがない画像
となってしまう。

【００６２】これに対して、本実施の形態では、上述の
構成により、動きのあるビデオオブジェクト（ここでは
バスオブジェクト３０４）についてはインタレースで符
号化されるため、上記図８（Ｂ）に示したようなフィー
ルドの画像データについても符号化され、したがって、
動きのあるビデオオブジェクトのその動きが自然で、且
つその動きがシャープな画像を得ることができる。

【００６３】一方の動きのない家オブジェクト３０３に
ついては、本実施の形態では、上述したバスオブジェク
ト３０４とは異なり、ノンインターレース符号化モード
によりノンインターレースで符号化される。したがっ
て、この場合、上記図８（Ｂ）に示すフィールド３０
１’の画像は符号化されない。

【００６４】ここで、例えば、上述したように従来にて
行われていたような、すなわちインタレース符号化を行
うのであれば全てインターレースで符号化を行う、とい
う従来の方法によれば、ビデオオブジェクトの動きとは
関係なしに全てのビデオオブジェクトがインターレース
で符号化される、すなわち家オブジェクト３０３をもイ
ンターレースで符号化されることなる。

【００６５】具体的にはこの場合、図９において、同図
（Ａ）に示すフレーム３０１（前フレーム）から同図
（Ｃ）に示すフレーム３０２（現在フレーム）にかけて
バス３０４が動いており、これが１／６０秒でサンプリ
ングされ、同図（Ｂ）に示すフィールド（フレーム３０
１とフレーム３０２の間のフィールド）３０１’をも符
号化されることになる。

【００６６】このため、例えば、上記図９（Ａ）〜
（Ｃ）の画像が、８ｍｍビデオにより得られた映像ソー
スであり、対象画像が撮影中に手ぶれ等が生じていた場
合、この画像をインターレースで符号化すると、同図
（Ｂ）に示すフィールド３０１’をも符号化することに
なるため、これを再生すると（インターレースからノン
インターレースの画像を作りあげる）、同図（Ｄ）に示
すような、家オブジェクト３０３の輪郭がギザギザにな
った画像が得られることになる。

【００６７】上述のように、従来の方法では、インタレ
ース符号化を行うのであれば全てインターレースで符号
化を行うように構成されていたため、この場合、動きの
少ないビデオオブジェクトについては、解像度の悪い画
像となってしまう。

【００６８】これに対して、本実施の形態では、上述の
構成により、動きの少ないビデオオブジェクト（ここで
は家オブジェクト３０３）については、ノンインターレ
ースで符号化されるため、したがって、動きの少ないビ
デオオブジェクトの解像度が高い画像を得ることができ
る。

【００６９】図１０は、上述のようなインターレース符
号化モード及びインターレース符号化モードでの符号化
を行う符号化部１０３の具体的な構成の一例を示したも
のである。

【００７０】上記図１０の符号化部１０３において、先
ず、入力された画像データはフレームメモリ３１に供給
され、ＶＯＰとして記憶される。このとき、フレームメ
モリ３１には、制御部１０４からインターレース／ノン
インターレース符号化切換情報が入力されており、フレ
ームメモリ３１は、その切換情報に応じて画像データの
読み出し方法が制御される。具体的には、インタレース
符号化である場合には、上記図４（ａ）に示したような
データが、ノンインターレース符号化である場合には、
上記図４（ｂ）に示したようなデータが読み出されるよ
うに制御される。

【００７１】動きベクトル検出器３２は、フレームメモ
リ３１に記憶されたＶＯＰに対して、マクロブロック単
位で動きベクトルの検出を行う。具体的には、上述した
ように、ＶＯＰは時刻（フレーム）によって大きさや位
置が変化するため、その動きベクトルの検出にあたって
は、その検出のための基準となる座標系を設定し、その
座標系における動きを検出する必要がある。そこで、動
きベクトル検出器３２は、上述の絶対座標系を基準とな
る座標系とし、サイズデータＦＳＺ＿Ｂ及びオフセット
データＦＰＯＳ＿Ｂに従って、上記絶対座標系に符号化
対象のＶＯＰ及び参照画像とするＶＯＰを配置して、動
きベクトルを検出する。

【００７２】動きベクトル検出器３２にて検出された動
きベクトル（ＭＶ）は、予測モードと共に、形状情報符
号化器５０、ＶＬＣ器３６、動き補償器４２、量子化器
３５、逆量子化器３８、及びＤＣＴ係数差分化器４４へ
供給される。

【００７３】尚、動き補償を行う場合、この場合も上述
したように基準となる座標系における動きを検出する必
要があるため、動き補償器４２には、サイズデータＦＳ
Ｚ＿Ｂ及びオフセットデータＦＰＯＳ＿Ｂが供給される
ようになされている。

【００７４】演算器３３には、動きベクトル検出器３２
がフレームメモリ３１から読み出した画像データのおけ
るものと同一のマクロブロックのデータが供給される。
演算器３３は、上記マクロブロックのデータと、動き補
償器４２からの予測画像との差分を演算する。この差分
値は、ＤＣＴ器３４に送られる。

【００７５】動き補償器４２は、予測モードがイントラ
符号化モードである場合には、予測画像を出力しない。
この場合、演算器３３（演算器４０も同様）は、特に処
理を行わず、フレームメモリ３１から読み出したマクロ
ブロックのデータをそのままＤＣＴ器３４に対して出力
する。

【００７６】ＤＣＴ器３４は、演算器３３の出力データ
に対して、８ライン×８画素からなるブロック単位でＤ
ＣＴ処理を施し、そのＤＣＴ処理の結果得られるＤＣＴ
係数を量子化器３５に供給する。

【００７７】量子化器３５は、ＤＣＴ器３４からのＤＣ
Ｔ係数を量子化し、その量子化データをＤＣＴ係数差分
化器４４及び逆量子化器３８へ供給する。

【００７８】逆量子化器３８は、量子化器３５からの量
子化後のＤＣＴ係数を逆量子化し、ＩＤＣＴ器３９へ供
給する。

【００７９】ＩＤＣＴ器３９は、逆量子化器３８からの
逆量子化後のＤＣＴ係数に対して、ＩＤＣＴ処理を施し
て演算器４０へ供給する。

【００８０】演算器４０には、ＩＤＣＴ器３９の出力デ
ータの他、動き補償器４２から、演算器３３に供給され
ている予測画像と同一のデータが供給されている。演算
器４０は、ＩＤＣＴ器３９の出力データ（予測残差（差
分データ））と、動き補償器４２からの予測画像データ
とを加算することで、元の画像データを局所復号し、こ
の局所復号した画像データ（局所復号画像データ）を出
力する。但し、予測モードがイントラ符号化である場合
には、ＩＤＣＴ器３９の出力データは演算器４０をスル
ーして、そのまま局所復号画像データとしてフレームメ
モリ４１に供給される。この復号画像データは、受信側
において得られる復号画像データと同一のものである。

【００８１】演算器４０において得られた復号画像デー
タ（局所復号画像データ）は、テクスチャ（texture）
情報として、後述するパディング（Padding）処理器５
１へ供給される。

【００８２】一方、形状情報(キー信号)、入力されたサ
イズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿
Ｂ、ＶＯＰのサイズデータＶＯＰ＿size、ＶＯＰのオフ
セットデータＶＯＰ#offset、及び動きベクトル検出器
３２より出力された動きベクトルと予測モードは、形状
情報符号化器５０へ供給される。

【００８３】形状情報符号化器５０は、ＭＰＥＧ４の規
格に従って、供給された形状情報の符号化を行い、その
符号化後の形状情報を形状情報復号器５２及びＶＬＣ器
３６へ供給する。

【００８４】形状情報復号器５２は、形状情報符号化器
５０から供給された符号化後の形状情報に対して局所復
号化を施し、その局所復号化後の形状情報を、パディン
グ（Padding）処理器５１、ＤＣＴ係数差分化器４４、
及びＶＬＣ器３６へ供給する。

【００８５】パディング処理器５１を介した形状情報復
号器５２の出力は、フレームメモリ４１へ供給されて記
憶され、その後、インター符号化（前方予測符号化、後
方予測符号化、両方向予測符号化）される画像に対する
参照画像データ（参照フレーム）として用いられる。
尚、パディング処理器５１でのパティング処理について
は、本発明と関係が少ないので説明を省略する。

【００８６】そして、フレームメモリ４１に記憶された
画像データは、後方予測に用いる画像、又は前方予測に
用いる画像データとして、動き補償器４２より出力され
ることになる。

【００８７】一方、動き補償器４２は、動き補償参照画
像指示信号により指定される画像（フレームメモリ４１
に記憶されている局所復号された画像）に対して、動き
ベクトル検出器３２からの予測モード及び動きベクトル
に基づき動き補償を施すことで予測画像を生成し、その
予測画像データを演算器３３及び４０へ供給する。すな
わち、動き補償器４２は、前方／後方／両方向予測モー
ドのときのみ、フレームメモリ４１の読み出しアドレス
を、演算器３３に対して現在出力しているブロックの位
置に対応する位置から動きベクトルに対応する分だけず
らして、当該フレームメモリ４１から前方予測又は後方
予測に用いる画像データを読み出し、予測画像データと
して出力する。尚、両方向予測モードのときは、前方予
測と後方予測に用いる画像データの両方が読み出され、
例えば、その平均値が予測画像データとして出力され
る。このようにして得られた予測画像データが、減算器
としての前記演算器３３に供給され、前述したように差
分データが生成される。

【００８８】また、動き補償器４２にて得られた予測画
像データは、加算器としての演算器４０にも供給され
る。

【００８９】このとき、前方／後方／両方向予測の場
合、演算器４０には、上記予測画像データの他、予測画
像によって差分化された差分データが逆ＤＣＴ回路３９
から供給される。演算器４０は、逆ＤＣＴ回路３９から
の差分データを、動き補償器４２からの予測画像データ
に対して加算する。これにより局所復号が行われること
になる。演算器４０で得られた局所復号画像データは、
復号化装置で復号される画像と全く同一の画像であり、
上述したように、次の処理画像に対して、前方／後方／
両方向予測を行うときに用いる画像としてフレームメモ
リ４１に記憶される。

【００９０】また、予測モードがイントラ符号化である
場合、演算器４０には、画像データそのものが、逆ＤＣ
Ｔ回路３９の出力として供給される。演算器４０は、逆
ＤＣＴ回路３９からの画像データをそのままフレームメ
モリ４１に対して出力して記憶させる。

【００９１】尚、ＭＰＥＧ４においては、ＭＰＥＧ１及
びＭＰＥＧ２と異なり、Ｂピクチャ（Ｂ−ＶＯＰ）も参
照画像として用いられるため、当該Ｂピクチャも局所復
号され、フレームメモリ４１に記憶されるようになされ
ている。但し、現時点においては、Ｂピクチャが参照画
像として用いられるのは階層符号化を行った場合の上位
レイヤについてだけである。

【００９２】ＤＣＴ係数差分化器４４は、量子化器３５
にて量子化されたＤＣＴ係数に対し、ブロック単位でＡ
Ｃ係数／ＤＣ係数の予測処理を施す。すなわち、ＤＣＴ
係数差分化器４４は、イントラ符号化されるマクロブロ
ックの各ブロックに対し、そのＤＣＴ係数のうちのＤＣ
係数とＡＣ係数をＭＰＥＧ４の規格にて定められた手段
に応じて予測を行う。これと同時に、ＤＣＴ係数差分化
器４４は、各ブロック毎に同じく規格に定められた手段
に応じて各係数の予測に用いるブロックを決定する。

【００９３】ＶＬＣ器３６は、量子化係数、量子化ステ
ップ、動きベクトル、及び予測モードが供給される他、
サイズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿
Ｂ、及び符号化切換情報も供給される。したがって、Ｖ
ＬＣ器３６は、供給された全てのデータを符号化し、バ
ッファ３７へ供給する。

【００９４】バッファ３７は、ＶＬＣ器３６からのデー
タを、所定の伝送レートでビットストリームとして多重
化部３に対して出力する。

【００９５】尚、本実施の形態では、上記図１に示した
画像符号化装置において、ＶＯＰ符号化部２_Nを複数並
列に備えた構成としたが、これに限られることはなく、
必ずしもＶＯＰ符号化部を複数備えていなくてもよい。
例えば、ＶＯＰ符号化部を１つだけ備える場合は、ＶＯ
構成部１から抽出されたオブジェクトの画像データを順
次出力し、当該ＶＯＰ符号化部で順次符号化処理を実行
すればよい。

【００９６】図１１は、本発明を適用した復号装置の構
成を示すブロック図である。この復号装置は、例えば、
上記図１の画像符号化装置から出力されるビットストリ
ームを復号するものである。

【００９７】上記図１１の復号装置には、上記図１の画
像符号化装置から伝送部４又は記録部５を介して提供さ
れるビットストリームが供給される。具体的には、上記
図１１の復号装置において、上記図１の画像符号化装置
から伝送部４を介して供給されたビットストリームは、
受信部１１で受信される。或いは、上記図１の画像符号
化装置から記録部５により記録媒体へ記録されたビット
ストリームは、再生部１２で再生される。受信部１１で
受信、或いは再生部１２で再生されたビットストリーム
は、逆多重化部１３へ供給される。

【００９８】逆多重化部１３は、供給されたビットスト
リームを、ビデオオブジェクト毎のビットストリームＶ
Ｏ＃１、ＶＯ＃２、・・・ＶＯ＃Ｎに分離し、それぞれ
対応するＶＯＰ復号部１４₁〜１４_Nへ供給する。

【００９９】ＶＯＰ復号部１４₁〜１４_Nのうち、例え
ば、ＶＯＰ復号部１４ｎは、逆多重化部１３から供給さ
れたビットストリームより、ビデオオブジェクトを構成
するＶＯＰ、サイズデータ、及びオフセットデータを復
号し、それらのデータを画像再構成部１５へ供給する。
尚、ＶＯＰ復号部１４ｎ以外の他のＶＯＰ復号部の動作
については、ＶＯＰ復号部１４ｎの動作と同様であるた
め、その詳細な説明は省略する。

【０１００】画像再構成部１５は、ＶＯＰ復号部１４₁〜
１４_Nのからの出力に基づいて、元の画像を再構成する。
この再構成された画像信号は。例えば、モニタ１６に供
給される。これにより、モニタ１６では、再構成された
画像が表示される。

【０１０１】図１２は、上記図１１に示したＶＯＰ復号
部１４_nの構成の一例を示したものである。上記図１２
のＶＯＰ復号部１４_nにおいて、先ず、逆多重化部１３
から出力されたビデオオブジェクト毎のビットストリー
ムは、インターレース／ノンインターレース復号部２０
１及び符号化モード判定部２０２へ供給される。

【０１０２】符号化モード判定部２０２は、供給された
ビデオオブジェクトのビットストリーム（符号化デー
タ）が、インターレース符号化モードで符号化されたも
のであるか、ノンインターレース符号化されたものであ
るかを、そのヘッダ部のフラグ（interlace flag）を参
照することで判断する（上記図６参照）。そして、符号
化モード判定部２０２は、上記判断結果を示す制御信号
を、インターレース／ノンインターレース復号部２０１
へ供給することで、インターレース／ノンインターレー
ス復号部２０１での復号処理を符号化モードに対応する
ように制御する。

【０１０３】図１３は、上記図１２に示したインターレ
ース／ノンインターレース復号部２０１の構成の一例を
示したものである。上記図１３のインターレース／ノン
インターレース復号部２０１において、先ず、逆多重化
部１３から供給されたビットストリームは、バッファ３
０１に供給され一時記憶される。

【０１０４】ＩＶＬＣ器３０２は、後段におけるブロッ
クの処理状態に対応して、バッファ３０１からビットス
トリームを適宜読み出し、そのビットストリームを可変
長復号することで、量子化係数、動きベクトル、予測モ
ード、量子化ステップ、サイズデータＦＳＺ＿Ｂ、オフ
セットデータＦＰＯＳ＿Ｂ、形状復号化情報、及びフラ
グＣＯＤ等のデータを分離する。

【０１０５】ＩＶＬＣ器３０２にて得られた各データの
うち、量子化係数及び量子化ステップは、逆量子化器３
０３へ供給され、動きベクトル及び予測モードは、動き
補償器３０７、逆量子化器３０３、及びＤＣ係数逆差分
化器３１１へ供給される。また、サイズデータＦＳＺ＿
Ｂ及びオフセットデータＦＰＯＳ＿Ｂは、動き補償器３
０７及び画像再構成部１５へ供給される。形状復号化情
報は、形状復号化器３１０へ供給される。

【０１０６】逆量子化器３０３、ＩＤＣＴ器３０４、演
算器３０５、フレームメモリ３０６、形状復号化器３１
０、パディング処理器３０８、及び動き補償器３０７
は、上記図１に示したＶＯＰ符号化部２_nを構成する逆
量子化器３８、ＩＤＣＴ器３９、演算器４０、フレーム
メモリ４１、形状情報復号器５２、色差用形状情報作成
器５３、パディング処理器５１又は動き補償器４２（上
記図１０参照）にて実行される処理と同様の処理を実行
する。

【０１０７】すなわち、形状情報復号器３１０は、上記
図１０の形状情報復号器５２と同様に、ＩＶＬＣ器３０
２からの形状情報（符号化された形状情報）を復号して
復元し、その復元後の形状情報を、ＤＣＴ係数逆差分化
器３１１及びパディング処理器３０８へ供給する。

【０１０８】逆量子化器３０３は、上記図１０の逆量子
化器３８と同様に、ＩＶＬＣ器３０２から供給された量
子化係数（量子化スケール）に基づいて、同じくＩＶＬ
Ｃ器３０２から供給された量子化されたＤＣＴ係数を逆
量子化し、その逆量子化後のＤＣＴ係数をＤＣＴ係数逆
差分化器３１１へ供給する。

【０１０９】ＤＣＴ係数逆差分化器３１１は、上記図１
０のＤＣＴ係数差分化器４４と同様に、該当ブロックの
予測に使用されたブロックを選択し、そのブロックデー
タに対して、逆量子化器３０３から供給されたＤＣＴ係
数を加算することで、ＤＣＴ係数のＡＣ係数及びＤＣ係
数を復元する。このように復元されたＤＣＴ係数は、Ｉ
ＤＣＴ器３０４へ供給される。

【０１１０】また、ＤＣＴ係数逆差分化器３１１は、上
記図１０のＤＣＴ係数差分化器４４の場合と同様に、形
状情報復号器３１０から供給された形状情報を用いて、
各ブロックに対して、対象ブロックがオブジェクトの内
側であるか、或いは外側であるかの判定を行う。この判
定方法についても、上記図１０のＤＣＴ係数差分化器４
４と同様の方法が用いられる。

【０１１１】ＩＤＣＴ器３０４は、上記図１０のＩＤＣ
Ｔ器３９と同様に、ＤＣＴ係数逆差分化器３１１からの
ＤＣＴ係数に対してIＤＣＴ処理を施し、それにより得
られたデータを演算器３０５へ供給する。

【０１１２】演算器３０５は、上記図１０の演算器４０
と同様に、フレーム間予測が行われている場合には、動
き補償器３０７の出力とＩＤＣＴ器３０４の出力を１画
素単位で加算する。フレーム内予測（イントラ符号化）
が行われている場合には、演算器３０５は、特に動作し
ない。演算器３０５の出力は、パディング処理器３０８
に供給されると共に、テクスチャ情報として出力部３０
９へ供給される。

【０１１３】出力部３０９は、符号化モード判定部２０
２からの制御信号に基づき、演算器３０５の出力（復号
された画像データ）のデータ出力を制御する。例えば、
ノンインターレース符号化されている場合、復号された
画像データをインターレースの画像データに変換して出
力し、インターレース符号化されている場合、そのまま
復号された画像データを出力する。

【０１１４】パディング処理器３０８は、上記図１０の
パディング処理器５１と同様に、形状情報復号器３１０
からの形状情報に基づき、演算器３０５から画像データ
に対してパディング処理を施す。パディング処理器３０
８の出力は、フレームメモリ３０６へ蓄積される。

【０１１５】フレームメモリ３０６に蓄積されたデータ
は、動き補償器３０７により適宜読み出され、演算器３
０５へ供給される。

【０１１６】フレームメモリ３０６及び動き補償器３０
７の動作については、上記図１０のフレームメモリ４１
及び動き補償器４２の動作と同様である。

【０１１７】上述のような構成により、復号部２０１で
はＶＯＰが復号され、当該復号されたＶＯＰが、上記図
１２に示した画像再構成部１５へ供給される。

【０１１８】尚、本実施の形態では、上記図１１に示し
た復号装置において、ＶＯＰ復号部１４_Nを複数並列に
備えた構成としたが、これに限られることはなく、必ず
しもＶＯＰ復号部を複数備えていなくてもよい。例え
ば、ＶＯＰ復号部を１つだけ備える場合は、逆多重化部
１３から抽出された各オブジェクトの符号化データを順
次出力し、当該ＶＯＰ復号部で順次復号処理を実行すれ
ばよい。

【０１１９】以上説明したように、本実施の形態によれ
ば、対象ビデオオブジェクトの動きの有無によって、動
きがあるビデオオブジェクトに対してはそれに適したイ
ンターレース符号化を行い、動きの少ないオブジェクト
に対してそれに適したノンインターレース符号化を行う
ように構成したので、それぞれのビデオオブジェクトの
特徴を生かして、動きのある部分はその動きが自然で、
動きがない部分は解像度の良い奇麗な画像を得ることが
できる。

【０１２０】尚、本発明の目的は、本実施の形態のホス
ト及び端末の機能を実現するソフトウェアのプログラム
コードを、その全体或いは一部を記憶した記憶媒体を、
システム或いは装置に供給し、そのシステム或いは装置
のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格
納されたプログラムコードを読みだして、動作の全部或
いは一部を実行することによっても、達成されることは
言うまでもない。この場合、記憶媒体から読み出された
プログラムコード自体が本実施の形態の機能を実現する
こととなり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することとなる。プログラムコードを供
給するための記憶媒体としては、ＲＯＭ、フロッピーデ
ィスク、ハードディスク、光ディスク、光磁気ディス
ク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の
メモリカード等を用いることができる。また、コンピュ
ータが読みだしたプログラムコードを実行することによ
り、本実施の形態の機能が実現されるだけでなく、その
プログラムコードの指示に基づき、コンピュータ上で稼
動しているＯＳ等が実際の処理の一部又は全部を行い、
その処理によって本実施の形態の機能が実現される場合
も含まれることは言うまでもない。さらに、記憶媒体か
ら読み出されたプログラムコードが、コンピュータに挿
入された拡張機能ボードやコンピュータに接続された機
能拡張ユニットに備わるメモリに書き込まれた後、その
プログラムコードの指示に基づき、その機能拡張ボード
や機能拡張ユニットに備わるＣＰＵなどが実際の処理の
一部又は全部を行い、その処理によって本実施の形態の
機能が実現される場合も含まれることは言うまでもな
い。

【０１２１】

【発明の効果】以上説明したように本発明では、画面中
に存在する複数のオブジェクト（家やバス、背景や前景
等の物体）の画像データを、オブジェクト毎に符号化す
る際、処理対象のオブジェクト（対象オブジェクト）の
特徴（動き等）を検出し、その検出結果に基づいて、対
象オブジェクトに適した符号化方式（第１の符号化モー
ド又は第２の符号化モード）で符号化する。

【０１２２】具体的には例えば、対象オブジェクトの動
きを検出し、その動き検出結果（動きベクトル）が予め
定められたしきい値以上であるかを判別する。この結
果、動き検出結果がしきい値以上であった場合（対象オ
ブジェクトが動きのあるオブジェクトである場合）、そ
の対象オブジェクトをインターレースで符号化する。一
方、動き検出結果がしきい値以上でなかった場合（対象
オブジェクトが動きのない、或いは少ないオブジェクト
である場合）、その対象オブジェクトをノンインターレ
ース（プログレッシブ）で符号化する。このように、動
きのあるオブジェクトはインターレスで、動きのない
（又は動きの少ない）オブジェクトはノンインターレー
ス（プログレッシブ）で符号化する、というように、対
象オブジェクトの特徴に応じて最適な符号化方式に切り
換えて符号化を行うように構成したことにより、動きの
ない（又は動きの少ない）オブジェクトについては、復
号後のオブジェクトの解像度を劣化させず、動きのある
オブジェクトについては、復号後のオブジェクトの動き
の不自然さやボケを発生させない符号化を実現すること
ができる。

【０１２３】よって、本発明によれば、従来よりも符号
化効率の向上及び画質の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明を適用した画像符号化装置の構成を示す
ブロック図である。

【図２】背景画像とオブジェクト画像の関係を説明する
ための図である。

【図３】上記画像符号化装置のＶＯＰ符号化部の構成を
示すブロック図である。

【図４】インターレース符号化とノンインターレース符
号化を説明するための図である。

【図５】上記ＶＯＰ符号化部の処理動作を説明するため
のフローチャートである。

【図６】符号化データ構造を説明するための図である。

【図７】動きのあるオブジェクトに対するインターレー
ス符号化を説明するための図である。

【図８】符号化対象となる画像の一例を説明するための
図である。

【図９】動きのないオブジェクトに対するノンインター
レース符号化を説明するための図である。

【図１０】上記ＶＯＰ符号化部の符号化部の構成を示す
ブロック図である。

【図１１】本発明を適用した画像復号装置の構成を示す
ブロック図である。

【図１２】上記画像復号装置のＶＯＰ復号部の構成を示
すブロック図である。

【図１３】上記ＶＯＰ復号部の復号部の構成を示すブロ
ック図である。

【符号の説明】

１ VO構成部２₁〜２_N VOP符号化部３多重化部４伝送部５記録部１１受信部１２再生部１３逆多重化部１４₁〜１４_N VOP復号部１５画像再構成部１６モニタ１０１画像メモリ１０２動き検出部１０３符号化部１０４制御部２０１復号部２０２符号化モード判定部

Claims

【特許請求の範囲】

【請求項１】画像データを入力する入力手段と、上記入力手段により入力された画像データ中から複数の
オブジェクトを抽出する抽出手段と、上記抽出手段によって抽出されたオブジェクトを単位と
して対象オブジェクトのデータを符号化する符号化手段
とを備え、上記符号化手段は、第１の符号化モードと第２の符号化
モードを有し、対象オブジェクトの特徴に基づいて、対
象オブジェクトのデータの符号化に用いる符号化モード
を選択することを特徴とする符号化装置。
【請求項２】上記第１及び第２の符号化モードは、イ
ンターレース符号化モード及びノンインターレース符号
化モードの何れかを含むことを特徴とする請求項１記載
の符号化装置。
【請求項３】上記符号化手段は、対象オブジェクトの
動きを検出する動き検出手段を含み、当該動き検出手段
での検出結果に基づいて、上記符号化モードの選択を行
うことを特徴とする請求項１記載の符号化装置。
【請求項４】上記符号化手段は、上記動き検出手段で
の検出結果により対象オブジェクトの動きが少ない場
合、上記第１又は第２の符号化モードであるノンインタ
ーレース符号化モードを選択することを特徴とする請求
項３記載の符号化装置。
【請求項５】上記符号化手段は、上記複数のオブジェ
クトに対応した複数の符号化回路を含むことを特徴とす
る請求項１記載の符号化装置。
【請求項６】上記符号化手段にて選択された符号化モ
ードを示すフラグ情報を、上記符号化手段により得られ
た符号化データへ付加する付加手段を備えることを特徴
とする請求項１記載の符号化装置。
【請求項７】上記符号化手段により得られた符号化デ
ータを任意の記録媒体へ記録する記録手段を備えること
を特徴とする請求項１記載の符号化装置。
【請求項８】上記符号化手段により得られた符号化デ
ータを任意の伝送路へ送出する伝送手段を備えることを
特徴とする請求項１記載の符号化装置。
【請求項９】上記抽出手段は、上記複数のオブジェク
トとして、前景のオブジェクトと背景のオブジェクトを
抽出することを特徴とする請求項１記載の符号化装置。
【請求項１０】複数のオブジェクトを含む画像データ
を、各オブジェクト毎に特徴を抽出し、その特徴に応じ
て第１の符号化又は第２の符号化を行って符号化された
符号化データを復号する復号装置であって、上記符号化データを入力する入力手段と、上記入力手段により入力された符号化データから各オブ
ジェクトの符号化データを分離する分離手段と、上記分離手段により得られた各オブジェクトの符号化デ
ータを復号する復号手段とを備えることを特徴とする復
号装置。
【請求項１１】上記第１及び第２の符号化は、インタ
ーレース符号化モード及びノンインターレース符号化モ
ードの何れかを含むことを特徴とする請求項１０記載の
復号装置。
【請求項１２】上記符号化データは、動きの少ないオ
ブジェクトに対しては上記第１又は第２の符号化として
のノンインターレース符号化処理されたデータを含むこ
とを特徴とする請求項１０記載の復号装置。
【請求項１３】上記符号化データは、背景のオブジェ
クトに対しては上記第１又は第２の符号化としてのノン
インターレース符号化処理されたデータを含むことを特
徴とする請求項１０記載の復号装置。
【請求項１４】上記入力手段は、任意の記録媒体に記
録された上記符号化データを再生する再生手段を含むこ
とを特徴とする請求項１０記載の復号装置。
【請求項１５】上記復号手段により得られた復号デー
タを表示する表示手段を備えることを特徴とする請求項
１０記載の復号装置。
【請求項１６】画像データの符号化及び復号の少なく
とも何れかの画像処理を行う画像処理装置であって、請求項１〜９の何れかに記載の符号化装置の機能、及び
請求項１０〜１５の何れかに記載の復号装置の機能の少
なくとも何れかの機能を有することを特徴とする画像処
理装置。
【請求項１７】複数の機器が互いに通信可能に接続さ
れてなる画像処理システムであって、上記複数の機器の少なくとも１つの機器は、請求項１〜
９の何れかに記載の符号化装置の機能、請求項１０〜１
５の何れかに記載の復号装置の機能、及び請求項１６記
載の画像処理システムの機能の何れかの機能を有するこ
とを特徴とする画像処理システム。
【請求項１８】画像データを入力する入力ステップ
と、上記入力ステップにより入力された画像データ中から複
数のオブジェクトを抽出する抽出ステップと、上記抽出ステップによって抽出されたオブジェクトを単
位として対象オブジェクトのデータを符号化する符号化
ステップとを含む画像処理方法であって、上記符号化ステップは、第１の符号化モードと第２の符
号化モードを有し、対象オブジェクトの特徴に基づい
て、対象オブジェクトのデータの符号化に用いる符号化
モードを選択するステップを含むことを特徴とする画像
処理方法。
【請求項１９】画像データを入力する入力ステップ
と、上記入力ステップにより入力された画像データ中から複
数のオブジェクトを抽出する抽出ステップと、上記抽出ステップにより抽出されたオブジェクトを単位
として符号化する符号化ステップとを含む画像処理方法
であって、上記符号化ステップは、対象オブジェクトの符号化モー
ドとして、対象オブジェクトの特徴に基づきインタレー
ス符号化モード又はノンインタレース符号化モードを選
択するステップを含むことを特徴とする画像処理方法。
【請求項２０】画像データを入力する入力ステップ
と、上記入力ステップにより入力された画像データ中から少
なくとも前景のオブジェクト及び背景のオブジェクトを
抽出する抽出する抽出ステップと、上記抽出ステップにより抽出されたオブジェクトを単位
として符号化する符号化ステップとを含む画像処理方法
であって、上記符号化ステップは、インターレース符号化モードと
ノンインターレース符号化モードとを有し、少なくとも
上記背景のオブジェクトに対し上記ノンインターレース
符号化モードを選択して符号化するステップを含むこと
を特徴とする画像処理方法。
【請求項２１】複数のオブジェクトを含む画像データ
を、各オブジェクト毎に特徴を抽出し、その特徴に応じ
てインターレース符号化又はノンインターレース符号化
を行って符号化された符号化データを復号する画像処理
方法であって、上記符号化データを入力する入力ステップと、上記入力ステップにより入力された符号化データから各
オブジェクトの符号化データを分離する分離ステップ
と、上記分離ステップにより得られた各オブジェクトの符号
化データを復号する復号する復号ステップとを含むこと
を特徴とする画像処理方法。
【請求項２２】請求項１〜９の何れかに記載の符号化
装置の機能、請求項１０〜１５の何れかに記載の復号装
置の機能、請求項１６記載の画像処理装置、及び請求項
１７記載の画像処理システムの機能の何れかの機能を実
施するための処理プログラムをコンピュータが読出可能
に格納したことを特徴とする記憶媒体。
【請求項２３】請求項１８〜２１の何れかに記載の画
像処理方法の処理ステップをコンピュータが読出可能に
格納したことを特徴とする記憶媒体。