JP2002064709A - 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体 - Google Patents

画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体

Info

Publication number
JP2002064709A
JP2002064709A JP2001047031A JP2001047031A JP2002064709A JP 2002064709 A JP2002064709 A JP 2002064709A JP 2001047031 A JP2001047031 A JP 2001047031A JP 2001047031 A JP2001047031 A JP 2001047031A JP 2002064709 A JP2002064709 A JP 2002064709A
Authority
JP
Japan
Prior art keywords
data
information
image
conversion
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001047031A
Other languages
English (en)
Inventor
Mitsuru Maeda
充 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001047031A priority Critical patent/JP2002064709A/ja
Priority to EP20010304871 priority patent/EP1162573A3/en
Priority to US09/873,291 priority patent/US6909810B2/en
Publication of JP2002064709A publication Critical patent/JP2002064709A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

(57)【要約】 【課題】 オブジェクト符号化された符号化画像データ
をオブジェクトの独立性を保持したままでオブジェクト
符号化データに変換する。 【解決手段】 ＭＰＥＧ−４符号化データを入力し、形
状符号復号部２４０３により、その符号化画像データに
含まれている形状データを復号して、その画像に含まれ
るＲＯＩの情報を得る。その復号された画像データを周
波数変換して変換係数を生成し、その生成された変換係
数の内、ＲＯＩに相当する変換係数を、ビットシフト部
２４１０により上位のビットプレーンにビットシフト
し、そのビットシフトにて生じる注目領域外の空欄に
“０”を補填するとともに、ビットプレーン合成部２４
１１は、そのビットシフトにて生じる注目領域内の空欄
にオーディオバッファ２４０６からのオーディオデータ
を補填する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、符号化・復号を行
う画像処理装置及びその方法とそのコンピュータプログ
ラム及び記憶媒体に関するものである。
【０００２】
【従来の技術】現在、静止画像の符号化方式としてＪＰ
ＥＧ符号化方式が広く普及している。この符号化方式は
ＩＳＯ（International Organization for Standardiza
ton；国際標準化機構）で標準化されたものである。ま
た、動画像の符号化方式として、このＪＰＥＧ符号化方
式をフレーム内符号化方式として利用するMotion JPEG
が一般的に知られている。更に、近年のインターネット
の普及に伴い、これまでのＪＰＥＧ符号化方式より高機
能で、かつ高画質の符号化が求められている。このため
ＩＳＯでは、新たな静止画像符号化方式の標準化の策定
作業を行っている。この活動は一般的に「ＪＰＥＧ２０
００」と呼ばれている。このＪＰＥＧ２０００符号化方
式の概要については、「特別記事 ＪＰＥＧ２０００
次世代画像技術を探る」（戸田著：Ｃ ＭＡＧＡＺＩＮ
Ｅ １９９９年１０月号 ｐｐ．６−１０）等を参照さ
れたい。特に本書の中で紹介されているＲＯＩ(Region
Of Interesting)は新しい機能であり、有用な技術であ
る。
【０００３】以下、図１３を参照して、ＲＯＩを実現す
る画像符号化装置について説明する。
【０００４】図１３において、１００１は画像入力部、
１００２は離散ウェーブレット変換部、１００３は量子
化部、１００４はエントロピ符号化部、１００５は符号
出力部、１０１１は領域指定部である。
【０００５】まず、画像入力部１００１から、符号化対
象となる画像を構成する画素信号がラスタスキャン順に
入力され、その出力は離散ウェーブレット変換部１００
２に入力される。この離散ウェーブレット変換部１００
２は、入力した画像信号に対して２次元の離散ウェーブ
レット変換処理を行い、その変換係数を計算して出力す
るものである。
【０００６】図１４は、２次元の離散ウェーブレット変
換処理により得られる２レベルの変換係数群の構成例を
示す図であり、画像信号は異なる周波数帯域の系数列Ｈ
Ｈ１，ＨＬ１，ＬＨ１，…，ＬＬに分解される。なお、
以降の説明ではこれらの係数列をサブバンドと呼ぶ。各
サブバンドの係数は、後続の量子化部１００３に出力さ
れる。
【０００７】領域指定部１０１１は、符号化対象となる
画像内で、周囲部分と比較して高画質で復号されるべき
領域（ＲＯＩ）を決定し、対象画像を離散ウェーブレッ
ト変換した際にどの係数が指定領域に属しているかを示
すマスク情報を生成する。
【０００８】図１５（ａ）は、マスク情報を生成する際
の一例を示したものである。
【０００９】同図１５（ａ）の左側に示す様に、所定の
指示入力により画像内に星型の領域が指定された場合
に、領域指定部１０１１は、この指定領域を含む画像を
離散ウェーブレット変換した際、その指定領域が各サブ
バンドに占める部分を計算する。また、マスク情報の示
す領域は、指定領域境界上の画像信号を復元する際に必
要な、周囲の変換係数を含む範囲となっている。
【００１０】このように計算されたマスク情報の例を図
１５（ａ）の右側に示す。この例においては、同図左側
の画像に対して２レベルの離散ウェーブレット変換を施
した際のマスク情報が図のように計算される。図１５
（ａ）において、星型の部分が指定領域であり、この領
域内のマスク情報のビットは“１”、それ以外のマスク
情報のビットは“０”となっている。これらマスク情報
全体は２次元離散ウェーブレット変換による変換係数の
構成と同じであるため、マスク情報内のビットを検査す
ることにより、対応する位置の係数が指定領域内に属し
ているかどうかを識別することができる。このように生
成されたマスク情報は量子化部１００３に出力される。
【００１１】量子化部１００３は、離散ウェーブレット
変換部１００２から入力した係数を所定の量子化ステッ
プにより量子化し、その量子化値に対するインデックス
を出力する。次に量子化部１００３は、領域指定部１０
１１から入力したマスク情報に基づき、次式により量子
化インデックスを変更する。
【００１２】 ｑ’＝ｑ*２8 ；領域内 …（式１） ｑ’＝ｑ ；領域外 …（式２） 以上の処理により、領域指定部１０１１において指定さ
れた空間領域に属する量子化インデックスのみが８ビッ
ト上方にシフトアップされる。
【００１３】図１５（ｂ）及び（ｃ）は、このシフトア
ップによる量子化インデックスの変化を示したものであ
る。図１５（ｂ）において、サブバンドに量子化インデ
ックスがあり、シフト後の量子化インデックスは図１５
（ｃ）のようになる。このように変更された量子化イン
デックスは、後続のエントロピ符号化部１００４に出力
される。
【００１４】エントロピ符号化部１００４は、入力した
量子化インデックスをビットプレーンに分解し、ビット
プレーンを単位に２値算術符号化を行ってコードストリ
ームを出力する。
【００１５】図１６は、エントロピ符号化部１００４の
動作を説明する図であり、この例においては４×４の大
きさを持つサブバンド内の領域において非０の量子化イ
ンデックスが３個存在しており、それぞれ“＋１３”，
“−６”及び“＋３”の値を持っている。エントロピ符
号化部１００４は、この領域を走査して最大値Ｍを求
め、必要なビット数Ｓを計算する。
【００１６】図１６において、最大の係数値が“１３”
であるので、これを表わすビット数Ｓは“４”であり、
シーケンス中の１６個の量子化インデックスは同図
（ｂ）に示すように４つのビットプレーンを単位として
処理が行われる。
【００１７】最初に、エントロピ符号化部１００４は、
最上位ビットプレーン（同図ＭＳＢで表す）の各ビット
を２値算術符号化し、ビットストリームとして出力す
る。次にビットプレーンを１レベル下げ、以下同様に対
象ビットプレーンが最下位ビットプレーン（同図ＬＳＢ
で表す）に至るまで、ビットプレーン内の各ビットを符
号化して符号出力部１００５に出力する。この時、各量
子化インデックスの符号は、ビットプレーン走査におい
て最初の非０ビットが検出されると、そのすぐ後に当該
量子化インデックスの符号がエントロピ符号化される。
【００１８】静止画像の国際標準の策定が行われるのと
並行して動画像の符号化方式としてＭＰＥＧ−４符号化
方式が検討され、国際標準化作業が進んでいる。これは
従来のＭＰＥＧ−２に代表される動画像符号化ではフレ
ーム或はフィールドを単位としていたが、コンテンツの
再利用や編集を実現するために、ＭＰＥＧ−４では映像
データやオーディオ・データをオブジェクト（物体）と
して符号化を行う。更に、映像データに含まれる物体も
独立して符号化され、それぞれもオブジェクトとして扱
うことができる。その詳細は、例えば日経エレクトロニ
クス１９９７．９．２２号ｐ．１４７〜ｐ．１６８「国
際標準規格 ＭＰＥＧ−４の概要決まる」や国際標準Ｉ
ＳＯ１４４９６−２等に記載されている。
【００１９】ＭＰＥＧ−４ではさらに標準化が進み、任
意形状の静止画像の符号化技術等が加わった。また、オ
ブジェクトデータをコンテンツの再利用を可能にするた
めに著作権保護の機構が標準化されつつある。更には、
ＭＰＥＧ−７といったデータを検索するためのデータの
記述まで標準化されつつある。これは検索を容易にする
ためにメタ情報を付与するための記述に関する標準化で
ある。
【００２０】
【発明が解決しようとする課題】ＪＰＥＧ２０００符号
化方式において、メタ情報や著作権などの情報を付与す
る場合、これらの情報をＪＰＥＧ２０００符号化データ
の他に別途付与する必要があり、管理等が複雑になっ
た。
【００２１】また、ＪＰＥＧ２０００符号化方式を用い
てフレーム単位に符号化する際にオーディオデータを別
途付与する必要があり、同期処理やデータの管理が複雑
になっていた。
【００２２】本発明は上記従来例に鑑みてなされたもの
で、従来のＪＰＥＧ２０００符号化方式との互換性を保
持したままで必要な情報を付与できる画像処理装置及び
その方法とそのコンピュータプログラム及び記憶媒体を
提供することを目的とする。
【００２３】また本発明の目的は、オブジェクト符号化
された符号化画像データをオブジェクトの独立性を保持
したままでオブジェクト符号化データに変換できる画像
処理装置及びその方法とそのコンピュータプログラム及
び記憶媒体を提供することにある。
【００２４】また本発明の目的は、フレーム内符号化の
中にオブジェクトの構造を持った符号化データの生成動
作を容易にかつ確実に行う画像処理装置及びその方法と
そのコンピュータプログラム及び記憶媒体を提供するこ
とにある。
【００２５】
【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下のような構成を備える。
即ち、画像データを入力する画像入力手段と、情報デー
タを入力する情報入力手段と、前記画像データに基づい
て注目領域を設定する注目領域設定手段と、画像データ
を周波数変換して変換係数を生成する変換手段と、前記
変換手段により生成される変換係数の内、前記注目領域
に相当する変換係数を上位のビットプレーンにビットシ
フトし、該ビットシフトにて生じる前記注目領域外の空
欄に０を補填すると共に、前記ビットシフトにて生じる
前記注目領域内の空欄に前記情報データを補填する制御
手段と、を有することを特徴とする。
【００２６】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、符号化デー
タを入力する符号化データ入力手段と、前記符号化デー
タ入力手段により入力された前記符号化データを復号す
る復号手段と、前記復号手段により復号された復号結果
から注目領域を抽出する注目領域抽出手段と、前記注目
領域抽出手段により抽出された前記注目領域の下位のビ
ットプレーンから情報データを抽出する情報データ抽出
手段と、を有することを特徴とする。
【００２７】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、画像データ
を入力する画像入力工程と、情報データを入力する情報
入力工程と、前記画像データに基づいて注目領域を設定
する注目領域設定工程と、前記画像データを周波数変換
して変換係数を生成する変換工程と、前記変換係数の
内、前記注目領域に相当する変換係数を上位のビットプ
レーンにビットシフトし、該ビットシフトにて生じる前
記注目領域外の空欄に０を補填すると共に、該ビットシ
フトにて生じる前記注目領域内の空欄には前記情報デー
タを補填する制御工程と、を有することを特徴とする。
【００２８】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、符号化デー
タを入力する符号化データ入力工程と、前記符号化デー
タを復号する復号工程と、前記復号工程で復号される復
号結果から注目領域を抽出する注目領域抽出工程と、抽
出された前記注目領域の下位のビットプレーンから情報
データを抽出する情報データ抽出工程と、を有すること
を特徴とする。また本発明の一態様によれば、量子化工
程は変換係数を量子化する。これにより、情報量を有効
に削減することができる。
【００２９】また本発明の一態様によれば、周波数変換
工程は離散ウェーブレット変換を行う。これにより、周
波数上で形状情報を反映することが可能になる。
【００３０】また本発明の一態様によれば、付与する情
報データはオーディオ情報である。
【００３１】また本発明の一態様によれば、付与する情
報データは画像記述に関するメタデータである。
【００３２】また本発明の一態様によれば、付与する情
報データは著作権情報である。
【００３３】また本発明の一態様によれば、前記補填工
程の出力をビットプレーンに分割して符号化する符号化
工程を有することを特徴とする。これにより、情報量を
削減することができる。
【００３４】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、オブジェク
ト画像を示すオブジェクト画像データ、及び前記オブジ
ェクト画像の背景に合成されるべき背景画像データを発
生する発生手段と、前記オブジェクト画像データ及び前
記オブジェクト画像の領域外に相当する前記背景画像デ
ータを周波数変換して第１変換係数を生成し、少なくと
も、前記オブジェクト画像の領域に相当する前記背景画
像データを周波数変換して第２変換係数を生成する変換
手段と、前記第１変換係数の内、前記オブジェクト画像
の領域に相当するビット群を上位のビットプレーンにビ
ットシフトし、該ビットシフトにて生じる前記領域外の
空欄に０を補填すると共に、該ビットシフトにて生じる
前記領域内の空欄には前記領域内に相当する第２変換係
数を補填する制御手段と、を有することを特徴とする。
【００３５】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、オブジェク
ト画像を示すオブジェクト画像データ、及び前記オブジ
ェクト画像の背景に合成されるべき背景画像データを発
生する発生手段と、前記オブジェクト画像データ及び前
記オブジェクト画像の領域外に相当する前記背景画像デ
ータを周波数変換する第１変換手段と、少なくとも、前
記オブジェクト画像の領域に相当する前記背景画像デー
タを周波数変換する第２変換手段と、前記第１変換手段
にて得られた変換係数の内、前記オブジェクト画像の領
域に相当するビット群を上位のビットプレーンにビット
シフトし、該ビットシフトにて生じる前記領域外の空欄
に０を補填すると共に、該ビットシフトにて生じる前記
領域内の空欄には前記第２変換手段にて得られた前記領
域内に相当する変換係数を補填する制御手段と、を有す
ることを特徴とする。
【００３６】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、画像データ
からオブジェクトの形状情報を抽出する形状情報抽出手
段と、前記画像データから前記オブジェクトのテクスチ
ャ情報を抽出するオブジェクトテクスチャ情報抽出手段
と、前記画像データから背景のテクスチャ情報を抽出す
る背景テクスチャ情報抽出手段と、前記形状情報抽出手
段によって抽出された前記形状情報に基づいて、前記オ
ブジェクトのテクスチャ情報及び前記背景のテクスチャ
情報を周波数変換する第１周波数変換手段と、前記背景
のテクスチャ情報を周波数変換する第２周波数変換手段
と、前記第１周波数変換手段の出力と前記形状情報に基
づいて、前記オブジェクトの領域外に０を補填する補填
手段と、前記補填手段の出力をビットプレーンに分割し
て符号化するとともに、前記第２周波数変換手段の出力
をビットプレーンに分割して符号化するビットプレーン
符号化手段と、を有することを特徴とする。
【００３７】上記目的を達成するために本発明の画像処
理装置は以下のような構成を備える。即ち、符号化デー
タを入力する入力手段と、第１ビットプレーンを復号す
る第１ビットプレーン復号手段と、前記第１ビットプレ
ーン復号手段の復号結果からオブジェクトの形状情報を
抽出する形状情報抽出手段と、前記第１ビットプレーン
復号手段の復号結果を逆周波数変換する第１逆周波数変
換手段と、前記第１逆周波数変換手段の変換結果から前
記オブジェクトのテクスチャ情報を抽出するオブジェク
トテクスチャ情報抽出手段と、第２ビットプレーンを復
号する第２ビットプレーン復号手段と、前記第２ビット
プレーン復号手段の復号結果を逆周波数変換する第２逆
周波数変換手段と、前記第２逆周波数変換手段による変
換結果から背景のテクスチャ情報を抽出する背景テクス
チャ情報抽出手段と、前記オブジェクトの形状情報を符
号化してオブジェクト形状情報符号化データを生成する
オブジェクト形状情報符号化手段と、前記第１逆周波数
変換手段の出力を符号化して前記オブジェクトのテクス
チャ符号化データを生成するオブジェクト符号化手段
と、前記第２逆周波数変換手段の変換結果を符号化して
前記背景のテクスチャ符号化データを生成する背景符号
化手段と、符号化された前記オブジェクト形状情報符号
化データ、前記オブジェクトのテクスチャ符号化デー
タ、前記背景のテクスチャ符号化データをオブジェクト
符号化データとして出力する出力手段と、を有すること
を特徴とする。
【００３８】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、オブジェク
ト画像を示すオブジェクト画像データ、及び前記オブジ
ェクト画像の背景に合成されるべき背景画像データを発
生する発生工程と、前記オブジェクト画像データ及び前
記オブジェクト画像の領域外に相当する前記背景画像デ
ータを周波数変換して第１変換係数を生成し、少なくと
も、前記オブジェクト画像の領域に相当する前記背景画
像データを周波数変換して第２変換係数を生成する変換
工程と、前記第１変換係数の内、前記オブジェクト画像
の領域に相当するビット群を上位のビットプレーンにビ
ットシフトし、該ビットシフトにて生じる前記領域外の
空欄に０を補填すると共に、該ビットシフトにて生じる
前記領域内の空欄には前記領域内に相当する第２変換係
数を補填する制御工程と、を有することを特徴とする。
【００３９】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、オブジェク
ト画像を示すオブジェクト画像データ、及び前記オブジ
ェクト画像の背景に合成されるべき背景画像データを発
生する発生工程と、前記オブジェクト画像データ及び前
記オブジェクト画像の領域外に相当する前記背景画像デ
ータを周波数変換する第１変換工程と、少なくとも、前
記オブジェクト画像の領域に相当する前記背景画像デー
タを周波数変換する第２変換工程と、前記第１変換工程
にて得られた変換係数の内、前記オブジェクト画像の領
域に相当するビット群を上位のビットプレーンにビット
シフトし、該ビットシフトにて生じる前記領域外の空欄
に０を補填すると共に、該ビットシフトにて生じる前記
領域内の空欄には前記第２変換工程にて得られた前記領
域内に相当する変換係数を補填する制御工程と、を有す
ることを特徴とする。
【００４０】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、画像データ
からオブジェクトの形状情報を抽出する形状情報抽出工
程と、前記画像データから前記オブジェクトのテクスチ
ャ情報を抽出するオブジェクトテクスチャ情報抽出工程
と、前記画像データから背景のテクスチャ情報を抽出す
る背景テクスチャ情報抽出工程と、前記形状情報抽出工
程で抽出された前記形状情報に基づいて、前記オブジェ
クトのテクスチャ情報及び前記背景のテクスチャ情報を
周波数変換する第１周波数変換工程と、前記背景のテク
スチャ情報を周波数変換する第２周波数変換工程と、前
記第１周波数変換工程による出力と前記形状情報に基づ
いて、前記オブジェクトの領域外に０を補填する補填工
程と、前記補填工程による出力をビットプレーンに分割
して符号化するとともに、前記第２周波数変換工程によ
る出力をビットプレーンに分割して符号化するビットプ
レーン符号化工程と、を有することを特徴とする。
【００４１】上記目的を達成するために本発明の画像処
理方法は以下のような工程を備える。即ち、符号化デー
タを入力する入力工程と、第１ビットプレーンを復号す
る第１ビットプレーン復号工程と、前記第１ビットプレ
ーン復号工程の復号結果からオブジェクトの形状情報を
抽出する形状情報抽出工程と、前記第１ビットプレーン
復号工程の復号結果を逆周波数変換する第１逆周波数変
換工程と、前記第１逆周波数変換工程の変換結果から前
記オブジェクトのテクスチャ情報を抽出するオブジェク
トテクスチャ情報抽出工程と、第２ビットプレーンを復
号する第２ビットプレーン復号工程と、前記第２ビット
プレーン復号工程の復号結果を逆周波数変換する第２逆
周波数変換工程と、前記第２逆周波数変換工程による変
換結果から背景のテクスチャ情報を抽出する背景テクス
チャ情報抽出工程と、前記オブジェクトの形状情報を符
号化してオブジェクト形状情報符号化データを生成する
オブジェクト形状情報符号化工程と、前記第１逆周波数
変換工程の出力を符号化して前記オブジェクトのテクス
チャ符号化データを生成するオブジェクト符号化工程
と、前記第２逆周波数変換工程の変換結果を符号化して
前記背景のテクスチャ符号化データを生成する背景符号
化工程と、符号化された前記オブジェクト形状情報符号
化データ、前記オブジェクトのテクスチャ符号化デー
タ、前記背景のテクスチャ符号化データをオブジェクト
符号化データとして出力する出力工程と、を有すること
を特徴とする。
【００４２】また本発明の一態様によれば、第１及び第
２周波数変換手段は、離散ウェーブレット変換を行う。
これにより、周波数上で形状情報を反映することが可能
になる。
【００４３】また本発明の一態様によれば、形状情報
を、その形状情報と周波数変換の方式から拡張するよう
に変更する形状情報変更手段を備えている。これによ
り、特別な処理をすること無くオブジェクトの輪郭周辺
で自然な画像の再生を行うことが可能になる。
【００４４】
【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態を詳細に説明する。
【００４５】［実施の形態１］図１は、本発明の実施の
形態１に係る画像処理装置の構成を示すブロック図であ
る。尚、本実施の形態では、ＭＰＥＧ−４符号化データ
を入力し、これを符号化してＪＰＥＧ２０００符号化デ
ータに類似した符号化データを出力する場合について説
明する。
【００４６】図１において、１はＭＰＥＧ−４符号化デ
ータ入力部で、ＭＰＥＧ−４符号化データを入力する。
２は分離器で、入力されるＭＰＥＧ−４符号化データを
分離して後段の各部に入力する。３は形状符号復号部
で、分離器２で分離されたＭＰＥＧ−４符号化方式で符
号化されたオブジェクトの形状符号化データを入力して
復号する。４はテクスチャ復号器で、分離器２で分離さ
れたオブジェクトのテクスチャを復号する。５はテクス
チャ復号器で、分離器２で分離された背景画像の符号化
データのテクスチャを復号する。６は形状情報補正部
で、形状符号復号部３で復号された形状情報を補正す
る。７はマスク符号化部で、ＲＯＩの形状及び位置を表
わすマスク情報を符号化する。８，９は離散ウェーブレ
ット変換部で、入力された画像データに対して離散ウェ
ーブレット変換を施す。１０，１１は量子化部で、それ
ぞれ各離散ウェーブレット変換部８、９で変換された変
換係数を入力して量子化する。１２はビットシフト制御
部で、量子化部１０，１１における量子化結果からビッ
トプレーンを構成するビット数や、ビットプレーンの合
成方法を決定して制御している。１３はビットプレーン
合成部で、ビットシフト制御部１２の指示に従ってビッ
トプレーンを合成する。１４はエントロピ符号化部で、
ビットプレーン単位で符号化する。１５は多重化器で、
マスク符号化部７、ビットシフト制御部１２、エントロ
ピ符号化部１４からの出力を、ＪＰＥＧ２０００符号化
方式の書式に従った符号化データに整形する。１６は符
号出力部で、生成された符号化データを出力する。
【００４７】以上の構成による動作を以下に説明する。
【００４８】ＭＰＥＧ−４符号化データ入力部１は、コ
アプロファイルで１つのオブジェクトと背景画像からな
るＭＰＥＧ−４符号化データを入力する。この入力され
た符号化データは分離器２に入力され、オブジェクトの
形状符号に関する符号化データとテクスチャに関する符
号化データ、更に背景のテクスチャに関する符号化デー
タとに分離される。そしてオブジェクトの形状符号に関
する符号化データは、形状符号復号部３に、オブジェク
トのテクスチャに関する符号化データはテクスチャ復号
器４に、背景のテクスチャに関する符号化データはテク
スチャ復号器５にそれぞれ入力される。
【００４９】形状符号復号部３では、オブジェクトの形
状を表わす２値の情報を復号する。ここでは例えば図１
７（ｂ）に示すような形状データを、その形状情報の例
として説明する。
【００５０】この形状情報は復号されて形状情報補正部
６に入力される。形状情報補正部６は、この形状の外側
に離散ウェーブレット変換のタップ数を考慮して領域を
拡大する。即ち、離散ウェーブレット変換によってオブ
ジェクト内の画素値が影響する範囲を含めた形状情報に
補正する。これはウェーブレット変換のタップ数とサブ
バンドの数で一意に決定できる。こうして補正された形
状情報は、ＲＯＩのマスク情報になるのでマスク情報符
号化部７に入力され、ＪＰＥＧ２０００符号化方式の書
式に従って符号化される。
【００５１】テクスチャ復号器４は、オブジェクトのテ
クスチャを復号する。また、テクスチャ復号器５は、背
景のテクスチャを復号する。離散ウェーブレット変換部
８は形状情報に従って、即ち、形状符号復号部３で復号
されて得られた形状情報でオブジェクト内と判定された
画素についてはテクスチャ復号器４の出力を、形状情報
補正部６で補正され拡張された領域についてはテクスチ
ャ復号器５の出力を入力して離散ウェーブレット変換す
る。また離散ウェーブレット変換部９は、テクスチャ復
号器５の出力である背景のテクスチャを入力して、離散
ウェーブレット変換を行う。
【００５２】量子化部１０は、離散ウェーブレット変換
部８の出力を入力し、所定の量子化係数で量子化する。
同様に、量子化部１１は、離散ウェーブレット変換部９
の出力を所定の量子化係数で量子化する。これら量子化
部１０，１１のそれぞれにより量子化された結果は、ビ
ットシフト制御部１２とビットプレーン合成部１３に入
力される。
【００５３】ビットシフト制御部１２は、入力された量
子化結果と形状情報補正部６から入力された形状情報か
ら、背景テクスチャでオブジェクトに隠れてしまう位置
の変換係数の量子化値を表現するのに必要なビット数Ｂ
ｂと、オブジェクトのテクスチャの量子化値を表現する
のに必要なビット数Ｂｏとを算出し、ビットプレーンの
合成のビットプレーン数と合成の方法を決定する。こう
して決定された結果に従って、ビットプレーン合成部１
３を制御する信号を生成する。例えば、量子化部１１の
出力から背景テクスチャの量子化結果の最大値が“６
３”に収まり、更に、オブジェクトの位置の背景テクス
チャを量子化した結果の最大値が“３１”に収まったと
すると、ビット数Ｂｂは“５”となる。また量子化部１
１からの出力によりオブジェクトのテクスチャを量子化
した結果の最大値が“６３”に収まったとするとビット
数Ｂｏは“６”となる。従って、ビットプレーン符号化
するビットプレーンの数Ｂｔは、ビット数ＢｂとＢｏの
和、即ち、１１ビットとなる。
【００５４】こうしてビットシフト制御部１２は、形状
情報からオブジェクトと重ならない領域に関しては下位
の６ビットに背景テクスチャの量子化結果を出力し、そ
の上位５ビットには“０”を補填するように制御する。
また、重なる領域に関しては、上位６ビットにオブジェ
クトの量子化結果を出力し、その下位５ビットに背景テ
クスチャの量子化結果を合成するように、ビットプレー
ン合成部１３を制御する。また、ビット数Ｂｔとオブジ
ェクトのビット数Ｂｂとを符号化し、ＢＩＴＳ符号とし
て多重化器１５に入力する。
【００５５】ビットプレーン合成部１３は、ビットシフ
ト制御部１２の制御に従ってビットプレーンの合成を行
う。その様子を図２に示す。
【００５６】図２において、オブジェクトの有る部分２
００に関しては、下位から６ビット目にオブジェクトの
最下位ビットが合成されている。こうして合成された結
果はエントロピ符号化部１４に入力される。図２におい
て、２０１にはオブジェクト２００の領域外に相当する
背景テクスチャを表わすビットが存在している。２０２
は“０”のビットを補填する空欄、２０３はオブジェク
トがビットシフトされた空き領域を示している。
【００５７】以上、図２のビットデータを生成するまで
の現象を概念的に述べると、オブジェクト及びこのオブ
ジェクトの背景（オブジェクト内外の背景を含む）を共
に符号化する為に、オブジェクト及びこのオブジェクト
の領域外に相当する背景テクスチャを周波数変換して第
１変換係数（離散ウェーブレット変換部８及び量子化部
１０からの出力）を生成する一方、このオブジェクト画
像の領域内に相当する背景テクスチャを周波数変換して
第２変換係数（離散ウェーブレット変換部９及び量子化
部１１からの出力）を生成するようにし、上記第１変換
係数の内で、上記オブジェクトの領域に相当するビット
群を上位のビットプレーンにビットシフトし、このビッ
トシフトにて生じた上記オブジェクトの領域外の空欄
（図２の２０２）にビット「０」を補填すると共に、上
記ビットシフトにて生じた上記オブジェクトの領域内の
空欄（図２の２０３）には上記オブジェクトの領域内に
相当する第２変換係数が補填されたことになる。
【００５８】エントロピ符号化部１４では、上位ビット
プレーンから順にビットプレーン符号化を行い、その符
号化結果を多重化器１５に供給する。多重化器１５で
は、ＪＰＥＧ２０００符号化方式の書式に従った符号化
データに整形する。
【００５９】以上、符号化までの処理を簡単な流れ図２
３を用いて説明する。まず、ステップＳ３０１にて、Ｍ
ＰＥＧ４符号化データを復号する等により、オブジェク
ト及びこのオブジェクトの背景（オブジェクト内外の背
景を含む）を得る。次に、ステップＳ３０２にて、オブ
ジェクト及びこのオブジェクトの領域外に相当する背景
を周波数変換して第１変換係数を生成する。一方、ステ
ップＳ３０３にて、オブジェクト画像の領域内に相当す
る背景テクスチャを周波数変換して第２変換係数も生成
する。なお、ステップＳ３０２とＳ３０３の処理順序は
双方を行えればどのような順序（１つの変換部のみで順
次行う場合／２つの変換部で並列に行う場合）でも構わ
ない。次に、ステップＳ３０４にて、上記第１変換係数
の内で上記オブジェクトの領域に相当するビット群を上
位のビットプレーンにビットシフトし、このビットシフ
トにて生じた上記オブジェクトの領域外の空欄（図２の
２０２）にビット「０」を補填すると共に、上記ビット
シフトにて生じた上記オブジェクトの領域内の空欄（図
２の２０３）には、上記オブジェクトの領域内に相当す
る第２変換係数を補填する。最後にステップＳ３０５に
て、得られた図２の様なビットデータを上位のビットプ
レーンから順にエントロピ符号化する。
【００６０】以上の符号化処理により得られる符号化デ
ータの出力例を図３に示す。
【００６１】図３では、最初に符号化された画像の大き
さなど情報を示す符号からなるヘッダと、そのヘッダに
続いてビットプレーン数Ｂｔとオブジェクトのビット数
Ｂｂの符号化結果であるＢＩＴＳ符号が設けられてい
る。続いて、マスク符号化部７から出力されたマスク情
報の符号化結果が続く。更に、オブジェクトの下位ビッ
トに背景のテクスチャが存在することを示すＳＨＩＦＴ
符号が続く。その後に、エントロピ符号化結果（デー
タ）が続く。このエントロピ符号化の結果は、サブバン
ド単位（ＬＬ〜ＨＨ１）に別れており、各サブバンドで
ビットプレーン１１枚分の符号化データからなってい
る。こうして多重化された符号化データは、符号出力部
１６から外部に出力される。
【００６２】このような一連の選択動作により、従来、
“０”を補填することで失われていた背景の画像データ
を保存した符号化データを生成することができる。ま
た、オブジェクトと重なった部分での必要ビット数を検
出してビットプレーンの合成を行うため、ビットプレー
ンを減少させて符号化効率を改善することが可能にな
る。
【００６３】尚、本実施の形態においては、入力をＭＰ
ＥＧ−４符号化データとし、出力をＪＰＥＧ２０００符
号化データとしたが、本発明はこれに限定されるもので
はない。
【００６４】更に、本実施の形態においては、量子化部
を設けて符号化効率の向上を図ったが、劣化のない可逆
な符号にするために量子化部を省略することはもちろん
可能である。
【００６５】［実施の形態２］図４は、本発明の実施の
形態２に係る画像処理装置の構成を示すブロック図であ
る。なお、前述の実施の形態１と同様の構成要素につい
ては同一番号を付してその詳細な説明は省略する。この
実施の形態２では、カメラ３１，３２により撮像された
画像データを入力し、符号化して出力する例で示してい
る。
【００６６】図４において、３１，３２は撮像してビデ
オ信号を生成するカメラである。３３はオブジェクト抽
出部で、既存のアルゴリズムに従って、撮像されたビデ
オ信号よりオブジェクトを切り出す。例えばクロマキー
のような手法によって切り抜きを行う。３４はフレーム
メモリで、カメラ３２により撮像された画像データを保
持している。
【００６７】カメラ３１により撮像された画像データ
は、フレーム単位でオブジェクト抽出部３３に入力され
る。オブジェクト抽出部３３では、そのオブジェクトを
切り出し、その形状を２値のマスク情報として抽出し、
その切り出した画像データをオブジェクトのテクスチャ
データとする。
【００６８】一方、カメラ３２は、背景となる画像デー
タを撮像し、オブジェクト抽出部３３と同期して処理を
行うためにフレームメモリ３４に画像データを格納す
る。
【００６９】本実施の形態２においては、これ以降、前
述の実施の形態１と同様の動作を行う。即ち、形状情報
補正部６は、オブジェクト抽出部３３からマスク情報を
入力し、その輪郭を広げて補正する。こうして補正され
た結果は、マスク符号化部７で符号化されて多重化器１
５に入力される。また、離散ウェーブレット変換部８
は、形状情報補正部６で補正された形状情報に従って、
オブジェクトの外側の領域では“０”を補填し、拡張さ
れた部分では、該当する画像データをフレームメモリ３
４から読み出す。更に、オブジェクトの内部では、オブ
ジェクト抽出部３３の出力を選択して離散ウェーブレッ
ト変換を行う。
【００７０】これと同時に離散ウェーブレット変換部９
は、背景画像の離散ウェーブレット変換を行う。量子化
部１０，１１は、これら各離散ウェーブレット変換部
８，９でウェーブレット変換された係数を入力して量子
化する。ビットシフト制御部１２は、形状情報補正部６
からのマスク情報と、量子化部１０，１１による量子化
結果とから、合成時のオブジェクトと背景のビット配分
を決定し、ビットプレーン合成部１３を制御するととも
に、これと同時に必要な情報を符号化する。ビットプレ
ーン合成部１３では、前述の実施の形態１と同様に、１
１ビットのビットプレーンを生成する。エントロピ符号
化部１４はこれらを符号化して多重化器１５に出力す
る。多重化器１５は、ＪＰＥＧ２０００符号化方式の書
式に従って符号化データを整形し、符号出力部１６を経
由して外部に出力する。
【００７１】以上説明したように本実施の形態２によれ
ば、撮像した画像データからオブジェクトを別個に扱え
る符号化データを生成することが可能になる。
【００７２】尚、本実施の形態２においては、量子化部
を設けて符号化効率の向上を図ったが、劣化のない可逆
な符号にするために量子化部を省略することはもちろん
可能である。
【００７３】［実施の形態３］図５は、本発明の実施の
形態３の画像処理装置の構成を示すブロック図である。
本実施の形態３では、前述の実施の形態１で生成したＪ
ＰＥＧ２０００符号化データを入力し、ＭＰＥＧ−４符
号化データで出力する場合で説明する。
【００７４】図５において、５１は符号入力部で、前述
の実施の形態１で生成したＪＰＥＧ２０００符号化デー
タを入力する。５２は分離器で、入力された符号化デー
タを分離して後段の各部に入力する。５３はフラグ判定
部で、符号化データのＳＨＩＦＴ符号を復号して判定す
る。５４はマスク復号部で、ＲＯＩの形状・位置を表わ
すマスク情報と全体のビット数とＲＯＩ部のビット数を
表わすＢＩＴＳ符号を復号する。５５は形状情報補正部
で、形状情報を補正する。５６は形状情報符号化部で、
ＭＰＥＧ−４符号化方式で形状情報を符号化する。５７
はエントロピ復号部で、ビットプレーン単位で復号す
る。５８はビットプレーン分離器で、符号化データをオ
ブジェクト部分のビットプレーンデータと、背景部分の
ビットプレーンデータとに分離し、それぞれを逆量子化
部５９，６０に出力する。逆量子化部５９，６０は、量
子化部１０，１１のそれぞれの逆量子化を行う。６１，
６２は逆離散ウェーブレット変換部で、離散ウェーブレ
ット変換部８，９の逆離散ウェーブレット変換を行う。
６３はオブジェクト整形部で、形状情報補正部５５で補
正された形状情報に従ってオブジェクトの画像データを
整形する。６４，６５のそれぞれはテクスチャ符号化部
で、オブジェクト部分と背景部分とをそれぞれＭＰＥＧ
−４符号化方式でテクスチャ符号化する。６６は多重化
器で、形状情報符号化部５６、テクスチャ符号化部６
４、テクスチャ符号化部６５からの出力を、ＭＰＥＧ−
４符号化方式の書式に従って符号化データに形成する。
６７はＭＰＥＧ−４符号化データ出力部で、生成された
ＭＰＥＧ−４符号化データを出力する。
【００７５】このような構成において、符号化入力部５
１は前述の実施の形態１で生成した符号化データを入力
する。この入力された符号化データは分離器５２に入力
されてヘッダが復号され、必要な情報が取得されて各部
に入力される。更に、ＢＩＴＳ符号、マスク情報の符号
化データをマスク復号部５４に、ＳＨＩＦＴ符号をフラ
グ判定部５３に、残りをエントロピ復号部５７に入力す
る。
【００７６】フラグ判定部５３は、ＳＨＩＦＴ符号を復
号し、ＲＯＩ部分の下位ビットに背景画像の情報がある
か否かを判定する。もし背景画像の情報がないと判定さ
れれば、通常のＪＰＥＧ２０００符号化方式におけるＲ
ＯＩの処理を行う。一方、背景画像があると判定されれ
ば、その背景画像データの再生を行う。
【００７７】まず最初に背景画像がある場合について述
べる。
【００７８】マスク復号部５４は、ＲＯＩの形状及び位
置を表わすマスク情報と全体のビット数とＲＯＩ部のビ
ット数を表わすＢＩＴＳ符号を復号する。なお、ここで
ＲＯＩ部は、オブジェクトを表わしている。マスク情報
は、前述の実施の形態１の形状情報補正部６において、
オブジェクトの形状の外側に離散ウェーブレット変換の
タップ数を考慮して領域が拡大されているので、形状情
報補正部５５は、その逆の処理を行う。即ち、離散ウェ
ーブレット変換によってオブジェクト内の画素値が影響
する範囲を含めない形状情報に補正する。こうして補正
された形状情報は形状情報符号化部５６に入力され、Ｍ
ＰＥＧ−４符号化方式の形状情報符号化に従って符号化
される。
【００７９】一方、エントロピ復号部５７では、上位ビ
ットプレーンから順にビットプレーンを復号し、その復
号した結果をビットプレーン分離器５８に入力する。ビ
ットプレーン分離器５８には、図２に示されたビットプ
レーンのデータが入力される。図２において、薄い灰色
で示されたオブジェクト２００のテクスチャデータは、
マスク復号部５４で復号された形状情報とオブジェクト
のビット数Ｂｏに従って分離されて逆量子化部５９に入
力される。また図２の濃い灰色で示された背景画像２０
１のテクスチャデータは、オブジェクトの最下位ビット
が合成されていた部分に“０”が補填されて逆量子化部
６０に入力される。
【００８０】逆量子化部５９，６０はそれぞれ、量子化
部１０，１１の逆量子化を実行し、その逆量子化結果は
それぞれ、逆離散ウェーブレット変換部６１，６２に入
力される。逆離散ウェーブレット変換部６１，６２は、
各入力に対して逆離散ウェーブレット変換を行ってテク
スチャのデータを再生する。
【００８１】逆離散ウェーブレット変換部６１の出力
は、オブジェクト整形部６３に入力され、このオブジェ
クト整形部６３は、形状情報補正部５５の出力であるオ
ブジェクト本来の形状情報を入力し、その形状情報に基
づいてオブジェクトの外側と判定された背景部分を
“０”に置き換える。テクスチャ符号化部６４は、オブ
ジェクト整形部６３で整形されたオブジェクトのテクス
チャデータをＭＰＥＧ−４符号化方式のテクスチャ符号
化に従って符号化する。またテクスチャ符号化部６５
は、背景のテクスチャデータをＭＰＥＧ−４符号化方式
のテクスチャ符号化に従って符号化する。
【００８２】多重化器６６は、ＭＰＥＧ−４符号化方式
のコアプロファイル書式に従った符号化データに整形す
る。こうして整形された符号化データは、ＭＰＥＧ−４
符号化データ出力部６７から、コアプロファイルで１つ
のオブジェクトと背景画像からなるＭＰＥＧ−４符号化
データとして外部に出力される。
【００８３】次に、フラグ判定部５３で背景画像がない
と判断された場合について説明する。
【００８４】この場合、フラグ判定部５３は、形状情報
補正部５５、形状情報符号化部５６、逆量子化部５９、
逆離散ウェーブレット変換部６１、オブジェクト整形部
６３、テクスチャ符号化部６４を動作させないように制
御する。またビットプレーン分離器５８は、通常のＪＰ
ＥＧ２０００符号化方式で扱うＲＯＩの処理を行うよう
に制御される。
【００８５】マスク復号部５４は、ＲＯＩの形状・位置
を表わすマスク情報と全体のビット数とＲＯＩ部のビッ
ト数を表わすＢＩＴＳ符号を復号する。エントロピ復号
部５７は上位ビットプレーンから順にビットプレーンを
復号し、その復号結果をビットプレーン分離器５８に入
力する。ビットプレーン分離器５８には、図１９に示し
たのと同様なビットプレーンのデータが入力される。
【００８６】図１９において、薄い灰色で示されたオブ
ジェクト２００のテクスチャデータは、マスク復号部５
４で復号された形状情報とオブジェクトのビット数Ｂｏ
に従って分離され、その下位のビットプレーンにシフト
して逆量子化部６０に入力される。この時のビットプレ
ーンデータは図１８で示されるようなビットプレーンの
構成となる。
【００８７】逆量子化部６０は、入力に対して逆量子化
し、逆離散ウェーブレット変換部６２で逆離散ウェーブ
レット変換を行い、オブジェクトのテクスチャのデータ
を再生する。テクスチャ符号化部６５は、背景のテクス
チャデータと同様にＭＰＥＧ−４符号化方式のテクスチ
ャ符号化に従って、そのオブジェクトのテクスチャデー
タを符号化する。
【００８８】多重化器６６は、ＭＰＥＧ−４符号化方式
のシンプルプロファイルの書式に従った符号化データに
整形する。即ち、オブジェクトが矩形の画像の符号化デ
ータとして整形された符号化データは、ＭＰＥＧ−４符
号化データ出力部６７から１つのオブジェクトからなる
ＭＰＥＧ−４符号化データとして出力される。
【００８９】このような一連の選択動作により、従来の
ＪＰＥＧ２０００符号化データとの互換性を保ちつつ、
オブジェクトと背景の画像データを両方保持する符号化
データをオブジェクト符号化データに変換することがで
きる。
【００９０】なお、本実施の形態３においては、入力を
ＪＰＥＧ２０００符号化データとし、出力をＭＰＥＧ−
４符号化データとしたが、本発明はこれに限定されるも
のでない。
【００９１】更に、本実施の形態３においては、量子化
部を設けて符号化効率の向上を図ったが、劣化のない可
逆な符号にするために量子化部を省略することはもちろ
んである。
【００９２】［実施の形態４］図６は、本発明の実施の
形態４に係る画像処理装置の構成を示すブロック図であ
る。なお、前述の実施の形態１と同様の構成要素につい
ては同一番号を付してその詳細な説明は省略する。
【００９３】図６において、１０１は量子化結果を部分
的に変更する量子化値処理部である。１０２はビットプ
レーン合成器であり、１０３はエントロピ符号化部であ
る。ここでは、前述の実施の形態１と同様に、ＭＰＥＧ
−４符号化データ入力部１はコアプロファイルで１つの
オブジェクトと背景画像からなるＭＰＥＧ−４符号化デ
ータを入力する。こうして入力された符号化データは分
離器２に入力され、オブジェクトの形状符号に関する符
号化データとテクスチャに関する符号化データ、更に、
背景のテクスチャに関する符号化データとに分類され
る。そしてオブジェクトの形状符号に関する符号化デー
タは形状符号復号部３に、オブジェクトのテクスチャに
関する符号化データはテクスチャ復号部４に、背景のテ
クスチャに関する符号化データはテクスチャ復号部５に
それぞれ入力される。
【００９４】形状符号復号部３は、オブジェクトの形状
を表わす２値の情報を復号し、形状情報補正部６に入力
する。形状情報補正部６は、前述の実施の形態１と同様
に、オブジェクト形状の外側に離散ウェーブレット変換
のタップ数を考慮して領域を拡大する。テクスチャ復号
部４は、オブジェクトのテクスチャを復号する。また、
テクスチャ復号部５は、背景のテクスチャを復号する。
離散ウェーブレット変換部８は、形状符号復号部３によ
って復号された形状情報に従って、オブジェクト内と判
定された画素についてはテクスチャ復号部４の出力を、
形状情報補正部６で補正されて拡張された領域について
はテクスチャ復号部５の出力を入力して離散ウェーブレ
ット変換する。
【００９５】量子化部１０は、離散ウェーブレット変換
部８の出力を所定の量子化係数で量子化する。同様に、
量子化部１１は、離散ウェーブレット変換部９の出力を
所定の量子化係数で量子化する。この量子化部１０で量
子化した結果は、量子化値処理部１０１に入力され、量
子化部１１で量子化した結果はビットプレーン合成器１
０２に入力される。
【００９６】また量子化値処理部１０１は、形状情報補
正部６から入力された形状情報に従って、量子化部１０
から入力された量子化結果を補正する。ここでは値
“０”の量子化値を“１”に置換し、オブジェクト内の
全ての量子化値が非０となるように処理を行う。その結
果はビットプレーン合成器１０２に入力される。
【００９７】ビットプレーン合成器１０２は、形状情報
補正部６の制御に従ってビットプレーンの合成を行う。
その様子を図７に示す。
【００９８】図７において、オブジェクトのある部分７
００に関しては最上位から８ビット目までに格納されて
いる。この時、透明な部分７０１には“０”が補填され
る。背景に関する部分は、第７ビット目から最下位ビッ
ト（０ビット目）までに格納されており、オブジェクト
７００と背景画７０２とはビットプレーン内で混在しな
い形で合成されている。こうして合成された結果は、エ
ントロピ符号化部１０３に入力される。このエントロピ
符号化部１０３は、ＪＰＥＧ２０００符号化方式の書式
に従って符号を生成して符号出力部１６に出力する。
【００９９】その生成例を図８に示す。図８はＪＰＥＧ
２０００符号化データのデータフォーマットを示す図で
ある。
【０１００】図８において、８０１は、符号化された画
像の大きさなど情報を示す符号からなるヘッダである。
８０２は、ビットプレーン数の符号化結果であるＢＩＴ
Ｓ符号である。８０３には、各ビットプレーンのエント
ロピ符号化結果が格納されている。このエントロピ符号
化結果は、ビットプレーン単位に分離されており、各ビ
ットプレーンの中は各サブバンドの符号化データからな
っている。こうして生成された符号化データは、符号出
力部１６から外部に出力される。
【０１０１】このような一連の選択動作により、従来は
“０”を補填することで失われていた背景の画像データ
を保存した符号化データを生成することができる。オブ
ジェクトの形状は、上位ビットが“０”か“非０”かで
判定できるので、オブジェクトの形状情報を符号化せ
ず、符号化効率を改善することが可能になる。
【０１０２】なお、本実施の形態４においては、入力を
ＭＰＥＧ−４符号化データとし、出力をＪＰＥＧ２００
０符号化データとしたが本発明はこれに限定されない。
【０１０３】なお、本実施の形態４においては、量子化
値処理部１０１において値“０”を最小値の“１”に置
換したが、本発明はこれに限定されず、出現しない量子
化値に置換してももちろん構わない。この場合は、置換
した値も符号化して伝送し、復号側で置換した値を
“０”に置換することによって、情報の劣化を防ぐこと
が可能である。
【０１０４】更に、本実施の形態４においては、量子化
部１０，１１を設けて符号化効率の向上を図ったが、劣
化のない可逆な符号にするために、これら量子化部を省
略することはもちろん可能である。
【０１０５】［実施の形態５］図９は、本発明の実施の
形態５に係る画像処理装置の構成を示すブロック図であ
る。なお、前述の実施の形態３（図５）と同様の構成要
素については同一番号を付して、その詳細な説明は省略
する。
【０１０６】図９において、１５１はＪＰＥＧ２０００
符号化データを復号するエントロピ復号部である。１５
２はビットプレーン分離器で、ビット上位のオブジェク
トに関するデータと、ビット下位の背景に関するデータ
とを分離する。１５３は形状抽出部で、オブジェクトに
関するデータからオブジェクトの形状を抽出する。１５
４は量子化値処理部で、量子化値を置換する。
【０１０７】本実施の形態５では、前述の実施の形態４
で生成したＪＰＥＧ２０００符号化データを入力し、Ｍ
ＰＥＧ−４符号化データを出力する場合で説明する。
【０１０８】ここでは前述の図５を参照して説明した実
施の形態３と同様に、符号入力部５１は、前述の実施の
形態４で生成した符号化データを入力する。入力された
符号化データはエントロピ復号部１５１に入力される。
エントロピ復号部１５１ではヘッダ８０１（図８参照）
を復号し、必要な情報を取得して各部に入力する。更
に、ＢＩＴＳ符号８０２（図８参照）を復号し、各部に
情報を入力する。更にデータ部分８０３（図８参照）を
復号し、上位ビットから順にビットプレーン単位で復号
する。尚、ここでは、ＢＩＴＳ符号の復号結果から、上
位半分のビットプレーンがオブジェクトに関するデータ
であり、下位半分のビットプレーンが背景に関するデー
タであることが分かる。従って、ビットプレーン分離器
１５２は、上位のビットプレーンを形状抽出部１５３と
量子化値処理部１５４に供給し、下位のビットプレーン
を逆量子化部６０に供給する。
【０１０９】形状抽出部１５３は、入力されたビットプ
レーンを量子化値ごとに判定し、量子化値が“０”であ
ればオブジェクトの外、“非０”であればオブジェクト
の内として判定し、その結果を２値の形状情報として生
成する。こうして生成された形状情報は形状情報補正部
５５に入力される。形状情報補正部５５は、前述の実施
の形態３と同様に、離散ウェーブレット変換のタップ数
が既知であることから形状情報を補正し、オブジェクト
の形状を表す形状情報に補正する。こうして補正された
形状情報は、形状情報符号化部５６とオブジェクト整形
部６３に入力される。形状情報符号化部５６は、前述の
実施の形態３と同様に、ＭＰＥＧ−４符号化方式の形状
情報符号化に従って形状情報を符号化して多重化器６６
に入力する。
【０１１０】一方、量子化値処理部１５４に入力された
量子化値は値“１”を全て“０”に置換して逆量子化部
５９に出力する。以降、前述の実施の形態３と同様に、
逆量子化部５９は、その入力を逆量子化し、逆離散ウェ
ーブレット変換部６１で逆離散ウェーブレット変換を行
い、テクスチャデータを再生する。こうして再生された
テクスチャデータは、オブジェクト整形部６３で、形状
情報補正部５５で補正された形状情報によってオブジェ
クトの外側と判定された部分を“０”に置き換える。テ
クスチャ符号化部６４は、整形されたオブジェクトのテ
クスチャデータをＭＰＥＧ−４符号化方式のテクスチャ
符号化に従って符号化する。
【０１１１】また、下位のビットプレーンも、前述の実
施の形態３と同様に、逆量子化部６０により逆量子さ
れ、逆離散ウェーブレット変換部６２により逆離散ウェ
ーブレット変換されてテクスチャのデータを再生する。
この背景のテクスチャのデータはテクスチャ符号化部６
５に入力され、ＭＰＥＧ−４符号化方式のテクスチャ符
号化に従って符号化される。
【０１１２】多重化器６６は、形状情報符号化部５６、
テクスチャ符号化部６４，６５から符号化データを入力
し、ＭＰＥＧ−４符号化方式のコアプロファイルの書式
に従った符号化データに整形する。こうして整形された
符号化データは、ＭＰＥＧ−４符号化データ出力部６７
からコアプロファイルで１つのオブジェクトと背景画像
からなるＭＰＥＧ−４符号化データとして外部に出力さ
れる。
【０１１３】このような一連の選択動作により、従来の
ＪＰＥＧ２０００符号化データとの互換性を保ちつつ、
オブジェクトと背景の画像データを両方を保持する符号
化データを、オブジェクト符号化データに変更すること
ができる。また、オブジェクトの形状情報を量子化値か
ら再生するので形状情報を伝送する必要がなく、量子化
値の置換による画質劣化も、最小値への置換によって最
低限に抑制することができる。
【０１１４】なお、本実施の形態５においては、入力を
ＪＰＥＧ２０００符号化データとし、出力をＭＰＥＧ−
４符号化データとしたが、本発明はこれに限定されるも
のではない。
【０１１５】なお、本実施の形態５においては、量子化
値処理部１５４において“０”を別な値に置換し、その
置換した値も符号化して伝送されている場合、その置換
された値を“０”に置換することによって情報の劣化を
防ぐことが可能である。
【０１１６】更に、本実施の形態５においては、量子化
部を設けて符号化効率の向上を図ったが、劣化のない可
逆な符号にするために量子化部を省略することはもちろ
ん可能である。
【０１１７】［実施の形態６］図１０は、本発明の実施
の形態６に係る画像処理装置の構成を示すブロック図で
ある。
【０１１８】図１０において、５００は装置全体の制
御、及び種々の処理を行う中央演算装置（ＣＰＵ）、５
０１は本装置の制御に必要なオペレーティングシステム
（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供
するメモリである。５０２は各部、各種制御部や種々の
装置を接続し、データや制御信号等をやり取りするバ
ス、５０３はソフトウェアを蓄積する記憶部、５０４は
動画像データを蓄積する記憶部、５０５は画像やメッセ
ージ等を表示するモニタ（表示部）であり、５０８は通
信回線であり、ＬＡＮ、公衆回線、無線回線、放送電波
等で構成されている。５０７は通信回線５０８に符号化
データを送信する通信インターフェースである。５０６
は装置を起動したり、ビットレート等の各種条件を設定
したりするための端末である。
【０１１９】メモリ５０１には、この装置全体を制御
し、各種ソフトウェアを動作させるためのＯＳや、動作
させるソフトウェアを格納し、画像データを符号化のた
めに読み込む画像エリア、一時的に符号データを格納す
る符号エリア、各種演算のパラメータ等を格納しておく
ワーキングエリアが存在する。
【０１２０】このような構成において、処理に先立ち、
端末５０６から記憶部５０４に蓄積されている複数の動
画像データの中から符号化する動画像データを選択し、
装置の起動が指示される。これにより記憶部５０３に格
納されているソフトウェアがバス５０２を介してメモリ
５０１に展開され、そのソフトウェアが起動されて処理
が開始される。
【０１２１】以下、記憶部５０４に格納されているＭＰ
ＥＧ−４符号化データを、ＣＰＵ５００によりフレーム
単位でＪＰＥＧ２０００符号化データへ変換する動作を
図１１に示すフローチャートに従って説明する。尚、こ
のＭＰＥＧ−４符号化データは、コアプロファイルのデ
ータで、背景と１つのオブジェクトからなっているもの
とする。
【０１２２】まずステップＳ１で、端末５０６で選択さ
れたＭＰＥＧ−４符号化データを記憶部５０４から読み
出してメモリ５０１の符号エリアに格納する。次にステ
ップＳ２に進み、ＭＰＥＧ−４符号化データのうち、オ
ブジェクトの形状情報に関する符号化データを読み出し
て復号し、そのオブジェクトの形状を表す２値画像を生
成してメモリ５０１の画像エリアに格納する。次にステ
ップＳ３に進み、後段で用いる離散ウェーブレット変換
のタップ数から、そのオブジェクトの形状情報を拡張す
るための拡張領域を計算する。ここでは、タップ数とサ
ブバンドの数とから、そのオブジェクトの垂直及び水平
方向の拡張領域の大きさが一意に決定できる。こうして
拡張された領域とそれ以外の領域を示す２値の画像を生
成してステップＳ４に進む。
【０１２３】ステップＳ４では、生成するＪＰＥＧ２０
００符号化データの画像の特性に関する符号化データで
あるヘッダと、メモリ５０１の画像エリアに格納された
形状情報と拡張領域の情報からＪＰＥＧ２０００符号化
方式のＲＯＩの形状を表すマスクを符号化し、メモリ５
０１の符号エリアに格納する。次にステップＳ５に進
み、メモリ５０１の符号エリアに格納されたＭＰＥＧ−
４符号化データからオブジェクトのテクスチャに関する
符号化データを取り出して復号し、復号して生成した画
像データをメモリ５０１の画像エリアに格納する。次に
ステップＳ６に進み、メモリ５０１の符号エリアに格納
されたＭＰＥＧ−４符号化データから、背景のテクスチ
ャに関する符号化データを取り出して復号し、その生成
した背景画像データをメモリ５０１の画像エリアに格納
する。
【０１２４】次にステップＳ７に進み、ステップＳ２で
生成したオブジェクトの形状情報によりオブジェクトの
内部と判定された画素の場合にはオブジェクトのテクス
チャデータとして、またステップＳ３で生成した拡張領
域に属する画素の場合には背景のテクスチャデータとし
て、それ以外は“０”として離散ウェーブレット変換す
る。そして、その結果をメモリ５０１のワーキングエリ
アに格納してステップＳ８に進み、メモリ５０１のワー
キングエリアに格納されたオブジェクトの変換結果を所
定の量子化係数に従って量子化する。
【０１２５】次にステップＳ９に進み、ステップＳ８で
メモリ５０１のワーキングエリアに格納したオブジェク
トの量子化結果を上位のビットプレーンから符号化し、
その符号化結果をメモリ５０１の符号エリアのマスクに
関する符号の後に続けて格納する。次にステップＳ１０
に進み、背景のテクスチャデータに離散ウェーブレット
変換を施し、その結果をメモリ５０１のワーキングエリ
アに格納してステップＳ１１に進む。ステップＳ１１で
は、このワーキングエリアに格納された背景の変換結果
を所定の量子化係数に従って量子化する。そしてステッ
プＳ１２に進み、ステップＳ１１でメモリ５０１のワー
キングエリアに格納された背景の量子化結果を上位のビ
ットプレーンから符号化し、その符号化結果をメモリ５
０１の符号エリアに格納されたオブジェクトのテクスチ
ャに関する符号の後に続けて格納する。こうしてメモリ
５０１の符号エリアに生成されたＪＰＥＧ２０００符号
化データを記憶部５０４の所定の位置に格納する。この
ステップＳ１２の処理を終了するとフレームの符号化処
理を終了し、次のフレームの処理を行うか、或は処理を
終了する。
【０１２６】このような一連の選択動作により、従来の
ＪＰＥＧ２０００符号化データとの互換性を保ちつつ、
オブジェクトと背景の画像データを両方保持する符号化
データをオブジェクト符号化データに変換することがで
きる。
【０１２７】なお、本実施の形態６では、入力をＪＰＥ
Ｇ２０００符号化データとし、出力をＭＰＥＧ−４符号
化データとしたが、本発明はこれに限定されるものでは
ない。
【０１２８】［実施の形態７］本発明の実施の形態７と
して、図１０に示した画像処理装置の構成を用い、前述
の実施の形態６で生成された記憶部５０４に格納されて
いるフレーム単位のＪＰＥＧ２０００符号化データを、
ＭＰＥＧ−４符号化データへ変換する動作を図１２に示
すフローチャートに従って説明する。
【０１２９】ステップＳ１０１では、端末５０６で選択
されたＪＰＥＧ２０００符号化データを記憶部５０４か
ら読み出し、メモリ５０１の符号エリアに格納し、ＪＰ
ＥＧ２０００符号化データのヘッダとマスク情報の復号
を行い、その復号再生されたマスク情報をメモリ５０１
の画像エリアに格納する。次にステップＳ１０２に進
み、メモリ５０１の符号エリアに格納されたＪＰＥＧ２
０００符号化データのうち、ＲＯＩに相当するビットプ
レーンまでの符号化データを読み出し、これを復号して
メモリ５０１の画像エリアに格納する。これはオブジェ
クトのテクスチャの量子化結果である。
【０１３０】次にステップＳ１０３に進み、メモリ５０
１の画像エリアに格納されたマスク情報と符号化時に使
用した離散ウェーブレット変換から、図１１のステップ
Ｓ３で拡張された拡張領域を算出し、２値画像としてメ
モリ５０１の画像エリアに格納する。次にステップＳ１
０４に進み、ステップＳ１０３で算出された拡張領域を
ステップＳ１０１で復号して得られたマスク情報から除
去して補正し、オブジェクトの形状情報を生成し、それ
を符号化してメモリ５０１の符号エリアに格納する。次
にステップＳ１０５に進み、ステップＳ１０３でメモリ
５０１の画像エリアに格納したオブジェクトテクスチャ
の量子化結果を逆量子化してメモリ５０１の画像エリア
に格納する。次にステップＳ１０６に進み、ステップＳ
１０５で生成された、オブジェクトテクスチャの逆量子
化結果に対して逆離散ウェーブレット変換を施して画像
データを生成し、その画像データをメモリ５０１の画像
エリアに格納する。次にステップＳ１０７に進み、ステ
ップＳ１０３で算出されたオブジェクトの拡張領域に該
当する画素データを“０”に置換してメモリ５０１の画
像エリアに格納する。
【０１３１】次にステップＳ１０８に進み、ステップＳ
１０７で格納された、オブジェクトの画像データに対し
てＭＰＥＧ−４符号化方式のテクスチャ符号化を施して
符号化データを生成し、それをメモリ５０１の符号エリ
アの形状情報符号化データに続けて格納する。この形状
符号化データとテクスチャの符号化データは、オブジェ
クトのＭＰＥＧ−４符号化データであるので、記憶部５
０４の所定の位置に格納する。
【０１３２】次にステップＳ１０９に進み、メモリ５０
１の符号エリアに格納されて復号処理が行われていない
下位のビットプレーンを復号してメモリ５０１の画像エ
リアに格納しステップＳ１１０に進む。これは背景のテ
クスチャの量子化結果である。ステップＳ１１０では、
ステップＳ１０９でメモリ５０１の画像エリアに格納し
た背景のテクスチャの量子化結果を逆量子化し、メモリ
５０１の画像エリアに格納する。次にステップＳ１１１
に進み、ステップＳ１１０で生成された背景テクスチャ
の逆量子化結果に対して逆離散ウェーブレット変換を施
し、画像データを生成してメモリ５０１の画像エリアに
格納する。次にステップＳ１１２に進み、ステップＳ１
１１で格納された背景の画像データに対してＭＰＥＧ−
４符号化方式のテクスチャ符号化を施して符号化データ
を生成し、背景画像のテクスチャの符号化データとして
記憶部５０４の所定の位置に蓄積する。次にステップＳ
１１３に進み、ＭＰＥＧ−４符号化データとして出力す
る。
【０１３３】このような一連の選択動作により、従来の
ＪＰＥＧ２０００符号化データとの互換性を保ちつつ、
オブジェクトと背景の画像データを両方保持する符号化
データをオブジェクト符号化データに変換することがで
きる。
【０１３４】なお、本実施の形態７においては、ＪＰＥ
Ｇ２０００符号化データを入力し、ＭＰＥＧ−４符号化
データを出力したが、本発明はこれに限定されない。
【０１３５】また本実施の形態７では、ＭＰＥＧ−４符
号化においてフレーム単位の符号化を例にとって説明を
行ったが、動き補償を行ってももちろん構わない。
【０１３６】また更に、背景画像とオブジェクトの画像
を形状情報に従って合成し、モニタ５０６に表示した
り、記憶部５０４に格納したり、通信インターフェース
５０７を介して通信回線５０８に送出してももちろん構
わない。
【０１３７】［実施の形態８］図２０は、本発明の実施
の形態８に係る画像処理装置の構成を示すブロック図で
ある。
【０１３８】図２０では、図５における形状情報符号化
部５６、テクスチャ符号化部６４、６５を、それぞれ形
状情報出力部８５６、テクスチャ出力部８６４、８６５
に変更し、多重化器６６、MPEG-４符号化データ出力部
６７を省略している。なお、前述の実施の形態３（図
５）と同様の構成要素については同一番号を付して、そ
の詳細な説明を省略する。
【０１３９】図２０において、８５６は形状情報出力部
で、生成された形状情報を出力する。８６４はテクスチ
ャ出力部で、生成されたオブジェクトの画像データを出
力する。８６５はテクスチャ出力部で、生成された背景
の画像データを出力する。
【０１４０】本実施の形態８では、前述の実施の形態２
で生成したＪＰＥＧ２０００符号化データを入力し、再
生する場合で説明する。
【０１４１】ここでは前述の図５を参照して説明した実
施の形態３と同様に、符号入力部５１は、前述の実施の
形態１で生成した符号化データを入力する。この入力さ
れた符号化データは分離器５２に入力されてヘッダが復
号され、各符号化データがフラグ判定部５３、マスク復
号部５４、エントロピ復号部５７にそれぞれ入力され
る。ここでは前述の実施の形態３と同様に、フラグ判定
部５３は、背景の有無を判定し、マスク復号部５４はマ
スク情報を復号する。この復号されたマスク情報は形状
情報補正部５５で補正され、オブジェクト整形部６３に
入力されるとともに、形状情報出力部８５６から外部に
出力される。
【０１４２】エントロピ復号部５７は、各ビットプレー
ンを復号し、ビットプレーン分離器５８はフラグ判定部
５３の指示に従って、ビットプレーンのデータを逆量子
化部５９、６０にそれぞれ分離して出力する。
【０１４３】以下、前述の実施の形態３と同様に、オブ
ジェクトに関しては逆量子化および逆離散ウェーブレッ
ト変換を施して画像データを再生し、オブジェクト整形
部６３にて整形し、テクスチャ出力部８６４から外部に
出力される。また背景に関しても、逆量子化および逆離
散ウェーブレット変換を施して画像データを再生し、テ
クスチャ出力部８６５から外部に出力される。このよう
な一連の選択動作により、従来のＪＰＥＧ２０００符号
化データから、オブジェクトと背景の画像データを再生
することが可能になる。
【０１４４】［実施の形態９］図２１は、本発明の実施
の形態９に係る画像処理装置の構成を示すブロック図で
ある。なお、前述の実施の形態５（図９）と同様の構成
要素については同一番号を付してその詳細な説明は省略
する。
【０１４５】図２１において、９５６は形状情報出力部
で、生成された形状情報を出力する。９６４はテクスチ
ャ出力部で、生成されたオブジェクトの画像データを出
力する。９６５はテクスチャ出力部で、生成された背景
の画像データを出力する。
【０１４６】本実施の形態９では、前述の実施の形態４
で生成したＪＰＥＧ２０００符号化データを入力し、再
生する場合で説明する。
【０１４７】ここでは前述の図９を参照して説明した実
施の形態５と同様に、符号入力部５１は、前述の実施の
形態４で生成した符号化データを入力する。こうして入
力された符号化データは、エントロピ復号部１５１に入
力され、ヘッダ、BITS符号、データ部分（図８参照）を
復号し、各ビットプレーンを復号する。ビットプレーン
分離器１５２は、上位のビットプレーンと下位のビット
プレーンとを分離し、上位ビットプレーンを形状抽出部
１５３と量子化値処理部１５４に供給し、下位のビット
プレーンを逆量子化部６０に供給する。
【０１４８】形状抽出部１５３は、前述の実施の形態５
と同様に、量子化値からオブジェクトの内外を判定して
形状情報を生成する。こうして生成された形状情報は、
形状情報補正部５５で補正され、オブジェクト整形部６
３に入力されるとともに、形状情報出力部９５６から外
部に出力される。
【０１４９】ここでも前述の実施の形態５と同様に、オ
ブジェクトに関しては量子化値処理部１５４で量子化値
の置換が行われ、逆量子化および逆離散ウェーブレット
変換を施して画像データを再生し、オブジェクト整形部
６３にて整形し、テクスチャ出力部９６４から外部に出
力する。また背景に関しても、逆量子化および逆離散ウ
ェーブレット変換を施して画像データを再生し、テクス
チャ出力部９６５から外部に出力する。このような一連
の選択動作により、ＪＰＥＧ２０００符号化データか
ら、オブジェクトと背景の画像データを再生することが
可能になる。
【０１５０】［実施の形態１０］本発明の実施の形態１
０として、図１０に示した画像処理装置の構成を用い、
前述の実施形態６で生成された記憶部５０４に格納され
ているフレーム単位のＪＰＥＧ２０００符号化データか
ら画像データを再生させる動作を図２２に示すフローチ
ャートにしたがって説明する。
【０１５１】まずステップＳ２０１では、端末５０６で
選択されたＪＰＥＧ２０００符号化データを記憶部５０
４から読み出し、メモリ５０１の符号エリアに格納し、
ＪＰＥＧ２０００符号化データのヘッダとマスク情報の
復号を行い、その再生されたマスク情報をメモリ５０１
の画像エリアに格納する。次にステップＳ２０２に進
み、メモリ５０１の符号エリアに格納されたＪＰＥＧ２
０００符号化データのうち、ＲＯＩに相当するビットプ
レーンまでの符号化データを読み出し、これを復号して
メモリ５０１の画像エリアにオブジェクトのテクスチャ
の量子化結果を格納する。
【０１５２】次にステップＳ２０３に進み、メモリ５０
１の画像エリアに格納されているマスク情報と符号化時
に使用した離散ウェーブレット変換とから、図１１のス
テップＳ３で拡張された拡張領域を算出し、２値画像と
してメモリ５０１の画像エリアに格納する。次にステッ
プＳ２０４に進み、ステップＳ２０３で算出された拡張
領域を、ステップＳ２０１で復号して得られたマスク情
報から除去して補正してオブジェクトの形状情報を生成
し、それをメモリ５０１の画像エリアに格納し、外部、
例えばモニタ５０５に出力する。
【０１５３】次にステップＳ２０５に進み、ステップＳ
２０３でメモリ５０１の画像エリアに格納したオブジェ
クトテクスチャの量子化結果を逆量子化して、メモリ５
０１の画像エリアに格納する。次にステップＳ２０６に
進み、ステップＳ２０５で生成した、オブジェクトテク
スチャの逆量子化結果に対して逆離散ウェーブレット変
換を施して画像データを生成し、その画像データをメモ
リ５０１の画像エリアに格納する。次にステップＳ２０
７に進み、ステップＳ２０３で算出されたオブジェクト
の拡張領域に該当する画素データを“０“に置換してメ
モリ５０１の画像エリアに格納し、ステップＳ２０８に
進み、外部、例えばモニタ５０５に出力する。
【０１５４】次にステップＳ２０９に進み、メモリ５０
１の符号エリアに格納されて復号処理が行われていない
下位のビットプレーンを復号してメモリ５０１の画像エ
リアに格納してステップＳ２１０に進む。このステップ
Ｓ２１０では、ステップＳ２０９でメモリ５０１の画像
エリアに格納した背景のテクスチャの量子化結果を逆量
子化し、メモリ５０１の画像エリアに格納する。次にス
テップＳ２１１に進み、ステップＳ２１０で生成された
背景テクスチャの逆量子化結果に対して逆離散ウェーブ
レット変換を施し、画像データを生成して、メモリ５０
１の画像エリアに格納し、外部、例えばモニタ５０５に
出力する。
【０１５５】モニタ５０５では、これらの画像データを
合成して表示することにより、背景とオブジェクトが合
成された画像を表示できる。
【０１５６】このような一連の選択動作により、ＪＰＥ
Ｇ２０００符号化データから、オブジェクトと背景の画
像データを再生することが可能になる。
【０１５７】［実施の形態１１］図２４は、本発明の実
施の形態１１に係る画像処理装置の構成を示すブロック
図である。尚、本実施の形態１１では、ＭＰＥＧ−４符
号化データを入力し、これを符号化してＪＰＥＧ２００
０符号化データとして出力する場合について説明する。
【０１５８】図２４において、２４０１は符号化データ
入力部で、ＭＰＥＧ−４符号化データを入力する。２４
０２は分離器で、入力されるＭＰＥＧ−４符号化データ
を分離して後段の各部に入力する。２４０３は形状符号
復号部で、分離器２４０２で分離されたＭＰＥＧ−４符
号化方式で符号化されたオブジェクトの形状符号化デー
タを入力して復号する。２４０４はテクスチャ復号部
で、分離器２４０２で分離されたオブジェクトのテクス
チャを復号する。２４０５はテクスチャ復号部で、分離
器２４０２で分離された背景画像の符号化データのテク
スチャを復号する。２４０６はオーディオの符号化デー
タを格納するオーディオバッファである。ここではオー
ディオの符号化データはＨＶＸＣ符号化で符号化された
データとし、非常に低ビットの符号化がされているとす
る。２４０７は画像合成部で、形状符号復号部２４０３
で復号された形状情報に従って、テクスチャ復号器２４
０４で復号されたオブジェクトのテクスチャを、テクス
チャ復号器２４０５で復号された背景画像のテクスチャ
に重畳する。２４０８は離散ウェーブレット変換部で、
入力された画像データに対して離散ウェーブレット変換
を施す。２４０９は量子化部で、離散ウェーブレット変
換部２４０８で変換された変換係数を入力して量子化す
る。２４１０はビットシフト部で、量子化部２４０９に
おける量子化結果から、ビットプレーンを構成するビッ
ト数と形状符号復号部３で復号したマスク情報とに従っ
て、ビットプレーンをシフトする。２４１１はビットプ
レーン合成部で、ビットプレーンを構成するビット数と
形状符号復号部３で復号したマスク情報に従って、マス
ク情報によりオブジェクトと指示されている領域の下位
ビットにオーディオバッファ２４０６の内容をビット順
に補填して合成する。２４１２はマスク符号化部で、Ｒ
ＯＩの形状及び位置を表わすマスク情報を符号化する。
２４１３はエントロピ符号化部で、ビットプレーン合成
部２４１１で合成されたデータをビットプレーン単位で
符号化している。２４１４は多重化器で、マスク符号化
部２４１２、エントロピ符号化部２４１３からの出力
を、ＪＰＥＧ２０００符号化方式の書式に従った符号化
データに整形する。２４１５は符号出力部で、生成され
た符号化データを出力する。
【０１５９】以上の構成による動作を以下に説明する。
ここでは、ＭＰＥＧ−４符号化データについて１フレー
ムずつの処理を説明する。これをフレーム数分繰り返す
ことで全ての処理が行なえる。
【０１６０】符号化データ入力部２４０１は、コアプロ
ファイルで１つのオブジェクトと背景画像および音声符
号化データからなるＭＰＥＧ−４符号化データを入力す
る。この入力された符号化データは分離器２４０２に入
力され、オブジェクトの形状符号に関する符号化データ
とテクスチャに関する符号化データ、背景のテクスチャ
に関する符号化データ、更に音声の符号化データとに分
離される。そしてオブジェクトの形状符号に関する符号
化データは、形状符号復号部２４０３に、オブジェクト
のテクスチャに関する符号化データはテクスチャ復号器
２４０４に、背景のテクスチャに関する符号化データは
テクスチャ復号器２４０５に、オーディオ符号化データ
はオーディオバッファ２４０６にそれぞれ入力される。
【０１６１】形状符号復号部２４０３では、オブジェク
トの形状を表わす２値の情報を復号する。ここでは図２
５（ｂ）に示すような形状データを、その形状情報の例
として説明する。
【０１６２】この復号された形状情報は、ＲＯＩのマス
ク情報になるので、マスク符号化部２４０７に入力さ
れ、ＪＰＥＧ２０００符号化方式の書式に従って符号化
される。
【０１６３】テクスチャ復号器２４０４は、オブジェク
トのテクスチャを復号する。ここでは図２５（ａ）に示
すようなテクスチャを、その形状情報の例として説明す
る。また、テクスチャ復号器２４０５は、背景のテクス
チャを復号する。ここでは図２５（ｃ）に示すようなテ
クスチャを、その形状情報の例として説明する。画像合
成部２４０７は、形状符号復号部２４０３で復号されて
得られた形状情報に従って、オブジェクトのテクスチャ
を背景画像のテクスチャに合成する。
【０１６４】前述の図２は、この様子を示す図である。
離散ウェーブレット変換部２４０８は、この合成された
画像データに対して離散ウェーブレット変換する。
【０１６５】量子化部２４０９は、離散ウェーブレット
変換部２４０８の出力を入力して所定の量子化係数で量
子化する。この量子化部２４０９で量子化された結果
は、ビットシフト部２４１０に入力される。また、この
量子化の結果を表現するのに必要なビット数は多重化器
２４１４に入力される。
【０１６６】ビットシフト部２４１０は、量子化部２４
０９から入力された量子化結果と形状符号復号部２４０
３から入力された形状情報とから、背景テクスチャでオ
ブジェクトを注目領域として、量子化部２４０９で算出
されたビット数の２倍のビットプレーンを用意し、形状
符号復号部２４０３からの形状情報に従って、オブジェ
クトの部分を上位ビットにシフトする。その様子を、Ｌ
Ｌの周波数帯を例にとって図１９に示している。
【０１６７】こうしてビットシフト部２４１０は、形状
情報を基に、オブジェクトと重ならない領域に関しては
下位のビットに背景テクスチャの量子化結果を充填し、
その上位ビットには“０”を補填する。また、重なる領
域に関しては、上位ビットにオブジェクトの量子化結果
を出力し、その下位ビットにも“０”を補填する。
【０１６８】ビットプレーン合成部１１は、ビットシフ
ト部１０から入力された画像データと形状符号復号部３
で復号された形状情報からオブジェクトの位置の下位ビ
ットにオーディオバッファから１フレームの間隔に匹敵
するオーディオ符号化データを読み出し、上位ビットか
ら走査線の順に１ビットずつ置き換えていく。図４にお
いて斜線で示したビットに格納される。
【０１６９】以上、図１９のビットデータを生成するま
での現象を概念的に述べると、オブジェクト及び背景を
共に符号化する為に、オブジェクト及びこのオブジェク
トの領域外に相当する背景テクスチャを合成して周波数
変換して変換係数を生成し、それら変換係数の内で、上
記オブジェクトの領域に相当するビット群を上位のビッ
トプレーンにビットシフトし、このビットシフトにて生
じた上記オブジェクトの領域外の空欄２０２にビット
“０”を補填すると共に、上記ビットシフトにて生じた
上記オブジェクトの領域内の空欄２０３には、１フレー
ム時間分のオーディオ符号化データが補填されたことに
なる。
【０１７０】エントロピ符号化部２４１３では、上位ビ
ットプレーンから順にビットプレーン符号化を行い、そ
の符号化結果を多重化器２４１４に供給する。多重化器
２４１４では、ＪＰＥＧ２０００符号化方式の書式に従
った符号化データに整形する。
【０１７１】以上説明した符号化までの処理を図２６の
フローチャートを参照して説明する。
【０１７２】まずステップＳ４０１で、ＭＰＥＧ４符号
化データを復号するために、オブジェクト、及びこのオ
ブジェクトの背景、オーディオ符号化データを得る。次
にステップＳ４０２に進み、これらオブジェクト、及び
このオブジェクトの背景、オーディオ符号化データを復
号する。そしてステップＳ４０３で、これらオブジェク
トと背景とを合成し、その合成した画像を周波数変換し
て変換係数を生成する。次にステップＳ４０４に進み、
これら変換係数の内、上記オブジェクトの領域に相当す
るビット群を上位のビットプレーンにビットシフトし、
このビットシフトにて生じたオブジェクトの領域外の空
欄２０２（図１９）にビット“０”を補填する。次にス
テップＳ４０５に進み、このビットシフトにて生じた、
このオブジェクトの領域内の空欄２０３（図１９）に、
オーディオ符号化データを補填する。最後にステップＳ
４０６に進み、こうして得られた図１９に示すビットデ
ータを上位（ＭＳＢ）のビットプレーンから順にエント
ロピ符号化する。
【０１７３】以上の符号化処理により得られる符号化デ
ータの出力例を図２７に示す。
【０１７４】図２７では、最初に符号化された画像の大
きさなど情報を示す符号からなるヘッダと、そのヘッダ
に続いてビットプレーン数示すＢＩＴＳ符号が設けられ
ている。続いて、マスク符号化部２４１２から出力され
たマスク情報の符号化結果があり、更にオブジェクトの
下位ビットにオーディオ符号化データが存在することを
示すＳＨＩＦＴ符号が続く。その後に、エントロピ符号
化結果（データ）が続く。このエントロピ符号化の結果
は、サブバンド単位（ＬＬ〜ＨＨ１）に別れており、各
サブバンドはビットプレーン１６枚分の符号化データで
構成されている。こうして多重化された符号化データ
は、符号出力部２４１５から外部に出力される。
【０１７５】このような一連の選択動作により、従来は
“０”を補填するだけであった画像データにオーディオ
の符号化データを付け加えることができ、動画像の再生
時に同期をとって、その音響情報をも再生できる。
【０１７６】尚、本実施の形態１１においては、入力デ
ータをＭＰＥＧ−４符号化データとし、出力データをＪ
ＰＥＧ２０００符号化データとしたが、本発明はこれに
限定されるものではない。
【０１７７】更に、本実施の形態１１においては、量子
化部２４０９を設けて符号化効率の向上を図ったが、劣
化のない可逆な符号にするために、このような量子化部
を省略することはもちろん可能である。
【０１７８】尚、本実施の形態１１においては、付加す
るデータとしてオーディオデータを例にとって説明した
が、その他の情報でももちろんかまわない。
【０１７９】尚、これらの構成において、一部または全
てをソフトウェア等で実施してももちろんかまわない。
【０１８０】［実施の形態１２］図２８は、本発明の実
施の形態１２に係る画像処理装置の構成を示すブロック
図である。本実施の形態１２では、前述の実施の形態１
１で生成したＪＰＥＧ２０００符号化データを入力し、
動画像を再生する場合で説明する。
【０１８１】図２８において、２８５１は符号入力部
で、前述の実施の形態１１で生成したＪＰＥＧ２０００
符号化データを入力する。２８５２は分離器で、入力さ
れた符号化データを分離して後段の各部に入力する。２
８５３はマスク復号部で、ＲＯＩの形状・位置を表わす
マスク情報と全体のビット数を表わすＢＩＴＳ符号、及
びＳＨＩＦＴ符号を復号する。２８５４はエントロピ復
号部で、符号化データをビットプレーン単位で復号す
る。２８５５はデータ分離器で、符号化データを注目領
域部分のビットプレーン及びそれ以外（背景部分）のビ
ットプレーンのデータと、オーディオ符号化データとに
分離し、それぞれをビットシフト部２８５６、オーディ
オバッファ２８６１に出力する。ビットシフト部２８５
６は、ＲＯＩの部分を下位（ＬＳＢ）方向にビットシフ
トする。逆量子化部２８５７は、量子化部２４０９にお
ける量子化の逆量子化を行う。２８５８は逆離散ウェー
ブレット変換部で、離散ウェーブレット変換部２４０８
における離散ウェーブレット変換の逆離散ウェーブレッ
ト変換を行う。２８５９はフレームメモリで、復号され
た画像データを格納する。２８６０は表示部で、フレー
ムメモリ２８５９の内容を表示する。２８６１はオーデ
ィオバッファで、データ分離器２８５５で分離されたオ
ーディオ符号化データを格納する。２８６２はオーディ
オ復号部で、オーディオのデータを復号する。２８６３
は音響装置で、復号されたオーディオデータを基に可聴
音に変換して再生する。
【０１８２】以上の構成において、符号入力部２８５１
は、前述の実施の形態１１で生成した符号化データを入
力する。この入力された符号化データは分離器２８５２
に入力されてヘッダが復号され、必要な情報が取得され
て各部に入力される。更に、ＢＩＴＳ符号、ＳＨＩＦＴ
符号、マスク情報の符号化データはマスク復号部２８５
３に入力され、残りはエントロピ復号部２８５４に入力
される。
【０１８３】マスク復号部２８５３は、ＳＨＩＦＴ符号
を復号し、ＲＯＩ部分の下位ビットにオーディオ符号化
データがあるか否かを判定する。もしオーディオ符号化
データがないと判定されれば、通常のＪＰＥＧ２０００
符号化方式におけるＲＯＩの処理を行う。一方、オーデ
ィオ符号化データがあると判定されれば、そのオーディ
オ符号化データを分離し、オーディオを再生する。
【０１８４】まず最初にオーディオ符号化データがある
場合について説明する。
【０１８５】マスク復号部２８５３は、ＲＯＩの形状及
び位置を表わすマスク情報と全体のビット数を表わすＢ
ＩＴＳ符号を復号する。
【０１８６】一方、エントロピ復号部２８５４は、上位
ビットプレーンから順にビットプレーンを復号し、その
復号した結果をデータ分離器２８５５に入力する。こう
して復号されたビットプレーンのデータは図１９にすと
おりである。図１９において、薄い灰色で示されたオブ
ジェクト２００のテクスチャデータと、“０”で補填さ
れたデータ２０３はビットシフト部２８５６に入力され
る。
【０１８７】また図１９の濃い灰色で示された背景画像
のテクスチャデータ２０４と、補填されたオーディオ符
号化データ２０３とは、マスク復号部２８５３で復号さ
れた形状情報に従って分離されて、背景画像２０４はビ
ットシフト部２８５６に、オーディオ符号化データはオ
ーディオバッファ２８６１にそれぞれ入力される。
【０１８８】ビットシフト部２８５６では、ＲＯＩの部
分のビットを下位方向にビットシフトして図１８に示す
ようなビットデータを生成し、その結果を逆量子化部２
８５７に入力する。逆量子化部２８５７はそれぞれ、量
子化部２４０９の量子化の逆量子化を実行し、その逆量
子化結果は逆離散ウェーブレット変換部２８５８に入力
される。逆離散ウェーブレット変換部２８５８は、各入
力に対して逆離散ウェーブレット変換を行ってテクスチ
ャのデータを再生し、フレームメモリ２８５９に格納す
る。こうして格納された画像データは表示部２８６０に
表示される。これと同時に、オーディオバッファ２８６
１に格納されたオーディオ符号化データは、オーディオ
復号部２８６２で復号されて音響装置２８６３で再生さ
れる。
【０１８９】次に、マスク復号部２８５３でオーディオ
符号化データがないと判断された場合について説明す
る。
【０１９０】この場合、マスク復号部２８５３は、デー
タ分離器２８５５、オーディオバッファ２８６１、オー
ディオ復号部２８６２、音響装置２８６３を動作させな
いように制御する。またビットシフト部２８５６は、通
常のＪＰＥＧ２０００符号化方式で扱うＲＯＩの処理を
行うように制御される。
【０１９１】マスク復号部２８５３は、ＲＯＩの形状・
位置を表わすマスク情報と、全体のビット数を表わすＢ
ＩＴＳ符号を復号する。エントロピ復号部２８５４は、
上位ビットプレーンから順にビットプレーンを復号し、
その復号結果をデータ分離器２８５５を介してビットシ
フト部２８５６に入力する。ビットシフト部２８５６に
は、図１９に示したのと同様なビットプレーンのデータ
が入力される。但し、図１９のオーディオ符号化データ
２０３には“０”が補填されている。
【０１９２】図１９において、薄い灰色で示されたオブ
ジェクトのテクスチャデータ２００は、マスク復号部２
８５３で復号された形状情報とビット数に従って下位の
ビットにシフトされる。この時のビットプレーンデータ
は図１８で示されるようなビットプレーンの構成とな
る。
【０１９３】逆量子化部２８５７は、下位にビットシフ
トされた入力を逆量子化し、更に、逆離散ウェーブレッ
ト変換部２８５８で逆離散ウェーブレット変換を行い、
その逆変換した画像データをフレームメモリ２８５９に
格納する。こうして格納されたフレームメモリ２８５９
の画像データは表示部２８６０で表示される。
【０１９４】また、ＲＯＩの特徴である、この復号処理
が途中で打ち切られても、オーディオデータの有無に関
わらず、上位ビットのみによる復号で画像を再生するこ
とができる。
【０１９５】以上説明した、再生までの処理を図２９の
フローチャートを参照して説明する。
【０１９６】図において、まずステップＳ５０１で、Ｊ
ＰＥＧ２０００符号化データを読み出し、ＳＨＩＦＴ符
号を復号し、オーディオ符号化データが存在するか否か
を判定する。オーディオ符号化データが無いと判定され
ればステップＳ５０７に進み、通常のＪＰＥＧ２０００
符号化データの復号処理を行なって画像データを再生す
る。
【０１９７】一方ステップＳ５０１でオーディオ符号化
データがあると判定されるとステップＳ５０２に進み、
その符号化データに含まれているヘッダ、マスク情報を
復号する。そしてステップＳ５０３に進み、ビットプレ
ーンデータを復号し、テクスチャデータとオーディオ符
号化データに分離する。次にステップＳ５０４に進み、
テクスチャデータを再生して表示部２８６０に表示す
る。これと同時にステップＳ５０５においてオーディオ
符号化データを復号して音響装置２８６３で再生する。
最後にステップＳ５０６において、全てのフレームの処
理が終わったか否かを判定し、復号していないフレーム
データがある場合はステップＳ５０１に戻り、前述の処
理を繰り返し、全てのフレームデータを復号すると、こ
の処理を終了する。
【０１９８】以上説明したような一連の動作により、従
来のＪＰＥＧ２０００符号化データとの互換性を保ちつ
つ、画像データとオーディオデータの両方を再生するこ
とができる。
【０１９９】尚、本実施の形態１２においては、入力す
る符号化データをＪＰＥＧ２０００符号化データとした
が、本発明はこれに限定されるものでない。尚、これら
の構成において、一部または全てをソフトウェア等で実
施してももちろんかまわない。
【０２００】［実施の形態１３］図３０は、本発明の実
施の形態１３に係る画像処理装置の構成を示すブロック
図である。なお、前述の実施の形態１１と同様の構成要
素については同一番号を付してその詳細な説明は省略す
る。この実施の形態１３では、カメラ３０３１により撮
像された画像データを入力し、符号化し、合せて検索等
に役立つ情報を付加して出力する例で示している。
【０２０１】図３０において、３０３１は撮影して画像
信号を生成するカメラである。３０３２はフレームメモ
リで、撮影した画像データをフレーム単位で格納する。
３０３３は、検索に役立つ情報をユーザが入力する端末
である。この端末３０３３からは、カメラ３０３１によ
り撮影した日時、場所、撮影者、撮影条件、被写体に関
する情報等のメタ情報を入力できる。３０３４はメモリ
で、端末３０３３から入力された情報を格納する。３０
３５は領域設定部で、カメラ３０３１により撮影した画
像データを表示し、ユーザがデジタイザ等の入力機器に
よって注目領域（ＲＯＩ）を設定する。この注目領域
は、優先的に符号化・復号される画像領域である。３０
３６は領域メモリで、領域設定部３０３５で設定された
注目領域の情報を保持する。３０３７はビットプレーン
合成部で、ビットプレーンを構成するビット数と領域メ
モリ３０３６の内容に従って、注目領域の下位ビットに
メモリ３０３４の内容をビット順に補填して合成する。
【０２０２】以上の構成を備える画像処理装置の動作を
説明する。
【０２０３】カメラ３０３１により撮影された画像デー
タは、一旦、フレームメモリ３０３２に格納され、この
画像は領域設定部３０３５に表示される。領域設定部３
５では、その表示された画像を参照してなされるユーザ
による操作により注目領域（ＲＯＩ）が指定されると、
その注目領域を示すデータが領域メモリ３０３６に格納
される。離散ウェーブレット変換部２４０８は、フレー
ムメモリ３０３２の内容に対して離散ウェーブレット変
換を行い、量子化部２４０９で量子化を行い、ビットシ
フト部２４１０で設定され、領域メモリ３０３６に格納
された領域を示す情報に従って、ＲＯＩの内側につい
て、そこに含まれる変換係数を上位方向にビットシフト
する。
【０２０４】これと同時にユーザは、端末３０３３か
ら、カメラ３０３１により撮影した日時、場所、撮影
者、撮影条件、被写体に関する情報等を入力し、これを
メモリ３０３４に格納する。
【０２０５】ビットプレーン合成部３０３７は、前述の
実施の形態１１と同様に、ビットシフト部２４１０から
入力された画像データと領域メモリ３０３６の内容とか
ら、注目領域に含まれる変換係数の空いた下位ビット
に、メモリ３０３４から供給されるメタ情報を、上位ビ
ットから走査線の順に１ビットずつ書込んで、画像デー
タの変換係数とメタ情報とを合成したデータを作成す
る。次にエントロピ符号化部２４１３は、これらデータ
を符号化し、符号出力部２４１５を経由して外部に出力
する。
【０２０６】以上説明した符号化処理により得られる符
号化データの出力例は、前述の図８に示したものと同様
である。
【０２０７】図８において、８０１は、符号化された画
像の大きさなど情報を示す符号からなるヘッダである。
８０２は、ビットプレーン数の符号化結果であるＢＩＴ
Ｓ符号である。８０３には、各ビットプレーンのエント
ロピ符号化結果が格納されている。このエントロピ符号
化結果は、ビットプレーン単位に分離されており、各ビ
ットプレーンの中は各サブバンドの符号化データからな
っている。
【０２０８】以上説明したように本実施の形態１３によ
れば、従来のＪＰＥＧ２０００符号化データとの互換性
を保ちつつ、撮影した画像データに、検索に必要な情報
を付加した符号化データを作成することが可能になる。
【０２０９】尚、本実施の形態１３においては、量子化
部２４０９を設けて符号化効率の向上を図ったが、劣化
のない可逆な符号にするために、この量子化部２４０９
を省略してもよい。
【０２１０】尚、本実施の形態１３においては、付加す
るデータとしてメタ情報を例にとって説明したが、本発
明はこれに限定されず、前述の実施の形態１１のよう
に、オーディオデータであってかまわないし、その他の
情報でももちろんかまわない。尚、これらの構成におい
て、一部または全てをソフトウェア等で実施してももち
ろんかまわない。
【０２１１】［実施の形態１４］図３１は、本発明の実
施の形態１４に係る画像処理装置の構成を示すブロック
図である。なお、前述の実施の形態１２（図２８）と同
様の構成要素については同一番号を付してその詳細な説
明は省略する。本実施の形態１４では、前述の実施の形
態１３で生成したＪＰＥＧ２０００符号化データを入力
し、画像を再生する場合で説明する。
【０２１２】図３１において、３１５１はエントロピ復
号部で、ヘッダやビットプレーンの符号化データを復号
する。３１５２はフレームメモリで、エントロピ復号部
３１５１で復号された画像データを格納する。３１５３
は注目領域抽出部で、フレームメモリ３１５１の内容か
ら注目領域を抽出する。３１５４はメタ情報抽出器で、
フレームメモリ３１５１の内容からメタ情報を抽出す
る。３１５５は表示部で、画像データやメタ情報を表示
する。
【０２１３】このような構成において、符号入力部２８
５１は、前述の実施の形態１３で生成した符号化データ
を入力する。この入力された符号化データはエントロピ
復号部３１５１に入力されてヘッダ、BITS符号が復号さ
れて必要な情報が得られ、ビットプレーン単位に復号さ
れて、各ビットプレーンデータがフレームメモリ３１５
２に格納される。
【０２１４】注目領域抽出部３１５３は、ＢＩＴＳ符号
を復号して得られたビット数から、注目領域を符号化し
たビットプレーンを読み出し、その値が“０”でない画
素をまとめて注目領域として判定する。従って、値が
“０”でない画素を“１”に、値が“０”である画素を
“０”にすることで、２値の注目領域を示す情報を抽出
できる。こうして抽出された注目領域を示す情報は、ビ
ットシフト部２８５６とメタ情報抽出器３１５４に入力
される。
【０２１５】ビットシフト部２８５６は、前述の実施の
形態１２と同様に、注目領域のデータを下位方向にビッ
トシフトし、逆量子化部２８５７で逆量子化を施し、逆
離散ウェーブレット変換部２８５８で画像データを再生
し、その結果をフレームメモリ２８５９に格納する。
【０２１６】一方、メタ情報抽出器３１５４は、注目領
域の下位ビットに埋め込まれたメタ情報をビットプレー
ン順と走査順で読み出してメタ情報を再生する。こうし
て再生された画像データとメタ情報は、表示部３１５５
に入力され、これら画像とメタ情報が表示される。
【０２１７】また、ＲＯＩの特徴である、復号処理が途
中で打ち切られても、オーディオデータの有無に関わら
ず、上位ビットのみによる復号で画像を再生することが
できる。このような一連の選択動作により、従来のＪＰ
ＥＧ２０００符号化データとの互換性を保ちつつ、画像
データとメタ情報の両方を再生することができる。これ
により、ユーザにより多くの情報を提供できると共にキ
ーワード等での検索が容易に行える。
【０２１８】尚、本実施の形態１４においては、入力を
ＪＰＥＧ２０００符号化データとしたが、本発明はこれ
に限定されるものでない。また本実施の形態１４におい
て、入力を端末からの文字情報としたが、本発明はこれ
に限定されるものでない。例えば、ＭＰＥＧ−７で規定
されるメタ情報であってももちろんかまわない。尚、こ
れらの構成において、一部または全てをソフトウェア等
で実施してももちろんかまわない。
【０２１９】［実施の形態１５］次に、本発明の実施の
形態１５に係る画像処理装置を説明する。この画像処理
装置は前述の図１０の構成と同様である。
【０２２０】以下、記憶部５０４に格納されている静止
画像データを、ＣＰＵ５００によりＪＰＥＧ２０００符
号化データへ変換する動作を図３２に示す流れ図に従っ
て説明する。
【０２２１】まずステップＳ６０１で、端末５０６で選
択された画像データを記憶部５０４から読み出してメモ
リ５０１の画像エリアに格納する。次にステップＳ６０
２に進み、画像データに基づく画像をモニタ５０５に表
示し、端末５０６から、その注目領域をデジタイザ等で
設定する。この注目領域は、２値の形状を表す情報とし
て、メモリ５０１上に形状データ領域を確保し、１画素
単位に、注目領域の内部である場合には“１”を、そう
でなければ“０”である形状データを格納する。次にス
テップＳ６０３に進み、端末５０６から、著作権情報等
のセキュリティ情報を入力する。このセキュリティ情報
は、例えばパスワードであり、これに基づいて暗号キー
を生成する。また、この著作権情報は暗号化され、その
暗号化データはメモリ５０１上に確保されたデータ領域
にビット毎に格納される。この時の情報量をｂｓ（ビッ
ト）とする。
【０２２２】次にステップＳ６０４に進み、メモリ５０
１上の画像エリアに、ＲＯＩ領域とＢＧ領域を設け、上
記形状データ領域に従って、注目領域に含まれる画像デ
ータをＲＯＩ領域に格納する。また、注目領域以外の画
像データをＢＧ領域に格納する。これは図１９における
テクスチャデータ２００と、注目領域外の空欄２０２を
合せた画像になる。
【０２２３】次にステップＳ６０５に進み、前述のパス
ワードに従って、ＢＧ領域の画像データにスクランブル
を施す。次にステップＳ６０６に進み、その画像データ
全体をＪＰＥＧ２０００符号化方式で符号化する。そし
てステップＳ６０７で、こうして符号化したデータを蓄
積、或は送信する。
【０２２４】図３３及び図３４は、図３２のステップＳ
６０６の符号化処理を示すフローチャートである。この
時、ＢＧ領域のビットの深さをｎとし、ＢＧ領域とＲＯ
Ｉ領域の画像データ全体のビットの深さをｍとする（図
１９参照）。また画像のサイズを主走査方向にｘ_siz
e、副走査方向にｙ_sizeとする。
【０２２５】まずステップＳ６１０で、ビットの深さを
カウントする変数ｚに“ｍ”を、主走査方向の画素の位
置を示す変数ｘに“０”を、副走査方向の画素の位置を
示す変数ｙに“０”を代入する。次にステップＳ６１１
に進み、変数ｚが“ｎ”以上“ｍ−１”以下であるかど
うかを調べ、この範囲内であればステップＳ６１２に進
み、そうでなければＲＯＩ領域の処理が終了したとして
ステップＳ６２２（図３４）に進む。
【０２２６】ステップＳ６１２では、ｙがｙ_size未満
かどうかを調べ、そうでなければステップＳ６２０に進
み、処理するビットプレーンの全ビットの処理が終了し
たので、ｚから“１”を引いてステップＳ６１１に戻
る。
【０２２７】一方、ステップＳ６１２で、ｙがｙ_size
未満でない時はステップＳ６１３に進み、ｘがｘ_size
未満かどうかを調べ、そうであればステップＳ６１５に
進み、そうでなければステップＳ６１４に進む。ステッ
プＳ６１４では、処理するビットプレーンの主走査方向
の全ビットの処理が終了したので、ｙに“１”を足して
ステップＳ６１２に戻る。
【０２２８】一方、ステップＳ６１２で、ｙがｙ_size
未満であればステップＳ６１５で、メモリ５０１の形状
データ領域（Shape(x,y)）の該当する画素情報を読み出
し、その画素データが“１”であればステップＳ６１６
に進み、そうでなければステップＳ６１７に進む。ステ
ップＳ６１６では、処理する画素は注目領域内なので、
ＲＯＩ領域の該当する画素の該当するビットを変数Ｔに
代入する。また、ステップＳ６１７では、処理する画素
は注目領域外なので変数Ｔに“０”を代入する。
【０２２９】こうしてステップＳ６１６又はＳ６１７を
実行するとステップＳ６１８に進み、ＪＰＥＧ２０００
符号化方式に従って符号化する。そしてステップＳ６１
９に進み、ｘに“１”を加えてステップＳ６１３に進
み、ｘとｘ_sizeとの比較が行なわれる。
【０２３０】ステップＳ６１１で、変数ｚが“ｎ”以上
“ｍ−１”以下でない時はステップＳ６２２に進み、メ
モリ５０１のデータ領域のビット数をカウントする変数
Ａおよびｘ、ｙに“０”を代入する。次にステップＳ６
２３に進み、変数ｚが“０”以上であるかどうかを調
べ、この範囲内であればステップＳ６２４に進み、そう
でなければ画像全体の符号化処理が終了したとして、動
作を終了する。
【０２３１】ステップＳ６２４で、変数ｙがｙ_size未
満であればステップＳ６２６に進むが、そうでなければ
ステップＳ６２５に進み、処理するビットプレーンの全
ビットの処理が終了したので、ｚから“１”を引いてス
テップＳ６２３に進む。またステップＳ６２６では、変
数ｘがｘ_size未満であるかどうかを調べ、そうであれ
ばステップＳ６２８に進み、そうでなければステップＳ
６２７に進み、処理するビットプレーンの主走査方向の
全ビットの処理が終了したので、ｙに“１”を足してス
テップＳ６２４に進む。
【０２３２】ステップＳ６２８では、形状データ領域の
該当する画素の情報（Sharp(x,y)）を読み出し、その情
報が“１”であればステップＳ６２９に進み、そうでな
ければステップＳ６３０に進む。ステップＳ６３０で
は、処理する画素は注目領域外なので変数ＴにＢＧ領域
の該当する画素の該当するビット（ＢＧ(x,y,z)）を代
入する。ステップＳ６２９では、変数Ａがｂｓ未満であ
るかいなかを判定し、ｂｓ未満であればステップＳ６３
１に進み、そうでなければステップＳ６３２に進む。ス
テップＳ６３１では、処理するビットは暗号化されたデ
ータなので、データ領域のＡビット目のビットを変数Ｔ
に代入し、変数Ａを＋１する。また変数Ａがｂｓ未満で
ないときはステップＳ６３２に進み、暗号化されたデー
タの処理が終わったので変数Ｔに“０”を代入する。
【０２３３】こうしてステップＳ６３０、Ｓ６３１，Ｓ
６３２のいずれかの処理が終了するとステップＳ６３３
に進み、ＪＰＥＧ２０００符号化方式に従って符号化す
る。次にステップＳ６３４に進み、変数ｘに“１”を加
えてステップＳ６２８に戻り、変数ｘとｘ_sizeとの比
較が行なわれる。
【０２３４】こうしてステップＳ６２３で、全てのビッ
トについて処理が終われば、符号化処理を終了する。こ
うして作成された符号化データは、記憶装置５０４に格
納・蓄積され、ユーザの指示に応じて、通信インターフ
ェース５０７を介して通信回線５０８に送出される。
【０２３５】このような一連の選択動作により、従来の
ＪＰＥＧ２０００符号化データとの互換性を保ちつつ、
画像データと著作権情報を効率よく付加できる。また、
セキュリティを付加した画像データを作成できる。これ
により、ユーザにより多くの情報を提供できると共に、
著作権の保護や情報のセキュリティ管理を容易に行え
る。
【０２３６】尚、本実施の形態１５においては、符号化
結果の出力をＪＰＥＧ２０００符号化データとしたが、
本発明はこれに限定されるものでない。尚、これらの構
成において、一部または全てをハードウェア等で実施し
てももちろんかまわない。
【０２３７】［実施の形態１６］本発明の実施の形態１
６として、図１０に示した画像処理装置の構成を用い、
前述の実施の形態１５で生成され、記憶部５０４に格納
されているＪＰＥＧ２０００符号化データを復号する動
作を図３５に示すフローチャートに従って説明する。
【０２３８】まずステップＳ７０１で、端末５０６で選
択されたＪＰＥＧ２０００符号化データを記憶部５０４
から読み出してメモリ５０１の符号エリアに格納する。
次にステップＳ７０２に進み、その符号エリアに格納さ
れた符号化データをＪＰＥＧ２０００符号化方式で復号
する。
【０２３９】このステップＳ７０２における復号処理の
動作を図３６乃至図３７のフローチャートに従って説明
する。
【０２４０】まずステップＳ８０１で、変数ｚに“ｍ”
を、変数ｘに“０”を、変数ｙに“０”をそれぞれ代入
する。次にステップＳ８０２に進み、メモリ５０１の形
状データ領域とＲＯＩ領域を共に“０”でクリアする。
次にステップＳ８０３に進み、変数ｚが“ｎ”以上“ｍ
−１”以下であるかどうかを調べ、この範囲内であれば
ステップＳ８０４に進み、そうでなければＲＯＩ領域の
処理が終了したとしてステップＳ６８１３（図３７）に
進む。
【０２４１】ステップＳ８０４では、変数ｙがｙ_size
未満であるかどうかを調べ、そうであればステップＳ８
０５に進み、そうでなければステップＳ８１２に進み、
処理するビットプレーンの全ビットの処理が終了したの
で、変数ｚから“１”を引いてステップＳ８０３に進
む。
【０２４２】ステップＳ８０５では、変数ｘがｘ_size
未満であるかどうかを調べ、そうであればステップＳ８
０６に進み、そうでなければステップＳ８１１に進み、
処理するビットプレーンの主走査方向の全ビットの処理
が終了したので、変数ｙに“１”を足してステップＳ８
０４に戻る。またステップＳ８０６で、ＪＰＥＧ２００
０符号化方式に従って１ビットのデータであるＴを復号
する。
【０２４３】次にステップＳ８０７に進み、Ｔの値が
“１”であればステップＳ８０８に進み、形状データ領
域の該当する画素のビットに“１”を書き込む。またＴ
の値が“１”でなければステップＳ８１０に進む。ステ
ップＳ８０８の次はステップＳ８０９に進み、ＲＯＩ領
域の該当する画素のビット情報に“１”を書き込む。そ
してステップＳ８１０に進み、変数ｘに“１”を加えて
ステップＳ８０５に進み、変数ｘとｘ_sizeとを比較す
る上述した処理に進む。
【０２４４】次に、前述のステップＳ８０３で、変数ｚ
が“ｎ”以上“ｍ−１”以下でないときはステップＳ８
１３に進み、変数Ａ、ｘ、ｙに“０”を代入する。そし
てステップＳ８１４に進み、変数ｚが“０”以上である
かどうかを調べ、この範囲内であればステップＳ８１５
に進み、そうでなければ画像全体の復号処理が終了した
として動作を終了する。
【０２４５】ステップＳ８１５では、変数ｙがｙ_size
未満であるかどうかを調べ、そうであればステップＳ８
１６に進み、変数ｘがｘ_size未満であるかどうかをみ
る。ステップＳ８１５で変数ｙがｙ_size未満でなけれ
ばステップＳ８２３に進み、処理するビットプレーンの
全ビットの処理が終了したので、変数ｚから“１”を引
いてステップＳ８１４に戻る。
【０２４６】またステップＳ８１６で、ｘがｘ_size未
満であればステップＳ８１７に進ンで復号処理を実行す
るが、そうでなければステップＳ８２２に進み、処理す
るビットプレーンの主走査方向の全ビットの処理が終了
したので、変数ｙに“１”を足してステップＳ８１５に
戻る。
【０２４７】ステップＳ８１７で、ＪＰＥＧ２０００符
号化方式に従って１ビットのデータであるＴを復号する
とステップＳ８１８に進み、メモリ５０１のデータ形状
領域の該当する画素情報を読み出し、その値が“１”で
あればステップＳ８１９に進み、処理する画素は注目領
域内なので、Ｔをメモリ５０１のデータ領域のＡビット
目に代入し、変数Ａを＋１し、ＢＧ領域の該当する画素
の該当するビットに“０”を代入する。またステップＳ
８１８で、データ形状領域の該当する画素情報が“１”
でなければステップＳ８２０に進み、処理する画素は注
目領域外なのでＴをＢＧ領域の該当する画素の該当する
ビットに代入する。こうしてステップＳ８１９又はＳ８
２０の処理を終了するとステップＳ８２１に進み、変数
ｘに“１”を加えてステップＳ８１６に戻り、変数ｘと
ｘ_sizeとの比較を行う。
【０２４８】こうしてステップＳ８１４で、全てのビッ
トについて処理が終わると復号処理を終了する。
【０２４９】こうして図３５に戻り、ステップＳ７０３
でセキュリティ情報、この例ではパスワードを入力す
る。次にステップＳ７０４に進み、その復号データの認
証を行なう。この認証が正しければステップＳ７０５に
進み、ＢＧ領域の画像のスクランブルを解き、そのデス
クランブルした画像データをＢＧ領域に格納する。また
ステップＳ７０４での認証が正しくなければステップＳ
７０６に進み、ＢＧ領域のスクランブルされた画像をそ
のまま表示する。
【０２５０】このようにして、復号されたＲＯＩ領域、
及びＢＧ領域の画像データを形状データ領域の情報に従
ってモニタ５０５に表示したり、記憶装置５０４に格納
・蓄積したり、或は通信インターフェース５０７を介し
て通信回線５０８に送出したりすることができる。
【０２５１】このような一連の動作により、従来のＪＰ
ＥＧ２０００符号化データとの互換性を保ちつつ、画像
データに著作権情報を効率よく付加できる。またセキュ
リティ情報を付加することにより、そのセキュリティの
レベルに合わせた画像データの再生が容易にできる。
【０２５２】尚、本実施の形態１６においては、入力を
ＪＰＥＧ２０００符号化データとしたが、本発明はこれ
に限定されるものでない。またこれらの構成において、
一部または全てをハードウェア等で実施してももちろん
かまわない。
【０２５３】なお本発明は、複数の機器（例えばホスト
コンピュータ、インターフェース機器、リーダ、ビデオ
カメラ、ビデオカセットレコーダ、プリンタなど）から
構成されるシステムに適用しても、一つの機器からなる
装置（例えば、複写機、ファクシミリ装置、ビデオカメ
ラ、ビデオカセットレコーダなど）に適用しても良い。
【０２５４】また本発明の目的は、前述した実施の形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（又は記録媒体）をシステム或は装置に
供給し、そのシステム或は装置のコンピュータ（又はＣ
ＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコー
ドを読み出し実行することによっても達成される。この
場合、記憶媒体から読み出されたプログラムコード自体
が前述した実施形態の機能を実現することになり、その
プログラムコードを記憶した記憶媒体は本発明を構成す
ることになる。また、コンピュータが読み出したプログ
ラムコードを実行することにより、前述した実施形態の
機能が実現されるだけでなく、そのプログラムコードの
指示に基づき、コンピュータ上で稼働しているオペレー
ティングシステム（ＯＳ）などが実際の処理の一部又は
全部を行い、その処理によって前述した実施形態の機能
が実現される場合も含まれる。
【０２５５】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書き込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部又は全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれる。
【０２５６】本発明を簡単にするために各実施の形態で
はオブジェクトが１つの場合について述べたが、オブジ
ェクトごとに同様の処理を行うことで複数のオブジェク
トに対応することは明らかである。
【０２５７】以上の説明したように本実施の形態によれ
ば、ＪＰＥＧ２０００のようなＲＯＩの機能を持つ符号
化データで下位のビットプレーンに背景画像の隠れる部
分のデータを挿入することにより、オブジェクトと背景
を保持しつつ、符号化することができる。
【０２５８】更に、再度ＭＰＥＧ−４のようなオブジェ
クト符号化データへの変換も容易にできる効果がある。
【０２５９】
【発明の効果】以上説明したように本発明によれば、オ
ブジェクト符号化された符号化画像データをオブジェク
トの独立性を保持したままでオブジェクト符号化データ
に変換できる。
【０２６０】また本発明によれば、フレーム内符号化の
中にオブジェクトの構造を持った符号化データの生成動
作を容易にかつ確実に行うことができる。
【０２６１】また本発明によれば、ＪＰＥＧ２０００符
号化方式等の既存の符号化方式との互換性を保持したま
までＲＯＩ符号化を行ない、画像内に種々の情報を付与
できる、
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像処理装置の構
成を示すブロック図である。
【図２】本発明の実施の形態におけるビットプレーンの
合成の様子を説明する図である。
【図３】本発明の実施の形態における符号化データを説
明するための図である。
【図４】本発明の実施の形態２に係る画像処理装置の構
成を示すブロック図である。
【図５】本発明の実施の形態３に係る画像処理装置の構
成を示すブロック図である。
【図６】本発明の実施の形態４に係る画像処理装置の構
成を示すブロック図である。
【図７】本実施の形態におけるビットプレーンの合成の
様子を示す図である。
【図８】本実施の形態における符号化データを説明する
ための図である。
【図９】本発明の実施の形態５に係る画像処理装置の構
成を示すブロック図である。
【図１０】本発明の実施の形態６に係る画像処理装置の
構成を示すブロック図である。
【図１１】本発明の実施の形態６に係る画像符号化処理
を説明するフローチャートである。
【図１２】本発明の実施の形態７に係る画像符号化処理
を説明するフローチャートである。
【図１３】ＪＰＥＧ２０００符号化方式の概要を示すブ
ロック図である。
【図１４】離散ウェーブレット変換のサブバンド構成の
様子を説明する図である。
【図１５】ＪＰＥＧ２０００符号化方式のＲＯＩ処理の
概要を説明する図である。
【図１６】ＪＰＥＧ２０００符号化方式のビットプレー
ン符号化の概要を示すブロック図である。
【図１７】符号化対象の画像の概要を説明する図であ
る。
【図１８】ＪＰＥＧ２０００符号化方式におけるＲＯＩ
処理の復号の概要を説明する図である。
【図１９】ＪＰＥＧ２０００符号化方式におけるＲＯＩ
に関する合成処理の概要を説明する図である。
【図２０】本発明の実施の形態８に係る画像処理装置の
構成を示すブロック図である。
【図２１】本発明の実施の形態９に係る画像処理装置の
構成を示すブロック図である。
【図２２】本発明の実施の形態１０に係る画像復号処理
を説明するフローチャートである。
【図２３】符号化までの処理を簡単な流れを示すフロー
チャートである。
【図２４】本発明の実施の形態１１に係る画像処理装置
の構成を示すブロック図である。
【図２５】本発明の実施の形態におけるビットプレーン
の様子を説明する図である。
【図２６】本発明の実施の形態１１に係る画像符号化処
理を説明するフローチャートである。
【図２７】本実施の形態における符号化データを説明す
るための図である。
【図２８】本発明の実施の形態１２に係る画像処理装置
の構成を示すブロック図である。
【図２９】本発明の実施の形態１２に係る復号処理を示
すフローチャートである。
【図３０】本発明の実施の形態１３に係る画像処理装置
の構成を示すブロック図である。
【図３１】本発明の実施の形態１４に係る画像処理装置
の構成を示すブロック図である。
【図３２】本発明の実施の形態１５に係る画像符号化処
理を説明するフローチャートである。
【図３３】、
【図３４】図３２のＳ６０６の処理を示すフローチャー
トである。
【図３５】本発明の実施の形態１７に係る画像復号処理
を説明するフローチャートである。
【図３６】、
【図３７】図３５のＳ７０２の復号処理示すフローチャ
ートである。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/081 Ｈ０４Ｎ 7/133 Ｚ ５Ｊ０６４ 7/30 Ｆターム(参考） 5B057 CA01 CA12 CA16 CB01 CB08 CB12 CB19 CC02 CE08 CG02 5C059 MA00 MA24 MA45 MB01 MB14 MB27 MB29 MC11 MC38 ME11 PP01 PP28 PP29 SS14 SS30 UA02 UA05 5C063 AB03 AB07 AC01 AC05 CA11 CA12 CA20 DA01 DA05 DA13 5C076 AA14 BA06 5C078 AA04 BA53 CA14 DA01 DA02 DB12 DB19 5J064 AA02 BA09 BA16 BC16 BC25 BD01

Claims (53)

    【特許請求の範囲】
  1. 【請求項１】 画像データを入力する画像入力手段と、 情報データを入力する情報入力手段と、 前記画像データに基づいて注目領域を設定する注目領域
    設定手段と、 画像データを周波数変換して変換係数を生成する変換手
    段と、 前記変換手段により生成される変換係数の内、前記注目
    領域に相当する変換係数を上位のビットプレーンにビッ
    トシフトし、該ビットシフトにて生じる前記注目領域外
    の空欄に０を補填すると共に、前記ビットシフトにて生
    じる前記注目領域内の空欄に前記情報データを補填する
    制御手段と、を有することを特徴とする画像処理装置。
  2. 【請求項２】 前記変換手段により出力される変換係数
    を量子化する量子化手段を更に有することを特徴とする
    請求項１に記載の画像処理装置。
  3. 【請求項３】 前記変換手段の少なくともいずれかは離
    散ウェーブレット変換を行うことを特徴とする請求項１
    に記載の画像処理装置。
  4. 【請求項４】 前記情報データはオーディオ情報である
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 【請求項５】 前記情報データは、前記画像データの記
    述に関するメタデータであることを特徴とする請求項１
    に記載の画像処理装置。
  6. 【請求項６】 前記情報データは著作権情報であること
    を特徴とする請求項１に記載の画像処理装置。
  7. 【請求項７】 前記制御手段により補填された変換係数
    をビットプレーンに分割して符号化する符号化手段を更
    に有することを特徴とする請求項１に記載の画像処理装
    置。
  8. 【請求項８】 符号化データを入力する符号化データ入
    力手段と、 前記符号化データ入力手段により入力された前記符号化
    データを復号する復号手段と、 前記復号手段により復号された復号結果から注目領域を
    抽出する注目領域抽出手段と、 前記注目領域抽出手段により抽出された前記注目領域の
    下位のビットプレーンから情報データを抽出する情報デ
    ータ抽出手段と、を有することを特徴とする画像処理装
    置。
  9. 【請求項９】 画像データを入力する画像入力工程と、 情報データを入力する情報入力工程と、 前記画像データに基づいて注目領域を設定する注目領域
    設定工程と、 前記画像データを周波数変換して変換係数を生成する変
    換工程と、 前記変換係数の内、前記注目領域に相当する変換係数を
    上位のビットプレーンにビットシフトし、該ビットシフ
    トにて生じる前記注目領域外の空欄に０を補填すると共
    に、該ビットシフトにて生じる前記注目領域内の空欄に
    は前記情報データを補填する制御工程と、を有すること
    を特徴とする画像処理方法。
  10. 【請求項１０】 前記変換工程により出力される変換係
    数を量子化する量子化工程を更に有することを特徴とす
    る請求項９に記載の画像処理方法。
  11. 【請求項１１】 前記変換工程の少なくともいずれかは
    離散ウェーブレット変換を行うことを特徴とする請求項
    ９に記載の画像処理方法。
  12. 【請求項１２】 前記情報データはオーディオ情報であ
    ることを特徴とする請求項９に記載の画像処理方法。
  13. 【請求項１３】 前記情報データは、前記画像データの
    記述に関するメタデータであることを特徴とする請求項
    ９に記載の画像処理方法。
  14. 【請求項１４】 前記情報データは著作権情報であるこ
    とを特徴とする請求項９に記載の画像処理方法。
  15. 【請求項１５】 前記制御工程で出力される変換係数を
    ビットプレーンに分割して符号化する符号化工程を更に
    有することを特徴とする請求項９に記載の画像処理方
    法。
  16. 【請求項１６】 符号化データを入力する符号化データ
    入力工程と、 前記符号化データを復号する復号工程と、 前記復号工程で復号される復号結果から注目領域を抽出
    する注目領域抽出工程と、 抽出された前記注目領域の下位のビットプレーンから情
    報データを抽出する情報データ抽出工程と、を有するこ
    とを特徴とする画像処理方法。
  17. 【請求項１７】 請求項９乃至１６のいずれか１項に
    記載の画像処理方法を実施するプログラムを記憶したこ
    とを特徴とするコンピュータにより読み取り可能な記憶
    媒体。
  18. 【請求項１８】 オブジェクト画像を示すオブジェクト
    画像データ、及び前記オブジェクト画像の背景に合成さ
    れるべき背景画像データを発生する発生手段と、 前記オブジェクト画像データ及び前記オブジェクト画像
    の領域外に相当する前記背景画像データを周波数変換し
    て第１変換係数を生成し、少なくとも、前記オブジェク
    ト画像の領域に相当する前記背景画像データを周波数変
    換して第２変換係数を生成する変換手段と、 前記第１変換係数の内、前記オブジェクト画像の領域に
    相当するビット群を上位のビットプレーンにビットシフ
    トし、該ビットシフトにて生じる前記領域外の空欄に０
    を補填すると共に、該ビットシフトにて生じる前記領域
    内の空欄には前記領域内に相当する第２変換係数を補填
    する制御手段と、を有することを特徴とする画像処理装
    置。
  19. 【請求項１９】 オブジェクト画像を示すオブジェクト
    画像データ、及び前記オブジェクト画像の背景に合成さ
    れるべき背景画像データを発生する発生手段と、 前記オブジェクト画像データ及び前記オブジェクト画像
    の領域外に相当する前記背景画像データを周波数変換す
    る第１変換手段と、 少なくとも、前記オブジェクト画像の領域に相当する前
    記背景画像データを周波数変換する第２変換手段と、 前記第１変換手段にて得られた変換係数の内、前記オブ
    ジェクト画像の領域に相当するビット群を上位のビット
    プレーンにビットシフトし、該ビットシフトにて生じる
    前記領域外の空欄に０を補填すると共に、該ビットシフ
    トにて生じる前記領域内の空欄には前記第２変換手段に
    て得られた前記領域内に相当する変換係数を補填する制
    御手段と、を有することを特徴とする画像処理装置。
  20. 【請求項２０】 画像データからオブジェクトの形状情
    報を抽出する形状情報抽出手段と、 前記画像データから前記オブジェクトのテクスチャ情報
    を抽出するオブジェクトテクスチャ情報抽出手段と、 前記画像データから背景のテクスチャ情報を抽出する背
    景テクスチャ情報抽出手段と、 前記形状情報抽出手段によって抽出された前記形状情報
    に基づいて、前記オブジェクトのテクスチャ情報及び前
    記背景のテクスチャ情報を周波数変換する第１周波数変
    換手段と、 前記背景のテクスチャ情報を周波数変換する第２周波数
    変換手段と、 前記第１周波数変換手段の出力と前記形状情報に基づい
    て、前記オブジェクトの領域外に０を補填する補填手段
    と、 前記補填手段の出力をビットプレーンに分割して符号化
    するとともに、前記第２周波数変換手段の出力をビット
    プレーンに分割して符号化するビットプレーン符号化手
    段と、を有することを特徴とする画像処理装置。
  21. 【請求項２１】 前記第１及び第２周波数変換手段によ
    り出力される変換係数を量子化する量子化手段を更に有
    することを特徴とする請求項２０に記載の画像処理装
    置。
  22. 【請求項２２】 撮像した画像を基に前記画像データを
    入力する画像入力手段を更に有することを特徴とする請
    求項２０又は２１に記載の画像処理装置。
  23. 【請求項２３】 前記画像データは、ＭＰＥＧ−４符号
    化方式で符号化された符号化データであることを特徴と
    する請求項２０又は２１に記載の画像処理装置。
  24. 【請求項２４】 前記第１又は第２周波数変換手段の少
    なくともいずれかは離散ウェーブレット変換を行うこと
    を特徴とする請求項２０乃至２３のいずれか１項に記載
    の画像処理装置。
  25. 【請求項２５】 前記形状情報抽出手段によって抽出さ
    れた前記形状情報と前記第１周波数変換手段による周波
    数変換方式に基づいて前記形状情報を拡張する形状補正
    手段を更に有することを特徴とする請求項２０乃至２４
    のいずれか１項に記載の画像処理装置。
  26. 【請求項２６】 符号化データを入力する入力手段と、 第１ビットプレーンを復号する第１ビットプレーン復号
    手段と、 前記第１ビットプレーン復号手段の復号結果からオブジ
    ェクトの形状情報を抽出する形状情報抽出手段と、 前記第１ビットプレーン復号手段の復号結果を逆周波数
    変換する第１逆周波数変換手段と、 前記第１逆周波数変換手段の変換結果から前記オブジェ
    クトのテクスチャ情報を抽出するオブジェクトテクスチ
    ャ情報抽出手段と、 第２ビットプレーンを復号する第２ビットプレーン復号
    手段と、 前記第２ビットプレーン復号手段の復号結果を逆周波数
    変換する第２逆周波数変換手段と、 前記第２逆周波数変換手段による変換結果から背景のテ
    クスチャ情報を抽出する背景テクスチャ情報抽出手段
    と、 前記オブジェクトの形状情報を符号化してオブジェクト
    形状情報符号化データを生成するオブジェクト形状情報
    符号化手段と、 前記第１逆周波数変換手段の出力を符号化して前記オブ
    ジェクトのテクスチャ符号化データを生成するオブジェ
    クト符号化手段と、 前記第２逆周波数変換手段の変換結果を符号化して前記
    背景のテクスチャ符号化データを生成する背景符号化手
    段と、 符号化された前記オブジェクト形状情報符号化データ、
    前記オブジェクトのテクスチャ符号化データ、前記背景
    のテクスチャ符号化データをオブジェクト符号化データ
    として出力する出力手段と、を有することを特徴とする
    画像処理装置。
  27. 【請求項２７】 符号化データを入力する手段と、 第１ビットプレーンを復号する第１ビットプレーン復号
    手段と、 前記第１ビットプレーン復号手段の復号結果からオブジ
    ェクトの形状情報を抽出する形状情報抽出手段と、 前記第１ビットプレーン復号手段の復号結果を逆周波数
    変換する第１逆周波数変換手段と、 前記第１逆周波数変換手段の変換結果から前記オブジェ
    クトのテクスチャ情報を抽出するオブジェクトテクスチ
    ャ情報抽出手段と、 前記第２ビットプレーン復号手段の復号結果を逆周波数
    変換する第２逆周波数変換手段と、 前記第２逆周波数変換手段の変換結果から背景のテクス
    チャ情報を抽出する背景テクスチャ情報抽出手段と、を
    有することを特徴とする画像処理装置。
  28. 【請求項２８】 前記第１及び第２ビットプレーン復号
    手段の復号結果を逆量子化する逆量子化手段を更に有す
    ることを特徴とする請求項２６又は２７に記載の画像処
    理装置。
  29. 【請求項２９】 前記第１及び第２逆周波数変換手段
    は、逆離散ウェーブレット変換を行うことを特徴とする
    請求項２６乃至２８のいずれか１項に記載の画像処理装
    置。
  30. 【請求項３０】 前記形状情報抽出手段により抽出され
    た前記形状情報と、前記第１及び第２逆周波数変換手段
    における変換方式に基づいて前記形状情報を縮小する形
    状補正手段を更に有することを特徴とする請求項２６乃
    至２９のいずれか１項に記載の画像処理装置。
  31. 【請求項３１】 前記オブジェクト符号化データは、Ｍ
    ＰＥＧ−４符号化方式で符号化された符号化データであ
    ることを特徴とする請求項２６又は２７に記載の画像処
    理装置。
  32. 【請求項３２】 オブジェクト画像を示すオブジェクト
    画像データ、及び前記オブジェクト画像の背景に合成さ
    れるべき背景画像データを発生する発生工程と、 前記オブジェクト画像データ及び前記オブジェクト画像
    の領域外に相当する前記背景画像データを周波数変換し
    て第１変換係数を生成し、少なくとも、前記オブジェク
    ト画像の領域に相当する前記背景画像データを周波数変
    換して第２変換係数を生成する変換工程と、 前記第１変換係数の内、前記オブジェクト画像の領域に
    相当するビット群を上位のビットプレーンにビットシフ
    トし、該ビットシフトにて生じる前記領域外の空欄に０
    を補填すると共に、該ビットシフトにて生じる前記領域
    内の空欄には前記領域内に相当する第２変換係数を補填
    する制御工程と、を有することを特徴とする画像処理方
    法。
  33. 【請求項３３】 オブジェクト画像を示すオブジェクト
    画像データ、及び前記オブジェクト画像の背景に合成さ
    れるべき背景画像データを発生する発生工程と、 前記オブジェクト画像データ及び前記オブジェクト画像
    の領域外に相当する前記背景画像データを周波数変換す
    る第１変換工程と、 少なくとも、前記オブジェクト画像の領域に相当する前
    記背景画像データを周波数変換する第２変換工程と、 前記第１変換工程にて得られた変換係数の内、前記オブ
    ジェクト画像の領域に相当するビット群を上位のビット
    プレーンにビットシフトし、該ビットシフトにて生じる
    前記領域外の空欄に０を補填すると共に、該ビットシフ
    トにて生じる前記領域内の空欄には前記第２変換工程に
    て得られた前記領域内に相当する変換係数を補填する制
    御工程と、を有することを特徴とする画像処理方法。
  34. 【請求項３４】 画像データからオブジェクトの形状情
    報を抽出する形状情報抽出工程と、 前記画像データから前記オブジェクトのテクスチャ情報
    を抽出するオブジェクトテクスチャ情報抽出工程と、 前記画像データから背景のテクスチャ情報を抽出する背
    景テクスチャ情報抽出工程と、 前記形状情報抽出工程で抽出された前記形状情報に基づ
    いて、前記オブジェクトのテクスチャ情報及び前記背景
    のテクスチャ情報を周波数変換する第１周波数変換工程
    と、 前記背景のテクスチャ情報を周波数変換する第２周波数
    変換工程と、 前記第１周波数変換工程による出力と前記形状情報に基
    づいて、前記オブジェクトの領域外に０を補填する補填
    工程と、 前記補填工程による出力をビットプレーンに分割して符
    号化するとともに、前記第２周波数変換工程による出力
    をビットプレーンに分割して符号化するビットプレーン
    符号化工程と、を有することを特徴とする画像処理方
    法。
  35. 【請求項３５】 前記第１及び第２周波数変換工程で出
    力される変換係数を量子化する量子化工程を更に有する
    ことを特徴とする請求項３４に記載の画像処理方法。
  36. 【請求項３６】 撮像した画像を基に前記画像データを
    入力する画像入力工程を更に有することを特徴とする請
    求項３４又は３５に記載の画像処理方法。
  37. 【請求項３７】 前記画像データは、ＭＰＥＧ−４符号
    化方式で符号化された符号化データであることを特徴と
    する請求項３４又は３５に記載の画像処理方法。
  38. 【請求項３８】 前記第１又は第２周波数変換工程の少
    なくともいずれかは離散ウェーブレット変換を行うこと
    を特徴とする請求項３４乃至３７のいずれか１項に記載
    の画像処理方法。
  39. 【請求項３９】 前記形状情報抽出工程で抽出された前
    記形状情報と前記第１周波数変換工程による周波数変換
    方式に基づいて前記形状情報を拡張する形状補正工程を
    更に有することを特徴とする請求項３４乃至３８のいず
    れか１項に記載の画像処理方法。
  40. 【請求項４０】 符号化データを入力する入力工程と、 第１ビットプレーンを復号する第１ビットプレーン復号
    工程と、 前記第１ビットプレーン復号工程の復号結果からオブジ
    ェクトの形状情報を抽出する形状情報抽出工程と、 前記第１ビットプレーン復号工程の復号結果を逆周波数
    変換する第１逆周波数変換工程と、 前記第１逆周波数変換工程の変換結果から前記オブジェ
    クトのテクスチャ情報を抽出するオブジェクトテクスチ
    ャ情報抽出工程と、 第２ビットプレーンを復号する第２ビットプレーン復号
    工程と、 前記第２ビットプレーン復号工程の復号結果を逆周波数
    変換する第２逆周波数変換工程と、 前記第２逆周波数変換工程による変換結果から背景のテ
    クスチャ情報を抽出する背景テクスチャ情報抽出工程
    と、 前記オブジェクトの形状情報を符号化してオブジェクト
    形状情報符号化データを生成するオブジェクト形状情報
    符号化工程と、 前記第１逆周波数変換工程の出力を符号化して前記オブ
    ジェクトのテクスチャ符号化データを生成するオブジェ
    クト符号化工程と、 前記第２逆周波数変換工程の変換結果を符号化して前記
    背景のテクスチャ符号化データを生成する背景符号化工
    程と、 符号化された前記オブジェクト形状情報符号化データ、
    前記オブジェクトのテクスチャ符号化データ、前記背景
    のテクスチャ符号化データをオブジェクト符号化データ
    として出力する出力工程と、を有することを特徴とする
    画像処理方法。
  41. 【請求項４１】符号化データを入力する工程と、 第１ビットプレーンを復号する第１ビットプレーン復号
    工程と、 前記第１ビットプレーン復号工程の復号結果からオブジ
    ェクトの形状情報を抽出する形状情報抽出工程と、 前記第１ビットプレーン復号工程の復号結果を逆周波数
    変換する第１逆周波数変換工程と、 前記第１逆周波数変換工程の変換結果から前記オブジェ
    クトのテクスチャ情報を抽出するオブジェクトテクスチ
    ャ情報抽出工程と、 前記第２ビットプレーン復号工程の復号結果を逆周波数
    変換する第２逆周波数変換工程と、 前記第２逆周波数変換工程の変換結果から背景のテクス
    チャ情報を抽出する背景テクスチャ情報抽出工程と、 を有することを特徴とする画像処理方法。
  42. 【請求項４２】 前記第１及び第２ビットプレーン復号
    工程の復号結果を逆量子化する逆量子化工程を更に有す
    ることを特徴とする請求項４０又は４１に記載の画像処
    理方法。
  43. 【請求項４３】 前記第１及び第２逆周波数変換工程で
    は、逆離散ウェーブレット変換を行うことを特徴とする
    請求項４０乃至４２のいずれか１項に記載の画像処理方
    法。
  44. 【請求項４４】 前記形状情報抽出工程で抽出された前
    記形状情報と、前記第１及び第２逆周波数変換工程にお
    ける変換方式に基づいて前記形状情報を縮小する形状補
    正工程を更に有することを特徴とする請求項４０乃至４
    ３のいずれか１項に記載の画像処理方法。
  45. 【請求項４５】 前記オブジェクト符号化データは、Ｍ
    ＰＥＧ−４符号化方式で符号化された符号化データであ
    ることを特徴とする請求項４０又は４１に記載の画像処
    理方法。
  46. 【請求項４６】 請求項３２乃至４５のいずれか１項に
    記載の画像処理方法を実施するプログラムを記憶したこ
    とを特徴とするコンピュータにより読み取り可能な記憶
    媒体。
  47. 【請求項４７】 画像データを入力する画像入力プログ
    ラムコードと、 情報データを入力する情報入力プログラムコードと、 前記画像データに基づいて注目領域を設定する注目領域
    設定プログラムコードと、 前記画像データを周波数変換して変換係数を生成する変
    換プログラムコードと、 前記変換係数の内、前記注目領域に相当する変換係数を
    上位のビットプレーンにビットシフトし、該ビットシフ
    トにて生じる前記注目領域外の空欄に０を補填すると共
    に、該ビットシフトにて生じる前記注目領域内の空欄に
    は前記情報データを補填する制御プログラムコードと、 を有することを特徴とするコンピュータプログラム。
  48. 【請求項４８】 符号化データを入力する符号化データ
    入力プログラムコードと、 前記符号化データを復号する復号プログラムコードと、 前記復号された復号結果から注目領域を抽出する注目領
    域抽出プログラムコードと、 抽出された前記注目領域の下位のビットプレーンから情
    報データを抽出する情報データ抽出プログラムコード
    と、を有することを特徴とするコンピュータプログラ
    ム。
  49. 【請求項４９】 オブジェクト画像を示すオブジェクト
    画像データ、及び前記オブジェクト画像の背景に合成さ
    れるべき背景画像データを発生する発生プログラムコー
    ドと、 前記オブジェクト画像データ及び前記オブジェクト画像
    の領域外に相当する前記背景画像データを周波数変換し
    て第１変換係数を生成し、少なくとも、前記オブジェク
    ト画像の領域に相当する前記背景画像データを周波数変
    換して第２変換係数を生成する変換プログラムコード
    と、 前記第１変換係数の内、前記オブジェクト画像の領域に
    相当するビット群を上位のビットプレーンにビットシフ
    トし、該ビットシフトにて生じる前記領域外の空欄に０
    を補填すると共に、該ビットシフトにて生じる前記領域
    内の空欄には前記領域内に相当する第２変換係数を補填
    する制御プログラムコードと、を有することを特徴とす
    るコンピュータプログラム。
  50. 【請求項５０】 オブジェクト画像を示すオブジェクト
    画像データ、及び前記オブジェクト画像の背景に合成さ
    れるべき背景画像データを発生する発生プログラムコー
    ドと、 前記オブジェクト画像データ及び前記オブジェクト画像
    の領域外に相当する前記背景画像データを周波数変換す
    る第１変換プログラムコードと、 少なくとも、前記オブジェクト画像の領域に相当する前
    記背景画像データを周波数変換する第２変換プログラム
    コードと、 前記得られた変換係数の内、前記オブジェクト画像の領
    域に相当するビット群を上位のビットプレーンにビット
    シフトし、該ビットシフトにて生じる前記領域外の空欄
    に０を補填すると共に、該ビットシフトにて生じる前記
    領域内の空欄には前記第２変換プログラムコードを実行
    して得られた前記領域内に相当する変換係数を補填する
    制御プログラムコードと、を有することを特徴とするコ
    ンピュータプログラム。
  51. 【請求項５１】 画像データからオブジェクトの形状情
    報を抽出する形状情報抽出プログラムコードと、 前記画像データから前記オブジェクトのテクスチャ情報
    を抽出するオブジェクトテクスチャ情報抽出プログラム
    コードと、 前記画像データから背景のテクスチャ情報を抽出する背
    景テクスチャ情報抽出プログラムコードと、 前記形状情報抽出により抽出された前記形状情報に基づ
    いて、前記オブジェクトのテクスチャ情報及び前記背景
    のテクスチャ情報を周波数変換する第１周波数変換プロ
    グラムコードと、 前記背景のテクスチャ情報を周波数変換する第２周波数
    変換プログラムコードと、 前記第１周波数変換による出力と前記形状情報に基づい
    て、前記オブジェクトの領域外に０を補填する補填プロ
    グラムコードと、 前記補填による出力をビットプレーンに分割して符号化
    するとともに、前記第２周波数変換による出力をビット
    プレーンに分割して符号化するビットプレーン符号化プ
    ログラムコードと、を有することを特徴とするコンピュ
    ータプログラム。
  52. 【請求項５２】 符号化データを入力する入力プログラ
    ムコードと、 第１ビットプレーンを復号する第１ビットプレーン復号
    プログラムコードと、 前記第１ビットプレーンの復号結果からオブジェクトの
    形状情報を抽出する形状情報抽出プログラムコードと、 前記第１ビットプレーン復号の復号結果を逆周波数変換
    する第１逆周波数変換プログラムコードと、 前記第１逆周波数変換の変換結果から前記オブジェクト
    のテクスチャ情報を抽出するオブジェクトテクスチャ情
    報抽出プログラムコードと、 第２ビットプレーンを復号する第２ビットプレーン復号
    プログラムコードと、前記第２ビットプレーン復号の復
    号結果を逆周波数変換する第２逆周波数変換プログラム
    コードと、 前記第２逆周波数変換による変換結果から背景のテクス
    チャ情報を抽出する背景テクスチャ情報抽出プログラム
    コードと、 前記オブジェクトの形状情報を符号化してオブジェクト
    形状情報符号化データを生成するオブジェクト形状情報
    符号化プログラムコードと、 前記第１逆周波数変換の出力を符号化して前記オブジェ
    クトのテクスチャ符号化データを生成するオブジェクト
    符号化プログラムコードと、 前記第２逆周波数変換の変換結果を符号化して前記背景
    のテクスチャ符号化データを生成する背景符号化プログ
    ラムコードと、 符号化された前記オブジェクト形状情報符号化データ、
    前記オブジェクトのテクスチャ符号化データ、前記背景
    のテクスチャ符号化データをオブジェクト符号化データ
    として出力する出力プログラムコードと、を有すること
    を特徴とするコンピュータプログラム。
  53. 【請求項５３】 符号化データを入力するプログラムコ
    ードと、 第１ビットプレーンを復号する第１ビットプレーン復号
    プログラムコードと、 前記第１ビットプレーン復号の復号結果からオブジェク
    トの形状情報を抽出する形状情報抽出プログラムコード
    と、 前記第１ビットプレーン復号の復号結果を逆周波数変換
    する第１逆周波数変換プログラムコードと、 前記第１逆周波数変換の変換結果から前記オブジェクト
    のテクスチャ情報を抽出するオブジェクトテクスチャ情
    報抽出プログラムコードと、 前記第２ビットプレーン復号の復号結果を逆周波数変換
    する第２逆周波数変換プログラムコードと、 前記第２逆周波数変換の変換結果から背景のテクスチャ
    情報を抽出する背景テクスチャ情報抽出プログラムコー
    ドと、を有することを特徴とするコンピュータプログラ
    ム。
JP2001047031A 2000-06-06 2001-02-22 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体 Withdrawn JP2002064709A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001047031A JP2002064709A (ja) 2000-06-06 2001-02-22 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
EP20010304871 EP1162573A3 (en) 2000-06-06 2001-06-04 Image processing apparatus and method
US09/873,291 US6909810B2 (en) 2000-06-06 2001-06-05 Image processing apparatus and method, and its computer program and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-169672 2000-06-06
JP2000169672 2000-06-06
JP2001047031A JP2002064709A (ja) 2000-06-06 2001-02-22 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2002064709A true JP2002064709A (ja) 2002-02-28

Family

ID=26593439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001047031A Withdrawn JP2002064709A (ja) 2000-06-06 2001-02-22 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体

Country Status (3)

Country Link
US (1) US6909810B2 (ja)
EP (1) EP1162573A3 (ja)
JP (1) JP2002064709A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104552A1 (ja) * 2004-04-23 2005-11-03 Sumitomo Electric Industries, Ltd. 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
JP2007005844A (ja) * 2005-05-25 2007-01-11 Ricoh Co Ltd 符号化処理装置、符号化処理方法、プログラム及び情報記録媒体
JP2010109486A (ja) * 2008-10-28 2010-05-13 Seiko Instruments Inc 画像処理装置、及び画像処理プログラム
JP2019087883A (ja) * 2017-11-07 2019-06-06 沖電気工業株式会社 符号化装置及びプログラム、並びに、画像処理システム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1311124A1 (en) * 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
US20030112868A1 (en) * 2001-12-17 2003-06-19 Koninklijke Philips Electronics N.V. Shape assisted padding for object-based coding
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
US7428338B2 (en) * 2002-01-10 2008-09-23 Ricoh Co., Ltd. Header-based processing of images compressed using multi-scale transforms
JP2004104347A (ja) * 2002-09-06 2004-04-02 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4208533B2 (ja) * 2002-09-19 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
US7164724B2 (en) * 2002-09-25 2007-01-16 Matsushita Electric Industrial Co., Ltd. Communication apparatus
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
US8204079B2 (en) 2002-10-28 2012-06-19 Qualcomm Incorporated Joint transmission of multiple multimedia streams
US7274823B2 (en) * 2002-11-12 2007-09-25 Qualcomm Incorporated System and method for processing symbols embedded in digital video
JP2004221633A (ja) * 2003-01-09 2004-08-05 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体
JP4218446B2 (ja) * 2003-07-03 2009-02-04 株式会社ニコン 電子カメラ
CN1655620B (zh) * 2004-02-09 2010-09-22 三洋电机株式会社 图像显示装置
JP4111926B2 (ja) * 2004-03-09 2008-07-02 株式会社リコー 画像処理装置、プログラム、記憶媒体及び画像送信方法
US7653255B2 (en) * 2004-06-02 2010-01-26 Adobe Systems Incorporated Image region of interest encoding
US7720295B2 (en) * 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
JP2006081152A (ja) * 2004-08-12 2006-03-23 Seiko Epson Corp デジタル画像符号化装置、デジタル画像符号化プログラム、デジタル画像符号化方法、及びデジタル画像復号化装置、デジタル画像復号化プログラム、並びにデジタル画像復号化方法
US8224725B2 (en) * 2004-10-14 2012-07-17 Google Inc. Escrowing digital property in a secure information vault
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
JP2006129248A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd 画像符号化方法および装置、ならびに画像復号方法および装置
US7925097B2 (en) * 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
US20060269151A1 (en) * 2005-05-25 2006-11-30 Hiroyuki Sakuyama Encoding method and encoding apparatus
US8077990B2 (en) 2006-04-28 2011-12-13 Pixsense Inc. Efficient content compression and decompression system and method
EP2018070A1 (en) * 2007-07-17 2009-01-21 Thomson Licensing Method for processing images and the corresponding electronic device
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8165393B2 (en) * 2008-06-05 2012-04-24 Microsoft Corp. High dynamic range texture compression
CN102378991B (zh) * 2008-06-23 2014-12-17 辛诺瓦媒体公司 用于编码的数据中的压缩增益的压缩域系统和方法
WO2011100347A2 (en) 2010-02-09 2011-08-18 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
CN102045570B (zh) * 2011-01-13 2016-12-07 北京中星微电子有限公司 一种图像编码方法及装置
AU2011203169C1 (en) * 2011-06-29 2014-07-17 Canon Kabushiki Kaisha Compression of high bit-depth images
WO2013067436A1 (en) * 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
WO2013074964A1 (en) 2011-11-16 2013-05-23 Vanguard Software Solutions, Inc. Video compression for high efficiency video coding
US8639057B1 (en) 2012-03-19 2014-01-28 The Modern Video Company Artifact removal method and system for contoured images and video
WO2014010894A1 (ko) * 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US10015507B2 (en) 2013-05-20 2018-07-03 Cinova Media Transform system and method in video and image compression
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
JP6471023B2 (ja) * 2015-03-31 2019-02-13 株式会社メガチップス 画像処理システムおよび画像処理方法
JP6537396B2 (ja) * 2015-08-03 2019-07-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
US10805629B2 (en) * 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
EP3884662A4 (en) 2018-12-25 2021-12-08 Zhejiang Dahua Technology Co., Ltd. IMAGE PROCESSING SYSTEMS AND METHODS

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0392701B1 (en) 1989-04-10 1995-11-08 Canon Kabushiki Kaisha Image reduction apparatus
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
FI98020C (fi) * 1995-06-06 1997-03-25 Nokia Mobile Phones Ltd Digitaalisen signaalin modulointimenetelmä ja modulaattori
KR100550105B1 (ko) * 1998-03-20 2006-02-08 미쓰비시텐키 가부시키가이샤 화상 압축 및 복원 방법 및 장치
US6041143A (en) * 1998-04-14 2000-03-21 Teralogic Incorporated Multiresolution compressed image management system and method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005104552A1 (ja) * 2004-04-23 2005-11-03 Sumitomo Electric Industries, Ltd. 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
US7983497B2 (en) 2004-04-23 2011-07-19 Sumitomo Electric Industries, Ltd. Coding method for motion-image data, decoding method, terminal equipment executing these, and two-way interactive system
JP2007005844A (ja) * 2005-05-25 2007-01-11 Ricoh Co Ltd 符号化処理装置、符号化処理方法、プログラム及び情報記録媒体
JP2010109486A (ja) * 2008-10-28 2010-05-13 Seiko Instruments Inc 画像処理装置、及び画像処理プログラム
JP2019087883A (ja) * 2017-11-07 2019-06-06 沖電気工業株式会社 符号化装置及びプログラム、並びに、画像処理システム
JP7043797B2 (ja) 2017-11-07 2022-03-30 沖電気工業株式会社 符号化装置及びプログラム、並びに、画像処理システム

Also Published As

Publication number Publication date
US20010048770A1 (en) 2001-12-06
EP1162573A3 (en) 2005-12-28
US6909810B2 (en) 2005-06-21
EP1162573A2 (en) 2001-12-12

Similar Documents

Publication Publication Date Title
JP2002064709A (ja) 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体
AU2022203068B2 (en) Apparatus and method for image processing
JP4702928B2 (ja) 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6798977B2 (en) Image data encoding and decoding using plural different encoding circuits
KR101266577B1 (ko) 화상 처리 방법 및 장치
KR20190099410A (ko) 화상 처리 장치 및 방법
AU2023201854A1 (en) Method for coding transform coefficient on basis of high frequency zeroing and apparatus therefor
EP2211553A1 (en) Encoder and decoder
EP3554073B1 (en) Image coding device, image coding method, image coding program, image decoding device, image decoding method and image decoding program
KR100630983B1 (ko) 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치
US8189687B2 (en) Data embedding apparatus, data extracting apparatus, data embedding method, and data extracting method
JP2004241869A (ja) 透かし埋め込み及び画像圧縮部
CN117750013A (zh) 图像编码和解码方法、编码和解码设备及记录介质
TWI600327B (zh) Receiving device, transmitting device, and video transmitting method
JP4355914B2 (ja) 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム
US10869030B2 (en) Method of coding and decoding images, a coding and decoding device, and corresponding computer programs
KR20220106732A (ko) 비디오 데이터가 부호화된 비트스트림을 처리하는 방법
JP4514666B2 (ja) 動画像符号化装置
CN111587575B (zh) 基于高频归零确定变换系数扫描顺序的方法及其设备
JP4136403B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
RU2776033C1 (ru) Способ для кодирования коэффициента преобразования на основе высокочастотного обнуления и оборудование для этого
JP6469277B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2024038211A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム、格納方法、伝送方法
JP4174254B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JPH11239319A (ja) 高能率符号化画像信号合成装置及び編集装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080513