JP2003037843A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number
JP2003037843A
JP2003037843A JP2001221674A JP2001221674A JP2003037843A JP 2003037843 A JP2003037843 A JP 2003037843A JP 2001221674 A JP2001221674 A JP 2001221674A JP 2001221674 A JP2001221674 A JP 2001221674A JP 2003037843 A JP2003037843 A JP 2003037843A
Authority
JP
Japan
Prior art keywords
scale code
quantization scale
bit rate
code
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001221674A
Other languages
English (en)
Inventor
Kuniaki Takahashi
邦明 高橋
Kazufumi Sato
数史 佐藤
Yoichi Yagasaki
陽一 矢ヶ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001221674A priority Critical patent/JP2003037843A/ja
Priority to US10/196,259 priority patent/US7116835B2/en
Publication of JP2003037843A publication Critical patent/JP2003037843A/ja
Priority to US11/501,746 priority patent/US20060269156A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

(57)【要約】 【課題】 画像圧縮情報のビットレートの変換処理を高
速で実現する。 【解決手段】 正規化アクティビティ算出部２２は、情
報バッファ２１よりビットレート、フレーム毎の発生ビ
ット量、及びマクロブロック毎の量子化ステップサイ
ズ、並びに発生ビット量情報に基づいて、原画の輝度成
分画素値より算出される正規化アクティビティを算出
し、符号量制御部２３に出力する。符号量制御部２３
は、目標とするビットレートの、視覚特性に対応した量
子化スケールコードを、正規化アクティビティ算出部２
２より入力された正規化アクティビティを利用して算出
し、量子化部１７に出力する。量子化部１７は、入力さ
れた量子化スケールコードに基づいて、帯域制限部１６
より入力された離散コサイン変換係数を量子化する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、特に、MP
EG（Moving Picture Experts Group）などの離散コサイ
ン変換等の直交変換と動き補償によって圧縮された画像
情報（ビットストリーム）を、より低ビットレートに変
換する処理を、高速に実現できるようにした画像処理装
置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】近年、画像データをデジタル情報として
取り扱い、効率の高い情報の伝送、蓄積を目的とするた
め、画像データ特有の冗長性を利用した離散コサイン変
換等の直交変換と動き補償により圧縮するMPEGなどの方
式に準拠した装置が、放送局などの情報配信用として、
または、一般家庭における情報受信用として普及しつつ
ある。
【０００３】特に、MPEG２（ISO/IEC 13818-2）は、汎
用画像符号化方式として定義されたものであり、飛び越
し走査画像、および、順次走査画像、並びに、標準解像
度画像、および、高精細画像に対応する標準規格であ
る。このためMPEG２は、放送業界などの業務用途、およ
び、一般ユーザ向けの用途と言った広範なアプリケーシ
ョンソフトウェアに今後とも用いられるものと予想され
る。また、MPEG２の圧縮方式を用いることにより、例え
ば、720画素×480画素から構成される標準解像度の飛び
越し走査画像であれば4乃至8 Mbps、また、1920画素×1
088画素から構成される高解像度の飛び越し走査画像で
あれば18乃至22 Mbpsの符号量（ビットレート）を、そ
れぞれに割り当てることで、高い圧縮率と良好な画質を
維持しつつ圧縮することができ、その伝送や蓄積を実現
することができる。
【０００４】しかしながら、高解像度の画像情報は膨大
であり、上記で述べた様なMPEG等の符号化方式を用いて
圧縮しても、十分な画質を得るためには、例えば、1920
画素×1080画素の30Hzの飛び越し走査画像の場合、18乃
至22 Mbps程度、または、それ以上の符号量（ビットレ
ート）を必要とするといった問題があった。すなわち、
例えば、衛星放送や、ケーブルテレビジョンなどのネッ
トワークを介してMPEG方式で圧縮された画像情報を伝送
する場合、伝送路の帯域幅に合わせて、また、光ディス
ク、磁気ディスク、若しくは、光磁気ディスクのような
記録媒体上でMPEG方式で圧縮された画像情報を蓄積（記
録）する場合、記録媒体の容量に合わせて、画質劣化を
最小限に抑えながら更なる符号量（ビットレート）の削
減を行う必要性がある。このような符号量（ビットレー
ト）の削減の必要性は、高解像度のみならず、標準解像
度画像（例えば、720画素×480画素の30Hzの飛び越し走
査画像）の画像圧縮情報（ビットストリーム）を、上述
の様に、ネットワークを介して伝送する場合や、記録媒
体上に記録させる場合にも生じることが考えられる。
【０００５】このような問題を解決する手段として、階
層符号化（スケーラビリティ）処理や画像情報変換（ト
ランスコーディング）処理といった手法が考えられてい
る。前者に関連して、MPEG２ではSNR（Signal to Noise
Ratio）スケーラビリティが標準化されており、これに
よって、高SNRの画像圧縮情報（ビットストリーム）と
低SNRの画像圧縮情報（ビットストリーム）を階層的に
符号化することを可能にしている。しかしながら、階層
符号化を行う為には、符号化の時点で、ネットワーク媒
体の帯域幅、または、記録媒体の記憶容量の拘束条件が
既知である必要があるが、実際のシステムにおいて、こ
れらの情報は未知であることが殆どである。従って、後
者の方が、実際のシステムに則した、より自由度の高い
方式であると言える。
【０００６】この画像情報変換（トランスコーディン
グ）処理とは、例えば、MPEG２方式で圧縮された画像圧
縮情報を、より低ビットレートの画像圧縮情報に変換す
る処理である。この画像情報変換処理では、まず、MPEG
２方式で圧縮された画像圧縮情報からピクチャコーディ
ングタイプ、各マクロブロック毎の量子化幅、および、
量子化行列と言った情報が抽出される。その後、画像圧
縮情報は、可変長復号され、量子化された離散コサイン
変換係数として２次元データに再配列される。続いて、
量子化された２次元データに再配列された離散コサイン
変換係数は、上述の量子化幅、および、量子化行列に基
づいて、逆量子化される。さらに、逆量子化された離散
コサイン変換係数は、所定の高域成分係数が削減され
て、ターゲットとなる（元のビットレートより低い）ビ
ットレートに基づいて生成される量子化幅（量子化スケ
ールコード）で再量子化された後、再びMPEG２方式で可
変長符号化されて、出力される。
【０００７】ここで、MPEG２方式の画像圧縮情報に対応
した量子化幅（量子化スケールコード）は、図１のフロ
ーチャートで説明する処理により、符号量制御が行われ
る。尚、以下の説明においては、MPEG２ Test Model 5
（ISO/IEC JTC1/SCに9/WG11N400）方式で圧縮された画
像圧縮情報を例として説明する。また、この符号量制御
では、目標符号量（ターゲットビットレート）、及び、
GOP（Group of Pictures）構成が入力変数であるものと
する。ここでいうGOPとは、MPEG２方式で画像圧縮され
る際に、使用されるI（Intra Code）ピクチャ（それ自
身で単独に符号化されるピクチャ）、P（Predictive Co
de）ピクチャ（時間的に前方の（過去の）Iピクチャ、
または、Pピクチャにより符号化されるピクチャ）、お
よび、B（Bidirectionally Predictive Code）ピクチャ
（時間的に前後の（過去、または、未来の）Iピクチ
ャ、または、Pピクチャにより符号化されるピクチャ）
の3種類のピクチャタイプがグループ化されたものであ
る。
【０００８】ステップＳ１において、GOP内の各ピクチ
ャに対する割当ビット量が、割り当て対象ピクチャを含
めGOP内でまだ復号されていないピクチャに対して割り
当てられるビット量（以下、これを割り当てビット量Ｒ
とする）に基づいて配分される。この配分がGOP内の符
号化ピクチャ順に繰り返される。その際、以下に述べる
二つの仮定を用いて各ピクチャへの符号量の割当を行
う。
【０００９】すなわち、第１の仮定として、各ピクチャ
を符号化する際に用いる平均量子化スケールコードと発
生符号量の積は、画面が変化しない限り、ピクチャタイ
プ毎に、一定になると仮定する。そこで、画面の複雑さ
を示す変数Xi，Xp，Xb(global complexity measure)
は、以下の式（１）乃至式（３）により更新される。こ
のパラメータにより次のピクチャを符号化する際の量子
化スケールコードと発生符合量との関係が推定される。
【００１０】Xi＝SiQi・・・（１） Xp＝SpQp・・・（２） Xb＝SbQb・・・（３）
【００１１】ここでSi，Sp，Sbはピクチャ符号化時の発
生符号ビット量であり、Qi，Qp，Qbは、ピクチャ符号化
時の平均量子化スケールコードである。また、初期値
は、目標符号量（ターゲットビットレート）bit_rate
（bits/sec）を用いて、以下の式（４）乃至式（６）の
ように示される値とする。
【００１２】Xi＝160×bit rate/115・・・（４） Xp＝60×bit rate/115・・・（５） Xb＝42×bit rate/115・・・（６）
【００１３】第２の仮定として、Ｉピクチャの量子化ス
ケールコードを基準としたＰ，Ｂピクチャの量子化スケ
ールコードの比率Kp，Kbが式（７），式（８）で定めら
れた値となる場合、常に全体の画質が最適化されると仮
定する。
【００１４】Kp＝Qp／Qi・・・（７） Kb＝Qb／Qi・・・（８）
【００１５】すなわち、Bピクチャの量子化スケールコ
ードは、I、Pピクチャの量子化スケールコードの常に
１．４倍としている。これは、BピクチャがI，Pピクチ
ャに比較して多少粗めに符号化されることにより、Bピ
クチャで節約できる符号量をI，Pピクチャに加えると、
I，Pピクチャの画質が改善され、これを参照するBピク
チャの画質も改善されることを想定している。
【００１６】上記二つの仮定により、GOPの各ピクチャ
に対する割当ビット量（Ti，Tp，Tb）は式（９）乃至式
（１１）で示す値であるとする。
【００１７】 Ti＝max{R／(1＋NpXp／XiKp＋NbXb／XiKb), bit rate/(8×picture rate)} ・・・（９） Tp＝max{R／(Np＋NbKpXb／XbKp), bit rate/(8×picture rate)}・・・（１０） Tb＝max{R／(Nb＋NpKbXp／XpKb), bit rate/(8×picture rate)}・・・（１１） ここでNp，NbはGOP内でまだ符号化されていないP，Bピ
クチャの枚数である。このようにして求めた割当符号量
を基にして、各ピクチャを符号化する毎に、GOP内の未
符号化ピクチャに対して割り当てられる割り当てビット
量Ｒを、以下の式（１２）により更新する。
【００１８】R＝R−Si,p,b・・・（１２）
【００１９】また、GOPの最初のピクチャを符号化する
際には、式（１３）により割り当てビット量Ｒを更新す
る。
【００２０】 R＝bit rate×N/Picture rate＋R・・・（１３）
【００２１】ここで、ＮはGOP内のピクチャ数である。
また、シーケンスの最初の割り当てビット量Ｒの初期値
は０とする。
【００２２】ステップＳ２において、ステップＳ１の処
理で式（９）乃至式（１１）により求められた各ピクチ
ャに対する割当ビット量(Ti，Tp，Tb)と、実際の発生符
号量を一致させるため、各ピクチャ毎に独立に設定した
３種類の仮想バッファの容量を基に、量子化スケールコ
ードが、マクロブロック単位のフィードバック制御で求
められる。尚、以下の説明において、マクロブロックは
8×8の2次元の構成であるものとする。
【００２３】すなわち、ｊ番目のマクロブロックの符号
化に先立ち、仮想バッファの占有量を式（１４）乃至式
（１６）によって求める。
【００２４】 dji＝d0i＋Bj-1−Ti×（j−1）／MB cnt・・・（１４） djp＝d0p＋Bj-1−Tp×（j−1）／MB cnt・・・（１５） djb＝d0b＋Bj-1−Tb×（j−1）／MB cnt・・・（１６）
【００２５】ここで、ｄ0i、ｄ0p、ｄ0bは、Iピクチ
ャ、Pピクチャ、および、Bピクチャのそれぞれの仮想バ
ッファの初期占有量を示し、Bjはピクチャの先頭からｊ
番目のマクロブロックまでの発生ビット量、MBcntは１
ピクチャ内のマクロブロック数である。
【００２６】各ピクチャ符号化終了時の仮想バッファ占
有量（ｄMBcnti，ｄMBcntp，ｄMBcntb）はそれぞれ同一
ピクチャタイプで、次のピクチャに対する仮想バッファ
占有量の初期値（ｄ0i，ｄ0p，ｄ0b）として用いられ
る。
【００２７】次に、ｊ番目のマクロブロックに対する量
子化スケールコードを、以下のように示す式（１７）に
より計算する。
【００２８】Qj＝dj×31／r・・・（１７）
【００２９】ここで、ｒはリアクションパラメータと呼
ばれるフィードバックループの応答速度を制御するパラ
メータであり、以下のように示す式（１８）で与えられ
る。
【００３０】 r＝2×bit rate/picture rate・・・（１８）
【００３１】尚、シーケンスの最初における仮想バッフ
ァの初期値は、以下のように示す式（１９）乃至式（２
１）で与えられる。
【００３２】d0i＝10×r／31・・・（１９） d0p＝Kp・d0i・・・（２０） d0b＝Kb・d0i・・・（２１）
【００３３】ステップＳ３において、ステップＳ２の処
理で求められた量子化スケールコードが、視覚的に劣化
の目立ちやすい平坦部で、より細かく量子化され、劣化
の目立ちにくい絵柄の複雑な部分で粗く量子化されるよ
うに、各マクロブロック毎のアクティビティと呼ばれる
変数によって変化させられる。
【００３４】アクティビティは、原画の輝度信号画素値
を用い、フレーム離散コサイン変換モードにおける４個
のブロックと、フィールド離散コサイン変換モードにお
ける４個のブロックとの、合計８ブロックの画素値を用
いて、以下のように示す式（２２）乃至式（２４）で与
えられる。
【００３５】
【数１】
【数２】
【数３】
【００３６】ここでPkは原画の輝度信号ブロック内画素
値である。式（２２）において最小値をとるのは、マク
ロブロック内の一部だけでも平坦部のある場合には量子
化を細かくするためである。
【００３７】更に、式（２５）により、その値が０．５
乃至２の範囲を取る正規化アクティビティNactjを求め
る。
【００３８】 Nactj＝（2×actj＋avg act）／（actj＋2×avg act）・・・（２５）
【００３９】ここで、Avg_actは、直前に符号化したピ
クチャでのactｊの平均値である。視覚特性を考慮し
た、量子化スケールコードmquantjはステップ２で得ら
れた量子化スケールコードQjの値に基づいて式（２６）
で与えられる。
【００４０】mquantj＝Qj× Nactj・・・（２６）
【００４１】以上のように求められた量子化スケールコ
ードmquantjにより、MPEG２方式で圧縮された画像圧縮
情報が、目標とする、より低ビットレート（ターゲット
ビットレート）の画像圧縮情報に変換される。
【００４２】
【発明が解決しようとする課題】しかしながら、上記の
ような手法では、画像変換処理を実行する度に、式（２
２）乃至式（２４）において、各マクロブロックに対す
る画素値の平均値を全て計算する必要があり、その演算
にかかる処理量が膨大なものとなってしまうため、結果
として処理時間がかかってしまううえ、これらの膨大な
演算に対応できるハードウェアを必要することから、装
置コストが増大してしまうという課題があった。
【００４３】また、上述のアクティビティは、原画像の
輝度信号画素値を用いて計算されているが、画像変換処
理において原画像の輝度信号画素値を知ることはできな
いため、入力となる画像圧縮情報が、例えば肌色検出、
または、赤色検出により、画像の複雑度に合わせた効率
的な適応量子化が行われていると、再量子化時に同様の
正規化アクティビティ情報を用いた適応量子化が行えな
いという課題があった。
【００４４】本発明はこのような状況に鑑みてなされた
ものであり、MPEGなどの離散コサイン変換等の直交変換
と動き補償によって圧縮され、符号化された画像情報
（ビットストリーム）が、衛星放送、ケーブルテレビジ
ョン、または、インターネットなどのネットワークを介
して伝送される場合や、光ディスク、磁気ディスク、ま
たは、光磁気ディスクのような記憶媒体に記録（蓄積）
される場合に、より低ビットレートの画像データに変換
される処理を、高速に実現できるようにするものであ
る。
【００４５】
【課題を解決するための手段】本発明の画像処理装置
は、第１のビットレートで符号化された画像データに基
づいて、画像データを第１のビットレートで符号化する
ために必要な第１の量子化スケールコードを演算する第
１の量子化スケールコード演算手段と、第１のビットレ
ートで符号化された画像データに基づいて、第１の量子
化スケールコードが視覚特性に応じて適応量子化された
第２の量子化スケールコードを演算する第２の量子化ス
ケールコード演算手段と、第１の量子化スケールコード
と第２の量子化スケールコードに基づいて、正規化アク
ティビティを演算する正規化アクティビティ演算手段
と、画像データを第２のビットレートで符号化するため
に必要とされる第３の量子化スケールコードを演算する
第３の量子化スケールコード演算手段と、第３の量子化
スケールコードと正規化アクティビティに基づいて、第
３の量子化スケールコードが視覚特性に応じて適応量子
化された第４の量子化スケールコードを演算する第４の
量子化スケールコード演算手段とを備えることを特徴と
する。
【００４６】前記第２のビットレートは、第１のビット
レートよりも低ビットレートとするようにすることがで
きる。
【００４７】前記符号化された画像データは、MPEG方式
で圧縮された画像データとするようにすることができ
る。
【００４８】前記第１のビットレートで符号化された画
像データには、それ自身の符号量、フレーム毎の発生ビ
ット量、マクロブロック毎の発生ビット量、または、マ
クロブロック毎の量子化ステップサイズを含ませるよう
にすることができる。
【００４９】前記第１の量子化スケールコード演算手段
には、符号量、フレーム毎の発生ビット量、および、マ
クロブロック毎の発生ビット量に基づいて、第１の量子
化スケールコードを演算させるようにすることができ
る。
【００５０】前記第２の量子化スケールコード演算手段
には、マクロブロック毎の量子化ステップサイズを２で
除することにより、第１の量子化スケールコードが視覚
特性に応じて適応量子化された第２の量子化スケールコ
ードを演算させるようにすることができる。
【００５１】前記正規化アクティビティ演算手段には、
第１の量子化スケールコードで第２の量子化スケールコ
ードを除することにより正規化アクティビティを演算さ
せるようにすることができる。
【００５２】本発明の画像処理方法は、第１のビットレ
ートで符号化された画像データに基づいて、画像データ
を第１のビットレートで符号化するために必要な第１の
量子化スケールコードを演算する第１の量子化スケール
コード演算ステップと、第１のビットレートで符号化さ
れた画像データに基づいて、第１の量子化スケールコー
ドが視覚特性に応じて適応量子化された第２の量子化ス
ケールコードを演算する第２の量子化スケールコード演
算ステップと、第１の量子化スケールコードと第２の量
子化スケールコードに基づいて、正規化アクティビティ
を演算する正規化アクティビティ演算ステップと、画像
データを第２のビットレートで符号化するために必要と
される第３の量子化スケールコードを演算する第３の量
子化スケールコード演算ステップと、第３の量子化スケ
ールコードと正規化アクティビティに基づいて、第３の
量子化スケールコードが視覚特性に応じて適応量子化さ
れた第４の量子化スケールコードを演算する第４の量子
化スケールコード演算ステップとを含むことを特徴とす
る。
【００５３】本発明の記録媒体のプログラムは、第１の
ビットレートで符号化された画像データに基づいて、画
像データを第１のビットレートで符号化するために必要
な第１の量子化スケールコードの演算を制御する第１の
量子化スケールコード演算制御ステップと、第１のビッ
トレートで符号化された画像データに基づいて、第１の
量子化スケールコードが視覚特性に応じて適応量子化さ
れた第２の量子化スケールコードの演算を制御する第２
の量子化スケールコード演算制御ステップと、第１の量
子化スケールコードと第２の量子化スケールコードに基
づいて、正規化アクティビティの演算を制御する正規化
アクティビティ演算制御ステップと、画像データを第２
のビットレートで符号化するために必要とされる第３の
量子化スケールコードの演算を制御する第３の量子化ス
ケールコード演算制御ステップと、第３の量子化スケー
ルコードと正規化アクティビティに基づいて、第３の量
子化スケールコードが視覚特性に応じて適応量子化され
た第４の量子化スケールコードの演算を制御する第４の
量子化スケールコード演算制御ステップとを含むことを
特徴とする。
【００５４】本発明のプログラムは、第１のビットレー
トで符号化された画像データに基づいて、画像データを
第１のビットレートで符号化するために必要な第１の量
子化スケールコードの演算を制御する第１の量子化スケ
ールコード演算制御ステップと、第１のビットレートで
符号化された画像データに基づいて、第１の量子化スケ
ールコードが視覚特性に応じて適応量子化された第２の
量子化スケールコードの演算を制御する第２の量子化ス
ケールコード演算制御ステップと、第１の量子化スケー
ルコードと第２の量子化スケールコードに基づいて、正
規化アクティビティの演算を制御する正規化アクティビ
ティ演算制御ステップと、画像データを第２のビットレ
ートで符号化するために必要とされる第３の量子化スケ
ールコードの演算を制御する第３の量子化スケールコー
ド演算制御ステップと、第３の量子化スケールコードと
正規化アクティビティに基づいて、第３の量子化スケー
ルコードが視覚特性に応じて適応量子化された第４の量
子化スケールコードの演算を制御する第４の量子化スケ
ールコード演算制御ステップとをコンピュータに実行さ
せることを特徴とする。
【００５５】本発明の画像処理装置および方法、並びに
プログラムにおいては、第１のビットレートで符号化さ
れた画像データに基づいて、画像データを第１のビット
レートで符号化するために必要な第１の量子化スケール
コードが演算され、第１のビットレートで符号化された
画像データに基づいて、第１の量子化スケールコードが
視覚特性に応じて適応量子化された第２の量子化スケー
ルコードが演算され、第１の量子化スケールコードと第
２の量子化スケールコードに基づいて、正規化アクティ
ビティが演算され、画像データを第２のビットレートで
符号化するために必要とされる第３の量子化スケールコ
ードが演算され、第３の量子化スケールコードと正規化
アクティビティに基づいて、第３の量子化スケールコー
ドが視覚特性に応じて適応量子化された第４の量子化ス
ケールコードが演算される。
【００５６】
【発明の実施の形態】図２は、本発明に係るトランスコ
ーダ１の一実施の形態の構成を示す図である。トランス
コーダ１は、入力される所定の圧縮方式で圧縮された画
像圧縮情報のビットレートを変換して、出力するもので
ある。すなわち、トランスコーダ１は、例えば、既に、
MPEG２方式で圧縮されたビットレートが20Mbpsの画像圧
縮情報を、同じMPEG２方式で圧縮されたビットレートが
16Mbpsの画像圧縮情報に変換するといった処理を行うも
のである。当然のことながら、入力される画像圧縮情報
のビットレートと、変換後の画像圧縮情報のビットレー
トは、上述のビットレート以外であってもよい。
【００５７】符号バッファ１１は、入力された高ビット
レートの画像圧縮情報（多くの符号量を持つ画像圧縮情
報（ビットストリーム））を格納し、一時的に記憶した
後、順次圧縮情報解析部１２に出力する。符号バッファ
１１に格納される画像圧縮情報（ビットストリーム）
は、MPEG２で規定されている、図示せぬVBV（Video Buf
fering Verifier：ビットストリームのオーバーフロ
ー、または、アンダーフローを監視するための装置）の
拘束条件を満たすよう符号化されているので、符号バッ
ファ１１においては、オーバーフロー、または、アンダ
ーフローが生じないように符号化されている。
【００５８】圧縮情報解析部１２は、符号バッファ１１
より入力された画像圧縮情報を、MPEG２で定められた構
文（シンタクス）に従って解析し、画像圧縮情報（ビッ
トストリーム）中から、符号量、フレーム毎の発生ビッ
ト量、マクロブロック毎の発生ビット量、量子化スケー
ルコード、マクロブロック毎の量子化ステップサイズ、
q_scale_typeフラグ、量子化行列、および、走査方式と
いった情報を抽出し、情報バッファ２１に格納させると
共に、画像圧縮情報に加えて、量子化幅、量子化行列、
および、走査方式の情報を可変長復号部１３に出力す
る。ここで、符号量とは、いわゆるビットレートを示す
値である。フレーム毎の発生ビット量、または、マクロ
ブロック毎の発生ビット量とは、圧縮された画像のフレ
ーム単位、または、マクロブロック単位で使用されるビ
ット量である。量子化スケールコードとは、量子化処理
を行う際の基準となる値を特定するためのコードであ
る。マクロブロック毎の量子化ステップサイズとは、量
子化スケールコードにより特定される量子化量のステッ
プ間隔を示す値である。q_scale_typeフラグとは、量子
化する際の量子化スケールコードと量子化値の関係が線
形のもの（Linear Q）であるか、または、非線形のもの
（Non-Linear Q）であるかを、１、または、０で示すフ
ラグである。量子化行列とは、量子化する際の演算に使
用する行列である。走査方式とは、例えば、ジグザグス
キャンであるか、または、オルトネートスキャンである
かなどの走査方式を示す情報である。
【００５９】可変長復号部１３は、まず、圧縮情報解析
部１２より入力された画像圧縮情報のうち、イントラマ
クロブロックの直流成分に関しては、隣接するブロック
との差分値として符号化されているデータを、その他の
係数に関しては、ラン（符号中のゼロが連続している
数）とレベル（符号中のゼロ以外の値）により符号化さ
れたデータを可変長復号し、量子化された一次元の離散
コサイン変換係数を得る。次に、可変長復号部１３は、
圧縮情報解析部１２により抽出された、画像の走査方式
（ジグザグサキャン、または、オルタネートスキャン）
に関する情報に基づいて、量子化された離散コサイン変
換係数を二次元データとして再配列し、量子化幅、およ
び、量子化行列の情報と共に逆量子化部１４に出力す
る。尚、走査方式については、図５を参照して後述す
る。
【００６０】逆量子化部１４は、可変長復号部１３より
入力された二次元データとなった、量子化された離散コ
サイン変換係数を、量子化幅、および、量子化行列に関
する情報に基づいて逆量子化し、離散コサイン変換係数
として加算器１５に出力する。加算器１５は、逆量子化
部１４より入力された離散コサイン変換係数から、動き
補償誤差補正部２０より入力される、離散コサイン変換
係数の誤差成分を減算して、動き補償された離散コサイ
ン変換係数を帯域制限部１６に出力すると共に、動き補
償誤差補正部２０の加算器３２に出力する。
【００６１】帯域制限部１６は、加算器１５の出力とし
て得られる動き補償処理された離散コサイン変換係数に
基づいて、8×8のブロック毎に、水平方向の高域成分係
数を削減し、量子化部１７に出力する。
【００６２】量子化部１７は、符号量制御部２３により
入力される、目標とするビットレートに対応した量子化
スケールコードに基づいて、帯域制限部１６より入力さ
れた8×8の離散コサイン変換係数を量子化し、可変長符
号化部１８に出力すると共に、動き補償誤差補正部２０
の逆量子化部３１に出力する。可変長符号化部１８は、
量子化部１７より入力された量子化された離散コサイン
変換係数をMPEG２方式で可変長符号化し、符号バッファ
１９に出力し、一時的に記憶させる。符号バッファ１９
は、低ビットレートに変換された画像圧縮情報を一時的
に記憶して、出力すると共に、符号量制御部２３に出力
する。
【００６３】正規化アクティビティ算出部２２は、情報
バッファ２１よりビットレート、フレーム毎の発生ビッ
ト量、および、マクロブロック毎の量子化ステップサイ
ズ、並びに、発生ビット量情報に基づいて、原画の輝度
成分画素値より算出される正規化アクティビティを算出
し、符号量制御部２３に出力する。
【００６４】符号量制御部２３は、目標とするビットレ
ートの、視覚特性に対応した量子化スケールコードを、
正規化アクティビティ算出部２２より入力された正規化
アクティビティを利用して算出し、量子化部１７に出力
する。
【００６５】動き補償誤差補正部２０の逆量子化部３１
は、量子化部１７より入力された量子化されている離散
コサイン変換係数を、量子化幅と量子化行列に関する情
報をもとに逆量子化し、加算器３２に出力する。加算器
３２は、逆量子化部３１より入力される離散コサイン変
換係数と、逆量子化部１５より入力される離散コサイン
変換係数との差分を算出し、逆離散コサイン変換部３３
に出力する。逆離散コサイン変換部３３は、この逆量子
化部３１より入力される離散コサイン変換係数と、逆量
子化部１５より入力される離散コサイン変換係数との差
分値に逆離散コサイン変換処理を施し、動き補償誤差補
正情報（誤差データ）を生成して、ビデオメモリ３４に
出力し、格納される。
【００６６】動き補償予測部３５は、入力された画像圧
縮情報（ビットストリーム）内における動き補償予測モ
ード情報（フィールド動き補償予測モード、または、フ
レーム動き補償予測モード、および、前方向予測モー
ド、後方向予測モード、または、双方向予測モード）、
および、動きベクトル情報に基づいて、ビデオメモリ３
４内の誤差データを元に動き補償処理を実行し、空間領
域での誤差補正値を生成して離散コサイン変換部３６に
出力する。離散コサイン変換部３６は、動き補償予測部
３５より入力された空間領域での誤差補正値に離散コサ
イン変換処理を施すことで、周波数領域での誤差補正値
を求めて、加算器１５に出力する。
【００６７】次に、図３のフローチャートを参照して、
MPEG２方式で、かつ、20Mbpsのビットレートで圧縮され
た画像圧縮情報を、MPEG２方式で、かつ、16Mbpsのビッ
トレートで圧縮された画像圧縮情報に変換する、ビット
レート変換処理について説明する。ステップＳ１１にお
いて、符号バッファ１１は、入力された画像圧縮情報を
一時的に記憶して、圧縮情報解析部１２に出力する。ス
テップＳ１２において、圧縮情報解析部１２は、符号バ
ッファより入力された画像圧縮情報（ビットストリー
ム）より、フレーム毎の発生ビット量、マクロブロック
毎の発生ビット量、量子化スケールコード、量子化ステ
ップサイズ、q_scale_typeフラグ、量子化行列、およ
び、走査方式の情報を抽出して、情報バッファ２１に格
納させると共に、画像圧縮情報を可変長復号部１３に出
力する。
【００６８】ステップＳ１３において、正規化アクティ
ビティ算出部２２は、情報バッファ２１に記憶された、
入力となるマクロブロック毎の情報を用いて以下に示す
方法で原画の輝度成分画素値より算出された、正規化ア
クティビティを算出（逆算）する正規化アクティビティ
算出処理を実行する。
【００６９】ここで、図４のフローチャートを参照し
て、正規化アクティビティ算出処理を説明する。正規化
アクティビティ算出部２２は、入力となるMPEG２方式で
圧縮された画像圧縮情報（ビットストリーム）は、量子
化タイプを示すq_scale_typeフラグがLinear Q，Non-Li
near Qに限らず、以下の方法を用いて算出する。
【００７０】ステップＳ３１において、正規化アクティ
ビティ算出部２２は、ｊ番目のマクロブロックの符号化
に先立ち、入力ビットストリーム符号化時の仮想バッフ
ァの占有量を式（２７）乃至式（２９）により算出す
る。
【００７１】 dji-in＝d0i-in＋Bj-in -1−Ti-in×（j−1）／MB cnt・・・（２７） djp-in＝d0p-in＋Bj-in -1−Tp-in×（j−1）／MB cnt・・・（２８） djb-in＝d0b-in＋Bj-in -1−Tb-in×（j−1）／MB cnt・・・（２９）
【００７２】ここで、ｄ0i-in，ｄ0p-in，ｄ0b-inは、
入力画像圧縮情報（ビットストリーム）の符号化時を想
定した仮想バッファの初期占有量を、Ｂj-inは、入力画
像圧縮情報（ビットストリーム）のピクチャの先頭から
ｊ番目のマクロブロックまでの発生ビット量を、MBcnt
は１ピクチャ内のマクロブロック数をそれぞれ示す。Ti
-in，Tp-in，Tb-inは、入力フレームの発生ビット量を
示す。各ピクチャ符号化終了時の仮想バッファ占有量
（ｄMBcnti-in，ｄMBcntp-in，ｄMBcntb-in）は、それ
ぞれ同一ピクチャタイプで、次のピクチャに対する仮想
バッファ占有量の初期値（ｄ0i-in，ｄ0p-in，ｄ0b-i
n）として用いられる。
【００７３】ステップＳ３２において、正規化アクティ
ビティ算出部２２は、ｊ番目のマクロブロックに対する
量子化スケールコードQj-inを、以下のように示す式
（３０）により算出する。
【００７４】Qj-in＝dj-in×31／r-in・・・（３０）
【００７５】ｒ-inは、リアクションパラメータと呼ば
れるフィードバックループの応答速度を制御するパラメ
ータであり、入力ビットストリームの符号量（ビットレ
ート）を用いて、以下のように示す式（３１）で与えら
れる。
【００７６】 r-in＝2×bit rate/picture rate・・・（３１）
【００７７】尚、シーケンスの最初における仮想バッフ
ァの初期値は、以下のように示す式（３２）乃至式（３
４）で与えられる。
【００７８】d0i-in＝10×r-in／31・・・（３２） d0p-in＝Kp・d0i-in ・・・（３３） d0b-in＝Kb・d0i-in ・・・（３４）
【００７９】ここで、Ｋｐ，Ｋｂは、出力画像圧縮情報
（ビットストリーム）の符号量制御に用いた方法と同様
に入力画像圧縮情報（ビットストリーム）に対して算出
するものとする。
【００８０】ステップＳ３３において、正規化アクティ
ビティ算出部２２は、入力画像圧縮情報（ビットストリ
ーム）の量子化ステップサイズQ_step_size-j-inを用い
て式（３５）により視覚特性を考慮した（視覚特性に対
応した）量子化スケールコードmquant-j-inを求める。
【００８１】 mquant-j-in＝Q_step_size-j-in／2・・・（３５）
【００８２】ステップＳ３４において、正規化アクティ
ビティ算出部２２は、式（３５）により求められた視覚
特性を考慮した量子化スケールコードmquant-j-inと、
入力ビットストリーム符号化時の仮想バッファの占有量
から算出されるｊ番目のマクロブロックに対する量子化
スケールコードQj-inを用いて、入力画像圧縮情報（ビ
ットストリーム）符号化時の符号量制御の際にフレーム
内で用いられた正規化アクティビティNact-jを式（３
６）により算出する。
【００８３】 Nact-j＝mquant-j-in／Qj-in・・・（３６）
【００８４】このような処理により、従来では、離散コ
サイン変換係数により再量子化を行う際、マクロブロッ
ク毎の正規化アクティビティの算出のために、原画の画
像圧縮情報を各画素毎の情報まで復元し、その輝度画素
値の平均値と分散を求めていたが、その必要がなくな
る。
【００８５】ここで、図３のフローチャートの説明に戻
る。
【００８６】ステップＳ１３において、正規化アクティ
ビティ算出処理により正規化アクティビティが算出され
ると、ステップＳ１４において、可変長復号部１３は、
入力された画像圧縮情報を、走査方式に基づいて、図５
（Ａ）で示すようなジグザグスキャン、または、図５
（Ｂ）で示すようなオルタネートスキャンの順序で、量
子化された離散コサイン変換係数を二次元データとして
再配列し、量子化幅、および、量子化行列の情報と共に
逆量子化部１４に出力する。尚、図５（Ａ），図５
（Ｂ）においては、8×8離散コサイン変換係数のスキャ
ン順序が、数字により示されている。すなわち、図５
（Ａ）で示すようにジグザグスキャンでは、図中左上の
「0」から順次、その右の「１」に、ついで、その左下
の「２」に、さらに、その下の「３」、その右上の
「４」、その右上の「５」、その右の「６」、その左下
の「７」、その左下の「８」・・・のような順序で、最
右列最下段の「６３」までスキャンする。また、図５
（Ｂ）で示すようにオルタネートスキャンでは、図中左
上の「0」から順次、その下の「１」、さらにその下の
「２」、さらにその下の「３」、右に1列、上に3段上の
「４」、その下の「５」、右上の「６」、その下の
「７」、その左下の「８」、その下の「９」、その左下
の「１０」・・・といった順序で、最右列最下段の「６
３」までスキャンする。
【００８７】ステップＳ１５において、逆量子化部１４
は、入力された量子化されている離散コサイン変換係数
を、圧縮情報解析部１２により抽出された、量子化スケ
ールコード、および、量子化行列に基づいて逆量子化
し、離散コサイン変換係数として加算器１５に出力す
る。
【００８８】ステップＳ１６において、加算器１５は、
逆量子化部１４より入力された離散コサイン変換係数か
ら、動き補償誤差補正部２０により後述する動き補償誤
差補正処理された動き補償誤差を減算して、誤差を補正
した離散コサイン変換係数を帯域制限部１６に出力する
と共に、加算器３２に出力する。
【００８９】ステップＳ１７において、帯域制限部１６
は、加算器１５より入力された誤差が補正されている離
散コサイン変換係数の水平方向高域成分係数を、ブロッ
ク毎に削減する。このとき、帯域制限部１６は、輝度信
号と色差信号とに分けて、水平方向高域成分係数を削減
する。すなわち、輝度信号については、図６（Ａ）で示
すように、8×8の離散コサイン変換係数のうち、水平方
法低域成分である8×6の離散コサイン変換係数（図中の
黒丸）の値を保存し、残りをゼロ（0）に置き換える。
色差信号に関しては、図６（Ｂ）に示すように、8×8の
離散コサイン変換係数のうち、水平方向低域成分である
8×4の離散コサイン変換係数（図中の黒丸）の値を保存
し、残りをゼロ(0)と置き換える。入力となる画像圧縮
情報（ビットストリーム）が、飛び越し走査画像のもの
である場合には、フレーム離散コサイン変換モードの際
に、フィールド間の時間差に関する情報を、離散コサイ
ン変換係数の垂直方向高域成分が含むことにより、その
制限を行うことは大幅な画質劣化に繋がるため、垂直方
向の帯域制限は行わない。また、この例に示したよう
に、劣化がより人間の目に付きやすい輝度信号に比べ、
より人間の目に付きにくい色差信号に対して、より大き
く帯域制限を行うことで、画質劣化を最小限に抑えなが
ら、再量子化の歪みを低減している。
【００９０】尚、帯域制限部１６における処理は、図６
に示した方法以外であってもよく、例えば、ゼロ（0）
と置き換える代わりに、予め用意した重み係数を離散コ
サイン変換係数の水平方向高域成分に乗じるようにし
て、同様の効果が生じるようにしてもよい。
【００９１】ステップＳ１８において、符号量制御部２
３は、目標となるビットレート（今の場合16Mbps）の画
像圧縮情報に対応する量子化スケールコードQj-outを算
出する。尚、この処理は、従来の方法における、式（１
７）により演算されるものであり、その説明は省略す
る。
【００９２】ステップＳ１９において、符号量制御部２
３は、ステップＳ１８の処理で算出した量子化スケール
コードQj-outと、正規化アクティビティNact-jに基づい
て、以下の式（３７）を使用して、目標とするビットレ
ートの、視覚特性を考慮した量子化スケールコードmqua
nt-j-outを求める。
【００９３】 mquant-j-out＝Qj-out×Nact-j・・・（３７）
【００９４】ステップＳ２０において、符号量制御部２
３は、ステップＳ１９の処理で演算された量子化スケー
ルコードmquant-j-outよりも、入力された画像圧縮情報
の量子化スケールコードmquant-j-inの方が小さいか否
かを判定し、量子化スケールコードmquant-j-outより
も、入力された元の画像圧縮情報の量子化スケールコー
ドmquant-j-inの方が大きいと判定した場合、その処理
は、ステップＳ２１に進む。
【００９５】ステップＳ２１において、符号量制御部２
３は、演算した量子化スケールコードmquant-j-outを量
子化部１７に出力する。
【００９６】ステップＳ２２において、量子化部１７
は、符号量制御部２３より入力された量子化スケールコ
ードmquant-j-out、または、量子化スケールコードmqua
nt-j-inに基づいて、帯域制限部１６より入力された、
帯域制限されている画像圧縮情報を量子化して、可変長
符号化部１８に出力する。
【００９７】ステップＳ２３において、可変長符号化部
１８は、入力された量子化されている離散コサイン変換
係数のうち直流成分に関しては、１ブロック前の直流成
分係数を予測値としてその差分を可変長符号化し、その
他の成分に関しては、予め設定された走査方式（ジグザ
グスキャン、または、オルタネートスキャン）に基づい
て１次元の配列データに並べ替え、連続する0係数の数
（ラン）、および、非0の係数（レベル）の組み合わせ
から可変長符号化を行い、符号バッファ１９を介して入
力された画像圧縮情報に比べて、低ビットレートの画像
圧縮情報に変換する。
【００９８】このとき、ブロック内の走査順で、それ以
降の係数が０となった場合、EOB（End of Block）と呼
ばれる符合を出力し、そのブロックに対する可変長符号
化を終了する。例えば、入力となる画像圧縮情報（ビッ
トストリーム）におけるブロックの係数が、図７（Ａ）
に示すようになっていた場合（図７中、黒丸は非0係
数、白丸は0係数を示す）、図６（Ｂ）に示すような、
離散コサイン変換係数の削減を施したとすると、非0係
数の分布は図７（Ｂ）のようになる。ここで、図５
（Ａ）で示すようなジグザグスキャンにより、この離散
コサイン変換係数が可変長符号化されると、最後の非0
係数のスキャン番号は「５０」に位置する係数（図５
（Ａ）の左から第５列目の上から第７段目の係数）にな
る。これに対して、走査変換を行い、図５（Ｂ）で示す
ようなオルタネートスキャンで、この離散コサイン変換
係数が可変長符号化されると、最後の非0係数のスキャ
ン番号は「４４」に位置する係数（図５（Ｂ）の左から
第５列目の上から第７段目の係数）となる。これによ
り、EOB信号は、ジグザグスキャンの場合よりオルタネ
ートスキャンにより検出される番号で設定されることに
なり、その分量子化幅としてより細かな値を割当ること
ができ、再量子化に伴う量子化歪を低減することが可能
となる。
【００９９】ステップＳ２０において、量子化スケール
コードmquant-j-outよりも、元の画像圧縮情報の量子化
スケールコードmquant-j-inの方が大きくないと判定し
た場合、ステップＳ２４において、符号量制御部２３
は、量子化スケールコードmquant-j-inを量子化部１７
に出力する。
【０１００】すなわち、ステップＳ２０の処理により、
量子化スケールコードmquant-j-in＜量子化スケールコ
ードmquant-j-outであると判定された場合、一度粗く量
子化されたマクロブロックが再量子化されて、より細か
く量子化されたことになる。粗く量子化されたことによ
る歪みは、細かく再量子化されることでは低減されない
うえ、このマクロブロックに対して、使用ビット量が多
く使われることになるため、他のマクロブロックに割り
当てられるビットの減少を招き、更なる画質劣化を引き
起こすことになる、そこで、量子化スケールコードmqua
nt-j-in＜量子化スケールコードmquant-j-outであると
判定された場合、符号量制御部２３は、量子化に使用す
る量子化スケールコードとして量子化スケールコードmq
uant-j-outでは無く、量子化スケールコードmquant-j-i
nを採用するようにしている。
【０１０１】次に、図８のフローチャートを参照して、
動き補償誤差補正部２０の動き補償誤差補正処理につい
て説明する。
【０１０２】まず、動き補償誤差の生じる原因について
述べる。原画像の画素値をOとし、この画素値Oに対し
て、入力となる画像圧縮情報（ビットストリーム）の量
子化幅Q1で復号した参照画素値L(Q1)と、再符号化後の
画像圧縮情報（ビットストリーム）における、この画素
値Oに対する量子化幅Q2で復号された時の参照画像の画
素値L(Q2)を考える。
【０１０３】Pピクチャ、または、Bピクチャのインター
マクロブロックの画素の場合、差分値O−L(Q1)に離散コ
サイン変換が施されて符号化される。ところが、符号量
（ビットレート）の削減が行われた、出力となる画像圧
縮情報（ビットストリーム）は、O−L(Q2)を離散コサイ
ン変換して符号化したものとみなして復号を行う。この
とき、動き補償誤差補正部２０による動き補償誤差補正
処理が行われないものと仮定すると、一般的に、量子化
幅Q1＝量子化幅Q2ではないため、それぞれの差分値O−L
(Q1)と差分値O−L(Q2)も異なることになる。このような
現象が、Ｐピクチャ、Ｂピクチャで生じるため、動き補
償にともなう誤差が発生する。
【０１０４】更に、Ｐピクチャで生じた画質劣化は、後
続のＰピクチャ、および、それを参照とするＢピクチャ
に伝播し、更なる画質劣化を生じさせる。このような原
理により、GOPの各ピクチャの復号が後段に向かって進
むに従って、動き補償に伴う誤差の蓄積が原因で、画質
が劣化し、次のGOPの先頭でまた良好な画質に戻るとい
う現象（ドリフト）が生じることになる。そこで、動き
補償誤差補正処理は、量子化幅Q1と量子化幅Q2が、相互
に異なる値とならないように補償する処理である。
【０１０５】ステップＳ５１において、逆量子化部３１
は、量子化部１７より入力される離散コサイン変換係数
を、情報バッファ２１に記憶された量子化幅と量子化行
列に関する情報をもとに逆量子化して、加算器３２に出
力する。ステップＳ５２において、加算器３２は、加算
器１５より入力される離散コサイン変換係数で、逆量子
化部３１より入力される離散コサイン変換係数を減算
し、その差分値を逆離散コサイン変換部３３に出力す
る。ステップＳ５３において、逆離散コサイン変換部３
３は、入力された差分値を逆離散コサイン変換し、その
結果を動き補償誤差補正情報として、ビデオメモリ３４
に格納させる。
【０１０６】ステップＳ５４において、動き補償予測部
３５は、入力となる画像圧縮情報（ビットストリーム）
内における動き補償予測モード情報（フィールド動き補
償予測モード、または、フレーム動き補償予測モード、
および、前方向予測モード、後方向予測モード、また
は、双方向予測モード）、および、動きベクトル情報
と、ビデオメモリ３４内の誤差データに基づいて動き補
償予測処理を施し、これによって生成された空間領域で
の誤差補正値を離散コサイン変換部３６に出力する。ス
テップＳ５５において、離散コサイン変換部３６は、動
き補償予測部３５より入力された誤差補正値に離散コサ
イン変換処理を施し、周波数領域での誤差補正値として
加算器１５に出力する。
【０１０７】この逆離散コサイン変換部３３、および、
離散コサイン変換部３６の処理については、例えば、
“A fast computational algorithm fo the discrete c
osinetransform”(IEEE Trans. Commun. , vol,. 25, n
o. 9, pp. 1004-1009, 1977)で示されている様な高速ア
ルゴリズムを適用するようにしても良い。また、逆離散
コサイン変換部３３、および、離散コサイン変換部３６
の処理について、水平方向の離散コサイン変換係数は、
帯域制限部１６において高域成分係数が0と置き直され
ているため、これに対する逆離散コサイン変換処理、お
よび、離散コサイン変換処理を省くことで演算処理量を
削減することができ、演算処理用のハードウェアの構成
を簡素化することが可能となる。
【０１０８】さらに、画像における色差信号の劣化は、
輝度信号の劣化に比べ、人間の目には分かり難いという
特色を有しているため、上記の動き補償誤差補正処理
を、輝度信号にのみに適用することで、画質劣化を最小
に保ちながら演算処理量を削減することができ、演算処
理用のハードウェアの構成を簡素化することが可能とな
る。
【０１０９】また、Ｐピクチャにおける誤差はＢピクチ
ャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝
播しない。一方、Ｂピクチャには双方向予測モードを含
み、膨大な演算処理量を必要とする。そこで、Ｐピクチ
ャにのみ動き補償誤差補正処理を施すようにすること
で、画質劣化を最小に保ちながら演算処理量を削減する
ことができ、演算処理用のハードウェアの構成を簡素化
することが可能となる。また、Ｂピクチャにおける処理
が省略されることにより、ビデオメモリ３４の容量を節
約すること可能となる。
【０１１０】さらに、上述の例においては、誤差補正値
の成分として8×8離散コサイン変換係数の全ての成分が
用いられているが、特に、離散コサイン変換モードがフ
レームDCTモードであり、入力となる画像圧縮情報（ビ
ットストリーム）の走査方式が飛び越し走査である場
合、動き補償誤差補正部２０による動き補償誤差補正処
理は、垂直方向高域成分の誤差を省略するといった処理
により画質劣化を生じさせることになるが、水平方向に
関しては高域成分となる４成分を省略しても、視覚的に
影響するような画質劣化を生じないことが知られてい
る。この事実を利用して、画質劣化を最小限に抑えなが
ら、演算処理量を削減することができ、演算処理用のハ
ードウェアの構成を簡素化することができ、さらに、ビ
デオメモリ３４の容量を節約すること可能となる。
【０１１１】そこで、逆離散コサイン変換部３３、およ
び、離散コサイン変換部３６においては、垂直方向には
通常の８次の処理を施すが、水平方向に関しては、低域
成分となる４次の係数のみを用いた処理を行うようにし
てもよい。これにより、ビデオメモリ３４の水平方向解
像度を１／２とすることで、その容量を節約することが
可能となる。
【０１１２】但し、この場合、動き補償予測部３５は、
１／４画素精度の動き補償処理が必要となる。この処理
は、図９に示すように、画像圧縮情報（ビットストリー
ム）中の動きベクトルの値に応じて、線形内挿を行うこ
とで動き補償誤差に伴う画質劣化を十分に抑制すること
が可能である。水平方向に対する処理としては、以下の
手段が考えられる。
【０１１３】すなわち、図９（Ａ）で示すように、元の
動きベクトルｍｖ１乃至４の画素が存在する場合、図９
（Ｂ）で示すように、水平方向に右方向に各画素間の１
／４だけずれた位置の場合、動きベクトルｍｖ１'は、
以下の式（３８）に示すように計算される。
【０１１４】 mv１'＝３／４×mv1＋１／４×mv2…（３８）
【０１１５】すなわち、それぞれの位置に対応する重み
付けの平均により１／４画素ずれた位置の動きベクトル
が計算される。同様にして、図９（Ｃ）で示すように、
２／４（＝１／２）画素分だけ右方向にずれた位置の場
合、動きベクトルmv１''は、以下の式（３９）に示すよ
うに計算される。
【０１１６】 mv１''＝１／2×mv1＋１／2×mv2…（３９）
【０１１７】同様にして、図９（Ｄ）で示すように、３
／４画素分だけ右方向にずれた位置の場合、動きベクト
ルmv１'''は、以下の式（４０）で示すように計算され
る。
【０１１８】 mv１'''＝１／4×mv1＋3／4×mv2…（４０）
【０１１９】すなわち、上述の処理は、逆離散コサイン
変換装置３３においては、８次の離散コサイン係数のう
ち、低域４次係数のみに対して４次の逆離散コサイン変
換を施し、離散コサイン変換部３６においては、ビデオ
メモリ３４から動き補償によって作られた画素領域で
の、各ブロック毎の8×8の誤差補正値に対して、水平方
向には高域成分の４次の離散コサイン変換処理を施すこ
とで4×8の周波数領域での誤差補正値が出力されるとい
うものである。
【０１２０】また、水平成分の低域成分の４次の逆離散
コサイン変換処理と、離散コサイン変換処理に、高速ア
ルゴリズムを用いることで、更なる処理量の削減が可能
となる。図１０に、高速アルゴリズムの一例であるWang
のアルゴリズム（Zhone de Wang.,“Fast Algorithms f
or the Discrete W Transform and for the DiscreteFo
urier Transform”, IEEE Tr. ASSP-32, No. 4, pp.803
-816, Aug. 1984）に基づいた手法を示す。図１０にお
いて、Ｆ（０）乃至Ｆ（３）を入力値とし、ｆ（０）乃
至ｆ（３）を出力値とする処理により、逆離散コサイン
変換が実現され、ｆ（０）乃至ｆ（３）を入力値とし、
Ｆ（０）乃至Ｆ（３）を出力とすることで離散コサイン
変換が実現される。ここで、演算子A乃至Dは、以下の式
（４１）乃至式（４４）で示すように定義される。
【０１２１】A＝１／√２・・・（４１） B＝−cos（π／8）＋cos（3π／8）・・・（４２） C＝cos（π／8）＋cos（3π／8）・・・（４３） D＝cos（3π／8）・・・（４４）
【０１２２】逆離散コサイン変換を実行するときは、以
下のように示す式（４５）乃至式（４８）の演算が実行
される。
【０１２３】 ｆ(0)=（F(0)＋F(2)）×A＋F(1)×C＋(F(1)−F(3))×D・・・（４５） ｆ(1)=（F(0)−F(2)）×A＋F(3)×B−(F(1)−F(3))×D・・・（４６） ｆ(2)=（F(0)−F(2)）×A−F(3)×B＋(F(1)−F(3))×D・・・（４７） ｆ(3)=（F(0)＋F(2)）×A−F(1)×C−(F(1)−F(3))×D・・・（４８）
【０１２４】離散コサイン変換を実行するときは、入力
と出力が入れ替えられて、式（４５）乃至式（４８）演
算が実行される。
【０１２５】更に、一般的に、輝度信号に比べ、色差信
号は、その劣化が人間の目に付きにくいことが知られて
いる。そこで、色差信号に関しては、逆離散コサイン変
換３３、および、離散コサイン変換部３６において、上
述の4×8の誤差補正信号のうち、色差信号の誤差補正成
分に関しては、図１１で示すように、垂直方向の低域成
分の係数のみ（例えば4×4）を補正に用い、残りの高域
成分に関しては０と置き換えることで、誤差補正に伴う
演算処理量を更に削減することができ、更なる処理量の
削減を行うよういにしてもよい。ここで、黒丸は低域成
分を示し、白丸は高域成分を示している。
【０１２６】以上によれば、画像圧縮情報のビットレー
トを変換する処理において、量子化スケールコードを演
算する際、正規化アクティビティの演算に、式（２２）
乃至式（２４）で示したような分散の演算を各画素毎に
する必要がなくなるので、その演算処理量を低減させる
ことができ、処理速度を向上させることが可能となる。
【０１２７】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行させることが可能な、例え
ば汎用のパーソナルコンピュータなどにプログラム格納
媒体からインストールされる。
【０１２８】図１２は、トランスコーダ１をソフトウェ
アにより実現する場合のパーソナルコンピュータの一実
施の形態の構成を示している。パーソナルコンピュータ
のCPU１０１は、パーソナルコンピュータの全体の動作
を制御する。また、CPU１０１は、バス１０４および入
出力インタフェース１０５を介してユーザからキーボー
ドやマウスなどからなる入力部１０６から指令が入力さ
れると、それに対応してROM(Read Only Memory)１０２
に格納されているプログラムを実行する。あるいはま
た、CPU１０１は、ドライブ１１０に接続された磁気デ
ィスク１１１、光ディスク１１２、光磁気ディスク１１
３、または半導体メモリ１１４から読み出され、記憶部
１０８にインストールされたプログラムを、RAM(Random
Access Memory)１０３にロードして実行する。これに
より、上述した画像処理装置１の機能が、ソフトウェア
により実現されている。さらに、CPU１０１は、通信部
１０９を制御して、外部と通信し、データの授受を実行
する。
【０１２９】プログラムが記録されているプログラム格
納媒体は、図１２に示すように、コンピュータとは別
に、ユーザにプログラムを提供するために配布される、
プログラムが記録されている磁気ディスク１１１（フレ
キシブルディスクを含む）、光ディスク１１２（CD-ROM
(Compact Disc-Read Only Memory)，DVD（Digital Vers
atile Disc）を含む）、光磁気ディスク１１３（MD（Mi
ni-Disc）を含む）、もしくは半導体メモリ１１４など
よりなるパッケージメディアにより構成されるだけでな
く、コンピュータに予め組み込まれた状態でユーザに提
供される、プログラムが記録されているROM１０２や、
記憶部１０８に含まれるハードディスクなどで構成され
る。
【０１３０】尚、本明細書において、プログラム格納媒
体に記録されるプログラムを記述するステップは、記載
された順序に沿って時系列的に行われる処理は、もちろ
ん、必ずしも時系列的に処理されなくとも、並列的ある
いは個別に実行される処理を含むものである。
【０１３１】
【発明の効果】本発明の画像処理装置および方法、並び
にプログラムによれば、第１のビットレートで符号化さ
れた画像データに基づいて、画像データを第１のビット
レートで符号化するために必要な第１の量子化スケール
コードを演算し、第１のビットレートで符号化された画
像データに基づいて、第１の量子化スケールコードが視
覚特性に応じて適応量子化された第２の量子化スケール
コードを演算し、第１の量子化スケールコードと第２の
量子化スケールコードに基づいて、正規化アクティビテ
ィを演算し、画像データを第２のビットレートで符号化
するために必要とされる第３の量子化スケールコードを
演算し、第３の量子化スケールコードと正規化アクティ
ビティに基づいて、第３の量子化スケールコードが視覚
特性に応じて適応量子化された第４の量子化スケールコ
ードを演算するようにしたので、直交変換と動き補償に
より圧縮され、符号化された画像情報が、より低ビット
レートの画像データに変換される処理を、高速に実現す
ることが可能となる。
【図面の簡単な説明】
【図１】従来の量子化スケールコード決定処理を説明す
るフローチャートである。
【図２】本発明を適用したトランスコーダの一実施の形
態の構成を示すブロック図である。
【図３】ビットレート変換処理を説明するフローチャー
トである。
【図４】正規化アクティビティ算出処理を説明するフロ
ーチャートである。
【図５】操作方式を説明する図である。
【図６】高域成分を削減する処理を説明する図である。
【図７】高域成分を削減する処理を説明する図である。
【図８】動き補償誤差補正処理を説明するフローチャー
トである。
【図９】１／４画素精精度の動き補償予測処理を説明す
る図である。
【図１０】Ｗａｎｇの高速アルゴリズムによる逆離散コ
サイン変換処理と離散コサイン変換処理を説明する図で
ある。
【図１１】高域成分を削減する処理を説明する図であ
る。
【図１２】媒体を説明する図である。
【符号の説明】
１ トランスコーダ，１１ 符号バッファ，１２ 圧縮
情報解析部，１３ 可変長復号部，１４ 逆量子化部，
１５ 加算器，１６ 帯域制限部，１７ 量子化部，１
８ 可変長符号化部，１９ 符号バッファ，２０ 動き
補償誤差補正部，３１ 逆量子化部，３２ 加算器，３
３ 逆離散コサイン変換部，３４ ビデオメモリ，３５
動き補償予測部，３６ 離散コサイン変換部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢ヶ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C053 FA23 GA11 GB22 GB26 GB28 GB29 GB32 GB38 KA03 5C059 KK35 KK41 MA00 MA05 MA23 MC11 MC38 ME01 PP05 PP06 PP07 PP16 SS06 SS08 SS11 TA46 TA60 TB07 TC10 TD16 UA02 UA05 UA32 UA33 5J064 AA03 BA09 BA16 BB03 BC01 BC16 BC17 BC18 BC25 BD01

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 第１のビットレートで符号化された画像
    データを第２のビットレートで符号化された画像データ
    に変換する画像処理装置において、 前記第１のビットレートで符号化された画像データに基
    づいて、前記画像データを前記第１のビットレートで符
    号化するために必要な第１の量子化スケールコードを演
    算する第１の量子化スケールコード演算手段と、 前記第１のビットレートで符号化された画像データに基
    づいて、前記第１の量子化スケールコードが視覚特性に
    応じて適応量子化された第２の量子化スケールコードを
    演算する第２の量子化スケールコード演算手段と、 前記第１の量子化スケールコードと前記第２の量子化ス
    ケールコードに基づいて、正規化アクティビティを演算
    する正規化アクティビティ演算手段と、 前記画像データを前記第２のビットレートで符号化する
    ために必要とされる第３の量子化スケールコードを演算
    する第３の量子化スケールコード演算手段と、 前記第３の量子化スケールコードと前記正規化アクティ
    ビティに基づいて、前記第３の量子化スケールコードが
    視覚特性に応じて適応量子化された第４の量子化スケー
    ルコードを演算する第４の量子化スケールコード演算手
    段とを備えることを特徴とする画像処理装置。
  2. 【請求項２】 前記第２のビットレートは、前記第１の
    ビットレートよりも低ビットレートであることを特徴と
    する請求項１に記載の画像処理装置。
  3. 【請求項３】 前記符号化された画像データは、MPEG方
    式で圧縮された画像データであることを特徴とする請求
    項１に記載の画像処理装置。
  4. 【請求項４】 前記第１のビットレートで符号化された
    画像データは、それ自身の符号量、フレーム毎の発生ビ
    ット量、マクロブロック毎の発生ビット量、または、マ
    クロブロック毎の量子化ステップサイズを含むことを特
    徴とする請求項１に記載の画像処理装置。
  5. 【請求項５】 前記第１の量子化スケールコード演算手
    段は、前記符号量、前記フレーム毎の発生ビット量、お
    よび、前記マクロブロック毎の発生ビット量に基づい
    て、前記第１の量子化スケールコードを演算することを
    特徴とする請求項４に記載の画像処理装置。
  6. 【請求項６】 前記第２の量子化スケールコード演算手
    段は、前記マクロブロック毎の量子化ステップサイズを
    ２で除することにより、前記第１の量子化スケールコー
    ドが視覚特性に応じて適応量子化された第２の量子化ス
    ケールコードを演算することを特徴とする請求項４に記
    載の画像処理装置。
  7. 【請求項７】 前記正規化アクティビティ演算手段は、
    前記第１の量子化スケールコードで前記第２の量子化ス
    ケールコードを除することにより前記正規化アクティビ
    ティを演算することを特徴とする請求項１に記載の画像
    処理装置。
  8. 【請求項８】 第１のビットレートで符号化された画像
    データを第２のビットレートで符号化された画像データ
    に変換する画像処理装置の画像処理方法において、 前記第１のビットレートで符号化された画像データに基
    づいて、前記画像データを前記第１のビットレートで符
    号化するために必要な第１の量子化スケールコードを演
    算する第１の量子化スケールコード演算ステップと、 前記第１のビットレートで符号化された画像データに基
    づいて、前記第１の量子化スケールコードが視覚特性に
    応じて適応量子化された第２の量子化スケールコードを
    演算する第２の量子化スケールコード演算ステップと、 前記第１の量子化スケールコードと前記第２の量子化ス
    ケールコードに基づいて、正規化アクティビティを演算
    する正規化アクティビティ演算ステップと、 前記画像データを前記第２のビットレートで符号化する
    ために必要とされる第３の量子化スケールコードを演算
    する第３の量子化スケールコード演算ステップと、 前記第３の量子化スケールコードと前記正規化アクティ
    ビティに基づいて、前記第３の量子化スケールコードが
    視覚特性に応じて適応量子化された第４の量子化スケー
    ルコードを演算する第４の量子化スケールコード演算ス
    テップとを含むことを特徴とする画像処理方法。
  9. 【請求項９】 第１のビットレートで符号化された画像
    データを第２のビットレートで符号化された画像データ
    に変換する画像処理装置を制御するプログラムであっ
    て、 前記第１のビットレートで符号化された画像データに基
    づいて、前記画像データを前記第１のビットレートで符
    号化するために必要な第１の量子化スケールコードの演
    算を制御する第１の量子化スケールコード演算制御ステ
    ップと、 前記第１のビットレートで符号化された画像データに基
    づいて、前記第１の量子化スケールコードが視覚特性に
    応じて適応量子化された第２の量子化スケールコードの
    演算を制御する第２の量子化スケールコード演算制御ス
    テップと、 前記第１の量子化スケールコードと前記第２の量子化ス
    ケールコードに基づいて、正規化アクティビティの演算
    を制御する正規化アクティビティ演算制御ステップと、 前記画像データを前記第２のビットレートで符号化する
    ために必要とされる第３の量子化スケールコードの演算
    を制御する第３の量子化スケールコード演算制御ステッ
    プと、 前記第３の量子化スケールコードと前記正規化アクティ
    ビティに基づいて、前記第３の量子化スケールコードが
    視覚特性に応じて適応量子化された第４の量子化スケー
    ルコードの演算を制御する第４の量子化スケールコード
    演算制御ステップとを含むことを特徴とするコンピュー
    タが読み取り可能なプログラムが記録されている記録媒
    体。
  10. 【請求項１０】 第１のビットレートで符号化された画
    像データを第２のビットレートで符号化された画像デー
    タに変換する画像処理装置を制御するコンピュータに、 前記第１のビットレートで符号化された画像データに基
    づいて、前記画像データを前記第１のビットレートで符
    号化するために必要な第１の量子化スケールコードの演
    算を制御する第１の量子化スケールコード演算制御ステ
    ップと、 前記第１のビットレートで符号化された画像データに基
    づいて、前記第１の量子化スケールコードが視覚特性に
    応じて適応量子化された第２の量子化スケールコードの
    演算を制御する第２の量子化スケールコード演算制御ス
    テップと、 前記第１の量子化スケールコードと前記第２の量子化ス
    ケールコードに基づいて、正規化アクティビティの演算
    を制御する正規化アクティビティ演算制御ステップと、 前記画像データを前記第２のビットレートで符号化する
    ために必要とされる第３の量子化スケールコードの演算
    を制御する第３の量子化スケールコード演算制御ステッ
    プと、 前記第３の量子化スケールコードと前記正規化アクティ
    ビティに基づいて、前記第３の量子化スケールコードが
    視覚特性に応じて適応量子化された第４の量子化スケー
    ルコードの演算を制御する第４の量子化スケールコード
    演算制御ステップとを実行させるプログラム。
JP2001221674A 2001-07-23 2001-07-23 画像処理装置および方法、記録媒体、並びにプログラム Pending JP2003037843A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001221674A JP2003037843A (ja) 2001-07-23 2001-07-23 画像処理装置および方法、記録媒体、並びにプログラム
US10/196,259 US7116835B2 (en) 2001-07-23 2002-07-17 Image processing apparatus and method, recording medium, and program
US11/501,746 US20060269156A1 (en) 2001-07-23 2006-08-10 Image processing apparatus and method, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001221674A JP2003037843A (ja) 2001-07-23 2001-07-23 画像処理装置および方法、記録媒体、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2003037843A true JP2003037843A (ja) 2003-02-07

Family

ID=19055309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001221674A Pending JP2003037843A (ja) 2001-07-23 2001-07-23 画像処理装置および方法、記録媒体、並びにプログラム

Country Status (2)

Country Link
US (2) US7116835B2 (ja)
JP (1) JP2003037843A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252609A (ja) * 2004-03-03 2005-09-15 Sony Corp データ処理装置およびその方法と符号化装置
EP1606943A2 (en) * 2003-03-26 2005-12-21 Scientific-Atlanta, Inc. A digital stream transcoder with a hybrid-rate controller
CN100349466C (zh) * 2004-08-06 2007-11-14 浙江大学 视频或图像压缩中准能量守恒变换的方法和装置
US8031954B2 (en) 2007-04-26 2011-10-04 Canon Kabushiki Kaisha Image encoding apparatus and control method thereof using prediction encoding and pixel classification

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077657A (ja) * 2000-09-01 2002-03-15 Toshiba Corp 画像処理装置及び方法、並びに記憶媒体
US7206448B2 (en) 2002-02-28 2007-04-17 At&T Corp. System and method for using pattern vectors for video and image coding and decoding
US7844214B2 (en) * 2002-03-02 2010-11-30 Nokia Corporation System and method for broadband digital broadcasting
US7769084B1 (en) 2002-07-15 2010-08-03 Apple Inc. Method for implementing a quantizer in a multimedia compression and encoding system
US20060227865A1 (en) * 2005-03-29 2006-10-12 Bhaskar Sherigar Unified architecture for inverse scanning for plurality of scanning scheme
US8363717B2 (en) * 2005-05-17 2013-01-29 Canon Kabushiki Kaisha Image processing apparatus
US7822117B1 (en) * 2005-09-30 2010-10-26 Ambarella, Inc. Video encoder rate control using bit usage measuring and allocating by macroblock classes
US9172964B2 (en) * 2006-03-30 2015-10-27 Mediatek Inc. Systems and methods for changing rate-control setting during video encoding
FR2919748B1 (fr) * 2007-08-03 2009-11-27 Centre Nat Rech Scient Procede et systeme associe de transformee en ondelettes au fil de l'eau pour des donnees multidimensionnelles massives
KR101518237B1 (ko) * 2008-09-01 2015-05-15 삼성전자주식회사 영상의 역양자화 방법 및 장치, 복호화 방법 및 장치
US8457194B2 (en) * 2008-09-29 2013-06-04 Microsoft Corporation Processing real-time video
US8913668B2 (en) * 2008-09-29 2014-12-16 Microsoft Corporation Perceptual mechanism for the selection of residues in video coders
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
EP2571266A1 (en) * 2011-09-16 2013-03-20 Thomson Licensing Method and device for transrating a video stream
US9191551B2 (en) * 2012-02-24 2015-11-17 Apple Inc. Pixel normalization
JP2015005835A (ja) * 2013-06-19 2015-01-08 シャープ株式会社 画像処理装置、画像形成装置及び記録媒体
CN112651260B (zh) * 2020-12-30 2024-01-30 凌云光技术股份有限公司 一种自适应离散码转连续码的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0186112B1 (ko) * 1995-05-19 1999-04-15 구자홍 영상 시스템의 양자수 결정 장치
US6480539B1 (en) * 1999-09-10 2002-11-12 Thomson Licensing S.A. Video encoding method and apparatus
JP2001145113A (ja) * 1999-11-17 2001-05-25 Sony Corp 画像情報変換装置及び方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1606943A2 (en) * 2003-03-26 2005-12-21 Scientific-Atlanta, Inc. A digital stream transcoder with a hybrid-rate controller
EP1606943A4 (en) * 2003-03-26 2006-06-21 Scientific Atlanta DIGITAL FLOW TRANSCODER WITH HYBRID FLOW CONTROLLER
JP2006521771A (ja) * 2003-03-26 2006-09-21 サイエンティフィック−アトランタ， インコーポレイテッド ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー
JP2005252609A (ja) * 2004-03-03 2005-09-15 Sony Corp データ処理装置およびその方法と符号化装置
WO2005086492A1 (ja) * 2004-03-03 2005-09-15 Sony Corporation データ処理装置およびその方法と符号化装置
US7933459B2 (en) 2004-03-03 2011-04-26 Sony Corporation Data processing apparatus, the method and coding apparatus
KR101137051B1 (ko) 2004-03-03 2012-04-20 소니 주식회사 데이터 처리 장치 및 그 방법
CN100349466C (zh) * 2004-08-06 2007-11-14 浙江大学 视频或图像压缩中准能量守恒变换的方法和装置
US8031954B2 (en) 2007-04-26 2011-10-04 Canon Kabushiki Kaisha Image encoding apparatus and control method thereof using prediction encoding and pixel classification

Also Published As

Publication number Publication date
US7116835B2 (en) 2006-10-03
US20060269156A1 (en) 2006-11-30
US20030067979A1 (en) 2003-04-10

Similar Documents

Publication Publication Date Title
JP2003037843A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US7555041B2 (en) Code quantity control apparatus, code quantity control method and picture information transformation method
US7372903B1 (en) Apparatus and method for object based rate control in a coding system
US7653129B2 (en) Method and apparatus for providing intra coding frame bit budget
US6160846A (en) Apparatus and method for optimizing the rate control in a coding system
US6690833B1 (en) Apparatus and method for macroblock based rate control in a coding system
US7792193B2 (en) Image encoding/decoding method and apparatus therefor
US6243497B1 (en) Apparatus and method for optimizing the rate control in a coding system
US7072397B2 (en) Optimal encoding of motion compensated video
EP1445958A1 (en) Quantization method and system, for instance for video MPEG applications, and computer program product therefor
US20100086028A1 (en) Video encoding and decoding method and apparatus
JP2001145113A (ja) 画像情報変換装置及び方法
KR20060131699A (ko) 영상 데이터 처리방법
KR20000023174A (ko) 엔코딩 장치 및 방법
US20050286628A1 (en) Human visual system (HVS) filter in a discrete cosine transformator (DCT)
US7451080B2 (en) Controlling apparatus and method for bit rate
CN101390389A (zh) 用于在双通道编码中选择比特预算调节的方法与设备
JP4081727B2 (ja) 画像符号化装置および画像符号化方法、並びに記録装置および記録方法
JP4532607B2 (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
KR20040093481A (ko) 양자화기 스케일의 제한된 변동들을 가진 비디오 부호화
Kumar et al. Efficiency enhancement of K-multi constraints paths in hybrid video coder using information based quantization method
KR100927389B1 (ko) 스케일가능하지 않은 코딩된 비디오 신호로부터 스케일가능한 코딩된 비디오 신호를 생성하는 방법
JPH11196423A (ja) 画像処理装置および方法、並びに提供媒体
JPH10224786A (ja) 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体
JP2001128175A (ja) 画像情報変換装置及び方法、並びに記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060927