JP2001086506A

JP2001086506A - 画像符号化装置及び方法

Info

Publication number: JP2001086506A
Application number: JP26268799A
Authority: JP
Inventors: Takahiro Fukuhara; 隆浩福原; Seishi Kimura; 青司木村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-16
Filing date: 1999-09-16
Publication date: 2001-03-30
Anticipated expiration: 2019-09-16
Also published as: JP3899737B2

Abstract

(57)【要約】【課題】従来の監視用画像コーデックは、背景画像は
殆ど変化しないとの前提に立っており、背景画像が変化
すると人物画像の検出精度が下がり、後段のＤＣＴ符号
化で多くの符号化ビットが発生し、符号化効率が低下し
ていた。【解決手段】特定領域画像抽出部３はフレームメモリ
２から読み出された所定時間前のデジタル画像１０２と
現在のデジタル画像１０１から特定領域画像を抽出す
る。ウェーブレット変換部４から出力された変換係数１
０４は量子化部５において量子化される。係数操作部６
は特定領域画像に対応する量子化係数と、特定領域を除
く画像に対応する量子化係数に対して別々のスケールア
ップ操作を施す。ビットプレーンスキャニング部７は、
係数操作部６からの量子化係数を複数層のビットプレー
ン上に展開してスキャニングする。エントロピー符号化
部８はビットプレーン毎の係数にエントロピー符号化を
施す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の効率的伝送
もしくは蓄積を行うシステムに供することのできる画像
符号化装置及び方法に関するものであり、特にウェーブ
レット変換を用いた画像符号化装置及び方法に関する。

【０００２】

【従来の技術】画像を高能率符号化して伝送もしくは蓄
積するシステムの具体的な応用例として、監視用画像コ
ーデック（符号化・復号化器、及び伝送装置）や、デジ
タルカメラ（動画カムコーダやスチルカメラ）、又はこ
れらの手段を実現したカスタムチップやＤＳＰ等があ
る。

【０００３】例えば、従来の監視用画像コーデックで
は、監視カメラで捕らえた画像のフレーム間の相関を利
用して、フレーム間予測を行い符号化を行っていた。国
際電気通信連合電気通信標準化部門（International Te
lecommunication Union-Telecommunication Standardiz
ation Sector、ITU-T）によりTV電話・TV会議用途に標
準化されたH.261やH.263の国際標準の動画符号化方式を
用いたコーデックも存在している。関連技術としては、
例えば特開平7−30888号公報に開示されている「動画像
送信装置及び動画像受信装置」がある。

【０００４】この発明に係る動画像送信装置（符号化装
置）は、背景画像を記憶する背景メモリ手段と、当該背
景メモリ手段を参照し、送信しようとする動画像から非
背景部分を抽出する非背景抽出手段と、当該非背景抽出
手段により抽出した非背景画像を符号化する符号化手段
とから構成されている。これらの手段によって、人物画
像等の非背景画像を抽出し、それを直接または動き補償
予測を行ってから符号化するので、伝送符号量を大幅に
削減することが出来る。一方、受信装置側の背景メモリ
手段には、伝送される動画像とは無関係な画像を背景と
して記憶できるので、復号化画像に任意の背景を合成出
来る。

【０００５】

【発明が解決しようとする課題】ところで、上記従来例
では、背景画像は殆ど変化しないとの前提に立ってお
り、背景画像が変化すると人物画像の検出精度が下が
り、後段のＤＣＴ（離散コサイン変換：Discrete Cosin
e Transform）符号化で多くの符号化ビットが発生し
て、符号化効率が低下するという問題点があった。

【０００６】更に、人物画像だけのフレーム間動き補償
予測手段は、多くの計算時間を要する問題点があり専用
のLSI等が必要となる。

【０００７】本発明は以上の様な課題を鑑みたものであ
り、圧縮率が高く、且つ伝送ビットレートを低くしなけ
ればならない場合においても、人物画像の画質を優先し
て符号化することで、実用性を失わない画像符号化装置
及び方法の提供を目的とする。

【０００８】

【課題を解決するための手段】本発明に係る画像符号化
装置は、上記課題を解決するために、画像を入力する画
像入力手段と、上記画像入力手段から入力された現在の
入力画像と所定の画像に基づいて特定領域画像を抽出す
る特定領域画像抽出手段と、上記現在の入力画像をウェ
ーブレット変換するウェーブレット変換手段と、上記ウ
ェーブレット変換手段で生成されたウェーブレット変換
係数の内、上記特定領域画像抽出手段で抽出された特定
領域画像に対応した係数と、特定領域画像を除く画像に
対応した係数とに対し別の操作を施す係数操作手段と、
上記係数操作手段で操作された係数をエントロピー符号
化する手段とを備えることを特徴とする。

【０００９】この画像符号化装置において、特定領域画
像抽出手段は、現在の符号化対象入力画像と、所定の画
像との差分から、特定領域画像を抽出する。ウェーブレ
ット変換手段は、入力画像をウェーブレット変換して変
換係数を出力する。係数操作手段は、特定領域画像とそ
れを除く画像とで、異なる係数の操作を行う。エントロ
ピー符号化手段は、上記係数を情報源符号化することで
符号化ビットストリームを生成する。

【００１０】本発明に係る画像符号化方法は、上記課題
を解決するために、現在の入力画像と所定の画像に基づ
いて特定領域画像を抽出する特定領域画像抽出工程と、
上記現在の入力画像をウェーブレット変換するウェーブ
レット変換工程と、上記ウェーブレット変換工程で生成
されたウェーブレット変換係数の内、上記特定領域画像
抽出工程で抽出された特定領域画像に対応した係数と、
特定領域画像を除く画像に対応した係数とに対し別の操
作を施す係数操作工程と、上記係数操作工程で操作され
た係数をエントロピー符号化する符号化工程とを備える
ことを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明に係る画像符号化装
置及び方法の実施の形態について図面を参照しながら説
明する。

【００１２】本発明の第１の実施の形態となる、特定領
域（Region of Interest：ROI）のエンハンス機能付き
画像符号化装置を図１に示す。この画像符号化装置は、
主に監視用画像コーデックに適用される。またそれ以外
にも電子スチルカメラやビデオムービ等で必要になる画
像圧縮装置に応用することが出来る。

【００１３】この画像符号化装置は、画像を入力する撮
像素子を備えたカメラ１と、このカメラ１からの入力画
像を記憶・保持するフレームメモリ２と、特定領域画像
を抽出する特定領域画像抽出部３と、現在の入力画像を
ウェーブレット変換して変換係数を出力するウェーブレ
ット変換部４と、ウェーブレット変換部４が出力した変
換係数を量子化して量子化係数を出力する量子化部５
と、上記特定領域画像に対応した量子化係数と特定領域
を除いた画像に対応した量子化係数に対して例えば別々
のスケールアップ処理を施す係数操作部６と、係数操作
部６からの量子化係数を複数層のビットプレーン上に展
開してスキャニングするビットプレーンスキャニング部
７と、このビットプレーンスキャニング部７からのビッ
トプレーン毎の係数にエントロピー符号化を施して符号
化ビットストリームを生成するエントロピー符号化部８
とを備えてなる。

【００１４】この図１に示す画像符号化装置において、
撮像画像１００はカメラ１に取り込まれ、デジタル化さ
れた画像１０１とされる。この現在の画像フレームであ
るデジタル画像１０１は、ウェーブレット変換部４で変
換符号化されて変換係数１０４とされる。また、デジタ
ル画像１０１は一方で、フレームメモリ２に入力し、所
定時間だけ記憶・保持される。さらに、デジタル画像１
０１は特定領域画像抽出部３にも入力する。特定領域画
像抽出部３はフレームメモリ２から読み出された所定時
間前のデジタル画像１０２と現在のデジタル画像１０１
とから、特定領域画像を抽出する。ここで抽出された特
定領域画像の位置情報１０３は、後段の処理のために、
係数操作部６に送られる。

【００１５】なお、２つの画像から特定領域画像とそれ
以外の背景画像とを分割するには、先に述べた特開平７
−０３０８８８号公報で開示されている、一定以上の画
素変化のある部分を特定領域画像として検出する手段を
用いても良い。

【００１６】ウェーブレット変換部４から出力された変
換係数１０４は量子化部５において量子化され、量子化
係数１０５が出力される。ここで量子化手段としては、
通常用いるスカラー量子化（下記：式１）を用いれば良
い。

【００１７】Q＝ｘ/Δ （式１）この式１において、ｘはウェーブレット変換係数値、Δ
は量子化インデックス値である。

【００１８】上記スカラ量子化等によって得られた量子
化係数１０５に対して係数操作部６では後述の係数操作
が行われて、その結果の量子化係数１０６は、ビットプ
レーン・スキャニング部７に入力する。ビットプレーン
・スキャニング部７が後述するように出力した各ビット
プレーン毎の係数群１０７は、最後にエントロピー符号
化部８で符号化されて、符号化ビットストリーム１０８
が送出される。尚、エントロピー符号化部８で用いられ
る符号化手段としては、可変長符号化手段の他、効率の
良い算術符号化手段があるが、これらのエントロピー符
号化手段については、各研究機関より研究成果が報告さ
れており、それらを用いれば良い。

【００１９】以上が、この第１の実施の形態の画像符号
化装置の基本構成及び動作である。以下、各部分の詳細
を説明する。

【００２０】先ず、ウェーブレット変換部４の構成及び
動作について説明する。通常のウェーブレット変換部４
の構成図として、図２が挙げられる。これは、幾つかあ
る手法の中で最も一般的なウェーブレット変換であるオ
クターブ分割を複数レベルに亘って行う構成例を示して
いる。尚、この図２の場合はレベル数が３（レベル１〜
レベル３）であり、画像信号を低域と高域に分割し、且
つ低域成分のみを階層的に分割する構成を取っている。
また図２では、便宜上１次元の信号（例えば画像の水平
成分）についてのウェーブレット変換を例示している
が、これを２次元に拡張することで２次元画像信号に対
応することができる。

【００２１】次に動作について説明する。図２に示すウ
ェーブレット変換部への入力画像信号１１５は、ローパ
スフィルタ２１（伝達関数Ｈ₀（ｚ））とハイパスフィ
ルタ２２（伝達関数Ｈ₁（ｚ））とによって帯域分割さ
れ、得られた低域成分と高域成分は、それぞれ対応する
ダウンサンプラ２３、２３によって、解像度がそれぞれ
２分の１倍に間引かれる（レベル１）。この時の出力が
Ｌ成分１１６とＨ成分１１７の２つである。ここで、上
記ＬはLowで低域、ＨはHighで高域を示す。この図２の
ローパスフィルタ２１、ハイパスフィルタ２２、及び２
個のダウンサンプラ２３，２３によってレベル１の回路
部が構成されている。

【００２２】上記ダウンサンプラ２３，２３によりそれ
ぞれ間引かれた信号の内の低域成分、すなわち上部に記
載のダウンサンプラ２３からの信号のみが、さらに、レ
ベル２の回路部を構成するローパスフィルタ２４及びハ
イパスフィルタ２５によって帯域分割され、それぞれに
対応するダウンサンプラ２６，２６によって、解像度を
それぞれ２分の１倍に間引かれる（レベル２）。この時
の出力がLL成分１１８とLH成分１１９の２つである。

【００２３】そして低域成分（LL成分１１８）のみが再
びローパスフィルタ２７とハイパスフィルタ２８とによ
って帯域分割され、ダウンサンプラ２９、２９によっ
て、解像度をそれぞれ２分の１倍に間引かれる。ここま
でがレベル３である。このように上記処理を所定のレベ
ルまで行うことで、低域成分を階層的に帯域分割した帯
域成分が順次生成されていくことになる。レベル３で生
成された帯域成分は、LLL成分１２０とLLH成分１２１で
ある。LLL成分１２０は出力端子３０から、LLH成分１２
１は出力端子３１から、LH成分１１９は出力端子３２か
ら、H成分１１７は出力端子３３から外部に導出され
る。このようにレベル３まで帯域分割した結果、LLL成
分１２０、LLH成分１２１、LH成分１１９、H成分１１７
が生成されている。

【００２４】次に、図３は、レベル２まで２次元画像を
帯域分割した結果得られる帯域成分を図示したものであ
る。この図３でのL及びHの表記法は、１次元信号を扱っ
た図２でのＬ及びＨの表記法とは異なる。即ち、図３で
はまずレベル１の帯域分割（水平・垂直方向）により４
つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・
垂直成分が共にLであること。LHは水平成分がHで垂直成
分がLであることを意味している。次に、LL成分は再度
帯域分割されて、さらにLLLL、LLHL、LLLH、LLHHが生成
される。以上が、ウェーブレット変換の基本概念であ
る。

【００２５】次に、ビットプレーン・スキャニング部７
の詳細な動作について説明する。図４は、縦４ライン、
横４画素から成るビットプレーンの例であり、(a)の２
進数表現で示される様に、この16個の係数で、最大値は
＋１３、最小値は−６である。上記最大値と、最小値の
他、＋３を除くと残りの係数はすべて０である。これら
の係数値をビットプレーン表現したものが(b),(c)であ
り、４層から成るビットプレーンが出来る。(b)は係数
の絶対値（Magnitude Planes）、(c)は係数の符号（Sig
n Plane）(+/-)を意味している。

【００２６】次に、これら４層から成るビットプレーン
の係数をスキャニングする。図４の(b)で示した様に、
同一層のビットプレーン内では係数の左上から右下方向
にスキャンを行い、これをMSB(Most Significant Bit)
からLSB(Least SignificantBit)に向かってスキャンし
て行く。この時のスキャニング法を、例えば図５で図示
する様に、ウェーブレット分割された各バンド毎に、同
様にして左から右（水平方向）、上から下（垂直方向）
にスキャニングすれば良い。

【００２７】また、これ以外にも、図６に示すように、
異なる帯域（バンド）間の同一周波数に属する係数を順
番に走査する手段もあり、同等の効果を奏する。図６
は、ウェーブレット変換の特徴である解像度の異なる周
波数成分は相関が高い、という性質を利用したものであ
る。図５と図６との相違点は、言うまでもなく、図５が
各バンド内部でスキャニングが独立して行われるのに対
し、図６ではバンド間に跨ってスキャニングが行われる
点である。

【００２８】以上の様に、ビットプレーン中の係数値は
すべて２進数表現されているので、各階層では１か０し
か存在しない。従って、上記エントロピー符号化部８で
は、各ビットプレーン毎に２値の算術符号化手段を用い
ることが出来る。その結果、圧縮効率を上げることがで
きる。

【００２９】続いて、係数操作部６の動作について詳細
に説明する。図７は、実際に特定領域ＲＯＩ画像に相当
する量子化係数（図７にてハッチング表現されている部
分）と、特定領域を除く画像に相当する量子化係数（図
７でハッチングされていない領域）とを、３つのサブバ
ンド（subband0,subband1,subband2）毎に異なる係数で
操作した具体例を示した図である。まず図７の(a)につ
いて述べる。この(a)のケースは、何も操作をしない最
初の状態を意味している。尚、特定領域画像の係数情報
は、特定領域画像抽出部３が出力する特定領域画像の位
置情報１０３を用いて容易に取り出すことができる。

【００３０】一方、図７の(b)ではSビット分だけ、特定
領域画像に相当する量子化係数をMSB方向にシフトした
結果を示している。この結果が意味するものは、言うま
でも無く、特定領域画像に相当する画素が強調された形
になるので、特定領域画像がそれ以外の画像よりも画質
が高くなる。すなわち、係数操作部６では、ウェーブレ
ット分割によって得られたサブバンド毎に、ビットプレ
ーン上のビットをMSB方向にビットシフトする。

【００３１】以上の構成及び動作によって、第１の実施
の形態の画像符号化装置は、特定領域画像の係数値をス
ケールアップし、画像全体の中で被写体画像の画質を高
くすることが出来る。

【００３２】なお、上記第１の実施の形態では、特定領
域画像の画質を高くするために、特定領域画像の係数値
をスケールアップする手段を取っているが、特定領域画
像を隠匿する、見えなくする、ボカす等の操作が目的の
場合には、逆に特定領域画像を除く画像の係数値をスケ
ールアップすることで、特定領域画像以外の画質を高く
し、相対的に特定領域画像の画質を落とすことも出来
る。

【００３３】次に、本発明の第２の実施の形態となる画
像符号化装置について説明する。この第２の実施の形態
は図８に示すように、上記図１に示した画像符号化装置
の係数操作部６とビットプレーンスキャニング部７との
間に係数切り捨て部９を設けた構成である。この係数切
り捨て部９は、ウェーブレット分割によって得られたサ
ブバンド毎に、ビットプレーン上のLSBから数えて所定
のビット数だけビットプレーンを切り捨てる。

【００３４】上記第１の実施の形態では、特定領域画像
の係数値、または特定領域画像を除く画像の係数値を係
数操作部６でスケールアップした。すなわち、図７の
(a)では、Subband0で５階層、Subband1で４階層、Subba
nd2で３階層から成るビットプレーンが、(b)では被写体
画像の係数だけSビット、シフトアップされた結果、す
べてのSubbandでS階層分だけビットプレーンが増えてし
まう。従って、このままこれらの係数を、前述のビット
プレーン・スキャニング部７を経て、符号化すると符号
量が増大する。

【００３５】一方、図８で示す様に、係数操作部６の後
段に係数切り捨て部９を設けると、動作としては、LSB
からSビット分のビットプレーンを切り捨てることにな
るので、符号量の増大も抑制でき、かつ特定領域画像だ
けを強調して高画質化が実現できる。

【００３６】これを示した図が図９である。図７の(b)
のビットプレーンのLSBから下位Sビット分（この場合は
S=3）だけ、ビットプレーンの係数を切り捨てると、(c)
のビットプレーンが生成される。従って、これにより、
特定領域画像の画質を高くしながら、全体の符号量を、
図７の(a)の場合と同等に抑えることが出来る。

【００３７】このように、係数操作部６、エントロピー
符号化部８、ビットプレーン・スキャニング部７、及び
係数切り捨て部９では、すべてのビット操作をビットプ
レーン上で行っている。

【００３８】次に、本発明の第３の実施の形態となる画
像符号化装置について説明する。この第３の実施の形態
は図１０に示すように、上記図１に示した画像符号化装
置のエントロピー符号化部８の後段に、符号量計算部１
０と、さらにその後段にビットシフト数決定部１１を備
えたものである。

【００３９】符号量計算部１０は、符号化ビットストリ
ーム１１３の符号量をカウントする作用があり、特定領
域画像とそれ以外の画像の符号化ビット発生量を、それ
ぞれ算出する。

【００４０】ビットシフト数決定部１１は、符号量計算
部１０で算出した特定領域画像とそれ以外の画像の符号
化ビット発生量から、特定領域画像に対するビットシフ
ト数を決定して、これを係数操作部６に送出する。

【００４１】この後、係数操作部６では特定領域画像に
だけ前述したようにビットシフト操作によるスケールア
ップを行う。

【００４２】尚、一般には、特定領域画像とそれ以外の
画像の符号化ビット発生量がほぼ同等で、特定領域画像
をより強調したい場合は、その強調度に応じて、ビット
シフト数を決めれば良く、逆に特定領域画像の符号化ビ
ット発生量がかなり大きい場合には、ビットシフト数を
小さい値に設定する等の操作を行えば良く、同ビットシ
フト数決定部１１には、自由度が大きく存在する。

【００４３】他方、ビットシフト数決定部１１は、特定
領域画像とそれ以外の画像の双方に対して別々にビット
シフト数を決め、係数操作部６で別々にスケールアップ
させてもよい。これは、両者の画質のバランスを取る場
合に有効であって、例えば特定領域画像を３ビット、特
定領域画像を除く画像を１ビットだけシフトさせる等の
操作がある。

【００４４】次に、本発明の第４の実施の形態となる画
像符号化装置について説明する。この第４の実施の形態
は図１１に示すように、上記図１０に示した第３の実施
の形態の画像符号化装置の係数操作部６とビットスキャ
ニング部７との間に係数切り捨て部９を設けたものであ
る。

【００４５】上記第３の実施の形態では、係数操作部６
に、ビットシフト数決定部１１から出力するビットシフ
ト数は一度決定して終了していた。しかし、目標とした
符号量に１度で収束することは現実には多くなく、漸近
させる操作が必要になる。

【００４６】そこで、この第４の実施の形態は、係数操
作部６とビットプレーン・スキャニング部７との間に係
数切り捨て部９を挿入することにより、目標符号量と実
際の発生符号量１１３とを、符号量計算部１０で常時比
較し、ある閾値まで両者の数値が近くなる迄、同図のエ
ントロピー符号化部８からビットシフト数決定部１１、
そして係数操作部６からビットプレーン・スキャニング
部７に至るループを巡回させる。

【００４７】例えば、実際の発生符号量が大きく、削減
したい場合には、係数切り捨て部９でLSBから下位数ビ
ット分に相当するビットプレーンを切り捨てる操作を行
えば良い。この操作を継続して行うことで、目標値にな
った所ですべての処理を打ち切り、この時の符号化ビッ
トストリーム１０８を送出すれば良い。

【００４８】一方、符号量に余裕がある場合で、かつ被
写体画像の画質も十分に保たれている際には、係数操作
部６を省略することも考えられる。

【００４９】次に、本発明の第５の実施の形態となる画
像符号化装置について説明する。ウェーブレット変換部
４のフィルタバンクのフィルタ係数が整数の場合であ
る。この第５の実施の形態は図１２に示すように、上記
図１に示した第１の実施の形態の画像符号化装置の量子
化部５を削除し、その代わりに係数切り捨て部９を設け
た構成となる。

【００５０】上記第１〜第４の実施の形態までは特に断
わらなかったが、通常ウェーブレット・フィルタ係数は
下記のように、浮動小数点精度を持ったものを多用す
る。（1）の低域フィルタLowpassと、（２）の高域フィ
ルタHighpassの係数がそれぞれ有り、図２で示した様
に、ウェーブレット分割を行う。

【００５１】［Floating Filter(9×7)］ Lowpass = [2.6749e-02,-1.6864e-02,-7.8223e-02,2.66864e-01,6.0294 9e-01,2.66864e-01,-7.8223e-02,-1.6864e-02, 2.6749e-02 ] (1) Highpass =[-4.5636e-02,2.8772e-02, 2.95636e-01, -5.57543e-01,2.9 5636e-01, 2.8772e-02,-4.5636e-02 ] (2) この時、例えば図１ではウェーブレット変換係数１０４
の値も浮動小数点の精度になるので、量子化部５で量子
化して、整数精度にする必要があった。他方、下記の様
に、元々フィルタ係数が整数である場合には、量子化部
５を備える必要は必ずしも無く、同じ個所に例えば係数
切り捨て部９を備えることにより、目標符号量で符号化
を行うことが出来る。この場合、量子化部を省略すれば
係数１０６まではロスレスであることは言うまでもな
い。この第５の実施の形態は、図１０、図１１に示した
画像符号化装置にも適用できる。

【００５２】［Integer Filter(9×7)］ Lowpass = [ 1, 0, -8, 16, 46, 16, -8, 0, 1 ]/2⁶ (3) Highpass = [ 1, 0, -9, 16, -9, 0, 1 ]/2⁴ (4) 以上、本発明の第１〜第５の実施の形態となる画像符号
化装置について説明した。次に、これらの画像符号化装
置で符号化され、伝送されてきた符号化ビットストリー
ムを復号する復号装置の具体例について説明する。

【００５３】この復号装置の具体例の構成を図１３に示
す。この図１３において、復号装置は、符号化ビットス
トリームを入力又は読み出してエントロピー復号するエ
ントロピー復号化部３５と、エントロピー復号された量
子化係数をサブバンド毎のビットプレーンに直すビット
プレーン・逆スキャニング部３６と、ビットプレーン情
報をウェーブレット変換係数に直す逆量子化部３７と、
ウェーブレット変換係数を逆変換するウェーブレット逆
変換部３８とを有して構成されている。

【００５４】次に動作について説明する。符号化ビット
ストリーム１０８を入力したエントロピー復号化部３５
では、所定の手段によってエントロピー復号を行い、符
号化ビットストリーム１０８を量子化係数１０９に戻
す。この時のエントロピー復号化の手段は、既に述べた
エントロピー符号化の手段と対応したものである必要が
ある。なお、エントロピー復号手段としては、可変長復
号手段や算術復号手段がある。

【００５５】量子化係数１０９は、ビットプレーン・逆
スキャニング部３６で、サブバンド毎のビットプレーン
に直される。このビットプレーン情報１１０は、逆量子
化部３７で、再度ウェーブレット変換係数１１１に変換
される。ここで、逆量子化手段としては通常用いるスカ
ラー逆量子化（下記：式２）を用いればよい。

【００５６】ｘ＝Q xΔ （式２）ここで、Qは量子化係数値、Δは量子化インデックス値
である。

【００５７】ウェーブレット変換係数１１１は、ウェー
ブレット逆変換部３８で逆変換されて、復号化画像１１
２が出力される。

【００５８】図１４にはウェーブレット逆変換部３８の
構成を示す。図２を用いて説明したウェーブレット変換
の出力である各帯域成分、LLL成分１２０、LLH成分１２
１、LH成分１１９、H成分１１７を、入力端子４０、入
力端子４１、入力端子４２、入力端子４３から入力する
と、まずLLL成分１２０及びLLH成分１２１が、それぞれ
アップサンプラ４４、４４によって２倍の解像度にアッ
プサンプルされる。引き続いて低域成分はローパスフィ
ルタ４５、高域成分はハイパスフィルタ４６によってフ
ィルタリングされて加算器４７において、両者の帯域成
分が合成される。ここまででレベル３の逆変換が完了し
て、帯域成分LL１１８が得られる。次に、上記帯域成分
LL１１８と入力端子４２からのLH成分１１９がそれぞれ
アップサンプラ４８、４８によって２倍の解像度にアッ
プサンプルされ、引き続いて低域成分はローパスフィル
タ４９、高域成分はハイパスフィルタ５０によってフィ
ルタリングされて加算器５１において両者の帯域成分が
合成される。ここまででレベル２の逆変換が完了して、
帯域成分L１１６が得られる。次に、上記帯域成分L１１
６と入力端子４３からのH成分１１７がそれぞれアップ
サンプラ５２、５２によって２倍の解像度にアップサン
プルされ、引き続いて低域成分はローパスフィルタ５
３、高域成分はハイパスフィルタ５４によってフィルタ
リングされて加算器５５において両者の帯域成分が合成
される。ここまででレベル１の逆変換が完了して、出力
端子５６から最終的な逆変換後の復号信号１１５が出力
されることになる。以上が、通常のウェーブレット逆変
換の基本構成、及び動作である。

【００５９】

【発明の効果】以上、本発明によれば、特定領域画像を
検出し、画像をウェーブレット変換して、生成されたウ
ェーブレット変換係数の中から、被写体画像のウェーブ
レット変換係数をビットシフトすることによって、特定
領域画像の画質を向上させることができる。

【００６０】また、ビットシフト・アップした後、所定
のビット数だけビットプレーンを切り捨てることによっ
て、全体の符号量を同等に抑えながら符号化出来る。

【００６１】また、ビットプレーンを切り捨てる際のビ
ット数を変えながら、発生符号量を目標符号量に漸近さ
せることが出来る、符号化制御を可能とする。

【００６２】また、特定領域画像とそれ以外の画像とに
対し、ビットシフトのビット数を変えることで、両者の
画質制御を可能とする。

【００６３】また、特定領域画像以外の係数をビットシ
フト・アップして、全体のビットプレーンを所定ビット
数分だけ切り捨てることで、被写体画像を隠蔽、ボカす
等を可能とする。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態としての画像符号化
装置の概略構成を示すブロック図である。

【図２】通常のウェーブレット変換部の概略構成（レベ
ル３まで）を示すブロック図である。

【図３】２次元画像の帯域分割（分割レベル＝２）を説
明するための図である。

【図４】ビットプレーンの説明図である。

【図５】係数のスキャニング方向に関する説明図であ
る。

【図６】係数のスキャニング方向に関する他の説明図で
ある。

【図７】特定領域画像のビットプレーンのシフトアップ
に関する説明図である。

【図８】本発明の第２の実施の形態としての画像符号化
装置の概略構成を示すブロック図である。

【図９】切り捨て後のビットプレーンの説明図である。

【図１０】本発明の第３の実施の形態としての画像符号
化装置の概略構成を示すブロック図である。

【図１１】本発明の第４の実施の形態としての画像符号
化装置の概略構成を示すブロック図である。

【図１２】本発明の第５の実施の形態としての画像符号
化装置の概略構成を示すブロック図である。

【図１３】画像復号装置の概略構成を示すブロック図で
ある。

【図１４】通常のウェーブレット逆変換部の概略構成
（レベル３まで）を示すブロック図である。

【符号の説明】

１カメラ、２フレームメモリ、３特定領域画像抽
出部、４ウェーブレット変換部、５量子化部、６
係数操作部、７ビットプレーンスキャニング部、８
エントロピー符号化部、９係数切り捨て部、１０符
号量計算部、１１ビットシフト数決定部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK01 MA24 MA35 MA37 MB04 MB12 MC01 MC11 NN24 NN41 PP27 PP28 PP29 SS07 SS14 SS15 TA60 TA66 TB13 TB18 TC13 TC18 UA02 UA31 5C078 BA53 BA64 CA02 DA00 DA01 DB00 DB07 5J064 AA02 BA09 BA13 BA16 BC01 BC02 BC16 BD01 9A001 BB02 BB03 BB04 CC02 EE02 EE04 EE05 HH27 HH28 HH30 JJ12 JZ44 KK37 KK42 KZ60 LZ03

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、上記画像入力手段から入力された現在の入力画像と所定
の画像に基づいて特定領域画像を抽出する特定領域画像
抽出手段と、上記現在の入力画像をウェーブレット変換するウェーブ
レット変換手段と、上記ウェーブレット変換手段で生成されたウェーブレッ
ト変換係数の内、上記特定領域画像抽出手段で抽出され
た特定領域画像に対応した係数と、特定領域画像を除く
画像に対応した係数とに対し別の操作を施す係数操作手
段と、上記係数操作手段で操作された係数をエントロピー符号
化する手段とを備えることを特徴とする画像符号化装
置。
【請求項２】上記ウェーブレット変換手段が浮動小数
点精度のフィルタバンクから構成されるとき、上記ウェ
ーブレット変換手段で生成されたウェーブレット変換係
数を量子化する量子化手段を備えることを特徴とする請
求項１記載の画像符号化装置。
【請求項３】上記係数操作手段は上記特定領域画像に
対応した係数に対して、係数値をスケールアップするこ
とを特徴とする請求項１記載の画像符号化装置。
【請求項４】上記係数操作手段は上記特定領域画像を
除く画像に対応した係数に対して、係数値をスケールア
ップすることを特徴とする請求項１記載の画像符号化装
置。
【請求項５】上記所定の画像として所定時間前の画像
を記憶している画像記憶手段を備え、上記特定領域画像
抽出手段は上記画像入力手段からの現在の入力画像と上
記画像記憶手段からの上記所定時間前の画像を用いて特
定領域画像を抽出することを特徴とする請求項１記載の
画像符号化装置。
【請求項６】上記特定領域画像抽出手段は、動き検出
により検出された領域を特定領域画像とすることを特徴
とする請求項１記載の画像符号化装置。
【請求項７】上記所定の画像として初期画像を記憶し
ている画像記憶手段を備え、上記特定領域画像抽出手段
は上記画像入力手段からの現在の入力画像と上記画像記
憶手段からの上記初期画像を比較して上記特定領域画像
を抽出することを特徴とする請求項１記載の画像符号化
装置。
【請求項８】上記係数操作手段の後段に上記ウェーブ
レット変換係数をスキャニングするスキャニング手段を
備えることを特徴とする請求項１記載の画像符号化装
置。
【請求項９】上記係数操作手段の後段に上記量子化係
数をスキャニングするスキャニング手段を備えることを
特徴とする請求項２記載の画像符号化装置。
【請求項１０】上記係数操作手段の後段に係数切り捨
て手段を備えることを特徴とする請求項１記載の画像符
号化装置。
【請求項１１】上記エントロピー符号化手段の後段に
符号量を計算する符号量計算手段と、この符号量計算手
段で計算した符号量に基づいて上記係数操作手段に供給
される係数に対して係数値をスケールアップするときの
ビットシフト数を決定するビットシフト数決定手段とを
備えることを特徴とする請求項１記載の画像符号化装
置。
【請求項１２】上記係数操作手段の後段に係数切り捨
て手段を備え、上記エントロピー符号化手段からビット
シフト数決定手段に至る処理を、目標の符号量に収束す
るまで繰り返すことを特徴とする請求項１１記載の画像
符号化装置。
【請求項１３】上記ビットシフト数決定手段は、上記
特定領域画像に対応する係数をスケールアップするとき
のビットシフト数を決定することを特徴とする請求項１
１記載の画像符号化装置。
【請求項１４】上記ビットシフト数決定手段は、上記
特定領域画像に対応する係数と上記特定領域画像を除い
た画像に対応する係数とに対して、別々にスケールアッ
プするときのそれぞれのビットシフト数を決定すること
を特徴とする請求項１１記載の画像符号化装置。
【請求項１５】上記係数操作手段は、上記ウェーブレ
ット変換手段におけるウェーブレット分割によって得ら
れたサブバンド毎に、ビットプレーン上のビットをＭＳ
Ｂ方向にビットシフトして上記特定領域画像に対応した
係数をスケールアップすることを特徴とする請求項３記
載の画像符号化装置。
【請求項１６】上記係数操作手段は、上記ウェーブレ
ット変換手段におけるウェーブレット分割によって得ら
れたサブバンド毎に、ビットプレーン上のビットをＭＳ
Ｂ方向にビットシフトして上記特定領域画像を除く画像
に対応した係数をスケールアップすることを特徴とする
請求項４記載の画像符号化装置。
【請求項１７】上記係数切り捨て手段は、上記ウェー
ブレット変換手段におけるウェーブレット分割によって
得られたサブバンド毎に、ビットプレーン上のＬＳＢか
ら数えて所定のビット数だけ切り捨てることを特徴とす
る請求項１０記載の画像符号化装置。
【請求項１８】現在の入力画像と所定の画像に基づい
て特定領域画像を抽出する特定領域画像抽出工程と、上記現在の入力画像をウェーブレット変換するウェーブ
レット変換工程と、上記ウェーブレット変換工程で生成されたウェーブレッ
ト変換係数の内、上記特定領域画像抽出工程で抽出され
た特定領域画像に対応した係数と、特定領域画像を除く
画像に対応した係数とに対し別の操作を施す係数操作工
程と、上記係数操作工程で操作された係数をエントロピー符号
化する符号化工程とを備えることを特徴とする画像符号
化方法。