JP2009038740A - 画像符号化装置 - Google Patents

Abstract

【課題】圧縮処理にかかる負荷を軽減し、回路規模を小さくする。
【解決手段】入力された画像データを圧縮符号化する画像符号化装置であって、データを記憶するためのバッファメモリ１５と、前記画像データに基づいて量子化幅を決定する量子化幅決定部４１と、量子化幅決定部４１により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、符号化した画像データを前記バッファメモリに記憶させる符号化部４２と、量子化幅決定部４１により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、符号化した画像データをバッファメモリ１５に記憶させる可逆圧縮部２３とを備える。
【選択図】図５

Description

本発明は、画像符号化装置に関する。

デジタルスチルカメラ、カメラ付き携帯電話、ムービーカメラ等の撮像センサを利用するカメラ機器において高画素化が進んでいる。高画素の画像情報はデータ量の増加を伴う。そして、データ量の増加は画像情報を記憶保持するバッファメモリの消費の増加や、画像情報の情報処理に掛かる負荷の増加やバッファメモリへのアクセスなどに伴う消費電力の増加などの要因となる。バッファメモリの消費、画像処理の処理負荷、消費電力などを抑制するために、画像情報を圧縮する技術が利用されている。

一般に、画像情報の圧縮には、可逆圧縮方法と不可逆圧縮方法とがある。
「可逆圧縮方法」とは、圧縮符号化された画像情報から圧縮前の画像情報を完全に復元できる圧縮方法であり、例えば、エントロピー符号化、ハフマン符号化、算術符号化等がある。

「非可逆圧縮方法」とは、圧縮符号化された画像情報から圧縮前の画像情報を完全には復元できない画像圧縮方法であり、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式に符号化する方法がある。

可逆圧縮方法では、復元画像の画質が原画像の画質と同一に保たれ、画質が劣化しないという利点があり、非可逆圧縮方法に比べて圧縮効率が悪く、バッファメモリの使用効率が悪いという欠点がある。また、非可逆圧縮方法では、可逆圧縮方法に比べて圧縮効率が良く、バッファメモリの使用効率が良いという利点があり、復元画像の画質が原画像の画質に比べると劣化するという欠点がある。

近時、デジタルスチルカメラなどのユーザが、撮影した画像情報をできるだけ忠実に再現するために、ＲＡＷデータをパーソナルコンピュータ（以下、「ＰＣ」という。）で現像処理することが増えてきている。高画素化によりＲＡＷデータのデータ量も増加してきており、ＲＡＷデータを格納するためのバッファメモリを効率的に利用するために、ＲＡＷデータの圧縮符号化に非可逆圧縮方法が利用されることがある。

ここで、「ＲＡＷデータ」とは、１画素１色の画素値を有する画像データのことであり、撮像センサから出力されたアナログデータに対してＡＤ（アナログデジタル）変換処理が施されたデジタルデータ、または、さらに有効撮像領域の切り出し処理、ガンマ補正処理、必要に応じて画素値の順序を並び替える処理、欠損画素値の置き換え処理の少なくともいずれか１つが施されたデジタルデータである。

また、「現像処理」とは、撮影した画像をモニタに表示させたり、紙に印刷したりすることによりユーザが認識可能な状態にするまでにＲＡＷデータに対して施される処理のことであり、例えば、ＲＡＷデータから各画素の画素値を補間生成する処理、ホワイトバランスの調整、ノイズの抑制処理、偽色抑制処理等である。

ＲＡＷデータを圧縮するため、例えば、ＲＡＷデータ中のある画素とその近傍に位置する同色の画素との画素値の差分値（以下、「画素差分値」という。）を算出し、算出した画素差分値を量子化する時に丸められる桁数である量子化幅を決定し、量子化幅で丸める技術が提案されている（例えば、特許文献１を参照）。すなわち、量子化幅とは、画素差分値を２進数で表現した場合に、量子化する時に丸められる桁数である。

また、特許文献１に記載の技術のようにＲＡＷデータを非可逆圧縮すると画質が劣化することが多い。そのため、特許文献１に記載の技術では、撮影した画像情報をできるだけ忠実に再現しようとするユーザの要望に応えることができない。

そこで、可逆性を確保しながらバッファメモリを効率的に使用するための技術として、図１２に示す画像符号化装置が提案されている。

図１２は、従来の画像符号化装置が備える構成を示すブロック図である。
本図に示す画像符号化装置は、非可逆圧縮部１と、伸張部２と、差分値算出部３と、可逆圧縮部４と、バッファメモリ５とを備える。

非可逆圧縮部１は、入力される画像データを非可逆な圧縮方式で圧縮符号化する。
伸張部２は、非可逆圧縮部１により圧縮符号化された非可逆画像データを伸張する。

差分値算出部３は、入力される画像データと伸張部２により伸張された伸張画像データとに含まれる各画素の画素値の差分値を算出する。

可逆圧縮部４は、差分値算出部により算出された差分値を示す差分値データ可逆な圧縮方式で圧縮符号化する。

バッファメモリ５は、非可逆圧縮部１により圧縮符号化された非可逆画像データと可逆圧縮部４により圧縮された可逆差分値データとを記憶している。

このように、非可逆画像データを生成し、元の画像データと非可逆画像データを伸張したデータとの差分値である差分値データを可逆的に圧縮符号化した可逆差分値データを生成し、非可逆画像データと可逆差分値データとをバッファメモリに格納する（例えば、特許文献２および特許文献３を参照）。
特開２００７−３６５６６号公報 特開平４−１０１２７８号公報 特開平１０−２９０４６０号公報

しかしながら、従来の画像符号化装置は、画像データを取得してからバッファメモリに格納するまでの処理が多く、そのため処理負荷が大きくなり、回路規模が大きくなるという問題がある。

すなわち、従来は、可逆性を確保するために差分値データを算出する。そして、差分値データの算出のために、生成した非可逆画像データを伸張する。伸張されたデータは、可逆性を確保するためだけに算出されるデータであって、最終的な出力データとして必要なものではない。最終的な出力データではないデータの生成処理は、削減したい余分な処理である。

このような余分な処理を含むことは、処理負荷の増大につながる。また、回路規模が大きくなり、消費電力が増すなどの問題の原因にもなる。しかも、伸張処理の場合、処理負荷が大きいため、これらの問題は深刻になる。

本発明は、上記の問題を解決するためになされたもので、画質の劣化を抑えながら、圧縮処理にかかる負荷を軽減し、回路規模を小さくすることが可能な画像処理装置の提供を目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、入力された画像データを圧縮符号化する画像符号化装置であって、データを記憶するためのバッファメモリと、前記画像データに基づいて量子化幅を決定する量子化幅決定手段と、前記量子化幅決定手段により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、符号化した画像データを前記バッファメモリに記憶させる第１符号化手段と、前記量子化幅決定手段により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、符号化した画像データを前記バッファメモリに記憶させる第２符号化手段とを備える。

このように、量子化幅決定手段は、第１符号化手段および第２符号化手段による符号化の前に画素間の差分から量子化幅を決定する。そして、決定した量子化幅に応じて、第１符号化手段で符号化するか、第２符号化手段で符号化するかが判断される。そのため、この判断にかかる処理負荷が非常に小さく、処理負荷の低減が可能になる。

また、バッファメモリには、第１符号化手段で符号化された画像データと、第１符号化手段で符号化されなかったデータのみを第２符号化手段で符号化した画像データとが記憶される。そのため、バッファメモリに記憶される画像データから元の画像データを復元することができ、すなわち、結果として可逆符号化されたデータが格納されることになる。また、第１符号化手段は非可逆符号化をするため、その利点である圧縮効率の良さを享受する。したがって、可逆性を確保しながら、バッファメモリの効率的な使用が可能になる。

量子化幅が閾値より大きい画像データについて、可逆圧縮手段によって可逆な方式で圧縮された可逆画像データが記憶される。量子化幅が大きい程、符号化手段で符号化された画像データを復号して得られる画像は、原画像より劣化している。このようなデータを可逆な方式で圧縮することで、バッファメモリに記憶されているデータを伸張して得られる画像の高画質化を図ることが可能になる。

さらに、非可逆な方式での圧縮の方が、可逆な方式での圧縮よりも効率がよい。したがって、非可逆な方式で圧縮効率を向上させることができ、バッファメモリの効率的な使用が可能になる。

さらに好ましくは、さらに、前記画像データに含まれる同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の画素値の差分値を算出する画素差分値算出手段を備え、前記量子化幅決定手段は、前記画素差分値算出手段により算出された前記差分値を予め定められた桁数で表現するための量子化幅を決定する。

このように、同じ色成分に対応する複数の画素値のうち、最も近くに位置する画素値の差分値に基づいて量子化幅を決定する。一般に、近くに位置する同じ色成分に対応する画素値は近い値であることが多い。そのため、差分値は小さくなることが多く、少ない桁数で表現することができる。したがって、画像データが示す画像を少ないデータ量で表現することが可能になる。

さらに好ましくは、前記閾値は１である。
非可逆な方式で圧縮された画像データであっても、量子化幅が１で量子化された画像データである場合、丸められた情報がないため、それを伸張することにより元の画像データを完全に復元することができる。そのため、非可逆な方式により圧縮する場合に量子化幅が１より大きくなる画像データについては可逆な方式で圧縮された画像データをバッファメモリに記憶させ、かつ、量子化幅が１で非可逆な方式により圧縮された画像データをバッファメモリに記憶させることによって、バッファメモリに記憶させた画像データから元の画像データを完全に復元することが可能になる。

さらに好ましくは、さらに、前記バッファメモリが記憶している第１符号化手段と第２符号化手段とにより符号化された画像データを前記バッファメモリから読み出すとともに、外部の記憶手段に格納する外部記憶格納手段を備える。

このように、バッファメモリが記憶している非可逆画像データと可逆画像データとは、外部の記憶手段に転送される。これにより、バッファメモリに記憶領域を確保することが可能になる。

なお、本発明は、このような手段を備える画像符号化装置として実現することができるだけでなく、その方法や集積回路として実現することもできる。

本発明によると、バッファメモリの消費を抑えながら高画質な画像を復元できる圧縮画像データを生成することが可能になる。

以下に、図面を参照しながら、本発明に係る画像処理装置の実施の形態について説明する。

図１は、本発明の実施の形態に係る画像符号化装置をデジタルスチルカメラに適用した場合の構成例を示すブロック図である。

デジタルスチルカメラ１０は、撮像レンズ１１と、撮像センサ１２と、ＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換部１３と、デジタル信号処理部１４と、バッファメモリ１５と、記録部１６と、表示部１７と、レンズ制御部１８と、センサ制御部１９とを備える。

撮像センサ１２は、被写体を撮像レンズ１１を介して撮像し、撮像した画像に含まれる特定の色成分の強度に応じたアナログ信号を出力する光電変換素子である。

ＡＤ変換部１３は、撮像センサ１２から出力されたアナログ信号をデジタル化し、デジタルデータを出力する処理部である。

デジタル信号処理部１４は、ＡＤ変換部１３から出力されたデジタルデータを処理し、ＲＡＷデータが圧縮されたデータやＪＰＥＧで圧縮されたデータなど各種方式の処理が施された画像データ（以下、これらを総称する場合に「各種画像データ」という。）を出力する処理部である。

バッファメモリ１５は、デジタル信号処理部１４から出力される各種画像データを一時的に記憶する。バッファメモリ１５は、デジタル信号処理部１４によりアクセスされ、比較的高速で読み書き可能なメモリである。

記録部１６は、バッファメモリ１５に記憶されている各種画像データのうち、予め定められた一部を長期的に記憶する。記録部１６は、デジタル信号処理部１４によりアクセスされ、比較的大容量の記憶媒体である。

表示部１７は、デジタル信号処理部１４により処理されたデータが示す画像などを表示する液晶モニタなどである。

レンズ制御部１８は、デジタル信号処理部１４から各種画像データの一部を取得し、レンズを制御する処理部および駆動部であり、ピント合わせなどをする。

センサ制御部１９は、デジタル信号処理部１４から各種画像データの一部を取得し、撮像センサ１２を制御する処理部であり、撮像センサ１２の感度などを制御する。

図２は、デジタル信号処理部１４の詳細な構成を示すブロック図である。
デジタル信号処理回路１４は、前処理部２１と、非可逆圧縮部２２と、可逆圧縮部２３と、伸張部２４と、信号処理部２５と、ＪＰＥＧ処理部２６と、表示処理部２７と、ＩＦ（インタフェース）処理部２８とを備える。

前処理部２１は、ＡＤ変換部１３から出力されるデジタルデータを取得し、取得したデジタルデータに前処理を施すことにより、画像データとしてのＲＡＷデータを生成する処理部である。

ここでの前処理には、例えば、有効撮像領域の切り出し処理、ガンマ補正処理、必要に応じて入力画素の順序を並び替える処理、撮像センサ１２の欠損画素に対する画素値の置き換え処理等が挙げられる。

図３は、前処理部２１から出力されるＲＡＷデータの構成を示す図である。
ＲＡＷデータは、１画素１色の画素値を有する画像データである。

本実施の形態のＲＡＷデータは、ベイヤ配列構造の色フィルタを有する撮像センサ１２により撮像・出力されたアナログ信号に、ＡＤ変換部１３によるＡＤ変換処理および前処理部２１による前処理を施したデータである。

本実施の形態のＲＡＷデータの各画素には図３に示すようにベイヤ配列構造の色成分の画素値が対応付けられる。例えば、ベイヤ配列構造は、緑（Ｇ）、赤（Ｒ）および青（Ｂ）の色成分の配列構造であり、奇数行目では1列目から順に緑と赤とが繰り返され、偶数行目では1列目から順に青と緑とが繰り返される構造を備える。

本図は、例えば、１行目について、1列目から順に、画素３１は緑（Ｇ）の画素値が対応付けられており、その値がＧ₁₁であることを示し、画素３２は赤（Ｒ）の画素値が対応付けられており、その値がＲ₁₁であることを示し、画素３３は緑（Ｇ）の画素値が対応付けられており、その値がＧ₁₂であることを示し、画素３４は赤（Ｒ）の画素値が対応付けられており、その値がＲ₁₂であることを示し、画素３５は緑（Ｇ）の画素値が対応付けられており、その値がＧ₁₃であることを示す。

前処理部２１は、このような配列構造で各画素に色成分が対応付けられたＲＡＷデータをラスタスキャンの順序で出力する。

ここから、再び図２を参照して、デジタル信号処理部１４について説明する。
非可逆圧縮部２２は、前処理部２１により生成された画像データとしてのＲＡＷデータを取得し、取得したＲＡＷデータに含まれる複数の画素値に基づいて量子化幅を決定し、決定した量子化幅を用いる量子化を含む非可逆な方式で前記画像データを圧縮する処理部であり、さらに、圧縮した画像データの全てをバッファメモリ１５に格納する。

第２符号化手段である可逆圧縮部２３は、非可逆圧縮部２２により決定された量子化幅が閾値より大きい場合に、その量子化幅が決定された複数の画素値を取得し、取得した複数の画素値を可逆な方式で圧縮する処理部であり、さらに、圧縮した画像データの全てをバッファメモリ１５に格納する。

ここで、非可逆圧縮部２２および可逆圧縮部２３によりバッファメモリ１５に格納された圧縮された画像データ（以下、「圧縮ＲＡＷデータ」という。）の構造について図４を参照して説明する。

図４は、バッファメモリ１５ａに格納される圧縮ＲＡＷデータの構造の例を示す図である。

本図は、２つの画像に対応する圧縮ＲＡＷデータが格納されている例を示しており、各圧縮ＲＡＷデータ１０１ａ（１０２ａ）は、非可逆圧縮部２２により非可逆方式で圧縮されたＲＡＷデータ１０３ａ（１０５ａ）と閾値より大きい量子化幅が決定された画素の画素値が可逆方式で圧縮されたＲＡＷデータ１０４ａ（１０６ａ）とを含む。

ここから、再び図２を参照して、デジタル信号処理部１４について説明する。
伸張部２４は、非可逆圧縮部２２および可逆圧縮部２３により圧縮された画像データをバッファメモリ１５から読み出し、伸張する処理部である。これにより、ＲＡＷデータが復元される。

信号処理部２５は、伸張部２４により復元されたＲＡＷデータを取得し、各画素に対応付けられていないＲＧＢの各色成分の輝度値を補間により生成し、輝度・色差系の画像データを生成し、生成した輝度・色差系の画像データをバッファメモリ１５に格納する。

ＪＰＥＧ処理部２６は、信号処理部２５により生成された輝度・色差系の画像データをバッファメモリ１５から読み出し、輝度・色差系の画像データをＪＥＰＧ形式に圧縮する処理部である。ＪＰＥＧ処理部２６は、ＪＰＥＧ形式の画像データをバッファメモリ１５に格納する。

表示処理部２７は、表示部１７に表示させるために、バッファメモリ１５から読み出した画像データの変換処理と出力タイミングの同期処理が行われる。

ＩＦ（インタフェース）処理部２８は、バッファメモリ１５に記憶されている各種画像データのうち、例えば図示しない入力部によりユーザが指定する種類の画像データを読み出し、記録部１６などの出力先に応じた変換処理を施し、記録部１６に格納する。すなわち、ＩＦ（インタフェース）処理部２８は、外部記憶格納手段の一例である。

なお、出力先は、図示しないＰＣ（パーソナルコンピュータ）やプリンタなどでもよく、この場合ＩＦ処理部２８は、出力タイミングの同期処理を実行する。

また、ＩＦ処理部２８は、記録部１６からデータを読み出し、表示処理部２７に対して出力することができるようにデータの入力を制御する。

図５は、非可逆圧縮部２２の詳細な構成を示すブロック図である。
非可逆圧縮部２２は、画素差分値算出部４０と、量子化幅決定部４１と、符号化部４２とを有する。

画素差分値算出部４０は、画像データとしてのＲＡＷデータに含まれる同じ色成分に対応する複数の画素値のうち、最も近くに位置する画素の画素値の差分値を算出する処理部である。

量子化幅決定部４１は、画素差分値算出部４０により算出された差分値を予め定めた桁数で表現するための量子化幅を決定する処理部である。

第１符号化手段である符号化部４２は、量子化幅決定部４１により決定された量子化幅で量子化し、量子化された画像データを符号化する処理部である。

以上が、本実施の形態に係るデジタルスチルカメラ１０の構成である。
次に、図６を参照してデジタルスチルカメラ１０が実行する処理について説明する。

図６は、デジタルスチルカメラ１０が実行する処理の流れを示す図である。
撮像センサ１２は、被写体を撮像し、アナログ信号を出力する（Ｓ１）。

ＡＤ変換部１３は、撮像センサ１２から出力されたアナログ信号をデジタル化し、デジタルデータを出力する（Ｓ２）。

前処理部２１は、ＡＤ変換部１３から出力されるデジタルデータを取得し、取得したデジタルデータに前処理を施すことにより、画像データとしてのＲＡＷデータを生成する（Ｓ３）。

非可逆圧縮部２２と可逆圧縮部２３とは、ともに前処理部２１からＲＡＷデータを取得する（Ｓ４）。

画素差分値算出部４０は、ＲＡＷデータに含まれる同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の画素値の差分値（以下、「画素差分値」ともいう。）を算出する（Ｓ５）。

本実施の形態では、上記の同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の一例として、同じ色成分に対応する複数の画素値のうち、行の一定方向に最も近くに位置する画素を用いる。すなわち、画素差分値算出部４０は、同じ色成分に対応する複数の画素値のうち、基準となる画素の画素値とその画素に対して一定方向に最も近い画素の画素値との差分値を算出する。例えば、画素差分値算出部４０が図３に示すＲＡＷデータを取得した場合、一定方向を右方向とすると、画素３３は、画素３１を基準として最も近い画素となる。また、同様に、画素３５は、画素３３を基準として最も近い画素となる。

なお、上記の近傍に位置する画素は、行の一定方向に最も近くに位置する画素に限られない。近傍に位置する画素は、一定の距離の範囲内に位置する画素であればよく、例えば、列の一定方向に最も近くに位置する画素であってもよく、行または列の一定方向に一定の距離だけ離れて位置する画素であってもよい。

ここで、図７は、同じ色成分の輝度値を有する隣接する２つの画素の画素値の第１の具体例を示す図であり、画素３１と画素３３との画素値の具体例を示す図である。

図７のハッチングを施された棒５１に示すように画素３１の画素値であるＧ₁₁が４０００、棒５２に示すように画素３３の画素値であるＧ₁₂が３９９０である場合、画素差分値算出部４０は、画素差分値５３として「−１０」（１０進数で表記）を算出する。

また、図８は、同じ色成分の輝度値を有する隣接する２つの画素の画素値の第２の具体例を示す図であり、画素３３と画素３５との画素値の具体例を示す図である。

図８のハッチングを施された、図７と同様の棒５２に示すように画素３３の画素値であるＧ₁₂が３９９０、棒５４に示すように画素３５の画素値であるＧ₁₃が４２３５である場合、画素差分値算出部４０は、画素差分値５５として「２４５」（１０進数で表記）を算出する。

量子化幅決定部４１は、画素差分値算出部４０により算出された差分値を予め定めた桁数で表現するための量子化幅を決定する（Ｓ６）。

ここで、量子化幅決定部４１による量子化幅の一般的な決定方法について説明する。量子化幅を決定する際に、差分値を表現する予め定めた桁数をｎビットとする。

図３に示す配列をもつ画像データとしてのＲＡＷデータの各画素値は、（ｎ＋ｋ）ビットで表される。また、ＲＡＷデータは、ラスタスキャンの順に１行目ではＧ₁₁、Ｒ₁₁、Ｇ₁₂の順で、次の行ではＢ₂₁、Ｇ₂₁、Ｂ₂₂の順に前処理部２１から非可逆圧縮部２２に出力される。

また、ある時刻ｔに前処理部２１から出力され、非可逆圧縮部２２での処理対象となる画素（以下、「処理対象画素」という。）の画素値をＩＮ（ｔ）により表す。また、処理対象画素と同じ色成分である画素のうち、処理対象画素の直前に処理された画素（以下、「直前画素」という。）の画素値をＩＮ（ｔ−１）により表す。さらに、これらの差分値をδにより表す。

例えば、処理対象画素の画素値ＩＮ（ｔ）がＧ₁₂である場合、直近画素の画素値ＩＮ（ｔ―１）はＧ₁₂である。また、差分値δのとりうる範囲は、（式１）により表される。

差分値δが（式２）により表される場合、差分値をｎビットで表現できる。

この場合、ｎビットで表現される差分値は量子化幅を「２⁰」とすることによって、（ｎ＋ｋ）ビットで表された元の画素値ＩＮ（ｔ）は、（ｎ＋ｋ）ビットの直前画素の画素値ＩＮ（ｔ−１）を用いて、（式３）で誤差なく表すことができる。

また、差分値量δが（式２）で示す範囲に収まらない場合、ｎビットで差分値δを表現するには量子化幅を２⁰より大きくする必要がある。

例えば、量子化幅を２¹として表現できる差分値δは、（式４）により表される。

（式４）に示すように量子化幅は元画像に対して２¹倍となるため、画素値は丸められることになる。すなわち、差分値量δが量子化幅２⁰で表現できる範囲にあれば元画像に復元することができ、それよりも大きくなると画素値は丸められるので必ずしも元画像に復元することはできない。

このような量子化幅決定部４１による量子化幅の決定方法について、本実施の形態の具体例により説明する。

本実施の形態では、差分値を２進数表記の８桁で表現するための量子化幅を決定する。
例えば、図７の画素差分値５３に示すように、１０進数表記の「−１０」は２進数表記で「１０００＿１０１０」であり、８桁で表現できる。そのため、量子化幅は「２⁰（＝１）」と決定される。

また例えば、図８の画素差分値５５に示すように、１０進数表記の「２４５」は２進数表記で「０＿１１１１＿０１０１」であり、８桁で表現できない。１０進数表記の「２４５」を２進数で表現するには９桁必要になる。１０進数表記の「２４５」を８桁で表現するために、最下位の１桁を丸める。したがって、量子化幅は「２¹」と決定される。

なお、量子化幅を「２¹」として丸められると、「０＿１１１１＿０１０１」は「０１１１＿１０１０」となり、これを１０進数表記に戻すと「２４４」になる。元の差分値である「２４５」とは「１」だけの誤差が生じる。

図９は、１０進数表記の整数が、量子化幅「２⁰」で２進数表記された場合と量子化幅「２¹」で２進数表記された場合との対応関係を示す図である。

例えば、１０進数表記の「２４４」は量子化幅「２⁰」の２進数表記で「０＿１１１１＿０１００」であること、１０進数表記の「２４５」は量子化幅「２⁰」の２進数表記で「０＿１１１１＿０１０１」であることを示す。

このように、量子化幅を大きくすることにより、所定桁数の２進数で表記できる１０進数表記での値の幅は広くなるが、その幅に含まれる１０進数表記での値は１つの２進数表記の値に対応付けられる。そのため、「２⁰」より大きい量子化幅での量子化を含む方式で圧縮された画像データは非可逆となり、量子化幅が大きいほど、その量子化幅で圧縮された画像データから復元される画像と元の画像との誤差は大きくなる。

これに対して、量子化幅が「２⁰」である場合、その量子化幅で圧縮された画像データから復元される画像は元の画像と同一である。すなわち、その量子化幅で圧縮された画像データから元の画像への可逆性が確保される。

ここから、図６を参照して、デジタルスチルカメラ１０が実行する処理の続きを説明する。

量子化幅決定部４１は、決定した量子化幅が閾値以下であるか否かを判断する（Ｓ７）。

本実施の形態での閾値は「２⁰（＝１）」とする。また、量子化幅は、２のべき乗で表されるため、取りうる最小の値が「１」である。そのため、実施の形態では、量子化幅が「２⁰（＝１）」であるか否かを判断することは、量子化幅が閾値である「２⁰（＝１）」以下であるか否かを判断することと同じである。

量子化幅が「２⁰」と等しいと判断された場合（Ｓ７でＹｅｓ）、符号化部４２は、差分値を量子化幅決定部４１により決定された量子化幅で量子化し、量子化された画像データを符号化することにより、差分値の符号化データを生成する（Ｓ８）。

ここでの符号化部４２が実行する処理は、非可逆方式での符号化であるが、量子化幅が「２⁰（＝１）」と決定された差分値を対象としているため、符号化部４２により符号化された符号化データから元の画像データを完全に復元することができる。

符号化部４２は、差分値の符号化データを非可逆方式での圧縮ＲＡＷデータの一部としてバッファメモリ１５に格納し（Ｓ９）、処理を終了する。

また、量子化幅が「２⁰」と等しくないと判断された場合（Ｓ７でＮｏ）、量子化幅決定部４１は、可逆圧縮部２３に符号化指示を出力する（Ｓ１０）。

ここで、符号化指示とは、可逆圧縮部２３に画像データの符号化処理を実行させる指示を含むデータである。例えば、可逆圧縮部２３が符号化する画素の位置を特定する情報などが含まれる。

ここから、非可逆圧縮部２２と可逆圧縮部２３とは並行して処理を実行する。
まず、並行処理のうち、非可逆圧縮部２２が実行する処理について説明する。

非可逆圧縮部２２の符号化部４２は、差分値を量子化幅決定部４１により決定された量子化幅で量子化し、量子化された画像データを符号化することにより、差分値が圧縮された符号化データを生成する（Ｓ１１）。

符号化部４２は、差分値の符号化データを非可逆方式での圧縮ＲＡＷデータの一部としてバッファメモリ１５に格納し（Ｓ１２）、処理を終了する。

以上が、並行処理のうち、非可逆圧縮部２２が実行する処理である。ここで生成される符号化データは、量子化幅が「２⁰」と等しくない差分値を量子化・符号化したデータであるため、符号化データから元の画像データを完全に復元することはできない。このような符号化データをバッファメモリ１５に格納することにより、非可逆圧縮部２２は量子化幅により処理を実行するか否かを判断することなく順次符号化データを生成し、格納することができるため、その判断にかかる負荷を軽減することが可能になる。

次に、並行処理のうち、可逆圧縮部２３が実行する処理について説明する。
可逆圧縮部２３は、量子化幅決定部４１から符号化指示を取得する（Ｓ１３）。

可逆圧縮部２３は、画像データのうち、取得した符号化指示に含まれる情報により示される位置の画素の画素値を可逆方式で符号化することにより、可逆方式で圧縮された符号化データを生成する（Ｓ１４）。

可逆圧縮部２３は、可逆方式で圧縮された符号化データをバッファメモリ１５に格納し（Ｓ１５）、処理を終了する。

以上が、並行処理のうち、可逆圧縮部２３が実行する処理である。
以上の処理をＲＡＷデータに含まれる全ての画素に対して実行することにより、バッファメモリ１５には、非可逆方式での圧縮ＲＡＷデータのみが格納されるか、または、図４に示すように非可逆方式での圧縮ＲＡＷデータ１０３ａ（１０５ａ）および可逆方式での圧縮ＲＡＷデータ１０４ａ（１０６ａ）が格納される。

非可逆方式での圧縮ＲＡＷデータのみの場合であっても、量子化幅を「２⁰（＝１）」として量子化されているため、符号化データから元のＲＡＷデータを完全に復元できる。

また、量子化幅が「２⁰（＝１）」でない差分値が含まれる場合には、非可逆方式での圧縮ＲＡＷデータ１０３ａ（１０５ａ）および可逆方式での圧縮ＲＡＷデータ１０４ａ（１０６ａ）が含まれることとなり、これら圧縮ＲＡＷデータから元のＲＡＷデータを完全に復元できる。

本実施の形態において、例えば画素３１のように基準となる画素の画素値は、可逆な方式で圧縮されバッファメモリ１５に格納される。

このように、第１符号化手段である符号化部４２を有する非可逆圧縮部２２での非可逆な方式での処理中に決定される量子化幅により、非可逆な方式での圧縮と可逆な方式での圧縮とを切り替える。このとき、両方式のいずれにより圧縮するかを切り替える量子化幅の閾値を小さく設定することにより、圧縮された画像データからより元の画像データに近い画像データを復元できる。さらに、量子化幅が１の場合にのみ、非可逆な方式で圧縮すると、圧縮した画像データから元の画像データを完全に復元することができ、可逆性が確保される。

また、量子化幅の決定は、非可逆な方式での圧縮処理において通常実行される処理である。そのため、特に処理を追加することなく、非可逆な方式での圧縮と可逆な方式での圧縮とを切り替えることができ、圧縮した画像データから復元される画像データの画質を向上させながら、処理負荷を軽減することが可能になる。

さらに、可逆な圧縮方式だけでなく、非可逆な圧縮方式をも利用するため、可逆な圧縮方式のみで圧縮する場合よりも効率的な圧縮が可能になり、バッファメモリの効率的な使用が可能になる。

以上、本発明の実施の形態に係る画像符号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、実施の形態では２つの画素ごとに量子化幅を決定したが、複数の画素をグループとしてグループごとに共通の量子化幅を決定し、決定された量子化幅が閾値以下である場合にそのグループに属する画素に対しては決定された量子化幅を用いる量子化および符号化を実行し、決定された量子化幅が閾値よりも大きい場合にそのグループに属する画素に対しては可逆な方式で圧縮されてもよい。

これにより、同一数量の画素を含む画像データの場合、グループに含まれる画素数を増やすことにより量子化幅を決定する回数を減少させることができ、処理の効率を向上させることが可能になる。

例えば、可逆圧縮部２３は、非可逆圧縮部２２を介して自身が圧縮するＲＡＷデータを取得してもよい。

例えば、可逆圧縮部２３は、非可逆圧縮部２２から符号化指示とともに、符号化する差分値を取得し、取得した差分値を可逆圧縮してもよい。

例えば、非可逆圧縮部２２は、すべての画像データを圧縮符号化するのではなく、量子化幅が閾値以下である場合のみに、その量子化幅が決定された画像データをその量子化幅を用いる方式で圧縮符号化してもよい。

この場合、画像符号化装置１００が備える構成は、図２および図５に示す画像符号化装置１００および非可逆圧縮部２２が備える構成と同一である。

図１０は、一変形例において画像符号化装置１００が実行する処理の流れを示す図である。

本変形例の画像符号化装置が実行する処理は、実施の形態の画像符号化装置１００が実行する処理とは量子化幅が閾値より大きい場合に（Ｓ７でＮｏ）、非可逆な方式での符号処理（Ｓ１１）およびその圧縮ＲＡＷデータの格納処理（Ｓ１２）を実行しない点が異なり、それ以外は、実施の形態における画像符号化装置１００が実行する処理と同一である。

本図に示す撮像処理（Ｓ２１）から量子化幅決定部４１による量子化幅判断処理（Ｓ２７）までは、実施の形態の図６に示す撮像処理（Ｓ１）から量子化幅決定処理（Ｓ７）までの処理と同一である。

また、量子化幅が閾値以下である場合に（Ｓ２７でＹｅｓ）実行される非可逆方式での符号化処理（Ｓ２８）および圧縮ＲＡＷデータ格納処理（Ｓ２９）は、それぞれ実施の形態の図６に示す非可逆方式での符号化処理（Ｓ８）および圧縮ＲＡＷデータ格納処理（Ｓ９）と同一である。

さらに、量子化幅が閾値より大きい場合に（Ｓ２７でＮｏ）実行される符号化指示出力処理（Ｓ３０）および符号化指示取得処理（Ｓ３１）から圧縮ＲＡＷデータ格納処理（Ｓ３３）までは、それぞれ実施の形態の図６に示す符号化指示出力処理（Ｓ１０）および符号化指示取得処理（Ｓ１３）から圧縮ＲＡＷデータ格納処理（Ｓ１５）までと同一である。

このように、本変形例の画像符号化装置が実行する処理は、図６に示す実施の形態の画像符号化装置１００が実行する処理のそれぞれと対応するため、各処理の詳細な説明は省略する。

図１１は、一変形例においてバッファメモリ１５ｂに格納される圧縮ＲＡＷデータの構造を示す図である。

本図は、２つの画像に対応する圧縮ＲＡＷデータが格納されている例を示しており、各圧縮ＲＡＷデータ１０１ｂ（１０２ｂ）は、ハッチングが施されていない非可逆圧縮部２２により非可逆方式で圧縮されたＲＡＷデータ１０３ｂ（１０５ｂ）と、ハッチングが施された閾値より大きい量子化幅が決定された画素の画素値が可逆方式で圧縮されたＲＡＷデータ１０４ｂ（１０６ｂ）とを含む。

このように、本変形例では、実施の形態と異なり量子化幅が閾値より大きい画像データに対応する圧縮ＲＡＷデータがバッファメモリ１５ｂに重複して格納されない。そのため、各圧縮ＲＡＷデータの情報量を小さくすることができ、バッファメモリ１５ｂの消費をより抑えることが可能になる。

本発明は、画像データを符号化する画像符号化装置に適用できる。

本発明の実施の形態に係る画像符号化装置をデジタルスチルカメラに適用した場合の構成例を示すブロック図である。 デジタル信号処理部の詳細な構成を示すブロック図である。 前処理部から出力されるＲＡＷデータの構成を示す図である。 バッファメモリに格納される圧縮ＲＡＷデータの構造の例を示す図である。 非可逆圧縮処理部の詳細な構成を示すブロック図である。 デジタルスチルカメラが実行する処理の流れを示す図である。 同じ色成分の輝度値を有する隣接する２つの画素の画素値の第１の具体例を示す図である。 同じ色成分の輝度値を有する隣接する２つの画素の画素値の第２の具体例を示す図である。 １０進数表記の整数が、量子化幅「２⁰」で２進数表記された場合と量子化幅「２¹」で２進数表記された場合との対応関係を示す図である。 一変形例において画像符号化装置１００が実行する処理の流れを示す図である。 一変形例においてバッファメモリに格納される圧縮ＲＡＷデータの構造を示す図である。 従来の画像符号化装置が備える構成を示すブロック図である。

符号の説明

１０ デジタルスチルカメラ
１１ 撮像レンズ
１２ 撮像センサ
１３ ＡＤ変換部
１４ デジタル信号処理部
１５ バッファメモリ
１６ 記録部
１７ 表示部
１８ レンズ制御部
１９ センサ制御部
２１ 前処理部
２２ 非可逆圧縮部
２３ 可逆圧縮部
２４ 伸張部
２５ 信号処理部
２６ ＪＰＥＧ処理部
２７ 表示処理部
２８ ＩＦ処理部
４０ 画素差分値算出部
４１ 量子化幅決定部
４２ 符号化部

Claims (7)

1. 入力された画像データを圧縮符号化する画像符号化装置であって、
   データを記憶するためのバッファメモリと、
   前記画像データに基づいて量子化幅を決定する量子化幅決定手段と、
   前記量子化幅決定手段により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、符号化した画像データを前記バッファメモリに記憶させる第１符号化手段と、
   前記量子化幅決定手段により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、符号化した画像データを前記バッファメモリに記憶させる第２符号化手段とを備える
   ことを特徴とする画像符号化装置。
2. さらに、
   前記画像データに含まれる同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の画素値の差分値を算出する画素差分値算出手段を備え、
   前記量子化幅決定手段は、前記画素差分値算出手段により算出された前記差分値に応じて量子化幅を決定する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記閾値は１である
   ことを特徴とする請求項１または請求項２に記載の画像符号化装置。
4. さらに、前記バッファメモリが記憶している第１符号化手段と第２符号化手段とにより符号化された画像データを前記バッファメモリから読み出すとともに、外部の記憶手段に格納する外部記憶格納手段を備える
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像符号化装置。
5. 入力された画像データを圧縮符号化し、バッファメモリに格納する画像符号化方法であって、
   前記画像データに基づいて量子化幅を決定する量子化幅決定ステップと、
   前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値以下である場合に、当該量子化幅で量子化し、量子化した画像データを符号化し、前記バッファメモリに格納する第１符号化ステップと、
   前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、前記バッファメモリに格納する第２符号化ステップとを含む
   ことを特徴とする画像符号化方法。
6. 入力された画像データを圧縮符号化するプログラムであって、
   前記画像データに基づいて量子化幅を決定する量子化幅決定ステップと、
   前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値以下である場合に、当該量子化幅で量子化し、量子化した画像データを符号化し、前記バッファメモリに格納する第１符号化ステップと、
   前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、前記バッファメモリに格納する第２符号化ステップとをコンピュータに実行させる
   ことを特徴とするプログラム。
7. 入力された画像データを圧縮符号化し、バッファメモリに格納する集積回路であって、
   前記画像データに基づいて量子化幅を決定する量子化幅決定手段と、
   前記量子化幅決定手段により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、前記バッファメモリに格納する第１符号化手段と、
   前記量子化幅決定手段により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、前記バッファメモリに格納する第２符合化手段とを備える
   ことを特徴とする集積回路。

Images