JP2015076624A - 符号化システム、符号化装置、復号化装置、および、符号化および復号化方法 - Google Patents

Abstract

【課題】より高効率であり、かつ主観画質を低下させない、撮像素子から出力された信号を符号化および復号化する処理を実現する。【解決手段】符号化システムは、画像信号を符号化した符号化信号を出力する符号化装置と、符号化信号を復号化する復号化装置とを備えている。符号化装置は、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化し、それぞれを符号化信号として出力するＲ／Ｂ符号化部と、各符号化信号を出力する符号化信号出力部とを備える。復号化装置は、各符号化信号を復号化して、各復号化信号を生成するＲ／Ｂ復号部と、画像信号とＲ／Ｂ復号部によって生成された各復号化信号との誤差を推定する誤差推定部と、推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、復元された画像を出力する復号化信号出力部とを備える。【選択図】図１Ｂ

Description

本開示は、撮像素子や撮像モジュールのメモリを利用して、撮像データを圧縮する技術に関する。

近年、１９２０画素ｘ１０８０画素の解像度を有するフルハイビジョン映像を超える、より高解像度・高フレームレートの映像を再生可能なシステムが普及しはじめている。例えば、フルハイビジョン映像と比べて縦横それぞれ２倍の解像度を有する４Ｋ２Ｋとよばれる映像の再生を可能にしたテレビが販売されている。また、フルハイビジョン映像と比べて縦横それぞれ４倍の解像度をもつスーパーハイビジョン映像の撮影や再生のための技術開発も進んでいる。さらに、フルハイビジョン映像を、１２０ｆｐｓや２４０ｆｐｓで撮影可能なカメラや表示可能なテレビが販売されている。

このような高解像度・高フレームレートの映像を処理する撮像システムでは、撮像素子や撮像モジュールから読み出されるデータの情報量や、それらから転送されるデータの情報量が膨大になる。その結果、転送帯域の拡大が必要となり、伝送周波数の高周波化や、データ転送の並列化といった対策が行われている。しかし、これらの対策は、特に小型化が要求される撮像素子や撮像モジュールにとって、ノイズの増加による画質の低下や、回路サイズ増加によるコストの増大という問題を生じさせる。そのため、データ転送量の削減が望まれている。

一方、３次元実装やＴｈｒｏｕｇｈ−Ｓｉｌｉｃｏｎ Ｖｉａ（ＴＳＶ）などの半導体実装分野の新しい技術発展に伴い、チップ上でより高度な画像処理を実現する撮像素子の開発が進んでいる。そのため、圧縮符号化によるデータ削減を、撮像素子上に実装する技術が望まれている。

非特許文献１は、データ削減の要求に対応するため、圧縮センシングの概念を利用した固体撮像素子を開示している。この固体撮像素子は、非特許文献２の圧縮センシング技術を利用し、圧縮撮像することにより、データ転送量の削減を可能にする。さらに、複数の画素それぞれに複数の異なる配線を接続し、複数の画素を、位相をずらしたタイミングで順に駆動して信号を読みだす。この構成により、サンプルおよびホールド回路が不要となり、追加の回路を削減している。

また、転送されるデータの情報量を削減するために、ＪＰＥＧやＭＰＥＧなどの高効率圧縮手法が広く利用されている。さらに特許文献１に記載されているように、近年、ＲＡＷ圧縮といわれる、イメージセンサ出力をそのまま圧縮する手法も開発されている。

特開２００７−２２８５１５号公報

Y. Oike and A. E. Gamal, "A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing", IEEE International Solid−State Circuits Conference (ISSCC) Dig. Of Tech. Papers, pp.386−387, 2012 J. Ma, "Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement", IEEE Transactions on Instrumentation and Measurement, vol.60, no.1, pp.126−136, 2011 K. He, J. Sun and X. Tang, "Guided image filtering", Proc. Of the 11th European Conf. on Computer Vision (ECCV), 6311, pp.1−14, 2010

しかしながら、上述した従来の技術では、さらなる画像圧縮効率の向上が求められていた。

本願の、限定的ではない例示的なある実施の形態は、より高効率の画像圧縮技術を実現する符号化システムを提供する。

上記課題を解決するために、本発明の一態様は、画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムであって、前記符号化装置は、前記画像信号を取得する画像取得部と、前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化し、それぞれを符号化信号として出力するＲ／Ｂ符号化部と、前記Ｒ／Ｂ符号化部が出力した各符号化信号を出力する符号化信号出力部とを備え、前記復号化装置は、前記各符号化信号を受信する符号化信号受信部と、前記符号化信号受信部によって受信された前記各符号化信号を復号化して、各復号化信号を生成するＲ／Ｂ復号部と、前記画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、前記画像復元部によって復元された画像を出力する復号化信号出力部とを備えた符号化システムを含む。

本発明の一態様にかかる符号化システムは、人間の視覚感度特性を利用し、緑（Green）画素のみを圧縮なしまたは低圧縮率で符号化し、赤（Red）/青（Blue）画素は高効率に圧縮符号化し、さらに色情報を利用した画像復元処理を行う。これにより、簡単な処理で高効率の圧縮処理を実現する。

実施の形態１における撮像システム１００の構成を示すブロック図である。 実施の形態１における符号化システム１０の構成を示すブロック図である。 実施の形態１における符号化装置の処理の手順を示すフローチャートである。 実施の形態１における復号化装置の処理の手順を示すフローチャートである。 画像取得部が取得した画像信号の位置関係と符号化順を示した模式図である。 Ｒ／Ｂ差分符号化部が利用する符号化／復号化テーブルの模式図である。 画像復元部１０９の復元処理の流れの詳細を示したフローチャートである。 Ｒ／Ｂ差分符号化部が利用する別の符号化／復号化テーブルの模式図である。 実施の形態２における符号化システム２０の構成を示すブロック図である。 実施の形態２における符号化装置の処理の手順を示すフローチャートである。 実施の形態２における復号化装置の処理の手順を示すフローチャートである。 画像取得部が取得した画像信号の位置関係と符号化順を示した模式図である。 Ｇ差分符号化部１１３が利用する符号化／復号化テーブルの模式図である。

従来の技術は、復元処理をも考慮した場合には、現時点では圧縮効率が悪かった。

たとえば非特許文献１に開示された圧縮方法では、圧縮センシングの復元処理が非常に膨大になってしまうため、復元処理の実装が困難という課題がある。

ＪＰＥＧやＭＰＥＧのような高効率圧縮手法においても、データ処理量が大きいため、大きな追加回路が必要となり、撮像素子上で実装するのは困難である。

また、ＲＡＷ圧縮では、隣接画素との差分処理や、エントロピー符号化を組み合わせたものが多く、十分なデータ削減性能を有していない。

本願の、限定的ではない例示的なある実施の形態は、人間の感度特性を利用することにより、非常に簡易な処理でありながら、高効率の画像圧縮技術を提供する。

本発明の一態様の概要は以下のとおりである。

本発明の一態様である符号化システムは、画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムであって、前記符号化装置は、前記画像信号を取得する画像取得部と、前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化し、それぞれを符号化信号として出力するＲ／Ｂ符号化部と、前記Ｒ／Ｂ符号化部が出力した各符号化信号を出力する符号化信号出力部とを備え、前記復号化装置は、前記各符号化信号を受信する符号化信号受信部と、前記符号化信号受信部によって受信された前記各符号化信号を復号化して、各復号化信号を生成するＲ／Ｂ復号部と、前記画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、前記画像復元部によって復元された画像を出力する復号化信号出力部とを備えている。

本発明の他の一態様である符号化システムは、画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムであって、前記符号化装置は、前記画像信号を取得する画像取得部と、前記画像取得部によって取得された前記画像信号のうち、複数の赤画素の画像信号および複数の青画素の画像信号を所定の圧縮率で圧縮して符号化し、それぞれの符号化信号を生成するＲ／Ｂ符号化部と、前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を前記所定の圧縮率よりも低い圧縮率で圧縮して符号化し、符号化信号を生成するＧ符号化部と、前記Ｒ／Ｂ符号化部および前記Ｇ符号化部によって生成された各符号化信号を出力する符号化信号出力部とを備え、前記復号化装置は、前記各符号化信号を受信する符号化信号受信部と、前記符号化信号受信部によって受信された、緑画素に関する符号化信号を復号化して復号化信号を生成するＧ復号部と、前記符号化信号受信部によって受信された、赤画素および青画素に関する各符号化信号を復号化して、各復号化信号を生成するＲ／Ｂ復号部と、前記画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、前記画像復元部によって復元された画像を出力する復号化信号出力部とを備えている。

ある実施形態において、前記Ｇ符号化部は、前記画像取得部によって取得された前記画像信号の着目緑画素と近傍画素との差分信号を検出するＧ差分検出部と、前記差分信号を利用して、前記複数の緑画素の画像信号を圧縮して符号化するＧ差分符号化部とを備えている。

ある実施形態において、前記複数の緑画素は、第１の緑画素および第２の緑画素を含んでおり、前記Ｇ符号化部は、前記第１の緑画素の画像信号を圧縮して符号化し、前記第２の緑画素の画像信号を非圧縮で符号化する。

ある実施形態において、前記Ｒ／Ｂ符号化部は、前記画像取得部によって取得された前記画像信号の着目画素と近傍画素との差分である差分信号を検出する差分検出部と、前記差分信号を利用して、前記複数の緑画素の画像信号を非圧縮で符号化し、前記複数の赤画素の画像信号および前記複数の青画素の画像信号を圧縮して符号化するＲ／Ｂ差分符号化部とを備えている。

ある実施形態において、前記Ｇ符号化部は、前記第１の緑画素の画像信号を１行または１列ごとに圧縮して符号化する。

ある実施形態において、前記画像復元部は、ガイデッド・フィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ）を利用して前記画像を復元する。

本発明のさらに他の一態様である符号化装置は、画像信号を取得する画像取得部と、前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化し、それぞれを符号化信号として出力するＲ／Ｂ符号化部と、前記Ｒ／Ｂ符号化部から出力された各符号化信号を出力する符号化信号出力部とを備えている。

本発明のさらに他の一態様である符号化装置は、画像信号を取得する画像取得部と、前記画像取得部によって取得された前記画像信号のうち、複数の赤画素の画像信号および複数の青画素の画像信号を所定の圧縮率で圧縮して符号化し、それぞれの符号化信号を生成するＲ／Ｂ符号化部と、前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を前記所定の圧縮率よりも低い圧縮率で圧縮して符号化し、符号化信号を生成するＧ符号化部と、前記Ｒ／Ｂ符号化部および前記Ｇ符号化部によって生成された各符号化信号を出力する符号化信号出力部とを備えている。

本発明のさらに他の一態様である符号化装置は、符号化装置から、緑画素、赤画素および青画素のそれぞれに関する符号化信号を受信する符号化信号受信部であって、前記緑画素に関する符号化信号は、複数の緑画素の画像信号を非圧縮で符号化した信号であり、前記赤画素および青画素のそれぞれに関する符号化信号は、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化した信号である、符号化信号受信部と、前記符号化信号受信部によって受信された前記各符号化信号を復号化して各復号化信号を生成するＲ／Ｂ復号部と、前記符号化装置によって符号化される前の画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、前記画像復元部によって復元された画像を出力する復号化信号出力部とを備えている。

本発明のさらに他の一態様である符号化および復号化方法は、画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムにおける符号化および復号化方法であって、前記符号化装置を用いて、前記画像信号を取得し、取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号をそれぞれ圧縮して符号化し、符号化された各符号化信号を出力し、前記復号化装置を用いて、前記各符号化信号を受信し、受信された前記各符号化信号を復号化して、各復号化信号を生成し、前記画像信号と前記各復号化信号との誤差を推定し、推定された誤差情報、および色相関を利用して画像を復元し、復元された前記画像を出力する。

以下、添付の図面を参照しながら、本発明の一実施形態にかかる符号化システムを説明する。

なお、以下の各実施の形態の説明では、イメージセンサの画素のうち、赤色（Red）の光を受ける画素を「Ｒ画素」と略記し、同様に、緑色（Green）および青色（blue）の光をそれぞれ受ける画素を「Ｇ画素」および「Ｂ画素」と略記する。

（実施の形態１）
図１Ａは、本実施の形態にかかる撮像システム１００の構成を示すブロック図である。撮像システム１００は、撮像装置５０と、復号化装置２とを備えている。撮像装置５０は、撮影の結果得られた画像信号を符号化して出力する。復号化装置２は、撮像装置５０から送信された、符号化された画像信号を用いて画像を復号化および復元する。

本発明の一態様における撮像システム１００の撮像装置５０は、圧縮センシングの手法を用いて、撮像素子（後述する光電変換部５１）から出力されたアナログ信号を、デジタルデータへと変換する前に、すなわちＡＤ変換前に、圧縮して情報量を削減する。復号化装置２は圧縮されたアナログ信号を復元する。

撮像素子から出力されたアナログ信号をＡＤ変換前に圧縮することにより、ＡＤコンバータの負荷を低減させることが可能となる。その結果、ＡＤコンバータの動作周波数の低減、相対的な高速ＡＤ変換、Ｓ／Ｎ改善および感度の向上、消費電力の低減が可能になる。

圧縮処理および復元処理は、最終的に出力される画質に大きく影響するため、如何にそれらの処理を行うかが問題である。本開示においては、人間の視覚特性を利用し、画質劣化が少ない非可逆圧縮を、簡易な方法で実現する。その概要は以下のとおりである。

まず、圧縮処理を行う撮像装置５０においては、ＡＤ変換前の回路系の演算量を削減する。具体的には、撮像装置５０は、青または赤の画素信号に関しては、誤差を含んだ状態で圧縮する。圧縮効率を向上できるため、処理する情報量を低減できる。これにより、上述したＡＤコンバータの負荷低減や、複雑な回路に起因するノイズの重畳などを低減できる。一方、撮像装置５０は、緑の画素信号に関しては、圧縮しないか、または相対的に低い圧縮率で圧縮する。人の視覚は、色変化に鈍感であり、また、人の視覚感度は赤、青よりも緑に対して高い。それらを考慮して、色に応じて処理を変化させている。

符号化装置１は、演算量が大きい画像処理を実行する。具体的には、符号化装置１は、誤差を含む画素に対しては、画像復元技術を利用して画像を復元する。詳細な処理は後述する。

本明細書で説明する処理によれば、画質、圧縮率、および演算量のトレードオフを解決することが可能である。そして、三次元実装処理可能な差分および比較処理のみによる実装を実現できる。以下、本実施の形態にかかる構成および動作を具体的に説明する。

撮像装置５０は、光電変換部５１と、電荷保持部５２と、符号化装置１とを備えている。

光電変換部５１はイメージセンサである。図４は、光電変換部５１に相当する、単板ベイヤー配列のイメージセンサの画素の一部を模式的に示す。図４に示されるように、光電変換部５１は複数の画素を有している。各画素は、受光した光を、その光量に応じた電気信号に変換する。電荷保持部５２は、光電変換部５１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。

次に、符号化装置１および復号化装置２の機能および詳細な構成を、図１Ｂを参照しながら説明する。本実施の形態では、符号化装置１および復号化装置２によって構成されるシステムを、「符号化システム」と呼ぶ。

図１Ｂは、本実施の形態にかかる符号化システム１０の構成を示すブロック図である。また、図２は、本実施の形態における符号化装置１の処理の手順を示すフローチャートである。さらに、図３は、本実施の形態における復号化装置２の処理の手順を示すフローチャートである。

符号化装置１は、画像取得部１０１と、Ｒ／Ｂ符号化部１０２と、符号化信号出力部１０５を備えている。Ｒ／Ｂ符号化部１０２は、差分検出部１０３と、Ｒ／Ｂ差分符号化部１０４とを有する。

復号化装置２は、符号化信号受信部１０６と、Ｒ／Ｂ復号部１０７と、誤差推定部１０８と、画像復元部１０９と、復号化信号出力部１１０とを備えている。

上述のように、本実施の形態にかかる符号化システム１０では、Ｒ画素、Ｇ画素、およびＢ画素のうち、撮影時の分光感度特性が人間の視覚感度特性に最も近いＧ画素からの出力信号は圧縮せず、Ｒ画素とＢ画素からの出力信号を圧縮符号化する。これにより、主観画質を保持しながら、圧縮率を向上させることが可能となる。

以下、符号化装置１の各構成要素を詳細に説明する。

画像取得部１０１は、電荷保持部５２に保持されているアナログの画像信号を取得し、符号化装置１に取り込む（ステップＳ１０１）。この画像信号の各画素の信号値を、以下では「画素値」と呼ぶ。

なお、上述の画像取得部１０１は符号化装置１が信号を取得するためのインタフェースであることを想定しているが、この構成は一例に過ぎない。たとえば、図１Ａに示す光電変換部５１、および電荷保持部５２を包括する構成を、画像取得部１０１と呼んでもよい。

上述した図４は、画像取得部１０１が取得した画像信号に含まれる複数の画素の位置関係を示している。本実施の形態では、図４に示した通り、単板ベイヤー配列のイメージセンサを利用し、ラスタスキャン順に符号化・復号化処理を行う。また、以下の説明では、図４における中央部の太枠で囲まれて示されている２つの画素（B_i,j画素とR_i-1,j+1画素）の信号をそれぞれ符号化する処理を例に挙げて説明する。符号化処理の対象となる画素を「着目画素」とも呼ぶことがある。ここで、着目画素B_i,jは画素位置（ｉ，ｊ）におけるＢ画素の画素値を示し、着目画素R_i-1,j+1は画素位置（ｉ−１，ｊ＋１）におけるＲ画素の画素値を示している。

前述のように、符号化処理はラスタスキャン順に行う。そのため、Ｂ_i,j画素を符号化する際には、Ｂ_0,0， Ｂ_2,0， Ｂ_4,0， …， Ｂ_i-4,j， Ｂ_i-2,jの各Ｂ画素（図４における白色のＢ画素）はすでに符号化されている。一方、Ｂ_i+2,j以降のＢ画素（図４における斜線を記載したＢ画素）はまだ符号化が行われていない。同様に、Ｒ_i-1,j+1画素を符号化する際には、Ｒ_1,1， Ｒ_3,1， Ｒ_5,1， …， Ｒ_i-5,j+1， Ｒ_i-3,j+1の各Ｒ画素（図４における白色のＲ画素）はすでに符号化されている。Ｒ_i+1,j+1以降のＲ画素（図４における斜線を記載したＲ画素）はまだ符号化が行われていない。

差分検出部１０３は、着目画素であるＲ画素およびＢ画素（以下、「着目Ｒ／Ｂ画素」とも記述する。）近傍のＧ画素間の差分信号を計算し、着目画素に関する縦方向と横方向の相対的なエッジ強度を計算する（ステップＳ１０２）。B_i,j画素を符号化する際には、横方向のエッジ強度Ｅｈ（ｉ，ｊ）、および、縦方向のエッジ強度Ｅｖ（ｉ，ｊ）は、相対的に次式で計算される。

ここで、Gb_i+1,jは画素位置（ｉ＋１，ｊ）におけるＧ画素の画素値を、Gr_i,j+1は画素位置（ｉ，ｊ＋１）におけるＧ画素の画素値を示している。なお、エッジ強度は本来、（数１）と（数２）を２で除算することによって計算される。ただし本実施の形態の符号化システム１０では相対的なエッジ強度を取得できれば十分であるため、実装上の都合で２の除算を省略している。また、以下の説明においても、相対的なエッジ強度として、２の除算を省略して計算している。正確なエッジ強度を求める必要があれば２の除算を行ってもよい。

R_i-1,j+1画素を符号化する際には、横方向のエッジ強度Ｅｈ（ｉ−１，ｊ＋１）、および、縦方向のエッジ強度Ｅｖ（ｉ−１，ｊ＋１）は、相対的に次式で計算される。

次に、差分検出部１０３は、着目Ｒ／Ｂ画素に関する縦方向と横方向の相対的なエッジ強度値を利用して、着目Ｒ／Ｂ画素の各々と、近傍画素との差分信号を計算する（ステップＳ１０３）。たとえばB_i,j画素を符号化する際には、差分信号ＤＢ（ｉ，ｊ）は、Ｇ画素の（ｉ，ｊ）でのテーラー展開における１次微分項を利用することにより、次式で計算される。

ここで、B'_i-2,jは後述する通り、１つ前に符号化された画素位置（ｉ−２，ｊ）におけるＢ画素の復号化信号の画素値を示している。なお、処理開始直後や画像左端などにおいてはB'_i-2,j等に相当する符号化画素が存在しない場合がある。その場合には、所定の初期値（たとえば画素値０）を与えたり、差分値を利用せずに画素値そのものを送信すればよい。

なお、差分信号ＤＢ（ｉ，ｊ）は、次式の（数６）または（数７）で計算してもかまわない。

差分信号ＤＢ（ｉ，ｊ）を求めるために、（数５）の計算では（ｊ−３）行から（ｊ＋１）行までの５行分の画素値を格納するメモリが必要であったが、（数６）の計算では、（ｊ−２）行から（ｊ＋１）行まで４行分のメモリしか利用しない。（数６）を利用することで回路サイズを削減することができる。同様に、（数５）では（ｉ−３）列から（ｉ＋１）列まで５列分のメモリが必要であったが、（数７）では、（ｉ−２）列から（ｉ＋１）列まで４列分のメモリしか利用しない。（数７）を利用することで回路サイズを削減することができる。

また、R_i-1,j+1画素を符号化する際には、差分信号ＤＲ（ｉ−１，ｊ＋１）は、Ｇ画素の(i-1,j+1)でのテーラー展開における1次微分項を利用することにより、次式で計算される。

ここで、R'_i-3,j+1は後述する通り、画素位置（ｉ−３，ｊ＋１）におけるＲ画素の復号化信号画素値を示している。

なお、差分信号ＤＲ（ｉ−１，ｊ＋１）は、次式の（数９）または（数１０）で計算してもかまわない。

差分信号ＤＲ（ｉ−１，ｊ＋１）を計算するために、（数８）では（ｊ−２）行から（ｊ＋２）行まで５行分のメモリが必要であったが、（数９）では、（ｊ−１）行から（ｊ＋２）行まで４行分のメモリしか利用しない。（数９）を利用することで回路サイズを削減することができる。同様に、（数８）では（ｉ−４）列から（ｉ）列まで５列分のメモリが必要であったが、（数１０）では、（ｉ−３）列から（ｉ）列まで４列分のメモリしか利用しない。（数１０）を利用することで回路サイズを削減することができる。

本実施形態においては、上述のとおり計算された各差分信号は、たとえば１４ビット以上の情報量で表現される数値として得られる。

Ｒ／Ｂ差分符号化部１０４は、差分検出部１０３が計算した差分信号ＤＢ（ｉ，ｊ）、ＤＲ（ｉ−１，ｊ＋１）を圧縮符号化し、符号化差分信号ＤＢ’（ｉ，ｊ）、ＤＲ’（ｉ−１，ｊ＋１）を計算する（ステップＳ１０４）。

図５は、Ｒ／Ｂ差分符号化部１０４が利用する符号化／復号化テーブルの模式図である。例えば、入力値である差分信号の信号値が−１６以上１５以下の場合、圧縮せず、そのままの値を符号値として採用する。また、差分信号の信号値が７７である場合は符号値を２３とし、−１５５である場合は符号値を−３２とする。図５に示すテーブルを用いて差分信号の信号を符号値に割り当てる処理までが符号化処理である。図５の符号化／復号化テーブルを利用することにより、差分信号が小さい場合には符号化誤差が小さくなるように符号化される。よって、主観画質を保持しながら、圧縮率を向上させることが可能である。また、本実施の形態の符号化システム１０では、撮影時の分光感度特性が人間の視覚感度特性に最も近いＧ画素に関しては、符号化処理を行わないため、主観画質を低下させにくい圧縮が可能である。

符号化信号出力部１０５は、Ｒ／Ｂ差分符号化部１０４が符号化した符号化差分信号ＤＢ’（ｉ，ｊ）、ＤＲ’（ｉ−１，ｊ＋１）と近傍Ｇ画素間の差分信号を出力する（ステップＳ１０５）。

図５の符号化／復号化テーブルは−３２から３１の７ビットの符号値を利用している。元信号である画像の階調が１４ビットの場合、本実施の形態の符号化システム１０では、Ｒ／Ｂ画素は７ビットの信号値に符号化され、Ｇｒ／Ｇｂ画素は１４ビットの信号値に符号化される。そのため、（７＋７＋１４＋１４）／（１４＋１４＋１４＋１４）＝０．７５より、本実施の形態の符号化システム１０では、２５％の情報量の削減が可能である。

本実施の形態では、上述した符号化後の情報量の削減だけではなく、その途中において差分信号を求めることによっても情報量の削減を行っている。通常の値を取り扱うよりも差分値を取り扱う方が情報量を削減することが可能である。これは差分圧縮と呼ばれるように、圧縮処理の一つと言える。

次に、復号化装置２の各構成要素を詳細に説明する。

符号化信号受信部１０６は、符号化信号出力部１０５が出力した符号化信号およびＧ画素の差分信号を受信する（ステップＳ１０６）。

Ｒ／Ｂ復号部１０７は、符号化信号受信部１０６が受信したＲ／Ｂ画素の符号化差分信号ＤＢ’（ｉ，ｊ）、ＤＲ’（ｉ−１，ｊ＋１）を復号化し、復号化差分信号DBe_i,jとDRe_i-1,j+1を計算する（ステップＳ１０７）。Ｒ／Ｂ復号部１０７は、図５の符号化／復号化テーブルを利用してこの復号化処理を行う。符号化差分信号が−１６以上１５以下の場合、符号化による圧縮は行われていないため、そのままの値を復号化差分信号の値として採用する。また、符号値が２３である場合は７５を、符号値が−３２である場合は−１４０をそれぞれ復号化差分信号の値として採用する。

図５の符号化／復号化テーブルを利用することにより、差分信号が小さい場合には符号化誤差が小さくなるように符号化できる。そのため、本実施の形態の符号化システム１０では、主観画質を向上させた圧縮符号化を実現できる。

また、本実施の形態の符号化システム１０では、撮影時の分光感度特性が人間の視覚感度特性に最も近いＧ画素に関しては圧縮を行わない。これにより、主観画質を低下させにくい圧縮が可能である。

Ｒ／Ｂ復号部１０７は、ステップＳ１０２と同様に、着目Ｒ／Ｂ画素の近傍Ｇ画素間の差分信号を計算し、着目Ｒ／Ｂ画素に関する縦方向と横方向の相対的なエッジ強度を計算する（ステップＳ１０８）。B_i,j画素を復号化する際には、横方向のエッジ強度Ｅｈ（ｉ，ｊ）、および、縦方向のエッジ強度Ｅｖ（ｉ，ｊ）は、相対的に、（数１）、（数２）で計算される。また、R_i-1,j+1画素を符号化する際には、横方向のエッジ強度Ｅｈ（ｉ−１，ｊ＋１）、および、縦方向のエッジ強度Ｅｖ（ｉ−１，ｊ＋１）は、相対的に、（数３）、（数４）で計算される。

次に、Ｒ／Ｂ復号部１０７は、着目Ｒ／Ｂ画素に関する縦方向と横方向の相対的なエッジ強度値と、近傍画素間の差分信号とを利用して、Ｒ／Ｂ差分信号の復号値から、Ｒ／Ｂ画素信号を復号化する（ステップＳ１０９）。B_i,j画素信号を復号化する場合、復号化信号B'_i,jは次式で計算される。

なお、ステップＳ１０３において、差分信号ＤＢ（ｉ，ｊ）を（数６）、（数７）で計算した場合、それぞれ次の（数１２）、（数１３）により復号化信号B'_i,jを計算する。

R_i-1,j+1画素を復号化する際には、復号化信号R'_i-1,j+1は、次式で計算される。

また、ステップＳ１０３において、差分信号ＤＲ（ｉ−１，ｊ＋１）を（数９）、（数１０）で計算した場合、それぞれ次の（数１５）、（数１６）により復号化信号B'_i,jを計算する。

誤差推定部１０８は、Ｒ／Ｂ復号部１０７の復号情報を利用して、復号化信号の符号化誤差を推定する（ステップＳ１１０）。この処理は、図５の符号化／復号化テーブルを利用すればよい。図５より、符号化信号受信部１０６が受信したＲ／Ｂ画素の符号化信号が−１６以上１５以下の場合、本実施の形態の符号化処理により、符号化誤差は生じないことがわかる。また、Ｒ／Ｂ画素の符号化信号が−３１以上−１７以下または１６以上３０以下だった場合、最大４階調の符号化誤差が生じる可能性がある。さらに、Ｒ／Ｂ画素の符号化信号が−３２または３１だった場合、より大きな符号化誤差が生じる可能性がある。このように、Ｒ／Ｂ復号部１０７の情報から、符号化誤差を推定することができる。誤差推定部１０８が推定した誤差の情報は誤差情報として出力される。

画像復元部１０９は、誤差情報と、色相関情報を利用して、画像を復元する（ステップＳ１１１）。具体的には、画像復元部１０９は、復元処理を行う画素を、誤差推定部１０８が推定した誤差情報を利用して選択する。つまり、画像復元部１０９は、符号化誤差が生じていない画素に関しては復号化信号をそのまま出力する。そして、画像復元部１０９は、誤差が生じている画素のみに関して画像復元処理を行う。符号化誤差が生じている画素は、画像復元処理が有効な画素である。そのような画素に対してのみ処理を行うことができるため、従来の画像復元処理に比べて復元精度の高い処理が可能である。ここで、画像復元処理としては、非特許文献３に記載されているガイデッド・フィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ）を利用すればよい。

図６は、画像復元部１０９の復元処理の流れの詳細を示したフローチャートである。まず、画像復元部１０９は、圧縮されていないＧ画素を拡大することで、Ｒ／Ｂ画素位置のＧ画素値を推定する（ステップＳ２０１）。これは、バイリニア補間やバイキュービック補間などの公知の補間手法を利用すればよい。

次に、画像復元部１０９は、Ｇｕｉｄｅｄ ｆｉｌｔｅｒを利用してＲ／Ｂの復元画素値を計算する（ステップＳ２０２）。Ｇｕｉｄｅｄ ｆｉｌｔｅｒを用いる画像復元処理は、参照画像の画素値を利用することにより、高精度な画像補間が可能な手法である。画像復元部１０９は、圧縮誤差の生じていないＧ画像を参照画像とすることで、Ｒ／Ｂの復元画素値を計算する。

こうして求まった復元Ｒ／Ｂ画素値を復号化信号と比較し、その誤差が、誤差推定部１０８が推定した誤差範囲内かどうかを検出する（ステップＳ２０３）。例えば、符号化信号受信部１０６が受信した符号化信号が２７であった場合、元信号である差分信号の値は図５の符号化／復号化テーブルより１０４〜１１１と推定される。そこで復元画素値から求めた差分信号がこの範囲であった場合（ステップＳ２０３でＹｅｓ）、画像復元部１０９は復元画素値を復号化画素値とする（ステップＳ２０４）。一方、復元画素値から求めた差分信号がこの範囲外であった場合（ステップＳ２０３でＮｏ）、復号化画素値は変更しない（ステップＳ２０５）。ここで、B_i,j画素を復元する場合、復元差分信画像復元部１０９は次式で計算される。

ここで、B"_i,jは、画素位置（ｉ，ｊ）におけるＢ画素の復元画素値を示している。

また、R_i-1,j+1画素を符号化する際には、復元差分信号DR"(i-1,j+1)は次式で計算される。

ここで、R"_i-1,j+1は、画素位置（ｉ−１，ｊ＋１）におけるＲ画素の復元画素値を示している。

復号化信号出力部１１０は、画像復元部１０９で処理した復号化画像信号とＧ画像信号とを出力する（ステップＳ１１２）。

以上説明したように本実施の形態によると、撮影によって得られた画像信号のＧ画素の信号は圧縮せず、Ｒ／Ｂ画素の信号をＲ／Ｂ差分符号化部１０４によって圧縮符号化する。そして、Ｒ／Ｂ復号部１０７によって符号化信号を復号化した後、誤差推定部１０８によって、復号化信号の符号化誤差を推定し、画像復元部１０９によって推定した誤差情報と色相関情報を利用してＲ／Ｂ復号化画素の画像復元を行う。

本実施の形態の符号化システム１０は、人間の視覚特性に近いＧ画素に関しては圧縮せず、そのままの信号を出力することで、主観画質を低下させにくい圧縮符号化が可能である。さらに、符号化誤差が生じないため画質が高いＧ画素を利用してＲ／Ｂ復号化画素の画像復元を行うことにより、高効率でありながら、主観画質を低下させない符号化を実現できる。

以上の説明では、差分検出部１０３は、Ｇ画素から求めた着目画素に関する縦方向と横方向の相対的なエッジ強度値を利用して、近傍画素間の差分信号を計算するようにしたが、エッジ情報を利用しなくてもかまわない。この処理について説明する。B_i,j画素を符号化する際には、差分信号ＤＢ（ｉ，ｊ）は次式で計算される。

また、R_i-1,j+1画素を符号化する際には、差分信号ＤＲ（ｉ−１，ｊ＋１）は次式で計算される。

ところで、Ｒ／Ｂ差分符号化部１０４は、図５の符号化／復号化テーブルを利用したが、もちろん、別の符号化／復号化テーブルを利用して符号化してもかまわない。図７は、Ｒ／Ｂ差分符号化部１０４が利用する別の符号化／復号化テーブルの模式図を示している。この符号化／復号化テーブルでは、差分信号である入力信号の値が小さくなるほど、符号化誤差が小さくなるように符号化することが可能である。近傍画素との差分が大きいエッジ領域では、正確な階調を表現しなくても、主観的な画質劣化につながりにくい。そのため、このような符号化／復号化テーブルを利用することで、高効率でありながら、主観画質を低下させない符号化を実現できる。

もちろん、Ｒ／Ｂ差分符号化部１０４は、符号化／復号化テーブルを利用して符号化するのではなく、公知のエントロピー符号化手法を利用してもかまわない。エントロピー符号化手法としては、ハフマン符号化やランレングス符号化などを利用すればよい。また、Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ （ＰＣＭ）やＡｄａｐｔｉｖｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ（ＡＤＰＣＭ）のような公知の圧縮手法を利用してもかまわない。

また、画像復元部１０９は、Ｇｕｉｄｅｄ Ｆｉｌｔｅｒに限らず、彩度補正やノイズ除去、超解像、さらには画像修復（ｉｍａｇｅ ｉｎｐａｉｎｔｉｎｇ）などの公知の画像補正手法を利用して、画像復元を行うようにしてもかまわない。彩度補正処理を利用する場合、誤差推定部１０８によって、復号化信号の符号化誤差を推定し、誤差が閾値より大きいと推測された場合、対応する画素のＲ／Ｇ／Ｂ画素値を彩度が低くなるように補正すればよい。このような画像補正を行うことにより、符号化誤差により色ずれが生じ、主観画質が低下する問題を解決することが可能である。

また、以上の処理は、ベイヤー配列の画像に対する符号化・復号化について説明したが、符号化する入力画像の形式はベイヤー配列によるもの限られない。例えば、Ｙ／Ｃｂ／Ｃｒ形式のセンサによって撮像された画像に対しても、Ｙ画素のみは圧縮を行わないことで同等の処理が可能である。さらに、３板式センサによって撮像された画像に対しても、Ｇ画素のみは圧縮を行わないことで同等の処理が可能である。

また、以上の説明では、Ｒ／Ｂ符号化部１０２は差分情報を利用したが、差分情報を利用せず、輝度値そのものを図５の符号化／復号化テーブルを利用して、圧縮符号化してもかまわない。

（実施の形態２）
図８は、本実施の形態における符号化システム２０の構成を示すブロック図である。また、図９は、本実施の形態における符号化装置２１の処理の手順を示すフローチャートである。さらに、図１０は、本実施の形態における復号化装置２２の処理の手順を示すフローチャートである。図８、図９、図１０において、図１、図２、図３と同じ構成要素については同じ符号を用い、説明を省略する。

本実施の形態における符号化システム２０は、図１Ｂに示される符号化システム１０に代えて、図１Ａに示す撮像システム１００に組み込まれ得る。

符号化システム２０は、符号化装置２１と、復号化装置２２とを有する。

符号化装置２１は、画像取得部１０１と、Ｇ符号化部１１１と、Ｒ／Ｂ符号化部１０２と、符号化信号出力部１０５を備えている。Ｇ符号化部１１１は、Ｇ差分検出部１１２と、Ｇ差分符号化部１１３とを有する。Ｒ／Ｂ符号化部１０２は、差分検出部１１４と、Ｒ／Ｂ差分符号化部１１５とを有する。

復号化装置２２は、符号化信号受信部１０６と、Ｇ復号部１１６と、Ｒ／Ｂ復号部１１７と、誤差推定部１１８と、画像復元部１１９と、復号化信号出力部１１０を備えている。

本実施の形態の符号化システム２０では、撮影時の分光感度特性が人間の視覚感度特性に最も近いＧ画素の圧縮率を、Ｒ／Ｂ画素と比較して抑えているため、主観画質を保持しながら、圧縮率を向上させることが可能である。以下の説明では、Ｇｂ画素は圧縮せず、Ｇｒ／Ｒ／Ｂ画素のみを圧縮符号化する符号化システム２０を説明する。

以下、符号化装置２１の各構成要素を詳細に説明する。

画像取得部１０１は、光電変換部５１であるイメージセンサが受光した信号を電気信号に変換し、符号化装置２１に取り込む（ステップＳ１０１）。図１１は、画像取得部１０１が取得した画像信号の位置関係と符号化順を示した模式図である。図１１において、図４と同じ構成要素については同じ符号を用い、説明を省略する。イメージセンサは図１１に示した通り、単板ベイヤー配列のものを利用し、ラスタスキャン順に処理を行う。また、以下の説明では、図１１における中央部の太枠で囲まれて示されている３つの画素（Gr_i,j+1画素とB_i,j画素とR_i-1,j+1画素）の信号をそれぞれ符号化する処理を例に挙げて説明する。前述のように、符号化処理はラスタスキャン順に行うため、Gr_i,j+1画素を符号化する際には、Gr_0,1, Gr_2,1, Gr_4,1, …, Gr_i-4,j+1, Gr_i-2,j+1の各Ｇｒ画素(図１１における白色のＧｒ画素)はすでに符号化されており、Gr_i+2,j+1以降のＧｒ画素(図１１における斜線を記載したＧｒ画素)はまだ符号化が行われていない。

Ｇ差分検出部１１２は、着目Ｇｒ画素近傍のＧｂ画素間の差分信号を計算し、着目画素の相対的なエッジ強度を計算する（ステップＳ１１３）。Gr_i,j+1画素を符号化する際には、エッジ強度Ｅ１（ｉ，ｊ＋１）、およびＥ２（ｉ，ｊ＋１）は、相対的に、次式で計算される。

次に、Ｇ差分検出部１１２は、着目Ｇｒ画素のエッジ強度値を利用して、近傍画素との差分信号を計算する（ステップＳ１１４）。Gr_i,j+1画素を符号化する際には、差分信号ＤＧｒ（ｉ，ｊ＋１）は、次式で計算される。

Ｇ差分符号化部１１３は、Ｇ差分検出部１１２が計算した差分信号ＤＧｒ（ｉ，ｊ＋１）を符号化し、符号化差分信号ＤＧｒ’（ｉ，ｊ＋１）を計算する（ステップＳ１１５）。図１２は、Ｇ差分符号化部１１３が利用する符号化／復号化テーブルの模式図である。例えば、入力値である差分信号の信号値が−３２以上３１以下の場合、圧縮せず、そのままの値を符号値として採用する。また、差分信号の信号値が７６である場合は符号値を４３とし、−１７０である場合は符号値を−６４とする。図１２に示すテーブルを用いて差分信号の信号を符号値に割り当てる処理までが符号化処理である。図１２の符号化／復号化テーブルを利用することにより、差分信号が小さい場合には符号化誤差が生じないように符号化される。よって、主観画質を保持しながら、圧縮率を向上させることが可能である。また、Ｇｂ画素に関しては、圧縮を行わず、そのままの信号を送付することで、主観画質を低下させにくい圧縮が可能である。

次に、差分検出部１１４は、着目Ｒ／Ｂ画素近傍の符号化Ｇｒ画素間とＧｂ画素間の差分信号を計算し、着目画素に関する縦方向と横方向の相対的なエッジ強度を計算する（ステップＳ１１６）。B_i,j画素を符号化する際には、横方向のエッジ強度Ｅｈ（ｉ，ｊ）、および、縦方向のエッジ強度Ｅｖ（ｉ，ｊ）は、相対的に、次式で計算される。

また、R_i-1,j+1画素を符号化する際には、横方向のエッジ強度Ｅｈ（ｉ−１，ｊ＋１）、および、縦方向のエッジ強度Ｅｖ（ｉ−１，ｊ＋１）は、相対的に、次式で計算される。

次に、差分検出部１１４は、着目Ｒ／Ｂ画素に関する縦方向と横方向の相対的なエッジ強度値を利用して、着目Ｒ／Ｂ画素における近傍画素との差分信号を計算する（ステップＳ１１７）。B_i,j画素を符号化する際には、差分信号ＤＢ（ｉ，ｊ）は、次式で計算される。

なお、差分信号ＤＢ（ｉ，ｊ）は、次式の（数２９）または（数３０）で計算してもかまわない。

差分信号ＤＢ（ｉ，ｊ）を計算するために、（数２８）では（ｊ−３）行から（ｊ＋１）行まで５行分のメモリが必要であった。しかしながら（数２９）では、（ｊ−２）行から（ｊ＋１）行まで４行分のメモリしか利用しない。そのため、（数２９）を利用することで回路サイズを削減することができる。同様に、（数２８）では（ｉ−３）列から（ｉ＋１）列まで５列分のメモリが必要であったが、（数３０）では、（ｉ−２）列から（ｉ＋１）列まで４列分のメモリしか利用しない。そのため、（数３０）を利用することで回路サイズを削減することができる。

また、R_i-1,j+1画素を符号化する際には、差分信号ＤＲ（ｉ−１，ｊ＋１）は、次式で計算される。

なお、差分信号ＤＲ（ｉ−１，ｊ＋１）は、次式の（数３２）または（数３３）で計算してもかまわない。

差分信号ＤＲ（ｉ−１，ｊ＋１）を計算するために、（数３１）では（ｊ−２）行から（ｊ＋２）行まで５行分のメモリが必要であったが、（数３２）では、（ｊ−１）行から（ｊ＋２）行まで４行分のメモリしか利用しない。そのため、（数３２）を利用することで回路サイズを削減することができる。同様に、（数３１）では（ｉ−４）列から（ｉ）列まで５列分のメモリが必要であったが、（数３３）では、（ｉ−３）列から（ｉ）列まで４列分のメモリしか利用しない。そのため、（数３３）を利用することで回路サイズを削減することができる。

Ｒ／Ｂ差分符号化部１１５は、差分検出部１１４が計算した差分信号ＤＢ（ｉ，ｊ）、ＤＲ（ｉ−１，ｊ＋１）を符号化し、符号化差分信号ＤＢ’（ｉ，ｊ）、ＤＲ’（ｉ−１，ｊ＋１）を計算する（ステップＳ１０４）。符号化には図５の符号化／復号化テーブルを利用すればよい。

ところで、Ｇ画素の符号化に利用する図１２の符号化／復号化テーブルは−６４から６３の８ビットで表現できる情報量を割り当てて符号化する一方、Ｒ／Ｂ画素の符号化に利用する図５の符号化／復号化テーブルは−３２から３１の７ビットで表現できる情報量を割り当てている。つまり、Ｇ画素の圧縮率は、Ｒ／Ｂに比べて、圧縮率を低く抑えている。Ｇ画素は人間の視覚特性に最も影響が大きいため、このように圧縮率をＧ／Ｒ／Ｂで変更することで、主観画質を低下させにくい圧縮符号化が可能である。

ここで、図１２のＧｒに対する符号化／復号化テーブルは−６４から６３の８ビットを利用し、図５のＲ／Ｂに対する符号化／復号化テーブルは−３２から３１の７ビットを利用している。元信号である画像の階調が１４ビットの場合、本実施の形態の符号化システム２０では、Ｒ／Ｂ画素７ビット、Ｇｒ画素８ビット、Ｇｂ画素１４ビットのデータ量となるため、（７＋７＋８＋１４）／（１４＋１４＋１４＋１４）＝０．６４より、３６％のデータ削減が可能である。

符号化信号出力部１０５は、Ｇ差分符号化部１１３とＲ／Ｂ差分符号化部１１５が符号化した符号化信号とＧｂ画素値を出力する（ステップＳ１０５）。

次に、復号化装置２２の各構成要素を詳細に説明する。

符号化信号受信部１０６は、符号化信号出力部１０５が出力した符号化信号を受信する（ステップＳ１０６）。

Ｇ復号部１１６は、符号化信号受信部１０６が受信したＧｒ画素の符号化差分信号を復号化し、復号化差分信号ＤＧｒｅ_i,j+1を計算する（ステップＳ１１８）。この処理は、図１２の符号化／復号化テーブルを利用すればよい。例えば、入力値である符号値が−３２以上３１以下の場合、符号化による圧縮は行われていないため、そのままの値を復号化差分信号の値として採用する。また、符号値が４３である場合は７７を、符号値が−６４である場合は−１５８をそれぞれ復号化差分信号の値として採用する。

図１２の符号化／復号化テーブルを利用することにより、差分信号が小さい場合には符号化誤差が生じないように符号化できるため、主観画質を保持しながら、圧縮率を向上させることが可能である。また、Ｇｂ画素に関しては、圧縮を行っていないため、主観画質を低下させにくい圧縮が可能である。

Ｇ復号部１１６は、ステップＳ１１３と同様に、着目Ｇｒ画素の近傍Ｇｂ画素間の差分信号を計算し、着目Ｇｒ画素の相対的なエッジ強度を計算する（ステップＳ１１９）。Gr_i,j+1画素を符号化する際には、エッジ強度Ｅ１（ｉ，ｊ＋１）、およびＥ２（ｉ，ｊ＋１）は、相対的に、（数２１）、（数２２）で計算される。

次に、Ｇ復号部１１６は、着目Ｇｒ画素のエッジ強度値と、近傍画素間の差分信号を利用して、復号化した差分信号から、Ｇｒ画素信号を復号化する（ステップＳ１２０）。Gr_i,j+1画素信号を復号化する場合、復号化信号Gr'_i,j+1は、次式で計算される。

Ｒ／Ｂ復号部１１７は、符号化信号受信部１０６が受信したＲ／Ｂ画素の符号化差分信号を復号化し、復号化差分信号DBe_i-1,j+1とDRe_i-1,j+1を計算する（ステップＳ１０７）。これは、図５の符号化／復号化テーブルを利用すればよい。

Ｒ／Ｂ復号部１１７は、ステップＳ１１６と同様に、着目Ｒ／Ｂ画素近傍の符号化されたＧｒ画素間の差分信号とＧｂ画素間の差分信号とを計算し、着目画素に関する縦方向と横方向の相対的なエッジ強度を計算する（ステップＳ１２１）。B_i,j画素を復号化する際には、横方向のエッジ強度Ｅｈ（ｉ，ｊ）、および、縦方向のエッジ強度Ｅｖ（ｉ，ｊ）は、相対的に、（数２４）、（数２５）で計算される。また、R_i-1,j+1画素を符号化する際には、横方向のエッジ強度Ｅｈ（ｉ−１，ｊ＋１）、および、縦方向のエッジ強度Ｅｖ（ｉ−１，ｊ＋１）は、相対的に、（数２６）、（数２７）で計算される。

次に、Ｒ／Ｂ復号部１１７は、着目画素のエッジ強度値と、近傍画素間の差分信号を利用して、Ｒ／Ｂ差分信号の復号値から、Ｒ／Ｂ画素信号を復号化する（ステップＳ１２２）。B_i,j画素信号を復号化する場合、復号化信号B'_i,jは、次式で計算される。

なお、ステップＳ１１７において、差分信号ＤＢ（ｉ，ｊ）を（数２９）、（数３０）で計算した場合、それぞれ次の（数３６）、（数３７）により復号化信号B'_i,jを計算する。

また、R_i-1,j+1画素を復号化する際には、復号化信号R'_i-1,j+1は、次式で計算される。

なお、ステップＳ１１７において、差分信号ＤＲ（ｉ−１，ｊ＋１）を（数３２）、（数３３）で計算した場合、それぞれ次の（数３９）、（数４０）により復号化信号R'_i-1,j+1を計算する。

誤差推定部１１８は、Ｇ復号部１１６とＲ／Ｂ復号部１１７の復号情報を利用して、復号化信号の符号化誤差を推定する（ステップＳ１２３）。この処理は、図１２および図５の符号化／復号化テーブルを利用すればよい。図１２より、符号化信号受信部１０６が受信したＧｒ画素の符号化信号が−３２以上３１以下だった場合、本実施の形態の符号化処理により、符号化誤差は生じないことがわかる。また、Ｇｒ画素の符号化信号が−６３以上−３３以下または３２以上６２以下だった場合、最大４階調の符号化誤差が生じる可能性がある。さらに、Ｇｒ画素の符号化信号が−６４または６３だった場合、より大きな符号化誤差が生じる可能性がある。このように、Ｇ復号部１１６の復号情報から、Ｇｒ画素の符号化誤差を推定することが可能である。同様に、図５より、符号化信号受信部１０６が受信したＲ／Ｂ画素の符号化信号が−１６以上１５以下だった場合、本実施の形態の符号化処理により、符号化誤差は生じないことがわかる。また、Ｒ／Ｂ画素の符号化信号が−３１以上−１７以下または１６以上３０以下だった場合、最大４階調の符号化誤差が生じる可能性がある。さらに、Ｒ／Ｂ画素の符号化信号が−３２または３１だった場合、より大きな符号化誤差が生じる可能性がある。このように、Ｒ／Ｂ復号部１１７の復号情報から、Ｒ／Ｂ画素の符号化誤差を推定することが可能である。誤差推定部１１８が推定した誤差の情報は誤差情報として出力される。

画像復元部１１９は、誤差情報と色相関情報を利用して、画像を復元する（ステップＳ１２４）。この処理には、ステップＳ１１１同様、Ｇｕｉｄｅｄ ｆｉｌｔｅｒを利用すればよい。

復号化信号出力部１１０は、画像復元部１１９で処理を行った復号画像信号を出力する（ステップＳ１１２）。

以上説明したように本実施の形態によると、画像取得部１０１によって得られた画像信号に対し、Ｇｂ画素は圧縮せず、Ｇｒ／Ｒ／Ｂ画素のみをＧ差分符号化部１１３およびＲ／Ｂ差分符号化部１１５によって圧縮符号化する。そしてＧ復号部１１６およびＲ／Ｂ復号部１１７で符号化信号を復号化した後、誤差推定部１１８によって、復号化信号の符号化誤差を推定し、画像復元部１１９によって推定した誤差情報と色相関情報を利用してＧｒ／Ｒ／Ｂ復号化画素の画像復元を行う。人間の視覚特性に近いＧ画素に関しては、Ｒ／Ｂ画素と比較し、圧縮率を抑えているため、主観画質を低下させにくい圧縮が可能である。さらに、Ｒ／Ｂ画素と比較して符号化誤差が小さいＧ画素を利用してＲ／Ｇ／Ｂ復号化画素の画像復元を行うことにより、高効率でありながら、主観画質を低下させない符号化を実現できる。

以上の説明では、差分検出部１０３は、Ｇ画素から求めた着目画素に関する縦方向と横方向の相対的なエッジ強度値を利用して、近傍画素間の差分信号を計算するようにしたが、エッジ情報を利用しなくてもかまわない。この処理について説明する。B_i,j画素を符号化する際には、差分信号ＤＢ（ｉ，ｊ）は、次式で計算される。

また、R_i-1,j+1画素を符号化する際には、差分信号ＤＲ（ｉ−１，ｊ＋１）は、次式で計算される。

以上の説明では、Ｇ画素の符号化において、Ｇｂ画素を圧縮せずＧｒ画素のみを圧縮したが、もちろん、Ｇｒ画素を圧縮せず、Ｇｂ画素のみを圧縮してもかまわない。

また、符号化装置は、Ｇ画素に関する差分信号を出力し、復号化装置はその差分信号を取得すると説明したが、これは一例である。符号化装置は、Ｇ画素に関する差分信号ではなく、そのままの信号（全信号）を出力してもよい。そして復号化装置は、その全信号を取得すればよい。差分信号を用いないため、Ｇ画素に関する処理では情報量の削減効果が失われるが、その代わり、差分演算に要する演算処理時間を削減できる。

また、以上の説明では、Ｇ符号化部１１１は差分情報を利用したが、差分情報を利用せず、輝度値そのものを図１２の符号化／復号化テーブルを利用して、圧縮符号化してもかまわない。

本発明の一実施形態にかかる符号化システムは、主観的な符号化誤差を減少させることができるため、高効率な圧縮処理を実現するために有用である。

１０１ 画像取得部
１０２ Ｒ／Ｂ符号化部
１０３ 差分検出部
１０４ Ｒ／Ｂ差分符号化部
１０５ 符号化信号出力部
１０６ 符号化信号受信部
１０７ Ｒ／Ｂ復号部
１０８ 誤差推定部
１０９ 画像復元部
１１０ 復号化信号出力部
１１１ Ｇ符号化部
１１２ Ｇ差分検出部
１１３ Ｇ差分符号化部
１１４ 差分検出部
１１５ Ｒ／Ｂ差分符号化部
１１６ Ｇ復号部
１１７ Ｒ／Ｂ復号部
１１８ 誤差推定部
１１９ 画像復元部

Claims (11)

1. 画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムであって、
   前記符号化装置は、
   前記画像信号を取得する画像取得部と、
   前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化し、それぞれを符号化信号として出力するＲ／Ｂ符号化部と、
   前記Ｒ／Ｂ符号化部が出力した各符号化信号を出力する符号化信号出力部と
   を備え、
   前記復号化装置は、
   前記各符号化信号を受信する符号化信号受信部と、
   前記符号化信号受信部によって受信された前記各符号化信号を復号化して、各復号化信号を生成するＲ／Ｂ復号部と、
   前記画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、
   前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、
   前記画像復元部によって復元された画像を出力する復号化信号出力部と
   を備えた符号化システム。
2. 画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムであって、
   前記符号化装置は、
   前記画像信号を取得する画像取得部と、
   前記画像取得部によって取得された前記画像信号のうち、複数の赤画素の画像信号および複数の青画素の画像信号を所定の圧縮率で圧縮して符号化し、それぞれの符号化信号を生成するＲ／Ｂ符号化部と、
   前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を前記所定の圧縮率よりも低い圧縮率で圧縮して符号化し、符号化信号を生成するＧ符号化部と、
   前記Ｒ／Ｂ符号化部および前記Ｇ符号化部によって生成された各符号化信号を出力する符号化信号出力部とを備え、
   前記復号化装置は、
   前記各符号化信号を受信する符号化信号受信部と、
   前記符号化信号受信部によって受信された、緑画素に関する符号化信号を復号化して復号化信号を生成するＧ復号部と、
   前記符号化信号受信部によって受信された、赤画素および青画素に関する各符号化信号を復号化して、各復号化信号を生成するＲ／Ｂ復号部と、
   前記画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、
   前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、
   前記画像復元部によって復元された画像を出力する復号化信号出力部と
   を備えた、符号化システム。
3. 前記Ｇ符号化部は、
   前記画像取得部によって取得された前記画像信号の着目緑画素と近傍画素との差分信号を検出するＧ差分検出部と、
   前記差分信号を利用して、前記複数の緑画素の画像信号を圧縮して符号化するＧ差分符号化部と
   を備えている、請求項２に記載の符号化システム。
4. 前記複数の緑画素は、第１の緑画素および第２の緑画素を含んでおり、
   前記Ｇ符号化部は、前記第１の緑画素の画像信号を圧縮して符号化し、前記第２の緑画素の画像信号を非圧縮で符号化する、請求項２または３に記載の符号化システム。
5. 前記Ｒ／Ｂ符号化部は、
   前記画像取得部によって取得された前記画像信号の着目画素と近傍画素との差分である差分信号を検出する差分検出部と、
   前記差分信号を利用して、前記複数の緑画素の画像信号を非圧縮で符号化し、前記複数の赤画素の画像信号および前記複数の青画素の画像信号を圧縮して符号化するＲ／Ｂ差分符号化部と
   を備えている、請求項１から４のいずれかに記載の符号化システム。
6. 前記Ｇ符号化部は、前記第１の緑画素の画像信号を１行または１列ごとに圧縮して符号化する、請求項４に記載の符号化システム。
7. 前記画像復元部は、ガイデッド・フィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ）を利用して前記画像を復元する、請求項１または２に記載の符号化システム。
8. 画像信号を取得する画像取得部と、
   前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化し、それぞれを符号化信号として出力するＲ／Ｂ符号化部と、
   前記Ｒ／Ｂ符号化部から出力された各符号化信号を出力する符号化信号出力部と
   を備えた符号化装置。
9. 画像信号を取得する画像取得部と、
   前記画像取得部によって取得された前記画像信号のうち、複数の赤画素の画像信号および複数の青画素の画像信号を所定の圧縮率で圧縮して符号化し、それぞれの符号化信号を生成するＲ／Ｂ符号化部と、
   前記画像取得部によって取得された前記画像信号のうち、複数の緑画素の画像信号を前記所定の圧縮率よりも低い圧縮率で圧縮して符号化し、符号化信号を生成するＧ符号化部と、
   前記Ｒ／Ｂ符号化部および前記Ｇ符号化部によって生成された各符号化信号を出力する符号化信号出力部と
   を備えた符号化装置。
10. 符号化装置から、緑画素、赤画素および青画素のそれぞれに関する符号化信号を受信する符号化信号受信部であって、前記緑画素に関する符号化信号は、複数の緑画素の画像信号を非圧縮で符号化した信号であり、前記赤画素および青画素のそれぞれに関する符号化信号は、複数の赤画素の画像信号および複数の青画素の画像信号を圧縮して符号化した信号である、符号化信号受信部と、
    前記符号化信号受信部によって受信された前記各符号化信号を復号化して各復号化信号を生成するＲ／Ｂ復号部と、
    前記符号化装置によって符号化される前の画像信号と前記Ｒ／Ｂ復号部によって生成された前記各復号化信号との誤差を推定する誤差推定部と、
    前記誤差推定部によって推定された誤差情報、および色相関を利用して画像を復元する画像復元部と、
    前記画像復元部によって復元された画像を出力する復号化信号出力部と
    を備えた、復号化装置。
11. 画像信号を符号化した符号化信号を出力する符号化装置と、前記符号化信号を復号化する復号化装置とを備えた符号化システムにおける符号化および復号化方法であって、
    前記符号化装置を用いて、
    前記画像信号を取得し、
    取得された前記画像信号のうち、複数の緑画素の画像信号を非圧縮で符号化し、
    複数の赤画素の画像信号および複数の青画素の画像信号をそれぞれ圧縮して符号化し、
    符号化された各符号化信号を出力し、
    前記復号化装置を用いて、
    前記各符号化信号を受信し、
    受信された前記各符号化信号を復号化して、各復号化信号を生成し、
    前記画像信号と前記各復号化信号との誤差を推定し、
    推定された誤差情報、および色相関を利用して画像を復元し、
    復元された前記画像を出力する、
    符号化および復号化方法。

Images