JP2009194760A - 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム - Google Patents

Abstract

【課題】符号化対象／復号化対象の画素近傍において、画素間の相関度が最も高いと判断できるエッジの方向性を、複数の方向性の候補から検出し、この検出した方向に隣接する画素を予測画素とすることで、予測効率を向上し、符号化効率／復号化効率を向上する。
【解決手段】画素値予測部１１は、入力ベイヤ配列信号のうち、符号化対象の画素の周辺に位置する、既に符号化済みの１１個の画素のうち、水平方向、垂直方向、左斜め方向、右斜め方向の４つ方向に配置されている３つの画素ペアのそれぞれについて画素値差の絶対値和を求める。画素値予測部１１は、更にその絶対値和のうち最小の絶対値和を示した方向のうち最も符号化対象の画素に近い１つの画素を予測画素として決定する。予測誤差計算部１２は、上記の予測誤差と符号化対象の画素との差分値を求める。ハフマン符号化部１３は、上記の差分値をハフマン符号化する。
【選択図】図１

Description

本発明は画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラムに係り、特に固体撮像素子で撮像された撮像信号を圧縮符号化する画像符号化装置及び画像符号化プログラム、並びに符号化画像信号を伸張処理して復号する画像復号化装置及び画像復号化プログラムに関する。

近年、デジタルカメラやデジタルビデオカメラが爆発的に普及し、それらの高性能化・高精細化も進行している。一方で、パーソナルコンピュータ（ＰＣ）の処理能力の向上や記録デバイス・媒体の価格の大幅ダウンによって、画像のファイルサイズが大きくなることによる制約は以前と比較して大きな問題でなくなりつつある。また、カメラ上級者や専門家は、ＰＣ上での高度な編集作業を行うために撮像素子で撮像されたままの画像を処理できるような環境を求めている。

このような背景から、デジタルカメラの高級機などは、撮像して得た三原色信号を同時化し、更にマトリクス処理によるＹＣｂＣｒ変換を経てＪＰＥＧ(Joint Photographic Experts Group)などのフォーマットで符号化したファイルとして最終的に出力するモードのみでなく、ＲＡＷ記録モードも装備している。このＲＡＷ記録モードは、三原色（ＲＧＢ）のベイヤ配列の色フィルタを設けた固体撮像素子から出力した撮像信号を、そのまま可逆もしくは準可逆のデジタル信号（ＲＡＷデータ）として記録媒体に記録するモードである。ＲＡＷ記録モードは、三原色信号の同時化、及びマトリクス処理のプロセスを経ないため、撮像時の情報を漏れなく記録できるという特長がある。

従来、このＲＡＷ記録モードに関連した提案がなされている（例えば、特許文献１、２参照）。上記特許文献１は、固体撮像素子から出力した撮像信号をＡＤ変換した後、可逆的なデータ圧縮を行って得たＲＡＷデータを記憶手段に一旦記憶し、その記憶手段から所定量毎に読み出したＲＡＷデータを伸張して信号処理してから可逆的なデータ圧縮又は非可逆的なデータ圧縮を行った後に記録媒体に記録するデータ圧縮・記録方法を開示している。

また、上記特許文献２は、ＲＡＷデータを上位ビットと下位ビットとに分離し、上位ビットのＲＡＷデータはハフマン符号化し、下位ビットのＲＡＷデータは所定データ単位にパックし、これらの符号化データ及びパックデータをメモリに格納することで効率的に処理する画像処理方法を開示している。

特許第３０９５５０７号公報 特開２００１−６０８７６号公報

しかし、上記したようなＲＡＷデータに対して高圧縮率を得るためにＭＰＥＧ(Moving Picture Experts Group)やＪＰＥＧなどのＤＣＴ(Discrete Cosine Transform)を用いた符号化技術を用いた圧縮を行おうとすると、ＲＡＷデータはその性質上、隣接する画素間の相関が比較的弱いので、特に高精細画像の場合は、メモリの多用が必要である上、処理時間が問題になり、動画処理が困難となる。

また、符号化処理のためのメモリの記憶容量を最小限にした、例えばラスタースキャンによる画素単位の可逆符号化を行う場合は、現状多くの場合に行われているような、固定方法（例えば画面の右、上など）の予測を用いた符号化では、符号化効率が大きく劣ってしまう。

本発明は以上の点に鑑みなされたもので、符号化対象／復号化対象の画素近傍において、画素間の相関度が最も高いと判断できるエッジの方向性を、複数の方向性の候補から検出し、この検出した方向に隣接する画素を予測画素とすることで、予測効率を向上でき、符号化効率／復号化効率を向上できる画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラムを提供することを目的とする。

また、本発明の他の目的は、最も相関度が高く符号化時に用いられた可能性の高い予測画素を決定することで、復号化効率を向上できる画像復号化装置及び画像復号化プログラムを提供することにある。

上記の目的を達成するため、第１の発明の画像符号化装置は、入力された撮像信号の各画素のうち、符号化対象の画素の近傍に位置する既に符号化済みの画素で、かつ、符号対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算し、それらの評価値の中で最も値が小である評価値に対応する方向に符号化対象の画素と隣接する位置の画素を予測画素として決定する画素値予測手段と、決定した予測画素の値と符号化対象の画素の値との差分値である予測誤差を計算する予測誤差計算手段と、予測誤差計算手段により計算された予測誤差を圧縮符号化してビットストリームを生成する符号化手段とを有することを特徴とする。

また、上記の目的を達成するため、第２の発明の画像符号化プログラムは、撮像信号の符号化をコンピュータにより実行させる画像符号化プログラムであって、上記コンピュータに、
入力された撮像信号の各画素のうち、符号化対象の画素の近傍に位置する既に符号化済みの画素で、かつ、符号対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算する第１のステップと、第１のステップで計算して得た評価値の中で最も値が小である評価値に対応する方向に符号化対象の画素と隣接する位置の画素を予測画素として決定する第２のステップと、第２のステップで決定した予測画素の値と符号化対象の画素の値との差分値である予測誤差を計算する第３のステップと、第３のステップにより計算された予測誤差を圧縮符号化してビットストリームを生成する第４のステップとを実行させることを特徴とする。

第１及び第２の発明によれば、符号化対象の画素の近傍のエッジの方向性を、複数の方向性の候補から検出し、この検出した方向に隣接する画素を予測画素とする。

また、上記の目的を達成するため、第３の発明の画像復号化装置は、可逆圧縮符号化された画像信号を復号する画像復号化装置であって、画像信号を伸張処理して、符号化されている予測画素の値と復号化対象の画素の値との差分値を画素毎に得る復号化手段と、復号化手段から出力された画素毎の差分値を入力として受け、復号化対象の画素の近傍に位置する既に復号化済みの画素で、かつ、復号化対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の差分値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算し、それらの評価値の中で最も値が小である評価値に対応する方向に復号化対象の画素と隣接する位置の画素を予測画素として決定する予測誤差計算手段と、予測誤差計算手段により計算された予測画素の値と、復号化手段から出力された差分値とを加算して復号化対象の画素の値を復号する画素値計算手段とを有することを特徴とする。

更に、上記の目的を達成するため、第４の発明の画像復号化プログラムは、可逆圧縮符号化された画像信号を復号する画像復号化をコンピュータにより実行させる画像復号化プログラムであって、上記コンピュータに、
画像信号を伸張処理して、符号化されている予測画素の値と復号化対象の画素の値との差分値を画素毎に得る第１のステップと、画素毎の差分値を入力として受け、復号化対象の画素の近傍に位置する既に復号化済みの画素で、かつ、復号化対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の差分値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算する第２のステップと、第２のステップで計算した評価値の中で最も値が小である評価値に対応する方向に復号化対象の画素と隣接する位置の画素を予測画素として決定する第３のステップと、第３のステップにより計算された予測画素の値と、復号化手段から出力された差分値とを加算して復号化対象の画素の値を復号する第４のステップとを実行させることを特徴とする。第３及び第４の発明によれば、最も相関度が高く符号化時に用いられた可能性の高い予測画素を決定できる。

本発明によれば、符号化対象／復号化対象の画素近傍において、画素間の相関度が最も高いと判断できるエッジの方向性を、複数の方向性の候補から検出し、この検出した方向に隣接する画素を予測画素とすることで、予測効率を向上でき、符号化効率／復号化効率を向上できる。

また、本発明の画像復号化装置及び画像復号化プログラムによれば、最も相関度が高く符号化時に用いられた可能性の高い予測画素を決定できるので、復号化効率を向上できる。

次に、本発明の実施の形態について図面と共に詳細に説明する。

図１は、本発明になる画像符号化装置の一実施の形態のブロック図を示す。本実施の形態は、ベイヤ配列の色フィルタを設けた固体撮像素子から出力した撮像信号の可逆（ロスレス）もしくは準可逆（ニアロスレス）での圧縮符号化を行う装置であり、画素値予測部１１、予測誤差計算部１２、及びハフマン符号化部１３からなる。

ここで、上記のベイヤ配列の色フィルタは、赤色光を透過させる１画素の赤色フィルタ部Ｒと、緑色光を透過させる１画素の緑色フィルタ部Ｇと、青色光を透過させる１画素の青色フィルタ部Ｂとが、図２に模式的に示すように配置された構成である。図２に示すベイヤ配列の色フィルタは、上記の色フィルタ部Ｒ，Ｇ，Ｂのうち、輝度信号の寄与する割合の高い緑色光を透過させる緑色フィルタ部Ｇを市松状に配置し、残りの箇所に赤色フィルタ部Ｒと青色フィルタ部Ｂとを市松状に配置した構成である。

次に、本実施の形態の動作について、図３のフローチャート等を併せ参照して説明する。上記のベイヤ配列の色フィルタを設けた固体撮像素子により撮像され、例えば画面の左上から右下方向に、かつ、左から右方向に順に走査する一般的なラスタースキャン順に出力された撮像信号は、公知の信号処理によりディジタル信号であるＲＡＷデータ（これを以下、「ベイヤ配列信号」という）とされて図１の符号化装置の入力端子１０に入力される（ステップＳ１）。

画素値予測部１１は、入力端子１０を介して上記のベイヤ配列信号を入力として受け、入力されたベイヤ配列信号の画素信号が、前記色フィルタのどの色フィルタ部からの原色信号（以下、図２に示した色フィルタ部Ｒ，Ｇ，Ｂを透過して得た赤色信号、緑色信号、青色信号も説明の便宜上、Ｒ，Ｇ，Ｂと記すものとする）であるかを色フィルタ部の座標位置に基づいて判別する（ステップＳ２）。

続いて、画素値予測部１１は、入力ベイヤ配列信号が赤色信号Ｒ又は青色信号Ｂであると判別した時は、予測に用いるＲ／Ｂ用の画素を決定し（ステップＳ３）、緑色信号Ｇであると判別した時は、予測に用いるＧ用の画素を決定する（ステップＳ４）。このように別の方法で予測に用いる画素（以下、これを「予測画素」ともいう）を決定するのは、入力信号がベイヤ配列であるためＲ／ＢとＧでは、図２に示したように画素の並び方が異なることによる。ただし、予測画素近傍の画素値の変化を測定して、その変化が少ない方向の（エッジに沿った方向の）画素値を使って予測するという基本的な考え方は、同一である。ステップＳ３、Ｓ４の処理は、どちらも各方向性について複数（ここでは３つ）の画素値ペアを用いてエッジの方向性の判定の信頼性を確保した処理であることが特徴である。

次に、ステップＳ３、Ｓ４の予測に用いる画素の決定方法について詳細に説明する。

（１）予測に用いるＲ／Ｂ用の画素の決定方法（ステップＳ３）
予測に用いるＲ／Ｂ用の画素は、符号化対象のＲ／Ｂ画素を図４に示すｘｙ座標位置（ｉ，ｊ）の斜線で示す１画素とすると、図４に白丸で示す１１画素である。なお、Ｒ画素及びＢ画素の処理方法は、全く同一であるので、図４及び後述する図５〜図８では、説明の便宜上Ｒ画素について代表して説明する。

上記の１１画素は、斜線で示すこれから符号化する符号化対象のＲ／Ｂ画素の周辺に位置する、既に符号化済みのＲ／Ｂ画素である。すなわち、これから符号化する符号化対象のＲ画素の座標位置（ｉ，ｊ）に対して、２行上の座標位置(i-4,j-4)〜(i+4,j-4)の符号化済みの５つのＲ画素と、１行上の座標位置(i-4,j-2)〜(i+2,j-2)の符号化済みの４つのＲ画素と、同じ行の左側の座標位置(i-4,j)、(i-2,j)の符号化済みの２つのＲ画素である。

画素値予測部１１は、まず、上記の１１画素のうち、図５〜図８に示す４方向の３つの画素ペアの画素値差の絶対値和をそれぞれ求める。図５に示す破線の楕円１ａ、２ａ、３ａでそれぞれ囲まれた３つの画素ペアの画素値差の絶対値和は、楕円１ａで囲まれた水平方向に隣接する座標位置(i-4,j-2)と(i-2,j-2)の２つのＲ画素（画素ペア）の第１の画素値差の絶対値と、楕円２ａで囲まれた水平方向に隣接する座標位置(i-2,j-2)と(i,j-2)の２つのＲ画素（画素ペア）の第２の画素値差の絶対値と、楕円３ａで囲まれた水平方向に隣接する座標位置(i-4,j)と(i-2,j)の２つのＲ画素（画素ペア）の第３の画素値差の絶対値との和である。

また、画素値予測部１１は、上記の１１画素のうち、図６に示す破線の楕円１ｂ、２ｂ、３ｂでそれぞれ囲まれた３つの画素ペアの画素値差の絶対値和を求める。この絶対値和は、楕円１ｂで囲まれた左斜め方向に隣接する座標位置(i-4,j-4)と(i-2,j-2)の２つのＲ画素（画素ペア）の第１の画素値差の絶対値と、楕円２ｂで囲まれた左斜め方向に隣接する座標位置(i-2,j-4)と(i,j-2)の２つのＲ画素（画素ペア）の第２の画素値差の絶対値と、楕円３ｂで囲まれた左斜め方向に隣接する座標位置(i-4,j-2)と(i-2,j)の２つのＲ画素（画素ペア）の第３の画素値差の絶対値との和である。

また、画素値予測部１１は、上記の１１画素のうち、図７に示す破線の楕円１ｃ、２ｃ、３ｃでそれぞれ囲まれた３つの画素ペアの画素値差の絶対値和を求める。この絶対値和は、楕円１ｃで囲まれた垂直方向に隣接する座標位置(i-2,j-2)と(i-2,j)の２つのＲ画素（画素ペア）の第１の画素値差の絶対値と、楕円２ｃで囲まれた垂直方向に隣接する座標位置(i,j-4)と(i,j-2)の２つのＲ画素（画素ペア）の第２の画素値差の絶対値と、楕円３ｃで囲まれた垂直方向に隣接する座標位置(i+2,j-4)と(i+2,j-2)の２つのＲ画素（画素ペア）の第３の画素値差の絶対値との和である。

更に、画素値予測部１１は、上記の１１画素のうち、図８に示す破線の楕円１ｄ、２ｄ、３ｄでそれぞれ囲まれた３つの画素ペアの画素値差の絶対値和を求める。この絶対値和は、楕円１ｄで囲まれた右斜め方向に隣接する座標位置(i,j-2)と(i-2,j)の２つのＲ画素（画素ペア）の第１の画素値差の絶対値と、楕円２ｄで囲まれた右斜め方向に隣接する座標位置(i+2,j-4)と(i,j-2)の２つのＲ画素（画素ペア）の第２の画素値差の絶対値と、楕円３ｄで囲まれた右斜め方向に隣接する座標位置(i+4,j-4)と(i+2,j-2)の２つのＲ画素（画素ペア）の第３の画素値差の絶対値との和である。

続いて、画素値予測部１１は、図５〜図８に示した４方向の３つの画素ペアの画素値差の絶対値和を比較し、最小の絶対値和を示した方向のうち最も符号化対象のＲ画素に近い１つのＲ画素を予測に用いるＲ画素として決定する。例えば、図５〜図８に示した４方向のうち、図５に示した水平方向の絶対値和が最小のときには、画素値予測部１１は、座標位置(i,j)の符号化対象のＲ画素に対して、水平方向で最も近い座標位置(i-2,j)のＲ画素を予測に用いるＲ画素として決定する。

同様に、画素値予測部１１は、図５〜図８に示した４方向のうち、図６に示した左斜め方向の絶対値和が最小のときには、左斜め方向で座標位置(i,j)の符号化対象のＲ画素に最も近い座標位置(i-2,j-2)のＲ画素を、図７に示した垂直方向の絶対値和が最小のときには、垂直方向で座標位置(i,j)の符号化対象のＲ画素に最も近い座標位置(i.j-2)のＲ画素を、図８に示した右斜め方向の絶対値和が最小のときには、右斜め方向で座標位置(i,j)の符号化対象のＲ画素に最も近い座標位置(i+2.j-2)のＲ画素を、それぞれ予測に用いるＲ画素として決定する。

図５〜図８と共に説明した方法は、各方向について３つの画素ペアを用いたエッジの方向性検出法である。理論的には、各方向において１つずつの画素ペアを用いても方向性検出は可能であるが、画素ペアを上記のように３つ用いることにより信頼性が高まる。

（２）予測に用いるＧ用の画素の決定方法（ステップＳ４）
予測に用いるＧ用の画素は、符号化対象のＧ画素を図９に示すｘｙ座標位置（ｉ，ｊ）の斜線で示す１画素とすると、図９に白丸で示す１１画素である。この１１画素は、斜線で示すこれから符号化する符号化対象のＧ画素の周辺に位置する、既に符号化済みのＧ画素である。すなわち、これから符号化する符号化対象のＧ画素の座標位置（ｉ，ｊ）に対して、４行真上の座標位置(i,j-4)の符号化済みの１つのＧ画素と、３行上の座標位置(i-1,j-3)と(i+1,j+3)の符号化済みの２つのＧ画素と、２行上の座標位置(i-2,j-2)〜(i+2,j-2)の符号化済みの３つのＧ画素と、１行上の座標位置(i-3,j-1)〜(i+1,j-1)の符号化済みの３つのＧ画素と、同じ行の左側の座標位置(i-4,j)、(i-2,j)の符号化済みの２つのＧ画素である。

画素値予測部１１は、まず、上記の１１画素のうち、図１０〜図１３に示す４方向の３つの画素ペアの画素値差の絶対値和をそれぞれ求める。ここで、図１０に示す破線の楕円１ｅ、２ｅ、３ｅでそれぞれ囲まれた画素ペアは、それぞれ水平方向に隣接する２つのＧ画素である。図１１に示す破線の楕円１ｆ、２ｆ、３ｆでそれぞれ囲まれた画素ペアは、それぞれ左斜め方向に隣接する２つのＧ画素である。同様に、図１２に示す破線の楕円１ｇ、２ｇ、３ｇでそれぞれ囲まれた画素ペアは、それぞれ垂直方向に隣接する２つのＧ画素で、図１３に示す破線の楕円１ｈ、２ｈ、３ｈでそれぞれ囲まれた画素ペアは、それぞれ右斜め方向に隣接する２つのＧ画素である。

上記の３つの画素ペアの画素値差の絶対値和は、図５〜図８と共に説明した絶対値和と同様であるので詳細な説明は省略するが、例えば図１０の場合は、楕円１ｅで囲まれた水平方向に隣接する座標位置(i-4,j)と(i-2,j)の２つのＧ画素（画素ペア）の第１の画素値差の絶対値と、楕円２ｅで囲まれた水平方向に隣接する座標位置(i-3,j-1)と(i-1,j-1)の２つのＧ画素（画素ペア）の第２の画素値差の絶対値と、楕円３ｅで囲まれた水平方向に隣接する座標位置(i-1,j-1)と(i+1,j-1)の２つのＧ画素（画素ペア）の第３の画素値差の絶対値との和である。

続いて、画素値予測部１１は、図１０〜図１３に示した４方向の３つの画素ペアの画素値差の絶対値和を比較し、最小の絶対値和を示した方向のうち最も符号化対象のＧ画素に近い１つのＧ画素を予測に用いるＧ画素として決定する。例えば、図１０〜図１３に示した４方向のうち、図１０に示した水平方向の絶対値和が最小のときには、画素値予測部１１は、座標位置(i,j)の符号化対象のＧ画素に対して、水平方向で最も近い座標位置(i-2,j)のＧ画素を予測に用いるＧ画素として決定する。

同様に、画素値予測部１１は、図１０〜図１３に示した４方向のうち、図１１に示した左斜め方向の絶対値和が最小のときには、左斜め方向で座標位置(i,j)の符号化対象のＧ画素に最も近い座標位置(i-1,j-1)のＧ画素を、図１２に示した垂直方向の絶対値和が最小のときには、垂直方向で座標位置(i,j)の符号化対象のＧ画素に最も近い座標位置(i.j-2)のＧ画素を、図１３に示した右斜め方向の絶対値和が最小のときには、右斜め方向で座標位置(i,j)の符号化対象のＧ画素に最も近い座標位置(i+1.j-1)のＧ画素を、予測に用いるＧ画素として決定する。

再び図１及び図３に戻って説明する。予測誤差計算部１２は、ステップＳ３で画素値予測部１１が決定した予測に用いるＲ／Ｂ用の画素（予測画素）を入力として受けたときは、その決定した予測画素の値と座標位置(i,j)の符号化対象のＲ／Ｂ画素の値との差分値（予測誤差）を計算する（ステップＳ５）。また、予測誤差計算部１２は、ステップＳ４で画素値予測部１１が決定した予測に用いるＧ用の画素（予測画素）を入力として受けたときは、その決定した予測画素の値と座標位置(i,j)の符号化対象のＧ画素の値との差分値（予測誤差）を計算する（ステップＳ６）。

ハフマン符号化部１３は、予測誤差計算部１２で計算された予測誤差を入力として受け、その入力予測誤差をハフマン符号化してビットストリームを生成する（ステップＳ７）。ハフマン符号化部１３は、生成したビットストリームを出力端子１４を介して外部へ出力する（ステップＳ８）。

このように、本実施の形態の画像符号化装置は、符号化対象の画素の近傍において、画素間の相関度が最も高いと判断できるエッジの方向性を、４つの方向性の候補の中から検出し、この検出した方向に隣接する画素を予測画素とすることで、符号化対象の画素との差分値である予測誤差を算出するようにしたため、予測誤差を最小にでき、符号化効率を向上できる。

次に、本発明の画像復号化装置について、図１４及び図１５と共に説明する。

図１４は、本発明になる画像復号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の画像復号化装置は、ハフマン復号を行うハフマン復号化部２１と、ハフマン復号化して得られた信号の予測画素を計算する予測画素計算部２２と、予測画素と差分値とに基づいて画素値を計算して復号化信号を出力する画素値計算部２３とからなる。

次に、本実施の形態の動作について図１５のフローチャートを併せ参照して説明する。図１の符号化装置により出力されたビットストリームが任意の伝送媒体を通して、図１４の入力端子２０に入力される（ステップＳ１１）。ハフマン復号化部２１は、入力端子２０からビットストリームを入力として受け、伸張処理を行い、符号化されている予測画素の値と復号化対象の画素の値との差分値を画素毎に得る（ステップＳ１２）。差分値を示す画素は、ラスタースキャン順に出力されるので、画素の座標位置を知ることが可能である。

予測画素計算部２２は、ハフマン復号化部２１から画素毎の差分値を入力として受け、まず、入力画素の座標位置に基づいて、入力信号が赤色信号Ｒの差分値、緑色信号Ｇの差分値、青色信号Ｂの差分値のいずれであるかを判別する（ステップＳ１３）。

続いて、予測画素計算部２２は、入力信号が赤色信号Ｒの差分値又は青色信号Ｂの差分値であると判別したときは、予測に用いるＲ／Ｂ用の画素を決定し（ステップＳ１４）、入力信号が緑色信号Ｇの差分値であると判別したときは、予測に用いるＧ用の画素を決定する（ステップＳ１５）。ステップＳ１４及びステップＳ１５における予測に用いる画素（予測画素）の決定処理は、既に復号化済みの画素値を用いて、前記符号化装置におけるステップＳ３、Ｓ４の予測画素の決定処理と全く同一の手法で行われる。すなわち、復号化対象の画素の近傍のエッジの方向性を４つの方向の中から検出し、更にその検出した方向に対応し、かつ、復号化対象の画素に隣接する復号化処理済みの画素を予測画素と決定する。

画素値計算部２３は、予測画素計算部２２によりステップＳ１４で決定されたＲ／Ｂ用画素の予測画素の画素値（予測値）と、ハフマン復号化部２１から出力された復号化対象のＲ／Ｂ画素の差分値とを加算する（ステップＳ１６）。また、画素値計算部２３は、予測画素計算部２２によりステップＳ１５で決定されたＧ用画素の予測画素の画素値（予測値）と、ハフマン復号化部２１から出力された復号化対象のＧ画素の差分値とを加算する（ステップＳ１７）。

画素値計算部２３は、ステップＳ１６で加算して得た復号化対象のＲ／Ｂ画素の値、及びステップＳ１７で加算して得た復号化対象のＧ画素の値を、図１の入力端子１０に入力されるベイヤ配列信号の復号化信号として出力端子２４へ出力する（ステップＳ１８）。

このように、本実施の形態の画像復号化装置は、復号化対象の画素の近傍のエッジの方向性を４つの方向性の候補の中から検出して、更にその検出した方向性に対応し、かつ、復号化対象の画素に隣接する復号化処理済みの画素を予測画素として決定し、その予測画素を復号化対象の画素の差分値と加算して復号化対象の画素の値を復元するようにしたため、最も相関度が高く符号化時に用いられた可能性の高い予測画素を決定できるので、復号化効率を向上できる。

なお、以上の説明では、ベイヤ配列の信号をそのまま可逆圧縮する例を示したが、本発明はこれに限らず、通常の画素配列の信号を扱う場合にも適用できる。この場合は、Ｒ／ＢとＧとのように方向性検出の処理を分ける必要はない。また、可逆圧縮伸張の手段として、ハフマン符号を用いる例を示したが、可逆圧縮伸張を行う符号化復号化方法であれば、どのようなものを用いてもよい。

なお、本発明は以上の実施の形態に限定されるものではなく、図３、図１５のフローチャートの各ステップの処理をコンピュータにより実行させる画像符号化プログラム、画像復号化プログラムも本発明に含まれる。この場合、画像符号化プログラム及び画像復号化プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。この場合、図１４に示した画像復号化装置や上記の画像復号化プログラムは、画像符号化プログラムで符号化されたビットストリームを復号することもできる。

本発明の画像符号化装置の一実施の形態のブロック図である。 一般的なベイヤ配列の画素配置を示す図である。 図１の動作説明用フローチャートである。 Ｒ／Ｂ信号の予測に用いる画素群を示す図である。 Ｒ／Ｂ信号の水平方向の画素からの予測を説明する図である。 Ｒ／Ｂ信号の左斜め方向の画素からの予測を説明する図である。 Ｒ／Ｂ信号の垂直方向の画素からの予測を説明する図である。 Ｒ／Ｂ信号の右斜め方向の画素からの予測を説明する図である。 Ｇ信号の予測に用いる画素群を示す図である。 Ｇ信号の水平方向の画素からの予測を説明する図である。 Ｇ信号の左斜め方向の画素からの予測を説明する図である。 Ｇ信号の垂直方向の画素からの予測を説明する図である。 Ｇ信号の右斜め方向の画素からの予測を説明する図である。 本発明の画像復号化装置の一実施の形態のブロック図である。 図１４の動作説明用フローチャートである。

符号の説明

１０ ベイヤ配列信号入力端子
１１ 画素値予測部
１２ 予測誤差計算部
１３ ハフマン符号化部
１４ ビットストリーム出力端子
２０ ビットストリーム入力端子
２１ ハフマン復号化部
２２ 予測画素計算部
２３ 画素値計算部
２４ 復号化信号（ベイヤ配列信号）出力端子

Claims (4)

1. 入力された撮像信号の各画素のうち、符号化対象の画素の近傍に位置する既に符号化済みの画素で、かつ、前記符号対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算し、それらの評価値の中で最も値が小である評価値に対応する方向に前記符号化対象の画素と隣接する位置の画素を予測画素として決定する画素値予測手段と、
   決定した前記予測画素の値と前記符号化対象の画素の値との差分値である予測誤差を計算する予測誤差計算手段と、
   前記予測誤差計算手段により計算された前記予測誤差を圧縮符号化してビットストリームを生成する符号化手段と
   を有することを特徴とする画像符号化装置。
2. 撮像信号の符号化をコンピュータにより実行させる画像符号化プログラムであって、
   前記コンピュータに、
   入力された撮像信号の各画素のうち、符号化対象の画素の近傍に位置する既に符号化済みの画素で、かつ、前記符号対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算する第１のステップと、
   前記第１のステップで計算して得た評価値の中で最も値が小である評価値に対応する方向に前記符号化対象の画素と隣接する位置の画素を予測画素として決定する第２のステップと、
   前記第２のステップで決定した前記予測画素の値と前記符号化対象の画素の値との差分値である予測誤差を計算する第３のステップと、
   前記第３のステップにより計算された前記予測誤差を圧縮符号化してビットストリームを生成する第４のステップと
   を実行させることを特徴とする画像符号化プログラム。
3. 可逆圧縮符号化された画像信号を復号する画像復号化装置であって、
   前記画像信号を伸張処理して、符号化されている前記予測画素の値と復号化対象の画素の値との差分値を画素毎に得る復号化手段と、
   前記復号化手段から出力された画素毎の前記差分値を入力として受け、復号化対象の画素の近傍に位置する既に復号化済みの画素で、かつ、前記復号化対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の差分値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算し、それらの評価値の中で最も値が小である評価値に対応する方向に前記復号化対象の画素と隣接する位置の画素を予測画素として決定する予測誤差計算手段と、
   前記予測誤差計算手段により計算された予測画素の値と、前記復号化手段から出力された前記差分値とを加算して復号化対象の画素の値を復号する画素値計算手段と
   を有することを特徴とする画像復号化装置。
4. 可逆圧縮符号化された画像信号を復号する画像復号化をコンピュータにより実行させる画像復号化プログラムであって、
   前記コンピュータに、
   前記画像信号を伸張処理して、符号化されている前記予測画素の値と復号化対象の画素の値との差分値を画素毎に得る第１のステップと、
   画素毎の前記差分値を入力として受け、復号化対象の画素の近傍に位置する既に復号化済みの画素で、かつ、前記復号化対象の画素に対して水平方向、垂直方向、及び斜め方向にそれぞれ配置された複数の画素の差分値を用いて所定の演算式により、水平方向、垂直方向、及び斜め方向におけるエッジ成分の大きさを示す評価値を計算する第２のステップと、
   前記第２のステップで計算した評価値の中で最も値が小である評価値に対応する方向に前記復号化対象の画素と隣接する位置の画素を予測画素として決定する第３のステップと、
   前記第３のステップにより計算された予測画素の値と、前記復号化手段から出力された前記差分値とを加算して復号化対象の画素の値を復号する第４のステップと
   を実行させることを特徴とする画像復号化プログラム。

Images