JP2022019645A - イメージセンサモジュール及びイメージ圧縮方法 - Google Patents

Abstract

【課題】孤立領域のピクセルデータを効率的に圧縮するイメージセンサモジュール及びイメージ圧縮方法を提供する。【解決手段】本発明によるイメージ圧縮方法は、イメージセンサによって生成されたイメージデータを圧縮するイメージ圧縮方法において、前記イメージデータの内の圧縮が行われる対象ピクセルグループの複数の対象ピクセルのピクセル値と、前記対象ピクセルグループの圧縮に用いられる複数の参照ピクセルの参照値を受信する段階と、前記対象ピクセルのピクセル値について平均演算が行われる平均方向を定める段階と、前記平均方向に沿って前記対象ピクセルのピクセル値を平均化する段階と、前記参照ピクセルに基づいて、平均値に適用される補償値を含むバランス情報を生成する段階と、前記平均値、前記バランス情報、及び圧縮情報に基づいてビットストリームを生成する段階と、を有する。【選択図】 図１

Description

本発明は、イメージセンサに関し、特に、孤立領域のデータを圧縮するイメージセンサモジュール及びイメージ圧縮方法に関する。

近年、高品質及び高画質の写真、映像などへの要求が増大するにつれて、イメージセンサのピクセルアレイのセンシングピクセルの数が増加し、これにより、イメージセンサで生成されるイメージデータのサイズが大きくなっている。
イメージデータは、イメージ処理装置に伝送され、伝送効率を高めるためにイメージデータが圧縮され、圧縮されたイメージデータがイメージ処理装置に伝送される。
イメージデータは、二次元あるいは多次元の多様なイメージパターンを含む。

イメージパターンの特定領域に含まれているピクセルデータを圧縮するに当って、圧縮効率を高めて圧縮損失を低減させる圧縮方法の開発が課題となっている。

特開２０００－３２２７３号公報

本発明は上記従来のイメージセンサにおける課題に鑑みてなされたものであって、本発明の目的は、孤立領域のピクセルデータを効率的に圧縮するイメージセンサモジュール及びイメージ圧縮方法を提供することにある。

上記目的を達成するためになされた本発明によるイメージ圧縮方法は、イメージセンサによって生成されたイメージデータを圧縮するイメージ圧縮方法において、前記イメージデータの内の圧縮が行われる対象ピクセルグループの複数の対象ピクセルのピクセル値と、前記対象ピクセルグループの圧縮に用いられる複数の参照ピクセルの参照値を受信する段階と、前記対象ピクセルのピクセル値について平均演算が行われる平均方向を定める段階と、前記平均方向に沿って前記対象ピクセルのピクセル値を平均化する段階と、前記参照ピクセルに基づいて、平均値に適用される補償値を含むバランス情報を生成する段階と、前記平均値、前記バランス情報、及び圧縮情報に基づいてビットストリームを生成する段階と、を有することを特徴とする。

上記目的を達成するためになされた本発明によるイメージセンサモジュールは、複数のピクセルを含むイメージデータを生成するイメージセンサと、前記イメージセンサで生成されたイメージデータを、ピクセルグループ単位で順次に圧縮して、複数のビットストリームを含む圧縮データを生成し、圧縮が行われる対象ピクセルグループを、複数のエンコーディング方式の内の少なくとも一つのエンコーディング方式によって圧縮するエンコーダと、前記圧縮データを外部のイメージ処理装置に出力するインターフェースと、を備え、前記エンコーダは、前記複数のエンコーディング方式の内の第１エンコーディング方式によって、前記対象ピクセルのピクセル値に基づいた平均値を生成し、前記平均値に適用される補償値を含むバランス情報を生成し、前記平均値、前記バランス情報及び圧縮情報を含むビットストリームを生成することを特徴とする。

本発明の一実施形態によるイメージ処理システムは、受信した光信号をセンシングしてイメージデータを生成するイメージセンサと、前記イメージデータの複数のピクセルグループを順次に圧縮して、複数のビットストリームを生成するエンコーダと、前記複数のビットストリームを圧縮解除して前記イメージデータを復元するデコーダと、を備え、前記エンコーダは、前記対象ピクセルのピクセル値に基づいた平均値及び前記平均値に適用される補償値を含むバランス情報を生成し、前記平均値、前記バランス情報及び圧縮情報を含むビットストリームを生成する。

本発明に係るイメージセンサモジュール及びイメージ圧縮方法によれば、イメージデータの複数のピクセルグループの内の圧縮が行われるピクセルグループのピクセル値と、圧縮に用いられる参照値との差が大きい場合、ピクセル値を平均化して平均値を生成し、平均値及び、平均値とピクセル値との差を補償するためのバランス情報に基づいてビットストリームを生成するエンコーディング方式によって、ピクセルグループを圧縮することができる。
イメージデータ内のイメージパターンの特定領域に該当するピクセルグループを、専用エンコーディング方式によって圧縮することで、圧縮効率が増大して圧縮損失が減少させることができる。

本発明の一実施形態によるイメージ処理システムの概略構成を示すブロック図である。 本発明の一実施形態によるイメージセンサモジュールに適用されるピクセルアレイ、及びイメージデータを例示的に示す図である。 本発明の一実施形態によるエンコーダの概略構成を示すブロック図である。 本発明の一実施形態によるエンコーダの概略構成を示すブロック図である。 本発明の一実施形態による参照マップを説明するための例示的な図である。 本発明の一実施形態による圧縮方法を説明するためのフローチャートである。 図５の圧縮方法の段階を説明するための概念図である。 図５の圧縮方法の段階を説明するための概念図である。 図５の圧縮方法の段階を説明するための概念図である。 図５の圧縮方法の段階を説明するための概念図である。 本発明の一実施形態によるビットストリームを示す図である。 本発明の一実施形態によるビットストリームを示す図である。 本発明の一実施形態による圧縮方法の比較例による圧縮方法を説明するための概念図である。 本発明の一実施形態によるイメージデータ及び参照マップを例示的に説明するための図である。 本発明の一実施形態による圧縮方法を説明するための概念図である。 本発明の一実施形態によるイメージセンサモジュールの概略構成を示すブロック図である。 本発明の一実施形態によるイメージセンサモジュールの概略構成を示すブロック図である。 本発明の一実施形態によるデコーダの概略構成を示すブロック図である。 本発明の一実施形態によるイメージ処理システムの概略構成を示すブロック図である。 本発明の一実施形態による圧縮情報を示す表である。 本発明の一実施形態によるマルチカメラモジュールを備える電子装置のの概略構成を示すブロック図である。 図１５Ａのカメラモジュールの詳細構成を示すブロック図である。 本発明の一実施形態による電子装置の概略構成を示すブロック図である。

次に、本発明に係るイメージセンサモジュール及びイメージ圧縮方法を実施するための形態の具体例を図面を参照しながら説明する。

図１は、本発明の一実施形態によるイメージ処理システムの概略構成を示すブロック図であり、図２は、本発明の一実施形態によるイメージセンサモジュールに適用されるピクセルアレイ、及びイメージデータを例示的に示す図である。
イメージ処理システム１０は、被写体に関するイメージをセンシングし、センシングされたイメージを処理するか、又はメモリに保存し、処理されたイメージをメモリに保存する。

一実施形態によれば、イメージ処理システム１０は、デジタルカメラ、デジタルカムコーダ、モバイルフォン、又はタブレット・コンピュータ、又はポータブル電子装置で具現される。ポータブル電子装置は、ラップトップコンピュータ、移動電話機、スマートフォン、タブレットＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチールカメラ、デジタルビデオカメラ、オーディオ装置、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ＰＮＤ（ｐｅｒｓｏｎａｌ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ）、ＭＰ３プレーヤ、ポータブルゲームコンソール（ｈａｎｄｈｅｌｄ ｇａｍｅ ｃｏｎｓｏｌｅ）、ｅブック（ｅ－ｂｏｏｋ）、ウェアラブル機器などを含む。また、イメージ処理システム１０は、ドローン、先端運転手補助システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒｓ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ：ＡＤＡＳ）などの電子機器又は車、家具、製造設備、ドア、各種の計測機器などに、部品として搭載され得る。

図１を参照すると、イメージ処理システム１０は、イメージセンサモジュール１００及びイメージ処理装置２００を備える。
一実施形態において、イメージセンサモジュール１００は、イメージセンサ１１０と、エンコーダ１２０と、インターフェース１３０と、を備える。
実施形態において、イメージセンサモジュール１００は、複数の半導体チップによっても具現される。
例えば、イメージセンサ１１０のピクセルアレイ（図２のＰＸＡ）が一つの半導体チップに集積され、イメージセンサ１１０のロジック回路と、エンコーダ１２０と、インターフェース１３０とが他の半導体チップに集積され、複数の半導体チップが接続部材を通じて電気的に接続されるか、又は複数の半導体チップが積層されて、貫通ビアを通じて互いに電気的に接続される。
しかし、それに限定されるものではなく、イメージセンサモジュール１００は、一つの半導体チップで具現されてもよい。

実施形態において、イメージ処理装置２００は、インターフェース２１０と、メモリ２２０と、デコーダ２３０と、イメージ信号プロセッサ２４０と、を備える。
イメージセンサモジュール１００は、外部の被写体（又は客体）を撮影し、イメージデータＩＤＴを生成する。
イメージセンサモジュール１００は、レンズＬＳを通じて入射された被写体の光学的信号を、電気的信号に変換できるイメージセンサ１１０を備える。
イメージセンサ１１０は、複数のセンシングピクセル（図２のＳＰＸ）が二次元的に配列されるピクセルアレイ（図２のＰＸＡ）を備え、ピクセルアレイＰＸＡの複数のセンシングピクセルＳＰＸそれぞれに対応する、複数のピクセル値を含むイメージデータＩＤＴを出力する。

ピクセルアレイＰＸＡは、複数の行（ｒｏｗ）ラインと、複数の列（ｃｏｌｕｍｎ）ラインと、それぞれが行ラインと列ラインとに接続され、かつマトリックス状に配置された複数のセンシングピクセルＳＰＸと、を備える。
ピクセルアレイＰＸＡの複数のセンシングピクセルＳＰＸそれぞれは、複数の基準カラーの内の少なくとも一つのカラーの光信号を感知する。
例えば、複数の基準カラーは、レッド、グリーン、及びブルー、又はレッド、グリーン、ブルー、及びホワイトを含んでもよいが、それ以外の他のカラーを含んでもよい。
例えば、複数の基準カラーは、シアン、イエロ、グリーン、マゼンタを含んでもよい。
ピクセルアレイＰＸＡは、複数のセンシングピクセルＳＰＸそれぞれの基準カラーに関する情報を含むピクセル信号を生成する。

例えば、図２に示すように、ピクセルアレイＰＸＡは、レッド・センシングピクセル（ＳＰＸ＿Ｒ）と、ブルー・センシングピクセル（ＳＰＸ＿Ｂ）と、２個のグリーン・センシングピクセル（ＳＰＸ＿Ｇｒ）、及び（ＳＰＸ＿Ｇｂ）と、を備える。
レッド・センシングピクセル（ＳＰＸ＿Ｒ）と同じ行に配置されるグリーン・センシングピクセルが、第１グリーン・センシングピクセル（ＰＸ＿Ｇｒ）と指称され、ブルー・センシングピクセル（ＰＸ＿Ｂ）と同じ行に配置されるグリーン・センシングピクセルが、第２グリーン・センシングピクセル（ＰＸ＿Ｇｂ）と指称される。
レッド・センシングピクセル（ＳＰＸ＿Ｒ）と、ブルー・センシングピクセル（ＳＰＸ＿Ｂ）と、第１グリーン・センシングピクセル（ＳＰＸ＿Ｇｒ）と、第２グリーン・センシングピクセル（ＳＰＸ＿Ｇｂ）とが行列に配置され、これは、ピクセルパターンＰＴと指称される。
ピクセルアレイＰＸＡ内で、複数のピクセルパターンＰＴが繰り返して配置される。

例えば、図２に示すように、ピクセルパターンＰＴは、２×２行列に配置されたレッド・センシングピクセル（ＳＰＸ＿Ｒ）と、２×２行列に配置されたブルー・センシングピクセル（ＳＰＸ＿Ｂ）と、２×２行列に配置された第１グリーン・センシングピクセル（ＳＰＸ＿Ｇｒ）と、２×２行列に配置された第２グリーン・センシングピクセル（ＳＰＸ＿Ｇｂ）と、を備える。
このようなピクセルパターンＰＴは、テトラパターンと指称される。

しかし、本発明の技術的思想はそれに限定されるものではなく、ピクセルパターンＰＴは、２×２行列に配置されたレッド・センシングピクセル（ＳＰＸ＿Ｒ）と、ブルー・センシングピクセル（ＳＰＸ＿Ｂ）と、第１グリーン・センシングピクセル（ＳＰＸ＿Ｇｒ）と、第２グリーン・センシングピクセル（ＳＰＸ＿Ｇｂ）とを備え、このようなピクセルパターンＰＴは、ベイヤー（Ｂａｙｅｒ）パターンと指称される。

又は、ピクセルパターンＰＴは、ｎ×ｎ行列（ｎは、３以上の定数）に配置されたレッド・センシングピクセル（ＳＰＸ＿Ｒ）と、ｎ×ｎ行列（ｎは、３以上の定数）に配置されたブルー・センシングピクセル（ＳＰＸ＿Ｂ）と、ｎ×ｎ行列に配置された第１グリーン・センシングピクセル（ＳＰＸ＿Ｇｒ）と、ｎ×ｎ行列に配置された第２グリーン・センシングピクセル（ＳＰＸ＿Ｇｂ）と、を備えてもよい。

ピクセルアレイＰＸＡから出力されるピクセル信号に基づいて、イメージデータＩＤＴが生成される。
イメージデータＩＤＴは、ピクセルアレイＰＸＡのピクセルパターンＰＴに対応するカラーパターンを持つ。
一例として、ピクセルアレイＰＸＡがベイヤーパターンを持つ場合、イメージデータＩＤＴもベイヤーパターンを持つ。
他の例として、ピクセルアレイＰＸＡがテトラパターンを持つ場合、イメージデータＩＤＴは、テトラパターン又はベイヤーパターンを持つ。

例えば、ピクセルアレイＰＸＡがテトラパターンを持つ場合、ピクセルパターンＳＰＸに含まれている同じカラーの４個のセンシングピクセルＳＰＸから、一つのピクセル信号が出力されるか、又は４個のセンシングピクセルＳＰＸそれぞれから、ピクセル信号が出力されることで、４個のピクセル信号が出力される。
一つのピクセル信号が出力される場合、イメージデータＩＤＴはベイヤーパターンを持ち、４個のピクセル信号が出力される場合、図２に示したように、イメージデータＩＤＴは、テトラパターンを持つ。

イメージデータＩＤＴは、繰り返して配置されるレッドピクセル（ＰＸ＿Ｒ）と、ブルーピクセル（ＰＸ＿Ｂ）と、第１グリーンピクセル（ＰＸ＿Ｇｒ）と、第２グリーンピクセル（ＰＸ＿Ｇｂ）と、を備える。
イメージデータＩＤＴのピクセルＰＸは、ピクセルアレイＰＸＡのセンシングピクセルＳＰＸに対応するデータ、言い換えれば、ピクセルデータを意味する。
レッドピクセル（ＰＸ＿Ｒ）、ブルーピクセル（ＰＸ＿Ｂ）、第１グリーンピクセル（ＰＸ＿Ｇｒ）、及び第２グリーンピクセル（ＰＸ＿Ｇｂ）は、ピクセルアレイＰＸＡのレッド・センシングピクセル（ＳＰＸ＿Ｒ）、ブルー・センシングピクセル（ＳＰＸ＿Ｂ）、第１グリーン・センシングピクセル（ＳＰＸ＿Ｇｒ）及び第２グリーン・センシングピクセル（ＳＰＸ＿Ｇｂ）にそれぞれ対応する。

イメージデータＩＤＴは、複数のピクセルグループＰＧを含み、ここで、ピクセルグループＰＧは、イメージデータＩＤＴのカラーパターンによって、順次に行列に配置されるか、又は一方向に配置されている事前に定められている数のピクセルＰＸを備えるように設定されるか、又は同じ基準カラーに対応し、かつ互いに隣接しているピクセルＰＸを備えるように設定される。
例えば、図２に示したように、イメージデータＩＤＴがテトラパターンを持つ場合、ピクセルグループＰＧは、同じ基準カラー（例えば、レッド、ブルー、グリーンなど）に対応し、かつ互いに隣接している４個のピクセルＰＸを備えるように設定される。
他の例として、イメージデータＩＤＴがベイヤーパターンを持つ場合、ピクセルグループＰＧは、行列に配列されている事前に定められている数（例えば、４個）のピクセルＰＸを備えるように設定される。

次いで、図１を参照すると、複数のセンシングピクセルＳＰＸそれぞれは、少なくとも一つの光感知素子（又は光電変換素子）を備える。
光感知素子は、光を感知し、感知された光を電気信号に変換する。
例えば、光感知素子は、フォト・ダイオード、フォト・トランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォト・ゲート（ｐｈｏｔｏ ｇａｔｅ）、ピンドフォト・ダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ、ＰＰＤ）、又はそれらの組み合わせでもある。
複数のセンシングピクセルＳＰＸそれぞれは、少なくとも一つの光感知素子と、光感知素子で生成された電気信号に対応するピクセル信号を出力するためのピクセル回路と、を備える。
例えば、ピクセル回路は、伝送トランジスタ、リセット・トランジスタ、増幅トランジスタ、及び選択トランジスタを備える４－トランジスタ構造を持つ。
しかし、それらに限定されるものではなく、ピクセル回路は、１－トランジスタ構造、３－トランジスタ構造、４－トランジスタ、又は５－トランジスタ構造であるか、又は複数のピクセルが一部のトランジスタを共有する構造を持つこともできる。
実施形態において、ピクセル回路それぞれが、メモリ又はアナログ－デジタル変換器を備えてもよい。

実施形態において、特定波長帯域の光信号（言い換えれば、特定色相の光信号）を透過させる複数のカラーフィルターが、ピクセルアレイＰＸＡの複数のピクセルそれぞれと相応するように、複数のピクセル上に配置され、ピクセルに備えられる少なくとも一つの光感知素子が対応するカラーフィルターを透過した光信号を、電気的信号に変換する。
それによって、ピクセルアレイＰＸＡの複数のセンシングピクセルＳＰＸそれぞれが、割り当てられた少なくとも一つの基準カラーについての少なくても一つのピクセル信号を出力する。
しかし、それに限定されるものではなく、センシングピクセルＳＰＸに備えられる少なくとも一つの光感知素子が入射される光の内の選択的に特定波長帯域の光信号を電気的信号に変換してもよい。

実施形態において、イメージデータＩＤＴは、ピクセルアレイＰＸＡから出力される複数のピクセル信号がデジタル－アナログ変換された、複数のピクセル値を含む原イメージデータ（ｒａｗ ｉｍａｇｅ ｄａｔａ）、又は原イメージデータについて前処理が行われたイメージデータを含む。
イメージセンサモジュール１００は、データ伝送速度、データ伝送による消費電力の減少及びデータ保存空間の効率化のために、エンコーダ１２０を用いてイメージデータＩＤＴを圧縮し、圧縮データＣＤＴをイメージ処理装置２００に伝送する。

エンコーダ１２０は、イメージセンサ１１０からイメージデータＩＤＴを受信し、イメージデータＩＤＴを圧縮して圧縮データＣＤＴを生成する。
圧縮データＣＤＴは、符号化されたビットストリーム形態に具現される。
以下では、符号化されたビットストリームを、単にビットストリームと指称する。
ビットストリームは、圧縮結果及び圧縮情報（例えば、圧縮方式を示すモード情報）を含む。
エンコーダ１２０は、イメージデータＩＤＴをピクセルグループＰＧ単位でエンコーディングして、圧縮データＣＤＴを生成する。
エンコーダ１２０は、一つのピクセルグループＰＧをエンコーディングして一つのビットストリームを生成し、イメージデータＩＤＴ内のすべてのピクセルグループＰＧのビットストリームに基づいて、圧縮データＣＤＴを生成する。
ピクセルグループＰＧをエンコーディングすることでピクセルグループＰＧが圧縮されるが、以下、本発明で、エンコーディングは、圧縮と同じ意味で使用する。

エンコーダ１２０は、圧縮が行われるピクセルグループＰＧ、言い換えれば、対象ピクセルグループより先に圧縮されたピクセルに対応するピクセル値に基づいて生成された参照マップを用いて、圧縮を行う。
具体的には、エンコーダ１２０は、参照マップで、対象ピクセルグループ内の少なくとも一つの対象ピクセルに隣接している、少なくとも一つの参照ピクセルの参照値に基づいて、対象ピクセルのピクセル値を圧縮する。
参照値は、参照ピクセルのピクセル値に基づいて生成され、例えば、参照値は、参照ピクセルのピクセル値が圧縮されてから解除されることで生成される値である。

対象ピクセルのピクセル値と、隣接している参照ピクセルのピクセル値とは、互いに類似した値を持つ可能性が高い。
また、対象ピクセルグループ内の対象ピクセルのピクセル値は、互いに類似した値を持つ可能性が高い。
よって、エンコーダ１２０は、対象ピクセルグループの対象ピクセルを、周辺ピクセルとの差、例えば、対象ピクセルのピクセル値と、隣接している参照ピクセルの参照値との差値、又は、対象ピクセルのピクセル値と、対象ピクセルグループ内の他の対象ピクセルのピクセル値との差値に基づいてエンコーディングするＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）に基づいたエンコーディング方式で、対象ピクセルグループを圧縮する。
これにより、圧縮効率（又は圧縮率）が高くなり、圧縮によるデータ損失が減少する。

しかし、イメージデータＩＤＴ内の孤立領域に含まれる対象ピクセルグループのピクセルのピクセル値は、参照ピクセルのピクセル値と、その差が大きい。
言い換えれば、対象ピクセルのピクセル値と参照ピクセルの参照値との相関度が低い。
ここで孤立領域とは、イメージデータＩＤＴ内に発生する二次元あるいは多次元イメージパターンのエッジ領域の内の少なくとも二つの方向（例えば、互いに直交する二つの方向）において、エッジ領域に該当する領域、例えば、イメージパターンの角に該当する領域を意味する。

本発明の実施形態によるエンコーダ１２０は、バランスモード圧縮器ＢＭＣを備えることができ、バランスモード圧縮器ＢＭＣは、対象ピクセルのピクセル値と参照ピクセルの参照値との差が大きい場合、専用エンコーディング方式、例えば、ＨＶバランス（Ｈｏｒｉｚｏｎｔａｌ ｏｒ Ｖｅｒｔｉｃａｌ Ｂａｌａｎｃｅ）エンコーディング方式で対象ピクセルを圧縮する。
バランスモード圧縮器ＢＭＣは、対象ピクセルのピクセル値を横方向又は垂直方向に平均化して平均値を生成し、平均値及びバランス情報に基づいてビットストリームを生成する。
ここで、バランス情報は、平均値とピクセル値との差を補償するための情報であって、デコーディング時に、平均値に周辺ピクセルの参照値の間の差値を補償値として適用して、ピクセル値を復元するかどうかを示す選択値、及びどのようなピクセルにおいて、平均値に差値（又は予め設定されたのデフォルト値）を加算するか、又は減算するか、を示す勾配値を含み得る。
このようなＨＶバランスエンコーディング方式は、図５～図１０を参照して後述する。

エンコーダ１２０が、孤立領域のピクセルグループを、前述したＤＰＣＭ方式で圧縮するか、又は孤立領域のピクセルグループを、対象ピクセルそれぞれのピクセル値を示す複数のデータビットの内のＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を含む一部の上位データビットに基づいてエンコーディングする方式によって圧縮する場合、多量のデータ損失が発生する。
これにより、圧縮データＣＤＴが圧縮解除されて生成される復元されたイメージデータで画質劣化が発生し、イメージデータにアーチファクトが発生する。
しかし、前述したように本発明の実施形態によるエンコーダ１２０は、専用エンコーディング方式、例えば、ＨＶバランスエンコーディング方式で孤立領域のピクセルグループを圧縮する。
これにより、圧縮効率が向上してデータ損失が減少する。

エンコーダ１２０は、圧縮データＣＤＴを、インターフェース１３０を通じてイメージ処理装置２００に提供する。
例えば、インターフェース１３０は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（ＣＳＩ；Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）によっても具現される。
一方、インターフェース１３０の種類は、それに制限されるものではなく、多様なプロトコル規格によっても具現される。

イメージ処理装置２００は、イメージセンサモジュール１００から受信した圧縮データＣＤＴを変換して、ディスプレイ（図示せず）に表示するイメージを生成する。
具体的には、イメージ処理装置２００は、イメージセンサモジュール１００から圧縮データＣＤＴを受信し、圧縮データＣＤＴを圧縮解除して、圧縮解除データＤＤＴ、例えば、復元されたイメージデータを生成し、圧縮解除データＤＤＴをイメージ処理する。
一実施形態において、イメージ処理装置２００は、インターフェース２１０を通じて、イメージセンサモジュール１００から圧縮データＣＤＴを受信する。
インターフェース２１０は、イメージセンサモジュール１００に備えられるインターフェース１３０のように、ＭＩＰＩで具現されるが、これに制限されるものではない。
イメージ処理装置２００は、受信した圧縮データＣＤＴをメモリ２２０に保存する。

メモリ２２０は、データを保存するための保存場所である。
メモリ２２０に圧縮データＣＤＴが保存される。
それ以外に、メモリ２２０は、他のデータ、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種プログラム、及び各種データ（例えば、圧縮データＣＤＴ）を保存する。
メモリ２２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）のような揮発性メモリ、又はＰＲＡＭ（Ｐｈａｓｅ Ｃｈａｎｇｅ ＲＡＭ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、ＭＲＭＡ（Ｍａｇｎｅｔｉｃ Ｒａｍ）フラッシュメモリのような不揮発性メモリを備える。
図１では、メモリ２２０は、イメージ処理装置２００の内に備えるように示したが、それに限定されるものではなく、メモリ２２０は、イメージ処理装置２００の外部に別途に備えられてもよい。

デコーダ２３０は、メモリ２２０から圧縮データＣＤＴを読み取り、圧縮データＣＤＴを圧縮解除して、圧縮解除データＤＤＴを生成する。
デコーダ２３０は、圧縮解除データＤＤＴをイメージ信号プロセッサ２４０に提供する。
デコーダ２３０は、イメージセンサモジュール１００のエンコーダ１２０によって行われた圧縮方式（又はエンコーディング方式）による圧縮解除方式（又はデコーディング方式）によって、圧縮データＣＤＴを、ピクセルグループＰＧ単位で圧縮解除する。
デコーダ２３０は、圧縮データＣＤＴのビットストリームに含まれている圧縮情報に基づいて、ピクセルグループＰＧに適用された圧縮方式を判断する。
デコーダ２３０は、圧縮解除される対象ピクセルグループより先に圧縮解除されたピクセル、言い換えれば、参照ピクセルに対応する参照値を含む参照マップに基づいて、対象ピクセルグループの対象ピクセルを圧縮解除する。
実施形態において、デコーダ２３０は、ＨＶバランスエンコーディング方式によるデコーディング方式で、対象ピクセルグループを圧縮解除する。
デコーダ２３０は、ビットストリームに含まれている平均値を、バランス情報に基づいて調整してピクセル値を復元することができる。

イメージ信号プロセッサ２４０は、受信した圧縮解除データＤＤＴについて多様なイメージ処理を行う。
非制限的な例として、イメージ信号プロセッサ２４０は、圧縮解除データＤＤＴについて、不良ピクセル補正、オフセット補正、レンズ歪曲補正、カラーゲイン補正、シェーディング補正、ガンマ補正、ノイズ除去、鮮鋭化（ｓｈａｒｐｅｎｉｎｇ）の内の少なくとも一つのイメージ処理を行う。
一実施形態において、イメージセンサモジュール１００の性能によって、前述したイメージ処理の内の一部が省略されてもよい。
例えば、イメージセンサモジュール１００が高品質のイメージセンサ１１０を備える場合、イメージ処理の内の不良ピクセル補正（特に、スタティック・不良ピクセル補正）又はオフセット補正などが省略される。

一方、エンコーダ１２０及びデコーダ２３０それぞれは、ソフトウェア又はハードウェアで具現されるか、又はファームウェアのようなソフトウェア及びハードウェアの組み合わせによっても具現される。
エンコーダ１２０及びデコーダ２３０がソフトウェアで具現される場合、前述したそれぞれの機能がプログラミングされたソースコードで具現され、イメージセンサモジュール１００及びイメージ処理装置２００それぞれに備えられる保存媒体にそれぞれローディングされ、イメージセンサモジュール１００及びイメージ処理装置２００それぞれに備えられるプロセッサ（例えば、イメージ処理プロセッサ）がソフトウェアを実行することで、エンコーダ１２０及びデコーダ２３０の機能が具現される。
エンコーダ１２０及びデコーダ２３０がハードウェアで具現される場合、エンコーダ１２０及びデコーダ２３０は、ロジック回路及びレジスタを備え、レジスタの設定に基づいて、前述したそれぞれの機能を行う。

図１では、イメージ処理システム１０がイメージセンサモジュール１００及びイメージ処理装置２００を備えるように示したが、本発明はそれに限定されるものではない。
例えば、イメージ処理システム１０は、イメージセンサモジュール１００及びイメージ処理装置２００の内の一部のみを備えるか、又は複数のイメージセンサモジュール１００を備えるようにも具現される。
また、図１では、デコーダ２３０及びイメージ信号プロセッサ２４０が別途の構成であるように示したが、本発明はそれに限定されるものではない。
例えば、イメージ信号プロセッサ２４０は、デコーダ２３０を備えるように具現される。

図３Ａ及び図３Ｂは、本発明の一実施形態によるエンコーダの概略構成を示すブロック図である。
図３Ａ及び図３Ｂは、図１のエンコーダ１２０を示す。
図１及び図３Ａを参照すると、エンコーダ１２０は、参照ピクセル検出器１２１と、圧縮回路１２２と、モード選択器１２３と、復元イメージ生成器１２４と、参照バッファ１２５と、を備える。

参照ピクセル検出器１２１は、イメージセンサ（図１の符号１１０）からイメージデータＩＤＴを受信し、参照バッファ１２５から、対象ピクセルグループの圧縮に用いられる参照ピクセルの参照値を含む参照マップを受信する。
参照ピクセル検出器１２１は、参照バッファ１２５に保存されている復元されたイメージデータから、対象ピクセルグループと位置的に近接した参照ピクセルの参照値、言い換えれば、参照ピクセルの復元されたピクセル値を検出し、参照バッファ１２５から参照値を、参照マップとして受信する。
参照ピクセル検出器１２１は、イメージデータＩＤＴの対象ピクセルグループ及び参照マップを圧縮回路１２２に提供する。

圧縮回路１２２は、参照マップに基づいて対象ピクセルグループを圧縮する。
圧縮回路１２２は、バランスモード圧縮器ＢＭＣ及びノーマルモード圧縮器ＮＭＣを備え、バランスモード圧縮器ＢＭＣ及びノーマルモード圧縮器ＮＭＣは、互いに異なる圧縮方式（エンコーディング方式）を用いて、対象ピクセルグループを圧縮する。

ノーマルモード圧縮器ＮＭＣは、第１エンコーディングデータＥＤＴ１を出力し、バランスモード圧縮器ＢＭＣは、第２エンコーディングデータＥＤＴ２を出力する。
ノーマルモード圧縮器ＮＭＣは、参照マップに基づいて、ＤＰＣＭ方式で対象ピクセルグループをエンコーディングする。
実施形態において、ノーマルモード圧縮器ＮＭＣは、参照ピクセルの参照値と対象ピクセルのピクセル値との差値、及び対象ピクセルのピクセル値の間の差値を生成し、これら差値に基づいてビットストリームを生成する。
実施形態において、ノーマルモード圧縮器ＮＭＣは、対象ピクセルのピクセル値の平均値と参照ピクセルの参照値との差値、及び平均値と対象ピクセルのピクセル値との差値を生成し、これら差値に基づいてビットストリームを生成する。
ノーマルモード圧縮器ＮＭＣで生成されたビットストリームは、第１エンコーディングデータＥＤＴ１として出力される。

バランスモード圧縮器ＢＭＣは、図１を参照して前述したように、ＨＶバランスエンコーディング方式で対象ピクセルグループをエンコーディングする。
図１を参照して前述したように、対象ピクセルのピクセル値を横方向又は垂直方向に平均化して平均値を生成し、平均値及び平均値とピクセル値との差を補償するためのバランス情報に基づいて、ビットストリームを生成する。
バランスモード圧縮器ＢＭＣで生成されたビットストリームは、第２エンコーディングデータＥＤＴ２として出力される。
この際、バランスモード圧縮器ＢＭＣは、上下に連続して配置された対象ピクセルのピクセル値を平均化するかどうか、又は左右に連続して配置された対象ピクセルのピクセル値を平均化するかどうか、言い換えれば、平均演算が行われる方向を定める。
バランスモード圧縮器ＢＭＣは、参照マップの参照値に基づいて平均演算が行われる方向を定める。

図３Ａで、圧縮回路１２２は、バランスモード圧縮器ＢＭＣ及びノーマルモード圧縮器ＮＭＣを備えるように示しているが、それに限定されるものではなく、圧縮回路１２２は、バランスモード圧縮器ＢＭＣ及びノーマルモード圧縮器ＮＭＣと異なるエンコーディング方式で、対象ピクセルグループをエンコーディングする圧縮器をさらに備えてもよい。
モード選択器１２３は、圧縮回路１２２から受信する圧縮されているデータ、例えば、第１エンコーディングデータＥＤＴ１及び第２エンコーディングデータＥＤＴ２の内の一つを選択し、選択されたエンコーディングデータを、圧縮データＣＤＴとして出力する。

モード選択器１２３は、第１エンコーディングデータＥＤＴ１及び第２エンコーディングデータＥＤＴ２を、それぞれエンコーディングされた方式によるデコーディング方式でデコーディングし、デコーディングによるエラー率に基づいて、第１エンコーディングデータＥＤＴ１及び第２エンコーディングデータＥＤＴ２の内の一つを選択する。
エラー率は、デコーディングされたデータ、言い換えれば、デコーディングされたピクセル値とデコーディング以前のピクセル値との差を意味し、差が小さいほどエラー率が低い。
エラー率が低いほど、イメージ処理装置２００で生成される圧縮解除データＤＤＴ、言い換えれば、復元されたイメージデータの画質劣化が少ない。
よって、モード選択器１２３は、第１エンコーディングデータＥＤＴ１及び第２エンコーディングデータＥＤＴ２の内のエラー率の低いエンコーディングデータを圧縮データＣＤＴとして選択し、圧縮データＣＤＴを出力する。

実施形態において、ノーマルモード圧縮器ＮＭＣ（又は他の別途の圧縮器）が対象ピクセルグループをエンコーディングして、エンコーディングされたデータ、例えば、第１エンコーディングデータＥＤＴ１を生成し、第１エンコーディングデータＥＤＴ１のエラー率が基準エラー率を超過する時、バランスモード圧縮器ＢＭＣが動作する。
バランスモード圧縮器ＢＭＣは、対象ピクセルグループをエンコーディングして、第２エンコーディングデータＥＤＴ２を生成する。
モード選択器１２３は、第１エンコーディングデータＥＤＴ１のエラー率が基準エラー率である時、第１エンコーディングデータＥＤＴ１を圧縮データＣＤＴとして出力する。
モード選択器１２３は、第１エンコーディングデータＥＤＴ１のエラー率が基準エラー率を超過する時、オフセットモード圧縮器ＯＭＣから受信した第２エンコーディングデータＥＤＴ２を、圧縮データＣＤＴとして出力する。

復元イメージ生成器１２４は、圧縮データＣＤＴをデコーディングして、復元されたイメージデータ生成する。
復元イメージ生成器１２４は、圧縮データＣＤＴに含まれる複数のビットストリームそれぞれを、エンコーディングされた方式に対応するデコーディング方式でデコーディングして、対象ピクセルグループのピクセル値を復元する。
復元されたピクセル値に対応するピクセルは、圧縮の行われる他の対象ピクセルグループの参照ピクセルとして用いられる。

参照バッファ１２５は、復元されたイメージデータを保存し、対象ピクセルグループの圧縮に用いられる参照ピクセルの参照値を、参照ピクセル検出器１２１に提供する。
一実施形態において、参照バッファ１２５は、ラインメモリで構成され、対象ピクセルグループの対象ピクセルの周りに位置している参照ピクセルを保存する。
一実施形態で、参照バッファ１２５は、ＤＲＡＭ又はＳＲＡＭのような揮発性メモリによっても具現される。
しかし、それに限定されるものではなく、参照バッファ１２５は、ＲｅＲＡＭ、ＰＲＡＭのような不揮発性メモリによっても具現される。

図３Ｂを参照すると、エンコーダ１２０ａは、参照ピクセル検出器１２１、事前検出器１２６、圧縮回路１２２、モード選択器１２３、復元イメージ生成器１２４、及び参照バッファ１２５を備える。
図３Ｂのエンコーダ１２０と比べれば、エンコーダ１２０ａは、事前検出器１２６をさらに備える。
参照ピクセル検出器１２１、圧縮回路１２２、モード選択器１２３、復元イメージ生成器１２４、及び参照バッファ１２５の動作は、図３Ａを参照して説明したので、重複説明は省略する。

事前検出器１２６は、バランスモード圧縮器ＢＭＣを活性化又は非活性化させる。
実施形態において、事前検出器１２６は、参照ピクセルの参照値に基づいて、バランスモード圧縮器ＢＭＣを活性化又は非活性化させる。
例えば、参照値と対象ピクセルのピクセル値との差が、しきい値（又は特定コード値）以上であれば、バランスモード圧縮器ＢＭＣを活性化させ、しきい値未満であれば、バランスモード圧縮器ＢＭＣを非活性化させる。
実施形態において、事前検出器１２６は、レジスタを備え、レジスタに保存されている制御信号に基づいて、バランスモード圧縮器ＢＭＣを活性化又は非活性化させる。
例えば、制御信号は、イメージ処理装置２００から受信する。

バランスモード圧縮器ＢＭＣが非活性化されれば、圧縮回路１２２に備えられる他の圧縮器、例えば、ノーマルモード圧縮器ＮＭＣが対象ピクセルグループをエンコーディングし、エンコーディングされたデータ、例えば、第１エンコーディングデータＥＤＴ１が圧縮データＣＤＴとして出力される。
バランスモード圧縮器ＢＭＣが活性化されれば、圧縮回路１２２に備えられる少なくとも一部の圧縮器及びバランスモード圧縮器ＢＭＣが、対象ピクセルグループをそれぞれエンコーディングし、モード選択器１２３が、エンコーディングされたデータの内のエラー率の最も低いエンコーディングデータを、圧縮データＣＤＴとして出力する。

実施形態において、バランスモード圧縮器ＢＭＣが活性化されても、圧縮回路１２２に備えられる圧縮器の内のバランスモード圧縮器ＢＭＣの優先順位が低い可能性がある。
例えば、ノーマルモード圧縮器ＮＭＣが、先に対象ピクセルグループをエンコーディングして第１エンコーディングデータＥＤＴ１を生成し、第１エンコーディングデータＥＤＴ１のエラー率が基準エラー率を超過する時、バランスモード圧縮器ＢＭＣが動作する。
バランスモード圧縮器ＢＭＣは、対象ピクセルグループをエンコーディングして、第２エンコーディングデータＥＤＴ２を生成する。
モード選択器１２３は、第１エンコーディングデータＥＤＴ１のエラー率が基準エラー率である時、第１エンコーディングデータＥＤＴ１を圧縮データＣＤＴとして出力する。
モード選択器１２３は、第１エンコーディングデータＥＤＴ１のエラー率が基準エラー率を超過する時、オフセットモード圧縮器ＯＭＣから受信した第２エンコーディングデータＥＤＴ２を、圧縮データＣＤＴとして出力する。

実施形態において、バランスモード圧縮器ＢＭＣが活性化されれば、圧縮回路１２２に備えられる他の圧縮器、例えば、ノーマルモード圧縮器ＮＭＣは非活性化され、バランスモード圧縮器ＢＭＣで生成された第２エンコーディングデータＥＤＴ２が、圧縮データＣＤＴとして出力される。
これにより、エンコーダ１２０の消費電力が減少する。

図４は、本発明の一実施形態による参照マップを説明するための例示的な図である。
図４で、カッコの中の数字は、ピクセルの値、言い換えれば、ピクセル値又は参照値を示す。
図４を参照すると、イメージデータＩＤＴは、複数のピクセルグループＰＧを備え、複数のピクセルグループＰＧが、設定された方向に沿って順次に圧縮される。
実施形態において、イメージデータＩＤＴは、左から右、及び上から下に順次にピクセルグループＰＧ単位で圧縮される。
しかし、それに限定されるものではなく、イメージデータＩＤＴは、右から左、又は下から上に順次に圧縮されてもよい。

対象ピクセルグループＴＧにおいて、具体的には、対象ピクセルグループＴＧの対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）について圧縮が行われる。
対象ピクセルグループＴＧは、圧縮が行われた周辺のピクセルグループＰＧの内の同じカラーに対応するピクセルグループＰＧに含まれるピクセルに基づいて圧縮される。
対象ピクセルグループＴＧの圧縮に用いられる周辺ピクセルは、参照ピクセルと指称される。
参照バッファ１２５に保存されている復元されたイメージデータＲＩＤＴの内の対象ピクセルグループＴＧに隣接している参照ピクセルの参照値が、参照マップＲＭとして生成される。
ここで参照値は、ピクセル値が圧縮された後、圧縮解除されることで生成された値を意味する。
例えば、参照マップＲＭは、参照ピクセル（例えば、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４）の参照値を含む。

対象ピクセルグループＴＧは、参照マップＲＭに基づいて圧縮される。
例えば、対象ピクセルグループＴＧ又は対象ピクセルグループＴＧの対象ピクセルＴ０は、隣接している参照ピクセル（Ｒ１３、Ｒ１４、Ｒ２３、Ｒ２４、Ｒ３２、Ｒ３４）の参照値の内の最も関連性の高い参照値、又は事前に定められている方向に隣接している参照ピクセルの参照値に基づいて、エンコーディングされる。
一方、対象ピクセルグループＴＧの対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）のピクセル値と、参照ピクセルの参照値との差が大きくなる。
例えば、対象ピクセルＴ０のピクセル値は、２８３であり、隣接している参照ピクセル（Ｒ１４、Ｒ２３、Ｒ３２）の参照値は、それぞれ１３７、１４８、１２７であり、しきい値が１２５と設定された場合、ピクセル値と参照値との差値が１２５以上であるため、対象ピクセルグループＴＧは、孤立領域に該当する。

このように、対象ピクセルグループＴＧが孤立領域に該当すれば、対象ピクセルグループＴＧは、ＨＶバランスモードエンコーディング方式に基づいて圧縮される。
例えば、図３Ａ、３Ｂのバランスモード圧縮器ＢＭＣが、ＨＶバランスモードエンコーディング方式で対象ピクセルグループＴＧを圧縮し、この際、バランスモード圧縮器ＢＭＣは、対象ピクセルグループＴＧの周辺ピクセルを用いる。

図５は、本発明の一実施形態による圧縮方法を説明するためのフローチャートであり、図６Ａ、図６Ｂ、図６Ｃ、図６Ｄは、図５の圧縮方法の段階を説明するための概念図である。
図５及び図６Ａ～６Ｄの圧縮方法は、図３Ａ及び図３Ｂのバランスモード圧縮器ＢＭＣで行われ得る。

対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）のピクセル値は、互いに類似している。
バランスモード圧縮器ＢＭＣは、対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）のピクセル値の類似性を用いて、ＨＶバランスエンコーディング方式によって対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）を圧縮し、この際、参照マップ（図４のＲＭ）に含まれているピクセルグループの内の少なくとも一つのピクセルグループを用いる。
バランスモード圧縮器ＢＭＣが、参照マップＲＭのピクセルグループの内の対象ピクセルグループＴＧの左側に最も隣接しているピクセルグループの参照ピクセル（Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４）を用いて、対象ピクセルグループＴＧを圧縮すると仮定し、本発明の実施形態による圧縮方法を説明する。

図５を参照すれば、バランスモード圧縮器ＢＭＣは、対象ピクセルグループＴＧのピクセル値、及び参照ピクセルの参照ピクセル値を受信する（ステップＳ１１０）。
言い換えれば、バランスモード圧縮器ＢＭＣは、対象ピクセルグループＴＧを含むイメージデータＩＤＴ、及び参照ピクセルの参照値を含む参照マップＲＭを受信する。
対象ピクセルグループＴＧは、圧縮が行われるピクセルグループであって、圧縮が行われる対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）を備え、対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）それぞれのピクセル値を受信する。
参照ピクセルは、対象ピクセルグループの圧縮に用いられる対象ピクセルの周辺ピクセルである。
周辺ピクセルのピクセル値が圧縮された後で復元されて、参照値として生成される。

バランスモード圧縮器ＢＭＣは、ＨＶバランスエンコーディング方式による平均演算が行われる方向（以下、平均方向という）を定める（ステップＳ１２０）。
図６Ａを参照すると、バランスモード圧縮器ＢＭＣは、水平方向ＨＤに平均演算が行われるかどうか、又は垂直方向ＶＤに平均演算が行われるかどうかを決定する。
実施形態において、バランスモード圧縮器ＢＭＣは、参照ピクセル（Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４）に基づいて平均方向を定める。
例えば、バランスモード圧縮器ＢＭＣは、参照ピクセルの水平方向ＨＤの差値ＲＤｈ（例えば、対象ピクセルＲ３１と対象ピクセルＲ３２とのピクセル値の差値と参照値との差値）が、参照ピクセルの垂直方向ＶＤの差値ＲＤｖ（例えば、対象ピクセルＲ３３と対象ピクセルＲ３４との参照値の差値）以下であれば、水平方向ＨＤを平均方向と定める。
逆に、バランスモード圧縮器ＢＭＣは、水平方向ＨＤの差値ＲＤｈが垂直方向ＶＤの差値ＲＤｖより大きければ、垂直方向ＶＤを平均方向と定める。

他の例として、バランスモード圧縮器ＢＭＣは、参照ピクセルの水平方向ＨＤの差値ＲＤｈと、対象ピクセルの水平方向ＨＤの差値ＴＤｈ（例えば、対象ピクセルＴ０と対象ピクセルＴ１とのピクセル値の差値）との差値（例えば、ＲＤｈ－ＴＤｈの絶対値）が、参照ピクセルの垂直方向ＶＤの差値ＲＤｖと、対象ピクセルの垂直方向ＶＤの差値（ＴＤｖ）（例えば、対象ピクセルＴ０と対象ピクセルＴ３とのピクセル値の差値）との差値（例えば、ＲＤｖ－ＴＤｖの絶対値）以下であれば、水平方向ＨＤを平均方向と定め、逆の場合には、垂直方向ＶＤを平均方向と定める。
しかし、本発明はこれに限定されるものではなく、バランスモード圧縮器ＢＭＣは、多様な方式で平均方向を定めることができる。
実施形態において、バランスモード圧縮器ＢＭＣは、予め設定された方向を平均方向と定める。

次いで、図５を参照すると、バランスモード圧縮器ＢＭＣは、定められた平均方向に沿って対象ピクセルのピクセル値を平均化する（ステップＳ１３０）。
図６Ｂに示すように、水平方向ＨＤが平均方向と定められた場合、バランスモード圧縮器ＢＭＣは、対象ピクセルＴ０と対象ピクセルＴ１のピクセル値を平均化し、対象ピクセルＴ２と対象ピクセルＴ３のピクセル値を平均化する。
これにより、対象ピクセルＴ０と対象ピクセルＴ１の平均値ＡＶＧｈ０である２８７（＝（２８３＋２９１）／２）、及び対象ピクセルＴ２とＴ３の平均値ＡＶＧｈ１である３００（≒２９８＋３０１）／２）が算出される。

図６Ｃに示すように、垂直方向ＶＤが平均方向と定められた場合、バランスモード圧縮器ＢＭＣは、対象ピクセルＴ０と対象ピクセルＴ２のピクセル値を平均化し、対象ピクセルＴ１と対象ピクセルＴ３のピクセル値を平均化する。これにより、対象ピクセルＴ０とＴ２の平均値ＡＶＧｖ０である２９１（≒（２８３＋２９８）／２）、及び対象ピクセルＴ１及びＴ３の平均値ＡＶＧｖ１である２９６（＝２９１＋３０１）／２）が算出される。

バランスモード圧縮器ＢＭＣは、参照ピクセルに基づいてバランス情報を生成する（ステップＳ１４０）。
平均値は、ピクセル値と差がある。
バランスモード圧縮器ＢＭＣは、平均値とピックセル値との差を補償するためにバランス情報を生成する。
バランス情報は、平均値とピクセル値との差を補償するための情報であって、デコーディング時に周辺ピクセルの参照値の間の差値（具体的には、差値の絶対値）を平均値に適用して、ピクセル値を復元するかどうかを示す選択値、及びどのようなピクセルにおいて、平均値に差値（又は予め設定されたデフォルト値）を加算するか、又は減算するかを示す勾配値を含み得る。

図６Ｄを参照すると、平均方向が水平方向ＨＤと定められた場合、バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３１と参照ピクセルＲ３２との差値Ｒｄ０、及び対象ピクセル、例えば、対象ピクセルＴ０と対象ピクセルＴ１との差値Ｔｄ０を算出し、差値Ｒｄ０と差値Ｔｄ０とを比べて対象ピクセルＴ０及びＴ１をデコーディングする時、差値Ｒｄ０を補償値として適用するかどうかを示す第１選択値を定める。
例えば、バランスモード圧縮器ＢＭＣは、参照ピクセルの差値Ｒｄ０が「０」ではなく、参照ピクセルの差値Ｒｄ０が対象ピクセルの差値Ｔｄ０以下であれば、参照ピクセルの差値Ｒｄ０が補償値として適用されることを示す第１選択値、例えば、コード値「１」を定める。

バランスモード圧縮器ＢＭＣは、参照ピクセルの差値Ｒｄ０が対象ピクセルの差値Ｔｄ０より大きいか、又は参照ピクセルの差値Ｒｄ０が「０」であれば、参照ピクセルの差値Ｒｄ０が補償値として適用されないことを示す第１選択値、例えば、コード値「０」を定める。
この際、予め設定されたデフォルト値が、補償値として適用されうる。
平均値の損失程度によって、最適の補償値がデフォルト値と設定される。
例えば、ビットストリームで平均値が４ビットほど損失される場合、デフォルト値が「４」に設定される。

デコーディング時に、対象ピクセルの差値Ｔｄ０より大きい参照ピクセルの差値Ｒｄ０が補償値として適用される場合に、対象ピクセルの復元されたピクセル値（すなわち、デコーディングされたピクセル値）と、本来のピクセル値（すなわち、エンコーディング前のピクセル値）との差が、却って平均値と本来のピクセル値との差より大きくなる可能性がある。
また、参照ピクセルの差値Ｒｄ０が「０」である場合、参照ピクセルの差値Ｒｄ０が補償値として適用されれば、平均値と本来のピクセル値との差を補償することができない。
よって、参照ピクセルの差値Ｒｄ０が対象ピクセルの差値Ｔｄ０より大きいか、又は参照ピクセルの差値Ｒｄ０が「０」であれば、バランスモード圧縮器ＢＭＣが第１選択値をコード値「０」と定め、デコーディング時に第１選択値のコード値「０」によって、参照ピクセルの差値Ｒｄ０の代わりにデフォルト値が補償値として適用される。

バランスモード圧縮器ＢＭＣは、対象ピクセルＴ０及びＴ１の内のいかなるピクセルの値がさらに大きいかを示す第１勾配値を定める。
言い換えれば、第１勾配値は、対象ピクセルＴ０及びＴ１の内のいかなるピクセルについて、平均値に差値を加算するか、又は減算するかを示す。
例えば、第１勾配値がコード値「０」であれば、対象ピクセルＴ０のピクセル値が対象ピクセルＴ１のピクセル値より大きく、勾配値がコード値「１」であれば、対象ピクセルＴ１のピクセル値が対象ピクセルＴ０のピクセル値より大きいということを示す。
これにより、第１勾配値が「０」であれば、デコーディング時に平均値（図６ＢのＡＶＧｈ０）に補償値（差値Ｒｄ０又はデフォルト値）が加えられた値が、対象ピクセルＴ０のピクセル値であって、平均値ＡＶＧｈ０から補償値が差引かれた値が対象ピクセルＴ１のピクセル値に復元される。

前述したのと同様にして、バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３３と参照ピクセルＲ３４との差値Ｒｄ１、及び対象ピクセルＴ２と対象ピクセルＴ３との差値Ｔｄ１を算出し、差値Ｒｄ１と差値Ｔｄ１とを比べて対象ピクセルＴ２及び対象ピクセルＴ３をデコーディングする時、差値Ｒｄ１を適用するかどうかを示す第２選択値を定める。
また、バランスモード圧縮器ＢＭＣは、対象ピクセルＴ２及びＴ３の勾配を示す第２勾配値を定める。
平均方向が垂直方向ＶＤと定められた場合、バランスモード圧縮器ＢＭＣは、前述したところと同様の方式でバランス情報を生成する。

次いで、図５を参照すると、バランスモード圧縮器ＢＭＣは、平均値、バランス情報、及び圧縮情報を含むビットストリームを生成する（ステップＳ１５０）。
一方、図１３Ａを参照して説明したように、圧縮方法は、ビットストリームが生成された後、ビットストリームを圧縮解除し、復元されたピクセル値を生成する段階と、復元されたピクセル値に基づいて、対象ピクセルグループ以後に圧縮が行われる、次の対象ピクセルグループの圧縮に用いられる参照ピクセルを含む、復元されたイメージデータを生成する段階と、をさらに含んでもよい。

図７Ａ及び図７Ｂは、本発明の一実施形態によるビットストリームを示す図である。
圧縮が行われる前の対象ピクセル（例えば、Ｔ０、Ｔ１、Ｔ２、Ｔ３）のピクセル値は、１０個のビットを含むデータで表現され、５０％の圧縮率で対象ピクセルグループＴＧが圧縮されることで、ビットストリームＢＳａ及びビットストリームＢＳｂが、２０個のビットを含むデータであると仮定する。

図７Ａ及び図７Ｂを参照すると、ビットストリーム（ＢＳａ、ＢＳｂ）は、ヘッダＨＤ及びデータブロックＤＢを備える。
ヘッダＨＤは、圧縮情報、例えば、圧縮に用いられたエンコーディング方式（例えば、ＤＰＣＭ方式、ＨＶバランスエンコーディング方式など）を含むモード情報、圧縮率、損失情報などを含み、データブロックＤＢは、対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）のピクセル値による情報、例えば、複数の平均値及び平均値に関するバランス情報を含む。
ビットストリーム（ＢＳａ、ＢＳｂ）が、圧縮データＣＤＴとしてイメージ処理装置（図１の符号２００）に伝送されれば、デコーダ（図１の符号２３０）は、ヘッダＨＤに含まれるモード情報に基づいて、圧縮方法（言い換えれば、エンコーディング方式）を判断し、圧縮方法に対応する圧縮解除方法（言い換えれば、デコーディング方式）及びデータブロックＤＢに含まれる情報に基づいて、ビットストリーム（ＢＳａ、ＢＳｂ）をデコーディングすることで、圧縮データＣＤＴを圧縮解除する。

ヘッダＨＤは、第１７ビット～第２０ビット（Ｂ１６～Ｂ１９）に割り当てられる。
ヘッダＨＤに４個ビットが割り当てられることで、ヘッダＨＤは、２の４乗（＝１６）個のモード情報の内の一つを含む。
データブロックＤＢは、第１ビット～第１６ビット（Ｂ０～Ｂ１５）に割り当てられ、データブロックＤＢは、二つの平均領域（ＡＶＥ０、ＡＶＥ１）、バランス情報領域ＢＩＦを備える。
二つの平均領域（ＡＶＥ０、ＡＶＥ１）は、それぞれ６個のビットに割り当てられ、第１平均領域ＡＶＥ０は、第１１ビット～第１６ビット（Ｂ１０～Ｂ１５）に割り当てられ、第２平均領域ＡＶＥ１は、第５ビット～第１０ビット（Ｂ５～Ｂ９）に割り当てられる。
第１平均領域ＡＶＥ０及び第２平均領域ＡＶＥ１には、対象ピクセルの平均値（ＡＶＧｈ０、ＡＶＧｈ１）（又はＡＶＧｖ０、ＡＶＧｖ１）が含まれる。
バランス情報領域ＢＩＦは、４個のビットに割り当てられ、第１ビット～第４ビット（Ｂ０～Ｂ３）に割り当てられる。

図７Ａを参照すると、バランス情報領域ＢＩＦには、勾配値Ｓ０、第２勾配値Ｓ１、第１選択値ｂ０、及び第２選択値ｂ１が含まれる。
この際、平均方向に関する情報は、モード情報であって、ヘッダＨＤに含まれる。
図７Ｂを参照すると、平均方向に関する情報Ｈがバランス情報領域ＢＩＦに含まれる。
バランス情報領域ＢＩＦには、平均方向に関する情報Ｄ、勾配値Ｓ、第１選択値ｂ０、及び第２選択値ｂ１が含まれる。
対象ピクセル（Ｔ０、Ｔ１）（又はＴ０、Ｔ２）と、対象ピクセル（Ｔ２、Ｔ３）（又はＴ１、Ｔ３）とについて、同じ勾配値Ｓが適用される。
例えば、勾配値Ｓがコード値「１」であれば、エンコーディング時に対象ピクセル（Ｔ０、Ｔ１）の内の対象ピクセルＴ１について、平均値（例えば、ＡＶＧｈ０）に補償値（例えば、図６Ｄの差値Ｒｄ０又はデフォルト値）が加えられ、対象ピクセルＴ１について、平均値から補償値が差引かれる。
また、対象ピクセル（Ｔ２、Ｔ３）の内の対象ピクセルＴ３について、平均値（例えば、ＡＶＧｈ１）に補償値（例えば、図６Ｄの差値Ｒｄ１又はデフォルト値）が加えられ、対象ピクセルＴ２について、平均値から補償値が差引かれる。

図８は、本発明の一実施形態による圧縮方法の比較例による圧縮方法を説明するための概念図である。
図８は、参照マップＲＭを用いるＤＰＣＭ方式による圧縮方法を示し、例えば、ノーマルモード圧縮器（図３Ａ及び図３ＢのＮＭＣ）で行われる。
図８を参照すると、ノーマルモード圧縮器ＮＭＣは、参照マップＲＭに含まれる少なくとも一つの参照ピクセルの参照値に基づいて、対象ピクセルグループＴＧの対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）を圧縮する。
例えば、参照マップＲＭの参照ピクセルＲ３２が、対象ピクセルグループＴＧの圧縮に用いられる。

ノーマルモード圧縮器ＮＭＣは、参照ピクセルＲ３２の参照値と、対象ピクセルＴ０のピクセル値との差値ｄ０を算出する。
例えば、ピクセル値である２８３から、参照値である１２７が差引かれ、差値ｄ０は、１５６である。
この際、ピクセル値が補償参照値より小さい場合、差値ｄ０は負の値を持つ。
又は、補償参照値からピクセル値が差引かれて、差値ｄ０が生成される。
ノーマルモード圧縮器ＮＭＣは、対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）の間の差値（ｄ１、ｄ２、ｄ３）を算出する。
差値（ｄ１、ｄ２、ｄ３）は、それぞれ７８（＝３６１－２８３）、－４１（＝３２０－３６１）、及び８２（＝４０２－３２０）である。

バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３２の参照値と対象ピクセルＴ０のピクセル値との差値ｄ０、及び対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）の間の差値（ｄ１、ｄ２、ｄ３）に基づいて、対象ピクセルグループＴＧについてのビットストリームＢＳ’を生成する。
ビットストリームＢＳ’は、ヘッダＨＤ及びデータブロックＤＢを備え、データブロックＤＢは、複数の残余領域、例えば、第１～第４残余領域（ＲＤ０、ＲＤ１、ＲＤ２、ＲＤ３）を備える。
例えば、図５で算出された差値（ｄ０、ｄ１、ｄ２、ｄ３）が、第１～第４残余領域（ＲＤ０、ＲＤ１、ＲＤ２、ＲＤ３）にそれぞれ含まれる。
非制限的な例として、ビットストリームＢＳａに含まれる値（例えば、差値）は、最上位符号ビット表示法を通じて、負数及び正数で表現される。

第１～第４残余領域（ＲＤ０、ＲＤ１、ＲＤ２、ＲＤ３）は、同数のビットに割り当てられる。
例えば、第１ビット～第４ビット（Ｂ０～Ｂ３）に第４残余領域ＲＤ３が割り当てられ、第５ビット～第８ビット（Ｂ４～Ｂ７）に第３残余領域ＲＤ２が割り当てられ、第９ビット～第１２ビット（Ｂ８～Ｂ１１）に第２残余領域ＲＤ１が割り当てられ、第１３ビット～第１６ビット（Ｂ１２～Ｂ１５）に第１残余領域ＲＤ０が割り当てられる。
一方、差値ｄ０は、１５６であり、差値（ｄ１、ｄ２、ｄ３）は、それぞれ７８、－４１、及び８２である。
差値（ｄ１、ｄ２、ｄ３）は、同様に同じ数のビット（例えば、絶対値を示す７個のビット、及び符号を示す１個のビットを含む８個のビット）で表現される。

しかし、差値ｄ０は、差値（ｄ１、ｄ２、ｄ３）との差が大きく、差値ｄ０の絶対値を示すためには８個のビットが要求される。
しかし、第１～第４残余領域（ＲＤ０、ＲＤ１、ＲＤ２、ＲＤ３）は、同一数のビットに割り当てられたところ、孤立領域のピクセルグループＴＧについてノーマルモード圧縮器ＮＭＣが、本比較例による圧縮方法に基づいて圧縮を行う場合、多量のデータ損失が発生する恐れがある。
よって、本発明の実施形態によるイメージセンサモジュール（図１の符号１００）は、対象ピクセルグループＴＧが孤立領域に該当する場合、対象ピクセルグループＴＧについて、ＨＶバランスエンコーディング方式に基づいて圧縮を行って圧縮損失を低減させ、圧縮効率を向上させることができる。

図９は、本発明の一実施形態によるイメージデータ及び参照マップを例示的に説明するための図である。
図９で、イメージデータＩＤＴａは、ベイヤーパターンを含む。
実施形態において、連続して配置された４個のピクセル単位で、ピクセルグループＰＧが設定される。
実施形態において、ピクセルグループＰＧは、２個のレッドピクセル及び２個のグリーンピクセルを備えるか、又は２個のブルーピクセル及び２個のグリーンピクセルを備える。

ピクセルグループＰＧ単位で圧縮が行われ、対象ピクセルグループＴＧに優先して圧縮され、対象ピクセルグループＴＧに隣接しているピクセルグループＰＧの内の同じ色相に対応するピクセルグループＰＧの参照ピクセル（例えば、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４）の参照値が、ターゲットピクセルグループＴＧの圧縮に用いられる参照マップＲＭとして生成される。
対象ピクセルグループＴＧ及び参照ピクセル（Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４）のピクセル値は、相当な差があり、対象ピクセルグループＴＧが孤立領域に該当すると判断される。
これにより、対象ピクセルグループＴＧは、ＨＶバランスエンコーディング方式に基づいて圧縮される。

図１０は、本発明の一実施形態による圧縮方法を説明するための概念図である。
図１０の圧縮方法は、図９のイメージデータＩＤＴａについて、参照マップＶＲＭを用いて行われる。
図１０を参照すると、バランスモード圧縮器（図３ＡのＢＭＣ）は、参照マップＶＲＭに含まれる少なくとも一つの参照ピクセルの参照値に基づいて、対象ピクセルグループＴＧの対象ピクセル（Ｔ０、Ｔ１、Ｔ２、Ｔ３）を圧縮する。
例えば、参照マップＲＭの参照ピクセル（Ｒ３１、Ｒ３２、Ｒ３３、Ｒ３４）が、対象ピクセルグループＴＧの圧縮に用いられる。
圧縮が行われる時に、対象ピクセルと同じ色相の参照ピクセルが用いられる。

ピクセルグループＰＧが水平方向に連続して配置された４個のピクセルを含むため、バランスモード圧縮器ＢＭＣは、水平方向を平均方向と定めることができる。
バランスモード圧縮器ＢＭＣは、同じ色相に対応する対象ピクセルＴ０と対象ピクセルＴ２のピクセル値を平均化して、第１平均値ＡＶＧｈ０を算出し、同じ色相に対応する対象ピクセルＴ１と対象ピクセルＴ３のピクセル値を平均化して、第２平均値ＡＶＧｈ１を算出する。
バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３１と参照ピクセルＲ３３の参照値の差値Ｒｄ０、及び対象ピクセルＴ０と対象ピクセルＴ２のピクセル値の差値Ｔｄ０に基づいて、対象ピクセルＴ０と対象ピクセルＴ２に関するバランス情報、例えば、第１選択値及び第１勾配値を生成する。

バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３２と参照ピクセルＲ３４の参照値の差値Ｒｄ１、及び対象ピクセルＴ１と対象ピクセルＴ３のピクセル値の差値Ｔｄ１に基づいて、対象ピクセルＴ１と対象ピクセルＴ３に関するバランス情報、例えば、第２選択値及び第２勾配値を生成する。
バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３３の補償参照値と対象ピクセルＴ０との差値ｄ０を算出し、また、対象ピクセルＴ０と対象ピクセルＴ２のピクセル値の間の差値ｄ１を算出する。
また、バランスモード圧縮器ＢＭＣは、参照ピクセルＲ３４の補償参照値と対象ピクセルＴ１との差値ｄ２を算出し、また、対象ピクセルＴ２と対象ピクセルＴ３のピクセル値の間の差値ｄ３を算出する。
バランスモード圧縮器ＢＭＣは、差値（ｄ０、ｄ１、ｄ２、ｄ３）に基づいて、ビットストリームＢＳを生成する。
差値（ｄ０、ｄ１、ｄ２、ｄ３）は、ビットストリームＢＳのデータブロックＤＢに含まれる。
バランスモード圧縮器ＢＭＣは、算出された平均値（ＡＶＧｈ０、ＡＶＧｈ１）とバランス情報とに基づいて、ビットストリーム（例えば、図７ＡのＢＳａ又は図７ＢのＢＳｂ）を生成する。

図１１Ａ及び図１１Ｂは、本発明の一実施形態によるイメージセンサモジュールの概略構成を示すブロック図である。
図１１Ａを参照すると、イメージセンサモジュール１００は、イメージセンサ１１０、処理ロジック１５０、エンコーダ１２０及びインターフェース１３０を備える。

イメージセンサ１１０は、ピクセルアレイＰＸＡと、駆動及び読取り回路ＤＲＣと、を備える。
前述したように、ピクセルアレイＰＸＡは、行列に配置された複数のピクセルＰＸを備える。
駆動及び読取り回路ＤＲＣは、ピクセルアレイＰＸＡを制御し、ピクセルアレイＰＸＡから受信されたピクセル信号を、ピクセル値に変換する。
駆動及び読取り回路ＤＲＣは、受信したピクセル信号それぞれに対応するピクセル値を含む、原イメージデータＲＤＴを生成する。
処理ロジック１５０は、原イメージデータＲＤＴについて前処理を行う。
例えば、前処理は、不良ピクセル補正、クロストーク補正、ノイズ除去、ビニング、サイズ変更、色空間の変換などのイメージ処理を含み得る。

エンコーダ１２０は、処理ロジック１５０から受信したイメージデータＩＤＴ（又は、原イメージデータＲＤＴ）を圧縮して、圧縮データＣＤＴを生成する。
エンコーダ１２０は、イメージデータＩＤＴをピクセルグループ単位で圧縮し、圧縮が行われた周辺ピクセルグループを用いて、圧縮が行われる対象ピクセルグループを圧縮する。
前述したように、対象ピクセルグループが孤立領域に該当する場合、エンコーダ１２０は、ＨＶバランスエンコーディング方式を用いて対象ピクセルグループを圧縮する。
圧縮データＣＤＴは、インターフェース１３０に提供され、インターフェース１３０は、圧縮データＣＤＴをイメージ処理装置（図１の符号２００）に伝送する。

図１１Ｂを参照すると、イメージセンサモジュール１００ａは、メモリ１６０をさらに備える。
メモリ１６０は、ＤＲＡＭ、ＳＲＡＭのような揮発性メモリ、又はＰＲＡＭ、ＲｅＲＡＭ、ＭＲＡＭ、フラッシュメモリのような不揮発性メモリを含む。
エンコーダ１２０で生成された圧縮データＣＤＴは、メモリ１６０に保存される。
圧縮データＣＤＴは、メモリ１６０から読み取られて、インターフェース１３０を通じて出力される。

図１２は、本発明の一実施形態によるデコーダの概略構成を示すブロック図である。
デコーダ２３０は、エンコーダ（図１の符号１２０）がイメージデータＩＤＴをエンコーディングするために経る一連の工程を、逆順に行うことで、圧縮データＣＤＴを圧縮解除して、圧縮解除データＤＤＴ、例えば、復元されたイメージデータを生成する。
デコーダ２３０は、エンコーダ２２０で使われたエンコーディング方法に対応するデコーディング方法を用いて、圧縮データＣＤＴを圧縮解除する。
デコーダ２３０は、ビットストリーム単位で、圧縮データＣＤＴをデコーディングする。
デコーダ２３０は、参照ピクセル検出器２３１、モード決定器２３２、圧縮解除器２３３、参照バッファ２３４を備える。

参照ピクセル検出器２３１は、圧縮データＣＤＴを受信し、参照バッファ２３４から、イメージデータＣＤＴに含まれるビットストリームの内の圧縮解除が行われる対象ビットストリームの圧縮解除に用いられる参照マップを受信する。
参照マップは、参照対象ビットストリームと係わるピクセルグループの周辺ピクセル、言い換えれば、参照ピクセルの参照値を含む。
参照ピクセル検出器２３１は、参照バッファ２３５に保存されている、復元されたイメージデータから、対象ピクセルグループと位置的に隣接している参照ピクセルの参照値、言い換えれば、参照ピクセルの復元されたピクセル値を検出し、参照バッファ２３５から参照値を、参照マップとして受信する。
参照ピクセル検出器１２１は、圧縮データＣＤＴの対象ビットストリーム及び参照マップを、モード決定器２３２又は圧縮解除器２３３に提供する。

モード決定器２３２は、ビットストリームのヘッダを解読し、解読結果として、モード情報、圧縮率、損失情報などを定める。
本発明の一実施形態によれば、モード決定器２３２は、ヘッダを解読した結果から、ＨＶバランスエンコーディング方式又は他のエンコーディング方式（例えば、ＤＰＣＭ方式）で圧縮が行われたことを知る。
圧縮解除器２３３は、決定された圧縮モード、圧縮率、損失情報などに基づいて、ビットストリームから対象ピクセルを復元する。
本発明の一実施形態によれば、圧縮解除器２３３は、ヘッダを解読した結果から、ＨＶバランスエンコーディング方式によりビットストリームが生成されたと判断されれば、ビットストリームのデータブロックから平均値及びバランス情報を確認し、平均値にバランス情報に基づいて補償値を適用して、圧縮されたピクセルのピクセル値を復元する。
ビットストリームのデコーディングによって生成されたピクセルグループが、圧縮解除データＤＤＴとして出力される。

参照バッファ２３４は、圧縮解除データＤＤＴ、言い換えれば、復元されたイメージデータを保存する。
実施形態において、参照バッファ２３４は、復元されたイメージデータの内の次に圧縮解除されるビットストリームに対応するピクセルグループを保存する。
実施形態において、イメージ処理装置（図１の符号２００）に備えられるメモリ又はバッファ（例えば、メモリ２２０）が、参照バッファ２３４として用いられる。

図１３は、本発明の一実施形態によるイメージ処理システムの概略構成を示すブロック図である。
図１３は、図１のイメージ処理システム１０の変形可能な実施形態を示す。
図１３を参照すると、イメージ処理システム１０ｂは、イメージセンサモジュール１００ｂと、イメージ処理装置２００ｂと、を備える。

イメージセンサモジュール１００ｂは、イメージセンサ１１０と、インターフェース１３０と、を備える。
イメージセンサモジュール１００ｂは、メモリをさらに備える。
イメージ処理装置２００ｂは、インターフェース２１０、エンコーダ２５０、デコーダ２３０、イメージ信号処理器２４０、及びメモリ２２０を備える。
図１３のエンコーダ２５０は、図１のエンコーダ１２０に対応する。
図１３のイメージ処理システム１０ｂと図１のイメージ処理システム１０とを比べれば、イメージセンサモジュール１００ｂではないイメージ処理装置２００ｂが、エンコーダ２５０を備え、イメージ処理装置２００ｂが、イメージデータＩＤＴを圧縮する。
残りの構成は、実質的に相等しい。
イメージ処理システム１０ｂの構成の内の図１のイメージ処理システム１０の構成と重なる構成についての説明は、省略する。

図１３を参照すると、イメージセンサ１１０ｂは、イメージデータＩＤＴ（原イメージデータ又は前処理されたイメージデータ）を生成する。
イメージデータＩＤＴは、インターフェース１３０を通じて、イメージ処理装置２００ｂに伝送される。
イメージ処理装置２００ｂは、イメージセンサモジュール１００ｂからイメージデータＩＤＴを受信し、イメージデータＩＤＴを圧縮して、圧縮データＣＤＴをメモリ２６０に保存する。
次いで、デコーダ２３０が、メモリ２６０に保存されている圧縮データＣＤＴを読み取り、圧縮データＣＤＴを圧縮解除する。
デコーダ２３０は、圧縮解除データＣＤＴ、例えば、復元されたイメージデータを、イメージ信号プロセッサ２４０に提供する。
前述したように、ピクセルグループ単位で圧縮及び圧縮解除が行われ、イメージデータＣＤＴの孤立領域に該当するピクセルグループは、ＨＶバランスエンコーディング方式に基づいて圧縮又は圧縮解除される。

図１４は、本発明の一実施形態による圧縮情報を示す表である。
図１４は、ＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）連合が提示する標準による圧縮モード（圧縮方法）を、例示的に説明する。
図１４を参照すると、テトラパターンのイメージデータ（図２のＩＤＴ）が、多様な圧縮モードによって圧縮される。
一方、本発明はそれに限定されず、ｎ×ｎ行列に配置されたピクセルを含むレッドピクセルグループ、ブルーピクセルグループ、第１グリーンピクセルグループ、及び第２ピクセルグループが繰り返して配置されるイメージデータも、多様な圧縮モードで圧縮される。

圧縮モードとして、ＡＤ（Ａｖｅｒａｇｅ－ｂａｓｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＭＰＤ（ｅｘｔｅｎｄｅｄ Ｍｕｌｔｉ－Ｐｉｘｅｌ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＨＶＤ（ｅｘｔｅｎｄｅｄ Ｈｏｒｉｚｏｎｔａｌ ｏｒ Ｖｅｒｔｉａｌ Ｄｉｒｅｃｔｉｏｎ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＨＶＡ（ｅｘｔｅｎｄｅｄ Ｈｏｒｉｚｏｎｔａｌ ｏｒ Ｖｅｒｔｉｃａｌ Ａｖｅｒａｇｅ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ＯＤ（Ｏｂｌｉｑｕｅ Ｄｉｒｅｃｔｉｏｎ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＯＵＴ（ｅｘｔｅｎｄｅｄ ＯＵＴｌｉｅｒ ｃｏｍｐｅｎｓａｔｉｏｎ）モード、ＯＵＴモード、及びＦＮＲ（Ｆｉｘｅｄ ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄ Ｎｏ－Ｒｅｆｅｅｎｃｅ）モードが用いられる。
一方、前述した圧縮モードの名称は、一例に過ぎず、本発明は、前述した例に限定されない。

ＡＤモードで、対象ピクセルグループについて、ＤＰＣＭ方式でエンコーディングが行われる。
例えば、対象ピクセルグループのピクセル値の平均値と、参照ピクセルの参照値との差値、及びピクセル値それぞれと平均値との差値に基づいて、ビットストリーム（例えば、図７のＢＳｃ）が生成される。
ＡＤモードは、細部的な具現アルゴリズムによって、ＭＯＤＥ０、ＭＯＤＥ１、ＭＯＤＥ２、ＭＯＤＥ３に区分される。
圧縮方法を示すヘッダに４ビットが割り当てられるため、１６個の圧縮モードは、それぞれ互いに異なるビットでヘッダ情報を表現する。
例えば、ＭＯＤＥ０は、ビット「００００」で、ＭＯＤＥ１はビット「０００１」で、ＭＯＤＥ２はビット「００１０」で、ＭＯＤＥ３はビット「００１１」でそれぞれ表現される。

ＯＤモードは、対角線構造のイメージデータＩＤＴを圧縮する。
ＯＤモードは、細部的な具現アルゴリズムによって、ＭＯＤＥ４（ビット「０１００」）、ＭＯＤＥ５（ビット「０１０１」）に区分される。
これと同様に、ｅＭＰＤモードは、ＭＯＤＥ８（ビット「１０００」）、ＭＯＤＥ９（ビット「１００１」）、ＭＯＤＥ１０（ビット「１０１０」）、及びＭＯＤＥ１１（ビット「１０１１」）を含み、ｅＨＶＤモードは、ＭＯＤＥ１２（ビット「１１００」）及びＭＯＤＥ１３（ビット「１１０１」）を含む。
ｅＨＶＡモードは、ＭＯＤＥ１４（ビット１１１０）を含む。

本発明の一実施形態によるＨＶバランスモードがｅＨＶＡモードに該当し、バランスモード圧縮器（図３ＡのＢＭＣ）が、ｅＨＶＡモードを示すヘッダを備えるビットストリームを生成する。
ｅＯＵＴモードは、ＭＯＤＥ１５（「１１１１」）を含み、ＯＵＴモードはＭＯＤＥ７（「０１１１」）を含む。
ＦＮＲモードは、ＭＯＤＥ６（ビット「０１１０」）を含む。
実施形態において、レジスタに保存されている値によって、ＭＯＤＥ７（「０１１１」）は、ｅＯＵＴモードに含まれる。

一実施形態で、モード選択器（図３Ａ及び図３Ｂの符号１２３）は、ＡＤモード、ｅＭＰＤモード、ｅＨＶＤモード、ｅＨＶＡモード、ＯＤモード、ｅＯＵＴモード、及びＦＮＲモードを順次に評価し、圧縮率、損失情報などの圧縮評価指標によって、最適のモードを選択する。
しかし、本発明の技術的思想は、提示されたモード評価手順に制限されるものではない。

図１５Ａは、本発明の一実施形態によるマルチカメラモジュールを備える電子装置の概略構成を示すブロック図であり、図１５Ｂは、図１５Ａのカメラモジュールの詳細構成を示すブロック図である。
図１５Ａを参照すると、電子装置１０００は、カメラモジュールグループ１１００と、アプリケーションプロセッサ１２００と、ＰＭＩＣ１３００と、外部メモリ１４００と、を備える。

カメラモジュールグループ１１００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）を備える。
たとえば図には、３個のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が配置された実施形態を示しているが、本発明はこれに制限されるものではない。
いくつかの実施形態で、カメラモジュールグループ１１００は、２個のカメラモジュールのみを備えるか、又は、ｋ個（ｋは、４以上の自然数）のカメラモジュールを備えるように変形して実施することもできる。
以下、図１５Ｂを参照して、カメラモジュール１１００ｂの詳細構成についてさらに具体的に説明するが、以下の説明は、実施形態によって、他のカメラモジュール１１００ａ及び１１００ｃにも同じく適用される。

図１５Ｂを参照すると、カメラモジュール１１００ｂは、プリズム１１０５、光路折り畳み要素（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、“ＯＰＦＥ”）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０、及び保存部１１５０を備える。
プリズム１１０５は、光反射物質の反射面１１０７を備えて、外部から入射される光Ｌの経路を変形させる。
一実施形態で、プリズム１１０５は、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直の第２方向（Ｙ）に変更させる。
また、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心としてＡ方向に回転させるか、又は中心軸１１０６をＢ方向に回転させて、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直の第２方向（Ｙ）に変更させる。
この際、ＯＰＦＥ１１１０も、第１方向（Ｘ）及び第２方向（Ｙ）に垂直の第３方向（Ｚ）に移動する。

一実施形態で、図に示したように、プリズム１１０５のＡ方向の最大回転角度は、プラス（＋）Ａ方向には１５°以下であり、マイナス（－）Ａ方向には１５°より大きいが、本実施形態がこれに制限されるものではない。
一実施形態で、プリズム１１０５は、プラス（＋）又はマイナス（－）Ｂ方向に２０°内外、又は１０°～２０°、又は１５°～２０°の間で動き、ここで、動く角度は、プラス（＋）又はマイナス（－）Ｂ方向に同じ角度で動くか、又は１°前後の範囲でほぼ類似した角度まで動く。
一実施形態で、プリズム１１０５は、光反射物質の反射面１１０６を、中心軸１１０６の延長方向と平行な第３方向（例えば、Ｚ方向）に移動させる。

一実施形態で、カメラモジュール１１００ｂは、２個以上のプリズムで構成され、これを通じて、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直な第２方向（Ｙ）に、再び第１方向（Ｘ）あるいは第３方向（Ｚ）に、そして再び第２方向（Ｙ）などに多様に変化させる。
ＯＰＦＥ１１１０は、例えば、ｍ（ここで、ｍは自然数）個のグループからなる光学レンズを備える。
Ｍ個のレンズは、第２方向（Ｙ）に移動して、カメラモジュール１１００ｂの光学ズーム倍率を変更する。
例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとすれば、ＯＰＦＥ１１１０に備えられているｍ個の光学レンズを移動させる場合、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚ又は５Ｚ又は５Ｚ以上の光学ズーム倍率に変更される。

アクチュエータ１１３０は、ＯＰＦＥ１１１０又は光学レンズ（以下、光学レンズと指称）を特定位置に移動させる。
例えば、アクチュエータ１１３０は、正確なセンシングのために、イメージセンサ１１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように、光学レンズの位置を調整する。
イメージセンシング装置１１４０は、イメージセンサ１１４２と、制御ロジック１１４４と、メモリ１１４６とを備える。
図１のイメージセンサモジュール１００、又は図１３のイメージセンサモジュール１００ｂが、イメージセンシング装置１１４０として適用される。

イメージセンサ１１４２は、光学レンズを通じて提供される光Ｌを用いて、センシング対象のイメージをセンシングする。
制御ロジック１１４４は、カメラモジュール１１００ｂの全般的な動作を制御し、センシングされたイメージを処理する。
例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを通じて提供された制御信号によって、カメラモジュール１１００ｂの動作を制御し、センシングされたイメージから、特定イメージに該当するイメージデータ（例えば、イメージ内の人の顔、腕、足など）を抽出するか、又はノイズ除去などのイメージ処理を行う。
実施形態において、制御ロジック１１４４は、エンコーダ（図１の符号１２０）を備え、センシングされたイメージ、又はイメージ処理されたイメージを圧縮する。
前述したように、エンコーダ１２０は、イメージをピクセルグルー位で圧縮し、孤立領域のピクセルグループを、ＨＶバランスエンコーディング方式で圧縮する。

メモリ１１４６は、較正データ１１４７のようなカメラモジュール１１００ｂの動作に必要な情報を保存する。
較正データ１１４７は、カメラモジュール１１００ｂが、外部から提供された光Ｌを用いて、イメージデータを生成するときに必要な情報であって、例えば、回転度に関する情報、焦点距離に関する情報、光学軸に関する情報などを含む。
カメラモジュール１１００ｂが、光学レンズの位置によって焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラ形態に具現される場合、較正データ１１４７は、光学レンズのそれぞれの位置別（又はステート別）焦点距離値と、オートフォーカシングに関する情報とを含む。
一実施形態において、圧縮されたデータが、メモリ１１４６に保存される。また、メモリ１１４６は、エンコーダ１２０の参照バッファ１２５として用いられる。

保存部１１５０は、イメージセンサ１１４２を通じてセンシングされたイメージデータを保存する。
保存部１１５０は、イメージセンシング装置１１４０の外部に配置され、イメージセンシング装置１１４０を構成するセンサチップと積層された形態に具現される。
一実施形態で、イメージセンサ１１４２は、第１のチップで構成され、制御ロジック１１４４と保存部１１５０とメモリ１１４６とは、第２のチップで構成されて、二つのチップが積層された形態にも具現される。
一実施形態で、保存部１１５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）に具現されるが、本実施形態は、これに制限されるものではない。
一実施形態で、イメージセンサ１１４２は、ピクセルアレイによって構成されており、制御ロジック１１４４は、アナログ・デジタル・コンバータ（Ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）と、センシングされたイメージ処理のためのイメージ信号処理部と、を備える。

図１５Ａ及び図１５Ｂを共に参照すると、いくつかの実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれは、アクチュエータ１１３０を備える。
これにより、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれは、その内部に備えられているアクチュエータ１１３０の動作によって、相等しいか、又は互いに異なる較正データ１１４７を備える。
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の内の一つのカメラモジュール（例えば、１１００ｂ）は、前述したプリズム１１０５及びＯＰＦＥ１１１０を備える折り畳んだレンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、残りのカメラモジュール（例えば、１１００ａ及び１１００ｃ）は、プリズム１１０５及びＯＰＦＥ１１１０を備えていない垂直形態のカメラモジュールであり得るが、これに制限されるものではない。

一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の内の一つのカメラモジュール（例えば、１１００ｃ）は、例えば、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いてデプス（ｄｅｐｔｈ）情報を抽出する垂直形態のデプスカメラである。
この場合、アプリケーションプロセッサ１２００は、このようなデプスカメラから提供されたイメージデータと、他のカメラモジュール（例えば、１１００ａ又は１１００ｂ）から提供されたイメージデータとを併合して、三次元深度イメージを生成する。
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の内の少なくとも二つのカメラモジュール（例えば、１１００ａ及び１１００ｂ）は、互いに異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を持つ。
この場合、例えば、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の内の少なくとも二つのカメラモジュール（例えば、１１００ａ及び１１００ｂ）の光学レンズが互いに異なるが、これに制限されるものではない。

また、一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれの視野角は互いに異なる。
例えば、カメラモジュール１１００ａは、ウルトラワイド・カメラであり、カメラモジュール１１００ｂは、ワイド・カメラであり、カメラモジュール１１００ｃは、テレ・カメラであるが、それに限定されるものではない。
この場合、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれに備えられている光学レンズも互いに異なるが、これに制限されるものではない。
一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれは、互いに物理的に分離されて配置される。
すなわち、一つのイメージセンサ１１４２のセンシング領域を、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が分割して使うものではなく、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれの内部に独立的なイメージセンサ１１４２が配置される。

再び図１５Ａを参照すると、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０と、メモリコントローラ１２２０と、内部メモリ１２３０と、を備える。
アプリケーションプロセッサ１２００と複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）とは、例えば、別途の半導体チップにより互いに分離されても具現され得る。
イメージ処理装置１２１０は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）と、イメージ生成器１２１４と、カメラモジュールコントローラ１２１６とを備える。
イメージ処理装置１２１０は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の数に対応する複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）を備える。

カメラモジュール１１００ａから生成されたイメージデータは、イメージ信号ラインＩＳＬａを通じてサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータは、イメージ信号ラインＩＳＬｂを通じてサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータは、イメージ信号ラインＩＳＬｃを通じてサブイメージプロセッサ１２１２ｃに提供される。
このようなイメージデータ送信は、例えば、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（ＣＳＩ；Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）を用いて行われるが、これに制限されるものではない。

実施形態において、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の内の少なくとも一つは、デコーダ（図１の符号２３０）を備える。
複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）は、対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）がエンコーダ（図１の符号１２０）を備える場合、圧縮されたイメージデータを圧縮解除するために、デコーダ２３０を備える。
一実施形態において、図１３のイメージ処理装置２００ｂが、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の内の少なくとも一つで具現され、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の内の少なくとも一つのサブイメージプロセッサは、エンコーダ（図１３の符号２５０）及びデコーダ（図１３の符号２３０）を備える。

一方、一実施形態で、一つのサブイメージプロセッサが、複数のカメラモジュールに対応するように配置されてもよい。
例えば、サブイメージプロセッサ１２１２ａ及びサブイメージプロセッサ１２１２ｃは、図に示したように、互いに分離されて具現されるものではなく、一つのサブイメージプロセッサに統合されて具現され、カメラモジュール１１００ａ及びカメラモジュール１１００ｃから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）などを通じて選択された後、統合されたサブイメージプロセッサに提供される。
この際、サブイメージプロセッサ１２１２ｂは統合されず、カメラモジュール１１００ｂからイメージデータを提供される。

また、一実施形態で、カメラモジュール１１００ａから生成されたイメージデータは、イメージ信号ラインＩＳＬａを通じてサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータは、イメージ信号ラインＩＳＬｂを通じてサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータは、イメージ信号ラインＩＳＬｃを通じてサブイメージプロセッサ１２１２ｃに提供される。
そして、サブイメージプロセッサ１２１２ｂで処理されたイメージデータは、イメージ生成器１２１４に直ぐ提供されるが、サブイメージプロセッサ１２１２ａで処理されたイメージデータと、サブイメージプロセッサ１２１２ｃで処理されたイメージデータとの内のいずれか一つが、選択素子（例えば、マルチプレクサ）などを通じて選択された後、イメージ生成器１２１４に提供される。

それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）は、カメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から提供されたイメージデータについて、不良ピクセル補正、３Ａ調整（Ａｕｔｏ－ｆｏｃｕｓ ｃｏｒｒｅｃｔｉｏｎ、Ａｕｔｏ－ｗｈｉｔｅ ｂａｌａｎｃｅ、Ａｕｔｏ－ｅｘｐｏｓｕｒｅ）、ノイズ除去、鮮鋭化、ガンマ調整、リモザイク（ｒｅｍｏｓａｉｃ）などのイメージ処理を行う。
一実施形態で、リモザイク信号処理は、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）で行われた後、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）に提供される。
それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）で処理されたイメージデータは、イメージ生成器１２１４に提供される。
イメージ生成器１２１４は、イメージ生成情報又はモード信号によって、それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から提供されたイメージデータを用いて、出力イメージを生成する。

具体的には、イメージ生成器１２１４は、イメージ生成情報又はモード信号によって、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から生成されたイメージデータの内の少なくとも一部を併合して、出力イメージを生成する。
また、イメージ生成器１２１４は、イメージ生成情報又はモード信号によって、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から生成されたイメージデータの内のいずれか一つを選択して、出力イメージを生成する。
一実施形態で、イメージ生成情報は、ズーム信号（ｚｏｏｍ ｓｉｇｎａｌ ｏｒ Ｚｏｏｍ ｆａｃｔｏｒ）を含む。
また、一実施形態で、モード信号は、例えば、ユーザによって選択されたモードに基づいた信号である。

イメージ生成情報がズーム信号（ズーム因子）であり、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が互いに異なる観測視野（視野角）を持つ場合、イメージ生成器１２１４は、ズーム信号の種類によって互いに異なる動作を行う。
例えば、ズーム信号が第１信号である場合、サブイメージプロセッサ１２１２ａから出力されたイメージデータと、サブイメージプロセッサ１２１２ｃから出力されたイメージデータの内のサブイメージプロセッサ１２１２ａから出力されたイメージデータと、サブイメージプロセッサ１２１２ｂから出力されたイメージデータとを用いて、出力イメージを生成する。
もし、ズーム信号が第１信号と異なる第２信号である場合、イメージ生成器１２１４は、サブイメージプロセッサ１２１２ａから出力されたイメージデータと、サブイメージプロセッサ１２１２ｃから出力されたイメージデータの内のサブイメージプロセッサ１２１２ｃから出力されたイメージデータと、サブイメージプロセッサ１２１２ｂから出力されたイメージデータとを用いて、出力イメージを生成する。
もし、ズーム信号が第１信号及び第２信号と異なる第３信号である場合、イメージ生成器１２１４は、そのようなイメージデータ併合を行わず、それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から出力されたイメージデータの内のいずれか一つを選択して、出力イメージを生成する。
しかし、本実施形態は、これに制限されるものではなく、必要に応じてイメージデータを処理する方法は、いくらでも変形されて行われる。

一実施形態で、イメージ処理装置１２１０は、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の出力を選択して、イメージ生成器１２１４に伝達する選択部（図示せず）をさらに備える。
この場合、選択部は、ズーム信号又はズーム因子によって、互いに異なる動作を行う。
例えば、選択部は、ズーム信号が第４信号（例えば、ズーム倍率が第１倍率）である場合、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の出力の内のいずれか一つを選択して、イメージ生成器１２１４に伝達する。
また、選択部は、ズーム信号が、第４信号と異なる第５信号（例えば、ズーム倍率が第２倍率）である場合、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の出力の内のｐ個（ｐは、２以上の自然数）の出力を順次にイメージ生成器１２１４に伝達する。

例えば、選択部は、サブイメージプロセッサ１２１２ｂ及びサブイメージプロセッサ１２１２ｃの出力を、順次にイメージ生成器１２１４に伝達する。
また、選択部は、サブイメージプロセッサ１２１２ａ及びサブイメージプロセッサ１２１２ｂの出力を、順次にイメージ生成器１２１４に伝達する。
イメージ生成器１２１４は、順次に提供されたｐ個の出力を併合して、一つの出力イメージを生成する。
ここで、デモザイク（ｄｅｍｏｓａｉｃ）、ビデオ／プレビューの解像度サイズへのダウンスケーリング、ガンマ補正、ＨＤＲ（Ｈｉｇｈ ＤｙｎａｍｉｃＲａｎｇｅ）処理などのイメージ処理は、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）で予め行われた後、処理されたイメージデータがイメージ生成器１２１４に伝達される。
よって、処理されたイメージデータが、選択部を通じて、一つの信号ラインでイメージ生成器１２１４に提供されても、イメージ生成器１２１４のイメージ併合動作が高速で行われる。

一実施形態で、イメージ生成器１２１４は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の内の少なくとも一つから、露出時間の互いに異なる複数のイメージデータを受信し、複数のイメージデータについてＨＤＲ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）処理を行うことで、ダイナミックレンジの増加した、併合されたイメージデータを生成する。
カメラモジュールコントローラ１２１６は、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に制御信号を提供する。
カメラモジュールコントローラ１２１６から生成された制御信号は、互いに分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を通じて、対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される。

複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の内のいずれか一つは、ズーム信号を含むイメージ生成情報又はモード信号によって、マスターカメラ（例えば、１１００ｂ）と指定され、残りのカメラモジュール（例えば、１１００ａ及び１１００ｃ）は、スレーブ（ｓｌａｖｅ）カメラと指定される。
このような情報は、制御信号に含まれて、互いに分離された制御信号ライン（ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ）を通じて、対応するカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される。
ズーム因子又は動作モード信号によって、マスター及びスレーブとして動作するカメラモジュールが変わる。
例えば、カメラモジュール１１００ａの視野角がカメラモジュール１１００ｂの視野角より広く、ズーム因子が低いズーム倍率を示す場合、カメラモジュール１１００ａがマスターとして動作し、カメラモジュール１１００ｂがスレーブとして動作する。
逆に、ズーム因子が高いズーム倍率を示す場合、カメラモジュール１１００ｂがマスターとして動作し、カメラモジュール１１００ａがスレーブとして動作する。

一実施形態で、カメラモジュールコントローラ１２１６からそれぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される制御信号は、同期イネーブル信号（ｓｙｎｃ ｅｎａｂｌｅ）信号を含む。
例えば、カメラモジュール１１００ｂがマスターカメラであり、カメラモジュール１１００ａ及び１１００ｃがスレーブカメラである場合、カメラモジュールコントローラ１２１６は、カメラモジュール１１００ｂに同期イネーブル信号を伝送する。
このような同期イネーブル信号を提供されたカメラモジュール１１００ｂは、提供された同期イネーブル信号に基づいて同期信号を生成し、生成された同期信号を、同期信号ラインＳＳＬを通じてカメラモジュール１１００ａ及び１１００ｃに提供する。
カメラモジュール１１００ｂとカメラモジュール１１００ａ及びカメラモジュール１１００ｃは、このような同期信号によって同期化されて、イメージデータをアプリケーションプロセッサ１２００に伝送する。

一実施形態で、カメラモジュールコントローラ１２１６から複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）に提供される制御信号は、モード信号によるモード情報を含む。
このようなモード情報に基づいて、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、センシング速度に関連して第１動作モード及び第２動作モードで動作する。
複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、第１動作モードで、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）して、これを第１速度より高い第２速度でエンコーディングし（例えば、第１フレームレートより高い第２フレームレートのイメージ信号をエンコーディング）、エンコーディングされたイメージ信号をアプリケーションプロセッサ１２００に伝送する。
この際、第２速度は、第１速度の３０倍以下である。

アプリケーションプロセッサ１２００は、受信したイメージ信号、言い換えれば、エンコーディングされたイメージ信号を、その内部に備えられたメモリ１２３０又はアプリケーションプロセッサ１２００の外部メモリ１４００に保存し、次いで、メモリ１２３０又は外部メモリ１４００からエンコーディングされたイメージ信号を読み取ってデコーディングし、デコーディングされたイメージ信号に基づいて生成されるイメージデータをディスプレイする。
例えば、イメージ処理装置１２１０の複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）の内の対応するサブイメージプロセッサがデコーディングを行い、またデコーディングされたイメージ信号についてイメージ処理を行う。

複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）は、第２動作モードで、第１速度より低い第３速度でイメージ信号を生成（例えば、第１フレームレートより低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ１２００に伝送する。
アプリケーションプロセッサ１２００に提供されるイメージ信号は、エンコーディングされていない信号である。
アプリケーションプロセッサ１２００は、受信されるイメージ信号についてイメージ処理を行うか、又はイメージ信号をメモリ１２３０又は外部メモリ１４００に保存する。

ＰＭＩＣ１３００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれに電力、例えば、電源電圧を供給する。
例えば、ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００の制御の下で、パワー信号ラインＰＳＬａを通じてカメラモジュール１１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを通じてカメラモジュール１１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを通じてカメラモジュール１１００ｃに第３電力を供給する。
ＰＭＩＣ１３００は、アプリケーションプロセッサ１２００からの電力制御信号ＰＣＯＮに応答して、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれに対応する電力を生成し、また電力のレベルを調整する。

電力制御信号ＰＣＯＮは、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の動作モード別に電力調整信号を含む。
例えば、動作モードは、低電力モードを含み、この際、電力制御信号ＰＣＯＮは、低電力モードで動作するカメラモジュール及び設定される電力レベルに関する情報を含む。
複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）それぞれに提供される電力のレベルは、相等しいか、又は互いに異なる。
また、電力のレベルは、動的に変更され得る。

図１６は、本発明の一実施形態による電子装置の概略構成を示すブロック図である。
図１６の電子装置２０００は、ポータブル端末器である。
図１６を参照すれば、電子装置２０００は、アプリケーションプロセッサ２１００、カメラモジュール２２００、ワーキングメモリ２３００、保存部２４００、ディスプレイ装置２６００、ユーザーインターフェース２７００、及び無線送受信部２５００を備える。
アプリケーションプロセッサ２１００は、イメージ処理システム２０００の全般的な動作を制御し、応用プログラム、オペレーションシステムなどを駆動する、システムオンチップＳｏＣで具現される。
アプリケーションプロセッサ２１００は、カメラモジュール２２００から提供されるイメージデータをディスプレイ装置２６００に提供するか、又は保存部２４００に保存する。

図１～図１１Ｂを参照して説明したイメージセンサモジュール１００が、カメラモジュール２２００に適用される。
イメージセンサ２２００は、エンコーダ２２１０を備え、エンコーダ２２１０は、イメージデータを圧縮して圧縮データを生成し、圧縮データをアプリケーションプロセッサ２１００に伝送する。
前述したように、エンコーダ２２１０は、イメージデータの少なくとも一部、例えば、少なくとも一つのピクセルグループが孤立領域に該当する場合、ピクセルグループを、ＨＶバランスエンコーディング方式を用いて圧縮する。

アプリケーションプロセッサ２１００は、エンコーダ２２１０の圧縮方法、例えば、エンコーディング方式に対応するデコーディング方式で、圧縮データを圧縮解除するデコーダ２１１０を備える。
デコーダ２１１０が、カメラモジュール２２００から受信した圧縮データを圧縮解除して、復元されたイメージデータを生成し、アプリケーションプロセッサ２１００は、復元されたイメージデータをイメージ処理する。
アプリケーションプロセッサ２１００は、復元されたイメージデータ又はイメージ処理されたイメージデータを、ディスプレイ装置２６００に表示するか、又は保存部２４００に保存する。
ワーキングメモリ２３００は、ＤＲＡＭ、ＳＲＭＡなどの揮発性メモリ、又はＦｅＲＡＭ、ＲＲＡＭ、ＰＲＡＭなどの不揮発性の抵抗性メモリによっても具現される。
ワーキングメモリ２００は、アプリケーションプロセッサ２１００が処理又は実行するプログラム及び／又はデータを保存する。

保存部２４００は、ＮＡＤＮフラッシュ、抵抗性メモリなどの不揮発性メモリ装置で具現され、例えば、保存部２４００は、メモリカード（ＭＭＣ、ｅＭＭＣ、ＳＤ、ｍｉｃｒｏ ＳＤ）などによっても提供される。
保存部２４００は、カメラモジュール２２００から受信したイメージデータ、又はアプリケーション２１００で処理又は生成されるデータを保存する。
ユーザーインターフェース２７００は、キーボード、カーテンキーパネル、タッチパネル、指紋センサ、マイクなど、使用者入力を受信できる多様な装置で具現される。
ユーザーインターフェース２７００は、使用者入力を受信し、受信した使用者入力に対応する信号を、アプリケーションプロセッサ２１００に提供する。
無線送受信部２５００は、トランシーバ２５１０、モデム２５２０、及びアンテナ２５３０を備える。

尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１０、１０ｂ イメージ処理システム
１００、１００ａ、１００ｂ イメージセンサモジュール
１１０ イメージセンサ
１２０、１２０ａ エンコーダ
１２１ 参照ピクセル検出器
１２２ 圧縮回路
１２３ モード選択器
１２４ 復元イメージ生成器
１２５ 参照バッファ
１２６ 事前検出器
１３０、２１０ インターフェース
１５０ 処理ロジック
１６０、２２０ メモリ
２００、２００ｂ イメージ処理装置
２３０ デコーダ
２４０ イメージ信号プロセッサ

Claims (10)

1. イメージセンサによって生成されたイメージデータを圧縮するイメージ圧縮方法において、
   前記イメージデータの内の圧縮が行われる対象ピクセルグループの複数の対象ピクセルのピクセル値と、前記対象ピクセルグループの圧縮に用いられる複数の参照ピクセルの参照値を受信する段階と、
   前記対象ピクセルのピクセル値について平均演算が行われる平均方向を定める段階と、
   前記平均方向に沿って前記対象ピクセルのピクセル値を平均化する段階と、
   前記参照ピクセルに基づいて、平均値に適用される補償値を含むバランス情報を生成する段階と、
   前記平均値、前記バランス情報、及び圧縮情報に基づいてビットストリームを生成する段階と、を有することを特徴とするイメージ圧縮方法。
2. 前記参照値は、前記対象ピクセルグループより先に圧縮され、前記参照ピクセルの復元されたピクセル値に対応し、前記ピクセル値の内の少なくとも一つと前記参照値との差がしきい値以上であることを特徴とする請求項１に記載のイメージ圧縮方法。
3. 前記平均化する段階は、前記対象ピクセルの内の前記平均方向に沿う二対の対象ピクセルについて、第１平均値及び第２平均値を算出する段階を含むことを特徴とする請求項１に記載のイメージ圧縮方法。
4. 前記バランス情報を生成する段階は、前記二対の対象ピクセルの内の第１対の対象ピクセルに対する差値と、前記参照ピクセルの内の第１対の参照ピクセルに対する差値と、に基づいて、前記第１対の対象ピクセルに関するバランス情報を生成することを特徴とする請求項３に記載のイメージ圧縮方法。
5. 前記バランス情報は、前記第１対の対象ピクセルについての第１選択値及び第１勾配値を含み、
   前記第１選択値は、前記第１平均値に前記第１対の参照ピクセルに対する差値を適用するかどうかを示し、
   前記第１勾配値は、前記第１対の対象ピクセルの内のピクセル値のさらに大きい対象ピクセルを示すことを含むことを特徴とする請求項４に記載のイメージ圧縮方法。
6. 前記第１選択値が、前記第１対の対象ピクセルについて、前記第１平均値に前記第１対の参照ピクセルについての差値が適用されないことを示す場合、前記第１平均値に予め設定されたデフォルト値が適用されるように設定されることを特徴とする請求項５に記載のイメージ圧縮方法。
7. 前記バランス情報は、前記二対の対象ピクセルそれぞれについての選択値及び勾配値を含むことを特徴とする請求項４に記載のイメージ圧縮方法。
8. 前記バランス情報は、前記二対の対象ピクセルそれぞれについての選択値、及び前記二対の対象ピクセルに共通に適用される勾配値を含むことを特徴とする請求項４に記載のイメージ圧縮方法。
9. 前記ビットストリームは、ヘッダ及びデータブロックを備え、
   前記平均方向に関する情報が、前記ヘッダ又は前記データブロックに含まれることを特徴とする請求項１に記載のイメージ圧縮方法。
10. 複数のピクセルを含むイメージデータを生成するイメージセンサと、
    前記イメージセンサで生成されたイメージデータを、ピクセルグループ単位で順次に圧縮して、複数のビットストリームを含む圧縮データを生成し、圧縮が行われる対象ピクセルグループを、複数のエンコーディング方式の内の少なくとも一つのエンコーディング方式によって圧縮するエンコーダと、
    前記圧縮データを外部のイメージ処理装置に出力するインターフェースと、を備え、
    前記エンコーダは、前記複数のエンコーディング方式の内の第１エンコーディング方式によって、前記対象ピクセルのピクセル値に基づいた平均値を生成し、
    前記平均値に適用される補償値を含むバランス情報を生成し、
    前記平均値、前記バランス情報及び圧縮情報を含むビットストリームを生成することを特徴とするイメージセンサモジュール。
    

Images