JP2022019646A - 飽和ピクセルを用いるイメージ圧縮方法、エンコーダ、及び電子装置 - Google Patents

Abstract

【課題】イメージセンサによって生成されたイメージデータを効率的に圧縮するイメージ処理方法を提供する。【解決手段】本発明によるイメージ圧縮方法は、受信されたイメージデータに含まれ、かつ互いに隣接して同じカラーを有する複数のピクセルからなるピクセルグループのうち、ピクセル値がしきい値を超える飽和ピクセルを検出する段階と、飽和ピクセルの位置を示す飽和フラグを生成する段階と、ピクセルグループのうち、飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと、基準ピクセルとを比べることで、イメージデータを圧縮する段階と、飽和フラグ、圧縮結果、及び圧縮方法を含むビットストリームを出力する段階と、を含む。【選択図】図４

Description

本発明は、イメージ圧縮方法に係り、より詳細には、飽和ピクセルを用いるイメージ圧縮方法、エンコーダ、及び電子装置に関する。

高解像度イメージへの要求が増大するにつれて、イメージセンサによって生成されるイメージデータのサイズは増大しつつある。イメージデータのサイズは、データの伝送速度に係わるため、イメージデータを効率的に圧縮する方法が要求される。

イメージデータのサイズを縮めるために、圧縮しようとする対象ピクセルと、圧縮のための基準になる基準ピクセルとの差値に基づいて、データを圧縮する方法が用いられる。しかし、過度な受光によるピクセルの飽和は、大きいピクセル値を生成するため、差値に基づいた圧縮方法の圧縮率を低下させる要因となる。

特開２０１１－０４５０５１号公報

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、圧縮率の低下を引き起こす飽和ピクセルを効率的に圧縮するイメージ圧縮方法を提供することにある。

上記目的を達成するためになされた本発明の一態様によるイメージ圧縮方法は、イメージセンサによって生成されたイメージデータを圧縮するイメージ圧縮方法において、受信された前記イメージデータに含まれ、かつ互いに隣接して同じカラーを有する複数のピクセルであるピクセルグループのうち、ピクセル値がしきい値を超える飽和ピクセルを検出する段階と、前記飽和ピクセルの位置を示す飽和フラグを生成する段階と、前記ピクセルグループのうち、前記飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと、基準ピクセルとを比べることで、前記イメージデータを圧縮する段階と、前記飽和フラグ、圧縮結果、及び圧縮方法を含むビットストリームを出力する段階と、を含むことを特徴とする。

上記目的を達成するためになされた本発明の一態様によるエンコーダは、イメージセンサによって生成されたイメージデータを処理するエンコーダにおいて、互いに隣接して同じカラーを持つ複数のピクセルであるピクセルグループから、ピクセル値がしきい値を超える飽和ピクセルを検出し、前記飽和ピクセルの位置を示す飽和フラグを生成し、前記ピクセルグループのうち、前記飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと、基準ピクセルとを比べることで、前記イメージデータを圧縮するように構成されることを特徴とする。

上記目的を達成するためになされた本発明の一態様による電子装置は、イメージを撮像する電子装置において、ピクセルアレイを備え、かつイメージデータを出力するように構成されたイメージセンサと、互いに隣接して同じカラーを有する複数のピクセルであるピクセルグループから、ピクセル値がしきい値を超える飽和ピクセルを検出し、前記飽和ピクセルの位置を示す飽和フラグを生成し、前記ピクセルグループのうち、前記飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと、基準ピクセルとを比べることで、前記イメージデータを圧縮し、圧縮結果、飽和フラグ及び圧縮方法を含むビットストリームを出力するように構成されたエンコーダを備えるイメージ信号処理器と、前記ビットストリームを解読することで、前記イメージデータを復元するように構成されたデコーダを備えるアプリケーションプロセッサと、を備えることを特徴とする。

本発明によるイメージ圧縮方法によれば、圧縮率の低下を引き起こす飽和ピクセルを圧縮しないことで、非飽和ピクセルに割り当てられるビットを増大させることができる。非飽和ピクセルに割り当てられるピクセルが増大することで、画質劣化が低減され、圧縮率が向上する効果を奏する。また、本発明によるイメージ圧縮方法によれば、飽和ピクセルが多い場合に無損失圧縮を果たすことができる。

本発明の一実施形態による電子装置を示すブロック図である。 本発明の一実施形態によるエンコーダを示すブロック図である。 本発明の一実施形態によるデコーダを示すブロック図である。 本発明の一実施形態によるイメージ圧縮方法を説明するフローチャートである。 本発明の一実施形態によるピクセルの構造を示す概念図である。 本発明の一実施形態によるピクセルの構造を示す概念図である。 差分パルスコード符号化方法（ＤＰＣＭ）によるビットストリームの構造を示す概念図である。 本発明の一実施形態による飽和ピクセルの発生数ごとに、互いに異なってビットが割り当てられるビットストリームの構造を示す概念図である。 本発明の一実施形態による飽和ピクセルの発生数ごとに、互いに異なってビットが割り当てられるビットストリームの構造を示す概念図である。 本発明の一実施形態による飽和ピクセルの発生数ごとに、互いに異なってビットが割り当てられるビットストリームの構造を示す概念図である。 本発明の一実施形態によるピクセルの構造を示す概念図である。 差分パルスコード符号化方法（ＤＰＣＭ）によるビットストリームの構造を示す概念図である。 本発明の一実施形態による飽和ピクセルの発生によって生成される、ビットストリームの構造を示す概念図である。 本発明の一実施形態による圧縮情報を説明する表である。 本発明の一実施形態による圧縮情報を説明する表である。 本発明の一実施形態によるイメージ信号処理器を備える電子装置を示すブロック図である。 本発明の一実施形態によるイメージ信号処理器を備える電子装置を示すブロック図である。 本発明の一実施形態による電子装置の一部を示すブロック図である。 図１５のカメラモジュールを詳細に説明するブロック図である。

以下、図面を参照しながら、本発明を実施するための形態の具体例を詳細に説明する。

本発明で「ピクセル」、「ピクセルグループ」、「カラーピクセル」、または「サブピクセル」という用語は、客体をセンシングする光感知素子が位置している物理的な領域を意味し、または、客体の一部分をセンシングした光感知素子から生成された電気信号に対応するデータ値である。イメージセンサについての説明を除いては、「カラーピクセル」は、光感知素子から生成された電気信号に対応するデータ値と理解される。「ピクセル」は、カラーピクセル、サブピクセルなどを含む包括的な用語として用いられる。

半導体素子の高集積化及び処理速度の向上によって、秒当たり撮影可能なイメージの数が増加するにつれて、電子装置内に保存されて処理されるイメージデータのサイズは、徐々に増大しつつある。よって、イメージデータを効果的に処理するために、イメージデータを圧縮する技術が要求される。

光信号を電気信号に変換する光感知素子の数が多いほど、高解像度イメージを生成しやすい。光感知素子の集積度が高くなるほど、光感知素子の間の物理的な間隔は狭くなり、それによるクロストークなどのノイズが発生して、画質劣化を引き起こす。

低照度では、光感知素子に十分な光信号が入力され難くて、高解像度イメージを生成するときに障害要素になる。低照度でも高解像度イメージを生成するためには、１つのカラーフィルターを共有するカラーピクセルを、複数のサブピクセルに分割することで、１つのカラーピクセルを表現するために複数のサブピクセルを用いる。複数のサブピクセルから生成された電気信号をいずれも合わせれば、十分な光量が確保される。一実施形態によれば、１つのカラーピクセルは、４個のサブピクセル、または９個のサブピクセルに分割される。しかし、開示された数字は、例示に過ぎず、カラーピクセルは１６個、２５個などの２乗数に分割されるか、またはｍ×ｎ（ｍ、ｎは２以上の定数）の行列形態に分割される。

イメージデータを効果的に圧縮するためには、圧縮効率が高くてデータ損失が大きくないことが要求される。イメージを圧縮するための一つの方法として、圧縮しようとする対象ピクセルと、対象ピクセルに隣接する候補ピクセルのうちの１つの参照ピクセルを定め、対象ピクセルと参照ピクセルとのピクセルの差値に基づいて、イメージデータを圧縮する。差値に基づいた圧縮方法は、差分パルスコード符号化方法（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ；ＤＰＣＭ）と称される。

同じカラーピクセルを通過するように配置された複数のサブピクセルを含むカラーピクセルが、特定カラーパターンに沿って配列されたベイヤーイメージを圧縮する場合にも、上記圧縮方法が適用される。一実施形態で、ベイヤーパターンは、グリーン、レッド、ブルー、グリーンが順に行列形態に配列された公知のパターンである。

図１は、本発明の一実施形態による電子装置を示すブロック図である。

電子装置１０は、電荷結合素子及び金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；ＣＭＯＳ）などの固体イメージセンサを用いて、被写体のイメージをセンシングし、センシングされたイメージを処理するか、またはメモリに保存し、処理されたイメージをメモリに保存する。一実施形態によれば、イメージ処理システム１０は、デジタルカメラ、デジタルカムコーダ、モバイルフォン、タブレット・コンピュータ、またはポータブル電子装置で具現される。ポータブル電子装置は、ラップトップコンピュータ、携帯電話機、スマートフォン、タブレットＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチールカメラ、デジタルビデオカメラ、オーディオ装置、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ＰＮＤ（ｐｅｒｓｏｎａｌ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ）、ＭＰ３プレーヤ、ポータブルゲームコンソール（ｈａｎｄｈｅｌｄ ｇａｍｅ ｃｏｎｓｏｌｅ）、ｅブック（ｅ－ｂｏｏｋ）、ウェアラブル機器などを含む。また、イメージ処理システム１０は、ドローン、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒｓ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ；ＡＤＡＳ）などの電子器機または車、家具、製造設備、ドア、各種の計測器機などに、部品として搭載される。

図１を参照すると、電子装置１０は、イメージセンサ１００、イメージ信号処理器（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ；ＩＳＰ）２００、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ；ＡＰ）３００、及びメモリ・サブシステム４００を備える。

イメージセンサ１００は、光学レンズを通じて入射された被写体の光学的信号を、電気的信号に変換し、電気的信号に基づいて、イメージデータＩＤＴＡを生成して出力する。イメージセンサ１００は、イメージまたは光センシング機能を有する電子機器に搭載される。例えば、イメージセンサ１００は、カメラ、スマートフォン、ウェアラブル機器、事物インターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ））機器、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション、ドローン、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒｓ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ；ＡＤＡＳ）などの電子機器に搭載される。また、イメージセンサ１００は、車、家具、製造設備、ドア、各種の計測機器などに、部品として備えられる電子機器に搭載される。イメージセンサ１００は、イメージ信号処理器２００、またはアプリケーションプロセッサ３００の制御によって、レンズ（図示せず）を通じて撮像された被写体をセンシングする。

イメージセンサ１００は、ピクセルアレイ１１０を備える。

ピクセルアレイ１１０は、複数の行（ｒｏｗ）ライン、複数の列（ｃｏｌｕｍｎ）ライン、及びそれぞれが行ライン及び列ラインに接続して行列状に配置された複数のピクセル、及び複数のピクセルのそれぞれに対応するように配列された複数のカラーフィルタを備える。

複数のピクセルのそれぞれは、光感知素子を備える。光感知素子は光を感知し、感知された光を、電気的信号であるピクセル信号に変換する。例えば、光感知素子は、フォト・ダイオード、フォト・トランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォト・ゲート（ｐｈｏｔｏ ｇａｔｅ）、ピンドフォト・ダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ；ＰＰＤ）、またはこれらの組み合わせである。複数の光感知素子のそれぞれは、フォトダイオード、伝送トランジスタ、リセット・トランジスタ、増幅トランジスタ、及び選択トランジスタを備える４－トランジスタ構造である。一実施形態によれば、複数の光感知素子のそれぞれは、１－トランジスタ構造、３－トランジスタ構造、４－トランジスタ構造、または５－トランジスタ構造であるか、あるいは、複数のピクセルが一部のトランジスタを共有する構造である。

カラーフィルタは、ピクセルアレイ１１０の複数のピクセルのそれぞれに対応するように配列され、光感知素子に入る光のうち、特定波長のみを透過させる。一実施形態で、カラーフィルタは、ベイヤーカラーフィルタの形態で適用される。ベイヤーパターンは、人間の目が被写体のグリーン成分から、輝度（ｌｕｍｉｎａｎｃｅ）データの大部分を導出するという前提に基づく。ベイヤーカラーフィルタに含まれているピクセルのうち、半分はグリーン信号を検出し、残りの４分の１はレッド信号を、残りの４分の１はブルー信号を検出する。一実施形態において、ベイヤーカラーフィルタ１２００は、レッド（Ｒ）ピクセル、ブルー（Ｂ）ピクセル、及び２個のグリーン（Ｇ）ピクセルを含む２×２サイズのカラーピクセルが、繰り返して配置される構成である。他の実施形態において、ベイヤーカラーフィルタ１２００は、レッドピクセル、ブルーピクセル、及び２個のワイドグリーン（ｗｉｄｅ ｇｒｅｅｎ、Ｗ）ピクセルを含む２×２サイズのカラーピクセルが、繰り返して配置される構成である。一実施形態で、４個のピクセルのうち、２個のピクセルには緑色フィルタが配置され、残りの２個のピクセルには、青色フィルタ及び赤色フィルタがそれぞれ配置される、ＲＧＢカラーフィルタ方式が採択される。また、ＲＧＢカラーフィルタ方式以外にも、シアン、イエロ、グリーン、マゼンタのカラーフィルタが４個のピクセルにそれぞれ配置される、ＣＹＧＭカラーフィルタ方式が採択される。これ以外にも、ＣＹＭＫ（Ｃｙａｎ、Ｙｅｌｌｏｗ、Ｇｒｅｅｎ、Ｋｅｙ）カラーフィルタ方式が適用されうる。複数のカラーフィルタは、１つのカラーフィルタ層を構成する。説明の便宜のために、ベイヤーパターンを例示するが、本発明はベイヤーパターンに限定されず、ホワイトまたはイエロを含むか、または２つ以上のカラー領域が併合された多様なパターンであり得る。

イメージセンサ１００は、ピクセルアレイ１１０によって生成されたピクセル信号を処理する複数のモジュールをさらに備える。一実施形態によれば、複数のモジュールは、ロードライバ（図示せず）、ランプ信号生成器（図示せず）、タイミング生成器（図示せず）、アナログデジタルコンバータ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、図示せず）、及びリードアウト回路（図示せず）などの、光信号を処理するか、またはイメージセンシング感度を向上させるためのさらなる構成を備える。例えば、リードアウト回路は、ピクセルアレイ１１０から提供される電気的信号に基づいて、ローデータ（Ｒａｗ ｄａｔａ）を生成し、ローデータまたは不良ピクセル除去などの前処理が行われたローデータを、イメージデータＩＤＴＡとして出力する。イメージセンサ１００は、ピクセルアレイ１１０及びリードアウト回路を備える半導体チップまたはパッケージとして具現される。

イメージセンサ１００は、ピクセルアレイ１１０で生成されたピクセル信号を、複数のモジュールを用いて処理することで、イメージデータＩＤＴＡを出力する。

イメージデータＩＤＴＡは、ピクセル信号が複数のモジュール（例えば、ランプ信号生成器、リードアウト回路など）によって処理された結果である。一実施形態で、イメージデータＩＤＴＡは、２進コードである。一実施形態で、イメージデータＩＤＴＡは、客体に関するピクセル情報及びピクセル値を含む。例えば、イメージデータＩＤＴＡは、客体の特定部分をセンシングした光感知素子のピクセルアレイ１１０上の位置、ピクセルの色相（すなわち、カラーフィルタの種類）などを、ピクセル情報として含む。一実施形態で、イメージデータＩＤＴＡは、イメージセンサ１００が処理できるデータの動的領域によるピクセル値を含む。例えば、イメージデータＩＤＴＡは、個別ピクセルについての動的領域が１０ビットであるため、０ないし１０２３のピクセル値のうちのセンシングされたピクセル値を、個別ピクセルに関するデータとして含む。

一実施形態で、複数のピクセル値の集合は、ベイヤーイメージと称される。ここで、ベイヤーイメージは、物理的に光の特定波長を透過させる機能を行うカラーフィルタとは区分される。一実施形態で、ベイヤーイメージは、イメージセンサ１００でセンシングされたイメージが、イメージ信号処理器２００、アプリケーションプロセッサ３００、またはユーザ環境で認識される観念的イメージ形象に対応するイメージである。言い換えると、ベイヤーイメージは、電子装置１０内で１つの処理単位として取り扱われる、完成されたイメージのピクセル情報を有するイメージデータを意味する。説明の便宜のために、本明細書では、「ベイヤーイメージ」の用語を使ってイメージデータを説明するが、本明細書で開示される技術的思想は、ベイヤーパターンのカラーフィルタに限らず、多様なパターンを有するカラーフィルタが適用される。

イメージ信号処理器（ＩＳＰ）２００は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、またはＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）を備える。イメージ信号処理器２００が直接実行する、またはイメージ信号システムに含まれているイメージ信号処理器２００が実行する処理は、イメージアーチファクト（ａｒｔｉｆａｃｔｓ）についてのイメージ向上アルゴリズムの適用を意味する。例えば、イメージ信号処理器２００は、受信されたイメージフレームについて、ホワイトバランシング、ノイズ除去（ｄｅｎｏｉｓｉｎｇ）、モザイク除去（ｄｅｍｏｓａｉｃｋｉｎｇ）、レンズシェーディング、及びガンマ補正などを行うが、これに限定されず、多様なイメージ後処理を行ってもよい。

イメージ信号処理器２００は、イメージデータＩＤＴＡについてイメージ処理を行う。例えば、イメージ信号処理器２００は、イメージデータＩＤＴＡにおいてデータ形式を変更するイメージ処理（例えば、ベイヤーパターンのイメージデータをＹＵＶまたはＲＧＢ形式に変更）、ノイズ除去、輝度調整、鮮明度調整などの画質向上のためのイメージ処理などを含む。イメージ信号処理器２００は、電子装置１０のハードウェアを構成する。図１で、イメージ信号処理器２００がイメージセンサ１００とは別途に構成されることを図示したが、これに限定されるものではなく、イメージ信号処理器２００は、イメージセンサ１００の内部に位置するか、または、アプリケーションプロセッサ３００の内部に位置してもよい。

本発明の一実施形態によれば、イメージ信号処理器２００は、イメージセンサ１００の出力信号であるイメージデータＩＤＴＡを受信し、イメージデータＩＤＴＡを加工及び処理した結果であるエンコードデータＥＤを生成する。エンコードデータＥＤは、第１インターフェース（Ｉ／Ｆ）２５０を通じて外部に提供される。

イメージ信号処理器２００は、エンコーダ２１０、モード選択器２３０、及び第１インターフェース２５０を備える。本発明の一実施形態によれば、イメージ信号処理器２００は、イメージデータＩＤＴＡを受信して、エンコードデータＥＤを出力する。

エンコーダ２１０は、イメージデータＩＤＴＡを圧縮してデータのサイズを低減させ、処理装置（例えば、アプリケーションプロセッサ３００）で処理されるように、イメージ規格によって符号化する。本発明の一実施形態によれば、エンコーダ２１０は、イメージデータＩＤＴＡを圧縮することで圧縮データＣＤを生成し、モード選択器２３０に出力する。本発明の一実施形態によれば、エンコーダ２１０は、モード選択器２３０のモード信号ＭＯＤＥを受信し、圧縮モードによるエンコードを実行することで、エンコードデータＥＤを生成する。

本発明の一実施形態によれば、エンコーダ２１０は、客体をセンシングしたピクセル値を含むイメージデータＩＤＴＡのうち、過度に受光された飽和ピクセル（Ｓａｔｕｒａｔｉｏｎ Ｐｉｘｅｌ；ＳＰ）を除いた残りのピクセルを、飽和ピクセルと同じ色相情報を有して飽和ピクセルに隣接している他のピクセルである基準ピクセルと比べることで、イメージデータＩＤＴＡを圧縮する。

本発明の一実施形態によれば、飽和ピクセルＳＰは、過度な受光によって生成されたピクセル値を有するデータに対応する。本発明の一実施形態によれば、飽和ピクセルＳＰは、人間の目で差を明らかに識別できないほど明るい光を表すピクセルに関するデータである。飽和ピクセルＳＰは、ピクセルが表現できる最大ピクセル値とは微細な差があるが、イメージの解像度にはほとんど影響を及ぼさない。

一実施形態で、飽和ピクセルＳＰは、個別ピクセルが有するデータのサイズである動的範囲のうち、しきい値を超えるピクセル値を有するピクセルである。本発明の一実施形態によれば、しきい値は、個別ピクセルの動的範囲のうちの上限線にほぼ近接したピクセル値であってもよい。例えば、個別ピクセルの動的範囲が１０ビットである場合（すなわち、ピクセル当り１０ビットの情報を含む）、個別ピクセルのピクセル値は０ないし１０２３であり、しきい値は１０００である。この際、ピクセル値が１０００よりも大きいかまたは同じであるピクセルは、飽和ピクセルＳＰに分類される。例えば、しきい値は、個別ピクセルの動的範囲の上限の９５％に当たる値であるが、これに限定されない。

任意のピクセルを飽和ピクセルＳＰに分類するためのしきい値は、個別ピクセルの動的範囲によって、撮像環境によって、または要求される解像度によって多様に変更される。

本発明の一実施形態によれば、個別ピクセルの動的範囲が小さいほど、しきい値は、ピクセル値の上限線の縮小に比例して変更される。例えば、動的範囲が８ビットである場合、個別ピクセルの動的範囲は０～２５５であり、この時のしきい値は２３０である。例えば、動的範囲が１２ビットである場合、個別ピクセルの動的範囲は０ないし４１９１であり、この時のしきい値は４０００である。

本発明の一実施形態によれば、撮像環境が飽和ピクセルを多く生成する場合、しきい値は上昇する。例えば、撮像環境が野外、または逆光の多い状況である場合、しきい値は１０２０である。例えば、撮像環境が室内、または逆光がほとんどない状況である場合、しきい値は９５０である。

本発明の一実施形態によれば、要求される解像度が高い場合、しきい値は、個別ピクセルの動的範囲の上限にさらに近く設定される。例えば、高解像度が要求される場合、１０ビットのピクセルのしきい値は１０２０である。例えば、低解像度が要求される場合、１０ビットのピクセルのしきい値は９８０である。

本発明は、上述したしきい値の特定の数値に限定されず、最適化した圧縮率を達成すために、可変的に変更される。

一実施形態で、基準ピクセルは、複数のピクセルのうちのいずれか１つのピクセルである。基準ピクセルは、圧縮しようとする対象である対象ピクセルと同じカラーを有する。基準ピクセルは、対象ピクセルよりも先に圧縮される。基準ピクセルは、対象ピクセルよりも先に復元されることで、対象ピクセルの解読時に参照される。基準ピクセルは、対象ピクセルから予め定められている方向及び距離に位置する。

一実施形態で、基準ピクセルは、特定の値を有する仮想のピクセルである。例えば、基準ピクセルは、複数のピクセルのピクセル平均値、または複数のピクセルそれぞれのピクセル値を昇順（または降順）に整列し、そのうち、中間値を取るピクセル中位値を有する仮想のピクセルを指す。基準ピクセル及び対象ピクセルの関係については、図５Ａ及び図５Ｂを参照してさらに詳細に説明する。

エンコーダ２１０は、イメージデータＩＤＴＡを符号化してエンコードデータＥＤを生成する。エンコードデータＥＤは、ビットストリームの形態に出力する。イメージ信号処理器２００は、イメージデータＩＤＴＡを符号化する過程で、メモリ・サブシステム４００に保存されているデータの読み取り及び書き込み動作を行う。

エンコーダ２１０は、ベイヤーカラーフィルタを通じて獲得された原本ピクセルデータに対応するイメージデータＩＤＴＡを圧縮して、ベイヤーイメージのサイズを縮める。ベイヤーイメージは、ピクセルアレイ１１０を通じて獲得されたベイヤーパターンのピクセルデータを意味する。

本発明の一実施形態によれば、エンコーダ２１０は、イメージデータＩＤＴＡでピクセル値がしきい値を超えるピクセルを、飽和ピクセルＳＰに分類する。本発明の一実施形態によれば、エンコーダ２１０は、飽和ピクセルＳＰと同じカラー情報を含む候補ピクセルのうち、飽和ピクセルに物理的に隣接している基準ピクセルを定める。本発明の一実施形態によれば、エンコーダ２１０は、圧縮対象となる対象ピクセルのピクセル値を、基準ピクセルのピクセル値と比べることで、データの量を減縮させる。

被写体を撮像するに当って、圧縮しようとする対象である対象ピクセルと、対象ピクセルに位置的に隣接している候補ピクセル、または基準ピクセルとのピクセル値の差が大きい場合が発生する。ピクセル値の差が大きい原因として、イメージセンサ１００によりセンシングされたイメージが、周辺の他の被写体に比べて相対的に小さいながら輝度または色相の対比が大きいスポットピクセル、イメージセンサ１００のセンシング・エラーである不良ピクセル、ベイヤーイメージ上の角部分であるエッジピクセル、撮像環境が逆光の多い状況、または野外環境などの場合がある。上記のような場合が発生すると、圧縮のために参照される候補ピクセルと、隣接しているピクセルとの差が大きいため、圧縮率が落ちるか、または画質の劣化が起きる虞がある。よって、対象ピクセルと、隣接している他のピクセルとの間のピクセル値の差が大きい状況が発生する場合を考えた圧縮が行われる必要があり、圧縮を実行するに当ってフラグを考慮すると、画質劣化を防止することができる。対象ピクセルと基準ピクセルとを比較（例えば、差分）することでデータを圧縮する方式は、差分パルスコード符号化方法（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）と称される。

イメージデータＩＤＴＡは、行ごとに（ｒｏｗ－ｂｙ－ｒｏｗ）、左側からエンコーディング（またはデコーディング）されるため、比較の対象になる基準ピクセルは、既にエンコーディング（またはデコーディング）されている必要がある。よって、本発明の一実施形態によれば、基準ピクセルは、対象ピクセルの左側または上側に位置する。しかし、本発明はこれに限定されるものではなく、エンコーディング（またはデコーディング）される手順によって飽和ピクセルに隣接しているものの、先にエンコーディング（またはデコーディング）処理された領域にあるピクセルのうちのいずれか１つが基準ピクセルに定められる。例えば、飽和ピクセルＳＰと同じカラー情報を含むピクセルのうち、飽和ピクセルＳＰに最も近い左側にあるピクセルが、基準ピクセルとして定められる。この際、飽和ピクセルＳＰと基準ピクセルとの相対的な位置、または対象ピクセルと基準ピクセルとの相対的な位置が定められる。基準ピクセルが定められることで、基準ピクセルの対象ピクセルとの相対的な位置は、デコーダ３１０にも共有される。基準ピクセルの位置は、飽和ピクセルＳＰの位置とも係わる。

一実施形態によれば、エンコーダ２１０は、ピクセルの集合であるピクセルグループ単位でデータを圧縮する。本発明の一実施形態によれば、ピクセルグループが飽和ピクセルを含む場合に、エンコーダ２１０は、飽和ピクセルを圧縮せずに飽和ピクセルの位置情報のみを生成する。本発明の一実施形態によれば、エンコーダ２１０は、圧縮率の低下を引き起こす飽和ピクセルを圧縮せずに飽和ピクセルの位置情報のみを保存することで、飽和ピクセルが保存される空間を、他のピクセルが保存される空間に再び割り当てる。

一実施形態によれば、エンコーダ２１０は、ピクセルグループを圧縮することでビットストリームを生成する。本発明の一実施形態によれば、ビットストリームは、圧縮方法、圧縮モード、圧縮率、損失情報などを示すヘッダ、飽和ピクセルの位置情報を含む飽和位置フラグ、及び圧縮対象になる対象ピクセルと基準ピクセルとのピクセル値の差である、残留情報を含む。本発明の一実施形態によれば、飽和ピクセルと基準ピクセルとのピクセル値の差がビットストリームに保存されないことで、ビットストリームの限定された空間は、非飽和ピクセルのために割り当てられるため、非飽和ピクセルのデータ損失率は最小になる。ビットストリームの構造については、図６ないし図１１を参照して後述する。

エンコーダ２１０がイメージデータＩＤＴＡをエンコーディングする過程については、図２、図６ないし図１２でさらに詳細に説明する。

モード選択器２３０は、圧縮データＣＤを受信し、イメージデータＩＤＴＡを複数の圧縮モードのうち、いかなる圧縮モードでエンコーディングするかを定める。一実施形態によれば、イメージ信号処理器２００は、圧縮対象、圧縮率、エラー率、及び／または損失情報によって、互いに異なる多様な圧縮モードを有する。本発明の一実施形態によれば、モード選択器２３０は、圧縮データＣＤの圧縮率、エラー率、損失情報などを確認して、他の圧縮モードと比べる。

本発明の一実施形態によれば、圧縮データＣＤが、他の圧縮モードによる結果に比べて性能に優れた場合、モード選択器２３０は、圧縮データＣＤを生成した方式に対応する圧縮モードで、イメージデータＩＤＴＡをエンコーディングするように指示するモード信号ＭＯＤＥをエンコーダ２１０に出力する。一実施形態で、圧縮データＣＤが他の圧縮モードによる結果に比べて性能が優れていない場合、圧縮データＣＤを生成した方式に対応する圧縮モードではない、他の優れた圧縮方式で、イメージデータＩＤＴＡをエンコーディングするように指示するモード信号ＭＯＤＥを出力する。圧縮モードとして、ピクセルグループのうち、飽和ピクセルを圧縮しない飽和モード以外にも、不良ピクセルを探知するＢＰ（Ｂａｄ Ｐｉｘｅｌ）モードが用いられる。複数の圧縮モードについては、図１３Ａ及び図１３Ｂで詳細に説明する。

第１インターフェース２５０は、エンコーディングデータＥＤが他の装置または他のモジュールに好適な規格で伝送されるように、装置間のインタペーシングを支援する。インターフェースは、規格及び設定が互いに異なる装置の間のデータ及び／または信号の伝送を円滑にする物理的プロトコル（規約）または規格である。

一実施形態で、第１インターフェース２５０は、アプリケーションプロセッサ３００にエンコーディングデータＥＤを伝送するために、アプリケーションプロセッサ３００が支援するインタペーシング方法と同じインタペーシング方法でデータを伝送する。一実施形態で、第１インターフェース２５０は、メモリ・サブシステム４００にエンコーディングデータＥＤを保存するために、メモリ・サブシステム４００が支援するインタペーシング方法と同じインタペーシング方法でデータを伝送する。

カメラモジュール５０は、イメージセンサ１００及びイメージ信号処理器２００を備える。カメラモジュール５０で生成されたエンコーディングデータＥＢは、ビットストリームの形態に出力される。エンコーディングデータＥＢは、カメラモジュール５０と同じ規約を共有する装置（例えば、デコーダ３１０）によって解読される。規約とは、圧縮方式、圧縮手順、圧縮ビット、基準ピクセルの位置などの圧縮アルゴリズムに関する原則であって、符号化された原理と同じ原理が適用されることで、復号できる相互合意を意味する。一実施形態で、カメラモジュール５０に含まれているエンコーダ２１０に適用された規約と同一でさえあれば、カメラモジュール５０で生成されたエンコーディングデータＥＢはデコーディングされるため、デコーダ３１０は、エンコーダ２１０と必ずしも同じ半導体チップに実装される必要はない。一実施形態によって、カメラモジュール５０とアプリケーションプロセッサ３００との生産者は、互いに異なってもよい。

図１には、カメラモジュール５０がメモリを備えないことが図示されているが、本発明はこれに限定されない。一実施形態によれば、カメラモジュール５０は、メモリ・サブシステム４００のメモリのうちの一部を備える。例えば、カメラモジュール５０は、メモリ・サブシステム４００のメモリのうちの一部として、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備える。しかし、これは例示に過ぎず、カメラモジュール５０は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などの、速い速度でデータアクセスを支援する多様な種類のメモリ装置を備える。カメラモジュール５０にメモリが含まれた場合は、３－積層（３－ＳＴＡＣＫ）構造と称される。

アプリケーションプロセッサ３００は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、またはＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）である。アプリケーションプロセッサ３００は、デコーダ３１０から受信した復号されたビットストリームについて、後処理（ｐｏｓｔ ｐｒｏｃｅｓｓｉｎｇ）を行う。後処理は、イメージアーチファクトへのイメージ向上アルゴリズムの適用を意味する。例えば、アプリケーションプロセッサ３００は、受信した復号されたビットストリームについて、ホワイトバランシング、ノイズ除去、モザイク除去、レンズシェーディング、及びガンマ補正などを行うが、これに限定されず、イメージの品質を向上させるための多様な機能を行う。

アプリケーションプロセッサ３００は、デコーダ３１０、及び第２インターフェース３３０を備える。

第２インターフェース３３０は、エンコーダ２１０から生成されたビットストリーム形態のエンコーディングデータＥＤを受信する。第２インターフェース３３０は、第１インターフェース２５０と同じ規格でデータを提供する。一実施形態で、第１インターフェース２５０及び第２インターフェース３３０が使う規格は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ Ａｌｌｉａｎｃｅ）である。ＭＩＰＩは、製品生産者団体であるＭＩＰＩ連合が合議した規格であって、モバイル機器メーカーが共通的にインターフェース方法及び仕様を規定したデータ通信規約である。しかし、インタペーシング方法はこれに限定されず、多様な任意のデータ通信及び信号入出力規約が存在する。

第２インターフェース３３０は、エンコーディングデータＥＤを、アプリケーションプロセッサ３００に好適なデータ通信形式にインタペーシングし、デコーダ３１０にデータを提供する。

デコーダ３１０は、エンコーディングデータＥＤをデコーディング（復号）する。一実施形態で、デコーダ３１０は、エンコーダ２１０がイメージデータＩＤＴＡをエンコーディングするために経る一連の過程を逆順に実行することで、圧縮された対象ピクセルの原本ピクセル値を復元する。言い換えれば、デコーダ３１０は、エンコーダ２１０を通じて圧縮されたイメージデータＩＤＴＡを復元する。

一実施形態で、デコーダ３１０には、エンコーダ２１０と同じ規約が適用される。デコーダ３１０は、エンコーダ２１０に使われた符号化方法に対応するアルゴリズムに基づいた復号方法を用いる。本発明の一実施形態によれば、デコーダ３１０には、エンコーダ２１０で定められた基準ピクセルの対象ピクセルとの相対的な位置が予め設定される。例えば、飽和ピクセルＳＰと同じカラー情報を含むピクセルのうち、飽和ピクセルＳＰに最も近い左側にあるピクセルが基準ピクセルに定められることで、デコーダ３１０は、復号の対象になる対象ピクセルを、対象ピクセルと同じカラー情報を有するものの、対象ピクセルの左側に位置している基準ピクセルのピクセル値に基づいてデコーディングする。一実施形態によって、デコーダ３１０は、対象ピクセルと基準ピクセルとの相対的な位置情報に基づいてデコーディングすることで、相対的に少ないデータだけでも、対象ピクセルを復元することができる。デコーダ３１０のデコーディング動作については、図３で詳細に説明する。

メモリ・サブシステム４００は、イメージセンサ１００、またはイメージ信号処理器２００から提供されるイメージデータＩＤＴＡ、圧縮データＣＤ、及び／またはエンコーディングデータＥＤを保存する。また、メモリ・サブシステム４００は、エンコーディングデータＥＤをデコーディングすることで生成された復元データを保存する。また、メモリ・サブシステム４００は、保存されたデータを電子装置１０の他の構成に提供する。これ以外にも、メモリ・サブシステム４００は、電子装置１０の駆動に必要な各種システムやユーザーデータを保存する。

メモリ・サブシステム４００は、揮発性メモリまたは不揮発性メモリで具現される。例えば、メモリ・サブシステム４００は、各種情報を不揮発的に保存する不揮発性メモリと、電子装置１０の駆動に係わってファームウェアなどの情報などがローディングされる揮発性メモリなどを備える。揮発性メモリは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）などを含み、不揮発性メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、ＰＲＡＭ（Ｐｈａｓｅ－ｃｈａｎｇｅ ＲＡＭ）、ＭＲＡＭ（Ｍａｇｎｅｔｉｃ ＲＡＭ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ）などを含む。

一実施形態で、メモリ・サブシステム４００のうちの一部は、イメージ信号処理器２００のデータを保存し、メモリ・サブシステム４００のうちの他の一部は、アプリケーションプロセッサ３００のデータを保存して、キャッシュメモリ機能を提供する。図１では、説明の便宜のために、１つのメモリ・サブシステム４００がイメージ信号処理器２００及びアプリケーションプロセッサ３００を同時に支援するように図示されたが、これは、保存またはキャッシュメモリ機能を支援することを概念的及び機能的に説明するものであって、１つの半導体チップに実装される必要はない。

一実施形態で、メモリ・サブシステム４００のうちの一部は、イメージ信号処理器２００のデータを保存するメモリ装置として用いられ、イメージデータＩＤＴＡの少なくとも一部を臨時に保存するバッファとして機能する。

一実施形態によれば、メモリ・サブシステム４００は、イメージデータＩＤＴＡのうちの１番目の行に対応するデータをバッファリングする。サブピクセルは、マトリックス状に配列され、エンコーダ２１０は、ピクセルのピクセル情報がいずれも提供された後でこそデータを圧縮するため、イメージデータＩＤＴＡのうちの１番目の行に対応するデータは今すぐ処理される必要はない。

イメージデータＩＤＴＡのうちの２番目の行に対応するデータが提供される時、イメージ信号処理器２００は、メモリ・サブシステム４００に１番目の行についてのイメージデータＩＤＴＡをローディングする。エンコーダ２１０は、イメージデータＩＤＴＡ及び提供された２番目の行に対応するイメージデータＩＤＴＡに基づいて、ピクセルに対応するデータを圧縮する。圧縮されたデータはメモリ・サブシステム４００に保存される。

イメージ信号処理器２００及びアプリケーションプロセッサ３００は、ロジック回路を備えるハードウェアのような処理回路として具現されるか、または圧縮動作を行うソフトウェアを実行するプロセッサのように、ハードウェアとソフトウェアとの組み合わせで具現される。特に、処理回路は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）、算術及び論理演算、ビットシフトなどを行うＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などで具現されるが、これに限定されない。

本発明によるイメージ圧縮方法は、圧縮率の低下を引き起こす飽和ピクセルを圧縮しないことで、非飽和ピクセルに割り当てられるビットを増大させる。非飽和ピクセルに割り当てられるピクセルが増大することで、画質劣化が低減し、圧縮率は向上する。

図２は、本発明の一実施形態によるエンコーダを示すブロック図である。図１が共に参照される。

図２を参照すると、エンコーダ２１０は、探知器（Ｅ＿Ｄｅｔｅｃｔｏｒ）２１１、飽和フラグ生成器２１３、圧縮器２１５、再建器（Ｅ＿Ｒｅｃｏｎｓｔｒｕｃｔｏｒ）２１７、及び参照バッファ（Ｅ＿Ｒｅｆｅｒｅｎｃｅ Ｂｕｆｆｅｒ）２１９を備える。エンコーダ２１０は、探知器２１１、参照バッファ２１９、飽和フラグ生成器２１３、圧縮器２１５、及び再建器２１７を総括的に制御する中央プロセッサ（図示せず）を備える。または、探知器２１１、参照バッファ２１９、飽和フラグ生成器２１３、圧縮器２１５、及び再建器２１７がそれぞれ自体のプロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が互いに有機的に作動することで、エンコーダ２１０が全体として作動してもよい。または、エンコーダ２１０の外部プロセッサ（図示せず）の制御によって、探知器２１１、参照バッファ２１９、飽和フラグ生成器２１３、圧縮器２１５、及び再建器２１７が制御されてもよい。図２に図示したエンコーダ２１０に、図１で説明したエンコーダ２１０が適用される。図１と背反しない範囲で重複する説明は省略する。

エンコーダ２１０は、イメージセンサ１００から入力されたイメージデータＩＤＴＡを圧縮して、データ情報量を低減させる。一実施形態によって、エンコーダ２１０は、ベイヤーイメージ上で圧縮しようとする対象である対象ピクセルを、対象ピクセルと位置的に近接している複数の候補ピクセルと比べることで、イメージデータＩＤＴＡを圧縮する。

探知器２１１には、イメージセンサから生成されたイメージデータＩＤＴＡが入力される。探知器２１１は、イメージデータＩＤＴＡを構成する複数のピクセルを、一定の配列及び数でグループ化する。グループ化されたピクセルは、ピクセルグループと称され、エンコーダ２１０では、ピクセルグループ単位でデータが処理される。例えば、探知器２１１は、イメージデータＩＤＴＡをピクセルグループ単位で圧縮する。ピクセルグループは、ピクセルが横、縦それぞれ３個ずつ配列された３×３構成、または５×５構成などの二次元アレイ配列であってもよく、または１つの行（ｒｏｗ）に並んで配列された８ピクセルの集合である１×８構成などの配列であってもよい。ピクセルグループの構成であるピクセルの横、縦それぞれの数を意味する３×３、５×５及び／または１×８構成は、説明の便宜のための例示に過ぎず、開示された構成及び数値に限定されない。

一実施形態によれば、探知器２１１は、圧縮しようとする対象ピクセルと、対象ピクセルに位置的に近接している複数の候補ピクセルとを探索する。ピクセルグループの構成及びサイズによって、１回に探索されるピクセルの数は可変的である。複数の候補ピクセルは、対象ピクセルの左側または上側に位置するが、エンコーディング手順によって変わってもよい。

本発明の一実施形態によれば、探知器２１１は、ピクセルグループに飽和ピクセルが存在することを探知する。本発明の一実施形態によれば、探知器２１１は、ピクセルグループを構成するピクセルのピクセル値のうち、しきい値を超えるピクセル値を有するピクセルを、飽和ピクセルＳＰ（図１）と定める。例えば、ピクセル毎に１０ビットが割り当てられ、ピクセルの動的範囲が０ないし１０２３である時、しきい値は１０００と定められる。この場合、探知器２１１は、ピクセルのうち１０００を超えるピクセル値を持つピクセルを、飽和ピクセルＳＰと定める。探知器２１１は、飽和ピクセルＳＰと判断されたピクセルについて、飽和ピクセルであることを示す属性（Ａｔｔｒｉｂｕｔｅ）情報（例えば、フラグ）をタグ付け（ｔａｇｇｉｎｇ）する。

本発明の一実施形態によれば、探知器２１１は、ピクセルグループに飽和ピクセルが２個以上存在することを探知し、エンコーダ２１０が、飽和モードでイメージデータを圧縮させる。例えば、探知器２１１は、飽和ピクセルが２個以上であるため、飽和モードで圧縮するように指示するモード信号ＭＯＤＥを生成する。例えば、探知器２１１は、飽和ピクセルが２個以上であるため、モード信号に関係なく飽和モードで動作するように、エンコーダ２１０に信号を伝送する。一実施形態で、探知器２１１は、再建器２１７で復元されて参照バッファ２１９に保存された候補ピクセルに関する情報を、既に符号化されている対象ピクセルの次の対象ピクセルをエンコーディングする時に用いる。一実施形態によれば、次の対象ピクセルを圧縮またはエンコーディングするための候補ピクセルとして、以前にエンコーディングされた対象ピクセルが用いられる。

飽和フラグ生成器２１３は、ピクセルグループに含まれている飽和ピクセルの位置情報をフラグ形態に生成する。本発明の一実施形態によれば、処理単位であるピクセルグループに飽和ピクセルが含まれる場合、飽和フラグ生成器２１３は、ピクセルグループでの飽和ピクセルの位置をビットとして表現するフラグを生成する。フラグは、対象ピクセル及び基準ピクセルの方向情報を番号付けまたは特定ビットにマッピングした値である。

本発明の一実施形態によれば、飽和フラグ生成器２１３は、ピクセルグループに含まれている複数のピクセルのうち、非飽和ピクセルはビット０で、飽和ピクセルはビット１で処理する。例えば、ピクセルグループに４個のピクセルが存在し、そのうちの２番目のピクセルが飽和ピクセルである場合、飽和フラグ生成器２１３は、０１００のフラグを生成する。しかし、非飽和ピクセルがビット０で、飽和ピクセルがビット１で処理されることは例示に過ぎず、飽和フラグ生成器２１３は、多様な方式で非飽和ピクセルまたは飽和ピクセルを互いに区分する。例えば、飽和フラグ生成器２１３は、ピクセルグループに含まれている複数のピクセルのうち、非飽和ピクセルはビット１で、飽和ピクセルはビット０でそれぞれ処理する。以下で例示される非飽和ピクセル及び飽和ピクセルの区分によるビット割り当ては、上記の説明が同様に適用される。

圧縮器２１５は、圧縮方法、圧縮モード、圧縮率、損失情報などを示すヘッダ、飽和ピクセルの位置情報を含む飽和位置フラグ（飽和フラグ）、及び圧縮対象になる対象ピクセルと基準ピクセルとのピクセル値の差である、残留（Ｒｅｓｉｄｕａｌ）情報についてのエンコーディング（符号化）を行い、行われた結果をビットストリームに含ませる。ビットストリームは、エンコーディングされたビットの連続された集合である。本発明の一実施形態で、ビットストリームは、ヘッダ情報が保存されるヘッダ領域、飽和フラグが保存される飽和フラグ領域、及び基準ピクセルと対象ピクセルとの差である残留情報が保存される残留領域を含む。

イメージデータＩＤＴＡは、行ごとに（ｒｏｗ－ｂｙ－ｒｏｗ）、左側からエンコーディング（またはデコーディング）されるため、比較の対象になる基準ピクセルは、既にエンコーディング（またはデコーディング）されている必要がある。本発明の一実施形態によれば、エンコーダ２１０は、対象ピクセルと同じカラー情報を含むものの、対象ピクセルに最も隣接している左側または上側ピクセルを基準ピクセルとして定める。一実施形態で、フラグを含むエンコーディングデータＥＤを受信するデコーダ３１０は、対象ピクセルをデコーディングするとき、参照ピクセルとしていかなるピクセルを用いるべきかを即刻で判別する。しかし、本発明は上記の位置関係に限定されない。エンコーディング（またはデコーディング）される手順によって飽和ピクセルに隣接しているものの、先にエンコーディング（またはデコーディング）処理された領域にあるピクセルのうち、いずれか１つが基準ピクセルに定められてもよい。

本発明の一実施形態で、圧縮器２１５は、予め定められている対象ピクセルと基準ピクセルとの相対的な位置情報に基づいて、対象ピクセルを圧縮する。一実施形態で、圧縮器２１５は、予め設定されているか、または属性形態としてピクセル情報にタグ付けされている相対的な位置情報に基づいて、圧縮の対象になる対象ピクセルを、圧縮のための基準値を提供する基準ピクセルと比べる。本発明の一実施形態で、圧縮器２１５は、対象ピクセルの位置から、予め定められている特定の位置にある基準ピクセルを探索して、対象ピクセルのピクセル値と基準ピクセルのピクセル値とを比べる。例えば、圧縮器２１５は、対象ピクセルのピクセル値で、対象ピクセルの直上に位置して同じカラー情報を含む基準ピクセルＲＰのピクセル値について、差分演算を行う。差分演算が行われた結果として、残留情報が生成される。本発明では、説明の便宜のために比較演算の一例として差分演算を挙げたが、これに限らず多様な演算方法が適用される。また、対象ピクセルと複数の候補ピクセルのそれぞれとを比べる方法は、本明細書で提案された方法に限らず、複数の候補ピクセルの複数のピクセル値の平均など多様な比較方法が適用される。

本発明の一実施形態によれば、圧縮器２１５は、イメージデータＩＤＴＡのうちの飽和ピクセルＳＰについては、差分演算を行わない。本発明の一実施形態によれば、圧縮器２１５は、ピクセルグループに含まれている複数のピクセルのうち、非飽和ピクセルについては、基準ピクセルとの差分演算を行った結果として残留情報を生成するが、ピクセルグループに飽和ピクセルＳＰが含まれている場合には、飽和フラグ生成器２１３で生成された飽和フラグのみをビットストリームに含ませて、飽和ピクセルＳＰと基準ピクセルとの差分演算は行わない。本発明の一実施形態によれば、飽和ピクセルＳＰがビットストリームに含まれないことで、飽和ピクセルＳＰの基準ピクセルとの差分演算結果に対応するビットストリームの保存空間は、非飽和ピクセルにさらに割り当てられる。それによって、非飽和ピクセルの残留情報は、飽和ピクセルについての残留情報が含まれるときに比べて、さらに大きい空間を用いてデータを表現でき、非飽和ピクセルの圧縮による損失率は最小化される。

圧縮器２１５は、モード信号ＭＯＤＥに基づいてイメージデータＩＤＴＡを圧縮する。本発明の一実施形態によれば、モード信号ＭＯＤＥは、圧縮モード、圧縮方法、圧縮率、及び／または損失情報によって、圧縮器２１５が互いに異なってイメージデータＩＤＴＡを圧縮するように指示する。

一実施形態で、モード信号ＭＯＤＥは、モード選択器２３０から圧縮データＣＤの圧縮率、エラー率、損失情報などが評価された結果によって生成され、複数の圧縮モードのうち、いずれか１つを指示する。

本発明の一実施形態によれば、圧縮方法として、複数の対象ピクセルのそれぞれのピクセル値と、基準ピクセルから定められた基準値との差分演算に基づいて、エンコーディングが行われるＤＰＣＭ方法（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）と、原本ピクセルの値の平均値に基づいて符号化が行われる平均方法などが含まれる。ＤＰＣＭモードで用いられる候補ピクセルとして、既に符号化されている対象ピクセルが用いられ、符号化された対象ピクセルとしてＤＰＣＭモードに用いられる候補ピクセルに関する情報は、参照バッファ２１９に保存される。多様な圧縮方法については、図１３Ａ及び図１３Ｂで詳細に説明する。

一実施形態で、圧縮器２１５は、残留情報をビットストリームの圧縮領域に含ませる。この際、圧縮領域に割り当てられたメモリサイズよりも残留情報のデータサイズがさらに大きければ、イメージデータＩＤＴＡを圧縮するに当ってデータ損失、すなわち、画質劣化が発生する。圧縮器２１５は、画質劣化を防止するために、圧縮領域に含まれている残留情報についてビットシフトを行うことで、割り当てられたメモリサイズに合うようにデータのサイズを調整する。

圧縮器２１５は、エンコーディングデータＥＤをビットストリーム形態で外部に出力する。また、圧縮器２１５は、エンコーディングされた対象ピクセルを再びデコーディングするために、エンコーディングデータＥＤを再建器２１７に提供する。

再建器２１７は、圧縮器２１５から出力されるエンコーディングデータＥＤを復元することで、候補ピクセルを再び生成する。一実施形態で、再建器２１７は、エンコーディングされた対象ピクセルを再び復号することで、デコーダ３１０（図１）で行われるデコーディングに類似した環境を設定する。エンコーダ２１０には、以前の対象ピクセルについて、対象ピクセルに関する原本ピクセル情報と、対象ピクセルがエンコーディング及びデコーディングされたピクセル情報とがいずれも存在するのに対し、デコーダ３１０には、対象ピクセルに関する原本情報が存在しない。すなわち、エンコーダ２１０で、候補ピクセルとして以前の原本ピクセルを使えば、デコーダ３１０では、エンコーダ２１０で参照した、以前の対象ピクセルについての原本ピクセルに関する情報がないため、復元結果に誤差が発生し、よって、エンコーダ２１０とデコーダ３１０との間に不一致が発生する。よって、以前に符号化された対象ピクセルを再び復元したピクセルが、候補ピクセルとして使われる。再建器２１７は、復元されたピクセルを、メモリ・サブシステム４００に保存する。または、再建器２１７は、復元されたピクセルを参照バッファ２１９に直接保存してもよい。

参照バッファ２１９は、対象ピクセルをエンコーディングするためのデータとして、候補ピクセルに関する情報を探知器２１１０に提供する。候補ピクセルは、対象ピクセルの周辺に位置しているピクセル（ｎｅｉｇｈｂｏｒｈｏｏｄ ｐｉｘｅｌ）であって、対象ピクセルに隣接するものの、対象ピクセル及びカラー情報は同一である。一実施形態によって、参照バッファ２１９は、対象ピクセルのエンコーディングのために必要な対象ピクセルの周辺ピクセルのピクセル値を保存するためのラインメモリで構成される。一実施形態による参照バッファ２１９は、ＤＲＡＭまたはＳＲＡＭのような揮発性メモリで具現されるが、これに限定されない。

本発明によるイメージ圧縮方法は、圧縮率の低下を引き起こす飽和ピクセルを圧縮しないことで、非飽和ピクセルに割り当てられるビットを増大させる。非飽和ピクセルに割り当てられるピクセルが増大することで、画質劣化が低減され、圧縮率が向上する。また、本発明によるイメージ圧縮方法は、飽和ピクセルが多い場合に無損失圧縮を果たす。

図３は、本発明の一実施形態によるデコーダを示すブロック図である。図１及び図２が、図３と共に参照される。

デコーダ３１０は、エンコーディングデータＥＤをデコーディング（復号）する。一実施形態で、デコーダ３１０は、エンコーダ２１０がイメージデータＩＤＴＡをエンコーディングするために経る一連の過程を逆順に実行することで、圧縮された対象ピクセルの原本ピクセル値を復元（または解読）し、これにより、デコーダ３１０は、エンコーダ２１０を通じて、圧縮されているイメージデータＩＤＴＡを復元する。

一実施形態で、デコーダ３１０には、エンコーダ２１０と同じ規約が適用される。デコーダ３１０は、エンコーダ２１０に使われた符号化方法に対応するアルゴリズムに基づいた復号方法を用いる。本発明の一実施形態によれば、デコーダ３１０には、エンコーダ２１０で定められた基準ピクセルの対象ピクセルとの相対的な位置が予め設定される。例えば、デコーダ３１０は、基準ピクセルが位置すると予め定められている特定位置から復元されたデータを参照することで、復元対象ピクセルを解読する。

一実施形態で、デコーダ３１０は、ピクセルグループ単位で圧縮されたイメージデータＩＤＴＡを復元する。ピクセルグループは、エンコーダ２１０で使われた処理単位である。例えば、エンコーダ２１０で、１つの行に並んで配列された８個ピクセルの集合である１×８構成のピクセルグループが使われた場合、デコーダ３１０でもやはり同じ１×８構成のピクセルグループが使われる。

デコーダ３１０は、探知器３１１（Ｄ＿Ｄｅｔｅｃｔｏｒ）、モード決定器３１３、圧縮解除器３１５、再建器３１７（Ｄ＿Ｒｅｃｏｎｓｔｒｕｃｔｏｒ）、及び参照バッファ３１９（Ｄ＿Ｒｅｆｅｒｅｎｃｅ Ｂｕｆｆｅｒ）を備える。デコーダ３１０は、探知器３１１、モード決定器３１３、圧縮解除器３１５、再建器３１７、及び参照バッファ３１９を総括的に制御する中央プロセッサ（図示せず）を備える。または、探知器３１１、モード決定器３１３、圧縮解除器３１５、再建器３１７、及び参照バッファ３１９がそれぞれ自体のプロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が互いに有機的に作動することで、デコーダ３１０が全体として作動してもよい。または、デコーダ３１０の外部プロセッサ（図示せず）の制御によって、探知器３１１、モード決定器３１３、圧縮解除器３１５、再建器３１７、及び参照バッファ３１９が制御されてもよい。図３に図示されたデコーダ３１０のうち、探知器３１１、再建器３１７、及び参照バッファ３１９は、図２のエンコーダ２１０で説明した探知器２１１、再建器２１７、参照バッファ２１９と類似した機能を行うが、探知器２１１、再建器２１７、参照バッファ２１９のそれぞれで行われたアルゴリズムの逆演算を行うように構成されるため、重複する説明は省略する。

探知器３１１は、エンコーディングデータＥＤのうち、エンコーディング処理の単位で用いられたピクセルグループを探知する。一実施形態で、探知器３１１は、２進コードのビットストリーム形態であるエンコーディングデータＥＤを、デコーディングの単位であるピクセルグループ別に探知する。

モード決定器３１３は、ビットストリームのヘッダを解読し、圧縮モード、圧縮方法、圧縮率、損失情報を確認する。本発明の一実施形態によれば、モード決定器３１３は、ヘッダを解読した結果として、圧縮方法はＤＰＣＭ方式で行われ、圧縮モードとして、飽和ピクセルＳＰ（図１）を圧縮しない飽和モードが用いられたことが分かる。本発明の一実施形態で、モード決定器は、飽和フラグを確認することで、圧縮モードとして飽和モードが用いられたことが分かる。一実施形態で、モード決定器３１３は、ヘッダから、ビットシフト演算の実行回数及び比較結果の符号を定め、復元ピクセルを生成するに当って、対象ピクセルと基準ピクセルとの比較方法を定める。

圧縮解除器３１５は、定められた圧縮モード、圧縮方法、圧縮率、損失情報に基づいて、対象ピクセルを復元する。本発明の一実施形態によれば、圧縮解除器３１５は、予め設定されている対象ピクセルと基準ピクセルとの相対的な位置情報に基づいて、基準ピクセルの位置を確認し、残留情報を基準ピクセルのピクセル値と合算することで、対象ピクセルを復元する。本発明の一実施形態による残留情報は、相対的に多いデータを含むため、対象ピクセルの復元率は向上する。

本発明の一実施形態によれば、圧縮解除器３１５は、エンコーディングデータＥＤで飽和フラグを確認し、飽和ピクセルＳＰの位置を確認する。

本発明の一実施形態によれば、圧縮解除器３１５は、ピクセルグループのうち、飽和ピクセルの位置ではないと判断されたピクセルの圧縮を解除する。一実施形態で、圧縮解除器３１５は、非飽和ピクセルについて、基準ピクセルとの合算によって対象ピクセルの復元を行う。例えば、飽和フラグのうち、ビット０に当たる第１ピクセルについては、第１ピクセルに対応する残留情報に基準ピクセルのピクセル値を合算することで、対象ピクセルを復元する。復元された結果は、復元データＲＩＤＴＡとして出力される。

本発明の一実施形態によれば、圧縮解除器３１５は、ピクセルグループのうち、飽和ピクセルの位置であると判断されたピクセルについては、基準ピクセルとの合算を通じた対象ピクセルの復元を行わない。例えば、飽和フラグのうち、ビット１に当たる第２ピクセルについては、既設定の飽和値を、対象ピクセルとして復元する。例えば、第２ピクセルは、飽和値としてピクセル値が１０００であるピクセルに復元される。

本発明の一実施形態によれば、圧縮解除器３１５は、飽和ピクセルについては、予め定められている復元値をピクセル値として復元させる。一実施形態によれば、しきい値は、エンコーダ２１０で任意のピクセルのうち、飽和ピクセルであると判断するために用いられたしきい値と同一である。一実施形態によれば、しきい値は、エンコーダで飽和ピクセルを判断するためのしきい値と、個別ピクセルの動的範囲の最大値との平均値である。これ以外にも、復元率を極大化させるための多様な復元値が用いられる。

再建器３１７は、復元データＲＩＤＴＡを再配列することで次の復元対象ピクセルを復元する。一実施形態で、再建器３１７は、Ｎ番目（Ｎは自然数）の行に関する復元データＲＩＤＴＡに基づいて、Ｎ＋１番目の行を復元する。

再建器３１７は、基準ピクセルに対応するデータを復元対象ピクセルよりも先に復元する。デコーダ３１０は、行ごとに順次にデータを復元するため、基準ピクセルに対応するデータは、復元対象データよりも時間的に先に復元される必要がある。

参照バッファ３１９は、イメージデータＩＤＴＡの１番目の行に対応するデータをバッファリングする。イメージデータＩＤＴＡの１番目の行に対応するデータがバッファリングされる間に、探知器３１１は、イメージデータＩＤＴＡの２番目の行に対応するデータを探知する。探知器３１１がイメージデータＩＤＴＡの２番目の行に対応するデータを処理する時、参照バッファ３１９にバッファリングされた１番目の行に対応するデータがローディングされることで、イメージデータＩＤＴＡの１番目の行及び２番目の行のイメージが一緒に判断される。デコーダ３１０は、１番目の行に関するイメージデータを直ちに復号せずにバッファリングし、２番目の行に関するイメージデータを復号する時、１番目の行及び２番目の行に対応するイメージデータを一緒に復号するため、復号にかかる電力は減少される。

図４は、本発明の一実施形態によるイメージ圧縮方法を説明するフローチャートである。図１が共に参照される。

段階Ｓ１１０で、エンコーダ２１０（図１）は、イメージデータＩＤＴＡに含まれているピクセルグループのうち、飽和ピクセルを検出する。一実施形態で、エンコーダ２１０は、互いに隣接して同じカラーを有する複数のピクセルであるピクセルグループのうち、ピクセル値がしきい値を超える飽和ピクセルを検出する。しきい値は、複数のピクセルのそれぞれが有するピクセル値の動的範囲の上限の９５％の値であるが、これに限定されない。例えば、ピクセル値として１０ビットが割り当てられる時、しきい値は、１０００であるが、これに限定されない。

段階Ｓ１２０で、エンコーダ２１０は、飽和ピクセルの位置を示す飽和フラグを生成する。エンコーダ２１０は、飽和ピクセルの位置をビット１に、非飽和ピクセルの位置をビット０に設定するが、これと逆のビットが設定されてもよい。飽和フラグとして４ビットが割り当てられるが、これに限定されない。

段階Ｓ１３０で、エンコーダ２１０は、飽和ピクセルを除いた残留ピクセルのそれぞれと基準ピクセルとを比べることで、イメージデータＩＤＴＡを圧縮する。基準ピクセルの位置は予め定められる。基準ピクセルは、対象ピクセルよりも先に圧縮される。基準ピクセルの位置は、対象ピクセルよりも先立つ。例えば、基準ピクセルは、対象ピクセルよりも先の行に位置する。例えば、基準ピクセルは、対象ピクセルよりも左側に位置する。例えば、基準ピクセルは、対象ピクセルよりも先に圧縮された後、復元されたピクセル値に対応する。しかし、これは行ごとに、及び左側ごとに順次に圧縮する場合についてのものであり、圧縮する手順及び方向によって変わってもよい。比較方法として、差分方式が用いられるが、これに限定されず、多様な比較方法が適用される。

比較方法として、差分方式が用いられる。差分方式は、基準ピクセルのピクセル値と、対象ピクセルのピクセル値との差値を算出することで、データを圧縮する。本発明では、基準ピクセルとして複数のピクセルのうち、いずれか１つのピクセルが選択されることを仮定しているが、これに限定されない。例えば、基準ピクセルは、複数のピクセルのピクセル平均値、または複数のピクセルのそれぞれのピクセル値を昇順（または降順）に整列し、そのうち、中間値を取るピクセル中位値を有する仮想のピクセルを指す。

段階Ｓ１４０で、エンコーダ２１０は、飽和フラグ、圧縮結果、及び圧縮情報を含むビットストリームを出力する。一実施形態によれば、圧縮情報は、ビットストリームのうち、ヘッダ領域に含まれ、飽和フラグは、フラグ領域に含まれ、圧縮結果は、残留領域に含まれる。

一実施形態によって、ビットストリームは、モード信号ＭＯＤＥに基づいて出力構造が定められる。例えば、飽和モードを指示するモード信号ＭＯＤＥによって、エンコーダ２１０は、飽和フラグ、圧縮結果、及び飽和モードを示す圧縮情報を含むビットストリームを出力する。例えば、飽和モードではない他の圧縮モードを指示するモード信号ＭＯＤＥによって、エンコーダは、互いに異なる構造としてビットストリームを出力する。

一実施形態によって、エンコーダ２１０は、２個以上の飽和ピクセルを検出する。飽和ピクセルが２個以上である場合、ビットストリームは、モード信号ＭＯＤＥに関係なく、いつも飽和モードでビットストリームを出力する。

図５Ａ及び図５Ｂは、本発明の一実施形態によるピクセルの構造を示す概念図である。図１が共に参照される。

図５Ａを参照すると、イメージセンサ１００（図１）で生成されたイメージデータＩＤＴＡは、客体に関するピクセル情報がベイヤーパターンに配列されたものに対応する。ベイヤーパターンのイメージデータを、ベイヤーイメージと称する。

イメージデータＩＤＴＡは、ベイヤーピクセル１１１を備える。ベイヤーピクセル１１１は、レッド、グリーン、及びブルーのカラー情報をいずれも含むピクセルの集合である。ベイヤーピクセル１１１は、ベイヤーパターンに配列されたピクセルの集合である。ベイヤーピクセル１１１は、客体の一部に関するカラー情報をディスプレイするための基本単位である。

ベイヤーピクセル１１１は、ピクセルグループ１１３を備える。一実施形態で、ベイヤーピクセル１１１は、１つのレッドピクセルグループ、２つのグリーンピクセルグループ、１つのブルーピクセルグループを備える。ベイヤーピクセル１１１は、センシングした客体の一部に関するカラー情報を含むものであり、ピクセルアレイ１１０（図１）の一部に対応する。

ピクセルグループ１１３は、複数のサブピクセル１１５を備える。１つのピクセルグループ１１３に含まれている複数のサブピクセル１１５は、同じカラーフィルタを通過して生成されるため、同じカラー情報を有する。

複数のサブピクセル１１５は、マトリックス状に配列される。図３では、サブピクセル１１５の配列が２×２マトリックスである例を示したが、これに限定されず、複数のサブピクセル１１５は、３×３行列など、Ｍ×Ｎ（Ｍ、Ｎは自然数）の形態で配列される。一実施形態で、グリーンピクセルグループは、４個のグリーンサブピクセルＧｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４を備える。同様に、一実施形態によれば、ブルーピクセルグループは、４個のブルーサブピクセルＢ１、Ｂ２、Ｂ３、Ｂ４を備え、レッドピクセルグループは、４個のレッドサブピクセルＲ１、Ｒ２、Ｒ３、Ｒ４を備え、ピクセルグループ１１３がベイヤーパターンに従うことで２つのグリーンピクセルグループを備えるため、他のグリーンピクセルグループは、４個の他のグリーンサブピクセルＧｂ１、Ｇｂ２、Ｇｂ３、Ｇｂ４を備える。

１つのベイヤ－ピクセル１１１に含まれている２つのグリーンピクセルグループのそれぞれは、カラー情報は同一であるが、物理的には互いに異なる特性を処理するように配列されることで実質的に区分される。一実施形態で、ベイヤーピクセル１１１の１番目及び２番目の行のグリーンピクセルＧｒ１ないしＧｒ４は、レッドピクセルの特性と係わり、３番目及び４番目の行のグリーンピクセルＧｂ１ないしＧｂ４は、ブルーピクセルの特性と係わるが、これに限定されない。

複数のサブピクセル１１５が同じカラーについてのサブピクセル信号を生成することで、電子装置１０（図１）は、サブピクセル信号を合算することで、低い照度でも光センシングの結果である電気信号を充分に生成することができる。

図５Ｂを参照すると、ベイヤーピクセル１１１の１番目及び２番目の行のグリーンピクセルＧｒ１ないしＧｒ４は基準ピクセルＲＰであり、ベイヤーピクセル１１１の３番目及び４番目の行のグリーンピクセルＧｂ１ないしＧｂ４は、圧縮対象である対象ピクセルＴＰである。

一実施形態で、基準ピクセルＲＰの位置は、予め定められる。エンコーダ２１０（図１）に予め設定されている基準ピクセルＲＰの位置は、デコーダ３１０（図１）に予め設定されている基準ピクセルＲＰの位置と同一である。デコーダ３１０は、基準ピクセルＲＰの位置に当たるデータを参照することで、対象ピクセルＴＰを復元する。

基準ピクセルＲＰは、対象ピクセルＴＰよりも先に圧縮され、基準ピクセルＲＰの位置は、対象ピクセルＴＰよりも論理的及び時間的に先立つ。例えば、基準ピクセルＲＰは、対象ピクセルＴＰよりも左側に位置する。例えば、基準ピクセルは、対象ピクセルよりも先に圧縮された後で復元されたピクセル値に対応する。例えば、基準ピクセルは、対象ピクセルよりも先の行に位置する。しかし、これは行ごとに、及び左側ごとに順次に圧縮する場合についてのものであり、圧縮する手順及び方向によって変更される。

図５Ｂでは、基準ピクセルＲＰとして複数のピクセルのうち、いずれか１つのピクセル（例えば、ピクセルグループ１１３）が選択されることを仮定しているが、これに限定されない。例えば、基準ピクセルＲＰは、ピクセルグループを構成するサブピクセルのピクセル平均値である仮想のピクセルである。例えば、基準ピクセルＲＰは、ピクセルグループを構成するサブピクセルのそれぞれのピクセル値を昇順（または降順）に整列し、そのうちの中間値であるピクセル中位値を有する仮想のピクセルである。

本発明の一実施形態によれば、対象ピクセルＴＰは飽和ピクセルＳＰを備える。飽和ピクセルＳＰは、サブピクセルのそれぞれが有するデータのサイズである動的範囲のうち、しきい値を超えるピクセル値を有するピクセルである。例えば、対象ピクセルＴＰのうち、サブピクセルＧｂ２及びサブピクセルＧｂ３がしきい値を超えるピクセル値を有する。

本発明の一実施形態によれば、サブピクセルＧｂ２及びサブピクセルＧｂ３のピクセル値のそれぞれと、基準ピクセルＲＰのピクセル値とが比較されることで、ピクセル値は圧縮される。例えば、エンコーダ２１０は、サブピクセルＧｂ２のピクセル値と基準ピクセルＲＰのピクセル値との差値を算出し、サブピクセルＧｂ３のピクセル値と基準ピクセルＲＰのピクセル値との差値を算出し、差値のみを圧縮した結果として、ビットストリームの形態で出力する。

図６は、差分パルスコード符号化方法（ＤＰＣＭ）によるビットストリームの構造を示す概念図である。図６は、図４の圧縮方法によるビットストリームである。図６は、１０ビットでデータを表現するピクセル４個の圧縮によるビットストリームを仮定する。

図６を図１及び図４と共に参照すると、ビットストリームは、ヘッダ領域ＨＥＡＤＥＲ、基準領域ＲＥＦＥＲＥＮＣＥ、及び残留領域ＲＥＳＩＤＵＡＬを備える。一実施形態によって、４ビットが、ヘッダ情報としてヘッダ領域に割り当てられる。ヘッダ情報は、圧縮方法（例えば、ＤＰＣＭ方法、ＰＣＭ方法など圧縮されたアルゴリズムに関する情報）を含む、符号化されたビット集合である。ヘッダ情報に４ビットが割り当てられた結果として、２＾４（＝１６）個の圧縮情報がヘッダ情報を通じて伝達される。一実施形態によって、デコーダ３１０は、ヘッダ情報を通じてサブピクセルの圧縮方法を参照し、同じ圧縮方法を用いてビットストリームを復号（解読）する。

一実施形態によれば、エンコーダ２１０（図１）は、予め定められている位置のピクセルグループまたはサブピクセルを基準ピクセルＲＰに設定する。基準ピクセルＲＰは、ピクセル値そのものであるか、ピクセルグループを構成するサブピクセルのピクセル平均値、またはピクセル中位値である。基準ピクセルＲＰは、データを圧縮するための比較基準である。

一実施形態によって、４ビットが基準ピクセルＲＰに割り当てられる。基準ピクセルＲＰは、１０ビットのピクセル値を含むのに対し、割り当てられたデータ空間は４ビットであるため、データ空間が足りない。よって、エンコーダ２１０は、基準ピクセルＲＰのデータのうち、一部を除去する。一実施形態によって、エンコーダ２１０は、基準ピクセルＲＰの１０ビットのうち、下位の６ビットを除去し、上位の４ビットのみをビットストリームの基準領域ＲＥＦＥＲＥＮＣＥに含ませる。エンコーダ２１０に要求される性能（圧縮率、データ損失率、電力など）によって、任意の数の下位ビットが除去される。

一実施形態によって、３ビットが１つの残留領域ＲＥＳＩＤＵＡＬに割り当てられる。１つのピクセルグループ１１３（図５Ａ）は、４個のサブピクセル１１５（図５Ａ）を備え、１つのピクセルグループ１１３に関するデータを伝送するビットストリームには、総４個のサブピクセル１１５についての空間が、総１２ビット（３ＢＩＴ＿１、３ＢＩＴ＿２、３ＢＩＴ＿３、３ＢＩＴ＿４）割り当てられる。残留領域に含まれるデータは、基準ピクセルＲＰのピクセル値と、対象ピクセルＴＰのピクセル値との差値である。

結果的に、４個のサブピクセル１１５の総データ量である４０ビットは、１６ビットに圧縮される。圧縮情報を含むヘッダに４ビットが割り当てられたことを加えると、以前の４０ビットは２０ビットに圧縮され、圧縮率は５０％になる。説明の便宜のために、圧縮されたデータのサイズは２０ビットであると仮定したが、これに限定されず、要求される性能（圧縮率、データ損失率、電力など）によって１０ビット（圧縮率７５％）、３０ビット（圧縮率２５％）など多様なサイズにデータが圧縮される。

図７、図８、及び図９は、本発明の一実施形態による飽和ピクセルＳＰの発生数ごとに、互いに異なるビットが割り当てられたビットストリームの構造を示す概念図である。図７ないし図９は、１０ビットでデータを表現するピクセル４個の圧縮によるビットストリームを仮定する。４個のピクセルＰ１、Ｐ２、Ｐ３、及びＰ４のそれぞれは、サブピクセルであるか、ピクセルグループのピクセル平均値またはピクセル中位値である。

図７を図１及び図５Ｂと共に参照すると、エンコーダ２１０（図１）は、第１ピクセルＰ１、第２ピクセルＰ２、第３ピクセルＰ３、及び第４ピクセルＰ４をエンコーディングする。エンコーダ２１０の圧縮目標は５０％であり、圧縮結果であるビットストリームのデータ量は、総２０ビットを達成する。

エンコーダ２１０は、第４ピクセルＰ４を、飽和ピクセルＳＰ（図１）と判定する。飽和ピクセルＳＰは、過度な受光によって、しきい値を超えるピクセル値を有するピクセルである。

エンコーダ２１０は、対象ピクセルＴＰ（図５Ｂ）と基準ピクセルＲＰ（図５Ｂ）とを比べることで、イメージデータＩＤＴＡ（図１）を圧縮する。本発明の一実施形態によれば、エンコーダ２１０は、ピクセルグループのうち、飽和ピクセルＰ４を除いた非飽和ピクセルＰ１、Ｐ２、Ｐ３のそれぞれを基準ピクセルＲＰと比べる。例えば、エンコーダ２１０は、非飽和ピクセルＰ１、Ｐ２、Ｐ３のピクセル値と基準ピクセルＲＰとの差値を算出する。

エンコーダ２１０は、圧縮方法を、４ビットが割り当てられたヘッダ領域ＨＥＡＤＥＲに含ませる。例えば、ヘッダはビット０１１１で表現される。

エンコーダ２１０は、飽和ピクセルＰ４の位置を、４ビットが割り当てられた飽和フラグ領域ＳＡＴＵＲＡＴＩＯＮ ＦＬＡＧに含ませる。例えば、飽和フラグは、第４ピクセルＰ４のみが飽和ピクセルＳＰであるため、ビット０００１で表現される。

エンコーダ２１０は、圧縮結果（例えば、差値）を、４ビットが割り当てられた残留空間ＲＥＳＩＤＵＡＬに含ませる。例えば、第１ピクセルＰ１の圧縮結果は、４ビットの残留空間Ｐ１＿１に、第２ピクセルＰ２の圧縮結果は、４ビットの残留空間Ｐ２＿１に、第３ピクセルＰ３の圧縮結果は、４ビットの残留空間Ｐ３＿１にそれぞれ含まれる。

本発明の一実施形態によれば、エンコーダ２１０は、飽和ピクセルＰ４を基準ピクセルＲＰと比べないことで、ピクセルグループ１１３のうち、非飽和ピクセルＰ１、Ｐ２、及びＰ３の圧縮結果のみを残留領域に含ませる。よって、エンコーダ２１０は、図６が残留領域に４個のピクセルに関するデータを含むのに対し、非飽和ピクセル（Ｐ１、Ｐ２、またはＰ３）が表現できるデータ量を、３ビットから４ビットに増大させる（動的範囲の増大）。これによって、圧縮過程で引き起こされるデータ損失による画質劣化が最小化する。また、同じ圧縮率を持つ圧縮方法に比べて、高解像度の映像を獲得する。

図８を図１及び図５Ｂと共に参照すると、エンコーダ２１０は、第１ピクセルＰ１、第２ピクセルＰ２、第３ピクセルＰ３、及び第４ピクセルＰ４をエンコーディングする。エンコーダ２１０の圧縮目標は５０％であり、圧縮結果であるビットストリームのデータ量は、総２０ビットを達成することは、図７と同様である。図７と重複する説明は省略する。

エンコーダ２１０は、第３ピクセルＰ３及び第４ピクセルＰ４を飽和ピクセルＳＰと判定する。エンコーダ２１０は、対象ピクセルＴＰと基準ピクセルＲＰとを比べることで、イメージデータＩＤＴＡを圧縮する。

本発明の一実施形態によれば、エンコーダ２１０は、ピクセルグループのうち、飽和ピクセルＰ３及びＰ４を除いた非飽和ピクセルＰ１及びＰ２のそれぞれを、基準ピクセルＲＰと比べる。例えば、エンコーダ２１０は、非飽和ピクセルＰ１及びＰ２のピクセル値と基準ピクセルＲＰとの差値を算出する。

エンコーダ２１０は、飽和ピクセルＰ３及びＰ４の位置を、４ビットが割り当てられた飽和フラグ領域ＳＡＴＵＲＡＴＩＯＮ ＦＬＡＧに含ませる。例えば、飽和フラグは、第３ピクセルＰ３及び第４ピクセルＰ４が飽和ピクセルＳＰであるため、ビット００１１で表現される。

エンコーダ２１０は、圧縮結果（例えば、差値）を、６ビットが割り当てられた残留空間ＲＥＳＩＤＵＡＬに含ませる。例えば、第１ピクセルＰ１の圧縮結果は、６ビットの残留空間Ｐ１＿２に、第２ピクセルＰ２の圧縮結果は、６ビットの残留空間Ｐ２＿２にそれぞれ含まれる。

本発明の一実施形態によれば、エンコーダ２１０は、飽和ピクセルＰ３及びＰ４を基準ピクセルＲＰと比べないことで、ピクセルグループ１１３のうち、非飽和ピクセルＰ１及びＰ２の圧縮結果のみを残留領域に含ませる。よって、エンコーダ２１０は、図７が残留領域に３個のピクセルに関するデータを含むのに対し、非飽和ピクセルＰ１及びＰ２が表現できるデータ量を、４ビットから６ビットに増大させる（動的範囲の増大）。これによって、圧縮過程で引き起こされるデータ損失による画質劣化は最小化される。また、同じ圧縮率を有する圧縮方法に比べて、高解像度の映像を獲得することができる。

本発明の一実施形態によれば、飽和ピクセルＳＰがより多く検出されるほど、圧縮率が改善され、画質劣化はさらに最小化される。

図９を図１及び図５Ｂと共に参照すると、エンコーダ２１０は、第１ピクセルＰ１、第２ピクセルＰ２、第３ピクセルＰ３、及び第４ピクセルＰ４をエンコーディングする。エンコーダ２１０の圧縮目標は５０％であり、圧縮結果であるビットストリームのデータ量は、総２０ビットを達成することは、図７と同様である。図７と重複する説明は省略する。

エンコーダ２１０は、第２ピクセルＰ２、第３ピクセルＰ３、及び第４ピクセルＰ４を、飽和ピクセルＳＰと判定する。エンコーダ２１０は、対象ピクセルＴＰと基準ピクセルＲＰとを比べることで、イメージデータＩＤＴＡを圧縮する。

本発明の一実施形態によれば、エンコーダ２１０は、ピクセルグループのうち、飽和ピクセルＰ２、Ｐ３、及びＰ４を除いた非飽和ピクセルＰ１を、基準ピクセルＲＰと比べる。例えば、エンコーダ２１０は、非飽和ピクセルＰ１のピクセル値と基準ピクセルＲＰとの差値を算出する。

エンコーダ２１０は、飽和ピクセルＰ２、Ｐ３、及びＰ４の位置を、４ビットが割り当てられた飽和フラグ領域ＳＡＴＵＲＡＴＩＯＮ ＦＬＡＧに含ませる。例えば、飽和フラグは、第２ピクセルＰ２、第３ピクセルＰ３、及び第４ピクセルＰ４が飽和ピクセルＳＰであるため、ビット０１１１で表現される。

エンコーダ２１０は、圧縮結果（例えば、差値）を、１２ビットが割り当てられた残留空間ＲＥＳＩＤＵＡＬに含ませる。例えば、第１ピクセルＰ１の圧縮結果は、１２ビットの空間のうちの１０ビットの残留空間Ｐ１＿３に含まれる。２ビットがさらに保存可能なデータ領域は、圧縮に用いられないダミー領域ＤＵＭＭＹである。

本発明の一実施形態によれば、エンコーダ２１０は、飽和ピクセルＰ２、Ｐ３、及びＰ４を基準ピクセルＲＰと比べないことで、ピクセルグループ１１３のうち、非飽和ピクセルＰ１の圧縮結果のみを残留領域に含ませる。よって、エンコーダ２１０は、図８が残留領域に２個のピクセルに関するデータを含むのに対し、非飽和ピクセルＰ１が表現されるデータ量を、６ビットから１０ビットに増大させる（動的範囲の増大）。これによって、圧縮過程でデータ損失が引き起こされない、いわゆる無損失圧縮が達成される。本発明の一実施形態によれば、飽和ピクセルＳＰがより多く検出されるほど、圧縮率が改善され、画質劣化はより最小化される。

図１０は、本発明の一実施形態によるピクセルの構造を示す概念図である。

図１０を参照すると、イメージデータＩＤＴＡ（図１）は、レッド、グリーン、及びブルーのカラー情報をいずれも含むピクセルの集合であるベイヤーピクセル１１２を備える。ベイヤーピクセル１１２は、客体の一部に関するカラー情報をディスプレイするための基本単位である。

ベイヤーピクセル１１２は、ピクセルグループ１１４を備える。一実施形態で、ベイヤーピクセル１１２は、１つのレッドピクセルグループ、２つのグリーンピクセルグループ、１つのブルーピクセルグループを備える。ベイヤーピクセル１１２は、センシングした客体の一部に関するカラー情報を含むものであり、ピクセルアレイ１１０（図１）の一部に対応する。

ピクセルグループ１１４は、複数のサブピクセル１１６を備える。１つのピクセルグループ１１４に含まれている複数のサブピクセル１１６は、同じカラーフィルタを通過して生成されるため、同じカラー情報を有する。

複数のサブピクセル１１６は、マトリックス状に配列される。図５Ａとは異なり、図１０では、３×３行列に配列されることが例示されるが、これに限定されず、Ｍ×Ｎ（Ｍ、Ｎは自然数）の形態に配列されうる。

一実施形態で、グリーンピクセルグループは、９個のグリーンサブピクセルＧ１ａ、Ｇ２ａ、Ｇ３ａ、Ｇ４ａ、Ｇ５ａ、Ｇ６ａ、Ｇ７ａ、Ｇ８ａ、及びＧ９ａを備える。同様に、一実施形態によれば、ブルーピクセルグループは、９個のブルーサブピクセルＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８、及びＢ９を備え、レッドピクセルグループは、９個のレッドサブピクセルＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、及びＲ９を備え、ピクセルグループ１１４がベイヤーパターンに従うことで２個のグリーンピクセルグループを備えるため、他のグリーンピクセルグループは、９個の他のグリーンサブピクセルＧ１ｂ、Ｇ２ｂ、Ｇ３ｂ、Ｇ４ｂ、Ｇ５ｂ、Ｇ６ｂ、Ｇ７ｂ、Ｇ８ｂ、及びＧ９ｂを備える。

以下、グリーンサブピクセルＧ１ａ、Ｇ２ａ、Ｇ３ａ、Ｇ４ａ、Ｇ５ａ、Ｇ６ａ、Ｇ７ａ、Ｇ８ａ、及びＧ９ａを備える第１グリーンピクセルグループを、基準ピクセルＲＰ’と仮定し、他のグリーンサブピクセルＧ１ｂ、Ｇ２ｂ、Ｇ３ｂ、Ｇ４ｂ、Ｇ５ｂ、Ｇ６ｂ、Ｇ７ｂ、Ｇ８ｂ、及びＧ９ｂを備える第２グリーンピクセルグループを、対象ピクセルＴＰ’と仮定する。

図１１は、差分パルスコード符号化方法（ＤＰＣＭ）によるビットストリームの構造を示す概念図である。図１１は、図１０のピクセルの構造によるビットストリームを説明する。図１１は、１０ビットでデータを表現するピクセル９個の圧縮によるビットストリームを仮定する。本発明では、説明の便宜のために、１つのサブピクセルに含まれているデータが１０ビットである例を示すが、これに限定されず、１つのサブピクセルが、８ビット、１１ビット、または１２ビットなど多様なビットのデータを含んでもよい。

エンコーダ２１０は、９個のピクセルが含む９０ビットのデータを４５ビットに圧縮するために、ビットストリームのデータ空間を割り当てられる。９０ビットのデータが４５ビットのデータに圧縮される場合、圧縮率は５０％である。

図１１を図１及び図１０と共に参照すると、ビットストリームは、ヘッダ領域ＨＥＡＤＥＲ、基準領域ＲＥＦＥＲＥＮＣＥ、及び残留領域ＲＥＳＩＤＵＡＬを備える。

一実施形態によって、４ビットが、ヘッダ領域ＨＥＡＤＥＲに割り当てられる。ヘッダ情報は、圧縮方法（例えば、ＤＰＣＭ方法、ＰＣＭ方法などの圧縮されたアルゴリズムに関する情報）を含む、符号化されたビット集合であり、ヘッダ情報に４ビットが割り当てられた結果として、２＾４（＝１６）個の圧縮情報がヘッダ情報を通じて伝達されることは、上述した通りである。

ピクセルグループ１１４を構成する複数のサブピクセルのうちのいずれか１つ、または複数のサブピクセルのピクセル値に基づいた仮想ピクセルが、基準ピクセルとして定められる。例えば、エンコーダ２１０は、平均値（Ａｖｅｒａｇｅ）または中位値（Ｍｅｄｉａｎ）を有するサブピクセル１１６を基準ピクセルＲＰ’として定めるか、または、複数のサブピクセルのうち、予め定められているいずれか１つのサブピクセル１１６を基準ピクセルＲＰ’（図１０）として定める。

一実施形態によって、５ビットが、基準ピクセルＲＰ’のために基準領域に割り当てられる。基準ピクセルＲＰ’は、１０ビットのピクセル値を含むのに対し、割り当てられたデータ空間は５ビットであるため、データ空間が足りない。これを解決するために、エンコーダ２１０は、基準ピクセルＲＰのデータのうちの一部を除去する。一実施形態によって、エンコーダ２１０は、基準ピクセルＲＰ’の１０ビットのうち、下位の５ビットを除去し、上位５ビットのみをビットストリームに含ませる。除去されるサブピクセルのデータはこれに限定されないことは、上述した通りである。

一実施形態によって、ピクセルグループ１１４のうち、圧縮対象である対象ピクセルＴＰ’（図１０）の圧縮結果が、残留領域ＲＥＳＩＤＵＡＬに含まれる。対象ピクセルＴＰ’は、９個のサブピクセルＧ１ｂ、Ｇ２ｂ、Ｇ３ｂ、Ｇ４ｂ、Ｇ５ｂ、Ｇ６ｂ、Ｇ７ｂ、Ｇ８ｂ、及びＧ９ｂを備える。ビットストリームには４５ビットが含まれるが、ヘッダに４ビット、基準ピクセルＲＰ’に５ビットがそれぞれ割り当てられることで、残留領域には３６ビットが割り当てられる。

一実施形態によれば、対象ピクセルＴＰ’は、９個のサブピクセルＧ１ｂ、Ｇ２ｂ、Ｇ３ｂ、Ｇ４ｂ、Ｇ５ｂ、Ｇ６ｂ、Ｇ７ｂ、Ｇ８ｂ、及びＧ９ｂを備えるため、サブピクセルそれぞれには４ビット（４ＢＩＴＳ＿１、４ＢＩＴＳ＿２、…、４ＢＩＴＳ＿９）がそれぞれ割り当てられる。例えば、第１サブピクセルＧ１ｂの圧縮結果は第１残留領域ＲＥＳＩＤＵＡＬ１に、第２サブピクセルＧ２ｂの圧縮結果は第２残留領域ＲＥＳＩＤＵＡＬ２に、第９サブピクセルＧ９ｂの圧縮結果は第９残留領域ＲＥＳＩＤＵＡＬ９にそれぞれ含まれる。

結果的に、９個のサブピクセル１１６の総データ量である９０ビットは、４１ビットに圧縮される。圧縮情報を含むヘッダに４ビットが割り当てられたことを加えると、以前の９０ビットは４５ビットに圧縮され、圧縮率は５０％を果たす。説明の便宜のために、圧縮されたデータのサイズは４５ビットであると仮定されたが、これに限定されず、要求される性能（圧縮率、データ損失率、電力など）によって、多様なサイズにデータが圧縮される。

図１２は、本発明の一実施形態による飽和ピクセルの発生によって生成される、ビットストリームの構造を示す概念図である。

図１２を図１０及び図１１と共に参照すると、エンコーダ２１０（図１）は、第１ピクセルＰ１、第２ピクセルＰ２、第３ピクセルＰ３、第４ピクセルＰ４、第５ピクセルＰ５、第６ピクセルＰ６、第７ピクセルＰ７、第８ピクセルＰ８、及び第９ピクセルＰ９をエンコーディングする。エンコーダ２１０の圧縮目標は５０％であり、圧縮結果であるビットストリームのデータ量は、総４５ビットを達成する。

エンコーダ２１０は、第２ピクセルＰ２ないし第８ピクセルＰ８を飽和ピクセルＳＰ（図１）と判定する。飽和ピクセルＳＰは、過度な受光によって、しきい値を超えるピクセル値を有するピクセルである。

エンコーダ２１０は、対象ピクセルＴＰ’（図１０）と基準ピクセルＲＰ’（図１０）とを比べることで、イメージデータＩＤＴＡ（図１）を圧縮する。本発明の一実施形態によれば、エンコーダ２１０は、ピクセルグループのうち、飽和ピクセルＰ２ないしＰ８を除いた非飽和ピクセルＰ１及びＰ９のそれぞれを、基準ピクセルＲＰと比べる。例えば、エンコーダ２１０は、非飽和ピクセルＰ１及びＰ９のピクセル値と基準ピクセルＲＰ’との差値を算出する。

エンコーダ２１０は、圧縮方法を、４ビットが割り当てられたヘッダ領域ＨＥＡＤＥＲに含ませる。例えば、ヘッダはビット０１１１で表現される。

エンコーダ２１０は、飽和ピクセルＰ２ないしＰ８の位置を、９ビットが割り当てられた飽和フラグ領域ＳＡＴＵＲＡＴＩＯＮ ＦＬＡＧに含ませる。例えば、飽和フラグはビット０１１１１１１１０で表現される。

エンコーダ２１０は、圧縮結果（例えば、差値）を、３２ビットが割り当てられた残留空間ＲＥＳＩＤＵＡＬに含ませる。例えば、第１ピクセルＰ１の圧縮結果は、１０ビットの残留空間Ｐ４＿１に、第９ピクセルＰ９の圧縮結果は、１０ビットの残留空間Ｐ４＿９にそれぞれ含まれる。１２ビットをさらに保存可能なデータ領域は、圧縮に用いられないダミー領域ＤＵＭＭＹである。

本発明の一実施形態によれば、エンコーダ２１０は、飽和ピクセルＰ２ないしＰ８を基準ピクセルＲＰ’と比べないことで、ピクセルグループ１１４のうち、非飽和ピクセルＰ１及びＰ９の圧縮結果のみを残留領域に含ませる。よって、エンコーダ２１０は、図１１が残留領域に９個のピクセルに関するデータを含むことに対し、非飽和ピクセル（Ｐ１またはＰ９）が表現できるデータ量を、４ビットから１０ビットに増大させる（動的範囲の増大）。これによって、圧縮過程でデータ損失が引き起こされない、いわゆる無損失圧縮が達成される。本発明の一実施形態によれば、飽和ピクセルＳＰがより多く検出されるほど、圧縮率が改善され、画質劣化はさらに最小化される。

図１３Ａ及び図１３Ｂは、本発明の一実施形態による圧縮情報を説明する表である。図１３Ａ及び図１３Ｂは、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）連合が提示する標準による圧縮モード（圧縮方法）を説明する。図１が共に参照される。

図１３Ａを参照すると、ベイヤ－パターンのイメージデータＩＤＴ（図１）が、多様な圧縮モードによって圧縮される。圧縮モードとして、ＰＤ（Ｐｉｘｅｌ－ｂａｓｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ＤＧＤ（ＤｉａＧｏｎａｌ Ｄｉｒｅｃｔｉｏｎ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＳＨＶ（ｅｘｔｅｎｄｅｄ Ｓｌａｎｔｅｄ Ｈｏｒｉｚｏｎｔａｌ ｏｒ Ｖｅｔｉｃａｌ Ｄｉｒｅｃｔｉｏｎ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ＯＵＴ（ＯＵＴｌｉｅｒ ｃｏｍｐｅｎｓａｔｉｏｎ）モード、ＦＮＲ（Ｆｉｘｅｄ ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄＮｏ－Ｒｅｆｅｅｎｃｅ）モードが用いられる。

ＰＤモードは、ベイヤーパターンのイメージデータＩＤＴＡについてＤＰＣＭを行う。ＰＤモードは、細部的な具現アルゴリズムによって、ＭＯＤＥ０、ＭＯＤＥ１、ＭＯＤＥ２、ＭＯＤＥ３、ＭＯＤＥ１２、ＭＯＤＥ１３に区分される。圧縮方法を示すヘッダに４ビットが割り当てられるため、１６個の圧縮モードは、それぞれ互いに異なるビットでヘッダ情報を表現する。例えば、ＭＯＤＥ０はビット００００、ＭＯＤＥ１はビット０００１、ＭＯＤＥ２はビット００１０、ＭＯＤＥ３はビット００１１、ＭＯＤＥ１２はビット１１００、ＭＯＤＥ１３はビット１１０１とそれぞれ表現される。

ＤＧＤモードは、対角線構造のイメージデータＩＤＴＡについてＤＰＣＭを行う。ＤＧＤモードは、細部的な具現アルゴリズムによって、ＭＯＤＥ４（ビット０１００）、ＭＯＤＥ５（ビット０１０１）、ＭＯＤＥ８（ビット１０００）、ＭＯＤＥ９（ビット１００１）、ＭＯＤＥ１０（ビット１０１０）、ＭＯＤＥ１１（ビット１０１１）に区分される。

これと類似して、ｅＳＨＶモードはＭＯＤＥ１４（ビット１１１０）及びＭＯＤＥ１５（１１１１）を含み、ＯＵＴモードはＭＯＤＥ７（ビット０１１１）を含み、ＦＮＲモードはＭＯＤＥ６（ビット０１１０）を含む。本発明の一実施形態によれば、ＭＯＤＥ７は、不良ピクセルを処理するＢＰモードを含むＯＵＴモードまたは飽和モードを指すが、動作環境によって、２つのモード（飽和モードまたはＯＵＴモード）のうちのいずれか１つが選択される。

一実施形態で、モード選択器２３０（図１）は、ＰＤモード、ＤＧＤモード、ｅＳＨＶモード、ＯＵＴモード、ＦＮＲモードを順次に評価し、圧縮率、損失情報などの圧縮評価指標によって最適のモードを選択する。しかし、本発明は、提示されたモード評価手順に限定されない。

図１３Ｂを参照すると、ベイヤーパターン１１１（図５Ａ）のうちの１つのピクセルグループ１１３（図５Ａ）が複数のサブピクセル（例えば、４個の互いに隣接している２ｘ２行列状のサブピクセル）を含むイメージデータＩＤＴＡが、多様な圧縮モードによって圧縮される。圧縮モードとして、ＡＤ（Ａｖｅｒａｇｅ－ｂａｓｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＨＶＤ（ｅｘｔｅｎｄｅｄ Ｈｏｒｉｚｏｎｔａｌ ｏｒ Ｖｅｒｔｉａｌ Ｄｉｒｅｃｔｉｏｎ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ＯＤ（Ｏｂｌｉｑｕｅ Ｄｉｒｅｃｔｉｏｎ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＭＰＤ（ｅｘｔｅｎｄｅｄ Ｍｕｌｔｉ－Ｐｉｘｅｌ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＨＶＡ（ｅｘｔｅｎｄｅｄ Ｈｏｒｉｚｏｎｔａｌ ｏｒ Ｖｅｒｔｉｃａｌ Ａｖｅｒａｇｅ－ｂａｓｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ）モード、ｅＯＵＴ（ｅｘｔｅｎｄｅｄ ＯＵＴｌｉｅｒ ｃｏｍｐｅｎｓａｔｉｏｎ）モード、及びＦＮＲモードが用いられる。

ＡＤモードは、ベイヤーパターンを構成する１つのピクセルグループ１１３が複数のサブピクセルを含むイメージデータＩＤＴＡについて、ＤＰＣＭを行う。ＡＤモードは、詳細的な具現アルゴリズムによって、ＭＯＤＥ０、ＭＯＤＥ１、ＭＯＤＥ２、ＭＯＤＥ３に区切られる。圧縮方法を示すヘッダに４ビットが割り当てられるため、１６個の圧縮モードは、それぞれ互いに異なるビットでヘッダ情報を表現する。例えば、ＭＯＤＥ０は、ビット００００で、ＭＯＤＥ１はビット０００１で、ＭＯＤＥ２はビット００１０で、ＭＯＤＥ３はビット００１１でそれぞれ表現される。

ＯＤモードは、対角線構造のイメージデータＩＤＴＡを圧縮する。ＯＤモードは、詳細的な具現アルゴリズムによって、ＭＯＤＥ４（ビット０１００）、ＭＯＤＥ５（ビット０１０１）に区切られる。

これと類似して、ｅＭＰＤモードは、ＭＯＤＥ８（ビット１０００）、ＭＯＤＥ９（ビット１００１）、ＭＯＤＥ１０（ビット１０１０）、及びＭＯＤＥ１１（ビット１０１１）を含み、ｅＨＶＤモードは、ＭＯＤＥ１２（ビット１１００）及びＭＯＤＥ１３（ビット１１０１）を含み、ｅＨＶＡモードは、ＭＯＤＥ１４（ビット１１１０）を含み、（ｅ）ＯＵＴモード（ｅＯＵＴモードまたはＯＵＴモード）は、ＭＯＤＥ１５（１１１１）及びＭＯＤＥ７（０１１１）を含み、ＦＮＲモードは、ＭＯＤＥ６（ビット０１１０）を含む。本発明の一実施形態によれば、ＭＯＤＥ７は、不良ピクセルを処理するＢＰモードを含む（ｅ）ＯＵＴモードまたは飽和モードを指すが、動作環境によって、２つのモード（飽和モードまたは（ｅ）ＯＵＴモード）のうちのいずれか１つが選択される。

一実施形態で、モード選択器２３０は、ＡＤモード、ｅＨＶＤモード、ＯＤモード、ｅＭＰＤモード、ｅＨＶＡモード、（ｅ）ＯＵＴモード、及びＦＮＲモードを順次に評価し、圧縮率、損失情報などの圧縮評価指標によって、最適のモードを選択する。しかし、本発明は、提示されたモード評価手順に限定されない。

図１４Ａ及び図１４Ｂは、本発明の一実施形態によるイメージ信号処理器を備える電子装置を示すブロック図である。図１４Ａ及び図１４Ｂには、図１で説明した電子装置１０が適用される。

図１４Ａを参照すると、本発明の一実施形態による電子装置１ａは、イメージセンサ１０ａ、イメージ信号処理器（ＩＳＰ）２０ａ、ディスプレイ装置５０ａ、アプリケーションプロセッサ（ＡＰ）３０ａ、ワーキングメモリ４０ａ、保存部６０ａ、ユーザーインターフェース７０ａ、及び無線送受信部８０ａを備え、イメージ信号処理器２０ａは、アプリケーションプロセッサ３０ａとは別途の集積回路で具現される。図１のイメージセンサ１００が図１４Ａのイメージセンサ１０ａとして動作し、図１のイメージ信号処理器２００が、図１４Ａのイメージ信号処理器２０ａとして適用される。

イメージセンサ１０ａは、受信される光信号に基づいてイメージデータ、例えば、原始イメージデータを生成し、２進データをイメージ信号処理器２０ａに提供する。アプリケーションプロセッサ３０ａは、電子装置１ａの全般的な動作を制御し、応用プログラム、運用体制（ＯＳ）などを駆動するシステムオンチップＳｏＣとして提供される。アプリケーションプロセッサ３０ａは、イメージ信号処理器２０ａの動作を制御し、イメージ信号処理器２０ａで生成される変換されたイメージデータを、ディスプレイ装置５０ａに提供するか、または保存部６０ａ内に保存する。

ディスプレイ装置５０ａは、イメージを出力するすべての装置を備える。例えば、ディスプレイ装置５０ａは、コンピュータ、携帯電話、及びその他のイメージ出力端末を備える。ディスプレイ装置５０ａは、出力装置の一例である。出力装置の他の例は、グラフィックス／ディスプレイ装置、コンピュータスクリーン、アラームシステム、ＣＡＤ／ＣＡＭ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ／Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｍａｃｈｉｎｉｎｇ）システム、ビデオゲームスチーション、スマートホンディスプレイスクリーン、または任意の他のタイプのデータ出力装置を含む。

ワーキングメモリ４０ａは、アプリケーションプロセッサ３０ａが処理または実行するプログラム及び／またはデータを保存する。保存部６０ａは、ＮＡＤＮフラッシュ、抵抗性メモリなどの不揮発性メモリ装置で具現され、例えば、メモリカード（ＭＭＣ、ｅＭＭＣ、ＳＤ（登録商標）、ｍｉｃｒｏＳＤ（登録商標））などとして提供される。保存部６０ａは、イメージ信号処理器２０ａのイメージ処理動作を制御する実行アルゴリズムに関するデータ及び／またはプログラムを保存し、イメージ処理動作が行われる時、データ及び／またはプログラムがワーキングメモリ４０ａにローディングされる。

ユーザーインターフェース７０ａは、キーボード、カーテンキーパネル、タッチパネル、指紋センサ、マイクなど、ユーザ入力を受信する多様な装置で具現される。ユーザーインターフェース７０ａは、ユーザ入力を受信し、受信されたユーザ入力に対応する信号を、アプリケーションプロセッサ３０ａに提供する。無線送受信部８０ａは、モデム８１ａ、トランシーバ８２ａ、及びアンテナ８３ａを備える。

図１４Ｂを参照すると、本発明の一実施形態による電子装置１ｂは、イメージセンサ１０ｂ、イメージ信号処理器２０ｂ、ディスプレイ装置５０ｂ、アプリケーションプロセッサ（ＡＰ）３０ｂ、ワーキングメモリ４０ｂ、保存部６０ｂ、ユーザーインターフェース７０ｂ、及び無線送受信部８０ｂを備え、図１のイメージセンサ１００が、図１５Ｂのイメージセンサ１０ａとして動作し、図１のイメージ信号処理器２００が、図１５Ｂのイメージ信号処理器２０ａとして適用される。

アプリケーションプロセッサ３０ｂは、イメージ信号処理器（ＩＳＰ）２０ｂを備える。イメージ信号処理器２０ｂは、別途のハードウェアまたはハードウェアとソフトウェアとの結合で構成されず、アプリケーションプロセッサ３０ｂの下部構成として存在してもよい。図１４Ｂの他の構成は、図１４Ａと類似しているため、重複する説明は省略する。

図１５は、本発明の一実施形態による電子装置の一部を示す図である。図１６は、図１５のカメラモジュールの詳細ブロック図である。

図１５は、説明の便宜のために、図１４Ａに図示された電子装置１ａまたは図１４Ｂに図示された電子装置１ｂの一部を、電子装置２０として図示したが、図１４Ａまたは図１４Ｂと比較して、図１５で省略された構成は電子装置２０に備えられてもよく、備えられた一体として本発明を達成することができる。

図１５を参照すると、電子装置２０は、マルチカメラモジュール１１００、ＡＰ１３００、及びメモリ１４００を備える。メモリ１４００は、図１４Ａに図示されたワーキングメモリ４０ａまたは図１４Ｂに図示されたワーキングメモリ４０ｂと同じ機能を行うので、重複する説明は省略する。

電子装置２０は、ＣＭＯＳイメージセンサを用いて、被写体のイメージをキャプチャ及び／または保存し、モバイルフォン、タブレットコンピュータ、またはポータブル電子装置で具現される。ポータブル電子装置は、ラップトップコンピュータ、携帯電話機、スマートフォン、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブル機器などを含む。このような電子装置２０は、１つ以上のカメラモジュール及び１つ以上のカメラモジュールから生成されたイメージデータを処理するＡＰを備える。

マルチカメラモジュール１１００は、第１カメラモジュール１１００ａ、第２カメラモジュール１１００ｂ、第３カメラモジュール１１００ｃを備える。マルチカメラモジュール１１００は、図２のカメラモジュール５０と同じ機能を行う。説明の便宜のために、３個のカメラモジュール１１００ａないし１１００ｃを図示したが、これに限定されず、多様な数のカメラモジュールがマルチカメラモジュール１１００に含まれる。

以下、図１６を参照して、カメラモジュール１１００ｂの詳細構成についてさらに具体的に説明するが、以下の説明は、実施形態によって、他のカメラモジュール１１００ａ及び１１００ｃにも同じく適用される。

図１６を参照して、第２カメラモジュール１１００ｂは、プリズム１１０５、光路折り畳み要素（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、“ＯＰＦＥ”）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０、及び保存部１１５０を備える。

プリズム１１０５は、光反射物質の反射面１１０７を備えて、外部から入射される光Ｌの経路を変形させる。

一実施形態によれば、プリズム１１０５は、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直な第２方向（Ｙ）に変更させる。また、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心としてＡ方向に回転させるか、または中心軸１１０６をＢ方向に回転させて、第１方向（Ｘ）に入射される光Ｌの経路を、第１方向（Ｘ）に垂直な第２方向（Ｙ）に変更させる。この際、ＯＰＦＥ１１１０も、第１方向（Ｘ）及び第２方向（Ｙ）に垂直な第３方向（Ｚ）に移動する。

一実施形態で、図１６に示すように、プリズム１１０５のＡ方向の最大回転角度は、プラス（＋）Ａ方向には１５°以下であり、マイナス（－）Ａ方向には１５°よりも大きいが、実施形態はこれに限定されない。

一実施形態で、プリズム１１０５は、プラス（＋）またはマイナス（－）Ｂ方向に２０°内外、または１０°ないし２０°、または１５°ないし２０°の間で動き、ここで、動く角度は、プラス（＋）またはマイナス（－）Ｂ方向に同じ角度で動くか、または１°内外の範囲でほぼ類似した角度まで動く。

一実施形態で、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６の延長方向に平行な第３方向（例えば、Ｚ方向）に移動させる。

ＯＰＦＥ１１１０は、例えば、ｍ（ここで、ｍは自然数）個のグループからなる光学レンズを備える。ｍ個のレンズは、第２方向（Ｙ）に移動して、カメラモジュール１１００ｂの光学ズーム倍率を変更する。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとすると、ＯＰＦＥ１１１０に備えられているｍ個の光学レンズを移動させる場合、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚまたは５Ｚ、またはそれ以上の光学ズーム倍率に変更される。

アクチュエータ１１３０は、ＯＰＦＥ１１１０または光学レンズ（以下、光学レンズと指称）を特定位置に移動させる。例えば、アクチュエータ１１３０は、正確なセンシングのために、イメージセンサ１１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように、光学レンズの位置を調整する。

イメージセンシング装置１１４０は、イメージセンサ１１４２、制御ロジック１１４４、エンコーダ１１４５、及びメモリ１１４６を備える。イメージセンサ１１４２は、光学レンズを通じて提供される光Ｌを用いて、センシング対象のイメージをセンシングする。図１６のイメージセンサ１１４２は、図２のイメージセンサ１００と機能的に類似しているため、重複する説明は省略する。制御ロジック１１４４は、第２カメラモジュール１１００ｂの全般的な動作を制御する。例えば、制御ロジッグ１１４４は、制御信号ラインＣＳＬｂを通じて提供された制御信号によって、第２カメラモジュール１１００ｂの動作を制御する。

エンコーダ１１４５は、センシングされたイメージデータをエンコーディングする。エンコーダ１１４５は、図１ないし図１４を通じて説明されたエンコーダ２１０と同じ機能を行うので、重複する説明は省略する。図１６に図示されたエンコーダ１１４５は、図１に図示されたエンコーダ２１０とは異なって、イメージ信号処理器（図１の２００）に含まれず、カメラモジュール（例えば、１１００ｂ）に含まれる。説明の便宜のために、エンコーダ１１４５は、他の機能部とは異なる個別的な機能部として図示されたが、これに限定されず、制御ロジック１１４４に含まれて、イメージデータを圧縮して符号化する。

メモリ１１４６は、較正データ１１４７のような第２カメラモジュール１１００ｂの動作に必要な情報を保存する。較正データ１１４７は、第２カメラモジュール１１００ｂが外部から提供された光Ｌを用いて、イメージデータの生成に必要な情報を含む。較正データ１１４７は、例えば、上述した回転度に関する情報、焦点距離に関する情報、光学軸に関する情報などを含む。第２カメラモジュール１１００ｂが、光学レンズの位置によって焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラ形態に具現される場合、較正データ１１４７は、光学レンズのそれぞれの位置別（またはステート別）焦点距離値と、オートフォーカシングに関する情報とを含む。

保存部（ストレージ）１１５０は、イメージセンサ１１４２を通じてセンシングされたイメージデータを保存する。保存部１１５０は、イメージセンシング装置１１４０の外部に配置され、イメージセンシング装置１１４０を構成するセンサチップに積層された形態で具現される。一実施形態で、保存部１１５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）で具現されるが、本実施形態は、これに限定されない。

図１５及び図１６を共に参照すると、一実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの１つのカメラモジュール（例えば、第１カメラモジュール１１００ａ）は、１つのカラーピクセルに４個の同じカラー情報を共有する互いに隣接しているサブピクセル（すなわち、ＴＥＴＲＡセル）を備え、他の１つのカメラモジュール（例えば、第２カメラモジュール１１００ｂ）は、１つのカラーピクセルに９個の同じカラー情報を共有する互いに隣接しているサブピクセル（すなわち、ＮＯＮＡセル）を備えるが、実施形態は、これに限定されない。

一実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃそれぞれは、アクチュエータ１１３０を備える。これによって、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、その内部に備えられているアクチュエータ１１３０の動作によって、相等しいか、または互いに異なる較正データ１１４７を備える。

一実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの一つのカメラモジュール（例えば、第２カメラモジュール１１００ｂ）は、上述したプリズム１１０５及びＯＰＦＥ１１１０を備える折り畳んだレンズ形態のカメラモジュールであり、残りのカメラモジュール（例えば、１１００ａ及び１１００ｂ）は、プリズム１１０５及びＯＰＦＥ１１１０を備えていない垂直形態のカメラモジュールであるが、実施形態は、これに限定されない。

一実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの１つのカメラモジュール（例えば、第３カメラモジュール１１００ｃ）は、例えば、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いてデプス（ｄｅｐｔｈ）情報を抽出する垂直形態のデプスカメラである。この場合、ＡＰ１３００は、このようなデプスカメラから提供されたイメージデータと、他のカメラモジュール（例えば、第１カメラモジュール１１００ａまたは第２カメラモジュール１１００ｂ）から提供されたイメージデータとを併合して、三次元深度イメージを生成する。

一実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの少なくとも２つのカメラモジュール（例えば、第１カメラモジュール１１００ａまたは第２カメラモジュール１１００ｂ）は、互いに異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を有する。この場合、例えば、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちの少なくとも２つのカメラモジュール（例えば、第１カメラモジュール１１００ａまたは第２カメラモジュール１１００ｂ）の光学レンズが互いに異なるが、これに限定されない。例えば、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうち、第１カメラモジュール１１００ａは、第２カメラモジュール１１００ｂ及び第３カメラモジュール１１００ｃよりも観測視野ＦＯＶが小さい可能性がある。しかし、これに限定されず、マルチカメラモジュール１１００は、本来使われているカメラモジュール１１００ａ、１１００ｂ、１１００ｃよりも観測視野ＦＯＶの大きいカメラモジュールをさらに備えてもよい。

また、いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれの視野角は互いに異なる。この場合、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれに備えられている光学レンズも互いに異なるが、これに限定されない。

いくつかの実施形態で、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのそれぞれは、互いに物理的に分離されて配置される。すなわち、１つのイメージセンサ１１４２のセンシング領域を、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃが分割して使うものではなく、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃそれぞれの内部に独立的なイメージセンサ１１４２が配置される。

ＡＰ１３００は、複数のサブ・プロセッサ１３１１、１３１２、１３１３、デコーダ１３２０、カメラモジュールコントローラ１３３０、メモリコントローラ１３４０、及び内部メモリ１３５０を備える。

ＡＰ１３００は、複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃから分離されて具現される。例えば、ＡＰ１３００と複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃとは、別途の半導体チップで互いに分離されて具現される。

それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃから生成されたイメージデータは、互いに分離されたイメージ信号ラインＩＳＬａ、ＩＳＬｂ、ＩＳＬｃを通じて、対応するサブ・プロセッサ１３１１、１３１２、１３１３に提供される。例えば、第１カメラモジュール１１００ａから生成されたイメージデータは、第１イメージ信号ラインＩＳＬａを通じて第１サブ・プロセッサ１３１１に提供され、第２カメラモジュール１１００ｂから生成されたイメージデータは、第２イメージ信号ラインＩＳＬｂを通じて第２サブ・プロセッサ１３１２に提供され、第３カメラモジュール１１００ｃから生成されたイメージデータは、第３イメージ信号ラインＩＳＬｃを通じて第３サブ・プロセッサ１３１３に提供される。このようなイメージデータ送信は、例えば、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（ＣＳＩ；Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）を用いて行われるが、実施形態はこれに限定されない。

一実施形態で、１つのサブ・プロセッサが、複数のカメラモジュールに対応するように配置される。例えば、第１サブ・プロセッサ１３１１及び第３サブ・プロセッサ１３１３は、図示されたように、互いに分離されて具現されるものではなく、１つのサブ・プロセッサに統合されて具現され、カメラモジュール１１００ａ及びカメラモジュール１１００ｃから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）などを通じて選択された後、統合されたサブ・プロセッサに提供される。

デコーダ１３２０は、サブ・プロセッサ１３１１、１３１２、１３１３に提供されたビットストリームをデコーディングする。図１６のデコーダ１３２０は、図１のデコーダ３１０と類似した機能を行うため、重複する説明は省略する。説明の便宜のために、デコーダ１３２０とサブ・プロセッサ１３１１、１３１２、１３１３とは、互いに別途の機能部であると図示されたが、これに限定されず、サブ・プロセッサ１３１１、１３１２、１３１３の内部にデコーダ１３２０が備えられる場合もある。すなわち、デコーダ１３２０は、サブ・プロセッサ１３１１、１３１２、１３１３の内部でビットストリームをデコーディングしてもよい。

カメラモジュールコントローラ１３３０は、それぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃに制御信号を提供する。カメラモジュールコントローラ１３３０から生成された制御信号は、互いに分離された制御信号ラインＣＳＬａ、ＣＳＬｂ、ＣＳＬｃを通じて、対応するカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される。

複数のカメラモジュール１１００ａ、１１００ｂ、１１００ｃのうちのいずれか１つは、ズーム信号を含むイメージ生成情報またはモード信号によって、マスターカメラ（例えば、カメラモジュール１１００ｂ）に指定され、残りのカメラモジュール（例えば、１１００ａ及び１１００ｃ）は、スレーブ（ｓｌａｖｅ）カメラに指定される。このような情報は制御信号に含まれて、互いに分離された制御信号ラインＣＳＬａ、ＣＳＬｂ、ＣＳＬｃを通じて、対応するカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される。

カメラモジュールコントローラ１３３０の制御下で、マスター及びスレーブとして動作するカメラモジュール１１００ａ、１１００ｂ、１１００ｃが変わりうる。例えば、第１カメラモジュール１１００ａの視野角が第２カメラモジュール１１００ｂの視野角よりも広く、ズーム因子が低いズーム倍率を示す場合、第２カメラモジュール１１００ｂがマスターとして動作し、第１カメラモジュール１１００ａがスレーブとして動作する。逆に、ズーム因子が高いズーム倍率を示す場合、第１カメラモジュール１１００ａがマスターとして動作し、第２カメラモジュール１１００ｂがスレーブとして動作する。

一実施形態で、カメラモジュールコントローラ１３３０からそれぞれのカメラモジュール１１００ａ、１１００ｂ、１１００ｃに提供される制御信号は、同期イネーブル信号（ｓｙｎｃ ｅｎａｂｌｅ）信号を含む。例えば、第２カメラモジュール１１００ｂがマスターカメラであり、第１及び第３カメラモジュール１１００ａ及び１１００ｃがスレーブカメラである場合、カメラモジュールコントローラ１３３０は、第２カメラモジュール１１００ｂに同期イネーブル信号を伝送する。このような同期イネーブル信号を提供された第２カメラモジュール１１００ｂは、提供された同期イネーブル信号に基づいて同期信号を生成し、生成された同期信号を、同期信号ラインＳＳＬを通じて第１及び第３カメラモジュール１１００ａ及び１１００ｃに提供する。第１カメラモジュール１１００ｂと、第２及び第３カメラモジュール１１００ａ及び１１００ｃとは、このような同期信号によって同期化されて、イメージデータをＡＰ１３００に伝送する。

ＡＰ１３００は、エンコーディングされたイメージ信号を、内部メモリ１３５０またはＡＰ１３００の外部のメモリ１４００に保存し、次いで、内部メモリ１３５０またはメモリ１４００からエンコーディングされたイメージ信号を読み出してデコーディングし、デコーディングされたイメージ信号に基づいて生成されるイメージデータをディスプレイする。メモリコントローラ１３４０は、イメージデータが内部メモリ１３５０とメモリ１４００との間で保存されるか、またはローディングされるように、内部メモリ１３５０及びメモリ１４００を全般的に制御する。

以上、図面及び明細書で例示的な実施形態が開示された。本明細書で特定の用語を使って実施形態が説明されたが、これは単に本発明を説明する目的で使われたものであり、意味限定や本発明の技術範囲を限定するために使われたものではない。したがって、当業者には、今後多様な変形及び均等な他の実施形態が可能であることが理解されるであろう。

１ａ、１ｂ、１０、２０ 電子装置（イメージ処理システム）
１０ａ、１０ｂ、１００、１１４２ イメージセンサ
２０ａ、２０ｂ、２００ イメージ信号処理器（ＩＳＰ）
３０ａ、３０ｂ、３００、１３００ アプリケーションプロセッサ（ＡＰ）
４０ａ、４０ｂ ワーキングメモリ
５０ カメラモジュール
５０ａ、５０ｂ ディスプレイ装置
６０ａ、６０ｂ、１１５０ 保存部
７０ａ、７０ｂ ユーザーインターフェース
８０ａ、８０ｂ 無線送受信部
８１ａ モデム
８２ａ トランシーバ
８３ａ アンテナ
１１０ ピクセルアレイ
１１１、１１２ ベイヤーピクセル
１１３、１１４ ピクセルグループ
１１５、１１６ サブピクセル
２１０ エンコーダ
２１１、３１１ 探知器
２１３ 飽和フラグ生成器
２１５ 圧縮器
２１７、３１７ 再建器
２１９、３１９ 参照バッファ
２３０ モード選択器
２５０ 第１インターフェース
３１０、１３２０ デコーダ
３１３ モード決定器
３１５ 圧縮解除器
３３０ 第２インターフェース
４００ メモリ・サブシステム
１１００ マルチカメラモジュール
１１００ａ、１１００ｂ、１１００ｃ （第１、第２、第３）カメラモジュール
１１０５ プリズム
１１０６ 中心軸
１１０７ 反射面
１１１０ 光路折り畳み要素（ＯＰＦＥ）
１１３０ アクチュエータ
１１４０ イメージセンシング装置
１１４４ 制御ロジック
１１４５ エンコーダ
１１４７ 較正データ
１２００ ベイヤーカラーフィルタ
１３１１、１３１２、１３１３ サブ・プロセッサ
１３３０ カメラモジュールコントローラ
１３４０ メモリコントローラ
１３５０ 内部メモリ
１４００、１１４６ メモリ

Claims (10)

1. イメージセンサによって生成されたイメージデータを圧縮するイメージ圧縮方法において、
   受信された前記イメージデータに含まれ、互いに隣接して同じカラーを有する複数のピクセルであるピクセルグループのうち、ピクセル値がしきい値を超える飽和ピクセルを検出する段階と、
   前記飽和ピクセルの位置を示す飽和フラグを生成する段階と、
   前記ピクセルグループのうち、前記飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと基準ピクセルとを比べることで、前記イメージデータを圧縮する段階と、
   前記飽和フラグ、圧縮結果、及び圧縮方法を含むビットストリームを出力する段階と、を含むことを特徴とするイメージ圧縮方法。
2. 前記飽和フラグを生成する段階は、
   前記飽和ピクセルの位置をビット１に設定する段階と、
   前記少なくとも１つの非飽和ピクセルの位置をビット０に設定する段階と、を含むことを特徴とする請求項１に記載のイメージ圧縮方法。
3. 前記イメージデータを圧縮する段階は、
   前記少なくとも１つの非飽和ピクセルの非飽和ピクセル値と、前記基準ピクセルの基準ピクセル値との差値を算出する段階を含むことを特徴とする請求項１に記載のイメージ圧縮方法。
4. 前記基準ピクセル値は、
   互いに隣接して同じカラーを有するピクセルの平均ピクセル値であることを特徴とする請求項３に記載のイメージ圧縮方法。
5. 前記しきい値は、
   前記複数のピクセルのそれぞれが示す情報量の９５％以上の値であることを特徴とする請求項１に記載のイメージ圧縮方法。
6. 前記ビットストリームを出力する段階は、
   前記飽和ピクセルを除いて前記イメージデータを圧縮するように指示するモード信号に基づいて、前記飽和フラグ及び前記圧縮結果の出力如何を定める段階を含むことを特徴とする請求項１に記載のイメージ圧縮方法。
7. イメージセンサによって生成されたイメージデータを処理するエンコーダにおいて、
   互いに隣接して同じカラーを有する複数のピクセルであるピクセルグループから、ピクセル値がしきい値を超える飽和ピクセルを検出し、前記飽和ピクセルの位置を示す飽和フラグを生成し、前記ピクセルグループのうち、前記飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと、基準ピクセルとを比べることで、前記イメージデータを圧縮するように構成されていることを特徴とするエンコーダ。
8. イメージを撮像する電子装置において、
   ピクセルアレイを備え、かつイメージデータを出力するように構成されたイメージセンサと、
   互いに隣接して同じカラーを有する複数のピクセルであるピクセルグループから、ピクセル値がしきい値を超える飽和ピクセルを検出し、前記飽和ピクセルの位置を示す飽和フラグを生成し、前記ピクセルグループのうち、前記飽和ピクセルを除いた少なくとも１つの非飽和ピクセルと、基準ピクセルとを比べることで、前記イメージデータを圧縮し、圧縮結果、飽和フラグ、及び圧縮方法を含むビットストリームを出力するように構成されたエンコーダを備えるイメージ信号処理器と、
   前記ビットストリームを解読することで、前記イメージデータを復元するように構成されたデコーダを備えるアプリケーションプロセッサと、を備えることを特徴とする電子装置。
9. 前記デコーダは、
   予め定められている前記基準ピクセルの位置に復元されたデータを参照することで、前記非飽和ピクセルを解読することを特徴とする請求項８に記載の電子装置。
10. 前記デコーダは、
    前記飽和ピクセルを既設定の飽和値に復元することを特徴とする請求項８に記載の電子装置。
    
    

Images