JP2022028087A - 画像処理装置および方法 - Google Patents

Abstract

【課題】予測誤差の増大を抑制することができるようにする。【解決手段】画素の種類に応じた方法で画像データを符号化する。例えば、像面位相差検出画素であるか、通常画素であるかに応じた方法で画像データを符号化する。また、画像データの符号化データを画素の種類に応じた方法で復号する。例えば、像面位相差検出画素であるか、通常画素であるかに応じた方法で符号化データを復号する。本開示は、例えば、画像処理装置、画像符号化装置、画像復号装置、撮像素子、または撮像装置等に適用することができる。【選択図】図２

Description

本開示は、画像処理装置および方法に関し、特に、予測誤差の増大を抑制することができるようにした画像処理装置および方法に関する。

従来、イメージセンサに画素の一部を遮光した像面位相差検出画素を設け、その像面位相差検出画素の画素値を用いて位相差検出を行い、焦点距離を制御する方法が考えられた（例えば、特許文献１参照）。

特開２０１４－１４５８６７号公報

しかしながら、このような像面位相差検出画素の画素値は、その一部が遮光されていることにより、その他の通常画素の画素値と値が大きく異なる。そのため、符号化・復号の際に、通常画素の予測画素としてこのような像面位相差検出画素を用いると、予測誤差が増大するおそれがあった。また、像面位相差検出画素の予測値として通常画素を用いる場合も同様に、予測誤差が増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、予測誤差の増大を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、画素の種類に応じた方法で画像データを符号化する符号化部を備える画像処理装置である。

本技術の一側面の画像処理方法は、画素の種類に応じた方法で画像データを符号化する画像処理方法である。

本技術の他の側面の画像処理装置は、画像データの符号化データを画素の種類に応じた方法で復号する復号部を備える画像処理装置である。

本技術の他の側面の画像処理方法は、画像データの符号化データを画素の種類に応じた方法で復号する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、画素の種類に応じた方法で画像データが符号化される。

本技術の他の側面の画像処理装置および方法においては、画像データの符号化データが画素の種類に応じた方法で復号される。

予測方法の一例を説明する図である。 本技術を適用した符号化・復号方法の一覧を示す図である。 方法１について説明する図である。 方法１を実現する画像処理装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 方法２－１について説明する図である。 方法２－１を実現する画像処理装置の主な構成例を示すブロック図である。 符号化部の主な構成例を示すブロック図である。 復号部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 予測画素生成処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 方法２－２について説明する図である。 方法２－２を実現する画像処理装置の主な構成例を示すブロック図である。 符号化部の主な構成例を示すブロック図である。 復号部の主な構成例を示すブロック図である。 予測画素生成処理の流れの例を説明するフローチャートである。 方法３－１について説明する図である。 予測画素生成処理の流れの例を説明するフローチャートである。 方法３－１について説明する図である。 予測画素生成処理の流れの例を説明するフローチャートである。 方法３－２について説明する図である。 予測画素生成処理の流れの例を説明するフローチャートである。 方法３－２について説明する図である。 予測画素生成処理の流れの例を説明するフローチャートである。 方法３－３について説明する図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 方法４を実現する画像処理装置の主な構成例を示すブロック図である。 誤差情報について説明する図である。 信頼度情報生成部の主な構成例を示すブロック図である。 誤差情報について説明する図である。 復号処理の流れの例を説明するフローチャートである。 信頼度情報生成処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 積層型イメージセンサの主な構成例を示す図である。 積層型イメージセンサの主な構成例を示す図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．像面位相差検出画素を含む画素アレイでの予測
２．コンセプト
３．第１の実施の形態（方法１詳細）
４．第２の実施の形態（方法２詳細）
５．第３の実施の形態（方法３詳細）
６．第４の実施の形態（方法４詳細）
７．第５の実施の形態（撮像装置・積層型イメージセンサ）
８．付記

＜１．像面位相差検出画素を含む画素アレイでの予測＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。

特許文献２：ＵＳ２０１１／０２９２２４７
特許文献３：ＵＳ２０１２／０２１９２３１
特許文献４：特開２０１４－１０３５４３号公報

つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。

＜DPCM符号化＞
従来、例えば特許文献１に記載のように、イメージセンサに画素の一部を遮光した像面位相差検出画素を設け、その像面位相差検出画素の画素値を用いて位相差検出を行い、焦点距離を制御する方法が考えられた。

また、例えば特許文献２乃至特許文献４に記載のように、インタフェースの使用帯域やメモリ容量の増大抑制等を目的として、撮像画像のデータ（撮像画像データとも称する）の伝送時や記録時において、その撮像画像データを、DPCM（Differential Pulse Code Modulation）を用いた符号化により圧縮する方法が考えられた。DPCM符号化においては、処理対象画素の画素値をその周辺に位置する画素（周辺画素とも称する）の画素値を用いて予測し、その予測値との差分（予測誤差）を符号化することにより符号化効率を向上させる。

しかしながら、引用文献１に記載のような像面位相差検出画素の画素値は、その一部が遮光されていることにより、その他の通常画素の画素値と値が大きく異なる。そのため、符号化・復号の際に、通常画素の予測画素としてこのような像面位相差検出画素を用いると、予測誤差が増大するおそれがあった。また、像面位相差検出画素の予測値として通常画素を用いる場合も同様に、予測誤差が増大するおそれがあった。

例えば、図１においては、像面位相差検出画素を有する画素アレイの１行（の一部）の画素配列を示している。複数の四角がその画素配列を示しており、文字Ｒが付された四角は、赤色（Ｒ）のカラーフィルタが配置された画素（Ｒ画素）を示しており、文字Ｇが付された四角は、緑色（Ｇ）のカラーフィルタが配置された画素（Ｇ画素）を示している。また、文字ＺＡが付された四角は、画素の右半分が遮光された右遮光画素を示し、文字ＺＢが付された四角は、画素の左半分が遮光された左遮光画素を示す。カラーフィルタの配列はベイヤ配列であり、図１においては、Ｒ画素とＧ画素が並ぶ行（の一部）が示されている。

例えば、画素値が１００のフラット領域であるとすると、右遮光画素および左遮光画素の遮光率は５０％であるので、その画素値は（理想的には）５０となる。したがって、隣接画素を予測画素として予測を行うと、差分は、図１に示されるように大きく変動し、予測誤差が増大するおそれがあった。予測誤差が増大すると、可変長復号の場合、符号化効率が低減するおそれがあった。また、固定長復号の場合、復号画像の画質が低減するおそれがあった。

＜２．コンセプト＞
＜予測方式制御＞
そこで、図２に示される表の一番上の段に示されるように、圧縮に用いる画素の種類に応じた方法で画像データの符号化や、その符号化データの復号を行うようにする。

例えば、画素の種類に応じた方法で画像データを符号化するようにする。例えば、画像処理装置において、画素の種類に応じた方法で画像データを符号化する符号化部を備えるようにする。

このようにすることにより、符号化において行われる予測において、画素の種類の違いによる画素値の違いを抑制することができる。したがって、予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

また、例えば、画像データの符号化データを画素の種類に応じた方法で復号するようにする。例えば、画像処理装置において、画像データの符号化データを画素の種類に応じた方法で復号する復号部を備えるようにする。

このようにすることにより、復号において行われる予測において、画素の種類の違いによる画素値の違いを抑制することができる。したがって、予測誤差の増大を抑制することができる。これにより、可変長復号の場合、符号化効率の低減を抑制することができる。また、固定長復号の場合、復号画像の画質の低減を抑制することができる。

例えば、像面位相差検出画素であるか、通常画素であるかに応じた方法で画像データを符号化したり、その符号化データを復号したりするようにしてもよい。なお、像面位相差検出画素とは、画素の一部が遮光された像面位相差検出用の画素であり、通常画素とは、画素の一部が遮光されていない画像生成用の画素である。

また、符号化・復号の際に、像面位相差検出画素の画素値の補正・逆補正を行うようにしてもよい（図２の表の方法１）。例えば、符号化において、画像データの像面位相差検出画素の画素値に対して簡易補正を行い、像面位相差検出画素の画素値が簡易補正された画像データを符号化するようにしてもよい。また、復号において、その符号化データを復号して画像データ（予測値との差分）を生成し、生成された画像データ（差分）の像面位相差検出画素の画素値に対して簡易補正を行うようにしてもよい。

例えば、符号化においては、その簡易補正として、像面位相差検出画素の画素値に固定値を乗算するようにしてもよい。また、復号においては、その簡易補正として、像面位相差検出画素の画素値を固定値により除算するようにしてもよい。さらに、その固定値は、像面位相差検出画素の遮光率に応じた値であるようにしてもよい。

また、符号化・復号の際に、処理対象画素が通常画素である場合、画素の種類に応じて予測方法を切り替えるようにしてもよい（図２の表の方法２）。例えば、符号化において、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データを符号化するようにしてもよい。また、復号において、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、符号化データを復号するようにしてもよい。

なお、隣接同色画素とは、処理対象画素に最も近い（最近傍の）同色画素を示す。同色画素とは、画素に設けられたフィルタの種類が処理対象画素と同一（または近似）である、処理対象画素の周辺に位置する画素（周辺画素とも称する）を示す。フィルタの種類とは、フィルタが透過する光の波長域を示す。つまり同色画素とは、その波長域が処理対象画素と一致または近似する周辺画素を示す。例えば、RGBのカラーフィルタが配置される画素の場合、同色画素とは、配置されたカラーフィルタの色が処理対象画素と同一の周辺画素を示す。

上述の方法２において、最近傍の同色通常画素を予測画素とするようにしてもよい（図２の表の方法２－１）。なお、同色通常画素とは、画素に設けられたフィルタの種類が処理対象画素と同一（または近似）である、処理対象画素の周辺に位置する通常画素（つまり、通常画素である同色画素）を示す。例えば、符号化において、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化するようにしてもよい。その際、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とするようにしてもよい。

また、例えば、復号において、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号するようにしてもよい。その際、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とするようにしてもよい。

上述の方法２において、隣接同色画素の像面位相差検出画素の画素値を補正して予測画素とするようにしてもよい（図２の表の方法２－２）。例えば、符号化において、隣接同色画素が像面位相差検出画素である場合、隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化するようにしてもよい。その際、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。また、その固定値は、隣接同色画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。

また、例えば、復号において、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号するようにしてもよい。その際、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。また、その固定値は、隣接同色画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。

また、符号化・復号の際に、処理対象画素が像面位相差検出画素である場合、画素の種類に応じて予測方法を切り替えるようにしてもよい（図２の表の方法３）。例えば、符号化において、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データを符号化するようにしてもよい。また、復号において、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、符号化データを復号するようにしてもよい。

上述の方法３において、最近傍の同色像面位相差検出画素を予測画素とするようにしてもよい（図２の表の方法３－１）。なお、同色像面位相差検出画素とは、画素に設けられたフィルタの種類が処理対象画素と同一（または近似）である、処理対象画素の周辺に位置する像面位相差検出画素（つまり、像面位相差検出画素である同色画素）を示す。例えば、符号化において、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化するようにしてもよい。その際、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とするようにしてもよい。

また、例えば、復号において、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号するようにしてもよい。その際、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とするようにしてもよい。

上述の方法３において、隣接同色画素の通常画素の画素値を補正して予測画素とするようにしてもよい（図２の表の方法３－２）。例えば、符号化において、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化するようにしてもよい。その際、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。なお、その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。

また、例えば、復号において、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号するようにしてもよい。その際、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とするようにしてもよい。なお、その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。

上述の方法３において、隣接同色画素が通常画素である場合、予測を省略するようにしてもよい（方法３－３）。例えば、符号化において、隣接同色画素が通常画素である処理対象画素の予測を行わずに、画像データを符号化するようにしてもよい。また、例えば、復号において、隣接同色画素が通常画素である処理対象画素の予測を行わずに、符号化データを復号するようにしてもよい。

また、復号の際に、符号化・復号の誤差情報を利用して位相差を検出するようにしてもよい（図２の表の方法４）。例えば、画像データの符号化および復号による誤差を示す誤差情報に基づいて、符号化データが復号されて生成された画像データの位相差検出を行うようにしてもよい。その際、その誤差情報に基づいて、位相差検出の結果の信頼度を示す信頼度情報を生成し、その信頼度情報に基づいて位相差検出を行うようにしてもよい。

なお、この方法４は、例えば、方法１と組み合させて適用することができる（図２の表の方法５）。また、この方法４は、例えば、方法２および方法３のいずれか一方、または両方と組み合わせて適用することができる（図２の表の方法６）。

また、符号化において、画像データを量子化し、予測を行い、量子化された画像データの画素値と予測値との差分を導出し、導出された差分を可変長符号化し、符号化データを生成し、生成された符号化データの符号量を調整するようにしてもよい。また、復号において、符号化データに対して、符号化の際に行われた符号量の調整を元に戻す逆調整を行い、その符号量が逆調整された符号化データを可変長復号し、量子化された画像データの画素値と予測値との差分を生成し、予測を行い、生成された差分に予測値を加算することにより、量子化された画像データを生成し、生成されたその量子化された画像データを、逆量子化するようにしてもよい。

以上のような各方法により、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。

＜３．第１の実施の形態＞
＜方法１＞
本実施の形態においては、「方法１」について説明する。この方法１では、図３に示される例のように、画像データに簡易補正を行ってから符号化を行う。その簡易補正として、像面位相差検出画素の画素値に所定の値（固定値）を乗算してから予測を行うようにする。例えば、この固定値は、像面位相差検出画素の遮光率に応じた値とする。図３の例は、図１の例に対応する。すなわち、像面位相差検出画素の遮光率は５０％であるので、固定値は「２」である。つまり、像面位相差検出画素の画素値を２倍に補正する。このようにすることにより、図３の例のように、理想的には、像面位相差検出画素および通常画素の画素値はともに１００となる。したがって、処理対象画素の隣接同色画素を予測画素として予測を行う場合、予測誤差は全て０となる。このように、通常画素と像面位相差検出画素との間の画素値の差が低減されるので、予測誤差の増大を抑制することができる。

＜画像処理装置＞
図４は、このような方法１を実現する画像処理装置の主な構成例を示すブロック図である。図４の示される画像処理装置１００は、入力された画像データを符号化して符号化データを生成し、さらに、その符号化データを復号して撮像画像データを生成し、出力する装置である。図４に示されるように、画像処理装置１００は、符号化部１０１、送信部１０２、受信部１０３、および復号部１０４を有する。

符号化部１０１は、入力された画像データを符号化し、その符号化データを生成する。その際、符号化部１０１は、画素の種類に応じた方法で画像データを符号化する。例えば、符号化部１０１は、処理対象画素が、像面位相差検出画素であるか、通常画素であるかに応じた方法で画像データを符号化する。したがって、符号化部１０１は、像面位相差検出画素と通常画素との画素値の差を低減させることができ、予測誤差の増大を抑制することができる。

そして、符号化部１０１は、その符号化データを送信部１０２供給する。送信部１０２は、符号化部１０１から供給された符号化データを受信部１０３に送信する。受信部１０３は、その符号化データを受信すると、それを復号部１０４に供給する。

復号部１０４は、受信部１０３から供給される符号化データを受信すると、それを復号し、画像データを生成する（復元する）。その際、復号部１０４は、画像データの符号化データを画素の種類に応じた方法で復号する。例えば、復号部１０４は、処理対象画素が、像面位相差検出画素であるか、通常画素であるかに応じた方法で符号化データを復号する。したがって、復号部１０４は、像面位相差検出画素と通常画素との画素値の差を低減させて符号化された符号化データを正しく復号することができ、予測誤差の増大の抑制を実現することができる。

復号部１０４は、生成（復元）した画像データを画像処理装置１００の外部に出力する。このように画像データは符号化データとして送信部１０２から受信部１０３に伝送されるので、送信部１０２と受信部１０３との間のデータ伝送に必要な帯域幅の増大を抑制することができる。したがって遅延量やコストの増大を抑制することができる。

符号化部１０１は、画像データの像面位相差検出画素の画素値に対して簡易補正を行い、像面位相差検出画素の画素値が簡易補正された画像データを符号化する。図４に示されるように、符号化部１０１は、画素種類判定部１１１、乗算部１１２、および符号化部１１３を有する。画素種類判定部１１１は、入力された画像データの各画素値について、画素の種類（例えば、通常画素であるか像面位相差検出画素であるか）を判定する。そして、画素種類判定部１１１は、その判定結果に基づいて、通常画素の画素値を符号化部１１３に供給し、像面位相差検出画素の画素値を乗算部１１２に供給する。

乗算部１１２は、画素種類判定部１１１から供給された画素値に、簡易補正として、所定の値（固定値）を乗算する。この固定値は、例えば、像面位相差検出画素の遮光率に応じた値とする。乗算部１１２は、その固定値が乗算された画素値を符号化部１１３に供給する。

符号化部１１３は、供給された画像データ（各画素値）を符号化し、符号化データを生成する。その際、符号化部１１３は、処理対象画素の周辺画素を用いて予測を行い、その予測値との差分を符号化する。符号化部１１３は、生成した符号化データを送信部１０２に供給し、送信させる。

つまり、画像データは、像面位相差検出画素の画素値のみ固定値が乗算された状態で（すなわち簡易補正されて）、符号化部１１３に供給される。したがって、その画像データは、図３の例のように像面位相差検出画素と通常画素との画素値の差が低減されている。したがって、符号化部１１３は、その予測における予測誤差の増大を抑制することができる。

復号部１０４は、符号化データを復号して画像データを生成し、その生成された画像データの像面位相差検出画素の画素値に対して簡易補正（逆簡易補正）を行う。図４に示されるように、復号部１０４は、復号部１２１、画素種類判定部１２２、および除算部１２３を有する。復号部１２１は、供給された符号化データを、符号化部１１３の符号化方法に対応する方法で復号する。その際、復号部１２１は、符号化データを復号して画像データと予測値との差分を導出し、さらに、処理対象画素の周辺画素を用いて予測を行い、その予測値を導出した差分に加算することにより、画像データを生成（復元）する。復号部１２１は、生成した画像データを画素種類判定部１２２に供給する。

画素種類判定部１２２は、復号部１２１から供給された画像データの各画素値について、画素の種類（例えば、通常画素であるか像面位相差検出画素であるか）を判定する。そして、画素種類判定部１２２は、その判定結果に基づいて、像面位相差検出画素の画素値を除算部１２３に供給する。

除算部１２３は、逆簡易補正として、画素種類判定部１２２から供給された像面位相差検出画素の画素値を、所定の値（固定値）で除算する。この固定値は、乗算部１１２が乗算した値と同一である。つまり、例えば、像面位相差検出画素の遮光率に応じた値とする。このようにすることにより、除算部１２３は、乗算部１１２の逆処理を行うことができる。例えば、図３の例の場合、乗算部１１２の処理により２倍され、５０から１００に変更された像面位相検出画素の画素値が、除算部１２３の処理により１／２倍され、５０に戻される。

つまり、逆簡易補正（簡易補正の逆処理）が行われ、画像データが復元される。画素種類判定部１２２により判定された通常画素の画素値と、除算部１２３により除算された位相検出画素の画素値とが、復元された画像データとして、画像処理装置１００の外部に出力される。したがって、復号部１０４は、符号化部１０１により生成された符号化データを正しく復号することができる。つまり、復号部１０４は、予測誤差の増大を抑制することができる。

＜補足＞
なお、一般的に、各画素の遮光率は厳密には画素間で一定にはならない。例えば、遮光率50%で作成しても±数%程度のばらつきが生じる可能性がある。実際のデバイスでは各画素の遮光率は出荷前に計測され既知となっている。

乗算部１１２および除算部１２３に用いられる固定値は、その計測値に基づいて設定するようにしてもよいし、簡単化のために全遮光画素に対して同じ値を使用するようにしてもよい。

基本的には遮光率の逆数（遮光率50%=1/2の場合は2）をその固定値とすればよい。例えば、遮光率50%の場合において、ばらつきにより遮光率が50%に満たない画素が存在することを想定し、固定値を2より少し小さい値（例えば、1.875 = 15/8）とするようにしてもよい。

＜符号化処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理の流れの例を、図５のフローチャートを参照して説明する。

符号化処理が開始されると、画素種類判定部１１１は、ステップＳ１０１において、処理対象画素が遮光画素（すなわち像面位相差検出画素）であるか否かを判定する。処理対象画素が遮光画素（像面位相差検出画素）であると判定された場合、処理はステップＳ１０２に進む。

ステップＳ１０２において、乗算部１１２は、その処理対象画素の画素値に、その遮光率に応じた固定値を乗算する。ステップＳ１０２の処理が終了すると、処理はステップＳ１０３に進む。また、ステップＳ１０１において、処理対象画素が通常画素であると判定された場合、処理はステップＳ１０３に進む。

ステップＳ１０３において、画素種類判定部１１１は、画像データの全ての画素を処理したか否かを判定する。未処理の画素（画素値）が存在すると判定された場合、処理はステップＳ１０１に戻り、それ以降の処理を繰り返す。そして、ステップＳ１０３において、全ての画素を処理したと判定された場合、処理はステップＳ１０４に進む。

以上のように簡易補正が行われると、ステップＳ１０４において、符号化部１１３は、その簡易補正が行われた画像データを、符号化ブロック毎に符号化し、符号化データを生成する。その際、符号化部１１３は、処理対象画素をその周辺画素を用いて予測する予測方式を適用した符号化方法で、画像データを符号化する。

ステップＳ１０５において、送信部１０２は、ステップＳ１０４において生成された符号化データを送信する。ステップＳ１０５の処理が終了すると、符号化処理が終了する。

このように符号化処理を行うことにより、画像データが簡易補正されて符号化されるので、図３の例のように像面位相差検出画素と通常画素との画素値の差が低減され、予測誤差の増大を抑制することができる。

＜復号処理の流れ＞
次に、この場合の画像処理装置１００により実行される復号処理の流れの例を、図６のフローチャートを参照して説明する。

復号処理が開始されると、受信部１０３は、ステップＳ１２１において、送信部１０２により送信された符号化データを受信する。

ステップＳ１２２において、復号部１２１は、ステップＳ１２１において受信した符号化データを、符号化ブロック毎に復号し、画像データ（予測値との差分）を生成する。その際、復号部１２１は、処理対象画素をその周辺画素を用いて予測する予測方式を適用した復号方法で、符号化データを復号する。

次に、その画像データの逆簡易補正が行われる。ステップＳ１２３において、画素種類判定部１２２は、処理対象画素が遮光画素（すなわち、像面位相差検出画素）であるか否かを判定する。処理対象画素が遮光画素（像面位相差検出画素）であると判定された場合、処理はステップＳ１２４に進む。

ステップＳ１２４において、除算部１２３は、その処理対象画素の画素値を、その遮光率に応じた固定値で除算する。この固定値は、ステップＳ１０２の処理に用いられる固定値に対応する（例えば同一の値である）。ステップＳ１２４の処理が終了すると、処理はステップＳ１２５に進む。また、ステップＳ１２３において、処理対象画素が通常画素であると判定された場合、処理はステップＳ１２５に進む。

ステップＳ１２５において、画素種類判定部１１１は、画像データの全ての画素を処理したか否かを判定する。未処理の画素（画素値）が存在すると判定された場合、処理はステップＳ１２３に戻り、それ以降の処理を繰り返す。そして、ステップＳ１２５において、全ての画素を処理したと判定された場合、復号処理が終了する。

このように復号処理を行うことにより、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜４．第２の実施の形態＞
＜方法２＞
本実施の形態においては、処理対象画素が通常画素の場合の「方法２」について説明する。この方法２の場合、予測方法を切り替えることにより、符号化・復号における予測誤差の増大を抑制する。

例えば、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、画像データを符号化する。また、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、符号化データを復号する。

＜４－１：方法２－１＞
方法２－１について図７を参照して説明する。方法２－１では、処理対象画素が通常画素であり、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とする。図７は、図１に対応する図である。

例えば図７において、左から８番目のＧ画素（通常画素）を処理対象画素とする場合、その直前の同色画素（隣接同色画素）は、左から６番目の左遮光画素ＺＢである。つまり像面位相差検出画素である。したがって、この画素は予測画素としない。その次に近傍の同色画素は、左から４番目の右遮光画素ＺＡである。つまりこれも像面位相差検出画素であるので予測画素としない。その次に近傍の同色画素は、左から２番目のＧ画素（通常画素）である。つまり、このＧ画素が最近傍の同色通常画素であるので、このＧ画素を予測画素として（このＧ画素の画素値を予測値として）予測を行う。このようにすることにより、通常画素の予測を通常画素を用いて行うことができるので、図７に示されるように、隣接同色画素である左遮光画素ＺＢを予測画素とする場合よりも、予測誤差の増大を抑制することができる。

なお、左から１０番目のＧ画素（通常画素）を処理対象画素とする場合、その直線の同色画素（隣接同色画素）は、左から８番目のＧ画素（通常画素）である。つまり、このＧ画素が最近傍の同色通常画素であるので、このＧ画素を予測画素として（このＧ画素の画素値を予測値として）予測を行う。

＜画像処理装置＞
図８は、このような方法２－１を実現する画像処理装置の主な構成例を示すブロック図である。図８に示されるように、この場合の画像処理装置１００は、図４の場合と同様に、符号化部１０１乃至復号部１０４を有する。

この場合の符号化部１０１には、画像データの他に、遮光画素（つまり像面位相差検出画素）の位置を示す遮光画素位置情報が供給される。符号化部１０１は、この遮光画素位置情報に基づいて、遮光画素（像面位相差検出画素）の位置を把握することができる。この遮光画素位置情報は、予め画像処理装置１００に登録されていてもよいし、ユーザや他の装置等、画像処理装置１００の外部から入力されるようにしてもよい。

符号化部１０１は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化する。例えば、符号化部１０１は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とする。このようにすることにより、符号化部１０１は、予測誤差の増大を抑制することができる。

また、この場合の復号部１０４にも同様に、遮光画素位置情報が供給される。復号部１０４は、この遮光画素位置情報に基づいて、遮光画素（像面位相差検出画素）の位置を把握することができる。この遮光画素位置情報は、予め画像処理装置１００に登録されていてもよいし、ユーザや他の装置等、画像処理装置１００の外部から入力されるようにしてもよい。

復号部１０４は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号する。例えば、復号部１０４は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とする。つまり、復号部１０４は、符号化部１０１と同様の方法により、画素の種類に応じて予測画素を設定する。このようにすることにより、復号部１０４は、予測誤差の増大を抑制することができる。

＜符号化部＞
図９は、図８の符号化部１０１の主な構成例を示すブロック図である。図９に示されるように、この場合の符号化部１０１は、量子化部１５１、DPCM（Differential Pulse Code Modulation）処理部１５２、可変長符号化部１５３、および圧縮率調整部１５４を有する。

量子化部１５１は、入力される画像データを量子化する。例えば、量子化部１５１は、画像データの各画素値から、下位ビット（所定のビット数）を切り捨てる。量子化部１５１は、量子化した画像データおよび量子化前の画像データをDPCM処理部１５２に供給する。

DPCM処理部１５２は、DPCMに関する処理を行う。例えば、DPCM処理部１５２は、量子化部１５１から供給される量子化された画像データを取得する。また、DPCM処理部１５２には、遮光画素位置情報も供給される。したがって、DPCM処理部１５２は、像面位相差検出画素の位置を把握することができる。

DPCM処理部１５２は、それらの情報を用いてDPCM処理を行う。DPCM処理は、周辺画素の画素値を用いて処理対象画素の画素値の予測を行い（つまり、処理対象画素の画素値の予測値を導出し）、その予測値と処理対象画素の画素値との差分（予測誤差）を求める処理である。このように予測誤差（差分値）を導出することにより、情報量を低減させることができる。

その際、DPCM処理部１５２は、図７を参照して説明したように予測画素を設定し、DPCM処理を行う。つまり、DPCM処理部１５２は、処理対象が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を予測画素とし、DPCM処理を行う。このようにすることにより、DPCM処理部１５２は、予測誤差の増大を抑制することができる。DPCM処理部１５２は、以上のように導出した予測誤差と量子化前の画像データを可変長符号化部１５３に供給する。

可変長符号化部１５３は、DPCM処理部１５２から供給される予測誤差を可変長符号化し、符号化データを生成する。このような符号化により、可変長符号化部１５３は、一般的に情報量を低減させることができる。可変長符号化部１５３は、生成した符号化データと量子化前の画像データを圧縮率調整部１５４に供給する。

圧縮率調整部１５４は、量子化前の画像データを用いて、可変長符号化部１５３から供給される符号化データの符号量（すなわち圧縮率）を制御する。例えば、圧縮率調整部１５４は、量子化部１５１により切り捨てられた下位ビットの情報を量子化前の画像データから抽出し、それをリファインメントとして、符号化データに付加することにより、符号量、すなわち圧縮率を調整する。例えば、圧縮率調整部１５４は、このようにリファインメントを付加することにより、各ブロックの符号量を固定長とする（つまり固定長符号化を実現する）ことができる。

圧縮率調整部１５４は、以上のようにリファインメントを付加した符号化データ（符号量が調整された符号化データ）を符号化部１０１の外部（すなわち送信部１０２）に出力する。

＜復号部＞
図１０は、図８の復号部１０４の主な構成例を示すブロック図である。図１０に示されるように、この場合の復号部１０４は、圧縮率逆調整部１６１、可変長復号部１６２、逆DPCM（Differential Pulse Code Modulation）処理部１６３、および逆量子化部１６４を有する。

圧縮率逆調整部１６１は、符号化部１０１の圧縮率調整部１５４が行った処理の逆処理を行う。例えば、圧縮率逆調整部１６１は、受信部１０３から供給された符号化データから、圧縮率調整部１５４により付加されたリファインメントを除去する。換言するに圧縮率逆調整部１６１は、取得した符号化データから、可変長符号化部１５３により生成された符号化データを抽出する。圧縮率逆調整部１６１は、その符号化データを可変長復号部１６２に供給する。

可変長復号部１６２は、圧縮率逆調整部１６１から供給された符号化データを、可変長符号化部１５３の符号化方法に対応する方法で復号し、画像データ（予測誤差）を生成する。可変長復号部１６２は、生成した画像データ（予測誤差）を逆DPCM処理部１６３に供給する。

逆DPCM処理部１６３は、可変長復号部１６２から供給された画像データ（予測誤差（差分値））に対して、DPCM処理部１５２が行ったDPCM処理の逆処理である逆DPCM処理を行い、各画素データ（量子化後の画素値）を復元する。つまり、逆DPCM処理部１６３は、量子化された画像データを復元する。

その際、逆DPCM処理部１６３は、図７を参照して説明したように予測画素を設定し、逆DPCM処理を行う。つまり、逆DPCM処理部１６３は、DPCM処理部１５２と同様の方法により予測画素を設定する。したがって、逆DPCM処理部１６３は、予測誤差の増大を抑制することができる。逆DPCM処理部１６３は、以上のように導出した、量子化された画像データを逆量子化部１６４に供給する。

逆量子化部１６４は、逆DPCM処理部１６３から供給される、量子化された画像データに対して逆量子化を行い、量子化前の画像データと同一のビット長の画素値からなる画像データを復元する。逆量子化部１６４は、その画像データを復号部１０４（画像処理装置１００）の外部に出力する。

＜符号化処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理の流れの例を、図１１のフローチャートを参照して説明する。

符号化処理が開始されると、量子化部１５１は、ステップＳ１４１において、画像データを量子化する。

ステップＳ１４２において、DPCM処理部１５２は、予測画素生成処理を実行し、予測画素を生成する。ステップＳ１４３において、DPCM処理部１５２は、その予測画素を用いてDPCM処理を行い、残差データ（予測誤差）を導出する。

ステップＳ１４４において、可変長符号化部１５３は、その残差データを可変長符号化し、符号化データを生成する。

ステップＳ１４５において、圧縮率調整部１５４は、その符号化データに適宜リファインメントを付加し、圧縮率を調整する。

ステップＳ１４６において、送信部１０２は、圧縮率が調整された符号化データを送信する。ステップＳ１４６の処理が終了すると、符号化処理が終了する。

＜予測画素生成処理の流れ＞
次に、図１１のステップＳ１４２において実行される予測画素生成処理の流れの例を、図１２のフローチャートを参照して説明する。

予測画素生成処理が開始されると、DPCM処理部１５２は、ステップＳ１６１において、最近傍同色画素が遮光画素（像面位相差検出画素）であるか否かを判定する。最近傍同色画素が遮光画素であると判定された場合、処理はステップＳ１６２に進む。

ステップＳ１６２において、DPCM処理部１５２は、次に近傍の同色画素を最近傍同色画素に設定する。ステップＳ１６２の処理が終了すると、処理はステップＳ１６１に戻る。つまり、最近傍同色画素が遮光画素（像面位相差検出画素）でない、すなわち、通常画素であると判定されるまで、ステップＳ１６１およびステップＳ１６２の処理が繰り返される。そして、ステップＳ１６２において、最近傍同色画素が通常画素であると判定された場合、処理はステップＳ１６３に進む。

ステップＳ１６３において、DPCM処理部１５２は、最近傍同色画素（通常画素）を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図１１に戻る。

このように各処理を行うことにより、通常画素の処理対象画素に対して通常画素を予測画素として予測を行うことができるので、図７の例のように予測誤差の増大を抑制することができる。

＜復号処理の流れ＞
次に、この場合の画像処理装置１００により実行される復号処理の流れの例を、図１３のフローチャートを参照して説明する。

復号処理が開始されると、受信部１０３は、ステップＳ１８１において、送信部１０２により送信された符号化データを受信する。

ステップＳ１８２において、圧縮率逆調整部１６１は、その符号化データよりリファインメントを削除し、圧縮率を逆調整する。

ステップＳ１８３において、可変長復号部１６２は、その符号化データに対して可変長復号を行い、予測誤差（残差データ）を生成する。

ステップＳ１８４において、逆DPCM処理部１６３は、予測画素生成処理を行い、予測画素を生成する。この予測画素生成処理は、図１２のフローチャートを参照して説明した場合と同様に、すなわち、符号化処理の際と同様に、実行される。ステップＳ１８５において、逆DPCM処理部１６３は、ステップＳ１８４において生成した予測画素を用いて逆DPCM処理を行い、量子化後の画素値（量子化された画像データ）を導出する。

ステップＳ１８６において、逆量子化部１６４は、その量子化された画像データを逆量子化し、量子化前の画像データと同じビット長の画素値からなる画像データを生成する。画像データが生成されると復号処理が終了する。

このように復号処理を行うことにより、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜４－２：方法２－２＞
方法２－２について図１４を参照して説明する。方法２－２では、処理対象画素が通常画素であり、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素の像面位相差検出画素の画素値を補正して予測画素とする。図１４は、図１に対応する図である。

例えば図１４において、左から８番目のＧ画素（通常画素）を処理対象画素とする場合、その直前の同色画素（隣接同色画素）は、左から６番目の左遮光画素ＺＢである。つまり像面位相差検出画素である。したがって、この左遮光画素ＺＢの画素値を補正して予測画素とし、予測を行う。図１４の例の場合、左遮光画素ＺＢの遮光率が50％であるので、左遮光画素ＺＢの画素値が２倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。

この場合、符号化対象の画像データではなく予測値を補正するので、復号の際も、符号化の場合と同一の固定値を乗算する（除算しない）。

なお、左から１０番目のＧ画素（通常画素）を処理対象画素とする場合、その直線の同色画素（隣接同色画素）は、左から８番目のＧ画素（通常画素）である。つまり、このＧ画素が最近傍の同色通常画素であるので、このＧ画素を予測画素として（このＧ画素の画素値を予測値として）予測を行う。

＜画像処理装置＞
図１５は、このような方法２－２を実現する画像処理装置の主な構成例を示すブロック図である。図１５に示されるように、この場合の画像処理装置１００は、図８の場合と同様に、符号化部１０１乃至復号部１０４を有する。

この場合の符号化部１０１には、画像データと遮光画素位置情報との他に、予測値の補正に用いる固定値が供給される。この固定値は、遮光画素位置情報と同様、予め画像処理装置１００に登録されていてもよいし、ユーザや他の装置等、画像処理装置１００の外部から入力されるようにしてもよい。

符号化部１０１は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化する。例えば、符号化部１０１は、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とする。例えば、この固定値を、隣接同色画素である像面位相差検出画素の遮光率に応じた値とする。このようにすることにより、符号化部１０１は、予測誤差の増大を抑制することができる。

また、この場合の復号部１０４にも同様に、遮光画素位置情報および固定値が供給される。この固定値は、符号化部１０１に供給される固定値と同一であり、遮光画素位置情報と同様、予め画像処理装置１００に登録されていてもよいし、ユーザや他の装置等、画像処理装置１００の外部から入力されるようにしてもよい。

復号部１０４は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、その隣接同色画素である像面位相差検出画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号する。例えば、復号部１０４は、その隣接同色画素である像面位相差検出画素の画素値に固定値を乗算した値を予測値とする。例えば、この固定値を、隣接同色画素である像面位相差検出画素の遮光率に応じた値とする。つまり、復号部１０４は、符号化部１０１と同様の方法で予測値を補正する。このようにすることにより、復号部１０４は、予測誤差の増大を抑制することができる。

＜符号化部＞
図１６は、図１５の符号化部１０１の主な構成例を示すブロック図である。図１６に示されるように、この場合の符号化部１０１は、図９の場合と同様、量子化部１５１乃至圧縮率調整部１５４を有する。

ただし、DPCM処理部１５２には、遮光画素位置情報とともに、図１５を参照して上述した固定値も供給される。DPCM処理部１５２は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、この固定値を乗算することにより予測値（隣接同色画素である像面位相差検出画素の画素値）を補正する。その他の処理は、図９の場合と同様に行われる。

＜復号部＞
図１７は、図１５の復号部１０４の主な構成例を示すブロック図である。図１７に示されるように、この場合の復号部１０４は、図１０の場合と同様、圧縮率逆調整部１６１乃至逆量子化部１６４を有する。

ただし、逆DPCM処理部１６３には、遮光画素位置情報とともに、図１５を参照して上述した固定値も供給される。逆DPCM処理部１６３は、処理対象画素が通常画素であり、かつ、隣接同色画素が像面位相差検出画素である場合、この固定値を乗算することにより予測値（隣接同色画素である像面位相差検出画素の画素値）を補正する。つまり、逆DPCM処理部１６３は、DPCM処理部１５２と同様の方法で予測値を補正する。その他の処理は、図１０の場合と同様に行われる。

＜予測画素生成処理の流れ＞
この場合、画像処理装置１００により実行される予測画素生成処理は、図１１のフローチャートを参照して説明した場合と同様の流れで実行される。

図１８のフローチャートを参照して、この場合の符号化処理（のステップＳ１４２（図１１））において実行される予測画素生成処理の流れの例を説明する。

予測画素生成処理が開始されると、DPCM処理部１５２は、ステップＳ２０１において、最近傍同色画素が遮光画素（像面位相差検出画素）であるか否かを判定する。最近傍同色画素が遮光画素であると判定された場合、処理はステップＳ２０２に進む。

ステップＳ２０２において、DPCM処理部１５２は、その最近傍同色画素である像面位相差検出画素の画素値に固定値（隣接同色画素である像面位相差検出画素の遮光率に応じた値）を乗算する。

ステップＳ２０２の処理が終了すると、処理はステップＳ２０３に進む。また、ステップＳ２０１において、最近傍同色画素が遮光画素でないと判定された場合、処理はステップＳ２０３に進む。

ステップＳ２０３において、DPCM処理部１５２は、最近傍同色画素を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図１１に戻る。

このように各処理を行うことにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができるので、図１４の例のように予測誤差の増大を抑制することができる。

また、この場合の画像処理装置１００により実行される復号処理は、図１３のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理（のステップＳ１８４（図１３））において実行される予測画素生成処理は、図１８のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部１０４は、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜５．第３の実施の形態＞
＜方法３＞
本実施の形態においては、処理対象画素が像面位相差検出画素の場合の「方法３」について説明する。この方法３の場合、予測方法を切り替えることにより、符号化・復号における予測誤差の増大を抑制する。

例えば、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、画像データを符号化する。また、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、符号化データを復号する。

＜５－１：方法３－１＞
＜右遮光画素ＺＡと左遮光画素ＺＢとを区別する場合＞
方法３－１について図１９を参照して説明する。方法３－１では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。図１９は、図１に対応する図であり、右遮光画素ＺＡと左遮光画素ＺＢとを区別する場合の例を示す。

例えば図１９において、左から１２番目の右遮光画素ＺＡ（像面位相差検出画素）を処理対象画素とする場合、その直前の同色画素（隣接同色画素）は、左から１０番目のＧ画素である。つまり通常画素である。したがって、この画素は予測画素としない。その次に近傍の同色画素は、左から８番目のＧ画素である。つまりこれも通常画素であるので予測画素としない。その次に近傍の同色画素は、左から６番目の左遮光画素ＺＢである。この画素は、像面位相差検出画素であるものの、処理対象画素（右遮光画素ＺＡ）とはタイプ（遮光位置）が一致しないので予測画素としない。その次に近傍の同色画素は、左から４番目の右遮光画素ＺＡである。つまり、この右遮光画素ＺＡが最近傍の同色像面位相差検出画素（同タイプの像面位相差検出画素）であるので、この右遮光画素ＺＡを予測画素として（この右遮光画素ＺＡの画素値を予測値として）予測を行う。このようにすることにより、像面位相差検出画素の予測を同タイプの像面位相差検出画素を用いて行うことができるので、図１９に示されるように、隣接同色画素であるＧ画素（通常画素）を予測画素とする場合よりも、予測誤差の増大を抑制することができる。

なお、左から１４番目の左遮光画素ＺＢ（像面位相差検出画素）を処理対象画素とする場合も、同様に予測画素の選択が行われ、左から６番目の左遮光画素ＺＢが最近傍の同色像面位相差検出画素（同タイプの像面位相差検出画素）として選択され、この左遮光画素ＺＢを予測画素として（この左遮光画素ＺＢの画素値を予測値として）予測が行われる。したがって同様に、予測誤差の増大を抑制することができる。

＜画像処理装置＞
このような方法３－１を実現する画像処理装置１００は、図８の例（方法２－１）と同様の構成を有する。また、符号化部１０１は、図９の例と同様の構成を有する。さらに、復号部１０４は、図１０の例と同様の構成を有する。

符号化部１０１は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて画像データを符号化する。例えば、符号化部１０１は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。このようにすることにより、符号化部１０１は、予測誤差の増大を抑制することができる。

復号部１０４は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って処理対象画素の予測値を導出し、その予測値を用いて符号化データを復号する。例えば、復号部１０４は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。このようにすることにより、復号部１０４は、予測誤差の増大を抑制することができる。

＜予測画素生成処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理は、図１１のフローチャートを参照して説明した場合と同様の流れで実行される。

この場合の、図１１のステップＳ１４２において実行される予測画素生成処理の流れの例を、図２０のフローチャートを参照して説明する。

予測画素生成処理が開始されると、DPCM処理部１５２は、ステップＳ２２１において、最近傍同色画素が同種類（同タイプ）の遮光画素（像面位相差検出画素）であるか否かを判定する。最近傍同色画素が同種類の遮光画素ではないと判定された場合、処理はステップＳ２２２に進む。

ステップＳ２２２において、DPCM処理部１５２は、次に近傍の同色画素を最近傍同色画素に設定する。ステップＳ２２２の処理が終了すると、処理はステップＳ２２１に戻る。つまり、最近傍同色画素が同種類の遮光画素（像面位相差検出画素）であると判定されるまで、ステップＳ２２１およびステップＳ２２２の処理が繰り返される。そして、ステップＳ２２２において、最近傍同色画素が同種類の遮光画素（像面位相差検出画素）であると判定された場合、処理はステップＳ２２３に進む。

ステップＳ２２３において、DPCM処理部１５２は、最近傍同色画素（像面位相差検出画素）を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図１１に戻る。

このように各処理を行うことにより、処理対象画素と同種類の像面位相差検出画素を予測画素として予測を行うことができるので、図１９の例のように予測誤差の増大を抑制することができる。

また、この場合の画像処理装置１００により実行される復号処理は、図１３のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理（のステップＳ１８４（図１３））において実行される予測画素生成処理は、図２０のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部１０４は、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜右遮光画素ＺＡと左遮光画素ＺＢとを区別しない場合＞
次に、方法３－１の右遮光画素ＺＡと左遮光画素ＺＢとを区別しない場合について、図２１を参照して説明する。方法３－１では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を予測画素とする。図２１は、図１に対応する図である。

例えば図２１において、左から１２番目の右遮光画素ＺＡ（像面位相差検出画素）を処理対象画素とする場合、左から１０番目のＧ画素と左から８番目のＧ画素は通常画素であるので予測画素としない。その次に近傍の同色画素は、左から６番目の左遮光画素ＺＢである。この画素は、処理対象画素（右遮光画素ＺＡ）とはタイプ（遮光位置）が一致しないが、像面位相差検出画素である。この場合は、タイプを区別しないので、この左遮光画素ＺＢを予測画素として（この左遮光画素ＺＢの画素値を予測値として）予測を行う。このようにすることにより、像面位相差検出画素の予測を、像面位相差検出画素を用いて行うことができるので、図２１に示されるように、隣接同色画素であるＧ画素（通常画素）を予測画素とする場合よりも、予測誤差の増大を抑制することができる。

なお、左から１４番目の左遮光画素ＺＢ（像面位相差検出画素）を処理対象画素とする場合も、同様に予測画素の選択が行われ、左から１４番目の右遮光画素ＺＡが最近傍の同色像面位相差検出画素として選択され、この右遮光画素ＺＡを予測画素として（この右遮光画素ＺＡの画素値を予測値として）予測が行われる。したがって同様に、予測誤差の増大を抑制することができる。

＜画像処理装置＞
この場合の画像処理装置１００やその各処理部の構成は、右遮光画素ＺＡと左遮光画素ＺＢとを区別する場合と同様である。

＜予測画素生成処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理は、図１１のフローチャートを参照して説明した場合と同様の流れで実行される。

この場合の、図１１のステップＳ１４２において実行される予測画素生成処理の流れの例を、図２２のフローチャートを参照して説明する。

予測画素生成処理が開始されると、DPCM処理部１５２は、ステップＳ２４１において、最近傍同色画素が遮光画素（像面位相差検出画素）であるか否かを判定する。最近傍同色画素が遮光画素ではないと判定された場合、処理はステップＳ２４２に進む。

ステップＳ２４２において、DPCM処理部１５２は、次に近傍の同色画素を最近傍同色画素に設定する。ステップＳ２４２の処理が終了すると、処理はステップＳ２４１に戻る。つまり、最近傍同色画素が遮光画素（像面位相差検出画素）であると判定されるまで、ステップＳ２４１およびステップＳ２４２の処理が繰り返される。そして、ステップＳ２４２において、最近傍同色画素が遮光画素（像面位相差検出画素）であると判定された場合、処理はステップＳ２４３に進む。

ステップＳ２４３において、DPCM処理部１５２は、最近傍同色画素（像面位相差検出画素）を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図１１に戻る。

このように各処理を行うことにより、処理対象画素と像面位相差検出画素を予測画素として予測を行うことができるので、図２１の例のように予測誤差の増大を抑制することができる。

また、この場合の画像処理装置１００により実行される復号処理は、図１３のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理（のステップＳ１８４（図１３））において実行される予測画素生成処理は、図２２のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部１０４は、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜５－２：方法３－２＞
＜右遮光画素ＺＡと左遮光画素ＺＢとを区別する場合＞
方法３－２について図２３を参照して説明する。方法３－２では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正して予測画素とする。図２３は、図１に対応する図であり、右遮光画素ＺＡと左遮光画素ＺＢとを区別する場合の例を示す。

例えば図２３において、左から４番目の右遮光画素ＺＡ（像面位相差検出画素）を処理対象画素とする場合、その直前の同色画素（隣接同色画素）は、左から２番目のＧ画素である。つまり通常画素である。したがって、このＧ画素の画素値を補正して予測画素とし、予測を行う。図２３の例の場合、右遮光画素ＺＡの遮光率が50％であるので、Ｇ画素の画素値が0.5倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。

この場合、符号化対象の画像データではなく予測値を補正するので、復号の際も、符号化の場合と同一の固定値を乗算する（除算しない）。

なお、左から６番目の左遮光画素ＺＢ（像面位相差検出画素）を処理対象画素とする場合、その直前の同色画素（隣接同色画素）は、左から４番目の右遮光画素ＺＡである。この右遮光画素ＺＡは、像面位相差検出画素であるものの、処理対象画素（左遮光画素ＺＢ）とはタイプが一致しないので予測画素としない。その次に近傍の同色画素は、左から２番目のＧ画素である。つまり通常画素である。したがって、このＧ画素の画素値を補正して予測画素とし、予測を行う。図２３の例の場合、左遮光画素ＺＢの遮光率が50％であるので、Ｇ画素の画素値が0.5倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。

＜画像処理装置＞
このような方法３－２を実現する画像処理装置１００は、図１５の例（方法２－２）と同様の構成を有する。また、符号化部１０１は、図１６の例と同様の構成を有する。さらに、復号部１０４は、図１７の例と同様の構成を有する。

符号化部１０１は、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて画像データを符号化する。例えば、符号化部１０１は、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とする。その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。このようにすることにより、符号化部１０１は、予測誤差の増大を抑制することができる。

復号部１０４は、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正した値を処理対象画素の予測値とし、その予測値を用いて符号化データを復号する。例えば、復号部１０４は、隣接同色画素である通常画素の画素値に固定値を乗算した値を予測値とする。その固定値は、処理対象画素である像面位相差検出画素の遮光率に応じた値であるようにしてもよい。このようにすることにより、復号部１０４は、予測誤差の増大を抑制することができる。

＜予測画素生成処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理は、図１１のフローチャートを参照して説明した場合と同様の流れで実行される。

この場合の、図１１のステップＳ１４２において実行される予測画素生成処理の流れの例を、図２４のフローチャートを参照して説明する。

予測画素生成処理が開始されると、DPCM処理部１５２は、ステップＳ２６１において、最近傍同色画素が通常画素であるか否かを判定する。最近傍同色画素が通常画素であると判定された場合、処理はステップＳ２６２に進む。

ステップＳ２６２において、DPCM処理部１５２は、その最近傍同色画素である通常画素の画素値に固定値（処理対象画素である像面位相差検出画素の遮光率に応じた値）を乗算する。ステップＳ２６２の処理が終了すると、処理はステップＳ２６５に進む。

また、ステップＳ２６１において、最近傍同色画素が通常画素でないと判定された場合、処理はステップＳ２６３に進む。

ステップＳ２６３において、DPCM処理部１５２は、最近傍同色画素が処理対象画素と同種類の（同タイプの）遮光画素（像面位相差検出画素）であるか否かを判定する。最近傍同色画素が処理対象画素と異なるタイプの遮光画素であると判定された場合、処理はステップＳ２６４に進む。

ステップＳ２６４において、DPCM処理部１５２は、次に近傍の同色画素を最近傍同色画素に設定する。ステップＳ２６４の処理が終了すると、処理はステップＳ２６１に戻る。つまり、最近傍同色画素が通常画素であると判定されるか、処理対象画素と同種類の遮光画素であると判定されるまで、ステップＳ２６１、ステップＳ２６３、およびステップＳ２６４の各処理が繰り返し実行される。そして、ステップＳ２６３において、最近傍同色画素が処理対象画素と同種類の遮光画素であると判定された場合、処理はステップＳ２６５に進む。

ステップＳ２６５において、DPCM処理部１５２は、最近傍同色画素を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図１１に戻る。

このように各処理を行うことにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができるので、図２３の例のように予測誤差の増大を抑制することができる。

また、この場合の画像処理装置１００により実行される復号処理は、図１３のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理（のステップＳ１８４（図１３））において実行される予測画素生成処理は、図２４のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部１０４は、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜右遮光画素ＺＡと左遮光画素ＺＢとを区別しない場合＞
次に、方法３－２の右遮光画素ＺＡと左遮光画素ＺＢとを区別しない場合について、図２５を参照して説明する。方法３－２では、処理対象画素が像面位相差検出画素であり、隣接同色画素が通常画素である場合、その隣接同色画素である通常画素の画素値を補正して予測画素とする。図２５は、図１に対応する図であり、右遮光画素ＺＡと左遮光画素ＺＢとを区別しない場合の例を示す。

例えば図２５において、左から４番目の右遮光画素ＺＡ（像面位相差検出画素）を処理対象画素とする場合、隣接同色画素は、左から２番目のＧ画素（通常画素）である。したがって、このＧ画素の画素値を補正して予測画素とし、予測を行う。図２５の例の場合、右遮光画素ＺＡの遮光率が50％であるので、Ｇ画素の画素値が0.5倍される。このようにすることにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。

この場合、符号化対象の画像データではなく予測値を補正するので、復号の際も、符号化の場合と同一の固定値を乗算する（除算しない）。

なお、左から６番目の左遮光画素ＺＢ（像面位相差検出画素）を処理対象画素とする場合、その直前の同色画素（隣接同色画素）は、左から４番目の右遮光画素ＺＡである。この場合、タイプは区別しないので、この右遮光画素ＺＡが予測画素とされ、予測が行われる。この場合、予測画素は、像面位相差検出画素であるので、補正（固定値の乗算）は行われない。したがって同様に、予測誤差の増大を抑制することができる。

＜画像処理装置＞
この場合の画像処理装置１００やその各処理部の構成は、右遮光画素ＺＡと左遮光画素ＺＢとを区別する場合と同様である。

＜予測画素生成処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理は、図１１のフローチャートを参照して説明した場合と同様の流れで実行される。

この場合の、図１１のステップＳ１４２において実行される予測画素生成処理の流れの例を、図２６のフローチャートを参照して説明する。

予測画素生成処理が開始されると、DPCM処理部１５２は、ステップＳ２８１において、最近傍同色画素が通常画素であるか否かを判定する。最近傍同色画素が通常画素であると判定された場合、処理はステップＳ２８２に進む。

ステップＳ２８２において、DPCM処理部１５２は、その最近傍同色画素である通常画素の画素値に固定値（処理対象画素である像面位相差検出画素の遮光率に応じた値）を乗算する。ステップＳ２８２の処理が終了すると、処理はステップＳ２８３に進む。

また、ステップＳ２８１において、最近傍同色画素が通常画素でないと判定された場合、処理はステップＳ２８３に進む。

ステップＳ２８３において、DPCM処理部１５２は、最近傍同色画素を予測画素とする。以上のように予測画素が設定されると、予測画素生成処理が終了し、処理は図１１に戻る。

このように各処理を行うことにより、通常画素と像面位相差検出画素との間の画素値の差を抑制することができるので、図２５の例のように予測誤差の増大を抑制することができる。

また、この場合の画像処理装置１００により実行される復号処理は、図１３のフローチャートを参照して説明した場合と同様の流れで実行される。そして、この場合の復号処理（のステップＳ１８４（図１３））において実行される予測画素生成処理は、図２６のフローチャートを参照して説明した場合と同様の流れで実行される。したがって、復号部１０４は、符号化部１０１が生成した符号化データを正しく復号することができる。したがって、予測誤差の増大を抑制することができる。

＜５－３：方法３－３＞
方法３－３について図２７を参照して説明する。方法３－３では、処理対象画素が像面位相差検出画素である場合、その予測（DPCM処理）を省略する。図２７は、図１に対応する図である。

例えば、図２７において、左から４番目の右遮光画素ＺＡ（像面位相差検出画素）を処理対象画素とする場合、DPCM処理が省略（スキップ）される。同様に、左から６番目の左遮光画素ＺＢ（像面位相差検出画素）を処理対象画素とする場合も、DPCM処理が省略（スキップ）される。この場合、その処理対象画素（像面位相差検出画素）の画素値が量子化されて可変長符号化される。なお、この場合、量子化値は、通常画素と同一であってもよいし、異なっていてもよい。また、非量子化であっても（量子化をスキップしても）よい。

また、復号も同様に行われる。つまり、処理対象画素が像面位相差検出画素である場合、その予測（DPCM処理）が省略される。

このようにすることにより、予測誤差が大きなDPCM処理を省略することができる。したがって、符号化・復号における予測誤差の増大を抑制することができる。また、符号化・復号の負荷の増大を抑制することができる。

＜画像処理装置＞
このような方法３－３を実現する画像処理装置１００は、図８の例（方法２－１）と同様の構成を有する。また、符号化部１０１は、図９の例と同様の構成を有する。さらに、復号部１０４は、図１０の例と同様の構成を有する。

符号化部１０１は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、画像データを符号化する。このようにすることにより、符号化部１０１は、予測誤差の増大を抑制することができる。

復号部１０４は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、符号化データを復号する。このようにすることにより、符号化部１０１は、予測誤差の増大を抑制することができる。

＜予測画素生成処理の流れ＞
この場合の画像処理装置１００により実行される符号化処理の流れの例を、図２８のフローチャートを参照して説明する。

符号化処理が開始されると、DPCM処理部１５２は、ステップＳ３０１において、処理対象画素が遮光画素であるか否かを判定する。処理対象画素が遮光画素でないと判定された場合、処理はステップＳ３０２に進む。

ステップＳ３０２において、量子化部１５１は、画像データを量子化する。ステップＳ３０３において、DPCM処理部１５２は、量子化された画像データをDPCM処理し、予測値との差分（残差データ）を生成する。ステップＳ３０４において、可変長符号化部１５３は、その残差データを可変長符号化し、符号化データを生成する。ステップＳ３０５において、圧縮率調整部１５４は、その符号化データにリファインメントを付加する等して圧縮率を調整する。ステップＳ３０５の処理が終了すると、処理はステップＳ３０９に進む。

また、ステップＳ３０１において、処理対象画素が遮光画素であると判定された場合、処理はステップＳ３０６に進む。ステップＳ３０６において、量子化部１５１は、画像データを量子化する。ステップＳ３０７において、可変長符号化部１５３は、その量子化された画像データを可変長符号化し、符号化データを生成する。ステップＳ３０８において、圧縮率調整部１５４は、その符号化データにリファインメントを付加する等して圧縮率を調整する。ステップＳ３０８の処理が終了すると、処理はステップＳ３０９に進む。

ステップＳ３０９において、DPCM処理部１５２は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップＳ３０１に戻り、それ以降の処理が繰り返される。そして、ステップＳ３０９において、全ての画素を処理したと判定された場合、処理はステップＳ３１０に進む。

ステップＳ３１０において、送信部１０２は、以上のように生成された符号化データを送信する。ステップＳ３１０の処理が終了すると、符号化処理が終了する。このように符号化処理を実行することにより、予測誤差の増大を抑制することができる。

＜復号処理の流れ＞
この場合の画像処理装置１００により実行される復号処理の流れの例を、図２９のフローチャートを参照して説明する。

復号処理が開始されると、受信部１０３は、ステップＳ３３１において、送信部１０２より送信された符号化データを受信する。

ステップＳ３３２において、DPCM処理部１５２は、処理対象画素が遮光画素であるか否かを判定する。処理対象画素が遮光画素でないと判定された場合、処理はステップＳ３３３に進む。

ステップＳ３３３において、圧縮率逆調整部１６１は、符号化データの圧縮率を逆調整する。ステップＳ３３４において、可変長復号部１６２は、その圧縮率が逆調整された符号化データを復号し、画像データ（残差データ）を生成する。ステップＳ３３５において、逆DPCM処理部１６３は、逆DPCM処理を行い、予測値を導出し、その予測値を残差データに加算して、量子化後の画像データを生成する。ステップＳ３３６において、逆量子化部１６４は、その量子化された画像データを逆量子化し、量子化される前の画像データと同一のビット長の画素値からなる画像データを生成する。ステップＳ３３６の処理が終了すると処理はステップＳ３４０に進む。

また、ステップＳ３３２において、処理対象画素が遮光画素であると判定された場合、処理はステップＳ３３７に進む。ステップＳ３３７において、圧縮率逆調整部１６１は、符号化データの圧縮率を逆調整する。ステップＳ３３８において、可変長復号部１６２は、その圧縮率が逆調整された符号化データを復号し、量子化後の画像データを生成する。ステップＳ３３９において、逆量子化部１６４は、その量子化された画像データを逆量子化し、量子化される前の画像データと同一のビット長の画素値からなる画像データを生成する。ステップＳ３３９の処理が終了すると処理はステップＳ３４０に進む。

ステップＳ３４０において、DPCM処理部１５２は、全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップＳ３３２に戻り、それ以降の処理が繰り返される。そして、ステップＳ３４０において、全ての画素を処理したと判定された場合、復号処理が終了する。このように復号処理を実行することにより、予測誤差の増大を抑制することができる。

なお、以上の方法３は、上述した方法２と組み合わせて適用してもよい。

＜６．第４の実施の形態＞
＜方法４＞
本実施の形態においては、処理対象画素が像面位相差検出画素の場合の「方法４」乃至「方法６」について説明する。この方法４の場合、符号化・復号による誤差を示す誤差情報を、像面位相差検出に利用する。

＜画像処理装置＞
この場合の画像処理装置１００の主な構成例を図３０に示す。図３０に示されるように、この場合の画像処理装置１００は、符号化部１０１乃至復号部１０４に加えて、信頼度情報生成部４０１、位相差検出部４０２、およびレンズ制御部４０３を有する。この場合、復号部１０４は、さらに誤差情報を導出する。

誤差情報は、符号化・復号により損失（ロス）するビット量を示す情報である。例えば、図３１において、各四角はビットを示し、図中縦方向の位置はビット深度（bit depth）を示し、図中横方向の位置は画素位置（horizontal position）を示す。つまり、四角の図中縦方向の並び（列）が画素値のビット列を示す。

符号化・復号は左の列（画素値）から順に処理される。上述したように、符号化においては例えば各画素値は量子化され、そのビット列の一部がDPCM処理される。図３１の例の場合、上位５ビットがDPCM処理される。ただし、最初に処理される一番左の画素値は、PCM処理され、そのまま出力される（０との差分値が予測誤差として出力される）。DPCM処理（またはPCM処理）により導出された予測誤差は、可変長符号化される。そして、適宜、リファインメントとして数ビットが付加される。図３１の例の場合、各画素値において、１ビットまたは２ビットがリファインメントとして付加されている。つまり、符号化データは、以上のビットについての情報が含まれる。復号においては、これらの逆処理が行われ、これらのビットの値が復元される。

換言するに、残りのビット（図３１の例の場合、白色の四角で示される未符号化bit）は伝送されず、損失（ロス）する。図３１の例の場合、各画素において３ビットまたは４ビットを損失している（bitloss）。

誤差情報は、このビット量を示す情報であり、例えば、符号化ブロック毎に生成される。つまり、復号部１０４は、損失したビット量（bitloss）を、符号化ブロック毎に集計し（例えば、合計値または平均値等を算出し）、それを誤差情報として信頼度情報生成部４０１に供給する。なお、誤差情報を生成するデータ単位は任意である。例えば、画素単位の情報としてもよい。

信頼度情報生成部４０１は、復号部１０４からその誤差情報を取得する。誤差情報の値が大きい程、符号化・復号によるビットの損失量が大きい。ビットの損失量が大きい程、撮像画像データにおける情報損失量が大きく、位相差検出の精度が低減する可能性が高い。つまり、誤差情報の値が大きい領域程、位相差検出結果の信頼度が低減する。

そこで、信頼度情報生成部４０１は、取得した誤差情報に基づいて、位相差検出結果の信頼度を判定し、位相差検出結果の信頼度を示す位相差検出結果信頼度情報を生成し、それを位相差検出部４０２に供給する。なお、信頼度情報生成部４０１は、この位相差検出結果信頼度情報を、位相差検出の処理単位となる領域（位相差検出領域とも称する）毎に導出する。

位相差検出部４０２は、復号部１０４が生成した撮像画像データを用いて位相差を検出し、その位相差検出結果をレンズ制御部４０３に供給する。その際、位相差検出部４０２は、信頼度情報生成部４０１から供給される位相差検出結果信頼度情報を取得し、その位相差検出結果信頼度情報も考慮して位相差の検出を行う。つまり、位相差検出部４０２は、撮像画像データおよび位相差検出結果信頼度情報（つまり誤差情報）に基づいて位相差の検出を行う。

例えば、位相差検出部４０２は、位相差検出結果信頼度情報において、信頼度が十分に低いと判定された位相差検出領域を、位相差検出の対象から除外する。換言するに、位相差検出部４０２は、位相差検出結果信頼度情報において、信頼度が十分に高いと判定された位相差検出領域の画素値を用いて位相差の検出を行う。

このようにすることにより、位相差検出部４０２は、位相差検出の精度の低減を抑制することができる（典型的には、より正確に位相差を検出することができる）。

＜信頼度情報生成部＞
図３２は、図３０の信頼度情報生成部４０１の主な構成例を示すブロック図である。図３２に示されるように、信頼度情報生成部４０１は、積算部４１１および閾値処理部４１２を有する。

積算部４１１は、復号部１０４から供給される誤差情報を取得し、その誤差情報を積算し、位相差検出領域毎の積算値を導出する。積算部４１１は、導出した位相差検出領域毎の積算値を閾値処理部４１２に供給する。

閾値処理部４１２は、積算部４１１から供給される積算値を取得し、その積算値と閾値とを比較することにより、その積算値に対応する位相差検出領域における位相差検出結果の信頼度を判定する。例えば、閾値処理部４１２は、各位相差検出領域について、位相差検出結果が十分に信頼できるか否かを判定する。閾値処理部４１２は、その判定結果を示す位相差検出結果信頼度情報を生成し、それを位相差検出部４０２に供給する。

位相差検出部４０２は、このような位相差検出結果信頼度情報に基づいて、例えば、図３３に示されるように、位相差検出結果の信頼度が十分に低い位相差検出領域を特定し、その領域を位相差検出の対象から除外する。図３３の例の場合、数字等が付された各四角は位相差検出領域を示す。そのうち「×」が付された四角が、位相差検出結果信頼度情報（つまり誤差情報）に基づいて、位相差検出結果の信頼度が十分に低いと判定された位相差検出領域を示す。位相差検出部４０２は、このような領域を対象から除外して、位相差検出を行う（つまり、その他の領域において位相差検出を行う）。

なお、図３３において、白い部分は、画素値がフラットな領域（フラット領域）であり、このような領域も位相差検出が困難であるので、位相差検出の対象から除外される。また、図中、濃いグレーで示される四角は、位相差検出結果が不正確であった位相差検出領域を示す。つまり、位相差検出部４０２は、上述のように位相差検出結果の信頼度が低い領域を対象から除外することにより、このような位相差検出結果が不正確となる領域を対象から除外することができる。したがって、位相差検出部４０２は、フラット領域を除外するのみの場合よりも正確な位相差検出を行うことができる。

＜復号処理の流れ＞
次に、この場合の画像処理装置１００により実行される復号処理の流れの例を、図３４のフローチャートを参照して説明する。

復号処理が開始されると、ステップＳ３６１乃至ステップＳ３６３の各処理が、ステップＳ１８１乃至ステップＳ１８３の各処理（図１３）と同様に実行される。

ステップＳ３６４において、逆DPCM処理部１６３は、逆DPCM処理を行い、量子化後の画像データを生成する。ステップＳ３６５の処理は、ステップＳ１８６の処理（図１３）と同様に実行される。

ステップＳ３６６において、復号部１０４は、復号結果に基づいて誤差情報を生成する。

ステップＳ３６７において、信頼度情報生成部４０１は、信頼度情報生成処理を実行し、誤差情報に基づいて位相差検出結果信頼度情報を生成する。

ステップＳ３６８において、位相差検出部４０２は、その位相差検出結果信頼度情報に基づいて、ステップＳ３６５の処理により生成された画像データ（例えばRAW画像データ）から位相差を検出する。

ステップＳ３６９において、レンズ制御部４０３は、ステップＳ３６８において得られた位相差検出結果に基づいて、合焦位置を更新する。

ステップＳ３６９の処理が終了すると復号処理が終了する。

＜信頼度情報生成処理の流れ＞
次に、図３５のフローチャートを参照して、図３４のステップＳ３６７において実行される信頼度情報生成処理の流れの例を説明する。

信頼度情報生成処理が開始されると、積算部４１１は、ステップＳ３８１において、ステップＳ３６６において導出された誤差情報を位相差検出領域毎に積算し、位相差検出領域毎の積算値を導出する。

ステップＳ３８２において、閾値処理部４１２は、ステップＳ３８１において導出された各位相差検出領域の誤差情報の積算値を閾値と比較し、その領域を位相差検出の対象から除外するか否かを判定する。

ステップＳ３８３において、閾値処理部４１２は、ステップＳ３８２において求めた判定結果を示す位相差検出結果信頼度情報を生成し、それを出力する（つまり、位相差検出部４０２に供給する）。ステップＳ３８３の処理が終了すると、信頼度情報生成処理が終了し、処理は図３４に戻る。

以上のように各処理を実行することにより、画像処理装置１００は、位相差検出の精度の低減を抑制することができる（典型的には、より正確に位相差を検出することができる）。

＜その他＞
なお、上述した方法４は、上述した方法１と組み合わせて適用してもよい（方法５）。また、上述した方法４は、上述した方法２または方法３と組み合わせて適用してもよい。さらに、上述した方法４は、上述した方法２および方法３と組み合わせて適用してもよい（方法６）。

＜７．第５の実施の形態＞
＜適用例：撮像装置＞
本技術は任意のデバイスに適用することができる。例えば、本技術は、撮像装置にも適用することができる。図３６は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図３６に示される撮像装置４５０は、被写体を撮像し、撮像画像データを生成し、記録したり、出力したりする。

図３６に示されるように、撮像装置４５０は、レンズ４５１、イメージセンサ４５２、信号処理部４５３、出力部４５４、および記憶部４５５を有する。

レンズ４５１は、後述する信号処理部４５３のレンズ制御部４７２により制御され、焦点距離を調整するための光学系である。絞り等を含むようにしてもよい。被写体からの光は、このレンズ４５１を介してイメージセンサ４５２に入射する。

イメージセンサ４５２は、レンズ４５１を介して入射する被写体からの光を受光し、撮像画像データを生成する。さらに、イメージセンサ４５２は、その撮像画像データを符号化し、符号化データとして信号処理部４５３に供給する。

信号処理部４５３は、イメージセンサ４５２から供給される符号化データを復号し、撮像画像データを生成する。信号処理部４５３は、その撮像画像データを出力部４５４や記憶部４５５に供給する。また、信号処理部４５３は、その撮像画像データから位相差を検出し、その位相差検出結果に基づいてレンズ４５１を制御し、焦点距離の制御を行う。

出力部４５４は、信号処理部４５３から供給される撮像画像データを取得し、それを撮像装置４５０の外部に出力する。例えば、出力部４５４は、表示部（モニタ）を有し、撮像画像をその表示部に表示する。また、例えば、出力部４５４は、外部出力端子を有し、撮像画像データを、その外部出力端子を介して他の装置に供給する。

記憶部４５５は、信号処理部４５３から供給される撮像画像データを取得し、それを記憶する。例えば、記憶部４５５は、ハードディスクやフラッシュメモリ等の記憶媒体を有し、信号処理部４５３から供給された撮像画像データをその記憶媒体に記憶させる。

なお、記憶部４５５は、その記憶媒体に記憶された撮像画像データを適宜読み出し、出力部４５４等の他の処理部に供給することができる。また、その記憶媒体は、撮像装置４５０（記憶部４５５）に対して着脱可能なメディア（リムーバブルメディア）であってもよい。

＜イメージセンサ＞
イメージセンサ４５２は、受光部４６１、ADC（Analog Digital Converter）４６２、符号化部１０１、および送信部１０２を有する。

受光部４６１は、画素領域（画素アレイ）を有しており、各画素において、被写体からの光を受光して光電変換し、電気信号として検出する。すなわち、受光部４６１は、撮像画像の電気信号を生成する。受光部４６１は、その撮像画像の電気信号をADC４６２に供給する。なお、受光部４６１の画素領域（画素アレイ）は、一部が遮光された像面位相差検出画素を含む。つまり、受光部４６１により生成された撮像画像の電気信号には、その像面位相差検出画素の画素値の電気信号も含まれる。

ADC４６２は、受光部４６１から供給される電気信号（画素値）をA/D変換し、デジタルデータの撮像画像データを生成する。つまり、この撮像画像データは、像面位相差検出画素の画素値の情報も含まれる。ADC４６２は、生成した撮像画像データを符号化部１０１に供給する。

符号化部１０１は、ADC４６２から供給される撮像画像データを取得する。符号化部１０１は、上述した画像処理装置１００の場合と同様に撮像画像データを符号化し、符号化データを生成する。つまり、符号化部１０１は、画素の種類に応じた方法で撮像画像データを符号化する。符号化部１０１は、生成した符号化データを送信部１０２に供給する。

送信部１０２は、符号化部１０１から供給された符号化データを取得し、それを信号処理部４５３（の受信部１０３）に送信する。

＜信号処理部＞
信号処理部４５３は、受信部１０３、復号部１０４、位相差検出部４７１、レンズ制御部４７２、および画像処理部４７３を有する。

受信部１０３は、イメージセンサ４５２の送信部１０２から送信された符号化データを受信する。受信部１０３は、受信した符号化データを復号部１０４に供給する。

復号部１０４は、受信部１０３から供給される符号化データを取得する。復号部１０４は、上述した画像処理装置１００の場合と同様に符号化データを復号し、撮像画像データを生成する。つまり、復号部１０４は、撮像画像データの符号化データを画素の種類に応じた方法で復号する。復号部１０４は、生成した撮像画像データを位相差検出部４７１および画像処理部４７３に供給する。

位相差検出部４７１は、復号部１０４から供給される撮像画像データを取得する。位相差検出部４７１は、取得した撮像画像データ（復号結果）を用いて、（被写体への）合焦のための位相差の検出を行う。上述したようにこの撮像画像データには像面位相差検出画素の画素値が含まれており、位相差検出部４７１は、その位相差検出画素の画素値を用いて位相差を検出する。また、位相差検出部４７１は、導出した位相差検出結果をレンズ制御部４７２に供給する。

レンズ制御部４７２は、位相差検出部４７１から供給される位相差検出結果を取得する。レンズ制御部４７２は、その位相差検出結果に基づいて、被写体に合焦させるようにレンズ４５１を制御する制御信号を生成し、それをレンズ４５１に供給する。つまり、レンズ制御部４７２は、被写体に合焦させるようにレンズ４５１を制御する。

画像処理部４７３は、復号部１０４から供給される撮像画像データを取得する。画像処理部４７３は、その撮像画像データに対する画像処理を行う。この画像処理の内容は任意である。画像処理部４７３は、画像処理後の撮像画像データを、出力部４５４および記憶部４５５の少なくともいずれか一方に供給する。もちろん、画像処理部４７３は、その画像処理をスキップすることもできる。その場合、画像処理部４７３は、取得した撮像画像データを出力部４５４および記憶部４５５の少なくともいずれか一方に供給する。

以上のように、撮像装置４５０のイメージセンサ４５２と信号処理部４５３との間において、撮像画像データは、符号化されて伝送される。そして、符号化部１０１は、画素の種類に応じた方法で撮像画像データを符号化する。同様に、復号部１０４は、撮像画像データの符号化データを画素の種類に応じた方法で復号する。

したがって、撮像装置４５０は、この符号化・復号における予測誤差の増大を抑制することができる。これにより、可変長符号化の場合、符号化効率の低減を抑制することができる。また、固定長符号化の場合、復号画像の画質の低減を抑制することができる。

＜撮像処理の流れ＞
この撮像装置４５０が被写体を撮像するために実行する撮像処理の流れの例を、図３７のフローチャートを参照して説明する。

撮像処理が開始されると、ステップＳ４０１において、レンズ４５１は、合焦位置を初期化する。

ステップＳ４０２において、受光部４６１は、被写体を撮像し、被写体からの光を光電変換して電気信号として各画素値を得る。ステップＳ４０３において、ADC４６２は、その画素値をA/D変換してデジタルデータの撮像画像データを生成する。上述のように、この撮像画像データには、像面位相差検出画素の画素値が含まれる。

ステップＳ４０４において、符号化部１０１は、第１の実施の形態乃至第４の実施の形態のそれぞれにおいて説明した場合と同様に、画素の種類に応じた方法でその撮像画像データを符号化し、符号化データを生成する。

ステップＳ４０５において、送信部１０２は、ステップＳ４０４において生成された符号化データを送信する。ステップＳ４０６において、受信部１０３は、その符号化データを受信する。

ステップＳ４０７において、復号部１０４は、第１の実施の形態乃至第４の実施の形態のそれぞれにおいて説明した場合と同様に、画素の種類に応じた方法でその符号化データを復号し、撮像画像データを生成する。

ステップＳ４０８において、位相差検出部４７１は、ステップＳ４０７において生成された撮像画像データを用いて位相差を検出する。なお、その際、位相差検出部４７１は、第４の実施の形態において説明したように、誤差情報（位相差検出結果信頼度情報）に基づいて、その位相差の検出を行うようにしてもよい。

ステップＳ４０９において、レンズ制御部４７２は、ステップＳ４０８において得られた位相差検出結果に基づいてレンズ４５１を制御し、合焦位置を更新する。ステップＳ４１０において、画像処理部４７３は、ステップＳ４０７において生成された撮像画像データに対する画像処理を行う。

ステップＳ４１１において、出力部４５４は、ステップＳ４１０の画像処理後の撮像画像データを、撮像装置４５０の外部に出力する。また、記憶部４５５は、その撮像画像データを記憶媒体に記憶する。

ステップＳ４１２において、撮像装置４５０は、撮像処理を終了するか否かを判定する。撮像を継続し、新たなフレーム画像を生成すると判定された場合、処理は、図３７のステップＳ４０２に戻る。つまり、撮像装置４５０は、ステップＳ４０２乃至ステップＳ４１２の各処理をフレーム毎に実行する。例えばユーザ指示等に基づいて、ステップＳ４１２において、撮像処理を終了すると判定された場合、撮像処理が終了する。

以上のように撮像処理を行うことにより、撮像装置４５０は、ステップＳ４０４の符号化やステップＳ４０７の復号における予測誤差の増大を抑制することができる。

＜適用例：撮像素子＞
また、本技術は、例えば撮像素子にも適用することができる。図３８は、本技術を適用した撮像素子である積層型イメージセンサの主な構成例を示すブロック図である。図３８に示される積層型イメージセンサ５００は、被写体を撮像し、撮像画像のデジタルデータ（画像データ）を得て、その画像データを出力するイメージセンサ（撮像素子）である。

図３８に示されるように、積層型イメージセンサ５００は、半導体基板５０１乃至半導体基板５０３の３枚の半導体基板を有する。これらの半導体基板は、互いに重畳された状態で封止され、モジュール化（一体化）されている。つまり、これらの半導体基板は、多層構造（積層構造）を形成する。半導体基板５０１乃至半導体基板５０３には、それぞれ、電子回路が形成されており、各半導体基板に形成される回路は、ビア（VIA）等により互いに接続されている。各半導体基板（に形成される回路）間の経路をバスとも称する。例えば、半導体基板５０１の回路と半導体基板５０２の回路は、バス５１１を介してデータ等の授受を行うことができる。また、半導体基板５０２の回路と半導体基板５０３の回路は、バス５１２を介してデータ等の授受を行うことができる。

また、半導体基板５０２に形成される回路には、積層型イメージセンサ５００のインタフェース５１３が形成される。つまり、半導体基板５０２に形成される回路は、このインタフェース５１３を介して、積層型イメージセンサ５００の外部の回路（例えば回路基板５２０に形成される回路）とデータ等の授受を行うことができる。このインタフェース５１３は、所定の通信規格に準拠した通信方式により通信が行われるインタフェースである。この通信規格は任意である。例えば、MIPI（Mobile Industry Processor Interface）であってもよいし、SLVS-EC（Scalable Low Voltage Signaling Embedded Clock）であってもよいし、その他の規格であってもよい。なお、インタフェース５１３の具体的な構成は任意である。例えば、入出力の制御を行う構成だけでなく、バスやケーブル等の伝送路もインタフェース５１３に含まれるものとしてもよい。

このように、モジュール内部において半導体基板の多層構造を形成することにより、積層型イメージセンサ５００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、積層型イメージセンサ５００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

各半導体基板に形成される回路構成の例を図３９に示す。図３９においては説明の便宜上、半導体基板５０１乃至半導体基板５０３が平面上に並べて配置されているが、実際には、図３８に示されるように互いに重畳されている。

一番上の半導体基板５０１には、受光部５３１およびA/D変換部５３２等が形成される。受光部５３１は、例えばフォトダイオード等の光電変換素子を有する単位画素を複数有し、各単位画素において入射光を光電変換し、入射光に相当する電荷を電気信号（画素信号）としてA/D変換部５３２に出力する。

A/D変換部５３２は、受光部５３１から供給される各画素信号をA/D変換し、デジタルデータの画素データを生成する。A/D変換部５３２は、このように生成した各単位画素の画素データの集合を画像データとしてバス５１１を介して半導体基板５０２に供給する。

中段の半導体基板５０２には、画像処理等を行う論理回路である画像処理部５３３が形成される。画像処理部５３３は、半導体基板５０１からバス５１１を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。例えば、欠陥画素補正、オートフォーカス用の位相差検出、画素加算、デジタルゲイン、ノイズリダクション等がこの画像処理に含まれていてもよい。もちろん、これら以外の処理が含まれていてもよい。

一番下の半導体基板５０３には、DRAM（Dynamic Random Access Memory）５３４が形成される。このDRAM５３４は、バス５１２を介して半導体基板５０２（画像処理部５３３）から供給されるデータ等を記憶することができる。また、DRAM５３４は、半導体基板５０２（画像処理部５３３）等からの要求に応じて、記憶しているデータ等を読み出し、バス５１２を介して半導体基板５０２に供給することができる。つまり、画像処理部５３３は、画像処理中の画像データを一時的に保持させる等、このDRAM５３４を用いて画像処理を行うことができる。例えば、高速のフレームレートで撮像し、その各フレームの撮像画像をDRAM５３４に記憶させ、それを低速のフレームレートで読み出して出力することにより、所謂スローモーション撮像を実現することができる。

このようなDRAM５３４の利用において、画像処理部５３３は、画像データを符号化（圧縮）し、生成した符号化データをDRAM５３４に記憶させたり、DRAM５３４から符号化データを読み出して復号（伸張）し、画像データ（復号画像データ）を生成したりする。例えば、画像処理部５３３は、符号化部５３３Ａおよび復号部５３３Ｂを有する。符号化部５３３Ａは、画像データを符号化し、生成した符号化データをDRAM５３４に供給し、記憶させる。復号部５３３Ｂは、DRAM５３４から読み出された符号化データを復号し、画像データ（復号画像データ）を生成する。このように画像データを符号化データ（圧縮したデータ）としてDRAM５３４に記憶させるようにすることにより、DRAM５３４に記憶させるデータ量を低減させることができる。したがって、DRAM５３４の記憶領域や、バス５１２の帯域の利用効率を向上させることができる。したがって、DRAM５３４の容量やバス５１２の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。

この符号化部５３３Ａとして、上述した符号化部１０１を適用するようにしてもよい。また、復号部５３３Ｂとして、上述した復号部１０４を適用するようにしてもよい。このようにすることにより、DRAM５３４へのデータの書き込みやDRAM５３４からのデータの読み出しにおいて、第１の実施の形態乃至第４の実施の形態等において上述した効果を得ることができる。

また、画像処理部５３３に、信頼度情報生成部４０１乃至レンズ制御部４０３を設け、図３０を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、DRAM５３４とのデータの授受における符号化・復号に基づいて、第４の実施の形態等において上述した効果を得ることができる。

また、回路基板５２０には、画像処理等を行う論理回路である画像処理部５３５が形成される。画像処理部５３５は、積層型イメージセンサ５００の半導体基板５０２（画像処理部５３３）からインタフェース５１３を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。

つまり、画像処理部５３３は、インタフェース５１３を介してデータ等を画像処理部５３５に供給する（積層型イメージセンサ５００の外部に出力する）ことができる。このような出力の際に、画像処理部５３３は、画像データを符号化（圧縮）して、符号化データとして出力する。例えば、画像処理部５３３が符号化部５３３Ｃを有し、画像処理部５３５が復号部５３５Ｃを有する。符号化部５３３Ｃは、画像データを符号化し、その符号化データを、インタフェース５１３を介して出力する。復号部５３５Ｃは、そのインタフェース５１３を介して供給される符号化データを復号し、画像データ（復号画像データ）を生成する。画像処理部５３５は、生成した復号画像データに対して画像処理を行う。

このように、符号化データ（圧縮したデータ）を、インタフェース５１３を介して伝送するようにすることにより、伝送するデータ量を低減させることができる。したがって、インタフェース５１３の帯域の利用効率を向上させることができる。つまり、インタフェース５１３の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。

この符号化部５３３Ｃとして、上述した符号化部１０１を適用するようにしてもよい。また、復号部５３５Ｃとして、上述した復号部１０４を適用するようにしてもよい。このようにすることにより、積層型イメージセンサ５００の外部へのデータ出力において、第１の実施の形態乃至第４の実施の形態等において上述した効果を得ることができる。

また、画像処理部５３３に、信頼度情報生成部４０１乃至レンズ制御部４０３を設け、図３０を参照して説明したような構成を形成するようにしてもよい。このようにすることにより、積層型イメージセンサ５００の外部へのデータ出力における符号化・復号に基づいて、第４の実施の形態等において上述した効果を得ることができる。

＜８．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図４０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図４０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。

また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。

また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 画素の種類に応じた方法で画像データを符号化する符号化部
を備える画像処理装置。
（２） 前記符号化部は、像面位相差検出画素であるか、通常画素であるかに応じた方法で前記画像データを符号化する
（１）に記載の画像処理装置。
（３） 前記符号化部は、
前記画像データの像面位相差検出画素の画素値に対して簡易補正を行い、
前記像面位相差検出画素の画素値が簡易補正された前記画像データを符号化する
（１）に記載の画像処理装置。
（４） 前記符号化部は、前記簡易補正として、像面位相差検出画素の画素値に固定値を乗算する
（３）に記載の画像処理装置。
（５） 前記固定値は、前記像面位相差検出画素の遮光率に応じた値である
（４）に記載の画像処理装置。
（６） 前記符号化部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記画像データを符号化する
（１）に記載の画像処理装置。
（７） 前記符号化部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
（６）に記載の画像処理装置。
（８） 前記符号化部は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を前記予測画素とする
（７）に記載の画像処理装置。
（９） 前記符号化部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
（６）に記載の画像処理装置。
（１０） 前記符号化部は、前記隣接同色画素である前記像面位相差検出画素の画素値に固定値を乗算した値を前記予測値とする
（９）に記載の画像処理装置。
（１１） 前記固定値は、前記隣接同色画素である前記像面位相差検出画素の遮光率に応じた値である
（１０）に記載の画像処理装置。
（１２） 前記符号化部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記画像データを符号化する
（１）に記載の画像処理装置。
（１３） 前記符号化部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
（１２）に記載の画像処理装置。
（１４） 前記符号化部は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を前記予測画素とする
（１３）に記載の画像処理装置。
（１５） 前記符号化部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
（１２）に記載の画像処理装置。
（１６） 前記符号化部は、前記隣接同色画素である前記通常画素の画素値に固定値を乗算した値を前記予測値とする
（１５）に記載の画像処理装置。
（１７） 前記固定値は、前記処理対象画素である前記像面位相差検出画素の遮光率に応じた値である
（１７）に記載の画像処理装置。
（１８） 前記符号化部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記画像データを符号化する
（１２）に記載の画像処理装置。
（１９） 前記符号化部は、
前記画像データを量子化する量子化部と、
予測を行い、前記量子化部により量子化された前記画像データの画素値と予測値との差分を導出する差分導出部と、
前記差分導出部により導出された前記差分を可変長符号化し、符号化データを生成する可変長符号化部と、
前記可変長符号化部により生成された前記符号化データの符号量を調整する調整部と
を備える
（１）に記載の画像処理装置。
（２０） 画素の種類に応じた方法で画像データを符号化する
画像処理方法。

（２１） 画像データの符号化データを画素の種類に応じた方法で復号する復号部
を備える画像処理装置。
（２２） 前記復号部は、像面位相差検出画素であるか、通常画素であるかに応じた方法で前記符号化データを復号する
（２１）に記載の画像処理装置。
（２３） 前記復号部は、
前記符号化データを復号して前記画像データを生成し、
生成された前記画像データの像面位相差検出画素の画素値に対して簡易補正を行う
（２１）に記載の画像処理装置。
（２４） 前記復号部は、前記簡易補正として、像面位相差検出画素の画素値を固定値により除算する
（２３）に記載の画像処理装置。
（２５） 前記固定値は、前記像面位相差検出画素の遮光率に応じた値である
（２４）に記載の画像処理装置。
（２６） 前記復号部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記符号化データを復号する
（２１）に記載の画像処理装置。
（２７） 前記復号部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
（２６）に記載の画像処理装置。
（２８） 前記復号部は、隣接同色画素が像面位相差検出画素である場合、最近傍の同色通常画素を前記予測画素とする
（２７）に記載の画像処理装置。
（２９） 前記復号部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
（２８）に記載の画像処理装置。
（３０） 前記復号部は、前記隣接同色画素である前記像面位相差検出画素の画素値に、前記隣接同色画素である前記像面位相差検出画素の遮光率に応じた値を乗算した値を前記予測値とする
（２９）に記載の画像処理装置。
（３１） 前記復号部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記符号化データを復号する
（２１）に記載の画像処理装置。
（３２） 前記復号部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
（３１）に記載の画像処理装置。
（３３） 前記復号部は、隣接同色画素が通常画素である場合、最近傍の同色像面位相差検出画素を前記予測画素とする
（３２）に記載の画像処理装置。
（３４） 前記復号部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
（３１）に記載の画像処理装置。
（３５） 前記復号部は、前記隣接同色画素である前記通常画素の画素値に、前記処理対象画素である前記像面位相差検出画素の遮光率に応じた値を乗算した値を前記予測値とする
（３４）に記載の画像処理装置。
（３６） 前記復号部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記符号化データを復号する
（３１）に記載の画像処理装置。
（３７） 前記画像データの符号化および復号による誤差を示す誤差情報に基づいて、前記復号部により前記符号化データが復号されて生成された画像データの位相差検出を行う位相差検出部をさらに備える
（２１）に記載の画像処理装置。
（３８） 前記誤差情報に基づいて、前記位相差検出の結果の信頼度を示す信頼度情報を生成する信頼度情報生成部をさらに備え、
前記位相差検出部は、前記信頼度情報生成部により生成された前記信頼度情報に基づいて前記位相差検出を行う
（３７）に記載の画像処理装置。
（３９） 前記復号部は、
前記符号化データに対して、符号化の際に行われた符号量の調整を元に戻す逆調整を行う逆調整部と、
前記逆調整部により符号量が逆調整された前記符号化データを可変長復号し、量子化された画像データの画素値と予測値との差分を生成する可変長復号部と、
予測を行い、前記可変長復号部により生成された前記差分に前記予測値を加算することにより、前記量子化された画像データを生成する生成部と、
前記生成部により生成された前記量子化された画像データを、逆量子化する逆量子化部と
を備える
（３１）に記載の画像処理装置。
（４０） 画像データの符号化データを画素の種類に応じた方法で復号する
画像処理方法。

１００ 画像処理装置， １０１ 符号化部， １０２ 送信部， １０３ 受信部， １０４ 復号部， １１１ 画素種類判定部， １１２ 乗算部， １１３ 符号化部， １２１ 復号部， １２２ 画素種類判定部， １２３ 除算部， １５１ 量子化部, １５２ DPCM処理部， １５３ 可変長符号化部， １５４ 圧縮率調整部， １６１ 圧縮率逆調整部， １６２ 可変長復号部， １６３ 逆DPCM処理部， １６４ 逆量子化部， ４０１ 信頼度情報生成部， ４０２ 位相差検出部， ４０３ レンズ制御部， ４１１ 積算部， ４１２ 閾値処理部， ４５０ 撮像装置， ４５１ レンズ， ４５２ イメージセンサ， ４５３ 信号処理部， ４５４ 出力部， ４５５ 記憶部， ４６１ 受光部， ４６２ ADC， ４７１ 位相差検出部， ４７２ レンズ制御部， ４７３ 画像処理部， ５００ 積層型イメージセンサ， ５０１乃至５０３ 半導体基板， ５２０ 回路基板， ５３１ 受光部， ５３２ A/D変換部， ５３３ 画像処理部， ５３４ DRAM， ５３５ 画像処理部

Claims (20)

1. 画素の種類に応じた方法で画像データを符号化する符号化部
   を備える画像処理装置。
2. 前記符号化部は、
   前記画像データの像面位相差検出画素の画素値に対して簡易補正を行い、
   前記像面位相差検出画素の画素値が簡易補正された前記画像データを符号化する
   請求項１に記載の画像処理装置。
3. 前記符号化部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記画像データを符号化する
   請求項１に記載の画像処理装置。
4. 前記符号化部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
   請求項３に記載の画像処理装置。
5. 前記符号化部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
   請求項３に記載の画像処理装置。
6. 前記符号化部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記画像データを符号化する
   請求項１に記載の画像処理装置。
7. 前記符号化部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記画像データを符号化する
   請求項６に記載の画像処理装置。
8. 前記符号化部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記画像データを符号化する
   請求項６に記載の画像処理装置。
9. 前記符号化部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記画像データを符号化する
   請求項６に記載の画像処理装置。
10. 画素の種類に応じた方法で画像データを符号化する
    画像処理方法。
11. 画像データの符号化データを画素の種類に応じた方法で復号する復号部
    を備える画像処理装置。
12. 前記復号部は、
    前記符号化データを復号して前記画像データを生成し、
    生成された前記画像データの像面位相差検出画素の画素値に対して簡易補正を行う
    請求項１１に記載の画像処理装置。
13. 前記復号部は、処理対象画素が通常画素である場合、隣接同色画素が像面位相差検出画素であるかに応じた予測方法を用いて、前記符号化データを復号する
    請求項１１に記載の画像処理装置。
14. 前記復号部は、隣接同色画素が像面位相差検出画素であるかに応じた位置の通常画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
    請求項１３に記載の画像処理装置。
15. 前記復号部は、隣接同色画素が像面位相差検出画素である場合、前記隣接同色画素である前記像面位相差検出画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
    請求項１３に記載の画像処理装置。
16. 前記復号部は、処理対象画素が像面位相差検出画素である場合、隣接同色画素が通常画素であるかに応じた予測方法を用いて、前記符号化データを復号する
    請求項１１に記載の画像処理装置。
17. 前記復号部は、隣接同色画素が通常画素であるかに応じた位置の像面位相差検出画素を予測画素として予測を行って前記処理対象画素の予測値を導出し、前記予測値を用いて前記符号化データを復号する
    請求項１６に記載の画像処理装置。
18. 前記復号部は、隣接同色画素が通常画素である場合、前記隣接同色画素である前記通常画素の画素値を補正した値を前記処理対象画素の予測値とし、前記予測値を用いて前記符号化データを復号する
    請求項１６に記載の画像処理装置。
19. 前記復号部は、隣接同色画素が通常画素である処理対象画素の予測を行わずに、前記符号化データを復号する
    請求項１６に記載の画像処理装置。
20. 画像データの符号化データを画素の種類に応じた方法で復号する
    画像処理方法。

Images