JP2015122576A - 画素補間処理装置、撮像装置、プログラムおよび集積回路 - Google Patents

Abstract

【課題】色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を実行できる画素補間処理装置、撮像装置を実現することを目的とする。
【解決手段】撮像装置１０００では、４色配列カラーフィルタを有する単板式の撮像素子を有する撮像部Ｃ１で取得された画像信号に対して、注目画素の周辺領域の画素データを用いて、直角に交わる２方向の複数組の相関値を求め、この相関値に基づいて、相関方向が決定される。撮像装置１０００では、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）ことを利用し、注目画素について、第１色〜第４色成分画素値を取得するので、カラーフィルタの４つの色（第１色〜第４色）がどのような色であるかが不明であっても、適切に画素補間処理を実行することができる。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置で実行される信号処理に関する。特に、画素補間技術に関する。

デジタルカメラ等の撮像装置で利用されるＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサなどの撮像素子では、色フィルタを介して受光された光が光電変換により電気信号に変換され、画素信号として出力される。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理により取得する必要がある。そして、この補間処理には、様々なアルゴリズムが用いられている。たとえば、水平方向の相関度と垂直方向の相関度とを算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。また、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。

下記特許文献１に開示されている技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子により取得された画像の中のグレー領域とカラー領域を判別し、画像領域の特性に応じた画素補間を適用させるようにしている。特許文献１の技術では、特に、グレー領域とカラー領域との境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、特許文献１の技術では、グレー領域とカラー領域との境界にある領域に対して、相関方向については、グレー画像用の判定方法を用いて相関方向の判定処理を行い、画素補間については、カラー画像領域用の画素補間方法を用いて、画素補間処理を行う。これにより、特許文献１の技術では、画素補間処理による偽色の発生を低減させることができる。

特開２００６−１８６９６５号公報

ところで、色フィルタとして、ＷＲＧＢ配列やＹｅ（イエロー）−Ｃｙ（シアン）−Ｇ（グリーン）−Ｍｇ（マゼンタ）配列やＲＧＢＹｅ配列等の４色フィルタを有する撮像装置がある。このような４色フィルタを有する単板式の撮像素子を用いた場合、１画素について、４色のうちのいずれか１色の画素信号が出力される。

特許文献１の技術では、ベイヤ配列（ＲＧＢ色フィルタ）の撮像素子を前提としており、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が既知であることを前提としている。このため、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合、特許文献１の技術をそのまま適用することは困難である。また、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合、適切に画素補間処理を行うことは困難である。

そこで、本発明は、上記課題に鑑み、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することを目的とする。

上記課題を解決するために、第１の発明は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、相関値算出部と、相関方向決定部と、補間部と、を備える。

相関値算出部は、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関値を取得する。

相関方向決定部は、相関値算出部により取得された相関値に基づいて、注目画素の周辺領域における相関方向を決定する。

補間部は、相関方向決定部により決定された相関方向に基づいて、注目画素に対して、画素補間処理を実行する。

補間部は、相関値に基づいて、相関の高い方向があると判定される場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値を算出する場合、
相関方向において、注目画素を挟んで隣接する２つの画素の画素値と、注目画素を含む相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した相関方向の変化率と、に基づいて、注目画素の相関方向に隣接する画素と同色の色成分値を算出する。
（２）注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、注目画素を法線方向に挟んで隣接する２つの画素の画素値と、に基づいて、注目画素の法線方向に隣接する画素と同色の色成分値を算出する。
（３）注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値を算出する場合、
（３Ａ）注目画素の法線方向に隣接する一方の画素である第１隣接画素を含み、相関方向に配置されている複数の画素である第１画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第１算出対象色と同色の画素を第１画素群の中から選択し、選択した当該画素から、第１隣接画素の第１算出対象色の色成分値を算出し、
（３Ｂ）注目画素の法線方向に隣接する他方の画素である第２隣接画素を含み、相関方向に配置されている複数の画素である第２画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第１算出対象色と同色の画素を第２画素群の中から選択し、選択した当該画素から、第２隣接画素の第１算出対象色の色成分値を算出し、
（３Ｃ）法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、算出された第１隣接画素の第１算出対象色の色成分値と、算出された第２隣接画素の第１算出対象色の色成分値と、に基づいて、注目画素の第１算出対象色の色成分値を算出する。

この画素補間処理装置では、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切な画素補間処理を実行することができる。

つまり、この画素補間処理装置では、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）ことを利用し、注目画素について、第１色〜第４色成分画素値を取得するので、カラーフィルタの４つの色（第１色〜第４色）がどのような色であるかが不明であっても、適切に画素補間処理を実行することができる。また、この画素補間処理装置では、カラーフィルタの配列パターンから、同一色の画素を用いて、変化率（例えば、ラプラシアン成分）を取得し、取得した変化率（例えば、ラプラシアン成分）を用いて、所定の位置の画素の特定の色成分値を推定するので、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に、所定の位置の画素の特定の色成分値を推定（取得）することができる。

つまり、この画素補間処理装置では、このように変化率（例えば、ラプラシアン成分）に基づいて、取得した所定の位置の画素の特定の色成分値を用い、さらに、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分がカラーフィルタの色に関係なく、相関が高い（類似する）ことを利用して、画素補間処理を実行するので、従来技術に比べて、格段に精度の良い画素補間処理を実現することができる。

そして、この画素補間処理装置では、色フィルタ配列のパターンについての情報（カラーフィルタを構成する色の情報）が不要であるので、従来技術のように、注目画素の色により場合分けして、画素補間処理を行う必要がない。したがって、この画素補間処理装置では、少ない演算量で、高精度な画素補間処理を実現することができる。

第２の発明は、第１の発明であって、注目画素の周辺領域は、注目画素である画素Ｐ２２を中心として、５画素×５画素からなる画素領域であって、
第１行が画素Ｐ００〜Ｐ０４の５つの画素からなり、
第２行が画素Ｐ１０〜Ｐ１４の５つの画素からなり、
第３行が画素Ｐ２０〜Ｐ２４の５つの画素からなり、
第４行が画素Ｐ３０〜Ｐ３４の５つの画素からなり、
第５行が画素Ｐ４０〜Ｐ４４の５つの画素からなる画素領域である。

これにより、５画素×５画素からなる画素領域を用いて、画素補間処理を実行することができる。

第３の発明は、第２の発明であって、補間部は、相関方向が水平方向である場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２−（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
ｇａｉｎ０：調整用係数。
に相当する処理により、色成分値Ｄ２ｏｕｔを算出する。
（２）注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１
ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ２
ｄ０ａ＝Ｐ１１―ｑ０
ｄ０ｂ＝Ｐ１３―ｑ１
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
ｄ１ａ＝Ｐ３１―ｑ０
ｄ１ｂ＝Ｐ３３―ｑ１
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
Ｄ３ｏｕｔ＝（Ｐ１２＋Ｐ３２）／２−（ｄ０＋ｄ１）×ｇａｉｎ３
ｇａｉｎ１、ｇａｉｎ２、ｇａｉｎ３：調整用係数
に相当する処理により、色成分値Ｄ３ｏｕｔを算出する。
（３）注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値Ｄ４ｏｕｔを算出する場合、
ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１
ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ２
ｄ０ａ＝Ｐ１１―ｑ０
ｄ０ｂ＝Ｐ１３―ｑ１
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
ｄ１ａ＝Ｐ３１―ｑ０
ｄ１ｂ＝Ｐ３３―ｑ１
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
ｒ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ４
ｒ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ５
Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ６
ｇａｉｎ１、ｇａｉｎ２、ｇａｉｎ３：調整用係数
ｇａｉｎ４、ｇａｉｎ５、ｇａｉｎ６：調整用係数
に相当する処理により、色成分値Ｄ４ｏｕｔを算出する。

これにより、相関方向が水平方向である場合において、精度の高い画素補間処理を実現することができる。

第４の発明は、第２の発明であって、補間部は、相関方向が垂直方向である場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
ｔ０＝（Ｐ１２＋Ｐ３２）／２
ｔ１＝（Ｐ０２−２×Ｐ２２＋Ｐ４２）×ｇａｉｎ１０
Ｄ３ｏｕｔ＝ｔ０−ｔ１
ｇａｉｎ１０：調整用係数
に相当する処理により、色成分値Ｄ３ｏｕｔを算出する。
（２）注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ１１
ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ１２
ｄ０ａ＝Ｐ１１―ｑ０
ｄ０ｂ＝Ｐ３１―ｑ１
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
ｄ１ａ＝Ｐ１３―ｑ０
ｄ１ｂ＝Ｐ３３―ｑ１
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２−（ｄ０＋ｄ１）×ｇａｉｎ１３
ｇａｉｎ１１、ｇａｉｎ１２、ｇａｉｎ１３：調整用係数
に相当する処理により、色成分値Ｄ２ｏｕｔを算出する。
（３）注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値Ｄ４ｏｕｔを算出する場合、
ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ１１
ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ１２
ｄ０ａ＝Ｐ１１―ｑ０
ｄ０ｂ＝Ｐ３１―ｑ１
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
ｄ１ａ＝Ｐ１３―ｑ０
ｄ１ｂ＝Ｐ３３―ｑ１
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
ｒ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１４
ｒ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ１５
Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ１６
ｇａｉｎ１１、ｇａｉｎ１２、ｇａｉｎ１４、ｇａｉｎ１５：調整用係数
に相当する処理により、色成分値Ｄ４ｏｕｔを算出する。

これにより、相関方向が垂直方向である場合において、精度の高い画素補間処理を実現することができる。

第５の発明は、第２の発明であって、補間部は、相関方向が左上斜め方向である第１斜め方向である場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値Ｄ４ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
Ｄ４ｏｕｔ＝（Ｐ１１＋Ｐ３３）／２−（Ｐ００−２×Ｐ２２＋Ｐ４４）×ｇａｉｎ４０
ｇａｉｎ４０：調整用係数
に相当する処理により、色成分値Ｄ４ｏｕｔを算出する。
（２）注目画素の垂直方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
ｑ０＝（３×Ｐ１２＋Ｐ３４）／４
ｑ１＝（Ｐ１０＋３×Ｐ３２）／４
Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４１
ｇａｉｎ４１：調整用係数
に相当する処理により、色成分値Ｄ３ｏｕｔを算出する。
（３）注目画素の水平方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、
ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
ｑ０＝（Ｐ０１＋３×Ｐ２３）／４
ｑ１＝（３×Ｐ２１＋Ｐ４３）／４
Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４２
ｇａｉｎ４２：調整用係数
に相当する処理により、色成分値Ｄ２ｏｕｔを算出する。

これにより、相関方向が第１斜め方向である場合において、精度の高い画素補間処理を実現することができる。

第６の発明は、第２の発明であって、補間部は、相関方向が右上斜め方向である第２斜め方向である場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値Ｄ４ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
Ｄ４ｏｕｔ＝（Ｐ１３＋Ｐ３１）／２−（Ｐ０４−２×Ｐ２２＋Ｐ４０）×ｇａｉｎ５０
ｇａｉｎ５０：調整用係数
に相当する処理により、色成分値Ｄ４ｏｕｔを算出する。
（２）注目画素の垂直方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
ｑ０＝（３×Ｐ１２＋Ｐ３０）／４
ｑ１＝（Ｐ１４＋３×Ｐ３２）／４
Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５１
ｇａｉｎ５１：調整用係数
に相当する処理により、色成分値Ｄ３ｏｕｔを算出する。
（３）注目画素の水平方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、
ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
ｑ０＝（Ｐ０３＋３×Ｐ２１）／４
ｑ１＝（３×Ｐ２３＋Ｐ４１）／４
Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５２
ｇａｉｎ５２：調整用係数
に相当する処理により、色成分値Ｄ２ｏｕｔを算出する。

これにより、相関方向が第２斜め方向である場合において、精度の高い画素補間処理を実現することができる。

第７の発明は、撮像部と、第１から第６のいずれかの発明である画素補間処理装置とを備える撮像装置である。

撮像部は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有し、被写体光から画像信号を取得する。

第１から第６のいずれかの発明である画素補間処理装置は、画像信号に対して、画素補間処理を行う。

これにより、第１から第６のいずれかの発明である画素補間処理装置を用いた撮像装置を実現することができる。

第８の発明は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法をコンピュータで実行させるためのプログラムである。

画素補間処理方法は、相関値算出ステップと、相関方向決定ステップと、補間ステップと、を備える。

相関値算出ステップは、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関値を取得する。

相関方向決定ステップは、相関値算出ステップにより取得された相関値に基づいて、注目画素の周辺領域における相関方向を決定する。

補間ステップは、相関方向決定ステップにより決定された相関方向に基づいて、注目画素に対して、画素補間処理を実行する。

補間ステップは、相関値に基づいて、相関の高い方向があると判定される場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値を算出する場合、
相関方向において、注目画素を挟んで隣接する２つの画素の画素値と、注目画素を含む相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した相関方向の変化率と、に基づいて、注目画素の相関方向に隣接する画素と同色の色成分値を算出する。
（２）注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、注目画素を法線方向に挟んで隣接する２つの画素の画素値と、に基づいて、注目画素の法線方向に隣接する画素と同色の色成分値を算出する。
（３）注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値を算出する場合、
（３Ａ）注目画素の法線方向に隣接する一方の画素である第１隣接画素を含み、相関方向に配置されている複数の画素である第１画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第１算出対象色と同色の画素を第１画素群の中から選択し、選択した当該画素から、第１隣接画素の第１算出対象色の色成分値を算出し、
（３Ｂ）注目画素の法線方向に隣接する他方の画素である第２隣接画素を含み、相関方向に配置されている複数の画素である第２画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第１算出対象色と同色の画素を第２画素群の中から選択し、選択した当該画素から、第２隣接画素の第１算出対象色の色成分値を算出し、
（３Ｃ）法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、算出された第１隣接画素の第１算出対象色の色成分値と、算出された第２隣接画素の第１算出対象色の色成分値と、に基づいて、注目画素の第１算出対象色の色成分値を算出する。

これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。

第９の発明は、奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、相関値算出部と、相関方向決定部と、補間部と、を備える。

相関値算出部は、注目画素の周辺領域の画素データを用いて、画像上において直交する２方向の複数組の相関値を取得する。

相関方向決定部は、相関値算出部により取得された相関値に基づいて、注目画素の周辺領域における相関方向を決定する。

補間部は、相関方向決定部により決定された相関方向に基づいて、注目画素に対して、画素補間処理を実行する。

補間部は、相関値に基づいて、相関の高い方向があると判定される場合において、以下の（１）〜（３）の処理を行う。
（１）注目画素の相関方向に隣接する画素と同色の色成分値を算出する場合、
相関方向において、注目画素を挟んで隣接する２つの画素の画素値と、注目画素を含む相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した相関方向の変化率と、に基づいて、注目画素の相関方向に隣接する画素と同色の色成分値を算出する。
（２）注目画素の相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、注目画素を法線方向に挟んで隣接する２つの画素の画素値と、に基づいて、注目画素の法線方向に隣接する画素と同色の色成分値を算出する。
（３）注目画素の相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値を算出する場合、
（３Ａ）注目画素の法線方向に隣接する一方の画素である第１隣接画素を含み、相関方向に配置されている複数の画素である第１画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第１算出対象色と同色の画素を第１画素群の中から選択し、選択した当該画素から、第１隣接画素の第１算出対象色の色成分値を算出し、
（３Ｂ）注目画素の法線方向に隣接する他方の画素である第２隣接画素を含み、相関方向に配置されている複数の画素である第２画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、第１算出対象色と同色の画素を第２画素群の中から選択し、選択した当該画素から、第２隣接画素の第１算出対象色の色成分値を算出し、
（３Ｃ）法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から法線方向の変化率を求め、求めた法線方向の変化率と、算出された第１隣接画素の第１算出対象色の色成分値と、算出された第２隣接画素の第１算出対象色の色成分値と、に基づいて、注目画素の第１算出対象色の色成分値を算出する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に画素補間処理を行うことができる画素補間処理装置、撮像装置、プログラムおよび集積回路を実現することができる。

第１実施形態に係る撮像装置１０００の概略構成図。 撮像部Ｃ１に設置される任意の４色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタ、第３成分用色フィルタおよび第４成分用色フィルタの配列パターンの一例を示す図。 垂直方向相関値Ｃｖの算出処理を説明するための図。 水平方向相関値Ｃｈの算出処理を説明するための図。 第１斜め方向相関値Ｃｄ１の算出処理を説明するための図。 第２斜め方向相関値Ｃｄ２の算出処理を説明するための図。 判定用相関値Ｃｖ，Ｃｈから相関方向を決定するための関係図。 判定用相関値Ｃｄ１，Ｃｄ２から相関方向を決定するための関係図。 中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が水平方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が垂直方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が第１斜め方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が第１斜め方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が第１斜め方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が第２斜め方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が第２斜め方向である場合の５画素×５画素のマトリクス領域を示す図。 中心画素（注目画素）が第１色画素であり、相関方向が第２斜め方向である場合の５画素×５画素のマトリクス領域を示す図。

［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。

＜１．１：撮像装置の構成＞
図１は、第１実施形態に係る撮像装置１０００の概略構成図である。

撮像装置１０００は、図１に示すように、被写体光を光電変換により画像信号として取得する撮像部Ｃ１と、撮像部Ｃ１により取得された画像信号に対して所定の信号処理を行う信号処理部Ｃ２と、信号処理部Ｃ２により所定の信号処理が施された画像信号に対して画素補間処理を行う画素補間処理部１００（画素補間処理装置）と、を備える。

撮像部Ｃ１は、光学系と、任意の４色配列色フィルタと、撮像素子とを備える。

なお、説明便宜のために、「任意の４色配列色フィルタ」は、第１色成分用フィルタ、第２色成分用フィルタ、第３色成分用フィルタ、および、第４色成分用フィルタからなるものとし、その配列は、以下の通りであるものとする。すなわち、
（１）第１列において、第１色フィルタ、第２色フィルタ、第１色フィルタ、第２色フィルタ・・・、と第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、
（２）第２列において、第３色フィルタ、第４色フィルタ、第３色フィルタ、第４色フィルタ・・・、と第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている。

つまり、「任意の４色配列色フィルタ」は、奇数行では、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行では、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されているものとする。「任意の４色配列色フィルタ」は、このような配列を有するものとして、以下、説明する。

光学系は、１または複数のレンズからなり、被写体光を集光し、被写体光を撮像素子面に結像させる。なお、光学系は、露光調整、フォーカス調整機能等を有するものであってもよい。

４色配列色フィルタは、第１色成分用色フィルタ、第２色成分用色フィルタ、第３色成分用色フィルタおよび第４色成分用色フィルタの４つ色成分フィルタを含み、上記で説明した配列を有している。４色配列色フィルタは、撮像素子の撮像素子面上に配置される。

撮像素子は、複数の画素を有しており、光学系で集光され、４色配列色フィルタを介して、撮像素子面上に結像された被写体光を光電変換により画像信号（電気信号）に変換する。撮像素子は、第１色成分取得用の画素において、第１色成分画素信号を取得し、第２色成分取得用の画素において、第２色成分画素信号を取得する。また、撮像素子は、第３色成分取得用の画素において、第３色成分画素信号を取得し、第４色成分取得用の画素において、第４色成分画素信号を取得する。撮像素子は、各画素に取得した画素信号（第１色成分画素信号、第２色成分画素信号、第３色成分画素信号、および、第４色成分画素信号）を、画像信号として信号処理部Ｃ２に出力する。

信号処理部Ｃ２は、撮像部Ｃ１から出力される画像信号を入力し、入力された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）を行う。信号処理部Ｃ２は、所定の信号処理を施した画像信号を、画像信号Ｄ＿ｒａｗとして、画素補間処理部１００に出力する。

画素補間処理部１００は、図１に示すように、相関値算出部１と、相関方向決定部２と、補間部３と、を備える。

相関値算出部１は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗ（画像信号Ｄ＿ｒａｗにより形成される１枚の画像（１フレーム画像）を画像Ｄ＿ｒａｗと表現する。以下、同様。）を入力する。相関値算出部１は、画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つの相関値を算出する（詳細については後述する）。
（Ａ１）垂直方向相関値Ｃｖ
（Ａ２）水平方向相関値Ｃｈ
（Ａ３）第１斜め方向相関値Ｃｄ１
（Ａ４）第２斜め方向相関値Ｃｄ２
相関値算出部１は、画像Ｄ＿ｒａｗ上の画素ごとに取得した上記４つの相関値を相関方向決定部２に出力する。なお、上記４つの相関値を総称して、「Ｃｘ」と表記する。

相関方向決定部２は、相関値算出部１から出力される画素ごとの相関値Ｃｘを入力する。相関方向決定部２は、画素ごとに、相関値Ｃｘに基づいて、相関方向を決定する（詳細については後述する）。そして、相関方向決定部２は、画素ごとに決定した相関方向に関する情報Ｃｏ＿Ｄｉｒを、補間部３に出力する。

補間部３は、信号処理部Ｃ２から出力される画像信号Ｄ＿ｒａｗと、相関方向決定部２から出力される画素ごとに決定された相関方向に関する情報Ｃｏ＿Ｄｉｒを入力とする。補間部３は、画像Ｄ＿ｒａｗの画素ごとに、相関方向決定部２により決定された相関方向に基づいて、全ての画素が第１色成分、第２色成分、第３色成分、および、第４色成分を持つように、画素補間処理を行う（詳細については後述する）。そして、補間部３は、画素補間処理後の画像信号（全ての画素が第１色成分、第２色成分、第３色成分、および、第４色成分を有する画像信号）を、画像信号Ｄｏｕｔとして、出力する。

＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１０００の動作について、以下、説明する。

図２は、撮像部Ｃ１に設置される任意の４色配列色フィルタＣ１１における第１成分用色フィルタ、第２成分用色フィルタ、第３成分用色フィルタおよび第４成分用色フィルタの配列パターンの一例を示す図である。図２に示すように、４色配列色フィルタでは、奇数行において、第１成分用色フィルタ、第２成分用色フィルタ、第１成分用色フィルタ、第２成分用色フィルタ、・・・と、第１成分用色フィルタと第２成分用色フィルタとが交互に配列されている。そして、偶数行において、第３成分用色フィルタ、第４成分用色フィルタ、第３成分用色フィルタ、第４成分用色フィルタ、・・・と、第３成分用色フィルタと第４成分用色フィルタとが交互に配列されている。

≪４色画素配列の画素の表記方法≫
ここで、４色配列色フィルタの画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２の左上領域ＡＲ１のように表す。図２の左上領域ＡＲ１における記号Ｐは、画素がいずれの色成分用画素であるかを考慮しない表記である（図２に示す領域ＡＲ２〜ＡＲ４についても同様）。

記号Ｐの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。なお、他の図面における画素配列の表記方法も上記と同様である。また、実施形態の説明や各数式において、記号Ｐは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

被写体からの光は、撮像部Ｃ１の光学系（不図示）で集光され、撮像素子面上に配置された４色配列色フィルタＣ１１を介して、撮像部Ｃ１の撮像素子（不図示）に入射される。なお、４色配列色フィルタＣ１１は、図２に示す配列パターンであるものとして、以下、説明する。

撮像部Ｃ１の撮像素子では、画素ごとに、入射された被写体光は、光電変換により電気信号（画素信号）に変換される。つまり、第１色成分用画素では第１色成分画素値が取得され、第２色成分用画素では第２色成分画素値が取得され、第３色成分用画素では第３色成分画素値が取得され、第４色成分用画素では第４色成分画素値が取得される。そして、上記のようにして取得された画像信号（画素ごとに第１色成分画素値、第２色成分画素値、第３色成分画素値、第４色成分画素値のいずれか１つの画素値を有する画像信号）は、撮像部Ｃ１から信号処理部Ｃ２に出力される。

信号処理部Ｃ２では、撮像部Ｃ１から取得された画像信号に対して、所定の信号処理（例えば、ゲイン調整処理、ホワイトバランス調整処理、ガンマ調整処理等）が実行される。そして、所定の信号処理が実行された画像信号（画像信号Ｄ＿ｒａｗ）は、画素補間処理部１００の相関値算出部１、および、補間部３に出力される。

（１．２．１：相関値算出処理）
次に、相関値算出処理について説明する。

相関値算出部１では、信号処理部Ｃ２から出力された画像信号Ｄ＿ｒａｗ(画像Ｄ＿ｒａｗ)から、画素ごとに、相関値Ｃｘが算出される。これについて、以下、詳細に説明する。

相関値算出部１は、信号処理部Ｃ２から出力された画像Ｄ＿ｒａｗ上の注目画素（処理対象の画素）について、以下の４つの相関値を算出する。
（Ａ１）垂直方向相関値Ｃｖ
（Ａ２）水平方向相関値Ｃｈ
（Ａ３）第１斜め方向相関値Ｃｄ１
（Ａ４）第２斜め方向相関値Ｃｄ２
上記（Ａ１）〜（Ａ４）の相関値の算出処理について、以下、説明する。

≪（Ａ１）垂直方向相関値Ｃｖ≫
まず、垂直方向相関値Ｃｖの算出処理について、図３を用いて、説明する。

図３は、垂直方向相関値Ｃｖの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部１は、図３に示すように、画素Ｐ０１〜Ｐ０３、Ｐ１１〜Ｐ１３、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３からなる領域ＡＲ４１において、垂直方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、垂直方向相関値Ｃｖを取得する。

ｓｕｍ＝ａｂｓ（Ｐ０２―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４２）
＋ａｂｓ（Ｐ１１−Ｐ３１）＋ａｂｓ（Ｐ１３−Ｐ３３）
＋ａｂｓ（Ｐ１２−Ｐ３２）×２
＋（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））／２
Ｃｖ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１２−Ｐ３２）に係数「２」が、（ａｂｓ（Ｐ０１−Ｐ２１）＋ａｂｓ（Ｐ２１−Ｐ４１）＋ａｂｓ（Ｐ０３―Ｐ２３）＋ａｂｓ（Ｐ２３―Ｐ４３））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ２）水平方向相関値Ｃｈ≫
次に、水平方向相関値Ｃｈの算出処理について、図４を用いて、説明する。

図４は、水平方向相関値Ｃｈの算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部１は、図４に示すように、画素Ｐ１０〜Ｐ１４、Ｐ２０〜Ｐ２４、Ｐ３０〜Ｐ３４からなる領域ＡＲ５１において、水平方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、水平方向相関値Ｃｈを取得する。

ｓｕｍ＝ａｂｓ（Ｐ２０―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ２４）
＋ａｂｓ（Ｐ１１−Ｐ１３）＋ａｂｓ（Ｐ３１−Ｐ３３）
＋（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））／２
＋ａｂｓ（Ｐ２１−Ｐ２３）×２
Ｃｈ＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ２１−Ｐ２３）に係数「２」が、（ａｂｓ（Ｐ１０−Ｐ１２）＋ａｂｓ（Ｐ１２−Ｐ１４）＋ａｂｓ（Ｐ３０―Ｐ３２）＋ａｂｓ（Ｐ３２―Ｐ３４））に係数「１／２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ３）第１斜め方向相関値Ｃｄ１≫
次に、第１斜め方向相関値Ｃｄ１の算出処理について、図５を用いて、説明する。

図５は、第１斜め方向相関値Ｃｄ１の算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部１は、図５に示すように、第１斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、第１斜め方向相関値Ｃｄ１を取得する。

ｓｕｍ＝ａｂｓ（Ｐ００―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４４）
＋ａｂｓ（Ｐ１１−Ｐ３３）×２
＋ａｂｓ（Ｐ１２−Ｐ３４）＋ａｂｓ（Ｐ１０−Ｐ３２）
＋ａｂｓ（Ｐ０１―Ｐ２３）＋ａｂｓ（Ｐ２１―Ｐ４３）
Ｃｄ１＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１１−Ｐ３３）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

≪（Ａ４）第２斜め方向相関値Ｃｄ２≫
次に、第２斜め方向相関値Ｃｄ２の算出処理について、図６を用いて、説明する。

図６は、第２斜め方向相関値Ｃｄ２の算出処理を説明するための図であり、中心画素Ｐ２２を中心とする５画素×５画素のマトリクス領域を示している。なお、図中の矢印の先にある２つの画素は、差分処理の対象画素であることを示している。

相関値算出部１は、図６に示すように、第２斜め方向に隣接する同色の画素の画素値の絶対値差分を算出し、算出した絶対値差分の平均値（重み付け平均値）を求める。つまり、相関値算出部１は、以下の数式に相当する処理を行うことで、第２斜め方向相関値Ｃｄ２を取得する。

ｓｕｍ＝ａｂｓ（Ｐ０４―Ｐ２２）＋ａｂｓ（Ｐ２２−Ｐ４０）
＋ａｂｓ（Ｐ１３−Ｐ３１）×２
＋ａｂｓ（Ｐ１２−Ｐ３０）＋ａｂｓ（Ｐ１４−Ｐ３２）
＋ａｂｓ（Ｐ０３―Ｐ２１）＋ａｂｓ（Ｐ２３―Ｐ４１）
Ｃｄ２＝ｓｕｍ／８
なお、上記数式では、ａｂｓ（Ｐ１３−Ｐ３１）に係数「２」が乗算されている。これは、中心画素からの距離（画像上での距離）に応じて重み付けを行うためである。なお、乗算する係数（重み付け係数）は、上記に限定されることはなく、他の値であってもよい。

以上により、相関値算出部１により算出された４つの相関値である、（Ａ１）垂直方向相関値Ｃｖ、（Ａ２）水平方向相関値Ｃｈ、（Ａ３）第１斜め方向相関値Ｃｄ１、および、（Ａ４）第２斜め方向相関値Ｃｄ２は、相関方向決定部２に出力される。

（１．２．２：相関方向決定部２での処理）
相関方向決定部２は、相関値算出部１により取得された相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図７の関係図または図８の関係図を用いて、相関方向を決定する。

図７は、相関値Ｃｈ、Ｃｖと、相関方向判定用領域Ａ１〜Ａ４との関係を示す図である。図７において、横軸（Ｘ軸）は相関値Ｃｈであり、縦軸（Ｙ軸）は相関値Ｃｖである。また、図７に示すように、相関方向判定用領域Ａ１〜Ａ４は、直線Ｆ１〜Ｆ３によって決定されている。つまり、相関方向判定用領域Ａ１は、Ｙ軸と直線Ｆ１とに囲まれる領域であり、相関方向判定領域Ａ２は、Ｘ軸と直線Ｆ２とに囲まれる領域であり、相関方向判定領域Ａ３は、直線Ｆ１、直線Ｆ２および直線Ｆ３に囲まれる領域であり、相関方向判定領域Ａ４は、Ｘ軸、Ｙ軸および直線Ｆ３に囲まれる領域である。

図８は、相関値Ｃｄ１、Ｃｄ２と、相関方向判定用領域Ｂ１〜Ｂ４との関係を示す図である。図８において、横軸（Ｘ軸）は相関値Ｃｄ２であり、縦軸（Ｙ軸）は相関値Ｃｄ１である。また、図８に示すように、相関方向判定用領域Ｂ１〜Ｂ４は、直線Ｆ１１〜Ｆ１３によって決定されている。つまり、相関方向判定領域Ｂ１は、Ｙ軸と直線Ｆ１１とに囲まれる領域であり、相関方向判定領域Ｂ２は、Ｘ軸と直線Ｆ１２とに囲まれる領域であり、相関方向判定領域Ｂ３は、直線Ｆ１１、直線Ｆ１２および直線Ｆ１３に囲まれる領域であり、相関方向判定領域Ｂ４は、Ｘ軸、Ｙ軸および直線Ｆ１３に囲まれる領域である。

相関方向決定部２は、相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２に基づいて、画素ごとに、図７の関係図または図８の関係図を用いて、以下の（１）、（２）により、相関方向を決定する。
（１）相関方向決定部２は、画素ごとに、４つの相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、相関値Ｃｖまたは相関値Ｃｈが最小値をとる場合、つまり、
Ｃｖ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｈ＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図７の関係図を用いて、相関方向を決定する。

つまり、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ１に含まれる場合、相関方向決定部２は、注目画素の相関方向を「水平方向」と判定する。

また、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ２に含まれる場合、相関方向決定部２は、注目画素の相関方向を「垂直方向」と判定する。

また、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ３に含まれる場合、相関方向決定部２は、注目画素について、「いずれの方向にも相関がない」と判定する。

また、相関値の対応関係（座標点（Ｃｈ，Ｃｖ））が領域Ａ４に含まれる場合、相関方向決定部２は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。
（２）相関方向決定部２は、画素ごとに、４つの相関値Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２を比較し、相関値Ｃｄ１または相関値Ｃｄ２が最小値をとる場合、つまり、
Ｃｄ１＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、または、
Ｃｄ２＝ｍｉｎ（Ｃｖ，Ｃｈ，Ｃｄ１，Ｃｄ２）、
である場合、図８の関係図を用いて、相関方向を決定する。

つまり、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ１に含まれる場合、相関方向決定部２は、注目画素の相関方向を「第２斜め方向」（ｄ２方向）と判定する。

また、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ２に含まれる場合、相関方向決定部２は、注目画素の相関方向を「第１斜め方向」（ｄ１方向）と判定する。

また、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ３に含まれる場合、相関方向決定部２は、注目画素について、「いずれの方向にも相関がない」と判定する。

また、相関値の対応関係（座標点（Ｃｄ２，Ｃｄ１））が領域Ｂ４に含まれる場合、相関方向決定部２は、注目画素について、「垂直、水平の両方向において相関が高い」と判定する。

以上のようにして、画素ごとに取得された相関方向の判定結果（相関方向に関する情報Ｃｏ＿Ｄｉｒ）は、相関方向決定部２から、補間部３に出力される。

なお、上記関係図は一例であり、他の直線により規定される領域を有する関係図であってもよい。

（１．２．３：補間部３での処理）
補間部３では、相関方向決定部２により画素ごとに決定された相関方向Ｃｏ＿Ｄｉｒに基づいて、信号処理部Ｃ２から出力される画像Ｄ＿ｒａｗに対して、画素ごとに、画素補間処理が実行される。この具体的な処理について、以下、説明する。

（１．２．３．１：水平方向画素補間（相関方向：水平方向））
相関方向決定部２により注目画素についての相関方向が「水平方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第１色成分の画素値をＤ１ｏｕｔとし、第２色成分の画素値をＤ２ｏｕｔとし、第３色成分の画素値をＤ３ｏｕｔとし、第４色成分の画素値をＤ４ｏｕｔとする。

以下では、注目画素が第１色成分画素である場合について、説明する。

図９〜図１２は、注目画素が第１色成分画素であり、相関方向が水平方向である場合における画素補間処理について説明するための図である。

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

≪Ｄ１ｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。すなわち、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

≪Ｄ２ｏｕｔ≫
第２色成分の画素値Ｄ２ｏｕｔを取得するために、補間部３は、以下の処理を行う。第２色成分の画素値Ｄ２ｏｕｔの取得処理（算出処理）を、図９を用いて、説明する。

図９は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、注目画素Ｐ２２（第１色成分画素）を中心とする水平方向の５つの画素Ｐ２０〜Ｐ２４を用いて、以下の数式に相当する処理により、第２色成分の画素値Ｄ２ｏｕｔを取得する。

ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｄ２ｏｕｔ＝ｔ０−ｔ１
ここで、上記処理の意味について、説明する。

Ｙ２２（画素Ｐ２２の第１色成分値）の低周波成分Ｙ２２Ｌは、
Ｙ２２Ｌ＝（Ｙ２０＋６×Ｙ２２＋Ｙ２４）／８
である。したがって、Ｙ２２の高周波成分Ｙ２２Ｈは、
Ｙ２２Ｈ＝Ｙ２２−Ｙ２２Ｌ
＝−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／８
である。

一方、Ｐ２２の第２色成分値Ｃ２２（画素Ｐ２２の第２色成分値をＣ２２と表記する。）の低周波成分Ｃ２２Ｌは、
Ｃ２２Ｌ＝（Ｃ２１＋２×Ｃ２２＋Ｃ２３）／４
である。したがって、Ｃ２２の高周波成分Ｃ２２Ｈは、
Ｃ２２Ｈ＝Ｃ２２―Ｃ２２Ｌ
＝Ｃ２２／２―（Ｃ２１＋Ｃ２３）／４
である。

Ｐ２２において、各色成分の高周波成分がほぼ等しいと仮定すると、
Ｙ２２Ｈ≒Ｃ２２Ｈ
より、
Ｃ２２／２―（Ｃ２１＋Ｃ２３）／４≒−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／８
となる。これをＣ２２について解くと、
Ｃ２２＝（Ｃ２１＋Ｃ２３）／２−（Ｙ２０−２×Ｙ２２＋Ｙ２４）／４
となる。

この式において、（Ｙ２０−２×Ｙ２２＋Ｙ２４）は、水平方向のラプラシアン成分（２次微分成分）であり、Ｃ２１とＣ２３の平均値からラプラシアン成分の１／４倍したものを減算することで、Ｐ２２の第２色成分値Ｃ２２を算出することができる。

つまり、補間部３は、
ｔ０＝（Ｐ２１＋Ｐ２３）／２
ｔ１＝（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
Ｄ２ｏｕｔ＝ｔ０−ｔ１
により、第２色成分の画素値Ｄ２ｏｕｔを取得することができる。

なお、ｇａｉｎ０を「１／４」とすると、ｔ１は、ラプラシアン成分となるが、補間部３において、ｇａｉｎ０の値を調整し、ラプラシアン成分を調整することで、Ｄ２ｏｕｔの高周波成分量を調整することができる。例えば、撮像部Ｃ１の光学特性（例えば、撮像部Ｃ１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ０を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

≪Ｄ３ｏｕｔ≫
第３色成分の画素値Ｄ３ｏｕｔを取得するために、補間部３は、以下の処理を行う。第３色成分の画素値Ｄ３ｏｕｔの取得処理（算出処理）を、図１０、図１１を用いて、説明する。

図１０、図１１は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、図１０に示す領域ＡＲ＿ｑ０に含まれるＰ０１〜Ｐ４１を用いて、以下の数式に相当する処理により、Ｐ２１の第４色成分値ｑ０を取得する。

ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１
なお、（Ｐ０１−２×Ｐ２１＋Ｐ４１）は、ラプラシアン成分であり、ｇａｉｎ１は、ラプラシアン成分調整用のゲインである。

また、補間部３は、図１０に示す領域ＡＲ＿ｑ１に含まれるＰ０３〜Ｐ４３を用いて、以下の数式に相当する処理により、Ｐ２３の第４色成分値ｑ１を取得する。

ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ２
なお、（Ｐ０３−２×Ｐ２３＋Ｐ４３）は、ラプラシアン成分であり、ｇａｉｎ２は、ラプラシアン成分調整用のゲインである。

次に、補間部３は、図１１に示すように、画素Ｐ１１と画素Ｐ２１との間の第４色成分値の差を推定した値ｄ０ａを、
ｄ０ａ＝Ｐ１１―ｑ０
ｑ０：Ｐ２１の第４色成分値
として取得する。

また、補間部３は、画素Ｐ１３と画素Ｐ２３との間の第４色成分値の差を推定した値ｄ０ｂを、
ｄ０ｂ＝Ｐ１３―ｑ１
ｑ１：Ｐ２３の第４色成分値
として取得する。

そして、補間部３は、画素Ｐ１２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０を、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
として取得する。

一般に、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）と考えられる。

相関方向が水平方向である場合、垂直方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

つまり、垂直方向の変化（高周波成分に相当）を示す、（１）画素Ｐ１１、Ｐ２１間の第４色成分値の差の推定値ｄ０ａと、（２）画素Ｐ１３、Ｐ２３間の第４色成分値の差の推定値ｄ０ｂと、（３）画素Ｐ１２、Ｐ２２間の第４色成分値の差の推定値ｄ０と、は、相関が高いと判断できる。

したがって、上記のように、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
により、値ｄ０ａ、ｄ０ｂの平均値を取得することで、画素Ｐ１２、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

また、補間部３は、図１１に示すように、画素Ｐ３１と画素Ｐ２１との間の第４色成分値の差を推定した値ｄ１ａを、
ｄ１ａ＝Ｐ３１―ｑ０
ｑ０：Ｐ２１の第４色成分値
として取得する。

また、補間部３は、画素Ｐ３３と画素Ｐ２３との間の第４色成分値の差を推定した値ｄ１ｂを、
ｄ１ｂ＝Ｐ３３―ｑ１
ｑ１：Ｐ２３の第４色成分値
として取得する。

そして、補間部３は、画素Ｐ３２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
として取得する。

相関方向が水平方向である場合、垂直方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

つまり、垂直方向の変化（高周波成分に相当）を示す、（１）画素Ｐ３１、Ｐ２１間の第４色成分値の差の推定値ｄ１ａと、（２）画素Ｐ３３、Ｐ２３間の第４色成分値の差の推定値ｄ１ｂと、（３）画素Ｐ３２、Ｐ２２間の第４色成分値の差の推定値ｄ１と、は、相関が高いと判断できる。

したがって、上記のように、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
により、値ｄ１ａ、ｄ１ｂの平均値を取得することで、画素Ｐ３２、Ｐ２２間の第４色成分値の差の推定値ｄ１を適切に推定することができる。

そして、補間部３は、上記処理により取得された、（１）画素Ｐ１２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（２）画素Ｐ３２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１とを用いて、
Ｄ３ｏｕｔ＝（Ｐ１２＋Ｐ３２）／２−（ｄ０＋ｄ１）×ｇａｉｎ３
ｇａｉｎ３：調整用ゲイン
により、第３色成分の画素値Ｄ３ｏｕｔを取得する。

つまり、補間部３は、第３色成分用画素であるＰ１２、Ｐ３２の画素値の平均値と、相関方向（水平方向）と直交する方向（垂直方向）の高周波成分とに基づいて、第３色成分の画素値Ｄ３ｏｕｔを取得（推定）する。すなわち、補間部３は、第３色成分用画素であるＰ１２、Ｐ３２の画素値の平均値から、相関方向（水平方向）と直交する方向（垂直方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ３を減算することで、精度の高い第３色成分の画素値Ｄ３ｏｕｔを取得（推定）する。

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図１２を用いて、説明する。

図１２は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、図１２に示す領域ＡＲ＿ｒ０に含まれるＰ１０〜Ｐ１４を用いて、以下の数式に相当する処理により、Ｐ１２の第４色成分値ｒ０を取得する。

ｒ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ４
なお、（Ｐ１０−２×Ｐ１２＋Ｐ１４）は、ラプラシアン成分であり、ｇａｉｎ４は、ラプラシアン成分調整用のゲインである。

また、補間部３は、図１２に示す領域ＡＲ＿ｒ１に含まれるＰ３０〜Ｐ３４を用いて、以下の数式に相当する処理により、Ｐ３２の第４色成分値ｒ１を取得する。

ｒ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ５
なお、（Ｐ３０−２×Ｐ３２＋Ｐ３４）は、ラプラシアン成分であり、ｇａｉｎ５は、ラプラシアン成分調整用のゲインである。

そして、補間部３は、（１）Ｐ１２の第４色成分値ｒ０と、（２）Ｐ３２の第４色成分値ｒ１、および、第３色成分の画素値Ｄ３ｏｕｔの算出処理で説明した、（３）画素Ｐ１２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（４）画素Ｐ３２と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を用いて、
Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ６
ｇａｉｎ６：調整用ゲイン
により、第４色成分の画素値Ｄ４ｏｕｔを取得する。

このように、補間部３は、注目画素の上下の列の画素を用いて算出したラプラシアン成分に基づいて、画素Ｐ１２、Ｐ３２の第４色成分値ｒ０、ｒ１を取得（推定）し、取得した画素Ｐ１２、Ｐ３２の第４色成分値ｒ０、ｒ１の平均値と、相関方向（水平方向）と直交する方向（垂直方向）の高周波成分とに基づいて、第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。すなわち、補間部３は、画素Ｐ１２、Ｐ３２の第４色成分値ｒ０、ｒ１の平均値から、相関方向（水平方向）と直交する方向（垂直方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ６を減算することで、精度の高い第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

（１．２．３．２：垂直方向画素補間（相関方向：垂直方向））
相関方向決定部２により注目画素についての相関方向が「垂直方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第１色成分の画素値をＤ１ｏｕｔとし、第２色成分の画素値をＤ２ｏｕｔとし、第３色成分の画素値をＤ３ｏｕｔとし、第４色成分の画素値をＤ４ｏｕｔとする。

以下では、注目画素が第１色成分画素である場合について、説明する。

図１３〜図１６は、注目画素が第１色成分画素であり、相関方向が垂直方向である場合における画素補間処理について説明するための図である。

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

≪Ｄ１ｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。すなわち、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

≪Ｄ３ｏｕｔ≫
第３色成分の画素値Ｄ３ｏｕｔを取得するために、補間部３は、以下の処理を行う。第２色成分の画素値Ｄ２ｏｕｔの取得処理（算出処理）を、図１３を用いて、説明する。

図１３は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、注目画素Ｐ２２（第１色成分画素）を中心とする水平方向の５つの画素Ｐ０２〜Ｐ４２を用いて、以下の数式に相当する処理により、第３色成分の画素値Ｄ３ｏｕｔを取得する。

ｔ０＝（Ｐ１２＋Ｐ３２）／２
ｔ１＝（Ｐ０２−２×Ｐ２２＋Ｐ４２）×ｇａｉｎ１０
Ｄ３ｏｕｔ＝ｔ０−ｔ１
ｇａｉｎ１０：調整用ゲイン
なお、ｇａｉｎ１０を「１／４」とすると、ｔ１は、ラプラシアン成分となるが、補間部３において、ｇａｉｎ１０の値を調整し、ラプラシアン成分を調整することで、Ｄ３ｏｕｔの高周波成分量を調整することができる。例えば、撮像部Ｃ１の光学特性（例えば、撮像部Ｃ１に設けられる光学フィルタ等の特性）等に応じて、ｇａｉｎ１０を調整することで（ラプラシアン成分を調整することで）、より品質の良い画素補間処理を行うことができる。

≪Ｄ２ｏｕｔ≫
第２色成分の画素値Ｄ２ｏｕｔを取得するために、補間部３は、以下の処理を行う。第２色成分の画素値Ｄ２ｏｕｔの取得処理（算出処理）を、図１４、図１５を用いて、説明する。

図１４、図１５は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、図１４に示す領域ＡＲ＿ｑ０に含まれるＰ１０〜Ｐ１４を用いて、以下の数式に相当する処理により、Ｐ１２の第４色成分値ｑ０を取得する。

ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ１１
なお、（Ｐ１０−２×Ｐ１２＋Ｐ１４）は、ラプラシアン成分であり、ｇａｉｎ１１は、ラプラシアン成分調整用のゲインである。

また、補間部３は、図１４に示す領域ＡＲ＿ｑ１に含まれるＰ３０〜Ｐ３４を用いて、以下の数式に相当する処理により、Ｐ３２の第４色成分値ｑ１を取得する。

ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ１２
なお、（Ｐ３０−２×Ｐ３２＋Ｐ３４）は、ラプラシアン成分であり、ｇａｉｎ１２は、ラプラシアン成分調整用のゲインである。

次に、補間部３は、図１５に示すように、画素Ｐ１１と画素Ｐ１２との間の第４色成分値の差を推定した値ｄ０ａを、
ｄ０ａ＝Ｐ１１―ｑ０
ｑ０：Ｐ１２の第４色成分値
として取得する。

また、補間部３は、画素Ｐ３１と画素Ｐ３２との間の第４色成分値の差を推定した値ｄ０ｂを、
ｄ０ｂ＝Ｐ３１―ｑ１
ｑ１：Ｐ３２の第４色成分値
として取得する。

そして、補間部３は、画素Ｐ２１と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０を、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
として取得する。

一般に、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）と考えられる。

相関方向が垂直方向である場合、水平方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

つまり、水平方向の変化（高周波成分に相当）を示す、（１）画素Ｐ１１、Ｐ１２間の第４色成分値の差の推定値ｄ０ａと、（２）画素Ｐ３１、Ｐ３２間の第４色成分値の差の推定値ｄ０ｂと、（３）画素Ｐ２１、Ｐ２２間の第４色成分値の差の推定値ｄ０と、は、相関が高いと判断できる。

したがって、上記のように、
ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
により、値ｄ０ａ、ｄ０ｂの平均値を取得することで、画素Ｐ２１、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

また、補間部３は、図１５に示すように、画素Ｐ１３と画素Ｐ１２との間の第４色成分値の差を推定した値ｄ１ａを、
ｄ１ａ＝Ｐ１３―ｑ０
ｑ０：Ｐ１２の第４色成分値
として取得する。

また、補間部３は、画素Ｐ３３と画素Ｐ３２との間の第４色成分値の差を推定した値ｄ１ｂを、
ｄ１ｂ＝Ｐ３３―ｑ１
ｑ１：Ｐ３２の第４色成分値
として取得する。

そして、補間部３は、画素Ｐ２３と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
として取得する。

相関方向が垂直方向である場合、水平方向における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い。

つまり、水平方向の変化（高周波成分に相当）を示す、（１）画素Ｐ１３、Ｐ１２間の第４色成分値の差の推定値ｄ１ａと、（２）画素Ｐ３３、Ｐ３２間の第４色成分値の差の推定値ｄ１ｂと、（３）画素Ｐ２３、Ｐ２２間の第４色成分値の差の推定値ｄ１と、は、相関が高いと判断できる。

したがって、上記のように、
ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
により、値ｄ１ａ、ｄ１ｂの平均値を取得することで、画素Ｐ２３、Ｐ２２間の第４色成分値の差の推定値ｄ０を適切に推定することができる。

そして、補間部３は、上記処理により取得された、（１）画素Ｐ２１と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（２）画素Ｐ２３と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１とを用いて、
Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２−（ｄ０＋ｄ１）×ｇａｉｎ１３
ｇａｉｎ１３：調整用ゲイン
により、第２色成分の画素値Ｄ２ｏｕｔを取得する。

つまり、補間部３は、第２色成分用画素であるＰ２１、Ｐ２３の画素値の平均値と、相関方向（垂直方向）と直交する方向（水平方向）の高周波成分とに基づいて、第２色成分の画素値Ｄ２ｏｕｔを取得（推定）する。すなわち、補間部３は、第２色成分用画素であるＰ２１、Ｐ２３の画素値の平均値から、相関方向（垂直方向）と直交する方向（水平方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ１３を減算することで、精度の高い第２色成分の画素値Ｄ２ｏｕｔを取得（推定）する。

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図１６を用いて、説明する。

図１６は、中心画素（注目画素）が第１色画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、図１６に示す領域ＡＲ＿ｒ０に含まれるＰ０１〜Ｐ４１を用いて、以下の数式に相当する処理により、Ｐ２１の第４色成分値ｒ０を取得する。

ｒ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１４
なお、（Ｐ０１−２×Ｐ２１＋Ｐ４１）は、ラプラシアン成分であり、ｇａｉｎ１４は、ラプラシアン成分調整用のゲインである。

また、補間部３は、図１６に示す領域ＡＲ＿ｒ１に含まれるＰ０３〜Ｐ４３を用いて、以下の数式に相当する処理により、Ｐ２３の第４色成分値ｒ１を取得する。

ｒ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ１５
なお、（Ｐ０３−２×Ｐ２３＋Ｐ４３）は、ラプラシアン成分であり、ｇａｉｎ１５は、ラプラシアン成分調整用のゲインである。

そして、補間部３は、（１）Ｐ２１の第４色成分値ｒ０と、（２）Ｐ２３の第４色成分値ｒ１、および、第２色成分の画素値Ｄ２ｏｕｔの算出処理で説明した、（３）画素Ｐ２１と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ０と、（４）画素Ｐ２３と画素Ｐ２２との間の第４色成分値の差を推定した値ｄ１を用いて、
Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ１６
ｇａｉｎ１６：調整用ゲイン
により、第４色成分の画素値Ｄ４ｏｕｔを取得する。

このように、補間部３は、注目画素の左右の列の画素を用いて算出したラプラシアン成分に基づいて、画素Ｐ２１、Ｐ２３の第４色成分値ｒ０、ｒ１を取得（推定）し、取得した画素Ｐ２１、Ｐ２３の第４色成分値ｒ０、ｒ１の平均値と、相関方向（垂直方向）と直交する方向（水平方向）の高周波成分とに基づいて、第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。すなわち、補間部３は、画素Ｐ２１、Ｐ２３の第４色成分値ｒ０、ｒ１の平均値から、相関方向（垂直方向）と直交する方向（水平方向）における画素信号の変化率を示す（ｄ０＋ｄ１）×ｇａｉｎ１６を減算することで、精度の高い第４色成分の画素値Ｄ４ｏｕｔを取得（推定）する。

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

（１．２．３．３：第１斜め方向画素補間（相関方向：第１斜め方向））
相関方向決定部２により、相関方向が「第１斜め方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

以下では、注目画素が第１色成分画素である場合について、説明する。

図１７〜図１９は、注目画素が第１色成分画素であり、相関方向が第１斜め方向である場合における画素補間処理について説明するための図である。

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

≪Ｄ１ｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。すなわち、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図１７を用いて、説明する。

図１７は、中心画素（注目画素）が第１色成分画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、Ｐ００、Ｐ１１、Ｐ２２、Ｐ３３、Ｐ４４の５つの画素を用いて、以下の処理により、Ｐ２２の第４色成分値Ｄ４ｏｕｔを取得する。

Ｄ４ｏｕｔ＝（Ｐ１１＋Ｐ３３）／２−（Ｐ００−２×Ｐ２２＋Ｐ４４）×ｇａｉｎ４０
なお、（Ｐ００−２×Ｐ２２＋Ｐ４４）は、ラプラシアン成分であり、ｇａｉｎ４０は、ラプラシアン成分調整用のゲインである。

≪Ｄ３ｏｕｔ≫
補間部３は、以下の処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

補間部３は、図１８に示すように、Ｐ１３の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３１の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
また、補間部３は、図１８に示すように、Ｐ１３とＰ２２との中点の第３色成分ｑ０と、Ｐ２２とＰ３１との中点の第３色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｐ１２＋Ｐ３４）／４
ｑ１＝（Ｐ１０＋３×Ｐ３２）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４１は、ラプラシアン成分調整用のゲインである。

このように、補間部３は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第３色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。これにより、補間部３では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第３色成分値Ｄ３ｏｕｔ）を取得することができる。

≪Ｄ２ｏｕｔ≫
補間部３は、図１９に示すように、Ｐ１３の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３１の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２４）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２０＋Ｐ４２）／２
また、補間部３は、図１９に示すように、Ｐ１３とＰ２２との中点の第２色成分ｑ０と、Ｐ２２とＰ３１との中点の第２色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（Ｐ０１＋３×Ｐ２３）／４
ｑ１＝（３×Ｐ２１＋Ｐ４３）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。

Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ４２は、ラプラシアン成分調整用のゲインである。

このように、補間部３は、第１斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第２色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。これにより、補間部３では、第１斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第２色成分値Ｄ２ｏｕｔ）を取得することができる。

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

（１．２．３．４：第２斜め方向画素補間（相関方向：第２斜め方向））
相関方向決定部２により、注目画素についての相関方向が「第２斜め方向」であると判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

以下では、注目画素が第１色成分画素である場合について、説明する。

図２０〜図２２は、注目画素が第１色成分画素であり、相関方向が第１斜め方向である場合における画素補間処理について説明するための図である。

注目画素が第１色成分画素である場合、補間部３は、以下の処理により、第１色成分の画素値Ｄ１ｏｕｔ、第２色成分の画素値をＤ２ｏｕｔ、第３色成分の画素値Ｄ３ｏｕｔ、および、第４色成分の画素値Ｄ４ｏｕｔを取得する。

≪Ｙｅｏｕｔ≫
補間部３は、注目画素の画素値Ｐ２２を、第１色成分の画素値Ｄ１ｏｕｔとする。

つまり、補間部３は、
Ｄ１ｏｕｔ＝Ｐ２２
とする。

≪Ｄ４ｏｕｔ≫
第４色成分の画素値Ｄ４ｏｕｔを取得するために、補間部３は、以下の処理を行う。第４色成分の画素値Ｄ４ｏｕｔの取得処理（算出処理）を、図２０を用いて、説明する。

図２０は、中心画素（注目画素）が第１色成分画素である場合の５画素×５画素のマトリクス領域を示す図である。

補間部３は、Ｐ０４、Ｐ１３、Ｐ２２、Ｐ３１、Ｐ４０の５つの画素を用いて、以下の処理により、Ｐ２２の第４色成分値Ｄ４ｏｕｔを取得する。

Ｄ４ｏｕｔ＝（Ｐ１３＋Ｐ３１）／２−（Ｐ０４−２×Ｐ２２＋Ｐ４０）×ｇａｉｎ５０
なお、（Ｐ０４−２×Ｐ２２＋Ｐ４０）は、ラプラシアン成分であり、ｇａｉｎ５０は、ラプラシアン成分調整用のゲインである。

≪Ｄ３ｏｕｔ≫
補間部３は、以下の処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

補間部３は、図２１に示すように、Ｐ１１の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３３の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
また、補間部３は、図２１に示すように、Ｐ１１とＰ２２との中点の第３色成分ｑ０と、Ｐ２２とＰ３３との中点の第３色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（３×Ｐ１２＋Ｐ３０）／４
ｑ１＝（Ｐ１４＋３×Ｐ３２）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。

Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５１
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５１は、ラプラシアン成分調整用のゲインである。

このように、補間部３は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第３色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第３色成分値Ｄ３ｏｕｔを取得する。これにより、補間部３では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第３色成分値Ｄ３ｏｕｔ）を取得することができる。

≪Ｄ２ｏｕｔ≫
補間部３は、図２２に示すように、Ｐ１１の第１色成分値ｓ０と、Ｐ２２の第１色成分値ｓと、Ｐ３３の第１色成分値ｓ１とを、以下の数式に相当する処理により算出する。

ｓ０＝（Ｐ０２＋Ｐ２０）／２
ｓ＝Ｐ２２
ｓ１＝（Ｐ２４＋Ｐ４２）／２
また、補間部３は、図３４に示すように、Ｐ１１とＰ２２との中点の第２色成分ｑ０と、Ｐ２２とＰ３３との中点の第２色成分ｑ１とを、以下の数式に相当する処理（内分処理）により算出する。

ｑ０＝（Ｐ０３＋３×Ｐ２１）／４
ｑ１＝（３×Ｐ２３＋Ｐ４１）／４
そして、補間部３は、以下の数式に相当する処理により、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。

Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５２
なお、（ｓ０−２×ｓ＋ｓ１）は、ラプラシアン成分であり、ｇａｉｎ５２は、ラプラシアン成分調整用のゲインである。

このように、補間部３は、第２斜め方向に相関が高いことを利用して取得した、（１）同一色成分値（上記では第１色成分値）であるｓ０、ｓ、ｓ１と、（２）同一色成分値（上記では第２色成分値）であるｑ０、ｑ１と、を用いて、Ｐ２２の第２色成分値Ｄ２ｏｕｔを取得する。これにより、補間部３では、第２斜め方向に相関が高いことを利用した、精度の高い画素補間値（Ｐ２２の第２色成分値Ｄ２ｏｕｔ）を取得することができる。

なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで精度の高い画素補間処理を実現することができる。

≪メディアン補間（カラー画像領域用）≫
相関方向決定部２により注目画素について「いずれの方向にも相関がない」と判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。なお、画素補間処理後の注目画素の第１色成分の画素値をＤ１ｏｕｔとし、第２色成分の画素値をＤ２ｏｕｔとし、第３色成分の画素値をＤ３ｏｕｔとし、第４色成分の画素値をＤ４ｏｕｔとする。

以下では、注目画素が第１色成分画素である場合について、説明する。

注目画素（中心画素）が第１色成分画素である場合、補間部３は、以下の数式に相当する処理により、Ｄ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔを取得する。

Ｄ１ｏｕｔ＝Ｐ２２
Ｄ２ｏｕｔ＝ｍｅｄｉｕｍ（Ｐ２１，Ｐ２３，（Ｐ０１＋Ｐ０３＋Ｐ２１＋Ｐ２３）／４，（Ｐ２１＋Ｐ２３＋Ｐ４１＋Ｐ４３）／４）
Ｄ３ｏｕｔ＝ｍｅｄｉｕｍ（Ｐ１２，Ｐ３２，（Ｐ１０＋Ｐ３０＋Ｐ１２＋Ｐ３２）／４，（Ｐ１２＋Ｐ３２＋Ｐ１４＋Ｐ３４）／４）
Ｄ４ｏｕｔ＝ｍｅｄｉｕｍ（Ｐ１１，Ｐ１３，Ｐ３１，Ｐ３３）
なお、ｍｅｄｉｕｍ（）は、メディアン値を取得する関数である。ｍｅｄｉｕｍ（）は、要素数が偶数の場合、中央の２つの値の平均値をとるものとする。

また、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで、メディアン補間処理を実行することができる。

≪平均値補間（カラー画像領域用）≫
相関方向決定部２により注目画素について「垂直、水平の両方向において相関が高い」と判定された場合、補間部３は、以下の数式に相当する処理により、注目画素についての画素補間処理を行う。

注目画素（中心画素）が第１色成分画素である場合、補間部３は、以下の数式に相当する処理により、Ｄ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔを取得する。

Ｄ１ｏｕｔ＝Ｐ２２
Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２
Ｄ３ｏｕｔ＝（Ｐ１２＋Ｐ３２）／２
Ｄ４ｏｕｔ＝（Ｐ１１＋Ｐ１３＋Ｐ３１＋Ｐ３３）／４
なお、注目画素が第１色成分画素以外の場合も、上記と同様の方法により処理することで、カラー画像領域用の平均値補間処理を実行することができる。

以上の処理により、補間部３では、画素ごとに、Ｄ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔが取得される。そして、取得されたＤ１ｏｕｔ、Ｄ２ｏｕｔ、Ｄ３ｏｕｔ、Ｄ４ｏｕｔにより形成される画像（画素ごとに４つの色成分値（第１色成分値、第２色成分値、第３色成分値、第４色成分値）を持つ画像信号）が、補間部３から出力される。

以上のように、撮像装置１０００では、画素補間処理部１００により、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切な画素補間処理が実行される。

つまり、撮像装置１０００の画素補間処理部１００では、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分は、カラーフィルタの色に関係なく、相関が高い（類似する）ことを利用し、注目画素について、第１色〜第４色成分画素値を取得するので、カラーフィルタの４つの色（第１色〜第４色）がどのような色であるかが不明であっても、適切に画素補間処理を実行することができる。また、撮像装置１０００の画素補間処理部１００では、カラーフィルタの配列パターンから、同一色の画素を用いて、ラプラシアン成分を取得し、取得したラプラシアン成分を用いて、所定の位置の画素の特定の色成分値を推定するので、色フィルタ配列のパターン（カラーフィルタを構成する色の情報）が未知である場合であっても、適切に、所定の位置の画素の特定の色成分値を推定（取得）することができる。

つまり、撮像装置１０００の画素補間処理部１００では、このようにラプラシアン成分に基づいて、取得した所定の位置の画素の特定の色成分値を用い、さらに、相関が高い方向（相関方向）と直交する方向（相関方向の法線方向）における画素信号の高周波成分がカラーフィルタの色に関係なく、相関が高い（類似する）ことを利用して、画素補間処理を実行するので、従来技術に比べて、格段に精度の良い画素補間処理を実現することができる。

そして、撮像装置１０００の画素補間処理部１００では、色フィルタ配列のパターンについての情報（カラーフィルタを構成する色の情報）が不要であるので、従来技術のように、注目画素の色により場合分けして、画素補間処理を行う必要がない。したがって、撮像装置１０００の画素補間処理部１００では、少ない演算量で、高精度な画素補間処理を実現することができる。

［他の実施形態］
上記実施形態では、画素補間処理を実数演算により実行する場合を想定して説明している部分があるが、整数演算により、画素補間処理を実行するようにしてもよい。また、画素補間処理において、所定のビット数を使用した場合の制約や、所定のダイナミックレンジ内で処理を実行するために、適宜、ゲイン調整やクリップ処理を実行するようにしてもよい。

上記実施形態の撮像装置の一部または全部は、集積回路（例えば、ＬＳＩ、システムＬＳＩ等）として実現されるものであってもよい。

上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

１０００ 撮像装置
Ｃ１ 撮像部
Ｃ２ 信号処理部
１００ 画素補間処理部（画素補間処理装置）
１ 相関値算出部
２ 相関方向決定部
３ 補間部

Claims (9)

1. 奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理装置であって、
   注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関値を取得する相関値算出部と、
   前記相関値算出部により取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定部と、
   前記相関方向決定部により決定された相関方向に基づいて、前記注目画素に対して、画素補間処理を実行する補間部と、
   を備え、
   前記補間部は、前記相関値に基づいて、相関の高い方向があると判定される場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出する場合、
   前記相関方向において、前記注目画素を挟んで隣接する２つの画素の画素値と、前記注目画素を含む前記相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した前記相関方向の変化率と、に基づいて、前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出し、
   （２）前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
   前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記注目画素を前記法線方向に挟んで隣接する２つの画素の画素値と、に基づいて、前記注目画素の前記法線方向に隣接する画素と同色の色成分値を算出し、
   （３）前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値を算出する場合、
   （３Ａ）前記注目画素の前記法線方向に隣接する一方の画素である第１隣接画素を含み、前記相関方向に配置されている複数の画素である第１画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第１算出対象色と同色の画素を前記第１画素群の中から選択し、選択した当該画素から、前記第１隣接画素の前記第１算出対象色の色成分値を算出し、
   （３Ｂ）前記注目画素の前記法線方向に隣接する他方の画素である第２隣接画素を含み、前記相関方向に配置されている複数の画素である第２画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第１算出対象色と同色の画素を前記第２画素群の中から選択し、選択した当該画素から、前記第２隣接画素の前記第１算出対象色の色成分値を算出し、
   （３Ｃ）前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、算出された前記第１隣接画素の前記第１算出対象色の色成分値と、算出された前記第２隣接画素の前記第１算出対象色の色成分値と、に基づいて、前記注目画素の前記第１算出対象色の色成分値を算出する、
   画素補間処理装置。
2. 前記注目画素の前記周辺領域は、
   前記注目画素である画素Ｐ２２を中心として、５画素×５画素からなる画素領域であって、
   第１行が画素Ｐ００〜Ｐ０４の５つの画素からなり、
   第２行が画素Ｐ１０〜Ｐ１４の５つの画素からなり、
   第３行が画素Ｐ２０〜Ｐ２４の５つの画素からなり、
   第４行が画素Ｐ３０〜Ｐ３４の５つの画素からなり、
   第５行が画素Ｐ４０〜Ｐ４４の５つの画素からなる前記画素領域である、
   請求項１に記載の画素補間処理装置。
3. 前記補間部は、
   相関方向が水平方向である場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２−（Ｐ２０−２×Ｐ２２＋Ｐ２４）×ｇａｉｎ０
   ｇａｉｎ０：調整用係数
   に相当する処理により、前記色成分値Ｄ２ｏｕｔを算出し、
   （２）前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１
   ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ２
   ｄ０ａ＝Ｐ１１―ｑ０
   ｄ０ｂ＝Ｐ１３―ｑ１
   ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
   ｄ１ａ＝Ｐ３１―ｑ０
   ｄ１ｂ＝Ｐ３３―ｑ１
   ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
   Ｄ３ｏｕｔ＝（Ｐ１２＋Ｐ３２）／２−（ｄ０＋ｄ１）×ｇａｉｎ３
   ｇａｉｎ１、ｇａｉｎ２、ｇａｉｎ３：調整用係数
   に相当する処理により、前記色成分値Ｄ３ｏｕｔを算出し、
   （３）前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である前記第１算出対象色の色成分値Ｄ４ｏｕｔを算出する場合、
   ｑ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１
   ｑ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ２
   ｄ０ａ＝Ｐ１１―ｑ０
   ｄ０ｂ＝Ｐ１３―ｑ１
   ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
   ｄ１ａ＝Ｐ３１―ｑ０
   ｄ１ｂ＝Ｐ３３―ｑ１
   ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
   ｒ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ４
   ｒ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ５
   Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ６
   ｇａｉｎ１、ｇａｉｎ２、ｇａｉｎ３：調整用係数
   ｇａｉｎ４、ｇａｉｎ５、ｇａｉｎ６：調整用係数
   に相当する処理により、前記色成分値Ｄ４ｏｕｔを算出する、
   請求項２に記載の画素補間処理装置。
4. 前記補間部は、
   相関方向が垂直方向である場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   ｔ０＝（Ｐ１２＋Ｐ３２）／２
   ｔ１＝（Ｐ０２−２×Ｐ２２＋Ｐ４２）×ｇａｉｎ１０
   Ｄ３ｏｕｔ＝ｔ０−ｔ１
   ｇａｉｎ１０：調整用係数
   に相当する処理により、前記色成分値Ｄ３ｏｕｔを算出し、
   （２）前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ１１
   ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ１２
   ｄ０ａ＝Ｐ１１―ｑ０
   ｄ０ｂ＝Ｐ３１―ｑ１
   ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
   ｄ１ａ＝Ｐ１３―ｑ０
   ｄ１ｂ＝Ｐ３３―ｑ１
   ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
   Ｄ２ｏｕｔ＝（Ｐ２１＋Ｐ２３）／２−（ｄ０＋ｄ１）×ｇａｉｎ１３
   ｇａｉｎ１１、ｇａｉｎ１２、ｇａｉｎ１３：調整用係数
   に相当する処理により、前記色成分値Ｄ２ｏｕｔを算出し、
   （３）前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である前記第１算出対象色の色成分値Ｄ４ｏｕｔを算出する場合、
   ｑ０＝（Ｐ１１＋Ｐ１３）／２−（Ｐ１０−２×Ｐ１２＋Ｐ１４）×ｇａｉｎ１１
   ｑ１＝（Ｐ３１＋Ｐ３３）／２−（Ｐ３０−２×Ｐ３２＋Ｐ３４）×ｇａｉｎ１２
   ｄ０ａ＝Ｐ１１―ｑ０
   ｄ０ｂ＝Ｐ３１―ｑ１
   ｄ０＝（ｄ０ａ＋ｄ０ｂ）／２
   ｄ１ａ＝Ｐ１３―ｑ０
   ｄ１ｂ＝Ｐ３３―ｑ１
   ｄ１＝（ｄ１ａ＋ｄ１ｂ）／２
   ｒ０＝（Ｐ１１＋Ｐ３１）／２−（Ｐ０１−２×Ｐ２１＋Ｐ４１）×ｇａｉｎ１４
   ｒ１＝（Ｐ１３＋Ｐ３３）／２−（Ｐ０３−２×Ｐ２３＋Ｐ４３）×ｇａｉｎ１５
   Ｄ４ｏｕｔ＝（ｒ０＋ｒ１）／２−（ｄ０＋ｄ１）×ｇａｉｎ１６
   ｇａｉｎ１１、ｇａｉｎ１２、ｇａｉｎ１４、ｇａｉｎ１５：調整用係数
   に相当する処理により、前記色成分値Ｄ４ｏｕｔを算出する、
   請求項２に記載の画素補間処理装置。
5. 前記補間部は、
   相関方向が左上斜め方向である第１斜め方向である場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値Ｄ４ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   Ｄ４ｏｕｔ＝（Ｐ１１＋Ｐ３３）／２−（Ｐ００−２×Ｐ２２＋Ｐ４４）×ｇａｉｎ４０
   ｇａｉｎ４０：調整用係数
   に相当する処理により、前記色成分値Ｄ４ｏｕｔを算出し、
   （２）前記注目画素の垂直方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   ｓ０＝（Ｐ０２＋Ｐ２４）／２
   ｓ＝Ｐ２２
   ｓ１＝（Ｐ２０＋Ｐ４２）／２
   ｑ０＝（３×Ｐ１２＋Ｐ３４）／４
   ｑ１＝（Ｐ１０＋３×Ｐ３２）／４
   Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４１
   ｇａｉｎ４１：調整用係数
   に相当する処理により、前記色成分値Ｄ３ｏｕｔを算出し、
   （３）前記注目画素の水平方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、
   ｓ０＝（Ｐ０２＋Ｐ２４）／２
   ｓ＝Ｐ２２
   ｓ１＝（Ｐ２０＋Ｐ４２）／２
   ｑ０＝（Ｐ０１＋３×Ｐ２３）／４
   ｑ１＝（３×Ｐ２１＋Ｐ４３）／４
   Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ４２
   ｇａｉｎ４２：調整用係数
   に相当する処理により、前記色成分値Ｄ２ｏｕｔを算出する、
   請求項２に記載の画素補間処理装置。
6. 前記補間部は、
   相関方向が右上斜め方向である第２斜め方向である場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値Ｄ４ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   Ｄ４ｏｕｔ＝（Ｐ１３＋Ｐ３１）／２−（Ｐ０４−２×Ｐ２２＋Ｐ４０）×ｇａｉｎ５０
   ｇａｉｎ５０：調整用係数
   に相当する処理により、前記色成分値Ｄ４ｏｕｔを算出し、
   （２）前記注目画素の垂直方向に隣接する画素と同色の色成分値Ｄ３ｏｕｔを算出する場合、画素Ｐｘｙの画素値を「Ｐｘｙ」と表記すると、
   ｓ０＝（Ｐ０２＋Ｐ２０）／２
   ｓ＝Ｐ２２
   ｓ１＝（Ｐ２４＋Ｐ４２）／２
   ｑ０＝（３×Ｐ１２＋Ｐ３０）／４
   ｑ１＝（Ｐ１４＋３×Ｐ３２）／４
   Ｄ３ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５１
   ｇａｉｎ５１：調整用係数
   に相当する処理により、前記色成分値Ｄ３ｏｕｔを算出し、
   （３）前記注目画素の水平方向に隣接する画素と同色の色成分値Ｄ２ｏｕｔを算出する場合、
   ｓ０＝（Ｐ０２＋Ｐ２０）／２
   ｓ＝Ｐ２２
   ｓ１＝（Ｐ２４＋Ｐ４２）／２
   ｑ０＝（Ｐ０３＋３×Ｐ２１）／４
   ｑ１＝（３×Ｐ２３＋Ｐ４１）／４
   Ｄ２ｏｕｔ＝（ｑ０＋ｑ１）／２−（ｓ０−２×ｓ＋ｓ１）×ｇａｉｎ５２
   ｇａｉｎ５２：調整用係数
   に相当する処理により、前記色成分値Ｄ２ｏｕｔを算出する、
   請求項２に記載の画素補間処理装置。
7. 奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有し、被写体光から画像信号を取得する撮像部と、
   前記画像信号に対して、画素補間処理を行う、請求項１から６のいずれかに記載の画素補間処理装置と、
   を備える撮像装置。
8. 奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う画素補間処理方法をコンピュータで実行させるためのプログラムであって、
   注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関値を取得する相関値算出ステップと、
   前記相関値算出ステップにより取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定ステップと、
   前記相関方向決定ステップにより決定された相関方向に基づいて、前記注目画素に対して、画素補間処理を実行する補間ステップと、
   を備え、
   前記補間ステップは、前記相関値に基づいて、相関の高い方向があると判定される場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出する場合、
   前記相関方向において、前記注目画素を挟んで隣接する２つの画素の画素値と、前記注目画素を含む前記相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した前記相関方向の変化率と、に基づいて、前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出し、
   （２）前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
   前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記注目画素を前記法線方向に挟んで隣接する２つの画素の画素値と、に基づいて、前記注目画素の前記法線方向に隣接する画素と同色の色成分値を算出し、
   （３）前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値を算出する場合、
   （３Ａ）前記注目画素の前記法線方向に隣接する一方の画素である第１隣接画素を含み、前記相関方向に配置されている複数の画素である第１画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第１算出対象色と同色の画素を前記第１画素群の中から選択し、選択した当該画素から、前記第１隣接画素の前記第１算出対象色の色成分値を算出し、
   （３Ｂ）前記注目画素の前記法線方向に隣接する他方の画素である第２隣接画素を含み、前記相関方向に配置されている複数の画素である第２画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第１算出対象色と同色の画素を前記第２画素群の中から選択し、選択した当該画素から、前記第２隣接画素の前記第１算出対象色の色成分値を算出し、
   （３Ｃ）前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、算出された前記第１隣接画素の前記第１算出対象色の色成分値と、算出された前記第２隣接画素の前記第１算出対象色の色成分値と、に基づいて、前記注目画素の前記第１算出対象色の色成分値を算出する、
   画素補間処理方法をコンピュータで実行させるためのプログラム。
9. 奇数行において、行の先頭を第１色成分用フィルタとし、第１色成分用フィルタと第２色成分用フィルタとが交互に配置されており、偶数行において、行の先頭を第３色成分用フィルタとし、第３色成分用フィルタと第４色成分用フィルタとが交互に配置されている４色配列フィルタを有する撮像部により取得される画像に対して、画素補間処理を行う集積回路であって、
   注目画素の周辺領域の画素データを用いて、前記画像上において直交する２方向の複数組の相関値を取得する相関値算出部と、
   前記相関値算出部により取得された前記相関値に基づいて、前記注目画素の周辺領域における相関方向を決定する相関方向決定部と、
   前記相関方向決定部により決定された相関方向に基づいて、前記注目画素に対して、画素補間処理を実行する補間部と、
   を備え、
   前記補間部は、前記相関値に基づいて、相関の高い方向があると判定される場合において、
   （１）前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出する場合、
   前記相関方向において、前記注目画素を挟んで隣接する２つの画素の画素値と、前記注目画素を含む前記相関方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から算出した前記相関方向の変化率と、に基づいて、前記注目画素の前記相関方向に隣接する画素と同色の色成分値を算出し、
   （２）前記注目画素の前記相関方向に直交する方向である法線方向に隣接する画素と同色の色成分値を算出する場合、
   前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記注目画素を前記法線方向に挟んで隣接する２つの画素の画素値と、に基づいて、前記注目画素の前記法線方向に隣接する画素と同色の色成分値を算出し、
   （３）前記注目画素の前記相関方向の斜め方向に隣接する画素と同色の色成分値である第１算出対象色の色成分値を算出する場合、
   （３Ａ）前記注目画素の前記法線方向に隣接する一方の画素である第１隣接画素を含み、前記相関方向に配置されている複数の画素である第１画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第１算出対象色と同色の画素を前記第１画素群の中から選択し、選択した当該画素から、前記第１隣接画素の前記第１算出対象色の色成分値を算出し、
   （３Ｂ）前記注目画素の前記法線方向に隣接する他方の画素である第２隣接画素を含み、前記相関方向に配置されている複数の画素である第２画素群の中から、互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、前記第１算出対象色と同色の画素を前記第２画素群の中から選択し、選択した当該画素から、前記第２隣接画素の前記第１算出対象色の色成分値を算出し、
   （３Ｃ）前記法線方向に配置されている互いに同色の画素を複数選択し、選択した当該複数の画素の画素値から前記法線方向の変化率を求め、求めた前記法線方向の変化率と、算出された前記第１隣接画素の前記第１算出対象色の色成分値と、算出された前記第２隣接画素の前記第１算出対象色の色成分値と、に基づいて、前記注目画素の前記第１算出対象色の色成分値を算出する、
   集積回路。