JP2014045398A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】色差画素値の間引きされた画像の補間処理によって生成した補間色差画像の画素値補正を行ない、折り返しや色にじみを低減した高品質な画像を生成する。
【解決手段】補間色差画像の画素値補正を行なう色差信号補正部は、補正対象となる注目画素を含む注目画素近傍領域と、注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出し、相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって注目画素の補正画素値を算出する。相似度は輝度値や、平滑化色差画像の画素値、あるいは注目画素に対して加算候補画素と対称位置にある対称位置画素等を用いて算出する。
【選択図】図１０

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、複数画素単位で１つの画素信号が設定されたいわゆるサブサンプル画像信号に基づいて生成する補間画像の画質低下を低減する画像処理装置、および画像処理方法、並びにプログラムに関する。

画像データの転送や記録処理に際して、データ量を削減するため、各画素単位の信号の一部を間引いたデータを生成することが行われる。
例えば輝度信号Ｙと色差信号Ｃｂ，ＣｒからなるＹＣｂＣｒ信号を用いる場合、色差信号Ｃｂ，Ｃｒを数画素単位で１つの信号とする等、データ間引きによるデータ量の削減が行われる。

ＹＣｂＣｒ画像は、輝度信号Ｙと、２つの色差信号（Ｃｂ，Ｃｒ）を使って表現される色空間に対応する画像データである。
Ｃｂは、Ｂ信号から輝度Ｙを減算した（Ｂ−Ｙ）に定数を乗算した信号に相当し、ＣｒはＲ信号から輝度Ｙを減算した（Ｒ−Ｙ）に定数を乗算した信号に相当する。
なお、ＹＣｂＣｒはＹＰｂＰｒとして記載する場合もあるが、実質的にはＹＣｂＣＲもＹＰｂＰｒも同一の色信号である。なおＹＵＶとして表現する場合もある。

以下では、ＹＣｂＣｒ信号に対する処理として説明する。ただし、本願の処理は、ＹＵＶ，ＹＰｂＰｒ各信号に対しても適用加納な処理である。
ＹＣｂＣｒ信号の伝送や記録の際には、信号量の削減処理が行われる場合がある。具体的には、色差（Ｃｂ，Ｃｒ）成分を間引く方法が使用される場合が多い。人間の目は色の変化よりも明るさの変化に敏感であり、輝度成分Ｙは削減することなく、色差成分ＣｂＣｒの情報量を間引いてデータ量を削減する処理が広く行われている。

図１を参照して、具体的なビデオフォーマットとして採用されているコンポーネント映像信号のサンプリング形式について説明する。
広く利用されているサンプリング形式としては、図１に示すように、以下の種類がある。

（１）４：４：４サンプリング
各画素のＹＣｂＣｒ各信号を間引かず全て保持する形式のサンプリング形式である
（２）４：２：２サンプリング
各画素のＹＣｂＣｒ信号中、輝度信号であるＹ信号は全画素について保持するが、色差信号であるＣｂＣｒ信号は、水平方向に１つおきに保持する。
一般的な業務用ビデオに採用されている方式である。印刷や表示等の再生時には１垂直ラインの色差信号ＣｂＣｒを２つの垂直ラインの色差信号ＣｂＣｒとして利用する。

（３）４：２：０サンプリング
各画素のＹＣｂＣｒ信号中、輝度信号であるＹ信号は全画素について保持するが、色差信号であるＣｂＣｒ信号は、４画素単位で１つのみ保持する。
具体的には、１フレーム目の奇数番目の走査線ではＣｂ信号のみを取得し、偶数番目の走査線ではＣｒ信号を取得、２フレーム目の奇数番目の走査線では逆にＣｒ信号のみを取得し、偶数番目の走査線ではＣｂ信号のみを取得する。このように、ＣｂＣｒ信号を走査線ごとに間引いて取得する。再生時には、例えば色差信号のない画素位置の色差信号を走査線の隣接画素位置の色差信号を用いて補間する。
家庭用デジタルビデオの主流方式であり、ＤＶＤなどで利用されるＭＰＥＧ圧縮フォーマット、ＡＶＣＨＤなどのフォーマットで利用される。

このように、ＹＣｂＣｒの伝送や記録に際しては、信号量の削減のためＹＣｂＣｒ信号中の色差信号ＣｂＣｒを間引く処理、すなわちサブサンプルした画像データとして伝送あるいは記録することが多い。
前述したように、輝度信号Ｙではなく、色差信号ＣｂＣｒをサブサンプルする理由は、視覚は輝度に比べて色差の変化に鈍感であるためである。

このようなサブサンプル画像は全画素にＣｂＣｒ信号が設定されていないため、印刷や表示を行なう場合、色差信号ＣｂＣｒ信号の欠落した画素位置にＣｂＣｒ信号を設定する補間処理を行なうことが必要となる。この補間処理は、例えばＣｂＣｒ信号欠落画素位置に近傍画素位置のＣｂＣｒ画素値をコピーする処理として行われる。しかし、このような単純コピーを行なうと、色が変化する色境界である色エッジ領域に色差信号の折り返し成分が発生し、色が階段状に変化したジャギーが観察される場合がある。

このような問題を解決するため、補間後のＣｂＣｒ信号に折り返しが気にならない程度に低周波フィルタをかけて平滑化する処理が行われる場合もある。このような平滑化処理を施して生成した画像は、印刷や表示を行っても致命的な画質劣化は目立たないという利点がある。

しかし、このような平滑化処理を施すと、物体のエッジ部、特に色の変化が大きい色エッジ領域では、色がエッジをまたいでにじみ出す、いわゆる色にじみが発生することがある。これは、平滑化処理によって各画素位置のＣｂＣｒ各色差情報が周囲画素に広げられてしまうことが要因であると推察される。
平滑化処理により、例えばある１つの被写体に対応する画素位置の画素値が、その画素の近傍にある異なる被写体の色や模様など、本来、混じり合ってはならない位置の画素の色情報を利用した画素値補正がなされる。この結果として、被写体本来の色と異なる色に設定され、上記の色にじみが発生するものと無推察される。

色差信号をサブサンプルした画像に対する処理によって出力画像を生成する処理例とその問題点について図２を参照して説明する。
図２には、ＹＣｂＣｒ４：２：２画像の色差を補間して色差情報の欠落した画素に色差情報を設定して生成した出力画像（４：４：４画像）とその出力画像のＹＣｂＣｒの各成分画像を示している。
図２には、以下の異なる出力画像生成処理例を示している。

（１）色差信号ＣｂＣｒ信号に対する補間処理を施して、補間後のＣｂＣｒ信号を適用して出力画像を生成した処理例
（２）（１）に示す補間処理の後、色差信号ＣｂＣｒ信号に対して平滑化処理を施して、補間＋平滑化後のＣｂＣｒ信号を適用して出力画像を生成した処理例
なお、（１）の補間処理には、色差最近傍補間フィルタを適用している。また、（２）の平滑化処理には、色差低周波フィルタを適用している。

処理画像は、図２（１），（２）の出力画像に示すように、画像の左上側が赤色領域、右下領域が肌（薄桃）色領域であり、右上から左下に色境界（色エッジ）が存在する。

（１）に示す色差信号ＣｂＣｒ信号に対する補間処理を施して、補間後のＣｂＣｒ信号を適用して出力画像を生成した処理例について説明する。
処理対象とするサブサンプル画像は水平方向の２画素単位で１つのＣｂＣｒ信号のみが設定された画像である。このように、水平方向に間引きされている色差信号（Ｃｂ，Ｃｒ）は、色差最近傍補間フィルタを適用して、ＣｂＣｒ画素の設定されていない画素に対して、隣接画素のＣｂＣｒ信号がコピーされ、補間される。

この補間処理によって、図２（１）に示すＣｂ（補間後）、Ｃｒ（補間後）の各色差信号が生成される。輝度信号（Ｙ）については、入力されたサブサンプル画像の輝度信号情報である。入力されるサブサンプル画像において、輝度信号（Ｙ）は各画素単位で輝度信号値が設定済みであり、補間処理は不要である。
水平方向の隣接画素のコピー処理による補間処理によって、図２（１）に示すＣｂ（補間後）、Ｃｒ（補間後）の各色差信号に示すように、色差信号（Ｃｂ，Ｃｒ）は、２画素単位で変化する。
このような補間処理によって得られるＣｂ（補間後）、Ｃｒ（補間後）の各色差信号と輝度信号（Ｙ）によって生成される出力画像、すなわち、図２（１）に示す出力画像は、色の変化ラインである色エッジ領域では、色差信号の折り返し成分が発生し、色が階段状に変化するジャギーが発生してしまう。

（２）に示す処理例は、（１）に示す補間処理の後、色差信号ＣｂＣｒ信号に対して平滑化処理を施して、補間＋平滑化後のＣｂＣｒ信号を適用して出力画像を生成した処理例である。補間処理のなされた色差信号ＣｂＣｒ信号に対して色差低周波フィルタを適用して色差信号ＣｂＣｒ信号の平滑化処理を実行している。

この処理によって、図２（２）に示すＣｂ（補間＋平滑化）、Ｃｒ（補間＋平滑化）の各色差信号が生成される。輝度信号（Ｙ）については、入力されたサブサンプル画像の輝度信号情報である。

この色差低周波フィルタを適用した平滑化処理により、色差信号（Ｃｒ，Ｃｂ）の高周波成分が低減され、色差信号（Ｃｒ，Ｃｂ）の変化がなめらかになる。
このような補間＋平滑化処理によって得られるＣｂ（補間＋平滑化）、Ｃｒ（補間＋平滑化）の各色差信号と輝度信号（Ｙ）によって生成される出力画像、すなわち、図２（２）に示す出力画像は、ジャギーが目立たなくなる。

しかし、赤色領域と肌（薄桃）色領域の境界である色エッジ領域で、赤色領域と肌（薄桃）色領域の色が混合し色にじみが発生する。すなわち、本来の赤色領域に肌（薄桃）色領域が浸食し、また、本来の肌（薄桃）色領域に赤色領域が浸食したような色のにじみが発生し、色が淡くなって画像になってしまう。

なお、「ジャギー」は、例えばエッジ等の境界が階段状のギザギザ模様に出力されてしまう現象であり、折り返しとも呼ばれる。本来なら、なめらかなエッジ境界であっても、階段状の不自然なエッジ境界として出力されてしまう。多くの場合、ジャギーは入力信号の帯域に対してサンプリング数が足りないため発生するエイリアシングであり、画像内の例えば被写体境界や模様のあるテクスチャ領域等に現れやすい。

ジャギー低減の画像処理について開示した従来技術としては、例えば以下の文献がある。
特許文献１（特開２０１０−６７２７２号公報）は、エッジ検出による方向判定を行い、よりエッジに平行な方向に平滑化成分の重みを大きくして各方向のブレンドを行うことでジャギーの低減を図る手法を開示している。。

また、特許文献２（特開２００９−７０１２３号公報）は、超解像度手法を用い、エッジ近傍については低解像度画像の高解像度化を行うことでジャギーの強調を抑制する手法を開示している。

しかし、これらのジャギー低減手法は、上述したサブサンプルされた色差信号の補間画像に発生するジャギーの低減について開示したものではない。
また、サブサンプルされた色差信号の補間により生成する出力画像には、ジャギーや折り返しのみならず色にじみなどの様々な画質劣化の問題点が発生する。上記の従来技術は、このような問題についての解決策については開示していない。

特開２０１０−６７２７２号公報 特開２００９−７０１２３号公報

本開示は、例えばこのような状況に鑑みてなされたものであり、一部の画素情報が間引きされたいわゆるサブサンプル画像信号に対する補間処理等によって各画素に必要な画素情報を設定した出力画像を生成する構成において、画質劣化の少ない出力画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
前記色差信号補正部は、
補正対象となる注目画素を含む注目画素近傍領域と、
前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出部と、
前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記色差信号補正部は、前記相似度に従った加算候補画素対応重み値を算出する重み値算出部と、前記注目画素と前記加算候補画素の近傍領域の画素値のブレンド処理による推定画素値である加算候補画素対応推定値を算出する推定値算出部と、複数の加算候補画素に関する前記加算候補画素対応重み値と前記加算候補画素対応推定値を適用した演算処理によって、前記注目画素の補正画素値を算出する重み付き期待値算出部を有する構成である。

さらに、本開示の画像処理装置の一実施態様において、前記重み付き期待値算出部は、複数の加算候補画素に関する前記加算候補画素対応重み値と前記加算候補画素対応推定値との乗算値の加算値である積算値を、前記加算候補画素対応重み値の総和値で除算する演算処理によって前記注目画素の補正画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記相似度算出部は、前記注目画素近傍領域の輝度値と、前記加算候補画素近傍領域との輝度値との相似度を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記相似度算出部は、前記補間色差画像に対する平滑化処理によって生成した平滑化色差画像を適用して、前記平滑化色差画像における前記注目画素近傍領域の画素値と、前記加算候補画素近傍領域との画素値との相似度を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記相似度算出部は、前記補間色差画像における前記加算候補画素近傍領域の画素値と、前記注目画素位置に対して前記加算候補画素位置の対称位置にある対称位置画素の近傍領域である対称位置画素近傍領域の画素値との相似度を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記入力画像は輝度値Ｙと色差画素値Ｃｂ，ＣｒからなるＹＣｂＣｒ画像であり、色差画素値が一部画素にのみ設定されたサブサンプル画像である。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記加算候補領域を設定し、加算候補領域の画素値情報を取得する加算候補領域抽出部を有し、前記相似度算出部は、前記加算候補領域抽出部の抽出情報を適用して相似度算出を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記加算候補領域抽出部は、前記加算候補領域抽出部に入力される加算候補領域設定情報に応じて、設定する加算候補領域を変更する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、入力画像に応じた最適な加算候補領域設定情報を入力する入力部を有し、前記加算候補領域抽出部は、前記入力部を介して入力される加算候補領域設定情報に応じて、設定する加算候補領域を変更する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記色差補間画像の解析処理によって最適な加算候補領域設定方向を判定する抽出方向判定部を有し、前記加算候補領域抽出部は、前記抽出方向判定部を介して入力される判定情報に応じて、設定する加算候補領域を変更する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
前記色差信号補正部が、
補正対象となる注目画素を含む注目画素近傍領域と、
前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出処理と、
前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
前記プログラムは、前記色差信号補正部に、
補正対象となる注目画素を含む注目画素近傍領域と、
前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出処理と、
前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、色差画素値の間引きされた画像の補間処理によって生成した補間色差画像の画素値補正を行ない、折り返しや色にじみを低減した高品質な画像の生成が可能となる。
具体的には、補間色差画像の画素値補正を行なう色差信号補正部は、補正対象となる注目画素を含む注目画素近傍領域と、注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出し、相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって注目画素の補正画素値を算出する。相似度は輝度値や、平滑化色差画像の画素値、あるいは注目画素に対して加算候補画素と対称位置にある対称位置画素等を用いて算出する。
これらの処理により、色差画素値の間引きされた画像の補間処理によって生成した補間色差画像の画素値補正を行ない、折り返しや色にじみを低減した高品質な画像の生成が実現される。

サブサンプル画像について説明する図である。 サブサンプル画像の補間処理および平滑化処理と、その問題点について説明する図である。 本開示の画像処理における基本処理について説明する図である。 本開示の画像処理における追加処理１について説明する図である。 本開示の画像処理における追加処理２について説明する図である。 本開示の画像処理における追加処理３について説明する図である。 本開示の画像処理を適用した結果について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の実行する加算候補領域の設定例について説明する図である。 本開示の画像処理装置の色差信号補正部の構成例について説明する図である。 色差信号補正部の相似度算出部の実行する処理について説明する図である。 色差信号補正部の重み値算出部の実行する処理について説明する図である。 色差信号補正部の推定値算出部の実行する処理について説明する図である。 色差信号補正部の重み付き期待値算出部の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の色差信号補正部が実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の色差信号補正部の構成例について説明する図である。 色差信号補正部の重み値算出部の実行する処理について説明する図である。 本開示の画像処理装置の色差信号補正部が実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の抽出方向判定部の構成例について説明する図である。 本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログ
ラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の実行する画像処理の概要について
２．本開示の処理を実行した場合の処理例について
３．本開示の画像処理を実行する装置構成と処理シーケンスについて
４．本開示の画像処理装置の実行する処理シーケンスについて
５．（追加処理３）を実行する画像処理装置の構成と処理について
６．入力画像の構成に応じた選択的な加算候補領域の設定処理を行なう実施例について
７，画像処理装置のハードウェア構成例について
８．本開示の構成のまとめ

［１．本開示の画像処理装置の実行する画像処理の概要について］
まず、本開示の画像処理装置において実行する画像処理の概要について説明する。
本開示の画像処理装置は、例えば図１、図２を参照して説明した問題点を解決する画像処理を実行する。
具体的には、輝度信号と色差信号からなる画像信号、例えばＹＣｂＣｒ（あるいはＹＰｂＰｒ，ＹＵＶ）画像信号において、色差信号が各画素単位ではなく、複数画素単位で１つの信号に間引きされた画像信号、すなわち色差信号がサブサンプルされた画像を入力し、この入力画像の全画素にＹＣｂＣｒの各信号を設定した出力画像を生成する。

なお、前述したようにＹＣｂＣｒ信号とＹＰｂＰｒ信号、ＹＵＶ信号はいずれも輝度信号と色差信号からなる同様の画像であり、以下ではＹＣｂＣｒ画像信号に対する処理例について説明する。ただし、以下に説明する本開示の処理はＹＰｂＰｒ，ＹＵＶ信号に対しても同様に適用可能であり、同様の効果を奏するものである。
上述のように、本開示の画像処理装置は、サブサンプル画像に対する従来の補間処理や平滑化処理において発生していた問題点を解決する。
すなわち、先に図２を参照して説明した補間処理や平滑化処理において発生する色信号の折り返しに起因するジャギーや、色にじみを低減した画質劣化の少ない高品質の出力画像を生成する。

まず、本開示の画像処理装置の実行する処理の概要について説明する。
なお、以下に説明する実施例では、処理対象とするサブサンプル画像の代表例として、図１（２）に示す４：２：２サブサンプル画像に対する処理例について説明する。
４：２：２サブサンプル画像は、各画素のＹＣｂＣｒ信号中、輝度信号であるＹ信号は全画素について保持するが、色差信号であるＣｂＣｒ信号は、水平方向に１つおきに保持した画像である。

本開示の画像処理装置では、以下に示す基本処理、あるいは基本処理と以下に示す追加処理１〜３の少なくともいずれかを組み合わせて実行することで、画質劣化の少ない出力画像を生成する。

（基本処理）処理対象画素である注目画素の補正画素値算出に適用する重み付け加算対象とする画素値を持つ加算候補画素について、輝度画像を用いて注目画素との相似度算出を実行する。さらに、この評価結果である「輝度画像適用相似度」に応じた重みを算出し、算出重みに応じた重み付け加算処理を実行して注目画素の補正画素値を設定する。
この処理によって、色にじみが少なく、また色差折り返しを低減した画像を生成する。

さらに、上記基本処理の実行に際して、以下の追加処理を併せて実行することで、より画質上昇効果を高めることができる。
（追加処理１）加算候補画素の抽出領域を限定した処理。
（追加処理２）平滑化色差画像を利用した相似度算出を実行し、この評価結果である「平滑化色差画像適用相似度」に応じた重みを算出し、算出重みに応じた重み付け加算処理によって注目画素の補正画素値を設定する処理。
（追加処理３）補間色差画像の加算候補画素と、注目画素を中心として加算候補画素の対称位置にある対称位置画素との相似度算出を実行し、この評価結果である「対称位置画素適用相似度」に応じた重みを算出し、算出重みに応じた重み付け加算処理によって注目画素の補正画素値を設定する処理。

本開示の画像処理装置では、上記基本処理、あるいは基本処理と上記追加処理１〜３の少なくともいずれかを組み合わせて実行することで、画質劣化の少ない出力画像を生成する。
以下、各処理について、順次、説明する。

（基本処理）処理対象画素である注目画素の補正画素値算出に適用する重み付け加算対象とする画素値を持つ加算候補画素について、輝度画像を用いて注目画素との相似度算出を実行する。さらに、この評価結果である「輝度画像適用相似度」に応じた重みを算出し、算出重みに応じた重み付け加算処理を実行して注目画素の補正画素値を設定する。

この基本処理を行なうことで、色にじみが少なく、また色差折り返しを低減した画像を生成する。
この基本処理について、図３を参照して説明する。
図３には、以下の各図を示している。
（１）輝度画像（Ｙ）
（２ａ）補間色差画像（Ｃｂ／Ｃｒ）
（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）
（３）出力色差画像（Ｃｂ／Ｃｒ）

（１）輝度画像（Ｙ）は、処理対象画像、すなわち、色差情報が間引きされたサブサンプル画像から得られる輝度画像（Ｙ）である。
輝度情報（Ｙ）は入力画像の全画素に設定されている。

（２ａ）補間色差画像（Ｃｂ／Ｃｒ）は、処理対象画像、すなわち、色差情報が間引きされたサブサンプル画像から得られる間引き色差画像に対する補間処理によって、全画素位置にＣｂ画素値を設定したＣｂ補間画像と、全画素位置にＣｒ画素値を設定したＣｒ補間画像である。
すなわち、処理対象とする４：２：２サブサンプル画像に含まれる水平方向１画素おきのＣｂ／Ｃｒ画素値を持つ間引き色差画像に対する補間処理によって、全画素位置にＣｂ画素値を設定したＣｂ補間画像と、全画素位置にＣｒ画素値を設定したＣｒ補間画像である。
なお、補間処理としては、図２（１）を参照して説明した色差最近傍補間フィルタを適用した処理の他、単純な線形補間を適用してもよい。

（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）は、（２ａ）補間色差画像（Ｃｂ／Ｃｒ）に対する平滑化処理を施して得られる平滑化色差画像である。平滑化処理には例えば図２を参照して説明した低周波フィルタを適用することができる。

（３）出力色差画像（Ｃｂ／Ｃｒ）は、上述の本開示の（基本処理）を実行して得られる色差画像である。この、（３）出力色差画像（Ｃｂ／Ｃｒ）を構成する各画素のＣｂ画素値およびＣｒ画素値は、上記の（基本処理）、すなわち、「輝度画像適用相似度」に応じた重みに応じた重み付け加算処理を実行して得られる補正画素値に設定されている。

なお、図３に示す（基本処理）においては、（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）は利用しないが、後段で図４〜図６を参照して説明する（追加処理１〜３）との対応関係の理解を容易にするため、図３にも図４〜図６と同様の平滑化色差画像（Ｃｂ／Ｃｒ）を示している。

（基本処理）および（追加処理１〜３）は、各色差画像、すなわちＣｂ画像とＣｒ画像に対して、同様の処理を実行する。以下の説明において色差画像はＣｂ画像、およびＣｒ画像を意味するものとして説明する。

（基本処理）は、図３に示す処理手順（ステップＳ１〜Ｓ５）に従って実行する。
すなわち、以下のステップＳ１〜Ｓ５の各処理を順次、実行する。
（Ｓ１）まず、画素値の補正対象画素である注目画素を、（２ａ）補間色差画像から選択し、選択した注目画素の近傍に加算候補領域を設定し、設定した加算候補領域から加算候補画素を１つ以上抽出（ピックアップ）する。

図３に示すように、（２ａ）補間色差画像から１つの注目画素１０１を選択し、さらに、注目画素１０１の近傍領域に加算候補領域１０２を設定し、加算候補領域１０２から加算候補画素１０３を、順次選択する。
以下の処理は、１つの注目画素に対して、加算候補領域１０２から順次選択された加算候補画素１０３について、各々実行する。例えば、加算候補領域１０２において、注目画素１０１に近い位置から予め設定した数の加算候補画素１０３を、順次選択する。

なお、（２ａ）補間色差画像に設定した注目画素１０１、加算候補領域１０２、加算候補画素１０３の各画素および領域は、（２ａ）補間色差画像以外の（１）輝度画像（Ｙ）、（２ｂ）平滑化色差画像にも、同じ対応画素位置と領域を設定する。
注目画素は、（２ａ）補間色差画像から順次、選択され、全画素について、同様の処理（Ｓ１〜Ｓ５）を行なう。
加算候補領域１０２は、注目画素１０１の近傍領域の予め決定した範囲に設定するが、様々な設定が可能である。後段で説明する（追加処理１）において、具体的な一つの加算候補領域の設定例について説明する。

（Ｓ２）次に、注目画素と加算候補画素の相似度を算出する。
（基本処理）においては、この相似度算出を、図３に示すように、輝度画像（Ｙ）を用いて実行する。
輝度画像（Ｙ）における注目画素対応位置の近傍領域、例えば注目画素位置を中心とした画素領域、例えば５×５画素領域、あるいは７×７画素領域等の所定の画素領域と、輝度画像（Ｙ）における加算候補画素対応位置を中心とした同じ大きさの画素領域を抽出し、この画素領域単位で類似するか否かを判定する。

具体的な類似度判定は、例えば、輝度信号レベルが比較対象とした２つの画素領域において同様の変化を示す場合に高い相似度を設定し、異なる変化を示す場合には低い相似度を設定する。
なお、相似度算出処理の具体例については後段で説明するが、２つの画素領域の画素値を適用した画素差分２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅｓ）や、２つの画素領域の画素値を適用した画素差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）などを相似度の指標値として適用することが可能である。

例えば、２つの画素領域の画素差分２乗和（ＳＳＤ）が小さい値である場合は、２つの画素領域は類似し、高い相似度算出値を設定し、２つの画素領域の画素差分２乗和（ＳＳＤ）が大きい値である場合は、２つの画素領域は非類似であり、低い相似度算出値を設定する。

（Ｓ３）次に、算出した相似度に基づいて、加算候補画素毎の加算重み値を決定する。相似度算出値が大きいほど重み値を大きくする。この重み値は、ステップＳ５における注目画素の補正画素値算出に適用する重みである。ステップＳ４で算出する各加算候補画素対応の補正画素推定値にこの重みを乗算して積算した結果を利用して注目画素の補正画素値を算出する。具体的な処理については後述する。

（Ｓ４）図３（２ａ）に示す補間色差画像の注目画素１０１と加算候補画素１０３に基づいて、注目画素を補正（折り返し低減補正）した結果の補正画素推定値を算出する。
図３（２ａ）に示す補間色差画像を用いて、補間色差画像における注目画素１０１と加算候補画素１０３の各画素値に基づいて、注目画素を補正（折り返し低減補正）した結果の補正画素推定値を加算候補画素毎に算出する。
具体的な処理については後述する。

（Ｓ５）ステップＳ３で算出した相似度算出値に応じた加算重み値に従って、ステップＳ４で算出した推定値を積和し、積和結果として算出される値を用いて注目画素の補正画素値を算出する。
この画素値が、図３（３）に示す出力色差画像の出力注目画素１０５の画素値となる。

これらのステップＳ１〜Ｓ５の処理を図３（２）の補間色差画像の各画素について、順次実行し、図３（３）に示す出力色差画像の各画素値を全て決定する。

このように、（基本処理）では、上記処理ステップＳ１〜Ｓ５を順次、実行して注目画素の画素値を算出する。
この補正処理の結果として、図３（３）出力色差画像に示す注目画素（補正後）１０５が算出される。

なお、上述の（基本処理）のステップＳ３の加算重み値設定処理において、注目画素と異なる色や模様を有する加算候補画素の重み値は小さく設定され、注目画素に類似する画素、すなわち相似度の高い加算候補画素の加算重み値は大きく設定される。
従って、注目画素に類似する加算候補画素の画素値の加算割合を大きくした重み付け加算が実行されて、注目画素の補正画素値が算出されることになる。

すなわち、注目画素に類似しない相似度が低い加算候補画素の画素値は、補正画素値の算出において、その寄与率が低められることになる。その結果、注目画素の補正画素値算出において、注目画素と異なる色を持つ加算候補画素の画素値の反映度が低くなり、折り返しや色にじみの発生を低減できる。

（追加処理１）加算候補画素の抽出領域を限定した処理
上述の基本処理のステップＳ１では、図３を参照して説明したように、加算候補画素１０３を選択する領域である加算候補領域１０２を注目画素１０１の近傍に設定するとして説明した。

以下、説明する（追加処理１）は、加算候補画素の抽出領域を限定した処理である。具体的には、図４に示すように加算候補領域１０２を、注目画素１０１に隣接する垂直ラインとする。

なお、このように、加算候補画素の抽出領域を注目画素に隣接する垂直ラインとする設定は、処理対象とする画像が図１（２）に示すような４：２：２サブサンプル画像である場合に適した設定態様である。
処理対象画像が、図１（３）に示す４：２：０サブサンプル画像である場合は、加算候補画素の抽出領域は、注目画素に隣接する垂直ラインに加え、水平ラインも含めた処理とすることが好ましい。この処理については後段で説明する。

処理画像が４：２：２サブサンプル画像である場合の処理、すなわち、加算候補画素の抽出領域を注目画素に隣接する垂直ラインとする処理の具体例について、図４を参照して説明する。

図４には、先に説明した図３と同様の画像を示している。すなわち、以下の各図を示している。
（１）輝度画像（Ｙ）
（２ａ）補間色差画像（Ｃｂ／Ｃｒ）
（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）
（３）出力色差画像（Ｃｂ／Ｃｒ）
なお、この（追加処理１）も（基本処理）と同様、Ｃｂ画像、Ｃｒ画像各々の画像に対して同様に実行する。

図４の（２ａ）補間色差画像（Ｃｂ／Ｃｒ）に示すように、補正対象とする注目画素を注目画素１０１とする。この注目画素１０１の画素値補正に適用する参照画素としての加算候補画素を抽出する加算候補領域１０２を、図４（２ａ）補間色差画像（Ｃｂ／Ｃｒ）の点線枠で示すように、注目画素１０１に隣接する垂直ラインの画素領域とする。

上述した（基本処理）に併せて、この（追加処理１）を適用する場合、（基本処理）のステップＳ１の処理において、加算候補領域１０２は、図４各図の点線枠で示すように、注目画素１０１に隣接する垂直ラインの画素領域として設定される。

上述した（基本処理）に併せて、（追加処理１）を実行する場合の、処理手順は以下の通りである。
（Ｓ１）まず、画素値の補正対象画素である注目画素を、（２ａ）補間色差画像から選択し、選択した注目画素に隣接する垂直ラインを加算候補領域１０２として設定する。すなわち図４に示す加算候補領域１０２である。さらに、設定した加算候補領域から加算候補画素を１つ以上抽出（ピックアップ）する。

以下のステップＳ２〜Ｓ５の処理は前述した（基本処理）と同様の処理となる。
すなわち、以下の処理を実行する。

（Ｓ２）輝度画像（Ｙ）における注目画素対応位置の近傍領域と、加算候補画素対応位置の近傍領域の輝度分布に基づいて注目画素と加算候補画素の相似度を算出する。
（Ｓ３）次に、算出した相似度に基づいて、加算候補画素毎の加算重み値を決定する。相似度が高いほど重み値を大きくする。
（Ｓ４）補間色差画像（図４（２ａ））の注目画素と加算候補画素に基づいて、注目画素を補正（折り返し低減補正）した結果の補正画素推定値を加算候補画素毎に算出する。
（Ｓ５）ステップＳ３で算出した相似度に応じた加算重み値に従って、ステップＳ４で算出した推定値を積和し、積和結果として算出した値を、注目画素の補正画素値とする。

上述した（基本処理）に併せて、（追加処理１）を実行する場合の処理手順は上述の処理となる。
この（追加処理１）、すなわち、加算候補領域を注目画素に隣接する垂直画素領域とすることによって、例えば以下の効果が得られる。
折り返しをキャンセルするためには、注目画素に対して折り返しが逆相になる画素を探して加算するとよい。すなわち、折り返しが逆相になる画素以外の画素を加算候補からなるべく排除することで、不必要な平滑化を避けて必要最小限の平滑化で折り返しを低減することができる。
例えば４：２：２サブサンプル画像や４：２：０サブサンプル画像では、色差信号は１画素おきのサンプリングとなるので、注目画素の隣接ライン上を探査することで、折り返しが逆相になる画素位置がみつかる。

このように、注目画素の隣接ライン上にある注目画素と折り返しが逆相になる画素位置の画素を加算候補画素として選択し、選択した加算候補画素を適用してその後の補正画素値算出を実行することで、折り返しの低減された補正画素値を算出することが可能となる。

（追加処理２）平滑化色差画像を利用した相似度算出を実行し、この評価結果である「平滑化色差画像適用相似度」に応じた重みを算出し、算出重みに応じた重み付け加算処理によって注目画素の補正画素値を設定する処理。

上述の基本処理においては、上述したステップＳ２の注目画素と加算候補画素との相似度算出処理は、輝度信号（Ｙ）を用いた処理として説明した。
すなわち、輝度信号レベルが比較対象となる注目画素を中心とした画素領域と加算候補画素を中心とした画素領域の２つの画素領域において類似する場合に高い相似度算出値を設定し、類似しない場合には低い相似度算出値を設定するという相似度算出を実行する処理例について説明した。

以下において説明する（追加処理２）は、上記の輝度信号（Ｙ）に基づく相似度判定に加え、色差信号の平滑化信号に基づく相似度判定も併せて実行する処理例である。

この（追加処理２）の具体例について、図５を参照して説明する。
なお、図５に示す処理例は、上述の（基本処理）に（追加処理１）と（追加処理２）を併せて実行した処理例である。

図５には、先に説明した図３、図４と同様の画像を示している。すなわち、以下の各図を示している。
（１）輝度画像（Ｙ）
（２ａ）補間色差画像（Ｃｂ／Ｃｒ）
（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）
（３）出力色差画像（Ｃｂ／Ｃｒ）
なお、この（追加処理２）も（基本処理）、（追加処理１）と同様、Ｃｂ画像、Ｃｒ画像各々の画像に対して同様に実行する。

図５の（２ａ）補間色差画像（Ｃｂ／Ｃｒ）に示すように、補正対象とする注目画素を注目画素１０１とする。この注目画素１０１の画素値補正に適用する参照画素としての加算候補画素を抽出する加算候補領域１０２を、図５（２ａ）補間色差画像（Ｃｂ／Ｃｒ）の点線枠で示すように、前述の（追加処理１）において説明したと同様、注目画素１０１に隣接する垂直ラインの画素領域とする。

図５に示すステップＳ２において、輝度信号（Ｙ）を用いた相似度算出を実行する。すなわち、図５に示す輝度信号（Ｙ）に設定した注目画素１０１を中心とした所定の画素領域と、加算候補画素１０３を中心とした画素領域の輝度信号（Ｙ）の分布を比較する。
輝度信号レベルが比較対象とした２つの画素領域において同様の変化を示す場合に高い相似度算出値を設定し、輝度信号レベルが比較対象とした２つの画素領域において同様の変化を示していない場合には低い相似度算出値を設定する。

（追加処理２）においては、図５に示すステップＳ２の輝度信号（Ｙ）を用いた相似度算出処理の他、図５に示すステップＳ２−２において、（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出を実行する。

図５に示す（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）に設定した注目画素１０１を中心とした所定の画素領域と、加算候補画素１０３を中心とした画素領域の類似度を判定する。
例えば平滑化後のＣｒ画素値レベルが比較対象とした２つの画素領域において類似する場合、具体的には、例えば画素差分２乗和（ＳＳＤ）が小さい場合に、２つの画素領域は類似し、高い相似度算出値を設定する。２つの画素領域の画素差分２乗和（ＳＳＤ）が大きい値である場合は、２つの画素領域は非類似であり、低い相似度算出値を設定する。

このように、（追加処理２）では、以下の２つの相似度算出値を算出する。
（ａ）輝度信号（Ｙ）を用いた相似度算出の結果として得られる第１の相似度算出値（輝度画像適用相似度）、
（ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出の結果として得られる第２の相似度算出値（平滑化色差画像適用相似度）、

図５に示す処理のステップＳ３の重み値算出処理では、この２つの相似度算出値を適用して、各加算候補画素に対応する重み値を算出する。
さらに、図５に示すステップＳ５の補正画素値（重み付き期待値）算出処理では、上記２つの異なる画像に基づく２つの相似度算出値を適用して算出された重み値を利用して補正画素値を算出することになる。

上述した（基本処理）に併せて、（追加処理１）と（追加処理２）を実行する場合の、処理手順は以下の通りである。

（Ｓ１）まず、画素値の補正対象画素である注目画素を、（２ａ）補間色差画像から選択し、選択した注目画素に隣接する垂直ラインを加算候補領域１０２として設定する。すなわち図５に示す加算候補領域１０２である。さらに、設定した加算候補領域から加算候補画素を１つ以上抽出（ピックアップ）する。

（Ｓ２）輝度画像（Ｙ）における注目画素対応位置の近傍領域と、加算候補画素対応位置の近傍領域の輝度分布に基づいて注目画素と加算候補画素の相似度（輝度画像適用相似度）を算出する。
（Ｓ２−２）平滑化色差画像（Ｃｂ／Ｃｒ）における注目画素対応位置の近傍領域と、加算候補画素対応位置の近傍領域の画素値分布に基づいて注目画素と加算候補画素の相似度（平滑化色差画像適用相似度）を算出する。
（追加処理２）を適用した場合、このように、
（１）輝度画像適用相似度、
（２）平滑化色差画像適用相似度、
これら２つの相似度を算出する。

（Ｓ３）次に、算出した上記２つの相似度に基づいて、加算候補画素毎の加算重み値を決定する。相似度が高いほど重み値を大きくする。
（Ｓ４）補間色差画像（図 ５（２ａ））の注目画素と加算候補画素に基づいて、注目画素を補正（折り返し低減補正）した結果の補正画素推定値を加算候補画素毎に算出する。
（Ｓ５）ステップＳ３で算出した２つの相似度に応じた加算重み値に従って、ステップＳ４で算出した推定値を積和し、積和結果として算出した値を、注目画素の補正画素値とする。

上述した（基本処理）と（追加処理１）に併せて（追加処理２）を実行する場合の処理手順は上述の処理となる。

このように、（追加処理２）においては、
（１）輝度画像適用相似度、
（２）平滑化色差画像適用相似度、
これら２つの相似度を算出し、この２つの相似度に基づいて各加算候補画素の重みを算出する。

この（追加処理２）を実行することにより、色エッジ部での色にじみの低減効果が得られる。この理由を以下に説明する。
色にじみを抑えるためには、注目画素の補正画素値の算出に際して、注目画素とは異なる模様と色を持つ加算候補画素の画素値の寄与率を低減させることが必要である。

輝度信号（Ｙ）に基づく相似度算出値によって算出する重みにより、模様の異なる加算候補画素の画素値の寄与率を低減させることが可能である。
しかし、信号（Ｙ）に基づく相似度算出値によって算出する重みでは、色の異なる加算候補画素の画素値の寄与率を低減させることができない。

色の異なる加算候補画素の画素値の寄与率を低減させるためには、色差画像を用いた相似度算出値を適用することが必要となる。
しかし、例えば図５（２ａ）に示す補間画像は、１画素おきのサンプリングに起因する折り返しがあるため、隣接ライン上の加算候補画素と注目画素間で色差の相似度算出が正しく機能しない。

そこで、平滑化して折り返しを弱めた色差信号、すなわち、図５（２ｂ）に示す平滑化色差画像（Ｃｂ／Ｃｒ）を利用して、隣接ライン上の画素と注目画素間で色の相似度算出を行ない、この相似度算出に基づく重みを算出し、補正画素値の算出に際してこの重みを適用した加算候補画素の画素値積算を行なう。
この処理によって、注目画素とは異なる色を持つ加算候補画素の画素値の寄与率を低減させることが可能となる。

（追加処理３）補間色差画像の加算候補画素と、注目画素を中心として加算候補画素の対称位置にある対称位置画素との相似度算出を実行し、この評価結果である「対称位置画素適用相似度」に応じた重みを算出し、算出重みに応じた重み付け加算処理によって注目画素の補正画素値を設定する処理。

上述の基本処理においては、上述したステップＳ２の注目画素と加算候補画素との相似度算出処理は、輝度信号（Ｙ）を用いた処理として説明した。
すなわち、輝度信号レベルが比較対象となる注目画素を中心とした画素領域と加算候補画素を中心とした画素領域の２つの画素領域において類似する場合に高い相似度算出値を設定し、類似しない場合には低い相似度算出値を設定するという相似度算出を実行する処理例について説明した。

以下において説明する（追加処理３）は、上記の輝度信号（Ｙ）に基づく相似度判定に加え、補間色差画像の加算候補画素と、注目画素を中心として加算候補画素の対称位置にある対称位置画素との相似度算出も併せて実行する処理例である。

この（追加処理３）の具体例について、図６を参照して説明する。
なお、図６に示す処理例は、上述の（基本処理）に（追加処理１）と（追加処理２）と（追加処理３）を併せて実行した処理例である。

図６には、先に説明した図３〜図５と同様の画像を示している。すなわち、以下の各図を示している。
（１）輝度画像（Ｙ）
（２ａ）補間色差画像（Ｃｂ／Ｃｒ）
（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）
（３）出力色差画像（Ｃｂ／Ｃｒ）
なお、この（追加処理３）も（基本処理）、（追加処理１）、（追加処理２）と同様、Ｃｂ画像、Ｃｒ画像各々の画像に対して同様に実行する。

図６の（２ａ）補間色差画像（Ｃｂ／Ｃｒ）に示すように、補正対象とする注目画素を注目画素１０１とする。この注目画素１０１の画素値補正に適用する参照画素としての加算候補画素を抽出する加算候補領域１０２を、図６（２ａ）補間色差画像（Ｃｂ／Ｃｒ）の点線枠で示すように、前述の（追加処理１）において説明したと同様、注目画素１０１に隣接する垂直ラインの画素領域とする。

図６に示すステップＳ２において、輝度信号（Ｙ）を用いた相似度算出を実行する。すなわち、図６に示す輝度信号（Ｙ）に設定した注目画素１０１を中心とした所定の画素領域と、加算候補画素１０３を中心とした画素領域の輝度信号（Ｙ）の分布を比較する。
輝度信号レベルが比較対象とした２つの画素領域において同様の変化を示す場合に高い相似度算出値を設定し、輝度信号レベルが比較対象とした２つの画素領域において同様の変化を示していない場合には低い相似度算出値を設定する。

さらに、図６に示すステップＳ２−２において、（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出を実行する。
この処理は上述の（追加処理２）で説明した処理である。
図６に示す（２ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）に設定した注目画素１０１を中心とした所定の画素領域と、加算候補画素１０３を中心とした画素領域の類似度を判定する。
平滑化後のＣｒ画素値レベルが比較対象とした２つの画素領域において類似する場合、例えば画素差分２乗和（ＳＳＤ）が小さい場合に、２つの画素領域は類似し、高い相似度算出値を設定し、２つの画素領域の画素差分２乗和（ＳＳＤ）が大きい値である場合は、２つの画素領域は非類似であり、低い相似度算出値を設定する。

さらに、（追加処理３）では、図６に示すステップＳ２−３において、（２ａ）補間色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出を実行する。
図６に示す（２ａ）補間色差画像（Ｃｂ／Ｃｒ）に設定した加算候補画素１０３と、注目画素を中心として加算候補画素の対称位置にある対称位置画素１０６との相似度算出を実行し、この評価結果である「対称位置画素適用相似度」を算出する。

図６に示す（２ａ）補間画像（Ｃｂ／Ｃｒ）に設定した加算候補画素１０３を中心とした所定の大きさの画素領域と、対称位置画素１０６を中心とした所定の大きさの画素領域との類似度を判定する。
例えばＣｒ画素値レベルが比較対象とした２つの画素領域において類似する場合、具体的には、例えば画素差分２乗和（ＳＳＤ）が小さい場合に、２つの画素領域は類似し、高い相似度算出値を設定する。２つの画素差分２乗和（ＳＳＤ）が大きい値である場合は、２つの画素領域は非類似であり、低い相似度算出値を設定する。

このように、（追加処理２）と（追加処理３）を併せて実行した処理例では、以下の３つの相似度算出値を算出する。
（ａ）輝度信号（Ｙ）を用いた相似度算出の結果として得られる第１の相似度算出値（輝度画像適用相似度）、
（ｂ）平滑化色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出の結果として得られる第２の相似度算出値（平滑化色差画像適用相似度）、
（ｃ）補間色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出の結果として得られる第３の相似度算出値（対称位置画素適用相似度）、

図６に示す処理のステップＳ３の重み値算出処理では、この３つの相似度算出値を適用して、各加算候補画素に対応する重み値を算出する。
さらに、図６に示すステップＳ５の補正画素値（重み付き期待値）算出処理では、上記３つの異なる画像に基づく３つの相似度算出値を適用して算出された重み値を利用して補正画素値を算出することになる。

上述した（基本処理）に併せて、（追加処理１）と（追加処理２）、さらに（追加処理３）を実行する場合の、処理手順は以下の通りである。

（Ｓ１）まず、画素値の補正対象画素である注目画素を、（２ａ）補間色差画像から選択し、選択した注目画素に隣接する垂直ラインを加算候補領域１０２として設定する。すなわち図６に示す加算候補領域１０２である。さらに、設定した加算候補領域から加算候補画素を１つ以上抽出（ピックアップ）する。

（Ｓ２）輝度画像（Ｙ）における注目画素対応位置の近傍領域と、加算候補画素対応位置の近傍領域の輝度分布に基づいて注目画素と加算候補画素の相似度（輝度画像適用相似度）を算出する。
（Ｓ２−２）平滑化色差画像（Ｃｂ／Ｃｒ）における注目画素対応位置の近傍領域と、加算候補画素対応位置の近傍領域の輝度分布に基づいて注目画素と加算候補画素の相似度（平滑化色差画像適用相似度）を算出する。
（Ｓ２−３）補間画像（Ｃｂ／Ｃｒ）における加算候補画素の近傍領域と、対称位置画素の近傍領域の画素値分布に基づいて、加算候補画素と対称位置画素との相似度（対称位置画素適用相似度）を算出する。

（追加処理２）と（追加処理３）を併せて適用した場合、このように、
（１）輝度画像適用相似度、
（２）平滑化色差画像適用相似度、
（３）対称位置画素適用相似度、
これら３つの相似度を算出する。

（Ｓ３）次に、算出した上記３つの相似度に基づいて、加算候補画素毎の加算重み値を決定する。相似度が高いほど重み値を大きくする。
（Ｓ４）補間色差画像（図６（２ａ））の注目画素と加算候補画素に基づいて、注目画素を補正（折り返し低減補正）した結果の補正画素推定値を加算候補画素毎に算出する。
（Ｓ５）ステップＳ３で算出した３つの相似度に応じた加算重み値に従って、ステップＳ４で算出した推定値を積和し、積和結果として算出した値を、注目画素の補正画素値とする。

上述した（基本処理）に併せて、（追加処理１）、（追加処理２）、（追加処理３）を実行する場合の処理手順は上述の処理となる。

このように、（追加処理３）においては、
（１）輝度画像適用相似度、
（２）平滑化色差画像適用相似度、
（３）対称位置画素適用相似度、
これら３つの相似度を算出し、この３つの相似度に基づいて各加算候補画素の重みを算出する。

この（追加処理３）を実行することにより、加算候補画素の重み付けをより構成度に実行することが可能となる。この理由は以下の通りである。

注目画素と加算候補画素が同一直線エッジ上にある場合、対称位置の画素も同一エッジ上にあり、さらに対称位置の画素の折り返しは加算候補画素のそれと同位相となり、相似度が高い。
注目画素を超えた倍の位置に同位相の折り返しを持つ画素があれば、加算候補画素と注目画素は逆位相の関係にある確率が高くなる。
従って、対称位置との色差の相似性が高い加算候補画素はより確証をもって利用することができるようになる。

［２．本開示の処理を実行した場合の処理例について］
上述した（基本処理）と（追加処理１）、（追加処理２）、（追加処理３）、これらのすべての処理を併せて実行した場合の具体例と効果について図７を参照して説明する。

図７には、先に説明した図２と同様、ＹＣｂＣｒ４：２：２画像の色差を補間して色差情報の欠落した画素に色差情報を設定して生成した出力画像（４：４：４画像）とその出力画像のＹＣｂＣｒの各成分画像を示している。
図７（２），（３）とも処理対象画像はいずれも同じ４：２：２サブサンプル画像であり、左上側が赤色、右下側が肌色であり、右上から左下にかけて色境界としての色エッジが設定された画像である。

図７には、以下の異なる出力画像生成処理例を示している。
図７（２）は、先に説明した図２（２）の画像と同様の画像である。すなわち、図２（１）を参照して説明した補間処理の後、色差信号ＣｂＣｒ信号に対して平滑化処理を施して、補間＋平滑化後のＣｂＣｒ信号を適用して出力画像を生成した処理例である。
なお、補間処理には、色差最近傍補間フィルタを適用し、平滑化処理には、色差低周波フィルタを適用している。

図７（３）は、上述した（基本処理）と（追加処理１）、（追加処理２）、（追加処理３）、これらのすべての処理を併せて実行して生成した出力画像（４：４：４画像）とその出力画像のＹＣｂＣｒの各成分画像を示している。
図７（３）に示すＣｂ（出力色差画像）や、Ｃｒ（出力色差画像）が、図６（３）出力色差画像に対応する。

図７（３）に示すＣｂ／Ｃｒ出力色差画像と輝度画像（Ｙ）を合成することで、全画素にＹＣｂＣｒ各画素値が設定された出力画像（４４４画像）が生成される。
本開示の処理、すなわち（基本処理）と（追加処理１）〜（追加処理３）を併せて実行した処理によって生成される出力画像（４４４画像）は、図７（２）に示す補間＋平滑化処理画像に比較して、色エッジ領域の折り返し成分や色にじみが低減され、彩度が復活した良好な画像となる。

［３．本開示の画像処理を実行する装置構成と処理シーケンスについて］
次に、上述した本開示の画像処理、すなわち（基本処理）、（追加処理１）〜（追加処理３）を実行する画像処理装置の構成と処理シーケンスの例について説明する。

図８は、本開示の画像処理装置の全体構成の一実施例を示す図である。
なお、本開示の画像処理は、例えば、以下に説明する処理を実行するハードウェアを備えた装置、あるいは、以下に説明する処理を実行する処理シーケンスを規定したプログラムを実行するＣＰＵ等のデー処理部を備えた装置において実行できる。具体的には、例えば、画像処理装置内のメモリに格納されたプログラムに従って、画像処理装置のプログラム実行機能を持つＣＰＵ等を備えたデータ処理部、例えばＤＳＰ（デジタル信号処理部）等において実行可能である。図８に示すブロック図は、本開示の画像処理において実行する処理を、各処理別に理解しやすく説明するために処理単位のブロックとして示したブロック図である。

入力画像１５０は、例えば、先に図１（２），（３）を参照して説明したサブサンプル画像である。すなわち、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）によって構成されるＹＣｂＣｒ画像であり、輝度信号（Ｙ）は全画素に設定され、色差信号（Ｃｂ，Ｃｒ）は、一部画素にのみ設定、すなわちサブサンプリングされた画像である。

入力画像１５０は、輝度信号（Ｙ）のみからなる輝度画像１５１と色差信号（Ｃｂ，Ｃｒ）のみからなる色差画像１５２から構成されるが、これらの各画像に対して異なる処理が実行される。なお、色差画像１５２には、各画素にＣｂ画素値が設定されたＣｂ画像と、Ｃｒ画素値の設定されたＣｒ画像が含まれるが、Ｃｂ画像とＣｒ画像に対する処理は、同じ処理となる。以下の説明において、色差画像はＣｂ画像とＣｒ画像の双方を含み、色差信号はＣｂ信号とＣｒ信号の双方を含む。

色差画像１５２は、一部画素のみに色差信号がせ設定された画像である。色差画像１５２は色差補間処理部２０１に入力される。
色差補間処理部２０１は、色差画像１５２の色差信号欠落画素に色差信号を設定する補間処理を実行する。
この補間処理は、例えば先に図２（１）を参照して説明した補間処理であり、色差再近傍補間フィルタや線形補間フィルタなどを適用して実行する。

色差補間処理部２０１における色差画像１５２に対する補間処理によって、全画素に色差信号の設定された補間色差画像１５３が生成される。
補間色差画像１５３は、色差平滑化処理部２０２に入力される。

色差平滑化処理部２０２は、補間色差画像１５３に対する平滑化処理を実行する。
この平滑化処理は、例えば先に図２（２）を参照して説明した平滑化処理であり、色差低周波フィルタ等のローパスフィルタを適用した平滑化処理を実行する。具体的には、例えば５〜７タップのガウシアンフィルタを適用することができる。

色差平滑化処理部２０２における補間色差画像１５３に対する平滑化処理によって、平滑化色差画像１５４が生成される。

ここまでの処理によって、先に図３〜図６を参照して説明した（基本処理）と、（追加処理１〜３）において利用される画像、すなわち、図３〜図６に示す以下の画像が準備されたことになる。
（１）輝度画像（Ｙ）（＝図８に示す輝度画像１５１）
（２ａ）補間色差画像（＝図８に示す補間色差画像１５３）
（２ｂ）平滑化色差画像（＝図８に示す平滑化色差画像１５４）

以下、図８に示す注目画素抽出部２１１〜色差信号補正部２２１の各構成の処理によって、先に図３〜図６を参照して説明した（基本処理）と、（追加処理１〜３）に従った処理が実行され、出力色差画像１８０を生成する。
図８に示す出力色差画像１８０は、図３〜図６に示す、
（３）出力色差画像
に相当する。
この出力色差画像は全画素に色差信号の設定されたＣｂ画像とＣｒ画像であり、このＣｂ画像とＣｒ画像と輝度画像を合成して、最終的に出力するＹＣｂＣｒ画像が生成されることになる。

図８に示す注目画素抽出部２１１は、輝度画像１５１から、注目画素を順次、選択抽出する。
なお、注目画素は、先に図３〜図６を参照して説明したように、基本的には補正対象となる色差画像の色差信号であり、補間色差画像１５３から選択される色差信号を持つ１つの画素である。
この補間色差画像１５３における注目画素は、図８に示す注目画素抽出部２１５において抽出される。

図３〜図６を参照して説明したように、補間色差画像１５３から選択された注目画素の位置と同様の位置の画素が、輝度画像１５１、平滑化色差画像１５４からも選択される。これらの処理を実行するのが、図８に示す注目画素抽出部２１１、注目画素抽出部２１３である。

図８に示す注目画素抽出部２１１は、輝度画像１５１から、注目画素を順次、選択抽出する。
図８に示す注目画素抽出部２１３は、平滑化色差画像１５４から、注目画素を順次、選択抽出する。
図８に示す注目画素抽出部２１５は、補間化色差画像１５３から、注目画素を順次、選択抽出する。

なお、これらの注目画素抽出部２１１，２１３，２１５は、注目画素と、あらかじめ規定した大きさの注目画素近傍領域の画素の画素値情報を取得して色差信号補正部２２１に出力する。近傍領域は例えば注目画素を中心とした５×５画素、あるいは７×７画素などの予め設定した領域とする。これらの近傍領域の画素値情報は、図３〜図６を参照して説明した相似度算出に用いられる。

具体的には、注目画素抽出部２１１，２１３，２１５は、それぞれ以下の処理を実行する。
注目画素抽出部２１１は、輝度画像１５１から注目画素とその近傍領域の画素値情報、すなわち、図８に示す「輝度画像注目画素近傍画素情報１６１」を生成して色差信号補正部２２１に出力する。

注目画素抽出部２１３は、平滑化色差画像１５４から注目画素とその近傍領域の画素値情報、すなわち、図８に示す「平滑化色差画像注目画素近傍画素情報１６３を生成して色差信号補正部２２１に出力する。
注目画素抽出部２１５は、補間色差画像１５３から注目画素とその近傍領域の画素値情報、すなわち、図８に示す「補間色差画像注目画素近傍画素情報１６５」を生成して色差信号補正部２２１に出力する。

なお、上記３つの注目画素抽出部２１１，２１３，２１５は、注目画素の抽出対象となる画像が、輝度画像１５１、平滑化色差画像１５４、補間色差画像１５３でありそれぞれ異なるが、図３〜図６を参照して説明したように、各画像上における注目画素位置は、３つの各画像の対応する同一の画素位置とする。

図８に示す加算候補領域抽出部２１２，２１４，２１６は、それぞれ、輝度画像１５１、平滑化色差画像１５４、補間色差画像１５３の各画像に、先に図３〜図６を参照して説明した加算候補領域を設定し、設定した加算候補領域の位置と近傍の画素情報を含む加算候補領域情報を生成して色差信号補正部２２１に出力する。

具体的には、加算候補領域抽出部２１２，２１４，２１６は、それぞれ以下の処理を実行する。
加算候補領域抽出部２１２は、輝度画像１５１に設定された注目画素の近傍に加算候補領域を設定し、設定した加算候補領域の位置と近傍の画素情報を含む「輝度画像加算候補領域情報１６２」を生成して色差信号補正部２２１に出力する。

加算候補領域抽出部２１４は、平滑化色差画像１５４に設定された注目画素の近傍に加算候補領域を設定し、設定した加算候補領域の位置と近傍の画素情報を含む「平滑化色差画像加算候補領域情報１６４」を生成して色差信号補正部２２１に出力する。
加算候補領域抽出部２１６は、補間色差画像１５３に設定された注目画素の近傍に加算候補領域を設定し、設定した加算候補領域の位置と近傍の画素情報を含む「補間色差画像加算候補領域情報１６６」を生成して色差信号補正部２２１に出力する。

なお、加算候補領域抽出部２１２，２１４，２１６の設定する加算候補領域は、例えば図４を参照して説明した加算候補領域１０２である。すなわち図４に示す注目画素１０１に隣接する垂直画素ラインからなる領域である。

なお、加算候補領域の設定は、図９に示すように、入力画像１５０の設定に応じて変更することが好ましい。
例えば、図８に示す入力画像１５０が図１（２）を参照して説明した４：２：２サブサンプル画像である場合は、加算候補領域を、図４を参照して説明したように、注目画素１０１に隣接する垂直画素ラインからなる領域とすることが好ましい。

また、例えば、図８に示す入力画像１５０が図１（３）を参照して説明した４：２：０サブサンプル画像である場合は、加算候補領域を、図４を参照して説明したように、注目画素１０１に隣接する垂直画素ラインに、さらに、注目画素１０１に隣接する水平画素ラインを加えた領域とすることが好ましい。

先に図４を参照して説明したように、折り返しをキャンセルするためには、注目画素に対して折り返しが逆相になる画素を加算候補画素として設定して、注目画素の画素値とのブレンドを行なうことが効果的となる。すなわち、折り返しが逆相になる画素以外の画素を加算候補からなるべく排除することで、不必要な平滑化を避けて必要最小限の平滑化で折り返しを低減することができる。

例えば４：２：２サブサンプル画像では、色差信号は水平方向に１画素おきのサンプリングとなるので、注目画素に対して水平方向に隣接する垂直ライン上を探査することで、折り返しが逆相になる画素位置がみつかる。

一方、４：２：０サブサンプル画像は、色差信号は水平方向に１画素おきであり、また垂直方向にも１画素おきのサンプリングとなる。従って、処理画像が４：２：０サブサンプル画像の場合は、注目画素に対して水平方向に隣接する垂直ラインと、注目画素に対して垂直方向に隣接する水平ラインの双方を加算候補領域として設定して探査して加算候補画像を選択して利用することで、折り返しを逆相になる画素を加算画素として利用することができる。

このように、加算候補領域の設定は、図９に示すように、入力画像１５０の設定に応じて変更することが好ましい。

図８に示す色差信号補正部２２１は、以下の各画素値情報を入力する。
（１）輝度画像注目画素近傍画素情報１６１
（２）輝度画像加算候補領域情報１６２
（３）平滑化色差画像注目画素近傍画素情報１６３
（４）平滑化色差画像加算候補領域情報１６４
（５）補間色差画像注目画素近傍画素情報１６５
（６）補間色差画像加算候補領域情報１６６

色差信号補正部２２１は、先に図３〜図６を参照して説明した処理、例えば、以下の処理を実行して、補正対象となる注目画素の補正画素値を算出する。
例えば、まず、補正対象となる注目画素を含む注目画素近傍領域と、注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する。
さらに、算出した相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって注目画素の補正画素値を算出する。
色差信号補正部２２１は、例えば、上記処理を実行して、補正対象となる注目画素の補正画素値を算出する。

図８に示す色差信号補正部２２１の構成と処理の詳細について図１０以下の各図を参照して説明する。
図１０は、図８に示す色差信号補正部２２１の詳細構成を説明する図である。
なお、図１０は、先に図５を参照して説明した（基本処理）＋（追加処理１）＋（追加処理２）の処理を実行可能な色差信号補正部２２１の構成例を示している。なお、（追加処理３）を実行可能とした構成については、図１７以下を参照して後段で説明する。

図１０に示す加算候補画素抽出部２３１〜２３３は、それぞれ輝度画像、平滑化色差画像、補間色差画像から加算候補画素を抽出する。図３〜図６を参照して説明した加算候補画素１０３の抽出処理に相当する。

加算候補画素抽出部２３１は、輝度画像加算候補領域情報１６２を入力し、輝度画像加算候補領域情報１６２によって定義される加算候補領域内の画素から１つの加算候補画素を、順次選択する。
例えば注目画素に近い位置から順に、予め設定した数の画素を、加算候補領域から順次選択する。

さらに選択した加算候補画素とその近傍画素の画素値情報を含む画素情報、すなわち図１０に示す「輝度画像加算候補画素近傍画素情報２４１」を生成して相似度算出部２３４に出力する。
なお、加算候補画素の画素値のみならず、その近傍画素の画素値情報を含めるのは、相似度の算出において、所定の画素領域単位の画素値を適用する処理を行なうためである。

加算候補画素抽出部２３２は、平滑化色差画像加算候補領域情報１６４を入力し、平滑化色差画像加算候補領域情報１６４によって定義される加算候補領域内の画素から１つの加算候補画素を、順次選択する。さらに選択した加算候補画素とその近傍画素の画素値情報を含む画素情報、すなわち図１０に示す「平滑化色差画像加算候補画素近傍画素情報２４２」を生成して相似度算出部２３５に出力する。

加算候補画素抽出部２３３は、補間色差画像加算候補領域情報１６６を入力し、補間色差画像加算候補領域情報１６６によって定義される加算候補領域内の画素から１つの加算候補画素を、順次選択する。さらに選択した加算候補画素とその近傍画素の画素値情報を含む画素情報、すなわち図１０に示す「補間色差画像加算候補画素近傍画素情報２４３」を生成して推定値算出部２３７に出力する。

次に相似度算出部２３４，２３５の実行する処理の詳細について説明する。
相似度算出部２３４は、図３〜図６を参照して説明したステップＳ２の相似度算出処理を実行する。すなわち、輝度画像に設定した注目画素と加算候補画素との相似度算出を実行する。

また、相似度算出部２３５は、図５〜図６を参照して説明したステップＳ２−２の相似度算出処理を実行する。すなわち、平滑化色差画像に設定した注目画素と加算候補画素との相似度算出、具体的には、平滑化色差画像に設定した注目画素近傍領域の色差画素値と、加算候補画素近傍領域の色差画素値との相似度を算出する。

相似度算出部２３４，２３５は、処理対称とする画像が異なるのみであり、実行する処理は同様の相似度算出処理である。
代表例として、輝度画像を適用した相似度算出処理を実行する相似度算出部２３４の実行する処理の詳細について図１１を参照して説明する。

相似度算出部２３４は、図１１に示すように、以下の各情報を入力する。
（１）図８に示す注目画素抽出部２１１の生成した「輝度画像注目画素近傍画素情報１６１」、
（２）図１０に示す色差信号補正部２２１の加算候補画素抽出部２３１の生成した「輝度画像加算候補画素近傍画素情報２４１」

相似度算出部２３４は、これらの各情報を入力し、注目画素と加算候補画素との相似度、具体的には、注目画素近傍領域の輝度値と、加算候補画素近傍領域の輝度値との相似度を算出する。
例えば相似度算出のために入力する画素情報を、以下の画素値情報とする。
（ａ）注目画素を中心とするＭ×Ｎ画素領域の画素値、
（ｂ）加算候補画素を中心とするＭ×Ｎ画素領域の画素値、

相似度算出部２３４は、これらの各情報を入力し、注目画素と加算候補画素との相似度ｆ（Ｄ）を例えば以下の（式１）に従って算出する。

・・・（式１）

ただし、上記（式１）において、
Ｃ：加算候補画素近傍領域の画素値、
Ｔ：注目画素近傍領域の画素値、
ｍ，ｎ：Ｍ×Ｎ画素領域中の画素位置を示す（ｘ，ｙ）座標情報、
σ：所定の定数、
である。

このように、図１０に示す色差信号補正部２２１の相似度算出部２３４は、輝度画像内に設定した注目画素と加算候補画素との相似度ｆ（Ｄ）を例えば上記の（式１）に従って算出し、図１０に示すように、算出した輝度画像適用相似度２４４を、重み値算出部２３６に出力する。

同様に、図１０に示す色差信号補正部２２１の相似度算出部２３５は、平滑化色差画像内に設定した注目画素と加算候補画素との相似度ｆ（Ｄ）を例えば上記の（式１）に従って算出し、図１０に示すように、算出した平滑化色差画像適用相似度２４５を、重み値算出部２３６に出力する。

次に重み値算出部２３６の処理の詳細について図１２を参照して説明する。
重み値算出部２３６は、
（ａ）図１０に示す色差信号補正部２２１の相似度算出部２３４の生成した輝度画像適用相似度２４４、
（ｂ）図１０に示す色差信号補正部２２１の相似度算出部２３５の生成した平滑化色差画像適用相似度２４５、
これらの２つの相似度算出値を入力する。

重み値算出部２３６は、これら２つの相似度算出値を入力して、例えば以下に示す（式２）に従って加算候補画素対応重み値（ｗ）２４６を算出する。

・・・（式２）

上記（式２）は、輝度画像適用相似度ｆ（Ｄ）と、平滑化色差画像適用相似度ｆ（Ｄ）との乗算値を重み値ｗとして算出する式である。
重み値算出部２３６は、例えば上記（式２）に従って算出した加算候補画素対応重み値（ｗ）２４６を、図１０に示すように重み付き期待値算出部２３８に出力する。

次に、図１０に示す色差信号補正部２２１の推定値算出部２３７の実行する処理について図１３を参照して説明する。

推定値算出部２３７は、
（ａ）図８に示す注目画素抽出部２１５の生成した補間色差画像注目画素近傍画素情報１６５と、
（ｂ）図１０に示す色差信号補正部２２１の加算候補画素抽出部２３３の生成した補間色差画像加算候補画素近傍画素情報２４３、
これらの２つの近傍画素情報を入力する。
なお、近傍画素情報は、例えば以下の画素値情報を含むものである。
（ａ）注目画素を中心とするＭ×Ｎ画素領域の画素値、
（ｂ）加算候補画素を中心とするＭ×Ｎ画素領域の画素値、

推定値算出部２３７は、これら２つの近傍画素情報を入力して、注目画素近傍領域と加算候補画素近傍領域の画素値のブレンド処理による推定画素値である加算候補画素対応推定値を算出する。例えば以下に示す（式３）に従って加算候補画素対応推定値（Ｅ）２４７を算出する。

・・・（式３）

ただし、上記（式３）において、
Ｃ：加算候補画素近傍領域の画素値、
Ｔ：注目画素近傍領域の画素値、
ｍ，ｎ：Ｍ×Ｎ画素領域中の画素位置を示す（ｘ，ｙ）座標情報、
である。

推定値算出部２３７は、例えば上記（式３）に従って算出した加算候補画素対応推定値（Ｅ）２４７を、図１０に示すように重み付き期待値算出部２３８に出力する。

次に、図１０に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理について図１４を参照して説明する。

重み付き期待値算出部２３８は、
（ａ）図１０に示す色差信号補正部２２１の重み値算出部２３６の生成した加算候補画素対応重み値２４６と、
（ｂ）図１０に示す色差信号補正部２２１の推定値算出部２３７の生成した加算候補画素対応推定値２４７、
これらの２つの情報を入力する。

重み付き期待値算出部２３８は、これら２つの情報を入力して、例えば以下に示す（式４）に従って出力色差画像１８０に設定する注目画素位置の補正画素値、すなわち、注目画素位置出力画素値（Ｃｂ／Ｃｒ）を算出する。

・・・（式４）

ただし、上記（式４）において、
ｉ：各加算候補画素のインデックス（＝加算候補画素識別子）
Ｅｉ：加算候補画素ｉに対応する推定値（＝加算候補画素対応推定値２４７）
ｗｉ：加算候補画素ｉに対応する重み値（＝加算候補画素対応重み値２４６）
である。

重み付き期待値算出部２３８は、例えば上記（式４）に従って、注目画素位置の補正画素値を算出し、出力色差画像１８０の構成画素値として設定する。

［４．本開示の画像処理装置の実行する処理シーケンスについて］
次に、本開示の画像処理装置の実行する処理シーケンスの一例について、図１５に示すフローチャートを参照して説明する。
図１５に示すフローに従った処理は、例えば画像処理装置内のメモリに格納されたプログラムに従って、画像処理装置のプログラム実行機能を持つＣＰＵ等を備えたデータ処理部、例えばＤＳＰ（デジタル信号処理部）において実行される処理である。
各ステップの処理について説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、入力画像、すなわち色差情報の欠落画素を有するＹＣｂＣｒ等のサブサンプル画像から、輝度信号のみからなる輝度画像と色差信号のみからなる色差画像を読み込む。

（ステップＳ１０２）
次に、ステップＳ１０２において、色差画像の補間処理、平滑化処理を実行して補間色差画像と、平滑化色差画像を生成する。
この処理は、図８に示す色差補間処理部２０１と、色差平滑化処理部２０２の実行する処理に対応する。

次のステップＳ１０３〜Ｓ１０８の処理は、補間色差画像等から選択した注目画素単位で、繰り返し実行する処理である。補間色差画像の全画素に対する処理が終了すると、ステップＳ１０９に進む。

（ステップＳ１０３）
ステップＳ１０３では、輝度画像、補間色差画像各々から１つの注目画素領域を抽出する。なお、注目画素は、各画像における同一の画素位置に設定される。
この処理は、図８に示す注目画素抽出部２１１，２１５の実行する処理に対応する。

（ステップＳ１０４）
次に、ステップＳ１０４において、輝度画像、補間色差画像各々の注目画素位置の左右の隣接画素ライン（垂直画素ライン）を加算候補領域として選択する。さらに、加算候補領域の近傍の画素領域を抽出する。
なお、加算候補領域も、各画像における同一の画素領域として設定される。
この処理は、図８に示す加算候補領域抽出部２１２，２１６の実行する処理に対応する。

（ステップＳ１０５）
次に、ステップＳ１０５において、平滑化色差画像から１つの注目画素領域を抽出する。
この処理は、図８に示す注目画素抽出部２１３の実行する処理に対応する。

（ステップＳ１０６）
次に、ステップＳ１０６において、平滑化色差画像の注目画素位置の左右の隣接画素ライン（垂直画素ライン）を加算候補領域として選択する。さらに、加算候補領域の近傍の画素領域を抽出する。
この処理は、図８に示す加算候補領域抽出部２１４の実行する処理に対応する。

（ステップＳ１０７）
次に、ステップＳ１０７において、注目画素の画素値補正を実行する。この処理は、図８に示す色差信号補正部２２１の実行する処理に対応する。
この処理の詳細については、図１６に示すフローを参照して後段で説明する。

（ステップＳ１０８）
次に、ステップＳ１０８において、ステップＳ１０７で算出した注目画素の補正画素値を出力色差画像、すなわち、図８に示す出力色差画像１８０の注目画素位置に設定する。

これらステップＳ１０３〜Ｓ１０８の処理を補間色差画像の全画素位置について、順次、実行する。
ステップＳ１０３〜Ｓ１０８の処理を補間色差画像の全画素位置について、出漁するとステップＳ１０９に進む。

（ステップＳ１０９）
最後に、ステップＳ１０９において、全画素位置にステップＳ１０７で算出した補正画素値を設定した出力色差画像、すなわち図８に示す出力色差画像１８０を出力する。

次に、図１５に示すフローチャートにおけるステップＳ１０７の画素値補正処理の詳細シーケンスについて、図１６に示すフローチャートを参照して説明する。
図１６に示すフローは、図８に示す色差信号補正部１２１の処理である。すなわち、図１０に詳細を示す色差信号信号補正部２２１の実行する処理である。
図１６に示すフローチャートの各ステップの処理について、順次、説明する。

（ステップＳ２０１）
まず、ステップＳ２０１では、色差積和値、および重み総和値を０に初期化する。
色差積和値は、図１０に示す色差信号補正部２２１の推定値算出部２３７の算出する加算候補画素対応推定値（Ｅｉ）と、重み値算出部２３６の算出する加算候補画素対応重み値（ｗｉ）との積和値、すなわち、
ΣＥｉ×ｗｉ
である。
なお、ｉは、１つの注目画素に対して、加算候補領域から順次選択される加算候補画素の識別子（インデックス）である。

すなわち、先に図１３および（式３）を参照して説明した加算候補画素対応推定値（Ｅｉ）と、先に図１２および（式２）を参照して説明した重み値算出部２３６の算出する加算候補画素対応重み値（ｗｉ）との積和値である。
また、重み総和値は、重み値算出部２３６の算出する加算候補画素対応重み値（ｗｉ）の総和、すなわち、
Σｗｉ
である。

色差積和値：ΣＥｉ×ｗｉを、重み総和値：Σｗｉで除算することにより、先に図１４および（式４）において説明したとおり、注目画素の補正画素値が算出される。

図１６に示すフローのステップＳ２０２〜Ｓ２０７の処理は、１つの注目画素に対して、加算候補領域から順次選択される加算候補画素単位で、順次、実行される処理である。
すべての加算候補画素に対する処理が終了すると、ステップＳ２０８に進む。

（ステップＳ２０２）
ステップＳ２０２では、輝度画像における注目画素近傍領域と、加算候補画素近傍領域の輝度値を用いた相似度判定を実行する。
この処理は、図１０に示す色差信号補正部２２１の相似度算出部２３４の実行する処理に相当する。
この処理によって、図１０に示す輝度画像適用相似度２４４が算出される。この相似度は、例えば先に図１１を参照して説明した処理、すなわち前述の（式１）に従って算出される。

（ステップＳ２０３）
次に、ステップＳ２０３では、平滑化色差画像における注目画素近傍領域と、加算候補画素近傍領域の平滑化色差画素値を用いた相似度判定を実行する。
この処理は、図１０に示す色差信号補正部２２１の相似度算出部２３５の実行する処理に相当する。
この処理によって、図１０に示す平滑化色差画像適用相似度２４５が算出される。この相似度は、例えば先に図１１を参照して説明した処理、すなわち前述の（式１）に従って算出される。

（ステップＳ２０４）
次に、ステップＳ２０４では、図１０に示す輝度画像適用相似度２４４と、平滑化色差画像適用相似度２４５とを用いて、加算候補画素（ｉ）対応の重み値（ｗｉ）を算出する。
この処理は、図１０に示す色差信号補正部２２１の重み値算出部２３６の実行する処理であり、図１２を参照して説明した前述の（式２）を適用して重み値を算出する。。
この処理によって、図１０に示す加算候補画素対応重み値２４６が算出される。

（ステップＳ２０５）
次のステップＳ２０５は、図１０に示す色差信号補正部２２１の推定値算出部２３７の実行する処理である。
推定値算出部２３７は、図１０、図１３に示すように、補間色差画像注目画素近傍画素情報１６５と、補間色差画像加算候補画素近傍画素情報２４３に基づいて、加算候補画素対応推定値２４７を算出する。
加算候補画素対応推定値２４７は、先に図１３を参照して説明したように、前述の（式３）に従って算出される。

（ステップＳ２０６）
次のステップＳ２０６は、図１０に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理である。
重み付き期待値算出部２３８は、加算候補画素対応推定値（Ｅ）２４７と、加算候補画素対応重み値（ｗ）２４６とを乗算し、乗算値（Ｅ×ｗ）を、既に処理済みの加算候補画素に基づいて生成されている色差積和値：ΣＥｉ×ｗｉに加算する処理を実行する。

（ステップＳ２０７）
次のステップＳ２０７も、図１０に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理である。
重み付き期待値算出部２３８は、加算候補画素対応重み値（ｗ）２４６を、既に処理済みの加算候補画素に基づいて生成されている重み総和値：Σｗｉに加算する処理を実行する。

これらのステップＳ２０２〜Ｓ２０７の処理を、１つの注目画素に対して、加算候補領域から順次選択される加算候補画素単位で、順次、実行する。
すべての加算候補画素に対する処理が終了すると、ステップＳ２０８に進む。

（ステップＳ２０８）
ステップＳ２０８の処理も、図１０に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理である。
この処理は、図１４を参照して説明した処理に相当する。
重み付き期待値算出部２３８は、１つの注目画素に対して、加算候補領域から順次選択した加算候補画素に対する処理として実行したステップＳ２０２〜Ｓ２０７の処理によって生成した色差積和値：ΣＥｉ×ｗｉと、重み総和値：Σｗｉを用い、先に説明した（式４）に従って、注目画素対応の補正画素値、すなわち補正された色差画素値を算出する。

すなわち、先に説明したように、以下に示す（式４）に従って出力色差画像１８０に設定する注目画素位置の補正画素値、すなわち、注目画素位置出力画素値（Ｃｂ／Ｃｒ）を算出する。

・・・（式４）

ただし、上記（式４）において、
ｉ：各加算候補画素のインデックス（＝加算候補画素識別子）
Ｅｉ：加算候補画素ｉに対応する推定値（＝加算候補画素対応推定値２４７）
ｗｉ：加算候補画素ｉに対応する重み値（＝加算候補画素対応重み値２４６）
である。

重み付き期待値算出部２３８は、例えば上記（式４）に従って、注目画素位置の補正画素値を算出し、出力色差画像１８０の構成画素値として設定する。

［５．（追加処理３）を実行する画像処理装置の構成と処理について］
図８〜図１６を参照して説明した画像処理装置は、先に図３〜図６を参照して説明した（基本処理）、（追加処理１）、（追加処理２）、（追加処理３）中の（追加処理３）を除く、（基本処理）と、（追加処理１）と、（追加処理２）を実行可能な画像処理装置の構成と処理例として説明した。

以下、図１７以下を参照して、先に図６を参照して説明した（追加処理３）を実行可能な画像処理装置の構成と処理例について説明する。
先に説明したように（追加処理３）は、以下の処理を実行する。
（追加処理３）では、図６に示すステップＳ２−３において、（２ａ）補間色差画像（Ｃｂ／Ｃｒ）を用いた相似度算出を実行する。
すなわち、まず、図６に示す（２ａ）補間色差画像（Ｃｂ／Ｃｒ）の注目画素１０１の画素位置を中心として加算候補画素１０３の画素位置に対して対称位置にある対称位置画素１０６を選択する。
さらに、加算候補画素１０３と、対称位置画素１０６との相似度算出を実行し、この評価結果である「対称位置画素適用相似度」を算出する。
この相似度も考慮して加算候補画素対応の重み値を算出する。

画像処理装置の全体構成は、先に説明した図８に示す構成と同様の構成となる。ただし、図８に示す画像処理装置における色差信号補正部２２１の構成が、先の実施例で説明した図１０に示す構成とは異なる構成となる。
図１７は、この（追加処理３）を含めた処理、すなわち、先に図３〜図６を参照して説明した（基本処理）、（追加処理１）、（追加処理２）、（追加処理３）のすべてを併せて実行することを可能とした色差信号補正部２２１の構成例である。

先に説明した図８に示す色差信号補正部２２１との差異は、図１７に示す色差信号補正部２２１に示す以下の構成である。
対称位置画素抽出部２５１、
相似度算出部２５２、
その他の構成は、先に図８を参照して説明した構成と同様である。
ただし、重み値算出部２３６の実行する処理は、先に説明した処理、すなわち、図１２を参照して説明した処理、すなわち先に説明した（式２）に従った重み値算出処理とは異なる処理となる。

対称位置画素抽出部２５１は、先に図６を参照して説明した対称位置画素１０６を選択し、この対称位置画素１０６およびその近傍の画素値情報を含む補間色差画像対称位置画素近傍画素情報２６１を生成して相似度算出部２５２に出力する。

相似度算出部２５２は、図６に示すステップＳ２−３の相似度算出処理を実行する。
すなわち、図６を参照して説明したように、
（１）補間色差画像から選択された加算候補画素１０３と、
（２）注目画素１０１の画素位置を中心として加算候補画素１０３の画素位置に対して対称位置にある対称位置画素１０６、
これら２つの画素の近傍画素情報を利用して２つの画素の相似度を算出する。
相似度算出には、たとえば先に説明した（式１）の算出式を適用する。

算出した相似度は、図１７に示すように対称位置画素適用相似度２６２として、重み値算出部２３６に入力する。

重み値算出部２３６の処理について、図１８を参照して説明する。
本実施例では、重み値算出部２３６は、以下に示す３つの相似度算出値を入力する。
（ａ）図１７に示す色差信号補正部２２１の相似度算出部２３４の生成した輝度画像適用相似度２４４、
（ｂ）図１７に示す色差信号補正部２２１の相似度算出部２３５の生成した平滑化色差画像適用相似度２４５、
（ｃ）図１７に示す色差信号補正部２２１の相似度算出部２５２の生成した対称位置画素適用相似度２６２、
これらの３つの相似度算出値を入力する。

図１７、図１８に示すように、重み値算出部２３６は、これら３つの相似度算出値を入力して、例えば以下に示す（式５）に従って加算候補画素対応重み値（ｗ）２４６を算出する。

・・・（式５）

上記（式５）は、輝度画像適用相似度と、平滑化色差画像適用相似度と、対称位置画素適用相似度との乗算値を重み値ｗとして算出する式である。
重み値算出部２３６は、例えば上記（式５）に従って算出した加算候補画素対応重み値（ｗ）２４６を、図１７に示すように重み付き期待値算出部２３８に出力する。

重み付き期待値算出部２３８以降の処理は、先に図１０、図１４を参照して説明した処理と同様の処理である。
すなわち、重み付き期待値算出部２３８は、
（ａ）図１７に示す色差信号補正部２２１の重み値算出部２３６の生成した加算候補画素対応重み値２４６と、
（ｂ）図１７に示す色差信号補正部２２１の推定値算出部２３７の生成した加算候補画素対応推定値２４７、
これらの２つの情報を入力する。

重み付き期待値算出部２３８は、これら２つの情報を入力して、先に図１４を参照して説明した前述の（式４）に従って出力色差画像１８０に設定する注目画素位置の補正画素値、すなわち、注目画素位置出力画素値（Ｃｂ／Ｃｒ）を算出する。
重み付き期待値算出部２３８は、例えば前述の（式４）に従って、注目画素位置の補正画素値を算出し、出力色差画像１８０の構成画素値として設定する。

本実施例の画像処理の全体シーケンスは、先に説明した図１５のフローチャートに従った処理となる。
ただし、図１５に示すフローのステップＳ１０７における画素値補正、すなわち、色差信号補正部２２１において実行する処理が図１７の構成に従った処理となる。
従って、この処理は、先に説明した図１６のフローに従った処理と異なる処理となる。
図１５に示すフローのステップＳ１０７における画素値補正の本実施例における詳細シーケンスについて図１９に示すフローチャートを参照して説明する。

図１９に示すフローは、図８に示す色差信号補正部１２１の処理である。すなわち、図１７に詳細を示す色差信号信号補正部２２１の実行する処理である。
図１９に示すフローチャートの各ステップの処理について、順次、説明する。

（ステップＳ３０１）
まず、ステップＳ３０１では、色差積和値、および重み総和値を０に初期化する。
色差積和値は、図１７に示す色差信号補正部２２１の推定値算出部２３７の算出する加算候補画素対応推定値（Ｅｉ）と、重み値算出部２３６の算出する加算候補画素対応重み値（ｗｉ）との積和値、すなわち、
ΣＥｉ×ｗｉ
である。
なお、ｉは、１つの注目画素に対して、加算候補領域から順次選択される加算候補画素の識別子（インデックス）である。

すなわち、先に図１３および（式３）を参照して説明した加算候補画素対応推定値（Ｅｉ）と、先に図１８および（式５）を参照して説明した重み値算出部２３６の算出する加算候補画素対応重み値（ｗｉ）との積和値である。
また、重み総和値は、重み値算出部２３６の算出する加算候補画素対応重み値（ｗｉ）の総和、すなわち、
Σｗｉ
である。

色差積和値：ΣＥｉ×ｗｉを、重み総和値：Σｗｉで除算することにより、先に図１４および（式４）において説明したとおり、注目画素の補正画素値が算出される。

図１９に示すフローのステップＳ３０２〜Ｓ３０８の処理は、１つの注目画素に対して、加算候補領域から順次選択される加算候補画素単位で、順次、実行される処理である。
すべての加算候補画素に対する処理が終了すると、ステップＳ３０９に進む。

（ステップＳ３０２）
ステップＳ３０２では、輝度画像における注目画素近傍領域と、加算候補画素近傍領域の輝度値を用いた相似度判定を実行する。
この処理は、図１７に示す色差信号補正部２２１の相似度算出部２３４の実行する処理に相当する。
この処理によって、図１７に示す輝度画像適用相似度２４４が算出される。この相似度は、例えば先に図１１を参照して説明した処理、すなわち前述の（式１）に従って算出される。

（ステップＳ３０３）
次に、ステップＳ３０３では、平滑化色差画像における注目画素近傍領域と、加算候補画素近傍領域の平滑化色差画素値を用いた相似度判定を実行する。
この処理は、図１７に示す色差信号補正部２２１の相似度算出部２３５の実行する処理に相当する。
この処理によって、図１７に示す平滑化色差画像適用相似度２４５が算出される。この相似度は、例えば先に図１１を参照して説明した処理、すなわち前述の（式１）に従って算出される。

（ステップＳ３０４）
次に、ステップＳ３０４では、補間色差画像における加算候補画素近傍領域と、対称位置画素近傍領域の補間色差画素値を用いた相似度判定を実行する。
この処理は、図１７に示す色差信号補正部２２１の相似度算出部２５２の実行する処理に相当する。
この処理によって、図１７に示す対称位置画素適用相似度２６２が算出される。この相似度は、例えば先に図１１を参照して説明した処理、すなわち前述の（式１）に従って算出される。

（ステップＳ３０５）
次に、ステップＳ３０５では、図１７に示す輝度画像適用相似度２４４と、平滑化色差画像適用相似度２４５と、対称位置画素適用相似度２６２を用いて、加算候補画素（ｉ）対応の重み値（ｗｉ）を算出する。
この処理は、図１７に示す色差信号補正部２２１の重み値算出部２３６の実行する処理であり、図１８を参照して説明した前述の（式５）を適用して重み値を算出する。。
この処理によって、図１７に示す加算候補画素対応重み値２４６が算出される。

（ステップＳ３０６）
次のステップＳ３０６は、図１７に示す色差信号補正部２２１の推定値算出部２３７の実行する処理である。
推定値算出部２３７は、先に図１３を参照して説明したように、補間色差画像注目画素近傍画素情報１６５と、補間色差画像加算候補画素近傍画素情報２４３に基づいて、加算候補画素対応推定値２４７を算出する。
加算候補画素対応推定値２４７は、先に図１３を参照して説明したように、前述の（式３）に従って算出される。

（ステップＳ３０７）
次のステップＳ３０７は、図１７に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理である。
重み付き期待値算出部２３８は、加算候補画素対応推定値（Ｅ）２４７と、加算候補画素対応重み値（ｗ）２４６とを乗算し、乗算値（Ｅ×ｗ）を、既に処理済みの加算候補画素に基づいて生成されている色差積和値：ΣＥｉ×ｗｉに加算する処理を実行する。

（ステップＳ３０８）
次のステップＳ３０８も、図１７に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理である。
重み付き期待値算出部２３８は、加算候補画素対応重み値（ｗ）２４６を、既に処理済みの加算候補画素に基づいて生成されている重み総和値：Σｗｉに加算する処理を実行する。

これらのステップＳ３０２〜Ｓ３０８の処理を、１つの注目画素に対して、加算候補領域から順次選択される加算候補画素単位で、順次、実行する。
すべての加算候補画素に対する処理が終了すると、ステップＳ３０９に進む。

（ステップＳ３０９）
ステップＳ３０９の処理も、図１７に示す色差信号補正部２２１の重み付き期待値算出部２３８の実行する処理である。
この処理は、先に図１４を参照して説明した処理に相当する。
重み付き期待値算出部２３８は、１つの注目画素に対して、加算候補領域から順次選択した加算候補画素に対する処理として実行したステップＳ３０２〜Ｓ３０８の処理によって生成した色差積和値：ΣＥｉ×ｗｉと、重み総和値：Σｗｉを用い、先に説明した（式４）に従って、注目画素対応の補正画素値、すなわち補正された色差画素値を算出する。

すなわち、先に説明したように、以下に示す（式４）に従って出力色差画像１８０に設定する注目画素位置の補正画素値、すなわち、注目画素位置出力画素値（Ｃｂ／Ｃｒ）を算出する。

・・・（式４）

ただし、上記（式４）において、
ｉ：各加算候補画素のインデックス（＝加算候補画素識別子）
Ｅｉ：加算候補画素ｉに対応する推定値（＝加算候補画素対応推定値２４７）
ｗｉ：加算候補画素ｉに対応する重み値（＝加算候補画素対応重み値２４６）
である。

重み付き期待値算出部２３８は、例えば上記（式４）に従って、注目画素位置の補正画素値を算出し、出力色差画像１８０の構成画素値として設定する。

［６．入力画像の構成に応じた選択的な加算候補領域の設定処理を行なう実施例について］
先に図１を参照して説明したように、色差情報の欠落したサブサンプル画像の構成としては、図１（２）に示す４：２：２サブサンプル画像や、図１（３）に示す４：２：０サブサンプル画像などがある。

これらのサブサンプル画像は、色差情報の設定される画素位置と設定されない画素位置との対応関係が異なる画像である。
従って、これらのサブサンプル画像に基づいて生成する補間色差画像に設定される色差情報の分布構成も異なることになる。

具体的には、図１（２）に示す４：２：２サブサンプル画像の場合、色差情報は水平方向に１画素おきに設定されている。このようなサブサンプル画像では、多くの場合、水平方向に隣接する画素値（ＣｂまたはＣｒ値）を色差情報の設定されていない画素にコピーするといった補間処理が実行される。

一方、図１（３）に示す４：２：０サブサンプル画像の場合、色差情報は水平方向に１画素おき、垂直方向にも１画素おきに設定されている。このようなサブサンプル画像では、水平方向に隣接する画素値（ＣｂまたはＣｒ値）を色差情報の設定されていない画素にコピーし、さらに、垂直方向においても、同様に上または下から画素値をコピーするといった補間処理が実行される。

先に（追加処理１）として説明した図４を参照して説明した処理では、加算候補領域１０２を注目画素１０１に隣接する垂直画素ラインとして設定した。
この加算候補領域の設定は、図１（２）に示す４：２：２サブサンプル画像に適した設定態様である。

上述した実施例では、加算候補領域から選択した加算候補画素の画素値を、注目画素の画素値にブレンドして、注目画素の補正画素値を算出している。
先に図４を参照して説明したように、折り返しをキャンセルするためには、注目画素に対して折り返しが逆相になる画素を加算候補画素として設定して、注目画素の画素値とのブレンドを行なうことが効果的となる。すなわち、折り返しが逆相になる画素以外の画素を加算候補からなるべく排除することで、不必要な平滑化を避けて必要最小限の平滑化で折り返しを低減することができる。

例えば４：２：２サブサンプル画像では、色差信号は水平方向に１画素おきのサンプリングとなるので、注目画素に対して水平方向に隣接する垂直ライン上を探査することで、折り返しが逆相になる画素位置がみつかる。

一方、４：２：０サブサンプル画像は、色差信号は水平方向に１画素おきであり、また垂直方向にも１画素おきのサンプリングとなる。従って、処理画像が４：２：０サブサンプル画像の場合は、注目画素に対して水平方向に隣接する垂直ラインと、注目画素に対して垂直方向に隣接する水平ラインの双方を加算候補領域として設定して探査して加算候補画像を選択して利用することで、折り返しを逆相になる画素を加算画素として利用することができる。
これは、先に図９を参照して説明したとおりである。

このように、処理対象とする画像のサブサンプリング態様に応じて、最適な加算候補領域の設定態様が異なる。
以下に説明する実施例は、処理対象とする画像の構成、すなわちサブサンプリング態様に応じて、最適な加算候補領域の設定を選択的に実行可能とした実施例である。

以下、処理対象とする入力画像のサブサンプリング態様に応じて、最適な加算候補領域の設定を選択的に実行可能とした画像処理装置の２つの構成例について、図２０、図２１を参照して説明する。
（１）図２０は、処理対象とする入力画像１５０のサブサンプリング態様情報を、入力部４１０を介してユーザ入力可能とした構成である。
（２）図２１は、処理対象とする入力画像１５０に基づいて生成した補間色差画像１５２を解析し、解析結果に応じて最適な加算候補領域の設定態様を決定する構成である。

なお、図２０、図２１に示す画像処理装置の構成は、先に説明した図８に示す画像処理装置の構成をベースとしている。、
図２０に示す画像処理装置は、図８に示す画像処理装置に入力部４１０を追加した点が異なる。
図２１に示す画像処理装置は、図８に示す画像処理装置に抽出方向判定部４２０を追加した点が異なる。
その他の構成は、図８に示す画像処理装置と同様の構成である。

図２０に示す画像処理装置は、入力部４１０を介して、ユーザ（オペレータ）が、加算候補領域設定情報４１１を入力する。
すなわち、例えば入力画像が４：２：２サブサンプル画像である場合は、加算候補領域を注目画素に隣接する垂直画素ラインとする加算候補領域設定情報４１１を入力する。
一方、入力画像が４：２：０サブサンプル画像である場合は、加算候補領域を注目画素に隣接する垂直画素ラインと水平ラインとする加算候補領域設定情報４１１を入力する。

ユーザ入力された加算候補領域設定情報４１１は、加算候補領域抽出部２１２，２１４，２１６に入力される。
加算候補領域抽出部２１２，２１４，２１６は、ユーザ入力された加算候補領域設定情報４１１に応じて加算候補領域の選択的に設定する。

すなわち、加算候補領域抽出部２１２，２１４，２１６が、加算候補領域を注目画素に隣接する垂直画素ラインのみとする加算候補領域設定情報４１１を入力した場合は、加算候補領域を注目画素に隣接する垂直画素ラインのみとする処理を行なう。
一方、加算候補領域を注目画素に隣接する垂直画素ラインと水平画素ラインとする加算候補領域設定情報４１１を入力した場合は、加算候補領域を注目画素に隣接する垂直画素ラインと水平画素ラインとする処理を行なう。

図２１に示す画像処理装置は、抽出方向判定部４２０が、処理対象とする入力画像１５０に基づいて生成した補間色差画像１５２を解析し、解析結果に応じて最適な加算候補領域の設定態様を決定する。

抽出方向判定部４２０は、補間色差画像１５２の解析によって、入力画像が４：２：２サブサンプル画像であるか、４：２：０サブサンプル画像であるかを判定する。この判定結果に応じて、加算候補領域を注目画素に隣接する垂直画素ラインとする加算候補領域設定情報４３１、または、加算候補領域を注目画素に隣接する垂直画素ラインと水平ラインとする加算候補領域設定情報４３１を生成して出力する。

抽出方向判定部４２０から出力された加算候補領域設定情報４３１は、加算候補領域抽出部２１２，２１４，２１６に入力される。
加算候補領域抽出部２１２，２１４，２１６は、入力した加算候補領域設定情報４３１に応じて加算候補領域の選択的に設定する。

すなわち、加算候補領域抽出部２１２，２１４，２１６が、加算候補領域を注目画素に隣接する垂直画素ラインのみとする加算候補領域設定情報４３１を入力した場合は、加算候補領域を注目画素に隣接する垂直画素ラインのみとする処理を行なう。
一方、加算候補領域を注目画素に隣接する垂直画素ラインと水平画素ラインとする加算候補領域設定情報４３１を入力した場合は、加算候補領域を注目画素に隣接する垂直画素ラインと水平画素ラインとする処理を行なう。

抽出方向判定部４２０の詳細構成例と処理例について図２２を参照して説明する。
抽出方向判定部４２０は、図２１に示す色差補間処理部２０１の生成した補間色差画像１５２を入力する。

図２２に示すように、補間色差画像１５２は、まず色差差分算出部４２１に入力される。
色差差分算出部４２１は、補間色差画像１５２を用い、ＣｂとＣｒとの差分画像（色差差分画像）を生成する。生成した色差差分画像は、水平ＨＰＦ（ハイパスフィルタ）４２２、および垂直ＨＰＦ（ハイパスフィルタ）４２５に入力する。

水平ＨＰＦ（ハイパスフィルタ）４２２は、色差差分画像から水平方向の高周波成分を抽出する。具体的には、例えばラプラシアンフィルタの適用によって、水平方向の高周波成分を抽出する。
垂直ＨＰＦ（ハイパスフィルタ）４２５は、色差差分画像から垂直方向の高周波成分を抽出する。具体的には、例えばラプラシアンフィルタの適用によって、垂直方向の高周波成分を抽出する。

積分値算出部４２３は、水平ＨＰＦ（ハイパスフィルタ）４２２の出力する色差差分画像の水平方向の高周波成分の積分処理を実行し、水平方向高周波成分積分値を算出する。
積分値算出部４２６は、垂直ＨＰＦ（ハイパスフィルタ）４２５の出力する色差差分画像の垂直方向の高周波成分の積分処理を実行し、垂直方向高周波成分積分値を算出する。

しきい値比較部４２４は、積分値算出部４２３の生成した水平方向高周波成分積分値と、予め設定したしきい値を比較し、積分値がしきい値以上である場合に、注目画素の左右に隣接する垂直画素ラインを加算候補領域として設定する設定情報を出力部４２８に出力する。

一方、しきい値比較部４２７は、積分値算出部４２６の生成した垂直方向高周波成分積分値と、予め設定したしきい値を比較し、積分値がしきい値以上である場合に、注目画素の上下に隣接する水平画素ラインを加算候補領域として設定する設定情報を出力部４２８に出力する。

出力部４２８は、しきい値比較部４２４と、しきい値比較部４２７から入力する情報に応じて、加算候補領域設定情報４３１を生成して出力する。

抽出方向判定部４２０は、このような処理によって、入力画像が、４：２：２サブサンプル画像である場合は、加算候補領域を注目画素に隣接する垂直ラインのみとする加算候補領域設定情報４３１を出力する。
また、入力画像が、４：２：２０ブサンプル画像である場合は、加算候補領域を注目画素に隣接する垂直ラインと水平ラインとする加算候補領域設定情報４３１を出力する。

次に、図２３に示すフローチャートを参照して、図２０または図２１に示す画像処理装置において実行する処理シーケンスについて説明する。
図２３に示すフローチャートは、先に図１５を参照して説明したフローチャートと同様、画像処理装置の実行する処理の全体シーケンスを説明するフローチャートである。

図２３に示すフローに従った処理は、例えば画像処理装置内のメモリに格納されたプログラムに従って、画像処理装置のプログラム実行機能を持つＣＰＵ等を備えたデータ処理部、例えばＤＳＰ（デジタル信号処理部）において実行される処理である。
各ステップの処理について説明する。

（ステップＳ５０１）
まず、ステップＳ５０１において、入力画像、すなわち色差情報の欠落画素を有するＹＣｂＣｒ等のサブサンプル画像から、輝度信号のみからなる輝度画像と色差信号のみからなる色差画像を読み込む。

（ステップＳ５０２）
次に、ステップＳ５０２において、色差画像の補間処理、平滑化処理を実行して補間色差画像と、平滑化色差画像を生成する。
この処理は、図８に示す色差補間処理部２０１と、色差平滑化処理部２０２の実行する処理に対応する。

（ステップＳ５０３）
次に、ステップＳ５０３において、加算候補領域の設定態様を決定する。
例えば図２０に示す構成の場合は、入力部４１０から入力されるユーザ入力情報に従って、加算候補領域の設定態様を決定する。
また、図２１に示す構成の場合は、ステップＳ５０２において生成した補間画像の解析、すなわち、図２２を参照して説明した構成を持つ抽出方向判定部４２０における画像解析によって、加算候補領域の設定態様を決定する。
図２１、図２２に示す加算候補領域抽出部２１２，２１４，２１６は、これらの決定情報に従って加算候補領域を設定する。

次のステップＳ５０４〜Ｓ５０９の処理は、補間色差画像等から選択した注目画素単位で、繰り返し実行する処理である。補間色差画像の全画素に対する処理が終了すると、ステップＳ５１０に進む。

（ステップＳ５０４）
ステップＳ５０４では、輝度画像、補間色差画像各々から１つの注目画素領域を抽出する。なお、注目画素は、各画像における同一の画素位置に設定される。
この処理は、図２０、図２１に示す注目画素抽出部２１１，２１５の実行する処理に対応する。

（ステップＳ５０５）
次に、ステップＳ５０５において、輝度画像、補間色差画像各々の注目画素位置の左右の隣接画素ライン（垂直画素ライン）を加算候補領域として選択する。さらに、加算候補領域の近傍の画素領域を抽出する。
なお、加算候補領域も、各画像における同一の画素領域として設定される。
この処理は、図２０、図２１に示す加算候補領域抽出部２１２，２１６の実行する処理に対応する。

（ステップＳ５０６）
次に、ステップＳ５０６において、平滑化色差画像から１つの注目画素領域を抽出する。
この処理は、図２０、図２１に示す注目画素抽出部２１３の実行する処理に対応する。

（ステップＳ５０７）
次に、ステップＳ５０７において、平滑化色差画像の注目画素位置の左右の隣接画素ライン（垂直画素ライン）を加算候補領域として選択する。さらに、加算候補領域の近傍の画素領域を抽出する。
この処理は、図２０、図２１に示す加算候補領域抽出部２１４の実行する処理に対応する。

（ステップＳ５０８）
次に、ステップＳ５０８において、注目画素の画素値補正を実行する。この処理は、図２０、図２１に示す色差信号補正部２２１の実行する処理に対応する。
なお、このステップＳ５０８では、図１６に示すフロー、あるいは図１９に示すフローを参照して説明した処理を実行することになる。

（ステップＳ５０９）
次に、ステップＳ５０９において、ステップＳ５０８で算出した注目画素の補正画素値を出力色差画像、すなわち、図２０、図２１に示す出力色差画像１８０の注目画素位置に設定する。

これらステップＳ５０４〜Ｓ５０９の処理を補間色差画像の全画素位置について、順次、実行する。
ステップＳ５０４〜Ｓ５０９の処理を補間色差画像の全画素位置について、出漁するとステップＳ５１０に進む。

（ステップＳ５１０）
最後に、ステップＳ５１０において、全画素位置にステップＳ５０８で算出した補正画素値を設定した出力色差画像、すなわち図２０、図２１に示す出力色差画像１８０を出力する。

［７，画像処理装置のハードウェア構成例について］
次に、図２４を参照して、本開示の画像処理装置のハードウェア構成例について説明する。

本開示の画像処理装置は、画像を入力して画像を出力する画像処理であり、ハードウェアに実装して実行することもできるし、ソフトウェアにより実行することもできる。
図２４は、本開示の一連の処理をソフトウェアプログラムとして実現し、そのプログラムを実行する画像処理装置としてのコンピュータのハードウェアの構成例を示すブロック図である。

図２４に示す画像処理装置において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１，ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９１０が接続されている。

入出力インタフェース９１０には、キーボード、マウス、マイクロホンなどよりなる入力部９１１、ディスプレイ、スピーカなどよりなる出力部９１２、ハードディスクや不揮発性のメモリなどよりなる記録部９１３、ネットワークインターフェースなどよりなる通信部９１４、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９２１を駆動するドライブ９１５が接続されている。

本開示の一連の処理シーケンスを記録したソフトウェアプログラムは、例えば、ＲＡＭ９０３、あるいはリムーバブルメディア９２１に格納されて実装され、ＲＡＭ９０３にロードしてＣＰＵ９０１が実行する。

プログラムおよび入力画像データは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等、あるいは光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９２１に記録可能である。
あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。

または、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記録部９１３にプログラムをインストールすることもできる。また、有線または無線の伝送媒体を介して、通信部９１４で受信し、記録部９１３にプログラムをインストールすることができる。その他、プログラムは、ＲＯＭ９０２や記録部９１３に、あらかじめインストールしておくことができる。

なお、図２４に示すハードウェア構成は一例であり、本開示の処理は、上述した実施例に従った処理シーケンスを記録したプログラムを格納するメモリと、プログラム実行機能を持つＣＰＵとうのデータ処理部を備えた様々な機器、例えば、ＰＣ、デジタルカメラなど、様々な機器において実行可能である。
なお、上述した実施例では、ＹＣｂＣｒ信号に対する処理として説明したが、先に説明したように、本願の処理は、ＹＵＶ，ＹＰｂＰｒ各信号に対しても適用できる。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
前記色差信号補正部は、
補正対象となる注目画素を含む注目画素近傍領域と、
前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出部と、
前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する画像処理装置。

（２）前記色差信号補正部は、前記相似度に従った加算候補画素対応重み値を算出する重み値算出部と、前記注目画素と前記加算候補画素の近傍領域の画素値のブレンド処理による推定画素値である加算候補画素対応推定値を算出する推定値算出部と、複数の加算候補画素に関する前記加算候補画素対応重み値と前記加算候補画素対応推定値を適用した演算処理によって、前記注目画素の補正画素値を算出する重み付き期待値算出部を有する構成である前記（１）に記載の画像処理装置。

（３）前記重み付き期待値算出部は、複数の加算候補画素に関する前記加算候補画素対応重み値と前記加算候補画素対応推定値との乗算値の加算値である積算値を、前記加算候補画素対応重み値の総和値で除算する演算処理によって前記注目画素の補正画素値を算出する前記（２）に記載の画像処理装置。

（４）前記相似度算出部は、前記注目画素近傍領域の輝度値と、前記加算候補画素近傍領域との輝度値との相似度を算出する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記相似度算出部は、前記補間色差画像に対する平滑化処理によって生成した平滑化色差画像を適用して、前記平滑化色差画像における前記注目画素近傍領域の画素値と、前記加算候補画素近傍領域との画素値との相似度を算出する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記相似度算出部は、前記補間色差画像における前記加算候補画素近傍領域の画素値と、前記注目画素位置に対して前記加算候補画素位置の対称位置にある対称位置画素の近傍領域である対称位置画素近傍領域の画素値との相似度を算出する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記入力画像は輝度値Ｙと色差画素値Ｃｂ，ＣｒからなるＹＣｂＣｒ画像であり、色差画素値が一部画素にのみ設定されたサブサンプル画像である前記（１）〜（６）いずれか１に記載の画像処理装置。

（８）前記画像処理装置は、さらに、前記加算候補領域を設定し、加算候補領域の画素値情報を取得する加算候補領域抽出部を有し、前記相似度算出部は、前記加算候補領域抽出部の抽出情報を適用して相似度算出を実行する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記加算候補領域抽出部は、前記加算候補領域抽出部に入力される加算候補領域設定情報に応じて、設定する加算候補領域を変更する前記（８）に記載の画像処理装置。

（１０）前記画像処理装置は、入力画像に応じた最適な加算候補領域設定情報を入力する入力部を有し、前記加算候補領域抽出部は、前記入力部を介して入力される加算候補領域設定情報に応じて、設定する加算候補領域を変更する前記（９）に記載の画像処理装置。
（１１）前記画像処理装置は、前記色差補間画像の解析処理によって最適な加算候補領域設定方向を判定する抽出方向判定部を有し、前記加算候補領域抽出部は、前記抽出方向判定部を介して入力される判定情報に応じて、設定する加算候補領域を変更する前記（９）に記載の画像処理装置。

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、色差画素値の間引きされた画像の補間処理によって生成した補間色差画像の画素値補正を行ない、折り返しや色にじみを低減した高品質な画像の生成が可能となる。
具体的には、補間色差画像の画素値補正を行なう色差信号補正部は、補正対象となる注目画素を含む注目画素近傍領域と、注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出し、相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって注目画素の補正画素値を算出する。相似度は輝度値や、平滑化色差画像の画素値、あるいは注目画素に対して加算候補画素と対称位置にある対称位置画素等を用いて算出する。
これらの処理により、色差画素値の間引きされた画像の補間処理によって生成した補間色差画像の画素値補正を行ない、折り返しや色にじみを低減した高品質な画像の生成が実現される。

１０１ 注目画素
１０２ 加算候補領域
１０３ 加算候補画素
１０５ 出力注目画素
１５０ 入力画像
１５１ 輝度画像
１５２ 色差画像
１５４ 平滑化色差画像
１８０ 出力画像
２０１ 色差補間処理部
２０２ 色差平滑化処理部
２１１，２１３，２１５ 注目画素抽出部
２１２，２１４，２１６ 加算候補領域抽出部
２２１ 色差信号補正部
２３１，２３２，２３３ 加算候補画素抽出部
２３４，２３５ 相似度算出部
２３６ 重み値算出部
２３７ 推定値算出部
２３８ 重み付き期待値算出部
２５１ 対称位置画素抽出部
２５２ 相似度算出部
４１０ 入力部
４２０ 抽出方向判定部
４２１ 色差差分算出部
４２２ 水平ＨＰＦ
４２３ 積分値算出部
４２４ しきい値比較部
４２５ 垂直ＨＰＦ
４２６ 積分値算出部
４２７ しきい値比較部
４２８ 出力部
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９１０ 入出力インタフェース
９１１ 入力部
９１２ 出力部
９１３ 記録部
９１４ 通信部
９１５ ドライブ
９１６ リムーバブルメディア

Claims (13)

1. 色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
   前記色差信号補正部は、
   補正対象となる注目画素を含む注目画素近傍領域と、
   前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出部と、
   前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する画像処理装置。
2. 前記色差信号補正部は、
   前記相似度に従った加算候補画素対応重み値を算出する重み値算出部と、
   前記注目画素と前記加算候補画素の近傍領域の画素値のブレンド処理による推定画素値である加算候補画素対応推定値を算出する推定値算出部と、
   複数の加算候補画素に関する前記加算候補画素対応重み値と前記加算候補画素対応推定値を適用した演算処理によって、前記注目画素の補正画素値を算出する重み付き期待値算出部を有する構成である請求項１に記載の画像処理装置。
3. 前記重み付き期待値算出部は、
   複数の加算候補画素に関する前記加算候補画素対応重み値と前記加算候補画素対応推定値との乗算値の加算値である積算値を、前記加算候補画素対応重み値の総和値で除算する演算処理によって前記注目画素の補正画素値を算出する請求項２に記載の画像処理装置。
4. 前記相似度算出部は、
   前記注目画素近傍領域の輝度値と、前記加算候補画素近傍領域との輝度値との相似度を算出する請求項１に記載の画像処理装置。
5. 前記相似度算出部は、
   前記補間色差画像に対する平滑化処理によって生成した平滑化色差画像を適用して、前記平滑化色差画像における前記注目画素近傍領域の画素値と、前記加算候補画素近傍領域との画素値との相似度を算出する請求項１に記載の画像処理装置。
6. 前記相似度算出部は、
   前記補間色差画像における前記加算候補画素近傍領域の画素値と、前記注目画素位置に対して前記加算候補画素位置の対称位置にある対称位置画素の近傍領域である対称位置画素近傍領域の画素値との相似度を算出する請求項１に記載の画像処理装置。
7. 前記入力画像は輝度値Ｙと色差画素値Ｃｂ，ＣｒからなるＹＣｂＣｒ画像であり、色差画素値が一部画素にのみ設定されたサブサンプル画像である請求項１に記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   前記加算候補領域を設定し、加算候補領域の画素値情報を取得する加算候補領域抽出部を有し、
   前記相似度算出部は、前記加算候補領域抽出部の抽出情報を適用して相似度算出を実行する請求項１に記載の画像処理装置。
9. 前記加算候補領域抽出部は、
   前記加算候補領域抽出部に入力される加算候補領域設定情報に応じて、設定する加算候補領域を変更する請求項８に記載の画像処理装置。
10. 前記画像処理装置は、
    入力画像に応じた最適な加算候補領域設定情報を入力する入力部を有し、
    前記加算候補領域抽出部は、
    前記入力部を介して入力される加算候補領域設定情報に応じて、設定する加算候補領域を変更する請求項９に記載の画像処理装置。
11. 前記画像処理装置は、
    前記色差補間画像の解析処理によって最適な加算候補領域設定方向を判定する抽出方向判定部を有し、
    前記加算候補領域抽出部は、
    前記抽出方向判定部を介して入力される判定情報に応じて、設定する加算候補領域を変更する請求項９に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
    前記色差信号補正部が、
    補正対象となる注目画素を含む注目画素近傍領域と、
    前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出処理と、
    前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する処理を実行する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、色差画素値が間引きされた入力画像に対する色差画素値の補間処理によって、全画素に色差画素値を設定した補間色差画像の画素値を補正する色差信号補正部を有し、
    前記プログラムは、前記色差信号補正部に、
    補正対象となる注目画素を含む注目画素近傍領域と、
    前記注目画素に隣接する垂直ライン画素、または水平画素ラインに設定した加算候補領域から選択した加算候補画素を含む加算候補画素近傍領域との相似度を算出する相似度算出処理と、
    前記相似度に応じて、各加算候補画素の画素値の寄与率を調整した画素値合成処理によって前記注目画素の補正画素値を算出する処理を実行させるプログラム。