JP2015032871A

JP2015032871A - 画像処理装置、カメラおよび画像処理プログラム

Info

Publication number: JP2015032871A
Application number: JP2013158958A
Authority: JP
Inventors: 暁彦宇津木; Akihiko Utsuki
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2015-02-16
Anticipated expiration: 2033-07-31
Also published as: JP6299104B2

Abstract

【課題】色差平滑化の参照範囲を広くしながら、色差平滑化による彩度の低下や色滲みを抑制する画像処理装置を提供する。
【解決手段】画像処理装置１００は、第一の色画素が有する第一の色差を、第一の範囲における平滑化を行うことによって生成する第一の色差生成部と、第一の色画素が有する第二の色差を、第一の範囲よりも小さい第二の範囲に位置する第二の色画素が有する第二の色成分に基づいて生成する第二の色差生成部と、第二の色差の値の分布範囲に第一の色差の値が含まれるときは第一の色差を、分布範囲に第一の色差の値が含まれないときは分布範囲の境界値を、第一の色画素が有する第三の色差として生成する色差平滑制御部１０４０と、第二の色画素が有する第二の色成分と、第一の色画素が有する第三の色差とに基づき、出力画像を生成する画像生成部１０５０とを有する。
【選択図】図１

Description

本発明は、画像処理装置、カメラおよび画像処理プログラムに関する。

Bayer配列などのカラーフィルターアレイを備えたイメージセンサーによって撮影されたRaw画像に基づいて色補間処理を行って画像を生成する場合、高周波成分を持つ構造において、色モアレなどの偽色が発生する場合がある。そのため、従来、色差平滑化によって偽色を除去する処理が行われている。

特開２００９−２００６３５号公報

色差平滑化を行うと、色がある被写体の彩度が低下したり、周囲に色滲みが発生したりする場合がある。色モアレの除去を行うためには広範囲を参照する色差平滑化が必要となるが、上記不具合が顕著になるため、色差平滑化の参照範囲を広くすることができないという問題がある。

（１）請求項１に記載の画像処理装置は、第一の色成分の分光感度を有する第一の色画素と第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素とが配列される画素列が並置される原画像の原画像データを取得する画像入力部と、第一の色画素が有する第一の色差を、第一の色画素を含む第一の範囲における平滑化を行うことによって生成する第一の色差生成部と、第一の色画素が有する第二の色差を、第一の色画素の近傍の、第一の範囲よりも小さい第二の範囲に位置する第二の色画素が有する第二の色成分に基づいて生成する第二の色差生成部と、第二の色差の値の分布範囲に第一の色差の値が含まれるときは第一の色差を、分布範囲に第一の色差の値が含まれないときは分布範囲の境界値を、第一の色画素が有する第三の色差として生成する色差平滑制御部と、第二の色画素が有する第二の色成分と、第一の色画素が有する第三の色差とに基づき、出力画像を生成する画像生成部とを備えることを特徴とする。
（２）請求項７に記載のカメラは、請求項１〜６のいずれか１項に記載の画像処理装置と、被写体光を受光し、被写体光に含まれる第一の色成分および第二の色成分のそれぞれの分光感度に応じて原画像の原画像データを生成する撮像素子とを備え、画像入力部は、撮像素子によって生成された原画像データを取得することを特徴とする。
（３）請求項８に記載の画像処理プログラムは、第一の色成分の分光感度を有する第一の色画素と第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素とが配列される画素列が並置される原画像の原画像データを取得する画像入力処理と、第一の色画素が有する第一の色差を、第一の色画素を含む第一の範囲における平滑化を行うことによって生成する第一の色差生成処理と、第一の色画素が有する第二の色差を、第一の色画素の近傍の、第一の範囲よりも小さい第二の範囲に位置する第二の色画素が有する第二の色成分に基づいて生成する第二の色差生成処理と、第二の色差の値の分布範囲に第一の色差の値が含まれるときは第一の色差を、分布範囲に第一の色差の値が含まれないときは分布範囲の境界値を、第一の色画素が有する第三の色差として生成する色差平滑制御処理と、第二の色画素が有する第二の色成分と、第三の色差とに基づき、出力画像を生成する画像生成処理とをコンピュータに実行させることを特徴とする。

本発明によれば、色差平滑化の参照範囲を広くしながら、色差平滑化による彩度の低下や色滲みを抑制することができる。

本発明の一実施の形態における画像処理装置および画像処理装置に入力されるＲＡＷ画像を出力するカメラの構成を示す図である。本発明の一実施の形態における画像処理を示すフローチャートである。輝度生成を説明するために用いられるＲＡＷ画像の画素構成例を示す図である。色差生成を説明するために用いられるＲＡＷ画像の画素構成例を示す図である。平滑化色差生成を説明するために用いられる平滑化フィルターの一例を示す図である。ＲＡＷ画像上の平滑化色差生成時に参照される広域画素参照範囲および局所色差生成時に参照される局所画素参照範囲を示す図である。色差上限maxCrおよび色差下限minCrの決定方法を説明するための図である。本発明の一実施の形態における画像処理の適用例を示す図である。本発明の一実施の形態における画像処理の適用例を示す図である。本発明の一実施の形態における画像処理の適用例を示す図である。本発明の一実施の形態における画像処理の適用例を示す図である。本発明の変形例として、画像処理装置を内蔵するカメラの構成を示す図である。本発明による画像処理装置が画像処理を実行するためのコンピュータプログラム製品の提供形態を示す図である。

図１は、本発明の一実施の形態における画像処理装置１００および画像処理装置１００に入力されるＲＡＷ画像を出力するカメラ２００の構成を示す図である。カメラ２００は、レンズ２１０とイメージセンサー２２０と原画像読み出し部２３０とを有する。レンズ２１０は、被写体５００から到来する被写体光５１０を透過させて、イメージセンサー２２０に被写体の光学像を結像させる。原画像読み出し部２３０による撮像制御に従って、イメージセンサー２２０は、被写体光５１０のＧ成分、Ｒ成分およびＢ成分の各色成分を、光電変換により、各色成分の分光感度に応じてＧ成分値、Ｒ成分値およびＢ成分値の各色成分値に変換し、その各色成分値を出力する。このようにして、イメージセンサー２２０からはＲＡＷ画像（原画像）のＲＡＷ画像データが生成および出力される。このＲＡＷ画像３００には、例えば図３に示すように、Ｇ成分の分光感度を有するＧ画素とＲ成分の分光感度を有するＲ画素とが横方向（ｘ方向）に配列されたＧＲ画素列が縦方向（ｙ方向）に並置され、かつＢ成分の分光感度を有するＢ画素とＧ成分の分光感度を有するＧ画素とが横方向（ｘ方向）に配列されたＢＧ画素列が縦方向（ｙ方向）に並置され、さらにＧＲ画素列とＢＧ画素列とが交互に縦方向（ｙ方向）に並置される。

画像処理装置１００は、画像処理プログラムを実行するコンピュータであり、例えばＰＣである。画像処理装置１００は、その画像処理プログラムを実行することによって、画像入力部１０１０、平滑化色差生成部１０２０、局所色差生成部１０３０、色差平滑制御部１０４０、および画像生成部１０５０を機能的に有する。画像入力部１０１０、平滑化色差生成部１０２０、局所色差生成部１０３０、色差平滑制御部１０４０、および画像生成部１０５０は、それぞれ、図２に示す画像処理の各ステップを行う。

図２は、本実施の形態における画像処理装置１００において行われる画像処理を示すフローチャートである。ステップＳ２００において、画像入力部１０１０が、例えばBayer配列のカラーフィルターアレイを備えたイメージセンサー２２０によって撮像され、原画像読み出し部２３０によって出力されたＲＡＷ画像３００のＲＡＷ画像データを取得する。以後、ＲＡＷ画像３００の配列をBayer配列であるとして説明する。

ステップＳ２１０において、画像生成部１０５０が、公知の任意の方法で輝度を生成する。例えば、次の方法で輝度Yを各画素に生成すればよい。すなわち、図３に示す各G画素位置(x,y)については、式（１）に示すように、輝度YはG画素が有するG成分の分光感度に等しい。図４に示す各RB画素位置(x,y)については、|G(x-1,y)-G(x+1,y)|+th < |G(x,y-1)-G(x,y+1)|の場合、輝度Yは式（２）によって生成され、|G(x-1,y)-G(x+1,y)|> |G(x,y-1)-G(x,y+1)|+thの場合、輝度Yは式（３）によって生成され、上記いずれでもない場合、輝度Yは式（４）によって生成される。ただし、パラメータthの値は、G画素値に含まれるノイズの標準偏差の３倍程度とする。
Y(x,y)= G(x,y) （１）
Y(x,y)= (G(x-1,y) ＋G(x+1,y))/2 （２）
Y(x,y)= (G(x,y-1) ＋G(x,y+1))/2 （３）
Y(x,y)= (G(x-1,y) ＋G(x+1,y)＋G(x,y-1) ＋G(x,y+1))/4 （４）

ステップＳ２２０において、平滑化色差生成部１０２０が、各RB画素位置(x,y)において、公知の方法で色差の中間値を生成する。この処理では、公知の方法で画像構造が縦方向か、横方向か、どちらでもないかを判定し、その結果に応じた方向の画素を参照して色差の中間値を生成する。

そして、画素位置(x,y)に配置された画素がR画素の場合、平滑化色差生成部１０２０は、画像構造に応じた次の式（５）〜（７）によって、画素位置(x,y)における色差の中間値Cr1を生成する。画像構造が「横方向」と判定された場合、色差の中間値Cr1は式（５）により生成される。画像構造が「縦方向」と判定された場合、色差の中間値Cr1は式（６）により生成される。画像構造が「どちらでもない」と判定された場合、色差の中間値Cr1は式（７）により生成される。
Cr1 = R−(G(x-1,y) ＋G(x+1,y))/2 （５）
Cr1 = R−(G(x,y-1) ＋G(x,y+1))/2 （６）
Cr1 = R−(G(x-1,y) ＋G(x+1,y)＋G(x,y-1) ＋G(x,y+1))/4 （７）

画素位置(x,y)に配置されている画素がB画素の場合は、上記RをB、CrをCbと置き換えて処理すればよい。こうして、平滑化色差生成部１０２０は、画像構造に応じて、画素位置(x,y)における色差の中間値Cb1を生成する。

次に、平滑化色差生成部１０２０が、各RB画素位置(x,y)において、公知の方法で色差の中間値Cr1およびCb1を平滑化して、平滑化色差CrSおよびCbSを生成する。この処理は、例えば次のように行えばよい。図４（ａ）に示す画素位置(x,y)に配置されている画素がR画素の場合には、図５に示す重み付け平滑化フィルターを用いて、平滑化色差生成対象画素位置(x,y)の平滑化色差CrSを生成する。平滑化色差生成対象画素位置(x,y)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y)、(x-2,y)、(x+2,y)、(x+4,y)における色差の中間値Cr1に対して、図５に示すような重み付け平滑化フィルターＦ３＝(1, 2, 2, 2, 1)をかけることにより、ｙ行目に対応する中間値tmp3が得られる。これは、式（１０）で表される。同様にして、平滑化色差生成対象画素位置(x,y)のＲ画素の４行上の画素位置(x,y-4)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y-4)、(x-2,y-4)、(x+2,y-4)、(x+4,y-4)における色差の中間値Cr1に対して、図５に示すような重み付け平滑化フィルターＦ１＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の４行上の（ｙ−４）行目に対応する中間値tmp1が得られる。これは、式（８）で表される。平滑化色差生成対象画素位置(x,y)のＲ画素の２行上の画素位置(x,y-2)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y-2)、(x-2,y-2)、(x+2,y-2)、(x+4,y-2)における色差の中間値Cr1に対して、図５に示すような重み付けフィルターＦ２＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の２行上の（ｙ−２）行目に対応する中間値tmp2が得られる。これは、式（９）で表される。平滑化色差生成対象画素位置(x,y)のＲ画素の２行下の画素位置(x,y+2)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y+2)、(x-2,y+2)、(x+2,y+2)、(x+4,y+2)における色差の中間値Cr1に対して、図５に示すような重み付けフィルターＦ４＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の２行下の（ｙ＋２）行目に対応する中間値tmp4が得られる。これは、式（１１）で表される。平滑化色差生成対象画素位置(x,y)のＲ画素の４行下の画素位置(x,y+4)のＲ画素とその横方向（同一ライン上）の両側２個ずつのＲ画素が配置された画素位置(x-4,y+4)、(x-2,y+4)、(x+2,y+4)、(x+4,y+4)における色差の中間値Cr1に対して、図５に示すような重み付け平滑化フィルターＦ５＝(1, 2, 2, 2, 1)をかけることにより、平滑化色差生成対象画素位置(x,y)のＲ画素の４行下の（ｙ＋４）行目に対応する中間値tmp5が得られる。これは、式（１２）で表される。
tmp1 = Cr1(x-4,y-4)+2*Cr1(x-2,y-4) +2*Cr1(x,y-4) +2*Cr1(x+2,y-4) +Cr1(x+4,y-4)
（８）
tmp2 = Cr1(x-4,y-2)+2*Cr1(x-2,y-2) +2*Cr1(x,y-2) +2*Cr1(x+2,y-2) +Cr1(x+4,y-2)
（９）
tmp3 = Cr1(x-4,y)+2*Cr1(x-2,y) +2*Cr1(x,y) +2*Cr1(x+2,y) +Cr1(x+4,y)
（１０）
tmp4 = Cr1(x-4,y+2)+2*Cr1(x-2,y+2) +2*Cr1(x,y+2) +2*Cr1(x+2,y+2) +Cr1(x+4,y+2)
（１１）
tmp5 = Cr1(x-4,y+4)+2*Cr1(x-2,y+4) +2*Cr1(x,y+4) +2*Cr1(x+2,y+4) +Cr1(x+4,y+4)
（１２）

このようにして求めた中間値tmp1〜tmp5に対して、それぞれ図５に示す重み（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）＝(1, 2, 2, 2, 1)を乗じて加算し、その加算合計値を重み付け平滑化フィルターＦ１〜Ｆ５および重みＷ１〜Ｗ５全体での重み合計値６４で割ることによって、すなわち式（１３）によって、平滑化色差CrSが求まる。こうして、平滑化色差生成部１０２０は、図４（ａ）に示す画素位置(x,y)に配置されている画素がR画素の場合の画素位置(x,y)における平滑化色差CrSを、図６に示すような画素位置(x,y)に配置されているR画素を含む９画素×９画素の広域画素参照範囲ＳＦにおける平滑化を行うことによって生成する。９画素×９画素の広域画素参照範囲ＳＦには、図６に示すように、８１個の画素位置(x-4,y-4)、(x-3,y-4)、(x-2,y-4)、(x-1,y-4)、(x,y-4)、(x+1,y-4)、(x+2,y-4)、(x+3,y-4)、(x+4,y-4)、(x-4,y-3)、(x-3,y-3)、(x-2,y-3)、(x-1,y-3)、(x,y-3)、(x+1,y-3)、(x+2,y-3)、(x+3,y-3)、(x+4,y-3)、(x-4,y-2)、(x-3,y-2)、(x-2,y-2)、(x-1,y-2)、(x,y-2)、(x+1,y-2)、(x+2,y-2)、(x+3,y-2)、(x+4,y-2)、(x-4,y-1)、(x-3,y-1)、(x-2,y-1)、(x-1,y-1)、(x,y-1)、(x+1,y-1)、(x+2,y-1)、(x+3,y-1)、(x+4,y-1)、(x-4,y)、(x-3,y)、(x-2,y)、(x-1,y)、(x,y)、(x+1,y)、(x+2,y)、(x+3,y)、(x+4,y)、(x-4,y+1)、(x-3,y+1)、(x-2,y+1)、(x-1,y+1)、(x,y+1)、(x+1,y+1)、(x+2,y+1)、(x+3,y+1)、(x+4,y+1)、(x-4,y+2)、(x-3,y+2)、(x-2,y+2)、(x-1,y+2)、(x,y+2)、(x+1,y+2)、(x+2,y+2)、(x+3,y+2)、(x+4,y+2)、(x-4,y+3)、(x-3,y+3)、(x-2,y+3)、(x-1,y+3)、(x,y+3)、(x+1,y+3)、(x+2,y+3)、(x+3,y+3)、(x+4,y+3)、(x-4,y+4)、(x-3,y+4)、(x-2,y+4)、(x-1,y+4)、(x,y+4)、(x+1,y+4)、(x+2,y+4)、(x+3,y+4)、および(x+4,y+4)が含まれる。
平滑化色差CrS(x,y)= (tmp1+ 2*tmp2+ 2*tmp3+ 2*tmp4+ tmp5)/64 （１３）

画素位置(x,y) に配置されている画素がB画素の場合は、上記CrをCbと置き換えて処理すればよい。こうして、平滑化色差生成部１０２０は、図４（ｂ）に示す画素位置(x,y)に配置されている画素がB画素の場合の画素位置(x,y)における平滑化色差CbSを、画素位置(x,y)に配置されているB画素を含む９画素×９画素の広域画素参照範囲における平滑化を行うことによって生成する。

ステップＳ２３０においては、局所色差生成部１０３０が、各RB画素位置(x,y)において、局所色差CrA〜CrFおよびCbA〜CbFを生成する。画素位置(x,y)におけるR画素が有する局所色差CrAは、そのR画素のR成分と、そのR画素の近傍の局所画素参照範囲ＬＦに位置するG画素が有するG成分とに基づいて生成される。局所画素参照範囲ＬＦには、画素位置(x,y)、(x-1,y)、(x+1,y)、(x,y-1)、および(x,y+1)が含まれる。局所色差CrA〜CrFの生成に用いられる局所画素参照範囲ＬＦは、平滑化色差CrSの生成に用いられる広域画素参照範囲ＳＦよりも小さい。同様に、画素位置(x,y)におけるB画素が有する局所色差CbAは、そのB画素のB成分と、そのB画素の近傍の局所画素参照範囲に位置するG画素が有するG成分とに基づいて生成される。

画素位置(x,y)に配置される画素がR画素の場合には、局所色差生成部１０３０は、例えば次の式（１４）〜（１９）で表されるように、画素位置(x,y)に配置されるR画素が有する６パターンの局所色差CrA〜CrFを、そのR画素が有するR成分と、そのR画素の近傍の局所画素参照範囲ＬＦ内であってそのR画素に隣接する二つのG画素がそれぞれ有するG成分に基づく色差生成処理A〜Fを行うことによって、生成する。式（１４）に示す色差生成処理Aでは、局所色差CrAを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の左右に隣接する画素位置(x-1,y)および(x+1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１５）に示す色差生成処理Bでは、局所色差CrBを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の上下に隣接する画素位置(x,y-1)および(x,y+1)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１６）に示す色差生成処理Cでは、局所色差CrCを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の上および左に隣接する画素位置(x,y-1)および(x-1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１７）に示す色差生成処理Dでは、局所色差CrDを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の上および右に隣接する画素位置(x,y-1)および(x+1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１８）に示す色差生成処理Eでは、局所色差CrEを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の下および左に隣接する画素位置(x,y+1)および(x-1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。式（１９）に示す色差生成処理Fでは、局所色差CrFを、画素位置(x,y)に配置されるR画素が有するR成分と、局所画素参照範囲ＬＦ内であってそのR画素の下および右に隣接する画素位置(x,y+1)および(x+1,y)のG画素がそれぞれ有するG成分とに基づいて生成する。
色差生成処理A：CrA(x,y) = R(x,y)−(G(x-1,y) ＋G(x+1,y))/2 （１４）
色差生成処理B：CrB(x,y) = R(x,y)−(G(x,y-1) ＋G(x,y+1))/2 （１５）
色差生成処理C：CrC(x,y) = R(x,y)−(G(x,y-1) ＋G(x-1,y))/2 （１６）
色差生成処理D：CrD(x,y) = R(x,y)−(G(x,y-1) ＋G(x+1,y))/2 （１７）
色差生成処理E：CrE(x,y) = R(x,y)−(G(x,y+1) ＋G(x-1,y))/2 （１８）
色差生成処理F：CrF(x,y) = R(x,y)−(G(x,y+1) ＋G(x+1,y))/2 （１９）

画素位置(x,y) に配置されている画素がB画素の場合は、上記CrをCbと置き換えて処理すればよい。こうして、局所色差生成部１０３０は、画素位置(x,y)に配置されるB画素が有する６つの局所色差CbA〜CbFを、そのB画素が有するB成分と、そのB画素の近傍の局所画素参照範囲内であってそのB画素に隣接する二つのG画素がそれぞれ有するG成分に基づく６パターンの色差生成処理を行うことによって、生成する。

ステップＳ２３５において、色差平滑制御部１０４０が、各RB画素位置（x，y）において、例えば次の処理を行い、画像生成用色差Cr3,Cb3を生成する。すなわち、画素位置(x,y)にR画素が配置されている場合は、平滑化色差CrS(x,y)＜色差下限minCr(x,y)ならば、式（２０）によって、画像生成用色差Cr3(x,y)を生成する。すなわち、色差下限minCr(x,y)が画像生成用色差Cr3(x,y)として生成される。平滑色差CrS(x,y)＞色差上限maxCr(x,y)ならば、式（２１）によって、画像生成用色差Cr3(x,y)を生成する。すなわち、色差上限maxCr(x,y)が画像生成用色差Cr3(x,y)として生成される。そのどちらでもなければ、式（２２）によって、画像生成用色差Cr3(x,y)を生成する。すなわち、平滑化色差CrS(x,y)が画像生成用色差Cr3(x,y)として生成される。なお、色差下限minCr(x,y)および色差上限maxCr(x,y)は、それぞれ、ステップＳ２３０において局所色差生成部１０３０によって生成された、各R画素位置(x,y)における局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値である。画素位置(x,y)にR画素が配置されている場合において、R画素位置(x,y)における局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲にそのR画素の平滑化色差CrS(x,y)が含まれるときは、色差平滑制御部１０４０は、その平滑化色差CrS(x,y)を画像生成用色差Cr3(x,y)として生成する。R画素位置(x,y)における局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲にそのR画素の平滑化色差CrS(x,y)が含まれないときは、色差平滑制御部１０４０は、その局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値を画像生成用色差Cr3(x,y)として生成する。境界値の一つである色差下限minCr(x,y)はその分布範囲の最小値であり、もう一つの境界値である色差上限maxCr(x,y)はその分布範囲の最大値である。例えば、図７に示す例では、６パターンの色差生成処理によるCrA〜CrFの最小値および最大値がそれぞれ局所色差CrBの値およ局所色差CrCの値である。
Cr3(x,y)= minCr(x,y) （２０）
Cr3(x,y)= maxCr(x,y) （２１）
Cr3(x,y)= CrS(x,y) （２２）

画素位置(x,y) に配置されている画素がB画素の場合は、上記CrをCbと置き換えて処理すればよい。B画素位置(x,y)における局所色差CbA(x,y)〜CbF(x,y)の値の分布範囲にそのB画素の平滑化色差CbS(x,y)が含まれるときは、色差平滑制御部１０４０は、その平滑化色差CbS(x,y)を画像生成用色差Cb3(x,y)として生成する。B画素位置(x,y)における局所色差CbA(x,y)〜CbF(x,y)の値の分布範囲にそのB画素の平滑化色差CbS(x,y)が含まれないときは、色差平滑制御部１０４０は、その局所色差CbA(x,y)〜CbF(x,y)の値の分布範囲の境界値を画像生成用色差Cb3(x,y)として生成する。境界値の一つである色差下限minCb(x,y)はその分布範囲の最小値であり、もう一つの境界値である色差上限maxCb(x,y)はその分布範囲の最大値である。

ステップＳ２５０において、画像生成部１０５０は、ステップＳ２１０においてG画素が有するG成分に基づいて生成した全画素位置における輝度を生成し、ステップＳ２３５において、R画素が有する画像生成用色差Cr3(x,y)に基づいて全画素位置における画像生成用色差Cr3を生成し、B画素が有する画像生成用色差Cb3(x,y)に基づいて全画素位置における画像生成用色差Cb3を生成する。すなわち、画像生成部１０５０は、画像生成用色差Cr3,Cb3を全画素に補間生成し、ステップＳ２１０において生成した全画素の輝度を用い、全画素について、G=Y、R=Y+Cr、B=Y+CbとすることによってRGB成分を生成することができる。画像生成部１０５０は、このようにして生成したＲＧＢ出力画像に対して、さらに彩度強調や輪郭強調などの公知の画像処理を施してから出力する。

本実施の形態における画像処理装置１００によると、色差平滑化による弊害を抑制できることを、具体例に基づいて説明する。図８は、円形枠で囲まれた色差平滑化対象のR画素位置(x,y)の右側に赤い被写体を撮像したことによる赤い領域８０があるＲＡＷ画像３００を表す。図８において、赤い領域８０は、ハッチングにより図示されている。赤い領域８０は赤い平坦な領域であり、それ以外の領域は白い平坦な領域である。平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦは、色差平滑化対象のR画素位置(x,y)を中心とする９画素×９画素の範囲であり、例えば特開２００９−２００６３５号公報に開示されるような公知技術で通常用いられる５画素×５画素よりも広い。白い平坦な領域に属する画素位置(x,y)における本来の色差は0だが、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦが赤い領域８０に属する多くの画素位置を含むので、平滑化色差CrS(x,y)は大きな値になってしまう。一方、局所色差生成部１０３０による局所色差生成時の局所画素参照範囲ＬＦは、白い平坦な領域のみを含むので、局所色差CrA(x,y)〜CrF(x,y)は全てほぼ０になる。したがって、色差下限minCr(x,y)と色差上限maxCr(x,y)もほぼ０になる。そして、色差平滑制御部１０４０が、平滑化色差CrS(x,y)を色差下限minCr(x,y)と色差上限maxCr(x,y)にはさまれる範囲に制限することにより、画像生成用色差Cr3(x,y)の色差もほぼ０となる。このようにして、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦを従来よりも広くした場合であっても、色の滲み出しを抑制された色差を生成することができる。

次に、本実施の形態における画像処理装置１００によると、適切に偽色を除去できることを説明する。まず、図９のように少し傾いた白黒の縦縞構造の被写体の偽色除去について説明する。図９のように、白地に黒の少し傾いた縦縞９０が横方向に２画素おきに出現する２画素周期構造の縞模様では、Bayer配列のＲＡＷ画像３００に基づいて縦横の方向を判定することは困難である。したがって、平滑化色差生成部１０２０による色差の中間値Cr1(x,y)の生成の際には、画像構造が「どちらでもない」と判定され、式（７）が用いられる。式（７）によれば、例えば円形枠で囲まれた画素位置(x,y)で表される色差生成箇所では、縦縞９０の一部を含んだ画素（局所画素参照範囲ＬＦ内の画素と等しい）を参照するのでGの項が暗くなり、偽色が発生してしまう。一方、円形枠で囲まれた画素位置(x,y)から上下に４画素離れた画素位置(x,y-4)および(x,y+4)では、式（７）によれば、逆符号の偽色が発生する。すなわち、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦ内において偽色が互いに打ち消しあい、平滑化色差CrS(x,y)は小さな値になる。

そして、局所色差生成部１０３０が生成する複数の色差のうち、局所色差CrB(x,y)を式（１４）によって生成する際には、画素位置(x,y)、(x,y-1)および(x,y+1)からなるほぼ平坦な範囲ＬＦＢを参照するので、局所色差CrB(x,y)はほぼ０になる。局所色差CrB(x,y)以外の局所色差CrA(x,y)、CrC(x,y)、CrD(x,y)、CrE(x,y)およびCrF(x,y)を生成する際には、暗いGを参照するので、それらの局所色差はすべて大きな値になる。したがって、色差下限minCr(x,y)として局所色差CrB(x,y)が選ばれる。平滑化色差CrS(x,y)は、色差下限minCr(x,y)、すなわちほぼ０になる局所色差CrB(x,y)より大きいので、画像生成用色差Cr3(x,y)として平滑化色差CrS(x,y)が採用され、偽色が除去される。

次に、図１０のような斜め輪郭線を有する暗い領域９１が存在する場合の偽色除去について説明する。この場合、平滑化色差生成部１０２０による色差の中間値Cr1(x,y)の生成の際には、画像構造が「どちらでもない」と判定され、式（７）が用いられる。式（７）によれば、例えば円形枠で囲まれた画素位置(x,y)で表される箇所では、暗い領域９１の一部を含んだ画素（局所画素参照範囲ＬＦ内の画素と等しい）を参照するのでGの項が暗くなり、偽色が発生してしまう。一方、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦ内のほとんどの色差は０なので、平滑化色差CrS(x,y)は小さな値になる。

そして、局所色差生成部１０３０が生成する複数の色差のうち、局所色差CrE(x,y)を式（１８）によって生成する際には、画素位置(x,y)、(x-1,y)および(x,y+1)からなる平坦な参照範囲ＬＦＥを参照するので、局所色差CrE(x,y)はほぼ０になる。局所色差CrE(x,y)以外の局所色差CrA(x,y)、CrB(x,y)、CrC(x,y)、CrD(x,y)およびCrF(x,y)を生成する際には、暗いGを参照するので、それらの局所色差は大きな値になる。したがって、色差下限minCr(x,y)として局所色差CrE(x,y)が選ばれる。平滑化色差CrS(x,y)は色差下限minCr(x,y)、すなわちほぼ０になる局所色差CrE(x,y)より大きいので、画像生成用色差Cr3(x,y)として平滑化色差CrS(x,y)が採用され、偽色が除去される。

本実施の形態における画像処理装置１００は、画像入力部１０１０と、平滑化色差生成部１０２０と、局所色差生成部１０３０と、色差平滑制御部１０４０と、画像生成部１０５０とを有する。画像入力部１０１０は、Ｒ成分の分光感度を有するＲ画素またはＢ成分の分光感度を有するＢ画素とＧ成分の分光感度を有するＧ画素とが配列される画素列が並置されるＲＡＷ画像３００の、ＲＡＷ画像データを取得する。平滑化色差生成部１０２０は、Ｒ画素が有する平滑化色差CrS(x,y)またはＢ画素が有する平滑化色差CbS(x,y)を、そのＲ画素またはＢ画素を含む広域画素参照範囲における平滑化を行うことによって生成する。局所色差生成部１０３０は、Ｒ画素が有する局所色差CrA(x,y)〜CrF(x,y)またはＢ画素が有する局所色差CbA(x,y)〜CbF(x,y)を、Ｒ画素またはＢ画素の近傍の、広域画素参照範囲よりも局所画素参照範囲に位置するＲ画素またはＢ画素が有するＲ成分またはＢ成分に基づいて生成する。色差平滑制御部１０４０は、局所色差の値の分布範囲に平滑化色差CrS(x,y)またはCbS(x,y)の値が含まれるときはその平滑化色差CrS(x,y)またはCbS(x,y)を、局所色差の値の分布範囲に平滑化色差CrS(x,y)またはCbS(x,y)の値が含まれないときはその分布範囲の境界値を、Ｒ画素またはＢ画素が有する画像生成用色差Cr3(x,y)またはCb3(x,y)として生成する。画像生成部１０５０は、Ｇ画素が有するＧ成分と、Ｒ画素またはＢ画素が有する画像生成用色差Cr3(x,y)またはCb3(x,y)とに基づき、出力画像を生成する。これにより、偽色を除去しながら、色の滲み出しが抑制された出力画像を生成することができる。

上述した一実施の形態における画像処理装置１００を以下のように変形してもよい。
（１）局所色差生成部１０３０は、画素位置(x,y)におけるR画素に対応する局所色差CrA(x,y)〜CrF(x,y)に加え、以下の式（２３）を用いた色差生成処理Gを行うことによって、局所色差CrG(x,y)をさらに生成しても良い。
CrG(x,y) = (R(x-2,y)+ R(x,y-2)+ R(x,y+2)+ R(x+2,y))/4
−(G(x-1,y)+ G(x,y-1)+ G(x,y+1)+ G(x+1,y))/4 （２３）

この場合において、色差平滑制御部１０４０は、各R画素位置(x,y)において、局所色差CrA(x,y)〜CrG(x,y)の最大値を色差上限maxCr(x,y)とし、局所色差CrA(x,y)〜CrG(x,y)の最小値を色差下限minCr(x,y)とする。B画素位置における局所色差Cbについても同様である。その適用例を、図１１を用いて説明する。

図１１は、１本の斜め方向のＲＢ画素列の画素位置に暗く細い斜め線９２があるＲＡＷ画像３００の例である。平滑化色差生成部１０２０による色差の中間値Cr1の際には、画像構造が「どちらでもない」と判定され、式（７）が用いられる。式（７）によれば、例えば図１１の円形枠で囲まれた画素位置(x,y)における色差の中間値Cr1は、局所画素参照範囲ＬＦ内の画素と同じ画素を参照して生成される。暗く細い斜め線９２に含まれる画素位置(x,y)のRが小さいので負の偽色が発生する。一方、平滑化色差生成部１０２０による平滑化の際の広域画素参照範囲ＳＦ内のほとんどの色差は０なので、平滑化色差CrS(x,y)は小さな値になる。

そして、局所色差生成部１０３０が生成する複数の色差のうち、局所色差CrG(x,y)を式（２３）によって生成する際には、局所画素参照範囲ＬＦを拡張した平坦な参照範囲ＬＦｇａ、ＬＦｇｂ、ＬＦｇｃおよびＬＦｇｄを参照するので、局所色差CrG(x,y)はほぼ０になる。局所色差CrG(x,y)以外の局所色差CrA(x,y)、CrB(x,y)、CrC(x,y)、CrD(x,y)、CrE(x,y)およびCrF(x,y)を生成する際には、暗いRを参照するので、それらの局所色差は負の値になる。したがって、色差上限maxCr(x,y)として色差CrG(x,y)が選ばれる。平滑化色差CrS(x,y)は色差上限maxCr(x,y) 、すなわちほぼ０になる局所色差CrG(x,y)より大きいので、画像生成用色差Cr3(x,y)として平滑化色差CrS(x,y)が採用され、偽色が除去される。なお、参照範囲ＬＦｇａは、画素位置(x-2,y)および(x-1,y)を含む。参照範囲ＬＦｇｂは、画素位置(x,y-2)および(x,y-1)を含む。参照範囲ＬＦｇｃは、画素位置(x,y+2)および(x,y+1)を含む。参照範囲ＬＦｇｃは、画素位置(x+2,y)および(x+1,y)を含む。画素位置(x,y)におけるB画素に対応する局所色差についても同様である。

（２）局所色差生成部１０３０は、局所色差CrAおよびCrBを算出し、色差平滑制御部１０４０は、各R画素位置(x,y)において、局所色差CrA、CrBの最大値を色差上限maxCr(x,y)とし、局所色差CrA、CrBの最小値を色差下限minCr(x,y)としても良い。局所色差Cbについても同様である。このように算出する色差の数を減らすことにより、局所色差の値の分布範囲は上述した一実施の形態に比べて同じであるかまたは狭くなるので、色差平滑化の弊害がより強く抑制される。その一方で、図９のように特に偽色が強く発生する構造においては、上述した一実施の形態と同様の偽色抑制効果がある。

（３）平滑化色差生成部１０２０は、色差の中間値Cr1と画像生成用色差Cr3とを参照して平滑化を行っても良い。例えば、ＲＡＷ画像３００の上側（縦方向の座標yが小さい方）の画素から順に、本発明の処理を行う場合、画素位置(x,y)の画素を処理する時点で、それより上側の画素位置にはすでに画像生成用色差Cr3が生成されている。したがって、例えば画素位置(x,y)にR画素が配置されている場合には、式（８）〜（１３）に代えて式（２４）〜（２９）を用いて色差を平滑化して平滑化色差CrSを算出することが出来る。なお、画素位置(x,y)にB画素が配置されている場合は、局所色差Crを局所色差Cbに置き換えて処理すればよい。
tmp1´ = Cr3(x-4,y-4)+2*Cr3(x-2,y-4) +2*Cr3(x,y-4) +2*Cr3(x+2,y-4) +Cr3(x+4,y-4)
（２４）
tmp2´ = Cr3(x-4,y-2)+2*Cr3(x-2,y-2) +2*Cr3(x,y-2) +2*Cr3(x+2,y-2) +Cr3(x+4,y-2)
（２５）
tmp3 = Cr(x-4,y)+2*Cr(x-2,y) +2*Cr(x,y) +2*Cr(x+2,y) +Cr(x+4,y)
（２６）
tmp4 = Cr(x-4,y+2)+2*Cr(x-2,y+2) +2*Cr(x,y+2) +2*Cr(x+2,y+2) +Cr(x+4,y+2)
（２７）
tmp5 = Cr(x-4,y+4)+2*Cr(x-2,y+4) +2*Cr(x,y+4) +2*Cr(x+2,y+4) +Cr(x+4,y+4)
（２８）
CrS(x,y)= (tmp1´+ 2*tmp2´+ 2*tmp3+ 2*tmp4+ tmp5)/64
（２９）

すなわち、平滑化色差生成部１０２０は、画素位置(x,y)にR画素が配置されている場合、広域画素参照範囲ＳＦに位置する他のR画素が画像生成用色差Cr3を有するとき、広域画素参照範囲ＳＦに位置する他のR画素が有する画像生成用色差Cr3を用いて平滑化を行うことによって、平滑化色差CrSを生成する。画素位置(x,y)にB画素が配置されている場合、広域画素参照範囲ＳＦに位置する他のB画素が画像生成用色差Cb3を有するとき、広域画素参照範囲ＳＦに位置する他のB画素が有する画像生成用色差Cb3を用いて平滑化を行うことによって、平滑化色差CbSを生成する。

このようにすると、平滑化された画像生成用色差Cr3またはCb3を参照してさらに平滑化することになるので、上述した一実施の形態よりも強い平滑化に相当することになり、偽色を強く除去することができる。また、色差平滑制御部１０４０により色の滲み出しを抑制された画像生成用色差Cr3またはCb3を参照しているので、強い色差平滑化を行うわりには色がにじみ出しにくい。

さらに、式（２４）〜（２９）に代えて式（３０）〜（３２）を用いて平滑化色差CrS(x,y)を算出しても良い。
tmp2´ = Cr3(x-4,y-2)+2*Cr3(x-2,y-2) +2*Cr3(x,y-2) +2*Cr3(x+2,y-2) +Cr3(x+4,y-2)
（３０）
tmp3 = Cr(x-4,y)+2*Cr(x-2,y) +2*Cr(x,y) +2*Cr(x+2,y) +Cr(x+4,y)
（３１）
CrS(x,y)= (3*tmp2´+ tmp3)/32
（３２）

この算出式によると、上述した一実施の形態に比べて広域画素参照範囲が狭いので演算コストを削減できる。また、偽色除去された画像生成用色差Cr3を強く参照して平滑化を行うので、強い偽色除去効果がある。色差Cbについても、上記と同様にしてもよい。

（４）ステップＳ２１０において、輝度Ｙとして各画素のＧ成分値を用いたが、輝度Ｙとして各画素のＧ成分、Ｒ成分およびＢ成分の加重平均値を用いても良い。その場合は、Ｇ成分についても平滑化による偽色除去効果を奏することとなる。

（５）ステップＳ２３５において、色差平滑制御部１０４０は、局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値（最小値および最大値）を色差下限minCr(x,y)および色差上限maxCr(x,y)とした。しかし、色差下限minCr(x,y)および色差上限maxCr(x,y)は、局所色差CrA(x,y)〜CrF(x,y)の値の分布範囲の境界値に基づいて決定されれば、他の値であっても良い。例えば、境界値に対して所定値増減させた値を色差下限minCr(x,y)および色差上限maxCr(x,y)としてもよい。あるいは、最小値の次に小さな値を色差下限minCr(x,y)とし、最大値の次に大きな値を色差上限maxCr(x,y)としてもよい。

（６）上述した一実施の形態における画像処理装置１００は、カメラ２００には内蔵されていない。したがって、カメラ２００内部のイメージセンサー２２０によって撮像されたＲＡＷ画像を、原画像読み出し部２３０を介して画像処理装置１００内の画像入力部１０１０が取得する。しかし、画像処理装置１００をカメラ２００に内蔵しても本発明は適用できる。図１２は、本発明の変形例として、画像処理装置１００を内蔵するカメラ２００の構成を示す図である。カメラ２００は、原画像読み出し部２３０と画像処理装置１００とを含む制御装置２５０を有しているほかは、上述した一実施の形態で説明したとおりである。図２に示すフローチャートを用いて説明した画像処理装置１００による画像処理は、制御装置２５０によるカメラ２００全体の制御の一部として、制御装置２５０により管理される。

（７）画像処理装置１００が上述の実施形態および変形例の各々における画像処理を実行するためのコンピュータプログラム製品は、図１３に示されるように、プログラム記憶媒体２０００（例えばＣＤ−ＲＯＭ）や通信ネットワーク４０００（例えばインターネット）によって伝達されるデータ信号を通じて画像処理装置１００に提供される。

画像処理装置１００は、プログラム記憶媒体２０００を介して画像処理プログラムの提供を受ける。あるいは、以下の供給形態で画像処理プログラムが提供されても良い。画像処理装置１００は通信ネットワーク４０００との接続機能を有する。サーバー３０００は画像処理プログラムを提供するコンピュータであり、ハードディスクなどの記憶媒体に画像処理プログラムを格納する。サーバー３０００はハードディスクから読み出した画像処理プログラムを、データ信号として搬送波に載せ、通信ネットワーク４０００を介して画像処理装置１００へ転送する。以上のように、画像処理プログラムは、プログラム記憶媒体２０００や通信ネットワーク４０００を介するデータ信号としての提供を含む種々の形態のコンピュータプログラム製品によって供給されることが好ましい。

８０赤い領域、９０縦縞、９１暗い領域、９２斜め線、
１００画像処理装置、２００カメラ、
２１０レンズ、２２０イメージセンサー、２３０原画像読み出し部、
２５０制御装置、３００ＲＡＷ画像、
５００被写体、５１０被写体光、
１０１０画像入力部、１０２０平滑化色差生成部、１０３０局所色差生成部、
１０４０色差平滑制御部、１０５０画像生成部、
２０００プログラム記憶媒体、３０００サーバー、４０００通信ネットワーク

Claims

第一の色成分の分光感度を有する第一の色画素と前記第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素とが配列される画素列が並置される原画像の原画像データを取得する画像入力部と、
前記第一の色画素が有する第一の色差を、前記第一の色画素を含む第一の範囲における平滑化を行うことによって生成する第一の色差生成部と、
前記第一の色画素が有する第二の色差を、前記第一の色画素の近傍の、前記第一の範囲よりも小さい第二の範囲に位置する前記第二の色画素が有する前記第二の色成分に基づいて生成する第二の色差生成部と、
前記第二の色差の値の分布範囲に前記第一の色差の値が含まれるときは前記第一の色差を、前記分布範囲に前記第一の色差の値が含まれないときは前記分布範囲の境界値を、前記第一の色画素が有する第三の色差として生成する色差平滑制御部と、
前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差とに基づき、出力画像を生成する画像生成部とを備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記第二の色差生成部は、前記第一の色画素が有する第二の色差を、前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素に隣接する二つの前記第二の色画素がそれぞれ有する前記第二の色成分に基づいて生成することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記第二の色差生成部は、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の上下に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の左右に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の上および右に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の上および左に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の下および右に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の色差を生成する対象である前記第一の色画素が有する前記第一の色成分と、前記第二の範囲内であって前記第一の色画素の下および左に隣接する前記第二の色画素がそれぞれ有する前記第二の色成分とに基づいて生成する色差生成処理と、
前記第一の色画素が有する前記第二の色差を、前記第二の範囲内であって、前記第二の色差を生成する対象である前記第一の色画素の上下左右に隣接する前記第二の色画素が有する前記第二の色成分と、前記第二の範囲内であって、該第二の色画素に隣接し、かつ該第二の色画素に対して前記第一の色画素とは反対側に隣接する他の前記第一の色画素が有する第一の色成分と基づいて生成する色差生成処理と、
のうちの、少なくとも２つの色差生成処理を行うことによって、前記第一の色画素が有する少なくとも２つの前記第二の色差を生成することを特徴とする画像処理装置。
請求項１〜３のいずれか１項に記載の画像処理装置において、
前記分布範囲は、前記第二の色差成分の値の最小値から最大値までの範囲であって、
前記境界値は前記最小値および前記最大値を含むことを特徴とする画像処理装置。
請求項１〜４のいずれか１項に記載の画像処理装置において、
前記画像生成部は、前記第二の色画素が有する前記第二の色成分に基づいて前記第一の色画素の第一の色画素位置における前記第二の色成分を補間するとともに、前記第一の色画素が有する前記第三の色差に基づいて前記第二の色画素の第二の色画素位置における前記第三の色差を補間し、前記第二の色画素が有する前記第二の色成分と、前記第一の色画素が有する前記第三の色差と、前記第一の色画素位置における前記第二の色成分と、前記第二の色画素位置における前記第三の色差に基づき、前記出力画像を生成することを特徴とする画像処理装置。
請求項１〜５のいずれか１項に記載の画像処理装置において、
前記第一の色差生成部は、前記第一の範囲に位置する他の前記第一の色画素が前記第三の色差を有するとき、前記第一の範囲に位置する他の前記第一の色画素が有する前記第三の色差を用いて前記平滑化を行うことによって、前記第一の色差を生成することを特徴とする画像処理装置。
請求項１〜６のいずれか１項に記載の画像処理装置と、
被写体光を受光し、前記被写体光に含まれる前記第一の色成分および前記第二の色成分のそれぞれの分光感度に応じて前記原画像の前記原画像データを生成する撮像素子とを備え、
前記画像入力部は、前記撮像素子によって生成された前記原画像データを取得することを特徴とするカメラ。
第一の色成分の分光感度を有する第一の色画素と前記第一の色成分とは異なる第二の色成分の分光感度を有する第二の色画素とが配列される画素列が並置される原画像の原画像データを取得する画像入力処理と、
前記第一の色画素が有する第一の色差を、前記第一の色画素を含む第一の範囲における平滑化を行うことによって生成する第一の色差生成処理と、
前記第一の色画素が有する第二の色差を、前記第一の色画素の近傍の、前記第一の範囲よりも小さい第二の範囲に位置する前記第二の色画素が有する前記第二の色成分に基づいて生成する第二の色差生成処理と、
前記第二の色差の値の分布範囲に前記第一の色差の値が含まれるときは前記第一の色差を、前記分布範囲に前記第一の色差の値が含まれないときは前記分布範囲の境界値を、前記第一の色画素が有する第三の色差として生成する色差平滑制御処理と、
前記第二の色画素が有する前記第二の色成分と、前記第三の色差とに基づき、出力画像を生成する画像生成処理とをコンピュータに実行させることを特徴とする画像処理プログラム。