JP2009171196A

JP2009171196A - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP2009171196A
Application number: JP2008006731A
Authority: JP
Inventors: Takeshi Fukutomi; 武史福冨
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2008-01-16
Filing date: 2008-01-16
Publication date: 2009-07-30

Abstract

【課題】モアレの少ない高精細な高域画像を生成する。
【解決手段】RGBベイヤ画像信号から画像のエッジの方向を判定するエッジ方向判定部４１と、RGBベイヤ画像信号のRGB成分からYエッジ信号を生成するYエッジ信号生成部４２と、RGBベイヤ画像信号のG成分からGエッジ信号を生成するGエッジ信号生成部４３と、エッジ方向判定部４１の判定結果からYエッジ信号とGエッジ信号の混合率を算出するYG混合率算出部４４と、混合率に基づきYエッジ信号とGエッジ信号を混合しRGBカラー画像信号の高域画像信号を生成するYG混合部４５と、を備える。
【選択図】図３

Description

本発明は、例えば、デジタルカメラ、動画カメラなど、デジタル変換された画像を表示、入出力する装置や処理に適応可能な画像処理に関する。特に、単板式カラー撮像素子で撮像された画像から画素ごとにすべての色情報を持つカラー画像を生成する補間処理及びカラー画像の輪郭（エッジ）を補正する輪郭補正処理に関する。

高域画像を生成する際に、高周波成分の折りかえり（いわゆるモアレ）が高域画像に混入し画像を劣化させる問題がある。

この問題を解決するために、特許文献１に記載の画像処理装置では、ベイヤ画像のG成分から第１高域輝度画像、全色成分から第２高域輝度画像を生成し、ベイヤ画像を色補間した後に生成した低域画像から算出した彩度を用いて両高域輝度画像を混合することで、モアレの混入を抑えた高域画像を生成する技術を提案している。

具体的には、彩度が高い場合は第２高域輝度画像にモアレが混入している可能性が高いので第１高域輝度画像を多い割合で混合し、彩度が低い場合はモアレの混入している可能性が低い第２高域輝度画像を多い割合で混合するようにしている。
特許第3699873号公報

しかし、上記従来の処理では、高彩度の領域の境界線が低彩度であった場合に、モアレが混入した第２高域輝度画像が多い割合で混合されてしまうため、結果として高域画像にモアレが混入してしまうという問題があった。

本発明は、このような従来技術の技術的課題を鑑みてなされたもので、モアレの少ない高精細な高域画像を生成することを目的とする。

欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理装置において、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定手段と、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成手段と、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成手段と、前記エッジ方向判定手段の判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出手段と、前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合手段と、を備える。

欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から得られる第１のエッジ信号に含まれるモアレ、同じく欠落する色成分を有する画素を含んで構成されたカラー画像信号の特定の色成分から得られる第２のエッジ信号に含まれるモアレは、それぞれエッジの方向の影響を受ける。本発明では、このことに着目し、エッジの方向に基づき第１のエッジ信号と第２のエッジ信号の混合率を算出し、この混合率に基づき両信号を合成するようにしたことにより、モアレの少ない高精細な高域画像信号を生成することができる。

以下、添付図面を参照しながら本発明の実施形態について説明する。

第１の実施形態
図１はベイヤ画像信号から低域画像信号及び高域画像信号を生成し、それぞれ所定の画像処理を行った後に合成してカラー画像信号を生成する画像処理装置のブロック図である。なお、以降の説明では図２（Ａ）に示すRGBベイヤ配列のフィルタを固体撮像素子の前に配置した場合を例にとって説明するが、同図（Ｂ）のように異なる色や配列のフィルタを用いることも可能である。

図示しないレンズ、固体撮像素子を介して撮像され、電気信号に変換されたベイヤ画像信号は、CDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われ、図示しないA/D変換部でデジタル信号に変換される。ベイヤ画像信号は欠落する色成分を有する画素を含んで構成されたカラー画像信号である。そして、ベイヤ画像信号は、OB処理部１でオプティカルブラック処理され、WB処理部２でホワイトバランス処理される。

その後ベイヤ画像信号は低域画像信号生成部３及び高域画像信号生成部４に入力される。低域画像信号生成部３では、低域成分の抽出並びに欠落する色成分の補間が行われ、欠落する色成分が補間されたカラー画像信号の低域成分（低域画像信号）が出力される。また、高域画像信号生成部４では、高域成分の抽出並びに欠落する色成分の補間が行われ、欠落する色成分が補間されたカラー画像信号の高域成分（高域画像信号）が出力される。低域画像信号に対しては、γ補正・色処理部５でγ補正処理や色補正処理等の処理が行われ、また、高域画像信号に対しては、コアリング・エッジ強調部６でコアリングやエッジ強調処理等の処理が行われる。

そして、各種処理がされた低域画像信号と高域画像信号は合成部７で合成され、合成部７からはカラー画像信号が出力される。カラー画像信号は、その他画像処理をした後、図示しない表示部に伝送されるとともに、図示しない圧縮回路を介して図示しない記録メディアに伝送される。

上記の処理は、各処理部１〜７に接続するコントローラ８の制御に従って、各処理部１〜７が動作することにより行われる。

図３は図１の高域画像信号生成部４の詳細を示したものである。これを参照しながら高域画像信号生成部４の処理について説明する。

高域画像信号生成部４に入力されるベイヤ画像信号は、エッジ方向判定部４１、Yエッジ信号生成部４２及びGエッジ信号生成部４３に入力される。

エッジ方向判定部４１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv, Dz, Dn、斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dt、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。算出された斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvはYG混合率算出部４４に入力される。

YG混合率算出部４４では、斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvからYG混合率D"mixを算出する。YG混合率D"mixはYG混合部４５に入力される。

Yエッジ信号生成部４２では、ベイヤ画像信号のRGB成分からYエッジ信号Eyを生成しYG混合部４５へ入力する。

Gエッジ信号生成部４３では、ベイヤ画像信号のG成分からGエッジ信号Egを生成しYG混合部４５へ入力する。

YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき混合し、高域画像信号Eygを出力する。

次に各処理部の処理について詳細に説明する。

エッジ方向判定部４１では、水平、垂直、斜め45度、斜め135度のエッジ方向指標Dh, Dv, Dz, Dnをベイヤ画像信号から算出する。ここでは、簡略化のため、ベイヤ画像が図４に示す４画素×４画素(p11〜p44)であるとして説明する。

まず、輝度値(Y1〜Y9)をベイヤ画像信号の２×２画素から次式(1)により算出する。

Y1 = p11 + p21 + p12 + p22
Y2 = p21 + p31 + p22 + p32
Y3 = p31 + p41 + p32 + p42
Y4 = p12 + p22 + p13 + p23
Y5 = p22 + p32 + p23 + p33
Y6 = p32 + p42 + p33 + p43
Y7 = p13 + p23 + p14 + p24
Y8 = p23 + p33 + p24 + p34
Y9 = p33 + p43 + p34 + p44
・・・(1)
次に、エッジ方向指標Dh, Dv, Dz, Dnを次式(2)により算出する。

Dh = |Y4 − Y5| + |Y6 − Y5|
Dv = |Y2 − Y5| + |Y8 − Y5|
Dz = |Y3 − Y5| + |Y7 − Y5|
Dn = |Y1 − Y5| + |Y9 − Y5|
・・・(2)
エッジ方向指標の値が小さい方向がエッジの方向であることを示している。

なお、エッジ方向指標Dh, Dv, Dz, Dnは、この例ではベイヤRGB全色に基づき算出しているが、ベイヤGのみから算出しても良い。また、算出方法もこの例の方法に限らず、色差に基づき算出する等、他の算出方法を用いても良い。また、水平、垂直のエッジ方向指標Dh, Dvを色差に基づき算出し、斜め45度、斜め135度のエッジ方向指標Dz, DnをベイヤRGB全色に基づき算出する等、異なる算出方法を組み合わせても構わない。

さらに、エッジ方向判定部４１では、斜め方向のエッジ方向指標Dz, Dnを用いて斜め方向エッジ判別指標Dtを次式(3)により算出する。

Dt = (Dz − Dn) / (Dz + Dn)
・・・(3)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。

また、エッジ方向指標Dh, Dvを用いて水平垂直方向エッジ判別指標Dhvを次式(4)により算出する。

Dhv = (Dh − Dv) / (Dh + Dv)
・・・(4)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。

YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egとの第１の混合率Dmixを次式(5)により算出する。関数Func1()は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。

Dmix = Func1(Dt)
0≦Dmix≦1
・・・(5)
関数Func1()は図５に示すものに限らず、第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。

また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egの第２の混合率D'mixを次式(6)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。

D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(6)
関数Func2()は図６に示すものに限らず、第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。

そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(7)により算出する。

D"mix = (Dmix + D'mix) / 2
・・・(7)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。

Yエッジ信号生成部４２では、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。輝度Y画素をY１からY9をすると、Yエッジ信号生成部４２はY1からY9を次式(8)により算出する。

Y1 = (p11 + p21 + p12 + p22) / 4
Y2 = (p21 + p31 + p22 + p32) / 4
Y3 = (p31 + p41 + p32 + p42) / 4
Y4 = (p12 + p22 + p13 + p23) / 4
Y5 = (p22 + p32 + p23 + p33) / 4
Y6 = (p32 + p42 + p33 + p43) / 4
Y7 = (p13 + p23 + p14 + p24) / 4
Y8 = (p23 + p33 + p24 + p34) / 4
Y9 = (p33 + p43 + p34 + p44) / 4
・・・(8)
そして輝度Y画像信号に対して任意に設計したＨＰＦを処理することでYエッジ信号Eyを生成する。

同様に、Gエッジ信号生成部４３では、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。輝度G画素をG１からG９をすると、Gエッジ信号生成部４３は、p11がG画素であれば、G1からG9を次式(9)により算出する。

G1 = (p11 + p22) / 2
G2 = (p31 + p22) / 2
G3 = (p31 + p42) / 2
G4 = (p22 + p13) / 2
G5 = (p22 + p33) / 2
G6 = (p42 + p33) / 2
G7 = (p13 + p24) / 2
G8 = (p33 + p24) / 2
G9 = (p33 + p44) / 2
・・・(9)
そして輝度G画像信号に対して任意に設計したＨＰＦを処理することでGエッジ信号Egを生成する。

なお、この例ではベイヤ画像信号から輝度Y画像信号、輝度G画像信号を生成し、ＨＰＦ処理をすることでYエッジ信号Ey、Gエッジ信号Egを生成しているが、同様の効果が得られるＨＰＦを直接ベイヤ画像信号に対して処理することで、Yエッジ信号Ey、Gエッジ信号Egを生成しても良い。また、HPF処理は特定の周波数帯域を抽出するBPF処理であっても良い。

YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(10)により混合し、高域画像信号Eygを算出する。

Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(10)
続いて上記画像処理を行うことによる作用効果について説明する。

上記画像処理では、エッジの方向に基づきYエッジ信号EyとGエッジ信号EgのYG混合率D"mix(第1の混合率Dmix、第２の混合率Dmix')を算出し、このYG混合率D"mixに基づきYエッジ信号EyとGエッジ信号Egを合成するようにした。

具体的には、斜め方向のYエッジの指向性が強く、斜め方向エッジ判別指標Dtが示すエッジの指向性が強いときは、Yエッジ信号Eyに含まれるモアレが少ないので、Yエッジ信号Eyの割合が大きくなるようにYG混合率D"mix(第１の混合率Dmix)を算出するようにした。また、水平及び垂直のいずれかにYエッジ信号Eyの指向性が強く、水平垂直方向エッジ判別指標Dhvが示すエッジの指向性が強いときは、Gエッジ信号Egに含まれるモアレが少ないので、Gエッジ信号Egの割合が大きくなるようにYG混合率D"mix(第２の混合率Dmix')を算出するようにした。

RGBベイヤ画像信号のRGB成分から得られるYエッジ信号に含まれるモアレ、RGBベイヤ画像信号のG成分から得られるGエッジ信号に含まれるモアレは、それぞれエッジの方向の影響を受けるので、上記画像処理によれば、モアレの少ない高精細な高域成分を生成することができる。

また、上記画像処理はハードウェアによる処理を前提としているが、このような構成に限定される必要はなく、ソフトウェアにて処理する構成も可能である。

図８は、上記画像処理をソフトウェアにより実現する場合の画像処理プログラムのフローチャートを示す。以下、各ステップの処理内容について説明する。

ステップＳ１では、ベイヤ画像信号を入力する。

ステップＳ２では、ベイヤ画像信号から水平・垂直・右上がり・右下がりのエッジ方向指標Dh, Dv, Dz, Dnを算出する。

ステップＳ３では、右上がり・右下がりのエッジ方向指標Dz, Dnから斜め方向エッジ判別指標Dtを算出する。

ステップＳ４では、水平・垂直のエッジ方向指標Dh, Dvから水平垂直方向エッジ判別指標Dhvを算出する。

ステップＳ５では、ベイヤ画像信号のRGB成分からYエッジ信号Eyを生成する。

ステップＳ６では、ベイヤ画像信号のG成分からGエッジ信号Egを生成する。

ステップＳ７では、斜め方向エッジ判別指標Dtから第１の混合率Dmixを算出する。

ステップＳ８では、水平垂直方向エッジ判別指標Dhvから第２の混合率D'mixを算出する。

ステップＳ９では、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを算出する。

ステップＳ１０では、YG混合率D"mixに基づきYエッジ信号EyとGエッジEg信号を混合して高域画像信号Eygを生成する。

ステップＳ１１では、高域画像信号Eygを出力する。

このようにソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

第２の実施形態
第２の実施形態は、エッジ方向判定部４１において、画像のノイズ量Ntを考慮して斜め方向エッジ判別指標Dtを算出し、画像のノイズ量Nhvを考慮して水平垂直方向エッジ判別指標Dhvを算出する点が第１の実施形態と相違する。以下、第1の実施形態との相違点を中心に説明する。

図９は第２の実施形態における高域画像信号生成部４のブロック図である。

エッジ方向判定部４１では、エッジ方向指標Dz, Dn、画像のノイズ量Ntに基づき斜め方向エッジ判別指標Dtを次式(11)により算出する。画像のノイズ量Ntは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される。

Dt = (Dz − Dn) / (Dz + Dn + Nt)
・・・(11)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。

また、エッジ方向判定部４１では、エッジ方向指標Dh, Dv、画像のノイズ量Nhvに基づき、水平垂直方向エッジ判別指標Dhvを次式(12)により算出する。画像のノイズ量Nhvは画像のノイズ量Ntと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(12)
第２の判定指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。

その他の処理については第１の実施形態と同様である。

この第２の実施形態によれば、第１の実施形態の作用効果に加え、画像に含まれるノイズによって斜め方向エッジ判別指標Dt、水平垂直方向エッジ判別指標Dhvの精度が落ちるのを防止することができ、画像のノイズ量が多い場合でも高精細な画像を得ることができるという作用効果がある。

なお、この第２の実施形態も第１の実施形態同様にソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

第３の実施形態
第３の実施形態は、第２の実施形態と以下の点：
・Yエッジ信号生成部４２において、エッジ方向判定部４１からのエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づいてYエッジ信号を生成する点
・Gエッジ信号生成部４３において、エッジ方向判定部４１からのエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づいてGエッジ信号を生成する点
において相違する。以下、第２の実施形態との相違点を中心に説明する。

図１０は第３の実施形態における高域画像信号生成部４のブロック図である。

これについて説明すると、ベイヤ画像信号はエッジ方向判定部４１、Yエッジ信号生成部４２、Gエッジ信号生成部４３に入力される。

エッジ方向判定部４１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv, Dz, Dn、斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dt、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。水平垂直方向エッジ判別指標Dhv及び斜め方向エッジ判別指標DtはYG混合率算出部４４に入力される。またエッジ方向指標Dh, Dv, Dz, DnはYエッジ信号生成部４２及びGエッジ信号生成部４３に入力される。

Yエッジ信号生成部４２はベイヤ画像信号のRGB成分からYエッジ抽出部４２１においてYエッジ信号Eyh, Eyv, Eyz, Eynを生成する。そして、Yエッジ混合部４２２においてエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づきYエッジ信号Eyh, Eyv, Eyz, Eynを混合してYエッジ信号Eyを生成し、YG混合部４５へ入力する。画像のノイズ量Ndは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される値である。

Gエッジ信号生成部４３はベイヤ画像信号のG成分からGエッジ抽出部４３１においてGエッジ信号Egh, Egv, Egz, Egnを生成する。そして、Gエッジ混合部４３２においてエッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndに基づきGエッジ信号Egh, Egv, Egz, Egnを合成してGエッジ信号Egを生成し、YG混合部４５へ入力する。

次に各処理部の処理について詳細に説明する。

エッジ方向判定部４１では、水平、垂直、斜め45度、斜め135度のエッジ方向指標Dh, Dv, Dz, Dnをベイヤ画像信号から算出する。ここでは、簡略化のため、ベイヤ画像信号が図４に示す４画素×４画素(p11〜p44)であるとして説明する。

まず、輝度値(Y1〜Y9)をベイヤ画像信号の２×２画素から次式(13)により算出する。

Y1 = p11 + p21 + p12 + p22
Y2 = p21 + p31 + p22 + p32
Y3 = p31 + p41 + p32 + p42
Y4 = p12 + p22 + p13 + p23
Y5 = p22 + p32 + p23 + p33
Y6 = p32 + p42 + p33 + p43
Y7 = p13 + p23 + p14 + p24
Y8 = p23 + p33 + p24 + p34
Y9 = p33 + p43 + p34 + p44
・・・(13)
次に、エッジ方向指標Dh, Dv, Dz, Dnを次式(14)により算出する。

Dh = |Y4 − Y5| + |Y6 − Y5|
Dv = |Y2 − Y5| + |Y8 − Y5|
Dz = |Y3 − Y5| + |Y7 − Y5|
Dn = |Y1 − Y5| + |Y9 − Y5|
・・・(14)
エッジ方向指標の値が小さい方向がエッジの方向であることを示している。

なお、エッジ方向指標は、この例ではベイヤRGB全色に基づき算出しているがベイヤGのみから算出しても良い。また、算出方法もこの例の方法に限らず、色差に基づき算出する等、他の算出方法を用いても良い。また、水平、垂直のエッジ方向指標を色差に基づき算出し、斜め45度、斜め135度のエッジ方向指標をベイヤRGB全色に基づき算出する等、異なる算出方法を組み合わせても構わない。

さらに、エッジ方向判定部４１では、斜め方向のエッジ方向指標Dz, Dn、画像のノイズ量Ntを用いて斜め方向エッジ判別指標Dtを次式(15)により算出する。画像のノイズ量Ntは画像のノイズ量Ndと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Dt = (Dz − Dn) / (Dz + Dn + Nt)
・・・(15)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。

また、エッジ方向指標Dh, Dv、画像のノイズ量Nhvを用いて水平垂直方向エッジ判別指標Dhv次式(16)により算出する。画像のノイズ量Nhvは画像のノイズ量Ndと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(16)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。

YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egの第１の混合率Dmixを次式(17)により算出する。関数Func1(1)は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。

Dmix = Func1(Dt)
0≦Dmix≦1
・・・(17)
関数Func1()は図５に示すものに限らず第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。

また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egの第２の混合率D'mixを次式(18)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。

D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(18)
関数Func2()は図６に示すものに限らず第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。

そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(19)により算出する。

D"mix = (Dmix + D'mix) / 2
・・・(19)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。

Yエッジ信号生成部４２では、まず、Yエッジ抽出部４２１において、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。そして輝度Y画像信号に対して任意に設計した水平、垂直、斜め45度、斜め135度のエッジを抽出する４つのＨＰＦを処理することで、水平Yエッジ信号Eyh、垂直Yエッジ信号Eyv、斜め45度Yエッジ信号Eyz、斜め135度Yエッジ信号Eynを生成する。

そして、Yエッジ混合部４２２において、エッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndを用いて次式(20)によりYエッジ信号Eyh, Eyv, Eyz, Eynを混合し、Yエッジ信号Eyを生成する。

Ey = [(Dh + Nd) / (Dd + 4Nd)]×Eyh + [(Dv + Nd) / (Dd + 4Nd)]×Eyv
+[(Dz + Nd) / (Dd + 4Nd)]×Eyz + [(Dn + Nd) / (Dd + 4Nd)]×Eyn
Dd = Dh + Dv + Dz + Dn
・・・(20)
式(20)によれば、画像のノイズ量Ndが多くエッジの方向判別が困難な場合は、Eyh、Eyv、Eyz、Eynを同等の比率で混合することになる。

同様に、Gエッジ信号生成部４３では、まず、Gエッジ抽出部４３１において、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。そして輝度G画像信号に対して任意に設計した水平、垂直、斜め45度、斜め135度のエッジを抽出する４つのＨＰＦを処理することで水平Gエッジ信号Egh、垂直Gエッジ信号Egv、斜め45度Gエッジ信号Egz、斜め135度Gエッジ信号Egnを生成する。

そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dv, Dz, Dn、画像のノイズ量Ndを用いて次式(21)によりGエッジ信号Egh, Egv, Egz, Egnを混合し、Gエッジ信号Egを生成する。

Eg = [(Dh + Nd) / (Dd + 4Nd)]×Egh + [(Dv + Nd) / (Dd + 4Nd)]×Egv
+[(Dz + Nd) / (Dd + 4Nd)]×Egz + [(Dn + Nd) / (Dd + 4Nd)]×Egn
Dd = Dh + Dv + Dz + Dn
・・・(21)
式(21)によれば、画像のノイズ量Ndが多くエッジの方向判別が困難な場合は、Gエッジ信号Egh、Egv、Egz、Egnを同等の比率で混合することになる。
なお、この例ではベイヤ画像信号から輝度Y画像、輝度G画像を生成し、任意の方向のエッジを抽出するＨＰＦ処理をすることで任意の方向のYエッジ信号Ey、Gエッジ信号Egを生成しているが、同様の効果が得られるＨＰＦを直接ベイヤ画像信号に対して処理することで、任意の方向のYエッジ信号Ey、Gエッジ信号Egを生成するようにしても良い。また、HPF処理は特定の周波数帯域を抽出するBPF処理であっても良い。

YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(22)により混合し、高域画像信号Eygを算出する。

Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(22)
この第３の実施形態によれば、第１、第２の実施形態の作用効果に加え、Gエッジ信号及びYエッジ信号がエッジの方向に基づいて生成されるため、より滑らかなエッジを生成することができる。

なお、この第３の実施形態においても、他の実施形態と同様にソフトウェアにて処理する構成も可能である。

図１１に第３の実施形態を実現する画像処理プログラムのフローチャートを示す。

ステップＳ２１では、ベイヤ画像信号を入力する。

ステップＳ２２では、ベイヤ画像信号から水平・垂直・右上がり・右下がりのエッジ方向指標Dh, Dv, Dz, Dnを算出する。

ステップＳ２３では、右上がり・右下がりのエッジ方向指標Dz, Dn及びノイズ量Ntから斜め方向エッジ判別指標Dtを算出する。

ステップＳ２４では、水平・垂直のエッジ方向指標Dh, Dv及びノイズ量Nhvから水平垂直方向エッジ判別指標Dhvを算出する。

ステップＳ２５では、ベイヤ画像信号のRGB成分から各方向のYエッジ信号Eyh, Eyv, Eyz, Eynを生成する。

ステップＳ２６では、エッジ方向指標Dh, Dv, Dz, Dn及びノイズ量Ndに基づき各方向のYエッジ信号Eyh, Eyv, Eyz, Eynを合成してYエッジ信号Eyを生成する。

ステップＳ２７では、ベイヤ画像信号のG成分から各方向のGエッジ信号Egh, Egv, Egz, Egnを生成する
ステップＳ２８では、エッジ方向指標Dh, Dv, Dz, Dn及びノイズ量Ndに基づき各方向のGエッジ信号Egh, Egv, Egz, Egnを合成してGエッジ信号Egを生成する。

ステップＳ２９では、斜め方向エッジ判別指標Dtから第１の混合率Dmixを算出する。

ステップＳ３０では、水平垂直方向エッジ判別指標Dhvから第２の混合率D'mixを算出する。

ステップＳ３１では、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを算出する。

ステップＳ３２では、YG混合率D"mixに基づきYエッジ信号EyとGエッジ信号Egを混合して高域画像信号Eygを生成する。

ステップＳ３３では、高域画像信号Eygを出力する。

第４の実施形態
第４の実施形態は、第３の実施形態と以下の点：
・エッジ方向判定部がGエッジ信号生成に最適な第１エッジ方向判定部４１１とYエッジ信号生成に最適な第２エッジ方向判定部４１２で構成される点
において相違する。以下、第３の実施形態との相違点の中心に説明する。

図１２は第４の実施形態における高域画像信号生成部４のブロック図である。

これについて説明すると、ベイヤ画像信号は第１エッジ方向判定部４１１、第２エッジ方向判定部４１２、Yエッジ信号生成部４２、Gエッジ信号生成部４３に入力される。

第１エッジ方向判定部４１１では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dh, Dv、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標Dhvを算出する。エッジ方向指標Dh, DvはGエッジ信号生成部４３に入力され、水平垂直方向エッジ判別指標DhvはYG混合率算出部４４に入力される。

第２エッジ方向判定部４１２では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dz, Dn、斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dtを算出する。エッジ方向指標Dz, DnはYエッジ信号生成部４２に入力され、斜め方向エッジ判別指標DtはYG混合率算出部４４に入力される。

Yエッジ信号生成部４２では、Yエッジ抽出部４２１においてベイヤ画像信号のRGB成分からYエッジ信号Eyz, Eynを生成する。そして、Yエッジ混合部４２２においてエッジ方向指標Dz, Dnに基づきYエッジ信号Eyz, Eynを合成してYエッジ信号Eyを生成し、YG混合部４５へ入力する。

Gエッジ信号生成部４３では、Gエッジ抽出部４３１においてベイヤ画像信号のG成分からGエッジ信号Egh, Egvを生成する。そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dvに基づきGエッジ信号Egh, Egvを合成してGエッジ信号Egを生成しYG混合部４５へ入力する。

次に各処理部の処理について詳細に説明する。

第１エッジ方向判定部４１１では、エッジ方向指標Dh, Dvを、水平垂直をより高精度に判別できる算出方法（例えば、色差を用いた方法）により算出する。また、エッジ方向指標Dh, Dv、画像のノイズ量Nhvから水平垂直方向エッジ判別指標Dhvを次式(23)により算出する。画像のノイズ量Nhvは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される値である。

Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(23)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。

第２エッジ方向判定部４１２では、エッジ方向指標Dz, Dnを、斜め45度135度をより高精度に判別する算出方法（例えば、輝度Yを用いた方法）により算出する。また、斜め方向のエッジ方向指標Dz, Dn、画像のノイズ量Ntを用いて斜め方向エッジ判別指標Dtを次式(24)により算出する。画像のノイズ量Ntは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Dt = (Dz − Dn) / (Dz + Dn + Nt)
・・・(24)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。

YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egの第１の混合率Dmixを次式(25)により算出する。関数Func1()は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。

Dmix = Func1(Dt)
0≦Dmix≦1
・・・(25)
関数Func1()は図５に示すものに限らず第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。

また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egの第２の混合率D'mixを次式(26)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。

D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(26)
関数Func2()は図６に示すものに限らず第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。

そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(27)により算出する。

D"mix = (Dmix + D'mix) / 2
・・・(27)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。

Yエッジ信号生成部４２では、まず、Yエッジ抽出部４２１において、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。そして輝度Y画像信号に対して任意に設計した斜め45度、斜め135度のエッジを抽出する２つのＨＰＦを処理することで斜め45度Yエッジ信号Eyz、斜め135度Yエッジ信号Eynを生成する。

そして、Yエッジ混合部４２２において、エッジ方向指標Dz, Dn、ノイズ量N'dを用いて次式(28)によりYエッジ信号Eyz, Eynを混合し、Yエッジ信号Eyを生成する。画像のノイズ量N'dは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Ey = [(Dz + N'd) / (Dd + 2N'd)]×Eyz + [(Dn + N'd) / (Dd + 2N'd)]×Eyn
Dd = Dz + Dn
・・・(28)
式(28)によれば、画像のノイズ量N'dが多くエッジの方向判別が困難な場合は、Eyz、Eynを同等の比率で混合することになる。

同様に、Gエッジ信号生成部４３では、まず、Gエッジ抽出部４３１において、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。そして輝度G画像信号に対して任意に設計した水平、垂直のエッジを抽出する２つのＨＰＦを処理することで水平Gエッジ信号Egh、垂直Gエッジ信号Egvを生成する。

そして、Gエッジ混合部４３２では、エッジ方向指標Dh, Dv、ノイズ量Ndを用いて次式(29)によりGエッジ信号Egh, Egvを混合し、Gエッジ信号Egを生成する。画像のノイズ量Ndは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Eg = [(Dh + Nd) / (Dd + 2Nd)]×Egh + [(Dv + Nd) / (Dd + 2Nd)]×Egv
Dd = Dh + Dv
・・・(29)
式(29)によれば、画像のノイズ量Ndが多くエッジの方向判別が困難な場合は、Gエッジ信号Egh、Egvを同等の比率で混合することになる。

YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(30)により混合し、高域画像信号Eygを算出する。

Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(30)
この第４の実施形態によれば、第３の実施形態と同様に、Yエッジ信号及びGエッジ信号がエッジの方向に基づいて生成されるため、より滑らかなエッジを生成することができる。

なお、この第４の実施形態も他の実施形態同様にソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

第５の実施形態
第５の実施形態は、第４の実施形態と以下の点：
・斜め方向エッジ判別指標Dtが、エッジ方向判定部４１で算出されるエッジ方向指標Dz, Dnではなく後述するYエッジ抽出部４２１で生成されたYエッジ信号Eyz, Eynに基づき算出される点
において相違する。以下、第４の実施形態との相違点を中心に説明する。

図１３は第５の実施形態における高域画像信号生成部４のブロック図である。

第２エッジ方向判定部４１２では、ベイヤ画像信号からエッジの方向を示すエッジ方向指標Dz, Dnを算出する。エッジ方向指標Dz, DnはYエッジ信号生成部４２に入力される。

Yエッジ信号生成部４２では、Yエッジ抽出部４２１において、ベイヤ画像信号のRGB成分からYエッジ信号Eyz, Eynを生成する。そして、Yエッジ混合部４２２において、エッジ方向指標Dz, Dnに基づきYエッジ信号Eyz, Eynを合成してYエッジ信号Eyを生成し、YG混合部４５へ入力する。さらに、Yエッジ抽出部４２１において、Yエッジ信号Eyz, Eynに基づき斜め方向（斜め上方向あるいは斜め下方向）のエッジの指向性の強さを示す斜め方向エッジ判別指標Dtを算出し、YG混合率算出部４４へ入力する。

Gエッジ信号生成部４３では、Gエッジ抽出部４３１において、ベイヤ画像信号のG成分からGエッジ信号Egh, Egvを生成する。そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dvに基づきGエッジ信号Egh, Egvを合成してGエッジ信号Egを生成し、YG混合部４５へ入力する。

YG混合率算出部４４では、斜め方向エッジ判別指標Dt及び水平垂直方向エッジ判別指標DhvからYG混合率D"mixを算出する。YG混合率D"mixはYG混合部４５へ入力する。

YG混合部４５では、Yエッジ信号Ey及びGエッジ信号EgをYG混合率D"mixに基づき混合し、高域画像信号Eygを出力する。

次に各処理部の処理について詳細に説明する。

第１エッジ方向判定部４１１では、エッジ方向指標Dh, Dvを、水平垂直をより高精度に判別できる算出方法（例えば、色差を用いた方法）により算出する。

また、エッジ方向指標Dh, Dv、画像のノイズ量Nhvから水平垂直方向エッジ判別指標Dhvを次式(31)により算出する。画像のノイズ量Nhvは画像のノイズ量が多いほど（ISO感度が高いほど）大きな値に設定される値である。

Dhv = (Dh − Dv) / (Dh + Dv + Nhv)
・・・(31)
水平垂直方向エッジ判別指標Dhvは、-1 < Dhv < 1の値であり、水平垂直方向エッジ判別指標Dhvが1または-1に近いほど水平方向あるいは垂直方向のエッジの指向性が強いことを示す。また、画像のノイズ量Nhvが大きいほどエッジの判別精度が落ちるため、水平垂直方向エッジ判別指標Dhvは小さな値となる。

第２エッジ方向判定部４１２では、エッジ方向指標Dz, Dnを、斜め45度135度をより高精度に判別する算出方法（例えば、輝度Yを用いた方法）により算出する。

Yエッジ信号生成部４２では、Yエッジ抽出部４２１において、図７(Ａ)に示すようにベイヤ画像信号の２×２画素から１つの輝度Y画素を算出し、輝度Y画像信号を生成する。そして輝度Y画像信号に対して任意に設計した斜め45度、斜め135度のエッジを抽出する２つのＨＰＦを処理することで斜め45度Yエッジ信号Eyz、斜め135度Yエッジ信号Eynを生成する。

そして、Yエッジ混合部４２２では、エッジ方向指標Dz, Dn、画像のノイズ量N'dを用いて次式(32)によりYエッジ信号Eyz, Eynを混合し、Yエッジ信号Eyを生成する。画像のノイズ量N'dは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Ey =[(Dz + N'd) / (Dd + 2N'd)]×Eyz + [(Dn + N'd) / (Dd + 2N'd)]×Eyn
Dd = Dz + Dn
・・・(32)
式(32)によれば、画像のノイズ量N'dが多くエッジの方向判別が困難な場合は、Yエッジ信号Eyz、Eynを同等の比率で混合することになる。

さらに、Yエッジ抽出部４２１において、Yエッジ信号Eyz, Eyn、画像のノイズ量Ntを用いて次式(33)により斜め方向エッジ判別指標Dtを算出する。画像のノイズ量Ntは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Dt = (Eyz − Eyn) / (Eyz + Eyn + Nt)
・・・(33)
斜め方向エッジ判別指標Dtは、-1 < Dt < 1の値であり、斜め方向エッジ判別指標Dtが1または-1に近いほど斜め方向のエッジの指向性が強いことを示す。また、画像のノイズ量Ntが大きいほどエッジの判別精度が落ちるため、斜め方向エッジ判別指標Dtは小さな値となる。

同様に、Gエッジ信号生成部４３では、Gエッジ抽出部４３１において、図７(Ｂ)に示すようにベイヤ画像信号の２つのG画素から１つの輝度G画素を算出し、輝度G画像信号を生成する。そして輝度G画像信号に対して任意に設計した水平、垂直のエッジを抽出する２つのＨＰＦを処理することで水平Gエッジ信号Egh、垂直Gエッジ信号Egvを生成する。

そして、Gエッジ混合部４３２において、エッジ方向指標Dh, Dv、画像のノイズ量Ndを用いて次式(34)によりこれらを混合し、Gエッジ信号Egを生成する。画像のノイズ量Ndは画像のノイズ量Nhvと同じ値で構わないが、ここでは微調整ができるように別パラメータとしている。

Eg = [(Dh + Nd) / (Dd + 2Nd)]×Egh + [(Dv + Nd) / (Dd + 2Nd)]×Egv
Dd = Dh + Dv
・・・(34)
式(34)によれば、画像のノイズ量Ndを用いてノイズが多くてエッジの方向判別が困難な場合はGエッジ信号Egh、Egvを同等の比率で混合するようにする。

YG混合率算出部４４では、斜め方向エッジ判別指標DtからYエッジ信号EyとGエッジ信号Egの第１の混合率Dmixを次式(35)により算出する。関数Func1()は、例えば図５に示すように斜め方向エッジ判別指標Dtが0で第１の混合率Dmixが最も小さな値となり、斜め方向エッジ判別指標Dtが0から離れるほど第１の混合率Dmixが大きくなる関数である。

Dmix = Func1(Dt)
0≦Dmix≦1
・・・(35)
関数Func1()は図５に示すものに限らず第１の混合率Dmixと斜め方向エッジ判別指標Dtが上記の関係を満たすものであれば他の関数であっても良い。

また、水平垂直方向エッジ判別指標DhvからYエッジ信号EyとGエッジ信号Egとの第２の混合率D'mixを次式(36)により算出する。関数Func2()は、例えば図６に示すように水平垂直方向エッジ判別指標Dhvが0で第２の混合率D'mixが最も大きな値となり、水平垂直方向エッジ判別指標Dhvが0から離れるほど第２の混合率D'mixが小さくなる関数である。

D'mix = Func2(Dhv)
0≦D'mix≦1
・・・(36)
関数Func2()は図６に示すものに限らず第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvが上記の関係を満たすものであれば他の関数であっても良い。

そして、第１の混合率Dmixと第２の混合率D'mixからYG混合率D"mixを次式(37)により算出する。

D"mix = (Dmix + D'mix) / 2
・・・(37)
なお、ここでは、YG混合率D"mixを第１の混合率Dmixと第２の混合率D'mixの平均値としているが、加重平均や第１の混合率Dmixと第２の混合率D'mixの積としてもよい。

YG混合部４５では、Yエッジ信号EyとGエッジ信号EgをYG混合率D"mixに基づき、次式(38)により混合し、高域画像信号Eygを算出する。

Eyg = (1 − D"mix)×Eg + D"mix×Ey
・・・(38)
この第５の実施形態によれば、第４の実施形態と同様に、Yエッジ信号及びGエッジ信号がエッジの方向に基づいて生成されるため、より滑らかなエッジを生成することができる。

なお、この第５の実施形態も他の実施形態同様にソフトウェアにより処理する構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。

以上、本発明の実施形態について説明したが、上記実施形態に係る画像処理装置は放送用据え置き型カメラ、ENGカメラ、民生用ハンディカメラ、デジタルカメラ等、様々な製品に搭載可能である。また、上記画像処理プログラムは、動画を扱う画像信号補正プログラム（CGプログラム）、画像編集装置などにも利用可能である。

また、上記第１から第５の実施形態では、斜め方向エッジ判別指標Dt、水平垂直方向エッジ判別指標Dhvの両方を用いてYエッジ信号EyとGエッジ信号EgのYG混合率D"mixを算出しているが、これを簡略化して、斜め方向エッジ判別指標Dt、水平垂直方向エッジ判別指標Dhvのいずれか一方をYエッジ信号EyとGエッジ信号EgのYG混合率D"mixとして用いても構わない。

ベイヤ画像信号からカラー画像信号を生成する画像処理装置のブロック図である。 RGBベイヤ配列及びその他の配列の例を示す図である。高域画像信号生成部のブロック図である。エッジ方向指標算出のためのベイヤ画像信号の一例である。第１の混合率Dmixと斜め方向エッジ判別指標Dtの関係を表した図である。第２の混合率D'mixと水平垂直方向エッジ判別指標Dhvの関係を表した図である。ベイヤ画像信号から輝度Y画像信号、輝度G画像信号を生成する様子を示した図である。第１の実施形態をソフトウェア処理により実現する場合の画像処理プログラムのフローチャートである。第２の実施形態における高域画像信号生成部のブロック図である。第３の実施形態における高域画像信号生成部のブロック図である。第３の実施形態をソフトウェア処理により実現する場合の画像処理プログラムのフローチャートである。第４の実施形態における高域画像信号生成部のブロック図である。第５の実施形態における高域画像信号生成部のブロック図である。

符号の説明

４高域画像信号生成部
４１エッジ方向判定部
４２ Yエッジ信号生成部
４３ Gエッジ信号生成部
４４ YG混合率算出部
４５ YG混合部

Claims

欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理装置において、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定手段と、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成手段と、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成手段と、
前記エッジ方向判定手段の判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出手段と、
前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合手段と、
を備えたことを特徴とする画像処理装置。
前記エッジ方向判定手段は、斜め方向のエッジの指向性の強さを示す斜め方向エッジ判別指標を算出し、
前記エッジ混合率算出手段は、前記斜め方向エッジ判別指標が示すエッジの指向性が強いほど前記第１のエッジ信号の割合が大きくなるように前記混合率を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
前記エッジ方向判定手段は、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標を算出し、
前記エッジ混合率算出手段は、前記水平垂直方向エッジ判別指標が示すエッジの指向性が強いほど前記第２のエッジ信号の割合が大きくなるように前記混合率を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
前記エッジ方向判定手段は、斜め方向のエッジの指向性の強さを示す斜め方向エッジ判別指標を算出するとともに、水平方向あるいは垂直方向にエッジの指向性の強さを示す水平垂直方向エッジ判別指標を算出し、
前記エッジ混合率算出手段は、前記斜め方向エッジ判別指標が示すエッジの指向性が強いほど前記第１のエッジ信号の割合が大きくなるように第１の混合率を算出し、前記水平垂直方向エッジ判別指標が示すエッジの指向性が強いほど前記第２のエッジ信号の割合が大きくなるように第２の混合率を算出し、前記第１の混合率と前記第２の混合率を合成して前記混合率を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
前記エッジ方向判定手段は、画像に含まれるノイズ量が多いほど前記斜め方向エッジ判別指標を小さく算出することを特徴とする請求項２または４に記載の画像処理装置。
前記エッジ方向判定手段は、画像に含まれるノイズ量が多いほど前記水平垂直方向エッジ判別指標を小さく算出することを特徴とする請求項３または４に記載の画像処理装置。
前記第１のエッジ信号生成手段は、前記エッジ方向判定手段の判定結果に基づき、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から前記第１のエッジ信号を生成する、
ことを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
前記第２のエッジ信号生成手段は、前記エッジ方向判定手段の判定結果に基づき、前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定色成分から前記第２のエッジ信号を生成する、
ことを特徴とする請求項１から７のいずれか１つに記載の画像処理装置。
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理方法において、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成ステップと、
前記エッジ方向判定ステップの判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出ステップと、
前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合ステップと、
を含むことを特徴とする画像処理方法。
欠落する色成分を有する画素を含んで構成されたカラー画像信号に対して前記欠落する色成分を補間することで得られる補間後のカラー画像信号の高域成分を生成する画像処理プログラムにおいて、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号は特定の色成分が他の色成分より多い数で構成されたカラー画像信号であり、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号から画像のエッジの方向を判定するエッジ方向判定ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の全色成分から第１のエッジ信号を生成する第１のエッジ信号生成ステップと、
前記欠落する色成分を有する画素を含んで構成されたカラー画像信号の前記特定の色成分から第２のエッジ信号を生成する第２のエッジ信号生成ステップと、
前記エッジ方向判定ステップの判定結果から前記第１のエッジ信号と前記第２のエッジ信号の混合率を算出するエッジ混合率算出ステップと、
前記混合率に基づき前記第１のエッジ信号と前記第２のエッジ信号を混合し前記補間後のカラー画像信号の高域画像信号を生成するエッジ混合ステップと、
を含むことを特徴とする画像処理プログラム。