JP2010193381A - 信号処理装置および信号処理方法 - Google Patents

Abstract

【課題】回路規模の増大を招くことなく、被写体像の境界部分の画像処理を違和感なく行う信号処理装置を提供する。
【解決手段】信号処理装置１００では、同時化された映像信号に対して空間フィルタ部２１、２２により空間フィルタ処理を行うことで注目画素に周辺画素の信号成分を滲ませた後に特定信号領域に含まれるか否かを判定する。これにより、回路規模の増大を招くことなく、被写体像の境界部分の領域判定フラグを段階的に変化させることができるため、画像処理の効果を滑らかに切替えて違和感のない画像処理を実現することができる。
【選択図】図１

Description

本発明は、画像（映像）信号が形成する画像（映像）に対して、信号処理を行う信号処理装置および信号処理方法に関する。特に、画像中の特定の輝度信号領域や色差信号領域に含まれる部分（特定部分）と当該特定部分以外の部分とにおいて、輪郭補正処理、帯域制限処理、あるいはノイズ削減処理等の効果を変える信号処理を行う信号処理装置および信号処理方法に関する。

従来の撮像装置では、被写体を撮像する場合、撮像された画像の解像感や先鋭度を向上させるため、撮像装置や表示装置の信号処理として、被写体の輪郭や細かな模様のエッジ部分を強調する輪郭補正処理が行われている。さらに近年では、撮像装置に搭載される撮像素子の高画素化により高解像度化が進んでおり、撮像装置により取得される撮像画像上において、被写体のさらに細かな部分まで表現されるようになってきている。
一方、撮像素子の高画素化に伴い、画素サイズが微細化されている。このため、撮像素子により取得される信号に対するノイズ量が増えることになり、その結果、撮像素子により取得される信号のＳ／Ｎ比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が悪くなる。従来の撮像装置では、このＳ／Ｎ比の悪化に対する改善（Ｓ／Ｎ比改善）のためのノイズ削減処理も行われている。

一般的には、撮像装置において、輪郭補正処理により、画像の細部が強調されて解像感の向上した画像（映像）が取得されることが好まれる。しかし、撮像装置で、人物を被写体として撮像する場合、特に、女性の顔などを撮像する場合などには、輪郭補正処理を実行すると、顔の皺、しみ、にきびや肌荒れなども強調されることになり、被写体の女性や撮像装置のユーザが、これを嫌う場合が多い。そのため、従来の撮像装置では、画像の中で、例えば、色差信号が肌色の信号領域となる部分を検出し、その部分は、人物の肌であると判断して輪郭補正処理の効果を抑制する処理、あるいは、ノイズ削減処理の効果を強めてぼかすことにより、他の部分の解像感を保ったまま、望ましくない部分を隠す処理が行われている。
逆に、例えば、木の葉や芝生などは、細部をより詳細に表現するため、従来の撮像装置では、色差信号が緑色の信号領域となる部分を検出し、その部分は輪郭補正処理の効果をさらに強める処理を行い、ノイズ削減処理の効果を弱めるなどの処理が行われる場合もある。

なお、「信号領域」とは、領域を検出する際に使用する信号の信号形式により定義される色空間内（あるいは色平面内）（例えば、ＲＧＢ色空間、ＹＣｂＣｒ色空間、ＹＰｂＰｒ色空間、ｘｖＹＣＣ色空間、Ｌａｂ色空間（Ｌａ＊ｂ＊色空間）、ＩＱ色平面、ＰｂＰｒ色差平面、ＣｂＣｒ色差平面。Ｌａｂ色空間のａｂ色平面（Ｌａ＊ｂ＊色空間のａ＊ｂ＊色平面））において、映像信号が占める範囲のことをいう。上記の場合は、例えば、Ｐｂ軸、Ｐｒ軸や、Ｉ軸、Ｑ軸で表される色差平面で肌色や緑色に相当する色領域が、「信号領域」に該当する。
また、「色差信号が肌色や緑色の信号領域となる部分」とは、上記色差平面で肌色や緑色に相当する領域に含まれる映像信号が画像空間上すなわち画面内（画像上）で位置する部分のことをいい、例えば、映像信号が形成する画像上において、人物の顔や木の葉といった被写体像を形成している画像領域がこれに該当する。

しかしながら、画像の特定の部分と、当該特定の部分に隣接する部分との境界部分、例えば、人物の顔とその背景との境界部分で、上記のような輪郭補正処理やノイズ削減処理の効果を急激に変化させると不自然な画像となる。
これを解消するために、特定の部分と、当該特定の部分に隣接する部分との境界部分で輪郭補正やノイズ削減の効果を滑らかに変化させ、画質に違和感を与えないようにする方法が考えられる。このような従来の信号処理方法として、特許文献１がある。特許文献１に開示されている技術では、注目画素が特定色領域に含まれるか否かを特定色判定フラグにより示し、さらに、画像平面上において、注目画素の周辺の画素（例えば、３×３フィルタを用いる場合、注目画素の周辺の８画素）についても同様に特定色領域に含まれるか否かを特定色判定フラグにより示す。そして、注目画素およびその周辺画素（３×３フィルタを用いる場合、注目画素および周辺の８画素の合計９画素）の特定色判定フラグの値を基に輪郭補正やノイズ除去を行う。これにより、特許文献１に開示の技術では、特定色領域と特定色以外の領域の境界部分で輪郭補正やノイズ除去の効果が急激に変化しないようにしている。
特許第４２００７４５号

しかしながら、上記従来の信号処理方法では、注目画素以外に注目画素の周辺画素についても同時に特定色領域に含まれるか否かの判定が必要となる。周辺画素の中には画像の水平方向だけでなく垂直方向の画素も含まれるため、例えば３×３フィルタを用いる場合には、特定色領域に含まれるか否かを示す特定色判定フラグを９画素同時化（垂直方向の信号を同時化）、すなわち、所定のタイミング（時刻）において、９画素分の特定色判定フラグを同時に取得する必要がある。特定色判定フラグを９画素同時化するために、従来の信号処理方法を実行する信号処理装置は、以下の２つの構成のいずれかを採用する必要がある。
（１）従来の信号処理装置は、特定色判定フラグを生成した後に、映像信号と同じ様に特定色判定フラグ用のディレイラインを２ライン分余分に備える（例えば、ラインメモリ２つを備える）。これにより、９画素同時化する。
（２）従来の信号処理装置は、９画素同時化された色差信号から、当該９画素が、それぞれ、特定色領域に含まれるか否かを同時に判定して特定色判定フラグを生成するために、特定色領域検出回路を注目画素用以外に８個余分（注目画素の周辺画素８画素分）に備える。

上記２つの構成のいずれを採用する場合であっても、同時化するためのメモリまたは特定色領域検出回路が別途必要になるため、回路規模の増大を招くことになる。
本発明は上記従来の問題点を解決するもので、回路規模の増大を招くことなく、画像内の被写体の特定の部分とその隣接部分との境界部分で処理の効果を急激に変化させることなく、段階的に変化させることにより、違和感のない画像を取得することができる信号処理装置、信号処理方法、プログラムおよび集積回路を実現することを目的とする。

第１の発明は、空間演算処理部と、領域検出部と、画像処理部と、を備える信号処理装置である。
空間演算処理部は、第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、画像上において注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、第１画像信号から第２画像信号を生成する。領域検出部は、第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する。画像処理部は、領域検出部により生成された領域判定フラグに基づき、第１画像信号に対して所定の画像処理を行う。
この信号処理装置では、映像信号の注目画素が所定の信号領域に含まれるか否かを判定する前に隣接する画素との演算処理を行うことにより、注目画素に隣接する複数の画素の信号成分の影響が含まれるようになるため、注目画素が所定の信号領域と所定の信号領域以外の境界部分に含まれる画素であっても、領域判定フラグが急激に変化することがなく、所定の画像処理を段階的に（徐々に）行うことができる。

したがって、この信号処理装置により取得される画像（映像）は、所定の信号領域と、当該所定の信号領域以外の境界部分においても、所定の画像処理の効果が段階的に（徐々に）変化するため、自然な画像（映像）となる。例えば、「所定の信号領域」を「肌色領域」とすることで、女性の顔などを撮像する場合などに、顔の皺、しみ、にきびや肌荒れなどが強調されることを効果的に抑制するともに、「肌色領域」以外の画像領域においては、ディテール感を保持することができるので、被写体の女性やユーザが、好む自然な画像（映像）を、この信号処理装置により取得することができる。
なお、「第１画像信号」および「第２画像信号」は、画像を形成することができる信号（画像信号）だけでなく、映像を形成することができる信号（映像信号）も含む概念である。

また、「信号領域」とは、領域を検出する際に使用する信号の信号形式により定義される色空間内（あるいは色平面内）（例えば、ＲＧＢ色空間、ＹＣｂＣｒ色空間、ＹＰｂＰｒ色空間、ｘｖＹＣＣ色空間、Ｌａｂ色空間（Ｌａ＊ｂ＊色空間）、ＩＱ色平面、ＰｂＰｒ色差平面、ＣｂＣｒ色差平面。Ｌａｂ色空間のａｂ色平面（Ｌａ＊ｂ＊色空間のａ＊ｂ＊色平面））において、画像信号が占める範囲のことをいう。例えば、Ｐｂ軸、Ｐｒ軸や、Ｉ軸、Ｑ軸で表される色差平面で肌色や緑色に相当する色領域が、「信号領域」に該当する。
第２の発明は、第１の発明であって、空間演算処理部は、第１画像信号が形成する画像空間上において、注目画素の水平方向、垂直方向、斜め方向および時間方向の少なくとも一方向に隣接する画素を含む周辺画素を用いて、所定の演算処理を行う。

この信号処理装置では、水平方向に隣接する画素間で演算処理をすれば画像の水平方向で、垂直方向に隣接する画素間で演算処理をすれば画像の垂直方向で、斜め方向に隣接する画素間で演算処理をすれば画像の斜め方向で、それぞれ、被写体の境界部分の領域判定フラグが急激に変化することがなく、また、時間方向に隣接する画素間すなわち画像フレーム間で演算処理をすれば、シーンチェンジなどのように被写体が急激に変化しても領域判定フラグは急激に変化することがなく、それぞれ、所定の画像処理が段階的に（徐々に）行われる。
第３の発明は、第１または第２の発明であって、第１画像信号の注目画素と、注目画素の垂直方向の周辺画素と、を同時化するディレイライン部をさらに備える。空間演算処理部は、ディレイライン部により同時化された第１画像信号を用いて、所定の演算処理を行う。画像処理部は、ディレイライン部により同時化された第１画像信号に対して所定の画像処理を行う。

この信号処理装置では、画像処理部の処理および空間演算処理部の処理において、ディレイライン部を共用することができるので、ハードにより構成する場合、回路規模を小さくすることができる。
第４の発明は、第１から第３のいずれかの発明であって、空間演算処理部は、注目画素に対して空間フィルタ処理を実行することで、所定の演算処理を行う。
これにより、例えば、空間フィルタ処理をＬＰＦ（低域通過フィルタ）処理とすることにより、信号領域を検出する際に用いる画像（映像）信号の境界部分の変化をより滑らかにすることができ、従って、領域判定フラグの変化もより滑らかとなるため、所定の画像処理を段階的に（徐々に）行うことができる。
第５の発明は、第１から第４のいずれかの発明であって、領域判定フラグは、複数ビットで構成され、信号領域を複数のコードで表現し、所定の信号領域である第１信号領域と、第１信号領域以外の信号領域である第２信号領域と、第１信号領域および第２信号領域の境界部分の信号領域である境界部分信号領域と、を各々別のコードで段階的に表すフラグである。

これにより、例えば、領域判定フラグを２ビットで構成して、所定の信号領域を「３」というコードで表現し、所定の信号領域以外の信号領域を「０」というコードで表現し、両者の間の信号領域を所定の信号領域に近い方から順に「２」、「１」というコードで表現することにより、領域判定フラグを１ビットで構成する場合に比べて、所定の信号領域の境界部分の変化をより細かく段階的に表現できるため、所定の画像処理もより細かく段階的に行うことができる。
第６の発明は、第１から第５のいずれかの発明であって、画像処理部は、領域判定フラグの示すコードに基づいて第１画像信号に施す輪郭補正の効果を段階的に制御する輪郭補正部、および、領域判定フラグの示すコードに基づいて第１画像信号に施す帯域制限の効果を段階的に制御する帯域制限部、および、領域判定フラグの示すコードに基づいて第１画像信号に施すノイズ削減の効果を段階的に制御するノイズ削減部、の少なくとも１つを含む。

これにより、所定の信号領域に含まれる部分とその隣接する部分との境界部分について、画像処理が輪郭補正である場合には、画像（映像）信号に付加する輪郭補正信号の大きさなどを段階的に（徐々に）変化させることができる。また、画像処理が帯域制限である場合には、画像（映像）信号自体の周波数帯域を段階的に（徐々に）変化させることができる。また、画像処理がノイズ削減である場合には、画像（映像）信号に含まれるノイズ成分を段階的に（徐々に）変化させることができる。
第７の発明は、第１から第６のいずれかの発明であって、所定の信号領域は、所定の輝度信号領域および色差信号領域の少なくとも１つである。
これにより、輝度信号領域で検出する場合には、被写体の輝度レベルに応じて画像処理の効果を制御することができ、色差信号領域で検出する場合には、被写体の色に応じて画像処理の効果を制御することができる。

第８の発明は、第１から第８のいずれかの発明であって、第１画像信号および第２画像信号は、輝度信号および色差信号から形成される。領域検出部は、第２画像信号の注目画素が所定の信号領域に含まれるか否かの判定を、第２画像信号を形成する輝度信号に基づいて定義される輝度領域および第２画像信号を形成する色差信号に基づいて定義される色差平面領域を用いて行う。
これにより、輝度信号領域で検出する場合には、注目画素の輝度レベルに応じて画像処理の効果を制御することができ、色差信号領域で検出する場合には、注目画素が色差平面上のどの領域に存在するかに応じて、画像処理の効果を制御することができる。
第９の発明は、第１から第７のいずれかの発明であって、第１画像信号および第２画像信号は、Ｒ成分信号、Ｇ成分信号およびＢ成分信号から形成される。領域検出部は、第２画像信号の注目画素が所定の信号領域に含まれるか否かの判定を、
（１）第２画像信号を形成するＲ成分信号、Ｇ成分信号およびＢ成分信号により定義される色空間若しくは色平面、又は、
（２）第２画像信号を形成するＲ成分信号、Ｇ成分信号およびＢ成分信号により定義される色空間若しくは色平面を変換して取得される色空間若しくは色平面、
を用いて行う。

これにより、Ｒ成分信号、Ｇ成分信号およびＢ成分信号による信号を用いる場合であっても、注目画素が色空間内あるいは色平面上のどの領域に存在するかに応じて、画像処理の効果を制御することができる。
なお、ここで、「Ｒ成分信号」とは、赤色成分信号であり、「Ｇ成分信号」とは、緑色成分信号であり、「Ｂ成分信号」とは、青色成分信号である。
また、第２画像信号の注目画素が所定の信号領域に含まれるか否かの判定を行う「色空間」は、ＲＧＢ色空間であってもよいし、ＲＧＢ色空間を他の色空間に変換したもの（例えば、ＹＣｂＣｒ色空間、Ｌａｂ（Ｌａ＊ｂ＊）色空間、ｘｖＹＣＣ色空間）であってもよい。
また、第２画像信号の注目画素が所定の信号領域に含まれるか否かの判定を行う「色平面」は、ＲＧＢ色空間を変換することで取得される色平面を含む概念であり、「色平面」としては、ＲＧＢ色空間から変換されたＰｂＰｒ色差平面、ＣｂＣｒ色差平面、ＩＱ色平面、Ｌａｂ（Ｌａ＊ｂ＊）色空間で定義されるａｂ色平面（ａ＊ｂ＊）色平面等がある。例えば、Ｒ成分信号、Ｇ成分信号、および、Ｂ成分信号により定義されるＲＧＢ色空間を、ＩＱ色平面に変換し、変換したＩＱ色平面上で（ＲＧＢ色空間をＩＱ色平面に変換することで取得されるＩ成分信号およびＱ成分信号の信号成分により）、第２画像信号の注目画素が所定の信号領域に含まれるか否かの判定を行うようにしてもよい。

第１０の発明は、空間演算処理ステップと、領域検出ステップと、画像処理ステップと、を備える信号処理方法である。
空間演算処理ステップでは、第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、画像上において注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、第１画像信号から第２画像信号を生成する。領域検出ステップでは、第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する。画像処理ステップでは、領域検出ステップにより生成された領域判定フラグに基づき、第１画像信号に対して所定の画像処理を行う。
これにより、第１の発明と同様の効果を奏する信号処理方法を実現することができる。
第１１の発明は、空間演算処理ステップと、領域検出ステップと、画像処理ステップと、を備える信号処理方法をコンピュータに実行させるプログラムである。

空間演算処理ステップでは、第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、画像上において注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、第１画像信号から第２画像信号を生成する。領域検出ステップでは、第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する。画像処理ステップでは、領域検出ステップにより生成された領域判定フラグに基づき、第１画像信号に対して所定の画像処理を行う。
これにより、第１の発明と同様の効果を奏する信号処理方法をコンピュータに実行させるプログラムを実現することができる。
第１２の発明は、空間演算処理部と、領域検出部と、画像処理部と、を備える集積回路である。

空間演算処理部は、第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、画像上において注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、第１画像信号から第２画像信号を生成する。領域検出部は、第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する。画像処理部は、領域検出部により生成された領域判定フラグに基づき、第１画像信号に対して所定の画像処理を行う。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

発明によれば、元の被写体の境界部分で注目画素と隣接画素の信号成分が全く異なる信号領域である場合でも、画像空間上で隣接する画素間で演算を行うことで空間的な境界部分をぼかした後の輝度信号や色差信号などから信号領域を検出することにより、注目画素に隣接画素の信号成分を滲ませることができるため、被写体の種類に応じて輪郭補正や帯域制限およびノイズ削減などの効果を制御するような画像処理を違和感なく行うことができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：信号処理装置の構成＞
図１は、本発明の第１実施形態の信号処理装置１００の概略構成を示す図である。
図１に示すように、信号処理装置１００は、入力される輝度信号および色差信号を同時化するディレイライン部１と、ディレイライン部１から出力される輝度信号に対して空間フィルタ処理を行う空間フィルタ部２１と、空間フィルタ部２１の出力から輝度領域判定フラグを生成する特定輝度領域検出部３１と、を備える。また、信号処理装置１００は、ディレイライン部１から出力される色差信号に対して空間フィルタ処理を行う空間フィルタ部２２と、空間フィルタ部２２の出力から色領域判定フラグを生成する特定色領域検出部３２と、を備える。さらに、信号処理装置１００は、ディレイライン部１から出力される輝度信号および色差信号に対して、輝度領域判定フラグおよび色領域判定フラグに基づいて、所定の画像処理を行う画像処理部４を備える。

ディレイライン部１は、輝度信号および色差信号を入力とし、注目画素（処理対象となっている画素）と、当該注目画素の水平方向、垂直方向および斜め方向の隣接画素を同時化する。ディレイライン部１の構成の一例について、図１Ａを用いて説明する。
図１は、説明便宜のため、信号処理の対象としている輝度信号および色差信号をまとめて模式的に図示している。
図１Ａは、輝度信号の処理のみの構成の一例について図示したものである。具体的には、図１Ａは、ディレイライン部１の輝度信号用の処理部である輝度信号用ディレイライン部１Ａ、空間フィルタ部２１、特定輝度領域検出部３１および画像処理部４を示す図である。なお、図１Ａは、垂直方向３ライン分について同時化する場合の構成の一例である。
図１Ａに示すように、輝度信号用ディレイライン部１Ａは、第１遅延部１１および第２遅延部１２を有している。

第１遅延部１１および第２遅延部１２は、入力に対して、出力を１Ｈ（１ライン分）だけ遅延させる。第１遅延部１１および第２遅延部１２は、例えば、ラインメモリやＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリにより構成される。
図１Ａに示すように、輝度信号用ディレイライン部１Ａは、入力輝度信号をそのまま出力した信号である輝度信号Ｙ０と、輝度信号Ｙ０に対して１Ｈ遅延させた信号である輝度信号Ｙ１と、輝度信号をＹ０に対して２Ｈ遅延させた信号である輝度信号Ｙ２と、３つの輝度信号を出力する。
そして、輝度信号用ディレイライン部１Ａから出力された輝度信号Ｙ０、Ｙ１およびＹ２は、図１Ａに示すように、空間フィルタ部２１および画像処理部４に入力される。
このように、輝度信号用ディレイライン部１Ａにより、垂直方向に信号が同時化される。

なお、色差信号（Ｐｂ信号（Ｃｂ信号）およびＰｒ信号（Ｃｒ信号））についても図１Ａと同様の構成とすることができる。
図１は、図１Ａに相当する部分については、説明便宜のため、簡略化して図示したものである。なお、図１Ａでは、垂直方向に同時化する信号は、３ライン分（垂直３画素分）であるが、これに限定されることはなく、他のライン数（例えば、５ライン等）であっても良いことは言うまでもない。他のライン数を採用する場合は、採用したライン数に対応する数の遅延部（ラインメモリ等）を設ければ良い。
空間フィルタ部２１は、ディレイライン部１から出力される輝度信号（同時化された輝度信号）を入力とし、入力された輝度信号に対して、水平方向、垂直方向および斜め方向の少なくとも一方向のフィルタ処理を行う。そして、空間フィルタ部２１は、フィルタ処理した輝度信号を特定輝度領域検出部３１に出力する。

なお、空間フィルタ部２１で実行される空間フィルタ処理が３×３の２次元フィルタによるものである場合、その構成の一例は、図１Ａに示すようなものとすることができる。この場合、図１Ａに示すように、空間フィルタ部２１は、輝度信号Ｙ０、Ｙ１およびＹ２を、１画素分遅延させる遅延器（例えば、Ｄ−フリップフロップ）と、フィルタ係数を乗じる係数器と、加算器と、を用いて、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタにより構成することができる。なお、空間フィルタ処理部の構成は、図１Ａに示した構成に限定されることはなく、例えば、垂直方向のフィルタと、水平方向のフィルタと、を組み合わせることで実現するようにしてもよい。また、フィルタのタップ数によりＦＩＲフィルタの構成が変わることは言うまでもない。
空間フィルタ部２２は、ディレイライン部１から出力される色差信号（同時化された色差信号）を入力とし、入力された色差信号に対して、水平方向、垂直方向および斜め方向の少なくとも一方向のフィルタ処理を行う、そして、空間フィルタ部２２は、フィルタ処理した色差信号を特定色領域検出部３２に出力する。なお、空間フィルタ部２２の構成についても、空間フィルタ部２１の場合と同様に、構成することができる（例えば、図１Ａと同様の構成により構成することができる）。

特定輝度領域検出部３１は、空間フィルタ部２１からの出力を入力とし、空間フィルタ部２１によりフィルタ処理された輝度信号が、所定の輝度信号領域に含まれるか否かを判定する。そして、その判定結果を示す複数ビットによる輝度領域判定フラグを生成する。そして、特定輝度領域検出部３１は、生成した輝度領域判定フラグを画像処理部４に出力する。
特定色領域検出部３２は、空間フィルタ部２２からの出力を入力とし、空間フィルタ部２２によりフィルタ処理された色差信号が、所定の色差信号領域に含まれるか否かを判定する。そして、その判定結果を示す複数ビットによる色領域判定フラグを生成する。そして、特定色領域検出部３２は、生成した色領域判定フラグを画像処理部４に出力する。
画像処理部４は、ディレイライン部１からの出力、輝度領域判定フラグおよび色領域判定フラグを入力とする。画像処理部４は、輝度領域判定フラグおよび色領域判定フラグの表すコードに基づいて、ディレイライン部１から出力された輝度信号および色差信号に対して、画像処理を行う。これにより、画面上（画像上）の被写体像ごとに処理の効果を変えることができる。

＜１．２：信号処理装置の動作＞
以上のように構成される信号処理装置１００の動作について、以下、説明する。
本実施形態の信号処理装置１００では、入力された輝度信号および色差信号は、ディレイライン部１により同時化される。
例えば、注目画素（処理対象の画素）を中心に３画素×３画素の２次元マトリクス状に隣接する画素を同時化するためには、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ Ｆｉｒｓｔ−Ｏｕｔ）メモリなどで構成した２ライン分のディレイラインとすれば良い。この場合の一例の構成は、図１Ａに示す構成である。
同時化された輝度信号および色差信号は、空間フィルタ部２１および空間フィルタ部２２によりフィルタ処理される。

このフィルタ処理は、図２に示すように、同時化された９画素のデータそれぞれに場所に応じたフィルタ係数を乗じて加算しても良いし、例えば、水平方向に隣接した画素のフィルタ処理、垂直方向に隣接した画素のフィルタ処理、および斜め方向に隣接した画素のフィルタ処理を個別に行っても良い。９画素のデータそれぞれに場所に応じたフィルタ係数を乗じて加算する場合の空間フィルタ部２１および空間フィルタ部２２の構成例（一例）として、図１Ａに示す構成がある。また、垂直方向のフィルタ処理を行った後、水平方向のフィルタ処理を行う構成例の一例を、図１Ｂに示す。なお、垂直方向のフィルタ処理を行った後、水平方向のフィルタ処理を行う構成にすることで、９画素のデータそれぞれに場所に応じたフィルタ係数を乗じて加算する場合に比べて、Ｄ−フリップフロップ、フィルタ係数器および加算器の数を少なくすることができる（図１Ａおよび図１Ｂ参照）。

また、空間フィルタ部２１および空間フィルタ部２２により実現されるフィルタ特性は、通常は、低域通過フィルタ（ＬＰＦ）特性とすれば良いが、特定輝度領域あるいは特定色領域を検出するために十分である信号成分を抽出できるものであれば、それ以外の特性（例えば、ＢＰＦ特性）であっても良い。
このように、空間フィルタ部２１および空間フィルタ部２２により実行される空間フィルタ処理により、例えば、注目画素とその隣接画素の信号成分が全く異なる信号領域の成分である場合であっても、注目画素に隣接画素の信号成分が所定の割合で含まれることになり、その境界部分で信号成分が段階的に（徐々に）変化するようになる。言い換えれば、空間フィルタ部２１および空間フィルタ部２２により実行される空間フィルタ処理により、注目画素とその隣接画素との境界部分で信号成分が急激に変化することを緩和（防止）することができる。

特定輝度領域検出部３１では、予め輝度レベルをいくつかの領域、例えば、図３に示すように、４領域（図３の領域０〜領域３）に分割しておく。そして、特定輝度領域検出部３１は、フィルタ処理された輝度信号が、４領域の中のどの領域に含まれるかを判定し、その判定結果を２ビットで４種類のコードとして表現する「輝度領域判定フラグ」を生成する。
特定色領域検出部３２では、図４に示すように、色差平面上（図４では、Ｐｂ軸およびＰｒ軸により定義されるＰｂＰｒ色差平面）で検出すべき特定色が占める領域を、例えば、「領域３」、特定色ではない領域を「領域０」と設定する。そして、その境界領域を特定色領域に近い方、すなわち、特定色らしさの度合いが高い方から順に「領域２」および「領域１」と設定する。そして、特定色領域検出部３２は、フィルタ処理された色差信号が、どの領域に含まれるかを判定し、その判定結果を２ビットで４種類のコードとして表現する色領域判定フラグを生成する。

例えば、図４の「領域３」に、「肌色領域」を設定することで、画像上で、人の顔の部分の皺等が強調されることを抑制しつつ、画像上の肌色領域部分の背景とその境界部分に対して、ディテール感を段階的に（徐々に）向上させていくような処理を行うことができる。なお、「肌色領域」は、人の顔の色や人の肌の色を基準にして設定することが好ましい。例えば、図４の「領域３」に、「肌色領域」を設定する場合、ＰｂＰｒ色差平面において、日本人の平均的な顔の色を中心点として、日本人の９５％以上の顔の色が含まれる広さの領域を色差平面上において設定することで、図４の「領域３」に「肌色領域」を設定すればよい。なお、これは一例であり、これに限定されることがないのは、言うまでもない。
図４では、色差平面をＰｂ軸およびＰｒ軸で表しているが、Ｉ軸およびＱ軸で表される色差平面（ＩＱ色平面）でも良いし、他の軸により定義される平面（色情報を判定することができる平面）であっても良い。この「他の軸により定義される平面」としては、例えば、ＣｂＣｒ色差平面。Ｌａｂ色空間のａｂ色平面（Ｌａ＊ｂ＊色空間のａ＊ｂ＊色平面）等がある。また、色平面ではなく、色空間（例えば、ＲＧＢ色空間、ＹＣｂＣｒ色空間、ＹＰｂＰｒ色空間、ｘｖＹＣＣ色空間、Ｌａｂ色空間（Ｌａ＊ｂ＊色空間））において、領域を分割し、フィルタ処理された信号が、分割した領域の中のどの領域に属するかを判定することで、特定色領域検出処理を行うようにしてもよい。

また、空間フィルタ部２２から出力される信号を変換することで、別の色平面（または色空間）を変換し、変換した色平面（または色空間）において、特定色領域検出処理を行うようにしてもよい。例えば、空間フィルタ部２２から出力される信号がＰｂ信号およびＰｒ信号である場合、特定色領域検出部において、当該Ｐｂ信号およびＰｒ信号に対して、ＰｂＰｒ−ＩＱ変換処理（Ｐｂ信号およびＰｒ信号を、Ｉ信号およびＱ信号に変換する処理）を行い、ＩＱ色平面（Ｉ軸およびＱ軸により定義される色平面）により、特定色領域検出処理を行うようにしてもよい。なお、特定色を「肌色」とする場合、肌色領域であるか否かの判定を行い易いＩＱ色平面を用いることが好ましい。
画像処理部４では、輝度領域判定フラグおよび色領域判定フラグが示すコードに基づいて、ディレイライン部１から出力された輝度信号および色差信号に対して信号処理を行う。

輝度領域判定フラグおよび色領域判定フラグは、空間フィルタ部２１および空間フィルタ部２２により急激に変化する成分（高域成分）が除かれた信号（低域成分信号）に基づいて、段階的な値をとるフラグとして、生成されているので、画像上で急激に変化している部分（例えば、境界部分やエッジ部分）においても緩やかに（輝度領域判定フラグおよび色領域判定フラグのフラグ値に従って段階的に）変化する（急激に変化することがない）。
したがって、輝度領域判定フラグおよび色領域判定フラグにより、ディレイライン部１から出力された輝度信号および色差信号に対する信号処理の効果を制御することで、所定の信号領域に含まれる被写体像とその空間的に隣接する部分との境界部分で画像処理の効果が急激に変化することを効果的に抑制することができる。このため、画像処理部４から出力される信号により形成される画像（映像）は、違和感がなく、画像（映像）全体として自然な画像（映像）となる。

（１．２．１：輪郭補正処理）
次に、画像処理部４で行われる処理について説明する。
まず、画像処理部４で実行される処理が「輪郭補正処理」である場合について、説明する。
図５は、画像処理として、「輪郭補正処理」を行う場合の信号処理装置１００Ａの概略構成を示す図である。信号処理装置１００Ａでは、信号処理装置１００における画像処理部４が輪郭補正部５に置換されている。それ以外については、信号処理装置１００Ａは、信号処理装置１００と同様である。信号処理装置１００Ａにおいて、信号処理装置１００と同様の部分については、同じ符号を付し、説明を省略する。
輪郭補正部５は、輝度領域判定フラグおよび色領域判定フラグに基づいて、ディレイライン部１から出力される輝度信号および色差信号に対して、被写体像の輪郭部分を強調する信号処理を行う。

図６は、輪郭補正部５の概略構成を示す図である。
図６に示すように、輪郭補正部５は、輪郭補正信号生成部５１、コアリング処理部５３、ゲイン調整部５４、コアリング量／ゲイン量算出部５２および加算部５５を備える。
輪郭補正信号生成部５１は、ディレイライン部１から出力される映像信号（輝度信号および色差信号）を入力とし、入力された映像信号（輝度信号および色差信号）から輪郭補正信号を生成し、コアリング処理部５３に出力する、
コアリング量／ゲイン量算出部５２は、輝度領域判定フラグおよび色領域判定フラグを入力とし、輝度領域判定フラグおよび色領域判定フラグの示すコードを基に、輪郭補正信号のコアリング量Ｃおよびゲイン量Ｇを算出する、そして、コアリング量／ゲイン量算出部５２は、算出したコアリング量Ｃをコアリング処理部５３に出力し、また、算出したゲイン量Ｇをゲイン調整部５４に出力する。

コアリング処理部５３は、輪郭補正信号生成部５１から出力される輪郭補正信号と、コアリング量／ゲイン量算出部５２から出力されるコアリング量Ｃと、を入力とする。コアリング処理部５３は、コアリング量／ゲイン量算出部５２により算出されたコアリング量Ｃに従って、輪郭補正信号に対して、コアリング処理を実行する、そして、コアリング処理部５３は、コアリング処理後の輪郭補正信号をゲイン調整部５４に出力する。
ゲイン調整部５４は、コアリング処理部５３から出力される輪郭補正信号と、コアリング量／ゲイン量算出部５２から出力されるゲイン量Ｇと、を入力とする。ゲイン調整部５４は、コアリング量／ゲイン量算出部５２により算出されたゲイン量Ｇに従って、コアリング処理後の輪郭補正信号のゲイン調整をする、そして、ゲイン調整部５４は、ゲイン調整後の輪郭補正信号を加算部５５に出力する。

加算部５５は、ディレイライン部１から出力される映像信号（輝度信号および色差信号）と、ゲイン調整部５４から出力される輪郭補正信号と、を入力とし、両者を加算することで、輪郭補正した映像信号（輝度信号および色差信号）を生成する。すなわち、加算部５５は、コアリング処理およびゲイン調整された輪郭補正信号を映像信号（輝度信号および色差信号）に付加する。
以下、輪郭補正処理について、図６および図６Ａを用いて説明する。
輪郭補正信号生成部５１では、入力された映像信号に水平方向、垂直方向および斜め方向などの帯域通過フィルタ（ＢＰＦ）処理を行い、映像信号から所望の周波数成分の信号を輪郭補正信号として抽出する。そして、抽出された輪郭補正信号は、コアリング処理部５３に出力される。

輪郭補正信号生成部５１での処理において、ディレイライン部１のディレイライン（例えば、ラインメモリ）を、輪郭補正部５の処理（本線系の処理）と、空間フィルタ処理（空間フィルタ部２１、２２での処理）と、で共用することができる。これについて、図１Ａ、図１Ｂおよび図６Ａを用いて説明する。
図６Ａは、輪郭補正部５において、輝度信号の処理のみの構成の一例である輝度信号用輪郭補正部５Ａについて図示したものである。そして、説明便宜のため、輪郭補正信号生成部５１において、３ライン分（垂直方向に３画素分）の画素を用いて、映像信号にフィルタ処理を行うものとして、以下、説明する。
図６Ａに示すように、輝度信号用輪郭補正部５Ａの輪郭補正信号生成部（輝度信号用）５１には、輝度信号用ディレイライン部１Ａ（図１Ａ、図１Ｂ参照）の３つの出力である輝度信号Ｙ０〜Ｙ２が入力される。この輝度信号Ｙ０〜Ｙ２は、垂直方向に３ライン分同時化されている信号であるので、輪郭補正信号生成部（輝度信号用）５１では、この輝度信号Ｙ０〜Ｙ２を用いて、輪郭補正信号生成用のフィルタ処理（例えば、３×３の２次元フィルタによるフィルタ処理）を行うことができる。

つまり、信号処理装置１００Ａでは、このような構成により、ディレイライン部１のディレイライン（例えば、ラインメモリ）を、輪郭補正部５の処理（本線系の処理）と、空間フィルタ処理（空間フィルタ部２１、２２での処理）と、で共用することができる。
なお、上記では、輝度信号について、説明したが、色差信号においても同様である。
また、輪郭補正信号生成部５１では、主として、輝度信号に対して処理を行うことが効果的であるため、輪郭補正信号生成部５１を、輝度信号処理用の輪郭補正信号生成部のみにより構成するようにしてもよい。
また、輪郭補正信号生成部５１を、輝度信号処理用の輪郭補正信号生成部、色差信号処理用の輪郭補正信号生成部を、別々に有する構成としてもよい。
コアリング量／ゲイン量算出部５２では、特定輝度領域検出部３１から出力される輝度領域判定フラグおよび特定色領域検出部３２から出力される色領域判定フラグの示すコードを基に信号領域の判定が行われる。そして、コアリング量／ゲイン量算出部５２による信号領域についての判定結果に基づいて、コアリング処理部５３において輪郭補正信号に対して実行されるコアリング処理のコアリング量Ｃと、ゲイン調整部５４においてコアリング処理後の輪郭補正信号に対して実行されるゲイン調整処理のゲイン量Ｇと、が決定される。そして、コアリング量／ゲイン量算出部５２により決定されたコアリング量Ｃおよびゲイン量Ｇは、それぞれ、コアリング処理部５３およびゲイン調整部５４に出力される。

コアリング処理部５３では、コアリング量／ゲイン量算出部５２により算出されたコアリング量Ｃに従って、輪郭補正信号生成部５１から出力される輪郭補正信号に対してコアリング処理が実行される。具体的には、コアリング処理部５３は、輪郭補正信号生成部５１から出力される輪郭補正信号をスライスすることにより、コアリング量Ｃ以下の微小振幅の輪郭補正信号をノイズとみなして削除する、すなわち、振幅０の信号にする、コアリング処理を行う。なお、コアリング処理部５３において、コアリング処理の代わりに、たとえば、コアリング量Ｃ以下の信号の振幅を小さくする処理を行うようにしてもよい。
コアリング処理部５３によりコアリング処理された輪郭補正信号は、ゲイン調整部５４に出力される。
ゲイン調整部５４では、コアリング処理された輪郭補正信号に対して、コアリング量／ゲイン量算出部５２により算出されたゲイン量Ｇに従って、ゲイン調整を行う。そして、ゲイン調整された輪郭補正信号は、加算部５５に出力される。

加算部５５では、コアリング処理およびゲイン調整をされた輪郭補正信号を、元の映像信号（ディレイライン部１から出力される信号）に加算した後、必要に応じてオーバーフローやアンダーフローのクリップ処理を施して輪郭補正された映像信号として出力する。
図６に示す輪郭補正部５による輪郭補正処理では、輝度領域判定フラグや色領域判定フラグの示すコードに基づいてコアリング処理やゲイン調整により輪郭補正信号の大きさ（振幅、信号成分）が適切に制御される。つまり、この輪郭補正処理により、画像全体の輪郭補正の効果は保ったまま、例えば、人物の顔に相当する「肌色領域」に対しては、コアリング量の増加およびゲイン量の減少により輪郭補正の効果を抑制し、その背景との境界部分については色領域判定フラグのコードに基づいて段階的にコアリング量を減少およびゲイン量を増加させることで、輪郭補正の効果を段階的に（徐々に）強めていくことができる（肌色領域部分の背景とその境界部分に対しては、ディテール感を段階的に（徐々に）向上させていくことができる）。

一方、例えば、木の葉に相当する「緑色領域」に対しては、コアリング量の減少およびゲイン量の増加により輪郭補正の効果をより強調し、その背景との境界部分については色領域判定フラグのコードに基づいて段階的にコアリング量を増加およびゲイン量を減少させることで、輪郭補正の効果を段階的に（徐々に）弱めていくことができる（緑色領域部分の背景とその境界部分に対しては、ディテール感を段階的に（徐々に）低下させていくことができる）。
また、輝度レベルの低い領域では信号に対してノイズ量が相対的に増えるため、輪郭補正処理によりノイズ成分も強調されることになる。その場合は、低輝度領域に対してはコアリング量の増加およびゲイン量の減少により輪郭補正の効果を抑制し、低輝度部分と高輝度部分が隣接する境界部分については輝度領域判定フラグの示すコードに基づいて段階的にコアリング量を減少およびゲイン量を増加させることで、輪郭補正の効果を段階的に（徐々に）強めていくことができる。

これにより、信号処理装置１００Ａでは、画像空間上の被写体像の境界部分において急激に輪郭補正の効果を変化させることなく違和感のない輪郭補正処理を行うことができる。その結果、信号処理装置１００Ａにより取得される画像（映像）は、自然なものとなる。
（１．２．２：帯域制限処理）
次に、画像処理部４で実行される処理が「帯域制限処理」である場合について、説明する。
図７は、画像処理として、「帯域制限処理」を行う場合の信号処理装置１００Ｂの概略構成を示す図である。信号処理装置１００Ｂでは、信号処理装置１００における画像処理部４が帯域制限部６に置換されており、また、空間フィルタ部２１の出力が帯域制限部６に入力される構成となっている。それ以外については、信号処理装置１００Ｂは、信号処理装置１００と同様である。信号処理装置１００Ｂにおいて、信号処理装置１００、１００Ａと同様の部分については、同じ符号を付し、説明を省略する。

帯域制限部６は、ディレイライン部１から出力される映像信号と、空間フィルタ部２１から出力される低域輝度信号と、特定輝度領域検出部３１から出力される輝度領域判定フラグと、特定色領域検出部３２から出力される色領域判定フラグと、を入力とする。帯域制限部６は、輝度領域判定フラグおよび色領域判定フラグに基づいて、ディレイライン部１から出力される映像信号（輝度信号および色差信号）に対して、周波数成分の帯域を制限する処理を行う。
図８は、帯域制限部６の概略構成を示す図である。
図８に示すように、減算部６１は、ディレイライン部１から出力される輝度信号と、空間フィルタ部２１から出力される低域輝度信号と、を入力とし、ディレイライン部１から出力される輝度信号から低域輝度信号を減算することにより高域輝度信号を生成する。そして、生成した高域輝度信号をコアリング処理部６３に出力する。

コアリング量／ゲイン量算出部６２は、特定輝度領域検出部３１から出力される輝度領域判定フラグと、特定色領域検出部３２から出力される色領域判定フラグと、を入力とする。コアリング量／ゲイン量算出部６２は、輝度領域判定フラグおよび色領域判定フラグの示すコードを基に高域輝度信号のコアリング量Ｃおよびゲイン量Ｇを算出する。そして、コアリング量／ゲイン量算出部６２は、算出したコアリング量Ｃおよびゲイン量Ｇを、それぞれ、コアリング処理部６３およびゲイン調整部６４に出力する。
コアリング処理部６３は、減算部６１から出力される高域輝度信号およびコアリング量／ゲイン量算出部６２により算出されたコアリング量Ｃを入力とし、コアリング量Ｃに従って高域輝度信号に対してコアリング処理を実行する。そして、コアリング処理部６３は、コアリング処理した高域輝度信号をゲイン調整部６４に出力する。

ゲイン調整部６４は、コアリング処理部６３から出力されるコアリング処理された高域輝度信号およびコアリング量／ゲイン量算出部６２により算出されたゲイン量Ｇを入力とし、コアリング量／ゲイン量算出部６２により算出されたゲイン量Ｇに従って、コアリング処理された高域輝度信号に対してゲイン調整を行う。そして、ゲイン調整部６４は、ゲイン調整後の高域輝度信号を加算部６５に出力する。
加算部６５は、ゲイン調整部６４から出力されるゲイン調整後の高域輝度信号と、空間フィルタ部２１から出力される低域輝度信号と、を入力とし、コアリング処理、ゲイン調整された高域輝度信号を、低域輝度信号と加算して輝度信号を生成し、出力する。
以下、帯域制限処理について図８を用いて説明する。
減算部６１では、入力された輝度信号から低域輝度信号を減算することにより輝度信号の高周波成分を抽出して高域輝度信号を生成する。減算部６１により生成された高域輝度信号は、コアリング処理部６３に出力される。

コアリング量／ゲイン量算出部６２では、特定輝度領域検出部３１から出力される輝度領域判定フラグおよび特定色領域検出部３２から出力される色領域判定フラグの示すコードを基に信号領域の判定が行われる。そして、コアリング量／ゲイン量算出部６２による信号領域についての判定結果に基づいて、コアリング処理部６３において高域輝度信号に対して実行されるコアリング処理のコアリング量Ｃと、ゲイン調整部６４においてコアリング処理後の高域輝度信号に対して実行されるゲイン調整処理のゲイン量Ｇと、が決定される。そして、コアリング量／ゲイン量算出部６２により決定されたコアリング量Ｃおよびゲイン量Ｇは、それぞれ、コアリング処理部６３およびゲイン調整部６４に出力される。
コアリング処理部６３では、コアリング量／ゲイン量算出部６２により算出されたコアリング量Ｃに従って、減算部６１から出力される高域輝度信号に対してコアリング処理が実行される。具体的には、コアリング処理部６３は、減算部６１から出力される高域輝度信号をスライスすることにより、コアリング量Ｃ以下の微小振幅の高域輝度信号をノイズとみなして削除する、すなわち、振幅０の信号にする、コアリング処理を行う。なお、コアリング処理部６３において、コアリング処理の代わりに、たとえば、コアリング量Ｃ以下の信号の振幅を小さくする処理を行うようにしてもよい。

コアリング処理部６３によりコアリング処理された高域輝度信号は、ゲイン調整部６４に出力される。
ゲイン調整部６４では、コアリング処理された高域輝度信号に対して、コアリング量／ゲイン量算出部６２により算出されたゲイン量Ｇに従って、ゲイン調整が実行される。そして、ゲイン調整後の高域輝度信号は、加算部６５に出力される。
加算部６５では、コアリング処理およびゲイン調整をされた高域輝度信号は、空間フィルタ部２１から出力される低域輝度信号と加算され、帯域制限された輝度信号として出力される。
図８に示す帯域制限部６による帯域制限処理では、輝度領域判定フラグや色領域判定フラグの示すコードに基づいてコアリング処理やゲイン調整により高域輝度信号の大きさ（振幅、信号成分）が適切に制御される。つまり、この帯域制限処理により、画像全体の周波数帯域は保ったまま、例えば、人物の顔に相当する「肌色領域」に対しては、コアリング量の増加およびゲイン量の減少により高域輝度信号の成分を抑制し、その背景との境界部分に対しては、色領域判定フラグのコードに基づいて段階的にコアリング量を減少およびゲイン量を増加させることで、帯域制限の効果を段階的に（徐々に）弱めていくことができる（肌色領域部分の背景とその境界部分に対しては、ディテール感を段階的に（徐々に）向上させていくことができる）。

一方、例えば、木の葉に相当する「緑色領域」に対してはコアリング量の減少およびゲイン量の増加により高域輝度信号の成分をより増大させ、その背景との境界部分については色領域判定フラグのコードに基づいて段階的にコアリング量を増加およびゲイン量を減少させることで、帯域制限の効果を段階的に（徐々に）強めていくことができる（緑色領域部分の背景とその境界部分に対しては、ディテール感を段階的に（徐々に）低下させていくことができる）。
また、この帯域制限処理により、輝度レベルの低い領域では、信号に対してノイズ量が相対的に増えるため、コアリング量をさらに増加およびゲイン量をさらに減少させることにより、ノイズ成分も抑制することができ、一方、低輝度部分と高輝度部分とが隣接する境界部分では、輝度領域判定フラグの示すコードに基づいて段階的にコアリング量を減少およびゲイン量を増大させることができる。

これにより、信号処理装置１００Ｂでは、画像空間上の被写体像の境界部分において急激に帯域制限の効果を変化させることなく違和感のない帯域制限処理を行うことができる。その結果、信号処理装置１００Ｂにより取得される画像（映像）は、自然なものとなる。
≪帯域制限部の変形例≫
次に、帯域制限部６の変形例である帯域制限部６Ａについて、説明する。
図９は、帯域制限部６の別の概略構成（変形例）である帯域制限部６Ａを示す図である。
図９に示すように、帯域制限部６Ａは、混合比算出部６６と、ゲイン調整部６７、６８と、加算部６９と、を備える。

混合比算出部６６は、特定輝度領域検出部３１から出力される輝度領域判定フラグおよび特定色領域検出部３２から出力される色領域判定フラグを入力とし、輝度領域判定フラグおよび色領域判定フラグの示すコードを基に、輝度信号と低域輝度信号との混合割合ｋ（０≦ｋ≦１）を算出する、そして、混合比算出部６６は、算出した混合割合ｋをゲイン調整部（係数器）６７および６８に出力する。
ゲイン調整部６７（係数器）は、ディレイライン部１から出力される輝度信号と、混合比算出部６６により算出された混合割合ｋと、を入力とし、ディレイライン部１から出力される輝度信号に対して、混合割合ｋによるゲイン調整を行う（輝度信号にｋを乗じる）。そして、ゲイン調整部６７は、ゲイン調整した輝度信号を加算部６９に出力する。
ゲイン調整部６８（係数器）は、空間フィルタ部２１から出力される低域輝度信号と、混合比算出部６６により算出された混合割合ｋと、を入力とし、空間フィルタ部２１から出力される低域輝度信号に対して、混合割合（１−ｋ）によるゲイン調整を行う（低域輝度信号に（１−ｋ）を乗じる）。そして、ゲイン調整部６８は、ゲイン調整した低域輝度信号を加算部６９に出力する。

加算部６９は、ゲイン調整部６７から出力されるゲイン調整された輝度信号と、ゲイン調整部６８から出力されるゲイン調整された低域輝度信号とを加算して輝度信号を生成する。
以下、帯域制限部６Ａによる帯域制限処理について、図９を用いて説明する。
混合比算出部６６では、輝度領域判定フラグおよび色領域判定フラグの示すコードを基に信号領域の判定が行われる。そして、判定された各信号領域において、入力された輝度信号と低域輝度信号との混合割合ｋ（内分比ｋ）が決定される。帯域制限部６Ａによる帯域制限処理では、この混合割合ｋ（内分比ｋ）を小さくする程、低域輝度信号の割合が増え、出力される輝度信号の周波数帯域が制限されることになる。
ゲイン調整部６７および６８では、混合比算出部６６で算出された混合割合ｋに従ってそれぞれ輝度信号および低域輝度信号のゲイン調整を行う。

加算部６９では、ゲイン調整された輝度信号と低域輝度信号とを加算して帯域制限された輝度信号として出力する。
すなわち、ゲイン調整部６７および６８と、加算部６９では、輝度信号と低域輝度信号に対して内分処理が実行される。つまり、加算部６９から出力される輝度信号をＹｏｕｔとし、ゲイン調整部６７に入力される輝度信号をＹｉｎとし、ゲイン調整部６８に入力される低域輝度信号をＹｌｏｗとすると、
Ｙｏｕｔ＝ｋ・Ｙｉｎ＋（１−ｋ）・Ｙｌｏｗ （０≦ｋ≦１）
という内分処理が実行される。
図９に示す帯域制限部６Ａによる帯域制限処理では、輝度領域判定フラグや色領域判定フラグの示すコードに基づいて輝度信号と低域輝度信号との混合割合が制御されるので、画像全体の周波数帯域は保ったまま、例えば、人物の顔に相当する「肌色領域」に対しては低域輝度信号の混合割合を増加させることにより高域輝度信号の成分を抑制し（内分比ｋの値を小さくする処理に相当。）、その背景との境界部分については、色領域判定フラグのコードに基づいて段階的に低域輝度信号の混合割合を減少させる（内分比ｋの値を大きくする処理に相当。）ことで、帯域制限の効果を段階的に（徐々に）弱めていくことができる（肌色領域部分の背景とその境界部分に対しては、ディテール感を段階的に（徐々に）向上させていくことができる）。

また、輝度レベルの低い領域では信号に対してノイズ量が相対的に増えるため、低域輝度信号の混合割合をさらに増加させる（内分比ｋの値を小さくする処理に相当。）ことにより、ノイズ成分も抑制し、低輝度部分と高輝度部分とが隣接する境界部分については、輝度領域判定フラグの示すコードに基づいて段階的に低域輝度信号の混合割合を減少させることができる。
これにより、帯域制限部６Ａを備える信号処理装置では、画像空間上の被写体像の境界部分において急激に帯域制限の効果を変えることなく違和感のない帯域制限処理を行うことができる。その結果、帯域制限部６Ａを備える信号処理装置により取得される画像（映像）は、自然なものとなる。
（１．２．３：ノイズ削減処理）
次に、画像処理部４で実行される処理が「ノイズ削減処理」である場合について、説明する。

図１０は、画像処理として、「ノイズ削減処理」を行う場合の信号処理装置１００Ｃの概略構成を示す図である。信号処理装置１００Ｃでは、信号処理装置１００における画像処理部４がノイズ削減部７に置換されている。それ以外については、信号処理装置１００Ｃは、信号処理装置１００と同様である。信号処理装置１００Ｃにおいて、信号処理装置１００、１００Ａ、１００Ｂと同様の部分については、同じ符号を付し、説明を省略する。
ノイズ削減部７は、輝度領域判定フラグおよび色領域判定フラグに基づいて、ディレイライン部１から出力される映像信号に含まれるノイズ成分を削減する処理を行う。
図１１は、ノイズ削減部７の概略構成を示す図である。
図１１に示すように、ノイズ削減部７は、比較閾値算出部７１と、周辺画素比較部７２と、画素置換部７３と、を備える。

比較閾値算出部７１は、特定輝度領域検出部３１から出力される輝度領域判定フラグと、特定色領域検出部３２から出力される色領域判定フラグと、を入力とする。比較閾値算出部７１は、輝度領域判定フラグおよび色領域判定フラグの示すコードを基に注目画素と周辺画素との相関性の有無を判断する際の規準となる閾値ＴＨを算出する、そして、比較閾値算出部７１は、算出した閾値ＴＨを周辺画素比較部７２に出力する。
なお、閾値ＴＨの決定方法は、信号処理装置１００Ｃを有する装置（例えば、カメラシステム）において取得される画像（映像）の周波数特性やＳ／Ｎ比といった、いわゆるカメラ性能に基づいて、決定することが好ましい。また、閾値ＴＨの決定方法は、信号処理装置１００Ｃを有する装置の製造時に決定するようにしてもよく、また、信号処理装置１００Ｃを有する装置においてインターフェース部を設け、ユーザにより設定できるようにしてもよい。

周辺画素比較部７２は、ディレイライン部１から出力される映像信号と、比較閾値算出部７１により算出された閾値ＴＨと、を入力とし、閾値ＴＨを基準に注目画素と周辺画素との相関性の有無を判断し、その判断結果を表現する相関判定フラグＦを生成する、そして、周辺画素比較部７２は、生成した相関判定フラグＦを画素置換部７３に出力する。
画素置換部７３は、ディレイライン部１から出力される映像信号と、周辺画素比較部７２から出力される相関判定フラグＦを入力とし、相関判定フラグＦに従って注目画素を周辺の相関画素の平均値と置き換える。
以下、ノイズ削減処理について図１１を用いて説明する。
比較閾値算出部７１では、輝度領域判定フラグおよび色領域判定フラグの示すコードを基に信号領域の判定が行われる。そして、判定された各信号領域において、映像信号（輝度信号および色差信号）の注目画素と周辺画素との相関性の有無を判断するための基準となる閾値ＴＨが決定される。

周辺画素比較部７２では、注目画素と周辺画素とのレベルの差がこの閾値ＴＨ以下である場合には、注目画素の周辺画素は、注目画素と「相関が有る」と判断され、相関判定フラグＦを立てる（例えば、相関判定フラグＦの値を「１」にする）。一方、注目画素と周辺画素とのレベルの差がこの閾値ＴＨを超える場合には、注目画素の周辺画素は、注目画素と「相関がない」と判断され、相関判定フラグＦを立てない（例えば、相関判定フラグＦの値を「０」にする）。
画素置換部７３では、相関判定フラグＦが注目画素とその周辺画素とが「相関あり」であることを示している場合（例えば、相関判定フラグＦの値が「１」である場合）、周辺画素の中で相関判定フラグが立っている周辺画素を加算平均することによりノイズ成分を削減したデータを生成し、注目画素と置き換える。一方、相関判定フラグＦが注目画素とその周辺画素とが「相関なし」であることを示している場合（例えば、相関判定フラグＦの値が「０」である場合）、注目画素をそのまま画素置換部７３から出力する（画素置換部７３に入力された映像信号をそのまま出力する）。

なお、画素置換部７３の処理において、ディレイライン部１のディレイライン（例えば、ラインメモリ）を、空間フィルタ処理（空間フィルタ部２１、２２での処理）と、で共用することができるので、画素置換部７３を構成する場合に、別途、ディレイライン（例えば、ラインメモリ）が必要になることはないので、ハード規模の増大を抑えることができる。
上記の方法によるノイズ削減処理では、加算平均する画素の数が多ければ多いほどノイズ成分の削減効果が大きくなる。従って、比較閾値算出部７１で、決定される閾値ＴＨが大きくなれば相関性の有る周辺画素が多くなり、ノイズ成分の削減効果が大きくなることになる。
図１１に示すノイズ削減部７によるノイズ削減処理では、輝度領域判定フラグや色領域判定フラグの示すコードに基づいて注目画素と周辺画素との相関性を判断する際に用いる閾値ＴＨの大きさが適切に制御される。つまり、このノイズ削減処理により、画像全体のノイズ削減効果は保ったまま、例えば、人物の顔に相当する「肌色領域」に対しては、閾値ＴＨを増加させることによりノイズ成分を抑制し、その背景との境界部分に対しては、色領域判定フラグのコードに基づいて段階的に閾値ＴＨを減少させることで、ノイズ制限の効果を段階的に（徐々に）変化させることができる。また、輝度レベルの低い領域では、信号に対してノイズ量が相対的に増えるため、閾値ＴＨをさらに増加させることによりノイズ成分をさらに抑制することができ、一方、低輝度部分と高輝度部分とが隣接する境界部分では、輝度領域判定フラグの示すコードに基づいて段階的に閾値ＴＨを減少させることができる。

これにより、信号処理装置１００Ｃでは、画像空間上の被写体像の境界部分において急激にノイズ削減の効果を変化させることなく違和感のないノイズ削減処理を行うことができる。その結果、信号処理装置１００Ｃにより取得される画像（映像）は、自然なものとなる。
以上のように、各種信号処理について説明したが、本実施形態による輪郭補正、帯域制限およびノイズ削減処理は、映像信号を同時化するためのディレイラインを使用しており、このディレイラインを本発明における信号領域検出前の空間フィルタ処理（空間フィルタ部２１および２２の処理）のための映像信号の同時化に使用するディレイラインと共用することができるため回路規模の増大を招くことなく実現可能である。
なお、輪郭補正、帯域制限およびノイズ削減処理の方法は、本実施形態に限るものではなく、領域判定フラグに基づいて効果の度合いを制御できる方法であれば他の方法でも構わない。

また、本実施形態では、画像処理として輪郭補正、帯域制限およびノイズ削減を単独で行う例を示したが、信号処理装置において、これらの処理を全て行うようにしてもよいし、本発明の特許請求の範囲を逸脱しない範囲で、信号領域ごとに段階的に処理の効果を制御する他の画像処理を、信号処理装置において実行するようにしてもよい。
また、本実施形態では、輝度信号と色差信号とを、ディレイラインを用いて（ディレイライン部により）同時化して空間フィルタ処理した後に信号領域を検出しているが、異なる形式の信号、例えば、ＲＧＢ形式の信号（原色信号）であるＲ信号、Ｇ信号、Ｂ信号を、ディレイラインを用いて同時化して空間フィルタ処理した後に、特定輝度領域検出部および特定色領域検出部で輝度信号および色差信号に変換して信号領域を検出してもよい。具体的には、例えば、以下により信号領域を検出してもよい。
（１）ＲＧＢ形式のＲ信号、Ｇ信号およびＢ信号を、ＹＰｂＰｒ形式のＹ信号、Ｐｂ信号およびＰｒ信号に、変換し、Ｙ信号成分およびＰｂＰｒ色差平面により信号領域を検出する。
（２）ＲＧＢ形式のＲ信号、Ｇ信号およびＢ信号を、ＹＩＱ形式のＹ信号、Ｉ信号およびＱ信号に、変換し、Ｙ信号成分およびＩＱ色平面により信号領域を検出する。

また、ＲＧＢ形式の信号（原色信号）であるＲ信号、Ｇ信号およびＢ信号のまま信号領域を検出するようにしてもよい。
なお、輪郭補正、帯域制限およびノイズ削減処理の各画像処理は、輝度信号および色差信号のいずれか一方または両方に対しても行っても構わないし、原色信号Ｒ、Ｇ、Ｂに対して行っても構わない。
また、色領域を判定するために設定する領域は、図４に示したものに限定されることはなく、領域の設定数、領域の形状は、他のものであってもよい。例えば、領域の形状は、円形状の領域や、楕円形状の領域や、扇形の領域としてもよい。
なお、本実施形態では、画像の水平方向、垂直方向および斜め方向の空間フィルタ処理を行った後に信号領域を検出する場合について説明したが、これに限定されることはなく、例えば、ディレイラインをフレームメモリで構成して注目画素の前後のフレームの画素間で時間方向についても空間フィルタ処理を行った後に信号領域を検出するようにしてもよい。このようにすることで、映像のシーンの変わり目などで輪郭補正、帯域制限およびノイズ削減処理などの各画像処理効果の急激な変化を抑制することができる。

以上のように、本実施形態の信号処理装置では、回路規模の増大を招くことなく、画像（映像）上の被写体像の境界部分で処理の効果を段階的に制御して違和感のない輪郭補正、帯域制限およびノイズ削減処理などの画像処理を実現することができる。
［他の実施形態］
なお、上記実施形態で説明した信号処理装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る信号処理をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明にかかる信号処理装置、信号処理方法、プログラムおよび集積回路は、被写体像ごとに画像処理の効果を変えたい場合にも、被写体像の境界部分では滑らかに効果を変えることができる信号処理を実現することができるので、映像機器関連産業分野において、有用であり、本発明は、当該分野において実施することができる。

本発明の第１実施形態に係る信号処理装置１００の概略構成図 輝度信号用ディレイライン部１Ａ、空間フィルタ部２１、特定輝度領域検出部３１および画像処理部４の概略構成図 輝度信号用ディレイライン部１Ａ、空間フィルタ部２１、特定輝度領域検出部３１および画像処理部４の概略構成図 空間フィルタの係数配置を説明する図 輝度信号領域と輝度領域判定フラグの関係を説明する図 色信号領域と色領域判定フラグの関係を説明する図 本発明の第１実施形態に係る輪郭補正を行う信号処理装置１００Ａの概略構成を説明する図 輪郭補正部５の概略構成図 輪郭補正部５Ａの概略構成図 本発明の第１実施形態に係る帯域制限を行う信号処理装置１００Ｂの概略構成図 帯域制限部６の概略構成図 帯域制限部６Ａの概略構成図 本発明の第１実施形態に係るノイズ削減を行う信号処理装置１００Ｃの概略構成図 ノイズ削減部７の概略構成図

１００、１００Ａ、１００Ｂ、１００Ｃ 信号処理装置
１、１Ａ ディレイライン部
１１、１２ 遅延部（第１遅延部、第２遅延部）
２１、２２ 空間フィルタ部
３１ 特定輝度領域検出部
３２ 特定色領域検出部
４ 画像処理部
５、５Ａ 輪郭補正部
５１ 輪郭補正信号生成部
５２、６２ コアリング量／ゲイン量算出部
５３、６３ コアリング部
５４、６４ ゲイン部
５５、６５、６９ 加算部
６、６Ａ 帯域制限部
６１ 減算部
６６ 混合比算出部
６７、６８ ゲイン調整部
７ ノイズ削減部
７１ 比較閾値算出部
７２ 周辺画素比較部
７３ 画素置換部

Claims (12)

1. 第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、前記画像上において前記注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、前記第１画像信号から第２画像信号を生成する空間演算処理部と、
   前記第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する領域検出部と、
   前記領域検出部により生成された前記領域判定フラグに基づき、前記第１画像信号に対して所定の画像処理を行う画像処理部と、
   を備える信号処理装置。
2. 前記空間演算処理部は、前記第１画像信号が形成する画像空間上において、前記注目画素の水平方向、垂直方向、斜め方向および時間方向の少なくとも一方向に隣接する画素を含む前記周辺画素を用いて、前記所定の演算処理を行う、
   請求項１記載の信号処理装置。
3. 前記第１画像信号の注目画素と、前記注目画素の垂直方向の周辺画素と、を同時化するディレイライン部をさらに備え、
   前記空間演算処理部は、前記ディレイライン部により同時化された前記第１画像信号を用いて、前記所定の演算処理を行い、
   前記画像処理部は、前記ディレイライン部により同時化された前記第１画像信号に対して前記所定の画像処理を行う、
   請求項１または２に記載の信号処理装置。
4. 前記空間演算処理部は、前記注目画素に対して空間フィルタ処理を実行することで、前記所定の演算処理を行う、
   請求項１から３のいずれかに記載の信号処理装置。
5. 前記領域判定フラグは、複数ビットで構成され、信号領域を複数のコードで表現し、前記所定の信号領域である第１信号領域と、前記第１信号領域以外の信号領域である第２信号領域と、前記第１信号領域および前記第２信号領域の境界部分の信号領域である境界部分信号領域と、を各々別のコードで段階的に表すフラグである、
   請求項１から４のいずれかに記載の信号処理装置。
6. 前記画像処理部は、
   前記領域判定フラグの示すコードに基づいて前記第１画像信号に施す輪郭補正の効果を段階的に制御する輪郭補正部、および、
   前記領域判定フラグの示すコードに基づいて前記第１画像信号に施す帯域制限の効果を段階的に制御する帯域制限部、および、
   前記領域判定フラグの示すコードに基づいて前記第１画像信号に施すノイズ削減の効果を段階的に制御するノイズ削減部、
   の少なくとも１つを含む、
   請求項１から５のいずれかに記載の信号処理装置。
7. 前記所定の信号領域は、所定の輝度信号領域および色差信号領域の少なくとも１つである、
   請求項１から６のいずれかに記載の信号処理装置。
8. 前記第１画像信号および前記第２画像信号は、輝度信号および色差信号から形成され、
   前記領域検出部は、前記第２画像信号の前記注目画素が前記所定の信号領域に含まれるか否かの判定を、前記第２画像信号を形成する輝度信号に基づいて定義される輝度領域および前記第２画像信号を形成する色差信号に基づいて定義される色差平面領域を用いて行う、
   請求項１から７のいずれかに記載の信号処理装置。
9. 前記第１画像信号および前記第２画像信号は、Ｒ成分信号、Ｇ成分信号およびＢ成分信号から形成され、
   前記領域検出部は、
   前記第２画像信号の前記注目画素が前記所定の信号領域に含まれるか否かの判定を、前記第２画像信号を形成するＲ成分信号、Ｇ成分信号およびＢ成分信号により定義される色空間若しくは色平面、又は、前記第２画像信号を形成するＲ成分信号、Ｇ成分信号およびＢ成分信号により定義される色空間若しくは色平面を変換して取得される色空間若しくは色平面を、用いて行う、
   請求項１から７のいずれかに記載の信号処理装置。
10. 第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、前記画像上において前記注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、前記第１画像信号から第２画像信号を生成する空間演算処理ステップと、
    前記第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する領域検出ステップと、
    前記領域検出ステップにより生成された前記領域判定フラグに基づき、前記第１画像信号に対して所定の画像処理を行う画像処理ステップと、
    を備える信号処理方法。
11. 第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、前記画像上において前記注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、前記第１画像信号から第２画像信号を生成する空間演算処理ステップと、
    前記第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する領域検出ステップと、
    前記領域検出ステップにより生成された前記領域判定フラグに基づき、前記第１画像信号に対して所定の画像処理を行う画像処理ステップと、
    を備える信号処理方法をコンピュータに実行させるプログラム。
12. 第１画像信号により形成される画像に含まれ処理対象である注目画素に対して、前記画像上において前記注目画素の周辺の画素である周辺画素を用いて所定の演算処理を行うことで、前記第１画像信号から第２画像信号を生成する空間演算処理部と、
    前記第２画像信号の注目画素が所定の信号領域に含まれるか否かを判定し、その判定結果を示す領域判定フラグを生成する領域検出部と、
    前記領域検出部により生成された前記領域判定フラグに基づき、前記第１画像信号に対して所定の画像処理を行う画像処理部と、
    を備える集積回路。

Images