JP2010278680A - 特定色検出回路 - Google Patents

Abstract

【課題】輝度差による色の検出制御、および色差平面上での検出領域制御を行うことにより、所望の色を所望の色範囲で検出可能にする特定色検出回路を提供する。
【解決手段】特定色検出回路１０は、ＲＧＢ入力画素および検出したいＲＧＢ色信号を三次元座標で表現し、検出したいＲＧＢ色信号の座標または検出したいＲＧＢ色信号とＲＧＢの比率が同じ座標と原点とを結ぶ直線に対して、ＲＧＢ入力画素の座標から垂線を下ろした足と原点との距離を第一の距離として算出し、また、ＲＧＢ入力画素の座標と、垂線の足との距離を第二の距離として算出し、さらにＲＧＢ入力画素の信号の色相を検出する。特定色検出回路１０は、第一の距離およびＲＧＢ入力画素の信号の色相に応じて色差方向の検出領域を生成し、その検出領域に応じて第一の距離から第三の距離を算出し、第三の距離が第二の距離より大の場合、そのＲＧＢ入力画素は所定色検出領域内であると判定する。
【選択図】図１

Description

本発明は、映像信号から任意の色を検出して画像処理を行う際に使用する、色検出回路に関するものである。

従来、テレビジョンカメラで撮像した映像信号から、任意の色を検出して画像処理を行うものとして、スキンディテールが良く知られている。このスキンディテールは、撮像した映像信号から肌色部分を検出して、輪郭強調信号を制御することにより行う。スキンディテールの技術によれば、人の顔を、より見栄え良く撮影することができる。

この技術は、近年、テレビジョンカメラをはじめとする映像機器のハイビジョン化により、重要性が一層増している。これは、ハイビジョン化により画面を構成する画素数が増大し、以前より映像が高解像度となることにより、目立つべきでない部分を目立たなく表示する必要があるためである。

また、前記任意の色を検出して画像処理を行うものとして、カラーコレクタがある。このカラーコレクタは、検出対象の色および色範囲に対して色補正処理を施すものである。カラーコレクタを使用して色補正処理を施すことにより、例えば、指定の表色系から外れた色を、その表色系の範囲内に収めることができる。また、映像の監視・検査の用途においては、検出対象とする色を任意の色へ変更することにより、特定の対象物を判断・判別し易いようにするなど、カラーコレクタの様々な応用が考えられている。

従来技術による肌色検出回路として、テレビジョンカメラから得たＲＧＢ映像信号からＩＱ信号を生成し、このＩＱ信号から肌色判定を行う技術が提案されている（例えば、特許文献１参照）。

特許第２９８６６２５号公報

ところで、色は、周囲の明るさによって、その濃淡が著しく変化する性質を有する。例えば、同一人物の顔を撮像した場合でも、照明の当たる方向が少し変化するだけで、本来同じ色であるはずの同一人物の顔色に顕著な相違が生ずる。

しかしながら、上記特許文献１で提案されている肌色検出回路および撮像装置は、ＩＱ信号により、すなわち色差による２次元平面において、色検出を行うのみである。したがって、この肌色検出回路および撮像装置は、輝度差による検出制御を正確に行うことはできない。

特に、放送で使用されるテレビジョンカメラは、通常の周囲環境とは異なる特殊な撮影環境で扱われることも多いため、輝度方向に対する制御も考慮する必要がある。また、人間の皮膚の色は、例えば人種の違いなどにより個人差が激しく、単純な検出領域の指定のみでは、所望の色範囲を検出することは困難であるため、検出領域の制御方法についても考慮する必要がある。

したがって、本発明の目的は、上述した問題点を鑑みて、輝度差による色の検出制御、および色差平面上での検出領域制御を行うことにより、所望の色を所望の色範囲で検出可能にする特定色検出回路を提供することにある。

上記目的を達成する請求項１に係る特定色検出回路の発明は、
ＲＧＢ入力画素が、検出したい色信号を中心とする所定色検出領域内の信号か否かを判定する特定色検出回路（ＫＥＹ信号発生回路１０）であって、
ＲＧＢ入力画素および検出したいＲＧＢ色信号を、Ｒ軸、Ｇ軸およびＢ軸を三軸とした三次元座標で表現し、前記検出したいＲＧＢ色信号の座標または前記検出したいＲＧＢ色信号とＲＧＢの比率が同じ座標と、原点とを結ぶ直線に対して、前記ＲＧＢ入力画素の座標から垂線を下ろした足と該原点との距離を、第一の距離として算出する第一距離算出部（距離算出部Ａ１０２）と、
前記ＲＧＢ入力画素の座標と前記足との距離を、第二の距離として算出する第二距離算出部（距離算出部Ｂ１０３）と、
前記ＲＧＢ入力画素の信号の色相を検出する色相検出部（１０４）と、
前記第一の距離および前記ＲＧＢ入力画素の信号の該色相に応じて色差方向（彩度方向）の検出領域を生成し、該検出領域に応じて前記第一の距離から第三の距離を算出する第三距離算出部（検出領域生成部１０５）と、
前記第二の距離と前記第三の距離とを比較して、前記第三の距離が前記第二の距離より大の場合、前記ＲＧＢ入力画素は前記所定色検出領域内であると判定する判定部（１０６）と、
を具えることを特徴とするものである。

請求項２に係る発明は、請求項１に記載の特定色検出回路であって、
前記所定色検出領域は、前記検出したい色信号の座標を中心とした所定の大きさの円を底面として、該底面と前記原点とを直線または直線の組合せにより接続した立体構造を有する領域とし、
該立体の母線の傾きによる乗算処理または所定閾値のクリップ処理により前記第三の距離を算出する第三距離算出部（検出領域生成部１０５）を有することを特徴とするものである。

請求項３に係る発明は、請求項２に記載の特定色検出回路であって、
前記所定色検出領域は、前記原点を頂点とした円錐構造を有する領域、前記原点を頂点とした円錐と該円錐の底面と同じ大きさの底面の円柱との合体構造を有する領域、前記原点を頂点とした第一の円錐と、該第一の円錐の底面を介して前記原点とは反対側に頂点を有する第二の円錐との合体構造を有する領域、または、単に前記底面を含む円柱構造を有する領域、の何れかとすることを特徴とするものである。

請求項４に係る発明は、請求項１に記載の特定色検出回路であって、
前記所定色検出領域は、前記検出したい色信号の座標を中心とした所定の大きさの円を底面として、該底面と前記原点との間を非線形な曲線で接続する立体構造を有する領域とし、
該曲線に基づいて前記第一の距離に対応する値を得ることにより、前記第三の距離を算出する第三距離算出部（検出領域生成部１０５）を有することを特徴とするものである。

請求項５に係る発明は、請求項４に記載の特定色検出回路であって、
前記所定色検出領域は、ｘｙ平面上でｙ＝ａ・ｘ^ｎ（但し、ｘ，ｙ，ａは正数かつｎ＜１とする）を満たす前記曲線をｘ軸について回転させることにより画成される釣鐘型の立体構造を有する領域、または、ｘｙ平面上でｙ＝ｂ・ｘ^ｎ（但し、ｘ，ｙ，ｂは正数かつｎ＞１とする）を満たす前記曲線をｘ軸について回転させることにより画成されるラッパ型の立体構造を有する領域とすることを特徴とするものである。

請求項６に係る発明は、請求項１に記載の特定色検出回路であって、
前記所定色検出領域は、前記検出したい色信号の座標を中心とした球構造を有する領域とし、
前記第二距離算出部（距離算出部Ｂ１０３）は、前記ＲＧＢ入力画素と前記検出したい色信号との距離を前記第二の距離として算出し、
前記第三距離算出部（検出領域生成部１０５）は、前記球の半径または所定値を前記第三の距離として出力することを特徴とするものである。

請求項７に係る発明は、請求項１に記載の特定色検出回路であって、
前記第二距離算出部（距離算出部Ｂ１０３）は、前記第二の距離を、平方根を用いて算出するにあたり、平方根のサンプル値および該サンプル値間の差分値をデータとするルックアップテーブルを構成し、該ルックアップテーブルに求める値がない場合は、前記平方根のサンプル値および該サンプル値間の差分値に基づいて補間を行うことにより前記第二の距離を算出することを特徴とするものである。

請求項８に係る発明は、請求項１に記載の特定色検出回路であって、
前記色相検出部（１０４）は、
前記ＲＧＢ入力画素のレベル差の比較、または、
前記検出したいＲＧＢ色信号の座標または前記検出したいＲＧＢ色信号とＲＧＢの比率が同じ座標と原点とを結ぶ直線の距離と、前記第一の距離との比を求め、前記検出したいＲＧＢ色信号の座標に該比を乗じた値と、前記ＲＧＢ入力画素の座標とから求めた差分の比較により、前記色相を検出することを特徴とするものである。

本発明の特定色検出回路によれば、固有輝度方向・固有色差平面での検出領域制御を行うことにより、立体での特定色の検出が可能になる。また、本発明の特定色検出回路によれば、色相分割を行うことにより各々の色相ブロックで検出領域を制御できる。このため、より柔軟な特定色検出が実現できる。

さらに、本発明の特定色検出回路によれば、求める値がルックアップテーブルにない場合でも、その値を補間により算出する。このため、小さい記憶容量のメモリでルックアップテーブルを構成することができる。

従来、色差平面上での色相分割においては、検出面が一定の色相範囲にしかなかった場合、その他の色相領域を有効活用することはできなかった。しかしながら、本発明の固有色差平面上では、検出平面上での色相分割を行うことができる。したがって、より柔軟な色検出が可能になる。

本発明を使用したＫＥＹ信号発生回路のブロック図である。 図１の距離算出部Ｂにおける平方根算出の説明図である。 図１の色相分離部の色相分離ブロックの説明図である。 色検出が不十分な場合の色相分離の説明図である。 検出領域が円錐型の場合の説明図である。 検出領域生成部における色相制御の説明図である。 検出領域が鉛筆型の場合の説明図である。 検出領域が双円錐型の場合の説明図である。 検出領域が円柱型の場合の説明図である。 検出領域が釣鐘型の場合の説明図である。 検出領域がラッパ型の場合の説明図である。 検出領域が球型の場合の説明図である。 ｋの値の相違によるＭとＮの位置関係を示したものである。 色検出範囲の立体図である。

以下、本発明の実施の形態について、図面を参照して説明する。

まず、本発明の基礎となる原理について説明する。

色信号は、三原色であるＲ信号、Ｇ信号、およびＢ信号から構成されている。本発明においては、検出したい色信号のＲ信号、Ｇ信号、およびＢ信号の信号レベルを三次元座標に置き換えてＲＧＢ座標点とする（この点を例えば点Ｍとする）。また、このＲＧＢ座標点（点Ｍ）と三次元座標の原点（原点Ｏとする）とを結んだ直線（ＯＭ）を、検出領域の中心とする。

また、本発明においては、入力画素が、色の検出を行う領域内にあるか否かの判定を行う。この判定にあたり、本発明では、入力画素であるＲＧＢ信号を三次元座標で表示したときに（この点を例えば点Ｌとする）、前述の直線（ＯＭ）に対して垂線を下ろし（交点を例えば点Ｎとする）、直線（ＯＭ）との距離（ＬＮ）を算出する。さらに、前述の垂線の足（交点Ｎ）と原点（Ｏ）との距離（ＯＮ）を求めて、前述の垂線の足と原点との距離（ＯＮ）を基に、所定距離を求める。本発明では、この所定距離を、入力画素と直線との距離（ＬＮ）と比較し、直線との距離（ＬＮ）の方が小さいときに、この入力画素は「領域内」であると判定する。

次に、本発明の実施の形態で用いる、固有輝度および固有色差について説明する。一般的に、色は、Ｒ：Ｇ：Ｂの比率により決まる。この比率が同じになる点の集合を原点から直線で結んだものが、本発明による輝度軸となり、検出対象色それぞれが固有の輝度軸を持つ。また、この輝度軸と直交する平面が、固有の色差平面となる。以下、この輝度および色差を、一般的に呼ばれている輝度および色差と区別するために、それぞれ、「固有輝度」および「固有色差」と記す。本発明では、この固有輝度をｋと記す。

以下、本発明による特定色検出回路について説明する。

図１は、本発明による特定色検出回路の一実施の形態であるＫＥＹ信号発生回路の概略構成を示す機能ブロック図である。破線で囲んだ部分は、本実施の形態に係るＫＥＹ信号発生回路の要部を示している。

図１に示すように、ＫＥＹ信号発生回路１０は、入力端子１０１（３ｃｈ）と、距離算出部Ａ１０２と、距離算出部Ｂ１０３と、色相検出部１０４と、検出領域生成部１０５と、判定部１０６と、を備えている。また、ＫＥＹ信号発生回路１０は、さらに、固有輝度算出部１０７と、Ｙマトリクス生成部１０８と、輝度選択部１０９と、ＫＥＹ信号生成部１１０と、ＫＥＹ信号出力端子１１１と、を備えている。

図１に示す各機能部の動作について、以下説明する。

入力端子１０１（３ｃｈ）には、Ｒ、Ｇ、およびＢの画素信号を入力する。この入力端子１０１（３ｃｈ）には、テレビジョンカメラまたは他の映像機器からのＲＧＢ信号をデジタル変換した画素値を入力する。

距離算出部Ａ１０２は、検出したい色の画素を三次元座標で表したときに、検出したい画素（点Ｍ）と原点（Ｏ）とを結んだ直線ＯＭに対して、入力画素（点Ｌ）から下ろした垂線の足（交点Ｎ）と原点（Ｏ）との距離ＯＮを算出する。

距離算出部Ａ１０２が距離ＯＮを算出する処理を数式で表すと、次のようになる。なお、以下の説明において、画素は（Ｒ，Ｇ，Ｂ）の座標で表すものとする。

入力画素の点Ｌの座標を（Ｒｌ，Ｇｌ，Ｂｌ）として、検出したい色の座標の点Ｍの座標を（Ｒｍ，Ｇｍ，Ｂｍ）とする。ここで、点Ｍが小さい場合には、ＲＧＢの比率が同じなので、数倍した点を使用する。点Ｌから、点Ｍと原点Ｏとを結んだ直線ＯＭ上に下ろした垂線の足を点Ｎとし、その座標を（Ｒｎ，Ｇｎ，Ｂｎ）とする。

点Ｍと原点Ｏとの距離をＯＭとし、点Ｎと原点Ｏとの距離をＯＮとすれば、ｋを正数として、式（１）が成立する。
ＯＮ＝ｋ＊ＯＭ （１）
上記式（１）を座標成分で表示すると、以下の式（２）のように表すことができる。
（Ｒｎ，Ｇｎ，Ｂｎ）＝ｋ＊（Ｒｍ，Ｇｍ，Ｂｍ） （２）
また、点Ｌと点Ｎを結ぶ線分ＬＮを含む平面と、ＯＭとは直交するので、以下の式（３）が成り立つ。
（Ｒｎ−Ｒｌ）＊Ｒｍ＋（Ｇｎ−Ｇｌ）＊Ｇｍ＋（Ｂｎ−Ｂｌ）＊Ｂｍ＝０ （３）

これら式（２）および式（３）の２式からｋを算出すると、以下の式（４）のようになる。
ｋ＝（Ｒｍ＊Ｒｌ＋Ｇｍ＊Ｇｌ＋Ｂｍ＊Ｂｌ）／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （４）

このｋを用いてＯＮを表記すると、以下の式（６）のようになる。
ＯＮ＝ｋ＊ＯＭ （１）
＝（Ｒｍ＊Ｒｌ＋Ｇｍ＊Ｇｌ＋Ｂｍ＊Ｂｌ）
／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）
＊√（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （５）
＝（Ｒｍ＊Ｒｌ＋Ｇｍ＊Ｇｌ＋Ｂｍ＊Ｂｌ）
／√（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （６）

ここで、以下の式（７）〜（９）のように各値を定義する。
ＣＲ＝Ｒｍ／√（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （７）
ＣＧ＝Ｇｍ／√（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （８）
ＣＢ＝Ｂｍ／√（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （９）
このように定義することで、上記式（６）は、以下の式（１０）のようになる。
ＯＮ＝ＣＲ＊Ｒｌ＋ＣＧ＊Ｇｌ＋ＣＢ＊Ｂｌ （１０）
このように、ＣＲ、ＣＧ、およびＣＢを予め計算したものをパラメータとして回路に与えておくことにより、ＯＮを求める際の計算量を減じることができる。

以上のようにして求めた距離算出部Ａ１０２の出力は、検出領域生成部１０５と固有輝度算出部１０７とに入力する。

一方、距離算出部Ｂ１０３は、前述の垂線の足である点Ｎと入力画素である点Ｌとの距離ＬＮを算出する。ここで、点Ｎの座標は、ｋを用いてｋ＊（Ｒｍ，Ｇｍ，Ｂｍ）と表せる。点Ｌと点Ｎとの距離は、点Ｎの座標成分と点Ｌの座標成分との差をとり、その座標成分から算出する。これらの座標成分の差を（Ｒｌｎ，Ｇｌｎ，Ｂｌｎ）とすれば、これらの各成分の値は、以下の式（１１）〜（１３）のように表される。
Ｒｌｎ＝ｋ＊Ｒｍ−Ｒｌ＝ＣＲＲ＊Ｒｌ＋ＣＲＧ＊Ｇｌ＋ＣＲＢ＊Ｂｌ （１１）
Ｇｌｎ＝ｋ＊Ｇｍ−Ｇｌ＝ＣＲＧ＊Ｒｌ＋ＣＧＧ＊Ｇｌ＋ＣＲＢ＊Ｂｌ （１２）
Ｂｌｎ＝ｋ＊Ｂｍ−Ｂｌ＝ＣＲＢ＊Ｒｌ＋ＣＧＢ＊Ｇｌ＋ＣＲＢ＊Ｂｌ （１３）
なお、上式（１１）〜（１３）においては、以下の式（１４）〜（１９）のように各値を定義している。
ＣＲＧ＝｛Ｒｍ＊Ｇｍ／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）｝ （１４）
ＣＧＢ＝｛Ｇｍ＊Ｂｍ／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）｝ （１５）
ＣＲＢ＝｛Ｂｍ＊Ｒｍ／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）｝ （１６）
ＣＲＲ＝｛Ｒｍ＊Ｒｍ／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）−１｝ （１７）
ＣＧＧ＝｛Ｇｍ＊Ｇｍ／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）−１｝ （１８）
ＣＢＢ＝｛Ｂｍ＊Ｂｍ／（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２）−１｝ （１９）

以上から、ＬＮは、以下の式（２０）のように求めることができる。
ＬＮ＝√（Ｒｌｎ^２＋Ｇｌｎ^２＋Ｂｌｎ^２） （２０）
このように、ＣＲＧ、ＣＧＢ、ＣＲＢ、ＣＲＲ、ＣＧＧ、およびＣＢＢは、距離算出部Ａの場合と同様に、予め計算したものをパラメータとして回路に与えることにより、ＬＮを求める際の計算量を大幅に減じることができる。

次に、距離算出部Ｂ１０３においてＬＮを算出する際の、平方根処理について説明する。この平方根処理においては、ＬＵＴ（Look Up Table）を用いて置換処理を行う。

図２に平方根ＬＵＴの波形の例を示す。平方根ＬＵＴは、サンプル数１２８個の実部分データと、サンプル間の差部分データとを格納している。図２に示すブロックの番号に対応するアドレス、実部分データ、分割されるサンプル数をまとめると、以下の表１のようになる。

表２にサンプルデータの例を示す。アドレスと、実部分データと、サンプル間の差部分データとの関係は、表２に示すようになる。

サンプル間の差部分データは、求めたい値が中間値である場合に、直線補間を行うことにより算出する際に使用する。

以下、具体的な数値の例を用いて、平方根を求める際の処理について説明する。ここでは、例として、１４４００００の平方根を求める場合について検討する。１４４００００は、アドレス１に対応する１０２４^２である１０４８５７６より大きく、またアドレス２に対応する１４４８^２である２０９６７０４より小さいので、アドレス１とアドレス２の中間となる。ここで、アドレス１の差部分データ４２４から直線補間により求めると、以下の式（２１）のようになる。
４２４＊（１４４００００−１０４８５７６）／１０４８５７６＝１５８ （２１）
なお、分母の値である１０４８５７６は、０〜（８１９２^２）間が６４分割（ブロック１）になるため、８１９２^２／６４＝１０４８５７６として得る。

以上の計算により、１４４００００の平方根は、１０２４＋１５８＝１１８２と求めることができる。この値は、真値１２００と比して、極めて近い値であることがわかる。このようにして、中間値を得ることができる。

なお、実部分データおよびサンプル間の差部分データは、ＣＰＵなどの外部処理装置から置き換えることも可能である。これらのデータは、実部分、差部分共に、サンプル間隔を等間隔にせずに、レベルの低い部分の分解能を上げている。以上のようにして求めた距離算出部Ｂ１０３の出力は、判定部１０６へ入力する。

次に、色相検出部１０４が行う色相の検出について説明する。

まず、通常の場合の色相検出について説明する。通常の場合、色相検出部１０４は、入力画素が色差平面上の何処に位置するかを検出する。ここで、検出領域は、色相方向に６分割する。

図３は、色相検出部１０４が、検出領域を、色相方向に６つのブロックに分割した様子を示す図である。入力画素が色差平面上の何処に位置するかを色相検出部１０４が検出する際は、入力画素のＲＧＢのレベルにより判定する。図３のように分割した検出領域の色相のパターンを、以下の表３に示す。

このようにして色相検出部１０４が検出した結果の出力は、検出領域生成部１０５へ入力する。本発明では、この色相検出部１０４による検出情報を基に、領域毎にゲインを設定することにより、色差平面での色検出を柔軟なものにできる。

次に、色検出が図３に示したブロックの分割による検出では十分でない場合の色相の検出について説明する。本発明では、図３に示したブロックの分割による検出では色検出が十分でない場合、色相検出部１０４は、固有輝度算出部１０７の結果を使用する。本発明による固有輝度算出部１０７は、上述した係数ｋを算出することができる。なお、固有輝度算出部１０７が行う係数ｋの算出については後述する。

このような場合、色相検出部１０４は、固有輝度算出部１０７の出力であるｋを、検出したい色座標Ｍ（Ｒｍ，Ｇｍ，Ｂｍ）に乗じて、その結果を入力色信号から減ずる。すなわち、色相検出部１０４は、Ｒｌ−ｋ＊Ｒｍ，Ｇｌ−ｋ＊Ｇｍ，およびＢｌ−ｋ＊Ｂｍの各値を算出し、この算出値に基づいて、上述した表３のレベル比較を行い、色相を検出する。

検出したい色信号のｋ倍を入力色信号から減じる処理は、色相分割の対象である平面を、色差平面から固有色差平面に変換する処理に相当する。この処理を行うと、原点が、図４（Ａ）に示す点Ｏから図４（Ｂ）に示す点Ｍもしくは固有輝度直線上の点となる。従来、色差平面上での色相分割においては、検出面が一定の色相範囲にしかない場合、その他の色相領域を有効活用することができなかった。これに対し、本発明の固有色差平面上では、検出平面内での色相分割が行えるため、より柔軟な色検出が可能になる。このような処理は、通常の検出で十分でない場合に適用するのが好適である。

次に、検出領域生成部１０５が行う検出領域の生成について説明する。

検出領域生成部１０５は、固有色差平面上での検出領域の距離ＰＮを求める。この距離ＰＮは、検出領域の立体構造により求め方が異なる。したがって、以下、検出領域の各立体構造別に、距離ＰＮの求め方について説明する。

図５および図７〜図１２は、ＯＭやＯＮの固有輝度をＸ軸として、また固有色差をＹ軸として示した平面図を、検出領域の立体構造のタイプ別に、それぞれのイメージと共に示す図である。

（ａ）検出領域が円錐型の場合（図５参照）
図５（Ｂ）は、円錐型の検出領域のイメージ図である。円錐型の場合、以下の式（２２）によりＰＮを算出する。
ＰＮ＝Ｓｉ＊ＯＮ （ｉ＝１〜６，０≦Ｓｉ≦１．０） （２２）
ここで、ＯＮは、距離算出部Ａ１０２の出力である。Ｓｉは、円錐の母線の傾きとしてもよいし、また、図６に示すように、色相検出部１０４の出力に基づいてブロック別にＳｉを設定してもよい。図６は、検出領域生成部１０５における色相の制御を説明する図である。なお、ｉは、図３に示したブロック番号であり、１〜６の値をとる。

図５（Ａ）は、入力画素と検出領域との関係を表したグラフである。図５（Ａ）において、線分ＬＮは、入力画素から固有輝度に対して下ろした垂線の足との距離である。線分ＰＮは検出領域であり、上述の式（２２）より求めることができる。

このように検出領域を設定することにより、前述のように、固有色差平面上での色検出を柔軟にする効果がある。また、検出領域の底面の円型を、一定範囲の色相別に、彩度方向に制御することが可能になるので、色度上で複雑な分布をする特定色でも柔軟に検出することができる。

（ｂ）検出領域が鉛筆型の場合（図７参照）
図７（Ｂ）は、鉛筆型の検出領域のイメージ図である。鉛筆型の場合、以下の式（２３）および式（２４）によりＰＮを算出する。
ＰＮ＝Ｓｉ＊ＯＮ （ＰＮ≦Ｙｉ） （２３）
ＰＮ＝Ｙｉ （ＰＮ＞Ｙｉ） （２４）
（ｉ＝１〜６，０≦Ｓｉ≦１．０）
なお、ＯＮおよびＳｉは、円錐型の場合と同じようにして得る。Ｙｉは、ＰＮを所定倍以上にしない閾値である。例えば、ＯＮとＳｉとの積を演算して、その値がＹｉより大きくなった場合は、Ｙｉでクリップ処理を行い、ＰＮをＹｉとする。

図７（Ａ）は、入力画素と検出領域との関係を表したグラフである。図７（Ａ）において、線分ＬＮは、入力画素から固有輝度に対して下ろした垂線の足との距離である。線分ＰＮは検出領域であり、上述の式（２３）および式（２４）より求めることができる。この場合、ＰＮはＹｉ以上にはならない。

（ｃ）検出領域が双円錐型の場合（図８参照）
図８（Ｂ）は、双円錐型の検出領域のイメージ図である。双円錐型の場合、以下の式（２５）および式（２６）によりＰＮを算出する。
ＰＮ＝Ｓｉ＊ＯＮ （ＯＮ≦Ｘｉ） （２５）
ＰＮ＝Ｔｉ＊ＯＮ （ＯＮ＞Ｘｉ） （２６）
（ｉ＝１〜６，０≦Ｓｉ≦１．０）
なお、ＯＮおよびＳｉは、円錐型の場合と同じようにして得る。Ｔｉは、Ｓｉと同様に母線の傾きであり、色相別に設定することもできる。Ｘｉは、傾き切換のための固有輝度閾値である。

図８（Ａ）は、入力画素と検出領域との関係を表したグラフである。図８（Ａ）において、線分ＬＮは、入力画素から固有輝度に対して下ろした垂線の足との距離である。線分ＰＮは検出領域であり、上述の式（２５）および式（２６）より求めることができる。図８（Ａ）においては、入力画素が切換閾値のＸｉよりも小さい場合を示している。

（ｄ）検出領域が円柱型の場合（図９参照）
図９（Ｂ）は、円柱型の検出領域のイメージ図である。円柱型の場合、以下の式（２７）および式（２８）によりＰＮを算出する。
ＰＮ＝０ （ＯＮ≦Ｘｉ かつ ＰＮ≦Ｙｉ） （２７）
ＰＮ＝Ｙｉ （ＯＮ＞Ｘｉ かつ ＰＮ＞Ｙｉ） （２８）
（ｉ＝１〜６，０≦Ｓｉ≦１．０）
ここで、ＯＮがＸｉ以上になる場合は、ＰＮの値はクリップ処理され、Ｙｉとなる。

図９（Ａ）は、入力画素と検出領域との関係を表したグラフである。図９（Ａ）において、線分ＬＮは、入力画素から固有輝度に対して下ろした垂線の足との距離である。線分ＰＮは検出領域であり、上述の式（２７）および式（２８）より求めて算出する。図９（Ａ）においては、ＰＮの値は、図７に示した鉛筆型の場合と同様のクリップ処理を行うことにより求める。

（ｅ）検出領域が釣鐘型またはラッパ型の場合（図１０および図１１参照）
図１０（Ｂ）および図１１（Ｂ）は、それぞれ、釣鐘型およびラッパ型の検出領域のイメージ図である。検出領域がこれらの型の場合、ＯＮをＸｉとした際のＹｉの値をＰＮとして出力する。このＸｉとＹｉとの対応関係は、Ｘｉを入力とした場合のＹｉを出力とするルックアップテーブルにより構成する。

図１０（Ａ）および図１１（Ａ）は、入力画素と検出領域との関係を表したグラフである。図１０（Ａ）および図１１（Ａ）のそれぞれにおいて、Ｘｉは、入力画素から固有輝度に対して下ろした垂線の足と原点との距離である。図１０（Ａ）および図１１（Ａ）においては、このＸｉに応じて、検出領域Ｙｉを求める。ＸｉおよびＹｉは、上述したように、ルックアップテーブルで生成する。

（ｆ）検出領域が球型の場合（図１２参照）
図１２（Ｂ）は、球型の検出領域のイメージ図である。球型の場合、Ｍの座標は（Ｒｍ，Ｇｍ，Ｂｍ）であり、Ｌの座標は（Ｒｌ，Ｇｌ，Ｂｌ）なので、これらの成分の差を求めると、以下の式（２９）、式（３０）、および式（３１）のようになる。
Ｒｌｍ＝Ｒｍ−Ｒｌ （２９）
Ｇｌｍ＝Ｇｍ−Ｇｌ （３０）
Ｂｌｍ＝Ｂｍ−Ｂｌ （３１）

以上から、距離ＬＭは、以下の式（３２）のようになる。
ＬＭ＝√（Ｒｌｍ^２＋Ｇｌｍ^２＋Ｂｌｍ^２） （３２）
ここで、ＰＭとしてレジスタ値などのパラメータ値を回路に与えて、以下の式（３３）を満たす領域を検出領域とすると、図１２（Ａ）に示すように、点Ｍを中心とする球型を検出領域として色領域の検出を行うことができる。
ＰＭ≧ＬＭ （３３）
この場合、距離算出部Ｂ１０３にてＬＭを算出し、検出領域生成部１０５にてＰＭを算出する。このようにして、前記式（３２）にしたがって球型の検出領域が生成される。

以上、検出領域の各立体構造別に、ＰＮ（またはＰＭ）の求め方についてそれぞれ説明したが、どの立体構造を採用するかは入力映像信号の種類による。

検出領域生成部１０５は、以上のようにして求めたＰＮまたはＰＭを出力として、この出力を判定部１０６へ入力する。以上が検出領域生成部１０５の構成であるが、どのタイプの検出領域を選択するかによって、検出領域生成部１０５の具体的な構成を変更する。

判定部１０６は、入力画素が所定領域内にあるか否かを判定する。この判定は、判定部１０６が、距離算出部Ｂ１０３の出力ＬＮまたはＬＭと、検出領域生成部１０５の出力ＰＮまたはＰＭとの大小を比較することにより行う。ＬＮがＰＮより小さいとき、またはＬＭがＰＭより小さいときは、判定部１０６は、入力画素が所定領域内にあるものと判定する。

入力画素が所定領域内にあると判定された場合、判定部１０６は、色差方向ＫＥＹ信号としてHighの信号を、ＫＥＹ信号生成部１１０に対して出力する。一方、入力画素が所定領域外にあると判定された場合、判定部１０６は、色差方向ＫＥＹ信号としてLowの信号を、ＫＥＹ信号生成部１１０に対して出力する。

固有輝度算出部１０７は、本発明の固有輝度ｋを算出する。ｋは以下の式（３４）により算出する。
ＯＮ＝ｋ＊ＯＭ （３４）
ＯＮは距離算出部Ａ１０２から得られる値を用いる。ＯＭは次の式（３５）のようになる。
ＯＭ＝√（Ｒｍ^２＋Ｇｍ^２＋Ｂｍ^２） （３５）
この逆数をｃｋとしてＯＮへ乗算すれば、ｋを算出することができる。

このようにして、ＯＮ＊ｃｋからｋを算出することができる。これが本発明の固有輝度となる。係数ｃｋを予め計算しておけば、回路上での計算量を大幅に減じることができる。固有輝度算出部１０７は、このようにして得た固有輝度ｋを出力し、この出力を輝度選択部１０９へ入力する。この固有輝度ｋの算出において、ｋは正数であるので、１を超えた数をとることもできる。すなわち、上述した処理は、検出したい点Ｍの入力色信号レベルを超えた値に関しても扱うことができる。なお、図１３は、ｋの値の相違によるＭとＮの位置関係を表したものである。

Ｙマトリクス生成部１０８は、ＮＴＳＣの規格により、入力画素から、次の式（３６）に示す比率に従って輝度信号を生成する。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ （３６）
例えば本発明をハイビジョンに適用する場合には、ハイビジョンの比率で輝度信号を生成する。Ｙマトリクス生成部１０８は、このようにして得た輝度信号を出力し、この出力を輝度選択部１０９へ入力する。

輝度選択部１０９は、Ｙマトリクス生成部１０８と固有輝度算出部１０７との出力を、選択制御（図示せず）により選択して、輝度信号を生成する。輝度選択部１０９は、このようにして得た輝度信号を出力し、この出力をＫＥＹ信号生成部１１０に入力する。

ＫＥＹ信号生成部１１０は、輝度選択部１０９の出力と判定部１０６の出力とを、そのまま、または混合することにより、ＫＥＹ信号を生成する。ＫＥＹ信号生成部１１０は、このようにして生成したＫＥＹ信号を、ＫＥＹ信号発生回路１０の出力として、出力端子１１１から出力する。

図１４は、上述した処理により生成した、色検出用ＫＥＹ信号の範囲の例を立体的に示す図である。

なお、輝度選択部１０９の出力は、輝度方向の色検出ＫＥＹ信号であり、判定部１０６の出力は、色差方向の色検出ＫＥＹ信号である。また、輝度方向の色検出ＫＥＹ信号および色差方向の色検出ＫＥＹ信号ともに、色の変わり目においてＫＥＹ信号の傾きを変えることができる。さらに、輝度レベルの低い部分と高い部分とにおいて、ＫＥＹ信号の変化を別々に変更することができる。

ＫＥＹ信号のパターンの例を、以下の表４に示す。

色空間内で特定色を検出するためには、上述した２つのＫＥＹ信号を混合する必要がある。この混合は、例えば以下の式（３７）に従って行う。
ＫＥＹ＝輝度ＫＥＹ＊色差ＫＥＹ （３７）
このようにして得たＫＥＹ信号は、表４に示す検出領域の色検出ＫＥＹ信号となる。

このＫＥＹ信号についても、上述した場合と同様に、色の変わり目においてＫＥＹ信号の傾きを変えることができる。なお、これらの上述したＫＥＹ信号は、各々単独で出力することも可能である。

色検出ＫＥＹ信号の信号選択の例を、以下の表５に示す。

どのＫＥＹ信号を使用するかは、撮像信号や映像信号の使用方法により異なる。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、幾多の変形および変更も可能である。例えば、上述した実施の形態では、演算に要する時間を減らすため、ＬＵＴを用いた構成としたが、処理速度の速いプロセッサを使用すれば、その都度演算させる構成とすることも可能である。

また、上述した実施の形態では、ＲＧＢ入力画素を直接入力する構成としたが、ＲＧＢ入力画素に対して、オフセットやゲイン調整を行ってから入力する構成とすることもできる。

このようなオフセットやゲイン調整が必要な場合として、次のような場合を想定することができる。すなわち、例えば、撮影対象の風景は全く同じであるが、撮影時間が昼と夕方というように異なり、一方は昼のために青味が強いが、もう一方は夕方であるため赤味が強い、というようなパターンの映像があったとする。このような映像の中から、本来ならば同じである色を検出しようとした場合、前記した条件の色味の差により、正確に検出できないことがある。

この間題を解決するため、昼なら昼の色温度を反映させた輝度軸を、また夕方なら夕方の色温度を反映させた輝度軸を設定できる様にゲイン調整をすることができる。このゲイン調整により、周りの環境に左右されることなく、同じ物体を同じ様に検出することが可能となる。

また、上述したオフセットは、ＲＧＢ入力画素が黒く沈んでしまい、本来の色として検出できない場合に有効である。

なお、上述した実施の形態においては、入力画素であるＲＧＢ信号を用いて各処理を行ったが、このようにＲＧＢで入力された色信号を、別の表色系、例えばＸＹＺ表色系に変換してから、後段の色検出を行うことも可能である。

本発明は、色検出により特殊効果を行う映像処理装置に有用である。特に、本発明は、テレビジョンカメラで肌色を検出して輪郭強調信号を制御する場合や、特定色および色範囲を検出して色補正処理を施したり、任意の色へ変更するカラーコレクタ処理を施す際に好適である。

１０ ＫＥＹ信号発生回路
１０１ 入力端子（３ｃｈ）
１０２ 距離算出部Ａ
１０３ 距離算出部Ｂ
１０４ 色相検出部
１０５ 検出領域生成部
１０６ 判定部
１０７ 固有輝度算出部
１０８ Ｙマトリクス生成部
１０９ 輝度選択部
１１０ ＫＥＹ信号生成部
１１１ ＫＥＹ信号出力端子

Claims (8)

1. ＲＧＢ入力画素が、検出したい色信号を中心とする所定色検出領域内の信号か否かを判定する特定色検出回路であって、
   ＲＧＢ入力画素および検出したいＲＧＢ色信号を、Ｒ軸、Ｇ軸およびＢ軸を三軸とした三次元座標で表現し、前記検出したいＲＧＢ色信号の座標または前記検出したいＲＧＢ色信号とＲＧＢの比率が同じ座標と、原点とを結ぶ直線に対して、前記ＲＧＢ入力画素の座標から垂線を下ろした足と該原点との距離を、第一の距離として算出する第一距離算出部と、
   前記ＲＧＢ入力画素の座標と前記足との距離を、第二の距離として算出する第二距離算出部と、
   前記ＲＧＢ入力画素の信号の色相を検出する色相検出部と、
   前記第一の距離および前記ＲＧＢ入力画素の信号の該色相に応じて色差方向の検出領域を生成し、該検出領域に応じて前記第一の距離から第三の距離を算出する第三距離算出部と、
   前記第二の距離と前記第三の距離とを比較して、前記第三の距離が前記第二の距離より大の場合、前記ＲＧＢ入力画素は前記所定色検出領域内であると判定する判定部と、
   を具えることを特徴とする特定色検出回路。
2. 請求項１に記載の特定色検出回路であって、
   前記所定色検出領域は、前記検出したい色信号の座標を中心とした所定の大きさの円を底面として、該底面と前記原点とを直線または直線の組合せにより接続した立体構造を有する領域とし、
   該立体の母線の傾きによる乗算処理または所定閾値のクリップ処理により前記第三の距離を算出する第三距離算出部を有することを特徴とする特定色検出回路。
3. 請求項２に記載の特定色検出回路であって、
   前記所定色検出領域は、前記原点を頂点とした円錐構造を有する領域、前記原点を頂点とした円錐と該円錐の底面と同じ大きさの底面の円柱との合体構造を有する領域、前記原点を頂点とした第一の円錐と、該第一の円錐の底面を介して前記原点とは反対側に頂点を有する第二の円錐との合体構造を有する領域、または、単に前記底面を含む円柱構造を有する領域、の何れかとすることを特徴とする特定色検出回路。
4. 請求項１に記載の特定色検出回路であって、
   前記所定色検出領域は、前記検出したい色信号の座標を中心とした所定の大きさの円を底面として、該底面と前記原点との間を非線形な曲線で接続する立体構造を有する領域とし、
   該曲線に基づいて前記第一の距離に対応する値を得ることにより、前記第三の距離を算出する第三距離算出部を有することを特徴とする特定色検出回路。
5. 請求項４に記載の特定色検出回路であって、
   前記所定色検出領域は、ｘｙ平面上でｙ＝ａ・ｘ^ｎ（但し、ｘ，ｙ，ａは正数かつｎ＜１とする）を満たす前記曲線をｘ軸について回転させることにより画成される釣鐘型の立体構造を有する領域、または、ｘｙ平面上でｙ＝ｂ・ｘ^ｎ（但し、ｘ，ｙ，ｂは正数かつｎ＞１とする）を満たす前記曲線をｘ軸について回転させることにより画成されるラッパ型の立体構造を有する領域とすることを特徴とする特定色検出回路。
6. 請求項１に記載の特定色検出回路であって、
   前記所定色検出領域は、前記検出したい色信号の座標を中心とした球構造を有する領域とし、
   前記第二距離算出部は、前記ＲＧＢ入力画素と前記検出したい色信号との距離を前記第二の距離として算出し、
   前記第三距離算出部は、前記球の半径または所定値を前記第三の距離として出力することを特徴とする特定色検出回路。
7. 請求項１に記載の特定色検出回路であって、
   前記第二距離算出部は、前記第二の距離を、平方根を用いて算出するにあたり、平方根のサンプル値および該サンプル値間の差分値をデータとするルックアップテーブルを構成し、該ルックアップテーブルに求める値がない場合は、前記平方根のサンプル値および該サンプル値間の差分値に基づいて補間を行うことにより前記第二の距離を算出することを特徴とする特定色検出回路。
8. 請求項１に記載の特定色検出回路であって、
   前記色相検出部は、
   前記ＲＧＢ入力画素のレベル差の比較、または、
   前記検出したいＲＧＢ色信号の座標または前記検出したいＲＧＢ色信号とＲＧＢの比率が同じ座標と原点とを結ぶ直線の距離と、前記第一の距離との比を求め、前記検出したいＲＧＢ色信号の座標に該比を乗じた値と、前記ＲＧＢ入力画素の座標とから求めた差分の比較により、前記色相を検出することを特徴とする特定色検出回路。

Images