JP2010130392A - 画像処理装置 - Google Patents

Abstract

【課題】
例えば、デジタルカメラのような撮像機器やＴＶやディスプレイなどのような表示機器において、映像信号における色を補正することが可能な画像処理装置に関わる。他の色に影響を与えることなく特定被写体の特定色だけに補正をかけることを課題とする。
【解決手段】
映像内の特定の被写体を検出して、検出した領域から得られた被写体と色との相関情報を基に特定色のみに補正を行う。特定被写体の特定色を補正するために、人や空のような特定オブジェクトを認識可能なオブジェクト認識手段で被写体を認識し、被写体から得られた情報を利用して特定色のみに対して補正を行う。
【選択図】 図１

Description

本発明は、画像処理装置に関する。例えば、デジタルカメラのような撮像機器やＴＶやディスプレイなどのような表示機器において、映像信号における色を補正することが可能な画像処理装置に関わる。

特開２００４−２９７６９８号公報（特許文献１）には「［課題］特定色を色補正するとき、補正対象以外の色に影響を与えずに、撮影状況や撮影する映像に応じて色補正量を変化させることができる撮像装置を提供する。［解決手段］撮影モード選択手段と、色差平面上における所定の色の位置を示す位置データと所定の色の位置を中心点とした所定の範囲を補正範囲として設定するための補正範囲設定データと補正範囲に該当する特定色を所定の色を示す位置に収束させるための収束係数データとを含んだ色収束パラメータ値が記憶してある色収束パラメータ記憶手段と、撮影モード選択手段で選択した撮影モード情報に基づき、色収束パラメータ記憶手段の中から該当する特定色の色収束パラメータ値を選択して設定する色収束パラメータ設定手段と、色収束パラメータ設定手段で設定された色収束パラメータ値に基づいて算出した補正量により映像信号の中の特定色を所定の色に補正する色収束補正処理手段と、を備える。」と記載されている。

特開２００４−２９７６９８号公報

従来、映像の色は撮影したカメラのＣＣＤやＣＭＯＳのようなセンサや液晶パネルやプラズマパネルのような表示するディスプレイの特性の影響を受けて完全に色を再現することが出来ない。

また人間が人の肌や青空など特定の対象に対して共通のイメージを持っているために、好ましいと感じる色（記憶色）と実際の色が異なる場合がある。

この様な映像の色を補正する機能は、信号処理回路で主に行われており、ＲＧＢの利得を変えたり色相を回転させたりすることで、特定色を目標とする色に補正する方法が執られてきた。

しかしながら、これらの方法では全ての色に補正がかかってしまい、補正を意図していない色まで補正してしまう。また記憶色は人間が記憶しているイメージに起因しているため、特定の色だけを補正する場合も被写体に応じて補正具合が変化する。

そのため、特定の被写体における特定の色を補正しなければならないという課題があった。

なお、色相の特定の色だけを補正する発明として、上記特開２００４−２９７６９８号公報（特許文献１）があるが、本公知例では被写体を認識して色の補正を行う点が記載されていない。

本発明では、例えば、特定被写体の特定色を補正するために、人や空のような特定オブジェクトを認識可能なオブジェクト認識手段で被写体を認識し、被写体から得られた情報を利用して特定色のみに対して補正を行う。なお、オブジェクトとは対象が持つ特徴から認識可能なものと定義する。詳細には特許請求の範囲に記載したとおりである。

本発明の画像処理装置は、例えば、特定オブジェクトの認識を可能とし、特定色のみに補正をかけられるので、目的とする被写体を特定オブジェクトとして指定することで、他の色に影響を与えることなく目的とする被写体に対して特定の色だけを補正することが出来る。

本発明を実施するための最良の形態は以下の実施例に示す。

図１は本発明における基本構成を示す図である。詳細を以下に説明する。
図１に示すように、映像信号から特定オブジェクトを認識するためのオブジェクト認識手段100と認識したオブジェクトの情報を用いて映像の色に補正を行うための色補正手段200から構成されている。

前記オブジェクト認識手段100は、特定のオブジェクトを検出するためのオブジェクト検出手段101と、検出したオブジェクトの画像内での範囲を設定するためのオブジェクト領域設定手段102と、検出したオブジェクトの色情報を検出するためのオブジェクト色検出手段103と、から構成されている。
前記オブジェクト検出手段101は、入力映像と予め設定された特定オブジェクトの特徴情報と画像を比較して目的とする被写体の検出を行い、特定オブジェクトの位置と大きさを表す領域情報を出力する。

被写体の検出方法は、特徴情報としてオブジェクトの輪郭の特徴を示した画像データを持っておき、入力画像とのパターンマッチングにより検出する方法が一般的に行われており、ここでは詳細な説明は割愛する。

また領域情報として、例えば検出したオブジェクトの映像中の位置がわかるような基準位置座標と、領域の大きさがわかるように基準位置から領域境界までの差分値を使用する。

この様な領域情報を使用することで、前記オブジェクト領域設定手段102の領域設定手法に関係なくオブジェクトの存在する範囲を簡単に伝達することが可能となる。
前記オブジェクト領域設定手段102は、出力された情報を基に検出したオブジェクトを含むように領域の座標情報を設定する。

領域の設定方法は、検出オブジェクトと周辺画素との相関情報を加味して、検出した大きさよりも広く設定すると周辺画素の情報も検出できるため、補正を意図しない周辺領域の色まで補正しないように色補正領域を細かく設定することが出来るようになる。
前記オブジェクト色検出手段103は、設定された画素領域から輝度信号や色差信号といった画素信号を用いた色とオブジェクトの相関情報を検出する。

相関情報とは、例えば領域内の画素信号の単純な平均値や、領域内の位置に応じて重み付けして加算するような信号レベルの差分や、分散のような広がりを表す指標が挙げられる。この様な相関情報を利用することで、同じオブジェクトでも被写体毎に最適な色補正領域や目標色を設定することが可能となる。

前記色補正手段200は、補正する色の領域の範囲を制御するための補正色領域制御手段201と、領域の設定を行うための補正色領域設定手段202と、画素が補正対象か否かを判別するための補正色領域判別手段203と、補正する色の目標値と補正具合を設定するための目標色設定手段204と、補正対象と判別された画素に対して補正を行う色信号補正手段205と、から構成されている。

前記補正色領域制御手段201は、前記オブジェクト色検出手段103で検出されたオブジェクトと色の相関情報を基に現在設定されている色差平面上での補正色領域の基準位置座標や大きさを表す差分情報の制御を行う。

オブジェクトを検出するタイミングに合わせて補正色領域の設定を最適なものに制御するとで、スチルカメラで静止画撮影する場合はシャッターを押下するタイミングで検出し、ムービーカメラやＴＶのような入力映像が動画の場合は一定フレーム単位で検出することで、被写体やシーンに応じた最適な色補正を行うことが可能となる。

前記補正色領域設定手段202は、前記補正色領域制御手段201で設定された補正色領域の位置や大きさの制御情報に応じて、色差平面上での補正色領域の境界を設定する。

図２は色差平面を表したものであり、横軸は式差信号の１つであるＣｂ、縦軸は式差信号の１つであるＣｒを意味している。図中の記号は原点からその記号に引かれた破線軸を代表する色を表しており、記号の意味は図中に示すとおりである。また図中の補正色領域は補正対象となる色の範囲を表しており、目標色は補正後に目標とする色を表している。
図２に示すように補正色領域を菱形領域や楕円領域に設定することで、近い位相を持つ特定色だけを補正することが可能となる。

前記補正色領域判別手段203は、前記補正色領域設定手段202で設定された補正色領域の座標情報から画素の色が補正色領域に含まれているか否かを判別する。

前記補正色領域設定手段202で領域を菱形として境界情報を頂点座標とすると、特定の頂点座標を用いた直線に対して判別対象画素の色差平面上の座標と領域上にある１つの座標が同じ側にあるか反対側にあるかの判別を繰り返すことで単純な演算による処理が可能となる。この時、判別対象画素に対して菱形の辺を構成しない２点上に引ける直線２本と残りのどちらかの頂点を用いて前述の判別を行うと、判別対象画素に一番近い菱形の辺が判明するため、最後に判明した辺と領域上の点と用いて同様の判別を行うことで、領域内に判別対象画素が含まれるか否かが容易に判別できる。

前記目標色設定手段204は、前記オブジェクト認識手段100から出力された情報に応じて、補正の対象となった色を目標とする色に近づけるために目標値座標と補正率を設定する。目標値座標と補正率の設定は、予め設定値として保持しておく方法や補正色領域に応じて一定の割合で自動的に設定する方法が考えられる。その際、目標値座標を補正色領域内に設定することで補正していない部分の色と補正した部分との色の逆転現象を防ぐことが可能となるため、弊害なく適切に色補正を行うことが出来る。

前記色信号補正手段205は、 前記目標色設定手段204で設定された目標値座標と処理対象となっている画素の色信号にそれぞれ補正率を重み付けして加算することで目的とする色に近づくように補正を行う。

この際、補正率を目標値から遠い色ほど効かない様に演算することでグラデーションのような滑らかに色が変化するような部分で急激に変化させてしまうような補正を行うことで発生する波紋現象を抑制することが可能となるため、弊害なく適切に色補正を行うことが出来る。

特定の被写体だけに色補正するために、検出した画面内の領域にだけ補正する場合は、境界に近づくほど補正率を弱くなるように非線形に制御することで、検出領域の境界上で色が急に変化して不自然に見えてしまうことを防ぐことができる。

図４に示すように、撮像素子面上に被写体を結像するためのレンズ301と、結像された光を電気信号に変えるための撮像素子302と、入力された電気信号を画像に変換して処理を行うための信号処理部303と、実施例１に記載の前記認識色補正手段000と、撮影した画像を記録するための記録部304と、から構成されている。

目的とする被写体が映るように撮影を開始すると、フォーカスレンズやズームレンズなどの前記レンズ301を通過した光は、ＣＣＤやＣＭＯＳのような撮像素子面上に結像される。前記撮像素子302は、前記信号処理部303で処理可能とするために結像された光に対して光電変換を行う。前記信号処理部303では変換された電気信号を画像に変換し、ホワイトバランスやガンマ補正など様々な処理を行う。

次に特定被写体の特定色を補正するために、前記認識色補正手段では、予め補正したい被写体の特徴情報と補正する目標色として記憶色を設定しておき、処理された画像に対して被写体が写っているか否かの検出を行う。

監視カメラで利用する場合には、特定オブジェクトとして人間や動くものなどを設定しておき、目標色としてわざと目立つ色を設定することで異常が起きたときにわかりやすく表示することが出来る。

以上のように補正された映像信号を記録部304で圧縮処理などを行いＤＶＤやＨＤＤなどの記録媒体へ記録する。

また、従来の色再現のまま記録しておき、必要に応じて特定被写体に対しての色補正を行った映像の表示や記録も可能となる。

太陽光と蛍光灯のような色温度の違う２つの光が同時に画面内に存在する場合や画面内に信号が飽和する部分が存在する場合のように撮影条件によって、画面全体のホワイトバランスが崩れることで目的とする被写体の色が好ましくない場合でも、撮影者が気にすることなく自動的に色補正を行うことが出来る。

図５は本発明を表示機器の１つであるＴＶに適用した場合の構成例である。詳細を以下に説明する。

図５に示すように、放送波を受信するためのアンテナ部401と、放送波を変調するためのチューナ部402と、映像信号と音声信号に変換するデコーダ部403と、映像信号に補正を行うための映像信号処理部404と、音声信号に補正を行うための音声信号処理部405と、実施例１に記載の前記認識色補正手段000と、映像を表示するための表示部406と、音声を出力するためのスピーカ部407と、から構成されている。

はじめに前記アンテナ部401は、放送局から送信されてくる放送波を受信する。受信した放送波を前記チューナ部402で、変調処理を行いデジタル信号に変換する。前記デコーダ部403は、変調されたデジタル信号を映像信号と音声信号に分離して復号化する。

前記映像信号処理部404と前記音声信号処理部405は、復号化されたそれぞれの信号に対して出力機器の特性に合わせた補正を行う。

前記認識色補正手段は、補正された映像に対して目的とする被写体を認識した場合に色補正を行う。

使用者が色補正の設定を変更可能とすることで、視聴者毎の好みに合わせた肌の色や空の色といった最適な色で視聴することが可能となる。

最後に補正された映像を前記表示部406で表示し、補正された音声を前記スピーカ部407で再生する。

以上、添付図面を参照しながら本発明にかかる好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

基本構成図を表す図である。 補正する色の領域を表す図である。 認識したオブジェクトに対して色を補正した効果を表す図である。 本発明をカメラに適用した構成例を表す図である。 本発明をＴＶに適用した構成例を表す図である。

符号の説明

100・・・オブジェクト認識手段
101・・・オブジェクト検出手段
102・・・オブジェクト領域設定手段
103・・・オブジェクト色検出手段
200・・・色補正手段
201・・・補正色領域制御手段
202・・・補正色領域設定手段
203・・・補正色領域判別手段
204・・・目標色設定手段
205・・・色信号補正手段

Claims (11)

1. 特定オブジェクトを１つまたは複数認識可能とするオブジェクト認識手段と、
   映像の色を補正する色補正手段と、
   を有する画像処理装置であって、
   前記オブジェクト認識手段は、
   特定オブジェクトの検出を行うオブジェクト検出手段と、
   入力画像に対して領域を設定するオブジェクト領域設定手段と、
   をし、
   前記オブジェクト領域設定手段は、前記オブジェクト検出手段によって検出されたオブジェクトの位置に応じて、検出されたオブジェクトを含む領域を設定し、
   前記色補正手段は、設定された領域から検出したオブジェクトと色との相関に基づいて色情報に非線形な処理を行う
   ことを特徴とする画像処理装置。
2. 請求項１において、
   前記色補正手段は、
   補正する特定色の領域の位置や広さを制御する補正色領域制御手段と、
   補正する特定色の領域を設定する補正色領域設定手段と、
   画素の色が特定色に設定した領域に含まれるか否かを判別する補正色判別手段と、
   目標とする色を設定する目標色設定手段と、
   色信号に補正をかける色信号補正手段と、
   を有し、
   前記補正色領域制御手段は設定された領域から算出したオブジェクトと色情報との相関情報に基づいて補正色領域の設定を変更し、
   前記補正色領域設定手段は前記補正色領域制御手段で定められた設定を基に、補正色領域を設定し、
   前記色判別手段は入力画素の色が前記補正色領域設定手段で算出された補正色領域に含まれているか否かを判別し、
   前記色信号補正手段は、補正色領域に含まれていると判別された場合、前記目標色設定手段によって設定された目標とする色に近づくように画素の色信号に補正を行うこと
   を特徴とする画像処理装置。
3. 請求項１において、
   前記オブジェクト検出手段は、補正する対象として予め設定された特定オブジェクトに対して入力画像から検出を行い、検出したオブジェクトの位置や大きさの情報を出力すること
   を特徴とする画像処理装置。
4. 請求項１において、
   前記オブジェクト領域設定手段は、前記オブジェクト検出手段によって出力された情報を基にオブジェクトを含む位置と大きさを持つ領域を設定すること
   を特徴とする画像処理装置。
5. 請求項２において、
   前記補正色領域制御手段は、オブジェクト色検出手段の情報に応じて、補正色領域の基準となる位置や大きさを調整すること
   を特徴とする画像処理装置。
6. 請求項２において、
   前記補正色領域設定手段は、補正色領域制御手段で調整された補正色領域の位置や大きさに応じて、色差平面上での補正色領域の境界を設定すること
   を特徴とする画像処理装置。
7. 請求項２において、
   前記補正色判別手段は、設定された補正色領域の座標情報から画素の色が補正色領域に含まれているか否かを判別すること
   を特徴とする画像処理装置。
8. 請求項２において、
   前記目標色設定手段は、補正の対象となった色を目標とする色に近づけるために目標値座標と補正率を設定し、その際、目標値座標は補正色領域内に設定すること
   を特徴とする画像処理装置。
9. 請求項２において、
   前記色信号補正手段は、画素に対して、設定された目標値座標と色信号に補正率を重み付けして加算することで目的とする色に近づくように補正を行い、補正率を目標値から遠い色ほど効かない様に演算すること
   を特徴とする画像処理装置。
10. 請求項１において、
    撮像素子面上に被写体を結像するためのレンズと、
    結像された光を電気信号に変えるための撮像素子と、
    入力された電気信号を画像に変換して処理を行うための信号処理部と、
    撮影した画像を記録するための記録部と、
    を有し、
    前記レンズによって撮像素子面上に結像された光を撮像素子によって光電変換を行い、
    入力された電気信号を画素の情報に変換して画像として処理を行い、
    前記信号処理部から出力された画像に対して、前記画像処理装置で特定の被写体の色に対して色補正を行い、
    色補正された出力画像を記録手段で記録媒体に記録する
    ことを特徴とする画像処理装置。
11. 請求項１において、
    放送波を受信するためのアンテナ部と、
    放送波を変調するためのチューナ部と、
    映像信号と音声信号に変換するデコーダ部と、
    映像信号に補正を行うための映像信号処理部と、
    音声信号に補正を行うための音声信号処理部と、
    映像を表示するための表示部と、
    音声を出力するためのスピーカ部と、
    を有し、
    前記アンテナ部は、放送波を受信し、
    受信した放送波を前記チューナ部で変調処理を行いデジタル信号に変換し、
    前記デコーダ部は、変調されたデジタル信号を映像信号に復号化し、
    前記映像信号処理部は、復号化されたそれぞれの信号に対して表示装置の特性に合わせた補正を行い、
    前記色補正手段は、補正された映像に対して目的とする被写体を認識した場合に色補正を行い、
    補正された映像を前記表示部で表示する、
    ことを特徴とする画像処理装置。

Images