JP2014006614A - 画像処理装置、画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】適切な画像処理が行えるようにする。
【解決手段】入力画像の構図を検出する検出部と、検出部により検出された構図に基づく画像処理の強度を制御する第１の情報を生成する第１の生成部と、入力画像の画素値の変化の少ない平坦部分を検出し、平坦部分に対する画像処理の強度を制御する第２の情報を生成する第２の生成部と、入力画像の前景部分を検出し、前景部分に対する画像処理の強度を制御する第３の情報を生成する第３の生成部と、第１の情報、第２の情報、および第３の情報に基づいた強度で画像処理を行う画像処理部とを備える。本技術は、画像処理を行う、例えばテレビジョン受像機などに適用できる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、並びにプログラムに関する。詳しくは、画像処理を行う強度を制御する画像処理装置、画像処理方法、並びにプログラムに関する。

低解像度の入力画像の情報量を増やして、高解像度、高精細な画像に変換する超解像処理を行う装置がある。また、供給された入力画像に対して、解像度をより高くする補間処理や、エッジを強調するフィルタ処理を施して、入力画像を、より解像度の高いエンハンス画像に変換するエンハンス処理を行う装置がある。

このような超解像処理やエンハンス処理を行うときに、S/N改善、奥行き感・立体感改善するために、平坦部分のノイズを抑制するために平坦検出をして、平坦部分の超解像やエンハンスの強さを制御することが提案されている。また特許文献１や特許文献２においては、奥行き検出などにより算出した奥行き情報により、超解像やエンハンスの強さを制御することも提案されている。

特開2010-72982号公報 特開2009-251839号公報

平坦検出のみでは、ノイズリダクションの処理で除去しきれないノイズや強い振幅のノイズなどがあった場合に抑制が困難であった。このようなノイズを除去（抑制）しようとすると、抑制したくないテクスチャやエッジまで抑制されてしまい、適切なノイズ抑制処理を行うのが困難であった。

画面内の周波数情報で奥行き検出・抑制処理などを行うと、局所的な処理になってしまい、画面全体としての構図情報を取り入れることができず、奥行き感や立体感が損なわれてしまう可能性があった。

適切なノイズ低減のための画像処理や、奥行き感や立体感が損なわれない画像処理が行われることが所望されていた。

本技術は、このような状況に鑑みてなされたものであり、適切な画像処理が行われるようにすることができるようにするものである。

本技術の一側面の画像処理装置は、入力画像の構図を検出する検出部と、前記検出部により検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成する第１の生成部と、前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成する第２の生成部と、前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成する第３の生成部と、前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う画像処理部とを備える。

前記第１の情報と前記第２の情報を合成し、第４の情報を生成する第４の生成部と、前記第３の情報と前記第４の情報を合成し、第５の情報を生成する第５の生成部とをさらに備え、前記画像処理部は、前記第５の情報に基づいた強度で画像処理を行うようにすることができる。

前記第１の情報と前記第２の情報の最小値をとることで前記第１の情報と前記第２の情報を合成し、第４の情報を生成する第４の生成部と、前記第３の情報と前記第４の情報の最大値をとることで前記第３の情報と前記第４の情報を合成し、第５の情報を生成する第５の生成部とをさらに備え、前記画像処理部は、前記第５の情報に基づいた強度で画像処理を行うようにすることができる。

前記第１の生成部は、前記検出部で検出された構図の信頼度により、前記第１の情報で制御する画像処理の強度の最大値と最小値を設定し、その設定された強度の範囲内の前記第１の情報を生成するようにすることができる。

前記第１の生成部は、前記検出部により検出された前記構図に基づき、前記入力画像を分離したとき、その分離の境となる線を検出し、その線を境に、前記強度を急峻に変化させる第１の情報を生成するようにすることができる。

前記画像処理部が行う画像処理は、超解像処理、エンハンス処理、ノイズ低減処理、Ｓ／Ｎ改善処理、奥行き感・立体感改善処理のうちの少なくとも１つの処理であるようにすることができる。

本技術の一側面の画像処理方法は、入力画像に対して画像処理を施す画像処理装置の画像処理方法において、前記入力画像の構図を検出し、検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成し、前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成し、前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成し、前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行うステップを含む。

本技術の一側面のプログラムは、入力画像に対して画像処理を施す画像処理装置を制御するコンピュータに、前記入力画像の構図を検出し、検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成し、前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成し、前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成し、前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行うステップを含む処理を実行させる。

本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、入力画像に対して画像処理を施す画像処理装置を制御するコンピュータに、入力画像の構図が検出され、検出された構図に基づく画像処理の強度を制御する第１の情報、平坦部分に対する画像処理の強度を制御する第２の情報、前景部分に対する画像処理の強度を制御する第３の情報がそれぞれ生成され、第１の情報、第２の情報、および第３の情報に基づいた強度で所定の画像処理が行われる。

本技術の一側面によれば、適切な画像処理が行われるようにすることができる。画像処理としては、超解像処理、エンハンス処理、ノイズ低減処理、Ｓ／Ｎ改善処理、奥行き感・立体感改善処理などであり、これらの画像処理が適切に行えるようになる。

本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 構図について説明するための図である。 構図マスクについて説明するための図である。 構図マスクについて説明するための図である。 構図マスクについて説明するための図である。 各マスクについて説明するための図である。 画像処理装置の動作について説明するためのフローチャートである。 画像処理装置の動作について説明するためのフローチャートである。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．画像処理装置の構成について
２．構図マスクについて
３．平坦マスク、前景マスク、背景マスク、および構図適応マスクについて
４．画像処理装置の動作について
５．記録媒体について

［画像処理装置の構成について］
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。図１に示した画像処理装置１１は、テレビジョン受像機やレコーダなどの動画像や静止画像を処理する装置の一部に組み込まれたり、それらの装置とは別の装置として、それらの装置に処理後の信号を供給したりする装置である。

図１に示した画像処理装置１１は、構図検出部２１、構図マスク生成部２２、背景マスク生成部２３、平坦マスク生成部２４、前景マスク生成部２５、構図適応マスク生成部２６、および画像処理部２７から構成される。

画像処理装置１１は、構図検出部２１、構図マスク生成部２２、背景マスク生成部２３、平坦マスク生成部２４、前景マスク生成部２５、構図適応マスク生成部２６により入力画像から作成されるマスクにより、画像処理部２７が所定の処理を行う構成とされている。

画像処理装置１１に入力された入力信号は、構図検出部２１、平坦マスク生成部２４、前景マスク生成部２５、および画像処理部２７にそれぞれ供給される。構図検出部２１は、入力信号に基づく画像の構図を検出し、その検出結果を、構図マスク生成部２２に供給する。構図マスク生成部２２は、供給された構図に関する検出結果に基づく構図マスクを生成する。

［構図マスクについて］
図２を参照し、構図検出部２１で検出される構図について説明する。図２Ａの上段に示したような画像５１が構図検出部２１での処理対象とされた場合、図２Ａの下段に示したような上下構図であると検出される。図２Ａの上段に示した画像５１を参照するに、画像５１は、上側に空、下側に木々や噴水がある画を撮影した画像である。このように、風景などの上側が遠景、下側が近景のような画像は、上下構図であると検出される。

なお、下側が遠景、上側が近景のような画像も、上下構図であると検出される。上下構図は、図２Ａの下側に示すように、画面上側部５２と画面下側部５３に分けられる構図であるとして処理される。上下構図として処理されるとは、後段の構図マスク生成部２２において、上下構図のマスクが生成されることを意味する。マスクについては図３を参照して説明する。

図２Ｂの上段に示したような画像６１が構図検出部２１での処理対象とされた場合、図２Ｂの下段に示したような左右構図であると検出される。図２Ｂの上段に示した画像６１を参照するに、画像６１は、右側に人、左側に湖などの背景がある画を撮影した画像である。このように、左側が遠景、右側が近景のような画像は、左右構図であると検出される。

なお、左側が近景、右側が遠景のような画像も、左右構図であると検出される。左右構図は、図２Ｂの下側に示すように、画面左側部６２と画面右側部６３に分けられる構図であるとして処理される。

図２Ｃの上段に示したような画像７１が構図検出部２１での処理対象とされた場合、図２Ｃの下段に示したような中外構図であると検出される。図２Ｃの上段に示した画像７１を参照するに、画像７１は、中央付近に人、左側と右側はそれぞれ背景がある画を撮影した画像である。このように、中央付近が近景、左右が遠景のような画像は、中外構図であると検出される。

なお、中央付近が遠景、左右が近景のような画像も、中外構図であると検出される。中外構図は、図２Ｃの下側に示すように、画面外側部７２、画面中側部７３、および画面外側部７４に分けられる構図であるとして処理される。

このように、構図検出部２１は、入力画像の構図を検出する。構図の検出としては、遠景部分と近景部分を分離することで行うことができるが、他の方法により検出されるようにしても良い。また図２を参照した説明では、３つの構図を例に挙げて説明したが、他の構図も検出されるようにしても良い。ここでは、３つの構図が検出されるとして説明を続ける。

図３は、構図マスク生成部２２で生成される構図マスクの一例を示す図である。図３Ａに示した構図マスク１０１は、図２Ａに示した上下構図のときに生成されるマスクである。図３Ｂに示した構図マスク１０２は、図２Ｂに示した左右構図のときに生成されるマスクである。図３Ｃに示した構図マスク１０３は、図２Ｃに示した中外構図のときに生成されるマスクである。

図３に示した各構図マスクは、超解像、エンハンス、ノイズ除去などの画像処理を施す強度を制御するためのマスクである。図３に示した構図マスクのいずれかが、例えば、超解像、またはエンハンスなどの画像処理に適用された場合、図３の右側に示したゲージのように、色が薄い方（白色に近い方）が、強度が強く、色が濃い方（黒色に近い方）が、強度が弱く、処理が施される。

また図３に示した構図マスクのいずれかが、例えば、ノイズ除去などの画像処理に適用された場合、図３にゲージは示していないが、色が薄い方（白色に近い方）が、強度が弱く、色が濃い方（黒色に近い方）が、強度が強く、処理が施される。例えば、色が薄い方に位置する画素に対しては、弱いフィルタでノイズ除去の処理が行われ、色が濃い方に位置する画素に対しては、強いフィルタでノイズ除去の処理が行われる。

このように、図３に示した各構図マスクは、超解像、エンハンス、ノイズ除去などの異なる画像処理に共通して用いることができるマスクであり、適用する画像処理に合わせた強度の制御を行えるマスクである。上記したように、超解像、エンハンスなどの画像処理に適用される場合と、ノイズ除去処理に適用される場合とでは、図３中に示した構図マスク内の色の薄い方と濃い方との処理強度の関係が異なるため、以下の説明においては、超解像、エンハンスなどの画像処理に適用される場合を例に挙げて説明を続ける。

また、超解像、エンハンスなどの画像処理の強度とは、超解像、エンハンスの画像処理時の強度そのもの、または、超解像、エンハンスの抑制の強度の２つの意味が含まれるが、ここでは主に、超解像、エンハンスの画像処理時の強度そのものであるとして説明を続ける。

図３Ａに示した上下構図の構図マスク１０１は、下側から徐々に強度が変化するようなマスクであり、その強度は、強から弱へと変化するマスクとされている。図３Ｂに示した左右構図の構図マスク１０２は、右側から徐々に強度が変化するようなマスクであり、その強度は、強から弱へと変化するマスクとされている。図３Ｃに示した中外構図の構図マスク１０３は、中央から左方向と右方向にそれぞれ徐々に強度が変化するようなマスクであり、その強度は、強から弱へと変化するマスクとされている。

この構図マスクの強度の変化の度合いは、入力画像に依存して設定される。このことについて、図４を参照して説明する。図４以降の説明においては、上下構図を例に挙げて説明するが、左右構図や中外構図においても、同様である。

図４Ａに示した構図マスク１０１−１は、画面下から上に順に強度が弱まるように一様に強度が変化するマスクである。この構図マスク１０１−１は、上下構図であるが、画面上側部５２と画面下側部５３（図２）に明確な境目が無いような画像に適用される。

図４Ｂに示した構図マスク１０１−２は、画面下から上に強度が弱まるように強度が変化するマスクであるが、ラインＬ１を境に、急峻に強度が変化するマスクである。また、図４Ｃに示した構図マスク１０１−３は、画面下から上に強度が弱まるように強度が変化するマスクであるが、ラインＬ２を境に、急峻に強度が変化するマスクである。

なお、ここでは、ラインを境に急峻に強度が変化するとして説明を続けるが、そのラインの前後にある程度の幅を有した領域内で急峻に強度が変化するように強度が設定されるのであり、ラインを境に全く異なる強度が設定されることを意味するのではない。

構図マスク１０１-２と構図マスク１０１−３は、ラインＬ１とラインＬ２を境に急峻に強度が変化する構図マスクであるが、そのラインの位置が異なる。ラインＬ１とラインＬ２は、処理対対象とされた画像が、画面上側部５２と画面下側部５３に明確に分けられるような画像のときであり、その境界線が検出されたときのラインである。

すなわち、図４Ｂに示した構図マスク１０１−２は、ラインＬ１という水平方向のラインで、上側と下側に分けられる画像から生成されるマスクである。同様に、図４Ｃに示した構図マスク１０１−３は、ラインＬ２という水平方向のラインで、上側と下側に分けられる画像から生成されるマスクである。

このように、構図検出部２１（図１）において、処理対象とされた画像は、上下構図であるか、左右構図であるか、または中外構図であるかが検出される。そして、検出される際、例えば、上下構図である場合には、水平線がさらに検出される。

また、左右構図である場合には、画面左側部６２と画面右側部６３とを分ける垂直方向のラインが検出される。また、中外構図である場合には、画面外側部７２と画面中側部７３とを分ける垂直方向のラインと、画面中側部７３と画面外側部７４を分ける垂直方向のラインの２本のラインが検出される。このように、各構図に適したラインが検出される。

さらに各マスク内の強度の変化の度合いは、信頼度により変更される。図５を参照し、信頼度により変更される構図マスクについて説明を加える。信頼度は、検出された構図が正しいという信頼度と、推定されたラインが正しいという信頼度である。

信頼度が高い場合、図５の右側に示した構図マスク１０１Ｄのように、検出された構図とラインに基づき、強度が変化し、その強度は、最大の強度と最小の強度との差分が大きくなるような構図マスクとされる。すなわち信頼度が高ければ、後段の画像処理時に構図マスクによる影響が強く反映されるような構図マスクが適用される。

一方で、信頼度が低い場合、図５の左側に示した構図マスク１０１Ａのように、検出された構図とラインに基づく強度の変化はなく、その強度は、最大の強度と最小の強度との差分が０とされたマスクとされる。すなわち信頼度が低い場合、後段の画像処理時に構図マスクによる影響が反映されないような構図マスクが適用される。

なお、構図が検出されなかった場合、信頼度は低いとして処理されるため、構図マスクとしては、図５に示した構図マスク１０１Ａが用いられる。ここで、構図が検出されなかった場合とは、図３に示した３つの構図マスク、すなわち、上下構図、左右構図、または中外構図のいずれも検出されなかった場合を示す。他の構図も検出対象とされている場合には、それらの構図も含めた構図のうちのいずれかが検出されれば、検出されたと判断され、いずれも検出されなければ、検出されなかったと判断される。

図５の中央に示した構図マスク１０１Ｂと構図マスク１０１Ｃは、それぞれ信頼度に応じた強度（強度の差分）とされたマスクである。例えば、信頼度が１００の場合、構図マスク１０１Ｄが用いられ、最大と最小の強度の差分が１００とされるマスクが用いられ、信頼度が０の場合、構図マスク１０１Ａが用いられ、最大と最小の強度の差分が０とされるマスクが用いられる。

また、例えば、信頼度が４０の場合、構図マスク１０１Ｂが用いられ、最大と最小の強度の差分が４０とされるマスクが用いられ、信頼度が８０の場合、構図マスク１０１Ｃが用いられ、最大と最小の強度の差分が８０とされるマスクが用いられる。

このように、信頼度に応じて、構図マスク内の強度の最大値と最小値が設定されるようにしても良い。すなわちこの場合、最大の強度は一定とされ、構図信頼度が低くなるにつれて、最小の強度が、最大の強度に近づくように最小値が設定される。このような場合、例えば、強度の最小値が設定され、その設定された最小値と、一定値とされている最大値との強度の範囲内で変化する構図マスクが生成されるようにしても良い。なお、このような信頼度からの強度の設定は一例であり、他の関係づけで、信頼度から強度が設定されるようにしても良い。

信頼度は、例えば、２分割して求めた平坦度合いや帯域、振幅、色情報の差分から求められる。差分が大きく明確に構図推定できているものは構図信頼度を高くし、差分が小さく構図推定が確実でないものは構図信頼度を低くする。構図信頼度は、０〜１００％の数値で設定できる。

例外として、差分が大きくても、信頼度を高くしない方が良いときは、構図信頼度を低くする。例えば、上下構図で差分が大きいが、上側部分にもテクスチャやエッジが多い画像であると判断されるときには、構図信頼度は低く設定される。

また例外として、差分が小さくても、信頼度を高くした方が良いときは、構図信頼度を高くする。例えば、上下構図で差分が小さいが、上側部分に青空があるような風景構図であると判断されるときには、構図信頼度は高く設定される。

なお、この構図信頼度の設定の仕方は一例であり、他の設定の仕方で構図信頼度が設定されるようにしても良い。

このように、構図検出部２１で構図が検出され、構図マスク生成部２２により検出された構図に応じた構図マスクが生成される。

［平坦マスク、前景マスク、背景マスク、および構図適応マスクについて］
次に、平坦マスク生成部２４（図１）で生成される平坦マスク、前景マスク生成部２５で生成される前景マスク、背景マスク生成部２３で生成される背景マスク、および構図適応マスクで生成される構図適応マスクについて、図６を参照して説明する。

図６に示したように、画像５１が構図検出部２１、平坦マスク生成部２４、および前景マスク生成部２５にそれぞれ供給された場合、まず、構図検出部２１と構図マスク生成部２２により、上述したように構図が検出され、構図マスク１０１が生成される。ここでは、上下構図が検出され、ラインＬ１のところで急峻に強度が変化する構図マスク１０１が生成されたとして説明を続ける。

平坦マスク生成部２４は、画像処理時、例えばノイズ低減処理が行われるとき、平坦部分のノイズを抑制するための平坦マスク２０１を生成する。平坦部分とは、図６の平坦マスク２０１において、例えば、上部に存在する空の部分であり、輝度などの変化が少ない部分である。このような部分は、画素値がほぼ一様な部分であり、画像内でエッジが少ない部分である。

前景マスク生成部２５は、エッジやテクスチャを強調する前景マスク４０１を生成する。エッジの部分とは、図６の前景マスク４０１において建物と空との境界部分などである。前景マスク４０１は、エッジやテクスチャは強調するマスクであるが、モスキートノイズを強調することはないマスクである。

平坦マスク生成部２４と前景マスク生成部２５は、平坦度合いや帯域、振幅、色情報などから、平坦マスク２０１または前景マスク４０１を生成する。

背景マスク生成部２３は、構図マスク生成部２２で生成された構図マスク１０１と平坦マスク生成部２４で生成された平坦マスク２０１を合成し、背景マスク３０１を生成する。合成は、例えば、構図マスク１０１と平坦マスク２０１のＭｉｎ（最小値）がとられることで生成される。なおここでの合成は、Ｍｉｎを求めることで、レイヤー的に重ね合わせるということで合成を実現するとして説明を続けるが、２つのマスクの重み付きの平均や重み付き加算で合成が実現されるようにしても良い。

生成された背景マスク３０１は、ぼけているところは強調せず、手前側は強調して奥行き感や立体感を向上させるようなマスクである。

構図適応マスク生成部２６は、背景マスク生成部２３で生成された背景マスク３０１と前景マスク生成部２５で生成された前景マスク４０１を合成し、構図適応マスク５０１を生成する。合成は、例えば、背景マスク３０１と前景マスク４０１のＭａｘ（最大値）がとられることで生成される。なおここでの合成は、Ｍａｘを求めることで、レイヤー的に重ね合わせるということで合成を実現するとして説明を続けるが、２つのマスクの重み付け平均や重み付け加算で合成が実現されるようにしても良い。

構図適応マスク生成部２６により生成された構図適応マスク５０１は、画像処理部２７に供給される。

なお、ここでは、構図マスク１０１と平坦マスク２０１が合成され、背景マスク３０１が生成され、その生成された背景マスク３０１と前景マスク４０１が合成され、構図適応マスク５０１が生成されるとして説明したが、合成されるマスクの組み合わせや、合成の順番、合成の仕方などは、この組み合わせ、順番、仕方に限定されるわけではない。

例えば、構図マスク１０１と前景マスク４０１の最大値（Ｍａｘ）がとられて合成が行われ、平坦マスク２０１を減算するといった処理により構図適応マスク５０１に相当する最終的なマスクが生成されるようにしても良い。また例えば、平坦マスク２０１と前景マスク４０１の最小値（Ｍｉｎ）がとられて合成が行われ、構図マスク１０１との平均がとられることにより構図適応マスク５０１に相当する最終的なマスクが生成されるようにしても良い。

このように、複数のマスクが合成され、１つのマスク、この場合、構図適応マスク５０１が生成されることで、複数のマスクの良い所を持ち合わせたマスクが生成されることになる。そして、そのようなマスクを画像処理に用いることが可能となる。

画像処理部２７で行われる画像処理は、構図情報を適応させた構図適応マスク５０１により、超解像処理、エンハンス処理の画素毎の強さ制御を行い、S/N改善、奥行き感・立体感改善を目的とした処理が行われる。

また、制御対象を下記の処理にすることも可能である。
ノイズリダクション（ＮＲ）の強度設定で S/N比を改善する処理、
コントラスト処理で奥行き感や立体感を改善する処理、
色補正(色差、彩度)で奥行き感や立体感を改善する処理
に対して、超解像・エンハンスの画素毎の強さ制御と同様に強さを変えることでS/N改善、奥行き感・立体感改善に効果がある画像処理を行うことができる。

このような画像処理が行われる際に、どの画素にどの程度の強度で処理を行うかを制御するための情報が、構図適応マスク５０１である。よって、構図マスク１０１、平坦マスク２０１、前景マスク３０１、背景マスク４０１、および構図適応マスク５０１は、それぞれ画像処理の強度を制御する情報である。

よって、仮に、１つのマスクを用いて画像処理を行ったとしても、そのマスク自体が、画像処理の強度を制御する情報であるため、そのマスクに応じた強度で画像処理を実行することができる。本実施の形態中でのマスクとは、このように画像処理の強度を制御する情報であり、画像処理の強度を制御する情報であれば、マスクという形態でなくても、本技術を適用できる。

［画像処理装置の動作について］
次に、図７、図８のフローチャートを参照し、図１に示した画像処理装置１１の動作について説明する。まず図７に示したフローチャートを参照し、画像処理装置１１で行われるマスク生成に係わる処理について説明する。

ステップＳ１１において、構図マスク生成処理が実行される。この構図マスク生成処理は、構図検出部２１と構図マスク生成部２２により行われ、図８のフローチャートを参照して説明するように行われる。先に、図７のフローチャートの説明を続ける。

ステップＳ１２において、平坦マスクが生成される。平坦マスクは、平坦マスク生成部２４により生成される。図６を参照して説明したように、平坦マスク生成部２４は、平坦度合いや帯域、振幅、色情報などから、平坦マスク２０１を生成する。

ステップＳ１３において、前景マスクが生成される。前景マスクは、前景マスク生成部２５により生成される。図６を参照して説明したように、前景マスク生成部２５は、平坦度合いや帯域、振幅、色情報などから、前景マスク４０１を生成する。

ステップＳ１４において、背景マスクが生成される。背景マスクは、背景マスク生成部２３により生成される。図６を参照して説明したように、背景マスク生成部２３は、構図マスク１０１と平坦マスク２０１の最小値（Min）をとることで、構図マスク１０１と平坦マスク２０１を合成し、背景マスク３０１を生成する。

ステップＳ１５において、構図適応マスクが生成される。構図適応マスクは、構図適応マスク生成部２６により生成される。図６を参照して説明したように、構図適応マスク生成部２６は、背景マスク３０１と前景マスク４０１の最大値（Max）をとることで、背景マスク３０１と前景マスク４０１を合成し、構図適応マスク５０１を生成する。

このようにして生成された構図適応マスク５０１は、画像処理部２７に供給され、構図適応マスク５０１で設定される強弱に応じた画像処理が、入力された画像に対して施されて後段の図示していない処理部に出力される。

図８を参照して、ステップＳ１１において実行される構図マスク生成処理について説明する。ステップＳ３１において、構図検出部２１は、入力された画像の構図を推定（検出）する。構図の推定は、画面を２分割し、平坦度合いや帯域、振幅、色情報から画面の大まかな構図(図２に示した上下構図、左右構図、中外構図)が推定されることで行われる。なお、どの構図にも当てはまらない場合は、全面構図として、構図マスクを適用しないと設定される。

ステップＳ３２において、構図信頼度が計算される。この構図信頼度は、構図検出部２１、構図マスク生成部２２のどちらで行われても良い。２分割して求められた平坦度合いや帯域、振幅、色情報の差分から0〜100%の構図信頼度が求められる。差分が大きく明確に構図推定できているものは構図信頼度が高く、差分が小さく構図推定が確実でないものは構図信頼度が低く設定される。

ステップＳ３３において、構図マスク生成部２２により、構図マスクが生成される。図２乃至図５を参照して説明したように、構図マスク１０１は、例えば、一律に超解像・エンハンスの強さを抑制するようなマスクとして生成される。また、抑制の強さは、ステップＳ３２の処理で求められた構図信頼度の結果に応じて変更され、例えば、構図信頼度が低いときには、抑制処理を行わないまたは弱い抑制処理しか行わないようにするための構図マスク１０１が生成される。

また、図４を参照して説明したように、平坦度合いや帯域、振幅から水平線が検出され、その水平線を含む部分から急激に抑制を強めることで、更なるS/N感向上、立体感・奥行き感の改善を行えるような構図マスク１０１が生成されるようにしても良い。この処理についても、構図信頼度と同様に、急峻にする信頼度を求めて、急峻にする強さを変えるようにしても良い。

このような処理が必要に応じて行われ、構図マスク１０１が生成される。

ステップＳ３４において、構図マスク生成部２２により安定化処理が実行される。構図マスク１０１は、動画応答や構図検出結果のブレなどにより、急激に変化する可能性がある。急激に変化したときに、その変化に伴って、構図マスク１０１が急激に変化することを防ぐために、IIR（Infinite impulse response）処理でターゲットの構図マスク１０１までゆっくり変化させるような時定数制御を行い、安定化が図られる。

このような処理が行われることで、構図マスク１０１が生成され、背景マスク生成部２３へと供給される。その後、処理は、ステップＳ１２に進められ、上記したような処理が行われることで、構図適応マスク５０１が生成され、画像処理部２７に供給される。

このように、本技術においては、構図検出により作成した構図マスク１０１と平坦マスク２０１の最小値をとったマスクを用いるため、風景などの画面上側のノイズリダクションで除去できないノイズ、例えば、圧縮歪などRandom Noise Reductionや、MPEG Noise Reductionで除去できないノイズなどや、平坦マスクで抑制できないノイズなどであっても抑制（除去）できる。

例えば、図６に示した画像５１のような風景などの画面上側は、平坦部分が多く、この部分のランダムノイズ・モスキートノイズ・ 圧縮歪などは非常に目立って、視聴者に視認されてしまう。しかしながら、平坦マスク２０１により、そのような平坦部分のノイズ除去を強く行う制御が可能となり、さらに、構図マスク１０１により、よりそのような平坦部分に対する処理を集中的に行う制御が可能となるため、ノイズの除去ができ、S/Nが良くなる。

また、本技術においては、構図検出により作成した構図マスク１０１と平坦マスク２０１の最小値をとったマスクを用いるため、被写界深度の浅いような構図でピントの合っていない箇所(ぼけている箇所)の強調を防ぐことができる。

例えば、図２Ｂに示した画像６１のようなピントが合っていない箇所(ぼけている箇所)に対して、超解像・エンハンスを強くかけると、 奥行き感・立体感が損なわれるとともに階調悪化などが起こり、品位が悪くなってしまう。しかしながら、構図マスク１０２（図３Ｂ）により、ピントが合っていない箇所には、超解像・エンハンスが強くかけられることがないように制御することができる。

例えば、図２Ｂに示した画像６１が処理対象とされたとき、左右構図であると判断され、画像６１のピントが合っていない背景部分に該当する画面左側部６２には、超解像・エンハンスが強くかけられないように強度を弱く設定した構図マスク１０２が生成される。よって、そのような構図マスク１０２を用いて、超解像・エンハンスを行うことで、ピントが合っていない箇所に対する奥行き感・立体感が損なわれないような画像処理を行うことが可能となる。

また、前景マスク４０１を背景マスク３０１に加えたマスクを用いているため、構図マスク１０１が一律に抑制を強めていくようなマスクであっても、前景のエッジやテクスチャを強調できないということを防ぐことができる。換言すれば、強調すべきエッジやテクスチャは強調し、画像処理により全体がぼけた感じの画像になってしまうようなことを防ぐことが可能となる。

例えば、図２Ａに示した画像５１の風景のうち、建物の部分などはエッジやテクスチャが存在しているが、エッジやテクスチャのみを強調する画素毎の前景マスク４０１が用いられることでモスキートノイズやリンギングが強調されず、処理境界が見えることもなく、オブジェクト単位のマスクと同様の効果を実現することが可能となる。

また、本技術においては、風景などの画面の上側の平坦部分に目立つノイズやピントの合っていない箇所を抑制することができる。従来の画質調整では、この部分のノイズ強調・階調悪化が目立つため、超解像・エンハンスの強さを全体的に弱めるか、画面全体をぼかしてノイズを目立たなくするという対応しかできなかった。しかしながら本技術によれば、構図を考慮して部分的に超解像・エンハンスの強さを最適に制御できるため、より一層超解像・エンハンスの効果を強めて使用することができる。

上記したように、本技術においては、例えば、構図マスク１０１は、風景などの上側が遠景のような上下構図であれば、画面上側になるにつれて一律に抑制を強めていくような、画面全体の特徴を捉えた大まかな構図マスクである。このような構図マスク１０１を作成すれば良いので、ロバストな結果を得ることができる。

例えば、構図検出のために、領域毎の周波数情報により制御する細かい構図マスクを作成しようとすると、画面全体の構図情報を取り入れることができなかったり、処理境界が見えてしまうことが起こったりするため、ロバスト性が低くなってしまう。しかしながら、上記したように、本技術によれば、ロバストな結果を得ることができる。

［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成もとることができる。

（１）
入力画像の構図を検出する検出部と、
前記検出部により検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成する第１の生成部と、
前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成する第２の生成部と、
前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成する第３の生成部と、
前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う画像処理部と
を備える画像処理装置。
（２）
前記第１の情報と前記第２の情報を合成し、第４の情報を生成する第４の生成部と、
前記第３の情報と前記第４の情報を合成し、第５の情報を生成する第５の生成部と
をさらに備え、
前記画像処理部は、前記第５の情報に基づいた強度で画像処理を行う
前記（１）に記載の画像処理装置。
（３）
前記第１の情報と前記第２の情報の最小値をとることで前記第１の情報と前記第２の情報を合成し、第４の情報を生成する第４の生成部と、
前記第３の情報と前記第４の情報の最大値をとることで前記第３の情報と前記第４の情報を合成し、第５の情報を生成する第５の生成部と
をさらに備え、
前記画像処理部は、前記第５の情報に基づいた強度で画像処理を行う
前記（１）に記載の画像処理装置。
（４）
前記第１の生成部は、
前記検出部で検出された構図の信頼度により、前記第１の情報で制御する画像処理の強度の最大値と最小値を設定し、その設定された強度の範囲内の前記第１の情報を生成する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記第１の生成部は、
前記検出部により検出された前記構図に基づき、前記入力画像を分離したとき、その分離の境となる線を検出し、その線を境に、前記強度を急峻に変化させる第１の情報を生成する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記画像処理部が行う画像処理は、超解像処理、エンハンス処理、ノイズ低減処理、Ｓ／Ｎ改善処理、奥行き感・立体感改善処理のうちの少なくとも１つの処理である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
入力画像に対して画像処理を施す画像処理装置の画像処理方法において、
前記入力画像の構図を検出し、
検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成し、
前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成し、
前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成し、
前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う
ステップを含む画像処理方法。
（８）
入力画像に対して画像処理を施す画像処理装置を制御するコンピュータに、
前記入力画像の構図を検出し、
検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成し、
前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成し、
前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成し、
前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う
ステップを含む処理を実行させるプログラム。

１１ 画像処理装置， ２１ 構図検出部， ２２ 構図マスク生成部， ２３ 背景マスク生成部， ２４ 平坦マスク生成部， ２５ 前景マスク生成部， ２６ 構図適応マスク生成部， ２７ 画像処理部

Claims (8)

1. 入力画像の構図を検出する検出部と、
   前記検出部により検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成する第１の生成部と、
   前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成する第２の生成部と、
   前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成する第３の生成部と、
   前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う画像処理部と
   を備える画像処理装置。
2. 前記第１の情報と前記第２の情報を合成し、第４の情報を生成する第４の生成部と、
   前記第３の情報と前記第４の情報を合成し、第５の情報を生成する第５の生成部と
   をさらに備え、
   前記画像処理部は、前記第５の情報に基づいた強度で画像処理を行う
   請求項１に記載の画像処理装置。
3. 前記第１の情報と前記第２の情報の最小値をとることで前記第１の情報と前記第２の情報を合成し、第４の情報を生成する第４の生成部と、
   前記第３の情報と前記第４の情報の最大値をとることで前記第３の情報と前記第４の情報を合成し、第５の情報を生成する第５の生成部と
   をさらに備え、
   前記画像処理部は、前記第５の情報に基づいた強度で画像処理を行う
   請求項１に記載の画像処理装置。
4. 前記第１の生成部は、
   前記検出部で検出された構図の信頼度により、前記第１の情報で制御する画像処理の強度の最大値と最小値を設定し、その設定された強度の範囲内の前記第１の情報を生成する
   請求項１に記載の情報処理装置。
5. 前記第１の生成部は、
   前記検出部により検出された前記構図に基づき、前記入力画像を分離したとき、その分離の境となる線を検出し、その線を境に、前記強度を急峻に変化させる第１の情報を生成する
   請求項１に記載の画像処理装置。
6. 前記画像処理部が行う画像処理は、超解像処理、エンハンス処理、ノイズ低減処理、Ｓ／Ｎ改善処理、奥行き感・立体感改善処理のうちの少なくとも１つの処理である
   請求項１に記載の画像処理装置。
7. 入力画像に対して画像処理を施す画像処理装置の画像処理方法において、
   前記入力画像の構図を検出し、
   検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成し、
   前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成し、
   前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成し、
   前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う
   ステップを含む画像処理方法。
8. 入力画像に対して画像処理を施す画像処理装置を制御するコンピュータに、
   前記入力画像の構図を検出し、
   検出された前記構図に基づく画像処理の強度を制御する第１の情報を生成し、
   前記入力画像の画素値の変化の少ない平坦部分を検出し、前記平坦部分に対する画像処理の強度を制御する第２の情報を生成し、
   前記入力画像の前景部分を検出し、前記前景部分に対する画像処理の強度を制御する第３の情報を生成し、
   前記第１の情報、前記第２の情報、および前記第３の情報に基づいた強度で画像処理を行う
   ステップを含む処理を実行させるプログラム。

Images