JP2009010819A - 画像判別装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】コンピュータグラフィックスと自然画の判別精度を向上させる。
【解決手段】平均エッジ量算出部２４は、入力画像内のエッジの傾きの平均を示す平均エッジ量を算出する。画像判定部２５は、平均エッジ量算出部２４により算出された平均エッジ量を所定の閾値と比較することにより、入力画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する。本発明は、例えば、画質改善処理を行う画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、画像判別装置および方法、並びに、プログラムに関し、特に、画像の種類を判別する画像判別装置および方法、並びに、プログラムに関する。

従来、文字／線画用のテンプレート、および、グラフィック／写真画像用のテンプレートを用いてパターンマッチングを行うことにより、２値画像の文字／線画の領域とグラフィック／写真画像の領域とを判別する技術が提案されている（例えば、特許文献１参照）。

また、従来、注目画素を中心とする第１のブロックの画素値の平均値と、注目画素を中心とする第１のブロックより狭い第２のブロックの画素値の平均値とに基づいて、注目画素が文字領域に含まれる否かを判定する技術が提案されている（例えば、特許文献２参照）。

さらに、従来、画像データの画素値の出現頻度に基づく離散量を基に、コンピュータグラフィックス（以下、CGとも称する）と自然画とを判別する技術が提案されている（例えば、特許文献３参照）。

特開平９−２７０９１２号公報 特開平２−２９５３５４号公報 特開平９−３２６９２２号公報

しかしながら、特許文献１に記載の発明では、画像の領域の種類を判別するためにパターンマッチングを行う必要があり、処理が複雑になるとともに、適切なテンプレートが存在しない場合には判別精度が低下してしまう。

また、近年、１画素に割り当てられるビット数が増え、階調数が増加したことにより、CGにおいても、グラデーション等の領域では自然画に近い濃度変化を示す場合がある。また、自然画でも、文字画像のように濃度変化が大きい領域が存在する。従って、特許文献２または３に記載の発明のように、面積が異なるブロック間の画素値の平均値、または、画素値の離散量を用いただけでは、CGと自然画を精度高く判別することは困難である。

本発明は、このような状況を鑑みてなされたものであり、CGと自然画の判別精度を向上できるようにするものである。

本発明の一側面の画像判別装置は、画像内のエッジの傾きの平均を示す平均エッジ量を算出する平均エッジ量算出手段と、前記平均エッジ量を所定の第１の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する判定手段とを備える。

前記画像においてエッジが存在するエッジ領域の面積を算出するエッジ面積算出手段と、前記画像に含まれるエッジ量を算出するエッジ量算出手段とをさらに設け、前記平均エッジ量算出手段には、前記エッジ領域における所定の面積あたりのエッジ量の平均値を平均エッジ量として算出させることができる。

前記画像内において画素値の散らばり具合が所定の範囲内であるフラット領域の面積を算出するフラット面積算出手段をさらに設け、前記判定手段には、さらに、前記フラット領域の面積を所定の第２の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定させることができる。

前記画像に含まれるエッジ量を算出するエッジ量算出手段をさらに設け、前記判定手段には、さらに、前記エッジ量を所定の第３の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定させることができる。

本発明の一側面の画像判別方法またはプログラムは、画像内のエッジの傾きの平均を示す平均エッジ量を算出し、前記平均エッジ量を所定の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定するステップを含む。

本発明の一側面においては、前記画像内のエッジの傾きの平均を示す平均エッジ量が算出され、前記平均エッジ量を所定の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかが判定される。

本発明の一側面によれば、コンピュータグラフィックスと自然画の判別を行うことができる。特に、本発明の一側面によれば、コンピュータグラフィックスと自然画の判別精度を向上させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像判別装置（例えば、図１の画像判別装置１１）は、第１に、画像内のエッジの傾きの平均を示す平均エッジ量を算出する平均エッジ量算出手段（例えば、図１の平均エッジ量算出部２４）と、前記平均エッジ量を所定の第１の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する判定手段（例えば、図１の画像判定部２５）とを含む。

本発明の一側面の画像判別装置は、第２に、前記画像においてエッジが存在するエッジ領域の面積を算出するエッジ面積算出手段（例えば、図１のエッジ面積算出部２２）と、前記画像に含まれるエッジ量を算出するエッジ量算出手段（例えば、図１のエッジ量算出部２３）とをさらに含む、前記平均エッジ量算出手段は、前記エッジ領域における所定の面積あたりのエッジ量の平均値を平均エッジ量として算出する。

本発明の一側面の画像判別装置は、第３に、前記画像内において画素値の散らばり具合が所定の範囲内であるフラット領域の面積を算出するフラット面積算出手段（例えば、図１のフラット面積算出部２１）をさらに含み、前記判定手段は、さらに、前記フラット領域の面積を所定の第２の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する。

本発明の一側面の画像判別装置は、第４に、前記画像に含まれるエッジ量を算出するエッジ量算出手段（例えば、図１のエッジ量算出部２３）をさらに含み、前記判定手段は、さらに、前記エッジ量を所定の第３の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する。

本発明の一側面の画像判別方法またはプログラムは、画像内のエッジの傾きの平均を示す平均エッジ量を算出し（例えば、図５のステップＳ４）、前記平均エッジ量を所定の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する（例えば、図５のステップＳ５）とを含む。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用した画像判別装置の一実施の形態を示すブロック図である。図１の画像判別装置１１は、入力映像信号に基づく画像（以下、入力画像とも称する）をCGと自然画とに判別し、判別した結果を示す判別信号を外部に出力する。画像判別装置１１は、フラット面積算出部２１、エッジ面積算出部２２、エッジ量算出部２３、平均エッジ量算出部２４、および、画像判定部２５を含むように構成される。

フラット面積算出部２１は、図２などを参照して後述するように、入力画像において画素値の変化が小さい領域（以下、フラット領域と称する）を検出し、検出したフラット領域の面積（以下、フラット面積と称する）を算出し、算出したフラット面積を示す情報をエッジ面積算出部２２および画像判定部２５に供給する。

エッジ面積算出部２２は、図５を参照して後述するように、入力画像においてエッジが存在する領域（以下、エッジ領域と称する）の面積（以下、エッジ面積と称する）を算出し、算出したエッジ面積を示す情報を平均エッジ量算出部２４に供給する。

エッジ量算出部２３は、図３などを参照して後述するように、入力画像に含まれるエッジ量を算出し、算出したエッジ量を示す情報を平均エッジ量算出部２４および画像判定部２５に供給する。

平均エッジ量算出部２４は、図４などを参照して後述するように、入力画像内のエッジの傾きの平均を示す平均エッジ量を算出し、算出した平均エッジ量を示す情報を画像判定部２５に供給する。

画像判定部２５は、図５を参照して後述するように、入力画像のエッジ量、平均エッジ量、および、フラット面積に基づいて、入力画像がCGまたは自然画のいずれであるかを判定し、入力画像がCGまたは自然画のいずれであるかを示す判別信号を外部に出力する。

図２は、フラット面積算出部２１の機能的構成を示すブロック図である。フラット面積算出部２１は、ブロック分散算出部４１、フラット判定部４２、および、画素数カウント部４３を含むように構成される。

ブロック分散算出部４１は、入力映像信号に基づく入力画像を所定の大きさの２次元のブロックに分割し、各ブロックについて、ブロック内の画素値の分散を算出する。ブロック分散算出部４１は、各ブロックの画素値の分散を示す情報をフラット判定部４２に供給する。

フラット判定部４２は、ブロック分散算出部４１により算出された画素値の分散を所定の閾値と比較することにより、各ブロックがフラット領域であるか否かを判定する。具体的には、フラット判定部４２は、画素値の分散が所定の閾値以下であるブロック、すなわち、画素値の散らばり具合が所定の範囲内のブロックをフラット領域であると判定し、画素値の分散が所定の閾値を超えるブロック、すなわち、画素値の散らばり具合が所定の範囲を超えるブロックをフラット領域でないと判定する。フラット判定部４２は、判定結果を示す情報を画素数カウント部４３に供給する。

画素数カウント部４３は、フラット領域であると判定されたブロックに含まれる画素数をカウントし、入力画像内のフラット領域に含まれる画素数の合計値をフラット面積とする。画素数カウント部４３は、求めたフラット面積を示す情報をエッジ面積算出部２２および画像判定部２５に供給する。

図３は、エッジ量算出部２３の機能的構成を示すブロック図である。エッジ量算出部２３は、高域フィルタ６１、絶対値算出部６２、および、累積加算部６３を含むように構成される。

高域フィルタ６１は、入力画像の高域成分を通過させる所定の空間フィルタにより構成され、入力画像の高域成分を抽出し、抽出した高域成分からなる画像を絶対値演算部６２に供給する。

絶対値算出部６２は、高域フィルタ６１から供給された画像の各画素の画素値の絶対値を算出し、累積加算部６３に供給する。

累積加算部６３は、絶対値算出部６２により算出された画素値の絶対値を１画像分累積加算し、累積加算した値を入力画像のエッジ量とする。累積加算部６３は、算出したエッジ量を示す情報を平均エッジ量算出部２４および画像判定部２５に供給する。

図４は、平均エッジ量算出部２４の機能的構成を示すブロック図である。平均エッジ量算出部２４は、リミッタ８１および平均値算出部８２を含むように構成される。

リミッタ８１は、エッジ面積算出部２２から供給されたエッジ面積が所定の下限値未満である場合、エッジ面積を下限値に補正し、補正したエッジ面積を示す情報を平均値算出部８２に供給し、エッジ面積が所定の下限値以上である場合、エッジ面積を補正せずにそのまま平均値算出部８２に供給する。

平均値算出部８２は、エッジ量算出部２３から供給されたエッジ量を、リミッタ８１から供給されたエッジ面積で割った値を平均エッジ量として算出し、算出した平均エッジ量を示す情報を画像判定部２５に供給する。すなわち、平均エッジ量は、エッジ領域における１画素あたりのエッジ量の平均値を示しており、入力画像内のエッジの傾きの平均を示す値となる。従って、入力画像内に存在するエッジが急峻であるほど、平均エッジ量が大きくなり、入力画像内に存在するエッジが緩やかであるほど、平均エッジ量は小さくなる。

なお、リミッタ８１により、エッジ面積の下限値を設けることで、平均値算出部８２において平均エッジ量を求める場合に、エッジ量が０で除算されることが防止されるとともに、エッジ面積が小さすぎて、平均エッジ量の信頼性が低下することが防止される。

次に、図５のフローチャートを参照して、画像判別装置１１により実行される画像判別処理について説明する。なお、この処理は、例えば、映像入力信号が画像判別装置１１に入力されたとき開始される。

ステップＳ１において、フラット面積算出部２１は、フラット面積を算出する。具体的には、フラット面積算出部２１のブロック分散算出部４１は、入力映像信号に基づく入力画像を所定の大きさのブロックに分割し、各ブロックについて、ブロック内の画素値の分散を算出する。ブロック分散算出部４１は、各ブロックの画素値の分散を示す情報をフラット判定部４２に供給する。

フラット判定部４２は、入力画像の各ブロックについて、画素値の分散が所定の閾値以下であるブロックをフラット領域であると判定し、画素値の分散が所定の閾値を超えるブロックをフラット領域でないと判定する。フラット判定部４２は、判定結果を示す情報を画素数カウント部４３に供給する。

画素数カウント部４３は、フラット領域であると判定されたブロックに含まれる画素の数をカウントし、カウントした画素数により表されるフラット面積を示す情報をエッジ面積算出部２２および画像判定部２５に供給する。

ステップＳ２において、エッジ面積算出部２２は、エッジ面積を算出する。具体的には、エッジ面積算出部２２は、入力画像の全画素数からエッジ面積を引いた値をエッジ面積として算出し、算出したエッジ面積を示す情報を平均エッジ量算出部２４に供給する。従って、実質的には、フラット領域以外の領域がエッジ領域として検出され、検出されたエッジ領域の面積が算出される。

ステップＳ３において、エッジ量算出部２３は、エッジ量を算出する。具体的には、エッジ量算出部２３の高域フィルタ６１は、入力された入力映像信号に基づく入力画像の高域成分を抽出し、抽出した高域成分からなる画像を絶対値演算部６２に供給する。絶対値演算部６２は、高域フィルタ６１から供給された画像の各画素の画素値の絶対値を算出し、累積加算部６３に供給する。累積加算部６３は、絶対値算出部６２により算出された画素値の絶対値を１画像分累積加算し、累積加算した値をエッジ量とする。累積加算部６３は、算出したエッジ量を示す情報を平均エッジ量算出部２４および画像判定部２５に供給する。

ステップＳ４において、平均エッジ量算出部２４は、平均エッジ量を算出する。具体的には、平均エッジ量算出部２４のリミッタ８１は、エッジ面積算出部２２から供給されたエッジ面積が所定の下限値未満である場合、エッジ面積を下限値に補正し、補正したエッジ面積を示す情報を平均値算出部８２に供給し、エッジ面積が所定の下限値以上である場合、エッジ面積を補正せずにそのまま平均値算出部８２に供給する。平均値算出部８２は、エッジ量算出部２３から供給されたエッジ量を、リミッタ８１から供給されたエッジ面積で割った値を平均エッジ量として算出し、算出した平均エッジ量を示す情報を画像判定部２５に供給する。

ステップＳ５において、画像判定部２５は、画像の種類を判定し、入力画像判別処理は終了する。具体的には、画像判定部２５は、平均エッジ量が所定の第１の閾値以上である場合、入力画像がCGであると判定し、平均エッジ量が第１の閾値未満である場合、入力画像が自然画であると判定する。画像判定部２５は、入力画像がCGまたは自然画のいずれであるかを示す判別信号を外部に出力する。なお、次の入力画像に対しては、新たに画像判別処理が開始される。

このようにして、自然画と比べてエッジの傾きが急峻である傾向にあるCGの性質を利用して、CGと自然画の判別精度を向上させることができる。例えば、ブロック内の画素値の平均値や、画素値の離散量では正確に判別することが困難である、細かいエッジが多数集まっている自然画と急峻なエッジが小面積ながら存在するCGとの判別を精度高く行うことができる。

なお、ステップＳ５において、画像判定部２５が、平均エッジ量が所定の第１の閾値以上、かつ、フラット面積が所定の第２の閾値以上である場合、入力画像がCGであると判定し、それ以外の場合、入力画像が自然画であると判定するようにしてもよい。なお、第２の閾値は、例えば、入力画像の画素数の所定の割合の画素数となるように設定される。

これにより、自然画と比べてエッジの傾きが急峻である傾向にあるという性質に加えて、自然画と比べて画素値の変化が少ないフラット領域を多く含む傾向にあるCGの性質を利用して、CGと自然画の判別精度をより向上させることができる。

また、ステップＳ５において、画像判定部２５が、平均エッジ量が所定の第１の閾値以上、かつ、フラット面積が所定の第２の閾値以上、かつ、エッジ量が所定の第３の閾値以上である場合、入力画像がCGであると判定し、それ以外の場合、入力画像が自然画であると判定するようにしてもよい。

これにより、自然画と比べてエッジの傾きが急峻であり、かつ、フラット領域を多く含む傾向にあるという性質に加えて、自然画に比べてエッジを多く含む傾向にあるCGの性質を利用して、CGと自然画の判別精度をより向上させることができる。

このようにCGと自然画を精度高く判別できることにより、例えば、判別結果を用いて、シャープネス等のエンハンス機能など高画質化処理を個々の画像の種類に応じて適切に施すことができ、画質改善の効果を向上させることが可能となる。

なお、フラット領域およびエッジ領域の検出方法は、上述した方法に限定されるものではなく、他の方法を用いるようにしてもよい。例えば、高域フィルタ６１から出力される画像において、所定の第１の閾値以下の画素値を有する画素をフラット成分とし、第１の閾値以上の所定の第２の閾値を超える画素値を有する画素をエッジ成分として検出し、フラット成分からなる領域をフラット領域、エッジ成分からなる領域をエッジ領域として検出するようにしてもよい。

また、エッジ量を算出する場合に、高域フィルタ６１から出力された画像の画素値に対してコアリング処理を施した値を累積加算するようにしてもよい。

また、エッジ領域における、１画素（１×１画素）よりも大きな所定の面積（例えば、３×３画素）あたりのエッジ量の平均値を平均エッジ量として算出するようにしてもよい。

さらに、上述した手法に、従来の画素値の違いや画素値の離散量などを用いた手法を組み合わせて、画像の種類の判別を行うようにしてもよい。

なお、本発明は、例えば、画像の種類に応じた画像処理を行う画像処理機能を有する装置、例えば、ディスプレイ、プリンタなどに適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像判別装置の一実施の形態を示すブロック図である。 フラット面積算出部の機能的構成を示すブロック図である。 エッジ量算出部の機能的構成を示すブロック図である。 平均エッジ量算出部の機能的構成を示すブロック図である。 画像判別処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。

符号の説明

１１ 画像判別装置， ２１ フラット面積算出部， ２２ エッジ面積算出部， ２３ エッジ量算出部， ２４ 平均エッジ量算出部， ２５ 画像判定部， ４１ ブロック分散算出部， ４２ フラット判定部， ４３ 画素数カウント部， ６１ 高域フィルタ， ６２ 絶対値算出部， ６３ 累積加算部， ８１ リミッタ， ８２ 平均値算出部

Claims (6)

1. 画像の種類を判別する画像判別装置において、
   前記画像内のエッジの傾きの平均を示す平均エッジ量を算出する平均エッジ量算出手段と、
   前記平均エッジ量を所定の第１の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する判定手段と
   を含む画像判別装置。
2. 前記画像においてエッジが存在するエッジ領域の面積を算出するエッジ面積算出手段と、
   前記画像に含まれるエッジ量を算出するエッジ量算出手段と
   をさらに含み、
   前記平均エッジ量算出手段は、前記エッジ領域における所定の面積あたりのエッジ量の平均値を平均エッジ量として算出する
   請求項１に記載の画像判別装置。
3. 前記画像内において画素値の散らばり具合が所定の範囲内であるフラット領域の面積を算出するフラット面積算出手段を
   さらに含み、
   前記判定手段は、さらに、前記フラット領域の面積を所定の第２の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する
   請求項１に記載の画像判別装置。
4. 前記画像に含まれるエッジ量を算出するエッジ量算出手段を
   さらに含み、
   前記判定手段は、さらに、前記エッジ量を所定の第３の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する
   請求項３に記載の画像判別装置。
5. 画像の種類を判別する画像判別装置の画像判別方法において、
   前記画像内のエッジの傾きの平均を示す平均エッジ量を算出し、
   前記平均エッジ量を所定の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する
   ステップを含む画像判別方法。
6. 画像の種類を判別する画像判別処理を、コンピュータに処理を実行させるプログラムにおいて、
   前記画像内のエッジの傾きの平均を示す平均エッジ量を算出し、
   前記平均エッジ量を所定の閾値と比較することにより、前記画像がコンピュータグラフィックスまたは自然画のいずれであるかを判定する
   ステップを含む処理を実行させるプログラム。

Images