JP2016110354A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】入力画像信号に基づいて異なる２つ以上の判定条件それぞれによる人工画の判定を行い、判定結果の論理的組み合わせの結果に基づいて入力画像に含まれる人工画を画素ごとに判定する人工画判定部を備え、２つ以上の判定条件には、注目画素と周辺画素とを有する所定の領域が平坦な領域を示すか判定することによって、注目画素ごとに人工画を判定する第１の判定条件と、所定の領域がグラデーションを示すかを判定することによって、注目画素ごとに人工画を判定する第２の判定条件と、所定の領域における色の変化を判定することによって、注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれる、画像処理装置が提供される。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

画像の鮮鋭化を行う場合、例えば、入力される画像信号（以下、「入力画像信号」と示す。）に対してラプラシアンフィルタ（laplacian filter）などのエッジ（edge）の強調に用いることが可能なフィルタ（以下、「エッジ強調フィルタ」と示す。）を適用し、エッジ強調フィルタを適用した結果をゲイン（gain）として入力画像信号に対して加算（または減算）することによって、画像の輪郭部分の鮮鋭感を向上させることが多い。

ここで、例えば、撮像デバイス（device）により撮像された撮像画像や、放送局などから送信された画像に対しては、上記のようなエッジ強調フィルタを用いた処理を行うことによって、画像の鮮明度を向上させることが可能である。一方、例えば、アイコン（icon）やウィンドウ（window）など、コンピュータ（computer）（または、ＯＳ（Operating System）などのソフトウェア（software））により生成された文字や図形に対して上記のようなエッジ強調フィルタを用いた処理が行われる場合には、リンギング（ringing）が発生する恐れがあり、かえって画質が低下してしまう可能性がある。以下では、コンピュータ（またはソフトウェア）により生成された文字や図形を「人工画」と示し、また、撮像画像や放送局などから送信された画像などの人工画以外の画像を「自然画」と示す。

このような中、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定する技術が開発されている。入力画像信号に基づいて、画素ごとに人工画か自然画かを判定する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

特開２００２−０１５３２７号公報

例えば特許文献１に記載の技術では、画素差分が小さい、平坦な領域を多く含む場合、人工画を含む領域（以下、「人工画領域」と示す場合がある。）と判定する。ここで、人工画領域は平坦な領域を含む場合が多いので、例えば特許文献１に記載の技術を用いる場合には、画素ごとに人工画か自然画かを判定することができる可能性はある。

しかしながら、例えばアイコンやウィンドウなどを含むＰＣ（Personal Computer）画像など、人工画を含む画像では、例えば人工画領域にグラデーション（gradation）が多く含まれうる。よって、例えば特許文献１に記載の技術のように、単に画素差分から人工画領域を判定する場合には、人工画領域を正しく判定することができるとは限らない。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、入力される入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行い、２つ以上の上記判定条件の判定結果の論理的組み合わせの結果に基づいて、上記入力画像信号が示す入力画像に含まれる人工画を画素ごとに判定する人工画判定部を備え、２つ以上の上記判定条件には、注目画素と上記注目画素の周辺画素とをマトリクス状に有する所定の領域に含まれる画素の画素値を用いて、上記所定の領域が平坦な領域を示すか判定することによって、上記注目画素ごとに人工画を判定する第１の判定条件と、上記所定の領域に含まれる画素の階調値を用いて、上記所定の領域がグラデーションを示すかを判定することによって、上記注目画素ごとに人工画を判定する第２の判定条件と、上記所定の領域に含まれる上記周辺画素の階調値のダイナミックレンジを用いて、上記所定の領域における色の変化を判定することによって、上記注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれる、画像処理装置が提供される。

かかる構成によって、異なる複数の人工画を判定するための判定条件それぞれの判定結果を利用して画素ごとに人工画か自然画かを判定することが可能であるので、人工画か自然画かをより正確に判定することができる。よって、かかる構成によって、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

また、上記第１の判定条件により判定を行う場合、上記人工画判定部は、注目画素それぞれに対応する上記所定の領域それぞれにおいて、隣接する画素間の画素値の差分の絶対値を算出し、第１の閾値より大きい上記画素値の差分の絶対値の数、または、上記第１の閾値以上の上記画素値の差分の絶対値の数である第１の数を算出し、上記第１の数が第２の閾値以下のとき、または、上記第１の数が上記第２の閾値より小さいときに、上記所定の領域に対応する上記注目画素が、上記人工画を示すと判定してもよい。

また、上記人工画判定部は、上記入力画像の水平方向、および上記入力画像の垂直方向にそれぞれ隣接する画素間の画素値の差分の絶対値を算出してもよい。

また、上記人工画判定部は、上記入力画像信号に対応する色信号に基づいて、上記画素値の差分の絶対値を、光の三原色ごとに算出してもよい。

また、２つ以上の上記判定条件に上記第２の判定条件が含まれる場合、上記人工画判定部は、注目画素それぞれに対応する上記所定の領域それぞれにおいて、上記入力画像の水平方向におけるグラデーションの判定、および上記入力画像の垂直方向におけるグラデーションの判定を行い、上記水平方向と上記垂直方向との少なくとも一方でグラデーションを示すと判定されたときに、上記所定の領域に対応する上記注目画素が、上記人工画を示すと判定してもよい。

また、上記人工画判定部は、上記所定の領域の全ての行において、上記水平方向に隣接する画素間の階調値の差分の絶対値を算出し、上記所定の領域の全ての行において、第３の閾値以下の上記階調値の差分の絶対値の数、または、上記第３の閾値より小さい上記階調値の差分の絶対値の数である第２の数を行ごとに算出し、上記所定の領域の全ての行において、上記第２の数が第４の閾値以上であるとき、または、上記第２の数が上記第４の閾値より大きいときに、上記所定の領域が上記水平方向のグラデーションを示すと判定してもよい。

また、上記人工画判定部は、上記所定の領域の全ての列において、上記垂直方向に隣接する画素間の階調値の差分の絶対値を算出し、上記所定の領域の全ての列において、第５の閾値以下の上記階調値の差分の絶対値の数、または、上記第５の閾値より小さい上記階調値の差分の絶対値の数である第３の数を列ごとに算出し、上記所定の領域の全ての列において、上記第３の数が第６の閾値以上であるとき、または、上記第３の数が上記第６の閾値より大きいときに、上記所定の領域が上記垂直方向のグラデーションを示すと判定してもよい。

また、２つ以上の上記判定条件に上記第３の判定条件が含まれる場合、上記人工画判定部は、注目画素それぞれに対応する上記所定の領域それぞれにおいて、上記入力画像信号に対応する色信号に基づいて、光の三原色ごとに上記ダイナミックレンジを算出し、算出された３つの上記ダイナミックレンジを用いて、上記光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定されたとき、または、上記光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定されたときに、上記所定の領域に対応する上記注目画素が、上記人工画を示すと判定してもよい。

また、上記人工画判定部は、算出された３つの上記ダイナミックレンジのうち、１つの上記ダイナミックレンジのみ第７の閾値以上である、もしくは、１つの上記ダイナミックレンジのみ上記第７の閾値より大きく、かつ、他の２つの上記ダイナミックレンジが第８の閾値以下である、もしくは、他の２つの上記ダイナミックレンジが第８の閾値より小さいときに、上記光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定し、算出された３つの上記ダイナミックレンジのうち、２つの上記ダイナミックレンジが上記第７の閾値以上である、もしくは、２つの上記ダイナミックレンジが上記第７の閾値より大きく、かつ、他の１つの上記ダイナミックレンジが上記第８の閾値以下である、もしくは、他の１つの上記ダイナミックレンジが上記第８の閾値より小さいときに、上記光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定してもよい。

また、上記論理的組み合わせは、２つ以上の上記判定条件の判定結果の論理和であってもよい。

また、上記人工画判定部は、人工画の度合いを示す人工画度を画素ごとに決定することによって、上記入力画像に含まれる人工画を画素ごとに判定してもよい。

また、上記人工画判定部は、論理的組み合わせの結果、人工画と判定された画素に対して、人工画の度合いを示す人工画度の最大値を割り当て、人工画と判定されない画素に対して、上記人工画度の最小値を割り当て、人工画度が割り当てられた複数の画素を空間的にフィルタリングすることによって、注目画素ごとの上記人工画度を決定してもよい。

また、上記入力画像信号に対して第１の画像処理を行う第１の画像処理部と、上記人工画判定部の判定結果に基づいて、上記入力画像信号と、上記第１の画像処理が行われた画像信号とを合成する合成部と、をさらに備えていてもよい。

また、上記人工画判定部の判定結果は、画素ごとの、人工画の度合いを示す人工画度であり、上記合成部は、上記人工画度に基づいて、上記入力画像信号と、上記第１の画像処理部において処理された画像信号とを画素ごとに合成してもよい。

また、上記人工画判定部は、判定結果に対する拡大処理をさらに行い、上記入力画像信号に対して、拡大処理を含む第２の画像処理を行う第２の画像処理部と、上記入力画像信号に対して、拡大処理とエッジ強調処理とを含む、上記第２の画像処理とは異なる第３の画像処理を行う第３の画像処理部と、拡大処理が行われた上記人工画判定部の判定結果に基づいて、上記第２の画像処理が行われた画像信号と、上記第３の画像処理が行われた画像信号とを合成する合成部と、を備えていてもよい。

また、上記第３の画像処理部は、注目画素の画素値と上記注目画素に隣接する隣接画素の画素値とに基づいて、上記注目画素が平坦領域に含まれるかを判定して、判定結果に応じた補正下限値および補正上限値の一方または双方を、上記注目画素ごとに設定し、上記拡大処理および上記エッジ強調処理が行われた画像信号を、上記補正下限値および上記補正上限値の一方または双方でクリップしてもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、入力される入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行い、２つ以上の上記判定条件の判定結果の論理的組み合わせの結果に基づいて、上記入力画像信号が示す入力画像に含まれる人工画を画素ごとに判定する人工画判定ステップを有し、２つ以上の上記判定条件には、注目画素と上記注目画素の周辺画素とをマトリクス状に有する所定の領域に含まれる画素の画素値を用いて、上記所定の領域が平坦な領域を示すか判定することによって、上記注目画素ごとに人工画を判定する第１の判定条件と、上記所定の領域に含まれる画素の階調値を用いて、上記所定の領域がグラデーションを示すかを判定することによって、上記注目画素ごとに人工画を判定する第２の判定条件と、上記所定の領域に含まれる上記周辺画素の階調値のダイナミックレンジを用いて、上記所定の領域における色の変化を判定することによって、上記注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれる、画像処理方法が提供される。

かかる方法が用いられることによって、異なる複数の人工画を判定するための判定条件それぞれの判定結果を利用して画素ごとに人工画か自然画かを判定することが可能となるので、人工画か自然画かをより正確に判定することができる。よって、かかる方法が用いられることによって、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

また、上記目的を達成するために、本発明の第３の観点によれば、コンピュータを、入力される入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行い、２つ以上の上記判定条件の判定結果の論理的組み合わせの結果に基づいて、上記入力画像信号が示す入力画像に含まれる人工画を画素ごとに判定する人工画判定手段として機能させ、２つ以上の上記判定条件には、注目画素と上記注目画素の周辺画素とをマトリクス状に有する所定の領域に含まれる画素の画素値を用いて、上記所定の領域が平坦な領域を示すか判定することによって、上記注目画素ごとに人工画を判定する第１の判定条件と、上記所定の領域に含まれる画素の階調値を用いて、上記所定の領域がグラデーションを示すかを判定することによって、上記注目画素ごとに人工画を判定する第２の判定条件と、上記所定の領域に含まれる上記周辺画素の階調値のダイナミックレンジを用いて、上記所定の領域における色の変化を判定することによって、上記注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれる、プログラムが提供される。

かかるプログラムが用いられることによって、異なる複数の人工画を判定するための判定条件それぞれの判定結果を利用して画素ごとに人工画か自然画かを判定することが可能となるので、人工画か自然画かをより正確に判定することができる。よって、かかるプログラムが用いられることによって、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

本発明によれば、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック（block）図である。 本発明の第１の実施形態に係る人工画判定部の構成の一例を示すブロック図である。 本発明の第１の実施形態に係る画素差分判定部における処理の一例を説明するための説明図である。 本発明の第１の実施形態に係る階調判定部における処理の一例を説明するための説明図である。 本発明の第１の実施形態に係るダイナミックレンジ（dynamic range）判定部における処理の一例を説明するための説明図である。 本発明の第１の実施形態に係る人工画度生成部における処理の一例を説明するための説明図である。 本発明の第１の実施形態に係る自然画処理部における処理の一例を説明するための説明図である。 本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の第２の実施形態に係る人工画判定部の構成の一例を示すブロック図である。 本発明の第２の実施形態に係る自然画拡大処理部の構成の一例を説明するためのブロック図である。 本発明の第２の実施形態に係る人工画拡大処理部の構成の一例を説明するためのブロック図である。 本発明の第２の実施形態に係る人工画拡大処理部における処理の一例を説明するための説明図である。 本発明の第２の実施形態に係る人工画拡大処理部における処理の一例を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本発明の実施形態に係る画像処理方法）
まず、本発明の実施形態に係る画像処理方法について説明する。以下では、本発明の実施形態に係る画像処理方法に係る処理を、本発明の実施形態に係る画像処理装置が行う場合を例に挙げて、本発明の実施形態に係る画像処理方法について説明する。

上述したように、例えば特許文献１に記載の技術のように単に画素差分から人工画領域を判定する場合には、人工画領域を正しく判定することができるとは限らない。

そこで、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行う。そして、本発明の実施形態に係る画像処理装置は、２つ以上の判定条件の判定結果の論理的組み合わせの結果に基づいて、入力画像信号が示す画像（以下、「入力画像」と示す。）に含まれる人工画を画素ごとに判定する（人工画判定処理）。

ここで、本発明の実施形態に係る入力画像信号としては、例えば、動画像、または静止画像を示す信号が挙げられる。本発明の実施形態に係る入力画像信号としては、例えばコンポーネント（component）方式の信号が挙げられる。以下では、本発明の実施形態に係る入力画像信号が、赤色（以下、「Ｒ」（red）と示す場合がある。）、緑色（以下、「Ｇ」（Green）と示す場合がある。）、および青色（以下、「Ｂ」（Blue）と示す場合がある。）の光の三原色の色信号を含む場合を主に例に挙げる。なお、本発明の実施形態に係る入力画像信号には、輝度信号と色差信号とが含まれていてもよい。

また、本発明の実施形態に係る判定条件としては、例えば下記の（１）に示す第１の判定条件〜下記の（３）に示す第３の判定条件が挙げられる。

（１）第１の判定条件
第１の判定条件は、人工画領域が平坦な領域を含む場合が多いことを利用して人工画を判定するための判定条件である。

本発明の実施形態に係る画像処理装置は、所定の領域に含まれる画素の画素値を用いて、当該所定の領域が平坦な領域を示すか判定することによって、注目画素ごとに人工画を判定する。

ここで、本発明の実施形態に係る所定の領域とは、例えば、一の注目画素（処理対象の画素として注目している画素）と当該一の注目画素の周辺画素とをマトリクス（matrix）状に有する領域であり、注目画素それぞれに対応する領域である。本発明の実施形態に係る所定の領域としては、例えば、Ｍ×Ｎ（Ｍは、画像の水平方向の画素数であり、Ｎは、画像の垂直方向の画素数である。）の複数の画素を含む領域が挙げられる。以下では、Ｍ＝Ｎの場合、すなわち、本発明の実施形態に係る所定の領域が、３×３画素の領域や５×５の領域などの正方の領域である場合を例に挙げる。本発明の実施形態に係る所定の領域が正方の領域である場合、注目画素は、例えば領域の中心に含まれる。

また、本発明の実施形態に係る周辺画素とは、所定の領域に含まれる注目画素以外の画素である。

本発明の実施形態に係る画像処理装置は、所定の領域が平坦な領域を示すと判定された場合に、所定の領域に対応する注目画素が人工画を示すと判定する。また、本発明の実施形態に係る画像処理装置は、所定の領域が平坦な領域を示すと判定されない場合には、所定の領域に対応する注目画素が人工画を示すと判定しない。

本発明の実施形態に係る第１の判定条件による人工画の判定に係る処理については、後述する。

（２）第２の判定条件
第２の判定条件は、人工画領域にグラデーションが多く含まれうることを利用して人工画を判定するための判定条件である。

本発明の実施形態に係る画像処理装置は、所定の領域に含まれる画素の階調値を用いて、当該所定の領域がグラデーションを示すかを判定することによって、注目画素ごとに人工画を判定する。

本発明の実施形態に係る画像処理装置は、例えば、注目画素それぞれに対応する所定の領域それぞれにおいて、入力画像の水平方向におけるグラデーションの判定、および入力画像の垂直方向におけるグラデーションの判定を行う。そして、本発明の実施形態に係る画像処理装置は、水平方向と垂直方向との少なくとも一方でグラデーションを示すと判定された場合に、所定の領域に対応する注目画素が人工画を示すと判定する。また、本発明の実施形態に係る画像処理装置は、水平方向と垂直方向との双方でグラデーションを示すと判定されない場合には、所定の領域に対応する注目画素が人工画を示すと判定しない。

本発明の実施形態に係る第２の判定条件による人工画の判定に係る処理については、後述する。

（３）第３の判定条件
第３の判定条件は、所定の領域における色の変化を利用して人工画を判定するための判定条件である。

本発明の実施形態に係る画像処理装置は、所定の領域に含まれる周辺画素の階調値のダイナミックレンジを用いて所定の領域における色の変化を判定することによって、注目画素ごとに人工画を判定する。

ここで、本発明の実施形態に係るダイナミックレンジとは、例えば、所定の領域に含まれる周辺画素における階調値の最大値と最小値との差である。

本発明の実施形態に係る画像処理装置は、例えば、注目画素それぞれに対応する所定の領域それぞれにおいて、入力画像信号に対応する色信号に基づいて、光の三原色ごとにダイナミックレンジを算出する。

ここで、本発明の実施形態に係る入力画像信号に対応する色信号としては、“入力画像信号に含まれる色信号”や、“入力画像信号に含まれる輝度信号および色差信号から変換された色信号”が挙げられる。

例えば、入力画像信号に色信号が含まれる場合には、本発明の実施形態に係る画像処理装置は、当該色信号を用いてダイナミックレンジを算出する。また、例えば、入力画像信号に色差信号が含まれる場合には、本発明の実施形態に係る画像処理装置は、入力画像信号に含まれる輝度信号および色差信号を色信号に変換して、ダイナミックレンジを算出する。

本発明の実施形態に係る画像処理装置は、算出された３つのダイナミックレンジを用いて、例えば、“光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定された場合”、または、“光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定された場合”に、所定の領域に対応する注目画素が人工画を示すと判定する。また、本発明の実施形態に係る画像処理装置は、“光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さい”または“光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きい”と判定されない場合には、所定の領域に対応する注目画素が人工画を示すと判定しない。

本発明の実施形態に係る第３の判定条件による人工画の判定に係る処理については、後述する。

なお、本発明の実施形態に係る判定条件は、上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件に限られない。例えば、本発明の実施形態に係る判定条件には、入力画像信号に基づいて画素ごとに人工画の判定を行うことが可能な、上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件とは異なる他の判定条件が含まれていてもよい。

本発明の実施形態に係る２つ以上の判定条件としては、例えば、“上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件の２以上の組み合わせ”や、“上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件のうちの１つ以上と上記他の判定条件との組み合わせ”が挙げられる。つまり、本発明の実施形態に係る２つ以上の判定条件には、例えば、上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件のうちの、１つ以上が含まれる。なお、上記他の判定条件が複数存在する場合には、本発明の実施形態に係る２つ以上の判定条件は、複数の上記他の判定条件の組み合わせであってもよい。

本発明の実施形態に係る画像処理装置は、２つ以上の判定条件による人工画の判定をそれぞれ行い、２つ以上の判定条件の判定結果の論理的組み合わせの結果に基づいて、入力画像に含まれる人工画を画素ごとに判定する。

ここで、本発明の実施形態に係る論理的組み合わせとしては、例えば、２つ以上の判定条件の判定結果の論理和が挙げられる。

本発明の実施形態に係る論理的組み合わせが論理和である場合、本発明の実施形態に係る画像処理装置は、２つ以上の判定条件による人工画の判定の結果、いずれかの判定条件において人工画であると判定された画素は、人工画を示すと判定する。

なお、本発明の実施形態に係る論理的組み合わせは、論理和に限られない。例えば、本発明の実施形態に係る論理的組み合わせは、論理積であってもよい。また、本発明の実施形態に係る論理的組み合わせは、例えば、否定、論理和、および論理積のうちの２以上を組み合わせた論理演算で実現されてもよい。以下では、本発明の実施形態に係る論理的組み合わせが、２つ以上の判定条件の判定結果の論理和である場合を例に挙げる。

また、本発明の実施形態に係る画像処理装置における、画素ごとの人工画の判定は、上記に示す例に限られない。

例えば、本発明の実施形態に係る画像処理装置は、人工画の度合いを示す人工画度を画素ごとに決定することによって、画素ごとの人工画の判定を行ってもよい。

より具体的には、本発明の実施形態に係る画像処理装置は、論理的組み合わせの結果、人工画と判定された画素に対して、人工画の度合いを示す人工画度の最大値（例えば、２５５や、２５６など）を割り当て、人工画と判定されない画素に対して、人工画度の最小値（例えば、０など）を割り当てる。

そして、本発明の実施形態に係る画像処理装置は、人工画度が割り当てられた複数の画素を空間的にフィルタリング（filtering）することによって、注目画素ごとの人工画度を決定する。本発明の実施形態に係る画像処理装置は、例えば、ガウシアンフィルタ（Gaussian Filter）や、平均化フィルタを用いた空間フィルタリングを行うことによって、注目画素ごとの人工画度を決定する。

本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法として、上記のような人工画判定処理を行う。

ここで、本発明の実施形態に係る画像処理装置は、異なる２つ以上の判定条件による人工画の判定をそれぞれ行い、２つ以上の判定条件の判定結果の論理的組み合わせの結果に基づいて、入力画像に含まれる人工画を画素ごとに判定する。

よって、本発明の実施形態に係る画像処理装置は、単に画素差分から人工画領域を判定する場合よりも、画素ごとに人工画か自然画かをより正確に判定することができる。

なお、本発明の実施形態に係る画像処理方法は、人工画判定処理に限られない。

例えば、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法として、人工画判定処理の判定結果に基づく画像処理を、さらに行うことが可能である。本発明の実施形態に係る人工画判定処理の判定結果に基づく画像処理については、後述する。

また、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法として、後述する第１の画像処理や、後述する第２の画像処理、後述する第３の画像処理を、さらに行うことも可能である。

（本発明の実施形態に係る画像処理装置）
次に、本発明の実施形態に係る画像処理方法を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する。

以下では、“人工画判定処理”に加えて“人工画判定処理の判定結果に基づく画像処理”などの他の処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成を主に説明する。また、以下では、本発明の実施形態に係る画像処理装置が、人工画判定処理において、上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件の３つの判定条件の判定結果の論理的組み合わせの結果に基づいて、入力画像に含まれる人工画を画素ごとに判定する場合を例に挙げる。

［１］第１の実施形態に係る画像処理装置
図１は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図１では、入力画像信号を“入力画像”と示し、処理後の画像信号を“出力画像”と示している。

画像処理装置１００は、例えば、人工画判定部１０２と、自然画処理部１０４（第１の画像処理部）と、合成部１０６とを備える。

画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサ（processor）や各種処理回路などで構成され、画像処理装置１００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置１００では、制御部（図示せず）が人工画判定部１０２、自然画処理部１０４、および合成部１０６の役目を果たすことも可能である。

なお、人工画判定部１０２、自然画処理部１０４、および合成部１０６のうちの１または２以上が、制御部（図示せず）とは別体の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、人工画判定部１０２、自然画処理部１０４、および合成部１０６のうちの１または２以上における処理は、プロセッサなどで実行されるプログラム（program）（ソフトウェア）により実現されてもよい。

［１−１］人工画判定部１０２
人工画判定部１０２は、上記人工画判定処理を主導的に行う役目を果たす。人工画判定部１０２は、入力画像信号に基づいて、異なる２つ以上の判定条件それぞれによる人工画の判定を行い、２つ以上の判定条件の判定結果の論理的組み合わせの結果に基づいて、入力画像に含まれる人工画を画素ごとに判定する。

また、人工画判定部１０２は、例えば、画素ごとの人工画の判定結果として画素ごとの人工画度を出力する。

図２は、本発明の第１の実施形態に係る人工画判定部１０２の構成の一例を示すブロック図である。人工画判定部１０２は、例えば、画素差分判定部１０８と、階調判定部１１０と、ダイナミックレンジ判定部１１２と、人工画度生成部１１４とを有する。

［１−１−１］画素差分判定部１０８
画素差分判定部１０８は、上記（１）に示す第１の判定条件により、注目画素ごとに人工画を判定する。画素差分判定部１０８は、例えば、隣接する画素（以下、「隣接画素」と示す場合がある。）間における画素値差分に基づいて、注目画素が人工画領域に含まれるか否かを判定する。

本発明の実施形態に係る隣接画素間における画素値差分としては、例えば、“隣接画素間における画素値の差分の絶対値”が挙げられる。以下では、隣接画素間における画素値差分を単に「画素値差分」と示す場合がある。

図３は、本発明の第１の実施形態に係る画素差分判定部１０８における処理の一例を説明するための説明図である。

図３は、画素差分判定部１０８が、入力画像信号に対応する色信号に基づいて、光の三原色ごとに画素値差分をとる場合を示しており、図３では、図３のＡ、Ｄが赤色、図３のＢ、Ｅが緑色、図３のＣ、Ｆが青色に対応する。また、図３では、画素差分判定部１０８が、図３のＡ〜Ｃに示すように、画像の水平方向に隣接する画素間における画素値差分、および画像の垂直方向に隣接する画素間における画素値差分を算出する例を示している。図３では、画素値差分を算出する隣接画素の組を、双方向矢印で示している。

画素差分判定部１０８は、例えば下記の（Ａ−１）〜（Ａ−３）の手順により、注目画素ごとに人工画を判定する。

（Ａ−１）
画素差分判定部１０８は、例えば、注目画素を中心とする３×３画素の領域を、所定の領域として抽出する。

なお、注目画素に対応する所定の領域を抽出することができない場合には、画素差分判定部１０８は、例えば、当該注目画素を人工画ではないと判定し、人工画ではないことを示す“０”を出力する。

画素差分判定部１０８は、例えば図３のＡ〜Ｆに示す３６個の隣接画素の組それぞれにおいて、画素値差分を算出する。画素差分判定部１０８は、例えば、隣接する一の画素の階調値から隣接する他の画素の階調値を減算し、絶対値をとることによって、画素値差分を算出する。

（Ａ−２）
画素差分判定部１０８は、第１の閾値より大きい画素値差分の数（または、第１の閾値以上の画素値差分の数）である第１の数を算出する。

ここで、第１の閾値としては、例えば“１／２５５”（階調値が８ビットで表される場合における第１の閾値の一例）が挙げられるが、本発明の実施形態に係る第１の閾値は、上記に限られない。また、第１の閾値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザ（user）などの操作によって変更されうる可変値であってもよい。

（Ａ−３）
画素差分判定部１０８は、第１の数が第２の閾値以下のとき（または、第１の数が第２の閾値より小さいとき）に、所定の領域に対応する注目画素が人工画を示すと判定する。そして、画素差分判定部１０８は、例えば、人工画であることを示す“１”を出力する。

また、画素差分判定部１０８は、第１の数が第２の閾値より大きいのとき（または、第１の数が第２の閾値以上であるとき）に、所定の領域に対応する注目画素が人工画を示すと判定しない。そして、画素差分判定部１０８は、例えば、人工画ではないことを示す“０”を出力する。

ここで、第２の閾値としては、例えば“１０”が挙げられるが、本発明の実施形態に係る第２の閾値は、上記に限られない。また、第２の閾値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

画素差分判定部１０８は、例えば上記の（Ａ−１）〜（Ａ−３）の手順により、注目画素ごとに人工画を判定する。

なお、画素差分判定部１０８における処理は、上記に示す例に限られない。

例えば、画素差分判定部１０８は、入力画像信号に対応する輝度値を画素値として用いて、隣接画素間における画素値差分を算出することが可能である。

また、画素差分判定部１０８は、画像の水平方向に隣接する画素間の画素値差分、または、画像の垂直方向に隣接する画素間の画素値差分の一方を算出してもよい。

［１−１−２］階調判定部１１０
階調判定部１１０は、上記（２）に示す第２の判定条件により、注目画素ごとに人工画を判定する。階調判定部１１０は、例えば、所定の領域に含まれる画素の階調値に基づいて、注目画素が人工画領域に含まれるか否かを判定する。

図４は、本発明の第１の実施形態に係る階調判定部１１０における処理の一例を説明するための説明図である。図４のＡは、画像の水平方向のグラデーションの判定の一例を示しており、図４のＢは、画像の垂直方向のグラデーションの判定の一例を示している。

階調判定部１１０は、例えば下記の（Ｂ−１）〜（Ｂ−３）の手順により、注目画素ごとに人工画を判定する。

（Ｂ−１）
階調判定部１１０は、例えば、注目画素を中心とする３×３画素の領域を、所定の領域として抽出する。

なお、注目画素に対応する所定の領域を抽出することができない場合には、階調判定部１１０は、例えば、当該注目画素を人工画ではないと判定し、人工画ではないことを示す“０”を出力する。

（Ｂ−２）
階調判定部１１０は、注目画素それぞれに対応する所定の領域それぞれにおいて、画像の水平方向、および画像の垂直方向それぞれにおいて、グラデーションを判定する。

（Ｂ−２−１）画像の水平方向におけるグラデーションの判定
階調判定部１１０は、所定の領域の全ての行において、水平方向に隣接する画素間の画素値差分を算出する。階調判定部１１０は、例えば、隣接する一の画素の階調値から隣接する他の画素の階調値を減算し、絶対値をとることによって、画素値差分を算出する。

階調判定部１１０は、所定の領域の全ての行において、第３の閾値以下の画素値差分の数（または、第３の閾値より小さい画素値差分の数）である第２の数を行ごとに算出する。

ここで、第３の閾値としては、例えば“１／２５５”（階調値が８ビットで表される場合における第３の閾値の一例）が挙げられるが、本発明の実施形態に係る第３の閾値は、上記に限られない。また、第３の閾値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

階調判定部１１０は、所定の領域の全ての行において、第２の数が第４の閾値以上であるとき（または、第２の数が第４の閾値より大きいとき）に、所定の領域が水平方向のグラデーションを示すと判定する。また、階調判定部１１０は、所定の領域のいずれかの行において、第２の数が第４の閾値より小さいとき（または、第２の数が第４の閾値以下であるとき）に、所定の領域が水平方向のグラデーションを示すと判定しない。

ここで、第４の閾値としては、例えば“２”（所定の領域が３×３画素の領域である場合における第４の閾値の一例）が挙げられるが、本発明の実施形態に係る第４の閾値は、上記に限られない。また、第４の閾値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

（Ｂ−２−２）画像の垂直方向におけるグラデーションの判定
階調判定部１１０は、所定の領域の全ての列において、垂直方向に隣接する画素間の画素値差分を算出する。階調判定部１１０は、例えば、隣接する一の画素の階調値から隣接する他の画素の階調値を減算し、絶対値をとることによって、画素値差分を算出する。

階調判定部１１０は、所定の領域の全ての列において、第５の閾値以下の画素値差分の数（または、第５の閾値より小さい画素値差分の数）である第３の数を列ごとに算出する。

ここで、第５の閾値としては、例えば“１／２５５”（階調値が８ビットで表される場合における第５の閾値の一例）が挙げられるが、本発明の実施形態に係る第５の閾値は、上記に限られない。また、第５の閾値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

階調判定部１１０は、所定の領域の全ての列において、第３の数が第６の閾値以上であるとき（または、第３の数が第６の閾値より大きいとき）に、所定の領域が垂直方向のグラデーションを示すと判定する。また、階調判定部１１０は、所定の領域のいずれかの列において、第３の数が第６の閾値より小さいとき（または、第３の数が第６の閾値以下であるとき）に、所定の領域が垂直方向のグラデーションを示すと判定しない。

ここで、第６の閾値としては、例えば“２”（所定の領域が３×３画素の領域である場合における第６の閾値の一例）が挙げられるが、本発明の実施形態に係る第６の閾値は、上記に限られない。また、第６の閾値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

（Ｂ−３）
階調判定部１１０は、注目画素それぞれに対応する所定の領域それぞれにおいて、水平方向と垂直方向との少なくとも一方でグラデーションを示すと判定されたときに、所定の領域に対応する注目画素が人工画を示すと判定する。そして、階調判定部１１０は、例えば、人工画であることを示す“１”を出力する。

また、階調判定部１１０は、注目画素それぞれに対応する所定の領域それぞれにおいて、水平方向と垂直方向との双方でグラデーションを示すと判定されないときには、所定の領域に対応する注目画素が人工画を示すと判定しない。そして、階調判定部１１０は、例えば、人工画ではないことを示す“０”を出力する。

階調判定部１１０は、例えば上記の（Ｂ−１）〜（Ｂ−３）の手順により、注目画素ごとに人工画を判定する。

［１−１−３］ダイナミックレンジ判定部１１２
ダイナミックレンジ判定部１１２は、上記（３）に示す第３の判定条件により、注目画素ごとに人工画を判定する。ダイナミックレンジ判定部１１２は、例えば、所定の領域に含まれる周辺画素の階調値のダイナミックレンジに基づいて、注目画素が人工画領域に含まれるか否かを判定する。

図５は、本発明の第１の実施形態に係るダイナミックレンジ判定部１１２における処理の一例を説明するための説明図である。

図５は、画素差分判定部１０８が、入力画像信号に対応する色信号に基づいて、光の三原色ごとにダイナミックレンジを算出する場合を示しており、図５では、図５のＡが赤色、図５のＢが緑色、図５のＣが青色に対応する。

ダイナミックレンジ判定部１１２は、例えば下記の（Ｃ−１）〜（Ｃ−３）の手順により、注目画素ごとに人工画を判定する。

（Ｃ−１）
ダイナミックレンジ判定部１１２は、例えば、注目画素を中心とする３×３画素の領域を、所定の領域として抽出する。

なお、注目画素に対応する所定の領域を抽出することができない場合には、ダイナミックレンジ判定部１１２は、例えば、当該注目画素を人工画ではないと判定し、人工画ではないことを示す“０”を出力する。

（Ｃ−２）
ダイナミックレンジ判定部１１２は、注目画素それぞれに対応する所定の領域それぞれにおいて、入力画像信号に対応する色信号に基づいて、光の三原色ごとにダイナミックレンジを算出する。

ダイナミックレンジ判定部１１２は、例えば下記の数式１によって、光の三原色ごとにダイナミックレンジを算出する。

ここで、数式１に示す“ＤＲ（Ｒ）”は、赤色に対応するダイナミックレンジであり、数式１に示す“Ｍａｘ（Ｒ）”および“Ｍｉｎ（Ｒ）”は、赤色に対応する色信号に基づく周辺画素の階調値の最大値および最小値を示している。また、数式１に示す“ＤＲ（Ｇ）”は、緑色に対応するダイナミックレンジであり、数式１に示す“Ｍａｘ（Ｇ）”および“Ｍｉｎ（Ｇ）”は、緑色に対応する色信号に基づく周辺画素の階調値の最大値および最小値を示している。また、数式１に示す“ＤＲ（Ｂ）”は、青色に対応するダイナミックレンジであり、数式１に示す“Ｍａｘ（Ｂ）”および“Ｍｉｎ（Ｂ）”は、青色に対応する色信号に基づく周辺画素の階調値の最大値および最小値を示している。

・・・（数式１）

（Ｃ−３）
ダイナミックレンジ判定部１１２は、注目画素それぞれに対応する所定の領域それぞれにおいて、算出された３つのダイナミックレンジを用いて、“光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定されたとき”、または、“光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定されたとき”に、所定の領域に対応する注目画素が人工画を示すと判定する。そして、ダイナミックレンジ判定部１１２は、例えば、人工画であることを示す“１”を出力する。

具体的には、ダイナミックレンジ判定部１１２は、例えば、“算出された３つのダイナミックレンジのうち、１つのダイナミックレンジのみ第７の閾値以上であり（もしくは、１つのダイナミックレンジのみ第７の閾値より大きく）、かつ、他の２つのダイナミックレンジが第８の閾値以下である（もしくは、他の２つのダイナミックレンジが第８の閾値より小さい）とき”に、光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定する。また、ダイナミックレンジ判定部１１２は、例えば、“算出された３つのダイナミックレンジのうち、２つのダイナミックレンジが第７の閾値以上であり（もしくは、２つのダイナミックレンジが第７の閾値より大きく）、かつ、他の１つのダイナミックレンジが第８の閾値以下である（もしくは、他の１つのダイナミックレンジが第８の閾値より小さい）とき”に、光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定する。

ここで、第７の閾値としては、例えば“１００／２５５”（階調値が８ビットで表される場合における第７の閾値の一例）が挙げられ、また、第８の閾値としては、例えば“１／２５５”（階調値が８ビットで表される場合における第８の閾値の一例）が挙げられる。なお、本発明の実施形態に係る第７の閾値と第８の閾値とは、上記に限られない。また、第７の閾値と第８の閾値とは、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

また、ダイナミックレンジ判定部１１２は、注目画素それぞれに対応する所定の領域それぞれにおいて、算出された３つのダイナミックレンジを用いて、“光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さい”または“光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きい”と判定されないときには、所定の領域に対応する注目画素が人工画を示すと判定しない。そして、ダイナミックレンジ判定部１１２は、例えば、人工画ではないことを示す“０”を出力する。

ダイナミックレンジ判定部１１２は、例えば上記の（Ｃ−１）〜（Ｃ−３）の手順により、注目画素ごとに人工画を判定する。

［１−１−４］人工画度生成部１１４
人工画度生成部１１４は、画素差分判定部１０８、階調判定部１１０、およびダイナミックレンジ判定部１１２それぞれの判定結果の論理的組み合わせの結果に基づいて、人工画度（人工画の判定結果の一例）を、生成（決定）する。

人工画度生成部１１４は、例えば、判定結果の論理的組み合わせの結果、人工画と判定された画素に対して、人工画の度合いを示す人工画度の最大値を割り当て、また、人工画と判定されない画素に対して、人工画度の最小値を割り当てる。そして、人工画度生成部１１４は、例えば、人工画度が割り当てられた複数の画素を空間的にフィルタリングすることによって、注目画素ごとの人工画度を決定する。

また、人工画度生成部１１４は、例えば、判定結果の論理的組み合わせの結果を人工画度とすることも可能である。

図６は、本発明の第１の実施形態に係る人工画度生成部１１４における処理の一例を説明するための説明図である。

人工画度生成部１１４は、画素差分判定部１０８、階調判定部１１０、およびダイナミックレンジ判定部１１２それぞれの判定結果の論理和（判定結果の論理的組み合わせの一例）をとる。

なお、上述したように、本発明の実施形態に係る論理的組み合わせは判定結果の論理和に限られない。例えば、人工画度生成部１１４は、画素差分判定部１０８、階調判定部１１０、およびダイナミックレンジ判定部１１２それぞれの判定結果の論理積をとることも可能である。

判定結果の論理和をとると、人工画度生成部１１４は、判定結果の論理的組み合わせの結果に対して、人工画度の最大値に該当する値を乗算する。

図６では、人工画度生成部１１４が“２５５”（入力画像信号が８ビットで表される場合における人工画度の最大値の一例）を、判定結果の論理的組み合わせの結果に対して乗算している例を示している。なお、本発明の実施形態に係る人工画度の最大値に該当する値は、“２５５”に限られず、“２５６”などの他の値であってもよい。本発明の実施形態に係る人工画度の最大値に該当する値は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

人工画度生成部１１４は、例えば、人工画度が割り当てられた複数の画素を空間的にフィルタリングすることによって注目画素の人工画度を生成する。人工画度生成部１１４は、例えば、注目画素を中心とする５×５画素の領域に対して、ガウシアンフィルタにより空間フィルタリングすることによって、注目画素の人工画度を生成（決定）する。また、注目画素に対応する５×５画素の領域が設定できない場合には、人工画度生成部１１４は、例えば、当該注目画素の人工画度を、判定結果の論理的組み合わせの結果を人工画度とする。

上記のようにガウシアンフィルタにより空間フィルタリングすることによって、人工画度生成部１１４は、人工画度を、例えば２５６段階などで段階的に生成することができる。

人工画度生成部１１４は、例えば上記のように、画素差分判定部１０８、階調判定部１１０、およびダイナミックレンジ判定部１１２それぞれの判定結果の論理的組み合わせの結果に基づいて、人工画度（人工画の判定結果の一例）を生成する。

なお、人工画度生成部１１４における処理は、上記に示す例に限られない。

例えば、人工画度生成部１１４は、図６に示すガウシアンフィルタの代わりに、平均化フィルタなどの他のフィルタを用いた空間フィルタリングを行うことも可能である。また、人工画度生成部１１４は、３×３画素の領域や７×７画素の領域など、５×５画素の領域以外の領域に対して空間フィルタリングを行ってもよい。

人工画判定部１０２は、例えば図２に示すように、画素差分判定部１０８、階調判定部１１０、ダイナミックレンジ判定部１１２、および人工画度生成部１１４を有することによって、入力画像信号に基づいて、人工画を画素ごとに判定する。

なお、第１の実施形態に係る人工画判定部１０２の構成は、図２に示す構成に限られない。

例えば、人工画判定部１０２は、図２に示す画素差分判定部１０８、階調判定部１１０、およびダイナミックレンジ判定部１１２のうちの１つを有していなくてもよい。また、人工画判定部１０２は、例えば、上記（１）に示す第１の判定条件〜上記（３）に示す第３の判定条件とは異なる他の判定条件により画素ごとに人工画の判定を行う、１または２以上の判定部をさらに有していてもよい。また、上記１または２以上の判定部を有する場合には、人工画判定部１０２は、図２に示す画素差分判定部１０８、階調判定部１１０、およびダイナミックレンジ判定部１１２のうちの１つまたは２つを有さない構成をとることも可能である。

［１−２］自然画処理部１０４
自然画処理部１０４は、入力画像信号に対して第１の画像処理を行う。

本発明の実施形態に係る第１の画像処理としては、例えば、エッジ強調処理や、色域変換処理、コントラストの補正処理など、様々な画像処理が挙げられる。なお、本発明の実施形態に係る第１の画像処理には、画像の拡大処理は含まれない。拡大処理が含まれる第２の画像処理については、後述する。

図７は、本発明の第１の実施形態に係る自然画処理部１０４における処理の一例を説明するための説明図であり、エッジ強調処理の一例を示している。図７では、便宜上、自然画処理部１０４により処理された処理後の画像を「自然画処理画像」と示している。

自然画処理部１０４は、例えば、入力画像信号に対してラプラシアンフィルタを用いたフィルタ処理を行い、ラプラシアンフィルタを適用した結果をゲインとして入力画像信号に対して加算（または減算）する。なお、自然画処理部１０４は、ラプラシアンフィルタ以外の他のエッジ強調フィルタを用いたフィルタ処理を行うことも可能である。本発明の実施形態に係るエッジ強調フィルタは、線形フィルタであってもよいし、非線形フィルタであってもよい。

［１−３］合成部１０６
合成部１０６は、人工画判定処理の判定結果に基づく画像処理を行う役目を果たし、人工画判定部１０２の判定結果に基づいて、入力画像信号と、自然画処理部１０４において第１の画像処理が行われた画像信号とを合成する。

合成部１０６は、例えば下記の数式２に示す演算を画素ごとに行う。なお、下記の数式２は、入力画像信号が８ビットで表される場合における合成部１０６における演算の一例である。

ここで、第１の実施形態において、下記の数式２に示す“Ｒ_ａｒｔ”、“Ｇ_ａｒｔ”、“Ｂ_ａｒｔ”は、入力画像信号に対応する色信号が示す階調値（画素値の一例）であり、下記の数式２に示す“ｂｌｄ”は、人工画度を示している。また、第１の実施形態において、下記の数式２に示す“Ｒ_{ｎａｔｕｒａｌ}”、“Ｇ_{ｎａｔｕｒａｌ}”、“Ｂ_{ｎａｔｕｒａｌ}”は、第１の画像処理が行われた入力画像信号に対応する色信号が示す階調値（画素値の一例）であり、下記の数式２に示す“Ｒ_ｂｌｄ”、“Ｇ_ｂｌｄ”、“Ｂ_ｂｌｄ”は、出力画像信号に対応する色信号が示す階調値（画素値の一例）である。

・・・（数式２）

第１の実施形態に係る画像処理装置１００は、例えば図１に示す構成を有する。

ここで、画像処理装置１００は、人工画判定部１０２において、本発明の実施形態に係る人工画判定処理を行う。

したがって、画像処理装置１００は、例えば図１に示す構成を有することによって、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

また、画像処理装置１００は、合成部１０６において、人工画判定部１０２の判定結果に基づいて、入力画像信号と第１の画像処理が行われた画像信号とを合成する。

ここで、例えば、自然画におけるテクスチャ（Texture）（例えば、入力画像に含まれる芝や草など）では、エッジを強調してオーバーシュート（overshoot）やアンダーシュート（undershoot）を発生させることによって、鮮明度の高い画像とすることができる。

一方、例えば、コンピュータなどにより生成された文字などの人工画では、エッジを強調するとリンギングが発生しうる。リンギングが発生した場合には、アーティファクト（artifact）として認識される恐れがあることから、かえって画質を低下させてしまう可能性がある。そのため、入力画像に含まれる人工画の部分については、入力画像をそのまま出力するなど、エッジを強調しない方がよい。

画像処理装置１００は、合成部１０６において、人工画判定部１０２の判定結果である複数段階の人工画度（例えば、２５６段階の人工画度）に基づいて、入力画像信号と第１の画像処理が行われた画像信号とを合成するので、上記のような画質の低下を防止することができ、また、自然画と人工画の境界部分でのアーティファクトは発生しない。

したがって、画像処理装置１００は、例えば図１に示す構成を有することによって、出力画像の画質の向上を図ることができる。

なお、第１の実施形態に係る画像処理装置の構成は、図２に示す構成に限られない。

例えば、第１の実施形態に係る画像処理装置は、人工画向け画像処理を行う人工画処理部をさらに備えていてもよい。人工画処理部をさらに備える場合、第１の実施形態に係る画像処理装置は、合成部１０６において、人工画判定部１０２の判定結果に基づいて、自然画処理部１０４において第１の画像処理が行われた画像信号と、人工画処理部において画像処理が行われた画像信号とを合成する。

また、例えば、自然画処理部１０４と合成部１０６との一方または双方と同様の機能を有する、１または２以上の外部装置（または、外部処理回路）と連携して処理を行う場合には、第１の実施形態に係る画像処理装置は、自然画処理部１０４と合成部１０６との一方または双方を備えない構成をとることも可能である。

自然画処理部１０４と合成部１０６との一方または双方を備えない構成であっても、第１の実施形態に係る画像処理装置は、本発明の実施形態に係る人工画判定処理を行うことが可能である。よって、自然画処理部１０４と合成部１０６との一方または双方を備えない構成であっても、第１の実施形態に係る画像処理装置は、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

［２］第２の実施形態に係る画像処理装置
なお、本発明の実施形態に係る画像処理装置は、上記第１の実施形態に係る画像処理装置に限られない。そこで、次に、第２の実施形態に係る画像処理装置として、入力画像を拡大した出力画像を出力することが可能な画像処理装置の構成の一例を説明する。

ここで、第２の実施形態に係る入力画像の拡大としては、例えば、ＦＨＤ（Full High Definition）解像度の画像をＵＨＤ（Ultra High Definition）解像度の画像に拡大するなど、入力画像を画像の水平方向および垂直方向にそれぞれ２倍に拡大すること、すなわち入力画像を４倍に拡大することが挙げられる。なお、第２の実施形態に係る入力画像の拡大は、上記の例に限られず、第２の実施形態に係る画像処理装置は、入力画像を拡大することが可能な任意の倍率によって、入力画像を拡大することが可能である。

図８は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。図８では、図１と同様に、入力画像信号を“入力画像”と示し、処理後の画像信号を“出力画像”と示している。

画像処理装置２００は、例えば、人工画判定部２０２と、自然画拡大処理部２０４（第２の画像処理部）と、人工画拡大処理部２０６（第３の画像処理部）と、合成部２０８とを備える。

画像処理装置２００は、例えば図１に示す画像処理装置１００と同様に、ＣＰＵなどのプロセッサや各種処理回路などで構成され、画像処理装置２００全体を制御する制御部（図示せず）などを備えていてもよい。制御部（図示せず）を備える場合、画像処理装置２００では、制御部（図示せず）が、人工画判定部２０２、自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８の役目を果たすことも可能である。

なお、人工画判定部２０２、自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８のうちの１または２以上が、制御部（図示せず）とは別体の処理回路（例えば、専用の処理回路、または、汎用の処理回路）などで実現されてもよいことは、言うまでもない。また、人工画判定部２０２、自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８のうちの１または２以上における処理は、プロセッサなどで実行されるプログラム（ソフトウェア）により実現されてもよい。

［２−１］人工画判定部２０２
人工画判定部２０２は、上記人工画判定処理を主導的に行う役目を果たす。人工画判定部２０２は、入力画像信号に基づいて、異なる２つ以上の判定条件それぞれによる人工画の判定を行い、２つ以上の判定条件の判定結果の論理的組み合わせの結果に基づいて、入力画像に含まれる人工画を画素ごとに判定する。また、人工画判定部２０２は、例えば、画素ごとの人工画の判定結果として画素ごとの人工画度を出力する。

図９は、本発明の第２の実施形態に係る人工画判定部２０２の構成の一例を示すブロック図である。人工画判定部２０２は、例えば、画素差分判定部１０８と、階調判定部１１０と、ダイナミックレンジ判定部１１２と、人工画度生成部１１４と、拡大処理部２１０とを有する。

図９に示す人工画判定部２０２と、図２に示す第１の実施形態に係る人工画判定部１０２とを比較すると、人工画判定部２０２が、拡大処理部２１０をさらに備えている点が異なる。よって、以下では、人工画判定部２０２を構成する拡大処理部２１０について説明する。

拡大処理部２１０は、人工画の判定結果に対する拡大処理をさらに行う。拡大処理部２１０は、例えば、人工画度生成部１１４から出力される画素ごとの人工画度（人工画の判定結果の一例）に対して、ニアレストネイバー（nearest neighbor）法や、バイリニア（Bi-Linear）法、バイキュービック（Bi-Qubic）法などの、画像を拡大することが可能な任意の方法に係る処理を、拡大処理として行う。

［２−２］自然画拡大処理部２０４
自然画拡大処理部２０４は、入力画像信号に対して、拡大処理を含む第２の画像処理を行う。

本発明の実施形態に係る第２の画像処理としては、第１の実施形態に係る第１の画像処理と、拡大処理とを組み合わせた処理が挙げられる。

また、本発明の実施形態に係る第２の画像処理では、例えば、後述する第３の画像処理に含まれるクリップ（clip）処理は行われない。上記は、例えば、画像に含まれる自然画の部分に対してクリップ処理を行うと、べたついた油絵のようになるためである。なお、本発明の実施形態に係る第２の画像処理として、クリップ処理を行うことが可能であることは、言うまでもない。

図１０は、本発明の第２の実施形態に係る自然画拡大処理部２０４の構成の一例を説明するためのブロック図である。

自然画拡大処理部２０４は、拡大処理部２１２と、自然画処理部１０４とを有する。

拡大処理部２１２は、入力画像信号に対する拡大処理を行う。拡大処理部２１２は、例えば、入力画像信号に対して、ニアレストネイバー法や、バイリニア法、バイキュービック法などの、画像を拡大することが可能な任意の方法に係る処理を、拡大処理として行う。

自然画処理部１０４は、拡大処理部２１２から伝達される画像信号（入力画像信号に対して拡大処理が行われた画像信号）に対して、エッジ強調処理などの、第１の実施形態に係る自然画処理部１０４と同様の第１の画像処理を行う。自然画処理部１０４においてエッジ強調処理が行われる場合には、例えば拡大時に発生するブラー（Blur）を改善することができる。図１０では、便宜上、自然画処理部１０４により処理された処理後の画像を「自然画拡大処理画像」と示している。

なお、自然画拡大処理部２０４の構成は、図１０に示す例に限られない。例えば、自然画拡大処理部２０４は、自然画処理部１０４の後段に拡大処理部２１２が設けられていてもよい。

［２−３］人工画拡大処理部２０６
人工画拡大処理部２０６は、入力画像信号に対して、拡大処理とエッジ強調処理とを含む、第２の画像処理とは異なる第３の画像処理を行う。

人工画拡大処理部２０６は、例えば、拡大時に発生するブラーを改善するためにエッジ強調処理を行う。

また、人工画に対してエッジ強調処理が行われた場合には、オーバーシュートやアンダーシュートが目立つため、人工画拡大処理部２０６は、例えば、オーバーシュートやアンダーシュートを発生させないようにクリップ処理を行う。

人工画拡大処理部２０６は、例えば、注目画素の画素値と隣接画素の画素値とに基づいて、注目画素が平坦領域に含まれるかを判定して、判定結果に応じた補正下限値および補正上限値の一方または双方を、注目画素ごとに設定する。そして、人工画拡大処理部２０６は、例えば、拡大処理およびエッジ強調処理が行われた画像信号を、補正下限値および補正上限値の一方または双方でクリップする。

以下、補正下限値および補正上限値の双方でクリップする場合を例に挙げて、人工画拡大処理部２０６における処理を、より具体的に説明する。また、以下では、補正下限値と補正上限値とを総称して「補正値」と示す場合がある。

図１１は、本発明の第２の実施形態に係る人工画拡大処理部２０６の構成の一例を説明するためのブロック図である。

人工画拡大処理部２０６は、例えば、平坦検出部２１４と、補正値算出部２１６と、拡大処理部２１８、２２０と、強調部２２２と、補正部２２４とを有する。

［２−３−１］平坦検出部２１４
平坦検出部２１４は、注目画素の画素値と隣接画素の画素値とに基づいて、注目画素が平坦領域に含まれるかを判定する。

図１２は、本発明の第２の実施形態に係る人工画拡大処理部２０６における処理の一例を説明するための説明図である。図１２に示す“Ｔ”は、注目画素を示している。また、図１２に示す“Ｌ”は、注目画素に対して、画像の水平方向の左側に隣接する隣接画素を示しており、図１２に示す“Ｒ”は、注目画素に対して、画像の水平方向の右側に隣接する隣接画素を示している。また、図１２に示す“Ｕ”は、注目画素に対して、画像の垂直方向の上側に隣接する隣接画素を示しており、図１２に示す“Ｄ”は、注目画素に対して、画像の垂直方向の下側に隣接する隣接画素を示している。

平坦検出部２１４は、例えば下記の数式３に示す演算を、図１２に示す４つの隣接画素それぞれに対して行う。

ここで、下記の数式３に示す“＊”は、図１２に示す４つの隣接画素“Ｌ”、“Ｒ”、“Ｕ”、“Ｄ”のいずれかを示している。また、下記の数式３に示す“Ｒ_Ｔ”、“Ｇ_Ｔ”、“Ｂ_Ｔ”は、入力画像信号に対応する色信号が示す注目画素の階調値（画素値の一例）であり、下記の数式３に示す“Ｒ_＊”、“Ｇ_＊”、“Ｂ_＊”は、入力画像信号に対応する色信号が示す隣接画素の階調値（画素値の一例）である。

また、下記の数式３に示す“Ｔｈ”は、注目画素が平坦領域に含まれるかを判定するための閾値である。下記の数式３に示す“Ｔｈ”としては、例えば“３”が挙げられる。下記の数式３に示す“Ｔｈ”は、予め設定される固定値であってもよいし、画像処理装置１００のユーザなどの操作によって変更されうる可変値であってもよい。

・・・（数式３）

そして、平坦検出部２１４は、例えば下記の数式４に示す演算を行うことによって、注目画素が平坦領域に含まれるかを判定する。ここで、下記の数式４に示す“ＤｅｔＦｌａｔ”の値が“１”を示す場合が、注目画素が平坦領域に含まれることを示しており、下記の数式４に示す“ＤｅｔＦｌａｔ”の値が“０”を示す場合が、注目画素が平坦領域に含まれないことを示している。

・・・（数式４）

平坦検出部２１４は、例えば上記のように、注目画素が平坦領域に含まれるかを判定する。なお、注目画素が４つの隣接画素を有さない場合、平坦検出部２１４は、例えば、当該注目画素が平坦領域に含まれないと判定してもよい。

［２−３−２］補正値算出部２１６
補正値算出部２１６は、補正値（補正下限値および補正上限値の一方または双方）を設定する。以下では、補正値算出部２１６が、補正下限値および補正上限値の双方を設定する場合について説明する。

補正値算出部２１６は、図１２に示すように注目画素の上下左右に隣接する４つの隣接画素において、画素値の最大値と最小値を選択する。

以下、隣接画素における画素値の最大値を“Ｒ_ｍａｘ”（赤色の色信号に対応する画素値の最大値）、“Ｇ_ｍａｘ”（緑色の色信号に対応する画素値の最大値）、“Ｂ_ｍａｘ”（青色の色信号に対応する画素値の最大値）と示す。また、以下、隣接画素における画素値の最小値を“Ｒ_ｍｉｎ”（赤色の色信号に対応する画素値の最小値）、“Ｇ_ｍｉｎ”（緑色の色信号に対応する画素値の最小値）、“Ｂ_ｍｉｎ”（青色の色信号に対応する画素値の最小値）と示す。

そして、補正値算出部２１６は、例えば下記の数式５〜数式１０により、補正下限値および補正上限値を設定する。

ここで、下記の数式５〜数式７に示す“Ｒ_{ｃ_ｍａｘ}”、“Ｇ_{ｃ_ｍａｘ}”、“Ｂ_{ｃ_ｍａｘ}”は、入力画像信号に対応する色信号にそれぞれ対応する補正上限値である。また、下記の数式８〜数式１０に示す“Ｒ_{ｃ_min}”、“Ｇ_{ｃ_min}”、“Ｂ_{ｃ_min}”は、入力画像信号に対応する色信号にそれぞれ対応する補正下限値である。

・・・（数式５）

・・・（数式６）

・・・（数式７）

・・・（数式８）

・・・（数式９）

・・・（数式１０）

［２−３−３］拡大処理部２１８
拡大処理部２１８は、画素ごとに設定された補正値に対して拡大処理を行う。拡大処理部２１８は、例えば、画素ごとに設定された補正値に対して、ニアレストネイバー法や、バイリニア法、バイキュービック法などの、画像を拡大することが可能な任意の方法に係る処理を、拡大処理として行う。

［２−３−４］拡大処理部２２０
拡大処理部２２０は、入力画像信号に対して拡大処理を行う。拡大処理部２２０は、例えば、入力画像信号に対して、ニアレストネイバー法や、バイリニア法、バイキュービック法などの、画像を拡大することが可能な任意の方法に係る処理を、拡大処理として行う。

［２−３−５］強調部２２２
強調部２２２は、エッジ強調処理を行う。

図１３は、本発明の第２の実施形態に係る人工画拡大処理部２０６における処理の一例を説明するための説明図であり、人工画拡大処理部２０６を構成する強調部２２２における処理の一例を示している。図１３では、強調処理が行われた赤色に対応する色信号が示す階調値（画素値の一例）を“Ｒ_ｅｎｈ”、強調処理が行われた緑色に対応する色信号が示す階調値（画素値の一例）を“Ｇ_ｅｎｈ”、強調処理が行われた青色に対応する色信号が示す階調値（画素値の一例）を“Ｂ_ｅｎｈ”と示している。

強調部２２２は、例えば、入力画像信号に対してラプラシアンフィルタを用いたフィルタ処理を行い、ラプラシアンフィルタを適用した結果をゲインとして入力画像信号に対して加算（または減算）する。なお、強調部２２２は、ラプラシアンフィルタ以外の他のエッジ強調フィルタを用いたフィルタ処理を行うことも可能である。

［２−３−６］補正部２２４
補正部２２４は、拡大処理部２２０および強調部２２２において拡大処理およびエッジ強調処理が行われた画像信号を、補正値（補正下限値および補正上限値の一方または双方）でクリップする。

補正下限値および補正上限値の双方でクリップする場合を例に挙げると、補正部２２４は、例えば下記の数式１１〜数式１３に示す演算を行うことによって、拡大処理およびエッジ強調処理が行われた画像信号を補正値でクリップする。

ここで、下記の数式１１〜数式１３に示す“Ｒ_ｃｌｉｐ”、“Ｇ_ｃｌｉｐ”、“Ｂ_ｃｌｉｐ”は、入力画像信号に対応する色信号にそれぞれ対応する、補正後の階調値（画素値の一例）である。

・・・（数式１１）

・・・（数式１２）

・・・（数式１３）

人工画拡大処理部２０６は、例えば図１１に示す構成によって、“拡大処理”、“エッジ強調処理”、および、“拡大処理およびエッジ強調処理が行われた画像信号を、補正下限値および補正上限値の一方または双方でクリップするクリップ処理”を、第３の画像処理として行う。なお、人工画拡大処理部２０６の構成が、図１１に示す例に限られないことは、言うまでもない。

［２−４］合成部２０８
再度図８を参照して、第２の実施形態に係る画像処理装置２００の構成の一例を説明する。合成部２０８は、人工画判定部２０２の判定結果（図１に示す人工画判定部１０２における処理にさらに拡大処理が行われた判定結果）に基づいて、自然画拡大処理部２０４において第２の画像処理が行われた画像信号と、人工画拡大処理部２０６において第３の画像処理が行われた画像信号とを合成する。

合成部２０８は、例えば上記数式２に示す演算を画素ごとに行うことによって、第２の画像処理が行われた画像信号と、第３の画像処理が行われた画像信号とを合成する。ここで、合成部２０８が上記数式２に示す演算を行う場合、上記数式２に示す“Ｒ_ａｒｔ”、“Ｇ_ａｒｔ”、“Ｂ_ａｒｔ”は、人工画拡大処理部２０６において第３の画像処理が行われた画像信号に対応する色信号が示す階調値（画素値の一例）である。

第２の実施形態に係る画像処理装置２００は、例えば図８に示す構成を有する。

ここで、画像処理装置２００は、人工画判定部２０２において、本発明の実施形態に係る人工画判定処理を行う。

したがって、画像処理装置２００は、例えば図８に示す構成を有することによって、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

また、画像処理装置２００は、合成部２０８において、人工画判定部２０２の判定結果に基づいて、第２の画像処理が行われた画像信号と、第３の画像処理が行われた画像信号とを合成する。

上述したように、例えば、自然画におけるテクスチャでは、エッジを強調してオーバーシュートやアンダーシュートを発生させることによって、鮮明度の高い画像とすることができる。

また、拡大処理によってブラーが発生しうることから、ブラーを改善するために、画像処理装置２００は、例えばコンピュータなどにより生成された文字などの人工画に対して、エッジ強調処理を行う。上述したように、例えば人工画ではエッジを強調するとリンギングが発生しうるが、画像処理装置２００は、補正値によりクリップすることによってオーバーシュートやアンダーシュートの発生を防止するので、リンギングの発生を防止することができる。

また、画像処理装置２００は、合成部２０８において、人工画判定部２０２の判定結果である複数段階の人工画度（例えば、２５６段階の人工画度）に基づいて、第２の画像処理が行われた画像信号と、第３の画像処理が行われた画像信号とを合成するので、第１の実施形態に係る画像処理装置と同様に、自然画と人工画の境界部分でのアーティファクトは発生しない。

したがって、画像処理装置２００は、例えば図８に示す構成を有することによって、出力画像の画質の向上を図ることができる。

なお、第２の実施形態に係る画像処理装置の構成は、図８に示す構成に限られない。

例えば、自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８のうちの１または２以上と同様の機能を有する、１または２以上の外部装置（または、外部処理回路）と連携して処理を行う場合には、第２の実施形態に係る画像処理装置は、自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８のうちの１または２以上を備えない構成をとることも可能である。

自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８のうちの１または２以上を備えない構成であっても、第２の実施形態に係る画像処理装置は、本発明の実施形態に係る人工画判定処理を行うことが可能である。よって、自然画拡大処理部２０４、人工画拡大処理部２０６、および合成部２０８のうちの１または２以上を備えない構成であっても、第２の実施形態に係る画像処理装置は、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

以上、本発明の実施形態として、画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣやサーバなどのコンピュータや、タブレット（tablet）型の装置、携帯電話やスマートフォン（smart phone）などの通信装置、テレビ受像機、モニタなどの表示デバイスなど、画像信号を処理することが可能な、様々な機器に適用することができる。また、本発明の実施形態は、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Integrated Circuit）に適用することもできる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“コンピュータを、人工画判定部１０２に相当する人工画判定手段、自然画処理部１０４（第１の画像処理部）に相当する第１の画像処理手段、および合成部１０６に相当する合成手段のように、第１の実施形態に係る画像処理装置１００として機能させることが可能なプログラム”や、“コンピュータを、人工画判定部１０２に相当する人工画判定手段のように、第１の実施形態の変形例に係る画像処理装置として機能させることが可能なプログラム”、“コンピュータを、人工画判定部２０２に相当する人工画判定手段、自然画拡大処理部２０４（第２の画像処理部）に相当する第２の画像処理手段、人工画拡大処理部２０６（第３の画像処理部）に相当する第３の画像処理手段、および合成部２０８に相当する合成手段のように、第２の実施形態に係る画像処理装置２００として機能させることが可能なプログラム”、“コンピュータを、人工画判定部２０２に相当する人工画判定手段のように、第２の実施形態の変形例に係る画像処理装置として機能させることが可能なプログラム”）が、コンピュータにおいて実行されることによって、入力画像信号に基づいて、画素ごとに人工画か自然画かを判定することができる。

また、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本発明の実施形態に係る画像処理装置が用いられることにより奏される効果を、奏することができる。

また、上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

１００、２００ 画像処理装置
１０２、２０２ 人工画判定部
１０４ 自然画処理部
１０６、２０８ 合成部
１０８ 画素差分判定部
１１０ 階調判定部
１１２ ダイナミックレンジ判定部
１１４ 人工画度生成部
２０４ 自然画拡大処理部
２０６ 人工画拡大処理部
２１０、２１２、２１８、２２０ 拡大処理部
２１４ 平坦検出部
２１６ 補正値算出部
２２２ 強調部
２２４ 補正部

Claims (18)

1. 入力される入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行い、２つ以上の前記判定条件の判定結果の論理的組み合わせの結果に基づいて、前記入力画像信号が示す入力画像に含まれる人工画を画素ごとに判定する人工画判定部を備え、
   ２つ以上の前記判定条件には、
   注目画素と前記注目画素の周辺画素とをマトリクス状に有する所定の領域に含まれる画素の画素値を用いて、前記所定の領域が平坦な領域を示すか判定することによって、前記注目画素ごとに人工画を判定する第１の判定条件と、
   前記所定の領域に含まれる画素の階調値を用いて、前記所定の領域がグラデーションを示すかを判定することによって、前記注目画素ごとに人工画を判定する第２の判定条件と、
   前記所定の領域に含まれる前記周辺画素の階調値のダイナミックレンジを用いて、前記所定の領域における色の変化を判定することによって、前記注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれることを特徴とする、画像処理装置。
2. 前記第１の判定条件により判定を行う場合、
   前記人工画判定部は、注目画素それぞれに対応する前記所定の領域それぞれにおいて、
   隣接する画素間の画素値の差分の絶対値を算出し、
   第１の閾値より大きい前記画素値の差分の絶対値の数、または、前記第１の閾値以上の前記画素値の差分の絶対値の数である第１の数を算出し、
   前記第１の数が第２の閾値以下のとき、または、前記第１の数が前記第２の閾値より小さいときに、前記所定の領域に対応する前記注目画素が、前記人工画を示すと判定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記人工画判定部は、前記入力画像の水平方向、および前記入力画像の垂直方向にそれぞれ隣接する画素間の画素値の差分の絶対値を算出することを特徴とする、請求項２に記載の画像処理装置。
4. 前記人工画判定部は、前記入力画像信号に対応する色信号に基づいて、前記画素値の差分の絶対値を、光の三原色ごとに算出することを特徴とする、請求項２、または３に記載の画像処理装置。
5. ２つ以上の前記判定条件に前記第２の判定条件が含まれる場合、
   前記人工画判定部は、注目画素それぞれに対応する前記所定の領域それぞれにおいて、
   前記入力画像の水平方向におけるグラデーションの判定、および前記入力画像の垂直方向におけるグラデーションの判定を行い、
   前記水平方向と前記垂直方向との少なくとも一方でグラデーションを示すと判定されたときに、前記所定の領域に対応する前記注目画素が、前記人工画を示すと判定することを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記人工画判定部は、
   前記所定の領域の全ての行において、前記水平方向に隣接する画素間の階調値の差分の絶対値を算出し、
   前記所定の領域の全ての行において、第３の閾値以下の前記階調値の差分の絶対値の数、または、前記第３の閾値より小さい前記階調値の差分の絶対値の数である第２の数を行ごとに算出し、
   前記所定の領域の全ての行において、前記第２の数が第４の閾値以上であるとき、または、前記第２の数が前記第４の閾値より大きいときに、前記所定の領域が前記水平方向のグラデーションを示すと判定することを特徴とする、請求項５に記載の画像処理装置。
7. 前記人工画判定部は、
   前記所定の領域の全ての列において、前記垂直方向に隣接する画素間の階調値の差分の絶対値を算出し、
   前記所定の領域の全ての列において、第５の閾値以下の前記階調値の差分の絶対値の数、または、前記第５の閾値より小さい前記階調値の差分の絶対値の数である第３の数を列ごとに算出し、
   前記所定の領域の全ての列において、前記第３の数が第６の閾値以上であるとき、または、前記第３の数が前記第６の閾値より大きいときに、前記所定の領域が前記垂直方向のグラデーションを示すと判定することを特徴とする、請求項５、または６に記載の画像処理装置。
8. ２つ以上の前記判定条件に前記第３の判定条件が含まれる場合、
   前記人工画判定部は、注目画素それぞれに対応する前記所定の領域それぞれにおいて、
   前記入力画像信号に対応する色信号に基づいて、光の三原色ごとに前記ダイナミックレンジを算出し、
   算出された３つの前記ダイナミックレンジを用いて、前記光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定されたとき、または、前記光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定されたときに、前記所定の領域に対応する前記注目画素が、前記人工画を示すと判定することを特徴とする、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記人工画判定部は、
   算出された３つの前記ダイナミックレンジのうち、１つの前記ダイナミックレンジのみ第７の閾値以上である、もしくは、１つの前記ダイナミックレンジのみ前記第７の閾値より大きく、かつ、他の２つの前記ダイナミックレンジが第８の閾値以下である、もしくは、他の２つの前記ダイナミックレンジが第８の閾値より小さいときに、前記光の三原色のうちの１色だけ変化が大きく、かつ他の２色は変化が小さいと判定し、
   算出された３つの前記ダイナミックレンジのうち、２つの前記ダイナミックレンジが前記第７の閾値以上である、もしくは、２つの前記ダイナミックレンジが前記第７の閾値より大きく、かつ、他の１つの前記ダイナミックレンジが前記第８の閾値以下である、もしくは、他の１つの前記ダイナミックレンジが前記第８の閾値より小さいときに、前記光の三原色のうちの１色だけ変化が小さく、かつ他の２色は変化が大きいと判定することを特徴とする、請求項８に記載の画像処理装置。
10. 前記論理的組み合わせは、２つ以上の前記判定条件の判定結果の論理和であることを特徴とする、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記人工画判定部は、人工画の度合いを示す人工画度を画素ごとに決定することによって、前記入力画像に含まれる人工画を画素ごとに判定することを特徴とする、請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記人工画判定部は、
    論理的組み合わせの結果、人工画と判定された画素に対して、人工画の度合いを示す人工画度の最大値を割り当て、人工画と判定されない画素に対して、前記人工画度の最小値を割り当て、
    人工画度が割り当てられた複数の画素を空間的にフィルタリングすることによって、注目画素ごとの前記人工画度を決定することを特徴とする、請求項１１に記載の画像処理装置。
13. 前記入力画像信号に対して第１の画像処理を行う第１の画像処理部と、
    前記人工画判定部の判定結果に基づいて、前記入力画像信号と、前記第１の画像処理が行われた画像信号とを合成する合成部と、
    をさらに備えることを特徴とする、請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 前記人工画判定部の判定結果は、画素ごとの、人工画の度合いを示す人工画度であり、
    前記合成部は、前記人工画度に基づいて、前記入力画像信号と、前記第１の画像処理部において処理された画像信号とを画素ごとに合成することを特徴とする、請求項１３に記載の画像処理装置。
15. 前記人工画判定部は、判定結果に対する拡大処理をさらに行い、
    前記入力画像信号に対して、拡大処理を含む第２の画像処理を行う第２の画像処理部と、
    前記入力画像信号に対して、拡大処理とエッジ強調処理とを含む、前記第２の画像処理とは異なる第３の画像処理を行う第３の画像処理部と、
    拡大処理が行われた前記人工画判定部の判定結果に基づいて、前記第２の画像処理が行われた画像信号と、前記第３の画像処理が行われた画像信号とを合成する合成部と、
    を備えることを特徴とする、請求項１〜１２のいずれか１項に記載の画像処理装置。
16. 前記第３の画像処理部は、
    注目画素の画素値と前記注目画素に隣接する隣接画素の画素値とに基づいて、前記注目画素が平坦領域に含まれるかを判定して、判定結果に応じた補正下限値および補正上限値の一方または双方を、前記注目画素ごとに設定し、
    前記拡大処理および前記エッジ強調処理が行われた画像信号を、前記補正下限値および前記補正上限値の一方または双方でクリップすることを特徴とする、請求項１５に記載の画像処理装置。
17. 入力される入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行い、２つ以上の前記判定条件の判定結果の論理的組み合わせの結果に基づいて、前記入力画像信号が示す入力画像に含まれる人工画を画素ごとに判定する人工画判定ステップを有し、
    ２つ以上の前記判定条件には、
    注目画素と前記注目画素の周辺画素とをマトリクス状に有する所定の領域に含まれる画素の画素値を用いて、前記所定の領域が平坦な領域を示すか判定することによって、前記注目画素ごとに人工画を判定する第１の判定条件と、
    前記所定の領域に含まれる画素の階調値を用いて、前記所定の領域がグラデーションを示すかを判定することによって、前記注目画素ごとに人工画を判定する第２の判定条件と、
    前記所定の領域に含まれる前記周辺画素の階調値のダイナミックレンジを用いて、前記所定の領域における色の変化を判定することによって、前記注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれることを特徴とする、画像処理方法。
18. コンピュータを、
    入力される入力画像信号に基づいて、異なる２つ以上の人工画を判定するための判定条件それぞれによる人工画の判定を行い、２つ以上の前記判定条件の判定結果の論理的組み合わせの結果に基づいて、前記入力画像信号が示す入力画像に含まれる人工画を画素ごとに判定する人工画判定手段として機能させ、
    ２つ以上の前記判定条件には、
    注目画素と前記注目画素の周辺画素とをマトリクス状に有する所定の領域に含まれる画素の画素値を用いて、前記所定の領域が平坦な領域を示すか判定することによって、前記注目画素ごとに人工画を判定する第１の判定条件と、
    前記所定の領域に含まれる画素の階調値を用いて、前記所定の領域がグラデーションを示すかを判定することによって、前記注目画素ごとに人工画を判定する第２の判定条件と、
    前記所定の領域に含まれる前記周辺画素の階調値のダイナミックレンジを用いて、前記所定の領域における色の変化を判定することによって、前記注目画素ごとに人工画を判定する第３の判定条件とのうちの、１つ以上が含まれることを特徴とする、プログラム。
    

Images