JP2012141812A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像信号に対して複数の画像処理を行う場合において高画質化を図ることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する
【解決手段】画像信号が示す画像における画質に関する状態を示す画像情報と、画像処理の度合いを規定する、画像処理ごとの制御情報とを管理する情報管理部と、入力される入力画像信号を解析する解析部と、第１制御情報に基づいて、入力画像信号に対して第１の画像処理を行う第１処理部と、第２制御情報に基づいて、第１処理部が画像処理を行った画像信号に対して第２の画像処理を行う第２処理部とを備え、情報管理部は、解析部における解析結果に基づいて、入力画像信号に対応する画像情報と、第１制御情報とを設定し、設定された第１制御情報に基づいて画像情報を更新し、更新された画像情報と第１制御情報とに基づいて、第２制御情報を設定する画像処理装置が提供される。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、例えばテレビ受像機などの画像信号を処理することが可能な画像処理装置の高機能化がますます進んでおり、画像処理装置の中には、高画質化を図るために複数の画像処理機能を有するものもある。

このような中、高画質化を図るための技術が開発されている。ユーザの嗜好や画像信号の種別に応じて複数のノイズ低減処理の最適化を図る技術としては、例えば、特許文献１が挙げられる。

特開２００５−３５４５３４号公報

画像（静止画像または動画像。以下、同様とする。）を示す画像信号に対して複数の画像処理を行う場合には、行われた一の画像処理が他の画像処理に影響を及ぼすことが起こりうる。他の画像処理に影響を及ぼすケースとしては、例えば下記のようなケースが挙げられる。
・ノイズを低減させるためのノイズリダクション処理（画像処理の一例）を強めに行うとにより、ノイズは除去されるが画像がボケる。その結果、上記画像のボケを低減させるために、シャープネス処理などの画像の鮮鋭度向上処理（画像処理の一例）を強めに行う必要性が生じる
・ノイズリダクション処理が弱めに行われると、ノイズが十分に除去されず、ノイズが残る。その結果、ノイズを目立たなくするために、シャープネスなどの鮮鋭度向上処理を弱めに行う必要性が生じる

よって、画像信号に対して複数の画像処理を行う場合において高画質化を図るためには、複数の画像処理を連携させることが望ましい。

ここで、特許文献１に示すような高画質化を図るための従来の技術（以下、単に「従来の技術」と示す場合がある。）では、例えば、画像信号のフォーマットとユーザにより設定された画質設定との組合せに基づいて、輪郭補正処理およびノイズリダクション処理それぞれが予め規定されたレベルで行われる。よって、従来の技術では各画像処理を予め規定されたレベルで行うことによって複数の処理を連携させることが可能であるので、従来の技術を用いることによって、高画質化をある程度は図ることができる可能性はある。

しかしながら、従来の技術では、画像信号のフォーマットとユーザにより設定された画質設定との組合せに基づいて各画像処理を予め規定されたレベルで行っているので、画像信号に対する画像処理を静的な設定で行っているに過ぎない。よって、従来の技術を用いたとしても、例えば画像ごとまたは画像におけるシーンごとに画像処理の設定を変えることはできないので、画像信号に適した画像処理を行うことは、望むべくもない。

したがって、従来の技術を用いたとしても、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができない恐れがある。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像信号に対して複数の画像処理を行う場合において高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、画像信号が示す画像における画質に関する状態を示す画像情報と、画像処理の度合いを規定する、画像処理ごとの制御情報とを管理する情報管理部と、入力される入力画像信号を解析する解析部と、対応する上記制御情報である第１制御情報に基づいて、上記入力画像信号に対して第１の画像処理を行う第１処理部と、対応する上記制御情報である第２制御情報に基づいて、上記第１処理部が画像処理を行った画像信号に対して第２の画像処理を行う第２処理部とを備え、上記情報管理部は、上記解析部における解析結果に基づいて、上記入力画像信号に対応する画像情報と、上記第１制御情報とを設定し、設定された上記第１制御情報に基づいて上記画像情報を更新し、更新された上記画像情報と上記第１制御情報とに基づいて、上記第２制御情報を設定する、画像処理装置が提供される。

かかる構成により、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

また、上記情報管理部は、設定された上記第２制御情報に基づいて上記画像情報を更新してもよい。

また、上記第２処理部の後段において、対応する上記制御情報に基づいて画像処理を行う、１または２以上の処理部をさらに備え、上記情報管理部は、前段の処理部に対応する制御情報に基づいて更新した画像情報と、上記前段の処理部に対応する制御情報とに基づいて、次に画像処理を行う処理部に対応する制御情報を設定してもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、入力される入力画像信号を解析するステップと、上記解析するステップにおける解析結果に基づいて、上記入力画像信号に対応し、画像信号が示す画像における画質に関する状態を示す画像情報と、第１の画像処理の度合いを規定する第１制御情報とを設定するステップと、設定された第１制御情報に基づいて、上記入力画像信号に対して第１の画像処理を行うステップと、設定された上記第１制御情報に基づいて上記画像情報を更新するステップと、更新された上記画像情報と上記第１制御情報とに基づいて、第２の画像処理の度合いを規定する第２制御情報を設定するステップと、設定された第２制御情報に基づいて、上記第１の画像処理が行われた画像信号に対して第２の画像処理を行うステップと、を有する画像処理方法が提供される。

かかる方法を用いることにより、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

また、上記目的を達成するために、本発明の第３の観点によれば、画像信号が示す画像における画質に関する状態を示す画像情報と、画像処理の度合いを規定する、画像処理ごとの制御情報とを管理する情報管理手段、入力される入力画像信号を解析する解析手段、
対応する上記制御情報である第１制御情報に基づいて、上記入力画像信号に対して第１の画像処理を行う第１処理手段、対応する上記制御情報である第２制御情報に基づいて、上記第１処理手段が画像処理を行った画像信号に対して第２の画像処理を行う第２処理手段、としてコンピュータを機能させ、上記情報管理手段は、上記解析手段における解析結果に基づいて、上記入力画像信号に対応する画像情報と、上記第１制御情報とを設定し、設定された上記第１制御情報に基づいて上記画像情報を更新し、更新された上記画像情報と上記第１制御情報とに基づいて、上記第２制御情報を設定するプログラムが提供される。

かかるプログラムを用いることにより、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

本発明によれば、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

本発明の実施形態に係る画像処理装置の構成の一例を示す説明図である。 本発明の実施形態に係る画像情報と制御情報との一例を示す説明図である。 本発明の実施形態に係る画像情報と制御情報との一例を示す説明図である。 本発明の実施形態に係る画像情報と制御情報との一例を示す説明図である。 入力画像信号が示す画像における画質に関する状態に基づいて第２制御情報を設定した場合に生じうる問題を説明するための説明図である。 本発明の実施形態に係る画像情報と制御情報との他の例を示す説明図である。 本発明の実施形態に係る画像情報と制御情報との他の例を示す説明図である。 本発明の実施形態に係る画像情報と制御情報との他の例を示す説明図である。 本発明の実施形態に係る画像情報と制御情報との他の例を示す説明図である。 本発明の実施形態に係る画像処理装置の構成の他の例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係る画像処理装置
２．本発明の実施形態に係るプログラム

（本発明の実施形態に係る画像処理装置）
［本発明の実施形態に係る画像処理方法の概要］
本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。

また、以下では、説明の簡単化のために、画像処理装置１００が、ノイズリダクション処理とシャープネス処理との２つの画像処理を行う場合について説明する。なお、本発明の実施形態に係る画像処理装置１００が行う画像処理は、ノイズリダクション処理とシャープネス処理とに限られない。例えば、本発明の実施形態に係る画像処理装置１００は、例えば、色を調整するカラー調整処理や、明度を調整するコントラスト調整処理など、画質の調整に係る様々な処理を行うことができる。

上述したように、従来の技術のように画像信号のフォーマットとユーザにより設定された画質設定との組合せに基づいて各画像処理を予め規定されたレベルで行ったとしても、高画質化を図ることができるとは限らない。

また、テレビ受像機などの画像処理装置の中には、例えば、メタ情報などの画像に付随する情報や画像信号を解析した結果に基づいて、画像処理のモードや画像処理の設定を動的に変更可能なものもある。上記のような従来の画像処理装置では、画像ごとまたは画像におけるシーンごとに画像処理の設定などを動的に変更することが可能であるので、従来の技術よりもより柔軟な画像処理を行うことができる可能性がある。しかしながら、上記のような従来の画像処理装置では、複数の画像処理を連携させて処理を行わせることができないので、例えば、上述したような行われた一の画像処理が他の画像処理に影響を及ぼすケースに対応することができない。よって、上記のような従来の画像処理装置を用いたとしても、高画質化を図ることができるとは限らない。

そこで、本発明の実施形態に係る画像処理装置１００は、入力された画像信号（以下、「入力画像信号」と示す場合がある。）を解析して、解析結果に応じた画像処理を行うと共に、複数の画像処理を連携させることによって、高画質化を図る。より具体的には、画像処理装置１００は、画像信号が示す画像における画質に関する状態を示す画像情報と、画像信号に対して行う画像処理の度合いを規定する、画像処理ごとの制御情報とを、設定、更新することによって、複数の画像処理を連携させる。

ここで、本発明の実施形態に係る入力画像信号としては、例えば、画像処理装置１００がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信した結果得られる画像信号が挙げられるが、本発明の実施形態に係る入力画像信号は、上記に限られない。例えば、画像処理装置１００は、ネットワークを介して（または直接的に）外部装置から送信された画像信号を、入力画像信号として処理することも可能である。また、画像処理装置１００は、例えば、記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。

また、本発明の実施形態に係る画像情報としては、例えば、画像信号におけるノイズのレベル（度合い）を示す値や、画像信号に含まれる高域周波数成分のレベル（度合い）を示す値などが挙げられる。また、本発明の実施形態に係る制御情報としては、例えば、ノイズリダクション処理の度合いを示す値や、シャープネス処理の度合いを示す値など、画質の向上に係る様々な処理の度合いを示す値が挙げられる。なお、本発明の実施形態に係る画像情報と制御情報とが、上記に限られないことは、言うまでもない。

上述したように、行われた一の画像処理が他の画像処理に影響を及ぼすことが起こりうるので、画像信号が示す画像における画質に関する状態は、画像処理が行われることによって変化する。そこで、画像処理装置１００は、まず入力画像信号の解析結果に対応する画像情報を設定する。次に、画像処理装置１００は、一の画像処理が行われた場合における上記画質に関する状態の変化を推定して、推定結果に応じて画像情報を更新する。そして、画像処理装置１００は、更新された画像情報と、前段において行われた上記一の画像処理に対応する制御情報とに基づいて、次に行う画像処理に対応する制御情報を設定する。

上記のように画像情報と制御情報とを適宜設定、更新することによって、画像処理装置１００は、入力画像信号が示す画像における画質に関する状態ではなく、画像処理が行われた場合における最新の画像信号が示す画像における画質に関する状態に基づいて、次に行う画像処理の度合いを決定することが可能となる。よって、画像処理装置１００は、上記のように画像情報と制御情報とを適宜設定、更新することによって、複数の画像処理を連携させることができるので、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

以下、本発明の実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。

［本発明の実施形態に係る画像処理装置の構成例］
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示す説明図である。画像処理装置１００は、例えば、情報管理部１０２と、解析部１０４と、第１処理部１０６と、第２処理部１０８とを備える。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、各種画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、情報管理部１０２の役目を果たすこともできる。また、制御部（図示せず）は、例えば、第２処理部１０８が画像処理を行った画像信号をエンコードして、記憶部（図示せず）に記録するなど、各種画像処理が行われた画像信号に対する処理を行う役目を果たしてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。

操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。表示部（図示せず）は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、外部表示デバイスと接続することもできる。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

以下、図１に示す画像処理装置１００を例に挙げて、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。また、以下では、第１処理部１０６がノイズリダクション処理（第１の画像処理の一例）を行い、また、第２処理部１０８がシャープネス処理（第２の画像処理の一例）を行う場合を例に挙げて説明する。

情報管理部１０２は、画像情報と、画像処理ごとの制御情報とを管理する役目を果たす。ここで、画像処理装置１００では、例えば制御部（図示せず）が情報管理部１０２の役目を果たすことが可能であるが、画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、制御部（図示せず）と別体の処理回路で構成される情報管理部１０２を備えることも可能である。また、情報管理部１０２における画像情報と制御情報との管理としては、例えば、画像情報と制御情報との新規作成や、画像情報が示す内容および制御情報が示す内容の更新（画像情報、制御情報の設定または更新）、あるいは、画像情報と制御情報との削除などが挙げられる。

情報管理部１０２は、例えば記憶部（図示せず）に記憶された画像情報と制御情報とをそれぞれ管理するが、情報管理部１０２が管理する画像情報と制御情報とは、上記に限られない。例えば、情報管理部１０２は、情報管理部１０２を構成する記録媒体に記憶された画像情報と制御情報とを管理することができ、また、通信部（図示せず）を介して外部装置と通信を行うことによって、当該外部装置に記憶された画像情報と制御情報とを管理することも可能である。ここで、情報管理部１０２を構成する記録媒体としては、例えば、フラッシュメモリなどの不揮発性メモリが挙げられるが、情報管理部１０２を構成する記録媒体は、上記に限られない。例えば、画像処理装置１００は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性メモリ（volatile memory）を、情報管理部１０２を構成する記録媒体として備えていてもよい。

解析部１０４は、入力される入力画像信号を解析し、解析結果を情報管理部１０２へ伝達する。また、解析部１０４は、入力画像信号を第１処理部１０６へ伝達する。なお、図１では、入力画像信号が解析部１０４を介して第１処理部１０６に伝達される構成を示しているが、画像処理装置１００の構成は、上記に限られない。例えば、画像処理装置１００は、入力画像信号が解析部１０４を介さずに直接的に第１処理部１０６にも入力される構成をとることも可能である。

ここで、解析部１０４が行う入力画像信号の解析としては、例えば、ノイズレベルの検出や、高域周波数成分の検出など、各処理部が行う処理に関連する項目の解析が挙げられる。より具体的には、解析部１０４は、例えば、Ｓ／Ｎ比（Signal to Noise ratio）を算出して算出されたＳ／Ｎ比のレベルを、ノイズレベルを示す検出値として情報管理部１０２へ伝達する。ここで、Ｓ／Ｎ比のレベルは、例えば、予め規定されたＳ／Ｎ比の上限値を“１００”とし、ノイズがない状態を“０”とすることにより算出される。また、解析部１０４は、例えば、ハイパス・フィルタを通過した画像信号の積算値のレベルを、高域周波数成分のレベルを示す検出値として情報管理部１０２へ伝達する。ここで、高域周波数成分のレベルは、例えば、予め規定された高域周波数成分の上限値を“１００”とし、高域周波数成分がない状態を“０”とすることにより算出される。

なお、解析部１０４が情報管理部１０２へ伝達する検出値は、上記に限られない。例えば、解析部１０４は、Ｓ／Ｎ比のレベルに限られず、ノイズを示す任意の値のレベルを、ノイズレベルとして情報管理部１０２へ伝達することが可能である。また、解析部１０４は、Ｓ／Ｎ比や、ハイパス・フィルタを通過した画像信号の積算値そのものを情報管理部１０２へ伝達してもよい。上記の場合には、情報管理部１０２が、ノイズレベルや高域周波数成分のレベルを算出することとなる。

また、解析部１０４は、例えば、解析する項目や、情報管理部１０２へ伝達する検出値に応じた任意の構成のハードウェアで実現することが可能である。上記ハードウェアは、専用のハードウェアであってもよいし、他の処理と共用される汎用のハードウェアであってもよい。

解析部１０４から検出値が伝達されると、情報管理部１０２は、例えば、画像情報と制御情報とを生成して、検出値（または、検出値に基づく値）を画像情報に設定する。なお、例えば画像情報と制御情報とのテンプレートデータが存在する場合には、情報管理部１０２は、画像情報と制御情報とを新規に生成しなくてもよい。

図２Ａは、本発明の実施形態に係る画像情報と制御情報との一例を示す説明図である。ここで、図２Ａは、ノイズレベルが“７０”、高周波成分のレベルが“６０”を示す検出値が伝達された結果、情報管理部１０２が生成、設定した画像情報と制御情報との一例を示している。なお、本発明の実施形態に係る画像情報と制御情報とが、図２Ａに示す例に限られないことは、言うまでもない。

上述したように、第１処理部１０６においてノイズリダクション処理（画像処理の一例）が行われた場合には、ノイズリダクション効果によって、入力画像信号が示す画像の状態が変化することが想定される。そこで、情報管理部１０２は、解析部１０４における解析結果に基づき設定した画像情報に基づいて、例えば下記の数式１の演算を行うことによって、第１処理部１０６における画像処理の度合いを規定する制御情報（以下、「第１制御情報」と示す。）を設定する。ここで、例えば図２Ａに示す制御情報の「ノイズリダクション」が、本発明の実施形態に係る第１制御情報に該当する（制御情報に係る他の図面においても同様とする。）。

ここで、数式１に示すノイズリダクションスコアは、第１制御情報の値である。情報管理部１０２は、画像情報に含まれるノイズレベルの値が、予め規定されている複数レベル（数式１のノイズリダクション強度に対応）のどのレベルに該当するかを特定する。ここで、数式１では、ノイズリダクション強度が１６段階に規定されている例を示している。また、情報管理部１０２は、例えば、ノイズリダクション強度とゲイン１（パラメータ）とが対応付けられたルックアップテーブル（Look Up Table）を用いることによって、ノイズリダクション強度に応じたゲイン１を一意に特定する。そして、情報管理部１０２は、数式１の演算を行うことによって、ノイズリダクションスコアを算出して、第１制御情報を設定する。なお、本発明の実施形態に係る画像処理装置１００における第１制御情報の設定方法は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、各処理部における画像処理の性能や、画質設計方針などに基づいて、演算方法やパラメータを設定することが可能である。また、本発明の実施形態に係るルックアップテーブルは、例えば、記憶部（図示せず）に記憶されていてもよいし、情報管理部１０２が記録媒体を備える場合には当該記録媒体に記憶されていてもよい。

第１制御情報が設定されると、情報管理部１０２は、第１処理部１０６が設定された第１制御情報に基づいてノイズリダクション処理を行った場合における、画像信号が示す画像の画質に関する状態を推定する。

より具体的には、情報管理部１０２は、例えば下記の数式２に示す演算を行って得られたノイズレベルの増減量（数式２に示すノイズスコア増減量）を画像情報に設定されているノイズレベルの値に加算することによって、画像情報を更新する。また、情報管理部１０２は、高域周波数成分のレベルについても、例えば上記数式１および下記の数式２と同様の演算を行って、得られた高域周波数成分のレベルの増減量を画像情報に設定されている高域周波数成分のレベルの値に加算することによって、画像情報を更新する。

ここで、情報管理部１０２は、例えばノイズリダクションスコアとゲイン２（パラメータ）とが対応付けられたルックアップテーブルを用いることによって、ノイズリダクションスコアに応じたゲイン２を一意に特定する。そして、情報管理部１０２は、数式２の演算を行うことによって、ノイズスコア増減量を算出して、画像情報を更新する。なお、本発明の実施形態に係る画像処理装置１００における画像情報の更新方法は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、各処理部における画像処理の性能や、画質設計方針などに基づいて、演算方法やパラメータを設定することが可能である。

図２Ｂは、本発明の実施形態に係る画像情報と制御情報との一例を示す説明図である。図２Ｂは、情報管理部１０２が、図２Ａに示す画像情報と制御情報とを更新した後の、画像情報と制御情報との一例を示している。

ここで、情報管理部１０２は、例えば、図２Ａに示す画像情報と制御情報とは別体の画像情報と制御情報を生成することによって、画像情報と制御情報との更新を行う。情報管理部１０２が、別体の画像情報と制御情報を生成することにより画像情報と制御情報との更新を行うことによって、画像処理装置１００は、画像情報の変遷を数値で管理することが可能となる。よって、画像処理装置１００は、画質設計を補助することが可能となる。また、例えば、画像情報の変遷をグラフなどにより画像処理装置１００のユーザに提示することによって、画像処理装置１００は、画像処理装置１００における高画質化に係る画像処理の制御内容をユーザにより分かりやすく通知することが可能となる。したがって、画像処理装置１００は、画像情報の変遷を数値で管理することによって、ユーザの利便性の向上を図ることができる。なお、情報管理部１０２における処理は、上記に限られない。例えば、情報管理部１０２は、図２Ａに示す画像情報と制御情報とを上書き更新することも可能である。

第１処理部１０６は、情報管理部１０２により設定された第１制御情報に基づいて、入力画像信号に対してノイズリダクション処理（画像処理の一例）を行う。そして、第１処理部１０６は、処理後の画像信号を第２処理部へ伝達する。ここで、第１処理部１０６と情報管理部１０２とは、独立に処理を行うことが可能である。よって、画像処理装置１００では、第１処理部１０６における画像処理と、情報管理部１０２における画像情報の更新処理とを、任意の順序で行うことができる。

情報管理部１０２は、第１制御情報の設定および画像情報の更新を行うと、更新された画像情報と第１制御情報とに基づいて、第２処理部１０８における画像処理の度合いを規定する制御情報（以下、「第２制御情報」と示す。）を設定する。ここで、例えば図２Ａに示す制御情報の「シャープネス」が、本発明の実施形態に係る第２制御情報に該当する（制御情報に係る他の図面においても同様とする。）。

より具体的には、情報管理部１０２は、例えば、下記の数式３に示す演算を行うことによって、シャープネス処理をどの程度の強さ（数式３のシャープネス強度に対応）で行うかを算出する。ここで、数式３に示すユーザ設定値は、例えば、ユーザが、操作部（図示せず）や、リモート・コントローラなどの外部操作デバイスなどのユーザインタフェースを用いることによって設定される。情報管理部１０２は、例えば、ユーザが設定した値（０−１００）そのものをユーザ設定値として用いるが、本発明の実施形態に係るユーザ設定値は上記に限られない。例えば、情報管理部１０２は、ユーザが設定した値とユーザ設定値とが対応付けられた入力種別ごとのルックアップテーブルを用いることによって、入力種別とユーザが設定した値との組合せに対応するユーザ設定値を一意に特定し、特定したユーザ設定値を用いることもできる（一例を挙げると、情報管理部１０２は、例えば地上デジタル放送入力においてユーザが設定した値が“９０”のとき、ユーザ設定値を“８０”とする。）。また、情報管理部１０２は、例えば、ノイズレベルとゲイン３（パラメータ）とが対応付けられたルックアップテーブルを用いることによって、更新された画像情報（最新の画像情報）に記録されたノイズレベルに応じたゲイン３を一意に特定する。また、情報管理部１０２は、例えば、ノイズリダクションスコアとゲイン４（パラメータ）とが対応付けられたルックアップテーブルを用いることによって、更新された画像情報（最新の画像情報）に記録されたノイズリダクションスコアに応じたゲイン４を一意に特定する。

そして、情報管理部１０２は、算出したシャープネス強度と、シャープネス強度とゲイン５（パラメータ）とが対応付けられたルックアップテーブルを用いて一意に特定されるゲイン５とを用いて、上記数式１と同様の演算を行うことによって、第２制御情報を設定する。なお、本発明の実施形態に係る画像処理装置１００における第２制御情報の設定方法は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、各処理部における画像処理の性能や、画質設計方針などに基づいて、演算方法やパラメータを設定することが可能である。

また、第２制御情報が設定されると、情報管理部１０２は、第２処理部１０６が設定された第２制御情報に基づいてシャープネス処理を行った場合における、画像信号が示す画像の画質に関する状態を推定する。ここで、情報管理部１０２は、例えば、上述したノイズリダクション処理を行った場合における画像信号が示す画像の画質に関する状態の推定方法と同様の方法を用いて、上記推定を行う。なお、図１に示す画像処理装置１００のように、第２処理部１０６の後段に、画像処理を行う他の処理部がない場合には、情報管理部１０２は、シャープネス処理を行った場合における画像信号が示す画像の画質に関する状態を、推定しないことも可能である。

図２Ｃは、本発明の実施形態に係る画像情報と制御情報との一例を示す説明図である。図２Ｃは、情報管理部１０２が、図２Ｂに示す画像情報と制御情報とを更新した後の、画像情報と制御情報との一例を示している。

画像処理装置１００は、上記のように、図２Ａに示すような入力画像信号が示す画像における画質に関する状態ではなく、図２Ｂに示すような画像処理が行われた場合における最新の画像信号が示す画像における画質に関する状態に基づいて、第２制御値を設定する。よって、画像処理装置１００は、例えば図２Ｃに示すように、第１処理部１０６と第２処理部１０８とを連携させるための第２制御情報を設定することができる。

第２処理部１０８は、情報管理部１０２により設定された第２制御情報に基づいて、第１処理部１０６から伝達される画像信号に対してシャープネス処理（画像処理の一例）を行う。そして、第２処理部１０６は、処理後の画像信号を出力する。第２処理部１０６から出力される画像信号は、例えば、制御部（図示せず）によりエンコードされてもよいし、表示部（図示せず）に伝達されてもよい。ここで、第２処理部１０８と情報管理部１０２とは、独立に処理を行うことが可能である。よって、画像処理装置１００では、第２処理部１０８における画像処理と、情報管理部１０２における画像情報の更新処理とを、任意の順序で行うことができる。

ここで、本発明の実施形態に係る画像処理方法に係る処理による効果をより明らかにするために、画像処理装置１００が、仮に、複数の画像処理を連携させて処理を行わせることができない従来の画像処理装置（以下、単に「従来の画像処理装置」と示す場合がある。）と同様に、図２Ａに示すような入力画像信号が示す画像における画質に関する状態に基づいて第２制御情報を設定した場合について説明する。図３は、入力画像信号が示す画像における画質に関する状態に基づいて第２制御情報を設定した場合に生じうる問題を説明するための説明図である。図３は、画像処理装置１００が、仮に、図２Ａに示す画像情報に基づいて第２制御情報を設定した場合における、画像情報と制御情報との一例を示している。

図２Ｂに示すように、第１処理部１０６におけるノイズリダクション処理によって、実際の画像信号におけるノイズレベルは、“７０”から“１０”へと変化しており、また、実際の画像信号における高周波成分のレベルも“６０”から“５０”へと変化している。しかしながら、図３に示す第２制御情報が第２処理部１０８において用いられることによって、第２処理部１０８では、図２Ｃに示す第２制御情報が用いられる場合よりもシャープネス処理が弱く行われることなる。そのため、第２処理部１０８においてシャープネス処理が行われた結果得られる実際の画像信号におけるノイズレベルは“１０”となり、また、実際の画像信号における高周波成分のレベルは“５５”となる。

よって、画像処理装置１００が、仮に、図２Ａに示す画像情報に基づいて第２制御情報を設定した場合、すなわち、第１処理部１０４と第２処理部１０６とを連携させない場合には、必要以上に画像信号が示す画像の鮮鋭度が抑えられることとなる。したがって、複数の画像処理を連携させて処理を行わせることができない従来の画像処理装置のように、第１処理部１０４と第２処理部１０６とを連携させない場合には、ユーザが画像のボケを認識する恐れがあり、高画質化は望めない。

それに対して、画像処理装置１００は、図２Ｃに示すように、第１処理部１０４と第２処理部１０６とを連携させて第２制御情報を設定するので、上記のように画像のボケがユーザに認識される可能性をより低減させることが可能であり、より高画質化を図ることができる。

なお、本発明の実施形態に係る画像処理装置１００における、第１処理部１０４と第２処理部１０６とを連携させる処理は、図２Ａ〜図２Ｃに示す例に限られない。そこで、次に、画像処理装置１００における処理の他の例について説明する。図４Ａ〜図４Ｃは、本発明の実施形態に係る画像情報と制御情報との他の例を示す説明図である。

図４Ａは、図２Ａと同様に、解析部１０２から伝達される解析結果に基づいて情報管理部１０２が設定した画像情報と制御情報とを示している。図４Ａでは、画像情報として、ノイズレベルが“１０”に設定され、高周波成分のレベルが“５０”に設定された例を示している。

第１処理部１０４においてノイズリダクション処理を行う場合、例えばアルゴリズムや画質設計方針などの様々な理由によって、ノイズが“０”でなくてもノイズリダクション処理を行わないケースもありうる。より具体的には、例えば、ユーザによる設定が可能な場合おけるユーザ設定による制約や、画質設計方針、画質に係る画像処理機能の性能による副作用を回避するためなどによって、上記ケースは起こりうる。つまり、画像処理装置１００では、解析部１０２においてノイズが検出されたとしても、常に第１処理部１０４においてノイズリダクション処理が行われるとは限らない。

以下では、図４Ａに示す画像情報が示すノイズレベルが“１０”と低く、また、高域周波数成分のレベルが“５０”と若干高いので、画像処理装置１００が、画像の鮮鋭度を重視してノイズリダクション処理を行わないケースを例に挙げて説明する。情報管理部１０２は、第１処理部１０４においてノイズリダクション処理を行わせないために、第１制御情報として“０”を設定する。そして、情報管理部１０２は、第１処理部１０６が設定された第１制御情報に基づいてノイズリダクション処理を行った場合における、画像信号が示す画像の画質に関する状態を推定して、画像情報を更新する。ここで、第１制御情報として“０”を設定しているので、入力画像信号と、第１処理部１０６から第２処理部１０８へと伝達される画像信号とは変化をしていない。よって、図４Ｂに示す情報管理部１０２において更新された画像情報と、図４Ａに示す画像情報とは同一の内容を示すこととなる。

また、情報管理部１０２は、設定した第１制御情報に基づいて第２制御情報を設定するので、“０”である第１制御情報を「ノイズリダクション処理を行わなくても入力画像信号が元々ノイズレベルが低い画像信号であった」と捉えて、第２制御情報を設定することが可能である。よって、情報管理部１０２は、図４Ｂに示す画像情報が図２Ｂに示す画像情報と同一の内容を示す場合であっても、設定した第１制御情報の違いによって、図４Ｃに示すように図２Ｃと異なる第２制御情報を設定することができる。図４Ｃに示す第２制御情報が設定されることによって、第２処理部１０８は、図２Ｃに示す第２制御情報を用いる場合よりもより強いシャープネス処理を行い、高域周波数成分のレベルをより向上させる。したがって、画像処理装置１００は、入力画像信号に含まれるノイズが元々少ない場合には、ノイズが気にならない範囲で鮮鋭度を向上させて、高画質化を図ることが可能である。

画像処理装置１００は、例えば図１に示す構成によって、入力画像信号を解析して解析結果に応じた画像処理を行うと共に、複数の画像処理を連携させる。よって、画像処理装置１００は、一の画像処理が後段の他の画像処理に与える影響を考慮し、また、各画像処理後の画像信号の状態を推定して後段の処理を行うことが可能であるので、従来の技術が用いられる場合や従来の画像処理装置が用いられる場合よりも、画質向上のための画像処理をより最適化することができる。

また、例えば図１に示す構成によって、第１処理部１０２と第２処理部とは、情報管理部１０２により適宜設定されると制御情報を用いて処理を行うので、他の機能（解析機能や画像処理機能）における処理の結果を利用して画像処理の度合いを変えることが可能である。よって、例えば図１に示す構成によって、画像処理装置１００は、例えば、入力画像信号が動画像を示す場合であっても、画像処理の内容をシーンごとに変えることができるので、より高画質化を図ることができる。

したがって、画像処理装置１００は、例えば図１に示す構成によって、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

〔本発明の実施形態に係る画像処理装置の変形例〕
〔１〕第１の変形例
なお、本発明の実施形態に係る画像処理装置１００の構成は、図１に示す構成に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、図１に示す第２処理部１０８の後段に、１または２以上の処理部をさらに備えていてもよい。上記の構成であっても、本発明の実施形態の第１の変形例に係る画像処理装置１００は、情報管理部１０２が、例えば図５に示すような画像情報と制御情報とを、図１に示す画像処理装置１００と同様に適宜更新することによって、図１に示す画像処理装置１００と同様に、入力画像信号を解析して解析結果に応じた画像処理を行うと共に、複数の画像処理を連携させることが可能である。ここで、図５は、本発明の実施形態に係る画像情報と制御情報との他の例を示す説明図である。図５に示すＮ（Ｎは、３以上の整数）は、本発明の実施形態の第１の変形例に係る画像処理装置１００が備える処理部の数を示している。

したがって、本発明の実施形態の第１の変形例に係る画像処理装置１００は、図１に示す画像処理装置１００と同様に、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

〔２〕第２の変形例
また、本発明の実施形態に係る画像処理装置１００の構成は、図１に示すように一つの解析部１０４を備える構成に限られない。図６は、本発明の実施形態に係る画像処理装置１００の構成の他の例を示す説明図であり、第２の変形例に係る画像処理装置２００の構成の一例を示している。図６では、画像処理装置２００が、Ｎ個の処理部（第１処理部１０６、第２処理部１０８、…第Ｎ処理部２０４）を備え、第１処理部１０６と第２処理部１０８との間に、第２解析部２０２を備えている構成を示している。

例えば図６に示す変形例に係る画像処理装置２００のように、本発明の実施形態の第２の変形例に係る画像処理装置１００は、任意の数の解析部と、複数の処理部とを、任意な構成で備えることが可能である。また、例えば図６に示す変形例に係る画像処理装置２００のように、任意の数の解析部と複数の処理部とを任意な構成で備える場合には、情報管理部１０２は、例えば図５に示す画像情報と制御情報とを、図１に示す画像処理装置１００と同様に適宜更新する。

したがって、本発明の実施形態の第２の変形例に係る画像処理装置１００は、図１に示す画像処理装置１００と同様に、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

以上のように、本発明の実施形態に係る画像処理装置１００は、入力画像信号を解析して解析結果に応じた画像処理を行うと共に、複数の画像処理を連携させる。よって、画像処理装置１００は、一の画像処理が後段の他の画像処理に与える影響を考慮し、また、各画像処理後の画像信号の状態を推定して後段の処理を行うことが可能であるので、従来の技術が用いられる場合や従来の画像処理装置が用いられる場合よりも、画質向上のための画像処理をより最適化することができる。

また、画像処理装置１００における各処理部は、情報管理部１０２により適宜設定されると制御情報を用いて処理を行うので、他の機能（解析機能や画像処理機能）における処理の結果を利用して画像処理の度合いを変えることが可能である。よって、画像処理装置１００は、例えば、入力画像信号が動画像を示す場合であっても、画像処理の内容をシーンごとに変えることができるので、より高画質化を図ることができる。

したがって、画像処理装置１００は、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

また、画像処理装置１００は、画像情報と制御情報との更新に際して、更新を行うごとに別体の画像情報と制御情報を生成することも可能である。よって、画像処理装置１００は、画像情報の変遷を数値で管理することが可能となるので、画質設計を補助することができる。また、例えば、画像情報の変遷をグラフなどにより画像処理装置１００のユーザに提示することによって、画像処理装置１００は、画像処理装置１００における高画質化に係る画像処理の制御内容をユーザにより分かりやすく通知することが可能となる。したがって、画像処理装置１００は、画像情報の変遷を数値で管理することによって、ユーザの利便性の向上を図ることができる。

以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistants）などのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム）によって、画像信号に対して複数の画像処理を行う場合において高画質化を図ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。

上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。

１００、２００ 画像処理装置
１０２ 情報管理部
１０４ 第１解析部
１０６ 第１処理部
１０８ 第２処理部
２０２ 第２解析部

Claims (5)

1. 画像信号が示す画像における画質に関する状態を示す画像情報と、画像処理の度合いを規定する、画像処理ごとの制御情報とを管理する情報管理部と、
   入力される入力画像信号を解析する解析部と、
   対応する前記制御情報である第１制御情報に基づいて、前記入力画像信号に対して第１の画像処理を行う第１処理部と、
   対応する前記制御情報である第２制御情報に基づいて、前記第１処理部が画像処理を行った画像信号に対して第２の画像処理を行う第２処理部と、
   を備え、
   前記情報管理部は、
   前記解析部における解析結果に基づいて、前記入力画像信号に対応する画像情報と、前記第１制御情報とを設定し、
   設定された前記第１制御情報に基づいて前記画像情報を更新し、
   更新された前記画像情報と前記第１制御情報とに基づいて、前記第２制御情報を設定する、画像処理装置。
2. 前記情報管理部は、設定された前記第２制御情報に基づいて前記画像情報を更新する、請求項１に記載の画像処理装置。
3. 前記第２処理部の後段において、対応する前記制御情報に基づいて画像処理を行う、１または２以上の処理部をさらに備え、
   前記情報管理部は、前段の処理部に対応する制御情報に基づいて更新した画像情報と、前記前段の処理部に対応する制御情報とに基づいて、次に画像処理を行う処理部に対応する制御情報を設定する、請求項２に記載の画像処理装置。
4. 入力される入力画像信号を解析するステップと、
   前記解析するステップにおける解析結果に基づいて、前記入力画像信号に対応し、画像信号が示す画像における画質に関する状態を示す画像情報と、第１の画像処理の度合いを規定する第１制御情報とを設定するステップと、
   設定された第１制御情報に基づいて、前記入力画像信号に対して第１の画像処理を行うステップと、
   設定された前記第１制御情報に基づいて前記画像情報を更新するステップと、
   更新された前記画像情報と前記第１制御情報とに基づいて、第２の画像処理の度合いを規定する第２制御情報を設定するステップと、
   設定された第２制御情報に基づいて、前記第１の画像処理が行われた画像信号に対して第２の画像処理を行うステップと、
   を有する、画像処理方法。
5. 画像信号が示す画像における画質に関する状態を示す画像情報と、画像処理の度合いを規定する、画像処理ごとの制御情報とを管理する情報管理手段、
   入力される入力画像信号を解析する解析手段、
   対応する前記制御情報である第１制御情報に基づいて、前記入力画像信号に対して第１の画像処理を行う第１処理手段、
   対応する前記制御情報である第２制御情報に基づいて、前記第１処理手段が画像処理を行った画像信号に対して第２の画像処理を行う第２処理手段、
   としてコンピュータを機能させ、
   前記情報管理手段は、
   前記解析手段における解析結果に基づいて、前記入力画像信号に対応する画像情報と、前記第１制御情報とを設定し、
   設定された前記第１制御情報に基づいて前記画像情報を更新し、
   更新された前記画像情報と前記第１制御情報とに基づいて、前記第２制御情報を設定する、プログラム。
   

Images