JP2019012106A - 画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システム - Google Patents

Abstract

【課題】画質の低下を軽減することができる画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示装置を提供することを目的の一つとする。【解決手段】画像処理装置であって、画像を示す入力データの階調に応じてノイズ振幅が調整されたノイズデータを出力するノイズ出力回路と、前記ノイズ出力回路から出力されたノイズデータと前記入力データとを合成するデータ合成回路と、前記データ合成回路が合成したデータを誤差拡散処理する誤差拡散処理回路とを備える。【選択図】図５

Description

本発明は、画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システムに関する。

ディスプレイなどの表示装置を使って情報を発信する電子看板に代表されるサイネージ、あるいはデジタルサイネージは、屋外、屋内の区別なく、街頭などの公共空間、駅、空港及び病院などの公共機関、ショッピングモール、小型店舗及びホテルなどの店頭といったあらゆる場所で普及している。近年、ネットワークや近距離無線通信の普及と相まって、街を移動する人々、施設の利用者は、サイネージによって、静止画のみならず動画を含めたさらに多くの情報を提供されるようになっている。

表示装置の表示領域の画素の階調表示能力が低い場合、換言すれば、画素の階調数が少ない場合には、画像のグラデーション部分に等高線状の輪郭が生じ、画質が低下する。このような場合に、誤差拡散法を用いることによって画質が向上することが知られている。

特許文献１には、例えば、階調の不連続性を軽減し、画質の低下を軽減するための誤差拡散法を用いた表示装置が開示されている。

特開２０１３−１７４７６０号公報

誤差拡散法は、計算の負荷が軽く実用的な手法である。しかしながら、誤差拡散法を用いて動画の階調処理を行うと、表示の一部が変化した場合においても、表示の広い範囲に誤差拡散の変化が及ぶことがあるため、画質が低下することがある。

従って、本発明の目的は、画質の低下を軽減することができる画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示装置を提供することを目的の一つとする。

画像処理装置であって、画像を示す入力データの階調に応じてノイズ振幅が調整されたノイズデータを出力するノイズ出力回路と、前記ノイズ出力回路から出力されたノイズデータと前記入力データとを合成するデータ合成回路と、前記データ合成回路が合成したデータを誤差拡散処理する誤差拡散処理回路とを備える。

画像処理方法であって、画像を示す入力データが入力され、画像を示す入力データの階調に応じてノイズ振幅が調整されたノイズデータを出力し、出力されたノイズデータと、前記入力データとを合成し、合成されたデータを誤差拡散処理することを含む。

表示システムであって、一方向及び前記一方向と交差する方向に配列された画素を含む表示装置と、上記画像処理装置と、を有し、画像処理装置によって前記誤差拡散処理されたデータに基づいて前記画素の階調が制御される。

本発明の一実施形態に係る画像処理装置を有する表示システムの構成を示す模式図。 本発明の一実施形態に係る表示システムが有する画素を示す図。 本発明の一実施形態に係る表示システムが有する画素を示す図。 本発明の一実施形態に係る表示システムが有する画素を示す図。 本発明の一実施形態に係る画像処理装置を示す模式図。 本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅の関係を示す模式図。 本発明の一実施形態に係るノイズパターンを示す図。 本発明の一実施形態に係る画像処理装置の画像処理方法を説明するフローチャートを示す図。 本発明の一実施形態に係る別の画像処理装置を示す模式図。 本発明の一実施形態に係る画像処理装置の画像処理方法を説明するフローチャートを示す図。 本発明の一実施形態に係る別の画像処理装置が有する符号化回路の処理方法を説明するフローチャートを示す図。 本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅の関係を示す別の例を示す模式図。 本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅の関係を示すさらに別の例を示す模式図。 本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅の関係を示すさらにもう一つ別の例を示す模式図。

以下、本発明の実施形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。また、図面は説明をより明確にするため、実際の態様に比べ、各部の構成等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。さらに、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号（または数字の後にａ、ｂなどを付した符号）を付して、詳細な説明を適宜省略することがある。なお、各要素に対する「第１」、「第２」と付記された文字は、各要素を区別するために用いられる便宜的な標識であり、特段の説明がない限りそれ以上の意味を有さない。

（第１実施形態）
本実施形態では、本発明の一実施形態に係る画像処理装置及び表示システムの構成を説明する。

図１は、本発明の一実施形態に係る表示システム６００の構成を示す模式図である。

図１に示すように、表示システム６００は、例えば、回路基板３００、表示装置用モジュール４００、表示装置５００を備えている。

回路基板３００は、少なくとも、電源２０と、信号供給回路３０とを含む。電源は、表示装置用モジュール４００及び表示装置５００に、コネクタ５１２を介して電力を供給し、表示装置用モジュール４００及び表示装置５００を動作させることができる。信号供給回路は、表示装置５００に表示するための画像の元となる原画像や、表示装置５００を駆動するための信号を、コネクタ５１２を介して表示装置用モジュール４００及び表示装置５００に供給することができる。コネクタ５１２は、フレキシブルプリント回路（ＦＰＣ、Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）を用いることができる。

表示装置用モジュール４００は、例えば、ＤＣ−ＤＣ変換回路４１０と、システム制御回路４２０と、ＲＧＢ画像変換回路４３０と、画像処理装置１０とを含む。

ＤＣ−ＤＣ変換回路４１０は、回路基板３００から供給される電源から、システム制御回路４２０と、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とを駆動するための電源電圧を生成する。生成された電源電圧が、システム制御回路４２０と、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とに供給されることによって、各回路やモジュールや装置を動作させることができる。

システム制御回路４２０は、信号供給回路から供給された表示装置に表示するための画像の元となる原画像や、表示装置を駆動するための信号によって、ＤＣ−ＤＣ変換回路４１０と、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とを制御することができる。また、システム制御回路４２０は、信号供給回路から供給された表示装置に表示するための画像の元となる原画像や、表示装置を駆動するための信号から、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とを制御する信号を生成してもよい。具体的には、システム制御回路４２０は、マイクロコントローラユニット（ＭＣＵ、Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）及び記憶回路を有していてもよい。マイクロコントローラユニットは、記憶回路に記憶されたプログラムを読み出し、読み出されたプログラムにしたがって、信号供給回路から供給された表示装置に表示するための画像の元となる原画像や、表示装置を駆動するための信号から、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とを制御する信号を生成することができる。また、マイクロコントローラユニットは、記憶回路に記憶されたプログラムを読み出し、読み出されたプログラムにしたがって、信号供給回路から供給された表示装置に表示するための画像の元となる原画像や、表示装置を駆動するための信号を、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とに振り分けることができる。システム制御回路４２０は、このような構成を有することで、ＤＣ−ＤＣ変換回路４１０と、ＲＧＢ画像変換回路４３０と、画像処理装置１０と、表示装置５００とを管理することができる。

ＲＧＢ画像変換回路４３０は、信号供給回路から供給された表示装置を駆動するための信号、およびまたは、システム制御回路４２０によって生成された信号によって、信号供給回路から供給された表示装置に表示するための画像の元となる原画像を処理する。例えば、ＲＧＢ画像変換回路４３０は、原画像を処理し、原画像を色の情報を含む画像データに変換する。当該色情報を含む画像データは、画像処理装置１０によって、誤差拡散処理される。そして、誤差拡散処理された画像データが表示装置５００に供給される。誤差拡散処理された画像データが表示装置５００に供給されることで、画質の低下を軽減することができる表示システムを提供することができる。

表示装置５００は、基板５１４、表示領域５０４、映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０、コネクタ５１２、５１３を含む。

基板５１４上に、表示領域５０４、映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０が形成される。コネクタ５１２は基板５１４に接続される。映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０は、そのすべてが、基板５１４上に形成されなくてもよい。例えば、映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０の一部、または、すべての機能を含む集積回路（ＩＣ、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）（図示せず）が、基板５１４上、或いはコネクタ５１２上に配置されてもよい。

基板５１４は、ガラス基板のような硬い基材でもよいし、可撓性を有する基材でもよい。ガラス基板のような硬い基材は、例えば、ガラス基板、石英基板、セラミックス基板に例示される材料を含むことができる。基板５１４が、ガラス基板のような硬い基材を用いることで、剛性が高い表示装置５００を提供することができる。可撓性を有する基材は、例えば、ポリイミド、ポリアミド、ポリエステル、ポリカーボネートに例示される高分子材料から選択される材料を含むことができる。基板５１４が、可撓性を有する基材を用いることで、軽く、かつ薄い表示装置５００を提供することができる。

表示領域５０４は、複数の画素５０２を含んでいる。複数の画素５０２は、一方向及び一方向と交差する方向に沿って、配列される。複数の画素５０２の配列数は任意である。例えば、Ｘ方向にｍ個、Ｙ方向にｎ個の画素５０２が配列される。ｍとｎはそれぞれ独立に、１よりも大きい自然数である。表示領域５０４は画素５０２が一方向及び一方向と交差する方向に沿って配列される領域を含む。画素５０２の各々は、表示素子を有する。表示素子は、例えば、液晶素子、有機ＥＬ素子を含む。

画素５０２は、例えば、赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）の三原色に対応する表示素子を３つの画素の各々に設けることができる。各画素に２５６段階の電圧あるいは電流を供給することで、フルカラーの表示装置を提供することができる。また、画素５０２は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）、白色（Ｗ）の四色に対応する表示素子を４つの画素の各々に設けてもよい。ここでは、画素５０２は、三原色および四色の表示素子を有する場合の例を示したが、この例に限定されない。なお、複数の画素５０２の配列にも制限はない。例えば、ストライプ配列やデルタ配列などを採用してもよい。

図２、図３、及び図４は、本発明の一実施形態に係る表示システムが有する画素の例を示す模式図である。図２、図３、及び図４に示す例では、一つの画素は面積の異なる複数のサブ画素を有し、複数のサブ画素によって、画素の階調が制御される。

図２に示す例では、１つの画素が３つのサブ画素を有し、８階調を表示することができる例を示す。赤色の階調１を示す画素は２１０Ｒ１で表され、赤色の階調２を示す画素は２１０Ｒ２で表され、赤色の階調４を示す画素は２１０Ｒ４で表される。赤色の画素２１０Ｒ１、２１０Ｒ２、及び２１０Ｒ４の全てにデータが供給されないと階調０となる。赤色の階調１を示す画素２１０Ｒ１にデータが供給されると階調１となる。赤色の階調２を示す画素２１０Ｒ２にデータが供給されると階調２となる。赤色の階調１を示す画素２１０Ｒ１、及び赤色の階調２を示す画素２１０Ｒ２にデータが供給されると階調３となる。赤色の階調４を示す画素２１０Ｒ４にデータが供給されると階調４となる。赤色の階調１を示す画素２１０Ｒ１、及び赤色の階調４を示す画素２１０Ｒ４にデータが供給されると階調５となる。赤色の階調２を示す画素２１０Ｒ２、及び赤色の階調４を示す画素２１０Ｒ４にデータが供給されると階調６となる。赤色の階調１を示す画素２１０Ｒ１、赤色の階調２を示す画素２１０Ｒ２、及び赤色の階調４を示す画素２１０Ｒ４にデータが供給されると階調７となる。したがって、１つの画素が３つのサブ画素によって８段階、すなわち階調８の表示をすることができる。緑色の階調１を示す画素は２１０Ｇ１で表され、緑色の階調２を示す画素は２１０Ｇ２で表され、緑色の階調４を示す画素は２１０Ｇ４で表される。青色の階調１を示す画素は２１０Ｂ１で表され、青色の階調２を示す画素は２１０Ｂ２で表され、青色の階調４を示す画素は２１０Ｂ４で表される。白色の階調１を示す画素は２１０Ｗ１で表され、白色の階調２を示す画素は２１０Ｗ２で表され、白色の階調４を示す画素は２１０Ｗ４で表される。緑色、青色、白色の階調の表示は赤色と同様であり、説明は省略する。

例えば、図３には、赤色の階調４を示す画素２１０Ｒ４と、緑色の階調を示す画素は２１０Ｇ４と、青色の階調４を示す画素は２１０Ｂ４と、白色の階調４を示す画素は２１０Ｗ４との、４つのサブ画素にデータが供給された例を示す。残りの８つのサブ画素には、遮光する電圧に対応した電位が供給されている。また、図４には、赤色の階調１を示す画素２１０Ｒ１、赤色の階調２を示す画素２１０Ｒ２、緑色の階調１を示す画素２１０Ｇ１、緑色の階調２を示す画素２１０Ｇ２、青色の階調１を示す画素２１０Ｂ１、青色の階調２を示す画素２１０Ｂ２、白色の階調１を示す画素２１０Ｗ１、及び白色の階調２を示す画素２１０Ｗ２、の８つのサブ画素にデータが供給された例を示す。残りの４つのサブ画素には、遮光する電圧に対応した電位が供給されている。なお、このように、異なる面積のサブ画素を用いることで、階調を表し、画像を表示することができる。

なお、画素は、所謂、ＭＩＰ（Ｍｅｍｏｒｙ Ｉｎ Ｐｉｘｅｌ）と呼ばれる、記憶機能を有する画素であってもよい。画素が記憶機能を有することで、画像データを長時間保持することが可能である。また、画素が記憶機能を有することで、画素が記憶機能を有していない場合と比較して、表示装置、あるいは表示システムの消費電力を低減することができる。特に、反射型の画素を有する表示装置において、画素にＭＩＰを用いることで、画素にＭＩＰを用いない場合と比較して、さらに消費電力を低減することができる。

以下においては、画素５０２が、図２に示すような、面積の異なる３つのサブ画素を有し、８階調を表示することができる場合を例に説明する。

コネクタ５１２は、映像信号、回路の動作を制御するタイミング信号、電源などを、映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０に供給する役割を有する。本実施形態においては、映像信号は画像処理装置１０において誤差拡散処理された画像データである。また、回路の動作を制御するタイミング信号は、回路基板３００から供給される表示装置を駆動するための信号、および、システム制御回路４２０において生成された表示装置５００を制御する信号である。電源は、ＤＣ−ＤＣ変換回路４１０によって生成された電源電圧である。電源は、回路基板３００に含まれる電源２０から直接供給されてもよい。

映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０は、供給された映像信号、回路の動作を制御するタイミング信号、電源などを用いて、各画素５０２を駆動し、表示領域５０４に画像を表示する役割を有する。

図５は、本発明の一実施形態に係る画像処理装置を示す模式図である。図５に示すように、画像処理装置１０は、ノイズ出力回路１０３、データ合成回路１１１、及び誤差拡散回路１１２を有する。ノイズ出力回路１０３は、ノイズ振幅調整回路１０２と、演算回路１０５と、ノイズパターン保持回路１０６とを有する。演算回路１０５は、乗算回路１０４と、規格化回路１０８とを有する。データ合成回路１１１は加算回路１１０を有する。ノイズ振幅調整回路１０２は、乗算回路１０４と電気的に接続されている。ノイズパターン保持回路１０６は乗算回路１０４と電気的に接続されている。乗算回路１０４は規格化回路１０８と電気的に接続されている。規格化回路１０８は加算回路１１０と電気的に接続されている。加算回路１１０は誤差拡散回路１１２と電気的に接続されている。

画像処理装置１０は、画像を示す入力データ１００が入力され、画像を示す出力データ２００を出力する。画像を示す入力データ１００は、上述された色情報を含む画像データである。再度、述べると、色情報を含む画像データは、信号供給回路から供給された表示装置に表示するための画像の元となる原画像が、ＲＧＢ画像変換回路４３０によって、色の情報を含む画像データに変換された、当該色情報を含む画像データである。

画像を示す入力データ１００は、ノイズ振幅調整回路１０２及び加算回路１１０に伝送される。ノイズ振幅調整回路１０２は、画像を示す入力データ１００の階調ごとにノイズ振幅を調整し、ノイズ調整データ１２２を出力する。具体的には、画像を示す入力データ１００の階調ごとに割り当てられたノイズデータを出力する。

図６は、本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅のデータの値との関係を示す模式図である。ノイズ振幅調整回路１０２は、図６に示すように、画像を示す入力データ１００の各階調に対して、ノイズ振幅が割り当てられたグラフを有する。例えば、そのグラフは、ルックアップテーブル（ＬＵＴ、Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）として、記憶回路に格納されている。ＬＵＴを利用することで、グラフに基づいてあらかじめ答えを計算し、答えをテーブルに格納しておくことができるため、毎回の計算を省略し、効率的に処理を行うことができる。ノイズ振幅調整回路１０２は、画像を示す入力データ１００の各階調に対して、ノイズ振幅を割り当て、画像を示す入力データ１００の階調ごとに割り当てられたノイズ振幅を出力する。すなわち、ノイズ調整データ１２２は、ＬＵＴを参照した画像を示す入力データ１００の階調ごとに割り当てられたノイズ振幅である。図６に示す例では、画像を示す入力データ１００が０階調から３１階調までは、ノイズ振幅は線形で増加する。画像を示す入力データ１００が３１階調から１９７階調のとき、ノイズ振幅は６３となる。画像を示す入力データ１００が１９７階調から２５５階調のとき、ノイズ振幅は線形で減少する。また、画像を示す入力データ１００が１２７階調のときのノイズ振幅は、画像を示す入力データ１００が３１階調よりも小さいときのノイズ振幅、及び画像を示す入力データ１００が１９７階調よりも大きいときのノイズ振幅よりも大きい。

以上のように、画像を示す入力データ１００の階調ごとにノイズ振幅を調整することで、画像を示す入力データ１００の階調ごとに異なるノイズ振幅を調整する、または割り当てることができるため、画像を示す入力データ１００の階調ごとの階調変化を大きくすることができる。特に、画像を示す入力データ１００の階調が低いとき、及び画像を示す入力データ１００の階調が高いときに対応するノイズ振幅を小さくすることで、画像処理前後の画像の輝度の変化を小さくすることができる。画像処理前後の画像の輝度の変化を小さくするための条件は、例えば、階調が所定の値より低いときは、ノイズ振幅が入力データ１００の階調の２倍以下であればよい。また、画像処理前後の画像の輝度の変化を小さくするための条件は、例えば、階調が所定の値より高いときは、ノイズ振幅が、階調２５５から入力データ１００の階調の２倍を減算した場合以下であればよい。

なお、ノイズ振幅調整回路１０２は、不揮発性メモリを有し、不揮発性メモリにＬＵＴが記憶されていてもよい。ノイズ振幅調整回路１０２はＬＵＴを有することで、画像を示す入力データ１００の階調ごとにノイズ振幅を記憶することができるため、階調の増加に対しても、ＬＵＴの内容を書き換えることで対応することができる。すなわち、本発明の一実施形態に係る表示システムが有するノイズ振幅調整回路１０は、精度の高い画像処理を行うことができる。

図２に戻って説明を続ける。ノイズ調整データ１２２は、乗算回路１０４に伝送される。ノイズパターン保持回路１０６は、ノイズパターンを有している。

図７は、本発明の一実施形態に係るノイズパターンを示す模式図である。例えば、ノイズパターンは、図７に示すように、６４段階のノイズデータを８行８列の行列のそれぞれに一つずつ配置された固定パターンである。例えば、図７において、Ｘ方向を行とし、Ｘの矢印の方向に向かって１行から８行とする。また、図７において、Ｙ方向を列とし、Ｙの矢印の方向に向かって、１列から８列とする。３行６列のノイズデータは５９であり、６行５列のノイズデータは３６であり、１行１列のノイズデータは２１である。

ノイズパターン１２４は乗算回路１０４に伝送される。乗算回路１０４は、ノイズ調整データ１２２と、当該ノイズ調整データ１２２が対応する画素の座標に対応したノイズパターン１２４の座標のノイズデータと、を乗算し、ノイズ乗算データ１２６を出力する。ノイズ乗算データ１２６はノイズが乗算されたノイズデータである。例えば、８行８列の画像を示す入力データ１００において、２行３列の画像を示す入力データ１００の階調が１１４の場合、当該調整されたデータ１２２は図６からノイズ振幅６３である。図７から、８行８列のノイズパターンのうち、２行３列のノイズデータは４５であるから、２行３列の画像を示す入力データ１００に対して、乗算されたデータ１２６は、６３に４５を乗算し、２８３５となる。ノイズ調整データ１２２と、当該ノイズ調整データ１２２が対応する画素の座標に対応したノイズパターン１２４の座標のノイズデータと、を乗算することで、画像データごとにランダムなノイズをさらに付加することができる。したがって、誤差拡散処理により生成される動的な画素の数を減らすことができる。よって、高画質な画像を提供することを可能にする。なお、ノイズパターンは、２ビット以上の固定パターンであってもよい。具体的には、２行２列の４ビットのディザパターン、あるいは、２行３列または３行２列の６ビットのディザパターンであってもよい。ノイズパターンが、ディザパターンのような固定パターンであることによって、既成のパターンを使用することができるため、新たなノイズパターンを作成する手間を省くことができる。また、ノイズパターンは、メモリ、例えば不揮発性メモリに記憶されていてもよい。ノイズパターンがメモリに記憶されることで、様々なノイズパターンを記憶し、画像を示す入力データ１００に見合ったノイズパターンを読み出し、当該調整されたデータと乗算することができるため、汎用性を持たせることができる。また、ノイズパターンのデータを変更したいときに、データを容易に書き換えることができる。

乗算データ１２６は、規格化回路１０８に伝送される。規格化回路１０８は、乗算データ１２６を規格化し、ノイズ出力データ１２８を出力する。ノイズ出力データ１２８はノイズが規格化されたノイズデータである。例えば、乗算データ１２６が、８行８列のノイズパターンのうちのノイズデータであるとき、乗算データ１２６を６４で除算し、規格化することで、この後のデータ処理において、画像データに付加されるノイズを明確にすることができる。

ノイズ出力データ１２８は、加算回路１１０に伝送される。加算回路１１０は、画像を示す入力データ１００とノイズ出力データ１２８とを合成し、合成データ１３０を出力する。加算回路１１０によって、画像を示す入力データ１００ごとにノイズを付加することができる。したがって、各画像データのノイズを強調し、この後に続く誤差拡散処理により生成される動的な画素の数を減らすことができる。よって、高画質な画像を提供することができる。

合成データ１３０は、誤差拡散処理回路１１２に伝送される。誤差拡散処理回路１１２は、合成データ１３０を誤差拡散処理し、誤差拡散処理されたデータを出力する。誤差拡散処理されたデータが、画像を示す出力データ２００である。ここで、誤差拡散処理は公知技術であり、詳細な説明は省略する。画像を示す出力データ２００が、表示装置５００に伝送される。

続いて、図５に示した画像処理装置１０の画像処理方法を説明する。なお、上述した構成と同様の構成に関しては説明を省略することがある。

図８は、本発明の一実施形態に係る図５に示した画像処理装置１０の画像処理方法を説明するフローチャートを示す模式図である。

画像処理装置１０の信号処理を開始する（ステップ３０（Ｓ３０））。画像処理装置１０に画像を示すデータ１００を入力する（ステップ３１（Ｓ３１））。画像を示す入力データ１００の階調ごとにノイズ振幅を調整し、ノイズデータを含むデータを出力する（ステップ３２（Ｓ３２））。出力されたノイズデータを含むデータが、ノイズ出力データ１２８である。そして、出力されたノイズデータを含むデータと画像を示す入力データとを合成し、合成されたデータが出力される（ステップ３３（Ｓ３３））。出力された合成されたデータが合成データ１３０である。さらに、出力された合成されたデータを誤差拡散処理する（ステップ３４（Ｓ３４））。続いて、誤差拡散処理されたデータを出力する（ステップ３５（Ｓ３５））。ここで、出力された誤差拡散処理されたデータが、画像を示す出力データ２００であり、画像処理装置１０の信号処理が完了する（ステップ３６（Ｓ３６））。

画像を示す出力データ２００が表示装置５００に供給される。表示装置５００が有する、映像信号線駆動回路５０６、走査信号線駆動回路５０８及び５１０は、供給された画像を示す出力データ２００、回路の動作を制御するタイミング信号、電源などを用いて、各画素５０２を駆動し、表示領域５０４に画像を表示する。このとき、画素５０２の駆動方法は、例えば、ドット反転でもよいし、ソースライン反転でもよいし、ゲートライン反転でもよい。本実施形態においては、何れの駆動方法を利用したとしても、表示装置に表示される画像の画質の劣化を軽減することができ、画像のフリッカを低減することができる。

以上のような、画像処理装置、画像処理装置の画像処理方法、及び表示システムにおいて、画像を示す入力データに振幅が調整されたノイズデータを付加することで、誤差拡散により生成される動的な画素を減らすことができる。よって、高画質な画像を提供することができる。また、画像を示す入力データにより、ノイズ振幅が調整されることで、特に低階調側及び高階調側でみられるような、ノイズ付加による画像劣化を抑制することが可能となる。したがって、表示装置の画質の低下を抑制した表示システムを提供することができる。

以上示したように、本実施形態に係る画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システムは、画像を示す入力データの階調ごとにノイズ振幅が調整され、ノイズデータを含むデータを出力するノイズ出力回路を備える。また、本実施形態に係る画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システムは、ノイズ出力回路から出力されたノイズ出力データと画像を示す入力データとを合成するデータ合成回路を備える。さらに、本実施形態に係る画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システムは、データ合成回路が合成したデータを誤差拡散処理する誤差拡散処理回路を備える。このような構成を有することで、画質の低下を軽減することができる表示システムを提供することができる。特に、画像データが動画の場合は、動画の階調処理の際の画質の低下を軽減することができるため、表示装置に表示される画像のフリッカが目立たない、高画質な表示が可能な表示システムを提供することができる。

（第２実施形態）
本実施形態では、本発明の一実施形態に係る別の画像処理装置を説明する。なお、第１実施形態と同様の構成に関しては説明を省略することがある。

図９は、本発明の一実施形態に係る画像処理装置４３０が有する、画像処理装置１０Ａを示す模式図である。図５に示した画像処理装置１０とは、データ合成回路１１１の構成が異なる。データ合成回路１１１の構成以外は、図２に示した画像処理装置１０と同様であり、説明を省略する。

図９に示される、画像処理装置１０Ａが有するデータ合成回路１１１Ａは、加算回路１１０と、符号化回路１１４とを含む。加算回路１１０は符号化回路１１４と電気的に接続されている。符号化回路１１４は誤差拡散処理回路１１２と電気的に接続されている。

ノイズ出力データ１２８は、加算回路１１０に伝送される。加算回路１１０は、画像を示す入力データ１００とノイズ出力データ１２８とを加算し、加算データ１３４を出力する。加算回路１１０によって、画像を示す入力データ１００ごとにノイズを付加することができる。したがって、各画像データのノイズを強調し、この後のデータ処理をやりやすくすることができる。

加算データ１３４は、符号化回路１１４に伝送される。符号化回路１１４は、加算データ１３４を符号化し、符号化データ１３２を出力する。例えば、８ビットの可算データ１３４の下位２ビットを削除し、６ビットの符号化データ１３２を出力する。符号化はエンコードとも呼ばれる。

符号化の他の例として、８ビットのデータ、すなわち、２５６段階の階調を有するデータを、４段階ごとに１階調に変換し、６４段階の階調を有する６ビットのデータに符号化してもよい。例えば、２ビットのフレームレートコントロール（ＦＲＣ、Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｔｒｏｌ）により、ＲＧＢ画像データを４フレーム周期で変化させることによって、６ビットのＲＧＢ画像データの出力で８ビット相当の階調を表現することが可能となる。すなわち、ＦＲＣにおいては、下位２ビットが４フレーム毎に変化することで、６ビットを疑似的に８ビットにしている。よって、本発明に係る画像処理回路４３０が有する画像処理装置１０Ａに含まれる符号化回路１１４を用いることで、８ビットのデータ、すなわち２５６段階の階調を有する加算されたデータを、２ビット少ない、すなわち、２５６段階の階調を有するデータを４段階ごとに１階調に変換した６４段階の階調を有する６ビットのデータに符号化することができる。すなわち、８ビット相当の階調を表現していた画像データを、あらかじめ、６ビットの階調を表現する画像データに変換することができるため、画像データが頻繁に変化することを抑制することができる。また、８ビット相当の階調を表現していた画像データを、あらかじめ、６ビットの階調を表現する画像データに変換することができるため、この後に続く、誤差拡散処理の負荷を低減することができる。さらに、このあとに続く誤差拡散処理回路１１２による誤差拡散処理において、画質が低下することが抑制された画像を示す出力データ２００を出力することができる。このことは、特に、画像を示す入力データ１００が静止画の際に有効である。なお、ここでは、ＦＲＣを例に説明しているが、この例に限定されない。本発明が、その要旨を逸脱しない範囲において、回路構成、機能を、適宜検討すればよい。

続いて、図９に示した画像処理装置１０Ａの画像処理方法を説明する。なお、上述した構成と同様の構成に関しては説明を省略することがある。

図１０は、本発明の一実施形態に係る図９に示した画像処理装置１０Ａの画像処理方法を説明するフローチャートを示す模式図である。図８に示した画像処理方法を説明するフローチャートに対して、ステップ３７からステップ４０が異なる。ステップ３７からステップ４０以外は、図８に示した画像処理方法を説明するフローチャートと同様であるから、説明は省略する。なお、図１０においては、図８に示した画像処理方法を説明するフローチャートにおいて、画像処理装置１０を画像処理装置１０Ａと読み替えることとする。

ステップ３２において出力されたノイズデータを含むデータと画像を示す入力データとを加算する（ステップ３７（Ｓ３７））。次に、加算されたデータが出力され、出力された加算されたデータを符号化する（ステップ３８（Ｓ３８））。出力された加算されたデータが加算データ１３４である。さらに、符号化されたデータを出力する（ステップ３９（Ｓ３９））。続いて、出力された符号化されたデータを誤差拡散処理する（ステップ４０（Ｓ４０））。出力された符号化されたデータが符号化データ１３２である。さらに、ステップ３５にて、誤差拡散処理されたデータが出力され、ステップ３６にて、画像処理装置２０の信号処理が完了する。誤差拡散処理されたデータが画像を示す出力データ２００である。

図１１に、符号化の詳細なフローチャートを示す。ここでは、加算されたデータが８ビットのデータ、すなわち、２５６段階の階調を有するデータで、符号化されたデータが６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータである例を説明するが、この例に限定されない。

図１１によれば、符号化処理が開始されると、加算されたデータが、一つずつ入力される。

図１１の例では、８ビットのデータ、すなわち、２５６段階の階調を有するデータが「２５３以上」、「２４９以上２５３未満」、「２４５以上２４９未満」、「２４１以上２４５未満」、「９以上１３未満」、「５以上９未満」、「２以上５未満」、「その他（２未満）」のように、４つごとに範囲が区切られ、いずれに属するかが判定される。なお、「２４１以上２４５未満」、と、「９以上１３未満」との間も、４つごとに範囲が区切られているが、省略して記載している。それぞれの範囲を、ＴＨ６２、ＴＨ６１、ＴＨ６０のように、番号をつけている。加算されたデータのビット数によっては、より細かく範囲を設定することとしてもよいし、より粗く範囲を設定することとしてもよい。細かく設定するほど、高精細な画像が得ることができる。

符号化回路１１４は、上記判定結果に基づいて、６ビットのデータ、例えば、４段階ごとに１階調に変換し、６４段階の階調を有するデータに相当するデータを算出する。または、２段階、４段階、及び５段階のように、一定の段階ではなく、複数の段階を組み合わせて、６４段階の階調を有するデータに相当するデータを算出してもよい。図１１の例では、例えば、入力された８ビットのデータ、すなわち、２５６段階の階調を有するデータが「２５３以上」である場合、符号化回路１１４は、６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータに相当するデータを「２５５」と決定する。同様に、「２４５以上２４９未満」に対して「２５１」、「２４５以上２４９未満」に対して「２４７」、「２４１以上２４５未満」に対して「２４３」、「９以上１３未満」に対して「１１」、「５以上９未満」に対して「７」、「２以上５未満」に対して「３」、「その他（２未満）」に対して「０」をそれぞれ６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータに相当するデータとして決定する。

こうして、６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータに相当するデータが決定されると、符号化回路１１４は、さらに、６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータに相当するデータの値が算出される。具体的に説明すると、符号化回路１１４は、例えば６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータに相当するデータが「２５５」である場合、符号化されたデータの値を「３Ｆｈ」とする。同様に、「２５１」に対して「３Ｅｈ」、「２４７」に対して「３Ｄｈ」、「２４３」に対して「３Ｃｈ」、「１１」に対して「０Ｂｈ」、「７」に対して「０２ｈ」、「３」に対して「０１ｈ」、「０」に対して「００ｈ」をそれぞれ符号化されたデータの値として決定する。

なお、本実施形態においては、符号化回路は、８ビット、すなわち、２５６段階の階調を有する画像データを６ビットのデータ、すなわち、４段階ごとに１階調に変換し、６４段階の階調を有するデータに符号化する例を示したが、この例に限定されない。本実施形態における誤差拡散処理は３ビットの画像データを処理することが多いため、符号化回路による符号化処理は、８ビットから４ビットの間で行われればよい。

このような構成を有することで、画質が低下することが抑制された画像を示す出力データを出力することができる。したがって、高画質な画像データを提供することが可能な画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システムを提供することができる。

（第３実施形態）
本実施形態では、本発明の一実施形態に係るさらに画像処理装置が有するノイズ振幅調整回路１０２の別の例を説明する。なお、第１実施形態または第２実施形態と同様の構成に関しては説明を省略することがある。

図１２は、本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅との関係を示す別の例を模式図である。図１２と、図６に示した画像を示す入力データの階調とノイズ振幅との関係を示す模式図とは、図１２が、グラフに示す凸が３つであることが異なる。上記以外は、図６に示した模式図と同様であり、説明を省略する。

図５及び図９によれば、画像を示す入力データ１００が、ノイズ振幅調整回路１０２及び加算回路１１０に伝送される。ノイズ振幅調整回路１０２は、画像を示す入力データ１００の階調ごとにノイズ振幅を調整し、ノイズ調整データ１２２を出力する。具体的には、画像を示す入力データ１００の階調ごとに割り当てられたノイズ振幅を出力する。ノイズ調整データ１２２はノイズパターンである。

ノイズ振幅調整回路１０２は、図１２に示すように、画像を示す入力データ１００の各階調に対して、３つの凸を示すノイズ振幅が割り当てられたデータを有する。例えば、４行４列の１６画素を有する表示装置において、各画素が８ビットの階調を表示することが可能であるとする。また、当該表示装置において、０．５秒ごとにフレームを切り替えるとする。このような条件の下では、表示装置が表示する画像が、１階調から２階調に変化するとき、すなわち、画像データが１６階調から４８階調に変化するときにフリッカが目立つことが確認されている。また、表示装置が表示する画像が、３階調から４階調に変化するとき、すなわち、画像データが８０階調から１１２階調に変化するときにフリッカが目立つことが確認されている。さらに、表示装置が表示する画像が、５階調から６階調に変化するとき、すなわち、画像データが１７６階調から２０８階調に変化するときにフリッカが目立つことが確認されている。したがって、フリッカが目立つ５５階調付近と、１２７階調付近と、１９７階調付近との画像を示す入力データが入力されたとき、ノイズ振幅調整回路１０２は、ノイズ振幅を大きくするように設定される。具体的には、ノイズ振幅調整回路１０２は、フリッカが目立つ５５階調付近の画像を示す入力データが入力されたとき、ノイズ振幅が４６を出力する。また、フリッカが目立つ１２７階調付近の画像を示す入力データが入力されたとき、ノイズ振幅が６３を出力する。さらに、フリッカが目立つ１９７階調付近の画像を示す入力データが入力されたとき、ノイズ振幅が３１を出力する。

図１３は、本発明の一実施形態に係る画像を示す入力データの階調とノイズ振幅との関係を示すさらに別の例を模式図である。図１３と、図６に示した画像を示す入力データの階調とノイズ振幅との関係を示す模式図とは、図１３が、グラフに示す凸が３つであることが異なる。上記以外は、図６に示した模式図と同様であり、説明を省略する。

ノイズ振幅調整回路１０２は、図１３に示すように、画像を示す入力データ１００の各階調に対して、滑らかな曲線の関係をもち、３つの山を示すノイズ振幅が割り当てられたデータを有してもよい。図１３は図１２と比較して、滑らかな曲線を有すること以外は同様であるため、説明は省略する。ここで、画像を示す入力データの階調の範囲において、画像を示す入力データの階調の中央値に対するノイズ振幅は、画像を示す入力データの階調の中央値よりも小さい第１の階調に対するノイズ振幅よりも大きく、画像を示す入力データの階調の中央値よりも大きい第２の階調に対するノイズ振幅よりも大きい。また、画像を示す入力データの階調の範囲において、画像を示す入力データの階調の中央値に対して、ノイズ振幅が最大となる。さらに、画像を示す入力データの階調の範囲において、画像を示す入力データの階調の中央値に対するノイズ振幅と、画像を示す入力データの第１の階調に対するノイズ振幅値と、画像を示す入力データの第２の階調に対するノイズ振幅とは、画像を示す入力データの他の階調に対するノイズ振幅よりも大きい。

ノイズ振幅調整回路１０２は、図１４に示すように、画像を示す入力データ１００の各階調に対して、ノイズ振幅が２ビット、すなわち２階調のオフセットを有するように割り当てられたデータを有してもよい。図１４は図６と比較して、ノイズ振幅が２ビット、すなわち２階調のオフセットを有するように割り当てられたこと以外は同様であるため、説明は省略する。ノイズ振幅が２ビット、すなわち２階調のオフセットを有するように割り当てることで、特に、画像を示す入力データ１００が低階調のとき、及び高階調のときのノイズ振幅を目立たなくすることができる。

このような構成を有することで、測定されたフリッカが大きな画像を示す入力データに対しては、ノイズ振幅が大きな値を割り当てることができる。したがって、誤差拡散処理されることで、フリッカが大きな画像データの誤差が周辺画素の画像データに分散されるため、フリッカを抑制した画像データを提供することができる。したがって、画質の低下が軽減され、高画質な画像データを提供することが可能な画像処理装置を提供することができる。

本発明の実施形態として上述した各実施形態は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。

本明細書においては、開示例として主に画像処理装置と画像処理装置の画像処理方法とそれらを実装した表示システムを例示したが、画像処理装置が処理した画像データを表示する表示装置は、別の自発光型表示装置、液晶表示装置、あるいは電気泳動素子などを有する電子ペーパ型表示装置など、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能である。

上述した各実施形態の態様により、もたらされる作用効果とは異なる別の作用効果であっても、本明細書の記載から明らかなもの、または、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

１０、１０Ａ・・・画像処理装置、２０・・・電源、３０・・・信号供給回路、１００・・・画像を示す入力データ、１０２・・・ノイズ振幅調整回路、１０３・・・ノイズ出力回路、１０４・・・乗算回路、１０５・・・演算回路、１０６・・・ノイズパターン保持回路、１０８・・・除算回路、１１０・・・加算回路、１１１、１１１Ａ・・・データ合成回路、１１２・・・誤差拡散処理回路、１１４・・・符号化回路、１２２・・・ノイズ調整データ、１２４・・・ノイズパターン、１２６・・・ノイズ乗算データ、１２８・・・ノイズ出力データ、１３０・・・合成データ、１３２・・・符号化データ、１３４・・・加算データ、２００・・・画像を示す出力データ、３００・・・回路基板、４００・・・表示装置用モジュール、４１０・・・ＤＣ−ＤＣ変換回路、４２０・・・システム制御回路、４３０・・・ＲＧＢ画像変換回路、５００・・・表示装置、５０２・・・画素、５０４・・・表示領域、５０６・・・映像信号線駆動回路、５０８、５１０・・・走査信号線駆動回路、５１２、５１３・・・コネクタ、５１４・・・基板、６００・・・表示システム

Claims (19)

1. 画像を示す入力データの階調に応じてノイズ振幅が調整されたノイズデータを出力するノイズ出力回路と、
   前記ノイズ出力回路から出力されたノイズデータと前記入力データとを合成するデータ合成回路と、
   前記データ合成回路が合成したデータを誤差拡散処理する誤差拡散処理回路と、
   を備えることを特徴とする画像処理装置。
2. 前記画像を示す入力データの階調の範囲において、
   前記階調の中央値に対する前記ノイズ振幅は、前記中央値よりも小さい第１の階調に対する前記ノイズ振幅よりも大きく、前記中央値よりも大きい第２の階調に対する前記ノイズ振幅よりも大きい、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像を示す入力データの階調の範囲において、
   前記階調の中央値に対する前記ノイズ振幅が最大となる、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記階調の中央値に対するノイズ振幅と、前記第１の階調に対するノイズ振幅と、前記第２の階調に対するノイズ振幅とは、他の階調に対するノイズ振幅よりも大きい、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記ノイズ出力回路は、
   前記画像を示す入力データの階調に対応したノイズ振幅を出力する振幅調整回路と、
   画素に対応している所定のノイズ振幅を有するノイズパターンデータを有するノイズパターン保持回路と、
   前記ノイズパターン保持回路が有するノイズパターンデータのノイズ振幅を前記振幅調整回路から出力されたノイズ振幅に基づいて調整する演算を行う演算回路と、
   を含み、
   前記ノイズ出力回路が出力するノイズデータは、前記演算回路によってノイズ振幅が調整され、画素に対応しているデータであることを特徴とする請求項１に記載の画像処理装置。
6. 前記データ合成回路は、前記ノイズ出力回路から出力されたノイズデータと前記入力データとを加算する加算回路を備え、
   前記データ合成回路による合成処理は、前記加算回路による加算処理を含むことを特徴とする請求項１に記載の画像処理装置。
7. 前記データ合成回路は、データを符号化する符号化回路を備え、
   前記データ合成回路による合成処理は、前記符号化回路による符号化処理を含むことを特徴とする請求項１に記載の画像処理装置。
8. 前記符号化回路における符号化処理は、２ビット少ないデータに変換する処理を含む、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記振幅調整回路は、階調とノイズ振幅との対応関係を規定したルックアップテーブルを有し、前記ルックアップテーブルを参照して前記画像を示す入力データの階調に対応するノイズ振幅を出力する、
   ことを特徴とする請求項５に記載の画像処理装置。
10. 前記画像を示す入力データの階調の範囲が２５６段階であって、
    前記第１の階調は３２段階であり、前記第２の階調は１９８段階である
    ことを特徴とする請求項２に記載の画像処理装置。
11. 前記ノイズパターン保持回路が有する前記ノイズパターンデータは、ｎビットの固定データであり、ｎは２以上の自然数であることを特徴とする請求項５に記載の画像処理装置。
12. 前記ノイズパターン保持回路は、前記固定データを含むメモリを有する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記固定データはディザパターンである、
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記固定データは、６４段階のノイズ振幅が８行８列の行列のそれぞれに一つずつ配置されたパターンである、
    ことを特徴とする請求項１１に記載の画像処理装置。
15. 画像を示す入力データが入力され、
    前記画像を示す入力データの階調に応じてノイズ振幅が調整されたノイズデータを出力し、
    前記出力されたノイズデータと、前記入力データとを合成し、
    前記合成されたデータを誤差拡散処理する、
    ことを含むことを特徴とする画像処理方法。
16. 前記出力されたノイズデータと、前記入力データとを合成することは、
    前記出力されたノイズデータと、前記入力データとを加算する処理を含むことを特徴とする請求項１５に記載の画像処理方法。
17. 前記出力されたノイズデータと、前記入力データとを合成することは、
    ２ビット少ないデータに変換する処理を含むことを特徴とする請求項１５に記載の画像処理方法。
18. 一方向及び前記一方向と交差する方向に配列された画素を含む表示装置と、
    請求項１に記載の画像処理装置と、を有し、
    前記画像処理装置によって前記誤差拡散処理されたデータに基づいて前記画素の階調が制御される、
    ことを特徴とする表示システム。
19. 前記画素は、面積の異なる複数のサブ画素を有し、
    前記複数のサブ画素によって、前記画素の階調が制御される、
    ことを特徴とする請求項１８に記載の表示システム。

Images