JP2015222401A - 表示装置及び画像処理装置 - Google Patents

Abstract

【課題】消費電力の低減がより容易である表示装置等を提供する。
【解決手段】表示装置の画像処理部は、画像に用いられる色数を１６以下の所定数に限定するために画像の色を単純置換する第１処理回路１０と、画像データに応じて表示装置に表示される画像を構成する複数の画素の輝度を向上させる演算処理を含む画像処理を行う第２処理回路２０と、第１処理回路１０又は第２処理回路２０のいずれか一方に画像処理を行わせる切替部３１と、を備え、切替部３１は、第２処理回路２０に画像処理を行わせ、当該第２処理回路２０よりもより省電力で画像処理を行う場合に第１処理回路１０に画像処理を行わせる。
【選択図】図３

Description

本発明は、表示装置及び画像処理装置に関する。

画像データに応じて表示装置に表示される画像を構成する複数の画素の輝度を向上させる画像処理（伸張処理）が知られている（例えば特許文献１）。

特開２０１０−２０２４１号公報

しかしながら、伸張処理は、画像データを構成する複数の画素の色に基づいて、この画像データに応じて表示される画像全体の輝度を上げるための演算を伴うため、この演算によって一定の電力を消費することとなる。このため、使用者が輝度向上を期待しない周辺環境や画像にあってもかかる処理を行う従来の画像処理装置を備える表示装置は、使用者の意図に反しその効果以上に徒に電力を消費してしまう虞があった。

本発明は、上記の課題に鑑みてなされたもので、電力低減をより効果的に行うことができる表示装置及び画像処理装置を提供することを目的とする。

本発明の一態様は、外部から入力された画像データに画像処理を施す画像処理部を備え、前記画像処理部により画像処理が施された画像データに応じた表示出力を行う表示装置であって、前記画像処理部は、画像に用いられる色数を１６以下の所定数に限定するために画像の色を単純置換する第１処理回路と、前記画像データに応じて前記表示装置に表示される画像を構成する複数の画素の輝度を向上させる演算処理を含む画像処理を行う第２処理回路と、前記第１処理回路又は前記第２処理回路のいずれか一方に画像処理を行わせる切替部と、を備え、前記切替部は、前記第２処理回路に画像処理を行わせ、当該第２処理回路よりもより省電力で画像処理を行う場合に前記第１処理回路に画像処理を行わせる。

本発明の一態様は、外部から入力された画像データに画像処理を施して表示装置に出力する画像処理装置であって、画像に用いられる色数を１６以下の所定数に限定するために画像の色を単純置換する第１処理回路と、前記画像データに応じて前記表示装置に表示される画像を構成する複数の画素の輝度を向上させる演算処理を含む画像処理を行う第２処理回路と、前記第１処理回路又は前記第２処理回路のいずれか一方に画像処理を行わせる切替部と、を備え、前記切替部は、前記第２処理回路に画像処理を行わせ、当該第２処理回路よりもより省電力で画像処理を行う場合に前記第１処理回路に画像処理を行わせる。

さらに、他の一態様として、前記第１処理回路は、前記画素の座標と前記表示装置の表示領域内における位置との対応関係に応じて前記複数の画素の各々の色を決定してもよい。

さらに、他の一態様として、前記第１処理回路は、白色が加味された８色を前記画像に用いられる色としてもよい。

さらに、他の一態様として、前記第１処理回路は、前記画像で採用され得る色値と前記所定数の色との対応関係に基づいて前記画像を構成する複数の画素の色を決定してもよい。

さらに、他の一態様として、前記表示装置は、透過型の液晶表示装置であってもよい。

さらに、他の一態様として、前記表示装置は、反射型の液晶表示装置であってもよい。

図１は、本発明の一実施形態である表示装置の形態の一例を示す図である。 図２は、画素の構成例を示す図である。 図３は、画像処理部の主要機能を示すブロック図である。 図４は、本実施形態で採用される１６色の組み合わせを示す図である。 図５は、第１処理回路による色の置換パターンの一例を示す図である。 図６は、ＲＧＢ型の表示装置の色空間を示す図である。 図７は、ＲＧＢＷ型の表示装置の色空間を示す図である。 図８は、ＲＧＢＷ型の表示装置の拡張された色空間の断面図である。 図９は、従来の１６ビットモードにおけるＲＧＢのビット配分を示す図である。 図１０は、外部から指定される色値の入力フォーマットの一例を示す図である。 図１１は、外部から指定される色値の入力フォーマットの一例を示す図である。 図１２は、外部から指定される色値の入力フォーマットの一例を示す図である。 図１３は、外部から指定される色値の入力フォーマットの一例を示す図である。 図１４は、外部から指定される色値の入力フォーマットの一例を示す図である。 図１５は、外部から指定される色値の入力フォーマットの一例を示す図である。 図１６は、本発明の表示装置が適用されるスマートフォンの外観の一例を示す図である。

以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

図１は、本発明の一実施形態である表示装置１の形態の一例を示す図である。図２は、画素Ｐｉｘの構成例を示す図である。表示装置１は、表示パネル２と、画像処理部３とを備える。表示パネル２は、例えば液晶ディスプレイを構成する透光性基板（例えばガラス基板）からなるパネルである。透光性基板は、例えば液晶ディスプレイに設けられたマトリクス構造の配線（走査線、信号線等）が形成されている画素基板、この画素基板と協働して液晶を挟み込む対向基板等からなる。

本実施形態による表示装置１は、例えば、透過型の液晶表示装置であり、図示しないバックライトの光を光源として表示出力を行う。本実施形態の表示パネル２に形成されている表示部５０（例えば液晶ディスプレイ）は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）及び単色の白（Ｗ）の四つの副画素（例えば図２に示す副画素Ｓ１〜Ｓ４）の組み合わせ（ＲＧＢＷ）で一つの画素（例えば図１，図２に示す画素Ｐｉｘ）の色を再現する。なお、図１における表示部５０内の画素Ｐｉｘの図示はあくまで模式的なものであり、実際の大きさの対比を示すものでない。

図２に示す画素Ｐｉｘは、縦長の長方形状の副画素Ｓ１〜Ｓ４を有する正方形状の画素であるが、これらの画素及び副画素の形状等はあくまで一例であってこれに限られるものでない。例えば、正方形状の副画素が縦横に２（画素）×２（画素）の位置関係で配置された画素であってもよい。また、副画素のうちいずれかが他の副画素より大きい開口面積を持っていてもよいし、副画素のうちいずれかが他の副画素より小さい開口面積を持っていてもよい。

画像処理部３は、画素基板に形成された配線と接続されるとともに、表示パネル２に接続される外部配線（例えば図１に示すフレキシブルプリント基板４等）と接続される。画像処理部３は、このような外部配線を介して外部から入力された画像データに画像処理を施す。すなわち、表示装置１は、画像処理部３により画像処理が施された画像データに応じた表示出力を行う。

本実施形態において、画像処理部３に入力される画像データはＲＧＢ画像データである。すなわち、本実施形態において、画像処理部３に入力される画像データを構成する複数の画素の色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の色値の組み合わせ（ＲＧＢ）により表されている。本実施形態の画像処理部３は、この３色の色値の組み合わせにより表されている色を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）及び単色の白（Ｗ）の４色の組み合わせ（ＲＧＢＷ）により表される色に変換して出力する。

図３は、画像処理部３の主要機能を示すブロック図である。画像処理部３は、切替部３１と、第１処理回路１０と、第２処理回路２０と、出力アンプ３２とを有する。切替部３１は、第１処理回路１０又は第２処理回路２０のいずれか一方に画像処理を行わせる。第１処理回路１０及び第２処理回路２０は、それぞれ画像処理を行う回路である。第１処理回路１０が行う画像処理と第２処理回路２０が行う画像処理とは異なる。第１処理回路１０は、第２処理回路２０よりも消費電力が少ない。すなわち、第１処理回路１０による画像処理の方が、第２処理回路２０による画像処理よりも省電力である。切替部３１は、第２処理回路２０に画像処理を行わせ、当該第２処理回路２０よりもより省電力で画像処理を行う場合に第１処理回路１０に画像処理を行わせる。具体的には、切替部３１は、例えば省電力モードである場合に第１処理回路１０に画像処理を行わせ、省電力モードでない場合に第２処理回路２０に画像処理を行わせる。本実施形態における「省電力モード」とは、あくまで省電力モードである場合に画像処理を行う第１処理回路１０の方が第２処理回路２０に比してより省電力であることを示すものであり、第２処理回路２０の構成がその画像処理を実現するにあたって電力効率（省電力性）を無視していることを示すものでない。以下、第１処理回路１０及び第２処理回路２０について順次説明する。なお、図３では、画像処理部３に入力される画像を構成する信号を符号Ｐで示している。また、図３では、画像処理部３から出力される画像処理後の画像を構成する信号を符号Ｑで示している。

省電力モードであるか否かの決定条件は、任意に定めることができる。例えば、表示装置１を省電力モードで動作させるか否かを設定するための設定部を設けるようにしてもよい。この場合、切替部３１は、この設定に従って第１処理回路１０又は第２処理回路２０のいずれか一方に画像処理を行わせる。また、入力される画像データに、この画像データに応じた画像を省電力モードで表示するか否かを示すパラメータが付加されていてもよい。この場合、切替部３１は、このパラメータに従って第１処理回路１０又は第２処理回路２０のいずれか一方に画像処理を行わせる。切替部３１は、表示装置１の動作モードが省電力モードであるか否かを示す何らかの情報に従って、第１処理回路１０又は第２処理回路２０のいずれか一方に画像処理を行わせる。

第１処理回路１０は、画像に用いられる色数を１６以下の所定数に限定するために画像の色を単純置換する。なお、「単純置換する」とは、画像を構成する複数の画素の輝度を向上させる演算処理等を伴わず、ハードウェア（回路）の構成により複数の画素の各々の色を単純に所定数以下の色のいずれかにあてはめて出力することをさす。

第２処理回路２０は、画像を構成する複数の画素の輝度を向上させる演算処理を含む画像処理を行う。ここで、画像とは、画像データに応じて表示装置１に表示される表示画像をさす。具体的には、第２処理回路２０は、例えば図３に示すように、ガンマ変換部２１、画像解析部２２、α値決定部２３、伸張処理部２４及び逆ガンマ変換部２５を有する。ガンマ変換部２１は、データによる画像の階調と画像の輝度との対応関係を所定の関係にするガンマ変換処理を行う。画像解析部２２は、ガンマ変換処理後の画像を構成する複数の画素の色値を用いて伸張係数値を決定する。α値決定部２３は、画像データに基づいた画像を構成する複数の画素の色値を用いてこの画像の輝度を向上させるための数値である伸張係数値を決定する。伸張処理部２４は、伸張係数値を用い、ガンマ変換処理後の画像に対して画像の輝度を向上させるための伸張処理を行う。逆ガンマ変換部２５は、伸張処理部２４が行われた画像の階調と画像の輝度との対応関係をガンマ変換処理前の対応関係に戻す。

出力アンプ３２は、第１処理回路１０及び第２処理回路２０から出力された画像処理後の画像データに対応する信号を増幅して表示パネル２に形成された表示部５０（例えば液晶ディスプレイ）に出力する。

次に、第１処理回路１０について詳細に説明する。図４は、本実施形態で採用される１６色の組み合わせを示す図である。本実施形態の第１処理回路１０は、画像を構成する複数の画素の各々の色を、図４に示す黒（Ｂｌｋ）、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃ：ＧＢ）、マゼンタ（Ｍ：ＲＢ）、イエロー（Ｙ：ＲＧ）、混色の白（ＲＧＢ）、単色の白（Ｗ）、薄赤（ＲＷ）、薄緑（ＧＷ）、薄青（ＢＷ）、シアンホワイト（ＣＷ：ＧＢＷ）、マゼンタホワイト（ＭＷ：ＲＢＷ）、イエローホワイト（ＹＷ：ＲＧＷ）、明るい白（ＲＧＢＷ）の計１６色のいずれかの色にする。このうち、図４の下段に示す「薄赤（ＲＷ）、薄緑（ＧＷ）、薄青（ＢＷ）、シアンホワイト（ＣＷ：ＧＢＷ）、マゼンタホワイト（ＭＷ：ＲＢＷ）、イエローホワイト（ＹＷ：ＲＧＷ）、明るい白（ＲＧＢＷ）」の７色は、図４の上段に示す「赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃ：ＧＢ）、マゼンタ（Ｍ：ＲＢ）、イエロー（Ｙ：ＲＧ）、混色の白（ＲＧＢ）」に白色が加味された７色である。また、図４に示す黒（Ｂｌｋ）は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）及び単色の白（Ｗ）の四つの副画素のいずれも光を透過しない状態である。この状態から、白（Ｗ）の副画素の光を透過する状態にすると、単色の白（Ｗ）が再現される。すなわち、単色の白（Ｗ）は、黒（Ｂｌｋ）に白色が加味された色である。このように、図４の下段に示す８色は、図４の上段に示す８色に白色が加味された８色である。なお、混色の白（ＲＧＢ）は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の副画素の光が同程度に透過する状態にした場合に再現される白色である。

図５は、第１処理回路１０による色の置換パターンの一例を示す図である。第１処理回路１０は、画像で採用され得る色値と所定数の色との対応関係に基づいて画像を構成する複数の画素の色を決定する。具体的には、第１処理回路１０は、例えば図５に示すテーブルデータが示す規則により、画像処理前の画像を構成する複数の画素の各々の色値により再現される色を、図４に示す１６色のいずれかに置換する。以下、説明において画像処理前の画像データに基づいた画像を構成する複数の画素のうち一つの画素の色に関する信号を「入力画像信号」と記載し、その信号が示すＲ，Ｇ，Ｂの色値の組み合わせを（Ｒ，Ｇ，Ｂ）＝（Ｒｉ，Ｇｉ，Ｂｉ）で示す。ここで、Ｒｉ，Ｇｉ，Ｂｉは、それぞれＲ，Ｇ，Ｂの色値の最低値から最大値の範囲内（例えば０〜２５５）のいずれかの整数値である。すなわち、本実施形態における入力画像信号は、各色の色値が８ビットで表現可能なＲＧＢのデジタル信号である。

図５に示すテーブルデータは、置換後の色（１６色）に該当するＲ，Ｇ，Ｂの色値の最低値を示している。一例を挙げると、入力画像信号が（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）である場合、第１処理回路１０は、明るい白（ＲＧＢＷ）を示す信号にこの入力画像信号を置換する。この入力画像信号のいずれか一つ以上の値が２５５未満である場合、この入力画像信号が明るい白（ＲＧＢＷ）に置換されることはない。例えば、入力画像信号が（Ｒ，Ｇ，Ｂ）＝（２５４，２５５，２５５）である場合、第１処理回路１０は、この入力画像信号が（Ｒ，Ｇ，Ｂ）＝（１２７，２５５，２５５）の組み合わせに該当するものとして、シアンホワイト（ＣＷ：ＧＢＷ）を示す信号に置換する。同様に入力画像信号が（Ｒ，Ｇ，Ｂ）＝（２５５，２５４，２５５）である場合、第１処理回路１０は、この入力画像信号が（Ｒ，Ｇ，Ｂ）＝（２５５，１２７，２５５）の組み合わせに該当するものとして、マゼンタホワイト（ＭＷ：ＲＢＷ）に置換する。入力画像信号が（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５４）である場合、第１処理回路１０は、この入力画像信号が（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，１２７）の組み合わせに該当するものとして、イエローホワイト（ＹＷ：ＲＧＷ）に置換する。第１処理回路１０は、他の色についても同様に、図５に示すテーブルデータが置換後の色（１６色）に該当するＲ，Ｇ，Ｂの色値の最低値を示しているものとして、入力画像信号が示す色を置換する。

図５で示すテーブルデータは、あくまで色の置換パターンを示すものである。実際には、この色の置換パターンが反映された色の変換を行うハードウェア（回路）が第１処理回路１０に構成されている。第１処理回路１０に入力された入力画像信号は、演算処理を経ることなく機械的にいずれかの色の出力に対応する信号処理経路を通過して置換後の色を示す信号を出力する。

なお、図５及び上記で示した入力画像信号と置換後の色との対応関係はあくまで一例であり、これに限られるものでなく適宜変更可能である。テーブルによる色の分配は、例えば表示部５０が有する画素を構成する副画素の配置パターン及び透過率等、並びに表示部５０のパネル特性等、色再現に関わる各種の要素によって適宜変更可能である。

次に、第２処理回路２０による画像処理について説明する。まず、入力画像信号が示すＲ，Ｇ，Ｂの色値の組み合わせをＲ，Ｇ，Ｂ，Ｗの色値の組み合わせに置換する場合の基本原理について説明する。

入力画像信号が上記のようなＲＧＢのデジタル信号である場合、ＲＧＢＷの画素に表示するための各色の信号をＲｏ，Ｇｏ，Ｂｏ，Ｗｏとすると、表示映像の画質が変化しないようにするためには、以下の式（１）の関係を満たすことが必要となる。
Ｒｉ：Ｇｉ：Ｂｉ＝Ｒｏ＋Ｗｏ：Ｇｏ＋Ｗｏ：Ｂｏ＋Ｗｏ…（１）

Ｒｉ，Ｇｉ，Ｂｉの信号の最大値をＭａｘ（Ｒｉ，Ｇｉ，Ｂｉ）とすると、以下の式（２）〜（４）の関係が成り立つ。従って、以下の式（５）〜（７）が成り立つ。
Ｒｉ／Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）
＝（Ｒｏ＋Ｗｏ）／（Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）＋Ｗｏ）…（２）
Ｇｉ／Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）
＝（Ｇｏ＋Ｗｏ）／（Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）＋Ｗｏ）…（３）
Ｂｉ／Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）
＝（Ｂｏ＋Ｗｏ）／（Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）＋Ｗｏ）…（４）
Ｒｏ＝Ｒｉ×（（Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）＋Ｗｏ）／Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）Ｗｏ…（５）
Ｇｏ＝Ｇｉ×（（Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）＋Ｗｏ）／Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）Ｗｏ…（６）
Ｂｏ＝Ｂｉ×（（Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）＋Ｗｏ）／Ｍａｘ（Ｒｉ，Ｇｉ，Ｂｉ）Ｗｏ…（７）

ここで、設定可能なＷｏは、Ｒｉ，Ｇｉ，Ｂｉの最小値Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）の関数として以下の式（８）のように定義することができる。ここで、ｆは任意の係数である。すなわち、最も簡単な考え方では、以下の式（９）のようになる。
Ｗｏ＝ｆ（Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）…（８）
Ｗｏ＝Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）…（９）

上記の式（８），（９）から、Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）＝０である画像信号が存在すると、Ｗｏ＝０となる。この場合、画素の輝度は向上しない。また、Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）＝０でなくとも、Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）が０に近い小さい値の場合、Ｗｏの値も小さくなり、輝度の向上の度合いが小さくなる。

さらに、第２処理回路２０は、１枚の画像の全ての画素に関して画像処理を行う。このため、単純に基本原理に従えば、映像の一部が極端に明るく、他の一部が明るくならないということも起こり得る。このため、例えば彩度が低く明るい背景の中に彩度の高い部分（例えば単色の部分）があった場合に、背景には相対的に大きなＷｏを設定することができる一方、彩度の高い部分には相対的に小さなＷｏが設定されてしまう。

一般に、人間の色や明るさに対する感覚（視覚特性）は、周囲との相対的な明るさの差に大きく影響を受けるため、相対的に明るさが低い部分（例えば上記の単色の部分）は、くすんで見えることがある。これは、所謂同時コントラスト（Simultaneous Contrast）と称されている。そこで、本実施形態では、ＲＧＢの入力画像信号が示す色をＲＧＢＷの色の組み合わせに置換する画像処理における同時コントラスト（Simultaneous Contrast）に関する問題を解消するため、画像データに応じて表示される画像を構成する複数の画素の輝度を向上させる演算処理（伸張処理）を含むホワイトマジック（ＷｈｉｔｅＭａｇｉｃ）処理を行っている。以下、ホワイトマジック処理について説明する。

まず、入力画像信号の伸張処理について説明する。伸張処理部２４は、以下の式（１０）〜（１２）に示すように、入力画像信号Ｒｉ，Ｇｉ，Ｂｉをその比を保つように伸張する。ここで、αは自然数である。
Ｒｊ＝α×Ｒｉ…（１０）
Ｇｊ＝α×Ｇｉ…（１１）
Ｂｊ＝α×Ｂｉ…（１２）

画像信号の画質を保持するためには、伸張処理部２４は、Ｒ，Ｇ，Ｂの色値の比（輝度比）を保つように伸張処理を行うことが望ましい。また、伸張処理部２４は、入力画像信号の階調−輝度特性（ガンマ）を保持するように伸張することが望ましい。ここで、仮に画像処理後の色空間がＲＧＢである場合、伸張処理には限界がある。特に入力画像信号が示す色が既に明るい色である場合、ほとんど伸張できないこともある。

これに対して、本実施形態に係る表示装置１は、ＲＧＢＷ型であり、Ｗが加わり輝度のダイナミックレンジが大きくなるために表示可能な色空間が拡張される。伸張処理は、ＲＧＢとＷから構成される色空間の上限値まで行う。この為、伸張処理により、従来のＲＧＢでの限界値２５５を超えることが可能となる。

例えば、Ｗ画素の明るさが、ＲＧＢ画素の明るさのＫ倍ある場合、Ｗｏの最大値は２５５×Ｋであるとみなすことができる。この場合、Ｒｊ，Ｇｊ，Ｂｊの値（輝度）はＲＧＢＷ色空間において、（１＋Ｋ）×２５５までとることが可能となる。これにより、従来の問題点であった、Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）＝０もしくは小さな値のデータに対しても、輝度を向上することができる。

図６は、ＲＧＢ型の表示装置の色空間を示す図である。図７は、ＲＧＢＷ型の表示装置の色空間を示す図である。図６に示すように、全ての色は、色相（Ｈ；Ｈｕｅ）、彩度（Ｓ；Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖ；Ｖａｌｕｅ ｏｆ ＢＲｉｇｈｔｎｅｓｓ）により定義される座標上にプロットすることができる。色空間の一種であるＨＳＶは、これら色相、彩度、明度という属性で定義される。色相とは赤、青、緑のような色味の違いのことをいい、イメージの違いを最も表現することが出来る属性である。彩度とは、色を表す指標の一つであり、色の鮮やかさの度合いを示す属性である。明度とは、色の明暗の度合いを示す属性であり、数値が高いほど明るい色として表現される。ＨＳＶの色空間では、色相は、Ｒを０度とし、反時計回りにＧ，Ｂというように１周して表す。各色に対し、グレーがどの程度だけ混ざって濁っているかを示すのが彩度であり、最も濁っている場合を０％、全く濁っていない場合を１００％と表している。明度は、最も明るい場合を１００％、暗い場合を０％とする。

一方、図７に示すように、ＲＧＢＷ型の表示装置の色空間を定義する属性は、ＲＧＢ型の表示装置の色空間を定義する属性と基本的には同じであるが、Ｗが加えられたことで、明度が拡張されている。このように、ＲＧＢ表示装置とＲＧＢＷ表示装置の色空間の違いは、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）で定義されるＨＳＶ色空間で表すことができる。これによると、Ｗを加えることによって拡張される明度（Ｖ）のダイナミックレンジは、彩度（Ｓ）によって大きく異なることが分かる。

そこで、ホワイトマジック処理では、上記の入力画像信号であるＲｉ，Ｇｉ，Ｂｉ信号の伸張処理の係数αが彩度（Ｓ）によって異なることに着目している。具体的には、画像解析部２２が入力画像信号を解析する。そして、画像解析部２２による解析の結果に応じて、α値決定部２３が画像毎に伸張係数値（α）を決定する。これにより、画像処理前の画質を保持したままＲＧＢＷ表示装置で映像表示をすることが可能になる。

このとき、α値決定部２３は、入力画像信号の解析により彩度（Ｓ）＝０から最大値（８Ｂｉｔの場合は２５５）までの値毎に伸張係数値（α）を決定することが望ましい。また、α値決定部２３は、求められた伸張係数値（α）のうち最小値を採用するようにしてもよい。この場合、画像処理前の画質を全く損なうことなく伸張処理を行うことができる。また、本実施形態では、伸張処理が入力画像のＭａｘ（Ｒ，Ｇ，Ｂ）値とＨＳＶ色空間の最大明度値Ｖとの比に基づいて行われる。α値決定部２３は、この比を彩度値Ｓ＝０から最大値まで算出し、その最小値を伸張係数値（α）として用いて伸張処理を実施する。

尚、画質を最大限保持するためには、一つの画像データを構成する全ての画素の入力画像信号を解析することが望ましい。ここで、解析とは、Ｍｉｎ（Ｒｉ，Ｇｉ，Ｂｉ）及びＭａｘ（Ｒｉ，Ｇｉ，Ｂｉ）を把握するための処理をさし、画像解析部２２は、この処理を行う。その一方で、ホワイトマジック処理における処理速度を速めると共に、画像解析部２２及び画像解析部２２を含む回路の回路規模を小さくするためには、画像データを構成する画素をサンプリングして解析することが望ましい。具体的には、画像解析部２２は、例えば入力画像信号をｎ（ここで、ｎは１以上の自然数である）個飛ばしで解析する。更には、伸張係数値（α）の決定法として、人間工学的なアプローチを取ることも可能であることは勿論である。

また、入力画像信号であるＲｉ，Ｇｉ，Ｂｉ信号が局所的にわずかに変化しただけでは、人間には知覚できない。よって、伸張係数値（α）を画質変化の知覚限界まで大きな値とすることで、画質変化を知覚することなく、大きく伸張することを可能とする。言い換えれば、第２処理回路２０は、画質変化が知覚できない範囲で伸張処理を実施する。

なお、図８に示されるように、画像処理後の信号（色値）は、拡張されたＲＧＢＷの色空間に対して入力映像信号のレベルを比較することで決定した伸張係数値（α）に基づいて生成される。

以上の方法で入力画像信号を伸張することで、Ｗｏの値を大きくとることができ、映像全体の輝度をより向上することができる。また、透過型の液晶表示装置において、伸張係数値（α）に従って、バックライトの輝度を１／αに下げることで、入力画像信号と全く同一の輝度で表示することが可能になる。

次に、伸張した画像信号Ｒｊ，Ｂｊ，ＧｊからＷｏを決定する方法について述べる。先に述べたように、伸張した画像信号Ｒｊ，Ｂｊ，Ｂｊを解析することで各画素の最小値Ｍｉｎ（Ｒｊ，Ｇｊ，Ｂｊ）を求め、Ｗｏ ＝ Ｍｉｎ（Ｒｉ'，Ｇｉ'，Ｂｉ'）にすることが望ましい。これがＷｏの取り得る最大値となる。よって、Ｗｏの決定は、伸張された画像信号Ｒｊ，Ｇｊ，Ｂｊを解析し、最小値Ｍｉｎ（Ｒｊ，Ｇｊ，Ｂｊ）を求め、これをＷｏとする。

上記の手法でＷｏを決定した場合、新たなＲＧＢの画像信号は以下の式（１３）〜（１５）のように求められる。
Ｒｏ ＝ ＲｊＷｏ…（１３）
Ｇｏ ＝ ＧｊＷｏ…（１４）
Ｂｏ ＝ ＢｊＷｏ…（１５）

上記の方法で入力画像信号を伸張することで、Ｗｏの値をより大きくとることができ、画像全体の輝度をより向上することができる。また、伸張係数値（α）にしたがって、バックライトの輝度を１／αに下げることで、入力画像信号と全く同一の輝度で表示することが可能になる。

ところで、上記の伸張処理後の色値は、ＲＧＢＷが形成する色空間に対して入力画像信号の明度レベルを比較することで決定された伸張係数値（α）に基づいて生成される。よって、伸張係数値（α）は１フレームの画像を解析した結果得られる画像解析情報である。これを次フレームの画像信号の変換に用いることで、画像信号をフレームメモリに蓄積することなく、ＲＧＢＷの適切な変換を行うことができる。

また、伸張係数値（α）は入力画像信号の明度レベルと色空間との比較で決定されるため、画像情報が多少変化しても変わらない。例えば、画面の中を動き回る画像があったとしても、輝度や色度が大きく変化しなければ伸張係数値（α）は同一である。よって、先のフレームで決定された伸張係数値（α）を用いてＲＧＢＷの変換を行なっても全く問題ない。

なお、本実施形態では、画像解析部２２による画像解析の前に、ガンマ変換部２１によるガンマ変換処理が行われる。ガンマ変換処理では、例えば入力画像信号の画像の階調と画像の輝度との対応関係、すなわち、階調−輝度特性（ガンマ）が直線関係になるように、（Ｒｊ，Ｇｊ，Ｂｊ）の値を変更する。本実施形態の画像解析部２２は、ガンマ変換処理が施された入力画像信号を解析する。逆ガンマ変換部２５は、ガンマ変換部２１のガンマ変換処理により変更された階調−輝度特性（ガンマ）をガンマ変換処理前の対応関係に戻す。解析処理前のガンマ変換処理及び伸張処理後の逆ガンマ変換処理により、入力画像信号の階調−輝度特性（ガンマ）をより確実に保持することができる。なお、ガンマ変換処理及び逆ガンマ変換処理は省略可能である。

以上説明したように、本実施形態によれば、第２処理回路２０に画像処理を行わせ、当該第２処理回路２０よりもより省電力で画像処理を行う場合に第１処理回路１０に画像処理を行わせる。第１処理回路１０に画像処理を行わせることで、全ての画像に対して第２処理回路２０が行うような演算処理を伴う画像処理を適用した場合に比して大幅に消費電力を低減することができる。よって、本実施形態によれば、消費電力の低減がより容易である。また、１６色を超える色による色再現が必要な画像に対して第２処理回路２０による画像処理を行うことで、このような画像の色数を１６色以下に落とすことなく表示することができる。このように、本実施形態によれば、消費電力の低減と画質の維持とを両立することができ、消費電力の低減がより容易である。

また、画像で採用され得る色値と所定数の色との対応関係に基づいて画像を構成する複数の画素の色を決定する。このため、第１処理回路１０が用いる１６色以下の色の範囲内で、画像処理前の画像における色により近い色に置換することができる。よって、画像処理前の画像の色による画像の表現を最大限維持しつつ、消費電力を低減することができる。

また、透過型の液晶表示装置であるので、第２処理回路２０における輝度の向上の度合いに応じてバックライトの明るさを低減させることで、画像の輝度を維持しつつバックライトによる消費電力を低減することができる。

また、Ｒ，Ｇ，Ｂ，Ｗを副画素としていることにより、Ｒ，Ｇ，Ｂの組み合わせにさらにＷを加えた１６色展開を行うことができる。このため、単なるＲ，Ｇ，Ｂの組み合わせによる８色展開に比して、省電力モードといえども、より多色による画像を表示可能となる。

また、切替部の切り替えによって、他方への電力供給等を遮断すると、より消費電力削減効果が大きい。具体的には、第１処理回路１０又は第２処理回路２０のいずれか一方に画像処理を行わせると共に他方に対する電力の供給を切ることで、使用されない処理回路による無駄な消費電力を生じることがなくなる。

なお、上記の説明では、赤（Ｒ），緑（Ｇ），青（Ｂ）の各色の色値（輝度）が８ビットの信号で表される所謂２４ビットモードの入力画像信号について説明したが、これは入力画像信号のフォーマットの一例であって、適宜変更可能である。

図９は、従来の１６ビットモードにおけるＲＧＢのビット配分を示す図である。例えば、図９に示すように、一つの画素の色を表す赤（Ｒ），緑（Ｇ），青（Ｂ）の組み合わせにおいて、いずれかの色（例えば緑（Ｇ））が６ビットの信号で表され、他の色が５ビットの信号で表されていてもよい。各色のビット数の配分は適宜変更可能である。

図１０〜図１４は、外部から指定される色値の入力フォーマットの一例を示す図である。第１処理回路１０が用いられる省電力モードにおいて、予め外部から単色の白（Ｗ）を用いるか否かを示す情報が加味された入力画像信号が採用されていてもよい。具体的には、例えば図１０に示すように、図９における緑（Ｇ）の６ビットのうち、末尾の１ビット（Ｇ０）が単色の白（Ｗ）を用いるか否かを示す２値（１又は０）として用いられてもよい。この場合、第１処理回路１０は、単色の白（Ｗ）が用いられる色であるときに図４の下段に示すいずれかの色を採用し、単色の白（Ｗ）が用いられない色であるときに図４の上段に示すいずれかの色を採用することになる。

また、図１１及び図１２に示すように、赤（Ｒ），緑（Ｇ），青（Ｂ）及び単色の白（Ｗ）の組み合わせにおいて、各々の色を用いるか否かを示す１ビット信号の組み合わせによる４ビット信号を一つの画素の色を表す信号としてもよい。図１１は、従来の１６ビットモードにこの４ビット信号を採用した場合（４画素分）の例を示している。図１２は、従来の２４ビットモードにこの４ビット信号を採用した場合（４画素分）の例を示している。この方式では、図４に示す１６色の全てを最小限のビット数で表すことができるので、入力画像信号をより高密度で伝送することができる。このため、入力画像信号を伝送するための通信電力等、入力画像信号の取り扱いに関する消費電力をより低減することができる。

また、図１３に示すように、図９における各色の上位ビットの一部分（例えば最上位ビット）を、単色の白（Ｗ）を用いるか否かを表す情報に用いてもよい。また、図１４に示すように、２４ビットモードにおいて、各色の下位ビットの一部分（例えば下位２ビット分）を、単色の白（Ｗ）を用いるか否かを表す情報に用いてもよい。また、図１３に示すような上位ビットを用いる方法を２４ビットモードに採用してもよいし、図１４に示すような下位ビットを用いる方法を１６ビットモードに採用してもよい。また、図９〜図１４に示す１６ビットモードの信号又は２４ビットモードの信号における考え方は、異なるビット数を有する入力画像信号にも適宜適用可能である。

図１３、図１４に示すような方法の場合、入力画像信号が第１処理回路１０だけでなく第２処理回路２０により処理される可能性もある場合等において、複数のビットを用いた単色の白（Ｗ）の情報により中間色を表すことができる。また、仮に表示パネル２に設けられた表示部５０がＲＧＢの色空間に対応した表示部である場合、単色の白（Ｗ）の情報を無視して色再現を行うこともできる。この場合、例えば図１３に示す方法のとき、赤（Ｒ），緑（Ｇ），青（Ｂ）の色値をそれぞれ１／２にすればよい。また、この場合に図１４に示す方法であれば、単色の白（Ｗ）が下位ビットである分、他の色への影響度がより少ない。このため、ＲＧＢの色空間における色再現でも色の変化がより小さく済む。

なお、図１０、図１３及び図１４に示す方法において、複数のビットにより表される色をどのように第１処理回路１０で１６色に置換するかは任意である。例えば、第１処理回路１０は、各色の最上位ビットから各色の有無を判断するというルールで色を置換するようにしてもよい。また、入力画像信号は、このルールを前提として生成されてもよい。この場合、最上位ビット以外のビットの値は問われない。なお、このルールが採用される場合、図５に示す置換パターンは採用されない。

また、第１処理回路１０による色の置換パターンは、入力画像信号が示す色に応じなくてもよい。図１５は、区分けされた表示領域内の各表示区で用いられる色の一例を示す図である。第１処理回路１０は、画素の座標と表示装置１の表示領域内における位置との対応関係に応じて複数の画素の各々の色を決定するようにしてもよい。この場合、第１処理回路１０には、例えば図１５に示すように、表示部５０の表示領域内のどこでどの色が用いられ得るのかを示す情報（置換情報）が反映された実装がされている。この場合、第１処理回路１０は、入力画像信号が示す画素の座標を置換後の色を示す情報として用い、入力画像信号が示す色に関する情報を無視する。

画素の座標と表示装置の表示領域内における位置との対応関係に基づいた色の置換は、例えば予め定められたフォーマットの画像を表示する場合に特に有効である。具体的には、図１５に示すような携帯機器のトップ画面では、各表示区の背景色と、この背景色が用いられる表示区内で情報を表示するための別の一色のみがあれば十分に情報を表示することができる。このため、このような画面で第１処理回路１０による色の置換を行うことで、消費電力を低減することができる。図１５の場合、例えば、全体の背景（Ｂｌｋ）に対する時刻情報（Ｗ）の表示が一つの表示区である。また、「メール」、「検索」、「アドレス帳」、「スケジュール」、「電話」、「設定」の各々の矩形領域が、これらのタイトルに応じた各々の表示区である。各々の表示区では、図４に示す上段の８色のうちいずれかの色が背景色として用いられている。また、各々の表示区では、図４に示す下段の８色のうちいずれかの色が情報（例えばタイトル及びシンボル図形等）を示す図として用いられている。なお、置換情報は、複数パターン設けられていてもよい。この場合、例えば、複数パターンの置換情報のうちいずれが採用されるのか、別途設けられた入力部（例えば表示部５０に設けられたタッチパネル等）を介して行われた入力に応じて決定される。

（適用例）
次に、図１６を参照して、上記の実施形態で説明した表示装置１の適用例について説明する。上記の実施例で説明した表示装置１は、スマートフォンその他のあらゆる分野の電子機器に適用することが可能である。言い換えると、係る表示装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

図１６は、本発明の表示装置１が適用されるスマートフォン７００の外観の一例を示す図である。スマートフォン７００は、例えばその筐体７１０の一面に設けられた表示装置７２０を備える。表示装置７２０は、本発明の表示装置１により構成されている。

画像処理部３は、表示パネル２と一体的でなくてもよい。画像処理部３が設けられた装置は、例えば上記のフレキシブルプリント基板４のような配線を介して、表示パネル２等の表示装置に接続される形態をとってもよい。

上記の実施形態では、透過型の液晶表示装置である場合について説明しているが、これは表示装置の具体的形態の一例であってこれに限られるものでない。例えば、本発明の表示装置は、反射型の液晶表示装置であってもよい。この場合、バックライトは設けられない。また、この場合、伸張係数値（α）を用いたバックライトの制御は省略される。

また、上記の実施形態においては、開示例として液晶表示装置の場合を例示したが、その他の適用例として、有機ＥＬ表示装置、その他の自発光型表示装置、あるいは電気泳動素子等を有する電子ペーパー型表示装置等、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能であることは言うまでもない。

また、省電力モードの場合に、画像の更新頻度（リフレッシュレート）を省電力モードでない場合に比して低下させてもよい。具体的には、第１処理回路１０から出力される信号の出力頻度、すなわち、画像処理後の画像データを構成する信号の出力頻度を省電力モードでない場合のリフレッシュレートに比して低下されたリフレッシュレートに応じた頻度とするようにしてもよい。リフレッシュレートを低下させることで、省電力モードにおける消費電力をより低減することができる。

上記の実施形態で第１処理回路１０が取り扱う色は図４に示す１６色であるが、これは第１処理回路１０が取り扱う色の具体例に過ぎず、これに限定されるものでない。第１処理回路１０が取り扱う具体的な色は適宜変更可能である。また、第１処理回路１０が取り扱う色の数は、１６以下の任意の自然数であってよい。具体例を挙げると、第１処理回路１０が取り扱う色は、図４の上段に示す８色又は図４の下段に示す８色であってもよい。ここで、第１処理回路１０は、図４の下段に示す８色のように、白色が加味された８色を画像に用いられる色とすることで、画像処理後の画像を明るくすることができる。

画像処理により加えられる色はＷに限られず、表示部５０を構成する副画素の色に応じて適宜変更可能である。具体的には、例えば単色の白（Ｗ）に代えて、単色の黄（Ｙ）等、他の色の副画素が採用されていてもよい。また、単色の白（Ｗ）に代えて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの補色が採用されていてもよい。また、伸張処理は、入力画像信号が示す色空間を保ったまま、画像の輝度を向上させる処理であってもよい。

上記の実施形態における入力画像信号で採用される色及び色値のビット数はあくまで一例であり、適宜変更可能である。その場合、例えば第１処理回路１０による色の置換パターン（図５参照）も、入力画像信号で採用される色及び色値のビット数に応じて適宜変更される。第２処理回路２０による処理の詳細についても、同様である。

また、上記の実施形態において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。

１ 表示装置
２ 表示パネル
３ 画像処理部
１０ 第１処理回路
２０ 第２処理回路
３１ 切替部
５０ 表示部

Claims (7)

1. 外部から入力された画像データに画像処理を施す画像処理部を備え、前記画像処理部により画像処理が施された画像データに応じた表示出力を行う表示装置であって、
   前記画像処理部は、
   画像に用いられる色数を１６以下の所定数に限定するために画像の色を単純置換する第１処理回路と、
   前記画像データに応じて前記表示装置に表示される画像を構成する複数の画素の輝度を向上させる演算処理を含む画像処理を行う第２処理回路と、
   前記第１処理回路又は前記第２処理回路のいずれか一方に画像処理を行わせる切替部と、を備え、
   前記切替部は、前記第２処理回路に画像処理を行わせ、当該第２処理回路よりもより省電力で画像処理を行う場合に前記第１処理回路に画像処理を行わせる
   表示装置。
2. 前記第１処理回路は、前記画素の座標と前記表示装置の表示領域内における位置との対応関係に応じて前記複数の画素の各々の色を決定する
   請求項１に記載の表示装置。
3. 前記第１処理回路は、白色が加味された８色を前記画像に用いられる色とする
   請求項１に記載の表示装置。
4. 前記第１処理回路は、前記画像で採用され得る色値と前記所定数の色との対応関係に基づいて前記画像を構成する複数の画素の色を決定する
   請求項１又は３に記載の表示装置。
5. 前記表示装置は、透過型の液晶表示装置である
   請求項１から３のいずれか一項に記載の表示装置。
6. 前記表示装置は、反射型の液晶表示装置である
   請求項１から３のいずれか一項に記載の表示装置。
7. 外部から入力された画像データに画像処理を施して表示装置に出力する画像処理装置であって、
   画像に用いられる色数を１６以下の所定数に限定するために画像の色を単純置換する第１処理回路と、
   前記画像データに応じて前記表示装置に表示される画像を構成する複数の画素の輝度を向上させる演算処理を含む画像処理を行う第２処理回路と、
   前記第１処理回路又は前記第２処理回路のいずれか一方に画像処理を行わせる切替部と、を備え、
   前記切替部は、前記第２処理回路に画像処理を行わせ、当該第２処理回路よりもより省電力で画像処理を行う場合に前記第１処理回路に画像処理を行わせる
   画像処理装置。

Images