JP2019113804A - 表示装置、画像処理装置、画像処理方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】消費電力の制限を行うために表示輝度を低下させる必要がある場合においても、入力画像全体の構図と明るさの確認を同時に行うことができる画像を出力する表示装置を提供する。【解決手段】本発明の表示装置は、入力画像を取得する取得手段と、前記入力画像に基づく第１画像と前記入力画像を縮小した第２画像とを含む合成画像を生成する合成手段と、前記合成画像に基づいて画像を表示する表示手段と、を備え、前記表示手段は、前記画像において、前記第１画像が表示される領域の輝度が前記第２画像が表示される領域の輝度よりも低くなるように、前記画像を表示することを特徴とする。【選択図】図１

Description

本発明は、表示装置、画像処理装置、画像処理方法、プログラム、および記憶媒体に関するものである。

近年、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像と呼ばれる、高輝度な画像を表示することのできる表示装置が実用化されている。このような表示装置のことをＨＤＲディスプレイと呼ぶ。ＨＤＲディスプレイでは、高輝度な画像を表示するためにバックライトを非常に高輝度で点灯する必要があるが、バックライトに供給することのできる電力には上限がある。そのため、ＨＤＲディスプレイでは、電力が上限を超えないようにするためにローディング制御と呼ばれる制御が行われる。ローディング制御は、消費電力が所定値以上の値をとらないようにするために、バックライト（発光部）の輝度を全体的に低下させる制御の技術である。

ローディング制御により、ディスプレイの消費電力を下げるためのバックライトの輝度を制御する技術として、特許文献１と特許文献２がある。特許文献１では、表示装置の寿命が短くなるのを防ぐため、表示装置の温度が高い場合にはバックライトの輝度を下げる技術が記載されている。また、輝度の高いコンテンツの表示サイズが規定サイズ以上に変更された場合に、バックライトの輝度を低下させる制御の技術として、特許文献２がある。

特開２００６−１１０８６号公報 特開２０１５−３８５２８号公報

しかしながら、特許文献１ならびに特許文献２において、バックライトの輝度を全体的に低下させると、入力画像本来の明るさを確認できないという課題がある。なお、特許文献２では、バックライトの輝度を下げる場合は、画像コンテンツの階調値を上げる階調変換処理を行うことで表示画面の輝度を保つようにしている。しかし、高階調の画像を表示する場合、画像の階調値を上げるための階調変換処理をしても、階調を上げた分に応じて輝度が向上せず表示する画像が暗くなってしまう。

図２は従来の課題を表す模式図である。図２において、理想的な表示では、例えば、入力画像の輝度が１０００ｎｉｔである場合は表示輝度も１０００ｎｉｔであり、入力画像の輝度が２０００ｎｉｔである場合は表示輝度も２０００ｎｉｔである。このように、入力画像の輝度と同等の輝度で表示が行われるのが理想的な表示である。これに対して、ローディング制御ありの場合は全体的に輝度を低下させる。例えば、入力画像の輝度が１０００ｎｉｔの場合は表示輝度が６５０ｎｉｔ程度に、入力画像の輝度が２０００ｎｉｔの場合は表示輝度が１３００ｎｉｔ程度にされており、全体の輝度が下がっている。このように、ローディング制御の実施により、ユーザが本来確認したい画像の明るさを確認できないという課題がある。

また、撮影現場で撮影内容の確認をするために利用するディスプレイでは、明るさと同時に画像全体の構図が確認できることも重要な要求である。しかし、上述した先行技術に
おいても、消費電力に由来する表示輝度制限を満たしつつ入力画像の明るさと構図を同時に確認する処理については言及がない。

そこで本発明では、消費電力の制限を行うために表示輝度を低下させる必要がある場合においても、入力画像全体の構図と明るさの確認を同時に行うことができる画像を出力する表示装置の提供を目的とする。

本発明の第１様態は、
入力画像を取得する取得手段と、
前記入力画像に基づく第１画像と前記入力画像を縮小した第２画像とを含む合成画像を生成する合成手段と、
前記合成画像に基づいて画像を表示する表示手段と、
を備え、
前記表示手段は、前記画像において、前記第１画像が表示される領域の輝度が前記第２画像が表示される領域の輝度よりも低くなるように、前記画像を表示する、
ことを特徴とする表示装置である。

本発明の第２様態は、
入力画像とを取得する取得工程と、
前記入力画像に基づく第１画像と前記縮小画像を縮小した第２画像とを含む合成画像を生成する合成工程と、
前記合成画像に基づいて画像を表示する表示工程と、
を含み、
前記表示工程では、前記画像において、前記第１画像が表示される領域の輝度が前記第２画像が表示される領域の輝度よりも低くなるように、前記画像を表示する、
ことを特徴とする画像処理方法である。

本発明の第３様態は、
入力画像の輝度を低下させた第１画像と前記入力画像を縮小した第２画像とを合成した合成画像を生成する生成手段と、
前記合成画像を出力する出力手段と、
を備える、
ことを特徴とする画像処理装置である。

本発明の第４様態は、
入力画像の輝度を低下させた第１画像と前記入力画像を縮小した第２画像とを合成した合成画像を生成する生成工程と、
前記合成画像を出力する出力工程と、
を含む、
ことを特徴とする画像処理方法である。

本発明によれば、消費電力の制限を行うために表示輝度を低下させる必要がある場合においても、入力画像全体の構図と明るさの確認を同時に行うことができる。

実施形態１に係る表示装置の概略を表すブロック図である。 従来の課題を表す模式図である。 実施形態１に係るレイアウト決定部の概略を表すブロック図である。 実施形態１に係るテーブル作成部の処理を表すフロー図である。 実施形態１に係る輝度補正部の処理を表すフロー図である。 実施形態１の変形例２に係る表示装置の概略を表すブロック図である。 実施形態２に係る表示判定部の処理を表すフロー図である。 実施形態３に係る画像制御装置の概略を表すブロック図である。 実施形態３に係るレイアウト決定部の概略を表すブロック図である。 実施形態３に係る表示判定部の処理を表すフロー図である。 実施形態１〜３に係る入力画像と表示画像の関係を表す図である。 実施形態４に係る画像処理装置および表示装置を表す模式図である。 実施形態４に係る平均的な輝度、消費電力などを説明する図である。 実施形態４に係る画像処理装置の概略を表すブロック図である。 実施形態４に係る入力画像データと合成画像データとの関係を表す図である。

以下、図面を参照して、本発明の例示的な実施形態について詳細に説明する。なお、本発明の技術的範囲は特許請求の範囲によって確定されるものであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせ全てが、本発明に必須とは限らない。

＜実施形態１＞
実施形態１では、入力された入力画像の平均輝度値が閾値以上である場合には、入力画像の輝度を低下させた画像（暗入力画像）と入力画像の縮小画像とを含む補正画像を出力（表示）する表示装置を説明する。このとき、入力画像の輝度を低下させた画像は、入力画像の構図を確認するための画像（構図画像）である。また、入力画像の縮小画像は、入力画像の輝度を確認するための画像である。

図１は実施形態１に係る表示装置の構成の概略を表すブロック図である。実施形態１の表示装置１０は、画像制御装置１１と表示部１０９と発光部１１０を備える。画像制御装置１１は、画像入力部１０１、輝度取得部１０２、レイアウト決定部１０３、縮小画像生成部１０４、画像合成部１０５、テーブル作成部１０６、輝度補正部１０７、制御部１０８を備える。

画像入力部１０１は、カメラや画像再生装置等の外部機器から画像が入力される。具体的には、ＨＤＭＩ（登録商標：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ
Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のインタフェースを利用して画像が入力される。入力された画像（入力画像）は縮小画像生成部１０４、画像合成部１０５、輝度取得部１０２へ出力される。

輝度取得部１０２は、入力画像の代表輝度として平均輝度値Ｌａを算出し、レイアウト決定部１０３およびテーブル作成部１０６へ出力する。

レイアウト決定部１０３は、輝度取得部１０２より入力される入力画像の平均輝度値Ｌａに基づいて、縮小画像を生成するか否かを判定する。また、レイアウト決定部１０３は縮小画像のサイズＣＳと表示位置ＤＰを決定する。レイアウト決定部１０３の詳細については後述する。

縮小画像生成部１０４は、入力画像に縮小処理を施すことによって縮小画像（第２画像）を生成する。生成する縮小画像のサイズＣＳはレイアウト決定部１０３より入力される。生成した縮小画像は画像合成部１０５へ出力される。なお、縮小画像のサイズＣＳ＝０
の場合は、縮小画像は生成されない。また、本実施形態では、縮小画像生成部１０４は、入力画像と同様の輝度である縮小画像を生成するが、それに限らず、人の視覚の上で入力画像と同じ輝度であると認識できる縮小画像であればよい。

画像合成部１０５は、レイアウト決定部１０３から入力された表示位置ＤＰに基づき、入力画像と縮小画像を合成し合成画像を作成し、輝度補正部１０７および制御部１０８へ出力する。このとき、入力画像は構図を確認するための画像（構図画像；第１画像）である。画像合成部１０５は、入力画像に縮小画像を重ねて合成画像を生成する。また、縮小画像が生成されていない場合、画像合成部１０５は、入力画像を出力する。

テーブル作成部１０６は、輝度取得部１０２より入力される平均輝度値Ｌａおよび、レイアウト決定部１０３より入力される縮小画像のサイズＣＳに基づいて、合成画像の縮小画像以外の部分に対応する輝度を補正する補正テーブルＴｂを作成する。テーブル作成部１０６の詳細については後述する。

輝度補正部１０７は、補正テーブルＴｂおよび、レイアウト決定部１０３より入力される縮小画像のレイアウト情報（縮小画像のサイズＣＳ、表示位置ＤＰ）に基づいて、画像合成部１０５から入力された合成画像の輝度を補正して輝度情報を生成する。輝度補正部１０７は生成した輝度情報を制御部１０８へ出力する。輝度補正部１０７の詳細については後述する。

制御部１０８は、入力された画像に基づいて、表示部１０９と発光部１１０とを制御する。具体的には、制御部１０８は、画像合成部１０５から入力された合成画像（または入力画像）を表示部１０９へ出力し、輝度情報を発光部１１０へ出力する。なお、制御部１０８は出力モード（動作モード）として入力画像モード（第２モード）と補正画像モード（第１モード）とを含む。制御部１０８は、画像合成部１０５から入力された画像が合成画像である場合は補正画像モードとして合成画像を表示部１０９へ出力し、画像合成部１０５から入力された画像が入力画像である場合は入力画像モードとして入力画像を表示部１０９へ出力する。これにより、制御部１０８は、表示部１０９と発光部１１０を制御し、表示する画像を設定する。つまり、出力モード（動作モード）は、前記合成画像に基づいて画像を表示する補正画像モード（第１動作モード）と、入力画像に基づいて画像を表示する入力画像モード（第２動作モード）とを含む。また、出力モードは、前記２つに限らず、例えば、入力画像をモノクロに変換した画像を表示するモードや入力画像の色彩調整した画像を表示するモードなど複数のモードを含んでいてもよい。例えば、入力された画像が合成画像か入力画像かを判別する情報が画像合成部１０５から入力され、制御部１０８は、その情報に基づいて出力モードを選択する。

表示部１０９は、発光部１１０から照射される光を合成画像（または入力画像）に基づいて変調し補正画像（または入力画像）を、図示しない表示パネル等に表示する処理を行う。つまり、表示部１０９は、入力された画像が合成画像である場合は補正画像を表示し、入力された画像が入力画像の場合は入力画像を表示する。表示パネルとしては、例えば液晶パネルやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）シャッター方式のパネルを利用することができる。このとき、補正画像は、合成画像の縮小画像以外に対応する部分の輝度を低下させた画像である。つまり、入力画像が表示される領域の平均輝度が、縮小画像が表示される領域の平均輝度よりも低くなるような補正画像が表示される。なお、輝度情報に応じて表示部１０９が、合成画像をさらに処理する場合などは、制御部１０８から輝度情報の入力があってもよい。

発光部１１０は、制御部１０８より入力される輝度情報に基づいて制御可能であり、バックライトなどの光源により表示部１０９を照射する発光手段である。このとき、発光部
１１０は、輝度情報に基づき、複数の光源の光量を決定する。光源としては、例えばＬＥＤや有機ＥＬを利用することができる。

次にレイアウト決定部１０３について詳細に説明する。図３はレイアウト決定部１０３の概略を表すブロック図である。レイアウト決定部１０３は、表示判定部１３１、サイズ決定部１３２、表示位置決定部１３３を備える。

表示判定部１３１は、輝度取得部１０２より入力された平均輝度値Ｌａが予め定められた閾値Ｌｔｈ以上である場合に「縮小画像の生成要」、平均輝度値Ｌａが閾値Ｌｔｈより小さい場合に「縮小画像の生成不要」と判定する。なお、本実施形態では、表示判定部１３１は、入力画像の平均輝度値Ｌａと閾値Ｌｔｈを比較し、縮小画像の生成の必要性を決定しているが、その限りではなく、閾値Ｌｔｈとの比較なく全ての入力画像に対し縮小画像を作成してもよい。判定した情報（判定情報）は、サイズ決定部１３２、および表示位置決定部１３３に入力される。なお、閾値Ｌｔｈは表示装置１０の消費電力を抑えるための、表示する画像の平均輝度の制限値である。また、本実施形態では、閾値Ｌｔｈは表示装置１０の電力特性（表示装置の消費電力と表示装置の出力輝度との関係の特性；ローディング特性）によって定まる値である。

サイズ決定部１３２は、表示判定部１３１によって「縮小画像の生成要」と判定された場合に、縮小画像のサイズＣＳを決定し、縮小画像生成部１０４およびテーブル作成部１０６、表示位置決定部１３３へ出力する。本実施形態では、縮小画像のサイズＣＳは入力画像のサイズＩＳ、および入力画像の平均輝度値Ｌａ、閾値Ｌｔｈによって決定される。このとき、下記の式が満たされればよい。

したがって、例えば、縮小画像のサイズＣＳ＝入力画像のサイズＩＳ×閾値Ｌｔｈ／（入力画像の平均輝度値Ｌａ×２）とすることができる。ただし、これに限らず、縮小画像のサイズＣＳは予め定められた固定値としてもよいし、ユーザが設定してもよい。また、「縮小画像の生成不要」と判定された場合は、縮小画像のサイズＣＳ＝０である。

表示位置決定部１３３は、表示判定部１３１によって「縮小画像の生成要」と判定された場合に、縮小画像の表示位置ＤＰを決定する。たとえば、縮小画像の表示位置ＤＰは、合成画像における、縮小画像の最も左上の画素が表示される座標や、縮小画像の中心の画素が表示される座標などである。決定された縮小画像の表示位置ＤＰは画像合成部１０５に出力される。さらに、縮小画像の表示位置ＤＰ、および縮小画像のサイズＣＳはレイアウト情報として輝度補正部１０７へ出力される。なお、縮小画像の表示位置ＤＰは、縮小画像のサイズＣＳを考慮して決定してもよいし、縮小画像のサイズＣＳに応じた固定位置でもよいし、ユーザが設定できるようにしてもよい。

次にテーブル作成部１０６について詳細に説明する。図４はテーブル作成部１０６の処理を表すフロー図である。テーブル作成部１０６はまず、輝度取得部１０２より入力画像の平均輝度値Ｌａを取得する（ステップ４０１）。次に取得した平均輝度値Ｌａが予め定められた閾値Ｌｔｈと比較され、平均輝度値Ｌａが閾値Ｌｔｈ以上であるか否かが判定される（ステップ４０２）。ステップ４０２において、平均輝度値Ｌａが閾値Ｌｔｈより小さかった場合、係数αは１．０と設定される（ステップ４０５）。係数αは、入力の輝度に乗算して出力の輝度を算出するために利用されるものであり、αが１．０の場合は出力の輝度が入力の輝度と等しい。ステップ４０２において平均輝度値Ｌａが閾値Ｌｔｈ以上
であった場合、補正画像における入力画像の輝度を低下させた画像（暗入力画像）の代表輝度として平均輝度値Ｌｂが算出される（ステップ４０３）。このとき、補正画像全体に対する縮小画像のサイズ（面積）の比率をｒとすると、補正画像全体に対する暗入力画像のサイズの比率は１−ｒである。また、縮小画像の平均輝度値は入力画像の平均輝度値Ｌａと実質的に等しい。そのため、テーブル作成部１０６は、暗入力画像の平均輝度値Ｌｂと入力画像の平均輝度値Ｌａと閾値Ｌｔｈとの間で、以下の式が成り立つように、平均輝度値Ｌｂを決定する。なお、上述のように、暗入力画像は入力画像の構図を確認するための画像（構図画像）である。

よって、暗入力画像の平均輝度値Ｌｂを以下の式の値にさせることで、実際に表示される補正画像の平均輝度値（代表輝度）を閾値Ｌｔｈと実質的に等しくできる。

次にテーブル作成部１０６は、暗入力画像の平均輝度値Ｌｂと入力画像の平均輝度値Ｌａの比から係数αを算出する（ステップ４０４）。つまり、係数α＝暗入力画像の平均輝度値Ｌｂ／入力画像の平均輝度値Ｌａである。最後に、テーブル作成部１０６は、出力輝度値を入力輝度値×αとする補正テーブルＴｂを作成して（ステップ４０６）終了する。そして、テーブル作成部１０６は、補正テーブルＴｂを輝度補正部１０７へ出力する。なお、本実施形態では係数αはＬｂ／Ｌａの値であり、補正画像の平均輝度値が閾値Ｌｔｈである。しかし、これに限定されず、係数αはＬｂ／Ｌａ以下の値であればよい。

次に輝度補正部１０７について詳細に説明する。図５は輝度補正部１０７の処理を表すフロー図である。輝度補正部１０７はまず、座標（ｘ，ｙ）における合成画像の輝度値Ｌｉｎを取得する（ステップ５０１）。レイアウト決定部１０３より入力される縮小画像のレイアウト情報に基づいて、座標（ｘ，ｙ）が縮小画像の内部であるか否かが判定される（ステップ５０２）。ステップ５０２において座標（ｘ，ｙ）が縮小画像内であった場合、縮小画像の輝度は補正される必要がないため、出力輝度値Ｌｏｕｔは合成画像の輝度値Ｌｉｎである（ステップ５０３）。ステップ５０２において座標（ｘ，ｙ）が縮小画像外であった場合、テーブル作成部１０６より入力される補正テーブルＴｂに基づいて補正された合成画像の輝度値Ｌｉｎが、出力輝度値Ｌｏｕｔに設定される（ステップ５０４）。最後に出力輝度値Ｌｏｕｔが座標（ｘ，ｙ）の輝度情報として出力される（ステップ５０５）。このように、輝度補正部１０７は、左上の画素から右下の画素まで、座標（ｘ，ｙ）を変更しながら全ての画素に対し、ステップ５０１からステップ５０５を実行し、全体の輝度を出力する。このような処理を行うことで、輝度補正部１０７は、縮小画像以外の部分に対応する輝度を低下させた合成画像の輝度情報を出力する。

そして、輝度補正部１０７から入力された輝度情報に基づき、発光部１１０は光源の光量を制御する。この制御により、縮小画像の部分に対応した光源は合成画像の輝度に応じた光量で発光し、縮小画像以外の部分に対応した光源は合成画像の輝度に応じた光量よりも低い光量で発光する。一方、表示部１０９は、入力された合成画像に基づき、表示パネル等の光の透過率を制御する。その結果、表示部１０９において、縮小画像は入力画像と実質的に等しい輝度で表示され、縮小画像以外の部分は入力画像の輝度を低下させたよう
な輝度で表示される。つまり、発光部１１０が、入力画像に対応する光源の光量を低下させることで、補正画像において入力画像に対応する領域の輝度が低下する。このため、入力画像が表示される領域の輝度が縮小画像が表示される領域の輝度よりも低くなる。また、表示部１０９が表示する画像（補正画像）の平均輝度値は閾値Ｌｔｈ以下の値である。表示される補正画像の平均輝度値が閾値Ｌｔｈ以下になるように、縮小画像の領域以外の領域の輝度が制御されている。

図１１（Ａ）は、実施形態１の処理を行った結果の表示の例を表す模式図である。図１１（Ａ）の表示画像は表示部１０９が出力（表示）する補正画像を示しており、入力画像の輝度を保ったまま縮小した画像（縮小画像）と入力画像の輝度を低下させた画像とを含む２画面表示が行われている。

以上、説明してきたように実施形態１によれば、入力画像の輝度を保った縮小画像と入力画像のサイズを保った構図画像とが画面に表示される。このため、ユーザが画像全体の構図と明るさを同時に確認することが可能であり、ユーザの利便性が向上する。しかも、縮小画像以外の部分（本実施形態では構図画像の部分）の輝度を低下させることで、表示される画像全体の平均輝度値を閾値Ｌｔｈ以下に抑えることが可能である。このため、消費電力を制限することができる。したがって、利便性と省電力を両立を図った表示装置を提供することができる。

（変形例１）
実施形態１では、制御部が合成画像と輝度情報を表示装置に出力し、表示装置における表示部が発光部から照射される光を合成画像に基づいて変調することで補正画像を表示していた。それに対し、本変形例では、画像制御装置が補正画像を生成し、制御部が出力した補正画像の情報に基づいて、表示装置が補正画像を表示する例を説明する。このとき、実施形態１と異なり、表示装置における発光部は入力された補正画像に応じて発光量を変化することができるものとする。また、表示部は発光部が発光部から照射される光を入力された補正画像に基づき変調することで入力された補正画像をそのまま表示することができるものとする。

変形例１に係る表示装置は実施形態１と同様に図１である。変形例１では、輝度補正部１０７、および制御部１０８、表示部１０９、発光部１１０の処理が実施形態１と異なるため、以下、実施形態１における同名の機能部との差分を説明する。なお、その他の機能部については実施形態１の表示装置と同様であるため説明は省略する。

輝度補正部１０７は、実施形態１と同様に合成画像の輝度値を補正し輝度情報を生成する。さらに、輝度補正部１０７は、補正した輝度情報を合成画像に適用させ、補正画像を生成する。生成された補正画像は制御部１０８に出力される。なお、輝度補正部１０７に入力された画像が入力画像であれば、輝度補正部１０７は、入力画像をそのまま制御部１０８に出力する。

制御部１０８は、補正画像（または入力画像）を表示部１０９と発光部１１０に出力する。表示部１０９と発光部１１０は、入力された補正画像（または入力画像）を表示パネル等に表示する。

以上、変形例１によれば、画像制御装置が平均輝度値を閾値Ｌｔｈ以下に下げた補正画像を作成することができる。このため、例えば、画像制御装置がインターネット等を通じて補正画像のデータを簡易に共有することができ、補正画像を共有された他の表示装置が画像を表示する場合でも実施形態１と同様の効果を得ることができる。

（変形例２）
変形例２は変形例１と同様に、画像制御装置が補正画像を生成し、制御部が出力した補正画像の情報に基づいて表示装置が補正画像を表示する例を説明する。なお、変形例１と同様に、表示装置における発光部は入力された補正画像に応じて発光量を変化することができるものとする。また、表示部は発光部が発光部から照射される光を入力された補正画像に基づき変調することで入力された補正画像をそのまま表示することができるものとする。

図６は変形例２に係る表示装置６０の概略を表すブロック図である。変形例２に係る表示装置６０は、画像制御装置６１と表示部６０９と発光部６１０を備える。画像制御装置６１は、画像入力部１０１、輝度取得部１０２、レイアウト決定部１０３、縮小画像生成部１０４、画像合成部６０５、テーブル作成部１０６、輝度補正部６０７、制御部６０８を備える。ここで、画像合成部６０５、および輝度補正部６０７、制御部６０８、表示部６０９、発光部６１０の処理は実施形態１の同名の機能部と差分があるため、差分部分について説明を行う。その他の機能部については実施形態１の表示装置と同様であるため説明は省略する。

輝度補正部６０７は画像入力部１０１から入力画像が入力され、テーブル作成部１０６から補正テーブルＴｂが入力される。なお、補正テーブルＴｂが持つデータは実施形態１と同様のデータである。輝度補正部６０７は、入力画像に補正テーブルＴｂを適用し、輝度の低下を行う。その際、実施形態１のように画素の座標の位置で処理を変えず、全ての座標に対して輝度の低下が行われる。このとき、輝度補正部６０７は図５における、ステップ５０１、ステップ５０４、ステップ５０５のみを入力画像の輝度に対して行う。その後、輝度補正部６０７は、入力画像に輝度の低下の情報を適用し、入力画像の輝度を低下させた画像を生成し、これを暗入力画像として画像合成部６０５に出力する。このとき、暗入力画像は入力画像の構図を確認するための構図画像としての役割をもつ。

画像合成部６０５は、縮小画像生成部１０４から入力された縮小画像と、輝度補正部６０７から入力された暗入力画像を合成することで補正画像を生成する。続いて、画像合成部６０５は、補正画像を制御部６０８へ出力する。なお、縮小画像が生成されていない場合は、画像合成部６０５は、実施形態１と同様に入力画像を出力する。

制御部６０８は、補正画像（または入力画像）を表示部６０９と発光部６１０に出力する。表示部６０９と発光部６１０は、入力された補正画像（または入力画像）を表示パネル等に表示する。

以上、変形例２によれば、実施形態１と同様に、入力画像の輝度を保った縮小画像と輝度を低下させた入力画像との両方を含む画像を表示部１０９から出力することができる。また、輝度補正部１０７は入力画像の全ての座標に輝度低下の処理を行うため、補正対象の座標が縮小画像内であるかを判定する処理（図５のステップ５０２）が必要ない。そのため変形例１よりも画像制御装置の処理を簡易に実現することができる。

（変形例３）
実施形態１では入力画像や暗入力画像、補正画像の代表輝度として平均輝度値に基づき画像の生成が行われているが、その限りではない。例えば、代表輝度として画像をブロック分割した各ブロックの最高輝度値の平均値（以下、最高輝度平均値という）に基づいてもよい。発光部の１つの光源（ＬＥＤ、有機ＥＬ等）が液晶パネルに照射できる範囲をブロックの単位とすると、各光源が出力すべき輝度はブロックの最高輝度値に依存するためである。この場合、実施形態１における、「平均輝度値」を「最高輝度平均値」と読みかえることで実現できる。以上によれば、発光部の内部構成を考慮できるため、消費電力の
低下と発光部の輝度の低下を、より高精度に関連づけることができる。なお、実施形態１の平均輝度値、変形例３の最高輝度平均値に限らず、代表輝度として、入力画像や暗入力画像、補正画像の輝度の中央値、最頻値などに基づいて画像の生成が行われてもよい。

（変形例４）
実施形態１では、レイアウト決定部１０３が縮小画像を生成するか否か判定することにより、補正画像の表示を行うか否かが決定されるが、実施形態１と同様の効果を得るには、その限りではなく制御部１０８が補正画像の表示を行うか決定してもよい。この場合、レイアウト決定部１０３は常に縮小画像を生成すると判定する。すると、画像合成部１０５は常に合成画像を生成し、制御部１０８に常に合成画像を出力する。

また、変形例４では、画像入力部１０１は、入力画像を制御部１０８にも出力する。輝度取得部１０２は入力画像の平均輝度値Ｌａを制御部１０８へも出力する。輝度補正部１０７は、補正した輝度情報とともに、入力画像の各画素の輝度値（入力画像の輝度情報）を制御部１０８に出力する。

そして、制御部１０８は、入力画像の平均輝度値Ｌａが閾値Ｌｔｈ以上であれば、出力モードを補正画像モードにする。また、制御部１０８は、平均輝度値Ｌａが閾値Ｌｔｈ未満であれば、出力モードを入力画像モードにする。このとき、出力モードが入力画像モードであれば、制御部１０８は入力画像の輝度情報を発光部１１０に出力する。以上によれば、変形例４は、実施形態１と同じ効果が得ることができる。

＜実施形態２＞
実施形態２は、入力画像の平均輝度値に対する閾値を２種類設け、平均輝度値が２つの閾値の間の値である場合に、入力画像の縮小画像のみを表示するものである。本実施形態では、第１の閾値Ｌｔｈ１と第２の閾値Ｌｔｈ２の２種類の閾値が設定され、第１の閾値Ｌｔｈ１は第２の閾値Ｌｔｈ２より小さい値とする。なお、この２つの閾値は予め設定しておいてもよいし、ユーザからの入力であってもよい。また、本実施形態における第１の閾値Ｌｔｈ１は実施形態１の閾値Ｌｔｈと同じ値であり、表示装置の電力特性（ローディング特性）によって定まる値である。

実施形態２に係る表示装置の概略を表すブロック図は実施形態１と同様に図１である。実施形態２の表示装置１０は、画像制御装置１１と表示部１０９と発光部１１０を備える。画像制御装置１１は、画像入力部１０１、輝度取得部１０２、レイアウト決定部１０３、縮小画像生成部１０４、画像合成部１０５、テーブル作成部１０６、輝度補正部１０７、制御部１０８を備える。また、レイアウト決定部１０３は、図３の構成と同様に、表示判定部１３１、サイズ決定部１３２、表示位置決定部１３３を備える。以下、実施形態１と処理の異なる画像合成部１０５および表示判定部１３１、サイズ決定部１３２について、実施形態１における同名の機能部との差分を説明する。

表示判定部１３１は、輝度取得部１０２が入力する入力画像の平均輝度値Ｌａに基づいて縮小画像の生成を行うか否かを判定する。また、表示判定部１３１は、縮小画像の生成が必要であると判定した場合は、表示レイアウトも併せて判定する。この表示レイアウトの判定では、表示画像が、「入力画像の縮小画像」、「縮小画像と輝度低下を行った入力画像とを合成した画像」、の２つの画像から選択され判定される。なお、判定した情報（判定情報）はサイズ決定部１３２、および表示位置決定部１３３へ出力される。

図７は表示判定部１３１の処理を表すフロー図である。表示判定部１３１はまず、輝度取得部１０２より入力画像の平均輝度値Ｌａを取得する（ステップ７０１）。次に平均輝度値Ｌａが第１の閾値Ｌｔｈ１より小さいか否かが判定される（ステップ７０２）。

ステップ７０２において平均輝度値Ｌａが第１の閾値Ｌｔｈ１より小さい場合は、「縮小画像の生成不要」と判定される（ステップ７０３）。ステップ７０２において平均輝度値Ｌａが第１の閾値Ｌｔｈ１以上であった場合、平均輝度値Ｌａが第２の閾値Ｌｔｈ２より小さいか否かが判定される（ステップ７０４）。

ステップ７０４において平均輝度値Ｌａが第２の閾値Ｌｔｈ２より小さい場合は、「縮小画像の生成要（１画像）」と判定される（ステップ７０５）。このとき、「縮小画像の生成要（１画像）」とは、表示画像として入力画像の縮小画像のみを表示するレイアウトが選択されることを示す。

ステップ７０４において平均輝度値Ｌａが第２の閾値Ｌｔｈ２以上であった場合、「縮小画像の生成要（２画像）」と判定される（ステップ７０６）。このとき、「縮小画像の生成要（２画像）」とは、表示画像として入力画像の縮小画像と輝度を低下させた入力画像とを表示する補正画像のレイアウトが選択されることを示す。以上が、表示判定部１３１の処理を表すフローである。

サイズ決定部１３２は、縮小画像のサイズＣＳを決定する。このとき、表示判定部１３１が「縮小画像の生成不要」と判定している場合は、実施形態１で「縮小画像の生成不要」と判定していた場合と同様に縮小画像のサイズＣＳ＝０と決定される。また、表示判定部１３１が「縮小画像の生成要（２画像）」と判定している場合は、実施形態１で「縮小画像の生成要」と判定していた場合と同様に縮小画像のサイズＣＳが決定される。

一方、表示判定部１３１が「縮小画像の生成要（１画像）」と判定している場合は、サイズ決定部１３２は縮小画像のサイズＣＳを、縮小画像のサイズＣＳ＝入力画像のサイズＩＳ×縮小率ｒの式から決定する。このとき、縮小画像の縮小率ｒは、第１の閾値Ｌｔｈ１を平均輝度値Ｌａで除算した値である。つまり、ｒ＝Ｌｔｈ１／Ｌａである。なお、本実施形態では縮小画像のサイズＣＳを最大限に大きくするために、縮小率ｒ＝Ｌｔｈ１／Ｌａとしている。縮小率ｒは大きな値である方が望ましいが、その限りではなく、縮小率ｒはＬｔｈ１／Ｌａ以下の値であればよい。

画像合成部１０５は、実施形態１と同様に、レイアウト決定部１０３から入力されたレイアウト情報から合成画像を生成する。ただし、レイアウト情報の判定情報が「縮小画像の生成要（１画像）」である場合は、画像合成部１０５は、入力画像ではなく輝度が０である画像を代わりに用いて、合成を行う。これは、縮小画像が、入力画像全体の構図を確認するための画像である構図画像としての役割を兼ねており、補正画像において入力画像の輝度を低下させた画像が必要ないためである。なお、本実施形態では、輝度が０である画像を合成に用いているが、それに限定されず、どのような画像を用いてもよい。

図１１（Ａ）、および図１１（Ｂ）は実施形態２における入力画像と表示画像の関係を表す図である。ここで表示画像は、表示部１０９が表示する画像を示す。図７のステップ７０６が行われた場合、図１１（Ａ）の補正画像が表示され、ステップ７０５が行われた場合、図１１（Ｂ）の補正画像が表示される。図１１（Ｂ）の表示画像は、入力画像の輝度を保った状態でやや縮小した画像を１画面表示した様子を示している。

以上、説明してきたように実施形態２によれば、入力画像の平均輝度値が閾値をわずかに超える場合には、入力画像がわずかに縮小される。このとき、入力画像と同じ明るさであり、入力画像より少し小さい画像が縮小画像として表示され、入力画像の構図も確認することができる。そのため、小さな縮小画像と輝度を低下させた入力画像との両方を表示する実施形態１よりも、入力画像に近い１つの縮小画像により、ユーザが画像の構図と明
るさを一度に認識しやすい。

＜実施形態３＞
実施形態３は、入力画像の表示と補正画像の表示の切り替わりが頻繁に発生しないようにするものである。実施形態１では、制御部１０８の出力モードによって、表示部１０９が表示する画像が異なる。具体的には、表示部１０９は、補正画像モードの場合は補正画像を表示し、入力画像モードの場合は入力画像を表示する。そして、入力画像の平均輝度値に基づき、出力モードは選択されるため、入力画像の平均輝度値が変化するたびに表示部１０９が表示する画像が変わり、ユーザの表示画像への集中が欠落する可能性がある。

図８は実施形態３に係る画像制御装置３１の概略を表すブロック図である。実施形態３の表示装置は、画像制御装置３１と表示部１０９と発光部１１０とを備える。図８の画像制御装置３１は、画像入力部１０１、輝度取得部１０２、レイアウト決定部３０３、縮小画像生成部１０４、画像合成部１０５、テーブル作成部１０６、輝度補正部１０７、制御部１０８、切替指示部３０１を備える。なお、レイアウト決定部３０３は、表示判定部３３１、サイズ決定部１３２、表示位置決定部１３３を備え、図９の構成である。既に説明した実施形態１と同一の機能部には同一の符号を付与しており、詳細な説明は省略する。以下、表示判定部３３１と実施形態１の表示判定部１３１との差分部分と切替指示部３０１について説明をする。

切替指示部３０１は、制御部１０８の出力モードが補正画像モードである場合に、制御部１０８が入力画像をそのまま表示する切替を行う指示が入力される。本実施形態では、ユーザが切替指示を入力するものとするが、それに限らず、例えば、切替指示部３０１が一定時間ごとに切替指示を生成してもよい。また、ユーザからの切替指示は、ボタン等の操作手段を利用して行うものとするが、本実施形態では特別に図示しない。切替指示部３０１は、切替指示をレイアウト決定部３０３の表示判定部３３１へ出力する。

表示判定部３３１は、輝度取得部１０２が入力する平均輝度値および、ユーザからの指示に基づいて縮小画像の生成を行うか否かを判定する。判定された情報（判定情報）は実施形態１と同様にサイズ決定部１３２、および表示位置決定部１３３へ出力される。

図１０は表示判定部３３１の処理を表すフロー図である。表示判定部３３１はまず、出力モードが補正画像モードであるか否か（現在の表示状態が補正画像表示中であるか否か）を判定する（ステップ１００１）。ステップ１００１において出力モードが補正画像モード（補正画像が表示中）である場合、次にユーザからの切替指示の有無が判定される（ステップ１００５）。ステップ１００５においてユーザからの切替指示がなかった場合は、「縮小画像の生成要」と判定される（ステップ１００６）。ステップ１００１において補正画像モード（補正画像表示中）でなかった場合および、ステップ１００５においてユーザからの切替指示があった場合は、輝度取得部１０２より切替指示の時点の入力画像の平均輝度値Ｌａが取得される（ステップ１００２）。次に平均輝度値Ｌａが閾値Ｔｈより小さいか否かが判定される（ステップ１００３）。ステップ１００３において平均輝度値Ｌａが閾値Ｔｈより小さかった場合、「縮小画像の生成不要」と判定される（ステップ１００４）。ステップ１００３において平均輝度値Ｌａが閾値Ｔｈ以上であった場合は、「縮小画像の生成要」と判定される（ステップ１００６）。また、本実施形態における閾値Ｔｈは、実施形態１の閾値Ｌｔｈと同値とするが、その限りではない。

以上の処理が行われることで、切替指示（ユーザの指示）および入力画像の輝度に応じて出力モード（動作モード）が入力画像モードと補正画像モードとで切り替えられる（設定を変更できる）。また、切替指示がない限り、補正画像モードから入力画像モードへの切り替わりは起きず、制御部１０８において継続して合成画像が出力される。そのため、
実施形態３によれば、入力画像の輝度が変化するたび頻繁に、表示部１０９における表示と補正画像表示とが切り替わることを防止することができ、ユーザの画像への集中の欠落を防止できる。

（変形例５）
実施形態３と同様の効果を得るために、制御部１０８が出力画像の切替の判定を行ってもよい。このとき、実施形態１の変形例４と同様の構成に切替指示部３０１を加え、切替指示部３０１から制御部１０８に切替指示が入力されるものとする。

変形例４では、制御部１０８に入力画像と合成画像とがともに入力されており、入力画像の平均輝度値Ｌａも入力されている。そこで、本変形例では、制御部１０８は、出力モードが補正画像モードであり、かつ、入力画像の平均輝度値Ｌａが閾値Ｔｈより小さい場合は、切替指示部３０１から切替指示が入力されない限り、出力モードを入力画像モードに切り替えず補正画像モードとする。それ以外の場合は、変形例４と同様に、制御部１０８は、平均輝度値Ｌａが閾値Ｔｈより小さければ出力モードを入力画像モードにし、平均輝度値Ｌａが閾値Ｔｈ以上であれば出力モードを補正画像モードにする。以上により、実施形態３と同様の効果を得ることができる。

＜実施形態４＞
実施形態１〜３では、入力画像と縮小画像とを合成し合成画像とし、合成画像の入力画像に対応する部分の輝度が低下している画像を表示する表示装置を説明した。それに対し、実施形態４では表示装置が表示する画像を生成する画像処理装置について説明する。実施形態４の画像処理装置は、入力画像に基づいて生成した低輝度画像と、入力画像を縮小した縮小画像とを合成した合成画像を生成して表示装置に出力する。また、実施形態４の画像処理装置と表示モジュールを備えた表示装置であってもよい。

図１２は、実施形態４の画像処理装置２０００および表示装置３０００の装置構成を示す模式図である。本実施形態４では、画像処理装置２０００と表示装置３０００とがそれぞれ別個の構成である場合について説明するが、表示装置３０００に画像処理装置２０００が含まれるものであってもよい。

画像処理装置２０００は、表示装置３０００に画像データを出力する。画像処理装置２０００は、例えばパーソナルコンピュータであるとする。なお、画像処理装置２０００は、スマートフォンやタブレットであってもよい。

表示装置３０００は、入力した画像データに基づいて画面に画像を表示する表示装置である。例えば、表示装置３０００は、２次元状に配置された複数の発光素子を備え、画像データの各画素の画素値（階調値）に基づいて各発光素子を発光させて画像を表示する自発光型の表示装置であるとする。例えば、発光素子は有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎａｎｃｅ素子（有機ＥＬ素子）であるとする。即ち、表示装置３０００は、有機ＥＬディスプレイであるとする。

有機ＥＬディスプレイは、画像データの平均的な輝度（階調値）が高いほど、画面に表示される表示輝度の上限値が低下する場合がある。画像データの平均的な輝度（階調値）が高い場合、複数の発光素子に流そうとする電流が増加することから電圧降下が発生することがある。このような現象は、発光素子を駆動するためのドライバの能力や、電源の容量によって発生する場合がある。結果的に所望の電圧、および電流を各発光素子に印加できない場合がある。その結果、発光素子の発光強度が低下し、表示輝度の上限値が低下する。

また、消費電力の観点から、画像データの平均的な輝度（階調値）が高いほど、表示装置は画面に表示される表示輝度の上限値を低下させることがある。図１３（Ａ），（Ｂ）は、画像データの平均的な輝度と、消費電力および発光素子の発光レンジとの関係を示す模式図である。点線は、消費電力を示す。斜線領域は発光素子の発光レンジを示す。画像データの平均的な輝度は、画像データの全ての画素の階調値が最大である場合、即ち画像データが全白画像である場合を１００％として相対値で表す。消費電力は、画像データが全白画像である場合にＰｍａｘであり、画像データが全黒画像である場合にＰｍｉｎである。また、発光素子の発光可能なレンジを０〜１であるとする。つまり、発光素子が発光可能な最大発光強度まで発光できる状態が１であり、発光素子が全く発光できない状態の発光強度が０である。画像データの平均的な輝度を変化させる例として、図１３（Ｃ）にあるように、黒背景の画像データの全体に対して、白画像の領域を変化させる場合を考える。この場合、画像データの全体における白画像の領域の面積比が、平均的な輝度の値に相当する。

図１３（Ａ）は、消費電力による発光素子の発光レンジを制御しない場合の関係を示す模式図である。各画素の輝度に応じて対応する一定の発光レンジで各発光素子が発光することから、有機ＥＬディスプレイで消費される消費電力が増加するに従い、画像データの平均的な輝度は線形的に増加する。発光素子の消費電力が発光素子の発光量に比例するとする。常に、発光素子の発光可能なレンジを０〜１の範囲で制御すると、画像データの平均的な輝度が増加する場合に、消費電力が増加する。

図１３（Ｂ）は、消費電力による発光素子の発光レンジを制御する場合の関係を示す模式図である。例えば、消費電力が電力閾値Ｐｔｈ以下になるように制御するとする。この場合、画像データの平均的な輝度が増加し、消費電力が電力閾値Ｐｔｈより大きくなるまでは、発光素子の発光レンジを制御しない。一方で、画像データの平均的な輝度が増加し、消費電力が電力閾値Ｐｔｈより大きくなった場合、発光素子の発光レンジの上限値を低下させる。具体的には、画像データにおける白領域の面積比（画像データの平均的な輝度）が所定の値Ｌｔｈより高くなった場合に、白領域の表示輝度が低下することとなる。したがって、平均的な輝度の増加による消費電力の増加を、各発光素子が消費する電力の低下によって抑制することにより、消費電力を電力閾値Ｐｔｈ以下に抑えることが可能となる。

発光素子の発光レンジの制御は、例えば発光素子を駆動するドライバの駆動電流や、パルス幅変調制御で駆動する際のパルス幅等を制限することにより実行される。また、画像データの階調値を全体的に低下させるゲインをかけた暗画像データに基づいて、発光素子の制御を行うことにより実行されてもよい。このような制御を消費電力制御（ローディング制御）とする。

このような消費電力制御は、例えば、液晶パネルとバックライトとを用いた表示装置でも実行可能である。バックライトが、個別に発光量を制御可能な複数の発光領域を有する照明装置であり、対応する画像データの領域の画素値に応じて発光量を制御する場合、画像データによって、消費電力が増加するという課題が生じる。このような場合、画像データに応じて設定された各発光領域の発光量から消費電力を算出し、算出された消費電力Ｐ０が電力閾値Ｐｔｈより高い場合、Ｐｔｈ／Ｐ０より小さい係数を設定された各発光領域の発光量に乗算して各発光領域の発光量を決定する。

上述のように、消費電力が一定の値以下となるように制御する場合、表示装置の表示輝度レンジが画像データによって変動するという課題がある。具体的には、同じ階調値を有する白領域であっても、画像データにおける白領域の面積比が所定の値Ｌｔｈ以下で表示される場合と、そうでない場合で、表示装置における表示輝度が異なることがある。

実施形態４の画像処理装置は、このような表示装置で入力画像データに基づく画像を出力する場合に、消費電力制御による表示輝度の低下の影響を抑制して、入力画像データに基づく画像を表示することを可能とする。具体的には、画像処理装置２０００は、輝度を変えずに入力画像データを縮小した縮小画像データを、輝度を低下させるように画像処理した暗画像データに重畳して合成して、平均的な輝度（平均輝度）が閾値を超えない画像データを生成して出力する。これにより、表示装置で出力された画像データに基づいて画像を表示する場合に消費電力制御による表示輝度の低下が抑制され、ユーザは、縮小画像によって入力画像データの輝度を確認することが可能となる。一方で、暗画像データによって、ユーザが入力画像データの全体の構図を、表示装置の画面全体で確認することが可能となる。

図１４は、画像処理装置２０００の機能ブロックを示すブロック図である。画像処理装置２０００は、入力部２００１、装置情報取得部２００２、平均輝度取得部２００３、縮小処理部２００４、画像処理部２００５、合成部２００６、および出力部２００７を備える。また、画像処理装置２０００は、各機能ブロックの動作を制御するＣＰＵ２００８、およびＣＰＵ２００８が各機能ブロックの動作を制御するために用いるプログラムを記憶するメモリ２００９を備える。以降、各機能ブロックの処理は、ＣＰＵ２００８の制御に基づいて実行されるとする。

入力部２００１は、入力画像データを入力する入力インターフェースである。入力部２００１は、画像処理装置２０００の外部の画像出力装置と接続し、入力画像データを取得するとする。なお、入力部２００１は、メモリ２００９や画像処理装置２０００内部の不図示の他の記憶媒体から入力画像データを入力してもよい。入力部２００１は、入力画像データを平均輝度取得部２００３、縮小処理部２００４、および画像処理部２００５に出力する。

装置情報取得部２００２は、表示装置３０００の消費電力制御に関する特性を示す情報を取得する。具体的には、装置情報取得部２００２は、表示装置３０００が表示輝度のレンジを低下させる平均的な輝度（平均輝度）の閾値Ｌｔｈを示す情報を取得する。装置情報取得部２００２は、閾値Ｌｔｈをメモリ２００９に出力して、記憶させる。例えば、閾値Ｌｔｈは、５０％であるとする。

平均輝度取得部２００３は、入力画像データの平均的な輝度Ｌａ（平均輝度）を取得する。平均輝度取得部２００３は、入力画像データの平均的な輝度Ｌａをメモリ２００９に出力して、記憶させる。例えば、入力画像データの平均的な輝度Ｌａは、８０％であるとする。

縮小処理部２００４は、メモリ２００９から読み出した縮小率ｒで、入力画像データを縮小した縮小画像データを生成する。縮小処理部２００４は、縮小画像データをメモリ２００９に出力して、記憶させる。縮小率ｒは、閾値Ｌｔｈに応じて設定された値であるとする。例えば、閾値Ｌｔｈが５０％である場合、縮小率ｒは、０．２であるとする。このとき、縮小画像データの平均的な輝度は、入力画像データの平均的な輝度Ｌａと実質的に同じである。

画像処理部２００５は、メモリ２００９から読み出したゲインｇで、入力画像データの階調値を補正して、暗画像データを生成する。画像処理部２００５は、暗画像データをメモリ２００９に出力して、記憶させる。ゲインｇの算出方法は後述する。

合成部２００６は、メモリ２００９から読み出した縮小画像データ（第２画像）を、メ
モリ２００９から読み出した暗画像データ（第１画像）に重畳して合成し、合成画像データを出力する。合成部２００６は、縮小画像データの合成位置を示す情報を、メモリ２００９から読み出して合成処理に用いる。合成部２００６は、合成画像データをメモリ２００９に出力して、記憶させる。合成位置を示す情報は、合成画像データにおける縮小画像データの最も左上の画素が表示される座標や、縮小画像データの中心の画素が表示される座標などである。なお、合成位置を示す情報は、あらかじめ決定しておいてもよいし、ユーザから入力があってもよい。

出力部２００７は、メモリ２００９から合成画像データを読み出して、表示装置３０００に出力する。

ゲインｇの決定方法について、説明する。ＣＰＵ２００８は、メモリ２００９から閾値Ｌｔｈ、入力画像データの平均的な輝度Ｌａ、および縮小率ｒを取得する。ＣＰＵ２００８は、式１に基づいて、ゲインｇを決定する。

上述したように、閾値Ｌｔｈが５０％、入力画像データの平均的な輝度Ｌａが８０％、および縮小率ｒが０．２であるとすると、ゲインｇは式１より約０．５３以下となる。ＣＰＵ２００８は、ゲインｇを式１の範囲内のいずれかに決定する。例えば、ゲインｇを０．５０と決定するとする。つまり、ＣＰＵ２００８は、合成画像データの平均的な輝度が前記所定の閾値以下となるように、入力画像データの平均的な輝度に対する暗画像データの平均的な輝度の低下度合い（ゲインｇ）を決定する。

画像処理部２００５は、ゲインｇを入力画像データの各画素の階調値に乗算して暗画像データを生成する。

図１５は、入力画像データと、合成画像データとの関係を示す模式図である。図１５（Ａ）は、入力画像データを示す。図１５（Ｂ）は、その入力画像データから生成される合成画像データを示す。入力画像データは、平均的な輝度が８０％となる画像データであり、中央付近に周縁部に周期的な構造をもった白領域を有する画像を示す。図１５（Ｂ）は、本実施形態における画像処理装置２０００によりゲインｇ＝０．５０を用いて生成された合成画像データを示す模式図である。

また、図１５（Ｃ）は、入力画像データに基づいて、表示装置３０００が画像を表示した場合に表示される画像を示す模式図である。なお、表示装置３０００は、入力された画像の平均的な輝度が、所定の閾値Ｌｔｈよりも高い場合に、そうでない場合よりも表示装置３０００が表示可能な輝度の上限値を低減するものとする。図１５（Ｃ）に示すように、入力画像データに基づいて表示装置３０００が画像を表示する場合、入力画像データの平均的な輝度Ｌａが閾値Ｌｔｈを超えることから、表示可能な輝度の上限値は低減する。その結果、表示輝度が低減し、白領域の輝度が下がる。したがって、ユーザは入力画像データが示す本来の表示輝度を確認することが困難である。

本実施形態の画像処理装置２０００によれば、合成画像データの平均的な輝度が閾値Ｌｔｈを超えないように、合成画像データを生成する。したがって、合成画像データに基づいて表示装置３０００が画像を表示する場合に、消費電力制御による縮小画像データの表示輝度の低下が抑制され、図１５（Ｂ）に示すような画像が表示される。

図１５（Ｂ）のように画像が表示されることにより、ユーザは、縮小画像データに基づく画像が表示される領域Ｒａによって、入力画像データが示す本来の表示輝度を確認することが可能となる。また、ユーザは、暗画像データに基づく画像が表示される領域Ｒｂによって、入力画像データの構図や細部について確認することが可能となる。

なお、本実施形態では、合成画像データを出力する画像処理装置について例示して説明したが、上述した通り、さらに合成画像データを用いて画像を表示する表示モジュールを備える表示装置で本実施形態の処理を実行することも可能である。

また、上述の実施形態３のようにして合成画像データを出力（生成）する動作モード（出力モード）と、入力画像データを出力する動作モードとを、ユーザの選択に応じて切り換えて実行することも可能である。また、入力画像データの平均的な輝度と、表示装置の特性情報に基づいて、上述の動作モードを切り替えるものであってもよい。例えば、入力画像データに基づいて画像を表示した場合に、消費電力制御によって輝度が低下する場合に、本実施形態の処理を行うものであってもよい。

なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサーと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサーがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像入力部
１０４ 縮小画像生成部
１０５ 画像合成部
１０９ 表示部

Claims (20)

1. 入力画像を取得する取得手段と、
   前記入力画像に基づく第１画像と前記入力画像を縮小した第２画像とを含む合成画像を生成する合成手段と、
   前記合成画像に基づいて画像を表示する表示手段と、
   を備え、
   前記表示手段は、前記画像において、前記第１画像が表示される領域の輝度が前記第２画像が表示される領域の輝度よりも低くなるように、前記画像を表示する、
   ことを特徴とする表示装置。
2. 前記合成手段は、前記第１画像に前記第２画像が重ねられた前記合成画像を生成する、
   ことを特徴とする請求項１に記載の表示装置。
3. 前記第１画像は、前記入力画像である、
   ことを特徴とする請求項１または請求項２に記載の表示装置。
4. 前記第１画像は、前記入力画像の輝度を低下させた画像である、
   ことを特徴とする請求項１または請求項２に記載の表示装置。
5. 前記表示手段は、
   個別に光量を制御可能な複数の光源を有する発光部と、
   前記発光部から照射される光を前記合成画像に基づいて変調して前記画像を表示する表示パネルと、
   を有し、
   前記表示手段は、前記画像において前記第１画像に対応する光源の光量を低下させることで、前記画像において前記第１画像に対応する領域の輝度を低下させる、
   ことを特徴とする請求項１から３のいずれか１項に記載の表示装置。
6. 前記合成画像の各画素の輝度情報を取得し、取得した輝度情報のうち前記第２画像以外の部分に対応する輝度情報を小さくする補正を行う輝度補正手段を、さらに有し、
   前記発光部は、補正された輝度情報に基づいて各光源の光量を制御する、
   ことを特徴とする請求項５に記載の表示装置。
7. 前記表示手段は、前記画像において、前記第１画像が表示される領域の平均輝度が、前記第２画像が表示される領域の平均輝度よりも低くなるように、前記画像を表示する、
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の表示装置。
8. 前記表示手段は、前記画像の平均輝度が第１閾値以下になるように、前記第２画像の領域以外の領域の輝度を制御する、
   ことを特徴とする請求項７に記載の表示装置。
9. 前記第１閾値は前記表示装置の電力特性に基づいた値である、
   ことを特徴とする請求項８に記載の表示装置。
10. 前記入力画像を縮小して前記第２画像を生成する生成手段を更に備え、
    前記入力画像の平均輝度が前記第１閾値以上であり、かつ、前記入力画像の平均輝度が前記第１閾値より大きい第２閾値より小さい値である場合に生成される前記第２画像の大きさは、前記入力画像の平均輝度が前記第２閾値以上である場合に生成される前記第２画像よりも大きい、
    ことを特徴とする請求項８または請求項９に記載の表示装置。
11. 前記生成手段は、
    前記入力画像の平均輝度が前記第１閾値以上であり、かつ、前記入力画像の平均輝度が前記第２閾値より小さい場合、前記第１閾値を前記入力画像の平均輝度で除算した値を縮小率として設定し、前記入力画像のサイズに前記縮小率を乗算して前記第２画像を生成する、
    ことを特徴とする請求項１０に記載の表示装置。
12. 前記合成画像に基づいて前記画像を表示する第１動作モードと、前記入力画像に基づいて前記画像を表示する第２動作モードとを含む複数の動作モードのうち、いずれかを前記表示装置の動作モードとして設定する設定手段を更に備え、
    前記設定手段は、
    前記入力画像の平均輝度が前記第１閾値以上の値であれば、前記第１動作モードを設定し、
    前記入力画像の平均輝度が前記第１閾値より小さい値であれば、前記第２動作モードを設定する、
    ことを特徴とする請求項８から１１のいずれか１項に記載の表示装置。
13. 前記合成画像に基づいて前記画像を表示する第１動作モードと、前記入力画像に基づいて前記画像を表示する第２動作モードとを含む複数の動作モードのうちいずれかの動作モードを、ユーザの指示に応じて、前記表示装置の動作モードとして設定する設定手段を更に備える、
    ことを特徴とする請求項８から１１のいずれか１項に記載の表示装置。
14. 入力画像を取得する取得工程と、
    前記入力画像に基づく第１画像と前記入力画像を縮小した第２画像とを含む合成画像を生成する合成工程と、
    前記合成画像に基づいて画像を表示する表示工程と、
    を含み、
    前記表示工程では、前記画像において、前記第１画像が表示される領域の輝度が前記第２画像が表示される領域の輝度よりも低くなるように、前記画像を表示する、
    ことを特徴とする画像処理方法。
15. 入力画像の輝度を低下させた第１画像と前記入力画像を縮小した第２画像とを合成した合成画像を生成する生成手段と、
    前記合成画像を出力する出力手段と、
    を備える、
    ことを特徴とする画像処理装置。
16. 前記第２画像の平均輝度は、前記入力画像の平均輝度と実質的に同じであり、
    前記第１画像の平均輝度は、前記入力画像の平均輝度よりも低い、
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記出力手段は、前記合成画像を、前記合成画像に基づいて画像を表示する表示装置に出力するものであって、
    前記表示装置は、入力された画像の平均輝度が所定の閾値よりも高い場合に、そうでない場合よりも前記表示装置が表示可能な輝度の上限値を低減するものであって、
    前記生成手段は、前記合成画像の平均輝度が前記所定の閾値以下となるように、前記入力画像の平均輝度に対する前記第１画像の平均輝度の低下度合いを決定する、
    ことを特徴とする請求項１５または請求項１６に記載の画像処理装置。
18. 入力画像の輝度を低下させた第１画像と前記入力画像を縮小した第２画像とを合成した合成画像を生成する生成工程と、
    前記合成画像を出力する出力工程と、
    を含む、
    ことを特徴とする画像処理方法。
19. 請求項１４または請求項１８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
20. 請求項１９に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。

Images