JP2017045030A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2017045030A
JP2017045030A JP2016062144A JP2016062144A JP2017045030A JP 2017045030 A JP2017045030 A JP 2017045030A JP 2016062144 A JP2016062144 A JP 2016062144A JP 2016062144 A JP2016062144 A JP 2016062144A JP 2017045030 A JP2017045030 A JP 2017045030A
Authority
JP
Japan
Prior art keywords
luminance
area
region
divided
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016062144A
Other languages
English (en)
Other versions
JP6786235B2 (ja
JP2017045030A5 (ja
Inventor
池田 武
Takeshi Ikeda
武 池田
鈴木 康夫
Yasuo Suzuki
康夫 鈴木
譲司 蒲原
Junji Kamahara
譲司 蒲原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/244,366 priority Critical patent/US20170061894A1/en
Publication of JP2017045030A publication Critical patent/JP2017045030A/ja
Publication of JP2017045030A5 publication Critical patent/JP2017045030A5/ja
Application granted granted Critical
Publication of JP6786235B2 publication Critical patent/JP6786235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】HDR表示の際の画像表示装置の消費電力と、HDR表示を確認する際のユーザの疲労感とを低減することができる技術を提供する。【解決手段】本発明の画像表示装置は、複数の発光領域を有する発光手段と、発光手段からの光を変調することにより画像を表示する表示手段と、複数の分割領域のそれぞれについて、入力画像データの輝度特徴量を取得する特徴量取得手段と、第2のダイナミックレンジを示すレンジ情報を取得する第1の情報取得手段と、選択領域を示す領域情報を取得する第2の情報取得手段と、対応分割領域を検出する検出手段と、非対応分割領域において第1のダイナミックレンジでの表示が行われ、かつ、対応分割領域において第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、入力画像データの補正とを行う制御手段と、を有する。【選択図】図1A

Description

本発明は、画像表示装置に関する。
ダイナミックレンジが広い画像データが扱われる機会が増している。ダイナミックレンジが広い画像データは、「HDR(High Dynamic Range)画像データ」と呼ばれる。例えば、撮影によってHDR画像データを生成可能な撮影装置がある。HDR画像データは、画像編集などの非放送系の作業においてよく使用される。HDR画像データの規格としては、例えば、SMPTE(Society of Motion Picture and Television Engineers;全米映画テレビ協会)によって提唱された「SMPT ST 2084」がある。
広いダイナミックレンジでの表示(HDR表示)を画像表示装置が行う際に、SMPTE ST 2084で規定されたPQ(Perceptual Quantizer)カーブが考慮されることが求められている。PQカーブは、人間の目が弁別できる輝度差を基準に作成されたカーブである。PQカーブは、0.005〜10000cd/mの広い輝度レンジで規定されている。
また、液晶表示装置などの画像表示装置では、ローカルデミング処理が行われることがある(特許文献1)。ローカルデミング処理では、画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光部(バックライト部)が使用される。具体的には、各発光領域の発光輝度が個別に制御され、各発光領域の発光輝度に基づいて画像データの伸長処理が行われる。それにより、表示画像(画面に表示された画像)のコントラストが向上される。また、HDR表示を実現するために、バックライト部の高輝度化が進められている。バックライト部(発光領域)の発光輝度の上限値を高めることにより、表示画像のコントラストをさらに高めることができる。
特開2000−287499号公報
HDR表示が行われる場合、多くの発光領域において、発光輝度が非常に高い輝度に制御されることがある。そのため、画像表示装置の消費電力が増大することがある。しかしながら、映画などの画像コンテンツの撮影現場においては、画像表示装置がバッテリーで駆動され、画像表示装置で撮影画像のHDR表示が行われることがある。そのような場合、上述した消費電力の増大により、長時間のHDR表示を画像表示装置が行えず、長時間の撮影に画像表示装置が使用できないことがある。画像表示装置がACアダプタで駆動されれば、画像表示装置は、長時間のHDR表示を行うことができる。しかしながら、画面の多くの領域において非常に高い輝度での表示が行われた場合に、眩しさによりユーザの目の疲労が増大することがある。
本発明は、HDR表示の際の画像表示装置の消費電力と、HDR表示を確認する際のユーザの疲労感とを低減することができる技術を提供することを目的とする。
本発明の第1の態様は、
画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得手段と、
予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する第1の情報取得手段と、
前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を取得する第2の情報取得手段と、
前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出手段と、
各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御手段と、
を有することを特徴とする画像表示装置である。
本発明の第2の態様は、
画像出力装置と画像表示装置とを有する画像表示システムであって、
前記情報処理装置は、
表示対象の画像データである対象画像データを前記画像表示装置に出力する画像出力手段と、
予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を前記画像表示装置に出力する第1の情報出力手段と、
前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を前記画像表示装置に出力する第2の情報出力手段と、
を有し、
前記画像表示装置は、
画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
前記対象画像データを前記画像出力装置から取得する画像取得手段と、
前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、前記対象画像データから取得する特徴量取得手段と、
前記レンジ情報を前記情報処理装置から取得する第1の情報取得手段と、
前記領域情報を前記情報処理装置から取得する第2の情報取得手段と、
前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出手段と、
各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記対象画像データの補正とを行う制御手段と、
を有することを特徴とする画像表示システムである。
本発明の第3の態様は、
画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
を有する画像表示装置の制御方法であって、
前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得ステップと、
予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する第1の情報取得ステップと、
前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を取得する第2の情報取得ステップと、
前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出ステップと、
各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御ステップと、
を有することを特徴とする画像表示装置の制御方法である。
本発明の第4の態様は、
画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
を有する画像表示装置の制御方法の各ステップをコンピュータに実行させるプログラムであって、
前記制御方法は、
前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得ステップと、
予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する第1の情報取得ステップと、
前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を取得する第2の情報取得ステップと、
前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出ステップと、
各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御ステップと、
を有することを特徴とするプログラムである。
本発明の第5の態様は、
画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得手段と、
予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する情報取得手段と、
各分割領域の輝度特徴量に基づいて、前記複数の分割領域から、前記第2のダイナミックレンジを有する画素を含む分割領域を、特定領域として検出する検出手段と、
前記特定領域の検出結果がグラフィック画像で表示されるように、当該グラフィック画像を表すグラフィック画像データの合成を行う合成手段と、
前記グラフィック画像が表示された後に、前記特定領域において前記第2のダイナミックレンジでの表示を行うか否かに関する指示をユーザから受け付けるユーザインターフェース手段と、
各分割領域の輝度特徴量、前記レンジ情報、及び、前記ユーザからの前記指示に基づいて、前記特定領域において前記第1のダイナミックレンジまたは前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御手段と、
を有することを特徴とする画像表示装置である。
本発明によれば、HDR表示の際の画像表示装置の消費電力と、HDR表示を確認する際のユーザの疲労感とを低減することができる。
実施例1に係る画像表示装置の機能構成の一例を示すブロック図 実施例1に係る画像表示装置の機能構成の一例を示すブロック図 実施例1に係る対象画像データと輝度特徴量の一例を示す図 実施例1に係るHDR領域とHDR分割領域の検出結果と一例を示す図 実施例1に係るBL変換情報の一例を説明するための図 実施例1に係るHDR分割領域の検出結果と発光輝度一例を示す図 実施例1に係る変換処理の一例を説明するための図 実施例1に係るビューア画像の一例を示す図 実施例2に係る画像表示装置の機能構成の一例を示すブロック図 実施例2に係る画像表示装置の機能構成の一例を示すブロック図 実施例2に係る補正輝度の一例を示す図 実施例3に係る画像表示装置の機能構成の一例を示すブロック図 実施例3に係る画像表示装置の機能構成の一例を示すブロック図 実施例3に係る推定輝度の分布の一例を示す図 実施例3に係る合成画像の一例を示す図 実施例4に係る画像表示装置の機能構成の一例を示すブロック図 実施例5に係る画像表示装置の機能構成の一例を示すブロック図 実施例5に係る目標輝度の一例を示す図 実施例5に係る表示画像の一例を示す図
<実施例1>
以下、本発明の実施例1に係る画像表示装置について説明する。なお、以下では、本実施例に係る画像表示装置が透過型の液晶表示装置である場合の例を説明するが、本実施例に係る画像表示装置は透過型の液晶表示装置に限らない。本実施例に係る画像表示装置は、発光部と、発光部からの光を画像データに基づいて変調することにより画面に画像を表示する表示部と、を有する画像表示装置であればよい。例えば、本実施例に係る画像表示装置は、反射型の液晶表示装置であってもよい。また、本実施例に係る画像表示装置は、液晶素子の代わりにMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式表示装置であってもよい。
本実施例に係る画像表示装置の発光部は、画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する。複数の発光領域の発光輝度は、個別に制御することができる。各発光領域の発光輝度の個別制御と、入力画像データ(画像表示装置に入力された画像データ)の補正とを行うことにより、本実施例に係る画像表示装置は、複数の分割領域のそれぞれにおいて、様々なダイナミックレンジでの表示を行うことができる。
図1A,1Bは、本実施例に係る画像表示装置の機能構成の一例を示すブロック図である。図1Aでは、本実施例に係る画像表示装置1は、情報処理装置13を含む画像表示システムにおいて使用される。画像表示装置1の外部装置である情報処理装置13としては、ワークステーション、パーソナルコンピュータ、スマートフォン、等を使用することができる。
図1Aでは、情報処理装置13に搭載されたビューアアプリケーション(ビューア)と、画像表示装置1とが連携することで、レンジ情報と領域情報が、情報処理装置13から画像表示装置1に通知(入力)される。レンジ情報は、予め定められた基準のダイナミックレンジ(SDR;第1のダイナミックレンジ)よりも広いダイナミックレンジ(HDR;第2のダイナミックレンジ)を示す。領域情報は、HDRでの表示を行う画像領域(HDR領域;選択領域)を示す。HDRは、例えば、HDR領域に対してユーザが所望するダイナミックレンジである。HDR領域は、例えば、HDRでの表示(HDR表示)をユーザが所望する画像領域である。
そして、図1Aでは、画像表示装置1が、HDR領域に対応する分割領域を、HDR分割領域(対応分割領域)として決定する。その後、画像表示装置1が、HDR分割領域においてHDR表示が行われ、かつ、非HDR分割領域(非対応分割領域)においてSDR表示が行われるように、各発光領域の発光輝度の個別制御と、入力画像データの補正とを行う。非HDR分割領域は、HDR分割領域以外(対応分割領域以外)の分割領域であり、SDR表示は、SDRでの表示である。これにより、HDR表示が行われる領域がHDR領域に制限されるため、HDR表示の際の画像表示装置の消費電力と、HDR表示を確認する際のユーザの疲労感とを低減することができる。
さらに、図1Aでは、画像表示装置1が、HDR表示が行われた画面の領域をユーザに通知する。これにより、HDR表示が行われた領域と、それ以外の領域とをユーザが容易に把握可能となる。その結果、HDR表示が行われた領域における表示画像(画面に表示された画像)の画質と、それ以外の領域における表示画像の画質との確認作業の利便性を向上することができる。
図1Bでは、本実施例に係る画像表示装置1001が、図1Aの情報処理装置13の機能をさらに有する。そのため、図1Bでは、画像表示装置1001は、画像表示装置1001に対するユーザ操作に応じて、レンジ情報と領域情報を取得する。例えば、画像表示装置1001は、HDRを選択するユーザ操作に応じてレンジ情報を取得したり、HDR領域を選択するユーザ操作に応じて領域情報を取得したりする。画像表示装置1001は、画像表示装置1001の動作モードを設定するユーザ操作に応じて、レンジ情報と領域情報の少なくとも一方を取得してもよい。画像表示装置1001に対するユーザ操作を受け付ける入力装置としては、キーボード、マウス、画像編集専用のジョグダイアルを有する特殊な入力装置、画像表示装置1001の画面に設けられたタッチパネル、等を使用することができる。
なお、図1Aにおいて、レンジ情報と領域情報の少なくとも一方は、情報処理装置13(外部装置)から画像表示装置1に入力されなくてもよい。例えば、画像表示装置1が、
画像表示装置1に対するユーザ操作に応じて、レンジ情報と領域情報の少なくとも一方を取得してもよい。
以下では、図1Aの画像表示システムについて詳しく説明する。図1Bの画像表示装置1001で行われる処理は、図1Aの画像表示システムで行われる処理と同様であるため、図1Bの画像表示装置1001についての詳しい説明は省略する。
まず、画像表示装置1について説明する。画像表示装置1は、液晶パネル部2、BLモジュール部3、特徴量取得部4、制御部5、BL輝度決定部6、BL制御値決定部7、輝度推定部8、補正パラメータ決定部9、合成部10、階調特性変換部11、輝度補正部12、及び、画像取得部18を有する。
液晶パネル部2は、BLモジュール部3からの光を画像データに基づいて透過(変調)することにより、画面に画像を表示する。液晶パネル部2は、複数の液晶素子を有する液晶パネル、各液晶素子を駆動する液晶ドライバ、及び、液晶ドライバの処理を制御するコントロール基板を有する。コントロール基板は、液晶パネル部2に入力された画像データに基づいて、液晶ドライバの処理を制御する。それにより、各液晶素子の透過率が、液晶パネル部2に入力された画像データに応じた値に制御される。BLモジュール部3からの光は、液晶パネル部2に入力された画像データに応じた透過率で各液晶素子を通過する。それにより、液晶パネル部2に入力された画像データに基づく画像が画面に表示される。
BLモジュール部3は、複数の発光領域を有する発光部である。BLモジュール部3は、液晶パネル部2(液晶パネル)の背面に光を照射する。各発光領域は、BL制御値決定部7で決定されたBL制御値に応じた発光輝度で発光する。各発光領域には、1つ以上の光源が設けられている。BLモジュール部3は、複数の光源、各光源を駆動する駆動回路、及び、各光源からの光を拡散する光学ユニットを有する。本実施例では、複数の分割領域がマトリクス状に配列しており、複数の発光領域もマトリクス状に配列している。具体的には、画面の領域が、水平方向10個×垂直方向6個の分割領域で構成されており、BLモジュール部3は、水平方向10個×垂直方向6個の発光領域を有する。光源としては、例えば、LED(発光ダイオード)、有機EL素子、冷陰極管、等を使用することができる。
本実施例では、画面の領域が、水平方向1920個×垂直方向1080個の画素で構成されている。そして、本実施例では、画面の領域が、サイズが互いに等しい複数の分割領域で構成されている。上述したように、本実施例では、画面の領域が水平方向10個×垂直方向6個の分割領域で構成されている。そのため、各分割領域は水平方向192個×垂直方向180個の画素で構成される。
なお、画面のサイズ、分割領域の数、分割領域の配置、分割領域のサイズ、発光領域の数、発光領域の配置、及び、発光領域のサイズは、特に限定されない。画面の領域を構成する画素の数は、水平方向1920個×垂直方向1080個より多くても少なくてもよい。分割領域の数は、60個より多くても少なくてもよい。複数の分割領域が千鳥格子状に配列していてもよい。複数の分割領域のサイズが互いに異なっていてもよい。発光領域についても同様である。
画像取得部18は、情報処理装置13から入力画像データ(表示対象の画像データである対象画像データ)を取得する。画像取得部18は、取得した対象画像データを、特徴量取得部4と合成部10に出力する。本実施例では、12ビットのRGB値(12ビットのR値、12ビットのG値、及び、12ビットのB値)を画素値として有する画像データが、対象画像データとして取得される。なお、対象画像データのデータフォーマット(画素
値のビット数、画素値の種類、等)は特に限定されない。例えば、12ビットのYDxDz値(12ビットのY値、12ビットのDx値、及び、12ビットのDz値)を画素値として有する画像データが、対象画像データとして取得されてもよい。10ビットのYCbCr値(10ビットのY値、10ビットのCb値、及び、10ビットのCr値)を画素値として有する画像データが、対象画像データとして取得されてもよい。
特徴量取得部4は、複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、対象画像データから取得する。特徴量取得部4は、各分割領域の輝度特徴量を、BL輝度決定部6に出力する。輝度特徴量は、輝度に関する特徴量である。本実施例では、階調値(R値、G値、及び、B値)の最大値である最大階調値が、輝度特徴量として取得される。例えば、R値の最大値が50であり、G値の最大値が1000であり、B値の最大値が100である場合には、1000が輝度特徴量として取得される。
図2(A)は、対象画像データの一例を示し、図2(B)は、図2(A)の対象画像データから得られた輝度特徴量(最大階調値)を示す。図2(B)において、水平方向に並んだ1〜10の数値は、分割領域の水平位置(水平方向における位置)を示し、垂直方向に並んだ1〜6の数値は、分割領域の垂直位置(垂直方向における位置)を示す。上述したように、対象画像データの階調値は、12ビットの値(0〜4095)である。図2(A)において、画面上部のオブジェクト101は、高輝度で表現されたオブジェクトである。図2(B)に示すように、オブジェクト101の少なくとも一部が表示される分割領域の輝度特徴量(最大階調値)は、3100または3200である。
なお、輝度特徴量は、最大階調値に限らない。例えば、階調値の他の代表値(最小値、平均値、最頻値、中間値、等)が輝度特徴量として取得されてもよい。階調値のヒストグラムが輝度特徴量として取得されてもよい。閾値よりも大きい階調値を有する画素(明部画素)の数が、輝度特徴量として取得されてもよい。閾値よりも小さい階調値を有する画素(暗部画素)の数が、輝度特徴量として取得されてもよい。階調値として輝度値(Y値)を用いて、輝度特徴量が取得されてもよい。
制御部5は、レンジ情報を情報処理装置13から取得する(第1の情報取得)。また、制御部5は、領域情報を情報処理装置13から取得する(第2の情報取得)。そして、制御部5は、領域情報に基づいて、複数の分割領域からHDR分割領域を検出する。本実施例では、HDR領域の少なくとも一部が表示される分割領域が、HDR分割領域として検出される。制御部5は、HDR分割領域の検出結果を、BL輝度決定部6、補正パラメータ決定部9、合成部10、及び、階調特性変換部11に出力する。また、制御部5は、レンジ情報を、BL輝度決定部6、補正パラメータ決定部9、及び、階調特性変換部11に出力する。
図3(A)は、HDR領域の一例を示す。図3(A)において、破線130で囲まれた領域が、HDR領域である。図3(A)では、オブジェクト101を含む領域が、HDR領域として指定されている。画像表示装置1は、1つの分割領域において、SDR表示とHDR表示の両方を行うことはできない。しかしながら、HDR領域は、分割領域を考慮せずに指定されることがある。そのため、HDR領域の輪郭が複数の分割領域の間の境界に対応するとは限らない。そこで、制御部5は、HDR領域の少なくとも一部を含む分割領域を、HDR分割領域として検出する。
図3(A)の破線130で囲まれた領域がHDR領域である場合におけるHDR分割領域の検出結果を、図3(B),3(C)に示す。図3(B)において、破線131で囲まれた領域は、複数のHDR分割領域からなる領域を示す。図3(C)において、「1」が
記載された分割領域はHDR分割領域であり、「0」が記載された分割領域は非HDR分割領域である。制御部5は、例えば、HDR分割領域の検出結果として、複数の分割領域のそれぞれに「0」または「1」を関連付けた情報を出力する。
なお、HDR分割領域の検出方法は上記方法に限らない。例えば、HDR領域の少なくとも一部を含む分割領域と、それに隣接する分割領域とが、HDR分割領域として検出されてもよい。HDR領域の少なくとも一部のみを含む分割領域が、HDR分割領域として検出されてもよい。HDR領域の少なくとも一部のみを含む分割領域と、それに隣接する分割領域とが、HDR分割領域として検出されてもよい。
BL輝度決定部6とBL制御値決定部7により、各発光領域の発光輝度の個別制御が行われる。そして、輝度推定部8、補正パラメータ決定部9、階調特性変換部11、及び、輝度補正部12により、対象画像データの補正が行われる。本実施例では、非HDR分割領域においてSDR表示が行われ、かつ、HDR分割領域においてHDR表示が行われるように、各発光領域の発光輝度の個別制御と、対象画像データの補正とが行われる。この処理には、各分割領域の輝度特徴量、レンジ情報、及び、HDR分割領域の検出結果が使用される。各分割領域の輝度特徴量、レンジ情報、及び、HDR分割領域の検出結果を用いた方法であれば、どのような方法で、各発光領域の発光輝度の個別制御と、対象画像データの補正とが行われてもよい。本実施例では、各分割領域の輝度特徴量、レンジ情報、及び、HDR分割領域の検出結果に基づいて、各発光領域の発光輝度の個別制御が行われる。そして、レンジ情報、HDR分割領域の検出結果、及び、各発光領域の発光輝度に基づいて、対象画像データの補正が行われる。
BL輝度決定部6は、各分割領域の輝度特徴量、レンジ情報、及び、HDR分割領域の検出結果に基づいて、各発光領域の発光輝度(目標輝度)を決定する。BL輝度決定部6は、各発光領域の発光輝度を示す情報を、BL制御値決定部7に出力する。本実施例では、BL輝度決定部6は、複数の発光領域のそれぞれについて、その発光領域に対応する分割領域の輝度特徴量に基づいて、当該発光領域の発光輝度を決定する。発光輝度の決定において、非HDR分割領域に対応する発光領域の発光輝度のレンジとして、SDRに対応する第1の輝度レンジが使用され、かつ、HDR割領域に対応する発光領域の発光輝度のレンジとして、HDRに対応する第2の輝度レンジが使用される。例えば、BL輝度決定部6は、レンジ情報と、HDR分割領域の検出結果とに基づいて、輝度特徴量と発光輝度の対応関係を示す情報(BL変換情報;ルックアップテーブル、関数、等)を、複数の発光領域のそれぞれについて設定または生成する。そして、BL輝度決定部6は、複数の発光領域のそれぞれについて、BL変換情報と輝度特徴量から発光輝度を決定する。具体的には、BL輝度決定部6は、BL変換情報が示す対応関係において発光領域(分割領域)の輝度特徴量に対応する発光輝度を、当該発光領域の発光輝度として決定する。
本実施例では、第1の輝度レンジと第2の輝度レンジの比が、HDRとSDRの比と一致する例を説明する。本実施例では、第1の輝度レンジの最小輝度が第2の輝度レンジの最小輝度と一致し、かつ、SDRの最小輝度がHDRの最小輝度と一致する場合の例を説明する。具体的には、第1の輝度レンジの最小輝度、第2の輝度レンジの最小輝度、SDRの最小輝度、及び、HDRの最小輝度が、画像データの階調値の下限値に対応する輝度と一致する場合の例を説明する。しかし、第1の輝度レンジと第2の輝度レンジの比は、HDRとSDRの比と異なっていてもよい。第1の輝度レンジの最小輝度は、第2の輝度レンジの最小輝度と異なっていてもよい。SDRの最小輝度は、HDRの最小輝度と異なっていてもよい。第1の輝度レンジの最小輝度、第2の輝度レンジの最小輝度、SDRの最小輝度、及び、HDRの最小輝度の少なくともいずれかは、画像データの階調値の下限値に対応する輝度と異なっていてもよい。
BL変換情報が示す対応関係の一例を図4(A),4(B)に示す。図4(A),4(B)の横軸は、輝度特徴量である最大階調値を示し、図4(A),4(B)の縦軸は、発光輝度を示す。発光輝度0%は、発光領域が点灯しない状態に対応し、発光輝度100%は、発光領域が上限の発光輝度で点灯する状態に対応する。非HDR分割領域に対応する発光領域の発光輝度は、図4(A)に示す対応関係に従って決定される。HDR分割領域に対応する発光領域の発光輝度は、図4(B)に示す対応関係に従って決定される。
本実施例では、SDRが0〜200cd/mのレンジであり、かつ、HDRが0〜2000cd/mのレンジであるとする。そして、詳細は後述するが、SDRの最大輝度に対応する階調値は1803であり、HDRの最大輝度に対応する階調値は3141である。図4(A)において、発光輝度のレンジ(第1の輝度レンジ)は0〜10%のレンジである。図4(B)において、発光輝度のレンジ(第2の輝度レンジ)は0〜100%のレンジである。このように、本実施例では、第1の輝度レンジと第2の輝度レンジの比(10/100)は、SDRとHDRの比(200/2000)と一致する。
図4(A),4(B)では、SRDの最大輝度に対応する階調値以下の最大階調値に対して、最大階調値の増加に伴い第1の輝度レンジの最小輝度から第1の輝度レンジの最大輝度まで増加する発光輝度が対応付けられている。具体的には、1803以下の最大階調値に対して、最大階調値の増加に伴い0%から10%まで増加する発光輝度が対応付けられている。そして、図4(A)では、SDRの最大輝度に対応する階調値よりも大きい最大階調値に対して、第1の輝度レンジの最大輝度と同じ発光輝度が対応付けられている。具体的には、1803よりも大きい最大階調値に対して、10%の発光輝度が対応付けられている。
図4(B)では、SDRの最大輝度に対応する階調値以上であり、かつ、HDRの最大輝度に対応する階調値以下である最大階調値に対して、最大階調値の増加に伴い増加する発光輝度が対応付けられている。具体的には、最大階調値の増加に伴い第1の輝度レンジの最大輝度から第2の輝度レンジの最大輝度まで増加する発光輝度が対応付けられている。より具体的には、1083以上であり、かつ、3141以下である最大階調値に対して、最大階調値の増加に伴い10%から100%まで増加する発光輝度が対応付けられている。そして、図4(B)では、HDRの最大輝度に対応する階調値よりも大きい最大階調値に対して、第2の輝度レンジの最大輝度と同じ発光輝度が対応付けられている。具体的には、4095よりも大きい最大階調値に対して、100%の発光輝度が対応付けられている。
なお、図4(A),4(B)には、最大階調値と発光輝度の対応関係として線形特性を繋ぎ合わせた対応関係が示されているが、最大階調値と発光輝度の対応関係は図4(A),4(B)に示す対応関係に限らない。例えば、最大階調値の少なくとも一部のレンジにおいて、最大階調値の増加に伴い発光輝度が指数関数的に増加してもよい。ダイナミックレンジの輝度と階調値の対応関係(表示輝度(画面の輝度)と階調値の対応関係)を考慮して、最大階調値と発光輝度の対応関係が決定されてもよい。
各分割領域の最大階調値として、図2(B)に示す最大階調値が得られた場合の例を説明する。HDR領域が存在しない場合には、図5(A)に示すように、全ての分割領域が非HDR分割領域として設定される。図5(A)において、「0」が記載された分割領域は非HDR分割領域である。そのため、全ての発光領域の発光輝度が、図4(A)の対応関係に従って決定される。その結果、各発光領域の発光輝度として、図5(B)に示す発光輝度が得られる。
HDR分割領域の検出結果として、図3(C)に示す結果が得られた場合には、図3(
C)の太線で囲まれた分割領域に対応する発光領域が、図4(B)の対応関係に従って決定される。具体的には、(水平位置,垂直位置)=(7,1)〜(7,3)、(8,1)〜(8,3)、及び、(9,1)〜(9,3)の9個の発光領域の発光輝度が、図4(B)の対応関係に従って決定される。そして、残りの発光領域の発光輝度が、図4(A)の対応関係に従って決定される。その結果、各発光領域の発光輝度として、図5(C)に示す発光輝度が得られる。
BL制御値決定部7は、BL輝度決定部6で決定された各発光領域の発光輝度(目標輝度)を、BL制御値に変換する。BL制御値決定部7は、各発光領域のBL制御値を、BLモジュール部3に出力する。それにより、各発光領域が、BL輝度決定部6で決定された発光輝度で発光する。また、BL制御値決定部7は、各発光領域のBL制御値を輝度推定部8にも出力する。発光領域の光源の発光輝度がパルス幅変調方式で制御される場合には、パルス幅を示す値がBL制御値として使用される。発光領域の光源の発光輝度がパルス振幅変調方式で制御される場合には、パルス振幅を示す値がBL制御値として使用される。パルス幅とパルス振幅の両方を変調する方式で発光輝度が制御される場合には、パルス幅とパルス振幅を示す値がBL制御値として使用される。
合成部10は、補正後の対象画像データに基づく画像に加え、第1のグラフィック画像がさらに表示されるように、HDR分割領域の検出結果に基づいて、第1のグラフィック画像を表す第1のグラフィック画像データの合成を行う(第1の合成)。それにより、対象画像データに第1のグラフィック画像データを合成した合成画像データが生成される。第1のグラフィック画像は、HDRでの表示が行われた画面の領域(HDR表示領域)を示すグラフィック画像である。例えば、第1のグラフィック画像は、図3(B)の破線131のような画像(矩形の枠画像)である。第1のグラフィック画像が表示されることにより、HDR表示領域がユーザに通知される。換言すれば、ユーザは、表示された第1のグラフィック画像を確認することにより、HDR表示領域を把握することができる。合成部10は、合成画像データを階調特性変換部11に出力する。なお、合成部10は省略されてもよい。
階調特性変換部11は、レンジ情報と、HDR分割領域の検出結果とに基づいて、画像データの階調特性を変換する変換処理を行う。変換処理により、画像データの階調値のレンジに対応する表示輝度のレンジがSDRと一致するように、非HDR分割領域に対応する画像データの階調特性が変換される。また、変換処理により、画像データの階調値のレンジに対応する表示輝度のレンジがHDRと一致するように、HDR分割領域に対応する画像データの階調特性が変換される。本実施例では、合成画像データに変換処理が施される。それにより、変換画像データが生成される。階調特性変換部11は、変換画像データを輝度補正部12に出力する。
図6(A)〜6(C)を用いて、変換処理の具体例を説明する。図6(A)〜6(C)の縦軸は輝度を示し、図6(A)〜6(C)の横軸は階調値を示す。図6(A)は、階調値と輝度(表示輝度)の対応関係を示す。なお、階調値と輝度の対応関係は図6(A)の対応関係に限らない。
本実施例では、SDRの最大輝度は、200cd/mである。図6(B)に示すように、200cd/mに対応する階調値は1803である。変換処理では、非HDR分割領域に対応する画像データの階調値が1803よりも大きい場合に、当該階調値が1803に変換される。即ち、非HDR分割領域に対応する画像データの階調値の上限値が、1803に制限される。その後、非HDR分割領域に対応する画像データの階調値のレンジが、0〜1803のレンジから、元のレンジ(0〜4095)のレンジに拡大される。
また、本実施例では、HDRの最大輝度は、2000cd/mである。図6(C)に示すように、2000cd/mに対応する階調値は3141である。変換処理では、HDR分割領域に対応する画像データの階調値が3141よりも大きい場合に、当該階調値が3141に変換される。即ち、HDR分割領域に対応する画像データの階調値の上限値が、3141に制限される。その後、HDR分割領域に対応する画像データの階調値のレンジが、0〜3141のレンジから、元のレンジ(0〜4095)のレンジに拡大される。
輝度推定部8、補正パラメータ決定部9、及び、輝度補正部12により、レンジ情報、HDR分割領域の検出結果、及び、各発光領域の発光輝度に基づいて、画像データの階調値を補正する補正処理が行われる。補正処理は、照射輝度がSDRの最大輝度と一致する場合と同じ輝度での表示が非HDR分割領域で行われ、かつ、照射輝度がHDRの最大輝度と一致する場合と同じ輝度での表示がHDR分割領域で行われるように、階調値を補正する処理である。照射輝度は、BLモジュール部3から発せられて液晶パネル部2に照射される光の輝度である。
輝度推定部8は、各発光領域の発光輝度(BL制御値)に基づいて、照射輝度を推定する。輝度推定部8は、照射輝度の推定結果を補正パラメータ決定部9に出力する。本実施例では、発光領域から発せられた光が拡散する際の光の減衰を示す減衰係数が、不図示のメモリに予め格納されている。輝度推定部8は、画面内の位置(照射輝度の推定の対象である推定位置)に対応する減衰係数を発光輝度(BL制御値)に乗算する処理を、各発光領域について行う。そして、輝度推定部8は、各発光領域の乗算結果の総和を、照射輝度として算出する。画面内の全ての位置について上記方法で照射輝度が推定されてもよいが、演算量が膨大となる。そのため、本実施例では、画面内の一部の位置について上記方法で照射輝度が推定される。具体的には、各分割領域の中心位置が、推定位置として使用される。
なお、減衰係数は、光源の劣化状態、画像表示装置1の内部の温度、画像表示装置1の外部の温度、ユーザ操作、等に応じて適宜変更されてもよい。分割領域の中心位置とは異なる位置が、推定位置として使用されてもよい。照射輝度の推定方法は特に限定されない。画像表示装置1は、BLモジュール部3からの光を検出する光センサを有していてもよい。そして、光センサの検出結果に基づいて照射輝度が推定されてもよい。
補正パラメータ決定部9は、画面内の各位置について、その位置に対応する画像データを補正する補正パラメータを決定する。補正パラメータ決定部9は、非HDR分割領域内の位置に対して、SDRの最大輝度からの照射輝度の変化による表示輝度の変化を抑制する補正パラメータを決定する。そして、補正パラメータ決定部9は、HDR分割領域内の位置に対して、HDRの最大輝度からの照射輝度の変化による表示輝度の変化を抑制する補正パラメータを決定する。補正パラメータ決定部9は、各位置の補正パラメータを輝度補正部12に出力する。
補正パラメータ決定部9は、推定位置の照射輝度、HDR分割領域の検出結果、及び、レンジ情報に基づいて、推定位置の補正パラメータを決定する。ここで、階調値と輝度との対応関係が、ガンマ値Gのガンマカーブで示される場合を考える。この場合には、以下の式1を用いて、階調値に乗算する補正係数を補正パラメータとして決定することができる。式1において、Lpnは推定された照射輝度であり、Ltはダイナミックレンジの最大輝度であり、Ppnは補正係数である。非HDR分割領域内の推定位置の補正係数Ppnを算出する際には、最大輝度Ltとして、SDRの最大輝度が使用される。HDR分割領域内の推定位置の補正係数Ppnを算出する際には、最大輝度Ltとして、HDRの最大輝度が使用される。

Ppn=(Lt/Lpn)1/G ・・・(式1)

補正パラメータ決定部9は、推定位置以外の位置に対する補正パラメータを、推定位置の補正パラメータを用いた補間処理により算出する。
なお、推定位置以外の位置に対する照射輝度が、推定位置の照射輝度を用いた補間処理により算出され、全ての位置について同じ方法で補正パラメータが算出されてもよい。また、補正パラメータの決定方法は特に限定されない。補正パラメータの決定方法として、照射輝度の変化による表示輝度の変化を抑制する種々の従来技術を使用することができる。
輝度補正部12は、補正パラメータ決定部9で決定された補正パラメータを用いて、変換画像データの各階調値を補正する。それにより、補正画像データが生成される。輝度補正部12は、補正画像データを液晶パネル部2に出力する。
次に、情報処理装置13について説明する。情報処理装置13は、ネットワークI/F部14、ビューア15、データ入出力部16、及び、操作部17を有する。
操作部17は、情報処理装置13に対するユーザ操作を受け付ける。操作部17としては、キーボード、マウス、画像編集専用のジョグダイアルを有する特殊な入力装置、等を使用することができる。ユーザ操作は、例えば、画像表示装置1に表示されたGUI画像(メニュー画像など)を用いて行われる。
ネットワークI/F部14は、不図示のネットワークに接続されている。ネットワークI/F部14は、ネットワークを介して不図示のサーバーから編集画像データを取得し、取得した編集画像データをビューア15に出力する。編集画像データは、編集の対象である。例えば、情報処理装置13に対するユーザ操作に応じて、編集画像データを取得する指示がビューア15からネットワークI/F部14に送られ、ビューア15からの指示に応じてネットワークI/F部14がネットワークから編集画像データを取得する。情報処理装置13に対するユーザ操作は、例えば、複数の画像データから編集画像データを選択するユーザ操作である。なお、編集画像データの取得方法は上記方法に限らない。例えば、情報処理装置13に設けられた記憶装置から画像データが編集画像データとして読み出されてもよい。記憶装置は情報処理装置13に対して着脱可能であってもよいし、そうでなくてもよい。
ビューア15は、ビューア画像を表すビューア画像データ(対象画像データ)を生成し、ビューア画像データをデータ入出力部16に出力する。ビューア画像は、例えば、編集前の画像、編集用のGUI画像(コマンド画像)、タイムコード、編集後の画像、等が配置された画像である。ビューア画像の一例を図7に示す。図7のGUI画像を用いたユーザ操作が行われると、ビューア15は、ユーザ操作に応じた信号を操作部17から取得し、取得した信号に応じた処理を行う。それにより、対象画像データの選択、色の変更、ガンマ値の変更、HDRの設定、HDR領域の設定、編集後の画像の保存、等が実現される。なお、対象画像データは、ビューア画像データに限らない。図2(A)に示すように、対象画像データが表す画像に、GUI画像やタイムコードが配置されていなくてもよい。図7において、編集後の画像内に示された破線は、HDR領域を示す。ビューア15は、HDRとHDR領域が設定されると、レンジ情報と領域情報をデータ入出力部16に出力する。
データ入出力部16は、ビューア画像データ(対象画像データ)を画像表示装置1に出
力する(画像出力)。データ入出力部16は、レンジ情報を画像表示装置1に出力する(第1の情報出力)。そして、データ入出力部16は、領域情報を画像表示装置1に出力する(第2の情報出力)。レンジ情報や領域情報は、画像データのメタデータとして出力されてもよいし、画像データとは別のデータとして出力されてもよい。データ入出力部16は、画像表示装置1(制御部5)から様々な情報を取得することもできる。例えば、データ入出力部16は、画像表示装置1の発光領域の位置、サイズ、数、などの情報を画像表示装置1から取得することができる。レンジ情報、領域情報、画像表示装置1の情報、等の伝送方法は特に限定されない。ディスプレイポート規格の伝送方式を用いる場合には、ディスプレイポート規格で定められたAUXチャンネルを用いて、これらの情報を伝送することができる。これらの情報は、USB(ユニバーサル・シリアル・バス)などを用いて伝送されてもよい。
以上述べたように、本実施例によれば、HDR表示が行われる領域がHDR分割領域に制限されるため、HDR表示の際の画像表示装置の消費電力と、HDR表示を確認する際のユーザの疲労感とを低減することができる。また、HDR表示が行われた画面の領域がユーザに通知される。これにより、HDR表示が行われた領域と、それ以外の領域とをユーザが容易に把握可能となる。その結果、HDR表示が行われた領域における表示画像の画質と、それ以外の領域における表示画像の画質との確認作業の利便性を向上することができる。
なお、本実施例ではHDR領域が矩形領域である場合の例を説明したが、HDR領域の形状は矩形に限らない。HDR領域の輪郭の一部に、凹部や湾曲部が存在していてもよい。また、本実施例では、領域情報が1つの領域(HDR領域)を示す例を説明したが、領域情報は複数の領域を示してもよい。その場合、領域情報が示す複数の領域間で、ダイナミックレンジが異なっていてもよい。
<実施例2>
以下、本発明の実施例2に係る画像表示装置について説明する。なお、以下では、実施例1と異なる構成や処理について詳しく説明し、実施例1と同様の構成や処理についての説明は省略する。
実施例1では、分割領域間で、発光領域の発光輝度が大きく異なることがある。例えば、HDR分割領域と非HDR分割領域の間で、発光領域の発光輝度が大きく異なることがある。このような発光輝度の大きな差は、ハローの発生、動画表示時におけるフリッカの発生、等をまねく。そこで、本実施例では、複数の発光領域の発光輝度の分布をなだらかにする空間的ローパスフィルタ処理(空間的LPF処理;平滑化処理)を行う。
図8A,8Bは、本実施例に係る画像表示装置の機能構成の一例を示すブロック図である。図8Aでは、本実施例に係る画像表示装置100は、情報処理装置13を含む画像表示システムにおいて使用される。図8Bでは、本実施例に係る画像表示装置1002が、図8Aの情報処理装置13の機能をさらに有する。
以下では、図8Aの画像表示システムについて詳しく説明する。図8Bの画像表示装置1002で行われる処理は、図8Aの画像表示システムで行われる処理と同様であるため、図8Bの画像表示装置1002についての詳しい説明は省略する。図8Aに示すように、画像表示装置100は、実施例1の画像表示装置1が有する複数の機能部と、LPF処理部102とを有する。
制御部5は、実施例1と同様に、レンジ情報の取得、領域情報の取得、及び、HDR分割領域の検出を行う。そして、制御部5は、実施例1と同様に、レンジ情報を、BL輝度
決定部6、補正パラメータ決定部9、及び、階調特性変換部11に出力する。但し、本実施例では、制御部5は、HDR分割領域の検出結果を、少なくともBL輝度決定部6に出力する。詳細は後述するが、本実施例では、BL輝度決定部6により決定された各発光領域の発光輝度は、LPF処理部102により補正される。制御部5は、各発光領域の補正輝度(補正後の発光輝度)をLPF処理部102から取得し、各発光領域の補正輝度に基づいてHDR分割領域の検出結果を補正する。そして、制御部5は、HDR分割領域の補正結果(補正後の検出結果)を、補正パラメータ決定部9、合成部10、及び、階調特性変換部11に出力する。その結果、補正パラメータ決定部9、合成部10、及び、階調特性変換部11では、HDR分割領域の検出結果として補正後の検出結果を用いて、実施例1と同様の処理が行われる。
本実施例では、補正輝度が第1の輝度レンジの外側の輝度である発光領域に対応する分割領域をHDR分割領域として用いて対象画像データの補正が行われるように、HDR分割領域の検出結果が補正される。即ち、補正輝度が第1の輝度レンジの外側の輝度である発光領域に対応する分割領域がHDR分割領域として設定され、かつ、残りの分割領域が非HDR分割領域として設定されるように、HDR分割領域の検出結果が補正される。
HDR分割領域の非補正結果(補正前の検出結果)が図3(C)に示す結果であり、かつ、補正輝度が図9に示す発光輝度である場合の例を説明する。実施例1と同様に、第1の輝度レンジの最大輝度は、20%である。図9では、(6,1)〜(6,4)、(7,1)〜(7,4)、(8,1)〜(8,4)、(9,1)〜(9,4)、及び、(10,1)〜(10,4)の20個の発光領域の発光輝度が20%を超えている。そのため、これら20個の発光領域に対応する分割領域がHDR分割領域として設定され、かつ、残りの分割領域が非HDR分割領域として設定されるように、HDR分割領域の検出結果が補正される。上記20個の発光領域に対応する分割領域は、(6,1)〜(6,4)、(7,1)〜(7,4)、(8,1)〜(8,4)、(9,1)〜(9,4)、及び、(10,1)〜(10,4)の20個の分割領域である。図3(C)では、(7,1)〜(7,3)、(8,1)〜(8,3)、及び、(9,1)〜(9,3)の9個の分割領域がHDR分割領域として設定されており、残りの分割領域が非HDR分割領域として設定されている。そのため、検出結果の補正により、(6,1)〜(6,4)、(7,4)、(8,4)、(9,4)、(10,1)〜(10,4)の11個の分割領域が、非HDR分割領域からHDR分割領域に変更される。
なお、HDR分割領域の検出結果の補正は省略されてもよい。しかし、上記方法でHDR分割領域を補正すれば、BLモジュール部3からの光を有効利用して、HDR表示が行われる領域を拡大することができる。その結果、より高画質な画像をユーザに提供することができる。また、HDR分割領域として設定するか否かの閾値は、第1の輝度レンジの最大輝度や最小輝度に限らない。
BL輝度決定部6は、実施例1と同様の方法で、各発光領域の発光輝度を決定する。但し、本実施例では、BL輝度決定部6は、各発光領域の発光輝度を示す情報を、BL制御値決定部7ではなく、LPF処理部102に出力する。
LPF処理部102は、BL輝度決定部6によって決定された各発光領域の発光輝度に対し、空間的LPF処理を施す。それにより、各発光領域の発光輝度が補正される。LPF処理部102は、各発光領域の補正輝度(補正後の発光輝度)を示す情報を、制御部5とBL制御値決定部7に出力する。
空間的LPF処理の一例を説明する。まず、LFP処理部102は、対象発光領域Nの周囲に存在する複数の発光領域から、発光輝度が最も高い発光領域Max(N)を検出す
る。例えば、対象発光領域Nの周囲に存在する発光領域は、対象発光領域Nからの距離が閾値以下の発光領域である。本実施例では、対象発光領域Nに隣接する複数の発光領域から、発光領域Max(N)が検出される。なお、閾値として、2個以上の発光領域に相当する値が使用されてもよい。即ち、対象発光領域Nに隣接する発光領域よりも外側の発光領域が、対象発光領域Nの周囲に存在する発光領域としてさらに使用されてもよい。
次に、LPF処理部102は、対象発光領域Nの発光輝度L(N)を、発光領域Max(N)の発光輝度L(Max(N))に係数αを乗算した値と比較する。α×L(Max(N))がL(N)よりも高い場合には、LPF処理部102は、対象発光領域Nの発光輝度をL(N)からα×L(Max(N))に置き換える。α×L(Max(N))がL(N)以下である場合には、LPF処理部102は、対象発光領域Nの発光輝度の置き換えを行わない。
LPF処理部102は、複数の発光領域のそれぞれを対象発光領域Nとして選択し、上述した処理を行う。α=0.5の場合には、図5(C)に示す分布は図9に示す分布に補正される。
なお、係数αは、0.5より大きくても小さくてもよい。係数αは、発光領域からの光の拡散度合い、発光領域の発光輝度の変動量、等に基づいて決定または変更されてもよい。また、空間的LPF処理は上記処理に限らない。空間的LPF処理として、値の分布をなだらかにする種々の従来技術を使用することができる。
以上述べたように、本実施例でも、HDR表示が行われる領域がHDR分割領域に制限される。そのため、HDR表示の際の画像表示装置の消費電力と、HDR表示を確認する際のユーザの疲労感とを低減することができる。また、HDR表示が行われた画面の領域がユーザに通知される。これにより、HDR表示が行われた領域と、それ以外の領域とをユーザが容易に把握可能となる。さらに、本実施例によれば、複数の発光領域の発光輝度の分布が平滑化される。それにより、表示画像の画質の劣化(ハローの発生、動画表示時におけるフリッカの発生、等)を抑制することができる。
<実施例3>
以下、本発明の実施例3に係る画像表示装置について説明する。なお、以下では、実施例1と異なる構成や処理について詳しく説明し、実施例1と同様の構成や処理についての説明は省略する。以下では、本実施例の特徴的な構成を実施例1の構成に適用した例を説明するが、本実施例の特徴的な構成は実施例2の構成にも適用可能である。
実施例1,2では、HDR表示が行われた画面の領域がユーザに通知される。しかしながら、各発光領域からの光は周囲に拡散する。そのため、HDR表示が行われた領域の周囲の領域において、HDR表示を行わない場合の照射輝度を大きく上回る輝度に照射輝度が制御されることがある。その結果、HDR表示が行われた領域の周囲の領域において、正確な輝度(所望の輝度)の表示ができないことがある。特に、低階調値を正確な輝度で表示できない可能性が高い。そこで、本実施例では、正確な輝度で表示できない可能性が高い領域(影響領域)をユーザに通知する。それにより、ユーザが影響領域を容易に把握可能となり、影響領域の輝度が正確な輝度であるとのユーザの誤認を防ぐことができる。
図10A,10Bは、本実施例に係る画像表示装置の機能構成の一例を示すブロック図である。図10Aでは、本実施例に係る画像表示装置200は、情報処理装置13を含む画像表示システムにおいて使用される。図10Bでは、本実施例に係る画像表示装置1003が、図10Aの情報処理装置13の機能をさらに有する。
以下では、図10Aの画像表示システムについて詳しく説明する。図10Bの画像表示装置1003で行われる処理は、図10Aの画像表示システムで行われる処理と同様であるため、図10Bの画像表示装置1003についての詳しい説明は省略する。図10Aに示すように、画像表示装置200は、実施例1の画像表示装置1が有する複数の機能部と、高輝度領域検出部201とを有する。
高輝度領域検出部201は、照射輝度の推定結果を輝度推定部8から取得し、照射輝度が閾値以上である画面の領域を高輝度領域として検出する。高輝度領域検出部201は、高輝度領域の検出結果を、制御部5に出力する。図11は、推定された照射輝度の分布の一例を示す。図11の横軸は水平位置を示し、図11の縦軸は照射輝度を示す。図11の黒丸は、推定位置における照射輝度を示し、図11の破線は、推定位置の照射輝度の補間結果を示す。ここでは、説明の簡略化のために、水平方向における照射輝度分布を用いて高輝度領域の検出方法を説明する。閾値が200である場合には、水平位置が6〜10の5つの分割領域が、高輝度領域として検出される。
なお、照射輝度と比較される閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。対象画像データの種類、画像表示装置の使用環境(周囲の明るさ等)、等に応じて閾値が自動で決定されてもよい。各発光領域の個別制御(ローカルデミング処理)を行わない場合、全ての発光領域の発光輝度は基準輝度に制御される。照射輝度と比較される閾値として、全ての発光領域の発光輝度を基準輝度に制御した場合の照射輝度が使用されてもよい。照射輝度と比較される閾値として、第1の輝度レンジの最大輝度が使用されてもよい。SDRでの表示が行われるようにローカルデミング処理を行った場合に取り得る照射輝度の最大値が、照射輝度と比較される閾値として使用されてもよい。
制御部5は、実施例1と同様の処理を行う。さらに、制御部5は、高輝度領域の検出結果を高輝度領域検出部201から取得する。そして、制御部5は、高輝度領域から対応分割領域を除いた領域を影響領域として検出し、影響領域の検出結果を合成部10に出力する。例えば、図11において、水平位置が6〜10の5つの分割領域が高輝度領域であり、かつ、水平位置が7〜9の3つの分割領域がHDR分割領域である場合を考える。この場合、制御部5は、HDR分割領域の検出結果として、水平位置が7〜9の3つの分割領域を示す情報を出力し、影響領域の検出結果として、水平位置が6と10の2つの分割領域を示す情報を出力する。
合成部10は、第1の合成と第2の合成とを行う。第1の合成は、補正後の対象画像データに基づく画像に加え、第1のグラフィック画像がさらに表示されるように、HDR分割領域の検出結果に基づいて、第1のグラフィック画像を表す第1のグラフィック画像データを合成する処理である。第2の合成は、補正後の対象画像データに基づく画像に加え、第2のグラフィック画像がさらに表示されるように、影響領域の検出結果に基づいて、第2のグラフィック画像を表す第2のグラフィック画像データを合成する処理である。それにより、対象画像データに第1のグラフィック画像データと第2のグラフィック画像データを合成した合成画像データが生成される。合成部10は、合成画像データを階調特性変換部11に出力する。なお、第1の合成は省略されてもよい。
第1のグラフィック画像は、HDR表示領域を示すグラフィック画像であり、第2のグラフィック画像は、影響領域を示す画像である。図12は、合成画像データに基づく画像(合成画像)の一例を示す。図12において、破線301は第1のグラフィック画像であり、ハッチング画像302は第2のグラフィック画像である。第1のグラフィック画像が表示されることにより、HDR表示領域がユーザに通知され、第2のグラフィック画像が表示されることにより、影響領域がユーザに通知される。換言すれば、ユーザは、表示さ
れた第1のグラフィック画像を確認することにより、HDR表示領域を把握することができ、表示された第2のグラフィック画像を確認することにより、影響領域を把握することができる。
なお、照射輝度は、各発光領域の発光輝度(BL制御値)に基づいて推定され、影響領域は、HDR分割領域の検出結果と、推定された照射輝度の分布とに基づいて検出される。そのため、第2の合成は、「HDR分割領域の検出結果と、各発光領域の発光輝度とに基づいて、第2のグラフィック画像データを合成する処理」と言うこともできる。
なお、第1のグラフィック画像と第2のグラフィック画像は、図12に示す画像に限らない。HDR表示領域をユーザに通知できれば、どのような画像が第1のグラフィック画像として使用されてもよい。影響領域をユーザに通知できれば、どのような画像が第2のグラフィック画像として使用されてもよい。例えば、HDR表示領域を示すメッセージ画像が第1のグラフィック画像として使用されてもよい。具体的には、「右半面でHDR表示が行われます。」、「HDR表示領域の始点座標はAであり、終点座標はBです。」等のメッセージ画像が第1のグラフィック画像として使用されてもよい。画面を意味し、かつ、HDR表示領域に対応する領域が他の領域と区別されたグラフィック画像が、第1のグラフィック画像として使用されてもよい。影響領域を示すメッセージ画像が第2のグラフィック画像として使用されてもよい。画面を意味し、かつ、影響領域に対応する領域が他の領域と区別されたグラフィック画像が、第2のグラフィック画像として使用されてもよい。所定の透明度と、所定の色とを有する画像が、影響領域に重ねられる第2のグラフィック画像として使用されてもよい。
以上述べたように、本実施例によれば、影響領域がユーザに通知される。それにより、ユーザが影響領域を容易に把握可能となり、影響領域の輝度が正確な輝度であるとのユーザの誤認を防ぐことができる。
<実施例4>
以下、本発明の実施例4に係る画像表示装置について説明する。なお、以下では、実施例1〜3と異なる構成や処理について詳しく説明し、実施例1〜3と同様の構成や処理についての説明は省略する。
実施例1〜3では、ユーザがHDR表示を望む領域を指定し、指定された領域に対応する発光領域の発光輝度を他の発光領域の発光輝度に比べて高い輝度に制御し、HDR表示が行われる領域をユーザに通知した。ここで、「他の発光領域」は、「SDR表示領域(指定された領域以外の領域;SDR表示が行われる領域)に対応する発光領域」である。
本実施例では、入力画像データの特徴量から、HDR表示を行うべき領域(本実施例では「HDR推奨領域」と呼ぶ)を検出し、HDR推奨領域をユーザに通知する。そして、HDR推奨領域が通知された後に、HDR推奨領域でのHDR表示の実行がユーザによって指示されると、HDR推奨領域でのHDR表示を行う。HDR推奨領域でのHDR表示の実行の指示は、ユーザI/F部(ユーザインターフェース部)を介して受信される。これにより、ユーザがHDR表示画像(HDR表示が行われた領域における表示画像)の確認の見落としなどを防止することができ、HDR表示とSDR表示が1画面に混在している場合の表示画像の画質確認作業の利便性を向上することができる。
図13は、本実施例に係る画像表示装置300の機能構成の一例を示すブロック図である。図13に示すように、画像表示装置300は、実施例1の画像表示装置1が有する複数の機能部、HDR推奨領域検出部301、及び、ユーザI/F部302を有する。
HDR推奨領域検出部301は、各分割領域の輝度特徴量に基づいて、複数の分割領域から、HDR画素を含む分割領域を、HDR推奨領域(特定領域)として検出する。そして、HDR推奨領域検出部301は、HDR推奨領域の検出結果を制御部5へ出力する。「HDR画素」は、「HDR(第2のダイナミックレンジ)を有する画素」である。そして、「HDR画素を含む分割領域」は、「HDR画素を含む画像データに対応する分割領域」である。「HDR画素を含む分割領域」は、「HDR画素が存在する分割領域」と言うこともできる。
本実施例では、輝度特徴量として最大階調値が使用される。HDR推奨領域検出部301は、制御部5から、SDRと、SDRに属さず且つHDRに属す階調値の範囲との境界に対応する階調値(境界階調値)の情報を受信する。HDR、境界階調値、等は、例えば、入力画像データのフォーマットに応じて規定される。HDR推奨領域検出部301は、各分割領域の輝度特徴量(最大階調値)を、取得した境界階調値と比較する。そして、HDR推奨領域検出部301は、輝度特徴量(最大階調値)が境界階調値よりも大きい分割領域をHDR推奨領域として決定する。
なお、輝度特徴量は最大階調値に限られない。例えば、階調値のヒストグラムが輝度特徴量として使用されてもよい。ヒストグラムが使用される場合には、複数の分割領域のうち、含まれるHDR画素の数が最も多い分割領域が、HDR推奨領域として検出されてもよい。含まれるHDR画素の数が所定数以上である全ての分割領域が、HDR推奨領域として検出されてもよい。HDR推奨領域からの距離が閾値以下であり、且つ、HDR画素を含む分割領域が、HDR推奨領域としてさらに検出されてもよい。例えば、HDR推奨領域に隣接し、且つ、HDR画素を含む分割領域が、HDR推奨領域としてさらに検出されてもよい。
ユーザI/F部302は、ユーザ操作(ユーザからの指示)を受け付ける。そして、ユーザI/F部302は、ユーザからの指示に応じた情報を制御部5へ出力する。例えば、ユーザI/F部302は、レンジ情報に関する指示をユーザから受け付け、レンジ情報を制御部5へ出力する。「レンジ情報に関する指示」は、例えば、「HDRの指定」である。
本実施例の制御部5は、ユーザI/F部302からレンジ情報を取得し、特徴量取得部4から各分割領域の輝度特徴量を取得し、HDR推奨領域検出部301からHDR推奨領域の検出結果を取得する。そして、制御部5は、HDR推奨領域をユーザに通知するために、合成部10にHDR推奨領域の検出結果(HDR推奨領域の座標など)を通知する。合成部10は、HDR推奨領域の検出結果がグラフィック画像で表示されるように、当該グラフィック画像を表すグラフィック画像データの合成を行う。例えば、グラフィック画像データは、補正前の対象画像データ(入力画像データ)に合成される。それにより、補正前の対象画像データにグラフィック画像データを合成した合成画像データが生成される。そして、合成部10は、合成画像データを階調特性変換部11に出力する。
なお、グラフィック画像データが合成される画像データは特に限定されない。画面全体でSDR表示が行われるように補正された後の対象画像データに、グラフィック画像データが合成されてもよい。
グラフィック画像は、例えば、図3(B)の破線131のような画像(矩形の枠画像)である。グラフィック画像が表示されることにより、HDR推奨領域がユーザに通知される。換言すれば、ユーザは、表示されたグラフィック画像を確認することにより、HDR推奨領域、HDR推奨領域の有無、等を把握することができる。
グラフィック画像が表示された後に、ユーザは、画像表示装置300(ユーザI/F部302)に対して、HDR推奨領域においてHDR表示を行うか否かに関する指示を行うことができる。「HDR推奨領域においてHDR表示を行うか否かに関する指示」は、「HDR推奨領域においてHDR表示を行うことの指示」、「HDR推奨領域においてHDR表示を行わないことの指示」、等である。なお、HDR推奨領域においてHDR表示を行うことの指示と、HDR推奨領域においてHDR表示を行わないことの指示との一方は積極的に行われなくてもよい。HDR推奨領域においてHDR表示を行うことの指示が行われなかった場合に、HDR推奨領域においてHDR表示を行わないことの指示が行われたと判断されてもよい。HDR推奨領域においてHDR表示を行わないことの指示が行われなかった場合に、HDR推奨領域においてHDR表示を行わうことの指示が行われたと判断されてもよい。
HDR推奨領域においてHDR表示を行うか否かに関する指示が行われると、当該指示に応じた情報が、ユーザI/F部302から制御部5へ出力される。制御部5は、ユーザI/F部502からの情報に応じて、HDR推奨領域においてHDR表示を行うことの指示が行われたか否かを判断する。そして、制御部5は、HDR推奨領域においてHDR表示を行うことの指示が行われた場合に、実施例1と同様に、HDR推奨領域の検出結果とレンジ情報とを、BL輝度決定部6、補正パラメータ決定部9、及び、階調特性変換部11に出力する。BL輝度決定部6、補正パラメータ決定部9、及び、階調特性変換部11では、実施例1と同様の処理が行われる。その結果、HDR推奨領域においてHDR表示を行うことの指示が行われた場合に、HDR推奨領域においてHDR表示が行われ、HDR推奨領域においてHDR表示を行うことの指示が行われなかった場合に、HDR推奨領域においてSDR表示が行われる。HDR推奨領域以外の領域ではSDR表示が行われる。
なお、制御部5は、各分割領域の輝度特徴量からレンジ情報を生成してもよい。例えば、HDR推奨領域の輝度特徴量(最大階調値)の最大値がHDRに属す階調値の最大値として設定されるように、レンジ情報が生成されてもよい。
以上述べたように、本実施例によれば、HDR推奨領域(HDR表示を行うべき領域)が自動で検出されてユーザに通知され、その後のユーザからの指示に従ってHDR推奨領域での表示がHDR表示とSDR表示との間で切り替えられる。それにより、実施例1の効果が得られるとともに、ユーザがHDR表示画像の画質確認の見落としなどを防止できる。
なお、本実施例では、画像表示装置300の画面にグラフィック画像を表示することにより、HDR推奨領域をユーザに通知する例を示したが、これに限られない。例えば、外部装置(外部装置のアプリケーション)と連携することで、外部装置の画面にグラフィック画像を表示することにより、HDR推奨領域がユーザに通知されてもよい。外部装置は、例えば、タブレットPC、ワークスステーション、等である。
<実施例5>
以下、本発明の実施例5に係る画像表示装置について説明する。なお、以下では、実施例1〜4と異なる構成や処理について詳しく説明し、実施例1〜4と同様の構成や処理についての説明は省略する。
実施例4では、自動で検出されたHDR推奨領域がユーザに通知される。しかしながら、画像表示装置では、複数のHDR推奨領域が検出され場合に、「全てのHDR推奨領域においてHDR表示を行う」という処理(理想処理)を実行できないことがある。例えば、画像表示装置がバッテリーで駆動される場合などにおいては、電源容量が制限されるこ
とにより、理想処理を実行できないことがある。そこで、本実施例では、理想処理を実行すべきでなく、且つ、1つ以上のHDR推奨領域からなる領域である合成推奨領域(集合特定領域)が複数存在する場合に、複数の合成推奨領域のそれぞれに優先度(優先順位)を付ける。そして、ユーザに各合成推奨領域の優先度をさらに通知する。それにより、ユーザは、理想処理を実行できない(実行すべきでない)こと、優先的にHDR表示を行うべき合成推奨領域、等を把握することができる。その結果、理想処理を実行できない場合においても、ユーザは、HDR表示画像の画質確認の見落としなどを防止できる。
図14は、本実施例に係る画像表示装置400の機能構成の一例を示すブロック図である。図14に示すように、画像表示装置400は、実施例4の画像表示装置300が有する複数の機能部、電力推定部401、及び、優先度決定部402を有する。
電力推定部401は、画像表示装置400(BLモジュール部3)で使用される電力を推定する。例えば、電力推定部401は、全てのHDR推奨領域でHDR表示が行われた場合の電力を推定する。そして、電力推定部401は、電力の推定結果を優先度決定部402へ出力する。電力の推定方法は特に限定されない。BL制御値決定部7で決定されたBL制御値を使用すれば、電力を高精度に推定することができる。本実施例では、電力推定部401は、HDR推奨領域の検出結果、レンジ情報、及び、各分割領域の輝度特徴量から、電力を大まかに推定する。具体的には、BL輝度決定部6で決定される目標輝度が推定され、推定された目標輝度から電力が推定される。
各発光領域の目標輝度が図15(A)に示す値である場合を考える。ここでは、HDR表示を行わない場合の目標輝度の最大値、すなわちローカルデミング処理を行わない場合の目標輝度が10であるとする。図15(A)に示す目標輝度の総和は、1493である。一方、ローカルデミング処理が行われない場合の目標輝度の総和は、10×60(発光領域の数)=600である。そのため、図15(A)では、ローカルデミング処理が行われない場合の明るさの1493/600≒2.48倍の明るさで、BLモジュール部3が点灯する。そして、ローカルデミング処理が行われない場合のBLモジュール部3の電力をAとすると、図15(A)の場合における電力が2.48×Aであると推定することができる。
優先度決定部402は、HDR推奨領域の検出結果から、合成推奨領域を判断する。そして、複数の合成推奨領域が存在する場合に、優先度決定部402は、電力推定部401で推定された電力に基づいて、「全てのHDR推奨領域(全ての合成推奨領域)においてHDR表示を行う」という理想処理を行ってもよいか否かを判断する。理想処理を行ってもよいか否かは、画像表示装置400の電源仕様に依存する。そこで、本実施例では、優先度決定部402は、電力推定部401で推定された電力が閾値以上である場合に、理想処理を行ってもよいと判断する。なお、電力と比較される閾値は、メーカーによって予め定められた固定値であってもよいし、画像表示装置400の状態、ユーザからの指示、等に応じて変更される値であってもよい。
そして、理想処理を行うべきでないと判断された場合に、優先度決定部402は、各合成推奨領域の優先度を決定し、各合成推奨領域の優先度を制御部5へ出力する。本実施例では、各合成推奨領域のサイズに基づいて優先度が決定される。合成推奨領域のサイズが小さいほど、当該合成推奨領域に含まれる全てのHDR推奨領域においてHDR表示を行うことのできる可能性が高い。そのため、優先度決定部402は、合成推奨領域のサイズが小さいほど高い優先度を決定する。各発光領域(各分割領域)の目標輝度が図15(A)に示す値である場合には、図15(B)に示すように、2つの合成推奨領域450,451が判断される。そして、合成推奨領域450には9つの分割領域が含まれ、合成推奨領域451には4つの分割領域が含まれる。そのため、合成推奨領域451の優先度とし
て、合成推奨領域450の優先度よりも高い優先度が決定される。
本実施例の制御部5は、実施例1〜4で説明した制御と同様の制御を行う。但し、各合成推奨領域の優先度が優先度決定部402から出力された場合に、本実施例の制御部5は、HDR推奨領域に加え優先度をユーザに通知するために、合成部10に対して、HDR推奨領域の検出結果と、各合成推奨領域の優先度とを通知する。合成部10は、HDR推奨領域の検出結果と、各合成推奨領域の優先度とがグラフィック画像で表示されるように、当該グラフィック画像を表すグラフィック画像データの合成を行う。例えば、グラフィック画像データは、補正前の対象画像データに合成される。それにより、補正前の対象画像データにグラフィック画像データを合成した合成画像データが生成される。そして、合成部10は、合成画像データを階調特性変換部11に出力する。
なお、グラフィック画像データが合成される画像データは特に限定されない。画面全体でSDR表示が行われるように補正された後の対象画像データに、グラフィック画像データが合成されてもよい。
グラフィック画像は、例えば、図16の破線のような画像(矩形の枠画像)と番号を含む画像である。図16に記載の番号1,2は、優先度に対応する優先順位である。優先順位1に対応する破線は、図15(B)の合成推奨領域450を示し、優先順位2に対応する破線は、合成推奨領域451を示す。グラフィック画像が表示されることにより、HDR推奨領域(合成推奨領域)がユーザに通知される。換言すれば、ユーザは、表示されたグラフィック画像を確認することにより、HDR推奨領域、HDR推奨領域の有無、等を把握することができる。また、グラフィック画像が表示されることにより、各合成推奨領域の優先度がユーザに通知される。換言すれば、ユーザは、表示されたグラフィック画像を確認することにより、各合成推奨領域の優先度などを把握することができる。また、理想処理を実行すべきでないと判断された場合に優先度が通知されるため、ユーザは、表示されたグラフィック画像を確認することにより、理想処理を実行すべきでないことを把握することもできる。
なお、HDR推奨領域の検出結果と、各合成推奨領域の優先度とを示すグラフィック画像が表示された後の処理は特に限定されない。例えば、HDR推奨領域においてHDR表示を行う指示に応じて、理想処理が行われてもよいし、優先度が最も高い合成推奨領域でのみHDR表示を行う処理が行われてもよい。HDR表示を行うことができる数の合成推奨領域が優先度から高い方から順番に選択され、選択された合成推奨領域でのみHDR表示を行う処理が行われてもよい。ユーザI/F部302が、HDR表示を行う合成推奨領域と、HDR表示を行わない合成推奨領域とに関する指示をユーザから受け付け、当該指示に応じた処理が行われてもよい。具体的には、HDR表示を行う合成推奨領域としてユーザによって指定された合成推奨領域でのみHDR表示を行う処理が行われてもよい。
以上述べたように、本実施例によれば、複数の合成推奨領域が存在し、且つ、理想処理を実行すべきでない場合に、HDR推奨領域の検出結果だけでなく、各合成推奨領域の優先度がユーザに通知される。それにより、表示画像の画質確認作業の利便性をより向上することができる。具体的には、ユーザは、理想処理を実行できない(実行すべきでない)こと、優先的にHDR表示を行うべき合成推奨領域、等を把握することができる。その結果、理想処理を実行できない場合においても、ユーザは、HDR表示画像の画質確認の見落としなどを防止できる。
なお、本実施例では、合成推奨領域のサイズが小さいほど高い優先度を決定する例を説明したが、これに限られない。例えば、合成推奨領域のサイズが大きいほど高い優先度が決定されてもよいし、合成推奨領域のサイズが所定サイズに近いほど高い優先度が決定さ
れてもよい。合成推奨領域のサイズとは異なる情報に基づいて優先度が決定されてもよい。例えば、階調値のヒストグラムにおける度数の集中度合いに基づいて優先度が決定されてもよい。具体的には、度数の集中度合いが高いほど高い優先度、度数の集中度合いが低いほど高い優先度、度数が集中している階調値が所定の階調値に近いほど高い優先度、等が決定されてもよい。所定の階調値は、例えば、SDRに属さず且つHDRに属す階調値である。また、合成推奨領域の数が1つであり、且つ、理想処理を実行すべきでない場合に、理想処理を実行すべきでないことがグラフィック画像で通知されてもよい。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1,100,200,300,400,1001〜1003:画像表示装置
2:液晶パネル部 3:BLモジュール部 4:特徴量取得部 5:制御部
6:BL輝度決定部 7:BL制御値決定部 8:輝度推定部
9:補正パラメータ決定部 11:階調特性変換部 12:輝度補正部
13:情報処理装置 14:ネットワークI/F部 18:画像取得部
301:HDR推奨領域検出部 302:ユーザI/F部
401:電力推測部 402:HDR優先領域決定部

Claims (18)

  1. 画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
    前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
    前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得手段と、
    予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する第1の情報取得手段と、
    前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を取得する第2の情報取得手段と、
    前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出手段と、
    各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御手段と、
    を有することを特徴とする画像表示装置。
  2. 前記制御手段は、補正後の入力画像データに基づく画像に加え、前記第2のダイナミックレンジでの表示が行われた前記画面の領域を示す第1のグラフィック画像がさらに表示されるように、前記対応分割領域の検出結果に基づいて、前記第1のグラフィック画像を表す第1のグラフィック画像データの合成を行う第1の合成手段を有する
    ことを特徴とする請求項1に記載の画像表示装置。
  3. 前記制御手段は、
    各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、各発光領域の発光輝度を決定する決定手段と、
    前記レンジ情報、前記対応分割領域の検出結果、及び、各発光領域の発光輝度に基づいて、前記入力画像データを補正する補正手段と、
    を有し、
    前記決定手段は、前記非対応分割領域に対応する発光領域の発光輝度のレンジとして、前記第1のダイナミックレンジに対応する第1の輝度レンジを用い、かつ、前記対応分割領域に対応する発光領域の発光輝度のレンジとして、前記第2のダイナミックレンジに対応する第2の輝度レンジを用いて、前記複数の発光領域のそれぞれについて、その発光領域に対応する分割領域の輝度特徴量に基づいて、当該発光領域の発光輝度を決定する
    ことを特徴とする請求項1または2に記載の画像表示装置。
  4. 前記第1の輝度レンジと前記第2の輝度レンジの比は、前記第1のダイナミックレンジと前記第2のダイナミックレンジの比と一致する
    ことを特徴とする請求項3に記載の画像表示装置。
  5. 前記第1の輝度レンジの最小輝度は、前記第2の輝度レンジの最小輝度と一致し、
    前記分割領域の前記輝度特徴量は、当該分割領域に対応する画像データの最大階調値であり、
    前記決定手段は、
    前記第1のダイナミックレンジの最大輝度に対応する階調値以下の最大階調値が取得された分割領域に対応する発光領域について、前記最大階調値の増加に伴い前記第1の輝
    度レンジの最小輝度から前記第1の輝度レンジの最大輝度まで増加する発光輝度を決定し、
    前記第1のダイナミックレンジの最大輝度に対応する階調値よりも大きい最大階調値が取得された非対応分割領域に対応する発光領域について、前記第1のレンジの最大輝度と同じ発光輝度を決定し、
    前記第1のダイナミックレンジの最大輝度に対応する階調値以上であり、かつ、前記第2のダイナミックレンジの最大輝度に対応する階調値以下である最大階調値が取得された対応分割領域に対応する発光領域について、前記最大階調値の増加に伴い前記第1の輝度レンジの最大輝度から前記第2の輝度レンジの最大輝度まで増加する発光輝度を決定し、
    前記第2のダイナミックレンジの最大輝度に対応する階調値よりも大きい最大階調値が取得された対応分割領域に対応する発光領域について、前記第2の輝度レンジの最大輝度と同じ発光輝度を決定する
    ことを特徴とする請求項3または4に記載の画像表示装置。
  6. 前記補正手段は、
    前記非対応分割領域において、画像データの階調値のレンジに対応する前記画面の輝度のレンジが前記第1のダイナミックレンジと一致し、かつ、前記対応分割領域において、画像データの階調値のレンジに対応する前記画面の輝度のレンジが前記第2のダイナミックレンジと一致するように、前記レンジ情報と、前記対応分割領域の検出結果とに基づいて、画像データの階調特性を変換する変換処理と、
    前記非対応分割領域において、前記発光手段から発せられて前記表示手段に照射される光の輝度である照射輝度が前記第1のダイナミックレンジの最大輝度と一致する場合と同じ輝度での表示が行われ、かつ、前記対応分割領域において、前記照射輝度が前記第2のダイナミックレンジの最大輝度と一致する場合と同じ輝度での表示が行われるように、前記レンジ情報、前記対応分割領域の検出結果、及び、各発光領域の発光輝度に基づいて、画像データの階調値を補正する補正処理と、
    を前記入力画像データに施す
    ことを特徴とする請求項3〜5のいずれか1項に記載の画像表示装置。
  7. 前記制御手段は、前記複数の発光領域の発光輝度の分布がなだらかになるように、前記決定手段によって決定された各発光領域の発光輝度を補正する平滑化手段をさらに有することを特徴とする請求項3〜6のいずれか1項に記載の画像表示装置。
  8. 前記検出手段は、前記平滑化手段による補正後の発光輝度が前記第1の輝度レンジの外側の輝度である発光領域に対応する分割領域を対応分割領域として用いて前記入力画像データの補正が行われるように、前記対応分割領域の検出結果を補正する
    ことを特徴とする請求項7に記載の画像表示装置。
  9. 前記補正処理は、各発光領域の発光輝度に基づいて、前記発光手段から発せられて前記表示手段に照射される光の輝度である照射輝度を推定し、前記レンジ情報、前記対応分割領域の検出結果、及び、前記照射輝度の推定結果に基づいて、画像データの階調値を補正する処理である
    ことを特徴とする請求項3〜8のいずれか1項に記載の画像表示装置。
  10. 前記制御手段は、補正後の入力画像データに基づく画像に加え、前記対応分割領域ではなく、かつ、前記発光手段から発せられて前記表示手段に照射される光の輝度が閾値以上である前記画面の領域を示す第2のグラフィック画像がさらに表示されるように、前記対応分割領域の検出結果と、各発光領域の発光輝度とに基づいて、前記第2のグラフィック画像を表す第2のグラフィック画像データの合成を行う第2の合成手段を有する
    ことを特徴とする請求項1〜9のいずれか1項に記載の画像表示装置。
  11. 前記検出手段は、前記選択領域の少なくとも一部が表示される分割領域を、前記対応分割領域として検出する
    ことを特徴とする請求項1〜10のいずれか1項に記載の画像表示装置。
  12. 前記レンジ情報と前記領域情報の少なくとも一方は、前記画像表示装置に対するユーザ操作に応じて取得される
    ことを特徴とする請求項1〜11のいずれか1項に記載の画像表示装置。
  13. 前記レンジ情報と前記領域情報の少なくとも一方は、外部装置から前記画像表示装置に入力される
    ことを特徴とする請求項1〜12のいずれか1項に記載の画像表示装置。
  14. 画像出力装置と画像表示装置とを有する画像表示システムであって、
    前記情報処理装置は、
    表示対象の画像データである対象画像データを前記画像表示装置に出力する画像出力手段と、
    予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を前記画像表示装置に出力する第1の情報出力手段と、
    前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を前記画像表示装置に出力する第2の情報出力手段と、
    を有し、
    前記画像表示装置は、
    画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
    前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
    前記対象画像データを前記画像出力装置から取得する画像取得手段と、
    前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、前記対象画像データから取得する特徴量取得手段と、
    前記レンジ情報を前記情報処理装置から取得する第1の情報取得手段と、
    前記領域情報を前記情報処理装置から取得する第2の情報取得手段と、
    前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出手段と、
    各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記対象画像データの補正とを行う制御手段と、
    を有することを特徴とする画像表示システム。
  15. 画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
    前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
    を有する画像表示装置の制御方法であって、
    前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得ステップと、
    予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示す
    レンジ情報を取得する第1の情報取得ステップと、
    前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を取得する第2の情報取得ステップと、
    前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出ステップと、
    各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御ステップと、
    を有することを特徴とする画像表示装置の制御方法。
  16. 画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
    前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
    を有する画像表示装置の制御方法の各ステップをコンピュータに実行させるプログラムであって、
    前記制御方法は、
    前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得ステップと、
    予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する第1の情報取得ステップと、
    前記第2のダイナミックレンジでの表示を行う画像領域である選択領域を示す領域情報を取得する第2の情報取得ステップと、
    前記領域情報に基づいて、前記複数の分割領域から、前記選択領域に対応する分割領域である対応分割領域を検出する検出ステップと、
    各分割領域の輝度特徴量、前記レンジ情報、及び、前記対応分割領域の検出結果に基づいて、前記対応分割領域以外の分割領域である非対応分割領域において前記第1のダイナミックレンジでの表示が行われ、かつ、前記対応分割領域において前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御ステップと、
    を有することを特徴とするプログラム。
  17. 画面の領域を構成する複数の分割領域にそれぞれ対応する複数の発光領域を有する発光手段と、
    前記発光手段からの光を画像データに基づいて変調することにより、前記画面に画像を表示する表示手段と、
    前記複数の分割領域のそれぞれについて、その分割領域に対応する画像データの輝度特徴量を、入力画像データから取得する特徴量取得手段と、
    予め定められた第1のダイナミックレンジよりも広い第2のダイナミックレンジを示すレンジ情報を取得する情報取得手段と、
    各分割領域の輝度特徴量に基づいて、前記複数の分割領域から、前記第2のダイナミックレンジを有する画素を含む分割領域を、特定領域として検出する検出手段と、
    前記特定領域の検出結果がグラフィック画像で表示されるように、当該グラフィック画像を表すグラフィック画像データの合成を行う合成手段と、
    前記グラフィック画像が表示された後に、前記特定領域において前記第2のダイナミックレンジでの表示を行うか否かに関する指示をユーザから受け付けるユーザインターフェース手段と、
    各分割領域の輝度特徴量、前記レンジ情報、及び、前記ユーザからの前記指示に基づい
    て、前記特定領域において前記第1のダイナミックレンジまたは前記第2のダイナミックレンジでの表示が行われるように、各発光領域の発光輝度の個別制御と、前記入力画像データの補正とを行う制御手段と、
    を有することを特徴とする画像表示装置。
  18. 前記発光手段で使用される電力を推定する推定手段と、
    1つ以上の特定領域からなる領域である集合特定領域が複数存在し、且つ、前記推定手段によって推定された電力が閾値よりも大きい場合に、各集合特定領域の優先度を決定する決定手段をさらに有し、
    各集合特定領域の優先度が決定された場合に、前記合成手段は、前記特定領域の検出結果と、各集合特定領域の優先度とがグラフィック画像で表示されるように、当該グラフィック画像を表すグラフィック画像データの合成を行う
    ことを特徴とする請求項17に記載の画像表示装置。
JP2016062144A 2015-08-26 2016-03-25 画像表示装置 Active JP6786235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/244,366 US20170061894A1 (en) 2015-08-26 2016-08-23 Image display apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015166745 2015-08-26
JP2015166745 2015-08-26

Publications (3)

Publication Number Publication Date
JP2017045030A true JP2017045030A (ja) 2017-03-02
JP2017045030A5 JP2017045030A5 (ja) 2019-05-09
JP6786235B2 JP6786235B2 (ja) 2020-11-18

Family

ID=58211341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062144A Active JP6786235B2 (ja) 2015-08-26 2016-03-25 画像表示装置

Country Status (1)

Country Link
JP (1) JP6786235B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6395990B1 (ja) * 2018-01-12 2018-09-26 三菱電機株式会社 表示装置
JP2019215507A (ja) * 2017-09-21 2019-12-19 キヤノン株式会社 表示装置及びその制御方法
KR20200082348A (ko) * 2018-12-28 2020-07-08 엘지디스플레이 주식회사 표시 장치 및 그것의 화질 보상 방법
JP2021034971A (ja) * 2019-08-28 2021-03-01 キヤノン株式会社 撮像装置、制御方法及びプログラム
EP3799420A1 (en) 2019-09-26 2021-03-31 Canon Kabushiki Kaisha Image processing apparatus, method of processing image and program
US11011102B2 (en) 2017-09-21 2021-05-18 Canon Kabushiki Kaisha Display apparatus and control method therefor
CN113707101A (zh) * 2021-08-23 2021-11-26 深圳创维-Rgb电子有限公司 一种Mini LED背光控制方法、装置及相关设备
CN114245027A (zh) * 2021-11-29 2022-03-25 北京新奥特图腾科技有限公司 一种视频数据混合处理方法、系统、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188177A (ja) * 2007-02-02 2008-08-21 Hitachi Medical Corp 画像処理装置
CN103081000A (zh) * 2010-08-31 2013-05-01 杜比实验室特许公司 显示器背光规格化
WO2013140958A1 (ja) * 2012-03-21 2013-09-26 富士フイルム株式会社 画像表示装置、撮影装置、画像表示システム及び方法
WO2013141071A1 (ja) * 2012-03-22 2013-09-26 富士フイルム株式会社 画像表示装置及び方法
JP2015111238A (ja) * 2013-10-31 2015-06-18 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2015142276A (ja) * 2014-01-29 2015-08-03 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188177A (ja) * 2007-02-02 2008-08-21 Hitachi Medical Corp 画像処理装置
CN103081000A (zh) * 2010-08-31 2013-05-01 杜比实验室特许公司 显示器背光规格化
WO2013140958A1 (ja) * 2012-03-21 2013-09-26 富士フイルム株式会社 画像表示装置、撮影装置、画像表示システム及び方法
WO2013141071A1 (ja) * 2012-03-22 2013-09-26 富士フイルム株式会社 画像表示装置及び方法
JP2015111238A (ja) * 2013-10-31 2015-06-18 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2015142276A (ja) * 2014-01-29 2015-08-03 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215507A (ja) * 2017-09-21 2019-12-19 キヤノン株式会社 表示装置及びその制御方法
US11011102B2 (en) 2017-09-21 2021-05-18 Canon Kabushiki Kaisha Display apparatus and control method therefor
US10971056B2 (en) 2018-01-12 2021-04-06 Mitsubishi Electric Corporation Display device
WO2019138543A1 (ja) * 2018-01-12 2019-07-18 三菱電機株式会社 表示装置
RU2713387C9 (ru) * 2018-01-12 2020-03-18 Мицубиси Электрик Корпорейшн Устройство отображения
RU2713387C1 (ru) * 2018-01-12 2020-02-05 Мицубиси Электрик Корпорейшн Устройство отображения
JP6395990B1 (ja) * 2018-01-12 2018-09-26 三菱電機株式会社 表示装置
KR20200082348A (ko) * 2018-12-28 2020-07-08 엘지디스플레이 주식회사 표시 장치 및 그것의 화질 보상 방법
KR102589903B1 (ko) 2018-12-28 2023-10-16 엘지디스플레이 주식회사 표시 장치 및 그것의 화질 보상 방법
JP2021034971A (ja) * 2019-08-28 2021-03-01 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP7361536B2 (ja) 2019-08-28 2023-10-16 キヤノン株式会社 撮像装置、制御方法及びプログラム
US11330190B2 (en) 2019-09-26 2022-05-10 Canon Kabushiki Kaisha Image processing apparatus, method of processing image and storage medium
EP3799420A1 (en) 2019-09-26 2021-03-31 Canon Kabushiki Kaisha Image processing apparatus, method of processing image and program
CN113707101A (zh) * 2021-08-23 2021-11-26 深圳创维-Rgb电子有限公司 一种Mini LED背光控制方法、装置及相关设备
CN114245027A (zh) * 2021-11-29 2022-03-25 北京新奥特图腾科技有限公司 一种视频数据混合处理方法、系统、电子设备和存储介质
CN114245027B (zh) * 2021-11-29 2024-03-22 图腾视界(广州)数字科技有限公司 一种视频数据混合处理方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
JP6786235B2 (ja) 2020-11-18

Similar Documents

Publication Publication Date Title
JP6786235B2 (ja) 画像表示装置
US20170061894A1 (en) Image display apparatus
JP6614859B2 (ja) 表示装置、表示装置の制御方法、画像処理装置、プログラム、及び、記録媒体
JP6758891B2 (ja) 画像表示装置及び画像表示方法
JP5911518B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP5897159B2 (ja) 表示装置及びその制御方法
JP6700880B2 (ja) 情報処理装置および情報処理方法
US10944910B2 (en) Display apparatus, control method thereof, and non-transitory computer readable medium
JP2018146949A (ja) 画像処理装置および画像処理方法
WO2017037997A1 (en) Display apparatus, method for controlling the same, program, and storage medium
JP2016024362A (ja) 画像表示装置、画像出力装置、画像表示装置の制御方法、画像出力装置の制御方法、及び、プログラム
JP6548516B2 (ja) 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法
JP6039234B2 (ja) 表示装置及びその制御方法
JP2005181731A (ja) 映像投射装置
JP2017076110A (ja) 表示装置及びその制御方法、プログラム
JP2018031955A (ja) 表示装置
JP2011128458A (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2016126229A (ja) 表示装置およびその制御方法
JP2008271096A (ja) 画像データのグレーバランス補正方法、画像データのグレーバランス補正装置および記憶媒体
JP2016018091A (ja) 画像表示装置、画像表示装置の制御方法、及び、プログラム
JP2015081996A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2015222297A (ja) 画像表示装置及びその制御方法
JP2019124784A (ja) 制御装置、表示装置、制御方法、プログラム、記憶媒体
JP2019144307A (ja) 表示装置およびその制御方法
US11869174B2 (en) Image processing apparatus, display apparatus, image processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201028

R151 Written notification of patent or utility model registration

Ref document number: 6786235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151