JP2020067629A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2020067629A
JP2020067629A JP2018201958A JP2018201958A JP2020067629A JP 2020067629 A JP2020067629 A JP 2020067629A JP 2018201958 A JP2018201958 A JP 2018201958A JP 2018201958 A JP2018201958 A JP 2018201958A JP 2020067629 A JP2020067629 A JP 2020067629A
Authority
JP
Japan
Prior art keywords
image
image data
processing
state
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018201958A
Other languages
English (en)
Other versions
JP7254477B2 (ja
Inventor
雅泰 佐藤
Masayasu Sato
雅泰 佐藤
弘文 占部
Hirofumi Urabe
弘文 占部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018201958A priority Critical patent/JP7254477B2/ja
Priority to US16/660,196 priority patent/US11315290B2/en
Publication of JP2020067629A publication Critical patent/JP2020067629A/ja
Application granted granted Critical
Publication of JP7254477B2 publication Critical patent/JP7254477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Receiver Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】他のキャプチャ画像データと比較可能なキャプチャ画像データを得ることができる技術を提供する。【解決手段】本発明の画像処理装置は、第1の輝度レンジを有する画像を表示するための第1の処理モードと、前記第1の輝度レンジよりも狭い第2の輝度レンジを有する画像を表示するための第2の処理モードとを含む複数の処理モードのいずれかを設定可能な設定手段と、設定されている処理モードに応じた画像処理を行う第1の状態で表示対象のフレーム画像データを生成し、設定されている処理モードに応じて前記第1の状態を変更した第2の状態で前記フレーム画像データに対応するキャプチャ画像データを生成する処理手段と、を有する。【選択図】図1

Description

本発明は、画像処理装置および画像処理方法に関する。
近年、表示輝度(表示面の輝度)の高輝度化が進んでおり、広いダイナミックレンジ(輝度レンジ)を有する画像を画像制作などで扱う機会が増えている。広いダイナミックレンジは「HDR(ハイダイナミックレンジ)」などと呼ばれており、HDRよりも狭いダイナミックレンジは「SDR(スタンダードダイナミックレンジ)」などと呼ばれている。例えば、SDRの最大輝度(上限輝度)は100cd/mであり、HDRの最大輝度(上限輝度)は10000cd/mである。HDRの方式として、PQ(Perceptual Quantization)方式やHLG(Hybrid Log−Gamma)方式が、ITU−R BT.2100により提案されている。
HDRの最大輝度は10000cd/mなどであるが、一般的な表示装置では、上限表示輝度(表示輝度の上限)が数百〜数千cd/mであり、10000cd/mなどのように上限表示輝度よりも高い表示輝度を実現できない。このため、表示レンジ(入力画像データのダイナミックレンジの一部または全部である、表示対象の輝度レンジ;1000cd/mまでの輝度レンジや2000cd/mまでの輝度レンジなど)を設定可能な表示装置がある。そのような表示装置では、入力画像データによって表された輝度のうち表示レンジ内の輝度は、入力画像データの規格(フォーマット)に従った階調特性で表示される。そして、入力画像データによって表された輝度のうち表示レンジの最大輝度(上限輝度)以上の輝度は、当該最大輝度の白飛びで表示される。例えば、表示レンジの最大輝度が600cd/mである場合と、表示レンジの最大輝度が1000cd/mである場合との両方で、入力画像データによって表された輝度0〜600cd/mは、同じ表示輝度0〜600cd/mで表示される。
画像データ(動画データ)の1フレームの画像データ(フレーム画像データ)をJPEG形式やビットマップ形式の静止画データとして記録するキャプチャ機能がある。ここで、「キャプチャ機能で記録した静止画データ(キャプチャ画像データ)に基づく画像を、記録(キャプチャ)時における見えが再現されるように再生して表示したい」というニーズがある。しかしながら、表示輝度の設定(例えば、液晶表示装置に設けられたバックライトユニットの発光輝度(発光量))が再現されなければ、見えを再現することはできない。特許文献1に開示の技術では、キャプチャ時に、バックライトユニットの発光輝度の情報(発光輝度情報)がキャプチャ画像データに紐づけて記録される。そして、キャプチャ画像データに基づく画像(キャプチャ画像)を再生して表示する際に、発光輝度情報に基づいて、キャプチャ時の発光輝度に一致するようにバックライトユニットの発光輝度が制御される。
特開2018−5069号公報
しかしながら、一般的な画像再生ソフトは、発光輝度情報を読み込めなかったり、バックライトユニットの発光輝度を制御できなかったりするため、キャプチャ時における見えが再現されるようにキャプチャ画像を再生することはできない。その結果、HDR画像(
HDRを有する画像)をキャプチャしたHDRキャプチャ画像と、SDR画像(SDRを有する画像)をキャプチャしたHDRキャプチャ画像とを比較可能に表示することができない。具体的には、SDRキャプチャ画像がHDRキャプチャ画像よりも明るく表示されてしまう。また、異なる表示レンジで得られた複数のHDRキャプチャ画像を比較可能に表示することができない。具体的には、複数のHDRキャプチャ画像の間で元のHDR画像が同じであっても、キャプチャ時における表示レンジの最大輝度が低いほどHDRキャプチャ画像が明るく表示され、複数のHDRキャプチャ画像が異なる見えで表示されてしまう。
本発明は、他のキャプチャ画像データと比較可能なキャプチャ画像データを得ることができる技術を提供することを目的とする。
本発明の第1の態様は、
第1の輝度レンジを有する画像を表示するための第1の処理モードと、前記第1の輝度レンジよりも狭い第2の輝度レンジを有する画像を表示するための第2の処理モードとを含む複数の処理モードのいずれかを設定可能な設定手段と、
設定されている処理モードに応じた画像処理を行う第1の状態で表示対象のフレーム画像データを生成し、設定されている処理モードに応じて前記第1の状態を変更した第2の状態で前記フレーム画像データに対応するキャプチャ画像データを生成する処理手段と、を有することを特徴とする画像処理装置である。
本発明の第2の態様は、
第1の輝度レンジを有する画像を表示するための第1の処理モードと、前記第1の輝度レンジよりも狭い第2の輝度レンジを有する画像を表示するための第2の処理モードとを含む複数の処理モードのいずれかを設定可能なステップと、
設定されている処理モードに応じた画像処理を行う第1の状態で表示対象のフレーム画像データを生成し、設定されている処理モードに応じて前記第1の状態を変更した第2の状態で前記フレーム画像データに対応するキャプチャ画像データを生成するステップと、を有することを特徴とする画像処理方法である。
本発明の第3の態様は、コンピュータを、上述した画像処理装置の各手段として機能させるためのプログラムである。
本発明によれば、他のキャプチャ画像データと比較可能なキャプチャ画像データを得ることができる。
実施例1に係る表示装置の構成例を示すブロック図 実施例1に係るキャプチャ処理の一例を示すフローチャート 実施例1に係るSDR画像のキャプチャの一例を示す図 実施例1に係るHDR画像のキャプチャの一例を示す図 実施例2に係る表示装置の構成例を示すブロック図 実施例2に係る合成画像の一例を示す図 実施例2に係るキャプチャ処理の一例を示すフローチャート 実施例2に係るキャプチャ画像の一例を示す図 実施例3に係る表示装置の構成例を示すブロック図 実施例3に係るキャプチャ処理の一例を示すフローチャート 実施例4に係る表示装置の構成例を示すブロック図 実施例4に係るキャプチャ処理の一例を示すフローチャート 実施例5に係る表示システムの構成例を示すブロック図 実施例1〜5により解決される課題の一例を示す図 実施例1〜5により解決される課題の一例を示す図
<実施例1>
以下、本発明の実施例1について説明する。なお、本発明に係る画像処理装置が液晶表示装置である例を説明するが、画像処理装置は表示装置とは別体の装置(パーソナルコンピュータなど)であってもよい。表示装置は、有機EL(Electro Luminescence)表示装置、プラズマ表示装置、MEMS(Micro Electro Mechanical System)シャッタ方式表示装置などであってもよい。表示装置はプロジェクタ(投影装置)などであってもよい。
図1は、本実施例に係る表示装置100の構成例を示すブロック図である。表示装置100は、画像受信部101、画像処理部102、液晶パネル103、キャプチャ制御部104、画像キャプチャ部105、表示制御部106、バックライト制御部107、及び、バックライトユニット108を有する。
画像受信部101は、画像データを取得(受信)する。本実施例では、画像受信部101は、外部装置から画像データを取得する。外部装置は、パーソナルコンピュータ、再生装置(ブルーレイプレーヤ/レコーダやハードディスクレコーダなど)、記憶媒体(USBメモリや外付けHDDなど)等である。具体的には、画像受信部101は、SDI(Serial Degital Interface)規格に準じたSDI入力端子を備えており、SDI入力端子に入力されたSDI信号を、表示装置100の内部で処理可能な形式の画像データに変換する。そして、画像受信部101は、取得した画像データ(SDR信号を変換して得た画像データ)を画像処理部102へ出力する。具体的には、画像受信部101は、表示装置100のリフレッシュレートや、取得した動画データのフレームレートなどに基づき、フレーム画像データ(1フレームの画像データ)を順次出力する。
なお、表示装置100が記憶媒体(HDDや不揮発性メモリなど)を内蔵し、画像受信部101は記憶媒体から画像データを読み出してもよい。また、画像受信部101が取得する画像データは、動画データであってもよいし、静止画データであってもよい。静止画データを取得した場合には、画像受信部101は、同じ画像データをフレーム画像データとして繰り返し出力する。
画像処理部102は、画像受信部101から出力された画像データ(フレーム画像データ)に対して種々の画像処理を施すことができる。本実施例では、画像処理部102は、表示制御部106からの指示に基づき、画像受信部101から出力された画像データの色域、EOTF(Electro−Optical Transfer Function)、表示レンジなどを補正する。表示レンジは、画像受信部101から出力された画像データのダイナミックレンジ(輝度レンジ)の一部または全部であり、表示対象の輝度レンジである。画像処理部102の画像処理により、表示対象の画像データ(表示対象のフレーム画像データ)が生成される。そして、画像処理部102は、画像処理後の画像データ(表示対象の画像データ;表示対象のフレーム画像データ)を液晶パネル103および画像キャプチャ部105へ出力する。
さらに、画像処理部102は、キャプチャ制御部104からの指示に基づき、画像処理部102における画像処理の状態(画像処理の種類、数、有効/無効など;画像処理状態)を変更する。画像処理部102の画像処理が省略される場合には、画像受信部101か
ら出力された画像データと同じ画像データが画像処理部102から出力されることになる。画像処理状態が変更された後に画像処理部102から出力されるフレーム画像データは、キャプチャ画像データ(1枚の静止画を表す静止画データ)として利用されたり、表示対象のフレーム画像データとして利用されたりする。
なお、画像処理部102から画像キャプチャ部105への画像データの出力は、キャプチャ画像データの記録時(キャプチャ制御部104から画像処理部102への指示時)に限って行われてもよい。画像処理部102は、液晶パネル103へ出力する画像データと、画像キャプチャ部105へ出力する画像データとを個別に生成してもよい。その場合には、画像処理部102は、キャプチャ制御部104からの指示に基づいて画像処理状態を変更することはせずに、液晶パネル103へ出力する画像データと、画像キャプチャ部105へ出力する画像データとを生成してもよい。画像キャプチャ部105へ出力する画像データを生成する画像処理状態は、液晶パネル103へ出力する画像データを生成する画像処理状態を変更した状態であればよい。但し、処理や回路の簡易化の観点においては、液晶パネル103へ出力する画像データと、画像キャプチャ部105へ出力する画像データとの両方を兼ねた画像データを生成することが好ましい。
液晶パネル103は、画像処理部102から出力された画像データ(表示対象の画像データ)に基づく画像を表示する表示部である。具体的には、液晶パネル103は、バックライトユニット108から発せられた光を、画像処理部102から出力された画像データ(表示対象の画像データ)に基づく透過率(透過率分布)で透過する。これにより、表示対象の画像データに基づく画像が、表示装置100の表示面に表示される。
キャプチャ制御部104は、表示装置100(表示装置100に設けられたボタン等)に対するユーザ操作に応じたキャプチャ指示を受信した場合に、画像処理部102へ指示を出力する。その結果、画像処理部102の画像処理状態が変更される。キャプチャ制御部104は、キャプチャ指示を受け付けた場合に、画像キャプチャ部105へも指示を出力する。
画像キャプチャ部105は、キャプチャ制御部104からの指示に基づき、画像処理部102から出力された画像データ(キャプチャ画像データ)を、記憶媒体に記録(キャプチャ)する。具体的には、画像キャプチャ部105は、画像処理部102から出力された画像データから、JPEG形式やビットマップ形式の静止画データを生成し、当該静止画データを記憶媒体に記録する。なお、記憶媒体は、表示装置100に内蔵された記憶媒体(HDDや不揮発性メモリなど)であってもよいし、表示装置100に対して着脱可能な記憶媒体(USBメモリや外付けHDDなど)であってもよい。
表示制御部106は、表示装置100が有する複数の表示モード(処理モード)のいずれかを設定可能である。表示制御部106は、表示装置100に対するユーザ操作に応じたモード変更指示を受信した場合に、モード変更指示(ユーザ操作)に応じた表示モードを設定する(設定されている表示モードの変更)。そして、表示制御部106は、設定した表示モードに基づき、画像処理部102とバックライト制御部107へ指示を出力する。具体的には、表示モードには、色域、EOTF、及び、表示レンジの組み合わせが対応付けられおり、表示制御部106は、設定した表示モードに対応する色域やEOTFなどを画像処理部102へ通知する。その結果、画像処理部102において、設定された表示モードに対応する色域やEOTFなどを有する画像データを生成するための画像処理が行われるようになる。そして、表示制御部106は、表示レンジの最大輝度(上限輝度)をバックライト制御部107へ通知する。さらに、表示制御部106は、設定した表示モードをキャプチャ制御部104へ通知する。
本実施例では、複数の表示モードは、HDR(High Dynamic Range)モード、SDR(Standard Dynamic Range)モード、及び、HDRtoSDRモードを含む。HDRモードは、広いダイナミックレンジ(HDR)を有するHDR画像を表示するための表示モードであり、SDRモードとHDRtoSDRモードは、HDRよりも狭いダイナミックレンジ(SDR)を有するSDR画像を表示するための表示モードである。例えば、HDRモードは、色域「BT2020」、EOTF「HLG」、及び、表示レンジ「1000cd/mまでの輝度レンジ」に対応する。SDRモードとHDRtoSDRモードは、色域「BT709」、EOTF「ガンマ2.2」、及び、表示レンジ「100cd/mまでの輝度レンジ」に対応する。HDRtoSDRモードでは、HDR画像データ(HDR画像を表す画像データ)がSDR画像データ(SDR画像を表す画像データ)に変換され、SDR画像データに基づくSDR画像が表示される。具体的には、HDRtoSDRモードが設定されると、画像処理部102において、色域をBT2020からBT709に変換する画像処理や、EOTFをHLGからガンマ2.2に変換する画像処理などが行われるようになる。
本実施例では、HDRモードの表示レンジを「HDRレンジ」と記載する。HDRレンジは変更可能であり、表示制御部106は、HDRモードを設定する際に、複数の表示レンジのいずれかをHDRレンジとして設定する。例えば、HDRモードを設定するためのモード変更指示では、複数の表示レンジのいずれかが指定されており、表示制御部106は、モード変更指示で指定されている表示レンジをHDRレンジとして設定する。
バックライト制御部107は、表示制御部106からの指示に基づき、バックライト制御信号をバックライトユニット108へ出力する。バックライトユニット108は、バックライト制御部107から出力されたバックライト制御信号に基づく発光輝度(発光量)で、液晶パネル103の背面に光を照射する発光部である。具体的には、バックライト制御部107は、表示制御部106から通知された表示レンジ最大輝度(表示レンジの最大輝度)に応じたバックライト制御信号を、バックライトユニット108へ出力する。そして、バックライトユニット108は、バックライト制御信号に応じて、表示レンジ最大輝度と等しい上限表示輝度(表示輝度(表示面の輝度)の上限)を実現できる発光輝度で光を発する。表示レンジ最大輝度と等しい上限表示輝度を実現できる発光輝度は、例えば、表示レンジ最大輝度と等しい発光輝度である。なお、表示レンジ最大輝度と上限表示輝度が略等しければ、表示レンジ最大輝度と上限表示輝度は異なっていてもよい。例えば、表示レンジ最大輝度と上限表示輝度の差が知覚困難な程度に小さければ、表示レンジ最大輝度と上限表示輝度は異なっていてもよい。
画像処理部102の画像処理状態が変更されない場合の例について、図14(A),14(B),15(A),15(B)を用いて説明する。以後、キャプチャ画像データに基づく画像を「キャプチャ画像」と記載する。HDR画像(HDR画像データ)をキャプチャしたキャプチャ画像を「HDRキャプチャ画像(HDRキャプチャ画像データ)」と記載する。SDR画像(SDR画像データ)をキャプチャしたキャプチャ画像を「SDRキャプチャ画像(SDRキャプチャ画像データ)」と記載する。なお、本実施例では、画像データの画素値の増加に対して表示輝度が線形に増加するものとする。
図14(A)は、HDRキャプチャ画像を、一般的な画像再生ソフトで再生し、上限表示輝度100cd/mのSDRモニタで表示した場合の例を示す。図14(A)には、HDR画像の輝度(HDR画像データによって表された輝度)、HDRキャプチャ画像の画素値(HDRキャプチャ画像データの画素値;RGB値)、及び、SDRモニタの表示輝度が示されている。ここでは、HDRキャプチャ画像の階調値(R値、G値、及び、B値のそれぞれ)は8bitの値(0〜255)であるとする。
0〜1000cd/mの輝度レンジを有するHDR画像をキャプチャすると、HDR画像の輝度1000cd/mの白について、HDRキャプチャ画像のRGB値(R値,G値,B値)=(255,255,255)が得られる。そして、HDRキャプチャ画像のRGB値(255,255,255)は、SDRモニタにおいて表示輝度100cd/mで表示される。HDR画像の輝度100cd/mのグレーについては、HDRキャプチャ画像のRGB値(25,25,25)が得られる。そして、HDRキャプチャ画像のRGB値(25,25,25)は、SDRモニタにおいて表示輝度10cd/mで表示される。つまり、HDRキャプチャ画像の表示では、HDR画像の輝度レンジ0〜1000cd/mが、10分の1の輝度レンジ0〜100cd/mに圧縮されて表示される。
図14(B)は、SDRキャプチャ画像を、一般的な画像再生ソフトで再生し、上限表示輝度100cd/mのSDRモニタで表示した場合の例を示す。図14(B)には、SDR画像の輝度(SDR画像データによって表された輝度)、SDRキャプチャ画像の画素値(SDRキャプチャ画像データの画素値;RGB値)、及び、SDRモニタの表示輝度が示されている。ここでは、SDRキャプチャ画像の階調値(R値、G値、及び、B値のそれぞれ)は8bitの値(0〜255)であるとする。
0〜100cd/mの輝度レンジを有するSDR画像をキャプチャすると、SDR画像の輝度100cd/mの白について、SDRキャプチャ画像のRGB値(255,255,255)が得られる。そして、SDRキャプチャ画像のRGB値(255,255,255)は、SDRモニタにおいて表示輝度100cd/mで表示される。SDR画像の輝度10cd/mのグレーについては、SDRキャプチャ画像のRGB値(25,25,25)が得られる。そして、SDRキャプチャ画像のRGB値(25,25,25)は、SDRモニタにおいて表示輝度10cd/mで表示される。つまり、SDRキャプチャ画像の表示では、SDR画像の輝度レンジ0〜100cd/mが圧縮されずに表示される。
このように、HDR画像の輝度100cd/mとSDR画像の輝度100cd/mは同じであるが、HDRキャプチャ画像は10cd/mで表示され、SDRキャプチャ画像は100cd/mで表示される。つまり、SDRキャプチャ画像がHDRキャプチャ画像よりも明るく表示されてしまう。このため、HDRキャプチャ画像とSDRキャプチャ画像を比較できない。
図15(A)は、表示レンジ最大輝度(上限表示輝度)600cd/mでキャプチャしたHDRキャプチャ画像をSDRモニタで表示した場合の例を示す。表示レンジが設定されている場合には、HDR画像を表示する際に、画像処理部102は、HDR画像の輝度レンジを表示レンジに変換する画像処理(HDRレンジ処理)を行う。図15(A)には、HDRレンジ処理前のHDR画像の輝度、HDRレンジ処理後のHDR画像の輝度、HDRキャプチャ画像の画素値(RGB値)、及び、SDRモニタの表示輝度が示されている。
表示レンジ最大輝度600cd/mの場合には、HDR画像の輝度レンジ0〜1000cd/mは、表示レンジ0〜1000cd/mに圧縮されて表示される。具体的には、HDR画像の600〜1000cd/mの輝度が600cd/mに変換される(クリップ処理;HDRレンジ処理)。このため、HDR画像の輝度600cd/mについて、HDRキャプチャ画像のRGB値(255,255,255)が得られる。そして、HDRキャプチャ画像のRGB値(255,255,255)は、SDRモニタにおいて表示輝度100cd/mで表示される。HDR画像の輝度100cd/mについては、HDRキャプチャ画像のRGB値(42,42,42)が得られる。そして、HDR
キャプチャ画像のRGB値(42,42,42)は、SDRモニタにおいて表示輝度16cd/mで表示される。
図15(B)は、表示レンジ最大輝度1000cd/mでキャプチャしたHDRキャプチャ画像をSDRモニタで表示した場合の例を示す。図15(B)には、HDRレンジ処理前のHDR画像の輝度、HDRレンジ処理後のHDR画像の輝度、HDRキャプチャ画像の画素値(RGB値)、及び、SDRモニタの表示輝度が示されている。
表示レンジ最大輝度1000cd/mの場合には、HDR画像の輝度レンジ0〜1000cd/mは、表示レンジ0〜1000cd/mと等しいため、圧縮されずに表示される。このため、HDR画像の輝度1000cd/mについて、HDRキャプチャ画像のRGB値(255,255,255)が得られる。そして、HDRキャプチャ画像のRGB値(255,255,255)は、SDRモニタにおいて表示輝度100cd/mで表示される。HDR画像の輝度600cd/mについては、HDRキャプチャ画像のRGB値(153,153,153)が得られる。そして、HDRキャプチャ画像のRGB値(153,153,153)は、SDRモニタにおいて表示輝度60cd/mで表示される。HDR画像の輝度100cd/mについては、HDRキャプチャ画像のRGB値(25,25,25)が得られる。そして、HDRキャプチャ画像のRGB値(25,25,25)は、SDRモニタにおいて表示輝度10cd/mで表示される。
このように、HDR画像の600cd/mについて、表示レンジ最大輝度600cd/mのHDRキャプチャ画像は100cd/mで表示され、表示レンジ最大輝度1000cd/mのHDRキャプチャ画像は60cd/mで表示される。つまり、複数のHDRキャプチャ画像の間で元のHDR画像(HDRレンジ処理前のHDR画像)が同じであっても、表示レンジ最大輝度が低いほどHDRキャプチャ画像が明るく表示され、複数のHDRキャプチャ画像が異なる見えで表示されてしまう。
そこで、本実施例では、キャプチャ制御部104は、キャプチャ指示を受信した場合に、設定されている処理モードに応じて画像処理状態が変更されるように、画像処理部102へ指示を出力する。例えば、図14(A),14(B),15(A),15(B)の例では、状況に応じて、キャプチャ対象の画像(SDR画像や(HDRレンジ処理後の)HDR画像)の輝度と、キャプチャ画像の画素値との対応関係が変化する。本実施例では、上記対応関係が一定となる(変化しない)ように、画像処理状態を変更する。これにより、他のキャプチャ画像と比較可能なキャプチャ画像を得ることができる。なお、上記対応関係が略一定であれば、状況間で上記対応関係が変化してもよい。例えば、他のキャプチャ画像と比較可能なキャプチャ画像を得ることができれば、状況間で上記対応関係が変化してもよい。或る状況における対応関係に他の状況における対応関係を近づけてもよいし、そうでなくてもよい。
図2は、表示装置100で行われるキャプチャ処理(キャプチャ画像データを取得して記録する処理)の一例を示すフローチャートである。図2のキャプチャ処理は、キャプチャ指示(キャプチャ操作)に応じて開示される。
ステップS101にて、キャプチャ制御部104が画像キャプチャ部105へ指示を出力することにより、画像キャプチャ部105は、画像処理部102から出力された画像データを、キャプチャ画像データとして記憶媒体に記録(キャプチャ)する。ステップS101で記録されるキャプチャ画像データは、画像処理部102の画像処理状態が変更される前の画像データであり、例えば、設定されている表示モードに応じた画像処理のみによって生成された画像データである。ステップS101で記録されるキャプチャ画像データは、例えば、表示装置100でキャプチャ画像を再生するための画像データである。
ステップS102にて、キャプチャ制御部104は、キャプチャ画像を他の装置で再生するか否かを判断する。例えば、キャプチャ制御部104は、表示装置100に対するユーザ操作に応じて、キャプチャ画像を他の装置で再生するか否かを設定する。そして、キャプチャ制御部104は、現在の設定に応じて、キャプチャ画像を他の装置で再生するか否かを判断する。キャプチャ画像を他の装置で再生すると判断した場合はステップS103へ進み、そうでない場合にはキャプチャ処理を終了する。なお、キャプチャ画像を他の装置で再生するか否かの判断方法は特に限定されない。キャプチャ画像を他の装置で再生するか否かを判断せずに、キャプチャ画像を他の装置で再生するものとして処理を進めてもよい。
ステップS103にて、キャプチャ制御部104は、設定されている表示モード(表示制御部106から通知された表示モード)に応じて、キャプチャ対象の画像(画像処理部102で生成されて出力された画像データ)がHDR画像かSDR画像かを判断する。表示モードがHDRモードである場合は、キャプチャ対象の画像がHDR画像であると判断し、ステップS104へ進む。表示モードがHDRモードでない(SDRモードやHDRtoSDRモードである)場合は、キャプチャ対象の画像がSDR画像であると判断し、ステップS105へ進む。ステップS103の判断は「設定されている表示モードがHDRモードであるか否かの判断」とも言える。
ステップS104にて、キャプチャ制御部104は、HDRレンジ処理(クリップ処理)を解除するよう画像処理部102へ指示する。これにより、画像処理部102でHDRレンジ処理が行われなくなる(画像処理状態の変更)。
ステップS105にて、キャプチャ制御部104は、以下の式1を用いて、SDR最大輝度およびHDRレンジ最大輝度からゲイン値を算出し、算出したゲイン値を画像処理部102へ通知する。これにより、画像処理部102では、キャプチャ制御部104から通知されたゲイン値を画像データの各画素値に乗算する処理が行われるようになる(画像処理状態の変更)。HDR最大輝度は、HDR画像の最大輝度や上限輝度などである。SDR最大輝度は、SDR画像の輝度レンジの最大輝度(上限輝度)であり、100cd/mとすることができる。また、SDR最大輝度はユーザによって指定されてもよい。このため、式1によれば、ゲイン値として、SDR画像の上限輝度とHDR最大輝度の比率が算出される。HDR最大輝度はSDR画像の上限輝度よりも高いため、式1によれば、HDR最大輝度が高いほど小さく且つ1よりも小さいゲイン値が算出される。このため、ゲイン値を画像データの各画素値に乗算することにより、各画素値が低減される。なお、画素値の低減方法はこれに限られない。例えば、画素値からオフセット値を減算することにより画素値が低減されてもよい。

ゲイン値=SDR最大輝度/HDR最大輝度 ・・・(式1)
HDR最大輝度の具体例を説明する。HDRtoSDRモードが設定されている場合には、元のHDR画像データ(画像受信部101で受信されたHDR画像データ)の輝度レンジの最大輝度(上限輝度)を、HDR最大輝度とすることができる。元のHDR画像データの方式がHLG方式の場合は1000cd/mをHDR最大輝度とすることができ、PQ方式の場合は10000cd/mをHDR最大輝度とすることができる。コンテンツ内の最大輝度であるMaxCLL(Maximum Content Light Level)が元のHDR画像データのメタデータに含まれている場合は、MaxCLLをHDR最大輝度としてもよい。SDRモードが設定されている場合などにおいては、HDR最大輝度がユーザによって指定されてもよい。画像受信部101で前回受信されたH
DR画像データの輝度レンジの最大輝度や、当該HDR画像データのMaxCLLをHDR最大輝度としてもよい。
ステップS106にて、キャプチャ制御部104が画像キャプチャ部105へ指示を出力することにより、画像キャプチャ部105は、画像処理部102から出力された画像データを、キャプチャ画像データとして記憶媒体に記録(キャプチャ)する。ステップS106で記録されるキャプチャ画像データは、画像処理部102の画像処理状態がステップS104またはステップS105で変更された後の画像データである。具体的には、キャプチャ対象の画像がHDR画像である場合には、ステップS104の処理が行われるため、HDRレンジ処理が施されていない(輝度レンジが変換されていない)キャプチャ画像データが得られる。キャプチャ対象の画像がSDR画像である場合には、ステップS105の処理が行われるため、ゲイン値で各画素値を低減する画像処理が施されたキャプチャ画像データが得られる。ステップS106で記録されるキャプチャ画像データは、例えば、他の装置でキャプチャ画像を再生するための画像データである。
本実施例の効果について、図3,4を用いて説明する。図3は、SDRキャプチャ画像(図2のステップS106で記録されたSDRキャプチャ画像)を、一般的な画像再生ソフトで再生し、上限表示輝度100cd/mのSDRモニタで表示した場合の例を示す。図3には、SDR画像の輝度、SDRキャプチャ画像の画素値(RGB値)、及び、SDRモニタの表示輝度が示されている。
ここでは、HDRtoSDRモードが設定されており、HLG方式のHDR画像データがSDR画像データに変換されているものとする。そして、HDR最大輝度が1000cd/mであり、ゲイン値として0.1が算出されたとする(図2のステップS105)。
SDR画像の輝度100cd/mについて、図14(B)の例ではSDRキャプチャ画像の画素値がRGB値(255,255,255)である。一方、本実施例では、ゲイン値0.1によって各画素値が低減されることにより、SDRキャプチャ画像の画素値はRGB値(255×0.1,255×0.1,255×0.1)=(255,255,255)となる。そして、SDRキャプチャ画像のRGB値(25,25,25)は、SDRモニタにおいて表示輝度10cd/mで表示される。
図4は、HDRキャプチャ画像(図2のステップS106で記録されたHDRキャプチャ画像)を、一般的な画像再生ソフトで再生し、上限表示輝度100cd/mのSDRモニタで表示した場合の例を示す。図4には、HDR画像の輝度、HDRキャプチャ画像の画素値(RGB値)、及び、HDRモニタの表示輝度が示されている。
図4では、図14(A)と同様に、HDR画像の輝度1000cd/mについて、HDRキャプチャ画像のRGB値(255,255,255)が得られる。そして、HDRキャプチャ画像のRGB値(255,255,255)は、SDRモニタにおいて表示輝度100cd/mで表示される。HDR画像の輝度100cd/mについては、HDRキャプチャ画像のRGB値(25,25,25)が得られる。そして、HDRキャプチャ画像のRGB値(25,25,25)は、SDRモニタにおいて表示輝度10cd/mで表示される。
このように、本実施例では、HDR最大輝度に応じてSDR画像が暗くキャプチャされる。これにより、キャプチャ画像の表示において、HDR画像の輝度レンジ0〜100cd/mとSDR画像の輝度レンジ0〜100cd/mとの両方を、0〜10cd/mの輝度レンジで表示できる。このため、HDRキャプチャ画像とSDRキャプチャ画像
を比較できる。
さらに、HDRキャプチャ画像を得る際に、HDRレンジ処理が解除されるため(図2のステップS104)、表示レンジ(HDRレンジ)の違いによるキャプチャ画像の見えの違いを解消することができる。
以上述べたように、本実施例によれば、画像処理状態を変更してキャプチャ画像データを生成することにより、他のキャプチャ画像データと比較可能なキャプチャ画像データを得ることができる。
なお、図2のキャプチャ処理の開始時に、表示対象のフレームの更新を停止するフリーズ処理を行ってもよい。これにより、図2のステップS101で記録されるキャプチャ画像に対応するフレームと、ステップS106で記録されるキャプチャ画像に対応するフレームとを確実に一致させることができる。
本実施例では、画像処理部102は、液晶パネル103へ出力する画像データと、画像キャプチャ部105へ出力する画像データとの両方を兼ねた画像データを生成して出力する。このため、図2のステップS104またはステップS105で画像処理状態が変化することにより、表示装置100の表示輝度が変化する。この場合には、図2のキャプチャ処理の終了時に、表示装置100の表示輝度が元に戻るように、画像処理状態を元に戻してもよい。具体的には、ステップS104の処理が行われてキャプチャ処理が終了する場合には、HDRレンジ処理を有効化すればよい。ステップS105の処理が行われてキャプチャ処理が終了する場合には、ゲイン値を1に変更すればよい。
図2のステップS104にて、HDRレンジ処理を解除(無効化)せずに、輝度レンジを所定の輝度レンジに変換する画像処理(表示レンジを所定の輝度レンジとする処理)が行われるようにしてもよい。所定の輝度レンジは、1000cd/mなどの固定輝度を最大輝度とする輝度レンジである。表示レンジの違いによる見えの違いをキャプチャ画像で確認したいというニーズも考えられる。このため、ステップS104の処理を省略してもよい。
<実施例2>
以下、本発明の実施例2について説明する。なお、以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。本実施例では、HDR画像とSDR画像を並べて表示している場合(2画面表示)のキャプチャ処理について説明する。
図5は、本実施例に係る表示装置200の構成例を示すブロック図である。図5において、図1(実施例1)と同じブロックには図1と同じ符号が付されている。表示装置200は、2つの画像受信部101、画像処理部202、液晶パネル103、キャプチャ制御部204、画像キャプチャ部105、表示制御部206、バックライト制御部207、及び、バックライトユニット108を有する。本実施例では、2つの画像受信部101の一方で受信された画像データ(第1の画像データ)がHDR画像データであり、2つの画像受信部101の他方で受信された画像データ(第2の画像データ)がSDR画像データであるとする。
画像処理部202は、実施例1の画像処理部102と同様の機能を有する。但し、画像処理部202は、第1の画像データと第2の画像データのそれぞれに対して個別に画像処理を施す。すなわち、画像処理部202は、第1の画像データに画像処理を施すことにより第1の処理画像データを生成し、第2の画像データに画像処理を施すことにより第2の
処理画像データを生成する。そして、画像処理部202は、第1の処理画像データと第2の処理画像データとを合成することにより合成画像データを生成し、合成画像データを液晶パネル103および画像キャプチャ部105へ出力する。合成画像データは、第1の処理画像データと第2の処理画像データにそれぞれ対応する2つの画像を配置した合成画像を表す。図6は合成画像の一例を示す。図6の合成画像210には、第1の処理画像データによって表された画像211と、第2の処理画像データによって表された画像212とが左右に並べられている。なお、合成画像に配置される画像の数や、合成画像における画像のレイアウトは、特に限定されない。例えば、合成画像に3つ以上の画像が配置されてもよいし、合成画像において複数の画像が上下方向に並べられてもよいし、合成画像において複数の画像がマトリクス状に並べられてもよい。
キャプチャ制御部204は、実施例1のキャプチャ制御部104と同様の機能を有する。但し、キャプチャ制御部204は、合成画像に配置された複数の画像のそれぞれについて個別に画像処理状態が設定(変更)されるように、画像処理部202へ指示を出力する。具体的には、キャプチャ制御部204は、第1の画像データ(第1の処理画像データ)と第2の画像データ(第2の処理画像データ)とのそれぞれについて個別に画像処理状態が変更されるように、画像処理部202へ指示を出力する。
表示制御部206は、実施例1の表示制御部106と同様の機能を有する。但し、表示制御部206は、合成画像に配置された複数の画像のそれぞれについて実施例1と同様の処理(表示モードの設定や、色域、EOTF、表示レンジ最大輝度、表示モードなどの通知)を個別に行う。具体的には、表示制御部206は、第1画像データ(第1処理画像データ)について、表示モードの設定や、色域、EOTF、表示レンジ最大輝度、表示モードなどの通知を行う。また、表示制御部206は、第2画像データ(第2処理画像データ)について、表示モードの設定や、色域、EOTF、表示レンジ最大輝度、表示モードなどの通知を行う。本実施例では、第1画像データ(第1処理画像データ)についてHDRモードが設定され、第2画像データ(第2処理画像データ)についてSDRモードが設定されたとする。
バックライト制御部207は、実施例1のバックライト制御部107と同様の機能を有する。但し、バックライト制御部207は、合成画像に配置された複数の画像のそれぞれについて実施例1と同様の処理を個別に行う。具体的には、バックライト制御部207は、以下の動作1,2が実現されるように、バックライト制御信号をバックライトユニット108へ出力する。

動作1:第1画像データ(第1処理画像データ)に基づく画像が表示されるエリアに対応するバックライトユニット108のエリアが、第1画像データ(第1処理画像データ)に対応する表示レンジ最大輝度に応じた発光輝度で発光する。
動作2:第2画像データ(第2処理画像データ)に基づく画像が表示されるエリアに対応するバックライトユニット108のエリアが、第2画像データ(第2処理画像データ)に対応する表示レンジ最大輝度に応じた発光輝度で発光する。
図7は、表示装置200で行われるキャプチャ処理の一例を示すフローチャートである。図7のキャプチャ処理は、キャプチャ指示(キャプチャ操作)に応じて開示される。図7において、図2(実施例1)と同じ処理ステップには図2と同じ符号が付されている。図7のキャプチャ処理では、ステップS103〜S105の処理が、合成画像に配置された複数の画像のそれぞれについて個別に行われる(ステップS201;ステップS103〜S105の処理の繰り返し)。
まず、図6の画像211(第1画像データ;第1処理画像データ)についてステップS103〜S105の処理が行われる。本実施例では、上述したように、第1画像データはHDR画像データであり、第1画像データについてHDRモードが設定されている。このため、ステップS103からステップS104へ処理が進められ、第1画像データに対するHDRレンジ処理が解除される。
次に、図6の画像212(第2画像データ;第2処理画像データ)についてステップS103〜S105の処理が行われる。本実施例では、上述したように、第2画像データはSDR画像データであり、第2画像データについてSDRモードが設定されている。このため、ステップS103からステップS105へ処理が進められ、ゲイン値で各画素値を低減する画像処理が第2画像データ(第2処理画像データ)に対して行われるようになる。なお、ここでは、第1画像データの輝度レンジの最大輝度(上限輝度)である1000cd/mがHDR最大輝度として用いられ、ゲイン値として0.1が算出されたとする。
その後、ステップS106へ進む。
図8は、本実施例に係るキャプチャ画像の一例を示す。図8のキャプチャ画像220は、図6の合成画像210をキャプチャした画像であり、画像211(第1画像データ;第1処理画像データ)に対応する画像221と、画像212(第2画像データ;第2処理画像データ)に対応する画像222とが配置されている。図7のキャプチャ処理により、画像221は、HDRレンジ処理が施されていない画像となり、画像222は、ゲイン値(0.1)で各画素値を低減する画像処理が施された画像となる。実施例1と同様に、キャプチャ画像の表示において、第1画像データの輝度レンジ0〜100cd/mと第2画像データの輝度レンジ0〜100cd/mとの両方を、同じ輝度レンジで表示できる。このため、画像221と画像222を比較できる。
以上述べたように、本実施例によれば、実施例1と同様の処理により、複数の画像を配置した合成画像を表示する場合(表示対象の複数の画像が存在する場合)において、当該複数の画像を比較可能なキャプチャ画像データを得ることができる。
なお、バックライトユニット108の発光輝度を各画像の表示レンジ最大輝度に基づき制御する例を説明したが、表示輝度の制御方法はこれに限られない。例えば、画像処理で表示輝度を制御してもよい。
HDR画像データとSDR画像データが表示装置200に入力される例を説明したが、これに限られない。例えば、HDR画像データが表示装置200に入力され、表示装置200内において、入力されたHDR画像データの複製を生成し、2つのHDR画像データの一方をSDR画像データに変換してもよい。
1枚の画像における複数のエリアのそれぞれについて表示モードが設定可能であってもよい。そして、複数のエリアのそれぞれについて個別に画像処理状態を変更してもよい。例えば、1枚のHDR画像の左半分にHDRモードを設定し、右半分にHDRtoSDRモードを設定してもよい。この場合は、左半分がHDRで表示され、右半分がSDRで表示される。そして、キャプチャ時に、左半分についてHDRレンジ処理が解除され、右半分について各画素値を低減する画像処理が行われるようになる。
複数の表示モードは、HDR画像を表示面における第1のエリアに表示し且つSDR画像を表示面における第2のエリアに表示する比較モードを含んでもよい。比較モードでは、第1のエリアについてHDR処理モードと同様の処理を行い、第2のエリアについてS
DR処理モードと同様の処理を行えばよい。
合成画像に配置された複数の画像のそれぞれについて個別にキャプチャ画像を取得してもよいし、1枚の画像の複数のエリアのそれぞれについて個別にキャプチャ画像を取得してもよい。例えば、図6の画像211に対応するキャプチャ画像(図8の画像221)と、図6の画像212に対応するキャプチャ画像(図8の画像222)とを個別に取得してもよい。
<実施例3>
以下、本発明の実施例3について説明する。なお、以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。本実施例では、HDR最大輝度ではなく、表示レンジ最大輝度(上限表示輝度)に基づきゲイン値を算出する例について説明する。
図9は、本実施例に係る表示装置300の構成例を示すブロック図である。図9において、図1(実施例1)と同じブロックには図1と同じ符号が付されている。表示装置300は、画像受信部101、画像処理部102、液晶パネル103、キャプチャ制御部304、画像キャプチャ部105、表示制御部106、バックライト制御部107、及び、バックライトユニット108を有する。なお、表示装置300では、1000cd/mまでの上限表示輝度が設定可能であるとする。
キャプチャ制御部304は、実施例1のキャプチャ制御部104と同様の機能を有する。但し、キャプチャ制御部304は、HDR最大輝度ではなく、表示レンジ最大輝度(上限表示輝度)に基づきゲイン値を算出する。
図10は、表示装置300で行われるキャプチャ処理の一例を示すフローチャートである。図10のキャプチャ処理は、キャプチャ指示(キャプチャ操作)に応じて開示される。図10において、図2(実施例1)と同じ処理ステップには図2と同じ符号が付されている。図10のキャプチャ処理では、図2のステップS105の処理は行われないが、ステップS301の処理が行われる。
実施例1で述べたように、ステップS102にて、キャプチャ制御部304は、キャプチャ画像を他の装置で再生するか否かを判断する。キャプチャ画像を他の装置で再生すると判断した場合はステップS301へ進み、そうでない場合にはキャプチャ処理を終了する。
ステップS301にて、キャプチャ制御部304は、以下の式2を用いて、表示レンジ最大輝度(上限表示輝度)からゲイン値を算出し、算出したゲイン値を画像処理部102へ通知する。これにより、画像処理部102では、キャプチャ制御部304から通知されたゲイン値を画像データの各画素値に乗算する処理が行われるようになる(画像処理状態の変更)。式2の「設定可能輝度」は、表示レンジ最大輝度(上限表示輝度)として設定可能な輝度であり、本実施例では1000cd/mである。式2によれば、表示レンジ最大輝度(上限表示輝度)が低いほど小さく且つ1よりも小さいゲイン値が算出される。例えば、設定可能輝度が1000cd/mで表示レンジ最大輝度が600cd/mの場合には、ゲイン値0.6が算出される。

ゲイン値=表示輝度レンジ最大輝度/設定可能輝度 ・・・(式2)
以上述べたように、本実施例によれば、上限表示輝度が低いほど小さいゲイン値で各画
素値が低減される。これにより、他のキャプチャ画像データと比較可能なキャプチャ画像データを得ることができる。また、各画素値を低減する画像処理は、キャプチャ対象の画像がHDR画像かSDR画像かにかかわらずに行われる。このため、HDRレンジの違いによる明るさの違いをキャプチャ画像で確認することができる。
なお、HDRレンジの違いによるキャプチャ画像の明るさの違いを解消したい場合には、ステップS301の処理が行われる条件を変更すればよい。具体的には、図2のステップS105と同様に、キャプチャ対象の画像がSDR画像である場合に限ってステップS301の処理が行われるようにすればよい。HDRレンジの違いによるキャプチャ画像の階調特性の違いを解消したい場合には、ステップS104の処理を省略すればよい。
<実施例4>
以下、本発明の実施例4について説明する。なお、以下では、実施例1と異なる点(構成、処理、等)について詳しく説明し、実施例1と同じ点についての説明は省略する。本実施例では、HDR画像をキャプチャする際に、当該HDR画像を変換したSDR画像をさらにキャプチャする例について説明する。
図11は、本実施例に係る表示装置400の構成例を示すブロック図である。図11において、図1(実施例1)と同じブロックには図1と同じ符号が付されている。表示装置400は、画像受信部101、画像処理部102、液晶パネル103、キャプチャ制御部404、画像キャプチャ部105、表示制御部106、バックライト制御部107、及び、バックライトユニット108を有する。
キャプチャ制御部404は、実施例1のキャプチャ制御部104と同様の機能を有する。但し、HDRモードが設定されている場合に、キャプチャ制御部404は、HDRキャプチャ画像が記録された後に、HDRtoSDRモードが設定され、HDRキャプチャ画像に対応するSDRキャプチャ画像が記録されるように、種々の指示を行う。
図12は、表示装置400で行われるキャプチャ処理の一例を示すフローチャートである。図12のキャプチャ処理は、キャプチャ指示(キャプチャ操作)に応じて開示される。図12において、図2(実施例1)と同じ処理ステップには図2と同じ符号が付されている。図12のキャプチャ処理では、ステップS104の処理の次に、ステップS401〜S404の処理が行われる。
ステップS401にて、キャプチャ制御部404が画像キャプチャ部105へ指示を出力することにより、画像キャプチャ部105は、画像処理部102から出力された画像データを、キャプチャ画像データとして記憶媒体に記録(キャプチャ)する。ステップS401の処理は、ステップS106の処理と同様である。但し、ステップS401では(他の装置でキャプチャ画像を再生するための)HDRキャプチャ画像データが記録される。
ステップS402にて、キャプチャ制御部404は、設定されている表示モードをHDRモードからHDRtoSDRモードに変更するように、表示制御部106へ指示を出力する。これにより、HDRtoSDRモードが設定される。
ステップS403にて、キャプチャ制御部404は、実施例1で述べた式1を用いて、HDRレンジ最大輝度からゲイン値を算出し、算出したゲイン値を画像処理部102へ通知する。これにより、画像処理部102では、キャプチャ制御部404から通知されたゲイン値を画像データの各画素値に乗算する処理が行われるようになる(画像処理状態のさらなる変更)。ステップS403の処理は、ステップS105の処理と同様である。
ステップS404にて、キャプチャ制御部404が画像キャプチャ部105へ指示を出力することにより、画像キャプチャ部105は、画像処理部102から出力された画像データを、キャプチャ画像データとして記憶媒体に記録(キャプチャ)する。ステップS404の処理は、ステップS106,S401の処理と同様である。但し、ステップS404では(他の装置でキャプチャ画像を再生するための)SDRキャプチャ画像データが記録される。
以上述べたように、本実施例によれば、HDRキャプチャ画像を取得した後に、当該HDRキャプチャ画像に対応するSDRキャプチャ画像が自動で取得される。つまり、1回のキャプチャ操作で、互いに対応するHDRキャプチャ画像とSDRキャプチャ画像が取得される。互いに対応するHDRキャプチャ画像とSDRキャプチャ画像を比較する機会は多く、本実施例の上記処理により利便性が向上する。
<実施例5>
以下、本発明の実施例5について説明する。なお、以下では、実施例1,3と異なる点(構成、処理、等)について詳しく説明し、実施例1,3と同じ点についての説明は省略する。本実施例では、キャプチャ処理を行う画像処理装置が表示装置とは別体の装置である例について説明する。
図13は、本実施例に係る表示システムの構成例を示すブロック図である。図13において、図1(実施例1)と同じブロックには図1と同じ符号が付されている。本実施例に係る表示システムは、画像処理装置500と表示装置600を有する。画像処理装置500は、例えば、パーソナルコンピュータである。
画像処理装置500は、画像生成部501、画像処理部102、画像送信部503、キャプチャ制御部504、画像キャプチャ部105、画像処理制御部505、及び、通信部506を有する。
画像生成部501は、操作画面や、画像処理装置500で動作するアプリケーションの画面などの画像データを生成する。画像生成部501では、HDR画像データが生成されたり、SDR画像データが生成されたりする。そして、画像生成部501は、生成した画像データを画像処理部102へ出力する。
画像送信部503は、画像処理部102から出力された画像データを、画像処理装置500の外部へ出力する。具体的には、画像送信部503は、SDI規格に準じたSDI出力端子を備えており、画像処理部102から出力された画像データを、SDI信号に変換してSDI出力端子から出力する。本実施例では、画像送信部503から表示装置600(画像受信部101)へ画像データが出力される。
キャプチャ制御部504は、実施例3のキャプチャ制御部304と同様の機能を有する。但し、キャプチャ制御部504は、処理に必要な情報を画像処理制御部505と通信部506から取得する。
画像処理制御部505は、実施例1の表示制御部106と同様の機能を有する。但し、本実施例の処理モードは実施例1の処理モード(表示モード)とは異なり、本実施例の処理モードには表示レンジが対応付けられていない(色域やEOTFは対応付けられている)。
通信部506は、外部装置との通信を行うことができる。通信部506による通信の規格は特に限定されない。通信部506による通信は、無線通信であってもよいし、有線通
信であってもよい。本実施例では、通信部506は、LANケーブルを介して表示装置600(後述する通信部604)とのEthernet通信を行う。通信部506は、キャプチャ制御部504からの輝度取得要求に応じて、輝度取得コマンドを表示装置600へ送信する。また、通信部506は、表示装置600から送信された輝度情報をキャプチャ制御部504へ通知する。輝度情報は、表示輝度レンジ最大輝度と設定可能輝度を少なくとも示す。
表示装置600は、画像受信部101、画像処理部601、液晶パネル103、操作入力部602、表示制御部603、通信部604、バックライト制御部107、及び、バックライトユニット108を有する。
画像処理部601は、画像受信部101から出力された画像データに対して、表示制御部603からの指示に基づく画像処理(色域補正やガンマ補正など)を施す。そして、画像処理部601は、画像処理後の画像データを液晶パネル103へ出力する。
操作入力部602は、表示装置600(表示装置100に設けられたボタン等)に対するユーザ操作を受け付け、ユーザ操作に応じた信号(情報)を出力する。例えば、操作入力部602は、上限表示輝度を指定するユーザ操作に応じて、指定された上限表示輝度を表示制御部603へ通知する。
表示制御部603は、画像処理(色域補正やガンマ補正など)の実行を画像処理部601へ指示する。また、表示制御部603は、操作入力部602から通知された上限表示輝度(表示レンジ最大輝度)をバックライト制御部107へ通知する。さらに、表示制御部603は、通信部604を介して画像処理装置500(通信部506)から輝度取得コマンドを受信した場合に、輝度情報を通信部604へ通知する。
通信部604は、通信部506と同様の機能を有する。本実施例では、通信部604は、LANケーブルを介して画像処理装置500(通信部506)とのEthernet通信を行う。通信部604は、画像処理装置500から送信された輝度取得コマンドを表示制御部603へ送信(転送)する。また、通信部604は、表示制御部603から通知された輝度情報を画像処理装置500へ送信する。
以上述べたように、本実施例によれば、キャプチャ処理を行う画像処理装置が表示装置とは別体の装置である場合において、実施例3と同様のキャプチャ処理が行われる。これにより、他のキャプチャ画像データと比較可能なキャプチャ画像データを得ることができる。
なお、実施例1〜5(図1,5,9,11,13)の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。1つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つのブロックの2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
なお、実施例1〜5(上述した変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で実施例1〜5の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜5の構成を適宜組み合わせて得られる構成も、本発明に
含まれる。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,200,300,400:表示装置 102,202:画像処理部
104,204,304,404,504:キャプチャ制御部
105:画像キャプチャ部 106,206:表示制御部
500:画像処理装置 505:画像処理制御部

Claims (16)

  1. 第1の輝度レンジを有する画像を表示するための第1の処理モードと、前記第1の輝度レンジよりも狭い第2の輝度レンジを有する画像を表示するための第2の処理モードとを含む複数の処理モードのいずれかを設定可能な設定手段と、
    設定されている処理モードに応じた画像処理を行う第1の状態で表示対象のフレーム画像データを生成し、設定されている処理モードに応じて前記第1の状態を変更した第2の状態で前記フレーム画像データに対応するキャプチャ画像データを生成する処理手段と、を有することを特徴とする画像処理装置。
  2. 前記第2の処理モードが設定されている場合の第2の状態は、前記フレーム画像データの各画素値を低減する画像処理を行う状態である
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記フレーム画像データの各画素値を低減する前記画像処理は、前記フレーム画像データに対応し且つ前記第2の輝度レンジよりも広い輝度レンジを有する画像データの最大輝度または上限輝度が高いほど小さいゲイン値で前記フレーム画像データの各画素値を低減する画像処理である
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記フレーム画像データの各画素値を低減する前記画像処理は、前記フレーム画像データに基づく画像を表示する表示装置の上限表示輝度が低いほど小さいゲイン値で前記フレーム画像データの各画素値を低減する画像処理である
    ことを特徴とする請求項2に記載の画像処理装置。
  5. 前記第1の処理モードが設定されている場合の第2の状態も、前記フレーム画像データの各画素値を低減する前記画像処理を行う状態である
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記第1の処理モードが設定されている場合の第2の状態は、輝度レンジを前記第1の輝度レンジに変換する画像処理を行わない状態である
    ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記設定手段は、さらに、複数の輝度レンジのいずれかを前記第1の輝度レンジとして設定可能であり、
    前記第1の処理モードが設定されている場合の第2の状態は、輝度レンジを所定の輝度レンジに変換する画像処理を行う状態である
    ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 前記処理手段は、前記第1の状態で、前記フレーム画像データに対応する第1のキャプチャ画像データを生成し、前記第2の状態で、前記フレーム画像データに対応する第2のキャプチャ画像データを生成する
    ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 前記第1の処理モードが設定されている場合に、
    前記処理手段は、前記第1の処理モードに応じて前記第1の状態を変更した第2の状態で第2のキャプチャ画像データを生成し、
    前記設定手段は、前記第2の処理モードを設定し、
    前記処理手段は、前記第2の処理モードに応じて前記第1の状態を変更した第2の状態で第3のキャプチャ画像データを生成する
    ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
  10. 表示対象の複数のフレーム画像データが存在する場合に、
    前記設定手段は、前記複数のフレーム画像データのそれぞれについて個別に処理モードを設定可能であり、
    前記処理手段は、前記複数のフレーム画像データのそれぞれについて個別に第2の状態を設定する
    ことを特徴とする請求項1〜9のいずれか1項に記載の画像処理装置。
  11. 前記設定手段は、前記フレーム画像データによって表された画像における複数のエリアのそれぞれについて個別に処理モードを設定可能であり、
    前記処理手段は、前記複数のエリアのそれぞれについて個別に第2の状態を設定する
    ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
  12. 前記複数の処理モードは、前記第1の輝度レンジを有する画像を表示面における第1のエリアに表示し且つ前記第2の輝度レンジを有する画像を前記表示面における第2のエリアに表示するための第3の処理モードを含み、
    前記第3の処理モードが設定されている場合に、前記処理手段は、前記第1のエリアについて、前記第1の処理モードに応じて前記第1の状態を変更した状態と同じ第2の状態を設定し、且つ、前記第2のエリアについて、前記第2の処理モードに応じて前記第1の状態を変更した状態と同じ第2の状態を設定する
    ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理装置。
  13. 前記画像処理装置は、前記フレーム画像データに基づく画像を表示する表示装置であることを特徴とする請求項1〜12のいずれか1項に記載の画像処理装置。
  14. 前記第1の輝度レンジはHDR(High Dynamic Range)であり、
    前記第2の輝度レンジはSDR(Standard Dynamic Range)である
    ことを特徴とする請求項1〜13のいずれか1項に記載の画像処理装置。
  15. 第1の輝度レンジを有する画像を表示するための第1の処理モードと、前記第1の輝度レンジよりも狭い第2の輝度レンジを有する画像を表示するための第2の処理モードとを含む複数の処理モードのいずれかを設定可能なステップと、
    設定されている処理モードに応じた画像処理を行う第1の状態で表示対象のフレーム画像データを生成し、設定されている処理モードに応じて前記第1の状態を変更した第2の状態で前記フレーム画像データに対応するキャプチャ画像データを生成するステップと、を有することを特徴とする画像処理方法。
  16. コンピュータを、請求項1〜14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2018201958A 2018-10-26 2018-10-26 表示装置およびその制御方法 Active JP7254477B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018201958A JP7254477B2 (ja) 2018-10-26 2018-10-26 表示装置およびその制御方法
US16/660,196 US11315290B2 (en) 2018-10-26 2019-10-22 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018201958A JP7254477B2 (ja) 2018-10-26 2018-10-26 表示装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2020067629A true JP2020067629A (ja) 2020-04-30
JP7254477B2 JP7254477B2 (ja) 2023-04-10

Family

ID=70327080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018201958A Active JP7254477B2 (ja) 2018-10-26 2018-10-26 表示装置およびその制御方法

Country Status (2)

Country Link
US (1) US11315290B2 (ja)
JP (1) JP7254477B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
CN114600164A (zh) * 2019-10-31 2022-06-07 爱尔康公司 用于为人工晶状体患者提供视觉模拟的系统和方法
JP2021153236A (ja) * 2020-03-24 2021-09-30 キヤノン株式会社 表示装置および表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977946A (en) * 1993-12-16 1999-11-02 Matsushita Electric Industrial Co., Ltd. Multi-window apparatus
JP2016082546A (ja) * 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置及び画像処理方法
US20160322020A1 (en) * 2015-04-29 2016-11-03 Lg Display Co., Ltd. Image Processing Method, Image Processing Circuit and Display Device Using the Same
JP2017068207A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017181762A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 表示装置及び表示方法
JP2018005069A (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 表示制御装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169097A (ja) 2016-03-17 2017-09-21 シャープ株式会社 受信装置、表示制御方法、及びプログラム
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US10880491B2 (en) * 2018-09-15 2020-12-29 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including controller for converting dynamic range image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977946A (en) * 1993-12-16 1999-11-02 Matsushita Electric Industrial Co., Ltd. Multi-window apparatus
JP2016082546A (ja) * 2014-10-22 2016-05-16 キヤノン株式会社 画像処理装置及び画像処理方法
US20160322020A1 (en) * 2015-04-29 2016-11-03 Lg Display Co., Ltd. Image Processing Method, Image Processing Circuit and Display Device Using the Same
JP2017068207A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017181762A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 表示装置及び表示方法
JP2018005069A (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 表示制御装置

Also Published As

Publication number Publication date
JP7254477B2 (ja) 2023-04-10
US11315290B2 (en) 2022-04-26
US20200134882A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US10096095B2 (en) Display apparatus and display method
JP6757157B2 (ja) 投影装置およびその制御方法
WO2015198554A1 (ja) 変換方法および変換装置
JP7254477B2 (ja) 表示装置およびその制御方法
JP6700880B2 (ja) 情報処理装置および情報処理方法
JP2018146949A (ja) 画像処理装置および画像処理方法
JP2018013696A (ja) 画像処理装置および表示装置
JP2019159182A (ja) 表示装置およびその制御方法、プログラム
JP2006313259A (ja) プロジェクタへの画像の供給
JP6559040B2 (ja) パラメータ記録制御装置、表示装置、パラメータ記録制御装置の制御方法、及び、プログラム
US11234042B2 (en) Display device, control method therefor and recording medium
JP2020127068A (ja) 制御装置および制御方法
JP2010066352A (ja) 測定装置、補正データ生成装置、測定方法、補正データ生成方法、および補正データ生成プログラム
JP2008139709A (ja) 色処理装置およびその方法
US10542207B2 (en) Image processing apparatus and image processing method
JP6980833B2 (ja) 表示装置及び表示方法
JP2019129464A (ja) 投影装置およびその制御方法
US11869174B2 (en) Image processing apparatus, display apparatus, image processing method, and non-transitory computer readable medium
JP6610755B2 (ja) 画像処理装置及び表示判定方法
JP6610757B2 (ja) 画像処理装置及び表示判定方法
JP6610756B2 (ja) 画像処理装置及び表示判定方法
JP2011141341A (ja) 映像信号分配装置及びその制御方法、プログラム
US20190114994A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP2010217829A (ja) 画像表示システム及び画像表示システムにおける画像表示方法
JP2018194585A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230329

R151 Written notification of patent or utility model registration

Ref document number: 7254477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151