JP2018013696A - 画像処理装置および表示装置 - Google Patents
画像処理装置および表示装置 Download PDFInfo
- Publication number
- JP2018013696A JP2018013696A JP2016144282A JP2016144282A JP2018013696A JP 2018013696 A JP2018013696 A JP 2018013696A JP 2016144282 A JP2016144282 A JP 2016144282A JP 2016144282 A JP2016144282 A JP 2016144282A JP 2018013696 A JP2018013696 A JP 2018013696A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image data
- display
- unit
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 claims abstract description 127
- 230000008859 change Effects 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 79
- 238000012937 correction Methods 0.000 claims description 66
- 239000002131 composite material Substances 0.000 claims description 51
- 238000013459 approach Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 description 144
- 238000009877 rendering Methods 0.000 description 37
- 238000011068 loading method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 239000004973 liquid crystal related substance Substances 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 12
- 230000007423 decrease Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000005401 electroluminescence Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/04—Display protection
- G09G2330/045—Protection against panel overheating
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】ユーザーの意図した表示を可能にする技術を提供する。【解決手段】本発明の画像処理装置は、対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定手段と、前記決定手段によって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成手段と、前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得手段と、前記生成手段によって生成された前記処理画像データ、及び、前記取得手段によって取得された前記輝度情報、に基づくデータを、記憶部に記録する記録手段と、を有する。【選択図】図2
Description
本発明は、画像処理装置および表示装置に関する。
近年、広いダイナミックレンジを有する画像データが扱われる機会が増している。例えば、撮影装置の受光性能の向上に伴い、広いダイナミックレンジを有する画像データを生成可能な撮影装置が増している。広いダイナミックレンジを有する画像データは、「HDR(ハイダイナミックレンジ)画像データ」などと呼ばれる。
そして、HDR画像データの階調特性として、Log特性(Log階調特性)に近い階調特性が使用されている。Log階調特性は、輝度の増加に対して階調値が対数的に増加する階調特性である。換言すれば、HDR画像データとして、Log特性(Log変換特性)に近い変換特性で変換された画像データが使用されている。変換特性は、変換前の階調値の変化に対する、変換後の階調値の変化の特性である。Log変換特性は、変換前の階調値の増加に対して、変換後の階調値が対数的に増加する変換特性である。例えば、映画製作現場では、HDR画像データの階調特性や変換特性として、ダイナミックレンジが広いフィルムの特性に基づいて定められたCineon Log特性が使用されている。
また、表示装置の表示性能の向上に伴い、数十万対一の高コントラストでの表示、数千カンデラの高輝度での表示、等が可能な表示装置が増している。例えば、液晶表示装置においては、液晶パネルの背面に光を照射するバックライトモジュールを用いたローカルディミング制御により、高コントラストでの表示が実現できる。また、バックライトモジュールの発光輝度(発光量)を高めることで、高輝度での表示が実現できる。
そして、高コントラストかつ高輝度での表示を実現可能な表示装置でHDR画像データに基づく画像を表示するための画像制作ワークフローの検討が進んでいる。従来は、画像データを表示装置に伝送するための伝送規格として、Rec.709などが使用されていた。しかしながら、従来の伝送規格では、ダイナミックレンジが狭いレンジに制限されており、輝度が低い輝度に制限されている。そのため、従来は、ダイナミックレンジを狭めるレンジ圧縮を伴う画像編集により、画像データがRec.709の画像データに変換され、変換後の画像データが表示装置に伝送されていた。そして、表示装置では、表示装置の性能の一部のみを使用して画像が表示されていた。即ち、伝送規格の制限により、画像データのダイナミックレンジにロスが生じていた。
そこで、HDR画像データのダイナミックレンジを維持する伝送方式の検討が進んでいる。例えば、SMPTE ST 2084規格(ST2084規格)が提案されている。ST2084規格では、図36に示す対応関係に従って、0〜10000[cd/m2]の物理的な輝度が10ビットの階調値に変換される。それにより、Log階調特性を有するHDR画像データが得られる。以後、このようなHDR画像データを「HDR輝度画像データ」と記載する。ST2084規格には、「HDR画像データの階調値を表示装置(表示部)の表示輝度として扱うことができる」という特徴がある。「表示輝度」は画面上の物理的な輝度である。
しかしながら、表示装置では、消費電力低減とデバイス保護のために、ABL(Automatic Brightness Limiter)処理が行われることがある(特許文献1)。例えば、ABL処理では、入力画像データの輝度が高い場合に、表示パネルに流れる電流を減らすことにより表示輝度が低減される。そして、ABL処理が行われる
と、HDR輝度画像データに基づいて画像が表示される場合であっても、HDR輝度画像データの輝度とは異なる表示輝度が実現されてしまう。
と、HDR輝度画像データに基づいて画像が表示される場合であっても、HDR輝度画像データの輝度とは異なる表示輝度が実現されてしまう。
図37は、ABL処理の一例を示す。図37の例は、表示輝度の上限として1000[cd/m2]以下の輝度が使用される場合の例を示す。また、図37の例は、入力画像データの平均輝度に応じて表示輝度の上限を決定するABL処理を示す。入力画像データの平均輝度が低い場合には、表示装置の消費電力は低い。そのため、図37の例では、入力画像データの平均輝度が低い場合には、表示輝度の上限として1000[cd/m2]が使用される。しかしながら、表示輝度の上限が一定である場合には、入力画像データの平均輝度の増加に伴い、表示装置の消費電力は増加する。そのため、図37の例では、入力画像データの平均輝度が高い場合に、入力画像データの平均輝度が低い場合に比べ低い輝度が、表示輝度の上限として決定される。表示輝度の上限が変わると、HDR輝度画像データの輝度と、表示輝度との対応関係も変わる。そのため、表示輝度の上限が変わることにより、HDR輝度画像データの輝度とは異なる表示輝度が実現されてしまう。
このように、ABL処理が行われる場合などにおいて、HDR輝度画像データの輝度とは異なる表示輝度が実現されてしまう。そして、そのような表示輝度に基づいてユーザーがHDR輝度画像データの編集を行うと、意図せぬ編集結果(ユーザーの意図せぬ輝度を有する画像データ)が得られてしまう。その結果、上記編集で使用された表示装置とは異なる表示装置を使用した場合等において、上記編集結果の表示として、ユーザーの意図せぬ表示輝度での表示が実現されてしまう。
本発明は、ユーザーの意図した表示を可能にする技術を提供することを目的とする。
本発明の第1の態様は、
対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定手段と、
前記決定手段によって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成手段と、
前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得手段と、
前記生成手段によって生成された前記処理画像データと、前記取得手段によって取得された前記輝度情報とに基づくデータを、記憶部に記録する記録手段と、
を有することを特徴とする画像処理装置である。
対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定手段と、
前記決定手段によって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成手段と、
前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得手段と、
前記生成手段によって生成された前記処理画像データと、前記取得手段によって取得された前記輝度情報とに基づくデータを、記憶部に記録する記録手段と、
を有することを特徴とする画像処理装置である。
本発明の第2の態様は、
入力画像データに基づく画像を表示する表示部と、
前記表示部の表示輝度と前記入力画像データの輝度との対応関係に関する輝度情報を生成する生成手段と、
前記入力画像データと、前記生成手段によって生成された前記輝度情報とに基づくデータを出力する出力手段と、
を有することを特徴とする表示装置である。
入力画像データに基づく画像を表示する表示部と、
前記表示部の表示輝度と前記入力画像データの輝度との対応関係に関する輝度情報を生成する生成手段と、
前記入力画像データと、前記生成手段によって生成された前記輝度情報とに基づくデータを出力する出力手段と、
を有することを特徴とする表示装置である。
本発明の第3の態様は、
動画像データを取得する第1取得手段と、
前記第1取得手段によって取得された前記動画像データの各フレームについて、第1表示部の表示輝度と前記動画像データの輝度との対応関係である第1対応関係に関する輝度情報を取得する第2取得手段と、
前記各フレームについて、前記動画像データの輝度特徴量を、前記動画像データから取得する第3取得手段と、
前記各フレームについて、前記第3取得手段によって取得された前記輝度特徴量に基づいて、第2表示部の表示輝度と前記動画像データの輝度との対応関係である第2対応関係を決定する決定手段と、
前記各フレームについて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否かの判断結果を取得する第4取得手段と、
前記各フレームについて、前記判断結果に基づいて、フレーム間における前記第2対応関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正する補正手段と、
を有することを特徴とする画像処理装置である。
動画像データを取得する第1取得手段と、
前記第1取得手段によって取得された前記動画像データの各フレームについて、第1表示部の表示輝度と前記動画像データの輝度との対応関係である第1対応関係に関する輝度情報を取得する第2取得手段と、
前記各フレームについて、前記動画像データの輝度特徴量を、前記動画像データから取得する第3取得手段と、
前記各フレームについて、前記第3取得手段によって取得された前記輝度特徴量に基づいて、第2表示部の表示輝度と前記動画像データの輝度との対応関係である第2対応関係を決定する決定手段と、
前記各フレームについて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否かの判断結果を取得する第4取得手段と、
前記各フレームについて、前記判断結果に基づいて、フレーム間における前記第2対応関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正する補正手段と、
を有することを特徴とする画像処理装置である。
本発明の第4の態様は、
対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定ステップと、
前記決定ステップによって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成ステップと、
前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得ステップと、
前記生成ステップによって生成された前記処理画像データと、前記取得ステップによって取得された前記輝度情報とに基づくデータを、記憶部に記録する記録ステップと、
を有することを特徴とする画像処理方法である。
対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定ステップと、
前記決定ステップによって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成ステップと、
前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得ステップと、
前記生成ステップによって生成された前記処理画像データと、前記取得ステップによって取得された前記輝度情報とに基づくデータを、記憶部に記録する記録ステップと、
を有することを特徴とする画像処理方法である。
本発明の第5の態様は、
入力画像データに基づく画像を表示する表示部を有する表示装置の制御方法であって、
前記表示部の表示輝度と前記入力画像データの輝度との対応関係に関する輝度情報を生成する生成ステップと、
前記入力画像データと、前記生成ステップによって生成された前記輝度情報とに基づくデータを出力する出力ステップと、
を有することを特徴とする制御方法である。
入力画像データに基づく画像を表示する表示部を有する表示装置の制御方法であって、
前記表示部の表示輝度と前記入力画像データの輝度との対応関係に関する輝度情報を生成する生成ステップと、
前記入力画像データと、前記生成ステップによって生成された前記輝度情報とに基づくデータを出力する出力ステップと、
を有することを特徴とする制御方法である。
本発明の第6の態様は、
動画像データを取得する第1取得ステップと、
前記第1取得ステップによって取得された前記動画像データの各フレームについて、第1表示部の表示輝度と前記動画像データの輝度との対応関係である第1対応関係に関する輝度情報を取得する第2取得ステップと、
前記各フレームについて、前記動画像データの輝度特徴量を、前記動画像データから取得する第3取得ステップと、
前記各フレームについて、前記第3取得ステップによって取得された前記輝度特徴量に基づいて、第2表示部の表示輝度と前記動画像データの輝度との対応関係である第2対応関係を決定する決定ステップと、
前記各フレームについて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否かの判断結果を取得する第4取得ステップと、
前記各フレームについて、前記判断結果に基づいて、フレーム間における前記第2対応関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正する補正ステップと、
を有することを特徴とする画像処理方法である。
動画像データを取得する第1取得ステップと、
前記第1取得ステップによって取得された前記動画像データの各フレームについて、第1表示部の表示輝度と前記動画像データの輝度との対応関係である第1対応関係に関する輝度情報を取得する第2取得ステップと、
前記各フレームについて、前記動画像データの輝度特徴量を、前記動画像データから取得する第3取得ステップと、
前記各フレームについて、前記第3取得ステップによって取得された前記輝度特徴量に基づいて、第2表示部の表示輝度と前記動画像データの輝度との対応関係である第2対応関係を決定する決定ステップと、
前記各フレームについて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否かの判断結果を取得する第4取得ステップと、
前記各フレームについて、前記判断結果に基づいて、フレーム間における前記第2対応関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正する補正ステップと、
を有することを特徴とする画像処理方法である。
本発明の第7の態様は、本発明の第4の態様である画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。本発明の第8の態様は、本発明の第5の態様である制御方法の各ステップをコンピュータに実行させるためのプログラムである。本発明の第9の態様は、本発明の第6の態様である画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
本発明によれば、ユーザーの意図した表示が可能となる。
<実施例1>
以下、本発明の実施例1について説明する。なお、以下では、本実施例に係る表示部が、本実施例に係る画像処理装置とは別体の表示装置である場合の例を説明するが、表示部が画像処理装置の一部であってもよい。また、以下では、表示装置(表示部)が、バックライトモジュールと液晶パネルを有する液晶表示装置である例を説明するが、表示装置は液晶表示装置に限られない。例えば、発光部と、発光部からの光を透過することで画像を表示する表示パネルと、を有する他の表示装置が使用されてもよい。具体的には、表示素子としてMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式表示装置が使用されてもよい。自発光型の表示装置が使用されてもよい。具体的には、有機EL(Electro−Luminescence)表示装置、プラズマ表示装置、等が使用されてもよい。本実施例に係る画像処理装置としては、例えば、パーソナルコンピューター、表示装置、等を使用することができる。
以下、本発明の実施例1について説明する。なお、以下では、本実施例に係る表示部が、本実施例に係る画像処理装置とは別体の表示装置である場合の例を説明するが、表示部が画像処理装置の一部であってもよい。また、以下では、表示装置(表示部)が、バックライトモジュールと液晶パネルを有する液晶表示装置である例を説明するが、表示装置は液晶表示装置に限られない。例えば、発光部と、発光部からの光を透過することで画像を表示する表示パネルと、を有する他の表示装置が使用されてもよい。具体的には、表示素子としてMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式表示装置が使用されてもよい。自発光型の表示装置が使用されてもよい。具体的には、有機EL(Electro−Luminescence)表示装置、プラズマ表示装置、等が使用されてもよい。本実施例に係る画像処理装置としては、例えば、パーソナルコンピューター、表示装置、等を使用することができる。
図1は、本実施例に係る表示システム(画像処理システム)の大まかな構成の一例を示す図である。図1に示すように、本実施例に係る表示システムは、画像処理装置102と表示装置103を有する。
図2は、本実施例に係る表示システムの詳細な構成の一例を示す図である。図2に示すように、画像処理装置102は、画像ストレージ部201、RAW現像部202、絶対輝度変換部203、画像処理部204、SDI信号切替部205、レンダリング部206、及び、メタデータ付加部207を有する。そして、表示装置103は、制御部208、線形変換部209、グラフィック合成部210、グラフィック生成部211、BL制御部212、ガンマ変換部213、液晶パネル214、及び、バックライトモジュール215を有する。
本実施例では、撮影装置を用いて撮影により、撮影画像データ(被写体の画像を表す画像データ)が生成される。そして、撮影画像データが、画像処理装置102に入力され、画像ストレージ部201に格納される。具体的には、ファイル形式の撮影画像データである入力画像ファイル101が、画像処理装置102に入力され、画像ストレージ部201に格納される。
入力画像ファイル101に含まれた撮影画像データのフォーマットは特に限定されないが、本実施例では、入力画像ファイル101に含まれた撮影画像データは、撮影装置の撮像センサの出力値を階調値として有するRAW画像データである。そのため、入力画像ファイル101は「RAW画像ファイル」とも言える。RAW画像データにおいて、R画素(赤色に対応する画素)の配列、G画素(緑色に対応する画素)の配列、及び、B画素(青色に対応する画素)の配列は、撮影装置に依存する。
また、入力画像ファイル101に含まれた画像データの数は特に限定されないが、本実施例では、複数のフレームにそれぞれ対応する複数の画像データが、撮影画像データとして、入力画像ファイル101に含まれている。即ち、本実施例では、入力画像ファイル101に含まれた撮影画像データは、動画像データである。
なお、1つの静止画像データが撮影画像データとして入力画像ファイル101に含まれていてもよいし、複数の静止画像データのそれぞれが撮影画像データとして入力画像ファ
イル101に含まれていてもよい。また、画像処理装置102に入力される画像データは、撮影画像データに限られない。例えば、コンピューターグラフィック画像データ、イラスト画像データ、等が画像処理装置102に入力されてもよい。
イル101に含まれていてもよい。また、画像処理装置102に入力される画像データは、撮影画像データに限られない。例えば、コンピューターグラフィック画像データ、イラスト画像データ、等が画像処理装置102に入力されてもよい。
画像ストレージ部201は、画像データ(画像ファイル)などを記憶可能な記憶部である。画像ストレージ部201としては、磁気ディスク、半導体メモリ、光ディスク、等を使用することができる。本実施例では、画像ストレージ部201への画像データの書き込み、画像ストレージ部201からの画像データの読み出し、等を行うことができる。本実施例では、画像ストレージ部201に、1つ以上の画像ファイル(入力画像ファイル101)が予め格納されている。なお、画像ストレージ部201は、画像処理装置102に内蔵された記憶部であってもよいし、画像処理装置102に対して着脱可能な記憶部(記憶装置)であってもよい。
RAW現像部202は、画像ストレージ部201が記憶する画像データ(RAW画像データ;RAW画像ファイル)251を、画像ストレージ部201から読み出す。RAW現像部202によって読み出されたRAW画像データ251は、本実施例の表示システムの処理対象である。以後、本実施例の表示システムの処理対象である画像データを「対象画像データ」と記載する。RAW現像部202は、読み出したRAW画像データ251にRAW現像処理を施すことにより、読み出したRAW画像データをRGB画像データ252に変換する。そして、RAW現像部202は、RGB画像データ252を出力する。RAW画像データ251は、入力画像ファイル101に含まれたRAW画像データである。本実施例では、RAW現像部202は、入力画像ファイル101に含まれた動画像データの複数のフレームのそれぞれについて上記処理を個別に行う。なお、RAW現像処理の好適な方法は、撮像装置のメーカーによって定められている。
絶対輝度変換部203は、RGB画像データ252をHDR輝度画像データ253に変換し、HDR輝度画像データ253を画像ストレージ部201に格納(記録)する。RGB画像データ252からHDR輝度画像データ253への変換の詳細は、後述する。
画像処理部204は、所定の画像処理で使用されるパラメータ(処理パラメータ)を決定する。そして、画像処理部204は、編集前画像データ254を画像ストレージ部201から読み出し、決定した処理パラメータを用いて所定の画像処理を編集前画像データ254に施す。それにより、編集後画像データ255(処理画像データ)が生成される。画像処理部204は、編集後画像データ255と、決定(確定)した処理パラメータ256とを出力する。編集前画像データ254は、HDR輝度画像データ253と同じ画像データである。
例えば、初めに、画像処理部204は、処理パラメータの初期値を用いて所定の画像処理を行う。初期値は、階調値を変更しない処理パラメータなどである。その後、画像処理部204は、表示装置103の表示(対象画像データに基づく画像の表示)をユーザーが確認してユーザーが画像処理装置102に対して行った操作に応じて処理パラメータを変更(決定)する。そして、画像処理部204は、変更後の処理パラメータを用いて所定の画像処理を行う。なお、初めに、画像処理部204は、所定の画像処理を省略し、編集前画像データ254と同じ画像データを、編集後画像データ255として出力してもよい。
所定の画像処理と処理パラメータとは特に限定されない。例えば、所定の画像処理は、階調値にゲイン値を乗算する乗算処理、階調値にオフセット値を加算するか加算処理、及び、階調特性を変換する変換処理(ガンマ変換処理など)の少なくともいずれかを含む。そして、処理パラメータは、乗算処理のゲイン値、加算処理のオフセット値、及び、変換処理の変換特性(ガンマ変換処理のガンマ値など)の少なくともいずれかを含む。
動画像データの全てのフレームについて個別に処理パラメータを決定することは、ユーザーの大きな負担を招くため、好ましくない。そのため、画像処理部204では、動画像データの複数のシーンのそれぞれについて、そのシーンに対応する処理パラメータが決定され、当該シーンを代表する編集前画像データ254が読み出される。「シーンを代表する編集前画像データ254」は、「シーンに含まれる複数のフレームにそれぞれ対応する複数のHDR輝度画像データ234のいずれか」である。
レンダリング部206は、レンダリング前画像データ257を画像ストレージ部201から読み出し、レンダリング前画像データ257にレンダリング処理を施す。それにより、レンダリング後画像データ258(処理画像データ)が生成される。レンダリング部206は、レンダリング後画像データ258を出力する。レンダリング前画像データ257は、HDR輝度画像データ253と同じ画像データである。レンダリング処理では、動画像データの各フレームについて、そのフレーム(当該フレームを含むシーン)の処理パラメータ256を用いて、当該フレームのレンダリング前画像データ257に上記所定の画像処理が施される。そのため、レンダリング処理は、全てのシーンについて処理パラメータ256が決定(確定)した後に行われる。
SDI信号切替部205は、編集後画像データ255とレンダリング後画像データ258の一方を選択し、選択した画像データ(選択画像データ)を出力する。本実施例では、SDI信号切替部205は、表示装置103に対する選択画像データのSDI(シリアル・デジタル・インターフェース)伝送を行う。具体的には、SDI信号切替部205は、選択画像データをSDI信号110へ変換し、SDI信号110を出力する。
制御部208は、表示装置103の各機能部の処理を制御する。例えば、制御部208は、表示装置103の各機能部で使用される制御パラメータを設定する。具体的には、制御部208は、表示装置103の起動時に、不図示の記憶部(不揮発性メモリなど)から制御パラメータの初期値を読み出し、読み出した制御パラメータを設定する。また、制御部208は、表示装置103に対してユーザーが行った操作に応じて、設定された制御パラメータを変更する。表示装置103の起動時には、制御パラメータの初期値ではなく、前回使用された制御パラメータが設定されてもよい。
本実施例では、表示装置103の入力画像データであるSDI信号110(編集後画像データ255またはレンダリング後画像データ258)は、輝度の増加に対して階調値が非線形に増加する階調特性と有する。具体的には、SDI信号110はLog階調特性を有する。Log階調特性は、輝度の増加に対して階調値が対数的に増加する階調特性である。線形変換部209は、SDI信号110の階調特性を線形階調特性に変換する。それにより、線形画像データ267が生成される。線形階調特性は、輝度の増加に対して階調値が線形に増加する階調特性である。そして、線形変換部209は、線形画像データ267を出力する。
グラフィック生成部211は、グラフィック画像を表すグラフィック画像データ259を生成し、グラフィック画像データ259を出力する。本実施例では、グラフィック生成部211は、表示装置103の表示輝度(画面上の物理的な輝度)と線形画像データ267の輝度との対応関係に関するグラフィック画像を表すグラフィック画像データ259を生成する。具体的には、グラフィック生成部211は、BL制御部212から平均輝度268を取得し、平均輝度268を用いて上記グラフィック画像データ259を生成する。グラフィック画像データ259の生成の詳細は、後述する。
なお、「線形画像データ267の輝度」の文言は、「対象画像データの輝度」、「処理
画像データの輝度」、「表示装置103の入力画像データの輝度」、「後述する合成画像データ260の輝度」、等と読み替えることができる。また、グラフィック画像データ259は、表示装置103の表示輝度と線形画像データ267の輝度との対応関係に関するグラフィック画像を表すグラフィック画像データに限られない。グラフィック画像データ259は、予め用意されていてもよい。
画像データの輝度」、「表示装置103の入力画像データの輝度」、「後述する合成画像データ260の輝度」、等と読み替えることができる。また、グラフィック画像データ259は、表示装置103の表示輝度と線形画像データ267の輝度との対応関係に関するグラフィック画像を表すグラフィック画像データに限られない。グラフィック画像データ259は、予め用意されていてもよい。
グラフィック合成部210は、表示装置103の入力画像データにグラフィック画像データ259を合成することにより合成画像データ260を生成し、合成画像データ260を出力する。本実施例では、グラフィック合成部210は、線形画像データ267にグラフィック画像データ259を合成することにより、合成画像データ260を生成する。上述したように、グラフィック生成部211では、平均輝度268を用いてグラフィック画像データ259が生成される。そして、平均輝度268は、合成画像データ260を用いて得られる。そのため、初めに(グラフィック画像データ259が生成される前に)、グラフィック合成部210は、線形画像データ267と同じ画像データを、合成画像データ260として出力する。
合成画像データ260は特に限定されないが、本実施例では、合成画像データ260は、表示装置103の入力画像データによって表された入力画像と、グラフィック画像データ259によって表されたグラフィック画像とが配置された合成画像を表す。具体的には、合成画像データ260は、入力画像の一部にグラフィック画像が重ねられた合成画像を表す。なお、入力画像とグラフィック画像の配置は特に限定されない。例えば、入力画像にグラフィック画像が重ならないように、入力画像とグラフィック画像が配置されてもよい。
BL制御部212は、表示装置103の入力画像データから、当該入力画像データの輝度特徴量(輝度に関する特徴量)を取得する。本実施例では、BL制御部212は、合成画像データ260の輝度特徴量を合成画像データ260から取得する。具体的には、BL制御部212は、合成画像データ260の輝度特徴量として、合成画像データ260の平均輝度(画像全体の輝度の平均値)268を取得する。そして、BL制御部212は、取得した平均輝度268を出力する。なお、輝度特徴量は平均輝度268に限られない。輝度特徴量として、輝度ヒストグラム、他の輝度代表値(最大輝度、最小輝度、中間輝度、最頻輝度、等)、等が取得されてもよい。
また、BL制御部212は、取得した輝度特徴量(平均輝度268)に基づいて、表示装置103の表示輝度と線形画像データ267の輝度との対応関係を決定する。本実施例では、BL制御部212は、平均輝度268に応じて、表示装置103の表示輝度の上限(上限表示輝度261)を決定する。表示装置103の表示輝度の上限が決まることにより、表示装置103の表示輝度と線形画像データ267の輝度との対応関係が決まる。そして、BL制御部212は、上限表示輝度261を出力する。
また、BL制御部212は、合成画像データ260と上限表示輝度261(表示装置103の表示輝度と線形画像データ267の輝度との対応関係)に基づいて、BL制御信号266とBL画像データ263を生成する。そして、BL制御部212は、BL制御信号266とBL画像データ263を出力する。例えば、BL制御部212は、合成画像データ260と上限表示輝度261に基づいてBL制御信号266を生成し、BL制御信号266に基づいて合成画像データ260を補正することによりBL画像データ263を生成する。BL制御信号266は、バックライトモジュール215の発光輝度(発光量)に対応する制御信号である。本実施例では、図7に示すように、バックライトモジュール215は、複数の発光領域を有する。そして、BL制御信号266として、各発光領域の発光輝度を個別に制御する制御信号が生成される。
本実施例では、制御部208は、ローディング方式を示すローディング方式情報262を、BL制御部212に対して設定する。例えば、制御部208は、表示装置103に対してユーザーが行った操作に応じてローディング方式を決定(選択)し、決定したローディング方式を示すローディング方式情報262を、BL制御部212に対して設定する。ローディング方式は、線形画像データ267の輝度の変化に対する表示装置103の表示輝度の変化の方式である。ローディング方式の詳細は後述する。そして、本実施例では、BL制御部212は、合成画像データ260、上限表示輝度261、及び、ローディング方式情報262に基づいて、BL制御信号266とBL画像データ263を生成する。
本実施例では、制御部208は、ガンマ値264(画像データの階調特性を変換する変換特性を示す値)を、ガンマ変換部213に対して設定する。ガンマ変換部213は、ガンマ値264を用いたガンマ変換処理をBL画像データ263に施すことにより、ガンマ画像データ265を生成する。そして、ガンマ変換部213は、ガンマ画像データ265を出力する。本実施例では、ガンマ値264は、画像データの階調特性を線形特性から液晶パネル214に対応する階調特性に変換するガンマ値である。そのため、ガンマ値264を用いたガンマ変換処理により、線形特性を有するBL画像データ263が、液晶パネル214の階調特性を有するガンマ画像データ265に変換される。
液晶パネル214とバックライトモジュール215により、表示装置103の入力画像データに基づく画像が表示される。具体的には、液晶パネル214の透過率が、ガンマ画像データ265に応じた透過率に制御される。そして、バックライトモジュール215は、BL制御信号266に応じた発光輝度で発光する。バックライトモジュール215からの光が液晶パネル214を透過することにより、表示装置103の入力画像データに基づく画像が表示される。具体的には、合成画像データ260に基づく画像が表示される。本実施例では、上限表示輝度261(表示装置103の表示輝度と線形画像データ267の輝度との対応関係)に従って、入力画像データに基づく画像が表示される。具体的には、入力画像データに基づく画像が上限表示輝度261に従って表示されるように、BL制御信号266とBL画像データ263が生成される。
制御部208は、表示装置103の表示輝度と線形画像データ267の輝度との対応関係に関する輝度情報111を生成する。そして、制御部208は、表示装置103の入力画像データと、輝度情報111とに基づくデータを出力する。本実施例では、制御部208は、輝度情報111を出力する。
輝度情報111の生成方法は特に限定されない。本実施例では、上限表示輝度261(表示装置103の表示輝度と線形画像データ267の輝度との対応関係)は、輝度特徴量(平均輝度268)に依存する。そのため、制御部208は、輝度特徴量(平均輝度268)に基づいて、輝度情報111を生成する。具体的には、制御部208は、上限表示輝度261(表示装置103の表示輝度と線形画像データ267の輝度との対応関係)、ローディング方式情報262、等に基づいて、輝度情報111を生成する。輝度情報111は、例えば、表示装置103の表示輝度の上限、表示装置103の表示輝度の下限、ローディング方式、及び、線形画像データ267の輝度特徴量と表示輝度の範囲との対応関係、の少なくともいずれかを示す。なお、「線形画像データ267の輝度特徴量」の文言は、「対象画像データの輝度特徴量」、「処理画像データの輝度特徴量」、「表示装置103の入力画像データの輝度特徴量」、「合成画像データ260の輝度特徴量」、等と読み替えることができる。
メタデータ付加部207は、輝度情報111を取得する。そして、メタデータ付加部207は、処理画像データ(レンダリング後画像データ258)と輝度情報111とに基づ
くデータを、画像ストレージ部201に記録(格納)する。本実施例では、メタデータ付加部207は、レンダリング後画像データ258と輝度情報111とを互いに関連付けて画像ストレージ部201に記録する。具体的には、メタデータ付加部207は、レンダリング後画像データ258に、メタデータとして輝度情報111を付加する。そして、メタデータ付加部207は、輝度情報111が付加された後のレンダリング後画像データ258を、メタデータ付加後画像データ269として、画像ストレージ部201に記録する。本実施例では、各フレームのメタデータ付加後画像データ269を含む動画像データ(レンダリング後動画像データ)が、ファイル形式で記録される。ファイル形式のレンダリング後動画像データである出力画像ファイル104は、任意のタイミングで画像処理装置102に対してユーザーが行った操作に応じて、画像ストレージ部201から読み出される。
くデータを、画像ストレージ部201に記録(格納)する。本実施例では、メタデータ付加部207は、レンダリング後画像データ258と輝度情報111とを互いに関連付けて画像ストレージ部201に記録する。具体的には、メタデータ付加部207は、レンダリング後画像データ258に、メタデータとして輝度情報111を付加する。そして、メタデータ付加部207は、輝度情報111が付加された後のレンダリング後画像データ258を、メタデータ付加後画像データ269として、画像ストレージ部201に記録する。本実施例では、各フレームのメタデータ付加後画像データ269を含む動画像データ(レンダリング後動画像データ)が、ファイル形式で記録される。ファイル形式のレンダリング後動画像データである出力画像ファイル104は、任意のタイミングで画像処理装置102に対してユーザーが行った操作に応じて、画像ストレージ部201から読み出される。
なお、関連付けの方法は特に限定されない。例えば、レンダリング後画像データ258と輝度情報111の少なくとも一方に他方を識別する識別情報を付加することにより、レンダリング後画像データ258と輝度情報111とが互いに関連付けられてもよい。
上述した各機能部の処理の具体例を説明する。
RGB画像データ252の階調値(R値、G値、及び、B値)の範囲は、撮影装置の撮像センサの出力値の範囲に対応する。ここでは、RGB画像データ252の階調値の範囲を0〜1000%の範囲とし、基準白色に対応する階調値(RGB画像データ252の階調値)を100%とする。絶対輝度変換部203は、図3に示す変換特性に従って、RGB画像データ252の階調値を物理的な輝度[cd/m2]に変換する。図3の変換特性では、RGB画像データ252の階調値の増加に対して、物理的な輝度が線形に増加しているが、RGB画像データ252の階調値を物理的な輝度に変換する変換特性は、図3の変換特性に限られない。
そして、絶対輝度変換部203は、図4に示す変換特性に従って、得られた輝度(物理的な輝度)を、10ビットの階調値に変換する。それにより、HDR輝度画像データ253が生成される。図4の変換特性は、変換前の階調値(物理的な輝度)の増加に対して、変換後の階調値が対数的に増加するLog変換特性である。図4の変換特性を用いることにより、Log階調特性を有するHDR輝度画像データ253が生成される。図4のLog変換特性は、例えば、SMPTE ST 2084規格(ST2084規格)で定義された変換特性である。なお、物理的な輝度をHDR輝度画像データ253の階調値に変換する変換特性は、図4の変換特性に限られない。また、HDR輝度画像データ253の階調値のビット数は、10ビットより多くても少なくてもよい。
画像処理部204は、ユーザーが処理パラメータを調整したいシーンのHDR輝度画像データ253を、編集前画像データ254として、画像ストレージ部201から読み出す。そして、画像処理部204は、読み出した編集前画像データ254に所定の画像処理を施すことにより、編集後画像データ255が生成される。その後、生成された編集後画像データ255に基づく画像が表示装置103で表示される。一部の画像領域に対してのみ所定の画像処理が施されてもよいが、本実施例では、全画像領域に対して所定の画像処理が施される。
次に、ユーザーは、表示装置103の表示を確認しながら、処理パラメータを調整するための操作(調整操作)を、画像処理装置102に対して行う。画像処理部204は、調整操作に応じて処理パラメータを変更し、変更後の処理パラメータを用いて、編集前画像データ254に所定の画像処理を施す。それにより、編集後画像データ255が更新され、表示装置103の表示が更新される。
そして、ユーザーは、処理パラメータを確定するための操作(確定操作)を、画像処理装置102に対して行う。画像処理部204は、確定操作に応じて、現在使用中の処理パラメータを、処理パラメータ256として出力する。例えば、処理パラメータと、編集前画像データ254のフレーム番号とが記述された情報が、処理パラメータ256として出力される。複数の編集前画像データ254のそれぞれについて処理パラメータの調整が行われた場合には、複数の編集前画像データ254のそれぞれについて処理パラメータとフレーム番号の組み合わせが記述された情報が、処理パラメータ256として出力される。調整操作、確定操作、等の操作は、例えば、画像処理装置102に接続されたコントローラを用いて行われる。
レンダリング部206は、対象画像データである動画像データの全てのフレームのHDR輝度画像データ253を、レンダリング前画像データ257として、画像ストレージ部201から読み出す。そして、レンダリング部206は、処理パラメータ256(読み出したレンダリング前画像データ257に対応する処理パラメータ)を用いて、読み出したレンダリング前画像データ257に所定の画像処理を施す。それにより、レンダリング後画像データ258が生成される。
SDI信号切替部205は、編集後画像データ255とレンダリング後画像データ258の一方を選択し、選択した画像データをSDI信号110として出力する。例えば、処理パラメータの調整が行われている期間において、SDI信号切替部205は、編集後画像データ255を選択し、レンダリング処理後の期間において、SDI信号切替部205は、レンダリング後画像データ258を選択する。また、画像データの選択結果を示す情報は、SDI信号110のアンシラリー領域に記述され、選択された画像データと共に伝送される。「画像データの選択結果を示す情報」は、「SDI信号110に含まれている画像データが編集後画像データ255であるかレンダリング後画像データ258であるかを示す情報」とも言える。
線形変換部209は、図5に示す変換特性に従って、SDI信号110の階調特性をLog階調特性から線形階調特性へ変換する。それにより、線形画像データ267が生成される。図5の変換特性は、図4の変換特性の逆特性である。図5の変換特性の入力値(変換前の階調値)は、図4の変換特性の出力値(変換後の階調値)に対応し、図5の変換特性の出力値は、図4の変換特性の入力値に対応する。
グラフィック生成部211は、BL制御部212から平均輝度268を取得し、平均輝度268を用いてグラフィック画像データ259を生成する。ここで、線形画像データ267(および合成画像データ260)の階調値の範囲を0〜100%の範囲とし、平均輝度268として0〜100%の階調値が得られるとする。また、表示装置103の表示輝度の上限の範囲を、500〜1000[cd/m2]の範囲とする。そして、本実施例では、図9に示すようなグラフィック画像を表すグラフィック画像データ259が生成される。
図9の横軸は、平均輝度268に対応する階調値(%)を示し、図9の縦軸は、表示装置103の表示輝度の上限(cd/m2)を示す。図9の太実線は、表示装置103の表示輝度の範囲と、平均輝度268との対応関係を示す。具体的には、図9の太実線は、表示装置103の表示輝度の上限と、平均輝度268との対応関係を示す。図9の太破線は、BL制御部212から出力された平均輝度268と、表示装置103の表示輝度の上限との対応関係を示す。即ち、図9の太破線は、現在の上限表示輝度261を示す。図9の太破線の描画位置は、BL制御部212から出力された平均輝度268に応じて決定される。
グラフィック合成部210は、線形画像データ267にグラフィック画像データ259を合成することにより、合成画像データ260を生成する。本実施例では、図10に示すように、線形画像データ267に基づく画像(入力画像)が画面全体に表示され、且つ、グラフィック画像データ259に基づく画像(図9のグラフィック画像)が画面の一部に表示されるように、合成画像データ260が生成される。図10の表示によれば、ユーザーは、処理パラメータの変化に起因した入力画像の変化を確認することができるだけでなく、現在の上限表示輝度261なども確認することもできる。
BL制御部212は、合成画像データ260、上限表示輝度261、及び、ローディング方式情報262に基づいて、BL制御信号266とBL画像データ263を生成する。本実施例では、BL制御部212は、合成画像データ260と上限表示輝度261に基づいてBL制御信号266を生成する。例えば、BL制御部212は、明るい画像領域(合成画像データ260の画像領域の一部)に対応する発光領域の発光輝度が、暗い画像領域に対応する発光領域の発光輝度よりも高い発光輝度に制御されるように、BL制御信号266を生成する。具体的には、BL制御部212は、複数の発光領域に対応する複数の画像領域のそれぞれについて、合成画像データ260の輝度特徴量(発光領域に対応する画像領域における平均輝度など)を合成画像データ260から取得する。そして、BL制御部212は、複数の発光領域のそれぞれについて、対応する画像領域に対して取得した平均輝度が高いほど高い発光輝度を決定する。その後、BL制御部212は、各発光領域の発光輝度(決定した発光輝度)に応じて、BL制御信号266を生成する。
ここで、図7の2行3列目の発光領域に対応する画像領域が明るく、且つ、図7の他の発光領域に対応する画像領域が暗い場合を考える。この場合には、図8に示すように、2行3列目の発光領域の発光輝度が高い発光輝度に制御され、且つ、他の発光領域の発光輝度が低い発光輝度に制御されるように、BL制御信号266が生成される。
このように生成されたBL制御信号266を用いて各発光領域の発光輝度が個別に制御されることにより、そうでない場合に比べ、表示画像(画面に表示された画像)のコントラストを何倍にも向上することができる。なお、全ての発光領域の発光輝度が同じ発光輝度に制御されてもよいし、バックライトモジュール215が有する発光領域の数は1つであってもよい。そのような場合には、例えば、画像全体の平均輝度が高い場合に発光輝度が高い発光輝度に制御され、画像全体の平均輝度が低い場合に発光輝度が低い発光輝度に制御される。
ここで、表示装置103の表示輝度の上限が一定である場合を考える。この場合には、合成画像データ260の平均輝度(画像全体の輝度の平均値)268の増加により、表示装置103の消費電力の増加、表示装置103の温度の上昇、表示素子の劣化速度の上昇、等が生じる。そこで、表示装置103は、消費電力低減とデバイス保護のために、ABL(Automatic Brightness Limiter)処理を行う。本実施例では、ABL処理として、バックライトモジュール215に流れる電流を減らすことで表示輝度を低減する処理が行われる。
具体的には、BL制御部212は、図9の対応関係(太実線)に従って、平均輝度268から上限表示輝度261を決定する。平均輝度268と上限表示輝度261の対応関係は特に限定されない。図9では、平均輝度268の階調値が50%以下である場合に、上限表示輝度261=1000[cd/m2]が決定される。そして、平均輝度268の階調値が50%以上である場合に、平均輝度268の階調値の50%から100%への増加に対して上限表示輝度261が1000[cd/m2]から500[cd/m2]へ線形に低下するように、上限表示輝度261が決定される。そして、BL制御部212は、上
限表示輝度261に対応する発光輝度(例えば、上限表示輝度261に等しい発光輝度、上限表示輝度261よりもわずかに高い発光輝度、等)に、発光領域の発光輝度の上限が制限されるように、BL制御信号266を生成する。
限表示輝度261に対応する発光輝度(例えば、上限表示輝度261に等しい発光輝度、上限表示輝度261よりもわずかに高い発光輝度、等)に、発光領域の発光輝度の上限が制限されるように、BL制御信号266を生成する。
BL制御信号266が生成された後、BL制御部212は、BL制御信号266とローディング方式情報262に基づいて合成画像データ260を補正することにより、BL画像データ263を生成する。図6は、合成画像データ260の輝度、BL画像データ263の輝度、及び、ローディング方式の対応関係の一例を示す。図6の横軸は、合成画像データ260の輝度を示し、図6の縦軸は、BL画像データ263の輝度を示す。BL画像データ263の輝度は、BL制御信号266(各発光領域の発光輝度)を考慮した輝度である。「BL画像データ263の輝度」は、「表示装置103の表示輝度」と読み替えることができる。図6は、上限表示輝度が500[cd/m2]である場合の例を示す。図6の例では、ローディング方式として、2つの方式1,2が示されている。
方式1は、合成画像データ260の輝度の全範囲を圧縮する方式である。例えば、方式1は、合成画像データ260の輝度にゲイン値(合成画像データ260の輝度に依存しないゲイン値)を乗算することによりBL画像データ263の輝度を得る方式である。方式1では、合成画像データ260の輝度の増加に対してBL画像データ263の輝度が線形に増加する。方式1によれば、合成画像データ260の輝度と同じ表示輝度を実現することはできないが、階調潰れの発生を抑制することができる。
方式2では、表示装置103の表示輝度の範囲内の合成画像データ260の輝度に対して、当該輝度(合成画像データ260の輝度)と同じ輝度が、BL画像データ263の輝度として対応付けられる。そして、表示装置103の表示輝度の範囲外の合成画像データ260の輝度に対して、表示装置103の表示輝度の上限または下限が、BL画像データ263の輝度として対応付けられる。
具体的には、図6に示すように、表示装置103の表示輝度の上限よりも高い合成画像データ260の輝度に対して、表示装置103の表示輝度の上限が、BL画像データ263の輝度として対応付けられる。表示装置103の表示輝度の下限よりも低い合成画像データ260の輝度が存在する場合もある。その場合には、表示装置103の表示輝度の下限よりも低い合成画像データ260の輝度に対して、表示装置103の表示輝度の下限が、BL画像データ263の輝度として対応付けられる。
方式2によれば、表示装置103の表示輝度の範囲外の輝度を有する画像領域(合成画像データ260の画像領域)において、階調潰れが発生する。しかしながら、表示装置103の表示輝度の範囲内の輝度を有する画像領域(合成画像データ260の画像領域)において、合成画像データ260の輝度と同じ表示輝度を実現することができる。
なお、ローディング方式は、上述した方式1,2に限られない。例えば、方式1の特性と方式2の特性とを加重平均することにより得られる特性を有する方式が使用されてもよい。
ガンマ変換部213は、ガンマ値264を用いたガンマ変換処理をBL画像データ263に施すことにより、ガンマ画像データ265を生成する。上述したように、ガンマ値264は、画像データの階調特性を線形特性から液晶パネル214に対応する階調特性に変換するガンマ値である。例えば、ガンマ値264は1/2.2である。
制御部208は、輝度情報111を生成し、輝度情報111を画像処理装置102へ出力する。本実施例では、輝度情報111は、SDI信号110の伝送路とは異なる伝送路
を用いて伝送される。例えば、輝度情報111は、USB(Universal Serial Bus)ケーブルを用いて伝送される。
を用いて伝送される。例えば、輝度情報111は、USB(Universal Serial Bus)ケーブルを用いて伝送される。
表示装置103では、入力画像データに基づく画像の表示と、輝度情報111(入力画像データおよび輝度情報111に基づくデータ)の出力との一方が省略可能である。処理パラメータの調整には、動画像データの一部のフレームのみが使用される。一方で、輝度情報111は、動画像データの全てのフレームについて個別に取得されるべきである。そのため、本実施例では、SDI信号切替部205がレンダリング後画像データ258を選択して出力する期間において、レンダリング後画像データ258に基づいて輝度情報111が生成されて出力される。SDI信号切替部205がレンダリング後画像データ258を選択したか否かは、SDI信号110のアンシラリー領域に記述された情報から判断できる。SDI信号切替部205が編集後画像データ255を選択して出力する期間では、輝度情報111を生成して出力する処理は省略される。
なお、SDI信号切替部205が編集後画像データ255を選択して出力する期間にのみ、編集後画像データ255に基づく画像の表示が行われてもよい。そして、SDI信号切替部205がレンダリング後画像データ258を選択して出力する期間において、レンダリング後画像データ258に基づく画像の表示は省略されてもよい。
メタデータ付加部207は、対象画像データである動画像データの各フレームについて、レンダリング後画像データ258に、メタデータとして輝度情報111を付加する。そして、メタデータ付加部207は、輝度情報111が付加された後のレンダリング後画像データ258を、メタデータ付加後画像データ269として、画像ストレージ部201に記録する。具体的には、メタデータ付加部207は、各フレームのメタデータ付加後画像データ269を含む動画像データ(レンダリング後動画像データ)を、ファイル形式で記録する。
ファイル形式のレンダリング後動画像データである出力画像ファイル104は、任意のタイミングで画像処理装置102に対してユーザーが行った操作に応じて、画像ストレージ部201から読み出される。読み出された出力画像ファイル104は、例えば、テレビジョン放送の電波に変換されて、一般家庭のテレビジョン装置に配信される。なお、出力画像ファイル104が配信される装置は、テレビジョン装置に限られない。例えば、画像ファイルに基づく画像を表示する他の表示装置に、出力画像ファイル104が表示されてもよい。
出力画像ファイル104を受信したテレビジョン装置は、出力画像ファイル104の画像データに基づく画像を表示する際に、出力画像ファイル104に付加されたメタデータを使用して、出力画像ファイル104の画像データに好適な画像処理を施す。具体的には、出力画像ファイル104の画像が、パラメータ調整時の表示輝度(表示装置103の表示輝度)と同じの表示輝度で表示されるように、輝度情報111(ローディング方式情報262、上限表示輝度261、等)を用いた画像処理を行う。また、テレビジョン装置は、テレビジョン装置で実現可能な表示輝度と上限表示輝度261とを比較し、上限表示輝度261と同じ表示輝度がテレビジョン装置で実現できるか否かを判断する。そして、上限表示輝度261と同じ表示輝度がテレビジョン装置で実現できない場合に、テレビジョン装置は、出力画像ファイル104の輝度の範囲を圧縮し、範囲が圧縮された輝度で出力画像ファイル104の画像を表示する。
以上述べたように、本実施例によれば、処理画像データと輝度情報とが互いに関連付けられて記憶部に記録される。それにより、処理画像データに基づく画像の表示として、ユーザーの意図した表示が可能となる。具体的には、処理画像データに基づく画像を表示す
る際に、処理画像データに基づく輝度情報を考慮することにより、処理画像データの生成時にユーザーが確認した表示輝度と同じの表示輝度での表示を実現することができる。
る際に、処理画像データに基づく輝度情報を考慮することにより、処理画像データの生成時にユーザーが確認した表示輝度と同じの表示輝度での表示を実現することができる。
なお、グラフィック画像データ259の輝度は変更可能であってもよいし、グラフィック画像データ259の合成は省略されてもよい。グラフィック画像データ259を合成することにより、画像データの輝度特徴量(平均輝度268)が変化し、表示輝度の上限、表示輝度の範囲、等が変化することがある。具体的には、グラフィック画像データ259の輝度が高い場合には、グラフィック画像データ259を合成することにより、平均輝度268が高まり、表示輝度の上限が低減し、表示輝度の範囲が狭まることがある。表示輝度の範囲は広いことが好ましく、表示輝度の上限は高いことが好ましい。そのため、グラフィック生成部211は、グラフィック画像データ259の合成に起因した輝度特徴量の変化が閾値未満となるように、グラフィック画像データ259の輝度を変更することが好ましい。具体的には、グラフィック生成部211は、線形画像データ267の輝度特徴量と、合成画像データ260の輝度特徴量との差が閾値未満となるように、グラフィック画像データ259の輝度を変更することが好ましい。
また、グラフィック画像データ259の輝度を変更しても、グラフィック画像データ259の合成に起因した輝度特徴量の変化が閾値以上となることがある。即ち、グラフィック画像データ259の輝度を変更しても、線形画像データ267の輝度特徴量と、合成画像データ260の輝度特徴量との差が閾値以上となることがある。そのような場合には、グラフィック画像データの輝度を変更しても、そのような場合には、グラフィック画像データ259を合成する処理を省略することが好ましい。
また、記録される画像データ(処理画像データ;メタデータ付加後画像データ269)には、グラフィック画像データ259は合成されていない。そのため、BL制御部212は、輝度特徴量(平均輝度268)として、グラフィック画像データ259の画像領域以外の画像領域における合成画像データ260の輝度特徴量を取得することが好ましい。それにより、グラフィック画像データ259の合成に起因した、表示輝度の上限、表示輝度の範囲、等の変化を抑制することができる。
なお、上記説明の各閾値は、メーカーによって定められた固定値であってもよいし、ユーザーが変更可能な値であってもよいし、表示装置の使用環境などに基づいて自動で決定された値であってもよい。
なお、ユーザーは、表示装置に対する操作の代わりに、画像処理装置に対する操作を行ってもよい。そして、行われた操作に応じた指示が、画像処理装置から表示装置へ出力されてもよい。例えば、ローディング方式を選択するための操作が画像処理装置に対して行われ、行われた操作に応じたローディング方式情報262が、画像処理装置から表示装置へ通知されてもよい。同様に、ユーザーは、画像処理装置に対する操作の代わりに、表示装置に対する操作を行ってもよい。そして、行われた操作に応じた指示が、表示装置から画像処理装置へ出力されてもよい。
<実施例2>
以下、本発明の実施例2について説明する。以下では、実施例1と異なる点(構成および処理)について詳しく説明し、実施例1と同じ点についての説明を省略する。
以下、本発明の実施例2について説明する。以下では、実施例1と異なる点(構成および処理)について詳しく説明し、実施例1と同じ点についての説明を省略する。
輝度情報111を用いれば、レンダリング後画像データ258の輝度を、表示装置103の表示輝度(処理パラメータの調整時の表示輝度)と同じ輝度に変換することができる。本実施例では、画像処理装置102において、輝度情報111に基づいてレンダリング後画像データ258の輝度を表示装置103の表示輝度と同じ輝度に変換することにより
、後述する表示輝度画像データ1011が生成される。そして、表示輝度画像データ1011が画像ストレージ部201に記録される。
、後述する表示輝度画像データ1011が生成される。そして、表示輝度画像データ1011が画像ストレージ部201に記録される。
実施例1では、メタデータ付加後画像データ269が画像ストレージ部201に記録される。そして、メタデータ付加後画像データ269が画像ストレージ部201から読み出され、メタデータ付加後画像データ269がテレビジョン装置で表示される。このような構成では、テレビジョン装置がメタデータ付加後画像データ269を表示装置103の表示輝度と同じ表示輝度で表示するために、テレビジョン装置が表示輝度画像データ1011を生成する必要がある。
一方、本実施例では、表示輝度画像データ1011が画像処理装置102によって生成されて記録される。それにより、ユーザーの意図した表示を実現する際のテレビジョン装置の処理負荷を低減したり、様々な装置でユーザーの意図した表示を実現したりすることができる。具体的には、テレビジョン装置は、メタデータ付加後画像データ269の代わりに、表示輝度画像データ1011を、外部から取得することができる。そして、テレビジョン装置は、外部から取得した表示輝度画像データ1011をメタデータ付加後画像データ269の代わりに使用することにより、表示輝度画像データ1011の生成を省略して、ユーザーの意図した表示輝度での表示を実現することができる。また、表示輝度画像データ1011を生成する機能を有していない装置(簡易なテレビジョン装置、モバイル機器、等)においても、表示輝度画像データ1011を外部から取得して用いるだけで、ユーザーの意図した表示輝度での表示を実現することができる。
図11は、本実施例に係る表示システムの詳細な構成の一例を示す図である。図11において、実施例1(図2)と同じもの(装置、機能部、データ、及び、信号)には、実施例1と同じ符号が付されている。図11に示すように、本実施例の画像処理装置102は、表示輝度変換テーブル生成部1001と表示輝度変換部1002をさらに有する。
表示輝度変換テーブル生成部1001は、輝度情報111を取得する。そして、表示輝度変換テーブル生成部1001は、輝度情報111に基づいて表示輝度変換テーブル1010を生成し、表示輝度変換テーブル1010を出力する。表示輝度変換テーブル1010は、レンダリング後画像データ258の輝度(または階調値)と、表示装置103の表示輝度(処理パラメータの調整時の表示輝度)との対応関係を示すルックアップテーブルである。なお、表示輝度変換テーブル1010の生成方法は特に限定されない。表示輝度変換テーブル1010の代わりに、レンダリング後画像データ258の輝度と表示装置103の表示輝度との対応関係を示す関数が決定されてもよい。
本実施例では、表示輝度変換テーブル生成部1001は、輝度情報111から、上限表示輝度261とローディング方式情報262を抽出する。そして、表示輝度変換テーブル生成部1001は、抽出した情報に基づいて、レンダリング後画像データ258の輝度を表示装置103の表示輝度に変換する変換特性を決定する。例えば、上限表示輝度261が800[cd/m2]であり、且つ、ローディング方式情報262によって示されたローディング方式が方式2である場合には、図12の変換特性が決定される。この変換特性の変換ルックアップテーブルを、表示輝度変換テーブル1010として出力する。その後、表示輝度変換テーブル生成部1001は、決定した変換特性に従って表示輝度変換テーブル1010を生成する。
表示輝度変換部1002は、表示輝度変換テーブル1010を用いて、レンダリング後画像データ258を表示輝度画像データ1011に変換する。そして、表示輝度変換部1002は、表示輝度画像データ1011を、画像ストレージ部201に記録する。レンダリング後画像データ258から表示輝度画像データ1011への変換の方法は特に限定さ
れない。
れない。
本実施例では、表示輝度変換部1002は、レンダリング後画像データ258の階調特性に従って、レンダリング後画像データ258の階調値を物理的な輝度に変換する。具体的には、表示輝度変換部1002は、図13(A)の変換特性に従って、レンダリング後画像データ258の階調値を物理的な輝度に変換する。図13(A)の変換特性は、図4の変換特性の逆特性であり、ST2084規格に準じた変換特性である。
そして、表示輝度変換部1002は、表示輝度変換テーブル1010の対応関係に従って、レンダリング後画像データ258の輝度を表示輝度に変換する。その後、表示輝度変換部1002は、レンダリング後画像データ258の階調特性と同じ階調特性の表示輝度画像データ1011が得られるように、得られた表示輝度を階調値に変換する。具体的には、表示輝度変換部1002は、図13(B)の変換特性に従って、得られた表示輝度(表示輝度画像データ1011の輝度)を、階調値(表示輝度画像データ1011の階調値)に変換する。図13(B)の変換特性は、ST2084規格に準じた変換特性である。
以上述べたように、本実施例によれば、表示輝度画像データが画像処理装置によって生成されて記録される。それにより、様々な装置でユーザーの意図した表示を実現したり、ユーザーの意図した表示を実現する際の装置の処理負荷を低減したりすることができる。なお、図11の例では、メタデータ付加後画像データ269も画像ストレージ部201に記録されるが、メタデータ付加後画像データ269の記録は省略されてもよい。
<実施例3>
以下、本発明の実施例3について説明する。以下では、実施例1,2と異なる点(構成および処理)について詳しく説明し、実施例1,2と同じ点についての説明を省略する。実施例2では、画像処理装置102によって表示輝度画像データ1011が生成される例を説明した。本実施例では、表示装置103によって表示輝度画像データ1011が生成される。それにより、画像処理装置102の処理負荷を低減することができる。
以下、本発明の実施例3について説明する。以下では、実施例1,2と異なる点(構成および処理)について詳しく説明し、実施例1,2と同じ点についての説明を省略する。実施例2では、画像処理装置102によって表示輝度画像データ1011が生成される例を説明した。本実施例では、表示装置103によって表示輝度画像データ1011が生成される。それにより、画像処理装置102の処理負荷を低減することができる。
実施例2において、画像処理装置102のレンダリング部206で行われるレンダリング処理は、動画像データの全てのフレームに対する画像処理であるため、レンダリング処理の処理負荷は大きい。また、画像処理装置102の表示輝度変換部1002で行われる処理(変換処理)は、動画像データの全てのフレームに対する画像処理であるため、変換処理の処理負荷は大きい。さらに、レンダリング部206のレンダリング処理と、表示輝度変換部1002の変換処理とは並列に行われる。そのため、レンダリング処理を行う装置と、上記変換処理を行う装置とは互いに異なることが好ましい。
図14は、本実施例に係る表示システムの詳細な構成の一例を示す図である。図14において、実施例2(図11)と同じもの(装置、機能部、データ、及び、信号)には、実施例2と同じ符号が付されている。図14に示すように、本実施例では、表示輝度変換テーブル生成部1001と表示輝度変換部1002が表示装置103に設けられている。そして、本実施例の画像処理装置102は、表示輝度画像データ取得部1301をさらに有する。
本実施例において、表示輝度変換テーブル生成部1001と表示輝度変換部1002は、実施例2と同様の処理を行う。本実施例の表示輝度変換部1002は、SDI信号110からレンダリング後画像データ258を抽出する。そして、本実施例の表示輝度変換部1002は、表示輝度画像データ1011を、画像処理装置102へ出力する。例えば、表示輝度変換部1002は、画像処理装置102に対する表示輝度画像データ1011のSDI伝送を行う。
表示輝度画像データ取得部1301は、表示輝度画像データ1011を表示装置103(表示輝度変換部1002)から取得し、表示輝度画像データ1011を画像ストレージ部201に記録する。例えば、表示輝度画像データ取得部1301は、表示輝度変換部1002から出力されたSDI信号を取得し、取得したSDI信号から表示輝度画像データ1011を抽出する。そして、表示輝度画像データ取得部1301は、抽出した表示輝度画像データ1011である抽出データ1351を画像ストレージ部201に記録する。
以上述べたように、本実施例によれば、表示輝度画像データが表示装置によって生成されて記録される。それにより、実施例2と同様の効果が得られるだけでなく、画像処理装置の処理負荷を低減することもできる。
<実施例4>
以下、本発明の実施例4について説明する。本実施例では、実施例1〜3で記録されたメタデータ付加後画像データを取得し、取得したメタデータ付加後画像データを用いた画像処理を行う画像処理装置について説明する。なお、以下では、本実施例に係る画像処理装置が表示装置である場合の例を説明するが、本実施例に係る画像処理装置が表示装置とは別体の装置であってもよい。
以下、本発明の実施例4について説明する。本実施例では、実施例1〜3で記録されたメタデータ付加後画像データを取得し、取得したメタデータ付加後画像データを用いた画像処理を行う画像処理装置について説明する。なお、以下では、本実施例に係る画像処理装置が表示装置である場合の例を説明するが、本実施例に係る画像処理装置が表示装置とは別体の装置であってもよい。
図15は、本実施例に係る表示システム(画像処理システム)の構成の一例を示す図である。図15において、実施例1〜3と同じもの(装置、機能部、データ、及び、信号)には、実施例1〜3と同じ符号が付されている。図15に示すように、本実施例に係る表示システムは、画像処理装置102、表示装置A109、再生装置106、及び、表示装置B108を有する。表示装置A109は、実施例1〜3の表示装置103と同じものである。再生装置106は、画像処理装置102(画像ストレージ部201)から出力画像ファイル104を取得し、取得した出力画像ファイル104を動画像データ107に変換し、動画像データ107を表示装置B108へ出力する。本実施例では、動画像データ107の各フレームの画像データは、実施例1〜3のメタデータ付加後画像データである。
図16は、表示装置B108の構成の一例を示す図である。
ガンマ変換部301は、動画像データ107を取得する。ガンマ変換部301は、動画像データ107の各フレームについて、そのフレームの画像データIDATAに対してガンマ変換処理を施すことにより、画像データGDATAを生成する。そして、ガンマ変換部301は、各フレームの画像データGDATAを補正部308へ出力する。ガンマ変換処理は、例えば、変換前の階調値と変換後の階調値との対応関係を示す1次元ルックアップテーブルを用いて階調値を変換する処理である。1次元ルックアップテーブルは、予め用意される。図17は、画像データIDATAの階調値と、画像データGDATAの階調値との対応関係の一例を示す。本実施例では、階調値が8ビットの値(0〜255)である場合の例を説明するが、使用される階調値のビット数は8ビットより多くても少なくてもよい。例えば、10ビットの階調値、12ビットの階調値、等が使用されてもよい。
特徴量取得部302は、動画像データ107の各フレームについて、画像データIDATAの輝度特徴量を、画像データIDATAから取得する。本実施例では、各フレームについて、輝度ヒストグラムYHIST、フレーム差分ヒストグラムFYGAP、及び、平均輝度APLの3種類の輝度特徴量が取得される。なお、輝度特徴量の種類、および、輝度特徴量の種類数は、特に限定されない。
本実施例では、特徴量取得部302は、画像データIDATAの各画素の輝度値Ydを用いて、輝度特徴量を取得(算出)する。例えば、画像データIDATAの画素値がYC
bCr値(YCbCr色空間の画素値)である場合には、YCbCr値に含まれるY値が、輝度値Ydとして使用される。画像データIDATAの画素値がRGB値(RGB色空間の画素値)である場合には、RGB値が輝度値Ydへ変換される。例えば、以下の式1を用いて、RGB値(R値Rd,G値Gd,B値Bd)から輝度値Ydが算出される。
Yd=0.2×Rd+0.7×Gd+0.1×Bd ・・・(式1)
bCr値(YCbCr色空間の画素値)である場合には、YCbCr値に含まれるY値が、輝度値Ydとして使用される。画像データIDATAの画素値がRGB値(RGB色空間の画素値)である場合には、RGB値が輝度値Ydへ変換される。例えば、以下の式1を用いて、RGB値(R値Rd,G値Gd,B値Bd)から輝度値Ydが算出される。
Yd=0.2×Rd+0.7×Gd+0.1×Bd ・・・(式1)
輝度ヒストグラムYHISTは、各輝度値Ydの度数を示すヒストグラムデータである。「輝度値Ydの度数」は、「画像データIDATAの複数の画素のうち輝度値Ydを有する画素の数」である。図18(A),18(B)は、輝度ヒストグラムYHISTの一例を示す。図18(A)は、画像データIDATAにおいて高輝度の画素と低輝度の画素とが多い場合の例を示す。図18(B)は、画像データIDATAにおいて中間輝度の画素が多い場合の例を示す。
フレーム差分ヒストグラムFYGAPは、他のフレーム(処理対象のフレームとは異なるフレーム)との輝度差のヒストグラムである。本実施例では、処理対象のフレームの1つ前のフレームが、上記他のフレームとして使用される。なお、上記他のフレームは、処理対象のフレームの2つ以上前のフレームであってもよい。
具体的には、フレーム差分ヒストグラムFYGAPは、現フレーム(処理対象のフレーム)の輝度値Ydと前フレーム(処理対象のフレームの1つ前のフレーム)の輝度値Ydと差分(輝度差YGAP)の度数を示すヒストグラムデータである。「輝度差YGAPの度数」は、「画像データIDATAの複数の画素のうち輝度差YGAPに対応する画素の数」である。図19は、フレーム差分ヒストグラムFYGAPの一例を示す。図19は、画像全体に動き(画像の動き)がある場合の例を示す。
フレーム差分ヒストグラムFYGAPの取得方法の一例を説明する。まず、特徴量取得部302は、画像データIDATAの各画素について、輝度差YGAPを算出する。輝度差YGAPは、以下の式2を用いて算出される。式2において、「ABS()」は、引数(()内に記載の値)の絶対値を返す関数である。そして、「Yd(N)」は現フレームの輝度値Ydであり、「Yd(N−1)」は前フレームの輝度値Ydである。
YGAP=ABS(Yd(N)−Yd(N−1))/16 ・・・(式2)
YGAP=ABS(Yd(N)−Yd(N−1))/16 ・・・(式2)
式2では、フレーム差分ヒストグラムFYGAPのデータサイズを1/16倍に低減するために、ABS(Yd(N)−Yd(N−1))が16で除算されている。ABS(Yd(N)−Yd(N−1))を16で除算することにより、輝度差YGAPとして、4ビットの値(0〜15)が得られる。なお、ABS(Yd(N)−Yd(N−1))が輝度差YGAPとして算出されてもよい。その場合には、輝度差YGAPとして、16ビットの値(0〜255)が得られる。
そして、特徴量取得部302は、各輝度差YGAPについて、その輝度差YGAPに対応する画素の数をカウントする。それにより、図19に示すようなフレーム差分ヒストグラムFYGAPが得られる。
平均輝度APLは、画像全体の輝度値Ydの平均値である。例えば、平均輝度APLは、以下の式3を用いて算出される。式3において、「h」は、水平方向における画像データIDATAの画素数であり、「v」は、垂直方向における画像データIDATAの画素
数である。そして、「Yd(M)」は、M番目の画素の輝度値Ydである。式3では、平均輝度APLの範囲を0〜100の範囲にするための正規化が行われている。
数である。そして、「Yd(M)」は、M番目の画素の輝度値Ydである。式3では、平均輝度APLの範囲を0〜100の範囲にするための正規化が行われている。
特徴量取得部302は、平均輝度APLをABL情報決定部304へ出力し、輝度ヒストグラムYHISTとフレーム差分ヒストグラムFYGAPとを、表示可否判断部305へ出力する。
ABL情報取得部303は、動画像データ107の各フレームについて、輝度情報111を取得する。具体的には、ABL情報取得部303は、各フレームについて、画像データIDATAのメタデータから、輝度情報111を抽出する。輝度情報111は、表示装置A109の表示輝度と、画像データIDATAの輝度との対応関係である第1対応関係に関する情報である。
表示装置A109のABL特性の一例を図20に示す。表示装置A109のABL特性は、表示装置A109の表示輝度の範囲と、画像データIDATAの輝度特徴量との対応関係の特性である。本実施例では、表示装置A109のABL特性は、第1上限(表示装置A109の表示輝度の上限)と平均輝度APL(画像データIDATAの輝度が高いほど大きい輝度特徴量)との対応関係の特性である。ABL特性は、表示装置の消費電力、表示装置の素子性能、等に基づいて決定される。図20では、第1閾値以下(30%以下)の平均輝度APLの範囲において、第1上限が一定(2000[cd/m2])である。そして、第1閾値以上(30%以上)の平均輝度APLの範囲において、平均輝度APLの増加に対して第1上限が低下する。具体的には、平均輝度APLの30%から100%への増加に対して、第1上限が2000[cd/m2]から1500[cd/m2]へ線形に低下する。本実施例では、輝度情報111として、画像データIDATAの平均輝度APLに対応する第1上限を示すABL情報META_ABLが取得される。
なお、本実施例では、各フレームにABL情報META_ABLが付加されているものとするが、複数のフレームからなる1つのシーンに対して1つのABL情報META_ABLが付加されていてもよい。そして、シーンに付加されたABL情報META_ABLが、当該シーンの各フレームに対応するABL情報META_ABLとして使用されてもよい。
また、ABL情報META_ABLは、時間的な情報を含んでいてもよい。例えば、ABL情報META_ABLに対応するフレーム(対応フレーム)を含む所定期間において第1上限がどの程度変動するかを示す情報が、ABL情報META_ABLに含まれていてもよい。上記所定期間は、対応フレームの30フレーム前のフレームから、対応フレームの30フレーム後のフレームまでの期間などである。具体的には、所定期間に第1上限が10%だけ変動する場合には、ABL情報META_ABLに「変動量=10%」といった情報が含まれていてもよい。
ABL情報決定部304は、動画像データ107の各フレームについて、特徴量取得部302によって取得された輝度特徴量に基づいて、第2対応関係を決定する。第2対応関係は、表示装置B108の表示輝度と、画像データIDATAの輝度との対応関係である。本実施例では、ABL情報決定部304は、平均輝度APLから、第2対応関係を決定
する。
する。
本実施例では、表示装置B108のABL特性の情報が、不図示のROMに予め記録されている。表示装置B108のABL特性の一例を図21に示す。表示装置B108のABL特性は、第2上限(表示装置B108の表示輝度の上限)と平均輝度APL(画像データIDATAの輝度が高いほど大きい輝度特徴量)との対応関係の特性である。
図21では、第2閾値以下(15%以下)の平均輝度APLの範囲において、第2上限が一定(2000[cd/m2])である。そのため、表示装置B108は、平均輝度APLが15%以下である画像データIDATAに基づく画像を、表示装置A109の表示輝度と同じ表示輝度で表示することができる。
そして、図21では、第2閾値以上(15%以上)の平均輝度APLの範囲において、平均輝度APLの増加に対して第2上限が低下する。具体的には、平均輝度APLの15%から100%への増加に対して、第2上限が2000[cd/m2]から1000[cd/m2]へ線形に低下する。そのため、表示装置B108は、平均輝度APLが15%より高い画像データIDATAに基づく画像を、表示装置A109の表示輝度と同じ表示輝度で表示することはできない。表示装置B108は、平均輝度APLが15%より高い画像データIDATAに基づく画像を、表示装置A109の表示輝度よりも低い表示輝度でしか表示することはできない。
本実施例では、ABL情報決定部304は、画像データIDATAの平均輝度APLに対応する第2上限を、表示装置B108のABL特性の情報から読み出し、読み出した第2上限を示すABL情報ABL_DATAを生成する。
表示可否判断部305は、動画像データ107の各フレームについて、表示装置A109の表示輝度と同じ表示輝度で表示装置B108が画像データIDATAに基づく画像を表示可能か否か判断する(表示可否判断処理)。表示可否判断処理は、ABL情報取得部303によって取得された輝度情報111と、ABL情報決定部304によって決定された第2対応関係とに基づいて行われる。具体的には、表示可否判断部305は、ABL情報取得部303からのABL情報META_ABLと、ABL情報決定部304からのABL情報ABL_DATAとに基づいて、表示可否判断処理を行う。
また、表示可否判断部305は、特徴量取得部302によって取得された輝度特徴量に基づいて、フレーム間における画像データIDATAの輝度の変化(変動)が第3閾値よりも大きいシーン(動画像データ107のシーン)である輝度変化シーンを検出する。具体的には、表示可否判断部305は、動画像データ107の各フレームについて、特徴量取得部302から、輝度ヒストグラムYHISTとフレーム差分ヒストグラムFYGAPとを取得する。そして、表示可否判断部305は、各フレームについて、輝度ヒストグラムYHISTとフレーム差分ヒストグラムFYGAPとに基づいて、そのフレームが輝度変化シーンのフレームであるか否かを判断する(輝度変化シーン判断処理)。
そして、表示可否判断部305は、動画像データ107の各フレームについて、表示可否判断処理の判断結果と、輝度変化シーン判断処理の判断結果(輝度変化シーンを検出する処理の検出結果)とに基づく判断結果値FLGを出力する。
輝度変化シーン判断処理の具体例について、図22を用いて説明する。図22は、輝度変化シーン判断処理の一例を示すフローチャートである。
まず、S101にて、表示可否判断部305は、閾値GRAD_THよりも大きい輝度
値Ybに対応する度数(輝度ヒストグラムYHISTの度数)の総和を、度数YHIST_CNTとして算出する。閾値GRAD_THは、輝度である第4閾値に対応する輝度値Ybである。閾値GRAD_THとして、例えば、中間輝度の輝度値Yb、高輝度の輝度値Yb、等が使用される。本実施例では、閾値GRAD_TH=250が使用される。図18(A)の輝度ヒストグラムYHISTでは、図18(B)の輝度ヒストグラムYHISTに比べ、閾値GRAD_TH=250以上の輝度値Ybに対応する度数が多い。そのため、図18(A)の輝度ヒストグラムYHISTが使用される場合には、図18(B)の輝度ヒストグラムYHISTが使用される場合に比べ、大きい値が、度数YHIST_CNTとして算出される。
値Ybに対応する度数(輝度ヒストグラムYHISTの度数)の総和を、度数YHIST_CNTとして算出する。閾値GRAD_THは、輝度である第4閾値に対応する輝度値Ybである。閾値GRAD_THとして、例えば、中間輝度の輝度値Yb、高輝度の輝度値Yb、等が使用される。本実施例では、閾値GRAD_TH=250が使用される。図18(A)の輝度ヒストグラムYHISTでは、図18(B)の輝度ヒストグラムYHISTに比べ、閾値GRAD_TH=250以上の輝度値Ybに対応する度数が多い。そのため、図18(A)の輝度ヒストグラムYHISTが使用される場合には、図18(B)の輝度ヒストグラムYHISTが使用される場合に比べ、大きい値が、度数YHIST_CNTとして算出される。
次に、S102にて、表示可否判断部305は、閾値DIFF_THよりも大きい輝度差YGAPに対応する度数(フレーム差分ヒストグラムFYGAPの度数)の総和を、度数MOVE_CNTとして算出する。閾値DIFF_THは、画像の動きの有無を判断するための閾値である。「閾値DIFF_THよりも大きい輝度差YGAPに対応する画素」は、「画像の動きがある画素」を意味し、「閾値DIFF_TH以下の輝度差YGAPに対応する画素」は、「画像の動きがない画素」を意味する。
そして、S103にて、表示可否判断部305は、度数YHIST_CNTを閾値(第5閾値)YHIST_THと比較し、度数MOVE_CNTを閾値(第6閾値)MOVE_THと比較する。具体的には、表示可否判断部305は、以下の条件が満たされているか否かを判断する。以下の条件が満たされている場合には、S104へ処理が進められ、以下の条件が満たされていない場合には、S105へ処理が進められる。
条件:YHIST_CNT>YHIST_TH、且つ
MOVE_CNT>MOVE_TH
条件:YHIST_CNT>YHIST_TH、且つ
MOVE_CNT>MOVE_TH
S104にて、表示可否判断部305は、「処理対象のフレームが輝度変化シーンのフレームである」と判断する。S105にて、表示可否判断部305は、「処理対象のフレームが輝度変化シーンのフレームでない」と判断する。
「度数YHIST_CNT」は、「輝度が第4閾値よりも高い画像領域のサイズ」とも言える。そして、「度数MOVE_CNT」は、「画像の動きがある画像領域のサイズ」とも言える。上記方法によれば、輝度が第4閾値よりも高い画像領域のサイズが第5閾値よりも大きく、且つ、画像の動きがある画像領域のサイズが第6閾値よりも大きいシーンが、輝度変化シーンとして検出される。
図23は、輝度変化シーンの一例を示す。図23のシーンは、雲から太陽(輝度2000[cd/m2])が現れるシーンである。図23のシーンでは、時間の経過に伴い、画像全体に占める太陽の比率が増し、平均輝度APLが増す。画像データIDATAの輝度の上限は、輝度2000[cd/m2]である。しかしながら、表示装置A109は、図20のABL特性を有する。そのため、図23のシーンにおいて、第1上限(表示装置A109の表示輝度の上限)は、1800[cd/m2]〜2000[cd/m2]の間で変動する。つまり、第1上限は、200[cd/m2]の変化量で変化する。また、表示装置B108は、図21のABL特性を有する。そのため、図23のシーンにおいて、第2上限(表示装置B108の表示輝度の上限)は、1400[cd/m2]〜1800[cd/m2]の間で変動する。つまり、第2上限は、400[cd/m2]の変化量で変化する。
図24は、輝度変化シーンではないシーンの一例を示す。図24のシーンにも、雲と太
陽が存在する。しかしながら、図24のシーンでは、雲と太陽の相対的な位置関係の時間変化は無い。そのため、画像全体に占める太陽の比率の時間変化は無く、平均輝度APLの時間変化もない。その結果、第1上限の時間変化も、第2上限の時間変化も生じない。
陽が存在する。しかしながら、図24のシーンでは、雲と太陽の相対的な位置関係の時間変化は無い。そのため、画像全体に占める太陽の比率の時間変化は無く、平均輝度APLの時間変化もない。その結果、第1上限の時間変化も、第2上限の時間変化も生じない。
なお、輝度変化シーン判断処理の方法は上記の方法に限られない。例えば、輝度ヒストグラムYHISTとフレーム差分ヒストグラムFYGAPとの代わりに、平均輝度APLが使用されてもよい。具体的には、フレーム間における平均輝度APLの変化が大きいシーンが、輝度変化シーンとして検出されてもよい。また、特徴量取得部302によって取得された輝度特徴量の代わりに輝度情報111(ABL情報META_ABL)を用いて、輝度変化シーンが検出されてもよい。輝度特徴量と輝度情報111の両方を用いて輝度変化シーンが検出されてもよい。
表示可否判断処理の具体例について、図25,26を用いて説明する。図25,26は、表示装置A109のABL特性と、表示装置B108のABL特性との一例を示す。表示可否判断処理において、表示可否判断部305は、ABL情報META_ABLと、ABL情報決定部304からのABL情報ABL_DATAとを比較する。
ABL情報ABL_DATAによって示された第2上限が、ABL情報META_ABLによって示された第1上限よりも高い場合を考える。その場合には、表示装置B108は、ABL情報META_ABLによって示された第1上限と同じ表示輝度に第2上限を低減することにより、表示装置A109の表示輝度と同じ表示輝度での表示を実現することができる。
ABL情報ABL_DATAによって示された第2上限が、ABL情報META_ABLによって示された第1上限と等しい場合を考える。その場合には、表示装置B108は、ABL情報ABL_DATAによって示された第2上限を用いることにより、表示装置A109の表示輝度と同じ表示輝度での表示を実現することができる。
ABL情報ABL_DATAによって示された第2上限が、ABL情報META_ABLによって示された第1上限よりも低い場合を考える。その場合には、表示装置B108は、ABL情報META_ABLによって示された第1上限と同じ表示輝度を、第2上限として使用することはできない。そのため、表示装置B108は、表示装置A109の表示輝度と同じ表示輝度での表示を実現することができない。
そのため、表示可否判断部305は、ABL情報ABL_DATAの第2上限が、ABL情報META_ABLの第1上限以上である場合に、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能である」と判断する。そして、表示可否判断部305は、ABL情報ABL_DATAの第2上限が、ABL情報META_ABLの第1上限以上である場合に、判断結果値FLG=0を出力する。判断結果値FLG=0は、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能である」という判断結果に対応する。
また、表示可否判断部305は、ABL情報ABL_DATAの第2上限が、ABL情報META_ABLの第1上限よりも低い場合に、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」と判断する。そして、表示可否判断部305は、ABL情報ABL_DATAの第2上限が、ABL情報META_ABLの第1上限未満である場合に、判断結果値FLG≠0を出力する。判断結果値FLG≠0は、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果に対応する。
表示装置A109のABL特性と、表示装置B108のABL特性とが、図25の特性である場合には、ABL情報ABL_DATAの第2上限として、ABL情報META_ABLの第1上限よりも高い表示輝度が得られる。そのため、表示装置A109のABL特性と、表示装置B108のABL特性とが、図25の特性である場合には、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能である」という判断結果が得られる。そして、判断結果値FLG=0が出力される。
一方、表示装置A109のABL特性と、表示装置B108のABL特性とが、図26の特性である場合には、ABL情報ABL_DATAの第2上限として、ABL情報META_ABLの第1上限よりも低い表示輝度が得られることがある。そのため、表示装置A109のABL特性と、表示装置B108のABL特性とが、図26の特性である場合には、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果が得られることがある。そして、判断結果値FLG≠0が出力されることがある。
本実施例では、表示可否判断部305は、ABL情報ABL_DATAの第2上限がABL情報META_ABLの第1上限よりも低い場合に、輝度変化シーン判断処理の結果をさらに考慮して、判断結果値FLGの値を決定する。具体的には、表示可否判断部305は、ABL情報ABL_DATAの第2上限がABL情報META_ABLの第1上限よりも低く、且つ、処理対象のフレームが輝度変化シーンのフレームでない場合に、判断結果値FLG=1を出力する。また、表示可否判断部305は、ABL情報ABL_DATAの第2上限がABL情報META_ABLの第1上限よりも低く、且つ、処理対象のフレームが輝度変化シーンのフレームである場合に、判断結果値FLG=2を出力する。例えば、フレーム間における平均輝度APLの変化が、図26の丸で囲まれた範囲に対応する平均輝度APLの変化である等において、判断結果値FLG=1が出力される。
判断結果値FLG=1は、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果と、「処理対象のフレームが輝度変化シーンのフレームでない」という判断結果とに対応する。判断結果値FLG=2は、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果と、「処理対象のフレームが輝度変化シーンのフレームである」という判断結果とに対応する。
ABL情報補正部306は、動画像データ107の各フレームについて、表示可否判断部305からの判断結果値FLG(および、ABL情報取得部303からのABL情報META_ABL)に基づいて、第2対応関係を補正する。本実施例では、フレーム間における第2対応関係の変化の仕方が、フレーム間における第1対応関係の変化の仕方に近づくように、第2対応関係が補正される。具体的には、輝度特徴量(平均輝度APL)の変化に対する第2上限の変化の仕方が、輝度特徴量の変化に対する第1上限の変化の仕方に近づくように、第2対応関係が補正される。本実施例では、表示装置B108のABL特性の変動開始点(第2閾値(図21の「15%」)と、第2閾値に対応する第2上限との組み合わせ)が変更されるように、第2対応関係が補正される。本実施例では、第2対応関係を補正する処理として。ABL情報決定部304からのABL情報ABL_DATAを補正する処理が行われる。そして、ABL情報補正部306は、補正後のABL情報ABL_REVをゲイン変換部307へ出力する。
判断結果値FLG=0の場合を説明する。上述したように、判断結果値FLG=0の場合には、表示装置B108は、表示装置A109の表示輝度と同じ表示輝度での表示を実現することができる。そのため、ABL情報補正部306は、第2対応関係が第1対応関係に略一致するように、第2対応関係を補正する(「略一致」は「完全一致」を含む)。
具体的には、ABL情報補正部306は、ABL情報ABL_DATA(第2上限)がABL情報META_ABL(第1上限)に略一致するように、ABL情報ABL_DATAを補正する。
具体的には、ABL情報補正部306は、ABL情報ABL_DATA(第2上限)がABL情報META_ABL(第1上限)に略一致するように、ABL情報ABL_DATAを補正する。
ここで、表示装置A109のABL特性が、図28の太実線で示された特性であり、且つ、表示装置B108の補正前のABL特性が、図28の太破線で示された特性であり、且つ、判断結果値FLGが「0」である場合を考える。この場合には、例えば、表示装置B108の補正後のABL特性として、図28の点線で示された特性が得られるように、ABL情報ABL_DATAが補正される。図28において、表示装置B108の補正後のABL特性は、表示装置A109のABL特性に一致している。
判断結果値FLG=1の場合を説明する。上述したように、判断結果値FLG=1は、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果と、「処理対象のフレームが輝度変化シーンのフレームでない」という判断結果とに対応する。輝度変化シーンでないシーンでは、フレーム間における画像データIDATAの輝度の変化が小さいため、フレーム間における第2対応関係の変化の仕方と、フレーム間における第1対応関係の変化の仕方との差は小さい。さらに、輝度変化シーンでないシーンでは、第2上限のちらつき、表示装置B108の表示輝度のちらつき、等が、生じなかったり、小さかったりする。そのため、ABL情報補正部306は、ABL情報ABL_DATAの補正を省略し、ABL情報ABL_DATAをABL情報ABL_REVとして出力する。それにより、表示装置B108の処理負荷を低減することができるとともに、表示装置B108の表示能力を最大限に利用することができる。
ここで、表示装置A109のABL特性が、図27の太実線で示された特性であり、且つ、表示装置B108のABL特性が、図27の太破線で示された特性であり、且つ、判断結果値FLGが「1」である場合を考える。この場合には、ABL情報ABL_DATAの補正が省略されるため、表示装置B108のABL特性は、図27の太破線で示された特性から変化しない。
判断結果値FLG=2の場合を説明する。上述したように、判断結果値FLG=2は、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果と、「処理対象のフレームが輝度変化シーンのフレームである」という判断結果とに対応する。輝度変化シーンでは、フレーム間における画像データIDATAの輝度の変化が大きいため、フレーム間における第2対応関係の変化の仕方と、フレーム間における第1対応関係の変化の仕方との差は大きい。さらに、輝度変化シーンでは、第2上限のちらつき、表示装置B108の表示輝度のちらつき、等が大きい。そのため、ABL情報補正部306は、平均輝度APLの変化に対する第2上限の変化の仕方が、平均輝度APLの変化に対する第1上限の変化の仕方に近づくように、ABL情報ABL_DATAを補正する。ここでは、補正後の第2上限(ABL情報ABL_REV)として、補正前の第2上限(ABL情報ABL_DATA)以下の表示輝度が得られる。それにより、フレーム間における第2対応関係の変化の仕方と、フレーム間における第1対応関係の変化の仕方との差を低減することができる。また、第2上限のちらつき、表示装置B108の表示輝度のちらつき、等を低減することもできる。その結果、表示装置A109での見た目に近い見た目の画像を、表示装置B108で表示することができる。
ここで、表示装置A109のABL特性が、図27の太実線で示された特性であり、且つ、表示装置B108の補正前のABL特性が、図27の太破線で示された特性であり、且つ、判断結果値FLGが「2」である場合を考える。この場合には、例えば、表示装置B108の補正後のABL特性として、図27の点線で示された特性が得られるように、ABL情報ABL_DATAが補正される。図27において、表示装置A109のABL
特性の変動開始点は、平均輝度APL(第1閾値)30%と第2上限2000[cd/m2]との組み合わせである。そして、表示装置B108のABL特性の変動開始点は、平均輝度APL(第2閾値)15%と第2上限2000[cd/m2]との組み合わせから、平均輝度APL30%と第2上限1500[cd/m2]との組み合わせへ変更されている。そのため、表示装置B108の補正後のABL特性の変動開始点に対応する平均輝度APLは、表示装置A109のABL特性の変動開始点に対応する平均輝度APLに一致している。また、30%(第1閾値;補正後の第2閾値)以下の平均輝度APLの範囲において、表示装置B108の補正後のABL特性の傾きと、表示装置A109のABL特性の傾きとは、いずれも「0」である。そして、30%以上の平均輝度APLの範囲においても、表示装置B108の補正後のABL特性の傾きは、表示装置A109のABL特性の傾きに一致している。
特性の変動開始点は、平均輝度APL(第1閾値)30%と第2上限2000[cd/m2]との組み合わせである。そして、表示装置B108のABL特性の変動開始点は、平均輝度APL(第2閾値)15%と第2上限2000[cd/m2]との組み合わせから、平均輝度APL30%と第2上限1500[cd/m2]との組み合わせへ変更されている。そのため、表示装置B108の補正後のABL特性の変動開始点に対応する平均輝度APLは、表示装置A109のABL特性の変動開始点に対応する平均輝度APLに一致している。また、30%(第1閾値;補正後の第2閾値)以下の平均輝度APLの範囲において、表示装置B108の補正後のABL特性の傾きと、表示装置A109のABL特性の傾きとは、いずれも「0」である。そして、30%以上の平均輝度APLの範囲においても、表示装置B108の補正後のABL特性の傾きは、表示装置A109のABL特性の傾きに一致している。
なお、第2対応関係の補正方法は、上記方法に限られない。例えば、第2閾値と、第2閾値に対応する第2上限との一方のみが変更されるように、第2対応関係が補正されてもよい。輝度変化シーン判断処理は行われなくてもよい。「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」と判断された場合に、第2対応関係を補正する処理として、判断結果値FLG=2に対応する上記処理が常に行われてもよい。判断結果値FLGの種類数は、3種類(「0」、「1」、及び、「2」)より多くても少なくてもよい。例えば、表示可否判断部305の処理(表示可否判断処理、輝度変化シーン判断処理、等)において、より細かい条件、より多くの条件、等を用いることで、判断結果値FLGの種類数を増やすことができる。判断結果値FLGの種類数が3種類よりも多い場合を考える。この場合には、例えば、「表示装置A109の表示輝度と同じ表示輝度での表示を表示装置B108が実現可能でない」という判断結果に対して、図27の太破線の特性と、図27の点線の特性との間を補う中間特性がさらに使用される。それにより、より滑らかな画面遷移が可能になる。
ゲイン変換部307は、動画像データ107の各フレームについて、ABL情報補正部306から出力されたABL情報ABL_REVを、ゲイン値RGB_GAINに変換する。そして、ゲイン変換部307は、ゲイン値RGB_GAINを出力する。ゲイン値RGB_GAINは、ガンマ変換部301から出力された画像データGDATAの階調値(R値、G値、及び、B値)に乗算するゲイン値である。本実施例では、ゲイン変換部307は、以下の式4を用いて、ゲイン値RGB_GAINを算出する。式4によれば、ゲイン値RGB_GAINとして、0〜1の範囲内の値が得られる。式4において、「Y_Peak」は、画像データIDATAの輝度の上限(図23,24の太実線の輝度)である。
RGB_GAIN=YPeak/ABL_REV ・・・(式4)
RGB_GAIN=YPeak/ABL_REV ・・・(式4)
なお、補正パラメータと、補正パラメータの決定方法とは、上記方法に限られない。例えば、補正パラメータとして、階調値に加算するオフセット値が決定されてもよい。R値を補正する補正パラメータ、G値を補正する補正パラメータ、及び、B値を補正する補正パラメータが、個別に決定されてもよい。
補正部308は、動画像データ107の各フレームについて、ガンマ変換部301から出力された画像データGDATAの各階調値を、ゲイン変換部307から出力されたゲイン値RGB_GAINに基づいて補正する。具体的には、以下の式5に示すように、補正部308は、画像データGDATAの各階調値にゲイン値RGB_GAINを乗算する。それにより、画像データLDATAが生成される。補正部308は、画像データLDATAを出力する。式5において、「GRAD_GDATA」は、画像データGDATAの階
調値であり、「GRAD_LDATA」は、画像データLDATAの階調値である。
GRAD_LDATA=GRAD_GDATA×RGB_GAIN
・・・(式5)
調値であり、「GRAD_LDATA」は、画像データLDATAの階調値である。
GRAD_LDATA=GRAD_GDATA×RGB_GAIN
・・・(式5)
表示部309は、補正部308から出力された画像データLDATAに応じた画像を表示する。補正部308から出力された画像データLDATAが表示部309で使用されることにより、補正後の第2対応関係に従った表示輝度での表示が実現される。表示部309として、例えば、有機EL表示パネル、プラズマ表示パネル、等が使用される。表示部309として、発光部と、発光部からの光を透過することで画像を表示する表示パネルとの組み合わせが使用されてもよい。
以上述べたように、本実施例によれば、実施例1〜3で記録された輝度情報が取得され、第2対応関係が、輝度情報に基づいて補正される。それにより、ユーザーの意図した表示が可能となる。具体的には、表示装置A109での見た目(処理パラメータの調整時の見た目)に近い見た目の画像を、表示装置B108で表示することができる。
なお、上記説明の各閾値は、メーカーによって定められた固定値であってもよいし、ユーザーが変更可能な値であってもよいし、表示装置B108の使用環境などに基づいて自動で決定された値であってもよい。
なお、本実施例では、画像データを補正することにより表示装置B108の表示輝度が補正される例を説明したが、表示装置B108の表示輝度の補正方法は、これに限られない。例えば、バックライトモジュールなどの発光部の発光輝度を補正することにより、表示装置B108の表示輝度が補正されてもよい。
<実施例5>
以下、本発明の実施例5について説明する。以下では、実施例4と異なる点(構成および処理)について詳しく説明し、実施例4と同じ点についての説明を省略する。本実施例では、表示装置A109での見た目に近い見た目の画像を表示装置B108で表示する表示制御が行われる例を説明した。本実施例では、表示装置B108の表示画像の見た目を切り替え可能な例を説明する。
以下、本発明の実施例5について説明する。以下では、実施例4と異なる点(構成および処理)について詳しく説明し、実施例4と同じ点についての説明を省略する。本実施例では、表示装置A109での見た目に近い見た目の画像を表示装置B108で表示する表示制御が行われる例を説明した。本実施例では、表示装置B108の表示画像の見た目を切り替え可能な例を説明する。
図29は、本実施例に係る表示装置B108の構成の一例を示す図である。図29において、実施例4と同じ機能部には、実施例4と同じ符号が付されている。
ダイナミックガンマ変換部401は、動画像データ107の各フレームについて、画像データIDATAに対してダイナミックガンマ変換処理を施すことにより、画像データDGDATAを生成する。そして、ダイナミックガンマ変換部401は、各フレームの画像データDGDATAをDG補正部403へ出力する。ダイナミックガンマ変換処理は、画像データIDATAに基づいて適応的にガンマカーブが変更されるガンマ変換処理である。
本実施例では、特徴量取得部302によって取得された輝度ヒストグラムYHISTに基づいてガンマカーブが決定される。具体的には、度数が多い輝度値Ydの範囲に対して、度数が少ない輝度値Ydの範囲に比べ多くの階調値が割り当てられるように、ガンマカーブが決定される。ガンマカーブの決定方法としては、度数積算法などの一般的な方法を用いることができる。
図30(A),30(B)は、ガンマカーブの一例を示す。例えば、低輝度(小さい輝度値Yd)の度数が少なく、且つ、高輝度(大きい輝度値Yd)の度数が多い場合には、図30(A)に示すようなガンマカーブが決定され、ダイナミックガンマ変換処理に使用される。低輝度の度数が多く、且つ、高輝度の度数が少ない場合には、図30(B)に示すようなガンマカーブが決定され、ダイナミックガンマ変換処理に使用される。
DGゲイン変換部402は、動画像データ107の各フレームについて、ABL情報決定部304から出力されたABL情報ABL_DATAを、ゲイン値RGB_GAIN2に変換する。そして、DGゲイン変換部402は、ゲイン値RGB_GAIN2を出力する。ゲイン値RGB_GAIN2は、ダイナミックガンマ変換部401から出力された画像データDGDATAの階調値(R値、G値、及び、B値)に乗算するゲイン値である。ゲイン値RGB_GAIN2の算出方法は、ゲイン値RGB_GAINの算出方法と同様である。
DG補正部403は、動画像データ107の各フレームについて、ダイナミックガンマ変換部401から出力された画像データDGDATAの各階調値を、DGゲイン変換部402から出力されたゲイン値RGB_GAIN2に基づいて補正する。それにより、画像データDGDATA_REVが生成される。DG補正部403は、画像データDGDATA_REVを出力する。画像データDGDATAの補正方法は、画像データGDATAの補正方法と同様である。
選択部404は、予め定められた複数の表示制御のいずれかを選択して実行する。本実施例では、表示装置B108に対してユーザーが行った操作に応じて、表示制御が選択されて実行される。なお、表示制御の選択方法は特に限定されない。例えば、表示装置B108の使用環境、動画像データ107、等に基づいて、表示制御が自動で選択されてもよい。
本実施例では、表示制御の選択に関する上記操作に応じて、1ビットの選択信号である選択パラメータが選択部404に入力される。選択パラメータが「0」である場合には、選択部404は、表示モード(動作モード)としてダイナミックガンマモードを設定し、ダイナミックガンマモードに応じた表示制御を行う。具体的には、ダイナミックガンマモードでは、選択部404は、ダイナミックガンマ変換処理が施された後の画像データDGDATA_REVを選択して表示部309へ出力する表示制御を行う。一方、選択パラメータが「1」である場合には、選択部404は、表示モードとして再現表示モードを設定し、再現表示モードに応じた表示制御を行う。具体的には、再現表示モードでは、選択部404は、ABL情報補正部306によって補正された後の第2対応関係(ABL情報ABL_REV)が反映されている画像データLDATAを選択して表示部309へ出力する表示制御を行う。即ち、再現表示モードでは、実施例1と同様の表示制御(ABL情報補正部306によって補正された後の第2対応関係に従って画像データIDATAに基づく画像を表示部309で表示する表示制御)が行われる。したがって、図29において、選択部404から表示部309へ出力される画像データDATA_SELは、画像データDGDATA_REVまたは画像データLDATAである。
なお、本実施例では、表示制御の種類数が2つであり、且つ、選択パラメータのビット数が1ビットである場合の例を説明したが、表示制御の種類数、選択パラメータのビット数、等は特に限定されない。例えば、表示制御の種類数が3つ以上であり、且つ、選択パラメータのビット数が2ビット以上であってもよい。他の表示制御として、実施例1で述べたローディング方式1に対応する表示制御、実施例1で述べたローディング方式2に対応する表示制御、等がある。
以上述べたように、本実施例によれば、複数の表示制御のいずれかが選択されて実行される。それにより、表示装置B108(画像処理装置)の利便性を向上することができる。例えば、ユーザーは、本実施例の表示装置B108を用いることで、様々な見た目の画像を確認することができる。具体的には、ユーザーは、自身の好みに応じた見た目の画像を確認することができる。
<実施例6>
以下、本発明の実施例6について説明する。以下では、実施例4,5と異なる点(構成および処理)について詳しく説明し、実施例4,5と同じ点についての説明を省略する。実施例4の方法では、表示装置B108の表示輝度が、表示装置A109の表示輝度よりも低い表示輝度に制御されることがある(例えば、判断結果値FLG=2の場合)。本実施例では、表示装置B108の表示輝度の低下を抑制することができる例を説明する。
以下、本発明の実施例6について説明する。以下では、実施例4,5と異なる点(構成および処理)について詳しく説明し、実施例4,5と同じ点についての説明を省略する。実施例4の方法では、表示装置B108の表示輝度が、表示装置A109の表示輝度よりも低い表示輝度に制御されることがある(例えば、判断結果値FLG=2の場合)。本実施例では、表示装置B108の表示輝度の低下を抑制することができる例を説明する。
図31は、本実施例に係る表示装置B108の構成の一例を示す図である。図31において、実施例4と同じ機能部には、実施例4と同じ符号が付されている。
バックライト輝度決定部501は、動画像データ107の各フレームについて、特徴量取得部302によって取得された輝度特徴量に基づいて、バックライトモジュール503の発光輝度BLVALを決定する。そして、バックライト輝度決定部501は、発光輝度BLVALを出力する。本実施例では、平均輝度APLに基づいて発光輝度BLVALが決定される。本実施例では、バックライトモジュール503の発光輝度を高めるブースト処理が行われることがある。そのため、ブースト処理が行われない場合に消費電力に余裕が生まれるように、発光輝度BLVALが決定される。
バックライト輝度補正部502は、動画像データ107の各フレームについて、ABL情報補正部306からのABL情報ABL_REVに基づいて、バックライト輝度決定部501からの発光輝度BLVALを適宜補正する。そして、バックライト輝度補正部502は、補正後の発光輝度BLVAL_REVをバックライトモジュール503へ出力する。ABL情報ABL_REVに基づいて発光輝度BLVALを適宜補正することにより、実施例1と同様に第2対応関係が適宜補正される。
また、バックライト輝度補正部502は、表示装置B108に対してユーザーが行った操作に応じて、ブーストモードを設定したり、ブーストモードの設定を解除したりする。具体的には、ブーストモードの設定に関する上記操作に応じて、ブースト設定パラメータBOOST_SELがバックライト輝度補正部502に入力される。
ブースト設定パラメータBOOST_SELが「0」である場合には、バックライト輝度補正部502は、表示モード(動作モード)として通常モードを設定する。ブースト設定パラメータBOOST_SELが「0」であり、且つ、ブーストモードが設定されている場合には、ブーストモードの設定が解除されて、通常モードが設定される。即ち、ブーストモードから通常モードへ表示モードが切り替えられる。そして、バックライト輝度補正部502は、ABL情報ABL_REVに基づく補正後の発光輝度を、発光輝度BLVAL_REVとして出力する。その結果、表示装置B108において、実施例4と同様の表示が行われる。
ブースト設定パラメータBOOST_SELが「1」である場合には、バックライト輝度補正部502は、表示モードとしてブーストモードを設定する。そして、バックライト輝度補正部502は、ABL情報ABL_REVに基づく補正後の発光輝度を高めるブースト処理により、発光輝度BLVAL_REVを生成する。その後、バックライト輝度補正部502は、発光輝度BLVAL_REVを出力する。ブースト処理によって生成され
た発光輝度BLVAL_REVを用いることにより、表示装置B108の画面全体の表示輝度を、ABL情報ABL_REVに基づく補正後の第2対応関係に従った表示輝度から高めることができる。
た発光輝度BLVAL_REVを用いることにより、表示装置B108の画面全体の表示輝度を、ABL情報ABL_REVに基づく補正後の第2対応関係に従った表示輝度から高めることができる。
図32は、通常モード時のABL特性と、ブーストモード時のABL特性との一例を示す。図32において、太実線は、表示装置A109のABL特性を示す。そして、点線は、通常モードが設定されており、且つ、判断結果値FLGが「2」である場合における表示装置B108のABL特性を示す。図32において、点線の表示輝度(第2上限)は、太実線の表示輝度(第1上限)に比べ低い。そのため、通常モードが設定されており、且つ、判断結果値FLGが「2」である場合において、表示装置B108の表示輝度は、表示装置A109の表示輝度よりも低い表示輝度に制御される。即ち、実施例4の方法では、判断結果値FLGが「2」である場合において、表示装置B108の表示輝度は、表示装置A109の表示輝度よりも低い表示輝度に制御される。
図32において、太一点鎖線は、ブーストモードが設定されており、且つ、判断結果値FLGが「2」である場合における表示装置B108のABL特性を示す。図32において、太一点鎖線の表示輝度(第2上限)は、点線の表示輝度(第2上限)に比べ高い。そのため、ブーストモードを設定することにより、判断結果値FLG=2の場合における表示装置B108の表示輝度の低下を抑制することができる。その結果、判断結果値FLG=2の場合において、表示装置B108の表示輝度として、表示装置A109の表示輝度により近い表示輝度を得ることができる。
バックライトモジュール503は、動画像データ107の各フレームについて、バックライト輝度補正部502からの発光輝度BLVAL_REVに従って発光する。液晶パネル504は、動画像データ107の各フレームについて、画像データIDATAに基づいて、液晶パネル504が有する各液晶素子の透過率(開口率)を制御する。バックライトモジュール503から発せられた光が、液晶パネル504の各液晶素子を透過することにより、画面に画像が表示される。
以上述べたように、本実施例では、ブースト処理が実行可能である。それにより、表示装置B108の表示輝度の低下を抑制することができる。例えば、判断結果値FLG=2の場合における表示装置B108の表示輝度の低下を抑制することができる。その結果、判断結果値FLG=2の場合において、表示装置B108の表示輝度として、表示装置A109の表示輝度により近い表示輝度を得ることができる。また、平均輝度APLが高い場合にブースト処理を行うことにより、平均輝度APLの増加に起因した表示装置B108の表示輝度の低下を抑制することもできる。
なお、本実施例では、表示装置B108の画面全体の表示輝度を高めるブースト処理が行われる例を説明したが、ブースト処理によって画面の一部の表示輝度が高められてもよい。例えば、明るい画像領域の表示輝度のみが、ブースト処理によって高められてもよい。
なお、本実施例では、表示装置B108が液晶表示装置である例を説明した。そして、バックライトモジュール503の発光輝度を高める処理が、ブースト処理として行われる例を説明した。しかしながら、表示装置B108とブースト処理はこれらに限られない。例えば、表示装置B108は、有機EL表示装置などの自発光型の表示装置であってもよい。そして、有機EL素子などの発光素子の発光輝度を高める処理が、ブースト処理として行われてもよい。
なお、ブースト処理による発光輝度の増加量は特に限定されない。例えば、発光輝度の
増加量は、メーカーによって定められた固定値であってもよいし、ユーザーが変更可能な値であってもよいし、表示装置の使用環境などに基づいて自動で決定された値であってもよい。第1対応関係に従った表示輝度(表示装置A109の表示輝度)に表示装置B108の表示輝度が近づくように、第1対応関係、補正後の第2対応関係、等に基づいて、発光輝度の増加量が自動で決定されてもよい。
増加量は、メーカーによって定められた固定値であってもよいし、ユーザーが変更可能な値であってもよいし、表示装置の使用環境などに基づいて自動で決定された値であってもよい。第1対応関係に従った表示輝度(表示装置A109の表示輝度)に表示装置B108の表示輝度が近づくように、第1対応関係、補正後の第2対応関係、等に基づいて、発光輝度の増加量が自動で決定されてもよい。
なお、本実施例では、ユーザーによって行われた操作に応じて、ブースト処理が実行される例を説明したが、ブースト処理の実行/非実行は、自動で切り替えられてもよい。例えば、補正後の第2対応関係に従った表示輝度(表示装置B108の表示輝度)が、第1対応関係に従った表示輝度よりも低い場合にのみブースト処理が行われるように、ブースト処理の実行/非実行が自動で切り替えられてもよい。
<実施例7>
以下、本発明の実施例7について説明する。以下では、実施例4〜6と異なる点(構成および処理)について詳しく説明し、実施例4〜6と同じ点についての説明を省略する。実施例4では、表示装置B108が、表示可否判断処理と輝度変化シーン判断処理を行い、判断結果値FLGを生成した。本実施例では、表示装置B108に動画像データが入力される前に、表示装置B108とは異なる装置により、表示可否判断処理と輝度変化シーン判断処理が予め行われ、判断結果値FLGが予め生成される例を説明する。
以下、本発明の実施例7について説明する。以下では、実施例4〜6と異なる点(構成および処理)について詳しく説明し、実施例4〜6と同じ点についての説明を省略する。実施例4では、表示装置B108が、表示可否判断処理と輝度変化シーン判断処理を行い、判断結果値FLGを生成した。本実施例では、表示装置B108に動画像データが入力される前に、表示装置B108とは異なる装置により、表示可否判断処理と輝度変化シーン判断処理が予め行われ、判断結果値FLGが予め生成される例を説明する。
図33は、本実施例に係る表示システム(画像処理システム)の構成の一例を示す図である。図33において、実施例4と同じもの(装置、機能部、データ、及び、信号)には、実施例4と同じ符号が付されている。
シーン解析装置601は、画像処理装置102(画像ストレージ部201)から出力画像ファイル104を取得し、取得した出力画像ファイル104を動画像データ107に変換する。そして、シーン解析装置601は、動画像データ107を用いて表示可否判断処理と輝度変化シーン判断処理を行い、各フレームの判断結果値FLGを生成する。そして、シーン解析装置601は、動画像データ107の各フレームのメタデータに判断結果値FLGを付加(記述)することにより、動画像データ602を生成する。その後、シーン解析装置601は、動画像データ602を表示装置B108へ出力する。
シーン解析装置601の輝度変化シーン判断処理などでは、動画像データ107の期間が1つ以上のシーンに分割され、各シーンについて動画像データ107が個別に解析される。図34は、動画像データ107の期間が1つ以上のシーンに分割される様子の一例を示す。図34の例では、動画像データ107の期間が、4つのシーン1〜4に分割されている。シーンの分割方法(検出方法)としては、一般的な方法を用いることができる。例えば、平均輝度APLの変化の大きさが閾値となる時間位置を、シーンの切り替わりの時間位置をとして検出する方法を用いることができる。
シーン解析装置601の表示可否判断処理の方法は、基本的には、実施例4の方法と同様である。また、シーン解析装置601の輝度変化シーン判断処理の方法も、基本的には、実施例4の方法と同様である。しかしながら、実施例4では、表示装置B108に動画像データが入力されるタイミングから、表示装置B108での表示が開始されるタイミングまでの時間を短縮するために、表示変化シーン判断処理として高精度な処理が行われないことがある。例えば、輝度変化シーン判断処理において、処理対象のフレームを含む数フレームしか使用されないことがある。本実施例では、シーン解析装置601の輝度変化シーン判断処理は、上記時間に影響を及ぼさない。そのため、シーン解析装置601は、輝度変化シーン判断処理として、実施例4よりも高精度な処理を行うことができる。例えば、シーン解析装置601は、輝度変化シーン判断処理において、分割によって得られた
シーンの全てのフレームを用いることができる。同様に、シーン解析装置601は、表示可否判断処理として、実施例4よりも高精度な処理を行うことができる。
シーンの全てのフレームを用いることができる。同様に、シーン解析装置601は、表示可否判断処理として、実施例4よりも高精度な処理を行うことができる。
図35は、本実施例に係る表示装置B108の構成の一例を示す図である。図35において、実施例4と同じ機能部には、実施例4と同じ符号が付されている。
ABL情報取得部703は、動画像データ602の各フレームについて、画像データIDATAのメタデータから、ABL情報META_ABLと判断結果値FLGを抽出する。そして、ABL情報取得部703は、ABL情報META_ABLと判断結果値FLGを、ABL情報補正部306へ出力する。
以上述べたように、本実施例によれば、表示装置B108とは異なる装置により判断結果値FLGが生成される。それにより、判断結果値FLGとして、より高精度な判断結果を示す値を得ることができ、判断結果値FLGを用いた処理として、より高精度な処理を行うことができる。また、表示装置B108が判断結果値FLGを生成する必要はないため、表示装置B108の処理負荷を低減することができる。
なお、表示装置B108は、表示可否判断処理の結果と、輝度変化シーン判断処理の結果とを、個別に取得してもよい。表示可否判断処理を行う装置と、輝度変化シーン判断処理を行う装置とは異なっていてもよい。表示可否判断処理と輝度変化シーン判断処理の一方が、表示装置B108とは異なる装置で行われ、表示可否判断処理と輝度変化シーン判断処理の他方が、表示装置B108で行われてもよい。
なお、実施例1〜7の装置の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。1つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つの機能部の2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
なお、実施例1〜7はあくまで一例であり、本発明の要旨の範囲内で実施例1〜7の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜7の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102:画像処理装置 103:表示装置 109:表示装置A
108:表示装置B 204:画像処理部 206:レンダリング部
207:メタデータ付加部 208:制御部 214:液晶パネル
215:バックライトモジュール 302:特徴量取得部
303,703:ABL情報取得部 304:ABL情報決定部
305:表示可否判断部 306:ABL情報補正部
502:バックライト輝度補正部 1002:表示輝度変換部
1301:表示輝度画像データ取得部
108:表示装置B 204:画像処理部 206:レンダリング部
207:メタデータ付加部 208:制御部 214:液晶パネル
215:バックライトモジュール 302:特徴量取得部
303,703:ABL情報取得部 304:ABL情報決定部
305:表示可否判断部 306:ABL情報補正部
502:バックライト輝度補正部 1002:表示輝度変換部
1301:表示輝度画像データ取得部
Claims (29)
- 対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定手段と、
前記決定手段によって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成手段と、
前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得手段と、
前記生成手段によって生成された前記処理画像データと、前記取得手段によって取得された前記輝度情報とに基づくデータを、記憶部に記録する記録手段と、
を有することを特徴とする画像処理装置。 - 前記輝度情報は、前記表示輝度の上限、前記表示輝度の下限、前記処理画像データの輝度の変化に対する前記表示輝度の変化の方式、及び、前記処理画像データの輝度特徴量と前記表示輝度の範囲との対応関係、の少なくともいずれかを示す
ことを特徴とする請求項1に記載の画像処理装置。 - 前記方式は、
前記処理画像データの輝度の変化に対して前記表示輝度が線形に変化する方式、または、
前記表示輝度の範囲内の前記処理画像データの輝度に対して当該輝度と同じ表示輝度が対応し、且つ、前記表示輝度の範囲外の前記処理画像データの輝度に対して前記表示輝度の上限または下限が対応する方式
である
ことを特徴とする請求項2に記載の画像処理装置。 - 前記記録手段は、前記処理画像データと前記輝度情報とを互いに関連付けて前記記憶部に記録する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記記録手段は、
前記輝度情報に基づいて前記処理画像データの輝度を前記表示輝度と同じ輝度に変換することにより、表示輝度画像データを生成し、
前記表示輝度画像データを前記記憶部に記録する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記表示部は、前記画像処理装置とは別体の表示装置であり、
前記表示装置は、
前記処理画像データを取得し、
前記処理画像データの輝度を前記表示輝度と同じ輝度に変換することにより、表示輝度画像データを生成し、
前記記録手段は、
前記表示輝度画像データを前記表示装置から取得し、
取得した前記表示輝度画像データを記憶部に記録する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記表示輝度と前記処理画像データの輝度との前記対応関係は、前記処理画像データの輝度特徴量に依存し、
前記輝度情報は、前記処理画像データの前記輝度特徴量に基づいて生成された情報である
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。 - 入力画像データに基づく画像を表示する表示部と、
前記表示部の表示輝度と前記入力画像データの輝度との対応関係に関する輝度情報を生成する生成手段と、
前記入力画像データと、前記生成手段によって生成された前記輝度情報とに基づくデータを出力する出力手段と、
を有することを特徴とする表示装置。 - 前記入力画像データの輝度特徴量を、前記入力画像データから取得する取得手段と、
前記取得手段によって取得された前記輝度特徴量に基づいて、前記表示輝度と前記入力画像データの輝度との前記対応関係を決定する決定手段と、
をさらに有し、
前記表示部は、前記決定手段によって決定された前記対応関係に従って、前記入力画像データに基づく前記画像を表示し、
前記生成手段は、前記決定手段によって決定された前記対応関係に基づいて前記輝度情報を生成する
ことを特徴とする請求項8に記載の表示装置。 - 前記決定手段は、前記輝度特徴量に応じて前記表示輝度の上限を決定する
ことを特徴とする請求項9に記載の表示装置。 - 前記入力画像データにグラフィック画像データを合成することにより合成画像データを生成する合成手段、をさらに有し、
前記取得手段は、前記合成手段によって生成された前記合成画像データの輝度特徴量を、前記合成画像データから取得し、
前記表示部は、前記合成画像データに基づく画像を表示する
ことを特徴とする請求項9または10に記載の表示装置。 - 前記グラフィック画像データを生成するグラフィック生成手段、をさらに有し、
前記グラフィック生成手段は、前記入力画像データの輝度特徴量と、前記合成画像データの輝度特徴量との差が閾値未満となるように、前記グラフィック画像データの輝度を変更する
ことを特徴とする請求項11に記載の表示装置。 - 前記合成手段は、前記入力画像データの輝度特徴量と、前記合成画像データの輝度特徴量との差が閾値以上となる場合に、前記入力画像データにグラフィック画像データを合成する処理を省略する
ことを特徴とする請求項11または12に記載の表示装置。 - 前記合成画像データは、前記入力画像データによって表された入力画像と、前記グラフィック画像データによって表されたグラフィック画像とが配置された合成画像を表し、
前記取得手段は、前記グラフィック画像データの画像領域以外の画像領域における前記合成画像データの輝度特徴量を取得する
ことを特徴とする請求項11に記載の表示装置。 - 動画像データを取得する第1取得手段と、
前記第1取得手段によって取得された前記動画像データの各フレームについて、第1表示部の表示輝度と前記動画像データの輝度との対応関係である第1対応関係に関する輝度情報を取得する第2取得手段と、
前記各フレームについて、前記動画像データの輝度特徴量を、前記動画像データから取得する第3取得手段と、
前記各フレームについて、前記第3取得手段によって取得された前記輝度特徴量に基づいて、第2表示部の表示輝度と前記動画像データの輝度との対応関係である第2対応関係を決定する決定手段と、
前記各フレームについて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否かの判断結果を取得する第4取得手段と、
前記各フレームについて、前記判断結果に基づいて、フレーム間における前記第2対応関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正する補正手段と、
を有することを特徴とする画像処理装置。 - 前記第4取得手段は、前記決定手段によって決定された前記第2対応関係と、前記第2取得手段によって取得された前記輝度情報とに基づいて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否か判断することを特徴とする請求項15に記載の画像処理装置。
- 前記補正手段は、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能である、と判断されたフレームについて、前記第2対応関係が前記第1対応関係に略一致するように、前記第2対応関係を補正する
ことを特徴とする請求項15または16に記載の画像処理装置。 - 前記第1表示部の表示輝度の上限である第1上限と、前記第2表示部の表示輝度の上限である第2上限とは、前記輝度特徴量に依存し、
前記補正手段は、前記輝度特徴量の変化に対する前記第2上限の変化の仕方が、前記輝度特徴量の変化に対する前記第1上限の変化の仕方に近づくように、前記第2対応関係を補正する
ことを特徴とする請求項15〜17のいずれか1項に記載の画像処理装置。 - 前記第3取得手段は、前記各フレームについて、前記動画像データの平均輝度、前記動画像データの輝度のヒストグラム、及び、他のフレームとの輝度差のヒストグラムの少なくともいずれかを取得する
ことを特徴とする請求項15〜18のいずれか1項に記載の画像処理装置。 - 前記第3取得手段によって取得された前記輝度特徴量と、前記輝度情報との少なくとも一方に基づいて、フレーム間における前記動画像データの輝度の変化が第3閾値よりも大きい前記動画像データのシーンである輝度変化シーンを検出する検出手段、をさらに有し、
前記補正手段は、前記判断結果と前記検出手段の検出結果とに基づいて、前記第2対応関係を補正する
ことを特徴とする請求項15〜19のいずれか1項に記載の画像処理装置。 - フレーム間における前記動画像データの輝度の変化が第3閾値よりも大きい前記動画像データのシーンである輝度変化シーンの検出結果を取得する第5取得手段、をさらに有し、
前記補正手段は、前記判断結果と前記検出結果とに基づいて、前記第2対応関係を補正する
ことを特徴とする請求項15〜19のいずれか1項に記載の画像処理装置。 - 前記補正手段は、
前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能でない、と判断され、且つ、前記輝度変化シーンに属すフレームについて、フレーム間における前記第2対応関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正し、
前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能でない、と判断され、且つ、前記輝度変化シーンとは異なるシーンに属すフレームについて、前記第2対応関係の補正を省略する
ことを特徴とする請求項20または21に記載の画像処理装置。 - 前記補正手段による補正後の第2対応関係に従って前記動画像データに基づく画像を前記第2表示部で表示する表示制御、を少なくとも含む複数の表示制御のいずれかを選択して実行する選択手段、をさらに有する
ことを特徴とする請求項15〜22のいずれか1項に記載の画像処理装置。 - 前記第2表示部の画面の少なくとも一部の表示輝度を、前記補正手段による補正後の第2対応関係に従った表示輝度から高めるブースト処理を実行可能なブースト手段、をさらに有する
ことを特徴とする請求項15〜23のいずれか1項に記載の画像処理装置。 - 対象画像データに基づく画像を表示部に表示してユーザーが行った操作に応じて、所定の画像処理で使用されるパラメータを決定する決定ステップと、
前記決定ステップによって決定された前記パラメータを用いた前記所定の画像処理を前記対象画像データに施すことにより、処理画像データを生成する生成ステップと、
前記表示部の表示輝度と前記処理画像データの輝度との対応関係に関する輝度情報を取得する取得ステップと、
前記生成ステップによって生成された前記処理画像データと、前記取得ステップによって取得された前記輝度情報とに基づくデータを、記憶部に記録する記録ステップと、
を有することを特徴とする画像処理方法。 - 入力画像データに基づく画像を表示する表示部を有する表示装置の制御方法であって、
前記表示部の表示輝度と前記入力画像データの輝度との対応関係に関する輝度情報を生成する生成ステップと、
前記入力画像データと、前記生成ステップによって生成された前記輝度情報とに基づくデータを出力する出力ステップと、
を有することを特徴とする制御方法。 - 動画像データを取得する第1取得ステップと、
前記第1取得ステップによって取得された前記動画像データの各フレームについて、第1表示部の表示輝度と前記動画像データの輝度との対応関係である第1対応関係に関する輝度情報を取得する第2取得ステップと、
前記各フレームについて、前記動画像データの輝度特徴量を、前記動画像データから取得する第3取得ステップと、
前記各フレームについて、前記第3取得ステップによって取得された前記輝度特徴量に基づいて、第2表示部の表示輝度と前記動画像データの輝度との対応関係である第2対応関係を決定する決定ステップと、
前記各フレームについて、前記第1表示部の表示輝度と同じ表示輝度で前記第2表示部が前記動画像データに基づく画像を表示可能か否かの判断結果を取得する第4取得ステップと、
前記各フレームについて、前記判断結果に基づいて、フレーム間における前記第2対応
関係の変化の仕方が、前記フレーム間における前記第1対応関係の変化の仕方に近づくように、前記第2対応関係を補正する補正ステップと、
を有することを特徴とする画像処理方法。 - 請求項25または27に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項26に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016144282A JP2018013696A (ja) | 2016-07-22 | 2016-07-22 | 画像処理装置および表示装置 |
US15/651,078 US20180025700A1 (en) | 2016-07-22 | 2017-07-17 | Image processing apparatus and display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016144282A JP2018013696A (ja) | 2016-07-22 | 2016-07-22 | 画像処理装置および表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018013696A true JP2018013696A (ja) | 2018-01-25 |
Family
ID=60988115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016144282A Pending JP2018013696A (ja) | 2016-07-22 | 2016-07-22 | 画像処理装置および表示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180025700A1 (ja) |
JP (1) | JP2018013696A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200017890A (ko) * | 2018-08-09 | 2020-02-19 | 삼성전자주식회사 | 디스플레이 모듈로부터 획득된 휘도 데이터에 기반하여 휘도를 조절하는 전자 장치 및 그 휘도 조절 방법 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102603620B1 (ko) * | 2018-09-18 | 2023-11-16 | 엘지전자 주식회사 | 영상표시장치 |
JP7418690B2 (ja) * | 2019-10-25 | 2024-01-22 | 株式会社Jvcケンウッド | 表示制御装置、表示システム、表示制御方法及びプログラム |
US11961450B2 (en) * | 2020-01-09 | 2024-04-16 | Sony Interactive Entertainment Inc. | Display controller, head-mounted display, and image displaying method |
US11837181B2 (en) * | 2021-02-26 | 2023-12-05 | Nichia Corporation | Color balancing in display of multiple images |
CN112967688B (zh) * | 2021-03-15 | 2022-03-01 | 四川长虹电器股份有限公司 | 一种提升多分区背光系统液晶电视对比度的方法及装置 |
TWI802072B (zh) * | 2021-11-04 | 2023-05-11 | 明基電通股份有限公司 | 影像顯示裝置和系統及其影像顯示方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7352410B2 (en) * | 2005-05-31 | 2008-04-01 | Kolorific, Inc. | Method and system for automatic brightness and contrast adjustment of a video source |
JP4428298B2 (ja) * | 2005-06-14 | 2010-03-10 | セイコーエプソン株式会社 | 画像表示装置及びその制御方法 |
JP4030560B2 (ja) * | 2005-12-14 | 2008-01-09 | 三菱電機株式会社 | 画像処理装置及び画像表示装置 |
US20070222740A1 (en) * | 2006-03-22 | 2007-09-27 | Sharp Kabushiki Kaisha | Display apparatus, image data providing apparatus, and controlling method |
US8314759B2 (en) * | 2006-09-13 | 2012-11-20 | Mstar Semiconductor, Inc. | Apparatus and method for displaying an image on a display unit and controlling the backlight module utilized to irradiate the display unit |
JP4643545B2 (ja) * | 2006-11-20 | 2011-03-02 | 株式会社日立製作所 | 液晶表示装置 |
US8866837B2 (en) * | 2010-02-02 | 2014-10-21 | Microsoft Corporation | Enhancement of images for display on liquid crystal displays |
TWI486938B (zh) * | 2010-11-09 | 2015-06-01 | Hon Hai Prec Ind Co Ltd | 顯示設備及其背光控制方法 |
WO2012114682A1 (ja) * | 2011-02-23 | 2012-08-30 | パナソニック株式会社 | 表示装置及び表示方法 |
TWI538474B (zh) * | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
JP6071469B2 (ja) * | 2011-12-19 | 2017-02-01 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
DE112013003565B4 (de) * | 2012-07-19 | 2021-04-01 | Fujifilm Corporation | Bildanzeigevorrichtung und -verfahren |
JP6188437B2 (ja) * | 2012-08-23 | 2017-08-30 | キヤノン株式会社 | 表示装置及びその制御方法 |
JP2015031873A (ja) * | 2013-08-05 | 2015-02-16 | キヤノン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP6598430B2 (ja) * | 2013-10-31 | 2019-10-30 | キヤノン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP6317577B2 (ja) * | 2013-12-04 | 2018-04-25 | キヤノン株式会社 | 映像信号処理装置及びその制御方法 |
JP5911518B2 (ja) * | 2014-01-29 | 2016-04-27 | キヤノン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
JP6381215B2 (ja) * | 2014-01-29 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム |
CN110231926B (zh) * | 2014-06-10 | 2022-11-04 | 松下知识产权经营株式会社 | 再现方法和再现装置 |
JP6421504B2 (ja) * | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
EP3231174B1 (en) * | 2014-12-11 | 2020-08-26 | Koninklijke Philips N.V. | Optimizing high dynamic range images for particular displays |
US10217198B2 (en) * | 2015-01-30 | 2019-02-26 | Koninklijke Philips N.V. | Simple but versatile dynamic range coding |
JP6757890B2 (ja) * | 2015-03-27 | 2020-09-23 | パナソニックIpマネジメント株式会社 | 信号処理装置、表示装置、信号処理方法、およびプログラム |
JP6731722B2 (ja) * | 2015-05-12 | 2020-07-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 表示方法および表示装置 |
KR102473208B1 (ko) * | 2015-07-06 | 2022-12-05 | 삼성디스플레이 주식회사 | 유기전계발광 표시장치 및 그의 구동 방법 |
CN105047142B (zh) * | 2015-09-01 | 2017-11-24 | 青岛海信电器股份有限公司 | 液晶显示亮度控制方法和装置以及液晶显示设备 |
US10019785B2 (en) * | 2016-03-07 | 2018-07-10 | Novatek Microelectronics Corp. | Method of processing high dynamic range images using dynamic metadata |
EP3465673B1 (en) * | 2016-05-27 | 2020-07-29 | Dolby Laboratories Licensing Corporation | Transitioning between video priority and graphics priority |
-
2016
- 2016-07-22 JP JP2016144282A patent/JP2018013696A/ja active Pending
-
2017
- 2017-07-17 US US15/651,078 patent/US20180025700A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200017890A (ko) * | 2018-08-09 | 2020-02-19 | 삼성전자주식회사 | 디스플레이 모듈로부터 획득된 휘도 데이터에 기반하여 휘도를 조절하는 전자 장치 및 그 휘도 조절 방법 |
KR102523985B1 (ko) | 2018-08-09 | 2023-04-20 | 삼성전자주식회사 | 디스플레이 모듈로부터 획득된 휘도 데이터에 기반하여 휘도를 조절하는 전자 장치 및 그 휘도 조절 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20180025700A1 (en) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018013696A (ja) | 画像処理装置および表示装置 | |
US10440285B2 (en) | Imaging apparatus and imaging method | |
US7486836B2 (en) | Image pickup device with brightness correcting function and method of correcting brightness of image | |
US20190052796A1 (en) | Camera using preview image to select exposure | |
KR101595254B1 (ko) | 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치 | |
JP6478499B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP5053724B2 (ja) | 画像表示装置、撮像装置、画像再生装置、及び画像表示方法 | |
US20190139502A1 (en) | Display control apparatus | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
US10297230B2 (en) | Image processing apparatus | |
US10565913B2 (en) | Image display apparatus and control method thereof | |
US20170127034A1 (en) | Video processing apparatus, video processing method, and medium | |
US11798143B2 (en) | Image processing apparatus and control method thereof | |
JP7254477B2 (ja) | 表示装置およびその制御方法 | |
US11080829B2 (en) | Control apparatus and control method | |
US9413974B2 (en) | Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing | |
US20230077931A1 (en) | Image processing apparatus, image capturing apparatus, control method, and storage medium | |
JP2018026606A (ja) | 画像処理装置 | |
JP2017011676A (ja) | 画像処理装置及び画像処理方法 | |
JP2011244053A (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
US11341622B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US11375106B2 (en) | Image capture apparatus and control method therefor | |
JP2024039874A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2018152702A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |