JP2015142275A - 画像処理装置、画像処理方法、表示装置、表示方法、及び、プログラム - Google Patents

Abstract

【課題】ＨＤＲ対応機とＨＤＲ非対応機のどちらであっても適切な画像表示ができるようにストリーム形式のＨＤＲ画像データを伝送することができ、且つ、ベース画像データと差分データを用いてＨＤＲ画像データを正確に復元することを可能にする技術を提供する。【解決手段】本発明の画像処理装置は、入力画像データに基づいて、入力画像データよりもダイナミックレンジと色域の少なくとも一方が狭いベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データと、を生成する生成処理を行う生成手段と、ベース画像データと差分データの少なくとも一方に、ベース画像データと差分データの対応関係を表す対応情報を付加する付加処理を行う付加手段と、付加処理が行われた後のベース画像データと差分データを個別に出力する出力手段と、を有する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、表示装置、表示方法、及び、プログラムに関する。

近年、ダイナミックレンジの広い画像データであるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ
Ｒａｎｇｅ）画像データを扱う機会が増している。また、ＨＤＲ画像データのフォーマットとして、ＪＰＥＧ−ＨＤＲが提案されている。
ＪＰＥＧ−ＨＤＲは、ＨＤＲ画像データをベース画像データと差分データで表現したフォーマットである。差分データは、例えば、輝度差分データ、色差分データ、又は、それら両方を含む。

ＨＤＲ画像データは、例えば、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが３２ビット相当の階調値である画像データである。なお、ＨＤＲ画像データは、画素値がＹ値、Ｃｂ値、及び、Ｃｒ値の組み合わせであるＹＣｂＣｒデータであってもよいし、画素値がＲ値、Ｇ値、及び、Ｂ値の組み合わせであるＲＧＢデータであってもよい。
ベース画像データは、ＨＤＲ画像データをダウンサンプリング（階調圧縮）したＪＰＥＧ規格の画像データである。ベース画像データは、例えば、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが８ビット相当の階調値である画像データである。なお、ＨＤＲ画像データは、ＹＣｂＣｒデータであってもよいし、ＲＧＢデータであってもよい。

輝度差分データは、画像データのダイナミックレンジを拡大する輝度域拡大処理で使用されるデータであり、ＨＤＲ画像データとベース画像データの輝度値の差分を表すデータである。例えば、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの輝度値（階調値）とＨＤＲ画像データの輝度値（階調値）との比率である輝度比率を表す輝度比率データである。即ち、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの輝度値（階調値）に対するＨＤＲ画像データの輝度値（階調値）の比率またはその逆数を表す輝度比率データである。ただし、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの輝度値（階調値）とＨＤＲ画像データの輝度値（階調値）の一方から他方を減算した差分値である輝度差分値を表すデータであってもよい。また、輝度差分データは、輝度域拡大処理における入力輝度値と出力輝度値との対応関係を表す輝度変換テーブルデータであってもよい。なお、輝度域拡大処理は、ベース画像データで表現しきれていない輝度を再現する処理と言うこともできる。

色差分データは、画像データの色域を拡大する色域拡大処理で使用されるデータであり、ＨＤＲ画像データとベース画像データの色の差分を表すデータである。例えば、色差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの色差値（Ｃｂ値、Ｃｒ値）とＨＤＲ画像データの色差値（Ｃｂ値、Ｃｒ値）の一方から他方を減算した差分値である色差分値を表すデータである。ただし、色差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの色差値（Ｃｂ値、Ｃｒ値）とＨＤＲ画像データの色差値（Ｃｂ値、Ｃｒ値）との比率である色比率を表す色差比率データであってもよい。また、色差分値や色比率は、色差値の代わりに、Ｒ値、Ｇ値、及びＢ値を用いて算出された値であってもよい。なお、色域拡大処理は、ベース画像データで表現しきれていない色を再現する処理と言うこともできる。

ＪＰＥＧ−ＨＤＲを使用することにより、従来から使用されているＪＰＥＧ規格の画像
データの表示と、ＨＤＲ画像データの表示との両方を行うことが可能となる（特許文献１）。従来から使用されているＪＰＥＧ規格の画像データは、例えば、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが８ビット相当の階調値である画像データである。従来から使用されているＪＰＥＧ規格の画像データを表示したい場合には、ベース画像データを表示すればよい。ＨＤＲ画像データを表示したい場合には、ベース画像データと差分データを用いてＨＤＲ画像データを復元し、復元したＨＤＲ画像データを表示すればよい。より具体的には、ベース画像データと、輝度差分データ及び色差分データの少なくとも一方と、を用いてＨＤＲ画像データが復元されてもよい。

上述したように、ＨＤＲ画像データは、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが３２ビット相当の階調値である画像データである。しかしながら、表示装置で表示可能な階調値のビット数が３２ビット相当であるとは限らない。例えば、表示装置で表示可能な階調値のビット数が３２ビットより少ない１０ビットであることがある。そのような場合には、表示装置で表示可能なビット数までＨＤＲ画像データのビット数が低減され、ビット数の低減後のＨＤＲ画像データが表示される。即ち、表示装置で表示可能な画像データのダイナミックレンジまでＨＤＲ画像データのダイナミックレンジが縮小され、ダイナミックレンジの縮小後のＨＤＲ画像データが表示される。

ＪＰＥＧ−ＨＤＲが普及すると、撮影現場において、撮影されたＨＤＲ画像データがストリーミング再生されることが考えられる。具体的には、撮影装置が、撮影によってＪＰＥＧ−ＨＤＲのデータを生成し、生成したＪＰＥＧ−ＨＤＲのデータを表示装置（ディスプレイ）に出力する処理を次々に行うことが考えられる。そして、表示装置が、ＪＰＥＧ−ＨＤＲのデータを取得し、取得したデータからＨＤＲ画像データを復元し、復元したＨＤＲ画像データを表示する処理を次々に行うことが考えられる。それにより、表示装置をライブビュー用のディスプレイとして用いて、リアルタイムに撮影結果を確認することが可能となる。
また、撮影現場に限らず、ＪＰＥＧ−ＨＤＲのデータが画像処理装置から表示装置に送られることが考えられる。そして、表示装置が、取得したＪＰＥＧ−ＨＤＲのデータからＨＤＲ画像データを復元し、復元したＨＤＲ画像データを表示することが考えられる。

撮影現場や画像制作現場で使用されている既存のＳＤＩケーブルを使用してストリーム形式のＨＤＲ画像データが表示装置に出力されることが考えられる。換言すれば、ＨＤＲ画像データが表示装置にストリーム転送されることが考えられる。
ＳＤＩケーブルを使用することにより、既存のケーブルが使用できるというメリットと、デイジーチェーンで複数の機器を接続できるというメリットと、を得ることができる。
しかし、ＳＤＩケーブルではＪＰＥＧ−ＨＤＲファイル（ファイル形式のＪＰＥＧ−ＨＤＲのデータ）を伝送することは出来ない。
また、ＨＤＲ対応機（ＨＤＲ画像データに対応した表示装置）ではＨＤＲ画像データを適切に表示することができるが、ＨＤＲ非対応機（ＨＤＲ画像データに対応していない表示装置）ではＨＤＲ画像データを適切に表示することはできない。そのため、ＨＤＲ画像データを表示装置に出力するよりも、ＪＰＥＧ−ＨＤＲのデータを表示装置に出力することが望ましい。
なお、様々な差分データを用いれば、様々なＨＤＲ画像データを得ることができ、様々なＨＤＲ画像データを確認することが可能となる。

また近年、液晶表示装置のバックライトの発光輝度を領域毎に制御することにより、表示画像（画面に表示された画像）のダイナミックレンジを拡大する技術が一般的になりつつある。
そして、ベース画像データのダイナミックレンジだけでなくバックライトの発光輝度を差分データに基づいて制御することができれば、液晶パネルの透過率を制御するだけでは
表示しきれなかった輝度をバックライトの発光輝度に割り当てることができる。その結果、よりダイナミックレンジが広い表示画像を得ることができる。例えば、表示装置で表示可能な階調値のビット数が１０ビットである場合に、１０ビット相当のダイナミックレンジよりもダイナミックレンジが広い表示画像を得ることができる。
このような観点から、ＪＰＥＧ−ＨＤＲのデータを表示装置に出力することが望ましい。

ＪＰＥＧ規格の画像データの伝送に関する従来技術は、例えば、特許文献２に開示されている。特許文献２に開示の技術では、４：１：１の画像データを伝送する場合には画像データのみが伝送され、４：２：２の画像データを伝送する場合には画像データだけでなくエンハンスメントデータも伝送される。
特許文献２に開示の技術では、輝度（Ｙ）データと色（Ｃ）データを足し合わせて圧縮符号化することにより、４：１：１の圧縮画像データ（第１圧縮画像データ）が生成される。
また、特許文献２に開示の技術では、色（Ｃ）データがアップコンバートされる。そして、輝度（Ｙ）データとアップコンバートされた色（Ｃ）データを足し合わせて圧縮符号化することにより、４：２：２の圧縮画像データ（第２圧縮画像データ）が生成される。その後、第１圧縮画像データと第２圧縮画像データの差分が、エンハンスメントデータとして取得される。
そして、特許文献２に開示の技術では、生成された第１圧縮画像データとエンハンスメント画像データが伝送される。

特許文献２に開示の技術を用いれば、ＨＤＲ画像データを伝送する場合にベース画像データと差分データが伝送されるように、伝送対象のデータを制御することができる。
しかしながら、特許文献２に開示の技術を用いた場合、ベース画像データと差分データからＨＤＲ画像データを復元する際に、誤った差分データが使用され、ＨＤＲ画像データが正確に復元されないことがある。複数のデータを受け付ける装置に、ベース画像データＡ１に対応する差分データＡ２と、ベース画像データＢ１に対応する差分データＢ２と、が入力されることがある。そして、そのような場合に、ベース画像データＡ１と差分データＢ２を使用して誤ったＨＤＲ画像データが復元されてしまうことがある。また、ベース画像データＢ１と差分データＡ２を使用して誤ったＨＤＲ画像データが復元されてしまうことがある。誤った差分データを使用してしまうと、表示画像の品質が低下してしまう。

特開２０１１−１９３５１１号公報 特開平１０−２００９２１号公報

本発明の第１の目的は、ＨＤＲ対応機とＨＤＲ非対応機のどちらであっても適切な画像表示ができるようにストリーム形式のＨＤＲ画像データを伝送することができる技術を提供することである。本発明の第２の目的は、ベース画像データと差分データを用いてＨＤＲ画像データを正確に復元することができる技術を提供することである。

本発明の第１の態様は、
入力画像データに基づいて、前記入力画像データよりもダイナミックレンジと色域の少なくとも一方が狭いベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データと、を生成する生成処理を行う生
成手段と、
前記ベース画像データと前記差分データの少なくとも一方に、前記ベース画像データと前記差分データの対応関係を表す対応情報を付加する付加処理を行う付加手段と、
前記付加処理が行われた後のベース画像データと差分データを個別に出力する出力手段と、
を有することを特徴とする画像処理装置である。

本発明の第２の態様は、
ベース画像データである入力ベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データである入力差分データと、を個別に取得する取得手段と、
前記入力ベース画像データと前記入力差分データの少なくとも一方に、ベース画像データと差分データの対応関係を表す対応情報が付加されていた場合に、当該対応情報に基づいて、前記入力差分データが前記入力ベース画像データに対応するデータであるか否かを判断する判断手段と、
前記入力差分データが前記入力ベース画像データに対応するデータであると判断された場合に、前記入力差分データを用いた拡大処理を前記入力ベース画像データに施すことにより、レンジ拡大画像データを生成する生成手段と、
前記レンジ拡大画像データに基づく画像を表示する表示手段と、
を有する
ことを特徴とする表示装置である。

本発明の第３の態様は、
入力画像データに基づいて、前記入力画像データよりもダイナミックレンジと色域の少なくとも一方が狭いベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データと、を生成する生成処理を行う生成ステップと、
前記ベース画像データと前記差分データの少なくとも一方に、前記ベース画像データと前記差分データの対応関係を表す対応情報を付加する付加処理を行う付加ステップと、
前記付加処理が行われた後のベース画像データと輝度差分データを個別に出力する出力ステップと、
を有することを特徴とする画像処理方法である。

本発明の第４の態様は、
ベース画像データである入力ベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データである入力差分データと、を取得する取得ステップと、
前記入力ベース画像データと前記入力差分データの少なくとも一方に、ベース画像データと差分データの対応関係を表す対応情報が付加されていた場合に、当該対応情報に基づいて、前記入力差分データが前記入力ベース画像データに対応するデータであるか否かを判断する判断ステップと、
前記入力差分データが前記入力ベース画像データに対応するデータであると判断された場合に、前記入力差分データを用いた拡大処理を前記入力ベース画像データに施すことにより、レンジ拡大画像データを生成する生成ステップと、
前記レンジ拡大画像データに基づく画像を表示する表示ステップと、
を有する
ことを特徴とする表示方法である。

本発明の第５の態様は、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明の第６の態様は、上述した表示方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、ＨＤＲ対応機とＨＤＲ非対応機のどちらであっても適切な画像表示ができるようにストリーム形式のＨＤＲ画像データを伝送することができる。また、本発明によれば、ベース画像データと差分データを用いてＨＤＲ画像データを正確に復元することができる。

本実施形態に係る表示システムの一例を示すブロック図 本実施形態に係るＳＤＩデータのデータマップの一例を示す図 本実施形態に係る表示装置の処理フローの一例を示すフローチャート

以下、本発明の実施形態に係る画像処理装置、画像処理方法、表示装置、及び、表示方法について、説明する。

＜システム構成＞
図１は、本実施形態に係る表示システムの一例を示すブロック図である。
図１に示すように、本実施形態に係る表示システムは、画像処理装置１００と表示装置１２０を有する。画像処理装置１００と表示装置１２０は、有線または無線により互いに通信可能に接続されている。図１の例では、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格のケーブルであるＳＤＩケーブル１４０を用いて画像処理装置１００と表示装置１２０が互いに接続されている。また、ＳＤＩケーブル１５０を用いて画像処理装置１００と表示装置１２０が互いに接続されている。
本実施形態では、表示装置１２０の解像度が水平方向１９２０画素×垂直方向１０８０画素（以下、Ｆｕｌl−ＨＤ）であるものとする。また、本実施形態では、画像処理装置
１００が出力する画像データの解像度もＦｕｌｌ−ＨＤであるものとする。

なお、図１の例では、２本のケーブルを用いて画像処理装置１００と表示装置１２０が互いに接続されているが、１本のケーブルを用いて画像処理装置１００と表示装置１２０が互いに接続されていてもよい。
なお、図１の例では、データを伝送するために使用するケーブルとしてＳＤＩケーブル（ＳＤＩケーブル１４０，１５０）が使用されているが、ＳＤＩケーブルとは異なるケーブルが使用されてもよい。
なお、表示装置１２０の解像度はＦｕｌl−ＨＤより低くても高くてもよい。また、画
像処理装置１００が出力する画像データの解像度もＦｕｌｌ−ＨＤより低くても高くてもよい。
なお、本実施形態では、画像処理装置１００の外部装置が表示装置１２０である場合の例を説明するが、画像処理装置１００の外部装置は表示装置に限らない。例えば、外部装置は、画像処理装置１００から出力されたデータを記憶する記憶装置であってもよい。

画像処理装置１００は、ダイナミックレンジ縮小部１０１、差分生成部１０２、ベースＪＰＥＧエンコーダ１０３、差分ＪＰＥＧエンコーダ１０４、ＪＰＥＧ−ＨＤＲ生成部１０５、ベースフラグ付加部１０６、差分フラグ付加部１０７、コンテンツ識別フラグ付加部１０８、ＳＤＩエンコーダ１０９，１１０、ＳＤＩ出力端子１１１，１１２、等を有する。
なお、画像処理装置１００は、ベースＪＰＥＧエンコーダ１０３、差分ＪＰＥＧエンコ
ーダ１０４、及び、ＪＰＥＧ−ＨＤＲ生成部１０５を有していなくてもよい。

表示装置１２０は、ＳＤＩ入力端子１２１，１２２、ＳＤＩデコーダ１２３，１２４、データ形式判断部１２５、コンテンツ識別フラグ解析部１２６、拡大処理部１２７、ＢＬ制御部１２８、画像処理部１２９、表示部１３０、ＣＰＵ１３１、メモリ１３２、等を有する。ＳＤＩ入力端子１２１，１２２以外の各機能部は、不図示のデータバスを用いてＣＰＵ１３１に接続されている。
なお、本実施形態では、表示装置１２０が透過型の液晶表示装置であり、表示部１３０が液晶パネルとバックライトを有する例を説明するが、表示装置１２０が透過型の液晶表示装置に限らない。例えば、表示装置１２０は反射型の液晶表示装置であってもよいし、プラズマ表示装置であってもよいし、有機ＥＬ表示装置であってもよい。表示装置１２０は、液晶素子の代わりにＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ
Ｓｙｓｔｅｍ）シャッターを用いたＭＥＭＳシャッター方式ディスプレイであってもよい。

＜画像処理装置＞
画像処理装置１００の各機能部について、データの流れに従って説明する。
画像処理装置１００には、入力画像データとして、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが３２ビット相当の階調値であるＨＤＲ画像データが入力される。そして、画像処理装置１００は、ＨＤＲ画像データからＪＰＥＧ−ＨＤＲファイルを生成したり、ＨＤＲ画像データに対応するデータを出力したりする。ＨＤＲ画像データは、例えば、露出時間を変えながら連続撮影したブラケット画像データから、ＰＣや撮像装置を用いて生成された画像データである。ＪＰＥＧ−ＨＤＲファイルは、ベース画像データと差分データが格納されたデータファイルである。ベース画像データは、入力画像データよりもダイナミックレンジと色域の少なくとも一方が狭い画像データである。

差分データは、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用されるデータである。差分データは、例えば、輝度差分データと色差分データの少なくとも一方を含む。

輝度差分データは、画像データのダイナミックレンジを拡大する輝度域拡大処理で使用されるデータであり、ＨＤＲ画像データとベース画像データの輝度値の差分を表すデータである。例えば、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの輝度値（階調値）とＨＤＲ画像データの輝度値（階調値）との比率である輝度比率を表す輝度比率データである。即ち、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの輝度値（階調値）に対するＨＤＲ画像データの輝度値（階調値）の比率またはその逆数を表す輝度比率データである。ただし、輝度差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの輝度値（階調値）とＨＤＲ画像データの輝度値（階調値）の一方から他方を減算した差分値である輝度差分値を表すデータであってもよい。また、輝度差分データは、拡大処理における入力輝度値と出力輝度値との対応関係を表す輝度変換テーブルデータ（例えば、後述する逆トーンマップ）であってもよい。なお、輝度域拡大処理は、ベース画像データで表現しきれていない輝度を再現する処理と言うこともできる。

色差分データは、画像データの色域を拡大する色域拡大処理で使用されるデータであり、ＨＤＲ画像データとベース画像データの色の差分を表すデータである。この色差分データは、画像データの色成分のダイナミックレンジを拡大する拡大処理で使用されるデータとも言い換えられる。例えば、色差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの色差値（Ｃｂ値、Ｃｒ値）とＨＤＲ画像データの色差値（Ｃｂ値、Ｃｒ値）の一方から他方を減算した差分値である色差分値を表すデータである
。ただし、色差分データは、画素単位（又は所定数の画素からなる領域単位）で、ベース画像データの色差値（Ｃｂ値、Ｃｒ値）とＨＤＲ画像データの色差値（Ｃｂ値、Ｃｒ値）との比率である色比率を表す色差比率データであってもよい。また、色差分値や色比率は、色差値の代わりに、Ｒ値、Ｇ値、及びＢ値を用いて算出された値であってもよい。なお、色域拡大処理は、ベース画像データで表現しきれていない色を再現する処理と言うこともできる。

なお、入力画像データ（ＨＤＲ画像データ）のビット数は３２ビットより多くても少なくてもよい。
なお、ＨＤＲ画像データは、静止画のデータであってもよいし、動画のデータであってもよい。ＨＤＲ画像データをベース画像データと差分データで表現したフォーマットであるＪＰＥＧ−ＨＤＲは、例えば、ＭＰＥＧ形式やＭＯＴＩＯＮ−ＪＰＥＧ形式の動画データにも適用可能である。各フレームの画像データがベース画像データと差分データで表現されたＨＤＲ画像データであるＭＰＥＧ形式の動画データのフォーマットは、ＭＰＥＧ−ＨＤＲと称してもよい。また、画像処理装置１００は、ＨＤＲ画像データに対応するデータを生成して出力する処理を１回だけ行ってもよいし、ＨＤＲ画像データに対応するデータを次々に生成して出力するストリーミング出力を行ってもよい。

ダイナミックレンジ縮小部１０１と差分生成部１０２によって、ＨＤＲ画像データである入力画像データに基づいて、ベース画像データと差分データを生成する生成処理が行われる。

ダイナミックレンジ縮小部１０１は、入力画像データに、ダイナミックレンジを縮小する縮小処理を施すことにより、ベース画像データを生成する。例えば、縮小前の階調値と縮小後の階調値との対応関係を表す所定のトーンマップを用いて、入力画像データの階調値からベース画像データの階調値が算出される。縮小処理で使用されるトーンマップは、縮小前の階調値が入力値であり、縮小後の階調値が出力値であるトーンマップと言うこともできる。本実施形態では、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが８ビット相当の階調値であるベース画像データが生成される。

なお、画像の領域全体に対して１つのトーンマップが用意されていてもよいし、画素位置毎にトーンマップが用意されていてもよいし、領域毎にトーンマップが用意されていてもよい。
なお、複数のトーンマップが予め用意されており、複数のトーンマップのいずれか１つを用いてベース画像データの階調値が算出されてもよい。
なお、ベース画像データのビット数は８ビットより多くても少なくてもよい。

差分生成部１０２は、ダイナミックレンジ縮小部１０１で生成されたベース画像データと入力画像データとに基づいて、差分データを生成する。本実施形態では、ベース画像データの輝度値（Ｙ値）と入力画像データの輝度値との比である輝度比率を画素毎に表すデータが輝度差分データとして生成される。ベース画像データの色と入力画像データの色との差分を表す色差分値を画素毎に表すデータが色差分データとして生成される。具体的には、Ｃｂ差分値とＣｒ差分値を画素毎に表すデータが色差分データとして生成される。Ｃｂ差分値は、ベース画像データのＣｂ値と入力画像データのＣｂ値との一方から他方を減算した値であり、Ｃｒ差分値は、ベース画像データのＣｒ値と入力画像データのＣｒ値との一方から他方を減算した値である。

なお、輝度差分データと色差分データの一方が生成されなくてもよい。例えば、ベース画像データの輝度値と入力画像データの輝度値が同じ場合には、輝度差分データは生成されなくてもよい。ベース画像データの色と入力画像データの色が同じ場合には、色差分デ
ータは生成されなくてもよい。
なお、縮小処理で使用されたトーンマップの入力値と出力値を入れ替えた逆トーンマップが、輝度差分データとして生成されてもよい。

ベースＪＰＥＧエンコーダ１０３は、ダイナミックレンジ縮小部１０１で生成されたベース画像データをＪＰＥＧ形式の画像データにエンコードする。なお、ダイナミックレンジ縮小部１０１で、ベース画像データとしてＪＰＥＧ形式の画像データが生成されてもよい。
差分ＪＰＥＧエンコーダ１０４は、差分生成部１０２で生成された輝度差分データと色差分データを、それぞれＪＰＥＧ形式のデータにエンコードする。なお、差分生成部１０２で、輝度差分データと色差分データとしてＪＰＥＧ形式のデータが生成されてもよい。
ＪＰＥＧ−ＨＤＲ生成部１０５は、ベースＪＰＥＧエンコーダ１０３で生成されたＪＰＥＧ形式のベース画像データと、差分ＪＰＥＧエンコーダ１０４で生成されたＪＰＥＧ形式の輝度差分データ及び色差分データと、を１つのデータファイルに格納する。それにより、ＪＰＥＧ−ＨＤＲファイルが生成される。

ベースフラグ付加部１０６、差分フラグ付加部１０７、コンテンツ識別フラグ付加部１０８、及び、ＳＤＩエンコーダ１０９，１１０により、付加処理が行われる。本実施形態では、付加処理として、ベース画像データ、輝度差分データ、及び、色差分データの全てに、対応情報を付加する処理が実行される。対応情報は、ベース画像データ、輝度差分データ、及び、色差分データの対応関係を表す情報である。

なお、付加処理では、ベース画像データ、輝度差分データ、及び、色差分データの少なくともいずれかに対応情報が付加されればよい。例えば、ベース画像データにのみ対応情報が付加されてもよい。その場合には、ベース画像データを参照することによって、ベース画像データに対応する輝度差分データと色差分データ（正確なＨＤＲ画像データを得るために使用すべき輝度差分データと色差分データ）を判断することができる。
なお、輝度差分データが生成されなかった場合には、付加処理では、ベース画像データと色差分データの少なくとも一方に対応情報が付加されればよい。その場合、対応情報として、ベース画像データと色差分データの対応関係を表す情報が付加されればよい。色差分データが生成されなかった場合には、付加処理では、ベース画像データと輝度差分データの少なくとも一方に対応情報が付加されればよい。その場合、対応情報として、ベース画像データと輝度差分データの対応関係を表す情報が付加されればよい。

ベースフラグ付加部１０６と差分フラグ付加部１０７により、生成処理で生成された各データに、データの種類を示す種類情報が付加される。
なお、種類情報を付加する処理は省略されてもよい。
なお、本実施形態では、ベース画像データ、輝度差分データ、及び、色差分データのそれぞれに種類情報が付加される例を説明する。しかし、輝度差分データが生成されなかった場合には、ベース画像データと色差分データに種類情報が付加され、色差分データが生成されなかった場合には、ベース画像データと輝度差分データに種類情報が付加される。

ベースフラグ付加部１０６は、ダイナミックレンジ縮小部１０１が生成したベース画像データに、ベース画像データであることを表す種類フラグ（種類情報）を付加する。そして、ベースフラグ付加部１０６は、種類フラグが付加されたベース画像データである第１付加ベース画像データを、コンテンツ識別フラグ付加部１０８に出力する。
差分フラグ付加部１０７は、差分生成部１０２が生成した輝度差分データに、輝度差分データであることを表す種類フラグ（種類情報）を付加し、差分生成部１０２が生成した色差分データに、色差分データであることを表す種類フラグ（種類情報）を付加する。そして、差分フラグ付加部１０７は、種類フラグが付加された輝度差分データである第１付
加輝度差分データと、種類フラグが付加された色差分データである第１付加色差分データと、をコンテンツ識別フラグ付加部１０８に出力する。

また、ベースフラグ付加部１０６と差分フラグ付加部１０７により、生成処理で生成された各データが、表示装置１２０で処理可能なデータに変換される。具体的には、ベースフラグ付加部１０６と差分フラグ付加部１０７は、表示装置１２０がデータを処理する処理タイミングで表示装置１２０にデータが入力されるようなタイミングで、種類情報が付加されたデータを出力する。
なお、データを伝送する伝送タイミングを制御する処理は、どの機能部で実行されてもよい。

コンテンツ識別フラグ付加部１０８は、第１付加ベース画像データ、第１付加輝度差分データ、及び、第１付加色差分データのそれぞれに、それらのデータが同じコンテンツのデータであることを表すコンテンツ識別フラグ（対応情報）を付加する。本実施形態では、第１付加ベース画像データに付加されたコンテンツ識別フラグと同じコンテンツ識別フラグが、第１付加輝度差分データと第１付加色差分データに付加される。そして、コンテンツ識別フラグ付加部１０８は、コンテンツ識別フラグが付加されたベース画像データである第２付加ベース画像データを、ＳＤＩエンコーダ１０９に出力する。また、コンテンツ識別フラグ付加部１０８は、コンテンツ識別フラグが付加された輝度差分データである第２付加輝度差分データと、コンテンツ識別フラグが付加された色差分データである第２付加色差分データと、をＳＤＩエンコーダ１１０に出力する。

また、本実施形態では、コンテンツ識別フラグ付加部１０８は、第１付加ベース画像データから第２付加ベース画像データを生成する際に、第１付加ベース画像データに対し、ＨＤＲ識別フラグを付加する。ＨＤＲ識別フラグは、ＨＤＲ画像データに対応するベース画像データであることを表す。図１の例では、ＪＰＥＧ−ＨＤＲ生成部１０５でＪＰＥＧ−ＨＤＲファイルが生成された場合に、ＪＰＥＧ−ＨＤＲ生成部１０５が、ＪＰＥＧ−ＨＤＲファイルが生成されたことをコンテンツ識別フラグ付加部１０８に通知する。そして、コンテンツ識別フラグ付加部１０８は、ＪＰＥＧ−ＨＤＲ生成部１０５の通知に応じて、ＨＤＲ識別フラグを付加する処理を実行する。

なお、種類情報を付加する処理が省略された場合には、生成処理で生成されたデータに対応情報が付加される。
なお、データ毎に異なる対応情報が付加されてもよい。例えば、ベース画像データには、当該ベース画像データに対応する輝度差分データと色差分データを表す対応情報が付加されてもよい。輝度差分データには、当該輝度差分データに対応するベース画像データと色差分データを表す対応情報が付加されてもよい。そして、色差分データには、当該色差分データに対応するベース画像データと輝度差分データを表す対応情報が付加されてもよい。そのような対応情報を用いれば、ベース画像データ、輝度差分データ、及び、色差分データのいずれか１つにしか対応情報が付加されていなかったとしても、ベース画像データ、輝度差分データ、及び、色差分データの対応関係を判断することができる。

ＳＤＩエンコーダ１０９，１１０により、付加処理が行われた後のデータとして、ＳＤＩ形式のシリアルデータ（ＳＤＩデータ）が生成される。
ＳＤＩエンコーダ１０９は、パラレルデータである第２付加ベース画像データをＳＤＩデータであるＳＤＩベース画像データに変換し、ＳＤＩベース画像データをＳＤＩ出力端子１１１に出力する。
ＳＤＩエンコーダ１１０は、パラレルデータである第２付加輝度差分データをＳＤＩデータであるＳＤＩ輝度差分データに変換し、パラレルデータである第２付加色差分データをＳＤＩデータであるＳＤＩ色差分データに変換する。そして、ＳＤＩエンコーダ１１０
は、ＳＤＩ輝度差分データとＳＤＩ色差分データをＳＤＩ出力端子１１２に出力する。
なお、付加処理が行われた後のデータはＳＤＩデータに限らない。

ＳＤＩ出力端子１１１，１１２により、付加処理が行われた後の各データが、画像処理装置１００の外部に個別に出力される。
ＳＤＩ出力端子１１１は、ＳＤＩケーブル１４０を用いて、ＳＤＩベース画像データを外部装置である表示装置１２０に出力する。
ＳＤＩ出力端子１１２は、ＳＤＩケーブル１５０を用いて、ＳＤＩ輝度差分データとＳＤＩ色差分データを表示装置１２０に出力する。

このように、本実施形態では、付加処理が行われた後の各データが、ＳＤＩケーブルを用いて外部装置に個別に出力される。また、本実施形態では、付加処理が行われた後のベース画像データが、付加処理が行われた後の差分データ（輝度差分データと色差分データ）とは異なるケーブルを用いて、外部装置に出力される。
なお、付加処理が行われた後の各データは同じケーブルを用いて外部装置に出力されてもよい。また、付加処理が行われた後の各データを外部装置に出力するために使用するケーブルはＳＤＩケーブルに限らない。データは、無線通信によって外部装置に出力されてもよい。
なお、付加処理が行われた後の各データを１つのケーブルを用いて外部装置に出力する場合には、上述したＨＤＲ識別フラグを対応情報として使用することもできる。例えば、ＨＤＲ識別フラグが付加されたベース画像データＤ１と、差分データＤ２と、がその順番で出力されれば、ＨＤＲ識別フラグの有無に応じて、差分データＤ２がベース画像データＤ１に対応するデータであることを判断することができる。

＜付加処理＞
本実施形態に係る付加処理について、図２を用いて詳しく説明する。
図２は、ＳＤＩデータのデータ構造（データマップ）の一例を示す。図２には、Ｆｕｌｌ−ＨＤのデータマップが示されている。

データマップ２００は、１ライン分のＳＤＩベース画像データのデータマップである。
データマップ２０１は、１ライン分のＳＤＩ輝度差分データとＳＤＩ色差分データを含むＳＤＩデータのデータマップである。
データマップ２０２は、１フレーム分のＳＤＩデータのデータマップである。
データマップ２００，２０１の縦軸はビット数を示し、横軸はサンプル番号を示す。本実施形態では、サンプル番号の小さいデータから順番に、データが伝送される。
データマップ２０２の縦軸はライン番号を示し、横軸はサンプル番号を示す。本実施形態では、ライン番号の小さいデータから順番に、データが伝送される。

図２において、横線で示された領域は補助データ（水平補助データ）を格納可能なアンシラリ部である。斜め線で示された領域も補助データ（垂直補助データ）を格納可能なアンシラリ部である。本実施形態では、付加処理により、アンシラリ部に種類情報や対応情報が格納される。

ＥＡＶ（Ｅｎｄ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）には、ＳＤＩデータのＴＲＳ（Ｔｉｍｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ）における水平／垂直の有効画像領域終了点を表す識別子が格納されている。本実施形態には、ＥＶＦには、識別子として、［３ＦＦ］［０００］［０００］［ＸＹＺ］の４ワードからなる同期識別コードが格納されている。［ＸＹＺ］の内容から、ＥＡＶ、ＳＡＶ、フィールド、水平／垂直を識別することができる。
ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ）には、ＳＤＩデータのライン番号を監視するためのデ
ータが格納されている。
ＣＲＣＣ（ＣｙｃｌｉＣｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ）には、有効画像領域のデータ、ＥＡＶ、及び、ＬＮの伝送エラーをチェックするためのデータが格納されている。
ＳＡＶ（Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）には、ＳＤＩデータのＴＲＳにおける水平／垂直の有効画像領域開始点を表す識別子が格納されている。本実施形態では、ＳＡＶには、識別子として、［３ＦＦ］［０００］［０００］［ＸＹＺ］の４ワードからなる同期識別コードが格納されている。［ＸＹＺ］の内容から、ＥＡＶ、ＳＡＶ、フィールド、水平／垂直を識別することができる。

図２の例では、データマップ２００は２０ビットのデータ幅を有している。そして、図２の例では、ＳＭＰＴＥ４２５Ｍに準拠した形式でベース画像データの画素値（Ｙ値、Ｃｂ値、及び、Ｃｒ値）がマッピングされている。画素値は、有効画像領域にマッピングされている。
データマップ２００に示す「Ｙ」にはＹ値が格納されており、「Ｃｂ」にはＣｂ値が格納されており、「Ｃｒ」にはＣｒ値が格納されている。また、「Ａ」にはアルファ値を格納することができる。「Ｙ」、「Ｃｂ」、「Ｃｒ」、及び、「Ａ」の横に記載されている数値は、サンプル番号である。本実施形態ではアルファ値は使用されないため、「Ａ」にはデータは格納されていない。
ベース画像データの画素値は、ＳＭＰＴＥ４２５Ｍに準拠した形式でマッピングされているため、ＨＤＲ画像データに対応していない表示装置でも、ベース画像データを表示することができる。

図２の例では、データマップ２０１もデータマップ２００と同様に２０ビットのデータ幅を有している。そして、図２の例では、輝度差分データの値（輝度比率）と色差分データの値（色差分値；Ｃｂ差分値とＣｒ差分値の組み合わせ）が、有効画像領域にマッピングされている。
データマップ２０１に示す「ＹＲ」には輝度比率が格納されており、「ＣｂＲ」にはＣｂ差分値が格納されており、「ＣｒＲ」にはＣｒ差分値が格納されている。また、「Ｎ／Ａ」は非使用領域である。「ＹＲ」、「ＣｂＲ」、及び、「ＣｒＲ」の横に記載されている数値は、サンプル番号である。

データマップ２０２において、黒で塗りつぶされた領域は、フォーマット情報等が格納されているペイロードＩＤである。本実施形態では、付加処理において、種類情報や対応情報が、ペイロードＩＤが存在するラインの次のラインのアンシラリ部に格納される。具体的には、データマップにおいてペイロードＩＤの直下の位置に、種類情報や対応情報が格納される。図２の例では、位置（サンプル番号，ライン番号）＝（１９２８，１０）にペイロードＩＤが存在し、位置（１９２８，１１）に種類情報や対応情報が格納される。
なお、種類情報や対応情報の格納位置は上記位置に限らない。例えば、水平補助データを格納可能なアンシラリ部（横線で示された領域）ではなく、垂直補助データを格納可能なアンシラリ部（斜め線で示された領域）に種類情報や対応情報が格納されてもよい。

また、本実施形態では、付加処理において、生成処理で生成された差分データに、表示装置での表示ができないことを表す表示不可情報が付加される。表示不可情報の付加は、例えば、差分フラグ付加部１０７またはコンテンツ識別フラグ付加部１０８で行われる。
本実施形態では、ＳＤＩ輝度差分データとＳＤＩ色差分データとを含むＳＤＩデータのペイロードＩＤに表示不可情報が付加される。具体的には、ペイロードＩＤを構成するデータ識別ワード（ＤＩＤ）に、表示不可情報として、表示装置が解読できないコード（ワード）を格納する。それにより、表示装置でＳＤＩ輝度差分データとＳＤＩ色差分データとを含むＳＤＩデータが誤って表示されることを抑制することができる。

表示装置が解読できないコードは、例えば、規格で定義されていないコードである。レベルＡの場合、ＤＩＤには２４１ｈが格納されている。この場合には、例えば、２４１ｈを３ＦＦｈや０００ｈに書き替えることで、表示装置にＳＤＩデータのフォーマットが非対応のフォーマットであると判断させることができる。その結果、ＳＤＩ輝度差分データとＳＤＩ色差分データとを含むＳＤＩデータが誤って表示されることを抑制することができる。

なお、図２には、ＳＤＩ輝度差分データとＳＤＩ色差分データを含むＳＤＩデータが生成された場合の例が示されているが、ＳＤＩ輝度差分データとＳＤＩ色差分データは個別に伝送されてもよい。例えば、ＳＤＩ輝度差分データは、ＳＤＩ色差分データとは異なるケーブルを用いて伝送されてもよい。その場合には、ＳＤＩ輝度差分データとＳＤＩ色差分データに個別に表示不可情報を付加すればよい。
なお、表示不可情報を付加する処理は省略されてもよい。表示不可情報を付加する処理が省略されたとしても、種類情報が付加されていれば、輝度差分データや色差分データが誤って表示されてしまうことを抑制することができる。
なお、表示不可情報は表示装置が解読できないコードに限らない。表示不可情報は、表示装置での表示ができないことを表す情報であれば、どのような情報であってもよい。

＜表示装置＞
表示装置１２０の各機能部について、図３のフローチャートを用いて説明する。図３は、表示装置１２０の動作の流れ（処理フロー）の一例を示すフローチャートである。表示装置１２０では、メモリ１３２（ＲＯＭ）に格納されたプログラムをＣＰＵ１３１が実行する。それにより、図３に示す処理フローで各処理が実行される。

まず、ＳＤＩ入力端子１２１，１２２とＳＤＩデコーダ１２３，１２４により、ベース画像データである入力ベース画像データと、差分データである入力差分データと、の少なくとも一方が取得される（Ｓ３０１）。入力差分データとして、例えば、輝度差分データである入力輝度差分データと、色差分データである入力色差分データと、の少なくとも一方が取得される。
本実施形態では、入力ベース画像データと入力差分データが個別に取得される。

ＳＤＩ入力端子１２１は、ＳＤＩケーブル１４０を用いて、画像処理装置１００からＳＤＩベース画像データを取得する。ＳＤＩ入力端子１２１は、取得したデータをＳＤＩデコーダ１２３に出力する。

ＳＤＩ入力端子１２２は、ＳＤＩケーブル１５０を用いて、画像処理装置１００からＳＤＩ輝度差分データとＳＤＩ色差分データを取得する。そして、ＳＤＩ入力端子１２２は、取得したデータをＳＤＩデコーダ１２４に出力する。

ＳＤＩデコーダ１２３は、ＳＤＩ入力端子１２１で取得されたシリアルデータであるＳＤＩベース画像データを、パラレルデータである入力ベース画像データに変換する。そして、ＳＤＩデコーダ１２３は、入力ベース画像データをデータ形式判断部１２５に出力する。

ＳＤＩデコーダ１２４は、ＳＤＩ入力端子１２２で取得されたシリアルデータであるＳＤＩ輝度差分データとＳＤＩ色差分データを、パラレルデータである入力輝度差分データと入力色差分データに変換する。そして、ＳＤＩデコーダ１２３は、入力輝度差分データと入力色差分データをデータ形式判断部１２５に出力する。

ＳＤＩ入力端子１２１かＳＤＩ入力端子１２２の少なくとも一方にＳＤＩデータが入力され、入力されたＳＤＩデータがパラレルデータにデコードされた後、Ｓ３０２に処理が進められる。

なお、本実施形態では、表示装置１２０が画像処理装置１００からデータを取得する例を説明するが、表示装置１２０の外部装置は画像処理装置１００に限らない。例えば、表示装置１２０は、ベース画像データ、輝度差分データ、色差分データ、等を記憶する記憶装置からデータを取得してもよい。
なお、本実施形態では、ＳＤＩケーブルを用いてデータを取得する例を説明するが、データを取得するために使用するケーブルはＳＤＩケーブルに限らない。データは、無線通信によって取得されてもよい。
なお、各データは同じケーブルを用いて外部装置から取得されてもよい。また、ＳＤＩ輝度差分データ、ＳＤＩ色差分データとは異なる入力端子によって取得されてもよい。

Ｓ３０２では、データ形式判断部１２５が、データ形式判断部１２５に入力されたデータの種類を判断する。本実施形態では、データに種類情報が付加されているか否かが判断される。そして、種類情報が付加されているデータの種類が、種類情報に基づいて判断される。具体的には、種類情報が付加されているデータが、入力ベース画像データ、入力輝度差分データ、及び、入力色差分データのいずれであるかが判断される。データ形式判断部１２５に複数のデータが入力された場合には、データ毎に判断が行われる。
なお、種類情報が付加されていないデータは、不明なデータとして処理の対象から除外されてもよいし、そうでなくてもよい。例えば、種類情報が付加されていないデータは、画像データ（入力ベース画像データ）であると判断されてもよい。
なお、本実施形態では、従来のＳＤＩ形式の画像データ（対応する輝度差分データが存在しない画像データ）は、入力ベース画像データであると判断されるものとする。

次に、ＣＰＵ１３１が、Ｓ３０２の判断結果に基づいて、入力ベース画像データが取得されたか否かを判断する（Ｓ３０３）。
入力ベース画像データが取得された場合には（Ｓ３０３：ＹＥＳ）、Ｓ３０４に処理が進められ、入力ベース画像データが取得されなかった場合には（Ｓ３０３：ＮＯ）、Ｓ３１１に処理が進められる。

Ｓ３０４では、ＣＰＵ１３１が、Ｓ３０２の判断結果に基づいて、入力輝度差分データと入力色差分データの両方が取得されたか否かを判断する。
入力輝度差分データと入力色差分データの両方が取得された場合には（Ｓ３０４：ＹＥＳ）、Ｓ３０５に処理が進められ、入力輝度差分データと入力色差分データの少なくとも一方が取得されなかった場合には（Ｓ３０３：ＮＯ）、Ｓ３１０に処理が進められる。
なお、上述したように、ベース画像データに対応するデータとして、輝度差分データのみが生成され、色差分データが生成されないことがある。その場合には、入力ベース画像データに対応する色差分データは存在しない。また、ベース画像データに対応するデータとして、色差分データのみが生成され、輝度差分データが生成されないことがある。その場合には、入力ベース画像データに対応する輝度差分データは存在しない。そのため、Ｓ３０４では、入力輝度差分データと入力色差分データの少なくとも一方が取得されたか否かが判断されてもよい。そして、入力輝度差分データと入力色差分データの少なくとも一方が取得された場合にＳ３０５に処理が進められ、入力輝度差分データと入力色差分データの両方が取得されなかった場合にＳ３１０に処理が進められてもよい。

Ｓ３０５では、コンテンツ識別フラグ解析部１２６が、入力輝度差分データと入力色差分データの両方が、入力ベース画像データに対応するデータであるか否かを判断する。本実施形態では、入力ベース画像データ、入力輝度差分データ、及び、入力色差分データに
コンテンツ識別フラグ（対応情報）が付加されているか否かが判断される。そして、入力ベース画像データ、入力輝度差分データ、及び、入力色差分データに対応情報が付加されていた場合に、当該対応情報に基づいて、入力輝度差分データと入力色差分データの両方が、入力ベース画像データに対応するデータであるか否かが判断される。具体的には、入力ベース画像データ、入力輝度差分データ、及び、入力色差分データに同じコンテンツ識別フラグが付加されている場合に、入力輝度差分データと入力色差分データの両方が、入力ベース画像データに対応するデータであると判断される。入力輝度差分データに入力ベース画像データと異なるコンテンツ識別フラグが付加されている場合には、入力輝度差分データが入力ベース画像データに対応するデータではないと判断される。そして、入力色差分データに入力ベース画像データと異なるコンテンツ識別フラグが付加されている場合には、入力色差分データが入力ベース画像データに対応するデータではないと判断される。
入力輝度差分データと入力色差分データの両方が、入力ベース画像データに対応するデータであると判断された場合には（Ｓ３０５：ＹＥＳ）、Ｓ３０６に処理が進められる。入力輝度差分データと入力色差分データの少なくとも一方が、入力ベース画像データに対応するデータでないと判断された場合には（Ｓ３０５：ＮＯ）、Ｓ３１０に処理が進められる。

なお、上述したように、入力ベース画像データ、入力輝度差分データ、及び、入力色差分データの少なくともいずれかにコンテンツ識別フラグが付加されていれば、Ｓ３０５の判断処理を行うことができる。
なお、入力ベース画像データ、入力輝度差分データ、及び、入力色差分データの少なくともいずれかにコンテンツ識別フラグが付加されていないことにより、Ｓ３０５の判断処理を実行することができない場合には、Ｓ３０６またはＳ３１０に処理が進められる。但し、入力ベース画像データに誤った輝度域拡大処理や色域拡大処理が施されることを抑制するために、Ｓ３１０に処理が進められることが好ましい。“誤った輝度域拡大処理”は、入力ベース画像データに対応していない輝度差分データを用いた輝度域拡大処理であり、“誤った色域拡大処理”は、入力ベース画像データに対応していない色差分データを用いた色域拡大処理である。
なお、上述したように、入力ベース画像データに対応する輝度差分データと色差分データの一方が存在しないことがある。そのため、入力輝度差分データと入力色差分データの少なくとも一方が入力ベース画像データに対応するデータであると判断された場合にＳ３０６に処理が進められてもよい。そして、入力輝度差分データと入力色差分データの両方が入力ベース画像データに対応するデータでないと判断された場合にＳ３１０に処理が進められてもよい。入力ベース画像データに対応する輝度差分データと色差分データが生成されているにも拘らず、入力ベース画像データに対応する入力色差分データが取得されていない場合には、画質の観点からＳ３１０に処理が進められることが好ましい。入力ベース画像データに対応する輝度差分データと色差分データが生成されているにも拘らず、入力ベース画像データに対応する入力輝度差分データが取得されていない場合にも、画質の観点からＳ３１０に処理が進められることが好ましい。

Ｓ３０６では、拡大処理部１２７が、入力輝度差分データを用いた輝度域拡大処理と入力色差分データを用いた色域拡大処理とを入力ベース画像データに施すことにより、レンジ拡大画像データを生成する。レンジ拡大画像データは、例えば、Ｙ値、Ｃｂ値、及び、Ｃｒ値のそれぞれが３２ビット相当の階調値であるＨＤＲ画像データである。
輝度域拡大処理と色域拡大処理が行われた後の画像データ（処理画像データ）のビット数が、表示装置１２０で表示可能な階調値のビット数よりも多い場合には、表示装置で表示可能なビット数まで処理画像データのビット数が低減される。それにより、レンジ拡大画像データが生成される。即ち、表示装置で表示可能な画像データのダイナミックレンジまで処理画像データのダイナミックレンジを縮小することにより、レンジ拡大画像データ
が生成される。表示装置１２０で表示可能な階調値のビット数は、例えば、画像処理部１２９で処理可能な階調値のビット数である。

なお、レンジ拡大画像データのビット数は、メーカーによって予め定められた値であってもよいし、ユーザが設定や変更をすることのできる値であってもよい。レンジ拡大画像データのビット数は、表示装置の使用環境、ベース画像データの種類（イラスト、写真、動画、静止画、等）、用途（観賞用、診断用、等）、等に応じて表示装置が自動で決定してもよい。
なお、ＨＤＲ画像データのビット数は３２ビットより多くても少なくてもよい。
なお、入力ベース画像データに対応する入力輝度差分データが存在しなかったり取得されなかったりしている場合には、Ｓ３０６において輝度域拡大処理は行われない。また、入力ベース画像データに対応する入力色差分データが存在しなかったり取得されなかったりしている場合には、Ｓ３０６において色域拡大処理は行われない。

次に、ＣＰＵ１３１が、レンジ拡大画像データを生成する処理（例えば、輝度域拡大処理と色域拡大処理）に要する時間が閾値以下か否かを判断する（Ｓ３０７）。
レンジ拡大画像データを生成する処理に要する時間（処理時間）が閾値以下である場合には（Ｓ３０７：ＹＥＳ）、Ｓ３０８に処理が進められ、処理時間が閾値より長い場合には、Ｓ３１０に処理が進められる。
なお、処理時間と比較する閾値は、メーカーによって予め定められた値であってもよいし、ユーザが設定や変更をすることのできる値であってもよい。閾値は、表示装置の使用環境、ベース画像データの種類、用途、等に応じて表示装置が自動で決定してもよい。

Ｓ３０８では、画像処理部１２９と表示部１３０により、レンジ拡大画像データに基づく画像が表示される。本実施形態では、画像処理部１２９が、レンジ拡大画像データに所定の画像処理を施すことにより、表示用画像データを生成する。そして、画像処理部１２９は、表示用画像データを表示部１３０に出力する。それにより、表示用画像データが画面に表示される。具体的には、表示用画像データに基づいて液晶パネルの透過率が制御されることにより、表示用画像データが画面に表示される。所定の画像処理は、例えば、ガンマ変換処理、色差分データを用いた色変換処理とは異なる色変換処理、等である。

なお、所定の画像処理が行われずに、レンジ拡大画像データが表示用画像データとして使用されてもよい。
なお、ベース画像データのダイナミックレンジや色域だけでなくバックライトの発光が差分データに基づいて制御されてもよい。具体的には、入力差分データがＢＬ制御部１２８に入力されてもよい。そして、ＢＬ制御部１２８が、入力差分データに基づいてバックライトの発光を制御してもよい。それにより、液晶パネルの透過率を制御するだけでは表示しきれなかった輝度をバックライトの発光輝度に割り当てることができ、液晶パネルの透過率を制御するだけでは表示しきれなかった色をバックライトの発光色に割り当てることができる。その結果、ダイナミックレンジや色域がより広い表示画像（画面に表示された画像）を得ることができる。例えば、表示装置で表示可能な階調値のビット数が１０ビットである場合に、１０ビット相当のダイナミックレンジよりもダイナミックレンジが広い表示画像を得ることができる。

次に、ＣＰＵ１３１が、レンジ拡大画像データに基づく画像の表示中に、入力輝度差分データと入力色差分データの少なくとも一方が取得されなくなったか否かを判断する（Ｓ３０９）。本実施形態では、ＣＰＵ１３１は、入力輝度差分データと入力色差分データの取得に使用されたＳＤＩ入力端子１２２を監視しており、ＳＤＩ入力端子１２２の接続状態に基づいて、ＳＤＩケーブル１５０が表示装置１２０から取り外されたか否かを判断する。ＳＤＩケーブル１５０が表示装置１２０に接続されている場合には、入力輝度差分デ
ータと入力色差分データの両方が取得されていると判断される。ＳＤＩケーブル１５０が表示装置１２０から取り外された場合には、入力輝度差分データと入力色差分データの両方が取得されなくなったと判断される。
入力輝度差分データと入力色差分データの両方が取得されている場合には（Ｓ３０９：ＮＯ）、本フローが終了される。入力輝度差分データと入力色差分データの少なくとも一方が取得されなくなった場合には（Ｓ３０９：ＹＥＳ）、レンジ拡大画像データの生成が行えなくなるため、Ｓ３１０に処理が進められる。

なお、上述したように、入力ベース画像データに対応する輝度差分データと色差分データの一方が存在しないことがある。そのため、Ｓ３０９では、入力輝度差分データと入力色差分データの両方が取得されなくなったか否かが判断されてもよい。そして、入力輝度差分データと入力色差分データの少なくとも一方が取得されている場合に本フローが終了され、入力輝度差分データと入力色差分データの両方が取得されなくなった場合にＳ３１０に処理が進められてもよい。入力ベース画像データに対応するデータとして輝度差分データと色差分データが生成されている場合には、画質の観点から、入力輝度差分データと入力色差分データの一方が取得されなくなった場合にもＳ３１０に処理が進められることが好ましい。

Ｓ３１０では、画像処理部１２９と表示部１３０により、入力ベース画像データに基づく画像が表示される。画像の表示方法は、Ｓ３０８と同じである。
本実施形態では、以下の場合１〜３に、入力ベース画像データに基づく画像が表示されることとなる。場合１，２では、レンジ拡大画像データを生成する処理が行われずに、入力ベース画像データに基づく画像が表示される。場合３では、レンジ拡大画像データを生成する処理が行われるが、入力ベース画像データに基づく画像が表示される。

場合１：入力輝度差分データと入力色差分データの少なくとも一方が取得されなかった場合（Ｓ３０４：ＮＯとＳ３０９：ＹＥＳ）
場合２：入力輝度差分データと入力色差分データの少なくとも一方が入力ベース画像データに対応するデータでないと判断された場合（Ｓ３０５：ＮＯ）
場合３：レンジ拡大画像データを生成する処理に要する時間が閾値よりも長い場合（Ｓ３０７：ＮＯ）

Ｓ３１０の処理を行うことにより、レンジ拡大画像データに基づく画像が表示できない場合にも画像の表示を行うことができる。

なお、表示装置は、レンジ拡大画像データを生成する処理が行われず、且つ、入力ベース画像データに基づく画像が表示される場合（例えば場合１，２）に、ユーザへの通知を行う第１通知部を有していてもよい。第１通知部では、例えば、レンジ拡大画像データを生成する処理に必要なデータが取得されていないことがユーザに通知される。第１通知部によって、入力ベース画像データに基づく画像が表示されること、レンジ拡大画像データを生成する処理を行えないこと、等が通知されてもよい。
なお、表示装置は、レンジ拡大画像データを生成する処理が行われ、且つ、入力ベース画像データに基づく画像が表示される場合（例えば場合３）に、ユーザへの通知を行う第２通知部を有していてもよい。第２通知部では、例えば、レンジ拡大画像データを生成する処理の実行中であることがユーザに通知される。第２通知部によって、入力ベース画像データに基づく画像が表示されること、表示装置の全処理負荷が高いこと、等が通知されてもよい。
第１通知部や第２通知部による通知が行われることにより、ベース画像データが表示される原因をユーザに把握させることができる。ユーザへの通知は、例えば、音声や光を用いて行うことができる。具体的には、通知内容に応じた画像（メッセージ、アイコン、等
）を画面に表示することで、ユーザへの通知を行うことができる。また、通知内容に応じた音声を発したり、通知内容に応じた点滅パターン（連続点灯を含む）や色で画面外に設けられた光源を点灯させたりすることにより、ユーザへの通知を行うことができる。
第１通知部と第２通知部の処理は同じ機能部によって実現されてもよいし、第１通知部の処理は第２通知部の処理を実現する機能部とは異なる機能部によって実現されてもよい。第１通知部と第２通知部の処理は、例えば、ＣＰＵ１３１によって行われる。

なお、場合３においては、レンジ拡大画像データが生成された後に、入力ベース画像データに基づく画像からレンジ拡大画像データに基づく画像へ表示が切り替えられてもよい。それにより、短時間で画像表示を行うことができ、レンジ拡大画像データが生成された後にダイナミックレンジが広い画像表示を行うことができる。

Ｓ３１１では、ＣＰＵ１３１が、Ｓ３０１で取得されたデータのフォーマットが非対応のフォーマットであることをユーザに通知する。換言すれば、Ｓ３０１で取得されたデータが表示できないデータであることがユーザに通知される（第３通知）。

以上述べたように、本実施形態によれば、画像データ（例えばＨＤＲ画像データ）がベース画像データと差分データに分割されて伝送される。それにより、ＨＤＲ画像データのようなダイナミックレンジが広い画像データを少ない伝送帯域で伝送することができる。
また、本実施形態によれば、ベース画像データと差分データの少なくとも一方に対応情報が付加される。それにより、ベース画像データに対して誤った拡大処理が施されることを抑制することが可能となる。その結果、ベース画像データと差分データを用いてＨＤＲ画像データを正確に復元することが可能となる。具体的には、本実施形態に係る表示装置によれば、対応情報からデータの対応関係が判断され、入力差分データが入力ベース画像データに対応するデータである場合に限ってＨＤＲ画像データが復元される。それにより、本実施形態に係る表示装置によれば、ＨＤＲ画像データを正確に復元することができる。
また、本実施形態によれば、ベース画像データと差分データが個別に伝送される。それにより、ＨＤＲ対応機とＨＤＲ非対応機のどちらであっても適切な画像表示ができるようにストリーム形式のＨＤＲ画像データを伝送することができる。具体的には、ＨＤＲ対応機（ＨＤＲ画像データに対応した表示装置）では、ベース画像データと差分データから正確なＨＤＲ画像データを復元し、復元したＨＤＲ画像データを表示することができる。そして、ＨＤＲ非対応機（ＨＤＲ画像データに対応していない表示装置）では、ベース画像データを表示することができる。具体的には、ベース画像データが従来のＳＤＩフォーマットと同様のフォーマットで伝送されるため、ＨＤＲ非対応機でも、ベース画像データを取得し、表示することができる。

なお、Ｓ３０３、Ｓ３０４、Ｓ３０７、Ｓ３０９、Ｓ３１０、及び、Ｓ３１１の少なくともいずれかの処理が省略されてもよい。それらの処理が省略されたとしても、上述した効果を得ることができる。

＜その他の実施例＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施例の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュ
ータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１００ 画像処理装置
１０１ ダイナミックレンジ縮小部
１０２ 差分生成部
１０８ コンテンツ識別フラグ付加部
１１１，１１２ ＳＤＩ出力端子
１２０ 表示装置
１２１，１２２ ＳＤＩ入力端子
１２６ コンテンツ識別フラグ解析部
１２７ 拡大処理部
１３０ 表示部

Claims (30)

1. 入力画像データに基づいて、前記入力画像データよりもダイナミックレンジと色域の少なくとも一方が狭いベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データと、を生成する生成処理を行う生成手段と、
   前記ベース画像データと前記差分データの少なくとも一方に、前記ベース画像データと前記差分データの対応関係を表す対応情報を付加する付加処理を行う付加手段と、
   前記付加処理が行われた後のベース画像データと差分データを個別に出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記付加処理では、前記ベース画像データと前記差分データの両方に対応情報が付加される
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記付加処理では、前記ベース画像データに付加された対応情報と同じ対応情報が前記差分データに付加される
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記差分データは、画像データのダイナミックレンジを拡大する輝度域拡大処理で使用される輝度差分データと、画像データの色域を拡大する色域拡大処理で使用される色差分データと、を含み、
   前記付加処理では、前記ベース画像データ、前記輝度差分データ、及び、前記色差分データの少なくともいずれかに、前記ベース画像データ、前記輝度差分データ、及び、前記色差分データの対応関係を表す対応情報が付加され、
   前記出力手段は、前記付加処理が行われた後のベース画像データ、輝度差分データ、及び、色差分データを出力する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記付加処理では、前記ベース画像データ、前記輝度差分データ、及び、前記色差分データの全てに対応情報が付加される
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記付加処理では、前記ベース画像データに付加された対応情報と同じ対応情報が前記輝度差分データと前記色差分データに付加される
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記出力手段は、前記付加処理が行われた後のベース画像データを、前記付加処理が行われた後の差分データとは異なるケーブルを用いて、外部装置に出力する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、前記付加処理が行われた後のベース画像データと差分データを、ＳＤＩケーブルを用いて外部装置に出力する
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記付加処理では、前記付加処理が行われた後のデータとしてＳＤＩデータが生成され、
   前記対応情報は、ＳＤＩデータのアンシラリ部に格納される
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記付加処理では、前記生成処理で生成されたベース画像データと差分データに、データの種類を表す種類情報が付加される
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記付加処理では、前記生成処理で生成された差分データに、表示装置での表示ができないことを表す表示不可情報が付加される
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記付加処理では、前記付加処理が行われた後のデータとしてＳＤＩデータが生成され、
    前記表示不可情報は、ＳＤＩデータのペイロードＩＤに格納される
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示不可情報は、前記表示装置が解読できないコードである
    ことを特徴とする請求項１１または１２に記載の画像処理装置。
14. ベース画像データである入力ベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データである入力差分データと、を個別に取得する取得手段と、
    前記入力ベース画像データと前記入力差分データの少なくとも一方に、ベース画像データと差分データの対応関係を表す対応情報が付加されていた場合に、当該対応情報に基づいて、前記入力差分データが前記入力ベース画像データに対応するデータであるか否かを判断する判断手段と、
    前記入力差分データが前記入力ベース画像データに対応するデータであると判断された場合に、前記入力差分データを用いた拡大処理を前記入力ベース画像データに施すことにより、レンジ拡大画像データを生成する生成手段と、
    前記レンジ拡大画像データに基づく画像を表示する表示手段と、
    を有する
    ことを特徴とする表示装置。
15. 前記入力差分データは、画像データのダイナミックレンジを拡大する輝度域拡大処理で使用される輝度差分データである入力輝度差分データと、画像データの色域を拡大する色域拡大処理で使用される色差分データである入力色差分データと、を含み、
    前記判断手段は、前記入力ベース画像データ、前記入力輝度差分データ、及び、前記入力色差分データの少なくともいずれかに、ベース画像データ、輝度差分データ、及び、色差分データの対応関係を表す対応情報が付加されていた場合に、当該対応情報に基づいて、前記入力輝度差分データと前記入力色差分データの両方が前記入力ベース画像データに対応するデータであるか否かを判断し、
    前記生成手段は、前記入力輝度差分データと前記入力色差分データの両方が前記入力ベース画像データに対応するデータであると判断された場合に、前記入力輝度差分データを用いた輝度域拡大処理と前記入力色差分データを用いた色域拡大処理とを前記入力ベース画像データに施すことにより、前記レンジ拡大画像データを生成する
    ことを特徴とする請求項１４に記載の表示装置。
16. 前記取得手段で前記入力差分データが取得されなかった場合に、
    前記生成手段は、前記レンジ拡大画像データを生成する処理を行わず、
    前記表示手段は、前記入力ベース画像データに基づく画像を表示する
    ことを特徴とする請求項１４または１５に記載の表示装置。
17. 前記入力差分データが前記入力ベース画像データに対応するデータでないと判断された場合に、
    前記生成手段は、前記レンジ拡大画像データを生成する処理を行わず、
    前記表示手段は、前記入力ベース画像データに基づく画像を表示する
    ことを特徴とする請求項１４〜１６のいずれか１項に記載の表示装置。
18. 前記取得手段で前記入力輝度差分データと前記入力色差分データの少なくとも一方が取得されなかった場合に、
    前記生成手段は、前記レンジ拡大画像データを生成する処理を行わず、
    前記表示手段は、前記入力ベース画像データに基づく画像を表示する
    ことを特徴とする請求項１５に記載の表示装置。
19. 前記入力輝度差分データと前記入力色差分データの少なくとも一方が前記入力ベース画像データに対応するデータでないと判断された場合に、
    前記生成手段は、前記レンジ拡大画像データを生成する処理を行わず、
    前記表示手段は、前記入力ベース画像データに基づく画像を表示する
    ことを特徴とする請求項１５または１８に記載の表示装置。
20. 前記生成手段が前記レンジ拡大画像データを生成する処理を行わず、且つ、前記表示手段が前記入力ベース画像データに基づく画像を表示する場合に、前記レンジ拡大画像データを生成する処理に必要なデータが取得されていないことをユーザに通知する第１通知手段をさらに有する
    ことを特徴とする請求項１６〜１９のいずれか１項に記載の表示装置。
21. 前記生成手段が前記レンジ拡大画像データを生成する処理を行い、且つ、前記レンジ拡大画像データを生成する処理に要する時間が閾値よりも長い場合に、前記表示手段は、前記入力ベース画像データに基づく画像を表示する
    ことを特徴とする請求項１６〜２０のいずれか１項に記載の表示装置。
22. 前記生成手段が前記レンジ拡大画像データを生成する処理を行い、且つ、前記レンジ拡大画像データを生成する処理に要する時間が閾値よりも長い場合に、前記表示手段は、前記レンジ拡大画像データが生成された後に、前記入力ベース画像データに基づく画像から前記レンジ拡大画像データに基づく画像へ表示を切り替える
    ことを特徴とする請求項２１に記載の表示装置。
23. 前記生成手段が前記レンジ拡大画像データを生成する処理を行い、且つ、前記表示手段が前記入力ベース画像データに基づく画像を表示する場合に、前記レンジ拡大画像データを生成する処理の実行中であることをユーザに通知する第２通知手段をさらに有する
    ことを特徴とする請求項２１または２２に記載の表示装置。
24. 前記取得手段で前記入力ベース画像データが取得されなかった場合に、前記取得手段で取得されたデータが表示できないデータであることをユーザに通知する第３通知手段をさらに有する
    ことを特徴とする請求項１４〜２３のいずれか１項に記載の表示装置。
25. 前記取得手段は、前記入力ベース画像データを、前記入力差分データとは異なるケーブルを用いて、外部装置から取得する
    ことを特徴とする請求項１４〜２４のいずれか１項に記載の表示装置。
26. 前記取得手段は、ＳＤＩケーブルを用いて外部装置からデータを取得する
    ことを特徴とする請求項１４〜２５のいずれか１項に記載の表示装置。
27. 入力画像データに基づいて、前記入力画像データよりもダイナミックレンジと色域の少なくとも一方が狭いベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データと、を生成する生成処理を行う生成ステップと、
    前記ベース画像データと前記差分データの少なくとも一方に、前記ベース画像データと前記差分データの対応関係を表す対応情報を付加する付加処理を行う付加ステップと、
    前記付加処理が行われた後のベース画像データと輝度差分データを個別に出力する出力ステップと、
    を有することを特徴とする画像処理方法。
28. ベース画像データである入力ベース画像データと、画像データのダイナミックレンジと色域の少なくとも一方を拡大する拡大処理で使用される差分データである入力差分データと、を取得する取得ステップと、
    前記入力ベース画像データと前記入力差分データの少なくとも一方に、ベース画像データと差分データの対応関係を表す対応情報が付加されていた場合に、当該対応情報に基づいて、前記入力差分データが前記入力ベース画像データに対応するデータであるか否かを判断する判断ステップと、
    前記入力差分データが前記入力ベース画像データに対応するデータであると判断された場合に、前記入力差分データを用いた拡大処理を前記入力ベース画像データに施すことにより、レンジ拡大画像データを生成する生成ステップと、
    前記レンジ拡大画像データに基づく画像を表示する表示ステップと、
    を有する
    ことを特徴とする表示方法。
29. 請求項２７に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
30. 請求項２８に記載の表示方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images