JP2020127107A - 画像処理装置 - Google Patents

Abstract

【課題】好適な輝度を示す情報が付加された画像データを得ることができ、ひいては好適な輝度で画像を表示することを可能にする技術を提供する。【解決手段】本発明の画像処理装置は、対象動画のフレーム毎に、そのフレームの最大輝度であるフレーム最大輝度を判断する第１判断手段と、前記第１判断手段で判断された複数のフレーム最大輝度に基づいて、前記複数のフレーム最大輝度の、最大輝度でない代表輝度を判断する第２判断手段と、前記代表輝度を示す第１情報を、前記対象動画を表す対象動画データに付加する付加手段と、を有することを特徴とする。【選択図】図１

Description

本発明は、画像処理装置に関する。

非常に広いダイナミックレンジ（輝度レンジ）を有する画像データの規格が提案されている。非常に広いダイナミックレンジは「ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）」などと呼ばれており、ＨＤＲを有する画像（画像データ）は「ＨＤＲ画像（ＨＤＲ画像データ）」などと呼ばれている。一方、ＨＤＲよりも狭いダイナミックレンジは「ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）」などと呼ばれており、ＳＤＲを有する画像（画像データ）は「ＳＤＲ画像（ＳＤＲ画像データ）」などと呼ばれている。

ＨＤＲ画像の規格では、ＨＤＲ画像の上限輝度として、１００００ｎｉｔなどが定められている。しかしながら、民生用のＴＶ（テレビジョン）装置やモニターなどでは、表示輝度（表示面上の輝度）の上限輝度である上限表示輝度は、例えば数百ｎｉｔ〜数千ｎｉｔ程度であり、ＨＤＲ画像の輝度が上限表示輝度を超えることがある。このため、民生用のＴＶ装置やモニターなどにおいて、ＨＤＲ画像のダイナミックレンジを完全に再現することは困難である。

ＨＤＲ画像データには、ＭａｘＣＬＬ（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ
Ｌｅｖｅｌ）やＭａｘＦＡＬＬ（Ｍａｘｉｍｕｍ Ｆｒａｍｅ Ａｖｅｒａｇｅ Ｌｉｇｈｔ Ｌｅｖｅｌ）などの情報（メタデータ）が付加されることが多い。ＭａｘＣＬＬは、ＨＤＲ画像の最大輝度を示す情報であり、ＭａｘＦＡＬＬは、ＨＤＲ動画（動画であるＨＤＲ画像）の複数のフレームにそれぞれ対応する複数のフレーム平均輝度（フレームの平均輝度）の最大輝度を示す情報である。ＨＤＲ動画データ（動画データであるＨＤＲ画像データ）に付加されたＭａｘＣＬＬは、ＨＤＲ動画の複数のフレームにそれぞれ対応する複数のフレーム最大輝度（フレームの最大輝度）の最大輝度を示す。

この場合、これらの情報は、ＨＤＲ画像の表示に適した輝度変換を実行する（例えば、ＨＤＲ画像の表示に適したトーンカーブを決定する）ために利用される。ＨＤＲ画像の規格として、動画などのコンテンツ全体に対応する１つのＭａｘＣＬＬを付加するＨＤＲ１０や、動画のフレームやシーン毎にＭａｘＣＬＬを付加するＨＤＲ１０＋などが提案されている。

特許文献１には、画像データのダイナミックレンジが表示輝度のレンジに合うようにトーンカーブを決定する技術が記載されている。

特開２０１７−５４１４６５号公報

しかしながら、ＭａｘＣＬＬによって示された従来の輝度は、ＨＤＲ画像の表示の観点において好適な輝度であるとは限らない。例えば、一部のフレームの最大輝度が他のフレームの最大輝度より大幅に高い場合でも、当該一部のフレームの最大輝度を示すＭａｘＣＬＬがＨＤＲ動画データに付加される。そして、ＭａｘＣＬＬによって示された輝度が最
大表示輝度（表示輝度の最大輝度）となるようなトーンカーブが決定されるため、一部のフレームの画像に比べ他のフレームの画像が非常に暗い輝度で表示される。表示輝度の大きな変動は、画像の視認性や、目への影響などの観点において好ましくない。また、特許文献１に開示の技術では、ＭａｘＣＬＬは考慮されず、ＭａｘＣＬＬを考慮した好適な表示は行われない。

本発明は、好適な輝度を示す情報が付加された画像データを得ることができ、ひいては好適な輝度で画像を表示することを可能にする技術を提供することを目的とする。

本発明の第１の態様は、対象動画のフレーム毎に、そのフレームの最大輝度であるフレーム最大輝度を判断する第１判断手段と、前記第１判断手段で判断された複数のフレーム最大輝度に基づいて、前記複数のフレーム最大輝度の、最大輝度でない代表輝度を判断する第２判断手段と、前記代表輝度を示す第１情報を、前記対象動画を表す対象動画データに付加する付加手段と、を有することを特徴とする画像処理装置である。

本発明の第２の態様は、画像を表示する表示部の表示輝度の上限輝度である上限表示輝度を判断する判断手段と、前記上限表示輝度を示す情報を、前記画像を表す画像データに付加する付加手段と、を有することを特徴とする画像処理装置である。

本発明の第３の態様は、対象動画のフレーム毎に、そのフレームの最大輝度であるフレーム最大輝度を判断するステップと、判断された複数のフレーム最大輝度に基づいて、前記複数のフレーム最大輝度の、最大輝度でない代表輝度を判断するステップと、前記代表輝度を示す情報を、前記対象動画を表す対象動画データに付加するステップと、を有することを特徴とする画像処理方法である。

本発明の第４の態様は、画像を表示する表示部の表示輝度の上限輝度である上限表示輝度を判断するステップと、前記上限表示輝度を示す情報を、前記画像を表す画像データに付加するステップと、を有することを特徴とする画像処理方法である。

本発明の第５の態様は、コンピュータを、上述した画像処理装置の各手段として機能させるためのプログラムである。

本発明によれば、好適な輝度を示す情報が付加された画像データを得ることができ、ひいては好適な輝度で画像を表示することが可能となる。

実施例１に係る表示システムの構成例を示すブロック図 実施例１に係るフレーム最大輝度の時間変化の一例を示す図 実施例１に係る撮像装置の処理フロー例を示すフローチャート 実施例１に係る効果の一例を示す図 実施例２に係る表示システムの構成例を示すブロック図 代表輝度の変形例を示す図

＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係る表示システムの構成例を示すブロック図である。図１の表示システムは、本実施例に係る画像処理装置である撮像装置１０１と、表示装置１０２とを有する。撮像装置１０１と表示装置１０２は、
ＨＤＭＩケーブル１０３を用いて互いに接続されている（ＨＤＭＩ接続）。ＨＤＭＩケーブル１０３は、ＨＤＭＩ規格に準拠したケーブルであり、＋５Ｖ信号、ＨＰＤ信号、画像データ（画像信号；ＴＭＤＳ信号）、ＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）などを伝送可能な信号線を有する。

なお、本実施例に係る画像処理装置は撮像装置でなくてもよい。例えば、本実施例に係る画像処理装置は、画像再生装置や画像編集装置などであってもよい。撮像装置１０１と表示装置１０２を互いに接続するためのケーブルはＨＤＭＩケーブルでなくてもよい。撮像装置１０１と表示装置１０２は無線で互いに接続されてもよい。

撮像装置１０１は、撮像部１０４、記憶部１０５、読出部１０６、ＨＤＭＩ通信部１０７、平均ＭａｘＣＬＬ判断部１１０、平均ＭａｘＣＬＬ読出部１１２、選択部１１３、メタデータ置換部１１４、操作部１１５、及び、ＣＰＵ１１６を有する。表示装置１０２は、ＨＤＭＩ通信部１０８と表示部１０９を有する。

撮像部１０４は、不図示のレンズやセンサー、現像処理回路などを有し、被写体像を表す画像データを生成して記憶部１０５に記録する（撮影）。

本実施例では、撮像部１０４は、ＨＤＲ１０＋に準拠したＨＤＲ動画データを生成して記憶部１０５に記録する。具体的には、ＨＤＲ１０＋に準拠したメタデータ（ＭａｘＣＬＬなど）も生成し、ＨＤＲ動画データを、メタデータを付加して記憶部１０５に記録する。ＨＤＲ動画データは、非常に広いダイナミックレンジ（輝度レンジ）であるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）を有する動画データである。

本実施例では、撮像部１０４は、メタデータとして、フレームＭａｘＣＬＬとシーンＭａｘＣＬＬを生成する。具体的には、撮像部１０４は、ＨＤＲ動画（ＨＤＲ動画データによって表された動画）のフレーム毎にフレームＭａｘＣＬＬを生成し、ＨＤＲ動画のシーン毎にシーンＭａｘＣＬＬを生成する。フレームＭａｘＣＬＬは、フレームの最大輝度であるフレーム最大輝度を示すフレーム輝度情報である。シーンＭａｘＣＬＬは、シーンの最大輝度（１シーンにおける複数のフレームにそれぞれ対応する複数のフレーム最大輝度の最大輝度）であるシーン最大輝度を示すシーン輝度情報である。

記憶部１０５は、ＨＤＲ動画データなどを記憶する。例えば、記憶部１０５は、ＳＤカードやＣＦカードなどの記録媒体や、ＤＲＡＭなどのメモリである。なお、記憶部１０５は、撮像装置１０１に対して着脱可能であってもよいし、そうでなくてもよい。

読出部１０６は、ユーザーが操作部１１５を用いて行った再生指示（ＨＤＭＩ出力指示）に応じて、撮像部１０４によって生成されたＨＤＲ動画データを記憶部１０５から読み出す。以後、読出部１０６によって読み出されたＨＤＲ動画データを「対象動画データ」と記載し、対象動画データによって表された動画を「対象動画」と記載する。なお、対象動画データはＨＤＲ動画データでなくてもよい。対象動画データは、本実施例に係る画像処理装置とは異なる装置で生成された動画データであってもよい。対象動画データに付加されているメタデータは、ＨＤＲ１０＋に準拠したメタデータでなくてもよい。対象動画データにメタデータが付加されていなくてもよい。

平均ＭａｘＣＬＬ判断部１１０は、対象動画のフレーム毎にフレーム最大輝度を判断し、判断した複数のフレーム最大輝度に基づいて、当該複数のフレーム最大輝度の平均輝度（シーン平均輝度）を判断する。そして、平均ＭａｘＣＬＬ判断部１１０は、判断したシーン平均輝度を示す情報（メタデータ）である平均ＭａｘＣＬＬを生成し、対象動画データに関連付けられるように平均ＭａｘＣＬＬを記憶部１０５に記録する。

本実施例では、平均ＭａｘＣＬＬ判断部１１０は、上述した処理を、対象動画のシーン毎に行う。上述したように、各フレームのフレームＭａｘＣＬＬは対象動画データに付加されている。平均ＭａｘＣＬＬ判断部１１０は、対象動画の１シーンにおける複数のフレームにそれぞれ対応する複数のフレームＭａｘＣＬＬを読出部１０６から取得し、読み出した複数のフレームＭａｘＣＬＬによってそれぞれ示された複数のフレーム最大輝度を判断する。そして、平均ＭａｘＣＬＬ判断部１１０は、判断した複数のフレーム最大輝度に基づいて、当該複数のフレーム最大輝度の平均輝度（シーン平均輝度）を判断し、平均ＭａｘＣＬＬを生成して記録する。

なお、フレーム最大輝度の判断方法は特に限定されない。例えば、平均ＭａｘＣＬＬ判断部１１０は、対象動画データに付加されたメタデータ（フレームＭａｘＣＬＬ）からフレーム最大輝度を判断せずに、対象動画のフレームの画像データを解析してフレーム最大輝度を判断してもよい。

図２は、１シーンにおけるフレーム最大輝度の時間変化の一例を示す。図２において、横軸は時間を示し、縦軸は輝度を示す。フレーム最大輝度の時間変化２０１の場合には、撮像部１０４は、複数のフレーム最大輝度の最大輝度２０３を示すシーンＭａｘＣＬＬを生成する。一方、平均ＭａｘＣＬＬ判断部１１０は、シーン平均輝度（複数のフレーム最大輝度の平均輝度）２０４を示す平均ＭａｘＣＬＬを生成する。

ＨＤＭＩ通信部１０７は、読出部１０６から出力された動画データを、ＨＤＭＩに準拠したＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ
Ｓｉｇｎａｌｉｎｇ）信号に変換して出力する。

ＨＤＭＩ通信部１０８は、ＨＤＭＩ通信部１０７から出力されたＴＭＤＳ信号を、元の動画データ（読出部１０６から出力された動画データ）に戻して出力する。

表示部１０９は、ＨＤＭＩ通信部１０８から出力された動画データに基づく動画を表示面に表示する。例えば、表示装置１０２は液晶表示装置であり、表示部１０９は液晶パネルとバックライトの組み合わせである。なお、表示装置１０２は液晶表示装置に限られない。例えば、表示装置１０２は有機ＥＬ表示装置であってもよく、表示部１０９は有機ＥＬパネルであってもよい。

撮像装置１０１と表示装置１０２が互いに接続された場合に、ＨＤＭＩ通信部１０８は、ＥＤＩＤをＨＤＭＩ通信部１０７に送信する。ＥＤＩＤは、表示装置１０２のデバイス情報（表示装置１０２の表示能力を示す能力情報や、表示装置１０２の物理アドレス（Ｐｈｙｓｉｃａｌ Ａｄｄｒｅｓｓ）など）を記述したデータである。能力情報は、表示装置１０２がＨＤＲ１０＋に対応しているか否かを示す情報、表示装置１０２の表示輝度（表示面上の輝度）の上限輝度である上限表示輝度を示す情報、表示装置１０２のダイナミックレンジ（表示輝度のレンジ）を示す情報などである。ＥＤＩＤの送受信はＨＤＭＩケーブル１０３の、ＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）信号線を介して行われる。

ＣＰＵ１１６は、撮像装置１０１の各処理を制御する。ＨＤＭＩ通信部１０７が受信したＥＤＩＤはＣＰＵ１１６に供給され、ＣＰＵ１１６は、供給されたＥＤＩＤに応じて撮像装置１０１の各処理を制御することができる。例えば、ＣＰＵ１１６は、供給されたＥＤＩＤを解析し、表示装置１０２が受信可能な画像信号の種類を判断し、判断した種類をＨＤＭＩ通信部１０７に通知する。ＨＤＭＩ通信部１０７は、読出部１０６から出力された動画データを、ＣＰＵ１１６から通知された種類の画像信号に変換して出力する。さら
に、ＣＰＵ１１６は、供給されたＥＤＩＤを解析し、表示装置１０２の上限表示輝度を示す上限輝度情報を、選択部１１３に出力する。

平均ＭａｘＣＬＬ読出部１１２は、対象画像データに関連付けられた平均ＭａｘＣＬＬを、記憶部１０５から読み出し、選択部１１３に出力する。本実施例では、平均ＭａｘＣＬＬ読出部１１２は、この処理を対象動画のシーン毎に行う。

選択部１１３は、平均ＭａｘＣＬＬ読出部１１２から出力された平均ＭａｘＣＬＬ、または、ＣＰＵ１１６から出力された上限輝度情報を選択し、選択した情報をメタデータ置換部１１４に出力する。本実施例では、選択部１１３は、この処理を対象動画のシーン毎に行う。

選択部１１３の処理について、より詳細に説明する。選択部１１３は、シーンＭａｘＣＬＬからシーン最大輝度を判断し、平均ＭａｘＣＬＬからシーン平均輝度を判断し、上限輝度情報から上限表示輝度を判断する。そして、選択部１１３は、シーン平均輝度とシーン最大輝度の差分ｄｉｆｆが閾値ａよりも大きい場合に平均ＭａｘＣＬＬを選択し、シーン最大輝度が上限表示輝度よりも高い場合に上限輝度情報を選択する。それ以外の場合には、選択部１１３は何も選択しない。

なお、シーン最大輝度の判断方法は特に限定されない。例えば、選択部１１３は、複数のフレーム最大輝度（複数のフレームＭａｘＣＬＬ）からシーン最大輝度を判断してもよいし、シーンの動画データを解析してシーン最大輝度を判断してもよい。上限表示輝度の判断方法も特に限定されない。例えば、本実施例に係る画像処理装置が表示装置である場合には、画像処理装置は、外部から取得された情報（ＥＤＩＤ）に基づいて上限輝度情報を取得せずに、上限輝度情報を内部に予め記憶していてもよい。選択部１１３は、上限表示輝度などを指定するユーザー操作に応じて上限表示輝度を判断してもよい。

メタデータ置換部１１４は、読出部１０６によって読み出された対象動画データに付加されているシーンＭａｘＣＬＬを、選択部１１３から出力された情報（平均ＭａｘＣＬＬまたは上限輝度情報）で置き換える。本実施例では、メタデータ置換部１１４は、この処理を対象動画のシーン毎に行う。読出部１０６は、メタデータ置換部１１４の処理が行われた後の動画データをＨＤＭＩ通信部１０７に出力する。

操作部１１５は、撮像装置１０１に対する各種ユーザー操作（上述した閾値ａを指定するユーザー操作や、画像の再生（表示）を指示するユーザー操作など）を受け付ける。なお、閾値ａは、メーカーによって予め定められた固定値や、自動で変更される値などであってもよい。

図３は、撮像装置１０１の処理フロー例を示すフローチャートである。なお、以下では、シーンＭａｘＣＬＬ、平均ＭａｘＣＬＬ、及び、上限輝度情報が選択部１１３に入力されているものとする。

ステップＳ３０１にて、ＣＰＵ１１６は、操作部１１５に対するユーザー操作に応じて、選択部１１３に対して閾値ａを設定する。なお、閾値ａが既に設定されている場合において、ステップＳ３０１の処理は必須ではない。

ステップＳ３０２にて、選択部１１３は、入力されたシーンＭａｘＣＬＬに基づいて、シーン最大輝度が変化したか否かを判断する。具体的には、選択部１１３は、現在のタイミングが、対象動画におけるシーンの切り替わりのタイミング、または、対象動画の最後のタイミングであるか否かを判断する。シーン最大輝度が変化するタイミング（シーンの
切り替わりのタイミングまたは対象動画の最後のタイミング）と判断されるまでステップＳ３０２の処理が繰り返される。シーン最大輝度のタイミングと判断されると、ステップＳ３０３に処理が進められる。シーンの切り替わりのタイミングと判断された場合には、ステップＳ３０３〜Ｓ３０７の処理は、切り替わり前のシーンについて行われる。対象動画の最後のタイミングと判断された場合には、ステップＳ３０３〜Ｓ３０７の処理は、対象動画の最後のタイミングまでのシーンについて行われる。対象動画のシーンが１つしかない場合は、対象動画の最後のタイミングまでのシーンは対象動画全体であり、対象動画のシーンが複数存在する場合は、対象動画の最後のタイミングまでのシーンは対象動画の最後のシーンである。

ステップＳ３０３にて、選択部１１３は、シーンＭａｘＣＬＬと平均ＭａｘＣＬＬに基づいて、シーン平均輝度とシーン最大輝度の差分ｄｉｆｆを算出する。差分ｄｉｆｆは、シーン最大輝度からシーン平均輝度を減算した値である。

ステップＳ３０４にて、選択部１１３は、ステップＳ３０３で算出された差分ｄｉｆｆがステップＳ３０１で設定された閾値ａよりも大きいか否かを判断する。差分ｄｉｆｆが閾値ａよりも大きいと判断された場合（ステップＳ３０４：ＹＥＳ）にはステップＳ３０５に処理が進められ、そうでない場合（ステップＳ３０４：ＮＯ）にはステップＳ３０６に処理が進められる。

ステップＳ３０５にて、選択部１１３は平均ＭａｘＣＬＬを選択し、メタデータ置換部１１４は、対象動画データに付加されているシーンＭａｘＣＬＬを平均ＭａｘＣＬＬで置き換える。

ステップＳ３０６にて、選択部１１３は、シーンＭａｘＣＬＬと上限輝度情報に基づいて、シーン最大輝度が上限表示輝度よりも高いか否かを判断する。シーン最大輝度が上限表示輝度よりも高いと判断された場合（ステップＳ３０６：ＹＥＳ）にはステップＳ３０７に処理が進められる。

ステップＳ３０７にて、選択部１１３は上限輝度情報を選択し、メタデータ置換部１１４は、対象動画データに付加されているシーンＭａｘＣＬＬを上限輝度情報で置き換える。

シーン最大輝度が上限表示輝度よりも高いと判断されなかった場合（ステップＳ３０６：ＮＯ）には、対象動画データにシーンＭａｘＣＬＬが付加されている状態が維持され、本処理フローが終了される。

図４（Ａ），４（Ｂ）を用いて、本実施例の効果について説明する。図４（Ａ）は、１シーンにおけるフレーム最大輝度の時間変化の一例を示す。図４（Ａ）において、横軸は時間を示し、縦軸は輝度を示す。図４（Ｂ）は、トーンカーブ（ＥＯＴＦ）の一例を示す。図４（Ｂ）において、横軸は画像データの階調値を示し、縦軸は表示輝度を示す。図４（Ａ）の例では、輝度４０１ａがシーン最大輝度であり、輝度４０２ａがシーン平均輝度である。

表示装置１０２は、シーン最大輝度４０１ａを示すシーンＭａｘＣＬＬが付加された動画データを受信した場合に、シーン最大輝度４０１ａが最大表示輝度（表示輝度の最大輝度）となるようなトーンカーブ４０１ｂ（図４（Ｂ））を決定し、動画を表示する。図４（Ａ）では、一部のフレームの最大輝度（符号４０３）が他のフレームの最大輝度（符号４０４）よりも大幅に高い（シーン最大輝度４０１ａとシーン平均輝度４０２ａの差分ｄｉｆｆが閾値ａよりも大きい）。このような場合において、トーンカーブ４０１ｂを用い
て動画を表示すると、一部のフレームの画像に比べ他のフレームの画像が非常に暗い輝度で表示されてしまう。

本実施例では、シーン最大輝度４０１ａとシーン平均輝度４０２ａの差分ｄｉｆｆが閾値ａよりも大きい場合には、動画データに付加されたシーンＭａｘＣＬＬが、シーン平均輝度４０２ａを示す平均ＭａｘＣＬＬで置き換えられる。このため、表示装置１０２は、シーン平均輝度４０２ａを示す平均ＭａｘＣＬＬが付加された動画データを受信し、シーン平均輝度４０２ａが最大表示輝度となるようなトーンカーブ４０２ｂ（図４（Ｂ））を決定し、動画を表示する。その結果、一部のフレームの画像に比べ他のフレームの画像が非常に暗い輝度で表示されることを防ぐことができる。シーン最大輝度が上限表示輝度よりも高い場合にシーンＭａｘＣＬＬを上限輝度情報で置き換えることでも、同様の効果が得られる。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。図５は、本実施例に係る表示システムの構成例を示すブロック図である。図５において、図１（実施例１）と同じブロックには図１と同じ符号が付されている。本実施例では、撮像装置１０１は、撮像部１０４、記憶部１０５、読出部１０６、ＨＤＭＩ通信部１０７、平均ＭａｘＣＬＬ判断部１１０、及び、平均ＭａｘＣＬＬ読出部１１２を有する。

読出部１０６は、ユーザーが操作部１１５を用いて行った再生指示（ＨＤＭＩ出力指示）に応じて、撮像部１０４によって生成されたＨＤＲ動画データを、記憶部１０５から読み出してＨＤＭＩ通信部１０７に出力する。

平均ＭａｘＣＬＬ読出部１１２は、対象画像データに関連付けられた平均ＭａｘＣＬＬを、記憶部１０５から読み出し、ＨＤＭＩ通信部１０７に出力する。本実施例では、平均ＭａｘＣＬＬ読出部１１２は、この処理を対象動画のシーン毎に行う。

ＨＤＭＩ通信部１０７は、読出部１０６から出力された対象動画データに、平均ＭａｘＣＬＬ読出部１１２から出力された平均ＭａｘＣＬＬを付加する。この処理は、対象動画のシーン毎に行われる。そして、ＨＤＭＩ通信部１０７は、平均ＭａｘＣＬＬが付加された後の動画データを、ＨＤＭＩに準拠したＴＭＤＳ信号に変換して出力する。

本実施例では、シーンＭａｘＣＬＬと平均ＭａｘＣＬＬが付加された動画データが表示装置１０２に出力される。このため、表示装置１０２において、シーンＭａｘＣＬＬと平均ＭａｘＣＬＬの一方を選択し、選択したメタデータに応じてトーンカーブを決定できる。また、シーンＭａｘＣＬＬと平均ＭａｘＣＬＬの両方に基づくトーンカーブも決定できる。これにより、ユーザーが所望する輝度での画像表示を、より確実に実現することができる。

以上述べたように、実施例１，２によれば、好適な輝度を示す情報が付加された画像データを得ることができ、ひいては好適な輝度で画像を表示することが可能となる。

なお、以下の（１）〜（７）いずれかのように処理が制御されてもよい。
（１）平均ＭａｘＣＬＬを対象動画データに付加する処理が常に行われる。
（２）シーン最大輝度とシーン平均輝度の差分が閾値よりも大きい場合に限って、平均ＭａｘＣＬＬを対象動画データに付加する処理が行われる。
（３）上限輝度情報を対象動画データに付加する処理が常に行われる。
（４）シーン最大輝度が上限表示輝度よりも高い場合に限って、上限輝度情報を対象動
画データに付加する処理が行われる。
（５）シーンＭａｘＣＬＬと上限輝度情報が付加されず且つ平均ＭａｘＣＬＬが付加された動画データが生成される。
（６）シーンＭａｘＣＬＬと平均ＭａｘＣＬＬが付加されず且つ上限輝度情報が付加された動画データが生成される。
（７）対象動画の各シーンについてシーンＭａｘＣＬＬ、平均ＭａｘＣＬＬ、及び、上限輝度情報の少なくともいずれかが付加された動画データが生成される。

なお、読出部１０６は、シーンＭａｘＣＬＬが付加されていない動画データを、対象動画データとして、記憶部１０５から読み出してもよい。そして、シーンＭａｘＣＬＬを生成して対象動画データに付加する処理が行われてもよい。実施例１で述べたように、複数のフレーム最大輝度（複数のフレームＭａｘＣＬＬ）からシーン最大輝度を判断したり、シーンの動画データを解析したりすることにより、シーン最大輝度を判断できる。そして、シーン最大輝度を判断できれば、当該シーン最大輝度を示すシーンＭａｘＣＬＬを生成できる。

なお、対象動画データに付加する情報（メタデータ）を対象動画のシーン毎に決定する例を説明したが、これに限られない。例えば、対象動画全体に対してメタデータを決定してもよい。

なお、シーン平均輝度の代わりに、最大輝度でない他の代表輝度が判断されてもよい。例えば、図６に示すように、複数のフレーム最大輝度の最頻輝度が判断されてもよい。複数のフレーム最大輝度の最小輝度や中間輝度が判断されてもよい。

なお、実施例１，２（図１，５）の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。１つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つのブロックの２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

なお、実施例１，２（上述した変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像装置 １０７：ＨＤＭＩ通信部 １１０：平均ＭａｘＣＬＬ判断部
１１４：メタデータ置換部

Claims (16)

1. 対象動画のフレーム毎に、そのフレームの最大輝度であるフレーム最大輝度を判断する第１判断手段と、
   前記第１判断手段で判断された複数のフレーム最大輝度に基づいて、前記複数のフレーム最大輝度の、最大輝度でない代表輝度を判断する第２判断手段と、
   前記代表輝度を示す第１情報を、前記対象動画を表す対象動画データに付加する付加手段と、
   を有することを特徴とする画像処理装置。
2. 前記代表輝度は、平均輝度または最頻輝度である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記付加手段は、前記複数のフレーム最大輝度の最大輝度と、前記代表輝度との差分が閾値よりも大きい場合に、前記第１情報を前記対象動画データに付加する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記付加手段は、前記第１情報と、前記複数のフレーム最大輝度の最大輝度を示す第２情報とが付加された動画データを生成する
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記複数のフレーム最大輝度の最大輝度を示す第２情報が前記対象動画データに付加されており、
   前記付加手段は、前記対象動画データに付加された前記第２情報を前記第１情報で置き換える
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記フレーム毎に、フレーム最大輝度を示すフレーム輝度情報が前記対象動画データに付加されており、
   前記第１判断手段は、前記フレーム毎に、前記対象動画データに付加されたフレーム輝度情報からフレーム最大輝度を判断する
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記対象動画を表示する表示部の表示輝度の上限輝度である上限表示輝度を判断する第３判断手段、をさらに有し、
   前記付加手段は、さらに、前記上限表示輝度を示す第３情報を前記対象動画データに付加する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記付加手段は、前記複数のフレーム最大輝度の最大輝度が前記上限表示輝度よりも高い場合に、前記第３情報を前記対象動画データに付加する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記付加手段は、前記複数のフレーム最大輝度の最大輝度が前記上限表示輝度よりも高い場合に、前記第１情報を前記対象動画データに付加せずに、前記第３情報を前記対象動画データに付加する
   ことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記付加手段は、前記複数のフレーム最大輝度の最大輝度が前記上限表示輝度よりも高い場合に、前記複数のフレーム最大輝度の最大輝度を示す第２情報と、前記第３情報が付
    加された動画データを生成する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記複数のフレーム最大輝度の最大輝度を示す第２情報が前記対象動画データに付加されており、
    前記付加手段は、前記複数のフレーム最大輝度の最大輝度が前記上限表示輝度よりも高い場合に、前記対象動画データに付加された前記第２情報を前記第３情報で置き換える
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記画像処理装置は、前記対象動画のシーン毎に、前記対象動画データに付加する情報を決定する
    ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 画像を表示する表示部の表示輝度の上限輝度である上限表示輝度を判断する判断手段と、
    前記上限表示輝度を示す情報を、前記画像を表す画像データに付加する付加手段と、
    を有することを特徴とする画像処理装置。
14. 対象動画のフレーム毎に、そのフレームの最大輝度であるフレーム最大輝度を判断するステップと、
    判断された複数のフレーム最大輝度に基づいて、前記複数のフレーム最大輝度の、最大輝度でない代表輝度を判断するステップと、
    前記代表輝度を示す情報を、前記対象動画を表す対象動画データに付加するステップと、
    を有することを特徴とする画像処理方法。
15. 画像を表示する表示部の表示輝度の上限輝度である上限表示輝度を判断するステップと、
    前記上限表示輝度を示す情報を、前記画像を表す画像データに付加するステップと、
    を有することを特徴とする画像処理方法。
16. コンピュータを、請求項１〜１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images