JP2015170904A - 画像処理装置及び画像処理方法、並びに画像処理システム - Google Patents

Abstract

【課題】画像信号の急激な変化により気分が悪くなることがないようなＨＤＲ動画像の視聴を可能にする。
【解決手段】ＨＤＲ動画像の画像供給元の画像処理装置は、元のＨＤＲ動画像から画像信号の変化情報を抽出して、ＨＤＲ動画像とともに出力するようにする。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含み、画像信号が急激に変化する位置よりも事前に出力する。一方、ＨＤＲ動画像の再生側の画像処理装置は、供給されたＨＤＲ動画像に対して変化情報に基づいた処理を適用して、画像信号が急激に変化しないようにする。
【選択図】 図３

Description

本明細書で開示する技術は、高ダイナミック・レンジの動画像を処理する画像処理装置及び画像処理方法、並びに画像処理システムに関する。

最近、撮像素子（イメージ・センサー）の高ビット化などにより、画像の高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）化が進んでいる。ＨＤＲ画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。

例えば、露光量の異なる複数の撮像画像からＨＤＲ画像を合成する撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。

既に最大輝度が５００ｎｉｔや１０００ｎｉｔ程度のＨＤＲ画像に対応したディスプレイが市販され始めている。例えば、ＨＤＲ動画像は、インターネット上のサーバーからストリーミング配信され、ブルーレイ・ディスクなどの記録メディアを媒介にして提供され、あるいは放送局から放送される。ユーザーは、ＨＤＲ対応のディスプレイを用いて、ＨＤＲ動画像を楽しむことができる。

特開２０１３−２５５２０１号公報

本明細書で開示する技術の目的は、高ダイナミック・レンジの動画像を好適に処理することができる画像処理装置及び画像処理方法、並びに画像処理システムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出部と、
動画像ストリームと画像信号の変化情報を出力する出力部と、
を具備する画像処理装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置は、動画像ストリームをエンコードするエンコード部をさらに備えている。そして、前記出力部は、前記エンコード部によりエンコードした後の動画像ストリームを画像信号の変化情報とともに出力するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像処理装置の前記変化情報抽出部は、動画像ストリームを所定のモニターに表示したときの色域又は表示輝度（ｃｄ／ｍ²）、コンテンツの輝度（％）、ニー圧縮時のニー位置情報のうち少なくとも１つについて、画像信号の変化情報として抽出するように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載の画像処理装置の前記出力部は、動画像ストリーム及び変化情報を伝送路に送出するように構成されている。

本願の請求項５に記載の技術によれば、請求項４に記載の画像処理装置の前記変化情報抽出部は動画像ストリームからシーン単位で変化情報を抽出し、前記出力部は、シーン毎に変化情報のＳＥＩをまとめて動画像ストリームの対応するシーンの先頭で伝送するように構成されている。

本願の請求項６に記載の技術によれば、請求項４に記載の画像処理装置の前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信するように構成されている。

本願の請求項７に記載の技術によれば、請求項４に記載の画像処理装置の前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、前記出力部は、動画像ストリームのＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、又はＭＰ４ ｂｏｘのメタデータとして変化情報を送信するように構成されている。

また、本願の請求項８に記載の技術は、
動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出ステップと、
動画像ストリームと画像信号の変化情報を出力する出力ステップと、
を有する画像処理方法である。

また、本願の請求項９に記載の技術は、
動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力部と、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理部と、
を具備する画像処理装置である。

本願の請求項１０に記載の技術によれば、請求項９に記載の画像処理装置は、前記入力部で入力した動画像ストリームをデコードするデコード部をさらに備えている。そして、前記変化情報対応処理部は、前記デコード部でデコードした後の動画像ストリームに対して変化情報に基づく対応処理を行なうように構成されている。

本願の請求項１１に記載の技術によれば、請求項９に記載の画像処理装置の前記入力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を入力するように構成されている。

本願の請求項１２に記載の技術によれば、請求項９に記載の画像処理装置は、前記入力部で入力した情報から画像信号の変化情報を復元する変化情報復元部をさらに備えている。

本願の請求項１３に記載の技術によれば、請求項１２に記載の画像処理装置の前記変化情報復元部は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元するように構成されている。

本願の請求項１４に記載の技術によれば、請求項１２に記載の画像処理装置の前記変化情報復元部は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから変化情報を復元するように構成されている。

本願の請求項１５に記載の技術によれば、請求項９に記載の画像処理装置の前記変化情報復元部は、動画像ストリームのメタデータから、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を復元するように構成されている。

本願の請求項１６に記載の技術によれば、請求項９に記載の画像処理装置の前記変化情報対応処理部は、変化情報に基づいて、動画像ストリームの画像信号の急激な変化を抑制する処理を行なうように構成されている。

また、本願の請求項１７に記載の技術は、
動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力ステップと、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理ステップと、
を有する画像処理方法である。

また、本願の請求項１８に記載の技術は、
動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報とともに動画像ストリームを供給する画像供給装置と、
変化情報に基づいて動画像ストリームの画像信号の急激な変化を抑制する処理を行なう画像利用装置と、
を具備する画像処理システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術によれば、受信又は再生側の装置で画像信号の変化情報を取得できるようにＨＤＲ動画像を処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。

また、本明細書で開示する技術によれば、画像信号の変化情報を事前に取得して、画像信号の急激な変化に対応した表示を行なうようにＨＤＲ動画像を処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。

また、本明細書で開示する技術によれば、画像信号の急激な変化に対応してＨＤＲ動画像を伝送し又は記録する処理を行なうことができる、優れた画像処理システムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、画像信号が時間方向で変化する様子を例示した図である。 図２は、ＨＤＲ動画像の画像供給元の画像処理装置２００の構成例を模式的に示した図である。 図３は、ＨＤＲ動画像の再生側の画像処理装置３００の構成例を模式的に示した図である。 図４は、本明細書で開示する技術を画像伝送システム４００に適用した実施例を模式的に示した図である。 図５は、本明細書で開示する技術を画像記録再生システム５００に適用した実施例を模式的に示した図である。 図６は、本明細書で開示する技術を画像受信装置６００に適用した実施例を模式的に示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

本明細書で開示する技術について説明する前に、ＳＤＲ画像とＨＤＲ画像について説明しておく。

ＨＤＲ画像は、現実世界に近いダイナミック・レンジを持ち、例えば、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達する。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。

一方、動画像をディスプレイの画面に表示する際、輝度や色域などの画像信号が時間的に激しく変化すると、気分が悪くなるなど視聴者の健康被害が懸念される。

図１には、画像信号が時間方向で変化する様子を例示している。但し、横軸を時間軸とし、縦軸を画像信号レベルとする。画像信号は、色域や輝度などである。

図１に示す例では、シーンの切り替わりに起因して画像信号の急激な変化が生じている。シーン１０１は部屋の中のシーン１０２は太陽光・青空の下で撮影された屋外のシーン１０３は爆発するシーン１０４は夜又は夜空のシーンである。１つのシーンは、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットの動画像ストリームにおける１又は２以上のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）で構成される。

各シーン間の切り替わり１１１、１１２、１１３では、色域や輝度といった画像信号が急激に変化する。勿論、シーン内でも画像信号が急激に変化することも想定される。また、シーン間では、フレーム全体で画像信号が急激に変化する場合の他、フレーム内の一部のブロック又は一部の画素で画像信号の急激な変化が生じることも想定される。また、シーンの切り替わりだけでなく、フレームがマルチ画面化したことや、フレーム内に字幕やＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）、メニューが表示されたことなどに起因して、画像信号が急激に変化することもある。いずれにせよ、画像信号が急激に変化すると、視聴者の視覚を過度に刺激し、健康への影響を及ぼす。

とりわけ、ＨＤＲ動画像はダイナミック・レンジが広いことから、図１中の各シーン間の切り替わり１１１、１１２、１１３では画像信号が著しく変化するため、問題はより深刻である。

そこで、本明細書で開示する技術では、ＨＤＲ動画像の画像供給元の画像処理装置は、元のＨＤＲ動画像から画像信号の変化情報を抽出して、ＨＤＲ動画像とともに出力するようにする。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含み、画像信号が急激に変化する位置よりも前もって出力する。一方、ＨＤＲ動画像の再生側の画像処理装置は、供給されたＨＤＲ動画像に対して変化情報に基づいた処理を適用して、画像信号が急激に変化しないようにする。

図２には、ＨＤＲ動画像の画像供給元の画像処理装置２００の構成例を模式的に示している。図示の画像処理装置２００は、エンコード部２０１と、変化情報抽出部２０２と、出力部２０３を備えている。

エンコード部２０１は、画像ソース２１０からソース画像としてのＨＤＲ動画像を入力して、ＭＰＥＧなどの圧縮フォーマットにエンコードする。

変化情報抽出部２０２は、エンコード部２０１がエンコードする前のＨＤＲ動画像から画像信号の変化情報を抽出して、メタデータとして出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。

出力部２０３は、エンコード部２０１がエンコードした後の動画像ストリームと、変化情報抽出部２０２が抽出した変化情報からなる出力情報を外部に出力する。

変化情報抽出部２０２がＨＤＲ動画像から抽出する画像信号の変化情報として、以下の（１）〜（４）を挙げることができる。ここで、マスター・モニターは、ＨＤＲ画像を制作・編集に用いるディスプレイモニターである。また、ｋｎｅｅ ｐｏｉｎｔは、画像の輝度を所定のダイナミック・レンジに収めるように高輝度部分の信号を抑制するニー（ｋｎｅｅ）圧縮する際の入力ニー位置情報並びに出力ニー位置情報である。図１には、シーン１０１、…毎のこれらの画像信号の変化情報１２１、１２２、１２３、１２４を併せて例示している。

（１）マスター・モニターの色域
（２）マスター・モニターの表示輝度（ｃｄ／ｍ²）
（３）コンテンツの輝度（％）
（４）ｋｎｅｅ ｐｏｉｎｔ

但し、これらは例示に過ぎず、（１）〜（４）のうち一部のみを変化情報として抽出する、（１）〜（４）に加えて他の変化情報も抽出する、（１）〜（４）の一部又は全部に変えて他の変化情報を抽出するなどの実装も考えられる。

変化情報抽出部２０２が抽出したメタデータを出力する方法として、既存の運用ルールに従ってメタデータを記述する方法と、メタデータを記述するために新規のデータを定義する方法が挙げられる。

既存の運用ルールに従う方法として、例えば、上記の変化情報（１）〜（４）を、以下に示すように、ＭＰＥＧで既に定義されているＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）に記述することができる。

（１）マスター・モニターの色域
→Ｃｏｌｏｕｒ ｐｒｉｍａｒｉｅｓ ｉｎｆｏ ＳＥＩ（Ｍａｓｔｅｒｉｎｇ ｄｉｓｐｌａｙ ｉｎｆｏ ＳＥＩ）
（２）マスター・モニターの表示輝度（ｃｄ／ｍ²）
→Ｔｏｎｅ ｍａｐｐｉｎｇ ｉｎｆｏ ＳＥＩ又はＫｎｅｅ ｆｕｎｃｔｉｏｎ ｉｎｆｏ ＳＥＩ
（３）コンテンツの輝度（％）
→Ｔｏｎｅ ｍａｐｐｉｎｇ ｉｎｆｏ ＳＥＩ又はＫｎｅｅ ｆｕｎｃｔｉｏｎ ｉｎｆｏ ＳＥＩ
（４）ｋｎｅｅ ｐｏｉｎｔ
→Ｋｎｅｅ ｆｕｎｃｔｉｏｎ ｉｎｆｏ ＳＥＩ

あるいは、変化することや（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を記述する新規のデータを定義し、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどに格納する。

また、ＨＤＲ動画像の再生側では供給されたＨＤＲ動画像に対して変化情報に基づいた処理を行なうので、後述するように、ＨＤＲ動画像よりも前もって変化情報が再生側に届くように、メタデータを出力する必要がある。

既存の運用ルールに従って画像信号の変化情報を記述する場合、例えば、変化情報抽出部２０２は、シーン単位で各変化情報（１）〜（４）を抽出する。そして、出力部２０３は、各変化情報（１）〜（４）をまとめて、動画像ストリームのシーンの先頭に配置し、又は、シーンの先頭に対応付けて出力する。

あるいは，変化情報抽出部２０２は、変化情報を記述した既存のメタデータの値を少しずつ変化させる。そして、出力部２０３は、動画像ストリームの再生位置に合せて逐次配置し、又は、再生位置に対応付けて出力する。例えば、輝度を少しずつ下げたメタデータの値を、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント（又は、画像信号が急激に変化する位置）の前後に配置し又は対応付けて出力する。

また、新規のデータを定義して、画像信号の変化情報を事前に通知する。例えば、変化情報抽出部２０２は、動画像ストリームのＸＸ秒後（又はＸＸフレーム後）に画像信号が急激に変化することを検出すると、その変化情報として、画像信号が急激に変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を出力する。そして、出力部２０３は、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどで伝送する。

図３には、ＨＤＲ動画像の再生側の画像処理装置３００の構成例を模式的に示している。図示の画像処理装置３００は、入力部３０１と、デコード部３０２と、変化情報復元部３０３と、変化情報対応処理部３０４を備えている。

入力部３０１は、ＨＤＲ動画像の画像供給元の画像処理装置２００から出力された出力情報を入力する。画像処理装置２００からの出力情報は、エンコードされた動画像ストリームと、画像信号の変化情報を含んでいる。変化情報は、動画像ストリームで画像信号が急激に変化する位置よりも前もって入手できるように、出力情報に格納されている。例えば、シーン毎に抽出された各変化情報のＳＥＩがまとめてシーンの先頭に配置され、又はシーンの先頭に対応付けて出力情報に含まれている（前述）。入力部３０１は、入力した出力情報から、動画像ストリームと変化情報を分離する。

デコード部３０２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードして、変化情報対応処理部３０４に出力する。デコード部３０２から変化情報対応処理部３０４へは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などのインターフェースを用いて動画像ストリームが伝送される。

変化情報復元部３０３は、入力部３０１で入力した出力情報に含まれている変化情報を復元して、変化情報対応処理部３０４に出力する。

例えば、変化情報復元部３０３は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元する。

あるいは、変化情報復元部３０３は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから、変化情報を復元する。

あるいは、変化情報復元部３０３は、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどで伝送されてきたメタデータから、画像信号が急激に変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を記載した変化情報を復元する。

変化情報対応処理部３０４は、動画像ストリームで画像信号が急激に変化する位置よりも前もって、変化情報復元部３０３から変化情報を取得することができる。そして、変化情報対応処理部３０４は、デコード部３０２から入力される動画像ストリームが、画像信号が急激に変化する位置に到達すると、事前に取得した変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。

例えば、変化情報対応処理部３０４は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。なお、変化情報対応処理部３０４は、画像信号が急激に変化するフレーム全体、フレーム内で画像信号が急激に変化するブロック、又は、画像信号が急激に変化する画素について、対応処理を行なう。

変化情報対応処理部３０４で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。

図４には、本明細書で開示する技術を画像伝送システム４００に適用した実施例を模式的に示している。図示の画像伝送システム４００は、画像送信装置４１０と画像受信装置４２０で構成され、伝送路４３０を介して動画像ストリームの伝送が行なわれる。

例えば、画像送信装置４１０は、地上波又は衛星波のディジタル放送の放送局であり、画像受信装置４２０は、ディジタル放送信号を選局受信するＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、チューナー、ディジタルＴＶなどである。伝送路４３０は、放送信号が伝搬する空間である。また、画像送信装置４１０は、例えばＨＤＲの番組コンテンツを放送する放送事業者によって運営される。

あるいは、画像送信装置４１０は、動画像ストリームをストリーミング配信する配信サーバー、画像受信装置４２０は、動画像ストリームを受信して視聴するパーソナル・コンピューターなどの情報機器である。この場合の伝送路４３０は、インターネットなどのＴＣＰ／ＩＰネットワークである。また、画像送信装置４１０は、ＨＤＲ動画像をインターネットなどのネットワークでストリーミング配信するコンテンツ提供業者によって運営される。

画像送信装置４１０は、エンコード部４１１と、変化情報抽出部４１２と、送信部４１３を備えている。

エンコード部４１１は、マスター・モニター（図示しない）などの画像ソースからソース画像としてのＨＤＲ動画像を入力して、ＭＰＥＧなどの圧縮フォーマットにエンコードする。

変化情報抽出部４１２は、エンコード部４１１がエンコードする前のＨＤＲ動画像から画像信号の変化情報を抽出して、メタデータとして出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。変化情報の具体的例は既に説明した通りである。

送信部４１３は、エンコードした後の動画像ストリームと画像信号の変化情報を含んだメタデータなどの送信情報をパケット化して、伝送路４３０に送出する。

画像受信装置４２０側で画像信号の変化に対応した処理を行なうためには、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって、対応するメタデータが画像受信装置４２０に届くようにしなければならない。

例えば、変化情報抽出部４１２は、シーン単位で各変化情報を抽出する。そして、送信部４１３は、各変化情報のＳＥＩをまとめて、動画像ストリームの対応するシーンの先頭で送るようにする。

あるいは、変化情報抽出部４１２は、値を少しずつ変化させた変化情報を抽出する。そして、送信部４１３は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信する。例えば、輝度を少しずつ下げたメタデータの値を、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント前後で、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘを用いて送信する。

あるいは、変化情報抽出部４１２は、動画像ストリームのＸＸ秒後（又はＸＸフレーム後）に画像信号が急激に変化することを検出して、その変化情報として、変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を出力する。そして、送信部４１３は、ＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどで変化情報を事前に送信する。

画像受信装置４２０は、受信部４２１と、デコード部４２２と、変化情報復元部４２３と、変化情報対応処理部４２４を備えている。

受信部４２１は、画像送信装置４１０から送信されたパケットを受信し、整列化して、元の動画像ストリームを組み立てる。

デコード部４２２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードして、変化情報対応処理部４２４に出力する。デコード部４２２から変化情報対応処理部４２４へは、例えばＨＤＭＩ（登録商標）などのインターフェースを用いて動画像ストリームが伝送される。

変化情報復元部４２３は、受信した動画像ストリームのＳＥＩやＴＳ Ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどに格納されている変化情報を取り出して、復元し、変化情報対応処理部４２４に出力する。変化情報は、変化情報対応処理部４２４で画像信号の変化に対応した処理が可能となるように、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって伝送されている。

変化情報対応処理部４２４は、動画像ストリームで画像信号が急激に変化する位置よりも前もって、変化情報復元部４２３から変化情報を取得する。そして、変化情報対応処理部４２４は、デコード部４２２から入力される動画像ストリームが、画像信号が急激に変化する位置に到達すると、事前に取得した変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。例えば、変化情報対応処理部４２４は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。

変化情報対応処理部４２４で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。

図５には、本明細書で開示する技術を画像記録再生システム５００に適用した実施例を模式的に示している。図示の画像記録再生システム５００は、動画像ストリームを画像蓄積装置５３０に記録する画像記録装置５１０と、画像蓄積装置５３０に記録された動画像ストリームを再生する画像再生装置５２０で構成される。画像蓄積装置５３０は、ハード・ディスク・ドライブなどの大容量記録装置や、ブルーレイ・ディスクなどの可搬型記録メディアへのデータの書き込み並びに読み出しを行なうメディア記録再生装置などである。画像記録装置５１０は、例えばＨＤＲ動画像を記録したブルーレイ・ディスクなどの記録メディアを販売するメディア販売事業者などによって運営される。

画像記録装置５１０は、エンコード部５１１と、変化情報抽出部５１２と、データ書き込み部５１３を備えている。

エンコード部５１１は、ソース画像としてのＨＤＲ動画像を入力して、ＭＰＥＧなどの圧縮フォーマットにエンコードする。

変化情報対応処理部５１２は、エンコード部５１１がエンコードする前のＨＤＲ動画像から画像信号の変化情報を抽出して、メタデータとして出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。変化情報の具体的例は既に説明した通りである。

データ書き込み部５１３は、エンコードした後の動画像ストリームと画像信号の変化情報を含んだメタデータなどの記録情報を、例えばＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）などの所定のファイル・システムに従って、画像蓄積装置５３０に書き込む。

画像再生装置５２０側で画像信号の変化に対応した処理を行なうためには、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって、画像再生装置５２０が対応するメタデータを取得できるようにしなければならない。

例えば、変化情報抽出部５１２は、シーン単位で各変化情報を抽出する。そして、データ書き込み部５１３は、各変化情報をまとめて、動画像ストリームの対応するシーンの先頭に配置して、画像蓄積装置５３０に記録するようにする。あるいは、データ書き込み部５１３は、シーン単位で抽出された各変化情報を、対応するシーンの先頭位置との対応関係が分かるようにして、動画像ストリームとは別のファイルとして画像蓄積装置５３０に記録するようにする。

あるいは、変化情報抽出部５１２は、変化情報を記述したメタデータの値を少しずつ変化させる。そして、データ書き込み部５１３は、動画像ストリームの再生位置に合わせてメタデータを画像蓄積装置５３０に記録する。例えば、輝度を少しずつ下げたメタデータの値を、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント前後に記録する。

あるいは、変化情報抽出部５１２は、動画像ストリームのＸＸ秒後（又はＸＸフレーム後）に画像信号が急激に変化することを検出して、その変化情報として、変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を出力する。そして、データ書き込み部５１３は、動画像ストリームのＸＸ秒前又はＸＸフレーム前の位置に変化情報を配置して、画像蓄積装置５３０に記録する。

画像再生装置５２０は、データ読み出し部５２１と、デコード部５２２と、変化情報復元部５２３と、変化情報対応処理部５２４を備えている。

データ読み出し部５２１は、画像蓄積装置５３０から動画像ストリームやメタデータを読み出す。

デコード部５２２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードして、変化情報対応処理部５２４に出力する。デコード部５２２から変化情報対応処理部５２４へは、例えばＨＤＭＩ（登録商標）などのインターフェースを用いて動画像ストリームが伝送される。

変化情報復元部５２３は、データ読み出し部５２１が画像蓄積装置５３０から読み出したメタデータから、変化情報を復元して、変化情報対応処理部５２４に出力する。

変化情報対応処理部５２４で画像信号の変化に対応した処理が可能となるように、変化情報復元部５２３は、動画像ストリーム上で画像信号が急激に変化する位置よりも前もって、対応する変化情報を復元する。

例えば、変化情報のメタデータは動画像ストリームの対応するシーンの先頭に配置されている。あるいは、変化情報は、対応するシーンの先頭位置との対応関係が分かるようにして、動画像ストリームとは別のファイルとして画像蓄積装置５３０に記録されている。

あるいは、値を少しずつ変化させた変化情報のメタデータが動画像ストリームの再生位置に合わせて画像蓄積装置５３０に記録される。例えば、輝度を少しずつ下げたメタデータの値が、Ｆａｄｅ Ｉｎ／Ｏｕｔのように、本来のシーン切り替えポイント前後に記録されている。

あるいは、変化する位置情報や（ＸＸ秒後、又は、ＸＸフレーム後）、変化の有無を示す情報（Ｕｐ／Ｄｏｗｎフラグなど）、変化量に関する情報（差分又は絶対値）を含んだ変化情報のメタデータが、動画像ストリームの画像信号が急激に変化するよりもＸＸ秒前（又はＸＸフレーム前）に配置して、画像蓄積装置５３０に記録されている。

変化情報対応処理部５２４は、動画像ストリームで画像信号が急激に変化する位置よりも前もって、変化情報復元部４２３から変化情報を取得する。そして、変化情報対応処理部５２４は、デコード部５２２から入力される動画像ストリームが、画像信号が急激に変化する位置に到達すると、事前に取得した変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。例えば、変化情報対応処理部５２４は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。

変化情報対応処理部５２４で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。

図６には、本明細書で開示する技術を画像受信装置６００に適用した実施例を模式的に示している。画像受信装置６００は、例えば放送局から放送され、あるいは、インターネット上の配信サーバーから配信されるＨＤＲ動画像ストリームを受信する。

図示の画像受信装置６００は、受信部６０１と、デコード部６０２と、変化情報抽出部６０３と、遅延部６０４と、変化情報対応処理部６０５を備えている。

受信部６０１は、伝送路６１０からパケットを受信し、整列化して、元の動画像ストリームを組み立てる。また、デコード部６０２は、ＭＰＥＧなどの圧縮フォーマットにエンコードされている動画像ストリームをデコードする。

変化情報抽出部６０３は、デコード部でデコードした後のＨＤＲ動画像ストリームから、画像信号の変化情報を抽出して、変化情報対応処理部６０５に出力する。画像信号の変化情報は、画像信号が急激に変化する位置や変化量などの情報を含む。変化情報の具体的例は既に説明した通りである。

例えば、変化情報抽出部６０３は、シーン単位で画像信号の変化情報を抽出する。遅延部６０４は、変化情報抽出部６０３がシーンの変化情報を抽出し、該当するシーンの処理が可能なるまで、デコード部６０２がデコードした動画像ストリームの変化情報対応処理部６０５への入力を遅延させる。

変化情報対応処理部６０５は、動画像ストリームに対して、変化情報抽出部６０３から供給される変化情報に基づいて、画像信号の急激な変化を和らげる処理を行なう。例えば、変化情報対応処理部６０５は、急激に変化する位置の画像信号をローパス・フィルターにかけて高周波成分を除去し又は抑制する。

変化情報対応処理部６０５で処理された動画像ストリームは、液晶表示パネルなどＨＤＲ対応ディスプレイ（図示しない）で表示される。ＨＤＲ対応ディスプレイで表示されるＨＤＲ動画像は、画像信号の急激な変化が抑えられているので、視聴者の気分が悪くなるなどの健康被害を防止することができる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術を画像伝送システムや画像記録再生システム、画像受信装置に適用した実施例について説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。ＨＤＲ動画像を表示するさまざまなシステムに、同様に、本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出部と、
動画像ストリームと画像信号の変化情報を出力する出力部と、
を具備する画像処理装置。
（２）動画像ストリームをエンコードするエンコード部をさらに備え、
前記出力部は、前記エンコード部によりエンコードした後の動画像ストリームを画像信号の変化情報とともに出力する、
上記（１）に記載の画像処理装置。
（３）前記変化情報抽出部は、動画像ストリームを所定のモニターに表示したときの色域又は表示輝度（ｃｄ／ｍ²）、コンテンツの輝度（％）、ニー圧縮時のニー位置情報のうち少なくとも１つについて、画像信号の変化情報として抽出する、
上記（１）に記載の画像処理装置。
（４）前記出力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を出力する、
上記（１）に記載の画像処理装置。
（５）前記変化情報抽出部は、動画像ストリームのシーン単位で画像信号の変化情報を抽出し、
前記出力部は、シーン毎の変化情報を動画像ストリームのシーンの先頭に配置し又はシーンの先頭に対応付けて出力する、
上記（４）に記載の画像処理装置。
（６）前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、
前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後に変化情報を配置し又は対応付けて出力する、
上記（４）に記載の画像処理装置。
（７）前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、
前記出力部は、変化情報を動画像ストリームのメタデータとして出力する、
上記（４）に記載の画像処理装置。
（８）前記出力部は、動画像ストリーム及び変化情報を伝送路に送出する、
上記（１）に記載の画像処理装置。
（９）前記変化情報抽出部は動画像ストリームからシーン単位で変化情報を抽出し、
前記出力部は、シーン毎に変化情報のＳＥＩをまとめて動画像ストリームの対応するシーンの先頭で伝送する、
上記（８）に記載の画像処理装置。
（１０）前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、
前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信する、
上記（８）に記載の画像処理装置。
（１１）前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、
前記出力部は、動画像ストリームのＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、ＭＰ４ ｂｏｘなどのメタデータとして変化情報を送信する、
上記（８）に記載の画像処理装置。
（１２）動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出ステップと、
動画像ストリームと画像信号の変化情報を出力する出力ステップと、
を有する画像処理方法。
（１３）動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力部と、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理部と、
を具備する画像処理装置。
（１４）前記入力部で入力した動画像ストリームをデコードするデコード部をさらに備え、
前記変化情報対応処理部は、前記デコード部でデコードした後の動画像ストリームに対して変化情報に基づく対応処理を行なう、
上記（１３）に記載の画像処理装置。
（１５）前記入力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を入力する、
上記（１３）に記載の画像処理装置。
（１６）前記入力部で入力した情報から画像信号の変化情報を復元する変化情報復元部をさらに備える、
上記（１３）に記載の画像処理装置。
（１７）前記変化情報復元部は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元する、
上記（１６）に記載の画像処理装置。
（１８）前記変化情報復元部は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから変化情報を復元する、
上記（１６）に記載の画像処理装置。
（１９）前記変化情報復元部は、動画像ストリームのメタデータから、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を復元する、
上記（１６）に記載の画像処理装置。
（２０）前記変化情報対応処理部は、変化情報に基づいて、動画像ストリームの画像信号の急激な変化を抑制する処理を行なう、
上記（１３）に記載の画像処理装置。
（２１）動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力ステップと、
入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理ステップと、
を有する画像処理方法。
（２２）動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報とともに動画像ストリームを供給する画像供給装置と、
変化情報に基づいて動画像ストリームの画像信号の急激な変化を抑制する処理を行なう画像利用装置と、
を具備する画像処理システム。

２００…画像処理装置（画像供給元）
２０１…エンコード部、２０２…変化情報抽出部、２０３…出力部
３００…画像処理装置（再生側）
３０１…入力部、３０２…デコード部、３０３…変化情報復元部
３０４…変化情報対応処理部
４００…画像伝送システム
４１０…画像送信装置、４１１…エンコード部、４１２…変化情報抽出部
４１３…送信部
４２０…画像受信装置、４２１…受信部、４２２…デコード部
４２３…変化情報復元部、４２４…変化情報対応処理部、４３０…伝送路
５００…画像記録再生システム
５１０…画像記録装置、５１１…エンコード部、５１２…変化情報抽出部
５１３…データ書き込み部
５２０…画像再生装置、５２１…データ読み出し部、５２２…デコード部
５２３…変化情報復元部、５２４…変化情報対応処理部
５３０…画像蓄積装置
６００…画像受信装置、６０１…受信部、６０２…デコード部
６０３…変化情報抽出部、６０４…遅延部、６０５…変化情報対応処理部

Claims (18)

1. 動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出部と、
   動画像ストリームと画像信号の変化情報を出力する出力部と、
   を具備する画像処理装置。
2. 動画像ストリームをエンコードするエンコード部をさらに備え、
   前記出力部は、前記エンコード部によりエンコードした後の動画像ストリームを画像信号の変化情報とともに出力する、
   請求項１に記載の画像処理装置。
3. 前記変化情報抽出部は、動画像ストリームを所定のモニターに表示したときの色域又は表示輝度（ｃｄ／ｍ²）、コンテンツの輝度（％）、ニー圧縮時のニー位置情報のうち少なくとも１つについて、画像信号の変化情報として抽出する、
   請求項１に記載の画像処理装置。
4. 前記出力部は、動画像ストリーム及び変化情報を伝送路に送出する、
   請求項１に記載の画像処理装置。
5. 前記変化情報抽出部は動画像ストリームからシーン単位で変化情報を抽出し、
   前記出力部は、シーン毎に変化情報のＳＥＩをまとめて動画像ストリームの対応するシーンの先頭で伝送する、
   請求項４に記載の画像処理装置。
6. 前記変化情報抽出部は、値を少しずつ変化させた変化情報を抽出し、
   前記出力部は、動画像ストリームの画像信号が急激に変化する位置の前後の変化情報をメタデータで送信する、
   請求項４に記載の画像処理装置。
7. 前記変化情報抽出部は、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を抽出し、
   前記出力部は、動画像ストリームのＳＥＩやＴＳ ｄｅｓｃｒｉｐｔｏｒ、又はＭＰ４ ｂｏｘのメタデータとして変化情報を送信する、
   請求項４に記載の画像処理装置。
8. 動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報を抽出する変化情報抽出ステップと、
   動画像ストリームと画像信号の変化情報を出力する出力ステップと、
   を有する画像処理方法。
9. 動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力部と、
   入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理部と、
   を具備する画像処理装置。
10. 前記入力部で入力した動画像ストリームをデコードするデコード部をさらに備え、
    前記変化情報対応処理部は、前記デコード部でデコードした後の動画像ストリームに対して変化情報に基づく対応処理を行なう、
    請求項９に記載の画像処理装置。
11. 前記入力部は、動画像ストリームの画像信号が急激に変化する位置よりも前もってその位置における変化情報を入力する、
    請求項９に記載の画像処理装置。
12. 前記入力部で入力した情報から画像信号の変化情報を復元する変化情報復元部をさらに備える、
    請求項９に記載の画像処理装置。
13. 前記変化情報復元部は、動画像ストリームのシーン単位で抽出されシーンの先頭に配置され又は対応付けられている変化情報を復元する、
    請求項１２に記載の画像処理装置。
14. 前記変化情報復元部は、値を少しずつ変化させ画像信号が急激に変化する位置の前後に配置され又は対応付けられたメタデータから変化情報を復元する、
    請求項１２に記載の画像処理装置。
15. 前記変化情報復元部は、動画像ストリームのメタデータから、次に画像信号が急激に変化する位置までの時間又はフレーム数と、その位置での画像信号の変化量を含む変化情報を復元する、
    請求項１２に記載の画像処理装置。
16. 前記変化情報対応処理部は、変化情報に基づいて、動画像ストリームの画像信号の急激な変化を抑制する処理を行なう、
    請求項９に記載の画像処理装置。
17. 動画像ストリームを画像信号が急激に変化する位置における画像信号の変化情報とともに入力する入力ステップと、
    入力した動画像ストリームに変化情報に基づく対応処理を行なう変化情報対応処理ステップと、
    を有する画像処理方法。
18. 動画像ストリームの画像信号が急激に変化する位置における画像信号の変化情報とともに動画像ストリームを供給する画像供給装置と、
    変化情報に基づいて動画像ストリームの画像信号の急激な変化を抑制する処理を行なう画像利用装置と、
    を具備する画像処理システム。