JP2017103745A - 映像再生装置及び映像再生方法 - Google Patents

映像再生装置及び映像再生方法 Download PDF

Info

Publication number
JP2017103745A
JP2017103745A JP2016105067A JP2016105067A JP2017103745A JP 2017103745 A JP2017103745 A JP 2017103745A JP 2016105067 A JP2016105067 A JP 2016105067A JP 2016105067 A JP2016105067 A JP 2016105067A JP 2017103745 A JP2017103745 A JP 2017103745A
Authority
JP
Japan
Prior art keywords
video
brightness
picture
luminance
gop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016105067A
Other languages
English (en)
Other versions
JP6641230B2 (ja
Inventor
島田 昌明
Masaaki Shimada
昌明 島田
孝介 八木
Kosuke Yagi
孝介 八木
友秀 奥村
Tomohide Okumura
友秀 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2017103745A publication Critical patent/JP2017103745A/ja
Application granted granted Critical
Publication of JP6641230B2 publication Critical patent/JP6641230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

【課題】例えばHDRビデオを早送りするなどの特殊再生時においても、高輝度の輝点が画面上を激しく動くことを抑制し、視聴者の目の疲れを従来より軽減できる映像再生装置及び映像再生方法を提供する。【解決手段】映像再生装置100は、外部からの指示を受信する操作受信部121と、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を操作受信部121から得た場合に、HDRビデオの再生制御情報に基づいて速度に従い決定されたジャンプ先のGOP701が有するIピクチャ710の輝度値、及びGOP701を基準とする設定範囲内における他のGOP701が有するIピクチャ710の輝度値のうち、設定輝度802に最も近い輝度値を持つIピクチャ710を選択し、設定輝度802に最も近い輝度値を特殊再生の映像に持つIピクチャ710を使用する制御を行うシステム制御部101とを備える。【選択図】図1

Description

本発明は、通常の映像の輝度情報より広い範囲の輝度情報を持つHDR(High Dynamic Range)ビデオについて再生を制御する映像再生装置及び映像再生方法に関するものである。
従来の映像再生装置は、例えば標準ビデオの第1の輝度範囲より広い第2の輝度範囲を有する拡張ビデオ(HDRビデオ)を記録した記録媒体から、データを読み出す読み出し部と、拡張ビデオを表示可能な表示装置と通信を行い、表示装置の識別情報を取得する第1の取得部と、表示装置の仕様に応じた輝度調整用データを取得する第2の取得部と、拡張ビデオの輝度を、輝度調整用データに基づいて調整する調整部と、輝度調整後の拡張ビデオのデータを表示装置に出力する出力部とを備える映像再生装置が開示されている(例えば、特許文献1参照)。
国際公開第2015/045916号
このような映像再生装置にあっては、HDRビデオの通常速度の再生時において、モニタが表示可能な輝度値に表示する映像を調整するが、早送り、巻き戻し、スロー再生、又はスチル表示などの特殊再生時に対応した輝度値の調整は行われていなかった。それゆえ、例えばHDRビデオを早送りした際などにおいて、高輝度の輝点が画面上を激しく動くことがあり、視聴者の目が疲れやすくなるといった問題点があった。
本発明は、上述のような問題を解決するためになされたもので、例えばHDRビデオを早送りするなどの特殊再生時においても、高輝度の輝点が画面上を激しく動くことを抑制し、視聴者の目の疲れを従来より軽減できる映像再生装置及び映像再生方法を提供することを目的とする。
本発明に係る映像再生装置は、外部からの指示を受信する操作受信部と、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を操作受信部から得た場合に、HDRビデオの再生制御情報に基づいて速度に従い決定されたジャンプ先のGOPが有するIピクチャの輝度値、及びこのGOPを基準とする設定範囲内における他のGOPが有するIピクチャの輝度値のうち、設定輝度に最も近い輝度値を持つIピクチャを選択し、設定輝度に最も近い輝度値を持つIピクチャを特殊再生の映像に使用する制御を行うシステム制御部とを備えたものである。
また、本発明に係る映像再生方法は、操作受信部が、外部からの指示を受信し、システム制御部が、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を操作受信部から得た場合に、HDRビデオの再生制御情報に基づいて速度に従い決定されたジャンプ先のGOPが有するIピクチャの輝度値、及びこのGOPを基準とする設定範囲内における他のGOPが有するIピクチャの輝度値のうち、設定輝度に最も近い輝度値を持つIピクチャを選択し、設定輝度に最も近い輝度値を持つIピクチャを特殊再生の映像に使用する制御を行うものである。
本発明に係る映像再生装置及び映像再生方法によれば、例えばHDRビデオを早送りするなどの特殊再生時においても、高輝度の輝点が画面上を激しく動くことを抑制し、視聴者の目の疲れを従来より軽減できる。
本発明の実施の形態1に係る映像再生装置の構成を示すブロック図である。 本発明の実施の形態1に係る映像再生装置のハードウェア構成図である。 HDRビデオの画像例である。 本発明の実施の形態1に係る光ディスクの論理ファイル構造の説明図である。 本発明の実施の形態1に係るストリーム情報ファイルの内部データ構造を説明する図である。 本発明の実施の形態1に係る再生制御情報ファイルにおけるシンタックスを説明する図である。 本発明の実施の形態1に係る映像ストリーム700のデータ構造の説明図である。 本発明の実施の形態1に係る近傍フレーム輝度情報524のデータ構造の説明図である。 本発明の実施の形態1に係る映像再生装置の特殊再生輝度テーブルを示す図である。 本発明の実施の形態1に係る早送り再生時のジャンプを説明する図である。 本発明の実施の形態1に係る映像再生装置の再生処理を説明するフローチャートである。 本発明の実施の形態1に係る特殊再生のジャンプ位置補正処理のフローチャートである。 本発明の実施の形態2に係る近傍フレーム輝度情報1200のデータ構造の説明図である。 本発明の実施の形態2に係る映像再生装置の再生処理を説明するフローチャートである。
実施の形態1.
本発明の実施の形態1に係る映像再生装置100を図1〜12を用いて説明する。図において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは、明細書の全文において共通することである。
従来の光ディスク規格では、例えば、標準の輝度(100nit)のモニタで視聴することを前提にビデオオーサリングが行われていた。近年では10000nitを超えるような標準の輝度よりも高輝度の映像を表現できるモニタが市販されはじめ、このようなダイナミックレンジが広いモニタで高品位の映像を視聴したいという要求が高くなっている。
本発明の実施の形態1に係る映像再生装置100は、通常の映像の輝度情報より広い範囲の輝度情報を持つHDR(High Dynamic Range)ビデオの再生の制御を行う装置である。HDRビデオは、表示処理が可能な輝度信号の最大値と最小値の範囲が従来のSDR(Standard Dynamic Range)ビデオよりも広いものである。例えば、HDRビデオを任意の再生速度以上で再生する場合などに、本発明の実施の形態1に係る映像再生装置100は、特殊再生の映像の輝度変化が小さくなるように表示するピクチャを選択することで、輝点のちらつきによる目の疲れを低減することができる。
図1は、本発明の実施の形態1に係る映像再生装置100の構成を示すブロック図である。図1に示すように、実施の形態1に係る映像再生装置100は、システム制御部101、デコーダブロック部115、記憶部120、及び操作受信部121を有する。また、デコーダブロック部115は、再生ドライブ部102、ストリーム制御部110、映像音声デコーダ部111、及びデジタルインターフェース部112を有する。図1を用いて、映像再生装置100の構成と一般的な再生処理の流れを説明する。
光ディスク103には、後述する符号化映像が多重化されたストリーム情報、および当該ストリーム情報の再生制御情報が記録されている。再生制御情報とは、光ディスク103に記録されているストリーム情報から分離され、符号化された映像ストリーム及び音声ストリームに関する映像及び音声の属性情報、並びにストリーム情報のアクセス単位(通常、後述するGOP(Group of Picture)単位)で再生開始時間情報と再生開始位置情報との対応関係を示す情報などを有する。また、再生制御情報は、所定のGOPを基準とし、設定範囲内におけるGOPが有する映像フレーム(特にIピクチャ)の輝度情報を、各アクセス単位毎に有している。ここで、設定範囲は、GOP単位で予め定められた範囲であり、任意に変更可能である。例えば本発明の実施の形態1において、設定範囲は、基準とする所定のGOPと時間方向に並べられた前後3つのGOPとを含む範囲である。
システム制御部101は映像再生装置100の全体を統合制御する。また、システム制御部101は、光ディスク103に記録されたMPEG−2 TransportStream(以下、MPEG−2 TS)などの形式で符号化圧縮されたストリーム情報を再生させる場合、再生対象のストリーム情報に関連する再生制御情報をあらかじめ読み出しておく。システム制御部101は、読み出した再生制御情報を即座に読み出せるように記憶部120に保持させる。システム制御部101は、記憶部120に保持された再生制御情報に基づき、映像再生装置100における周辺のデバイスに対して再生準備を行うよう指示する。また、システム制御部101は、表示機器情報取得部151と特殊再生フレーム選択部152とを有する。なお、本発明に係る映像再生装置100のシステム制御部101の具体的な処理例は、後ほど説明する。
表示機器情報取得部151は、表示装置通信部114を通じて、映像表示装置113の表示性能の情報を含む表示可能フォーマット(映像表示装置113のHDR対応の有無、最大出力輝度値、推奨最大輝度値、製造者名、製造年、表示可能解像度、又はインターレース対応可否など)を取得する。なお、映像表示装置113は、表示可能フォーマットをEDID(Extended Display Identification Data)として不揮発性メモリに記録している。また、推奨最大輝度値とは、映像表示装置113側でバックライトの定格以内で表示可能な最大輝度の設定値を示す。
特殊再生フレーム選択部152は、映像再生装置100で、早送り、巻き戻し、スロー再生、又はスチル表示などの特殊再生を行った際に映像フレームのジャンプ先を決定する。ここで、特殊再生のうち、早送り又は巻き戻しを行う特殊再生は、通常再生速度を1倍速とした場合において、1倍速を超える速度で早送り又は巻き戻しを行う。通常、早送り又は巻き戻しなどの特殊再生を行うと、再生速度に従って予め定められた時間分の映像フレームを飛ばすジャンプが行われ、再生速度に従って決定される時間位置の映像フレームが再生される。係るジャンプを繰り返して映像フレームを再生することで、早送り又は巻き戻しなどの特殊再生が実現される。例えば、5倍速再生の場合には1秒分、10倍速再生の場合には2秒分の映像フレームが飛ばされる。その後、特殊再生フレーム選択部152は、後述する光ディスク103に記録されている近傍フレーム輝度情報に基づいて、ジャンプ先の映像フレームを決定する。
デコーダブロック部115は、映像ストリーム及び音声ストリームの記録再生機能を担うブロックの総称である。本発明の実施の形態1において、デコーダブロック部115は、システム制御部101からの指示に基づき、光ディスク103に記録されたストリーム情報の再生を行う。また、デコーダブロック部115が記録機能を有している場合、デコーダブロック部115は、光ディスクにストリーム情報等の記録を行うこともできる。
再生ドライブ部102は、光ディスク103に記録された情報の読出しを行う。
ストリーム制御部110は、映像再生装置100全体のストリーム情報の流れを統括する制御を行う。ストリーム制御部110は、再生ドライブ部102で光ディスク103に記録されたストリーム情報を読み出させ、読み出されたストリーム情報を映像音声デコーダ部111に供給する。
映像音声デコーダ部111は、ストリーム制御部110を経由して供給されたストリーム情報を逐次取り込んだ後に、符号化圧縮された映像ストリーム及び音声ストリームに分離して、それぞれを取り出す。その後、映像音声デコーダ部111は、MPEG−2などで符号化された映像ストリームをデコード処理して映像信号に復号する。一方、映像音声デコーダ部111は、AC−3などで符号化された音声ストリームも同様にデコード処理を行い、音声信号に復号する。そして復号された映像信号及び音声信号は、デジタルインターフェース部112に出力される。
デジタルインターフェース部112は、映像音声デコーダ部111から供給された映像信号及び音声信号を、例えば、HDMI(登録商標)インターフェースに適合した信号に変換する。また、デジタルインターフェース部112は、表示装置通信部114を有する。
表示装置通信部114は、デジタルインターフェース部112でHDMIインターフェースに適合した信号に変換された映像信号および音声信号を映像表示装置113に伝送する。なお、本実施の形態1では、デジタルインターフェース部112が表示装置通信部114を有する例について示しているが、デジタルインターフェース部112とは別に設けられていてもよい。
記憶部120は再生制御情報等の各種データの保存を行い、必要な場合に適宜読み出される。操作受信部121は、外部からの指示を受信する。つまり、操作受信部121は、ユーザーなどから映像再生装置100に対して処理の要求等を行う操作装置130からの入力信号を受信する。また、システム制御部101と記憶部120とは互いに接続され、記憶部120は、後述する、特殊再生速度に応じた設定輝度値をリスト化した特殊再生輝度テーブル140を持つ。
一般的に操作装置130は、映像再生装置100のフロントパネルに配置されている操作パネル又はリモコンなどである。システム制御部101は、操作装置130によって入力された命令の内容に基づき、デコーダブロック部115を制御することで任意のストリーム情報を再生する。また操作装置130は、映像の再生開始、再生停止、一時停止、早送り、巻き戻し、スロー再生、又はスキップなどの指示を行う。
映像表示装置113は、デジタルインターフェース部112でHDMI信号に変換されて出力された映像信号および音声信号を受信し、映像の表示及び音声の出力を行う。また、映像再生装置100から映像信号および音声信号が、表示装置通信部114を通じて出力される際に、映像再生装置100は、ブランキング期間にHDMI規格で規定されている映像音声に関する映像属性情報を映像表示装置113に伝送する。伝送される映像属性情報は、映像再生装置100から出力された映像信号のHDRビデオの有無、最大出力輝度値情報、及びマスタリング環境情報を有する。なお、映像表示装置113へは、現在再生している映像フレームの近傍に位置するIピクチャの輝度情報を伝送しても良い。
なお、本発明の実施の形態1では、再生ドライブ部102の具体例として、光ディスクドライブ読み取り装置と仮定して説明を進めるが、ハードディスクドライブ装置又はSDメディアドライブ装置でもよく、これらの例に限られるものではない。また、ハードディスクドライブ装置又はSDメディアドライブ装置である場合、ハードディスクドライブ又はSDメディア上にストリーム情報と再生制御情報とが記録されており、再生ドライブ部102を通じて情報の読出しが行なわれる。
また、再生ドライブ部102を設けず又は用いずに、ストリーム制御部110は、HDRビデオをインターネット等の通信回線を介して記憶部120にバッファリングさせ、HDRビデオの通常再生又は特殊再生を行う構成としてもよい。
なお、本発明の実施の形態1では、システム制御部101の表示機器情報取得部151は、HDMIを利用して映像表示装置113の表示可能フォーマットを取得する例について説明しているが、iLink又は赤外線通信といった検出機構を用いて映像表示装置113の表示可能フォーマットを取得しても良い。
なお、表示機器情報取得部151及び特殊再生フレーム選択部152は、システム制御部101内のファームウェアなどで構成される例を示しているが、システム制御部101と別に存在してもよく、同様の機能を有するハードウェアであってもよい。
なお、映像表示装置113は、必ずしも映像再生装置100と別体で設けられる必要はなく、映像を表示する表示部が映像再生装置100に一体に設けられたものであってもよい。
図2は、本発明の実施の形態1に係る映像再生装置100のハードウェア構成図である。図2に示すように、映像再生装置100は、通信装置10、再生ドライブ装置11、CPU(Control Processing Unit)などのプロセッサ12、及びメモリ13を備える。操作受信部121及び表示装置通信部114は通信装置10である。映像再生装置100は、操作受信部121及び表示装置通信部114のそれぞれに対応する通信装置10を有している。ただし、操作受信部121及び表示装置通信部114は、1つの通信装置10が兼ねていてもよい。再生ドライブ部102は再生ドライブ装置11である。また、ストリーム制御部110、映像音声デコーダ部111、デジタルインターフェース部112、及びシステム制御部101(表示機器情報取得部151と特殊再生フレーム選択部152とを含む)は、プロセッサ12がメモリ13に記憶されたプログラムを実行することにより動作する。また、映像表示装置113はモニタなどのディスプレイである。
次に、本実施の形態1における映像再生装置100によるHDRビデオの特殊再生について図3を用いて説明する。図3は、HDRビデオの画像例200である。
従来のSDRビデオでは、表現可能な輝度範囲が限定されているため、太陽の煌めき又は川に映る光の反射などの高輝度のものについて表現を行うことができなかった。また従来のSDRビデオでは、高輝度部分での細かな階調表現が行うことができないため、白で飽和した「白とび」と呼ばれる現象が発生していた。例えば、図3に示す景色を表示する画像例200において、輝点201aは太陽が存在する位置であり、輝点201b及び輝点201cは太陽光が川に反射する位置に相当する。輝点201aにおける太陽の煌めき、輝点201b及び輝点201cにおける太陽光が川に反射することによる煌めきについて、従来SDRビデオでは、階調表現が損なわれており、高輝度部分の表示自体も行うことができなかった。
一方で、HDRビデオの規格では、HDRビデオが記録された記録媒体をHDR対応の映像再生装置100で再生し視聴した場合に、前述した高輝度部分(輝点201a、輝点201b及び輝点201c)についての表示、及び高輝度部分の階調表現が可能となる。それゆえ、従来より高品位な映像視聴を楽しむことが可能である。
しかしながら、1倍速を超える速度で早送り又は巻き戻しする特殊再生時には、画面相関性が低い映像連続的に高速表示する。それゆえ、HDRビデオにおいて高輝度の部分である輝点が画面上を激しく動きまわる場合があり、視聴者の目が疲れるなどの問題が発生する場合がある。本発明の実施の形態1における映像再生装置100では、特殊再生時に高輝度の輝点を有する映像フレームが選択されるのを抑制することで、輝点が画面上を激しく動くことを防ぎ、視聴者の目の疲れを軽減する。また、特殊再生時に高輝度の輝点を有する映像フレームが選択されることを抑制することで、画面全体の平均輝度値の変動を低減することができ、同様に、視聴者の目の疲れを軽減することができる。
図4は、本発明の実施の形態1に係る光ディスクの論理ファイル構造の説明図である。ルートディレクトリ300は、論理的に階層構造を成すファイル構造の最上位階層のディレクトリ構造である。ディスクディレクトリ301は、ルートディレクトリ300の下位階層に配置されるディレクトリ構造である。ディスクディレクトリ301は、光ディスク103に記録されておりディスクコンテンツを管理する再生制御情報をファイル形式で記録した再生制御情報ファイル310と、ストリーム情報ファイル320をまとめて記録したフォルダであるストリーム管理ディレクトリ302とを有する。
図4において、ストリーム情報ファイル320は、5桁のファイル名により記録されている。ただし、ストリーム情報ファイル320のファイル名は、5桁の数字であれば良く連番である必要はない。なお、ストリーム情報ファイル320が個別のディレクトリ(ストリーム管理ディレクトリ302)内に配置される例を示しているが、ストリーム情報ファイル320がルートディレクトリ300に直接配置されたり、他のディレクトリに配置されたりしていても構わない。また、ストリーム情報ファイル320が所定の管理単位毎に個別のファイルとして形成されている例を示しているが、各ストリーム情報ファイル320が1つのファイルにまとめて記録されていても構わない。
図5は、本発明の実施の形態1に係るストリーム情報ファイル320の内部データ構造を説明する図である。ストリーム情報ファイル320は、パケット400と呼ばれる固定長のデータ単位により構成されている。ストリーム情報ファイル320は、映像データ、音声データ、及びストリーム管理データがパケット400単位に分割された後に、多重化されて構成されている。各パケット400は、それぞれの先頭にヘッダ情報401を有し、パケット400内のデータは、ヘッダ情報401に記述されたID402(Identification)により識別される。ストリーム制御部110は、ID402を識別して、ストリーム情報ファイル320について、映像データ、音声データ、及びストリーム管理データ等に分離を行う。
図6は、本発明の実施の形態1に係る再生制御情報ファイル310におけるシンタックスを説明する図である。図6の再生制御情報ファイル310に記述があるディスク一般情報について説明する。図6に示すディスク一般情報は、ディスクを特定するための情報であり、光ディスク103の製造元の識別番号であるStudio_ID501と、光ディスク103内のコンテンツ識別番号であるDisc_ID502とが記録されている。Studio_ID501とDisc_ID502とを用いることで、市場に流通しているディスク全体から、当該光ディスク103に記録されたコンテンツを特定することができる。また、Studio_ID501とDisc_ID502とを用いて、光ディスク103に記録されたコンテンツに紐づいた各映像フレームの最大輝度情報又は平均輝度情報をネットワークから取得するように構成しても良い。
また、図6の再生制御情報ファイル310に記述があるプレイリスト情報について説明する。図6に示すプレイリスト情報は、光ディスク103内に記録されている番組タイトルに関する情報である。つまり、プレイリストは、光ディスク103内に記録されている番組タイトルであるため、「num_of_playlist503」は、プレイリストの総数を示す。「num_of_playlist503」の1つ下の行にあるループ文(for以下)は、「num_of_playlist503」の数だけ繰り返される。なお、プレイリストは、後述する1つ又は複数のプレイアイテムから構成される。また1つのプレイアイテムは1枚又は複数枚の映像フレームから構成され、1枚の映像フレームは複数のピクセルから構成される。
「flag_HDR504」は、プレイリストがHDRビデオであるか又はSDRビデオであるかを識別するために用いられる情報である。なお、複数のHDR技術を用いる場合には、「flag_HDR504」にHDRの種別を示す情報を記録して管理してもよい。
「Max_LL505」は、プレイリストに対応する番組において、映像フレームを構成する全てのピクセルの中で、最大の出力輝度値について示す。「Max_Ave_LL506」は、プレイリストに対応する番組において、映像フレーム毎の平均輝度であって最大の平均輝度を持った映像フレームの出力輝度値を示す。「MasterMonitorInfo507」は、当該プレイリストを作成した際のマスタリングに用いたモニタの表示性能情報を示す。
前述のとおり、プレイリストは、1つ又は複数のプレイアイテムから構成される。「num_of_playitem508」は、プレイアイテムの総数が記録される。「num_of_playitem508」の1つ下の行にあるループ文(for以下)は、「num_of_playitem508」の数だけ繰り返される。
プレイアイテムは、1つの再生区間情報が記録されており、再生対象のストリームファイル名509、再生開始時間510の情報、及び再生終了時間511の情報を有している。映像再生装置100は、係る再生区間情報に基づき、ストリーム情報ファイル320のどの区間を再生すればよいのかを判断することができる。
また、図6に示すストリーム情報について説明する。再生制御情報ファイル310は、光ディスク103内に記録されているストリーム情報ファイル320の総数を示す「num_of_stream512」を有する。「num_of_stream512」の1つ下の行にあるループ文(for以下)は、「num_of_stream512」の数だけ繰り返される。ストリーム情報ファイル名513は、ストリーム情報ファイル320の名前を示し、本発明の実施の形態1では5桁の数字情報の場合を例示している。また、属性情報管理テーブル514は、ストリーム情報ファイル320中で使用される映像情報及び音声情報などの属性情報が記録されている。
また、アクセスポイント管理テーブル515は、アクセスポイント毎のストリーム読み出し位置である再生開始時間情報521、再生開始位置情報522、Iピクチャのサイズ523、及び近傍フレーム輝度情報524を記録したリスト情報である。システム制御部101は、アクセスポイント管理テーブル515の情報を用いて、タイムサーチ又は特殊再生などのランダムアクセス再生について制御を行う。なお、例えば映像データがMPEG−2ビデオストリームでエンコードされている場合、GOPの先頭はアクセスポイントに相当する。再生開始時間情報521及び再生開始位置情報522(ストリームファイル先頭を起算とした位置)は、GOP毎に情報が記述されている。
ここで、図7より、映像ストリーム700におけるGOP701及びIピクチャ710について説明するため、映像ストリーム700のデータ構造について説明する。図7は、本発明の実施の形態1に係る映像ストリーム700のデータ構造の説明図である。図7より、映像ストリーム700は、符号化圧縮単位であるGOP701単位で情報が圧縮されている。符号化圧縮された映像ストリーム700に係るデータ構造は、ストリーム制御部110でストリーム情報ファイル320がデマルチプレクサされることによって抽出される。
GOP701は、フレーム内でデータ圧縮されたIピクチャ710と、時間的に前方向のIピクチャ710による動き補償を加えてデータ圧縮されたPピクチャ711と、時間的に前後方向のIピクチャ710又はPピクチャ711による動き補償を加えてデータ圧縮されたBピクチャ712とから構成されている。GOP701は、例えば約0.5秒の再生時間ごとに符号化圧縮が行われている。
Iピクチャ710は、GOP701の先頭に位置しており、GOP701の中で最初にデコードされる。またIピクチャ710は、表示時刻情報720、映像属性情報730、及び符号化映像データ740から構成される。
Iピクチャ710の表示時刻情報720は、PTS(Presentation Time Stamp)が付与されており、映像表示装置113への提示時間情報が記録されている。なお、Iピクチャ710の表示時刻情報720は、映像又は音声が同期可能な時刻情報であればよく、PTSではなくNTP(Network Time Protocol)で定義される時刻情報などを利用しても構わない。
Iピクチャ710の映像属性情報730は、AUD731(Access Unit Delimiter)、SPS732(Sequence Parameter Set)、PPS733(Picture Parameter Set)、及びSEI734(Supplimental Enhancement Infomation)から構成される。
AUD731は、映像のアクセスユニットの先頭を示す識別子情報を有し、加えて当該アクセスユニットに含まれるスライス741の種類を示す情報を有している。また、SPS732は、GOP701全体の符号化に関わるプロファイル、値、解像度、フレームレート、及びビットレート上限値などの情報を有している。PPS733は、ピクチャ全体の符号化に関わる情報を持ち、エントロピー符号化モードやピクチャ単位の量子化パラメータ等の情報が記録される。SEI734は、GOP701の最大出力輝度値やGOP701毎のトーンマップ情報などが格納されたメタデータが記録されている。メタデータは、映像表示装置113の側で動的にHDRビデオの出力輝度値を変更するなどの用途に用いられる。なお、Iピクチャ710以外のピクチャである、Pピクチャ711又はBピクチャ712は、Iピクチャ710と異なりSPS732及びSEI734を有していない。
映像再生装置100は、再生開始時間情報521からストリーム情報ファイル320の再生開始位置情報522を割り出し、当該位置からIピクチャサイズ523分だけデータを読み込むことで、Iピクチャ710の復号化を行い、映像フレームの出力を行うことができる。なお、アクセスポイント管理テーブル515では、アクセス単位(GOP701単位)毎に、当該アクセスポイント近傍の映像フレーム(当該GOP701を基準とする設定範囲内の他のGOP701のIピクチャ710)の最大輝度情報と平均輝度情報とを記録している。ここで、最大輝度とは、映像フレームを構成するピクセルのうち、最も輝度値が大きいものを指す。平均輝度とは、映像フレームを構成するピクセルの平均輝度を指す。
図8は、本発明の実施の形態1における近傍フレーム輝度情報524のデータ構造の説明図である。近傍フレーム輝度情報524は、所定のアクセスポイント(GOP701)が有するIピクチャ710の最大輝度情報である最大輝度値及び平均輝度情報である平均輝度値、並び所定のアクセスポイントを基準とする設定範囲内における他のアクセスポイントが有するIピクチャ710の最大輝度値及び平均輝度値を有する。ここで、設定範囲内は任意に設定することができ、本発明の実施の形態1では、所定のGOP701から時間的に未来方向へ3つ分、及び過去方向へ3つ分設定されている。
つまり、図8では、Nはアクセスポイントの位置を示し、本発明の実施の形態1における近傍フレーム輝度情報524は、所定のアクセスポイントであるGOP(N)から時間的に未来方向へ3つ分、また過去方向へ3つ分のアクセスポイントのIピクチャ710の最大輝度情報と平均輝度情報とを持つものとする。なお、N+1、N+2、N+3と進むにつれ、時間的に未来方向を表す。一方で、N−1、N−2、N−3と進むにつれ、時間的に過去方向を表す。
例えば、最大輝度情報(N)601及びフレーム平均輝度情報(N)602は、基準となるアクセスポイントのIピクチャ710における最大輝度情報及びフレーム平均輝度情報を示す。最大輝度情報(N−3)611及びフレーム平均輝度情報(N−3)612は、過去方向に3つ前のアクセスポイントのIピクチャ710における最大輝度情報及びフレーム平均輝度情報を示す。逆に最大輝度情報(N+3)621及びフレーム平均輝度情報(N+3)622は、未来方向に3つ先のアクセスポイントのIピクチャ710における最大輝度情報及びフレーム平均輝度情報を示す。なお、図8では便宜的に「フレーム平均輝度情報」を「平均輝度情報」と示している。
なお、本発明の実施の形態1では、近傍フレーム輝度情報524は、GOP(N−3)〜GOP(N+3)まで7つのアクセスポイントの輝度情報を有している。つまり、近傍フレーム輝度情報524は、GOP(N)を中心として、時間的に前後3つのアクセスポイントの輝度情報を持っているが、3つに限らず、更に多くのアクセスポイントの情報を持っても構わないし、1つ分でも構わないのは言うまでもない。
図9は、本発明の実施の形態1に係る映像再生装置100の特殊再生輝度テーブル140を示す図である。特殊再生輝度テーブル140は、変動要因801に対応する設定輝度802(単位はnit)をリスト化したものである。ここで、変動要因801は、例えば早送り又は巻き戻しなどの特殊再生を行った場合の特殊再生速度であり、設定輝度802は、予め設定されている輝度値である。例えば、変動要因801を特殊再生速度であるとした場合、特殊再生輝度テーブル140は、早送り又は巻き戻しの再生速度が大きくなるにつれて設定輝度802が小さくなるよう設定されている。システム制御部101は、係る特殊再生輝度テーブル140に基づき、速度との関係から設定輝度802を決定する。図9より、変動要因801である特殊再生速度が大きくなるにつれて、設定輝度802が小さくなっていることがわかる。
映像シーンは再生速度が小さいほど映像の相関性が高く、高輝度の輝点の場所が変動しにくい。例えば1.5倍速再生時には、ほぼ通常再生速度と同じであるため、1.5倍速の早送りを行っても輝点が画面上を激しく動く可能性は再生速度が大きい場合より低い。一方、50倍速再生時には映像の相関性が低くなるため高輝度の輝点が画面上を激しく動く可能性が高い。HDRビデオの早送り又は巻き戻し再生の倍率が高いほど(早送り又は巻き戻し再生の速度の絶対値が大きいほど)、高輝度の輝点の変動による目の疲れが大きくなるため、設定輝度802を小さな値に設定することで、映像再生装置100に映る高輝度の輝点の明るさの変化を抑制し、視聴者の目の疲れを軽減することができる。
なお、図9では、特殊再生速度として、1.3倍速、5倍速、10倍速、及び50倍速の4つの速度に分類して設定輝度802を管理している例について説明しているが、分類をまとめて1つにしても構わないし、更に細分化して管理しても構わない。
本発明の実施の形態1では、変動要因801は早送り又は巻き戻し再生などの特殊再生速度であるものとして説明を進めている。しかし、変動要因801として、早送り又は巻き戻し再生などの特殊再生速度に替えて若しくは加えて、特殊再生時の単位時間あたりに表示される映像フレーム数、ランダムアクセス再生のスキップ幅、又は操作者の年齢若しくは性別などの情報を用いてもよい。
特殊再生は、Iピクチャ710を間欠的に飛ばしながら、連続的に映像フレームの表示を行っているが、映像再生装置100のプロセッサ性能又は映像表示装置113の表示解像度によって、単位時間あたりに表示可能なIピクチャ710の枚数が異なってくる。そのため、表示可能な映像フレームの枚数が多い場合には、高輝度の輝点が画面上を激しく動く可能性が高いため、単位時間あたりに表示される映像フレーム数が多いほど、視聴者の目の疲れが大きくなる。ゆえに、変動要因801として、特殊再生時の単位時間あたりに表示される映像フレーム数が多いほど設定輝度802を小さい値に設定し、視聴者の目の疲れを軽減させる。
変動要因801としてランダムアクセス再生のスキップ幅を用いた場合、スキップ幅が大きいほど設定輝度802を小さい値に設定するようにしてもよい。スキップ幅は、例えば5秒スキップ、15秒スキップ、30秒スキップ、又はチャプタースキップなどが実行された場合の再生時間のジャンプ幅である。また、再生時間のジャンプ幅が大きいほど、ジャンプ前の映像シーンとの相関性が薄くなるため、画面全体の輝度変化が大きくなる可能性が高い。例えば暗い映像シーンから高輝度のシーンに切り替わることによって、視聴者の目が眩むなどの問題がある。そこで、ランダムアクセス再生に関する操作の直後から、予め定められた時間だけ設定輝度802を低くすることで、視聴者の目が眩むなどの問題を軽減することができる。予め定められた時間経過後は、段階的に設定輝度802が高くなるように構成することで、視聴者の目の疲れを防ぐように構成してもよい。
変動要因801として操作者の性別又は年齢を用いた場合、女性又は低年齢者であるほど設定輝度802を小さい値に設定するようにしてもよい。一般的に、女性又は低年齢者は光感受性発作が起きやすく、激しい光の明滅の影響を受けやすい傾向にある。そこで、操作者によって設定輝度802の値が変更されるようにしてもよい。
また、システム制御部101は、接続されている映像表示装置113の表示性能情報を取得する。そして、取得した表示性能情報から得られる映像表示装置113の画面サイズ又は推奨最大輝度値を変動要因801として設定輝度802が設定されてもよい。映像表示装置113の画面サイズを変動要因801とした場合、画面サイズが大きいほど設定輝度802を小さな値に設定する。画面サイズが大きい場合、高輝度の輝点の動く距離が大きくなり視聴者の目が疲れやすいためである。また、設定された設定輝度802を映像表示装置113の推奨最大輝度値以下に補正しても良い。こうすることで、推奨輝度設定値以下で映像を表示することができ、安定動作を行うことができる。
なお、上述した変動要因801について、単独又は組合せることによって設定輝度802の設定値が決められてもよい。また、本発明の実施の形態1では、記憶部120に特殊再生輝度テーブル140を記録している例を示しているが、システム制御部101内のプログラムとして特殊再生輝度テーブル140の情報を持っていても構わない。
図10は、本発明の実施の形態1に係る早送り再生時のジャンプを説明する図である。上述したとおり、システム制御部101は、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しなどを行う旨の特殊再生の信号を操作受信部121から得ると、HDRビデオの再生制御情報に基づいて、特殊再生の信号に含まれる速度の情報に従い予め定められた時間分の映像フレームを飛ばすジャンプを行う。システム制御部101は、通常は、HDRビデオの再生制御情報に基づいて、特殊再生の速度に従い決定されたジャンプ先のIピクチャ710を特殊再生の映像として表示する。
特殊再生が開始されると、システム制御部101の特殊再生フレーム選択部152は、生制御情報に基づいて、再生開始時間情報521に対する再生開始位置情報522を決定する。図10を用いて、HDRビデオの再生制御情報に基づいて速度に従い決定されたジャンプ先として、GOP(N)901が選択された場合の説明を進める。
システム制御部101の特殊再生フレーム選択部152は、GOP(N)901に関する近傍フレーム輝度情報524を取得し、設定輝度802に最も近い最大輝度情報を持ったIピクチャ710を、GOP(N−3)904〜GOP(N+3)903の設定範囲内から探索する。つまり、システム制御部101の特殊再生フレーム選択部152は、ジャンプ先のGOP(N)901が有するIピクチャ710の輝度値、及びGOP(N)901を基準とする設定範囲内における他のGOP(GOP(N)901を除くGOP(N−3)904〜GOP(N+3)903)が有するIピクチャ710の輝度値のうち、設定輝度802に最も近い輝度値を持つIピクチャ710を選択する。そして、システム制御部101は、設定輝度802に最も近い輝度値を持つIピクチャ710を特殊再生の映像に使用する制御を行う。ここで、設定範囲は、自由に変更可能であることは言うまでもない。
本発明の実施の形態1では、設定輝度802が300に設定されていた場合に、GOP(N+2)902が有するIピクチャ710の最大輝度値が250であり、設定輝度802の300に最も値が近い。また、GOP(N+2)902及びGOP(N+3)903が有するIピクチャ710は、ともに最大輝度値が250であるが、GOP(N+2)902の方が、GOP(N+3)903よりGOP(N)901に時間的に近く、選択するに好ましい。それゆえ、システム制御部101の特殊再生フレーム選択部152は、GOP(N+2)902をジャンプ先として選択する。そして、特殊再生の映像としてGOP(N)901のIピクチャ710の替わりに、GOP(N+2)902のIピクチャ710を表示する。その後は、同様の工程でジャンプ先を決め、間欠的に再生することで特殊再生を実現する。
なお、本発明の実施の形態1では、システム制御部101の特殊再生フレーム選択部152が、映像フレーム(本発明ではIピクチャ710)の最大輝度情報を考慮してジャンプ先を選択しているが、映像フレームの平均輝度情報を用いてもよいことは言うまでもない。映像フレームの平均輝度情報を用いれば、映像フレーム全体の輝度の変動を抑えることができるので、映像フレームの平均輝度情報を用いて本発明を実施しても視聴者の目の疲れを軽減することができる。
なお、本発明の実施の形態1では、システム制御部101の特殊再生フレーム選択部152が、設定輝度802に最も近い輝度値を持つIピクチャ710を選択しているが、設定輝度802以下の輝度値であって、設定輝度802に最も近いIピクチャ710を選択するようにしてもよい。加えて、システム制御部101の特殊再生フレーム選択部152は、設定輝度802以下の輝度値を持つIピクチャ710がジャンプ先のGOP(N)901及び他のGOP(GOP(N)901を除くGOP(N−3)904〜GOP(N+3)903)に存在しない場合には、設定輝度802を超える輝度値であって、設定輝度802に最も近いIピクチャ710を選択するようにしてもよい。
一方で、システム制御部101の特殊再生フレーム選択部152は、設定輝度802以下の輝度値を持つIピクチャ710がジャンプ先のGOP(N)901及び他のGOP(GOP(N)901を除くGOP(N−3)904〜GOP(N+3)903)に存在しない場合に、設定範囲を広げて探索する他のGOPの数を増加させることで、設定輝度802以下の輝度値であって、設定輝度802に最も近いIピクチャ710を選択するようにしてもよい。
図11は、本発明の実施の形態1に係る映像再生装置100の再生処理を説明するフローチャートである。ステップS101において、システム制御部101の表示機器情報取得部151は、接続されている映像表示装置113の表示性能を取得する。ステップS102において、システム制御部101は、再生ドライブ部102に挿入された光ディスク103から再生制御情報を読み取り、ディスク情報を取得する。ステップS103において、システム制御部101は、操作装置130からの入力に従い、光ディスク103中から再生するプレイリストを選択する。
ステップS104において、システム制御部101は、再生するプレイリストに関する情報を再生制御情報から読み出す。そして、システム制御部101は、読み出された情報を用いて、選択されたプレイリストがHDRビデオか否かを判断する。ステップS105において、システム制御部101は、選択されたプレイリストが再生すべきストリーム情報ファイル320を光ディスク103から特定する。そして、システム制御部101は、特定されたストリーム情報ファイル320から、読み出し位置を取得し、取得された読み出し位置の情報を復号化することによって、プレイリストの再生を行う。
なお、図11のフローチャートは、再生ドライブ部102に光ディスク103が挿入されると開始するようにしてもよいが、例えば光ディスク103が挿入された状態で映像再生装置100の電源がONになったときに開始するようにしてもよく、これに限られるものではない。
図12は、本発明の実施の形態1に係る特殊再生のジャンプ位置補正処理のフローチャートである。なお、図12は、HDR対応の映像表示装置113にHDRビデオが記録されたコンテンツが出力されることを前提としたフローチャートである。
図12より、システム制御部101は、プレイリストの再生中に操作装置130を通じて早送り又は巻き戻しなどの特殊再生の指示を受けると開始する。ステップS201において、システム制御部101は、特殊再生速度の再生速度情報を操作装置130から取得する。再生速度情報とは、通常再生速度と比較した倍率を示し、0.5倍速であれば通常再生速度の半分の速さであるスロー再生を示し、3倍速であれば通常再生速度の3倍の速さである早送り再生を示す。また、巻き戻し再生の場合は、−0.5倍速であれば通常再生速度の半分の速さで巻き戻す巻き戻し再生を示し、−3倍速であれば通常再生速度の3倍の速さで巻き戻す巻き戻し再生を同様に示す。なお、特殊再生速度の再生速度情報を図12のフローチャートの開始とともにシステム制御部101が取得していた場合、ステップS201は省略される。
ステップS202において、システム制御部101は、映像再生装置100の初期設定情報を記憶部120から取得する。初期設定情報は、機器固有の設定情報であり、操作者の年齢又は性別情報などを含む場合もある。なお、操作者の年齢又は性別情報などは、初期設定情報で必ずしも設定する必要がないため、例えば、システム制御部101は、操作装置130を介して操作者の年齢又は性別情報などの属性情報を取得する構成としてもよい。
ステップS203において、システム制御部101は、図11のステップS101で取得した表示性能の情報から映像表示装置113の推奨最大輝度値を取得する。また、システム制御部101の特殊再生フレーム選択部152は、記憶部120に記憶された特殊再生輝度テーブル140を読み出し、特殊再生速度に応じた設定輝度802を映像表示装置113の推奨最大輝度値を考慮して算出する。
ステップS203において、例えば、特殊再生速度が5倍速であった場合、図9より設定輝度802は250となる。推奨最大輝度値が250以上であれば、設定輝度802は250に設定される。一方、推奨最大輝度値が250よりも下の値であれば、設定輝度802は推奨最大輝度値に設定される。このようにして、システム制御部101の特殊再生フレーム選択部152は、設定輝度802を算出する。よって、映像表示装置113側の推奨最大輝度値を勘案して設定輝度802が決定されるため、映像表示装置113の省エネ及び安全性に配慮した輝度値にすることもできる。
ステップS204において、システム制御部101は、操作装置130を介して特殊再生の終了指示の信号の有無を確認する。システム制御部101は、特殊再生の終了指示の信号を受信していない場合は、ステップS205に進み、特殊再生の終了指示の信号を受信している場合は、フローチャートを終了する。
ステップS205において、特殊再生の終了指示の信号を受信していないため、システム制御部101が特殊再生中であると判断した場合、システム制御部101の特殊再生フレーム選択部152は、再生制御情報ファイル310からジャンプ先のGOP701の近傍フレーム輝度情報524を取得する。そして、ステップS206において、システム制御部101の特殊再生フレーム選択部152は、近傍フレーム輝度情報524に基づき、図9で説明したように、ジャンプ先のGOP701が有するIピクチャ710の輝度値、及びジャンプ先のGOP701を基準とする設定範囲内における他のGOP701が有するIピクチャ710の輝度値のうち、設定輝度802に最も近い輝度値を持つIピクチャ710を選択する。ステップS207において、システム制御部101は、ステップS206で選択されたGOP701の再生開始位置にジャンプし、係るGOP701のIピクチャ710を映像表示装置113で再生する。そして、システム制御部101は、これらの処理を特殊再生の終了指示があるまで繰り返すため、再びステップS204を実行する。
なお、本発明の実施の形態1では、再生制御情報がアクセスポイント毎の近傍フレーム輝度情報524を有している例を説明した。しかしながら、Iピクチャ710は独自情報を格納できるSEI734を有するため、映像ストリーム700中の各アクセスポイントのIピクチャ710のSEI734が、近傍フレーム輝度情報524を持つ構成としてもよい。
以上のとおり、本発明の実施の形態1における映像再生装置100では、外部からの指示を受信する操作受信部121と、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を操作受信部121から得た場合に、HDRビデオの再生制御情報に基づいて速度に従い決定されたジャンプ先のGOP701が有するIピクチャ710の輝度値、及びこのジャンプ先のGOP701を基準とする設定範囲内における他のGOP701が有するIピクチャ710の輝度値のうち、設定輝度802に最も近い輝度値を持つIピクチャ710を選択し、設定輝度802に最も近い輝度値を持つIピクチャ710を特殊再生の映像に使用する制御を行うシステム制御部101とを備える。
また、本発明の実施の形態1における映像再生方法では、操作受信部121が、外部からの指示を受信し、システム制御部101が、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を操作受信部121から得た場合に、HDRビデオの再生制御情報に基づいて、速度に従い決定されたジャンプ先のGOP701が有するIピクチャ710の輝度値、及びこのジャンプ先のGOP701を基準とする設定範囲内における他のGOP701が有するIピクチャ710の輝度値のうち、設定輝度802に最も近い輝度値を持つIピクチャ710を選択し、設定輝度802に最も近い輝度値を持つIピクチャ710を特殊再生の映像に使用する制御を行う。
このような構成によれば、例えばHDRビデオを早送りするなどの特殊再生時においても、高輝度の輝点が画面上を激しく動くことを抑制し、視聴者の目の疲れを従来より軽減できる効果が得られる。通常再生時には高品位なHDRビデオの映像視聴を楽しむことができつつ、特殊再生時にはHDRビデオによる視聴者の目の疲れを低減させることができる映像再生装置100及び映像再生方法を提供することができる。
また、視聴者の目の疲れを軽減するために、別途、輝度変換処理回路を構成する必要がないため、回路規模が大きくなるのを抑制し、映像再生装置100の価格を従来より安価にすることができる。
また、本発明の実施の形態1における映像再生装置100及び映像再生方法では、システム制御部101は、設定輝度802が、HDRビデオを表示する映像表示装置113の表示可能な輝度を超える場合に、設定輝度802を表示可能な輝度以下に変更する。
このような構成によれば、映像表示装置113の表示可能な輝度に応じた設定輝度802とすることができるため、特殊再生時を含むHDRビデオの表示を適切に行うことができる。
また、本発明の実施の形態1における映像再生装置100及び映像再生方法では、システム制御部101は、設定輝度802以下の輝度値であって、設定輝度802に最も近い輝度値を持つIピクチャ710を選択し、設定輝度に最も近い輝度値を持つIピクチャ710を特殊再生の映像に使用する制御を行う。
このような構成によれば、設定輝度802を超える輝度を映像表示装置113で表示することを防止することができるため、高輝度の輝点の明るさの変化の影響を抑制することができる。
また、本発明の実施の形態1における映像再生装置100及び映像再生方法では、設定輝度802以下の輝度値を持つIピクチャ710がジャンプ先のGOP701及び他のGOP701に存在しない場合に、設定輝度802を超える輝度値であって、設定輝度802に最も近い輝度値を持つIピクチャ710を選択し、設定輝度に最も近い輝度値を持つIピクチャ710を特殊再生の映像に使用する制御を行う。
このような構成によれば、設定輝度802以下の輝度値を持つIピクチャ710がジャンプ先のGOP701およびその周囲の他のGOP701に存在しない場合においても、設定輝度802に最も近いIピクチャ710を選択することで高輝度の輝点の明るさの変化の影響を可能な限り抑制することができる。
また、本発明の実施の形態1における映像再生装置100及び映像再生方法では、システム制御部101は、設定輝度802以下の輝度値を持つIピクチャ710がジャンプ先のGOP701及び他のGOP701に存在しない場合に、設定範囲を広げて、探索する他のGOP701の数を増加させ、設定輝度802以下の輝度値であって、設定輝度802に最も近い輝度値を持つIピクチャ710を選択し、設定輝度に最も近い輝度値を持つIピクチャ710を特殊再生の映像に使用する制御を行う。
このような構成によれば、設定輝度802以下の輝度値を持つIピクチャ710がジャンプ先のGOP701およびその周囲の他のGOP701に存在しない場合においても、探索範囲を広げることで設定輝度802以下の輝度値を持つIピクチャ710を見つけることができる。それゆえ、設定輝度802を超える輝度を映像表示装置113で表示することを防止することができ、高輝度の輝点の明るさの変化の影響を抑制することができる。
また、本発明の実施の形態1における映像再生装置100及び映像再生方法では、システム制御部101は、速度が大きくなるにつれて設定輝度802が小さくなるよう設定された特殊再生輝度テーブル140に基づき、速度との関係から設定輝度802を決定する。
このような構成によれば、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる場合に、速度が大きくなるにつれて映像の相関性が低くなることから、速度が大きくなるにつれて設定輝度802を小さくしている。それゆえ、映像再生装置100に映る高輝度の輝点の明るさの変化を抑制し、視聴者の目の疲れを軽減することができる。
実施の形態2.
次に、本発明の実施の形態2に係る映像再生装置100について、図13および図14を用いて説明する。実施の形態2の映像再生装置100は、特殊再生時に選択されるピクチャのフレーム平均輝度の輝度変化が小さく、かつ、特徴的な映像シーンを選択しやすいように構成されている。
図13は、本発明の実施の形態2における近傍フレーム輝度情報1200のデータ構造の説明図である。近傍フレーム輝度情報1200は、実施の形態1において説明した近傍フレーム輝度情報524(図6)の代わりにアクセスポイント管理テーブル515に記録されている。
近傍フレーム輝度情報1200は、所定のアクセスポイント(GOP701)が有するIピクチャ710の最大輝度値、平均輝度値およびIピクチャ710の重要度情報としての重要度レベルを有しており、所定のアクセスポイントを基準とする設定範囲内における他のアクセスポイントが有するIピクチャ710の最大輝度値、平均輝度値および重要度レベルを有している。ここで、設定範囲内は任意に設定することができ、本発明の実施の形態2では、所定のGOP701から時間的に未来方向へ3つ分、及び過去方向へ3つ分設定されている。
すなわち、図13では、Nはアクセスポイントの位置を示し、本発明の実施の形態2における近傍フレーム輝度情報1200は、所定のアクセスポイントであるGOP(N)から時間的に未来方向へ3つ分、また過去方向へ3つ分のアクセスポイントのIピクチャ710の最大輝度情報と平均輝度情報とを持つものとする。なお、N+1、N+2、N+3と進むにつれ、時間的に未来方向を表す。一方で、N−1、N−2、N−3と進むにつれ、時間的に過去方向を表す。
例えば、最大輝度情報(N)601、フレーム平均輝度情報(N)602および重要度レベル(N)は、基準となるアクセスポイントのIピクチャ710における最大輝度情報、フレーム平均輝度情報および重要度レベル(N)1203を示す。
最大輝度情報(N−3)611、フレーム平均輝度情報(N−3)612および重要度レベル(N−3)1213は、過去方向に3つ前のアクセスポイントのIピクチャ710における最大輝度情報、フレーム平均輝度情報および重要度情報を示す。
逆に最大輝度情報(N+3)621、フレーム平均輝度情報(N+3)622および重要度レベル(N+3)1223は、未来方向に3つ先のアクセスポイントのIピクチャ710における最大輝度情報、フレーム平均輝度情報および重要度情報を示す。なお、図13では便宜的に「フレーム平均輝度情報」を「平均輝度情報」と示している。
このように、本発明の実施の形態2では、近傍フレーム輝度情報1200は、GOP(N−3)〜GOP(N+3)まで7つのアクセスポイントの輝度情報を有している。つまり、近傍フレーム輝度情報1200は、GOP(N)を中心として、時間的に前後3つのアクセスポイントの輝度情報を持っているが、3つに限らず、更に多くのアクセスポイントの情報を持っても構わないし、1つ分でも構わないのは言うまでもない。
ここで、重要度レベルは、映像シーンの意味的な重要性を示す数値情報である。本実施の形態では、数値が0から100の範囲で設定されるものとし、数値が大きいほど意味的な重要性が高いものとする。
すなわち、重要度レベルは、例えば、ドラマ番組では主要な登場人物が登場するシーンほど高い数値が設定される。また、ドラマシナリオの展開がクライマックスに近いほど数値が高くなるように設定しても良い。またスポーツ番組では、得点シーン、ファインプレーシーンなどでは、重要度レベルが高く設定される。また、音楽番組では、楽曲紹介シーン、聞かせどころ(サビ)などで重要度レベルが高く設定される。
なお、重要度レベルは、システム制御部101(図1)が光ディスク103から読み出す再生制御情報ファイル310(図6)中の近傍フレーム輝度情報1200に含まれており、番組制作者または光ディスク制作者によって予め設定されている。
ここで、重要度レベルの設定方法は公知の技術であり、例えば、国際公開2005/069172A1公報および特開2006−345554号公報には、重要度レベルを音声信号を用いることによって求めることが開示されており、音声信号を音声、音楽、歓声、拍手、笑い声等に分類し、拍手および歓声には、音声や音楽よりも高い重要度レベルを与えることなどが開示されている。また、連続した拍手および歓声の最長の長さを求めることによって、あるいは拍手および歓声の割合(パーセンテージ)を求めることによって、重要度レベルを計算することが開示されている。
例えば、スポーツ番組などの場合、得点シーンや得点するチャンスにおいては、拍手、歓声の他にアナウンサー、解説者による絶叫音声を指標として、重要度レベルの算出に使用することが開示されている。
特許第4743228号公報には、例えば、予め主観評価で顕著にスポーツのハイライトシーンと判断される音声の係数ベクトルを収集し、トレーニングデータとして係数ベクトルの分布傾向を、混合ガウス分布モデル(GMM、Gaussian Mixture Model)を使用してモデル化し、このモデルデータを参照して、入力された音声信号に対して最も尤度の高い音声モデルを探してラベル付けを行うことでハイライトシーンを特定する技術ことが開示されている。
また、拍手や歓声、トークシーンの会話といった音声についても同様にトレーニングデータを収集して混合ガウス分布モデルを作成し、複数の音声モデルを用意することで、入力された音声信号に対してラベル付けを行うことで、各シーンを特定する技術が開示されている。
なお、混合ガウス分布モデルによる尤度比較以外に、隠れマルコフ法(HMM法)などの統計的な手法を使用することも開示されている。
図14は、本発明の実施の形態2に係る特殊再生のジャンプ位置補正処理のフローチャートである。なお、図14は、HDR対応の映像表示装置113(図1)にHDRビデオが記録されたコンテンツが出力されることを前提としたフローチャートである。なお、図14におけるステップS201〜S205の処理は、図11に示したステップS201〜S205の処理と同じであるので、概略のみ説明する。
図14において、システム制御部101は、プレイリストの再生中に操作装置130を通じて早送り又は巻き戻しなどの特殊再生の指示を受けると特殊再生を開始する。そして、ステップS201において、システム制御部101は、特殊再生速度の再生速度情報を操作装置130から取得する。
次に、ステップS202において、システム制御部101は、映像再生装置100の初期設定情報を記憶部120から取得する。
次に、ステップS203において、システム制御部101は、図11のステップS101で取得した表示性能の情報から映像表示装置113の推奨最大輝度値を取得する。また、システム制御部101の特殊再生フレーム選択部152は、記憶部120に記憶された特殊再生輝度テーブル140を読み出し、特殊再生速度に応じた設定輝度802を映像表示装置113の推奨最大輝度値を考慮して算出する。
次に、ステップS204において、システム制御部101は、操作装置130を介して特殊再生の終了指示の信号の有無を確認する。システム制御部101は、特殊再生の終了指示の信号を受信していない場合は、ステップS205に進み、特殊再生の終了指示の信号を受信している場合は、一連の処理を終了する。
ステップS205において、特殊再生の終了指示の信号を受信していないため、システム制御部101が特殊再生中であると判断した場合、システム制御部101の特殊再生フレーム選択部152は、再生制御情報ファイル310から特殊再生のジャンプ先となるGOP701の近傍フレーム輝度情報1200を取得する。
ステップS208では、システム制御部101は、ステップS205で取得した近傍フレーム輝度情報1200の探索範囲の中で重要度レベルが、映像再生装置100において予め設定されている所定の閾値以上の映像フレームを抽出する。本実施の形態2では、探索範囲は基準となるアクセスポイントを中心として未来方向へ3つ分、及び過去方向へ3つ分の合計7つ分のアクセスポイントについての映像フレームから抽出されるものとする。例えば、閾値が重要度レベル50に設定されている場合、7つ分の映像フレームのうち、重要度レベル50以上の映像フレームが抽出される。
そして、抽出された映像フレームの中で、設定輝度に最も近い平均輝度情報602を持った映像フレームを選択し、ジャンプ先のGOPとして確定する(ステップS209)。
ステップS209では、システム制御部101の特殊再生フレーム選択部152が、近傍フレーム輝度情報1200に基づき、ジャンプ先のGOP701が有するIピクチャ710の輝度値、及びジャンプ先のGOP701を基準とする設定範囲内における他のGOP701が有するIピクチャ710の輝度値のうち、設定輝度に最も近い輝度値を持つIピクチャ710を選択する。
なお、実施の形態1では、基準となるアクセスポイントの最大輝度情報601に対して輝度変化が小さくなるようにジャンプ先を選択していたが、実施の形態2では、基準となるアクセスポイントの平均輝度情報602に対して輝度変化が小さくなるようにジャンプ先を選択するものとする。なお、図9は、推奨最大輝度値に基づいて作成されており、平均輝度値を用いる実施の形態2では、推奨平均輝度値に基づいて作成されてテーブルを使用することとなる。
そして、ステップS210において、システム制御部101は、ステップS209で選択されたGOPの再生開始位置にジャンプし、係るGOPのIピクチャを映像表示装置113で再生する。そして、システム制御部101は、これらの処理を特殊再生の終了指示があるまで繰り返すため、再びステップS204を実行する。
なお、本発明の実施の形態2では、再生制御情報がアクセスポイント毎の近傍フレーム輝度情報1200を有している例を説明した。しかしながら、Iピクチャ710は独自情報を格納できるSEI734を有するため、映像ストリーム700中の各アクセスポイントのIピクチャ710のSEI734が、近傍フレーム輝度情報1200を持つ構成としても良い。
このような構成によれば、特殊再生においてハイライトシーンなど、重要度レベルの高い映像シーンを選び出すことが容易となる。また、ハイライトシーンの視聴のために、例えばHDRビデオを早送りするなどの特殊再生時においても、画面の平均輝度の変化が少ないため、画面全体の見やすさが向上し、視聴者の目の疲れを抑え、所望の映像シーンを探索しやすい映像再生装置を提供することができる。特に特殊再生で所望シーンを検索する場合、画面全体の明るさが変わらないことで目の疲労を軽減できるとともに、特殊再生で選択される映像シーンとして意味のない映像シーンが選択されにくくなるため所望の映像シーンを探しやすくなるといった効果を奏する。
なお、実施の形態2においても、最大輝度情報601に対して輝度変化が小さくなるようにジャンプ先を選択しても良いことは言うまでもなく、その場合は、輝点が画面上を激しく動くことが防止される。
なお、本発明は、発明の範囲内において、自由に組み合わせることや、適宜、変形、省略することが可能である。また、以上のように本発明の実施の形態1、2について説明したが、本発明は実施の形態1、2に限るものではない。
100 映像再生装置、101 システム制御部、113 映像表示装置、121 操作受信部、140 特殊再生輝度テーブル、701 GOP、710 Iピクチャ、802 設定輝度。

Claims (14)

  1. 外部からの指示を受信する操作受信部と、
    HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を前記操作受信部から得た場合に、前記HDRビデオの再生制御情報に基づいて前記速度に従い決定されたジャンプ先のGOPが有するIピクチャの輝度値、及び前記GOPを基準とする設定範囲内における他のGOPが有するIピクチャの輝度値のうち、設定輝度に最も近い輝度値を持つIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行うシステム制御部と、を備える映像再生装置。
  2. 前記システム制御部は、前記設定輝度が、前記HDRビデオを表示する映像表示装置の表示可能な輝度を超える場合に、前記設定輝度を前記表示可能な輝度以下に変更する、請求項1に記載の映像再生装置。
  3. 前記システム制御部は、前記設定輝度以下の輝度値であって、前記設定輝度に最も近い輝度値を持つIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、請求項1又は請求項2に記載の映像再生装置。
  4. 前記システム制御部は、前記設定輝度以下の輝度値を持つIピクチャが前記ジャンプ先のGOP及び前記他のGOPに存在しない場合に、前記設定輝度を超える輝度値であって、前記設定輝度に最も近い輝度値を持つIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、請求項3に記載の映像再生装置。
  5. 前記システム制御部は、前記設定輝度以下の輝度値を持つIピクチャが前記ジャンプ先のGOP及び前記他のGOPに存在しない場合に、前記設定範囲を広げて、探索する他のGOPの数を増加させ、前記設定輝度以下の輝度値であって、前記設定輝度に最も近いIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、請求項3に記載の映像再生装置。
  6. 前記システム制御部は、前記速度が大きくなるにつれて前記設定輝度が小さくなるよう設定された特殊再生輝度テーブルに基づき、前記速度との関係から前記設定輝度を決定する、請求項1から請求項5のいずれか一項に記載の映像再生装置。
  7. 前記HDRビデオの再生制御情報は、
    映像シーンの重要性を示す数値で規定される重要度レベルを含み、
    前記システム制御部は、
    前記ジャンプ先のGOPが有する前記Iピクチャの重要度レベル、及び前記GOPを基準とする設定範囲内における他のGOPが有するIピクチャの重要度レベルのうち、予め設定された閾値以上の重要度レベルを持つ映像フレームを抽出し、抽出した映像フレームに対して、前記設定輝度に最も近い輝度値を持つIピクチャを選択する、請求項1に記載の映像再生装置。
  8. 操作受信部が、外部からの指示を受信し、
    システム制御部が、HDRビデオについて1倍速を超える速度で早送り又は巻き戻しさせる旨の特殊再生の信号を前記操作受信部から得た場合に、前記HDRビデオの再生制御情報に基づいて前記速度に従い決定されたジャンプ先のGOPが有するIピクチャの輝度値、及び前記GOPを基準とする設定範囲内における他のGOPが有するIピクチャの輝度値のうち、設定輝度に最も近い輝度値を持つIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、映像再生方法。
  9. 前記システム制御部が、前記HDRビデオを表示する映像表示装置の表示可能な輝度を前記設定輝度が超える場合に、前記設定輝度を前記表示可能な輝度以下に変更する、請求項8に記載の映像再生方法。
  10. 前記システム制御部が、前記設定輝度以下の輝度値であって、前記設定輝度に最も近い輝度値を持つIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、請求項8又は請求項9に記載の映像再生方法。
  11. 前記システム制御部が、前記設定輝度以下の輝度値を持つIピクチャが前記ジャンプ先のGOP及び前記他のGOPに存在しない場合に、前記設定輝度を超える輝度値であって、前記設定輝度に最も近い輝度値を持つIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、請求項10に記載の映像再生方法。
  12. 前記システム制御部が、前記設定輝度以下の輝度値を持つIピクチャが前記ジャンプ先のGOP及び前記他のGOPに存在しない場合に、前記設定範囲を広げて、探索する他のGOPの数を増加させ、前記設定輝度以下の輝度値であって、前記設定輝度に最も近いIピクチャを選択し、前記設定輝度に最も近い輝度値を持つIピクチャを前記特殊再生の映像に使用する制御を行う、請求項10に記載の映像再生方法。
  13. 前記システム制御部が、前記速度が大きくなるにつれて前記設定輝度が小さくなるよう設定された特殊再生輝度テーブルに基づき、前記速度との関係から前記設定輝度を決定する、請求項8から請求項12のいずれか一項に記載の映像再生方法。
  14. 前記HDRビデオの再生制御情報が、映像シーンの重要性を示す数値で規定される重要度レベルを含み、
    前記システム制御部が、前記ジャンプ先のGOPが有する前記Iピクチャの重要度レベル、及び前記GOPを基準とする設定範囲内における他のGOPが有するIピクチャの重要度レベルのうち、予め設定された閾値以上の重要度レベルを持つ映像フレームを抽出し、抽出した映像フレームに対して、前記設定輝度に最も近い輝度値を持つIピクチャを選択する、請求項8に記載の映像再生方法。
JP2016105067A 2015-11-24 2016-05-26 映像再生装置及び映像再生方法 Active JP6641230B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015228842 2015-11-24
JP2015228842 2015-11-24

Publications (2)

Publication Number Publication Date
JP2017103745A true JP2017103745A (ja) 2017-06-08
JP6641230B2 JP6641230B2 (ja) 2020-02-05

Family

ID=59017077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016105067A Active JP6641230B2 (ja) 2015-11-24 2016-05-26 映像再生装置及び映像再生方法

Country Status (1)

Country Link
JP (1) JP6641230B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019103099A (ja) * 2017-12-08 2019-06-24 日本放送協会 映像処理装置及びプログラム
CN111344787A (zh) * 2017-11-17 2020-06-26 索尼公司 信息处理装置、信息处理方法、记录介质、回放装置、回放方法、以及程序

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111344787A (zh) * 2017-11-17 2020-06-26 索尼公司 信息处理装置、信息处理方法、记录介质、回放装置、回放方法、以及程序
KR20200087754A (ko) * 2017-11-17 2020-07-21 소니 주식회사 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램
JPWO2019098054A1 (ja) * 2017-11-17 2020-11-26 ソニー株式会社 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム
EP3712891A4 (en) * 2017-11-17 2020-12-16 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, STORAGE MEDIUM, PLAYBACK DEVICE, PLAYBACK METHOD AND PROGRAM
CN111344787B (zh) * 2017-11-17 2021-12-17 索尼公司 信息处理装置和方法、存储介质、回放装置、及回放方法
US11245941B2 (en) 2017-11-17 2022-02-08 Sony Corporation Information processing apparatus, information processing method, recording medium, playback apparatus, playback method, and program
JP7180610B2 (ja) 2017-11-17 2022-11-30 ソニーグループ株式会社 再生装置、再生方法、およびプログラム
KR102624024B1 (ko) * 2017-11-17 2024-01-12 소니그룹주식회사 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램
JP7435704B2 (ja) 2017-11-17 2024-02-21 ソニーグループ株式会社 再生装置、再生方法、プログラム、情報処理システム
JP2019103099A (ja) * 2017-12-08 2019-06-24 日本放送協会 映像処理装置及びプログラム
JP7018752B2 (ja) 2017-12-08 2022-02-14 日本放送協会 映像処理装置及びプログラム

Also Published As

Publication number Publication date
JP6641230B2 (ja) 2020-02-05

Similar Documents

Publication Publication Date Title
JP4211947B2 (ja) 多重化装置および再生装置
JP6255095B2 (ja) デジタルビデオストリーミングにおけるトリック再生
JP6647162B2 (ja) 映像記録装置、映像再生装置、記録方法、及び再生方法
US11863814B2 (en) Temporal placement of a rebuffering event
CN107736017B (zh) 影像再现装置和影像再现方法
JP6641230B2 (ja) 映像再生装置及び映像再生方法
JP2024045366A (ja) 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム
JP6976219B2 (ja) 映像記録再生装置および映像記録再生方法
JP2021166363A (ja) 映像再生装置および映像再生方法
JP2005276246A (ja) 情報再生方法および情報再生装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160628

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20160628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191227

R150 Certificate of patent or registration of utility model

Ref document number: 6641230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250