JP2021052302A - 映像再生装置および映像再生方法 - Google Patents

映像再生装置および映像再生方法 Download PDF

Info

Publication number
JP2021052302A
JP2021052302A JP2019173960A JP2019173960A JP2021052302A JP 2021052302 A JP2021052302 A JP 2021052302A JP 2019173960 A JP2019173960 A JP 2019173960A JP 2019173960 A JP2019173960 A JP 2019173960A JP 2021052302 A JP2021052302 A JP 2021052302A
Authority
JP
Japan
Prior art keywords
picture
pictures
video
search
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019173960A
Other languages
English (en)
Inventor
島田 昌明
Masaaki Shimada
昌明 島田
泰幸 佐藤
Yasuyuki Sato
泰幸 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019173960A priority Critical patent/JP2021052302A/ja
Publication of JP2021052302A publication Critical patent/JP2021052302A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】復号処理負荷を考慮してIピクチャを選択することが可能な映像再生装置を提供する。【解決手段】符号化された映像コンテンツは、特殊再生処理において使用するための複数のIピクチャを有する。復号処理負荷特定部151は、各Iピクチャを復号するための処理の負荷である復号処理負荷を特定する。特殊再生制御部152は、特殊再生処理が行なわれる際に、複数のIピクチャから、復号処理負荷が規定値である対象Iピクチャを選択する。【選択図】図1

Description

本発明は、記録媒体に記録された動画像を再生する映像再生装置および映像再生方法に関する。
近年、HEVC(High Efficiency Video Coding)方式で符号化された、高解像度の映像を提供する4K/8K放送が実用化されている。当該4K/8K放送は、現行のデジタルハイビジョン放送(以下、「2K放送」ともいう)よりも、高い圧縮効率を有する。
一般的に、動画像であるストリームは、0.5秒程度でGOP(Group Of Picture)と呼ばれる一つの圧縮単位を構成している。GOPは複数のピクチャで構成されている。GOPの先頭には、符号化されたIピクチャが配置されている。また、GOPを構成する複数のピクチャは、Iピクチャに加え、符号化されたPピクチャおよびBピクチャを含む。
ストリームでは、Iピクチャを復号しないと、当該Iピクチャに続く、Pピクチャ、Bピクチャ等を復号できない。そのため、早送り、早戻し等の特殊再生処理が行なわれる場合、まず、Iピクチャの位置およびサイズを、素早く読み出すことが必要となる。
例えば、特許文献1には、Iピクチャへのアクセス方法として、EPマップと呼ばれるアクセス方式を使用した構成(以下、「関連構成A」ともいう)が開示されている。
EPマップとは、アクセスポイントの単位であるGOP毎に、「Iピクチャの表示時間(PTS)」および「Iピクチャの位置情報(SPN)」が格納される。これらの情報はEPエントリーと呼ばれる。また、これらの情報は、特殊再生処理、タイムサーチ等において、Iピクチャの開始位置を素早く探索するために使用されることが知られている。
なお、EPマップは、ストリームの再生前に、再生装置によりまとめて読み込まれる必要がある。そのため、EPマップは、ストリーム自身には記録されず、別ファイルにまとめて記録され、管理されている。
また、例えば、特許文献2には、迅速に、Iピクチャのデータだけを読み出すことができる構成(以下、「関連構成B」ともいう)が開示されている。関連構成Bでは、EPマップの情報に、「Iピクチャのサイズ」といった情報が追加される。
特開2002−158971号公報(第38−40頁、第138図) 特開2004−201034号公報(第11−12頁、第5図)
特殊再生処理が行なわれている期間において、Iピクチャを復号するための処理の負荷である復号処理負荷は、一定でない。そのため、復号処理負荷を考慮せずに、Iピクチャを選択し、当該Iピクチャを復号することにより得られる画像を表示する場合、画像の表示間隔がばらつく可能性がある。
そこで、復号処理負荷を考慮してIピクチャを選択することが要求される。関連構成A,Bでは、この要求を満たすことはできない。
本発明は、このような問題を解決するためになされたものであり、復号処理負荷を考慮してIピクチャを選択することが可能な映像再生装置等を提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る映像再生装置は、符号化された映像コンテンツを、基準の再生速度と異なる特殊再生速度で再生する特殊再生処理を行なう。符号化された前記映像コンテンツは、前記特殊再生処理において使用するための複数のIピクチャを有する。前記映像再生装置は、各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定する復号処理負荷特定部と、前記複数のIピクチャの少なくとも一部を探索する特殊再生制御部とを備え、前記特殊再生制御部は、前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択し、前記映像再生装置は、選択された前記対象Iピクチャを復号することにより得られる画像を表示するための処理を行なう。
本発明によれば、符号化された映像コンテンツは、特殊再生処理において使用するための複数のIピクチャを有する。復号処理負荷特定部は、各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定する。特殊再生制御部は、前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択する。これにより、復号処理負荷を考慮してIピクチャを選択することができる。
実施の形態1に係る映像再生装置の構成を示す図である。 放送番組の解像度を説明するための図である。 光ディスクに記録された論理ファイル構造を示す図である。 ストリーム情報ファイルの内部データ構造を説明するための図である。 再生制御情報ファイルの内部データ構造を説明するための図である。 放送番組としての映像ストリームのデータ構造を説明するための図である。 復号処理負荷リストの一例を示す図である。 探索テーブルの一例を示す図である。 復号処理負荷リスト生成処理のフローチャートである。 特殊再生関連処理のフローチャートである。 映像再生装置の特徴的な機能構成を示すブロック図である。 映像再生装置のハードウエア構成図である。
以下、図面を参照しつつ、実施の形態について説明する。以下の図面では、同一の各構成要素には同一の符号を付してある。同一の符号が付されている各構成要素の名称および機能は同じである。したがって、同一の符号が付されている各構成要素の一部についての詳細な説明を省略する場合がある。
<実施の形態1>
本実施の形態では、要約すれば、映像再生装置が、放送番組等の映像コンテンツのEPマップを読出し、各Iピクチャを復号するための処理の負荷である復号処理負荷を事前に解析する。そして、特殊再生処理が行なわれる際、特殊再生速度に対応する再生位置に存在するIピクチャの近傍から、上記の復号処理負荷に基づいて、再生対象となるIピクチャを選択する。
このように構成することで、各Iピクチャの復号時間を均一にできる。そのため、画像の表示間隔のバラつきを抑制することができる。したがって、ユーザーの視認性を向上させることができる。なお、上記のバラつきの抑制は、特に読出し速度が遅いとされる、光ディスク媒体の再生において、非常に有効である。
図1は、実施の形態1に係る映像再生装置100の構成を示す図である。なお、図1には、説明の都合上、映像再生装置100に含まれない表示装置50も示されている。表示装置50は、映像を表示する機能を有する装置である。なお、本明細書において、映像コンテンツとは、動画像等の映像で表現されるコンテンツであるとする。映像コンテンツは、例えば、放送番組である。以下においては、符号化された映像コンテンツを、「符号化映像コンテンツ」ともいう。符号化映像コンテンツは、例えば、映像および音声が多重化されたストリームである。
映像再生装置100は、後述の通常再生処理および特殊再生処理を行なう機能を有する。映像再生装置100は、デコーダブロック110と、メモリ120と、システム制御部150と、操作部130とを備える。
システム制御部150は、詳細は後述するが、映像再生装置100全体を統合的に制御する。システム制御部150は、例えば、CPU(Central Processing Unit)などのプロセッサである。
デコーダブロック110は、映像・音声ストリームの記録または再生等を行う。デコーダブロック110は、システム制御部150からの指示(制御)に従って、ストリームの再生等を行う。デコーダブロック110は、後述の通常再生処理および特殊再生処理を行なう機能を有する。
デコーダブロック110は、再生ドライブ102と、暗号復号部104と、ストリーム制御部106と、AVデコーダ107と、デジタルインターフェース108とを含む。ストリーム制御部106は、映像再生装置100におけるストリームの流れを、統括的に、制御する機能を有する。
再生ドライブ102は、システム制御部150の制御に従って、記録媒体103に記録された情報の読出しを行う機能を有する。記録媒体103は、例えば、光ディスクである。当該光ディスクは、例えば、BD(Blu−ray Disc)である。なお、「Blu−ray」は、登録商標である。再生ドライブ102は、例えば、光ディスクドライブ装置である。
なお、再生ドライブ102は、光ディスクドライブ装置に限定されない。再生ドライブ102は、例えば、ハードディスクドライブ、SDメディアドライブ等であってもよい。また、記録媒体103は、例えば、SDメディアであってもよい。
記録媒体103には、ストリームと、再生制御情報とが記録されている。本実施の形態では、当該ストリームが、例えば、AVストリームとしてのMPEG−2 TS(Transport Stream)であるとして説明を行なう。なお、当該ストリームは、MMT(MPEG Media Transport)方式で、映像、音声等が多重化されたストリームであってもよい。
当該ストリームは、符号化映像ストリームおよび符号化音声ストリームを含む。符号化映像ストリームは、映像信号が、例えば、HEVC方式により符号化されたストリームである。すなわち、符号化映像ストリームは、符号化された映像が多重化されたストリームである。符号化音声ストリームは、音声信号が、例えば、AAC方式により符号化されたストリームである。
再生制御情報は、ストリームの再生制御を行うための情報である。再生制御情報は、属性情報、および、再生開始時間情報と再生開始位置情報との対応関係を示す情報を含む。
属性情報とは、記録媒体103に記録されているストリームから分離された、符号化映像・音声ストリームに関する映像または音声の属性の情報である。再生開始時間情報とは、ストリームのアクセス単位での当該ストリームの再生を開始する時間(タイミング)を示す情報である。ストリームのアクセス単位は、符号化単位(圧縮単位)である。ストリームのアクセス単位は、例えば、GOP単位である。
デジタルインターフェース108は、例えば、HDMI(High−Definition Multimedia Interface)インターフェースである。なお、「HDMI」は、登録商標である。デジタルインターフェース108は、HDMIケーブルにより、表示装置50と接続されている。
次に、映像再生装置100が行なう通常再生処理について説明する。通常再生処理は、符号化映像コンテンツを、通常の速度で再生する処理である。通常再生処理は、特殊再生を使用しない処理である。通常再生処理は、「1倍速再生処理」とも呼ばれる。ここで、記録媒体103には、ストリームと、再生制御情報とが記録されているとする。
当該ストリームは、例えば、MPEG−2 TSである。前述したように、当該ストリームは、符号化映像ストリームおよび符号化音声ストリームを含む。
記録媒体103に記録されたストリームを再生する場合、システム制御部150は、再生対象のストリームに関連する再生制御情報を、再生ドライブ102を介して、記録媒体103からあらかじめ読み出しておく。
なお、システム制御部150は、再生制御情報を迅速に読み出せるように、当該再生制御情報をメモリ120に格納する。また、システム制御部150は、周辺デバイスに対し、再生準備を行うように、指示を行なう。
その後、再生ドライブ102は、記録媒体103からストリームを読み出す。ストリームに対し、著作権保護を目的として暗号化が行われていた場合、暗号復号部104により、後述の暗号化ブロック単位で、ストリームの復号処理が、順次、行われる。復号処理されたストリーム(AVストリーム)は、順次、ストリーム制御部106を介して、AVデコーダ107に供給される。
なお、暗号復号部104は、システム制御部150が記録媒体103から読み出した鍵情報に基づいて、ストリームの復号処理を行う。
AVデコーダ107は、ストリーム(AVストリーム)を受信する毎に、当該ストリームから、符号化映像ストリームおよび符号化音声ストリームを取り出す。当該符号化映像ストリームは、例えば、HEVC方式で符号化されている。また、符号化音声ストリームは、例えば、AAC方式で符号化されている。
その後、AVデコーダ107は、符号化映像ストリームをデコード処理して、映像信号を取得する。AVデコーダ107は、符号化音声ストリームをデコード処理して、音声信号を取得する。
復号された映像信号および音声信号は、デジタルインターフェース108に送信される。当該映像信号および音声信号は、HDMI信号としての出力映像信号および出力音声信号に変換される。HDMI信号としての出力映像信号および出力音声信号は、表示装置50へ送信される。表示装置50は、受信した出力映像信号に基づく映像を表示するとともに、受信した出力音声信号に基づく音声を出力する。
操作部130は、ユーザーが、映像再生装置100のシステム制御部150に対し指示を与えるためのインターフェースである。操作部130は、ユーザーによる操作を受付ける機能を有する。操作部130は、たとえば、ユーザーが操作可能なボタンを含む操作パネルである。この場合、操作部130は、映像再生装置100のフロントパネルに配置されている。なお、操作部130は、操作パネルに限定されず、たとえば、リモコンであってもよい。
以下においては、ユーザーが、操作部130を使用して行う操作を、「操作M」ともいう。操作Mは、例えば、デコーダブロック110に符号化映像コンテンツ(例えば、番組)を再生させるための操作である。
操作部130は、操作Mがあった場合、当該操作Mの内容を示す操作情報を、システム制御部150へ送信する。システム制御部150は、受信した操作情報を解釈し、当該操作情報に従った動作を行う。例えば、システム制御部150は、操作情報に従って、デコーダブロック110に、指定されたストリームの再生を行わせるよう、当該デコーダブロック110を制御する。
以下においては、操作部130が、システム制御部150に与える指示を、「指示S」ともいう。指示Sは、例えば、映像に対する処理(再生開始、再生停止、一時停止、早送り、巻き戻し、スロー再生、スキップ等の処理)を、デコーダブロック110に行なわせるための指示である。
特殊再生処理は、符号化映像コンテンツとしてのAVストリームを、特殊再生速度で再生する処理である。特殊再生処理は、例えば、早送り、早戻し、スロー再生等である。以下においては、前述の通常再生処理における、符号化映像コンテンツの再生速度を、「通常再生速度」または「1倍速」ともいう。通常再生速度は、基準の再生速度である。
特殊再生速度は、通常再生速度と異なる速度である。特殊再生速度は、通常再生速度(1倍速)よりも速い速度、または、通常再生速度よりも遅い速度である。特殊再生処理では、AVストリーム内において、符号化単位(圧縮単位)毎に存在するIピクチャが使用される。Iピクチャとは、フレーム内符号化画像である。
特殊再生処理では、例えば、特殊再生速度に基づいてスキップされた時間位置に存在するIピクチャが復号され、映像フレームが表示される。その後、同様に所定の時間だけ再生位置をスキップし、順次、Iピクチャが、復号される。
ここで、映像再生装置100が、1秒間に約1枚のIピクチャを復号可能であると仮定する。また、特殊再生速度が10倍速であると仮定する。この場合、再生時間位置の間隔は10秒である。また、Iピクチャに対する、後述の暗号化ブロック数が変動すると、Iピクチャの復号に必要な処理時間も変動する。そのため、1秒経過毎に1枚の映像フレームを正確に表示することも困難となる。
システム制御部150は、復号処理負荷特定部151と、特殊再生制御部152とを備える。復号処理負荷特定部151は、詳細は後述するが、再生対象の符号化映像コンテンツ(例えば、番組)が選択されると、符号化単位毎に、Iピクチャを復号する際の復号処理負荷を特定する。
4K放送の番組の記録には、従来の著作権保護方式であるAACSよりも復号処理が困難であるAACS2が利用されている。AACS2では、AES128bitを用いて、データが暗号化される。そのため、AACS2により暗号化された暗号化データの復号処理の負荷は、非常に大きい。なお、AACS2では、192KB毎に、暗号化ブロックが形成される。そのため、192KB単位で復号処理が行われる。
特殊再生制御部152は、詳細は後述するが、特殊再生処理が行なわれる際に、特殊再生速度に対応する再生位置に存在するIピクチャの近傍から、復号処理時間が短く、かつ、復号処理時間のバラつきが少ないIピクチャを選択する。また、特殊再生制御部152は、デコーダブロック110が、選択されたIピクチャを復号して、映像を表示するための処理を行うように、当該デコーダブロック110を制御する。
なお、復号処理負荷特定部151および特殊再生制御部152の各々は、システム制御部150が実行するファームウエアの一部として構成される。なお、これに限定されず、復号処理負荷特定部151および特殊再生制御部152の各々は、当該機能を有するハードウエアとして構成されてもよい。また、復号処理負荷特定部151および特殊再生制御部152の各々は、システム制御部150の外部に配置されてもよい。
また、復号処理負荷特定部151および特殊再生制御部152は、1つの機能ブロックで実現されてもよい。また、復号処理負荷特定部151および特殊再生制御部152の各々は、さらに細分化された機能ブロックで実現されてもよい。
図2は、映像である放送番組の解像度を説明するための図である。以下においては、映像のサイズを、「u×vピクセル」ともいう。「u」および「v」の各々は自然数である。「u」は、映像の横方向のピクセルの数である。「v」は、映像の縦方向のピクセルの数である。
現行の放送は、2K放送とも呼ばれる。以下においては、2K放送の番組を、「2K放送番組201」ともいう。2K放送番組201の解像度は、1920×1080ピクセルである。
近年、超高解像度映像である放送番組を提供する4K放送および8K放送が始まってきている。以下においては、4K放送の番組を、「4K放送番組202」ともいう。また、以下においては、8K放送の番組を、「8K放送番組203」ともいう。4K放送番組202および8K放送番組203の各々は、高解像度のデジタル放送番組である。
4K放送番組202の解像度は、3840×2160ピクセルである。すなわち、4K放送番組202の解像度は、2K放送番組201の解像度の4倍である。また、8K放送番組203の解像度は、7680×4320ピクセルである。すなわち、8K放送番組203の解像度は、4K放送番組202の解像度の4倍である。
4K放送番組202の情報量は、2K放送番組201の情報量の約2倍である。8K放送番組203の情報量は、2K放送番組201の情報量の約5倍である。なお、情報量が多いほど、データの読出し時間が長くなる。そのため、超高解像度映像(4K放送番組202、8K放送番組203等)に対し特殊再生処理を行なう場合、表示される画像の更新周期が長くなる。
また、超高解像度映像(4K放送番組202、8K放送番組203等)を記録するためには、前述した復号処理の難度の高いAACS2を用いて暗号化を行う必要がある。そのため、復号処理をプロセッサ(例えば、CPU)が行なう状況において、当該プロセッサの負荷が高くなる。
このように、超高解像度映像は、従来放送規格の2K放送番組201と比較して、映像再生装置100の復号負荷が大きい。そのため、超高解像度映像を復号する場合、Iピクチャの表示のために必要な時間が長いという問題がある。
前述したように、本実施の形態では、記録媒体103は、光ディスクである。図3は、記録媒体103としての光ディスクに記録された論理ファイル構造を示す図である。論理ファイル構造とは、論理的に階層構造を構成するファイル構造である。ルートディレクトリ300は、論理ファイル構造における、最上位階層のディレクトリである。ディスクディレクトリ301は、ルートディレクトリ300の下位階層に配置されるディレクトリである。
ディスクディレクトリ301は、再生制御情報ファイル310と、暗号解除情報ファイル311と、ストリーム管理ディレクトリ302とにより構成される。再生制御情報ファイル310は、記録媒体103に記録されているコンテンツを管理する再生制御情報を示すファイルである。暗号解除情報ファイル311は、鍵情報が記録されているファイルである。当該鍵情報は、AACS2で暗号化されているストリームを復号するための情報である。以下においては、ストリームを、「ストリーム情報」または「ストリーム情報ファイル320」ともいう。
ストリーム管理ディレクトリ302は、複数のストリーム情報ファイル320が記録されたディレクトリ(フォルダ)である。各ストリーム情報ファイル320には、映像データおよび音声データが多重化されている。
ここで、ストリーム情報ファイル320のファイル名が、5桁のファイル名であるとして、説明をする。ストリーム情報ファイル320のファイル名は、5桁の数字で表現されていれば良く、当該ファイル名は、連番で表現される必要はない。
なお、図3は、複数のストリーム情報ファイル320を、個別のディレクトリ内に配置した例を示している。なお、ストリーム情報ファイル320は、例えば、ルートディレクトリ300に直接配置されてもよい。また、ストリーム情報ファイル320は、例えば、他のディレクトリの位置に配置されていてもよい。
また、図3は、各ストリーム情報ファイル320が、ある管理単位毎に個別のファイルとして形成されている例を示している。なお、複数のストリーム情報ファイル320は、例えば、1つのファイルにまとめて記録されてもよい。
図4は、ストリーム情報ファイル320の内部データ構造を説明するための図である。ストリーム情報ファイル320は、複数のパケット400により構成されている。パケット400は、固定長のデータ単位である。映像データ、音声データ、ストリーム管理データ等は、パケット単位で、複数のパケット400に分割された後、当該複数のパケット400が多重化されて、ストリーム情報ファイル320が構成される。
各パケット400の先頭にはヘッダ情報401が存在する。ヘッダ情報401には、ID(Identification)402が記述されている。ID402により、パケット400内のデータの識別が可能である。ストリーム制御部106は、ID402を識別して、ストリームから、映像データ、音声データ、ストリーム管理データ等を取り出す。
また、ストリーム情報ファイル320は、著作権保護を目的として、固定長のデータ単位毎に暗号化処理が行われている。暗号化処理が行われた当該固定長のデータは、暗号化ブロック410と呼ばれる。固定長のデータのサイズは、192KBである。
再生ドライブ102から、暗号化ブロック410単位で、ストリーム情報ファイル320が読み出され、暗号復号部104により復号処理が行われる。
なお、ストリーム情報ファイル320のファイルサイズは、暗号化ブロック410のサイズ(192KB)の整数倍である。ストリーム情報ファイル320の先頭から、暗号化ブロック410が存在する。
図5は、再生制御情報ファイル310の内部データ構造を説明するための図である。記録媒体103に記録されている番組タイトルは、プレイリストと呼ばれる。再生制御情報ファイル310には、“num_of_playlist503”が記録されている。“num_of_playlist503”は、プレイリストの総数を示す。“num_of_playlist503”の次のループ文(for以下)は、“num_of_playlist503”の数だけ繰り返される。
なお、プレイリストは、後述する1つ以上のプレイアイテムから構成される。プレイアイテムは1枚以上の映像フレームから構成される。映像フレームは複数のピクセルから構成される。
プレイリストは、一例として、複数のプレイアイテムから構成される。再生制御情報ファイル310には、“num_of_playitem508”が記録されている。“num_of_playitem508”は、プレイアイテムの総数を示す。“num_of_playitem508”の次のループ文(for以下)は、“num_of_playitem508”の数だけ繰り返される。プレイアイテムには、1つの再生区間情報が記録されている。
再生区間情報は、再生対象のストリームファイル名509、再生開始時間510、再生終了時間511から構成されている。映像再生装置100は、再生区間情報に基づいて、ストリーム情報ファイル320における、再生対象となる区間を判断することができる。
また、再生制御情報ファイル310には、“num_of_stream512”が記録されている。“num_of_stream512”は、記録媒体103に記録されているストリーム情報ファイル320の総数を示す。“num_of_stream512”の次のループ文(for以下)は、“num_of_stream512”の数だけ繰り返される。
ストリーム情報ファイル名513は、ストリーム情報ファイル320の名前である。ストリーム情報ファイル名513は、5桁の数字で表現される。また、属性情報管理テーブル514には、属性情報が記録されている。属性情報は、例えば、ストリーム情報ファイル320において使用される、映像データ、音声データ等である。なお、属性情報は、番組の解像度情報を含む。
また、ストリームを構成しているデータ(例えば、映像データ、音声データ)毎に、パケットを識別するためのID402などが格納されている。ストリーム制御部106は、パケットIDを用いて、ストリームから、映像データ、音声データ、ストリーム管理データ等を取り出す。
また、アクセスポイント管理テーブル515は、リスト情報である。当該リスト情報は、アクセスポイント毎の再生開始時間、再生開始アドレス、Iピクチャサイズ等を示す。Iピクチャサイズとは、Iピクチャのデータのサイズである。当該リスト情報を用いて、タイムサーチ、特殊再生などのランダムアクセス再生を行うことができる。
なお、例えば、映像データがMPEG−2ビデオストリームでエンコードされている場合、GOPの先頭がアクセスポイントに相当する。当該GOP毎に、再生開始時間(PTS単位:90KHz)、再生開始アドレス、Iピクチャのサイズ(バイト単位)等が記述されている。再生開始アドレスは、ストリームファイルの先頭を起算としたバイト位置である。
映像再生装置100は、再生開始時間情報に基づいて、ストリーム情報ファイル320の再生開始アドレスを特定し、ランダムアクセス再生を行う。なお、再生開始時間には、PTS(Presentation Time Stamp)ベースのタイムスタンプが付与されている。本実施の形態では、90kHzでのカウンタとして説明を進める。そのため、カウンタの値が90000を超えると、1秒経過するものとする。
なお、再生開始時間は、映像および音声が同期可能な時刻情報であればよい。そのため、再生開始時間は、PTSではなくNTP(Network Time Protocol)で定義される時刻情報であってもよい。
図6は、放送番組としての映像ストリームのデータ構造を説明するための図である。図6は、符号化(圧縮)された映像ストリーム600のデータ構造を示す。映像ストリーム600は、ストリーム制御部106が、デマルチプレクスを行うことによって生成される。映像ストリーム600は、符号化単位となるGOP601単位で符号化されている。
GOP601は、Iピクチャ610と、Pピクチャ611と、Bピクチャ612とを含む。Iピクチャ610は、フレーム内でデータ圧縮されている。Pピクチャ611は、時間的に前方向のIピクチャによる動き補償を加えて、データ圧縮されている。Bピクチャ612は、時間的に前方向のIピクチャ610、または、時間的に後方向のPピクチャ611による動き補償を加えて、データ圧縮されている。GOP601は、例えば、約0.5秒の再生時間ごとに、符号化が行われている。
Iピクチャ610はGOP601の先頭に存在する。Iピクチャ610は、参照の対象となるピクチャがないため、独立して復号可能である。Iピクチャ610は、GOP601において、最初にデコードされるピクチャである。また、Iピクチャ610は、表示時刻情報、映像属性情報、符号化映像データから構成される。
前述の復号処理負荷特定部151は、復号処理負荷リスト700を作成する機能を有する。図7は、復号処理負荷リスト700の一例を示す図である。復号処理負荷特定部151は、再生対象の映像コンテンツ(例えば、番組)が指定されると、再生制御情報ファイル310から当該映像コンテンツに係る、Iピクチャ毎に、処理対象となる復号処理ブロック数720を算出する。復号処理負荷特定部151は、内部メモリ情報として、復号処理ブロック数720を示す復号処理負荷リスト700を保持する。
復号処理負荷リスト700は、アクセスポイントとなるGOP毎に、復号処理エントリー情報701を有する。復号処理負荷リスト700は、複数の復号処理エントリー情報701で構成される。
復号処理エントリー情報701は、再生開始時間711、再生開始アドレス712、Iピクチャサイズ713および復号処理ブロック数720で構成される。なお、図7では、説明の都合上、各復号処理エントリー情報701に関連付けられているGOPが示されている。GOPは、例えば、「GOP#n」で表現される。
「GOP#n」の「n」は、一例として、3つの数字(例えば、001)で表現される。「n」は、番号(以下、「順序番号」ともいう)を示す。順序番号とは、「n」を表現する3つの数字のうち、「0」を除く数字である。「n」の順序番号は、1以上の整数である。例えば、「GOP#n」の「n」が「001」である場合、順序番号は1である。なお、「n」を表現する3つの数字(例えば、111)に「0」が含まれない場合、当該「n」が順序番号である。
「n」は、一例として、「001」から「N(16以上の整数)」の範囲に含まれる値を示す。以下においては、図7において、順序番号「1」を示すGOP#nを、「1番目GOP」ともいう。1番目GOPは、GOP#001である。
再生開始時間711は、当該再生開始時間711に関連付けられているIピクチャ(GOP)を再生するタイミング(時間)である。再生開始時間711、再生開始アドレス712およびIピクチャサイズ713は、記録媒体103に記録されているアクセスポイント管理テーブル515から、読み出される。
復号処理ブロック数720は、ストリーム情報ファイル320(ストリーム)からIピクチャを読み出すために、処理が必要な暗号化ブロック410の数である。すなわち、復号処理ブロック数720は、当該復号処理ブロック数720に関連付けられているIピクチャの復号(デコード処理)を行なうために、復号する必要のある暗号化ブロック410の数である。
以下においては、暗号化ブロック410を復号する処理を、「暗号復号処理」ともいう。暗号復号処理は、デコーダブロック110がIピクチャを復号するために必要な処理である。すなわち、暗号復号処理は、Iピクチャを復号するための処理である。以下においては、デコーダブロック110(暗号復号部104)が、暗号化ブロック410に対し暗号復号処理を行なう状況における当該デコーダブロック110の負荷を、「復号処理負荷」ともいう。すなわち、復号処理負荷は、暗号復号処理の負荷である。
そのため、復号処理ブロック数720は、復号処理負荷に相当する。例えば、復号処理ブロック数720が小さい程、復号処理負荷は小さい。また、復号処理ブロック数720が大きい程、復号処理負荷は大きい。すなわち、復号処理ブロック数720は、復号処理負荷を表現する数値に相当する。
なお、図7のように、各GOP#nには、復号処理ブロック数720が関連付けられている。すなわち、各GOP#nのIピクチャには、復号処理ブロック数720が関連付けられている。
なお、Iピクチャは、暗号化ブロック410の先頭に配置されてなくてもよい。また、復号処理ブロック数720は、「(Iピクチャサイズ÷暗号化ブロックサイズ)+1」の式により、簡易的に算出されてもよい。Iピクチャサイズとは、Iピクチャのデータサイズである。暗号化ブロックサイズとは、暗号化ブロックのデータサイズ(例えば、192KB)である。
図8は、探索テーブル800の一例を示す図である。探索テーブル800は、特殊再生速度に基づいて、特定のIピクチャの近傍から、どれだけの範囲のIピクチャを探索するかを示すテーブル情報である。
探索テーブル800は、特殊再生制御部152により保持されている。本実施の形態は、3つの探索エントリー801により、特殊再生速度を3段階(3つの範囲)で判定するものとして、説明を進める。各探索エントリー801では、特殊再生速度と、探索範囲とが関連づけられている。
当該探索範囲とは、Iピクチャ(GOP)の探索範囲である。当該探索範囲(例えば、「±1」)は、GOP#nの「n」が示す順序番号に対し、適用される。
ここで、GOP#nの「n」が示す順序番号が2以上であり、かつ、探索範囲が「±1」であると仮定する。なお、GOP#nには、1枚のIピクチャが含まれる。この場合、探索範囲のIピクチャは、順序付けられた3種類のGOPに対応する3つのIピクチャである。
また、GOP#nの「n」が示す順序番号が2であり、かつ、探索範囲が「±1」であると仮定する。この場合、探索範囲のIピクチャは、GOP#001、GOP#002およびGOP#003に対応する3つのIピクチャである。
以下においては、特殊再生速度を、S_tp」とも表現する。また、特殊再生速度(S_tp)は、k倍速で表現される。「k」は、1を除く、正の実数である。以下においては、「k倍速」を、「×k」とも表現する。例えば、「×2.0」は、2倍速を示す。
特殊再生速度(S_tp)の範囲は、「S_tp≦×2.0(スロー再生+早送り/早戻し:低速)」、「×2.0<S_tp≦×5.0(早送り/早戻し:中速)」、「×5.0<S_tp(早送り/早戻し:高速)」のように、3つの範囲に分類される。すなわち、特殊再生速度(S_tp)の範囲は、低速、中速および高速の3つの範囲に分類される。以下においては、特殊再生速度がk倍速である状況における特殊再生処理を、「k倍速再生処理」ともいう。例えば、特殊再生速度が2倍速である状況における特殊再生処理は、2倍速再生処理である。
本実施の形態では、図7の復号処理負荷リスト700が使用され、かつ、単位時間当たりに、1枚のIピクチャに基づく画像を表示するものとして説明を進める。以下においては、特殊再生速度に対応するGOPを、「速度対応GOP」ともいう。
2倍速再生処理における速度対応GOPは、GOP#001、GOP#003、GOP#005、GOP#007、GOP#009、GOP#011、GOP#013およびGOP#015である。この場合、上記の複数の速度対応GOPのIピクチャが、順次、再生される。
なお、特殊再生速度が2倍速である場合、探索テーブル800において、探索範囲は「なし」であるため、上記のGOPのIピクチャがそのまま、再生される。
また、4倍速再生処理における速度対応GOPは、GOP#001、GOP#005、GOP#009およびGOP#013である。この場合、上記の複数の速度対応GOPのIピクチャが、順次、再生される。
図8のように、特殊再生速度が4倍速である場合、探索範囲は「±1」である。なお、例えば、GOP#005に対して行なわれる処理は、後述する。なお、GOP#009およびGOP#013に対しても、後述の処理と同様の処理が行われる。
また、8倍速再生処理における速度対応GOPは、GOP#001およびGOP#009である。この場合、上記の複数の速度対応GOPのIピクチャが、順次、再生される。
図8のように、特殊再生速度が8倍速である場合、探索範囲は「±3」である。なお、例えば、GOP#009に対して行なわれる処理は、後述する。なお、探索範囲における他のGOPに対しても、後述の処理と同様の処理が行われる。
なお、探索エントリー801の探索範囲には、特殊再生速度が遅い場合、狭い範囲(例えば、「±1」)が設定される。例えば、2倍速再生処理が行なわれる際に、探索範囲が「±2」のような広い範囲が設定された場合、不具合が発生する可能性がある。
当該不具合は、例えば、GOP#001が再生された後の、GOP#003のIピクチャの近傍のIピクチャの探索時に、再度、GOP#001が選択されるという不具合である。そこで、特殊再生速度が遅い場合、狭い範囲(例えば、「±1」)が設定されることにより、上記の不具合の発生を防ぐことができる。そのため、時間的に逆の順番のIピクチャが再生されるという状況の発生を防ぐことができる。したがって、ユーザーに余計な誤解を与えることを防ぐことができる。
一方、探索エントリー801の探索範囲には、特殊再生速度が速い場合、広い範囲(例えば、「±3」)が設定される。これにより、復号処理負荷が小さいIピクチャを選択する自由度が広がる。
なお、特殊再生速度の範囲は、3つの範囲に分類されることに限定されない。特殊再生速度の範囲は、2つの範囲、または、4以上の範囲に分類されてもよい。すなわち、特殊再生速度の範囲は、さらに粗く分類されてもよいし、さらに細かく分類されても良い。
次に、復号処理負荷リスト700を生成するための処理(以下、「復号処理負荷リスト生成処理」ともいう)について説明する。図9は、復号処理負荷リスト生成処理のフローチャートである。当該フローチャートは、復号処理負荷リストの生成手順が示される。
操作部130により、再生コンテンツの選択が行われると、復号処理負荷リスト生成処理では、復号処理負荷特定部151が、再生制御情報ファイル310を読み出す(S101)。再生コンテンツは、例えば、再生対象の番組である。次に、復号処理負荷特定部151は、再生コンテンツが4K放送番組202または8K放送番組203であり、当該再生コンテンツにおいてAACS2暗号化が行われているか否かを判定する(S102)。AACS2暗号化は、復号処理負荷が高い処理である。
AACS2暗号化が行われていない場合(S102でNO)、この復号処理負荷リスト生成処理は終了する。一方、AACS2暗号化が行われていた場合(S102でYES)、処理はステップS103に遷移する。
ステップS103では、全てのエントリーの生成が終了したか否かが判定される。ステップS103でNOの場合、処理はステップS104へ遷移する。一方、ステップS103でYESの場合、この復号処理負荷リスト生成処理は終了する。
ステップS104では、復号処理負荷特定部151が、再生制御情報ファイル310のアクセスポイント管理テーブル515から、エントリー情報として、再生開始時間711、再生開始アドレス712およびIピクチャサイズ713を読み出す。
そして、復号処理負荷特定部151は、読み出した再生開始時間711、再生開始アドレス712およびIピクチャサイズ713から、復号処理ブロック数720を算出する(S105)。復号処理ブロック数720の算出方法は、公知な方法であるので、説明は省略する。
なお、復号処理ブロック数720は、前述した、「(Iピクチャサイズ÷暗号化ブロックサイズ)+1」の式(以下、「簡易式」ともいう)により、簡易的に算出されてもよい。なお、簡易式により算出された値が小数で表現される場合、当該小数の整数部が、復号処理ブロック数720として算出される。例えば、簡易式により算出された値が、「2.43」である場合、算出される復号処理ブロック数720は、「2」である。
なお、前述したように、復号処理ブロック数720は、前述の復号処理負荷に相当する。そのため、ステップS105では、復号処理負荷特定部151は、復号処理ブロック数720の算出により、当該復号処理ブロック数720に相当する復号処理負荷を特定する。
その後、復号処理負荷特定部151は、次のエントリー情報をシークする(S106)。以上のようにして、復号処理負荷特定部151は、復号処理負荷リスト700の復号処理エントリー情報701を生成する。
なお、ステップS104からS106の処理が繰り返し行なわれることにより、復号処理負荷リスト700における全ての復号処理エントリー情報701の生成が終了する。この場合、ステップS103でYESと判定され、この復号処理負荷リスト生成処理は終了する。
なお、ステップS105の処理が繰り返し行なわれることにより、復号処理負荷特定部151は、各Iピクチャに対応する復号処理負荷を特定する。
次に、特殊再生処理を考慮した処理(以下、「特殊再生関連処理」ともいう)について説明する。特殊再生関連処理は、特殊再生処理において、再生対象のIピクチャを選択する手順を主に示す。
図10は、特殊再生関連処理のフローチャートである。特殊再生関連処理の一例を分かりやすくするために、以下の前提Pm1のもとで行われる特殊再生関連処理について説明する。
前提Pm1では、システム制御部150からの指示に従って、映像再生装置100のデコーダブロック110が、後述のステップS201の直前に、再生処理として特殊再生処理を開始する。当該再生処理は、符号化映像コンテンツを再生する処理である。特殊再生処理は、符号化映像コンテンツを特殊再生速度で再生する処理である。符号化映像コンテンツは、例えば、符号化された超高解像度映像(例えば、4K放送番組)である。当該符号化映像コンテンツは、特殊再生処理において使用するための複数のIピクチャを有する。
また、前提Pm1では、前述の復号処理負荷リスト生成処理が、事前に行なわれる。これにより、前提Pm1では、一例として、図7の復号処理負荷リスト700が生成され、当該復号処理負荷リスト700が使用される。
前提Pm1における特殊再生関連処理では、まず、システム制御部150が、再生処理が特殊再生処理であるか否かを判定する(S201)。再生処理が通常再生処理である場合、この特殊再生関連処理は終了する。再生処理が特殊再生処理である場合、処理はステップS202へ遷移する。
ステップS202では、システム制御部150が、特殊再生処理が終了したか否かを判定する。ステップS202でYESの場合、この特殊再生関連処理は終了する。ステップS202でNOの場合、処理はステップS203へ遷移する。
ステップS203では、特殊再生制御部152が、特殊再生処理における特殊再生速度(S_tp)を特定する。
次に、GOPシーク処理が行なわれる(S204)。GOPシーク処理では、特殊再生制御部152が、再生制御情報ファイル310のアクセスポイント管理テーブル515を参照し、再生対象となる次のGOP601を特定する。そして、当該GOP601の先頭の位置がシークされる。
次に、特殊再生制御部152が、当該特殊再生制御部152が保持している探索テーブル800を読み出す(S205)。
その後、ステップS206では、特殊再生制御部152が、特殊再生速度が2.0倍速以下であるか否かを判定する。特殊再生速度が2.0倍速以下である場合(S206でYES)、特殊再生制御部152は、探索範囲を「なし」に設定する(S207)。そして、処理はステップS214へ遷移する。
特殊再生速度が2.0倍速より速いと判定された場合(S206でNO)、ステップS208において、特殊再生制御部152が、特殊再生速度(S_tp)が中速(×2.0<S_tp≦×5.0)であるか否かを判定する。中速は、2.0倍速より速い速度であって、かつ、5.0倍速以下の速度である。
特殊再生速度が中速であると判定された場合(S208でYES)、特殊再生制御部152は、探索範囲を「±1」に設定する(S210)。そして、処理はステップS214へ遷移する。
特殊再生速度が5.0倍速より速いと判定された場合(S208でNO)、特殊再生速度が高速(×5.0<S_tp)であることになる。そのため、処理はステップS213へ遷移する。ステップS213では、特殊再生制御部152は、探索範囲を「±3」に設定する。そして、処理はステップS214へ遷移する。
以下においては、設定された探索範囲を、「設定探索範囲」ともいう。また、以下においては、設定探索範囲に含まれるGOPを、「探索用GOP」ともいう。ここで、一例として、GOP#nの「n」が示す順序番号が5であり、かつ、設定探索範囲が「±1」であると仮定する。この場合、探索用GOPは、GOP#004、GOP#005およびGOP#006である。
また、以下においては、特殊再生処理において使用される候補となるIピクチャを、「探索用Iピクチャ」ともいう。探索用Iピクチャは、特殊再生速度に対応する速度対応GOPのIピクチャでもある。すなわち、探索用Iピクチャは、特殊再生速度に対応するIピクチャでもある。探索用Iピクチャは、探索用GOP(GOP#n)に含まれる。なお、探索用Iピクチャは、符号化映像コンテンツが有する複数のIピクチャに含まれる。すなわち、符号化映像コンテンツが有する複数のIピクチャは、探索用Iピクチャを複数含む。
なお、上記のステップS206,S208,S213等により、特殊再生速度が5.0倍速より速い場合、特殊再生制御部152は、Iピクチャの探索範囲を、広い範囲(例えば、「±3」)に設定する。すなわち、特殊再生速度が5.0倍速より速い場合、特殊再生制御部152は、対象Iピクチャを選択するために、探索対象となる探索用Iピクチャの数を増やす。
なお、前述したように、各GOP#nには、復号処理ブロック数720が関連付けられている。そのため、各探索用Iピクチャには、復号処理ブロック数720が関連付けられている。各探索用Iピクチャに関連付けられている当該復号処理ブロック数720は、当該探索用Iピクチャの復号(デコード処理)を行なうために、復号する必要のある暗号化ブロック410の数である。
例えば、GOP#001のIピクチャに関連付けられている復号処理ブロック数720である「2」は、当該Iピクチャの復号を行なうために、復号する必要のある暗号化ブロック410の数である(図7参照)。
また、以下においては、特殊再生処理において、再生対象となるIピクチャを、「対象Iピクチャ」ともいう。また、以下においては、処理対象となる最新のGOP601を、「対象GOP」ともいう。対象GOPは、図7に示される複数のGOP#nのうちの1つのGOP#nである。なお、対象GOPのIピクチャは、特殊再生速度に応じた再生位置のIピクチャである。
ステップS214では、選択処理が行われる。選択処理では、要約すれば、特殊再生制御部152が、設定探索範囲に対応する、探索対象となる複数の探索用Iピクチャから対象Iピクチャを選択する。当該複数の探索用Iピクチャは、対象GOPのIピクチャの近傍のIピクチャである。また、当該複数の探索用Iピクチャは、符号化映像コンテンツが有する複数のIピクチャに含まれる。すなわち、特殊再生制御部152は、符号化映像コンテンツが有する複数のIピクチャの少なくとも一部を探索する。そして、特殊再生制御部152は、当該探索により、対象Iピクチャを選択する。
具体的には、選択処理では、特殊再生制御部152は、各探索用Iピクチャに関連付けられている復号処理ブロック数720に基づいて、対象Iピクチャを選択する。さらに、具体的には、選択処理では、特殊再生制御部152は、複数の探索用Iピクチャのうち、関連付けられている復号処理ブロック数720が最も小さい探索用Iピクチャを、対象Iピクチャとして選択する。なお、関連付けられている復号処理ブロック数720が最も小さい探索用Iピクチャが複数存在する場合、選択処理では、当該複数の探索用Iピクチャのうち、設定探索範囲が小さい探索用Iピクチャが優先して選択される。
なお、前述したように、復号処理ブロック数720は、前述の復号処理負荷に相当する。すなわち、復号処理ブロック数720は、復号処理負荷を表現する数値に相当する。そのため、選択処理では、特殊再生制御部152が、複数の探索用Iピクチャのうち、関連付けられている復号処理負荷が最も小さい探索用Iピクチャを、対象Iピクチャとして選択する。すなわち、選択処理では、特殊再生制御部152が、複数の探索用Iピクチャのうち、関連付けられている復号処理負荷が、規定値(復号処理ブロック数720が最も小さい値)である探索用Iピクチャを、対象Iピクチャとして選択する。
以下、下記の各種の条件における選択処理について説明する。なお、選択処理における対象GOPは、当該選択処理が行なわれる毎に、次の速度対応GOPに変更される。
ここで、特殊再生速度が4倍速であり、速度対応GOPが、GOP#001、GOP#005、GOP#009およびGOP#013であると仮定する。この場合、1回目の選択処理における対象GOPは、1番目の速度対応GOPとしてのGOP#001である。2回目の選択処理における対象GOPは、2番目の速度対応GOPとしてのGOP#005である。
設定探索範囲が「±1」である場合、対象GOPを含む3つのGOPのIピクチャが探索用Iピクチャである。なお、対象GOPが、1番目GOP(GOP#001)である場合のみ、探索用Iピクチャは、GOP#001およびGOP#002に対応する2つのIピクチャである。
ここで、設定探索範囲が「±1」であり、かつ、対象GOPが、GOP#005であると仮定する。この場合、探索用GOPは、GOP#004、GOP#005およびGOP#006である。図7において、GOP#004、GOP#005およびGOP#006に関連付けられている処理ブロック数720は、それぞれ、2,4,5である。そのため、関連付けられている処理ブロック数720(復号処理負荷)が最も小さい探索用Iピクチャは、GOP#004の探索用Iピクチャである。
この場合、選択処理では、特殊再生制御部152は、GOP#004、GOP#005およびGOP#006の探索用Iピクチャのうち、GOP#004の探索用Iピクチャを、対象Iピクチャとして選択する。
また、設定探索範囲が「±3」である場合、対象GOPを含む7つのGOPのIピクチャが探索用Iピクチャである。ここで、設定探索範囲が「±3」であり、かつ、対象GOPが、GOP#009であると仮定する。この場合、探索用GOPは、GOP#006からGOP#012である。図7において、GOP#006からGOP#012の探索用Iピクチャのうち、関連付けられている処理ブロック数720(復号処理負荷)が最も小さい探索用Iピクチャは、GOP#011の探索用Iピクチャである。
この場合、選択処理では、特殊再生制御部152は、GOP#006からGOP#012の探索用Iピクチャのうち、GOP#011の探索用Iピクチャを、対象Iピクチャとして選択する。
なお、設定探索範囲が「なし」である場合における選択処理では、特殊再生制御部152が、対象GOPのIピクチャを、対象Iピクチャとして選択する。
ステップS214の後、表示処理が行われる(S215)。表示処理では、要約すれば、映像再生装置100は、選択された対象Iピクチャを復号することにより得られる画像を表示するための処理を行なう。
具体的には、表示処理では、映像再生装置100のデコーダブロック110が、選択された対象Iピクチャを復号する。そして、デコーダブロック110が、当該復号により得られた画像(フレーム)を、表示装置50に表示させる処理を行なう。
ステップS215の後、処理はステップS202に遷移し、ステップS202でYESと判定されるまで、少なくともステップS214,S215の処理が繰り返し行なわれ、特殊再生処理が継続して行なわれる。以上のように、特殊再生関連処理が行われる。
以上説明したように、本実施の形態によれば、符号化された映像コンテンツは、特殊再生処理において使用するための複数のIピクチャを有する。復号処理負荷特定部151は、各Iピクチャを復号するための処理の負荷である復号処理負荷を特定する。特殊再生制御部152は、特殊再生処理が行なわれる際に、複数のIピクチャから、復号処理負荷が規定値である対象Iピクチャを選択する。これにより、復号処理負荷を考慮してIピクチャを選択することができる。
また、本実施の形態によれば、特殊再生制御部152は、複数の探索用Iピクチャのうち、復号処理負荷が最も小さい探索用Iピクチャを、対象Iピクチャとして選択する。探索用Iピクチャは、特殊再生処理において使用される候補となるIピクチャであって、かつ、特殊再生速度に対応するIピクチャである。
これにより、特殊再生処理が行なわれている状況において、画像(フレーム)の表示間隔を一定にすることができる。例えば、4K/8K放送の映像ストリーム(例えば、高解像度の放送番組)を特殊再生する場合において、画像(フレーム)の表示間隔を一定にすることができる。
また、表示される画像の更新間隔を短くすることができる。そのため、比較的高速に画像を表示することができる。したがって、ユーザーが所望の映像シーンを探しやすくなるといった効果を奏する。以上から、映像表示の滑らかさと、良好な画像視認性とを両立した映像再生装置を提供することができる。すなわち、特殊再生速度に基づいて映像表示の滑らかさと高精細さとを両立した特殊再生処理を行うことが可能な映像再生装置を提供することができる。
なお、4K/8K放送は、従来の2K放送に比べて、情報量も大きく暗号化方式、符号化圧縮方式等が複雑である。そのため、動画像を復号するための処理負荷が大きいといった問題がある。
また、上述の関連構成A、関連構成B等では、アクセス単位であるGOP毎に、Iピクチャの表示時刻情報、Iピクチャの開始位置、Iピクチャサイズ等が記述されている。そのため、特殊再生処理が行なわれる際に、読み出すべきIピクチャの開始位置、Iピクチャの読み出しサイズを素早く検知することができる。しかしながら、読み出すIピクチャのサイズにバラつきがあった場合には、読出し速度の変動が激しい。そのため、特殊再生処理が行なわれている状況において、映像の視認性が悪くなるといった問題がある。
さらに、著作権保護を目的としたストリーム暗号化に対する復号処理の負荷は非常に大きい。そのため、特殊再生処理が行なわれている状況において、単位時間当たりの表示枚数が非常に少なくなる。したがって、所望の映像シーンが探しにくくなるといった問題がある。
そこで、本実施の形態の映像再生装置100は、上記の効果を奏するための構成を有する。そのため、本実施の形態の映像再生装置100により、上記の各問題を解決することができる。
また、別の効果として、映像再生装置だけで上記の問題を解決できるため、BD(Blu−ray Disc)規格などの汎用ディスクフォーマットであっても、対応可能である。これにより、従来の汎用ディスクフォーマットと高い再生互換性を持ちつつ、暗号化が行われた、4K/8K放送の番組の特殊再生を滑らかに行うことができる。
また、本実施の形態によれば、特殊再生速度が速い場合、特殊再生制御部152は、対象Iピクチャを選択するために、探索対象となる探索用Iピクチャの数を増やす。すなわち、特殊再生制御部152は、特殊再生速度が速い場合、探索範囲を広げる。これにより、復号処理負荷が小さいIピクチャを選択する自由度が広がる。そのため、Iピクチャの表示間隔を短くでき、且つ、同一の復号処理負荷をもったIピクチャを選択できるという効果を奏する。
なお、特殊再生関連処理において、特殊再生制御部152は、Iピクチャの探索範囲を広い範囲(例えば、「±3」)に設定するための判定基準となる速度は5.0倍速に限定されない。探索範囲を広い範囲に設定するための判定基準となる速度は、基準の再生速度である1倍速より速い速度(例えば、3倍速)とする構成としてもよい。当該構成では、特殊再生速度が少なくとも基準の再生速度より速い場合、特殊再生制御部152は、対象Iピクチャを選択するために、探索対象となる探索用Iピクチャの数を増やす。
なお、前述の選択処理(S214)では、探索対象となる複数の探索用Iピクチャから、関連付けられている復号処理ブロック数720(復号処理負荷)が最も小さい探索用Iピクチャを、対象Iピクチャとして選択する構成としたが、これに限定されない。例えば、符号化映像コンテンツが有する複数のIピクチャから、対象Iピクチャを選択する構成(以下、「変形構成A」ともいう)としてもよい。
なお、当該符号化映像コンテンツが有する複数のIピクチャは、一例として、図7の復号処理負荷リスト700に示される複数のGOP#nのIピクチャである。当該複数のIピクチャの各々には、復号処理ブロック数720が関連付けられている。なお、前述したように、復号処理ブロック数720は、復号処理負荷に相当する。
変形構成Aでは、例えば、特殊再生制御部152は、特殊再生処理が行なわれる際に、符号化映像コンテンツが有する複数のIピクチャから、関連付けられている復号処理ブロック数720(復号処理負荷)が規定値である対象Iピクチャを選択する。すなわち、変形構成Aにおける選択処理では、特殊再生制御部152は、複数のIピクチャから、関連付けられている復号処理ブロック数720(復号処理負荷)が規定値である対象Iピクチャを選択する。当該規定値は、復号処理ブロック数720が同じまたは同等であるIピクチャを選択する可能性が高くなるように設定される。当該規定値は、例えば、4である。また、規定値は、例えば、2から3までの範囲内の値である。
具体的には、変形構成Aにおける選択処理では、例えば、特殊再生制御部152は、符号化映像コンテンツが有する複数のIピクチャから、図7の複数の復号処理ブロック数720の最頻値(例えば、4)が関連付けられているIピクチャを、対象Iピクチャとして選択する。
なお、変形構成Aにおける選択処理では、例えば、特殊再生制御部152は、符号化映像コンテンツが有する複数のIピクチャから、図7の複数の復号処理ブロック数720の中央値が関連付けられているIピクチャを、対象Iピクチャとして選択してもよい。
上記の変形構成Aによれば、復号処理ブロック数が同じまたは同等であるIピクチャが選択される可能性が高くなる。そのため、特殊再生処理が行なわれている状況において、Iピクチャに基づく画像の表示間隔のバラつきを少なくすることができる。
(機能ブロック図)
図11は、映像再生装置BL10の特徴的な機能構成を示すブロック図である。映像再生装置BL10は、映像再生装置100に相当する。つまり、図11は、映像再生装置BL10の有する機能のうち、本技術に関わる主要な機能を示すブロック図である。
映像再生装置BL10は、符号化された映像コンテンツを、基準の再生速度と異なる特殊再生速度で再生する特殊再生処理を行なう。符号化された前記映像コンテンツは、前記特殊再生処理において使用するための複数のIピクチャを有する。
映像再生装置BL10は、機能的には、復号処理負荷特定部BL1と、特殊再生制御部BL2とを備える。復号処理負荷特定部BL1は、各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定する。復号処理負荷特定部BL1は、復号処理負荷特定部151に相当する。
特殊再生制御部BL2は、前記複数のIピクチャの少なくとも一部を探索する。特殊再生制御部BL2は、特殊再生制御部152に相当する。
特殊再生制御部BL2は、前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択する。映像再生装置BL10は、選択された前記対象Iピクチャを復号することにより得られる画像を表示するための処理を行なう。
(その他の変形例)
以上、本発明に係る映像再生装置について、実施の形態に基づいて説明したが、本発明は、当該実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を実施の形態に施したものも、本発明に含まれる。つまり、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
また、映像再生装置100は、図で示される全ての構成要素を含まなくてもよい。すなわち、映像再生装置100は、本技術の効果を実現できる最小限の構成要素のみを含めばよい。
また、映像再生装置100に含まれる、復号処理負荷特定部151および特殊再生制御部152の各々の機能は、処理回路により実現されてもよい。
当該処理回路は、各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定するための回路である。
また、当該処理回路は、前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択するための回路である。
処理回路は、専用のハードウエアであってよい。また、処理回路は、メモリに格納されるプログラムを実行するプロセッサであってもよい。当該プロセッサは、例えば、CPU(Central Processing Unit)、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。
以下においては、処理回路が専用のハードウエアである構成を、「構成Cs1」ともいう。また、以下においては、処理回路が、プロセッサである構成を、「構成Cs2」ともいう。また、以下においては、復号処理負荷特定部151および特殊再生制御部152の各々の機能を、ハードウエアとソフトウエアとの組み合わせにより実現する構成を、「構成Cs3」ともいう。
構成Cs1では、処理回路は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。復号処理負荷特定部151および特殊再生制御部152の機能は、それぞれ、2つの処理回路で実現されてもよい。また、復号処理負荷特定部151および特殊再生制御部152の全ての機能が、1つの処理回路で実現されてもよい。
なお、映像再生装置100に含まれる各構成要素の全てまたは一部を、ハードウエアで示した構成は、例えば、以下のようになる。以下においては、映像再生装置100に含まれる各構成要素の全てまたは一部を、ハードウエアで示した映像再生装置を、「映像再生装置hd10」ともいう。
図12は、映像再生装置hd10のハードウエア構成図である。図12を参照して、映像再生装置hd10は、プロセッサhd1と、メモリhd2とを備える。メモリhd2は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM、EEPROM等の、不揮発性または揮発性の半導体メモリである。また、メモリhd2は、例えば、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等である。また、メモリhd2は、今後使用されるあらゆる記憶媒体であってもよい。
構成Cs2では、処理回路は、プロセッサhd1である。構成Cs2では、復号処理負荷特定部151および特殊再生制御部152の各々の機能は、ソフトウエア、ファームウエア、またはソフトウエアとファームウエアとの組み合わせにより実現される。ソフトウエアまたはファームウエアは、プログラムとして記述され、メモリhd2に格納される。
また、構成Cs2では、処理回路(プロセッサhd1)が、メモリhd2に記憶されたプログラムを読み出して、当該プログラムを実行することにより、復号処理負荷特定部151および特殊再生制御部152の各々の機能は実現される。すなわち、メモリhd2は、以下のプログラムを格納する。
当該プログラムは、各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定するステップを、処理回路(プロセッサhd1)に実行させるためのプログラムである。
また、当該プログラムは、前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択するステップを、処理回路(プロセッサhd1)に実行させるためのプログラムでもある。
また、当該プログラムは、復号処理負荷特定部151および特殊再生制御部152の各々が行う処理の手順、当該処理を実行する方法等をコンピュータに実行させるものでもある。
構成Cs3では、復号処理負荷特定部151および特殊再生制御部152の一部の機能は、専用のハードウエアで実現される。また、構成Cs3では、復号処理負荷特定部151および特殊再生制御部152の別の一部の機能は、ソフトウエアまたはファームウエアで実現される。
例えば、復号処理負荷特定部151の機能は、処理回路がメモリに格納されたプログラムを読み出して実行することによって実現される。また、例えば、特殊再生制御部152の機能は、専用のハードウエアとしての処理回路で実現される。
以上の構成Cs1、構成Cs2および構成Cs3のように、処理回路は、ハードウエア、ソフトウエア、ファームウエア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
また、本技術は、映像再生装置100が備える特徴的な構成部の動作をステップとする映像再生方法として実現してもよい。また、本技術は、そのような映像再生方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現してもよい。また、本技術は、そのようなプログラムを格納するコンピュータ読み取り可能な記録媒体として実現されてもよい。また、当該プログラムは、インターネット等の伝送媒体を介して配信されてもよい。本技術に係る映像再生方法は、例えば、図9および図10の処理に相当する。
上記実施の形態で用いた全ての数値は、本技術を具体的に説明するための一例の数値である。すなわち、本技術は、上記実施の形態で用いた各数値に制限されない。
なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。
100,BL10,hd10 映像再生装置、110 デコーダブロック、150 システム制御部、151,BL1 復号処理負荷特定部、152,BL2 特殊再生制御部。

Claims (10)

  1. 符号化された映像コンテンツを、基準の再生速度と異なる特殊再生速度で再生する特殊再生処理を行なう映像再生装置であって、
    符号化された前記映像コンテンツは、前記特殊再生処理において使用するための複数のIピクチャを有し、
    前記映像再生装置は、
    各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定する復号処理負荷特定部と、
    前記複数のIピクチャの少なくとも一部を探索する特殊再生制御部とを備え、
    前記特殊再生制御部は、前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択し、
    前記映像再生装置は、選択された前記対象Iピクチャを復号することにより得られる画像を表示するための処理を行なう、
    映像再生装置。
  2. 前記複数のIピクチャは、前記特殊再生処理において使用される候補となるIピクチャであって、かつ、前記特殊再生速度に対応するIピクチャである探索用Iピクチャを複数含み、
    前記特殊再生制御部は、探索対象となる複数の前記探索用Iピクチャから前記対象Iピクチャを選択する、
    請求項1に記載の映像再生装置。
  3. 前記特殊再生制御部は、前記複数の探索用Iピクチャのうち、前記復号処理負荷が最も小さい探索用Iピクチャを、前記対象Iピクチャとして選択する、
    請求項2に記載の映像再生装置。
  4. 各前記探索用Iピクチャには、当該探索用Iピクチャの復号を行なうために、復号する必要のあるブロックの数が関連付けられており、
    前記特殊再生制御部は、前記各探索用Iピクチャに関連付けられている、前記ブロックの数に基づいて、前記対象Iピクチャを選択する、
    請求項3に記載の映像再生装置。
  5. 前記特殊再生速度が少なくとも前記基準の再生速度より速い場合、前記特殊再生制御部は、前記対象Iピクチャを選択するために、探索対象となる前記探索用Iピクチャの数を増やす、
    請求項2から4のいずれか1項に記載の映像再生装置。
  6. 符号化された映像コンテンツを、基準の再生速度と異なる特殊再生速度で再生する特殊再生処理を行なう映像再生装置が行う映像再生方法であって、
    符号化された前記映像コンテンツは、前記特殊再生処理において使用するための複数のIピクチャを有し、
    前記映像再生方法は、
    各前記Iピクチャを復号するための処理の負荷である復号処理負荷を特定する特定ステップと、
    前記特殊再生処理が行なわれる際に、前記複数のIピクチャから、前記復号処理負荷が規定値である対象Iピクチャを選択する選択ステップと、
    前記映像再生装置が、選択された前記対象Iピクチャを復号することにより得られる画像を表示するための処理を行なう表示ステップとを備える、
    映像再生方法。
  7. 前記複数のIピクチャは、前記特殊再生処理において使用される候補となるIピクチャであって、かつ、前記特殊再生速度に対応するIピクチャである探索用Iピクチャを複数含み、
    前記選択ステップでは、前記映像再生装置が、探索対象となる複数の前記探索用Iピクチャから前記対象Iピクチャを選択する、
    請求項6に記載の映像再生方法。
  8. 前記選択ステップでは、前記映像再生装置が、前記複数の探索用Iピクチャのうち、前記復号処理負荷が最も小さい探索用Iピクチャを、前記対象Iピクチャとして選択する、
    請求項7に記載の映像再生方法。
  9. 各前記探索用Iピクチャには、当該探索用Iピクチャの復号を行なうために、復号する必要のあるブロックの数が関連付けられており、
    前記選択ステップでは、前記映像再生装置が、前記各探索用Iピクチャに関連付けられている、前記ブロックの数に基づいて、前記対象Iピクチャを選択する、
    請求項8に記載の映像再生方法。
  10. 前記映像再生方法は、さらに、
    前記特殊再生速度が少なくとも前記基準の再生速度より速い場合、前記対象Iピクチャを選択するために、探索対象となる前記探索用Iピクチャの数を増やすステップを備える、
    請求項7から9のいずれか1項に記載の映像再生方法。
JP2019173960A 2019-09-25 2019-09-25 映像再生装置および映像再生方法 Pending JP2021052302A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019173960A JP2021052302A (ja) 2019-09-25 2019-09-25 映像再生装置および映像再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019173960A JP2021052302A (ja) 2019-09-25 2019-09-25 映像再生装置および映像再生方法

Publications (1)

Publication Number Publication Date
JP2021052302A true JP2021052302A (ja) 2021-04-01

Family

ID=75156387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173960A Pending JP2021052302A (ja) 2019-09-25 2019-09-25 映像再生装置および映像再生方法

Country Status (1)

Country Link
JP (1) JP2021052302A (ja)

Similar Documents

Publication Publication Date Title
JP3815458B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4642886B2 (ja) 映像情報再生方法、および映像情報再生装置
JP4527164B2 (ja) 記録媒体、記録装置、及び再生装置
WO2005101828A1 (ja) 記録媒体、再生装置、プログラム
JPWO2005101827A1 (ja) 記録媒体、再生装置、プログラム
JP4684319B2 (ja) データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体
US8165455B2 (en) Data processing apparatus and data processing method, and computer program
WO2007129524A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JP4323870B2 (ja) 記録装置
JP2008166889A (ja) 記録方法
JP2007049504A (ja) 記録媒体、再生装置および再生方法
JP2006245744A (ja) 映像信号記録装置、情報記録媒体および映像信号再生装置
JP2021052302A (ja) 映像再生装置および映像再生方法
JP2006049988A (ja) デジタルデータ記録再生装置
JP2008252438A (ja) 記録方法
JP2004005934A (ja) 記録媒体、記録装置、再生装置、記録方法、再生方法、及びプログラム
JP2004363825A (ja) 記録再生装置、記録再生方法、その記録媒体およびプログラム
JP4255796B2 (ja) データ記録装置、データ記録方法、データ記録プログラム、および該プログラムを記録した記録媒体
KR20070096406A (ko) 디지털 멀티미디어 파일의 변속 재생 제어방법
JP2008165850A (ja) 記録方法
KR20030097095A (ko) 영상 또는 오디오 데이터 재생장치에서의 북마크 정보관리방법
JP2021166363A (ja) 映像再生装置および映像再生方法
JP2009200567A (ja) 映像記録再生装置
KR100774194B1 (ko) 방송 재생 장치 및 방송 재생 방법
JP4800824B2 (ja) 記録媒体